KR20210155488A - 객체 레이블링을 통한 사용자맞춤 이미지식별 딥러닝 모델 생성을 위한 시스템 및 이의 운용 방법 - Google Patents
객체 레이블링을 통한 사용자맞춤 이미지식별 딥러닝 모델 생성을 위한 시스템 및 이의 운용 방법 Download PDFInfo
- Publication number
- KR20210155488A KR20210155488A KR1020200072769A KR20200072769A KR20210155488A KR 20210155488 A KR20210155488 A KR 20210155488A KR 1020200072769 A KR1020200072769 A KR 1020200072769A KR 20200072769 A KR20200072769 A KR 20200072769A KR 20210155488 A KR20210155488 A KR 20210155488A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- deep learning
- user
- learning model
- dataset
- Prior art date
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 81
- 238000011017 operating method Methods 0.000 title claims description 17
- 238000013135 deep learning Methods 0.000 claims abstract description 113
- 238000013136 deep learning model Methods 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims description 68
- 238000004590 computer program Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 9
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000010191 image analysis Methods 0.000 description 65
- 230000008569 process Effects 0.000 description 40
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 206010059245 Angiopathy Diseases 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 208000008128 pulmonary tuberculosis Diseases 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 201000008827 tuberculosis Diseases 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
-
- G06K9/20—
-
- G06K9/54—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Public Health (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
딥러닝 시스템은, 딥러닝 모델의 생성 단계를 간단하게 정립하고, 상기 단계들에 필요한 이미지 입력, 수동 레이블링 작업 및 자동 레이블링 작업에 대한 피드백 작업을 수행하는데 있어 직관적이며, 자연스럽고 쉬운 인터랙션을 제공함으로써, 딥러닝에 대한 전문적인 지식이 없는 사용자에게 식별을 원하는 객체 식별을 위한 사용자맞춤 이미지식별 딥러닝 모델을 직접 생성하며 활용할 수 있는 기회를 제공할 수 있다.
Description
본 개시는 객체 레이블링을 통한 사용자 맞춤 딥러닝 모델 생성을 위한 시스템 및 이의 운용방법에 관한 것이다.
여기에서 달리 언급하지 않으면 본 섹션에서 기술되는 내용은 본 출원에서의 청구범위의 선행 기술이 아니며, 본 섹션에 기재하였다는 이유로 선행 기술로 인정되어서는 안 된다.
이미지 분석 기술이 발전함에 따라, 이미지 내에서 객체를 식별하기 위한 다양한 방식으로서 딥러닝 모델이 적용되고 있는 추세이다. 이미지 내에서 객체를 식별하기 위해 딥러닝 모델을 이용하는 방법에 있어, 딥러닝 모델의 학습방법과 알고리즘 이상으로 중요한 것이 학습을 위한 데이터셋이 충분한지 이다. 종래 이미지 내의 객체를 식별하기 위한 딥러닝 모델의 데이터셋은 사람이나 동물 등 한정적인 객체에 대한 데이터셋만이 구축되어 있어, 다양한 분야에서 딥러닝 모델을 이용한 이미지 내 객체 식별을 활용하는데 어려움이 있다.
따라서, 딥러닝에 전문지식이 없는 사용자는 기존에 생성되어 있는 딥러닝 모델을 단순히 활용할 수 밖에 없어, 식별가능한 객체의 종류가 제한적이며, 식별기능의 성능이 만족할 만한 수준에 도달하지 못한다는 문제가 있다.
또한, 딥러닝 모델을 위한 데이터셋을 구축하는데 있어, 메카니컬 터크(Mechanical Turk)와 같은 플랫폼은 레이블링 작업을 개발자가 아닌 일반 사용자가 할 수 있는 인터페이스를 제공하기도 한다. 하지만, 레이블링 작업은 딥러닝 모델을 생성하는데 있어 일 단계에 불과하므로, 딥러닝에 전문지식이 없는 사용자는, 딥러닝 개발자의 도움 없이는 원하는 객체의 식별이 가능한 딥러닝 모델을 생성할 수 있는 방법이 전무한 상황이다.
본 개시는 위와 같은 전술한 과제 내지는 문제들 및/또는 여러 다른 문제들을 해결하기 위한 것으로서, 딥러닝에 대한 전문적인 지식이 없는 사용자도 식별을 원하는 객체 식별을 위한 딥러닝 모델의 데이터셋을 구축할 수 있는 사용자맞춤 이미지식별 딥러닝 시스템을 제공할 수 있다.
보다 구체적으로 본 개시는, 사용자가 직접 이미지를 업로드하고 업로드한 이미지 내에서 임의의 객체에 대한 레이블링을 수행할 수 있는 유저 인터페이스를 제공하는 사용자 맞춤 이미지식별 딥러닝 시스템을 제공하고자 한다.
더하여, 본 개시는, 사용자가 구축한 데이터셋을 이용하여 생성한 딥러닝 모델이 충분한 신뢰도를 확보할 수 있도록 피드백을 수행할 수 있는 유저 인터페이스를 포함하는 사용자 맞춤 이미지식별 딥러닝 시스템을 제공하고자 한다.
즉, 본 개시의 사용자맞춤 이미지식별 딥러닝 시스템은 딥러닝에 대한 전문적인 지식이 없는 타 분야의 전문가가 쉽고 효율적으로 딥러닝 모델의 구축을 가능하게 플랫폼을 제공하는데 그 목적이 있다.
일 실시예에 따르면, 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법은 사용자 장치로부터의 요청에 응답하여, 적어도 하나의 제1 이미지를 입력받는 단계; 사용자 장치로부터 적어도 하나의 제1 이미지에 대한 사용자 입력에 기초하여 수동 레이블링을 수행하고, 수동 레이블링된 적어도 하나의 제1 이미지를 제1 데이터셋으로 저장하는 단계; 제1 데이터셋에 기초하여 제1 딥러닝 모델을 생성하는 단계; 사용자 장치로부터의 요청에 응답하여, 적어도 하나의 제2 이미지를 입력받는 단계; 적어도 하나의 제2 이미지에 대하여 제1 딥러닝 모델을 이용하여 자동 레이블링을 수행하는 단계; 사용자 장치로부터 자동 레이블링된 적어도 하나의 제2 이미지에 대한 피드백 결과에 기초하여, 레이블링된 적어도 하나의 제2 이미지 중 적어도 하나를 제2 데이터셋으로 저장하는 단계; 및 제1 데이터셋 및 제2 데이터셋을 기초로 제2 딥러닝 모델을 생성하는 단계를 포함할 수 있다.
일 실시예에 따르면, 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법은 제2 딥러닝 모델에 대한 정확도를 측정하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법은 제2 딥러닝 모델에 대한 정확도를 측정한 결과, 기준치 이하인 경우, 제1 데이터셋 또는 제2 데이터셋의 갱신을 수행하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법은 적어도 하나의 제1 이미지를 입력 받기 위한 이미지 입력부, 적어도 하나의 제1 이미지가 표시되는 이미지 표시부, 적어도 하나의 제1 이미지의 각각에 수동 레이블링을 제공하기 위한 레이블링 도구, 및 수동 레이블링된 적어도 하나의 제1 이미지를 제1 데이터셋으로서 저장을 요청하는 저장부를 포함하는 제1 유저 인터페이스를 사용자 장치에 제공하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법에서 적어도 하나의 제1 이미지를 입력받는 단계는, 이미지 제공 장치에 접근 경로에 대한 정보를 입력받는 단계를 포함할 수 있다.
일 실시예에 따르면, 적 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법에서 적어도 하나의 제1 이미지를 입력받는 단계는, 사용자 장치에 저장된 이미지를 전송받는 단계를 포함할 수 있다.
일 실시예에 따르면, 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법은 적어도 하나의 제2 이미지를 입력 받기 위한 이미지 입력부, 자동 레이블링된 적어도 하나의 제2 이미지가 표시되는 이미지 표시부, 및 자동 레이블링된 적어도 하나의 제2 이미지에 대한 피드백을 입력 받기 위한 피드백 입력부를 포함하는 제1 유저 인터페이스를 사용자 장치에 제공하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법은 제3 이미지를 입력 받기 위한 이미지 입력부, 및 제3 이미지에 대한 제2 딥러닝 모델의 적용을 요청하기 위한 이미지식별 요청부를 포함하는 제3 유저 인터페이스를 제공하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법에서 제3 유저 인터페이스는 제2 딥러닝 모델에 대한 정확도를 표시하기 위한 정확도 표시부를 더 포함할 수 있다.
이상의 간단한 요약 및 효과에 관한 설명은 단순히 예시적인 것으로서 본 개시에서 의도한 기술적 사항을 제한하기 위한 것이 아니다. 이하의 상세한 설명과 첨부된 도면을 참조함으로써, 전술한 예시적인 실시 예들과 기술적 특징들에 더하여, 추가적인 실시 예와 기술적 특징들이 이해될 수 있을 것이다.
앞서 설명한 본 개시의 특징들과 기타 추가적인 특징들에 대해서는 첨부된 도면을 참조하여 이하에서 자세하게 설명한다. 이러한 도면들은 본 개시에 따르는 단지 몇 가지의 실시 예만을 도시한 것이며, 본 개시의 기술적 사상의 범위를 제한하는 것으로 간주되어서는 안 된다. 본 개시의 기술적 사상은 첨부된 도면을 사용하여 더 구체적이고 상세하게 기술될 것이다.
도 1은 본 개시의 일 실시 예에 따른 사용자맞춤 이미지식별 딥러닝 시스템의 구성도이다.
도 2는 본 개시의 적어도 일부 실시예에 따라 사용자맞춤 이미지식별 딥러닝 모델을 생성하기 위한 예시적인 프로세스를 도시한 도면이다.
도 3은 본 개시의 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 시스템에서 수행되는 수동 레이블링 작업의 구체적인 프로세스를 도시한다.
도 4는 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 시스템이 수동 레이블링 작업을 제공하는 유저 인터페이스의 일 예를 도시한다.
도 5는 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 시스템이 수동 레이블링 작업을 제공하는 유저 인터페이스의 다른 예를 도시한다.
도 6은 본 개시의 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 시스템이 수행하는 자동 레이블링 작업의 프로세스를 도시한다.
도 7은 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 시스템이 자동 레이블링 작업을 제공하는 유저 인터페이스의 예를 도시한다.
도 8은 본 개시의 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 시스템이 제공하는 딥러닝 유저 인터페이스가 사용자 장치에서 디스플레이되는 화면의 구체적인 예를 도시한다.
도 9는 본 개시의 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 모델 생성을 위한 시스템을 운용하기 위한 예시적인 컴퓨터 프로그램 제품을 도시한다.
도 1은 본 개시의 일 실시 예에 따른 사용자맞춤 이미지식별 딥러닝 시스템의 구성도이다.
도 2는 본 개시의 적어도 일부 실시예에 따라 사용자맞춤 이미지식별 딥러닝 모델을 생성하기 위한 예시적인 프로세스를 도시한 도면이다.
도 3은 본 개시의 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 시스템에서 수행되는 수동 레이블링 작업의 구체적인 프로세스를 도시한다.
도 4는 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 시스템이 수동 레이블링 작업을 제공하는 유저 인터페이스의 일 예를 도시한다.
도 5는 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 시스템이 수동 레이블링 작업을 제공하는 유저 인터페이스의 다른 예를 도시한다.
도 6은 본 개시의 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 시스템이 수행하는 자동 레이블링 작업의 프로세스를 도시한다.
도 7은 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 시스템이 자동 레이블링 작업을 제공하는 유저 인터페이스의 예를 도시한다.
도 8은 본 개시의 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 시스템이 제공하는 딥러닝 유저 인터페이스가 사용자 장치에서 디스플레이되는 화면의 구체적인 예를 도시한다.
도 9는 본 개시의 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 모델 생성을 위한 시스템을 운용하기 위한 예시적인 컴퓨터 프로그램 제품을 도시한다.
본 개시에서 사용되는 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 개시에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 개시에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 개시에서 정의된 용어일지라도 본 개시의 실시 예들을 배제하도록 해석될 수 없다.
앞서 설명한 본 개시의 특징들과 기타 추가적인 특징들에 대해서는 첨부된 도면을 참고하여 이하에서 자세하게 설명한다. 이러한 도면들은 본 개시에 따르는 단지 몇 가지의 실시 예들을 도시한 것이며, 본 개시의 기술적 사상의 범위를 제한하는 것으로 간주되어서는 안 된다. 본 개시의 기술적 사상은 첨부된 도면을 사용하여 더 구체적이고 상세하게 기술될 것이다.
도 1은 본 개시의 일 실시 예에 따른 사용자맞춤 이미지식별 딥러닝 시스템의 구성도이다. 도 1을 참조하면, 사용자맞춤 이미지식별 딥러닝 시스템(100)(이하, 시스템(100)로 지칭)은 사용자 장치(110)에 사용자맞춤 이미지식별을 위한 딥러닝 모델을 제공하는 유저 인터페이스를 제공할 수 있다. 사용자는 사용자 장치(110)를 이용하여, 시스템(100)이 제공하는 유저 인터페이스를 통하여 사용자 맞춤 이미지 식별 딥러닝 모델을 생성하고 사용할 수 있다. 일 실시예에 따르면, 사용자 장치(110)는 유/무선 통신이 가능한 컴퓨팅 장치를 나타낼 수 있다. 예를 들어, 사용자 장치(110)는 휴대전화, 스마트폰, PDA, 태블릿, 랩탑과 같은 휴대용 장치, 또는 데스크탑, 서버와 같은 휴대용이 아닌 다른 컴퓨팅 장치를 포함할 수 있다.
시스템(100)은 외부의 입력 이미지 제공 장치(112)로부터 데이터셋으로서 입력 이미지를 제공받도록 구성될 수 있다. 시스템(100)은 입력 이미지를 딥러닝 모델로 처리한 결과 이미지를 사용자 장치(110)로 제공할 수 있다. 시스템(100)과 입력 이미지 제공 장치(112) 및/또는 사용자 장치(110)와의 통신 연결은 유무선의 가능한 여러 방식으로 이루어질 수 있다. 이러한 통신 연결을 가능하게 하는 네트워크 방식의 일 예로는, RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network, 무선 LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
일 실시예에서, 입력 이미지 제공 장치(112)는 복수 개의 입력 이미지를 생성하는 장치를 포함할 수 있다. 이미지 생성 장치로는 일반적인 카메라와 같은 이미지 촬영 장치를 포함할 수 있다. 또한, 입력 이미지 생성 장치는 합성 이미지 발생기(synthetic video generator)와 같이 이미지 촬영 장치를 통해 획득한 실제 영상이 아닌 합성된 이미지를 생성하는 장치일 수 있다. 이러한 입력 이미지를 생성하는 여러 장치들은 각각 하나의 이미지 채널을 구성하며, 각 채널 별로 생성된 입력 이미지들은 데이터셋으로서 시스템(100)에 제공될 수 있다. 일 실시예에서, 입력 이미지 제공 장치(112)는 입력 이미지를 저장하는 데이터베이스를 포함할 수 있다. 데이터베이스는 사용자 장치(110)에 포함된 구성일 수 있으며, 별도의 웹서버 또는 클라우드 네트워크 서버를 포함할 수도 있다. 사용자는 사용자 장치(110)를 이용하여 입력 이미지 제공 장치(112)에 저장된 입력 이미지가 시스템(100)에 제공되게 할 수 있다. 예를 들어, 사용자 장치(110)는 시스템(100)으로 하여금 입력 이미지 제공 장치(112)의 접근 경로 및/또는 접근 권한에 대한 정보를 제공할 수 있다. 이하에서는, 이미지 제공 장치(112)가 시스템(100)에 입력 이미지를 제공하는 경로를 채널로 호칭할 수 있다.
도 1에 따른 시스템(100)은 라우팅 서버(120), 이미지 분석 서버 클러스터(130), 이미지 데이터베이스(140), 이미지 컨버터(150), 메타데이터 데이터베이스(160), I/O 서버(170), 이미지 검색 서버(180), 딥러닝 서버(190), 딥러닝 데이터베이스(192) 및 파라미터 데이터베이스(194)를 포함할 수 있다. 여기서, I/O 서버(170)는 경우에 따라 생략 가능하며, 그러한 경우 이미지 컨버터(150)가 앞서 설명한 통신 연결을 통해 사용자 장치(110)에 처리된 이미지 데이터를 직접 제공할 수 있으며, 또한 사용자 장치(110)가 직접 이미지 검색 서버(180)와의 통신 연결을 통해 이미지 검색 작업을 수행할 수 있다.
라우팅 서버(120)는 이미지 제공 장치(112)의 각 채널로부터 입력 이미지를 수신하여 이미지 데이터베이스(140)에 이를 원본 이미지 데이터로 저장할 수 있다. 이미지 데이터베이스(140)에 저장된 원본 이미지 데이터는 추후 사용자의 검색 요구에 따라 사용자 장치(110)로 제공될 수 있다.
또한, 라우팅 서버(120)는 이미지 제공 장치(112)의 각 채널의 특성에 따라 특정 채널의 영상 처리를 이미지 분석 서버 클러스터(130) 내의 특정 서버로 라우팅할 수 있다.
이미지 분석 서버 클러스터(130)는 복수 개의 이미지 분석 서버들로 구성되며, 각각의 이미지 분석 서버는 고성능 이미지 분석이 가능하도록 고사양의 GPU를 하나 이상 탑재한 서버일 수 있다. 또한, 각각의 이미지 분석 서버는 특정의 이미지 분석에 적합하도록 설계될 수 있다. 예컨대, 이미지에 포함된 객체에 따라 사람의 인식 및 처리에 적합한 이미지 분석 서버, 차량의 인식 및 처리에 적합한 이미지 분석 서버 등으로 구분될 수 있다. 또한, 각각의 이미지 분석 서버는 특정 상황의 이미지 데이터의 처리에 적합하도록 설계될 수 있으며, 예컨대 터널 내에 설치된 카메라를 통해 촬영된 이미지와 같이 전체적으로 명도가 낮은 이미지 데이터의 처리에 적합한 이미지 분석 서버, 야외에 설치된 카메라를 통해 촬영된 이미지와 같이 전체적으로 명도가 높은 이미지 데이터의 처리에 적합한 이미지 분석 서버 등으로 구분될 수 있다. 또한, 각각의 이미지 분석 서버는 각 채널의 타입, 종류와 같은 채널 특성에 따라 해당 이미지 데이터의 처리에 적합하도록 설계될 수 있다. 예컨대, 채널이 CCTV와 같이 고정형의 고화질 이미지를 제공하는 경우, 고정형의 고화질 이미지 데이터의 처리에 적합한 이미지 분석 서버로 구분될 수 있으며, 채널이 드론과 같이 이동형의 저화질 이미지를 제공하는 경우, 이동형의 저화질 이미지 데이터의 처리에 적합한 이미지 분석 서버 등으로 구분될 수 있다.
이미지 분석 서버 클러스터(130)의 각각의 이미지 분석 서버는 라우팅 서버로부터 할당 받은 특정 채널의 이미지 데이터를 분석하여 해당 이미지 데이터의 메타데이터를 추출한 후 메타데이터 데이터베이스(160)에 저장할 수 있다. 또한, 각 이미지 분석 서버는 추출된 메타데이터로부터 인버스 피쳐(inverse feature)를 생성하여 메타데이터 데이터베이스(160)에 저장할 수 있다. 메타데이터는 이미지 내에서 인식되는 객체를 시간과 종류에 따라 태깅(tagging)한 정보를 포함할 수 있다. 예를 들어, 이미지에 포함된 객체에는 사람, 차량 등의 여러 종류의 객체들이 포함될 수 있는데, 메타데이터는 이미지에서 식별되는 객체의 종류에 대응하는 적어도 하나의 행(row)과 해당 객체가 이미지 내에서 표시되는 시간에 대응하는 적어도 하나의 열(column)을 포함하는 매트릭스 데이터구조를 포함할 수 있다.
인버스 피쳐는 메타데이터를 기초로 생성될 수 있다. 인버스 피쳐에는 각각의 객체를 기준으로 해당 객체가 촬영된 채널 등의 정보가 시간 순으로 정렬된다. 인버스 피쳐는 객체를 사람, 차량 등으로 대분류하고, 사람으로 분류된 객체를 또 분류하되, 해당 객체의 상세정보를 포함할 수 있다. 예를 들어, 인버스 피쳐가 포함하는 상세 정보에는 해당 채널의 위치 등에 관한 정보, 해당 객체가 촬영된 시간을 나타내는 타임스탬프, 그리고 해당 객체가 촬영된 원본 비디오 데이터의 위치 등을 포함하나 이에 제한되는 것은 아니다.
일 실시예에서, 이미지 분석 서버 클러스터(130)의 각각의 이미지 분석 서버는 처리할 이미지 데이터의 채널에 따라 해당 채널의 특성에 맞는 영상인식 알고리즘을 적용하여 입력 이미지를 처리할 수 있다. 이러한 경우, 이미지 분석 서버는 각각의 채널의 속성에 관한 채널 메타 데이터베이스로부터 해당 채널의 메타데이터를 불러올 수 있으며, 이 채널 메타데이터에 적합한 영상인식 알고리즘을 적용하여 입력 이미지를 처리할 수 있다. 채널 메타데이터로는 카메라 ID, 카메라 IP, 인코딩 타입(예컨대, H.264, H.265 등), 카메라 타입(예컨대, CCTV, 드론 등), 화질(예컨대, HD, 4K 등), 영상 디바이스 종류(예컨대, 고정, 유동 등), 컨텐츠 카테고리(예컨대, 주차장, 시내 등), 카메라 위치, 카메라 높이, Tilt 각도, Pan 각도, 초당 디코딩 프레임 수, 용도 등을 포함할 수 있으나, 이에 제한되지 않는다. 이러한 채널 메타데이터들의 집합인 채널 메타 데이터베이스는 메타데이터 데이터베이스(160) 또는 별도의 데이터베이스 형태로 저장되어, 이미지 분석 서버 클러스터(130)의 각각의 이미지 분석 서버에 의해 검색 및 이용될 수 있다.
한편, 이미지 분석 서버 클러스터(130)의 각 이미지 분석 서버에서 인식 및 분석 처리된 각 채널의 입력 이미지는 이미지 컨버터(150)로 제공되며, 이미지 컨버터(150)에서는 인식 및 분석 처리된 입력 이미지들을 사용자 장치(110)에 전송하여 디스플레이하기에 적합한 소정의 포맷으로 변환하는 작업을 수행한다. 여기서, 소정의 포맷은 사용자 장치(110)의 사용자에 의해 미리 설정된 것일 수 있으며, 소정의 포맷을 결정하기 위한 파라미터는 파라미터 데이터베이스(194)에 저장될 수 있다. 이미지 컨버터(150)에 의해 소정의 포맷으로 변환된 입력 이미지는 I/O 서버(170)를 통해 사용자 장치(110)로 제공될 수 있다.
시스템(100)의 외부에서 접속되는 사용자 장치(110)의 사용자는 특정 검색 쿼리를 이용하여 사용자 장치(110)를 통해 특정 이미지 데이터의 검색을 시스템(100)에 요청할 수 있다. 일 실시예에서, 사용자 장치(110)의 사용자는 사용자 장치(110)에서 보여지는 화면을 통해 검색할 객체를 특정하여 검색 쿼리를 작성할 수 있다. 이러한 검색 쿼리에는 특정 객체의 태그 또는 레이블과, 그 객체가 포함된 이미지를 제공한 채널과 그 장소 및/또는 시간 기간을 포함할 수 있다.
시스템(100)의 I/O 서버(170)는 사용자 장치(110)로부터의 검색 쿼리를 수신하여 이를 이미지 검색 서버(180)에 제공할 수 있다. 앞서 설명한 I/O 서버(170)가 생략된 경우에, 사용자 장치(110)로부터의 검색 쿼리는 직접 이미지 검색 서버(180)에 제공될 수 있다.
이미지 검색 서버(180)는 우선 사용자 장치(110)로부터 전송된 검색 쿼리를 이용하여 메타데이터 데이터베이스(160)를 검색할 수 있다. 이 경우, 이미지 검색 서버(180)는 검색 쿼리에 포함된 검색하고자 하는 객체의 태그, 레이블 혹은 썸네일로 검색 대상 객체를 특정하고 메타데이터 데이터베이스(160)로부터 해당 객체가 포함된 이미지를 촬영한 채널과 촬영된 시간을 입수한다. 이미지 검색 서버(180)는 상기 입수된 해당 객체가 포함된 이미지를 촬영한 채널과 촬영한 시간에 기초하여 이미지 데이터베이스(140)를 검색하여 원본 이미지 데이터를 찾아 내며, 이 검색된 원본 이미지 데이터를 I/O 서버(170)를 통해 사용자 장치(110)로 제공할 수 있다. 이미지 검색 서버(180)가 메타데이터 데이터베이스(160) 및 이미지 데이터베이스(140)를 검색하여 사용자 장치(110)로부터의 검색 쿼리에 맞는 원본 이미지 데이터를 검색 및 제공하는 구체적인 실시 예에 대해서는 아래의 도 4를 기초로 보다 상세히 설명한다.
한편, 이미지 데이터베이스(140)는 일반적은 관계형 데이터베이스(relational database)로 구성될 수도 있으며, 실시 예에 따라 스키마를 미리 정의하지 않는 NoSQL 형태의 데이터베이스로 구성될 수 있다. 본 개시의 일 실시 예에 따르면, 이미지 데이터베이스(140)를 NoSQL 형태의 데이터베이스로 구성할 경우, 이를 HBase에 저장할 수 있다. HBase는 Column-Oriented No SQL로 분류되어 하나의 행(row)에 많은 수의 열(column)을 저장할 수 있으며, 본 개시의 이미지 데이터베이스(140)는 HBase의 이러한 속성을 이용하여, 특정 채널로부터 입력되는 입력 이미지를 컬럼 수의 제한 없이 하나의 로우로 생성할 수 있다.
비제한적인 예시로서, 이미지 데이터베이스(140)는 특정 채널로부터 수신된 입력 이미지를 일(day) 단위로 하나의 로우에 기록하며, 이 하나의 로우에는 입력 이미지를 1초 단위의 개별 파일로 생성할 수 있다. 이 경우, 하나의 로우에는 총 86,400(60초X60분X24시간)개의 파일, 즉 컬럼이 생성될 수 있다. 이러한 방식으로 이미지 데이터베이스(140)를 구성할 경우, 이미지 검색 시에 전체 로우를 검색할 필요 없이 특정된 일자의 로우만을 검색하면 되므로, 검색 효율을 높일 수 있다.
이러한 도 1의 시스템(100)을 통해, 다양한 입력 이미지를 제공하는 이미지 제공 장치(112)로부터 수신된 여러 이미지 데이터들을 효율적인 검색을 위한 이미지 데이터베이스(140)로 구성할 수 있고, 라우팅 서버(120)를 통해 입력 이미지의 종류나 특성에 따라 이미지 분석 서버 클러스터(130) 중 적합한 이미지 분석 서버에 할당하여 이미지 분석 및 인식을 행함으로써 인식 효율을 높일 수 있고, 분석 및 인식된 이미지 데이터를 이미지 컨버터(150)를 통해 사용자의 요구 조건에 맞는 포맷의 이미지로 사용자 장치(110)에 제공할 수 있으며, 객체 검색을 위해 이미지 데이터로부터 메타데이터를 추출하고 그 인버스 피쳐를 함께 메타데이터 데이터베이스(160)에 저장하여 사용자 장치(110)로부터의 검색 쿼리에 따라 특정 객체가 포함된 이미지의 채널 및 시간을 효율적으로 특정하고 이를 이미지 데이터베이스(140)에서 신속하게 검색할 수 있게 된다.
또 다른 실시예에서, 컨버터(150)가 시스템(100) 외부의 사용자측, 즉 사용자의 사용자 장치(110)에 구성될 수 있다. 이 경우, 이미지 컨버터(150)는 시스템(100)의 이미지 분석 서버 클러스터(130)에서 분석 및 인식된 이미지 데이터를 I/O 서버(170)를 통해 수신할 수 있다. 이미지 컨버터(150)는 상기 수신된 분석 및 인식된 이미지 데이터는 사용자 장치(110)의 사용자에 의해 미리 설정된 포맷으로 변환하여 사용자 장치(110)에 제공할 수 있으며, 사용자 장치(110)는 이를 디스플레이할 수 있다. 일 실시예에 따르면, 상기 사용자에 의해 미리 설정된 포맷은 디스플레이되는 화면 구성 내지는 그래픽 유저 인터페이스일 수 있다. 이러한 그래픽 유저 인터페이스 내에는, 일 예시로서, 복수 채널의 실시간 영상을 보여주는 부분, 각 채널이 커버하는 공간들의 상태를 보여주는 부분 및 각 채널의 분석 결과로서 채널에 촬영된 객체들의 이동 경로를 보여주는 부분을 포함할 수 있다. 이러한 그래픽 유저 인터페이스에 대해서는 아래의 도 6을 참조하여 구체적으로 후술한다.
딥러닝 서버(190)는 이미지 데이터베이스(140)에 저장된 원본 이미지 데이터를 분석하여 이미지 분석 모델 내지는 영상 인식 알고리즘을 생성할 수 있으며, 생성된 이미지 분석 모델 내지는 영상 인식 알고리즘은 딥러닝 결과 또는 학습데이터 결과값으로서 딥러닝 데이터베이스(192)에 저장될 수 있다. 또한, 딥러닝 서버(190)가 생성한 이미지 분석 모델 내지는 영상 인식 알고리즘은 이미지 분석 서버 클러스터(130)의 각 이미지 분석 서버에 의해 이용될 수 있다. 이미지 분석 서버 클러스터(130)의 각 이미지 분석 서버는 라우팅 서버(120)로부터 자신에게 할당된 특정 채널 및/또는 특정 객체에 적합한 이미지 분석 모델 내지는 영상 인식 알고리즘을 학습데이터 결과값 데이터베이스(192)에서 검색 후 이를 가져와서 이미지 분석 및 객체 인식에 적용할 수 있다.
원본 이미지 데이터의 딥러닝 및 결과값 이미지 분석 모델의 생성에 관한 일 실시예에서, 딥러닝 서버(190)는 이미지 데이터베이스(140)에 저장된 원본 이미지 데이터들을 소정의 카테고리 별로 나누어 분석할 수 있다. 예컨대, 딥러닝 서버(190)는 원본 이미지 데이터에 촬영된 객체의 종류에 따라 각 객체의 특성, 주변 상황 등을 고려하여 객체를 분석하고 이에 관한 이미지 분석 모델 내지는 영상 인식 알고리즘을 생성할 수 있다. 또 다른 예에서, 딥러닝 서버(190)는 원본 이미지 데이터를 촬영한 채널의 종류 또는 특성을 고려하여 해당 채널에 따라 객체를 분석하고 이에 관한 이미지 분석 모델 내지는 영상 인식 알고리즘을 생성할 수 있다. 이 경우, 딥러닝 서버(190)는 해당 채널에 관한 메타데이터를 이용할 수 있는데, 이러한 채널 메타데이터로는 카메라 ID, 카메라 IP, 인코딩 타입(예컨대, H.264, H.265 등), 카메라 타입(예컨대, CCTV, 드론 등), 화질(예컨대, HD, 4K 등), 영상 디바이스 종류(예컨대, 고정, 유동 등), 컨텐츠 카테고리(예컨대, 주차장, 시내 등), 카메라 위치, 카메라 높이, Tilt 각도, Pan 각도, 초당 디코딩 프레임 수, 용도 등을 포함할 수 있으나, 이에 제한되지 않는다. 이러한 채널 메타데이터들의 집합인 채널 메타 데이터베이스는 별도의 데이터베이스 형태로 저장되어, 딥러닝 서버(190)의 이미지 분석 모델 내지는 영상 인식 알고리즘 생성에 이용될 수 있다.
딥러닝 서버(190)가 생성한 이미지 분석 모델 내지는 영상 인식 알고리즘은 카테고리 별로 학습데이터 결과값 데이터베이스(192)에 저장될 수 있다. 예컨대, 객체의 종류에 따라 사람, 차량, 애완동물 등에 관한 영상 인식 알고리즘들이 저장될 수 있고, 채널의 위치 특성에 따라 거리, 공원, 주차장 등에 관한 영상 인식 알고리즘들이 저장될 수 있으며, 채널의 종류에 따라 CCTV, 드론 등에 관한 영상 인식 알고리즘들이 저장될 수 있다.
특정 데이터를 위한 내부에서 자동으로 학습한 딥러닝 모델로 데이터베이스(192)에 저장되는 이미지 분석 모델 내지는 영상 인식 알고리즘은 딥러닝 서버(190)가 생성한 것 이외에 외부에서 생성한 이미지 분석 모델 내지는 영상 인식 알고리즘이 플러그인 형태로 추가된 것일 수 있다. 외부 생성 이미지 분석 모델 내지는 영상 인식 알고리즘은 시스템(100) 외부의 딥러닝 서버에서 생성된 것으로서, 이미지 제공 장치(112)의 이미지 데이터를 이용하여 생성된 것이거나 그리고/또는 이와 무관한 별도의 이미지 데이터를 학습하여 생성한 이미지 분석 모델 내지는 영상 인식 알고리즘일 수 있다. 이러한 외부 생성 이미지 분석 모델 내지는 영상 인식 알고리즘을 추가함으로써 이미지 분석 서버 클러스터(130)의 각 이미지 분석 서버의 영상 분석 및 인식률이 한층 더 향상될 수 있다.
한편, 딥러닝 서버(190)가 생성한 이미지 분석 모델은 시스템(100) 외부의 타 시스템에 제공될 수 있다. 이러한 이미지 분석 모델 내지는 영상 인식 알고리즘은 딥러닝 서버(190)가 이미지 제공 장치(112)로부터의 다량의 이미지 데이터를 분석하여 생성한 것으로서 타 시스템에서 유용하게 사용될 수 있으며 또한 독립된 경제적 가치를 가진 어플리케이션으로 적용될 수 있다.
파라미터 데이터베이스(194)는 사용자가 이미지식별을 위한 딥러닝 모델을 생성하는데 있어 변경할 수 있는 설정값을 저장하는 데이터베이스일 수 있다. 파라미터 데이터베이스(194)는 유저별로 다른 설정값을 저장할 수 있다. 파라미터 데이터베이스(194)에 저장되는 설정값은 타겟 객체, 객체식별 방법, 타겟 이미지의 타입, 출력 이미지의 타입, 트레이닝 모델 및 방법, 디스플레이의 포맷을 포함할 수 있다. 일 실시예에 따른 시스템(100)은 딥러닝 모델의 생성에 필요한 설정값들을 기본값(default value)로 결정하거나, 사용자가 입력하는 이미지의 종류에 따라 타겟 이미지의 타입 및 출력 이미지의 타입과 같은 설정값을 적응적으로 변경할 수 있다.
일 실시예에서 시스템(100)은 사용자맞춤 이미지식별 딥러닝 플랫폼의 딥러닝 유저 인터페이스를 제공할 수 있으며, 사용자는 사용자 장치(110)를 이용하여 딥러닝 유저 인터페이스에 접속할 수 있다. 시스템(100)은 딥러닝 유저 인터페이스제공을 위한 서버를 추가로 포함할 수 있다. 딥러닝 유저 인터페이스제공을 위한 서버는 웹서버 형태로 구성될 수 있으나 이에 제한되는 것은 아니다.
사용자는 딥러닝에 전문적인 지식이 없더라도, 시스템(100)이 제공하는 딥러닝 유저 인터페이스를 통하여, 식별하고 싶은 객체가 포함된 이미지의 업로드, 이미지에서 식별하고 싶은 객체에 대한 레이블링(labelling), 딥러닝 모델의 생성 및 갱신을 손쉽게 수행할 수 있다. 또한, 시스템(100)이 제공하는 딥러닝 유저 인터페이스는 딥러닝의 결과 이미지의 타입 등을 선택할 수 있는 몇 가지 옵션을 제공할 수 있으며, 사용자는 간단히 본인이 원하는 옵션을 선택함으로써 제공받을 딥러닝 결과를 설정할 수 있다. 딥러닝 유저 인터페이스가 제공하는 선택 옵션값은 상술한 바와 같이, 파라미터 데이터베이스(194)에 저장될 수 있다., 예컨대 타겟 객체의 선정, 영상 타입의 선정, 딥러닝 모델의 선정, 학습 데이터셋의 선정 등이 있을 수 있으나 이에 제한되는 것은 아니다.
도 1에서 딥러닝 서버(190)는 단일 서버로 구성되었으나, 실시예에 따라서는 이를 이미지 분석 서버 클러스터(130)와 같은 복수의 딥러닝 서버로 구성된 딥러닝 서버 클러스터로 구성될 수 있다. 이러한 경우, 이미지 데이터베이스(140)의 여러 원본 이미지 데이터들을 해당 채널의 특성에 맞춰 적합한 딥러닝 서버로 할당해 주는 라우팅 장치가 필요할 수 있으며, 이는 라우팅 서버(120) 내지는 도시되지 않은 별도의 라우팅 장치를 통해 수행될 수 있다. 또한, 딥러닝 플랫폼 웹 인터페이스를 통해 접속하는 다중 사용자의 작업을 딥러닝 서버 클러스터 내 복수의 딥러닝 서버 중 특정 딥러닝 서버에 할당해 주는 라우팅 장치가 필요할 수 있으며, 이는 I/O 서버(170) 내지는 도시되지 않은 별도의 라우팅 장치를 통해 수행될 수 있다.
시스템(100)은 딥러닝 서버(190)와 그 학습 결과인 이미지 분석 모델 내지는 영상 인식 알고리즘을 저장한 학습데이터 결과값 데이터베이스(192)를 추가함으로써 이미지 분석 서버 클러스터(130)의 각각의 이미지 분석 서버의 이미지 분석 및 객체 인식에 관한 효율과 성능을 높일 수 있으며, 또한 외부의 다중 사용자를 위한 딥러닝 플랫폼 웹 인터페이스를 통해 다중 사용자가 딥러닝 서버(190)의 학습 작업에 참여하거나 객체 레이블링 작업 수행이 가능하게 되는 한편, 딥러닝 서버(190)를 다수의 딥러닝 서버 클러스터 형태로 구성함으로써 병렬적인 분석 및 학습을 통한 각 채널 및/또는 이미지에 적합한 딥러닝 서버를 통해 보다 정확한 이미지 분석 모델 내지는 영상 인식 알고리즘의 생성이 가능해 짐으로써, 결과적으로 이미지 분석 서버 클러스터(130)에 속한 이미지 분석 서버들의 이미지 분석 및 객체 인식의 정확도 및 효율을 더욱 높일 수 있게 된다.
일부 실시예에서 딥러닝 서버(190)는 딥러닝 유저 인터페이스를 통해 레이블링 작업 수행자의 레이블링 작업을 허용할 수 있다. 다시 말해, 레이블링 작업의 수행자는 딥러닝 유저 인터페이스를 통해 시스템(100)에 접속하여 분석 및 학습 중인 이미지 데이터의 객체에 대한 레이블링 작업을 수행할 수 있으며, 객체들에 대한 레이블링은 이미지 분석 모델 내지는 영상 인식 알고리즘에 반영되어 학습데이터 결과값 데이터베이스(192)에 함께 저장될 수 있다. 또한, 딥러닝 서버(190)는 다수의 레이블링 작업 수행자가 동시에 접속하여 동시 작업을 할 수 있는 환경을 제공할 수 있다.
도 2는 본 개시의 적어도 일부 실시예에 따라 사용자맞춤 이미지식별 딥러닝 모델을 생성하기 위한 예시적인 프로세스(200)를 도시한 도면이다. 본 개시의 사용자 맞춤 이미지식별 딥러닝 시스템(100)은 딥러닝에 전문지식이 없는 사용자라도, 원하는 객체가 식별가능한 사용자맞춤 이미지식별 딥러닝 모델을 생성할 수 있는 딥러닝 유저 인터페이스를 제공할 수 있다.
도 2에 도시된 프로세스(200)는 블록(210, 220, 230, 240)에 의해 예시된 바와 같은 하나 이상의 동작, 기능 또는 작용을 포함할 수 있다. 한편, 도 2에 설명되는 개략적인 동작들은 예시로서만 제공되고, 개시된 실시예의 본질에서 벗어나지 않으면서, 동작들 중 일부가 선택적일 수 있거나, 더 적은 동작으로 조합될 수 있거나, 추가적인 동작으로 확장될 수 있다. 또한, 도 2의 프로세스(200)의 각각의 블록들은, 앞서 도 1과 이와 관련하여 설명한 내용들과 연관되어 동일 또는 유사한 기능 또는 작용을 할 수 있으나, 이에 제한되는 것은 아니다. 나아가, 비제한적인 실시예에서, 도 2의 프로세스(200)는 도 1의 시스템(100)에서 수행될 수 있다. 따라서, 이하에서 도 2의 프로세스(200)의 각 블록을 설명함에 있어서, 도 1의 시스템(100)에서 설명된 각 구성요소들과 연관 지어 설명할 수 있다.
도 2를 참조하면, 프로세스(200)는 제1 이미지에 대한 수동 레이블링 작업에 기초하여 제1 데이터셋을 구축하고, 자동 레이블러를 생성하는 블록(210)에서 시작할 수 있다.
블록(210)에서, 시스템(100)은 사용자가 식별하고자 하는 객체가 포함된 적어도 하나의 제1 이미지들에 대하여 수동 레이블링을 수행하고, 수동 레이블링된 제1 이미지들로 구성된 제1 데이터셋에 기초하여 딥러닝 모델을 생성할 수 있다. 다시 말하면, 시스템(100)은 수동 레이블링된 제1 데이터셋에 기초하여 딥러닝 모델을 생성할 수 있다. 제1 이미지는 사용자에 의해 입력될 수 있다.
수동 레이블링이란 사용자가 이미지에서 식별하고 싶은 객체를 직접 선택하고 애노테이션 정보를 설정하는 작업을 나타낼 수 있다. 시스템(100)은 수동 레이블링을 위한 딥러닝 유저 인터페이스를 제공할 수 있으며, 이에 대해서는 구체적으로 후술하기로 한다. 프로세스(200)는 블록(210)에서 생성된 딥러닝 모델을 이용하여 딥러닝 모델을 갱신하는 블록(220)으로 이어질 수 있다.
블록(220)에서, 시스템(100)은 제1 데이터셋에 기초하여 생성된 딥러닝 모델을 이용하여 적어도 하나의 제2 이미지에 대한 자동 레이블링을 수행하고, 자동 레이블링된 제2 이미지에 대한 피드백에 기초하여 딥러닝 모델을 갱신할 수 있다. 다시 말하면, 시스템(100)은 자동 레이블링된 제2 이미지에 대한 피드백 결과에 기초하여 제2 데이터셋을 생성하고, 제1 데이터셋 및/또는 제2 데이터셋에 기초하여 딥러닝 모델을 새로 생성할 수 있다. 제2 이미지는 사용자에 의해 입력될 수 있다.
자동 레이블링이란 시스템이 수동 레이블링에 의해 구축된 제1 데이터셋에 기초한 딥러닝 모델을 이용하여 레이블링을, 사용자의 개입없이 자동으로 수행하는 작업을 나타낼 수 있다. 사용자는 제2 이미지에 대한 자동 레이블링 결과에 대하여 피드백 할 수 있고, 시스템(100)은 사용자 피드백에 기초하여 딥러닝 모델을 갱신할 수 있다. 시스템(100)은 자동 레이블링에 대한 사용자 피드백을 위한 딥러닝 유저 인터페이스를 제공할 수 있으며, 이에 대해서는 구체적으로 후술하기로 한다. 프로세스(200)는 블록(220)에서 갱신된 딥러닝 모델을 이용하여 딥러닝 모델의 유효성을 확인하는 블록(230)으로 이어질 수 있다.
블록(230)에서, 시스템(100)은 블록(220)에서 갱신된 딥러닝 모델의 정확도가 기준이상인지 확인할 수 있다. 딥러닝 모델의 정확도란, 식별한 객체의 종류와 객체의 영역을 정확하게 예측했는지 여부로 판단될 수 있다. 일 실시예에서, 딥러닝 모델의 정확도는 IoU(Intersecion Over Union), Precision, Recal, AP(Average Precision), mAP(mean Average Precision) 및 PFS(Frame Per Second)의 지표에 의해서 측정될 수 있다.
프로세스(200)는 블록(230)에서 확인된 정확도가 기준 이상인 경우에는 사용자에게 딥러닝 모델을 제공하는 블록(240)로 이어질 수 있고, 기준 이하인 경우에는 딥러닝 모델 갱신을 위한 데이터셋을 추가하는 블록(220)으로 되돌아 수 있다. 일부 실시예에서, 프로세스(200)는 블록(230)에서 확인된 정확도가 기준 이하인 경우에, 수동 레이블링 작업을 추가하는 블록(210)으로 되돌아 갈 수도 있다. 블록(240)에서, 시스템(230)은 정확도가 기준 이상인 딥러닝 모델을 사용자에게 제공할 수 있는 딥러닝 유저 인터페이스를 제공할 수 있다.
본 개시에서, 블록(220)에서 생성되는 딥러닝 모델은, 블록(230)에서 다른 이미지에 대한 자동 레이블을 수행하므로, 자동 레이블러(auto labeller)로 지칭될 수 있다. 블록(230)에서 갱신되는 딥러닝 모델은, 사용자에게 제공될 수 있으므로, 사용자 맞춤 딥러닝 모델(customizing deep-learning model), 또는 객체 자동인식기(object auto detector)로 지칭될 수도 있다. 또한, 블록(210)과 블록(220)에서 생성되는 딥러닝 모델들은 시계열적인 수선에 따라 각각 제1 딥러닝 모델과 제2 딥러닝 모델로 지칭될 수 있다.
일부 실시예에서, 시스템(230)은 정확도가 기준 이상인 딥러닝 모델의 정확도를 더 높이기 위해서, 수동 레이블링 작업의 블록(210) 또는 자동 레이블링 및 피드백 작업의 블록(220)의 작업이 추가적으로 수행될 수도 있다. 레이블링 작업의 추가로 수행됨에 따라 데이터셋이 추가되며 이는 딥러닝 모델의 정확도 향상을 야기할 수 있다.
이와 같이 본 개시는, 딥러닝에 대한 전문적인 지식이 없는 사용자도, 식별을 원하는 객체 식별을 위한 사용자맞춤 이미지식별 딥러닝 모델을 직접 생성할 수 있도록, 딥러닝 모델의 생성 단계를 정립하였다. 예를 들어, 사용자 맞춤 이미지식별 딥러닝 시스템(100)은, 사용자 맞춤 딥러닝 모델의 생성 단계는 1) 수동 레이블링 작업(블록(210)), 2) 자동 레이블링 및 피드백 작업(블록(220)), 3) 딥러닝 모델의 정확도 검증(블록(230))으로 정립될 수 있다. 일부 실시예에서, 본 개시의 시스템(100)은 4) 정확도 향상을 위한 추가 레이블링 작업 추가를 단계를 더 포함할 수 있다. 이하, 시스템(100)이 제공하는 각 단계들의 구체적인 프로세스 및 딥러닝 유저 인터페이스에 대하여 설명하기로 한다.
도 3은 본 개시의 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 시스템에서 수행되는 수동 레이블링 작업의 구체적인 프로세스를 도시한다. 도 3의 프로세스는 프로세스(200)의 블록(210)의 구체적인 프로세스일 수 있다. 도 4 및 도 5는 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 시스템이 수동 레이블링 작업을 제공하는 유저 인터페이스의 일 예를 도시한다. 도 3의 프로세스(210)를 수행하는데 있어, 사용자 입력을 수신받기 위해 시스템(100)이 사용자 장치(120)에 제공하는 유저 인터페이스는 도 4 및 도 5를 이용하여 설명될 수 있다.
도 3에 도시된 프로세스(210)는 블록(212, 214, 216, 218)에 의해 예시된 바와 같은 하나 이상의 동작, 기능 또는 작용을 포함할 수 있다. 한편, 도 3에 설명되는 개략적인 동작들은 예시로서만 제공되고, 개시된 실시예의 본질에서 벗어나지 않으면서, 동작들 중 일부가 선택적일 수 있거나, 더 적은 동작으로 조합될 수 있거나, 추가적인 동작으로 확장될 수 있다.
도 3을 참조하면 프로세스(210)는 시스템(100)이 사용자가 식별을 원하는 개체가 포함된 적어도 하나의 제1 이미지를 수신하는 블록(212)에서 시작할 수 있다. 시스템(100)은 사용자가 사용자 장치(110)에서 프로세스(210)를 수행할 수 있도록 유저 인터페이스를 제공할 수 있다. 유저 인터페이스는 사용자 장치(110)에 설치된 어플리케이션 프로그램을 통하여 적어도 일부가 구현될 수 있다. 즉, 사용자는 사용자 장치(110)에 설치된 어플리케이션 프로그램을 통해 실행되는 각종 편리한 그래픽 유저 인터페이스(graphic user interface, GUI)를 이용하여 사용자맞춤 이미지식별 딥러닝 모델을 개발하고 사용할 수 있다.
일부 실시예에서, 본 개시의 시스템(100)이 제공하는 유저 인터페이스는 사용자 장치(110)에서 실행되는 웹 브라우저 어플리케이션을 통해서 구현될 수 있다. 여기에서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hypertext mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함할 수 있다.
도 4를 참조하면, 유저 인터페이스(400)는 이미지를 업로드할 수 있는 이미지 업로드부(410), 업로드된 이미지가 표시되는 이미지 표시부(420), 사용자가 이미지에 레이블링을 할 수 있는 도구가 표시되는 레이블링 도구부(430), 및 수동 레이블링된 이미지를 기초로 자동 레이블러를 생성하게 하는 자동 레이블러 생성요청부(440)를 포함할 수 있다.
사용자는 유저 인터페이스(400)에 표시된 이미지 업로드부(410)를 통해 시스템(100)에 제1 이미지를 업로드 할 수 있다. 예를 들어, 사용자 장치(110)는 이미지 업로드부(410)에 대한 사용자 입력을 기초로, 입력 이미지를 제공하는 경로로서의 채널을 시스템(100)(또는 라우팅 서버(120))에 연결할 수 있다. 다른 예를 들어, 사용자 장치(110)에 저장되어 있는 이미지 파일이 시스템(100)에 직접 전송될 수도 있다. 시스템(100)에 제공된 제1 이미지는 이미지 데이터베이스(140)를 통해 딥러닝 서버(190)에 제공될 수 있다.
프로세스(210)는 제1 이미지가 수신되면, 제1 이미지에 대한 사용자 입력에 기초하여 수동 레이블링 작업을 수행하는 블록(212)로 이어질 수 있다. 블록(212)에서, 시스템(100)은 사용자가 사용자 장치(110)를 통해 직접 수동 레이블링 작업을 수행할 수 있는 딥러닝 유저 인터페이스를 제공할 수 있다. 도 4를 참조하면, 사용자는 유저 인터페이스(400)에 포함된 표시부(420)에 표시되는 업로드된 이미지에 대한 레이블링 작업을 수행할 수 있다. 사용자는 유저 인터페이스(400)에 포함된 레이블링 도구부(430)를 이용하여 레이블링 작업을 수행할 수 있다. 레이블링 도구부(430)는 사용자가 식별하고 싶은 객체를 설정하는 객체 설정부(431), 영역이 설정된 객체에 애노테이션을 설정하는 애노테이션 설정부(432), 이미지를 삭제하는 삭제부(433) 및 레이블링된 이미지를 데이터셋으로서 저장하는 저장부(434)를 포함할 수 있다.
도 4에서는 객체 영역(421)이 원형으로 도시되어 있지만, 사각형, 자유 다각형 등 다양한 모양과 크기의 영역이 사용될 수 있다. 애노테이션은 예를 들어 식별하고자 하는 객체를 구분하기 위한 개념, 예를 들어 종류 또는 명칭을 부여하는 것을 나타낼 수 있다. 예를 들어, 도 4의 표시부(420)에 표시된 흉부 X-ray사진에서, 설정된 객체 영역(421)에 대한 병명으로서 '혈관장애'과 같은 애노테이션(422)이 설정될 수 있다. 사용자는 삭제부(433) 또는 저장부(434)를 이용하여 딥러닝을 위한 데이터셋으로서 활용될 이미지를 선택하여 저장할 수 있다.
일부 실시예에서, 제1 이미지 각각에 대하여 복수의 객체에 대한 레이블링이 이뤄질 수도 있다. 예를 들어, 다른 객체 영역에 대하여 “tuberculosis”폐결핵)과 같은 애노테이션이 설정될 수도 있다. 이러한 실시예에서, 시스템(100)은 선택적으로 애노테이션이 설정된 객체 간의 비교를 통해 중복된 레이블링을 제거하는 작업을 더 수행할 수도 있다.
추가 실시예에서 유저 인터페이스(400)는 레이블링 도구부(430)에 표시된 도구의 단축키와, 드래그&드롭 방식, 줌인 및 줌아웃 기능, 복사하기 및 붙여넣기와 같은 명령에 대한 단축키 중 적어도 하나 이상을 제공할 수 있다.
프로세스(210)는 사용자에 의해 제1 이미지에 대한 수동 레이블링 작업이 수행되면 수동 레이블링의 결과를 제1 데이터셋으로 저장하는 블록(216), 제1 데이터셋을 기초로 자동 레이블러를 생성하는 블록(218)으로 순차적으로 이어질 수 있다. 자동 레이블러(또는 제1 딥러닝 모델)은, 제1 데이터셋을 기초로 다른 데이터에 대한 딥러닝을 수행할 수 있는 태스크(task)를 포함할 수 있다.
도 4를 참조하면, 유저 인터페이스(400)에 포함된 저장부(434)에 대한 입력을 통하여, 시스템(100)은 사용자가 수동 레이블링한 이미지를 데이터셋으로서 저장할 수 있다. 유저 인터페이스(400)에 포함된, 수동 레이블링된 이미지를 기초로 자동 레이블러를 생성하게 하는 자동 레이블러 생성요청부(440)(또는, 오토 레이블러 생성 버튼)에 대한 입력을 통하여, 데이터셋으로서 저장된 레이블링된 이미지에 기초하여 딥러닝 모델을 생성하게 할 수 있다. 다시 말하면, 시스템(100)은 유저 인터페이스(400)의 저장부(434)에 대한 사용자 입력을 수신하면, 수동 레이블링된 이미지를 제1 데이터셋으로서 저장하고, 자동 레이블러 생성요청부(440)에 대한 사용자 입력을 수신하면, 수동 레이블링된 제1 데이터셋에 기초하여 제1 딥러닝 모델을 생성할 수 있다.
추가 실시예에서, 시스템(100)은 유저 인터페이스(400)와 별도로 제1 데이터셋을 추가할 수 있는 유저 인터페이스(500)를 제공할 수 있다. 유저 인터페이스(500)는 사용자가 시스템(100)이 제공하는 사용자맞춤 이미지식별 딥러닝 인터페이스에 포함된 유저 인터페이스(400)를 통해 제1 데이터셋을 저장한 후에 다시 사용자맞춤 이미지식별 딥러닝 인터페이스에 접속했을 때 확인할 수 있는 유저 인터페이스 일 수 있다. 다시 말하면, 저장되어 있는 제1 데이터셋에 추가로 데이터를 저장할 때의 유저 인터페이스일 수 있다.
도 5를 참조하면, 유저 인터페이스(500)는 제1 데이터셋 표시부(510), 이미지 표시부(520) 및 이미지 추가부(530)를 포함할 수 있다. 제1 데이터셋 표시부(510)는 저장되어 있는 제1 데이터셋의 리스트를 표시할 수 있다. 이미지 표시부(520)는 제1 데이터셋 표시부(510)에 표시된 리시트에서 하나를 선택하는 경우에 선택된 데이터의 레이블링된 이미지를 표시할 수 있다.
사용자가 데이터를 추가하기 위하여 이미지 추가부(530)에 대한 사용자 입력이 있는 경우, 시스템(100)은 사용자 장치(110)에 제1 데이터셋을 구축하기 위한 도 4의 유저 인터페이스(400)를 제공할 수 있다. 즉, 사용자는 선택적으로 제1 데이터셋의 추가가 가능할 수 있다.
유저 인터페이스(500)는 자동 레이블러 생성요청부(540)를 포함할 수 있으며, 사용자에 의한 자동 레이블러 생성요청부(540)에 대한 입력이 감지되는 경우, 시스템(100)은 현재 구축되어 있는 제1 데이터셋을 기초로 자동 레이블러를 생성할 수 있다. 즉, 시스템(100)은 제1 데이터셋 및 자동 레이블러의 정확도를 향상시킬 수 있는 기회를 더 가질 수 있다.
도 6은 본 개시의 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 시스템이 수행하는 자동 레이블링 작업의 프로세스를 도시한다. 도 6의 프로세스는 도 2의 블록(230)의 구체적인 프로세스일 수 있다. 도 7은 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 시스템이 자동 레이블링 작업을 제공하는 유저 인터페이스의 예를 도시한다. 도 6의 프로세스(220)를 수행하는데 있어, 사용자 입력을 수신받기 위해 시스템(100)이 사용자 장치(120)에 제공하는 유저 인터페이스는 도 6을 이용하여 설명될 수 있다.
도 6에 도시된 프로세스(220)는 블록(222, 224, 226, 228)에 의해 예시된 바와 같은 하나 이상의 동작, 기능 또는 작용을 포함할 수 있다. 한편, 도 5에 설명되는 개략적인 동작들은 예시로 써만 제공되고, 개시된 실시예의 본질에서 벗어나지 않으면서, 동작들 중 일부가 선택적일 수 있거나, 더 적은 동작으로 조합될 수 있거나, 추가적인 동작으로 확장될 수 있다.
도 6을 참조하면 프로세스(220)는 시스템(100)이 사용자가 식별을 원하는 객체가 포함된 적어도 하나의 제2 이미지를 수신하는 블록(222)에서 시작할 수 있다. 도 7을 참조하면, 유저 인터페이스(700)는 이미지 업로드부(710), 업로드된 이미지에 대한 자동 레이블링 결과가 표시되는 이미지 표시부(720), 및 자동 레이블링 결과에 대한 피드백을 입력하는 피드백 입력부(730)를 포함할 수 있다.
프로세스(220)는 제2 이미지가 수신되면, 제2 이미지에 대한 자동 레이블링 작업을 수행하는 블록(224)으로 이어질 수 있다. 시스템(100)은 사용자가 사용자 장치(110)에서 프로세스(220)를 수행할 수 있도록 유저 인터페이스를 제공할 수 있다. 유저 인터페이스는 사용자 장치(110)에 설치된 어플리케이션 프로그램을 통하여 적어도 일부가 구현될 수 있다. 즉, 사용자는 사용자 장치(110)에 설치된 어플리케이션 프로그램을 통해 실행되는 각종 편리한 그래픽 유저 인터페이스(graphic user interface, GUI)를 이용하여 사용자맞춤 이미지식별 딥러닝 모델을 개발하고 사용할 수 있다.
사용자는 유저 인터페이스(700)에 표시된 이미지 업로드부(710)를 통해 시스템(100)에 제2 이미지를 업로드 할 수 있다. 예를 들어, 사용자 장치(110)는 이미지 업로드부(710)에 대한 사용자 입력을 기초로, 입력 이미지를 제공하는 경로로서의 채널을 시스템(100)(또는 라우팅 서버(120))에 연결할 수 있다. 다른 예를 들어, 사용자 장치(110)에 저장되어 있는 이미지가 시스템(100)에 직접 전송될 수도 있다. 시스템(100)에 제공된 제2 이미지는 이미지 데이터베이스(140)를 통해 딥러닝 서버(190)에 제공될 수 있다.
프로세스(220)는 제2 이미지가 입력되면, 제2 이미지에 대한 자동 레이블링 작업을 수행하는 블록(224)으로 이어질 수 있다.
블록(224)에서, 일 실시예 따른 시스템(100)은 사용자가 제2 이미지 각각을 입력할 때 마다, 해당 제2 이미지에 대하여 제1 데이터셋에 기초하여 생성된 자동 레이블러를 이용하여 자동 레이블링 작업을 능동적으로 수행할 수 있다. 다른 실시예에서, 시스템(100)은 사용자가 제2 이미지를 입력한 후, 자동 레이블링을 나타내는 사용자 입력을 행한 후에 제2 이미지에 대하여 제1 데이터셋에 기초한 자동 레이블러를 이용하여 레이블링 작업을 수행할 수 있다.
시스템(100)은 제2 이미지에 대한 자동 레이블링의 결과를 사용자 장치(110)를 통해 사용자에게 제공할 수 있다. 도 7을 참조하면, 유저 인터페이스(700)의 이미지 표시부(720)에 자동 레이블링된 결과가 표시될 수 있다.
다음으로, 프로세스(220)는 사용자 입력에 기초하여 자동 레이블링된 제2 이미지를 선택적으로 제2 데이터셋으로 저장하는 블록(226)으로 이어질 수 있다.
블록(226)에서, 도 7을 참조하면, 사용자는 유저 인터페이스(700)에 포함된 피드백 입력부(730)를 통하여, 이미지 표시부(720)에 표시된 자동 레이블링된 이미지에 대한 피드백을 입력할 수 있다. 피드백 입력부(730)는 제2 이미지에 대한 자동 레이블링의 결과가 정확한 경우, 즉 객체 식별이 정확하게 이뤄진 경우를 나타내는 통과 버튼부(732)와 정확하지 않은 경우를 나타내는 실패 버튼부(732)를 포함할 수 있다. 객체 식별에 성공한 이미지와 실패한 이미지는 버튼부(731, 732)에 대한 사용자 입력에 따라 구분될 수 있다.
일 실시예에서, 사용자에 의해 객체 식별이 정확하게 되었다고 판단된 제2 이미지는 통과 버튼부(732)를 누름으로써 제2 데이터셋으로 저장될 수 있다. 추가 실시예에서 객체 식별이 정확하게 되지 않았다고 판단된 제2 이미지는 수동 레이블링의 작업을 통해 딥러닝 모델 생성을 위한 데이터셋으로서 활용될 수 있다. 추가 실시예에서, 유저 인터페이스(700)는 자동 레이블링된 제2 이미지를 제2 데이터셋으로 저장하는 것을 요청하는 저장부(733)를 더 포함할 수 있다.
추가 실시예에서, 자동 레이블링의 결과가 정확하지 않은 이미지의 경우에는, 해당 이미지에 대한 수동 레이블링을 제공하는 유저 인터페이스가 제공될 수도 있다. 사용자는 해당 이미지에 대하여 객체 영역을 설정하거나, 애노테이션 정보를 수정할 수 있다.
블록(228)에서, 제1 데이터셋 및 제2 데이터셋을 기초로 자동 객체인식기를 생성할 수 있다. 즉, 시스템(100)은 수동 레이블링된 제1 데이터셋과 자동 레이블링된 제2 데이터셋을 이용하여 딥러닝 모델(자동 레이블러)을 갱신할 수 있다.
도 7을 참조하면, 유저 인터페이스(700)에 포함된, 사용자 피드백 결과를 기초로 제2 딥러닝 모델을 생성하게 하는 작동 객체인식기 생성부(740)에 대한 입력을 통하여, 데이터셋으로서 저장된 레이블링된 이미지에 기초하여 딥러닝 모델을 생성하게 할 수 있다. 다시 말하면, 시스템(100)은 유저 인터페이스(700)의 저장부(733)에 대한 사용자 입력을 수신하면, 피드백 결과 정확성이 확보된 자동 레이블링된 이미지를 제2 데이터셋으로서 저장하고, 제2 딥러닝 모델 생성부(740)에 대한 사용자 입력을 수신하면, 제1 데이터셋 및 제2 데이터셋에 기초하여 제2 딥러닝 모델을 생성할 수 있다.
본 개시의 사용자맞춤 이미지식별 딥러닝 시스템(100)은 제1 데이터셋 및 제2 데이터셋에 기초하여 생성된 자동 객체인식기(또는 제2 딥러닝 모델)를 사용자가 활용할 수 있는 유저 인터페이스를 제공할 수 있다. 다만, 제2 딥러닝 모델의 정확도가 기준 이하인 경우에는, 수동 또는 자동 레이블링된 데이터셋의 추가를 사용자에게 요구할 수 있다. 도 8은 본 개시의 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 시스템(100)이 제공하는 딥러닝 유저 인터페이스가 사용자 장치에서 디스플레이되는 화면의 구체적인 예를 도시한다.
도 8을 참조하면, 유저 인터페이스(800)는 적용 이미지 업로드부(810), 결과 이미지 표시부(820), 결과정보 표시부(830), 및 리스트(840)를 표시할 수 있다.
사용자는 시스템(100)에 제공하는 유저 인터페이스(800)를 통해 자신이 생성한 자동 객체인식기를 활용할 수 있다. 예를 들어 사용자는, 유저 인터페이스(800)에 포함된 업로드부(810)를 통하여 객체 인식을 원하는 이미지를 입력할 수 있다. 일 실시예에서는 이미지 입력과 동시에 결과 이미지 표시부(820)를 통해 자동 객체인식기를 이용하여 입력된 이미지에 대한 객체 인식의 결과가 표시될 수도 있지만, 다른 실시예에서, 사용자의 유저 인터페이스(800)에 포함된 객체인식기 실행부(811)에 대한 입력에 의해, 결과 이미지 표시부(820)를 통해 자동 객체인식기를 이용하여 입력된 이미지에 대한 객체 인식의 결과가 표시될 수 있다.
일 실시예에서, 사용자는 저장부(812)에 대한 입력을 통해, 객체가 식별된 이미지(또는 레이블링 된 이미지)를 자동 객체인식기(또는 딥러닝 모델)의 성능을 향상시키기 위한 데이터셋으로서 저장할 수 있다. 유저 인터페이스(800)에서 저장되는 이미지는 제2 데이터셋 또는 별도의 데이터셋으로서 저장될 수 있다.
결과정보 표시부(830)는 자동 객체식별기의 정확도 및 현재 이미지에 대한 이미지 식별에 있어 객체가 식별된 경우를 나타낼 수 있다. 리스트(840)는 유저 인터페이스(800)를 통해 식별되는 이미지들의 리스트와 이미지별로 식별된 객체의 개수가 표시될 수 있다.
위와 같은 다양한 실시예에 따른 사용자 맞춤 이미지식별 딥러닝 시스템(100)은, 딥러닝 모델의 생성 단계를 간단하게 정립하고, 상기 단계들에 필요한 이미지 입력, 수동 레이블링 작업 및 자동 레이블링 작업에 대한 피드백 작업을 수행하는데 있어 직관적이며, 자연스럽고 쉬운 인터랙션을 제공함으로써, 딥러닝에 대한 전문적인 지식이 없는 사용자라도, 식별을 원하는 객체 식별을 위한 사용자맞춤 이미지식별 딥러닝 모델을 직접 생성하며 활용할 수 있는 기회를 가진다.
도 9는 본 개시의 적어도 일부 실시예에 따른 사용자맞춤 이미지식별 딥러닝 모델 생성을 위한 시스템을 운용하기 위한 예시적인 컴퓨터 프로그램 제품(900)을 도시한다. 예시적인 컴퓨터 프로그램 제품의 예시적인 실시예는 신호 포함 매체(902)(또는 신호 베어링 매체)를 이용하여 제공된다. 일부 실시예에서, 하나 이상의 컴퓨터 프로그램 제품(900)의 신호 포함 매체(902)는 적어도 하나의 명령어(904), 컴퓨터 판독가능 매체(906), 기록 가능 매체(908) 및/또는 통신매체(910)를 포함할 수 있다.
신호 포함 매체(902)에 포함된 명령어(instructions)(904)는 예컨대, 도 1에 예시된, 사용자맞춤 이미지식별 딥러닝 시스템(100) 또는 사용자 장치(110)에 포함된 하나 이상의 컴퓨팅 장치에 의해 실행될 수 있다. 명령어(904)는 상기 하나 이상의 컴퓨팅 장치를 이용하여, 사용자 장치로부터의 요청에 응답하여, 적어도 하나의 제1 이미지를 입력받기 위한 명령어, 사용자 장치로부터 적어도 하나의 제1 이미지에 대한 사용자 입력에 기초하여 수동 레이블링을 수행하고, 수동 레이블링된 적어도 하나의 제1 이미지를 제1 데이터셋으로 저장하기 위한 명령어, 제1 데이터셋에 기초하여 제1 딥러닝 모델을 생성하기 위한 명령어, 사용자 장치로부터의 요청에 응답하여, 적어도 하나의 제2 이미지를 입력받기 위한 명령어, 적어도 하나의 제2 이미지에 대하여 제1 딥러닝 모델을 이용하여 자동 레이블링을 수행하기 위한 명령어, 사용자 장치로부터 자동 레이블링된 적어도 하나의 제2 이미지에 대한 피드백 결과에 기초하여, 레이블링된 적어도 하나의 제2 이미지 중 적어도 하나를 제2 데이터셋으로 저장하기 위한 명령어, 제1 데이터셋 및 제2 데이터셋을 기초로 제2 딥러닝 모델을 생성하기 위한 명령어 중 적어도 하나를 저장할 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수도 있다.
이상, 본 개시에서 청구하고자 하는 대상에 대해 구체적으로 살펴보았다. 본 개시에서 청구된 대상은 앞서 기술한 특정 구현예로 그 범위가 제한되지 않는다. 예컨대, 어떤 구현예에서는 장치 또는 장치의 조합 상에서 동작 가능하게 사용되는 하드웨어의 형태일 수 있으며, 다른 구현예에서는 소프트웨어 및/또는 펌웨어의 형태로 구현될 수 있고, 또 다른 구현예에서는 신호 베어링 매체, 저장 매체와 같은 하나 이상의 물품을 포함할 수 있다. 여기서, CD-ROM, 컴퓨터 디스크, 플래시 메모리 등과 같은 저장 매체는, 예컨대 컴퓨팅 시스템, 컴퓨팅 플랫폼 또는 기타 시스템과 같은 컴퓨팅 장치에 의하여 실행될 때 앞서 설명한 구현예에 따라 해당 프로세서의 실행을 야기시킬 수 있는 명령을 저장할 수 있다. 이러한 컴퓨팅 장치는 하나 이상의 처리 유닛 또는 프로세서, 디스플레이, 키보드 및/또는 마우스와 같은 하나 이상의 입/출력 장치, 및 정적 랜덤 액세스 메모리, 동적 랜덤 액세스 메모리, 플래시 메모리 및/또는 하드 드라이브와 같은 하나 이상의 메모리를 포함할 수 있다.
한편, 시스템을 하드웨어로 구현할 것인지 아니면 소프트웨어로 구현할 것인지는, 일반적으로 비용 대비 효율의 트레이드오프를 나타내는 설계상 선택 문제이다. 본 개시에서는 프로세스, 시스템, 기타 다른 기술들의 영향을 받을 수 있는 다양한 수단(예를 들어, 하드웨어, 소프트웨어 및/또는 펌웨어)이 있으며, 선호되는 수단은 프로세스 및/또는 시스템 및/또는 다른 기술이 사용되는 맥락(context)에 따라 변경될 것이다. 예를 들어, 구현자가 속도 및 정확성이 가장 중요하다고 결정한다면, 구현자는 주로 하드웨어 및/또는 펌웨어 수단을 선택할 수 있으며, 유연성이 가장 중요하다면, 구현자는 주로 소프트웨어 구현을 선택할 수 있으며; 또는, 다른 대안으로서, 구현자는 하드웨어, 소프트웨어 및/또는 펌웨어의 어떤 결합을 선택할 수 있다.
전술한 상세한 설명에서는 블록도, 흐름도 및/또는 기타 예시를 통해 장치 및/또는 프로세스의 다양한 실시예를 설명하였다. 그러한 블록도, 흐름도, 및/또는 기타 예시는 하나 이상의 기능 및/또는 동작을 포함하게 되며, 당업자라면 블록도, 흐름도 및/또는 기타 예시 내의 각각의 기능 및/또는 동작이 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에 의해 개별적으로 혹은 집합적으로 구현될 수 있다는 점을 이해할 수 있을 것이다. 일 실시예에서, 본 개시에 기재된 대상의 몇몇 부분은 ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), DSP(Digital Signal Processor) 또는 다른 집적의 형태를 통해 구현될 수 있다. 이와 달리, 본 개시의 실시예의 일부 양상은 하나 이상의 컴퓨터 상에 실행되는 하나 이상의 컴퓨터 프로그램(예를 들어, 하나 이상의 컴퓨터 시스템 상에 실행되는 하나 이상의 프로그램), 하나 이상의 프로세서 상에서 실행되는 하나 이상의 프로그램(예를 들어, 하나 이상의 마이크로프로세서 상에서 실행되는 하나 이상의 프로그램), 펌웨어 또는 이들의 실질적으로 임의의 조합으로써 전체적으로 또는 부분적으로 균등하게 집적 회로에서 구현될 수도 있으며, 소프트웨어 및/또는 펌웨어를 위한 코드의 작성 및/또는 회로의 설계는 본 개시에 비추어 당업자의 기술 범위 내에 속하는 것이다. 또한, 당업자라면, 본 개시의 대상의 매커니즘들이 다양한 형태의 프로그램 제품으로 분배될 수 있음을 이해할 것이며, 본 개시의 대상의 예시는 분배를 실제로 수행하는데 사용되는 신호 베어링 매체의 특정 유형과 무관하게 적용됨을 이해할 것이다.
특정 예시적 기법이 다양한 방법 및 시스템을 이용하여 여기에서 기술되고 도시되었으나, 당업자라면, 청구된 대상에서 벗어남이 없이, 다양한 기타의 수정 또는 등가물로의 치환 가능성을 이해할 수 있다. 추가적으로, 여기에 기술된 중심 개념으로부터 벗어남이 없이 특정 상황을 청구된 대상의 교시로 적응시키도록 많은 수정이 이루어질 수 있다. 따라서, 청구된 대상이 개시된 특정 예시로 제한되지 않으나, 그러한 청구된 대상은 또한 첨부된 청구범위 및 그 균등의 범위 내에 들어가는 모든 구현예를 포함할 수 있음이 의도된다.
본 개시 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 본 개시 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다. 나아가, 본 개시 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본 개시에서 사용되는 정도의 용어 "약," "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다.
본 개시의 범위는 전술한 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위, 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
Claims (18)
- 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법으로서,
사용자 장치로부터의 요청에 응답하여, 적어도 하나의 제1 이미지를 입력받는 단계;
상기 사용자 장치로부터 적어도 하나의 제1 이미지에 대한 사용자 입력에 기초하여 수동 레이블링을 수행하고, 수동 레이블링된 적어도 하나의 제1 이미지를 제1 데이터셋으로 저장하는 단계;
상기 제1 데이터셋에 기초하여 제1 딥러닝 모델을 생성하는 단계;
사용자 장치로부터의 요청에 응답하여, 적어도 하나의 제2 이미지를 입력받는 단계;
상기 적어도 하나의 제2 이미지에 대하여 상기 제1 딥러닝 모델을 이용하여 자동 레이블링을 수행하는 단계;
상기 사용자 장치로부터 자동 레이블링된 적어도 하나의 제2 이미지에 대한 피드백 결과에 기초하여, 상기 레이블링된 적어도 하나의 제2 이미지 중 적어도 하나를 제2 데이터셋으로 저장하는 단계; 및
상기 제1 데이터셋 및 상기 제2 데이터셋을 기초로 제2 딥러닝 모델을 생성하는 단계
를 포함하는, 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법. - 제1항에 있어서,
상기 제2 딥러닝 모델에 대한 정확도를 측정하는 단계
를 더 포함하는, 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법. - 제2항에 있어서,
상기 제2 딥러닝 모델에 대한 정확도를 측정한 결과, 기준치 이하인 경우, 상기 제1 데이터셋 또는 상기 제2 데이터셋의 갱신을 수행하는 단계
를 더 포함하는, 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법. - 제1항에 있어서,
상기 적어도 하나의 제1 이미지를 입력 받기 위한 이미지 입력부, 상기 적어도 하나의 제1 이미지가 표시되는 이미지 표시부, 상기 적어도 하나의 제1 이미지의 각각에 수동 레이블링을 제공하기 위한 레이블링 도구, 및 수동 레이블링된 상기 적어도 하나의 제1 이미지를 제1 데이터셋으로서 저장을 요청하는 저장부를 포함하는 제1 유저 인터페이스를 상기 사용자 장치에 제공하는 단계
를 더 포함하는, 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법. - 제4항에 있어서,
상기 적어도 하나의 제1 이미지를 입력받는 단계는, 이미지 제공 장치에 접근 경로에 대한 정보를 입력받는 단계를 포함하는 것인, 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법. - 제4항에 있어서,
상기 적어도 하나의 제1 이미지를 입력받는 단계는, 상기 사용자 장치에 저장된 이미지를 전송받는 단계를 포함하는 것인, 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법. - 제1항에 있어서,
상기 적어도 하나의 제2 이미지를 입력 받기 위한 이미지 입력부, 상기 자동 레이블링된 적어도 하나의 제2 이미지가 표시되는 이미지 표시부, 및 상기 자동 레이블링된 적어도 하나의 제2 이미지에 대한 피드백을 입력 받기 위한 피드백 입력부를 포함하는 제1 유저 인터페이스를 상기 사용자 장치에 제공하는 단계
를 더 포함하는, 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법. - 제2항에 있어서,
제3 이미지를 입력 받기 위한 이미지 입력부, 및 상기 제3 이미지에 대한 상기 제2 딥러닝 모델의 적용을 요청하기 위한 이미지식별 요청부를 포함하는 제3 유저 인터페이스를 제공하는 단계
를 더 포함하는, 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법. - 제8항에 있어서,
상기 제3 유저 인터페이스는 상기 제2 딥러닝 모델에 대한 상기 정확도를 표시하기 위한 정확도 표시부를 더 포함하는 것인, 사용자맞춤 이미지식별 딥러닝 시스템의 운영 방법. - 사용자맞춤 이미지식별 딥러닝 모델의 개발을 위한 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체로서, 상기 컴퓨터 프로그램은 사용자맞춤 이미지식별 딥러닝 시스템 내의 하나 이상의 컴퓨팅 장치에서 수행 가능한 하나 이상의 명령어를 포함하며, 상기 하나 이상의 명령어는,
사용자 장치로부터의 요청에 응답하여, 적어도 하나의 제1 이미지를 입력받는 명령어;
상기 사용자 장치로부터 적어도 하나의 제1 이미지에 대한 사용자 입력에 기초하여 수동 레이블링을 수행하고, 수동 레이블링된 적어도 하나의 제1 이미지를 제1 데이터셋으로 저장하는 명령어;
상기 제1 데이터셋에 기초하여 제1 딥러닝 모델을 생성하는 명령어;
사용자 장치로부터의 요청에 응답하여, 적어도 하나의 제2 이미지를 입력받는 명령어;
상기 적어도 하나의 제2 이미지에 대하여 상기 제1 딥러닝 모델을 이용하여 자동 레이블링을 수행하는 명령어;
상기 사용자 장치로부터 자동 레이블링된 적어도 하나의 제2 이미지에 대한 피드백 결과에 기초하여, 상기 레이블링된 적어도 하나의 제2 이미지 중 적어도 하나를 제2 데이터셋으로 저장하는 명령어; 및
상기 제1 데이터셋 및 상기 제2 데이터셋을 기초로 제2 딥러닝 모델을 생성하는 명령어
를 포함하는, 사용자맞춤 이미지식별 딥러닝 모델의 개발을 위한 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체. - 제10항에 있어서,
상기 하나 이상의 명령어는,
상기 제2 딥러닝 모델에 대한 정확도를 측정하는 명령어
를 더 포함하는 것인, 사용자맞춤 이미지식별 딥러닝 모델의 개발을 위한 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체. - 제11항에 있어서,
상기 하나 이상의 명령어는,
상기 제2 딥러닝 모델에 대한 정확도를 측정한 결과, 기준치 이하인 경우, 상기 제1 데이터셋 또는 상기 제2 데이터셋의 갱신을 수행하는 명령어
를 더 포함하는 것인, 사용자맞춤 이미지식별 딥러닝 모델의 개발을 위한 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체. - 제10항에 있어서,
상기 하나 이상의 명령어는,
상기 적어도 하나의 제1 이미지를 입력 받기 위한 이미지 입력부, 상기 적어도 하나의 제1 이미지가 표시되는 이미지 표시부, 상기 적어도 하나의 제1 이미지의 각각에 수동 레이블링을 제공하기 위한 레이블링 도구, 및 수동 레이블링된 상기 적어도 하나의 제1 이미지를 제1 데이터셋으로서 저장을 요청하는 저장부를 포함하는 제1 유저 인터페이스를 상기 사용자 장치에 제공하는 명령어
를 더 포함하는 것인, 사용자맞춤 이미지식별 딥러닝 모델의 개발을 위한 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체. - 제13항에 있어서,
상기 적어도 하나의 제1 이미지를 입력받는 명령어는, 이미지 제공 장치에 접근 경로에 대한 정보를 입력받는 명령어를 포함하는 것인, 사용자맞춤 이미지식별 딥러닝 모델의 개발을 위한 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체. - 제13항에 있어서,
상기 적어도 하나의 제1 이미지를 입력받는 명령어는, 상기 사용자 장치에 저장된 이미지를 전송받는 명령어를 포함하는 것인, 사용자맞춤 이미지식별 딥러닝 모델의 개발을 위한 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체. - 제10항에 있어서,
상기 하나 이상의 명령어는,
상기 적어도 하나의 제2 이미지를 입력 받기 위한 이미지 입력부, 상기 자동 레이블링된 적어도 하나의 제2 이미지가 표시되는 이미지 표시부, 및 상기 자동 레이블링된 적어도 하나의 제2 이미지에 대한 피드백을 입력 받기 위한 피드백 입력부를 포함하는 제1 유저 인터페이스를 상기 사용자 장치에 제공하는 명령어
를 더 포함하는 것인, 사용자맞춤 이미지식별 딥러닝 모델의 개발을 위한 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체. - 제11항에 있어서,
상기 하나 이상의 명령어는,
제3 이미지를 입력 받기 위한 이미지 입력부, 및 상기 제3 이미지에 대한 상기 제2 딥러닝 모델의 적용을 요청하기 위한 이미지식별 요청부를 포함하는 제3 유저 인터페이스를 제공하는 명령어
를 더 포함하는 것인, 사용자맞춤 이미지식별 딥러닝 모델의 개발을 위한 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체. - 제17항에 있어서,
상기 제3 유저 인터페이스는 상기 제2 딥러닝 모델에 대한 상기 정확도를 표시하기 위한 정확도 표시부를 포함하는 것인, 사용자맞춤 이미지식별 딥러닝 모델의 개발을 위한 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200072769A KR102523839B1 (ko) | 2020-06-16 | 2020-06-16 | 객체 레이블링을 통한 사용자맞춤 이미지식별 딥러닝 모델 생성을 위한 시스템 및 이의 운용 방법 |
| US18/010,480 US20230215149A1 (en) | 2020-06-16 | 2020-07-02 | System for generation of user-customized image identification deep learning model through object labeling and operation method thereof |
| PCT/KR2020/008631 WO2021256597A1 (ko) | 2020-06-16 | 2020-07-02 | 객체 레이블링을 통한 사용자맞춤 이미지식별 딥러닝 모델 생성을 위한 시스템 및 이의 운용 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200072769A KR102523839B1 (ko) | 2020-06-16 | 2020-06-16 | 객체 레이블링을 통한 사용자맞춤 이미지식별 딥러닝 모델 생성을 위한 시스템 및 이의 운용 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210155488A true KR20210155488A (ko) | 2021-12-23 |
| KR102523839B1 KR102523839B1 (ko) | 2023-04-20 |
Family
ID=79175834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200072769A KR102523839B1 (ko) | 2020-06-16 | 2020-06-16 | 객체 레이블링을 통한 사용자맞춤 이미지식별 딥러닝 모델 생성을 위한 시스템 및 이의 운용 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230215149A1 (ko) |
| KR (1) | KR102523839B1 (ko) |
| WO (1) | WO2021256597A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102491217B1 (ko) * | 2022-07-08 | 2023-01-26 | 주식회사 대영아이오티 | 인공지능 기반 도메인 적응 주차관제시스템의 차량 인식 최적화 장치 및 그 장치의 구동방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102515081B1 (ko) * | 2022-03-22 | 2023-03-29 | 한화시스템 주식회사 | 객체인식 소프트웨어 학습방법 및 학습장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101887415B1 (ko) | 2017-11-21 | 2018-08-10 | 주식회사 크라우드웍스 | 데이터 라벨링 작업 검수방법 및 프로그램 |
| KR102071179B1 (ko) * | 2019-05-20 | 2020-01-29 | 주식회사 루닛 | 데이터 셋의 연속적인 학습 방법 및 장치 |
| JP2020064476A (ja) * | 2018-10-18 | 2020-04-23 | コニカミノルタ株式会社 | 情報処理装置及びプログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3690704B1 (en) * | 2019-01-29 | 2021-02-24 | Accenture Global Solutions Limited | Distributed and self-validating dense object detection in digital images |
| KR102033136B1 (ko) * | 2019-04-03 | 2019-10-16 | 주식회사 루닛 | 준지도 학습 기반의 기계학습 방법 및 그 장치 |
| KR102128056B1 (ko) * | 2019-11-29 | 2020-07-07 | 주식회사 루닛 | 기계 학습 방법 및 장치 |
-
2020
- 2020-06-16 KR KR1020200072769A patent/KR102523839B1/ko active IP Right Grant
- 2020-07-02 WO PCT/KR2020/008631 patent/WO2021256597A1/ko active Application Filing
- 2020-07-02 US US18/010,480 patent/US20230215149A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101887415B1 (ko) | 2017-11-21 | 2018-08-10 | 주식회사 크라우드웍스 | 데이터 라벨링 작업 검수방법 및 프로그램 |
| JP2020064476A (ja) * | 2018-10-18 | 2020-04-23 | コニカミノルタ株式会社 | 情報処理装置及びプログラム |
| KR102071179B1 (ko) * | 2019-05-20 | 2020-01-29 | 주식회사 루닛 | 데이터 셋의 연속적인 학습 방법 및 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102491217B1 (ko) * | 2022-07-08 | 2023-01-26 | 주식회사 대영아이오티 | 인공지능 기반 도메인 적응 주차관제시스템의 차량 인식 최적화 장치 및 그 장치의 구동방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102523839B1 (ko) | 2023-04-20 |
| US20230215149A1 (en) | 2023-07-06 |
| WO2021256597A1 (ko) | 2021-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112203122B (zh) | 基于人工智能的相似视频处理方法、装置及电子设备 | |
| US10963759B2 (en) | Utilizing a digital canvas to conduct a spatial-semantic search for digital visual media | |
| US20200183977A1 (en) | Providing relevant cover frame in response to a video search query | |
| US10621755B1 (en) | Image file compression using dummy data for non-salient portions of images | |
| US20200226133A1 (en) | Knowledge map building system and method | |
| US11341186B2 (en) | Cognitive video and audio search aggregation | |
| US8200669B1 (en) | Management of smart tags via hierarchy | |
| US10628463B2 (en) | Applying geo-tags to digital media captured without location information | |
| Forrester et al. | An open standard for camera trap data | |
| Mühling et al. | Content-based video retrieval in historical collections of the German broadcasting archive | |
| US20160004936A1 (en) | Computer vision as a service | |
| US8117210B2 (en) | Sampling image records from a collection based on a change metric | |
| KR102523839B1 (ko) | 객체 레이블링을 통한 사용자맞춤 이미지식별 딥러닝 모델 생성을 위한 시스템 및 이의 운용 방법 | |
| US10998007B2 (en) | Providing context aware video searching | |
| CN114730486B (zh) | 用于生成用于对象检测的训练数据的方法和系统 | |
| CN115496820A (zh) | 图像文案的生成方法、设备及计算机存储介质 | |
| KR102375145B1 (ko) | 비디오 데이터 통합 분석 및 관리 시스템 | |
| CN111382281B (zh) | 基于媒体对象的内容的推荐方法、装置、设备和存储介质 | |
| CN110457155B (zh) | 一种样本类别标签的修正方法、装置及电子设备 | |
| Rulff et al. | Urban Rhapsody: Large‐scale exploration of urban soundscapes | |
| CN115169578A (zh) | 一种基于元宇宙数据标记的ai模型生产方法及系统 | |
| Sun et al. | Design of a Media Resource Management System for Colleges Based on Cloud Service | |
| KR20220005204A (ko) | 개인화 딥러닝 모델 생성을 위한 플랫폼을 제공하는 시스템 및 이의 운용 방법 | |
| Bhati et al. | Interactive visualization and capture of geo-coded multimedia data on mobile devices | |
| US11954151B1 (en) | Natural language processing for searching security video data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |