KR20240078525A - 인공지능 학습용 이미지 데이터 셋의 거래의 중개 방법 및 서버 - Google Patents
인공지능 학습용 이미지 데이터 셋의 거래의 중개 방법 및 서버 Download PDFInfo
- Publication number
- KR20240078525A KR20240078525A KR1020220160464A KR20220160464A KR20240078525A KR 20240078525 A KR20240078525 A KR 20240078525A KR 1020220160464 A KR1020220160464 A KR 1020220160464A KR 20220160464 A KR20220160464 A KR 20220160464A KR 20240078525 A KR20240078525 A KR 20240078525A
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- data set
- image
- images
- artificial intelligence
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 title description 4
- 238000007906 compression Methods 0.000 claims abstract description 68
- 230000006835 compression Effects 0.000 claims abstract description 68
- 238000007689 inspection Methods 0.000 claims abstract description 63
- 230000002123 temporal effect Effects 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000002372 labelling Methods 0.000 claims description 93
- 230000003416 augmentation Effects 0.000 claims description 35
- 230000003190 augmentative effect Effects 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 7
- 230000008921 facial expression Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 20
- 238000001514 detection method Methods 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000008094 contradictory effect Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000013503 de-identification Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0613—Third-party assisted
- G06Q30/0619—Neutral agent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/04—Payment circuits
- G06Q20/06—Private payment circuits, e.g. involving electronic currency used among participants of a common payment scheme
- G06Q20/065—Private payment circuits, e.g. involving electronic currency used among participants of a common payment scheme using e-cash
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/018—Certifying business or products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0609—Buyer or seller confidence or verification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0623—Item investigation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees
Abstract
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법이 개시된다. 본 발명에 따른, 인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법은, 미가공 이미지 데이터 셋을 수신하는 단계, 상기 미가공 이미지 데이터 셋을 가공하여 가공 이미지 데이터 셋을 생성하는 단계, 및, 검수가 완료된 상기 가공 이미지 데이터 셋이 인공지능 학습용 데이터로 거래되도록, 상기 검수가 완료된 상기 가공 이미지 데이터 셋을 판매 이미지 데이터 셋으로 등록하는 단계를 포함하고, 상기 가공 이미지 데이터 셋을 생성하는 단계는, 상기 미 가공 이미지 데이터 셋 내 이미지에 대한 시간적 압축, 공간적 압축 및 시공간적 압축 중 적어도 하나를 수행하여, 압축 이미지를 포함하는 상기 가공 이미지 데이터 셋을 생성하는 단계를 포함한다.
Description
본 발명은, 판매자로부터 판매 요청된 미가공 이미지 데이터 셋을 판매에 적합하게 가공한 후 거래를 중개할 수 있는, 인공지능 학습용 이미지 데이터 셋의 거래의 중개 방법 및 서버에 관한 것이다.
최근 AI 기술의 방향성은, 학습 네트워크를 만드는 모델 중심의 방법(Model-centric)으로부터, 데이터를 어떻게 정제하고 학습하여 AI 추론의 정확도를 높일 것인지 설계하는 데이터 중심 방법(Data-centric)으로 변화하고 있다.
인공지능 모델의 트레이닝에 있어서 중요한 것은 다량의 학습 데이터를 수집하는 것이며, 하나의 개인 또는 집단이 수집할 수 있는 학습 데이터의 양에는 한계가 있기 때문에, 학습 데이터를 자유롭게 거래할 수 있도록 하는 거래 플랫폼을 제공하는 것을 고려해볼 수 있다. 다만 다수의 판매자 및 구매자가 참여하고 매우 다량의 데이터가 거래되는 환경에서, 학습 데이터의 품질을 보장할 수 없는 문제, 파일 형태를 가지는 학습 데이터의 불법 복제 문제로 인하여 신뢰 관계가 없는 당사자들 간에 데이터 거래가 활발해질 수 없는 한계, 학습 데이터가 거래됨에 따라 학습 데이터에 포함되는 개인 정보가 유출되는 문제 등이 발생할 수 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 판매자로부터 판매 요청된 미가공 이미지 데이터 셋을 판매에 적합하게 가공한 후 거래를 중개할 수 있는, 인공지능 학습용 이미지 데이터 셋의 거래의 중개 방법 및 서버를 제공하기 위함이다.
본 발명에 따른 인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법은, 미가공 이미지 데이터 셋을 수신하는 단계, 상기 미가공 이미지 데이터 셋을 가공하여 가공 이미지 데이터 셋을 생성하는 단계, 및, 검수가 완료된 상기 가공 이미지 데이터 셋이 인공지능 학습용 데이터로 거래되도록, 상기 검수가 완료된 상기 가공 이미지 데이터 셋을 판매 이미지 데이터 셋으로 등록하는 단계를 포함하고, 상기 가공 이미지 데이터 셋을 생성하는 단계는, 상기 미 가공 이미지 데이터 셋 내 이미지에 대한 시간적 압축, 공간적 압축 및 시공간적 압축 중 적어도 하나를 수행하여, 압축 이미지를 포함하는 상기 가공 이미지 데이터 셋을 생성하는 단계를 포함한다.
이 경우 상기 압축 이미지를 포함하는 상기 가공 이미지 데이터 셋을 생성하는 단계는, 상기 미가공 이미지 데이터 셋 내 이미지들 중 동일 배경을 가지는 이미지들을 그룹핑함으로써, 하나 이상의 배경에 각각 대응하는 하나 이상의 그룹을 생성하는 단계를 포함할 수 있다.
이 경우 상기 하나 이상의 그룹을 생성하는 단계는, 상기 미가공 이미지 데이터 셋 내 제1 이미지 및 제2 이미지를 매칭점을 기준으로 중첩시키고, 중첩 영역을 추출하는 단계, 및, 상기 제1 이미지 내 중첩 영역과 상기 제2 이미지 내 중첩 영역 간의 유사도를 산출하는 단계를 포함하고, 상기 유사도를 산출하는 단계는, “상기 제1 이미지 내 중첩 영역을 이용하여 획득된 피처맵과 상기 제2 이미지 내 중첩 영역을 이용하여 획득된 피처맵의 차이” 및 “상기 제1 이미지 내 중첩 영역과 상기 제2 이미지 내 중첩 영역 간의 픽셀 별 픽셀 값의 차이”를 이용하여 상기 유사도를 산출하는 단계를 포함할 수 있다.
한편 상기 압축 이미지를 포함하는 상기 가공 이미지 데이터 셋을 생성하는 단계는, 상기 미가공 이미지 데이터 셋에서, 상기 하나 이상의 그룹에 속하지 않는 이미지를 상기 가공 이미지 데이터 셋에 포함시키는 단계;를 포함할 수 있다.
한편 상기 압축 이미지를 포함하는 상기 가공 이미지 데이터 셋을 생성하는 단계는, 동일 배경을 가짐으로써 하나의 그룹에 속하는 이미지들 중, 동일 오브젝트를 포함하는 복수의 이미지를 세부 그룹으로 분류하는 단계, 상기 동일 배경을 가지고 상기 동일 오브젝트를 포함하는, 상기 세부 그룹의 시간 대표 이미지를 결정하는 단계, 및, 상기 시간 대표 이미지를 상기 압축 이미지로써 상기 가공 이미지 데이터 셋에 포함시키는 단계를 포함할 수 있다.
이 경우 상기 세부 그룹의 시간 대표 이미지를 결정하는 단계는, 상기 세부 그룹에 속하는 복수의 이미지 중 가장 많은 오브젝트를 포함하는 이미지를 선정하는 단계를 포함할 수 있다.
한편 상기 압축 이미지를 포함하는 상기 가공 이미지 데이터 셋을 생성하는 단계는, 동일 배경을 가짐으로써 하나의 그룹에 속하는 이미지들 중 서로 다른 오브젝트를 포함하는 이미지들을 이용하여, 상기 서로 다른 오브젝트를 포함하는 공간 대표 이미지를 생성하는 단계, 및, 상기 공간 대표 이미지를 상기 압축 이미지로써 상기 가공 이미지 데이터 셋에 포함시키는 단계를 포함할 수 있다.
이 경우 상기 공간 대표 이미지에 포함되는 상기 서로 다른 오브젝트는 서로 중첩되지 않을 수 있다.
한편 상기 서로 다른 오브젝트를 포함하는 공간 대표 이미지를 생성하는 단계는, 상기 하나의 그룹에 속하는 제1 이미지 내 오브젝트와 상기 하나의 그룹에 속하는 제2 이미지 내 오브젝트가 중첩되는지 판단하는 단계, 상기 제2 이미지 내 오브젝트가 상기 제1 이미지 내 오브젝트와 중첩되지 않으면 상기 제2 이미지 내 오브젝트를 상기 제1 이미지에 포함시키고, 상기 제2 이미지 내 오브젝트가 상기 제1 이미지 내 오브젝트와 중첩되면 상기 제2 이미지 내 오브젝트를 상기 제1 이미지에 포함시키지 않는 단계를 포함할 수 있다.
한편 상기 서로 다른 오브젝트를 포함하는 공간 대표 이미지를 생성하는 단계는, 상기 공간 대표 이미지가 임계 개수의 오브젝트를 포함하도록 상기 공간 대표 이미지를 생성하는 단계를 포함할 수 있다.
한편 상기 압축 이미지를 포함하는 상기 가공 이미지 데이터 셋을 생성하는 단계는, 동일 배경을 가짐으로써 하나의 그룹에 속하는 이미지들에 대하여 상기 시간적 압축을 수행함으로써 시간 대표 이미지를 포함하는 서브 데이터 셋을 생성하는 단계, 및, 서브 데이터 셋에 속하는 이미지들에 대하여, 상기 공간적 압축을 수행하여 시공간 대표 이미지를 생성하고, 상기 시공간 대표 이미지를 상기 압축 이미지로써 상기 가공 이미지 데이터 셋에 포함시키는 단계를 포함할 수 있다.
한편 시간 대표 이미지에 의해 대표되는 이미지, 공간 대표 이미지에 의해 대표되는 이미지 또는 시공간 대표 이미지에 의해 대표되는 이미지는 상기 가공 이미지 데이터 셋에 포함되지 않을 수 있다.
한편 상기 가공 이미지 데이터 셋을 생성하는 단계는, 상기 미 가공 이미지 데이터 셋 내 이미지에 대한 시간적 증강, 공간적 증강 및 시공간적 증강 중 적어도 하나를 수행하여, 증강 이미지를 포함하는 상기 가공 이미지 데이터 셋을 생성하는 단계를 더 포함할 수 있다.
한편 상기 가공 이미지 데이터 셋을 생성하는 단계는, 상기 미가공 이미지 데이터 셋 내 이미지들로부터 개인 정보 영역을 추출하는 단계, 개인 정보의 속성에 기반하여, 상기 속성을 유지하는 대체 이미지를 생성하는 단계, 상기 개인 정보 영역을 상기 대체 이미지로 대체한 보안 이미지를 생성하여 상기 가공 이미지 데이터 셋에 포함시키는 단계;를 포함하고, 상기 개인 정보의 속성은, 나이, 성별, 피부톤 및 표정 중 적어도 하나를 포함할 수 있다.
한편 상기 가공 이미지 데이터 셋에 대한 검수 요청을 판매자에게 전송하는 단계를 더 포함하고, 상기 가공 이미지 데이터 셋에 대한 검수 요청을 상기 판매자에게 전송하는 단계는, 상기 가공 이미지 데이터 셋을 구성하는 이미지 및 이미지에 대응하는 레이블링 정보를 상기 판매자에게 전송하는 단계, 상기 레이블링 정보에 대한 판매자의 검수 정보를 수신하는 단계, 및, 상기 검수 정보를 반영하여, 상기 레이블링 정보를 수정하는 단계를 포함하고, 상기 레이블링 정보는, 이미지로부터 검출된 오브젝트, 검출된 오브젝트를 둘러싸는 바운딩 박스 및 검출된 오브젝트에 대응하는 클래스 중 적어도 하나를 포함할 수 있다.
한편 상기 가공 이미지 데이터 셋에 대한 검수 요청을 판매자에게 전송하는 단계를 더 포함하고, 상기 가공 이미지 데이터 셋에 대한 검수 요청을 상기 판매자에게 전송하는 단계는, 상기 가공 이미지 데이터 셋 내 제1 이미지에 대한 제1 레이블링 정보가 생성된 경우, 상기 제1 레이블링 정보를 상기 판매자에게 전송하는 단계, 상기 제1 레이블링 정보에 상응하는 검수 정보를 상기 판매자로부터 수신하는 단계, 상기 판매자에 의해 추가되거나 수정된 바운딩 박스를 반영하여, 상기 가공 이미지 데이터 셋 내 제2 이미지에 대한 제2 레이블링 정보를 생성하는 단계를 포함할 수 있다.
한편 구매자로부터 상기 판매 데이터 셋에 대한 구매 요청이 수신되면, 상기 판매 이미지 데이터 셋의 거래를 중개하는 단계를 더 포함할 수 있다.
한편 상기 검수가 완료된 상기 가공 이미지 데이터 셋을 판매 이미지 데이터 셋으로 등록하는 단계는, 상기 판매 이미지 데이터 셋의 소유권을 증명하기 위한 토큰을 발행하는 단계를 포함하고, 상기 판매 이미지 데이터 셋의 거래를 중개하는 단계는, 상기 구매자로부터 상기 판매 이미지 데이터 셋에 대한 대금이 지불되면, 상기 구매자의 권리를 증명하는 토큰을 상기 구매자에게 전송하는 단계를 포함할 수 있다.
이 경우 상기 구매자의 권리를 증명하는 토큰은, 상기 판매 이미지 데이터 셋의 소유권 전체가 구매자에게 이전되어 구매자의 재판매가 가능한 전체 소유권 및 상기 판매 이미지 데이터 셋의 소유권 일부가 구매자에게 이전되어 상기 판매 이미지 데이터 셋 전체의 사용이 가능하나 재판매가 불가능한 분할 소유권 중 어느 하나를 증명할 수 있다.
한편 본 발명에 따른 인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 서버는, 미가공 이미지 데이터 셋을 수신하는 통신부, 및, 상기 미가공 이미지 데이터 셋을 가공하여 가공 이미지 데이터 셋을 생성하고, 검수가 완료된 상기 가공 이미지 데이터 셋이 인공지능 학습용 데이터로 거래되도록, 상기 검수가 완료된 상기 가공 이미지 데이터 셋을 판매 이미지 데이터 셋으로 등록하는 제어부를 포함하고, 상기 제어부는, 상기 미 가공 이미지 데이터 셋 내 이미지에 대한 시간적 압축, 공간적 압축 및 시공간적 압축 중 적어도 하나를 수행하여, 압축 이미지를 포함하는 상기 가공 이미지 데이터 셋을 생성한다.
본 발명에 따르면, 다수의 판매자 및 구매자가 참여하고 매우 다량의 데이터가 거래되는 환경에서, 미가공 이미지 데이터 셋을 가공함으로써, 인공지능 학습용 이미지 데이터셋의 품질을 일정 수준 이상 보장하면서 그 거래를 중개할 수 있다. 이에 따라, 불특정 다수 간의 인공지능 학습용 데이터 거래를 활성화시킬 수 있는 장점이 있다.
도 1은 본 발명에 따른, 인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 시스템을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 서버의 구성요소를 설명하기 위한 블록도이다.
도 3은 본 발명에 따른, 인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법을 설명하기 위한 순서도이다.
도 4는 본 발명에 따른, 가공 이미지 데이터 셋을 생성하는 단계의 세부적인 단계를 설명하기 위한 순서도이다.
도 5는 본 발명에 따른, 미가공 이미지 데이터 셋을 구성하는 이미지를 그룹핑 하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명에 따른, 그룹에 대응하는 배경 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명에 따른, 그룹 내 이미지들로부터 오브젝트를 추출하고, 동일 오브젝트를 포함하는 이미지들을 세부 그룹으로 분류하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명에 따른, 세부 그룹을 대표하는 대표 이미지를 선정하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명에 따른, 공간적 압축을 수행하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명에 따른, 공간 대표 이미지를 생성하는 방법 및 시공간 대표 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명에 따른, 시간적 증강, 공간적 증강 및 시공간적 증강을 수행하는 방법을 설명하기 위한 도면이다. 도 1 내지 10에서의 설명은, 모순되지 않는 범위에서 이하에도 적용될 수 있다.
도 12는 본 발명에 따른, 판매자의 검수 정보를 반영하여 레이블링 정보를 생성하는 방법을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 서버의 구성요소를 설명하기 위한 블록도이다.
도 3은 본 발명에 따른, 인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법을 설명하기 위한 순서도이다.
도 4는 본 발명에 따른, 가공 이미지 데이터 셋을 생성하는 단계의 세부적인 단계를 설명하기 위한 순서도이다.
도 5는 본 발명에 따른, 미가공 이미지 데이터 셋을 구성하는 이미지를 그룹핑 하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명에 따른, 그룹에 대응하는 배경 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명에 따른, 그룹 내 이미지들로부터 오브젝트를 추출하고, 동일 오브젝트를 포함하는 이미지들을 세부 그룹으로 분류하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명에 따른, 세부 그룹을 대표하는 대표 이미지를 선정하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명에 따른, 공간적 압축을 수행하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명에 따른, 공간 대표 이미지를 생성하는 방법 및 시공간 대표 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명에 따른, 시간적 증강, 공간적 증강 및 시공간적 증강을 수행하는 방법을 설명하기 위한 도면이다. 도 1 내지 10에서의 설명은, 모순되지 않는 범위에서 이하에도 적용될 수 있다.
도 12는 본 발명에 따른, 판매자의 검수 정보를 반영하여 레이블링 정보를 생성하는 방법을 설명하기 위한 도면이다.
이하, 본 발명의 실시 예를 첨부된 도면들을 참조하여 더욱 상세하게 설명한다. 본 발명의 실시 예는 여러 가지 형태로 변형할 수 있으며, 본 발명의 범위가 아래의 실시 예들로 한정되는 것으로 해석되어서는 안 된다. 본 실시 예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해 제공되는 것이다. 또한, 본 발명의 도면과 명세서에서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
한편, 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자에 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가함을 배제하지 않는다.
본 명세서에서 이미지 데이터 셋이란, 하나의 묶음으로 거래되는 복수의 이미지의 집합을 의미할 수 있다. 또한 이미지 데이터 셋은 인공지능 학습을 위해 사용되는 것으로, 인공지능 학습용 이미지 데이터 셋이라 명칭될 수도 있다.
이미지 데이터 셋을 구성하는 복수의 이미지는, 스틸 이미지, 연속 사진으로 촬영된 복수의 이미지 및 동영상으로 촬영된 복수의 이미지 중 적어도 하나를 포함할 수 있다. 이미지 데이터 셋은 복수의 이미지 각각이 촬영된 시간 정보를 포함할 수 있다.
이미지 데이터 셋을 구성하는 복수의 이미지의 일부 또는 전부는, 연속 사진 또는 동영상으로 촬영된 복수의 이미지 프레임일 수 있다.
이하에서는 이미지 형식의 인공지능 학습용 데이터의 예를 들어 설명하나 이에 한정되지 않으며, 인공지능 학습용 데이터는 오디오, 문서 또는 기타 유형의 디지털 파일을 포함할 수 있다.
도 1은 본 발명에 따른, 인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 시스템을 설명하기 위한 도면이다.
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 시스템(10)(이하 “시스템(10)”이라 함)은, 인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 서버(100)(이하 “서버(100)라 함), NFT 마켓 서버(200), 판매자(300) 및 구매자(400)를 포함할 수 있다. 시스템(10)은 도 1에 도시된 구성요소의 일부 또는 전부를 포함할 수 있다.
서버(100)는 인공지능 학습용 이미지 데이터 셋의 거래를 중개할 수 있다. 구체적으로 서버(100)는 판매자(300)로부터 판매를 위한 이미지 데이터 셋을 수신할 수 있다. 판매자(300)로부터 수신되는 이미지 데이터 셋은 미가공 이미지 데이터 셋이라고도 명칭될 수 있다. 또한 서버(100)는 미가공 이미지 데이터 셋을 가공하여 가공 이미지 데이터 셋을 생성하고, 구매자(400)로부터 대가가 지급되는 경우 가공 이미지 데이터 셋을 구매자(400)에게 전송할 수 있다. 여기서 가공 이미지 데이터 셋을 구매자(400)에게 전송한다는 것은, 서버(100)가 가공 이미지 데이터 셋을 구매자(400)에게 직접 전송하거나, 가공 이미지 데이터 셋이 저장된 데이터베이스에 대한 구매자(400)의 엑세스를 허용하는 것을 포함할 수 있다.
또한 서버(100)는 다수의 판매자가 판매하는 이미지 데이터 셋(미가공 이미지 데이터 셋 또는 가공 이미지 데이터 셋)이 등록되는 마켓을 운영할 수 있다. 서버(100)는 판매자가 판매하는 이미지 데이터 셋을 마켓에 등록할 수 있으며, 마켓에 접속한 사용자에게 마켓에 등록된 이미지 데이터 셋들의 목록, 이미지 데이터 셋의 썸네일 등을 제공할 수 있다. 마켓에 등록된 이미지 데이터 셋은 판매 이미지 데이터 셋으로 명칭될 수도 있다.
또한, 구매자(400)로부터 마켓에 등록된 복수의 이미지 데이터 셋 중 특정 이미지 데이터 셋에 대한 구매 요청이 수신되면, 서버(100)는 특정 이미지 데이터 셋을 구매자(400)에게 전송하고, 구매자(400)가 지불한 대가가 판매자(300)에게 전달되도록 제어할 수 있다.
또한 시스템(10)은 다수의 판매자 및 다수의 구매자가 참여하여 이미지 데이터 셋을 거래하는 거래 플랫폼의 기능을 제공할 수 있다. 그리고 서버(100)는 판매자로부터 판매 요청을 수신하고 이미지 데이터 셋을 마켓에 등록하며, 구매자로부터 구매 요청을 수신함으로써, 판매자와 구매자를 매칭할 수 있다.
일 실시 예에 따르면, 서버(100)는 NFT 마켓 서버(200)와 연동하여, 판매자가 판매하는 이미지 데이터 셋에 대한 권리(소유권 또는 저작권)를 증명할 수 있다.
구체적으로, 서버(100)는 판매자가 판매하는 이미지 데이터 셋에 대한 토큰 발행 요청을 NFT 마켓 서버(200)에 전송할 수 있다. 이 경우 NFT 마켓 서버(200)는 NFT 마켓 서버(200)가 참여하는 블록체인 네트워크를 이용하여 이미지 데이터 셋에 대응하는 토큰을 발행할 수 있다. 발행된 토큰은 직접 또는 서버(100)를 통하여 판매자(300)에게 전달될 수 있다.
복수의 참여 노드가 P2P(Peer to Peer)로 통신하여 블록체인 네트워크를 구성하며, 블록체인 네트워크(120) 내의 참여 노드들은 블록체인에 기록되는 트랜잭션(transaction)의 승인, 블록체인을 이용한 트랜잭션 내역 보관, 다른 노드들과의 주기적인 블록 분산 합의, 작업 증명 등을 수행할 수 있다. 이러한 참여 노드들은 서버나 PC 등과 같은 컴퓨터 시스템으로 구성될 수 있으며, 스마트 컨트랙트(smart contract)가 설치될 수 있다. 또한 판매자(300), NFT 마켓 서버(200), 서버(100), 구매자(400)는, 스마트 컨트랙트(smart contract)를 통하여 블록체인 네트워크의 노드를 구성할 수도 있다.
한편 구매자(400)가 마켓에 등록된 이미지 데이터 셋에 대한 대가를 지불하면, 서버(100) 또는 NFT 마켓 서버(200)는 해당 이미지 데이터 셋에 대한 구매자(400)의 권리(저작권 사용의 허락 또는 소유권)를 증명하는 토큰을 구매자(400)에게 전송하고, 이미지 데이터 셋에 대한 대가를 구매자(400)로부터 판매자(300)로 이전시킬 수 있다.
한편 도 1에서는 서버(100)와 NFT 마켓 서버(200)가 별도의 구성요소인 것으로 도시하였으나 이에 한정되지 않으며, NFT 마켓 서버(200)는 서버(100)에 포함될 수도 있다.
판매자(300)는 이미지 데이터 셋을 판매하려는 주체로, 판매자 단말로 명칭될 수도 있다.
판매자(300)는 자신이 직접 수집한(예를 들어, 직접 촬영한) 또는 다른 장치로부터 수신한 복수의 이미지로 구성되는 이미지 데이터 셋을 판매할 수 있다. 판매자(300)의 예로, 판매자(300)는 개인이나 기업 등이 운용하는 PC, 태블릿 PC, 노트북, 스마트폰 등일 수 있다.
이미지 데이터 셋의 판매를 위해, 판매자(300)는 복수의 이미지로 구성되는 이미지 데이터 셋 및 판매 요청을 서버(100)에 전송할 수 있다. 한편 서버(100)로부터 가공 이미지 데이터 셋에 대한 검수 요청을 수신하는 경우, 판매자(300)는 가공 이미지 데이터 셋을 검수함으로써 생성된 검수 정보를 서버(100)에 전송할 수 있다.
구매자(400)는 이미지 데이터 셋을 구매하려는 주체로, 구매자 단말로 명칭될 수도 있다. 구매자(400)는 개인이나 기업 등이 운용하는 PC, 태블릿 PC, 노트북, 스마트폰 등일 수 있다.
이미지 데이터 셋의 구매를 위해, 구매자(400)는 마켓에 접속하여 마켓에 등록된 복수의 이미지 데이터 셋을 확인할 수 있다. 또한 구매자(400)는 특정 이미지 데이터 셋을 선택하고, 특정 이미지 데이터 셋의 식별 정보 및 결제 정보를 포함하는 구매 요청을 서버(100)에 전송하고, 특정 이미지 데이터 셋에 대한 대가를 판매자(300)에게 지불하고, 특정 이미지 데이터 셋을 수신할 수 있다.
도 2는 본 발명에 따른 서버의 구성요소를 설명하기 위한 블록도이다.
본 발명에 따른 서버(100)는 통신부(110), 제어부(120) 및 메모리(130)를 포함할 수 있다.
통신부(110)는 외부 장치와 통신하기 위한 통신 인터페이스를 포함할 수 있다. 그리고 제어부(120)는 통신부(110)를 통하여, 판매자(300), 구매자(400) 및 NFT 마켓 서버(200) 중 적어도 하나와 데이터를 송신 및 수신할 수 있다.
제어부(120)는 하나 이상의 프로세서로 구성되어, 서버(100)의 전반적인 동작을 제어할 수 있다. 제어부(120)는 데이터 압축 및 증강부(121), 개인정보 보호부(122) 및 레이블링부(123)를 포함할 수 있으며, 이들의 동작은 추후에 자세히 설명한다.
메모리(130)는 서버(100)의 동작을 위한 프로그램 또는 기타 명령어를 저장할 수 있다. 또한 메모리(130)는 이미지 데이터 셋(미가공 이미지 데이터 셋, 가공 이미지 데이터 셋, 마켓에 등록된 이미지 데이터 셋(판매 이미지 데이터 셋))을 저장하는 데이터베이스(131)를 포함할 수 있다. 한편 데이터베이스(131)가 서버(100)에 포함되는 것으로 도시하였으나 이에 한정되지 않으며, 데이터베이스(131)는 별도의 외부 저장 장치로 구현될 수도 있다.
또한 메모리(130)는 이미지 내 오브젝트에 대한 검출 정보(예를 들어 이미지 내 오브젝트의 위치 정보 등)를 저장할 수 있다. 오브젝트의 위치 정보는, 오브젝트 간 중첩 여부의 판단 등에 사용될 수 있다.
도 3은 본 발명에 따른, 인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법을 설명하기 위한 순서도이다.
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법(이하 방법이라 함)은, 판매자로부터 미가공 이미지 데이터 셋을 수신하는 단계(S310), 상기 미가공 이미지 데이터 셋을 가공하여 가공 이미지 데이터 셋을 생성하는 단계(S320), 상기 가공 이미지 데이터 셋에 대한 검수 요청을 상기 판매자에게 전송하는 단계(S330), 검수가 완료된 상기 가공 이미지 데이터 셋이 인공지능 학습용 데이터로 거래되도록, 상기 검수가 완료된 상기 가공 이미지 데이터 셋을 판매 이미지 데이터 셋으로 등록하는 단계(S340) 및 구매자로부터 구매 요청이 수신되면, 판매 데이터 셋의 거래를 중개하는 단계(S350)를 포함할 수 있다.
한편 도 3에서 도시한 각 단계는 모두 필수적인 것은 아니어서, 일부 단계는 생략될 수 있다. 또한 도 3에서 도시한 각 단계의 순서가 변경되는 방식으로 구현될 수도 있다.
S310과 관련하여, 제어부(120)는 판매자로부터 미가공 이미지 데이터 셋을 수신할 수 있다. 구체적으로 판매자(300)는 판매 요청 및 복수의 이미지로 구성되는 이미지 데이터 셋을 서버(100)에 전송할 수 있다. 이 경우 제어부(120)는 통신부(110)를 통하여 이미지 데이터 셋을 수신하고, 판매 요청과 함께 수신된 이미지 데이터 셋에 대하여 다음 단계를 진행할 수 있다. 한편 판매자(300)로부터 수신되는 이미지 데이터 셋은 아직 판매에 적합하게 가공되지 않은 이미지들로 구성되기 때문에, 미가공 이미지 데이터 셋이라 명칭될 수 있다.
다음으로, 제어부(120)는 미가공 이미지 데이터 셋을 가공하여 가공 이미지 데이터 셋을 생성할 수 있다(S320). 이와 관련해서는 도 4를 참고하여 설명한다.
도 4는 본 발명에 따른, 가공 이미지 데이터 셋을 생성하는 단계의 세부적인 단계를 설명하기 위한 순서도이다.
미가공 이미지 데이터 셋을 가공하여 가공 이미지 데이터 셋을 생성하는 단계(S320)는, 미가공 이미지 데이터 셋에 대하여, 미가공 이미지 데이터 셋을 구성하는 이미지에 대한 압축 또는 증강을 수행하는 단계(S410), 미가공 이미지 데이터 셋을 구성하는 이미지 내 개인 정보 영역을 추출하고 비식별화 하는 단계(S430) 및 미가공 이미지 데이터 셋을 구성하는 이미지 내 오브젝트에 대한 레이블링 정보를 생성하는 단계(S450)를 포함할 수 있다.
먼저 S410과 관련하여, 도 5 내지 도 11을 참고하여 설명한다. 도 5 내지 도 10에서는 미가공 이미지 데이터 셋을 구성하는 이미지에 대한 압축을 수행하는 방법을 설명하며, 도 11에서는 미가공 이미지 데이터 셋을 구성하는 이미지에 대한 증강을 수행하는 방법에 대하여 설명한다. 도 5 내지 도 11의 동작은, 제어부(120)의 데이터 압축 및 증강부(121)에 의해 수행될 수 있다.
판매자가 업로드하는 이미지 데이터 셋(미가공 이미지 데이터 셋)을 그대로 판매하는 경우, 이미지 데이터 셋의 품질을 보장할 수 없는 경우가 자주 발생할 수 있다.
일 예로, 지도학습에 기반하여 오브젝트를 검출하는 인공지능 모델을 트레이닝 하기 위한 이미지 데이터 셋을 판매하는 상황을 가정한다. 이러한 인공지능 모델은 오브젝트를 포함하는 이미지 및 오브젝트에 레이블링되는 클래스(예를 들어 사람, 자동차 등)에 기반하여 트레이닝 되기 때문에, 레이블링이 가능한 오브젝트가 이미지에 적절히 포함되어야 한다. 또한 동일 클래스에 속하더라도, 서로 다른 오브젝트들(예를 들어, “사람” 클래스에 속하는, 사람 A(철수), 사람 B(영희), 사람 C(순이))이 이미지 데이터 셋에 포함되어야 인공지능 모델이 강인한 성능을 나타낼 수 있다.
이미지 데이터 셋의 거래를 중개하는 시스템(10)에서, 이미지 데이터 셋은 불특정 다수에게 판매가 되는 것으로, 일정 수준 이상의 품질을 만족해야 한다.
예를 들어 판매자가 카메라를 고정시킨 상태에서 동영상을 촬영하여, 하나의 배경에서 동일한 행인(사람 A, 사람 B)이 촬영된 100장의 이미지가 이미지 데이터 셋을 구성한다고 가정한다. 이 경우 구매자는, 중복으로 인해 매우 무의미한 이미지들을 구매하게 되는 문제가 발생할 수 있으며, 이미지 데이터 셋의 가격이 이미지의 개수 또는 용량에 의해 정해지는 경우 지불한 금액 대비 낮은 품질의 이미지 데이터 셋을 구매한 것이 된다.
다른 예를 들어, 하나의 이미지에 오브젝트가 포함되지 않거나 매우 적은 수의 오브젝트가 포함되는 것으로 가정한다. 이 경우, 인공지능 모델이 학습할 대상(오브젝트)가 매우 적어지기 때문에, 구매자는 낮은 품질의 이미지 데이터 셋을 구매한 것이 된다.
따라서 본 발명은, 불특정 다수가 이미지 데이터 셋을 거래하는 환경에서, 이미지 데이터 셋의 품질을 일정 수준 이상으로 보장하는 것을 목적으로 한다. 이를 위해 본 발명에서는, 하나의 이미지에 포함되는 오브젝트의 수를 늘리거나 동일 오브젝트를 포함하는 중복되는 이미지의 개수를 줄이는 가공 과정을 거친 후, 판매용으로 등록하게 된다.
먼저 이미지 데이터 셋의 품질을 일정 수준 이상으로 보장하기 위한 압축 기법을 설명한다. 구체적으로 제어부(120)는 미 가공 이미지 데이터 셋 내 이미지에 대한 시간적 압축, 공간적 압축 및 시공간적 압축 중 적어도 하나를 수행하여, 압축 이미지를 포함하는 가공 이미지 데이터 셋을 생성할 수 있다.
동일한 장소의 동일한 앵글에서 동일 오브젝트가 중복되어 촬영되었을 가능성이 높으며, 배경이 다른 경우(예를 들어, 동일 장소에서 카메라 앵글이 변경되거나, 다른 장소에서 촬용된 경우)에는 동일 오브젝트가 다수의 이미지에 존재하더라도 인공지능 모델을 트레이닝하기 위한 유용한 학습 데이터가 될 수 있다. 따라서, 먼저 제어부(120)는 동일 배경을 가지는 이미지들을 그룹핑할 수 있다.
도 5는 본 발명에 따른, 미가공 이미지 데이터 셋을 구성하는 이미지를 그룹핑 하는 방법을 설명하기 위한 도면이다.
제어부(120)는 미가공 이미지 데이터 셋 내 이미지들 중 동일 배경을 가지는 이미지들을 그룹핑함으로써, 하나 이상의 배경에 각각 대응하는 하나 이상의 그룹을 생성할 수 있다. 미가공 이미지 데이터 셋 내 제1 이미지(510) 및 제2 이미지(520)를 예로 들어 설명한다.
도 5a를 참고하면, 제어부(120)는 제1 이미지의 특징점 및 제2 이미지의 특징점을 추출하고, 제1 이미지의 특징점과 제2 이미지의 특징점 간에 서로 매칭되는 점인 매칭점을 결정할 수 있다. 여기서 특징점은 엣지일 수 있으며, 특징점을 추출하는 방법의 예로, 이미지 안에서 픽셀의 값이 급격히 변하는 엣지(경계선)을 추출하는 엣치 추출(edge detection) 알고리즘을 들 수 있다. 엣지 추출 알고리즘은 이미지를 미분한 그레디언트(gradient) 벡터의 크기로 엣지(경계선)을 판단하며, 엣지 추출 알고리즘의 대표적인 예로, Sobel edge Detection, Canny edge Detection 등이 사용될 수 있다. 또한 엣지 추출 알고리즘 외에도, 특징점을 검출하는 공지된 다양한 알고리즘이 사용될 수 있다.
도 5b를 참고하면, 제어부(120)는 미가공 이미지 데이터 셋 내 제1 이미지(510) 및 제2 이미지(520)를 매칭점을 기준으로 중첩시키고, 제1 이미지와 제2 이미지 간의 중첩 영역(530)을 추출할 수 있다.
다음으로, 제어부(120)는 제1 이미지(510) 내 중첩 영역과 제2 이미지(510) 내 중첩 영역 간의 유사도를 산출할 수 있다. 구체적으로 제어부(120)는 “제1 이미지 내 중첩 영역에 대한 컨볼루션 연산을 통해 생성된 피처맵과 제2 이미지 내 중첩 영역에 대한 컨볼루션 연산을 통해 생성된 피처맵의 차이” 및 “제1 이미지 내 중첩 영역과 제2 이미지 내 중첩 영역 간의 픽셀 별 픽셀 값의 차이”를 이용하여 유사도를 산출할 수 있다. 이는 다음과 같은 수학식으로 표현될 수 있다.
(src: 소스 이미지, dest: 타겟 이미지, n: 이미지 수, l: network layer feature map의 수, Wl: feature map의 가로크기, Hl: feature map의 세로크기, :convolutional neural network의 feature map에 대한 convonlution 연산, : feature map()의 x 좌표의 값, : feature map()의 y좌표의값, W: 이미지의 가로크기, H: 이미지의 세로크기, : 소스 이미지의 x,y 위치의 픽셀 값, : 타겟 이미지의 x,y 위치의 픽셀 값)
컨볼루션 연산의 일 예로, 컨볼루션 신경망(Convolutional neural network, CNN)을 들 수 있다. 즉 제1 이미지(510) 내 중첩 영역은 컨볼루션 신경망(CNN)을 통과하고, 컨볼루션 신경망(CNN)의 하나 이상의 커널은 입력된 이미지(제1 이미지 내 중첩 영역 또는 이전 피처맵)를 이용하여 피처맵을 출력할 수 있다. 제2 이미지(510) 내 중첩 영역 역시 컨볼루션 신경망(CNN)을 통과하고, 컨볼루션 신경망(CNN)의 하나 이상의 커널은 입력된 이미지(제2 이미지 내 중첩 영역 또는 이전 피처맵)를 이용하여 피처맵을 출력할 수 있다.
이 경우 제어부(120)는 제1 이미지(510) 내 중첩 영역을 이용하여 획득된 하나 이상의 피처맵 및 제2 이미지(520) 내 중첩 영역을 이용하여 획득된 하나 이상의 피처맵을 서로 상응하는 피처맵끼리 비교하여, 피처맵들의 차이들을 산출할 수 있다. 또한 제어부(120)는 피처맵들의 차이들을 종합하여 피처맵 유사도를 산출할 수 있다.
또한 제어부(120)는, 제1 이미지 내 중첩 영역과 제2 이미지 내 중첩 영역 간의 픽셀 별 픽셀 값의 차이를 산출할 수 있다. 예를 들어 제어부(120)는 제1 이미지의 중첩 영역 내 제1 픽셀과 제2 이미지의 중첩 영역 내 제1 픽셀(제1 이미지의 제1 픽셀과 동일한 위치에 있는)을 비교하여 픽셀 값의 차이를 산출하고, 중첩 영역 내 다른 픽셀 들에게도 동일한 연산을 수행할 수 있다. 또한 제어부(120)는 픽셀 별 픽셀 값의 차이들을 종합하여 픽셀 유사도를 산출할 수 있다.
마지막으로 제어부(120)는 피처맵 유사도 및 픽셀 유사도를 합산하여 제1 이미지 내 중첩 영역과 제2 이미지 내 중첩 영역 간의 유사도를 산출할 수 있다. 그리고 산출된 유사도가 임계 유사도보다 큰 경우, 제어부(120)는 제1 이미지와 제2 이미지를 동일한 그룹으로 분류할 수 있다.
또한 제어부(120)는 미가공 이미지 데이터 셋 내 복수의 이미지에 대하여 동일한 연산을 수행할 수 있다. 이에 따라 도5b에서 도시된 바와 같이, 동일 배경을 가지는 이미지들이 그룹핑 될 수 있다. 예를 들어 그룹 1 내 이미지들은 서로 같은 배경을 가지고, 그룹 2 내 이미지들은 서로 같은 배경을 가진다.
미가공 이미지 데이터 셋을 구성하는 이미지들은 반드시 카메라가 고정된 상태에서만 촬영되는 것이 아니며, 다소의 앵글 변경이 있는 상태에서 촬영될 수 있다. 다만 픽셀 별 픽셀 값의 차이를 이용하여 유사도를 산출하는 방식은 매우 작은 앵글 변경에도 불구하고 두 이미지를 비유사한 것으로 판단할 수 있다는 단점이 있다. 반면에 컨볼루션 연산을 통해 산출된 피처맵 간의 차이를 이용하여 유사도를 산출하는 방식은 저차원에서 고차원으로 갈 수록(즉, 컨볼루션 연산이 반복될수록) 이미지의 고유한 위치 정보를 반영하지 못하기 때문에, 피처맵 간의 차이만을 이용해서는 같은 배경을 가지는 이미지를 정교하게 그룹핑하기가 어렵다. 따라서 본 발명에 따르면, 컨볼루션 연산을 통한 피처맵의 차이와 픽셀별 픽셀 값의 차이를 모두 반영함으로써, 동일 배경을 가지는 이미지들을 정교하게 그룹핑할 수 있는 장점이 있다.
한편 미가공 이미지 데이터 셋에는 그룹핑이 되지 않는 이미지(즉, 배경이 동일한 다른 이미지가 존재하지 않는 이미지)가 존재할 수 있으며, 이러한 이미지는 압축의 대상이 되지 않는다. 따라서 제어부(120)는 미가공 이미지 데이터 셋에서 그룹에 속하지 않는 이미지를 가공 이미지 데이터 셋에 그대로 포함시킬 수 있다.
도 6은 본 발명에 따른, 그룹에 대응하는 배경 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 6a에 따르면, A 그룹에 속하는 복수의 이미지가 도시되어 있으며, 복수의 이미지는 같은 그룹에 속하기 때문에 동일한 배경을 가진다. 그리고 제어부(120)는 그룹에 대응하는 배경 이미지(도 6b의 610)를 생성할 수 있다.
구체적으로 제어부(120)는 그룹에 속하는 모든 이미지들이 중첩하는 중첩 영역을 추출하고, 중첩 영역의 픽셀 별로 배경 픽셀 값을 산출할 수 있다. 예를 들어, 특정 픽셀에 대하여, 그룹에 속하는 80%의 이미지는 제1 픽셀값을 가지고 그룹에 속하는 20%의 이미지는 제1 픽셀값과 다른 픽셀값을 가진다고 가정한다. 그리고 그룹 내 일정 비율 이상의 이미지가 특정 픽셀에 대하여 동일한 픽셀값(제1 픽셀값)을 가지는 경우, 제어부(120)는 동일한 픽셀값(제1 픽셀값)을 상기 특정 픽셀의 배경 픽셀값으로 결정할 수 있다. 또한 제어부(120)는 이와 동일한 연산을 중첩 영역 내 모든 픽셀에 대하여 수행함으로써, 해당 그룹에 대응하는 배경 이미지(610)를 생성할 수 있다.
이와 같은 방식으로, 제어부(120)는 복수의 그룹에 각각 대응하는 복수의 배경 이미지를 생성할 수 있다.
제어부(120)는 하나의 그룹에 속하는 복수의 이미지들에 대하여 시간적 압축을 수행할 수 있다. 시간적 압축에 대해서는 도 7 및 도 8을 참고하여 설명한다.
도 7은 본 발명에 따른, 그룹 내 이미지들로부터 오브젝트를 추출하고, 동일 오브젝트를 포함하는 이미지들을 세부 그룹으로 분류하는 방법을 설명하기 위한 도면이다.
제어부(120)는 그룹에 대응하는 배경 이미지로부터 그룹 내 이미지를 차분하여, 이미지 별 오브젝트를 추출할 수 있다. 구체적으로 도 7a를 참고하면, 제어부(120)는 A 그룹에 대응하는 배경 이미지(610)로부터 A 그룹 내 제1 이미지(710)를 차분하여, 제1 이미지(710) 내 하나 이상의 오브젝트(715)를 추출할 수 있다. 또한 제어부(120)는 A 그룹에 대응하는 배경 이미지(610)로부터 A 그룹 내 제2 이미지(720)를 차분하여, 제2 이미지(720) 내 하나 이상의 오브젝트(725)를 추출할 수 있다. 같은 방식으로, 제어부(120)는 그룹 내 다른 이미지 들에 대해서도 동일한 연산을 수행할 수 있다.
또한 제어부(120)는 동일 배경을 가짐으로써 하나의 그룹에 속하는 이미지들 중, 동일 오브젝트를 포함하는 복수의 이미지를 세부 그룹으로 분류할 수 있다. 구체적으로 제어부(120)는 그룹 내 이미지들에 포함된 오브젝트를 상호 비교하고, 동일 오브젝트를 포함하는 이미지들을 그룹핑 함으로써, 동일 오브젝트를 포함하는 하나 이상의 세부 그룹을 생성할 수 있다. 이 경우 제어부(120)는 오브젝트들을 비교하여 동일 오브젝트인지를 판단하는 공지된 알고리즘을 이용할 수 있다.
도 7b를 참고하면, 하나의 세부 그룹으로 분류된 복수의 이미지들이 도시되어 있다. 도 7b에 도시된 복수의 이미지들은, 동일한 그룹에 속하는 바 동일한 배경을 포함하며, 동일한 세부 그룹에 속하는 바 동일 오브젝트(730, 731)를 포함한다.
동일 오브젝트를 포함하는 복수의 이미지를 세부 그룹으로 분류하는 방법의 일 예로, 제어부(120)는 이미지가 촬영된 시간 정보에 기초하여 미가공 이미지 데이터 셋 내 복수의 이미지를 시간순으로 정렬할 수 있다. 그리고 제어부(120)는 최초의 이미지를 기준 이미지로 설정하고, 기준 이미지와 동일 오브젝트를 포함하는 이미지들을 시간순으로 탐색할 수 있다. 또한 제어부(120)는 기준 이미지 및 기준 이미지와 동일 오브젝트를 포함하는 이미지를 제1 세부 그룹으로 분류하고, 기준 이미지와 동일 오브젝트를 포함하지 않는 이미지를 다시 기준 이미지로 설정하여 동일한 연산을 수행할 수 있다.
예를 들어 카메라가 고정된 상태에서 길을 지나가는 사람 A, B가 촬영되었으며, A 그룹에는 1000개의 이미지가 포함된다고 가정한다. 1000개의 이미지가 시간순으로 정렬되었기 때문에, 사람 A, B는 제1 내지 제10 이미지(시간 상으로 가장 앞선 열개의 이미지)에 포함될 수 있다.
이 경우 제어부(120)는 제1 이미지를 기준 이미지로 설정하고, 기준 이미지와 동일 오브젝트(사람 A, B)를 포함하는 이미지들을 시간순으로 탐색할 수 있다. 그리고 제11 이미지에는 동일 오브젝트(사람 A, B)가 포함되지 않기 때문에, 제어부(120)는 제1 내지 제10 이미지를 제1 세부 그룹으로 분류할 수 있다. 제어부(120)는 제11 이미지를 기준 이미지로 설정하고, 동일한 연산을 수행할 수 있다.
즉 하나의 세부 그룹 내 복수의 이미지는 시간적으로 연속된 이미지들일 수 있다. 이는, 연속적인 이미지에 동일 오브젝트가 포함될 가능성이 높다는 것에 착안한 것으로, 이와 같은 방식을 사용하는 경우 연산량을 대폭 감소시킬 수 있다.
한편, 하나의 그룹 내에서 세부 그룹으로 그룹핑이 되지 않는 이미지가 존재할 수 있으며, 이러한 이미지는 압축의 대상이 되지 않는다. 따라서 제어부(120)는 그룹 내에서 세부 그룹에 속하지 않는 이미지를 가공 이미지 데이터 셋에 그대로 포함시킬 수 있다.
도 8은 본 발명에 따른, 세부 그룹을 대표하는 대표 이미지를 선정하는 방법을 설명하기 위한 도면이다.
도 8에는 A 그룹 내 a 세부 그룹에 속하는 네 개의 이미지(810, 820, 830, 840)가 일례로 도시되어 있다. 네 개의 이미지(810, 820, 830, 840)는 모두 동일 오브젝트(①, ②)를 포함한다.
제어부(120)는 동일 배경을 가지고 동일 오브젝트를 포함하는, 세부 그룹의 시간 대표 이미지를 결정할 수 있다. 예를 들어 시간 대표 이미지(820)는 A 그룹 내 이미지들이 공통적으로 가지는 배경을 포함하며, a 세부 그룹 내 이미지들이 공통적으로 가지는 오브젝트(①, ②)를 포함할 수 있다.
시간 대표 이미지를 결정하는 방법의 일 예로, 제어부(120)는 세부 그룹에 속하는 복수의 이미지(810, 820, 830, 840) 중 가장 많은 오브젝트를 포함하는 이미지(830)를 선정할 수 있다. 즉 도 8을 참고하면, 세부 그룹에 속하는 복수의 이미지(810, 820, 830, 840) 중 제3 이미지(830)가 가장 많은 6개의 오브젝트(①, ②, ③, ④, ⑤, ⑥)를 포함한다. 이 경우 제어부(120)는 제3 이미지(830)를 시간 대표 이미지(850)로써 선정할 수 있다.
다음으로, 제어부(120)는 시간 대표 이미지(850)를 압축 이미지로써 가공 이미지 데이터 셋에 포함시킬 수 있다. 한편 시간 대표 이미지는 세부 그룹을 대표하는 이미지로써, 세부 그룹 내에서 제3 이미지를 제외한 다른 이미지(810, 820, 840)는 시간 대표 이미지(850)에 의해 대표된다. 따라서 제어부(120)는 시간 대표 이미지(850)에 의해 대표되는 이미지들(810, 820, 840)를 가공 이미지 데이터 셋에 포함시키지 않을 수 있다.
이와 같이 시간적 압축을 수행함으로써, 중복되는 무의미한 이미지들이 삭제되며, 가공 이미지 데이터 셋에서는 하나의 이미지에 포함되는 오브젝트의 평균 개수가 증가하게 된다. 따라서 일정 수준 이상의 품질이 만족되는 상황에서, 불특정 다수 간에 이미지 데이터 셋의 거래가 수행될 수 있다.
다음으로, 제어부(120)는 하나의 그룹에 속하는 복수의 이미지들에 대하여 공간적 압축을 수행할 수 있다. 공간적 압축에 대해서는 도 9를 참고하여 설명한다.
도 9는 본 발명에 따른, 공간적 압축을 수행하는 방법을 설명하기 위한 도면이다.
도 9에는 A 그룹 내 네 개의 이미지(910, 920, 930, 940)가 일례로 도시되어 있다. 그리고 제어부(120)는, 동일 배경을 가짐으로써 하나의 그룹에 속하는 이미지들 중 서로 다른 오브젝트를 포함하는 이미지들을 이용하여, 서로 다른 오브젝트를 포함하는 하나의 공간 대표 이미지를 생성할 수 있다.
공간 대표 이미지를 생성하는 하나의 실시 예로, 제2 이미지(920)는 제1, 2, 3 오브젝트(921, 922, 923)를, 제3 이미지(930)는 제4 오브젝트(931)를, 제4 이미지(940)는 제5 오브젝트(941)를 포함한다. 또한 제2 이미지(920)의 제1, 2, 3 오브젝트(921, 922, 923)는 다른 이미지의 오브젝트와 위치 상으로 중첩되지 않고, 제3 이미지(930)의 제4 오브젝트(931)는 다른 이미지의 오브젝트와 위치 상으로 중첩되지 않으며, 제4 이미지(940)의 제5 오브젝트(941)는 다른 이미지의 오브젝트와 위치 상으로 중첩되지 않는다.
이 경우 제어부(120)는 제2 내지 제4 이미지(920, 930, 940)의 배경과 동일한 배경을 포함하고, 제1 내지 제5 오브젝트(921, 922, 923, 931, 941)를 본래의 위치와 상응하는 위치에 포함하는 공간 대표 이미지(950)를 생성할 수 있다. 일 예로, 제어부(120)는 가장 많은 오브젝트를 포함하는 제2 이미지(920)에, 다른 이미지의 오브젝트(931, 941)를 추가함으로써, 공간 대표 이미지(950)를 생성할 수 있다. 이에 따라 공간 대표 이미지(950)에 포함되는 서로 다른 오브젝트(921, 922, 923, 931, 941) 역시, 서로 중첩되지 않을 수 있다.
한편 제1 이미지(910)는 오브젝트(911)를 포함하나, 제1 이미지(910)의 오브젝트(911)는 제2 이미지(920)의 오브젝트(921, 922)와 중첩된다. 이 경우 제1 이미지(910)와 제2 이미지(920) 둘 다를 대표하는 공간 대표 이미지는 생성되지 않을 수 있다.
한편 제어부(120)는 오브젝트 간의 겹침의 정도에 기초하여, 오브젝트가 중첩되는지 여부를 판단할 수 있다. 예를 들어 제어부(120)는 두 오브젝트 간의 겹침의 정도가 임계값보다 작으면, 두 오브젝트가 중첩되지 않는 것으로 판단할 수 있다.
한편 공간 대표 이미지의 생성에 사용되지 않는 이미지가 존재할 수 있으며, 이러한 이미지는 압축의 대상이 되지 않는다. 따라서 제어부(120)는 공간 대표 이미지의 생성에 사용되지 않는 이미지(911)를 가공 이미지 데이터 셋에 그대로 포함시킬 수 있다.
다음으로, 제어부(120)는 공간 대표 이미지(950)를 압축 이미지로써 가공 이미지 데이터 셋에 포함시킬 수 있다. 이 경우 공간 대표 이미지의 생성에 사용된 이미지들(920, 930, 940)은 공간 대표 이미지(950)에 의해 대표된다. 따라서 제어부(120)는 공간 대표 이미지(950)에 의해 대표되는 이미지들(920, 930, 940)을 가공 이미지 데이터 셋에 포함시키지 않을 수 있다.
한편 공간 대표 이미지를 생성하는 또 하나의 실시예에 대해서는 도 10을 참고하여 설명한다.
도 10은 본 발명에 따른, 공간 대표 이미지를 생성하는 또 하나의 실시예 및 시공간 대표 이미지를 생성하는 방법을 설명하기 위한 도면이다.
하나의 그룹에 제1 이미지(1010) 및 제2 이미지(1020)가 포함된다고 가정한다. 이 경우 제어부(120)는 제1 이미지 내 오브젝트(1011, 1012)와 제2 이미지 내 오브젝트(1021, 1022)가 중첩되는지 판단할 수 있다.
한편 제2 이미지(1020) 내 오브젝트(1022)가 제1 이미지(1010) 내 오브젝트(1011, 1012)와 중첩되지 않는 경우, 제어부(120)는 제2 이미지(1020) 내 오브젝트(1022)를 제1 이미지(1010) 내 상응하는 위치에 포함시킬 수 있다. 반면에, 제2 이미지(1020) 내 오브젝트(1021)가 제1 이미지(1010) 내 오브젝트(1012)와 중첩되는 경우, 제어부(120)는 제2 이미지(1020) 내 오브젝트(1021)를 제1 이미지(1010)에 포함시키지 않을 수 있다.
다음으로, 제어부(120)는 제2 이미지 내 오브젝트(1022)가 제1 이미지(1010)에 포함된 합성 이미지(1030)에 대하여 동일한 동작을 수행할 수 있다. 즉 제어부(120)는 합성 이미지(1030) 내 오브젝트와 그룹의 제3 이미지 내 오브젝트가 중첩되는지 판단하고, 제3 이미지 내 오브젝트를 합성 이미지(1030)에 포함시키거나 포함시키지 않을 수 있다. 그리고 이러한 과정을 반복함으로써, 제어부(120)는 그룹 내에서 서로 다른 오브젝트를 포함하는 이미지들을 이용하여 서로 다른 오브젝트를 포함하는 공간 대표 이미지를 생성할 수 있다.
한편 하나의 공간 대표 이미지에 너무 많은 오브젝트가 배치되는 경우, 연산량이 증가할 수 있으며, 인공지능 모델의 학습 능률을 도리어 저해할 수 있다. 따라서 제어부(120)는 공간 대표 이미지가 임계 개수 이하의 오브젝트를 포함하도록 공간 대표 이미지를 생성할 수 있다. 예를 들어 제1 이미지 내지 제5 이미지의 오브젝트를 합성한 결과 하나의 이미지에 임계 개수(예를 들어 6개)의 오브젝트가 포함되게 된 경우, 제어부(120)는 제1 이미지 내지 제5 이미지를 대표하는 공간 대표 이미지를 생성할 수 있다.
이와 같이 공간적 압축을 수행함으로써, 이미지의 전체적인 개수가 줄어들면서, 하나의 이미지에 포함되는 오브젝트의 개수가 증가하게 된다. 따라서 일정 수준 이상의 품질이 만족되는 상황에서, 불특정 다수 간에 이미지 데이터 셋의 거래가 수행될 수 있다.
다음으로, 시공간적 압축을 수행하는 방법에 대하여 설명한다. 앞서 설명한 시간적 압축 및 공간적 압축에 대한 설명은, 모순되지 않는 범위에서, 아래의 실시예에도 적용될 수 있다.
제어부(120)는 시간적 압축 및 공간적 압축을 결합한 시공간적 압축을 수행할 수 있다.
구체적으로 제어부(120)는 동일 배경을 가짐으로써 하나의 그룹에 속하는 이미지들에 대하여 시간적 압축을 수행함으로써, 시간 대표 이미지를 포함하는 서브 데이터 셋을 생성할 수 있다. 이 경우 서브 데이터 셋은 복수의 세부 그룹에 각각 대응하는 복수의 시간 대표 이미지를 포함할 수 있다. 또한 서브 데이터 셋은, 복수의 시간 대표 이미지 뿐만 아니라, 세부 그룹으로 분류되지 않아 압축의 대상이 되지 않는 이미지를 추가적으로 포함할 수도 있다.
예를 들어 제어부(120)는 동일한 세부 그룹에 속하는 제1 이미지(1051) 및 제2 이미지(1052)를 대표하는 제1 시간 대표 이미지(1010)를 생성하고, 제1 시간 대표 이미지(1010)를 서브 데이터 셋에 추가시킬 수 있다. 서브 데이터 셋에는 다른 이미지(1020)도 포함되며, 다른 이미지(1020)는 시간 대표 이미지일 수도, 세부 그룹으로 분류되지 않아 압축의 대상이 되지 않았던 이미지일 수도 있다.
다음으로, 제어부(120)는 서브 데이터 셋에 속하는 이미지들(1010, 1020)에 대하여 공간적 압축을 수행하여 시공간 대표 이미지(1090)를 생성할 수 있다. 구체적으로 제어부(120)는 서브 데이터 셋에 속하는 이미지(1010, 1020)들 중 서로 다른 오브젝트를 포함하는 이미지들을 이용하여, 서로 다른 오브젝트를 포함하는 시공간 대표 이미지(1090)를 생성할 수 있다. 그리고 나서 제어부(120)는 시공간 대표 이미지를 압축 이미지로써 가공 이미지 데이터 셋에 포함시킬 수 있다.
한편 서브 데이터 셋에서, 시공간 대표 이미지의 생성에 사용되지 않는 이미지가 존재할 수 있다. 따라서 제어부(120)는 시공간 대표 이미지의 생성에 사용되지 않는 이미지를 가공 이미지 데이터 셋에 그대로 포함시킬 수 있다.
한편 제어부(120)는 시공간 대표 이미지에 의해 대표되는 이미지를 가공 이미지 데이터 셋에 포함시키지 않을 수 있다. 구체적으로 제어부(120)는 제1 시간 대표 이미지(1010)에 의해 대표되는 이미지(1051, 1052)를 가공 이미지 데이터 셋에 포함시키지 않을 수 있다. 또한 제어부(120)는 시공간 대표 이미지(1090)에 의해 대표되는 이미지(1010, 1020)를 가공 이미지 데이터 셋에 포함시키지 않을 수 있다.
이와 같이 시공간적 압축을 수행함으로써, 중복되는 무의미한 이미지들이 삭제되고, 이미지의 전체적인 개수가 줄어들며, 하나의 이미지에 포함되는 오브젝트의 개수가 증가하게 된다. 즉 인공지능 모델에 필요한 정보를 압축적으로 제공할 수 있기 때문에, 일정 수준 이상의 품질이 만족되는 상황에서, 불특정 다수 간에 이미지 데이터 셋의 거래가 수행될 수 있다.
또한 시공간적 압축을 수행함으로써, 시공간 대표 이미지는 서로 다른 오브젝트만을 포함할 수 있다. 예를 들어 A 세부 그룹에 대하여 시간적 압축이 수행되어 생성된 제1 시간 대표 이미지는 사람 A, B를 포함할 수 있으며, B 세부 그룹에 대하여 시간적 압축이 수행되어 생성된 제2 시간 대표 이미지는 사람 C, D를 포함할 수 있다. 그리고 제1 시간 대표 이미지와 제2 시간 대표 이미지에 대한 공간적 압축이 수행되는 경우, 시공간 대표 이미지는 사람 A, B, C, D를 포함할 수 있다. 즉 시공간 대표 이미지는, 동일한 배경을 가지는 이미지들을, 서로 다른 오브젝트만을 포함하도록 하면서 최대한 압축하여 표현한 이미지이기 때문에, 높은 품질을 만족시키고 인공지능 모델에 대한 학습 효율을 증가시킬 수 있다.
미 가공 이미지 데이터 셋 내 이미지에 대한 압축이 완료되면, 압축 이미지(시간적 압축에 의해 생성된 시간 대표 이미지, 공간적 압축에 의해 생성된 공간 대표 이미지 및 시공간적 압축에 의해 생성된 시공간 대표 이미지 중 적어도 하나)를 포함하는 가공 이미지 데이터 셋이 생성될 수 있다. 또한 가공 이미지 데이터 셋은, 압축 이미지 뿐만 아니라, 압축에 사용되지 않은 이미지(예를 들어, 그룹에 속하지 않은 이미지, 세부 그룹에 속하지 않은 이미지 등)를 더 포함할 수 있다.
다음으로, 이미지 데이터 셋의 품질을 일정 수준 이상으로 보장하기 위한 증강 기법을 설명한다. 앞서 설명한 압축 기법은 주로 전체적인 이미지의 개수를 줄는 것과 동시에 하나의 이미지에 포함되는 오브젝트의 개수를 늘리는 기법인데 반해, 증강 기법은 전체적인 이미지의 개수를 늘리거나 하나의 이미지에 포함되는 오브젝트를 늘리는 기법이다.
제어부(120)는 미 가공 이미지 데이터 셋 내 이미지에 대한 시간적 증강, 공간적 증강 및 시공간적 증강 중 적어도 하나를 수행하여, 증강 이미지를 포함하는 가공 이미지 데이터 셋을 생성할 수 있다. 일 예로, 제어부(120)는, 미 가공 이미지 데이터 셋 내 이미지의 수가 일정 수보다 작거나, 미 가공 이미지 데이터 셋 내 이미지에 포함되는 오브젝트의 수가 일정 수보다 작은 경우, 미 가공 이미지 데이터 셋 내 이미지에 대한 시간적 증강, 공간적 증강 및 시공간적 증강 중 적어도 하나를 수행할 수 있다. 이와 관련해서는 도 11을 참고하여 설명한다.
도 11은 본 발명에 따른, 시간적 증강, 공간적 증강 및 시공간적 증강을 수행하는 방법을 설명하기 위한 도면이다. 도 1 내지 10에서의 설명은, 모순되지 않는 범위에서 이하에도 적용될 수 있다.
도 11을 참고하면, 동일 그룹 내 동일 세부 그룹에 속하는 두 개의 이미지(1110, 1120)가 도시되어 있다. 두 개의 이미지(1110, 1120)는 모두 동일 오브젝트(1111, 1121)를 포함한다.
제어부(120)는 미 가공 이미지 데이터 셋 내 이미지에 대하여, 시간적 증강을 수행할 수 있다. 구체적으로 시간적으로 연속되는 이미지(1110, 1120)가 존재하는 경우, 제어부(120)는 시계열의 상관 관계를 이용하여 시간 증강 이미지(1030)를 생성할 수 있다.
예를 들어 시간적으로 연속되는 이미지(1110, 1120)를 참조하면, 오브젝트는 도로를 이동하는 특정 차량이다. 이 경우 제어부(120)는 두 이미지(1110, 1120)의 중간 시점의 이미지를 생성하거나, 두 이미지(1110, 1120)의 다음 시점의 이미지(차량의 이동 방향 또는 속도를 고려한 차량의 예상 위치에 차량이 배치되는 이미지)를 생성하거나, 이전 시점의 이미지를 생성할 수 있다.
시간적 증강 이미지(1030)는, 시간적 증강 이미지(1030)를 생성하는데 이용된 이미지(1110, 1120)와 동일 배경을 가지고, 두 이미지(1110, 1120) 내 오브젝트와 동일한 오브젝트(1131)를 포함할 수 있다. 또한 시간 증강 이미지(1030) 내 오브젝트(1131)는, 두 이미지(1110, 1120) 내 오브젝트들(1111, 1121)의 사이의 시점이나 이전 시점이나 다음 시점에 배치될 수 있다.
한편 제어부(120)는, 시간적 증강 이미지(1030), 시간적 증강 이미지를 생성하는데 사용된 이미지(1110, 1120)를 가공 이미지 데이터 셋에 포함시킬 수 있다.
제어부(120)는 미 가공 이미지 데이터 셋 내 이미지에 대하여, 공간적 증강을 수행할 수 있다.
도 11을 참고하면, 제어부(120)는 이미지(1110) 내 엣지를 검출하여 영역을 분할하고, 분할된 특정 영역의 종류를 결정할 수 있다. 예를 들어 제어부(120)는 이미지(1110) 내 특정 영역(1195)의 특성을 이용하여 특정 영역(1195)이 도로인 것으로 결정하거나, 특정 영역이 구성하는 객체에 차량(1111)이 배치되었다는 정보를 이용하여 특정 영역이 도로인 것으로 결정할 수 있다.
이 경우 제어부(120)는 특정 영역의 종류에 상응하는 오브젝트를 특정 영역에 배치하여, 공간적 증강 이미지(1150)를 생성할 수 있다. 예를 들어 제어부(120)는 특정 영역이 도로인 것으로 결정하고, 이미지(1110)에 새로운 차량(1151)을 포함시킨 공간적 증강 이미지(1150)를 생성할 수 있다.
공간적 증강 이미지(1050)는, 공간적 증강 이미지(1050)를 생성하는데 이용된 이미지(1110)와 동일 배경을 가지고, 이미지(1110) 내 오브젝트와 다른 새로운 오브젝트(1151)를 포함할 수 있다. 또한 공간적 증강 이미지(1050) 내 오브젝트(1151)는, 새로운 오브젝트(1151)의 특성과 대응하는 영역(1195)에 배치될 수 있다.
한편 제어부(120)는 공간적 증강 이미지를 가공 이미지 데이터 셋에 포함시키고, 공간적 증강 이미지를 생성하는데 사용된 이미지(1110)를 가공 이미지 데이터 셋에 포함시키지 않을 수 있다.
다음으로, 제어부(120)는 미 가공 이미지 데이터 셋 내 이미지에 대하여, 시공간적 증강을 수행할 수 있다. 구체적으로 제어부(120)는 동일 배경을 가짐으로써 하나의 그룹에 속하는 이미지들에 대하여 시간적 압축을 수행함으로써, 시간적 증강 이미지를 포함하는 서브 데이터 셋을 생성할 수 있다. 이 경우 서브 데이터 셋은 시간적 증강 이미지, 시간적 증강 이미지를 생성하는데 사용된 이미지, 시간적 증강에 사용되지 않은 이미지를 포함할 수 있다. 그리고 나서 제어부(120)는 서브 데이터 셋 내 이미지에 대하여 공간적 증강을 수행하여, 시공간적 증강 이미지(1160)를 생성할 수 있다.
미 가공 이미지 데이터 셋 내 이미지에 대한 증강이 완료되면, 증강 이미지(시간적 증강에 의해 생성된 시간적 증강 이미지, 공간적 증강에 의해 생성된 공간적 증강 이미지 및 시공간적 증강에 의해 생성된 시공간적 증강 이미지 중 적어도 하나)를 포함하는 가공 이미지 데이터 셋이 생성될 수 있다. 또한 가공 이미지 데이터 셋은, 증강 이미지 뿐만 아니라, 증강에 사용된 이미지, 증강에 사용되지 않은 이미지를 더 포함할 수 있다.
이와 같이 본 발명에 따르면, 미 가공 이미지 데이터 셋 내 이미지의 수 또는 미 가공 이미지 데이터 셋 내 이미지에 포함되는 오브젝트의 수가 작은 경우 데이터를 증강시킴으로써, 일정 수준 이상의 품질을 만족하는 이미지 데이터 셋을 거래하는 환경을 제공할 수 있다.
한편 제어부(120)는 미가공 이미지 데이터 셋을 구성하는 복수의 이미지에 대하여, 일부 이미지들에는 압축(시간적 압축, 공간적 압축 및 시공간적 압축 중 적어도 하나)을 수행하여 압축 이미지를 생성하고, 일부 이미지들에는 증강(시간적 증강, 공간적 증강 및 시공간적 증강 중 적어도 하나)을 수행하여 증강 이미지를 생성할 수도 있다. 이 경우 가공 이미지 데이터 셋은, 압축 이미지 및 증강 이미지를 포함할 수 있다.
또한 제어부(120)는 미가공 이미지 데이터 셋을 구성하는 복수의 이미지에 대하여, 압축 및 증강을 수행하여, 압축-증강 이미지를 생성할 수 있다. 예를 들어 제어부(120)는 미가공 이미지 데이터 셋을 구성하는 복수의 이미지에 대하여 압축을 수행하여 압축 이미지를 생성하고, 압축 이미지를 포함하는 서브 데이터 셋을 생성할 수 있다. 또한 제어부(120)는 압축 이미지를 포함하는 서브 데이터 셋에 대하여 증강을 수행하여 압축-증강 이미지를 생성할 수 있다. 이 경우 가공 이미지 데이터 셋은, 압축-증강 이미지, 압축 이미지 및 증강 이미지를 포함할 수 있다.
도 4로 돌아가서, 제어부(120)는 미가공 이미지 데이터 셋을 구성하는 이미지 내 개인 정보 영역을 추출하고 비식별화할 수 있다(S430). S430은 제어부(120)의 개인정보 보호부(122)에 의해 수행될 수 있다.
제어부(120)는 미가공 이미지 데이터 셋 내 이미지들(또는, 압축이나 증강이 수행된 이후의 가공 이미지 데이터 셋 내 이미지들)로부터 개인 정보 영역을 추출할 수 있다. 여기서 개인 정보 영역은, 주민등록번호, 자동차 번호판 등의 텍스트 이미지를 포함하거나, 사람의 얼굴 등 프라이버시를 침해할 수 있는 이미지를 포함할 수 있다.
이 경우 제어부(120)는, 공지된 텍스트 추출 알고리즘(예를 들어 OCR 인식)을 이용하거나 공지된 오브젝트 추출 알고리즘을 이용하여, 이미지로부터 개인 정보 영역을 추출할 수 있다.
비식별화의 하나의 방법으로, 제어부(120)는 개인 정보 영역 내 정보를 인지할 수 없도록, 예를 들어 블러 처리를 하거나 모자이크 처리를 하는 방식으로, 개인정보 영역을 비식별화할 수 있다.
다만 본 발명의 가공 이미지 데이터 셋은 인공지능 학습용으로 사용되는 이미지이며, 단순히 개인 정보 영역 내 정보를 인지할 수 없도록 하게 되는 경우 인공지능 학습용으로 활용할 수 없거나 활용도가 낮아지는 문제가 발생한다. 예를 들어 사람의 얼굴을 모자이크 처리하는 경우, 해당 가공 이미지 데이터 셋은 얼굴 검출 인공지능 모델에 사용될 수 없다. 다른 예를 들어 차량의 번호판을 모자이크 처리하는 경우, 해당 가공 이미지 데이터 셋은 번호판 검출 인공지능 모델에 사용될 수 없다.
따라서 제어부(120)는 개인 정보 영역을 대체 이미지로 대체한 보안 이미지를 생성하여 가공 이미지 데이터 셋에 포함시킬 수 있다. 이 경우 제어부(120)는 개인 정보 영역을 포함하는 이미지를 가공 이미지 데이터 셋에 포함시키지 않고, 개인 정보 영역을 포함하는 이미지 대신 보안 이미지를 가공 이미지 데이터 셋에 포함시킬 수 있다.
예를 들어, 얼굴 이미지를 입력받아 가상의 얼굴 이미지를 생성할 수 있는 생성적 적대 신경망(GAN)이 메모리(130)에 저장될 수 있다. 그리고 개인 정보 영역이 얼굴인 경우, 제어부(120)는 이미지 내 개인 정보 영역을 추출하여 생성적 적대 신경망(Generative adversarial networks, GAN)에 제공하여, 개인 정보 영역 내 얼굴이 가상의 얼굴로 변경된 대체 이미지를 획득할 수 있다. 이 경우 제어부(120)는 이미지 내 개인 정보 영역에 대체 이미지를 삽입하여 보안 이미지를 생성하고, 생성된 보안 이미지를 가공 이미지 데이터 셋에 포함시킬 수 있다.
한편 제어부(120)는 개인 정보의 속성에 기반하여, 개인 정보의 속성을 유지하는 대체 이미지를 생성할 수 있다. 여기서 개인 정보의 속성은, 나이, 성별, 피부톤 및 표정 중 적어도 하나를 포함할 수 있다.
구체적으로 본 발명의 가공 이미지 데이터 셋은 인공지능 학습용으로 사용되는 이미지이며, 현실 세계에서 발생할 법한 이미지들이 인공지능 모델에 제공되어야 한다. 다만 대체 이미지를 무작위로 생성하는 경우, 어색하거나 위화감이 있는 이미지가 생성될 수 있다. 예를 들어 어른 몸과 결합된 아이 얼굴, 여자 옷을 입은 몸에 결합된 남자 얼굴, 흑인의 몸에 결합된 백인 얼굴 등이 생성되는 경우, 인공지능 모델의 성능을 저하시킬 수 있다.
따라서 제어부(120)는 개인 정보 영역을 포함하는 이미지 내 오브젝트의 속성을 추출하고, 추출된 속성과 상응하는 대체 이미지를 생성할 수 있다. 예를 들어 개인 정보 영역을 포함하는 이미지 내 오브젝트가 여자이며 20대인 경우, 제어부(120)는 개인 정보 영역에 포함되는 얼굴을 20대 여자인 가상의 얼굴로 변환한 대체 이미지를 생성할 수 있다. 이를 위해, 생성적 적대 신경망(Generative adversarial networks, GAN)은, 입력 이미지의 속성(나이, 성별, 피부톤, 표정 등)을 유지하며 가상의 얼굴 이미지를 생성할 수 있도록 트레이닝 될 수 있다.
추가적으로, 개인 정보의 속성은, 텍스트의 형식, 배열 및 글자체 중 적어도 하나를 포함할 수 있으며, 제어부(120)는 개인 정보의 속성을 유지하는 대체 이미지를 생성할 수 있다. 예를 들어 제어부(120)는 자동차 번호판의 형식('48할 2831'과 같이, 두개의 숫자, 하나의 문자 및 네개의 문자의 결합), 자동차 번호판의 배열(일렬로 배치 등), 자동차 번호판의 글자체 등을 유지하면서 가상의 차량 번호를 포함하는 대체 이미지를 생성할 수 있다.
다시 도 4로 돌아가서, 제어부(120)는 미가공 이미지 데이터 셋을 구성하는 이미지 내 오브젝트에 대한 레이블링 정보를 생성할 수 있다(S450). S450은 제어부(120)의 레이블링부(123)에 의해 수행될 수 있다.
제어부(120)는 미가공 이미지 데이터 셋 내 이미지들(또는 압축이나 증강이 수행된 이후의 가공 이미지 데이터 셋 내 이미지들, 또는 압축이나 증강이 수행되고 개인 정보의 비식별화가 수행된 이후의 가공 이미지 데이터 셋 내 이미지들) 내 오브젝트에 대한 레이블링 정보를 생성할 수 있다.
여기서 레이블링 정보는, 이미지로부터 검출된 오브젝트, 검출된 오브젝트를 둘러싸는 바운딩 박스 및 검출된 오브젝트에 대응하는 클래스 중 적어도 하나를 포함할 수 있다. 구체적으로 레이블링부(123)는 레이블링 모델을 포함할 수 있으며, 레이블링 모델은, 이미지 내 오브젝트를 검출하는 객체 검출 모델, 및, 객체 검출 모델의 검출 결과에 기반하여 바운딩 박스를 생성하는 레이블링 생성 모델을 포함할 수 있다. 추가적으로 레이블링 모델은, 검출된 오브젝트를 복수의 클래스 중 하나로 분류하는 오토 라벨링 모델을 더 포함할 수 있다.
객체 검출 모델은 검출하기 원하는 오브젝트(예를 들어, 사람)를 추출할 수 있도록 미리 트레이닝된 인공신경망일 수 있으며, 이미지로부터 오브젝트를 검출한 검출 결과를 출력할 수 있다.
한편 레이블링 생성 모델은, 객체 검출 모델이 출력한 검출 결과에 기초하여 오브젝트를 둘러싸는 바운딩 박스를 생성하고, 생성된 바운딩 박스를 포함하는 검수 이미지를 생성할 수 있다. 레이블링 생성 모델은 오브젝트의 경계를 인식하고 경계에 맞는 바운딩 박스를 생성하도록 미리 트레이닝된 인공 신경망일 수 있으며, 객체 검출 모델에서 검출된 오브젝트에 대한 바운딩 박스를 생성할 수 있다.
추가적으로, 오토 라벨링 모델은 검출된 오브젝트를 복수의 클래스 중 하나로 분류할 수 있다. 오토 라벨링 모델은 오브젝트를 복수의 클래스 중 하나로 분류하도록 미리 트레이닝된 인공신경망일 수 있다. 따라서 오토 라벨링 모델은 이미지 내 오브젝트에 대한 분류 결과(오브젝트에 대응하는 클래스)를 생성하고, 분류 결과(오브젝트에 대응하는 클래스)를 추가로 포함하는 검수 이미지를 생성할 수 있다.
즉 검수 이미지는, 레이블링 정보의 생성의 대상이 된 이미지에, 검출된 오브젝트를 포함하는 바운딩 박스 또는 오브젝트에 대응하는 클래스가 추가된 이미지일 수 있다.
도 3을 다시 참고하면, 제어부(120)는 가공 이미지 데이터 셋에 대한 검수 요청을 판매자에게 전송할 수 있다(S330). 구체적으로 제어부(120)는 가공 이미지 데이터 셋을 구성하는 이미지를 판매자에게 전송하고, 이미지와 함께 이미지에 대응하는 레이블링 정보를 전송할 수 있다.
앞서 설명한 바와 같이, 레이블링 정보는 이미지로부터 검출된 오브젝트, 검출된 오브젝트를 둘러싸는 바운딩 박스 및 검출된 오브젝트에 대응하는 클래스 중 적어도 하나를 포함할 수 있다. 이 경우 제어부(120)는 검출된 오브젝트를 둘러싸는 바운딩 박스 및 검출된 오브젝트에 대응하는 클래스가 표시된 검수 이미지를 레이블링 정보로써 판매자에게 전송할 수 있다.
한편 판매자(300)는 수신된 이미지 및 레이블링 정보를 이용하여 검수 정보를 생성할 수 있다. 구체적으로 수신된 이미지 및 레이블링 정보가 판매자 단말에 디스플레이 될 수 있으며, 판매자 단말은 가공 이미지 데이터 셋에 포함되는 이미지의 신설, 수정, 교체 또는 삭제 요청, 보안 이미지(개인 정보 영역이 대체 이미지로 대체된 이미지)의 신설, 수정, 교체 또는 삭제 요청, 레이블링 정보에 포함되는 오브젝트의 추가, 변경 또는 삭제 요청, 레이블링 정보에 포함되는 바운딩 박스의 신설, 수정 또는 삭제 요청, 오브젝트에 대응하는 클래스의 변경 요청 등을 포함하는 검수 정보를 생성할 수 있다. 그리고 나서 판매자(300)는 서버(100)에 검수 정보를 전송할 수 있다.
한편 제어부(120)는 검수 정보를 수신하고, 수신된 검수 정보를 반영하여 가공 이미지 데이터 셋을 갱신할 수 있다. 또한 제어부(120)는 수신된 검수 정보를 반영하여 레이블링 정보를 갱신할 수 있다.
다음으로, 레이블링 정보가 생성된 이미지를 판매자에게 실시간으로 전송하고, 검수 정보를 실시간으로 수신하여 다음 이미지에 대한 레이블링 정보를 생성하는 방법에 대하여 설명한다.
도 12는 본 발명에 따른, 판매자의 검수 정보를 반영하여 레이블링 정보를 생성하는 방법을 설명하기 위한 도면이다.
앞서 설명한 바와 같이, 레이블링 모델은, 객체 검출 모델, 레이블링 생성 모델 및 오토 라벨링 모델을 포함할 수 있다.
도 12a의 첫번째 이미지(1210)는 객체 검출 모델의 추론 결과를 이미지로써 도시한 것이다. 객체 검출 모델은 이미지로부터 오브젝트(1211, 1212)를 검출한 검출 결과(1210)를 출력할 수 있다.
레이블링 생성 모델은, 객체 검출 모델이 출력한 검출 결과(1210)에 기초하여 오브젝트를 둘러싸는 바운딩 박스를 생성할 수 있다. 도 12a의 두번째 이미지에서는, 레이블링 생성 모델에 의해 생성된 바운딩 박스(1221, 1222)가 도시되었다.
또한 오토 라벨링 모델은, 검출된 오브젝트를 복수의 클래스 중 하나로 분류하고, 오브젝트에 대응하는 클래스를 생성할 수 있다.
이미지에 대응하는 레이블링 정보가 생성된 경우, 제어부(120)는 이미지 및 이미지에 대응하는 레이블링 정보를 판매자에게 전송할 수 있다. 이 경우 제어부(120)는 바운딩 박스(1221, 1222) 및 오브젝트에 대응하는 클래스를 포함하는 검수 이미지를 판매자에게 전송할 수 있다.
한편 가공 이미지 데이터 셋 내 제1 이미지에 대한 제1 레이블링 정보가 생성된 경우, 제어부(120)는 제1 레이블링 정보를 판매자에게 전송할 수 있다. 구체적으로 가공 이미지 데이터 셋을 구성하는 일부 이미지에 대해서만 레이블링 정보가 생성된 경우에도, 제어부(120)는 검수 이미지를 판매자에게 전송할 수 있다. 검수 이미지가 판매자에게 전송되는 경우, 검수 이미지의 생성의 대상이 된 이미지는 판매자에게 전송되지 않을 수 있다.
한편 판매자(300)는 수신된 검수 이미지를 이용하여 검수 정보를 생성할 수 있다. 구체적으로, 레이블링 대상으로 새로운 종류의 오브젝트를 추가하기를 원하는 판매자는, 새로운 종류의 오브젝트를 둘러싸는 바운딩 박스를 추가할 수 있다. 예를 들어 도 12a의 세번째 이미지(1230)는 판매자가 생성한 검수 정보(수정 요청 이미지)를 도시한 것으로, 판매자가 자동차에 대하여 새롭게 추가한 바운딩 박스(1231)가 도시되어 있다.
또한 오브젝트의 바운딩 박스를 수정하는 것을 원하는 판매자는, 해당 바운딩 박스의 영역을 변경할 수 있다. 예를 들어 도 12a의 세번째 이미지(1230)에는, 판매자가 오브젝트의 경계에 닿도록 수정한 바운딩 박스(1232)가 도시되어 있다.
그리고 나서 판매자(300)는 서버(100)에 검수 정보(수정 요청 이미지)를 전송할 수 있으며, 서버(100)의 제어부(120)는 제1 레이블링 정보에 상응하는 검수 정보를 판매자(300)로부터 수신할 수 있다.
제어부(120)는, 판매자에 의해 추가되거나 수정된 바운딩 박스를 반영하여, 가공 이미지 데이터 셋 내 제2 이미지(즉, 아직 레이블링 정보가 생성되지 않은 이미지)에 대한 제2 레이블링 정보를 생성할 수 있다.
일 예로, 판매자가 새로운 종류의 오브젝트(자동차)에 바운딩 박스(1231)를 추가했다는 것은, 판매자가 새로운 오브젝트(자동차)를 레이블링 대상으로 추가하기를 원한다는 것을 의미한다. 이 경우 제어부(120)는 레이블링 모델의 설정을 변경하거나 판매자의 검수 정보에 기초하여 레이블링 모델을 다시 트레이닝 하는 방식으로, 레이블링 모델을 업데이트 할 수 있다.
다른 예로, 판매자가 바운딩 박스(1232)를 수정했다는 것은, 레이블링 모델(더욱 구체적으로는 레이블링 생성 모델)이 오브젝트의 경계를 정확하게 추출하지 못했다는 것을 의미한다. 이 경우 제어부(120)는 판매자의 검수 정보(수정된 바운딩 박스)를 이용하여 레이블링 생성 모델을 트레이닝하는 방식으로 레이블링 모델을 업데이트 할 수 있다. 구체적으로 제어부(120)는, 도 12a의 네번째 이미지(1240)에 도시된 바와 같이, 판매자에 의해 수정된 바운딩 박스(1232)를 레이블링 생성 모델에 정답값으로 제공하여 레이블링 생성 모델을 트레이닝 할 수 있다. 이 경우 레이블링 생성 모델은, 배경과 오브젝트를 구별할 수 있는 특징을 학습할 수 있다.
다음으로, 제어부(120)는 업데이트된 레이블링 모델을 이용하여 가공 이미지 데이터 셋 내 제2 이미지(즉, 아직 레이블링 정보가 생성되지 않은 이미지)에 대한 제2 레이블링 정보를 생성할 수 있다.
그리고 이러한 동작은 가공 이미지 데이터 셋 내 다른 이미지들에게도 적용될 수 있다. 이러한 방식으로, 레이블링 정보가 생성된 이미지를 판매자에게 실시간으로 전송하고 검수 정보를 실시간으로 수신하여 다음 이미지에 대한 레이블링 정보를 생성함에 따라, 판매자의 의도를 반영한 레이블링 정보를 생성할 수 있으며, 검수에 소요되는 시간을 줄일 수 있다.
예를 들어 도 12b를 참고하면, 가공 이미지 데이터 셋 내 최초 이미지에 대하여 제어부(120)가 생성한 레이블링 정보(1270)와, 가공 이미지 데이터 셋 내 이후의 이미지(1270)에 대하여 제어부(120)가 판매자의 검수 정보를 반영하여 생성한 레이블링 정보(1280)가 도시되어 있다. 즉 판매자의 의도(자동차를 검출 대상 오브젝트로 새롭게 선정, 오브젝트의 경계의 수정)를 실시간으로 반영하여 레이블링 정보를 생성한 후 판매자에게 제공하기 때문에, 전체적인 검수 시간 및 검수량이 현격히 줄어들 수 있는 장점이 있다.
한편 제1 레이블링 정보에 상응하는 검수 정보가 판매자에 의해 추가되거나 수정된 바운딩 박스를 포함한다고 설명하였으나 이에 한정되지 않으며, 제1 레이블링 정보에 상응하는 검수 정보는 수정된 클래스를 포함할 수 있다.
구체적으로 오브젝트의 클래스를 변경하기 원하는 판매자(예를 들어, 자동차는 승용차, 승합차, 화물차 등으로 더 세분화 될 수 있기 때문에, 승용차 이미지의 클래스를 “자동차”가 아닌 “승용차”로 분류하기를 원하는 판매자)는, 레이블링 정보에 포함된 클래스를 수정한 검수 정보를 생성할 수 있다. 이 경우 서버(100)의 제어부(120)는 변경된 클래스를 반영하여, 가공 이미지 데이터 셋 내 제2 이미지에 대한 제2 레이블링 정보를 생성할 수 있다.
다시 도 3으로 돌아가서, 제어부(120)는 검수 정보를 이용하여 가공 이미지 데이터 셋 및 가공 이미지 데이터 셋에 대응하는 레이블링 정보 중 적어도 하나를 업데이트하고, 업데이트된 정보에 대한 검수 요청을 판매자에게 전송할 수 있다. 또한 판매자는 검수 정보를 다시 서버에 전송할 수 있다.
이러한 과정을 거쳐 검수가 완료되면, 제어부(120)는 검수가 완료된 가공 이미지 데이터 셋이 인공지능 학습용 데이터로 거래되도록, 검수가 완료된 가공 이미지 데이터 셋을 판매 이미지 데이터 셋으로 등록할 수 있다(S340).
구체적으로 제어부(120)는 검수가 완료된 가공 이미지 데이터 셋 및 상응하는 레이블링 정보를, 다수의 판매자 및 다수의 구매자가 접속 가능한 마켓에 등록할 수 있다. 이 경우 제어부(120)는 가공 이미지 데이터 셋에 설정된 가격 정보를 함께 등록할 수 있다. 검수가 완료된 가공 이미지 데이터 셋 및 상응하는 레이블링 정보 중 적어도 하나는 판매용으로 마켓에 등록되는 것으로, 판매 이미지 데이터 셋으로 명칭될 수 있다.
또한 제어부(120)는 마켓에 접속한 사용자에게 제공될 수 있는 청약 정보를 마켓에 등록할 수 있다. 청약 정보는 가공 이미지 데이터 셋 및 상응하는 레이블링 정보 중 적어도 하나를 포함할 수 있으나 이에 한정되지 않으며, 가공 이미지 데이터 셋을 대표하는 이미지(예를 들어 썸네일 이미지) 및 대표하는 이미지에 상응하는 레이블링 정보 중 적어도 하나를 포함할 수도 있다. 또한 청약 정보는 해당 가공 이미지 데이터 셋의 가격 정보를 포함할 수 있다. 이 경우 마켓에 접속한 사용자는, 다양한 판매자들의 청약 정보들을 포함하는 목록을 확인하고, 구매를 원하는 청약 정보를 선택할 수 있다.
또한 제어부(120)는 이미지의 불법 복제를 막기 위해, 청약 정보 내 이미지들에 워터마크를 삽입하여 마켓에 등록할 수 있다. 이 경우 마켓에 접속한 사용자는 워터마크된 이미지를 확인하고 구매를 원하는 청약 정보를 선택할 수 있다.
한편, 판매 데이터 셋(가공 이미지 데이터 셋 및 상응하는 레이블링 정보 중 적어도 하나)를 마켓에 등록하기 전, 제어부(120)는 판매 데이터 셋의 소유권을 증명하기 위한 토큰을 발행할 수 있다. 이 경우 제어부(120)는 직접, 또는 NFT 마켓 서버(200)를 통하여, 판매 데이터 셋에 대한 판매자의 권리(소유권 또는 저작권)을 증명하는 토큰을 발행할 수 있다.
다시 도 3으로 돌아가서, 구매자로부터 판매 데이터 셋에 대한 구매 요청이 수신되면, 제어부(120)는 판매 데이터 셋의 거래를 중개할 수 있다(S350).
구체적으로 청약 정보를 확인한 구매자(400)는, 해당 청약 정보에 대응하는 판매 이미지 데이터 셋에 대한 구매 요청을 서버(100)에 전송할 수 있다. 그리고 구매자(400)로부터 판매 이미지 데이터 셋에 대한 대금이 지불되면, 제어부(120)는 대금이 판매자(300)에게 전달되도록 하고 판매 데이터 셋을 구매자(400)에게 전송할 수 있다.
또한 제어부(120)는, 판매 데이터 셋을 구매자(400)에게 전송하는 것과 함께, 판매 이미지 데이터 셋에 대한 구매자(400)의 권리(저작권 사용의 허락, 소유권(전체 소유권 또는 분할 소유권))를 증명하는 토큰을 구매자(400)에게 전송할 수 있다. 또한 구매자(400)에게 전송되는 토큰에는 판매자(300)의 허락 내역 또는 서명(예를 들어 판매자의 개인키를 이용한 서명)에 대한 정보가 기록되어, 구매자가 판매 데이터 셋을 사용할 권리가 증명될 수 있으며, 판매 이미지 데이터 셋의 유통 내역이 추적될 수 있다.
한편 판매 이미지 데이터 셋을 마켓에 등록할 때, 제어부(120)는 판매 데이터 셋의 유통 제한 조건을 함께 등록할 수 있으며, 앞서 설명한 청약 정보는 유통 제한 조건을 더 포함할 수 있다. 유통 제한 조건은 “사용 및 재판매 가능”, “사용 가능 및 재판매 불가” 등을 포함할 수 있다. 구매자(400)에게 전송되는 토큰에는 유통 제한 조건이 기록되어, 구매자에 적용되는 유통 제한 조건이 증명될 수 있다.
한편 구매자의 권리를 증명하는 토큰은, 판매 이미지 데이터 셋의 소유권 전체가 구매자에게 이전되어 구매자의 재판매가 가능한 전체 소유권 및 판매 이미지 데이터 셋의 소유권 일부가 구매자에게 이전되어 판매 이미지 데이터 셋 전체의 사용이 가능하나 재판매가 불가능한 분할 소유권 중 어느 하나를 증명할 수 있다. 구체적으로 구매자(400)가 판매 이미지 데이터 셋에 대한 분할 소유권이 아닌 온전한 전체 소유권을 가지는 경우, 구매자(400)는 판매 이미지 데이터 셋을 재판매 할 수 있다. 이 경우 앞서 설명한 S340 및 S350의 동작이 다시 수행될 수 있다. 여기서 전체 소유권은 판매 이미지 데이터 셋의 모든 권리를 구매자(400) 한명에게 이전하는 것을 의미한다. 반면에 분할 소유권은, 구매자가 판매 이미지 데이터 셋에 대한 소유권 일부만 구매하는 경우에 발생하는 것으로, 구매자는 판매 이미지 데이터 셋 전체를 사용할 수 있으나 판매 이미지 데이터 셋의 재판매는 불가능하다. 다만 구매자가 다른 구매자로부터 해당 판매 이미지 데이터 셋의 모든 분할 소유권을 구매하는 경우, 구매자는 해당 판매 이미지 데이터 셋을 재판매할 수 있다. 한편 앞서 설명한 유통 제한 조건은, 판매 형태(전체 소유권 판매 또는 분할 소유권 판매)에 대한 정보를 포함할 수 있다.
이와 같이 본 발명에 따르면, 다수의 판매자 및 구매자가 참여하고 매우 다량의 데이터가 거래되는 환경에서, 미가공 이미지 데이터 셋을 가공함으로써, 인공지능 학습용 이미지 데이터셋의 품질을 일정 수준 이상 보장하면서 그 거래를 중개할 수 있다. 이에 따라, 불특정 다수 간의 인공지능 학습용 데이터 거래를 활성화시킬 수 있는 장점이 있다.
또한 본 발명에 따르면, 미가공된 이미지들을 가공하고 레이블링 정보를 생성하여 판매자에게 검수를 요청하는 방식으로 구매자에게 편의를 제공함으로써, 더욱 많은 사람들이 자유롭게 데이터를 거래하는, 예를 들어 전문성이 없는 개인도 데이터를 거래할 수 있는, 인공지능 학습용 데이터 거래 플랫폼을 구축할 수 있다.
또한 본 발명에 따르면, 미가공된 이미지를 가공 이미지로 가공하는 과정에서 무의미한 데이터들을 삭제함으로써, 서버 스토리지의 저장 공간을 절약하고, 불필요한 레이블링 프로세스를 감소시킬 수 있는 장점이 있다.
또한 본 발명에 따르면, 디지털 파일 형태를 가지는 인공지능 학습용 데이터의 불법 복제, 개인정보 유출을 예방함으로써, 많은 사람들이 자유롭게 데이터를 거래하는, 인공지능 학습용 데이터 거래 플랫폼을 구축할 수 있다.
본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 안 된다. 또한, 본 명세서에서 개별적인 실시 예에서 설명된 특징들은 단일 실시 예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시 예에서 설명된 다양한 특징들은 개별적으로 다양한 실시 예에서 구현되거나, 적절히 결합되어 구현될 수 있다.
도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로, 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시 예에서 다양한 시스템 구성요소의 구분은 모든 실시 예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 프로그램 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(시디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.
Claims (20)
- 미가공 이미지 데이터 셋을 수신하는 단계;
상기 미가공 이미지 데이터 셋을 가공하여 가공 이미지 데이터 셋을 생성하는 단계; 및
검수가 완료된 상기 가공 이미지 데이터 셋이 인공지능 학습용 데이터로 거래되도록, 상기 검수가 완료된 상기 가공 이미지 데이터 셋을 판매 이미지 데이터 셋으로 등록하는 단계;를 포함하고,
상기 가공 이미지 데이터 셋을 생성하는 단계는,
상기 미 가공 이미지 데이터 셋 내 이미지에 대한 시간적 압축, 공간적 압축 및 시공간적 압축 중 적어도 하나를 수행하여, 압축 이미지를 포함하는 상기 가공 이미지 데이터 셋을 생성하는 단계;를 포함하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 1항에 있어서,
상기 압축 이미지를 포함하는 상기 가공 이미지 데이터 셋을 생성하는 단계는,
상기 미가공 이미지 데이터 셋 내 이미지들 중 동일 배경을 가지는 이미지들을 그룹핑함으로써, 하나 이상의 배경에 각각 대응하는 하나 이상의 그룹을 생성하는 단계;를 포함하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 2항에 있어서,
상기 하나 이상의 그룹을 생성하는 단계는,
상기 미가공 이미지 데이터 셋 내 제1 이미지 및 제2 이미지를 매칭점을 기준으로 중첩시키고, 중첩 영역을 추출하는 단계; 및
상기 제1 이미지 내 중첩 영역과 상기 제2 이미지 내 중첩 영역 간의 유사도를 산출하는 단계;를 포함하고,
상기 유사도를 산출하는 단계는,
“상기 제1 이미지 내 중첩 영역을 이용하여 획득된 피처맵과 상기 제2 이미지 내 중첩 영역을 이용하여 획득된 피처맵의 차이” 및 “상기 제1 이미지 내 중첩 영역과 상기 제2 이미지 내 중첩 영역 간의 픽셀 별 픽셀 값의 차이”를 이용하여 상기 유사도를 산출하는 단계;를 포함하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 2항에 있어서,
상기 압축 이미지를 포함하는 상기 가공 이미지 데이터 셋을 생성하는 단계는,
상기 미가공 이미지 데이터 셋에서, 상기 하나 이상의 그룹에 속하지 않는 이미지를 상기 가공 이미지 데이터 셋에 포함시키는 단계;를 포함하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 2항에 있어서,
상기 압축 이미지를 포함하는 상기 가공 이미지 데이터 셋을 생성하는 단계는,
동일 배경을 가짐으로써 하나의 그룹에 속하는 이미지들 중, 동일 오브젝트를 포함하는 복수의 이미지를 세부 그룹으로 분류하는 단계;
상기 동일 배경을 가지고 상기 동일 오브젝트를 포함하는, 상기 세부 그룹의 시간 대표 이미지를 결정하는 단계; 및
상기 시간 대표 이미지를 상기 압축 이미지로써 상기 가공 이미지 데이터 셋에 포함시키는 단계;를 포함하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 5항에 있어서,
상기 세부 그룹의 시간 대표 이미지를 결정하는 단계는,
상기 세부 그룹에 속하는 복수의 이미지 중 가장 많은 오브젝트를 포함하는 이미지를 선정하는 단계;를 포함하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 2항에 있어서,
상기 압축 이미지를 포함하는 상기 가공 이미지 데이터 셋을 생성하는 단계는,
동일 배경을 가짐으로써 하나의 그룹에 속하는 이미지들 중 서로 다른 오브젝트를 포함하는 이미지들을 이용하여, 상기 서로 다른 오브젝트를 포함하는 공간 대표 이미지를 생성하는 단계; 및
상기 공간 대표 이미지를 상기 압축 이미지로써 상기 가공 이미지 데이터 셋에 포함시키는 단계;를 포함하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 7항에 있어서,
상기 공간 대표 이미지에 포함되는 상기 서로 다른 오브젝트는 서로 중첩되지 않는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 7항에 있어서,
상기 서로 다른 오브젝트를 포함하는 공간 대표 이미지를 생성하는 단계는,
상기 하나의 그룹에 속하는 제1 이미지 내 오브젝트와 상기 하나의 그룹에 속하는 제2 이미지 내 오브젝트가 중첩되는지 판단하는 단계;
상기 제2 이미지 내 오브젝트가 상기 제1 이미지 내 오브젝트와 중첩되지 않으면 상기 제2 이미지 내 오브젝트를 상기 제1 이미지에 포함시키고, 상기 제2 이미지 내 오브젝트가 상기 제1 이미지 내 오브젝트와 중첩되면 상기 제2 이미지 내 오브젝트를 상기 제1 이미지에 포함시키지 않는 단계;를 포함하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 7항에 있어서,
상기 서로 다른 오브젝트를 포함하는 공간 대표 이미지를 생성하는 단계는,
상기 공간 대표 이미지가 임계 개수의 오브젝트를 포함하도록 상기 공간 대표 이미지를 생성하는 단계;를 포함하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 2항에 있어서,
상기 압축 이미지를 포함하는 상기 가공 이미지 데이터 셋을 생성하는 단계는,
동일 배경을 가짐으로써 하나의 그룹에 속하는 이미지들에 대하여 상기 시간적 압축을 수행함으로써 시간 대표 이미지를 포함하는 서브 데이터 셋을 생성하는 단계; 및
서브 데이터 셋에 속하는 이미지들에 대하여, 상기 공간적 압축을 수행하여 시공간 대표 이미지를 생성하고, 상기 시공간 대표 이미지를 상기 압축 이미지로써 상기 가공 이미지 데이터 셋에 포함시키는 단계;를 포함하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 2항에 있어서,
시간 대표 이미지에 의해 대표되는 이미지, 공간 대표 이미지에 의해 대표되는 이미지 또는 시공간 대표 이미지에 의해 대표되는 이미지는 상기 가공 이미지 데이터 셋에 포함되지 않는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 1항에 있어서,
상기 가공 이미지 데이터 셋을 생성하는 단계는,
상기 미 가공 이미지 데이터 셋 내 이미지에 대한 시간적 증강, 공간적 증강 및 시공간적 증강 중 적어도 하나를 수행하여, 증강 이미지를 포함하는 상기 가공 이미지 데이터 셋을 생성하는 단계;를 더 포함하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 1항에 있어서,
상기 가공 이미지 데이터 셋을 생성하는 단계는,
상기 미가공 이미지 데이터 셋 내 이미지들로부터 개인 정보 영역을 추출하는 단계;
개인 정보의 속성에 기반하여, 상기 속성을 유지하는 대체 이미지를 생성하는 단계;
상기 개인 정보 영역을 상기 대체 이미지로 대체한 보안 이미지를 생성하여 상기 가공 이미지 데이터 셋에 포함시키는 단계;를 포함하고,
상기 개인 정보의 속성은,
나이, 성별, 피부톤 및 표정 중 적어도 하나를 포함하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 1항에 있어서,
상기 가공 이미지 데이터 셋에 대한 검수 요청을 판매자에게 전송하는 단계;를 더 포함하고,
상기 가공 이미지 데이터 셋에 대한 검수 요청을 상기 판매자에게 전송하는 단계는,
상기 가공 이미지 데이터 셋을 구성하는 이미지 및 이미지에 대응하는 레이블링 정보를 상기 판매자에게 전송하는 단계;
상기 레이블링 정보에 대한 판매자의 검수 정보를 수신하는 단계; 및
상기 검수 정보를 반영하여, 상기 레이블링 정보를 수정하는 단계;를 포함하고,
상기 레이블링 정보는,
이미지로부터 검출된 오브젝트, 검출된 오브젝트를 둘러싸는 바운딩 박스 및 검출된 오브젝트에 대응하는 클래스 중 적어도 하나를 포함하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 1항에 있어서,
상기 가공 이미지 데이터 셋에 대한 검수 요청을 판매자에게 전송하는 단계;를 더 포함하고,
상기 가공 이미지 데이터 셋에 대한 검수 요청을 상기 판매자에게 전송하는 단계는,
상기 가공 이미지 데이터 셋 내 제1 이미지에 대한 제1 레이블링 정보가 생성된 경우, 상기 제1 레이블링 정보를 상기 판매자에게 전송하는 단계;
상기 제1 레이블링 정보에 상응하는 검수 정보를 상기 판매자로부터 수신하는 단계;
상기 판매자에 의해 추가되거나 수정된 바운딩 박스를 반영하여, 상기 가공 이미지 데이터 셋 내 제2 이미지에 대한 제2 레이블링 정보를 생성하는 단계;를 포함하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 1항에 있어서,
구매자로부터 상기 판매 데이터 셋에 대한 구매 요청이 수신되면, 상기 판매 이미지 데이터 셋의 거래를 중개하는 단계;를 더 포함하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 1항에 있어서,
상기 검수가 완료된 상기 가공 이미지 데이터 셋을 판매 이미지 데이터 셋으로 등록하는 단계는,
상기 판매 이미지 데이터 셋의 소유권을 증명하기 위한 토큰을 발행하는 단계;를 포함하고,
상기 판매 이미지 데이터 셋의 거래를 중개하는 단계는,
상기 구매자로부터 상기 판매 이미지 데이터 셋에 대한 대금이 지불되면, 상기 구매자의 권리를 증명하는 토큰을 상기 구매자에게 전송하는 단계;를 포함하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 제 18항에 있어서,
상기 구매자의 권리를 증명하는 토큰은,
상기 판매 이미지 데이터 셋의 소유권 전체가 구매자에게 이전되어 구매자의 재판매가 가능한 전체 소유권, 및, 상기 판매 이미지 데이터 셋의 소유권 일부가 구매자에게 이전되어 상기 판매 이미지 데이터 셋 전체의 사용이 가능하고 구매자가 해당 판매 이미지 데이터 셋의 모든 분할 소유권을 구매하는 경우에 재판매가 가능한 분할 소유권 중 어느 하나를 증명하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 방법. - 미가공 이미지 데이터 셋을 수신하는 통신부; 및
상기 미가공 이미지 데이터 셋을 가공하여 가공 이미지 데이터 셋을 생성하고, 검수가 완료된 상기 가공 이미지 데이터 셋이 인공지능 학습용 데이터로 거래되도록, 상기 검수가 완료된 상기 가공 이미지 데이터 셋을 판매 이미지 데이터 셋으로 등록하는 제어부;를 포함하고,
상기 제어부는,
상기 미 가공 이미지 데이터 셋 내 이미지에 대한 시간적 압축, 공간적 압축 및 시공간적 압축 중 적어도 하나를 수행하여, 압축 이미지를 포함하는 상기 가공 이미지 데이터 셋을 생성하는
인공지능 학습용 이미지 데이터 셋의 거래를 중개하는 서버.
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240078525A true KR20240078525A (ko) | 2024-06-04 |
Family
ID=
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dai et al. | Statistical modeling of craniofacial shape and texture | |
| US20230082173A1 (en) | Data processing method, federated learning training method, and related apparatus and device | |
| Lu et al. | Feature extraction and fusion using deep convolutional neural networks for face detection | |
| Younus et al. | Video steganography using knight tour algorithm and LSB method for encrypted data | |
| JP2020530168A (ja) | 画像認識を用いた商品を置くこと及び取ることの検出 | |
| Nie et al. | 3D pose estimation based on reinforce learning for 2D image-based 3D model retrieval | |
| Dong et al. | Explaining deepfake detection by analysing image matching | |
| Agarwal et al. | Privacy preservation through facial de-identification with simultaneous emotion preservation | |
| Banchhor et al. | FCNB: Fuzzy Correlative naive bayes classifier with mapreduce framework for big data classification | |
| Liu et al. | Fine-grained multilevel fusion for anti-occlusion monocular 3d object detection | |
| JP6173754B2 (ja) | 画像検索システム、画像検索装置および画像検索方法 | |
| Zhu et al. | License plate recognition in urban road based on vehicle tracking and result integration | |
| Abate et al. | The limitations for expression recognition in computer vision introduced by facial masks | |
| Kanaparthi et al. | Content based image retrieval on big image data using local and global features | |
| CN111274946B (zh) | 一种人脸识别方法和系统及设备 | |
| Li et al. | Infrared-visible cross-modal person re-identification via dual-attention collaborative learning | |
| Vijayalakshmi K et al. | Copy-paste forgery detection using deep learning with error level analysis | |
| KR20240078525A (ko) | 인공지능 학습용 이미지 데이터 셋의 거래의 중개 방법 및 서버 | |
| Soladié et al. | Invariant representation of facial expressions for blended expression recognition on unknown subjects | |
| Agarwal et al. | Unmasking the potential: evaluating image inpainting techniques for masked face reconstruction | |
| Yoganand et al. | Face detection approach from video with the aid of KPCM and improved neural network classifier | |
| Nguyen et al. | Face recognition based on deep learning and data augmentation | |
| Tsai et al. | ATFS: A deep learning framework for angle transformation and face swapping of face de-identification | |
| Gaur et al. | Introduction to deepfake technologies | |
| Adyapady R et al. | Micro expression recognition using delaunay triangulation and voronoi tessellation |