KR102486979B1 - 인공지능 학습용 라벨 데이터 정확도 계산 방법 - Google Patents
인공지능 학습용 라벨 데이터 정확도 계산 방법 Download PDFInfo
- Publication number
- KR102486979B1 KR102486979B1 KR1020220082104A KR20220082104A KR102486979B1 KR 102486979 B1 KR102486979 B1 KR 102486979B1 KR 1020220082104 A KR1020220082104 A KR 1020220082104A KR 20220082104 A KR20220082104 A KR 20220082104A KR 102486979 B1 KR102486979 B1 KR 102486979B1
- Authority
- KR
- South Korea
- Prior art keywords
- processor
- area
- data
- labeling process
- artificial intelligence
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 26
- 238000002372 labelling Methods 0.000 claims abstract description 59
- 238000011156 evaluation Methods 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 210000001061 forehead Anatomy 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 프로세서가, 키포인트 라벨링 공정이 수행된 가공 데이터를 획득하는 단계; 및 프로세서가, 상기 가공 데이터의 키포인트 라벨링 공정에 대해 평가하는 단계;를 포함하는 인공지능 학습용 라벨 데이터 정확도 계산 방법에 관한 것이다.
Description
본 발명은 인공지능 학습용 라벨 데이터 정확도 계산 방법에 관한 것이다.
인공지능을 활용한 기술들이 산업 전반에 걸쳐 개발되고 활용되고 있다. 인공지능의 활용을 위해서는 기계학습이 필수적이다. 기계학습을 위해서는 많은 양의 데이터가 필요하고, 데이터를 기계가 인식할 수 있도록 가공하는 과정이 필요하다.
데이터 라벨링은 인공지능이 기계학습에 활용할 수 있도록 기능 및 목적에 부합하는 정보를 원천데이터에 부착하는 활동으로 설명된다. 이러한 데이터 라벨링 작업은 기계가 인식할 수 있도록 정확성이 요구되며, 가공 데이터에 대한 평가가 필요하다.
본 발명은 상기한 문제점을 해결하기 위하여, 가공 데이터에 대한 평가 과정에서 키포인트 라벨링 공정의 정확도 계산 방법을 제공하는데 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 인공지능 학습용 라벨 데이터 정확도 계산 방법은, 가공 데이터의 키포인트의 정확도를 계산한다.
본 발명의 실시예에 따른 인공지능 학습용 라벨 데이터 정확도 계산 방법은, 프로세서가, 키포인트 라벨링 공정이 수행된 가공 데이터를 획득하는 단계; 및 프로세서가, 상기 가공 데이터의 키포인트 라벨링 공정에 대해 평가하는 단계;를 포함한다.
상기 평가하는 단계는, 프로세서가, 지정된 특징점이 기 설정된 폴리곤 영역 내에 위치하는지 판단하는 단계;를 포함한다.
상기 평가하는 단계는, 프로세서가, 상기 지정된 특징점이 상기 폴리곤 영역 내에 위치하는 것으로 판단되는 경우, 상기 지정된 특징점과 상기 폴리곤 영역의 중심점 사이의 거리값을 계산하는 단계;를 더 포함한다.
상기 평가하는 단계는, 프로세서가, 상기 거리값에 기초하여 상기 키포인트 라벨링 공정에 대한 점수를 부여하는 단계;를 더 포함한다.
상기 평가하는 단계는, 프로세서가, 상기 지정된 특징점이 상기 폴리곤 영역 밖에 위치하는 것으로 판단되는 경우, 지정된 특징점에 대해 0점을 부여하는 단계;를 더 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 키포인트 라벨링 공정에 있어 마킹 포인트의 정확성을 판단하여, 잘못된 인풋 데이터로 인해 기계학습에 발생될 수 오류를 줄이는 효과가 있다.
둘째, 키포인트 라벨링에 대한 사후 검증 및 이에 대한 피드백을 통해 라벨러의 숙련도를 향상시키는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 데이터 라벨링을 설명하는데 참조되는 도면이다.
도 2는 본 발명의 실시예에 따른 데이터 라벨링 평가 시스템을 설명하는데 참조되는 도면이다.
도 3은 본 발명의 실시예에 따른 인공지능 학습용 라벨 데이터 정확도 계산 장치를 설명하는데 참조되는 도면이다.
도 4는 본 발명의 실시예에 따른 인공지능 학습용 라벨 데이터 정확도 계산 방법을 설명하는데 참조되는 도면이다.
도 5는 본 발명의 실시예에 따른 인공지능 학습용 라벨 데이터 정확도 계산 방법의 목적을 설명하는데 참조되는 도면이다.
도 6은 본 발명의 실시예에 따른 키포인트 라벨링 공정에 대해 평가하는 동작을 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따라 마킹 포인트에 대해 점수를 부여하는 동작을 설명하는데 참조되는 도면이다.
도 2는 본 발명의 실시예에 따른 데이터 라벨링 평가 시스템을 설명하는데 참조되는 도면이다.
도 3은 본 발명의 실시예에 따른 인공지능 학습용 라벨 데이터 정확도 계산 장치를 설명하는데 참조되는 도면이다.
도 4는 본 발명의 실시예에 따른 인공지능 학습용 라벨 데이터 정확도 계산 방법을 설명하는데 참조되는 도면이다.
도 5는 본 발명의 실시예에 따른 인공지능 학습용 라벨 데이터 정확도 계산 방법의 목적을 설명하는데 참조되는 도면이다.
도 6은 본 발명의 실시예에 따른 키포인트 라벨링 공정에 대해 평가하는 동작을 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따라 마킹 포인트에 대해 점수를 부여하는 동작을 설명하는데 참조되는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시예에 따른 데이터 라벨링을 설명하는데 참조되는 도면이다.
도면을 참조하면, 인공지능(AI) 기계학습(ML)을 수행하여 아웃풋(OP)을 생성하려면 많은 양의 인풋 데이터(10)가 필요하다. 인풋 데이터(10)는 기계학습의 목적에 부합되고, 기계가 인식할 수 있도록 가공되야 한다.
가공되기 이전의 데이터는 원천 데이터(SD), 가공되어서 기계가 인식할 수 있는 데이터는 가공 데이터로 명명될 수 있다.
가공 데이터(10)의 생성을 위해 원천 데이터(SD)에 라벨링 공정이 수행되어야 한다. 원천 데이터(SD)에 라벨링 공정이 수행된 데이터는 라벨 데이터로 명명될 수 있다.
라벨 데이터는, 기계학습의 목적에 맞게 생성되어야 하며, 이를 위해서는 라벨링 기준에 맞는 라벨링 공정이 수행되어야 한다.
본 발명의 실시예에 따른 장치(100) 및 방법(S300)은, 라벨링 공정이 기준에 맞게 수행되었는지를 평가할 수 있다.
한편, 데이터 라벨링은, 바운딩 박스(Bounding box), 키포인트(Keypoint), 폴리곤(Polygon), 폴리라인(Polyline), 시멘틱 세그멘테이션(Semantic Segmentation), OCR(Optical Character Recognition) 등을 통해 이루어질 수 있다.
본 발명의 실시예에 따른 장치(100) 및 방법(S300)은, 키포인트 라벨링에 이용될 수 있다.
도 2는 본 발명의 실시예에 따른 데이터 라벨링 공정 평가 시스템을 설명하는데 참조되는 도면이다.
도면을 참조하면, 시스템(20)은, 데이터 라벨링 공정 평가를 수행할 수 있다. 시스템(20)은, 키포인트 라벨링 공정 평가를 수행할 수 있다.
시스템(20)은, 적어도 하나의 평가자 단말기(21), 서버(22) 및 복수의 라벨러 단말기(23)를 포함할 수 있다.
라벨러 단말기(23)는, 원천 데이터를 가공하여 가공 데이터를 생성할 수 있다. 라벨러 단말기(23)는, 키포인트 라벨링 공정을 통해, 라벨 데이터를 생성할 수 있다. 라벨러 단말기(23)는, 생성된 라벨 데이터를 서버(22)에 전송할 수 있다.
서버(22)는, 라벨러 단말기(23)로부터 수신된 라벨 데이터를 저장할 수 있다.
평가자 단말기(21)는, 서버(22)에 저장된 라벨 데이터를 평가할 수 있다. 평가자 단말기(21)는, 후술하는 인공지능 학습용 라벨 데이터 정확도 계산 장치(100)일 수 있다.
평가자 단말기(21)는, 키포인트 라벨링 공정에 의해 생성된 라벨 데이터의 마킹 포인트를 기 설정된 폴리곤 영역과 비교함으로써, 라벨 데이터를 평가할 수 있다.
평가자 단말기(21)는, 평가 결과를 기록할 수 있다. 평가자 단말기(21)는, 라벨러 단말기(23)에 평가 결과를 송부할 수 있다. 평가자 단말기(21)는, 평가 결과 라벨 데이터에 부여된 점수가 기준값 이하인 경우, 라벨러 단말기(23)에 해당 라벨 데이터에 대한 라벨링 공정을 다시 요청할 수 있다.
한편, 실시예에 따라, 평가자 단말기(21)는, 라벨러 단말기(23)와 직접 통신하여, 라벨러 단말기(23)로부터 라벨 데이터를 직접 획득할 수 있다.
한편, 실시예에 따라, 평가자 단말기(21)와 라벨러 단말기(23)는 일체로 형성될 수 있다. 이경우, 라벨러 단말기(23)가 직접 라벨 데이터에 대한 평가를 수행할 수 있다.
도 3은 본 발명의 실시예에 따른 인공지능 학습용 라벨 데이터 정확도 계산 장치를 설명하는데 참조되는 도면이다.
도면을 참조하면, 본 발명의 실시예에 따른 장치(100)는, 후술하는 방법(S300)을 통해, 인공지능 학습용 라벨 데이터의 정확도를 계산할 수 있다. 장치(100)는, 평가자 단말기(21)로 분류되거나 평가자 단말기(21)와는 별개의 장치로 분류될 수 있다.
장치(100)는, 입력부(110), 통신부(120), 메모리(140), 출력부(150), 프로세서(170) 및 전원공급부(190)를 포함할 수 있다.
입력부(110)는, 입력 신호를 전기적 신호로 전환할 수 있다. 입력부(110)는, 신호 전환을 위한 적어도 하나의 장치를 포함할 수 있다. 입력부(110)는, 키보드, 마우스, 터치 스크린 및 마이크 중 적어도 어느 하나를 포함할 수 있다.
입력부(110)는, 사용자 입력을 수신할 수 있다. 입력부(110)는, 라벨 데이터 평가 등을 위한 사용자 입력을 수신할 수 있다.
한편, 사용자는 평가자로 명명될 수 있다.
통신부(120)는, 외부 장치와 유선 또는 무선으로 기 설정된 통신 프로토콜을 이용해 신호를 교환할 수 있다.
통신부(120)는, 외부 장치(예를 들면, 서버 또는 단말기)로부터 라벨 데이터를 수신할 수 있다.
통신부(120)는, 외부 장치(예를 들면, 서버 또는 단말기)에 평가 결과를 전송할 수 있다.
메모리(140)는, 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다.
메모리(140)는, 라벨 데이터를 저장할 수 있다.
메모리(140)는, 평가 결과를 저장할 수 있다.
메모리(140)는, 평가 기준 데이터를 저장할 수 있다.
출력부(150)는, 전기적 신호를 시각적 신호 또는 청각적 신호로 전환할 수 있다. 출력부(150)는 신호 전환을 위한 적어도 하나의 장치를 포함할 수 있다. 출력부(150)는, 디스플레이 및 스피커 중 적어도 어느 하나를 포함할 수 있다.
출력부(150)는, 라벨 데이터의 평가 과정을 출력할 수 있다.
프로세서(170)는, 입력부(110), 통신부(120), 메모리(140), 출력부(150), 인터페이스부(180) 및 전원공급부(190)와 전기적으로 연결될 수 있다.
프로세서(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
프로세서(170)는, 후술하는 방법(S300)을 수행하는 동작의 주체일 수 있다. 프로세서(170)는, 방법(S300)의 수행을 통해, 라벨 데이터를 평가할 수 있다.
전원공급부(190)는, 장치(100)의 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 전원공급부(190)는, 상용 전원 또는 배터리로부터 전원을 제공받아 장치(100)의 각 구성요소들에 제공할 수 있다.
도 4는 본 발명의 실시예에 따른 인공지능 학습용 라벨 데이터 정확도 계산 방법을 설명하는데 참조되는 도면이다.
도 5는 본 발명의 실시예에 따른 인공지능 학습용 라벨 데이터 정확도 계산 방법의 목적을 설명하는데 참조되는 도면이다.
도면을 참조하면, 본 발명의 실시예에 따른 방법(S300)은, 인공지능 학습용 라벨 데이터의 정확도를 계산할 수 있다. 방법(S300)은, 가공 데이터를 획득하는 단계(S310) 및 가공 데이터를 평가하는 단계(S320)를 포함할 수 있다.
프로세서(170)는, 가공 데이터를 획득할 수 있다(S310). 프로세서(170)는, 서버(22) 또는 라벨러 단말기(23)로부터 가공 데이터를 획득할 수 있다. 프로세서(170)는, 가공 데이터를 메모리(140)에 저장할 수 있다. 프로세서(170)는, 메모리(140)에서 평가 대상 가공 데이터를 호출할 수 있다.
프로세서(170)는, 키포인트 라벨링 공정이 수행된 가공 데이터를 획득할 수 있다. 키포인트 라벨링은, 오브젝트의 변화를 추적하기 위해, 오브젝트의 중요 특징점을 지정하는 방식의 기법이다. 키포인트 라벨링은 안면 인식, 운동 선수 움직임 파악, 반려 동물 관리 등에 활용될 수 있다.
라벨러 단말기(23)는, 복수의 원천 데이터를 획득한다. 라벨러 단말기(23)는, 기 설정된 기준에 따라 원천 데이터의 무빙 오브젝트에 특징점을 지정한다. 라벨러 단말기(23)는, 특징점 지정을 통해 라벨 데이터를 생성한다. 키포인트 라벨링 공정이 수행된 라벨 데이터는 가공 데이터로 명명될 수 있다. 라벨러 단말기(23)는, 가공 데이터를 서버(22) 또는 평가자 단말기(21)로 전송한다.
프로세서(170)는, 가공 데이터를 평가할 수 있다(S320).
프로세서(170)는, 가공 데이터의 키포인트 라벨링 공정에 대해 평가할 수 있다.
바운딩박스 라벨링 및 폴리곤 라벨링과 같이 영역을 지정하는 방식은 정답 데이터를 확보하기가 쉽고, 가공 데이터와 정답 데이터가 겹치는 비율인 IoU(Intersection over Union)(510)으로 평가할 수 있다. IoU는, 객체 인식 모델의 성능을 평가하는 과정에서 사용되는 도구로, 가공 데이터와 정답 데이터가 겹치는 비율을 계산하여 정확도를 평가한다. 그러나 키포인트 라벨링(520)의 경우 영역 지정에 따라 형성되는 면적이 없기 때문에 IoU를 활용할 수 없고, 정답 데이터와 떨어져 있는 정도로 유효함을 판단하기도 어렵기 때문에 정확도 계산이 어렵다. 본 발명의 실시예에 따른 방법(S300)은, 키포인트 라벨링 공정을 평가하여 정확도를 계산할 수 있다.
이를 위해 평가하는 단계(S320)는, 판단 단계(S330), 거리값 계산 단계(S340), 점수 부여 단계(S350) 및 0점 부여 단계(S360)를 포함할 수 있다.
프로세서(170)는, 가공 데이터에서 지정된 특징점이 기 설정된 폴리곤 영역 내에 위치하는지 판단할 수 있다(S330).
프로세서(170)는, 메모리(140)에 평가 기준 데이터를 저장할 수 있다. 평가 기준 데이터는, 폴리곤 라벨링 방식으로 생성될 수 있다. 프로세서(170)는, 특징점이 위치할 수 있는 확률이 있는 영역을 설정할 수 있다. 프로세서(170)는, 해당 영역을 둘러싸도록 복수의 점을 찍고, 복수의 점을 선으로 연결하여 폴리곤 라벨링을 수행할 수 있다. 폴리곤 라벨링에 의해 생성된 영역을 폴리곤 영역으로 정의할 수 있다. 폴리곤 영역은, 중심점을 가질 수 있다. 중심점은, 폴리곤 영역의 공간적 중심이 되는 점으로 설명될 수 있다.
프로세서(170)는, 이미지 내 오브젝트의 특정 부위의 모양에 기초하여 폴리곤 영역을 생성할 수 있다. 해당 모양은 이미지 내 오브젝트의 자세에 따라 결정될 수 있다. 여기서, 특정 부위는 오브젝트의 움직임의 기준이 되는 부위일 수 있다. 예를 들면, 오브젝트가 사람인 경우, 특정 부위는 코, 양쪽 어깨, 양쪽 팔꿈치, 양쪽 손목, 양쪽 골반, 양쪽 무릎, 양쪽 발목 등이 될 수 있다.
키포인트 라벨링 공정을 통해 복수의 특징점이 지정된 경우, 프로세서(170)는, 복수의 특징점 별로 대응되는 폴리곤 영역 내에 위치하는지 판단할 수 있다.
프로세서(170)는, 지정된 특징점이 폴리곤 영역 내에 위치하는 것으로 판단되는 경우, 지정된 특징점과 폴리곤 영역의 중심점 사이의 거리값을 계산할 수 있다(S340). 특징점과 중심점 사이의 거리값 계산은 공지된 기술이 이용될 수 있다.
키포인트 라벨링 공정을 통해 복수의 특징점이 지정된 경우, 프로세서(170)는, 복수의 특징점 별로 대응되는 폴리곤 영역의 중심점과의 거리값을 계산할 수 있다.
프로세서(170)는, 거리값에 기초하여 키포인트 라벨링 공정에 대한 점수를 부여할 수 있다(S350).
키포인트 라벨링 공정을 통해 복수의 특징점이 지정된 경우, 프로세서(170)는, 복수의 특징점 각각에 부여된 점수를 합산하여, 전체 키포인트 라벨링 공정에 대한 점수를 산정할 수 있다.
한편, S330 단계에서, 지정된 특징점이 폴리곤 영역 밖에 위치하는 것으로 판단되는 경우, 프로세서(170)는, 지정된 특징점에 대해 0점을 부여할 수 있다(S360).
이와 같은 과정을 통해, 프로세서(170)는 평가 기준 데이터에 포함된 폴리곤 영역을 기준으로 가공 데이터의 키포인트 라벨링 공정에 대해 평가할 수 있다.
도 6은 본 발명의 실시예에 따른 키포인트 라벨링 공정에 대해 평가하는 동작을 설명하는데 참조되는 도면이다.
도 6a는 가공 데이터에서 지정된 특징점을 예시하고, 도 6b는 평가 기준 데이터에서 폴리곤 영역을 예시한다.
반려 동물 관리를 위한 인공지능 학습용 라벨 데이터를 생성할 수 있다. 라벨링 방식으로 키포인트 방식이 이용될 수 있다. 라벨러 단말기(23)는, 반려 동물 이미지에 기 설정된 라벨링 기준에 따라 복수의 특징점(FP)을 지정할 수 있다. 한편, 라벨링 기준은, 기계 학습의 목적 또는 대상에 따라 설정될 수 있다.
프로세서(170)는, 폴리곤 영역(PR)을 설정할 수 있다. 폴리곤 영역은, 이미지 내 오브젝트의 특정 부위의 모양에 기초하여 생성될 수 있다. 해당 모양은 이미지 내 오브젝트의 자세에 따라 결정될 수 있다. 여기서, 특정 부위는 오브젝트의 움직임의 기준이 되는 부위일 수 있다. 예를 들면, 특정 부위는, 반려 동물의 코, 이마, 입, 턱, 어깨, 발목 등이 될 수 있다.
프로세서(170)는, 지정된 특징점(FP)과 폴리곤 영역(PF)을 비교하여 키포인트 라벨링 공정에 대해 평가할 수 있다. 예를 들면, 프로세서(170)는, 코에 지정된 제1 특징점과 코의 테두리를 따라 생성된 제1 폴리곤 영역을 비교할 수 있다. 또한, 프로세서(170)는, 이마에 지정된 제2 특징점과 이마의 테두리를 따라 생성된 제2 폴리곤 영역을 비교할 수 있다. 이러한 방식으로 특정 부위 각각에 지정된 특징점과 폴리곤 영역을 비교하여, S330 내지 S360 단계에 따라, 복수의 특징점에 점수를 부여하고, 부여된 점수를 합산하여 키포인트 라벨링 공정에 대해 평가할 수 있다.
도 7은 본 발명의 실시예에 따라 마킹 포인트에 대해 점수를 부여하는 동작을 설명하는데 참조되는 도면이다.
도면을 참조하면, 폴리곤 영역(720) 내부에는 중심점(721)이 형성될 수 있다. 프로세서(170)는, 지정된 특징점(711, 712)과 중심점(721) 사이의 거리값(D1, D2)에 기초하여, 지정된 특징점(711, 712)에 점수를 부여할 수 있다.
프로세서(170)는, 거리값이 작을수록 더 큰 점수를 부여할 수 있다. 도 7에 예시된 바와 같이, 제1 특징점(711)과 중심점(721) 사이의 제1 거리값(D1)이 제2 특징점(712)과 중심점(721) 사이의 제2 거리값(D2)보다 더 작은 경우, 프로세서(170)는, 제1 특징점(711)에 제2 특징점(712)보다 더 큰 점수를 부여할 수 있다.
프로세서(170)는, 특징점(713)이 폴리곤 영역(720) 밖에 지정되는 경우, 해당 특징점(713)에 0점을 부여할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
20 : 데이터 라벨링 평가 시스템
100 : 인공지능 학습용 라벨 데이터 정확도 계산 장치
S300 : 인공지능 학습용 라벨 데이터 정확도 계산 방법
100 : 인공지능 학습용 라벨 데이터 정확도 계산 장치
S300 : 인공지능 학습용 라벨 데이터 정확도 계산 방법
Claims (5)
- 프로세서가, 무빙 오브젝트의 변화를 추적하기 위해, 오브젝트의 중요 특징점을 지정하는 방식의 키포인트 라벨링 공정이 수행된 가공 데이터를 획득하는 단계; 및
프로세서가, 상기 가공 데이터의 키포인트 라벨링 공정에 대해 평가하는 단계;를 포함하고,
상기 평가하는 단계는,
프로세서가, 지정된 특징점이 기 설정된 폴리곤 영역 내에 위치하는지 판단하되, 상기 키포인트 라벨링 공정을 통해 복수의 특징점이 지정되는 경우, 상기 복수의 특징점 각각이 상기 복수의 특징점 별로 대응되는 복수의 폴리곤 영역 내에 위치하는지 판단하는 단계;를 포함하고,
상기 폴리곤 영역은,
상기 무빙 오브젝트에서 특징점이 위치할 수 있는 확률이 있는 영역을 설정하되, 상기 영역을 둘러싸도록 복수의 점을 찍고, 상기 복수의 점을 선으로 연결하여 생성된 영역으로 정의되고,
상기 폴리곤 영역은,
이미지 내 무빙 오브젝트의 자세에 따라 결정되는 특정 부위의 모양에 기초하여 생성되고, 상기 특정 부위는, 무빙 오브젝트의 움직임의 기준이 되는 부위인 인공지능 학습용 라벨 데이터 정확도 계산 방법. - 제 1항에 있어서,
상기 평가하는 단계는,
프로세서가, 상기 지정된 특징점이 상기 폴리곤 영역 내에 위치하는 것으로 판단되는 경우, 상기 지정된 특징점과 상기 폴리곤 영역의 중심점 사이의 거리값을 계산하는 단계;를 더 포함하는 인공지능 학습용 라벨 데이터 정확도 계산 방법. - 제 2항에 있어서,
상기 평가하는 단계는,
프로세서가, 상기 거리값에 기초하여 상기 키포인트 라벨링 공정에 대한 점수를 부여하는 단계;를 더 포함하는 인공지능 학습용 라벨 데이터 정확도 계산 방법. - 제 3항에 있어서,
상기 평가하는 단계는,
프로세서가, 상기 지정된 특징점이 상기 폴리곤 영역 밖에 위치하는 것으로 판단되는 경우, 지정된 특징점에 대해 0점을 부여하는 단계;를 더 포함하는 인공지능 학습용 라벨 데이터 정확도 계산 방법. - 통신부;
상기 통신부를 통해, 무빙 오브젝트의 변화를 추적하기 위해, 오브젝트의 중요 특징점을 지정하는 방식의 키포인트 라벨링 공정이 수행된 가공 데이터를 획득하고,
상기 가공 데이터의 키포인트 라벨링 공정에 대해 평가하는 프로세서;를 포함하고,
상기 프로세서는,
지정된 특징점이 기 설정된 폴리곤 영역 내에 위치하는지 판단하되, 상기 키포인트 라벨링 공정을 통해 복수의 특징점이 지정되는 경우, 상기 복수의 특징점 각각이 상기 복수의 특징점 별로 대응되는 복수의 폴리곤 영역 내에 위치하는지 판단하고,
이미지 내 무빙 오브젝트의 자세에 따라 결정되는 특정 부위의 모양에 기초하여 상기 폴리곤 영역을 생성하고, 상기 특정 부위는, 무빙 오브젝트의 움직임의 기준이 되는 부위이고,
상기 폴리곤 영역은,
상기 무빙 오브젝트에서 특징점이 위치할 수 있는 확률이 있는 영역을 설정하되, 상기 영역을 둘러싸도록 복수의 점을 찍고, 상기 복수의 점을 선으로 연결하여 생성된 영역으로 정의되는 인공지능 학습용 라벨 데이터 정확도 계산 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220082104A KR102486979B1 (ko) | 2022-07-04 | 2022-07-04 | 인공지능 학습용 라벨 데이터 정확도 계산 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220082104A KR102486979B1 (ko) | 2022-07-04 | 2022-07-04 | 인공지능 학습용 라벨 데이터 정확도 계산 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102486979B1 true KR102486979B1 (ko) | 2023-01-10 |
Family
ID=84893810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220082104A KR102486979B1 (ko) | 2022-07-04 | 2022-07-04 | 인공지능 학습용 라벨 데이터 정확도 계산 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102486979B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102673850B1 (ko) | 2023-03-14 | 2024-06-11 | 주식회사 비아 | 품질 평가를 이용한 인공지능 비전 모델 학습 실습 시스템 및 그 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200028732A (ko) * | 2018-09-07 | 2020-03-17 | 한국산업기술대학교산학협력단 | 특징분포품질측정 시스템 및 방법 |
| KR20220016529A (ko) * | 2020-08-03 | 2022-02-10 | (주)엔에스데블 | 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 |
| KR102399425B1 (ko) | 2021-11-02 | 2022-05-18 | (주)넥스트박스 | 데이터 라벨링 전처리, 분배 및 검수 시스템 |
-
2022
- 2022-07-04 KR KR1020220082104A patent/KR102486979B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200028732A (ko) * | 2018-09-07 | 2020-03-17 | 한국산업기술대학교산학협력단 | 특징분포품질측정 시스템 및 방법 |
| KR20220016529A (ko) * | 2020-08-03 | 2022-02-10 | (주)엔에스데블 | 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 |
| KR102399425B1 (ko) | 2021-11-02 | 2022-05-18 | (주)넥스트박스 | 데이터 라벨링 전처리, 분배 및 검수 시스템 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102673850B1 (ko) | 2023-03-14 | 2024-06-11 | 주식회사 비아 | 품질 평가를 이용한 인공지능 비전 모델 학습 실습 시스템 및 그 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11681875B2 (en) | Method for image text recognition, apparatus, device and storage medium | |
| TWI731397B (zh) | 驗證訓練資料的方法、訓練系統以及電腦程式產品 | |
| WO2021232594A1 (zh) | 语音情绪识别方法、装置、电子设备及存储介质 | |
| WO2021208601A1 (zh) | 基于人工智能的图像处理方法、装置、设备及存储介质 | |
| WO2020062493A1 (zh) | 图像处理方法和装置 | |
| WO2022001106A1 (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
| JP7300034B2 (ja) | テーブル生成方法、装置、電子機器、記憶媒体及びプログラム | |
| US11734954B2 (en) | Face recognition method, device and electronic equipment, and computer non-volatile readable storage medium | |
| KR102486979B1 (ko) | 인공지능 학습용 라벨 데이터 정확도 계산 방법 | |
| WO2021217543A1 (zh) | 图像标注方法、装置、设备及介质 | |
| CN111126268B (zh) | 关键点检测模型训练方法、装置、电子设备及存储介质 | |
| CN111832449A (zh) | 工程图纸的显示方法及相关装置 | |
| US11481577B2 (en) | Machine learning (ML) quality assurance for data curation | |
| WO2023109631A1 (zh) | 数据处理方法、装置、设备、存储介质及程序产品 | |
| JP2022521540A (ja) | オンライン学習を利用した物体追跡のための方法およびシステム | |
| CN107122093B (zh) | 信息框显示方法及装置 | |
| JP2021081713A (ja) | 音声信号を処理するための方法、装置、機器、および媒体 | |
| JP2022185143A (ja) | テキスト検出方法、テキスト認識方法及び装置 | |
| CN111552865A (zh) | 用户兴趣画像方法及相关设备 | |
| KR102534742B1 (ko) | 기본툴을 이용한 인공지능 학습용 라벨 데이터 생성 방법 및 장치 | |
| CN116468043A (zh) | 嵌套实体识别方法、装置、设备及存储介质 | |
| CN109241942B (zh) | 图像处理方法、装置、人脸识别设备及存储介质 | |
| CN112949672A (zh) | 商品识别方法、装置、设备以及计算机可读存储介质 | |
| AU2022271364A1 (en) | Facilitating identification of fillable regions in a form | |
| US20230103060A1 (en) | Context-based speaker counter for a speaker diarization system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |