KR102537943B1 - 이미지 데이터 라벨링 학습 방법 및 그 장치 - Google Patents

이미지 데이터 라벨링 학습 방법 및 그 장치 Download PDF

Info

Publication number
KR102537943B1
KR102537943B1 KR1020200146624A KR20200146624A KR102537943B1 KR 102537943 B1 KR102537943 B1 KR 102537943B1 KR 1020200146624 A KR1020200146624 A KR 1020200146624A KR 20200146624 A KR20200146624 A KR 20200146624A KR 102537943 B1 KR102537943 B1 KR 102537943B1
Authority
KR
South Korea
Prior art keywords
image data
labeling
neural network
artificial neural
unit
Prior art date
Application number
KR1020200146624A
Other languages
English (en)
Other versions
KR20220060722A (ko
Inventor
조창환
Original Assignee
조창환
아이마인드 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조창환, 아이마인드 주식회사 filed Critical 조창환
Priority to KR1020200146624A priority Critical patent/KR102537943B1/ko
Publication of KR20220060722A publication Critical patent/KR20220060722A/ko
Application granted granted Critical
Publication of KR102537943B1 publication Critical patent/KR102537943B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/091—Active learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

인공 신경망을 저장한 메모리와 프로세서를 포함하는 이미지 데이터 라벨링 학습 장치는 제1 이미지 데이터를 수집하는 이미지 수집부; 상기 제1 이미지 데이터에 기초하여 제1 페이크 이미지 데이터를 생성하는 이미지 가공부; 및 상기 제1 이미지 데이터 및 상기 제1페이크 이미지 데이터에 기초하여 상기 인공 신경망을 학습시키고, 상기 학습된 인공 신경망에 기초하여 상기 제1 이미지 데이터 내 픽셀의 영역을 구분하고, 구분된 픽셀 영역에 기초하여 객체에 라벨링을 수행하는 객체 라벨링부;를 포함하고, 상기 이미지 수집부가 제2 이미지 데이터를 수집하면, 객체 라벨링부는 상기 제1 이미지 데이터, 상기 페이크 이미지 데이터, 상기 제2 이미지 데이터, 및 상기 제2 이미지 데이터에 의해서 생성된 제2 페이크 이미지 데이터를 입력값으로, 제1 이미지 데이터의 학습 시 결정된 인공 신경망의 특징값(Feature) 및 웨이트(Weight)가 교번된 인공 신경망을 다시 학습시킨다.

Description

이미지 데이터 라벨링 학습 방법 및 그 장치{IMAGE DATA LABELLING APPARATUS AND METHOD THEREOF}
이러한 실시예는 대량의 데이터를 수집, 분류, 가공하는 데이터 라벨링(Labelling)에 능동 학습(Active Learning)을 수행하는 이미지 데이터 라벨링 학습 방법 및 그 장치에 관한 것이다.
일반적으로, 데이터 라벨링 작업은 머신 러닝(Machine Learning, ML)의 모델링 작업이나 딥 러닝(Deep learning, DL)의 모델링 작업 전에 학습 데이터에 특정 값을 부여 해주는 것이다. 이러한 데이터 라벨링 작업은, AI(Artificial Intelligence) 산업의 기본이기도 하지만, 기업에서 AI 산업의 발전을 이루기 위한 핵심 요소로 인식된다. 종래 데이터 라벨링 작업은 사람이 직접 수행하여 비용이 많이 들고 시간이 오래 걸리는 단점이 있었다. 또한, 자동 데이터 라벨링 작업을 수행한다 하더라도, 이미지를 분류할 때 최소 수천, 수만 장의 이미지가 요구된다. 이렇게 대용량의 데이터 라벨링 작업은 시간을 포함한 많은 비용이 들고, 라벨링에 필요한 이미지가 많아질수록, 일관되고 정확한 라벨링 작업이 어려워진다.
본 발명은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 전처리로 사용되는 데이터 라벨링 작업에 필요한 데이터가 최소한으로 요구하고, 동시에 라벨링의 작업 시간의 단축을 가능하게 하고, 동시에 라벨링의 정확도를 높일 수 있는 이미지 데이터 라벨링 학습 방법 및 그 장치에 관한 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따라, 인공 신경망을 저장한 메모리와 프로세서를 포함하는 이미지 데이터 라벨링 학습 장치는 제1 이미지 데이터를 수집하는 이미지 수집부; 상기 제1 이미지 데이터에 기초하여 제1 페이크 이미지 데이터를 생성하는 이미지 가공부; 및 상기 제1 이미지 데이터 및 상기 제1페이크 이미지 데이터에 기초하여 상기 인공 신경망을 학습시키고, 상기 학습된 인공 신경망에 기초하여 상기 제1 이미지 데이터 내 픽셀의 영역을 구분하고, 구분된 픽셀 영역에 기초하여 객체에 라벨링을 수행하는 객체 라벨링부;를 포함하고, 상기 이미지 수집부가 제2 이미지 데이터를 수집하면, 객체 라벨링부는 상기 제1 이미지 데이터, 상기 페이크 이미지 데이터, 상기 제2 이미지 데이터, 및 상기 제2 이미지 데이터에 의해서 생성된 제2 페이크 이미지 데이터를 입력값으로, 제1 이미지 데이터의 학습 시 결정된 인공 신경망의 특징값(Feature) 및 웨이트(Weight)가 교번된 인공 신경망을 다시 학습시킨다.
상기 이미지 가공부는, 상기 제1 이미지 데이터에 포함된 객체에 대한 주석(annotation) 좌표 데이터가 유지된 페이크 이미지 데이터를 생성할 수 있다.
상기 이미지 가공부는, 상기 주석 좌표 데이터가 포함된 상기 페이크 이미지 데이터를 복수 개 생성할 수 있다.
상기 객체 라벨링부는, 상기 제2 이미지 데이터에 기초하여 상기 인공 신경망을 학습하면, 상기 제1 이미지 데이터 및 상기 제1 페이크 이미지 데이터의 일부 영역을 입력값으로, 상기 인공 신경망을 학습시킬 수 있다.
상기 객체 라벨링부는, 인터넷 네트워크를 통해 자동 이미지 검색을 수행하고, 상기 자동 이미지 검색에 기초하여 판단된 상기 객체의 종류를 판단하고, 상기 판단된 객체의 종류에 기초하여 상기 객체에 라벨링을 수행할 수 있다.
상기 객체 라벨링부는, 상기 제1 이미지 데이터에 포함된 컬러 데이터 및 깊이 데이터에 기초하여 상기 제1 이미지 데이터 내 픽셀의 영역을 구분하고, 구분된 픽셀 영역에 기초하여 객체에 라벨링을 수행할 수 있다.
미리 저장된 객체의 카테고리 정보에 기초하여 상기 객체 라벨링부가 부여한 라벨링의 정확도를 산출하고, 산출된 정확도에 기초하여 상기 인공 신경망의 상기 특징값 및 상기 웨이트를 조정하는 라벨링 검수부;를 더 포함할 수 있다.
본 발명에 의하면, 데이터 라벨링 작업에 필요한 데이터가 최소한으로 요구하고, 동시에 라벨링의 작업 시간의 단축을 가능하게 하고, 동시에 라벨링의 정확도를 높일 수 있다.
본 발명의 효과들은 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 이미지 데이터 라벨링 학습 방법 및 그 장치의 기능을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 이미지 데이터의 영역을 구분하여 라벨링을 수행한 결과물의 예시를 도시한 도면이다.
도 3은 개시된 이미지 데이터 라벨링 학습 장치의 각 구성과 구성의 동작을 설명하기 위한 도면이다.
도 4 및 도 5는 이미지 데이터의 라벨링 학습 방법에 대한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
위치 관계에 대한 설명일 경우, 예를 들어, '~상에', '~상부에', '~하부에', '~옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.
소자(elements) 또는 층이 다른 소자 또는 층"위(on)"로 지칭되는 것은 다른 소자 바로 위에 또는 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 도시된 것이며, 본 발명이 도시된 구성의 크기 및 두께에 반드시 한정되는 것은 아니다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 따른 이미지 데이터 라벨링 학습 방법 및 그 장치의 기능을 설명하기 위한 도면이다.
이미지 데이터 라벨링 장치(100)는, 수집되는 이미지(101)에 객체를 인식한다. 도 1을 참조하면, 수집된 이미지(101)에서 인식된 객체는 사람일 수 있다. 이미지 데이터 라벨링 장치(100)는 인식된 객체에 박스(bounding box)를 생성한 이미지(102)를 생성하고, 인식된 객체에 대한 정보를 삽입할 수 있는 라벨링을 생성한 이미지(103)를 생성함으로써, 이미지 데이터에 라벨링을 수행한다.
라벨링을 수행한 이미지는 머신 러닝(ML) 또는 딥 러닝(DL)에 입력되는 입력값이다. 머신 러닝 또는 딥 러닝(200)는 라벨링에 포함된 정보를 이용하여 자율 주행이나 그 밖의 다양한 AI 산업에 필요한 동작이나 결과를 출력할 수 있다.
한편, 도 1에서 도시한 이미지는 입력되는 이미지는 게임 영상의 일부이나, 이미지 데이터가 이에 한정되는 것은 아니며, 픽셀로 정의된 다양한 이미지 데이터이면 충분하고, 다른 것에 제한되지 않는다.
도 2는 일 실시예에 따른 이미지 데이터의 영역을 구분하여 라벨링을 수행한 결과물의 예시를 도시한 도면이다.
이미지 데이터의 라벨링을 위해서는 이미지 분할(Image Segmentation)을 수행할 필요가 있다. 이미지 분할은 AI의 분류(Classification) 또는 객체 탐색(Object Detection)과 구분된다.
구체적으로 분류(Classification)는 이미지 데이터가 주어졌을 때, 이미지 데이터가 어떤 사진인지, 또는 어떤 객체를 대표하는지 판단하는 문제이다. 따라서 각각의 다른 고양이가 포함된 복수 개의 이미지 데이터가 입력되더라도 분류는 복수 개의 이미지 데이터를 고양이에 대한 이미지 데이터라고 분류해야 한다.
객체 탐색(Object Detection)은 객체의 분류뿐만 아니라 객체가 이미지 데이터 내에 어느 위치에 있는지 bounding box를 통해 찾는다. 즉, 객체 탐색(Object Detection)은 Localization을 수행해야 한다.
이미지 분할(Image Segmentation)은 이미지 데이터 내의 영역을 분할해서 각 객체에 맞게 클래스를 결정하는 것이다. 구체적으로 이미지 분할은 도 2에서 도시된 Semantic segmentation 및 Panoptic segmentation이 있다.
Semantic segmentation은 이미지 데이터 내에 복수 명의 사람, 나무 및 건물이 있다면, '사람', '나무' 및 '건물'로 클래스를 구분하고, 복수 개의 사람을 같은 클래스로 배경인 나무 및 건물과 구분하여 인식하는 것이다. 따라서 Semantic segmentation에서 복수 명의 사람은 각각의 객체가 아닌 하나의 동일 클라스(보라색)으로 인식된다.
Panoptic segmentation은 같은 클래스의 '사람'이라도 그 위치 별로 다른 사람임을 구분할 수 있다. 즉, Panoptic segmentation은 이미지 데이터 내에 각 픽셀별로 객체가 있는지 또는 객체가 없는지 여부를 판단하여 객체 인식을 수행한다.
개시된 일 실시예에서 이미지 데이터 라벨링 방법은 Panoptic segmentation을 수행할 수 있다. 이를 위해서 이미지 데이터 라벨링 방법은 이미지 데이터 내에 픽셀 값이 어떤 클래스에 속하는지 분류하는 bounding box를 생성하거나, 각 픽셀의 분류된 클래스를 예측 마스크 (mask)에 픽셀 단위로 기록하거나, 이미지 내에 특징점을 검출(Keypoint detection)하거나, 이미지 데이터 상에 픽셀을 3D표면에 매핑하는 DensePose 및 Semantic Segmenatation을 종합적으로 사용할 수 있다.
개시된 이미지 데이터 라벨링 방법은 Panoptic segmentation으로 구분된 객체에 정보를 삽입한 라벨링을 생성하고, 도 2와 같은 이미지 어노테이션(Annotation)을 수행한다.
한편, 이러한 데이터 라벨링 방법을 수행하기 위해서는 전술한 방법에 필요한 대용량의 이미지 데이터가 필요하고, 사용되는 인공 신경망의 학습에 필요한 데이터가 수집되어야 한다. 이하에서 설명하는 이미지 데이터 라벨링 방법은, 학습에 필요한 데이터의 최소화 방안 및 최소한의 데이터에도 불구하고, 데이터 라벨링 방법의 정확도를 높이는 방안에 대해 구체적으로 설명한다.
도 3은 개시된 이미지 데이터 라벨링 학습 장치의 각 구성과 구성의 동작을 설명하기 위한 도면이다.
개시된 이미지 데이터 라벨링 학습 장치(100)는 하드웨어적으로, 이미지 데이터 및 각종 프로그램을 저장하는 메모리(미도시)와 저장된 프로그램을 동작시키는 프로세서(미도시)를 포함한다. 특히, 개시된 이미지 데이터 라벨링 학습 장치(100)는 학습에 필요한 인공 신경망을 저장하고 있으며, 프로세서가 인공 신경망을 학습시키고, 학습된 인공 신경망이 다시 메모리에 저장된다. 만약 이미지 데이터가 수집되면, 프로세서는 학습된 인공 신경망을 통해 이미지 데이터에 라벨링을 생성(추론)한다.
한편, 이미지 데이터 라벨링 학습 장치(100)는 전술한 하드웨어적 구성을 소프트웨어적으로 표현할 수 있다. 도 3을 참조하면, 이미지 데이터 라벨링 학습 장치(100)는 이미지 수집부(110), 이미지 가공부(120), 객체 라벨링부(130) 및 라벨링 검수부(140)을 포함한다.
구체적으로 이미지 수집부(110)는 이미지 데이터를 수집한다. 이미지 데이터는 도 1에서 전술한 것과 같이, 픽셀 값으로 구성된 데이터일 수 있다. 이미지 수집부(110)는 유, 무선 통신 인터페이스를 통해 외부로부터 이미지 데이터를 수신하거나, 미리 저장된 이미지 데이터를 사용할 수도 있다.
이미지 가공부(120)는 수집된 이미지 데이터에 기초하여 복수 개의 페이크 이미지 데이터를 생성한다. 복수 개의 페이크 이미지는 이미지 수집부(110)가 수집한 이미지 데이터에 기초하여 생성될 수 있다. 예를 들어 이미지 가공부(120)는 날씨 조건을 변경시킨 페이크 이미지 데이터를 생성할 수 있다. 다만, 이미지 가공부(120)는 페이크 이미지 데이터를 생성하더라도, 원본 이미지 데이터 내에 주석(annotation) 좌표 데이터는 유지시킨다.
이미지 가공부(120)가 적어도 하나 이상의 페이크 이미지 데이터를 생성하면, 객체 라벨링부(130)는 수집된 이미지 데이터 및 페이크 이미지를 입력값으로, 인공 신경망을 학습시킨다.
구체적으로 객체 라벨링부(130)는 이미지 데이터 및 생성한 복수 개의 페이크 이미지 데이터를 인공 신경망의 학습 데이터로 사용한다. 또한, 객체 라벨링부(130)는 이미지 데이터의 일부 영역 및 페이크 이미지 데이터의 일부 영역만을 학습 데이터로 사용할 수 있다.
객체 라벨링부(130)는 이미지 데이터를 누적시켜 입력 데이터로 사용할 수 있다. 예를 들어 도 3에서 도시된 바와 같은 게임 영상이 이미지 데이터(이하 제1 이미지 데이터)로 입력될 수 있다. 객체 라벨링부(130)는 복수 개의 페이크 이미지 데이터가 생성될 수 있으나, 이러한 페이크 이미지 데이터만으로 인공 신경망의 정확도가 낮을 수도 있다. 따라서 객체 라벨링부(130)는 제1 이미지 데이터에 대한 라벨링을 수행한 후, 제1 이미지 데이터를 폐기하지 않고 메모리에 저장한다.
후에 객체 라벨링부(130)는 게임 영상이 아닌 다른 영상을 이미지 데이터(이하 제2 이미지 데이터)로 수신할 수 있다. 이미지 수집부(110)가 제2 이미지 데이터를 수집하면, 객체 라벨링부(103)는 제1 이미지 데이터, 제1 이미지 데이터의 페이크 이미지 데이터, 제2 이미지 데이터, 및 제2 이미지 데이터에 의해서 생성된 제2 페이크 이미지 데이터를 입력값으로, 인공 신경망을 학습시킨다. 또한, 객체 라벨링부(130)는 제1 이미지 데이터의 학습 시 결정된 인공 신경망의 특징 값(Feature) 및 웨이트(Weight)가 교번시켜 인공 신경망을 다시 학습시킴으로써, 최소한의 데이터만으로도 인공 신경망이 라벨링을 수행할 수 있도록 학습시킬 수 있다.
한편, 객체 라벨링부(130)가 사용하는 인공 신경망은 다양할 수 있다. 예를 들어 객체 라벨링부(130)가 사용하는 신경망은 CNN(Convolution Neural Network)을 포함할 수 있다. CNN은 입력된 이미지 데이터를 특징 값(Features)을 포함한 특징 맵(Feature map)으로 생성하는 특징 러닝(Feature learning)과 생성된 특징 맵을 입력값으로 라벨링을 수행하는 뉴런 네트워크로 구성될 수 있다. 여기서 뉴런 네트워크는 멀티-레이어 퍼셉트론(multi-layer perceptron)으로 구성될 수 있으며, 퍼셉트론은 입력값에 가중치(weight)를 곱하고, 바이어스(bias)와 더한 후, 변형된 입력값을 전달함수(transfer function 또는 activation function)으로 구성될 수 있다. 즉, 퍼셉트론은 전달함수의 역치값을 만족하는 변형된 입력값만을 출력값으로 출력한다.
객체 라벨링부(130)는 이미지 데이터 및 페이크 이미지 데이터를 기초로 인공 신경망을 학습시킬 때, 전술한 인공 신경망의 특징 값과 웨이트를 교번하여 사용함으로써, 최소한의 데이터만으로도 인공 신경망이 라벨링을 수행할 수 있도록 학습시킬 수 있다.
한편, 객체 라벨링부(130)가 사용하는 인공 신경망은 반드시 CNN이 아닐 수 있으며, CNN의 변형례인 FCN(Fully Convolution Model) 등 다양한 실시예를 포함할 수 있다. 또한, 객체 라벨링부(130)는 반드시 특징 값 또는 웨이트를 포함하는 퍼셉트론 이외에 다른 뉴런 네트워크 구조를 포함하는 인공 신경망을 통해 라벨링을 수행할 수도 있다.
다시 도 3을 참조하면, 객체 라벨링부(130)는 학습된 인공 신경망을 통해 수집된 이미지 데이터 내의 픽셀 영역을 구분(localization, 131)하고, 구분된 픽셀 영역에 기초하여 이미지 데이터 내에 포함된 객체에 라벨링을 수행한다.
객체 라벨링부(130)가 라벨링을 수행하는 방법은 다양할 수 있다. 객체 라벨링부(130)는 도 2에서 전술한 Panoptic Segmentation을 사용하면서, 이미지 데이터에 포함된 깊이 데이터(132), 컬러 데이터(134) 및 자동 이미지 검색(133) 을 통해 라벨링을 수행할 수 있다.
구체적으로 객체 라벨링부(130)는 깊이 데이터(132) 및 컬러 데이터(134)에 기초하여 이미지 데이터 내에 배경과 객체를 구분할 수 있다. 예를 들어 이미지 데이터가 시간적으로 연속하는 프레임을 포함하는 데이터라면, 객체 라벨링부(130)는 기준이 되는 현재 이미지 데이터를 기준으로 이전 이미지 데이터를 변환(Warping)한다. 객체 라벨링부(130)는 변환된 이전 이미지와 현재 이미지를 확률 알고리즘을 기초로 융합하여, 이미지 데이터 내에 깊이 데이터를 추정하여, 객체와 구분되는 배경 모델이 무엇인지 추정할 수 있다.
객체와 배경이 구분되면, 객체 라벨링부(130)는 객체의 정보를 수집하기 위해서 자동 이미지 검색(133)을 수행할 수 있다. 예를 들어 객체 라벨링부(130)는 인터넷 네트워크에 사용자들이 이미지를 업로드하면서 카테고리로 연결한 데이터를 라벨링 정보로 사용할 수 있다.
전술한 각종 데이터에 기초하여 객체가 판단되면(135), 객체 라벨링부(130)는 객체마다 라벨링을 수행(136)한다.
객체 라벨링부(130)가 사용하는 라벨링 방법은 전술한 방법 이외에도 다양할 수 있다. 즉, 개시된 이미지 데이터 라벨링 학습 장치(100)는 이미지 데이터를 가공시켜 페이크 이미지 데이터 및 인공 신경망의 학습에 필요한 데이터를 누적시키고, 인공 신경만의 학습 시, 이전 학습 결과에 사용되는 특징 값 및 웨이트를 교번해서 사용하면 충분하며, 라벨링을 수행하는 방법에는 제한이 없다.
객체 라벨링부(130)가 객체 라벨링을 수행한 후, 라벨링 검수부(140)는 라벨링된 이미지 데이터를 검토한다.
구체적으로 라벨링 검수부(140)는 라벨링의 정확도를 산출한다(141). 예를 들어 라벨링 검수부(140)는 수집된 이미지 데이터에 대해 사용자가 입력한 라벨링 값을 미리 저장하고, 이를 객체 라벨링부(130)가 생성한 라벨링 결과와 비교할 수 있다. 또한, 라벨링 검수부(140)는 인터넷 네트워크를 통해 자동 이미지 검색을 수행하고, 자동 이미지 검색 결과에서 도출되는 객체의 종류에 기초하여 객체 라벨링부(130)가 생성한 라벨링과 비교할 수 있다. 산출된 정확도는 인공 신경망의 에러율에 대응될 수 있으며, 이는 인공 신경망의 특징 값(Features)와 웨이트(Weight)를 조정하는데 사용될 수도 있다.
도 4 및 도 5는 이미지 데이터의 라벨링 학습 방법에 대한 순서도이다. 중복되는 설명을 피하기 위해서 이하 함께 설명한다.
개시된 일 실시예에 따른 이미지 데이터 라벨링 학습 방법은 제1 이미지 데이터를 수집한다(300).
여기서 제1 이미지 데이터는 라벨링이 수행되는 대표적인 영상의 집합을 의미한다. 즉, 제2 이미지 데이터는 제1 이미지 데이터의 라벨링 검수가 끝난 후에 이미지 수집부(110)에서 수집될 수 있는 영상이다.
이미지 데이터 라벨링 학습 방법은 복수 개의 제1 페이크 이미지 데이터를 생성한다(310).
페이크 이미지 데이터는 제1 이미지 데이터에 기초하여 생성될 수 있으나, 객체에 대한 라벨링을 수행하기 위해서 주석 좌표 데이터는 유지된다.
이미지 데이터 라벨링 학습 방법은 제1 이미지 데이터 및 제1 페이크 이미지 데이터에 기초하여 미리 저장된 인공 신경망을 학습한다(320).
인공 신경망이 학습되는 방법은 도 5에서 설명한다(A).
이미지 데이터 라벨링 학습 방법은 학습된 인공 신경망에 제1 이미지 데이터를 입력한다(330).
객체 라벨링부(130)에 포함된 인공 신경망은 제1 이미지 데이터의 픽셀 값에 기초하여 영역을 구분하고, 객체 라벨링을 수행한다(340).
일 실시예로 이미지 데이터 라벨링 학습 방법은 Localization 및 Panoptic segmentation을 통해 객체를 구분한다. 다른 실시예로 이미지 데이터 라벨링 학습 방법은 컬러 데이터 및 깊이 데이터에 기초하여 제1 이미지 데이터 내 픽셀의 영역을 구분하고, 구분된 픽셀 영역에 기초하여 객체에 라벨링을 수행할 수도 있다.
객체가 구분되면, 이미지 데이터 라벨링 학습 방법은 구분된 객체에 정보를 삽입한다. 일 실시예로 이미지 데이터 라벨링 학습 방법은 인터넷 네트워크를 통해 자동 이미지 검색을 수행하고, 자동 이미지 검색에 기초하여 판단된 객체의 종류를 판단하고, 상기 판단된 객체의 종류에 기초하여 객체에 라벨링을 수행할 수 있다.
라벨링이 수행되면, 이미지 데이터 라벨링 학습 방법은 라벨링 검수 및 인공 신경망을 조정한다(350).
구체적으로 이미지 데이터 라벨링 학습 방법은 미리 저장된 객체의 카테고리 정보에 기초하여 객체 라벨링부(130)가 부여한 라벨링의 정확도를 산출하고, 산출된 정확도에 기초하여 인공 신경망의 특징 값 및 웨이트를 조정함으로써, 인공 신경망의 정확도를 높일 수 있다.
도 5를 참조하면, 이미지 데이터 라벨링 학습 방법은 제1 이미지 데이터 및 페이크 이미지 데이터를 입력 값으로 사용하는 것 이외에 제1 이미지 데이터 및 페이크 이미지 데이터를 누적시켜 인공 신경망을 학습시킨다.
이미지 데이터 라벨링 학습 방법은 제2 이미지 데이터를 수집한 후(400), 제2 이미지 데이터에 기초하여 생성한 제2 페이크 이미지 데이터를 생성한다(410). 또한, 이미지 데이터 라벨링 학습 방법은 제1 이미지 데이터 및 제1 페이크 이미지 데이터를 제2 이미지 데이터의 학습 데이터로 사용할 수도 있다(411). 또한, 이미지 데이터 라벨링 학습 방법은 제1 이미지 데이터를 이용하여 인공 신경망을 학습시킬 때 사용한 특징 값 및 웨이트를 교번시켜 인공 신경망을 다시 학습시킨다(412).
인공 신경망이 학습(420)되면, 도 4와 같이 이미지 데이터 라벨링 학습 방법은 제2 이미지 데이터를 인공 신경망에 입력시키고(430), 제2 이미지 데이터 내에 픽셀 값에 기초하여 영역을 구분하고, 객체 라벨링을 수행한다(440).
이미지 데이터 라벨링 학습 방법은 라벨링이 수행되면, 제2 이미지 데이터에 포함된 라벨링을 검수하고, 산출된 정확도에 기초하여 인공 신경망을 조정한다(450).
이를 통해서 이미지 데이터 라벨링 학습 방법은 최소한의 입력 데이터 및 라벨링 검수를 통해서 방대한 데이터와 시간 및 비용이 소요되는 전처리를 효율적으로 수행할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 이미지 데이터 라벨링 학습 장치 110: 이미지 수집부
120: 이미지 가공부 130: 객체 라벨링부
140: 라벨링 검수부 200: ML, DL

Claims (7)

  1. 인공 신경망을 저장한 메모리와 상기 인공 신경망을 동작시키는 프로세서를 포함하는 이미지 데이터 라벨링 학습 장치에 있어서,
    제1 이미지 데이터를 수집하는 이미지 수집부;
    상기 제1 이미지 데이터에 기초하여 제1 페이크 이미지 데이터를 생성하는 이미지 가공부; 및
    상기 제1 이미지 데이터 및 상기 제1페이크 이미지 데이터에 기초하여 상기 인공 신경망을 학습시키고, 상기 학습된 인공 신경망에 기초하여 상기 제1 이미지 데이터 내 픽셀의 영역을 구분하고, 구분된 픽셀 영역에 기초하여 객체에 라벨링을 수행하는 객체 라벨링부;를 포함하고,
    상기 이미지 수집부가 제2 이미지 데이터를 수집하면, 객체 라벨링부는 상기 제1 이미지 데이터, 상기 페이크 이미지 데이터, 상기 제2 이미지 데이터, 및 상기 제2 이미지 데이터에 의해서 생성된 제2 페이크 이미지 데이터를 입력값으로, 제1 이미지 데이터의 학습 시 결정된 인공 신경망의 특징값(Feature) 및 웨이트(Weight)가 교번된 인공 신경망을 다시 학습시키고,
    상기 이미지 가공부는,
    상기 제1 이미지 데이터에 포함된 객체에 대한 주석(annotation) 좌표 데이터가 유지된 페이크 이미지 데이터를 생성하고,
    상기 이미지 가공부는,
    상기 주석 좌표 데이터가 포함된 상기 페이크 이미지 데이터를 복수 개 생성하고,
    상기 객체 라벨링부는,
    상기 제2 이미지 데이터에 기초하여 상기 인공 신경망을 학습하면, 상기 제1 이미지 데이터 및 상기 제1 페이크 이미지 데이터의 일부 영역을 입력값으로, 상기 인공 신경망을 학습시키고,
    미리 저장된 객체의 카테고리 정보에 기초하여 상기 객체 라벨링부가 부여한 라벨링의 정확도를 산출하고, 산출된 정확도에 기초하여 상기 인공 신경망의 상기 특징 값 및 상기 웨이트를 조정하는 라벨링 검수부;를 더 포함하며,
    상기 라벨링 검수부(140)는 수집된 이미지 데이터에 대해 사용자가 입력한 라벨링 값을 미리 저장하고, 이를 객체 라벨링부(130)가 생성한 라벨링 결과와 비교하고, 상기 라벨링 검수부(140)는 인터넷 네트워크를 통해 자동 이미지 검색을 수행하고, 자동 이미지 검색 결과에서 도출되는 객체의 종류에 기초하여 객체 라벨링부(130)가 생성한 라벨링과 비교할 수 있으며, 산출된 정확도는 인공 신경망의 에러율에 대응될 수 있으고, 이는 인공 신경망의 특징 값(Features)와 웨이트(Weight)를 조정하는데 사용될 수 있도록 구성된 것을 특징으로 하는 이미지 데이터 라벨링 학습 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제 1항에 있어서,
    상기 객체 라벨링부는,
    상기 제1 이미지 데이터에 포함된 컬러 데이터 및 깊이 데이터에 기초하여 상기 제1 이미지 데이터 내 픽셀의 영역을 구분하고, 구분된 픽셀 영역에 기초하여 객체에 라벨링을 수행하는 이미지 데이터 라벨링 학습 장치.
  7. 삭제
KR1020200146624A 2020-11-05 2020-11-05 이미지 데이터 라벨링 학습 방법 및 그 장치 KR102537943B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200146624A KR102537943B1 (ko) 2020-11-05 2020-11-05 이미지 데이터 라벨링 학습 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200146624A KR102537943B1 (ko) 2020-11-05 2020-11-05 이미지 데이터 라벨링 학습 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20220060722A KR20220060722A (ko) 2022-05-12
KR102537943B1 true KR102537943B1 (ko) 2023-05-30

Family

ID=81590444

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200146624A KR102537943B1 (ko) 2020-11-05 2020-11-05 이미지 데이터 라벨링 학습 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102537943B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102483521B1 (ko) * 2022-07-06 2023-01-02 주식회사 에이트테크 초분광 이미지 기반 폐기물 재질 판별 시스템
KR102568037B1 (ko) * 2022-11-23 2023-08-18 세종대학교산학협력단 파이프 인식 모델 생성 방법 및 장치, 이를 이용한 파이프 이상 영역 판단 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190198156A1 (en) 2017-12-21 2019-06-27 International Business Machines Corporation Medical Image Classification Based on a Generative Adversarial Network Trained Discriminator
JP2020123830A (ja) 2019-01-30 2020-08-13 京セラドキュメントソリューションズ株式会社 画像処理装置、画像読取装置、画像形成装置、画像処理方法及び画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190198156A1 (en) 2017-12-21 2019-06-27 International Business Machines Corporation Medical Image Classification Based on a Generative Adversarial Network Trained Discriminator
JP2020123830A (ja) 2019-01-30 2020-08-13 京セラドキュメントソリューションズ株式会社 画像処理装置、画像読取装置、画像形成装置、画像処理方法及び画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Connor Shorten and Taghi M. Khoshgoftaar, "A survey on Image Data Augmentation for Deep Learning," Journal of Big Data (2019.07.06.)*

Also Published As

Publication number Publication date
KR20220060722A (ko) 2022-05-12

Similar Documents

Publication Publication Date Title
US11763550B2 (en) Forming a dataset for fully-supervised learning
EP3644236B1 (en) Cnn-based learning method, learning device for selecting useful training data and test method, test device using the same
CN109801256B (zh) 一种基于感兴趣区域和全局特征的图像美学质量评估方法
US10140508B2 (en) Method and apparatus for annotating a video stream comprising a sequence of frames
WO2019163985A1 (ja) 特徴表現装置、特徴表現方法、およびプログラム
EP3620980B1 (en) Learning method, learning device for detecting lane by using cnn and testing method, testing device using the same
JP6446971B2 (ja) データ処理装置、データ処理方法、及び、コンピュータ・プログラム
CN110570389B (zh) 车辆损伤识别方法及装置
KR102537943B1 (ko) 이미지 데이터 라벨링 학습 방법 및 그 장치
JP7389787B2 (ja) マルチ－レベル転移領域に基づくドメイン適応型オブジェクト検出装置及び方法
CN113673607A (zh) 图像标注模型的训练及图像标注的方法及装置
JP2020038661A (ja) 車線モデルを利用して車線を検出し得る学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｌａｎｅ ｕｓｉｎｇ ｌａｎｅ ｍｏｄｅｌ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄ， ｔｅｓｔ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
EP4174766A1 (en) Generating segmentation masks for training a semantic segmentation model
CN110998606A (zh) 生成标记数据用于深度对象跟踪
CN107977592A (zh) 一种图像文本检测方法及系统、用户终端及服务器
Gurari et al. Predicting foreground object ambiguity and efficiently crowdsourcing the segmentation (s)
CN114627397A (zh) 行为识别模型构建方法以及行为识别方法
CN104899544A (zh) 图像处理装置和图像处理方法
Xiong et al. Hinge-Wasserstein: Estimating Multimodal Aleatoric Uncertainty in Regression Tasks
US11893084B2 (en) Object detection systems and methods including an object detection model using a tailored training dataset
Fujita et al. Fine-tuned Surface Object Detection Applying Pre-trained Mask R-CNN Models
KR102658711B1 (ko) 경계선 지정을 통한 어노테이션 방법
KR102613370B1 (ko) 객체 탐지, 객체 추적, 행위 식별, 및 행동 검출을포함하는 레이블링 방법 및 장치
KR102599196B1 (ko) 학습 데이터 생성에 관한 작업 비용 예측 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102546198B1 (ko) 물리적 요인 기반 학습 데이터 분류 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant