KR102587288B1 - 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템 및 생성방법 - Google Patents

건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템 및 생성방법 Download PDF

Info

Publication number
KR102587288B1
KR102587288B1 KR1020230088920A KR20230088920A KR102587288B1 KR 102587288 B1 KR102587288 B1 KR 102587288B1 KR 1020230088920 A KR1020230088920 A KR 1020230088920A KR 20230088920 A KR20230088920 A KR 20230088920A KR 102587288 B1 KR102587288 B1 KR 102587288B1
Authority
KR
South Korea
Prior art keywords
learning
cam
model
unit
image
Prior art date
Application number
KR1020230088920A
Other languages
English (en)
Inventor
김홍조
김태건
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020230088920A priority Critical patent/KR102587288B1/ko
Application granted granted Critical
Publication of KR102587288B1 publication Critical patent/KR102587288B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템으로서, 건설객체 이미지 및 분류 모델의 학습데이터로 사용되는 이미지 수준의 라벨을 갖는 건설객체 데이터셋을 구축하고, 이미지의 특징을 추출하는 CNN 모델을 선정하는 모델 선정부(100); 하위계층 라벨을 생성하고, 약한 지도학습을 통해 CNN 모델의 특징을 추출하는 모델 학습부(200); 자기 지도학습의 픽셀 상관관계 모듈(PCM)의 적용을 통해 CAM의 활성화 영역을 확대하는 CAM 활성화부(300); 선정된 CNN 모델의 반복학습 과정을 통해 CAM의 목표 활성화 영역의 정확도를 개선하는 반복 학습부(400); 및 Dense CRF를 이용하여 이미지 후처리 작업 및 검증을 수행하는 후처리부(500)를 포함하는 것을 특징으로 한다.

Description

건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템 및 생성방법{High-quality Pseudo-label Generation System and Method based on Self-supervised Learning for Training Semantic Segmentation on construction object datasets}
본 발명은 자기 지도학습 기반의 고품질 의사 라벨 생성시스템 및 생성방법에 관한 것이다. 구체적으로는 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템 및 생성방법에 관한 것이다.
딥러닝 기반 의미론적 분할(Semantic segmentation) 모델은 이미지 내의 각 픽셀에 라벨을 할당하여 이미지를 여러 영역으로 분할 하는 것을 의미한다. 이를 통해, 이미지 내의 객체의 유형(Class), 위치(Location) 그리고 형상(Contour)이 정확하게 인식될 수 있다.
지도학습을 이용하여 의미론적 분할 모델을 학습하는 것이 일반적이나, 이를 위한 학습데이터를 구축하는 것은 많은 시간과 노동량이 소요된다.
이를 해결하기 위해, 약한 지도학습(Weakly supervised learning), 자기지도학습(Self supervised learning)과 같은 학습데이터의 구축을 위한 노력이 적게 들어가는 학습 방법을 이용하여 픽셀 단위의 의사 라벨을 생성하는 기술이 이용될 수 있다.
약한 지도학습(weakly supervised learning)은 지도학습에 사용되는 학습데이터 대비 불완전 또는 부분적인 학습데이터로 딥러닝 모델을 학습시키는 것을 의미한다.
약한 지도학습 기반 의미론적 분할 모델(Weakly-supervised semantic segmentation;WSSS)을 설명하면 다음과 같다. 의미론적 분할 모델을 지도학습으로 학습하기 위해서는 이미지 내 픽셀 단위의 라벨들이 요구된다. 반면에, 약한 지도학습 기술은 이미지 단위의 라벨을 이용하여 CNN 기반의 분류(Classification) 모델을 학습시킨 뒤, 학습된 분류 모델의 CAM(Class Activation Map)의 활성화된 영역을 의미론적 분할의 결과로 사용하는 것이다.
자기 지도 학습(Self-supervised learning)은 라벨이 없는 데이터를 이용하여 모델을 학습시키는 것을 의미한다. 이 방법은 라벨이 없는 데이터를 사용하여 딥러닝 모델을 학습시키지만, 학습하는 과정 중 데이터 자체에서 지도 신호(Self-supervision)를 생성한다. 생성된 지도 신호를 이용하여 딥러닝 모델이 보조 작업(Auxiliary task or Pretext task)을 수행하도록 모델을 학습시킨다. 보조 작업으로는 1) 데이터를 마스킹(이미지의 일부를 가리는 것)하여 딥러닝 모델이 가려진 부분을 예측하는 작업, 2) 기하학적 변환의 한 종류로 객체를 회전, 스케일링, 이동(변위)시키는 아핀 변환을 이미지에 적용한 뒤 적용된 이미지가 원본 이미지 대비 변화된 정도(아핀 변환 파라미터)를 예측하는 작업 등이 있다.
의미론적 분할(Semantic segmentation) 모델의 학습데이터를 라벨링(Annotation)하는 것은 객체탐지(Object detection) 모델, 분류(Classification) 모델의 학습데이터를 라벨링 하는 것에 비해 소요되는 시간과 노동력이 매우 높은 문제점이 있다.
의미론적 영역 분할로서 CAM를 사용하기 위해서는 이미지 내 객체의 특정 영역(Discriminative part)가 아닌 넓은 영역에 대해서 CAM이 활성화가 되어야 한다. 일반적으로 CNN 모델은 특정 영역(Discriminative part)에 대해서 강하게 활성화가 되는 경향이 있다.
이를 해결하기 위해, 이미지의 특정 영역(Discriminative part)의 부분을 가려(Erase) 다른 영역에 대해서도 CAM이 활성화가 되도록 하는 방법이 제시되었다. 하지만, CNN 모델을 반복해서 학습을 해야 하므로 시간 측면에서 비효율적일 뿐만 아니라 이미지내 객체 외의 다른 영역에도 CAM이 활성화 되는 문제점이 제시되었다.
이에, 약한 지도학습 모델에서 사용된 Sub-category label를 생성하여 CNN 모델이 객체의 다양한 영역에 대해 활성화 될 수 있도록 하고, 이미지 후처리 과정에서 Dense CRF를 사용하여 객체의 경계를 명확하게 하는 방안을 개발하였다. 또한, 자기 지도학습 모델은 픽셀 상관관계 모듈(PCM)과 보조 작업(Pretext task or Auxiliary task)을 통해서 성능을 향상시켰다.
종래 기술들은 대량의 데이터가 포함된 벤치마크 데이터 셋에 대해 효과적인 기술임을 증명하였다. 하지만, 건설객체 데이터셋 등과 같이 규모가 다소 작은 데이터셋에서는 성능이 하락하는 문제점이 발생하였다.
(문헌 1) 한국공개특허공보 제10-2023-0041851호(2023.03.27) (문헌 2) 한국등록특허공보 제10-2097869호 (2020.03.31)
본 발명에 따른 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템 및 생성방법은 다음과 같은 해결과제를 가진다.
첫째, 약한 지도 학습 기반 의미론적 영역 분할을 위한 딥러닝 모델을 개발하고자 한다.
둘째, 건설객체 데이터 셋에 대한 의미론적 영역 분할의 성능을 향상시키고자 한다.
셋째, 건설객체 데이터 셋에 대한 의미론적 분할 모델의 평균 성능을 향상시키고자 한다.
본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명은 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템으로서, 건설객체 이미지 및 분류 모델의 학습데이터로 사용되는 이미지 수준의 라벨을 갖는 건설객체 데이터셋을 구축하고, 이미지의 특징을 추출하는 CNN(Convolutional Neural Network;합성곱 신경망) 모델을 선정하는 모델 선정부; 하위계층 라벨을 생성하고, 약한 지도학습을 통해 CNN 모델의 특징을 추출하는 모델 학습부; 자기 지도학습의 픽셀 상관관계 모듈(PCM)의 적용을 통해 CAM(Class Activation Map;클래스 활성화 맵)의 활성화 영역을 확대하는 CAM 활성화부; 선정된 CNN 모델의 반복학습 과정을 통해 CAM의 목표 활성화 영역의 정확도를 개선하는 반복 학습부; 및 Dense CRF(Conditional Random Field;조건 부착 확률장)를 이용하여 이미지 후처리 작업 및 검증을 수행하는 후처리부를 포함할 수 있다.
본 발명에 있어서, 상기 모델 학습부는 선정된 CNN 모델로부터 데이터셋 내의 각 이미지에 대해 이미지 특징을 추출하고 클러스터링 기법을 적용하여 하위계 라벨을 생성하는 라벨 생성부; 및 상기 하위계층 라벨과 기존 이미지 레벨 라벨을 동시에 이용하여 CNN 모델을 학습하는 학습부로 구비될 수 있다.
본 발명에 있어서, 상기 CAM 활성화부는 픽셀 상관모듈 적용을 통한 이미지 내 객체의 넓은 영역에 대해 CAM이 활성화되는 넓은 영역 활성화부; 및 손실 함수 설계를 통한 이미지 내 객체의 정확한 영역에 대해 CAM이 활성화되는 정확한 영역 활성화부로 구비될 수 있다.
본 발명에 있어서, 상기 넓은 영역 활성화부에서 다음 수학식 1이 사용되어 상이한 크기의 특징이 포함된 PCM의 입력값을 계산될 수 있다.
[수학식 1]
본 발명에 있어서, 상기 넓은 영역 활성화부에서 다음 수학식 2가 사용되어 상기 PCM에 의해 정제된 CAM(y’)을 얻을 수 있다.
[수학식 2]
본 발명에 있어서, 상기 반복 학습부는 상기 모델 학습부 및 상기 CAM 활성화부를 복수회 반복 진행하여, CNN 모델이 객체 내의 여러 영역의 특징을 학습할 수 있도록 할 수 있다.
본 발명에 있어서, 상기 후처리부는 상기 반복 학습부에서 반복 학습이 완료된 CNN 모델로부터 CAM을 생성하고, 이미지 후처리를 위한 Dense CRF를 적용할 수 있다.
본 발명은 데이터베이스 및 연산기능을 가진 제어서버에 의해 수행되는, 자기 지도학습 기반의 고품질 의사 라벨 생성방법으로서, 모델 선정부가, 건설객체 이미지 및 분류 모델의 학습데이터로 사용되는 이미지 수준의 라벨을 갖는 건설객체 데이터셋을 구축하고, 이미지의 특징을 추출하는 CNN(Convolutional Neural Network;합성곱 신경망) 모델을 선정하는 S100 단계; 모델 학습부가, 하위계층 라벨을 생성하고, 약한 지도학습을 통해 CNN 모델의 특징을 추출하는 S200 단계; CAM 활성화부가, 자기 지도학습의 픽셀 상관관계 모듈(PCM)의 적용을 통해 CAM(Class Activation Map;클래스 활성화 맵)의 활성화 영역을 확대하는 S300 단계; 반복 학습부가, 선정된 CNN 모델의 반복학습 과정을 통해 CAM의 목표 활성화 영역의 정확도를 개선하는 S400 단계; 및 후처리부가, Dense CRF(Conditional Random Field;조건 부착 확률장)를 이용하여 이미지 후처리 작업 및 검증을 수행하는 S500 단계를 포함할 수 있다.
본 발명에 따른 S300 단계는 넓은 영역 활성화부에서, 픽셀 상관모듈 적용을 통한 이미지 내 객체의 넓은 영역에 대해 CAM이 활성화되는 S310 단계; 및 정확한 영역 활성화부에서, 손실 함수 설계를 통한 이미지 내 객체의 정확한 영역에 대해 CAM이 활성화되는 S320 단계로 구비될 수 있다.
본 발명에 따른 S310 단계는 넓은 영역 활성화부에서 수학식 1이 사용되어 상이한 크기의 특징이 포함된 PCM의 입력값이 계산될 수 있다.
본 발명에 따른 청구항 9에 있어서, S320 단계는 상기 넓은 영역 활성화부에서 수학식 2가 사용되어 상기 PCM에 의해 정제된 CAM(y’)을 얻을 수 있다.
본 발명은 하드웨어와 결합되어, 본 발명에 따른 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성방법을 컴퓨터에 의해 실행시키기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
본 발명에 따른 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템 및 생성방법은 다음과 같은 효과를 가진다.
첫째, 본 발명에 따른 결과물을 의미론적 분할 모델의 의사 라벨로 제공함으로써, 건설 장비 데이터 셋에 대한 높은 성능의 의미론적 분할 모델 구축이 용이ㅎ한 효과가 있다.
둘째, 다양한 시각적 특징을 갖는 새로운 건설객체 데이터 셋에 대해 본 발명의 적용이 용이하므로, 여러 대상 도메인(Target domain)에서 학습 데이터로서의 의사 라벨을 제공이 가능한 효과가 있다.
셋째, 이를 통해, 도메인 변화(Domain shift)로 인한 딥러닝 모델의 성능 하락을 방지하는 기술로 사용이 될 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 자기 지도학습 기반의 고품질 의사 라벨 생성시스템의 구성도이다.
도 2는 본 발명에 적용된 약한 지도학습 프레임 워크의 일 실시예이다.
도 3은 본 발명에 적용된 자기 지도학습 프레임 워크의 일 실시예이다.
도 4는 본 발명에 적용된 PCM 모듈 프레임 워크의 일 실시예이다.
도 5는 본 발명에 따른 자기 지도학습 기반의 고품질 의사 라벨 생성시스템의 기능작용을 나타내는 세부 구성도이다.
도 6a는 실제 이미지이고, 도 6b는 CAM 이미지이고, 도 6c는 Dense CRF가 적용된 이미지를 나타낸다.
도 7은 본 발명에 따른 자기 지도학습 기반의 고품질 의사 라벨 생성방법템의 순서도이다.
이하, 첨부한 도면을 참조하여, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 설명한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 이해할 수 있는 바와 같이, 후술하는 실시예는 본 발명의 개념과 범위를 벗어나지 않는 한도 내에서 다양한 형태로 변형될 수 있다. 가능한 한 동일하거나 유사한 부분은 도면에서 동일한 도면부호를 사용하여 나타낸다.
본 명세서에서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지는 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.
본 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.
본 명세서에서 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
본 명세서에서 사용되는 방향에 관한 표현, 예를 들어 전/후/좌/우의 표현, 상/하의 표현, 종방향/횡방향의 표현은 도면에 개시된 방향을 참고하여 해석될 수 있다.
의미론적 분할(Semantic segmentation) 모델의 학습데이터를 라벨링(Annotation)하는 것은 객체 탐지(Object detection) 모델, 분류(Classification) 모델의 학습데이터를 라벨링 하는 것에 비해 소요되는 시간과 노동력이 매우 높다.
이를 해결하기 위해, 픽셀 단위 라벨에 비해 구축하기 쉬운 라벨(이미지 수준 라벨, 경계 상자형 등)을 이용하여 의사 라벨(Pseudo label)을 생성한 뒤, 생성된 의사 라벨을 의미론적 분할 모델의 학습데이터로 사용하기 위한 연구들이 진행되었다.
이에, 본 발명에서는 약한 지도학습 모델과, 자기 지도학습 모델을 결합한 의사 라벨 생성 모델을 제시한다.
종래에는 대량의 데이터가 포함된 벤치마크(Benchmark Datatset, 예: Imagenet, Pascal Voc)을 이용하여 효과적으로 의사 라벨을 생성하는 것을 증명하였다. 하지만, 건설 장비 이미지 데이터셋(AIM Dataset)사용자 정의 데이터셋(Custom Dataset)을 이용할 때에는 다소 낮은 성능을 보이는 경우가 존재하였다.
이에, 본 발명은 사용자 정의 데이터셋(건설 장비 데이터셋, AIM Dataset)을 이용하여 고품질의 의사 라벨을 생성하는 기술을 제공한다.
생성된 의사 라벨은 의미론적 분할 모델을 학습하기 위한 학습데이터로 사용하기에 적합함을 실험을 통해 증명했다. 본 발명은 학습데이터를 적은 노동력으로 생성할 수 있으므로, 딥러닝 모델의 문제점 중 하나인 도메인 변화(Domain Shift)로 인한 성능 하락을 해결하기 위해 사용이 가능하다.
또한, 학습데이터를 제작하는 데 소요되는 비용 및 노동력이 절감되기 때문에 경제적 가치가 있다.
이하에서는 도면을 참고하여 본 발명을 설명하고자 한다. 참고로, 도면은 본 발명의 특징을 설명하기 위하여, 일부 과장되게 표현될 수도 있다. 이 경우, 본 명세서의 전 취지에 비추어 해석되는 것이 바람직하다.
본 발명은 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템으로서, 건설객체 이미지 및 분류 모델의 학습데이터로 사용되는 이미지 수준의 라벨(Image-level label)을 갖는 건설객체 데이터셋을 구축하고, 이미지의 특징을 추출하는 CNN 모델을 선정하는 모델 선정부(100); 하위계층 라벨을 생성하고, 약한 지도학습을 통해 CNN 모델의 특징을 추출하는 모델 학습부(200); 자기 지도학습의 픽셀 상관관계 모듈(PCM)의 적용을 통해 CAM의 활성화 영역을 확대하는 CAM 활성화부(300); 선정된 CNN 모델의 반복학습 과정을 통해 CAM의 목표 활성화 영역의 정확도를 개선하는 반복 학습부(400); 및 Dense CRF를 이용하여 이미지 후처리 작업 및 검증을 수행하는 후처리부(500)를 포함한다.
본 발명은 약한 지도학습 모델과 자기 지도학습 모델의 혼합 구조의 모델을 제시하고자 한다. 제시된 모델은 사용자 정의 데이터셋을 대상으로 높은 성능을 내기 위해, 새로운 알고리즘을 추가하여 모델의 구조를 발전시켰다.
본 명세서에서 건설객체는 건설장비 뿐 아니라, 건설현장에서 수집되는 형상을 가진 객체 모두를 포함하는 개념으로 사용된다.
참고로, 본 명세서에 기재된 실험에서는 건설 현장 장비 클래스로 구성된 데이터셋을 이용하였다.
이하에서는, 본 발명에 따른 모델 선정부(100)를 설명한다.
본 발명에 따른 모델 선정부(100)는 건설객체 이미지 및 분류 모델의 학습데이터로 사용되는 이미지 수준의 라벨(Image-level label)을 갖는 건설객체 데이터셋을 구축하고, 이미지의 특징을 추출하는 CNN 모델을 선정할 수 있다.
CNN 모델의 예로는 Resnet, EfficientNet 등이 있다. 벤치마크 데이터셋에 대해 기학습 된 파라미터(Pretrained weight)가 사용 가능한 CNN 모델을 선정하는 것이 본 발명의 성능 향상에 도움이 될 수 있다.
이하에서는, 본 발명에 따른 모델 학습부(200)를 설명한다.
본 발명에 따른 모델 학습부(200)는 하위계층 라벨을 생성하고, 약한 지도학습을 통해 CNN 모델의 특징을 추출한다.
모델 학습부(200)는 CNN이 이미지 내 객체의 다양한 영역의 특징(Feature)을 학습하여 객체의 전반적인 영역에 대해 CAM을 활성화하는 것을 목적으로 한다.
모델 학습부(200)는 선정된 CNN 모델로부터 데이터셋 내의 각 이미지에 대해 이미지 특징(Image feature)을 추출하고 클러스터링 기법을 적용하여 하위계층(Sub-category class) 라벨을 생성하는 라벨 생성부(210); 및 상기 하위계층 라벨과 기존 이미지 레벨 라벨(Image-level label)을 동시에 이용하여 CNN 모델을 학습하는 학습부(220)로 구비될 수 있다.
이하에서는, 본 발명에 따른 CAM 활성화부(300)를 설명한다.
본 발명에 따른 CAM 활성화부(300)는 자기 지도학습의 픽셀 상관관계 모듈(PCM)의 적용을 통해 CAM의 활성화 영역을 확대할 수 있다.
CAM 활성화부(300)는 이미지의 객체 내의 정확하고 보다 넓은 영역에 대해서 CAM이 활성화되도록 하는 것을 목적으로 한다.
CAM 활성화부(300)는 픽셀 상관모듈 적용을 통한 이미지 내 객체의 넓은 영역에 대해 CAM이 활성화되는 넓은 영역 활성화부(310); 및 손실 함수 설계를 통한 이미지 내 객체의 정확한 영역에 대해 CAM이 활성화되는 정확한 영역 활성화부(320)로 구비될 수 있다.
넓은 영역 활성화부(310)의 경우, 모델 학습부(200)에서 학습된 CNN 모델을 이용하여 CAM을 생성한 뒤, 생성된 CAM에 대해 픽셀 상관 관계 모듈을 적용한다. 픽셀 상관 관계 모듈이 적용되면 이미지의 넓은 영역에 대해서 CAM이 활성화가 된다.
정확한 영역 활성화부(320)의 경우, 객체 외 다른 영역 활성화되는 경우가 빈번하게 발생되는 것을 해결하기 위해, 특정 영역(객체 내 영역)이 주로 활성화된 원본 CAM과의 차이를 감소시키도록 모델의 학습 전략을 설계할 수 있다. 이를 위해, 원본 CAM과 픽셀 상관 관계 모듈이 적용된 CAM이 활성화된 영역의 차이를 감소시키는 손실 함수를 설계하여 CNN 모델을 학습할 수 있다.
본 발명에 따른 '넓은 영역'은 이미지 내의 객체 및 객체 주변 영역까지를 의미한다. 본 발명에 따른 '정확한 영역'은 이미지 내의 객체의 영역 중 특정 영역을 의미하며, 전체 영역 중 일부에 해당된다. 따라서, 두 영역이 상호 보완적으로 형성이 된다면, 이미지 내 객체의 전반적인 영역에 CAM이 활성화 될 수 있다.
본 발명은 종래 기술 중 약한 지도학습 기반 모델과 자기 지도학습 기반 모델의 구조를 혼합하고 변형하여, 건설객체 데이터셋에 대해 성능이 개선된 모델을 제시한다.
본 발명에 사용된 자기 지도학습 기술은 대량의 데이터로 구성된 벤치마크 데이터셋에 대해 객체 내 여러 영역에 대해 CAM이 효과적으로 활성화되는 것을 증명하였다. 하지만, 비교적 소규모인 건설 장비 데이터셋에 대해서는 효과적이지 않은 문제점이 있음을 확인하였다.
이 문제점은 실험에 사용된 건설장비의 데이터의 수가 많지 않아 CNN 모델이 충분하게 학습되지 않은 것이 원인이 될 수 있다.
또한, 자기 지도학습의 보조 작업으로 사용된 아핀 변환 중 '이미지 축소'가 도 3에 도시된 바와 같이 효과적으로 CAM을 활성화 시킬 수 있었지만, 건설 장비 데이터 셋의 유형(굴삭기, 덤프트럭, 롤러 등)의 이미지는 벤치마크 데이터 셋의 유형의 이미지에 비해 상대적으로 크기 때문에 '축소 변환'에 따른 효과는 적고, 오히려 CAM 활성화를 위한 학습의 효과를 저하시킨다.
따라서, 본 발명에서는 약한 자기학습 모델에서 사용되는 Siamese training을 위한 Siamese network를 삭제하였다. 이는 본 발명의 차별요소에 해당된다.
일반적인 자기 지도학습 기술은 픽셀 상관 관계 모듈을 두 규모의 특징맵(Feature map)에 대해서 적용하였으나, 본 발명에서는 다양한 특징을 학습하기 위해서 여러 규모의 특징맵에 대해 픽셀 상관 관계 모듈이 적용되도록 변형하였다. 이는 본 발명의 차별요소에 해당된다.
구체적으로, 본 발명에서는 기술에서는 축소 변환 Feature 대신, 다양한 크기의 Feature Map을 입력(input)받는 변형 PCM를 제안한다.
이는 원본(RGB)을 포함하여, 기술에서 사용된 CNN 중 3개의 Convolutional Layer로부터 추출한 3가지의 Feature를 포함한다(수학식 1 참조).
이로 인해, 크기가 큰 건설 장비에 대해 여러 크기의 Feature를 입력받을 수 있으므로 약한 지도학습 기술에서 제안한 방식(원본 및 축소변환)에서 발생한 문제를 해결할 수 있다. 따라서, 건설객체 데이터 셋에 대해 효과적으로 CAM이 활성화될 수 있다.
본 발명에 따른 넓은 영역 활성화부(310)에서는 다음 수학식 1이 사용되어 상이한 크기의 특징이 포함된 PCM의 입력값이 계산될 수 있다.
여기서, x는 합성곱 층에서 나온 특성 맵을 나타낸다. 이 값은 RGB 이미지와 f1, f2,f3라는 여러 합성곱 블록에서 나온 특성 맵들이 연결된 결과이다. RGB는 정규화된 이미지를 나타낸다. 일반적으로, RGB는 이미지의 Red, Green, Blue 채널을 의미하는데, 여기에서는 이 RGB 이미지가 정규화(normalized)과정을 거쳤다는 것을 의미한다. f1, f2 및 f3는 각각 i번째 컨볼루션합성곱 블록에서 나온 특징맵을 나타낸다. 합성곱 블록은 여러 개의 합성곱 층과 활성화 함수 등이 결합된 구조를 의미한다.
또한, 본 발명에 따른 넓은 영역 활성화부(310)에서는 다음 수학식 2가 사용되어 상기 PCM에 의해 정제된 CAM(y’)을 얻을 수 있다.
여기서, y는 원래의 CAM(Class Activation Map)을 나타낸다. y'는 정제된 CAM을 나타낸다. 이는 원래의 CAM에 PCM을 거쳐 변화된 CAM을 나타낸다. θ, φ는 각각 1x1 합성곱 연산을 사용하는 임베딩 함수를 나타낸다. 이 함수들은 특징맵의 차원을 조정하는 역할을 한다. RELU는 활성화 함수의 종류 중 하나인 Rectified Linear Unit(RELU)를 나타낸다.
이하에서는, 본 발명에 따른 반복 학습부(400)를 설명한다.
본 발명에 따른 반복 학습부(400)는 선정된 CNN 모델의 반복학습 과정을 통해 CAM의 목표 활성화 영역의 정확도를 개선할 수 있다.
모델 학습부(200) 및 상기 CAM 활성화부(300)를 복수회(예를 들어, 3회) 반복 진행하여, CNN 모델이 객체 내의 여러 영역의 특징을 학습할 수 있도록 한다.
이하에서는, 본 발명에 따른 후처리부(500)를 설명한다.
본 발명에 따른 후처리부(500)는 Dense CRF를 이용하여 이미지 후처리 작업 및 검증을 수행할 수 있다.
후처리부(500)는 상기 반복 학습부(400)에서 반복 학습이 완료된 CNN 모델로부터 CAM을 생성하고, 이미지 후처리를 위한 Dense CRF를 적용할 수 있다.
Dense-CRF는 원본 이미지와 Grad-CAM을 통해 생성된 픽셀별 확률값을 입력 변수로 사용한다. 픽셀의 색상 및 픽셀간 거리를 기준으로 객체의 경계를 탐색하고, 최종적으로 각 필셀에 범주를 할당함으로써 Semantic Segmentation을 수행할 수 있도록 한다.
Dense CRF는 이미지의 각 픽셀 간에 밀접하게 연결된 그래프 구조를 가지며, 그래프 구조를 통해 픽셀 간의 공간적 정보와 상호 관계성을 표현할 수 있기 때문에, CAM의 이미지에서 객체의 경계를 뚜렷하게 하고 노이즈를 제거할 수 있다. Dense CRF가 적용된 CAM과 실제 라벨(Polygon)과의 mIOU를 계산하여 제안한 기술의 성능을 검증할 수 있다.
한편, 본 발명은 의사 라벨 생성방법 발명으로 구현될 수 있다. 구체적으로 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성방법으로 구현될 수 있다.
이러한 방법발명은 전술한 시스템발명과 발명의 카테고리는 상이하나, 기술 구성은 실질적으로 동일한 발명에 해당된다. 따라서, 시스템발명과 공통되는 기술구성은 전술한 설명으로 대체하기로 하며, 이하에서는 본 방법발명의 요지 위주로 설명하고자 한다.
본 발명은 데이터베이스 및 연산기능을 가진 제어서버에 의해 수행되는, 자기 지도학습 기반의 고품질 의사 라벨 생성방법으로서, 모델 선정부(100)가, 건설객체 이미지 및 분류 모델의 학습데이터로 사용되는 이미지 수준의 라벨(Image-level label)을 갖는 건설객체 데이터셋을 구축하고, 이미지의 특징을 추출하는 CNN 모델을 선정하는 S100 단계; 모델 학습부(200)가, 하위계층 라벨을 생성하고, 약한 지도학습을 통해 CNN 모델의 특징을 추출하는 S200 단계; CAM 활성화부(300)가, 자기 지도학습의 픽셀 상관관계 모듈(PCM)의 적용을 통해 CAM의 활성화 영역을 확대하는 S300 단계; 반복 학습부(400)가, 선정된 CNN 모델의 반복학습 과정을 통해 CAM의 목표 활성화 영역의 정확도를 개선하는 S400 단계; 및 후처리부(500)가, Dense CRF를 이용하여 이미지 후처리 작업 및 검증을 수행하는 S500 단계를 포함한다.
본 발명에 따른 S300 단계는 넓은 영역 활성화부(310)에서, 픽셀 상관모듈 적용을 통한 이미지 내 객체의 넓은 영역에 대해 CAM이 활성화되는 S310 단계; 및 정확한 영역 활성화부(320)에서, 손실 함수 설계를 통한 이미지 내 객체의 정확한 영역에 대해 CAM이 활성화되는 S320 단계로 구비될 수 있다.
본 발명에 따른 S310 단계는 넓은 영역 활성화부(310)에서 전술한 수학식 1이 사용되어 상이한 크기의 특징이 포함된 PCM의 입력값이 계산될 수 있다.
본 발명에 따른 S320 단계는 상기 넓은 영역 활성화부(310)에서 전술한 수학식 2가 사용되어 상기 PCM에 의해 정제된 CAM(y’)을 얻을 수 있다.
또한, 본 발명은 컴퓨터프로그램으로 구현될 수도 있다. 구체적으로 본 발명은 하드웨어와 결합되어, 본 발명에 따른 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성방법을 컴퓨터에 의해 실행시키기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 모델 선정부
200 : 모델 학습부
210 : 라벨 생성부
220 : 학습부
300 : CAM 활성화부
310 : 넓은 영역 활성화부
320 : 정확한 영역 활성화부
400 : 반복 학습부
500 : 후처리부

Claims (12)

  1. 건설객체 이미지 및 분류 모델의 학습데이터로 사용되는 이미지 수준의 라벨을 갖는 건설객체 데이터셋을 구축하고, 이미지의 특징을 추출하는 CNN(Convolutional Neural Network;합성곱 신경망) 모델을 선정하는 모델 선정부; 하위계층 라벨을 생성하고, 약한 지도학습을 통해 CNN 모델의 특징을 추출하는 모델 학습부; 자기 지도학습의 픽셀 상관관계 모듈(PCM)의 적용을 통해 CAM(Class Activation Map;클래스 활성화 맵)의 활성화 영역을 확대하는 CAM 활성화부; 선정된 CNN 모델의 반복학습 과정을 통해 CAM의 목표 활성화 영역의 정확도를 개선하는 반복 학습부; 및 Dense CRF(Conditional Random Field;조건 부착 확률장)를 이용하여 이미지 후처리 작업 및 검증을 수행하는 후처리부를 포함하며,
    상기 CAM 활성화부는 픽셀 상관모듈 적용을 통한 이미지 내 객체의 넓은 영역에 대해 CAM이 활성화되는 넓은 영역 활성화부; 및 손실 함수 설계를 통한 이미지 내 객체의 정확한 영역에 대해 CAM이 활성화되는 정확한 영역 활성화부로 구비되는 것을 특징으로 하는 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템.
  2. 청구항 1에 있어서,
    상기 모델 학습부는 선정된 CNN 모델로부터 데이터셋 내의 각 이미지에 대해 이미지 특징을 추출하고 클러스터링 기법을 적용하여 하위계 라벨을 생성하는 라벨 생성부; 및
    상기 하위계층 라벨과 기존 이미지 레벨 라벨을 동시에 이용하여 CNN 모델을 학습하는 학습부로 구비되는 것을 특징으로 하는 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 넓은 영역 활성화부에서 다음 수학식 1이 사용되어 상이한 크기의 특징이 포함된 PCM의 입력값을 계산되는 것을 특징으로 하는 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템.
    [수학식 1]

    (여기서, x는 합성곱 층에서 나온 특성 맵을 나타낸다. RGB는 정규화된 이미지를 나타낸다. f1, f2 및 f3는 각각 i번째 컨볼루션합성곱 블록에서 나온 특징맵을 나타낸다. 합성곱 블록은 여러 개의 합성곱 층과 활성화 함수 등이 결합된 구조를 나타낸다.)
  5. 청구항 1에 있어서,
    상기 넓은 영역 활성화부에서 다음 수학식 2가 사용되어 상기 PCM에 의해 정제된 CAM(y’)을 얻는 것을 특징으로 하는 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템.
    [수학식 2]

    (여기서, y는 원래의 CAM(Class Activation Map)을 나타낸다. y'는 정제된 CAM을 나타낸다. θ, φ는 각각 1x1 합성곱 연산을 사용하는 임베딩 함수를 나타낸다. RELU는 활성화 함수의 종류 중 하나인 Rectified Linear Unit(RELU)를 나타낸다.)
  6. 청구항 1에 있어서,
    상기 반복 학습부는
    상기 모델 학습부 및 상기 CAM 활성화부를 복수회 반복 진행하여, CNN 모델이 객체 내의 여러 영역의 특징을 학습할 수 있도록 하는 것을 특징으로 하는 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템.
  7. 청구항 1에 있어서,
    상기 후처리부는
    상기 반복 학습부에서 반복 학습이 완료된 CNN 모델로부터 CAM을 생성하고, 이미지 후처리를 위한 Dense CRF를 적용하는 것을 특징으로 하는 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템.
  8. 데이터베이스 및 연산기능을 가진 제어서버에 의해 수행되는, 자기 지도학습 기반의 고품질 의사 라벨 생성방법으로서, 모델 선정부가, 건설객체 이미지 및 분류 모델의 학습데이터로 사용되는 이미지 수준의 라벨을 갖는 건설객체 데이터셋을 구축하고, 이미지의 특징을 추출하는 CNN(Convolutional Neural Network;합성곱 신경망) 모델을 선정하는 S100 단계; 모델 학습부가, 하위계층 라벨을 생성하고, 약한 지도학습을 통해 CNN 모델의 특징을 추출하는 S200 단계; CAM 활성화부가, 자기 지도학습의 픽셀 상관관계 모듈(PCM)의 적용을 통해 CAM(Class Activation Map;클래스 활성화 맵)의 활성화 영역을 확대하는 S300 단계; 반복 학습부가, 선정된 CNN 모델의 반복학습 과정을 통해 CAM의 목표 활성화 영역의 정확도를 개선하는 S400 단계; 및 후처리부가, Dense CRF(Conditional Random Field;조건 부착 확률장)를 이용하여 이미지 후처리 작업 및 검증을 수행하는 S500 단계를 포함하며,
    S300 단계는 넓은 영역 활성화부에서, 픽셀 상관모듈 적용을 통한 이미지 내 객체의 넓은 영역에 대해 CAM이 활성화되는 S310 단계; 및 정확한 영역 활성화부에서, 손실 함수 설계를 통한 이미지 내 객체의 정확한 영역에 대해 CAM이 활성화되는 S320 단계로 구비되는 것을 특징으로 하는 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성방법.
  9. 삭제
  10. 청구항 8에 있어서, S310 단계는
    넓은 영역 활성화부에서 다음 수학식 1이 사용되어 상이한 크기의 특징이 포함된 PCM의 입력값이 계산되는 것을 특징으로 하는 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성방법.
    [수학식 1]

    (여기서, x는 합성곱 층에서 나온 특성 맵을 나타낸다. RGB는 정규화된 이미지를 나타낸다. f1, f2 및 f3는 각각 i번째 컨볼루션합성곱 블록에서 나온 특징맵을 나타낸다. 합성곱 블록은 여러 개의 합성곱 층과 활성화 함수 등이 결합된 구조를 나타낸다.)
  11. 청구항 8에 있어서, S320 단계는
    상기 넓은 영역 활성화부에서 다음 수학식 2가 사용되어 상기 PCM에 의해 정제된 CAM(y’)을 얻는 것을 특징으로 하는 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성방법.
    [수학식 2]

    (여기서, y는 원래의 CAM(Class Activation Map)을 나타낸다. y'는 정제된 CAM을 나타낸다. θ, φ는 각각 1x1 합성곱 연산을 사용하는 임베딩 함수를 나타낸다. RELU는 활성화 함수의 종류 중 하나인 Rectified Linear Unit(RELU)를 나타낸다.)
  12. 하드웨어와 결합되어, 청구항 8에 따른 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성방법을 컴퓨터에 의해 실행시키기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020230088920A 2023-07-10 2023-07-10 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템 및 생성방법 KR102587288B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230088920A KR102587288B1 (ko) 2023-07-10 2023-07-10 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템 및 생성방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230088920A KR102587288B1 (ko) 2023-07-10 2023-07-10 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템 및 생성방법

Publications (1)

Publication Number Publication Date
KR102587288B1 true KR102587288B1 (ko) 2023-10-10

Family

ID=88291990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230088920A KR102587288B1 (ko) 2023-07-10 2023-07-10 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템 및 생성방법

Country Status (1)

Country Link
KR (1) KR102587288B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017188071A (ja) * 2016-03-30 2017-10-12 大日本印刷株式会社 柄替えシミュレーション装置、柄替えシミュレーション方法、及びプログラム
KR20190124113A (ko) * 2018-04-25 2019-11-04 연세대학교 산학협력단 자가 지도 학습을 이용한 딥러닝 기반 도로 영역 추정 장치 및 방법
KR102058884B1 (ko) * 2019-04-11 2019-12-24 주식회사 홍복 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
KR20200077321A (ko) * 2018-12-20 2020-06-30 네이버랩스 주식회사 약한 지도학습 객체 검출기에 기반한 의미론적 객체 영역 분할 방법 및 시스템
KR20220050617A (ko) * 2020-10-16 2022-04-25 연세대학교 산학협력단 약한 지도학습 기반 객체 위치 검출 방법 및 장치
KR20220114320A (ko) * 2021-02-08 2022-08-17 연세대학교 산학협력단 약지도 학습 기반 시멘틱 영상 분할 학습 데이터 생성 장치 및 방법
KR20230041851A (ko) 2021-09-17 2023-03-27 연세대학교 산학협력단 모조 마스크 기반 약지도 시맨틱 분할 장치 및 방법
KR20230042994A (ko) * 2021-09-23 2023-03-30 연세대학교 산학협력단 Cam 기반의 약한 지도학습 물체탐지 장치 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017188071A (ja) * 2016-03-30 2017-10-12 大日本印刷株式会社 柄替えシミュレーション装置、柄替えシミュレーション方法、及びプログラム
KR20190124113A (ko) * 2018-04-25 2019-11-04 연세대학교 산학협력단 자가 지도 학습을 이용한 딥러닝 기반 도로 영역 추정 장치 및 방법
KR102097869B1 (ko) 2018-04-25 2020-04-06 연세대학교 산학협력단 자가 지도 학습을 이용한 딥러닝 기반 도로 영역 추정 장치 및 방법
KR20200077321A (ko) * 2018-12-20 2020-06-30 네이버랩스 주식회사 약한 지도학습 객체 검출기에 기반한 의미론적 객체 영역 분할 방법 및 시스템
KR102058884B1 (ko) * 2019-04-11 2019-12-24 주식회사 홍복 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
KR20220050617A (ko) * 2020-10-16 2022-04-25 연세대학교 산학협력단 약한 지도학습 기반 객체 위치 검출 방법 및 장치
KR20220114320A (ko) * 2021-02-08 2022-08-17 연세대학교 산학협력단 약지도 학습 기반 시멘틱 영상 분할 학습 데이터 생성 장치 및 방법
KR20230041851A (ko) 2021-09-17 2023-03-27 연세대학교 산학협력단 모조 마스크 기반 약지도 시맨틱 분할 장치 및 방법
KR20230042994A (ko) * 2021-09-23 2023-03-30 연세대학교 산학협력단 Cam 기반의 약한 지도학습 물체탐지 장치 및 방법

Similar Documents

Publication Publication Date Title
US11341653B2 (en) Apparatus and method for training model for image segmentation
CN111369572B (zh) 一种基于图像修复技术的弱监督语义分割方法和装置
CN105718952A (zh) 使用深度学习网络对断层医学影像进行病灶分类的方法
CN111242852A (zh) 边界感知对象移除和内容填充
CN113673338B (zh) 自然场景文本图像字符像素弱监督自动标注方法、系统及介质
CN102968643A (zh) 一种基于李群论的多模态情感识别方法
JP6929322B2 (ja) データ拡張システム、データ拡張方法、及びプログラム
JP6612486B1 (ja) 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム
Singh et al. Combining semantic guidance and deep reinforcement learning for generating human level paintings
Weber et al. Artificial and beneficial–exploiting artificial images for aerial vehicle detection
Ibrahim et al. License plate image analysis empowered by generative adversarial neural networks (GANs)
Mittal Attngrounder: Talking to cars with attention
KR102587288B1 (ko) 건설객체 데이터셋의 의미적 분할 모델의 학습을 위한 자기 지도학습 기반의 고품질 의사 라벨 생성시스템 및 생성방법
Zhu et al. A multichannel location-aware interaction network for visual classification
Hussain et al. Robotics and Automation with Artificial Intelligence: Improving Efficiency and Quality
US11715197B2 (en) Image segmentation method and device
Ng et al. Scalable Feature Extraction with Aerial and Satellite Imagery.
KR102659399B1 (ko) 제로샷 시맨틱 분할 장치 및 방법
CN115471831B (zh) 一种基于文本增强学习的图像显著性检测方法
KR20230099941A (ko) 자기 지도학습과 복사-붙이기 데이터 증강을 이용한 건설객체 분할모델 일반화방법 및 일반화시스템
Mund et al. Visualizing the learning progress of self-driving cars
Ciamarra et al. FLODCAST: Flow and depth forecasting via multimodal recurrent architectures
Adekunle et al. Image classification of automobiles using deep learning in Tensorflow
Cao et al. An improved defocusing adaptive style transfer method based on a stroke pyramid
CN114445413B (zh) 一种基于域自适应的帧间图像语义分割方法与系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant