KR102469710B1 - 인공신경망을 학습시키기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법 - Google Patents

인공신경망을 학습시키기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법 Download PDF

Info

Publication number
KR102469710B1
KR102469710B1 KR1020210188856A KR20210188856A KR102469710B1 KR 102469710 B1 KR102469710 B1 KR 102469710B1 KR 1020210188856 A KR1020210188856 A KR 1020210188856A KR 20210188856 A KR20210188856 A KR 20210188856A KR 102469710 B1 KR102469710 B1 KR 102469710B1
Authority
KR
South Korea
Prior art keywords
learning
image
network
original image
generating
Prior art date
Application number
KR1020210188856A
Other languages
English (en)
Inventor
신동주
최우식
김태규
김판규
Original Assignee
주식회사 딥노이드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥노이드 filed Critical 주식회사 딥노이드
Priority to KR1020210188856A priority Critical patent/KR102469710B1/ko
Application granted granted Critical
Publication of KR102469710B1 publication Critical patent/KR102469710B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/06—Special arrangements of screening, diffusing, or reflecting devices, e.g. in studio
    • G03B15/07—Arrangements of lamps in studios
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

학습 데이터를 생성하기 위한 장치는 제1 객체로 이루어진 객체 이미지를 마련하는 스캔부와, 제2 객체와 배경을 포함하는 원본 이미지에 상기 객체 이미지를 병합하여 상기 제1 객체에 의해 상기 제2 객체가 가려지도록 상기 제2 객체 상에 상기 제1 객체가 오버랩된 단순합성 이미지를 생성하고, 보정모델을 통해 상기 단순합성 이미지에 대해 복수의 계층 간 학습된 가중치가 적용되는 연산을 수행하여 상기 원본 이미지의 제2 객체를 모사하여 상기 제1 객체를 보정한 보정합성 이미지를 생성하는 데이터생성부를 포함한다.

Description

인공신경망을 학습시키기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법{Apparatus for generating training data for training artificial neural network and method therefor}
본 발명은 학습 데이터 생성 기술에 관한 것으로, 보다 상세하게는, 인공신경망을 학습시키기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법에 관한 것이다.
최근 딥러닝 기술이 비약적으로 발전함에 따라 모델의 크기는 계속 증가하는 추세이다. 모델의 크기가 증가할수록 데이터에 대한 과적합이 쉽게 일어나는 딥러닝의 본질적인 문제점에 의해 모델 학습에 필요한 데이터의 수도 계속해서 증가하고 있다. 딥러닝 모델의 성능은 학습에 사용된 데이터의 품질과 수량에 큰 영향을 받는다. 그러나, 고품질/대용량의 데이터셋 구축을 위해서는 상당히 많은 양의 인적/시간적 리소스가 소요되므로 많은 기업 혹은 개인이 딥러닝을 활용한 문제 해결에 어려움을 겪고 있다.
한국공개특허 제2020-0068050호 (2020년06월15일 공개)
본 발명의 목적은 인공신경망을 학습시키기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 학습 데이터를 생성하기 위한 장치는 제1 객체로 이루어진 객체 이미지를 마련하는 스캔부와, 제2 객체와 배경을 포함하는 원본 이미지에 상기 객체 이미지를 병합하여 상기 제1 객체에 의해 상기 제2 객체가 가려지도록 상기 제2 객체 상에 상기 제1 객체가 오버랩된 단순합성 이미지를 생성하고, 보정모델을 통해 상기 단순합성 이미지에 대해 복수의 계층 간 학습된 가중치가 적용되는 연산을 수행하여 상기 원본 이미지의 제2 객체를 모사하여 상기 제1 객체를 보정한 보정합성 이미지를 생성하는 데이터생성부를 포함한다.
상기 스캔부는 촬영박스에 소정의 조도값으로 조절된 조명을 배치시킨 상태에서, 턴테이블을 회전시키고, 턴테이블 상에 놓인 제1 객체를 카메라를 통해 촬영하고, 촬영된 영상에서 배경을 제거하여 배경이 제거되어 제1 객체로 이루어진 객체 이미지를 도출하는 것을 특징으로 한다.
상기 장치는 학습용 객체 이미지, 학습용 원본 이미지 및 학습용 단순합성 이미지를 이용하여 생성망과 판별망을 포함하는 보정모델을 학습시키는 학습부를 더 포함한다.
상기 학습부는 상기 판별망이 상기 학습용 원본 이미지를 진짜로 판별하고, 상기 생성망이 생성한 학습용 보정합성 이미지를 가짜로 판별하도록 상기 판별망을 학습시키고, 상기 판별망이 상기 학습용 보정합성 이미지를 진짜로 판별하도록 상기 생성망을 학습시키는 것을 특징으로 한다.
상기 학습부는 상기 판별망이 학습용 원본 이미지를 진짜로 판별하고 학습용 보정합성 이미지를 가짜로 판별하도록 목표값을 설정한 후, 상기 판별망이 상기 학습용 원본 이미지 및 상기 학습용 보정합성 이미지 각각이 진짜인지 혹은 가짜인지 여부를 나타내는 확률을 산출하면, 상기 학습용 원본 이미지 및 상기 학습용 보정합성 이미지 각각에 대해 상기 산출된 확률과 상기 목표값과의 차이를 나타내는 손실을 도출하고, 상기 학습용 원본 이미지 및 상기 학습용 보정합성 이미지 양자 모두에 대한 손실을 합산하고, 합산된 손실이 최소가 되도록 상기 생성망의 가중치는 고정하고 상기 판별망의 가중치를 수정하는 최적화를 수행함으로써 상기 판별망을 학습시키는 것을 특징으로 한다.
상기 학습부는 상기 판별망이 학습용 보정합성 이미지를 진짜로 판별하도록 목표값을 설정한 후, 상기 판별망이 상기 학습용 보정합성 이미지가 진짜인지 혹은 가짜인지 여부를 나타내는 확률을 산출하면, 상기 산출된 확률과 상기 목표값과의 차이를 나타내는 손실을 도출하고, 상기 손실이 최소가 되도록 상기 판별망의 가중치는 고정하고 상기 생성망의 가중치를 수정하는 최적화를 수행함으로써 상기 생성망을 학습시키는 것을 특징으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 학습 데이터를 생성하기 위한 방법은 스캔부가 제1 객체로 이루어진 객체 이미지를 마련하는 단계와, 데이터생성부가 제2 객체와 배경을 포함하는 원본 이미지에 상기 객체 이미지를 병합하여 상기 제1 객체에 의해 상기 제2 객체가 가려지도록 상기 제2 객체 상에 상기 제1 객체가 오버랩된 단순합성 이미지를 생성하는 단계와, 상기 데이터생성부가 보정모델을 통해 상기 단순합성 이미지에 대해 복수의 계층 간 학습된 가중치가 적용되는 연산을 수행하여 상기 원본 이미지의 제2 객체를 모사하여 상기 제1 객체를 보정한 보정합성 이미지를 생성하는 단계를 포함한다.
스캔부가 제1 객체로 이루어진 객체 이미지를 마련하는 단계는 스캔부가 촬영박스에 소정의 조도값으로 조절된 조명을 배치시킨 상태에서, 턴테이블을 회전시키고, 턴테이블 상에 놓인 제1 객체를 카메라를 통해 촬영하고, 촬영된 영상에서 배경을 제거하여 배경이 제거되어 제1 객체로 이루어진 객체 이미지를 도출하는 것을 특징으로 한다.
상기 방법은 상기 객체 이미지를 마련하는 단계 전, 학습부가 학습용 객체 이미지, 학습용 원본 이미지 및 학습용 단순합성 이미지를 이용하여 생성망과 판별망을 포함하는 보정모델을 학습시키는 단계를 더 포함한다.
상기 보정모델을 학습시키는 단계는 상기 학습부가 상기 판별망이 상기 학습용 원본 이미지를 진짜로 판별하고, 상기 생성망이 생성한 학습용 보정합성 이미지를 가짜로 판별하도록 상기 판별망을 학습시키는 단계와, 상기 학습부가 상기 판별망이 상기 학습용 보정합성 이미지를 진짜로 판별하도록 상기 생성망을 학습시키는 단계를 포함한다.
상기 판별망을 학습시키는 단계는 상기 학습부가 상기 판별망이 학습용 원본 이미지를 진짜로 판별하고 학습용 보정합성 이미지를 가짜로 판별하도록 목표값을 설정하는 단계와, 상기 판별망이 상기 학습용 원본 이미지 및 상기 학습용 보정합성 이미지 각각이 진짜인지 혹은 가짜인지 여부를 나타내는 확률을 산출하는 단계와, 상기 학습부가 상기 학습용 원본 이미지 및 상기 학습용 보정합성 이미지 각각에 대해 상기 산출된 확률과 상기 목표값과의 차이를 나타내는 손실을 도출하고, 상기 학습용 원본 이미지 및 상기 학습용 보정합성 이미지 양자 모두에 대한 손실을 합산하고, 합산된 손실이 최소가 되도록 상기 생성망의 가중치는 고정하고 상기 판별망의 가중치를 수정하는 최적화를 수행하는 단계를 포함한다.
상기 생성망을 학습시키는 단계는 상기 학습부가 상기 판별망이 학습용 보정합성 이미지를 진짜로 판별하도록 목표값을 설정하는 단계와, 상기 판별망이 상기 학습용 보정합성 이미지가 진짜인지 혹은 가짜인지 여부를 나타내는 확률을 산출하는 단계와, 상기 학습부가 상기 산출된 확률과 상기 목표값과의 차이를 나타내는 손실을 도출하고, 상기 손실이 최소가 되도록 상기 판별망의 가중치는 고정하고 상기 생성망의 가중치를 수정하는 최적화를 수행하는 단계를 포함한다.
본 발명에 따르면, 다양한 각도에서 촬영된 객체에 다양한 종류의 배경을 자연스럽게 합성하여 학습 데이터를 마련할 수 있다. 이러한 학습 데이터를 이용하여 인공신경망을 학습시키는 경우, 배경의 변화에도 객체를 식별할 수 있는 신뢰도가 향상된다.
도 1은 본 발명의 실시예에 따른 학습 데이터를 생성하기 위한 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 객체 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따라 학습 데이터를 생성하기 위한 보정모델을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 학습 데이터를 생성하기 위한 보정모델의 학습 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 판별망을 학습하는 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따른 생성망을 학습하는 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시예에 따른 인공신경망을 학습시키기 위한 학습 데이터를 생성하기 위한 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 실시예에 따른 컴퓨팅 장치의 구성을 설명하기 위한 도면이다.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
먼저, 본 발명의 실시예에 따른 학습 데이터를 생성하기 위한 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 학습 데이터를 생성하기 위한 장치의 구성을 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른 객체 이미지를 생성하는 방법을 설명하기 위한 도면이다. 도 3은 본 발명의 실시예에 따라 학습 데이터를 생성하기 위한 보정모델을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 학습 데이터를 생성하기 위한 장치(10, '데이터생성장치'로 칭함)는 학습부(100), 스캔부(200) 및 데이터생성부(300)를 포함한다.
학습부(100)는 본 발명의 실시예에 따른 학습모델(machine learning model 혹은 deep learning model) 혹은 인공신경망(ANN: Artificial Neural Network) 모델인 보정모델(RM)을 생성하기 위한 것이다. 보정모델(RM)은 다른 인공신경망 모델을 학습시키기 위한 학습 데이터를 생성하기 위한 것이다. 생성된 보정모델(RM)은 데이터생성부(300)에 제공된다. 이러한 학습부(100)의 학습 방법에 대해서는 아래에서 더 상세하게 설명될 것이다.
스캔부(200)는 제1 객체(obj1)로 이루어진 객체 이미지를 마련하기 위한 것이다. 이를 위하여, 스캔부(100)는 부가 장치를 이용할 수 있다. 부가장치(100)는 촬영박스(110), 조명(120), 턴테이블(130) 및 카메라(140)를 포함한다.
촬영박스(110)는 촬영 대상인 제1 객체(obj1)를 기준으로 양측면, 배면, 저면이 막힌 형태의 박스로써 촬영 공간을 촬영박스(110) 내의 영역으로 한정한다. 촬영박스(110)의 내부는 크로마키 배경지를 부착하여 촬영된 영상에서 용이하게 배경을 제거할 수 있도록 한다.
조명(120)은 촬영 박스의 상단에 설치된다. 스캔부(200)는 조명(120)의 조도값을 조절하여 촬영 환경을 변화시킬 수 있다. 조도값은 메타 데이터로서 촬영된 영상과 함께 저장될 수 있다.
턴테이블(130)은 촬영 박스의 바닥면 상에 설치된다. 턴테이블(130) 상에 제1 객체(obj1)가 배치된다. 스캔부(200)는 촬영을 수행하는 동안 턴테이블(130)의 회전을 제어하여 제1 객체(obj1)를 촬영 대상 물품을 다각도에서 촬영할 수 있도록 한다. 턴테이블(130) 또한 촬영박스(110)와 마찬가지로 크로마키 배경지를 부착하여 촬영된 영상에서 용이하게 배경을 제거할 수 있도록 한다.
카메라(140)는 촬영을 위한 것으로, 촬영박스(110)의 정면에 위치한다. 스캔부(200)는 카메라의 상, 하, 좌, 우 위치를 조절하여 다양한 화각에서의 촬영이 가능하다. 스캔부(200)는 카메라(140)를 제어하여 연속 촬영을 수행할 수 있다.
스캔부(200)가 정속으로 텐테이블(130)을 회전시키고, 카메라(140)를 통해 연속 촬영을 수행하는 경우, 제1 객체(obj1)에 대해 다각도에서 촬영된 영상을 얻을 수 있다.
정리하면, 스캔부(200)는 촬영박스(110)에 소정의 조도값으로 조절된 조명(120)을 배치시킨 상태에서, 턴테이블(130)을 회전시키고, 턴테이블(130) 상에 놓인 제1 객체(obj1)를 카메라(140)를 통해 촬영하고, 촬영된 영상에서 배경을 제거하여 배경이 제거된 제1 객체(obj1)로 이루어진 객체 이미지를 도출할 수 있다.
데이터생성부(300)는 제2 객체(obj2)와 배경을 포함하는 원본 이미지를 마련한다. 그리고 데이터생성부(300)는 제1 객체(obj1)에 의해 제2 객체(obj2)가 가려지도록 원본 이미지에 객체 이미지를 병합하여 단순합성 이미지를 생성한다. 즉, 단순합성 이미지에서 제1 객체(obj1)에 의해 제2 객체(obj2)가 가려지도록 제2 객체(obj2) 상에 제1 객체(obj1)가 오버랩된다. 이어서, 데이터생성부(300)는 보정모델(RM)을 통해 원본 이미지의 제2 객체(obj2)를 모사하여 제1 객체(obj1)를 보정한 보정합성 이미지를 생성한다.
도 3을 참조하면, 보정모델(RM)은 생성망(GN: Generator Network) 및 판별망(DN: Discriminator Network)를 포함한다.
생성망(GN)은 복수의 계층을 포함하며, 복수의 계층 간은 가중치로 연결된다. 또한, 복수의 계층 각각은 복수의 연산을 포함한다. 이러한 생성망(GN)은 오토인코더(AE)를 예시할 수 있다. 여기서, 복수의 연산을 포함하는 복수의 계층은 컨볼루션(Convolution) 연산을 수행하는 컨볼루션계층(CL: Convolution Layer), 다운샘플링(Down Sampling) 연산을 수행하는 풀링계층(PL: Pooling Layer) 및 업샘플링(Up Sampling) 연산을 수행하는 언풀링(UL: Unpooling Layer) 계층 및 디컨불루션 연산을 수행하는 디컨불루션 계층(DL: Deconvolution Layer) 각각을 하나 이상 포함한다. 컨볼루션, 다운샘플링, 업샘플링 및 디컨불루션 연산 각각은 소정의 행렬로 이루어진 필터(커널)를 이용하며, 이러한 행렬의 원소의 값들이 가중치가 된다. 생성망(GN)은 원본 이미지(혹은 학습용 원본 이미지)에 객체 이미지(혹은 학습용 객체 이미지)를 병합하여 생성한 단순합성 이미지(혹은 학습용 단순합성 이미지)를 입력받고, 입력된 단순합성 이미지(혹은 학습용 단순합성 이미지)에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 수행하여 원본 이미지(혹은 학습용 원본 이미지)의 제2 객체(obj2)를 모사하여 제1 객체(obj1)를 보정한 보정합성 이미지(학습용 보정합성 이미지)를 생성한다.
판별망(DN)은 복수의 계층을 포함하며, 복수의 계층 간은 가중치로 연결된다. 또한, 복수의 계층 각각은 복수의 연산을 포함한다. 여기서, 복수의 연산을 수행하는 복수의 계층은 컨볼루션(Convolution) 연산을 수행하는 컨볼루션계층(CL: Convolution Layer) 및 활성화함수에 의한 연산을 수행하는 완전연결층(FL: Fully Connected Layer)을 포함한다. 컨볼루션 연산은 소정의 행렬로 이루어진 필터를 이용하며, 이러한 행렬의 원소의 값들이 가중치가 된다. 또한, 활성화함수에 의한 연산또한 가중치를 적용하여 수행된다.
판별망(DN)은 학습용 원본 이미지 또는 학습용 보정합성 이미지가 입력되면, 입력된 학습용 원본 이미지 또는 학습용 보정합성 이미지에 대해 가중치가 적용되는 복수의 연산을 수행하여 입력된 학습용 원본 이미지 또는 학습용 보정합성 이미지가 진짜(real)인지 혹은 가짜(fake)인지 여부를 확률로 출력한다. 여기서, 진짜(real)는 해당 이미지(학습용 원본 이미지 또는 학습용 보정합성 이미지)에 포함된 객체(obj1 또는 obj2)가 합성에 의한 것이 아닌 실제 촬영에 의해 생성된 것을 의미한다. 반면, 가짜(fake)는 해당 이미지(학습용 원본 이미지 또는 학습용 보정합성 이미지)에 포함된 객체(obj1 또는 obj2)가 합성에 의한 것임을 의미한다. 판별망(DN)은 학습 시에만 사용되며, 학습이 완료되면, 생성망(GN)만을 이용한다.
다음으로, 본 발명의 실시예에 따른 보정모델(RM)의 학습 방법에 대해서 보다 상세하게 설명하기로 한다. 도 4는 본 발명의 실시예에 따른 학습 데이터를 생성하기 위한 보정모델의 학습 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 학습부(100)는 S110 단계에서 학습 데이터를 마련한다. 학습 데이터는 학습용 객체 이미지, 학습용 원본 이미지 및 학습용 단순합성 이미지를 포함한다.
학습부(100)는 S140 단계에서 종료 조건을 만족할 때까지, 학습 데이터를 이용하여 S120 단계의 판별망 학습과 S130 단계의 생성망 학습을 교번으로 반복하여 수행할 수 있다. 만약, 종료 조건을 만족하는 경우, 학습부(100)는 S150 단계로 진행하여 학습을 종료할 수 있다. 여기서, 종료 조건은 판별망(DN)이 생성망(GN)에 의해 생성된 학습용 보정합성 이미지가 가짜(fake)인지 혹은 진짜(real)인지 여부에 대한 확률을 0.5(50%)ㅁω로 산출하는 것이다. 여기서, ω는 기 설정되는 임계치를 의미한다.
한편, 학습부(100)는 그래디언트에 따라 S120 단계의 판별망 학습과 S130 단계의 생성망 학습 각각의 학습 횟수를 변경할 수 있다. 전술한 바와 같이, 학습부(100)의 최종적인 목표는 판별망(DN)이 생성망(GN)에 의해 생성된 학습용 보정합성 이미지가 가짜(fake)인지 혹은 진짜(real)인지 여부에 대한 확률을 0.5(50%)ㅁω로 산출하는 것이다. 그래디언트가 낮다면 요구되는 학습 데이터의 수가 너무 많아져서 학습 속도가 느려지기 때문에 그래디언트를 증가시키는 것이 바람직하다. 따라서 학습부(100)는 S120 단계의 판별망 학습 및 S130 단계의 생성망 학습의 에포크(epoch)가 종료될 때마다 그래디언트를 산출하고, S120 단계의 판별망 학습 및 S130 단계의 생성망 학습을 교대로 반복할 때 그래디언트에 반비례하여 S120 단계의 생성망 학습의 횟수를 증가시킬 수 있다. 예컨대, S120 단계의 판별망 학습 1번과 S130 단계의 생성망 학습 1번을 교대로 반복하여 수행하던 중 산출된 그래디언트가 기 설정된 임계치 미만인 경우, S120 단계의 판별망 학습의 수행 횟수 1번과, S130 단계의 생성망 학습의 수행 횟수 2번을 교대로 반복하도록 변경할 수 있다.
그러면, 전술한 S120 단계 및 S130 단계 각각에 대해서 설명하기로 한다. 먼저, S120 단계의 판별망(DN)에 대한 학습에 대해서 설명한다. 도 5는 본 발명의 실시예에 따른 판별망을 학습하는 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 학습부(100)는 S210 단계에서 판별망(DN)이 학습용 원본 이미지를 진짜로 판별하고 학습용 보정합성 이미지를 가짜로 판별하도록 목표값을 설정한다. 판별망(DN)의 출력은 확률을 나타낸다. 이에 따라, 학습용 원본 이미지에 대한 목표값은 1.0(100%)이고, 학습용 보정합성 이미지에 대한 목표값은 0.0(0%)으로 설정될 수 있다.
생성망(GN)은 S220 단계에서 학습부(100)로부터 학습용 단순합성 이미지를 입력받고, 입력된 학습용 단순합성 이미지에 대해 복수의 계층 간 학습이 완료되지 않은 가중치가 적용되는 연산을 수행하여 학습용 보정합성 이미지를 생성한다.
판별망(DN)은 S230 단계에서 학습용 원본 이미지 및 앞서(S220) 생성망(GN)이 생성한 학습용 보정합성 이미지 각각을 개별적으로 입력받고, 학습용 원본 이미지 및 학습용 보정합성 이미지 각각이 진짜(real)인지 혹은 가짜(fake)인지 여부를 나타내는 확률을 산출한다.
전술한 바와 같이, 확률이 산출되면, 학습부(100)는 S240 단계에서 학습용 원본 이미지 및 학습용 보정합성 이미지 각각에 대해 산출된 확률과 앞서(S210) 설정된 목표값과의 차이를 나타내는 손실을 도출한다. 이러한 손실은 이진 교차 엔트로피(binary cross entropy) 손실이 될 수 있다. 보다 구체적으로 설명하면, 학습부(100)는 학습용 원본 이미지에 대한 목표값인 1.0과 학습용 원본 이미지에 대해 산출된 확률과의 차이를 나타내는 손실을 도출하고, 학습용 보정합성 이미지에 대한 목표값인 0.0과 학습용 보정합성 이미지에 대해 산출된 확률과의 차이를 나타내는 손실을 도출할 수 있다.
그런 다음, 학습부(100)는 S250 단계에서 학습용 원본 이미지 및 학습용 보정합성 이미지 양자 모두에 대한 손실을 합산하고, 합산된 손실이 최소가 되도록 생성망(GN)의 가중치는 고정하고 판별망(DN)의 가중치를 수정하는 최적화를 수행한다.
다음으로, S130 단계의 생성망(GN)에 대한 학습에 대해서 설명한다. 도 6은 본 발명의 실시예에 따른 생성망을 학습하는 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 학습부(100)는 S310 단계에서 판별망(DN)이 학습용 보정합성 이미지를 진짜(real)로 판별하도록 목표값을 설정한다. 판별망(DN)의 출력은 확률을 나타낸다. 이에 따라, 학습용 보정합성 이미지에 대한 목표값을 1.0(100%)으로 설정할 수 있다.
생성망(GN)은 S320 단계에서 학습부(100)로부터 학습용 단순합성 이미지를 입력받고, 입력된 학습용 단순합성 이미지에 대해 복수의 계층 간 학습이 완료되지 않은 가중치가 적용되는 연산을 수행하여 학습용 보정합성 이미지를 생성한다.
다음으로, 판별망(DN)은 S330 단계에서 학습용 보정합성 이미지를 입력받고, 입력된 학습용 보정합성 이미지가 진짜인지 혹은 가짜인지 여부를 나타내는 확률을 산출한다.
전술한 바와 같이, 확률이 산출되면, 학습부(100)는 S340 단계에서 학습용 보정합성 이미지에 대해 산출된 확률과 앞서(S310) 설정된 목표값과의 차이를 나타내는 손실을 도출한다. 이러한 손실은 이진 교차 엔트로피(binary cross entropy) 손실이 될 수 있다. 보다 구체적으로 설명하면, 학습부(100)는 학습용 보정합성 이미지에 대한 목표값인 1.0과 학습용 보정합성 이미지에 대해 산출된 확률과의 차이를 나타내는 손실을 도출할 수 있다. 그런 다음, 학습부(100)는 S350 단계에서 학습용 보정합성 이미지에 대응하는 손실이 최소가 되도록 판별망(DN)의 가중치는 고정하고 생성망(GN)의 가중치를 수정하는 최적화를 수행한다.
다음으로, 전술한 바와 같이, 학습된 보정모델을 이용하여 인공신경망을 학습시키기 위한 학습 데이터를 생성하기 위한 방법에 대해서 설명하기로 한다. 도 7은 본 발명의 실시예에 따른 인공신경망을 학습시키기 위한 학습 데이터를 생성하기 위한 방법을 설명하기 위한 흐름도이다.
스캔부(100)는 S410 단계에서 제1 객체(obj1)로 이루어진 객체 이미지를 마련한다. 이때, 스캔부(100)는 촬영박스(110)의 상부에 조명(120)을 배치시킨 상태에서, 턴테이블(130) 상에 놓인 제1 객체(obj1)를 카메라(140)를 통해 촬영하고, 촬영된 영상에서 배경을 제거하여 제1 객체(obj1)로 이루어진 객체 이미지를 마련할 수 있다.
다음으로, 데이터생성부(200)는 S420 단계에서 제2 객체(obj2)와 배경을 포함하는 원본 이미지에 객체 이미지를 병합하여 단순합성 이미지를 생성한다. 단순합성 이미지는 제2 객체(obj2) 제1 객체(obj1)가 오버랩된 이미지이다. 즉, 단순합성 이미지에서 제1 객체(obj1)에 의해 제2 객체(obj2)가 가려진다.
다음으로, 데이터생성부(200)는 S430 단계에서 학습된 보정모델(RM)의 생성망(GN)을 통해 단순합성 이미지에 대해 복수의 계층 간 학습된 가중치가 적용되는 연산을 수행하여 원본 이미지의 제2 객체(obj2)를 모사하여 제1 객체(obj1)를 보정한 보정합성 이미지를 생성한다.
이때, 보정합성 이미지의 제1 객체(obj1)는 원본 이미지의 제2 객체(obj2)의 크기, 비율 및 구도를 모사한다. 따라서 원본 이미지의 배경에 제1 객체(obj1)가 자연스럽게 합성된다. 따라서 이러한 보정합성 이미지를 학습 데이터로 이용하여 인공신경망을 학습시키는 경우, 배경의 변화에 강인한 인공신경망을 생성할 수 있다.
다음으로, 본 발명의 실시예에 따른 컴퓨팅 장치의 구성에 대해서 설명하기로 한다. 도 7은 본 발명의 실시예에 따른 컴퓨팅 장치의 구성을 설명하기 위한 도면이다. 도 7의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예컨대, 데이터생성장치(10) 등)일 수 있다.
도 8의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 앞서 설명된 본 발명의 실시예에 따른 다양한 방법들은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
10: 데이터생성장치
100: 학습부
200: 스캔부
300: 데이터생성부

Claims (10)

  1. 학습 데이터를 생성하기 위한 장치에 있어서,
    제1 객체로 이루어진 객체 이미지를 마련하는 스캔부; 및
    제2 객체와 배경을 포함하는 원본 이미지에 상기 객체 이미지를 병합하여 상기 제1 객체에 의해 상기 제2 객체가 가려지도록 상기 제2 객체 상에 상기 제1 객체가 오버랩된 단순합성 이미지를 생성하고,
    보정모델을 통해 상기 단순합성 이미지에 대해 복수의 계층 간 학습된 가중치가 적용되는 연산을 수행하여
    상기 원본 이미지의 제2 객체를 모사하여 상기 제1 객체를 보정하면서, 보정된 상기 제1 객체가 상기 원본 이미지의 상기 배경에 합성된 보정합성 이미지를 생성하는 데이터생성부;
    를 포함하며,
    학습용 객체 이미지, 학습용 원본 이미지 및 학습용 단순합성 이미지를 이용하여 생성망과 판별망을 포함하는 보정모델을 학습시키는 학습부;
    를 더 포함하며,
    상기 학습부는
    상기 판별망이 상기 학습용 원본 이미지를 진짜로 판별하고, 상기 생성망이 생성한 학습용 보정합성 이미지를 가짜로 판별하도록 상기 판별망을 학습시키고,
    상기 판별망이 상기 학습용 보정합성 이미지를 진짜로 판별하도록 상기 생성망을 학습시키며,
    상기 학습부는
    상기 생성망을 학습시킬 때,
    상기 판별망이 학습용 보정합성 이미지를 진짜로 판별하도록 목표값을 설정한 후,
    상기 판별망이 상기 학습용 보정합성 이미지가 진짜인지 혹은 가짜인지 여부를 나타내는 확률을 산출하면,
    상기 산출된 확률과 상기 목표값과의 차이를 나타내는 손실을 도출하고, 상기 손실이 최소가 되도록 상기 판별망의 가중치는 고정하고 상기 생성망의 가중치를 수정하는 최적화를 수행함으로써
    상기 생성망을 학습시키는 것을 특징으로 하는
    학습 데이터를 생성하기 위한 장치.
  2. 제1항에 있어서,
    상기 스캔부는
    촬영박스에 소정의 조도값으로 조절된 조명을 배치시킨 상태에서, 턴테이블을 회전시키고, 턴테이블 상에 놓인 제1 객체를 카메라를 통해 촬영하고, 촬영된 영상에서 배경을 제거하여 배경이 제거되어 제1 객체로 이루어진 객체 이미지를 도출하는 것을 특징으로 하는
    학습 데이터를 생성하기 위한 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 학습부는
    상기 판별망이 학습용 원본 이미지를 진짜로 판별하고 학습용 보정합성 이미지를 가짜로 판별하도록 목표값을 설정한 후,
    상기 판별망이 상기 학습용 원본 이미지 및 상기 학습용 보정합성 이미지 각각이 진짜인지 혹은 가짜인지 여부를 나타내는 확률을 산출하면,
    상기 학습용 원본 이미지 및 상기 학습용 보정합성 이미지 각각에 대해 상기 산출된 확률과 상기 목표값과의 차이를 나타내는 손실을 도출하고,
    상기 학습용 원본 이미지 및 상기 학습용 보정합성 이미지 양자 모두에 대한 손실을 합산하고, 합산된 손실이 최소가 되도록 상기 생성망의 가중치는 고정하고 상기 판별망의 가중치를 수정하는 최적화를 수행함으로써
    상기 판별망을 학습시키는 것을 특징으로 하는
    학습 데이터를 생성하기 위한 장치.
  5. 삭제
  6. 학습 데이터를 생성하기 위한 방법에 있어서,
    스캔부가 제1 객체로 이루어진 객체 이미지를 마련하는 단계;
    데이터생성부가 제2 객체와 배경을 포함하는 원본 이미지에 상기 객체 이미지를 병합하여 상기 제1 객체에 의해 상기 제2 객체가 가려지도록 상기 제2 객체 상에 상기 제1 객체가 오버랩된 단순합성 이미지를 생성하는 단계; 및
    상기 데이터생성부가 보정모델을 통해 상기 단순합성 이미지에 대해 복수의 계층 간 학습된 가중치가 적용되는 연산을 수행하여 상기 원본 이미지의 제2 객체를 모사하여 상기 제1 객체를 보정하면서, 보정된 상기 제1 객체가 상기 원본 이미지의 상기 배경에 합성된 보정합성 이미지를 생성하는 단계;
    를 포함하며,
    상기 객체 이미지를 마련하는 단계 전,
    학습부가 학습용 객체 이미지, 학습용 원본 이미지 및 학습용 단순합성 이미지를 이용하여 생성망과 판별망을 포함하는 보정모델을 학습시키는 단계;
    를 더 포함하며,
    상기 보정모델을 학습시키는 단계는
    상기 학습부가 상기 판별망이 상기 학습용 원본 이미지를 진짜로 판별하고, 상기 생성망이 생성한 학습용 보정합성 이미지를 가짜로 판별하도록 상기 판별망을 학습시키는 단계; 및
    상기 학습부가 상기 판별망이 상기 학습용 보정합성 이미지를 진짜로 판별하도록 상기 생성망을 학습시키는 단계;
    를 포함하며,
    상기 생성망을 학습시키는 단계는
    상기 학습부가 상기 판별망이 학습용 보정합성 이미지를 진짜로 판별하도록 목표값을 설정하는 단계;
    상기 판별망이 상기 학습용 보정합성 이미지가 진짜인지 혹은 가짜인지 여부를 나타내는 확률을 산출하는 단계; 및
    상기 학습부가 상기 산출된 확률과 상기 목표값과의 차이를 나타내는 손실을 도출하고, 상기 손실이 최소가 되도록 상기 판별망의 가중치는 고정하고 상기 생성망의 가중치를 수정하는 최적화를 수행하는 단계;
    를 포함하는 것을 특징으로 하는
    학습 데이터를 생성하기 위한 방법.
  7. 제6항에 있어서,
    스캔부가 제1 객체로 이루어진 객체 이미지를 마련하는 단계는
    스캔부가 촬영박스에 소정의 조도값으로 조절된 조명을 배치시킨 상태에서, 턴테이블을 회전시키고, 턴테이블 상에 놓인 제1 객체를 카메라를 통해 촬영하고, 촬영된 영상에서 배경을 제거하여 배경이 제거되어 제1 객체로 이루어진 객체 이미지를 도출하는 것을 특징으로 하는
    학습 데이터를 생성하기 위한 방법.
  8. 삭제
  9. 제6항에 있어서,
    상기 판별망을 학습시키는 단계는
    상기 학습부가 상기 판별망이 학습용 원본 이미지를 진짜로 판별하고 학습용 보정합성 이미지를 가짜로 판별하도록 목표값을 설정하는 단계;
    상기 판별망이 상기 학습용 원본 이미지 및 상기 학습용 보정합성 이미지 각각이 진짜인지 혹은 가짜인지 여부를 나타내는 확률을 산출하는 단계; 및
    상기 학습부가 상기 학습용 원본 이미지 및 상기 학습용 보정합성 이미지 각각에 대해 상기 산출된 확률과 상기 목표값과의 차이를 나타내는 손실을 도출하고, 상기 학습용 원본 이미지 및 상기 학습용 보정합성 이미지 양자 모두에 대한 손실을 합산하고, 합산된 손실이 최소가 되도록 상기 생성망의 가중치는 고정하고 상기 판별망의 가중치를 수정하는 최적화를 수행하는 단계;
    를 포함하는 것을 특징으로 하는
    학습 데이터를 생성하기 위한 방법.
  10. 삭제
KR1020210188856A 2021-12-27 2021-12-27 인공신경망을 학습시키기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법 KR102469710B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210188856A KR102469710B1 (ko) 2021-12-27 2021-12-27 인공신경망을 학습시키기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210188856A KR102469710B1 (ko) 2021-12-27 2021-12-27 인공신경망을 학습시키기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법

Publications (1)

Publication Number Publication Date
KR102469710B1 true KR102469710B1 (ko) 2022-11-22

Family

ID=84236319

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210188856A KR102469710B1 (ko) 2021-12-27 2021-12-27 인공신경망을 학습시키기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법

Country Status (1)

Country Link
KR (1) KR102469710B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102585912B1 (ko) * 2022-12-14 2023-10-06 주식회사 딥노이드 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치 및 이를 위한 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150115296A (ko) * 2014-04-03 2015-10-14 한국전자통신연구원 3d 의류 모델 복원 방법 및 장치
KR20200068050A (ko) 2018-11-26 2020-06-15 국민대학교산학협력단 인공지능 수행을 위한 학습 데이터 생성장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150115296A (ko) * 2014-04-03 2015-10-14 한국전자통신연구원 3d 의류 모델 복원 방법 및 장치
KR20200068050A (ko) 2018-11-26 2020-06-15 국민대학교산학협력단 인공지능 수행을 위한 학습 데이터 생성장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Changhee Han et al., GAN-BASED SYNTHETIC BRAIN MR IMAGE GENERATION, ISBI 2018, 734-738pages (2018. 4. 7.)* *
신우형 등., 중재적 판별자 기반의 얼굴 이미지 복원, 한국정보과학회 학술발표논문집, 634-636pages (2020. 7.)* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102585912B1 (ko) * 2022-12-14 2023-10-06 주식회사 딥노이드 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치 및 이를 위한 방법

Similar Documents

Publication Publication Date Title
US11069030B2 (en) Aesthetics-guided image enhancement
CN111292264B (zh) 一种基于深度学习的图像高动态范围重建方法
CN111199531B (zh) 基于泊松图像融合及图像风格化的交互式数据扩展方法
JP7446457B2 (ja) 画像最適化方法及びその装置、コンピュータ記憶媒体、コンピュータプログラム並びに電子機器
CN110121034B (zh) 一种在视频中植入信息的方法、装置、设备及存储介质
JP2008513882A (ja) ビデオイメージ処理システム及びビデオイメージ処理方法
WO2023072067A1 (zh) 人脸属性编辑模型的训练以及人脸属性编辑方法
KR102185855B1 (ko) 데이터 세트에 정의되지 않은 특성 정보를 자동으로 생성하는 제로샷 인식 장치 및 방법
CN102576456A (zh) 使用范围信息的数字图像亮度调节
JP2018156640A (ja) 学習方法およびプログラム
CN111695421A (zh) 图像识别方法、装置及电子设备
US11869172B2 (en) Kernel reshaping-powered splatting-based efficient image space lens blur
KR102469710B1 (ko) 인공신경망을 학습시키기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법
CN111652864A (zh) 一种基于条件式生成对抗网络的铸件缺陷图像生成方法
KR102628115B1 (ko) 영상 처리 방법, 장치, 기록 매체 및 전자 장치
US20220138913A1 (en) Automatically removing moving objects from video streams
CN112699885A (zh) 一种基于对抗生成网络gan的语义分割训练数据增广方法和系统
Xu et al. NFCNN: toward a noise fusion convolutional neural network for image denoising
CN110580696A (zh) 一种细节保持的多曝光图像快速融合方法
KR102549778B1 (ko) 다시점에 관련한 복수의 이미지에 대한 전처리를 수행하고, 전처리된 복수의 이미지를 통해 큐브맵을 생성하기 위한 방법, 서버 및 컴퓨터 프로그램
WO2023246392A1 (zh) 图像获取方法、装置、设备和非瞬态计算机存储介质
US20220058827A1 (en) Multi-view iterative matching pose estimation
CN116188720A (zh) 数字人的生成方法、装置、电子设备和存储介质
KR102537207B1 (ko) 머신 러닝에 기반한 이미지 처리 방법 및 장치
CN115049558A (zh) 模型训练、人脸图像处理方法及装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant