KR102543461B1 - 딥 러닝을 이용하여 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법 - Google Patents

딥 러닝을 이용하여 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법 Download PDF

Info

Publication number
KR102543461B1
KR102543461B1 KR1020220053573A KR20220053573A KR102543461B1 KR 102543461 B1 KR102543461 B1 KR 102543461B1 KR 1020220053573 A KR1020220053573 A KR 1020220053573A KR 20220053573 A KR20220053573 A KR 20220053573A KR 102543461 B1 KR102543461 B1 KR 102543461B1
Authority
KR
South Korea
Prior art keywords
attribute
vector
image
comprehensive
boundary surface
Prior art date
Application number
KR1020220053573A
Other languages
English (en)
Inventor
류원종
임정혁
정정영
김활
김준혁
Original Assignee
주식회사 이너버즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이너버즈 filed Critical 주식회사 이너버즈
Priority to KR1020220053573A priority Critical patent/KR102543461B1/ko
Priority to KR1020230073800A priority patent/KR102571082B1/ko
Application granted granted Critical
Publication of KR102543461B1 publication Critical patent/KR102543461B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0093—Geometric image transformation in the plane of the image for image warping, i.e. transforming by individually repositioning each pixel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

본 발명은 딥 러닝을 이용하여 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법에 대한 것으로 구체적으로, 좌표배치모듈(100)이 이미지 정보를 함축하고 있는 복수의 속성벡터(110)를 잠재공간에 각각 배치하는 좌표배치단계(S100);,점수측정모듈(200)이 상기 속성벡터(110)를 기반으로하는 이미지로부터 특정속성에 대한 속성점수를 측정하는 측정단계(S200);,경계설정모듈(300)이 상기 잠재공간상에서 복수의 상기 속성벡터(110)를 두 분류로 구분하는 속성 경계면(310)을 설정하는 경계설정단계(S300);, 벡터변환모듈(400)이 목적벡터(401)를 상기 속성 경계면(310)에 수직한 방향인 변환벡터(410) 방향으로 이동시켜서 수정 목적벡터(402)를 생성하는 수정 목적벡터 생성단계(S400);, 이미지 생성모듈(500)이 상기 수정 목적벡터(402)를 입력받아 상기 특정속성에 대하여 수정된 이미지를 출력하는 변화 이미지 생성단계(S500);을 포함한다.

Description

딥 러닝을 이용하여 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법{Image adjustment method that selectively changes specific properties using deep learning}
본 발명은 딥 러닝을 이용하여 인물 이미지의 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법에 대한 것이다. 보다 상세하게는 잠재공간에서의 이미지의 정보를 포함하는 속성벡터를 수정함으로써 특정한 속성이 변화된 이미지를 생성하는 방법에 대한 것이다.
특허문헌 001은 서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별에 대한 것으로, 사용자의 참조 템플릿을 생성하기 위해 사용자를 등재하고, 사용자의 참조 템플릿에 기초하여 사용자를 식별하는 것을 포함하는, 서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별 방법이 본 발명에 개시되어 있으며, 상기 사용자의 참조 템플릿을 생성하는 것은 복수의 사용자의 얼굴 이미지를 획득하고 사용자의 얼굴 이미지에만 기초하여 원-클래스 서포트 벡터 머신을 트레이닝하는 것을 포함하는 기술을 제시한다.
특허문헌 002는 제1 이미지로부터 제2 이미지를 생성하기 위한 방법 및 디바이스에 대한 것으로, 본 원리들은 제2 이미지를 생성하기 위해 제1 이미지에 컬러 영역 매핑 프로세스를 적용하는 것 -제1 및 제2 이미지의 콘텐츠는 유사하지만 제1 및 제2 이미지의 각각의 컬러 공간은 상이함- 은, 적어도 비트스트림으로부터 획득된 컬러 영역 매핑 모드에 의해 컬러 영역 매핑 프로세스를 제어하는 단계 -컬러 영역 매핑 모드는 적어도 두 개의 프리셋 모드들 및 명시적 파라미터 모드를 포함하는 세트에 속함-; 및 획득된 컬러 영역 매핑 모드가 명시적 파라미터 모드인 경우 및 컬러 영역 매핑 프로세스가 명시적 파라미터 모드에 대해 가능하지 않은 경우, 추가적인 데이터로부터 결정된 대체 컬러 영역 매핑 모드에 의해 컬러 영역 매핑 프로세스를 제어하는 단계를 수반하는 기술을 제시한다.
특허문헌 003은 이미지를 처리하는 방법 및 장치에 관한 것이다. 일실시예에 따른 이미지 처리 방법은 복수의 입력 이미지들 각각에 대응하여, 콘텐츠 잠재 코드 및 스타일 잠재 코드를 추출하는 단계, 모핑(morphing) 제어에 관한 파라미터에 기초하여, 복수의 입력 이미지들에 대응하여 추출된 콘텐츠 잠재 코드들을 가중 합함으로써, 콘텐츠 특징 벡터를 획득하는 단계, 모핑 제어에 관한 파라미터에 기초하여, 복수의 입력 이미지들에 대응하여 추출된 스타일 잠재 코드들을 가중 합함으로써, 스타일 특징 벡터를 획득하는 단계 및 콘텐츠 특징 벡터 및 상기 스타일 특징벡터에 기초하여, 모핑 이미지를 생성하는 단계를 포함하는 기술을 제시한다.
KR 10-1185525 (등록일자:2012년 09월 18일) KR 10-2020-0081386 (공개일자:2020년 07월 07일) KR 10-2332114 (등록일자:2021년 11월 24일)
본 발명은 딥러닝을 이용하여 이미지의 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법에 대한 것으로, 잠재공간상에서 이미지의 정보가 내포된 벡터들을 조정하여 이미지의 특정한 속성만 변화된 이미지를 생성하는 방법을 제공하고자 한다.
본 발명은 딥 러닝을 이용하여 이미지의 특정한 속성을 변화시키는 이미지 조정 방법에 대한 발명이며, 좌표배치모듈이 이미지 정보를 함축하고 있는 복수의 속성벡터를 잠재공간에 각각 배치하는 좌표배치단계;, 점수측정모듈이 상기 속성벡터를 기반으로하는 이미지로부터 특정속성에 대한 속성점수를 측정하는 측정단계;, 경계설정모듈이 상기 잠재공간상에서 복수의 상기 속성벡터를 두 분류로 구분하는 속성 경계면을 설정하는 경계설정단계;, 벡터변환모듈이 목적벡터를 상기 속성 경계면에 수직한 방향인 변환벡터 방향으로 이동시켜서 수정 목적벡터를 생성하는 수정 목적벡터 생성단계;, 이미지 생성모듈이 상기 수정 목적벡터를 입력받아 상기 특정속성에 대하여 수정된 이미지를 출력하는 변화 이미지 생성단계;를 포함하는 구성으로 이루어진다.
본 발명은 딥 러닝을 이용하여 이미지의 특정한 속성을 변화시키는 이미지 조정 방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 측정단계는 상기 점수측정모듈이 학습 이미지에 대하여 사용자가 상기 특정속성들에 대한 상기 속성점수를 입력한 것을 학습 데이터로하여 학습하는 측정학습단계;를 포함하는 구성으로 이루어진다.
본 발명은 딥 러닝을 이용하여 이미지의 특정한 속성을 변화시키는 이미지 조정 방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 경계설정단계는 기계학습기법(Support Vector Machine)을 기반으로 수행된다.
본 발명은 딥 러닝을 이용하여 이미지의 특정한 속성을 변화시키는 이미지 조정 방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 속성 경계면은 상기 잠재공간상에서 상기 속성점수의 평균값을 기초로하여 형성된다.
본 발명은 딥 러닝을 이용하여 이미지의 특정한 속성을 변화시키는 이미지 조정 방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 수정 목적벡터 생성단계는 상기 속성 경계면에 수직한 방향의 단위벡터를 생성하는 변환단위벡터 생성단계;, 상기 변환단위벡터에 변환계수를 곱하여 변환벡터를 생성하는 변환벡터 생성단계;를 포함한다.
본 발명은 딥 러닝을 이용하여 이미지의 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법에 대한 발명이며, 좌표배치모듈이 이미지 정보를 함축하고 있는 복수의 속성벡터를 잠재공간에 각각 배치하는 좌표배치단계;, 점수측정모듈이 상기 속성벡터를 기반으로하는 이미지로부터 N(자연수)개의 특정속성에 대한 종합 속성점수를 측정하는 종합 특정속성 측정단계;, 경계설정모듈이 상기 잠재공간상에서 상기 속성벡터를 각각의 상기 특정속성을 분류기준으로 하여 각각 두 분류로 구분하는 N개의 속성 경계면을 설정하는 종합 경계설정단계;, 벡터변환모듈이 목적벡터를 선별된 상기 특정속성을 분류기준으로 설정된 상기 속성 경계면인 제1 속성 경계면과는 평행하지 않고, 선별되지 않은 상기 특정속성을 분류기준으로 설정된 상기 속성 경계면인 제2 속성 경계면과는 평행한 방향인 종합 변환벡터 방향으로 이동시켜서 수정 목적벡터를 생성하는 종합 수정 목적벡터 생성단계;, 이미지 생성모듈이 상기 수정 목적벡터를 입력받아 상기 선별된 특정속성이 수정된 이미지를 출력하는 종합 변화 이미지 생성단계;를 포함한다.
본 발명은 딥 러닝을 이용하여 이미지의 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 종합 특정속성 측정단계는 상기 점수측정모듈이 학습 이미지에 대하여 사용자가 상기 N개의 특정속성에 대한 상기 종합 속성점수를 입력한 것을 학습 데이터로하여 학습하는 종합 측정학습단계;를 포함한다.
본 발명은 딥 러닝을 이용하여 이미지의 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 종합 경계설정단계는 기계학습기법(Support Vector Machine)을 기반으로 수행되는 구성으로 이루어진다.
본 발명은 딥 러닝을 이용하여 이미지의 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 각각의 상기 N개의 속성 경계면은 상기 잠재공간상에서 종합 속성점수의 선별 평균값을 기초로하여 형성된다.
본 발명은 딥 러닝을 이용하여 이미지의 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 종합 수정 목적벡터 생성단계는 상기 제1 속성 경계면에 수직한 방향의 단위벡터를 생성하는 제1 변환 단위벡터(
Figure 112022046339351-pat00001
) 생성단계;, 상기 제2 속성 경계면에 수직한 방향의 단위벡터를 생성하는 제2 변환 단위벡터(
Figure 112022046339351-pat00002
) 생성단계;, 하기 [수학식 1]을 만족하는 종합 변환벡터(
Figure 112022046339351-pat00003
) 생성단계;를 포함하는 구성으로 이루어진다.
[수학식 1]
Figure 112022046339351-pat00004
Figure 112022046339351-pat00005
는
Figure 112022046339351-pat00006
의 전치(Transpose)
본 발명은 특정한 속성만 변화된 인물 이미지를 생성할 수 있는 방법을 제공하여 사용자가 원하는 인물 이미지를 생성할 수 있다.
또한 본 발명의 이미지 조정 방법을 이용하여 인물 이미지의 여러 속성들 중 선별된 속성만 변화된 인물 이미지를 생성할 수 있다.
보다 구체적으로는 본 발명은 상기 N 개의 특정속성을 동시에 고려하여 종합 변환벡터를 생성할 수 있는 방법을 제공하며 이를 통해 선별된 속성의 변화가 이루어지는 동시에 선별되지 않은 속성이 변화하는 현상을 억제할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 조정 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 조절 시스템의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 잠재공간에 배치된 속성벡터, 속성 경계면, 변환벡터를 도시한 개념도이다.
도 4는 본 발명의 다른 실시예에 따른 잠재공간에 배치된 속성벡터, 속성 경계면, 변환벡터를 도시한 개념도이다.
도 5는 본 발명의 다른 실시예에 따른 이미지 조정 방법의 순서도이다.
도 6는 본 발명의 일 실시예에 따른 제1 및 제2 속성 경계면과 종합 변환벡터를 도시한 개념도이다.
도 7은 본 발명의 일 실시예에 따른 이미지 조정 과정의 순서 개요도이다.
도 8은 본 발명의 효과 비교를 위한 이미지 수정 전후를 비교한 비교도이다.
도 9는 본 발명의 일 실시예에 따른 이미지 조정 방법에 이용될 수 있는 컴퓨터 장치의 구성 블록도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
아래에 제시되는 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발 명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 "통신", "통신망" 및 "네트워크"는 동일한 의미로 사용될 수 있다. 상기 세 용어 들은, 파일을 사용자 단말, 다른 사용자들의 단말 및 다운로드 서버 사이에서 송수신할 수 있는 유무선의 근거 리 및 광역 데이터 송수신망을 포함할 수 있다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
(실시예 1-1) 본 발명은 딥 러닝을 이용하여 이미지의 특정한 속성을 변화시키는 이미지 조정 방법에 대한 발명이며, 구체적으로, 좌표배치모듈(100)이 이미지 정보를 함축하고 있는 복수의 속성벡터(110)를 잠재공간에 각각 배치하는 좌표배치단계(S100);, 점수측정모듈(200)이 상기 속성벡터(110)를 기반으로하는 이미지로부터 특정속성에 대한 속성점수를 측정하는 측정단계(S200);, 경계설정모듈(300)이 상기 잠재공간상에서 복수의 상기 속성벡터(110)를 두 분류로 구분하는 속성 경계면(310)을 설정하는 경계설정단계(S300);, 벡터변환모듈(400)이 목적벡터(401)를 상기 속성 경계면(310)에 수직한 방향인 변환벡터(410) 방향으로 이동시켜서 수정 목적벡터(402)를 생성하는 수정 목적벡터 생성단계(S400);, 이미지 생성모듈(500)이 상기 수정 목적벡터(402)를 입력받아 상기 특정속성에 대하여 수정된 이미지를 출력하는 변화 이미지 생성단계(S500);를 포함한다.
도 1을 참조하면, 본 발명은 딥 러닝을 이용하여 이미지의 특정한 속성을 변화시키는 이미지 조정 방법에 대한 것으로, 좌표배치단계(S100), 측정단계(S200), 경계설정단계(S300), 수정 목적벡터 생성단계(S400), 변화 이미지 생성단계(S500)를 포함할 수 있다.
좌표배치단계(S100)는 이미지 정보를 내포하고 있는 속성벡터를 잠재공간에 배치하는 단계일 수 있다. 속성벡터는 "style gan"과 같은 이미지 생성 알고리즘에 입력되면 이미지가 생성되는 잠재공간속 잠재벡터를 의미할 수 있다.
도 3를 참조하면, 잠재공간상에 수 많은 인물 이미지에 대한 속성벡터(110)를 배치한 것을 도시한 것일 수 있다. 도 3에서 각각의 점 하나하나가 1개의 이미지에 대하여 속성벡터(110)를 표현한 것일 수 있다.
측정단계(S200)는 학습 이미지인 인물의 이미지를 분석하여 특정속성에 대한 점수인 속성점수를 측정하는 단계이다. 학습 이미지는 다수의 인물 이미지일 수 있다. 특정속성이란 인물 이미지에 표현된 인물의 앞머리의 유무, 미소의 정도, 눈빛의 주시 방향, 머리카락의 길이 등을 포함할 수 있다. 따라서, 측정단계(S200)는 이러한 특정속성들에 대하여 기준을 정하여 점수를 측정하는 단계일 수 있다.
측정단계(S200)는 속성벡터(110)를 "style GAN(Generative Adversarial Networks)"과 같은 이미지 생성모듈(500)에 입력하여 얻은 이미지를 Microsoft에서 제공하는 얼굴의 속성을 점수화해주는 API를 이용하여 인물의 앞머리 유무, 성별, 안경, 미소 등의 정도를 점수화할 수 있다.
다만, 후술하는 바와 같이 기성 알고리즘에서 제공하지 않는 얼굴의 특성이나, 점수화의 방법을 사용자에 맞게 재구성하기 위해서는 점수측정모듈을 직접 학습하여 이용할 수 있다. 이때 측정단계(S200)는 측정학습단계(S210)을 더 포함할 수 있다.
경계설정단계(S300)는 속성벡터(110)를 두 분류로 구분하는 속성 경계면(310)을 설정하는 단계일 수 있다. 속성 경계면(310)은 잠재공간상에 배치되어 있는 속성벡터(110)들을 두 공간으로 구분하는 구성일 수 있다.
도 3을 참조하면 속성벡터(110)들을 구분하는 선이 배치되는데 이것이 속성 경계면(310)을 의미할 수 있다. 이렇듯 속성 경계면(310)은 속성벡터(110)들을 속성점수를 기초로 하여 그의 평균값 또는 중간값과 같이 그 기준을 설정하여 필요에 맞게 구분할 수 있는 경계면일 수 있다.
상술한 평균값 또는 중간값은 측정단계(S200)에서 측정한 속성점수의 평균값, 중간값일 수 있다.
수정 목적벡터 생성단계(S400)는 목적벡터(401)를 특정속성이 변화된 수정 목적벡터(402)를 생성하는 단계일 수 있다. 수정 목적벡터(402)는 목적벡터(401)를 변환벡터(410) 방향으로 이동시킨 벡터일 수 있다.
목적벡터(401)는 속성벡터(110)와 같은 성질을 갖는 잠재벡터일 수 있다. 다시 말해, 목적벡터(401)는 속성벡터 중 어느 하나일 수 있고, 사용자가 목적하는 이미지를 얻기 위해 이미지 생성모듈(500)에 입력되는 속성벡터(110) 중 어느 하나를 의미하는 것일 수 있다.
변환벡터(410)는 속성 경계면(310)에 수직한 방향으로 구성될 수 있다. 잠재공간상에서 속성 경계면(310)에 수직한 방향은 속성 경계면(310)의 기초가 된 특정속성에 대하여 가장 효과적으로 특정속성을 변화시킬 수 있는 방향일 수 있다. 따라서 변환벡터(410)는 속성 경계면(310)에 직교하는 방향으로 형성되며, 그 변환벡터(410)의 크기는 특정속성을 얼마나 변화시킬지에 따라 적절하게 설정되어질 수 있다.
마지막으로 변화 이미지 생성단계(S500)는 이미 충분히 학습된 이미지 생성모듈(500)에 수정 목적벡터(402)를 입력하여 특정속성에 대하여 이미지가 변화된 인물 이미지를 생성하는 단계일 수 있다.
기존에 목적벡터(401)를 이미지 생성모듈(500)에 입력했을 때 생성되는 이미지와 수정 목적벡터(402)를 입력했을 때 생성되는 이미지를 비교하면 특정속성에 대하여 변화된 것을 확인할 수 있다.
이미지 생성모듈(500)은 "style GAN(Generative Adversarial Networks)"을 기초로 하여 학습되어질 수 있으나, 본 발명에서는 이에 대한 구체적인 설명은 생략한다.
본 발명은 궁극적으로 잠재공간상에서 잠재벡터인 속성벡터(110) 중 하나인 목적벡터(401)를 조절함으로써, 인물 이미지를 특정속성에 대하여 변화시키는 방법에 대한 발명일 수 있다.
(실시예 1-2) 실시예 1-1에 있어서, 상기 측정단계(S200)에서 상기 점수측정모듈(200)은 "ResNet50 네트워크"를 기반으로 한다.
(실시예 1-3) 실시예 1-2에 있어서, 상기 측정단계(S200)는 상기 점수측정모듈(200)이 학습 이미지에 대하여 사용자가 상기 특정속성들에 대한 상기 속성점수를 입력한 것을 학습 데이터로하여 학습하는 측정학습단계(S210);를 포함한다.
본 발명의 측정단계(S200)는 점수측정모듈(200)에 의하여 인물 이미지의 속성점수가 측정될 수 있다. 다만, 사용자가 인물 이미지의 속성들에 대하여 새롭게 정의하거나 점수화 방법을 새롭게 정의할 필요가 있으면, 측정학습단계(S210)을 더 포함할 수 있다.
점수측정모듈(200)의 딥러닝 학습 모델은 "ResNet50 네트워크"를 기초로 이루어질 수 있다. 학습할 때는 손실함수 중 소프트맥스 크로스엔트로피 손실을 이용하여 이중 분류문제로 학습되어질 수 있다.
"ResNet 50 네트워크"는 복수의 학습 이미지인 복수의 인물 이미지의 속성을 점수화하는 네트워크일 수 있다. 다만, 인물 이미지는 일반적으로 충분히 학습된 "style GAN" 딥러닝 모델을 이용하여 생성되어질 수 있는데, style GAN으로 생성된 이미지는 1024*1024의 해상도이므로, ResNet 50 모델에 입력하기 전에 224*224의 크기로 조정한 후 입력하여야 한다.
다시 말해, 점수측정모듈(200)이 인물 이미지에 대한 속성점수를 측정하기 전, 점수측정모듈(200)을 미리 학습시킬 필요가 있으므로, 본 발명은 측정학습단계(S210)를 더 포함할 수 있다. 측정학습단계(S210)는 학습 이미지 중 일부에 대하여 시용자가 인물 이미지의 특정속성들에 대하여 속성점수를 매긴 후, 그 결과를 입력하여 점수측정모듈(200)을 미리 학습시킬 수 있다. 점수측정모듈(200)은 이렇게 학습된 모듈을 통해 수많은 인물 이미지들의 특정속성에 대하여 속성점수를 측정할 수 있게된다.
(실시예 1-3) 실시예 1-2에 있어서, 상기 측정단계(S200)에서 상기 학습 이미지는 10만개로 구성된다.
측정단계(S200)에서 인물의 이미지인 학습 이미지는 약 10만장으로 설정될 수 있다. 학습 이미지는 "style GAN"을 이용하여 확보할 수 있다. 충분한 학습 이미지가 확보되어야 샘플링으로 인한 무작위성을 제거하고 잠재 코드의 분포가 예상대로인지 확인할 수 있고, 각 특정속성마다 충분한 샘플을 얻을 수 있다.
다만, 학습 이미지의 개수는 절대적인 숫자 자체가 중요한 것이 아니라, 추후 속성점수, 속성벡터(110), 속성 경계면(310) 등의 설정에 있어 통계적으로 신뢰성이 확보된 결과를 얻을 수 있도록 충분한 수의 학습 이미지에 대하여 속성점수를 측정할 수 있다.
(실시예 2-1) 실시예 1-1에 있어서, 상기 경계설정단계(S300)는 기계학습기법(Support Vector Machine)을 기반으로 수행된다.
본 발명의 경계설정단계(S300)는 기계학습기법을 기초로 수행될 수 있다. 경계설정모듈(300)은 잠재공간상에서 의미론적 경계(hyperplane)를 찾는 과정을 수행할 수 있다. 속성 경계면(310)을 기준으로 특정속성에 대해 두 분류로 구분되어질 수 있다. 예를 들면, 도 3과 같이 앞머리가 있는 이미지와 없는 이미지를 속성 경계면(310)을 기준으로 앞머리 유무에 대한 특정속성에 대응하는 속성벡터(110)를 두 분류로 구분하는 것을 의미할 수 있다.
또한, "Support Vector Machine"(이하 "SVM") 의 방법을 기반으로 하는 것은 여러 기계학습기법 중 하나일 뿐일 수 있다. 상술한 SVM 방법이 아닌 다른 기계학습기법으로 치환하는 것은 통상의 기술자에게 용이하게 변경가능한 범위일 수 있다.
(실시예 2-2) 실시예 2-1에 있어서, 상기 속성 경계면(310)은 상기 잠재공간상에서 상기 속성점수의 평균값을 기초로하여 형성될 수 있다.
(실시예 2-3) 실시예 2-1에 있어서, 상기 속성 경계면(310)은 상기 잠재공간상에서 제2 평균값을 기초로 하고, 상기 제2 평균값은 복수의 상기 속성점수들 중 상위 20% 및 하위 20%의 값을 갖는 속성점수들의 평균값으로 설정된다.
속성 경계면(310)은 잠재공간상에서 속성벡터(110)를 두 분류로 구분하는 의미론적 경계면일 수 있다. 다만, 이러한 구분 기준에 있어서, 좌표배치단계(S100)에서 배치된 속성벡터(110)를 두 부분으로 나누는 기준을 설정하여야 한다.
속성 경계면(310)은 속성점수의 평균값을 기초로 하여 잠재공간상에 배치된다. 속성점수의 평균값을 기초로 설정된다는 것은, 속성벡터는 인물 이미지의 정보를 함축하고 있는 잠재벡터이고, 이러한 속성벡터들을 입력하여 생성된 이미지에 대하여 속성점수를 측정하면, 평균값을 계산함에 있어 해당 속성벡터는 해당 속성점수로 취급되어 계산되어질 수 있음을 의미할 수 있다.
또는, 도 4와 같이 수 많은 속성벡터(110)들 중에서 내재된 속성점수가 높은 상위 20%와 낮은 하위 20%만을 추출하여 평균값을 계산하여 속성 경계면(310)을 설정할 수도 있다. 즉, 일반적인 산술평균이 아니라, 제2 평균값을 기초로하여 경계면이 설정되어질 수도 있는데, 제2 평균값은 속성점수들 중 상위 20% 및 하위 20%의 속성점수만을 대상으로 하여 산술평균값을 계산한 값일 수 있다. 속성점수가 상위 20%의 하위 20%라는 것은 해당 이미지의 특정속성이 뚜렷하게 나타나 있는 이미지만을 대상으로 하여 속성 경계면(310)을 설정한 것이므로, 경계면의 의미가 보다 명확해질 수 있다. 이러한 제2 평균값을 포함하는 속성 경계면(310)을 설정함으로써 통계적으로 보다 신뢰성이 확보된 속성 경계면(310)을 설정할 수 있다.
(실시예 3-1) 실시예 1-1에 있어서, 상기 수정 목적벡터 생성단계(S400)는 상기 속성 경계면(310)에 수직한 방향의 단위벡터를 생성하는 변환단위벡터 생성단계(S410);, 상기 변환단위벡터에 변환계수를 곱하여 변환벡터(410)를 생성하는 변환벡터 생성단계(S420);를 포함한다.
본 발명의 수정 목적벡터 생성단계(S400)는 변환단위벡터 생성단계(S410)와 변환단위벡터에 변환계수를 곱하여 변환벡터를 생성하는 변환벡터 생성단계(S420)를 포함할 수 있다.
변환단위벡터는 속성 경계면(310)에 수직한 방향으로 생성될 수 있다. 속성 경계면(310)에 수직한 방향으로 목적벡터(401)를 이동시켜서 수정 목적벡터(402)를 생성할 수 있다.
변환단위벡터를 속성 경계면(310)에 수직한 방향으로 설정하는 이유는 특정속성에 대하여 가장 효과적으로 변할 수 있는 방향이기 때문이다.
따라서, 수정 목적벡터(402)를 이미지 생성모듈(500)에 입력하였을 때 생성되는 이미지는 목적벡터(401)를 이미지 생성모듈(500)에 입력하였을 때 생성되는 이미지와 비교하여 특정속성이 변화된 이미지일 수 있다.
이렇듯 본 발명은 잠재공간상에서 목적벡터(401)를 조정하여서 이미지의 특정속성을 변화시킬 수 있는 이미지 조정방법을 제공하고자 한다.
(실시예 4-1) 본 발명은 딥 러닝을 이용하여 이미지의 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법에 대한 발명이며, 구체적으로, 좌표배치모듈(100)이 이미지 정보를 함축하고 있는 복수의 속성벡터(110)를 잠재공간에 각각 배치하는 좌표배치단계(S100);, 점수측정모듈(200)이 상기 속성벡터를 기반으로하는 이미지로부터 N(자연수)개의 특정속성에 대한 종합 속성점수를 측정하는 종합 특정속성 측정단계(S201);, 경계설정모듈(300)이 상기 잠재공간상에서 상기 속성벡터(110)를 각각의 상기 특정속성을 분류기준으로 하여 각각 두 분류로 구분하는 N개의 속성 경계면(310)을 설정하는 종합 경계설정단계(S301);, 벡터변환모듈(400)이 목적벡터(401)를 선별된 상기 특정속성을 분류기준으로 설정된 상기 속성 경계면인 제1 속성 경계면(320)과는 평행하지 않고, 선별되지 않은 상기 특정속성을 분류기준으로 설정된 상기 속성 경계면인 제2 속성 경계면(330)과는 평행한 방향인 종합 변환벡터(430) 방향으로 이동시켜서 수정 목적벡터(402)를 생성하는 종합 수정 목적벡터 생성단계(S401);, 이미지 생성모듈(500)이 상기 수정 목적벡터(402)를 입력받아 상기 선별된 특정속성이 수정된 이미지를 출력하는 종합 변화 이미지 생성단계(S501);를 포함한다.
도 5를 참조하면, 본 발명은 이미지의 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법에 대한 것이며, 구체적으로 좌표배치단계(S100), 종합 특정속성 측정단계(S201), 종합 경계설정단계(S301), 종합 수정 목적벡터 생성단계(S401), 종합 변화 이미지 생성단계(S501)를 포함할 수 있다.
본 발명은 <실시예 1-1>의 발명과 하기와 같은 차이가 있을 수 있다.
<실시예 1-1>은 특정속성 1가지에 대하여 속성점수를 측정하였으며, 속성 경계면(310)도 그러한 특정속성에 대하여 속성벡터(110)를 두 분류로 나누는 1개의 속성 경계면(310)만 생성될 수 있다.
다만, 본 발명은 복수의 특정속성에 대하여 각각 속성점수를 측정하며, 각각의 특정속성에 대하여 각각의 속성 경계면(310)이 생성될 수 있다.
본 발명은 복수의 특정속성 중 이용자가 선별한 하나의 특정속성, 예를 들면 인물 이미지의 앞머리 유무에 대하여만 이미지를 변화시킬 수 있는 기술을 제공하고자 한다. 이러한 발명에 대하여 구체적인 과정은 후술한다.
좌표배치단계(S100)는 전술한 바와 동일한 단계를 의미할 수 있다. 이미지 정보를 함축하고 있는 복수의 속성벡터(110)를 각각 잠재공간에 배치하는 단계일 수 있다.
종합 특정속성 측정단계(S201)는 N개(자연수)의 특정속성에 대하여 속성점수를 각각 측정하는 단계일 수 있다. 예컨데, 앞머리의 유무, 미소의 정도, 주시각도와 같은 3개의 특정속성에 대하여 각각 그 정도를 점수화시킬 수 있다.
종합 경계설정단계(S301)는 속성벡터(110)를 각각의 특정속성을 각각의 분류기준으로하는 N개의 속성 경계면(310)을 설정하는 단계일 수 있다. 속성벡터(110)에는 N개의 속성에 대한 점수가 내포되어 있고, 분류기준을 어떤 속성으로 하는지에 따라 속성 경계면(310)이 다르게 생성될 수 있다. 따라서 N개의 속성에 대하여 N개의 속성 경계면(310)을 설정할 수 있다.
도 6을 참조하면, 2개의 속성 경계면(320,330)을 도시하고 있다.
Figure 112022046339351-pat00007
벡터와
Figure 112022046339351-pat00008
벡터는 각각의 속성 경계면(320,330)에 수직한 방향의 변환을 위한 벡터일 수 있다.
종합 수정 목적벡터 생성단계(S401)는 기존의 속성벡터(401)를 종합 변환벡터(430) 방향으로 이동시키는 단계일 수 있다. 이를 통해 선별된 특정속성은 변화하되, 선별되지 않은 특정속성은 변화하지 않는 이미지를 생성할 수 있다. 구체적으로, 목적벡터(401)에 종합 변환벡터(430)를 벡터의 합으로 계산하여, 수정된 수정 목적벡터(402)는 이미지 생성모듈(500)에 입력하였을 때 생성되는 인물 이미지는 변환되기 전의 목적벡터(401)를 입력하였을 때 생성하는 이미지와는 선별된 특정속성이 변화된 이미지일 수 있다.
이러한 종합 변환벡터(430)는 도 6와 같이 선별된 특정속성을 분류기준으로 설정한 속성 경계면인 제1 속성 경계면(320)과는 수직하거나 또는 평행하지 않은 방향이고, 선별되지 않은 특정속성을 분류기준으로 설정한 속성 경계면인 제2 속성 경계면(330)과는 평행한 방향으로 설정될 수 있다. 종합 변환벡터(430)가 제2 속성 경계면(330)과 평행하다는 것은, 제2 속성 경계면(330)의 기초가 되는 특정속성들에 대해서는 이미지를 변화시켜주지 않는다는 것을 의미할 수 있다.
도 8(a)을 참조하면, 인물 이미지의 주시방향과 표정이 모두 변환된 이미지 변환을 도시하고 있다. 그러나 도 8(b)와 같이 주시방향만 변화시키고, 표정은 고정시킬 필요가 있으며, 도 7의 개요도와 같이 목적벡터(401)를 수정하여 수정 목적벡터(402)를 생성하고, 이를 이미지 생성모듈(500)에 입력하여 선별된 속성만(예를 들면, 주시방향) 변화시키는 방법에 대한 발명일 수 있다. 이를 위해 상술한 바와 같이 제1 속성 경계면(320)과는 평행하지 않고, 제2 속성 경계면(330)과는 평행한 방향의 종합 변환벡터(430) 방향으로 목적벡터(401)를 이동시키는 것일 수 있다.
종합 변화 이미지 생성단계(S501)는 이미지 생성모듈(500)인 style GAN모델을 기초로 한 구성일 수 있다. 이미지 생성모듈(500)은 수정 목적벡터(402)를 입력받아서 선별된 특정속성만이 수정된 이미지를 생성하는 단계일 수 있다.
(실시예 4-2) 실시예 4-1에 있어서, 상기 종합 특정속성 측정단계(S101)에서 상기 점수측정모듈(200)은 "ResNet50 네트워크"를 기반으로 한다.
(실시예 4-3) 실시예 4-2에 있어서, 상기 종합 특정속성 측정단계(S201)는 상기 점수측정모듈(200)이 학습 이미지에 대하여 사용자가 상기 N개의 특정속성에 대한 상기 종합 속성점수를 입력한 것을 학습 데이터로하여 학습하는 종합 측정학습단계(S211);를 포함한다.
(실시예 4-4) 실시예 4-2에 있어서, 상기 종합 특정속성 측정단계(S201)에서 상기 학습 이미지는 10만개로 구성된다.
본 발명의 종합 특정속성 측정단계(S201)는 전술한 바와 같은 점수측정모듈(200)에 의하여 인물 이미지의 속성점수가 측정될 수 있다. 점수측정모듈(200)의 딥러닝 학습 모델은 "ResNet50 네트워크"를 기초로 이루어질 수 있다. 학습할 때는 손실함수 중 소프트맥스 크로스엔트로피 손실을 이용하여 이중 분류문제로 학습되어질 수 있다.
"ResNet 50 네트워크"는 복수의 학습 이미지인 복수의 인물 이미지의 속성을 점수화하는 네트워크일 수 있다. 다만, 인물 이미지는 일반적으로 충분히 학습된 "style GAN" 딥러닝 모델을 이용하여 생성되어질 수 있는데, style GAN으로 생성된 이미지는 1024*1024의 해상도이므로, ResNet 50 모델에 입력하기 전에 224*224의 크기로 조정한 후 입력하여야 한다는 것은 전술한 바와 동일하다.
또한 점수측정모듈(200)이 인물 이미지에 대한 종합 속성점수를 측정하기 전, 점수측정모듈(200)을 미리 학습시킬 필요가 있으므로, 본 발명은 종합 측정학습단계(S211)를 더 포함할 수 있다. 종합 측정학습단계(S211)는 학습 이미지 중 일부에 대하여 시용자가 인물 이미지의 특정속성들에 대하여 속성점수를 매긴 후, 그 결과를 입력하여 점수측정모듈(200)을 미리 학습시킬 수 있다. 전술한 측정학습단계와의 차이점은 특정속성이 복수개(N개)이므로, N개의 특정속성에 대하여 속성점수를 각각 측정한다는 것일 수 있다.
다시 말해, 사용자가 각 특정속성에 대해 점수를 측정한 정보를 학습 데이터로 하여 점수측정모듈(200)이 학습되는 것일 수 있다.
(실시예 5-1) 실시예 4-1에 있어서, 상기 종합 경계설정단계(S301)는 기계학습기법(Support Vector Machine)을 기반으로 수행된다.
(실시예 5-2) 실시예 5-1에 있어서, 각각의 상기 N개의 속성 경계면(310)은 상기 잠재공간상에서 종합 속성점수의 선별 평균값을 기초로하여 형성될 수 있다.
(실시예 5-3) 실시예 5-1에 있어서, 각각의 상기 N개의 속성 경계면은 상기 잠재공간상에서 제2 선별 평균값을 기초로하여 형성되고, 상기 제2 선별 평균값은 상기 종합 속성점수 중 상위 20% 및 하위 20%의 값을 갖는 각각의 속성점수들의 평균값으로 설정된다.
본 발명의 종합 경계설정단계(S301)는 기계학습기법을 기초로 수행될 수 있다. 경계설정모듈(300)은 잠재공간상에서 의미론적 경계(hyperplane)를 찾는 과정을 수행할 수 있다. 속성 경계면(310)을 기준으로 특정속성에 대해 두 분류로 구분되어질 수 있다.
다만, 종합 경계설정단계(S301)에서 설정되는 경계는 N개의 특정속성에 대해 속성점수가 측정되었다면, N개의 속성 경계면(310)이 설정될 수 있다. 각각의 속성 경계면(310)은 잠재공간상에서 각각 분류기준이 된 특정속성에 대한 속성점수의 평균값인 선별 평균값을 포함할 수 있다.
속성 경계면(310)이 선별 평균값을 포함한다는 것은 잠재공간상에 배치된 속성 경계면이 선별 평균값을 속성점수로 하는 속성벡터(110)를 내포한다거나 지난다는 것을 의미할 수 있다.
본 발명은 산술적인 평균인 선별 평균값외에 제2 선별 평균값을 포함하는 속성 경계면(310)을 설정할 수 있다. 제2 선별 평균값은 값이 가장 큰 점수와 작은 점수들만 선별하여서 새로운 평균값을 계산한 것일 수 있으며, 이는 전술한 제2 평균값과 유사한 의미일 수 있다.
이러한 제2 선별 평균값을 포함하는 속성 경계면(310)을 설정함으로써 통계적으로 보다 신뢰성이 확보된 속성 경계면(310)을 설정할 수 있다.
(실시예 6-1) 실시예 4-1에 있어서, 상기 종합 수정 목적벡터 생성단계(S401)는 상기 제1 속성 경계면(320)에 수직한 방향의 단위벡터를 생성하는 제1 변환 단위벡터(
Figure 112022046339351-pat00009
) 생성단계(S411);, 상기 제2 속성 경계면(330)에 수직한 방향의 단위벡터를 생성하는 제2 변환 단위벡터(
Figure 112022046339351-pat00010
) 생성단계(S421);, 하기 [수학식 1]을 만족하는 종합 변환벡터(
Figure 112022046339351-pat00011
) 생성단계(S431);를 포함한다.
[수학식 1]
Figure 112022046339351-pat00012
Figure 112022046339351-pat00013
는
Figure 112022046339351-pat00014
의 전치(Transpose)
(실시예 6-2) 실시예 6-1에 있어서, 상기 제1 속성 경계면(320) 및 상기 제1 변환 단위벡터(
Figure 112022046339351-pat00015
)(431)는 단수로 구성되고, 상기 제2 속성 경계면(330) 및 상기 제2 변환 단위벡터(
Figure 112022046339351-pat00016
)(432)는 복수로 구성되며, 상기 종합 변환벡터(
Figure 112022046339351-pat00017
(430)는 상기 제1 변환 단위벡터(
Figure 112022046339351-pat00018
)(431) 및 각각의 상기 제2 변환 단위벡터(
Figure 112022046339351-pat00019
)(432)와의 관계가 상기 [수학식 1]을 모두 만족한다.
본 발명의 종합 수정 목적벡터 생성단계(S401)는 제1 변환단위벡터
Figure 112022046339351-pat00020
생성단계(S411), 제2 변환단위벡터
Figure 112022046339351-pat00021
생성단계(S421), 종합 변환벡터
Figure 112022046339351-pat00022
생성단계(S431)를 포함한다.
제1 변환 단위벡터
Figure 112022046339351-pat00023
(431)는 제1 속성 경계면(320)에 수직한 방향의 단위벡터를 의미할 수 있다. 제1 속성 경계면(320)의 기초가 된 특정속성은 종합 변화 이미지 생성단계(S501)에서 생성되는 이미지를 변화시키고자 하는 속성일 수 있다. 예컨대, 제1 속성 경계면(320)이 인물의 앞머리 유무에 대한 경계면이었다면, 종합 변환벡터(430)는 이러한 앞머리에 대한 속성만을 변화시키고 그 외의 속성인 표정, 피부색, 미소의 정도 등에 대해서는 변화시키지 않는 방향으로 속성벡터(110)를 변화시킬 수 있다. 종합 변환벡터(430)에 대해서는 후술한다.
제2 변환 단위벡터
Figure 112022046339351-pat00024
(432)는 제2 속성 경계면(330)에 수직한 방향의 단위벡터를 의미할 수 있다. 제1 변환 단위벡터(431)와 제2 변환 단위벡터(432)를 기초로 하여 아래와 같이 종합 변환벡터
Figure 112022046339351-pat00025
(430)를 생성할 수 있다.
종합 변환벡터(430)를
Figure 112022046339351-pat00026
라고 할 때, 다음과 같은 수학식을 통해 계산될 수 있다.
Figure 112022046339351-pat00027
Figure 112022046339351-pat00028
는
Figure 112022046339351-pat00029
의 전치(Transpose)
도 5를 참조하면, 종합 변환벡터(430)는 제1 속성 경계면(320)에는 평행하지 않고, 제2 속성 경계면(330)에는 평행한 방향의 벡터일 수 있다. 속성벡터(110)가 이러한 종합 변환벡터(430) 방향으로 이동하게 되면, 제1 속성 경계면(320)의 기초가 된 특정속성만이 변화되고, 제2 속성 경계면(330)의 기초가 된 특정속성들은 변화되지 않은 이미지를 생성할 수 있게 된다.
또한, 제1 속성 경계면(320)과 제1 변환 단위벡터(431)는 단수, 즉 1개로 구성되고, 제2 속성 경계면(330)과 제2 변환 단위벡터(432)는 복수, 즉 여러 개로 구성될 수 있다. 본 발명과 같이 특정속성을 N개로 설정하였다면, 제2 속성 경계면(330)과 제2 변환 단위벡터(432)는 N-1개로 구성될 수 있다.
다만, 제2 속성 경계면(330)이 복수개로 구성된다 하더라도, 종합 변환벡터(430)는 제1 변환 단위벡터(431)와는 평행하지 않고, 각각의 모든 제2 속성 경계면(330)과는 평행한 관계로 형성될 수 있다.
예컨대, 1개의 제1 속성 경계면과 2개의 제2 속성 경계면이 설정된다면,
제1 속성을 변화하면서 제2 속성을 변화시키지 않는 종합 변환벡터(
Figure 112022046339351-pat00030
)는 전술한 바와 같이 아래와 같은[수학식 2]를 통해 계산될 수 있고,
Figure 112022046339351-pat00031
Figure 112022046339351-pat00032
는
Figure 112022046339351-pat00033
의 전치(Transpose)
제1 속성을 변화하면서, 제2 속성 및 제3 속성을 모두 변화시키지 않는 종합 변환벡터
Figure 112022046339351-pat00034
는 아래와 같은 [수학식 3]을 통해 계산될 수 있다. 단,
Figure 112022046339351-pat00035
는 전술한 바와 같이 제1 속성을 변화시키면서 제2 속성을 변화시키지 않는 종합 변환벡터를 의미할 수 있다. 또한
Figure 112022046339351-pat00036
는 제3 변환 단위벡터이며, 이는 제3 속성 경계면에 수직한 방향의 단위벡터일 수 있다.
Figure 112022046339351-pat00037
Figure 112022046339351-pat00038
는
Figure 112022046339351-pat00039
의 전치(Transpose)
따라서 이와 같은 방법으로 특정속성이 몇 개가 되더라도 순차적으로 최종적인 종합 변환벡터(430)를 계산할 수 있다.
마지막으로, 도 9는 본 발명에 따른 딥 러닝을 이용하여 이미지의 특정한 속성을 변화시키는 이미지 조정 방법을 수행하기 위해 채용될 수 있는 범용 컴퓨터 장치의 내부 블록도이다. 컴퓨터 장치(900)는 램(RAM: Random Access Memory)(920)과 롬(ROM: Read Only Memory)(930)을 포함하는 주기억장치와 연결되는 하나 이상의 프로세서(910)를 포함한다. 프로세서(910)는 중앙처리장치(CPU)로 불리기도 한다. 프로세서는 학습 방법을 수행시키는 구성으로 학습의 주체가 될 수 있다. 본 기술분야에서 널리 알려져 있는 바와 같이, 롬(930)은 데이터(data)와 명령(instruction)을 단방향성으로 CPU에 전송하는 역할을 하며, 램(920)은 통상적으로 데이터와 명령을 양방향성으로 전송하는데 사용된다. 램(920) 및 롬(930)은 컴퓨터 판독 가능 매체의 어떠한 적절한 형태를 포함할 수 있다. 대용량 기억장치(Mass Storage)(940)는 양방향성으로 프로세서(910)와 연결되어 추가적인 데이터 저장 능력을 제공하며, 상기된 컴퓨터 판독 가능 기록 매체 중 어떠한 것일 수 있다. 대용량 기억장치(940)는 프로그램, 데이터 등을 저장하는데 사용되며, 통상적으로 주기억장치보다 속도가 느린 하드 디스크와 같은 보조기억장치이다. CD 롬(960)과 같은 특정 대용량 기억장치가 사용될 수도 있다. 프로세서(910)는 비디오 모니터, 트랙볼, 마우스, 키보드, 마이크 로폰, 터치스크린형 디스플레이, 카드 판독기, 자기 또는 종이 테이프 판독기, 음성 또는 필기 인식기, 조이스틱, 또는 기타 공지된 컴퓨터 입출력장치와 같은 하나 이상의 입출력 인터페이스(950)와 연결된다. 마지막으로, 프로세서(910)는 네트워크 인터페이스(970)를 통하여 유선 또는 무선 통신 네트워크에 연결될 수 있다. 이러한 네트워크 연결을 통하여 상기된 방법의 절차를 수행할 수 있다. 상기된 장치 및 도구는 컴퓨터 하드웨어 및 소프트웨어 기술 분야의 당업자에게 잘 알려져 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다
100 : 좌표배치모듈 200 : 점수측정모듈
110 : 속성벡터 300 : 경계설정모듈
310 : 속성 경계면 320 : 제1 속성 경계면
330 : 제2 속성 경계면 400 : 벡터변환모듈
410 : 변환벡터 430 : 종합 변환벡터
431 : 제1 변환 단위벡터 432 : 제2 변환 단위벡터
S100 : 좌표배치단계 S200 : 측정단계
S300 : 경계설정단계 S400 : 수정 목적벡터 생성단계
S500 : 변화 이미지 생성단계 S201 : 종합 특정속성 측정단계
S301 : 종합 경계설정단계 S401 : 종합 수정 목적벡터 생성단계
S501 : 종합 변화 이미지 생성단계

Claims (10)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 딥 러닝을 이용하여 이미지의 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법에 있어서,
    좌표배치모듈(100)이 이미지 정보를 함축하고 있는 복수의 속성벡터(110)를 잠재공간에 각각 배치하는 좌표배치단계(S100);
    점수측정모듈(200)이 상기 속성벡터를 기반으로하는 이미지로부터 N(자연수)개의 특정속성에 대한 종합 속성점수를 측정하는 종합 특정속성 측정단계(S201);
    경계설정모듈(300)이 상기 잠재공간상에서 상기 속성벡터(110)를 각각의 상기 특정속성을 분류기준으로 하여 각각 두 분류로 구분하는 N개의 속성 경계면(310)을 설정하는 종합 경계설정단계(S301);
    벡터변환모듈(400)이 목적벡터(401)를 선별된 상기 특정속성을 분류기준으로 설정된 상기 속성 경계면인 제1 속성 경계면(320)과는 평행하지 않고, 선별되지 않은 상기 특정속성을 분류기준으로 설정된 상기 속성 경계면인 제2 속성 경계면(330)과는 평행한 방향인 종합 변환벡터(430) 방향으로 이동시켜서 수정 목적벡터(402)를 생성하는 종합 수정 목적벡터 생성단계(S401); 및
    이미지 생성모듈(500)이 상기 수정 목적벡터(402)를 입력받아 상기 선별된 특정속성이 수정된 이미지를 출력하는 종합 변화 이미지 생성단계(S501);를 포함하고,
    각각의 상기 N개의 속성 경계면은 상기 잠재공간상에서 제2 선별 평균값을 기초로하여 형성되고, 상기 제2 선별 평균값은 상기 종합 속성점수 중 상위 20% 및 하위 20%의 값을 갖는 각각의 속성점수들의 평균값으로 설정되며,
    상기 종합 특정속성 측정단계(S201)는 상기 점수측정모듈(200)이 학습 이미지에 대하여 사용자가 상기 N개의 특정속성에 대한 상기 종합 속성점수를 입력한 것을 학습 데이터로하여 학습하는 종합 측정학습단계(S211);를 포함하고,
    상기 종합 수정 목적벡터 생성단계(S401)는 상기 제1 속성 경계면(320)에 수직한 방향의 단위벡터를 생성하는 제1 변환 단위벡터(
    Figure 112023029750901-pat00055
    ) 생성단계(S411);
    상기 제2 속성 경계면(330)에 수직한 방향의 단위벡터를 생성하는 제2 변환 단위벡터(
    Figure 112023029750901-pat00056
    ) 생성단계(S421); 및
    하기 [수학식 1]을 만족하는 종합 변환벡터(
    Figure 112023029750901-pat00057
    ) 생성단계(S431);를 포함하며,
    [수학식 1]
    Figure 112023029750901-pat00058

    Figure 112023029750901-pat00059
    는
    Figure 112023029750901-pat00060
    의 전치(Transpose)
    상기 제1 속성 경계면 및 제1 변환 단위벡터는 단수로 구성되고, 상기 제2 속성 경계면 및 상기 제2 변환 단위벡터는 복수로 구성되며, 상기 종합 변환벡터는 상기 제1 변환 단위벡터 및 각각의 상기 제2 변환 단위벡터와의 관계가 상기 [수학식 1]을 모두 만족하는, 이미지 조정 방법.
  7. 삭제
  8. 청구항 6에 있어서,
    상기 종합 경계설정단계는 기계학습기법(Support Vector Machine)을 기반으로 수행되는 이미지 조정 방법.
  9. 삭제
  10. 삭제
KR1020220053573A 2022-04-29 2022-04-29 딥 러닝을 이용하여 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법 KR102543461B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220053573A KR102543461B1 (ko) 2022-04-29 2022-04-29 딥 러닝을 이용하여 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법
KR1020230073800A KR102571082B1 (ko) 2022-04-29 2023-06-08 이미지 조정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220053573A KR102543461B1 (ko) 2022-04-29 2022-04-29 딥 러닝을 이용하여 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230073800A Division KR102571082B1 (ko) 2022-04-29 2023-06-08 이미지 조정 방법

Publications (1)

Publication Number Publication Date
KR102543461B1 true KR102543461B1 (ko) 2023-06-14

Family

ID=86744682

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220053573A KR102543461B1 (ko) 2022-04-29 2022-04-29 딥 러닝을 이용하여 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법
KR1020230073800A KR102571082B1 (ko) 2022-04-29 2023-06-08 이미지 조정 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230073800A KR102571082B1 (ko) 2022-04-29 2023-06-08 이미지 조정 방법

Country Status (1)

Country Link
KR (2) KR102543461B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101185525B1 (ko) 2005-07-29 2012-09-24 텔레콤 이탈리아 소시에떼 퍼 아찌오니 서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별
KR20200081386A (ko) 2017-11-09 2020-07-07 인터디지털 브이씨 홀딩스 인코포레이티드 제1 이미지로부터 제2 이미지를 생성하기 위한 방법 및 디바이스
KR102332114B1 (ko) 2020-11-24 2021-12-01 한국과학기술원 이미지 처리 방법 및 장치
KR20210156470A (ko) * 2020-06-18 2021-12-27 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20220005548A (ko) * 2019-07-16 2022-01-13 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 이미지 처리 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101185525B1 (ko) 2005-07-29 2012-09-24 텔레콤 이탈리아 소시에떼 퍼 아찌오니 서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별
KR20200081386A (ko) 2017-11-09 2020-07-07 인터디지털 브이씨 홀딩스 인코포레이티드 제1 이미지로부터 제2 이미지를 생성하기 위한 방법 및 디바이스
KR20220005548A (ko) * 2019-07-16 2022-01-13 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 이미지 처리 방법 및 장치
KR20210156470A (ko) * 2020-06-18 2021-12-27 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102332114B1 (ko) 2020-11-24 2021-12-01 한국과학기술원 이미지 처리 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Aashish Rai et al., ‘Improved Attribute Manipulation in the Latent Space of StyleGAN for Semantic Face Editing’, 20th ICMLA, December 2021.* *

Also Published As

Publication number Publication date
KR102571082B1 (ko) 2023-08-28

Similar Documents

Publication Publication Date Title
KR102106462B1 (ko) 가중치 기반의 유사 문제 필터링 방법
CN108898186B (zh) 用于提取图像的方法和装置
EP3570208A1 (en) Two-dimensional document processing
US10127199B2 (en) Automatic measure of visual similarity between fonts
US10719693B2 (en) Method and apparatus for outputting information of object relationship
WO2019176994A1 (ja) 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
JP2006252333A (ja) データ処理方法、データ処理装置およびそのプログラム
US20210350068A1 (en) Descriptive insight generation and presentation system
JP4997892B2 (ja) 検索システム、検索方法及び検索プログラム
US20230095182A1 (en) Method and apparatus for extracting biological features, device, medium, and program product
WO2010065224A2 (en) Sensory outputs for communicating data values
JP2022553779A (ja) キャビン内の環境の調整方法及び装置
KR102543461B1 (ko) 딥 러닝을 이용하여 특정한 속성을 선별적으로 변화시키는 이미지 조정 방법
JP6802332B1 (ja) 情報処理方法および情報処理装置
JP2016189076A (ja) 情報処理装置、及び文章画像化プログラム
JP2016110256A (ja) 情報処理装置及び情報処理プログラム
JP2001195579A (ja) 画像評価装置
CN111651626B (zh) 图像分类方法、装置及可读存储介质
US11070699B1 (en) Systems and methods for facilitating determining contextual and semantic meaning from an image scan
KR20220143538A (ko) 반정형 문서로부터 정보를 추출하는 방법 및 시스템
CN113641767A (zh) 实体关系抽取方法、装置、设备及存储介质
JP6968353B2 (ja) 特徴抽出方法、コンピュータプログラム及び情報処理装置
JP6475565B2 (ja) スコア付与対象を分類可能な装置、システム、プログラム及び方法
JP7085605B2 (ja) モデル評価システム、モデル評価方法及びモデル評価プログラム
US20220301330A1 (en) Information extraction system and non-transitory computer readable recording medium storing information extraction program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant