KR102566277B1

KR102566277B1 - 이미지 편집 모델 구축 방법 및 장치

Info

Publication number: KR102566277B1
Application number: KR1020210077704A
Authority: KR
Inventors: 셩이 허; 지아밍 류; 티안슈 후; 즈빈 홍
Original assignee: 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date: 2020-06-22
Filing date: 2021-06-15
Publication date: 2023-08-10
Also published as: JP2022002091A; CN111861955A; JP7241813B2; KR20210157878A; EP3929875A1; US20210398334A1

Abstract

본 출원은 이미지 편집 모델 구축 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기록 매체를 공개하였으며, 이미지 처리, 딥 러닝 기술 분야에 관한 것이다. 본 출원의 이미지 편집 모델을 구축할 때 사용하는 구현 방안은 다음과 같다： 제1 이미지 및 이에 대응하는 제2 이미지를 포함하는 훈련 샘플을 획득하며； 배경 이미지 생성 분기, 마스크 이미지 생성 분기 및 전경 이미지 생성 분기를 포함하는 생성기와 판별기를 포함하는 생성적 적대 신경망을 구축하며； 제1 이미지 및 이에 대응하는 제2 이미지에 따라 상기 생성적 적대 신경망을 훈련하여, 훈련하여 얻은 상기 생성적 적대 신경망 중 생성기를 이미지 편집 모델로 한다. 본 출원에서 구축된 이미지 편집 모델은 생성적 이미지의 소실 배경을 보충하여 구축된 이미지 편집 모델의 편집 성능을 향상시킨다.

Description

이미지 편집 모델 구축 방법 및 장치 {METHOD AND DEVICE FOR CONSTRUCTING IMAGE EDITING MODEL}

본 출원은 인터넷 기술 분야에 관한 것이고, 특히 이미지 처리, 딥 러닝 기술 분야의 이미지 편집 모델 구축 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기록 매체에 관한 것이다.

일반적으로 이미지 편집 모델(image editing model)을 구성하는 기존 방식에는 두 가지가 있다: 하나는 이미지 전경과 배경을 구분하지 않고 이미지 전체를 모델링하여 새로운 이미지를 생성하는 것이고； 다른 하나는 서로 다른 모델을 사용하여 이미지의 전경과 배경에 대해 각각 모델링하여 생성된 전경과 배경을 병합하여 새로운 이미지를 생성한다. 첫 번째 방안의 경우, 이미지의 전경과 배경이 구분되지 않기 때문에, 구축된 모델은 입력 이미지의 전경 감소로 인한 이미지 중 소실 배경을 보충하는 것을 실현할 수 없고； 두 번째 방안의 경우, 복수개 모델을 사용하여 이미지의 전경과 배경을 각각 모델링해야 하므로 모델 구축의 절차가 비교적 번거롭고 시스템 자원 소모가 비교적 크다.

본 출원이 기술 문제를 해결하기 위해 사용한 기술 방안은 이미지 편집 모델 구축 방법을 제공하는 것이며, 당해 방법은 다음 단계를 포함한다： 제1 이미지 및 이에 대응하는 제2 이미지를 포함하는 훈련 샘플을 획득한다； 배경 이미지 생성 분기, 마스크 이미지 생성 분기 및 전경 이미지 생성 분기를 포함하는 생성기와 판별기를 포함하는 생성적 적대 신경망을 구축한다； 제1 이미지 및 이에 대응하는 제2 이미지에 따라 상기 생성적 적대 신경망을 훈련하며, 훈련하여 얻은 상기 생성적 적대 신경망 중 생성기를 이미지 편집 모델로 한다.

본 출원의 기술 문제를 해결하기 위해 사용한 기술 방안은 이미지 편집 모델 구축 장치를 제공하는 것이며, 상기 장치는： 제1 이미지 및 이에 대응하는 제2 이미지를 포함하는 훈련 샘플을 획득하기 위한 획득 유닛； 배경 이미지 생성 분기, 마스크 이미지 생성 분기 및 전경 이미지 생성 분기를 포함하는 생성기와 판별기를 포함하는 생성적 적대 신경망을 구축하는 구축 유닛； 제1 이미지 및 이에 대응하는 제2 이미지에 따라 상기 생성적 적대 신경망을 훈련하며 훈련하여 얻은 상기 생성적 적대 신경망 중 생성기를 이미지 편집 모델로 하는 훈련 유닛을 포함한다.

상술한 출원의 하나의 실시예는 구체적으로 다음과 같은 이점 또는 유익한 효과가 있다： 본 출원에서 구축한 이미지 편집 모델은 생성 이미지의 소실된 배경을 보충할 수 있고, 모델의 구축 절차를 간편화할 수 있으며, 모델 구축에 필요한 자원 소모를 감소할 수 있다. 생성적 적대 신경망을 구축할 때 전경 이미지, 마스크 이미지 및 배경 이미지에 대해 동시에 모델링하는 기술 수단을 사용하므로 종래 기술 중 이미지의 전경, 배경을 구분하지 않고 모델링하고 또한 복수개 모델로 전경, 배경에 대해 각각 모델링하여 나타나는 기술 문제를 해소할 수 있으므로 이미지 편집 모델의 편집 성능을 향상시키는 등 기술 효과를 구현한다.

상술한 선택 가능한 방식이 가지는 다른 효과는 아래에서 구체적인 실시예를 결합하여 설명한다.

도면은 본 기술적 해결책을 더 잘 이해하기 위하여 이용되며 본 발명을 제한하지 않는다.
도 1은 본 출원 제1 실시예에 따른 개략도이다；
도 2는 본 출원 제2 실시예에 따른 개략도이다；
도 3은 본 출원 제3 실시예에 따른 개략도이다；
도 4는 본 출원 실시예의 구축 이미지 편집 모델 구축 방법을 구현하는 전자 기기의 블럭도이다.

이하, 도면을 참조하여 본 출원의 시범적인 실시예를 기술하는 바, 본 출원에 대한 이해를 돕기 위해 여기에는 본 발명 실시예의 다양한 세부 사항이 포함되며, 이러한 세부 사항을 단지 시범적인 것으로 간주해야 할 것이다. 따라서, 당업자는 본 발명의 범위 및 정신을 벗어나지 않는 전제 하에서, 여기서 설명되는 실시예에 대해 다양한 변경 및 수정을 수행할 수 있음을 인식해야 한다. 마찬가지로, 명확성 및 간결성을 위하여 이하의 기술에서는 잘 알려진 기능 및 구조의 기술을 생략하였다.

도 1은 본 출원 제1 실시예에 따른 개략도이다. 도 1에 나타낸 바와 같이, 본 실시예의 이미지 편집 모델 구축 방법은 구체적으로 다음 절차를 포함할 수 있다：

단계 S101, 제1 이미지 및 이에 대응하는 제2 이미지를 포함하는 훈련 샘플을 획득한다；

단계 S102, 배경 이미지 생성 분기, 마스크 이미지 생성 분기 및 전경 이미지 생성 분기를 포함하는 생성기와 판별기를 포함하는 생성적 적대 신경망(generative adversarial network, GAN)을 구축한다；

단계 S103, 제1 이미지 및 이에 대응하는 제2 이미지에 따라 상기 생성적 적대 신경망을 훈련하고, 훈련하여 얻은 상기 생성적 적대 신경망 중 생성기를 이미지 편집 모델로 한다.

본 실시예의 이미지 편집 모델을 구축하는 방법은 생성적 적대 신경망을 구축할 때 전경 이미지, 마스크 이미지 및 배경 이미지에 대해 동시에 모델링하는 방식을 사용하여 훈련하여 얻은 이미지 편집 모델로 하여금 생성 이미지의 소실 배경에 대해 보충할 수 있도록 하여, 입력 이미지의 전경 감소로 인한 생성 이미지 배경 소실 문제를 피할 수 있다.

본 실시예에서 획득한 훈련 샘플은 제1 이미지 및 이에 대응하는 제2 이미지를 포함하고, 그중 제2 이미지는 제1 이미지를 편집할 때 얻은 완전한 배경을 가진 이미지로 볼 수 있다.

예를 들면, 제1 이미지가 여성 이미지이면 제2 이미지가 남성 이미지일 수 있다. 원인은 여성 이미지를 남성 이미지로 편집할 경우, 여성의 긴머리를 남성의 짧은 머리로 전환하여야 하며, 여성 이미지 중 소실된 머리 전경이 남성 이미지 중 배경으로 변하도록 하지만, 당해 부분 배경은 여성 이미지가 소실된 것이므로 여성 이미지를 편집하여 남성 이미지를 얻을 경우 당해 소실 배경에 대해 보충하여야 한다.

제1 이미지가 남성 이미지이면, 제2 이미지가 영아 이미지일 수 있다. 원인은, 남성 이미지를 영아 이미지로 편집할 경우, 남성의 짧은 머리를 영아의 무발(no hair)로 전환하여야 하고, 남성 이미지 중 소실된 머리 전경이 영아 이미지 중 배경으로 변하도록 하지만, 당해 부분 배경은 남성 이미지가 소실된 것이므로 남성 이미지를 편집하여 영아 이미지를 얻을 경우 당해 소실 배경에 대해 보충하여야 한다.

본 실시예는 훈련 샘플을 획득할 때, 직접 획득된 이미지에 따라 제1 이미지 및 이에 대응하는 제2 이미지를 설정할 수 있다. 본 실시예는 이미지 사이의 대응 관계를 설정할 때 유저에 의해 실제 수요에 따라 제1 이미지 및 이에 대응하는 제2 이미지를 수동으로 설정할 수 있다； 또한 각각의 이미지에 대해 내용 식별한 후, 미리 설정된 내용 대응 관계에 따라 제1 이미지 및 이에 대응하는 제2 이미지를 자동으로 설정한다.

또한, 본 실시예는 훈련 샘플을 획득할 때 다음 방식을 사용할 수 있다： 전경 이미지와 배경 이미지를 획득하고 그중 전경 이미지는 사람 또는 물체의 이미지이다； 대응 관계를 구비하는 두 개의 전경 이미지를 동일한 배경 이미지와 각각 융합하여, 융합 결과를 제1 이미지 및 이에 대응하는 제2 이미지로 한다. 그중, 본 실시예는 유저에 의해 대응 관계를 구비하는 두 개의 전경 이미지를 수동적으로 선택한다； 이미지에 대해 내용 식별한 후, 대응 관계를 구비하는 두 개 전경 이미지를 자동적으로 선택한다.

즉, 본 실시예는 두 개의 전경 이미지와 동일한 배경 이미지를 융합하는 방식으로 훈련 샘플을 획득하여, 각각의 제1 이미지 및 이에 대응하는 제2 이미지로 하여금 같은 배경을 구비하도록 할 수 있으며, 이미지 편집 모델로 하여금 더욱 자연스럽게 입력 이미지 중 소실 배경을 보충하도록 하여 이미지 편집 모델의 배경을 보충하는 정확성을 향상시킨다.

본 실시예는 훈련 샘플을 획득한 후, 생성기와 판별기를 포함하는 생성적 적대 신경망을 구축하는 작업을 수행하여 훈련하여 얻은 생성적 적대 신경망 중 생성기에 기반하여 생성 이미지 중 소실 배경을 보충할 수 있는 이미지 편집 모델을 얻는다. 그중, 본 실시예에서 구축된 생성적 적대 신경망은 딥 러닝 신경망에 속한다.

본 실시예에서 구축된 생성적 적대 신경망에서, 생성기의 역할은 진실 샘플과 가능한 비슷한 생성 샘플을 생성하는 것이고, 판별기의 역할은 진실 샘플과 생성 샘플을 가능한 구분하는 것이다. 생성기와 판별기 사이의 적대 게임의 방식을 통해 생성적 적대 신경망을 훈련하여 생성기에 의해 출력한 생성 샘플의 진실성이 가능한 높도록 하여 판별기로 하여금 생성 모델에 의해 얻은 출력이 생성 샘플인지 진실 샘플인지 구분할 수 없도록 한다.

구체적으로, 본 실시예에서 구축된 생성적 적대 신경망 중 생성기는 3개 이미지 생성 분기를 포함하고, 각각 전경 이미지 생성 분기, 마스크 이미지 생성 분기 및 배경 이미지 생성 분기이며, 각각의 분기는 획득된 이미지 특징에 따라 각각 생성 전경 이미지, 마스크 이미지 및 배경 이미지를 생성한다. 그중, 생성기에 포함된 3개 이미지 생성 분기의 망 구조는 심층 신경망(deep neural network)으로, 컨볼루션 신경망(convolutional neural network), 순환 신경망(recurrent neural network), 재귀 신경망 등일 수 있다.

즉, 본 실시예는 생성적 적대 신경망 중 생성기에서 전경 이미지, 마스크 이미지 및 배경 이미지에 대해 동시에 모델링하여, 복수개 모델을 사용하여 각각 모델링하는 것을 피할 수 있으므로 이미지 편집 모델의 구축 절차를 간편화하여 이미지 편집 모델을 구축하는데 필요한 자원 소모를 감소한다.

본 실시예는 생성기와 판별기를 포함한 생성적 적대적 신경망을 구축하여 얻은 후, 훈련 샘플 중 제1 이미지 및 이에 대응하는 제2 이미지에 따라 생성적 적대 신경망을 훈련하여 얻은 생성적 적대 신경망 중 생성기를 이미지 편집 모델로 하여 당해 이미지 편집 모델은 생성 이미지 중 소실 배경에 대해 보충할 수 있다.

본 실시예는 교체적으로 훈련의 방식을 사용하여 생성기와 판별기에 의해 구축된 생성적 적대 신경망에 대해 훈련하여, 전체 생성적 적대 신경망이 수렴될 때, 생성적 적대 신경망의 훈련이 끝났다고 보고, 훈련하여 얻은 생성적 적대 신경망 중 생성기를 이미지 편집 모델로 한다.

구체적으로, 본 실시예는 생성적 적대 신경망을 훈련할 때, 다음 방식을 사용할 수 있다： 훈련 샘플 중 제2 이미지를 진실 샘플로 한다； 제1 이미지를 생성기에 입력한 후, 먼저 제1 이미지의 이미지 특징을 획득한다. 당해 이미지 특징은 벡터로 표시된 이미지의 심층 시맨틱 정보(deep semantic information)이다. 다음, 이미지 특징을 전경 이미지 생성 분기, 마스크 이미지 생성 분기 및 배경 이미지 생성 분기에 입력하고, 마지막에 생성된 전경 이미지, 마스크 이미지 및 배경 이미지를 융합하여 생성 샘플을 얻는다； 생성 샘플 및 이에 대응하는 진실 샘플을 판별기의 입력으로 한다； 생성적 적대 신경망이 수렴될 때까지 생성기와 판별기를 교체하여 훈련한다.

본 실시예는 생성적 적대 신경망이 수렴될 때까지 생성기와 판별기를 교체적으로 훈련할 때, 구체적으로 판별 모델의 출력 결과에 따라 대응하는 생성기와 판별기의 손실 함수를 얻고, 다음 생성기와 판별기의 손실 함수에 따라 적대 신경망이 수렴될 때까지 생성기와 판별기의 망 구조 중 파라미터를 조절한다.

본 실시예는 손실 함수에 따라 생성기와 판별기의 망 구조의 파라미터를 조절할 경우, 생성기와 판별기의 훈련 목표는 각각 최소화 손실 함수이다. 선택적으로, 본 실시예의 하나의 구체적인 실현 과정에서, 미리 설정된 차수 내에 얻은 손실 함수가 수렴할 경우 당해 손실 함수가 최소화라고 보며； 얻은 손실 함수가 미리 설정된 값으로 수렴할 경우, 손실 함수가 최소화라고 볼 수 있으며； 또한 훈련 차수가 미리 설정된 차수를 초과할 경우, 손실 함수 최소화라고 볼 수 있다.

본 실시예 중 생성기는 전경 이미지, 마스크 이미지 및 배경 이미지를 융합할 때, 구체적으로 마스크 이미지 중 픽셀값이 1인 영역에 전경 이미지의 내용을 사용하고, 마스크 이미지 중 픽셀값이 0인 영역에 배경 이미지의 내용을 사용하여 융합 이미지를 얻는다.

본 실시예 중 생성기에 3개 이미지 생성 분기를 포함하고, 각각의 이미지 분기는 각각 하나의 신경망이므로 본 실시예 중 생성기의 손실 함수는 대응하는 3개 이미지 생성 분기의 손실 함수로 구성되며, 3개 이미지 생성 분기의 손실 함수가 모두 최소화할 경우, 즉 생성기의 손실 함수 최소화로 볼 수 있음을 이해할 수 있다. 따라서, 본 실시예는 3개 이미지 생성 분기의 손실 함수에 대해 각각 설정하여, 각각의 분기의 망 구조 중 파라미터의 조절 정확성을 향상시킬 수 있으므로, 생성기로 하여금 진실 샘플과 더욱 비슷한 생성 샘플을 생성할 수 있도록 한다.

여기서, 본 실시예에서 마스크 이미지 생성 분기에 대응하는 손실 함수는 생성된 마스크 이미지와 진실 샘플의 전경/배경 분할 결과가 일치하도록 제한하기 위해 사용되며； 전경 이미지 생성 분기에 대응하는 손실 함수는 생성된 전경 이미지와 진실 샘플의 전경 이미지가 가능한 근접하도록 제한하기 위해 사용된다. 즉 생성 샘플은 가능한 진실 샘플과 근접하며； 배경 이미지 생성 분기에 대응하는 손실 함수는 생성된 배경과 진실 샘플의 배경이 일치하도록 제한하기 위해 사용된다.

본 실시예의 상술한 방법을 이용하여 얻은 이미지 편집 모델은 하나의 모델에서 이미지의 전경, 배경 및 마스크에 대해 동시에 모델링하는 방식으로 한편으로 입력 이미지의 전경 감소로 인한 생성 이미지 배경 소실의 문제를 해결하므로 이미지 편집 모델의 편집 성능을 향상시킨다. 다른 한편으로 서로 다른 모델을 사용하여 전경, 배경 및 마스크에 대해 각각 모델링하여 나타나는 절차가 번거롭고, 시스템 자원 소모가 비교적 높은 문제를 피하여 이미지 편집 모델의 구축 절차를 간편하게 하여 비교적 낮은 시스템 자원을 소모함으로써 이미지 편집 모델을 구축하는 목적을 구현하였다.

도 2는 본 출원 제2 실시예에 따른 개략도이다. 도 2에는 본 실시예 중 이미지 편집 모델의 편집 과정을 나타낸다. 도 2에 나타낸 바와 같이, 입력 이미지는 이미지 편집 모델에 입력된 후, 먼저 입력 이미지의 이미지 특징을 추출한 후 이미지 특징을 전경 이미지 생성 분기, 마스크 이미지 생성 분기 및 배경 이미지 생성 분기에 각각 입력한다. 마지막에 생성된 전경 이미지, 마스크 이미지 및 배경 이미지를 융합하여 융합 결과를 최종 생성 이미지로 한다.

도 3은 본 출원 제3 실시예에 따른 개략도이다. 도 3에 나타낸 바와 같이, 본 실시예의 이미지 편집 모델 구축 장치는：

제1 이미지 및 이에 대응하는 제2 이미지를 포함하는 훈련 샘플을 획득하기 위한 획득 유닛(301)；

배경 이미지 생성 분기, 마스크 이미지 생성 분기 및 전경 이미지 생성 분기를 포함하는 생성기와 판별기를 포함하는 생성적 적대 신경망을 구축하기 위한 구축 유닛(302)；

제1 이미지 및 이에 대응하는 제2 이미지에 따라 상기 생성적 적대 신경망을 훈련하며, 훈련하여 얻은 상기 생성적 적대 신경망 중 생성기를 이미지 편집 모델로 하기 위한 훈련 유닛(303)을 포함한다.

획득 유닛(301)에 의해 획득된 훈련 샘플에는 제1 이미지 및 이에 대응하는 제2 이미지를 포함하며, 그중 제2 이미지는 제1 이미지를 편집할 때 얻은 완전한 배경을 가진 이미지로 볼 수 있다.

획득 유닛(301)은 훈련 샘플을 획득할 때, 획득된 이미지에 따라 제1 이미지 및 이에 대응하는 제2 이미지를 직접 설정할 수 있다. 획득 유닛(301)은 이미지 사이의 대응 관계를 설정할 때, 유저에 의해 실제 수요에 따라 수동으로 제1 이미지 및 이에 대응하는 제2 이미지를 설정할 수 있다； 각각의 이미지에 대해 내용을 인식한 후, 미리 설정된 내용 대응 관계에 따라 자동으로 제1 이미지 및 이에 대응하는 제2 이미지를 설정할 수 있다.

또한, 획득 유닛(301)은 훈련 샘플을 획득할 때, 다음 방식을 사용할 수 있다： 전경 이미지와 배경 이미지를 획득하고, 그중 전경 이미지는 사람 또는 물체의 이미지이다； 대응 관계를 구비하는 두 개의 전경 이미지와 동일한 배경 이미지를 각각 융합하여, 융합 결과를 제1 이미지 및 이에 대응하는 제2 이미지로 한다. 여기서, 획득 유닛(301)은 유저에 의해 수동으로 대응 관계를 가진 두 개의 전경 이미지를 선택할 수 있다； 또한 이미지에 대해 내용을 인식한 후, 대응 관계를 가진 두 개의 전경 이미지를 자동으로 선택할 수도 있다.

본 실시예에서 획득 유닛(301)에 의해 훈련 샘플을 획득한 후, 구축 유닛 (302)에 의해 생성기와 판별기를 포함하는 생성적 적대 신경망을 구축하는 작업을 수행하여, 훈련하여 얻은 생성적 적대 신경망 중 생성기에 기반하여 생성 이미지 중 소실 배경을 보충할 수 있는 이미지 편집 모델을 얻는다.

구축 유닛(302)에 의해 구축된 생성적 적대 신경망에서, 생성기의 역할은 진실 샘플과 가능한 비슷한 생성 샘플을 생성하는 것이고, 판별기의 역할은 가능한 진실 샘플과 생성 샘플을 구분하는 것이다. 생성기와 판별기 사이 적대 게임의 방식에 의해 생성적 적대 신경망을 훈련하여, 생성기에 의해 출력된 생성 샘플의 진실성이 가능한 높도록 하여, 판별기가 생성 모델에 의해 얻은 출력이 생성 샘플인지 진실 샘플인지 구분할 수 없도록 한다.

구체적으로, 구축 유닛(302)에 의해 구축된 생성적 적대 신경망 중 생성기는 3개 이미지 생성 분기를 포함하며, 각각 전경 이미지 생성 분기, 마스크 이미지 생성 분기 및 배경 이미지 생성 분기이다. 각각의 분기는 획득된 이미지 특징에 따라 전경 이미지, 마스크 이미지 및 배경 이미지를 각각 생성한다. 여기서, 생성기에 포함된 3개 이미지 생성 분기의 망 구조는 심층 신경망이고, 컨볼루션 신경망, 순환 신경망, 재귀 신경망 등일 수 있다.

구축 유닛(302)은 구축하여 생성기와 판별기를 포함한 생성적 적대 신경망을 얻은 후, 훈련 유닛(303)에 의해 샘플 중 제1 이미지 및 이에 대응하는 제2 이미지에 따라 생성적 적대 신경망을 훈련하며, 훈련하여 얻은 생성적 적대 신경망 중 생성기를 이미지 편집 모델로 하며, 당해 이미지 편집 모델은 생성 이미지 중 소실 배경에 대해 보충할 수 있다.

훈련 유닛(303)은 교체적으로 훈련의 방식을 사용하여 생성기와 판별기로 구축된 생성적 적대 신경망에 대해 훈련하며, 전체 생성적 적대 신경망이 수렴할 경우, 생성적 적대 신경망의 훈련이 끝났다고 보며, 훈련하여 얻은 생성적 적대 신경망 중 생성기를 이미지 편집 모델로 한다.

구체적으로, 훈련 유닛(303)은 생성적 적대 신경망을 훈련할 때, 다음 방식을 사용할 수 있다： 훈련 샘플 중 제2 이미지를 진실 샘플로 한다； 제1 이미지를 생성기에 입력한 후, 먼저 제1 이미지의 이미지 특징을 획득한 다음 이미지 특징을 전경 이미지 생성 분기, 마스크 이미지 생성 분기 및 배경 이미지 생성 분기에 각각 입력하고, 마지막에 생성된 전경 이미지, 마스크 이미지 및 배경 이미지를 융합하여 생성 샘플을 얻는다； 생성 샘플 및 이에 대응하는 진실 샘플을 판별기의 입력으로 한다； 생성적 적대 신경망이 수렴될 때까지 생성기와 판별기를 교체적으로 훈련한다.

훈련 유닛(303)은 생성적 적대 신경망이 수렴될 때까지 생성기와 판별기를 교체적으로 훈련하며, 구체적으로 판별 모델의 출력 결과에 따라 생성기와 판별기에 대응하는 손실 함수를 얻은 다음 생성기와 판별기의 손실 함수에 따라 적대 신경망이 수렴될 때까지 생성기와 판별기의 망 구조 중 파라미터를 조절한다.

훈련 유닛(303)은 손실 함수에 따라 생성기와 판별기의 망 구조의 파라미터를 조절할 때, 생성기와 판별기의 훈련 목표는 각각 손실 함수를 최소화하는 것이다. 선택적으로, 훈련 유닛(303)의 하나의 구체적인 구현 과정에서 미리 설정된 차수 내에 얻은 손실 함수가 수렴되면, 당해 손실 함수가 최소화되었다고 본다； 또는 얻은 손실 함수가 미리 설정된 값으로 수렴될 경우, 손실 함수가 최소화되었다고 본다； 또는 훈련 차수가 미리 설정된 차수를 초과할 경우, 손실 함수가 최소화되었다고 본다.

구축 유닛(302)에 의해 구축된 생성기에는 3개 이미지 생성 분기가 포함되고, 각각의 이미지 분기는 각각 하나의 신경망이므로 훈련 유닛(303) 중 생성기의 손실 함수는 대응하는 3개 이미지 생성 분기의 손실 함수로 구성할 수 있다. 3개 이미지 생성 분기의 손실 함수가 모두 최소화일 경우, 생성기의 손실 함수를 최소화로 볼 수 있음을 이해할 수 있다.

여기서, 훈련 유닛(303) 중 마스크 이미지 생성 분기에 대응하는 손실 함수는 생성된 마스크 이미지와 진실 샘플의 전경/배경 분할 결과가 일치하도록 제한하기 위해 사용된다； 전경 이미지 생성 분기에 대응하는 손실 함수는 생성된 전경 이미지와 진실 샘플의 전경 이미지가 가능한 근접하도록 제한하기 위해 사용되며, 즉 생성 샘플이 가능한 진실 샘플에 근접한다； 배경 이미지 생성 분기에 대응하는 손실 함수는 생성된 배경과 진실 샘플의 배경이 일치하도록 제어하기 위해 사용된다.

본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 컴퓨터 판독 가능 기록 매체를 더 제공한다.

도 4에 나타낸 바와 같이, 본 출원 실시예에 따른 이미지 편집 모델 구축 방법의 전자 기기의 블럭도이다. 전자 기기는 예를 들면 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타낸다. 전자 기기 또한 예를 들면 개인 디지털 처리기, 셀폰, 스마트 전화, 웨어러블 기기 및 기타 유사한 계산 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수 있다. 본 명세서에 나타낸 구성 요소, 이들의 연결과 관계 및 이들의 기능은 단지 예일 뿐이며, 본 명세서에서 기술하거나 및/또는 요구하는 본 발명의 구현을 한정하려는 것이 아니다.

도 4에 나타낸 바와 같이, 당해 전자 기기는 하나 또는 복수의 프로세서(401), 메모리(402) 및 각각의 구성 요소를 연결하기 위한 인터페이스를 구비하며, 당해 인터페이스는 고속 인터페이스 및 저속 인터페이스를 포함한다. 각각의 구성 요소는 서로 다른 버스를 통해 상호 연결되며, 공통 마더 보드에 설치되거나 또는 수요에 따라 기타 방식으로 설치된다. 프로세서 전자 기기 내에서 수행되는 명령에 대해 처리를 수행할 수 있으며, 메모리 내에 기억되어 외부 입력/출력 장치 (예를 들면 인터페이스에 연결된 디스플레이 기기) 상에 GUI의 그래픽 정보를 표시하기 위한 명령을 포함한다. 기타 실시 방식에 있어서, 필요할 경우, 복수의 프로세서 및/또는 복수의 버스와 복수의 메모리를 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있으며, 각각의 기기는 부분적인 필요한 조작 (예를 들면, 서버 어레이, 일 그룹의 블레이드 서버, 또는 다중 프로세서 시스템)을 제공한다. 도 4에서는 하나의 프로세서(401)의 예를 들었다.

메모리(402)는 본 출원에 의해 제공되는 비 일시적 컴퓨터 판독 가능 기록 매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 수행 가능한 명령이 기억되어 있으며, 상기 적어도 하나의 프로세서로 하여금 본 출원에 의해 제공되는 이미지 편집 모델 구축 방법을 수행하도록 한다. 본 출원의 비 일시적 컴퓨터 판독 가능 기록 매체는 컴퓨터 명령을 기억하며, 당해 컴퓨터 명령은 컴퓨터로 하여금 본 출원에 의해 제공되는 이미지 편집 모델의 구축 방법을 수행하도록 한다.

메모리(402)는 일종의 비 일시적 컴퓨터 판독 가능 기록 매체로서, 비 일시적 소프트웨어 프로그램, 비 일시적 컴퓨터 수행 가능 프로그램 및 모듈을 기억하는데 사용될 수 있는 바, 예를 들면 본 출원 실시예의 이미지 편집 모델 구축 방법에 대응하는 프로그램 명령/모듈(예를 들면, 도 3에 나타낸 획득 유닛(301), 구축 유닛(302) 및 훈련 유닛(303))을 기억하는데 사용될 수 있다. 프로세서(401)는 메모리(402) 내에 기억된 비 일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써, 서버의 다양한 기능 응용 및 데이터 처리를 수행하는 바, 상술한 방법 실시예의 이미지 편집 모델 구축 방법을 구현한다.

메모리(402)는 프로그램 기억 영역 및 데이터 기억 영역을 포함할 수 있으며, 여기서, 프로그램 기억 영역은 운영 체제 및 적어도 하나의 기능에 필요한 앱을 기억할 수 있고, 데이터 기억 영역은 전자 기기의 사용을 통해 생성된 데이터 등을 기억할 수 있다. 또한, 메모리(402)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 비 일시적 메모리를 더 포함할 수 있는 바, 예를 들면 적어도 하나의 자기 디스크 저장 장치, 플래시 장치, 또는 기타 비 일시적 고체 저장 장치를 포함할 수 있다. 일부 실시예에 있어서, 메모리(402)는 선택적으로 프로세서(401)에 대해 원격 설치한 메모리를 포함할 수 있으며, 이러한 원격 메모리는 네트워크를 통해 전자 기기에 연결될 수 있다. 상술한 네트워크의 실시예는 인터넷, 기업 인트라 넷, 근거리 통신 네트워크, 이동 통신 네트워크 및 이들의 조합을 포함하나 이에 한정되지 않는다.

이미지 편집 모델을 구축하는 전자 기기는 입력 장치(403)와 출력 장치(404)를 더 포함할 수 있다. 프로세서(401), 메모리(402), 입력 장치(403) 및 출력 장치(404)는 버스 또는 기타 방식을 통해 연결될 수 있으며, 도 4에서는 버스를 통해 연결하는 예를 들었다.

입력 장치(403)는 입력된 디지털 또는 문자 정보를 수신하고, 또한 이미지 편집 모델을 구축하는 전자 기기의 유저 설정 및 기능 제어에 관한 키 신호 입력을 생성할 수 있다. 예를 들면 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치를 포함할 수 있다. 출력 장치(404)는 디스플레이 기기, 보조 조명 장치(예를 들면 LED) 및 촉각 피드백 장치(예를 들면 진동 모터) 등을 포함할 수 있다. 당해 디스플레이 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 등 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시 방식에 있어서, 디스플레이 기기는 터치 스크린일 수 있다.

여기서 설명하는 시스템 및 기술의 다양한 실시 방식은 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC(전용 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 실시되고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템 상에서 수행 및/또는 해석될 수 있으며, 당해 프로그램 가능 프로세서는 전용 또는 일반 프로그램 가능 프로세서일 수 있고, 기억 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 또한 데이터 및 명령을 당해 기억 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치에 전송할 수 있다.

이러한 계산 프로그램(프로그램, 소프트웨어, 소프트웨어 응용 또는 코드로도 불림)은 프로그램 가능 프로세서의 기계 명령을 포함하며, 또한 고급 과정 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어를 이용하여 이러한 계산 프로그램을 실시할 수 있다. 본 명세서에서 사용되는 “기계 판독 가능 매체” 및 “컴퓨터 판독 가능 매체”와 같은 용어는, 기계 명령 및/또는 데이터를 프로그램 가능 프로세서의 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치 (예를 들면, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치 (PLD))에 제공하기 위한 것을 의미하며, 기계 판독 가능 신호로서의 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. “기계 판독 가능 신호”와 같은 용어는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 의미한다.

유저와의 대화를 제공하기 위하여, 컴퓨터 상에서 여기서 설명하는 시스템 및 기술을 실시할 수 있으며, 당해 컴퓨터는 유저에게 정보를 표시하기 위한 디스플레이 장치 (예를 들면 CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터) 및 키보드와 포인팅 장치(예를 들면, 마우스 또는 트랙볼)를 구비할 수 있으며, 유저는 당해 키보드 및 당해 포인팅 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 기타 유형의 장치는 또한 유저와의 대화를 제공하는데 사용될 수 있다. 예를 들면, 유저에 제공하는 피드백은 임의의 형태의 감각 피드백 (예를 들면, 시각적 피드백, 청각적 피드백, 또는 촉각 피드백)일 수 있으며, 또한 임의의 형태(음향 입력, 음성 입력 또는 촉각 입력을 포함함)를 통해 유저로부터의 입력을 수신할 수 있다.

여기서 설명하는 시스템 및 기술을 백엔드 구성 요소를 포함하는 계산 시스템 (예를 들면 데이터 서버), 또는 미들웨어 구성 요소를 포함하는 계산 시스템 (예를 들면 응용 서버), 또는 프런트엔드 구성 요소를 포함하는 계산 시스템 (예를 들면 그래픽 유저 인터페이스 또는 웹 브라우저를 구비하는 유저 컴퓨터인 바, 유저는 당해 그래픽 유저 인터페이스 또는 당해 웹 브라우저를 통해 여기서 설명하는 시스템 및 기술의 실시 방식과 대화함), 또는 이러한 백엔드 구성 요소, 미들웨어 구성 요소, 또는 프런트엔드 구성 요소의 임의의 조합을 포함하는 계산 시스템에서 실시할 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신 (예를 들면, 통신 네트워크)을 통해 시스템의 구성 요소를 상호 연결할 수 있다. 통신 네트워크의 예는 근거리 통신 네트워크(LAN), 광역 통신 네트워크(WAN) 및 인터넷을 포함한다.

컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있고, 또한 일반적으로 통신 네트워크를 통해 대화를 수행한다. 해당되는 컴퓨터 상에서 운행되고, 또한 클라이언트 - 서버 관계를 갖는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 발생시킬 수 있다.

본 출원 실시예에 따른 기술 구성은 하나의 모델에서 동시에 이미지의 전경, 배경 및 마스크에 대해 모델링하는 방식을 통해 한편으로 입력 이미지의 전경 감소로 인한 생성 이미지 배경 소실의 문제를 해결할 수 있으므로, 이미지 편집 모델의 편집 성능을 향상시키고, 다른 한편으로 서로 다른 모델을 사용하여 전경, 배경 및 마스크에 대해 각각 모델링하여 나타나는 절차가 번거롭고 시스템 자원 소모가 비교적 높은 문제를 피하므로, 이미지 편집 모델의 구축 절차를 간편화하여 비교적 낮은 시스템 자원 소모로 이미지 편집 모델을 구축할 수 있는 목표를 구현하였다.

상기에 나타낸 다양한 형태의 흐름을 이용하여 단계를 재정렬, 증가 또는 삭제할 수 있음을 이해해야 한다. 예를 들면, 본 발명에 기재된 각각의 단계는 병렬로 수행되거나 또는 차례로 수행되거나 또는 다른 순서로 수행될 수 있으며, 본 출원이 개시하는 기술 구성이 원하는 결과를 구현할 수 있는 한, 본 명세서는 이에 대해 한정하지 않는다.

상술한 구체적인 실시 방식은 본 발명의 보호 범위를 한정하지 않는다. 당업자는 설계 요건 및 기타 요인에 따라 다양한 수정, 조합, 서브 조합 및 대체를 수행할 수 있음을 이해해야 한다. 본 발명의 정신 및 원칙 내에서 이루어진 임의의 수정 동등한 대체 및 개선 등은 모두 본 발명의 보호 범위 내에 포함되어야 한다.

Claims

제1 이미지 및 이에 대응하는 제2 이미지를 포함하는 훈련 샘플을 획득하는 단계;
배경 이미지, 마스크 이미지 및 전경 이미지에 대해 동시에 각각 모델링하기 위한 배경 이미지(background image) 생성 분기(分岐), 마스크 이미지(mask image) 생성 분기 및 전경 이미지(foreground image) 생성 분기를 포함하는 생성기(generator), 및 판별기(discriminator)를 포함하는 생성적 적대 신경망(generative adversarial network, GAN)을 구축하는 단계; 및
상기 제1 이미지를 상기 생성기의 입력으로 사용하고, 상기 생성기의 출력과 상기 제2 이미지를 상기 판별기의 입력으로 사용하여, 상기 생성적 적대 신경망이 수렴될 때까지 상기 생성적 적대 신경망을 훈련하며, 훈련하여 얻은 상기 생성적 적대 신경망 중의 상기 생성기를 이미지 편집 모델로 하는 단계;
를 포함하되,
상기 훈련 샘플을 획득하는 단계는:
전경 이미지와 배경 이미지를 획득하는 단계; 및
대응 관계를 가진 두 개의 전경 이미지와 동일한 배경 이미지를 각각 융합하여 융합 결과를 상기 훈련 샘플 중의 상기 제1 이미지 및 이에 대응하는 제2 이미지로 하는 단계;
를 포함하는,
이미지 편집 모델 구축 방법.
제1항에 있어서,
상기 배경 이미지 생성 분기, 마스크 이미지 생성 분기 및 전경 이미지 생성 분기의 망 구조는 심층 신경망(deep neural network)인,
이미지 편집 모델 구축 방법.
제1항에 있어서,
상기 제1 이미지 및 이에 대응하는 제2 이미지에 따라 상기 생성적 적대 신경망을 훈련하는 단계는:
상기 훈련 샘플 중의 제2 이미지를 진실 샘플로 하는 단계;
상기 제1 이미지를 상기 생성기에 입력한 후, 이미지 특징을 추출하여 상기 전경 이미지 생성 분기, 마스크 이미지 생성 분기 및 배경 이미지 생성 분기에 각각 입력하고, 각각의 분기에 의해 생성된 이미지를 융합하여 생성 샘플을 얻는 단계;
상기 생성 샘플 및 이에 대응하는 진실 샘플을 판별기의 입력으로 하는 단계; 및
상기 생성적 적대 신경망이 수렴될 때까지 상기 생성기와 판별기를 교체적으로 훈련하는 단계;
를 포함하는,
이미지 편집 모델 구축 방법.
제3항에 있어서,
상기 생성적 적대 신경망이 수렴될 때까지 상기 생성기와 판별기를 교체적으로 훈련하는 단계는:
상기 생성기에 포함된 3개의 이미지 생성 분기에 대하여, 각각의 이미지 생성 분기에 대응하는 손실 함수를 구축하는 단계: 및
각각의 이미지 생성 분기에 대응하는 손실 함수에 따라, 상기 생성적 적대 신경망이 수렴될 때까지 각각의 이미지 생성 분기의 망 구조 중의 파라미터를 각각 조절하는 단계;
를 포함하는,
이미지 편집 모델 구축 방법.
제1 이미지 및 이에 대응하는 제2 이미지를 포함하는 훈련 샘플을 획득하기 위한 획득 유닛;
배경 이미지, 마스크 이미지 및 전경 이미지에 대해 동시에 각각 모델링하기 위한 배경 이미지 생성 분기, 마스크 이미지 생성 분기 및 전경 이미지 생성 분기를 포함하는 생성기, 및 판별기를 포함하는 생성적 적대 신경망을 구축하는 구축 유닛; 및
상기 제1 이미지를 상기 생성기의 입력으로 사용하고, 상기 생성기의 출력과 상기 제2 이미지를 상기 판별기의 입력으로 사용하여, 상기 생성적 적대 신경망이 수렴될 때까지 상기 생성적 적대 신경망을 훈련하며, 훈련하여 얻은 상기 생성적 적대 신경망 중의 상기 생성기를 이미지 편집 모델로 하는 훈련 유닛;
을 포함하되,
상기 획득 유닛은 훈련 샘플을 획득할 때,
전경 이미지와 배경 이미지를 획득하며;
대응 관계를 구비한 두 개의 전경 이미지와 동일한 배경 이미지를 각각 융합하며, 융합된 결과를 상기 훈련 샘플 중의 상기 제1 이미지 및 이에 대응하는 제2 이미지로 하는
것을 수행하는,
이미지 편집 모델 구축 장치.
제5항에 있어서,
상기 구축 유닛에 의해 구축된 배경 이미지 생성 분기, 마스크 이미지 생성 분기 및 전경 이미지 생성 분기의 망 구조는 심층 신경망인,
이미지 편집 모델 구축 장치.
제5항에 있어서,
상기 훈련 유닛은 제1 이미지 및 이에 대응하는 제2 이미지에 따라 상기 생성적 적대 신경망을 훈련할 때 구체적으로:
상기 훈련 샘플 중의 제2 이미지를 진실 샘플로 하고;
제1 이미지를 생성기에 입력한 후, 이미지 특징을 추출하여 상기 전경 이미지 생성 분기, 마스크 이미지 생성 분기 및 배경 이미지 생성 분기에 각각 입력하고, 각각의 분기에 의해 생성된 이미지를 융합하여 생성 샘플을 얻으며;
상기 생성 샘플 및 이에 대응하는 진실 샘플을 상기 판별기의 입력으로 하고;
상기 생성적 적대 신경망이 수렴될 때까지 상기 생성기와 판별기를 교체적으로 훈련하는
것을 수행하는,
이미지 편집 모델 구축 장치.
제7항에 있어서,
상기 훈련 유닛은 상기 생성적 적대 신경망이 수렴될 때까지 상기 생성기와 판별기를 교체적으로 훈련할 때,
상기 생성기에 포함된 3개의 이미지 생성 분기에 대하여, 각각의 이미지 생성 분기에 대응하는 손실 함수를 구축하며;
각각의 이미지 생성 분기에 대응하는 손실 함수에 따라 상기 생성적 적대 신경망이 수렴될 때까지 각각의 이미지 생성 분기의 망 구조 중의 파라미터를 각각 조절하는
것을 수행하는,
이미지 편집 모델 구축 장치.
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결된 메모리를 구비하며,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 수행 가능한 명령이 기억되어 있으며, 상기 명령이 상기 적어도 하나의 프로세서에 의해 수행되어, 상기 적어도 하나의 프로세서로 하여금 제1항 내지 제4항 중 어느 한 항에 기재된 방법을 수행하도록 하는,
전자 기기.
컴퓨터 명령이 기억되어 있는 비 일시적 컴퓨터 판독 가능 기록 매체에 있어서,
상기 컴퓨터 명령은 상기 컴퓨터로 하여금 제1항 내지 제4항 중 어느 한 항에 기재된 방법을 수행하도록 하는,
기록 매체.
비 일시적 컴퓨터 판독 가능 기록 매체에 기억되어 있는 프로그램에 있어서,
상기 프로그램은 상기 컴퓨터로 하여금 제1항 내지 제4항 중 어느 한 항에 기재된 방법을 수행하도록 하는,
프로그램.
삭제
삭제