KR20220097255A - 이미지 생성 방법 및 장치 - Google Patents

이미지 생성 방법 및 장치 Download PDF

Info

Publication number
KR20220097255A
KR20220097255A KR1020210184101A KR20210184101A KR20220097255A KR 20220097255 A KR20220097255 A KR 20220097255A KR 1020210184101 A KR1020210184101 A KR 1020210184101A KR 20210184101 A KR20210184101 A KR 20210184101A KR 20220097255 A KR20220097255 A KR 20220097255A
Authority
KR
South Korea
Prior art keywords
image
color
style
colors
information
Prior art date
Application number
KR1020210184101A
Other languages
English (en)
Inventor
팽현석
Original Assignee
팽현석
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 팽현석 filed Critical 팽현석
Publication of KR20220097255A publication Critical patent/KR20220097255A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 개시의 일 실시예에 따라, 컴퓨팅 장치에 의해 수행되는 이미지 생성 방법으로서, 상기 방법은, 한국어 텍스트, 대상 이미지, 스타일 이미지 중 적어도 하나를 입력 받는 단계, 컬러 추출 모델에 상기 한국어 텍스트를 입력하여, 하나 이상의 컬러를 포함하는 컬러 팔레트를 생성하는 단계, 컬러 적용 모델을 사용하여, 상기 대상 이미지에 상기 컬러 팔레트가 적용된 중간 변환 이미지를 생성하는 단계, 및 스타일 적용 모델에 상기 스타일 이미지 및 상기 중간 변환 이미지를 입력하여, 상기 대상 이미지에 상기 스타일 이미지와 연관된 스타일이 적용된 최종 변환 이미지를 생성하는 단계를 포함할 수 있다.

Description

이미지 생성 방법 및 장치 {METHOD AND APPARATUS FOR IMAGE CREATION}
본 개시는 이미지 생성 방법 및 장치에 관한 것으로, 구체적으로 한국어 기반의 컬러 팔레트와 스타일 적용 모델을 이용하는 이미지 생성 방법 및 장치에 관한 것이다.
컬러는 단순히 물체에서 표현되는 색채뿐 아니라 정서적인 영향을 전달하며, 의미적 상관관계를 가지는 언어와 긴밀히 연결되어 있다. 예를 들어, 파란색을 보면 시원함을 느끼거나 주황색을 보면 따뜻함을 느낄 수 있다. 또한, 사과라는 글자를 보면 빨간색이 연상되기 때문에 특정 단어는 특정 컬러를 의미하는 사회적인 공감대를 형성한다.
이러한 컬러와 단어와의 상관관계를 활용하여 사용자에게 특정 의미를 전달하거나 느낌을 유도하는 방법이 산업 전반에서 사용된다. 이때, 컬러 종류와 특정 컬러마다의 스펙트럼이 다양하기 때문에 실제 산업 현장에서 전문적인 인력과의 협업으로 업무가 진행되기 때문에, 추구하고자 하는 의미 또는 느낌을 정확하게 전달하는 의사소통이 중요하다.
하지만, 서로 다른 이미지를 떠올리며 의사 소통이 진행되는 경우가 많고, 정확한 의미 또는 느낌을 전달하기가 어려워 작업이 지연되고 업무적인 병목현상이 발생하기 쉽다. 또한, 대부분의 실제 컨텐츠에서 컬러만 변환하는 경우에는 컨텐츠가 가지는 고유 스타일에 의해 해당 컨텐츠의 이미지가 달라질 수 있다.
이에, 언어와 컬러의 관계를 학습하여 텍스트 입력으로 컬러를 선정해주며, 컨텐츠의 사용성을 높이도록 컨텐츠의 고유 스타일을 유지하면서 선정된 컬러가 적용할 수 있는 기술이 요구된다.
본 발명의 한 실시예는 텍스트 데이터로부터 컬러를 추출하고, 대상 이미지에 추출된 컬러를 적용하고, 대상 이미지가 갖는 컨텐츠를 유지하면서 희망하는 스타일을 적용할 수 있는 이미지 생성 장치 및 방법을 제공하는 것이다.
상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 본 발명에 따른 실시예가 사용될 수 있다.
본 발명의 몇몇 실시예에 따른 컴퓨팅 장치에 의해 수행되는 이미지 생성 방법으로서, 상기 방법은, 한국어 텍스트, 대상 이미지, 스타일 이미지 중 적어도 하나를 입력 받는 단계, 컬러 추출 모델에 상기 한국어 텍스트를 입력하여, 하나 이상의 컬러를 포함하는 컬러 팔레트를 생성하는 단계, 컬러 적용 모델을 사용하여, 상기 대상 이미지에 상기 컬러 팔레트가 적용된 중간 변환 이미지를 생성하는 단계, 및 스타일 적용 모델에 상기 스타일 이미지 및 상기 중간 변환 이미지를 입력하여, 상기 중간 변환 이미지에 상기 스타일 이미지와 연관된 스타일이 적용된 최종 변환 이미지를 생성하는 단계를 포함할 수 있다.
상기 컬러 추출 모델은, 텍스트의 의미와 컬러 간의 매칭 데이터를 포함하는 학습용 팔레트 데이터에 기초하여, 상기 한국어 텍스트를 입력받는 경우, 입력된 상기 한국어 텍스트의 의미와 대응되는 상기 하나 이상의 컬러를 추론하도록 학습될 수 있다.
상기 컬러 추출 모델은, 어텐션(attention)이 적용된 시퀀스-투-시퀀스(sequence-to-sequence) 모델을 포함하도록 구현될 수 있다.
상기 컬러 추출 모델은, 상기 컬러 팔레트에 포함된 상기 하나 이상의 컬러들의 다양성에 관한 다양성 정보, 및 상기 한국어 텍스트와 상기 하나 이상의 컬러들 간의 의미 적합성에 관한 적합성 정보 중 적어도 하나에 기반하여 성능이 평가될 수 있다.
상기 다양성 정보는, 상기 하나 이상의 컬러들 간에 측정된 하나 이상의 거리 값들에 대한 평균 및 편차 중 적어도 하나를 포함할 수 있다.
상기 컬러 팔레트를 생성하는 단계는, 상기 한국어 텍스트를 토크나이즈(tokenize)하는 단계, 토크나이즈 된 상기 한국어 텍스트를 임베딩(embedding) 벡터와 매칭하는 단계, 및 상기 컬러 추출 모델에 상기 임베딩 벡터를 입력하여, 상기 하나 이상의 컬러를 포함하는 상기 컬러 팔레트를 생성하는 단계를 포함할 수 있다.
상기 중간 변환 이미지를 생성하는 단계는, 상기 대상 이미지에 포함된 픽셀들 각각의 픽셀 컬러를, 상기 컬러 팔레트의 상기 하나 이상의 컬러 중 적어도 하나와 대응되도록 변경하는 단계를 포함할 수 있다.
상기 하나 이상의 컬러 중 적어도 하나와 대응되도록 변경하는 단계는, 상기 픽셀 컬러에 관한 컬러 파라미터 값을, 상기 컬러 팔레트 내 상기 하나 이상의 컬러의 대응되는 컬러 파라미터 값과 비교하는 단계, 및 상기 픽셀 컬러를, 상기 하나 이상의 컬러 중 상기 컬러 파라미터 값의 매칭도가 가장 높은 컬러와 대응되도록 변경하는 단계를 포함할 수 있다.
상기 컬러 파라미터 값은, LAB, LCH, 또는 HSV 중 적어도 하나를 포함하는 색상 공간에, 상기 픽셀 컬러 및 상기 컬러 팔레트의 상기 하나 이상의 컬러 각각을 매핑(mapping)시켜 획득되는 복수의 컬러 파라미터 값들 중 일부일 수 있다.
상기 컬러 파라미터 값은, 상기 픽셀 컬러 및 상기 컬러 팔레트의 상기 하나 이상의 컬러 각각의 상기 복수의 컬러 파라미터 값 중, 색상(hue)과 연관된 값일 수 있다.
상기 컬러 적용 모델은, 상기 대상 이미지 및 상기 중간 변환 이미지 각각으로부터 추출된 하나 이상의 대표 컬러의 비율 간 유사도 정보, 상기 대상 이미지 및 상기 중간 변환 이미지 간의 컬러 히스토그램 정보, 및 상기 중간 변환 이미지의 상기 하나 이상의 대표 컬러와 상기 컬러 팔레트의 상기 하나 이상의 컬러 간 거리 정보 중 적어도 하나에 기반하여 성능이 평가될 수 있다.
상기 최종 변환 이미지를 생성하는 단계는, 상기 스타일 이미지로부터 스타일 정보를 추출하는 단계, 상기 중간 변환 이미지로부터 대상 스타일 정보를 추출하는 단계, 상기 스타일 정보 및 상기 대상 스타일 정보에 기초하여, 스타일 적용 정보를 생성하는 단계, 및 상기 스타일 적용 정보를 상기 중간 변환 이미지에 적용하여, 최종 변환 이미지를 생성하는 단계를 포함할 수 있다.
상기 스타일 정보는, 상기 스타일 이미지의 휘도(luminance) 채널로부터 추출된 정보이고, 상기 대상 스타일 정보는, 상기 중간 변환 이미지의 휘도 채널로부터 추출된 정보일 수 있다.
상기 스타일 적용 모델은, 상기 대상 이미지 및 상기 최종 변환 이미지 각각으로부터 추출된 하나 이상의 대표 컬러의 비율 간 유사도 정보, 및 상기 최종 변환 이미지의 상기 하나 이상의 대표 컬러와 상기 컬러 팔레트의 상기 하나 이상의 컬러 간 거리 정보 중 적어도 하나에 기반하여 성능이 평가될 수 있다.
본 발명의 몇몇 실시예에 따른 컴퓨팅 장치에 의해 수행되는 이미지 생성 방법으로서, 상기 방법은, 한국어 텍스트, 대상 이미지, 스타일 이미지 중 적어도 하나를 입력하여, 최종 변환 이미지를 획득하는 단계를 포함하고, 상기 최종 변환 이미지는, 상기 대상 이미지를 상기 한국어 텍스트의 의미와 대응되는 컬러 정보, 및 상기 스타일 이미지와 대응되는 스타일 정보 중 적어도 하나를 포함하도록 변환하여 생성된 이미지일 수 있다.
본 발명의 몇몇 실시예에 따른 이미지 생성 장치로서, 상기 이미지 생성 장치는, 사용자 단말로부터 한국어 텍스트, 대상 이미지, 스타일 이미지 중 적어도 하나를 입력받는 입력부, 상기 한국어 텍스트를 컬러 추출 모델에 입력하여 하나 이상의 컬러를 포함하는 컬러 팔레트를 생성하는 컬러 추출부, 상기 대상 이미지에 상기 컬러 팔레트가 적용된 중간 변환 이미지를 생성하는 컬러 적용부, 및 상기 스타일 이미지 및 상기 중간 변환 이미지를 스타일 적용 모델에 입력하여, 상기 대상 이미지에 상기 스타일 이미지와 연관된 스타일이 적용된 최종 변환 이미지를 생성하는 스타일 적용부를 포함할 수 있다.
본 발명의 한 실시예에 따르면, 원본 이미지의 색상을 토대로 사용자가 원하는 느낌을 부여하고 희망하는 스타일을 반영한 디지털 아트 리소스를 생성할 수 있다.
본 발명의 실시예에 따르면, 디자인을 수행하거나, 마케팅, 게임, 사진 및 이미지를 활용하는 앱 등과 같이, 다양한 분야에서 비전문가도 원하는 느낌을 반영하여 임의로 이미지를 생성할 수 있다.
도 1은 본 개시의 몇몇 실시예에 따른 이미지 생성 장치를 나타낸 블록도이다.
도 2는 본 개시의 몇몇 실시예에 따른 이미지 생성 방법의 순서도이다.
도 3은 본 개시의 몇몇 실시예에 따른 컬러 추출 모델, 컬러 적용 모델, 및 스타일 적용 모델의 일례를 도시한 개략도이다.
도 4는 본 개시의 몇몇 실시예에 따른 컬러 추출 모델에 의해 생성되는 컬러 팔레트의 일례를 도시한 도면이다.
도 5는 본 개시의 몇몇 실시예에 따른 컬러 추출 모델의 학습에 관한 팔레트 데이터의 일례를 도시한 도면이다.
도 6은 본 개시의 몇몇 실시예에 따른 컬러 추출 모델에 대한 성능 평가의 일례를 도시한 도면이다.
도 7은 본 개시의 몇몇 실시예에 따른 컬러 적용 모델에 의해 생성되는 중간 변환 이미지의 일례를 도시한 도면이다.
도 8은 본 개시의 몇몇 실시예에 따른 컬러 적용 모델을 통해 컬러를 적용하기 위한 다양한 색상 공간들의 일례를 도시한 도면이다.
도 9는 본 개시의 몇몇 실시예에 따른 컬러 적용 모델에 대한 성능 평가의 일례를 도시한 도면이다.
도 10은 본 개시의 몇몇 실시예에 따른 스타일 적용 모델에 의해 생성되는 최종 변환 이미지의 일례를 도시한다.
도 11은 본 개시의 몇몇 실시예에 따른 이미지 생성 방법을 제공하는 컴퓨팅 장치를 나타낸 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 네트워크를 구성하는 장치들은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 개시내용에서 “모델(model)”이라는 용어는, 하나 이상의 알고리즘 및/또는 뉴럴 네트워크를 포함하는 인공지능 모델을 의미하는 용어로 사용될 수 있다. 특히 본 개시내용에서 모델은, 사용자로부터 입력받은 한국어 텍스트, 대상 이미지, 및 스타일 이미지를 처리하여, 대상 이미지에 한국어 텍스트의 의미와 대응되는 컬러 정보, 및 스타일 이미지와 대응되는 스타일 정보 중 적어도 하나가 포함되도록 생성된 최종 변환 이미지를 추론하도록 학습된 머신러닝 모델이나 딥 러닝 모델일 수 있다.
본 개시 내용에서 모델은, 사용자로부터 입력된 한국어 텍스트에 대해, 한국어 텍스트의 의미와 대응되는 하나 이상의 컬러를 포함하는 컬러 팔레트를 생성하기 위한 컬러 추출 모델을 포함할 수 있다. 본 개시 내용에서 컬러 추출 모델은, 예컨대 시퀀스-투-시퀀스(sequence-to-sequence) 모델에 어텐션(attention)을 적용한 TPN(Text-to Palette Generation Networks) 모델로 구현될 수 있다. 이 밖에도 본 개시에 따른 컬러 추출 모델은, 한국어 텍스트를 시퀀스-투-시퀀스 모델에 입력하기에 앞서 전처리 하기 위한 토크나이징(tokenizing) 알고리즘 및/또는 임베딩(embedding) 벡터와 매칭하기 위한 임베딩 알고리즘을 더 포함하도록 구현될 수 있다.
본 개시 내용에서 모델은, 사용자로부터 입력된 대상 이미지에 컬러 팔레트를 적용하여 중간 변환 이미지를 생성하기 위한 컬러 적용 모델을 포함할 수 있다. 본 개시 내용에서 컬러 적용 모델은, 예컨대 대상 이미지에 포함된 각 픽셀의 픽셀 컬러와 컬러 팔레트에 포함된 각 컬러에 대한 색상(hue) 파라미터 값을 비교하는 색상 비교 알고리즘, 및/또는 대상 이미지의 각 픽셀 컬러를 컬러 팔레트에 포함된 컬러 중 매칭도가 가장 높은 컬러와 대응되도록 변경하는 컬러 대치 알고리즘을 포함하는, 룰-기반(rule-based) 모델로 구현될 수 있다.
다만 이에 한정되는 것은 아니며, 컬러 적용 모델(230)은 컬러 팔레트(221)와 대상 이미지(212)를 입력 받는 경우, 컬러 팔레트(221)가 대상 이미지(212)에 적용된 중간 변환 이미지(231)를 출력하도록 기 학습된 인공지능 모델로 구현될 수도 있다. 가령 컬러 적용 모델(230)은, 대상 이미지(212) 및 컬러 팔레트(221)와, 대상 이미지(212) 내 픽셀 컬러를 컬러 팔레트(221) 중 컬러 파라미터 값의 매칭도가 가장 높은 컬러로 변경하여 생성된 중간 변환 이미지(231)의 쌍을 포함하는 학습용 데이터셋을 통해, 대상 이미지(212) 및 컬러 팔레트(221)와 중간 변환 이미지(231)간의 관계를 학습한 머신러닝 모델이거나 딥러닝 모델일 수 있다.
본 개시 내용에서 모델은, 사용자로부터 입력된 스타일 이미지의 스타일을 중간 변환 이미지에 적용하여 최종 변환 이미지를 생성하기 위한 스타일 적용 모델을 포함할 수 있다. 본 개시 내용에서 스타일 적용 모델은, 예컨대 스타일 이미지와 중간 변환 이미지 각각의 휘도 채널로부터 스타일 정보를 추출하기 위한, 기 학습된 vgg-19 등의 스타일 추출 모델 및/또는 추출된 스타일 정보를 중간 변환 이미지 및/또는 대상 이미지에 적용하는 스타일 적용(style transfer) 알고리즘을 포함하도록 구현될 수 있다.
다만 이에 한정되는 것은 아니며, 본 개시 내용에서 각각의 모델들은 GAN(Generative Adversarial Network), Cycle-GAN, CNN(Convolutional Neural Network; CNN), RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory), 오토인코더(Autoencoder), DRN(Deep Residual Network) 등, 텍스트 및/또는 이미지 처리에 사용 가능한 임의의 알고리즘 및/또는 뉴럴 네트워크 구조를 사용하여 구현될 수 있다.
본 개시내용에서 “컬러(color)”라는 용어는, 색을 의미하는 용어로 사용될 수 있다. 구체적으로 각각의 컬러는, 빛의 파장에 대한 눈의 반응으로서, 색상(hue), 명도(lightness), 및 채도(chroma) 속성을 통해 정의될 수 있다. 각각의 컬러는, 색상, 명도, 및 채도를 각각의 축으로 하여 형성되는 색상 공간에 매핑(mapping)되는 경우, 복수의 컬러 파라미터 값으로서 표현될 수 있다. 특히 본 개시에 있어서 컬러는, 한국어 텍스트를 컬러 추출 모델에 입력하여 획득되는 컬러 팔레트를 구성하는 요소일 수 있으며, 대상 이미지에 있어서 컬러 적용 모델에 의한 컬러 변경의 대상이 되는 요소일 수 있다.
본 개시내용에서 “스타일(style)”이라는 용어는, 이미지의 화풍 내지 느낌을 의미하는 용어로 사용될 수 있다. 가령, 모네의 그림으로부터 느껴지는 모네 특유의 화풍 내지 느낌이거나, 고흐의 그림으로부터 느껴지는 고흐 특유의 화풍 내지 느낌일 수 있다. 스타일은 컨텐츠(이미지의 내용 내지는 형태)와 함께 이미지를 구성하는 요소일 수 있으며, 특히 스타일은 컨텐츠와 대비되는 개념일 수 있다. 본 개시에 있어서 스타일은, 스타일 이미지로부터 대상 이미지(또는, 대상 이미지에 기초하여 생성된 중간 변환 이미지)에 적용되는 요소일 수 있다. 즉, 스타일 이미지로부터 대상 이미지에 스타일을 적용하는 것은, 대상 이미지의 내용이나 형태(즉, 컨텐츠)는 유지하면서, 스타일 이미지의 화풍이나 느낌(즉, 스타일)을 적용하는 것을 의미할 수 있다.
도 1은 본 개시의 몇몇 실시예에 따른 이미지 생성 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 개시에 따른 이미지 생성 장치(100)는 본 개시에 따른 이미지 생성 방법을 제공하기 위한 컴퓨팅 장치일 수 있다. 구체적으로 본 개시에 따른 이미지 생성 장치(100)는, 사용자로부터 한국어 텍스트, 대상 이미지, 스타일 이미지 중 적어도 하나를 입력 받는 입력부(110), 한국어 텍스트로부터 하나 이상의 컬러를 포함하는 컬러 팔레트를 생성하기 위한 컬러 추출 모델을 포함하는 컬러 추출부(120), 대상 이미지에 컬러 팔레트를 적용하여 중간 변환 이미지를 생성하기 위한 컬러 적용 모델을 포함하는 컬러 적용부(130), 및 중간 변환 이미지에 스타일 이미지로부터 추출된 스타일을 적용하여 최종 변환 이미지를 생성하기 위한 스타일 적용 모델을 포함하는 스타일 적용부(140)를 포함할 수 있다.
다만 상술한 구성은 본 개시에 따른 이미지 생성 장치(100)를 구현하는 데 필수적인 것은 아니어서, 이미지 생성 장치(100)는 열거된 구성보다 많거나 또는 적은 구성들로 구현될 수 있다. 가령 이미지 생성 장치(100)는, 입력부(110)를 포함하지 않고 네트워크부(미도시)를 통해 별도의 사용자 단말(미도시)로부터 입력 데이터(즉, 한국어 텍스트, 대상 이미지, 및/또는 스타일 이미지)를 수신할 수 있다. 또는, 이미지 생성 장치(100)는, 사용자로부터 입력된 데이터와 상술한 모델로부터 획득된 결과 데이터(즉, 중간 변환 이미지 및/또는 최종 변환 이미지)를 매칭하여 누적 저장하는 저장부(미도시)나, 저장부의 데이터를 포함하는 학습용 데이터에 기초하여 상술한 모델들 중 적어도 일부를 학습시키는 학습부(미도시)를 더 포함할 수도 있다.
이미지 생성 장치(100)의 입력부(110)는, 사용자로부터 한국어 텍스트, 대상 이미지, 스타일 이미지 중 적어도 하나를 입력 받을 수 있다.
여기서 한국어 텍스트는, 한국어로 작성된 단어이거나, 복수의 단어를 포함하는 문장이거나, 또는 복수의 문장을 포함하는 글일 수도 있다. 이미지 생성 장치(100)는 한국어 텍스트를 후술할 컬러 추출부(120)의 컬러 추출 모델에 입력하여, 해당 한국어 텍스트의 의미와 관련된 하나 이상의 컬러를 포함하는 컬러 팔레트를 생성할 수 있다.
여기서 대상 이미지는, 사용자가 컬러 변환 및/또는 스타일 변환을 적용하고자 하는 원본 이미지일 수 있다. 대상 이미지는, 임의의 파일 형식의 사진이거나 또는 영상일 수 있다. 이미지 생성 장치(100)는 후술할 컬러 적용부(130)의 컬러 적용 모델에 대상 이미지를 컬러 팔레트와 함께 입력하여 대상 이미지에 대한 컬러 변환을 수행하고 중간 변환 이미지를 생성할 수 있다.
여기서 스타일 이미지는, 사용자가 대상 이미지에 대해 적용하고자 하는 스타일을 포함하는 이미지일 수 있다. 가령, 사용자가 대상 이미지에 고흐의 화풍을 적용하고자 하는 경우, 스타일 이미지는 고흐의 그림 작품일 수 있다. 스타일 이미지는, 임의의 파일 형식의 사진이거나 또는 영상일 수 있다. 이미지 생성 장치(100)는 후술할 스타일 적용부(140)의 스타일 적용 모델에 스타일 이미지를 중간 변환 이미지와 함께 입력하여, 중간 변환 이미지에 대한 스타일 변환을 수행하고 최종 변환 이미지를 생성할 수 있다.
이와 같이 이미지 생성 장치(100)는, 사용자로부터 입력된 데이터(한국어 텍스트, 대상 이미지, 및 스타일 이미지)에 대하여, 본 개시에 따른 컬러 추출 모델, 컬러 적용 모델, 및 스타일 적용 모델을 차례로 적용할 수 있다. 각각의 모델에 대한 보다 자세한 설명은 도 3을 통하여 후술한다.
이미지 생성 장치(100)의 컬러 추출부(120)는, 컬러 추출 모델에 한국어 텍스트를 입력하여, 하나 이상의 컬러를 포함하는 컬러 팔레트를 생성할 수 있다.
컬러 추출부(120)에서 생성되는 컬러 팔레트는, 기 설정된 개수의 컬러를 포함할 수 있다. 이 때 각각의 컬러는 LAB, LCH, 또는 HSV 등 임의의 색상 공간에 매칭되는 컬러일 수 있다. 예컨대, 컬러 팔레트는 LAB 색상 공간의 5가지 컬러를 포함하도록 생성될 수 있다. 다만 이에 한정되는 것은 아니다. 한국어 텍스트의 의미와 대응되는 컬러 팔레트의 예시와 관련하여, 도 4를 통하여 후술한다.
한편 컬러 추출부(120)는, 컬러 추출 모델에 한국어 텍스트를 입력하기 위해, 한국어 텍스트에 관한 전처리를 수행할 수 있다. 구체적으로 컬러 추출부(120)는, 한국어 텍스트를 토크나이즈 하고, 토크나이즈 된 한국어 텍스트를 임베딩 벡터와 매칭할 수 있다.
임베딩 벡터는 컬러 추출 모델의 인코더에 입력되어 컬러 추출 모델이 컬러 팔레트를 생성하게끔 할 수 있다. 컬러 추출 모델은, 어텐션이 적용된 시퀀스-투-시퀀스 모델을 포함하도록 구현될 수 있다. 구체적으로 컬러 추출 모델은 TPN(Text-to Palette Generation Networks) 모델일 수 있다. 여기서 인코더는 예컨대 GRU가 사용될 수 있다. 다만 이에 한정되는 것은 아니다.
컬러 추출부(120)의 컬러 추출 모델은, 텍스트의 의미와 컬러 간의 매칭 데이터를 포함하는 학습용 팔레트 데이터에 기초하여, 한국어 텍스트를 입력 받는 경우 해당 한국어 텍스트의 의미와 대응되는 하나 이상의 컬러를 추론하도록 학습될 수 있다.
학습용 팔레트 데이터는 가령 PAT(Palette-and-Text) 데이터 세트와 같은, 텍스트의 의미와 팔레트 쌍의 데이터 세트일 수 있다. 본 개시에서 학습용 팔레트 데이터는, 특히 한국어인 텍스트의 의미와 팔레트가 상호 연관되어 있는 데이터 일 수 있다.
학습용 팔레트 데이터에서 특정 한국어 텍스트에 대응되는 팔레트는, 전술한 컬러 추출 모델의 인코더로부터 생성된 컬러 팔레트와 함께 판별기에 입력되고, 판별기는 학습용 팔레트 데이터와 컬러 추출 모델의 인코더로부터 생성된 컬러 팔레트 중 참(true)인 것과 거짓(false)인 것을 판별하는 결과를 출력할 수 있다. 그리고 출력된 판별 결과에 기초하여, 본 개시에 따른 컬러 추출 모델이 학습될 수 있다. 컬러 추출 모델의 학습에 사용되는 학습용 팔레트 데이터의 예시와 관련하여, 도 5를 통하여 후술한다.
한편 컬러 추출 모델은, 컬러 팔레트에 포함된 하나 이상의 컬러들 간의 거리에 관한 다양성 정보, 및 한국어 텍스트와 하나 이상의 컬러들 간의 의미 적합성에 관한 적합성 정보 중 적어도 하나에 기반하여 그 성능이 평가될 수 있다.
여기서 다양성 정보는, 컬러 팔레트가 얼마나 다양한 컬러들로 구성되었는지에 관한 정보일 수 있으며, 컬러 팔레트에 포함된 하나 이상의 컬러들 간에 측정된 하나 이상의 거리 값들에 대한 평균 및 편차 중 적어도 하나를 포함할 수 있다. 예컨대 다양성 정보는, CIEDE2000을 활용하여 측정된 컬러 팔레트 내 컬러 간 거리 값들의 평균 및/또는 편차로 구성될 수 있다. 가령, 컬러 간 거리 값들의 평균 값이 클수록, 컬러 팔레트를 구성하는 컬러들이 보다 다양하게 생성되었음을 의미할 수 있다.
여기서 적합성 정보는, 컬러 팔레트 내 하나 이상의 컬러들이 한국어 텍스트의 의미에 대하여 적합한 정도에 관한 정보일 수 있다. 적합성 정보는, 예컨대 텍스트의 의미에 대해 팔레트가 얼마나 적합하다고 판단하는 지 여부를 사용자 설문조사를 통해 입력 받음으로써 생성될 수 있다. 컬러 추출 모델의 성능 평가에 사용되는 다양성 정보 및 적합성 정보의 예시와 관련하여, 도 6을 통하여 보다 자세히 후술한다.
이미지 생성 장치(100)의 컬러 적용부(130)는, 컬러 적용 모델을 사용해 대상 이미지에 컬러 팔레트를 적용하여, 중간 변환 이미지를 생성할 수 있다. 즉, 중간 변환 이미지는, 대상 이미지에 대하여 한국어 텍스트의 의미와 관련된 컬러 변환이 수행되어 생성되는 이미지일 수 있다. 컬러 적용 모델에 의해 생성되는 중간 변환 이미지의 예시와 관련하여, 도 7을 통하여 보다 자세히 후술한다.
구체적으로 컬러 적용부(130)는, 대상 이미지에 포함된 픽셀들 각각의 픽셀 컬러를, 컬러 팔레트에 포함된 하나 이상의 컬러 중 적어도 하나와 대응되도록 변경할 수 있다. 컬러 적용부(130)는, 대상 이미지의 픽셀 컬러에 관한 컬러 파라미터 값을 컬러 팔레트 내 컬러들 각각의 컬러 파라미터 값과 비교하고, 대상 이미지의 픽셀 컬러를 컬러 팔레트의 컬러들 중 컬러 파라미터 값의 매칭도가 가장 높은 컬러(즉, 픽셀 컬러와 가장 근접한 컬러)와 대응되도록 변경할 수 있다.
여기서 컬러 파라미터 값은, LAB, LCH, 또는 HSV 중 적어도 하나를 포함하는 색상 공간에, 픽셀 컬러 및 컬러 팔레트의 하나 이상의 컬러 각각을 매핑시켜 획득되는 복수의 컬러 파라미터 값들 중 적어도 하나일 수 있다. 보다 구체적으로, 컬러 파라미터 값은 복수의 파라미터 값들 중 색상(hue)과 연관된 파라미터 값일 수 있다.
예컨대 색상 공간이 LCH인 경우, 대상 이미지의 픽셀 컬러와 컬러 팔레트의 하나 이상의 컬러 각각의 컬러 정보는, 세 개의 컬러 파라미터 값들 - 휘도에 관한 파라미터 값인 L(Luminance), 채도에 관한 파라미터 값인 C(Chroma), 그리고 색상에 관한 파라미터 값인 H(Hue) - 을 포함할 수 있다.
이 경우, 컬러 적용부(130)는 대상 이미지의 픽셀 컬러와 가장 매칭도가 높은 컬러 팔레트의 컬러를 식별하기 위해, 픽셀 컬러의 세 개의 컬러 파라미터 값들 중 색상(hue)과 연관된 파라미터 값인 H 값을, 컬러 팔레트의 하나 이상의 컬러 각각의 H 값과 비교할 수 있다. 컬러 적용 모델에 의해 컬러를 적용하기 위한 다양한 색상 공간과 관련하여, 도 8을 통하여 보다 자세히 후술한다.
컬러 적용 모델은, 대상 이미지와 중간 변환 이미지 각각으로부터 추출된 하나 이상의 대표 컬러의 비율 간 유사도 정보, 대상 이미지와 중간 변환 이미지 간의 컬러 히스토그램 정보, 및 중간 변환 이미지의 하나 이상의 대표 컬러와 컬러 팔레트의 하나 이상의 컬러 간 거리 정보 중 적어도 하나에 기반하여 그 성능이 평가될 수 있다.
대표 컬러의 비율은, 컬러 적용에 있어 컬러 변환된 이미지의 자연스러움에 영향을 미치는 요소일 수 있다. 대표 컬러 비율이 크게 상이해지는 경우, 가령 대상 이미지에서는 서로 다른 컬러로 표현되던 영역이 중간 변환된 이미지에서는 동일한 컬러로 표현되며 경계가 무너져 부자연스럽게 표현될 수 있다.
대표 컬러의 비율을 계산하기 위해, 대상 이미지 및 중간 변환 이미지 각각에 대하여 클러스터링 방식을 통해 기 설정된 개수의 대표 컬러를 추출할 수 있다. 예컨대, 케이민즈(k-means) 클러스터링 방식으로, 대상 이미지 및 중간 변환 이미지 각각에 대하여 5개의 대표 컬러들을 추출할 수 있다. 다만 이에 한정되는 것은 아니다.
컬러 히스토그램 또한, 컬러 적용에 있어 컬러 변환된 이미지의 자연스러움에 영향을 미치는 요소일 수 있다. 컬러 히스토그램은, 주어진 이미지 내 컬러 분포를 나타내는 그래프일 수 있다. 이에, 중간 변환 이미지의 컬러 히스토그램이 대상 이미지의 컬러 히스토그램의 컬러 분포와 유사한 정도 등에 기반하여, 컬러 적용 모델의 성능을 평가할 수 있다. 컬러 적용 모델의 성능 평가에 사용되는 컬러 히스토그램 비교 정보와 관련하여, 도 9를 통하여 후술한다.
이미지 생성 장치(100)의 스타일 적용부(140)는, 스타일 적용 모델에 스타일 이미지 및 중간 변환 이미지를 입력하여, 중간 변환 이미지에 스타일 이미지와 연관된 스타일이 적용된 최종 변환 이미지를 생성할 수 있다.
구체적으로 스타일 적용부(140)는, 스타일 이미지로부터 스타일 정보를 추출하고, 중간 변환 이미지의 스타일 정보인 대상 스타일 정보를 중간 변환 이미지로부터 추출할 수 있다. 그리고 스타일 적용부(140)는, 추출된 스타일 정보 및 대상 스타일 정보에 기초하여 스타일 적용 정보를 생성하고, 생성된 스타일 적용 정보를 중간 변환 이미지에 적용하여 최종 변환 이미지를 생성할 수 있다.
즉, 최종 변환 이미지는, 대상 이미지에 대하여 한국어 텍스트의 의미와 관련된 컬러 변환과, 스타일 이미지의 스타일과 관련된 스타일 변환이 수행되어 최종적으로 생성되는 이미지일 수 있다. 스타일 적용 모델에 의해 생성되는 최종 변환 이미지의 예시와 관련하여, 도 10을 통하여 후술한다.
여기서 스타일 정보는, 각각의 이미지의 휘도 채널로부터 추출되는 정보일 수 있다. 즉, 스타일 이미지의 휘도 채널로부터 스타일 정보가 추출될 수 있고, 중간 변환 이미지의 휘도 채널로부터 대상 스타일 정보가 각각 추출될 수 있다. 기 학습된 vgg-19 모델이, 각각의 이미지의 휘도 채널로부터 스타일 정보를 추출하기 위한 알고리즘으로 사용될 수 있다. 다만 이에 한정되는 것은 아니다.
이처럼 스타일 적용 모델이 휘도 채널에서만 스타일 이미지의 스타일을 중간 변환 이미지로 전송함으로써, 중간 변환 이미지의 색상을 보존하는 동시에 스타일만이 변환된 최종 변환 이미지를 생성할 수 있다. 중간 변환 이미지의 색상이 최대한 보존된 최종 변환 이미지를 생성함으로써, 본 개시에 따른 이미지 적용 방법의 활용성을 향상시킬 수 있다.
스타일 적용 모델은, 대상 이미지 및 최종 변환 이미지 각각으로부터 추출된 하나 이상의 대표 컬러의 비율 간 유사도 정보, 및 최종 변환 이미지의 하나 이상의 대표 컬러와 컬러 팔레트 내 컬러들 간 거리 정보 중 적어도 하나에 기반하여 그 성능이 평가될 수 있다. 대표 컬러의 비율 간 유사도 정보 및 컬러 팔레트 내 컬러들 간의 거리 정보와 관련하여서는, 앞서 컬러 적용부(130)와 관련하여 자세히 설명한 바, 여기에서는 중복을 피하기 위해 설명을 생략한다.
도 2는 본 개시의 몇몇 실시예에 따른 이미지 생성 방법의 순서도이다.
도 2를 참조하면, 먼저 본 개시에 따른 이미지 생성 장치(100)의 입력부(110)는, 한국어 텍스트, 대상 이미지, 스타일 이미지 중 적어도 하나를 입력받을 수 있다(S110).
다음으로, 본 개시에 따른 컬러 추출부(120)는, 컬러 추출 모델에 한국어 텍스트를 입력하여, 하나 이상의 컬러를 포함하는 컬러 팔레트를 생성할 수 있다(S120).
다음으로, 본 개시에 따른 컬러 적용부(130)는, 컬러 적용 모델을 사용하여, 대상 이미지에 컬러 팔레트가 적용된 컬러 변환 이미지를 생성할 수 있다(S130).
다음으로, 본 개시에 따른 스타일 적용부(140)는, 스타일 적용 모델에 스타일 이미지 및 중간 변환 이미지를 입력하여, 대상 이미지에 스타일 이미지의 스타일이 적용된 최종 변환 이미지를 생성할 수 있다(S140).
즉, 본 개시에 따른 컬러 추출 모델, 컬러 적용 모델, 및 스타일 적용 모델은, 사용자로부터 입력된 데이터(한국어 텍스트, 대상 이미지, 및 스타일 이미지)에 대하여 차례로 적용될 수 있다. 이하 도 3을 통해 각각의 모델에 대하여 설명한다.
도 3은 본 개시의 몇몇 실시예에 따른 컬러 추출 모델, 컬러 적용 모델, 및 스타일 적용 모델의 일례를 도시한 개략도이다.
컬러 추출 모델(220)은, 사용자로부터 한국어 텍스트(211)를 입력받아, 하나 이상의 컬러를 포함하는 컬러 팔레트(221)를 생성할 수 있다. 컬러 추출 모델(220)은 한국어 텍스트(211)를 입력 받는 경우 해당 한국어 텍스트의 의미와 대응되는 하나 이상의 컬러를 추론하도록 기 학습된 모델일 수 있다.
컬러 추출 모델(220)은, 어텐션이 적용된 시퀀스-투-시퀀스 모델을 포함하도록 구현될 수 있다. 구체적으로 컬러 추출 모델은 TPN 모델일 수 있다. 여기서 인코더는 예컨대 GRU가 사용될 수 있다. 다만 이에 한정되는 것은 아니다.
컬러 추출 모델(220)은, 인코더에 한국어 텍스트(211)를 입력하기에 앞서, 한국어 텍스트(211)를 전처리할 수 있다. 구체적으로 컬러 추출 모델(220)은, 한국어 텍스트(211)를 예컨대 OKT나 Mecab과 같은 토크나이저를 사용하여 토크나이징 할 수 있다. 한국어 텍스트의 경우, 영문 텍스트와 같이 띄어쓰기 만으로 의미 구분이 가능하지 않으므로, 이와 같은 토크나이징을 통해, 컬러 추출 모델이 한국어 텍스트의 의미에 대해 보다 적합한 컬러 팔레트를 생성하게끔 할 수 있다.
또한 컬러 추출 모델(220)은, 토크나이즈 된 한국어 텍스트를 임베딩 벡터와 매칭할 수 있다. 컬러 추출 모델(220)은 예컨대 FastText나 Glove와 같은 임베딩 방식으로 기 학습된 임베딩 알고리즘을 통해, 토크나이징 된 한국어 텍스트를 임베딩 벡터와 매칭할 수 있다. 여기서 임베딩 벡터는, 예컨대 300-차원의 워드 벡터일 수 있다.
한편 컬러 추출 모델(220)은, 컬러 팔레트(221)에 포함된 하나 이상의 컬러들 간의 거리에 관한 다양성 정보, 및 한국어 텍스트(211)와 컬러 팔레트(221)에 포함된 하나 이상의 컬러들 간의 의미 적합성에 관한 적합성 정보 중 적어도 하나에 기반하여 그 성능이 평가될 수 있다.
여기서 다양성 정보는, 상술한 임베딩 알고리즘의 종류에 의존하는 정보일수 있다. 즉, 한국어 텍스트(211)에 대한 임베딩 방식에 따라, 해당 한국어 텍스트에 대하여 추론되는 하나 이상의 컬러들의 다양성이 상이해질 수 있다. 가령 하기의 표 1을 참조하면, 한국어 텍스트(211)에 대해 한글 FastText 임베딩 알고리즘을 사용한 경우, 한글 GloVe나 영어 GloVe 알고리즘을 사용한 경우에 비하여 높은 다양성 정보가 나타나는 것을 볼 수 있다.
구분 평균 표준 편차
한글 FastText 20.04 9.35
한글 GloVe 15.40 7.47
영어 GloVe 19.88 9.34
학습용 팔레트 데이터 26.46 12.11
한편 전술한 과정을 통해 컬러 추출 모델(220)로부터 생성된 컬러 팔레트(221)는, 중간 변환 이미지(231)를 생성하기 위해 대상 이미지(212)와 함께 컬러 적용 모델(230)에 입력될 수 있다.컬러 적용 모델(230)은, 대상 이미지(212)에 컬러 팔레트(221)를 적용하여, 중간 변환 이미지(231)를 생성할 수 있다. 즉, 중간 변환 이미지(231)는, 대상 이미지(212)에 대하여 한국어 텍스트(211)의 의미와 관련된 컬러 변환이 수행되어 생성되는 이미지일 수 있다.
구체적으로 컬러 적용 모델(230)은, 대상 이미지(212)에 포함된 픽셀들 각각의 픽셀 컬러를, 컬러 팔레트(221)에 포함된 하나 이상의 컬러 중 적어도 하나와 대응되도록 변경할 수 있다. 다시 말해 컬러 적용 모델(230)는, 대상 이미지(212)의 모든 픽셀에 대해 컬러 팔레트(221)와 컬러 파라미터 값을 비교하고, 컬러 팔레트(221) 내에서 컬러 파라미터 값의 매칭도가 가장 높은, 즉 가장 근접한 컬러로 픽셀 컬러를 변경할 수 있다.
다만 이에 한정되는 것은 아니며, 컬러 적용 모델(230)은 컬러 팔레트(221)와 대상 이미지(212)를 입력 받는 경우, 컬러 팔레트(221)가 대상 이미지(212)에 적용된 중간 변환 이미지(231)를 출력하도록 기 학습된 인공지능 모델로 구현될 수도 있다. 가령 컬러 적용 모델(230)은, 대상 이미지(212) 및 컬러 팔레트(221)와, 대상 이미지(212) 내 픽셀 컬러를 컬러 팔레트(221) 중 컬러 파라미터 값의 매칭도가 가장 높은 컬러로 변경하여 생성된 중간 변환 이미지(231)의 쌍을 포함하는 학습용 데이터셋을 통해, 대상 이미지(212) 및 컬러 팔레트(221)와 중간 변환 이미지(231)간의 관계를 학습한 머신러닝 모델이거나 딥러닝 모델일 수 있다.
한편 여기서 컬러 파라미터 값은, LAB, LCH, 또는 HSV 중 적어도 하나를 포함하는 색상 공간에, 컬러들 각각을 매핑시켜 획득되는 복수의 컬러 파라미터 값들 중 적어도 하나일 수 있다. 보다 구체적으로, 컬러 파라미터 값은 복수의 파라미터 값들 중 색상(hue)과 연관된 파라미터 값일 수 있다.
예컨대 색상 공간이 LCH인 경우, 대상 이미지(212)의 픽셀 컬러와 컬러 팔레트(221)의 하나 이상의 컬러들은, 각각 세 개의 컬러 파라미터 값들 - 휘도에 관한 파라미터 값인 L(Luminance), 채도에 관한 파라미터 값인 C(Chroma), 그리고 색상에 관한 파라미터 값인 H(Hue) - 을 포함할 수 있다.
이 경우, 컬러 적용 모델(230)는, 대상 이미지(212)의 픽셀 컬러의 컬러 파라미터 값들 중 색상과 연관된 파라미터 값인 Htarget 값을, 컬러 팔레트(221)의 컬러 각각의 컬러 파라미터 값들 중 색상과 연관된 파라미터 값인 Hpalette 값과 비교할 수 있다. 그리고 컬러 적용 모델(230)은, Htarget 값을 컬러 팔레트(221)의 컬러 각각의 Hpalette 값 중 최소 거리를 가지는(즉, 가장 근접한) Hpalette 값으로 변경할 수 있다.
LCH 색상 공간에서 대상 이미지(212)의 픽셀 컬러 및 컬러 팔레트(221)의 컬러 간 H 값의 최소 거리를 계산하기 위하여, 하기와 같은 수학식 1이 사용될 수 있다. 여기서, ho ij는 대상 이미지(212)의 i, j 픽셀의 H 값일 수 있고, hP n은 컬러 팔레트(221)에 포함된 n번째 컬러의 H 값일 수 있다. 한편 H 값은 그 값이 0인 경우와 360인 경우 모두 붉은색 색상에 대응되므로, Htarget 값과 Hpalette 값의 거리 값이 180 이상인 경우에, 해당 거리 값은 180보다 작은 값으로 치환될 수 있다:
[수학식 1]
Figure pat00001
Figure pat00002
또는, 예컨대 색상 공간이 LAB인 경우, 컬러 적용 모델(230)은 대상 이미지(212)의 픽셀 컬러의 컬러 파라미터 값들 중 색상과 연관된 파라미터 값인 Atarget와 Btarget 값을, 컬러 팔레트(221)의 컬러 각각의 컬러 파라미터 값들 중 색상과 연관된 파라미터 값인 Apalette와 Bpalette 값과 비교할 수 있다. 그리고 컬러 적용 모델(230)은, Atarget와 Btarget 값을 컬러 팔레트(221)의 컬러 각각의 Apalette와 Bpalette 값 중 최소 거리를 가지는(즉, 가장 근접한) Apalette와 Bpalette 값으로 변경할 수 있다.
LAB 색상 공간에서 대상 이미지(212)의 픽셀 컬러 및 컬러 팔레트(221)의 컬러 간 H 값의 최소 거리를 계산하기 위하여, 하기와 같은 수학식 2가 사용될 수 있다. 여기서, ao ij와 bo ij은 각각 대상 이미지(212)의 i, j 픽셀의 A 및 B 값일 수 있고, aP n와 bP n은 각각 컬러 팔레트(221)에 포함된 n번째 컬러의 A 및 B 값일 수 있다:
[수학식 2]
Figure pat00003
Figure pat00004
또는, 예컨대 색상 공간이 HSV인 경우, 컬러 적용 모델(230)은 대상 이미지(212)의 픽셀 컬러의 컬러 파라미터 값들 중 색상과 연관된 파라미터 값인 Htarget 값을, 컬러 팔레트(221)의 컬러 각각의 컬러 파라미터 값들 중 색상과 연관된 파라미터 값인 Hpalette 값과 비교할 수 있다. 그리고 컬러 적용 모델(230)은, Htarget 값을 컬러 팔레트(221)의 컬러 각각의 Hpalette 값 중 최소 거리를 가지는(즉, 가장 근접한) Hpalette 값으로 변경할 수 있다.
컬러 적용 모델(230)은, 대상 이미지(212) 및 중간 변환 이미지(231) 각각으로부터 추출된 하나 이상의 대표 컬러의 비율 간 유사도 정보, 대상 이미지(212) 및 중간 변환 이미지(231) 간의 컬러 히스토그램 정보, 및 중간 변환 이미지(231)의 하나 이상의 대표 컬러와 컬러 팔레트(221)의 하나 이상의 컬러 간 거리 정보 중 적어도 하나에 기반하여 그 성능이 평가될 수 있다.
컬러 적용이 수행되는 색상 공간의 종류에 따라, 대상 이미지(212) 및 중간 변환 이미지(231) 각각으로부터 추출된 하나 이상의 대표 컬러의 비율 간 유사도는 하기 표 2와 같이 상이해질 수 있다. 표 2는, HSV 색상 공간에서 컬러 적용을 수행한 경우에, 대상 이미지 및 중간 변환 이미지 간의 대표 컬러의 비율 간 유사도가 높게 나타나는 일례를 도시한다. 이는, HSV 색상 공간에서 대상 이미지와 가장 유사한 패턴으로 컬러 적용이 수행된 것을 의미할 수 있다.
구분 비율 차이
HSV 0.010
Lab 0.030
LCH 0.021
한편 컬러 적용이 수행되는 색상 공간의 종류에 따라, 중간 변환 이미지(231)의 하나 이상의 대표 컬러와 컬러 팔레트(221)의 하나 이상의 컬러 간 거리 정보 또한 하기 표 3과 같이 상이해질 수 있다. 표 3을 참고하면, LAB 색상 공간에서 컬러 적용을 수행한 경우에 중간 변환 이미지(231)와 컬러 팔레트(221) 내 컬러들 간 거리 차이가 가장 적고, HSV 색상 공간에서 컬러 적용을 수행한 경우 중간 변환 이미지(231)와 컬러 팔레트(221) 내 컬러들 간 거리 차이가 가장 크게 나타난다. 이는, LAB, LCH, HSV 순으로 컬러 팔레트를 정확하게 적용한 것을 의미할 수 있다. 다만 이에 한정되는 것은 아니다.
구분 거리 차이
HSV 20.617
Lab 18.898
LCH 20.260
컬러 적용 모델(230)로부터 생성된 중간 변환 이미지(231)는, 스타일 이미지(213)의 스타일 정보가 적용된 최종 변환 이미지(241)를 생성하기 위해 중간 변환 이미지(231)와 함께 스타일 적용 모델(240)에 입력될 수 있다.스타일 적용 모델(240)은, 스타일 적용 모델에 스타일 이미지(213) 및 중간 변환 이미지(231)를 입력하여, 중간 변환 이미지(231)에 스타일 이미지(213)와 연관된 스타일이 적용된 최종 변환 이미지(241)를 생성할 수 있다. 즉, 최종 변환 이미지(241)는, 대상 이미지(212)에 대하여 한국어 텍스트(211)의 의미와 관련된 컬러 변환과, 스타일 이미지(213)의 스타일과 관련된 스타일 변환이 수행되어 최종적으로 생성되는 이미지일 수 있다.
구체적으로 스타일 적용 모델(240)은, 스타일 이미지(213)로부터 스타일 정보를 추출하고, 중간 변환 이미지(231)의 스타일 정보인 대상 스타일 정보를 중간 변환 이미지(231)로부터 추출할 수 있다. 그리고 스타일 적용 모델(240)은, 추출된 스타일 정보 및 대상 스타일 정보에 기초하여 스타일 적용 정보를 생성하고, 생성된 스타일 적용 정보를 중간 변환 이미지(231)에 적용하여 최종 변환 이미지(241)를 생성할 수 있다.
여기서 스타일 정보는, 각각의 이미지의 휘도 채널로부터 추출되는 정보일 수 있다. 즉, 스타일 이미지(213)의 휘도 채널로부터 스타일 정보가 추출될 수 있고, 중간 변환 이미지(231)의 휘도 채널로부터 대상 스타일 정보가 각각 추출될 수 있다. 기 학습된 vgg-19 모델이, 각각의 이미지의 휘도 채널로부터 스타일 정보를 추출하기 위한 알고리즘으로 사용될 수 있다.
이처럼 스타일 적용 모델(240)은 휘도 채널에서만 스타일 이미지(213)의 스타일을 중간 변환 이미지(231)로 전송함으로써, 중간 변환 이미지(231)의 색상을 보존하는 동시에 스타일만이 변환된 최종 변환 이미지를 생성할 수 있다. 이와 같이 중간 변환 이미지(231)의 색상이 최대한 보존된 최종 변환 이미지(241)를 생성함으로써, 본 개시에 따른 이미지 적용 방법의 활용성을 향상시킬 수 있다.
도 4는 본 개시의 몇몇 실시예에 따른 컬러 추출 모델에 의해 생성되는 컬러 팔레트의 예시를 도시한다.
구체적으로 도 4는, ‘가을’, ‘여름날’, 그리고 ‘일몰 때의 하늘’과 같은 한국어 텍스트(211)를 컬러 추출 모델(220)에 입력하여 생성되는 컬러 팔레트(221)의 일례와, 해당 컬러 팔레트를(221) 컬러 적용 모델(230)을 통해 대상 이미지(212)에 적용하여 생성되는 중간 변환 이미지(231)의 일례를 도시한다.
도 4는 컬러 추출 모델(220)에 의해 생성되는 컬러 팔레트(221)가 5가지 컬러를 포함하도록 생성된 일례를 도시한다. 다만 이에 한정되는 것은 아니며, 컬러 추출 모델(220)에 의해 생성되는 컬러 팔레트(221)는, 임의의 기 설정된 개수의 컬러를 포함할 수 있다. 이 때 각각의 컬러는 LAB, LCH, 또는 HSV 등 임의의 색상 공간에 매칭되는 컬러일 수 있다.
도 5는 본 개시의 몇몇 실시예에 따른 컬러 추출 모델의 학습에 관한 팔레트 데이터의 일례를 도시한 도면이다.
도 5는 ‘잔디’, ‘파스텔, 그리고 ‘피부’라는 한국어 텍스트 단어 각각에 매칭되는 팔레트와, ‘좋은 아침입니다 공주님’과 ‘불타는 지옥’이라는 한국어 텍스트 문장 각각에 매칭되는 팔레트를 포함하는 학습용 팔레트 데이터의 일례를 도시한다.
이와 같이 학습용 팔레트 데이터는, 텍스트의 의미와 컬러 간의 상관관계를 포함하는 데이터일 수 있다. 구체적으로 학습용 팔레트 데이터는, 가령 PAT 데이트 세트와 같이, 텍스트의 의미와 팔레트 쌍의 데이터 세트일 수 있다. 본 개시에서 학습용 데이터는, 특히 한국어인 텍스트의 의미와 팔레트가 상호 연관되어 있는 데이터 일 수 있다.
학습용 팔레트 데이터에서 특정 한국어 텍스트에 대응되는 팔레트는, 컬러 추출 모델(220)의 인코더로부터 생성된 컬러 팔레트(221)와 함께 판별기에 입력되고, 판별기는 학습용 팔레트 데이터와 컬러 팔레트(221) 중 참(true)인 것과 거짓(false)인 것을 판별하는 결과를 출력할 수 있다. 그리고 출력된 판별 결과에 기초하여, 본 개시에 따른 컬러 추출 모델(220)이 학습될 수 있다.
도 6은 본 개시의 몇몇 실시예에 따른 컬러 추출 모델의 성능 평가의 일례를 도시한다.
컬러 추출 모델(220)은, 컬러 팔레트(221)에 포함된 하나 이상의 컬러들 간의 거리에 관한 다양성 정보, 및 한국어 텍스트(211)와 하나 이상의 컬러들 간의 의미 적합성에 관한 적합성 정보 중 적어도 하나에 기반하여 그 성능이 평가될 수 있다.
여기서 다양성 정보는, 컬러 팔레트(221)가 얼마나 다양한 컬러들로 구성되었는지에 관한 정보일 수 있으며, 컬러 팔레트(221)에 포함된 하나 이상의 컬러들 간에 측정된 하나 이상의 거리 값들에 대한 평균 및 편차 중 적어도 하나를 포함할 수 있다. 예컨대 다양성 정보는, CIEDE2000을 활용하여 측정된 컬러 팔레트(221) 내 컬러 간 거리 값들의 평균 및/또는 편차로 구성될 수 있다. 가령, 컬러 간 거리 값들의 평균 값이 클수록, 컬러 팔레트를 구성하는 컬러들이 보다 다양하게 생성되었음을 의미할 수 있다.
구체적으로 도 6(a)는 ‘무지개 마법사’라는 한국어 텍스트(211)에 대응하여 생성된 컬러 팔레트(221)로, 다양성 정보 측면에서 컬러 추출 모델의 성능이 높은 것으로 결정될 수 있는 컬러 팔레트(221)의 일 예시를 도시한다. 도 6(a)를 참고하면, ‘무지개 마법사’라는 한국어 텍스트(211)에 대해 생성된 컬러 팔레트(221)는 매우 다양한 5가지 컬러를 포함하고 있는 바, 각각의 컬러 간의 거리 값이 높게 나올 것이며, 이에 다양성 정보 값이 클 수 있다.
한편 적합성 정보는, 컬러 팔레트(221) 내 하나 이상의 컬러들이 한국어 텍스트(211)의 의미에 대하여 적합한 정도에 관한 정보일 수 있다. 적합성 정보는, 예컨대 텍스트의 의미에 대해 팔레트가 얼마나 적합하다고 판단하는 지 여부를 사용자 설문조사를 통해 입력 받음으로써 생성될 수 있다.
구체적으로 도 6(b)는 ‘피부’라는 한국어 텍스트(211)에 대응하여 생성된 컬러 팔레트(221)로, 적합성 정보 측면에서 컬러 추출 모델의 성능이 높은 것으로 결정될 수 있는 컬러 팔레트(221)의 일 예시를 도시한다. 도 6(b)를 참고하면, ‘피부’라는 한국어 텍스트(211)에 대해 생성된 컬러 팔레트(221)는 5가지 컬러 모두가 ‘피부’를 떠올릴 수 있는 컬러들로 구성되어 있으므로, 적합성 정보 값이 클 수 있다.
도 7는 본 개시의 몇몇 실시예에 따른 컬러 적용 모델에 의해 생성되는 중간 변환 이미지의 예시를 도시한다.
컬러 적용 모델(230)은, 대상 이미지(212)에 컬러 팔레트(221)를 적용하여, 중간 변환 이미지(231)를 생성할 수 있다. 즉, 중간 변환 이미지(231)는, 대상 이미지(212)에 대하여 한국어 텍스트(211)의 의미와 관련된 컬러 변환이 수행되어 생성되는 이미지일 수 있다.
도 7(a)은, 대상 이미지(212)인 원본 게임 아트 리소스에 대해, 각각 ‘해변’, ‘사랑의 화살’, ‘북쪽 해안’, ‘따뜻한 가을’과 같은 한국어 텍스트(211)로부터 생성된 컬러 팔레트(221)를 적용함으로써 생성된 중간 변환 이미지(231)들의 일례를 도시한다.
마찬가지로 도 7(b)는, 대상 이미지(212)인 프로토 타입 액세서리 시안에 대해, 각각 ‘나무길’, ‘사랑의 화살’, ‘알로에베라’, ‘라벤다’와 같은 한국어 텍스트(211)로부터 생성된 컬러 팔레트(221)를 적용함으로써 생성된 중간 변환 이미지(231)들의 일례를 도시한다.
도 8은 본 개시의 몇몇 실시예에 따른 컬러 적용 모델에 의해 컬러를 적용하기 위한 다양한 색상 공간의 일례를 도시한다.
도 8을 참고하면, ‘늦 여름 축제’라는 한국어 텍스트(211)로부터 생성된 컬러 팔레트(221)를, HSV 색상 공간, LAB 색상 공간, 및 LCH 색상 공간에서 대상 이미지에 각각 적용하고, 이를 통해 얻어진 중간 변환 이미지(231)들의 일례들을 도시한다.
컬러 적용 모델(230)은, 대상 이미지(212)의 픽셀 컬러에 관한 컬러 파라미터 값을 컬러 팔레트(221) 내 컬러들 각각의 컬러 파라미터 값과 비교하고, 대상 이미지(212)의 픽셀 컬러를 컬러 팔레트(221)의 컬러들 중 컬러 파라미터 값의 매칭도가 가장 높은 컬러와 대응되도록 변경할 수 있다. 여기서 컬러 파라미터 값은, LAB, LCH, 또는 HSV 중 적어도 하나를 포함하는 색상 공간에, 컬러들 각각을 매핑시켜 획득되는 복수의 컬러 파라미터 값들 중, 색상(hue)과 연관된 파라미터 값일 수 있다.
도 8은, HSV 색상 공간에서 컬러 적용을 수행한 경우에 대상 이미지(212)와 가장 유사한 대표 컬러 비율을 가지는 중간 변환 이미지(231)가 생성되고, 한편 LCH 색상 공간에서 컬러 적용을 수행한 경우에 컬러 팔레트(221)가 보다 정확하게 적용된 중간 변환 이미지(231)가 생성되는 일례를 도시한다. 다만 이에 한정되는 것은 아니다.
도 9는 본 개시의 몇몇 실시예에 따른 컬러 적용 모델의 성능 평가를 위한 컬러 히스토그램의 일례를 도시한다.
구체적으로 도 9는, 대상 이미지(212)의 컬러 히스토그램과, 각각의 색상 공간에 대하여 컬러 적용이 수행됨으로써 생성된 중간 변환 이미지(231)들의 컬러 히스토그램들을 도시한다.
컬러 히스토그램은 컬러 적용에 있어 컬러 변환된 이미지의 자연스러움에 영향을 미치는 요소일 수 있다. 이에 대상 이미지(212)와 중간 변환 이미지(231) 각각에 대한 컬러 히스토그램을 비교하여, 양 컬러 히스토그램의 컬러 분포의 유사도 등에 기반하여 컬러 적용 모델(230)의 성능을 평가할 수 있다.
도 9를 참고하면, 대상 이미지(212)의 경우, 컬러 히스토그램에서 0 혹은 255 영역의 값이 거의 없고, 중앙 영역 내에 컬러가 분포되는 경향을 보인다. HSV 색상 공간에서의 컬러 적용을 통해 생성된 중간 변환 이미지(231)의 경우, 컬러 히스토그램이 고르지는 않으나, 전반적으로 중앙 영역 내에 컬러가 분포되어 있고, 대상 이미지(212)와 비교하여 컬러 분포의 패턴이 크게 상이하지 않다. 대조적으로 LAB 색상 공간에서의 컬러 적용을 통해 생성된 중간 변환 이미지(231)의 경우, 0과 255 영역에 컬러가 집중되는 경향을 보인다. LCH 색상 공간에서의 컬러 적용을 통해 생성된 중간 변환 이미지(231)의 경우, 대상 이미지(212)와 비교하여 컬러 분포의 패턴이 유사해 보이나, 파란색의 분포가 다소 앞쪽으로 치우치도록 변경된 것을 볼 수 있다.
종합하면, 도 9는 HSV 색상 공간에서 컬러 적용을 수행한 경우에, 대상 이미지(212)와 가장 유사하고 자연스러운 중간 변환 이미지(231)가 생성되는 일례를 도시한다. 다만 이에 한정되는 것은 아니다.
도 10은 본 개시의 몇몇 실시예에 따른 스타일 적용 모델에 의해 생성되는 최종 변환 이미지의 예시를 도시한다.
스타일 적용 모델(240)은, 스타일 적용 모델에 스타일 이미지(213) 및 중간 변환 이미지(231)를 입력하여, 중간 변환 이미지(231)에 스타일 이미지(213)와 연관된 스타일이 적용된 최종 변환 이미지(241)를 생성할 수 있다. 즉, 최종 변환 이미지(241)는, 대상 이미지(212)에 대하여 한국어 텍스트(211)의 의미와 관련된 컬러 변환과, 스타일 이미지(213)의 스타일과 관련된 스타일 변환이 수행되어 최종적으로 생성되는 이미지일 수 있다.
구체적으로 도 10은, 대상 이미지(212) 및 고흐의 그림인 스타일 이미지(213)에 기초하여, 각각 ‘봄의 시작’, ‘여름날’, ‘가을 단풍 축제’, ‘겨울날’과 같은 한국어 텍스트(211)를 컬러 추출 모델(220)에 입력하여 컬러 팔레트(221)를 생성하고, 대상 이미지(212)에 해당 컬러 팔레트(221)에 따른 컬러 변환 및 고흐의 그림에 따른 스타일 변환을 수행하여 생성된 최종 변환 이미지(241)의 일례를 도시한다.
일 예시에서, 본 개시의 최종 변환 이미지(241)는 카드의 내용에 따라 컬러 및/또는 스타일 변환이 수행된 전자 카드 이미지일 수 있다. 이 경우, 한국어 텍스트(211)는 사용자 단말로부터 입력된 카드의 내용일 수 있으며, 대상 이미지(212)는 사용자 단말을 통해 선택된 카드의 대표 이미지일 수 있다. 즉, 사용자는 희망하는 이미지를 선택하고 카드의 내용을 입력함으로써, 카드의 내용에 적합한 컬러 및/또는 스타일로 변환된 이미지가 카드와 함께 수신인 단말로 전달되게끔 할 수 있다.
일 예시에서, 본 개시의 최종 변환 이미지(241)는 SNS(Social Networking Service)에서의 메시지 및/또는 사용자 프로필과 관련된 이미지일 수 있다. 구체적으로, 일 예시에서 최종 변환 이미지(241)는 메시지에 첨부되어 전송된 이미지이거나, 텍스트와 함께 포스팅 된 이미지이거나, 또는 사용자의 프로필 이미지일 수 있다.
이 경우, 한국어 텍스트(211)는 사용자 단말로부터 입력된 메시지의 내용이거나, 포스팅의 텍스트 내용이거나, 또는 사용자의 프로필 소개글일 수 있다. 또한 이 경우 대상 이미지(212)는, 사용자가 메시지에 첨부한 이미지이거나, 포스팅 하기 위해 선택한 이미지이거나, 또는 프로필 이미지로 선택한 이미지일 수 있다.
사용자는 이미지를 선택하고 메시지 내용을 입력함으로써, 메시지 내용에 적합한 컬러 및/또는 스타일로 변환된 이미지가 메시지와 함께 SNS 서버를 통해 전송되도록 할 수 있다 또는, 사용자는 SNS 상 포스팅을 위해 이미지를 선택함으로써, 포스팅 텍스트 내용에 적합한 컬러 및/또는 스타일로 변환된 이미지가 텍스트와 함께 SNS 서버를 통해 게시되게끔 할 수 있다. 또는, 사용자는 프로필 소개글을 입력하고 프로필 이미지를 선택함으로써, 소개글 내용에 적합한 컬러 및/또는 스타일로 변환된 프로필 이미지가 SNS 상에서 프로필 소개글과 함께 자신의 프로필 영역에 출력되게끔 할 수 있다.
일 예시에서, 본 개시의 최종 변환 이미지(241) 게임 리소스이거나, 디지털 이미지이거나, 디자인 프로토타입일 수 있다. 이 경우, 한국어 텍스트(211)는 사용자가 희망하는 컨셉의 명칭일 수 있고, 대상 이미지(212)는 게임 리소스나 디지털 이미지 또는 디자인 프로토타입의 원형을 포함하는 원본 이미지일 수 있다. 즉, 사용자는 희망하는 컨셉의 명칭을 입력하고 원본 이미지를 입력함으로써, 컨셉의 명칭에 적합한 컬러 및/또는 스타일로 변환된 이미지가 게임 리소스나 디지털 이미지 또는 디자인 프로토타입으로 생성 및 출력되게끔 할 수 있다.
특히 이 경우, 사용자는 복수의 사용자들을 포함할 수 있다. 복수의 사용자가 특정한 컨셉을 가진 디지털 이미지를 생성하고자 할 경우, 컨셉은 그 명칭으로서 지칭되는 바, 각각의 사용자들이 실제로 생각하는 이미지는 서로 상이할 수 있으나 이를 확인하거나 일치시키기는 쉽지 않을 수 있다. 본 개시의 이미지 생성 방법에 따르면, 컨셉의 명칭과 원본 이미지를 입력하는 경우 해당 컨셉이 적용된 최종 변환 이미지를 획득할 수 있으므로, 상술한 것과 같이 복수의 사용자들이 그룹 단위로 작업을 하는 경우에 특히 활용도가 높을 수 있다.
도 11은 본 개시의 몇몇 실시예에 따른 이미지 생성 방법을 제공하는 컴퓨팅 장치(10)를 나타낸 블록도이다.
도 11을 참조하면, 본 개시에 따른 컴퓨팅 장치(10)는, 본 개시에 따른 이미지 생성 방법을 제공하기 위한 컴퓨팅 장치로서, 상술한 이미지 생성 장치(100)일 수 있고, 그 밖에 상기 이미지 생성 장치(100)에 데이터를 제공하거나, 상기 이미지 생성 장치(100)로부터 결과 데이터를 획득하기 위한 사용자 단말(미도시)을 더 포함할 수도 있다. 다만 이에 한정되는 것은 아니다.
본 개시에 따른 컴퓨팅 장치(100)는, 하나 이상의 프로세서(11), 프로세서(11)에 의하여 수행되는 프로그램을 로드하는 메모리(12), 프로그램 및 각종 데이터를 저장하는 스토리지(13), 및 통신 인터페이스(14)를 포함할 수 있다. 다만, 상술한 구성 요소들은 본 개시에 따른 컴퓨팅 장치(10)를 구현하는데 있어서 필수적인 것은 아니어서, 컴퓨팅 장치(10)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다. 예컨대 컴퓨팅 장치(10)는 출력부 및/또는 입력부(미도시)를 더 포함하거나, 또는 스토리지(13)가 생략될 수도 있다.
프로그램은 메모리(12)에 로드될 때 프로세서(11)로 하여금 본 개시의 다양한 실시예에 따른 방법/동작을 수행하게끔 하는 명령어들(instructions)을 포함할 수 있다. 즉, 프로세서(11)는 명령어들을 실행함으로써, 본 개시의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다. 프로그램은 기능을 기준으로 묶인 일련의 컴퓨터 판독가능 명령어들로 구성되고, 프로세서에 의해 실행되는 것을 가리킨다.
프로세서(11)는 컴퓨팅 장치(10)의 각 구성의 전반적인 동작을 제어한다. 프로세서(11)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(11)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다.
메모리(12)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(12)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위하여 스토리지(13)로부터 하나 이상의 프로그램을 로드할 수 있다. 메모리(12)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위는 이에 한정되지 않는다.
스토리지(13)는 프로그램을 비임시적으로 저장할 수 있다. 스토리지(13)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다. 통신 인터페이스(14)는 유/무선 통신 모듈일 수 있다.
이상에서 설명한 본 개시의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 개시의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 개시의 실시예에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속하는 것이다.

Claims (16)

  1. 컴퓨팅 장치에 의해 수행되는 이미지 생성 방법으로서,
    한국어 텍스트, 대상 이미지, 스타일 이미지 중 적어도 하나를 입력 받는 단계,
    컬러 추출 모델에 상기 한국어 텍스트를 입력하여, 하나 이상의 컬러를 포함하는 컬러 팔레트를 생성하는 단계,
    컬러 적용 모델을 사용하여, 상기 대상 이미지에 상기 컬러 팔레트가 적용된 중간 변환 이미지를 생성하는 단계, 및
    스타일 적용 모델에 상기 스타일 이미지 및 상기 중간 변환 이미지를 입력하여, 상기 중간 변환 이미지에 상기 스타일 이미지와 연관된 스타일이 적용된 최종 변환 이미지를 생성하는 단계를 포함하는,
    이미지 생성 방법.
  2. 제 1항에서,
    상기 컬러 추출 모델은,
    텍스트의 의미와 컬러 간의 매칭 데이터를 포함하는 학습용 팔레트 데이터에 기초하여, 상기 한국어 텍스트를 입력받는 경우, 입력된 상기 한국어 텍스트의 의미와 대응되는 상기 하나 이상의 컬러를 추론하도록 학습되는,
    이미지 생성 방법.
  3. 제 1항에서,
    상기 컬러 추출 모델은,
    어텐션(attention)이 적용된 시퀀스-투-시퀀스(sequence-to-sequence) 모델을 포함하도록 구현되는,
    이미지 생성 방법.
  4. 제 1항에서,
    상기 컬러 추출 모델은,
    상기 컬러 팔레트에 포함된 상기 하나 이상의 컬러들의 다양성에 관한 다양성 정보, 및 상기 한국어 텍스트와 상기 하나 이상의 컬러들 간의 의미 적합성에 관한 적합성 정보 중 적어도 하나에 기반하여 성능이 평가되는,
    이미지 생성 방법.
  5. 제 4항에서,
    상기 다양성 정보는,
    상기 하나 이상의 컬러들 간에 측정된 하나 이상의 거리 값들에 대한 평균 및 편차 중 적어도 하나를 포함하는,
    이미지 생성 방법.
  6. 제 1항에서,
    상기 컬러 팔레트를 생성하는 단계는,
    상기 한국어 텍스트를 토크나이즈(tokenize)하는 단계,
    토크나이즈 된 상기 한국어 텍스트를 임베딩(embedding) 벡터와 매칭하는 단계, 및
    상기 컬러 추출 모델에 상기 임베딩 벡터를 입력하여, 상기 하나 이상의 컬러를 포함하는 상기 컬러 팔레트를 생성하는 단계를 포함하는,
    이미지 생성 방법.
  7. 제 1항에서,
    상기 중간 변환 이미지를 생성하는 단계는,
    상기 대상 이미지에 포함된 픽셀들 각각의 픽셀 컬러를, 상기 컬러 팔레트의 상기 하나 이상의 컬러 중 적어도 하나와 대응되도록 변경하는 단계를 포함하는,
    이미지 생성 방법.
  8. 제 7항에서,
    상기 하나 이상의 컬러 중 적어도 하나와 대응되도록 변경하는 단계는,
    상기 픽셀 컬러에 관한 컬러 파라미터 값을, 상기 컬러 팔레트 내 상기 하나 이상의 컬러의 대응되는 컬러 파라미터 값과 비교하는 단계, 및
    상기 픽셀 컬러를, 상기 하나 이상의 컬러 중 상기 컬러 파라미터 값의 매칭도가 가장 높은 컬러와 대응되도록 변경하는 단계를 포함하는,
    이미지 생성 방법.
  9. 제 8항에서,
    상기 컬러 파라미터 값은,
    LAB, LCH, 또는 HSV 중 적어도 하나를 포함하는 색상 공간에, 상기 픽셀 컬러 및 상기 컬러 팔레트의 상기 하나 이상의 컬러 각각을 매핑(mapping)시켜 획득되는 복수의 컬러 파라미터 값들 중 일부인,
    이미지 생성 방법.
  10. 제 9항에서,
    상기 컬러 파라미터 값은,
    상기 픽셀 컬러 및 상기 컬러 팔레트의 상기 하나 이상의 컬러 각각의 상기 복수의 컬러 파라미터 값 중, 색상(hue)과 연관된 값인,
    이미지 생성 방법.
  11. 제 1항에서,
    상기 컬러 적용 모델은,
    상기 대상 이미지 및 상기 중간 변환 이미지 각각으로부터 추출된 하나 이상의 대표 컬러의 비율 간 유사도 정보, 상기 대상 이미지 및 상기 중간 변환 이미지 간의 컬러 히스토그램 정보, 및 상기 중간 변환 이미지의 상기 하나 이상의 대표 컬러와 상기 컬러 팔레트의 상기 하나 이상의 컬러 간 거리 정보 중 적어도 하나에 기반하여 성능이 평가되는,
    이미지 생성 방법.
  12. 제 1항에서,
    상기 최종 변환 이미지를 생성하는 단계는,
    상기 스타일 이미지로부터 스타일 정보를 추출하는 단계,
    상기 중간 변환 이미지로부터 대상 스타일 정보를 추출하는 단계,
    상기 스타일 정보 및 상기 대상 스타일 정보에 기초하여, 스타일 적용 정보를 생성하는 단계, 및
    상기 스타일 적용 정보를 상기 중간 변환 이미지에 적용하여, 최종 변환 이미지를 생성하는 단계를 포함하는,
    이미지 생성 방법.
  13. 제 12항에서,
    상기 스타일 정보는,
    상기 스타일 이미지의 휘도(luminance) 채널로부터 추출된 정보이고,
    상기 대상 스타일 정보는,
    상기 중간 변환 이미지의 휘도 채널로부터 추출된 정보인,
    이미지 생성 방법.
  14. 제 12항에서,
    상기 스타일 적용 모델은,
    상기 대상 이미지 및 상기 최종 변환 이미지 각각으로부터 추출된 하나 이상의 대표 컬러의 비율 간 유사도 정보, 및 상기 최종 변환 이미지의 상기 하나 이상의 대표 컬러와 상기 컬러 팔레트의 상기 하나 이상의 컬러 간 거리 정보 중 적어도 하나에 기반하여 성능이 평가되는,
    이미지 생성 방법.
  15. 컴퓨팅 장치에 의해 수행되는 이미지 생성 방법으로서,
    한국어 텍스트, 대상 이미지, 스타일 이미지 중 적어도 하나를 입력하여, 최종 변환 이미지를 획득하는 단계를 포함하고,
    상기 최종 변환 이미지는,
    상기 대상 이미지를 상기 한국어 텍스트의 의미와 대응되는 컬러 정보, 및 상기 스타일 이미지와 대응되는 스타일 정보 중 적어도 하나를 포함하도록 변환하여 생성된 이미지인,
    이미지 생성 방법.
  16. 사용자 단말로부터 한국어 텍스트, 대상 이미지, 스타일 이미지 중 적어도 하나를 입력받는 입력부,
    상기 한국어 텍스트를 컬러 추출 모델에 입력하여 하나 이상의 컬러를 포함하는 컬러 팔레트를 생성하는 컬러 추출부,
    상기 대상 이미지에 상기 컬러 팔레트가 적용된 중간 변환 이미지를 생성하는 컬러 적용부, 및
    상기 스타일 이미지 및 상기 중간 변환 이미지를 스타일 적용 모델에 입력하여, 상기 대상 이미지에 상기 스타일 이미지와 연관된 스타일이 적용된 최종 변환 이미지를 생성하는 스타일 적용부를 포함하는,
    이미지 생성 장치.
KR1020210184101A 2020-12-31 2021-12-21 이미지 생성 방법 및 장치 KR20220097255A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200189533 2020-12-31
KR20200189533 2020-12-31

Publications (1)

Publication Number Publication Date
KR20220097255A true KR20220097255A (ko) 2022-07-07

Family

ID=82398504

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210184101A KR20220097255A (ko) 2020-12-31 2021-12-21 이미지 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20220097255A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908613A (zh) * 2022-12-01 2023-04-04 杭州雪爪文化科技有限公司 基于人工智能的ai模型生成方法、系统及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908613A (zh) * 2022-12-01 2023-04-04 杭州雪爪文化科技有限公司 基于人工智能的ai模型生成方法、系统及存储介质
CN115908613B (zh) * 2022-12-01 2023-06-06 杭州雪爪文化科技有限公司 基于人工智能的ai模型生成方法、系统及存储介质

Similar Documents

Publication Publication Date Title
US10853987B2 (en) Generating cartoon images from photos
US8139853B2 (en) Color naming, color categorization and describing color composition of images
CN110096641A (zh) 基于图像分析的图文匹配方法、装置、设备及存储介质
Li et al. Globally and locally semantic colorization via exemplar-based broad-GAN
CN108921932B (zh) 基于卷积神经网络的黑白人物图片生成多种合理着色方法
US11914841B2 (en) Automatic generation of stylized icons
CN111164563B (zh) 一种智能终端的图像色彩调节系统及色彩调节方法
CN111494946B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN110728722A (zh) 图像颜色迁移方法、装置、计算机设备和存储介质
Lindner et al. What is the color of chocolate?–extracting color values of semantic expressions
KR20220097255A (ko) 이미지 생성 방법 및 장치
CN109064431B (zh) 一种图片亮度调节方法、设备及其存储介质
CN115908613A (zh) 基于人工智能的ai模型生成方法、系统及存储介质
CN110032658A (zh) 基于图像分析的文本匹配方法、装置、设备及存储介质
CN115147259A (zh) 一种图像色彩迁移方法、系统及计算机介质
CN111950548B (zh) 一种引入字库文字图像进行深度模板匹配的汉字识别方法
CN114547362A (zh) 一种基于特征提取的妆容推荐方法及系统
Yen et al. An intelligent model for facial skin colour detection
CN114332301A (zh) 图像配色方法、装置及设备
CN113240765A (zh) 一种颜色搭配的方法、装置、计算机设备和存储介质
CN111062862A (zh) 基于颜色的数据增强方法和系统及计算机设备和存储介质
JP2014067129A (ja) スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法
CN118097085B (zh) 一种地形图风格自动迁移的方法与系统
US11669591B2 (en) Information processing apparatus and non-transitory computer readable medium
Liu et al. A method for generating color palettes with deep neural networks considering human perception

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application