KR20230103855A - 이미지 스타일 변형 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램 - Google Patents

이미지 스타일 변형 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램 Download PDF

Info

Publication number
KR20230103855A
KR20230103855A KR1020220051376A KR20220051376A KR20230103855A KR 20230103855 A KR20230103855 A KR 20230103855A KR 1020220051376 A KR1020220051376 A KR 1020220051376A KR 20220051376 A KR20220051376 A KR 20220051376A KR 20230103855 A KR20230103855 A KR 20230103855A
Authority
KR
South Korea
Prior art keywords
image
style
user
images
unit
Prior art date
Application number
KR1020220051376A
Other languages
English (en)
Inventor
남양희
김유빈
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Publication of KR20230103855A publication Critical patent/KR20230103855A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

이미지 스타일 변형 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램이 개시된다. 본 발명에 따른 이미지 스타일 변형 장치는, 사용자로부터 검색요청 데이터를 수신하면 상기 검색요청 데이터와 연관된 적어도 하나 이상의 이미지를 검색하는 이미지 검색부, 상기 검색된 이미지를 적어도 하나 이상의 조건에 따라 정렬하여 추천 이미지 목록을 생성하고 상기 추천 이미지 목록으로부터 타겟 이미지를 선택받는 이미지 선택부 및 상기 타겟 이미지의 오리지널 스타일을 사용자의 희망 스타일로 변형하는 이미지 스타일 변형부를 포함한다. 따라서, 상술한 본 발명에 따르면, 사용자로부터의 검색요청 데이터에 대응하는 이미지 중 타겟 이미지를 선택받으면 선택받은 타겟 이미지의 오리지널 스타일을 사용자의 희망 스타일로 변형시킴으로써, 문서 작업 중 사용자가 원하는 스타일에 따라 이미지를 적용할 수 있는 이점을 갖는다.

Description

이미지 스타일 변형 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램{Device and method for transforming image style and computer readable program for the same}
본 발명은 이미지 스타일 변형 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램에 관한 것으로서, 보다 상세하게는, 타겟 이미지의 스타일을 사용자의 희망 스타일에 맞게 변형하는, 이미지 스타일 변형 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램에 관한 것이다.
딥러닝(deep learning)은 머신러닝의 한 분야로 데이터를 컴퓨터가 처리 가능한 형태인 행렬 형태로 변환하고 이를 인공신경망으로 학습하는 모델을 구축하는 연구를 포함한다. 이러한 딥러닝은 뉴런과 같은 신경과학에서 영감을 얻어 만들어진 인공신경망에 기반을 두고 있으며, 인간의 인식방식과 유사하게 여러 층의 계층적 구조로 이루어져 있다.
한편, 최근에 소스 이미지의 일부 정보는 포함하되 다른 특징(혹은 스타일)을 갖는 변환 이미지에 대한 수요가 증가하면서, 이미지 필터링에 대한 다양한 방법들이 개발되고 있다. 기존의 방법들은 다양한 이미지 필터링들을 통해 하나의 소스 이미지로부터 다양한 변환 이미지들을 제공할 수 있다는 장점을 가지나, 소스 이미지 자체에 대한 수정은 어렵다는 한계를 가진다.
따라서, 사용자의 입력에 따른 검색을 진행하고, 복수의 스타일을 적용하여 사용자가 원하는 콘텐츠의 스타일을 변환시킬 수 있는 아이콘 스타일 변환 장치, 방법 및 이를 수행하는 기록매체가 요구되는 실정이다.
한국등록특허공보 제10-0889026호(2009.03.17)
본 발명의 일 측면은 사용자로부터 수신한 검색요청 데이터로부터 적어도 하나 이상의 이미지를 검색하여 추천 이미지 목록을 생성하고, 추천 이미지 목록 내에서 사용자로부터 타겟 이미지를 선택받으면 타겟 이미지의 오리지널 스타일을 사용자의 희망 스타일로 변형하는, 이미지 스타일 변형 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램을 제공하는데 그 목적이 있다.
본 발명의 일 실시예에 따른 이미지 스타일 변형 장치는, 사용자로부터 검색요청 데이터를 수신하면 상기 검색요청 데이터와 연관된 적어도 하나 이상의 이미지를 검색하는 이미지 검색부, 상기 검색된 이미지를 적어도 하나 이상의 조건에 따라 정렬하여 추천 이미지 목록을 생성하고 상기 추천 이미지 목록으로부터 타겟 이미지를 선택받는 이미지 선택부 및 상기 타겟 이미지의 오리지널 스타일을 사용자의 희망 스타일로 변형하는 이미지 스타일 변형부를 포함한다.
한편, 이미지 검색부는, 상기 검색요청 데이터 내에서 적어도 하나 이상의 키워드를 추출하고, 상기 추출된 키워드와 연관된 이미지를 검색하는 것일 수 있다.
또한, 이미지 선택부는, 상기 사용자에게 적어도 하나 이상의 상세필터를 제시하고, 상기 사용자로부터 선택받은 상세필터에 따라 상기 검색된 이미지를 필터링하는 필터링부 및 상기 필터링된 이미지를 상기 조건에 따라 정렬하여 상기 추천 이미지 목록을 생성하고 상기 추천 이미지 목록 내에서 상기 타겟 이미지를 선택받는 추천 이미지 목록 생성부를 포함할 수 있다.
또한, 이미지 스타일 변형부는, 스타일 변형창을 생성하여 상기 사용자로부터 상기 희망 스타일과 연관된 기준 이미지를 입력받는 이미지 입력부, 미리 설정된 방식에 따라 상기 기준 이미지에서 상기 희망 스타일을 추출하는 희망 스타일 추출부 및 상기 타겟 이미지 내의 컨텐츠를 상기 추출된 희망 스타일로 합성하여 상기 희망 스타일로 변형된 최종 이미지를 출력하는 출력부를 포함할 수 있다.
또한, 희망 스타일 추출부는, AdaIN 함수에 따라 상기 기준 이미지에서 연관성과 규칙을 분석하여 특징을 추출하고, 상기 추출된 특징을 상기 희망 스타일로 추출하는 것일 수 있다.
또한, 스타일 변형창 내에 복수의 기준 이미지가 입력되면, 상기 희망 스타일 추출부는 상기 복수의 기준 이미지에서 각각 특징을 추출하여 상기 추출된 특징들이 혼합된 희망 스타일을 추출하고, 상기 출력부는 상기 타겟 이미지 내의 컨텐츠를 상기 혼합된 희망 스타일로 합성하여 상기 최종 이미지를 출력할 수 있다.
또한, 희망 스타일 추출부는, 과거에 추출된 희망 스타일의 이력 데이터를 미리 설정된 딥러닝 알고리즘에 따라 학습하여 사용자 선호 스타일 추출 모델을 생성하고, 상기 기준 이미지에서 추출된 특징을 상기 사용자 선호 스타일 추출 모델에 적용하여 사용자 맞춤형 희망 스타일을 추출할 수 있다.
본 발명의 다른 실시예에 따른 이미지 스타일 변형 방법은, 이미지 스타일 변형 장치에서 수행되는 이미지 스타일 변형 방법으로서, 사용자로부터 검색요청 데이터를 수신하면 상기 검색요청 데아터와 연관된 적어도 하나 이상의 이미지를 검색하는 단계, 상기 검색된 이미지를 적어도 하나 이상의 조건에 따라 정렬하여 추천 이미지 목록을 생성하고 상기 추천 이미지 목록으로부터 타겟 이미지를 선택받는 단계 및 상기 타겟 이미지의 오리지널 스타일을 사용자의 희망 스타일로 변형하는 단계를 포함한다.
한편, 타겟 이미지를 선택받는 단계는, 상기 사용자에게 적어도 하나 이상의 상세필터를 제시하고, 상기 사용자로부터 선택받은 상세필터에 따라 상기 검색된 이미지를 필터링하는 단계 및 상기 필터링된 이미지를 상기 조건에 따라 정렬하여 상기 추천 이미지 목록을 생성하고 상기 추천 이미지 목록 내에서 상기 타겟 이미지를 선택받는 단계를 포함할 수 있다.
또한, 사용자의 희망 스타일로 변형하는 단계는, 스타일 변형창을 생성하여 상기 사용자로부터 상기 희망 스타일과 연관된 기준 이미지를 입력받는 단계, 미리 설정된 방식에 따라 상기 기준 이미지에서 희망 스타일을 추출하는 단계 및 상기 타겟 이미지 내의 컨텐츠를 상기 추출된 희망 스타일로 합성하여 상기 희망 스타일로 변형된 최종 이미지를 출력하는 단계를 포함할 수 있다.
또한, 희망 스타일을 추출하는 단계는, AdaIN 함수에 따라 상기 기준 이미지에서 연관성과 규칙을 분석하여 특징을 추출하고, 상기 추출된 특징을 상기 희망 스타일로 추출하는 것일 수 있다.
또한, 사용자의 희망 스타일로 변형하는 단계는, 상기 입력받는 단계에서 상기 스타일 변형창 내에 복수의 기준 이미지가 입력되면, 상기 희망 스타일을 추출하는 단계는, 상기 복수의 기준 이미지에서 각각 특징을 추출하여 상기 추출된 특징들이 혼합된 희망 스타일을 추출하고, 상기 최종 이미지를 출력하는 단계는, 상기 타겟 이미지 내의 컨텐츠를 상기 혼합된 희망 스타일로 합성하여 상기 최종 이미지를 출력할 수 있다.
본 발명의 또 다른 실시예는 이미지 스타일 변형 방법을 실행하도록 구성된, 컴퓨터로 판독가능한 기록매체에 저장된 컴퓨터 판독가능한 프로그램일 수 있다.
상술한 본 발명에 따르면, 사용자 검색요청 데이터에 대응하는 이미지 중 타겟 이미지를 선택받으면 선택받은 타겟 이미지의 오리지널 스타일을 사용자의 희망 스타일로 변형시킴으로써, 문서 작업 중 사용자가 원하는 스타일에 따라 이미지를 적용할 수 있는 이점을 갖는다.
도 1 은 본 발명의 일 실시예에 따른 이미지 스타일 변형 장치의 블록도이다.
도 2 는 도 1 에 도시된 이미지 스타일 변형 장치에서의 이미지 스타일 변형 과정을 도식화한 도면이다.
도 3 은 도 1 에 도시된 이미지 스타일 변형 장치에서 제공되는 사용자 인터페이스 화면의 일 예를 도시한 도면이다.
도 4 는 도 3 에 도시된 사용자 인터페이스 화면을 통해 이미지 스타일을 변형하는 과정의 일 예를 도시한 도면이다.
도 5 는 도 3 에 도시된 사용자 인터페이스 화면을 통해 이미지 스타일을 변형하는 과정의 다른 예를 도시한 도면이다.
도 6 은 도 1 에 도시된 이미지 스타일 변형 장치에서 다른 문서 작업 프로그램과 연동하여 이미지 스타일을 변형하는 모습의 일 예를 도시한 도면이다.
도 7 은 본 발명의 다른 실시예에 따른 이미지 스타일 변형 방법을 도시한 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1 은 본 발명의 일 실시예에 따른 이미지 스타일 변형 장치의 블록도이고, 도 2 는 도 1 에 도시된 이미지 스타일 변형 장치에서의 이미지 스타일 변형 과정을 도식화한 도면이다.
문서를 작업할 때 원하는 상황에 맞는 이미지 삽입이 필요한 경우가 있다. 이를 위해, 종래에는 사용자가 검색포털 사이트에 별도로 접속하여 키워드를 검색하고 키워드에 맞는 이미지를 별도로 장치 내 저장하여 작업창에서 다시 불러오는 번거로운 방식이 사용되었다. 더 나아가, 문서 내 다수의 이미지를 상술한 방식을 통해 삽입하여도 삽입된 다수의 이미지 간 스타일이 서로 다르므로 별도의 편집툴을 활용해서 일일이 이미지들 간 스타일을 통일감 있게 변경해야 하는 문제점이 존재하였다.
따라서, 본 실시예에 따른 이미지 스타일 변형 장치(100)는, 사용자로부터 검색요청 데이터가 수신되면 그에 맞는 이미지를 자동 검색해주며 검색된 이미지를 사용자가 원하는 스타일로 자동 변형하여 주는 서비스를 제공한다. 특히, 본 실시예에 다른 이미지 스타일 변형 장치는 문서 작성 기능 중 부가기능으로 활용할 수 있는 이미지 스타일 변형 서비스를 제공할 수 있다.
이러한 이미지 스타일 변형 장치(100)는 이동성을 갖거나 고정될 수 있다. 이미지 스타일 변형 장치(100)는 서버 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말 (terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
또한, 이미지 스타일 변형 장치(100)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.
또한, 이미지 스타일 변형 장치(100)는 상술한 자동 이미지 검색 서비스와, 사용자 희망 스타일 변형 서비스를 제공하기 위한 소트프웨어(애플리케이션)가 설치되어 실행될 수 있다.
이하에서는, 상술한 서비스를 제공하기 위한 이미지 스타일 변형 장치(100)의 구체적인 구성을 도 1 및 도 2 를 통해 설명한다.
이미지 스타일 변형 장치(100)는 이미지 검색부(110), 이미지 선택부(120) 및 이미지 스타일 변형부(130)를 포함한다.
이미지 검색부(110)는 사용자로부터 검색요청 데이터를 수신하면 검색요청 데이터와 연관된 적어도 하나 이상의 이미지를 검색한다.
이를 위해, 먼저 이미지 검색부(110)는 검색요청 데이터에서 적어도 하나 이상의 키워드를 추출한다.
이때, 검색요청 데이터는 하나 이상의 단어가 조합된 문장 또는 단어의 형태인 텍스트 데이터이거나, 이미지 데이터일 수 있으며, 이에 한정되지 않는다.
이미지 검색부(110)는 검색요청 데이터가 텍스트 데이터이면, 형태소 분석 기법 등 공지의 기법을 활용하여 키워드를 추출할 수 있다. 예컨대, 도 2 에 도시된 바와 같이, 사용자로부터 수신한 문장이 "도둑이 경찰에게 총을 겨누다"인 경우, 이미지 검색부(110)는 해당 문장 내에서 '경찰', '도둑', '총', '겨누다'의 키워드를 추출할 수 있다.
이미지 검색부(110)는 검색요청 데이터가 이미지 데이터인 경우, 패턴 인식(Pattern recognition)과 같은 비지도 학습의 기법을 통해 이미지를 인식하여 이미지의 색상, 전체적인 모양 및 배치로부터 연관 키워드를 추출할 수 있다.
상술한 바와 같이 키워드가 추출되면, 이미지 검색부(110)는 추출된 키워드와 연관된 이미지를 검색한다.
이를 위해, 이미지 검색부(110)는 키워드를 기초로 사용자가 원하는 상황을 판단하고 해당 상황에 맞는 이미지를 검색할 수 있다. 또한, 이미지 검색부(110)는 키워드 별로 연관된 이미지를 모두 검색한 뒤, 검색된 이미지 내에서 다수의 키워드와 연관된 이미지 순으로 정렬하여 연관도를 산출하고 미리 설정된 연관도 이상의 이미지를 최종 검색 이미지로 검색할 수도 있다.
이미지 검색부(110)는 이미지를 자체 데이터베이스 내에서 검색하거나, 타 검색 플랫폼과 연동하여 검색할 수 있다. 이때, 이미지 검색부(110)는 자체 데이터베이스 내에서 우선적으로 이미지를 검색한 뒤 일정량 이상의 이미지가 검색되지 않으면 검색 플랫폼에 연동하여 이미지를 검색할 수 있다. 또한, 이미지 검색부(110)는 사용자 설정에 따라 자체 데이터베이스만을 이용하거나 타 검색 플랫폼만을 이용하여 이미지를 검색할 수도 있다.
이미지 선택부(120)는 검색된 이미지를 적어도 하나 이상의 조건에 따라 정렬하여 추천 이미지 목록을 생성하고 추천 이미지 목록으로부터 타겟 이미지를 선택받는다.
이를 위해, 이미지 선택부(120)는 필터링부(121) 및 추천 이미지 목록 생성부(122)를 포함한다.
필터링부(121)는 사용자에게 적어도 하나 이상의 상세필터를 제시하고, 사용자로부터 선택받은 상세필터에 따라 검색된 이미지를 필터링한다.
여기서, 상세필터는 이미지의 상세속성 값에 기초하여 필터링하기 검색된 이미지를 필터링하기 위한 것으로서, 도 2 에 도시된 바와 같이, 무료/유료(Free/Unfree) 이미지 분류기능, 칼라/흑백(Color/Grayscale) 분류기능, 파일확장자(JPG/PNG) 구분기능, 이미지 크기에 따른 보기방식(3×3/6×6) 변경기능을 포함할 수 있으며, 이에 한정되지 않는다.
추천 이미지 목록 생성부(122)는 필터링된 이미지를 일정 조건에 따라 정렬하여 추천 이미지 목록을 생성한다.
보다 구체적으로, 추천 이미지 목록 생성부(122)는 이미지의 컨텐츠 속성에 따라 이미지를 분류하여 분류된 이미지별로 추천 이미지 목록을 생성할 수 있다. 예컨대, 도 2 에 도시된 바와 같이, 추천 이미지 목록 생성부(122)는 이미지의 컨텐츠 속성이 사진(Image), 일러스트(Illustration), 심볼(Symbol) 인지 여부를 솔팅(sorting)하고, 각 속성 별로 정렬하여 추천 이미지 목록을 생성할 수 있다.
추천 이미지 목록 생성부(122)는 이렇게 생성된 추천 이미지 목록 내에서 사용자로부터 타겟 이미지(Content Image(C), 도 2 참조)를 선택받을 수 있다. 이렇게 선택받은 타겟 이미지는 바로 문서 내에 삽입되거나, 사용자가 타겟 이미지의 스타일 변경을 원할 경우 이미지 스타일 변형부로 로딩될 수 있다.
이미지 스타일 변형부(130)는 타겟 이미지의 오리지널 스타일을 사용자의 희망 스타일로 변형한다.
이를 위해, 이미지 스타일 변형부(130)는 이미지 입력부(131), 희망 스타일 추출부(132) 및 출력부(133)를 포함한다.
이미지 입력부(131)는 스타일 변형창(Style Transfer, 도 2 참조)을 생성하여 사용자로부터 희망 스타일과 연관된 이미지인 기준 이미지(Style Image(S), 도 2 참조)를 입력받는다.
희망 스타일 추출부(132)는 미리 설정된 방식에 따라 기준 이미지에서 희망 스타일을 추출한다.
희망 스타일 추출부(132)는, 기준 이미지에서 연관성과 규칙을 분석하여 특징을 추출하고, 추출된 특징을 희망 스타일로 추출할 수 있다. 이때, 희망 스타일 추출부(132)는 AdaIn 함수를 이용하여 기준 이미지 상에서 특징을 추출할 수 있다.
한편, 보다 지능적인 희망 스타일이 추출되도록 희망 스타일 추출부(132)는 미리 설정된 딥러닝 알고리즘을 기초로 사용자 선호 스타일 추출 모델을 생성할 수 있다. 희망 스타일 추출부(132)는, 과거에 추출된 희망 스타일의 이력 데이터를 로딩하고, 이력 레이더를 학습하여 사용자 선호 스타일 추출 모델을 생성할 수 있다. 이때, 딥러닝 알고리즘은 ANN(Artificial Neural Network), DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory models), GRU(Gated Recurrent Unit), GAN(Generative Adversarial Network) 등일 수 있으며, 이에 한정되지 않는다. 희망 스타일 추출부(132)는 기준 이미지에서 추출된 특징을 사용자 선호 스타일 추출 모델에 적용하여 사용자 맞춤형 희망 스타일을 추출할 수 있다.
출력부(133)는 타겟 이미지 내의 컨텐츠를 희망 스타일로 합성하여 희망 스타일로 변형된 최종 이미지를 출력한다.
이를 위해, 출력부(133)는 타겟 이미지 내에서 컨텐츠만 남기고 스타일을 제거하며, 스타일이 제거된 타겟 이미지에 희망 스타일을 더해주는 방식으로 합성하여 최종 이미지를 출력할 수 있다. 여기서, 컨텐츠는 타겟 이미지 상의 객체를 의미하며, 스타일이란 객체를 표현하는 방식일 수 있다. 예컨대, 타겟 이미지 내에 나무의자가 있다면, '의자'가 컨텐츠이며 '나무'가 스타일일 수 있다.
한편, 스타일 변형창은 사용자로부터 기준 이미지를 복수 개 입력받을 수 있다. 이때, 희망 스타일 추출부(132)는 복수의 기준 이미지에서 각각 특징을 추출하여 상기 추출된 특징들이 혼합된 희망 스타일을 추출하고, 출력부(133)는 타겟 이미지 내의 컨텐츠를 상기 혼합된 희망 스타일로 합성하여 최종 이미지를 출력할 수 있다.
상술한 바와 같은, 희망 스타일 추출부(132)와 출력부(133)는 AdaIN 네트워크 구조로서, 인코더, AdaIn 레이어 및 디코더로 구현될 수 있다. 즉, 인코더에 타겟 이미지와 기준 이미지가 입력되면, AdaIn 레이어에서 AdaIn 함수를 기초로 기준 이미지로부터 특징이 추출되고, 디코더에서 추출된 특징이 타겟 이미지 공간상에 합성될 수 있다.
이하에서는, 도 3 내지 도 5 를 통해 이미지 스타일 변형 장치에서 제공하는, 사용자 문서 작성 중 부가기능으로 활용할 수 있는 이미지 스타일 변형 서비스를 이용하기 위한 사용자 인터페이스에 대해 설명하기로 한다.
도 3 은 도 1 에 도시된 이미지 스타일 변형 장치에서 제공되는 사용자 인터페이스 화면의 일 예를 도시한 도면이고, 도 4 는 도 3 에 도시된 사용자 인터페이스 화면을 통해 이미지 스타일을 변형하는 과정의 일 예를 도시한 도면이며, 도 5 는 도 3 에 도시된 사용자 인터페이스 화면을 통해 이미지 스타일을 변형하는 과정의 다른 예를 도시한 도면이다.
이미지 스타일 변형 장치(100)는 도 3 내지 도 5 에서와 같은, 이미지 스타일 변형 서비스를 제공하기 위한 사용자 인터페이스를 제공할 수 있다. 본 실시예에 따른 사용자 인터페이스는 패널형 인터페이스로서, 좌우측보다 상하측 길이가 더 긴 형상을 갖으나, 문서 작업 프로그램 실행 중 여백의 공간 상에 적응적으로 그 형상 및 사이즈가 조절될 수 있다.
이러한 사용자 인터페이스는 먼저, 사용자로부터 검색요청 데이터를 수신하여 이와 연관된 추천 이미지 목록을 제시하고 타겟 이미지를 선택받기 위한 스타일 검색창(STYLE SEARCHER, 10) 과 타겟 이미지의 스타일을 변경하기 위한 스타일 변형창(STYLE CHANGER, 20) 을 포함한다. 한편, 도 3 에서는 스타일 검색창과 스타일 변형창을 열방향으로 나란히 배치하였으나, 이에 한정되지 않으며, 각각의 창을 이격되게 배치할 수도 있으며 그 배치방향을 변경할 수 있음은 물론이다.
스타일 검색창은 검색창(11) 과, 상세 필터창(12)과, 추천 이미지창(13)을 포함한다.
검색창(11) 은 사용자로부터 검색요청 데이터를 수신한다. 예컨대, 도 4 에서와 같이, 사용자는 검색창(11)에 "경찰이 도둑에게 총을 겨누다" 라는 텍스트 문장형 검색요청 데이터를 입력할 수 있다.
상세 필터창(12)은 사용자로부터 상세필터 조건을 입력받기 위해 상세 필터 조건 아이콘을 표시하는 창이다. 이러한 상세 필터창(12)에는 무료/유료(Free/Unfree), 칼라/흑백(Color/Grayscale), 파일확장자(JPG/PNG), 보기방식(3×3/6×6) 의 필터 조건을 직관적으로 알 수 있는 아이콘이 표시되어 있을 수 있다.
추천 이미지창(13) 은 상세 필터가 적용된 추천 이미지를 그래픽 유형별로 솔팅한 추천 이미지 목록을 표시할 수 있다. 이때, 상술한 상세 필터의 조건에 따라 그래픽 유형별 추천 이미지의 개수가 상이할 수 있다. 예컨대, 추천 이미지창은 도 4 에서와 같이, 사진, 일러스트/아트, 심볼/아이콘 별로 행방향으로 정렬하여 표시될 수 있다. 한편, 도 4 는 추천 이미지 목록이 그래픽 유형별로 행방향으로 정렬하여 표시되었으나 이에 한정되지 않고, 열방향으로 정렬하여 표시될 수도 있으며, 추천 이미지가 일정 개수 이상일 경우 그래픽 유형별로 페이지를 생성하여 복수의 페이지 상에서 추천 이미지 목록이 표시될 수 있음은 물론이다.
추천 이미지창(13)은 이렇게 표시된 추천 이미지 목록 내에서 사용자로부터 도 4 의 (a) 에서와 같이, 타겟 이미지(초록색 박스표시)를 입력받을 수 있다.
스타일 변형창(STYLE CHANGER, 20)은 기준 이미지 입력창(21)과, 출력 이미지 출력창(22)과, 내보내기 설정창(23) 을 포함한다.
기준 이미지 입력창(21)은 사용자의 희망 스타일과 연관된 기준 이미지를 입력받기 위한 창으로서, 도 4 의 (b) 에서와 같이, 사용자로부터 기준 이미지를 드래그 앤 드롭 형식으로 입력받을 수 있다. 또한, 도 5 에서와 같이, 기준 이미지 입력창(21)은 상단에 아이콘이 선택되어 '여러 스타일 작용 설정'명령을 입력받으면, 복수의 기준 이미지가 입력될 수 있게 마련될 수 있다.
출력 이미지 출력창(22) 은 기준 이미지로부터 추출된 희망 스타일을 타겟 이미지 상에 합성한 출력 이미지를 출력하는 창으로서, 도 4 의 (c) 에서와 같이 타겟 이미지의 오리지널 스타일을 제거하고 희망 스타일이 적용된 출력 이미지가 출력될 수 있으며, 도 5 에서와 같이 타겟 이미지에 복수의 기준 이미지로부터의 혼합 희망 스타일이 적용된 출력 이미지가 출력될 수 있다.
내보내기 설정창(23)은 작업창으로 가져오기, 스타일 재적용, 공유하기, 휴지통 삭제 기능을 제공하기 위한 창으로서, 각 기능별 아이콘의 형태로 표시될 수 있다.
도 6 은 도 1 에 도시된 이미지 스타일 변형 장치에서 다른 문서 작업 프로그램과 연동하여 이미지 스타일을 변형하는 모습의 일 예를 도시한 도면으로서, 이미지 스타일 변형 장치는 도 6 에서와 같이, 문서 작업 프로그램의 실행 중 여백의 화면 상에 상술한 바와 같이 구성된 사용자 인터페이스를 표시하여 문서를 작업하는 도중 원하는 상황에 맞는 이미지 삽입을 할 수 있고, 삽입된 이미지 간 스타일을 통일감 있게 구성할 수 있는 이점을 제공한다.
도 7 은 본 발명의 다른 실시예에 따른 이미지 스타일 변형 방법을 도시한 순서도이다.
본 실시예에 따른 이미지 스타일 변형 방법은, 도 1 에 도시된 이미지 스타일 변형 장치에서 수행되는 이미지 스타일 변형 방법으로서, 이미지 검색부에서 사용자로부터 검색요청 데이터를 수신하면 검색요청 데이터와 연관된 적어도 하나 이상의 이미지를 검색하는 단계(S10), 이미지 선택부에서 검색된 이미지를 적어도 하나 이상의 조건에 따라 정렬하여 추천 이미지 목록을 생성하고 추천 이미지 목록으로부터 타겟 이미지를 선택받는 단계(S20) 및 이미지 스타일 변형부에서 타겟 이미지의 오리지널 스타일을 사용자의 희망 스타일로 변형하는 단계(S30)를 포함한다.
한편, 타겟 이미지를 선택받는 단계(S20)는, 사용자에게 적어도 하나 이상의 상세필터를 제시하고, 사용자로부터 선택받은 상세필터에 따라 검색된 이미지를 필터링하는 단계 및 필터링된 이미지를 조건에 따라 정렬하여 추천 이미지 목록을 생성하고 추천 이미지 목록 내에서 타겟 이미지를 선택받는 단계를 포함할 수 있다.
또한, 사용자의 희망 스타일로 변형하는 단계(S30)는, 스타일 변형창을 생성하여 사용자로부터 희망 스타일과 연관된 기준 이미지를 입력받는 단계, 미리 설정된 방식에 따라 기준 이미지에서 희망 스타일을 추출하는 단계 및 타겟 이미지 내의 컨텐츠를 추출된 희망 스타일로 합성하여 희망 스타일로 변형된 최종 이미지를 출력하는 단계를 포함할 수 있다. 또한, 희망 스타일을 추출하는 단계는, AdaIN 함수에 따라 기준 이미지에서 연관성과 규칙을 분석하여 특징을 추출하고, 추출된 특징을 희망 스타일로 추출하는 것일 수 있다.
또한, 사용자의 희망 스타일로 변형하는 단계(S30)는, 입력받는 단계에서 스타일 변형창 내에 복수의 기준 이미지가 입력되면, 희망 스타일을 추출하는 단계는, 복수의 기준 이미지에서 각각 특징을 추출하여 추출된 특징들이 혼합된 희망 스타일을 추출하고, 최종 이미지를 출력하는 단계는, 타겟 이미지 내의 컨텐츠를 혼합된 희망 스타일로 합성하여 최종 이미지를 출력할 수 있다.
상술한 본 발명에 따르면, 사용자 검색요청 데이터에 대응하는 이미지 중 타겟 이미지를 선택받으면 선택받은 타겟 이미지의 오리지널 스타일을 사용자의 희망 스타일로 변형시킴으로써, 문서 작업 중 사용자가 원하는 스타일에 따라 이미지를 적용할 수 있는 이점을 갖는다.
이상에서 설명한 실시예들에 따른 이미지 스타일 변형 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 이미지 스타일 변형 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
110: 이미지 검색부
120: 이미지 선택부
121: 필터링부
122: 추천 이미지 목록 생성부
130: 이미지 스타일 변형부
131: 이미지 입력부
132: 희망스타일 추출부
133: 출력부

Claims (13)

  1. 사용자로부터 검색요청 데이터를 수신하면, 상기 검색요청 데이터와 연관된 적어도 하나 이상의 이미지를 검색하는 이미지 검색부;
    상기 검색된 이미지를 적어도 하나 이상의 조건에 따라 정렬하여 추천 이미지 목록을 생성하고 상기 추천 이미지 목록으로부터 타겟 이미지를 선택받는 이미지 선택부; 및
    상기 타겟 이미지의 오리지널 스타일을 사용자의 희망 스타일로 변형하는 이미지 스타일 변형부를 포함하는, 이미지 스타일 변형 장치.
  2. 제 1 항에 있어서,
    상기 이미지 검색부는,
    상기 검색요청 데이터 내에서 적어도 하나 이상의 키워드를 추출하고, 상기 추출된 키워드와 연관된 이미지를 검색하는 것인, 이미지 스타일 변형 장치.
  3. 제 1 항에 있어서,
    상기 이미지 선택부는,
    상기 사용자에게 적어도 하나 이상의 상세필터를 제시하고, 상기 사용자로부터 선택받은 상세필터에 따라 상기 검색된 이미지를 필터링하는 필터링부; 및
    상기 필터링된 이미지를 상기 조건에 따라 정렬하여 상기 추천 이미지 목록을 생성하고 상기 추천 이미지 목록 내에서 상기 타겟 이미지를 선택받는 추천 이미지 목록 생성부를 포함하는, 이미지 스타일 변형 장치.
  4. 제 1 항에 있어서,
    상기 이미지 스타일 변형부는,
    스타일 변형창을 생성하여 상기 사용자로부터 상기 희망 스타일과 연관된 기준 이미지를 입력받는 이미지 입력부;
    미리 설정된 방식에 따라 상기 기준 이미지에서 상기 희망 스타일을 추출하는 희망 스타일 추출부; 및
    상기 타겟 이미지 내의 컨텐츠를 상기 추출된 희망 스타일로 합성하여 상기 희망 스타일로 변형된 최종 이미지를 출력하는 출력부를 포함하는, 이미지 스타일 변형 장치.
  5. 제 4 항에 있어서,
    상기 희망 스타일 추출부는,
    상기 기준 이미지에서 연관성과 규칙을 분석하여 특징을 추출하고, 상기 추출된 특징을 상기 희망 스타일로 추출하는 것인, 이미지 스타일 변형 장치.
  6. 제 4 항에 있어서,
    상기 스타일 변형창에 복수의 기준 이미지가 입력되면,
    상기 희망 스타일 추출부는 상기 복수의 기준 이미지에서 각각 특징을 추출하여 상기 추출된 특징들이 혼합된 희망 스타일을 추출하고,
    상기 출력부는 상기 타겟 이미지 내의 컨텐츠를 상기 혼합된 희망 스타일로 합성하여 상기 최종 이미지를 출력하는, 이미지 스타일 변형 장치.
  7. 제 5 항에 있어서,
    상기 희망 스타일 추출부는,
    과거에 추출된 희망 스타일의 이력 데이터를 미리 설정된 딥러닝 알고리즘에 따라 학습하여 사용자 선호 스타일 추출 모델을 생성하고,
    상기 기준 이미지에서 추출된 특징을 상기 사용자 선호 스타일 추출 모델에 적용하여 사용자 맞춤형 희망 스타일을 추출하는, 이미지 스타일 변형 장치.
  8. 이미지 스타일 변형 장치에서 수행되는, 이미지 스타일 변형 방법으로서,
    사용자로부터 검색요청 데이터를 수신하면 상기 검색요청 데이터와 연관된 적어도 하나 이상의 이미지를 검색하는 단계;
    상기 검색된 이미지를 적어도 하나 이상의 조건에 따라 정렬하여 추천 이미지 목록을 생성하고 상기 추천 이미지 목록으로부터 타겟 이미지를 선택받는 단계; 및
    상기 타겟 이미지의 오리지널 스타일을 사용자의 희망 스타일로 변형하는 단계를 포함하는, 이미지 스타일 변형 방법.
  9. 제 8 항에 있어서,
    상기 타겟 이미지를 선택받는 단계는,
    상기 사용자에게 적어도 하나 이상의 상세필터를 제시하고, 상기 사용자로부터 선택받은 상세필터에 따라 상기 검색된 이미지를 필터링하는 단계; 및
    상기 필터링된 이미지를 상기 조건에 따라 정렬하여 상기 추천 이미지 목록을 생성하고 상기 추천 이미지 목록 내에서 상기 타겟 이미지를 선택받는 단계를 포함하는, 이미지 스타일 변형 방법.
  10. 제 8 항에 있어서,
    상기 사용자의 희망 스타일로 변형하는 단계는,
    스타일 변형창을 생성하여 상기 사용자로부터 상기 희망 스타일과 연관된 기준 이미지를 입력받는 단계;
    미리 설정된 방식에 따라 상기 기준 이미지에서 희망 스타일을 추출하는 단계; 및
    상기 타겟 이미지 내의 컨텐츠를 상기 추출된 희망 스타일로 합성하여 상기 희망 스타일로 변형된 최종 이미지를 출력하는 단계를 포함하는, 이미지 스타일 변형 방법.
  11. 제 10 항에 있어서,
    상기 희망 스타일을 추출하는 단계는,
    AdaIN 함수에 따라 상기 기준 이미지에서 연관성과 규칙을 분석하여 특징을 추출하고, 상기 추출된 특징을 상기 희망 스타일로 추출하는 것인, 이미지 스타일 변형 방법.
  12. 제 10 항에 있어서,
    상기 사용자의 희망 스타일로 변형하는 단계는,
    상기 입력받는 단계에서 상기 스타일 변형창 내에 복수의 기준 이미지가 입력되면,
    상기 희망 스타일을 추출하는 단계는, 상기 복수의 기준 이미지에서 각각 특징을 추출하여 상기 추출된 특징들이 혼합된 희망 스타일을 추출하고,
    상기 최종 이미지를 출력하는 단계는, 상기 타겟 이미지 내의 컨텐츠를 상기 혼합된 희망 스타일로 합성하여 상기 최종 이미지를 출력하는, 이미지 스타일 변형 방법.
  13. 제 8 항 내지 제 12 항 중 어느 한 항에 기재된 이미지 스타일 변형 방법을 실행하도록 구성된, 컴퓨터로 판독가능한 기록매체에 저장된 컴퓨터 판독가능한 프로그램.
KR1020220051376A 2021-12-30 2022-04-26 이미지 스타일 변형 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램 KR20230103855A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210192102 2021-12-30
KR20210192102 2021-12-30

Publications (1)

Publication Number Publication Date
KR20230103855A true KR20230103855A (ko) 2023-07-07

Family

ID=87154044

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220051376A KR20230103855A (ko) 2021-12-30 2022-04-26 이미지 스타일 변형 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램

Country Status (1)

Country Link
KR (1) KR20230103855A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100889026B1 (ko) 2008-07-22 2009-03-17 김정태 이미지를 이용한 검색 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100889026B1 (ko) 2008-07-22 2009-03-17 김정태 이미지를 이용한 검색 시스템

Similar Documents

Publication Publication Date Title
US10031649B2 (en) Automated content detection, analysis, visual synthesis and repurposing
US11468550B2 (en) Utilizing object attribute detection models to automatically select instances of detected objects in images
US7065521B2 (en) Method for fuzzy logic rule based multimedia information retrival with text and perceptual features
CN111062451B (zh) 一种基于文本引导图模型的图像描述生成方法
US10366154B2 (en) Information processing device, information processing method, and computer program product
US20040215660A1 (en) Image search method and apparatus
JP7223574B2 (ja) マンガ生成システムおよびマンガ生成方法
JP2000067065A (ja) 文書画像識別方法および記録媒体
JP2008282407A (ja) 情報処理装置
CN114938473A (zh) 评论视频生成方法及装置
CN114995729A (zh) 一种语音绘图方法、装置及计算机设备
CN113297345B (zh) 分析报告生成方法、电子设备及相关产品
US9311518B2 (en) Systems and methods for efficient comparative non-spatial image data analysis
US10671359B2 (en) Systems and methods for organizing, classifying, and discovering automatically generated computer software
CN109614455B (zh) 一种基于深度学习的地理信息的自动标注方法及装置
KR20230103855A (ko) 이미지 스타일 변형 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램
KR20230104491A (ko) 웹 페이지의 이미지 변환 방법, 장치 및 시스템
CN112328743A (zh) 代码搜索方法、装置、可读存储介质和电子设备
JP5656230B2 (ja) アプリケーション操作事例の検索方法、装置及びブログラム
KR20210112853A (ko) 텍스트 기반의 애니메이션 데이터 자동 배치 방법 및 그를 위한 장치
KR102539746B1 (ko) 영상 변환 장치 및 이를 이용한 영상 변환 방법
CN110502690A (zh) 分类搜索方法和设备
CN117932161B (zh) 一种多源多模态数据的可视化搜索方法及系统
CN115577132B (zh) 一种基于云平台的信息分类及检索系统
CN106708934A (zh) 基于人工智能的学术文献搜索方法和装置