KR102057713B1 - 인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법 - Google Patents

인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법 Download PDF

Info

Publication number
KR102057713B1
KR102057713B1 KR1020190059322A KR20190059322A KR102057713B1 KR 102057713 B1 KR102057713 B1 KR 102057713B1 KR 1020190059322 A KR1020190059322 A KR 1020190059322A KR 20190059322 A KR20190059322 A KR 20190059322A KR 102057713 B1 KR102057713 B1 KR 102057713B1
Authority
KR
South Korea
Prior art keywords
style
recognition area
guideline
image
area
Prior art date
Application number
KR1020190059322A
Other languages
English (en)
Inventor
김경훈
장봉수
Original Assignee
주식회사 코어닷투데이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코어닷투데이 filed Critical 주식회사 코어닷투데이
Priority to KR1020190059322A priority Critical patent/KR102057713B1/ko
Application granted granted Critical
Publication of KR102057713B1 publication Critical patent/KR102057713B1/ko
Priority to PCT/KR2020/004590 priority patent/WO2020235806A1/ko
Priority to JP2021569352A priority patent/JP7220011B2/ja
Priority to EP20810608.8A priority patent/EP3975118A4/en
Priority to US17/529,158 priority patent/US11893657B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06T3/0056—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 따른 변환 대상인 인식 영역의 스타일을 트랜스퍼하는 시스템은 적용 대상 및 인식 영역에 대한 정보를 수신하는 통신모듈, 상기 인식 영역의 스타일을 트랜스퍼하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 적용 대상의 스타일을 딥러닝(Deep learning) 기반으로 훈련된 스타일 트랜스퍼의 가이드라인으로 설정하고, 상기 통신모듈을 통해 수신한 인식 영역에 상기 가이드라인을 적용하여 출력한다.

Description

인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법{SYSTEM AND METHOD FOR TRANSFERRING STYLE OF RECOGNITION AREA}
본 발명은 인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법에 관한 것이다.
최근 딥러닝 분야에서는 화가들의 스타일이 담긴 이미지를 일반 사진에 혼합하여 화가의 화풍이 담긴 새로운 그림을 생성하는 일명 스타일 트랜스퍼라는 기술이 대두되었다.
이러한 스타일 트랜스퍼는 기술이 성숙됨에 따라 어느 정도 컴퓨터 지식이 있는 사람이면 손쉽게 사용할 수 있는 보편화된 수준까지 이르게 되었다.
하지만, 종래 기술에 따른 스타일 트랜스퍼 기술은 화가의 화풍이 담긴 이미지를 특정 사진이나 이미지에 적용하는데 그치고 있어, 실물 객체의 스타일을 반영하거나 실제 인식 영역을 캡처하여 스타일을 반영하는 등의 사용자의 다양한 니즈를 만족하지 못한다는 문제가 있었다.
본 발명의 실시예는 스타일을 적용하여 변환하고자 하는 인식 영역을 캡처하고, 프로젝터 빔을 통해 출력된 화가의 화풍 이미지나, 이미지 또는 실물 객체에 적용된 특정 스타일을 캡처된 인식 영역에 적용할 수 있는 스타일 트랜스퍼 시스템 및 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 인식 영역의 스타일을 트랜스퍼하는 방법은 적용 대상의 스타일을 딥러닝(Deep learning) 기반으로 훈련된 스타일 트랜스퍼의 가이드라인으로 설정하는 단계; 변환 대상인 상기 인식 영역을 캡처하는 단계; 상기 설정된 가이드라인을 상기 인식 영역에 적용하는 단계; 및 상기 가이드라인이 적용된 인식 영역을 출력하는 단계를 포함한다.
일 실시예로, 상기 적용 대상은 프로젝터 빔을 통해 출력된 화풍 이미지일 수 있다.
본 발명에 따른 스타일 트랜스퍼 방법은 일 실시예로, 상기 스타일 트랜스퍼의 적용 대상인 화풍 이미지를 상기 프로젝터 빔을 통해 출력하는 단계를 더 포함할 수 있다.
일 실시예로, 상기 설정된 가이드라인을 상기 인식 영역에 적용하는 단계는, 상기 설정된 가이드라인을 상기 인식 영역 내에 포함된 배경 및 객체에 적용하되, 상기 프로젝터 빔을 통해 출력된 화풍 이미지에 혼합 적용할 수 있다.
일 실시예로, 상기 설정된 가이드라인을 상기 인식 영역에 적용하는 단계는, 상기 인식 영역 내의 배경에 상기 화풍 이미지의 원본이 포함된 경우, 상기 가이드라인을 상기 원본의 화풍 이미지에 혼합 적용할 수 있다.
본 발명에 따른 스타일 트랜스퍼 방법은 일 실시예로, 상기 프로젝터 빔의 출력 영역 및 상기 인식 영역은 동일 또는 상이한 크기를 갖도록 설정할 수 있다.
일 실시예로, 상기 설정된 가이드라인을 상기 인식 영역에 적용하는 단계는, 상기 출력 영역 및 인식 영역이 서로 동일한 크기를 갖도록 설정된 경우, 상기 가이드라인을 상기 인식 영역 내에 출력된 화풍 이미지 전체에 중복 적용할 수 있다.
일 실시예로, 상기 설정된 가이드라인을 상기 인식 영역에 적용하는 단계는, 상기 출력 영역 및 인식 영역이 서로 상이한 크기를 갖도록 설정된 경우, 상기 출력 영역과 중첩된 인식 영역 내에 출력된 화풍 이미지에는 상기 가이드라인이 중복 적용되고, 비중첩된 인식 영역에는 상기 가이드라인이 1차 적용될 수 있다.
일 실시예로, 상기 적용 대상은 특정 스타일을 포함하는 실물 또는 이미지에 포함된 특정 객체일 수 있다.
일 실시예로, 상기 스타일 트랜스퍼의 가이드라인으로 설정하는 단계는, 상기 실물 또는 이미지에 포함된 특정 객체의 특정 스타일을 상기 가이드라인으로 설정할 수 있다.
일 실시예로, 상기 스타일 트랜스퍼의 가이드라인으로 설정하는 단계는, 상기 실물 또는 이미지에 포함된 복수의 특정 객체 중 어느 하나를 랜덤하게 또는 사용자의 입력에 의해 선택되는 단계; 상기 선택된 특정 객체에 포함된 복수의 특정 스타일 중 어느 하나를 랜덤하게 또는 사용자의 입력에 의해 선택되는 단계; 및 상기 선택된 특정 객체의 특정 스타일을 상기 가이드라인으로 설정하는 단계를 포함할 수 있다.
또한, 본 발명의 제 2 측면에 따른 변환 대상인 인식 영역의 스타일을 트랜스퍼하는 시스템은 적용 대상 및 인식 영역에 대한 정보를 수신하는 통신모듈, 상기 인식 영역의 스타일을 트랜스퍼하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 적용 대상의 스타일을 딥러닝(Deep learning) 기반으로 훈련된 스타일 트랜스퍼의 가이드라인으로 설정하고, 상기 통신모듈을 통해 수신한 인식 영역에 상기 가이드라인을 적용하여 출력한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 특정 스타일을 포함하고 있는 적용 대상의 범위를 이미지뿐만 아니라 실제 객체의 스타일이나 사진 내 포함된 특정 영역의 스타일로 확장시킬 수 있다는 장점이 있다.
또한, 프로젝트 빔을 이용함으로써 한정된 사진 공간에 국한된 인식 영역을 실제 객체와 배경으로 확장이 가능하며, 출력된 화풍 이미지나 원본에 대해서도 중복 적용이 가능하여 보다 다양한 스타일 적용이 가능하다는 장점이 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 종래 기술에 따른 스타일 트랜스퍼를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 스타일 트랜스퍼 시스템의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 스타일 트랜스퍼 방법의 순서도이다.
도 4a는 캡처된 인식 영역을 도시한 도면이고, 도 4b는 가이드라인이 적용되어 출력된 인식 영역을 도시한 도면이다.
도 5a 내지 도 5d는 실물 객체 또는 이미지에 포함된 특정 스타일을 가이드라인으로 설정하여 인식 영역에 적용하는 일 실시예를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 종래 기술에 따른 스타일 트랜스퍼를 설명하기 위한 도면이다.
스타일 트랜스퍼는 image-to image translation 또는 texture transfer 등으로 불리며, 이는 한 이미지 P를 다른 이미지 A의 스타일을 가지는 새로운 이미지 X를 생성하는 방식이다.
예를 들어, 도 1과 같이 일반 사진 이미지 P를 '고흐'의 '별이 빛나는 밤에'에서의 스타일을 적용하도록 하여, X와 같은 새로운 이미지를 생성하는 방식을 의미한다.
본 발명의 일 실시예는 위와 같은 스타일 트랜스퍼에서 더 나아가, 사진이 아닌 프로젝트 빔을 이용하여 실제 사람과 같은 객체와 배경에 직접 스타일을 적용할 수 있도록 할 수 있으며, 또한 실물 객체나 이미지에 포함된 특정 스타일을 직접 적용할 수 있도록 함을 특징으로 한다.
이하에서는 도 2를 참조하여 본 발명의 일 실시예에 따른 스타일 트랜스퍼 시스템(100)에 대해 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 스타일 트랜스퍼 시스템(100)의 블록도이다.
본 발명의 일 실시예에 따른 스타일 트랜스퍼 시스템(100)은 통신모듈(110), 메모리(120) 및 프로세서(130)를 포함하도록 구성될 수 있다.
통신모듈(110)은 변환 대상인 인식 영역과 적용 대상에 대한 정보를 수신한다.
이와 같은 통신 모듈(110)은 유선 통신 모듈 및 무선 통신 모듈을 모두 포함할 수 있다. 유선 통신 모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신 모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.
본 발명에서의 적용 대상은 화가의 화풍 등 특정 스타일을 포함하고 있는 대상을 의미한다. 일 실시예로 프로젝터 빔을 통해 출력된 화가의 화풍 이미지이거나, 특정 스타일을 포함하는 실물 또는 이미지에 포함된 특정 객체일 수 있다.
본 발명에서의 인식 영역은 상기 특정 스타일을 적용하기 위한 영역을 의미한다. 일 실시예로, 인식 영역은 카메라에 의해 캡처된 특정 영역이거나 스캐너를 통해 스캔된 특정 이미지일 수 있다.
메모리(120)에는 인식 영역의 스타일을 트랜스퍼하기 위한 프로그램이 저장되며, 프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킨다. 여기에서, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킴에 따라, 적용 대상의 스타일을 딥러닝 기반으로 훈련된 스타일 드랜스퍼의 가이드라인으로 설정한다.
그리고 통신모듈(110)을 통해 수신한 인식 영역에 가이드라인을 적용하여 출력한다.
이하에서는 도 3 내지 도 5d를 참조하여 본 발명의 일 실시예에 따른 스타일 트랜스퍼 시스템(100)에 의해 수행되는 방법을 구체적으로설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 스타일 트랜스퍼 방법의 순서도이다.
본 발명의 일 실시예에 따른 스타일 트랜스퍼 방법은 먼저, 적용 대상의 스타일을 딥러닝 기반으로 훈련된 스타일 트랜스퍼의 가이드라인으로 설정한다(S110).
본 발명에서 적용 대상은 일 실시예로 프로젝터 빔을 통해 출력된 화풍 이미지일 수 있다.
즉, 본 발명의 일 실시예는 스타일 트랜스퍼의 적용 대상인 화풍 이미지를 프로젝터 빔을 통해 출력하고, 출력된 화풍 이미지의 스타일을 스타일 트랜스퍼의 가이드라인으로 설정할 수 있다.
또한, 본 발명의 상기 적용 대상은 일 실시예로, 특정 스타일을 포함하는 실물 또는 이미지에 포함된 특정 객체일 수 있다.
즉, 실물 객체나 영상 또는 이미지에 포함된 특정 객체에 적용된 특정 스타일을 추출하여 스타일 트랜스퍼의 가이드라인으로 설정할 수 있다.
다음으로, 변환 대상인 인식 영역을 캡처한다(S120).
일 실시예로, 인식 영역은 카메라에 의해 캡처된 특정 영역이거나, 스캐너를 통해 스캔된 특정 이미지일 수 있으며, 이하 설명의 편의상 카메라에 의해 캡처된 특정 영역인 것으로 가정한다.
다음으로, 설정된 가이드라인을 캡처된 인식 영역에 적용하고(S130), 가이드라인이 적용된 인식 영역을 출력한다(S140).
이하에서는 프로젝터 빔을 이용하여 화풍 이미지를 가이드라인으로 설정하여 인식 영역에 적용하는 일 실시예를 먼저 설정한 후, 실물 객체 또는 이미지에 포함된 특정 스타일을 가이드라인으로 설정하여 인식 영역에 적용하는 일 실시예를 설명하도록 한다.
도 4a는 캡처된 인식 영역을 도시한 도면이고, 도 4b는 가이드라인이 적용되어 출력된 인식 영역을 도시한 도면이다.
도 4a는 '고흐'의 '별이 빛나는 밤에'라는 화풍 이미지를 프로젝터 빔을 통해 출력한 도면이다.
도 4a를 보다 구체적으로 설명하면, 우측 영역에는 화풍 이미지의 원본이 배치되어 있고, 좌측 영역에는 프로젝터 빔을 통해 화풍 이미지가 출력되고 있으며, 좌측 영역의 일부에는 객체인 사람이 위치하고 있다. 이러한 도 4a의 전체 영역은 카메라에 의해 인식된 인식 영역을 나타낸다.
본 발명의 일 실시예는 프로젝터 빔을 통해 출력된 '별이 빛나는 밤에' 화풍 이미지에 적용된 '고흐'의 화풍 스타일을 딥러닝 기반으로 훈련된 스타일 트랜스퍼의 가이드라인으로 설정한다.
그리고 카메라를 통해 도 4a와 같이 인식 영역을 캡쳐한 다음, 설정된 '별이 빛나는 밤에'의 화풍 스타일 가이드라인을 인식 영역에 적용한다.
이때, 본 발명의 일 실시예는 설정된 가이드라인을 인식 영역 내에 포함된 배경 및 객체에 적용하되, 프로젝터 빔을 통해 출력된 화풍 이미지에 혼합 적용할 수 있다.
즉, 도 4a에서 프로젝터 빔을 통해 출력된 화풍 이미지와 객체, 그리고 이를 제외한 나머지 배경 영역에 '별이 빛나는 밤에'의 화풍 스타일 가이드라인을 적용할 수 있다.
이 과정에서 프로젝터 빔을 통해 출력된 화풍 이미지에는 '별이 빛나는 밤에'의 화풍 스타일 가이드라인이 한번 더 적용됨에 따라, 도 4b와 같이 인식 영역 내의 화풍 이미지에는 좀 더 '고흐' 스타일이 적용된 결과물이 출력될 수 있다.
또한, 본 발명의 일 실시예는 인식 영역 내의 배경에 화풍 이미지의 원본이 포함된 경우, 가이드라인을 원본의 화풍 이미지에 혼합 적용할 수 있다.
즉, 도 4a에서 프로젝터 빔을 통해 출력된 화풍 이미지와 별도로, 인식 영역 내에 원본의 화풍 이미지가 포함된 경우, 원본의 화풍 이미지에는 '별이 빛나는 밤에'의 화풍 스타일 가이드라인이 한번 더 적용됨에 따라, 도 4b와 같이 인식 영역 내의 화풍 이미지에는 좀 더 '고흐' 스타일이 적용된 결과물이 출력될 수 있다.
결과적으로 도 4b와 같이, 인식 영역 내의 원본의 화풍 이미지와 프로젝터 빔을 통해 출력된 화풍 이미지에는 가이드라인으로 설정된 화풍 이미지가 추가 적용되어 더욱 강렬한 스타일을 갖도록 변환될 수 있으며, 그 외 객체나 배경 영역은 1차례의 화풍 이미지 스타일이 적용될 수 있다.
일 실시예로, 가이드라인의 적용 영역 및 적용 강도는 사용자에 의해 조절될 수 있다.
예를 들어, 사용자는 도 4a에서 사람 객체 영역에 대해서만 가이드라인이 적용되도록 할 수 있으며, 적용 강도 또한 미리 설정된 복수의 등급에 따라 적용되도록 할 수 있도 있다.
한편, 본 발명의 일 실시예에서 프로젝터 빔의 출력 영역과 카메라 등에 의해 캡처된 인식 영역은 서로 동일 또는 상이한 크기를 갖도록 설정될 수 있다.
일 실시예로, 프로젝터 빔의 출력 영역과 인식 영역이 서로 동일한 크기를 갖도록 설정된 경우, 상기 가이드라인은 인식 영역 내에 출력된 화풍 이미지 전체에 중복 적용될 수 있다.
즉, 프로젝터 빔의 출력 영역과 인식 영역이 서로 동일한 크기로 설정된 경우는, 프로젝터 빔을 통해 출력하고자 하는 화풍 이미지의 크기와 동일한 크기를 갖도록 카메라의 인식 영역을 설정한 것인바, 인식 영역 전체에는 화풍 이미지의 전체가 그대로 매칭되어 포함되게 된다.
따라서, 인식 영역에 가이드라인이 적용될 경우에는 이미 스타일이 적용된 화풍 이미지에 중복되어 가이드라인이 적용되게 되며, 그 결과는 도 4b의 프로젝터 빔의 출력 영역과 같이 보다 강렬한 스타일을 갖도록 변환되게 된다.
또 다른 실시예로, 프로젝터 빔의 출력 영역과 인식 영역이 서로 상이한 크기를 갖도록 설정된 경우, 프로젝터 빔의 출력 영역과 중첩된 인식 영역 내에 출력된 화풍 이미지에는 가이드라인 중복 적용되어 도 4b의 프로젝터 빔의 출력 영역과 같이 보다 강렬한 스타일을 갖도록 변환되게 될 수 있다.
그리고 프로젝터 빔의 출력 영역과 비중첩된 인식 영역에는 가이드라인이 1차적으로만 적용되어 중복 적용된 것보다는 덜 강렬한 스타일을 갖도록 변환될 수 있다.
이러한 프로젝터 빔을 이용한 실시예는 화가의 화풍이 담긴 이미지를 프로젝터 빔을 쏘아서 가이드라인을 그리고 이를 스타일 트랜스퍼에 적용하여, 사진에 어떻게 화가의 화풍을 입혀야 할지 딥러닝 알고리즘에 가이드라인을 제시하는 역할을 수행할 수 있다.
도 5a 내지 도 5는 실물 객체 또는 이미지에 포함된 특정 스타일을 가이드라인으로 설정하여 인식 영역에 적용하는 일 실시예를 설명하기 위한 도면이다.
본 발명의 또 다른 실시예에서, 적용 대상은 특정 스타일을 포함하는 실물 또는 이미지에 포함된 특정 객체일 수 있다.
이에 따라, 본 발명은 실물 또는 이미지에 포함된 특정 객체의 특정 스타일을 가이드라인으로 설정하여 스타일 트랜스퍼에 적용할 수 있다.
예를 들어, 도 5a와 같이 화가의 화풍을 담고 싶은 부분들을 스티로폼 등의 물건을 이용하여 표현하고, 이를 캡처하여 가이드라인으로 설정하여 스타일 트랜스퍼에 적용할 수 있다.
또한, 도 5b와 같이 스티로폼으로 표현된 가공물은, 사진에 어떻게 화가의 화풍을 입혀야 할지 딥러닝 알고리즘인 스타일 트랜스퍼에 가이드라인을 제시하는 역할을 할 수 있다.
이와 같은 가이드라인이 설정되고 나면, 무성한 나무 모양의 페이퍼커팅, 스티로폼 등의 가공물로 표현된 도 5c와 같은 변환 대상인 인식 영역을 캡처하고, 위 설정된 가이드라인을 인식 영역에 적용함에 따라, 도 5d와 같이 가공물을 구분하여 스타일 트랜스퍼할 수 있다. 이때, 도 5d의 경우는 나뭇잎 모양들이 화가의 화풍에 따라 변형된 것이다.
한편, 본 발명의 일 실시예는 실물 또는 이미지에 포함된 복수의 특정 객체의 특정 스타일을 선택 적용할 수 있다.
먼저, 실물 또는 이미지에 포함된 복수의 특정 객체 중 어느 하나를 랜덤하게 또는 사용자의 입력에 의해 선택할 수 있다.
그리고 선택된 특정 객체에 포함된 복수의 특정 스타일 중 어느 하나를 랜덤하게 또는 사용자의 입력에 의해 선택할 수 있으며, 그 결과 선택된 특정 객체의 특정 스타일을 가이드라인으로 설정하여 스타일 트랜스퍼에 적용할 수 있다.
상술한 설명에서, 단계 S110 내지 단계 S140는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 2에서의 스타일 트랜스퍼 시스템(100)에 관하여 이미 기술된 내용은 도 3 내지 도 5d의 스타일 트랜스퍼 방법에도 적용된다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 스타일 트랜스퍼 시스템
110: 통신모듈
120: 메모리
130: 프로세서

Claims (12)

  1. 인식 영역의 스타일을 트랜스퍼하는 방법에 있어서,
    적용 대상의 스타일을 딥러닝(Deep learning) 기반으로 훈련된 스타일 트랜스퍼의 가이드라인으로 설정하는 단계;
    변환 대상인 상기 인식 영역을 캡처하는 단계;
    상기 설정된 가이드라인을 상기 인식 영역에 적용하는 단계; 및
    상기 가이드라인이 적용된 인식 영역을 출력하는 단계를 포함하되,
    상기 적용 대상은 프로젝터 빔을 통해 출력된 화풍 이미지이고,
    상기 스타일 트랜스퍼의 적용 대상인 화풍 이미지를 상기 프로젝터 빔을 통해 출력하는 단계를 더 포함하고,
    상기 설정된 가이드라인을 상기 인식 영역에 적용하는 단계는,
    상기 설정된 가이드라인을 상기 인식 영역 내에 포함된 배경 및 객체에 적용하되, 상기 프로젝터 빔을 통해 출력된 화풍 이미지에 혼합 적용하는 것을 특징으로 하는 스타일 트랜스퍼 방법.
  2. 제 1 항에 있어서,
    상기 설정된 가이드라인을 상기 인식 영역에 적용하는 단계는,
    상기 인식 영역 내의 배경에 상기 화풍 이미지의 원본이 포함된 경우, 상기 가이드라인을 상기 원본의 화풍 이미지에 혼합 적용하는 것인 스타일 트랜스퍼 방법.
  3. 제 1 항에 있어서,
    상기 프로젝터 빔의 출력 영역 및 상기 인식 영역은 동일 또는 상이한 크기를 갖도록 설정하는 단계를 더 포함하는 스타일 트랜스퍼 방법.
  4. 인식 영역의 스타일을 트랜스퍼하는 방법에 있어서,
    적용 대상의 스타일을 딥러닝(Deep learning) 기반으로 훈련된 스타일 트랜스퍼의 가이드라인으로 설정하는 단계;
    변환 대상인 상기 인식 영역을 캡처하는 단계;
    상기 설정된 가이드라인을 상기 인식 영역에 적용하는 단계; 및
    상기 가이드라인이 적용된 인식 영역을 출력하는 단계를 포함하되,
    상기 적용 대상은 프로젝터 빔을 통해 출력된 화풍 이미지이고,
    상기 스타일 트랜스퍼의 적용 대상인 화풍 이미지를 상기 프로젝터 빔을 통해 출력하는 단계; 및
    상기 프로젝터 빔의 출력 영역 및 상기 인식 영역은 동일 또는 상이한 크기를 갖도록 설정하는 단계를 더 포함하고,
    상기 설정된 가이드라인을 상기 인식 영역에 적용하는 단계는,
    상기 출력 영역 및 인식 영역이 서로 동일한 크기를 갖도록 설정된 경우, 상기 가이드라인을 상기 인식 영역 내에 출력된 화풍 이미지 전체에 중복 적용하는 것인 스타일 트랜스퍼 방법.
  5. 인식 영역의 스타일을 트랜스퍼하는 방법에 있어서,
    적용 대상의 스타일을 딥러닝(Deep learning) 기반으로 훈련된 스타일 트랜스퍼의 가이드라인으로 설정하는 단계;
    변환 대상인 상기 인식 영역을 캡처하는 단계;
    상기 설정된 가이드라인을 상기 인식 영역에 적용하는 단계; 및
    상기 가이드라인이 적용된 인식 영역을 출력하는 단계를 포함하되,
    상기 적용 대상은 프로젝터 빔을 통해 출력된 화풍 이미지이고,
    상기 스타일 트랜스퍼의 적용 대상인 화풍 이미지를 상기 프로젝터 빔을 통해 출력하는 단계; 및
    상기 프로젝터 빔의 출력 영역 및 상기 인식 영역은 동일 또는 상이한 크기를 갖도록 설정하는 단계를 더 포함하고,
    상기 설정된 가이드라인을 상기 인식 영역에 적용하는 단계는,
    상기 출력 영역 및 인식 영역이 서로 상이한 크기를 갖도록 설정된 경우, 상기 출력 영역과 중첩된 인식 영역 내에 출력된 화풍 이미지에는 상기 가이드라인이 중복 적용되고, 비중첩된 인식 영역에는 상기 가이드라인이 1차 적용되는 것인 스타일 트랜스퍼 방법.
  6. 인식 영역의 스타일을 트랜스퍼하는 방법에 있어서,
    적용 대상의 스타일을 딥러닝(Deep learning) 기반으로 훈련된 스타일 트랜스퍼의 가이드라인으로 설정하는 단계;
    변환 대상인 상기 인식 영역을 캡처하는 단계;
    상기 설정된 가이드라인을 상기 인식 영역에 적용하는 단계; 및
    상기 가이드라인이 적용된 인식 영역을 출력하는 단계를 포함하되,
    상기 적용 대상은 특정 스타일을 포함하는 실물 또는 이미지에 포함된 특정 객체인 것이고,
    상기 스타일 트랜스퍼의 가이드라인으로 설정하는 단계는 상기 실물 또는 이미지에 포함된 특정 객체의 특정 스타일을 상기 가이드라인으로 설정하는 것이고,
    상기 스타일 트랜스퍼의 가이드라인으로 설정하는 단계는,
    상기 실물 또는 이미지에 포함된 복수의 특정 객체 중 어느 하나를 랜덤하게 또는 사용자의 입력에 의해 선택되는 단계;
    상기 선택된 특정 객체에 포함된 복수의 특정 스타일 중 어느 하나를 랜덤하게 또는 사용자의 입력에 의해 선택되는 단계; 및
    상기 선택된 특정 객체의 특정 스타일을 상기 가이드라인으로 설정하는 단계를 포함하는 것을 특징으로 하는 스타일 트랜스퍼 방법.
  7. 변환 대상인 인식 영역의 스타일을 트랜스퍼하는 시스템에 있어서,
    적용 대상 및 인식 영역에 대한 정보를 수신하는 통신모듈,
    상기 인식 영역의 스타일을 트랜스퍼하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 적용 대상의 스타일을 딥러닝(Deep learning) 기반으로 훈련된 스타일 트랜스퍼의 가이드라인으로 설정하고, 상기 통신모듈을 통해 수신한 인식 영역에 상기 가이드라인을 적용하여 출력하고,
    상기 적용 대상은 프로젝터 빔을 통해 출력된 화풍 이미지이고,
    상기 프로세서는 상기 스타일 트랜스퍼의 적용 대상인 화풍 이미지를 상기 프로젝터 빔을 통해 출력하고, 상기 설정된 가이드라인을 상기 인식 영역 내에 포함된 배경 및 객체에 적용하되, 상기 프로젝터 빔을 통해 출력된 화풍 이미지에 혼합 적용하는 것을 특징으로 하는 스타일 트랜스퍼 시스템.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
KR1020190059322A 2019-05-21 2019-05-21 인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법 KR102057713B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190059322A KR102057713B1 (ko) 2019-05-21 2019-05-21 인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법
PCT/KR2020/004590 WO2020235806A1 (ko) 2019-05-21 2020-04-03 인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법
JP2021569352A JP7220011B2 (ja) 2019-05-21 2020-04-03 認識領域のスタイルを変換するシステム及び方法
EP20810608.8A EP3975118A4 (en) 2019-05-21 2020-04-03 RECONNAISSANCE ZONE STYLE TRANSFER SYSTEM AND METHOD
US17/529,158 US11893657B2 (en) 2019-05-21 2021-11-17 System and method for transferring style for recognition area

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190059322A KR102057713B1 (ko) 2019-05-21 2019-05-21 인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102057713B1 true KR102057713B1 (ko) 2019-12-19

Family

ID=69056323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190059322A KR102057713B1 (ko) 2019-05-21 2019-05-21 인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법

Country Status (5)

Country Link
US (1) US11893657B2 (ko)
EP (1) EP3975118A4 (ko)
JP (1) JP7220011B2 (ko)
KR (1) KR102057713B1 (ko)
WO (1) WO2020235806A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020235806A1 (ko) * 2019-05-21 2020-11-26 주식회사 코어닷투데이 인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929582A (zh) * 2021-02-04 2021-06-08 北京字跳网络技术有限公司 一种特效展示方法、装置、设备及介质
KR102496362B1 (ko) * 2022-11-15 2023-02-06 (주)빛글림 인공지능 기반 영상 콘텐츠 제작 시스템 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132346B2 (en) * 2012-04-04 2015-09-15 Kenneth J. Huebner Connecting video objects and physical objects for handheld projectors
KR102000536B1 (ko) * 2012-12-28 2019-07-16 삼성전자주식회사 합성 이미지를 촬영하는 촬영 장치 및 그 방법
KR20160021607A (ko) * 2014-08-18 2016-02-26 삼성전자주식회사 배경 화면을 디스플레이하는 방법 및 장치
KR101905580B1 (ko) * 2016-02-17 2018-10-11 한국전자통신연구원 촬영 기능을 갖는 모바일 장치를 이용한 상황 재연 방법 및 시스템
CA3014670A1 (en) * 2016-03-08 2017-09-14 Nant Holdings Ip, Llc Image feature combination for image-based object recognition
KR101938207B1 (ko) * 2016-07-27 2019-04-11 주식회사 아이오로라 포토티켓을 생성하는 방법 및 이를 운용하는 포토티켓 생성 장치
JP2018132855A (ja) 2017-02-14 2018-08-23 国立大学法人電気通信大学 画像スタイル変換装置、画像スタイル変換方法および画像スタイル変換プログラム
US10565757B2 (en) 2017-06-09 2020-02-18 Adobe Inc. Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
KR102057713B1 (ko) * 2019-05-21 2019-12-19 주식회사 코어닷투데이 인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Melissa Perez, "Gradient-Based Object-Selective Style Transfer for Videos", Graduate School, Dongseo University, August 2017.*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020235806A1 (ko) * 2019-05-21 2020-11-26 주식회사 코어닷투데이 인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법
US11893657B2 (en) 2019-05-21 2024-02-06 CoreDotToday Inc. System and method for transferring style for recognition area

Also Published As

Publication number Publication date
US11893657B2 (en) 2024-02-06
US20220076456A1 (en) 2022-03-10
JP7220011B2 (ja) 2023-02-09
EP3975118A1 (en) 2022-03-30
EP3975118A4 (en) 2023-07-05
WO2020235806A1 (ko) 2020-11-26
JP2022534884A (ja) 2022-08-04

Similar Documents

Publication Publication Date Title
KR102057713B1 (ko) 인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법
JP6616473B2 (ja) ページを制御する方法および装置
US10559062B2 (en) Method for automatic facial impression transformation, recording medium and device for performing the method
US10547779B2 (en) Smart image sensor having integrated memory and processor
US11776129B2 (en) Semantic refinement of image regions
US9196070B2 (en) Image processing apparatus that generates omnifocal image, image processing method, and storage medium
US7548259B2 (en) System and method for producing a higher resolution still image from video information
CN101438318A (zh) 减少场景图像中的模糊的方法和场景图像去模糊装置
KR102008503B1 (ko) 지능형 협업 서버, 시스템 및 이의 협업 기반 분석 방법
CN104902160B (zh) 一种信息处理方法和电子设备
CN102088559A (zh) 数字拍摄设备及其控制方法
US9437026B2 (en) Image creating device, image creating method and recording medium
JP2021515347A (ja) ニューラルネットワークモデルのトレーニング、タイムラプス撮影ビデオの生成方法及び装置
CN103634524A (zh) 相机系统的控制方法、控制设备及相机系统
CN102611844A (zh) 用于处理图像的方法和设备
CN105323527A (zh) 用于时移视频的曝光计量的系统和方法
WO2021063118A1 (en) Method and apparatus for image processing
CN103747171A (zh) 相机系统的控制方法及相机系统
CN102572219A (zh) 移动终端及其图像处理方法
CN106338807B (zh) 一种自动对焦方法、装置及终端
CN105467741B (zh) 一种全景拍照方法及终端
CN102447833B (zh) 图像处理设备和用于控制图像处理设备的方法
CN103929585A (zh) 一种偏光片的控制方法、电子设备及系统
KR20210055369A (ko) 이미지 변환 장치, 방법 및 컴퓨터 판독 가능한 기록매체
US20170163903A1 (en) Method and electronic device for processing image

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant