KR102623148B1 - 전자 장치 및 전자 장치의 제어 방법 - Google Patents

전자 장치 및 전자 장치의 제어 방법 Download PDF

Info

Publication number
KR102623148B1
KR102623148B1 KR1020190127385A KR20190127385A KR102623148B1 KR 102623148 B1 KR102623148 B1 KR 102623148B1 KR 1020190127385 A KR1020190127385 A KR 1020190127385A KR 20190127385 A KR20190127385 A KR 20190127385A KR 102623148 B1 KR102623148 B1 KR 102623148B1
Authority
KR
South Korea
Prior art keywords
image
electronic device
style
neural network
images
Prior art date
Application number
KR1020190127385A
Other languages
English (en)
Other versions
KR20210044375A (ko
Inventor
이성오
곽영민
박성배
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190127385A priority Critical patent/KR102623148B1/ko
Priority to US17/022,516 priority patent/US11443537B2/en
Priority to PCT/KR2020/013057 priority patent/WO2021075758A1/en
Publication of KR20210044375A publication Critical patent/KR20210044375A/ko
Application granted granted Critical
Publication of KR102623148B1 publication Critical patent/KR102623148B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Electrotherapy Devices (AREA)

Abstract

전자 장치가 개시된다. 개시되는 전자 장치는, 적어도 하나 이상의 프로세서 및 적어도 하나 이사의 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 제1 이미지에 포함된 적어도 하나 이상의 객체에 대한 특징을 식별하고, 상기 제1 이미지를 제1 신경망 네트워크에 적용하여 획득된 제2 이미지에 포함된 적어도 하나 이상의 객체에 대한 특징을 식별하고, 상기 식별 결과에 기반하여 이미지 처리 방법을 결정하고, 상기 결정된 이미지 처리 방법에 기반하여 복수 개의 제3 이미지들을 획득하도록 설정된 적어도 하나 이상의 인스트럭션들을 포함할 수 있다. 그 외 다양한 실시예가 가능하다.

Description

전자 장치 및 전자 장치의 제어 방법{Electronic apparatus and controlling method thereof}
본 개시의 다양한 실시예들은 전자 장치 및 이의 제어 방법에 관한 것으로, 보다 상세하게는, 선택된 이미지의 스타일이 변경되는 과정을 제공하는 방법에 관한 것이다.
디스플레이를 포함하는 전자 장치의 보급 및 기술 개발로 인하여, 다양한 형태 및 다양한 기능을 갖는 전자 장치들이 개발되고 있다.
예를 들어, 전자 장치를 사진 또는 명화 등의 소정 화면을 디스플레이 하기 위한 액자(picture frame)처럼 이용할 수 있는 제품들이 출시되고 있다. 구체적으로, 사용자가 전자 장치를 통하여 소정의 컨텐츠를 시청하고 있는 경우가 아니면, 소정의 화면, 예를 들어, 명화 또는 사진을 포함하는 화면을 출력할 수 있다. 이 경우, 사용자는 전자 장치를 명화 액자 또는 대형 사진 액자처럼 이용할 수 있다.
이 경우, 전자 장치는 스타일 변환 알고리즘을 이용하여 사용자의 취향에 따라 스타일이 변형된 이미지를 표시할 수 있다. 최근에는, 인공 지능 알고리즘을 이용하여 이미지의 스타일을 변경할 수 있다.
인공 지능 알고리즘을 이용하여 이미지의 스타일을 변경하는 것은 스타일 변환 알고리즘을 이용하여 이미지의 스타일을 변경하는 것보다 긴 시간이 소요되어 사용자에 원하는 시간에 결과 이미지를 볼 수 없는 불편함이 있을 수 있다.
따라서, 본 개시의 실시예는 신경망을 통한 연산을 수행하여 이미지를 생성하는데 소요되는 시간 동안 사용자가 지루함을 느끼지 않도록, 이미지들을 생성 및 디스플레이 할 수 있는 전자 장치의 제어 방법 및 그에 따른 전자 장치를 제공할 수 있다.
일 실시예에 따른 전자 장치는, 적어도 하나 이상의 프로세서 및 적어도 하나 이사의 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 제1 이미지에 포함된 적어도 하나 이상의 객체에 대한 특징을 식별하고, 상기 제1 이미지를 제1 신경망 네트워크에 적용하여 획득된 제2 이미지에 포함된 적어도 하나 이상의 객체에 대한 특징을 식별하고, 상기 식별 결과에 기반하여 이미지 처리 방법을 결정하고, 상기 결정된 이미지 처리 방법에 기반하여 복수 개의 제3 이미지들을 획득하도록 설정된 적어도 하나 이상의 인스트럭션들을 포함할 수 있다.
일 실시예에 따른 전자 장치의 제어 방법은, 제1 이미지에 포함된 적어도 하나 이상의 객체에 대한 특징을 식별하는 동작, 상기 제1 이미지를 제1 신경망 네트워크에 적용하여 획득 된 제2 이미지에 포함된 적어도 하나 이상의 객체에 대한 특징을 식별하는 동작, 상기 식별 결과들에 기반하여 이미지 처리 방법을 결정하는 동작 및 상기 결정 된 이미지 처리 방법에 기반하여 복수 개의 제3 이미지들을 획득하는 동작을 포함할 수 있다.
본 개시의 일 실시예에 따르면, 전자 장치는 이미지의 스타일이 변환되는 과정을 시청할 수 있다.
본 개시의 일 실시예에 따르면, 전자 장치는 인공 지능 알고리즘을 이용하여 생성하는 이미지와 스타일 변환 알고리즘을 이용하여 생성하는 이미지의 유사성을 높일 수 있다.
도 1은 일 실시예에 따른 전자 장치가 소정의 공간에 배치되어 사용되는 상황을 설명하는 도면이다.
도 2는 일 실시예에 따른 전자 장치가 시뮬레이션 기반 스타일 변환 방법을 이용하여 복수 개의 이미지들을 획득하는 상황을 설명하는 흐름도이다.
도 3A 및 도 3B는 일 실시예에 따른 전자 장치가 시뮬레이션 기반 스타일 변환 방법을 이용하여 복수 개의 이미지들을 획득하는 상황을 설명하는 블록도이다.
도 4는 일 실시예에 따른 전자 장치의 대략적인 블록도이다.
도 5는 일 실시예에 따른 전자 장치가 제1 이미지를 이용하여 제2 이미지를 획득하는 상황을 설명하는 도면이다.
도 6은 일 실시예에 따른 전자 장치가 제1 이미지를 이용하여 제4 이미지를 획득하는 상황을 설명하는 도면이다.
도 7은 일 실시예에 따른 전자 장치가 제1 이미지를 이용하여 제2 이미지를 획득하는 다른 상황을 설명하는 도면이다.
도 8은 일 실시예에 따른 전자 장치가 제1 이미지를 이용하여 획득된 복수 개의 이미지들을 표시하는 상황을 설명하는 흐름도이다.
도 9는 일 실시예에 따른 전자 장치가 제1 이미지를 이용하여 획득된 복수 개의 이미지들을 표시하는 상황을 설명하는 블록도이다.
도 10은 일 실시예에 따른 전자 장치가 서버와 연동하여 제1 이미지를 이용하여 획득 된 복수 개의 이미지들을 표시하는 상황을 설명하는 흐름도이다.
도 11은 일 실시예에 따른 전자 장치가 제3 이미지를 생성하는 과정을 설명하는 블록도 이다.
도 12는 다양한 실시예에 따른 전자 장치가 제3 이미지를 생성하는 과정을 설명하는 블록도 이다.
도 13은 다양한 실시예에 따른 전자 장치가 제3 이미지를 생성하는 다른 과정을 설명하는 블록도 이다.
도 14는 다양한 실시예에 따른 전자 장치가 제3 이미지를 생성하는 다른 과정을 설명하는 블록도 이다.
도 15은 본 개시의 다양한 실시예에 따른 전자 장치의 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 프로세서 또는 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 모듈 및 구성 등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다. 또한, 'A와 B 중 적어도 하나'라는 기재는 'A 또는 B' 또는 'A 및 B'를 의미한다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
본 개시의 실시예에 따른 전자 장치는 소정 컨텐츠를 시각적으로 출력하는 모든 전자 기기를 포함할 수 있다. 구체적으로, 본 개시의 실시예에 따른 전자 장치는 적어도 하나의 컨텐츠를 선택적으로 디스플레이 할 수 있는 모든 전자 기기로, TV, 디지털 방송용 단말기, 태블릿 PC, 모바일 폰, 모바일 폰, 컴퓨터, 노트북 등과 같이 다양한 형태로 존재할 수 있다. 또한, 전자 장치는 고정형뿐만 아니라, 이동 가능하거나 사용자가 휴대 가능한 형태를 가질 수 있을 것이다.
그리고, 본 개시의 실시예에서, 전자 장치는 외부 장치와 무선 네트워크를 통하여 데이터를 송수신할 수 있다. 여기서, 외부 장치는 무선 통신 네트워크를 통하여 전자 장치와 통신할 수 있는 서버, 전자 장치 등이 될 수 있다. 구체적으로, 외부 장치는 전자 장치와 소정 데이터를 송수신하거나, 전자 장치와 페어링(pairing)될 수 있거나, 전자 장치를 원격 제어하거나, 또는 전자 장치로부터 원격 제어될 수 있는 서버 또는 전자 장치가 될 수 있다. 예를 들어, 외부 장치는 스마트 폰, 태블릿 PC, PC, PDA(personal digital assistant), 랩탑 컴퓨터, 미디어 플레이어, 서버, 마이크로 서버 등과 같은 컴퓨팅 장치가 될 수 있다.
도 1은 일 실시예에 따른 전자 장치가 소정의 공간에 배치되어 사용되는 상황을 설명하는 도면이다.
도 1을 참조하면, 전자 장치(10)는 일정한 공간 내에 배치될 수 있다. 전자 장치(10)는 디스플레이(11)를 이용하여 다양한 컨텐츠(예: 이미지, 동영상 등)을 출력하는 장치이다. 예를 들면, 전자 장치(10)는 TV, 디지털 방송용 단말기 등과 같이 다양한 형태로 존재할 수 있다. 다양한 실시예에 따르면, 전자 장치(10)는 고정형뿐만 아니라, 이동 가능하거나 사용자가 휴대 가능한 형태일 수 있다.
도 1을 참조하면, 전자 장치(10)는 벽면(15)에 탈 부착 가능한 벽걸이 형태로 일정한 벽면(15)에 부착된 상태로 배치될 수 있다. 전자 장치(10)는 소정의 컨텐츠를 재생하지 않는 동안에 기 설정된 이미지를 디스플레이(11)에 표시하는 엠비언트(ambient) 기능을 실행할 수 있다. 엠비언트(ambient) 기능은, 예를 들면, 전자 장치(10)가 전원 절약 상태(또는, 슬립 상태)에 있는 상황에서, 블랙 화면 대신에 사전에 설정된 이미지를 디스플레이(11)의 적어도 일부 영역에 표시하는 기능을 의미할 수 있다. 전원 절약 상태는, 예를 들면, 전자 장치(10)의 프로세서가 전자 장치(10)에 포함된 복수 개의 구성 요소들 중 일부 구성 요소만 제어하거나 또는 일부 구성 요소와 관련된 기능만을 실행하는 상태를 의미할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 엠비언트 기능을 실행하는 경우에, 사용자의 의도, 취향 및/또는 설정 등에 대응 되는 이미지를 표시할 수 있다. 이를 위해, 전자 장치(10)는 스타일 변환(style transfer) 기술을 이용할 수 있다.
스타일 변환은, 예를 들면, 하나의 이미지에 대한 그 이미지가 가진 내용은 유지한 채로 그 이미지가 가진 스타일을 다른 스타일을 참조하여 변환하여 새로운 이미지를 획득하는 것을 의미할 수 있다. 변환의 대상이 되는 하나의 이미지는 일반적인 디지털 카메라나 스캐너로 디지털화된 이미지일 수 있고, 또한 그림을 그리는 프로그램을 이용해 새롭게 창조된 이미지일 수 있다.
다른 스타일은, 예를 들면, 수채화, 유화, 수묵화, 점묘화, 입체화와 같은 화풍의 형태가 될 수 있고, 반 고흐 풍, 모네 풍, 마네 풍, 피카소 풍 과 같은 특정한 화가의 화풍을 지칭할 수 있다. 또한, 스타일은 이미지의 색감, 분위기, 소정 명도 및 소정 채도 등에 따라서 서로 다른 스타일로 구별될 수도 있다. 또한, 반 고흐의 별이 빛나는 밤에 풍, 해바라기 풍과 같이 특정 작품 또한 스타일로 지칭될 수 있다. 또한, 본 개시의 실시예에서 이용되는 ‘스타일’은 전술한 예시 이외의 화풍 또는 스타일을 나타낼 수 있는 것들이 포함 될 수 있다.
일 실시예에 따르면, 다른 스타일을 참조한다는 것은, 예를 들면, 다른 이미지에 포함된 색상값, 명도값, 및 채도값을 고려하여 상기 하나의 이미지를 변경하는 것을 의미할 수 있다. 또는, 다른 스타일을 참조한다는 것은, 예를 들면, 하나의 이미지에 포함된 주요 에지 성분은 유지하면서, 다른 이미지의 색상값, 채도값, 및 명도값을 적용하여 상기 하나의 이미지를 변경하는 것을 의미할 수 있다. 또는, 다른 스타일을 참조한다는 것은, 예를 들면, 다른 이미지에 포함된 주요한 객체를 추출하여 상기 하나의 이미지에 포함시켜 상기 하나의 이미지를 변경하는 것을 의미할 수 있다. 그러나 다른 스타일을 참조한다는 것이 상술한 실시예에 한정되는 것은 아니다.
일 실시예에 따르면, 스타일 변환 기술은 전자 장치가 이미지를 분석하고, 미리 정의된 스타일을 이용하여 자동적으로 영상 처리하는 방법을 포함할 수 있다. 또한, 스타일 변환 기술은 신경망(neural network)를 이용한 연산을 수행하는 인공 지능(AI: Artificial Intelligence) 기술을 이용하여 이미지의 스타일을 변환하는 방법을 포함할 수 있다.
이하에서, 이미지를 분석한 뒤 미리 정의된 스타일을 이용하여 영상 처리를 수행하는 스타일 변환을 ‘시뮬레이션 기반 스타일 변환 방법(simulation based style transfer)’이라 칭할 수 있을 것이다. 또한, 인공 지능 기술을 이용하여 수행하는 스타일 변환을 ‘인공 지능 기반 스타일 변환 방법’이라 칭할 수 있을 것이다.
일 실시예에 따르면, 시뮬레이션 기반 스타일 변환 방법이 출력 이미지를 생성하기 위해서 적용되는 스타일은 이미 정해진 스타일이다. 전자 장치(10)의 제조사 또는 프로그램 개발자는 시뮬레이션 기반 스타일 변환 방법에 적용되는 스타일 별로 기술 개발을 해야 하며, 해당 스타일을 표현하기 위해서는 해당 스타일에 대응되는 질감 이미지(texture image) 또는 이미지 자원(image resource)을 개별적으로 개발 및 제작하여야 한다. 시뮬레이션 기반 스타일 변환 방법은 새로운 스타일을 개발할 때마다 시간, 인력 비용의 투자가 필요하므로, 스타일의 확장 및 스타일 종류의 다양화에 한계가 있다.
인공 지능(AI)을 통한 스타일 변환 방법은 시뮬레이션 기반 스타일 변환에 비하여, 더욱 더 독창적인 이미지를 생성할 수 있다. 또한, 독창성을 높임으로써 이미지의 예술성을 높일 수 있으며, 일반적인 이미지를 원하지 않는 사용자의 요구(needs)에 더욱 부합하는 이미지를 생성할 수 있을 것이다. 또한, 인공 지능 기반 스타일 변환 방법은 시뮬레이션 기반 스타일 변환 방법처럼 스타일 별로 대응되는 질감 이미지(texture image) 또는 이미지 자원(image resource)을 개별적으로 개발할 필요가 없다. 즉, 인공 지능 기반 스타일 변환 방법은 신경망 네트워크에 원본 이미지 및 모방하고자 하는 스타일을 갖는 이미지를 적용하면, 신경망 네트워크의 연산을 통하여 소정의 스타일로 변환된 이미지를 출력할 수 있다.
일 실시예에 따르면, 인공 지능 기반 스타일 변환 방법을 이용하여 이미지의 스타일을 변환하는 것은, 시뮬레이션 기반 스타일 변환 방법을 이용하여 이미지를 스타일을 변환하는 것 보다 오랜 시간이 소요될 수 있다.
따라서, 일 실시예에 따른 전자 장치(10)는 인공 지능 기반 스타일 변환 방법을 이용하여 이미지의 스타일을 변환하는 동안에, 시뮬레이션 기반 스타일 변환 방법을 이용하여 생성된 복수 개의 이미지들을 디스플레이(11)에 표시할 수 있다. 시뮬레이션 기반 스타일 변환 방법을 이용하여 생성된 복수 개의 이미지들은 획득되는 순서대로 디스플레이(11)에 순차적으로 표시될 수 있다. 전자 장치(10)는 상기 복수 개의 이미지들을 표시한 후, 인공 지능 기반 스타일 변환 방법을 이용하여 획득된 이미지를 디스플레이(11)에 표시할 수 있다. 이로 인해, 사용자는 하나의 이미지에 대하여 스타일 변환 과정이 적용되어 스타일이 변환 된 이미지로 변해가는 과정을 확인할 수 있다.
이하 도 2 내지 도 6을 참조하여 전자 장치(10)가 시뮬레이션 기반 스타일 변환 방법을 이용하여 복수 개의 이미지들을 획득하는 과정을 설명한다.
도 2는 일 실시예에 따른 전자 장치가 시뮬레이션 기반 스타일 변환 방법을 이용하여 복수 개의 이미지들을 획득하는 상황을 설명하는 흐름도이고, 도 3A 및 도 3B는 일 실시예에 따른 전자 장치가 시뮬레이션 기반 스타일 변환 방법을 이용하여 복수 개의 이미지들을 획득하는 상황을 설명하는 블록도이다.
도 2의 동작 210을 참조하면, 전자 장치(10)는 제1 이미지에 포함된 적어도 하나 이상의 객체에 대한 특징을 식별할 수 있다. 제1 이미지는, 예를 들면, 전자 장치(10)가 변환할 원본 이미지일 수 있다. 객체에 대한 특징은, 예를 들면, 객체의 형태, 질감 또는 색상 중 적어도 하나 이상을 포함할 수 있다.
도 3A를 참조하면, 전자 장치(10)는 제1 이미지(310)를 획득할 수 있다. 제1 이미지(310)는, 예를 들면, 전자 장치(10)로 수신되는 이미지, 전자 장치(10)가 이미 저장하고 있던 이미지, 사용자가 스타일 변환을 위하여 입력한 이미지 또는 스타일 변환을 위하여 외부 장치로부터 전송 된 이미지를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 이미지(310)에 포함된 적어도 하나 이상의 객체(또는, 영역)에 대한 특징을 식별할 수 있다. 예를 들면, 전자 장치(10)는 제1 이미지(310)에 포함된 나무들, 도로, 집, 물, 산, 들판 등의 객체를 식별할 수 있다. 전자 장치(10)는 식별 된 나무들, 도로, 집, 물, 산, 들판 등의 객체에 대한 경사도(gradient)를 구해 객체의 에지 정보를 획득하여 형태를 식별할 수 있다. 또한 전자 장치(10)는 식별 된 나무들, 도로, 집, 물, 산, 들판 등의 객체에 대한 색상을 식별할 수 있다. 또한, 전자 장치(10)는 식별 된 나무들, 도로, 집, 물, 산, 들판 등의 객체에 대한 주파수(frequency)를 이용하여 질감을 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 이미지(310)를 변환할 때 참조하는 참조 스타일을 획득할 수 있다. 예를 들면, 전자 장치(10)는 적어도 하나 이상의 참조 스타일의 명칭을 디스플레이에 표시하고, 표시된 참조 스타일의 명칭 중 하나를 선택하는 사용자 입력에 기반하여 참조 스타일을 획득할 수 있다. 또는, 전자 장치(10)는 적어도 하나 이상의 참조 스타일 이미지를 디스플레이에 표시하고, 표시되는 참조 스타일 이미지 중 하나를 선택하는 사용자 입력에 기반하여 참조 스타일을 획득할 수 있다.
도 2의 동작 220을 참조하면, 전자 장치(10)는 제1 이미지를 제1 신경망 네트워크에 적용하여 획득 된 제2 이미지에 포함된 적어도 하나 이상의 객체에 대한 특징을 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 신경망 네트워크에 제1 이미지(310)와 사용자에 의해 선택된 참조 스타일을 적용하여 제2 이미지(320)를 획득할 수 있다. 제1 신경망 네트워크는 원본 이미지, 스타일을 참조할 이미지 및 스타일을 참조하여 원본 이미지를 변경한 이미지를 학습 데이터로 하여 학습된 신경망 네트워크일 수 있다.
전자 장치(10)가 제1 이미지(310)를 제1 신경망 네트워크에 적용하여 제2 이미지(320)를 획득하는 내용은 도 5 내지 도 6에서 후술한다.
일 실시예에 따르면, 전자 장치(10)는 제2 이미지(320)에 포함된 적어도 하나 이상의 객체(또는, 영역)에 대한 특징을 식별할 수 있다. 예를 들면, 전자 장치(10)는 제2 이미지(320)에 포함된 나무들, 도로, 집, 물, 산, 들판 등의 객체를 식별할 수 있다. 전자 장치(10)는 식별 된 나무들, 도로, 집, 물, 산, 들판 등의 객체에 대한 경사도(gradient)를 구해 객체의 에지 정보를 획득하여 형태를 식별할 수 있다. 또한 전자 장치(10)는 식별 된 나무들, 도로, 집, 물, 산, 들판 등의 객체에 대한 색상을 식별할 수 있다. 또한, 전자 장치(10)는 식별 된 나무들, 도로, 집, 물, 산, 들판 등의 객체에 대한 주파수(frequency)를 이용하여 질감을 식별할 수 있다.
다양한 실시예에 따르면, 전자 장치(10)는 휴리스틱 룰(heuristic rule)을 이용하여 제1 이미지(310)와 제2 이미지(310)에서 각각 식별 된 적어도 하나 이상의 객체에 대한 형태, 색상 또는 질감을 분석할 수 있다. 예를 들면, 전자 장치(10)는 제1 이미지(310)에서 객체에 대한 형태(또는, 형상)를 식별하고, 제2 이미지(320)에서 객체에 대한 색상을 식별할 수 있다. 또한, 전자 장치(10)는 제2 이미지(320)에서 획득된 주파수를 이용하여 객체에 대한 질감을 식별할 수 있다. 이 경우, 전자 장치(10)는 주파수가 높은 영역은 제1 이미지(310)를 이용하여 객체에 대한 질감을 식별할 수 있다.
도 2의 동작 230을 참조하면, 전자 장치(10)는 식별 결과들에 기반하여 이미지 처리 방법을 결정할 수 있다. 즉, 전자 장치(10)는 시뮬레이션 기반 스타일 변환 방법을 이용하여 이미지를 획득할 때, 제1 이미지(310)에서 획득한 정보와 제2 이미지(320)에서 획득한 정보를 이용할 수 있다.
도 3A를 참조하면, 전자 장치(10)는 제1 이미지(310) 및 제2 이미지(320)를 이용하여 식별 된 적어도 하나 이상의 객체들에 대한 형태, 질감 또는 색상 중 적어도 하나 이상을 시뮬레이션 기반 스타일 변환 방법(325)에 적용하여 생성할 이미지에 포함된 객체 또는 이미지의 일 영역에 적용할 형상, 질감 또는 색상 중 적어도 하나를 결정할 수 있다.
예를 들면, 전자 장치(10)는 식별된 형태, 질감 또는 색상 정보를 이용하여 객체가 없는 이미지에 붓(또는, 브러시(brush))을 이용하여 다양한 크기의 점, 면, 또는 선을 추가하면서 객체들을 생성하는 것과 같은 브러시 효과를 포함하는 이미지 처리 방법을 결정할 수 있다. 다양한 실시예에 따르면, 점, 면, 또는 선을 추가하면서 객체들을 생성하는 것은, 이미지의 R(Red)값, G(Green)값, B(Blue)값, 또는 R, G, B 색상에 대한 투명도 등을 변경하면서 이미지에 객체들을 생성하는 것을 의미할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 이미지(310)에서 획득한 에지 정보를 이용하여 형태 분석 이미지(330)를 획득할 수 있다. 전자 장치(10)는 형태 분석 이미지(330)에서 획득한 경사도(gradient) 정보를 이용하여 브러시 효과의 크기와 방향을 선택(또는, 결정) 할 수 있다. 예를 들면, 전자 장치(10)는 에지 정보를 이용하여 획득한 밝은 영역과 어두운 영역을 식별하고, 밝은 영역과 어두운 영역의 배치에 따른 에지의 강약에 관한 정보를 경사도 정보로 획득할 수 있다. 이 경우, 전자 장치(10)는 경사도의 크기(Magnitude)와 경사도의 방향(Direction)을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 현재 선택된 브러시의 크기에 대응하는 이미지의 영역의 Magnitude의 총합이 임계값을 넘는 경우에 브러시의 크기를 줄일 수 있다. 또한, 전자 장치(10)는 객체에 포함된 Direction을 따라서 브러시 효과를 추가하는 방향을 결정할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제2 이미지(320)에 획득한 색상 정보를 이용하여 색상 분석 이미지(340)를 획득할 수 있다. 전자 장치(10)는 색상 분석 이미지(340)에서 브러시 효과로 추가할 색상을 결정할 수 있다. 예를 들면, 전자 장치(10)는 브러시 효과로 추가할 영역에 대응되는 색상 분석 이미지(340)의 각각의 영역들을 식별할 수 있다. 전자 장치(10)는 식별된 상기 영역들의 색상에 대한 중간값(또는, 평균값)을 획득하여 브러시 효과로 추가할 색상으로 선택(또는, 결정) 할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 이미지(310) 및 제2 이미지(320)에서 획득한 질감 정보를 이용하여 질감 분석 이미지(350)를 획득할 수 있다. 예를 들면, 전자 장치(10)는 제1 이미지(310) 또는 제2 이미지(320)의 각각의 영역들에 대한 주파수 정보를 획득할 수 있다. 전자 장치(10)는 획득된 주파수 정보를 이용하여 브러시의 효과의 종류를 선택(또는, 결정) 할 수 있다.
전자 장치(10)는, 예를 들면, 제1 이미지(310) 및 제2 이미지(320)를 일정한 영역으로 분할한 후, 각 영역에 대한 주파수 값을 획득할 수 있다. 전자 장치(10)는 주파수 값이 높은 영역(351), 주파수 값이 중간인 영역(353) 및 주파수 값이 낮은 영역(355)을 식별할 수 있다.
전자 장치(10)는 영역 별로 식별된 주파수 값에 대응되는 브러시 효과를 결정할 수 있다. 예를 들면, 전자 장치(10)는 주파수 값이 높은 영역(351)에 대하여는 색상이 거칠게 추가되는 브러시 효과를 선택하고, 주파수 값이 낮은 영역(355)에 대하여는 색상이 부드럽게 추가되는 브러시 효과를 선택할 수 있다. 또한, 전자 장치(10)는 주파수 값이 중간인 영역(353)에 대하여는 색상이 거칠게 추가되는 브러시 효과와 색상이 부드럽게 추가되는 브러시 효과의 중간값을 가지는 브러시 효과를 선택할 수 있다.
색상이 거칠게 추가되는 브러시 효과는, 예를 들면, 색상이 이미지에 고르게 추가되지 않고 일부 영역은 색이 추가되지 않거나, 또는 일부 영역은 색이 과하게 추가되는 효과를 의미할 수 있다.
전자 장치(10)는 제1 이미지(310) 및 제2 이미지(320)에서 획득한 주파수 값에 기반하여 최고 주파수 값과 최저 주파수 값을 정한 후 그 사이의 주파수 값들을 일정한 크기로 구분할 수 있다. 따라서, 본 도면에서 중간의 값을 가지는 주파수 값은 하나만 표현되었지만, 이에 한정되지 않고 전자 장치(10)는 다양한 중간 주파수 값들에 대응되는 다양한 브러시 효과들을 선택할 수 있다.
다양한 실시예에 따르면, 전자 장치(10)는 제2 이미지(320)에 포함된 객체들(예: 나무들, 도로, 집, 물, 산, 들판)의 형태, 질감 또는 색상 중 적어도 하나를 이용하여 제1 이미지(310)에 포함된 객체들(나무들, 도로, 집, 물, 산, 들판)에 대한 형태, 질감 또는 색상 중 적어도 하나를 변경할 수 있다. 전자 장치(10)는 변경된 제1 이미지(310)에 포함된 객체들의 형태, 질감 또는 색상 중 적어도 하나의 값을 저장하고, 저장된 값을 이용하여 상기와 같이 브러시의 크기, 방향, 색상 및 종류를 결정할 수 있다.
도 2의 동작 240을 참조하면, 전자 장치(10)는 결정된 이미지 처리 방법에 기반하여 복수 개의 제3 이미지들을 획득할 수 있다.
도 3B를 참조하면, 전자 장치(10)는 동작 2에서 결정된 이미지 처리 방법을 이용하여 복수 개의 제3 이미지들(360)을 획득할 수 있다. 일 실시예에 따른 전자 장치(10)는 동작 230에서 결정된 이미지 처리 방법에 기반하여, 브러시 효과를 위해 사용할 브러시의 크기, 종류, 색상 등을 결정한 후 복수 개의 제3 이미지들을 획득할 수 있다.
예를 들어, 전자 장치(10)는 중간 사이즈의 브러시를 이용하여 점, 선, 또는 면의 형태로 색상을 추가하는 브러시 효과를 비어있는 이미지에 적용할 수 있다. 전자 장치(10)는 중간 사이즈를 가지는 브러시 효과를 이미지에 반복적으로 적용하여 첫 번째 제3 이미지(361)를 획득할 수 있다(Medium Brush(50%)). 첫 번째 제3 이미지(361)는 첫 번째 제3 이미지(361)의 각 영역들에 대응되는 대표 색상들을 브러시 효과로 추가한 단계를 표현하는 이미지일 수 있다.
전자 장치(10)는 중간 사이즈를 가지는 브러시 효과를 이미지에 반복적으로 적용하여 두 번째 제3 이미지(362)를 획득할 수 있다(Medium Brush(100%)). 두 번째 제3 이미지(362)는 첫 번째 제3 이미지(361)에 색상이 더욱 추가되면서 객체들의 형상이 들어나는 단계를 표현하는 이미지일 수 있다.
전자 장치(10)는 브러시의 종류를 변경하여 브러시 효과를 이미지에 반복적으로 적용하여 세 번째 제3 이미지(363)를 획득할 수 있다(Small Brush). 전자 장치(10)는 첫 번째 제3 이미지(361) 및 두 번째 제3 이미지(362)에서 사용하던 브러시보다 작은 크기의 브러시를 이용하여 이미지에 브러시 효과를 적용하여 객체들의 형태가 좀 더 정확하게 표현되도록 세 번째 제3 이미지(363)를 생성할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 복수 개의 제3 이미지들 중에서 가장 마지막에 획득한 제3 이미지에 대하여 추가적인 영상 처리를 수행할 수 있다. 예를 들면, 전자 장치(10)는 가장 마지막에 획득한 제3 이미지에 포함된 객체의 형상, 색상 또는 질감이 제4 이미지에 포함된 객체의 형상, 색상 또는 질감과 유사할 수 있도록 추가적인 영상처리를 할 수 있다.
전자 장치(10)는, 예를 들면, 가장 마지막에 획득된 제3 이미지(363)에 포함된 객체의 형태, 색상, 또는 질감이 도 7에서 후술할 제4 이미지(620)에 포함된 객체의 형태, 색상, 또는 질감과 유사하도록 가장 마지막에 획득된 제3 이미지(363)에 대하여 Alpha Blending 알고리즘을 적용하여 수정된 제3 이미지를 획득할 수 있다.
전자 장치(10)가 가장 마지막에 획득된 제3 이미지(363)에 대하여 순차적으로 Alpha Blending 알고리즘을 적용할 수 있다. 예를 들면, 전자 장치(10)가 30% 수준으로 Alpha Blending 알고리즘을 적용하여 첫 번째 수정된 제3 이미지(371)를 획득할 수 있다. 전자 장치(10)는 70% 수준으로 Alpha Blending 알고리즘을 적용하여 두 번째 수정된 제3 이미지(372)를 획득하고, 100% 수준으로 Alpha Blending 알고리즘을 적용하여 최종 수정된 제3 이미지(373)를 획득할 수 있다. 전자 장치(10)는 최종 수정된 제3 이미지(373)를 후술 할 제4 이미지(620)를 표시하기 바로 전에 표시하여, 스타일 변환 과정이 위화감이 없는 변환 과정으로 보여질 수 있도록 설정할 수 있다.
도 4는 일 실시예에 따른 전자 장치의 대략적인 블록도이다.
도 4를 참조하면, 전자 장치(10)는 프로세서(410), 메모리(420), 및 디스플레이(430)를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니다. 전자 장치(10)는 일부 구성 요소를 생략하거나 또는 일부 구성 요소들을 더 포함할 수 있다. 예를 들면, 전자 장치(10)는 통신부(440)를 더 포함하여 외부 장치와 데이터를 송수신할 수 있다.
일 실시예에 따르면, 메모리(420)는 적어도 하나 이상의 인스트럭션들을 저장할 수 있다. 메모리(420)에 저장되는 인스트럭션들은 프로세서(410)에 의해 실행될 수 있다.
메모리(420)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
일 실시예에 따르면, 메모리(420)는 제1 이미지에 포함된 적어도 하나 이상의 객체에 대한 특징을 식별하고, 상기 제1 이미지를 제1 신경망 네트워크에 적용하여 획득 된 제2 이미지에 포함된 적어도 하나 이상의 객체에 대한 특징을 식별하고, 상기 식별 결과들에 기반하여 이미지 처리 방법을 결정하고, 상기 결정 된 이미지 처리 방법에 기반하여 복수 개의 제3 이미지들을 획득하도록 설정된 적어도 하나 이상의 인스트럭션들을 저장할 수 있다.
일 실시예에 따르면, 디스플레이(430)는 이미지를 출력한다. 디스플레이(430)는 도 1의 디스플레이(11)를 포함할 수 있다. 구체적으로, 디스플레이(430)는 비디오 데이터를 사용자가 시각적으로 인식할 수 있도록, 내부적으로 포함되는 디스플레이 패널(미도시)을 통하여, 비디오 데이터에 대응되는 이미지를 출력할 수 있다.
일 실시예에 따르면, 프로세서(410)는 메모리(420)에 저장된 각종 프로그램을 램에 복사하고, 실행시켜 각종 동작을 수행할 수 있다. 본 개시에서는 프로세서(410)가 하나의 CPU(central processing unit)만을 포함하는 것으로 설명하였지만, 구현 시에는 복수의 CPU(또는 DSP, SoC 등)으로 구현될 수 있다.
다양한 실시예에 따르면, 전자 장치(10)는 복수 개의 프로세서들을 포함할 수 있다. 예를 들면, 전자 장치(10)는 범용 프로세서(예: CPU 또는 application processor), 그래픽 전용 프로세서(예: GPU), 또는 SoC 칩(예: 온 디바이스 인공 지능 칩(On-device AI Chip)에 집적된 프로세서)를 포함할 수 있다.
다양한 실시예로, 프로세서(410)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(410)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
일 실시예에 따르면, 프로세서(410)는 제1 이미지에 포함된 적어도 하나 이상의 객체에 대한 특징을 식별하고, 상기 제1 이미지를 제1 신경망 네트워크에 적용하여 획득 된 제2 이미지에 포함된 적어도 하나 이상의 객체에 대한 특징을 식별하고, 상기 식별 결과들에 기반하여 이미지 처리 방법을 결정하고, 상기 결정 된 이미지 처리 방법에 기반하여 복수 개의 제3 이미지들을 획득할 수 있다.
일 실시예에 따르면, 통신부(440)는 프로세서(410)의 제어에 의해 전자 장치(10)를 외부 장치(예: 서버, 타 전자 장치)와 연결할 수 있다. 통신부(440)는 전자 장치(10)의 성능 및 구조에 대응하여 무선 랜, 블루투스, 및 유선 이더넷(Ethernet) 등 다양한 유선 또는 무선 통신 방법을 구현하는 구성 요소들 중 하나를 포함할 수 있다.
도 5는 일 실시예에 따른 전자 장치가 제1 이미지를 이용하여 제2 이미지를 획득하는 상황을 설명하는 도면이고, 도 6은 일 실시예에 따른 전자 장치가 제1 이미지를 이용하여 제4 이미지를 획득하는 상황을 설명하는 도면이다.
도 5를 참조하면, 전자 장치(10)는 제1 이미지(310)를 제1 신경망 네트워크(510)에 적용하여 제2 이미지(320)를 획득할 수 있다. 도 6을 참조하면, 전자 장치(10)는 제1 이미지(310)를 제2 신경망 네트워크(610)에 적용하여 제4 이미지(620)를 획득할 수 있다.
이하에서 제1 신경망 네트워크와 제2 신경망 네트워크에 대하여 설명한다.
일 실시예에 따르면, 전자 장치(10)의 프로세서(410)는 학습부 및 인식부의 기능을 함께 수행할 수 있다. 학습부는, 예를 들면, 학습된 신경망 네트워크(예: 제1 신경망 네트워크, 제2 신경망 네트워크)를 생성하는 기능을 수행하고, 인식부는 학습된 신경망 네트워크를 이용하여 데이터를 인식(또는, 추론, 예측, 추정, 판단)하는 기능을 수행할 수 있다.
학습부는 신경망 네트워크를 생성하거나 갱신할 수 있다. 학습부는 신경망 네트워크를 생성하기 위해서 학습 데이터를 획득할 수 있다. 예를 들면, 학습부는 학습 데이터를 전자 장치(10)의 메모리(420) 또는 외부 장치로부터 획득할 수 있다.
학습 데이터는, 신경망 네트워크의 학습을 위해 이용되는 데이터일 수 있으며, 예를 들면, 도 5 내지 도 6에서, 학습부는 원본 이미지(511), 원본 이미지가 참조할 이미지(513), 참조할 이미지의 스타일을 반영하여 변경한 결과 이미지(515)를 학습 데이터로 이용하여 제1 신경망 네트워크(510) 및 제2 신경망 네트워크(610)를 학습시킬 수 있다.
학습부는 학습 데이터를 이용하여 신경망 네트워크를 학습시키기 전에, 획득 된 학습 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 학습 데이터들 중에서 학습에 이용될 데이터를 선별할 수 있다. 예를 들면, 학습부는 학습 데이터를 기 설정된 포맷으로 가공하거나, 필터링하거나, 또는 노이즈를 추가/제거하여 학습에 적절한 데이터의 형태로 가공할 수 있다.
학습부는 전처리된 학습 데이터를 이용하여 원본 이미지를 참조 스타일 이미지의 스타일로 변경하여 결과 이미지를 획득하도록 설정된 신경망 네트워크를 생성할 수 있다.
학습된 신경망 네트워크는, 복수의 신경망 네트워크(또는, 레이어)들로 구성될 수 있다. 복수의 신경망 네트워크의 노드들은 가중치를 가지며, 복수의 신경망 네트워크들은 일 신경망 네트워크의 출력 값이 다른 신경망 네트워크의 입력 값으로 이용되도록 서로 연결될 수 있다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 모델을 포함할 수 있다.
인식부는 원본 이미지를 참조 스타일 이미지의 스타일로 변경하여 결과 이미지를 획득하기 위한 인식을 위하여, 타겟 데이터를 획득할 수 있다. 인식부는 타겟 데이터를 전자 장치(10)의 메모리 또는 외부 장치로부터 획득할 수 있다.
타겟 데이터는, 신경망 네트워크의 인식 대상이 되는 데이터일 수 있다.
인식부는 타겟 데이터를 학습된 신경망 네트워크에 적용하기 전에, 획득된 타겟 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 타겟 데이터들 중에서 인식에 이용될 데이터를 선별할 수 있다. 예를 들면, 인식부는 타겟 데이터를 기 설정된 포맷으로 가공하거나, 필터링 하거나, 또는 노이즈를 추가/제거하여 인식에 적절한 데이터의 형태로 가공할 수 있다.
인식부는 전처리된 타겟 데이터를 원본 이미지를 참조 스타일 이미지의 스타일로 변경하여 결과 이미지를 획득하도록 설정된 제1 신경망 네트워크(510) 및 제2 신경망 네트워크(610)에 적용함으로써, 제1 신경망 네트워크(510) 및 제2 신경망 네트워크(610)로부터 출력되는 츨력값을 획득할 수 있다. 다양한 실시예에 따르면, 인식부는 출력값과 함께 학률값(또는, 신뢰도값)을 함께 획득할 수 있다.
도 5을 참조하면, 전자 장치(10)는 제1 이미지를 제1 신경망 네트워크(510)에 적용하여 제2 이미지(320)를 획득할 수 있다.
상술한 바와 같이, 제1 신경망 네트워크(510)는 원본 이미지(511), 원본 이미지가 참조할 이미지(513), 참조할 이미지의 스타일을 반영하여 변경한 결과 이미지(515)를 학습 데이터로 이용하여 학습된 신경망 네트워크일 수 있다.
전자 장치(10)는 제1 신경망 네트워크(510)에 제1 이미지(310)를 적용하여 스타일이 변환 된 제2 이미지(320)를 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)가 제1 신경망 네트워크(510)에 제1 이미지(310)를 적용하여 획득 된 제2 이미지(320)는 품질이 높지 않은 이미지일 수 있다. 품질이 높지 않다는 것은, 예를 들면, 제2 이미지(320)의 해상도, 선예도 등이 높지 않다는 것을 의미할 수 있다. 또한, 전자 장치(10)는 제1 신경망 네트워크(510)에 제1 이미지(310)를 적용하여 제2 이미지(320)를 획득하는 시간은 다른 신경망 네트워크를 이용하여 스타일 변환을 수행하는 시간보다 적게 소요될 수 있다. 예를 들면, 제1 신경망 네트워크(510)가 제1 이미지(310)를 이용하여 제2 이미지(320)를 획득하는 것에 소요되는 시간은 40 ~ 60초 이내일 수 있다.
즉, 제1 신경망 네트워크(510)는 이미지 변환 속도는 빠르고, 결과 이미지의 품질을 낮은 신경망 네트워크일 수 있다. 예를 들면, 제1 신경망 네트워크는, "Perceptual Losses for Real-Time Style Transfer and Super-Resolution, ECCV(European Conference on Computer Vision), 2016"에 기재된 신경망 네트워크일 수 있다.
도 6을 참조하면, 전자 장치(10)는 제1 이미지를 제2 신경망 네트워크(610)에 적용하여 제4 이미지(620)를 획득할 수 있다.
상술한 바와 같이, 제2 신경망 네트워크(610)는 원본 이미지(511), 원본 이미지가 참조할 이미지(513), 참조할 이미지의 스타일을 반영하여 변경한 결과 이미지(515)를 학습 데이터로 이용하여 학습된 신경망 네트워크일 수 있다.
전자 장치(10)는 제2 신경망 네트워크(610)에 제1 이미지(310)를 적용하여 스타일이 변환 된 제4 이미지(620)를 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)가 제2 신경망 네트워크(610)에 제1 이미지(310)를 적용하여 획득 된 제4 이미지(620)는 도 5에서 상술한 제2 이미지(320) 보다 품질이 높은 이미지일 수 있다. 품질이 높다는 것은, 예를 들면, 제4 이미지(620)의 해상도, 선예도 등이 높다는 것을 의미할 수 있다. 또한, 전자 장치(10)는 제2 신경망 네트워크(610)에 제1 이미지(310)를 적용하여 제4 이미지(620)를 획득하는 시간은 다른 신경망 네트워크를 이용하여 스타일 변환을 수행하는 시간보다 길게 소요될 수 있다. 예를 들면, 제2 신경망 네트워크(610)가 제1 이미지(310)를 이용하여 제4 이미지(620)를 획득하는 것에 소요되는 시간은 1분 ~ 3분일 수 있다.
즉, 제2 신경망 네트워크(610)는 이미지 변환 속도는 느리지만, 결과 이미지의 품질이 높은 신경망 네트워크일 수 있다. 예를 들면, 제2 신경망 네트워크(610)는, "A Neural Algorithm of Artistic Style"논문에 기재된 CNN을 이용한 방법으로서, 신경망 네트워크의 Layer인 feature map을 이용해 해당 feature map에서 style 과 이미지에 포함된 객체를 재구성하는 방법일 수 있다.
도 7은 일 실시예에 따른 전자 장치가 제1 이미지를 이용하여 제2 이미지를 획득하는 다른 상황을 설명하는 도면이다.
도 7을 참조하면, 전자 장치(10)는 제1 신경망 네트워크에 적용하는 제1 이미지(310)의 해상도를 낮게 변경하여 저 해상도 제1 이미지(710)를 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 저 해상도 제1 이미지(710)를 원본 이미지를 참조 스타일 이미지의 스타일로 변경하여 결과 이미지를 획득하도록 설정된 신경망 네트워크(720)에 적용하여 제2 이미지(730)를 획득할 수 있다.
일 실시예에 따르면, 상기 신경망 네트워크(720)는 도 5에서 설명한 제1 신경망 네트워크(510)일 수 있다. 또는, 상기 신경망 네트워크(720)는 도 6에서 설명한 제2 신경망 네트워크(610)일 수 있다. 그러나, 이에 한정되는 것은 아니다.
예를 들어, 상기 신경망 네트워크(720)가 제1 신경망 네트워크(510)인 경우, 전자 장치(10)가 저 해상도 제1 이미지(710)를 상기 신경망 네트워크(720)에 적용하여 제2 이미지를 획득하는 것에 소요되는 시간은 도 5에서 설명한 40 ~ 60초 보다 짧을 수 있다.
예를 들어, 상기 신경망 네트워크(720)가 제2 신경망 네트워크(610)인 경우, 전자 장치(10)가 저 해상도 제1 이미지(710)를 상기 신경망 네트워크(720)에 적용하여 제2 이미지를 획득하는 것에 소요되는 시간은 도 6에서 설명한 시간보다 짧을 수 있다.
도 8은 일 실시예에 따른 전자 장치가 제1 이미지를 이용하여 획득된 복수 개의 이미지들을 표시하는 상황을 설명하는 흐름도이고, 도 9는 일 실시예에 따른 전자 장치가 제1 이미지를 이용하여 획득된 복수 개의 이미지들을 표시하는 상황을 설명하는 블록도이다.
일 실시예에 따르면, 전자 장치(10)는 제1 이미지를 이용하여 제2 이미지, 제3 이미지 및 제4 이미지를 획득하고 표시할 수 있다.
도 8의 동작 810을 참조하면, 전자 장치(10)는 제1 이미지를 선택할 수 있다. 동작 820을 참조하면, 전자 장치(10)는 변환 스타일을 선택할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 엠비언트 기능을 위하여 제1 이미지와 변환 스타일의 선택을 안내하는 사용자 인터페이스를 제공할 수 있다. 사용자는 상기 사용자 인터페이스를 이용하여 제1 이미지와 변환 스타일을 선택할 수 있다.
예를 들어, 도 9를 참조하면, 사용자는 디스플레이에 표시된 제1 이미지(310) 및 변환 스타일(910)을 선택할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 이미지(310) 및 변환 스타일 이미지(910)가 선택되면, 제2 이미지를 획득하는 과정과 제4 이미지를 획득하는 과정을 동시에 또는 순차적으로 진행할 수 있다.
도 8의 동작 830을 참조하면, 전자 장치(10)는 제1 이미지를 제1 신경망 네트워크에 적용하여 제2 이미지를 획득할 수 있다. 제1 신경망 네트워크는 원본 이미지, 원본 이미지가 참조할 이미지, 참조할 이미지의 스타일을 반영하여 변경한 결과 이미지를 학습 데이터로 이용하여 학습된 신경망 네트워크일 수 있다.
도 9를 참조하면, 전자 장치(10)는 제1 신경망 네트워크(510)에 제1 이미지(310)를 적용하여 스타일이 변환 된 제2 이미지(520)를 획득할 수 있다. 제1 신경망 네트워크(510)는 이미지 변환 속도는 빠르고, 결과 이미지의 품질을 낮은 신경망 네트워크일 수 있다. 다양한 실시예에 따르면, 전자 장치(10)는 제1 이미지(310)의 해상도를 낮게 변경한 후 제1 신경망 네트워크(510)에 적용하여 스타일이 변환 된 제2 이미지(520)를 획득할 수 있다. 이로 인해, 전자 장치(10)는 더 빠르게 제2 이미지(520)를 획득할 수 있다.
도 8의 동작 840을 참조하면, 전자 장치(10)는 제1 이미지 및 제2 이미지에 포함된 적어도 하나 이상의 객체의 특징에 기반하여 이미지 처리 방법을 결정할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 이미지(310)와 제2 이미지(520)에서 각각 식별 된 적어도 하나 이상의 객체에 대한 형태, 색상 또는 질감을 분석할 수 있다. 예를 들면, 전자 장치(10)는 제1 이미지(510)에서 객체에 대한 형태를 식별하고, 제2 이미지(520)에서 객체에 대한 색상을 식별할 수 있다. 또한, 전자 장치(10)는 제2 이미지(520)를 이용하여 객체에 대한 질감을 획득하고, 주파수가 높은 영역은 제1 이미지(310)에서 객체에 대한 질감을 식별할 수 있다.
전자 장치(10)는 제1 이미지(310) 및 제2 이미지(520)를 이용하여 식별 된 적어도 하나 이상의 객체들에 대한 형태, 질감 또는 색상 중 적어도 하나 이상을 시뮬레이션 기반 스타일 변환 알고리즘(325)에 적용하여 생성할 이미지에 포함된 객체 또는 이미지의 일 영역에 적용할 형상, 질감 또는 색상 중 적어도 하나를 결정할 수 있다.
예를 들면, 전자 장치(10)는 식별된 형태, 질감 또는 색상 정보를 이용하여 객체가 없는 이미지에 붓(또는, 브러시(brush))을 이용하여 다양한 크기의 점, 면, 또는 선을 추가하면서 객체들을 생성하는 것과 같은 브러시 효과를 포함하는 이미지 처리 방법을 결정할 수 있다.
동작 850을 참조하면, 전자 장치(10)는 이미지 처리 방법을 이용하여 복수 개의 제3 이미지들을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 결정된 이미지 처리 방법에 기반하여, 브러시 효과를 위해 사용할 브러시의 크기, 종류, 색상 등을 결정한 후 복수 개의 제3 이미지들을 획득할 수 있다.
도 9를 참조하면, 전자 장치(10)는 복수 개의 제3 이미지들(360)을 획득할 수 있다.
동작 860을 참조하면, 전자 장치(10)는 제1 이미지를 제3 신경망 네트워크에 적용하여 제4 이미지를 획득할 수 있다. 제2 신경망 네트워크는 원본 이미지, 원본 이미지가 참조할 이미지, 참조할 이미지의 스타일을 반영하여 변경한 결과 이미지를 학습 데이터로 이용하여 학습된 신경망 네트워크일 수 있다.
도 9를 참조하면, 전자 장치(10)는 제2 신경망 네트워크(610)에 제1 이미지(310)를 적용하여 스타일이 변환 된 제4 이미지(620)를 획득할 수 있다. 제2 신경망 네트워크(610)는 이미지 변환 속도는 느리지만, 결과 이미지의 품질이 높은 신경망 네트워크일 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제2 신경망 네트워크(610)가 제4 이미지(620)를 획득하는 것에 걸리는 시간에 기반하여, 제3 이미지의 개수를 조정할 수 있다. 예를 들어, 전자 장치(10)는 제2 신경망 네트워크(610)가 제4 이미지(620)를 획득하는 것에 1분이 소요되는 것으로 식별되면, 3600장의 제3 이미지를 생성하여, 초당 60장의 제3 이미지를 디스플레이에 표시할 수 있다. 그러나 이에 한정되는 것은 아니다. 예를 들면, 전자 장치는 1800장의 제3 이미지를 생성하여, 초당 30장의 제3 이미지를 디스플레이에 표시할 수 있다. 이와 같이 전자 장치(10)는 제4 이미지의 생성 소요 시간에 기반하여, 생성하는 제3 이미지의 개수를 조정하거나, 또는 생성된 제3 이미지의 표시 시간을 조정할 수 있다.
다양한 실시예에 따르면, 전자 장치(10)는 제2 신경망 네트워크(610)가 제1 이미지(310)를 이용하여 제4 이미지(620)를 생성하는 과정에서 제2 이미지(520)를 참조할 수 있도록 제2 이미지를 제2 신경망 네트워크(610)에 적용할 수 있다.
다양한 실시예에 따르면, 전자 장치(10)는 제2 신경망 네트워크(610)가 제4 이미지(620)를 생성하는 과정에 획득되는 중간 생성물(예: 제4 이미지(620)와 유사한 이미지)를 시뮬레이션 기반 스타일 변환 알고리즘(325)에 적용하여 시뮬레이션 기반 스타일 변환 알고리즘을 통해 획득되는 복수 개의 제3 이미지들(360)과 상기 제4 이미지(620)의 유사성을 높일 수 있다.
도 8의 동작 870을 참조하면, 전자 장치(10)는 복수 개의 제3 이미지들과 제4 이미지를 순차적으로 표시할 수 있다. 이로 인해, 사용자는 제1 이미지(310)가 참조 스타일 이미지를 참조하여 변경된 제4 이미지(620)로 변경되는 과정을 확인할 수 있다.
도 9를 참조하면, 전자 장치(10)는 복수 개의 제3 이미지들(360) 중 마지막에 획득된 제3 이미지(또는, 복수 개의 제3 이미지들 중 마지막에 표시할 제3 이미지)(920)와 제4 이미지(620)의 유사성을 높이기 위한 영상 처리로서 전환 효과를 마지막에 획득된 제3 이미지(920)에 적용할 수 있다. 예를 들면, 전자 장치(10)는 알파 블랜딩 기술을 마지막에 획득된 제3 이미지(920)에 적용할 수 있다.
도 10은 일 실시예에 따른 전자 장치가 서버와 연동하여 제1 이미지를 이용하여 획득 된 복수 개의 이미지들을 표시하는 상황을 설명하는 흐름도이다.
일 실시예에 따르면, 전자 장치(10)는 시뮬레이션 기반 스타일 변환 방법은 전자 장치(10)에서 수행하고, 제2 신경망 네트워크를 이용하여 최종 이미지(예: 제4 이미지)를 획득하는 과정은 외부 장치(예: 서버(20))를 이용하여 수행할 수 있다.
동작 1010을 참조하면, 전자 장치(10)는 제1 이미지를 획득할 수 있다. 동작 1020을 참조하면, 전자 장치(10)는 변환 스타일을 선택할 수 있다.
동작 1030을 참조하면, 전자 장치(10)는 제1 이미지 및 변환 스타일을 서버(20)로 전송할 수 있다.
동작 1040을 참조하면, 전자 장치(10)는 제1 이미지를 제1 신경망 네트워크에 적용하여 제2 이미지를 획득할 수 있다.
동작 1050을 참조하면, 전자 장치(10)는 제1 이미지 및 제2 이미지에 포함된 적어도 하나 이상의 객체의 특징에 기반하여 이미지 처리 방법을 결정할 수 있다.
동작 1060을 참조하면, 전자 장치(10)는 이미지 처리 방법을 이용하여 복수 개의 제3 이미지들을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 서버(20)가 제2 신경망 네트워크를 이용하여 제4 이미지를 획득하는 것에 걸리는 시간에 기반하여, 제3 이미지의 개수를 조정할 수 있다. 예를 들어, 전자 장치(10)는 제1 이미지의 해상도에 기반하여, 서버(20)가 제2 신경망 네트워크를 이용하여 제4 이미지를 획득하는 것에 1분이 소요될 것으로 추정되면, 3600장의 제3 이미지를 생성하여, 초당 60장의 제3 이미지를 디스플레이에 표시할 수 있다. 그러나 이에 한정되는 것은 아니다. 예를 들면, 전자 장치는 1800장의 제3 이미지를 생성하여, 초당 30장의 제3 이미지를 디스플레이에 표시할 수 있다. 이와 같이 전자 장치(10)는 제4 이미지의 생성 소요 시간에 기반하여, 생성하는 제3 이미지의 개수를 조정하거나, 또는 생성된 제3 이미지의 표시 시간을 조정할 수 있다.
다양한 실시예에 따르면, 전자 장치(10)는 서버(20)가 계산한 제4 이미지를 획득하는 소요 시간을 전송 받을 수 있다. 전자 장치(10)는 전송 받은 소요 시간에 기반하여 생성할 제3 이미지의 개수를 조정할 수 있다.
동작 1070을 참조하면, 서버(20)는 제1 이미지를 제2 신경망 네트워크에 적용하여 제4 이미지를 획득할 수 있다.
동작 1080을 참조하면, 서버(20)는 제4 이미지를 전자 장치(10)로 전송할 수 있다.
동작 1090을 참조하면, 전자 장치(10)는 복수 개의 제3 이미지들과 제4 이미지를 순차적으로 표시할 수 있다.
도 11은 일 실시예에 따른 전자 장치가 제3 이미지를 생성하는 과정을 설명하는 블록도이다.
도 11을 참조하면, 전자 장치(10)는 제1 이미지(1111)와 제1 이미지(1111)의 변환에 참조할 스타일이 선택되면, 제1 이미지(1111)를 제1 신경망 네트워크(1120)에 적용하여 제2 이미지(1112)를 획득할 수 있다. 제1 신경망 네트워크(1120)는 원본 이미지를 참조 스타일 이미지의 스타일로 변경하여 결과 이미지를 획득하도록 설정된 신경망 네트워크일 수 있다.
전자 장치(10)는 제1 이미지(1111)와 제2 이미지(1112)를 시뮬레이션 기반 스타일 변환 방법에 적용하여 복수 개의 제3 이미지들을 획득할 수 있다. 예를 들면, 전자 장치(10)는 Example-based Rendering Techniques 알고리즘(1140)에 제1 이미지(1111)와 제2 이미지(1112)를 적용하여 복수 개의 제3 이미지들(1113)을 획득할 수 있다. Example-based Rendering Techniques 알고리즘(1140)은, 예를 들면, 제1 이미지(1111)와 제2 이미지(1112)의 분석 결과로 획득한 색상 또는 질감을 포함하는 점, 선, 또는 면을 객체가 없는 이미지에 전체적으로 추가하면서 형상을 생성하여 복수 개의 제3 이미지들을 획득하는 방법을 의미할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 복수 개의 제3 이미지들(1113) 중에서 가장 마지막에 획득한 제3 이미지에 대하여 추가적인 영상 처리를 수행할 수 있다. 예를 들면, 전자 장치(10)는 복수 개의 제3 이미지들(1113) 중에서 가장 마지막에 획득한 제3 이미지에 포함된 객체의 형상, 색상 또는 질감이 제4 이미지(1114)에 포함된 객체의 형상, 색상 또는 질감과 유사할 수 있도록 추가적인 영상처리를 할 수 있다. 전자 장치(10)는, 예를 들면, Revealing Process(1150)를 이용하여 가장 마지막에 획득한 제3 이미지에 포함된 객체의 형상, 색상 또는 질감을 제4 이미지(1114)에 포함된 객체의 형상, 색상 또는 질감과 유사하게 조정할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 이미지(1111)를 제2 신경망 네트워크(1130)에 적용하여 제4 이미지(1114)를 획득할 수 있다. 제2 신경망 네트워크(1130)는 원본 이미지를 참조 스타일 이미지의 스타일로 변경하여 결과 이미지를 획득하도록 설정된 신경망 네트워크일 수 있다.
다양한 실시예에 따르면, 전자 장치(10)는 제1 이미지(1111)를 제2 신경망 네트워크(1130)에 적용하여 제4 이미지(1114)를 획득하는 과정에서 제2 이미지(1112)를 이용하여 제4 이미지(1114)와 제2 이미지(1112)를 이용하여 획득하는 제3 이미지(1113)와의 유사도를 높일 수 있다.
일 실시예에 따르면, 전자 장치(10)는 상술한 영상 처리를 적용한 제3 이미지를 포함하는 획득된 복수 개의 제3 이미지들(1113) 및 제4 이미지(1114)를 순차적으로 표시할 수 있다.
도 12는 다양한 실시예에 따른 전자 장치가 제3 이미지를 생성하는 과정을 설명하는 블록도 이다.
도 12를 참조하면, 전자 장치(10)는 제1 이미지(1211)와 제1 이미지(1211)의 변환에 참조할 스타일이 선택되면, 제1 이미지(1211)를 제1 신경망 네트워크(1220)에 적용하여 제2 이미지(1212)를 획득할 수 있다. 제1 신경망 네트워크(1220)는 원본 이미지를 참조 스타일 이미지의 스타일로 변경하여 결과 이미지를 획득하도록 설정된 신경망 네트워크일 수 있다. 전자 장치(10)는 제1 이미지(1211)와 제2 이미지(1212)를 시뮬레이션 기반 스타일 변환 방법에 적용하여 복수 개의 제3 이미지들을 획득할 수 있다. 예를 들면, 전자 장치(10)는 Line-based Rendering 알고리즘(1240)에 제1 이미지(1211)와 제2 이미지(1212)를 적용하여 복수 개의 제3 이미지들을 획득할 수 있다. Line-based Rendering 알고리즘(1240)은, 예를 들면, 제1 이미지(1211)와 제2 이미지(1212)의 분석 결과로 획득한 형상에 대응되는 굵기, 방향, 색상, 또는 질감이 반영된 다양한 선을 객체가 없는 이미지의 일 영역에 추가하면서 객체의 형상을 표현할 수 있다. Line-based Rendering 알고리즘(1240)은 객체의 형상에 대한 표현이 일정 수준 완료된 후에 색상을 추가하여 복수 개의 제3 이미지들을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 복수 개의 제3 이미지들(1213) 중에서 가장 마지막에 획득한 제3 이미지에 포함된 객체의 형상, 색상 또는 질감이 제4 이미지(1214)에 포함된 객체의 형상, 색상 또는 질감과 유사할 수 있도록 추가적인 영상처리를 할 수 있다. 전자 장치(10)는, 예를 들면, Alpha Blending(1250)를 이용하여 복수 개의 제3 이미지들(1213) 중에서 가장 마지막에 획득한 제3 이미지에 포함된 객체의 형상, 색상 또는 질감을 제4 이미지(1214)에 포함된 객체의 형상, 색상 또는 질감과 유사하게 조정할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 이미지(1211)를 제2 신경망 네트워크(1230)에 적용하여 제4 이미지(1214)를 획득할 수 있다. 제2 신경망 네트워크(1230)는 원본 이미지를 참조 스타일 이미지의 스타일로 변경하여 결과 이미지를 획득하도록 설정된 신경망 네트워크일 수 있다.
다양한 실시예에 따르면, 전자 장치(10)는 제1 이미지(1211)를 제2 신경망 네트워크(1230)에 적용하여 제4 이미지(1214)를 획득하는 과정에서 제2 이미지(1212)를 이용하여 제4 이미지(1214)와 제2 이미지(1212)를 이용하여 획득하는 제3 이미지(1213)와의 유사도를 높일 수 있다.
일 실시예에 따르면, 전자 장치(10)는 상술한 영상 처리를 적용한 제3 이미지를 포함하는 획득된 복수 개의 제3 이미지들 및 제4 이미지를 순차적으로 표시할 수 있다.
도 13은 다양한 실시예에 따른 전자 장치가 제3 이미지를 생성하는 다른 과정을 설명하는 블록도 이다.
도 13을 참조하면, 전자 장치(10)는 제1 이미지(1311)와 제1 이미지(1311)의 변환에 참조할 스타일이 선택되면, 제1 이미지(1311)를 신경망 네트워크(1320)에 적용하여 제2 이미지(1312), 제2＇ 이미지(1312a) 및 제4 이미지(1314)를 획득할 수 있다. 전자 장치(10)는, 예를 들면, 제1 이미지(1311)의 해상도를 변경하여 제2 이미지(1312), 제2＇ 이미지(1312a) 및 제4 이미지(1314)를 획득할 수 있다. 스타일 변환 신경망 네트워크(1320)는 원본 이미지를 참조 스타일 이미지의 스타일로 변경하여 결과 이미지를 획득하도록 설정된 신경망 네트워크일 수 있다.
예를 들면, 전자 장치(10)는 제1 이미지(1311)의 해상도가 3840 * 2160 인 경우, 전자 장치(10)는 제1 이미지(1311)의 해상도를 1280 * 720으로 변환 후 스타일 변환 신경망 네트워크(1320)에 적용하여 제2 이미지(1312)를 획득할 수 있다. 전자 장치(10)는 제1 이미지(1311)의 해상도를 1920 * 1080으로 변경한 후, 스타일 변환 신경망 네트워크(1320)에 적용하여 제2＇ 이미지(1312a)를 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 이미지(1311)와 제2 이미지(1312)를 시뮬레이션 기반 스타일 변환 방법에 적용하여 복수 개의 제3 이미지들을 획득할 수 있다. 예를 들면, 전자 장치(10)는 Example-based Rendering Techniques 알고리즘(1330)에 제1 이미지(1311)와 제2 이미지(1312)를 적용하여 복수 개의 제3 이미지들(1313)을 획득할 수 있다. Example-based Rendering Techniques 알고리즘(1330)은, 예를 들면, 제1 이미지(1311)와 제2 이미지(1312)의 분석 결과로 획득한 색상 또는 질감을 포함하는 점, 선, 또는 면을 객체가 없는 이미지에 전체적으로 추가하면서 형상을 생성하여 복수 개의 제3 이미지들(1313)을 획득하는 방법을 의미할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 이미지(1311)를 신경망 네트워크(1320)에 적용하여 제4 이미지(1314)를 획득할 수 있다. 이 경우, 전자 장치(10)는 제1 이미지(1311)의 원 해상도를 유지하여 제4 이미지(1314)를 획득할 수 있다. 따라서, 제4 이미지(1314)는 상술한 제2 이미지(1312) 또는 제2＇ 이미지(1312a) 보다 해상도가 높은 이미지일 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제2＇ 이미지(1312a) 및 복수 개의 제3 이미지들(1313)을 Enhancing Details 알고리즘(1340)에 적용하여 복수 개의 제3 이미지들(1313)에 포함된 객체의 색상, 형태, 또는 질감 중 적어도 하나가 제4 이미지(1314)에 포함된 객체의 색상, 형태, 또는 질감 중 적어도 하나와 유사하도록 보정된 복수 개의 제3＇ 이미지(1313a)들을 획득할 수 있다. 즉, 전자 장치(10)는 제2 이미지(1312)보다 해상도가 높은 제2＇ 이미지(1312a)를 이용하여, 복수 개의 제3 이미지들(1313)에 포함된 객체의 색상, 형태, 또는 질감 중 적어도 하나가 제4 이미지(1314)에 포함된 객체의 색상, 형태, 또는 질감 중 적어도 하나와 더 유사한 복수 개의 제3＇ 이미지(1313a)들를 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 복수 개의 제3＇ 이미지들(1313a) 중에서 가장 마지막에 획득한 제3＇ 이미지에 대하여 추가적인 영상 처리를 수행할 수 있다. 예를 들면, 전자 장치(10)는 복수 개의 제3＇ 이미지들(1313a) 중에서 가장 마지막에 획득한 제3＇ 이미지에 포함된 객체의 형상, 색상 또는 질감이 제4 이미지에 포함된 객체의 형상, 색상 또는 질감과 유사할 수 있도록 추가적인 영상처리를 할 수 있다. 전자 장치(10)는, 예를 들면, Revealing Process(1350)를 이용하여 가장 마지막에 획득한 제3＇ 이미지에 포함된 객체의 형상, 색상 또는 질감을 제4 이미지(1314)에 포함된 객체의 형상, 색상 또는 질감과 유사하게 조정할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 상술한 영상 처리를 적용한 제3＇ 이미지를 포함하는 획득된 복수 개의 제3＇ 이미지들 및 제4 이미지를 순차적으로 표시할 수 있다.
도 14는 다양한 실시예에 따른 전자 장치가 제3 이미지를 생성하는 다른 과정을 설명하는 블록도 이다.
도 14를 참조하면, 전자 장치(10)는 제1 이미지(1411)와 제1 이미지(1411)의 변환에 참조할 스타일이 선택되면, 제1 이미지(1411)를 제1 신경망 네트워크(1420)에 적용하여 제2 이미지(1212)를 획득할 수 있다. 제1 신경망 네트워크(1420)는 원본 이미지를 참조 스타일 이미지의 스타일로 변경하여 결과 이미지를 획득하도록 설정된 신경망 네트워크일 수 있다.
전자 장치(10)는 제1 이미지(1411)와 제2 이미지(1412)를 시뮬레이션 기반 스타일 변환 방법에 적용하여 복수 개의 제3 이미지들을 획득할 수 있다. 예를 들면, 전자 장치(10)는 Stroke-based Rendering 알고리즘(1440)에 제1 이미지(1411)와 제2 이미지(1412)를 적용하여 복수 개의 제3 이미지들(1413)을 획득할 수 있다. Stroke-based Rendering 알고리즘(1440)은, 예를 들면, 제1 이미지(1411)와 제2 이미지(1412)의 분석 결과로 획득한 형상에 대응되는 굵기, 방향, 색상, 또는 질감이 반영된 다양한 선을 객체가 없는 이미지의 일 영역에 추가하면서 객체의 형상을 표현할 수 있다. Stroke-based Rendering 알고리즘(1440)은 주파수가 높은 영역에서부터 주파수가 낮은 영역의 순서로 색상을 추가하면서 객체의 형상을 완성할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제2 신경망 네트워크(1430)가 제1 이미지(1411)를 이용하여 제4 이미지(1414)를 획득하는 과정에서 획득된 중간 결과를 Stroke-based Rendering 알고리즘(1440)에 적용할 수 있다. 이로 인해, 전자 장치(10)는 제4 이미지(1414)에 포함된 객체의 형태, 색상 또는 질감과 유사도가 높은 객체를 포함하는 복수 개의 제3 이미지들(1413)을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 복수 개의 제3 이미지들(1413) 중에서 가장 마지막에 획득한 제3 이미지에 포함된 객체의 형상, 색상 또는 질감이 제4 이미지에 포함된 객체의 형상, 색상 또는 질감과 유사할 수 있도록 추가적인 영상처리를 할 수 있다. 전자 장치(10)는, 예를 들면, Alpha Blending(1450)를 이용하여 복수 개의 제3 이미지들(1413) 중에서 가장 마지막에 획득한 제3 이미지에 포함된 객체의 형상, 색상 또는 질감을 제4 이미지에 포함된 객체의 형상, 색상 또는 질감과 유사하게 조정할 수 있다.
다양한 실시예에 따르면, 전자 장치(10)는 제1 이미지(1411)를 제2 신경망 네트워크(1430)에 적용하여 제4 이미지를 획득하는 과정에서 제2 이미지(1412)를 이용하여 제4 이미지(1414)와 제2 이미지(1412)를 이용하여 획득하는 제3 이미지(1413)와의 유사도를 높일 수 있다.
일 실시예에 따르면, 전자 장치(10)는 상술한 영상 처리를 적용한 제3 이미지를 포함하는 획득된 복수 개의 제3 이미지들 및 제4 이미지를 순차적으로 표시할 수 있다.
도 15은 본 개시의 다양한 실시예에 따른 전자 장치의 블록도이다.
도 15에 도시된 바와 같이, 전자 장치(10)는, 프로세서(2010), 통신부(2020) 및 디스플레이(2060) 이외에, 메모리(2090), 튜너부(2015), 감지부(2030), 입/출력부(2040), 비디오 처리부(2050), 오디오 처리부(2070), 및 오디오 출력부(2080) 중 적어도 하나를 더 포함할 수 있다.
프로세서(2010)는, 예를 들면, 메모리(2090)에 저장된 소프트웨어(예로, 프로그램)를 실행하여 프로세서(2010)에 연결된 전자 장치(10)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(2010)는 다른 구성요소로부터 수신된 명령 또는 데이터를 메모리(예로, 휘발성 메모리)(2090)에 로드하고, 메모리(2090)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 메모리(예로, 비휘발성 메모리)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(2010)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서는 메인 프로세서보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서는 메인 프로세서와 별개로, 또는 그 일부로서 구현될 수 있다. 보조 프로세서는, 예를 들면, 메인 프로세서가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서를 대신하여, 또는 메인 프로세서가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서와 함께, 전자 장치(10)의 구성요소들 중 적어도 하나의 구성요소와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다.
통신부(2020)는 프로세서(2010)의 제어에 의해 전자 장치(10)를 외부 장치와 연결할 수 있다. 통신부(2020)는 프로세서(2010)(예로, 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신부(2020)는 무선 통신 모듈(2021)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(2022)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 서버(20)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다.
디스플레이(2060)는 전자 장치(10)의 외부(예: 사용자)로 정보(예: UI 등)를 시각적으로 제공할 수 있다. 디스플레이(2060)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이(2060)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이(2060)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기 영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고, 전자 장치(10)의 구현 형태에 따라, 전자 장치(10)는 디스플레이(2060)를 2개 이상 포함할 수도 있다.
튜너부(2015)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 전자 장치(10)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(2015)를 통해 수신된 방송 신호는 디코딩(decoding, 예를 들어, 오디오 디코딩, 비디오 디코딩 또는 부가 정보 디코딩)되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서(2010)의 제어에 의해 메모리(2090)에 저장될 수 있다. 전자 장치(10)의 튜너부(2015)는 하나이거나 복수일 수 있다. 튜너부(2015)는 전자 장치(10)와 일체형(all-in-one)으로 구현되거나 또는 전자 장치(10)와 전기적으로 연결되는 튜너부를 가지는 별개의 장치, 입/출력부(2040)에 연결되는 튜너부(도시되지 아니함)로 구현될 수 있다.
감지부(2030)는 사용자의 음성, 사용자의 영상, 또는 사용자의 인터랙션을 감지하며, 마이크(2031), 카메라부(2032), 및 광 수신부(2033)를 포함할 수 있다.
마이크(2031)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(2031)는 수신된 음성을 전기 신호로 변환하여 프로세서(2010)로 출력할 수 있다. 카메라부(2032)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 광 수신부(2033)는, 외부의 제어 장치(예로, 리모컨)로부터 수신되는 광 신호(제어 신호를 포함)를 수신한다. 광 수신부(2033)는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(2010)의 제어에 의해 제어 신호가 추출될 수 있다.
입/출력부(2040)는 프로세서(2010)의 제어에 의해 전자 장치(10)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입/출력부(2040)는 HDMI 포트(High-Definition Multimedia Interface port, 2041), 컴포넌트 잭(component jack, 2042), PC 포트(PC port, 2043), 및 USB 포트(USB port, 2044) 중 하나를 포함할 수 있다. 입/출력부(2040)는 HDMI 포트(2041), 컴포넌트 잭(2042), PC 포트(2043), 및 USB 포트(2044)의 조합을 포함할 수 있다.
비디오 처리부(2050)는, 디스플레이(2060)에 의해 표시될 영상을 처리하며, 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 영상 처리를 수행할 수 있다.
오디오 처리부(2070)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(2070)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
오디오 출력부(2080)는 프로세서(2010)의 제어에 의해 튜너부(2015)를 통해 수신된 방송 신호에 포함된 오디오, 통신부(2020) 또는 입/출력부(2040)를 통해 입력되는 오디오, 메모리(2090)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(2080)는 스피커(2081), 헤드폰 출력 단자(2082) 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자)(2083) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 메모리(2090)는, 프로세서(2010)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(10)로 입력되거나 전자 장치(10)로부터 출력되는 데이터를 저장할 수 있다.
메모리(2090)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(10)) 의해 읽을 수 있는 저장 매체(storage medium)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(10))의 프로세서(예: 프로세서(410))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
10: 전자 장치
11: 디스플레이
325: 시뮬레이션 기반 스타일 변환 알고리즘
510: 제1 신경망 네트워크
610: 제2 신경망 네트워크

Claims (20)

  1. 전자 장치에 있어서,
    디스플레이;
    적어도 하나 이상의 프로세서; 및
    적어도 하나 이상의 메모리; 를 포함하고,
    상기 메모리는, 상기 프로세서가,
    변환의 대상이 되는 제1 이미지에 포함된 적어도 하나 이상의 객체에 대한 특징을 식별하고,
    상기 제1 이미지를 제1 속도로 이미지 변환 동작을 수행하는 제1 신경망 네트워크에 적용하여 미리 선택된 참조 스타일에 대응하여 스타일이 변환된 제1 품질의 제2 이미지를 획득하고, 상기 제2 이미지에 포함된 적어도 하나 이상의 객체에 대한 특징을 식별하고,
    상기 식별 결과에 기반하여 이미지 처리 방법을 결정하고,
    상기 결정된 이미지 처리 방법에 기반하여 상기 제1이미지에 포함된 적어도 하나의 객체에 대한 형태, 질감 또는 색상 중 적어도 하나를 변경한 복수 개의 제3 이미지들을 획득하고,
    상기 제1 이미지를 상기 제1 속도보다 느린 제2 속도로 이미지 변환 동작을 수행하는 제2 신경망 네트워크에 적용하여 미리 선택된 참조 스타일에 대응하여 스타일이 변환되고 상기 제1 품질보다 높은 제2 품질의 제4 이미지를 획득하고,
    상기 디스플레이를 제어하여, 상기 제4 이미지를 획득하는 동안, 상기 복수 개의 제3 이미지들을 표시하고,
    상기 복수 개의 제3 이미지들을 표시한 후 상기 제4 이미지를 표시하도록 설정된 적어도 하나 이상의 인스트럭션들을 포함하는,
    전자 장치.
  2. 제1항에 있어서,
    상기 객체에 대한 특징은,
    상기 객체의 형태, 색상 또는 질감 중 적어도 하나를 포함하는,
    전자 장치.
  3. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 제2 이미지에 포함된 객체의 색상을 이용하여 상기 제1 이미지에 포함된 객체의 색상을 변경한 후, 상기 제1 이미지에 포함된 객체의 형태 및 질감을 이용하여 상기 복수 개의 제3 이미지들을 획득하도록 설정된,
    전자 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 제1 신경망 네트워크 및 상기 제2 신경망 네트워크는 이미지를 참조 스타일 이미지의 스타일로 변경하여 새로운 이미지를 획득하도록 원본 이미지, 원본 이미지가 참조할 이미지 및 참조할 이미지의 스타일을 반영하여 변경한 결과 이미지를 학습 데이터로 이용하여 학습된 신경망 네트워크인,
    전자 장치.
  6. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 복수 개의 제3 이미지들을 획득된 순서에 따라 표시하도록 설정된,
    전자 장치.
  7. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 복수 개의 제3 이미지들 중 마지막으로 획득된 제3 이미지에 대하여 상기 제4 이미지와의 유사도를 높이가 위한 영상 처리를 수행하도록 설정된,
    전자 장치.
  8. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 디스플레이를 제어하여, 상기 전자 장치가 슬립 상태에 진입하면, 상기 복수 개의 제3 이미지들과 상기 제4 이미지들 표시하도록 설정된,
    전자 장치.
  9. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 제1 이미지의 해상도를 감소시킨 후 상기 제1 신경망 네트워크에 적용하여 상기 제2 이미지를 획득하도록 설정된,
    전자 장치.
  10. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 디스플레이를 제어하여, 상기 제1 이미지와 참조 스타일 이미지를 선택하도록 안내하는 사용자 인터페이스를 제공하도록 설정된,
    전자 장치.
  11. 삭제
  12. 삭제
  13. 전자 장치의 제어 방법에 있어서,
    변환의 대상이 되는 제1 이미지에 포함된 적어도 하나 이상의 객체에 대한 특징을 식별하는 동작;
    상기 제1 이미지를 제1 속도로 이미지 변환 동작을 수행하는 제1 신경망 네트워크에 적용하여 미리 선택된 참조 스타일에 대응하여 스타일이 변환된 제1 품질의 제2 이미지를 획득하고, 상기 제2 이미지에 포함된 적어도 하나 이상의 객체에 대한 특징을 식별하는 동작;
    상기 식별 결과들에 기반하여 이미지 처리 방법을 결정하는 동작;
    상기 결정된 이미지 처리 방법에 기반하여 상기 제1이미지에 포함된 적어도 하나의 객체에 대한 형태, 질감 또는 색상 중 적어도 하나를 변경한 복수 개의 제3 이미지들을 획득하는 동작;
    상기 제1 이미지를 상기 제1 속도보다 느린 제2 속도로 이미지 변환 동작을 수행하는 제2 신경망 네트워크에 적용하여 미리 선택된 참조 스타일에 대응하여 스타일이 변환되고 상기 제1 품질보다 높은 제2 품질의 제4 이미지를 획득하는 동작;
    상기 제4 이미지를 획득하는 동안, 상기 복수 개의 제3 이미지들을 디스플레이에 표시하는 동작; 및
    상기 복수 개의 제3 이미지들을 표시한 후, 상기 제4 이미지를 상기 디스플레이에 표시하는 동작; 을 포함하는,
    전자 장치의 제어 방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020190127385A 2019-10-15 2019-10-15 전자 장치 및 전자 장치의 제어 방법 KR102623148B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190127385A KR102623148B1 (ko) 2019-10-15 2019-10-15 전자 장치 및 전자 장치의 제어 방법
US17/022,516 US11443537B2 (en) 2019-10-15 2020-09-16 Electronic apparatus and controlling method thereof
PCT/KR2020/013057 WO2021075758A1 (en) 2019-10-15 2020-09-25 Electronic apparatus and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190127385A KR102623148B1 (ko) 2019-10-15 2019-10-15 전자 장치 및 전자 장치의 제어 방법

Publications (2)

Publication Number Publication Date
KR20210044375A KR20210044375A (ko) 2021-04-23
KR102623148B1 true KR102623148B1 (ko) 2024-01-11

Family

ID=75384026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190127385A KR102623148B1 (ko) 2019-10-15 2019-10-15 전자 장치 및 전자 장치의 제어 방법

Country Status (3)

Country Link
US (1) US11443537B2 (ko)
KR (1) KR102623148B1 (ko)
WO (1) WO2021075758A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113578B1 (en) * 2020-04-13 2021-09-07 Adobe, Inc. Learned model-based image rendering
US20240348870A1 (en) * 2021-08-05 2024-10-17 Nippon Telegraph And Telephone Corporation Video processing apparatus, video processing method and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150093342A1 (en) 2011-02-01 2015-04-02 Isp Investments Inc. Method to protect skin from ultraviolet radiation using novel peptides involved in the improvement of microparasol organization in keratinocytes
US20180150947A1 (en) 2016-11-28 2018-05-31 Adobe Systems Incorporated Facilitating sketch to painting transformations
US20190220746A1 (en) 2017-08-29 2019-07-18 Boe Technology Group Co., Ltd. Image processing method, image processing device, and training method of neural network

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101749891B1 (ko) 2014-02-07 2017-06-22 엔트릭스 주식회사 클라우드 스트리밍 서비스에서의 자원 상황 기반 프레임 레이트 조절 방법 및 이를 위한 장치
DE102015009981A1 (de) 2015-07-31 2017-02-02 Eberhard Karls Universität Tübingen Verfahren und Vorrichtung zur Bildsynthese
WO2018042388A1 (en) 2016-09-02 2018-03-08 Artomatix Ltd. Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures
US10147459B2 (en) 2016-09-22 2018-12-04 Apple Inc. Artistic style transfer for videos
US10839226B2 (en) * 2016-11-10 2020-11-17 International Business Machines Corporation Neural network training
US10713794B1 (en) * 2017-03-16 2020-07-14 Facebook, Inc. Method and system for using machine-learning for object instance segmentation
US10565757B2 (en) 2017-06-09 2020-02-18 Adobe Inc. Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
CN108073898B (zh) * 2017-12-08 2022-11-18 腾讯科技（深圳）有限公司 人头区域识别方法、装置及设备
US10872399B2 (en) * 2018-02-02 2020-12-22 Nvidia Corporation Photorealistic image stylization using a neural network model
CN110569795B (zh) * 2018-03-13 2022-10-14 腾讯科技（深圳）有限公司 一种图像识别方法、装置以及相关设备
US10650495B2 (en) * 2018-06-04 2020-05-12 Adobe Inc. High resolution style transfer
US10748324B2 (en) * 2018-11-08 2020-08-18 Adobe Inc. Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
US11354791B2 (en) * 2018-12-19 2022-06-07 General Electric Company Methods and system for transforming medical images into different styled images with deep neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150093342A1 (en) 2011-02-01 2015-04-02 Isp Investments Inc. Method to protect skin from ultraviolet radiation using novel peptides involved in the improvement of microparasol organization in keratinocytes
US20180150947A1 (en) 2016-11-28 2018-05-31 Adobe Systems Incorporated Facilitating sketch to painting transformations
US20190220746A1 (en) 2017-08-29 2019-07-18 Boe Technology Group Co., Ltd. Image processing method, image processing device, and training method of neural network

Also Published As

Publication number Publication date
US11443537B2 (en) 2022-09-13
KR20210044375A (ko) 2021-04-23
US20210110220A1 (en) 2021-04-15
WO2021075758A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
US11132775B2 (en) Image processing apparatus and method of operating the same
US11487975B2 (en) Electronic apparatus and method of controlling the same
KR102640234B1 (ko) 디스플레이 장치의 제어 방법 및 그에 따른 디스플레이 장치
US11195261B2 (en) Image processing apparatus and image processing method
KR20090092035A (ko) 모자이크 영상을 생성하는 방법 및 이를 위한 장치
KR102623148B1 (ko) 전자 장치 및 전자 장치의 제어 방법
US10997947B2 (en) Electronic device and control method thereof
KR102579452B1 (ko) 영상 표시 장치 및 그 동작방법
WO2021106855A1 (ja) データ生成方法、データ生成装置、モデル生成方法、モデル生成装置及びプログラム
CN112651410A (zh) 用于鉴别的模型的训练、鉴别方法、系统、设备及介质
EP3850828B1 (en) Electronic device and method of controlling thereof
US20230186440A1 (en) Display apparatus and operating method thereof
CN112231029A (zh) 应用于主题的帧动画处理方法
US20230066869A1 (en) Display device and operating method thereof
CN110209861A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US10321164B2 (en) System and method for improving graphics and other signal results through signal transformation and application of dithering
US20230114954A1 (en) Display device and operating method of the same
KR20230050127A (ko) 디스플레이 장치 및 그 동작방법
CN111489769B (zh) 图像处理方法、装置和硬件装置
KR20240115657A (ko) 전자 장치 및 이의 제어 방법
KR20230032704A (ko) 디스플레이 장치 및 그 동작방법
KR20240114171A (ko) 전자 장치 및 그 영상 처리 방법
KR20230059029A (ko) 전자 장치 및 그 동작 방법
CN117499609A (zh) 媒体内容色彩调整方法、装置、设备、存储介质及产品
CN116229585A (zh) 一种图像活体检测方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right