KR102535692B1 - 복수의 이미지에 포함되는 픽셀 사이의 대응 관계를 반영하는 이미지를 획득하기 위한 이미지 처리 방법 및 그러한 방법을 수행하는 전자 장치 - Google Patents

복수의 이미지에 포함되는 픽셀 사이의 대응 관계를 반영하는 이미지를 획득하기 위한 이미지 처리 방법 및 그러한 방법을 수행하는 전자 장치 Download PDF

Info

Publication number
KR102535692B1
KR102535692B1 KR1020220182840A KR20220182840A KR102535692B1 KR 102535692 B1 KR102535692 B1 KR 102535692B1 KR 1020220182840 A KR1020220182840 A KR 1020220182840A KR 20220182840 A KR20220182840 A KR 20220182840A KR 102535692 B1 KR102535692 B1 KR 102535692B1
Authority
KR
South Korea
Prior art keywords
image
electronic device
pixel
shape
color
Prior art date
Application number
KR1020220182840A
Other languages
English (en)
Inventor
이주행
이정원
Original Assignee
주식회사 페블러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 페블러스 filed Critical 주식회사 페블러스
Priority to PCT/KR2023/001001 priority Critical patent/WO2024038983A1/ko
Application granted granted Critical
Publication of KR102535692B1 publication Critical patent/KR102535692B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Abstract

본 개시의 일 실시예에 따르면, 이미지 처리 방법에 있어서, 메모리에 저장된 복수의 인스트럭션들 중 적어도 일부에 따라 동작하는 적어도 하나의 프로세서에 의해, 제1 이미지 및 제2 이미지를 획득하는 단계; 상기 제1 이미지에 포함되는 복수의 픽셀들을 적어도 하나 이상의 픽셀 속성으로 정의된 좌표 공간 상에 나타냄으로써 제1 픽셀 맵을 획득하고, 상기 제2 이미지에 포함되는 복수의 픽셀들을 상기 적어도 하나 이상의 픽셀 속성으로 정의된 좌표 공간 상에 나타냄으로써 제2 픽셀 맵을 획득하는 단계; 및 상기 제1 픽셀 맵 및 상기 제2 픽셀 맵의 위치적 대응 관계에 기초하여, 상기 제1 이미지의 제1 특성 및 상기 제2 이미지의 제2 특성을 반영하는 제3 이미지를 획득하는 단계; 를 포함하는 이미지 처리 방법이 제공될 수 있다.

Description

복수의 이미지에 포함되는 픽셀 사이의 대응 관계를 반영하는 이미지를 획득하기 위한 이미지 처리 방법 및 그러한 방법을 수행하는 전자 장치 {AN IMAGE PROCESSING METHOD FOR ACQUIRING AN IMAGE REFLECTING A CORRESPONDENCE BETWEEN PIXELS INCLUDED IN A PLURALITY OF IMAGES, AND AN ELECTRONIC DEVICE PERFORMING THE METHOD}
본 개시는, 픽셀 기반의 이미지 처리를 수행하는 전자 장치에 대한 것이다. 보다 상세하게는, 픽셀의 특성을 이용하여 시각적 효과를 제공하기 위해 설정된 다양한 이미지 처리 동작들을 수행하는 전자 장치에 대한 것이다.
컴퓨터를 이용한 이미지 처리 기술이 발달함에 따라서, 사용자에게 다양한 방식의 이미지 처리 기능들을 제공하는 컴퓨터 프로그램들이 개발되고 있다. 특히, 원본 이미지를 처리하여 다양한 형태의 가공된 이미지를 제공하는 기술들을 제공함으로써, 이미지를 편집하거나, 이미지와 합성하거나, 다른 이미지의 스타일을 전이하는 등 사용자에게 다양한 경험을 제공하고 있다.
다만, 대부분의 이미지 처리 기술이 사용자의 처리 능력에 의존한 결과물을 제공하고 있어서, 이미지 자체의 특성을 반영한 자동화된 이미지 처리 기술은 부족한 실정이다.
이러한 문제들을 해결하기 위해, 이미지 자체, 특히 이미지의 픽셀의 특성을 반영하여 가공된 이미지를 제공하면서도, 새로운 사용자 경험을 제공하는 이미지 처리 기술이 필요하다.
[선행 기술 문헌]
선행기술 1: 대한민국 공개특허공보 제10-2021-0108957호(2021.08.18)
본 개시의 일 과제는, 원본 이미지(소스 이미지)를 이용하여 이미지의 특성을 반영한 가공 이미지를 제공하는 것이다.
또한, 본 개시의 일 과제는, 전자 장치(또는 컴퓨팅 장치)를 통해 이미지 처리를 경험하는 사용자에게 이미지에 따른 다양한 시각적 경험을 제공하는 것이다.
한편, 본 개시에서 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 개시에 포함된 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 실시예에 따르면, 메모리에 저장된 복수의 인스트럭션들 중 적어도 일부에 따라 동작하는 적어도 하나의 프로세서에 의해, 소스 이미지(source image)를 획득하는 단계; 상기 소스 이미지에 포함된 적어도 하나의 단위 영역을 기초로 제1 특성 값을 획득하는 단계; 및 상기 메모리에 저장된 제1 형상 이미지 셋에 포함되는 복수의 형상 이미지들 중, 상기 제1 특성 값에 대응되는 형상 이미지를 선택함으로써 제1 형상 이미지를 획득하는 단계;를 포함하는 이미지 처리 방법이 제공될 수 있다.
또한, 본 개시의 일 실시예에 따르면, 소스 이미지를 처리하여 가공 이미지를 제공하기 위한 전자 장치에 있어서, 복수의 인스트럭션들이 저장된 메모리; 및 상기 복수의 인스트럭션들 중 적어도 일부를 기초로 동작하는 적어도 하나의 프로세서;를 포함하고, 상기 적어도 하나의 프로세서는, 소스 이미지를 획득하고, 상기 소스 이미지에 포함된 적어도 하나의 단위 영역을 기초로 제1 특성 값을 획득하고, 사용자 입력에 기초하여, 복수의 형상 이미지들을 포함하는 제1 형상 이미지 셋을 수신하고, 상기 복수의 형상 이미지들 중, 상기 제1 특성 값에 대응되는 형상 이미지를 선택함으로써 제1 형상 이미지를 획득하도록 설정되는 전자 장치가 제공될 수 있다.
또한, 본 개시의 일 실시예에 따르면, 픽셀 기반의 이미지 처리 방법을 제공하기 위한 전자 장치로서, 디스플레이; 및 적어도 하나의 프로세서;를 포함하고, 상기 적어도 하나의 프로세서는, 소스 이미지를 상기 디스플레이를 이용하여 표시하고, 상기 소스 이미지의 적어도 하나의 영역을 기준 위치로 설정하고, 상기 소스 이미지의 제1 픽셀 그룹에 포함되는 복수의 픽셀들을 상기 기준 위치를 기초로 재설정함으로써 제2 픽셀 그룹을 획득하고, 상기 제2 픽셀 그룹을 포함하는 제1 가공 이미지를 상기 디스플레이를 이용하여 표시하도록 설정되는 전자 장치가 제공될 수 있다.
또한, 본 개시의 일 실시예에 따르면, 이미지 처리 방법에 있어서, 메모리에 저장된 복수의 인스트럭션들 중 적어도 일부에 따라 동작하는 적어도 하나의 프로세서에 의해, 제1 이미지 및 제2 이미지를 획득하는 단계; 상기 제1 이미지에 포함되는 복수의 픽셀들을 적어도 하나 이상의 픽셀 속성으로 정의된 좌표 공간 상에 나타냄으로써 제1 픽셀 맵을 획득하고, 상기 제2 이미지에 포함되는 복수의 픽셀들을 상기 적어도 하나 이상의 픽셀 속성으로 정의된 좌표 공간 상에 나타냄으로써 제2 픽셀 맵을 획득하는 단계; 및 상기 제1 픽셀 맵 및 상기 제2 픽셀 맵의 위치적 대응 관계에 기초하여, 상기 제1 이미지의 제1 특성 및 상기 제2 이미지의 제2 특성을 반영하는 제3 이미지를 획득하는 단계; 를 포함하는 이미지 처리 방법이 제공될 수 있다.
또한, 본 개시의 일 실시예에 따르면, 복수의 이미지들을 기초로 가공 이미지를 제공하기 위한 전자 장치에 있어서, 디스플레이; 복수의 인스트럭션들이 저장된 메모리; 및 상기 복수의 인스트럭션들 중 일부를 기초로 동작하는 적어도 하나의 프로세서; 를 포함하고, 상기 적어도 하나의 프로세서는, 제1 이미지 및 제2 이미지를 상기 디스플레이를 이용하여 표시하고, 상기 제1 이미지에 포함되는 복수의 픽셀들을 적어도 하나 이상의 픽셀 속성으로 정의된 좌표 공간 상에 나타냄으로써 제1 픽셀 맵을 획득하고, 상기 제2 이미지에 포함되는 복수의 픽셀들을 상기 적어도 하나 이상의 픽셀 속성으로 정의된 좌표 공간 상에 나타냄으로써 제2 픽셀 맵을 획득하고, 상기 제1 픽셀 맵 및 상기 제2 픽셀 맵의 위치적 대응 관계에 기초하여, 상기 제1 이미지의 제1 특성 및 상기 제2 이미지의 제2 특성을 반영하는 가공 이미지를 상기 디스플레이를 이용하여 표시하도록 설정되는 전자 장치가 제공될 수 있다.
다양한 실시예들에 따른, 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시예들에 따르면, 소스 이미지를 이용하여 이미지 특성에 대응되는 이미지 맞춤형 가공 이미지를 제공할 수 있다.
또한, 다양한 실시예들에 따르면, 이미지 간의 형상 및 색상 등을 이미지 특성을 활용하여 전이함으로써 사용자 경험 별 다양한 시각적 효과를 제공할 수 있다.
본 개시에 포함된 실시예들에 따른 효과들이 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1a은, 다양한 실시예들에 따른, 이미지 처리 시스템의 일 실시예를 도시한 도면이다.
도 1b는, 다양한 실시예들에 따른, 이미지 처리 시스템의 일 실시예를 도시한 도면이다.
도 2는, 다양한 실시예들에 따른, 이미지 처리 프로세스를 수행하는 전자 장치의 구성을 도시한 도면이다.
도 3은, 다양한 실시예들에 따른, 이미지 처리 장치의 이미지 처리 프로세스를 도시한 도면이다.
도 4는, 다양한 실시예들에 따른, 형상 이미지 기반의 이미지 처리 방법을 도시한 흐름도이다.
도 5는, 다양한 실시예들에 따른, 소스 이미지의 단위 영역에 대응되는 형상 이미지를 설명하기 위한 도면이다.
도 6은, 다양한 실시예들에 따른, 전자 장치가 소스 이미지의 단위 영역을 형상 이미지로 변환하기 위한 방법을 도시한 흐름도이다.
도 7은, 다양한 실시예들에 따른, 전자 장치가 단위 영역에 대응되는 형상 이미지를 획득하여 가공 이미지를 획득하는 방법의 일 실시예를 도시한 흐름도이다.
도 8은, 다양한 실시예들에 따른, 전자 장치의 데이터베이스에 저장된 형상 이미지 및 형상 이미지의 특성에 대한 정보를 설명하기 위한 도면이다.
도 9는 다양한 실시예들에 따른, 전자 장치가 획득한 가공 이미지에 대한 예시를 도시한 도면이다.
도 10은, 다양한 실시예들에 따른, 전자 장치가 단위 영역에 대응되는 형상 이미지를 획득하여 가공 이미지를 획득하는 방법의 다른 일 실시예를 도시한 흐름도이다.
도 11은, 다양한 실시예들에 따른, 전자 장치가 단위 영역에 대응되는 형상 이미지를 획득하여 가공 이미지를 획득하는 방법의 또 다른 일 실시예를 도시한 흐름도이다.
도 12는, 다양한 실시예들에 따른, 전자 장치가 이미지 생성 모델을 이용하여 형상 이미지를 생성하는 예시를 도시한 도면이다.
도 13은, 다양한 실시예들에 따른, 전자 장치가 단위 영역에 대응되는 복수의 형상 이미지들을 획득하여 가공 이미지를 획득하는 방법의 일 실시예를 도시한 흐름도이다.
도 14는, 다양한 실시예들에 따른, 전자 장치가 단위 영역에 대응되는 복수의 형상 이미지들을 획득하여 가공 이미지를 획득하는 방법의 다른 일 실시예를 도시한 흐름도이다.
도 15는, 다양한 실시예들에 따른, 전자 장치가 단위 영역에 대응되는 복수의 형상 이미지들을 획득하여 가공 이미지를 획득하는 방법의 예시를 도시한 도면이다.
도 16은, 다양한 실시예들에 따른, 전자 장치가 형상 이미지의 유형에 따라 결과 형상 이미지를 획득하는 방법을 도시한 흐름도이다.
도 17은, 다양한 실시예들에 따른, 전자 장치가 단위 영역에 대응되는 복수의 형상 이미지들을 획득하여 가공 이미지를 획득하는 방법의 다른 예시를 도시한 도면이다.
도 18은, 다양한 실시예들에 따른, 전자 장치가 소스 이미지에 대한 확대 입력에 대응하여 이미지 확대 동작을 수행하는 방법을 도시한 흐름도이다.
도 19는, 다양한 실시예들에 따른, 전자 장치가 소스 이미지에 대한 확대 입력에 대응하여 이미지 확대 동작을 수행하는 예시를 도시한 도면이다.
도 20은, 다양한 실시예들에 따른, 전자 장치가 픽셀 기반 이미지 처리에 따라 이미지를 프로세싱하는 예시를 도시한 도면이다.
도 21은, 다양한 실시예들에 따른, 전자 장치가 픽셀 기반 이미지 처리 기능을 제공하는 방법을 도시한 흐름도이다.
도 22는, 다양한 실시예들에 따른, 전자 장치가 픽셀 기반 이미지 처리 기능을 제공하는 방법의 일 실시예를 도시한 흐름도이다.
도 23은, 다양한 실시예들에 따른, 전자 장치가 픽셀 기반 이미지 처리 기능을 제공하는 방법의 다른 일 실시예를 도시한 흐름도이다.
도 24는, 다양한 실시예들에 따른, 전자 장치가 사용자 입력에 따라 이미지의 픽셀들의 특성을 재설정하는 일 실시예를 도시한 흐름도이다.
도 25는, 다양한 실시예들에 따른, 전자 장치가 사용자 입력에 따라 이미지의 픽셀들의 특성을 재설정하는 방법의 일 예시를 도시한 도면이다.
도 26은, 다양한 실시예들에 따른, 전자 장치가 사용자 입력에 따라 이미지의 픽셀들의 특성을 재설정하는 다른 일 실시예를 도시한 흐름도이다.
도 27은, 다양한 실시예들에 따른, 전자 장치가 사용자 입력에 따라 이미지의 픽셀들의 특성을 재설정하는 방법의 다른 일 예시를 도시한 도면이다.
도 28은, 다양한 실시예들에 따른, 픽셀 맵을 활용한 이미지 변환 방법을 도시한 흐름도이다.
도 29는, 다양한 실시예들에 따른 픽셀 맵을 활용한 이미지 변환 방법의 예시를 도시한 도면이다.
도 30은, 다양한 실시예들에 따른, 전자 장치가 사용자 입력을 기초로 확인된 픽셀 맵의 변화를 반영하여 이미지를 변환하는 일 실시예를 도시한 흐름도이다.
도 31은, 다양한 실시예들에 따른, 전자 장치가 사용자 입력을 기초로 확인된 픽셀 맵의 변화를 반영하여 이미지를 변환하는 다른 일 실시예를 도시한 흐름도이다.
도 32는, 다양한 실시예들에 따른, 전자 장치가 픽셀 맵을 기초로 획득 가능한 정보들을 설명하기 위한 도면이다.
도 33은, 다양한 실시예들에 따른, 전자 장치가 픽셀 맵을 기초로 정보를 획득하는 다른 예시를 도시한 흐름도이다.
도 34는, 다양한 실시예들에 따른, 전자 장치가 픽셀 전이 기능을 제공하기 위한 방법을 도시한 흐름도이다.
도 35는, 다양한 실시예들에 따른, 전자 장치가 이미지 사이의 대응 관계를 기초로 픽셀 전이 기능을 제공하는 방법을 도시한 흐름도이다.
도 36은, 다양한 실시예들에 따른, 전자 장치가 이미지 사이의 대응 관계를 기초로 픽셀 전이 기능을 제공하는 구체적인 예시를 도시한 도면이다.
도 37은, 다양한 실시예들에 따른, 전자 장치가 스케일이 상이한 이미지 사이의 픽셀 전이 기능을 제공하는 방법의 일 실시예를 도시한 흐름도이다.
도 38은, 다양한 실시예들에 따른, 전자 장치가 스케일이 상이한 이미지 사이의 픽셀 전이 기능을 제공하는 방법의 일 실시예의 예시를 도시한 도면이다.
도 39는, 다양한 실시예들에 따른, 전자 장치가 스케일이 상이한 이미지 사이의 픽셀 전이 기능을 제공하는 방법의 다른 일 실시예를 도시한 흐름도이다.
도 40은, 다양한 실시예들에 따른, 전자 장치가 스케일이 상이한 이미지 사이의 픽셀 전이 기능을 제공하는 방법의 다른 일 실시예의 예시를 도시한 도면이다.
도 41은, 다양한 실시예들에 따른, 전자 장치가 사용자 입력을 기초로 픽셀 전이 기능을 제공하는 실시예를 도시한 도면이다.
도 42는, 다양한 실시예들에 따른, 전자 장치가 복수의 이미지들을 기초로 타겟 이미지를 가공하는 방법의 일 실시예를 도시한 도면이다.
도 43은, 다양한 실시예들에 따른, 전자 장치가 복수의 이미지들을 기초로 타겟 이미지를 가공하는 방법의 다른 일 실시예를 도시한 도면이다.
도 44는, 다양한 실시예들에 따른, 전자 장치가 딥러닝 모델을 이용하여 형상 이미지 사이의 색상 전이 동작을 수행하는 방법을 도시한 도면이다.
도 45는, 다양한 실시예들에 따른, 전자 장치가 딥러닝 모델을 이용하여 형상 이미지 사이의 색상 특성을 교환함으로써 가공된 형상 이미지를 생성하는 방법을 도시한 도면이다.
도 46은, 다양한 실시예들에 따른, 전자 장치가 형상 이미지 사이의 색상 특성을 교환함으로써 가공된 형상 이미지를 생성하기 위한 딥러닝 모델의 학습 방법을 도시한 도면이다.
도 47은, 다양한 실시예들에 따른, 전자 장치가 형상 이미지 사이의 색상 특성을 교환함으로써 가공된 형상 이미지를 생성하기 위한 딥러닝 모델의 추가 학습 방법을 도시한 도면이다.
도 48은, 다양한 실시예들에 따른, 전자 장치가 형상 이미지 간의 색상 전이 기능을 활용하여 가공 이미지를 획득하는 방법을 도시한 흐름도이다.
도 49는, 다양한 실시예들에 따른, 전자 장치가 사용자 입력을 기초로 픽셀 전이 동작을 수행하여 결과물을 제공하는 방법을 도시한 도면이다.
도 50은, 다양한 실시예들에 따른, 전자 장치가 복수의 이미지를 활용하여 가공 이미지를 획득하는 다양한 방법들을 도시한 도면이다.
이하, 본 개시의 실시예를 첨부의 도면을 참조하여 상세하게 설명한다. 실시예를 설명함에 있어서 본 개시가 속하는 기술 분야에 익히 알려져 있고 본 개시와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 개시의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 판례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 명세서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부분" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
즉, 본 개시의 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 알려주기 위해 제공되는 것이며, 본 개시의 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
“제1” 및/또는 “제2” 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 개시의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
도면에서 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능할 수 있다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능할 수 있다.
또한, 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다. 예를 들어, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
본 개시에서 사용되는 '~부(unit)'라는 용어는 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미한다. '~부'는 특정한 역할들을 수행하지만 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일부 실시예에 따르면 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다. 또한 본 개시의 다양한 실시예에 따르면, '~부'는 하나 이상의 프로세서를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 메모리에 저장된 복수의 인스트럭션들 중 적어도 일부에 따라 동작하는 적어도 하나의 프로세서에 의해, 소스 이미지(source image)를 획득하는 단계; 상기 소스 이미지에 포함된 적어도 하나의 단위 영역을 기초로 제1 특성 값을 획득하는 단계; 및 상기 메모리에 저장된 제1 형상 이미지 셋에 포함되는 복수의 형상 이미지들 중, 상기 제1 특성 값에 대응되는 형상 이미지를 선택함으로써 제1 형상 이미지를 획득하는 단계;를 포함하는 이미지 처리 방법이 제공될 수 있다.
상기 제1 형상 이미지 셋은 제1 유형의 형상으로 그룹핑된 형상 이미지들을 포함할 수 있다.
상기 적어도 하나의 단위 영역을 상기 제1 형상 이미지로 변환함으로써 가공 이미지를 획득하는 단계;를 더 포함할 수 있다.
상기 제1 형상 이미지를 획득하는 단계는, 상기 메모리에 저장된 제1 형상 이미지 셋에 포함되는 적어도 하나의 형상 이미지의 특성을 확인하는 단계; 및 확인된 적어도 하나의 형상 이미지의 특성에 기초하여, 상기 제1 특성 값에 매칭되는 형상 이미지를 선택함으로써 제1 형상 이미지를 획득하는 단계; 를 포함할 수 있다.
상기 제1 특성 값은, 색상 값, 명도 값, 채도 값, 또는 강도 값 중 적어도 하나를 포함할 수 있다.
상기 적어도 하나의 단위 영역은 상기 소스 이미지의 특정 영역에 대한 사용자 입력을 기초로 지정될 수 있다.
상기 메모리에 구축된 데이터베이스(DB)에 접근하여 상기 제1 형상 이미지 셋을 확인하는 단계;를 더 포함할 수 있다.
상기 제1 형상 이미지를 획득하는 단계는, 상기 제1 특성 값을 기초로 제1 생성 파라미터를 획득하는 단계; 이미지 생성 모델을 이용하여, 상기 제1 생성 파라미터를 기초로 상기 제1 형상 이미지를 포함하는 제1 형상 이미지 셋을 생성하는 단계; 상기 제1 형상 이미지 셋을 상기 메모리에 저장하는 단계; 및 상기 제1 형상 이미지 셋에 포함되는 복수의 형상 이미지들 중, 상기 제1 특성 값에 대응되는 형상 이미지를 선택함으로써 상기 제1 형상 이미지를 획득하는 단계;를 포함할 수 있다.
상기 이미지 생성 모델에 의해, 상기 제1 생성 파라미터를 기초로 형상적 특징을 획득하는 단계; 및 상기 형상적 특징을 기초로 상기 제1 형상 이미지 셋을 생성하는 단계;를 더 포함할 수 있다.
상기 형상적 특징은 형상에 의존된 특징 및 형상에 독립된 특징을 포함할 수 있다.
적어도 하나의 프로세서는, 사용자 입력을 기초로 획득된 제2 생성 파라미터를 더 고려하여 상기 제1 형상 이미지 셋을 생성할 수 있다.
상술한 적어도 하나의 프로세서의 동작 방법은, 상기 소스 이미지에 포함된 상기 적어도 하나의 단위 영역을 기초로 제2 특성 값을 획득하는 단계; 상기 메모리에 저장된 상기 제1 형상 이미지 셋에 포함되는 복수의 형상 이미지들 중, 상기 제2 특성 값에 대응되는 형상 이미지를 선택함으로써 제2 형상 이미지를 획득하는 단계; 상기 제1 형상 이미지 및 상기 제2 형상 이미지를 기초로 결과 형상 이미지를 획득하는 단계; 및 상기 적어도 하나의 단위 영역을 상기 결과 형상 이미지로 변환함으로써 가공 이미지를 획득하는 단계; 를 더 포함할 수 있다.
상기 제1 형상 이미지 셋이 제1 유형의 형상에 연관되는 경우, 상기 결과 형상 이미지는 상기 제1 형상 이미지에 포함된 형상 및 상기 제2 형상 이미지에 포함된 형상을 둘 다 나타내도록 획득되고, 상기 제1 형상 이미지 셋이 제2 유형의 형상에 연관되는 경우, 상기 결과 형상 이미지는 상기 제1 형상 이미지에 포함된 형상 및 상기 제2 형상 이미지에 포함된 형상 중 하나를 나타내도록 획득될 수 있다.
상술한 방법을 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체가 제공될 수 있다.
또한, 본 개시의 일 실시예에 따르면, 소스 이미지를 처리하여 가공 이미지를 제공하기 위한 전자 장치에 있어서, 복수의 인스트럭션들이 저장된 메모리; 및 상기 복수의 인스트럭션들 중 적어도 일부를 기초로 동작하는 적어도 하나의 프로세서;를 포함하고, 상기 적어도 하나의 프로세서는, 소스 이미지를 획득하고, 상기 소스 이미지에 포함된 적어도 하나의 단위 영역을 기초로 제1 특성 값을 획득하고, 사용자 입력에 기초하여, 복수의 형상 이미지들을 포함하는 제1 형상 이미지 셋을 수신하고, 상기 복수의 형상 이미지들 중, 상기 제1 특성 값에 대응되는 형상 이미지를 선택함으로써 제1 형상 이미지를 획득하도록 설정되는 전자 장치가 제공될 수 있다.
또한, 본 개시의 일 실시예에 따르면, 픽셀 기반의 이미지 처리 방법을 제공하기 위한 전자 장치로서, 디스플레이; 및 적어도 하나의 프로세서;를 포함하고, 상기 적어도 하나의 프로세서는, 소스 이미지를 상기 디스플레이를 이용하여 표시하고, 상기 소스 이미지의 적어도 하나의 영역을 기준 위치로 설정하고, 상기 소스 이미지의 제1 픽셀 그룹에 포함되는 복수의 픽셀들을 상기 기준 위치를 기초로 재설정함으로써 제2 픽셀 그룹을 획득하고, 상기 제2 픽셀 그룹을 포함하는 제1 가공 이미지를 상기 디스플레이를 이용하여 표시하도록 설정되는 전자 장치가 제공될 수 있다.
상기 기준 위치는, 디스플레이 상에서 상기 소스 이미지의 적어도 하나의 영역에 대응되는 특정 위치에 대한 제1 사용자 입력을 기초로 설정될 수 있다.
상기 적어도 하나의 프로세서는, 상기 소스 이미지에 포함되는 복수의 픽셀들의 위치가 재정렬되는 시각적 효과를 포함하는 제1 시뮬레이션을 상기 디스플레이를 통해 제공하도록 더 설정될 수 있다.
상기 적어도 하나의 프로세서는, 상기 소스 이미지에 포함되는 복수의 픽셀들에 대응되는 복수의 특성 값들을 확인하고, 상기 기준 위치를 기초로 상기 복수의 특성 값들 중 적어도 일부를 조정함으로써 상기 제2 픽셀 그룹을 획득할 수 있다.
상기 적어도 하나의 프로세서는 상기 기준 위치를 기초로 상기 제1 픽셀 그룹에 포함되는 복수의 픽셀들의 위치를 재정렬함으로써 상기 제2 픽셀 그룹을 획득할 수 있다.
상기 적어도 하나의 프로세서는, 상기 소스 이미지에 포함되는 복수의 픽셀들에 대응되는 복수의 특성 값들을 확인하고, 특성 값이 큰 픽셀이 상기 기준 위치에 가깝도록 상기 제2 픽셀 그룹을 획득할 수 있다.
상기 소스 이미지의 제1 영역 및 제2 영역에 각각 대응되는 상기 디스플레이 상의 제1 위치 및 제2 위치에 대한 제2 사용자 입력에 기초하여, 상기 제1 위치 및 상기 제2 위치를 연결하는 특정 위치를 상기 기준 위치로 설정할 수 있다.
상기 적어도 하나의 프로세서는, 상기 전자 장치에 포함된 적어도 하나의 센서를 이용하여 상기 전자 장치의 모션을 감지하는 경우, 감지된 모션의 방향에 따라 상기 제1 가공 이미지의 상기 제2 픽셀 그룹에 포함되는 복수의 픽셀들의 위치가 재정렬되는 시각적 효과를 포함하는 제2 시뮬레이션을 상기 디스플레이를 통해 제공하도록 더 설정될 수 있다.
상기 적어도 하나의 프로세서는, 상기 전자 장치의 모션이 중단되는 경우, 상기 제1 가공 이미지를 상기 디스플레이를 이용하여 표시하도록 더 설정될 수 있다.
상기 제2 픽셀 그룹에 포함되는 복수의 픽셀들의 색상과 연관된 특성의 분포는 상기 제1 픽셀 그룹에 포함되는 복수의 픽셀들의 색상과 연관된 특성의 분포에 대응될 수 있다.
상기 제1 가공 이미지는 상기 소스 이미지에 포함된 복수의 픽셀들을 특성을 기초로 배열한 픽셀 맵으로 제공되고, 상기 적어도 하나의 프로세서는, 상기 제1 가공 이미지에 대하여 입력된 제3 사용자 입력에 기초하여, 상기 소스 이미지에 포함된 복수의 픽셀들 중 적어도 일부를 조정한 제2 가공 이미지를 획득하도록 더 설정될 수 있다.
상기 제3 사용자 입력에 의해, 상기 제1 가공 이미지의 색상 분포가 변경된 경우, 상기 제2 가공 이미지는 변경된 색상 분포를 반영하도록 획득될 수 있다.
상기 제1 가공 이미지는 상기 소스 이미지에 포함된 복수의 픽셀들을 특성을 기초로 배열한 픽셀 맵으로 제공되고, 상기 적어도 하나의 프로세서는, 상기 제1 가공 이미지를 기초로 색상 분포 정보, 색상 비율 정보 또는 지배 색상 정보 중 적어도 하나를 획득하도록 더 설정될 수 있다.
상기 적어도 하나의 프로세서는, 상기 색상 분포 정보, 색상 비율 정보 또는 지배 색상 정보 중 적어도 하나를 기초로 색상 유사도 정보를 획득하도록 더 설정될 수 있다.
상기 적어도 하나의 프로세서는, 상기 색상 분포 정보, 색상 비율 정보 또는 지배 색상 정보 중 적어도 하나를 기초로 색상 추천 정보를 획득하도록 더 설정될 수 있다.
또한, 본 개시의 일 실시예에 따르면, 이미지 처리 방법에 있어서, 메모리에 저장된 복수의 인스트럭션들 중 적어도 일부에 따라 동작하는 적어도 하나의 프로세서에 의해, 제1 이미지 및 제2 이미지를 획득하는 단계; 상기 제1 이미지에 포함되는 복수의 픽셀들을 적어도 하나 이상의 픽셀 속성으로 정의된 좌표 공간 상에 나타냄으로써 제1 픽셀 맵을 획득하고, 상기 제2 이미지에 포함되는 복수의 픽셀들을 상기 적어도 하나 이상의 픽셀 속성으로 정의된 좌표 공간 상에 나타냄으로써 제2 픽셀 맵을 획득하는 단계; 및 상기 제1 픽셀 맵 및 상기 제2 픽셀 맵의 위치적 대응 관계에 기초하여, 상기 제1 이미지의 제1 특성 및 상기 제2 이미지의 제2 특성을 반영하는 제3 이미지를 획득하는 단계; 를 포함하는 이미지 처리 방법이 제공될 수 있다.
상기 적어도 하나의 픽셀 속성으로 정의된 좌표 공간은 픽셀의 색상에 연관되는 제1 속성 및 픽셀의 밝기에 연관되는 제2 속성을 기초로 정의된 2차원 좌표 공간일 수 있다.
상기 제1 특성은 위치에 연관된 특성을 포함하고, 상기 제2 특성은 색상에 연관된 특성을 포함할 수 있다.
상기 제3 이미지를 획득하는 단계는, 상기 제1 이미지에 포함되는 제1 픽셀에 대응되는 상기 제1 픽셀 맵 상의 제1 포인트를 기초로, 상기 제1 포인트의 위치에 대응되는 상기 제2 픽셀 맵 상의 제2 포인트를 결정하는 단계; 상기 제2 포인트에 대응되는 상기 제2 이미지 상에서의 제2 픽셀을 확인하는 단계; 및 상기 제1 픽셀의 제1 특성 및 상기 제2 픽셀의 제2 특성을 반영하는 제3 픽셀을 포함하는 제3 이미지를 획득하는 단계; 를 포함할 수 있다.
상술한 방법은, 상기 제1 이미지를 기초로 제1 스케일의 제1 샘플링 이미지를 획득하고, 상기 제2 이미지를 기초로 상기 제1 스케일의 제2 샘플링 이미지를 획득하는 단계;를 더 포함하고, 이때, 상기 제1 픽셀 맵은 상기 제1 샘플링 이미지의 적어도 일부분에 대응되고, 상기 제2 픽셀 맵은 상기 제2 샘플링 이미지의 적어도 일부분에 대응될 수 있다.
상술한 방법은, 상기 제1 픽셀 맵을 제3 스케일로 정규화(normalization)함으로써 제1 정규화된 픽셀 맵을 획득하고, 상기 제2 픽셀 맵을 제1 스케일로 정규화함으로써 제2 정규화된 픽셀 맵을 획득하는 단계;를 더 포함하고, 상기 제1 정규화된 픽셀 맵 및 상기 제2 정규화된 픽셀 맵의 위치적 대응 관계를 기초로 상기 제1 픽셀 맵 및 상기 제2 픽셀 맵의 위치적 대응 관계를 설정할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 복수의 이미지들을 기초로 가공 이미지를 제공하기 위한 전자 장치에 있어서, 디스플레이; 복수의 인스트럭션들이 저장된 메모리; 및 상기 복수의 인스트럭션들 중 일부를 기초로 동작하는 적어도 하나의 프로세서; 를 포함하고, 상기 적어도 하나의 프로세서는, 제1 이미지 및 제2 이미지를 상기 디스플레이를 이용하여 표시하고, 상기 제1 이미지에 포함되는 복수의 픽셀들을 적어도 하나 이상의 픽셀 속성으로 정의된 좌표 공간 상에 나타냄으로써 제1 픽셀 맵을 획득하고, 상기 제2 이미지에 포함되는 복수의 픽셀들을 상기 적어도 하나 이상의 픽셀 속성으로 정의된 좌표 공간 상에 나타냄으로써 제2 픽셀 맵을 획득하고, 상기 제1 픽셀 맵 및 상기 제2 픽셀 맵의 위치적 대응 관계에 기초하여, 상기 제1 이미지의 제1 특성 및 상기 제2 이미지의 제2 특성을 반영하는 가공 이미지를 상기 디스플레이를 이용하여 표시하도록 설정되는 전자 장치가 제공될 수 있다.
상기 적어도 하나의 프로세서는, 상기 디스플레이를 통해, 상기 가공 이미지의 특정 영역에 대한 사용자 입력을 수신하고, 상기 특정 영역에 대응되는 상기 제1 이미지 상의 제1 영역 및 상기 제2 이미지를 시각적으로 표시하도록 더 설정될 수 있다.
상기 적어도 하나의 프로세서는, 상기 디스플레이를 통해, 상기 제2 이미지의 제3 영역에 대한 사용자 입력을 수신하고, 상기 제3 영역에 대응되는 상기 제1 이미지 상의 적어도 하나의 영역을 확인하고, 상기 제1 이미지 상의 적어도 하나의 영역에 포함되는 적어도 하나의 픽셀의 특성을 상기 제2 이미지의 상기 제3 영역에 포함되는 적어도 하나의 픽셀의 특성을 기초로 조정하도록 더 설정될 수 있다.
상기 적어도 하나의 프로세서는, 상기 제1 이미지가 상기 제3 이미지로 변환되는 시각적 효과를 포함하는 제1 시뮬레이션을 상기 디스플레이를 이용하여 제공하도록 더 설정될 수 있다.
이하 첨부된 도면을 참조하여 본 개시의 동작 원리를 상세히 설명한다. 하기에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1a은, 다양한 실시예들에 따른, 이미지 처리 시스템의 일 실시예를 도시한 도면이다.
도 1a를 참조하면, 일 실시예에 따른 전자 장치(100a)는 프로세서(110a)(예: CPU 또는 GPU 등의 AP)를 이용하여 이미지 처리 프로그램(101a)을 실행하여 이미지 처리 프로세스를 수행할 수 있다. 이때, 전자 장치(100a)는 데스크탑 또는 워크 스테이션 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 스마트폰 또는 PDA, 게임 콘솔, 셋톱 박스 또는 기타 적합한 컴퓨팅 플랫폼과 같은 임의의 독립형 컴퓨팅 플랫폼일 수 있다.
도 1b는, 다양한 실시예들에 따른, 이미지 처리 시스템의 일 실시예를 도시한 도면이다.
도 1b를 참조하면, 일 실시예에 따른 전자 장치(100b)는 클라우드 환경, 데이터 센터, 근거리 통신망("LAN") 등에 함께 배치될 수 있다. 클라이언트(13)는 네트워크를 통해 전자 장치(100b)와 상호 작용할 수 있다. 특히, 클라이언트(13)는 네트워크 및 네트워크 인터페이스(12)를 통해 전송되는 API 서버(11)에서 수신된 API 호출을 통해 요청을 하고 응답을 수신할 수 있다.
네트워크는 인터넷 또는 LAN을 포함하는 임의의 유형의 공용 또는 사설 네트워크를 포함할 수 있음을 이해할 것이다. 네트워크는 인터넷, LAN, WAN 또는 이러한 네트워크의 일부 조합을 포함하는 임의의 유형의 공용 및/또는 사설 네트워크를 포함할 수 있음을 쉽게 이해할 것이다. 이 경우에, 전자 장치(100b)는 서버 컴퓨터이고, 클라이언트(13)는 임의의 전형적인 개인용 컴퓨팅 플랫폼일 수 있다.
도 2는, 다양한 실시예들에 따른, 이미지 처리 프로세스를 수행하는 전자 장치의 구성을 도시한 도면이다.
도 2를 참조하면, 일 실시예에 따른 전자 장치(100)는 프로세서(110), 통신 회로(120), 메모리(130) 및 디스플레이(140)를 포함할 수 있다. 전자 장치(100)의 구성이 도 2에 도시된 구성이나 상술한 구성에 한정되는 것은 아니고, 일반적인 컴퓨팅 장치 또는 모바일 디바이스에 포함되는 하드웨어 또는 소프트웨어 구성을 더 포함할 수 있음은 물론이다.
프로세서(110)는 적어도 일부가 서로 다른 기능을 제공하도록 구현되는 적어도 하나의 프로세서를 포함할 수 있다. 예를 들면, 소프트웨어(예: 프로그램)를 실행하여 프로세서(110)에 연결된 전자 장치(100)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(110)는 다른 구성요소로부터 수신된 명령 또는 데이터를 메모리(130)(예: 휘발성 메모리)에 저장하고, 휘발성 메모리에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. 일 실시예에 따르면, 프로세서(110)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(100)가 메인 프로세서 및 보조 프로세서를 포함하는 경우, 보조 프로세서는 메인 프로세서보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서는 메인 프로세서와 별개로, 또는 그 일부로서 구현될 수 있다. 보조 프로세서는, 예를 들면, 메인 프로세서가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서를 대신하여, 또는 메인 프로세서가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서와 함께, 전자 장치(100)의 구성요소들 중 적어도 하나의 구성요소와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 통신 회로(120))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(100) 자체에서 수행될 수 있고, 별도의 서버를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다. 한편, 이하에서 기술되는 전자 장치(100)의 동작은, 프로세서(110)의 동작으로 이해될 수 있다.
다양한 실시예들에 따르면, 통신 회로(120)는 전자 장치(100)와 외부 전자 장치(예: 도 1a의 서버(10) 또는 클라이언트 장치) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 회로(120)은 프로세서(110)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 회로(120)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(예: 서버(10))와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈은 가입자 식별 모듈에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크 또는 제2 네트워크와 같은 통신 네트워크 내에서 전자 장치(100)를 확인 또는 인증할 수 있다. 무선 통신 모듈은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈은 전자 장치(100), 외부 전자 장치(예: 서버(10)) 또는 네트워크 시스템에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
다양한 실시예들에 따르면, 메모리(130)는 전자 장치(100)의 적어도 하나의 구성요소(예: 프로세서(110))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는 운영 체제, 미들웨어 또는 어플리케이션, 및/또는 전술한 인공지능 모델을 저장하도록 구현될 수 있다.
또한, 메모리(130)는 특정 방식으로 구축된 DB(135, Database)를 포함할 수 있다. 구체적으로, DB(135)는 다양한 형상 이미지들을 미리 저장하도록 구현될 수 있다. 프로세서(110)는 필요시 상기 DB(135)에 접근(access)하여 조건에 부합하는 이미지 데이터를 불러오거나, 이미지 처리 프로세스에 따라 가공된 이미지 데이터를 DB(135)에 저장할 수 있다.
다양한 실시예들에 따르면, 디스플레이(140)는 전자 장치(100)의 외부(예: 사용자)로 정보를 시각적으로 및/또는 청각적으로 제공할 수 있다. 예를 들어, 상기 디스플레이(140)는 다양한 형태의 디스플레이 장치들(예를 들어, 모니터 장치, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로)를 포함할 수 있다. 일 실시예에 따르면, 디스플레이는 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
이하에서는, 전자 장치에 의해 수행되는 다양한 실시예들에 따른 이미지 처리 프로세스에 대해서 설명한다.
도 3은, 다양한 실시예들에 따른, 이미지 처리 장치의 이미지 처리 프로세스를 도시한 도면이다. 여기서, 이미지 처리 장치(100)는 도 1 및 도 2에 도시된 전자 장치를 의미할 수 있다.
도 3을 참조하면, 이미지 처리 장치(300)는 소스 이미지(301)를 획득하고, 소스 이미지(301)를 미리 정해진 방식으로 처리하여 가공 이미지(302)를 획득할 수 있다. 이때, 소스 이미지(301)란, 이미지 처리 프로세스에 입력되는 이미지를 의미할 수 있다. 구체적으로, 소스 이미지(301)는 사용자로부터 최초 입력된 이미지를 의미할 수 있으나, 이에 한정되는 것은 아니고, 이미지 처리 프로세스가 수행되기 위해 입력되는 모든 이미지를 의미하기 위해 용도에 의해 정의된 용어일 수 있다. 또한 가공 이미지(302)란, 이미지 처리 프로세스에 따라 출력되는 이미지를 의미할 수 있고, 이미지 처리 프로세스가 수행되어 출력되는 모든 이미지를 의미하기 위해 용도에 의해 정의된 용어일 수 있다.
[형상 이미지 기반 이미지 처리 방법]
도 4는, 다양한 실시예들에 따른, 형상 이미지 기반의 이미지 처리 방법을 도시한 흐름도이다.
도 4를 참조하면, 전자 장치(또는 전자 장치의 적어도 하나의 프로세서)는 소스 이미지를 획득할 수 있다(S410). 이때, 전자 장치는 사용자로부터 소스 이미지를 수신함으로써 소스 이미지를 획득할 수 있다. 구체적으로, 전자 장치는 클라이언트 장치로부터 이미지가 메모리의 일부분에 입력(예: 업로드)되는 경우, 상기 이미지를 불러옴으로써 소스 이미지를 획득할 수 있다.
전자 장치는 소스 이미지에 기초하여, 소스 이미지에 포함되는 적어도 하나의 단위 영역에 대응되는 적어도 하나의 형상 이미지로 구성되는 가공 이미지를 획득할 수 있다(S420). 본 개시에 정의되는 단위 영역 및 이에 대응되는 형상 이미지에 관한 내용은 도 5를 통해 상세히 설명한다.
도 5는, 다양한 실시예들에 따른, 소스 이미지의 단위 영역에 대응되는 형상 이미지를 설명하기 위한 도면이다.
도 5를 참조하면, 소스 이미지(510)는 복수의 픽셀들(501)을 포함할 수 있다. 이때, 픽셀(501)은 이미지를 구성하는 최소 단위를 의미할 수 있다. 일반적으로 픽셀은 사각 형상을 가지며, 픽셀의 수는 해상도를 나타내고, 픽셀 수가 많을수록 해상도가 높은 이미지이다.
또한, 형상 이미지(520)는 다양한 형상들이 도시되어 있는 이미지일 수 있다. 예를 들어, 형상 이미지(520)는 별 문양 등의 기하학적 형상이 도시된 이미지, 글씨체 등의 의미론적 형상이 도시된 이미지, 또는 추상적인 형상이 도시된 이미지를 모두 포함하는 개념일 수 있다. 또한, 형상 이미지(520)는 전자 장치의 데이터베이스 내에 미리 저장되어 있을 수도 있고, 전자 장치에 의해 수행되는 이미지 생성 프로세스(예를 들어, 생성 모델(generative model)을 이용하여 생성된 이미지 등)에 의해 생성될 수도 있다.
또한, 소스 이미지(510)는 복수의 단위 영역(502)들을 포함할 수 있다. 이때, 단위 영역(502)은 본 개시에서 설명의 편의를 위해 정의된 용어로서, 소스 이미지에서 형상 이미지로 대체(또는 변환)되는 영역을 의미할 수 있다. 예를 들어, 단위 영역(502)은 이미지를 구성하는 단일 픽셀 또는 복수의 픽셀들로 구성된 이미지 상의 특정 영역을 의미할 수 있다. 즉, 상기 단위 영역(502)은 형상 이미지로 변환되기 위하여 소프트웨어적으로 선택된 관심 영역일 수 있다. 구체적으로, 전자 장치는 소스 이미지(510)를 기초로, 소스 이미지(510)에 포함된 적어도 하나의 단위 영역(502)에 대응되는 형상 이미지(520)를 확인할 수 있고, 상기 단위 영역(502)을 상기 형상 이미지(520)로 대체하거나, 변환함으로써 가공 이미지(530)를 획득할 수 있다.
도 6은, 다양한 실시예들에 따른, 전자 장치가 소스 이미지의 단위 영역을 형상 이미지로 변환하기 위한 방법을 도시한 흐름도이다.
도 6을 참조하면, 전자 장치는 소스 이미지에 포함된 적어도 하나의 단위 영역을 기초로 적어도 하나의 특성 값을 획득할 수 있다(S610). 여기서, 특성 값은 이미지의 특성을 값으로 나타낸 것일 수 있다. 예를 들어, 적어도 하나의 특성 값은 상기 적어도 하나의 단위 영역에 포함되는 픽셀들의 색상(예: RGB/Hue), 강도(예: Grayscale), 채도(Saturation), 명도(Brightness), 또는 밝기(Luminance) 중 적어도 하나를 나타내는 값일 수 있으나, 이에 한정되지 않는다.
또한, 전자 장치는 상기 적어도 하나의 특성 값에 기초하여, 상기 적어도 하나의 특성 값에 대응되는 제1 형상 이미지 획득할 수 있다(S620). 구체적으로, 전자 장치는 상기 획득된 적어도 하나의 특성 값을 기초로, 상기 적어도 하나의 특성 값에 대응되는 형상 이미지를 데이터베이스에서 불러오거나, 생성함으로써 제1 형상 이미지를 획득할 수 있다. 단위 영역의 특성에 대응되는 형상 이미지를 획득하는 구체적인 방법은 도 7을 통해 설명한다.
도 7은, 다양한 실시예들에 따른, 전자 장치가 단위 영역에 대응되는 형상 이미지를 획득하여 가공 이미지를 획득하는 방법의 일 실시예를 도시한 흐름도이다.
도 8은, 다양한 실시예들에 따른, 전자 장치의 데이터베이스에 저장된 형상 이미지 및 형상 이미지의 특성에 대한 정보를 설명하기 위한 도면이다.
도 7을 참조하면, 전자 장치는 소스 이미지에 포함된 적어도 하나의 단위 영역을 기초로 제1 특성 값을 획득할 수 있다(S710). 단계 S710에 대한 상세한 내용은 상술한 단계 S610의 기술적 내용이 그대로 적용될 수 있으므로 생략하기로 한다.
또한, 전자 장치는 데이터베이스에 저장된 제1 형상 이미지 셋에 기초하여, 상기 제1 특성 값에 대응되는 형상 이미지를 선택함으로써 제1 형상 이미지를 획득할 수 있다(S720).
전자 장치는 복수의 형상 이미지 셋들을 데이터베이스에 미리 저장해둘 수 있다. 이때, 형상 이미지 셋은 동일한 유형의 형상으로 그룹핑되어 저장된 형상 이미지들을 의미할 수 있다.
예를 들어, 도 8을 참조하면, 전자 장치 또는 전자 장치의 데이터베이스(800)는 형상 이미지에 관한 정보(810) 및 형상 이미지의 특성에 관한 정보(850)를 저장할 수 있다. 구체적으로, 전자 장치는 제1 형상 이미지 셋(811) 및 제2 형상 이미지 셋(813)을 포함하는 형상 이미지에 관한 정보(810)를 저장할 수 있다. 이 경우, 제1 형상 이미지 셋(811)은 제1 유형의 형상(예: 별 문양)이 도시된 형상 이미지들을 포함할 수 있고, 제2 형상 이미지 셋(813)은 제2 유형의 형상(예: 한글 문양)이 도시된 형상 이미지들을 포함할 수 있다.
또한, 전자 장치는 제1 형상 이미지 셋의 특성(851) 및 제2 형상 이미지 셋의 특성(853)을 포함하는 형상 이미지의 특성에 관한 정보(850)를 저장할 수 있다. 이 경우, 제1 형상 이미지 셋의 특성(851)은 상기 제1 형상 이미지 셋(811)에 포함된 복수의 형상 이미지들의 특성 값을 나타낼 수 있다. 구체적으로, 제1 형상 이미지 셋의 특성(851)은 상기 제1 형상 이미지 셋(811)에 포함된 N개의 형상 이미지들 각각의 특성 값(Pi)의 분포를 나타내는 제1 특성 분포(851a)를 포함할 수 있으나, 이에 한정되지 않는다. 예를 들어, 제1 형상 이미지 셋의 특성(851)은 제1 형상 이미지 셋(811)에 포함된 N개의 형상 이미지들 각각의 색상 값의 분포를 나타내는 제1 색상 분포를 포함할 수 있다.
다시 도 7에서, 단계S720을 통한 전자 장치의 형상 이미지 획득 동작은 아래의 세부 동작들을 더 포함할 수 있다.
전자 장치는 데이터베이스에 저장된 제1 형상 이미지 셋에 포함되는 적어도 하나의 형상 이미지의 특성을 확인할 수 있다(S721).
예를 들어, 도 8을 참조하면, 전자 장치는 제1 형상 이미지 셋의 특성(851)을 확인할 수 있다. 구체적으로, 전자 장치는 상기 제1 형상 이미지 셋(811)에 포함되는 복수의 형상 이미지들의 특성 값들을 확인할 수 있다.
또한, 다시 도 7을 참조하면, 전자 장치는 특성이 상기 제1 특성 값에 매칭되는 형상 이미지를 결정함으로써 제1 형상 이미지를 획득할 수 있다(S723). 구체적으로, 전자 장치는 소스 이미지의 단위 영역에 대응되는 제1 특성 값과 동일하거나 유사한 특성 값을 가지는 형상 이미지를 선택함으로써 제1 형상 이미지를 획득할 수 있다.
예를 들어, 도 8을 참조하면, 전자 장치는 상기 제1 특성 분포(851a)를 기초로 특성 값이 제1 특성 값을 나타내는 제1 형상 이미지(801)를 선택함으로써 상기 제1 형상 이미지(801)를 획득할 수 있다.
또한, 다시 도 7을 참조하면, 전자 장치는 소스 이미지의 상기 적어도 하나의 단위 영역을 상기 제1 형상 이미지로 변환함으로써 가공 이미지 획득할 수 있다(S730). 예를 들어, 전자 장치는 소스 이미지의 제1 단위 영역을 제1 형상 이미지로 변환하고, 제2 단위 영역을 제2 형상 이미지로 변환함으로써 가공 이미지를 획득할 수 있다. 이 경우, 상기 제1 형상 이미지 및 상기 제2 형상 이미지는 각각 상기 제1 단위 영역의 특성 및 제2 단위 영역의 특성에 대응되는 특성을 가질 수 있다.
도 9는 다양한 실시예들에 따른, 전자 장치가 획득한 가공 이미지에 대한 예시를 도시한 도면이다.
도 9를 참조하면, 전자 장치가 도 7에 따른 동작에 따라 획득한 가공 이미지(810)는 복수의 형상 이미지들을 포함할 수 있다. 구체적으로, 가공 이미지의 제1 영역(815)은 복수의 형상 이미지들을 포함할 수 있다. 이때, 상기 가공 이미지의 제1 영역(815)은 소스 이미지의 단위 영역에 대응되는 영역일 수 있다. 즉, 소스 이미지의 단위 영역이 복수의 형상 이미지들로 변환됨에 따라 상기 가공 이미지의 제1 영역(815)이 복수의 형상 이미지들(820)을 포함하도록 구현될 수 있다. 또한, 상기 복수의 형상 이미지들(820)은 상기 가공 이미지의 제1 영역(815)에 포함되는 복수의 픽셀들 각각에 대응되도록 구현될 수 있다. 예를 들어, 전자 장치는 상기 가공 이미지의 제1 영역(815)에 포함되는 제1 픽셀(821)에 제1 형상 이미지(830)가 대응되도록 상기 가공 이미지(810)를 획득할 수 있으나, 이에 한정되지 않는다.
전자 장치는 소스 이미지의 특정 영역(단위 영역)에 포함되는 적어도 하나의 픽셀의 특성(색상(예: RGB/Hue), 강도(예: Grayscale), 채도(Saturation), 명도(Brightness), 또는 밝기(Luminance))을 확인하고, 상기 특정 영역을 해당 특성에 대응되는 특성을 가지는 형상 이미지로 변환하더라도 전체적인 이미지의 형태는 유지할 수 있다. 이로 인해, 사용자가 소스 이미지의 픽셀을 확대하거나 축소하였을 때 형상 이미지 기반의 이미지 처리 프로세스로 사용자에게 새로운 경험을 제공할 수 있는 것이다.
도 10은, 다양한 실시예들에 따른, 전자 장치가 단위 영역에 대응되는 형상 이미지를 획득하여 가공 이미지를 획득하는 방법의 다른 일 실시예를 도시한 흐름도이다.
도 10을 참조하면, 전자 장치는 소스 이미지에 포함된 적어도 하나의 단위 영역을 기초로 제1 특성 값을 획득할 수 있다(S1010). 단계 S1010에 대한 상세한 내용은 상술한 단계 S710의 기술적 내용이 그대로 적용될 수 있으므로 생략하기로 한다.
또한, 전자 장치는 사용자로부터 복수의 형상 이미지들을 포함하는 제1 형상 이미지 셋을 수신할 수 있다(S1020). 구체적으로, 소스 이미지의 상기 적어도 하나의 단위 영역을 소정의 형상 이미지로 대체하기 위해, 전자 장치는 사용자로부터 형상 이미지 셋을 수신할 수 있다.
이때, 전자 장치는 제1 형상 이미지 셋을 기초로 복수의 형상 이미지들에 대응되는 제1 특성 정보를 획득할 수 있다(S1030). 구체적으로, 전자 장치는 상기 소스 이미지의 적어도 하나의 단위 영역의 특성에 대응되는 형상 이미지를 결정하기 위해, 제1 형상 이미지 셋을 기초로 복수의 형상 이미지들에 대응되는 제1 특성 정보를 획득할 수 있다. 이때, 상기 제1 특성 정보는, 상기 복수의 형상 이미지들 각각의 특성 값의 분포를 나타낼 수 있다.
또한, 전자 장치는 제1 특성 값 및 제1 특성 정보를 기초로, 상기 제1 특성 값에 매칭되는 형상 이미지를 결정함으로써 적어도 하나의 단위 영역에 대응되는 제1 형상 이미지를 획득할 수 있다(S1040). 구체적으로, 전자 장치는 상기 제1 특성 정보에 포함된 상기 복수의 형상 이미지들의 특성 값들 중, 상기 제1 특성 값에 대응되는 특성 값을 추출할 수 있고, 상기 추출 값을 가지는 형상 이미지를 선택함으로써 상기 제1 형상 이미지를 획득할 수 있다.
또한, 전자 장치는 상기 적어도 하나의 단위 영역을 상기 제1 형상 이미지로 변환함으로써 가공 이미지 획득할 수 있다(S1050).
사용자가 선호하는 형상으로 소스 이미지를 변환하기 위해, 전자 장치는 사용자로부터 직접 형상 이미지 셋을 입력받을 수 있고, 입력받은 형상 이미지 셋의 특성을 소스 이미지의 특성과 비교함으로써 소스 이미지의 일부가 사용자로부터 입력된 형상들 중 일부로 변환된 가공 이미지를 제공할 수 있는 것이다.
도 11은, 다양한 실시예들에 따른, 전자 장치가 단위 영역에 대응되는 형상 이미지를 획득하여 가공 이미지를 획득하는 방법의 또 다른 일 실시예를 도시한 흐름도이다.
도 11을 참조하면, 전자 장치는 소스 이미지에 포함된 적어도 하나의 단위 영역을 기초로 제1 특성 값을 획득할 수 있다(S1110). 단계 S1110에 대한 상세한 내용은 상술한 단계 S710의 기술적 내용이 그대로 적용될 수 있으므로 생략하기로 한다.
또한, 전자 장치는 제1 특성 값을 기초로 이미지 생성 모델에 연관되는 제1 생성 파라미터 획득할 수 있다(S1120). 이때, 상기 제1 생성 파라미터는 형상 이미지를 생성하는 데에 필요한 데이터를 의미할 수 있다. 또한, 상기 제1 생성 파라미터의 종류는 하술할 이미지 생성 모델에 따라 결정될 수 있다. 예를 들어, 상기 제1 생성 파라미터는 형상의 색상(예: RGB/Hue), 강도(예: Grayscale), 채도(Saturation), 명도(Brightness), 또는 밝기(Luminance) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 제1 생성 파라미터는 형상의 유형을 기초로 정의될 수 있다. 구체적으로, 제1 생성 파라미터는 형상의 유형에 따라 상이할 수 있다. 예를 들어, 별 형상의 형상 이미지를 생성하기 위한 생성 파라미터는, 별 형상에서 꼭지점의 개수, 각 엣지의 길이(또는 깊이) 또는 채색 여부 등을 포함할 수 있다.
또한, 전자 장치는 이미지 생성 모델을 이용하여, 상기 제1 생성 파라미터를 기초로 적어도 하나의 단위 영역에 대응되는 제1 형상 이미지를 생성할 수 있다(S1130). 이때, 상기 이미지 생성 모델은 특정 인풋을 수신하여 소정의 특징을 가지는 이미지 데이터를 출력하는 전자적 구성일 수 있다. 예를 들어, 이미지 생성 모델은 생성 모델(generative model)로 구축된 생성 모델, CG 기반의 이미지 생성 툴 등을 포함할 수 있으나, 이에 한정되지 않는다.
이때, 생성 모델(generative model)은 지도적 생성 모델 및 비지도적 생성 모델을 모두 포함하는 개념일 수 있다. 구체적으로, 전자 장치는 선형판별분석법(LDA), 이차판별분석법(QDA) 등의 지도적 생성 모델 및 커널 밀도 추정(Kernel Density Estimation)과 같은 통계적 생성 모델, 확률분포를 직접 구하기 위한 Pixel RNN, 확률 분포를 추정하기 위한 VAE(Variational Auto-Encoder), 데이터 분포와 관계없이 생성하는 GAN(Generative adversarial Network) 과 같은 딥러닝을 이용한 생성 모델 등의 비지도적 생성 모델 중 적어도 하나를 기초로 구축된 이미지 생성 모델을 이용하여 형상 이미지를 생성할 수 있으나, 이에 한정되지 않는다.
이미지 생성 모델을 이용하여 형상 이미지를 생성하는 동작 S1130은 아래의 세부 동작을 더 포함할 수 있다.
전자 장치는 상기 제1 생성 파라미터를 기초로 형상적 특징을 획득할 수 있다(S1131). 여기서, 형상적 특징은 형상을 구성하는 적어도 하나의 속성에 연관되는 특징(feature)를 의미할 수 있다. 예를 들어, 형상적 특징은, 색상(예: RGB/Hue), 강도(예: Grayscale), 채도(Saturation), 명도(Brightness), 또는 밝기(Luminance)와 같은 형상에 독립된 특징 뿐만 아니라 형상의 꼭짓점의 개수, 형상의 곡률, 형상의 크기, 형상의 구성 등 형상에 의존적인 특징을 의미할 수 있다.
또한, 전자 장치는 상기 형상적 특징을 반영하는 제1 형상 이미지를 생성할 수 있다(S1133).
구체적으로, 전자 장치는 이미지 생성 모델의 적어도 일부(예: 필터링 layer, feature 추출 layer 등)를 이용하여, 상기 제1 생성 파라미터에 기초하여, 꼭지점이 형성되는 위치 및/또는 개수, 형상의 개괄적인 외관, 형상의 곡률 등의 형상적 특징을 추출할 수 있다.
또한, 선택적으로, 대안적으로 혹은 연속적으로, 전자 장치는 사용자 입력에 기반하여 제2 생성 파라미터를 획득할 수 있다(S1140). 이때, 상기 제2 생성 파라미터는, 상기 형상에 의존적인 특징 뿐만 아니라, 색상(예: RGB/Hue), 강도(예: Grayscale), 채도(Saturation), 명도(Brightness), 또는 밝기(Luminance)와 같은 형상에 독립된 특징 또한 포함할 수 있다. 예를 들어, 사용자로부터 입력되는 제2 생성 파라미터는 형상의 유형, 형상의 특징 또는 생성하려는 형상과 유사한 레퍼런스 이미지 등을 포함할 수 있으나, 이에 한정되지 않는다. 또한, 나아가, 상기 제2 생성 파라미터는 추상적 정보(예: 분위기, 느낌 등)도 포함할 수 있고, 이 경우, 전자 장치는 상기 제2 생성 파라미터를 소정의 방식으로 처리하여(예: 자연어 처리 등) 추상적 정보에 대응되는 특징을 추출할 수 있다.
또한, 제2 생성 파라미터는 생성하려는 형상의 유형(category)에 대한 정보를 포함할 수 있다. 이 경우, 전자 장치는 형상의 유형(category)에 기초하여, 형상적 특징을 추출할 수 있다. 구체적으로, 전자 장치는 생성하려는 형상의 유형에 따라, 제1 유형의 형상(예: 별 형상)을 생성하려는 경우, 제1 형상적 특징(예: 꼭지점의 개수, 곡률 등)을 추출할 수 있고, 제2 유형의 형상(예: 한글 형상)을 생성하려는 경우, 제2 형상적 특징(폰트, 받침 유무 등)을 추출할 수 있다.
또한, 선택적으로, 대안적으로 혹은 연속적으로, 전자 장치는 레퍼런스 데이터를 획득할 수 있다(S1150). 이때, 상기 레퍼런스 데이터는 생성하려는 이미지에 대한 레퍼런스 이미지, 생성하려는 이미지의 유형을 나타내는 텍스트, 생성하려는 이미지의 정확도를 높이기 위한 판별하기 위한 이미지(예: GAN 모델에 이용되는 비교 데이터) 등을 포함할 수 있으나, 이에 한정되지 않는다. 이 경우, 전자 장치는 상기 레퍼런스 데이터를 기초로 레퍼런스 데이터의 특성을 추출할 수 있다. 예를 들어, 레퍼런스 데이터는 레퍼런스 데이터에 포함된 텍스트를 자연어 처리를 기초로 처리하여 형상적 특징을 추출할 수 있다.
이처럼 전자 장치는 형상적 특징들을 반영하여 제1 형상 이미지를 생성할 수 있고, 이 경우, 전자 장치는 이미지 생성 모델에 의해 생성된 이미지와 실제 이미지와의 유사도가 최소가 되도록 이미지 생성 모델을 훈련시킬 수 있다.
도 12는, 다양한 실시예들에 따른, 전자 장치가 이미지 생성 모델을 이용하여 형상 이미지를 생성하는 예시를 도시한 도면이다.
도 12를 참조하면, 전자 장치는 소스 이미지를 이미지 생성 모델(1200)에 입력하고, 소스 이미지를 기초로 형상 이미지를 생성할 수 있다.
구체적으로, 이미지 생성 모델(1200)은 소스 이미지의 단위 영역(1210)의 특성을 기초로, 제1 생성 파라미터(형상의 색상, 밝기, 강도, 채도 등)를 획득할 수 있다. 또한, 이 경우, 전자 장치는 사용자 입력을 기초로 제2 생성 파라미터(형상의 유형, 곡률 등)를 획득할 수 있다. 또한, 이미지 생성 모델(1200)은 상기 제1 생성 파라미터 및 상기 제2 생성 파라미터를 기초로 적어도 하나의 형상적 특징(1230)을 추출할 수 있다. 또한, 이미지 생성 모델(1200)은 상기 적어도 하나의 형상적 특징(1230)을 기초로, 상기 형상적 특징을 반영하는 제1 형상 이미지(1250)를 생성할 수 있다.
도 13은, 다양한 실시예들에 따른, 전자 장치가 단위 영역에 대응되는 복수의 형상 이미지들을 획득하여 가공 이미지를 획득하는 방법의 일 실시예를 도시한 흐름도이다.
도 13을 참조하면, 전자 장치는 소스 이미지에 포함된 적어도 하나의 단위 영역을 기초로 제1 특성 값을 획득할 수 있다(S1310). 단계 S1310에 대한 상세한 내용은 상술한 단계 S710의 기술적 내용이 그대로 적용될 수 있으므로 생략하기로 한다.
또한, 전자 장치는 복수의 형상 이미지들을 포함하는 제1 형상 이미지 셋을 획득할 수 있다(S1320). 이때, 제1 형상 이미지 셋은 데이터베이스에 미리 저장된 데이터일 수도 있고, 사용자로부터 입력된 데이터일 수도 있고, 이미지 생성 모델에 의해 생성된 데이터일 수도 있다.
또한, 전자 장치는 제1 형상 이미지 셋에 기초하여, 상기 제1 특성 값에 대응되는 특성을 가지는 적어도 두 개의 형상 이미지들을 결정할 수 있다(S1330). 이때, 형상 이미지의 특성에 관한 기술적 내용은 상술한 바 있으므로 생략하기로 한다. 이 경우, 전자 장치는 단위 영역의 특성 값과 형상 이미지 특성의 대응 관계를 1:1 대응 관계가 아닌 1:n 대응관계로 정의됨에 따라 제1 특성 값에 대응되는 적어도 두 개의 형상 이미지들을 결정할 수 있다. 예를 들어, 전자 장치는 상기 획득된 제1 특성 값을 기초로 정의된 제1 특성 값 범위 내에 매칭되는 특성을 가지는 적어도 두 개의 형상 이미지들을 결정할 수 있다.
또한, 전자 장치는 상기 적어도 두 개의 형상 이미지들을 기초로 제1 형상 이미지를 획득할 수 있다(S1340). 이때, 전자 장치는 상기 적어도 두 개의 형상 이미지들 중 상기 제1 특성 값과 가장 가까운 특성을 가지는 형상 이미지를 선택함으로써 제1 형상 이미지를 획득할 수 있다. 이에 한정되지 않고, 전자 장치는 상기 적어도 두 개의 형상 이미지들의 특성들의 평균 값을 기초로 형상 이미지를 생성함으로써 제1 형상 이미지를 획득할 수 있다. 또한, 이에 한정되지 않고, 전자 장치는 상기 적어도 두 개의 형상 이미지들 중 하나를 임의로 선택함으로써 제1 형상 이미지를 획득할 수 있다.
또한, 전자 장치는 상기 적어도 하나의 단위 영역을 상기 제1 형상 이미지로 변환함으로써 가공 이미지 획득할 수 있다(S1350). 단계 S1350에 대한 상세한 내용은 상술한 단계 S730의 기술적 내용이 그대로 적용될 수 있으므로 생략하기로 한다.
도 14는, 다양한 실시예들에 따른, 전자 장치가 단위 영역에 대응되는 복수의 형상 이미지들을 획득하여 가공 이미지를 획득하는 방법의 다른 일 실시예를 도시한 흐름도이다.
도 15는, 다양한 실시예들에 따른, 전자 장치가 단위 영역에 대응되는 복수의 형상 이미지들을 획득하여 가공 이미지를 획득하는 방법의 예시를 도시한 도면이다.
도 14를 참조하면, 전자 장치는 소스 이미지에 포함된 적어도 하나의 단위 영역을 기초로 복수의 특성 값들을 획득할 수 있다(S1410). 구체적으로, 전자 장치는 소스 이미지의 단위 영역에 대한 둘 이상의 특성 값들(예: 색상 값 및 밝기 값, 색상 값 및 강도 값, 또는 색상 중 R 값, G 값 및 B 값 등)을 획득할 수 있다.
예를 들어, 도 15를 참조하면, 전자 장치는 소스 이미지(1510)의 단위 영역(1501)을 기초로 제1 특성 값, 제2 특성 값 및 제3 특성 값을 획득할 수 있다. 이때, 상기 제1 특성 값은 상기 단위 영역(1501)의 색상 중 R 값을 나타낼 수 있고, 제2 특성 값은 G 값 및 제3 특성 값은 B 값을 나타낼 수 있으나, 이에 한정되지 않는다. 즉, 전자 장치는 상기 소스 이미지(1510)의 단위 영역(1501)으로부터 색상 값을 추출하고, 상기 추출된 색상 값을 구성하는 복수의 색 값들을 단위 영역의 특성으로 결정할 수 있다.
또한, 다시 도 14를 참조하면, 전자 장치는 상기 복수의 특성 값들 각각에 대응되는 복수의 형상 이미지들을 획득할 수 있다(S1420).
예를 들어, 도 15를 참조하면, 전자 장치는 제1 특성 값에 대응되는 특성을 가지는 제1 형상 이미지(1521), 제2 특성 값에 대응되는 특성을 가지는 제2 형상 이미지(1523), 및 제3 특성 값에 대응되는 특성을 가지는 제3 형상 이미지(1523)를 획득할 수 있다.
또한, 다시 도 14를 참조하면, 전자 장치는 상기 복수의 형상 이미지들을 기초로 결과 형상 이미지를 획득할 수 있다(S1430).
이때, 전자 장치는 상기 복수의 형상 이미지들을 미리 정해진 방식에 따라 처리하여 결과 형상 이미지를 획득할 수 있다. 구체적으로, 전자 장치는 표시되는 형상의 유형에 따라 결과 형상 이미지를 획득하는 방법이 상이하도록 구현될 수 있는데, 이에 대한 자세한 내용은 도 16에서 설명한다.
도 16은, 다양한 실시예들에 따른, 전자 장치가 형상 이미지의 유형에 따라 결과 형상 이미지를 획득하는 방법을 도시한 흐름도이다.
도 17은, 다양한 실시예들에 따른, 전자 장치가 단위 영역에 대응되는 복수의 형상 이미지들을 획득하여 가공 이미지를 획득하는 방법의 다른 예시를 도시한 도면이다.
도 16을 참조하면, 동작 S1430에서, 전자 장치는 복수의 형상 이미지들이 포함되는 형상 이미지 셋의 유형을 판단할 수 있다(S1610). 이때, 형상 이미지 셋의 유형은 형상 이미지에 표시된 형상의 종류(category)를 의미할 수 있다. 예를 들어, 형상 이미지 셋의 유형은 별 형상, 한글 형상, 영어 형상, 숫자 형상 등의 다양한 유형들을 포함할 수 있다.
또한, 전자 장치는 상기 형상 이미지 셋이 제1 유형인 경우, 상기 복수의 형상 이미지들에 나타나는 형상들을 겹쳐서 표시함으로써 결과 형상 이미지를 획득할 수 있다(S1620). 이때, 제1 유형의 형상은, 형상을 겹쳐서 표현하더라도 형상의 의미 및 심미감이 유지되거나 강화되는 것으로 판단되는 유형의 형상 유형을 의미할 수 있고, 전자 장치에는 각 형상 별 유형이 미리 분류되어 저장되어 있을 수 있다.
예를 들어, 다시 도 15를 참조하면, 전자 장치는 제1 형상 이미지(1521), 제2 형상 이미지(1523) 및 제3 형상 이미지(1525)가 포함되는 형상 이미지 셋이 제1 유형(예: 별 형상)으로 판단함에 따라, 상기 제1 형상 이미지(1521), 제2 형상 이미지(1523) 및 제3 형상 이미지(1525)에 표시된 형상들을 겹쳐서 표시함으로써 결과 형상 이미지(1530)를 획득할 수 있다. 또한, 이에 한정되지 않고, 전자 장치는 제1 형상 이미지(1521), 제2 형상 이미지(1523) 및 제3 형상 이미지(1525)에 표시된 형상들 중 적어도 두 개의 형상들을 겹쳐서 표시함으로써 결과 형상 이미지를 획득할 수 있다.
또한, 전자 장치는 상기 형상 이미지 셋이 제2 유형인 경우, 상기 복수의 형상 이미지들 중 하나를 선택함으로써 결과 형상 이미지를 획득할 수 있다(S1630). 이때, 제2 유형의 형상은, 형상을 겹쳐서 표현하면, 형상의 의미 및 심미감을 헤치는 것으로 판단되는 유형의 형상 유형을 의미할 수 있고, 전자 장치에는 각 형상 별 유형이 미리 분류되어 저장되어 있을 수 있다.
예를 들어, 도 17을 참조하면, 전자 장치는 소스 이미지(1710)의 단위 영역(1701)을 기초로 제1 특성 값, 제2 특성 값 및 제3 특성 값을 획득할 수 있고, 상기 제1 특성 값에 대응되는 특성을 가지는 제1 형상 이미지(1721), 제2 특성 값에 대응되는 특성을 가지는 제2 형상 이미지(1723) 및 제3 특성 값에 대응되는 특성을 가지는 제3 형상 이미지(1725)를 획득할 수 있다.
이때, 전자 장치는 제1 형상 이미지(1721), 제2 형상 이미지(1723) 및 제3 형상 이미지(1725)가 포함되는 형상 이미지 셋이 제2 유형(예: 한글 형상)으로 판단함에 따라, 상기 1 형상 이미지(1721), 제2 형상 이미지(1723) 및 제3 형상 이미지(1725) 중 하나를 선택함으로써 결과 형상 이미지(1730)를 획득할 수 있다. 도 17에는 제1 형상 이미지(1721)를 결과 형상 이미지(1730)로 결정한 것으로 도시되어 있으나, 이에 한정되는 것은 아니고, 제2 형상 이미지(1723) 또는 제3 형상 이미지(1725)가 결과 형상 이미지로 결정될 수 있음은 물론이다.
아래에서는, 형상 이미지 기반의 이미지 처리 방법이 클라이언트 장치에 의해 수행될 때 제공되는 사용자 인터페이스 및 사용자 시나리오에 대해서 설명한다.
도 18은, 다양한 실시예들에 따른, 전자 장치가 소스 이미지에 대한 확대 입력에 대응하여 이미지 확대 동작을 수행하는 방법을 도시한 흐름도이다.
도 19는, 다양한 실시예들에 따른, 전자 장치가 소스 이미지에 대한 확대 입력에 대응하여 이미지 확대 동작을 수행하는 예시를 도시한 도면이다.
도 18을 참조하면, 전자 장치는 소스 이미지를 디스플레이를 이용하여 표시할 수 있다(S1810). 구체적으로, 전자 장치는, 소스 이미지를 디스플레이의 제1 위치에 표시할 수 있다. 또한, 전자 장치는 소스 이미지의 특정 영역을 확대하는 요청을 수신할 수 있다(S1820).
예를 들어, 도 19를 참조하면, 전자 장치는 디스플레이(1910)를 이용하여 소스 이미지(1920)를 표시할 수 있다. 또한, 전자 장치는 디스플레이의 특정 영역(1915)를 확대하는 입력(1930)을 수신할 수 있다. 이때, 확대하는 입력(1930)은 다양한 방식으로 구현될 수 있다. 구체적으로, 전자 장치는 특정 영역에 대한 미리 정해진 방식의 터치 입력(예: 두 번의 연속된 터치 입력), 특정 영역에 대하여 수신된 복수의 포인팅 입력이 서로 멀어지는 모션(예: 디스플레이 상의 확대 모션), 특정 영역에 대하여 확대 기능이 부여된 클릭 입력 등에 따라 특정 영역(1915)을 확대하는 동작이 수행되도록 구현될 수 있으나, 이에 한정되지 않는다.
또한, 다시 도 18을 참조하면, 전자 장치는 확대 요청의 수신에 대응하여, 상기 특정 영역에 대한 제1 확대 이미지 - 상기 제1 확대 이미지는 특정 영역에 포함되는 적어도 하나의 단위 영역에 대응되는 적어도 하나의 형상 이미지를 포함함-를 디스플레이를 이용하여 표시할 수 있다(S1830).
예를 들어, 도 19를 참조하면, 전자 장치는 특정 영역(1915)의 확대 입력(1930)을 수신하여, 상기 특정 영역에 대한 제1 확대 이미지(1940)를 디스플레이릍 이용하여 표시할 수 있다. 이 경우, 상기 제1 확대 이미지(1940)는 상기 특정 영역(1915)에 포함되는 적어도 하나의 단위 영역에 대응되는 적어도 하나의 형상 이미지(1945)를 포함할 수 있다. 구체적으로, 상기 소스 이미지의 특정 영역(1915)을 구성하는 복수의 픽셀들 각각에 대응하는 복수의 형상 이미지들을 결정할 수 있고, 상기 복수의 픽셀들을 상기 복수의 형상 이미지들로 변환함으로써 상기 제1 확대 이미지(1940)를 획득할 수 있다.
전자 장치는 사용자 입력에 의하여 소스 이미지가 확대되는 경우, 확대 이미지가 미리 정해진 조건을 만족하는지 여부에 따라 형상 이미지로의 변환 여부를 결정할 수 있다. 예를 들어, 전자 장치는, 사용자의 지속적인 확대 입력에 의해, 소스 이미지가 점차적으로 확대되다가, 확대된 이미지가 상기 미리 정해진 조건을 만족하는 경우, 형상 이미지로 변환할 수 있다. 예를 들어, 전자 장치는 확대 이미지에 포함되는 픽셀의 개수가 미리 정해진 개수 이하일 경우, 상기 확대 이미지에 포함되는 적어도 하나의 픽셀을 적어도 하나의 형상 이미지로 변환할 수 있다. 또한, 예를 들어, 전자 장치는 확대 중 사용자로부터 형상 이미지로의 변환 입력이 수신되는 경우, 사용자 입력에 기반하여 상기 확대 이미지에 포함되는 적어도 하나의 픽셀을 적어도 하나의 형상 이미지로 변환할 수 있다. 이 경우, 변환에 이용되는 복수의 형상 이미지들은 전자 장치의 데이터 베이스에 미리 저장되어 있거나, 사용자 입력에 의해 선택된 이미지일 수 있다. 또한, 전자 장치는 사용자로부터 형상 이미지의 변경에 대한 입력이 수신되는 경우, 변환되는 형상 이미지의 유형을 변경하도록 설정될 수 있다.
또한, 전자 장치는, 확대 이미지에 대하여 사용자로부터 축소 입력을 수신하는 경우, 소스 이미지를 다시 표시할 수 있다. 이 경우, 전자 장치는 복수의 형상 이미지들로 변환된 상기 소스 이미지의 특정 영역을 원래 픽셀로 복원하여 표시할 수 있으나, 이에 한정되지 않고, 변환된 형상 이미지들을 그대로 포함하도록 복원하여 표시할 수도 있다. 또한, 이 경우, 전자 장치는 확대 이미지의 소스 이미지 상에서의 위치 정보를(예: 신체 부위 등)를 디스플레이를 이용하여 함께 제공할 수 있다.
도 19에는 사용자의 확대 입력에 기반하여, 디스플레이 화면을 전환하여 확대 이미지를 표시하는 것처럼 도시되어 있으나, 이에 한정되지 않고, 소스 이미지의 특정 영역에 대한 확대 입력이 수신되는 경우, 특정 영역에 적어도 일부가 오버랩되도록 확대 이미지를 표시할 수 있다.
또한, 전자 장치는, 소스 이미지가 확대되면서 소스 이미지의 특정 영역이 복수의 형상 이미지들로 변환되는 동작에 연관된 시각적 효과를 제공할 수 있다. 구체적으로, 전자 장치는 소스 이미지의 특정 영역의 각각의 단위 영역들(예: 픽셀들)이 복수의 형상 이미지들로 변환되는 과정을 시각적으로 나타낸 시각 효과를 제공할 수 있고, 상기 시각 효과의 제공이 종료된 후 상기 복수의 형상 이미지들을 표시할 수 있다.
일 실시예에 따른 전자 장치는 상술한 방식으로 처리되어 이미지의 적어도 일부가 형상 이미지들로 변환된 가공 이미지를 다양한 분야에 활용할 수 있다.
예를 들어, 전자 장치는, 복수의 형상 이미지들을 포함하는 가공 이미지를 기초로 동영상 콘텐츠를 제작하거나, 합성 데이터(synthetic data)로 이용하거나, NFT로 발행할 수 있으나, 이에 한정되지 않는다.
[픽셀 기반 이미지 처리 방법]
일 실시예에 따른 전자 장치는 이미지 처리 프로세스의 일 기능으로서, 픽셀 기반 이미지 처리 기능을 제공할 수 있다. 본 개시에서, 픽셀 기반 이미지 처리는, 이미지에 포함되는 픽셀들의 위치적 특성을 조정함으로써 새로운 시각적 효과를 가지는 픽셀이 재배치된 이미지를 획득하는 이미지 처리 기술로 정의될 수 있다.
도 20은, 다양한 실시예들에 따른, 전자 장치가 픽셀 기반 이미지 처리에 따라 이미지를 프로세싱하는 예시를 도시한 도면이다.
도 20을 참조하면, 전자 장치는 소스 이미지(2001)을 픽셀 기반 이미지 처리 방법을 기초로 처리하여, 가공 이미지(2002)를 획득할 수 있다.
이때, 전자 장치는 소스 이미지(2001)에 포함된 복수의 픽셀들을 미리 결정된 다양한 동작들 중 적어도 하나를 기초로 조정함으로써 상기 가공 이미지(2002)를 획득할 수 있다.
구체적으로, 전자 장치는 미리 결정된 기준에 따라 소스 이미지(2001)에 포함되는 복수의 픽셀들의 위치 분포를 조정함으로써 가공 이미지(2002)를 획득할 수 있다.
예를 들어, 전자 장치는 소스 이미지(2001)에 포함되는 복수의 픽셀들의 위치를 종방향(예: 픽셀 분포 상 y축 방향), 횡방향(예: 픽셀 분포 상 x축 방향), 대각 방향 또는 나선 방향 중 적어도 하나의 방향으로 조정할 수 있으나, 이에 한정되는 것은 아니고, 상기 나열한 방향들 외에도 힐버트 커브/피아노 커브 등에 따른 위치 재정렬, 상기 조정의 반복적 수행(iteration)을 통한 효과 창출 등의 다양한 기준들에 따라 픽셀들의 위치 분포를 조정할 수 있다.
도 21은, 다양한 실시예들에 따른, 전자 장치가 픽셀 기반 이미지 처리 기능을 제공하는 방법을 도시한 흐름도이다.
도 21을 참조하면, 전자 장치는 제1 픽셀 그룹을 포함하는 소스 이미지를 획득할 수 있다(S2110). 여기서, 제1 픽셀 그룹은 소스 이미지에 포함되는 픽셀들 중 픽셀 기반 이미지 처리에 따라 위치가 재설정되는 픽셀들을 의미하지만, 실시예에 따라 소스 이미지를 구성하는 모든 픽셀들을 포함하는 개념으로 이해될 수 있다.
또한, 전자 장치는 상기 제1 픽셀 그룹에 포함된 복수의 픽셀들의 적어도 하나의 특성을 지정된 조건에 따라 재설정함으로써 제2 픽셀 그룹들을 포함하는 가공 이미지를 획득할 수 있다(S2120). 여기서, 픽셀의 적어도 하나의 특성은 픽셀에 부여되는 적어도 하나의 특성 값에 의해 나타날 수 있다. 예를 들어, 픽셀의 적어도 하나의 특성은 적어도 하나의 픽셀 값을 포함할 수 있고, 구체적인 예로, 픽셀의 위치 값(예: (x,y) 좌표), 색상 값(예: RGB 값), 강도 값, 명도 값, 채도 값 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 전자 장치가 다양한 지정된 조건들 중 적어도 하나를 기초로 픽셀의 특성을 재설정하는 구체적인 방법은 하술하기로 한다.
도 22는, 다양한 실시예들에 따른, 전자 장치가 픽셀 기반 이미지 처리 기능을 제공하는 방법의 일 실시예를 도시한 흐름도이다.
도 22를 참조하면, 전자 장치는 제1 픽셀 그룹을 포함하는 소스 이미지를 획득할 수 있다(S2210).
또한, 전자 장치는 상기 제1 픽셀 그룹에 포함되는 각각의 픽셀의 위치와 연관된 특성을 지정된 조건에 따라 재설정함으로써 제2 픽셀 그룹 획득할 수 있다(S2220). 여기서, 픽셀의 위치와 연관된 특성은 픽셀의 위치 값을 포함할 수 있다. 구체적으로, 전자 장치는, 제1 픽셀 그룹에 포함되는 픽셀들 중 적어도 일부의 이미지 상의 위치 좌표를 변경함으로써 제2 픽셀 그룹을 획득할 수 있다. 예를 들어, 전자 장치는 전자 장치는 제1 픽셀 그룹에 포함된 복수의 픽셀들의 위치를 재정렬(또는 재배치)함으로써 제2 픽셀 그룹을 획득할 수 있다.
상기 전자 장치의 동작 S2220은 아래와 같은 세부 동작들을 더 포함할 수 있다.
구체적으로, 전자 장치는 소스 이미지 상의 특정 위치를 기준 위치로 설정할 수 있다(S2220). 이때, 상기 기준 위치는 사용자 입력을 기반으로 설정될 수 있다. 또한, 기준 위치는 한 점(point)에 대응되는 위치, 한 선(line)에 대응되는 위치, 또는 한 면(plane)에 대응되는 위치 등을 포함할 수 있다. 또한, 기준 위치는 기 설정되어 있을 수 있다. 예를 들어, 전자 장치는 소스 이미지 상의 탑(Top) 영역, 이미지 상의 바텀(bottom) 영역, 이미지 상의 중심(center) 영역 이미지 상의 적어도 하나의 가장자리 영역 등을 기준 위치로 설정할 수 있으나, 이에 한정되지 않는다.
또한, 전자 장치는 제1 픽셀 그룹에 포함되는 픽셀들의 위치를 기준 위치를 기초로 지정된 조건에 따라 재배치할 수 있다. 이때, 지정된 조건은 제1 픽셀 그룹에 포함되는 픽셀들의 적어도 하나의 특성을 기초로 설정될 수 있다. 구체적으로, 전자 장치는 제1 픽셀 그룹에 포함되는 픽셀들의 픽셀 값(예를 들어, 색상 값, 강도 값, 명도 값, 채도 값 등)을 기초로 픽셀들의 위치를 조정할 수 있다. 즉, 전자 장치는 제1 픽셀 그룹에 포함되는 픽셀들의 제1 특성 값에 따라 상기 픽셀들의 제2 특성 값을 조정할 수 있다. 예를 들어, 전자 장치는 제1 픽셀 그룹에 포함되는 픽셀들의 강도 값을 기초로 강도 값이 큰 픽셀이 기준 위치에 가까워지도록 픽셀들의 위치를 조정할 수 있으나, 이에 한정되지 않는다.
또한, 전자 장치는 상기 제2 픽셀 그룹을 포함하는 가공 이미지 획득할 수 있다(S2230). 이 경우, 가공 이미지에 포함되는 픽셀들의 색상과 연관된 특성의 분포는 소스 이미지에 포함되는 픽셀들의 색상과 연관된 특성의 분포와 동일할 수 있다. 구체적으로, 상기 가공 이미지에 포함되는 픽셀들의 색상 값의 분포는 소스 이미지에 포함되는 픽셀들의 색상 값의 분포와 동일할 수 있다. 즉, 전자 장치는 소스 이미지에 포함되는 픽셀들의 색상 분포가 유지되도록 가공 이미지를 획득할 수 있다.
이는, 픽셀들의 위치만을 재배치하였기 때문에, 이미지의 색상 분포는 동일하면서도 상이한 시각적 효과를 제공하는 이미지를 획득할 수 있는 것이다.
도 23은, 다양한 실시예들에 따른, 전자 장치가 픽셀 기반 이미지 처리 기능을 제공하는 방법의 다른 일 실시예를 도시한 흐름도이다.
도 23을 참조하면, 전자 장치는 제1 픽셀 그룹을 포함하는 소스 이미지를 획득할 수 있다(S2310).
또한, 전자 장치는 상기 제1 픽셀 그룹에 포함되는 각각의 픽셀의 시각적 특성을 지정된 조건에 따라 재설정함으로써 제2 픽셀 그룹 획득할 수 있다(S2320). 이때, 픽셀의 시각적 특성은 픽셀의 색상, 명도, 채도 또는 강도 등을 포함할 수 있다.
전자 장치의 동작 S2320은 아래의 세부 동작들을 더 포함할 수 있다.
구체적으로, 전자 장치는 제1 픽셀 그룹에 포함되는 픽셀들 중 적어도 하나의 픽셀 쌍(pair)를 지정할 수 있다(S2321). 이때, 전자 장치는 제1 픽셀 그룹에 포함되는 픽셀들 중 적어도 두 개의 픽셀들을 임의적으로 선택함으로써 상기 적어도 하나의 픽셀 쌍을 지정할 수 있다. 또한, 이에 한정되지 않고, 전자 장치는 제1 픽셀 그룹에 포함되는 픽셀들 중 적어도 두 개의 픽셀들을 미리 정해진 규칙에 따라 선택함으로써 상기 적어도 하나의 픽셀 쌍을 지정할 수 있다. 예를 들어, 전자 장치는 제1 픽셀 그룹에 포함된 픽셀들 중 시각적 특성을 반영하는 특성 값(예: 색상 값, 강도 값, 명도 값, 또는 채도 값)의 차이 및 위치의 차이를 고려하여 적어도 하나의 픽셀 쌍을 지정할 수 있다. 일 예로, 전자 장치는 소스 이미지 상에서의 위치의 차이가 크면서 색상 값의 차이가 큰 두 개의 픽셀들을 픽셀 쌍으로 지정할 수 있으나, 이에 한정되지 않는다. 또한, 다른 예로, 전자 장치는 제1 픽셀 그룹에 포함된 픽셀들의 색상 값 및 위치 값을 확인하고, 색상 값이 유사한 픽셀들이 유사한 위치 값을 가지도록 적어도 하나의 픽셀 쌍을 지정할 수 있으나, 이에 한정되지 않는다.
또한, 전자 장치는 상기 적어도 하나의 픽셀 쌍의 색상, 명도, 채도 또는 강도 중 적어도 하나를 상호간에 변경함으로써 제2 픽셀 그룹을 획득할 수 있다(S2323).
또한, 전자 장치는 상기 제2 픽셀 그룹을 포함하는 가공 이미지 획득할 수 있다(S2330). 이 경우, 가공 이미지에 포함되는 픽셀들의 색상과 연관된 특성의 분포는 소스 이미지에 포함되는 픽셀들의 색상과 연관된 특성의 분포와 동일할 수 있다. 구체적으로, 상기 가공 이미지에 포함되는 픽셀들의 색상 값의 분포는 소스 이미지에 포함되는 픽셀들의 색상 값의 분포와 동일할 수 있다. 즉, 전자 장치는 소스 이미지에 포함되는 픽셀들의 색상 분포가 유지되도록 가공 이미지를 획득할 수 있다.
이는, 픽셀들 색상을 다른 픽셀의 색상과 상호 변경하였기 때문에, 전체 이미지의 색상 분포는 동일하면서도 상이한 시각적 효과를 제공하는 이미지를 획득할 수 있는 것이다.
도 24는, 다양한 실시예들에 따른, 전자 장치가 사용자 입력에 따라 이미지의 픽셀들의 특성을 재설정하는 일 실시예를 도시한 흐름도이다.
도 25는, 다양한 실시예들에 따른, 전자 장치가 사용자 입력에 따라 이미지의 픽셀들의 특성을 재설정하는 방법의 일 예시를 도시한 도면이다.
도 24를 참조하면, 전자 장치는 소스 이미지를 디스플레이를 이용하여 표시할 수 있다(S2410). 또한, 전자 장치는 사용자 입력을 수신할 수 있다(S2420). 이때, 상기 사용자 입력은 소스 이미지의 변환에 대한 요청을 포함할 수 있다. 또한, 사용자 입력은, 디스플레이에 대한 입력을 통해 수신될 수 있다. 예를 들어, 전자 장치는 디스플레이에 대한 터치 입력 또는 모션 입력 등을 기초로 사용자 입력을 수신할 수 있다.
예를 들어, 도 25를 참조하면, 전자 장치는 디스플레이(2500)를 이용하여 소스 이미지(2510)를 표시할 수 있다. 또한, 전자 장치는 디스플레이(2500)를 통하여 제1 사용자 입력(2501)을 수신할 수 있다. 이때, 제1 사용자 입력(2501)은 디스플레이(2500)에 표시된 소스 이미지(2510) 상의 특정 위치(2515)에 대한 입력일 수 있다. 예를 들어, 제1 사용자 입력(2501)은 상기 특정 위치(2515)의 양 끝단에 대응되는 적어도 두 지점들 사이에 대한 연속적인 터치 입력, 상기 특정 위치(2515)의 양 끝단에 대응되는 적어도 두 지점들에 대한 터치 입력, 또는 상기 특정 위치(2515)의 양 끝단에 대응되는 적어도 두 지점들에 대응되는 모션 입력 등을 포함할 수 있으나, 이에 한정되지 않고, 상기 특정 위치(2515)를 지정할 수 있는 사용자 입력의 일반적인 동작을 포함할 수 있다.
또한, 다시 도 24를 참조하면, 전자 장치는 사용자 입력을 기초로 소스 이미지 상의 특정 위치를 기준 위치로 설정할 수 있다(S2430). 구체적으로, 전자 장치는 디스플레이에 표시된 소스 이미지 상의 특정 위치에 연관되는 사용자 입력을 수신할 수 있고, 상기 사용자 입력의 수신을 기초로 상기 특정 위치를 기준 위치로 설정할 수 있다.
또한, 전자 장치는 상기 소스 이미지에 포함되는 복수의 픽셀들을 상기 기준 위치를 기초로 재배치할 수 있다(S2540). 이 경우, 전자 장치는 픽셀의 위치가 재배치되는 과정에 대한 시각적 효과를 제공할 수 있다. 예를 들어, 전자 장치는 기준 위치를 기초로 픽셀이 이동되는 시뮬레이션을 디스플레이를 통해 제공할 수 있다. 구체적으로, 전자 장치는 소스 이미지에 포함되는 픽셀들이 이동되는 장면을 시뮬레이션으로 디스플레이를 통해 재생함으로써 시각적 효과를 제공할 수 있다. 이때, 시뮬레이션은 이미지 처리 알고리즘이 수행됨에 따라 발생되는 변화를 실시간으로 시각화한 연속적인 프레임일 수 있으나, 이에 한정되지 않고, 미리 저장된 복수의 동영상들 중 수행되는 이미지 처리 알고리즘을 기초로 선택되는 동영상 콘텐츠일 수도 있다.
또한, 전자 장치는 가공 이미지를 디스플레이를 이용하여 표시할 수 있다(S2450)
예를 들어, 도 25를 참조하면, 전자 장치는 제1 사용자 입력(2515)을 기초로 지정된 특정 위치(2501)를 기준 위치(2520)로 설정할 수 있다. 이때, 기준 위치(2520)는 소스 이미지(2510)에 포함되는 픽셀들의 위치를 재정렬하기 위한 기준이 되는 위치일 수 있다.
이때, 전자 장치는 소스 이미지(2510)에 포함되는 픽셀들을 기준 위치(2520)를 기초로 재배치하되, 픽셀들의 시각적 특성에 의존하여 재배치되는 방향 및/또는 위치를 결정할 수 있다. 구체적으로, 전자 장치는 소스 이미지(2510)에 포함되는 픽셀들의 시각적 특성에 연관되는 픽셀 값(예: 색상 값, 강도 값, 채도 값, 명도 값 등)가 큰 픽셀이 기준 위치에 가까워지도록 재배치할 수 있으나, 이에 한정되지 않는다.
또한, 전자 장치는 소스 이미지(2510)에 포함되는 픽셀들이 이동되는 장면을 나타내는 제1 시뮬레이션(2530)을 디스플레이(2500)를 통해 제공할 수 있다. 이때, 상기 제1 시뮬레이션(2530)은 픽셀들의 이미지 상에서의 이동을 묘사한 동영상 콘텐츠일 수 있으나, 이에 한정되지 않는다.
또한, 전자 장치는 픽셀들이 재배치된 가공 이미지(2540)를 디스플레이(2500)를 이용하여 표시할 수 있다.
도 26은, 다양한 실시예들에 따른, 전자 장치가 사용자 입력에 따라 이미지의 픽셀들의 특성을 재설정하는 다른 일 실시예를 도시한 흐름도이다.
도 27은, 다양한 실시예들에 따른, 전자 장치가 사용자 입력에 따라 이미지의 픽셀들의 특성을 재설정하는 방법의 다른 일 예시를 도시한 도면이다.
도 26을 참조하면, 전자 장치는 제1 픽셀 그룹을 포함하는 소스 이미지를 디스플레이를 이용하여 표시할 수 있다(S2610).
또한, 전자 장치는 사용자 단말의 모션이 감지되는 경우, 상기 단말의 모션에 대응되는 방향으로 상기 제1 픽셀 그룹이 이동하는 시각적 효과를 나타내는 제1 시뮬레이션 송출할 수 있다(S2620). 이때, 전자 장치는 사용자 단말(예: 모바일 폰 등)에 포함되는 적어도 하나의 프로세서를 포함할 수 있다. 구체적으로, 전자 장치는 사용자 단말에 포함되는 적어도 하나의 센서(예: 관성 센서 등 모션 감지 센서)를 이용하여 단말의 모션을 감지할 수 있다. 이 경우, 전자 장치는 적어도 하나의 센서를 이용하여 상기 사용자 단말의 모션에 대응되는 방향을 판단할 수 있다.
이에 따라, 전자 장치는 상기 사용자 단말의 모션에 대응되는 방향을 기초로 제1 픽셀 그룹에 포함되는 픽셀들의 위치를 재설정할 수 있다. 구체적으로, 전자 장치는 사용자 단말의 모션에 대응되는 방향을 따라, 제1 픽셀 그룹에 포함되는 픽셀들이 픽셀의 시각적 특성에 연관되는 픽셀 값(예: 색상 값, 강도 값, 명도 값, 또는 채도 값 등)이 정렬되도록 픽셀들의 위치를 재배치할 수 있다. 예를 들어, 전자 장치는 제1 픽셀 그룹에 포함된 픽셀들이 사용자 단말의 모션에 대응되는 방향을 따라 색상 값의 크기 순서로 정렬되도록 픽셀들을 이동시킬 수 있으나, 이에 한정되지 않는다.
이 경우, 전자 장치는 제1 픽셀 그룹에 포함되는 픽셀들이 지정된 기준에 따라 이동되는 과정을 시각적 효과를 통해 묘사한 제1 시뮬레이션을 디스플레이를 통해 송출할 수 있다. 이때, 제1 시뮬레이션은 픽셀들의 이미지 상에서의 이동을 묘사한 동영상 콘텐츠일 수 있으나, 이에 한정되지 않는다.
또한, 이 경우, 전자 장치는, 제1 픽셀 그룹에 포함되는 픽셀들이 이동된 결과를 나타내는 가공 이미지를 디스플레이를 이용하여 표시할 수 있다. 구체적으로, 전자 장치는 제1 픽셀 그룹을 기초로 제2 픽셀 그룹을 획득함으로써 가공 이미지를 획득할 수 있다. 이때, 가공 이미지는 제1 픽셀 그룹과 시각적 특성의 분포(예: 색상 분포)가 동일하되 위치적 특성의 분포(예: 위치 분포) 상이한 제2 픽셀 그룹을 포함할 수 있다.
또한, 전자 장치는 상기 제1 시뮬레이션 송출 중, 사용자 단말의 모션이 감지되지 않는 경우, 상기 제1 픽셀 그룹을 초기 위치로 복원시키는 시각적 효과를 나타내는 제2 시뮬레이션 송출할 수 있다(S2630). 이때, 전자 장치는 사용자 단말에 포함되는 적어도 하나의 센서(예: 관성 센서 등 모션 감지 센서)를 이용하여 단말의 모션이 중지되었음을 감지할 수 있다. 이 경우, 전자 장치는 위치 이동된 픽셀들(또는 위치 이동 중인 픽셀들)을 소스 이미지 상의 초기 위치로 복원할 수 있다. 전자 장치가 픽셀들의 위치를 복원하는 세부 알고리즘은 단말의 모션에 따른 픽셀들의 이동 알고리즘을 기초로 설정될 수 있다. 즉, 전자 장치의 픽셀 위치 복원 알고리즘은 이동 알고리즘에 따라 재설정된 위치를 이전 위치로 복원하도록 설정될 수 있다.
또한, 이 경우, 전자 장치는 픽셀들이 초기 위치로 복원하는 장면을 시각적 효과로 묘사한 제2 시뮬레이션을 디스플레이를 통해 송출할 수 있다.
예를 들어, 도 27을 참조하면, 전자 장치는 소스 이미지(2710)를 디스플레이(2700)를 통해 표시할 수 있다. 전자 장치(예: 프로세서)는 사용자 단말의 모션(2701)이 감지되는 경우, 상기 사용자 모션의 방향에 대응되는 제1 시뮬레이션(2720)을 디스플레이(2700)를 통해 송출할 수 있다. 이때, 제1 시뮬레이션은 소스 이미지(2710)에 포함되는 복수의 픽셀들이 이동하는 과정을 시각적으로 나타내는 동영상 콘텐츠일 수 있으나, 이에 한정되지 않는다.
또한, 전자 장치는 사용자 단말 모션 방향에 따른 상기 소스 이미지(2710)에 포함되는 픽셀들의 재배치가 완료된 경우, 픽셀들의 위치가 재배치된 가공 이미지(2740)를 디스플레이(2700)를 통해 표시할 수 있다. 이 경우, 전자 장치는 동일한 방향으로의 단말의 모션이 지속되는 경우에도 픽셀의 재배치 동작을 수행하지 않을 수 있다. 즉, 전자 장치는 단말의 모션에 따른 소스 이미지 상의 픽셀의 재정렬이 종료되는 경우, 사용자 단말의 모션 여부와 관계없이 제1 시뮬레이션(2720)의 송출을 종료할 수 있다. 다만, 사용자 단말의 모션 방향이 변경되는 경우, 변경된 방향에 따라 소스 이미지(2710)에 포함되는 픽셀들의 재배치를 다시 수행할 수 있다. 이 경우, 전자 장치는 상기 변경된 방향에 따라 픽셀들이 이동하는 과정을 시각적 효과로 묘사한 시뮬레이션을 송출할 수 있다.
전자 장치는 제1 시뮬레이션(2720) 송출하거나 가공 이미지(2740)를 표시하던 중 사용자 단말의 모션이 감지되지 않는 경우(즉, 사용자 단말의 모션이 중단된 경우), 제1 픽셀 그룹을 초기 위치로 복원시키도록 픽셀들의 위치적 특성을 조정할 수 있고, 동시에 픽셀들이 초기 위치로 복원하는 시각적 효과를 나타내는 제2 시뮬레이션(2730)을 디스플레이(2700)를 통해 송출할 수 있다. 또한, 이에 한정되지 않고, 상기 제1 시뮬레이션(2720)을 송출하거나 가공 이미지(2740)를 표시하던 중, 픽셀의 복원을 요청하는 사용자 입력을 수신하는 경우, 제1 픽셀 그룹을 초기 위치로 복원시키도록 픽셀들의 위치적 특성을 조정할 수 있고, 동시에 픽셀들이 초기 위치로 복원하는 시각적 효과를 나타내는 제2 시뮬레이션(2730)을 디스플레이(2700)를 통해 송출할 수 있다. 또한, 전자 장치는 픽셀들의 위치 복원 동작이 완료된 경우, 소스 이미지(2710)를 디스플레이(2700)를 통해 다시 표시할 수 있다.
도 28은, 다양한 실시예들에 따른, 픽셀 맵을 활용한 이미지 변환 방법을 도시한 흐름도이다.
도 29는, 다양한 실시예들에 따른 픽셀 맵을 활용한 이미지 변환 방법의 예시를 도시한 도면이다.
도 28을 참조하면, 전자 장치는 소스 이미지에 포함된 복수의 픽셀들의 위치가 재설정된 제1 픽셀 맵(pixel map) 획득할 수 있다(S2810). 이때, 픽셀 맵은 상술한 도 21 내지 도 23에 따라 소스 이미지에 포함되는 픽셀의 특성이 재설정된 이미지 또는 맵으로 정의될 수 있다. 예를 들어, 제1 픽셀 맵은 이미지 내에서의 위치에 따른 색상 값의 분포로 나타날 수 있으나, 이에 한정되지 않고, 픽셀들의 색상(Hue)에 따른 명도(Brightness) 분포로 나타나는 등, 픽셀들의 위치적 및/또는 시각적 특성들의 분포를 나타내는 개념일 수 있다.
전자 장치는 소스 이미지에 포함된 복수의 픽셀들을 기초로, 시각적 특성에 연관되는 픽셀 값(예: 색상 값, 강도 값, 명도 값 또는 채도 값 등)의 분포가 드러나도록 픽셀들을 정렬함으로써 제1 픽셀 맵을 획득할 수 있다.
또한, 전자 장치는 사용자 입력을 기초로, 상기 제1 픽셀 맵의 적어도 일부가 조정된 제2 픽셀 맵을 확인할 수 있다(S2820). 또한, 전자 장치는 상기 제2 픽셀 맵을 기초로 가공된 소스 이미지를 획득할 수 있다(S2830). 이때, 가공된 소스 이미지는 소스 이미지에 포함되는 픽셀들 중 적어도 일부의 픽셀들의 특성이 변형된 이미지를 의미할 수 있다. 이 경우, 전자 장치는 소스 이미지와 위치적 특성은 상이하지만, 시각적 특성은 동일한 가공된 소스 이미지를 획득하거나, 위치적 특성 및 시각적 특성이 모두 상이한 가공된 소스 이미지를 획득할 수 있다.
예를 들어, 도 29를 참조하면, 전자 장치는 소스 이미지(2910)에 포함되는 픽셀들을 지정된 조건에 따라 재정렬한 제1 픽셀 맵(2920)을 획득할 수 있다. 이 경우, 전자 장치는 상기 제1 픽셀 맵(2920)에 대하여 수신된 사용자 입력을 기초로 상기 제1 픽셀 맵(2920)에 포함되는 적어도 일부의 픽셀들의 특성이 변경된 제2 픽셀 맵(2930)을 확인할 수 있다. 이때, 상기 제2 픽셀 맵(2930)은 상기 제1 픽셀 맵(2920)에 포함되는 적어도 일부의 픽셀들의 시각적 특성이 변경된 픽셀 맵 일 수 있으나, 이에 한정되지 않는다.
또한, 전자 장치는 상기 제2 픽셀 맵(2930)을 기초로 가공된 소스 이미지(2940)를 획득할 수 있다. 구체적으로, 전자 장치는 상기 제2 픽셀 맵(2930)에 포함되는 복수의 픽셀들의 위치 분포를 복원함으로써 가공된 소스 이미지(2940)를 획득할 수 있다. 전자 장치는 소스 이미지(2910)가 제1 픽셀 맵(2920)으로 변환됨에 따라 발생한 픽셀들의 위치 변화에 대응하여(예: 상기 위치 변화에 대한 역 방향으로) 제2 픽셀 맵(2930)을 가공된 소스 이미지(2940)로 변환할 수 있다. 다만, 이 경우, 사용자 입력에 의해 제1 픽셀 맵의 적어도 일부 픽셀의 특성이 변경됨에 따라, 가공된 소스 이미지에 포함되는 픽셀의 특성도 소스 이미지의 특성과 상이할 수 있다.
사용자 입력에 따라 가공된 소스 이미지를 획득하는 구체적인 예시들은 도 30 및 도 31을 통해 설명한다.
전자 장치는, 소스 이미지에 대응되는 픽셀 맵을 디스플레이를 통해 제공할 수 있고, 픽셀 맵에 대한 사용자 입력을 기초로 이미지의 속성을 변경할 수 있다. 예를 들어, 전자 장치는 이미지의 색상 분포를 나타내는 픽셀 맵을 사용자 단말을 통해 제공하고, 상기 픽셀 맵에 의해 나타나는 색상 분포가 사용자에 의해 조절되는 경우, 조절된 색상 분포를 반영하여 가공된 이미지를 생성할 수 있고, 가공된 이미지를 사용자 단말을 통해 제공할 수 있다.
도 30은, 다양한 실시예들에 따른, 전자 장치가 사용자 입력을 기초로 확인된 픽셀 맵의 변화를 반영하여 이미지를 변환하는 일 실시예를 도시한 흐름도이다.
도 30을 참조하면, 전자 장치는 소스 이미지에 포함된 복수의 픽셀들의 위치가 재설정된 제1 픽셀 맵 획득할 수 있다(S3010). 또한, 전자 장치는 디스플레이를 이용하여 소스 이미지 및 제1 픽셀 맵을 표시할 수 있다(S3020).
또한, 전자 장치는 제1 픽셀 맵에 포함되는 제1 색상 영역을 확대하는 사용자 입력에 기초하여, 상기 확대된 제1 색상 영역이 상기 제1 픽셀 맵에서 차지하는 색상 비율을 반영하는 가공된 소스 이미지를 제공할 수 있다(S3030).
구체적으로, 전자 장치는 상기 제1 색상 영역을 확대하는 사용자 입력에 따라 상기 제1 색상 영역이 상기 제1 픽셀 맵 상에서 차지하는 비율을 조정할 수 있다. 또한, 전자 장치는 사용자 입력에 따라 확대된 제1 색상 영역을 포함하는 제2 픽셀 맵을 확인할 수 있다. 이때, 제2 픽셀 맵은 제1 픽셀 맵에서 제1 색상 영역이 차지하는 비율이 조정된 픽셀 맵일 수 있다. 또한, 전자 장치는 제2 픽셀 맵을 기초로 가공된 소스 이미지를 획득할 수 있다. 이때, 가공된 소스 이미지는 소스 이미지와 색 분포가 상이할 수 있다. 이는, 사용자 입력에 따라 픽셀 맵 내의 특정 색상 영역의 비중이 확대됨에 따라, 전자 장치가 변경된 색상 비율을 반영하여 가공된 소스 이미지를 획득하기 때문이다.
도 31은, 다양한 실시예들에 따른, 전자 장치가 사용자 입력을 기초로 확인된 픽셀 맵의 변화를 반영하여 이미지를 변환하는 다른 일 실시예를 도시한 흐름도이다.
도 31을 참조하면, 전자 장치는 소스 이미지에 포함된 복수의 픽셀들의 위치가 재설정된 제1 픽셀 맵 획득할 수 있다(S3110). 또한, 전자 장치는 디스플레이를 이용하여 소스 이미지 및 제1 픽셀 맵을 표시할 수 있다(S3120).
또한, 전자 장치는 제1 픽셀 맵에 포함되는 제1 영역 및 제2 영역을 쉬프트하는 사용자 입력에 기초하여, 상기 제1 영역 및 상기 제2 영역이 쉬프트된 제2 픽셀 맵을 확인할 수 있다(S3130).
또한, 전자 장치는 제2 픽셀 맵을 기초로 가공된 소스 이미지를 제공할 수 있다(S3140).
이를 통해, 전자 장치는 사용자 입력을 기초로 픽셀 맵 상의 영역들을 쉬프트함으로써 소스 이미지 상에서의 색상 배치를 조정할 수 있다. 구체적으로, 전자 장치는 소스 이미지 상의 특정 영역의 색상을 사용자 입력에 따라 다른 영역의 색상과 쉬프트할 수 있다. 이를 위해, 전자 장치는 소스 이미지의 색상 분포를 나타내는 제1 픽셀 맵을 획득하여 사용자에게 제공할 수 있고, 제1 픽셀 맵을 통해 획득된 사용자 입력을 기초로 가공된 소스 이미지를 획득할 수 있다.
전자 장치는, 이미지의 속성(예: 색상 분포, 강도 분포, 명도 분포, 채도 분포 등)을 반영하는 픽셀 맵을 기초로 이미지에 연관되는 다양한 정보들을 획득할 수 있다. 픽셀 맵은 미리 정해진 기준에 따라 이미지의 속성을 나타내므로, 픽셀 맵을 특정 방식으로 처리하는 경우, 이미지의 속성과 연관되는 정보들을 획득할 수 있다.
도 32는, 다양한 실시예들에 따른, 전자 장치가 픽셀 맵을 기초로 획득 가능한 정보들을 설명하기 위한 도면이다.
도 32를 참조하면, 전자 장치는 상기 소스 이미지에 포함된 복수의 픽셀들의 위치가 재설정된 픽셀 맵 획득할 수 있다(S3210).
또한, 전자 장치는 상기 픽셀 맵을 기초로 색상 분포 정보, 색상 비율 정보 또는 지배 색상 정보 중 적어도 하나를 획득할 수 있다(S3220).
이때, 색상 분포 정보는, 소스 이미지에 포함되는 복수의 픽셀 값들에 대응되는 색상 값들의 분포와 연관되는 정보일 수 있다. 예를 들어, 색상 분포 정보는 이미지에 포함되는 다양한 색상들의 분포를 시각적으로 나타내는 정보 또는 이미지에 포함되는 픽셀들의 색상 값들을 미리 정해진 기준(예: 오름차순 또는 내림차순 등의 값 정렬 기준)에 따라 정렬한 정보 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 색상 비율 정보는, 소스 이미지에 포함되는 복수의 픽셀 값들에 대응되는 색상 값들의 비율과 연관되는 정보일 수 있다. 예를 들어, 색상 비율 정보는 이미지에 포함되는 다양한 색상들의 비율을 나타내는 정보 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 지배 색상 정보는, 이미지에 포함되는 색상들 중 가장 비중이 높은 색상에 연관되는 정보일 수 있다. 예를 들어, 지배 색상 정보는 이미지에 포함되는 색상들 중 비율이 가장 높은 특정 색상에 관한 정보 등을 포함할 수 있으나, 이에 한정되지 않는다.
전자 장치의 상기 동작 S3220은 아래의 세부 동작들을 더 포함할 수 있다.
전자 장치는 상기 픽셀 맵에 포함되는 픽셀들 사이의 픽셀 값의 차이가 임계값 이상인 경계 지점을 기초로 상기 픽셀 맵을 복수의 색상 영역으로 분할(segmentation)할 수 있다(S3221). 전자 장치가 픽셀 맵을 기초로 속성(예: 색상)과 연관된 다양한 정보들을 획득하기 위해서, 픽셀 맵을 미리 정해진 기준에 따라 분할할 수 있고, 분할된 복수의 영역들을 기초로 이미지의 속성과 연관되는 다양한 정보들을 추출할 수 있다. 즉, 전자 장치는, 상기 분할(segmentation) 동작을 통해, 소스 이미지(또는 픽셀 맵)에 포함되는 픽셀들의 색상 비율을 확인할 수 있다.
또한, 전자 장치는 상기 분할된 복수의 색상 영역의 상기 픽셀 맵 상에서 차지하는 비율을 기초로 상기 소스 이미지의 색상 분포 정보, 색상 비율 정보 또는 지배 색상 정보 중 적어도 하나를 획득할 수 있다(S3223).
전자 장치는, 이미지의 속성에 연관된 다양한 정보들(예: 색상 분포 정보, 색상 비율 정보 또는 지배 색상 정보 등) 뿐만 아니라, 상기 정보들을 활용하여 이미지에 연관된 2차 정보를 획득할 수 있다.
예를 들어, 전자 장치는, 상기 색상 분포 정보, 색상 비율 정보 또는 지배 색상 정보 중 적어도 하나를 기초로 색상 유사도 정보를 획득할 수 있다(S3230). 일 예로, 전자 장치는 소스 이미지의 색상 분포 정보, 색상 비율 정보 또는 지배 색상 정보 중 적어도 하나를 기초로 다른 이미지의 색상 분포 정보, 색상 비율 정보 또는 지배 색상 정보 중 적어도 하나와 비교함으로써 유사도 정보를 획득할 수 있다. 또는, 전자 장치는 색상 분포 정보, 색상 비율 정보 또는 지배 색상 정보 중 적어도 하나를 기초로 유사도를 판단하기 위한 파라미터를 계산함으로써 유사도 정보로서 획득할 수 있다. 이를 통해, 전자 장치는 획득된 유사도 정보를 이미지 검색을 위한 키(key)로써 이용할 수 있다.
또는, 예를 들어, 전자 장치는, 상기 색상 분포 정보, 색상 비율 정보 또는 지배 색상 정보 중 적어도 하나를 기초로 색상 추천 정보를 획득할 수 있다(S3240). 이때, 전자 장치는 소스 이미지의 색상 비율을 기초로, 색상 분포 정보, 색상 비율 정보 또는 지배 색상 정보 중 적어도 하나가 미리 저장된 기준에 매칭되도록 색상 추천 정보를 획득할 수 있다. 이때, 미리 저장된 기준은 조화로운 색상 비율을 나타내기 위한 색상 비율을 의미할 수 있다. 전자 장치는 색상 추천 정보를 획득하여 사용자 단말을 통해 제공할 수 있다.
일 실시예에 따른 전자 장치는 특정 객체에 대한 이미지를 시간대별로 획득하고, 획득된 이미지들을 처리하여, 특정 객체에 대하여 시간의 흐름에 따라 확인 가능한 정보들을 획득할 수 있다.
도 33은, 다양한 실시예들에 따른, 전자 장치가 픽셀 맵을 기초로 정보를 획득하는 다른 예시를 도시한 흐름도이다.
도 33을 참조하면, 전자 장치는 제1 객체를 제1 시점에 시각적으로 나타내는 제1 이미지 및 상기 제1 객체를 제2 시점에 시각적으로 나타내는 제2 이미지를 획득할 수 있다(S3310).
또한, 전자 장치는 제1 이미지에 포함된 복수의 픽셀들의 위치가 재설정된 제1 픽셀 맵 및 상기 제2 이미지에 포함된 복수의 픽셀들의 위치가 재설정된 제2 픽셀 맵을 획득할 수 있다(S3320).
또한, 전자 장치는 상기 제1 픽셀 맵을 기초로 확인되는 상기 제1 이미지의 색상 정보 및 상기 제2 픽셀 맵을 기초로 확인되는 상기 제2 이미지의 색상 정보를 비교함으로써 상기 제1 객체의 상기 제1 시점 및 상기 제2 시점에서의 상태 변화 정보를 제공할 수 있다(S3330). 구체적으로, 전자 장치는 제1 이미지의 색상 정보 및 제2 이미지의 색상 정보를 기초로 제1 시점 및 제2 시점에서의 색상 비율의 변화를 확인할 수 있고, 색상 비율의 변화를 기초로 제1 객체의 상태 변화 정보를 획득할 수 있다. 예를 들어, 전자 장치는 색상 비율의 변화에 따라, 제1 객체의 건강 상태의 변화, 감정 상태의 변화 등을 확인할 수 있다. 구체적인 예로, 전자 장치는, 시간의 흐름에 따라 제1 객체에 대한 이미지에서 붉은색 비중이 증가된 경우, 제1 객체의 상태를 흥분 상태 또는 상기된 상태 등으로 판단할 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 전자 장치는 복수의 이미지들 사이의 픽셀 전이(transition) 기능을 제공할 수 있다. 구체적으로, 전자 장치는 미리 정해진 알고리즘에 따라 제1 이미지의 픽셀들을 제2 이미지에 매핑시킴으로써, 제2 이미지에 제1 이미지의 픽셀들이 전이된 가공된 이미지를 획득할 수 있다. 이 경우, 가공된 이미지는 제1 이미지의 색상 및 제2 이미지의 형상을 반영하는 이미지일 수 있다. 보다 상세하게는, 전자 장치는 제2 이미지 상에 제1 이미지의 픽셀들이 전이함에 따라 제1 이미지의 색상을 반영하되, 제2 이미지의 색상 분포를 그대로 유지함으로써 제2 이미지의 형상을 반영하는 가공된 이미지를 획득할 수 있다. 여기서, 전이(transition)란, 픽셀의 이동을 나타내는 표현으로 해석될 수 있으나, 이에 한정되는 것은 아니고, 본 개시에서의 전이 동작은 미리 정해진 기준에 따라 제2 이미지에 포함되는 픽셀들의 픽셀 값을 제1 이미지에 포함되는 픽셀들의 픽셀 값으로 변경하는 동작 또는 제1 이미지의 픽셀 값들을 기초로 제2 이미지의 픽셀 값들을 조정하는 동작을 포함하는 개념일 수 있다.
이를 통해, 전자 장치는 소스 이미지(제1 이미지)의 픽셀들을 그대로 활용하여 타겟 이미지(제2 이미지)의 분위기를 창출할 수 있으나, 기존 타겟 이미지 대비 색상이 달라지면서 전혀 다른 분위기의 이미지를 제공할 수 있다.
아래에서는, 이러한 픽셀 전이 기능의 상세 기능 및 유저 인터페이스 구성 방법에 대해서 상세히 설명한다.
[이미지 간 픽셀 전이 방법]
도 34는, 다양한 실시예들에 따른, 전자 장치가 픽셀 전이 기능을 제공하기 위한 방법을 도시한 흐름도이다.
도 34를 참조하면, 전자 장치는 소스 이미지 및 타겟 이미지를 획득할 수 있다(S3310). 이때, 소스 이미지는 전이되는 픽셀들을 포함하는 이미지를 의미할 수 있고, 타겟 이미지는 소스 이미지에 포함되는 픽셀들이 전이될 이미지를 의미할 수 있다. 또한, 전자 장치는 소스 이미지 및 타겟 이미지의 픽셀을 쌍방으로 전이할 수도 있다.
이때, 전자 장치는 소스 이미지에 포함된 픽셀들을 타겟 이미지로 전이하기 위한 기준을 설정할 수 있다. 전자 장치는 소스 이미지의 속성 및 타겟 이미지의 속성 사이의 대응 관계를 정의함으로써 전이 기준을 설정할 수 있다.
구체적으로, 전자 장치는 소스 이미지에 포함된 복수의 픽셀들의 특성 및 타겟 이미지에 포함된 복수의 픽셀들의 특성의 대응 관계 획득할 수 있다(S3420). 여기서, 픽셀들의 특성은 픽셀들의 색상, 명도, 채도, 강도 등의 분포 등을 포함할 수 있으나, 이에 한정되지 않는다. 전자 장치가 픽셀 특성의 대응관계를 정의하는 구체적인 방법은 도 35 및 도 36을 통해 설명한다.
또한, 전자 장치는 상기 대응 관계를 기초로, 상기 타겟 이미지에 상기 소스 이미지의 색상과 연관된 특성이 반영된 가공 이미지 획득할 수 있다(S3430). 구체적으로, 전자 장치는 획득된 픽셀 특성 사이의 대응 관계를 기초로 타겟 이미지에 포함되는 픽셀들의 픽셀 값을 조정함으로써 가공 이미지를 획득할 수 있다.
도 35는, 다양한 실시예들에 따른, 전자 장치가 이미지 사이의 대응 관계를 기초로 픽셀 전이 기능을 제공하는 방법을 도시한 흐름도이다.
도 36은, 다양한 실시예들에 따른, 전자 장치가 이미지 사이의 대응 관계를 기초로 픽셀 전이 기능을 제공하는 구체적인 예시를 도시한 도면이다.
도 35를 참조하면, 전자 장치는 제1 이미지 및 제2 이미지를 획득할 수 있다(S3510).
또한, 전자 장치는 제1 이미지에 포함되는 복수의 픽셀들을 적어도 하나 이상의 픽셀 속성으로 정의된 좌표 공간 상에 나타냄으로써 제1 픽셀 맵을 확인할 수 있다(S3520). 또한, 전자 장치는 제2 이미지에 포함되는 복수의 픽셀들을 상기 적어도 하나 이상의 픽셀 속성으로 정의된 좌표 공간 상에 나타냄으로써 제2 픽셀 맵을 확인할 수 있다(S3530). 이때, 제1 픽셀 맵 및 제2 픽셀 맵은 픽셀의 제1 속성 및 제2 속성으로 정의된 2차원 좌표 공간 상에 나타날 수 있다. 예를 들어, 제1 픽셀 맵 및 제2 픽셀 맵은 픽셀의 색상(Hue) 및 명도(Brightness)로 정의된 2차원 좌표 공간 상에 나타날 수 있다. 또한, 이에 한정되지 않고, 제1 픽셀 맵 및 제2 픽셀 맵은 3개 이상의 속성들로 정의된 n차원의 좌표 공간 상에 나타날 수 있다.
예를 들어, 도 36을 참조하면, 전자 장치는 제1 이미지(3610) 및 제2 이미지(3620)를 획득할 수 있다. 또한, 전자 장치는 제1 이미지(3610)를 기초로 제1 픽셀 맵(3630)을 확인하고, 제2 이미지(3640)를 기초로 제2 픽셀 맵(3640)을 확인할 수 있다. 이 경우, 제1 픽셀 맵(3630) 및 제2 픽셀 맵(3640)은 픽셀의 제1 속성(예: 색상(Hue)) 및 제2 속성(예: 명도(Brightness))로 정의된 2차원 좌표 공간 상에 나타날 수 있다.
전자 장치는 제1 이미지에 대응되는 제1 픽셀 맵 및 제2 이미지에 대응되는 제2 픽셀 맵의 위치적 대응 관계에 기초하여, 제1 이미지의 특성 및 상기 제2 이미지의 특성을 반영하는 가공 이미지를 획득할 수 있다. 구체적으로, 전자 장치는 제1 이미지의 위치적 특성 및 제2 이미지의 색상 특성을 반영하는 가공 이미지를 획득할 수 있다. 예를 들어, 전자 장치는 제1 이미지에 포함되는 복수의 픽셀들의 색상 값을 대응되는 제2 이미지에 포함되는 복수의 픽셀들의 색상 값으로 조정함으로써 가공 이미지를 획득할 수 있다.
구체적으로, 다시 도 35를 참조하면, 전자 장치는 제1 이미지에 포함되는 제1 픽셀에 대응되는 제1 픽셀 맵 상의 제1 포인트를 기초로, 제1 포인트의 위치에 대응되는 상기 제2 픽셀 맵 상의 제2 포인트를 확인할 수 있다(S3540). 이때, 제1 포인트의 위치는 제1 픽셀 맵이 나타나는 좌표 공간 상에서 제1 포인트의 위치 좌표를 의미할 수 있다. 즉, 전자 장치는 제1 포인트의 재1 픽셀 맵 상에서의 제1 위치 좌표를 확인하고, 제2 픽셀 맵 상에서 제1 위치 좌표에 위치하는 제2 포인트를 확인할 수 있다.
또한, 전자 장치는 제2 포인트에 대응되는 제2 이미지 상에서의 제2 픽셀을 확인할 수 있다(S3550). 이 경우, 전자 장치는 제1 픽셀 및 제2 픽셀 사이의 대응 관계를 포함하여, 제1 이미지에 포함되는 픽셀들 및 제2 이미지에 포함되는 픽셀들 사이의 대응 관계를 정의할 수 있다.
또한, 전자 장치는 제1 픽셀 및 제1 픽셀에 대응되는 제2 픽셀을 기초로 제3 픽셀을 획득할 수 있다(S3560). 또한, 전자 장치는 제3 픽셀을 포함하는 가공 이미지를 획득할 수 있다(S3570). 이 경우, 전자 장치는 제1 픽셀 및 제2 픽셀 사이의 대응 관계를 기초로 제3 픽셀을 획득할 수 있다. 구체적으로, 전자 장치는 제2 픽셀의 색상 값을, 제2 픽셀에 대응되는 제1 픽셀의 색상 값으로 조정함으로써 제3 픽셀을 획득할 수 있다. 또는, 전자 장치는 제2 픽셀을 제2 픽셀에 대응되는 제1 픽셀로 변환함으로써 제3 픽셀을 획득할 수 있다. 이처럼 전자 장치는 서로 다른 이미지에 포함되는 픽셀들 사이의 대응 관계를 정의함으로써 대응되는 픽셀의 속성을 전이(또는 쌍방향으로 스왑)함으로써 가공 이미지를 획득할 수 있다.
예를 들어, 도 36을 참조하면, 전자 장치는 제1 이미지(3610)에 포함되는 제1 픽셀(3611)에 대응되는 제1 픽셀 맵(3630) 상의 제1 포인트(3631)를 확인할 수 있다. 또한, 전자 장치는 상기 제1 포인트(3631)의 제1 픽셀 맵(3630) 상의 위치와 제2 픽셀 맵(3640) 상에서 대응되는 위치를 가지는 제2 포인트(3641)를 확인할 수 있다. 또한, 전자 장치는 상기 제2 포인트(3641)에 대응되는 제2 이미지(3620) 상에서의 제2 픽셀(3621)을 확인할 수 있다. 또한, 전자 장치는 상기 제1 픽셀(3611) 및 제2 픽셀(3621)을 기초로 제3 픽셀(3651)을 획득할 수 있고, 상기 제3 픽셀(3651)을 포함하는 가공 이미지(3650)를 획득할 수 있다. 이때, 제3 픽셀(3651)의 색상 값은 제1 픽셀(3611)의 색상 값과 동일할 수 있다. 또한, 제3 픽셀(3651)의 위치 값은 제2 픽셀(3621)의 위치 값과 동일할 수 있다. 이때, 상기 가공 이미지(3650)는 제1 이미지(3610)의 색상 및 제2 이미지(3620)의 형상을 반영하는 이미지일 수 있다. 전자 장치는 제1 이미지(3610)의 색상 분포를 제2 이미지(3620)에 전이함으로써 제2 이미지(3620)에 제1 이미지(3610)의 색상이 반영된 가공 이미지(3650)를 획득할 수 있다.
도 37은, 다양한 실시예들에 따른, 전자 장치가 스케일이 상이한 이미지 사이의 픽셀 전이 기능을 제공하는 방법의 일 실시예를 도시한 흐름도이다.
도 38은, 다양한 실시예들에 따른, 전자 장치가 스케일이 상이한 이미지 사이의 픽셀 전이 기능을 제공하는 방법의 일 실시예의 예시를 도시한 도면이다.
여기서, 이미지의 스케일은 이미지의 사이즈를 의미하는 것으로, 이미지들이 동일한 크기의 픽셀로 구성되는 경우, 이미지의 스케일은 픽셀의 개수, 보다 상세하게는 이미지의 가로 및 세로에 각각 배치된 픽셀의 개수를 의미할 수 있다.
도 37을 참조하면, 전자 장치는 제1 이미지를 기초로 제1 스케일의 제1 샘플링 이미지를 획득할 수 있다(S3710). 또한, 전자 장치는 제2 이미지를 기초로 제1 스케일의 제2 샘플링 이미지를 획득할 수 있다(S3720). 즉, 전자 장치는 서로 상이한 스케일을 가지는 제1 이미지 및 제2 이미지를 샘플링함으로써 동일한 스케일을 가지는 제1 샘플링 이미지 및 제2 샘플링 이미지를 획득할 수 있다.
예를 들어, 도 38을 참조하면, 전자 장치는 제1 이미지(3810) 및 제1 이미지(3810)와 스케일이 상이한 제2 이미지(3820)를 획득할 수 있다. 이 경우, 전자 장치는 제1 이미지(3810)를 기초로 제1 스케일을 가지는 제1 샘플링 이미지(3815)를 획득할 수 있다. 이때, 전자 장치는 제1 이미지의 적어도 일부분을 샘플링함으로써 제1 샘플링 이미지(3815)를 획득할 수 있다. 보다 구체적으로, 전자 장치는 제1 이미지(3810)의 중간 영역(3813)을 기초로 샘플링 영역(3814)을 생성할 수 있고, 상기 제1 이미지(3810) 및 샘플링 영역(3814)을 모두 포함하는 제1 샘플링 이미지(3815)를 획득할 수 있다. 이 경우, 샘플링 영역(3814)에 포함되는 픽셀들의 특성 분포는 중간 영역(3813)에 포함되는 픽셀들의 특성 분포에 대응될 수 있다. 또한, 전자 장치는 동일한 방식으로 제2 이미지(3820)를 기초로 제2 샘플링 이미지(3825)를 획득할 수 있다.
또한, 다시 도 37을 참조하면, 전자 장치는 제1 샘플링 이미지의 특성 및 제2 샘플링 이미지의 특성 사이의 대응 관계를 기초로 가공 이미지를 획득할 수 있다(S3730). 이때, 이미지 픽셀 사이의 대응 관계를 기초로 가공 이미지 획득하는 구체적인 방법은 도 35의 방법이 동일하게 적용될 수 있다.
예를 들어, 도 38을 참조하면, 전자 장치는 제1 샘플링 이미지(3815)를 기초로 제1 픽셀 맵(3830)을 확인하고, 제2 샘플링 이미지(3825)를 기초로 제2 픽셀 맵(3840)을 확인할 수 있다. 이때, 전자 장치는 제1 샘플링 이미지(3815)에 포함되는 제1 픽셀(3811)에 대응되는 제1 픽셀 맵(3830) 상의 제1 포인트(3831)를 확인할 수 있다. 또한, 전자 장치는 제2 픽셀 맵(3840) 상에서 제1 포인트(3831)와 대응되는 위치를 가지는 제2 포인트(3841)을 확인하고, 상기 제2 포인트(3841)에 대응되는 제2 샘플링 이미지(3825) 상의 제2 픽셀(3821)을 확인할 수 있다. 또한, 전자 장치는 제1 픽셀(3811) 및 제2 픽셀(3821)의 대응 관계를 포함하는 제1 샘플링 이미지(3815) 및 제2 샘플링 이미지(3825) 사이의 대응 관계를 기초로 제3 픽셀(3851)을 포함하는 가공 이미지(3850)를 획득할 수 있다.
도 39는, 다양한 실시예들에 따른, 전자 장치가 스케일이 상이한 이미지 사이의 픽셀 전이 기능을 제공하는 방법의 다른 일 실시예를 도시한 흐름도이다.
도 40은, 다양한 실시예들에 따른, 전자 장치가 스케일이 상이한 이미지 사이의 픽셀 전이 기능을 제공하는 방법의 다른 일 실시예의 예시를 도시한 도면이다.
도 39를 참조하면, 전자 장치는 제1 이미지를 기초로 제1 픽셀 맵을 획득하고, 제2 이미지를 기초로 제2 픽셀 맵을 획득할 수 있다(S3910).
또한, 전자 장치는 제1 픽셀 맵을 특정 스케일로 정규화(normalization)함으로써 제1 정규화된 픽셀 맵을 획득하고, 제2 픽셀 맵을 제1 스케일로 정규화함으로써 제2 정규화된 픽셀 맵을 획득할 수 있다(S3920). 구체적으로, 전자 장치는 제1 스케일을 가지는 좌표 공간 상에 정의된 제1 픽셀 맵을 특정 스케일로 정의된 좌표 공간(예: [0,1]로 정의된 공간)으로 정규화함으로써 제1 정규화된 픽셀 맵을 획득할 수 있다. 마찬가지로, 전자 장치는 제2 스케일을 가지는 좌표 공간 상에 정의된 제2 픽셀 맵을 특정 스케일로 정의된 좌표 공간(예: [0,1]로 정의된 공간)으로 정규화함으로써 제2 정규화된 픽셀 맵을 획득할 수 있다
예를 들어, 도 40을 참조하면, 전자 장치는 제1 이미지(4010)를 기초로 제1 픽셀 맵(4030)을 획득할 수 있고, 제2 이미지(4020)를 기초로 제2 픽셀 맵(4040)을 획득할 수 있다. 또한, 전자 장치는 제1 픽셀 맵(4030)의 좌표를 특정 스케일(예: [0,1])을 가지는 좌표로 정규화함으로써 제1 정규화된 픽셀 맵(4050)을 획득할 수 있고, 제2 픽셀 맵(4040)의 좌표를 특정 스케일(예: [0,1])을 가지는 좌표로 정규화함으로써 제2 정규화된 픽셀 맵(4060)을 획득할 수 있다. 이 경우, 제1 이미지(4010) 상의 제1 픽셀(4011)은 제1 픽셀 맵(4030) 상의 제1 포인트(4031)에 대응될 수 있고, 좌표 정규화에 의해 제1 정규화된 픽셀 맵(4050) 상의 제1 정규화된 포인트(4051)에 대응될 수 있다. 마찬가지로, 제2 이미지(4020) 상의 제2 픽셀(4021)은 제2 픽셀 맵(4040) 상의 제2 포인트(4041)에 대응될 수 있고, 좌표 정규화에 의해 제2 정규화된 포인트(4061)에 대응될 수 있다.
또한, 다시 도 39를 참조하면, 전자 장치는 제1 정규화된 픽셀 맵 및 제2 정규화된 픽셀 맵을 기초로 확인되는 제1 이미지 및 제2 이미지 사이의 대응 관계에 기초하여, 가공 이미지를 획득할 수 있다(S3930).
예를 들어, 도 40을 참조하면, 전자 장치는 제1 정규화된 픽셀 맵(4050) 상의 제1 정규화된 포인트(4051)에 대응되는 위치를 가지는 제2 정규화된 픽셀 맵(4060) 상의 제2 정규화된 포인트(4061)를 확인할 수 있다. 전자 장치는 제2 정규화된 포인트(4061)에 대응되는 제2 픽셀 맵 상의 제2 포인트(4041) 및/또는 제2 이미지 상의 제2 픽셀(4021)을 확인함으로써, 제1 이미지의 제1 픽셀(4011)에 대응되는 제2 이미지의 제2 픽셀(4021)을 확인할 수 있다. 또한, 이 경우, 전자 장치는 제1 픽셀(4011) 및 제2 픽셀(4021) 사이의 대응 관계를 포함하는 제1 이미지(4010) 및 제2 이미지(4020) 사이의 대응 관계를 기초로 제3 픽셀(4071)을 포함하는 가공 이미지(4070)를 획득할 수 있다.
일 실시예에 따른 전자 장치는 사용자 입력을 기초로 상술한 픽셀 전이 기능을 수행할 수 있고, 이를 사용자 인터페이스를 통해 제공할 수 있다.
도 41은, 다양한 실시예들에 따른, 전자 장치가 사용자 입력을 기초로 픽셀 전이 기능을 제공하는 실시예를 도시한 도면이다.
도 41을 참조하면, 전자 장치는 소스 이미지(4110) 및 타겟 이미지(4130)를 디스플레이(4100)를 통해 표시할 수 있다.
이때, 전자 장치는 타겟 이미지(4130)의 타겟 영역(4135)에 대한 사용자 입력을 수신할 수 있다. 이때, 사용자 입력은 상기 디스플레이(4100) 상에서 상기 타겟 영역(4135)에 대응되는 영역에 대한 사용자 입력(예: 터치 입력, 문지르는 입력 등)일 수 있으나, 이에 한정되지 않는다.
또한, 전자 장치는 상기 타겟 이미지의 타겟 영역(4135)에 대응되는 소스 이미지(4110) 상의 적어도 하나의 영역을 확인할 수 있다. 이때, 전자 장치는 소스 이미지의 특성 및 타겟 이미지의 특성을 기초로 타겟 영역(4135)에 대응되는 영역을 확인할 수 있다. 보다 구체적으로, 전자 장치는 타겟 이미지에 대응되는 픽셀 맵 상에서 타겟 영역(4135)의 특성과 대응되는 위치를 가지는 적어도 하나의 픽셀을 확인함으로써 소스 이미지 상의 적어도 하나의 영역을 확인할 수 있다. 예를 들어, 전자 장치는 상기 타겟 이미지의 타겟 영역(4135)에 대응되는 제1 영역(4111), 제2 영역(4112) 및 제3 영역(4113)을 확인할 수 있다. 이 경우, 전자 장치는 확인된 적어도 하나의 영역을 디스플레이(4100)를 통해 시각적으로 표시할 수 있다.
또한, 전자 장치는 상기 적어도 하나의 영역에 대응되는 타겟 영역에 포함되는 픽셀의 특성을 확인된 소스 이미지의 적어도 하나의 영역에 포함되는 픽셀의 특성을 기초로 조정함으로써 가공 이미지(4150)를 획득할 수 있다. 예를 들어, 전자 장치는 확인된 소스 이미지 상의 적어도 하나의 영역에 포함되는 적어도 하나의 픽셀을 상기 타겟 영역(4135)으로 매핑함으로써 전이 영역(4155)을 포함하는 가공 이미지(4150)를 획득할 수 있다. 이 경우, 전이 영역(4155)에 포함되는 픽셀의 색상은 소스 이미지의 적어도 하나의 영역(4111, 4112, 4113)에 포함되는 픽셀의 색상에 대응될 수 있다. 이 경우, 전자 장치는 소스 이미지의 적어도 하나의 영역(4111, 4112, 4113)의 색상이 타겟 이미지의 타겟 영역(4135)의 색상으로 전이되는 시각적 효과를 제공하는 시뮬레이션을 디스플레이(4100)를 통해 표시할 수 있다.
즉, 전자 장치는 사용자 입력이 수신된 타겟 이미지 상의 영역을 대응되는 소스 이미지의 색상으로 변환함으로써 픽셀의 색상이 전이된 가공 이미지를 제공할 수 있다.
일 실시예에 따른 전자 장치는 제1 이미지에 복수의 이미지들의 특성을 전이함으로써 가공 이미지를 제공할 수 있다.
도 42는, 다양한 실시예들에 따른, 전자 장치가 복수의 이미지들을 기초로 타겟 이미지를 가공하는 방법의 일 실시예를 도시한 도면이다.
도 42를 참조하면, 전자 장치는 타겟 이미지(4210)를 복수의 이미지들(4220, 4230, 4240)을 기초로 가공하여 가공 이미지(4250)를 획득할 수 있다.
이때, 전자 장치는 타겟 이미지(4210)를 복수의 영역들로 분할할 수 있고, 분할된 복수의 영역들을 복수의 이미지들을 기초로 각각 가공하여 가공 이미지(4250)를 획득할 수 있다. 구체적으로, 전자 장치는 타겟 이미지(4210) 상의 미리 지정된 제1 영역(4211)에 기초하여, 제1 이미지(4220)의 특성을 반영하는 제1 가공된 영역(4251)을 획득할 수 있다. 마찬가지로, 전자 장치는 타겟 이미지(4210) 상의 미리 지정된 제2 영역(4212)에 기초하여, 제2 이미지(4230)의 특성을 반영하는 제2 가공된 영역(4252)을 획득할 수 있고, 미리 지정된 제3 영역(4213)에 기초하여, 제3 이미지(4240)의 특성을 반영하는 제3 가공된 영역(4253)을 획득할 수 있다. 이에 따라, 전자 장치는 제1 가공된 영역(4251), 제2 가공된 영역(4252) 및 제3 가공된 영역(4253)을 포함하는 가공 이미지(4250)를 획득할 수 있다. 이 경우, 가공 이미지(4250)에 포함되는 제1 가공된 영역(4251)의 색상 분포는 제1 이미지(4220)의 색상 분포에 대응될 수 있다.
전자 장치가 타겟 이미지의 특정 영역에 적어도 하나의 이미지의 특성(예: 색상)을 전이하여 가공 이미지를 획득하는 구체적인 방법은 도 35 내지 도 40에 대한 설명에 기재된 방법이 그대로 적용될 수 있다.
구체적인 예로, 전자 장치는, 사람을 도시한 타겟 이미지에 대하여, 타겟 이미지에서 입술에 대응되는 영역, 헤어에 대응되는 영역 및 얼굴에 대응되는 영역 각각을 상이한 색상을 가지는 제1 이미지, 제2 이미지 및 제3 이미지의 특성을 전이함으로써 가공된 이미지를 획득할 수 있다.
도 43은, 다양한 실시예들에 따른, 전자 장치가 복수의 이미지들을 기초로 타겟 이미지를 가공하는 방법의 다른 일 실시예를 도시한 도면이다.
도 43을 참조하면, 전자 장치는 타겟 이미지(4310)를 복수의 이미지들(4320, 4330, 4340)을 기초로 가공함으로써 가공 이미지(4360)를 획득할 수 있다.
이때, 전자 장치는 상기 복수의 이미지들을 기초로 소스 이미지(4350)를 생성할 수 있고, 상기 소스 이미지(4350)의 특성을 타겟 이미지(4310)에 전이함으로써 가공 이미지(4360)를 획득할 수 있다. 예를 들어, 전자 장치는 제1 이미지(4320), 제2 이미지(4330) 및 제3 이미지(4340)를 기초로 소스 이미지(4350)를 획득할 수 있다. 이때, 소스 이미지(4350)는 상기 제1 이미지(4320), 제2 이미지(4330) 및 제3 이미지(4340)의 특성을 반영하는 이미지일 수 있다. 예를 들어, 소스 이미지(4350)의 제1 영역의 특성은 제1 이미지(4320)의 특성에 대응되고, 소스 이미지(4350)의 제2 영역의 특성은 제2 이미지(4330)의 특성에 대응되고, 소스 이미지(4350)의 제3 영역의 특성은 제3 이미지(4340)의 특성에 대응될 수 있다. 이를 위해, 전자 장치는 적어도 하나의 이미지의 스케일을 소스 이미지의 적어도 하나의 영역의 스케일로 정규화할 수 있다.
이때, 상기 소스 이미지(4350)를 구성하기 위한 제1 이미지(4320), 제2 이미지(4330), 및 제3 이미지(4340) 사이의 비율은 미리 정해질 수 있다. 구체적으로, 전자 장치는 가공 이미지에 특정 이미지의 분위기를 더 반영하기 위해, 제1 이미지(4320), 제2 이미지(4330), 및 제3 이미지(4340) 사이의 비율을 미리 정할 수 있다.
또한, 전자 장치는 상기 소스 이미지(4350)에 포함되는 픽셀의 특성을 기초로 상기 타겟 이미지(4310)에 포함되는 픽셀의 특성을 조정함으로써 가공 이미지(4360)를 획득할 수 있다.
전자 장치가 타겟 이미지에 소스 이미지의 특성(예: 색상)을 전이하여 가공 이미지를 획득하는 구체적인 방법은 도 35 내지 도 40에 대한 설명에 기재된 방법이 그대로 적용될 수 있다.
일 실시예에 따른 전자 장치는 학습된 딥러닝 모델을 이용하여 픽셀 전이 기능을 제공할 수 있다.
아래에서는 딥러닝 모델을 이용하여 이미지 간의 픽셀 전이 기능을 제공하는 방법 및 상기 딥러닝 모델의 학습 방법에 대하여 상세히 설명한다.
도 44는, 다양한 실시예들에 따른, 전자 장치가 딥러닝 모델을 이용하여 형상 이미지 사이의 색상 전이 동작을 수행하는 방법을 도시한 도면이다.
도 44를 참조하면, 전자 장치는 복수의 형상 이미지들(4410, 4420)을 적어도 하나의 딥러닝 모델로 구축된 인공 지능 모델(4400)을 이용하여 처리함으로써 복수의 가공된 형상 이미지들(4415, 4425)을 획득할 수 있다.
이때, 전자 장치는 입력되는 복수의 형상 이미지들(4410, 4420) 사이의 색상을 교환함으로써 상기 복수의 가공된 형상 이미지들(4415, 4425)을 획득할 수 있다. 예를 들어, 전자 장치는 제1 형상 이미지(4410) 및 제2 형상 이미지(4420)를 인공 지능 모델(4400)에 입력함으로써 상기 제1 형상 이미지의 잠재 특성 및 제2 형상 이미지의 잠재 특성을 확인할 수 있다. 이때, 형상 이미지의 잠재 특성은 형상 이미지의 색상 특성 및/또는 형상 이미지의 형상적 특성을 포함할 수 있다.
전자 장치는 상기 제2 형상 이미지(4420)에 제1 형상 이미지의 색상 특성을 반영함으로써 제2 가공된 형상 이미지(4425)를 획득할 수 있고, 상기 제1 형상 이미지(4410)에 제2 형상 임미지의 색상 특성을 반영함으로써 제1 가공된 형상 이미지(4415)를 획득할 수 있다.
아래에서는, 전자 장치가 딥러닝 모델을 이용하여 형상 이미지 사이의 색상 특성을 교환하는 구체적인 방법에 대해서 설명한다.
도 45는, 다양한 실시예들에 따른, 전자 장치가 딥러닝 모델을 이용하여 형상 이미지 사이의 색상 특성을 교환함으로써 가공된 형상 이미지를 생성하는 방법을 도시한 도면이다.
도 45를 참조하면, 전자 장치는 제1 형상 이미지(4510)를 제1 입력부(4501a)에 입력하고, 제2 형상 이미지(4520)를 제2 입력부(4501b)에 입력할 수 있다.
이때, 상기 제1 입력부(4501a) 및 제2 입력부(4501b)는 인코더(encoder), 신경망 모델의 입력층(input layer), 딥러닝 모델에 입력되기 위한 전처리 모델 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 전자 장치는 상기 제1 형상 이미지(4510) 및 제2 형상 이미지(4520) 중 적어도 하나를 기초로 적어도 하나의 잠재 특성을 획득할 수 있다. 이때, 적어도 하나의 잠재 특성은, 딥러닝 모델에 의하여 정의되는 잠재 공간(lateen space) 상에서 형상 이미지에 연관되는 적어도 하나의 특성(예: 특징(feature), 벡터(vector) 등)일 수 있다. 구체적으로, 전자 장치는 제1 형상 이미지(4510) 및 제2 형상 이미지(4520) 중 적어도 하나를 기초로 형상 이미지에 대응되는 색상 특성 및 형상 특성 중 적어도 하나를 획득할 수 있다.
예를 들어, 전자 장치는 제1 형상 이미지(4510)를 기초로 제1 형상 이미지의 색상과 연관되는 제1 색상 특성(4511)을 획득할 수 있고, 상기 제1 형상 이미지(4510)를 기초로 상기 제1 형상 이미지에 포함되는 객체의 형상과 연관되는 제1 형상 특성(4513, z1)을 획득할 수 있다.
또한, 전자 장치는 제2 형상 이미지(4520)를 기초로 제2 형상 이미지의 색상과 연관되는 제2 색상 특성(4521)을 획득할 수 있고, 상기 제2 형상 이미지(4520)를 기초로 상기 제2 형상 이미지에 포함되는 객체의 형상과 연관되는 제2 형상 특성(4523, z2)을 획득할 수 있다.
또한, 전자 장치는 제1 출력부(4502a)로부터 제1 가공된 형상 이미지(4515)를 출력하고, 제2 출력부(4502b)로부터 제2 가공된 형상 이미지(4525)를 출력할 수 있다.
이때, 상기 제1 출력부(4502a) 및 제2 출력부(4502b)는 디코더(decoder), 신경망 모델의 출력층(output layer), 딥러닝 모델에서 출력되기 위한 후처리 모델 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 이 경우, 전자 장치는 입력된 복수의 형상 이미지들 사이의 색상 특성을 교환함으로써 색상 전이 동작을 수행할 수 있다. 구체적으로, 전자 장치는 제1 형상 이미지(4510) 및 제2 형상 이미지(4520)가 입력되는 경우, 상기 제1 형상 이미지의 제1 색상 특성(4511)을 제2 형상 이미지에 적용하고, 제2 형상 이미지의 제2 색상 특성(4521)을 제1 형상 이미지에 적용하도록 설정될 수 있다.
구체적으로, 전자 장치는 상기 제1 형상 이미지의 제1 형상 특성(4513) 및 제2 형상 이미지의 제2 색상 특성(4521)을 반영하는 제1 가공된 형상 이미지(4515)를 획득할 수 있다. 이 경우, 상기 제1 가공된 형상 이미지(4515)는 상기 제1 형상 이미지(4510)와 대응되는 형상을 가지고 상기 제2 형상 이미지(4520)와 대응되는 색상을 가질 수 있다.
또한, 전자 장치는 상기 제2 형상 이미지의 제2 형상 특성(4523) 및 제1 형상 이미지의 제1 색상 특성(4511)을 반영하는 제2 가공된 형상 이미지(4525)를 획득할 수 있다. 이 경우, 상기 제2 가공된 형상 이미지(4525)는 제2 형상 이미지(4520)와 대응되는 형상을 가지고 제1 형상 이미지(4510)와 대응되는 색상을 가질 수 있다.
도 46은, 다양한 실시예들에 따른, 전자 장치가 형상 이미지 사이의 색상 특성을 교환함으로써 가공된 형상 이미지를 생성하기 위한 딥러닝 모델의 학습 방법을 도시한 도면이다.
이미지 사이의 특성이 교환되는 딥러닝 모델을 학습시키기 위한 학습 데이터를 구축하기 위해서, 도 20 내지 도 23의 이미지 내의 픽셀 재설정 방법에 수반되는 데이터 및 도 34 내지 도 40에 따른 이미지 사이의 픽셀 교환에 수반되는 데이터가 이용될 수 있다. 예를 들어, 이미지 사이의 특성이 교환되는 딥러닝 모델을 학습시키기 위한 학습 데이터 셋은, 형상 이미지 및 형상 이미지의 색상 분포를 포함하는 복수의 학습 데이터들을 포함할 수 있다. 구체적인 예로, 제1 학습 데이터는 제1 형상 이미지 및 제1 형상 이미지의 색상 분포를 나타내는 제1 픽셀 맵을 포함할 수 있고, 제2 학습 데이터는 제2 형상 이미지 및 제2 형상 이미지의 색상 분포를 나타내는 제2 픽셀 맵을 포함할 수 있다. 또한, 제3 학습 데이터는 제1 형상 이미지의 색상 특성 및 제2 형상 이미지의 형상 특성(위치 특성)을 반영한 제3 형상 이미지 및 상기 제3 형상 이미지의 색상 분포를 나타내는 제3 픽셀 맵을 포함할 수 있다.
도 46을 참조하면, 전자 장치는 복수의 형상 이미지들 및 복수의 형상 이미지들에 대응되는 색상 데이터를 포함하는 학습 데이터 셋을 기초로 딥러닝 모델을 학습시킬 수 있다. 이때, 상기 복수의 형상 이미지들은 동일한 형상을 가지되, 서로 상이한 색상을 가지도록 구현될 수 있다.
구체적으로, 전자 장치는 제1 형상 이미지(4610) 및 제1 형상 이미지의 색상에 대응되는 제1 색상 데이터(4611) 및 제1 형상 이미지와 동일한 형상을 가지는 제2 형상 이미지(4620) 및 제2 형상 이미지의 색상에 대응되는 제2 색상 데이터(4621)를 포함하는 학습 데이터 셋을 획득할 수 있다.
또한, 전자 장치는 상기 학습 데이터 셋을 기초로 딥러닝 모델을 미리 정해진 학습 조건들을 기초로 학습할 수 있다. 구체적으로, 전자 장치는 입력되는 형상 이미지 사이의 색상 특성이 교환되는 가공 이미지를 획득하기 위하여, 복수의 학습 조건들을 설정할 수 있다.
전자 장치는, 형상 이미지의 색상 특성을 정확히 획득하기 위하여, 형상 이미지가 입력됨에 따라 잠재 공간에 나타나는 색상 특성과 입력되는 색상 데이터가 유사하도록 제1 학습 조건을 설정할 수 있다. 구체적으로, 제1 학습 조건은, 제1 색상 데이터(4611) 및 제1 형상 이미지의 제1 색상 특성(4613)과의 유사도 및 제2 색상 데이터(4621) 및 제2 형상 이미지의 제2 색상 특성(4623) 사이의 유사도 중 적어도 하나를 기초로 정의될 수 있다.
또한, 전자 장치는 잠재 공간 상의 특성들을 기초로 형상 이미지를 정확히 복원하기 위하여, 입력되는 형상 이미지와 출력되는 출력 이미지가 유사하도록 제2 학습 조건을 설정할 수 있다. 구체적으로, 제2 학습 조건은, 제1 형상 이미지(4610) 및 제1 출력 이미지(4617) 사이의 유사도 및 제2 형상 이미지(4620) 및 제2 출력 이미지(4627) 사이의 유사도 중 적어도 하나를 기초로 정의될 수 있다.
또한, 전자 장치는, 동일한 형상 이미지에 대하여 동일한 형상 특성을 획득하기 위하여, 복수의 형상 이미지들이 입력됨에 따라 잠재 공간에 나타나는 복수의 형상 특성들이 유사하도록 제3 학습 조건을 설정할 수 있다. 구체적으로, 제3 학습 조건은, 제1 형상 이미지에 대응되는 제1 형상 특성(4615) 및 제2 형상 이미지에 대응되는 제2 형상 특성(4626) 사이의 유사도를 기초로 정의될 수 있다.
도 47은, 다양한 실시예들에 따른, 전자 장치가 형상 이미지 사이의 색상 특성을 교환함으로써 가공된 형상 이미지를 생성하기 위한 딥러닝 모델의 추가 학습 방법을 도시한 도면이다.
전자 장치는 딥러닝 모델의 성능을 보다 향상시키기 위하여 추가적인 학습 조건들을 기초로 딥러닝 모델을 더 학습시킬 수 있다.
도 47을 참조하면, 전자 장치는 딥러닝 모델의 추가 학습을 위한 적어도 하나의 학습 장치를 더 포함할 수 있다. 이때, 상기 적어도 하나의 학습 장치는 디코더 및 인코더로 구성된 데이터 변환기일 수 있으나, 이에 한정되지 않는다.
전자 장치는, 형상 이미지에 대응되는 색상 특성을 기초로 획득된 색상 특성 및 입력되는 색상 데이터가 유사하도록 제4 학습 조건을 설정할 수 있다. 구체적으로, 제4 학습 조건은, 제1 형상 이미지의 제1 색상 특성(4613)을 복원 및 재압축함으로써 획득된 제3 색상 특성(4619) 및 제1 색상 데이터(4611) 사이의 유사도 및 제2 형상 이미지의 제2 색상 특성(4623)을 복원 및 재압축함으로써 획득된 제4 색상 특성(4629) 및 제2 색상 데이터(4621) 사이의 유사도 중 적어도 하나를 기초로 정의될 수 있다.
또한, 전자 장치는, 형상 이미지에 대응되는 형상 특성을 기초로 획득된 형상 특성 및 기존 형상 특성이 유사하도록 제5 학습 조건을 설정할 수 있다. 구체적으로, 제5 학습 조건은, 제1 형상 이미지의 제1 형상 특성(4615)을 복원 및 재압축함으로써 획득된 제3 형상 특성(4618) 및 제1 형상 특성(4615) 사이의 유사도 및 제2 형상 이미지의 제2 형상 특성(4626)을 복원 및 재압축함으로써 획득된 제4 형상 특성(4628) 및 제2 형상 특성(4625) 사이의 유사도 중 적어도 하나를 기초로 정의될 수 있다.
도 48은, 다양한 실시예들에 따른, 전자 장치가 형상 이미지 간의 색상 전이 기능을 활용하여 가공 이미지를 획득하는 방법을 도시한 흐름도이다.
도 48을 참조하면, 전자 장치는 제1 형상 이미지를 기초로 제1 잠재 공간 상에서 정의되는 제1 색상 특성을 획득할 수 있다(S4810).
또한, 전자 장치는 제1 형상 이미지를 기초로 제2 잠재 공간 상에서 정의되는 제1 형상 특성을 획득할 수 있다(S4820). 이 경우, 제1 잠재 공간 및 제2 잠재 공간은 서로 상이한 차원의 공간일 수 있으나, 이에 한정되지 않는다.
또한, 전자 장치는 제2 형상 이미지를 기초로 상기 제1 잠재 공간 상에서 정의되는 제2 색상 특성을 획득할 수 있다(S4830).
또한, 전자 장치는 상기 제1 형상 특성 및 제2 색상 특성을 기초로 제1 형상 이미지의 형상 및 제2 형상 이미지의 색상을 반영하는 가공 이미지를 획득할 수 있다(S4840).
도 45 또는 도 48에 따른 딥러닝 모델을 이용한 이미지 간의 픽셀 전이 동작은 반복 수행(iteration)됨에 따라 보다 완전한 전이가 이루어질 수 있다.
도 49는, 다양한 실시예들에 따른, 전자 장치가 사용자 입력을 기초로 픽셀 전이 동작을 수행하여 결과물을 제공하는 방법을 도시한 도면이다.
도 49를 참조하면, 전자 장치는 사용자 단말의 디스플레이(4900)를 통해 픽셀 전이(또는 픽셀 스왑) 기능을 제공할 수 있다. 구체적으로, 전자 장치는 상호간에 픽셀의 특성을 교환하기 위한 복수의 형상 이미지들(4910, 4920)을 디스플레이(4900)를 통해 표시할 수 있다.
전자 장치는 사용자로부터 형상 이미지의 색상 교환에 연관된 적어도 하나의 속성에 대한 입력을 수신할 수 있다. 또한, 사용자 입력을 기초로 형상 이미지 사이의 픽셀 전이 동작을 제어할 수 있다. 예를 들어, 전자 장치는 딥러닝 모델을 통한 형상 이미지 처리의 반복 횟수(iteration)를 입력 받을 수 있다. 이를 통해, 전자 장치는 사용자로부터 입력된 반복 횟수를 기초로 제1 형상 이미지(4910) 및 제2 형상 이미지(4920) 사이의 픽셀 전이를 수행할 수 있고, 이에 따라 제1 가공된 형상 이미지 셋(4915) 및 제2 가공된 형상 이미지 셋(4925)을 디스플레이를 통해 표시할 수 있다. 이때, 가공된 형상 이미지 셋에 포함되는 형상 이미지의 수는 사용자로부터 입력된 반복 횟수에 대응될 수 있다.
이미지 사이의 스타일을 교환하는 대표적인 방법으로 스타일 전이(style transfer)가 있다. 스타일 전이는, 특정 이미지의 특징을 추출하여, 해당 특징을 다른 이미지에 입히거나(overlap), 반영(reflection)하도록 학습된다.
도 50은, 다양한 실시예들에 따른, 전자 장치가 복수의 이미지를 활용하여 가공 이미지를 획득하는 다양한 방법들을 도시한 도면이다.
도 50을 참조하면, 전자 장치는 제1 이미지(5010) 및 제2 이미지(5020)를 미리 저장된 다양한 이미지 처리 알고리즘들 중 적어도 하나를 기초로 처리하여 가공된 이미지(5031, 5032)를 획득할 수 있다.
일 예로, 전자 장치는 제1 이미지(5010) 및 제2 이미지(5020)를 픽셀 스왑 모델(5001)을 기초로 처리하여 제1 가공된 이미지(5031)를 획득할 수 있다. 이때, 픽셀 스왑 모델(5001)에 기초한 이미지 처리 알고리즘은 상술한 도 34 내지 도 49에 기재된 특징이 그대로 적용될 수 있다. 즉, 전자 장치는 제1 이미지(5010)의 형상적 특징은 유지하되, 제2 이미지(5020)의 색상과 연관된 특징을 반영하도록 제2 이미지(5020)의 픽셀들을 제1 이미지(5010)에 전이한 제1 가공된 이미지(5031)를 획득할 수 있다.
다른 예로, 전자 장치는 제1 이미지(5010) 및 제2 이미지(5020)를 스타일 전이 모델(5002)을 기초로 처리하여 제2 가공된 이미지(5032)를 획득할 수 있다. 이때, 스타일 전이 모델(5002)에 기초한 이미지 처리 알고리즘은 당업자에게 알려진 일반적인 스타일 전이 알고리즘이 적용될 수 있는데, 예를 들어, 신경망 모델을 통해 제2 이미지(5020)의 특징을 추출하고, 상기 제2 이미지(5020)의 특징을 제1 이미지(5010)에 적용함으로써 제2 가공된 이미지(5032)를 획득할 수 있다.
스타일 전이의 경우, 머신 러닝 기반의 알고리즘만이 이용되는 반면, 픽셀 스왑의 경우, 픽셀 간의 대응 관계를 정의하는 알고리즘 기반으로 수행될 수 있다. 이에 따라, 스타일 전이의 경우, 형상의 변화가 허용되는 반면, 픽셀 스왑의 경우, 픽셀의 특성 자체가 상호 교환됨에 따라서, 형상의 변화가 허용되지 않는다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (13)

  1. 이미지 처리 방법에 있어서,
    메모리에 저장된 복수의 인스트럭션들 중 적어도 일부에 따라 동작하는 적어도 하나의 프로세서에 의해,
    제1 이미지 및 제2 이미지를 획득하는 단계;
    상기 제1 이미지에 포함되는 복수의 픽셀들을 색상에 연관된 속성 및 밝기와 연관된 속성으로 정의된 좌표 공간 상에 나타냄으로써 제1 픽셀 맵을 획득하고, 상기 제2 이미지에 포함되는 복수의 픽셀들을 색상에 연관된 속성 및 밝기와 연관된 속성으로 정의된 좌표 공간 상에 나타냄으로써 제2 픽셀 맵을 획득하는 단계;
    상기 제1 픽셀 맵에 포함되는 제1 포인트 및 상기 제2 픽셀 맵에 포함되는 제2 포인트 - 이때 상기 제2 포인트의 상기 제2 픽셀 맵 상에서의 위치는 상기 제1 포인트의 상기 제1 픽셀 맵 상에서의 위치에 대응됨- 를 식별하는 단계;및
    식별된 상기 제1 포인트 및 상기 제2 포인트를 기초로 상기 제1 이미지에 포함되는 복수의 픽셀들의 위치적 특성 및 상기 제2 이미지에 포함되는 복수의 픽셀들의 시각적 특성을 반영하는 제3 이미지를 획득하는 단계; 를 포함하는
    이미지 처리 방법.
  2. 제1항에 있어서,
    상기 제3 이미지를 획득하는 단계는,
    상기 제2 포인트에 대응되는 상기 제2 이미지 상에서의 제2 픽셀을 확인하는 단계; 및
    상기 제1 픽셀의 위치적 특성 및 상기 제2 픽셀의 시각적 특성을 반영하는 제3 픽셀을 포함하는 제3 이미지를 획득하는 단계; 를 포함하는
    이미지 처리 방법.
  3. 제2항에 있어서,
    상기 제3 픽셀의 색상 값은 상기 제2 픽셀의 색상 값과 동일한
    이미지 처리 방법.
  4. 제1항에 있어서,
    상기 제3 이미지는 상기 제1 이미지에 나타나는 형상을 포함하는 것을 특징으로 하는
    이미지 처리 방법.
  5. 제1항에 있어서,
    상기 제1 이미지를 기초로 제1 스케일의 제1 샘플링 이미지를 획득하고, 상기 제2 이미지를 기초로 상기 제1 스케일의 제2 샘플링 이미지를 획득하는 단계;를 더 포함하고,
    상기 제1 픽셀 맵은 상기 제1 샘플링 이미지의 적어도 일부분에 대응되고, 상기 제2 픽셀 맵은 상기 제2 샘플링 이미지의 적어도 일부분에 대응되는
    이미지 처리 방법.
  6. 제1항에 있어서,
    상기 제1 픽셀 맵을 제3 스케일로 정규화(normalization)함으로써 제1 정규화된 픽셀 맵을 획득하고, 상기 제2 픽셀 맵을 제1 스케일로 정규화함으로써 제2 정규화된 픽셀 맵을 획득하는 단계;를 더 포함하고,
    상기 제1 정규화된 픽셀 맵 및 상기 제2 정규화된 픽셀 맵의 위치적 대응 관계를 기초로 상기 제1 픽셀 맵 및 상기 제2 픽셀 맵의 위치적 대응 관계를 설정하는
    이미지 처리 방법.
  7. 제1항에 내지 제6항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  8. 복수의 이미지들을 기초로 가공 이미지를 제공하기 위한 전자 장치에 있어서,
    디스플레이;
    복수의 인스트럭션들이 저장된 메모리; 및
    상기 복수의 인스트럭션들 중 일부를 기초로 동작하는 적어도 하나의 프로세서; 를 포함하고,
    상기 적어도 하나의 프로세서는,
    제1 이미지 및 제2 이미지를 상기 디스플레이를 이용하여 표시하고,
    상기 제1 이미지에 포함되는 복수의 픽셀들을 색상에 연관된 속성 및 밝기와 연관된 속성으로 정의된 좌표 공간 상에 나타냄으로써 제1 픽셀 맵을 획득하고, 상기 제2 이미지에 포함되는 복수의 픽셀들을 색상에 연관된 속성 및 밝기와 연관된 속성으로 정의된 좌표 공간 상에 나타냄으로써 제2 픽셀 맵을 획득하고,
    상기 제1 픽셀 맵에 포함되는 제1 포인트 및 상기 제2 픽셀 맵에 포함되는 제2 포인트 - 이때 상기 제2 포인트의 상기 제2 픽셀 맵 상에서의 위치는 상기 제1 포인트의 상기 제1 픽셀 맵 상에서의 위치에 대응됨- 를 식별하고,
    식별된 상기 제1 포인트 및 상기 제2 포인트를 기초로 상기 제1 이미지에 포함되는 복수의 픽셀들의 위치적 특성 및 상기 제2 이미지에 포함되는 복수의 픽셀들의 시각적 특성을 반영하는 가공 이미지를 상기 디스플레이를 이용하여 표시하도록 설정되는
    전자 장치.
  9. 제8항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제2 포인트에 대응되는 상기 제2 이미지 상에서의 제2 픽셀을 확인하고,
    상기 제1 픽셀의 위치적 특성 및 상기 제2 픽셀의 시각적 특성을 반영하는 제3 픽셀을 포함하는 상기 가공 이미지를 획득하도록 더 설정되는
    전자 장치.
  10. 제8항에 있어서,
    상기 가공 이미지는 상기 제1 이미지에 나타나는 형상을 포함하는 것을 특징으로 하는
    전자 장치.
  11. 제8항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 디스플레이를 통해, 상기 가공 이미지의 특정 영역에 대한 사용자 입력을 수신하고,
    상기 특정 영역에 대응되는 상기 제1 이미지 상의 제1 영역 및 상기 제2 이미지 상의 제2 영역을 시각적으로 표시하도록 더 설정되는
    전자 장치.
  12. 제8항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 디스플레이를 통해, 상기 제2 이미지의 제3 영역에 대한 사용자 입력을 수신하고,
    상기 제3 영역에 대응되는 상기 제1 이미지 상의 적어도 하나의 영역을 확인하고,
    상기 제1 이미지 상의 적어도 하나의 영역에 포함되는 적어도 하나의 픽셀의 특성을 상기 제2 이미지의 상기 제3 영역에 포함되는 적어도 하나의 픽셀의 특성을 기초로 조정하도록 더 설정되는
    전자 장치.
  13. 제8항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 이미지가 상기 가공 이미지로 변환되는 시각적 효과를 포함하는 제1 시뮬레이션을 상기 디스플레이를 이용하여 제공하도록 더 설정되는
    전자 장치.
KR1020220182840A 2022-08-18 2022-12-23 복수의 이미지에 포함되는 픽셀 사이의 대응 관계를 반영하는 이미지를 획득하기 위한 이미지 처리 방법 및 그러한 방법을 수행하는 전자 장치 KR102535692B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2023/001001 WO2024038983A1 (ko) 2022-08-18 2023-01-20 픽셀 기반의 이미지 처리 방법 및 그러한 방법이 구현된 사용자 인터페이스를 포함하는 전자 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220103404 2022-08-18
KR20220103404 2022-08-18

Publications (1)

Publication Number Publication Date
KR102535692B1 true KR102535692B1 (ko) 2023-05-26

Family

ID=86536400

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020220182839A KR102535688B1 (ko) 2022-08-18 2022-12-23 픽셀 기반의 이미지 처리 방법 및 그러한 방법이 구현된 사용자 인터페이스를 포함하는 전자 장치
KR1020220182838A KR102535687B1 (ko) 2022-08-18 2022-12-23 이미지에 대응되는 형상 이미지를 제공하기 위한 이미지 처리 방법 및 그러한 방법을 수행하는 전자 장치
KR1020220182840A KR102535692B1 (ko) 2022-08-18 2022-12-23 복수의 이미지에 포함되는 픽셀 사이의 대응 관계를 반영하는 이미지를 획득하기 위한 이미지 처리 방법 및 그러한 방법을 수행하는 전자 장치
KR1020230064220A KR20240025448A (ko) 2022-08-18 2023-05-18 이미지 처리 방법 및 그러한 방법을 수행하는 전자 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020220182839A KR102535688B1 (ko) 2022-08-18 2022-12-23 픽셀 기반의 이미지 처리 방법 및 그러한 방법이 구현된 사용자 인터페이스를 포함하는 전자 장치
KR1020220182838A KR102535687B1 (ko) 2022-08-18 2022-12-23 이미지에 대응되는 형상 이미지를 제공하기 위한 이미지 처리 방법 및 그러한 방법을 수행하는 전자 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230064220A KR20240025448A (ko) 2022-08-18 2023-05-18 이미지 처리 방법 및 그러한 방법을 수행하는 전자 장치

Country Status (2)

Country Link
KR (4) KR102535688B1 (ko)
WO (1) WO2024038983A1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050067389A (ko) * 2002-08-28 2005-07-01 배 시스템즈 에어크라프트 컨트롤즈 인크. 화상 융합 시스템 및 방법
KR20140066789A (ko) * 2011-09-30 2014-06-02 이베이 인크. 이미지 특징 데이터 추출 및 사용
JP2015518588A (ja) * 2012-03-06 2015-07-02 アップル インコーポレイテッド 複数の画像プロパティを修正するための一体型スライダコントロール
KR20180074977A (ko) * 2016-12-26 2018-07-04 연세대학교 산학협력단 영상 간의 특질 변환 시스템 및 그 방법
KR20200106657A (ko) * 2019-03-05 2020-09-15 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR20200116836A (ko) * 2019-04-02 2020-10-13 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR20220052779A (ko) * 2020-10-21 2022-04-28 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102215101B1 (ko) * 2019-07-16 2021-02-09 연세대학교 산학협력단 이미지로부터 획득한 객체의 특징을 이용한 포인트 클라우드 생성 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050067389A (ko) * 2002-08-28 2005-07-01 배 시스템즈 에어크라프트 컨트롤즈 인크. 화상 융합 시스템 및 방법
KR20140066789A (ko) * 2011-09-30 2014-06-02 이베이 인크. 이미지 특징 데이터 추출 및 사용
JP2015518588A (ja) * 2012-03-06 2015-07-02 アップル インコーポレイテッド 複数の画像プロパティを修正するための一体型スライダコントロール
KR20180074977A (ko) * 2016-12-26 2018-07-04 연세대학교 산학협력단 영상 간의 특질 변환 시스템 및 그 방법
KR20200106657A (ko) * 2019-03-05 2020-09-15 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR20200116836A (ko) * 2019-04-02 2020-10-13 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR20220052779A (ko) * 2020-10-21 2022-04-28 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Also Published As

Publication number Publication date
KR102535688B1 (ko) 2023-05-26
KR102535687B1 (ko) 2023-05-26
KR20240025448A (ko) 2024-02-27
WO2024038983A1 (ko) 2024-02-22

Similar Documents

Publication Publication Date Title
US10699491B2 (en) Virtually representing spaces and objects while maintaining physical properties
WO2020192568A1 (zh) 人脸图像生成方法、装置、设备及存储介质
US11854118B2 (en) Method for training generative network, method for generating near-infrared image and device
US10937200B2 (en) Object-based color adjustment
US10769830B2 (en) Transferring vector style properties to a vector artwork
CN111402143A (zh) 图像处理方法、装置、设备及计算机可读存储介质
US20170178306A1 (en) Method and device for synthesizing an image of a face partially occluded
US11734899B2 (en) Headset-based interface and menu system
US20220084165A1 (en) System and method for single-modal or multi-modal style transfer and system for random stylization using the same
US20230047748A1 (en) Method of fusing image, and method of training image fusion model
KR102535692B1 (ko) 복수의 이미지에 포함되는 픽셀 사이의 대응 관계를 반영하는 이미지를 획득하기 위한 이미지 처리 방법 및 그러한 방법을 수행하는 전자 장치
CN113642359B (zh) 人脸图像生成方法、装置、电子设备及存储介质
JP2022003505A (ja) 髪型を変換するための方法、装置、デバイス及び記憶媒体
CN112150347A (zh) 从有限的修改后图像集合中学习的图像修改样式
US11842236B2 (en) Colored visual markers for variable use
US11715248B2 (en) Deep relightable appearance models for animatable face avatars
US20230035282A1 (en) Adaptive bounding for three-dimensional morphable models
KR20230016418A (ko) 이미지 생성 모델 학습 장치 및 방법
JP4550460B2 (ja) コンテンツ表現制御装置およびコンテンツ表現制御プログラム
CN114299105A (zh) 图像处理方法、装置、计算机设备及存储介质
US20240062030A1 (en) Colored visual markers for variable use
US10496241B2 (en) Cloud-based inter-application interchange of style information
CN116030201B (zh) 多颜色发型演示图像的生成方法、装置、终端及存储介质
US20240029354A1 (en) Facial texture synthesis for three-dimensional morphable models
KR20190105157A (ko) 의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant