KR20190114739A - 이미지 처리 방법 및 디바이스 - Google Patents

이미지 처리 방법 및 디바이스 Download PDF

Info

Publication number
KR20190114739A
KR20190114739A KR1020190016357A KR20190016357A KR20190114739A KR 20190114739 A KR20190114739 A KR 20190114739A KR 1020190016357 A KR1020190016357 A KR 1020190016357A KR 20190016357 A KR20190016357 A KR 20190016357A KR 20190114739 A KR20190114739 A KR 20190114739A
Authority
KR
South Korea
Prior art keywords
image
face
parameter
context
processing device
Prior art date
Application number
KR1020190016357A
Other languages
English (en)
Inventor
앨버트 사-가리가
앨레산드로 반디니
안토니 라라크
다니엘 안소레구이
카르티케얀 사라바난
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP19775892.3A priority Critical patent/EP3707678A4/en
Priority to PCT/KR2019/003449 priority patent/WO2019190142A1/en
Priority to US16/364,866 priority patent/US20190304152A1/en
Publication of KR20190114739A publication Critical patent/KR20190114739A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

이미지 상에 존재하는 객체의 얼굴을 인식하는 단계, 인식된 얼굴 이미지로부터 획득한 적어도 하나의 특징을 적어도 하나의 페이스 파라미터로 획득하고, 이미지와 관련된 컨텍스트를 적어도 하나의 컨텍스트 파라미터로 획득하는 단계, 획득된 적어도 하나의 페이스 파라미터 및 적어도 하나의 컨텍스트 파라미터를 기초로 인식된 얼굴을 조작하기 위한 조작 포인트를 결정하는 단계 및 결정된 조작 포인트를 기초로 이미지를 조작하는 단계를 포함하는 이미지 처리 방법을 제공한다.

Description

이미지 처리 방법 및 디바이스{method AND DEVICE for processing Image}
본 개시의 실시예들은 이미지 처리 방법 및 디바이스, 구체적으로 이미지에 존재하는 얼굴을 인식하여 조작하는 방법 및 그 방법을 실행하는 디바이스에 관한 것이다.
최근 이미지 프로세싱 기술의 발전으로, 이미지 상에 존재하는 얼굴을 정의하는 다양한 요소들의 집합을 파라미터화하기 위한 다양한 형태의 페이스 모델링 알고리즘을 접할 수 있게 되었다.
그러나, 일반적인 파라미터의 모델만으로는 상황에 따라 각 인물의 다양한 얼굴 표정을 구체적으로 표현하는 데에 한계가 있다.
따라서, 컨텍스트 정보를 이용하여 이미지 상에 존재하는 얼굴을 조작하는 기술에 대한 연구가 필요하다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예에 따르면, 이미지 상에 존재하는 객체의 얼굴을 인식하는 단계, 상기 인식된 얼굴 이미지로부터 획득한 적어도 하나의 특징을 적어도 하나의 페이스 파라미터(facial parameter)로 획득하고, 상기 이미지와 관련된 컨텍스트를 적어도 하나의 컨텍스트 파라미터(contextual parameter)로 획득하는 단계, 상기 획득된 적어도 하나의 페이스 파라미터 및 상기 획득된 적어도 하나의 컨텍스트 파라미터를 기초로 상기 인식된 얼굴을 조작하기 위한 조작 포인트를 결정하는 단계 및 상기 조작 포인트를 기초로 상기 이미지를 조작하는 단계를 포함하는 이미지 처리 방법이 제공될 수 있다.
또한, 상기 인식된 얼굴을 조작하기 위한 조작 포인트를 결정하는 단계는 상기 적어도 하나의 컨텍스트 파라미터 중 적어도 하나를 기초로, 상기 적어도 하나의 페이스 파라미터 중 상기 조작 포인트를 결정하는 데 사용될 적어도 하나의 파라미터를 선택하는 단계를 포함할 수 있다.
상기 인식된 얼굴을 조작하기 위한 조작 포인트를 결정하는 단계는 상기 적어도 하나의 컨텍스트 파라미터 중 적어도 하나를 기초로, 상기 적어도 하나의 페이스 파라미터 중 상기 조작 포인트를 결정하는 과정에서 배제되거나 보정될 적어도 하나의 파라미터를 선택하는 단계를 포함할 수도 있다.
상기 조작 포인트를 결정하는 단계는 상기 획득된 컨텍스트 파라미터가 복수 개인 경우, 상기 획득된 컨텍스트 파라미터를 다양한 조합 방법에 따라 조합하여 복수의 클러스터를 생성하고, 상기 생성된 복수의 클러스터 중 하나의 클러스터를 선택하는 단계 및 상기 선택된 클러스터에 대응하는 조작 포인트를 결정하는 단계를 포함할 수 있다.
또한, 상기 복수의 클러스터 중 하나의 클러스터는 상기 획득된 적어도 하나의 컨텍스트 파라미터를 입력 값으로 하는 머신 러닝 알고리즘을 이용하여 선택될 수 있다.
또한, 상기 조작 포인트를 결정하는 단계는 복수의 페이스 모델 중 상기 인식된 얼굴에 결합될 하나의 페이스 모델을 선택하는 단계를 포함할 수 있다.
또한, 상기 이미지를 조작하는 단계는 상기 인식된 얼굴의 적어도 일부를 상기 선택된 페이스 모델의 대응 부분으로 대체하는 단계를 포함할 수 있다.
또한, 상기 조작 포인트를 결정하는 단계는 상기 획득된 적어도 하나의 페이스 파라미터 및 적어도 하나의 컨텍스트 파라미터를 기초로 복수의 이미지 필터 중 하나를 선택하는 단계를 포함하고, 상기 이미지를 조작하는 단계는, 상기 선택된 이미지 필터를 상기 이미지에 적용하는 단계를 포함할 수 있다.
또한, 상기 컨텍스트 파라미터는 상기 이미지에 나타난 적어도 한 명의 사람을 식별하기 위한 인물 식별 정보, 상기 식별된 인물의 프로필, 상기 이미지를 조작하는 사용자에 대한 프로필, 상기 이미지를 조작하는 사용자과 상기 식별된 인물의 관계, 상기 이미지가 촬영된 장소, 상기 이미지가 촬영된 시간, 상기 이미지 촬영 시점의 날씨, 상기 이미지의 촬영에 사용된 디바이스에 관한 정보, 상기 이미지를 조작하는 사용자 및 상기 식별된 인물의 이미지 조작 히스토리 또는 상기 이미지에 대한 평가 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 인식된 얼굴에 결합될 하나의 페이스 모델을 선택하는 단계는 상기 획득된 페이스 파라미터 및 컨텍스트 파라미터를 기초로 추출된 복수의 페이스 모델을 사용자에게 제시하고, 상기 사용자로부터 상기 제시된 페이스 모델 중 하나에 대한 선택을 수신하는 단계를 포함할 수 있다.
본 개시 일 실시예의 또 다른 측면에 따르면, 이미지 상에 존재하는 객체의 얼굴을 인식하고, 상기 인식된 얼굴 이미지로부터 획득한 적어도 하나의 특징을 적어도 하나의 페이스 파라미터로 획득하고, 상기 이미지와 관련된 컨텍스트를 적어도 하나의 컨텍스트 파라미터로 획득하고, 상기 획득된 적어도 하나의 페이스 파라미터 및 상기 획득된 적어도 하나의 컨텍스트 파라미터를 기초로 상기 인식된 얼굴을 조작하기 위한 조작 포인트를 결정하고, 상기 조작 포인트를 기초로 상기 이미지를 조작하는 적어도 하나의 프로세서 및 상기 조작된 이미지를 출력하는 디스플레이를 포함하는 이미지 처리 디바이스가 제공될 수 있다.
상기 상기 프로세서는 상기 적어도 하나의 컨텍스트 파라미터 중 적어도 하나를 기초로, 상기 적어도 하나의 페이스 파라미터 중 상기 조작 포인트를 결정하는 데 사용될 적어도 하나의 파라미터를 선택할 수 있다.
또한, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 컨텍스트 파라미터 중 적어도 하나를 기초로, 상기 적어도 하나의 페이스 파라미터 중 상기 조작 포인트를 결정하는 과정에서 배제되거나 보정될 적어도 하나의 파라미터를 선택할 수 있다.
또한, 상기 적어도 하나의 프로세서는 상기 획득된 컨텍스트 파라미터가 복수 개인 경우, 상기 획득된 컨텍스트 파라미터를 다양한 조합 방법에 따라 조합하여 복수의 클러스터를 생성하고, 상기 생성된 복수의 클러스터 중 하나의 클러스터를 선택하고, 상기 선택된 클러스터에 대응하는 조작 포인트를 결정할 수 있다.
상기 복수의 클러스터 중 하나의 클러스터는 상기 획득된 적어도 하나의 컨텍스트 파라미터를 입력 값으로 하는 머신 러닝 알고리즘을 이용하여 선택될 수 있다.
또한, 상기 적어도 하나의 프로세서는 복수의 페이스 모델 중 상기 인식된 얼굴에 결합될 하나의 페이스 모델을 선택함으로써 상기 조작 포인트를 결정할 수 있다.
또한, 상기 적어도 하나의 프로세서는 상기 인식된 얼굴의 적어도 일부를 상기 선택된 페이스 모델의 대응 부분으로 대체함으로써 상기 이미지를 조작할 수 있다.
또한, 상기 적어도 하나의 프로세서는 상기 획득된 적어도 하나의 페이스 파라미터 및 적어도 하나의 컨텍스트 파라미터를 기초로 복수의 이미지 필터 중 하나를 선택함으로써 상기 조작 포인트를 결정하고, 상기 선택된 이미지 필터를 상기 이미지에 적용함으로써 상기 이미지를 조작할 수 있다.
상기 적어도 하나의 컨텍스트 파라미터는 상기 이미지에 나타난 적어도 한 명의 사람을 식별하기 위한 인물 식별 정보, 상기 식별된 인물의 프로필, 상기 이미지를 조작하는 사용자에 대한 프로필, 상기 이미지를 조작하는 사용자과 상기 식별된 인물의 관계, 상기 이미지가 촬영된 장소, 상기 이미지가 촬영된 시간, 상기 이미지 촬영 시점의 날씨, 상기 이미지의 촬영에 사용된 디바이스에 관한 정보, 상기 이미지를 조작하는 사용자 및 상기 식별된 인물의 이미지 조작 히스토리 또는 상기 이미지에 대한 평가 정보 중 적어도 하나를 포함할 수 있다.
본 개시 일 실시예의 또 다른 측면에 따르면, 상기 이미지 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
도1은 본 개시의 일 실시예에 따른 이미지 처리 디바이스의 구성도이다.
도2는 본 개시의 일 실시예에 따른 이미지 처리 방법의 흐름도이다
도3은 본 개시의 일 실시예에 따라 이미지를 조작하는 방법을 도시한 도면이다.
도4는 본 개시의 일 실시예에 따라 이미지를 조작하기 위하여 사용하는 페이스 모델의 예시를 도시한 도면이다.
도5는 본 개시의 일 실시예에 따라 컨텍스트 파라미터를 기초로 적용될 페이스 파라미터를 결정하는 예시를 도시한 도면이다.
도6은 본 개시의 일 실시예에 따라 컨텍스트 파라미터를 기초로 적용될 페이스 파라미터를 결정하는 흐름도이다.
도7은 본 개시의 일 실시예에 따라 컨텍스트 파라미터를 먼저 적용한 후, 그결과를 기초로 페이스 파라미터를 적용한 예시를 도시한 도면이다.
도8은 본 개시의 일 실시예에 따라 컨텍스트 파라미터를 먼저 적용한 후, 그결과를 기초로 페이스 파라미터를 적용한 흐름도이다.
도9는 본 개시의 일 실시예에 따라 이미지를 처리하기 위한 장치의 구조도이다.
도10은 본 개시의 일 실시예에 따라 클러스터링 유닛이 머신 러닝 알고리즘을 이용하여 조작 포인트를 선택하는 방법에 대한 흐름도이다.
도11은 본 개시의 일 실시예에 따른 이미지 처리 방법의 다른 흐름도이다.
도12는 본 개시의 일 실시예에 따른 이미지 처리 방법의 또 다른 흐름도이다.
도13은 본 개시의 일 실시예에 따라 뷰티 앱에서 컨텍스트 파라미터를 적용하여 사용자에 따라 이미지 상의 얼굴을 다르게 개선하는 예시를 도시한 도면이다.
도14는 본 개시의 일 실시예에 따라 광고 모델의 얼굴을 타겟 소비자와 유사하게 조작하는 예시를 도시한 도면이다.
도15는 본 개시의 일 실시예에 따라 프라이버시를 보호하기 위하여 컨텍스트 파라미터를 적용하여 이미지 상의 얼굴을 조작하는 예시를 도시한 도면이다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 제시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도1은 본 개시의 일 실시예에 따른 이미지 처리 디바이스의 구성도이다.
본 개시의 일 실시예에 따른 이미지 처리 디바이스(100)는 프로세서(130) 및 디스플레이(150)를 포함할 수 있다.
프로세서(130)는 이미지 상에 존재하는 객체의 얼굴을 인식할 수 있다. 프로세서(130)는 복수의 프로세서를 포함할 수 있다.
이미지 상에는 적어도 하나 이상의 인물이 존재할 수 있는데, 프로세서(130)는 각 인물의 얼굴 부분을 인식하고 인식된 각 얼굴에 대하여 차례로 본 개시의 이미지 조작을 실시할 수 있다.
프로세서(130)는 또한 인식된 얼굴 이미지로부터 획득한 적어도 하나의 특징을 적어도 하나의 페이스 파라미터로 획득할 수 있다. 얼굴 이미지로부터 획득할 수 있는 특징으로는, 얼굴 형, 얼굴의 크기, 이목구비의 모양, 인물의 표정, 인물의 감정, 얼굴 부위에 따른 빛의 반사율, 조명의 세기, 조명의 방향 등이 있을 수 있다.
본 명세서에서 페이스 파라미터는 이미지 조작의 대상인 얼굴 이미지로부터 획득할 수 있는 위와 같은 특징들을 다양한 방식으로 조합하여 카테고리화한 정보를 의미할 수 있다.
페이스 파라미터는 다양한 방식으로 획득될 수 있다. 예를 들어, 페이스 파라미터는 이미지에 페이스 파라미터화 알고리즘(face prameterisation algorithm)을 적용하여 획득될 수 있다.
프로세서(130)는 또한, 이미지와 관련된 적어도 하나의 컨텍스트를 적어도 하나의 컨텍스트 파라미터로 획득할 수 있다.
이미지와 관련된 컨텍스트로는 이미지에 나타난 적어도 한 명의 사람을 식별하기 위한 인물 식별 정보, 식별된 인물의 프로필, 이미지 처리 디바이스(100)의 사용자에 대한 국적, 나이, 인종, 성별, 가족 관계, 친구 관계 등을 포함하는 사용자 프로필, 식별된 인물과 사용자의 관계, 이미지가 촬영된 장소, 이미지가 촬영된 시간, 이미지 촬영 시점의 날씨, 이미지를 촬영한 디바이스에 대한 정보, 사용자의 이미지 조작 히스토리, 사용자의 미적 선호, 이미지에 대한 평가 정보 등이 있을 수 있다.
이미지와 관련된 컨텍스트는 조작의 대상인 얼굴 이미지 이외의 이미지 부분에 대한 정보, 사용자에 대한 정보 혹은 디바이스에 대한 정보 등으로부터 추출될 수 있다.
본 명세서에서 컨텍스트 파라미터는 다양한 컨텍스트를 다양한 방식으로 조합하여 카테고리화한 정보를 의미할 수 있다.
컨텍스트 파라미터는 입력 이미지와 관련된 메타 데이터 및 입력 이미지를 분석함으로써 생성된 정보 등을 포함할 수 있다.
프로세서(130)는 또한 획득된 페이스 파라미터 및 획득된 컨텍스트 파라미터를 기초로 이미지로부터 인식된 얼굴을 조작하기 위한 조작 포인트를 결정하고, 결정된 조작 포인트를 기초로 이미지를 조작할 수 있다.
조작 포인트 결정 및 결정된 조작 포인트를 기초로 이미지를 조작하는 부분에 관한 자세한 내용은 후술한다.
디스플레이(150)는 얼굴 조작이 완료된 이미지를 출력할 수 있다.
디스플레이(150)는 패널, 홀로그램 장치, 또는 프로젝터를 포함할 수 있다.
본 실시예에서 프로세서(130) 및 디스플레이(150)는 별도의 구성 단위로 표현되어 있으나, 일부 실시예에서는 프로세서(130) 및 디스플레이(150)가 합쳐져 동일한 구성 단위로 구현될 수도 있다.
또한 본 실시예에서 프로세서(130) 및 디스플레이(150)는 이미지 처리 디바이스(100) 내부에 인접하여 위치한 구성 단위로 표현되었지만, 프로세서(130) 및 디스플레이(150)의 각 기능을 담당하는 장치는 반드시 물리적으로 인접할 필요는 없으므로, 실시 예에 따라 프로세서(130) 및 디스플레이(150)가 분산되어 있을 수 있다.
또한, 이미지 처리 디바이스(100)는 물리적 장치에 한정되지 않으므로, 이미지 처리 디바이스(100)의 기능 중 일부는 하드웨어가 아닌 소프트웨어로 구현될 수도 있다.
일부 실시예에 따르면 이미지 처리 디바이스(100)는 메모리, 촬영부, 통신 인터페이스 등을 더 포함할 수 있다.
본 명세서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 디바이스의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 디바이스는 본 명세서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시예에 따른 디바이스의 구성요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도2는 본 개시의 일 실시예에 따른 이미지 처리 방법의 흐름도이다.
단계 S210에서 이미지 처리 디바이스(100)는 이미지 상에 존재하는 객체의 얼굴을 인식할 수 있다. 이미지 처리 디바이스(100)는 이미지 상에 존재하는 객체의 얼굴을 인식하기 위하여 이미 알려진 다양한 종류의 얼굴 인식 알고리즘을 사용할 수 있다.
이미지 상에 존재하는 인물이 두 명 이상인 경우에, 이미지 처리 디바이스(100)는 각 인물의 얼굴에 대하여 차례로 S230 내지 S270의 단계를 실시할 수 있다.
단계 S230에서 이미지 처리 디바이스(100)는 인식된 얼굴 이미지로부터 획득한 적어도 하나의 특징을 적어도 하나의 페이스 파라미터로 획득하고, 이미지와 관련된 적어도 하나의 컨텍스트를 적어도 하나의 컨텍스트 파라미터로 획득할 수 있다.
페이스 파라미터는 이미지 중 조작의 대상인 얼굴 이미지 부분으로부터 획득된 정보를 의미하고, 컨텍스트 파라미터는 이미지 중 조작의 대상인 얼굴 이미지 이외의 부분에서 획득된 정보 또는 사용자에 대한 정보, 촬영 디바이스에 대한 정보 등과 같이 이미지 외부로부터 획득된 정보를 의미할 수 있다.
이미지 파라미터는 얼굴 형, 얼굴의 크기, 이목구비의 모양, 인물의 표정, 인물의 감정, 얼굴 부위에 따른 빛의 반사율, 조명의 세기, 조명의 방향 등을 포함할 수 있다.
컨텍스트 파라미터는 이미지에 나타난 적어도 한 명의 사람을 식별하기 위한 인물 식별 정보, 식별된 인물의 프로필, 이미지 처리 디바이스(100)의 사용자에 대한 국적, 나이, 성별, 인종, 가족 관계, 친구 관계 등을 포함하는 사용자 프로필, 식별된 인물과 사용자의 관계, 이미지가 촬영된 장소, 이미지가 촬영된 시간, 이미지가 촬영될 당시의 날씨, 이미지를 촬영한 디바이스에 대한 정보, 사용자의 이미지 조작 히스토리, 사용자의 미적 선호, 이미지에 대한 평가 정보 등을 포함할 수 있다.
단계 S250에서 이미지 처리 디바이스(100)는 획득된 페이스 파라미터 및 획득된 컨텍스트 파라미터를 기초로 인식된 얼굴을 조작하기 위한 조작 포인트를 결정할 수 있다.
일 실시예에서 조작 포인트는 원래의 이미지에서 변경하고자 하는 부분을 의미할 수 있다.
이미지 처리 디바이스(100)는 이미지에서 획득된 컨텍스트를 기초로 인물의 얼굴형, 피부의 톤 또는 조명의 세기 등과 같은 얼굴 이미지 특징 중 적어도 하나를 조작 포인트로 결정할 수 있다.
예를 들어, 이미지가 촬영된 시간이 어두운 밤이라는 컨텍스트가 획득된 경우, 이미지 처리 디바이스(100)는 유사한 상황에서의 촬영에서 가장 많이 사용된 카메라 설정을 카메라에 자동으로 적용할 수 있다.
다른 예를 들어, 이미지 처리 디바이스(100)는 이미지가 어두운 밤에 촬영되었고, 감지된 얼굴의 피부 톤이 황색이라는 컨텍스트가 획득된 경우, 유사한 상황에서 유사한 피부 톤을 가진 인물을 촬영한 이미지에 대하여 사용된 이미지 조작의 통계 데이터를 기초로 인식된 얼굴 이미지에 대하여, 가장 적합한 조작 포인트를 결정할 수 있다.
다른 일 실시예에서, 이미지 처리 디바이스(100)는 복수의 페이스 모델 중 인식된 얼굴에 결합될 하나의 페이스 모델을 선택함으로써 조작 포인트를 결정할 수 있다.
복수의 페이스 모델은 이미지 처리 디바이스(100)에 저장된 다양한 형태의 페이스 모델을 의미할 수 있다.
일 실시예에 따르면, 이미지 처리 디바이스(100)는 획득된 페이스 파라미터 및 컨텍스트 파라미터를 기초로 추출된 복수의 페이스 모델을 사용자에게 제시하고, 사용자로부터 제시된 페이스 모델 중 하나에 대한 선택을 수신함으로써, 사용자에 의하여 선택된 페이스 모델을 조작 포인트로 결정할 수 있다.
단계 S270에서 이미지 처리 디바이스(100)는 조작 포인트를 기초로 이미지를 조작할 수 있다.
일 실시예에서, 이미지 처리 디바이스(100)는 인식된 얼굴의 전부 혹은 적어도 일부를 선택된 페이스 모델의 대응 부분으로 대체할 수 있다.
도3은 본 개시의 일 실시예에 따라 이미지를 조작하는 방법을 도시한 도면이다.
이미지 처리 디바이스(100)는 얼굴 이미지(300)으로부터, 다양한 얼굴 특징을 포함하는 적어도 하나의 페이스 파라미터(310) 및 이미지와 관련된 다양한 컨텍스트를 포함하는 적어도 하나의 컨텍스트 파라미터(320)를 획득할 수 있다.
이미지 처리 디바이스(100)는 복수의 저장된 페이스 모델(330)에 페이스 파라미터(310) 및 컨텍스트 파라미터(320)를 적용하여 하나의 페이스 모델(140)을 선택할 수 있다.
선택된 페이스 모델(340)은 페이스 파라미터(310)에 따라 다양한 페이스 모델(330) 중에서 선택된, 이미지 상의 얼굴 특징과 가장 유사한 모델이거나, 컨텍스트 파라미터(320)에 따라 다양한 페이스 모델(330) 중에서 선택된 모델일 수 있다.
원본 이미지(300)는 선택된 페이스 모델(340)과 결합되어 출력 이미지(350)로 변경될 수 있다.
예를 들어, 이미지 처리 디바이스(100)는 선택된 페이스 모델(340)을 원본 이미지(300) 상의 얼굴과 블렌딩함으로써 선택된 페이스 모델(340) 및 원본 이미지(300) 상의 얼굴을 결합하거나, 원본 이미지(300)의 적어도 일 부분을 페이스 모델(340)의 대응하는 일 부분으로 대체시킴으로써 선택된 페이스 모델(340) 및 원본 이미지(300) 상의 얼굴을 결합할 수 있다.
도4는 본 개시의 일 실시예에 따라 이미지를 조작하기 위하여 사용하는 페이스 모델의 예시를 도시한 도면이다.
일 실시예에서 페이스 모델(340)은 파라미터화된 모델일 수 있다. 페이스 모델(340)이 파라미터화된 모델이라는 것은 해당 페이스 모델(340)이 얼굴의 외관을 결정하는 다양한 파라미터들의 집합으로 생성된 모델이라는 것을 의미할 수 있다.
페이스 모델(340)은 얼굴의 모양을 결정하는 기하학적인 정보(a), 입사된 빛이 얼굴의 서로 다른 부위에서 반사되는 반사율 정보(b), 촬영 중에 조명이 어떻게 적용되었는지에 대한 조명 정보(c), 회전에 대한 포즈 정보 및 줌에 대한 정보(d) 및 표정 정보(e) 등을 포함할 수 있다.
본 개시의 일 실시예에 따라 이미지를 조작하는 방법은 파라미터화된 페이스 모델을 이용하는 것으로 한정되는 것은 아니고, 도11 및 도12의 실시예 등과 같은 다양한 이미지 조작 방법이 이용될 수 있다.
일 실시예에 따르면, 이미지에 관한 컨텍스트 정보를 활용함으로써, 더 적당한 결과를 획득할 수 있는 이미지 조작 방법이 결정될 수도 있다.
도5 및 도6은 본 개시의 일 실시예에 따라 컨텍스트 파라미터를 기초로 적용될 페이스 파라미터를 결정하는 예시에 관한 도면 및 흐름도이다.
이미지 처리 디바이스(100)는 페이스 파라미터 및 컨텍스트 파라미터를 기초로 얼굴 이미지를 조작하기 위한 조작 포인트를 결정한다.
이 때, 페이스 파라미터 및 컨텍스트 파라미터는 동시에 적용될 수 도 있고, 페이스 파라미터 및 컨텍스트 파라미터 중 하나가 먼저 적용되고, 나머지 하나가 나중에 적용될 수도 있다.
도5의 실시예에서 이미지 처리 디바이스(100)는 컨텍스트 파라미터 중 적어도 하나를 기초로, 페이스 파라미터 중 조작 포인트 결정에서 배제되거나 보정될 적어도 하나의 파라미터를 선택할 수 있다.
예를 들어, 이미지 처리 디바이스(100)는 이미지가 촬영된 장소가 바(bar)라는 컨텍스트 파라미터를 기초로, 강한 조명 컨트라스트(contrast)로 인하여 얼굴 이미지로부터 획득된 페이스 파라미터 중, 조명 정보에 왜곡이 있을 것을 예측할 수 있다. 이 경우, 이미지 처리 디바이스(100)는 이미지가 촬영 장소라는 컨텍스트 파라미터를 기초로, 페이스 파라미터 중 일부 즉, 조명에 관한 정보를 조작 포인트 결정에서 배제할 수 있다.
도5의 실시예에서 이미지 처리 디바이스(100)는 컨텍스트 파라미터(550)를 기초로 이미지(500)로부터 획득한 얼굴 이미지의 특징(530) 중에서 특정한 페이스 파라미터(570)를 배제하거나 보정한 후, 조정된 페이스 파라미터(570)를 페이스 모델 선택에 적용할 수 있다.
이에 대한 자세한 프로세스는 도6에 도시된 바와 같다.
도6의 단계 S610에서 이미지 처리 디바이스(100)는 이미지 상에 존재하는 얼굴을 감지할 수 있다.
단계 S620에서 이미지 처리 디바이스(100)는 감지된 얼굴에 페이스 파라미터화 알고리즘을 적용하여 페이스 파라미터들을 획득할 수 있다.
단계 S630에서 이미지 처리 디바이스(100)는 원본 이미지로부터 획득한 컨텍스트 파라미터를 이용하여 페이스 파라미터를 최적화할 수 있다. 현 단계에서 페이스 파라미터의 최적화란 왜곡 가능성이 있는 페이스 파라미터를 제외하거나, 정정하여 페이스 모델 선택에 적용될 페이스 파라미터들을 조정하는 것을 의미할 수 있다.
단계 S640에서 이미지 처리 디바이스(100)는 최적화된 페이스 파라미터를 페이스 모델에 적용하여, 하나의 페이스 모델을 선택할 수 있다.
단계 S650에서 이미지 처리 디바이스(100)는 원본상의 감지된 얼굴에 선택된 페이스 모델을 결합하여 이미지를 조작할 수 있다.
도7 및 도8은 본 개시의 일 실시예에 따라 컨텍스트 파라미터를 먼저 적용한 후, 그 결과를 기초로 페이스 파라미터를 적용한 예시를 도시한 도면 및 흐름도이다.
이미지 처리 디바이스(100)는 페이스 파라미터 및 컨텍스트 파라미터를 기초로 얼굴 이미지를 조작하기 위한 조작 포인트를 결정한다.
이 때, 페이스 파라미터 및 컨텍스트 파라미터는 동시에 적용될 수 도 있고, 페이스 파라미터 및 컨텍스트 파라미터 중 하나가 먼저 적용되고, 나머지 하나가 나중에 적용될 수도 있다.
도7 및 도8의 실시예에서 이미지 처리 디바이스(100)는 컨텍스트 파라미터 를 먼저 적용한 후, 컨텍스트 파라미터 중 적어도 하나를 기초로, 페이스 파라미터 중 조작 포인트를 결정하는 데 사용될 적어도 하나의 파라미터를 선택할 수 있다.
예를 들어, 이미지 처리 디바이스(100)는 특정한 국적의 사용자들이 이미지를 조작하는 경향에 대한 통계 정보를 이용하여 해당 국적의 사용자들이 선호하는 얼굴 특징에 대한 정보를 예측할 수 있다.
이 경우, 이미지 처리 디바이스(100)는 사용자의 국적이라는 컨텍스트 파라미터를 기초로, 해당 국적의 사용자들이 조작하기를 선호하는 얼굴 특징에 대한 페이스 파라미터를 선택하고, 선택된 파라미터들만 페이스 모델 선택에 적용할 수 있다.
다른 예를 들어, 이미지 처리 디바이스(100)는 이미지가 촬영된 시간 또는 장소에 따라 사용자들이 주로 조작하는 얼굴 특징에 대한 페이스 파라미터를 선택하여, 선택된 파라미터들만 페이스 모델 선택에 적용할 수 있다.
도7의 실시예에서 이미지 처리 디바이스(100)는 이미지(700)에 대하여 컨텍스트 파라미터(730)를 먼저 적용하여 페이스 모델 중 일부를 선택하고, 컨텍스트 파라미터(730)에 따라 이미지(700)로부터 획득한 얼굴 이미지의 특징(750) 중에서 페이스 모델 선택에 적용될 페이스 파라미터(770)를 선택할 수 있다.
이에 대한 자세한 프로세스는 도8에 도시된 바와 같다.
도8의 단계 S810에서 이미지 처리 디바이스(100)는 이미지 상에 존재하는 얼굴을 감지할 수 있다.
단계 S820에서 이미지 처리 디바이스(100)는 이미지와 관련된 컨텍스트 파라미터를 획득할 수 있다.
단계 S830에서 이미지 처리 디바이스(100)는 획득된 컨텍스트 파라미터를 적용하여 복수의 페이스 모델 중에서 일부를 선택할 수 있다.
단계 S840에서 이미지 처리 디바이스(100)는 감지된 얼굴에 페이스 파라미터화 알고리즘을 적용하여 페이스 파라미터를 획득할 수 있다.
단계 S850에서 이미지 처리 디바이스(100)는 컨텍스트 파라미터 중 적어도 하나를 이용하여 페이스 파라미터를 최적화할 수 있다. 현 단계에서 페이스 파라미터의 최적화란 적어도 하나의 컨텍스트 파라미터와 관련하여 조작될 가능성이 높은 얼굴 특징에 관한 페이스 파라미터들을 선택하는 것을 의미할 수 있다.
단계 S860에서 이미지 처리 디바이스(100)는 최적화된 페이스 파라미터를 페이스 모델에 적용하여, 하나의 페이스 모델을 선택할 수 있다.
단계 S870에서 이미지 처리 디바이스(100)는 원본상의 감지된 얼굴에 선택된 페이스 모델을 결합하여 이미지를 조작할 수 있다.
도9는 본 개시의 일 실시예에 따라 이미지를 처리하기 위한 장치의 구조도이다.
본 개시의 일 실시예에 따른 이미지 처리 디바이스(100)는 프로세서(130), 디스플레이(150) 및 클러스터링 유닛(950)를 포함하고, 프로세서(130)는 그 내부에 얼굴 감지기(910), 파라미터화 유닛(920) 및 이미지 조작기(930)를 포함할 수 있다.
도9의 실시예에 따른 프로세서(130) 및 디스플레이(150)는 클러스터링 유닛(950)에서 실행하는 기능을 제외하고, 도1에서 설명된 모든 기능을 동일하게 수행할 수 있다.
얼굴 감지기(910)는 입력 이미지(940)로부터 인물의 얼굴을 감지할 수 있다. 얼굴 감지기(910)는 입력 이미지(940)에 존재하는 하나 혹은 그 이상의 인물의 얼굴을 감지하기 위하여 다양한 얼굴 감지 알고리즘 중 하나의 얼굴 감지 알고리즘을 사용할 수 있다.
파라미터화 유닛(920)은 이미지와 관련된 컨텍스트 정보를 기초로 컨텍스트 파라미터를 획득하고, 감지된 얼굴 이미지의 특징을 기초로 페이스 파라미터를 획득할 수 있다.
파라미터화 유닛(920)은 획득된 컨텍스트 파라미터 및 페이스 파라미터를 클러스터링 유닛(950)로 전송하고, 클러스터링 유닛(950)로부터 조작 포인트를 수신할 수 있다.
클러스터링 유닛(950)은 파라미터화 유닛(920)으로부터 수신된 컨텍스트 파라미터 및 페이스 파라미터에 머신 러닝 알고리즘을 적용하여 특정한 클러스터와 관련된 조작 포인트를 식별하고, 식별된 조작 포인트를 파라미터화 유닛(920)으로 전송할 수 있다.
본 명세서에서 클러스터는 획득된 컨텍스트 파라미터가 복수 개인 경우, 획득된 컨텍스트 파라미터를 다양한 조합 방법에 따라 조합하여 생성된 컨텍스트 파라미터의 집합을 의미할 수 있다.
본 명세서에서 클러스터는 각각의 컨텍스트 파라미터에 대한 글로벌 데이터공통성을 의미할 수 있다.
예를 들어, 특정 장소에 대한 컨텍스트 파라미터의 집합은 해당 장소에서 촬영된 이미지에 대한 공통성을 나타낼 수 있다.
클러스터링 유닛(950)은 컨텍스트 파라미터 및 페이스 파라미터를 기초로 복수의 클러스터 중 하나의 클러스터를 선택하고, 선택된 클러스터에 대응하는 조작 포인트를 결정할 수 있다.
클러스터링 유닛(950)에 대한 더 상세한 내용은 도10에서 후술한다.
다른 실시예에서 클러스터링 유닛(950)은 이미지 처리 디바이스(100) 내부에 존재하지 않고, 외부에 있는 서버에 존재할 수도 있다.
이미지 조작기(930)는 결정된 조작 포인트를 기초로 입력 이미지(940)를 조작하여 출력 이미지(960)를 생성할 수 있다.
본 실시예에서 얼굴 감지기(910), 파라미터화 유닛(920), 이미지 조작기(930) 및 클러스터링 유닛(950)는 이미지 처리 디바이스(100) 내부에 인접하여 위치한 구성 단위로 표현되었지만, 얼굴 감지기(910), 파라미터화 유닛(920), 이미지 조작기(930) 및 클러스터링 유닛(950)의 각 기능을 담당하는 장치는 반드시 물리적으로 인접할 필요는 없으므로, 실시 예에 따라 얼굴 감지기(910), 파라미터화 유닛(920), 이미지 조작기(930) 및 클러스터링 유닛(950)가 분산되어 있을 수 있다.
또한, 이미지 처리 디바이스(100)는 물리적 장치에 한정되지 않으므로, 이미지 처리 디바이스(100)의 기능 중 일부는 하드웨어가 아닌 소프트웨어로 구현될 수도 있다.
도10은 본 개시의 일 실시예에 따라 클러스터링 유닛이 머신 러닝 알고리즘을 이용하여 조작 포인트를 선택하는 방법에 대한 흐름도이다.
단계 S1010에서 클러스터링 유닛(950)은 페이스 파라미터 및 컨텍스트 파라미터를 입력으로 수신할 수 있다.
단계 S1020에서 클러스터링 유닛(950)은 수신된 페이스 파라미터 및 컨텍스트 파라미터를 머신 러닝 알고리즘에 입력하여, 수신된 페이스 파라미터 및 컨텍스트 파라미터에 대응하는 클러스터를 식별할 수 있다.
머신 러닝 알고리즘은 페이스 파라미터 및 컨텍스트 파라미터 중 적어도 하나를 기초로 현재 이미지가 속하는 특정한 클러스터를 식별하기 위하여 트레인될 수 있다.
클러스터링 유닛(950)은 수신된 페이스 파라미터 및 컨텍스트 파라미터에 대응하는 클러스터를 식별하기 위하여, 뉴럴 네트워크(neural network), 클러스터링 알고리즘 또는 그 밖의 적당한 방법을 이용할 수도 있다.
단계 S1030에서 클러스터링 유닛(950)은 식별된 클러스터에 대응하는 페이스 모델을 선택할 수 있다.
일 실시예에서 현 단계는 클러스터링 유닛(950)에서 실행되지 않고, 전송된 클러스터를 수신한 수신자 측에서 실행될 수도 있다. 이 경우, 클러스터링 유닛(950)은 식별된 클러스터를 결과물로 출력하고, 식별된 클러스터를 수신한 수신자 측에서 식별된 클러스터에 대응하는 페이스 모델을 선택할 수 있다.
또한, 도10의 실시예에서는 조작 포인트를 결정하기 위하여 페이스 모델을 이용하였지만, 다른 실시예에서는 이미지 필터와 같은 다른 방법이 이용될 수도 있다.
단계 S1040에서 클러스터링 유닛(950)은 선택된 페이스 모델을 출력으로 전송할 수 있다.
일부 실시예에서 클러스터링 유닛(950)은 선택된 페이스 모델을 전송한 후, 수신된 페이스 파라미터 및 컨텍스트 파라미터에 따라 페이스 모델을 업데이트할 수 있다. 일부 실시예에서 클러스터링 유닛(950)은 업데이트된 페이스 모델을 저장하여 다음 이미지의 처리에 이용할 수 있다.
이러한 과정을 통하여 클러스터링 유닛(950)은 계속적으로 저장된 페이스 모델을 업데이트하고, 클러스터를 개선함으로써, 스스로 발전할 수 있다.
일부 실시예에서 이러한 업데이트 작업의 순서는 변경될 수 있다.
예를 들어, 업데이트 작업은 현 단계 이전 단계 중 하나에서 이루어지거나, 다른 단계들의 사이에 이루어질 수 있다.
도11은 본 개시의 일 실시예에 따른 이미지 처리 방법의 다른 흐름도이다.
이미지 처리 디바이스(100)는 조작 포인트를 결정하기 위하여 페이스 모델을 이용하지 않을 수 있다.
이미지 처리 디바이스(100)는 단계 S1110에서 이미지 상에 존재하는 얼굴을 감지할 수 있다.
이미지 처리 디바이스(100)는 단계 S1130에서 페이스 파라미터 및 컨텍스트 파라미터를 획득할 수 있다. 페이스 파라미터 및 컨텍스트 파라미터의 획득 방법은 도1 및 도2 등에서 전술한 것과 동일하다.
이미지 처리 디바이스(100)는 단계 S1130에서 획득된 컨텍스트 파라미터에 대응하는 참조 페이스 파라미터를 검색할 수 있다.
이미지 처리 디바이스(100)는 획득된 컨텍스트 파라미터에 대응하는 참조 페이스 파라미터를 검색함으로써 조작 포인트를 결정할 수 있다.
예를 들어, 이미지 처리 디바이스(100)는 참조 반사율과 유사한 얼굴 반사율을 표현할 수 있는 컬러 필터를 조작 포인트로 결정할 수 있다.
다른 예를 들어, 이미지 처리 디바이스(100)는 참조 기하 모형과 유사한 기하 모형을 나타낼 수 있는 얼굴 형을 조작 포인트로 결정하여 이미지 상의 얼굴 형을 변경할 수 있다.
이미지 처리 디바이스(100)는 단계 S1140에서 검색된 참조 페이스 파라미터와 유사한 페이스 파라미터를 기초로 얼굴 이미지를 조작할 수 있다.
도12는 본 개시의 일 실시예에 따른 이미지 처리 방법의 또 다른 흐름도이다.
이미지 처리 디바이스(100)는 조작 포인트를 결정하기 위하여 페이스 모델 대신, 이미지 필터를 이용할 수 있다.
이미지 처리 디바이스(100)는 단계 S1210에서 이미지 상에 존재하는 얼굴을 감지할 수 있다.
이미지 처리 디바이스(100)는 단계 S1220에서 페이스 파라미터 및 컨텍스트 파라미터를 획득할 수 있다. 페이스 파라미터 및 컨텍스트 파라미터의 획득 방법은 도1 및 도2 등에서 전술한 것과 동일하다.
이미지 처리 디바이스(100)는 단계 S1230에서 획득된 페이스 파라미터 및 컨텍스트 파라미터에 따라 자동으로 이미지 필터 중 하나를 선택할 수 있다.
이미지 처리 디바이스(100)는 저장된 복수의 이미지 필터 중에서 획득된 페이스 파라미터 및 컨텍스트 파라미터에 따라 하나의 이미지 필터를 선택할 수 있다.
이미지 처리 디바이스(100)는 단계 S1240에서 선택된 이미지 필터를 이미지에 적용할 수 있다.
도12의 실시예에 따른 이미지 처리 방법은 사용자가 사진을 촬영할 때, 촬영 당시의 컨텍스트 정보에 맞는 카메라 효과를 자동으로 설정하는 방식으로 이용될 수 있다. 예를 들어, 특정한 사용자는 자신에게 최적화된 자신만의 이미지 필터를 이용할 수 있다.
다른 실시예에서, 이미지 처리 디바이스(100)는 페이스 파라미터 및 컨텍스트 파라미터에 따라 디노이징(de-noising) 카메라 필터를 선택할 수 있다.
이미지 처리 디바이스(100)는 이전에 처리했던 이미지와 유사한 얼굴에 대하여 이전에 사용되었던 것과 동일한 디노이징 필터를 이용할 수 있다.
또한, 이미지 처리 디바이스(100)는 이미지를 촬영함에 있어서, 이전에 동일한 촬영 장소에서 이용되었던 카메라 설정과 동일한 카메라 설정을 자동으로 적용시킬 수 있다.
도13은 본 개시의 일 실시예에 따라 뷰티 앱에서 컨텍스트 파라미터를 적용하여 사용자에 따라 이미지 상의 얼굴을 다르게 개선하는 예시를 도시한 도면이다.
도3의 실시예에서 이미지 처리 방법은 인물용 뷰티 애플리케이션에 적용되어 인물의 얼굴을 자동으로 개선하는 데 이용될 수 있다.
이 때, 뷰티라는 개념은 주관적인 것이므로, 각 인물의 취향 또는 문화적 배경에 따라 각 인물에게 뷰티란 서로 다른 것을 의미할 수 있다.
예를 들어, A 문화권 사람들은 얼굴이 갸름하고 얼굴 폭이 좁은 사람을 미인이라고 생각하지만, B 문화권 사람들은 입이 큰 사람을 미인이라고 생각할 수 있다.
이미지 처리 디바이스(100)는 동일한 원본 이미지(1310)에 대하여, A 문화권 사람이 사용자인 경우, 얼굴 형을 조작 포인트로 결정하여 얼굴 형을 갸름하게 조작하고(1330), B 문화권 사람이 사용자인 경우, 입의 크기를 조작 포인트로 결정하여 입의 크기를 크게 조작할 수 있다(1350).
이미지 처리 디바이스(100)는 사용자의 국적 및 위치에 대한 정보 등과 같은 컨텍스트 정보를 이용함으로써 각 사용자의 뷰티 개념에 맞는 적절한 조작을 수행하여 얼굴 이미지를 개선할 수 있다.
도14는 본 개시의 일 실시예에 따라 광고 모델의 얼굴을 타겟 소비자와 유사하게 조작하는 예시를 도시한 도면이다.
이미지 처리 디바이스(100)는 상업 광고에 사용되는 배우의 얼굴을 시청자 혹은 타겟 소비자와 유사한 외모로 조작할 수 있다. 이는 자신과 유사한 외모를 가진 사람에게 호감을 갖는 인간의 성향을 이용하여 광고의 효과를 높이기 위한 것이다.
이미지 처리 디바이스(100)는 배우의 얼굴(1410)을 타겟 소비자의 평균 얼굴과 유사하게 조작(1420, 1430)함으로써 광고에 대한 타겟 소비자의 몰입도를 향상시킬 수 있다.
유사한 예로, 이미지 처리 디바이스(100)는 사용자의 외모 등과 같은 컨텍스트 정보를 활용하여 비디오 게임 상의 게임 캐릭터를 사용자와 유사한 얼굴로 조작함으로써 사용자의 게임 몰입도를 높일 수 있다.
도15는 본 개시의 일 실시예에 따라 프라이버시를 보호하기 위하여 컨텍스트 파라미터를 적용하여 이미지 상의 얼굴을 조작하는 예시를 도시한 도면이다.
본 개시의 일 실시예에 따른 이미지 처리 방법은 프라이버시를 보호하기 위하여 사진 상의 얼굴을 블러 처리 하는 대신, 컨텍스트 파라미터를 적용하여 조작하는 방식으로 활용될 수 있다.
이미지 처리 디바이스(100)는 이미지 상의 얼굴(1510)을 블러 처리 하는 대신, 임의의 다른 얼굴(1520) 혹은 원하는 얼굴(1520)로 변경함으로써 원래 이미지 상의 인물의 프라이버시를 보호할 수 있다.
이미지 상의 얼굴에 대한 블러 처리는 사진 전체의 이미지를 부자연스럽게 하여, 사진의 가치를 떨어뜨릴 수 있다. 이 경우, 이미지 상의 얼굴을 블러 처리하는 대신, 컨텍스트 정보에 따라 조작한다면, 사진이 부자연스럽게 되거나, 블러 처리된 부분에 시선이 집중되는 현상을 방지할 수 있다.
한편, 본 실시 예는 컴퓨터 판독가능 저장매체에 컴퓨터가 판독 가능한 코드를 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 저장매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.
상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 저장매체로부터 프로세서에 의하여 독출되어 실행될 때, 본 실시 예에 따른 촬영 디바이스 제어 방법을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 실시 예가 속하는 기술분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다.
컴퓨터 판독가능 저장매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 반송파(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터 판독가능 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행되는 것도 가능하다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일 형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 위 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 이미지 상에 존재하는 객체의 얼굴을 인식하는 단계;
    상기 인식된 얼굴 이미지로부터 획득한 적어도 하나의 특징을 적어도 하나의 페이스 파라미터(facial parameter)로 획득하고, 상기 이미지와 관련된 적어도 하나의 컨텍스트를 적어도 하나의 컨텍스트 파라미터(contextual parameter)로 획득하는 단계;
    상기 획득된 적어도 하나의 페이스 파라미터 및 상기 획득된 적어도 하나의 컨텍스트 파라미터를 기초로 상기 인식된 얼굴을 조작하기 위한 조작 포인트를 결정하는 단계; 및
    상기 결정된 조작 포인트를 기초로 상기 이미지를 조작하는 단계를 포함하는 이미지 처리 방법.
  2. 제1항에 있어서, 상기 인식된 얼굴을 조작하기 위한 조작 포인트를 결정하는 단계는,
    상기 적어도 하나의 컨텍스트 파라미터 중 적어도 하나를 기초로, 상기 적어도 하나의 페이스 파라미터 중 상기 조작 포인트를 결정하는 데 사용될 적어도 하나의 파라미터를 선택하는 단계를 포함하는 이미지 처리 방법.
  3. 제1항에 있어서, 상기 인식된 얼굴을 조작하기 위한 조작 포인트를 결정하는 단계는,
    상기 적어도 하나의 컨텍스트 파라미터 중 적어도 하나를 기초로, 상기 적어도 하나의 페이스 파라미터 중 상기 조작 포인트를 결정하는 과정에서 배제되거나 보정될 적어도 하나의 파라미터를 선택하는 단계를 포함하는 이미지 처리 방법.
  4. 제1항에 있어서, 상기 조작 포인트를 결정하는 단계는,
    상기 획득된 컨텍스트 파라미터가 복수 개인 경우, 상기 획득된 컨텍스트 파라미터를 다양한 조합 방법에 따라 조합하여 복수의 클러스터를 생성하고, 상기 생성된 복수의 클러스터 중 하나의 클러스터를 선택하는 단계; 및
    상기 선택된 클러스터에 대응하는 조작 포인트를 결정하는 단계를 포함하는 이미지 처리 방법.
  5. 제4항에 있어서, 상기 복수의 클러스터 중 하나의 클러스터는 상기 획득된 적어도 하나의 컨텍스트 파라미터를 입력 값으로 하는 머신 러닝 알고리즘을 이용하여 선택되는 이미지 처리 방법.
  6. 제1항에 있어서, 상기 조작 포인트를 결정하는 단계는,
    복수의 페이스 모델 중 상기 인식된 얼굴에 결합될 하나의 페이스 모델을 선택하는 단계를 포함하는 이미지 처리 방법.
  7. 제6항에 있어서,
    상기 이미지를 조작하는 단계는,
    상기 인식된 얼굴의 적어도 일부를 상기 선택된 페이스 모델의 대응 부분으로 대체하는 단계를 포함하는 이미지 처리 방법.
  8. 제1항에 있어서,
    상기 조작 포인트를 결정하는 단계는 상기 획득된 적어도 하나의 페이스 파라미터 및 적어도 하나의 컨텍스트 파라미터를 기초로 복수의 이미지 필터 중 하나를 선택하는 단계를 포함하고,
    상기 이미지를 조작하는 단계는, 상기 선택된 이미지 필터를 상기 이미지에 적용하는 단계를 포함하는 이미지 처리 방법.
  9. 제1항에 있어서, 상기 적어도 하나의 컨텍스트 파라미터는 상기 이미지에 나타난 적어도 한 명의 사람을 식별하기 위한 인물 식별 정보, 상기 식별된 인물의 프로필, 상기 이미지를 조작하는 사용자에 대한 프로필, 상기 이미지를 조작하는 사용자과 상기 식별된 인물의 관계, 상기 이미지가 촬영된 장소, 상기 이미지가 촬영된 시간, 상기 이미지 촬영 시점의 날씨, 상기 이미지의 촬영에 사용된 디바이스에 관한 정보, 상기 이미지를 조작하는 사용자 및 상기 식별된 인물의 이미지 조작 히스토리 또는 상기 이미지에 대한 평가 정보 중 적어도 하나를 포함하는 이미지 처리 방법.
  10. 제6항에 있어서, 상기 인식된 얼굴에 결합될 하나의 페이스 모델을 선택하는 단계는,
    상기 획득된 페이스 파라미터 및 컨텍스트 파라미터를 기초로 추출된 복수의 페이스 모델을 사용자에게 제시하고, 상기 사용자로부터 상기 제시된 페이스 모델 중 하나에 대한 선택을 수신하는 단계를 포함하는 이미지 처리 방법.
  11. 이미지 상에 존재하는 객체의 얼굴을 인식하고, 상기 인식된 얼굴 이미지로부터 획득한 적어도 하나의 특징을 적어도 하나의 페이스 파라미터로 획득하고, 상기 이미지와 관련된 적어도 하나의 컨텍스트를 적어도 하나의 컨텍스트 파라미터로 획득하고, 상기 획득된 적어도 하나의 페이스 파라미터 및 상기 획득된 적어도 하나의 컨텍스트 파라미터를 기초로 상기 인식된 얼굴을 조작하기 위한 조작 포인트를 결정하고, 상기 결정된 조작 포인트를 기초로 상기 이미지를 조작하는 적어도 하나의 프로세서; 및
    상기 조작된 이미지를 출력하는 디스플레이를 포함하는 이미지 처리 디바이스.
  12. 제11항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 컨텍스트 파라미터 중 적어도 하나를 기초로, 상기 적어도 하나의 페이스 파라미터 중 상기 조작 포인트를 결정하는 데 사용될 적어도 하나의 파라미터를 선택하는 이미지 처리 디바이스.
  13. 제11항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 컨텍스트 파라미터 중 적어도 하나를 기초로, 상기 적어도 하나의 페이스 파라미터 중 상기 조작 포인트를 결정하는 과정에서 배제되거나 보정될 적어도 하나의 파라미터를 선택하는 이미지 처리 디바이스.
  14. 제11항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 획득된 컨텍스트 파라미터가 복수 개인 경우, 상기 획득된 컨텍스트 파라미터를 다양한 조합 방법에 따라 조합하여 복수의 클러스터를 생성하고, 상기 생성된 복수의 클러스터 중 하나의 클러스터를 선택하고, 상기 선택된 클러스터에 대응하는 조작 포인트를 결정하는 이미지 처리 디바이스.
  15. 제14항에 있어서, 상기 복수의 클러스터 중 하나의 클러스터는 상기 획득된 적어도 하나의 컨텍스트 파라미터를 입력 값으로 하는 머신 러닝 알고리즘을 이용하여 선택되는 이미지 처리 디바이스.
  16. 제11항에 있어서, 상기 적어도 하나의 프로세서는 복수의 페이스 모델 중 상기 인식된 얼굴에 결합될 하나의 페이스 모델을 선택함으로써 상기 조작 포인트를 결정하는 이미지 처리 디바이스.
  17. 제16항에 있어서, 상기 적어도 하나의 프로세서는 상기 인식된 얼굴의 적어도 일부를 상기 선택된 페이스 모델의 대응 부분으로 대체함으로써 상기 이미지를 조작하는 이미지 처리 디바이스.
  18. 제11항에 있어서,
    상기 적어도 하나의 프로세서는 상기 획득된 적어도 하나의 페이스 파라미터 및 적어도 하나의 컨텍스트 파라미터를 기초로 복수의 이미지 필터 중 하나를 선택함으로써 상기 조작 포인트를 결정하고, 상기 선택된 이미지 필터를 상기 이미지에 적용함으로써 상기 이미지를 조작하는 이미지 처리 디바이스.
  19. 제11항에 있어서, 상기 적어도 하나의 컨텍스트 파라미터는 상기 이미지에 나타난 적어도 한 명의 사람을 식별하기 위한 인물 식별 정보, 상기 식별된 인물의 프로필, 상기 이미지를 조작하는 사용자에 대한 프로필, 상기 이미지를 조작하는 사용자과 상기 식별된 인물의 관계, 상기 이미지가 촬영된 장소, 상기 이미지가 촬영된 시간, 상기 이미지 촬영 시점의 날씨, 상기 이미지의 촬영에 사용된 디바이스에 관한 정보, 상기 이미지를 조작하는 사용자 및 상기 식별된 인물의 이미지 조작 히스토리 또는 상기 이미지에 대한 평가 정보 중 적어도 하나를 포함하는 이미지 처리 디바이스.
  20. 제 10 항 내지 제 19 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

KR1020190016357A 2018-03-29 2019-02-12 이미지 처리 방법 및 디바이스 KR20190114739A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19775892.3A EP3707678A4 (en) 2018-03-29 2019-03-25 IMAGE PROCESSING METHOD AND DEVICE
PCT/KR2019/003449 WO2019190142A1 (en) 2018-03-29 2019-03-25 Method and device for processing image
US16/364,866 US20190304152A1 (en) 2018-03-29 2019-03-26 Method and device for processing image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1805270.4 2018-03-29
GB1805270.4A GB2572435B (en) 2018-03-29 2018-03-29 Manipulating a face in an image

Publications (1)

Publication Number Publication Date
KR20190114739A true KR20190114739A (ko) 2019-10-10

Family

ID=62142414

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190016357A KR20190114739A (ko) 2018-03-29 2019-02-12 이미지 처리 방법 및 디바이스

Country Status (3)

Country Link
EP (1) EP3707678A4 (ko)
KR (1) KR20190114739A (ko)
GB (1) GB2572435B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275650A (zh) * 2020-02-25 2020-06-12 北京字节跳动网络技术有限公司 美颜处理方法及装置
WO2022025661A1 (ko) * 2020-07-30 2022-02-03 삼성전자 주식회사 데이터 마스킹을 이용하여 이미지를 변환하는 전자 장치 및 방법
KR20240057806A (ko) * 2022-10-25 2024-05-03 에스케이텔레콤 주식회사 개인화 얼굴 보정 방법 및 얼굴보정장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021262187A1 (en) * 2020-06-26 2021-12-30 Hewlett-Packard Development Company, L.P. Document image relighting

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
TW200614094A (en) * 2004-10-18 2006-05-01 Reallusion Inc System and method for processing comic character
JP4760349B2 (ja) * 2005-12-07 2011-08-31 ソニー株式会社 画像処理装置および画像処理方法、並びに、プログラム
US8098904B2 (en) * 2008-03-31 2012-01-17 Google Inc. Automatic face detection and identity masking in images, and applications thereof
US20120257072A1 (en) * 2011-04-06 2012-10-11 Apple Inc. Systems, methods, and computer-readable media for manipulating images using metadata
JP2012244525A (ja) * 2011-05-23 2012-12-10 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
US8824808B2 (en) * 2011-08-19 2014-09-02 Adobe Systems Incorporated Methods and apparatus for automated facial feature localization
US9298741B1 (en) * 2014-06-26 2016-03-29 Amazon Technologies, Inc. Context-specific electronic media processing
US9830727B2 (en) * 2015-07-30 2017-11-28 Google Inc. Personalizing image capture

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275650A (zh) * 2020-02-25 2020-06-12 北京字节跳动网络技术有限公司 美颜处理方法及装置
US11769286B2 (en) 2020-02-25 2023-09-26 Beijing Bytedance Network Technology Co., Ltd. Beauty processing method, electronic device, and computer-readable storage medium
CN111275650B (zh) * 2020-02-25 2023-10-17 抖音视界有限公司 美颜处理方法及装置
WO2022025661A1 (ko) * 2020-07-30 2022-02-03 삼성전자 주식회사 데이터 마스킹을 이용하여 이미지를 변환하는 전자 장치 및 방법
KR20240057806A (ko) * 2022-10-25 2024-05-03 에스케이텔레콤 주식회사 개인화 얼굴 보정 방법 및 얼굴보정장치

Also Published As

Publication number Publication date
EP3707678A4 (en) 2020-12-23
EP3707678A1 (en) 2020-09-16
GB201805270D0 (en) 2018-05-16
GB2572435B (en) 2022-10-05
GB2572435A (en) 2019-10-02

Similar Documents

Publication Publication Date Title
KR102192899B1 (ko) 이미지에 보케 효과를 적용하는 방법 및 기록매체
JP7110502B2 (ja) 深度を利用した映像背景減算法
US10162308B2 (en) Methods and systems for photorealistic human holographic augmented reality communication with interactive control in real-time
KR20190114739A (ko) 이미지 처리 방법 및 디바이스
CN110235169B (zh) 化妆评价系统及其动作方法
CN106682632B (zh) 用于处理人脸图像的方法和装置
US11163978B2 (en) Method and device for face image processing, storage medium, and electronic device
US11122198B2 (en) Adjusting image capture parameters via machine learning
US10796456B2 (en) Photorealistic human holographic augmented reality communication with interactive control in real-time using a cluster of servers
US20190228273A1 (en) Identifying parameter image adjustments using image variation and sequential processing
KR20210007276A (ko) 영상 생성 장치 및 방법
KR20160105872A (ko) 비디오 회의 강화
KR20190025527A (ko) 전자 장치 및 그 제어 방법
US20190304152A1 (en) Method and device for processing image
CN116964619A (zh) 用于增强图像质量的电子设备以及通过使用该电子设备增强图像质量的方法
US11948385B2 (en) Zero-footprint image capture by mobile device
KR20230060726A (ko) 얼굴 합성 서비스를 제공하는 방법 및 이를 위한 장치
JP2016219879A (ja) 画像処理装置、画像処理方法及びプログラム
US12081904B2 (en) Dynamic low lighting adjustment within a video communication system
WO2022235785A1 (en) Neural network architecture for image restoration in under-display cameras
JP7351358B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
US20210303853A1 (en) Systems and methods for automated tracking on a handheld device using a remote camera
US20210303830A1 (en) Systems and methods for automated tracking using a client device
US20240281925A1 (en) Information processing device, information processing method, and program
US20240249507A1 (en) Method and system for dataset synthesis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right