KR102391087B1 - 이미지 처리 방법, 장치 및 전자 기기 - Google Patents

이미지 처리 방법, 장치 및 전자 기기 Download PDF

Info

Publication number
KR102391087B1
KR102391087B1 KR1020207033809A KR20207033809A KR102391087B1 KR 102391087 B1 KR102391087 B1 KR 102391087B1 KR 1020207033809 A KR1020207033809 A KR 1020207033809A KR 20207033809 A KR20207033809 A KR 20207033809A KR 102391087 B1 KR102391087 B1 KR 102391087B1
Authority
KR
South Korea
Prior art keywords
image
keypoint
keypoint information
face
information
Prior art date
Application number
KR1020207033809A
Other languages
English (en)
Other versions
KR20210041534A (ko
Inventor
친친 쑤
밍양 후앙
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201910944389.8A external-priority patent/CN110728620A/zh
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20210041534A publication Critical patent/KR20210041534A/ko
Application granted granted Critical
Publication of KR102391087B1 publication Critical patent/KR102391087B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T3/0012—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

본 출원의 실시예는 이미지 처리 방법, 장치 및 전자 기기를 개시하였다. 상기 이미지 처리 방법은, 상기 제1 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제1 키포인트 정보를 획득하고; 상기 제2 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제2 키포인트 정보를 획득하는 단계; 상기 제1 키포인트 정보 및 상기 제2 키포인트 정보에 기반하여 변환 관계를 결정하는 단계; 및 상기 변환 관계에 기반하여, 상기 제1 이미지 및 상기 제2 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 제3 이미지를 획득하는 단계를 포함한다.

Description

이미지 처리 방법, 장치 및 전자 기기
관련 출원의 상호 참조
본 출원은 출원번호가 201910944389.8이고 출원일자가 2019년 09월 30일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.
본 출원은 이미지 처리 기술에 관한 것으로, 구체적으로 이미지 처리 방법, 장치 및 전자 기기에 관한 것이다.
두 개의 상이한 얼굴 이미지에 대해, 어떻게 상이한 얼굴을 하나의 얼굴로 융합할 지는, 관련 기술에서, 현재 효과적인 해결 방안이 없다.
본 발명은 이미지 처리 방법, 장치 및 전자 기기를 제공하는 것을 목적으로 하며, 상기 이미지 처리 방법은, 제1 이미지 및 제2 이미지를 획득하는 단계; 상기 제1 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제1 키포인트 정보를 획득하고; 상기 제2 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제2 키포인트 정보를 획득하는 단계; 상기 제1 키포인트 정보 및 상기 제2 키포인트 정보에 기반하여 변환 관계를 결정하는 단계; 및 상기 변환 관계에 기반하여, 상기 제1 이미지 및 상기 제2 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 제3 이미지를 획득하는 단계를 포함한다. 본 출원의 실시예의 기술 방안을 사용하여, 한편으로는 상이한 얼굴 이미지를 하나의 얼굴 이미지로 융합하는 것을 구현하고; 다른 한편으로는 얼굴의 키포인트 검출을 통해, 얼굴의 키포인트(예를 들어, 얼굴 기관 및 윤곽 등)에 대한 정확한 포지셔닝을 구현하며, 또한 얼굴 융합 처리 과정에서 얼굴 키포인트에 기반하여 대응되는 융합 처리 또는 변형 처리를 수행함으로써, 얼굴 융합 처리의 효과를 크게 향상시키는 것을 다른 목적으로 한다.
본 출원의 실시예는 이미지 처리 방법, 장치 및 전자 기기를 제공한다.
본 출원의 실시예의 기술방안은 아래와 같이 구현된다.
본 출원의 실시예는 이미지 처리 방법을 제공하고, 상기 이미지 처리 방법은, 제1 이미지 및 제2 이미지를 획득하는 단계; 상기 제1 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제1 키포인트 정보를 획득하고; 상기 제2 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제2 키포인트 정보를 획득하는 단계; 상기 제1 키포인트 정보 및 상기 제2 키포인트 정보에 기반하여 변환 관계를 결정하는 단계; 상기 변환 관계에 기반하여, 상기 제1 이미지 및 상기 제2 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 상기 제3 이미지를 획득하는 단계를 포함한다.
일부 선택적인 실시예에 있어서, 상기 제1 키포인트 정보 및 상기 제2 키포인트 정보에 기반하여 변환 관계를 결정하는 단계는, 상기 제1 키포인트 정보 및 상기 제2 키포인트 정보에 기반하여 제1 변환 관계를 결정하는 단계; 상기 제1 변환 관계에 기반하여 상기 제1 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하여, 제1 참조 이미지를 획득하는 단계; 상기 제1 참조 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제3 키포인트 정보를 획득하는 단계; 및 상기 제2 키포인트 정보 및 상기 제3 키포인트 정보에 기반하여 제2 변환 관계를 결정하는 단계를 포함한다.
일부 선택적인 실시예에 있어서, 상기 변환 관계에 기반하여, 상기 제1 이미지 및 상기 제2 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 제3 이미지를 획득하는 단계는, 상기 제2 변환 관계에 기반하여 상기 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하여, 타깃 이미지를 획득하는 단계; 및 상기 타깃 이미지 및 상기 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 상기 제3 이미지를 획득하는 단계를 포함한다.
일부 선택적인 실시예에 있어서, 상기 제2 키포인트 정보 및 상기 제3 키포인트 정보는 모두 키포인트의 좌표를 포함하고; 상기 제2 키포인트 정보 및 제3 키포인트 정보에 기반하여 제2 변환 관계를 결정하는 단계는, 상기 제2 키포인트의 좌표 및 상기 제3 키포인트의 좌표에 대해 가중치 오버레이 처리를 수행하여, 제4 키포인트 정보를 획득하는 단계 - 상기 제4 키포인트 정보는 제4 키포인트의 좌표를 포함함 - ; 및 상기 제2 키포인트의 좌표 및 상기 제4 키포인트의 좌표에 기반하여, 상기 제2 변환 관계를 결정하는 단계를 포함한다.
일부 선택적인 실시예에 있어서, 상기 타깃 이미지 및 상기 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 상기 제3 이미지를 획득하는 단계는, 상기 타깃 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제5 키포인트 정보를 획득하는 단계; 상기 제3 키포인트 정보 및 상기 제5 키포인트 정보에 기반하여 제3 변환 관계를 결정하는 단계; 상기 제3 변환 관계에 기반하여 상기 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하여, 제2 참조 이미지를 획득하는 단계; 및 상기 제2 참조 이미지 및 상기 타깃 이미지에 기반하여 상기 제3 이미지를 획득하는 단계를 포함한다.
일부 선택적인 실시예에 있어서, 상기 제2 참조 이미지 및 상기 타깃 이미지에 기반하여 제3 이미지를 획득하는 단계는, 상기 제2 참조 이미지 및 상기 타깃 이미지에 대해 융합 처리를 수행하여, 제3 참조 이미지를 획득하는 단계; 및 상기 제3 참조 이미지 및 상기 타깃 이미지에 대해 융합 처리를 수행하여, 상기 제3 이미지를 획득하는 단계를 포함한다.
일부 선택적인 실시예에 있어서, 상기 제2 참조 이미지 및 상기 타깃 이미지에 대해 융합 처리를 수행하여, 제3 참조 이미지를 획득하는 단계는, 상기 제2 참조 이미지에서의 픽셀 포인트의 픽셀 값의 제1 평균값을 결정하여, 상기 타깃 이미지에서의 픽셀 포인트의 픽셀 값의 제2 평균값를 결정하는 단계; 및 상기 제2 참조 이미지에서의 제1 픽셀 포인트의 픽셀 값과 상기 제1 평균값의 차이를 구하여, 차이 값과 상기 타깃 이미지에서 상기 제1 픽셀 포인트에 대응되는 픽셀 포인트의 상기 제2 평균값에 대해 합산 처리를 수행하여, 제3 참조 이미지를 획득하는 단계를 포함하며; 여기서, 상기 제1 픽셀 포인트는 상기 제2 참조 이미지에서의 어느 하나의 픽셀 포인트이다.
일부 선택적인 실시예에 있어서, 상기 제3 참조 이미지 및 상기 타깃 이미지에 대해 융합 처리를 수행하여, 상기 제3 이미지를 획득하는 단계는, 상기 제3 참조 이미지에서의 제2 픽셀 포인트의 픽셀 값 및 상기 타깃 이미지에서 상기 제2 픽셀 포인트에 대응되는 픽셀 포인트의 픽셀 값에 대해 가중치 합산 처리를 수행하여, 상기 제3 이미지를 획득하는 단계를 포함하며; 여기서, 상기 제2 픽셀 포인트는 상기 제3 참조 이미지에서의 어느 하나의 픽셀 포인트이다.
일부 선택적인 실시예에 있어서, 상기 타깃 이미지 및 상기 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 상기 제3 이미지를 획득하기 전에, 상기 이미지 처리 방법은, 상기 제1 참조 이미지에 대해 최적화 처리를 수행하는 단계 - 상기 최적화 처리는 상기 제1 참조 이미지에서의 타깃 대상의 얼굴에 대한 박피 처리, 미백 처리 및 블러셔 처리 중 적어도 한가지 처리를 포함함 - 를 더 포함하고;
상기 타깃 이미지 및 상기 제1 참조 이미지에 기반하여 제3 이미지를 생성하는 단계는, 상기 타깃 이미지 및 최적화 처리된 제1 참조 이미지에 기반하여, 제3 이미지를 생성하는 단계를 포함한다.
일부 선택적인 실시예에 있어서, 상기 제2 변환 관계에 기반하여 상기 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하기 전에, 상기 이미지 처리 방법은, 상기 제2 이미지에서의 타깃 대상의 콧구멍 영역에 대해 가우시안 블러링 처리를 수행하는 단계; 및 상기 제2 변환 관계에 기반하여 상기 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하는 단계 - 상기 제2 변환 관계에 기반하여 가우시안 블러링 처리된 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하는 단계를 포함함 - 를 더 포함한다.
일부 선택적인 실시예에 있어서, 상기 제1 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제1 키포인트 정보를 획득하는 단계는, 얼굴 키포인트 검출 알고리즘에 기반하여 상기 제1 이미지를 검출하여, 상기 제1 이미지의 얼굴 영역에 포함된 각 기관의 키포인트 정보 및 상기 얼굴 영역 에지의 윤곽 키포인트 정보를 획득하는 단계를 포함한다.
일부 선택적인 실시예에 있어서, 상기 얼굴 영역 에지의 윤곽 키포인트 정보를 획득하는 단계는, 상기 얼굴 영역에서 눈 아래 영역의 제1 그룹의 윤곽 키포인트 정보를 획득하는 단계; 상기 얼굴 영역에서 이마 영역과 관련된 키포인트 정보에 기반하여, 상기 이마 영역의 제2 그룹의 윤곽 키포인트 정보를 결정하는 단계; 및 상기 제1 그룹의 윤곽 키포인트 정보 및 상기 제2 그룹의 윤곽 키포인트 정보에 기반하여, 상기 얼굴 영역 에지의 윤곽 키포인트 정보를 결정하는 단계를 포함한다.
일부 선택적인 실시예에 있어서, 상기 제1 키포인트 정보 및 상기 제2 키포인트 정보는 얼굴 영역과 관련된 외부 에지 키포인트 정보를 더 포함하고; 상기 외부 에지 키포인트 정보는 상기 얼굴 영역 에지의 윤곽 키포인트 정보에 대응된다.
일부 선택적인 실시예에 있어서, 상기 외부 에지 키포인트 정보를 결정하는 단계는, 상기 얼굴 영역의 중심 포인트를 결정하는 단계; 상기 얼굴 영역 에지의 각 윤곽 키포인트와 상기 중심 포인트 사이의 거리를 결정하여, 상기 중심 포인트에 대한 각 윤곽 키포인트의 방향을 결정하는 단계; 및 제1 윤곽 키포인트에 대해, 상기 제1 윤곽 키포인트에 대응되는 방향에 따라, 얼굴 영역 바깥쪽으로 기설정된 거리만큼 연장하여, 상기 제1 윤곽 키포인트에 대응되는 외부 에지 키포인트를 결정하는 단계 - 상기 제1 윤곽 키포인트는 상기 얼굴 영역 에지의 어느 하나의 윤곽 키포인트임 - 를 포함한다.
일부 선택적인 실시예에 있어서, 상기 이미지 처리 방법은, 상기 제1 이미지 및 상기 제2 이미지에서의 타깃 대상의 입 상태가 상이하고, 또한 상기 제3 이미지에서의 타깃 대상이 입을 벌린 상태일 때, 치아 템플릿 이미지에 기반하여 상기 제3 이미지에서의 상기 타깃 대상에 대해 치아 추가 작업을 수행하여, 제4 이미지를 생성하는 단계를 더 포함한다.
일부 선택적인 실시예에 있어서, 상기 이미지 처리 방법은, 상기 제3 이미지 또는 상기 제3 이미지에 대해 치아 추가 작업을 수행하여 획득한 제4 이미지에 대해 이미지 스타일 변환 처리 수행하여, 제5 이미지를 획득하는 단계를 포함한다.
본 출원의 실시예는 이미지 처리 장치를 더 제공하고, 상기 이미지 처리 장치는, 획득 유닛, 키포인트 검출 유닛 및 융합 처리 유닛을 포함하고; 여기서,
상기 획득 유닛은 제1 이미지 및 제2 이미지를 획득하도록 구성되고;
상기 키포인트 검출 유닛은, 상기 제1 이미지에서의 타깃 대상의 얼굴 키포인트 검출하여, 제1 키포인트 정보를 획득하고; 상기 제2 이미지에서의 타깃 대상의 얼굴 키포인트 검출하여, 제2 키포인트 정보를 획득하도록 구성되고;
상기 융합 처리 유닛은, 상기 제1 키포인트 정보 및 상기 제2 키포인트 정보에 기반하여 변환 관계를 결정하고; 상기 변환 관계에 기반하여, 상기 제1 이미지 및 상기 제2 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 제3 이미지를 획득하도록 구성된다.
일부 선택적인 실시예에 있어서, 상기 융합 처리 유닛은, 상기 제1 키포인트 정보 및 상기 제2 키포인트 정보에 기반하여 제1 변환 관계를 결정하고; 상기 제1 변환 관계에 기반하여 상기 제1 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하여, 제1 참조 이미지를 획득하도록 구성되고;
상기 키포인트 검출 유닛은, 또한 상기 제1 참조 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제3 키포인트 정보를 획득하도록 구성되고;
상기 융합 처리 유닛은, 또한 상기 제2 키포인트 정보 및 제3 키포인트 정보에 기반하여 제2 변환 관계를 결정하도록 구성된다.
일부 선택적인 실시예에 있어서, 상기 융합 처리 유닛은, 상기 제2 변환 관계에 기반하여 상기 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하여, 타깃 이미지를 획득하고; 상기 타깃 이미지 및 상기 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 상기 제3 이미지를 획득하도록 구성된다.
일부 선택적인 실시예에 있어서, 상기 제2 키포인트 정보 및 상기 제3 키포인트 정보는 모두 키포인트의 좌표를 포함하고; 상기 융합 처리 유닛은, 상기 제2 키포인트의 좌표 및 상기 제3 키포인트의 좌표에 대해 가중치 오버레이 처리를 수행하여, 제4 키포인트 정보를 획득하며 - 상기 제4 키포인트 정보는 제4 키포인트의 좌표를 포함함 - ; 상기 제2 키포인트의 좌표 및 상기 제4 키포인트의 좌표에 기반하여, 상기 제2 변환 관계를 결정하도록 구성된다.
일부 선택적인 실시예에 있어서, 상기 융합 처리 유닛은, 상기 타깃 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제5 키포인트 정보를 획득하고; 상기 제3 키포인트 정보 및 상기 제5 키포인트 정보에 기반하여 제3 변환 관계를 결정하며; 상기 제3 변환 관계에 기반하여 상기 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하여, 제2 참조 이미지를 획득하고; 상기 제2 참조 이미지 및 상기 타깃 이미지에 기반하여 제3 이미지를 획득하도록 구성된다.
일부 선택적인 실시예에 있어서, 상기 융합 처리 유닛은, 상기 제2 참조 이미지 및 상기 타깃 이미지에 대해 융합 처리를 수행하여, 제3 참조 이미지를 획득하고; 상기 제3 참조 이미지 및 상기 타깃 이미지에 대해 융합 처리를 수행하여, 상기 제3 이미지를 획득하도록 구성된다.
일부 선택적인 실시예에 있어서, 상기 융합 처리 유닛은, 상기 제2 참조 이미지에서의 픽셀 포인트의 픽셀 값의 제1 평균값을 결정하여, 상기 타깃 이미지에서의 픽셀 포인트의 픽셀 값의 제2 평균값를 결정하며, 상기 제2 참조 이미지에서의 제1 픽셀 포인트의 픽셀 값과 상기 제1 평균값의 차이를 구하여, 차이 값과 상기 타깃 이미지에서 상기 제1 픽셀 포인트에 대응되는 픽셀 포인트의 상기 제2 평균값에 대해 합산 처리를 수행하여, 제3 참조 이미지를 획득하도록 구성되고; 여기서, 상기 제1 픽셀 포인트는 상기 제2 참조 이미지에서의 어느 하나의 픽셀 포인트이다.
일부 선택적인 실시예에 있어서, 상기 융합 처리 유닛은, 상기 제3 참조 이미지에서의 제2 픽셀 포인트의 픽셀 값 및 상기 타깃 이미지에서 상기 제2 픽셀 포인트에 대응되는 픽셀 포인트의 픽셀 값에 대해 가중치 합산 처리를 수행하여, 상기 제3 이미지를 획득하도록 구성되며; 여기서, 상기 제2 픽셀 포인트는 상기 제3 참조 이미지에서의 어느 하나의 픽셀 포인트이다.
일부 선택적인 실시예에 있어서, 상기 융합 처리 유닛은, 상기 타깃 이미지 및 상기 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 상기 제3 이미지를 획득하기 전에, 상기 제1 참조 이미지에 대해 최적화 처리를 수행하도록 구성되며 - 상기 최적화 처리는 상기 제1 참조 이미지에서의 타깃 대상의 얼굴에 대한 박피 처리, 미백 처리 및 블러셔 처리 중 적어도 하나를 포함함 - ; 또한 상기 타깃 이미지 및 최적화 처리된 제1 참조 이미지에 기반하여, 제3 이미지를 생성하도록 구성된다.
일부 선택적인 실시예에 있어서, 상기 융합 처리 유닛은, 상기 제2 변환 관계에 기반하여 상기 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하기 전에, 상기 제2 이미지에서의 타깃 대상의 콧구멍 영역에 대해 가우시안 블러링 처리를 수행하도록 구성되고; 또한 상기 제2 변환 관계에 기반하여 가우시안 블러링 처리된 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하도록 구성된다.
일부 선택적인 실시예에 있어서, 상기 키포인트 검출 유닛은, 얼굴 키포인트 검출 알고리즘에 기반하여 상기 제1 이미지를 검출하여, 상기 제1 이미지의 얼굴 영역에 포함된 각 기관의 키포인트 정보 및 상기 얼굴 영역 에지의 윤곽 키포인트 정보를 획득하도록 구성된다.
일부 선택적인 실시예에 있어서, 상기 키포인트 검출 유닛은, 상기 얼굴 영역에서 눈 아래 영역의 제1 그룹의 윤곽 키포인트 정보를 획득하고; 상기 얼굴 영역에서 이마 영역과 관련된 키포인트 정보에 기반하여, 상기 이마 영역의 제2 그룹의 윤곽 키포인트 정보를 결정하며; 상기 제1 그룹의 윤곽 키포인트 정보 및 상기 제2 그룹의 윤곽 키포인트 정보에 기반하여, 상기 얼굴 영역 에지의 윤곽 키포인트 정보를 결정하도록 구성된다.
일부 선택적인 실시예에 있어서, 상기 제1 키포인트 정보 및 상기 제2 키포인트 정보는 얼굴 영역과 관련된 외부 에지 키포인트 정보를 더 포함하고; 상기 외부 에지 키포인트 정보는 상기 얼굴 영역 에지의 윤곽 키포인트 정보에 대응된다.
일부 선택적인 실시예에 있어서, 상기 키포인트 검출 유닛은, 또한 상기 얼굴 영역의 중심 포인트를 결정하고; 상기 얼굴 영역 에지의 각 윤곽 키포인트와 상기 중심 포인트 사이의 거리를 결정하여, 상기 중심 포인트에 대한 각 윤곽 키포인트의 방향을 결정하며; 제1 윤곽 키포인트에 대해, 상기 제1 윤곽 키포인트에 대응되는 방향에 따라, 얼굴 영역 바깥쪽으로 기설정된 거리만큼 연장하여, 상기 제1 윤곽키포인트에 대응되는 외부 에지 키포인트를 결정하도록 구성되며, 상기 제1 윤곽 키포인트는 상기 얼굴 영역 에지의 어느 하나의 윤곽 키포인트이다.
일부 선택적인 실시예에 있어서, 상기 이미지 처리 장치는 이미지 처리 유닛을 더 포함하고, 상기 제1 이미지 및 상기 제2 이미지에서의 타깃 대상의 입 상태가 상이하고, 상기 제3 이미지에서의 타깃 대상이 입을 벌린 상태일 때, 치아 템플릿 이미지에 기반하여 상기 제3 이미지에서의 상기 타깃 대상에 대해 치아 추가 작업을 수행하여, 제4 이미지를 생성하도록 구성된다.
일부 선택적인 실시예에 있어서, 상기 이미지 처리 장치는 스타일 변환 처리 유닛을 더 포함하고, 상기 제3 이미지 또는 상기 제3 이미지에 대해 치아 추가 작업을 수행하여 획득한 제4 이미지에 대해 이미지 스타일 변환 처리 수행하여, 제5 이미지를 획득하도록 구성된다.
본 출원의 실시예는 또한 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 프로그램이 프로세서에 의해 실행될 경우 본 출원의 실시예에 따른 이미지 처리 방법의 단계를 구현한다.
본 출원의 실시예는 또한 메모리, 프로세서 및 메모리에 저장되고 프로세서에서 작동 가능한 컴퓨터 프로그램을 포함하는 전자 기기를 제공하며, 상기 프로세서는 상기 프로그램을 실행할 경우 본 출원의 실시예에 따른 이미지 처리 방법의 단계를 구현한다.
본 출원의 실시예는 또한 프로세서를 제공하며, 상기 프로세서는 컴퓨터 프로그램을 호출하기 위한 것이고, 상기 프로세서는 상기 프로그램을 실행할 경우 본 출원의 실시예에 따른 이미지 처리 방법의 단계를 구현한다.
본 출원의 실시예에는 이미지 처리 방법, 장치 및 전자 기기를 제공하며, 상기 이미지 처리 방법은, 제1 이미지 및 제2 이미지를 획득하는 단계; 상기 제1 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제1 키포인트 정보를 획득하고; 상기 제2 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제2 키포인트 정보를 획득하는 단계; 상기 제1 키포인트 정보 및 상기 제2 키포인트 정보에 기반하여 변환 관계를 결정하는 단계; 및 상기 변환 관계에 기반하여, 상기 제1 이미지 및 상기 제2 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 제3 이미지를 획득하는 단계를 포함한다. 본 출원의 실시예의 기술 방안을 사용하여, 한편으로는 상이한 얼굴 이미지를 하나의 얼굴 이미지로 융합하는 것을 구현하고; 다른 한편으로는 얼굴의 키포인트 검출을 통해, 얼굴의 키포인트(예를 들어, 얼굴 기관 및 윤곽 등)에 대한 정확한 포지셔닝을 구현하며, 또한 얼굴 융합 처리 과정에서 얼굴 키포인트에 기반하여 대응되는 융합 처리 또는 변형 처리를 수행함으로써, 얼굴 융합 처리의 효과를 크게 향상시킨다.
도 1은 본 출원의 실시예의 이미지 처리 방법의 흐름 예시도 1이다.
도 2a는 본 출원의 실시예의 이미지 처리 방법에서의 얼굴 키포인트의 예시도이다.
도 2b는 본 출원의 실시예의 얼굴 키포인트에서의 제1 그룹의 윤곽 포인트 정보 및 제2 그룹의 윤곽 포인트 정보의 예시도이다.
도 2c는 본 출원의 실시예의 얼굴 키포인트에서의 외부 에지 키포인트 정보의 예시도이다.
도 3은 본 출원의 실시예의 이미지 처리 방법의 흐름 예시도 2이다.
도 4는 본 출원의 실시예의 이미지 처리 방법의 흐름 예시도 3이다.
도 5는 본 출원의 실시예의 이미지 처리 장치의 구성 구조 예시도 1이다.
도 6은 본 출원의 실시예의 이미지 처리 장치의 구성 구조 예시도 2이다.
도 7은 본 출원의 실시예의 이미지 처리 장치의 구성 구조 예시도 3이다.
도 8은 본 출원의 실시예의 전자 기기의 하드웨어 구성 구조 예시도이다.
아래에 첨부 도면 및 구체적인 실시예를 결부하여 본 출원에 대해 추가로 구체적으로 설명하고자 한다.
본 출원의 실시예는 이미지 처리 방법을 제공한다. 도 1은 본 출원의 실시예의 이미지 처리 방법의 흐름 예시도 1이고; 도 1에 도시된 바와 같이, 상기 이미지 처리 방법은 하기와 같은 단계를 포함한다.
단계 101에 있어서, 제1 이미지 및 제2 이미지를 획득한다.
단계 102에 있어서, 제1 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제1 키포인트 정보를 획득하고, 제2 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제2 키포인트 정보를 획득한다.
단계 103에 있어서, 제1 키포인트 정보 및 제2 키포인트 정보에 기반하여 변환 관계를 결정한다.
단계 104에 있어서, 변환 관계에 기반하여, 제1 이미지 및 제2 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 제3 이미지를 획득한다.
본 실시예에서, 제1 이미지 및 제2 이미지는 타깃 대상의 얼굴을 포함할 수 있고; 상기 타깃 대상은 이미지에서의 실제 인물일 수 있으며; 다른 실시형태에 있어서, 목표 대상은 예를 들어 만화 인물 캐릭터 등과 같이 허위 인물일 수도 있다. 물론, 목표 대상은 또한 다른 타입의 대상일 수 있고, 본 출원의 실시예는 이에 대해 한정하지 않는다.
일부 실시예에서, 제1 이미지 및 제2 이미지는 상이한 타깃 대상을 포함한다. 예를 들어 , 제1 이미지 및 제2 이미지에서 모두 얼굴을 포함하지만, 제1 이미지 및 제2 이미지에서는 상이한 얼굴을 포함한다. 본 실시예는 주로 상이한 얼굴에 대해 융합 처리를 수행하여, 하나의 얼굴로 합성한다.
본 실시예에서, 제1 키포인트 정보 및 제2 키포인트 정보는 모두 얼굴 영역에 포함된 각 기관의 키포인트 정보 및 얼굴 영역의 에지의 윤곽 키포인트 정보를 포함하고; 여기서, 얼굴 영역에 포함된 기관은, 눈, 코, 입, 눈썹 등 중 적어도 하나를 포함한다. 얼굴 영역에 포함된 각 기관의 키포인트 정보는 상기 각 기관의 중심 키포인트 정보 및/또는 기관의 윤곽 키포인트 정보를 포함할 수 있다. 얼굴 영역 에지의 윤곽 키포인트 정보는 얼굴 영역 윤곽에 대응되는 키포인트 정보이다. 여기서, 제1 키포인트 정보 및 제2 키포인트 정보는 키포인트 좌표를 포함하지만 이에 한정되지 않으며, 예를 들어, 제1 키포인트 정보 및 제2 키포인트 정보는 또한 키포인트의 카테고리 식별자 등을 포함할 수 있으며, 예시적으로, 카테고리 식별자는 키포인트가 기관의 키포인트인지 또는 에지의 윤곽 키포인트인지를 표시하기 위한 것일 수 있다.
본 출원의 일부 선택적인 실시예에 있어서, 단계 102에서, 제1 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제1 키포인트 정보를 획득하는 단계는, 얼굴 키포인트 검출 알고리즘에 기반하여 제1 이미지를 검출하여, 제1 이미지의 얼굴 영역에 포함된 각 기관의 키포인트 정보 및 상기 얼굴 영역 에지의 윤곽 키포인트 정보를 획득하는 단계를 포함한다.
여기서, 얼굴 영역 에지의 윤곽 키포인트 정보를 획득하는 단계는, 얼굴 영역에서 눈 아래 영역의 제1 그룹의 윤곽 포인트 정보를 획득하는 단계; 얼굴 영역에서 이마 영역과 관련된 키포인트 정보에 기반하여, 이마 영역의 제2 그룹의 윤곽 포인트 정보를 결정하는 단계; 및 제1 그룹의 윤곽 포인트 정보 및 제2 그룹의 윤곽 포인트 정보에 기반하여, 얼굴 영역 에지의 윤곽 키포인트 정보를 결정하는 단계를 포함한다. 이에 상응하게, 제2 이미지 검출함으로써 대응되는 제2 키포인트 정보를 획득하는 단계는 상기 제1 키포인트 정보를 획득하는 단계와 유사하고, 여기서 더이상 반복하여 설명하지 않는다.
도 2a는 본 출원의 실시예의 이미지 처리 방법 중의 얼굴 키포인트의 예시도이다. 도 2에 도시된 바와 같이, 제1 측면에 있어서, 얼굴 영역에 포함된 기관의 키포인트는 구체적으로 얼굴 영역에 포함된 눈썹, 눈, 코, 입 등 기관 중 적어도 하나의 기관의 키포인트일 수 있다. 일부 실시 형태에 있어서, 기관의 키포인트 정보는 기관의 중심 키포인트 정보 및/또는 기관의 윤곽 키포인트 정보를 포함할 수 있다. 기관이 눈인 경우를 예로 들면, 눈의 키포인트 정보는 눈의 중심 키포인트 정보 및 눈의 윤곽 키포인트 정보를 포함하고, 예를 들어 눈의 키포인트 정보는 눈의 중심 키포인트의 좌표 및 눈의 윤곽 키포인트의 좌표를 포함하며; 또한 기관이 눈썹인 경우를 예로 들면, 눈썹의 키포인트 정보는 눈썹의 윤곽 키포인트 정보를 포함할 수 있고, 예를 들어 눈썹의 키포인트 정보는 눈썹의 윤곽 키포인트의 좌표를 포함할 수 있다. 본 실시예에서, 우선 얼굴 키포인트 검출 알고리즘을 통해 얼굴 영역에서의 각 기관의 키포인트 정보를 획득한다 .
제2 측면에 있어서, 얼굴 키포인트 검출 알고리즘을 통해 얼굴 영역에서 눈 아래 영역의 제1 그룹의 윤곽 포인트 정보를 획득하고, 제1 그룹의 윤곽 포인트는 도 2b에 도시된 바와 같다. 일부 실시예에서, 얼굴 키포인트 검출 알고리즘을 통해 얼굴 영역에서 눈 아래의 개수가 비교적 적은 M1 개의 키포인트를 획득할 수 있고, 예를 들어, 5 개의 키포인트 등 이며; 다음 상기 M1 개의 키포인트에 대해 곡선 보간 방식을 통해 M2 개의 키포인트를 획득하고, M1 개의 키포인트 및 M2 개의 키포인트를 제1 그룹의 윤곽 포인트 정보로 취한다.
여기서, 얼굴 키포인트 검출 알고리즘은 임의의 얼굴 인식 알고리즘을 사용할 수 있다.
제3 측면에 있어서, 이마 영역의 윤곽 키포인트 정보를 획득한다. 일 예로서, 도 2b에 도시된 바와 같이, 기설정된 파라미터에 기반하여 얼굴 영역의 이마 영역에서의 적어도 세 개의 키포인트 정보를 결정하여, 세 개의 키포인트 정보를 결정하는 것을 예로 들면, 키포인트 1은 이마 영역에 위치한 중간선에서의 키포인트에 대응되고, 키포인트 2 및 키포인트 3은 각각 키포인트 1의 양측에 위치하며; 제1 그룹의 윤곽 포인트 정보 중 양단에 위치한 키포인트 4 및 키포인트 5(여기서, 키포인트 4 및 키포인트 5는 각각 제1 그룹의 윤곽 포인트 정보 중 눈에 가장 근접한 키포인트임), 및 키포인트 1, 키포인트 2 및 키포인트 3에 기반하여 곡선 피팅을 수행하여, 곡선 피팅 키포인트 정보를 획득하며; 곡선 보간 알고리즘에 기반하여 곡선 피팅 키포인트 정보에 대해 보간 처리를 수행하여, 이마 영역과 매칭되는 제2 그룹의 윤곽 포인트 정보를 획득한다.
이로써, 제1 그룹의 윤곽 포인트 정보 및 제2 그룹의 윤곽 포인트 정보에 대한 결정을 통해 얼굴 영역 에지의 윤곽 키포인트 정보를 결정하고; 얼굴 영역 에지의 윤곽 키포인트 정보 및 얼굴 영역에 포함된 각 기관의 키포인트 정보에 기반하여 제1 키포인트 정보 및 제2 키포인트 정보를 획득한다.
본 출원의 일부 선택적인 실시예에 있어서, 제1 키포인트 정보 및 제2 키포인트 정보는 얼굴 영역과 관련되는 외부 에지 키포인트 정보를 더 포함할 수 있고; 외부 에지 키포인트 정보는 얼굴 영역 에지의 윤곽 키포인트 정보에 대응되며, 도 2c에 도시된 바와 같이 외부 에지 키포인트의 예시적인 설명이다.
일부 실시예에 있어서, 외부 에지 키포인트 정보를 결정하는 단계는, 얼굴 영역의 중심 포인트를 결정하는 단계 - 중심 포인트는 예를 들어 코끝에 대응되는 키포인트임 - ; 얼굴 영역 에지의 각 윤곽 키포인트와 중심 포인트 사이의 거리를 결정하고, 각 윤곽 키포인트가 중심 포인트와 비했을 때의 방향을 결정하는 단계; 및 제1 윤곽 키포인트에 대해, 상기 제1 윤곽 키포인트에 대응되는 방향에 따라, 얼굴 영역 바깥쪽으로 기설정된 거리만큼 연장하여, 상기 제1 윤곽 키포인트에 대응되는 외부 에지 키포인트를 결정하는 단계 - 상기 제1 윤곽 키포인트는 상기 얼굴 영역 에지의 어느 하나의 윤곽 키포인트임 - 를 포함하며; 여기서, 기설정된 거리는, 에지의 윤곽 키포인트와 중심 포인트 사이의 거리와 관련되고; 에지의 윤곽 키포인트와 중심 포인트 사이의 거리가 클수록, 기설정된 거리는 더 크고; 에지의 윤곽 키포인트와 중심 포인트 사이의 거리가 작을수록, 기설정된 거리는 더 작다. 상기 이미지 처리 방법에 기반하여 도 2c에 도시된 바와 같이 얼굴 영역 외부의 외부 에지 키포인트 정보를 결정할 수 있다.
본 실시예에서, 외부 에지 키포인트 정보를 결정하는 목적은, 이미지에 대해 변형 처리를 수행하는 과정에서, 특히 삼각 변형 영역의 변형 처리 방법을 사용해 이미지 변형 처리를 수행하는 과정에서, 외부 에지 키포인트 정보 및 얼굴 영역의 에지 윤곽 키포인트 정보가 형성한 삼각 영역을 이용하여 적응성 변형 처리를 수행할 수 있고, 즉 얼굴 영역과 관련된 과도 영역(즉 외부 에지 키포인트 와 얼굴 영역의 에지 윤곽 키포인트 사이의 영역)에 대해 적응성 변형 처리를 수행함으로써, 더욱 좋은 이미지 변형 효과를 획득할 수 있도록 하여, 얼굴 융합 효과를 더욱 자연스럽게 한다.
본 출원의 일부 선택적인 실시예에 있어서, 단계 103은, 제1 키포인트 정보 및 제2 키포인트 정보에 기반하여 제1 변환 관계를 결정하는 단계; 제1 변환 관계에 기반하여 제1 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하여, 제1 참조 이미지를 획득하는 단계; 제1 참조 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제3 키포인트 정보를 획득하는 단계; 및 제2 키포인트 정보 및 제3 키포인트 정보에 기반하여 제2 변환 관계를 결정하는 단계를 포함한다.
본 출원의 실시예는 제1 이미지에 대해 변환 처리 수행하기 위한 제1 변환 관계 및 제2 이미지에 대해 변환 처리 수행하기 위한 제2 변환 관계를 적어도 포함하고, 또한, 제1 변환 관계를 통해 제1 이미지에 대해 변환 처리 수행하고 제1 참조 이미지를 획득하며; 제1 참조 이미지에서의 타깃 대상의 얼굴 키포인트를 추출하여 제3 키포인트 정보로 표시하고, 제2 키포인트 정보 및 상기 제3 키포인트 정보에 기반하여 제2 변환 관계를 결정함으로써, 제2 이미지가 제1 참조 이미지를 향해 변환을 수행하도록 하여, 제1 이미지 및 제2 이미지에서의 타깃 대상의 얼굴에 대한 융합의 수행을 구현함으로써, 획득된 제3 이미지에서의 타깃 대상의 얼굴은 제1 이미지 및 제2 이미지에서의 얼굴과 모두 유사하게 보이도록 하는 효과를 가진다.
설명해야 할 것은, 본 실시예에서, 두 이미지에서의 타깃 대상의 얼굴에 대해 융합 처리를 수행하는 단계는, 두 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하는 단계를 포함함으로써, 획득한 새로운 이미지에서의 타깃 대상의 얼굴과 제1 이미지 및 제2 이미지에서의 타깃 대상의 얼굴이 모두 유사하도록 하고; 두 이미지 중 한 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행한 다음, 변형 처리된 타깃 대상의 얼굴 및 변형 처리되지 않은 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하는 단계를 더 포함할 수 있다.
본 출원의 실시예의 기술 방안을 사용하여, 한편으로는 상이한 얼굴 이미지를 하나의 얼굴 이미지로 융합하는 것을 구현하고; 다른 한편으로는 얼굴의 키포인트 검출을 통해, 얼굴의 키포인트(예를 들어, 얼굴 기관 및 윤곽 등)에 대한 정확한 포지셔닝을 구현하며, 또한 얼굴 융합 처리 과정에서 얼굴 키포인트에 기반하여 대응되는 융합 처리 또는 변형 처리를 수행함으로써, 얼굴 융합 처리의 효과를 크게 향상시킨다.
전술한 실시예에 기반하여, 본 출원의 실시예는 또한 이미지 처리 방법을 제공한다. 도 3은 본 출원의 실시예의 이미지 처리 방법의 흐름 예시도 2이고; 도 3에 도시된 바와 같이, 상기 이미지 처리 방법은 하기와 같은 단계를 포함한다.
단계 201에 있어서, 제1 이미지 및 제2 이미지를 획득한다.
단계 202에 있어서, 제1 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제1 키포인트 정보를 획득하고, 제2 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제2 키포인트 정보를 획득한다.
단계 203에 있어서, 제1 키포인트 정보 및 제2 키포인트 정보에 기반하여 변환 관계를 결정한다.
단계 204에 있어서, 제1 변환 관계에 기반하여 제1 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하여, 제1 참조 이미지를 획득한다.
단계 205에 있어서, 제1 참조 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제3 키포인트 정보를 획득한다.
단계 206에 있어서, 제2 키포인트 정보 및 제3 키포인트 정보에 기반하여 제2 변환 관계를 결정한다.
단계 207에 있어서, 제2 변환 관계에 기반하여 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하여, 타깃 이미지를 획득한다.
단계 208에 있어서, 타깃 이미지 및 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 제3 이미지를 획득한다.
본 실시예에서의 단계 201 내지 단계 202의 상세한 설명은 구체적으로 전술한 실시예에서의 단계 101 내지 단계 102의 상세한 설명을 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.
본 실시예의 단계 203에 있어서, 제1 키포인트 정보가 표시하는 각 키포인트의 좌표 및 제2 키포인트 정보가 표시하는 각 키포인트의 좌표에 기반하여 제1 변환 관계를 결정한다. 예시적으로, 제1 변환 관계는 변환 매트릭스를 통해 구현될 수 있다. 변환 매트릭스의 획득 방식은, 초기 키포인트 좌표 집합을 결정하고, 상기 초기 키포인트 좌표 집합은 하나의 매트릭스(예를 들어, 매트릭스 H로 표시함)를 통해 구현될 수 있고; 타깃 키포인트 좌표 집합을 결정하고, 상기 타깃 키포인트 좌표 집합은 다른 매트릭스(예를 들어 매트릭스 P로 표시)를 통해 구현될 수 있으며; 변환 매트릭스를 Q라고 가정하면, H·Q=P일 수 있고, 즉 Q=P·H-1이다. 이해할 수 있는 것은, 제1 키포인트 정보에 대해 제1 변환 관계(예를 들어 제1 변환 매트릭스)를 통해 변환 처리를 수행하여, 제2 키포인트 정보를 얻고자 하지만, 오차 등 여러 이유로, 제1 키포인트 정보를 제1 변환 관계(예를 들어 제1 변환 매트릭스)를 통해 변환 처리할지라도, 획득한 키포인트 정보는 제2 키포인트 정보와 완전히 매칭되지 않을 수 있으며, 따라서, 본 실시예의 단계 204에 있어서, 제1 변환 관계(예를 들어, 제1 변환 매트릭스)에 기반하여 제1 이미지에 대해 처리를 수행하는 것은, 구체적으로 제1 변환 관계에 기반하여 제1 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하여, 획득한 이미지를 제1 참조 이미지로 표시한다. 여기서, 예시적으로, 본 출원의 각 실시예에서의 제1 변환 관계는 모두 제1 키포인트의 좌표 집합 및 제2 키포인트의 좌표 집합에 기반하여 결정된 제1 변환 매트릭스에 기반하여 구현될 수 있다.
본 실시예의 단계 205에 있어서, 제3 키포인트 정보의 획득 방식은 전술한 실시예의 단계 101에서, 제1 키포인트 정보 및 제2 키포인트 정보의 회득 방식의 상세한 설명을 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다. 예시적으로, 제3 키포인트 정보에 대응되는 키포인트의 수량도 106 개가 될 수 있다.
본 출원의 일부 선택적인 실시예에 있어서, 단계 206에서, 제2 키포인트 정보 및 제3 키포인트 정보는 모두 키포인트의 좌표 정보를 포함하고; 제2 키포인트 정보 및 제3 키포인트 정보에 기반하여 제2 변환 관계를 결정하는 단계는, 제2 키포인트 정보 및 제3 키포인트 정보에 대해 대해 가중치 오버레이 처리를 수행하여, 제4 키포인트 정보를 획득하는 단계; 및 제2 키포인트 정보 및 제4 키포인트 정보에 기반하여 제2 변환 관계를 결정하는 단계를 포함한다.
일부 실시예에 있어서, 키포인트 정보(예를 들어, 제2 키포인트 정보, 제3 키포인트 정보, 제4 키포인트 정보 등)에는 키포인트의 좌표가 포함된다. 기설정된 가중치 계수에 기반하여 제2 키포인트의 좌표 및 제3 키포인트의 좌표에 대해 가중치 오버레이 처리를 수행하여, 제4 키포인트의 좌표를 획득할 수 있다. 다음, 제2 키포인트의 좌표 및 제4 키포인트의 좌표에 기반하여 제2 변환 관계를 결정할 수 있다.
예시적으로, 제4 키포인트의 좌표는 아래와 같은 표현식을 만족시킬 수 있다.
PT4=alphaХPT2+(1-alpha)ХPT3 (1)
여기서, PT4는 제4 키포인트의 좌표를 표시하고; PT2는 제2 키포인트의 좌표를 표시하고; PT3은 제3 키포인트의 좌표를 표시하고; alpha는 가중치 계수를 포함한다.
후속적으로, 변형 처리된 제2 이미지(즉 타깃 이미지)에서의 키포인트 정보와 제4 키포인트 정보가 매칭되도록, 제2 변환 관계에 기반하여 제2 이미지에서의 제2 키포인트 정보가 제4 키포인트 정보를 향해 변형 처리를 수행하며, 즉 타깃 이미지에서의 키포인트의 좌표가 제4 키포인트의 좌표에 접근한다.
일부 실시예에 있어서, 역거리 가중치(IDW, Inverse Distance Weighted) 알고리즘을 통해 제2 이미지에 대해 변형 처리를 수행하여, 타깃 이미지를 획득할 수 있다. 구체적으로, IDW 알고리즘은 각 키포인트(즉 제2 키포인트 및 제4 키포인트)가 타깃 이미지에서의 타깃 키포인트에 대해 모두 로컬 영향이 있다고 가정하고, 이런 영향은 거리가 멀어짐에 따라 감소된다. 제2 이미지에 대해 변형 처리를 수행한 후 획득된 타깃 이미지에서의 초기 타깃 키포인트의 좌표를 가정하고, 제2 키포인트의 좌표와 제4 키포인트의 좌표를 이용하여, 초기 타깃 키포인트가 제2 키포인트와의 거리 및 제4 키포인트 사이와의 거리를 각각 결정하고; 상기 거리에 기반하여, 제2 키포인트가 초기 타깃 키포인트에 대한 가중치 및 제4 키포인트가 초기 타깃 키포인트에 대한 가중치를 각각 결정하고; 결정된 가중치에 기반하여, 초기 타깃 키포인트와 제2 키포인트 사이의 거리 및 타깃 키포인트와 제4 키포인트 사이의 거리에 대해 가중치 평균 처리를 수행하고; 획득한 결과에 기반하여 타깃 키포인트를 결정한다. 이해할 수 있는 것은, 상기 제2 변환 관계는 구체적으로 IDW 알고리즘을 사용하여 타깃 키포인트를 결정하는 과정일 수 있고, 즉 제2 이미지에서의 제2 키포인트 정보에 대해 제4 키포인트 정보를 향해 변형 처리를 수행한다.
다른 실시형태에 있어서, 제2 이미지에서의 제2 키포인트 정보 중의 일부 제2 키포인트 정보를 변형 키포인트로 선택할 수 있고, 상기 변형 키포인트에 기반하여 상기 IDW 방식을 사용해 처리를 수행할 수 있으며, 일부 키포인트를 사용하는 방식은 데이터 처리량을 감소시킬 수 있다.
본 출원의 선택적인 실시예에 있어서, 제2 변환 관계에 기반하여 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하기 전에, 상기 이미지 처리 방법은, 제2 이미지에서의 타깃 대상의 콧구멍 영역에 대해 가우시안 블러링 처리를 수행하는 단계; 제2 변환 관계에 기반하여 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하는 단계 - 제2 변환 관계에 기반하여 가우시안 블러링 처리된 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형처리를 수행하는 단계를 포함함 - 를 더 포함한다.
본 출원의 일부 실시예에 있어서, 얼굴 융합 후 콧구멍 영역이 너무 검게 될 수 있고 콧구멍 영역이 너무 돌올하는 문제의 발생을 방지하기 위해, 제2 이미지에 대해 변형 처리를 수행하기 전에, 먼저 얼굴 영역의 콧구멍 영역에 대해 가우시안 블러링 처리(또는 가우시안 스무딩 처리로 지칭될 수도 있음)를 수행함으로써, 콧구멍 영역의 검은색을 약화시키고, 상기 문제의 발생을 방지할 수 있게 하여, 얼굴 융합 처리된 제3 이미지에서의 얼굴이 더욱 자연스러워지도록 한다. 실제 응용에 있어서, 얼굴 인식 알고리즘을 통해 제2 이미지에서의 타깃 대상의 콧구멍 영역(결정된 콧구멍 영역은 직사각형, 원형 또는 기타 임이의 형상일 수 있다)을 인식하고; 결정된 콧구멍 영역에 대해 가우시안 블러링(또는 가우시안 스무딩) 처리를 수행할 수 있다.
본 출원의 일부 선택적인 실시예에 있어서, 단계 208에서, 타깃 이미지 및 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 제3 이미지를 획득하는 단계는, 타깃 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제5 키포인트 정보를 획득하는 단계; 제3 키포인트 정보 및 제5 키포인트 정보에 기반하여 제3 변환 관계를 결정하는 단계; 제3 변환 관계에 기반하여 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하여, 제2 참조 이미지를 획득하는 단계; 및 제2 참조 이미지 및 타깃 이미지에 기반하여 제3 이미지를 획득하는 단계를 포함한다.
본 실시예에서, 제5 키포인트 정보의 획득 방식은 전술한 실시예의 단계 102에서, 제1 키포인트 정보 및 제2 키포인트 정보의 회득 방식의 상세한 설명을 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.
본 출원의 일부 실시예에 있어서, 도 2a에서 알 수 있는 바와 같이, 임의의 인접한 세 개의 키포인트가 하나의 삼각 변형 영역을 결정할 수 있으면, 본 실시예는 동일한 규칙에 따라, 제3 키포인트 정보에 기반하여 삼각 변형 영역을 결정하고, 제5 키포인트 정보에 기반하여 삼각 변형 영역을 결정하며; 제3 키포인트의 좌표 및 제5 키포인트의 좌표를 통해 제3 변환 관계를 결정하며, 제3 변환 관계에 기반하여, 삼각 변형 영역을 사용하여 변형 처리를 수행하여, 제2 참조 이미지를 획득한다. 이해할 수 있는 것은, 제3 변환 관계를 통해, 제1 참조 이미지에서의 제3 키포인트 정보가 위치하는 위치를 타깃 이미지에서의 제5 키포인트 정보가 위치하는 위치로 변형하고자 할지라도, 오차 등 이유로, 변형된 제3 키포인트 정보의 위치와 제5 키포인트 정보의 위치는 흔히 완전 중첩을 구현할 수가 없으며, 따라서 변형 처리된 제1 참조 이미지를 제2 참조 이미지로 표시한다. 또한 제2 참조 이미지 및 타깃 이미지에 기반하여 제3 이미지를 획득한다.
일부 예시에 있어서, 제3 변환 관계는 각 삼각 변형 영역에 각각 대응되는 변환 매트릭스를 통해 구현될 수 있다. 하나의 삼각 변형 영역으로 예를 들어, 제1 참조 이미지에서의 세 개의 제3 키포인트에 대응되는 좌표를 결정하여, 하나의 매트릭스를 형성하고, 매트릭스 A로 표시하며; 타깃 이미지에서의 세 개의 제5 키포인트에 대응되는 좌표를 결정하여, 다른 하나의 매트릭스를 형성하고, 매트릭스 B로 표시하며; 변환 매트릭스를 Q라고 가정하면, A·Q=B일 수 있고, 즉 Q=B·A-1이다. 각 삼각 변형 영역에 대해 모두 대응되는 제3 변환 관계를 사용하여 변환 처리를 수행하여, 제2 참조 이미지를 획득할 수 있다.
본 출원의 일부 선택적인 실시예에 있어서, 제2 참조 이미지 및 타깃 이미지에 기반하여 제3 이미지를 획득하는 단계는, 제2 참조 이미지 및 타깃 이미지에 대해 융합 처리를 수행하여, 제3 참조 이미지를 획득하는 단계; 제3 참조 이미지 및 타깃 이미지에 대해 융합 처리를 수행하고, 제3 이미지를 획득하는 단계를 포함한다.
본 실시예는 두 번의 융합 처리 방법을 사용하여, 획득된 제2 참조 이미지 및 타깃 이미지에 대해 융합 처리를 수행할 수 있다. 물론, 다른 실시예에 있어서, 한 번의 융합 처리 방법 또는 두 번 이상의 융합 처리 방법을 사용해 융합 처리를 수행할 수 있고, 본 실시예에서 이에 대해 한정하지 않는다.
본 출원의 일부 선택적인 실시예에 있어서, 제2 참조 이미지 및 타깃 이미지에 대해 융합 처리를 수행하여, 제3 참조 이미지를 획득하는 단계는, 제2 참조 이미지에서의 픽셀 포인트에 대응되는 픽셀 값의 제1 평균값을 결정하여, 타깃 이미지에서의 픽셀 포인트에 대응되는 픽셀 값의 제2 평균값을 결정하는 단계; 및 제2 참조 이미지에서의 제1 픽셀 포인트의 픽셀 값과 제1 평균값의 차이를 구하여, 차이 값과 제2 평균값에 대해 합산 처리를 수행하여, 제3 참조 이미지를 획득하는 단계를 포함하고; 여기서, 제1 픽셀 포인트는 제2 참조 이미지에서의 어느 하나의 픽셀 포인트이다.
일부 실시예에 있어서, 제2 참조 이미지에서의 픽셀 포인트에 대응되는 픽셀 값의 제1 평균값을 결정하는 단계는, 제2 참조 이미지에서의 픽셀 포인트에 대응되는 픽셀 값중의 색상 성분 값의 제1 평균값을 결정하는 단계를 포함하고; 이에 상응하게, 타깃 이미지에서의 픽셀 포인트에 대응되는 픽셀 값의 제2 평균값을 결정하는 단계가, 타깃 이미지에서의 픽셀 포인트에 대응되는픽셀 값 중의 색상 성분 값의 제2 평균값을 결정하는 단계를 포함하면; 본 발명의 실시예에서, 제2 참조 이미지에서의 제1 픽셀 포인트의 픽셀 값의 색상 성분 값과 제1 평균값의 차이를 구하여, 차이 값과 타깃 이미지에서 제1 픽셀 포인트에 대응되는 픽셀 포인트의 픽셀 값의 색상 성분 값과 제2 평균값에 대해 합산 처리를 수행하여, 제3 참조 이미지를 획득한다.
구체적으로, 제2 참조 이미지 및 타깃 이미지가 모두 컬러 이미지이면, 제2 참조 이미지 및 타깃 이미지 중 각 픽셀 포인트의 픽셀 값은 모두 컬러 이미지를 형성할 수 있는 색상 성분이 있다. 컬러 이미지가 RGB 이미지인 경우를 예로 들면, 각 픽셀 포인트는 모두 적색 색상 성분, 녹색 색상 성분 및 청색 색상 성분에 각각 대응되는 세 개의 값이 있고, 세 개의 색상 성분 값이 결합되어 픽셀 포인트에 대응되는 픽셀 값을 형성한다. 제2 참조 이미지 중 세 개의 색상 성분의 평균값을 각각 획득하고, 각 색상 성분의 평균값을 모두 제1 평균값으로 표시하며, 타깃 이미지 중 세 개의 색상 성분의 평균값을 각각 획득하고, 각 색상 성분의 평균값을 모두 제2 평균값으로 표시하며; 그 중 하나의 색상 성분(예를 들어, 적색 색상 성분, 녹색 색상 성분 또는 남색 색상 성분)을 예를 들어, 제2 참조 이미지 중 각 픽셀 포인트의 상기 색상 성분의 값에서 대응되는 제1 평균값을 뺄셈한 후, 타깃 이미지 중 대응되는 색상 성분의 제2 평균값을 합산하며, 다른 색상 성분 및 다른 픽셀 포인트의 처리 방법은 비슷하고, 획득된 결과는 제3 참조 이미지 중 각 픽셀 포인트의 각 색상 성분의 값이다.
본 출원의 일부 선택적인 실시예에 있어서, 제3 참조 이미지 및 타깃 이미지에 대해 융합 처리를 수행하여, 제3 이미지를 획득하는 단계는, 제3 참조 이미지에서의 제2 픽셀 포인트의 픽셀 값 및 타깃 이미지 중 제2 픽셀 포인트에 대응되는 픽셀 포인트의 픽셀 값에 대해 가중치 합산 처리를 수행하여, 제3 이미지를 획득하는 단계를 포함하고; 여기서, 제2 픽셀 포인트는 제3 참조 이미지에서의 어느 하나의 픽셀 포인트이다.
일부 실시예에 있어서,제3 참조 이미지 및 타깃 이미지가 컬러 이미지이면, 제2 참조 이미지 및 타깃 이미지 중 각 픽셀 포인트의 픽셀 값은 모두 컬러 이미지를 형성할 수 있는 색상 성분이 있다. 컬러 이미지가 RGB 이미지인 경우를 예로 들면, 각 픽셀 포인트는 모두 적색 색상 성분, 녹색 색상 성분 및 청색 색상 성분에 각각 대응되는 세 개의 값이 있고, 세 개의 색상 성분 값이 결합되어 픽셀 포인트에 대응되는 픽셀 값을 형성한다. 본 발명의 실시예에서, 제3 참조 이미지 및 타깃 이미지 중 대응되는 픽셀 포인트의 특정 색상 성분의 값에 대해 각각 가중치 오버레이 처리를 수행하고, 가중치 오버레이된 결과를 제3 이미지 중 대응되는 픽셀 포인트의 특정 색상 성분의 값으로 한다. 그 중 하나의 색상 성분(예를 들어, 적색 색상 성분, 녹색 색상 성분 또는 청색 색상 성분)을 예로 들면, 제3 참조 이미지에서의 특정 픽셀 포인트의 상기 색상 성분의 값에 가중치 계수를 곱셈하며(예를 들어, 40%), 타깃 이미지에서의 대응되는 픽셀 포인트의 상기 색상 성분의 값에 (1-가중치 계수)를 곱셈 (예를 들어, 60%)한 다음, 두 개의 결과를 서로 합산하여, 획득한 결과를 제3 이미지 중 대응되는 픽셀 포인트의 상기 색상 성분의 값으로 취한다. 실제 응용에 있어서, 제2 융합 처리 방법은 alpha blending 알고리즘을 사용해 융합 처리를 수행할 수 있고, 상기 융합 처리 방법을 통해 제3 참조 이미지 및 타깃 이미지를 비례에 따라 융합 처리를 수행한다. 다른 실시형태에 있어서, 또한 제3 참조 이미지 및 타깃 이미지에 대해 각각 상이한 가중치 계수를 설정할 수 있고, 제3 참조 이미지의 특정 색상 성분 값에 비례 계수 1을 곱셈하고, 타깃 이미지의 상기 색상 성분 값에 비례 계수 2를 곱셈한 후 오버레이를 수행하여, 오버레이 결과를 제3 이미지 중 대응되는 색상 성분의 값으로 취하며; 여기서, 비례 계수 1 및 비례 계수 2의 합은 1과 같지 않을 수 있다.
본 출원의 일부 선택적인 실시예에 있어서, 타깃 이미지 및 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 상기 제3 이미지를 획득하기 전에, 이미지 처리 방법은 또한, 제1 참조 이미지에 대해 최적화 처리를 수행 - 상기 최적화 처리는 상기 제1 참조 이미지에서의 타깃 대상의 얼굴에 대한 박피 처리, 미백 처리 및 블러셔 처리 중 적어도 하나를 포함함 - 하는 단계를 더 포함할 수 있고; 이에 상응하게, 타깃 이미지 및 제1 참조 이미지에 기반하여 제3 이미지를 생성하는 단계는, 타깃 이미지 및 최적화 처리된 제1 참조 이미지에 기반하여, 제3 이미지를 생성하는 단계를 포함함으로써, 얼굴 융합 처리된 이미지 효과를 더욱 아름답게 한다.
본 출원의 선택적인 실시예에 있어서, 이미지 처리 방법은 또한, 제3 이미지에 대해 이미지 스타일 변환 처리를 수행하여, 제5 이미지를 획득하는 단계를 더 포함할 수 있다.
본 발명의 실시예에서, 다양한 이미지 스타일과 대응되는 파라미터가 미리 구성되어 있을 수 있고; 이미지 스타일은 예를 들어 유화 스타일, 중국화 스타일 등이 있고, 물론 다른 이미지 스타일일 수도 있다. 획득한 제3 이미지는 기본 스타일이고, 이미지 스타일 변환이 필요한 경우, 예를 들어 이미지 스타일 변환 명령어가 수신되고, 이미지 스타일 변환 명령어에 따라 대응되는 이미지 스타일 파라미터를 결정하여, 이미지 스타일 파라미터에 기반하여 제3 이미지에 대해 스타일 변환 처리를 수행함으로써, 제5 이미지를 획득한다.
실제 응용에 있어서, 인간-기계 상호 작용의 방법을 통해 이미지 스타일 변환 명령어를 수신할 수 있다. 예를 들어, 인간-기계 상호 작용 인터페이스에는 복수 개의 이미지 스타일 버튼이 표시되고, 사용자가 타깃 이미지 스타일을 트리거링하면, 대응되는 이미지 스타일 변환 명령어를 수신한다.
본 출원의 실시예의 기술 방안을 사용하여, 제1 측면에서, 상이한 얼굴 이미지를 하나의 얼굴 이미지로 융합하는 것을 구현하고; 제2 측면에서, 얼굴의 키포인트 검출을 통해, 얼굴의 키포인트(예를 들어, 얼굴 기관 및 윤곽 등)에 대한 정확한 포지셔닝을 구현하며, 또한 얼굴 융합 처리 과정에서 얼굴 키포인트에 기반하여 대응되는 융합 처리 또는 변형 처리를 수행함으로써, 얼굴 융합 처리의 효과를 크게 향상시키고; 제3 측면에 있어서, 콧구멍 영역에 대한 가우시안 블러링 처리를 통해, 콧구멍의 영역에 대해 밝게 처리하여, 얼굴 융합 처리 후 콧구멍 영역의 검은색이 뚜렷한 문제를 방지하고, 어느 정도에서 또한 얼굴 융합의 효과를 크게 향상시킴으로써, 얼굴의 융합이 더욱 자연스러우며; 제4 측면에 있어서, 본 실시예는 IDW 알고리즘을 통해 제2 이미지에 대해 변형 처리를 수행할 수 있어, 얼굴 오관에 대한 미화 조절을 구현하며; 삼각 변형 영역의 방법을 통해 제1 참조 이미지에 대해 변형 처리를 수행함으로써, 얼굴 영역에 대한 변환을 구현할 수 있고; 제5 측면에 있어서, 본 실시예에서 제2 참조 이미지 및 타깃 이미지에 대한 융합 처리는 평균값에 기반한 융합 처리 방법 및 비례 혼합에 기반한 융합 처리 방법을 사용하므로, 처리 과정이 간단하고, 처리 효율을 향상시킨다.
본 출원의 실시예는 또한 이미지 처리 방법을 제공한다. 도 4는 본 출원의 실시예의 이미지 처리 방법의 흐름 예시도 3이고; 도 4에 도시된 바와 같이, 상기 이미지 처리 방법은 하기와 같은 단계를 포함한다.
단계 301에 있어서, 제1 이미지 및 제2 이미지를 획득한다.
단계 302에 있어서, 제1 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제1 키포인트 정보를 획득하고, 제2 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제2 키포인트 정보를 획득한다.
단계 303에 있어서, 제1 키포인트 정보 및 제2 키포인트 정보에 기반하여 제1 변환 관계를 결정한다.
단계 304에 있어서, 제1 변환 관계에 기반하여 제1 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하여, 제1 참조 이미지를 획득한다.
단계 305에 있어서, 제1 참조 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제3 키포인트 정보를 획득한다.
단계 306에 있어서, 제2 키포인트 정보 및 제3 키포인트 정보에 기반하여 제2 변환 관계를 결정한다.
단계 307에 있어서, 제2 변환 관계에 기반하여 제2 이미지에 대해 변형 처리를 수행하여, 타깃 이미지를 획득한다.
단계 308에 있어서, 타깃 이미지 및 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 상기 제3 이미지를 획득한다.
단계 309에 있어서, 제1 이미지 및 제2 이미지에서의 타깃 대상의 입 상태가 상이하고, 제3 이미지에서의 타깃 대상이 입을 벌린 상태일 때, 치아 템플릿 이미지에 기반하여 제3 이미지에서의 타깃 대상에 대해 치아 추가 작업을 수행하여, 제4 이미지를 생성한다.
본 실시예에서의 단계 301 내지 단계 302의 상세한 설명은 구체적으로 전술한 실시예에서의 단계 201 내지 단계 208의 상세한 설명을 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.
본 실시예의 단계 309에 있어서, 제1 이미지 및 제2 이미지에서의 타깃 대상이 모두 입을 닫은 상태이면, 얼굴 융합 처리 후 제3 이미지에서의 타깃 대상도 입을 닫은 상태이다. 제1 이미지 및 제2 이미지에서의 타깃 대상 중 하나는 입을 닫은 상태이고, 다른 하나는 입을 벌린 상태이면, 얼굴 융합 처리 후 제3 이미지에서의 타깃 대상은 입을 닫은 상태이거나 입을 벌린 상태이다. 제3 이미지에서의 타깃 대상이 입을 벌린 상태이면, 치아에 대한 충전 처리가 필요하고, 얼굴 융합 효과를 더욱 자연스러워지도록 한다.
본 발명의 실시예에서, 복수 개의 치아 템플릿 이미지를 미리 구성할 수 있고;
복수 개의 치아 템플릿 이미지 중 하나의 치아 템플릿 이미지를 선택하여 타깃 대상의 입 영역에 추가함으로써, 타깃 대상의 치아 추가를 구현하여, 제4 이미지를 생성한다. 실제 응용에 있어서, 상이한 치아 템플릿 이미지와 타깃 대상의 입을 벌린 영역의 형태는 서로 관련된다. 제3 이미지에서의 타깃 대상이 입을 벌린 상태일 때, 이미지 인식 알고리즘을 통해 타깃 대상의 입을 벌린 영역의 형태를 인식하고, 상기 형태에 기반하여 대응되는 카테고리 식별자를 결정하며; 복수 개의 치아 템플릿 이미지는 대응되는 카테고리 식별자를 인덱스로 취할 수 있고; 상기 카테고리 식별자를 통해 복수 개의 치아 템플릿 이미지의 인덱스를 조회하여, 카테고리 식별자에 대응되는 치아 템플릿 이미지를 획득하고, 치아 템플릿 이미지를 타깃 대상의 입을 벌린 영역에 추가함으로써, 치아 추가를 구현한다.
본 출원의 일부 선택적인 실시예에 있어서, 상기 이미지 처리 방법은, 제4 이미지에 대해 이미지 스타일 변환 처리 수행하여, 제5 이미지를 획득하는 단계를 더 포함한다.
본 발명의 실시예에서, 다양한 이미지 스타일에 대응되는 파라미터가 미리 구성될 수 있고; 이미지 스타일은 예를 들어 유화 스타일, 중국화 스타일 등일 수 있고, 물론 다른 이미지 스타일일 수도 있다. 획득된 제4 이미지는 기본 스타일이고, 이미지 스타일 변환이 필요한 경우, 예를 들어 이미지 스타일 변환 명령어가 수신되고, 이미지 스타일 변환 명령어에 따라 대응되는 이미지 스타일 파라미터를 결정하고, 이미지 스타일 파라미터에 기반하여 제4 이미지에 대해 스타일 변환 처리를 수행하여, 제5 이미지를 획득한다.
실제 응용에 있어서, 인간-기계 상호 작용의 방법을 통해 이미지 스타일 변환 명령어를 수신할 수 있다. 예를 들어, 인간-기계 상호 작용 인터페이스에는 복수 개의 이미지 스타일 버튼이 표시되고, 사용자가 타깃 이미지 스타일을 트리거링하면, 대응되는 이미지 스타일 변환 명령어를 수신한다.
본 실시예는 전술한 실시예에 대응되는 유익한 효과를 포함하는 외에도 또한, 제3 이미지가 입을 벌린 상태일 때, 치아 충전을 구현함으로써, 얼굴 융합 처리된 이미지의 입의 효과를 더욱 현실적이고 자연스럽게 한다.
본 출원의 실시예는 또한 이미지 처리 장치를 제공한다. 도 5는 본 출원의 실시예의 이미지 처리 장치의 구성 구조 예시도 1이고; 도 5에 도시된 바와 같이, 장치에는, 획득 유닛(41), 키포인트 검출 유닛(42) 및 융합 처리 유닛(43)을 포함하며; 여기서,
획득 유닛(41)은, 제1 이미지 및 제2 이미지를 획득하도록 구성되고;
키포인트 검출 유닛(42)은, 제1 이미지에서의 타깃 대상의 얼굴 키포인트 검출하여, 제1 키포인트 정보를 획득하고; 제2 이미지에서의 타깃 대상의 얼굴 키포인트 검출하여, 제2 키포인트 정보를 획득하도록 구성되고;
융합 처리 유닛(43)은, 제1 키포인트 정보 및 제2 키포인트 정보에 기반하여 변환 관계를 결정하고; 변환 관계에 기반하여, 제1 이미지 및 제2 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 제3 이미지를 획득하도록 구성된다.
본 출원의 일부 선택적인 실시예에 있어서, 융합 처리 유닛(43)은, 제1 키포인트 정보 및 제2 키포인트 정보에 기반하여 제1 변환 관계를 결정하고; 제1 변환 관계에 기반하여 제1 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하여, 제1 참조 이미지를 획득하도록 구성되고;
키포인트 검출 유닛(42)은, 또한 제1 참조 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제3 키포인트 정보를 획득하도록 구성되고;
융합 처리 유닛(43)은, 또한 제2 키포인트 정보 및 제3 키포인트 정보에 기반하여 제2 변환 관계를 결정하도록 구성된다.
본 출원의 일부 선택적인 실시예에 있어서, 융합 처리 유닛(43)은, 제2 변환 관계에 기반하여 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하여, 타깃 이미지를 획득하고; 타깃 이미지 및 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 제3 이미지를 획득하도록 구성된다.
본 출원의 일부 선택적인 실시예에 있어서, 제2 키포인트 정보 및 제3 키포인트 정보는 모두 키포인트의 좌표를 포함하고; 융합 처리 유닛(43)은, 제2 키포인트 정보 및 제3 키포인트 정보에 대해 대해 가중치 오버레이 처리를 수행하여, 제4 키포인트 정보를 획득하도록 구성되고; 제2 키포인트 정보 및 제4 키포인트 정보에 기반하여 제2 변환 관계를 결정하도록 구성된다.
본 출원의 일부 선택적인 실시예에 있어서, 융합 처리 유닛(43)은, 타깃 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제5 키포인트 정보를 획득하고; 제3 키포인트 정보 및 제5 키포인트 정보 에 기반하여 제3 변환 관계를 결정하며; 제3 변환 관계에 기반하여 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하고; 제2 참조 이미지를 획득하며; 제2 참조 이미지 및 타깃 이미지에 기반하여 제3 이미지를 획득하도록 구성된다.
본 출원의 일부 선택적인 실시예에 있어서, 융합 처리 유닛(43)은, 제2 참조 이미지 및 타깃 이미지에 대해 융합 처리를 수행하여, 제3 참조 이미지를 획득하며; 제3 참조 이미지 및 타깃 이미지에 대해 융합 처리를 수행하고, 제3 이미지를 획득하도록 구성된다.
본 출원의 일부 선택적인 실시예에 있어서, 융합 처리 유닛(43)은, 제2 참조 이미지에서의 픽셀 포인트에 대응되는 픽셀 값의 제1 평균값을 결정하고, 타깃 이미지에서의 픽셀 포인트에 대응되는 픽셀 값의 제2 평균값을 결정하며; 제2 참조 이미지에서의 제1 픽셀 포인트의 픽셀 값과 제1 평균값의 차이를 구하여, 차이 값과 제2 평균값에 대해 합산 처리를 수행하여, 제3 참조 이미지를 획득하도록 구성되며; 여기서, 제1 픽셀 포인트는 제2 참조 이미지에서의 어느 하나의 픽셀 포인트이다.
본 출원의 일부 선택적인 실시예에 있어서, 융합 처리 유닛(43)은, 제3 참조 이미지에서의 제2 픽셀 포인트의 픽셀 값 및 타깃 이미지 중 제2 픽셀 포인트에 대응되는 픽셀 포인트의 픽셀 값에 대해 가중치 합산 처리를 수행하여, 제3 이미지를 획득하도록 구성되며; 여기서, 제2 픽셀 포인트는 제3 참조 이미지에서의 어느 하나의 픽셀 포인트이다.
본 출원의 일부 선택적인 실시예에 있어서, 융합 처리 유닛(43)은, 타깃 이미지 및 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 제3 이미지를 획득하기 전에, 제1 참조 이미지에 대해 최적화 처리를 수행 - 상기 최적화 처리는 상기 제1 참조 이미지에서의 타깃 대상의 얼굴에 대한 박피 처리, 미백 처리 및 블러셔 처리 중 적어도 하나를 포함함 - 하도록 구성되고; 또한 타깃 이미지 및 최적화 처리된 제1 참조 이미지에 기반하여, 제3 이미지를 생성하도록 구성된다.
본 출원의 일부 선택적인 실시예에 있어서, 융합 처리 유닛(43)은, 제2 변환 관계에 기반하여 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하기 전에, 제2 이미지에서의 타깃 대상의 콧구멍 영역에 대해 가우시안 블러링 처리를 수행하도록 구성되고; 또한 제2 변환 관계에 기반하여 가우시안 블러링 처리된 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하도록 구성된다.
본 출원의 일부 선택적인 실시예에 있어서, 키포인트 검출 유닛(42)은, 얼굴 키포인트 검출 알고리즘에 기반하여 제1 이미지를 검출하고, 제1 이미지의 얼굴 영역에 포함된 각 기관의 키포인트 정보 및 얼굴 영역 에지의 윤곽 키포인트 정보를 획득하도록 구성된다.
본 출원의 일부 선택적인 실시예에 있어서,키포인트 검출 유닛(42)은, 얼굴 영역에서 눈 아래 영역의 제1 그룹의 윤곽 키포인트 정보를 획득하고; 얼굴 영역에서 이마 영역과 관련된 키포인트 정보에 기반하여, 이마 영역의 제2 그룹의 윤곽 키포인트 정보를 결정하며; 제1 그룹의 윤곽 키포인트 정보 및 제2 그룹의 윤곽 키포인트 정보에 기반하여, 얼굴 영역 에지의 윤곽 키포인트 정보를 결정하도록 구성된다.
본 출원의 일부 선택적인 실시예에 있어서, 상기 제1 키포인트 정보 및 상기 제2 키포인트 정보는 얼굴 영역과 관련된 외부 에지 키포인트 정보를 더 포함하고; 상기 외부 에지 키포인트 정보는 상기 얼굴 영역 에지의 윤곽 키포인트 정보에 대응된다.
본 출원의 일부 선택적인 실시예에 있어서, 상기 키포인트 검출 유닛(42)은, 또한 상기 얼굴 영역의 중심 포인트를 결정하고; 상기 얼굴 영역 에지의 각 윤곽 키포인트와 상기 중심 포인트 사이의 거리를 결정하여, 상기 중심 포인트에 대한 각 윤곽 키포인트의 방향을 결정하며; 제1 윤곽 키포인트에 대해, 상기 제1 윤곽 키포인트에 대응되는 방향에 따라, 얼굴 영역 바깥쪽으로 기설정된 거리만큼 연장하여, 상기 제1 윤곽 키포인트에 대응되는 외부 에지 키포인트를 결정 - 상기 제1 윤곽 키포인트는 상기 얼굴 영역 에지의 어느 하나의 윤곽 키포인트임 - 하도록 구성된다.
본 출원의 일부 선택적인 실시예에 있어서, 도 6에 도시된 바와 같이, 장치는 이미지 처리 유닛(44)을 더 포함하고, 제1 이미지 및 제2 이미지에서의 타깃 대상의 입 상태가 상이하며, 제3 이미지에서의 타깃 대상이 입을 벌린 상태일 때, 치아 템플릿 이미지에 기반하여 제3 이미지에서의 타깃 대상에 대해 치아 추가 작업을 수행하여, 제4 이미지를 생성하도록 구성된다
본 출원의 선택적인 실시예에 있어서, 도 7에 도시된 바와 같이, 장치는 스타일 변환 처리 유닛(45)을 더 포함하고, 제3 이미지 또는 제3 이미지에 대해 치아 추가 작업을 수행하여 획득한 제4 이미지에 대해 이미지 스타일 변환 처리 수행하여, 제5 이미지를 획득하도록 구성된다.
본 출원의 실시예에서, 이미지 처리 장치 중의 획득 유닛(41), 키포인트 검출 유닛(42), 융합 처리 유닛(43), 이미지 처리 유닛(44) 및 스타일 변환 처리 유닛(45)은, 실제 응용에서 모두 단말 중의 중앙처리장치(CPU, Central Processing Unit), 디지털 시그널 프로세서(DSP, Digital Signal Processor), 마이크 컨트롤 유닛(MCU, Microcontroller Unit) 또는 필드 프로그래머블 게이트 어레이(FPGA, Field－Programmable Gate Array)에 의해 구현 가능하다.
설명해야 할 것은, 상기 실시예에서 제공한 이미지 처리 장치가 이미지 처리 수행할 경우, 상기 각 프로그램 모듈의 분할만을 예로 들면, 실제 응용에서, 필요에 따라 상기 처리 분배는 상이한 프로그램 모듈을 통해 완료될 수 있고, 즉 장치의 내부 구조를 상이한 프로그램 모듈로 분할하여, 상기 설명한 전부 또는 일부 처리를 완료한다. 또한, 상기 실시예에서 제공한 이미지 처리 장치와 이미지 처리 방법의 실시예는 동일한 사상에 속하며, 이의 구체적인 구현 과정은 방법 실시예를 참조하면 되고, 여기서 더이상 반복하지 않는다.
본 출원의 실시예는 전자 기기를 더 제공하고, 도 8은 본 출원의 실시예의 전자 기기의 하드웨어 구성 구조 예시도이며, 도 8에 도시된 바와 같이, 전자 기기는 메모리(52), 프로세서(51) 및 메모리(52)에 저장되고 프로세서(51)에서 작동 가능한 컴퓨터 프로그램을 포함하며, 프로세서(51)는 프로그램을 실행할 경우 본 출원의 실시예의 방법의 단계를 구현한다.
이해할 수 있는 것은, 전자 기기 중의 각 컴포넌트는 버스 시스템(53)을 통해 서로 결합될 수 있다. 이해할 수 있는 것은, 버스 시스템(53)은 이러한 컴포넌트 사이의 연결 통신을 구현하기 위한 것이다. 버스 시스템(53)은 데이터 버스를 포함하는 것 외에, 전원 버스, 제어 버스 및 상태 신호 버스를 더 포함한다. 그러나 설명의 명확성을 위해, 도 8에서 각종 버스는 모두 버스 시스템(54)으로 표기된다.
이해할 수 있는 것은, 메모리(52)는 휘발성 메모리 또는 비휘발성 메모리일 수 있으며, 휘발성 메모리 및 비휘발성 메모리 모두를 포함할 수도 있다. 여기서, 비휘발성 메모리는 판독 전용 메모리(Read Only Memory, ROM), 프로그램 가능 판독 전용 메모리(Programmable Read-Only Memory, PROM), 소거 및 프로그램 가능 판독 전용 메모리(Erasable Programmable Read-Only Memory, EPROM), 전기적 소거 가능한 프로그램 가능 판독 전용 메모리(Electrically Erasable Programmable Read-Only Memory, EEPROM), 강자성 랜덤 액세스 메모리(ferromagnetic random access memory, FRAM), 플래시 메모리(Flash Memory), 자기 표면 메모리, 광디스크, 또는 판독 전용 광디스크(Compact Disc Read-Only Memory, CD-ROM)일 수 있으며; 자기 표면 메모리는 마그네틱 메모리 또는 자기 테이프 메모리일 수 있다 휘발성 메모리는 외부 캐시 역할을 하는 랜덤 액세스 메모리(Random Access Memory, RAM)일 수 있다. 한정적이 아닌 예시적인 설명을 통해, 많은 형태의 RAM이 사용 가능하며, 예를 들어, 정적 랜덤 액세스 메모리(SRAM, Static Random Access Memory), 동기식 정적 랜덤 액세스 메모리(SSRAM, Synchronous Static Random Access Memory), 동적 랜덤 액세스 메모리(DRAM, Dynamic Random Access Memory), 동기식 동적 랜덤 액세스 메모리(SDRAM, Synchronous Dynamic Random Access Memory),더블 데이터 레이트 동기식 동적 랜덤 액세스 메모리(DDRSDRAM, Double Data Rate Synchronous Dynamic Random Access Memory),향상된 동기식 동적 랜덤 액세스 메모리(ESDRAM, Enhanced Synchronous Dynamic Random Access Memory),동기 링크 동적 랜덤 액세스 메모리(SLDRAM, SyncLink Dynamic Random Access Memory),다이렉트 램버스 랜덤 액세스 메모리(DRRAM, Direct Rambus Random Access Memory)이다. 본 출원의 실시예에서 설명된 메모리(52)는 이러한 메모리 및 다른 임의의 피팅한 타입의 메모리를 포함하지만 이에 한정되지 않는다.
상기 본 출원의 실시예에서 언급된 방법은 프로세서(51)에 적용 가능하거나, 프로세서(51)에 의해 구현된다. 프로세서(51)는 신호 처리 능력을 갖는 집적 회로 칩일 수 있다. 구현 과정에서, 상기 이미지 처리 방법의 각 단계는 프로세서(51)에서의 하드웨어의 집적 논리 회로 또는 소프트웨어 형태의 명령어를 통해 완료될 수 있다. 상기 프로세서(51)는 범용 프로세서, DSP, 또는 다른 프로그램 가능 논리 소자, 이산 게이트 또는 트랜지스터 논리 장치, 이산 하드웨어 컴포넌트 등일 수 있다. 프로세서(51)는 본 출원의 실시예에서 개시한 각 방법, 단계 및 논리 블록도를 구현 또는 실행할 수 있다. 범용 프로세서는 마이크로 프로세서 또는 임의의 일반적인 프로세서 등일 수 있다. 본 발명의 실시예를 결합하여 개시된 방법의 단계는, 하드웨어로 구현된 디코딩 프로세서에 의해 직접 실행 및 완료되거나, 디코딩 프로세서 중의 하드웨어 및 소프트웨어 모듈의 조합에 의해 실행 및 완료될 수 있다. 소프트웨어 모듈은 저장 매체에 위치할 수 있고, 상기 저장 매체는 메모리(52)에 위치하며, 프로세서(51) 는 메모리(52)에서의 정보를 판독하고, 하드웨어와 결합하여 전술한 방법의 단계를 완료한다.
예시적 실시예에서, 전자 기기는 하나 또는 복수 개의 특정 용도 집적 회로(ASIC, Application Specific Integrated Circuit), DSP, 프로그래머블 논리 소자(PLD, Programmable Logic Device), 복합 프로그래머블 논리 소자(CPLD, Complex Programmable Logic Device), FPGA, 범용 프로세서, 컨트롤러, MCU, 마이크로 프로세서(Microprocessor), 또는 다른 전자 구성 요소에 의해 구현되어, 전술된 방법을 실행하기 위한 것이다.
본 출원의 실시예는 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 프로그램이 프로세서에 의해 실행될 경우 본 출원의 실시예의 방법의 단계를 구현한다.
본 출원의 실시예는 프로세서를 더 제공하며, 상기 프로세서는 컴퓨터 프로그램을 호출하기 위한 것이고, 상기 프로세서는 상기 프로그램을 실행할 경우 본 출원의 실시예에 따른 방법의 단계를 구현한다.
본 출원에서 제공된 몇 개의 실시예에 있어서, 개시된 기기 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다. 전술한 기기 실시예는 다만 예시적일 뿐이고, 예를 들어, 유닛에 대한 분할은 다만 논리적 기능 분할이고, 실제로 구현될 경우 다른 분할 방식이 있을 수 있으며, 예를 들어, 복수 개의 유닛 또는 컴포넌트는 다른 시스템에 결합되거나 통합될 수 있거나, 또는 일부 특징을 무시하거나 실행하지 않을 수 있다. 또한, 나타내거나 논의된 각 구성 부분의 상호간의 결합 또는 직접 결합 또는 통신 연결은, 일부 인터페이스, 기기 또는 유닛을 통한 간접 결합 또는 통신 연결일 수 있고, 전기적, 기계적 또는 다른 형태일 수 있다.
상기 분리 부재로서 설명된 유닛은, 물리적으로 분리되거나, 분리되지 않을 수도 있고, 유닛으로서 나타낸 부재는 물리적 유닛일 수도, 아닐 수도 있으며, 즉 한 곳에 위치할 수 있거나, 복수 개의 네트워크 유닛에 분포될 수도 있으며; 실제 필요에 따라 유닛의 일부 또는 전부를 선택하여 본 실시예의 방안의 목적을 구현할 수 있다.
또한, 본 출원의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 전부 통합될 수 있으며, 각 유닛이 각각 독립적으로 하나의 유닛으로서 존재할 수도 있거나, 두 개 또는 두 개 이상의 유닛이 하나의 유닛에 통합될 수도 있으며; 상기 통합된 유닛은 하드웨어의 형태로 구현될 수 있을 뿐만 아니라, 하드웨어와 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.
본 기술분야의 통상의 기술자는 상기 이미지 처리 방법 실시예를 구현하기 위한 모든 또는 일부 동작은 프로그램 명령어와 관련되는 하드웨어를 통해 완료되며, 전술한 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 경우, 상기 이미지 처리 방법 실시예를 포함하는 단계를 실행하며; 전술한 저장 매체는 모바일 저장 기기, ROM, RAM, 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함하는 것을 이해할 수 있을 것이다.
또는, 본 출원의 상기 통합된 유닛이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로서 판매되거나 사용되는 경우, 컴퓨터 판독 가능 저장 매체에 저장될 수도 있다. 이러한 이해에 기반하여, 본 출원의 기술 방안은 본질적으로 또는 기존 기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 출원의 각 실시예의 방법의 전부 또는 일부를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는, 모바일 저장 기기, ROM, RAM, 디스켓 또는 CD 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
이상의 설명은 다만 본 출원의 구체적인 실시 형태일 뿐이고, 본 출원의 보호 범위는 이에 한정되지 않는다. 본 출원이 속하는 기술 분야의 통상의 기술자라면, 본 출원에서 개시된 기술적 범위 내의 변화 또는 교체가 모두 본 출원의 보호 범위 내에 속해야 함을 쉽게 알 수 있을 것이다. 따라서, 본 출원의 보호 범위는 청구 범위의 보호 범위를 기준으로 해야 한다.

Claims (35)

  1. 이미지 처리 방법으로서,
    제1 이미지 및 제2 이미지를 획득하는 단계;
    상기 제1 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제1 키포인트 정보를 획득하고; 상기 제2 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제2 키포인트 정보를 획득하는 단계 - 상기 제1 키포인트 정보는 상기 제1 이미지의 얼굴 영역에 포함된 각 기관의 키포인트 정보, 상기 얼굴 영역의 에지의 윤곽 키포인트 정보 및 얼굴 영역과 관련된 외부 에지 키포인트 정보를 포함하며; 상기 제2 키포인트 정보는 얼굴 영역과 관련된 외부 에지 키포인트 정보를 포함하고; 상기 외부 에지 키포인트 정보는 상기 얼굴 영역 에지의 윤곽 키포인트 정보에 대응됨 - ;
    상기 제1 키포인트 정보 및 상기 제2 키포인트 정보에 기반하여 변환 관계를 결정하는 단계; 및
    상기 변환 관계에 기반하여, 상기 제1 이미지 및 상기 제2 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 제3 이미지를 획득하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 제1 키포인트 정보 및 상기 제2 키포인트 정보에 기반하여 변환 관계를 결정하는 단계는,
    상기 제1 키포인트 정보 및 상기 제2 키포인트 정보에 기반하여 제1 변환 관계를 결정하는 단계;
    상기 제1 변환 관계에 기반하여 상기 제1 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하여, 제1 참조 이미지를 획득하는 단계;
    상기 제1 참조 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제3 키포인트 정보를 획득하는 단계; 및
    상기 제2 키포인트 정보 및 제3 키포인트 정보에 기반하여 제2 변환 관계를 결정하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  3. 제2항에 있어서,
    상기 변환 관계에 기반하여, 상기 제1 이미지 및 상기 제2 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 제3 이미지를 획득하는 단계는,
    상기 제2 변환 관계에 기반하여 상기 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하여, 타깃 이미지를 획득하는 단계; 및
    상기 타깃 이미지 및 상기 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 상기 제3 이미지를 획득하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  4. 제2항에 있어서,
    상기 제2 키포인트 정보 및 상기 제3 키포인트 정보는 모두 키포인트의 좌표를 포함하고; 상기 제2 키포인트 정보 및 제3 키포인트 정보에 기반하여 제2 변환 관계를 결정하는 단계는,
    상기 제2 키포인트의 좌표 및 상기 제3 키포인트의 좌표에 대해 가중치 오버레이 처리를 수행하여, 제4 키포인트 정보를 획득하는 단계 - 상기 제4 키포인트 정보는 제4 키포인트의 좌표를 포함함 - ; 및
    상기 제2 키포인트의 좌표 및 상기 제4 키포인트의 좌표에 기반하여, 상기 제2 변환 관계를 결정하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  5. 제3항에 있어서,
    상기 타깃 이미지 및 상기 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 상기 제3 이미지를 획득하는 단계는,
    상기 타깃 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제5 키포인트 정보를 획득하는 단계;
    상기 제3 키포인트 정보 및 상기 제5 키포인트 정보에 기반하여 제3 변환 관계를 결정하는 단계;
    상기 제3 변환 관계에 기반하여 상기 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하여, 제2 참조 이미지를 획득하는 단계; 및
    상기 제2 참조 이미지 및 상기 타깃 이미지에 기반하여 상기 제3 이미지를 획득하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  6. 제5항에 있어서,
    상기 제2 참조 이미지 및 상기 타깃 이미지에 기반하여 상기 제3 이미지를 획득하는 단계는,
    상기 제2 참조 이미지 및 상기 타깃 이미지에 대해 융합 처리를 수행하여, 제3 참조 이미지를 획득하는 단계, 및
    상기 제3 참조 이미지 및 상기 타깃 이미지에 대해 융합 처리를 수행하여, 상기 제3 이미지를 획득하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  7. 제6항에 있어서,
    상기 제2 참조 이미지 및 상기 타깃 이미지에 대해 융합 처리를 수행하여, 제3 참조 이미지를 획득하는 단계는,
    상기 제2 참조 이미지에서의 픽셀 포인트의 픽셀 값의 제1 평균값을 결정하여, 상기 타깃 이미지에서의 픽셀 포인트의 픽셀 값의 제2 평균값를 결정하는 단계; 및
    상기 제2 참조 이미지에서의 제1 픽셀 포인트의 픽셀 값과 상기 제1 평균값의 차이를 구하여, 차이 값과 상기 제2 평균값에 대해 합산 처리를 수행하여, 제3 참조 이미지를 획득하는 단계를 포함하고;
    상기 제1 픽셀 포인트는 상기 제2 참조 이미지에서의 어느 하나의 픽셀 포인트를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  8. 제6항에 있어서,
    상기 제3 참조 이미지 및 상기 타깃 이미지에 대해 융합 처리를 수행하여, 상기 제3 이미지를 획득하는 단계는,
    상기 제3 참조 이미지에서의 제2 픽셀 포인트의 픽셀 값 및 상기 타깃 이미지에서 상기 제2 픽셀 포인트에 대응되는 픽셀 포인트의 픽셀 값에 대해 가중치 합산 처리를 수행하여, 상기 제3 이미지를 획득하는 단계 - 상기 제2 픽셀 포인트는 상기 제3 참조 이미지에서의 어느 하나의 픽셀 포인트임 - ; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  9. 제3항에 있어서,
    상기 타깃 이미지 및 상기 제1 참조 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 상기 제3 이미지를 획득하기 전에, 상기 이미지 처리 방법은,
    상기 제1 참조 이미지에 대해 최적화 처리를 수행하는 단계 - 상기 최적화 처리는 상기 제1 참조 이미지에서의 타깃 대상의 얼굴에 대한 박피 처리, 미백 처리 및 블러셔 처리 중 적어도 하나를 포함함 - 를 더 포함하고;
    상기 타깃 이미지 및 상기 제1 참조 이미지에 기반하여 제3 이미지를 생성하는 단계는,
    상기 타깃 이미지 및 최적화 처리된 제1 참조 이미지에 기반하여, 제3 이미지를 생성하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  10. 제3항에 있어서,
    상기 제2 변환 관계에 기반하여 상기 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하기 전에, 상기 이미지 처리 방법은,
    상기 제2 이미지에서의 타깃 대상의 콧구멍 영역에 대해 가우시안 블러링 처리를 수행하는 단계를 더 포함하고;
    상기 제2 변환 관계에 기반하여 상기 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하는 단계는, 상기 제2 변환 관계에 기반하여 가우시안 블러링 처리된 제2 이미지에서의 타깃 대상의 얼굴에 대해 변형 처리를 수행하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  11. 제1항에 있어서,
    상기 제1 이미지에서의 타깃 대상의 얼굴 키포인트를 검출하여, 제1 키포인트 정보를 획득하는 단계는,
    얼굴 키포인트 검출 알고리즘에 기반하여 상기 제1 이미지를 검출하여, 상기 제1 이미지의 얼굴 영역에 포함된 각 기관의 키포인트 정보 및 상기 얼굴 영역 에지의 윤곽 키포인트 정보를 획득하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  12. 제11항에 있어서,
    상기 얼굴 영역 에지의 윤곽 키포인트 정보를 획득하는 단계는,
    상기 얼굴 영역에서 눈 아래 영역의 제1 그룹의 윤곽 키포인트 정보를 획득하는 단계;
    상기 얼굴 영역에서 이마 영역과 관련된 키포인트 정보에 기반하여, 상기 이마 영역의 제2 그룹의 윤곽 키포인트 정보를 결정하는 단계; 및
    상기 제1 그룹의 윤곽 키포인트 정보 및 상기 제2 그룹의 윤곽 키포인트 정보에 기반하여 상기 얼굴 영역 에지의 윤곽 키포인트 정보를 결정하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  13. 삭제
  14. 제1항에 있어서,
    외부 에지 키포인트 정보를 결정하는 단계는,
    상기 얼굴 영역의 중심 포인트를 결정하는 단계;
    상기 얼굴 영역 에지의 각 윤곽 키포인트와 상기 중심 포인트 사이의 거리를 결정하여, 상기 중심 포인트에 대한 각 윤곽 키포인트의 방향을 결정하는 단계; 및
    제1 윤곽 키포인트에 대해, 상기 제1 윤곽 키포인트에 대응되는 방향에 따라, 얼굴 영역 바깥쪽으로 기설정된 거리만큼 연장하여, 상기 제1 윤곽 키포인트에 대응되는 외부 에지 키포인트를 결정하는 단계 - 상기 제1 윤곽 키포인트는 상기 얼굴 영역 에지의 어느 하나의 윤곽 키포인트임 - ; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  15. 제1항 내지 제12항 및 제14항 중 어느 한 항에 있어서,
    상기 이미지 처리 방법은, 상기 제1 이미지 및 상기 제2 이미지에서의 타깃 대상의 입 상태가 상이하고, 상기 제3 이미지에서의 타깃 대상이 입을 벌린 상태일 때, 치아 템플릿 이미지에 기반하여 상기 제3 이미지에서의 상기 타깃 대상에 대해 치아 추가 작업을 수행하여, 제4 이미지를 생성하는 단계; 를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  16. 제1항 내지 제12항 및 제14항 중 어느 한 항에 있어서,
    상기 이미지 처리 방법은, 상기 제3 이미지 또는 상기 제3 이미지에 대해 치아 추가 작업을 수행하여 획득한 제4 이미지에 대해 이미지 스타일 변환 처리 수행하여, 제5 이미지를 획득하는 단계; 를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  17. 이미지 처리 장치로서,
    획득 유닛, 키포인트 검출 유닛 및 융합 처리 유닛을 포함하고;
    상기 획득 유닛은, 제1 이미지 및 제2 이미지를 획득하도록 구성되고;
    상기 키포인트 검출 유닛은, 제1 이미지에서의 타깃 대상의 얼굴 키포인트 검출하여, 제1 키포인트 정보를 획득하고; 상기 제2 이미지에서의 타깃 대상의 얼굴 키포인트 검출하여, 제2 키포인트 정보를 획득하도록 구성되고 - 상기 제1 키포인트 정보는 상기 제1 이미지의 얼굴 영역에 포함된 각 기관의 키포인트 정보, 상기 얼굴 영역의 에지의 윤곽 키포인트 정보 및 얼굴 영역과 관련된 외부 에지 키포인트 정보를 포함하며; 상기 제2 키포인트 정보는 얼굴 영역과 관련된 외부 에지 키포인트 정보를 포함하고; 상기 외부 에지 키포인트 정보는 상기 얼굴 영역 에지의 윤곽 키포인트 정보에 대응됨 - ;
    상기 융합 처리 유닛은, 제1 키포인트 정보 및 상기 제2 키포인트 정보에 기반하여 변환 관계를 결정하고; 상기 변환 관계에 기반하여, 상기 제1 이미지 및 상기 제2 이미지에서의 타깃 대상의 얼굴에 대해 융합을 수행하여, 제3 이미지를 획득하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체로서,
    상기 프로그램이 프로세서에 의해 실행될 경우, 제1항 내지 제12항 및 제14항 중 어느 한 항에 따른 이미지 처리 방법의 단계를 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
  34. 전자 기기로서,
    메모리, 프로세서 및 메모리에 저장되고 프로세서에서 작동 가능한 컴퓨터 프로그램을 포함하며, 상기 프로세서가 상기 프로그램을 실행할 경우, 제1항 내지 제12항 및 제14항 중 어느 한 항에 따른 이미지 처리 방법의 단계를 구현하는 것을 특징으로 하는 전자 기기.
  35. 프로세서로서,
    상기 프로세서는 컴퓨터 프로그램을 호출하기 위한 것이고, 상기 프로세서가 상기 프로그램을 실행할 경우, 제1항 내지 제12항 및 제14항 중 어느 한 항에 따른 이미지 처리 방법의 단계를 구현하는 것을 특징으로 하는 프로세서.
KR1020207033809A 2019-09-30 2020-04-28 이미지 처리 방법, 장치 및 전자 기기 KR102391087B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910944389.8 2019-09-30
CN201910944389.8A CN110728620A (zh) 2019-09-30 2019-09-30 一种图像处理方法、装置和电子设备
PCT/CN2020/087498 WO2021062998A1 (zh) 2019-09-30 2020-04-28 一种图像处理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
KR20210041534A KR20210041534A (ko) 2021-04-15
KR102391087B1 true KR102391087B1 (ko) 2022-04-27

Family

ID=75275163

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207033809A KR102391087B1 (ko) 2019-09-30 2020-04-28 이미지 처리 방법, 장치 및 전자 기기

Country Status (4)

Country Link
US (1) US11461870B2 (ko)
EP (1) EP3971820A4 (ko)
JP (1) JP7102554B2 (ko)
KR (1) KR102391087B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111791B (zh) * 2021-04-16 2024-04-09 深圳市格灵人工智能与机器人研究院有限公司 图像滤镜转换网络训练方法、计算机可读存储介质
CN113706428B (zh) * 2021-07-02 2024-01-05 杭州海康威视数字技术股份有限公司 一种图像生成方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019053706A (ja) * 2017-09-18 2019-04-04 麗寶大數據股▲フン▼有限公司 身体情報分析装置および顔形診断方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2355789A (en) 1999-10-26 2001-05-02 Tricorder Technology Plc Surface registration
US7876320B2 (en) * 2004-11-25 2011-01-25 Nec Corporation Face image synthesis method and face image synthesis apparatus
KR20070068501A (ko) * 2005-12-27 2007-07-02 박현 2차원 칼라 얼굴 영상에서 반복적인 주성분분석 재구성을이용한 자동적인 잡음 제거
KR101605769B1 (ko) * 2009-05-11 2016-03-23 삼성전자주식회사 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
KR101089287B1 (ko) 2010-06-09 2011-12-05 한국과학기술원 다중 얼굴 특징 정보 융합 기반 자동 얼굴 인식 장치 및 방법
JP5840528B2 (ja) 2012-02-21 2016-01-06 花王株式会社 顔画像合成装置及び顔画像合成方法
CN103324904A (zh) 2012-03-20 2013-09-25 凹凸电子（武汉）有限公司 人脸识别系统及其方法
US9104908B1 (en) * 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
TWM474207U (zh) 2013-07-11 2014-03-11 Imar Technology Co Ltd 行動商務身份證實之圖像辨識服務系統
KR20150039028A (ko) * 2013-10-01 2015-04-09 주식회사 이우소프트 치아교정 시뮬레이션 방법 및 이를 수행하는 시스템
CN103745237A (zh) 2013-12-26 2014-04-23 暨南大学 光照变化条件下的人脸识别算法
CN105184249B (zh) 2015-08-28 2017-07-18 百度在线网络技术（北京）有限公司 用于人脸图像处理的方法和装置
US9940695B2 (en) 2016-08-26 2018-04-10 Multimedia Image Solution Limited Method for ensuring perfect stitching of a subject's images in a real-site image stitching operation
US20180068178A1 (en) 2016-09-05 2018-03-08 Max-Planck-Gesellschaft Zur Förderung D. Wissenschaften E.V. Real-time Expression Transfer for Facial Reenactment
KR20200026808A (ko) 2017-07-13 2020-03-11 시쉐이도 아메리카스 코포레이션 가상 얼굴 메이크업 제거, 빠른 얼굴 검출, 및 랜드마크 추적
US10733699B2 (en) * 2017-10-24 2020-08-04 Deep North, Inc. Face replacement and alignment
CN107993216B (zh) * 2017-11-22 2022-12-20 腾讯科技（深圳）有限公司 一种图像融合方法及其设备、存储介质、终端
CN109872379B (zh) * 2017-12-05 2022-12-02 富士通株式会社 数据处理装置和方法
CN108229330A (zh) 2017-12-07 2018-06-29 深圳市商汤科技有限公司 人脸融合识别方法及装置、电子设备和存储介质
CN109993716B (zh) 2017-12-29 2023-04-14 微软技术许可有限责任公司 图像融合变换
KR102466998B1 (ko) 2018-02-09 2022-11-14 삼성전자주식회사 영상 융합 방법 및 장치
CN108537135A (zh) 2018-03-16 2018-09-14 北京市商汤科技开发有限公司 对象识别及对象识别网络的训练方法和装置、电子设备
CN108985241B (zh) * 2018-07-23 2023-05-02 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN109147012B (zh) 2018-09-20 2023-04-14 麒麟合盛网络技术股份有限公司 图像处理方法和装置
CN109712080A (zh) 2018-10-12 2019-05-03 迈格威科技有限公司 图像处理方法、图像处理装置及存储介质
CN109598749B (zh) * 2018-11-30 2023-03-10 腾讯科技（深圳）有限公司 一种三维人脸模型的参数配置方法、装置、设备及介质
CN109657583B (zh) * 2018-12-10 2021-10-22 腾讯科技（深圳）有限公司 脸部关键点检测方法、装置、计算机设备和存储介质
CN109801249A (zh) 2018-12-27 2019-05-24 深圳豪客互联网有限公司 图像融合方法、装置、计算机设备和存储介质
CN109934766B (zh) 2019-03-06 2021-11-30 北京市商汤科技开发有限公司 一种图像处理方法及装置
CN110163832B (zh) 2019-05-24 2021-06-08 北京百度网讯科技有限公司 人脸融合方法、装置和终端
CN113569791B (zh) * 2019-07-30 2022-06-21 北京市商汤科技开发有限公司 图像处理方法及装置、处理器、电子设备及存储介质
CN110443230A (zh) 2019-08-21 2019-11-12 北京百度网讯科技有限公司 人脸融合方法、装置以及电子设备
CN110728620A (zh) 2019-09-30 2020-01-24 北京市商汤科技开发有限公司 一种图像处理方法、装置和电子设备
JP2021077376A (ja) * 2019-11-07 2021-05-20 ハイパーコネクト インコーポレイテッド 画像変換装置及び方法、並びにコンピュータ読み取り可能な記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019053706A (ja) * 2017-09-18 2019-04-04 麗寶大數據股▲フン▼有限公司 身体情報分析装置および顔形診断方法

Also Published As

Publication number Publication date
US11461870B2 (en) 2022-10-04
JP2022507998A (ja) 2022-01-19
EP3971820A4 (en) 2022-08-10
KR20210041534A (ko) 2021-04-15
JP7102554B2 (ja) 2022-07-19
US20210104012A1 (en) 2021-04-08
EP3971820A1 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
US11043011B2 (en) Image processing method, apparatus, terminal, and storage medium for fusing images of two objects
US11989859B2 (en) Image generation device, image generation method, and storage medium storing program
US11244449B2 (en) Image processing methods and apparatuses
CN109829930B (zh) 人脸图像处理方法、装置、计算机设备及可读存储介质
CN110675487B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
WO2021062998A1 (zh) 一种图像处理方法、装置和电子设备
CN107507216B (zh) 图像中局部区域的替换方法、装置及存储介质
KR102391087B1 (ko) 이미지 처리 방법, 장치 및 전자 기기
CN112419170A (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN109801380A (zh) 一种虚拟试衣的方法、装置、存储介质及计算机设备
CN108985132B (zh) 一种人脸图像处理方法、装置、计算设备及存储介质
CN108463823A (zh) 一种用户头发模型的重建方法、装置及终端
CN110084219B (zh) 界面交互方法及装置
CN111460910A (zh) 人脸脸型的分类方法、装置、终端设备及存储介质
CN114743252B (zh) 用于头部模型的特征点筛选方法、设备和存储介质
JP7218769B2 (ja) 画像生成装置、画像生成方法、およびプログラム
JP3477376B2 (ja) 似顔絵作成装置及び似顔絵作成方法並びにこの方法を記録した記録媒体
CN113421197B (zh) 一种美颜图像的处理方法及其处理系统
Chou et al. Simulation of face/hairstyle swapping in photographs with skin texture synthesis
CN118115397A (zh) 一种人像牙齿美白特效生成方法、装置及设备
CN116309010A (zh) 一种虚拟形象美感评价方法、装置、电子设备及存储介质
CN116563134A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN112785683A (zh) 一种人脸图像调整方法及装置
CN115861122A (zh) 脸部图像处理方法、装置、计算机设备及存储介质
CN114581283A (zh) 一种降低实时预览功耗的渲染管线建立方法、设备、介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right