KR20200043448A - 이미지 처리를 위한 방법 및 장치, 및 컴퓨터 판독 가능 저장 매체 - Google Patents

이미지 처리를 위한 방법 및 장치, 및 컴퓨터 판독 가능 저장 매체 Download PDF

Info

Publication number
KR20200043448A
KR20200043448A KR1020207008298A KR20207008298A KR20200043448A KR 20200043448 A KR20200043448 A KR 20200043448A KR 1020207008298 A KR1020207008298 A KR 1020207008298A KR 20207008298 A KR20207008298 A KR 20207008298A KR 20200043448 A KR20200043448 A KR 20200043448A
Authority
KR
South Korea
Prior art keywords
image
retouching
face
region
skin color
Prior art date
Application number
KR1020207008298A
Other languages
English (en)
Other versions
KR102362544B1 (ko
Inventor
휘차오 왕
Original Assignee
광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 filed Critical 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Publication of KR20200043448A publication Critical patent/KR20200043448A/ko
Application granted granted Critical
Publication of KR102362544B1 publication Critical patent/KR102362544B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06T5/77—
    • G06K9/00234—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06K9/00268—
    • G06K9/00604—
    • G06K9/6288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/005—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명은 이미지 처리 방법 및 장치, 및 컴퓨터-판독 가능 저장 매체에 관한 것이다. 상기 방법은 다음 작업들을 포함한다. 처리될 이미지에 대해 얼굴 인식이 수행되어, 상기 처리될 이미지에서 얼굴 영역을 인식한다. 상기 얼굴 영역의 얼굴 특징 인식점들이 획득된다. 좌표계에서 상기 얼굴 특징 인식점들의 좌표값들이 획득된다. 상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 라인들에 대한 상기 좌표계의 좌표축의 각도들은 상기 좌표값들에 따라 판단된다. 상기 얼굴 영역의 편향 각도는 상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 상기 라인들에 대한 상기 좌표축의 상기 각도들에 따라 판단된다. 상기 편향 각도에 대응하는 리터칭 템플릿이 획득된다. 상기 리터칭 템플릿에 따라 얼굴 영역이 리터칭된다.

Description

이미지 처리를 위한 방법 및 장치, 및 컴퓨터 판독 가능 저장 매체
본 발명은 컴퓨터들(computers)의 기술 분야에 관한 것으로, 특히 이미지 처리를 위한 방법 및 장치, 및 전자 장치 및 컴퓨터-판독 가능 저장 매체에 관한 것이다.
전자 장치들의 급속한 발달로 인해, 상기 전자 장치들은 점점 더 많은 기능들을 가지고 있다. 사용자가 전자 장치로 사진을 찍을 때, 상기 전자 장치는 환경 조명 정보(environmental light information)를 검출하여 자동 화이트 밸런스(automatic white balance) 및 자동 노출 조절(automatic exposure regulation)과 같은 동작들을 수행할 수 있다. 상기 사용자가 상기 전자 장치로 인물 사진(portrait) 또는 자화상(self-portrait)을 촬영하면, 상기 전자 장치는 또한 상기 인물 사진에 대해 화이트닝(whitening), 버핑(buffing) 및 여드름 제거(acne removal)와 같은 일련의 리터칭 동작들(retouching operations)을 수행할 수 있다.
본 출원의 실시 예들 또는 종래 기술에서 기술적 해결 수단들을 보다 명확하게 설명하기 위해, 상기 실시 예들 또는 상기 종래 기술에 대한 설명들에서 사용될 필요가 있는 상기 도면들은 아래에 간단히 소개될 것이다. 명백한 점은, 아래에 기술되는 도면들은 본 출원의 일부 실시 예일 뿐이며, 당업자는 창조적인 작업 없이 이들 도면들에 따른 다른 도면들을 또한 얻을 수 있다는 것이다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치(10)의 내부 구조도를 도시한다.
도 2는 일 실시 예에 따른 이미지 처리 방법의 순서도를 도시한다.
도 3은 본 발명의 일 실시 예에 따른 공간 직교 좌표계에서 얼굴 회전의 모식도를 도시한다.
도 4는 본 발명의 일 실시 예에 따른 이미지 처리 방법의 순서도를 도시한다.
도 5는 본 발명의 일 실시 예에 따른 이미지 처리 방법의 순서도를 도시한다.
도 6은 본 발명의 일 실시 예에 따른 이미지 처리 방법의 순서도를 도시한다.
도 7은 본 발명의 일 실시 예에 따른 이미지 처리 장치의 구조 블록도를 도시한다.
도 8은 본 발명의 일 실시 예에 따른 이미지 처리 장치의 구조 블록도를 도시한다.
도 9는 본 발명의 일 실시 예에 따른 이미지 처리 장치의 구조 블록도를 도시한다.
도 10은 본 발명의 일 실시 예에 따른 이미지 처리 회로의 모식도를 도시한다.
본 출원의 상기 목적들, 기술적 해결 수단들 및 잇점들을 보다 명확하게 하기 위해, 이하, 본 출원을 상기 도면들 및 실시 예들과 함께 상세하게 설명한다. 이해할 점은, 본 명세서에 기술된 특정 실시 예들은 단지 본 출원을 설명하기 위해 채택되며, 본 출원을 제한하려는 것이 아니다.
도 1은 일 실시 예에 따른 전자 장치(10)의 내부 구조도를 도시한다. 도 1을 참조하면, 상기 전자 장치(10)는 시스템 버스를 통해 연결된 프로세서(processor), 비-일시적 저장 매체(non-transitory storage medium), 내부 메모리(internal memory), 네트워크 인터페이스(network interface), 디스플레이 스크린(display screen) 및 입력 장치(input apparatus)를 포함한다. 상기 전자 장치(10)의 상기 비-일시적 저장 매체는 운영 체제 및 컴퓨터-판독 가능 명령어를 저장한다. 상기 컴퓨터-판독 가능 명령어는 이미지 처리 방법을 구현하기 위해 상기 프로세서에 의해 실행된다. 상기 프로세서는 전체 전자 장치(10)의 실행을 지원하기 위한 계산 및 제어 능력을 제공하도록 구성된다. 상기 전자 장치(10)의 상기 내부 메모리는 상기 컴퓨터-판독 가능 명령어를 상기 비-일시적 저장 매체에서 실행하기 위한 환경을 제공한다. 상기 네트워크 인터페이스는 서버와 네트워크 통신을 수행하도록 구성된다. 상기 전자 장치(10)의 상기 디스플레이 스크린은 액정 디스플레이 스크린, 전자 잉크 디스플레이 스크린 등일 수 있다. 상기 입력 장치는 상기 디스플레이 스크린을 커버하는 터치 층일 수 있다. 상기 입력 장치는 또한 상기 전자 장치(10)의 하우징 상에 배열된 버튼, 트랙볼 또는 터치 패드일 수 있다. 상기 입력 장치는 또한 외부 키보드, 터치 패드, 마우스 등일 수 있다. 상기 전자 장치(10)는 모바일 폰, 태블릿 컴퓨터, 개인 휴대 정보 단말기, 웨어러블 장치 등일 수 있다. 당업자가 이해할 수 있는 점은, 도 1에 도시된 상기 구조는 본 발명의 상기 해결 수단들과 관련된 구조의 일부의 블록도만을 도시한 것이고, 본 출원의 상기 해결 수단들이 적용되는 상기 전자 장치(10)를 제한하도록 의도되지 않는다는 것이다. 상기 전자 장치(10)는 도 1에 도시된 구조로 제한되지 않는다. 또한, 상기 전자 장치(10)는 더 많거나 적은 컴포넌트들, 컴포넌트들의 조합 또는 상이한 컴포넌트 배열들을 포함할 수 있다.
도 2는 일 실시 예에 따른 이미지 처리 방법의 순서도를 도시한다. 도 2를 참조하면, 상기 이미지 처리 방법은 다음의 작업들을 포함한다.
블록(202)에서, 처리될 이미지에 대해 얼굴 인식이 수행되어, 상기 처리될 이미지에서 얼굴 영역을 인식한다. 상기 얼굴 영역에서 얼굴 특징 인식점들(facial feature recognition points)이 획득된다.
전자 장치는 상기 처리될 이미지에 상기 얼굴 영역이 존재하는지 여부를 검출하기 위해 상기 획득되고 처리될 이미지에 대한 얼굴 인식을 수행할 수 있다. 상기 처리될 이미지는 상기 전자 장치에 의해 촬영 및 획득된 이미지, 상기 전자 장치에 의해 저장된 이미지 및 데이터 네트워크 또는 무선 근거리 네트워크를 통해 상기 전자 장치에 의해 다운로드된 이미지일 수 있다. 상기 전자 장치는 얼굴 인식 알고리즘(face recognition algorithm)을 채택하여 상기 처리될 이미지에 대해 얼굴 인식을 수행할 수 있다. 상기 처리될 이미지에 상기 얼굴 특징 인식점들(facial feature recognition points)이 존재하는 경우, 상기 처리될 이미지에 얼굴이 존재하는 것이 검출된다. 상기 처리될 이미지에서 단일 얼굴 이미지가 차지하는 영역은 하나의 얼굴 영역(face region)이다. 상기 처리될 이미지에서 다수의 얼굴들이 존재하는 경우, 상기 처리될 이미지에 다수의 얼굴 영역이 존재한다.
상기 처리될 이미지에서 상기 얼굴 영역을 인식한 후, 상기 전자 장치는 상기 얼굴 영역에서 상기 얼굴 특징 인식점들을 획득할 수 있다. 상기 얼굴 특징 인식점들은 상기 얼굴의 5개의 상기 감각 기관들의 특징 포인트들일 수 있다. 상기 얼굴 특징 인식점들은 또한 상기 얼굴 영역에서 미리 설정된 포인트들일 수 있다.
블록(204)에서, 좌표계에서 상기 얼굴 특징 인식점들의 좌표값들이 획득된다.
상기 전자 장치는 상기 얼굴 영역에서 상기 얼굴 특징 인식점들의 상기 좌표값들을 획득할 수 있다. 구체적으로, 상기 전자 장치는 상기 얼굴 특징 인식점들에 대응하는 픽셀 위치들을 가지는 상기 얼굴 특징 인식점들의 상기 좌표값들을 나타낼 수 있다. 예를 들어, 상기 좌표값들은 상기 픽셀 위치들, 즉 특정 행들(specific rows) 및 특정 열들(specific columns)로 표시된다.
블록(206)에서, 상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 라인들에 대한 상기 좌표계의 좌표축의 각도들은 상기 좌표값들에 따라 판단된다.
상기 전자 장치는 상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 상기 라인들에 대한 상기 좌표축의 상기 각도들을 상기 얼굴 특징 인식점들의 상기 좌표값들에 따라 판단할 수 있다. 상기 얼굴 영역에는 다수의 얼굴 특징 인식점들이 있다. 상기 전자 장치는 2개의 얼굴 특징 인식점들마다 상기 거리 및 2개의 얼굴 특징 인식점들 사이에 연결된 라인들에 대한 상기 좌표축의 각도를 획득할 수 있다. 상기 얼굴 특징 인식점들은 상기 이미지 내의 다수의 픽셀들에 대응할 수 있다. 상기 전자 장치는 상기 얼굴 특징 인식점들 사이의 상기 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 라인들에 대한 상기 좌표축들의 각도들을 획득하기 위해 중심 위치들에서 상기 픽셀들을 기준점들로 선택할 수 있다. 예를 들어, 인간 눈의 상기 좌측 안각(canthus)의 위치는 100 번째 열에서 110 번째 열 및 100 번째 행에서 110 번째 행의 영역의 픽셀들에 대응한다. 이어서, 상기 전자 장치는 105 행 및 105 열의 상기 픽셀을 기준점으로 선택할 수 있다. 상기 전자 장치는 각 얼굴 특징 인식점의 상기 기준점에 따라 상기 얼굴 특징 인식점들의 상기 거리들 및 각도들을 계산할 수 있다.
상기 전자 장치는 상기 얼굴 특징 인식점들 사이의 상기 거리들을 상기 픽셀 수로 나타낼 수 있다. 예를 들어, 상기 좌측 안각(left canthus) 및 상기 우측 안각(right canthus) 사이의 거리는 30만 픽셀 값들이다. 상기 전자 장치는 또한 상기 이미지에서 직교 좌표계(rectangular coordinate system)를 구축하고, 상기 직교 좌표계에서 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 라인들에 대한 상기 직교 좌표계의 좌표축의 상기 각도들을 획득할 수 있다. 예를 들면, 상기 전자 장치는 상기 이미지 상에 서로 직각을 형성하는 두 개의 직선들로 상기 직교 좌표계를 구축하고, 양의 방향 및 음의 방향으로 상기 두 개의 직선들의 이름을 지정한다. 두 개의 얼굴 특징 인식점들에 대응하는 상기 기준점들을 연결하여 형성된 선분을 획득한 후, 상기 전자 장치는 상기 직교 좌표계에서 상기 선분과 상기 직선들에 의해 형성된 예각들을 획득하고, 상기 예각들을 이루는 상기 얼굴 특징 인식점 사이의 상기 각도를 나타낼 수 있다. 예를 들어, 상기 전자 장치는 상기 이미지에서 서로 직교하는 두 개의 직선들로 XY 좌표계를 설정하고, 상기 x축을 양의 축과 음의 축으로 나누고, 상기 y축을 양의 축과 음의 축으로 나눈다. 그리고 상기 전자 장치는 상기 얼굴의 상기 우측 안각과 코 끝에 의하여 형성된 선분과 상기 x축의 양의 축 사이에 80°의 각도 및 상기 y축의 양의 축에 10°의 각도로 상기 얼굴의 우측 안각과 코 끝 사이의 각도를 나타낸다.
블록(208)에서, 상기 정면 얼굴 이미지에 대한 상기 얼굴 영역의 편향 각도는 상기 얼굴 특징 인식점들 사이의 상기 거리들과 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 라인들에 대한 상기 좌표축의 상기 각도들에 따라 판단된다. 상기 편향 각도는 평면 상의 상기 정면 얼굴 이미지에 대한 상기 얼굴 영역의 회전 각도이다.
얼굴은 3차원 구조이고, 상기 얼굴은 3차원 공간에서 상이한 방향들을 따라 회전할 수 있다. 예를 들어, 상하 헤드 노딩(upward and downward head nodding), 좌우 헤드 쉐이킹(leftward and rightward headshaking) 등은 모두 상기 3차원 공간에서 상기 얼굴의 상기 회전에 속한다. 상기 얼굴이 상기 3차원 공간에서 회전한 후, 상기 이미지에 제시된 상기 얼굴의 2차원 이미지들이 상이할 수 있다. 상기 이미지에서 상기 얼굴의 편향 각도는 소프트웨어 방법으로 감지될 수 있다. 그러면, 상기 리터칭 템플릿(retouching template)은 상기 얼굴의 상기 편향 각도에 따라 대응하여 조절될 수 있다.
상기 얼굴 영역의 상기 얼굴 특징 인식점들 사이의 상기 거리들과 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 라인들에 대한 좌표축의 상기 각도들을 획득한 후, 전자 장치는 상기 얼굴 특징 인식점들 사이의 상기 거리들과 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 라인들에 대한 좌표축의 상기 각도들에 따라 상기 얼굴 영역의 상기 편향 각도를 판단할 수 있다. 상기 전자 장치는 인공 지능에 의해 상기 편향 각도를 획득할 수 있다. 상기 얼굴 영역의 상기 편향 각도는 표준 얼굴 이미지에 대한 상기 이미지에서 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 표준 얼굴 이미지는 정면 얼굴 이미지, 즉 상기 얼굴이 카메라를 직접 향할 때 촬영된 이미지이다. 상기 얼굴 영역의 상기 편향 각도는 3개의 각도들로 표현될 수 있다. 상기 3차원 공간에서 서로 직교하는 세 개의 직선이 한 지점에서 교차되어 3차원 좌표계를 형성하고, 상기 세 개의 직선들에서 두 개의 직선들마다 평면을 형성할 수 있고, 전적으로 3개의 평면들이 있다. 이어서, 상기 얼굴 영역의 상기 편향 각도는 상기 표준 얼굴 이미지에 대한 상기 세 개의 평면 상에서의 상기 얼굴 영역의 회전 각도로 표현된다.
블록(210)에서, 상기 편향 각도에 대응하는 리터칭 템플릿이 획득된다. 상기 리터칭 템플릿에 따라 상기 얼굴 영역이 리터칭될 수 있다.
상기 얼굴 영역의 상기 편향 각도를 획득한 후, 상기 전자 장치는 상기 얼굴 영역의 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 획득할 수 있다. 상기 리터칭 템플릿은 리터칭 파라미터에 따라 생성된 레이어를 나타낸다. 이러한 레이어의 다른 위치들은 상기 얼굴의 다른 특징점들에 대응할 수 있다. 상기 전자 장치는 상기 레리어에 다른 컬러들을 추가할 수 있다. 예를 들어, 동공 영역들에 대응하는 위치들은 동공 리터칭을 위해 블랙(black)으로 디스플레이된다. 입술 컬러를 표시하기 위해 입술 영역에 대응하는 위치가 레드(red)로 디스플레이된다. 광대뼈 영역들(cheekbone regions)에 해당하는 위치들은 광대뼈들의 상기 레드 컬러를 표시하기 위해 레드로 디스플레이된다. 상기 전자 장치는 상기 얼굴 영역을 리터칭하기 위한 상기 리터칭 파라미터에 따라 생성된 상기 레이어로 상기 원본 이미지 상의 상기 얼굴 영역을 커버할 수 있다. 일반적인 표현을 사용하기 위해, 상기 리터칭 템플릿은 투명 마스크(transparent mask)와 비슷하다. 상기 마스크는 다른 컬러들로 코팅된다. 상기 마스크는 디스플레이를 위해 상기 얼굴을 커버할 수 있다.
상기 전자 장치에 의해 미리 저장된 상기 리터칭 템플릿은 상기 얼굴의 상기 정면에 대응하는 리터칭 템플릿이다. 상기 전자 장치는 상기 얼굴 영역의 상기 편향 각도를 획득한 후, 편향 각도에 대응하는 템플릿을 획득 할 수 있다. 즉, 전자 장치는 회전 후 상기 얼굴의 상기 2차원 이미지에 대응하는 상기 리터칭 템플릿을 획득할 수 있다.
상기 전자 장치가 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 획득한 후, 상기 전자 장치는 상기 리터칭 템플릿에 따라 상기 처리될 이미지에서 상기 얼굴 영역을 리터칭할 수 있다. 즉, 상기 전자 장치는 상기 처리될 이미지에서 상기 리터칭 템플릿 및 상기 얼굴 영역을 중첩할 수 있다. 상기 전자 장치는 상기 얼굴 영역의 상기 얼굴 특징 인식점에 따라 상기 리터칭 템플릿의 위치를 판단할 수 있다.
일 측면에 따르면, 상기 전자 장치는 또한 상기 처리될 이미지에서 상기 얼굴 영역을 직접 리터칭할 수 있다. 리터칭은 화이트닝(whitening), 눈 확대(eye widening), 여드름 제거(acne removal), 기미 제거(freckle removal), 볼 컬러(cheek color) 적용, 동공 리터칭(pupil retouching), 립 글로스(lip gloss) 적용 등을 포함한다. 구체적으로, 상기 전자 장치는 상기 얼굴 영역에서 픽셀들의 컬러 값을 조절하고, 상기 얼굴 영역 등에서 필터링 처리를 수행함으로써 리터칭을 구현할 수 있다.
본 발명의 상기 방법에 따르면, 상기 이미지에서 상기 얼굴 영역의 상기 편향 각도가 분석된다. 상기 얼굴 영역에 대응하는 상기 리터칭 템플릿은 상기 얼굴 영역의 상기 편향 각도에 따라 획득되어, 상기 리터칭 템플릿이 상기 얼굴에 더 잘 맞도록 한다. 상기 리터칭 템플릿과 상기 얼굴이 일치하지 않는(non-correspondence) 다음과 같은 경우를 피할 수 있다: 특수 리터칭 효과는 상기 얼굴의 해당 영역에 표시되지 않는다. 따라서 상기 이미지가 지능적으로 리터칭될 수 있다.
일 측면에 따르면, 상기 편향 각도는 제1각도, 제2각도 및 제3각도를 포함한다. 상기 제1각도는 상기 표준 얼굴 이미지에 대한 제1평면 상의 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 제2각도는 상기 표준 얼굴 이미지에 대한 제2평면 상의 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 제3각도는 상기 표준 얼굴 이미지에 대한 제3평면 상의 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 제1평면, 상기 제2평면 및 상기 제3평면의 두 평면들은 서로 직교한다.
상기 얼굴이 상기 3차원 공간에서 회전할 수 있기 때문에, 회전하는 동안 상기 이미지 상에 제시된 상기 얼굴의 2차원 이미지는 상이하다. 상기 표준 얼굴 이미지에 대한 상기 얼굴의 상기 편향 각도를 분석할 때, 상기 전자 장치는 상기 3차원 공간에서 세 개의 각도들을 가지는 상기 편향 각도를 나타낼 수 있다. 상기 표준 얼굴 이미지는 상기 얼굴이 상기 카메라를 직접 향할 때 촬영된 2차원 얼굴 이미지이다. 도 3을 참조하면, 상기 3차원 공간에서 서로 직교하는 세 개의 직선들은 일 지점에서 교차하여, 공간 직교 좌표계, 즉 XYZ 좌표계를 형성한다. 상기 좌표계에서, 상기 x축과 상기 y축은 교차하여 상기 제1평면을 형성하고, 상기 x축과 상기 z축은 교차하여 상기 제2평면을 형성하며, 상기 y축과 상기 z축은 교차하여 제3평면을 형성한다. 상기 제1평면, 상기 제2평면 및 상기 제3평면의 두 평면들은 서로 직교한다. 상기 제1각도는 상기 표준 얼굴 이미지에 대해 상기 z축에 대한 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 제2각도는 상기 표준 얼굴 이미지에 대해 상기 y축에 대한 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 제3각도는 상기 표준 얼굴 이미지에 대해 상기 x축에 대한 상기 얼굴 영역의 회전 각도를 나타낸다. 도 3에서, 제1얼굴(302)은 표준 얼굴 이미지, 즉 상기 얼굴이 상기 카메라를 직접 향할 때 촬영된 2차원 얼굴 이미지이다. 상기 제1얼굴(302)이 각도(α)만큼 상기 y축을 중심으로 반 시계 방향으로 회전한 후, 제2얼굴(304)이 획득될 수 있고, 상기 제1얼굴(302)에 대한 상기 제2얼굴(304)의 편향 각도는 제1각도 0, 제2각도 α 및 제3각도 0을 포함한다.
상기 편향 각도에 대응하는 상기 제1각도, 제2각도 및 제3각도를 기록할 때, 상기 전자 장치는 각각 상기 제1평면, 제2평면 및 제3평면 상에 양의 회전 방향을 설정할 수 있고, 상기 표준 얼굴 이미지에 대한 상기 양의 회전 방향들로 상기 얼굴 영역의 회전 각도들을 가지는 상기 제1각도, 상기 제2각도 및 상기 제3각도를 나타낸다. 예를 들어, 상기 제2각도의 경우, 반 시계 방향은 상기 양의 회전 방향이고, 상기 얼굴 영역이 상기 표준 얼굴 이미지에 대해 β만큼 반 시계 방향으로 회전할 때, 상기 제2각도는 β이며, 상기 얼굴 영역이 상기 표준 얼굴 이미지에 대해 γ 만큼 시계 방향으로 회전할 때, 상기 제2각도는 -γ이다.
본 발명의 상기 방법에 따르면, 상기 표준 얼굴 이미지에 대한 상기 얼굴 영역의 상기 편향 각도는 서로 직교하는 세 개의 평면들에서 상기 회전 각도들로 분할되고, 복잡한 3차원 변화가 상기 세 개의 평면들의 각 평면으로 분할되며, 상기 얼굴의 상기 편향 각도에 대한 상기 전자 장치의 분석이 용이해 지도록 한다.
일 실시 예에 따르면, 상기 편향 각도에 대응하는 상기 리터칭 템플릿이 획득되는 상기 동작은 다음 작업들 중 어느 하나를 포함한다.
(1) 상기 전자 장치는 표준 리터칭 템플릿을 미리 저장하고, 상기 편향 각도에 따라 상기 표준 리터칭 템플릿을 회전시켜 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 획득한다.
상기 표준 리터칭 템플릿은 상기 전자 장치에 미리 저장된다. 상기 표준 리터칭 템플릿은 상기 표준 얼굴 이미지에 대응하는 리터칭 템플릿이다. 상기 얼굴이 상기 카메라를 직접 향할 때 촬영된 얼굴은 상기 표준 얼굴 이미지, 즉 얼굴 상기 정면이다. 상기 표준 리터칭 템플릿은 상기 얼굴의 상기 정면에 대응하는 리터칭 템플릿이다. 상기 표준 얼굴 이미지에 대한 상기 얼굴 영역의 상기 편향 각도를 획득한 후, 상기 전자 장치는 상기 편향 각도에 따라 상기 표준 리터칭 템플릿을 회전시킬 수 있다. 상기 표준 얼굴 이미지에 대한 상기 얼굴 영역의 상기 편향 각도는 상기 공간 좌표계에서 상기 제1각도, 제2각도 및 제3각도로 표현될 수 있다. 상기 편향 각도에 따라 상기 표준 리터칭 템플릿을 회전시킬 때, 상기 전자 장치는 상기 제1각도, 상기 제2각도 및 상기 제3각도에 따라 상기 공간 좌표계에서 상기 표준 리터칭 템플릿을 회전시켜, 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 획득할 수 있다.
(2) 상기 전자 장치는 상기 편향 각도에 대응하는 상기 리터칭 템플릿에 대해 저장된 리터칭 템플릿을 검색할 수 있다.
상이한 편향 각도들에 대응하는 리터칭 템플릿들이 상기 전자 장치에 저장될 수 있다. 상기 표준 얼굴 이미지에 대한 상기 얼굴 영역의 상기 편향 각도를 획득한 후, 이동 단말기는 상기 전자 장치에 의해 저장된 상기 리터칭 템플릿을 검색하여 상기 표준 얼굴 이미지에 대한 상기 얼굴 영역의 상기 편향 각도에 대응하는 리터칭 템플릿이 있는지 여부를 판단할 수 있다. 상기 표준 얼굴 이미지에 대한 상기 얼굴 영역의 상기 편향 각도에 대응하는 리터칭 템플릿이 있다고 판단할 때, 상기 전자 장치는 상기 표준 얼굴 이미지에 대한 상기 얼굴 영역의 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 직접 획득할 수 있다.
(3) 상기 전자 장치는 상기 편향 각도를 서버에 업로드하고, 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 상기 서버로부터 수신한다.
상기 표준 얼굴 이미지에 대한 상기 얼굴 영역의 상기 편향 각도를 획득한 후, 상기 전자 장치는 상기 편향 각도를 상기 서버에 업로드할 수 있다. 상이한 편향 각도들에 대응하는 상기 리터칭 템플릿들은 상기 서버에 저장된다. 상기 표준 얼굴 이미지에 대한 상기 얼굴 영역의 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 발견하면, 상기 서버는 상기 발견된 리터칭 템플릿을 상기 전자 장치에 반환한다. 상기 전자 장치가 상기 편향 각도를 획득한 후, 상기 표준 리터칭 템플릿은 또한 상기 편향 각도에 따라 회전할 수 있고, 회전에 의해 생성된 상기 리터칭 템플릿은 상기 전자 장치로 되돌아 가고, 여기서 상기 표준 리터칭 템플릿은 상기 표준 얼굴 이미지에 대응하는 상기 리터칭 템플릿이다. 상기 서버가 상기 표준 리터칭 템플릿을 회전시키는 방법은 상기 전자 장치가 상기 표준 리터칭 템플릿을 회전시키는 방법과 동일하다.
본 발명의 상기 방법에 따르면, 상기 표준 얼굴 이미지에 대한 상기 얼굴 영역의 상기 편향 각도가 획득된 후, 상기 전자 장치는 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 획득할 수 있고, 상기 처리될 이미지 내의 상기 얼굴 영역은 상기 편향 각도에 대응하는 상기 리터칭 템플릿에 따라 리터칭되어, 상기 처리될 이미지 내의 상기 얼굴 영역이 보다 지능적으로 리터칭된다.
본 발명의 일 측면에 따르면, 이미지 처리 방법은 다음 작업들을 포함한다.
블록(402)에서, 상기 처리될 이미지에 대해 얼굴 인식이 수행되어, 상기 처리될 이미지에서 얼굴 영역을 인식한다. 상기 얼굴 영역에서 얼굴 특징 인식점들이 획득된다.
블록(404)에서, 좌표계에서 상기 얼굴 특징 인식점들의 좌표값들이 획득된다.
블록(406)에서, 상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 라인들에 대한 상기 좌표계의 좌표축의 각도들은 상기 좌표값들에 따라 판단된다.
블록(408)에서, 상기 얼굴 영역의 편향 각도는 상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 라인들에 대한 상기 좌표축의 상기 각도들에 따라 판단된다. 상기 편향 각도는 평면 상의 상기 정면 얼굴 이미지에 대한 상기 얼굴 영역의 회전 각도이다.
블록(410)에서, 상기 편향 각도에 대응하는 리터칭 템플릿이 획득된다.
블록(412)에서, 상기 얼굴 영역의 피부 컬러(skin color)와 피부 유형(skin type) 및 상기 얼굴 영역에 대응하는 성별(sex)이 획득된다.
상기 전자 장치는 상기 얼굴 영역의 상기 피부 컬러와 피부 유형 및 상기 얼굴 영역의 얼굴에 대응하는 성별을 인식할 수 있다. 상기 전자 장치는 상기 얼굴 영역의 상기 피부 컬러를 피부 컬러 영역의 컬러값(color value)으로 표현한다. 상기 전자 장치는 상기 얼굴 영역의 주름들, 기미들 및 여드름들의 수를 통해 상기 피부 유형의 레벨(level)을 판단할 수 있다. 상기 전자 장치는 기계 학습 모델(machine learning model)을 통해 상기 얼굴에 대응되는 성별(sex)을 인식할 수 있다.
블록(414)에서, 상기 피부 컬러, 상기 피부 유형 및 상기 성별에 따라 상기 얼굴 영역에 대응하는 리터칭 파라미터(retouching parameter)가 획득된다.
상이한 피부 컬러들, 피부 유형들 및 성별들에 대해, 상기 전자 장치는 상이한 리터칭 파라미터들과 일치할 수 있다. 예를 들어, 상기 이미지 내의 여성의 얼굴 이미지가 리터칭되는 경우, 상기 전자 장치는 상기 얼굴 이미지의 피부 컬러, 입술 컬러, 동공 컬러, 볼 컬러 등을 조절할 수 있다. 상기 이미지 내의 남성의 얼굴 이미지가 리터칭되는 경우, 상기 전자 장치는 상기 얼굴 이미지에서 피부 컬러 및 동공 컬러만을 조절한다. 피부 컬러, 피부 유형, 성별 및 리터칭 파라미터 사이의 대응 관계는 상기 전자 장치에 미리 저장될 수 있다. 상기 얼굴 이미지의 상기 피부 컬러, 피부 유형 및 성별을 획득한 후, 상기 전자 장치는 상기 대응하는 리터칭 파라미터를 검색할 수 있다. 상기 전자 장치는 또한 상기 기계 학습 모델을 통해 상기 얼굴 이미지의 피부 컬러, 피부 유형 및 성별에 대응하는 상기 리터칭 파라미터를 검색할 수 있다.
블록(416)에서, 상기 리터칭 템플릿은 상기 리터칭 파라미터에 따라 조절된다. 상기 조절된 리터칭 템플릿에 따라 상기 얼굴 영역이 리터칭된다.
상기 얼굴 영역에 대응하는 상기 리터칭 파라미터를 획득한 후, 상기 전자 장치는 상기 획득된 리터칭 파라미터에 따라 상기 리터칭 템플릿을 조절할 수 있다. 상기 조절된 리터칭 템플릿은 상기 리터칭 파라미터를 상기 리터칭 템플릿의 원본 파라미터로 대체하는 것을 의미한다.
본 발명의 상기 방법에 따르면, 상기 전자 장치는 상기 이미지에서 상기 얼굴 영역의 피부 컬러, 피부 유형 및 파라미터에 따라 대응하는 리터칭 파라미터를 검색할 수 있고, 상이한 얼굴 영역들에 대해 상이한 리터칭 처리를 구현할 수 있어, 상기 이미지를 보다 개인화된 방식(personalized manner)으로 리터칭한다.
본 발명의 일 측면에 따르면, 블록(210) 후에, 상기 방법은 다음의 작업들을 추가로 포함한다.
블록(212)에서, 상기 얼굴 영역의 피부 컬러 영역이 인식된다. 상기 피부 컬러 영역에 대해 엣지 추출(edge extraction)을 수행하여, 엣지 정보(edge information)를 획득한다.
상기 처리될 이미지에서 얼굴 영역을 획득한 후, 상기 전자 장치는 상기 얼굴 영역의 상기 피부 컬러 영역을 인식할 수 있고, 상기 피부 컬러 영역은 상기 얼굴의 피부에 의해 커버되는 영역이다. 상기 전자 장치는 상기 얼굴 영역에서 각 픽셀의 컬러값을 통해 상기 피부 컬러 영역을 인식할 수 있다. 구체적으로, 상기 전자 장치는 상기 피부 컬러의 컬러값을 미리 저장할 수 있고, 상기 전자 장치는 상기 얼굴 영역의 각 픽셀의 상기 컬러값을 상기 피부 컬러의 상기 컬러값과 비교하고, 상기 픽셀의 컬러값과 상기 피부 컬러의 컬러값 사이의 컬러 차이값이 특정 임계값보다 작은 경우, 두 개의 컬러들이 비교적 근접한 것으로 판단하고, 상기 얼굴 영역의 상기 픽셀의 상기 컬러를 상기 피부 컬러로 인식하며, 상기 컬러들이 상기 피부 컬러인 상기 픽셀 세트에 의해 디스플레이되는 영역은 상기 피부 컬러 영역이다.
상기 얼굴 영역의 상기 피부 컬러 영역을 획득한 후, 상기 전자 장치는 상기 피부 컬러 영역에 대해 엣지 검출을 수행하여, 상기 피부 컬러 영역에서 상기 엣지 정보를 획득할 수 있다. 엣지 검출은 상기 이미지 처리 동안 상기 이미지에서 휘도가 명백하게 변화하는 지점, 예를 들어, 상기 피사체의 상기 표면 상의 질감(texture) 및 상기 피사체의 상기 표면의 형상(shape)을 인식하는 것을 나타낸다. 상기 엣지 정보는 상기 피부 컬러 영역의 윤곽 정보(contour information)이다. 상기 전자 장치는 피부 컬러 영역에서 피부 질감, 여드름의 윤곽, 기미의 윤곽, 흉터의 윤곽 등을 인식하기 위해 엣지 검출을 수행할 수 있다.
블록(214)에서, 제1피부 컬러 영역이 상기 엣지 정보에 따라 판단된다.
상기 전자 장치가 상기 피부 컬러 영역에서 상기 엣지 정보를 획득한 후, 상기 전자 장치는 상기 엣지 정보에 따라 상기 제1피부 컬러 영역을 판단할 수 있다. 상기 제1피부 컬러 영역은 섬세한 피부 영역이다. 상기 전자 장치는 상기 엣지 정보를 획득한 후, 상기 여드름의 상기 윤곽, 상기 기미의 상기 윤곽 및 상기 흉터의 상기 윤곽에 따라, 상기 여드름 영역, 기미 영역 및 흉터 영역이 제거될 수 있다. 그러면, 상기 전자 장치는 상기 피부 컬러 영역으로부터 상기 여드름 영역, 상기 기미 영역 및 상기 흉터 영역을 제거하여 상기 제1피부 컬러 영역을 획득한다. 상기 전자 장치가 상기 피부 컬러 영역에서 상기 여드름 영역, 상기 기미 영역 및 상기 흉터 영역을 제거하는 상기 동작은 상기 전자 장치가 상기 여드름 영역의 이미지, 상기 기미 영역의 이미지 및 상기 흉터 영역의 이미지를 크롭(crop)하는 것을 의미한다
블록(216)에서, 상기 리터칭된 얼굴 영역 및 상기 제1피부 컬러 영역에 대하여 이미지 융합(image fusion)이 수행된다.
상기 처리될 이미지에서 상기 얼굴 영역을 리터칭한 후, 상기 전자 장치는 상기 이미지의 상기 리터칭된 얼굴 영역 및 상기 제1피부 컬러 영역에 대해 이미지 융합을 수행할 수 있다. 구체적으로, 상기 전자 장치는 상기 리터칭된 얼굴 영역의 상기 피부 컬러에 따라 상기 제1피부 컬러 영역의 피부 컬러를 조절할 수 있고, 이어서 상기 조절된 제1피부 컬러 영역 및 상기 리터칭된 얼굴 영역을 중첩시킬 수 있다. 그리고, 상기 전자 장치는 상기 중첩된 영역의 엣지에 대해 전이 처리(transition processing)를 수행한다. 상기 전자 장치는 상기 중첩된 영역의 상기 엣지 상에서 페더링 처리(feathering processing) 및 램프 쉐이딩(ramp shading)을 수행하여 천이 처리를 구현할 수 있다. 상기 전자 장치는 또한 상기 중첩된 영역에 대해 전이 처리를 구현하기 위해 상기 제1피부 컬러 영역에 대한 그라디언트 투명도 조절(gradient transparency regulation)을 수행할 수 있다.
본 발명의 방법에 따르면, 상기 이미지의 상기 얼굴 영역을 리터칭하기 전에, 상기 얼굴 영역의 특정 피부 컬러 영역은 상기 엣지 정보에 따라 인식되고 저장된다. 이어서 상기 리터칭된 얼굴 영역 및 상기 특정 컬러 피부 영역에 대해 이미지 융합이 수행된다. 따라서, 원본 피부 질감 등의 디테일이 상기 리터칭된 얼굴 영역에 예약될 수 있다. 상기 리터칭된 이미지가 더 실제적이고, 상기 이미지의 상기 인상이 향상된다.
본 발명의 일 측면에 따르면, 상기 엣지 정보에 따라 상기 제1피부 컬러 영역이 판단되는 상기 동작은 다음과 같은 작업들을 포함한다. 제1엣지 정보는 상기 엣지 정보에 대응하는 형상 및 컬러에 따라 판단된다. 상기 제1엣지 정보에 대응하는 피부 컬러 영역이 상기 제1피부 컬러 영역으로서 획득된다. 상기 제1피부 컬러 영역의 위치 정보들 기록된다.
상기 엣지 정보를 획득한 후, 상기 전자 장치는 상기 엣지 정보에 대응하는 상기 형상, 컬러 및 휘도에 따라 상기 엣지 정보의 유형을 판단할 수 있다. 상기 엣지 정보는 상기 피부 컬러 영역에서의 윤곽 정보이고, 상기 엣지 정보에 대응하는 상기 형상은 상기 윤곽의 형상이다. 예를 들어, 상기 기미 영역의 상기 윤곽은 타원에 가깝고, 상기 피부 질감의 윤곽은 직선에 가깝다. 상기 엣지 정보의 상기 윤곽들이 폐쇄된 이미지에 연결되면, 상기 전자 장치는 상기 폐쇄된 이미지의 컬러 및 휘도, 예를 들어, 주근깨 영역의 컬러 및 휘도, 여드름 영역의 컬러 및 휘도를 감지할 수 있다. 상기 엣지 정보에 대응하는 상기 형상, 컬러 및 휘도를 획득한 후, 상기 전자 장치는 상기 엣지 정보의 상기 유형을 인식할 수 있다. 서로 다른 유형들의 엣지 정보에 대응하는 형상, 컬러 및 휘도 정보가 상기 전자 장치에 미리 저장된다. 상기 전자 장치는 상기 엣지 정보에 대응하는 상기 형상, 컬러 및 휘도를 비교하여 상기 엣지 정보의 상기 유형을 판단할 수 있다. 본 발명의 일 측면에 따르면, 상기 전자 장치는 또한 뉴럴 네트워크 모델(neural network model)을 통해 상기 엣지 정보의 상기 유형을 인식할 수 있다. 상기 전자 장치는 상기 피부 질감에 대응하는 엣지 정보를 상기 제1엣지 정보로 선택할 수 있다. 상기 제1엣지 정보에 대응하는 상기 피부 컬러 영역은 상기 제1피부 컬러 영역이다. 상기 제1피부 컬러 영역을 획득한 후, 상기 전자 장치는 상기 제1피부 컬러 영역의 상기 위치 정보를 기록할 수 있다. 상기 전자 장치가 상기 제1피부 컬러 영역의 상기 위치 정보를 기록하는 상기 동작은 다음과 같은 작업을 포함한다. 상기 전자 장치는 상기 제1피부 컬러 영역, 예를 들어 상기 제3행 및 상기 제3열에 픽셀들의 좌표값들을 기록한다.
상기 리터칭된 얼굴 영역 및 상기 제1피부 컬러 영역에 대해 이미지 융합이 수행되는 상기 동작은 다음의 작업을 포함한다. 상기 처리된 얼굴 영역에서 상기 제1피부 컬러 영역의 대응하는 컬러 피부 영역은 상기 위치 정보에 따라 판단되며, 융합 처리는 상기 제1피부 컬러 영역 및 상기 대응하는 피부 컬러 영역에 대해 수행된다.
상기 제1피부 컬러 영역의 상기 위치 정보를 획득한 후, 상기 전자 장치는 상기 제1피부 컬러 영역의 상기 위치 정보에 따라 상기 대응하는 피부 컬러 영역에 대한 상기 리텅칭된 얼굴 영역을 검색할 수 있다. 이러한 동작에는 다음 작업들이 포함될 수 있다. 상기 전자 장치는 상기 제1피부 컬러 영역의 좌표값에 따라 상기 리터칭된 얼굴 영역에서 대응하는 좌표값을 검색한 후, 상기 리터칭된 얼굴 영역에서 대응하는 영역이 피부 컬러 영역인지 여부를 검출할 수 있다. 상기 전자 장치는 상기 픽셀의 상기 컬러 값에 따라 현재 픽셀이 상기 피부 컬러인지 여부를 검출할 수 있다. 예를 들어, 상기 제1피부 컬러 영역에서 픽셀의 상기 좌표값이 상기 제3행 및 상기 제3열인 경우, 상기 전자 장치는 상기 리터칭된 얼굴 영역에서 상기 3행 및 상기 3열의 상기 픽셀을 검색한다. 상기 리터칭된 얼굴 영역에서 상기 제3행의 픽셀 및 상기 제3열의 상기 픽셀이 상기 피부 컬러인지 여부를 검출한다.
상기 전자 장치는 상기 처리될 이미지에서 상기 얼굴 영역을 리터칭하는 경우, 상기 얼굴 영역의 디스플레이 영역을 변경할 수 있다. 예를 들어, 상기 처리된 얼굴 영역에서 상기 제1피부 컬러 영역의 상기 대응하는 영역은 눈 확대, 얼굴 성형 등의 동작이 상기 얼굴 영역에 대해 수행된 후에 상기 피부 컬러 영역이 아닐 수 있다. 따라서, 상기 전자 장치는 상기 제1피부 컬러 영역을 처리하지 않는다.
상기 처리된 얼굴 영역에서 상기 제1피부 컬러 영역의 상기 대응하는 피부 컬러 영역을 획득한 후, 상기 전자 장치는 상기 제1피부 컬러 영역 및 상기 대응하는 피부 컬러 영역에 대해 융합 처리를 수행할 수 있다. 융합 처리 전에, 상기 전자 장치는 상기 처리된 얼굴 영역에서 상기 대응하는 피부 컬러 영역에 따라 상기 제1피부 컬러 영역의 상기 컬러, 휘도 및 투명도를 조절할 수 있다.
본 발명의 상기 방법에 따르면, 상기 전자 장치는 상기 얼굴 및 상기 리터칭된 얼굴 영역에서 상기 원본 피부 컬러 영역을 융합시킬 수 있다. 따라서, 상기 리터칭된 얼굴 영역에도 디테일 특징들이 부여되고, 상기 리터칭된 이미지가 왜곡되는 것을 방지하며, 이미지의 심미감(aesthetics)이 개선된다.
본 발명의 일 측면에 따르면, 상기 처리될 이미지에 대해 얼굴 인식을 수행하는 상기 동작 전에, 상기 방법은 다음의 작업들을 추가로 포함한다.
블록(602)에서, 다수의 연속 촬영된 이미지들의 눈 상태들에 따라 상기 다수의 연속 촬영된 이미지들로부터 하나 이상의 눈-뜬(eye-opened) 이미지들이 선택된다.
상기 연속 촬영된 이미지들은 동일한 방향과 동일한 각도에서 연속적이고 빠르게 촬영되는 이미지를 말한다. 정상적인 조건에서 상기 연속 촬영된 이미지들의 유사성은 상대적으로 높다. 상기 다수의 연속 촬영된 이미지들은 상기 전자 장치에 의해 촬영 및 획득된 이미지일 수 있으며, 또한 네트워크 전송 방식으로 상기 전자 장치에 의해 획득된 이미지일 수 있다. 상기 다수의 연속 촬영된 얼굴 이미지들을 획득한 후, 상기 전자 장치는 상기 얼굴 이미지들에서 얼굴 특징점들, 예를 들어 상기 얼굴의 다섯 개의 감각 기관들의 특징점들을 추출할 수 있다. 상기 전자 장치는 상기 얼굴 특징점들에 따라 얼굴 특징점들의 위치 정보를 마킹할 수 있으며, 예를 들어, 상기 얼굴의 안구 특징점들에 따른 눈의 위치들을 인식할 수 있다. 상기 얼굴 특징점들을 획득한 후, 상기 전자 장치는 상기 얼굴의 눈 특징들을 추출한 다음, 상기 눈 특징들에 따라 눈-뜬 이미지를 판단할 수 있다. 상기 눈-뜬 이미지는 상기 이미지의 눈들이 모두 열린 이미지이다. 상기 눈 특징들은: 안구 형상, 안구 위치, 안구 면적, 시선 방향, 동공 높이, 눈 화이트 영역 등을 포함할 수 있다. 상기 눈 특징들에 대응하는 판정 조건은 상기 전자 장치에 미리 설정될 수 있다. 상기 눈 특징들을 획득한 후, 상기 전자 장치는 상기 얼굴 이미지가 눈-뜬 이미지인지 여부를 판정하기 위해 상기 눈 특징들을 미리 설정된 판정 조건과 하나씩 비교할 수 있다. 예를 들어, 상기 얼굴 이미지에서 상기 얼굴의 상기 안구 영역이 제1임계값보다 크다는 것이 검출되면, 상기 얼굴이 눈-뜬 상태에 있고, 상기 이미지는 눈-뜬 이미지인 것으로 판단된다. 또는, 상기 얼굴 이미지에서 상기 얼굴의 상기 동공 높이가 미리 설정된 범위 내에 있는 것으로 검출되면, 상기 얼굴이 눈-뜬 상태에 있고, 상기 이미지는 눈-뜬 이미지인 것으로 판단된다.
블록(604)에서, 두 개 이상의 눈-뜬 이미지들을 선택하면, 상기 두 개 이상의 눈-뜬 이미지들이 합성되어, 합성된 이미지를 생성하고, 상기 합성된 이미지는 상기 처리될 이미지로 판단된다.
상기 다수의 연속 촬영된 이미지들 중에서 두 개 이상의 눈-뜬 이미지들이 선택되면, 상기 전자 장치는 두 개 이상의 눈-뜬 이미지들을 합성하여 합성된 이미지를 생성하고, 상기 합성된 이미지를 상기 처리될 이미지로 판단할 수 있다. 이미지 합성에 의해 상기 이미지의 노이즈가 감소되고, 상기 이미지의 품질이 향상될 수 있다.
블록(606)에서, 상기 다수의 연속 촬영된 이미지들 중에서 하나의 눈-뜬 이미지가 선택되면, 상기 눈-뜬 이미지는 상기 처리될 이미지로 판단된다.
블록(608)에서, 상기 처리될 이미지에 대해 얼굴 인식이 수행되어, 상기 처리될 이미지에서 상기 얼굴 영역을 인식하고, 상기 얼굴 영역에서 상기 얼굴 특징 인식점들이 획득된다.
블록(610)에서, 좌표계에서 상기 얼굴 특징 인식점들의 상기 좌표값들이 획득된다.
블록(612)에서, 상기 얼굴 특징 인식점들 사이의 거리들 및 얼굴 특징 인식점들 중 두 점을 잇는 각각의 라인들에 대한 좌표계에 대한 좌표축의 각도들은 상기 좌표값들에 따라 판단된다.
블록(614)에서, 상기 정면 얼굴 이미지에 대한 상기 얼굴 영역의 상기 편향 각도는 상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 상기 라인들에 대한 상기 좌표축의 상기 각도들에 따라 판단된다. 상기 편향 각도는 평면 상의 상기 정면 얼굴 이미지에 대한 상기 얼굴 영역의 회전 각도이다.
블록(616)에서, 상기 편향 각도에 대응하는 상기 리터칭 템플릿이 획득된다. 상기 리터칭 템플릿에 따라 상기 얼굴 영역이 리터칭된다.
본 발명의 상기 방법에 따르면, 상기 전자 장치는 상기 다수의 연속 촬영된 이미지들을 선택하고, 상기 처리될 이미지로서, 즉 상기 다수의 이미지들로부터 리터칭을 위해 더 높은 심미감을 가지는 이미지를 선택하여, 상기 다수의 이미지들에서 상기 눈-뜬 이미지만을 획득한다. 따라서, 이미지 처리 프로세스가 보다 지능적이고 사용자의 고착성(stickiness)이 개선된다.
도 7은 일 실시 예에 따른 이미지 처리 장치의 구조 블록도를 도시한다. 도 7을 참조하면, 상기 이미지 처리 장치는 인식 모듈(recognition module)(702), 획득 모듈(acquisition module)(704), 판정 모듈(determination module)(706) 및 리터칭 모듈(retouching module)(708)을 포함한다.
상기 인식 모듈(702)은 처리될 이미지에 대한 얼굴 인식을 수행하여, 상기 처리될 이미지에서 얼굴 영역을 인식하도록 구성된다.
상기 획득 모듈(704)은 상기 얼굴 영역에서 얼굴 특징 인식점들을 획득하고, 좌표계에서 상기 얼굴 특징 인식점의 좌표값들을 획득하도록 구성된다.
상기 판정 모듈(706)은 상기 좌표값들에 따라 상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 라인들에 대한 상기 좌표계의 좌표축의 각도들을 판단하도록 구성되고, 상기 얼굴 특징 인식점들 사이의 상기 거리들와 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 상기 라인들에 대한 상기 좌표축의 상기 각도들에 따라 상기 정면 얼굴 이미지에 대한 상기 얼굴 영역의 편향 각도를 판단하도록 구성된다. 상기 편향 각도는 평면 상의 상기 정면 얼굴 이미지에 대한 얼굴 영역의 회전 각도이다.
상기 리터칭 모듈(708)은 상기 편향 각도에 대응하는 리터칭 템플릿을 획득하고, 상기 리터칭 템플릿에 따라 상기 얼굴 영역을 리터칭하도록 구성된다.
본 발명의 일 측면에 따르면, 상기 편향 각도는 제1각도, 제2각도 및 제3각도를 포함한다. 상기 제1각도는 표준 얼굴 이미지에 대한 제1평면 상의 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 제2각도는 상기 표준 얼굴 이미지에 대한 제2평면 상의 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 제3각도는 상기 표준 얼굴 이미지에 대한 제3평면 상의 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 제1평면, 상기 제2평면 및 상기 제3평면의 두 평면들은 서로 직교한다.
본 발명의 일 측면에 따르면, 상기 리터칭 템플릿(708)이 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 획득하는 상기 동작은 다음의 작업들 중 어느 하나를 포함한다.
(1) 상기 전자 장치는 상기 표준 리터칭 템플릿을 미리 저장하고, 상기 편향 각도에 따라 상기 표준 리터칭 템플릿을 회전시켜, 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 획득한다.
(2) 상기 전자 장치는 상기 편향 각도에 대응하는 상기 리터칭 템플릿에 대해 저장된 리터칭 템플릿들을 검색한다. 또는
(3) 상기 전자 장치는 상기 편향 각도를 서버에 업로드하고, 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 상기 서버로부터 수신한다.
본 발명의 일 측면에 따르면, 상기 인식 모듈(702)은 상기 얼굴 영역에서 피부 컬러 영역을 인식하고, 상기 피부 컬러 영역에 대해 엣지 추출을 수행하여, 엣지 정보를 획득하도록 추가로 구성된다.
상기 판정 모듈(706)은 상기 엣지 정보에 따라 제1피부 컬러 영역을 판단하도록 추가로 구성된다.
상기 리터칭 모듈(708)은 상기 리터칭된 얼굴 영역 및 상기 제1피부 컬러 영역에 대해 이미지 융합을 수행하도록 추가로 구성된다.
본 발명의 일 측면에 따르면, 상기 판정 모듈(706)이 상기 엣지 정보에 따라 상기 제1피부 컬러 영역을 판단하는 상기 동작은 다음을 포함한다: 제1엣지 정보는 상기 엣지 정보에 대응하는 형상 및 컬러에 따라 판단된다. 상기 제1엣지 정보에 대응하는 피부 컬러 영역이 상기 제1피부 컬러 영역으로서 획득된다. 상기 제1피부 컬러 영역의 위치 정보가 기록된다. 상기 리터칭 모듈(708)이 상기 리터칭된 얼굴 영역 및 상기 제1피부 컬러 영역에 대해 이미지 융합을 수행하는 상기 동작은 다음의 작업을 포함한다. 상기 처리된 얼굴 영역에서 상기 제1피부 컬러 영역의 대응하는 피부 컬러 영역이 상기 위치 정보에 따라 판단된다.
상기 제1피부 컬러 영역 및 상기 대응하는 피부 컬러 영역에 대해 융합 처리가 수행된다.
도 8은 다른 실시 예에 따른 이미지 처리 모듈의 구조 블록도를 도시한다. 도 8을 참조하면, 상기 이미지 처리 모듈은 인식 모듈(802), 획득 모듈(804), 판정 모듈(806), 조절 모듈(808) 및 리터칭 모듈(810)을 포함한다. 상기 인식 모듈(802), 상기 획득 모듈(804), 상기 판정 모듈(806) 및 상기 리터청 모듈(810)은 도 7의 해당 모듈들과 동일한 기능들을 가진다.
상기 획득 모듈(804)은 리터칭 템플릿에 따라 얼굴 영역이 리터칭되기 전에 상기 얼굴 영역의 피부 컬러 및 피부 유형 및 상기 얼굴 영역에 대응하는 성별을 획득하도록 구성되고, 상기 피부 컬러, 상기 피부 유형 및 상기 성별에 따라 상기 얼굴 영역에 대응하는 리터칭 파라미터를 획득하도록 구성된다.
상기 조절 모듈(808)은 상기 리터칭 파라미터에 따라 상기 리터칭 템플릿을 조절하도록 구성된다.
상기 리터청 모듈(810)은 상기 조절된 리터칭 템플릿에 따라 상기 얼굴 영역을 리터칭하도록 구성된다.
도 9는 다른 실시 예에 따른 이미지 처리 모듈의 구조 블록도를 도시한다. 도 9를 참조하면, 상기 이미지 처리 모듈은 선택 모듈(902), 인식 모듈(904), 획득 모듈(906), 판정 모듈(908) 및 리터칭 모듈(910)을 포함한다. 상기 인식 모듈(904), 상기 획득 모듈 (906), 상기 판정 모듈(908) 및 상기 리터칭 모듈(910)은 도 7의 상기 대응하는 모듈들과 동일한 기능들을 가진다.
상기 선택 모듈(902)은, 처리될 이미지에 대해 얼굴 인식이 수행되기 전에, 다수의 연속 촬영된 이미지들의 눈 상태들에 따라 다수의 연속 촬영된 이미지로부터 하나 이상의 눈-뜬 이미지들을 선택하고; 두 개 이상의 눈-뜬 이미지들이 선택되면, 상기 두 개 이상의 눈-뜬 이미지들을 합성하여 합성된 이미지를 생성하고, 상기 합성된 이미지를 상기 처리될 이미지로 판단하며; 한 개의 눈-뜬 이미지가 선택되면, 상기 눈-뜬 이미지를 상기 처리될 이미지로 판단한다.
상기 이미지 처리 장치의 각 모듈은 단지 설명을 위해 분할된 것이다. 상기 이미지 처리 장치는 상기 이미지 처리 장치의 기능들 전부 또는 일부를 구현하기 위한 요건에 따라 상이한 모듈로 구분될 수 있다.
본 발명의 측면은 하나 이상의 컴퓨터-실행 가능 명령어들을 포함하는 비-일시적 컴퓨터-판독 가능 저장 매체인 컴퓨터-판독 가능 저장 매체를 추가로 제공한다. 상기 컴퓨터-실행 가능 명령어들은 하나 이상의 프로세서들에 의해 실행되어, 상기 프로세서에 의하여 다음 작업들을 수행할 수 있게 한다.
(1) 처리될 이미지에 대해 얼굴 인식이 수행되어, 상기 처리될 이미지에서 얼굴 영역을 인식한다. 상기 얼굴 영역의 얼굴 특징 인식점들이 획득된다.
(2) 좌표계에서 얼굴 특징 인식점들의 좌표값들이 획득된다.
(3) 상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 라인들에 대한 상기 좌표계의 좌표축의 각도들은 상기 좌표값들에 따라 판단된다.
(4) 상기 정면 이미지에 대한 얼굴 영역의 편향 각도는 상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 상기 라인들에 대한 상기 좌표축의 상기 각도들에 따라 판단된다. 상기 편향 각도는 평면 상의 상기 정면 얼굴 이미지에 대한 상기 얼굴 영역의 회전 각도이다.
(5) 상기 편향 각도에 대응하는 리터칭 템플릿이 획득되고, 상기 리터칭 템플릿에 따라 상기 얼굴 영역이 리터칭된다.
본 발명의 일 측면에 따르면, 상기 편향 각도는 제1각도, 제2각도 및 제3각도를 포함한다. 상기 제1각도는 표준 얼굴 이미지에 대한 제1평면 상의 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 제2각도는 상기 표준 얼굴 이미지에 대한 제2평면 상의 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 제3각도는 상기 표준 얼굴 이미지에 대한 제3평면 상의 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 제1평면, 상기 제2평면 및 상기 제3평면의 두 평면들은 서로 직교한다.
일 측면에 따르면, 상기 프로세스에 의해 실행되고, 상기 편향 각도에 대응하는 상기 리터칭 템플릿이 획득되는 상기 작업은 다음 작업들 중 어느 하나를 포함한다.
(1) 전자 장치는 표준 리터칭 템플릿을 미리 저장하고, 상기 편향 각도에 따라 상기 표준 리터칭 템플릿을 회전시켜, 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 획득한다.
(2) 상기 전자 장치는 상기 편향 각도에 대응하는 상기 리터칭 템플릿에 대해 저장된 리터칭 템플릿을 검색할 수 있다.
(3) 상기 전자 장치는 상기 편향 각도를 서버에 업로드하고, 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 상기 서버로부터 수신한다.
본 발명의 측면에 따르면, 상기 리터칭 템플릿에 따라 상기 얼굴 영역이 리터칭되는 상기 동작은 다음과 같은 작업들을 포함한다. 상기 얼굴 영역의 피부 컬러 및 피부 유형 및 상기 얼굴 영역에 대응하는 성별이 획득된다. 상기 얼굴 영역에 대응하는 리터칭 파라미터는 상기 피부 컬러, 상기 피부 유형 및 상기 성별에 따라 획득된다. 상기 리터칭 템플릿은 상기 리터칭 파라미터에 따라 조절되고, 상기 얼굴 영역은 상기 조절된 리터칭 템플릿에 따라 리터칭된다.
본 발명의 일 측면에 따르면, 상기 다음 작업들이 추가로 수행된다. 상기 얼굴 영역의 피부 컬러 영역이 인식되고, 상기 피부 컬러 영역에 대해 엣지 추출이 수행되어, 엣지 정보를 획득한다. 제1피부 컬러 영역은 상기 엣지 정보에 따라 판단된다. 이미지 융합은 상기 리터칭된 얼굴 영역 및 상기 제1피부 컬러 영역에 대해 수행된다.
본 발명의 일 측면에 따르면, 상기 엣지 정보에 따라 상기 제1피부 컬러 영역이 판단되는 상기 동작은 다음과 같은 작업들을 포함한다. 제1엣지 정보는 상기 엣지 정보에 대응하는 형상 및 컬러에 따라 판단된다. 상기 제1엣지 정보에 대응하는 피부 컬러 영역이 상기 제1피부 컬러 영역으로서 획득된다. 상기 제1피부 컬러 영역의 위치 정보가 기록된다. 상기 이미지 융합이 상기 리터칭된 얼굴 영역 및 상기 제1피부 컬러 영역에 대해 수행되는 동작은 다음의 작업들을 포함한다. 상기 처리될 얼굴 영역에서 상기 제1피부 컬러 영역의 대응하는 피부 컬러 영역이 상기 위치 정보에 따라 판단된다. 상기 제1피부 컬러 영역 및 상기 대응하는 피부 컬러 영역에 대해 융합 처리가 수행된다.
본 발명의 일 측면에 따르면, 상기 처리될 이미지에 대해 얼굴 인식이 수행되는 상기 동작 전에, 다음의 작업들이 추가로 수행된다. 하나 이상의 눈-뜬 이미지들은 상기 다수의 연속 촬영된 이미지들의 눈 상태들에 따라 다수의 연속 촬영된 이미지로부터 선택된다. 둘 이상의 눈-뜬 이미지들이 선택되면, 상기 둘 이상의 눈- 뜬 이미지들이 합성되어 합성된 이미지를 생성하고, 상기 합성된 이미지는 상기 처리될 이미지로 결정된다. 하나의 눈-뜬 이미지가 선택되면, 상기 눈-뜬 이미지가 상기 처리될 이미지로 결정된다.
본 발명은 또한 명령어를 포함하는 컴퓨터 프로그램 제품을 제공한다. 상기 컴퓨터 프로그램 제품은 상기 컴퓨터에서 실행되어, 상기 컴퓨터가 다음 작업들을 실행하게 한다.
(1) 처리될 이미지에서 얼굴 인식이 수행되어, 상기 처리될 이미지에서 얼굴 영역을 인식한다. 상기 얼굴 영역의 얼굴 특징 인식점들이 획득된다.
(2) 좌표계에서 상기 얼굴 특징 인식점의 좌표값들이 획득된다.
(3) 상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 라인들에 대한 상기 좌표계의 좌표축의 각도들은 상기 좌표값들에 따라 판단된다.
(4) 상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 상기 라인들에 대한 상기 좌표축의 상기 각도들에 따라 판단된다.
(5) 상기 편향 각도에 대응하는 리터칭 템플릿이 획득되고, 상기 리터칭 템플릿에 따라 상기 얼굴 영역이 리터칭된다.
본 발명의 일 측면에 따르면, 상기 편향 각도는 제1각도, 제2각도 및 제3각도를 포함한다. 상기 제1각도는 표준 얼굴 이미지에 대한 제1평면 상의 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 제2각도는 상기 표준 얼굴 이미지에 대한 제2평면 상의 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 제3각도는 상기 표준 얼굴 이미지에 대한 제3평면 상의 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 제1평면, 상기 제2평면 및 상기 제3평면의 두 평면들은 서로 직교한다.
본 발명의 일 측면에 따르면, 상기 프로세서에 의해 실행되고, 상기 편향 각도에 대응하는 상기 리터칭 템플릿이 획득되는 상기 작업은 다음 작업들 중 어느 하나를 포함한다.
(1) 전자 장치는 표준 리터칭 템플릿을 미리 저장하고, 상기 편향 각도에 따라 상기 표준 리터칭 템플릿을 회전시켜, 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 획득한다.
(2) 상기 전자 장치는 상기 편향 각도에 대응하는 상기 리터칭 템플릿에 대해 저장된 리터칭 템플릿을 검색할 수 있다. 또는
(3) 전자 장치는 상기 편향 각도를 서버에 업로드하고, 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 상기 서버로부터 수신한다.
본 발명의 일 측면에 따르면, 상기 리터칭 템플릿에 따라 상기 얼굴 영역이 리터칭되는 상기 동작은 다음의 작업들을 포함한다. 상기 얼굴 영역의 피부 컬러 및 피부 유형 및 상기 얼굴 영역에 대응하는 성별이 획득된다. 상기 얼굴 영역에 대응하는 리터칭 파라미터는 상기 피부 컬러, 피부 유형 및 성별에 따라 획득된다. 상기 리터칭 템플릿은 상기 리터칭 파라미터에 따라 조절된다. 상기 조절된 리터칭 템플릿에 따라 상기 얼굴 영역이 리터칭된다.
본 발명의 일 측면에 따르면, 다음 작업들이 추가로 실행된다. 상기 얼굴 영역의 피부 컬러 영역이 인식되고, 상기 피부 컬러 영역에 대해 엣지 추출이 수행되어, 엣지 정보를 획득한다. 제1피부 컬러 영역은 상기 엣지 정보에 따라 판단된다. 이미지 융합은 상기 리터칭된 얼굴 영역 및 상기 제1피부 컬러 영역에 대해 수행된다.
본 발명의 일 측면에 따르면, 상기 엣지 정보에 따라 상기 제1피부 컬러 영역이 판단되는 상기 동작은 다음과 같은 작업들을 포함한다. 제1엣지 정보는 상기 엣지 정보에 대응하는 형상 및 컬러에 따라 판단된다. 상기 제1엣지 정보에 대응하는 피부 컬러 영역이 상기 제1피부 컬러 영역으로서 획득된다. 상기 제1피부 컬러 영역의 위치 정보가 기록된다. 상기 이미지 융합이 상기 리터칭된 얼굴 영역 및 상기 제1피부 컬러 영역에 대해 수행되는 상기 동작은 다음의 작업들을 포함한다. 상기 처리될 얼굴 영역에서 상기 제1피부 컬러 영역의 대응하는 피부 컬러 영역이 상기 위치 정보에 따라 판단된다. 상기 제1피부 컬러 영역 및 상기 대응하는 피부 컬러 영역에 대해 융합 처리가 수행된다.
본 발명의 일 측면에 따르면, 상기 처리될 이미지에 대한 얼굴 인식이 수행되는 상기 동작 전에, 다음 작업들이 추가로 수행된다. 하나 이상의 눈-뜬 이미지들은 다수의 연속 촬영된 이미지의 눈 상태들에 따라 다수의 연속 촬영된 이미지들로부터 선택된다. 둘 이상의 눈-뜬 이미지들이 선택되면, 둘 이상의 눈-뜬 이미지들이 합성되어 상기 합성된 이미지를 생성하고, 상기 합성된 이미지는 상기 처리될 이미지로 판단된다. 하나의 눈-뜬 이미지가 선택되면, 상기 눈-뜬 이미지는 상기 처리될 이미지로 판단된다.
예를 들어, 전자 장치는 이동 단말기이다. 본 발명의 일 측면은 이동 단말기를 추가로 제공한다. 상기 이동 단말기는 이미지 처리 회로를 포함한다. 상기 이미지 처리 회로는 하드웨어 및/또는 소프트웨어 컴포넌트들에 의해 구현될 수 있고, 이미지 신호 처리(ISP) 파이프 라인을 정의하는 다양한 처리 유닛을 포함할 수 있다. 도 10은 일 실시 예에 따른 이미지 처리 회로의 개략도를 도시한다. 도 10을 참조하면, 본 발명과 관련된 이미지 처리 기술의 각각의 측면은 단지 설명의 편의를 위해 예시되어 있다.
도 10을 참조하면, 상기 이미지 처리 회로는 ISP 유닛(1040) 및 제어 로직 유닛(1050)을 포함한다. 이미징 장치(1010)에 의해 캡처된 이미지 데이터는 먼저 ISP 유닛(1040)에 의해 처리되고, 상기 ISP 유닛(1040)은 상기 ISP 유닛(1040) 혹은 상기 이미징 장치(1010) 중 적어도 하나의 하나 이상의 제어 파라미터들을 판단하도록 구성 가능한 이미지 통계 정보(image statistical information)를 캡처하기 위해 상기 이미지 데이터를 분석한다. 상기 이미징 장치(1010)는 하나 이상의 렌즈(1012)를 가지는 카메라 및 이미지 센서(1014)를 포함할 수 있다. 상기 이미지 센서(1014)는 컬러 필터 어레이(예를 들어, 베이어 필터)를 포함할 수 있다. 상기 이미지 센서(1014)는 상기 이미지 센서(1014)의 각각의 이미징 픽셀에 의해 캡처된 광 강도 및 파장 정보를 획득하고, 상기 ISP 유닛(1040)에 대해 처리 가능한 원본 이미지 데이터 세트를 제공할 수 있다. 센서(1020)(예를 들어, 자이로스코프)는 상기 센서(1020)의 인터페이스 유형에 기초하여 상기 ISP 유닛(1040)에 대해 획득된 이미지를 처리하기 위한 파라미터(예를 들어, 안정화 파라미터)를 제공할 수 있다. 상기 센서(1020)의 인터페이스는 표준 모바일 이미징 아키텍처(SMIA) 인터페이스, 다른 직렬 또는 병렬 카메라 인터페이스 또는 상기 카메라들의 조합을 채택할 수 있다.
더욱이, 상기 이미지 센서(1014)는 또한 상기 원본 이미지 데이터를 상기 센서(1020)에 전송할 수 있다. 상기 센서(1020)는 상기 센서(1020)의 상기 인터페이스 유형에 기초하여 상기 ISP 유닛(1040)에 대한 상기 원본 이미지 데이터를 제공하거나, 또는 상기 센서(1020)는 상기 원본 이미지 데이터를 이미지 메모리(1030)에 저장할 수 있다.
상기 ISP 유닛(1040)은 상기 원본 이미지 데이터를 다양한 포맷으로 픽셀 단위로 처리한다. 예를 들어, 각각의 이미지 픽셀은 8, 10, 12 또는 14 비트들의 비트 깊이를 가질 수 있다. 상기 ISP 유닛(1040)은 상기 원본 이미지 데이터에 대해 하나 이상의 이미지 처리 동작들을 수행하고, 상기 이미지 데이터에 대한 통계 정보를 수집할 수 있다. 상기 이미지 처리 동작들은 동일하거나 상이한 비트 깊이 정확도에 따라 실행될 수 있다.
상기 ISP 유닛(1040)은 상기 이미지 메모리(1030)로부터 상기 이미지 데이터를 추가로 수신할 수 있다. 예를 들어, 상기 센서(1020)의 상기 인터페이스는 상기 원본 이미지 데이터를 상기 이미지 메모리(1030)로 전송한다. 상기 이미지 메모리(1030) 내의 상기 원본 이미지 데이터는 처리를 위해 상기 ISP 유닛(1040)에 제공된다. 상기 이미지 메모리(1030)는 상기 전자 장치의 메모리 장치, 저장 장치 또는 독립 전용 메모리의 일부일 수 있으며, DMA(Direct Memory Access) 기능을 포함할 수 있다.
상기 이미지 센서(1014)의 인터페이스 또는 상기 센서(1020)의 상기 인터페이스 또는 상기 이미지 메모리(1030)로부터 상기 원본 이미지 데이터를 수신할 때, 상기 ISP 유닛(1040)은 하나 이상의 이미지 처리 동작들, 예를 들어 시간-도메인 필터링을 수행할 수 있다. 상기 처리된 이미지 데이터는 디스플레이 전에 다른 처리를 위해 상기 이미지 메모리(1030)로 전송될 수 있다. 상기 ISP 유닛(1040)은 상기 이미지 메모리(1030)로부터 상기 처리된 데이터를 추가로 수신하고, 원본 도메인에서 이미지 데이터를 처리를 수행하며, 상기 처리된 데이터에서 RGB(Red, Green and Blue) 및 YCbCr 컬러 공간을 처리할 수 있다. 상기 처리된 이미지 데이터는 사용자가 GPU(Graphics Processing Unit)에 의해 시청(view) 및/또는 추가 처리를 위해 디스플레이(1380)로 출력될 수 있다. 또한, 상기 ISP 유닛(1040)의 출력은 상기 이미지 메모리(1030)로 추가로 전송될 수 있다. 상기 디스플레이(1080)는 상기 이미지 메모리(1030)로부터 상기 이미지 데이터를 판독할 수 있다. 본 발명의 일 측면에 따르면, 상기 이미지 메모리(1030)는 하나 이상의 프레임 버퍼들을 구현하도록 구성될 수 있다. 더욱이, 상기 ISP 유닛(1040)의 상기 출력은 상기 이미지 데이터를 코딩/디코딩하기 위해 코더/디코더(1070)로 전송될 수 있다. 상기 코딩된 이미지 데이터는 저장될 수 있고, 상기 디스플레이(1080) 상에 디스플레이되기 전에 압축 해제된다.
상기 ISP(1040)가 상기 이미지 데이터를 처리하는 상기 작업은 다음과 같은 작업들을 포함한다. 상기 이미지 데이터에 대해 VFE(Video Front End) 처리 및 CPP(Camera Post Processing)가 수행된다. 상기 이미지 데이터에 대한 상기 VFE 처리는 상기 이미지 데이터의 콘트라스트 또는 휘도의 보정, 디지털 방식으로 기록된 조명 상태 데이터의 변조, 상기 이미지 데이터에 대한 보상 처리(예를 들어, 화이트 밸런스, 자동 이득 제어 및 γ 보정), 상기 이미징 데이터에 대한 필터링 처리 등을 포함한다. 상기 이미지 데이터에 대한 상기 CPP는 상기 이미지의 스케일링 및 각 경로에 대한 미리 보기 프레임 및 레코딩 프레임의 제공을 포함할 수 있다. 상기 CPP는 상기 미리 보기 프레임 및 상기 레코딩 프레임을 상이한 코덱들로 처리할 수 있다. 상기 ISP 유닛(1040)에 의해 처리된 상기 이미지 데이터는 디스플레이되기 전에 상기 이미지에 대해 리터칭하기 위해 리터칭 모듈(1060)로 전송될 수 있다. 상기 이미지 데이터에 대한 상기 리터칭 모듈(1060)의 상기 리터칭은 화이트닝, 기미 제거, 버핑, 얼굴 성형, 여드름 제거, 눈 확대 등을 포함할 수 있다. 상기 리터칭 모듈(1060)은 이동 단말기에서 CPU(Central Processing Unit), GPU, 코프로세서 등일 수 있다. 상기 리터칭 모듈(1060)에 의해 처리된 상기 데이터는 상기 이미지 데이터에 대한 코딩/디코딩을 위해 상기 코더/디코더(1070)로 전송될 수 있다. 상기 코딩된 이미지 데이터는 저장될 수 있고, 상기 디스플레이(1080) 상에 디스플레이되기 전에 압축 해제된다. 상기 리터칭 모듈(1060)은 또한 코더/디코더(1070)와 상기 디스플레이(1080) 사이에 위치될 수 있다. 즉, 상기 리터칭 모듈은 형성되었된 상기 이미지를 리터칭한다. 상기 코더/디코더(1070)는 상기 이동 단말기에서의 CPU, GPU, 코프로세서 등일 수 있다.
상기 ISP 유닛(1040)에 의해 판단된 통계 데이터는 상기 제어 로직 유닛(1050)으로 전송될 수 있다. 예를 들어, 상기 통계 데이터는 상기 이미지 센서(1014)의 자동 노출, 자동 화이트 밸런스, 자동 포커싱, 섬광 검출, 블랙 레벨 보상, 상기 렌즈(1012)의 그림자 보정 등에 관한 통계 정보를 포함할 수 있다. 상기 제어 로직 유닛(1050)은 하나 이상의 루틴들(예를 들어, 펌웨어)을 실행하는 프로세서 및/또는 마이크로 컨트롤러를 포함할 수 있다. 상기 하나 이상의 루틴들은 상기 수신된 통계 데이터에 따라 상기 이미징 장치(1010)의 상기 제어 파라미터 및 상기 ISP 유닛(1040)의 제어 파라미터를 판단할 수 있다. 예를 들어, 상기 이미징 장치(1010)의 상기 제어 파라미터는, 상기 센서(1020)에 대한 제어 파라미터(예를 들어, 이득 및 노출 제어를 위한 적분 시간), 카메라 섬광 제어 파라미터, 상기 렌즈(1012)에 대한 제어 파라미터(예를 들어, 포커싱 또는 줌을 위한 초점 길이) 또는 이들 파라미터들의 조합을 포함할 수 있다. 상기 ISP 유닛에 대한 상기 제어 파라미터는, (예를 들어, RGB 처리 동안) 자동 화이트 밸런스 및 컬러 조절을 위해 구성된 이득 레벨 및 컬러 보정 매트릭스 및 상기 렌즈(1012)에 대한 그림자 보정 파라미터를 포함할 수 있다.
도 10의 상기 이미지 처리 기술은 다음 작업들을 구현하는데 사용될 수 있다.
(1) 처리될 이미지에 대해 얼굴 인식이 수행되어, 상기 처리될 이미지에서 얼굴 영역을 인식한다. 상기 얼굴 영역의 얼굴 특징 인식 포인트들이 획득된다.
(2) 좌표계에서 상기 얼굴 특징 인식 포인트의 좌표값들이 획득된다.
(3) 상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 라인들에 대한 상기 좌표계의 좌표축의 각도들은 상기 좌표값들에 따라 판단된다.
(4) 상기 얼굴 영역의 편향 각도(deviation angle)는 상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 상기 라인들에 대한 상기 좌표축의 각도들은 상기 좌표값들에 따라 판단된다. 상기 편향 각도는 평면 상의 상기 정면 얼굴 이미지에 대한 상기 얼굴 영역의 회전 각도이다.
(5) 상기 편향 각도에 대응하는 리터칭 템플릿이 획득되고, 상기 리터칭 템플릿에 따라 상기 얼굴 영역이 리터칭된다.
본 발명의 일 측면에 따르면, 상기 편향 각도는 제1각도, 제2각도 및 제3각도를 포함한다. 상기 제1각도는 표준 얼굴 이미지에 대한 제1평면 상의 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 제2각도는 상기 표준 얼굴 이미지에 대한 제2평면 상의 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 제3각도는 상기 표준 얼굴 이미지에 대한 제3평면 상의 상기 얼굴 영역의 회전 각도를 나타낸다. 상기 제1평면, 상기 제2평면 및 상기 제3평면의 두 평면들은 서로 직교한다.
본 발명의 일 측면에 따르면, 상기 프로세서에 의해 실행되고, 상기 편향 각도에 대응하는 상기 리터칭 템플릿이 획득되는 상기 동작은 다음 작업들 중 어느 하나를 포함한다.
(1) 미리 저장된 표준 리터칭 템플릿은 상기 편향 각도에 따라 회전되어, 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 획득한다.
(2) 저장된 리터칭 템플릿들은 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 검색한다.
(3) 상기 편향 각도가 서버에 업로드되고, 상기 편향 각도에 대응하는 상기 리터칭 템플릿이 상기 서버로부터 수신된다.
본 발명의 일 측면에 따르면, 상기 리터칭 템플릿에 따라 상기 얼굴 영역이 리터칭되는 상기 작업은 다음의 작업을 포함한다. 상기 얼굴 영역의 피부 컬러 및 피부 유형 및 상기 얼굴 영역에 대응하는 성별이 획득된다. 상기 얼굴 영역에 대응하는 리터칭 파라미터는 상기 피부 컬러, 상기 피부 유형 및 상기 성별에 따라 획득된다. 상기 리터칭 템플릿은 상기 리터칭 파라미터에 따라 조절된다. 상기 조절된 수정 템플릿에 따라 상기 얼굴 영역이 리터칭된다.
본 발명의 일 측면에 따르면, 다음 작업들이 추가로 수행된다. 상기 얼굴 영역의 피부 컬러 영역이 인식된다. 상기 피부 컬러 영역에 대해 엣지 추출이 수행되어, 엣지 정보를 획득한다. 제1피부 컬러 영역은 상기 엣지 정보에 따라 판단된다. 이미지 융합은 상기 리터칭된 얼굴 영역 및 상기 제1피부 컬러 영역에 대해 수행된다.
본 발명의 일 측면에 따르면, 상기 엣지 정보에 따라 상기 제1피부 컬러 영역이 판단되는 상기 동작은 다음과 같은 작업들을 포함한다. 제1엣지 정보는 상기 엣지 정보에 대응하는 형상 및 컬러에 따라 결정된다. 상기 제1엣지 정보에 대응하는 피부 컬러 영역이 상기 제1피부 컬러 영역으로서 획득된다. 상기 제1피부 컬러 영역의 위치 정보가 기록된다. 이미지 융합이 상기 리터칭된 얼굴 영역 및 상기 제1피부 컬러 영역에 대해 수행되는 상기 동작은 다음의 작업들을 포함한다. 상기 처리된 얼굴 영역에서 상기 제1피부 컬러 영역의 대응하는 피부 컬러 영역이 상기 위치 정보에 따라 판단된다. 상기 제1피부 컬러 영역 및 상기 대응하는 피부 컬러 영역에 대해 융합 처리가 수행된다.
본 발명의 일 측면에 따르면, 상기 처리될 이미지에 대해 얼굴 인식이 수행되는 상기 동작 전에, 다음 작업들이 추가로 수행된다. 하나 이상의 눈-뜬 이미지들은 상기 다수의 연속 촬영된 이미지들의 눈 상태들에 따라 다수의 연속 촬영된 이미지들로부터 선택된다. 둘 이상의 눈-뜬 이미지들이 선택되면, 상기 둘 이상의 눈-뜬 이미지들이 합성되어 합성된 이미지를 생성하고, 상기 합성된 이미지는 상기 처리될 이미지로 결정된다. 하나의 눈-뜬 이미지가 선택되면, 상기 눈-뜬 이미지는 상기 처리될 이미지로 결정된다.
본 출원 사용된 메모리, 저장 장치, 데이터베이스 또는 다른 매체의 임의의 인용은 비-일시적 및/또는 일시적인 메모리들을 포함할 수 있다. 적절한 비-일시적 메모리는 ROM(Read-Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 또는 플래시 메모리를 포함할 수 있다. 상기 휘발성 메모리는 랜덤 액세스 메모리(RAM)를 포함할 수 있으며, 외부 고속 버퍼 메모리로 사용된다. 예시적으로 그러나 무제한으로, 상기 RAM은 다양한 형태, 예를 들어, 정적 RAM(SRAM), 동적 RAM(DRAM), 동기식 DRAM(SDRAM), 더블 데이터 레이트 SDRAM(DDRSDRAM), 강화 SDRAM(ESDRAM), Synchlink DRAM(SLDRAM), Rambus Direct RAM(RDRAM), Direct RDRAM(DRDRAM) 및 Rambus Dynamic RAM(RDRAM)로 획득될 수 있다.
전술한 실시 예들은 본 출원의 일부 구현 모드만을 나타내며, 구체적으로 설명되고, 따라서 본 출원의 특허 범위에 대한 제한으로 이해되지 않는다. 지적될 것은, 당업자는 본 출원의 개념을 벗어나지 않고 복수의 변환 및 개선을 추가로 수행할 수 있으며, 이들 모두는 본 출원의 보호 범위 내에 속한다는 것이다. 따라서, 특허 출원의 보호 범위는 첨부된 청구 범위에 종속되어야 한다.

Claims (15)

  1. 처리될 이미지에 대해 얼굴 인식을 수행하여, 상기 처리될 이미지에서 얼굴 영역을 인식하고, 상기 얼굴 영역에서 얼굴 특징 인식점들을 획득하는 동작(202, 402, 608);
    좌표계에서 상기 얼굴 특징 인식점들의 좌표값들을 획득하는 동작(204, 404, 610);
    상기 좌표값들에 따라, 상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 라인들에 대한 상기 좌표계의 좌표축의 각도들을 판단하는 동작(206, 406, 612);
    상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 상기 라인들에 대한 상기 좌표축의 상기 각도들에 따라, 정면 얼굴 이미지에 대한 상기 얼굴 영역의 편향 각도를 판단하는 동작(208, 408, 614)-상기 편향 각도는 평면 상의 상기 정면 얼굴 이미지에 대한 상기 얼굴 영역의 회전 각도임-; 및
    상기 편향 각도에 대응하는 리터칭 템플릿을 획득하는 동작; 및
    상기 리터칭 템플릿에 따라 상기 얼굴 영역을 리터칭하는 동작(210, 616);
    을 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  2. 제 1 항에 있어서,
    상기 편향 각도는,
    상기 정면 얼굴 이미지에 대한 제1평면 상의 상기 얼굴 영역의 회전 각도를 나타내는 제1각도;
    상기 정면 얼굴 이미지에 대한 제2평면 상의 상기 얼굴 영역의 회전 각도를 나타내는 제2각도;
    상기 정면 얼굴 이미지에 대한 제3평면 상의 상기 얼굴 영역의 회전 각도를 나타내는 제3각도;
    를 포함하고, 및
    상기 제1평면, 상기 제2평면, 및 상기 제3평면의 모든 두 평면들은 서로 직교하는 것을 특징으로 하는,
    이미지 처리 방법.
  3. 제 1 항에 있어서,
    상기 편향 각도에 대응하는 상기 리터칭 템플릿을 획득하는 동작은 다음 작업들:
    상기 편향 각도에 따라, 미리 저장된 표준 리터칭 템플릿을 회전시켜, 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 획득함;
    상기 편향 각도에 대응하는 상기 리터칭 템플릿에 대해 저장된 리터칭 템플릿들을 검색함; 또는
    상기 편향 각도를 서버에 업로드하고, 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 상기 서버로부터 수신함;
    중 어느 하나를 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 리터칭 템플릿에 따라 상기 얼굴 영역을 리터칭하는 동작은:
    상기 얼굴 영역의 피부 컬러(skin color) 및 피부 유형(skin type) 및 상기 얼굴 영역에 대응하는 성별(sex)을 획득하는 동작(412);
    상기 피부 컬러, 피부 유형 및 상기 성별에 따라 상기 얼굴 영역에 대응하는 리터칭 파라미터를 획득하는 동작(414);
    상기 리터칭 파라미터에 따라 상기 리터칭 템플릿을 조절하는 동작; 및
    상기 조절된 리터칭 템플릿에 따라 상기 얼굴 영역을 리터칭하는 동작(416);
    을 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 얼굴 영역에서 피부 컬러 영역을 인식하고, 상기 피부 컬러 영역에 대해 엣지 추출을 수행하여 엣지 정보를 획득하는 동작(212);
    상기 엣지 정보에 따라 제1피부 컬러 영역을 판단하는 동작(214); 및
    상기 리터칭된 얼굴 영역 및 상기 제1피부 컬러 영역에 대해 이미지 융합을 수행하는 동작(216);
    을 추가로 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  6. 제 5 항에 있어서,
    상기 엣지 정보에 따라 상기 제1피부 컬러 영역을 판단하는 동작은:
    상기 엣지 정보에 대응하는 형상 및 컬러에 따라 제1엣지 정보를 판단하는 동작;
    상기 제1엣지 정보에 대응하는 피부 컬러 영역을 상기 제1피부 컬러 영역으로 획득하는 동작;
    상기 제1피부 컬러 영역의 위치 정보를 기록하는 동작;
    을 포함하고,
    상기 리터칭된 얼굴 영역 및 상기 제1피부 컬러 영역에 대해 이미지 융합을 수행하는 동작은:
    상기 위치 정보에 따라 상기 처리된 얼굴 영역에서 상기 제1피부 컬러 영역의 대응하는 피부 컬러 영역을 판단하는 동작; 및
    상기 제1피부 컬러 영역 및 상기 대응하는 피부 컬러 영역에 대해 융합 처리를 수행하는 동작;
    을 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  7. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 처리될 이미지에 대해 얼굴 인식을 수행하는 동작 전에,
    다수의 연속 촬영된 이미지들의 눈 상태들에 따라, 상기 다수의 연속 촬영된 이미지들로부터 하나 이상의 눈-뜬(eye-opened) 이미지들을 선택하는 동작(602);
    둘 이상의 눈-뜬 이미지들이 선택되면, 상기 둘 이상의 눈-뜬 이미지들을 합성하여 합성 이미지를 생성하고, 상기 합성된 이미지를 상기 처리될 이미지로 판단하는 동작(604); 및
    하나의 눈-뜬 이미지가 선택될 때, 상기 하나의 눈-뜬 이미지를 상기 처리될 이미지로 판단하는 동작(606);
    을 추가로 포함하는 것을 특징으로 하는,
    이미지 처리 방법.
  8. 프로세서 및
    명령어들을 저장하는 메모리,
    를 포함하고,
    상기 명령어들은 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제 1 항 내지 제 7 항 중 어느 한 항에 따른 상기 방법을 수행하게 하는 것을 특징으로 하는,
    이미지 처리 장치.
  9. 컴퓨터 프로그램을 저장하고,
    컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 제 1 항 내지 제 7 항 중 어느 한 항에 따른 상기 방법을 구현하게 하는 것을 특징으로 하는,
    컴퓨터-판독 가능 저장 매체.
  10. 처리될 이미지에 대해 얼굴 인식을 수행하여, 상기 처리될 이미지에서 얼굴 영역을 인식하도록 구성된 인식 모듈(702);
    상기 얼굴 영역에서 얼굴 특징 인식점들을 획득하고, 좌표계에서 상기 얼굴 특징 인식점들의 좌표값들을 획득하도록 구성된 획득 모듈(704);
    상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 라인들에 대한 상기 좌표계의 좌표축의 각도들을 상기 좌표값들에 따라 판단하도록 구성된 판정 모듈(706)-상기 판정 모듈(706)은, 상기 얼굴 특징 인식점들 사이의 거리들 및 상기 얼굴 특징 인식점들 중 두 점을 잇는 각각의 상기 라인들에 대한 상기 상기 좌표축의 상기 각도들에 따라, 정면 얼굴 이미지에 대한 상기 얼굴 영역의 편향 각도를 판단하고, 상기 편향 각도는 평면 상의 상기 정면 얼굴 이미지에 대한 상기 얼굴 영역의 회전 각도가 되도록 더 구성됨-; 및
    상기 편향 각도에 대응하는 리터칭 템플릿을 획득하고, 상기 리터칭 템플릿에 따라 상기 얼굴 영역을 리터칭하도록 구성된 리터칭 모듈(708);
    을 포함하는 것을 특징으로 하는,
    이미지 처리 장치.
  11. 제 10 항에 있어서,
    상기 편향 각도는:
    상기 정면 얼굴 이미지에 대한 제1평면 상의 상기 얼굴 영역의 회전 각도를 나타내는 제1각도;
    상기 정면 얼굴 이미지에 대한 제2평면 상의 상기 얼굴 영역의 회전 각도를 나타내는 제2각도;
    상기 정면 얼굴 이미지에 대한 제3평면 상의 상기 얼굴 영역의 회전 각도를 나타내는 제3각도;
    을 포함하고, 및
    상기 제1평면, 상기 제2평면, 및 상기 제3평면의 모든 두 평면들이 서로 직교하는 것을 특징으로 하는,
    이미지 처리 장치.
  12. 제 10 항에 있어서,
    상기 리터칭 모듈(708)은 다음 작업들:
    상기 편향 각도에 따라, 미리 저장된 표준 리터칭 템플릿을 회전시켜, 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 획득함;
    상기 편향 각도에 대응하는 상기 리터칭 템플릿에 대해 저장된 리터칭 템플릿들을 검색함; 또는
    상기 편향 각도를 서버에 업로드하고, 상기 편향 각도에 대응하는 상기 리터칭 템플릿을 상기 서버로부터 수신함;
    중 어느 하나를 수행하도록 추가로 구성되는 것을 특징으로 하는, 이미지 처리 장치.
  13. 제 10 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 리터칭 모듈(708)은:
    상기 얼굴 영역의 피부 컬러 및 피부 유형 및 상기 얼굴 영역에 대응하는 성별을 획득하고;
    상기 피부 컬러, 피부 유형 및 상기 성별에 따라 상기 얼굴 영역에 대응하는 리터칭 파라미터를 획득하며; 및
    상기 리터칭 파라미터에 따라 상기 리터칭 템플릿을 조절하고, 상기 조절된 리터칭 템플릿에 따라 상기 얼굴 영역을 리터칭하도록 구성되는 것을 특징으로 하는,
    이미지 처리 장치.
  14. 제 10 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 인식 모듈(702)은 상기 얼굴 영역에서 피부 컬러 영역을 인식하고, 상기 피부 컬러 영역에 대해 엣지 추출을 수행하여 엣지 정보를 획득하도록 추가로 구성되고;
    상기 판정 모듈(706)은 상기 엣지 정보에 따라 제1피부 컬러 영역을 판단하도록 추가로 구성되며; 및
    상기 리터칭 모듈(708)은 상기 리터칭된 얼굴 영역 및 상기 제1피부 컬러 영역에 대해 이미지 융합을 수행하도록 추가로 구성되는 것을 특징으로 하는,
    이미지 처리 장치.
  15. 제 14 항에 있어서,
    상기 판정 모듈(706)은:
    상기 엣지 정보에 대응하는 형상 및 컬러에 따라 제1엣지 정보를 판단하고;
    상기 제1엣지 정보에 대응하는 피부 컬러 영역을 상기 제1피부 컬러 영역으로 획득하고; 및
    상기 제1피부 컬러 영역의 위치 정보를 기록하도록;
    추가로 구성되고; 및
    상기 리터칭 모듈(708)은:
    상기 위치 정보에 따라 상기 처리된 얼굴 영역에서 상기 제1피부 컬러 영역의 대응하는 피부 컬러 영역을 판단하고, 및
    상기 제1피부 컬러 영역 및 상기 대응하는 피부 컬러 영역에 대해 융합 처리를 수행하도록,
    추가로 구성되는 것을 특징으로 하는,
    이미지 처리 장치.
KR1020207008298A 2017-10-31 2018-10-16 이미지 처리를 위한 방법 및 장치, 및 컴퓨터 판독 가능 저장 매체 KR102362544B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711040533.2A CN107818305B (zh) 2017-10-31 2017-10-31 图像处理方法、装置、电子设备和计算机可读存储介质
CN201711040533.2 2017-10-31
PCT/CN2018/110534 WO2019085751A1 (en) 2017-10-31 2018-10-16 Method and apparatus for image processing, and computer-readable storage medium

Publications (2)

Publication Number Publication Date
KR20200043448A true KR20200043448A (ko) 2020-04-27
KR102362544B1 KR102362544B1 (ko) 2022-02-14

Family

ID=61603306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207008298A KR102362544B1 (ko) 2017-10-31 2018-10-16 이미지 처리를 위한 방법 및 장치, 및 컴퓨터 판독 가능 저장 매체

Country Status (6)

Country Link
US (1) US10929646B2 (ko)
EP (1) EP3477542A1 (ko)
JP (1) JP6961811B2 (ko)
KR (1) KR102362544B1 (ko)
CN (1) CN107818305B (ko)
WO (1) WO2019085751A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176377B2 (en) * 2015-11-02 2019-01-08 Fotonation Limited Iris liveness detection for mobile devices
CN107818305B (zh) 2017-10-31 2020-09-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN108564037B (zh) * 2018-04-15 2021-06-08 南京明辉创鑫电子科技有限公司 一种敬礼姿势检测校正方法
KR102056681B1 (ko) * 2018-04-27 2019-12-17 주식회사 딥픽셀 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법 및 장치
CN108921856B (zh) * 2018-06-14 2022-02-08 北京微播视界科技有限公司 图像裁剪方法、装置、电子设备及计算机可读存储介质
CN108986019A (zh) * 2018-07-13 2018-12-11 北京小米智能科技有限公司 肤色调整方法及装置、电子设备、机器可读存储介质
CN110163806B (zh) * 2018-08-06 2023-09-15 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及存储介质
CN109284694A (zh) * 2018-08-31 2019-01-29 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109446892B (zh) * 2018-09-14 2023-03-24 杭州宇泛智能科技有限公司 基于深度神经网络的人眼注意力定位方法及系统
CN109360176B (zh) * 2018-10-15 2021-03-02 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN109584168B (zh) * 2018-10-25 2021-05-04 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备和计算机存储介质
CN109740431B (zh) * 2018-11-26 2021-11-16 深圳艺达文化传媒有限公司 自拍视频的头像画面的眉毛处理方法及相关产品
CN111292276B (zh) * 2018-12-07 2021-06-22 北京字节跳动网络技术有限公司 图像处理方法和装置
CN110717867B (zh) * 2019-09-04 2023-07-11 北京达佳互联信息技术有限公司 一种图像生成方法、装置、电子设备及存储介质
CN113545028B (zh) 2019-09-25 2023-05-09 谷歌有限责任公司 用于面部认证的增益控制
CN111091610B (zh) * 2019-11-22 2023-04-11 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US11403788B2 (en) 2019-11-22 2022-08-02 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, electronic device, and storage medium
CN111145119B (zh) * 2019-12-25 2023-06-02 维沃移动通信（杭州）有限公司 一种图像处理方法及电子设备
CN111243049B (zh) 2020-01-06 2021-04-02 北京字节跳动网络技术有限公司 人脸图像的处理方法、装置、可读介质和电子设备
CN111339971B (zh) * 2020-03-02 2022-06-28 北京字节跳动网络技术有限公司 视频中人体肩颈处理方法、装置及电子设备
CN111402154A (zh) * 2020-03-10 2020-07-10 北京字节跳动网络技术有限公司 图像美颜方法、装置、电子设备及计算机可读存储介质
CN111311519A (zh) * 2020-03-12 2020-06-19 北京字节跳动网络技术有限公司 视频中人体腰部美体处理方法、装置及电子设备
CN111310749A (zh) * 2020-03-23 2020-06-19 北京字节跳动网络技术有限公司 视频中人体臀部美体处理方法、装置及电子设备
CN111445405B (zh) * 2020-03-24 2022-06-17 北京字节跳动网络技术有限公司 图片中人体肩颈处理方法、装置及电子设备
CN111445514A (zh) * 2020-03-24 2020-07-24 北京字节跳动网络技术有限公司 图片中人体臀部处理方法、装置及电子设备
CN111612897B (zh) * 2020-06-05 2023-11-10 腾讯科技（深圳）有限公司 三维模型的融合方法、装置、设备及可读存储介质
CN111652878B (zh) * 2020-06-16 2022-09-23 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备及存储介质
CN111798399B (zh) * 2020-07-10 2024-04-30 抖音视界有限公司 一种图像处理方法、装置以及电子设备
CN113362344B (zh) * 2021-06-30 2023-08-11 展讯通信(天津)有限公司 人脸皮肤分割方法和设备
CN114092678A (zh) * 2021-11-29 2022-02-25 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030042403A (ko) * 2001-11-22 2003-05-28 조윤석 윤곽선 정합에 의한 이용한 얼굴 캐릭터 생성 방법
JP2016057775A (ja) * 2014-09-08 2016-04-21 オムロン株式会社 似顔絵生成装置、似顔絵生成方法
KR20160127264A (ko) * 2015-04-24 2016-11-03 가천대학교 산학협력단 시선 검출 시스템 및 그 방법

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7239726B2 (en) * 2001-12-12 2007-07-03 Sony Corporation System and method for effectively extracting facial feature information
JP2004062565A (ja) * 2002-07-30 2004-02-26 Canon Inc 画像処理装置及び方法並びにプログラム記憶媒体
US7747040B2 (en) * 2005-04-16 2010-06-29 Microsoft Corporation Machine vision system and method for estimating and tracking facial pose
CN1786980A (zh) * 2005-12-08 2006-06-14 上海交通大学 用二维轮廓进行人脸特征点新位置搜索的方法
CN102013011B (zh) * 2010-12-16 2013-09-04 重庆大学 基于正脸补偿算子的多姿态人脸识别方法
US8824808B2 (en) 2011-08-19 2014-09-02 Adobe Systems Incorporated Methods and apparatus for automated facial feature localization
JP5818091B2 (ja) 2011-12-27 2015-11-18 ソニー株式会社 画像処理装置、画像処理システム、画像処理方法、および、プログラム
US8908904B2 (en) 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
US8954706B2 (en) 2012-03-21 2015-02-10 Hitachi, Ltd. Storage apparatus, computer system, and control method for storage apparatus
EP3040939B1 (en) 2013-08-30 2018-10-10 Panasonic Intellectual Property Management Co., Ltd. Makeup support device, makeup support method, and makeup support program
EP3103059A1 (de) * 2014-02-04 2016-12-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-bildanalysator zur blickrichtungsbestimmung
CN103793693A (zh) * 2014-02-08 2014-05-14 厦门美图网科技有限公司 一种人脸转向的检测方法及其应用该方法的脸型优化方法
CN104966267B (zh) * 2015-07-02 2018-01-19 广东欧珀移动通信有限公司 一种美颜用户图像的方法及装置
CN106558025B (zh) * 2015-09-29 2021-02-09 腾讯科技（深圳）有限公司 一种图片的处理方法和装置
CN106991367B (zh) * 2016-01-21 2019-03-19 腾讯科技（深圳）有限公司 确定人脸转动角度的方法和装置
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、系统及拍摄终端
CN105956576A (zh) * 2016-05-18 2016-09-21 广东欧珀移动通信有限公司 一种图像美颜方法、装置及移动终端
CN106446793B (zh) * 2016-08-31 2019-01-01 广州莱德璞检测技术有限公司 一种基于人脸特征点的人脸轮廓计算方法
US10062216B2 (en) * 2016-09-13 2018-08-28 Aleksey Konoplev Applying facial masks to faces in live video
CN106791365A (zh) 2016-11-25 2017-05-31 努比亚技术有限公司 人脸图像预览处理方法及装置
CN107818305B (zh) 2017-10-31 2020-09-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030042403A (ko) * 2001-11-22 2003-05-28 조윤석 윤곽선 정합에 의한 이용한 얼굴 캐릭터 생성 방법
JP2016057775A (ja) * 2014-09-08 2016-04-21 オムロン株式会社 似顔絵生成装置、似顔絵生成方法
KR20160127264A (ko) * 2015-04-24 2016-11-03 가천대학교 산학협력단 시선 검출 시스템 및 그 방법

Also Published As

Publication number Publication date
JP2020535561A (ja) 2020-12-03
JP6961811B2 (ja) 2021-11-05
CN107818305B (zh) 2020-09-22
KR102362544B1 (ko) 2022-02-14
US10929646B2 (en) 2021-02-23
EP3477542A1 (en) 2019-05-01
CN107818305A (zh) 2018-03-20
US20190130166A1 (en) 2019-05-02
WO2019085751A1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
KR102362544B1 (ko) 이미지 처리를 위한 방법 및 장치, 및 컴퓨터 판독 가능 저장 매체
JP7027537B2 (ja) 画像処理方法および装置、電子機器、ならびにコンピュータ可読記憶媒体
EP3477931B1 (en) Image processing method and device, readable storage medium and electronic device
CN107766831B (zh) 图像处理方法、装置、移动终端和计算机可读存储介质
US11010967B2 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
CN107730445B (zh) 图像处理方法、装置、存储介质和电子设备
CN107808136B (zh) 图像处理方法、装置、可读存储介质和计算机设备
CN107945135B (zh) 图像处理方法、装置、存储介质和电子设备
CN107886484B (zh) 美颜方法、装置、计算机可读存储介质和电子设备
CN108537749B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN108537155B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US11836880B2 (en) Adjusting a digital representation of a head region
CN107730444B (zh) 图像处理方法、装置、可读存储介质和计算机设备
CN107705248A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN108846807B (zh) 光效处理方法、装置、终端及计算机可读存储介质
CN107993209B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US9135726B2 (en) Image generation apparatus, image generation method, and recording medium
CN107862274A (zh) 美颜方法、装置、电子设备和计算机可读存储介质
CN107911609B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN114155569B (zh) 一种化妆进度检测方法、装置、设备及存储介质
CN113837020B (zh) 一种化妆进度检测方法、装置、设备及存储介质
CN113837018A (zh) 一种化妆进度检测方法、装置、设备及存储介质
JP2017021393A (ja) 画像生成装置、画像生成方法及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant