KR102045695B1 - 안면 이미지 처리 방법 및 장치, 및 저장 매체 - Google Patents

안면 이미지 처리 방법 및 장치, 및 저장 매체 Download PDF

Info

Publication number
KR102045695B1
KR102045695B1 KR1020187012907A KR20187012907A KR102045695B1 KR 102045695 B1 KR102045695 B1 KR 102045695B1 KR 1020187012907 A KR1020187012907 A KR 1020187012907A KR 20187012907 A KR20187012907 A KR 20187012907A KR 102045695 B1 KR102045695 B1 KR 102045695B1
Authority
KR
South Korea
Prior art keywords
facial
face
eye
feature points
action
Prior art date
Application number
KR1020187012907A
Other languages
English (en)
Other versions
KR20180066160A (ko
Inventor
자오팅 정
쉬안 추
윈성 우
빈 푸
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20180066160A publication Critical patent/KR20180066160A/ko
Application granted granted Critical
Publication of KR102045695B1 publication Critical patent/KR102045695B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G06K9/00221—
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

안면 이미지 처리 방법 및 장치 및 저장 매체, 이러한 방법은, 안면 이미지로부터 안면 특징들에 대응하는 안면 특징 지점들을 추출하는 단계; 안면 특징들에 대응하는 안면 특징 지점들 사이의 거리들을 계산하는 단계; 안면 특징 지점들 사이의 거리에 따라 상이한 안면 특징들의 특징 파라미터들을 계산하는 단계; 특징 파라미터들이 안면 액션에 대응하는 미리 설정된 조건을 충족하면, 안면 특징들이 안면 이미지에서 상기 안면 액션을 형성한다고 결정하는 단계를 포함한다.

Description

안면 이미지 처리 방법 및 장치, 및 저장 매체
본 개시 내용은 이미지 처리 기술들에 관한 것으로, 특히, 안면 이미지 처리 방법 및 장치, 및 저장 매체에 관한 것이다.
안면 추출 기술은, 입력 이미지 또는 비디오 스트림을 판독하여 추출이 수행될 수 있는, 신흥 이미지 처리 방향이고, 사진 또는 아이덴티티 인증과 같은 애플리케이션 시나리오에서 사용된다. 관련된 기술들에서의 안면 추출은 단지 안면의 안면 특징들을 추출하는 것을 달성할 수 있지만, 사용자의 입 열기, 키스하기, 눈썹 올리기, 또는 머리 떨기와 같은, 안면 액션을 효과적으로 인식할 수 없다.
본 발명의 실시예들은 안면 이미지 처리 방법 및 장치, 및 저장 매체를 제공하여, 안면 이미지로부터 사용자의 안면 액션을 정확하게 인식한다.
본 발명의 실시예들의 기술적 해결책들은 다음과 같이 구현된다:
제1 양태에 따르면, 본 발명의 실시예는 안면 이미지 처리 방법을 제공하고, 이는,
안면 이미지로부터 안면 기관에 대응하는 안면 특징 지점들을 추출하는 단계;
안면 기관에 대응하는 안면 특징 지점들 사이의 거리들을 계산하는 단계;
안면 특징 지점들 사이의 거리들에 따라 상이한 위치들에 있는 안면 기관의 특징 파라미터들을 계산하는 단계; 및
특징 파라미터들이 안면 액션에 대응하는 미리 설정된 조건을 충족하면, 안면 기관이 안면 이미지에서 안면 액션을 형성한다고 결정하는 단계를 포함한다.
제2 양태에 따르면, 본 발명의 실시예는 안면 이미지 처리 장치를 제공하고, 이는,
안면 이미지로부터 안면 기관에 대응하는 안면 특징 지점들을 추출하도록 구성되는 안면 특징 추출 모듈; 및
안면 기관에 대응하는 안면 특징 지점들 사이의 거리들을 계산하도록 구성되는 안면 액션 분석 모듈을 포함하고,
안면 액션 분석 모듈은 안면 특징 지점들 사이의 거리들에 따라 상이한 위치들에 있는 안면 기관의 특징 파라미터들을 계산하도록 구성되고;
안면 액션 분석 모듈은, 특징 파라미터들이 안면 액션에 대응하는 미리 설정된 조건을 충족하면, 안면 기관이 안면 이미지에서 안면 액션을 형성한다고 결정하도록 구성된다.
제3 양태에 따르면, 본 발명의 실시예는 안면 이미지 처리 장치를 제공하고, 이는,
실행 가능 프로그램을 저장하도록 구성되는 메모리;
메모리에 저장되는 실행 가능 프로그램을 실행하는 것에 의해, 다음 동작들을 구현하도록 구성되는 프로세서를 포함하고, 이러한 동작들은,
안면 이미지로부터 안면 기관에 대응하는 안면 특징 지점들을 추출하는 동작;
안면 기관에 대응하는 안면 특징 지점들 사이의 거리들을 계산하는 동작;
안면 특징 지점들 사이의 거리들에 따라 상이한 위치들에 있는 안면 기관의 특징 파라미터들을 계산하는 동작; 및
특징 파라미터들이 안면 액션에 대응하는 미리 설정된 조건을 충족하면, 안면 기관이 안면 이미지에서 안면 액션을 형성한다고 결정하는 동작을 포함한다.
제4 양태에 따르면, 본 발명의 실시예는, 실행 가능 프로그램을 저장하는 저장 매체를 추가로 제공하고, 프로세서에 의해 실행될 때, 이러한 실행 가능 프로그램은 다음의 동작들을 구현하고, 이러한 동작들은,
안면 이미지로부터 안면 기관에 대응하는 안면 특징 지점들을 추출하는 동작;
안면 기관에 대응하는 안면 특징 지점들 사이의 거리들을 계산하는 동작;
안면 특징 지점들 사이의 거리들에 따라 상이한 위치들에 있는 안면 기관의 특징 파라미터들을 계산하는 동작; 및
특징 파라미터들이 안면 액션에 대응하는 미리 설정된 조건을 충족하면, 안면 기관이 안면 이미지에서 안면 액션을 형성한다고 결정하는 동작을 포함한다.
본 발명의 실시예들은 다음의 유익한 효과들을 갖는다:
안면 이미지 기반의 특징 지점 추출 방식에서는, 안면 기관의 안면 특징 지점들 사이의 거리들을 계산하는 것에 의해 상이한 위치들에 있는 안면 기관의 특징들이 획득된다. 안면 액션이 발생할 때, 이러한 안면 액션에 관련되는 기관은 상이한 위치들에 있는 안면 기관의 특징 파라미터들의 변화들을 필연적으로 반영하기 때문에, 안면 액션을 정확하게 인식하는 기술적 효과는, 상이한 안면 액션들에 대한 특징 파라미터들에 대응하는 조건들(미리 설정된 조건들)을 미리 설정하는 것 및 이러한 조건들을 안면 이미지로부터 추출되는 안면 기관의 특징 파라미터들과 비교하는 것에 의해 구현될 수 있다.
본 발명의 실시예들에서의 또는 기존 기술에서의 기술적 해결책들을 보다 명확하게 설명하기 위해, 다음은 이러한 실시예들 또는 기존 기술을 설명하기 위해 요구되는 첨부 도면들을 간단하게 설명한다. 명백하게, 다음의 설명에서의 첨부 도면들은 단지 본 발명의 일부 실시예들을 도시하고, 해당 분야에서의 통상의 기술자는 창의적인 노력들 없이도 이러한 첨부 도면들로부터 다른 도면들을 여전히 도출할 수 있다.
도 1a는 본 발명의 실시예에 따른 안면 이미지 처리 장치의 하드웨어의 구성도이다.
도 1b는 본 발명의 실시예에 따른 시나리오에서 안면 이미지 처리 장치를 사용하는 개략도이다.
도 2는 본 발명의 실시예에서의 안면 이미지 처리 방법의 개략 흐름도이다.
도 3은 본 발명의 실시예에서 사용자의 안면 이미지로부터 복수의 안면 특징 지점들을 추출하는 개략도이다.
도 4는 본 발명의 다른 실시예에서의 안면 이미지 처리 방법의 개략 흐름도이다.
도 5는 본 발명의 다른 실시예에서의 안면 이미지 처리 방법의 개략 흐름도이다.
도 6은 본 발명의 다른 실시예에서의 안면 이미지 처리 방법의 개략 흐름도이다.
도 7은 본 발명의 다른 실시예에서의 안면 이미지 처리 방법의 개략 흐름도이다.
도 8은 본 발명의 다른 실시예에서의 안면 이미지 처리 방법의 개략 흐름도이다.
도 9는 본 발명의 실시예에서 사용자의 입 열기 액션에 따른 매핑을 수행하는 효과의 개략도이다.
도 10은 본 발명의 실시예에서의 사용자의 눈 깜빡이기 액션에 따른 매핑을 수행하는 효과의 개략도이다.
도 11은 본 발명의 실시예에서의 사용자의 눈 깜빡이기 액션 및 키스하기 액션에 따른 매핑을 수행하는 효과의 개략도이다.
도 12는 본 발명의 실시예에서의 안면 이미지 처리 장치의 개략 구성도이다.
도 13은 본 발명의 실시예에서의 안면 액션 분석 모듈의 개략 구성도이다.
다음은 본 발명의 실시예들에서의 첨부 도면들을 참조하여 본 발명의 실시예들에서의 기술적 해결책들을 명확하고 완전하게 설명한다. 명백하게, 설명되는 실시예들은 본 발명의 모든 실시예들 대신에 단지 일부 실시예들일 뿐이다. 창의적인 효과들 없이 본 발명의 실시예들에 기초하여 해당 분야에서의 통상의 기술자에 의해 획득되는 다른 모든 실시예들은 본 개시 내용의 보호 범위에 속할 것이다.
본 개시 내용이 상세하게 추가로 설명하기 전에, 본 발명의 실시예들에 관련된 명칭들 및 용어들이 설명되고, 본 발명의 실시예들에 관련된 명칭들 및 용어들은 다음 설명들에 적용된다.
1) 안면 이미지는 안면을 포함하는 전자 이미지, 또는 비디오 데이터에서의 안면을 포함하는 이미지 프레임이다. 전자 이미지는 JPEG(Joint Photographic Experts Group) 또는 GIF(Graphics Interchange Format)와 같은 포맷인 사진일 수 있다. 이미지 프레임은 비디오에서의 안면을 포함하는 일련의 연속적인(즉, 비디오의 시간 축 상에 연속적으로 분포되는) 이미지 프레임들 또는 비디오에서의 안면을 포함하는 이산적인(즉, 비디오의 시간 축 상에 이산적으로 분포되는) 이미지 프레임들일 수 있다.
2) 안면 특징 지점은 안면의, 인식 가능 속성을 갖는, 국소적 특징에 대응하고, 특징 지점은 복수의 픽셀 지점들 및 그 좌표들의 세트를 사용하여 설명될 수 있고, 안면 특징 지점은 안면 기관을 표현하는데 사용되는 특징 지점이고, 각각의 안면 기관은 하나 이상의 특징 지점에 대응한다. 예를 들어, 특징 지점은 눈 특징 지점, 코 특징 지점, 입술 특징 지점, 눈썹 특징 지점, 및 안면 에지 특징 지점을 포함할 수 있다.
3) 안면 특징 지점 추출은 안면 이미지와 상이한 위치에 있는 대응하는 안면 기관의 특징 지점을 추출하는 것이고, 안면 특징 지점들 및 이들의 추출 방식은 다음의 상이한 차원들로 설명된다.
3.1) 색 특징
색 특징은 안면 기관의 표면 색을 설명하고, 색 특징은 픽셀 지점에 기초하는 특징이고, 이러한 색 특징을 설명하는데 RGB(red, green, and blue), HSV(hue, saturation, and value)와 같은, 색 공간 표현들이 사용될 수 있다. 색 특징 기반의 안면 특징 지점을 추출하는 예에서는, 안면 이미지가 히스토그램으로 변환되고, 이러한 히스토그램으로부터 안면 기관의 상이한 위치들에 색 분포가 일치되는 특징 지점들이 대응하는 위치들에 있는 특징 지점들로서 추출된다.
3.2) 질감 특징
안면 이미지에서의 상이한 위치에 있는 표면 질감이 설명된다. 통계적 방법은 안면 이미지로부터 질감 특징을 추출하는 통상적인 방법이다. 구체적으로, 안면 기관의 상이한 위치들에 일치하는 질감 특징들이 안면 이미지의 자기 상관 함수(즉, 이미지의 에너지 스펙트럼 함수)로부터 추출된다. 즉, 질감의, 거칠기 및 방향성과 같은, 특징 파라미터들이 이미지의 에너지 스펙트럼 함수를 계산하는 것에 의해 추출되고, 안면 기관의 상이한 위치들에 일치하는 질감 특징들의 특징 지점들이 대응하는 위치들에 있는 특징 지점들로서 사용된다.
3.3) 스케일-불변 특징
스케일-불변 특징은 안면 이미지가 회전되거나 전환될 때 안면 이미지에서 스케일이 안정하게 유지되는 국소적 특징이다. 통상적으로, SIFT(Scale-Invariant Feature Transform) 알고리즘을 사용하여 그리고 원본 안면 이미지와 Gaussian 커널의 컨볼루션을 사용하여 스케일 공간이 확립되고, Gaussian 공간 피라미드의 차이로부터 스케일-불변 특징 지점이 추출된다.
3.4) 형상 특징
안면 기관에서의 상이한 위치들에 있는 외부 윤곽들이 설명된다. 통상적인 방식은 에지 검출을 사용하는 것이다. 에지 특징 방법은 에지 특징을 설명하여 이미지의 형상 파라미터를 획득하는 것이다. 윤곽 검출의 예로서, 안면 이미지는 그레이스케일 이미지로 변환되고, 그레이스케일 이미지는 에지와 같이 밝기가 명백하게 변하는(예를 들어, 밝기 변화 임계값을 초과하는) 픽셀 지점에 대해 검색된다.
상이한 차원들로 안면 기관의 상이한 위치들에 있는 안면 특징 지점들을 추출하는 전술한 방식들이 대안적으로 또는 조합되어 사용될 수 있다는 점이 주목되어야 한다. 안면 이미지로부터 추출되는 안면 특징 지점에 대해, 그 위치와 그 안에 포함되는 픽셀 지점이 결정된다는 점이 이해될 수 있다. 안면 특징 지점은 대응하는 픽셀 지점 위치, 또는 임의의 픽셀 지점 위치의 기하학적 중심 위치 또는 기하학적 중심 중력 위치를 사용하여 표현될 수 있다.
본 발명의 실시예들은 안면 이미지 처리 방법, 이러한 안면 이미지 처리 방법을 구현하기 위한 안면 이미지 처리 장치, 및 저장 매체를 제공한다.
안면 이미지 처리 장치는 많은 방식들로 구현될 수 있다. 예를 들어, 안면 이미지 처리 장치는, 퍼스널 컴퓨터, 태블릿 컴퓨터, 노트북 컴퓨터, 스마트폰, e- 리더, 디지털 카메라, 디지털 비디오 카메라, 및 지능형 웨어러블 디바이스와 같은 사용자 단말로서 구현될 수 있다. 다른 예를 들어, 안면 이미지 처리 장치는 네트워크 측에 배치되는 서버로서 구현될 수 있다.
안면 이미지 처리 장치가 사용자 단말로서 구현되면, 안면 이미지 처리 방법을 구현하기 위한 전술한 사용자 단말은 사용자의 안면 이미지를 적시에 획득하도록 구성되는 카메라 모듈이 제공 받을 수 있거나, 데이터 송신에 의해 네트워크 또는 다른 디바이스로부터 사용자의 안면 이미지를 획득할 수 있다. 안면 이미지 처리 방법의 다음의 구현 프로시저에서는, 본 발명의 실시예들에서의 안면 이미지 처리 장치가 구현 대상으로서 사용된다.
예를 들어, 도 1a를 참조하면, 도 1a는 본 발명의 실시예에서의 안면 이미지 처리 장치(100)의 하드웨어의 구성도이고, 이는, 적어도 하나의 프로세서(110), 메모리(120), 적어도 하나의 네트워크 인터페이스(130), 및 사용자 인터페이스(140)를 포함한다. 안면 이미지 처리 장치(100)에서의 컴포넌트들은 버스 시스템(150)에 의해 함께 연결된다. 버스 시스템(150)은 컴포넌트들 사이의 접속 및 통신을 구현하도록 구성된다는 점이 이해될 수 있다. 데이터 버스 외에, 버스 시스템(150)은 전력 공급 버스, 제어 버스, 및 상태 신호 버스를 추가로 포함한다. 그러나, 명확한 설명의 용이함을 위해, 도 1a에서의 버스들의 모든 타입들은 버스 시스템(150)으로서 표기된다.
사용자 인터페이스(140)는 필요에 따라 디스플레이, 키보드 터치 패드, 또는 터치 스크린으로서 구현될 수 있다.
메모리(120)는 휘발성 메모리 또는 비-휘발성 메모리일 수 있거나, 또는 휘발성 메모리 및 비-휘발성 메모리 양자 모두를 포함할 수 있다는 점이 이해될 수 있다. 본 발명의 실시예들에서 설명되는 메모리(120)는, 이에 제한되는 것은 아니지만, 이러한 메모리들 및 임의의 다른 적합한 타입의 메모리를 포함하는 것으로 의도된다.
본 발명의 실시예들에서의 메모리(120)는 상이한 타입들의 데이터를 저장하도록 구성되어 안면 이미지 처리 장치(100)의 동작들을 지원한다. 이러한 데이터의 예들은, 안면 이미지 처리 장치(100) 상의 동작을 수행하기 위해 사용되는, 운영 체제(121) 및 애플리케이션 프로그램(122)과 같은, 임의의 컴퓨터 프로그램; 안면 이미지의 원본 데이터, 안면 이미지 처리의 중간 데이터, 안면 이미지 처리의 최종 데이터 등을 포함한다.
운영 체제(121)는 다양한 기본 태스크들을 구현하고 하드웨어 기반의 태스크들을 처리하기 위해 사용되는, 프레임 워크 레이어, 코어 라이브러리 레이어, 및 드라이버 레이어와 같은, 다양한 시스템 프로그램들을 포함한다. 애플리케이션 프로그램(122)은 다양한 애플리케이션 서비스들을 구현하기 위해 사용되는, 미디어 플레이어 및 브라우저와 같은, 다양한 애플리케이션 프로그램들을 포함할 수 있다. 본 발명의 실시예들의 방법을 구현하기 위한 프로그램은 기능 모듈로서 애플리케이션 프로그램(122)에 포함될 수 있거나, 또는 안면 이미지 처리에 전용인 애플리케이션 프로그램으로서 물론 제공될 수 있다.
본 발명의 실시예들에 개시되는 방법은 프로세서(110)에 적용될 수 있거나, 또는 순수 하드웨어에 기초하여 프로세서(110)에 의해 구현될 수 있거나, 또는 소프트웨어와 하드웨어의 조합에 기초하여 구현될 수 있다.
순수 하드웨어 구현의 경우, 프로세서(110)는 신호 처리 능력을 갖는 집적 회로 칩일 수 있다. 구현 프로세스에서, 본 발명의 실시예들에 의해 제공되는 방법의 단계들은 프로세서(11)에서의 하드웨어의 집적 논리 회로에 의해 수행될 수 있다. 예를 들어, 예시적인 실시예에서, 안면 이미지 처리 장치(100)는, 예를 들어, 본 발명의 실시예들에 의해 제공되는 안면 이미지 처리 방법을 구현하도록 구성되는 내장형 하드웨어 디코딩 프로세서를 갖는 ASIC(Application-Specific Integrated Circuit), CPLD(Complex Programmable Logic Device), 또는 FPGA(Field-Programmable Gate Array)로서 구현될 수 있다.
소프트웨어와 하드웨어를 조합하는 구현의 경우, 전술한 프로세서(110)는 범용 프로세서와 소프트웨어 모듈의 조합으로서 구현될 수 있다. 소프트웨어 모듈은 저장 매체에 위치될 수 있고, 저장 매체는 메모리(120)에 위치될 수 있고, 프로세서(110)는 메모리(120)에 있는 데이터를 판독하여 이러한 데이터를 그 하드웨어와 조합하는 것에 의해 본 발명의 실시예들에 의해 제공되는 안면 이미지 처리 방법을 구현한다.
도 1b를 참조하면, 도 1b는 본 발명의 실시예에 따른 안면 이미지 처리 장치의 선택적인 애플리케이션 시나리오의 개략도이다. 안면 이미지 처리 장치는 스마트폰 또는 태블릿 컴퓨터로서 구현된다. 그 카메라 모듈을 호출하여 이미지 캡처를 수행하여 안면 이미지를 획득하는 것 이외에, 스마트폰은 대안적으로 태블릿 컴퓨터에 의해 캡처되는 안면 이미지를, USB(universal serial bus)와 같은, 다양한 유선 통신 방식들, 또는 (셀룰러 무선 통신 또는 무선 로컬 영역 네트워크와 같은) 다양한 무선 통신 방식들로 획득할 수 있고, 물론, 대안적으로 안면 이미지 데이터베이스로부터 안면 이미지를 획득하고 스마트폰에 의해 캡처되는 안면 이미지를 다양한 통신 방식들로 안면 이미지 데이터베이스에 업로드할 수 있다.
도 2는 본 발명의 실시예에서의 안면 이미지 처리 방법의 개략 흐름도이다. 도 2에 도시되는 바와 같이, 본 발명의 이러한 실시예에서의 안면 이미지 처리 방법은 다음 프로시저를 포함할 수 있다:
S101: 안면 이미지로부터 복수의 안면 특징 지점들을 추출함.
안면 이미지의 프레임으로부터 안면 액션을 인식하는 경우, S101에서, 인식될 안면 이미지의 프레임으로부터 상이한 안면 기관들의 안면 특징 지점들이 추출되고; 안면 이미지들의 복수의 프레임들로부터 안면 액션을 인식하는 경우, S101에서, 안면 이미지들의 복수의 프레임들에 특징 추출이 개별적으로 수행되어 안면 이미지들의 모든 프레임들에서 안면 특징에 대응하는 복수의 안면 특징 지점을 획득한다.
선택적인 실시예에서, 안면 이미지 처리 장치는 안면 이미지 처리 장치의 카메라 모듈을 호출하는 것에 의해 촬영을 수행할 수 있어, 사용자의 안면을 포함하는 하나 이상의 안면 이미지를 획득하고, 촬영에 의해 획득되는 안면 이미지로부터 안면 특징 지점을 추출한다. 예를 들어, 형상 특징의 차원들로 추출하는 것에 관해서는, 외부 윤곽 특징을 사용하여 상이한 안면 기관들이 검출되고, 안면 기관들의 상이한 위치들에 있는 안면 특징 지점들이 추출된다.
다른 선택적인 실시예에서, 안면 이미지 처리 장치는 안면 이미지들의 복수의 프레임들을 대안적으로 획득하고, 복수의 캡처된 안면 이미지들의 프레임들에 대한 추출을 개별적으로 수행하여, 각각의 안면 이미지에서의 복수의 안면 특징 지점들의 위치들을 획득할 수 있다. 안면 이미지들의 복수의 프레임들은 연속적으로 캡처될 수 있다. 예를 들어, 안면 이미지들은 1초 또는 0.5초와 같은 지정된 시간 길이로 캡처되는 비디오에서의 복수의 안면 이미지들의 연속 프레임들일 수 있다. 물론, 안면 이미지들이 대안적으로는 캡처되는 비디오에서 시간 축 상에 이산적으로 분포되는 안면 이미지들의 복수의 프레임들일 수 있다.
안면 특징 지점은 눈 특징 지점, 코 특징 지점, 입술 특징 지점, 눈썹 특징 지점, 및 안면 에지 특징 지점 중 하나 이상을 포함한다.
예시적으로, 도 3에 도시되는 안면 특징 지점들의 추출 결과들이 획득될 수 있다. 이하 설명의 편의를 위해, 각각의 추출된 안면 특징 지점은 숫자로 표기된다. 예를 들어, 도 3에 도시되는 1 내지 20은 안면 에지 특징 지점들을 나타내고, 21 내지 28 및 29 내지 36은 사용자의 좌측 눈썹 특징 지점들 및 우측 눈썹 특징 지점들을 대응하여 나타내고, 37 내지 44 및 88은 사용자의 좌측 눈 특징 지점들을 나타내고- 88은 좌측 눈 동공을 나타냄 -, 45 내지 51 및 89는 사용자의 우측 눈 특징 지점들을 나타내고- 8은 우측 눈 동공 특징 지점을 나타냄 -, 53 내지 65는 사용자의 코 특징 지점들을 나타내고, 66 내지 87은 사용자의 입술 특징 지점들을 나타낸다. 위 사항은 단지 예들이라는 점이 주목되어야 한다. 선택적인 실시예에서, 전술한 안면 특징 지점들 또는 더 많은 특징 지점들 중 일부만을 추출하는 것, 또는 다른 방식으로 각각의 특징 지점을 표기하는 것은 본 발명의 이러한 실시예의 카테고리에 속한다.
S102: 안면 이미지로부터 사용자의 안면 액션을 인식함.
선택적인 실시예에서, 안면 액션을 인식하는 것은 다음의 단계들에 의해 구현될 수 있다:
S1021: 임의의 안면 기관에 대응하는 복수의 특징 지점들에 대해, 동일한 안면 기관에 대응하는 복수의 안면 특징 지점들 사이의 거리들을 계산함.
S101에서, 안면 이미지로부터 안면 기관의 복수의 안면 특징 지점들이 추출된 이후, 안면 이미지에서의 특징 지점들의 분포에 따라 안면 이미지에서의 특징 지점들의 위치들이 결정될 수 있다. 구체적인 위치들에 대해서는, 안면 이미지 상에 평면 좌표계가 설정될 수 있고, 동일한 안면 기관의 임의의 2개의 안면 특징 지점들 사이의 평면 거리가 특징 지점 거리로서 계산된다.
S1022: 상이한 위치들에 있는 안면 기관의 특징 파라미터들을 안면 특징 지점들 사이의 거리들에 따라 계산함.
선택적인 실시예에서, 안면 이미지의 프레임으로부터 안면 액션을 인식하는 경우, 상이한 위치들에 있는 안면 기관의 크기들을 표시하는 특징 파라미터들이 안면 기관에 대응하는 복수의 특징 지점들 사이의 거리들에 따라 계산된다. 즉, 특징 파라미터들은 윗 입술과 아랫 입술의 거리와 같은 안면 기관의 상이한 위치들 사이의 거리들일 수 있다.
선택적인 실시예에서, 안면 이미지들의 복수의 프레임들로부터 안면 액션을 인식하는 경우, S101에서, 안면 이미지들의 모든 프레임들에서 안면 기관의 복수의 안면 특징 지점들 사이의 거리들에 따라 특징 파라미터가 결정되고, 특징 파라미터들은 안면 이미지들의 복수의 프레임들 사이의 거리들의 변화들을 나타낸다. 즉, 특징 파라미터들은 안면 기관의 상이한 위치들(예를 들어, 눈썹들 및 눈들) 사이의 거리들의 변화들, 예를 들어, 안면 이미지들의 복수의 프레임들에서 눈 뜨기 및 눈 감기가 교대로 출현하는지 경우, 및 안면 이미지들의 복수의 프레임들에서 좌측 안면과 우측 안면이 교대로 출현하는 경우일 수 있다.
S1023: 특징 파라미터들이 안면 액션에 대응하는 미리 설정된 조건을 충족하면, 안면 기관이 안면 이미지에서 안면 액션을 형성한다고 결정함.
선택적인 실시예에서, 안면 이미지 프레임으로부터 안면 액션을 인식하는 경우, 상이한 위치들에 있는 안면 기관의 크기들을 표시하는 적어도 2개의 특징 파라미터들이 안면 액션을 인식하기 위해 사용되고, 특징 파라미터는 제1 특징 파라미터 및 제2 특징 파라미터로서 설정된다. 제2 특징 파라미터에 대한 제1 특징 파라미터의 비율이 미리 설정된 임계값 미만이 아니면, 안면 이미지는 안면 기관에 의해 형성되는 안면 액션을 포함한다고 결정된다. 즉, 미리 설정된 조건은 안면 기관에 의해 형성되는 안면 액션에 대응하고, 안면 기관이 안면 액션을 형성할 때 안면 기관의 상이한 위치들 사이의 거리들에 의해 충족되는 조건을 설명하는데 사용된다.
예를 들어, 입 열기의 안면 액션의 경우, 미리 설정된 조건은 (제2 특징 파라미터에 대응하는) 입술 두께에 대한 (제1 특징 파라미터에 대응하는) 입술 열기 간격의 비율을 설명하는데 사용되는 거리가 제1 미리 설정된 임계값 미만일 필요가 있다는 것일 수 있고, 키스하기의 안면 액션의 경우, 미리 설정된 조건은 입술 폭에 대한 입술 두께의 비율이 제2 미리 설정된 임계값 미만일 필요가 있다는 것일 수 있다(제2 미리 설정된 임계값은 1 미만임).
선택적인 실시예에서, 안면 이미지들의 복수의 프레임들로부터 안면 액션을 인식하는 경우, 안면 이미지들의 복수의 프레임들 사이의 거리들의 변화들이 안면 기관이 안면 액션을 형성할 때의 변화에 대해 미리 설정된 조건을 충족하면, 안면 기관이 안면 이미지에서 안면 액션을 형성한다고 결정된다. 즉, 미리 설정된 조건은 안면 기관에 의해 형성되는 안면 액션에 대응하고, 안면 기관이 안면 이미지들의 복수의 프레임들에서 안면 액션을 형성할 때 안면 이미지들의 복수의 프레임들에서의 안면 기관의 위치들의 변화들을 설명하기 위해 사용된다.
예를 들어, 눈썹 올리기의 안면 액션의 경우, 미리 설정된 조건은 눈썹과 눈 사이의 거리가 안면 이미지들의 복수의 프레임들에서 변하는 것일 수 있고; 눈 깜빡이기의 눈 액션의 경우, 미리 설정된 조건은 눈 뜨기 및 눈 감기가 안면 이미지들의 복수의 프레임들에 교대로 출현하는 것일 수 있다.
구체적인 구현에서, 복수의 안면 액션들, 예를 들어, (눈 깜빡이기 또는 찡그리기와 같은) 눈 액션, (키스하기, 입 열기 및 혀 흔들기와 같은) 입 액션, (눈썹 올리기 및 찌푸리기와 같은) 눈썹 액션, 및 머리 액션(예를 들어, 머리 내리기, 머리 올리기, 끄덕이기, 머리 떨기 및 머리 흔들기와 같은) 중 하나 이상에 대해, 사용자가 미리 정의될 수 있다.
또한, 각각의 안면 액션에 대해, 복수의 대응하는 안면 특징 지점들(즉, 안면 액션에 관련된 위치들에 대응하는 특징 지점들)이 미리 정의된다. 예를 들어, 입 열기 액션의 경우, 관련된 안면 위치들은 윗 입술 및 아랫 입술이고, 윗 입술의 하부 에지 중심 특징 지점과 윗 입술의 하부 에지 중심 특징 지점 사이의 거리는 10 픽셀을 초과하여(또는, 다른 거리 단위로 변환됨), 현재 사용자의 안면 이미지로부터 추출되는 윗 입술의 하부 에지 중심 위치(85) 및 윗 입술의 에지 중심 위치(80)에 따라, 85와 80 사이의 거리가 10 픽셀을 초과하면, 사용자의 현재 안면 액션은 입 열기라고 결정된다.
선택적인 실시예에서, 안면 이미지의 프레임으로부터 추출되는 안면 기관의 특징 지점들의 복수의 그룹들에 대해, 안면 기관이 안면 액션을 형성하는지는 안면 특징 지점들의 복수의 그룹들 사이의 거리들을 비교하는 것에 의해 획득되는 관계들에 따라 결정된다.
예를 들어, 입 열기 액션에 대한 미리 설정된 조건은 다음과 같이 정의된다: 입술 두께에 대한 사용자의 입술 열기 간격의 비율이 제1 미리 설정된 임계값 미만이 아니면, 사용자의 입술 열기 간격 및 입술 두께는 안면 이미지로부터 추출되는 복수의 입술 특징 지점들 사이의 거리들에 따라 결정될 수 있고, 입술 두께에 대한 입술 열기 간격의 비율이 제1 미리 설정된 임계값 미만이 아니면, 사용자의 현재 안면 액션이 입 열기 액션이라고 결정된다. 예를 들어, 제1 미리 설정된 임계값은 2/3일 수 있다.
예시적으로, 도 3에 도시되는 바와 같이, 사용자의 윗 입술의 하부 에지 중심 특징 지점(85)과 아랫 입술의 상부 에지 중심 특징 지점(80) 사이의 거리가 입술 열기 간격으로서 추출되고, 아랫 입술의 상부 에지 중심 특징 지점(80)과 하부 에지 중심 특징 지점(69) 사이의 거리가 입술 두께로서 추출된다. 다른 선택적인 실시예에서는, 다른 추출된 특징 지점들 사이의 거리들이 대안적으로 사용될 수 있다. 예를 들어, 특징 지점(70)과 특징 지점(81) 사이의 거리가 입술 두께를 나타내기 위해 사용될 수 있거나, 81과 84 사이의 거리가 입술 열기 간격을 나타내기 위해 사용될 수 있다.
다른 예를 들어, 키스하기 액션에 대해 미리 설정된 조건은 다음과 같이 정의될 수 있다. 사용자의 입 폭에 대한 입 두께의 비율이 제2 미리 설정된 임계값 미만이 아니고, 제2 미리 설정된 임계값은 1 미만이다, 예를 들어 1/2이다. 안면 이미지 처리 장치는 복수의 입술 특징 지점들 사이의 거리들을 계산하는 것에 의해 사용자의 입 두께 및 입 폭을 획득할 수 있고, 입 폭에 대한 입 두께의 비율이 제2 미리 설정된 임계값 미만이 아니면, 사용자의 안면 액션이 키스하기 액션이라고 결정한다.
예시적으로, 도 3에 도시되는 바와 같이, 사용자의 윗 입술의 상부 에지 중심 특징 지점(75)과 아랫 입술의 하부 에지 중심 특징 지점(69) 사이의 거리가 입 두께로서 계산되고; 사용자의 좌측 입 코너 특징 지점(66)과 우측 입 코너 특징 지점(72) 사이의 거리가 입 폭으로서 계산된다.
다른 선택적인 실시예에서, 다른 추출된 특징 지점들 사이의 거리들이 대안적으로 입 두께 및 입 폭을 나타내기 위해 사용될 수 있다. 예를 들어, 특징 지점(74)과 특징 지점(80) 사이의 거리 또는 76과 68 사이의 거리 양자 모두가 입 두께를 나타내기 위해 사용될 수 있거나, 또는 67과 71 사이의 거리가 입술 열기 간격을 나타내기 위해 사용된다.
선택적인 실시예에서, 안면 이미지들의 복수의 프레임들로부터 안면 액션을 인식하는 경우, 안면 이미지들의 복수의 프레임들에서 안면 기관의 상이한 위치들의 변화들이 안면 기관의 복수의 안면 특징 지점들 사이의 거리들에 따라 결정된다. 예를 들어, 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들(S101에서의 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들)에서, 상이한 위치들에 있는 안면 기관의 변화들이 미리 설정된 조건을 충족하는지에 따라, 안면 기관이 안면 이미지들의 복수의 프레임들에서 안면 액션을 형성한다고 결정된다.
예를 들어, 눈썹 올리기 액션에 대응하는 미리 설정된 조건은 다음과 같이 정의될 수 있다: 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에서, 안면 이미지들의 2개의 프레임들에서의 눈썹과 눈 사이의 간격의 변화량은 제3의 미리 설정된 임계값을 초과한다. 안면 이미지 처리 장치는, 사용자의 눈썹 특징 지점과 눈 특징 지점 사이의 거리에 따라, 눈썹과 눈 사이의 간격을 획득하고, 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에서, 안면 이미지들의 2개의 프레임들에서의 눈썹과 눈 사이의 간격의 변화량이 제3 미리 설정된 임계값을 초과하면, 사용자의 안면 액션은 눈썹 올리기 액션이라고 결정한다.
예시적으로, 도 3에 도시되는 바와 같이, 23과 39 사이의 거리가 사용자의 눈썹과 눈 사이의 간격을 나타내기 위해 사용될 수 있다. 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에서, 안면 이미지들의 2개의 프레임들에서의 제2 눈썹-눈 간격에 대한 제1 눈썹-눈 간격의 비율들 사이의 차이가 제3 미리 설정된 임계값을 초과하면(본 명세서에서 제3 미리 설정된 임계값은, 예를 들어, 10 픽셀일 수 있음), 사용자의 안면 액션이 눈썹 올리기 액션이라고 결정된다.
다른 예에서, 사용자의 눈썹 꼬리 위치(21)와 같은 쪽에 있는 눈의 하부 에지 중심 위치(39) 사이의 제1 눈썹-눈 간격 및 사용자의 눈썹 꼬리 위치(21)와 같은 쪽에 있는 외측 눈 코너 위치(37) 사이의 제2 눈썹-눈 간격이 획득될 수 있다. 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에서, 안면 이미지들의 2개의 프레임들에서의 제2 눈썹-눈 간격에 대한 제1 눈썹-눈 간격의 비율들 사이의 차이가 제3 미리 설정된 임계값을 초과하면(본 명세서에 제3 미리 설정된 임계값은, 예를 들어, 0.3 또는 0.2일 수 있음), 사용자의 안면 액션이 눈썹 올리기 액션이라고 결정된다.
다른 예를 들어, 눈 깜빡이기 액션에 대한 미리 설정된 조건은 다음과 같이 정의될 수 있다: 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에서, 눈 뜨기-눈 감기-눈 뜨기 안면 이미지들이 순차적으로 출현한다. 즉, 사용자의 눈 뜨기 안면 이미지들의 2개의 프레임들 사이에 사용자의 눈 감기 안면 이미지의 프레임이 존재한다. 안면 이미지 처리 장치는 사용자의 복수의 눈 특징 지점들 사이의 거리들에 따라 사용자의 눈 뜨기 간격을 계산할 수 있고, 안면 이미지의 구체적인 프레임에서 사용자의 눈 뜨기 간격에 따라 사용자가 눈을 뜨고 있는지 또는 눈을 감고 있는지 결정할 수 있다.
예를 들어, 도 3에 도시되는 바와 같이, 43과 39 사이의 거리가 눈 뜨기 간격으로서 사용될 수 있다. 안면 이미지의 프레임에서 눈 43과 39 사이의 거리가 미리 설정된 간격, 예를 들어, 5 픽셀보다 크면, 사용자의 눈들이 떠져 있다고 결정된다. 그렇지 않고, 눈 뜨기 간격이 미리 설정된 간격 미만이면, 사용자의 눈들이 감겨져 있다고 결정된다. 다른 예에서, 안면 이미지 처리 장치는 사용자의 눈의 상부 에지 중심 위치(43)와 하부 에지 중심 위치(39) 사이의 거리를 눈 뜨기 간격으로서 사용하고, 사용자의 눈의 하부 에지 중심 위치(39)와 외측 눈 코너 위치(37) 사이의 거리를 눈 폭으로서 추가적으로 획득하고, 안면 이미지의 프레임에서 눈 뜨기 간격이 눈 폭의 절반보다 크면, 안면 이미지의 프레임에서 사용자의 눈들이 떠져 있다고 결정하고; 그렇지 않으면, 안면 이미지의 프레임에서 사용자의 눈들이 감겨져 있다고 결정할 수 있다.
다른 예를 들어, 머리 떨기 액션에 대응하는 미리 설정된 조건은 다음과 같이 정의될 수 있다: 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에는, 좌측 안면의 안면 이미지의 프레임 및 우측 안면의 안면 이미지의 프레임이 존재한다. 안면 이미지 처리 장치는 사용자의 코 특징 지점 및 안면 에지 특징 지점들에 따라 사용자의 좌측 안면 폭 및 우측 안면 폭을 획득하고, 사용자의 좌측 안면 폭 및 우측 안면 폭에 따라, 안면 이미지의 구체적인 프레임이 사용자의 좌측 안면 또는 우측 안면이라고 결정할 수 있다.
예시적으로, 사용자의 코 끝 위치(53)와 안면의 좌측 외측 에지 중심 위치(2 내지 5 중 어느 하나가 선택될 수 있음) 사이의 거리가 좌측 안면 폭으로서 사용될 수 있고, 사용자의 코 끝 위치(53)와 안면의 우측 외측 에지 중심 위치(15 내지 18 중 어느 하나가 선택될 수 있음) 사이의 거리가 우측 안면 폭으로서 사용될 수 있다. 안면 이미지의 구체적인 프레임에서 우측 안면 폭에 대한 좌측 안면 폭의 비율이 제4 미리 설정된 임계값 미만이면, 안면 이미지의 프레임이 사용자의 우측 안면이라고 결정되고, 제4 미리 설정된 임계값은 1 미만, 예를 들어, 0.7이다. 이와 대조적으로, 안면 이미지의 구체적인 프레임에서 좌측 안면 폭에 대한 우측 안면 폭의 비율이 제4 미리 설정된 임계값 미만이면, 프레임 안면 이미지가 사용자의 좌측 안면이라고 결정된다.
위 사항은 단지 예들이라는 점이 주목되어야 한다. 해당 분야에서의 기술자는 전술한 예들로부터 독창적인 노력을 기울이지 않고도 더 많은 사례들을 획득할 수 있다. 예를 들어, 사용자의 끄덕이기 액션, 찌푸리기 액션, 안면 만들기 액션, 혀 흔들기 액션 등이 인식될 수 있다. 본 개시 내용에서는 탈진이 수행되지 않는다.
선택적인 실시예에서, 안면 이미지로부터 인식되는 안면 액션에 대해, 다양한 특수 효과들을 형성하는 것과 같은 이미지 처리가 안면 액션에 수행될 수 있다.
S103: 사용자의 안면 액션에 따라 사용자의 안면 이미지에 이미지 처리를 수행함.
구체적인 구현에서, 안면 이미지 처리 장치는 다양한 정의된 안면 액션들에 대응하는 이미지 처리 방식들을 미리 설정하고, 안면 이미지 재구성에 의해 사용자의 안면 액션을 획득한 이후, 대응하는 이미지 처리를 안면 이미지에 수행할 수 있다. 예를 들어, 안면 이미지에 이미지 처리를 수행하는 방식은 다음을 포함할 수 있다:
1) 사용자의 안면 액션에 대응하는 미리 설정된 맵이 사용되고 안면 이미지 상단에 위치되는 맵 레이어에 추가되어 안면 이미지를 매핑하는 효과를 형성함.
안면 이미지 처리 장치는 사용자의 상이한 안면 액션들에 각각 대응하는 복수의 맵들을 미리 설정할 수 있고, 사용자의 안면 액션이 안면 이미지로부터 추출된 이후, 안면 이미지에 매핑을 수행하는데 대응하는 맵이 사용된다. 예시적으로, 도 9 및 도 11에 도시되는 바와 같이, 대응하는 매핑 효과들은 사용자의 인식된 상이한 안면 액션들에 따라 생성될 수 있다. 본 명세서에서의 설명들은 단지 예들이라는 점이 주목되어야 한다. 해당 분야에서의 기술자는 본 발명의 실시예들에서의 예들에 따라 독창적인 노력을 기울이지 않고도 더 많은 매핑 사례들을 획득할 수 있다. 본 개시 내용에서는 탈진이 수행되지 않는다.
도 9에서, 안면 이미지에서의 사용자가 입을 열고 있다고 결정될 때 안면 이미지에 "토끼 이빨(rabbit teeth)"의 매핑이 수행될 수 있다. 중첩되는 방식으로 사용자의 윗 입술의 하부 에지 중심 지점 위치에 "토끼 이빨(rabbit teeth)" 맵이 디스플레이된다. 물론, "토끼 이빨(rabbit teeth)" 맵은 안면 이미지에서의 임의의 위치에 중첩될 수 있고, 안면 이미지에서의 "토끼 이빨(rabbit teeth)" 맵의 중첩 디스플레이 위치가 대안적으로는 "토끼 이빨(rabbit teeth)" 맵에 대한 사용자의 이동 명령어에 따라 변경될 수 있다.
도 10에서, 안면 이미지에서의 사용자가 깜빡이고 있는 것으로 결정될 때 안면 이미지에 "공주의 울먹이는 눈들(tearfully eyes of a princess)"의 매핑이 수행될 수 있다. 중첩되는 방식으로 안면 이미지에서의 사용자의 눈 위치에 "공주의 울먹이는 눈들(tearfully eyes of a princess)" 맵의 울먹이는 눈 부분이 디스플레이될 수 있다. 물론, "공주의 울먹이는 눈들(tearfully eyes of a princess)" 맵이 대안적으로는 안면 이미지에서의 임의의 위치에 중첩될 수 있고, 안면 이미지에서의 "공주의 울먹이는 눈들(tearfully eyes of a princess)" 맵의 중첩 디스플레이 위치가 대안적으로는 "공주의 울먹이는 눈들(tearfully eyes of a princess)" 맵에 대한 사용자의 이동 명령어에 따라 변경될 수 있다.
도 11에서, 안면 이미지에서의 사용자가 눈 깜빡이기 액션을 수행하면서 키스하기 액션을 수행하는 것으로 결정되면, 이에 대응하여, 안면 이미지에 "공주의 울먹이는 눈들(tearfully eyes of a princess)" 맵이 추가되는 한편 "사과 전달(apple passing)" 맵이 또한 추가될 수 있다.
2) 사용자의 안면 액션에 대응하는 안면 오브젝트가 결정되고, 사용자의 안면 액션에 대응하는 안면 오브젝트에 대해 대응하는 특수 효과 변형 처리가 수행됨.
예를 들어, 안면 이미지에서의 사용자의 눈 액션이 인식되면, 안면 이미지에서의 사용자의 눈 영역에 특수 효과 변형 처리가 수행될 수 있다. 안면 이미지에서의 사용자의 입 액션이 인식되면, 안면 이미지에서의 사용자의 입 영역에 특수 효과 변형 처리가 수행될 수 있다. 안면 이미지에서의 사용자의 눈썹 액션이 인식되면, 안면 이미지에서의 사용자의 눈썹 영역에 특수 효과 변형 처리가 수행될 수 있다. 안면 이미지에서의 사용자의 머리 액션이 인식되면, 안면 이미지에서의 사용자의 머리 영역에 특수 효과 변형 처리가 수행될 수 있다. 특수 효과 변형 처리는 확대(enlarging), 연장(lengthening), 블러링(blurring) 등을 포함할 수 있다.
본 발명의 이러한 실시예에서는, 안면 이미지로부터 인식되는 복수의 안면 특징 지점들 사이의 거리들을 계산하는 것에 의해 안면 이미지에서의 사용자의 안면 액션이 결정되고, 사용자의 안면 액션에 따라 안면 이미지에 이미지 처리가 수행되어, 사용자의 상이한 안면 액션들 또는 표정들에 따라 안면 이미지에 동적 처리를 수행한다.
도 4는 본 발명의 실시예에서의 안면 이미지 처리 방법의 개략 흐름도이다. 도 4에 도시되는 바와 같이, 본 발명의 이러한 실시예에서의 안면 이미지 처리 방법의 프로시저는 다음을 포함한다.
S301: 사용자의 안면 이미지로부터, 복수의 입술 특징 지점들을 포함하는, 복수의 안면 특징 지점들을 추출함.
선택적인 실시예에서, 안면 이미지 처리 장치는 카메라 모듈을 사용하여 사용자의 안면 이미지를 캡처하고, 캡처된 안면 이미지에 실시간으로 안면 특징 추출을 수행할 수 있다. 예시적으로, 도 3에 도시되는 바와 같이, 66 내지 87은 사용자의 입술 특징 지점들을 나타내고, 본 발명의 이러한 실시예에서는, 66 내지 87에서의 입술 특징 지점들의 일부 또는 전부가 추출될 수 있다.
S302: 복수의 입술 특징 지점들 사이의 거리들에 따라 사용자의 입술 열기 간격 및 입술 두께를 계산함.
S303: 입술 두께에 대한 입술 열기 간격의 비율이 제1 미리 설정된 임계값 미만이 아니면, 사용자의 안면 액션은 입 열기 액션이라고 결정함.
제1 미리 설정된 임계값은, 예를 들어, 2/3일 수 있다.
S304: 사용자의 입 열기 액션에 따라 사용자의 안면 이미지에 이미지 처리를 수행함.
예를 들어, 안면 이미지에 이미지 처리를 수행하는 방식은 다음을 포함할 수 있다:
사용자의 안면 액션에 대응하는 미리 설정된 맵을 사용하여 안면 이미지에 매핑이 수행된다. 대안적으로, 본 발명의 이러한 실시예에서 사용자의 안면 액션에 대응하는 안면 오브젝트가 입 영역인 것으로 결정되면, 대응하는 특수 효과 변형 처리가 입 영역에 대해 수행된다.
도 5는 본 발명의 다른 실시예에서의 안면 이미지 처리 방법의 개략 흐름도이다. 도 5에 도시되는 바와 같이, 본 발명의 이러한 실시예에서의 안면 이미지 처리 방법의 프로시저는 다음을 포함한다.
S401: 사용자의 안면 이미지로부터, 복수의 입술 특징 지점들을 포함하는, 복수의 안면 특징 지점들을 추출함.
S402: 복수의 입술 특징 지점들 사이의 거리들에 따라 입 두께 및 입 폭을 계산함.
S403: 입 폭에 대한 입 두께의 비율이 제2 미리 설정된 임계값 미만이 아니면, 사용자의 안면 액션은 키스하기 액션이라고 결정함.
제2 미리 설정된 임계값은 1미만이다, 예를 들어, 1/2이다.
S404: 사용자의 키스하기 액션에 따라 사용자의 안면 이미지에 이미지 처리를 수행함.
예를 들어, 안면 이미지에 이미지 처리를 수행하는 방식은 다음을 포함할 수 있다:
사용자의 안면 액션에 대응하는 미리 설정된 맵을 사용하여 안면 이미지에 매핑이 수행된다. 대안적으로, 본 발명의 이러한 실시예에서 사용자의 안면 액션에 대응하는 안면 오브젝트가 입 영역인 것으로 결정되면, 대응하는 특수 효과 변형 처리가 입 영역에 대해 수행된다.
도 6은 본 발명의 다른 실시예에서의 안면 이미지 처리 방법의 개략 흐름도이다. 도 6에 도시되는 바와 같이, 본 발명의 이러한 실시예에서의 안면 이미지 처리 방법의 프로시저는 다음을 포함한다.
S501: 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에 개별적으로 추출을 수행하여 각각의 안면 이미지에서의 사용자의, 눈썹 특징 지점들 및 눈 특징 지점들을 포함하는, 복수의 안면 특징 지점들을 획득함.
본 발명의 이러한 실시예에서, 안면 이미지 처리 장치는 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들을 획득하고, 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에 개별적으로 추출을 수행하여, 각각의 안면 이미지에서의 복수의 안면 특징 지점들을 획득할 수 있다. 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들은 1초 또는 0.5초와 같은 지정된 시간 길이로 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들일 수 있다.
예시적으로, 도 3에 도시되는 바와 같이, 21 내지 28 및 29 내지 36은 사용자의 좌측 눈썹 특징 지점들 및 우측 눈썹 특징 지점들을 각각 나타내고, 37 내지 44 및 88은 사용자의 좌측 눈 특징 지점들을 나타내고- 88은 좌측 눈 동공 위치임 -, 45 내지 51 및 89는 사용자의 우측 눈 특징 지점들을 나타내고- 89는 우측 눈 동공 위치임 -, 본 발명의 이러한 실시예에서는, 21 내지 28, 37 내지 44, 및 88에서의 일부 또는 모든 특징 지점들이 추출될 수 있거나, 또는 29 내지 36, 45 내지 51, 및 89에서의 일부 또는 모든 특징 지점들이 추출될 수 있다.
S502: 사용자의 눈썹 특징 지점과 눈 특징 지점 사이의 거리에 따라, 눈썹과 눈 사이의 간격을 획득함.
본 발명의 이러한 실시예의 제1 예에서는, 도 3에 도시되는 바와 같이, 23과 39 사이의 거리가 사용자의 눈썹과 눈 사이의 간격을 나타내기 위해 사용될 수 있다.
제2 예에서는, 사용자의 눈썹 꼬리 위치(21)와 같은 쪽에 있는 눈의 하부 에지 중심 위치(39) 사이의 제1 눈썹-눈 간격이 획득될 수 있고, 사용자의 눈썹 꼬리 위치(21)와 같은 쪽에 있는 외측 눈 코너 위치(37) 사이의 제2 눈썹-눈 간격이 획득될 수 있다.
S503: 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에서, 안면 이미지들의 2개의 프레임들에서의 눈썹과 눈 사이의 간격의 변화량이 제3 미리 설정된 임계값을 초과하면, 사용자의 안면 액션은 눈썹 올리기 액션이라고 결정함.
본 발명의 이러한 실시예의 제1 예에서는, 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에서, 안면 이미지들의 2개의 프레임들에서 제2 눈썹-눈 간격에 대한 제1 눈썹-눈 간격의 비율들 사이의 차이가 제3 미리 설정된 임계값을 초과하면(본 명세서에서 제3 미리 설정된 임계값은, 예를 들어, 10 픽셀일 수 있음), 사용자의 안면 액션이 눈썹 올리기 액션이라고 결정된다.
본 발명의 이러한 실시예의 제2 예에서는, 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에서, 안면 이미지들의 2개의 프레임들에서 제2 눈썹-눈 간격에 대한 제1 눈썹-눈 간격의 비율들의 차이가 제3 미리 설정된 임계값을 초과하면(본 명세서에서 제3 미리 설정된 임계값은, 예를 들어, 0.3 또는 0.2일 수 있음), 사용자의 안면 액션이 눈썹 올리기 액션이라고 결정된다.
S504: 눈썹 올리기 액션에 따라 사용자의 안면 이미지에 이미지 처리를 수행함.
예를 들어, 안면 이미지에 이미지 처리를 수행하는 방식은 다음을 포함할 수 있다:
사용자의 안면 액션에 대응하는 미리 설정된 맵을 사용하여 안면 이미지에 매핑이 수행된다. 대안적으로, 본 발명의 이러한 실시예에서 사용자의 안면 액션에 대응하는 안면 오브젝트가 눈썹 영역 또는 눈 영역인 것으로 결정되고, 대응하는 특수 효과 변형 처리가 눈썹 영역 또는 눈 영역에 대하여 수행된다.
도 7은 본 발명의 실시예에서의 안면 이미지 처리 방법의 개략 흐름도이다. 도 7에 도시되는 바와 같이, 본 발명의 이러한 실시예에서의 안면 이미지 처리 방법의 프로시저는 다음을 포함한다.
S601: 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에 개별적으로 추출을 수행하여 각각의 안면 이미지에서의 사용자의, 눈 특징 지점들을 포함하는, 복수의 안면 특징 지점들을 획득함.
예시적으로, 도 3에 도시되는 바와 같이, 37 내지 44 및 88은 사용자의 좌측 눈 특징 지점들을 나타내고- 88은 좌측 눈 동공 위치임 -, 45 내지 51 및 89는 사용자의 우측 눈 특징 지점들을 나타내고- 89는 우측 눈 동공 위치임 -, 본 발명의 이러한 실시예에서는, 37 내지 44 및 88에서의 일부 또는 모든 특징 지점들이 추출될 수 있거나, 45 내지 51 및 89에서의 일부 또는 모든 특징 지점들이 추출될 수 있다.
S602: 사용자의 복수의 눈 특징 지점들 사이의 거리들에 따라 사용자의 눈 뜨기 간격을 획득하고, 사용자의 눈 뜨기 간격에 따라, 사용자가 안면 이미지의 구체적인 프레임에서 눈을 뜨고 있다고 또는 눈을 감고 있다고 결정함.
예를 들어, 도 3에 도시되는 바와 같이, 43과 39 사이의 거리가 눈 뜨기 간격으로서 사용될 수 있다. 안면 이미지의 프레임에서 눈 43과 39 사이의 거리가 미리 설정된 간격, 예를 들어, 5 픽셀보다 크면, 사용자의 눈들이 떠져 있다고 결정된다. 그렇지 않고, 눈 뜨기 간격이 미리 설정된 간격 미만이면, 사용자의 눈들이 감겨져 있다고 결정된다. 다른 예에서, 안면 이미지 처리 장치는 사용자의 눈의 상부 에지 중심 위치(43)와 하부 에지 중심 위치(39) 사이의 거리를 눈 뜨기 간격으로서 사용하고, 사용자의 눈의 하부 에지 중심 위치(39)와 외측 눈 코너 위치(37) 사이의 거리를 눈 폭으로서 추가적으로 획득하고, 안면 이미지의 프레임에서 눈 뜨기 간격이 눈 폭의 절반보다 크면, 안면 이미지의 프레임에서 사용자의 눈들이 떠져 있다고 결정하고; 그렇지 않으면, 안면 이미지의 프레임에서 사용자의 눈들이 감겨져 있다고 결정할 수 있다.
S603: 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에서 사용자의 눈 뜨기 안면 이미지들의 2개의 프레임들 사이에 사용자의 눈 감기 안면 이미지의 프레임이 있으면, 사용자의 안면 액션은 눈 깜빡이기 액션이라고 결정함.
눈 깜빡이기 액션은, 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에서, 눈 뜨기-눈 감기-눈 뜨기 안면 이미지들이 순차적으로 출현하는 것으로서 정의된다. 다른 선택적인 실시예에서는, 2개의 이상의 눈 뜨기-눈 감기 변화들만이 눈 깜빡이기 액션으로서 정의된다고 대안적으로 정의되어, 사용자의 눈 깜빡이기에 매번 응답하는 것을 회피할 수 있다.
S604: 사용자의 눈 깜빡이기 액션에 따라 사용자의 안면 이미지에 이미지 처리를 수행함.
예를 들어, 안면 이미지에 이미지 처리를 수행하는 방식은 다음을 포함할 수 있다:
사용자의 안면 액션에 대응하는 미리 설정된 맵을 사용하여 안면 이미지에 매핑이 수행된다. 대안적으로, 본 발명의 이러한 실시예에서 사용자의 안면 액션에 대응하는 안면 오브젝트가 눈 영역인 것으로 결정되면, 대응하는 특수 효과 변형 처리가 눈 영역에 대해 수행된다.
도 8은 본 발명의 다른 실시예에서의 안면 이미지 처리 방법의 개략 흐름도이다. 도 8에 도시되는 바와 같이, 본 발명의 이러한 실시예에서의 안면 이미지 처리 방법의 프로시저는 다음을 포함한다.
S501: 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에 개별적으로 추출을 수행하여 각각의 안면 이미지에서의 사용자의, 코 특징 지점 및 안면 에지 특징 지점들을 포함하는, 복수의 안면 특징 지점들을 획득함.
S702: 코 특징 지점과 양 쪽에 있는 안면 에지 특징 지점들 사이의 거리들에 따라 사용자의 좌측 안면 폭 및 우측 안면 폭을 각각 획득하고, 사용자의 좌측 안면 폭 및 우측 안면 폭에 따라, 안면 이미지의 구체적인 프레임이 사용자의 좌측 안면이라고 또는 우측 안면이라고 결정함.
S703: 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에 좌측 안면을 포함하는 안면 이미지의 프레임 및 우측 안면을 포함하는 안면 이미지의 프레임 양자 모두 존재하면, 사용자의 안면 액션은 머리 떨기 액션이라고 결정함.
S704: 사용자의 머리 떨기 액션에 따라 사용자의 안면 이미지에 이미지 처리를 수행함.
예를 들어, 안면 이미지에 이미지 처리를 수행하는 방식은 다음을 포함할 수 있다:
사용자의 안면 액션에 대응하는 미리 설정된 맵을 사용하여 안면 이미지에 매핑이 수행된다. 대안적으로, 본 발명의 이러한 실시예에서 사용자의 안면 액션에 대응하는 안면 오브젝트가 (전체로서) 머리 영역인 것으로 결정되면, 대응하는 특수 효과 변형 처리가 머리 영역에 대해 수행된다.
도 12는 본 발명의 실시예에서의 안면 이미지 처리 장치의 개략 구성도이다. 도 12에 도시되는 바와 같이, 본 발명의 이러한 실시예에서의 안면 이미지 처리 장치는 다음을 포함할 수 있다.
안면 특징 추출 모듈(1110)은 안면 이미지로부터 안면 기관에 대응하는 안면 특징 지점들을 추출하도록 구성된다.
선택적인 실시예에서, 안면 특징 추출 모듈(1110)은 카메라 모듈을 사용하여 사용자의 안면 이미지를 캡처하고, 캡처되는 안면 이미지에 안면 특징 추출을 실시간으로 수행할 수 있다. 본 발명의 이러한 실시예에서, 안면 이미지 처리 장치는 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들을 획득하고, 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에 개별적으로 추출을 수행하여, 각각의 안면 이미지에서의 복수의 안면 특징 지점들을 획득할 수 있다. 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들은 1초 또는 0.5초와 같은 지정된 시간 길이로 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들일 수 있다.
안면 특징 지점은 눈 특징 지점, 코 특징 지점, 입술 특징 지점, 눈썹 특징 지점, 및 안면 에지 특징 지점 중 하나 이상을 포함한다.
안면 액션 분석 모듈(1130)은 복수의 안면 특징 지점들 사이의 거리들에 따라 사용자의 안면 액션을 결정하도록 구성되고, 이는 안면 기관에 대응하는 안면 특징 지점들 사이의 거리들을 계산하는 처리; 안면 특징 지점들 사이의 거리들에 따라 상이한 위치들에 있는 안면 기관의 특징 파라미터들을 계산하는 처리; 및 특징 파라미터들이 안면 액션에 대응하는 미리 설정된 조건을 충족하면, 안면 기관이 안면 이미지에서 안면 액션을 형성한다고 결정하는 처리에 관련된다.
선택적인 실시예에서, 안면 이미지 프레임으로부터 안면 액션을 인식하는 경우, 안면 액션 분석 모듈(1130)은 구체적으로, 안면 기관에 대응하는 복수의 특징 지점들 사이의 거리들에 따라, 상이한 위치들에 있는 안면 기관의 크기들을 표시하는 특징 파라미터들을 계산하도록; 그리고 제2 특징 파라미터에 대한 제1 특징 파라미터의 비율이 미리 설정된 임계값 미만이 아니면, 안면 이미지는 안면 기관에 의해 형성되는 안면 액션을 포함한다고 결정하도록 구성된다.
예를 들어, 안면 액션 분석 모듈(1130)은, 도 13에 도시되는 바와 같이, 다음을 포함할 수 있다.
특징 데이터 획득 유닛(1131)은 안면 이미지로부터 안면 기관의 복수의 안면 특징 지점들 사이의 거리들을 추출하도록 구성된다.
액션 분석 유닛(1133)은 구체적으로, 안면 기관에 대응하는 복수의 특징 지점들 사이의 거리들에 따라, 상이한 위치들에 있는 안면 기관의 크기들을 표시하는 특징 파라미터들을 계산하도록 구성된다. 안면 액션 분석 모듈은 구체적으로, 제2 특징 파라미터에 대한 제1 특징 파라미터의 비율이 미리 설정된 임계값 미만이 아니면, 안면 이미지가 안면 기관에 의해 형성되는 안면 액션을 포함한다고 결정하도록 구성된다.
예를 들어, 입 열기 액션에 대응하는 미리 설정된 조건은 다음과 같이 정의될 수 있다: 입술 두께에 대한 사용자의 입술 열기 간격의 비율이 제1 미리 설정된 임계값 미만이 아니면, 특징 데이터 획득 유닛(1131)은 사용자의 입술 열기 간격 및 입술 두께를 현재 사용자의 안면 이미지로부터 추출되는 복수의 입술 특징 지점들 사이의 거리들에 따라 계산하고, 액션 분석 유닛(1133)은, 입술 두께에 대한 입술 열기 간격의 비율이 제1 미리 설정된 임계값 미만이 아니면, 사용자의 현재 안면 액션은 입 열기 액션이라고 결정한다. 제1 미리 설정된 임계값은, 예를 들어, 2/3일 수 있다. 입술 열기 간격 및 입술 두께가 계산되는 예에서, 특징 데이터 획득 유닛(1131)은 윗 입술의 하부 에지 중심과 아랫 입술의 상부 에지 중심 사이의 거리를 입술 열기 간격으로서 계산하고, 거리를 계산하고, 아랫 입술의 상부 에지 중심과 하부 에지 중심 사이의 거리를 두께로서 계산한다.
다른 예를 들어, 키스하기 액션에 대응하는 미리 설정된 조건은 다음과 같이 정의될 수 있다: 사용자의 입 폭에 대한 입 두께의 비율이 제2 미리 설정된 임계값 미만이 아니고, 제2 미리 설정된 임계값은 1 미만이다, 예를 들어 1/2이다. 특징 데이터 획득 유닛(1131)은 복수의 입술 특징 지점들 사이의 거리들에 따라 사용자의 입 두께 및 입 폭을 획득할 수 있고, 액션 분석 유닛(1133)은 입 폭에 대한 입 두께의 비율이 제2 미리 설정된 임계값 미만이 아닌지 결정하고, 만약 그렇다면, 사용자의 안면 액션은 키스하기 액션이라고 결정한다. 제2 미리 설정된 임계값은 1미만이다, 예를 들어, 1/2이다. 입술 열기 간격 및 입술 두께가 계산되는 예에서, 특징 데이터 획득 유닛(1131)은 윗 입술의 상부 에지 중심과 아랫 입술의 하부 에지 중심 사이의 거리를 입 두께로서 계산하고 좌측 입 코너와 우측 입 코너 사이의 거리를 입 폭으로서 계산한다.
선택적인 실시예에서, 안면 이미지들의 복수의 프레임들로부터 안면 액션을 인식하는 경우, 안면 액션 분석 모듈(1130)은 구체적으로, 안면 기관에 대응하는 복수의 특징 지점들 사이의 거리들에 따라, 상이한 위치들에 있는 안면 기관의 크기들을 표시하는 특징 파라미터들을 계산하도록; 그리고 제2 특징 파라미터에 대한 제1 특징 파라미터의 비율이 미리 설정된 임계값 미만이 아니면, 안면 이미지는 안면 기관에 의해 형성되는 안면 액션을 포함한다고 결정하도록 구성된다.
예를 들어, 특징 데이터 획득 유닛(1131)은 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에서의 안면 이미지의 각각의 프레임을 획득하고 안면 이미지들의 프레임들 각각으로부터 안면 기관의 복수의 특징 지점들을 추출한다. 액션 분석 유닛(1133)은 안면 기관의 복수의 안면 특징 지점들 사이의 거리들에 따라 특징 파라미터들을 결정하고- 이러한 특징 파라미터들은 안면 이미지들의 복수의 프레임들 사이의 안면 기관 위치들의 변화들을 나타냄 -, 안면 이미지들의 복수의 프레임들 사이의 안면 기관의 위치들의 변화들이 안면 기관이 안면 액션을 형성할 때의 변화에 대해 미리 설정된 조건을 충족하면, 안면 기관은 안면 이미지에서 안면 액션을 형성한다고 결정한다.
예를 들어, 눈썹 올리기 액션에 대응하는 미리 설정된 조건은 다음과 같이 정의될 수 있다: 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에서, 안면 이미지들의 2개의 프레임들에서의 눈썹과 눈 사이의 간격의 변화량은 제3의 미리 설정된 임계값을 초과한다. 특징 데이터 획득 유닛(1131)은, 사용자의 눈썹 특징 지점과 눈 특징 지점 사이의 거리에 따라, 눈썹과 눈 사이의 간격을 획득할 수 있고, 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에서, 안면 이미지들의 2개의 프레임들에서의 눈썹과 눈 사이의 간격의 변화량이 제3 미리 설정된 임계값을 초과하면, 액션 분석 유닛(1133)은 사용자의 안면 액션이 눈썹 올리기 액션이라고 결정한다. 액션 분석 유닛(1133)은 이러한 변화량이 제3 미리 설정된 임계값을 초과하는지를 다음과 같은 방식으로 결정할 수 있다: 눈썹 꼬리와 같은 쪽에 있는 눈의 하부 에지 중심 사이의 제1 눈썹-눈 간격을 계산함; 눈썹 꼬리와 같은 쪽에 있는 외측 눈 코너 사이의 제2 눈썹-눈 간격을 계산함; 및 안면 이미지들의 복수의 프레임들에서의 제2 눈썹-눈 간격에 대한 제1 눈썹-눈 간격의 비율들의 차이가 제3 미리 설정된 임계값을 초과하는지 결정함.
다른 예를 들어, 눈 깜빡이기 액션에 대응하는 미리 설정된 조건은 다음과 같이 정의될 수 있다: 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에서, 눈 뜨기-눈 감기-눈 뜨기 안면 이미지들이 순차적으로 출현한다. 즉, 사용자의 눈 뜨기 안면 이미지들의 2개의 프레임들 사이에 사용자의 눈 감기 안면 이미지의 프레임이 존재한다. 특징 데이터 획득 유닛(1131)은 사용자의 복수의 눈 특징 지점들 사이의 거리들에 따라 사용자의 눈 뜨기 간격을 계산할 수 있고, 액션 분석 유닛(1133)은 안면 이미지의 구체적인 프레임에서 사용자의 눈 뜨기 간격에 따라 사용자가 눈을 뜨고 있는지 또는 눈을 감고 있는지 결정한다. 액션 분석 유닛(1133)은, 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에서 사용자의 눈 뜨기 안면 이미지들의 2개의 프레임들 사이에 사용자의 눈 감기 안면 이미지의 프레임이 있으면, 사용자의 안면 액션은 눈 깜빡이기 액션이라고 결정한다. 다른 선택적인 실시예에서는, 2개의 이상의 눈 뜨기-눈 감기 변화들만이 눈 깜빡이기 액션으로서 정의된다고 대안적으로 정의되어, 사용자의 눈 깜빡이기에 매번 응답하는 것을 회피할 수 있다. 안면 이미지가 눈 뜨기 또는 눈 감기를 포함한다고 결정하는 예에서, 액션 분석 유닛(1133)은 구체적으로, 눈의 상부와 하부 에지 중심들 사이의 거리를 눈 뜨기 간격으로서 계산하도록, 눈의 하부 에지 중심과 외측 눈 코너 사이의 거리를 눈 폭으로서 계산하도록, 그리고, 안면 이미지에서의 눈 뜨기 간격이 눈 폭의 절반보다 크면, 안면 이미지들의 복수의 프레임들이 눈 뜨기를 포함한다고 결정하도록; 그렇지 않으면, 안면 이미지들의 복수의 프레임들이 눈 감기를 포함한다고 결정하도록 구성된다.
다른 예를 들어, 머리 떨기 액션에 대응하는 미리 설정된 조건은 다음과 같이 정의될 수 있다: 연속적으로 캡처되는 안면 이미지들의 복수의 프레임들에는, 좌측 안면의 안면 이미지의 프레임 및 우측 안면의 안면 이미지의 프레임이 존재한다. 특징 데이터 획득 유닛(1131)은 사용자의 코 특징 지점 및 안면 에지 특징 지점들에 따라 사용자의 좌측 안면 폭 및 우측 안면 폭을 획득할 수 있고, 액션 분석 유닛(1133)은, 사용자의 좌측 안면 폭 및 우측 안면 폭에 따라, 안면 이미지의 구체적인 프레임이 사용자의 좌측 안면 또는 우측 안면이라고 결정한다. 안면 이미지가 좌측 안면인지 우측 안면인지 결정하는 예에서, 액션 분석 유닛(1133)은 코 끝과 안면 좌측 외측 에지 중심 사이의 거리를 좌측 안면 폭으로서 계산하고; 코 끝과 안면 우측 외측 에지 중심 사이의 거리를 우측 안면 폭으로서 계산하고; 안면 이미지에서의 우측 안면 폭에 대한 좌측 안면 폭의 비율이 제4 미리 설정된 임계값 미만이면, 안면 이미지가 우측 안면을 포함한다고 결정하고, 이러한 비율이 제4 미리 설정된 임계값보다 크면, 안면 이미지가 좌측 안면을 포함한다고 결정하고, 제4 미리 설정된 임계값은 1 미만이다.
위 사항은 단지 예들이라는 점이 주목되어야 한다. 해당 분야에서의 기술자는 전술한 예들로부터 독창적인 노력을 기울이지 않고도 더 많은 사례들을 획득할 수 있다. 예를 들어, 사용자의 끄덕이기 액션, 찌푸리기 액션, 안면 만들기 액션, 혀 흔들기 액션 등이 인식될 수 있다. 본 개시 내용에서는 탈진이 수행되지 않는다.
이미지 처리 모듈(1150)은 사용자의 안면 액션에 따라 사용자의 안면 이미지에 이미지 처리를 수행하도록 구성된다.
구체적인 구현에서, 안면 이미지 처리 장치는 다양한 정의된 안면 액션들에 대응하는 이미지 처리 방식들을 미리 설정할 수 있고, 안면 이미지 재구성에 의해 사용자의 안면 액션을 획득한 이후, 이미지 처리 모듈(1150)은 대응하는 이미지 처리를 안면 이미지에 수행한다. 예를 들어, 이미지 처리 모듈(1150)이 안면 이미지에 이미지 처리를 수행하는 방식은, 1) 사용자의 안면 액션에 대응하는 미리 설정된 맵을 사용하여 안면 이미지에 매핑을 수행하는 것; 및 2) 사용자의 안면 액션에 대응하는 안면 오브젝트를 결정하고, 사용자의 안면 액션에 대응하는 안면 오브젝트에 대해 대응하는 특수 효과 변형 처리를 수행하는 것을 포함한다.
본 발명의 실시예들은, 실행 가능 프로그램을 저장하는 저장 매체를 추가로 제공하고, 프로세서에 의해 실행될 때, 이러한 실행 가능 프로그램은 본 발명의 실시예들에서 제공되는 안면 이미지 처리 방법, 예를 들어, 도 2, 도 4, 및 도 8 중 어느 하나에 도시되는 안면 이미지 처리 방법을 구현한다. 이러한 저장 매체는 휘발성 RAM(random access memory), ROM(read-only memory), EPROM(erasable programmable read only memory), 플래시 메모리 또는 다른 메모리 기술, CD-ROM(compact disc read-only memory), DVD(digital versatile disc) 또는 다른 액세스되는 매체를 포함한다.
본 발명의 이러한 실시예에서는, 안면 이미지로부터 인식되는 복수의 안면 특징 지점들 사이의 거리들을 계산하는 것에 의해 안면 이미지에서의 사용자의 안면 액션이 결정되고, 사용자의 안면 액션에 따라 안면 이미지에 이미지 처리가 수행되어, 사용자의 상이한 안면 액션들 또는 표정들에 따라 안면 이미지에 동적 처리를 수행한다.
위에 개시되는 것은 단지 본 발명의 실시예들의 예일 뿐이고, 물론 본 개시 내용의 보호 범위를 제한하고자 의도되는 것은 아니다. 따라서, 본 개시 내용의 청구항들에 따라 이루어지는 균등한 변형들은 본 개시 내용의 범위 내에 있을 것이다.

Claims (26)

  1. 안면 이미지 처리 방법으로서,
    안면 이미지들의 복수의 프레임들에 개별적으로 특징 추출을 수행하고, 안면 이미지의 각각의 프레임에서 안면 특징들에 대응하는 복수의 안면 특징 지점들을 획득하는 단계;
    안면 기관에 대응하는 복수의 안면 특징 지점들 사이의 거리들을 계산하는 단계;
    안면 이미지의 각각의 프레임에서 상기 안면 기관의 복수의 안면 특징 지점들 사이의 거리들에 따라 상이한 위치들에 있는 상기 안면 기관의 특징 파라미터들을 결정하는 단계- 상기 특징 파라미터들은 안면 이미지들의 상기 복수의 프레임들 사이에 발생하는 상기 안면 기관의 위치들의 변화들을 표시함 -;
    안면 이미지들의 상기 복수의 프레임들 사이에 발생하는 상기 안면 기관의 위치들의 변화들이 상기 안면 기관이 안면 액션을 형성할 때의 변화들에 대해 미리 설정된 조건을 충족하면, 상기 안면 기관이 상기 안면 이미지에서 상기 안면 액션을 형성한다고 결정하는 단계; 및
    결정된 상기 안면 액션에 따라 상기 안면 이미지에 대해 대응하는 이미지 처리를 수행하는 단계
    를 포함하며,
    상기 안면 특징 지점들은 눈썹 특징 지점들 및 눈 특징 지점들을 포함하고; 안면 이미지의 각각의 프레임에서 상기 안면 기관의 복수의 안면 특징 지점들 사이의 거리들에 따라 상기 특징 파라미터들을 결정하는 단계는, 안면 이미지의 각각의 프레임에서 눈썹 특징 지점과 눈 특징 지점 사이의 거리에 따라, 눈썹과 눈 사이의 간격, 및 안면 이미지들의 상기 복수의 프레임들 사이의 간격의 변화량들을 계산하는 단계를 포함하고;
    상기 눈썹 특징 지점은 눈썹 꼬리들을 포함하고, 상기 눈 특징 지점은 상기 눈썹 꼬리들의 같은 쪽에 있는 눈들의 외측 눈 코너들 및 하부 에지 중심들을 포함하고; 눈썹 특징 지점과 눈 특징 지점 사이의 거리에 따라, 눈썹과 눈 사이의 간격을 계산하는 단계는, 상기 눈썹 꼬리들과 같은 쪽에 있는 상기 눈들의 하부 에지 중심들 사이의 제1 눈썹-눈 간격들을 계산하는 단계; 및 상기 눈썹 꼬리들과 상기 같은 쪽에 있는 외측 눈 코너들 사이의 제2 눈썹-눈 간격들을 계산하는 단계를 포함하며;
    안면 이미지들의 상기 복수의 프레임들 사이에 발생하는 상기 안면 기관의 위치들의 변화들이 상기 안면 기관이 안면 액션을 형성할 때의 변화들에 대해 미리 설정된 조건을 충족하면, 상기 안면 기관이 상기 안면 이미지에서 상기 안면 액션을 형성한다고 결정하는 단계는, 안면 이미지들의 상기 복수의 프레임들에서 상기 제2 눈썹-눈 간격에 대한 상기 제1 눈썹-눈 간격의 비율들의 차이가 제3 미리 설정된 임계값을 초과하면, 안면 이미지들의 상기 복수의 프레임들이 눈썹 올리기 액션을 포함한다고 결정하는 단계를 포함하는 안면 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 안면 이미지 처리 방법은,
    상기 안면 기관에 대응하는 복수의 특징 지점들 사이의 거리들에 따라, 상이한 위치들에 있는 상기 안면 기관의 크기들을 표시하는 특징 파라미터들을 계산하는 단계; 및
    제2 특징 파라미터에 대한 제1 특징 파라미터의 비율이 미리 설정된 임계값 미만이 아니면, 상기 안면 이미지가 상기 안면 기관에 의해 형성되는 안면 액션을 포함한다고 결정하는 단계를 더 포함하는 안면 이미지 처리 방법.
  3. 제2항에 있어서,
    상기 안면 특징 지점들은 복수의 입술 특징 지점들을 더 포함하고;
    상기 안면 기관에 대응하는 복수의 특징 지점들 사이의 거리들에 따라, 상이한 위치들에 있는 상기 안면 기관의 크기들을 표시하는 특징 파라미터들을 계산하는 단계는,
    상기 복수의 입술 특징 지점들 사이의 거리들에 따라 입술 열기 간격 및 입술 두께를 계산하는 단계를 포함하고;
    제2 특징 파라미터에 대한 제1 특징 파라미터의 비율이 미리 설정된 임계값 미만이 아니면, 상기 안면 이미지가 상기 안면 기관에 의해 형성되는 안면 액션을 포함한다고 결정하는 단계는,
    상기 입술 두께에 대한 상기 입술 열기 간격의 비율이 제1 미리 설정된 임계값 미만이 아니면, 상기 안면 이미지가 입 열기 액션을 포함한다고 결정하는 단계를 포함하는 안면 이미지 처리 방법.
  4. 제3항에 있어서,
    상기 복수의 입술 특징 지점들은 윗 입술의 하부 에지 중심과 아랫 입술의 상부 및 하부 에지 중심들을 포함하고,
    상기 복수의 입술 특징 지점들 사이의 거리들에 따라 입술 열기 간격 및 입술 두께를 계산하는 단계는,
    상기 윗 입술의 하부 에지 중심과 상기 아랫 입술의 상부 에지 중심 사이의 거리를, 상기 입술 열기 간격으로서, 계산하는 단계; 및
    상기 아랫 입술의 상부 에지 중심과 하부 에지 중심 사이의 거리를, 상기 입술 두께로서, 계산하는 단계
    를 포함하는 안면 이미지 처리 방법.
  5. 제2항에 있어서,
    상기 안면 특징 지점들은 복수의 입술 특징 지점들을 더 포함하고;
    상기 안면 기관에 대응하는 복수의 특징 지점들 사이의 거리들에 따라, 상이한 위치들에 있는 상기 안면 기관의 크기들을 표시하는 특징 파라미터들을 계산하는 단계는,
    상기 복수의 입술 특징 지점들 사이의 거리들에 따라 입 두께 및 입 폭을 계산하는 단계를 포함하고;
    제2 특징 파라미터에 대한 제1 특징 파라미터의 비율이 미리 설정된 임계값 미만이 아니면, 상기 안면 이미지가 상기 안면 기관에 의해 형성되는 안면 액션을 포함한다고 결정하는 단계는,
    상기 입 폭에 대한 상기 입 두께의 비율이 제2 미리 설정된 임계값 미만이 아니면, 상기 안면 이미지가 키스하기 액션을 포함한다고 결정하는 단계- 상기 제2 미리 설정된 임계값은 1 미만임 -를 포함하는 안면 이미지 처리 방법.
  6. 제5항에 있어서,
    상기 복수의 입술 특징 지점들은 좌측 입 코너, 우측 입 코너, 윗 입술의 상부 에지 중심, 및 아랫 입술의 하부 에지 중심을 포함하고;
    상기 복수의 입술 특징 지점들 사이의 거리들에 따라 입 두께 및 입 폭을 계산하는 단계는,
    상기 윗 입술의 상부 에지 중심과 상기 아랫 입술의 하부 에지 중심 사이의 거리를, 상기 입 두께로서, 계산하는 단계; 및
    좌측 입 코너와 우측 입 코너 사이의 거리를, 상기 입 폭으로서, 계산하는 단계
    를 포함하는 안면 이미지 처리 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 안면 특징 지점들은 눈 특징 지점들을 더 포함하고;
    안면 이미지의 각각의 프레임에서 상기 안면 기관의 복수의 안면 특징 지점들 사이의 거리들에 따라 상이한 위치들에 있는 상기 안면 기관의 특징 파라미터들을 결정하는 단계는,
    안면 이미지의 각각의 프레임에서 복수의 눈 특징 지점들 사이의 거리들에 따라 눈 뜨기 간격을 계산하고, 상기 눈 뜨기 간격에 따라, 상기 안면 이미지가 눈 뜨기 또는 눈 감기를 포함한다고 결정하는 단계를 포함하고;
    안면 이미지들의 상기 복수의 프레임들 사이에 발생하는 상기 안면 기관의 위치들의 변화들이 상기 안면 기관이 안면 액션을 형성할 때의 변화들에 대해 미리 설정된 조건을 충족하면, 상기 안면 기관이 상기 안면 이미지에서 상기 안면 액션을 형성한다고 결정하는 단계는,
    안면 이미지들의 상기 복수의 프레임들에 눈 뜨기 및 눈 감기를 교대로 포함하는 안면 이미지들이 존재하면, 안면 이미지들의 상기 복수의 프레임들이 눈 깜빡이기 액션을 포함한다고 결정하는 단계를 포함하는 안면 이미지 처리 방법.
  11. 제10항에 있어서,
    상기 복수의 눈 특징 지점들은 임의의 같은 쪽에 있는 눈의 상부 및 하부 에지 중심들과 외측 눈 코너를 포함하고;
    복수의 눈 특징 지점들 사이의 거리들에 따라 눈 뜨기 간격을 계산하고, 상기 눈 뜨기 간격에 따라, 상기 안면 이미지가 눈 뜨기 또는 눈 감기를 포함한다고 결정하는 단계는,
    상기 눈의 상부 및 하부 에지 중심들 사이의 거리를, 상기 눈 뜨기 간격으로서, 계산하는 단계;
    상기 눈의 하부 에지 중심과 상기 외측 눈 코너 사이의 거리를, 눈 폭으로서, 계산하는 단계; 및
    상기 안면 이미지에서의 눈 뜨기 간격이 상기 눈 폭의 절반보다 크면, 안면 이미지들의 상기 복수의 프레임들이 눈 뜨기를 포함한다고 결정하는 단계; 그렇지 않으면, 안면 이미지들의 상기 복수의 프레임들이 눈 감기를 포함한다고 결정하는 단계
    를 포함하는 안면 이미지 처리 방법.
  12. 제1항에 있어서,
    상기 안면 특징 지점들은 코 특징 지점 및 안면 에지 특징 지점들을 더 포함하고;
    안면 이미지의 각각의 프레임에서 상기 안면 기관의 복수의 안면 특징 지점들 사이의 거리들에 따라 상이한 위치들에 있는 상기 안면 기관의 특징 파라미터들을 결정하는 단계는,
    상기 코 특징 지점과 양 쪽에 있는 상기 안면 에지 특징 지점들 사이의 거리들에 따라 좌측 안면 폭 및 우측 안면 폭을 계산하는 단계; 및
    상기 좌측 안면 폭 및 상기 우측 안면 폭에 따라, 상기 안면 이미지가 좌측 안면 또는 우측 안면을 포함한다고 결정하는 단계
    를 포함하고;
    안면 이미지들의 상기 복수의 프레임들 사이에 발생하는 상기 안면 기관의 위치들의 변화들이 상기 안면 기관이 안면 액션을 형성할 때의 변화들에 대해 미리 설정된 조건을 충족하면, 상기 안면 기관이 상기 안면 이미지에서 상기 안면 액션을 형성한다고 결정하는 단계는,
    안면 이미지들의 상기 복수의 프레임들에 상기 좌측 안면을 포함하는 안면 이미지 및 상기 우측 안면을 포함하는 안면 이미지가 존재하면, 안면 이미지들의 상기 복수의 프레임들이 머리 떨기 액션을 포함한다고 결정하는 단계를 포함하는 안면 이미지 처리 방법.
  13. 제12항에 있어서,
    상기 코 특징 지점은 코 끝을 포함하고, 상기 안면 에지 특징 지점들은 안면 좌측 외측 에지 중심 및 안면 우측 외측 에지 중심을 포함하고;
    상기 코 특징 지점과 양 쪽에 있는 상기 안면 에지 특징 지점들 사이의 거리들에 따라 좌측 안면 폭 및 우측 안면 폭을 계산하는 단계; 및 상기 좌측 안면 폭 및 상기 우측 안면 폭에 따라, 상기 안면 이미지가 좌측 안면 또는 우측 안면을 포함한다고 결정하는 단계는,
    상기 코 끝과 상기 안면 좌측 외측 에지 중심 사이의 거리를 좌측 안면 폭으로서 계산하는 단계;
    상기 코 끝과 상기 안면 우측 외측 에지 중심 사이의 거리를 우측 안면 폭으로 계산하는 단계; 및
    상기 안면 이미지에서 상기 우측 안면 폭에 대한 상기 좌측 안면 폭의 비율이 제4 미리 설정된 임계값 미만이면, 상기 안면 이미지가 상기 우측 안면을 포함한다고 결정하고, 상기 비율이 상기 제4 미리 설정된 임계값보다 크면, 상기 안면 이미지가 좌측 안면을 포함한다고 결정하는 단계- 상기 제4 미리 설정된 임계값은 1 미만임 -
    를 포함하는 안면 이미지 처리 방법.
  14. 제1항에 있어서,
    안면 이미지들의 상기 복수의 프레임들은 지정된 시간 길이에서 연속적으로 캡처되는 안면 이미지들인 안면 이미지 처리 방법.
  15. 제1항 내지 제6항 및 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 안면 기관에 의해 형성되는 안면 액션에 대응하는 맵을 상기 안면 이미지의 상단에 위치되는 맵 레이어에 추가하는 단계; 및
    상기 안면 기관에 대해 대응하는 특수 효과 변형 처리를 수행하는 단계
    중 적어도 하나를 추가로 포함하는 안면 이미지 처리 방법.
  16. 안면 이미지 처리 장치로서,
    안면 이미지들의 복수의 프레임들에 개별적으로 특징 추출을 수행하도록, 그리고 안면 이미지의 각각의 프레임에서 안면 특징들에 대응하는 복수의 안면 특징 지점들을 획득하도록 구성되는 안면 특징 추출 모듈; 및
    안면 기관에 대응하는 복수의 안면 특징 지점들 사이의 거리들을 계산하도록 구성되는 안면 액션 분석 모듈
    을 포함하고,
    상기 안면 액션 분석 모듈은 구체적으로, 안면 이미지의 각각의 프레임에서 상기 안면 기관의 복수의 안면 특징 지점들 사이의 거리들에 따라 특징 파라미터들을 결정하도록 구성되고- 상기 특징 파라미터들은 안면 이미지들의 상기 복수의 프레임들 사이에 발생하는 상기 안면 기관의 위치들의 변화들을 표시함 -;
    상기 안면 액션 분석 모듈은 구체적으로, 안면 이미지들의 상기 복수의 프레임들 사이에 발생하는 상기 안면 기관의 위치들의 변화들이 상기 안면 기관이 안면 액션을 형성할 때의 변화들에 대해 미리 설정된 조건을 충족하면, 상기 안면 기관이 상기 안면 이미지에서 상기 안면 액션을 형성한다고 결정하고, 결정된 상기 안면 액션에 따라 상기 안면 이미지에 대해 대응하는 이미지 처리를 수행하도록 구성되며;
    상기 복수의 안면 특징 지점들은 눈썹 특징 지점들 및 눈 특징 지점들을 포함하고; 상기 안면 액션 분석 모듈은,
    눈썹 특징 지점과 눈 특징 지점 사이의 거리에 따라, 눈썹과 눈 사이의 간격, 및 안면 이미지들의 상기 복수의 프레임들 사이의 간격의 변화량들을 계산하도록 구성되는 특징 데이터 계산 유닛; 및 안면 이미지들의 상기 복수의 프레임들에서 상기 눈썹과 상기 눈 사이의 간격의 변화량들이 제3 미리 설정된 임계값을 초과하면, 안면 이미지들의 상기 복수의 프레임들이 눈썹 올리기 액션을 포함한다고 결정하도록 구성되는 액션 분석 유닛을 포함하며;
    상기 눈썹 특징 지점은 눈썹 꼬리들을 포함하고, 상기 눈 특징 지점은 상기 눈썹 꼬리들의 같은 쪽에 있는 눈들의 외측 눈 코너들 및 하부 에지 중심들을 포함하고; 상기 액션 분석 유닛은 구체적으로 상기 눈썹 꼬리들과 같은 쪽에 있는 상기 눈들의 하부 에지 중심들 사이의 제1 눈썹-눈 간격들을 계산하고; 및 상기 눈썹 꼬리들과 상기 같은 쪽에 있는 외측 눈 코너들 사이의 제2 눈썹-눈 간격들을 계산하도록 구성되며,
    상기 안면 액션 분석 모듈은 구체적으로 안면 이미지들의 상기 복수의 프레임들에서 상기 제2 눈썹-눈 간격에 대한 상기 제1 눈썹-눈 간격의 비율들의 차이가 제3 미리 설정된 임계값을 초과하면, 안면 이미지들의 상기 복수의 프레임들이 눈썹 올리기 액션을 포함한다고 결정하도록 구성되는 안면 이미지 처리 장치.
  17. 제16항에 있어서,
    상기 안면 액션 분석 모듈은 구체적으로, 상기 안면 기관에 대응하는 복수의 특징 지점들 사이의 거리들에 따라, 상이한 위치들에 있는 상기 안면 기관의 크기들을 표시하는 특징 파라미터들을 계산하도록 구성되고;
    상기 안면 액션 분석 모듈은 구체적으로, 제2 특징 파라미터에 대한 제1 특징 파라미터의 비율이 미리 설정된 임계값 미만이 아니면, 상기 안면 이미지가 상기 안면 기관에 의해 형성되는 안면 액션을 포함한다고 결정하도록 구성되는 안면 이미지 처리 장치.
  18. 제17항에 있어서,
    상기 안면 특징 지점들은 복수의 입술 특징 지점들을 더 포함하고;
    상기 안면 액션 분석 모듈은,
    상기 복수의 입술 특징 지점들 사이의 거리들에 따라 입술 열기 간격 및 입술 두께를 계산하도록 구성되는 특징 데이터 계산 유닛; 및
    상기 입술 두께에 대한 상기 입술 열기 간격의 비율이 제1 미리 설정된 임계값 미만이 아니면, 상기 안면 이미지가 입 열기 액션을 포함한다고 결정하도록 구성되는 액션 분석 유닛
    을 포함하는 안면 이미지 처리 장치.
  19. 제18항에 있어서,
    상기 안면 특징 지점들은 복수의 입술 특징 지점들을 더 포함하고;
    상기 안면 액션 분석 모듈은,
    상기 복수의 입술 특징 지점들 사이의 거리들에 따라 입 두께 및 입 폭을 계산하도록 구성되는 특징 데이터 계산 유닛; 및
    상기 입 폭에 대한 상기 입 두께의 비율이 제2 미리 설정된 임계값 미만이 아니면, 상기 안면 이미지가 키스하기 액션을 포함한다고 결정하도록 구성되는 액션 분석 유닛- 상기 제2 미리 설정된 임계값은 1 미만임 -
    을 포함하는 안면 이미지 처리 장치.
  20. 삭제
  21. 삭제
  22. 제16항에 있어서,
    상기 복수의 안면 특징 지점들은 눈 특징 지점들을 더 포함하고;
    상기 안면 액션 분석 모듈은,
    복수의 눈 특징 지점들 사이의 거리들에 따라 눈 뜨기 간격을 계산하도록 구성되는 특징 데이터 계산 유닛; 및
    안면 이미지의 각각의 프레임에서의 상기 눈 뜨기 간격에 따라, 상기 안면 이미지가 눈 뜨기 또는 눈 감기를 포함한다고 결정하도록; 그리고 안면 이미지들의 상기 복수의 프레임들에 눈 뜨기 및 눈 감기를 교대로 포함하는 안면 이미지들이 존재하면, 안면 이미지들의 상기 복수의 프레임들이 눈 깜빡이기 액션을 포함한다고 결정하도록 구성되는 액션 분석 유닛
    을 포함하는 안면 이미지 처리 장치.
  23. 제16항에 있어서,
    상기 복수의 안면 특징 지점들은 코 특징 지점 및 안면 에지 특징 지점들을 더 포함하고;
    상기 안면 액션 분석 모듈은,
    상기 코 특징 지점과 양 쪽에 있는 상기 안면 에지 특징 지점들 사이의 거리들에 따라 좌측 안면 폭 및 우측 안면 폭을 개별적으로 계산하도록 구성되는 특징 데이터 계산 유닛; 및
    상기 좌측 안면 폭 및 상기 우측 안면 폭에 따라, 상기 안면 이미지가 좌측 안면 또는 우측 안면을 포함한다고 결정하도록; 그리고 상기 좌측 안면을 포함하는 안면 이미지 및 상기 우측 안면을 포함하는 안면 이미지가 존재하면, 안면 이미지들의 상기 복수의 프레임들이 머리 떨기 액션을 포함한다고 결정하도록 구성되는 액션 분석 유닛
    을 포함하는 안면 이미지 처리 장치.
  24. 제16항 내지 제19항, 제22항 및 제23항 중 어느 한 항에 있어서,
    상기 안면 기관에 의해 형성되는 안면 액션에 대응하는 맵을 상기 안면 이미지의 상단에 위치되는 맵 레이어에 추가하는 것; 및
    상기 안면 기관에 대해 대응하는 특수 효과 변형 처리를 수행하는 것
    중 적어도 하나를 수행하도록 구성되는 이미지 처리 모듈을 추가로 포함하는 안면 이미지 처리 장치.
  25. 안면 이미지 처리 장치로서,
    실행 가능 프로그램을 저장하도록 구성되는 메모리;
    상기 메모리에 저장되는 상기 실행 가능 프로그램을 실행하는 것에 의해, 제1항 내지 제6항 및 제10항 내지 제14항 중 어느 한 항에 따른 이미지 처리 방법을 구현하도록 구성되는 프로세서
    를 포함하는 안면 이미지 처리 장치.
  26. 실행 가능 프로그램을 저장하는 저장 매체로서,
    프로세서에 의해 실행될 때, 상기 실행 가능 프로그램은, 제1항 내지 제6항 및 제10항 내지 제14항 중 어느 한 항에 따른 이미지 처리 방법을 구현하는 저장 매체.
KR1020187012907A 2016-05-04 2017-05-02 안면 이미지 처리 방법 및 장치, 및 저장 매체 KR102045695B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610293280.9 2016-05-04
CN201610293280.9A CN105975935B (zh) 2016-05-04 2016-05-04 一种人脸图像处理方法和装置
PCT/CN2017/082776 WO2017190646A1 (zh) 2016-05-04 2017-05-02 一种人脸图像处理方法和装置、存储介质

Publications (2)

Publication Number Publication Date
KR20180066160A KR20180066160A (ko) 2018-06-18
KR102045695B1 true KR102045695B1 (ko) 2019-11-15

Family

ID=56992590

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187012907A KR102045695B1 (ko) 2016-05-04 2017-05-02 안면 이미지 처리 방법 및 장치, 및 저장 매체

Country Status (6)

Country Link
US (1) US10783354B2 (ko)
EP (1) EP3454250B1 (ko)
JP (1) JP6636154B2 (ko)
KR (1) KR102045695B1 (ko)
CN (1) CN105975935B (ko)
WO (1) WO2017190646A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102293108B1 (ko) 2020-11-23 2021-08-25 주식회사 알리아스 화장자의 영상 이미지 추출 및 얼굴 투영 시스템

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975935B (zh) * 2016-05-04 2019-06-25 腾讯科技（深圳）有限公司 一种人脸图像处理方法和装置
CN108108651B (zh) * 2016-11-25 2022-02-11 广东亿迅科技有限公司 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
CN107045744A (zh) * 2017-04-14 2017-08-15 特斯联（北京）科技有限公司 一种智能别墅门禁认证方法及系统
CN107679449B (zh) * 2017-08-17 2018-08-03 平安科技（深圳）有限公司 嘴唇动作捕捉方法、装置及存储介质
CN107633205B (zh) * 2017-08-17 2019-01-18 平安科技（深圳）有限公司 嘴唇动作分析方法、装置及存储介质
CN107707839A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法及装置
CN108008815B (zh) * 2017-11-30 2021-05-25 永目堂股份有限公司 基于眼睛状态识别技术的人机交互方法
CN107909055A (zh) * 2017-11-30 2018-04-13 西安科锐盛创新科技有限公司 眼睛状态检测方法
CN108205822B (zh) * 2017-12-13 2020-09-08 中兴通讯股份有限公司 贴图方法及装置
CN108259496B (zh) 2018-01-19 2021-06-04 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备
CN108280883B (zh) * 2018-02-07 2021-05-04 北京市商汤科技开发有限公司 变形特效程序文件包的生成及变形特效生成方法与装置
CN108388434B (zh) * 2018-02-08 2021-03-02 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备
CN108446658A (zh) * 2018-03-28 2018-08-24 百度在线网络技术（北京）有限公司 用于识别人脸图像的方法和装置
CN108259768B (zh) * 2018-03-30 2020-08-04 Oppo广东移动通信有限公司 图像的选取方法、装置、存储介质及电子设备
CN110753931A (zh) * 2018-04-25 2020-02-04 北京嘀嘀无限科技发展有限公司 基于面部特征点的点头动作识别的系统和方法
CN111033508B (zh) * 2018-04-25 2020-11-20 北京嘀嘀无限科技发展有限公司 一种识别身体运动的系统和方法
CN113658298A (zh) * 2018-05-02 2021-11-16 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置
CN108986227B (zh) * 2018-06-28 2022-11-29 北京市商汤科技开发有限公司 粒子特效程序文件包的生成及粒子特效生成方法与装置
CN109035373B (zh) * 2018-06-28 2022-02-01 北京市商汤科技开发有限公司 三维特效程序文件包的生成及三维特效生成方法与装置
CN108921143A (zh) * 2018-08-22 2018-11-30 北京慕华信息科技有限公司 一种面部仪态的评估方法及装置
CN109034117B (zh) * 2018-08-22 2020-11-17 北京慕华信息科技有限公司 一种视频提取方法及装置
CN110956061B (zh) * 2018-09-27 2024-04-16 北京市商汤科技开发有限公司 动作识别方法及装置、驾驶员状态分析方法及装置
CN111091028A (zh) * 2018-10-23 2020-05-01 北京嘀嘀无限科技发展有限公司 摇头动作识别方法、装置及存储介质
CN109395387B (zh) * 2018-12-07 2022-05-20 腾讯科技（深圳）有限公司 三维模型的显示方法、装置、存储介质及电子装置
CN109547696B (zh) * 2018-12-12 2021-07-30 维沃移动通信（杭州）有限公司 一种拍摄方法及终端设备
CN109803165A (zh) * 2019-02-01 2019-05-24 北京达佳互联信息技术有限公司 视频处理的方法、装置、终端及存储介质
CN109885231B (zh) * 2019-02-27 2021-07-02 北京市商汤科技开发有限公司 显示方法及装置、电子设备及存储介质
CN111725185A (zh) * 2019-03-04 2020-09-29 苏州多感科技有限公司 图像传感器及其制备方法、图像识别方法、电子设备
CN109934766B (zh) * 2019-03-06 2021-11-30 北京市商汤科技开发有限公司 一种图像处理方法及装置
CN110069996A (zh) * 2019-03-22 2019-07-30 北京字节跳动网络技术有限公司 头部动作识别方法、装置和电子设备
CN109977868A (zh) * 2019-03-26 2019-07-05 深圳市商汤科技有限公司 图像渲染方法及装置、电子设备和存储介质
CN109859299B (zh) * 2019-03-27 2020-12-22 腾讯科技（深圳）有限公司 人像图片处理方法、装置、计算机可读存储介质和计算机设备
CN110188712B (zh) * 2019-06-03 2021-10-12 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
JP7353556B2 (ja) * 2019-12-26 2023-10-02 サンスター株式会社 咀嚼支援システム
CN111242090B (zh) * 2020-01-22 2023-06-23 腾讯科技（深圳）有限公司 基于人工智能的人脸识别方法、装置、设备及介质
TWI736116B (zh) * 2020-01-22 2021-08-11 中國醫藥大學 臉部特徵長度量測方法及其裝置
CN111340688B (zh) * 2020-02-24 2023-08-11 网易（杭州）网络有限公司 一种闭眼图像的生成方法和装置
KR102539135B1 (ko) * 2020-06-10 2023-06-01 재단법인대구경북과학기술원 안면 마스크 제어 모듈 및 광 조사 시스템
CN111832512A (zh) * 2020-07-21 2020-10-27 虎博网络技术(上海)有限公司 表情检测方法和装置
CN112926539A (zh) * 2021-04-07 2021-06-08 北京字跳网络技术有限公司 图像处理方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369214A (zh) * 2012-03-30 2013-10-23 华晶科技股份有限公司 图像获取方法与图像获取装置
WO2015139231A1 (en) * 2014-03-19 2015-09-24 Intel Corporation Facial expression and/or interaction driven avatar apparatus and method

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002031772A2 (en) * 2000-10-13 2002-04-18 Erdem Tanju A Method for tracking motion of a face
EP2955662B1 (en) * 2003-07-18 2018-04-04 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
US8965762B2 (en) * 2007-02-16 2015-02-24 Industrial Technology Research Institute Bimodal emotion recognition method and system utilizing a support vector machine
TWI365416B (en) * 2007-02-16 2012-06-01 Ind Tech Res Inst Method of emotion recognition and learning new identification information
JP5219184B2 (ja) * 2007-04-24 2013-06-26 任天堂株式会社 トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法
JP4999570B2 (ja) * 2007-06-18 2012-08-15 キヤノン株式会社 表情認識装置及び方法、並びに撮像装置
US8170298B2 (en) * 2008-05-16 2012-05-01 Arcsoft, Inc. Method for detecting facial expression and repairing smile face of portrait photo
JP2010027035A (ja) * 2008-06-16 2010-02-04 Canon Inc 個人認証装置及び個人認証方法
JP2010086178A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 画像合成装置およびその制御方法
JP5106355B2 (ja) * 2008-11-13 2012-12-26 キヤノン株式会社 表情判定装置、その制御方法、撮像装置及びプログラム
JP4788786B2 (ja) * 2009-02-09 2011-10-05 株式会社デンソー 眠気検出装置，プログラムおよび眠気検出方法
KR100954835B1 (ko) * 2009-08-04 2010-04-30 주식회사 크라스아이디 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
JP2011192008A (ja) * 2010-03-15 2011-09-29 Zeta Bridge Corp 画像処理システムおよび画像処理方法
TWI447658B (zh) * 2010-03-24 2014-08-01 Ind Tech Res Inst 人臉影像擷取方法與裝置
CN102831382A (zh) * 2011-06-15 2012-12-19 北京三星通信技术研究有限公司 人脸跟踪设备和方法
JP5894426B2 (ja) * 2011-12-13 2016-03-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法
CN103778360A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种基于动作分析的人脸解锁的方法和装置
JP6148064B2 (ja) * 2013-04-30 2017-06-14 セコム株式会社 顔認証システム
KR101571241B1 (ko) * 2014-04-23 2015-11-23 한국 한의학 연구원 안면 표현형 결정 장치 및 방법
WO2015186401A1 (ja) * 2014-06-06 2015-12-10 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法及び画像処理プログラム
US9830728B2 (en) * 2014-12-23 2017-11-28 Intel Corporation Augmented facial animation
CN105205457A (zh) * 2015-09-10 2015-12-30 上海卓易科技股份有限公司 一种基于人脸识别的信息获取系统及方法
CN105975935B (zh) * 2016-05-04 2019-06-25 腾讯科技（深圳）有限公司 一种人脸图像处理方法和装置
CN109697688B (zh) * 2017-10-20 2023-08-04 虹软科技股份有限公司 一种用于图像处理的方法和装置
JP6888542B2 (ja) * 2017-12-22 2021-06-16 トヨタ自動車株式会社 眠気推定装置及び眠気推定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369214A (zh) * 2012-03-30 2013-10-23 华晶科技股份有限公司 图像获取方法与图像获取装置
WO2015139231A1 (en) * 2014-03-19 2015-09-24 Intel Corporation Facial expression and/or interaction driven avatar apparatus and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102293108B1 (ko) 2020-11-23 2021-08-25 주식회사 알리아스 화장자의 영상 이미지 추출 및 얼굴 투영 시스템

Also Published As

Publication number Publication date
CN105975935A (zh) 2016-09-28
US10783354B2 (en) 2020-09-22
EP3454250A1 (en) 2019-03-13
KR20180066160A (ko) 2018-06-18
EP3454250A4 (en) 2020-02-26
WO2017190646A1 (zh) 2017-11-09
EP3454250B1 (en) 2024-01-03
JP6636154B2 (ja) 2020-01-29
JP2019504386A (ja) 2019-02-14
US20180232561A1 (en) 2018-08-16
CN105975935B (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
KR102045695B1 (ko) 안면 이미지 처리 방법 및 장치, 및 저장 매체
US11043011B2 (en) Image processing method, apparatus, terminal, and storage medium for fusing images of two objects
CN109325988B (zh) 一种面部表情合成方法、装置及电子设备
WO2018103220A1 (zh) 一种图像处理的方法及装置
CN103839250B (zh) 用于面部图像处理的方法和设备
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
CN108463823B (zh) 一种用户头发模型的重建方法、装置及终端
WO2022078041A1 (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN105184249A (zh) 用于人脸图像处理的方法和装置
CN109801380A (zh) 一种虚拟试衣的方法、装置、存储介质及计算机设备
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
US9239963B2 (en) Image processing device and method for comparing feature quantities of an object in images
CN114283052A (zh) 妆容迁移及妆容迁移网络的训练方法和装置
CN111738050A (zh) 用于处理图像的方法及电子设备
US9323981B2 (en) Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored
CN111652792B (zh) 图像的局部处理、直播方法、装置、设备和存储介质
US20220207917A1 (en) Facial expression image processing method and apparatus, and electronic device
CN114155569B (zh) 一种化妆进度检测方法、装置、设备及存储介质
JP6467817B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR20200071008A (ko) 2차원 이미지 처리 방법 및 이 방법을 실행하는 디바이스
JP2021064043A (ja) 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
KR102488627B1 (ko) 피포페인팅 이미지 자동변환방법 및 이를 이용한 피포페인팅 이미지 자동변환 시스템
WO2024029600A1 (ja) 肌状態推定方法
Lin et al. Automatic image cropping based on bottom-up saliency and top-down semantics
Schneider et al. Photo-Realistic Exemplar-Based Face Ageing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant