KR101787255B1 - 랜드마크의 거리의 비율에 기반한 표정 인식 방법 - Google Patents

랜드마크의 거리의 비율에 기반한 표정 인식 방법 Download PDF

Info

Publication number
KR101787255B1
KR101787255B1 KR1020160057470A KR20160057470A KR101787255B1 KR 101787255 B1 KR101787255 B1 KR 101787255B1 KR 1020160057470 A KR1020160057470 A KR 1020160057470A KR 20160057470 A KR20160057470 A KR 20160057470A KR 101787255 B1 KR101787255 B1 KR 101787255B1
Authority
KR
South Korea
Prior art keywords
distance
ratio
straight line
landmarks
landmark
Prior art date
Application number
KR1020160057470A
Other languages
English (en)
Inventor
강제원
현가영
이하연
강민주
이지은
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020160057470A priority Critical patent/KR101787255B1/ko
Application granted granted Critical
Publication of KR101787255B1 publication Critical patent/KR101787255B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/00248—
    • G06K9/00268—
    • G06K9/6215—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

랜드마크의 거리의 비율에 기반한 표정 인식 방법은 얼굴이 포함된 영상을 수신하는 단계, 컴퓨터 장치가 상기 영상에서 복수의 랜드 마크의 위치를 결정하는 단계, 상기 컴퓨터 장치가 상기 복수의 랜드 마크 중 4개의 랜드 마크의 위치로 표현되는 2개의 직선에 대한 거리 비율인 특징값을 연산하는 단계 및 상기 컴퓨터 장치가 상기 특징값을 기준으로 상기 얼굴의 표정을 추정하는 단계를 포함한다.

Description

랜드마크의 거리의 비율에 기반한 표정 인식 방법{FACIAL EXPRESSION RECOGNITION METHOD BASED ON RATIO OF FACIAL LADNMARK'S DISTANCE}
이하 설명하는 기술은 영상을 이용한 표정 인식 기법에 관한 것이다.
영상을 이용한 표정 인식은 다양한 분야에서 주목받고 있다. 표정인식은 인간-컴퓨터 인터페이스 기술, 마켓팅 분야에서 감정 인식 등에 이용될 수 있다. 표정 인식은 일반적으로 영상에 나타난 얼굴 특징점을 추출하고, 추출한 특징점을 표정 인식을 위한 모델에 적용하여 수행된다.
한국공개특허 제10-2013-0015958호
이하 설명하는 기술은 복수의 랜드 마크 사이의 거리에 대한 비율이라는 새로운 특징점을 이용하는 표정 인식 기법을 제공하고자 한다.
랜드마크의 거리의 비율에 기반한 표정 인식 방법은 얼굴이 포함된 영상을 수신하는 단계, 컴퓨터 장치가 상기 영상에서 복수의 랜드 마크의 위치를 결정하는 단계, 상기 컴퓨터 장치가 상기 복수의 랜드 마크 중 4개의 랜드 마크의 위치로 표현되는 2개의 직선에 대한 거리 비율인 특징값을 연산하는 단계 및 상기 컴퓨터 장치가 상기 특징값을 기준으로 상기 얼굴의 표정을 추정하는 단계를 포함한다.
이하 설명하는 기술은 랜드 마크의 거리 비율이라는 기준으로 보다 정확한 표정 인식을 수행할 수 있다.
도 1은 표정 인식을 위한 장치의 구성을 도시한 예이다.
도 2는 랜드마크의 거리의 비율에 기반한 표정 인식 방법에 대한 순서도의 예이다.
도 3은 얼굴 영역에서 추출되는 랜드 마크에 대한 예이다.
도 4는 랜드 마크를 이용하여 특정되는 특징값에 대한 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하 설명하는 기술은 영상에 포함된 얼굴의 표정을 인식하는 기법에 관한 것이다. 도 1은 표정 인식을 위한 장치의 구성을 도시한 예이다. 도 1은 두 가지 종류의 장치를 도시하였다.
도 1(a)는 유선망을 통해 전달되는 영상 데이터를 이용하여 표정을 인식하는 장치(100)에 대한 예이다. 표정을 인식하는 장치(100)는 카메라(110)와 영상을 분석하는 컴퓨터 장치(120)를 포함한다. 먼저 표정 인식을 위해서 얼굴이 포함된 영상을 획득해야 한다. 카메라(110)는 피사체의 얼굴이 포함된 영상을 획득한다. 컴퓨터 장치(120)는 카메라(110)가 획득한 영상을 분석하여 표정을 인식할 수 있다. 컴퓨터 장치(120)는 유선 또는 무선망을 통해 실시간으로 카메라(110)가 획득한 영상을 수신할 수 있다. 이때 컴퓨터 장치(120)는 표정 인식을 인터페이스로 사용하는 가전 기기, PC, 게임 콘솔 등과 같은 장치일 수 있다.
한편 컴퓨터 장치(120)는 저장 매체(USB, SD 카드 등)에 저장된 영상 데이터를 분석할 수도 있다. 예컨대, 보안 시스템에서 후발적으로 영상에 포함된 인물을 분석하기 위하여 획득한 영상을 분석할 수 있다.
도 1(b)는 무선망을 통해 전달되는 영상 데이터를 이용하여 표정을 인식하는 장치(200)에 대한 에이다. 표정을 인식하는 장치(200)는 카메라(210) 및 분석 서버(220)를 포함한다. 나아가 표정을 인식하는 장치(200)는 영상 데이터를 저장하는 데이터베이스(230)를 포함할 수도 있다.
카메라(210)는 피사체의 얼굴이 포함된 영상을 획득한다. 카메라(210)는 스마트폰과 같은 휴대 단말일 수도 있다. 분석 서버(220)는 무선으로 전송되는 영상 데이터를 수신한다. 분석 서버(220)는 영상 데이터를 분석하여 표정을 인식할 수 있다. 분석 서버(20)는 영상 데이터를 사전에 저장하고 있는 데이터베이스(230)로부터 영상 데이터를 수신할 수도 있다.
이하 컴퓨터 장치가 표정 인식을 수행한다고 가정한다. 이하 컴퓨터 장치는 CPU 등과 같은 프로세서를 이용하여 영상을 분석하는 장치를 의미한다. 컴퓨터 장치는 전술한 컴퓨터 장치(120) 및/또는 분석 서버(220)를 포함하는 장치이다.
도 2는 랜드마크의 거리의 비율에 기반한 표정 인식 방법(300)에 대한 순서도의 예이다. 컴퓨터 장치는 얼굴이 포함된 영상을 먼저 획득한다(310). 컴퓨터 장치는 카메라로부터 실시간으로 영상을 획득할 수도 있고, 저장 장치에 저장된 영상을 불러올 수도 있다.
컴퓨터 장치는 영상에서 얼굴 영역을 추출한다(320). 영상에서 얼굴 영역을 추출하는 다양한 기법이 존재한다. 예컨대, 컴퓨터 장치는 아다부스트(adaboost) 알고리즘을 사용하여 영상에서 얼굴 영역을 추출할 수 있다.
컴퓨터 장치는 얼굴 영역에서 랜드 마크(landmark)를 추출한다(330). 랜드 마크는 얼굴 영역에서의 특정 지점을 의미한다. 랜드 마크는 얼굴 골격의 움직임을 확인할 수 있는 복수의 지점을 의미한다. 도 3은 얼굴 영역에서 추출되는 랜드 마크에 대한 예이다. 도 3에서는 모두 68(일련 번호로 표시함) 개의 랜드 마크를 표시하였다. 물론 도 3과 다른 개수 또는 다른 지점의 랜드 마크를 사용할 수도 있을 것이다. 랜드 마크 추출도 아다부스트 알고리즘과 같은 학습 알고리즘을 이용할 수 있다.
컴퓨터 장치는 복수의 랜드 마크를 기준으로 특징값을 연산한다(340). 특징값은 표정 인식을 위한 기준이 되는 값이다. 컴퓨터 장치는 복수의 랜드 마크 중 2쌍의 랜드 마크로 표현되는 2개의 직선에 대한 거리 비율을 특징값으로 연산한다.
얼굴 영역에서 각 랜드 마크는 특정 위치(좌표)로 특정될 수 있다. 예컨대, 랜드 마크는 좌표 값 (xn, yn)을 가질 수 있다. 컴퓨터 장치는 랜드마크들의 직선거리를 비율로 계산하여 특징값을 연산할 수 있다.
2개의 직선은 4개의 랜드마크로 특정할 수 있다. 4개의 랜드마크는 pn1 (xn1, yn1), pn2 (xn2, yn2), pn3 (xn3, yn3), pn4 (xn4, yn4)로 정의할 수 있다. 컴퓨터 장치는 (pn1, pn2)으로 표현되는 제1 직선의 길이와 (pn3, pn4)으로 표현되는 제2 직선의 길이의 비율을 특징값으로 연산한다.
특징값의 집합 Z={z1,z2,…,zi}라고 할 수 있다. i는 자연수이다. 이때 각 특징값은 아래의 수학식 1과 같이 표현할 수 있다.
Figure 112016044829244-pat00001
도 4는 랜드 마크를 이용하여 특정되는 특징값에 대한 예이다. 도 4는 9개의 특징값의 예를 도시한다. 도 4에서 특징값은 도 3에 표시한 랜드 마크를 기준으로 표시하였다. 순서대로 설명한다.
z1은 입에서 치아가 드러난 영역의 상하 길이와 좌우 길이의 거리 비율에 해당한다. z1은 아래 치아와 윗 치아 사이의 직선(치아가 드러난 영역 전체의 길이)인 제1 직선과 윗 치아의 좌우 길이에 해당하는 제2 직선의 거리 비율에 해당한다. 4개의 랜드 마크는 각각 pn1 (xn1,yn1 )= p60 (x60,y60 ), pn2 (xn2,yn2)= p64 (x64,y64), pn3 (xn3,yn3 )= p66 (x66,y66) 및 pn4 (xn4,yn4)= p62 (x62,y62)이다.
z2는 눈의 상하 길이와 좌우 길이의 거리 비율에 해당한다. z2는 눈꼬리를 연결하는 제1 직선과 눈의 상하 방향을 연결하는 제2 직선의 거리 비율에 해당한다. 도 4를 살펴보면 눈의 상하 방향의 길이에 해당하는 제2 직선은 눈의 중심이 아니고, 눈의 외곽을 검출하는 지점을 연결한 것이다. 물론 눈의 중심에 해당하는 지점을 연결한 직선을 사용할 수도 있을 것이다. 4개의 랜드 마크는 각각 pn1 (xn1,yn1)= p36 (x36,y36), pn2 (xn2,yn2)= p39 (x39,y39), pn3 (xn3,yn3)= p37 (x37,y37) 및 pn4 (xn4,yn4)= p41 (x41,y41)이다.
z3은 눈썹 끝의 좌우를 연결하는 제1 직선과 눈썹과 안쪽 눈꼬리를 연결하는 제2 직선의 거리 비율에 해당한다. 4개의 랜드 마크는 각각 pn1 (xn1,yn1)= p60 (x60,y60), pn2 (xn2,yn2)= p64 (x64,y64), pn3 (xn3,yn3)= p66 (x66,y66) 및 pn4 (xn4,yn4)= p62 (x62,y62)이다.
z4는 입에서 치아가 드러난 영역에서 위쪽 치아의 가운데 지점(기준점)과 치아 영역의 좌우 길이에 해당하는 직선의 중심을 연결하는 제1 직선과 기준점과 치아 영역의 상하 길이에 해당하는 직선의 중심을 연결하는 제2 직선의 거리 비율에 해당한다. 4개의 랜드 마크는 각각 pn1 (xn1,yn1)= p60 ((x60-x64)/2,(y60-y64)/2), pn2 (xn2,yn2)= p62 (x62,y62), pn3 (xn3,yn3)= p66 ((x66-x62)/2,(y66-y62)/2) 및 pn4 (xn4,yn4)= p62 (x62,y62)이다.
z5는 양쪽 눈썹의 안쪽 끝부분을 연결하는 제1 직선과 양쪽 눈의 안쪽 눈꼬리를 연결하는 제2 직선의 거리 비율에 해당한다. 4개의 랜드 마크는 각각 pn1 (xn1,yn1)= p21 (x21,y21), pn2 (xn2,yn2)= p22 (x22,y22), pn3 (xn3,yn3)= p39 (x39,y39) 및 pn4 (xn4,yn4)= p42 (x42,y42)이다.
z6은 인중에서 연결되는 코의 하단부 중심점(기준점)과 입꼬리를 연결하는 제1 직선과 윗입술의 중심과 기준점을 연결하는 제2 직선의 거리 비율에 해당한다.
4개의 랜드 마크는 각각 pn1 (xn1,yn1)= p33 (x33,y33), pn2 (xn2,yn2)= p51 (x51,y51), pn3 (xn3,yn3)= p33 (x33,y33) 및 pn4 (xn4,yn4)= p48 (x48,y48)이다.
z7은 양쪽 입꼬리를 연결하는 제1 직선과 양쪽 콧구멍 사이의 길이에 해당하는 제2 직선의 거리 비율에 해당한다. 4개의 랜드 마크는 각각 pn1 (xn1,yn1)= p48 (x48,y48), pn2 (xn2,yn2)= p54 (x54,y54), pn3 (xn3,yn3)= p31 (x31,y31) 및 pn4 (xn4,yn4)= p35 (x35,y35)이다.
z8은 양쪽 콧구멍 사이의 길이에 해당하는 제1 직선과 콧대를 나타내는 제2 직선의 거리 비율에 해당한다. 4개의 랜드 마크는 각각 pn1 (xn1,yn1)= p31 (x31,y31), pn2 (xn2,yn2)= p35 (x35,y35), pn3 (xn3,yn3)= p27 (x27,y27) 및 pn4 (xn4,yn4)= p30 (x30,y30)이다.
z9는 한쪽 입꼬리와 눈 부위(눈의 중심 또는 랜드 마크 중 눈의 영역을 구성하는 어느 하나의 지점)를 연결하는 제1 직선과 윗입술의 중심과 눈 부위를 연결하는 제2 직선의 거리 비율에 해당한다. 4개의 랜드 마크는 각각 pn1 (xn1,yn1)= p37 (x37,y37), pn2 (xn2,yn2)= p51 (x51,y51), pn3 (xn3,yn3)= p37 (x37,y37) 및 pn4 (xn4,yn4)= p48 (x48,y48)이다.
도 4는 도 3에 표시한 복수의 랜드 마크 중 4개의 랜드 마크가 구성하는 2개의 직선의 거리 비율에 대한 하나의 예이다. 특징값은 도 4에 도시한 것외에 다른 값이 사용될 수도 있다.
특징값을 구성하는 하나의 랜드 마크(제1 랜드 마크)는 표정 변화에 따라 위치 변화가 비교적 큰 지점을 선택하고, 제1 랜드 마크와 직선을 구성하는 다른 랜드 마크(제2 랜드 마크)는 표정 변화에 따라 위치 변화가 비교적 작은 지점을 선택할 수 있다. 예컨대, 제1 랜드 마크는 입 꼬리를 선택하고, 제2 랜드 마크는 표정에 따라 위치 변화가 크지 않은 눈 부위 또는 코의 하단부를 선택할 수 있다.
도 2에 대한 설명으로 돌아가서, 컴퓨터 장치는 연산한 특징값을 기준으로 영상에 포함된 얼굴의 표정을 추정한다(350). 컴퓨터 장치는 특정 표정에 대해 마련한 데이터와 영상을 기준으로 연산한 특징값을 비교하여 표정을 추정할 수 있다. 또는 컴퓨터 장치는 다양한 학습 알고리즘을 이용하여 표정을 추정할 수 있다.
전술한 특징값을 이용하여 표정을 인식하는 시뮬레이션을 수행하였다. 시뮬레이션에서 표정 인식은 기계학습 방법 중 하나인 서포트 벡터 머신(Support Vector Machine, SVM)을 사용하였다. 먼저 단일 특징값을 이용하여 표정 인식을 수행한 결과는 아래의 표 1과 같다. 표 1은 도 4에 도시한 9개의 특징값 중 3개에 대한 결과이다.
특징값 예측 성공률(%)
z2 80.51
z7 80351
z9 81.36
나아가 두 개의 이상의 특징값을 조합하여 표정 인식을 할 수도 있다. 예컨대, 두 개의 특징값을 곱한 결과값을 기준으로 표정 인식을 할 수 있다. 아래 표2은 2개의 특징값을 곱한 결과값을 이용하여 표정 인식을 수행한 예이다. 표 2는 5개의 예를 나타낸다.
특징값 예측 성공률(%)
z1 * z2 87.29
z1 * z8 83.49
z2 * z7 86.86
z2 * z9 85.59
z7 * z9 89.29
상기 표2를 살펴보면 2개의 특징값을 곱한 결과를 사용한 경우가 하나의 특징값을 사용한 경우 보다 높은 인식 성공률을 갖는 것을 알 수 있다.
아래 표 3은 3개의 특징값을 곱한 결과값을 이용하여 표정 인식을 수행한 예이다. 표 3은 5개의 예를 나타낸다. 5개의 예중 몇 개는 동일한 특징값을 두번 곱하였다.
특징값 예측 성공률(%)
z3 * z4 * z9 98.73
z3 * z7 * z9 97.46
z3 * z9 * z9 97.88
z3 * z4 * z7 95.76
z3 * z4 * z4 95.76
상기 표3을 살펴보면 3개의 특징값을 곱한 결과를 사용한 경우가 두 개의 특징값을 사용한 경우 보다 높은 인식 성공률을 갖는 것을 알 수 있다.
본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.
100 : 표정을 인식하는 장치
110 : 카메라
120 : 컴퓨터 장치
200 : 표정을 인식하는 장치
210 : 카메라
220 : 분석 서버
230 : 데이터베이스

Claims (7)

  1. 얼굴이 포함된 영상을 수신하는 단계;
    컴퓨터 장치가 상기 영상에서 복수의 랜드 마크의 위치를 결정하는 단계;
    상기 컴퓨터 장치는 상기 복수의 랜드 마크 중 어느 2개의 랜드 마크가 결정하는 직선을 적어도 2개 포함하는 직선 세트를 결정하고, 상기 직선 세트에 포함된 직선으로 구성 가능한 모든 직선 쌍에 대하여 2개의 직선의 거리 비율인 특징값을 연산하는 단계; 및
    상기 컴퓨터 장치가 복수의 상기 특징값 중 서로 다른 랜드마크 중 적어도 2개 이상의 특징값을 곱한 결과값을 이용하여 상기 얼굴의 표정을 추정하는 단계를 포함하되, 상기 직선 쌍은 서로 다른 4개의 랜드 마크로 결정되는 랜드마크의 거리의 비율에 기반한 표정 인식 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 특징값은 아래의 수식으로 연산되는 랜드마크의 거리의 비율에 기반한 표정 인식 방법.
    Figure 112016044829244-pat00002

    ((xn1, yn1), (xn2, yn2), (xn3, yn3) 및 (xn4, yn4)는 각각 상기 4개의 랜드 마크의 위치임)
  4. 제1항에 있어서,
    상기 2개의 직선 중 하나는 입 꼬리와 표정에 따라 위치의 변화가 없는 지점을 연결하는인 랜드마크의 거리의 비율에 기반한 표정 인식 방법.
  5. 제1항에 있어서,
    상기 특징값은 입 꼬리와 눈 부위를 연결한 직선과 입술의 중심과 눈동자를 연결한 직선에 대한 거리 비율인 랜드마크의 거리의 비율에 기반한 표정 인식 방법.
  6. 제1항에 있어서,
    상기 특징값은 입 꼬리를 연결한 직선과 콧 구멍 사이를 연결한 직선에 대한 거리 비율인 랜드마크의 거리의 비율에 기반한 표정 인식 방법.
  7. 제1항에 있어서,
    상기 특징값은 하나의 눈에서 눈꼬리를 연결한 직선과 상기 눈의 상하 방향의 크기를 나타내는 직선에 대한 거리 비율인 랜드마크의 거리의 비율에 기반한 표정 인식 방법.
KR1020160057470A 2016-05-11 2016-05-11 랜드마크의 거리의 비율에 기반한 표정 인식 방법 KR101787255B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160057470A KR101787255B1 (ko) 2016-05-11 2016-05-11 랜드마크의 거리의 비율에 기반한 표정 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160057470A KR101787255B1 (ko) 2016-05-11 2016-05-11 랜드마크의 거리의 비율에 기반한 표정 인식 방법

Publications (1)

Publication Number Publication Date
KR101787255B1 true KR101787255B1 (ko) 2017-11-15

Family

ID=60386930

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160057470A KR101787255B1 (ko) 2016-05-11 2016-05-11 랜드마크의 거리의 비율에 기반한 표정 인식 방법

Country Status (1)

Country Link
KR (1) KR101787255B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190130179A (ko) * 2018-04-13 2019-11-22 인하대학교 산학협력단 미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법
CN112562216A (zh) * 2020-12-01 2021-03-26 合肥大多数信息科技有限公司 一种电力营业厅智能收费机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005056388A (ja) * 2003-07-18 2005-03-03 Canon Inc 画像処理装置、画像処理方法、撮像装置
JP2009087303A (ja) * 2007-10-03 2009-04-23 Nissan Motor Co Ltd 表情推定装置、表情推定方法、及び車両制御装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005056388A (ja) * 2003-07-18 2005-03-03 Canon Inc 画像処理装置、画像処理方法、撮像装置
JP2009087303A (ja) * 2007-10-03 2009-04-23 Nissan Motor Co Ltd 表情推定装置、表情推定方法、及び車両制御装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190130179A (ko) * 2018-04-13 2019-11-22 인하대학교 산학협력단 미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법
KR102138809B1 (ko) * 2018-04-13 2020-07-28 인하대학교 산학협력단 미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법
CN112562216A (zh) * 2020-12-01 2021-03-26 合肥大多数信息科技有限公司 一种电力营业厅智能收费机

Similar Documents

Publication Publication Date Title
US11010896B2 (en) Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation
WO2020228389A1 (zh) 一种创建脸部模型的方法、装置、电子设备及计算机可读存储介质
CN108701216B (zh) 一种人脸脸型识别方法、装置和智能终端
US10599914B2 (en) Method and apparatus for human face image processing
JP4950787B2 (ja) 画像処理装置及びその方法
US20140270374A1 (en) Systems, Methods, and Software for Detecting an Object in an Image
JP7015152B2 (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN109255297A (zh) 动物状态监测方法、终端设备、存储介质及电子设备
US11798299B2 (en) Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation
CN105096353B (zh) 一种图像处理方法及装置
CN110147737B (zh) 用于生成视频的方法、装置、设备和存储介质
CN107610239B (zh) 一种脸谱的虚拟试戴方法及装置
CN114723888B (zh) 三维发丝模型生成方法、装置、设备、存储介质及产品
CN111369428A (zh) 虚拟头像生成方法和装置
CN108388889A (zh) 用于分析人脸图像的方法和装置
CN110956071A (zh) 眼部关键点的标注及其检测模型的训练方法和装置
CN112699857A (zh) 基于人脸姿态的活体验证方法、装置及电子设备
KR101787255B1 (ko) 랜드마크의 거리의 비율에 기반한 표정 인식 방법
CN107886568B (zh) 一种利用3D Avatar重建人脸表情的方法及系统
US11361467B2 (en) Pose selection and animation of characters using video data and training techniques
KR101145672B1 (ko) 미소 훈련을 위한 미소 분석 시스템
CN114333018A (zh) 整形信息推荐方法、装置及电子设备
CN113569775A (zh) 一种基于单目rgb输入的移动端实时3d人体动作捕捉方法及系统、电子设备、存储介质
KR20130081126A (ko) 손 제스처 인식 방법 및 그 장치
CN115994944A (zh) 三维关键点预测方法、训练方法及相关设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant