KR20200011819A - 안면 움직임 정보 추출 방법 및 장치 - Google Patents

안면 움직임 정보 추출 방법 및 장치 Download PDF

Info

Publication number
KR20200011819A
KR20200011819A KR1020180086766A KR20180086766A KR20200011819A KR 20200011819 A KR20200011819 A KR 20200011819A KR 1020180086766 A KR1020180086766 A KR 1020180086766A KR 20180086766 A KR20180086766 A KR 20180086766A KR 20200011819 A KR20200011819 A KR 20200011819A
Authority
KR
South Korea
Prior art keywords
data
motion
movement
face
macro
Prior art date
Application number
KR1020180086766A
Other languages
English (en)
Other versions
KR102202654B1 (ko
Inventor
황민철
황성택
원명주
이동원
Original Assignee
상명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교산학협력단 filed Critical 상명대학교산학협력단
Priority to KR1020180086766A priority Critical patent/KR102202654B1/ko
Priority to US16/524,840 priority patent/US10977807B2/en
Publication of KR20200011819A publication Critical patent/KR20200011819A/ko
Application granted granted Critical
Publication of KR102202654B1 publication Critical patent/KR102202654B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06K9/00228—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

노이즈의 효과적인 제거가 가능한 움직임 움직임 정보 추출 방법이 제시된다. 움직임 정보 추출 방법은, 피험자의 안면 영상을 획득하는 단계, 상기 안면 영상으로부터 안면 움직임에 대한 원형 데이터(raw data)를 추출하는 단계, 상기 원형 데이터로부터 매크로 움직임 데이터를 검출하는 단계 그리고 상기 원형 데이터로부터 상기 매크로 움직임 성분을 제거하여 정제된 마이크로 움직임 데이터를 얻는 단계;를 포함한다.

Description

안면 움직임 정보 추출 방법 및 장치{method and apparatus for extracting of face movement information}
본 개시는 안면 움직임 정보를 추출하는 방법 및 장치에 관한 것으로, 상세하게는 안면 영상 정보에서 노이즈를 효과적으로 제거하는 안면 움직임 정보의 추출 방법 및 장치에 관한 것이다.
안면 움직임 정보를 이용한 비침습적 생리 정보 및 감성 정보의 추출 기술이 연구되고 있다. 얼굴에서 움직임 정보는 영상 촬영 및 영상 처리 과정을 통해 얻어진다. 얼굴의 움직임 정보는 안면에 대해 정의된 특정 위치의 정점(vertex) 또는 특정 위치(landmark)의 움직임 정보를 포함한다. 이러한 움직임 정보를 정확히 추출하기 위해서는 얼굴 영역을 정확히 찾고 여기에서 특정 영역을 검출해야 한다. 그러나, 검출된 정보에는 실제 얼굴에서 발생하는 움직임 외에 배경과 머리 움직임 같은 움직임 정보가 노이즈로서 포함된다. 정확한 안면 움직임 정보를 검출하기 위해서는 이러한 불필요한 움직임 정보를 제거하는 것이 필요하며, 이에 대한 연구가 요구된다.
모범적 실시 예는 안면 움직임 정보를 추출하는 방법 및 장치에 관한 것으로, 상세하게는 안면 영상 정보에서 노이즈를 효과적으로 제거하는 안면 움직임 정보의 추출 방법 및 장치를 제시한다.
모범적인 실시 예에 따른 안면 움직임 정보 추출 방법:은
피험자의 안면 영상을 획득하는 단계;
상기 안면 영상으로부터 안면 움직임에 대한 원형 데이터(raw data)를 추출하는 단계;
상기 원형 데이터로부터 매크로 움직임 데이터를 검출하는 단계; 그리고
상기 원형 데이터로부터 상기 매크로 움직임 성분을 제거하여 정제된 마이크로 움직임 데이터를 얻는 단계;를 포함한다.
모범적인 실시 예에 따른 안면 움직임 정보 추출 장치:는
피험자의 안면을 촬영하는 카메라;
상기 카메라로부터의 안면 영상을 제1항에 기재된 방법에 따라 처리하는 프로세싱 장치; 그리고
상기 안면 영상 신호를 처리한 결과를 표시하는 디스플레이;를 구비한다.
모범적인 실시 예에 따르면,
상기 원형 데이터를 추출하는 단계:는
상기 피험자의 안면에 하나 또는 그 이상의 랜드마크를 정의하는 단계; 및
상기 영상에서 상기 랜드마크의 이동을 추척하는 단계;를 포함하며,
상기 원형 데이터는 피험자 안면에서 지정된 적어도 하나의 랜드마크의 움직임 정보로부터 획득된다.
모범적 실시 예에 따르면, 상기 랜드마크의 움직임 데이터는 전후 프레임에서의 해당 랜드마크의 좌표 간 차이부터 추출된다. 그리고, 상기 매크로 움직임 데이터는 트랜드 데이터로부터 추출하며, 상기 트랜드 데이터는 소정 윈도우 크기(windows size, 시간 간격)의 이동 평균 기법으로 상기 원형 데이터로부터 추출된다. 또한, 모범적 실시 예에 따르면, 상기 윈도우의 크기(시간 간격)은 1.5 ~2.5초의 범위 내의 크기(값) 을 가진다.
모범적 실시 예에 따르면, 원형데이터(Pm)로부터 트랜드 데이터(Dt)와 디트렌드 데이터(Ddt)를 아래의 식으로 구하여 상기 원형 데이터로부터 매크로 움직임에 의한 노이즈를 제거할 수 있다.
Figure pat00001
도1의 A-1, A-2는 프레임의 진행(시간의 흐름)에 따른 매크로 움직임의 양을 나타내는 그래프 및 이에 관계된 안면 표정을 예시한다.
도2의 B-1,BA-2는 프레임의 진행(시간의 흐름)에 따른 마이크로 움직임의 양의 변화를 예시하는 그래프 및 이에 관계된 안면 표정을 예시한다.
도3은 눈과 안면 근육에 대한 포인트 마스킹을 이용한 영상 처리를 예시한다.
도4는 안면 마스킹을 이용하기 전과 이용 후의 매크로 움직임의 제거한 상태의 움직임 데이터 변화를 예시한다.
도5는 경제 분야에서 회귀적 방법과 이동 평균을 이용한 트렌드 분석 그래프를 예시한다.
도6은 안면 표정 움직임의 원형 데이터와 윈도우 사이즈(0.1s, 2s, 0.5s, 10s) 별 데이터의 변화를 예시한다.
도7은 안면 움직임 영상의 처리에 따른 원형 데이터와 디트렌드 데이터 및 마이크로 움직임의 예시한다.
도8은 얼굴에 정의된 랜드마크를 분포를 예시한다.
도9는 모범적 실시 예에 따른 영상 처리를 통한 매크로 움직임에 의한 노이즈 처리 과정의 흐름도이다.
도10은 모범적 실시 예를 위한 실험 절차 및 환경을 예시한다.
도11은 랜드마크 13에 대한 영상 데이터 처리에서 매크로 움직임에 대한 트랜드데이터 추출을 예시한다.
도12은 랜드마크 1-16에 대한 영상 데이터 처리에서 매크로 움직임에 대한 트랜드데이터 추출을 예시한다.
도13은 눈썹 영역에 해당하는 랜드마크 17-26에서의 움직임 데이터를 보이는 그래프이다.
도14는 코 부분에 해당하는 랜드마크 27-35에서의 움직임 데이터를 보이는 그래프이다.
도15는 코 부분에 해당하는 랜드마크 36-47에서의 움직임 데이터를 보이는 그래프이다.
도16은 입 부분에 해당하는 랜드마크 48-68에서의 움직임 데이터를 보이는 그래프이다.
도17은 코 끝 부분에 해당하는 랜드마크 34에서의 리퍼런스 구간과 움직임 데이터를 보이는 그래프이다.
도18은 얼굴윤곽에 해당하는 랜드마크 1-16에서의 움직임 데이터를 보이는 그래프이다.
도19는 양쪽 눈썹에 해당하는 랜드마크 17-26에서의 움직임 데이터를 보이는 그래프이다.
도20 코 주변에 해당하는 랜드마크 27-35에서의 움직임 데이터를 보이는 그래프이다.
도21은 눈의 움직임을 나타내는 랜드마크 36-47에서의 움직임 데이터를 보이는 그래프이다.
도22은 입 주변의 움직임을 나타내는 랜드마크 48-68에서의 움직임 데이터를 보이는 그래프이다.
도23은 모범적 실시 예에 적용되는 안면 움직임 정보 추출 시스템의 인터페이스화면을 예시한다.
도24는 본 발명에서 적용하는 안면 움직임 정보 추출 시스템의 개략적 구성을 보이는 블럭다이어그램이다.
이하, 첨부된 도면을 참고하면서, 바람직한 실시 예에 따른 안면영상의 노이즈 제거 방법 및 장치에 대해 기술한다.
이하에서 설명되는 실시 예에서, 안면 영상의 움직임 정보는 안면에 정의된 정점(vertex) 또는 랜드마크(landmark)의 움직임 정보를 포함한다.
안면의 표준 모델에는 안면의 어느 한 기준점(Reference point)을 기준으로 하여 안면의 여러 특정 부위들에 대응하는 다수의 정점 또는 랜드마크가 안면 표준 형상에 적절하게 배열되어 있다.
안면의 움직임을 추출하는 과정에서, 안면 검출 후 얼굴 내에서 발생 될 수 있는 움직임의 정보에 대해 고려 및 정의가 필요하다. 도1a와 도1b에 도시된 바와 같이, 얼굴의 움직임은 상대적으로 큰 움직임을 나타내는 매크로 움직임(macro movement)과 상대적으로 작은 마이크로 움직임(micro movement) 으로 분류할 수 있다.
여기에서, 매크로 움직임(macro movement)은 시각적으로 명확한 큰 움직임 (0.5-4s 사이)을 의미하며, 미세 움직임은 눈에 잘 띄지 않는 짧은 순간의 움직임 (0.04-0.5s 사이)을 의미한다.
얼굴에서 발생하는 움직임의 대부분은 특별한 주기성을 갖지 않고 불규칙적 움직임에 해당한다. 또한, 시간에 따라 발생하는 상황이나 조건 등에 영향을 받아 노이즈 데이터가 생성된다.
움직임 정보(데이터)를 이용해 피험자의 고유 정보를 정확히 분석하기 위해서는 적절한 노이즈 처리가 중요하다. 모범적 실시 예는 미세 움직임을 추출할 때 영향을 주는 노이즈 움직임에 대해 정의하고, 아래의 표1에 제시된 요소를 고려한 움직임 정보 추출방법을 제시한다.
움직임 범위 정의 및 요소
얼굴
외 		- 얼굴 안쪽이 아닌 바깥쪽에서 발생되는 움직임
- 핸드 제스쳐, 머리 움직임, 걷기, 인체 외 배경 움직임 등
얼굴
내 		- 얼굴 안쪽에서 발생되는 움직임
- Macro: 시각적으로 명확한 큰 움직임 (0.5-4s 사이)
- Micro: 눈에 잘 띄지 않는 짧은 순간의 움직임 (0.04-0.5s 사이)
- Macro: 눈 깜박임, 얼굴 표정, 일반 대화 등
- Micro: 미세 표정, Real ＆ Fake 등
기타 - 얼굴을 추적 할 때 발생하는 기술적 관점의 움직임 오차
- 얼굴 추적 시 발생되는 ROI 갱신에 따른 움직임
- 영상의 코덱으로부터 Decoding으로 인한 오차 움직임

얼굴 데이터의 추출 시 발생하는 노이즈 중 첫 번째는 얼굴 외에서 발생하는 움직임이다. 얼굴 외에서 발생하는 움직임은 얼굴 검출과 연관이 있다. 영상처리에서 얼굴을 검출하면 일반적으로 얼굴의 크기에 따라 ROI(region of interest)가 선정되어 얼굴 영상만 추출할 수 있다. 그러나, 사람 얼굴은 ROI 로 정의하기 어려운 복잡한 윤관을 가지기 때문에 얼굴 외 일부 배경도 같이 선택되어 얼굴 영상이 추출된다. 따라서 얼굴 외에서 발생할 수 있는 배경, 머리 움직임 등이 해당 얼굴 영상에 포함되어 노이즈로 작용할 수 있다.
두 번째 노이즈는 얼굴 내에서 발생하는 움직임이다. 얼굴 내에서는 앞서 언급된 것처럼 작은 마이크로 움직임과 큰 매크로 움직임이 공존한다. 무빙 윈도우 기법 하에서 프레임차(Frame Difference) 기반의 움직임 데이터 추출 시 도1b의 B-1과 같은 형태를 띠게 된다.
해당 그래프는 마이크로 움직임(Micro movement)을 추출하는 방법으로 매크로 움직임(macro movement)의 특성만은 분리 할 수 있지만 마이크로 움직임(micro movement)의 특성만은 정확히 분리하기 어렵다. 특히, 마이크로 움직임(micro movement) 추출 방법으로 움직임 양을 계산할 때에, 매크로 움직임(macro movement)의 특성이 크기 때문에 실제 매크로 움직임(macro movement)이 발생하면 마이크로 움직임(micro movement)의 데이터 분석은 매크로 움직임(macro movement)의 성분에 의해 영향을 받게 된다. 만약 얼굴에서 나타나 움직임 데이터 성분들이 특정 주기성을 나타내면 주파수 분석을 통한 분리가 가능하지만 표정 움직임은 주기성 형태의 움직임이 아니기 때문에 분리가 어렵다. 또한, 기존의 마이크로 움직임(micro movement) 안에는 포착하기 어려운(Subtle) 움직임이 존재하는데 이 역시 주기성이 없는 점은 전술한 노이즈와 동일하며 미세(micro)하게 나타났던 움직임들 보다 순간적으로 움직임 강도가 더 강하게 나타난다. 하지만 매크로 움직임(macro movement)이 더 크기 때문에 단순히 움직임의 크기가 강한 것만으로는 매크로 움직임(macro movement)의 영향을 피할 수 없다. 따라서 마이크로 움직임(micro movement)에 대해 매크로 움직임(macro movement)이 노이즈성 움직임으로 추정할 수 있다.
세 번째 노이즈는 얼굴 내외에서 발생하는 움직임 외에 영상 처리 시 발생할 수 있는 오류이다. 얼굴 영역을 검출할 때마다 ROI가 선정되며 표준 영상 또는 원본 영상에 대비하여 피험자의 얼굴 각 부분의 좌표를 얻을 수 있다. 그러나, ROI의 위치나 크기가 매 순간의 프레임(Frame) 마다 같지 않으며, 따라서 프레임차(Frame Difference) 기반의 움직임 데이터에 얼굴 검출 시 변형되는 ROI 오차가 노이즈로서 움직임 데이터에 포함된다.
또한, 실시간 영상일 경우 영상 압축 코덱을 사용하지 않지만 압축된 영상을 활용하는 경우 대부분 압축된 코덱으로부터 영상을 복원시키는 디코딩 과정을 거친다. 디코딩 과정은, 코덱의 알고리즘과 압축된 영상의 조건 상태에 따라 실제 움직임 정보가 발생하지 않아도 디코딩 과정에서 각 픽셀 RGB 값에 변화가 발생한다. 픽셀의 RGB 값이 변화한다는 것은 프레임차(Frame Difference) 관점에서 노이즈가 발생하는 것으로 볼 수 있다. 이런 현상은 압축 알고리즘이 동일해도 입력되는 영상의 조건 주변 밝기, 영상에 기록되는 피사체의 색상(color), 경계 라인(edge line) 등에 따라 압축되는 정도가 달라 질 수 있기 때문 노이즈 데이터를 예측하기 어렵다. 미세 움직임은 매우 작고 눈에 보이지 않는 움직이기 때문에 이와 같은 움직임 노이즈에 대한 고려가 충분히 이루어진 상태에서 데이터를 추출해야 한다.
미세 표정 인식을 위해 진행된 선행 연구들도 노이즈 움직임을 제거하기 위한 여러 방법을 활용하였다. 예를 들면, 도2에 도시된 바와 같이 여러 표정을 지을 때 발생하는 매크로 움직임(macro movement) 영역에 대해 이미지 마스크(Mask)를 적용하여, 이 부분을 제거 후 미세 표정을 인식하는 방법을 활용하기도 한다. 그러나, 이와 같이 입력되는 최초 영상에서 노이즈 발생 영역을 제거한 후, 데이터를 추출하는 것으로 얼굴 전체에 발생하는 노이즈 성분 자체를 완전히 제거 했다고 보기 어렵다.
다른 한 연구에서는 도3에 도시된 바와 같이 실제 얼굴 영역을 제외하고 데이터를 추출하였으나 여전히 매크로 움직임(macro movement)이 반영되어 이를 제거하기 위한 방법론이 연구되기도 하였다. 노이즈 제거하는 여러 방법 중, 주파수 도메인에서의 노이즈 분석 및 처리를 수행하지 않는 것은 얼굴 표정에서 발생되는 움직임이 특정한 주기성을 띄지 않고 시간적 관점에서 이벤트 형태의 데이터이기 때문이다. 따라서 시간의 관점에서 발생되는 노이즈를 제거하고 추출되는 작은 움직임이 정확한 미세 움직임(micro movement)으로 볼 수 있다.
실시간으로 변하는 데이터를 누적하고 데이터의 트랜드를 기반으로 의사 결정을 반영하는 통계적 방법이 있는데, 이는 도5에 도시된 바와 같이, 회귀(Regression) 분석 방법과 이동평균(Moving Average) 분석 방법으로 분류될 수 있다. 회귀 분석 방법은 데이터 전체를 종합하여 회귀(Regression) 형태의 트랜드(Trend)를 추정하는 것으로 흔히 추세선을 만드는 방법과 유사하다. 이동평균(Moving Average) 기법은 일정한 분석 구간을 정하여 평균을 내어 분석 시점을 지속해서 슬라이딩(Sliding) 시키는 방법으로 큰 이벤트성(일시적) 데이터가 발생하면 해당 시점에 트랜드(trend)이 반영된다. 모범적 실시 예는 비 규칙적인 실시간 형태의 얼굴 움직임을 반영하기 위하여 매 순간의 특정 움직임을 반영 할 수 있는 이동평균(Moving Average) 방법을 활용하여 노이즈 트랜드(Trend)를 검출한다. 이러한 모범적 실시 예에서, 구간 데이터 즉, 트랜드(Trend)을 판단하기 위하여 시간 구간(Window size)의 구간 데이터를 설정하는 것이 중요하다.
도6에 도시된 바와 같이, 추세 또는 트랜드(Trend)을 판단해야 하는 윈도우 구간(Windows Size)이 예를 들어, 10 초 정도로 길면 매 순간 발생하는 매크로 움직임(macro movement)의 데이터 성분을 반영하기 어렵게 된다. 반대로 윈도우 구간(Windows Size)가 예를 들어, 0.1 초 정도로 매우 짧으면 반대로 미세한 마이크로 움직임(micro movement)의 데이터가 섞여 매크로 움직임(macro movement)의 트랜드(Trend)만을 분리해 낼 수가 없다. 따라서 적정한 윙도우 구간(window size) 범위를 선정하는 것이 매우 중요하며, 이는 얼굴 움직임에 적합한 시간이 되어야 한다. 선행 연구 결과들에 의하면 얼굴에서 표정을 지을 때 발생하는 매크로 움직임(macro movement)의 시간은 0.5∼4 초 그리고 지속 시간은 0.75∼2 초로 밝혀 졌다.
모범적인 시시 예에서는 움직임이 발생 할 수 있는 시간 및 지속 시간을 고려하여 중간 값인 2초로 시간 구간(window size)의 크기를 결정하였다.
모범적인 실시 예는 근육 움직임에 대한 측정에 EMG(Electromyography) 데이터 분석 방법을 적용한다. EMG 데이터 분석 시, 가장 먼저 이루어지는 신호처리 방법은 정류화(rectifying) 과정이다. 정류화는 교류 신호로 데이터에 음수를 포함한 값을 양수인 직류 신호로 변환하는 과정을 말한다. 따라서 얼굴 근육의 움직임의 양(amount) 또한 정류화 과정이 필요하다. EMG에서 정류화 과정은 이동평균과 평균제곱 2가지의 방법이 사용된다. 도7에 도시된 바와 같은 신호처리 과정을 수행하고 움직임 데이터를 후술하는 <식3>의 방법에 의해 원형 데이터로부터 매크로 움직임의 성분을 디트렌드(Detrend) 시키면 도7의 (1)과 같이 음수의 경우가 발생한다. 오리지널 데이터가 가지고 있는 움직임의 특성은 포함하지만 음수 형태의 데이터이고 근육의 움직임은 일반적으로 활성-비활성 또는 적다-많다 등으로 구분하기 때문에 음수 형태를 나타낼 수 없다.
이런 현상은 오리지널 데이터(Original Data)에서 얻은 매크로 움직임(macro movement)의 트랜드 데이터(Trend data)가 오리지널 데이터 보다 크기 때문에 발생하는 것이다. 이것은 동일 시점의 매크로 움직임(macro movement)의 특성이 100% 이상을 차지한다는 뜻이며, 반대로 해석하면 해당 구간에는 매크로 움직임(macro movement)의 특성이 없는 것으로 볼 수 있다. 따라서 해당 구간에 대해 EMG 방법에서와 같은 정류화 과정을 수행하면 도7의 (2)에 도시된 바와 같이 움직임 특성이 변형되기 때문에 특성을 유지 할 수 있는 정류화 과정이 필요하다.
매크로 움직임(macro movement)의 특성이 존재하지 않는 구간은 마이크로 움직임(micro movement)만 존재하는 것으로 판단하고 디트렌드(Detrend) 된 데이터의 패턴을 보고 마이크로 움직임(Micro Movement)의 존재 여부를 판단하여 데이터를 추출하면 도7에서 (3)으로 지시된 파형에서와 같이 정류화된 특성 및 마이크로 움직임(Micro Movement) 특성을 유지한 채 데이터 추출이 가능하다.
다음에서 설명되는 모범적 실시 예의 설명에서 얼굴 근육의 마이크로 움직임(Micro Movement)의 데이터 추출 시 움직임 노이즈에 대한 정의 및 제거 방법을 통해 실질적 미동 추출 방법에 대한 내용에 대해 다루고자 한다.
미세 움직임 추출에 앞서 정확한 얼굴 및 해당 영역의 데이터를 추출하기 위해서는 안면 추적(Face Tracking)이 매우 중요하다. 영상처리를 이용한 안면 추적(Face Tracking)에 관련된 다양한 API(Application Programming Interface)들이 제시되고 있으나, 이하에서 설명되는 모범적 실시 예에서는 오픈 소스(Open Source) 인 OpenCV와 "Dlib" 라이브러리를 기반으로 하는 "OpenFace Tracker"를 사용하였다(OpenFace version 0.2.5). OpenFace를 선정한 이유는 안면 트랙킹(Face Tracking) 수행 시 DNN 3D 모델을 이용하기 때문에 좀 더 자연스럽고 강력한 트래킹(robust tracking)이 가능하며 도8에 도시된 바와 같이 안면의 특정 부위(vertex) 별로 정의된 랜드마크(Landmark)의 검출(detection을 통해 얼굴에 위치한 각 주요 영역에 대한 좌표를 얻을 수 있기 때문이다.
도9는 모범적 실시 예에 따라 노이즈가 제거된 미동을 추출 위한 절차를 도시한다. 앞에서 언급된 얼굴의 외적인 움직임(노이즈)을 제거하기 위해 입력된 영상에 OpenFace Tracker를 적용하였다.
노이즈가 발생할 수 있는 ROI 상태의 배경이나 외적 움직임에 대해서는 랜드마크 검출(Landmark detection)을 통해 얼굴 내에서 근육 기반으로 발생하는 좌표만을 트랙킹(Tracking) 함으로 얼굴 외에서 발생할 수 있는 움직임을 모두 제거 하였다. 얼굴 영상에서 총 68개의 랜드마크(Landmark)로부터 지점별 좌표를 이용해 움직인 거리를 측정하였다. 예를 들어, 랜드마크(Landmark) 10번을 선정하였다면 랜드마크 10번의 전후 프레임에서의 좌표 값을 이용해 유클리드 거리 공식을 활용하여 이동 거리(Df, frame distance)를 계산하였다.
Figure pat00002
움직임 거리(Df, frame difference)는 OpenFace에서 제공하는, 예를 들어 랜드마크 10번의 전후 좌표를 기반으로 계산된 거리이기 때문에 단위는 픽셀수로 매칭할 수 있다. 얼굴 크기에 개인차가 있고, 측정 시 비율이 달라지며 단위 매칭 시 비율을 고려해야 한다. 따라서 움직임 데이터 분석을 위해서 얼굴의 면적을 같이 추출 할 수 있도록 하였다. 얼굴의 면적 추출 시 지점마다 움직임 영향이 낮아야 비율 오차가 최소화 된다.
도8에 도시된 바와 같이 가장 영향을 적게 받는 지점을 얼굴의 중심으로 보고 양쪽 눈과 코를 기준(39, 42, 29번)으로 삼각형의 면적을 계산 할 수 있도록 하였다. 면적을 얻기 위해 P1, P2, P3 등의 3점간 거리(La, Lb, Lc)를 구하고 이를 이용한 헤론의 공식을 통해 프레임(i)별 삼각형 면적(Areai)을 구하였다.
Figure pat00003
상기와 같은 수학적 방법에 의해 추출된 움직임 원형 데이터는 매크로 움직임에 연관에 트렌드 데이터의 추출에 사용된다. 트렌드 데이터의 추출은 중심 이동 평균 기법에 의해 수행되었는데 이때에 적용된 윈도우 크기는 매크로 움직임 정보가 1.5~2.5초의 범위의 윈도우 크기를 적용하였을 때에 나타났으며, 이 중에 2 초에서 가장 효과적으로 매크로 움직임 존재 여부를 판단할 수 있은 근거가 되는 트렌드 데이터를 추출하였다.
상기 트렌드 데이터(Dt)는 상기 원형 데이터(Pm)로부터 매크로 움직임에 의해 노이즈성 성분을 제거하는 디트렌드 데이터(Ddt)로 사용되며, <수3>은 그 과정을 수학적으로 표현한다.
Figure pat00004
위의 식3에 정리되어 있는 바와 같이, 전술한 프레임 차(frame difference)로부터 얻은 원형 데데이터(sample data, Pm)부터 일정 시간 간격의 평균인 트렌드 데이터(trend, Dt)를 계산한다. 트렌드 데이터(Dt)는 상기 원형 데이터에 대한 중심 이동 평균(centered moving average) 기법으로 구한다. 상기 원형 데이터(Dr)로부터 매크로 움직임에 의한 노이즈 성분을 제거하기 위하여 트렌드 데이터(Dt)에 대한 원형 데이터 값의 비율(ratio)이 반영된 디트렌드 데이터(Dtr)를 구한다.
여기에서 디트렌드(Dtr) 값이 0 또는 이보다 작으면, 즉 트렌드 데이터(Dt) 데이터에 비해 원형 데이터 값이 작으면 매크로 움직임에 의한 노이즈가 없는 순수 마이크로 움직임 데이터만 포함하는 것으로 판단하여 원형 데이터(Pm)의 값을 움직임 정보 추출을 위한 마이크로 움직임(micro movement) 데이터로 적용한다.
한편, 상기 비율이 0 보다 큰 경우, 원형 데이터(Pm)에 매크로 움직임에 의한 노이즈가 포함되어 있는 것으로 판단하여 상기 디트렌드 데이터의 값을 마이크로 움직임 데이터로 취한다.
상기 디트렌드(Ddt) 값은 원형 데이터가 트렌드값에 비해 큰 경우 원형 데이터를 대체하는 값이다. 아래는 위와 같은 수식에 의한 프레임 넘버 (idx=33~39) 까지의 원형 데이터 처리 결과를 예시한다.
Idx Raw Data(Pm) Trend Data(Dt) Detrend((Dtr) Micro movement
33 0.141313 0.137383 0.028607 0.028607264
34 0.092983 0.138697 -0.3296 0.092983
35 0.239857 0.136811 0.753199 0.753198619
36 0.119685 0.140193 -0.14628 0.119685
37 0.091042 0.142934 -0.36305 0.091042
38 0.175882 0.143906 0.222204 0.222203805
39 0.044134 0.146005 -0.69772 0.044134

위의 테이블에서 Micro movement 항목이 최종적으로 매크로 노이즈가 제거된 데이터를 나타내는데, Ratio
이러한 디트렌드, 즉 노이즈 제거과정을 통해서 실제 사용되는 출력 데이터는 순수한 마이크로 움직임에 대한 값만을 가지게 된다.
<피험자>
피험자는 강한 표정으로 움직임을 유발하는 A그룹과 대화로 자연스러운 움직임을 유발하는 B그룹으로 구분하여 모집하였다. 모든 피험자는 20대 건강한 성인 남녀를 모집하였으며 A와 B그룹 각 20명씩 (남성 10명, 여성 10명)을 모집하였다. 모집된 피험자는 안면 마비와 같은 병리 증상이 없고 표정 짓기에 대한 특별한 교육이나 훈련이 되지 않은 피험자로 모집하였다.
<실험 자극>
얼굴 내에 강한 움직임을 유발하는 A그룹은 Ekman의 기본 감성을 자극으로 활용하였다. Ekman의 6가지 기본 감성은 동양과 서양 그리고 문화 차이 영향이 최소화된 표정으로 특별한 교육이나 연습이 없어도 누구나 지을 수 있는 표정이기 때문에 해당 자극을 선정하였으며 그림 29와 같다. 또한 강한 표정을 짓는 것으로 노이즈 움직임 데이터가 유발 되도록 하였다. B그룹은 얼굴 내에 자연스러운 움직임을 유발해야 하기 때문에 자연스러운 대화가 유발 될 수 있도록 음악을 들려주고 생각을 말 할 수 있도록 하였다.
<환경 및 절차>
A그룹의 테스크(Task) 수행은 Ekman의 6가지 기본 표정을 보고 30s가량 따라 표정을 짓는 것으로 하였다. 또한 B그룹의 Task 수행은 초기 리퍼런스(Reference, 60s) 구간과 자연스러운 구간(120s)으로 나뉘어서 수행하였다. 영상 데이터의 수집은 Microsoft 사의 HD-5000을 사용하여 초당 30fps로 640x480의 해상도로 촬영 하였다. 영상 환경 변화에 따른 영향을 최소화하기 위하여 웹 카메라에서 자동 조절되는 화이트밸런스(White Balance), 자동초점(Auto Focus) 등 자동 조절 기능을 모두 OFF 시켜 상반신에 대한 영상 촬영을 진행하였다. 촬영된 영상의 녹화는 웹 카메라에서 기본적으로 지원하는 MPEG-4의 코덱을 이용해서 녹화하였다. 상체 및 배경이 고정된 상태에서 촬영하였으며 진행 절차는 도10과 같다.
<검증 방법>
안면부 미세 움직임 추출에 있어, 노이즈가 정상적으로 제거 되는지 확인하기 위해 두 가지 검증 방법을 수행하였다.
첫 번째 방법은 매크로 움직임을 추적하는 정확성을 확인하였다. 여기에서, 매크로 움직임의 트랜드(trend)을 검증하기 위해 통계 분석 방법 중 예측 모델 분석 방법을 사용했습니다. "Forecast"는 시계열 데이터를 분석하여 시간 경과에 따른 추세 모델의 예측 정확도를 검증하는 방법이다. 따라서 시간 구간(windows size)이 2 초인 매크로 움직임의 트랜드(trend)을 추적하는 예측 모델을 확인하는 좋은 방법이 될 수 있다. 예측 모델의 정확성은 <수5>에 표현된 평균 절대 오차 (MAPE), 평균 절대 오차(MAE) 및 평균 표준 편차 (MSD) 등의 세 가지 방법으로 검증되었다.
Figure pat00005
두 번째 MAE 방법은 표정을 짓지 않는 영상과, 표정을 짓는 영상의 데이터를 결합하여 단일 데이터를 임의로 생성하였다. 생성된 데이터를 기반으로 노이즈 제거 알고리즘을 적용 후, 표정을 짓지 않는 영상의 주요 주파수 대역 (dominant peak frequency)가 비교되어 표정 움직임에 관련된 데이터가 정확하게 제거되었는지를 확인했다.
<결과>
도11은 표정 자극에 따라 표정을 짓는 구간 전체에 대한 신호 그래프이며 얼굴에서 가장 움직임이 작은 코끝(랜드마크 34번)의 데이터이다. 도11에서 (A)는 X 방향의 시각 축 상에서 랜드마크의 이동 거리(trevel range in pixel)를 추출한 원형 데이터(Raw Data)의 그래프이며 (B)는 원형 데이터(Raw Data)로부터 매크로 움직임 즉, 표정 움직임에 대한 트랜드 데이터(Trend Data)를 보여 주는 그래프이다. (C)는 원형 데이터(Raw Data)로부터 DCMA를 통해 매크로 움직임(Macro movement)의 성분을 제거한 마이크로 움직임(Micro movement)를 보인다.
도11의 (A)에서는 표정 Task를 수행하면 순간적으로 표정을 지었을 때 매크로 움직임(Macro movement)와 마이크로 움직임(Micro movement)가 같이 나타났고 표정을 유지하는 동안에는 큰 변화가 없는 것을 확인하였다. 도11의 (B)에서는 (A)그래프에 표정에 따라 나타난 매크로 움직임의 트랜드 데이터(Trend Data)만 누적한 데이터로 마이크로 움직임(Micro movement)를 제외한 표정 짓기에 따른 매크로 움직임(Macro movement) 데이터만 추출되는 것을 확인하였다. 도11의 (C)에는 트랜드화(Trend)화 된 매크로 움직임(Macro movement)의 데이터를 원형 데이터(Raw Data)로부터 디트렌드(Detrend) 시켜 매크로 움직임(Macro movement) 데이터가 제거된 순수한 마이크로 움직임(Micro movement) 데이터만 추출되는 것을 확인하였다.
OpenFace에 의해 정의된 랜드마크(Landmark)는 영역에 따라 동일 움직임 패턴을 보이는 점들끼리 그룹화 시킬 수 있다. 그룹화 된 영역은 얼굴 윤곽(Contour of a face), 눈썹(Eye brow), 코(Nose), 눈(Eye), 입(Mouth)으로 나뉜다. 테스크 수행 중, 안면 윤곽(Contour of a face)의 움직임은 랜드마크(Landmark) 1∼16에 해당하였다. 도12의 (A)는 안면 윤곽(Contour of a face)에서 나타난 노이즈가 제거되지 않은 움직임 데이터의 그래프이며, 도12의 (B)는 매크로 움직임(Macro movement)의 트랜드 데이터만 추출한 그래프이다. 도12의 (C)는 디트렌드(Detrend) 시킨 마이크로 움직임(Micro movement)만을 보이는 그래프이다.
도13은 랜드마크 17∼26번에 해당하는 눈썹(Eyebrow)의 움직임을 나타낸 그래프이다. 도13에서, (A)는 눈썹의 노이즈가 제거되지 않은 그래프이며, (B)는 매크로 움직임의 트랜드(Trend) 데이터만 도시하며, 도13의 (C)는 매크로 움직임의 트랜드 데이터(B)를 이용해 얻은 마이크로 움직임(micro movement)의 그래프 도시한다.
도14는 랜드마크 27~35번에 해당하는 코(Nos)e의 움직임을 나타내는 그래프이다. 도14에서 (A)는 코의 노이즈가 제거되지 않은 상태의 데이터 그래프이며, (B)는 매크로 움직임(Macro movement)의 트랜드(Trend) 데이터만을 보이는 데이터 그래프이며, (C)는 도14 (B)의 트랜드 데이터를 이용해 얻은 마이크로 움직임(Micro movement)의 데이터 그래프이다.
도15는 랜드마크 36~47번에 해당하는 눈(eye)의 움직임을 나타내는 그래프이다.. 도14에서 (A)는 코의 노이즈가 제거되지 않은 상태의 데이터 그래프이며, (B)는 매크로 움직임(Macro movement)의 트랜드(Trend) 데이터만을 보이는 데이터 그래프이며, (C)는 도15 (B)의 트랜드 데이터를 이용해 얻은 마이크로 움직임(Micro movement)의 데이터 그래프이다.
도16는 랜드마크 48~68번에 해당하는 입(mouth)의 움직임을 나타내는 그래프이다.. 도14에서 (A)는 코의 노이즈가 제거되지 않은 상태의 데이터 그래프이며, (B)는 매크로 움직임(Macro movement)의 트랜드(Trend) 데이터만을 보이는 데이터 그래프이며, (C)는 도16의 (B)의 트랜드 데이터를 이용해 얻은 마이크로 움직임(Micro movement)의 데이터 그래프이다.
도17은 리퍼런스(Reference)와 자연스러운 대화를 수행하는 구간의 코끝(Landmark 34)의 움직임을 보이는 그래프이다. 도17의 (A)는 원형데이터를 나타내면, (B)는 매크로 움직임(Macro movement)의 트랜드(Trend) 데이터만을 보이는 데이터 그래프이며, (C)는 트랜드 데이터를 이용해 얻은 마이크로 움직임(Micro movement)의 데이터 그래프이다.
도17을 참조하면, 원형 데이터(Raw Data)의 그래프에서, 리퍼런스(Reference) 구간 일 때는 매크로 움직임(Macro movement)가 없고 중립적 태스크(Natural Task)가 수행 된 이후부터 매크로 움직임(Macro movement)가 발생하는 것을 보여 준다. 도17(B)에 도시된 바와 같이 매크로 움직임(Macro movement)의 트랜드(Trend)에 대한 차이가 더 명확하게 나타나는 것을 볼 수 있다. 도17(C)는 매크로 움직임의 트랜드(Trend) 데이터를 이용해 노이즈를 제거했을 때에 리퍼런스(Reference) 구간과 테스크(Task) 구간 모두 동일 수준의 마이크로 움직임(Micro movement)가 출력되는 것을 보여 준다.
앞에서의 실험과 동일하게 얼굴 영역별로 그릅화 시켜 분석하였다. 분석해보면 도18에 도시된 바와 같이, 랜드마크(Landmark) 1∼16에 얼굴 윤곽을 담당한다.
도18의 (A)는 얼굴 윤곽선에서 나타난 노이즈가 제거되지 않은 그래프이며, (B)는 매크로 움직임의 트랜드(Trend) 데이터 만 추출한 그래프이다. 도18의 (C)는 디트렌드(Detrend) 시켜 마이크로 움직임(Micro movement) 데이터만 보여 주는 그래프이다.
도19는 랜드마크(17-26)에 해당하는 양쪽 눈썹의 움직임을 나타내는 그래프이다. 눈썹에서 나타나는 움직임에는 매크로 움직임이나 마이크로 움직임에서 큰 차이가 없다. 앞선 실험에서는 강한 표정을 만들었기 때문에 눈썹에서도 확연한 움직임에 차이가 나타났다. 그러나, 자연스러운 대화에서는 눈썹은 표현의 정도가 강하지 않는 것을 알 수 있다. 표현 정도가 약하여도 매크로 움직임은 여전히 포함되어 있으며 (A)(B)(C)의 과정을 걸쳐 마이크로 움직임 데이터o만 추출 하였다.
도20은 랜드마크 27~35에 해당하는 코 주변의 움직임을 나타낸 그래프이다. 코 주변의 움직임도 강한 매크로 움직임이 나타나지 않았지만 여전히 매크로 움직임의 노이즈는 포함되어 있다. 도20은 (A)는 원형데이터를 나타내면, (B)는 매크로 움직임(Macro movement)의 트랜드(Trend) 데이터만을 보이는 데이터 그래프이며, (C)는 트랜드 데이터를 이용해 얻은 마이크로 움직임(Micro movement)의 데이터 그래프이다.
도21은 랜드마크 36-47에 해당하는 눈의 움직임을 나타낸 그래프이다.
도21의 (A)는 원형데이터를 나타내면, (B)는 매크로 움직임(Macro movement)의 트랜드(Trend) 데이터만을 보이는 데이터 그래프이며, (C)는 트랜드 데이터를 이용해 얻은 마이크로 움직임(Micro movement)의 데이터 그래프이다. 눈의 움직에 있어서 역시 강한 매크로 움직임이 존재하지 않고, 그러나 여전히 매크로 움직임에 대한 노이즈는 포함되어 있다.
도22는 랜드마크 48-68에 해당하는 입 주변의 움직임을 나타낸 그래프이다.
도22의 (A)는 원형데이터를 나타내면, (B)는 매크로 움직임(Macro movement)의 트랜드(Trend) 데이터만을 보이는 데이터 그래프이며, (C)는 트랜드 데이터를 이용해 얻은 마이크로 움직임(Micro movement)의 데이터 그래프이다. 이 역시, 코의 움직임 데이터와 유사한 특징을 가진다.
<추출의 검증>
트랜드 분석으로서 매크로 움직임 상태에 대한 트랜드 분석을 수행하였다. 글 결과 강한 표정을 짓는 실험에서 매크로 움직임을 추적하는 정확도는 전반적으로 높았다. 전체 피험자와 얼굴 전체 지점의 에러율(error rate) 평균 비교 결과 MAE는 0.098004, MSD는 0.044294, MAPE는 1.880564의 에러를 보였으며 <표2>는 그 결과를 보인다(Participants 20, N=5400)).
Landmark
number 		MAE MSD MAPE
M SD M SD M SD
L01 0.103653 0.048870 0.035501 0.031892 1.460848 0.534047
L02 0.096987 0.050118 0.036643 0.037365 1.512065 0.511381
L03 0.099174 0.063235 0.047953 0.061452 1.421617 0.430591
L04 0.108167 0.081868 0.066014 0.096027 1.438193 0.447874
L05 0.110281 0.092759 0.075894 0.117930 1.335902 0.328652
L06 0.113118 0.100308 0.084406 0.133752 1.345290 0.344474
L07 0.114295 0.101764 0.085908 0.133495 1.332317 0.379759
L08 0.114670 0.099350 0.080562 0.123912 1.366411 0.346933
L09 0.118171 0.106695 0.086084 0.139630 1.386980 0.371553
L10 0.120234 0.117212 0.095998 0.172598 1.355059 0.336284
L11 0.119956 0.123258 0.101118 0.196576 1.298703 0.353427
L12 0.115550 0.113922 0.090497 0.175508 1.299101 0.298477
L13 0.107360 0.094100 0.070654 0.128963 1.338484 0.335085
L14 0.098266 0.073131 0.053345 0.090022 1.377946 0.334425
L15 0.090464 0.058032 0.039339 0.062542 1.416893 0.317579
L16 0.088801 0.052030 0.031617 0.048702 1.410318 0.346369
L17 0.098438 0.053824 0.033639 0.047446 1.348569 0.365285
L18 0.129466 0.064028 0.060836 0.062583 1.856553 0.649901
L19 0.112381 0.051097 0.045953 0.047352 1.841055 0.511617
L20 0.096839 0.040582 0.037595 0.043352 1.680671 0.386707
L21 0.090781 0.035486 0.034914 0.043108 1.617123 0.366714
L22 0.087442 0.032094 0.030543 0.036422 1.521155 0.310264
L23 0.093623 0.039389 0.035023 0.044076 1.593073 0.462990
L24 0.096537 0.037898 0.038487 0.045688 1.642755 0.306659
L25 0.100705 0.039526 0.039576 0.042349 1.729402 0.333832
L26 0.111979 0.051078 0.045434 0.046738 1.813765 0.401974
L27 0.123208 0.067858 0.056184 0.065686 1.749023 0.531835
L28 0.099514 0.031076 0.031722 0.016877 2.144312 0.637645
L29 0.079810 0.018522 0.017399 0.008407 1.938412 0.505643
L30 0.070178 0.015341 0.012891 0.007341 1.724322 0.350304
L31 0.077687 0.019796 0.016399 0.010564 1.649444 0.369505
L32 0.065418 0.019312 0.011484 0.008136 1.756334 0.272696
L33 0.064113 0.019406 0.011578 0.008514 1.779072 0.241130
L34 0.063992 0.018269 0.011613 0.008076 1.796481 0.285189
L35 0.063066 0.015721 0.010712 0.006748 1.792591 0.267017
L36 0.064992 0.014895 0.010849 0.006251 1.748920 0.256243
L37 0.132112 0.059933 0.064132 0.042143 2.727212 0.839828
L38 0.152154 0.076056 0.089427 0.062830 3.175591 1.032338
L39 0.144756 0.069157 0.079894 0.053771 3.251111 1.077739
L40 0.117793 0.045674 0.048653 0.028447 2.718908 0.811101
L41 0.120892 0.049653 0.052049 0.032582 2.797449 0.842172
L42 0.128404 0.056237 0.058991 0.038117 2.764797 0.855856
L43 0.119854 0.040579 0.051488 0.027507 2.733268 0.797741
L44 0.148563 0.064528 0.084670 0.052858 3.258329 1.090737
L45 0.155519 0.067240 0.093556 0.058047 3.214841 0.989817
L46 0.137214 0.051234 0.069459 0.040505 2.873190 0.796695
L47 0.132305 0.046690 0.063753 0.035971 2.809982 0.727146
L48 0.126591 0.044206 0.058512 0.032661 2.855433 0.795923
L49 0.073810 0.027110 0.015626 0.013289 1.650717 0.174757
L50 0.068132 0.022467 0.014316 0.011159 1.768734 0.183734
L51 0.068412 0.022300 0.015223 0.012673 1.861660 0.199583
L52 0.067973 0.020497 0.014934 0.012049 1.895261 0.247129
L53 0.067912 0.018098 0.014473 0.011355 1.822986 0.240049
L54 0.069232 0.018619 0.014099 0.010092 1.815985 0.268038
L55 0.075171 0.022051 0.015195 0.010182 1.656971 0.178932
L56 0.082103 0.026531 0.030691 0.032476 1.760462 0.177323
L57 0.089474 0.032345 0.047084 0.057643 1.771215 0.221309
L58 0.090446 0.034332 0.049470 0.060559 1.811009 0.183796
L59 0.090846 0.035297 0.047977 0.057149 1.827719 0.306691
L60 0.082915 0.030993 0.030868 0.031213 1.748749 0.174260
L61 0.071376 0.024211 0.014503 0.011407 1.719483 0.230446
L62 0.069946 0.025184 0.015543 0.012824 1.886893 0.278090
L63 0.068844 0.022811 0.014992 0.011664 1.862618 0.219102
L64 0.069571 0.021073 0.014601 0.010594 1.803048 0.237945
L65 0.072789 0.019865 0.014511 0.009358 1.675706 0.166306
L66 0.086325 0.032393 0.045585 0.057410 1.818267 0.171594
L67 0.086311 0.033936 0.047283 0.059577 1.889644 0.202478
L68 0.087187 0.035500 0.046071 0.056660 1.831926 0.172786
Mean 0.098004 0.047921 0.044294 0.050160 1.880564 0.422375

* M : Participants mean, SD : Participants standard deviation
Trend verification of macro-movement (Participants 20, N=5400
아래는 중립적 움직임(Neutral movement)에 대한 분석결과를 설명한다.
자연스러운 움직임이 있는 실험에서 매크로 움직임을 추적하는 정확도는 전반적으로 높았다. 전체 피험자와 얼굴 전체 지점의 에러율(error rate) 평균 비교 결과 MAE는 0.088946, MSD는 0.042032, MAPE는 1.317148의 에러를 보였으며 표3와 같다.
Landmark
number 		MAE MSD MAPE
M SD M SD M SD
L01 0.086129 0.038273 0.038404 0.076714 1.176309 0.237343
L02 0.076571 0.032249 0.032653 0.073319 1.161412 0.232045
L03 0.072063 0.028402 0.030638 0.074145 1.130922 0.197715
L04 0.075018 0.028523 0.032709 0.077171 1.10979 0.173429
L05 0.075556 0.030767 0.034412 0.081460 1.086948 0.161911
L06 0.076392 0.036456 0.037466 0.088161 1.063047 0.162083
L07 0.078072 0.041539 0.041854 0.098273 1.039822 0.15044
L08 0.081167 0.040328 0.043094 0.098445 1.049048 0.133852
L09 0.084183 0.037618 0.042396 0.094143 1.059063 0.122078
L10 0.082464 0.033707 0.039590 0.091384 1.050763 0.111371
L11 0.077743 0.029752 0.036281 0.089905 1.023053 0.102856
L12 0.073526 0.026800 0.033105 0.087452 1.014807 0.098703
L13 0.071371 0.024108 0.030322 0.082454 1.045979 0.100289
L14 0.069590 0.021412 0.027732 0.075894 1.079227 0.110991
L15 0.068816 0.021475 0.026148 0.069296 1.124563 0.146028
L16 0.072607 0.025522 0.027003 0.063978 1.149748 0.171621
L17 0.079847 0.030870 0.029499 0.060380 1.143665 0.188045
L18 0.117864 0.052124 0.059412 0.079708 1.462143 0.344381
L19 0.089502 0.040111 0.037439 0.070234 1.288016 0.274329
L20 0.066383 0.025392 0.024119 0.065110 1.102335 0.164089
L21 0.058967 0.016826 0.020376 0.063316 1.051822 0.085151
L22 0.058811 0.015296 0.019991 0.062485 1.032696 0.072046
L23 0.062680 0.015770 0.020674 0.061935 1.066213 0.132184
L24 0.065872 0.019671 0.022273 0.062314 1.108374 0.134271
L25 0.073575 0.027917 0.026696 0.063934 1.178594 0.207789
L26 0.091325 0.039538 0.037445 0.069020 1.299589 0.279343
L27 0.109850 0.048104 0.050877 0.076477 1.38036 0.31887
L28 0.097329 0.036881 0.041298 0.064905 1.535794 0.316005
L29 0.071818 0.023895 0.025844 0.062354 1.248749 0.178228
L30 0.056457 0.018589 0.020465 0.064347 1.035954 0.09775
L31 0.061803 0.022305 0.023171 0.068059 1.031764 0.106724
L32 0.056300 0.017668 0.020319 0.062420 1.094244 0.094323
L33 0.052512 0.015825 0.019517 0.063690 1.053941 0.092197
L34 0.051873 0.015907 0.019669 0.064819 1.032602 0.096729
L35 0.052304 0.016510 0.019416 0.063656 1.048462 0.093945
L36 0.056530 0.019064 0.020371 0.063128 1.087544 0.110981
L37 0.148338 0.062768 0.090332 0.091464 2.087801 0.597224
L38 0.162129 0.069084 0.105750 0.099928 2.272745 0.655826
L39 0.152725 0.065412 0.094359 0.092879 2.256094 0.655266
L40 0.124247 0.053575 0.065388 0.077568 1.955241 0.532028
L41 0.132204 0.056850 0.073104 0.081912 2.012403 0.548451
L42 0.141680 0.059861 0.082812 0.086757 2.059795 0.570951
L43 0.125179 0.052413 0.066193 0.077007 1.989215 0.542998
L44 0.154415 0.065168 0.095737 0.091902 2.258199 0.662521
L45 0.161176 0.066951 0.103452 0.095643 2.267534 0.687849
L46 0.148959 0.060633 0.089617 0.087633 2.069755 0.598188
L47 0.141244 0.057033 0.081143 0.082838 2.041948 0.56641
L48 0.135619 0.056425 0.076113 0.081777 2.041457 0.569489
L49 0.085204 0.037471 0.035342 0.085604 1.173972 0.117261
L50 0.073787 0.026924 0.028675 0.068697 1.164878 0.109571
L51 0.065559 0.021440 0.024678 0.064130 1.124317 0.090594
L52 0.063118 0.020719 0.023764 0.063704 1.110742 0.105176
L53 0.066330 0.022488 0.024703 0.064359 1.119221 0.103443
L54 0.073632 0.028157 0.027661 0.068397 1.15993 0.12683
L55 0.085910 0.039997 0.035218 0.087705 1.15993 0.120157
L56 0.097796 0.038450 0.043820 0.088362 1.227031 0.11843
L57 0.106198 0.041644 0.053517 0.095032 1.249586 0.140207
L58 0.105042 0.040850 0.053671 0.094880 1.255277 0.134309
L59 0.105310 0.040254 0.053175 0.095156 1.238194 0.132221
L60 0.096451 0.035788 0.043564 0.087048 1.218355 0.115911
L61 0.082589 0.034902 0.033737 0.082177 1.174727 0.113073
L62 0.065988 0.021630 0.024676 0.063069 1.120626 0.085519
L63 0.062980 0.020687 0.023597 0.062654 1.114406 0.09101
L64 0.066763 0.022691 0.024777 0.063555 1.132786 0.097863
L65 0.083418 0.038181 0.033914 0.085384 1.166154 0.119994
L66 0.095151 0.037529 0.044721 0.085024 1.233321 0.127921
L67 0.092939 0.036532 0.044364 0.085060 1.238464 0.133896
L68 0.093400 0.036178 0.043944 0.085423 1.224615 0.115766
Mean 0.088946 0.035057 0.042032 0.077312 1.317148 0.224801

* M : Participants mean, SD : Participants standard deviation
Trend verification of natural-movement (Participants 50, N=14400)
아래는 주파수 분석 결과를 설명한다. 노이즈 제거 알고리즘(detrend)은 표정이 없는 영상의 원형 데이터(raw data)와 알고리즘 적용 후 추출된 데이터를 비교하였다. 그 결과 얼굴의 각 지점에서 대체적으로 주요 주파수 성분(dominant peak frequency)이 1/2 조화주파수(harmonic frequency) 형태의 결과를 확인하였으며 1/2 형태로 값을 복원 결과 얼굴 전 지점의 평균 오차는 0.242647로 나타났으며 표4와 같다.
Landmark
number 		Dominant peak frequency
Non-expression Detrend 1/2 Harmonic Error
L01 0.571429 0.571429 1.142857 0.571429
L02 1.750000 0.821429 1.642857 0.107143
L03 1.750000 0.821429 1.642857 0.107143
L04 1.535714 0.821429 1.642857 0.107143
L05 1.535714 0.821429 1.642857 0.107143
L06 1.107143 0.821429 1.642857 0.535714
L07 0.607143 0.821429 1.642857 1.035714
L08 0.607143 0.821429 1.642857 1.035714
L09 1.785714 0.821429 1.642857 0.142857
L10 1.892857 0.821429 1.642857 0.250000
L11 1.892857 0.821429 1.642857 0.250000
L12 1.678571 0.821429 1.642857 0.035714
L13 1.678571 0.821429 1.642857 0.035714
L14 1.678571 0.821429 1.642857 0.035714
L15 1.678571 0.821429 1.642857 0.035714
L16 1.678571 0.821429 1.642857 0.035714
L17 1.678571 0.821429 1.642857 0.035714
L18 0.678571 1.571429 3.142857 2.464286
L19 1.750000 0.821429 1.642857 0.107143
L20 1.535714 0.821429 1.642857 0.107143
L21 1.535714 0.821429 1.642857 0.107143
L22 1.535714 0.821429 1.642857 0.107143
L23 1.535714 0.821429 1.642857 0.107143
L24 1.642857 0.821429 1.642857 0.000000
L25 1.642857 0.821429 1.642857 0.000000
L26 1.535714 0.821429 1.642857 0.107143
L27 1.535714 0.821429 1.642857 0.107143
L28 1.642857 0.821429 1.642857 0.000000
L29 1.285714 0.821429 1.642857 0.357143
L30 1.285714 0.821429 1.642857 0.357143
L31 1.285714 0.821429 1.642857 0.357143
L32 1.285714 0.821429 1.642857 0.357143
L33 1.750000 0.821429 1.642857 0.107143
L34 2.035714 0.821429 1.642857 0.392857
L35 1.928571 0.821429 1.642857 0.285714
L36 1.928571 0.821429 1.642857 0.285714
L37 1.928571 0.821429 1.642857 0.285714
L38 1.750000 0.821429 1.642857 0.107143
L39 1.750000 0.821429 1.642857 0.107143
L40 1.750000 0.821429 1.642857 0.107143
L41 1.750000 0.821429 1.642857 0.107143
L42 1.750000 0.821429 1.642857 0.107143
L43 1.750000 0.821429 1.642857 0.107143
L44 1.750000 0.821429 1.642857 0.107143
L45 1.642857 0.821429 1.642857 0.000000
L46 1.642857 0.821429 1.642857 0.000000
L47 1.642857 0.821429 1.642857 0.000000
L48 1.642857 0.821429 1.642857 0.000000
L49 1.642857 0.821429 1.642857 0.000000
L50 1.500000 0.821429 1.642857 0.142857
L51 1.928571 0.821429 1.642857 0.285714
L52 1.928571 0.821429 1.642857 0.285714
L53 1.928571 0.821429 1.642857 0.285714
L54 1.928571 0.821429 1.642857 0.285714
L55 1.928571 0.821429 1.642857 0.285714
L56 1.928571 0.821429 1.642857 0.285714
L57 1.928571 0.821429 1.642857 0.285714
L58 1.928571 0.821429 1.642857 0.285714
L59 1.928571 0.821429 1.642857 0.285714
L60 1.928571 0.821429 1.642857 0.285714
L61 1.928571 0.821429 1.642857 0.285714
L62 1.928571 0.821429 1.642857 0.285714
L63 1.928571 0.821429 1.642857 0.285714
L64 1.928571 0.821429 1.642857 0.285714
L65 1.928571 0.821429 1.642857 0.285714
L66 1.928571 0.821429 1.642857 0.285714
L67 1.928571 0.821429 1.642857 0.285714
L68 1.928571 0.821429 1.642857 0.285714
Mean 1.662815 0.828782 1.657563 0.242647

<시스템 구성>
모범적 실시 예에 따른 노이즈 제거 장치는 안면 움직임 정보 검출 장치에 적용될 수 있다. 안면 움직임 정보 검출 장치는 컴퓨터를 기반으로 구출되며, 여기에는 동영상 카메라와 모니터 그리고 키보드 등이 부가 장치로 마련된다.
이러한 안면 움직임 정보 검출 장치:는 전술한 방법에 따른 움직임 데이터 검출 방법을 기반으로 실제 얼굴을 실시간 트랙킹 하고, 이로부터 얻은 안면의 각 지점의 움직임 데이터를 추출한다. 이러한 추출과정에 전술한 바와 같은 노이즈 제거 과정이 수반된다.
이 시스템은 Visual Studio 2015 C++와 OpenCV 3.1.0 그리고 OpenFace 0.2.5 버전을 활용하여 시스템을 구현하였다. 구현된 안면 움직임 검출 시스템의 메인 인터페이스 화면(1)은 얼굴이 실제 트랙킹(Tracking) 되는 메인 화면이며, 얼굴 트랙킹 및 랜드마크 검출에 대한 대한 정보를 화면상 출력할 수 있다. 인터페이스 화면의 하나인 참조번호 2는 경우 트래킹된 얼굴을 스웹(Swap) 알고리즘을 이용하여 해당 얼굴만 정확하게 잘라오는 이미지로 OpenFace에서 제공되는 기능이다. 그리고 참조번호 3의 화면은 얼굴의 삼각형의 면적률을 추적하기 위해서 해당 지점에 ROI 형태로 영상을 잘라온 것이며 실시간 구동 시 얼굴 면적의 비율을 지속적으로 기록하는데 할 수 있도록 구현 되었다. 이렇게 구현된 시스템에서는 화면 4는 추적된 데이터를 실시간으로 저장하는데 총 Lanemark(Vertex), Mapping AU, 얼굴의 ROI 등의 정보를 추출하여 데이터 분석에 활용 할 수 있도록 구현되어있다.
도23는 본 발명에서 적용하는 시스템의 개략적 구성을 보이는 블럭다이어그램이다.
피험자(100)를 촬영하는 카메라는 동영상 카메라, 예를 들어 웹캠 또는 웹카메라(110)이다. 웹 카메라(110)로 부터의 동영상은 프로세싱 장치(120)에 의해 처리된다. 프로세싱 장치(120)는 전술한 바와 같은 방법을 수행하는 소프트웨어 및 이를 지원하는 하드웨어 시스템을 가진다. 이러한 프로세싱 장치(120)는 컴퓨터 기반의 장치, 예를 들어 전술한 바와 같은 방법 또는 알고리즘을 담고 있는 소프트웨어 및 이 소프트웨어가 구동할 수 있는 하드웨어를 포함하는 범용 컴퓨터 또는 전용 장치일 수 있다. 상기와 같은 프로세싱 장치(120)로부터의 처리 결과는 디스플레이 장치(130)에 의해 표시된다. 위와 같인 시스템은 일반적인 입력을 포함하는 일반적인 외부 인터페이스 장치, 예를 들어 키보드, 마우스 등을 더 포함할 수 있다.
상기한 설명에서 많은 사항이 구체적으로 기재되어 있으나, 그들은 발명의 범위를 한정하는 것이라기보다, 바람직한 실시예의 예시로서 해석되어야 한다. 예들 들어, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 다양한 개량 및 개조가 가능할 것이다. 이러한 이유로, 본 발명의 기술적 범위는 설명된 실시예에 의하여 정하여 질 것이 아니고 특허 청구범위에 기재된 기술적 사상에 의해 정하여져야 한다.

Claims (14)

  1. 피험자의 안면 영상을 획득하는 단계;
    상기 안면 영상으로부터 안면 움직임에 대한 원형 데이터(raw data)를 추출하는 단계;
    상기 원형 데이터로부터 매크로 움직임 데이터를 검출하는 단계; 그리고
    상기 원형 데이터로부터 상기 매크로 움직임 성분을 제거하여 정제된 마이크로 움직임 데이터를 얻는 단계;를 포함하는, 안면 움직임 정보 추출 방법.
  2. 제1항에 있어서,
    상기 원형 데이터를 추출하는 단계:는
    상기 피험자의 안면에 하나 또는 그 이상의 랜드마크를 정의하는 단계; 및
    상기 영상에서 상기 랜드마크의 이동을 추척하는 단계;를 포함하며,
    상기 원형 데이터는 피험자 안면에서 지정된 적어도 하나의 랜드마크의 움직임 정보로부터 획득되는, 안면 움직임 정보 추출 방법.
  3. 제2항에 있어서,
    상기 랜드마크의 움직임 데이터는 전후 프레임에서의 해당 랜드마크의 좌표 간 차이부터 추출하는, 안면 움직임 정보 추출 방법.
  4. 제3항에 있어서,
    소정 윈도우 크기(windows size, 시간 간격)를 적용하는 이동 평균 기법으로 상기 원형 데이터로부터 트랜드 데이터를 추출하고, 그리고 상기 매크로 움직임 데이터는 상기 트랜드 데이터로부터 추출하는, 안면 움직임 정보 추출 방법.
  5. 제4항에 있어서,
    상기 윈도우의 크기(시간 간격)은 1.5 ~2.5초의 범위인, 안면 움직임 정보 추출 방법.
  6. 제3항에 있어서,
    아래의 식에 의해 원형데이터(Pm)로부터 트랜드 데이터(Dt)와 디트렌드 데이터(Ddt)를 구하여 상기 원형 데이터로부터 매크로 움직임에 의한 노이즈를 제거하는 것을 특징으로 하는 안면 움직임 정보 추출 방법.
    <식>
    Figure pat00006
  7. 제6항에 있어서,
    상기 디트렌드 데이터의 값이 "0" 보다 크면 상기 디트렌드 데이터 값은 마이크로 움직 데이터로 적용하고, 그렇지 않으며, 원형 데이터(Pm)를 마이크로 움직임 데이터로 적용하는, 안면 움직임 정보 추출 방법.
  8. 피험자의 안면을 촬영하는 카메라;
    상기 카메라로부터의 안면 영상을 제1항에 기재된 방법에 따라 처리하는 프로세싱 장치; 그리고
    상기 안면 영상 신호를 처리한 결과를 표시하는 디스플레이;를 구비하는 안면 움직임 정보 추출 장치.
  9. 제8항에 있어서,
    상기 프로세싱 장치:는 상기 피험자의 안면에 하나 또는 그 이상의 랜드마크를 정의하고, 상기 영상에서 상기 랜드마크의 이동을 추척하고,
    상기 원형 데이터는 피험자 안면에서 지정된 적어도 하나의 랜드마크의 움직임 정보로부터 획득하는, 안면 움직임 정보 추출 장치.
  10. 제9항에 있어서,
    상기 랜드마크의 움직임 데이터는 전후 프레임에서의 해당 랜드마크의 좌표 간 차이부터 추출하는, 안면 움직임 정보 추출 장치.
  11. 제9항에 있어서,
    소정 윈도우 크기(windows size, 시간 간격)를 적용하는 이동 평균 기법으로 상기 원형 데이터로부터 트랜드 데이터를 추출하고, 그리고
    상기 매크로 움직임 데이터는 상기 트랜드 데이터로부터 추출하는, 안면 움직임 정보 추출 장치.
  12. 제10항에 있어서,
    상기 시간 간격은 1.5 ~2.5초의 범위인, 안면 움직임 정보 추출 장치.
  13. 제9항에 있어서,
    아래의 식에 의해 원형데이터(Pm)로부터 트랜드 데이터(Dt)와 디트렌드 데이터(Ddt)를 구하여 상기 원형 데이터로부터 매크로 움직임에 의한 노이즈를 제거하는 것을 특징으로 하는 안면 움직임 정보 추출 장치.
    Figure pat00007
  14. 제13항에 있어서,
    상기 디트렌드 데이터의 값이 "0" 보다 크면 상기 디트렌드 데이터 값은 마이크로 움직 데이터로 적용하고, 그렇지 않으며, 원형 데이터(Pm)를 마이크로 움직임 데이터로 적용하는, 안면 움직임 정보 추출 장치.
KR1020180086766A 2018-07-25 2018-07-25 안면 움직임 정보 추출 방법 및 장치 KR102202654B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180086766A KR102202654B1 (ko) 2018-07-25 2018-07-25 안면 움직임 정보 추출 방법 및 장치
US16/524,840 US10977807B2 (en) 2018-07-25 2019-07-29 Method and apparatus for extracting of facial movement information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180086766A KR102202654B1 (ko) 2018-07-25 2018-07-25 안면 움직임 정보 추출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200011819A true KR20200011819A (ko) 2020-02-04
KR102202654B1 KR102202654B1 (ko) 2021-01-13

Family

ID=69571132

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180086766A KR102202654B1 (ko) 2018-07-25 2018-07-25 안면 움직임 정보 추출 방법 및 장치

Country Status (2)

Country Link
US (1) US10977807B2 (ko)
KR (1) KR102202654B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230016379A (ko) 2021-07-26 2023-02-02 주식회사 인텔리고 안면마비 재활을 위한 거울 치료 기반의 검사 시스템 및 방법
CN117372437B (zh) * 2023-12-08 2024-02-23 安徽农业大学 用于面神经麻痹智能化检测与量化方法及其系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000050399A (ko) * 1999-01-08 2000-08-05 구자홍 얼굴영역 추출방법
JP2013065119A (ja) * 2011-09-15 2013-04-11 Toshiba Corp 顔認証装置及び顔認証方法
KR20160131261A (ko) * 2015-05-06 2016-11-16 한화테크윈 주식회사 관심 영역을 감시하는 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474875B2 (en) * 2010-06-07 2019-11-12 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
TWI546409B (zh) 2011-11-14 2016-08-21 Ishihara Chemical Co Ltd Electroless copper plating solution and electroless copper plating method
US9104908B1 (en) * 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
KR101644586B1 (ko) * 2014-11-18 2016-08-02 상명대학교서울산학협력단 인체 미동에 의한 hrp 기반 사회 관계성 측정 방법 및 시스템
KR20170024303A (ko) * 2015-08-25 2017-03-07 영남대학교 산학협력단 얼굴의 특징점 검출 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000050399A (ko) * 1999-01-08 2000-08-05 구자홍 얼굴영역 추출방법
JP2013065119A (ja) * 2011-09-15 2013-04-11 Toshiba Corp 顔認証装置及び顔認証方法
KR20160131261A (ko) * 2015-05-06 2016-11-16 한화테크윈 주식회사 관심 영역을 감시하는 방법

Also Published As

Publication number Publication date
KR102202654B1 (ko) 2021-01-13
US20200118276A1 (en) 2020-04-16
US10977807B2 (en) 2021-04-13

Similar Documents

Publication Publication Date Title
CN105426827B (zh) 活体验证方法、装置和系统
Cohn et al. Use of automated facial image analysis for measurement of emotion expression
Schmidt et al. Movement differences between deliberate and spontaneous facial expressions: Zygomaticus major action in smiling
Cohn et al. Multimodal coordination of facial action, head rotation, and eye motion during spontaneous smiles
JP6521845B2 (ja) 心拍に連動する周期的変動の計測装置及び計測方法
Thurman et al. Perceptual and computational analysis of critical features for biological motion
Halovic et al. Not all is noticed: Kinematic cues of emotion-specific gait
Tang et al. Examining visible articulatory features in clear and plain speech
CN108921010A (zh) 一种瞳孔检测方法及检测装置
KR102202654B1 (ko) 안면 움직임 정보 추출 방법 및 장치
US10290139B2 (en) Method for expressing social presence of virtual avatar, using change in pupil size according to heartbeats, and system employing same
Vashishth et al. Exploring the role of computer vision in human emotion recognition: a systematic review and meta-analysis
Rakshita Communication through real-time video oculography using face landmark detection
CN104331705B (zh) 融合时空信息的步态周期自动检测方法
Duchowski et al. Art facing science: Artistic heuristics for face detection: tracking gaze when looking at faces
KR101795723B1 (ko) 얼굴 미동의 내적 동기화를 이용한 감성 인식 방법
Gruebler et al. A wearable interface for reading facial expressions based on bioelectrical signals
Schmidt et al. Speed, amplitude, and asymmetry of lip movement in voluntary puckering and blowing expressions: implications for facial assessment
Pantic et al. Facial gesture recognition in face image sequences: A study on facial gestures typical for speech articulation
KR101736403B1 (ko) 얼굴 미동의 내적 동기화를 이용한 기본 감성 표정 인식 방법
Mantri et al. Cumulative video analysis based smart framework for detection of depression disorders
Zhang et al. An approach of region of interest detection based on visual attention and gaze tracking
Abed et al. Verbal and non-verbal features in deception detection systems
KR101940673B1 (ko) 인체 미동을 이용한 공감도 평가 방법 및 장치
Iddrisu et al. Event Camera based Eye Motion Analysis: A survey

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant