KR20220072484A - 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법 - Google Patents

얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법 Download PDF

Info

Publication number
KR20220072484A
KR20220072484A KR1020200160142A KR20200160142A KR20220072484A KR 20220072484 A KR20220072484 A KR 20220072484A KR 1020200160142 A KR1020200160142 A KR 1020200160142A KR 20200160142 A KR20200160142 A KR 20200160142A KR 20220072484 A KR20220072484 A KR 20220072484A
Authority
KR
South Korea
Prior art keywords
autism spectrum
facial
spectrum disorder
feature points
facial feature
Prior art date
Application number
KR1020200160142A
Other languages
English (en)
Other versions
KR102565852B1 (ko
Inventor
김영원
이의철
이건영
Original Assignee
한국전자기술연구원
상명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원, 상명대학교산학협력단 filed Critical 한국전자기술연구원
Priority to KR1020200160142A priority Critical patent/KR102565852B1/ko
Publication of KR20220072484A publication Critical patent/KR20220072484A/ko
Application granted granted Critical
Publication of KR102565852B1 publication Critical patent/KR102565852B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/04—Babies, e.g. for SIDS detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/06—Children, e.g. for attention deficit diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

다수의 정서를 유발하는 동영상들을 시청하는 환경에서 시청자의 얼굴 움직임 측정 및 표정 분석을 이용하여, 정서적 상호작용의 지속적인 결핍으로 나타나는 자폐 스펙트럼 장애 증상을 평가하는 방법이 제공된다. 본 발명의 실시예에 따른 자폐 스펙트럼 장애 평가 방법은, 자폐 스펙트럼 장애 평가 시스템이, 얼굴 영상을 획득하는 단계; 자폐 스펙트럼 장애 평가 시스템이, 얼굴 영상에서 외모에 의한 개인차가 정규화되도록, 무표정 시 얼굴 특징점을 기준으로 강체변환을 사용해 얼굴 특징점들의 크기 및 각도를 정렬시켜, 얼굴 특징점을 정규화하는 단계; 자폐 스펙트럼 장애 평가 시스템이, 정규화된 얼굴 특징점을 기반으로 얼굴 움직임을 측정하는 단계; 자폐 스펙트럼 장애 평가 시스템이, 얼굴 움직임 측정 결과를 기반으로 정서적 상호작용을 평가하는 단계; 및 자폐 스펙트럼 장애 평가 시스템이, 평가 결과를 기반으로 자폐 스펙트럼 장애 스크리닝을 수행하는 단계;를 포함한다. 이에 의해, 동영상 시청과 얼굴 움직임을 촬영하는 광학식 카메라를 사용해 유아 또는 아동의 자폐 스펙트럼 장애를 평가할 수 있어, 비침습적이고 검사자, 보호자와 환자의 시간적, 비용적인 부담을 절감시킬 수 있으며, 자폐증 초기진단율과 평가의 효율성을 향상시킬 수 있다.

Description

얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법{Autism spectrum disorder evaluation method based on facial expression analysis}
본 발명은 LSTM(Long Short-Term Memory) 모델을 기반으로 자폐 스펙트럼 장애를 평가하는 방법에 관한 것으로, 더욱 상세하게는 다수의 정서를 유발하는 동영상들을 시청하는 환경에서 시청자의 얼굴 움직임 측정 및 표정 분석을 이용하여, 정서적 상호작용의 지속적인 결핍으로 나타나는 자폐 스펙트럼 장애 증상을 평가하는 방법에 관한 것이다.
기존의 자폐 스펙트럼 장애 평가 및 스크리닝 방법은 전문가가 선별검사 도구에 기반하여 의심되는 아동에 대한 지속적인 관찰로 비정상적인 행동들의 특성, 빈도, 강도, 지속시간을 비교하여 자폐증의 정도를 평가하는 방법으로 시간적, 비용적 소모가 크다는 단점이 존재한다.
또한, 모든 자폐 스펙트럼 장애 환자들에게 적합한 단일 평가 도구는 없으며 기존 스크리닝 검사의 시간적, 비용적 부담으로 인해 아동의 초기 자폐증 증상을 보호자가 쉽게 발견하기 어려워 증상의 악화를 초래할 수 있다는 문제점이 존재한다.
그리고 기존 자폐 진단에는 유전자 및 청력 검사와 같은 침습적인 검사 방법과 전문가의 반복적인 관찰이 필요하여 검사자와 환자에게 많은 불편을 유발할 수 있다는 문제점이 존재한다.
구체적으로, 시선 추적을 통한 발달장애를 평가하는 방법의 경우, 유아기 환자(예컨대, 생후 2개월에서 6개월)를 대상으로 하고 있으며 정서적 자극이 아닌 특정한 동적 자극(눈 맞춤)만을 사용해 환자의 정서적 상호작용을 평가하는데 제한적이며, 시선 추적만을 사용하는 평가 방법은 시선에서 나타나는 특정 비정상적 행동만을 평가하는 방법으로 시선이 아닌 다른 비정상적인 행동을 가진 자폐 스펙트럼 장애를 앓는 환자를 평가할 수 없다는 단점이 존재한다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 동영상 시청과 얼굴 움직임을 촬영하는 광학식 카메라를 사용해 유아 또는 아동의 자폐 스펙트럼 장애를 평가할 수 있는 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 개인차가 정규화된 얼굴 움직임 측정값에 기반하여 얼굴표정에서 나타나는 정서적 상호작용에 대한 정량적 평가를 수행하고 동영상 자극을 통해 유아와 아동을 대상으로도 자폐 스펙트럼 장애을 평가할 수 있는 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 자폐 스펙트럼 장애 평가 방법은, 자폐 스펙트럼 장애 평가 시스템이, 얼굴 영상을 획득하는 단계; 자폐 스펙트럼 장애 평가 시스템이, 얼굴 영상에서 외모에 의한 개인차가 정규화되도록, 무표정 시 얼굴 특징점을 기준으로 강체변환을 사용해 얼굴 특징점들의 크기 및 각도를 정렬시켜, 얼굴 특징점을 정규화하는 단계; 자폐 스펙트럼 장애 평가 시스템이, 정규화된 얼굴 특징점을 기반으로 얼굴 움직임을 측정하는 단계; 자폐 스펙트럼 장애 평가 시스템이, 얼굴 움직임 측정 결과를 기반으로 정서적 상호작용을 평가하는 단계; 및 자폐 스펙트럼 장애 평가 시스템이, 평가 결과를 기반으로 자폐 스펙트럼 장애 스크리닝을 수행하는 단계;를 포함한다.
그리고 얼굴 영상의 획득 단계는, 행복, 슬픔, 각성 및 이완 중 어느 하나의 정서를 유발하는 동영상들을 시청하는 환경에서 촬영된 얼굴 영상이 획득될 수 있다.
또한, 정규화 단계는, 외모에 의한 개인차를 정규화하기 위해 무표정 시, 얼굴의 위치와 방향을 기준으로 각 얼굴 특징점 좌표계를 정렬시킬 수 있다.
그리고 정규화 단계는, 행복한 표정, 슬픈 표정, 각성된 표정 및 이완된 표정 중 적어도 하나로 등록된 표정의 얼굴 특징점과 무표정 시 얼굴 특징점에서 기준점의 무게중심을 계산하는 단계; 무게중심을 중심으로 하는 얼굴 특징점 백터 집합을 정의하는 단계; 등록된 표정의 얼굴 특징점과 무표정시 얼굴 특징점 간의 상관분석을 위해, 공분산 행렬을 계산하는 단계; 회전 행렬을 위한 특이값 분해(SVD, Singular Value Decomposition)를 계산하는 단계; 계산 결과를 기반으로, 위치 및 회전을 위한 회전 행렬을 근사시키는 단계; 및 강체 변환을 통한 무표정과 등록된 표정의 랜드마크를 정렬시키는 단계;를 포함할 수 있다.
또한, 위치 및 회전을 위한 회전행렬은, 특이값 분해를 통해 근사값이 계산되고, 무표정 시 얼굴 위치와 방향을 기준으로 각 얼굴 특징점 좌표들을 정렬한 뒤 특징점마다 변화량이 측정될 수 있다.
그리고 얼굴 움직임의 측정 단계는, 두 표정간의 얼굴 특징점별 거리 측정을 통한 얼굴 움직임을 측정할 수 있다.
또한, 자폐 스펙트럼 장애 스크리닝의 수행 단계는, 자폐 스펙트럼 장애 스크리닝을 수행하는 LSTM(Long Short-Term Memory) 모델의 입력데이터로 68×60 형태의 데이터를 이용하고, 68×60 형태의 데이터는, 얼굴 특징점 개수가 68개이고, 1초 간격마다 최대 얼굴 움직임 변화량을 기록한 총 1분 길이의 윈도우 길이를 갖는 데이터일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 자폐 스펙트럼 장애 평가 시스템은, 얼굴 영상이 획득되도록 하는 입력부; 및 얼굴 영상에서 외모에 의한 개인차가 정규화되도록, 무표정 시 얼굴 특징점을 기준으로 강체변환을 사용해 얼굴 특징점들의 크기 및 각도를 정렬시켜, 얼굴 특징점을 정규화하고, 정규화된 얼굴 특징점을 기반으로 얼굴 움직임을 측정하며, 얼굴 움직임 측정 결과를 기반으로 정서적 상호작용을 평가하고, 평가 결과를 기반으로 자폐 스펙트럼 장애 스크리닝을 수행하는 프로세서;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 동영상 시청과 얼굴 움직임을 촬영하는 광학식 카메라를 사용해 유아 또는 아동의 자폐 스펙트럼 장애를 평가할 수 있어, 비침습적이고 검사자, 보호자와 환자의 시간적, 비용적인 부담을 절감시킬 수 있으며, 자폐증 초기진단율과 평가의 효율성을 향상시킬 수 있다.
또한, 본 발명의 실시예들에 따르면, 개인차가 정규화된 얼굴 움직임 측정값에 기반하여 얼굴표정에서 나타나는 정서적 상호작용에 대한 정량적 평가를 수행하고 동영상 자극을 통해 유아와 아동을 대상으로도 자폐 스펙트럼 장애을 평가할 수 있다.
도 1은, 본 발명의 일 실시예에 따른 자폐 스펙트럼 장애 평가 방법의 설명에 제공된 도면,
도 2는, 얼굴 특징점 정규화를 위한 정렬이 예시된 도면,
도 3은, 상기 도 1에 도시된 얼굴 특징점의 정규화 과정 및 움직임 측정 과정의 설명에 제공된 도면, 그리고
도 4는, 본 발명의 일 실시예에 따른 자폐 스펙트럼 장애 평가 시스템의 설명에 제공된 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은, 본 발명의 일 실시예에 따른 자폐 스펙트럼 장애 평가 방법의 설명에 제공된 도면이다.
본 실시예에 따른 자폐 스펙트럼 장애 평가 방법은, 동영상 시청과 얼굴 움직임을 촬영하는 광학식 카메라를 사용해 유아 또는 아동의 자폐 스펙트럼 장애를 평가하기 위해 마련된다.
더불어, 본 실시예에 따른 자폐 스펙트럼 장애 평가 방법은, 개인차가 정규화된 얼굴 움직임 측정값에 기반하여 얼굴표정에서 나타나는 정서적 상호작용에 대한 정량적 평가를 수행하고 동영상 자극을 통해 유아와 아동을 대상으로도 자폐 스펙트럼 장애을 평가하고자 한다.
이를 위해, 본 자폐 스펙트럼 장애 평가 방법은, 얼굴 영상을 촬영하여 획득하고(S110), 입력된 얼굴 영상에서 외모에 의한 개인차가 정규화되도록, 무표정 시 얼굴 특징점을 기준으로 강체변환을 사용해 얼굴 특징점들의 크기 및 각도를 정렬시켜, 얼굴 특징점을 정규화하고(S120), 정규화된 얼굴 특징점을 기반으로 얼굴 움직임을 측정할 수 있다(S130).
그런 다음, 자폐 스펙트럼 장애 평가 방법은, 얼굴 움직임 측정 결과를 기반으로 정서적 상호작용을 평가하고(S140), 평가 결과를 기반으로 자폐 스펙트럼 장애 스크리닝을 수행하여(S150), 최종 결과를 도출하게 된다(S160).
구체적으로, 얼굴 영상의 획득 단계에서는, 행복, 슬픔, 각성, 이완과 같은 정서를 유발하는 동영상들을 시청하는 환경에서 촬영된 640×480 이상의 해상도를 가지는 얼굴 영상이 획득될 수 있다.
얼굴 영상이 획득되면, 얼굴 특징점의 정규화 단계 및 얼굴 움직임 측정 단계가 진행되게 된다.
얼굴 특징점의 정규화 단계에서는, 외모에 의한 개인차를 정규화하기 위해, 도 2에 예시된 바와 같이 무표정 시 얼굴의 위치와 방향을 기준으로 각 얼굴 특징점 좌표계를 정렬시킬 수 있다.
얼굴 특징점의 정규화 단계 및 얼굴 움직임 측정 단계에 대한 더욱 상세한 설명은 도 3을 참조하여 후술하기로 한다.
한편, 정서적 상호작용 평가 단계에서는, 개인차 정규화 수행 후 얼굴 특징점별 움직임 측정값의 합계를 정서적 상호작용에 의한 얼굴 움직임 지표로 자폐 스펙트럼 장애 평가에 사용하게 되어, 자폐 스펙트럼 장애 환자의 정서적 상호작용을 정량적으로 평가할 수 있다.
이때, 프레임마다 추출된 얼굴 특징점별 변화량은 자폐 스펙트럼 장애를 스크리닝하기 위한 딥러닝 모델(LSTM)의 입력데이터로 사용될 수 있다.
구체적으로, 자폐 스펙트럼 장애 스크리닝의 수행 단계는, 자폐 스펙트럼 장애 스크리닝을 수행하는 LSTM(Long Short-Term Memory) 모델의 입력데이터로 68×60 형태의 데이터를 이용하고, 이때, 68×60 형태의 데이터는, 얼굴 특징점 개수가 68개이고, 1초 간격마다 최대 얼굴 움직임 변화량을 기록한 총 1분 길이의 윈도우 길이를 갖는 데이터일 수 있다.
또한, 최종 결과 도출 단계에서는, 최종적으로 다수의 정서를 유발하는 동영상들을 시청하면서 촬영된 얼굴 영상을 입력으로 정서적 상호작용 정도를 평가하고, 자폐 스펙트럼 장애를 스크리닝한 결과들을 decision-level fusion 하여 최종 평가 및 스크리닝 결과를 도출할 수 있다.
도 3은, 상기 도 1에 도시된 얼굴 특징점의 정규화 과정 및 움직임 측정 과정의 설명에 제공된 도면이다.
도 3을 참조하면, 본 자폐 스펙트럼 장애 평가 방법은, 각 얼굴 특징점에서 기준점의 무게중심을 계산하고(S310), 무게중심을 중심으로 하는 얼굴 특징점 백터 집합을 정의하고(S320), 공분산 행렬을 계산하고(S330), 회전 행렬을 위한 특이값 분해(SVD, Singular Value Decomposition)를 계산하며(S340), 계산 결과를 기반으로, 위치 및 회전을 위한 회전 행렬을 근사시키고(S350), 강체 변환을 통한 무표정과 등록된 표정의 랜드마크를 정렬시키는 과정을 거쳐(S360), 얼굴 특징점을 정규화 시킬 수 있으며, 이후, 얼굴 움직임을 측정할 수 있다(S370).
기준점의 무게중심 계산 단계에서는, 행복한 표정, 슬픈 표정, 각성된 표정 및 이완된 표정 중 적어도 하나로 등록된 표정의 얼굴 특징점과 무표정 시 얼굴 특징점에서 기준점(fiducial point)인 (pi, qi)의 무게중심을 계산하게 된다.
이때, 기준점들은 도 2에 예시된 바와 같이 강체 변환을 위해 미리 정의된 얼굴 특징점의 부분 집합으로 얼굴 근육 움직임에 의해 상대적인 움직임이 없는 얼굴 특징점 6곳(ex.콧날 부분 4곳과 눈 양쪽의 안쪽 부분 각각 1곳)이 선택될 수 있다.
그리고 얼굴 특징점에서 기준점(fiducial point)인 (pi, qi)의 무게중심 계산 시, 하기 수식 1을 이용하여 계산할 수 있다.
(수식 1)
Figure pat00001
또한, 얼굴 특징점 백터 집합을 정의하는 단계에서는, 하기 수식 2에 예시된 바와 같이 계산된 무게중심을 중심으로 얼굴 특징점 백터 집합을 정의하게 된다.
(수식 2)
Figure pat00002
그리고 공분산 행렬의 계산 단계에서는, 등록된 표정의 얼굴 특징점과 무표정시 얼굴 특징점 간의 상관분석을 위해, 하기 수식 3에 예시된 바와 같이 공분산 행렬을 계산하게 된다.
(수식 3)
Figure pat00003
이때, W는 가중치가 Wi인 대각선행렬(diagonal matrix)을 의미한다.
특이값 분해 계산 단계에서는, 하기 수식 4를 이용하여 회전 행렬을 위한 특이값 분해를 계산하게 된다.
(수식 4)
Figure pat00004
위치 및 회전을 위한 회전 행렬은 특이값 분해를 통해 근사값이 계산되고, 무표정 시 얼굴 위치와 방향을 기준으로 각 얼굴 특징점 좌표들을 정렬한 뒤 특징점마다 변화량이 측정될 수 있다.
이를 위해, 회전 행렬의 근사 단계에서는, 계산 결과를 기반으로, 위치 및 회전을 위한 회전 행렬 및 이동 행렬을 근사 시킬 수 있다.
(수식 5)
Figure pat00005
랜드마크의 정렬 단계에서는, 수식 6을 이용하여, 강체 변환을 통한 무표정과 등록된 표정의 랜드마크를 정렬시킬 수 있다.
(수식 6)
Figure pat00006
여기서,
Figure pat00007
는, 정렬된 얼굴 특징점이고, s는 scale factor이다.
얼굴 움직임 측정 단계에서는, 하기 수식 7에 예시된 바와 같이 무표정과 등록된 표정 간 얼굴 특징점별 거리 측정을 통해, 얼굴 움직임을 측정할 수 있다.
(수식 7)
Figure pat00008
여기서, di는 무표정과 등록된 표정 간의 얼굴 특징점별 거리의 차이값이고, i는 얼굴 특징점 개수를 식별하는 인덱스를 의미한다.
도 4는, 본 발명의 일 실시예에 따른 자폐 스펙트럼 장애 평가 시스템의 설명에 제공된 도면이다.
도 4를 참조하면, 본 자폐 스펙트럼 장애 평가 시스템은, 입력부(110), 저장부(150), 프로세서(130) 및 출력부(140)를 포함한다.
입력부(110)는, 자폐 스펙트럼 장애 평가 시스템과 카메라를 비롯한 외부 기기들이 네트워크를 통해 통신을 수행하기 위한 통신 수단이 마련되어, 카메라를 통해 촬영된 얼굴 영상을 획득할 수 있다.
저장부(120)는 프로세서(130)가 정상적으로 동작하는데 있어 필요한 저장공간을 제공하는 저장매체이다.
프로세서(130)는 도 1 내지 도 3을 참조하여 전술한 자폐 스펙트럼 장애 평가 방법을 수행할 수 있다.
구체적으로, 프로세서(130)는, 입력부(110)를 통해 획득된 얼굴 영상에서 외모에 의한 개인차가 정규화되도록, 무표정 시 얼굴 특징점을 기준으로 강체변환을 사용해 얼굴 특징점들의 크기 및 각도를 정렬시켜, 얼굴 특징점을 정규화하고, 정규화된 얼굴 특징점을 기반으로 얼굴 움직임을 측정하며, 얼굴 움직임 측정 결과를 기반으로 정서적 상호작용을 평가하고, 평가 결과를 기반으로 자폐 스펙트럼 장애 스크리닝을 수행할 수 있다.
출력부(140)는, 프로세서(130)를 통해 처리 및 계산된 정보들이 출력하는 디스플레이이다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 통신부
120 : 입력부
130 : 프로세서
140 : 출력부
150 : 저장부

Claims (8)

  1. 자폐 스펙트럼 장애 평가 시스템이, 얼굴 영상을 획득하는 단계;
    자폐 스펙트럼 장애 평가 시스템이, 얼굴 영상에서 외모에 의한 개인차가 정규화되도록, 무표정 시 얼굴 특징점을 기준으로 강체변환을 사용해 얼굴 특징점들의 크기 및 각도를 정렬시켜, 얼굴 특징점을 정규화하는 단계;
    자폐 스펙트럼 장애 평가 시스템이, 정규화된 얼굴 특징점을 기반으로 얼굴 움직임을 측정하는 단계;
    자폐 스펙트럼 장애 평가 시스템이, 얼굴 움직임 측정 결과를 기반으로 정서적 상호작용을 평가하는 단계; 및
    자폐 스펙트럼 장애 평가 시스템이, 평가 결과를 기반으로 자폐 스펙트럼 장애 스크리닝을 수행하는 단계;를 포함하는 자폐 스펙트럼 장애 평가 방법.
  2. 청구항 1에 있어서,
    얼굴 영상의 획득 단계는,
    행복, 슬픔, 각성 및 이완 중 어느 하나의 정서를 유발하는 동영상들을 시청하는 환경에서 촬영된 얼굴 영상이 획득되는 것을 특징으로 하는 자폐 스펙트럼 장애 평가 방법.
  3. 청구항 1에 있어서,
    정규화 단계는,
    외모에 의한 개인차를 정규화하기 위해 무표정 시, 얼굴의 위치와 방향을 기준으로 각 얼굴 특징점 좌표계를 정렬시키는 것을 특징으로 하는 자폐 스펙트럼 장애 평가 방법.
  4. 청구항 3에 있어서,
    정규화 단계는,
    행복한 표정, 슬픈 표정, 각성된 표정 및 이완된 표정 중 적어도 하나로 등록된 표정의 얼굴 특징점과 무표정 시 얼굴 특징점에서 기준점의 무게중심을 계산하는 단계;
    무게중심을 중심으로 하는 얼굴 특징점 백터 집합을 정의하는 단계;
    등록된 표정의 얼굴 특징점과 무표정시 얼굴 특징점 간의 상관분석을 위해, 공분산 행렬을 계산하는 단계;
    회전 행렬을 위한 특이값 분해(SVD, Singular Value Decomposition)를 계산하는 단계;
    계산 결과를 기반으로, 위치 및 회전을 위한 회전 행렬을 근사시키는 단계; 및
    강체 변환을 통한 무표정과 등록된 표정의 랜드마크를 정렬시키는 단계;를 포함하는 것을 특징으로 하는 자폐 스펙트럼 장애 평가 방법.
  5. 청구항 4에 있어서,
    위치 및 회전을 위한 회전행렬은,
    특이값 분해를 통해 근사값이 계산되고, 무표정 시 얼굴 위치와 방향을 기준으로 각 얼굴 특징점 좌표들을 정렬한 뒤 특징점마다 변화량이 측정되는 것을 특징으로 하는 자폐 스펙트럼 장애 평가 방법.
  6. 청구항 4에 있어서,
    얼굴 움직임의 측정 단계는,
    두 표정간의 얼굴 특징점별 거리 측정을 통한 얼굴 움직임을 측정하는 것을 특징으로 하는 자폐 스펙트럼 장애 평가 방법.
  7. 청구항 5에 있어서,
    자폐 스펙트럼 장애 스크리닝의 수행 단계는,
    자폐 스펙트럼 장애 스크리닝을 수행하는 LSTM(Long Short-Term Memory) 모델의 입력데이터로 68×60 형태의 데이터를 이용하고,
    68×60 형태의 데이터는,
    얼굴 특징점 개수가 68개이고, 1초 간격마다 최대 얼굴 움직임 변화량을 기록한 총 1분 길이의 윈도우 길이를 갖는 데이터인 것을 특징으로 하는 자폐 스펙트럼 장애 평가 방법.
  8. 얼굴 영상이 획득되도록 하는 입력부; 및
    입력부를 통해 획득된 얼굴 영상에서 외모에 의한 개인차가 정규화되도록, 무표정 시 얼굴 특징점을 기준으로 강체변환을 사용해 얼굴 특징점들의 크기 및 각도를 정렬시켜, 얼굴 특징점을 정규화하고, 정규화된 얼굴 특징점을 기반으로 얼굴 움직임을 측정하며, 얼굴 움직임 측정 결과를 기반으로 정서적 상호작용을 평가하고, 평가 결과를 기반으로 자폐 스펙트럼 장애 스크리닝을 수행하는 프로세서;를 포함하는 자폐 스펙트럼 장애 평가 시스템.
KR1020200160142A 2020-11-25 2020-11-25 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법 KR102565852B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200160142A KR102565852B1 (ko) 2020-11-25 2020-11-25 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200160142A KR102565852B1 (ko) 2020-11-25 2020-11-25 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법

Publications (2)

Publication Number Publication Date
KR20220072484A true KR20220072484A (ko) 2022-06-02
KR102565852B1 KR102565852B1 (ko) 2023-08-11

Family

ID=81985036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200160142A KR102565852B1 (ko) 2020-11-25 2020-11-25 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법

Country Status (1)

Country Link
KR (1) KR102565852B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115990016A (zh) * 2022-12-02 2023-04-21 天津大学 一种基于眼动特征的孤独特质程度检测装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101684424B1 (ko) 2015-07-01 2016-12-20 연세대학교 산학협력단 자폐 스펙트럼 장애 아동의 사회적 언어 사용 능력 평가 장치, 시스템 및 그 방법
KR20180010243A (ko) * 2015-11-26 2018-01-30 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 사람 얼굴 모델 행렬 트레이닝 방법 및 장치, 및 저장 매체
JP2018094029A (ja) * 2016-12-12 2018-06-21 ダイキン工業株式会社 精神疾患判定装置
KR20190038203A (ko) * 2017-09-29 2019-04-08 이인규 머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법
KR20190105314A (ko) * 2018-03-05 2019-09-17 주식회사 세중아이에스 소비자 객체 분석 시스템
JP2020163660A (ja) * 2019-03-29 2020-10-08 コニカミノルタ株式会社 画像形成装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101684424B1 (ko) 2015-07-01 2016-12-20 연세대학교 산학협력단 자폐 스펙트럼 장애 아동의 사회적 언어 사용 능력 평가 장치, 시스템 및 그 방법
KR20180010243A (ko) * 2015-11-26 2018-01-30 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 사람 얼굴 모델 행렬 트레이닝 방법 및 장치, 및 저장 매체
JP2018094029A (ja) * 2016-12-12 2018-06-21 ダイキン工業株式会社 精神疾患判定装置
KR20190038203A (ko) * 2017-09-29 2019-04-08 이인규 머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법
KR20190105314A (ko) * 2018-03-05 2019-09-17 주식회사 세중아이에스 소비자 객체 분석 시스템
JP2020163660A (ja) * 2019-03-29 2020-10-08 コニカミノルタ株式会社 画像形成装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115990016A (zh) * 2022-12-02 2023-04-21 天津大学 一种基于眼动特征的孤独特质程度检测装置
CN115990016B (zh) * 2022-12-02 2024-04-19 天津大学 一种基于眼动特征的孤独特质程度检测装置

Also Published As

Publication number Publication date
KR102565852B1 (ko) 2023-08-11

Similar Documents

Publication Publication Date Title
Hu et al. Combination of near-infrared and thermal imaging techniques for the remote and simultaneous measurements of breathing and heart rates under sleep situation
US10154818B2 (en) Biometric authentication method and apparatus
US10776423B2 (en) Motor task analysis system and method
EP2772828B1 (en) Individual body discrimination device and individual body discrimination method
US20210321933A1 (en) Non-invasive and non-contact measurement in early therapeutic intervention
CN105636505B (zh) 用于获得对象的生命体征的设备和方法
KR101535432B1 (ko) 콘텐츠 평가 시스템 및 이를 이용한 콘텐츠 평가 방법
Wang et al. Screening early children with autism spectrum disorder via response-to-name protocol
JP6863563B2 (ja) ストレス評価システム
JP2017093760A (ja) 心拍に連動する周期的変動の計測装置及び計測方法
CN114999646B (zh) 新生儿运动发育评估系统、方法、装置及存储介质
Hashemi et al. A scalable app for measuring autism risk behaviors in young children: A technical validity and feasibility study
Szankin et al. Long distance vital signs monitoring with person identification for smart home solutions
Hasan et al. Pain level detection from facial image captured by smartphone
KR102565852B1 (ko) 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법
Xia et al. Dynamic viewing pattern analysis: towards large-scale screening of children with ASD in remote areas
WO2023189309A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
CN115439920B (zh) 基于情绪视听刺激和面部表情的意识状态检测系统、设备
JP6911998B2 (ja) 生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム
Hassan et al. A digital camera-based eye movement assessment method for NeuroEye examination
RU2510238C2 (ru) Способ получения информации о психофизиологическом состоянии живого объекта
Cangelosi et al. A Gaze Detection System for Neuropsychiatric Disorders Remote Diagnosis Support
Awais et al. Face and its features detection during nap
US20230367398A1 (en) Leveraging machine learning and fractal analysis for classifying motion
Ma Towards a Contactless Vital Sign System

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant