KR102565852B1 - 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법 - Google Patents

얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법 Download PDF

Info

Publication number
KR102565852B1
KR102565852B1 KR1020200160142A KR20200160142A KR102565852B1 KR 102565852 B1 KR102565852 B1 KR 102565852B1 KR 1020200160142 A KR1020200160142 A KR 1020200160142A KR 20200160142 A KR20200160142 A KR 20200160142A KR 102565852 B1 KR102565852 B1 KR 102565852B1
Authority
KR
South Korea
Prior art keywords
facial
autism spectrum
facial feature
spectrum disorder
expression
Prior art date
Application number
KR1020200160142A
Other languages
English (en)
Other versions
KR20220072484A (ko
Inventor
김영원
이의철
이건영
Original Assignee
한국전자기술연구원
상명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원, 상명대학교산학협력단 filed Critical 한국전자기술연구원
Priority to KR1020200160142A priority Critical patent/KR102565852B1/ko
Publication of KR20220072484A publication Critical patent/KR20220072484A/ko
Application granted granted Critical
Publication of KR102565852B1 publication Critical patent/KR102565852B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/04—Babies, e.g. for SIDS detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/06—Children, e.g. for attention deficit diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

다수의 정서를 유발하는 동영상들을 시청하는 환경에서 시청자의 얼굴 움직임 측정 및 표정 분석을 이용하여, 정서적 상호작용의 지속적인 결핍으로 나타나는 자폐 스펙트럼 장애 증상을 평가하는 방법이 제공된다. 본 발명의 실시예에 따른 자폐 스펙트럼 장애 평가 방법은, 자폐 스펙트럼 장애 평가 시스템이, 얼굴 영상을 획득하는 단계; 자폐 스펙트럼 장애 평가 시스템이, 얼굴 영상에서 외모에 의한 개인차가 정규화되도록, 무표정 시 얼굴 특징점을 기준으로 강체변환을 사용해 얼굴 특징점들의 크기 및 각도를 정렬시켜, 얼굴 특징점을 정규화하는 단계; 자폐 스펙트럼 장애 평가 시스템이, 정규화된 얼굴 특징점을 기반으로 얼굴 움직임을 측정하는 단계; 자폐 스펙트럼 장애 평가 시스템이, 얼굴 움직임 측정 결과를 기반으로 자폐 스펙트럼 장애 스크리닝을 수행하는 단계;를 포함한다. 이에 의해, 동영상 시청과 얼굴 움직임을 촬영하는 광학식 카메라를 사용해 유아 또는 아동의 자폐 스펙트럼 장애를 평가할 수 있어, 비침습적이고 검사자, 보호자와 환자의 시간적, 비용적인 부담을 절감시킬 수 있으며, 자폐증 초기진단율과 평가의 효율성을 향상시킬 수 있다.

Description

얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법{Autism spectrum disorder evaluation method based on facial expression analysis}
본 발명은 LSTM(Long Short-Term Memory) 모델을 기반으로 자폐 스펙트럼 장애를 평가하는 방법에 관한 것으로, 더욱 상세하게는 다수의 정서를 유발하는 동영상들을 시청하는 환경에서 시청자의 얼굴 움직임 측정 및 표정 분석을 이용하여, 정서적 상호작용의 지속적인 결핍으로 나타나는 자폐 스펙트럼 장애 증상을 평가하는 방법에 관한 것이다.
기존의 자폐 스펙트럼 장애 평가 및 스크리닝 방법은 전문가가 선별검사 도구에 기반하여 의심되는 아동에 대한 지속적인 관찰로 비정상적인 행동들의 특성, 빈도, 강도, 지속시간을 비교하여 자폐증의 정도를 평가하는 방법으로 시간적, 비용적 소모가 크다는 단점이 존재한다.
또한, 모든 자폐 스펙트럼 장애 환자들에게 적합한 단일 평가 도구는 없으며 기존 스크리닝 검사의 시간적, 비용적 부담으로 인해 아동의 초기 자폐증 증상을 보호자가 쉽게 발견하기 어려워 증상의 악화를 초래할 수 있다는 문제점이 존재한다.
그리고 기존 자폐 진단에는 유전자 및 청력 검사와 같은 침습적인 검사 방법과 전문가의 반복적인 관찰이 필요하여 검사자와 환자에게 많은 불편을 유발할 수 있다는 문제점이 존재한다.
구체적으로, 시선 추적을 통한 발달장애를 평가하는 방법의 경우, 유아기 환자(예컨대, 생후 2개월에서 6개월)를 대상으로 하고 있으며 정서적 자극이 아닌 특정한 동적 자극(눈 맞춤)만을 사용해 환자의 정서적 상호작용을 평가하는데 제한적이며, 시선 추적만을 사용하는 평가 방법은 시선에서 나타나는 특정 비정상적 행동만을 평가하는 방법으로 시선이 아닌 다른 비정상적인 행동을 가진 자폐 스펙트럼 장애를 앓는 환자를 평가할 수 없다는 단점이 존재한다.
삭제
한국등록특허 제10-1684424호(발명의 명칭: 자폐 스펙트럼 장애 아동의 사회적 언어 사용 능력 평가 장치, 시스템 및 그 방법)
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 동영상 시청과 얼굴 움직임을 촬영하는 광학식 카메라를 사용해 유아 또는 아동의 자폐 스펙트럼 장애를 평가할 수 있는 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 개인차가 정규화된 얼굴 움직임 측정값에 기반하여 얼굴표정에서 나타나는 정서적 상호작용에 대한 정량적 평가를 수행하고 동영상 자극을 통해 유아와 아동을 대상으로도 자폐 스펙트럼 장애을 평가할 수 있는 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 자폐 스펙트럼 장애 평가 방법은, 자폐 스펙트럼 장애 평가 시스템이, 얼굴 영상을 획득하는 단계; 자폐 스펙트럼 장애 평가 시스템이, 얼굴 영상에서 외모에 의한 개인차가 정규화되도록, 무표정 시 얼굴 특징점을 기준으로 강체변환을 사용해 얼굴 특징점들의 크기 및 각도를 정렬시켜, 얼굴 특징점을 정규화하는 단계; 자폐 스펙트럼 장애 평가 시스템이, 정규화된 얼굴 특징점을 기반으로 얼굴 움직임을 측정하는 단계; 자폐 스펙트럼 장애 평가 시스템이, 얼굴 움직임 측정 결과를 기반으로 자폐 스펙트럼 장애 스크리닝을 수행하는 단계;를 포함한다.
그리고 얼굴 영상의 획득 단계는, 행복, 슬픔, 각성 및 이완 중 어느 하나의 정서를 유발하는 동영상들을 시청하는 환경에서 촬영된 얼굴 영상이 획득될 수 있다.
또한, 정규화 단계는, 외모에 의한 개인차를 정규화하기 위해 무표정 시, 얼굴의 위치와 방향을 기준으로 각 얼굴 특징점 좌표계를 정렬시킬 수 있다.
그리고 정규화 단계는, 행복한 표정, 슬픈 표정, 각성된 표정 및 이완된 표정 중 적어도 하나로 등록된 표정의 얼굴 특징점과 무표정 시 얼굴 특징점에서 기준점의 무게중심을 계산하는 단계; 무게중심을 중심으로 하는 얼굴 특징점 백터 집합을 정의하는 단계; 등록된 표정의 얼굴 특징점과 무표정시 얼굴 특징점 간의 상관분석을 위해, 공분산 행렬을 계산하는 단계; 회전 행렬을 위한 특이값 분해(SVD, Singular Value Decomposition)를 계산하는 단계; 계산 결과를 기반으로, 위치 및 회전을 위한 회전 행렬을 근사시키는 단계; 및 강체 변환을 통한 무표정과 등록된 표정의 랜드마크를 정렬시키는 단계;를 포함할 수 있다.
또한, 위치 및 회전을 위한 회전행렬은, 특이값 분해를 통해 근사값이 계산되고, 무표정 시 얼굴 위치와 방향을 기준으로 각 얼굴 특징점 좌표들을 정렬한 뒤 특징점마다 변화량이 측정될 수 있다.
그리고 얼굴 움직임의 측정 단계는, 두 표정간의 얼굴 특징점별 거리 측정을 통한 얼굴 움직임을 측정할 수 있다.
또한, 자폐 스펙트럼 장애 스크리닝의 수행 단계는, 자폐 스펙트럼 장애 스크리닝을 수행하는 LSTM(Long Short-Term Memory) 모델의 입력데이터로 68×60 형태의 데이터를 이용하고, 68×60 형태의 데이터는, 얼굴 특징점 개수가 68개이고, 1초 간격마다 최대 얼굴 움직임 변화량을 기록한 총 1분 길이의 윈도우 길이를 갖는 데이터일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 자폐 스펙트럼 장애 평가 시스템은, 얼굴 영상이 획득되도록 하는 입력부; 및 얼굴 영상에서 외모에 의한 개인차가 정규화되도록, 무표정 시 얼굴 특징점을 기준으로 강체변환을 사용해 얼굴 특징점들의 크기 및 각도를 정렬시켜, 얼굴 특징점을 정규화하고, 정규화된 얼굴 특징점을 기반으로 얼굴 움직임을 측정하며, 얼굴 움직임 측정 결과를 기반으로 자폐 스펙트럼 장애 스크리닝을 수행하는 프로세서;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 동영상 시청과 얼굴 움직임을 촬영하는 광학식 카메라를 사용해 유아 또는 아동의 자폐 스펙트럼 장애를 평가할 수 있어, 비침습적이고 검사자, 보호자와 환자의 시간적, 비용적인 부담을 절감시킬 수 있으며, 자폐증 초기진단율과 평가의 효율성을 향상시킬 수 있다.
또한, 본 발명의 실시예들에 따르면, 개인차가 정규화된 얼굴 움직임 측정값에 기반하여 얼굴표정에서 나타나는 정서적 상호작용에 대한 정량적 평가를 수행하고 동영상 자극을 통해 유아와 아동을 대상으로도 자폐 스펙트럼 장애을 평가할 수 있다.
도 1은, 본 발명의 일 실시예에 따른 자폐 스펙트럼 장애 평가 방법의 설명에 제공된 도면,
도 2는, 얼굴 특징점 정규화를 위한 정렬이 예시된 도면,
도 3은, 상기 도 1에 도시된 얼굴 특징점의 정규화 과정 및 움직임 측정 과정의 설명에 제공된 도면, 그리고
도 4는, 본 발명의 일 실시예에 따른 자폐 스펙트럼 장애 평가 시스템의 설명에 제공된 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은, 본 발명의 일 실시예에 따른 자폐 스펙트럼 장애 평가 방법의 설명에 제공된 도면이다.
본 실시예에 따른 자폐 스펙트럼 장애 평가 방법은, 동영상 시청과 얼굴 움직임을 촬영하는 광학식 카메라를 사용해 유아 또는 아동의 자폐 스펙트럼 장애를 평가하기 위해 마련된다.
더불어, 본 실시예에 따른 자폐 스펙트럼 장애 평가 방법은, 개인차가 정규화된 얼굴 움직임 측정값에 기반하여 자폐 스펙트럼 장애을 평가하고자 한다.
이를 위해, 본 자폐 스펙트럼 장애 평가 방법은, 얼굴 영상을 촬영하여 획득하고(S110), 입력된 얼굴 영상에서 외모에 의한 개인차가 정규화되도록, 무표정 시 얼굴 특징점을 기준으로 강체변환을 사용해 얼굴 특징점들의 크기 및 각도를 정렬시켜, 얼굴 특징점을 정규화하고(S120), 정규화된 얼굴 특징점을 기반으로 얼굴 움직임을 측정할 수 있다(S130).
그런 다음, 자폐 스펙트럼 장애 평가 방법은, 얼굴 움직임 측정 결과를 기반으로 자폐 스펙트럼 장애 스크리닝을 수행하여(S150), 최종 결과를 도출하게 된다(S160).
구체적으로, 얼굴 영상의 획득 단계에서는, 행복, 슬픔, 각성, 이완과 같은 정서를 유발하는 동영상들을 시청하는 환경에서 촬영된 640×480 이상의 해상도를 가지는 얼굴 영상이 획득될 수 있다.
얼굴 영상이 획득되면, 얼굴 특징점의 정규화 단계 및 얼굴 움직임 측정 단계가 진행되게 된다.
얼굴 특징점의 정규화 단계에서는, 외모에 의한 개인차를 정규화하기 위해, 도 2에 예시된 바와 같이 무표정 시 얼굴의 위치와 방향을 기준으로 각 얼굴 특징점 좌표계를 정렬시킬 수 있다.
얼굴 특징점의 정규화 단계 및 얼굴 움직임 측정 단계에 대한 더욱 상세한 설명은 도 3을 참조하여 후술하기로 한다.
이때, 프레임마다 추출된 얼굴 특징점별 변화량은 자폐 스펙트럼 장애를 스크리닝하기 위한 딥러닝 모델(LSTM)의 입력데이터로 사용될 수 있다.
삭제
구체적으로, 자폐 스펙트럼 장애 스크리닝의 수행 단계는, 자폐 스펙트럼 장애 스크리닝을 수행하는 LSTM(Long Short-Term Memory) 모델의 입력데이터로 68×60 형태의 데이터를 이용하고, 이때, 68×60 형태의 데이터는, 얼굴 특징점 개수가 68개이고, 1초 간격마다 최대 얼굴 움직임 변화량을 기록한 총 1분 길이의 윈도우 길이를 갖는 데이터일 수 있다.
또한, 최종 결과 도출 단계에서는, 최종적으로 다수의 정서를 유발하는 동영상들을 시청하면서 촬영된 얼굴 영상을 입력으로 정서적 상호작용 정도를 평가하고, 자폐 스펙트럼 장애를 스크리닝한 결과들을 decision-level fusion 하여 최종 평가 및 스크리닝 결과를 도출할 수 있다.
도 3은, 상기 도 1에 도시된 얼굴 특징점의 정규화 과정 및 움직임 측정 과정의 설명에 제공된 도면이다.
도 3을 참조하면, 본 자폐 스펙트럼 장애 평가 방법은, 각 얼굴 특징점에서 기준점의 무게중심을 계산하고(S310), 무게중심을 중심으로 하는 얼굴 특징점 백터 집합을 정의하고(S320), 공분산 행렬을 계산하고(S330), 회전 행렬을 위한 특이값 분해(SVD, Singular Value Decomposition)를 계산하며(S340), 계산 결과를 기반으로, 위치 및 회전을 위한 회전 행렬을 근사시키고(S350), 강체 변환을 통한 무표정과 등록된 표정의 랜드마크를 정렬시키는 과정을 거쳐(S360), 얼굴 특징점을 정규화 시킬 수 있으며, 이후, 얼굴 움직임을 측정할 수 있다(S370).
기준점의 무게중심 계산 단계에서는, 행복한 표정, 슬픈 표정, 각성된 표정 및 이완된 표정 중 적어도 하나로 등록된 표정의 얼굴 특징점과 무표정 시 얼굴 특징점에서 기준점(fiducial point)인 (pi, qi)의 무게중심을 계산하게 된다.
이때, 기준점들은 도 2에 예시된 바와 같이 강체 변환을 위해 미리 정의된 얼굴 특징점의 부분 집합으로 얼굴 근육 움직임에 의해 상대적인 움직임이 없는 얼굴 특징점 6곳(ex.콧날 부분 4곳과 눈 양쪽의 안쪽 부분 각각 1곳)이 선택될 수 있다.
그리고 얼굴 특징점에서 기준점(fiducial point)인 (pi, qi)의 무게중심 계산 시, 하기 수식 1을 이용하여 계산할 수 있다.
(수식 1)
또한, 얼굴 특징점 백터 집합을 정의하는 단계에서는, 하기 수식 2에 예시된 바와 같이 계산된 무게중심을 중심으로 얼굴 특징점 백터 집합을 정의하게 된다.
(수식 2)
그리고 공분산 행렬의 계산 단계에서는, 등록된 표정의 얼굴 특징점과 무표정시 얼굴 특징점 간의 상관분석을 위해, 하기 수식 3에 예시된 바와 같이 공분산 행렬을 계산하게 된다.
(수식 3)
이때, W는 가중치가 Wi인 대각선행렬(diagonal matrix)을 의미한다.
특이값 분해 계산 단계에서는, 하기 수식 4를 이용하여 회전 행렬을 위한 특이값 분해를 계산하게 된다.
(수식 4)
위치 및 회전을 위한 회전 행렬은 특이값 분해를 통해 근사값이 계산되고, 무표정 시 얼굴 위치와 방향을 기준으로 각 얼굴 특징점 좌표들을 정렬한 뒤 특징점마다 변화량이 측정될 수 있다.
이를 위해, 회전 행렬의 근사 단계에서는, 계산 결과를 기반으로, 위치 및 회전을 위한 회전 행렬 및 이동 행렬을 근사 시킬 수 있다.
(수식 5)
랜드마크의 정렬 단계에서는, 수식 6을 이용하여, 강체 변환을 통한 무표정과 등록된 표정의 랜드마크를 정렬시킬 수 있다.
(수식 6)
여기서, 는, 정렬된 얼굴 특징점이고, s는 scale factor이다.
얼굴 움직임 측정 단계에서는, 하기 수식 7에 예시된 바와 같이 무표정과 등록된 표정 간 얼굴 특징점별 거리 측정을 통해, 얼굴 움직임을 측정할 수 있다.
(수식 7)
여기서, di는 무표정과 등록된 표정 간의 얼굴 특징점별 거리의 차이값이고, i는 얼굴 특징점 개수를 식별하는 인덱스를 의미한다.
도 4는, 본 발명의 일 실시예에 따른 자폐 스펙트럼 장애 평가 시스템의 설명에 제공된 도면이다.
도 4를 참조하면, 본 자폐 스펙트럼 장애 평가 시스템은, 입력부(110), 저장부(150), 프로세서(130) 및 출력부(140)를 포함한다.
입력부(110)는, 자폐 스펙트럼 장애 평가 시스템과 카메라를 비롯한 외부 기기들이 네트워크를 통해 통신을 수행하기 위한 통신 수단이 마련되어, 카메라를 통해 촬영된 얼굴 영상을 획득할 수 있다.
저장부(120)는 프로세서(130)가 정상적으로 동작하는데 있어 필요한 저장공간을 제공하는 저장매체이다.
프로세서(130)는 도 1 내지 도 3을 참조하여 전술한 자폐 스펙트럼 장애 평가 방법을 수행할 수 있다.
구체적으로, 프로세서(130)는, 입력부(110)를 통해 획득된 얼굴 영상에서 외모에 의한 개인차가 정규화되도록, 무표정 시 얼굴 특징점을 기준으로 강체변환을 사용해 얼굴 특징점들의 크기 및 각도를 정렬시켜, 얼굴 특징점을 정규화하고, 정규화된 얼굴 특징점을 기반으로 얼굴 움직임을 측정하며, 얼굴 움직임 측정 결과를 기반으로 자폐 스펙트럼 장애 스크리닝을 수행할 수 있다.
출력부(140)는, 프로세서(130)를 통해 처리 및 계산된 정보들이 출력하는 디스플레이이다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 통신부
120 : 입력부
130 : 프로세서
140 : 출력부
150 : 저장부

Claims (8)

  1. 자폐 스펙트럼 장애 평가 시스템이, 얼굴 영상을 획득하는 단계;
    자폐 스펙트럼 장애 평가 시스템이, 얼굴 영상에서 외모에 의한 개인차가 정규화되도록, 무표정 시 얼굴 특징점을 기준으로 강체변환을 사용해 얼굴 특징점들의 크기 및 각도를 정렬시켜, 얼굴 특징점을 정규화하는 단계;
    자폐 스펙트럼 장애 평가 시스템이, 정규화된 얼굴 특징점을 기반으로 얼굴 움직임을 측정하는 단계; 및
    자폐 스펙트럼 장애 평가 시스템이, 얼굴 움직임 측정 결과를 LSTM(Long Short-Term Memory) 모델에 적용하여 자폐 스펙트럼 장애 스크리닝을 수행하는 단계;를 포함하며,
    얼굴 특징점을 정규화하는 단계는,
    외모에 의한 개인차를 정규화하기 위해 무표정 시, 얼굴의 위치와 방향을 기준으로 각 얼굴 특징점 좌표계를 정렬시키며,
    얼굴 특징점을 정규화하는 단계는,
    행복한 표정, 슬픈 표정, 각성된 표정 및 이완된 표정 중 적어도 하나로 등록된 표정의 얼굴 특징점과 무표정 시 얼굴 특징점에서 기준점의 무게중심을 계산하는 단계;
    무게중심을 중심으로 하는 얼굴 특징점 백터 집합을 정의하는 단계;
    등록된 표정의 얼굴 특징점과 무표정시 얼굴 특징점 간의 상관분석을 위해, 공분산 행렬을 계산하는 단계;
    회전 행렬을 위한 특이값 분해(SVD, Singular Value Decomposition)를 계산하는 단계;
    위치 및 회전을 위한 회전 행렬에 특이값 분해의 계산 결과를 적용하여 근사값을 계산하는 단계; 및
    강체 변환을 통한 무표정과 등록된 표정의 랜드마크를 정렬시키는 단계;를 포함하고,
    얼굴 특징점에서 기준점의 무게중심을 계산하는 단계는,
    얼굴 특징점에서 기준점인 (pi, qi)의 무게중심 계산 시, 하기 수식 1을 이용하여 계산하고,
    얼굴 움직임을 측정하는 단계는,
    하기 수식 7을 참조하여 무표정과 등록된 표정 간의 얼굴 특징점별 거리 측정을 통한 얼굴 움직임을 측정하며,
    자폐 스펙트럼 장애 스크리닝을 수행하는 단계는,
    자폐 스펙트럼 장애 스크리닝을 수행하는 LSTM(Long Short-Term Memory) 모델의 입력데이터로 68×60 형태의 데이터를 이용하는 것을 특징으로 하는 자폐 스펙트럼 장애 평가 방법.
    (수식 1)
    W = 가중치가 Wi인 대각선행렬(diagonal matrix)
    (수식 7)
    = 정렬된 얼굴 특징점
    di = 무표정과 등록된 표정 간의 얼굴 특징점별 거리의 차이값
    I = 얼굴 특징점 개수를 식별하는 인덱스
  2. 청구항 1에 있어서,
    얼굴 영상의 획득 단계는,
    행복, 슬픔, 각성 및 이완 중 어느 하나의 정서를 유발하는 동영상들을 시청하는 환경에서 촬영된 얼굴 영상이 획득되는 것을 특징으로 하는 자폐 스펙트럼 장애 평가 방법.
  3. 삭제
  4. 삭제
  5. 청구항 1에 있어서,
    위치 및 회전을 위한 회전행렬은,
    특이값 분해를 통해 근사값이 계산되고, 무표정 시 얼굴 위치와 방향을 기준으로 각 얼굴 특징점 좌표들을 정렬한 뒤 특징점마다 변화량이 측정되는 것을 특징으로 하는 자폐 스펙트럼 장애 평가 방법.
  6. 삭제
  7. 청구항 5에 있어서,
    68×60 형태의 데이터는,
    얼굴 특징점 개수가 68개이고, 1초 간격마다 최대 얼굴 움직임 변화량을 기록한 총 1분 길이의 윈도우 길이를 갖는 데이터인 것을 특징으로 하는 자폐 스펙트럼 장애 평가 방법.
  8. 얼굴 영상이 획득되도록 하는 입력부; 및
    입력부를 통해 획득된 얼굴 영상에서 외모에 의한 개인차가 정규화되도록, 무표정 시 얼굴 특징점을 기준으로 강체변환을 사용해 얼굴 특징점들의 크기 및 각도를 정렬시켜, 얼굴 특징점을 정규화하고, 정규화된 얼굴 특징점을 기반으로 얼굴 움직임을 측정하며, 얼굴 움직임 측정 결과를 LSTM(Long Short-Term Memory) 모델에 적용하여 자폐 스펙트럼 장애 스크리닝을 수행하는 프로세서;를 포함하며,
    프로세서는,
    얼굴 특징점을 정규화하는 경우, 외모에 의한 개인차를 정규화하기 위해 무표정 시, 얼굴의 위치와 방향을 기준으로 각 얼굴 특징점 좌표계를 정렬시키며,
    프로세서는,
    얼굴 특징점을 정규화하는 경우, 행복한 표정, 슬픈 표정, 각성된 표정 및 이완된 표정 중 적어도 하나로 등록된 표정의 얼굴 특징점과 무표정 시 얼굴 특징점에서 기준점의 무게중심을 계산하고, 무게중심을 중심으로 하는 얼굴 특징점 백터 집합을 정의하며,
    등록된 표정의 얼굴 특징점과 무표정시 얼굴 특징점 간의 상관분석을 위해, 공분산 행렬을 계산하고, 회전 행렬을 위한 특이값 분해(SVD, Singular Value Decomposition)를 계산하며,
    위치 및 회전을 위한 회전 행렬에 특이값 분해의 계산 결과를 적용하여 근사값을 계산하고, 강체 변환을 통한 무표정과 등록된 표정의 랜드마크를 정렬시키며,
    프로세서는,
    얼굴 특징점에서 기준점인 (pi, qi)의 무게중심 계산 시, 하기 수식 1을 이용하여 계산하고,
    프로세서는,
    얼굴 움직임을 측정하는 경우, 하기 수식 7을 참조하여 무표정과 등록된 표정 간의 얼굴 특징점별 거리 측정을 통한 얼굴 움직임을 측정하고,
    자폐 스펙트럼 장애 스크리닝을 수행하는 단계는,
    자폐 스펙트럼 장애 스크리닝을 수행하는 LSTM(Long Short-Term Memory) 모델의 입력데이터로 68×60 형태의 데이터를 이용하는 것을 특징으로 하는 자폐 스펙트럼 장애 평가 시스템.
    (수식 1)
    W = 가중치가 Wi인 대각선행렬(diagonal matrix)
    (수식 7)
    = 정렬된 얼굴 특징점
    di = 무표정과 등록된 표정 간의 얼굴 특징점별 거리의 차이값
    I = 얼굴 특징점 개수를 식별하는 인덱스
KR1020200160142A 2020-11-25 2020-11-25 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법 KR102565852B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200160142A KR102565852B1 (ko) 2020-11-25 2020-11-25 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200160142A KR102565852B1 (ko) 2020-11-25 2020-11-25 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법

Publications (2)

Publication Number Publication Date
KR20220072484A KR20220072484A (ko) 2022-06-02
KR102565852B1 true KR102565852B1 (ko) 2023-08-11

Family

ID=81985036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200160142A KR102565852B1 (ko) 2020-11-25 2020-11-25 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법

Country Status (1)

Country Link
KR (1) KR102565852B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115990016B (zh) * 2022-12-02 2024-04-19 天津大学 一种基于眼动特征的孤独特质程度检测装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101684424B1 (ko) 2015-07-01 2016-12-20 연세대학교 산학협력단 자폐 스펙트럼 장애 아동의 사회적 언어 사용 능력 평가 장치, 시스템 및 그 방법
JP2018094029A (ja) 2016-12-12 2018-06-21 ダイキン工業株式会社 精神疾患判定装置
JP2020163660A (ja) 2019-03-29 2020-10-08 コニカミノルタ株式会社 画像形成装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803054B (zh) * 2015-11-26 2019-04-23 腾讯科技（深圳）有限公司 人脸模型矩阵训练方法和装置
KR102005150B1 (ko) * 2017-09-29 2019-10-01 이인규 머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법
KR20190105314A (ko) * 2018-03-05 2019-09-17 주식회사 세중아이에스 소비자 객체 분석 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101684424B1 (ko) 2015-07-01 2016-12-20 연세대학교 산학협력단 자폐 스펙트럼 장애 아동의 사회적 언어 사용 능력 평가 장치, 시스템 및 그 방법
JP2018094029A (ja) 2016-12-12 2018-06-21 ダイキン工業株式会社 精神疾患判定装置
JP2020163660A (ja) 2019-03-29 2020-10-08 コニカミノルタ株式会社 画像形成装置

Also Published As

Publication number Publication date
KR20220072484A (ko) 2022-06-02

Similar Documents

Publication Publication Date Title
KR101535432B1 (ko) 콘텐츠 평가 시스템 및 이를 이용한 콘텐츠 평가 방법
Hashemi et al. Computer vision analysis for quantification of autism risk behaviors
US20210321933A1 (en) Non-invasive and non-contact measurement in early therapeutic intervention
US20210174934A1 (en) Remote assessment of emotional status
Sharma et al. Modeling stress using thermal facial patterns: A spatio-temporal approach
JP6863563B2 (ja) ストレス評価システム
Wang et al. Screening early children with autism spectrum disorder via response-to-name protocol
WO2021068781A1 (zh) 一种疲劳状态识别方法、装置和设备
JP2021128807A (ja) 評価方法、評価装置および評価プログラム
Hashemi et al. A scalable app for measuring autism risk behaviors in young children: A technical validity and feasibility study
Cook et al. Towards automatic screening of typical and atypical behaviors in children with autism
Babu et al. An intelligent action recognition system to assess cognitive behavior for executive function disorder
Hasan et al. Pain level detection from facial image captured by smartphone
Szankin et al. Long distance vital signs monitoring with person identification for smart home solutions
KR102565852B1 (ko) 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법
Joshi et al. Predicting active facial expressivity in people with Parkinson's disease
CN115439920B (zh) 基于情绪视听刺激和面部表情的意识状态检测系统、设备
RU2289310C2 (ru) Способ получения информации о психофизиологическом состоянии живого объекта
Hassan et al. A digital camera-based eye movement assessment method for NeuroEye examination
CN115429271A (zh) 基于眼动和面部表情的孤独症谱系障碍筛查系统及方法
JP2016513297A (ja) 視聴者の反応を分析する方法及び装置
KR101940673B1 (ko) 인체 미동을 이용한 공감도 평가 방법 및 장치
Boronenko et al. Recognition of changes in the psychoemotional state of a person by the video image of the pupils
Braun et al. How Suboptimal is Training rPPG Models with Videos and Targets from Different Body Sites?
Chang Appearance-based gaze estimation and applications in healthcare

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant