KR102241483B1 - 사용자 인식방법 및 병적징후 예측방법 - Google Patents

사용자 인식방법 및 병적징후 예측방법 Download PDF

Info

Publication number
KR102241483B1
KR102241483B1 KR1020180082956A KR20180082956A KR102241483B1 KR 102241483 B1 KR102241483 B1 KR 102241483B1 KR 1020180082956 A KR1020180082956 A KR 1020180082956A KR 20180082956 A KR20180082956 A KR 20180082956A KR 102241483 B1 KR102241483 B1 KR 102241483B1
Authority
KR
South Korea
Prior art keywords
user
face
tremor
information
vibration
Prior art date
Application number
KR1020180082956A
Other languages
English (en)
Other versions
KR20200008820A (ko
Inventor
홍광석
조상일
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020180082956A priority Critical patent/KR102241483B1/ko
Publication of KR20200008820A publication Critical patent/KR20200008820A/ko
Application granted granted Critical
Publication of KR102241483B1 publication Critical patent/KR102241483B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation

Abstract

떨림이란 병리적 또는 생리적으로 손, 머리, 기타 신체 부위에서 발생된다. 병리적인 떨림은 몸의 일부 또는 전체가 규칙적인 리듬을 가지고 떨리는 증세를 말한다. 이상운동질환 중에서 가장 흔한 증상이며 발생하는 원인에 따라 여러 가지 종류가 있다. 떨림의 의학적 용어인 진전의 병태생리는 아직 정확하게 밝혀져 있지 않으나, 중추신경계에 진전을 발생시키는 근원지가 있어 진전이 나타난다는 가설과 소뇌기능의 이상으로 인하여 진전이 발생한다는 가설이 대표적이다. 또한, 떨림의 횟수와 발생시기에 따라 다양한 질환의 전조현상 또는 합병 증세로 나타나는 경우가 있다. 진전증세를 동반하는 대표적 질환으로는 파킨슨병이 있다. 파킨슨병의 진전증세는 환자가 쉬고 있을 때 나타나며 자발적인 운동을 하는 동안에는 떨림이 감소하는 안정 시 진전 양상을 보인다. 안정 시 진전이란 손을 무릎 위나 의자 등 가만히 얹어 놓고 있는 상태에서 떨림이 심하게 발생하고 물건을 들거나 잡고 있으면 떨림이 감소하는 양상의 진전을 말한다. 병리적 증세에 의한 떨림 외에도 대부분의 사람들은 일정한 패턴의 떨림을 가지고 있다. 이러한 떨림의 패턴은 사용자를 분류하는 특징으로 사용할 수 있으며, 본 발명에서는 떨림 패턴을 이용한 사용자 인식과 더불어 사용자별 병적 징후를 예측하는 방법에 대한 발명이다.

Description

사용자 인식방법 및 병적징후 예측방법{METHOD FOR USER IDENTIFICATION AND PATHOLOGICAL SYMPTOM PREDICTION}
본 발명은 머리 미세떨림을 이용한 사용자 인식 및 병적징후 예측방법에 관한 것이다.
기존 영상 기반의 사용자 인식 기술은 사용자의 안면 구조적 특징에 집중하여 분류를 수행하였다. 하지만 이러한 안면인식 기술의 경우 사칭에 다소 취약점이 있다. 사용자의 안면정보와 더불어 개인별 생리적 상태에서 유발된 특징을 사용할 경우 사용자와 사칭자를 구분할 수 있다.
본 발명에서는 개인의 생리적 특징 중 하나인 머리 떨림 패턴을 검출하여 모델을 학습/생성하고 분류알고리즘을 사용하여 안면정보와 더불어 떨림에 대한 사용자 인식을 수행한다.
사용자 인식과 더불어 개별 사용자에 대한 떨림 패턴을 분석하여 병리적 상태를 예측하고, 사용자별 병적 징후 예측결과를 기록/관리하여 상태개선을 위한 도구로 사용한다.
공개특허 US6834115 B2 (발명의 명칭: Method for optimizing off-line facial feature tracking) 공개특허 US7352881 B2(발명의 명칭: Method for tracking facial features in a video sequence)
본 발명에서는 기존 안면인식을 통한 사용자 인식의 문제점을 해소하기 위해 생리적 상태에 따라 개인별 특징으로 사용될 수 있는 머리의 미세떨림을 검출하는 방법을 제안한다.
또한 머리의 미세떨림을 분석하는 방법을 통해 사진 또는 기타 방식에 의한 사칭자를 적절하게 구분하여 인식할 수 있으며, 머리 미세떨림 패턴에 대해 미리 구성된 병적징후 모델에 사용자의 머리 떨림 패턴을 입력하여 사용자별 병적징후 예측을 수행한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 적어도 일 실시 예에 따르는 사용자 인식방법 및 병적징후 예측방법은, 카메라를 이용하여 사용자의 얼굴 영상을 촬영하는 단계; 상기 영상에서 상기 사용자의 얼굴 영역을 검출하는 단계; 상기 얼굴 영역의 임의의 두 점을 잇는 직선을 검출하는 단계; 상기 영상에서 일정 시간동안 상기 직선의 길이변화를 측정하는 단계; 그리고, 상기 직선의 길이변화에 기초하여, 상기 카메라와 상기 사용자의 얼굴 사이의 거리 변화를 획득하는 단계를 포함할 수 있다.
다른 실시 예에 따르면, 상기 직선은 상기 사용자 얼굴의 폭일 수 있다.
또 다른 실시 예에 따르면, 상기 직선은, 상기 사용자 얼굴의 길이일 수 있다.
또 다른 실시 예에 따르면, 상기 영상이 형성하는 평면에 제1 축을 설정하는 단계; 상기 일정 시간동안, 상기 제1 축 방향으로, 상기 얼굴 영역의 변위를 제1 떨림 정보로 획득하는 단계를 포함할 수 있다.
또 다른 실시 예에 따르면, 상기 영상이 형성하는 평면에 제2 축을 설정하는 단계; 상기 일정 시간동안, 상기 제2 축 방향으로, 상기 얼굴 영역의 변위를 제2 떨림 정보로 획득하는 단계를 포함할 수 있다.
또 다른 실시 예에 따르면, 상기 제1 축과 상기 제2 축은 서로 직교할 수 있다.
또 다른 실시 예에 따르면, 상기 영상이 형성하는 평면에 포함되지 않는 제3 축을 설정하는 단계; 상기 일정 시간동안, 상기 제3 축 방향으로, 상기 얼굴 영역의 변위를 제3 떨림 정보로 획득하는 단계를 포함할 수 있다.
또 다른 실시 예에 따르면, 상기 제3 축은 상기 평면과 서로 직교할 수 있다.
또 다른 실시 예에 따르면, 상기 제1 떨림 정보, 상기 제2 떨림 정보, 상기 제3 떨림 정보 중 적어도 어느 하나를 하이패스필터에 통과시키는 단계를 포함할 수 있다.
또 다른 실시 예에 따르면, 상기 하이패스필터의 차단주파수는 0.5Hz일 수 있다.
또 다른 실시 예에 따르면, 상기 제1 떨림 정보, 상기 제2 떨림 정보, 상기 제3 떨림 정보 중 적어도 어느 하나를 기 저장된 질병의 떨림 정보와 대비하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따르면, 영상을 이용하여 사용자의 머리 미세떨림을 검출하고 떨림 패턴을 분석하여 사용자 인식과 병적 징후를 예측한다. 또한, 사용자 개개인의 병적징후를 기록/관리하는 시스템에 적용할 수 있다.
개인의 고유한 특성인 머리 미세 떨림을 이용하여, 사용자 인식에 적용할 경우 보안성을 높일 수 있다. 본 발명의 실시 예는 카메라 영상을 이용하는 것으로, 다른 생체인식 방법과 병행될 수 있다.
본 발명의 다른 실시 예에 따르면, 사용자의 병리적 상태를 예측하는 시스템을 구축할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1 내지 도 14는 사용자의 얼굴 떨림을 측정하는 방법의 일 예를 나타낸다.
도 15는 사용자를 인식하는 방법을 나타내는 순서도이다.
도 16은 사용자의 병적징후를 예측하는 방법을 나타내는 순서도이다.
도 17은 사용자의 떨림패턴을 측정하여 사용자 인식을 수행하는 방법을 나타내는 순서도이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하의 설명에서 사용되는 높이, 길이, 너비, 폭 등의 용어는 설명의 편의를 위해 혼용될 수 있으며, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
떨림이란 병리적 또는 생리적으로 손, 머리, 기타 신체 부위에서 발생될 수 있다. 떨림은 몸의 일부 또는 전체가 규칙적인 리듬으로 떨림을 의미할 수 있다. 떨림은 이상운동질환 중 하나일 수 있다.
떨림은 사람의 고유한 특성일 수 있다. 떨림을 감지함으로써, 사람을 인식 또는 특정할 수 있다.
도 1을 참조하면, 촬영장치는 사용자를 촬영할 수 있다. 촬영장치는 영상 또는 이미지를 획득할 수 있다. 예를 들어, 촬영장치는 사용자의 머리 또는 얼굴을 촬영할 수 있다. 촬영장치는 카메라라고 칭할 수 있다.
도 2를 참조하면, 촬영장치가 획득한 영상 또는 이미지는 2차원일 수 있다. 2차원의 영상 또는 이미지에 두 개의 좌표축을 설정할 수 있다. 두 개의 좌표축은 서로 평행하지 않을 수 있다. 예를 들어, 두 개의 좌표축은 x축 및 y축일 수 있다. x축과 y축은 서로 직교할 수 있다.
촬영장치가 획득한 영상 또는 이미지를 3차원 좌표계를 도입하기 위해 z축이 설정될 수 있다. z축은 x축 또는 y축과 평행하지 않을 수 있다. 예를 들어, z축은 x축 또는 y축과 직교할 수 있다.
사용자 얼굴에 대해, x축과 나란한 방향을 폭, y축과 나란한 방향을 높이라고 칭할 수 있다. 임의의 시간 t에 대하여, 사용자 얼굴의 임의의 좌표는 (Xt, Yt, Zt)으로 표시될 수 있다. 좌표(Xt, Yt, Zt)는 얼굴의 중심점이라고 칭할 수 있다.
도 3(a)를 참조하면, 시간 t1에 대하여 중심점은 (Xt1, Yt1, Zt1)으로 표시될 수 있다. 도 3(b)를 참조하면, 시간 t2에 대하여 중심점은 (Xt2, Yt2, Zt2)로 표시될 수 있다. 시간 t1가 시간 t2로 경과할 때, x축 또는 y축 좌표의 변화량은 픽셀의 좌표 등을 이용하여 계산할 수 있다. 그러나 영상 또는 이미지에서 z축 좌표의 변화량은 쉽게 측정되지 않으므로, z축 좌표의 변화량을 측정하는 방법이 필요할 수 있다.
이 때, z축 좌표의 변화량을 측정하기 위해, 영상 또는 이미지에 나타난 사용자의 얼굴의 폭 또는 높이를 이용할 수 있다. 시간 t1에서 사용자 얼굴의 폭을 W1, 사용자 얼굴의 높이를 H1라고 할 수 있다. 시간 t2에서 사용자 얼굴의 폭을 W2, 사용자 얼굴의 높이를 H2라고 할 수 있다.
사용자의 머리떨림과 더불어 심인성 요인 등에 의해 얼굴 안면근육의 떨림이 발생할 수 있다. 이러한 떨림을 측정하기 위해 얼굴 영역 내 눈, 입술 등의 검출을 수행하여 상기방법과 동일한 기능으로 떨림패턴 측정할 수 있다.
도 4를 참조하면, 그래프의 가로축은 사용자의 얼굴의 폭을 나타낸 것일 수 있고, 그래프의 세로축은 사용자의 얼굴과 카메라의 거리(distance)를 나타낸 것일 수 있다. 거리(distance)와 얼굴의 폭(W)의 관계는 수학식 1과 같을 수 있다. 거리는 cm 단위일 수 있다. 얼굴의 폭(W)는 카메라가 획득한 이미지 또는 영상으로부터 얻을 수 있다.
Figure 112018070486277-pat00001
도 5를 참조하면, 그래프의 가로축은 카메라와 사용자 얼굴 사이의 거리(distance)를 나타낸 것일 수 있고, 그래프의 세로축은 영상 또는 이미지의 1픽셀의 실제 거리(p)를 나타낸 것일 수 있다. 1픽셀거리(p)와 거리(distance)의 관계는 수학식 2와 같을 수 있다. 거리는 cm 단위일 수 있다. 거리(distance)는 수학식 1로부터 계산된 값일 수 있다.
Figure 112018070486277-pat00002
도 6을 참조하면, 그래프의 가로축은 영상 또는 이미지에서 측정되는 사용자의 얼굴 폭(W)일 수 있고, 그래프의 세로축은 영상 또는 이미지에서 측정되는 얼굴 높이(H)를 나타낸 것일 수 있다. 그래프에 나타나는 측정값들은 직선을 형성할 수 있다. 즉, 카메라와 사용자 얼굴 사이의 거리(distance)가 변하더라도, 얼굴의 폭(W)과 얼굴의 높이(H)의 비는 일정할 수 있다. 따라서, 사용자의 얼굴과 카메라의 거리(distance)를 구하기 위해, 사용자 얼굴의 폭(W) 대신 사용자 얼굴의 높이(H)를 이용할 수도 있다.
도 7을 참조하면, 그래프의 가로축은 시간일 수 있고, 그래프의 세로축은 x축 변위를 나타낸 것일 수 있다. 시간의 단위는 second 일 수 있다. x축 변위의 기준점은 중심점(Xt, Yt, Zt)일 수 있다. 변위의 단위는 cm일 수 있다. 그래프는 x축 떨림 정보 또는 떨림 정보라고 할 수 있다.
도 8을 참조하면, 그래프의 가로축은 시간일 수 있고, 그래프의 세로축은 y축 변위를 나타낸 것일 수 있다. 시간의 단위는 second 일 수 있다. y축 변위의 기준점은 중심점(Xt, Yt, Zt)일 수 있다. 변위의 단위는 cm일 수 있다. 그래프는 y축 떨림 정보 또는 떨림 정보라고 할 수 있다.
도 9을 참조하면, 그래프의 가로축은 시간일 수 있고, 그래프의 세로축은 z축 변위를 나타낸 것일 수 있다. 시간의 단위는 second 일 수 있다. z축 변위의 기준점은 중심점(Xt, Yt, Zt)일 수 있다. 변위의 단위는 cm일 수 있다. 그래프는 z축 떨림 정보 또는 떨림 정보라고 할 수 있다.
도 7 내지 도 9에 나타난 그래프는 사용자 얼굴의 떨림정보와 사용자 머리의 움직임 정보가 함께 나타난 것일 수 있다. 사용자 머리의 움직임 정보는 사용자 머리의 편향정보라고 할 수 있다. 사용자 머리의 움직임 정보는 사용자 머리의 떨림과 구별되는 움직임일 수 있다. 따라서, 사용자 머리의 움직임 정보를 제거함으로써, 사용자 얼굴의 떨림 정보만을 추출할 수 있다. 이를 위해, 도 7 내지 도 9에 나타난 그래프를 필터링할 수 있다. 예를 들어, 0.5Hz 이상의 주파수를 통과시키는 고역통과 필터링을 수행할 수 있다.
도 10을 참조하면, 그래프의 가로축은 시간일 수 있고, 그래프의 세로축은 x축 변위를 나타낸 것일 수 있다. 도 10의 그래프는 도 7의 그래프에서 사용자의 머리 움직임 정보를 제거하고, 사용자 얼굴의 떨림 정보를 추출한 그래프일 수 있다. 시간의 단위는 second 일 수 있다. x축 변위의 기준점은 중심점(Xt, Yt, Zt)일 수 있다. 변위의 단위는 cm일 수 있다. 그래프는 x축 떨림 정보 또는 떨림 정보라고 할 수 있다.
도 11을 참조하면, 그래프의 가로축은 시간일 수 있고, 그래프의 세로축은 y축 변위를 나타낸 것일 수 있다. 도 11의 그래프는 도 8의 그래프에서 사용자의 머리 움직임 정보를 제거하고, 사용자 얼굴의 떨림 정보를 추출한 그래프일 수 있다. 시간의 단위는 second 일 수 있다. y축 변위의 기준점은 중심점(Xt, Yt, Zt)일 수 있다. 변위의 단위는 cm일 수 있다. 그래프는 y축 떨림 정보 또는 떨림 정보라고 할 수 있다.
도 12를 참조하면, 그래프의 가로축은 시간일 수 있고, 그래프의 세로축은 z축 변위를 나타낸 것일 수 있다. 도 12의 그래프는 도 9의 그래프에서 사용자의 머리 움직임 정보를 제거하고, 사용자 얼굴의 떨림 정보를 추출한 그래프일 수 있다. 시간의 단위는 second 일 수 있다. z축 변위의 기준점은 중심점(Xt, Yt, Zt)일 수 있다. 변위의 단위는 cm일 수 있다. 그래프는 z축 떨림 정보 또는 떨림 정보라고 할 수 있다.
도 13을 참조하면, 그래프의 가로축은 시간일 수 있고, 그래프의 세로축은 변위를 나타낸 것일 수 있다. 떨림강도 떨림으로 인한 변위의 크기를 의미할 수 있다. 떨림횟수는 교차기준선과 그래프의 교차횟수를 기준으로 산출할 수 있다. 교차기준선은 x축과 평행한 선일 수 있다. 예를 들어, 교차기준선이 7인 경우, 교차횟수는 14회일 수 있다. 예를 들어, 교차기준선이 -1인 경우, 교차횟수는 22회일 수 있다. 예를 들어, 교차기준선이 -2인 경우, 교차횟수는 22회일 수 있다. 예를 들어, 교차기준선이 -7인 경우, 교차횟수는 10회일 수 있다. 떨림횟수와 교차횟수의 관계는 수학식 3과 같을 수 있다. 떨림강도, 떨림횟수 등은 떨림패턴을 형성할 수 있다.
Figure 112018070486277-pat00003
도 14를 참조하면, 그래프의 -9, -8, -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7, 8 또는 9로 나타낸 값은 변위를 의미할 수 있다. 그래프의 0, 200, 400, 600, 800, 1000 또는 1200은 떨림횟수를 의미할 수 있다. 그래프는 x축, y축 또는 z축 중 어느 하나에 대한 떨림횟수를 나타낸 것일 수 있다. 사용자는 고유의 떨림패턴을 가질 수 있고, 그래프는 사용자마다 고유의 형태로 나타날 수 있다. 따라서, 사용자의 떨림패턴을 분석함으로써, 사용자 인증과 같은 생체인식의 일 예로서 활용될 수 있다.
떨림 또는 진전(tremor) 증상은 특정 패턴을 가질 수 있다. 사용자의 떨림패턴을 분석함으로써, 사용자가 특정 떨림 또는 진전(tremor) 증상을 가지고 있는지 판별할 수 있다.
표 1은 떨림 또는 진전(tremor) 증상에 대한 특징을 나타낸 예시이다.
Figure 112018070486277-pat00004
진전증세는 모든 사람에게서 발견되며 병리학적 진전은 여러 조건에서 발생된다. 떨림의 진폭과 빈도는 진전증세를 특정 짓는 주요 특징으로 사용될 수 있다. 표 1에서와 같이 떨림의 발생조건과 초당 떨림 횟수에 따라 파킨슨병, 본태성, 근긴장, 신경병증성, 외상 후 심인성 등 다양한 병적징후를 예측할 수 있다.
본 발명의 실시 예에 따르면, 사용자를 촬영한 영상으로부터 z축 좌표를 획득함으로써, 사용자의 떨림패턴 인식의 정확성을 높일 수 있다. 사용자의 떨림패턴 인식은 머신러닝으로 구현될 수 있다.
머신러닝 기법을 통해 12명의 인원으로 떨림패턴 인식률을 실험하여, confusion matrix를 작성할 수 있다. 표 2는 x축 및 y축의 떨림패턴을 가지고 인식률을 측정한 결과를 나타낸다.
Figure 112018070486277-pat00005
표 3은 x축, y축 및 z축의 떨림패턴을 가지고 인식률을 측정한 결과를 나타낸다.
Figure 112018070486277-pat00006
실험 결과 x축과 y축을 사용했을 경우 58%의 인식률을 얻을 수 있고, x축, y축 및 z축을 사용한 경우 67%의 인식률을 얻을 수 있다.
또는, 머신러닝 기법 중 SVM(support vector machine)을 이용하여, 12명의 떨림패턴 인식 confusion matrix를 작성할 수 있다. 표 4는 x축 및 y축의 떨림패턴을 가지고 인식률을 측정한 결과를 나타낸다.
Figure 112018070486277-pat00007
표 5은 x축, y축 및 z축의 떨림패턴을 가지고 인식률을 측정한 결과를 나타낸다.
Figure 112018070486277-pat00008
실험 결과 x축과 y축을 사용했을 경우 80%의 인식률을 얻을 수 있고, x축, y축 및 z축을 사용한 경우 100%의 인식률을 얻을 수 있다.
즉, 상하좌우떨림인 x축, y축 정보만을 사용하는 것보다 머리 앞뒤 움직임 정보인 z축을 이용하는 경우, 인식률을 높일 수 있다.
도 15를 참조하면, 순서도는 사용자의 떨림패턴을 측정하여 사용자 인식을 수행하는 방법을 나타낸 것일 수 있다. 카메라로 사용자의 머리 또는 얼굴을 촬영하는 단계를 포함할 수 있다(S1510). 촬영된 영상에서 사용자의 얼굴을 검출하는 단계를 포함할 수 있다(S1530). 사용자 얼굴의 움직임에 대한 3차원 좌표를 획득하는 단계를 포함할 수 있다(S1550). 사용자 얼굴의 미세 떨림을 측정하여 떨림패턴을 획득하는 단계를 포함할 수 있다(S1570). 획득한 떨림패턴과 기 저장된 정보를 대비하여, 사용자를 인식하는 단계를 포함할 수 있다(S1590).
도 16을 참조하면, 순서도는 사용자의 떨림패턴을 측정하여 병적징후를 예측 또는 판단하는 방법을 나타낸 것일 수 있다. 카메라로 사용자의 머리 또는 얼굴을 촬영하는 단계를 포함할 수 있다(S1610). 촬영된 영상에서 사용자의 얼굴을 검출하는 단계를 포함할 수 있다(S1620). 사용자 얼굴의 움직임에 대한 3차원 좌표를 획득하는 단계를 포함할 수 있다(S1630). 사용자 얼굴의 미세 떨림을 측정하여 떨림패턴을 획득하는 단계를 포함할 수 있다(S1640). 획득한 떨림패턴과 기 저장된 병적징후 정보를 대비하는 단계를 포함할 수 있다(S1650). 사용자의 병적징후를 예측하는 단계를 포함할 수 있다(S1660).
도 17은 본 발명의 흐름도를 보여준다. 도 17을 참조하면, 순서도는 사용자의 떨림패턴을 측정하여 사용자 인식을 수행하는 방법을 나타낸 것일 수 있다. 카메라로 사용자의 머리 또는 얼굴을 촬영하는 단계를 포함할 수 있다(S1720). 촬영된 영상에서 사용자의 얼굴을 검출하는 단계를 포함할 수 있다(S1730). 사용자 얼굴의 움직임에 대한 3차원 좌표를 획득하는 단계를 포함할 수 있다(S1740). 사용자 얼굴의 미세 떨림을 측정하여 떨림패턴을 획득하는 단계를 포함할 수 있다(S1750). 획득한 떨림패턴과 기 저장된 정보를 대비하여, 사용자를 인식하는 단계(S1760) 또는 사용자의 병적징후를 예측하는 단계를 포함할 수 있다(S1770).
본 실시 예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims (11)

  1. 영상 정보를 통한 사용자 인식 및 병적징후 예측 시스템에서 수행되는 사용자 인식 및 병적징후 예측방법에 있어서,
    카메라로 사용자의 얼굴 영상을 촬영하는 단계;
    상기 영상에서 상기 사용자의 얼굴 영역을 검출하는 단계;
    일정 시간동안 상기 사용자의 얼굴 영역 내부의 임의의 두 점을 잇는 직선길이를 측정하여 상기 카메라와 상기 사용자의 얼굴 사이의 거리 정보를 획득하는 단계;
    상기 직선길이 및 상기 거리 정보에 기초하여 상기 사용자 얼굴의 떨림정보를 추출하는 단계;
    상기 사용자 얼굴의 떨림 정보에 기초하여 사용자 떨림 패턴을 획득하는 단계;
    상기 사용자 떨림 패턴에 기초하여 상기 사용자를 인식하는 단계;
    상기 사용자 머리의 움직임에 대한 편향정보를 제거하여 미리 저장된 병적징후 정보에 대비하는 단계를 포함하는 사용자 인식 및 병적징후 예측방법.
  2. 제1 항에 있어서,
    상기 카메라와 상기 사용자의 얼굴 사이의 거리 정보를 획득하는 단계에 있어서,
    상기 직선길이는,
    상기 사용자 얼굴의 폭 및 상기 사용자 얼굴의 길이를 포함하는 것을 특징으로 하는 사용자 인식 및 병적징후 예측 방법.
  3. 제2 항에 있어서,
    상기 카메라와 상기 사용자의 얼굴 사이의 거리 정보를 획득하는 단계는, 상기 사용자 얼굴의 폭의 변화 또는 상기 사용자 얼굴의 길이 변화 중 적어도 어느 하나에 기초하여 상기 카메라와 상기 사용자의 얼굴 사이의 거리 변화를 계산하는 단계를 포함하는 것을 특징으로 하는 사용자 인식 및 병적징후 예측 방법.
  4. 제1 항에 있어서,
    상기 직선길이 및 상기 거리 정보에 기초하여 상기 사용자 얼굴의 떨림정보를 추출하는 단계는,
    상기 영상이 형성하는 평면에 제1, 2, 3 축을 설정하는 단계;
    상기 일정 시간동안, 상기 제1, 2, 3 축 방향으로, 상기 얼굴 영역의 변위를 제1, 2, 3 떨림 정보로 획득하는 단계를 포함하는 사용자 인식 및 병적징후 예측 방법.
  5. 제4 항에 있어서,
    상기 제1, 2, 3 축은 서로 직교하는 것을 특징으로 하는 사용자 인식 및 병적징후 예측 방법.
  6. 제5 항에 있어서,
    상기 제1, 2, 3 떨림 정보 중 적어도 어느 하나를 하이패스필터에 통과시키는 단계를 포함하는 사용자 인식 및 병적징후 예측 방법.
  7. 제6 항에 있어서,
    상기 하이패스필터의 차단주파수는 0.5Hz인 사용자 인식 및 병적징후 예측 방법.
  8. 제1 항에 있어서,
    상기 사용자 얼굴의 떨림 패턴은,
    떨림으로 인한 변위의 크기에 대응하는 떨림강도 및 상기 변위의 크기 중 적어도 어느 하나를 기준으로 측정한 교차횟수에 대응하는 떨림횟수를 포함하는 것을 특징으로 하는 사용자 인식 및 병적징후 예측 방법.
  9. 삭제
  10. 삭제
  11. 삭제
KR1020180082956A 2018-07-17 2018-07-17 사용자 인식방법 및 병적징후 예측방법 KR102241483B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180082956A KR102241483B1 (ko) 2018-07-17 2018-07-17 사용자 인식방법 및 병적징후 예측방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180082956A KR102241483B1 (ko) 2018-07-17 2018-07-17 사용자 인식방법 및 병적징후 예측방법

Publications (2)

Publication Number Publication Date
KR20200008820A KR20200008820A (ko) 2020-01-29
KR102241483B1 true KR102241483B1 (ko) 2021-04-19

Family

ID=69322387

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180082956A KR102241483B1 (ko) 2018-07-17 2018-07-17 사용자 인식방법 및 병적징후 예측방법

Country Status (1)

Country Link
KR (1) KR102241483B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230013468A (ko) 2021-07-19 2023-01-26 서울대학교병원 딥러닝 기반의 입천장심장얼굴 증후군(vcfs) 진단 지원 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017503276A (ja) * 2014-01-02 2017-01-26 イリテック インコーポレイテッド 顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101757431B1 (ko) * 2015-11-10 2017-07-12 상명대학교산학협력단 안면 미동 기반 심장 정보 추출 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017503276A (ja) * 2014-01-02 2017-01-26 イリテック インコーポレイテッド 顔構成要素距離を用いた虹彩認識用イメージの取得装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230013468A (ko) 2021-07-19 2023-01-26 서울대학교병원 딥러닝 기반의 입천장심장얼굴 증후군(vcfs) 진단 지원 시스템 및 방법

Also Published As

Publication number Publication date
KR20200008820A (ko) 2020-01-29

Similar Documents

Publication Publication Date Title
Hernandez-Ortega et al. Time analysis of pulse-based face anti-spoofing in visible and NIR
Li et al. Generalized face anti-spoofing by detecting pulse from face videos
WO2019127365A1 (zh) 人脸活体检测方法、电子设备和计算机程序产品
CN107831907A (zh) 基于步态识别的身份认证方法及装置
CN108369785A (zh) 活性检测
CN107438173A (zh) 视频处理装置、视频处理方法和存储介质
Kovač et al. Human skeleton model based dynamic features for walking speed invariant gait recognition
Yamada et al. Can saliency map models predict human egocentric visual attention?
JP6727469B1 (ja) 情報処理装置、プログラム及び情報処理方法
CN108932504A (zh) 身份认证方法、装置、电子设备及存储介质
Tao et al. A comparative home activity monitoring study using visual and inertial sensors
JP2019514102A (ja) 深度画像を用いた行動パターン分析システム及び方法
KR102241483B1 (ko) 사용자 인식방법 및 병적징후 예측방법
JP6866840B2 (ja) 瞳孔検出装置および検出システム
CN112417977B (zh) 一种目标对象查找方法和终端
Gold et al. The efficiency of biological motion perception
Ali et al. Spoofing attempt detection using gaze colocation
IT202100002744A1 (it) Sistema per la verifica dell’autenticita’ di una persona mediante riconoscimento facciale
KR20160068281A (ko) 객체 인식 방법
Jost et al. Contribution of depth to visual attention: comparison of a computer model and human behavior
CN109492585B (zh) 一种活体检测方法和电子设备
An et al. Support vector machine algorithm for human fall recognition kinect-based skeletal data
KR20200049936A (ko) 생체 인식 장치 및 방법
CN106611417A (zh) 将视觉元素分类为前景或背景的方法及装置
JP2016139353A (ja) 画像判定装置および画像判定方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant