KR102166010B1 - 얼굴인식을 이용한 인지장애 판단 방법 및 시스템 - Google Patents

Abstract

본 발명은 인지장애 판단 시스템 및 방법에 관한 기술이다. 상기 인지장애 판단 방법은, (a) 사용자 단말기에 구비된 카메라를 이용하여 촬영된 영상을 획득하는 단계, (b) 상기 영상에 포함된 사용자의 얼굴 각 부위에 매칭되는 복수 개의 점을 추출하는 단계, (c) 상기 복수 개의 점에 대한 위치변화 데이터를 생성하는 단계, (d) 상기 생성된 위치변화 데이터를 기초로, 상기 사용자의 안면근육의 움직임 또는 눈의 움직임을 추출하는 단계, 및 (e) 추출된 상기 안면근육의 움직임 또는 상기 눈의 움직임을 기초로 인지장애여부를 판단하는 단계를 포함한다.

Description

얼굴인식을 이용한 인지장애 판단 방법 및 시스템{System and method for determining cognitive impairment using face recognization}

본 발명은 사용자 단말기를 통해 촬영된 영상 분석을 통한 얼굴인식을 기초로 사용자의 인지장애여부를 판단하고 해당 사용자에게 적합한 치료 프로그램을 제공하기 위한 인지장애 판단 시스템 및 방법에 관한 기술이다.

종래에는 상담이나 관찰만으로 소아의 자폐스펙트럼장애 또는 주의력결핍과잉행동장애(ADHD) 등 같은 뇌질환을 진단하는 것이 일반적이었다.

소아에 대한 뇌질환 진단은 소아의 발달 및 성장에 큰 영향을 미칠 뿐 아니라, 소아가 해당하는 질환의 종류에 따라 다른 처방이 이루어져야 하기 때문에 매우 신중하게 이루어져야 한다.

다만, 짧은 시간 상담이나 단편적인 관찰로 진단이 이루어지는 경우, 실제 소아가 해당하지 않는 뇌질환으로 오진이 발생할 수 있다. 각각의 뇌질환은 서로 다른 처방이 이루어지므로, 이러한 오진은 소아의 장래에 큰 악영향을 줄 수 있다.

최근에는 정밀하고 정확도 높은 진단 방법에 대한 다양한 연구가 수행되고 있다. 혈액에 포함된 대사산물의 특이 패턴을 빅데이터 기술로 분석하여 자폐 진단을 하거나, MRI 등의 뇌영상 촬영 기술을 이용하여 자폐 또는 ADHD 등을 예측하는 모델 등이 연구되고 있다.

그러나 이러한 기술들은 뇌질환이 의심되는 초기 수준에서는 판단이 용이하지 않아 뇌질환의 진단이 늦어지고 그에 따라 조기 치료 시기를 놓치게 되는 문제점이 있었다. 또한, 이들 방법은 정확성도 높지 않아 다른 보조적인 진단 알고리즘이 요구된다는 문제가 있다.

삭제

일본 공개특허공보 특개2013-223713호(2013.10.31)

본 발명의 목적은, 사용자의 인지장애여부를 정확히 판단하고, 사용자에게 적절한 인지장애 치료 프로그램을 제공하기 위한 것이다.

또한, 본 발명의 다른 목적은, 일반 사용자가 접근하기 쉬운 휴대용 단말기를 이용하여 인지장애여부를 판단하고 치료 프로그램을 제공함으로써, 사용자의 접근성을 높이고 인지장애를 조기에 치료하기 위한 것이다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 발명에 따른 인지장애 판단 방법은, (a) 사용자 단말기에 구비된 카메라를 이용하여 촬영된 영상을 획득하는 단계, (b) 상기 영상에 포함된 사용자의 얼굴 각 부위에 매칭되는 복수 개의 점을 추출하는 단계, (c) 상기 복수 개의 점에 대한 위치변화 데이터를 생성하는 단계, (d) 상기 생성된 위치변화 데이터를 기초로, 상기 사용자의 안면근육의 움직임 또는 눈의 움직임을 추출하는 단계, 및 (e) 추출된 상기 안면근육의 움직임 또는 상기 눈의 움직임을 기초로 인지장애여부를 판단하는 단계를 포함한다.

또한, 상기 (e) 단계는, 상기 안면근육의 움직임 또는 상기 눈의 움직임을 기초로, 미리 설정된 기준에 따라 상기 사용자의 감정상태를 판단하는 단계와, 사전학습된 머신러닝 학습부에서, 상기 감정상태의 변화 순서, 상기 감정상태의 변화 속도, 및 상기 감정상태의 변화 강도에 대한 입력에 대응하여, 상기 사용자의 인지장애확률을 출력하는 단계를 포함할 수 있다.

또한, 상기 인지장애확률은, 복수의 인지장애종류에 대한 각각의 확률을 포함하고, 상기 (e) 단계는, 상기 복수의 인지장애종류에 대한 각각의 확률을 기초로, 상기 사용자의 인지장애종류와 인지장애여부를 판단하는 단계와, 상기 판단된 인지장애종류에 따라 서로 다른 치료 프로그램을 제공하는 단계를 더 포함할 수 있다.

또한, 상기 (e) 단계는, 상기 안면근육의 움직임 또는 상기 눈의 움직임을 기초로, 안면근육 이동 패턴 또는 안구 이동 패턴을 추출하는 단계와, 사전학습된 머신러닝 학습부에서, 상기 안면근육 이동 패턴 또는 상기 안구 이동 패턴의 입력을 기초로, 사용자의 인지장애종류 및 인지장애확률을 출력하는 단계를 포함하되, 상기 안면근육 이동 패턴 또는 상기 안구 이동 패턴은, 상기 사용자 단말기를 통해 사용자에게 자극을 인가하였을 때 상기 자극에 대한 눈동자 또는 안면근육의 이동 반경, 상기 자극에 대한 반응 속도, 및 상기 자극에 대한 반응 정확도를 포함할 수 있다.

또한, 상기 머신러닝 학습부는, 입력노드에 인가되는 상기 안면근육 이동 패턴 또는 상기 안구 이동 패턴과, 출력노드에 인가되는 상기 인지장애종류 및 상기 인지장애확률에 의해 반복 학습될 수 있다.

또한, 상기 (e) 단계는, 상기 (a) 단계 내지 상기 (d) 단계가 복수의 사용자에 의해 반복 수행되면서 추출된 복수의 패턴을, 해당 사용자의 생년월일에 따라 그룹핑하는 단계와, 그룹핑된 각각의 그룹에 포함된 패턴을 기초로 상기 머신러닝 학습부를 학습시키는 단계를 더 포함할 수 있다.

또한, 상기 (e) 단계는, 상기 그룹에 포함된 각각의 패턴의 크기를 모두 동일하게 리스케일하는 단계를 더 포함할 수 있다.

또한, 상기 (e) 단계는, 상기 안면근육의 움직임 또는 상기 눈의 움직임을 기초로, 안면근육 이동 패턴 또는 안구 이동 패턴을 추출하는 단계와, 사전학습된 머신러닝 학습부에서, 상기 안면근육 이동 패턴 또는 상기 안구 이동 패턴의 입력을 기초로, 사용자의 각 인지영역에 대한 인지발달나이를 출력하는 단계와, 상기 출력된 인지발달나이와 상기 사용자의 실제나이의 차이를 기초로, 상기 사용자의 인지발달종류 및 인지장애여부를 판단하는 단계를 포함할 수 있다.

또한, (f) 상기 인지장애여부에 대한 판단과 전문 임상데이터를 비교함으로써, 인지장애 판단에 대한 정확도를 분석하고, 상기 판단의 결과에 상기 전문 임상데이터를 태깅하는 단계를 더 포함할 수 있다.

본 발명에 따른 인지장애 판단 시스템은, 사용자 단말기에 구비된 카메라를 이용하여 촬영된 영상을 수신하는 통신부, 상기 통신부에서 수신한 상기 영상을 기초로, 안면근육 이동 패턴, 안구 이동 패턴, 또는 감정 상태의 변화 패턴에 대한 파라미터를 산출하는 파라미터 생성부, 상기 파라미터를 학습 인자로 입력받고, 이에 대한 출력으로 사용자의 인지장애여부에 대한 확률을 출력하는 머신러닝 학습부, 및 상기 인지장애여부에 대한 확률과 미리 정해진 기준 범위를 기초로, 상기 인지장애여부에 대한 판단을 수행하는 제어부를 포함한다.

또한, 상기 머신러닝 학습부는, 상기 안면근육 이동 패턴, 상기 안구 이동 패턴, 또는 상기 감정상태 변화 패턴이 인가되는 입력노드를 포함하는 입력 레이어와, 상기 인지장애여부에 대한 확률이 인가되는 출력노드를 포함하는 출력 레이어와, 상기 입력 레이어와 상기 출력 레이어 사이에 배치되는 하나 이상의 히든 레이어를 포함하고, 상기 입력노드와 상기 출력노드 사이의 노드 및 에지의 가중치는 상기 머신러닝 학습부의 학습 과정에 의해 업데이트될 수 있다.

또한, 상기 입력 레이어는, 상기 사용자의 생년월일에 따라 그룹핑된 그룹 카테고리, 사용자의 생활로그 및 보호자의 설문조사 데이터를 포함하는 환경 데이터가 인가되는 입력노드를 더 포함하고, 상기 안면근육 이동 패턴 또는 상기 안구 이동 패턴은, 상기 사용자 단말기를 통해 사용자에게 자극을 인가하였을 때 상기 자극에 대한 눈동자 또는 안면근육의 이동 반경, 상기 자극에 대한 반응 속도, 및 상기 자극에 대한 반응 정확도를 포함하고, 상기 감정상태 변화 패턴은, 상기 사용자의 감정상태의 변화 순서, 상기 감정상태의 변화 속도, 및 상기 감정상태의 변화 강도를 포함할 수 있다.

또한, 상기 머신러닝 학습부는, 베이즈 뉴럴 네트워크(Bayesian Neural Network; BNN), 컨벌루셔널 뉴럴 네트워크(Convolutional Neural Network; CNN), 순환형 뉴럴 네트워크(Recurrent Neural Network; RNN) 또는 딥 뉴럴 네트워크(Deep Neural Network; DNN) 중 어느 하나의 구조를 포함할 수 있다.

본 발명에 따른 인지장애 판단 시스템 및 방법은, 사용자의 인지장애여부에 대한 판단 정확도를 높임으로써, 사용자에게 적절한 인지장애 치료 프로그램을 조기에 제공할 수 있고, 이를 통해 인지장애를 효과적으로 치료할 수 있다.

또한, 본 발명에 따른 인지장애 판단 시스템 및 방법은, 일반 사용자가 접근하기 쉬운 휴대용 단말기를 이용하여 인지장애여부를 판단함으로써, 인지장애 판단 서비스의 가격을 낮출 수 있고, 다양한 국가 또는 다양한 소득수준의 사용자들에게 서비스를 널리 보급할 수 있다.

본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.

도 1은 본 발명의 일 실시예에 따른 인지장애 판단 시스템을 나타내는 개략도이다.
도 2는 도 1의 인지장애 판단 서버를 설명하기 위한 블럭도이다.
도 3은 도 2의 파라미터 생성부를 설명하기 위한 블럭도이다.
도 4는 본 발명의 실시예에 따른 안면인식기술을 나타내는 개략도이다.
도 5는 도 2의 머신러닝 학습부를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 인지장애 판단 서버의 머신러닝 학습부를 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 인지장애 판단 서버의 머신러닝 학습부를 설명하기 위한 도면이다.
도 8 및 도 9는 본 발명의 또 다른 실시예에 따른 인지장애 판단 서버의 머신러닝 학습부를 설명하기 위한 도면이다.
도 10은 본 발명의 몇몇 실시예에 따른 인지장애 판단 방법을 설명하기 위한 순서도이다.
도 11은 본 발명의 일 실시예에 따른 인지장애 판단 방법을 설명하기 위한 순서도이다.
도 12는 본 발명의 다른 실시예에 따른 인지장애 판단 방법을 설명하기 위한 순서도이다.
도 13은 본 발명의 또 다른 실시예에 따른 인지장애 판단 방법을 설명하기 위한 순서도이다.
도 14는 본 발명의 몇몇 실시예에 따른 인지장애 판단 방법이 수행되는 컴퓨터 시스템의 일 예를 나타내는 블럭도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.

이하에서, 도 1 내지 도 14를 참조하여 본 발명의 실시예에 따른 인지장애 판단 시스템 및 방법에 대해 살펴보도록 한다.

도 1은 본 발명의 일 실시예에 따른 인지장애 판단 시스템을 나타내는 개략도이다.

도 1을 참조하면, 본 발명의 몇몇 실시예에 따른 인지장애 판단 시스템은 인지장애 판단 서버(100)와 사용자 단말기(200)로 구성될 수 있다.

추가적으로, 인지장애 판단 시스템은 의료 기관 서버(300)로부터 전문 임상데이터를 수신하여 이용할 수 있다.

인지장애 판단 서버(100)와 사용자 단말기(200)는 서버-클라이언트 시스템으로 구현될 수 있다. 이때, 인지장애 판단 서버(100)는 인지장애 판단 방법을 수행하는 수행주체가 될 수 있다. 인지장애 판단 서버(100)는 유무선 네트워크를 통해 사용자 단말기(200)와 데이터를 송수신할 수 있다.

도면 상에는 하나의 사용자 단말기(200)만을 도시하였으나, 본 발명이 이에 한정되는 것은 아니며, 인지장애 판단 서버(100)는 복수의 사용자 단말기(200)와 각각 데이터를 송수신할 수 있다.

인지장애 판단 서버(100)는 각각의 사용자 단말기(200)로부터 수집된 데이터들에 기초한 빅데이터 분석기술을 이용하여 각 사용자의 발달상황을 분석하고, 이를 통해 사용자의 장애유형을 구분할 수 있다. 이 과정에서 인지장애 판단 서버(100)는 각 사용자의 데이터를 이용하여 학습된 인공지능 기술(머신러닝(Machine learning) 또는 딥러닝(Depp Learning))을 이용하여 인지장애여부를 판단할 수 있다. 머신러닝 또는 딥러닝을 이용한 학습 모듈에 대한 구체적인 설명은 도 5 내지 도 9를 참조하여 자세히 후술하도록 한다.

이하에서는 인지장애 판단 시스템이 각각의 사용자(특히, 소아)의 발달상황을 진단하고 이를 기초로 각 사용자들에게 적절한 치료 프로그램을 제공하는 과정을 단계적으로 설명한다.

구체적으로, 인지장애 판단 시스템은 사용자의 발달상황을 진단하는데 지표가 될 수 있는 각종 데이터를 수집한다. 이때 수집되는 데이터를 이하에서 '발달지표 데이터'라고 표현한다. 이를 위해, 인지장애 판단 시스템은 상술한 사용자 단말기(200)의 사용자에게 게임 또는 학습 프로그램을 통해 설정된 과제를 수행하도록 할 수 있다. 과제를 수행하는 과정에서 인지장애 판단 시스템은 사용자의 발달지표 데이터를 수집할 수 있다.

발달지표 데이터에는 사용자의 동공의 움직임을 추적하거나 사용자의 안면근육의 변화를 추적하기 위해 사용자의 안면을 촬영함으로써 획득된 안면 영상 데이터가 포함될 수 있다. 이때, 인지장애 판단 시스템 및 방법은 안면 영 상 데이터를 분석하여 사용자의 동공의 움직임을 추적함으로써 시각 자극에 대한 사용자의 눈동자 반응을 확인하고, 사용자의 눈동자 반응에 특정 뇌질환 해당 여부를 판별할 수 있는 패턴이 포함되어 있는지 여부를 확인할 수 있다.

또한, 인지장애 판단 시스템은 안면 영상 데이터에 기초하여 사용자의 안면근육의 변화를 관찰하여 사용자의 감정을 추정하고 이로부터 마찬가지로 특정 뇌질환 해당 여부를 판별할 수 있는 패턴이 포함되어 있는지 여부를 확인할 수 있다.

더욱 구체적으로, 인지장애 판단 서버(100)는 사용자 단말기(200)로부터 촬영된 영상 데이터를 수신한다.

이때, 사용자 단말기(200)는 사용자가 포함된 영상을 촬영할 수 있다. 사용자 단말기(200)는 내부에 구비된 카메라 등의 구성요소를 이용하여 사용자의 영상을 촬영할 수 있다.

이때, 사용자 단말기(200)는 휴대폰 등의 이동 통신 장치가 될 수 있으나, 이에 한정되는 것은 아니며, 노트북(laptop), PC(Personal computer), PDA(Personal Digital Assistant), HPC(Handheld PC), 웹패드(WebPad), 태블릿 PC(Tablet PC), 등 통신 포트를 갖는 다양한 형태의 정보단말기가 될 수 있다. 사용자 단말기(200)는 통신 포트를 이용하여 인터넷 또는 네트워크 접속이 가능하다.

인지장애 판단 서버(100)와 사용자 단말기(200)는 정보 통신망(500)을 이용하여 데이터를 송수신 할 수 있다. 여기에서, 정보 통신망(500)은 복수의 전자기기 간에 기 설정된 통신 프로토콜을 이용하여 데이터를 전송할 수 있다. 기 설정된 통신 프로토콜은, TCP/IP 프로토콜, IEEE 802.11에 따르는 프로토콜 및 WAP 프로토콜 중 어느 하나일 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다. 사용자 단말기(200)에서 촬영된 영상은 인지장애 판단 서버(100)에 전달된다.

이어서, 인지장애 판단 서버(100)는 영상에 포함된 사용자 얼굴의 각 부위에 매칭되는 복수 개의 점을 추출한다.

이어서, 인지장애 판단 서버(100)는 수신된 영상에 포함된 사용자 얼굴의 각 구성요소 상에 복수 개의 점을 위치시킬 수 있다. 이때, 사용자 얼굴은 눈, 코, 입, 얼굴 윤곽 등으로 구성될 수 있으며, 각각의 점들은 얼굴의 각 구성요소에 배치되어 얼굴의 움직임에 따라 함께 움직일 수 있다.

한편, 본 발명의 일 실시예에 따르면, 인지장애 판단 서버(100)는 얼굴의 각 구성요소에 100개 이상 300개 미만의 점들을 배치시킬 수 있다. 예를 들어, 인지장애 판단 서버(100)는 수신된 영상에 포함된 얼굴의 각 구성요소에 188개의 점을 배치시킨다. 이를 통해, 인지장애 판단 서버(100)는 안면 근육의 움직임과 눈의 움직임을 더욱 섬세하게 추출할 수 있다.

인지장애 판단 서버(100)는 표정의 변화에 따라 변화되는 각 점의 움직임에 대한 데이터를 생성한다. 즉, 인지장애 판단 서버(100)는 복수 개의 점에 대한 위치변화 데이터를 생성한다.

이어서, 생성된 위치변화 데이터를 기초로, 인지장애 판단 서버(100)는 사용자의 안면근육의 움직임 또는 눈의 움직임을 추출한다. 인지장애 판단 서버(100)는 복수 개의 점에 대한 위치변화 데이터를 이용하여 사용자의 안면근육의 움직임에 대한 패턴(이하, 안면근육 이동 패턴)을 추출하거나, 눈의 움직임에 대한 패턴(이하, 안구 이동 패턴)을 추출할 수 있다.

이어서, 인지장애 판단 서버(100)는 추출된 안면근육 이동 패턴 또는 안구 이동 패턴을 기초로 인지장애여부를 판단한다.

여기에서, 안면근육 이동 패턴 또는 안구 이동 패턴은, 자극에 대한 반응 통제(즉, 자극에 따른 눈동자 외곽선의 이동 좌표), 자극에 대한 반응 속도, 시선의 정확도 등에 대한 정량적인 값을 포함할 수 있다. 인지장애 판단 서버(100)는 안면근육 이동 패턴 또는 안구 이동 패턴에서 추출된 정량적인 값을 인지장애 판단에 대한 기준값와 비교하여 인지장애여부를 판단할 수 있다.

이때, 인지장애 판단 서버(100)에서 판단 가능한 인지장애의 종류에는 ADHD(Attention-Deficit/Hyperactivity Disorder), ASD(Autism Spectrum Disorder), 경계선 지능장애(At risk; AR), MMR(Mild Mental Retardation), EMR(Educable Mental Retardation), LD(Learning Disabilities) 등이 있다. 다만, 이는 몇몇 예시에 불과하며 본 발명이 이에 한정되는 것은 아니다.

한편, 인지장애 판단 서버(100)는 안면근육의 움직임 또는 눈의 움직임을 기초로 사용자의 감정상태를 판단할 수 있다.

구체적으로, 인지장애 판단 서버(100)는 자극에 따른 눈 외곽선, 입꼬리, 입의 크기 등의 변화를 기초로 사용자의 감정상태(예를 들어, 기쁨, 슬픔, 놀람, 화남)를 판단할 수 있다. 이때, 판단된 사용자의 감정상태는 안면근육 이동 패턴 또는 안구 이동 패턴에 태깅(tagging)되어 이용될 수 있다.

이어서, 인지장애 판단 서버(100)는 사용자의 감정상태 변화 패턴을 추출할 수 있다. 여기에서, 감정상태 변화 패턴은, 감정상태의 변화 순서(예를 들어, 기쁨에서 슬픔을 거쳐 화남 상태로 변하는 패턴), 감정상태의 변화 속도(예를 들어, 자극에 대한 감정 변화 속도), 및 감정변화의 변화 강도(예를 들어, 근육 좌표의 이동 길이를 기초로 판단)를 포함할 수 있다.

이어서, 인지장애 판단 서버(100)는 추출된 감정상태 변화 패턴을 기초로 사용자의 인지장애여부 및/또는 인지장애확률을 계산할 수 있다.

이어서, 사용자가 인지장애가 있는 것으로 판단되는 경우, 인지장애 판단 서버(100)는 해당 인지장애의 종류를 기초로 추천 치료 프로그램을 선정할 수 있다. 선정된 치료 프로그램은 해당 사용자의 사용자 단말기(200)에 제공될 수 있다.

또한, 인지장애 판단 서버(100)는 판단된 인지장애여부와, 의료 기관 서버(300)에서 입력된 전문 임상데이터를 비교함으로써, 인지장애에 대한 정확도를 산출할 수 있다.

또한, 인지장애 판단 서버(100)는 해당 인지장애여부에 대한 판단 결과에 수신된 전문 임상데이터를 태깅(tagging)할 수 있다. 태깅된 전문 임상데이터는 참고자료로 사용자에게 제공되거나, 이후 인지장애 판단을 위한 객관적 분류 기준으로 이용될 수 있다.

추가적으로, 인지장애 판단 시스템에서 수집되는 발달 지표 데이터는, 게임 프로그램이나 학습 프로그램이 제공하고 있는 과제의 현재 제공 상태와 동기되어 수집될 수 있다. 즉, 특정 발달지표 데이터가 수집될 때 사용자가 제공받고 있는 과제와 과제 수행 상황이 함께 동기되어 저장됨으로써 정확한 발달지표 데이터 분석이 이루어지도록 할 수 있다.

나아가, 인지장애 판단 시스템은 사용자에게 게임 또는 학습 프로그램 형식으로 제공된 과제에 대한 사용자의 수행 결과에 기초하여 8가지 인지 영역에 대한 발달 데이터를 수집할 수 있으며, 이러한 발달 데이터는 상술한 발달 지표 데이터의 하나로서 기능할 수 있다.

여기에서, 8가지 인지영역은 지각속도력, 공간지각력, 수리력, 창의력, 시각적 변별력, 기억력, 구성력, 추론력 등을 포함할 수 있다. 인지장애 판단 서버(100)는 이러한 능력을 평가하는데 기초가 될 수 있는 과제를 사용자에게 제시하고 그에 대한 수행 결과를 사용자로부터 수신함으로써 상술한 발달 데이터를 수집하고 분석할 수 있다.

이때, 발달지표 데이터에는 환경 데이터가 포함될 수 있다.

환경 데이터에는 사용자의 생활로그가 포함될 수 있으며, 이러한 생활로그는 사용자의 수면시간이나 운동시간 등 생활패턴에 대한 정보를 포함할 수 있다. 사용자의 생활로그는 사용자 단말기(200)의 움직임이나 사용패턴에 기초하여 추정될 수 있고, 또는 사용자나 보호자가 매일의 생활을 기록함으로써 수집될 수 있다.

또한, 환경 데이터에는 보호자의 생활로그도 포함될 수 있다. 구체적으로 보호자의 생활로그는 부모 등 보호자에게 설문조사 형식의 질의를 제공하고 이에 대한 답변을 입력받아 수집될 수 있으나, 반드시 그러한 것은 아니고 보호자용 의 애플리케이션을 따로 배포하고 보호자의 단말기의 사용패턴에 기초하여 추정될 수 있다.

정리하면, 인지장애 판단 시스템은, 위와 같은 발달지표 데이터 중 적어도 일부를 수집할 수 있고, 수집된 발달지표 데이터를 분석하여 사용자의 뇌질환 해당 여부, 예를 들어 자폐스펙트럼장애나 ADHD와 같은 인지장애 해당 여부를 판별하거나, 해당 가능성에 대한 분석 결과를 도출할 수 있다.

예를 들어, 위에 설명한 여러가지 발달지표 데이터 중 8가지 인지영역에 대한 발달 데이터는, 발달장애가 없는 정상인과 ADHD 환자 사이에서 아래 그 림에 도시된 바와 같은 차이점을 나타낼 수 있다.

따라서, 인지장애 판단 시스템은 하나의 사용자에 대하여 수집된 각각의 발달지표 데이터들이 특정 발달장애 환자들의 발달지표 데이터에서 나타나는 특징을 갖는지 비교 분석함으로써 사용자의 장애 해당 여부를 진단하거나 장애진단 의사결정에 가이드가 될 정보를 도출할 수 있다.

또한, 인지장애 판단 시스템은 해당 사용자의 발달지표 데이터 분석 결과를 전문가에게 제공할 수 있다. 인지장애 판단 시스템은 분석 결과 보고서를 사용자가 지정한 전문가가 소속된 의료 기관 서버(300)에 전송할 수 있다. 또한, 인지장애 판단 시스템은 주기적으로 사용자에 대해 수집되는 발달지표 데이터의 분석결과를 의료 기관 서버(300)에 전송할 수 있다. 이에 따라 의료 전문가는 인지장애 판단 시스템이 제공한 분석결과에 기초하여 사용자가 해당하는 장애를 진단할 수 있다.

한편, 인지장애 판단 시스템은 사용자의 장애를 진단하거나 장애 진단의 의사결정을 지원하기 위한 정보를 전문가에게 제공한 후, 전문가 진단이 확정되면 사용자의 재활에 필요한 치료 프로그램을 제공할 수 있다.

이때 치료 프로그램은 상술한 발달지표 데이터를 수집하기 위해 사용자에게 제공되었던 게임 또는 학습 프로그램을 통해 제공될 수 있다.

예를 들어, 게임 또는 학습 프로그램을 통해 사용자에게 과제를 제공함으로써 발달지표 데이터를 수집하였던 것처럼 인지장애 치료에 도움이 되는 과제를 선정하여 사용자에게 제공하여 인지장애 치료를 위한 과제 수행 과정에서 훈련이 이루어지도록 할 수 있다.

이와 동시에, 인지장애 판단 시스템은 치료 프로그램으로써 사용자에게 제공된 과제의 수행 과정에서 다시 발달지표 데이터를 수집하고 분석함으로써, 진단과 재활이 순환적이고 지속적으로 이루어지도록 할 수 있다.

물론 특정 장애가 진단되지 않더라도 각 사용자의 발달지표 데이터 분석 결과에 기초할 때 특정 훈련이 요구된다고 판단되면, 그에 대응하는 과제를 상술한 사용자 단말기(200)에 설치된 게임 또는 학습 프로그램을 통해 제공할 수 있다.

예를 들어, 장애 진단 결과, 또는 발달지표 데이터 분석 결과 사용자에게 운동 치료가 필요하다고 판단되면, 인지장애 판단 시스템은 사용자에게 필요한 운동 동작을 유도하는 과제를 제공할 수 있다.

일례로 사용자의 장애 진단 결과 또는 모션데이터 분석 결과를 전문가, 예를 들어 운동치료 전문가에게 제공하고 운동치료 전문가가 해당 진단 결과나 분석 결과에 기초하여 해당 사용자에게 필요한 운동 동작을 직접 모션 인식 장치를 이용하여 시행하거나, 기설정된 운동 동작 중 선택하도록 할 수 있다. 그리고 인지장애 판단 시스템은 운동치료 전문가가 직접 시행하거나 선택한 운동 동작을 포함하는 율동 과제, 예를 들어 캐릭터가 동요에 맞춰 율동을 하고 아동이 따라 하도록 하는 과제를 사용자 단말기(200)에 제공할 수 있다.

이때, 사용자 단말기(200) 또는 사용자 단말기(200)에 통신연결된 웨어러블 디바이스 등의 모션인식 가능한 장치로 사용자가 해당 과제를 얼마나 정확히 수행하는지 여부를 감지하고 적절한 보상을 제공하여, 사용자로 하여금 운동 과제를 자율적으로 수행할 수 있는 동기를 제공할 수 있다.

이어서, 상술한 바와 같이 재활을 위한 운동 과제의 수행 결과를 다시 발달지표 데이터로 수집함으로써, 사용자의 재활 상태를 파악하고 다음 운동 과제를 선정하는데 기초로 이용할 수 있다.

또한 다른 예로서, 인지장애 판단 시스템은 안면근육의 움직임이나 동공 움직임을 통해 사용자의 감정상태를 분석한 결과를 심리치료 전문가 등에게 전송할 수 있다. 심리치료 전문가는 분석 결과에 기초하여 사용자의 심리상태에 적합한 감성 동화나 음악, 운동 등의 추천 정보를 인지장애 판단 시스템에 입력할 수 있다. 인지장애 판단 시스템은 전문가가 입력한 추천 정보에 기초한 동화나 음악, 운동 등의 과제를 해당 사용자에게 제공하여 재활 치료가 이루어지도록 할 수 있다. 이때에도 과제 수행에 따른 발달지표 데이터를 다시 수집하여 다음 치료에 활용되도록 할 수 있다.

또한, 인지장애 판단 시스템은 부모 등 보호자의 생활로그나 아동의 생활로그를 참조하여 아동이나 보호자에게 추천되는 생활 패턴 등에 대한 정보나 교육 콘텐트를 제공할 수 있다.

나아가, 인지장애 판단 시스템은 인지영역에 대한 발달 데이터를 참조하여 사용자에게 취약한 인지영역을 발달시킬 수 있는 과제를 선정하여 제공할 수 있다.

이로써 인지장애 판단 시스템은 사용자의 발달상황을 파악하기 위한 데이터의 수집과 발달상황에 따른 치료나 재활을 위한 과제수행이 동시에 이루어지도록 할 수 있다.

한편, 상술한 바에 의하면 인지장애 판단 시스템은 사용자의 인지장애 해당 여부나 해당 가능성을 판별하는 것으로 설명되었으나, 사용자가 발달 장애에 해당하지 않더라도 발달지표 데이터에 기초하여 분석된 현재의 발달상황을 보호자나 전문가에게 제공하는 역할을 할 수 있음은 물론이다. 예를 들어, 아동의 공간지각력은 평균보다 높지만 추론력은 평균 이하라는 등의 분석 결과를 아동의 부모나 교사 등에게 제공하여 교육 방향을 결정하는 것을 지원할 수 있다.

이하에서는, 본 발명의 일 실시예에 따른 인지장애 판단 서버(100)에 포함된 각 구성요소에 대해 자세히 설명하도록 한다.

도 2는 도 1의 인지장애 판단 서버를 설명하기 위한 블럭도이다. 도 3은 도 2의 파라미터 생성부를 설명하기 위한 블럭도이다. 도 4는 본 발명의 실시예에 따른 안면인식기술을 나타내는 개략도이다.

도 2 내지 도 4를 참조하면, 우선 사용자 단말기(200)는 카메라부(210), 디스플레이부(220), 인터페이스부(230), 및 통신부(240)를 포함한다.

카메라부(210)는 사용자의 얼굴이 포함된 영상을 촬영할 수 있다. 카메라부(210)는 영상 촬영이 가능한 다양한 모듈로 구성될 수 있으며, 사용자 단말기(200) 내에 구비될 수 있다.

디스플레이부(220)는 인지장애 판단 서버(100)에서 제공하는 발달지표 데이터를 수집하기 위한 다양한 프로그램을 표시할 수 있다.

인터페이스부(230)는 사용자의 입력을 수신하기 위한 다양한 모듈이 포함될 수 있다. 예를 들어, 디스플레이부(220)의 상면에 구비되어 사용자의 터치를 감지하기 위한 터치감지 모듈, 사용자의 신체에 착용되어 사용자의 움직임을 감지하고, 감지된 데이터를 전송하기 위한 웨어러블 모듈 등이 포함될 수 있다.

통신부(240)는 인지장애 판단 서버(100)와 데이터를 주고 받기 위한 통신 모듈로 구성된다. 예를 들어, 통신부(240)는 사용자 단말기(200)의 카메라부(210) 또는 인터페이스부(230)에서 수집된 데이터를 인지장애 판단 서버(100)에 전송하거나, 인지장애 판단 서버(100)로부터 발달지표 데이터를 수집하거나 인지장애 치료를 위한 다양한 프로그램을 수신할 수 있다.

한편, 인지장애 판단 서버(100)는 통신부(110), 파라미터 생성부(120), 머신러닝 학습부(130), 제어부(140), 및 메모리부(150)를 포함한다.

통신부(110)는 사용자 단말기(200) 및 의료 기관 서버(300)와 데이터를 주고 받기 위한 통신 모듈로 구성된다. 통신부(110)는 사용자 단말기(200)에 구비된 카메라부(210)를 통해 촬영된 영상을 수신하고, 수신된 영상을 인지장애 판단 서버(100)의 각 구성요소에 제공할 수 있다.

파라미터 생성부(120)는 통신부(110)에서 수신된 영상을 기초로 안면근육 이동 패턴, 안구 이동 패턴, 감정상태 변화 패턴에 대한 파라미터를 산출할 수 있다.

보다 구체적으로, 도 3을 참조하면, 파라미터 생성부(120)는 포인트 추출부(121), 안면근육 이동패턴 추출부(123), 안구 이동패턴 추출부(125), 감정상태 분석부(127), 환경 데이터 수집부(129)를 포함한다. 다만, 이는 파라미터 생성부(120)에서 수행하는 세부 기능을 특정하기 위한 것으로, 실시예에 따라 각 구성요소가 병합되거나 세분화되어 구분된 모듈로써 동작할 수 있다.

포인트 추출부(121)는 수신된 영상에 포함된 사용자의 얼굴 각 부위에 복수개의 점을 추출한다. 이때, 포인트 추출부(121)는 얼굴의 각 구성요소에 100개 이상 300개 미만의 점들을 배치시킬 수 있다. 예를 들어, 포인트 추출부(121)는 수신된 영상에 포함된 얼굴의 각 구성요소에 188개의 점을 배치시킬 수 있다.

포인트 추출부(121)는 Binary VR와 같은 알고리즘을 이용하여 복수 개의 점을 추출할 수 있다. 다만, 이는 하나의 예시일뿐이며, 포인트 추출부(121)는 다양한 알고리즘을 이용하여 복수 개의 점을 추출할 수 있다.

예를 들어, 도 4를 참조하면, 사용자 단말기(200)에 구비된 카메라부(210)는 사용자의 얼굴을 촬영한다. 이어서, 인지장애 판단 서버(100)의 포인트 추출부(121)는 촬영된 영상에서 사용자의 얼굴을 인식하여 복수 개의 점(예를 들어, P1, P2, Pn, Pe)을 배치시키고, 각 점의 움직임을 추적한다.

이어서, 포인트 추출부(121)는 시간의 흐름에 따라 변화하는 각 점의 시계열적인 움직임에 대한 데이터를 생성한다. 즉, 포인트 추출부(121)는 복수 개의 점에 대한 위치변화 데이터를 생성한다. 생성된 위치변화 데이터는 안면근육 이동패턴 추출부(123), 안구 이동패턴 추출부(125)에 제공된다.

안면근육 이동패턴 추출부(123)는 수신된 위치변화 데이터를 이용하여 사용자의 안면근육 이동 패턴을 추출한다. 여기에서, 안면근육 이동 패턴은, 사용자에게 자극을 인가하였을 때 자극에 대한 안면근육의 이동 반경(예를 들어, 자극에 따른 눈 외곽선, 입꼬리, 입의 크기의 벡터값) 및 자극에 대한 안면근육의 반응 속도를 포함할 수 있다. 다만, 이는 하나의 예시에 불과하고, 안면근육 이동 패턴은 다양한 측정 지표들을 포함할 수 있다.

안구 이동패턴 추출부(125)는 수신된 위치변화 데이터를 이용하여 사용자의 안구 이동 패턴을 추출한다. 여기에서, 안구 이동 패턴은, 사용자에게 자극을 인가하였을 때 자극에 대한 시선의 이동 경로, 시선 이동의 반응 속도, 및 시선 이동의 정확도를 포함할 수 있다. 다만, 이는 하나의 예시에 불과하고, 안구 이동 패턴은 다양한 측정 지표들을 포함할 수 있다.

감정상태 분석부(127)는 추출된 안면근육 이동 패턴 또는 안구 이동 패턴을 기초로 사용자의 감정상태를 분석할 수 있다. 이때, 감정상태 분석부(127)는 미리 입력된 감정상태에 대한 다양한 판단 기준값을 이용하여 사용자의 현재 감정상태를 판단할 수 있다.

또한, 감정상태 분석부(127)는 사용자의 시계열적인 감정상태의 변화를 통해 감정상태 변화 패턴을 추출할 수 있다. 여기에서, 감정상태 변화 패턴은 자극에 따른 감정상태의 변화 순서(예를 들어, 기쁨에서 슬픔을 거쳐 화남 상태로 변하는 패턴), 감정상태의 변화 속도(예를 들어, 자극에 대한 감정 변화 속도), 및 감정변화의 변화 강도(예를 들어, 근육 좌표의 이동 길이를 기초로 판단)를 포함할 수 있다. 다만, 이는 하나의 예시에 불과하고, 감정상태 변화 패턴은 다양한 측정 지표들을 포함할 수 있다.

환경 데이터 수집부(129)는 사용자의 생활로그 또는 보호자의 생활로그에 대한 데이터를 수집한다.

여기에서, 사용자의 생활로그는 사용자의 수면시간이나 운동시간 등 생활패턴에 대한 정보를 포함할 수 있다. 사용자의 생활로그는 사용자 단말기(200)의 움직임이나 사용패턴에 기초하여 추정될 수 있고, 또는 사용자나 보호자가 매일의 생활을 기록함으로써 수집될 수도 있다.

또한, 보호자의 생활로그는 보호자와 사용자의 소통시간, 보호자의 출퇴근시간 등과 같은 보호자의 생활패턴에 대한 정보를 포함할 수 있다. 보호자의 생활로그는 부모 등 보호자에게 설문조사 형식의 질의를 제공하고 이에 대한 답변을 입력받아 수집될 수 있으나, 반드시 그러한 것은 아니고 보호자용 애플리케이션을 따로 배포하고 보호자의 단말기의 사용패턴에 기초하여 추정될 수도 있다. 다만, 이는 하나의 예시에 불과하고, 본 발명이 이에 한정되는 것은 아니다.

한편, 파라미터 생성부(120)에서 생성된 각각의 파라미터는 머신러닝의 학습 인자로써 머신러닝 학습부(130)에 제공될 수 있다.

다시 도 2를 참조하면, 머신러닝 학습부(130)는 파라미터 생성부(120)로부터 수신한 파라미터를 학습 인자로 입력받고, 이에 대한 출력으로 사용자의 인지장애종류와 해당 인지장애의 확률을 출력할 수 있다.

구체적으로, 머신러닝 학습부(130)는 파라미터 생성부(120)가 생성하는 파라미터들(즉, 학습 인자)을 입력받을 수 있다. 이어서, 머신러닝 학습부(130)는 입력된 파라미터를 머신러닝 학습부(130) 내부의 머신러닝 구조에 적용하여 사용자의 인지장애종류와 해당 인지장애확률을 산출할 수 있다. 이때, 머신러닝 학습부(130)는 미리 입력된 소정의 학습 알고리즘을 이용하여 인지장애확률을 추정할 수 있다.

머신러닝 학습부(130)에 학습인자로 입력되는 파라미터는 실시예에 따라 다르게 설정될 수 있다. 본 발명의 일 실시예에서, 머신러닝 학습부(130)는 감정상태 변화 패턴을 학습인자로 입력받을 수 있다. 또한, 본 발명의 다른 실시예에서, 머신러닝 학습부(130)는 안면근육 이동 패턴과 안구 이동 패턴을 학습인자로 입력받을 수 있다. 또한, 본 발명의 또 다른 실시예에서, 머신러닝 학습부(130)는 복수 개의 점에 대한 위치변화 데이터를 학습인자로 입력받을 수 있다.

머신러닝 학습부(130)에 대한 자세한 설명은 도 5 내지 도 9를 참조하여 후술하도록 한다.

제어부(140)는 머신러닝 학습부(130)에서 출력된 인지장애종류와 인지장애확률을 기초로, 사용자의 인지장애여부에 대한 판단을 수행할 수 있다.

제어부(140)는 머신러닝 학습부(130)로부터 인지장애종류와 그에 대한 인지장애확률을 수신한다. 이어서, 제어부(140)는 특정 인지장애에 대한 인지장애확률이 소정의 기준 범위를 벗어나는 경우, 사용자를 해당 인지장애로 판단한다. 이를 통해, 제어부(140)는 인지장애종류 및 인지장애여부를 판단할 수 있다.

이어서, 제어부(140)는 사용자의 인지장애판단결과를 참고하여, 사용자에게 적절한 치료 프로그램을 선정하고, 선정된 치료 프로그램을 사용자 단말기(200)에 제공할 수 있다.

메모리부(150)는 인지장애에 대한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 메모리부(150)는 파라미터 산출에 이용되는 포인트 추출 알고리즘, 안면근육 이동 패턴 분석 알고리즘, 안구 이동 패턴 분석 알고리즘, 감정상태 판단 알고리즘 및 각 알고리즘에 이용되는 데이터가 저장될 수 있다.

메모리부(150)는 각 사용자별로 별도의 계정을 생성하여 해당 사용자와 관련된 데이터를 저장 관리할 수 있다. 메모리부(150)는 머신 러닝에 이용되는 각 사용자의 파라미터, 결과 데이터 등을 저장할 수 있다.

또한, 메모리부(150)는 특정 인지장애여부, 인지장애의 정도에 따라 제공되는 서로 다른 치료 프로그램을 데이터베이스 형태 또는 매트릭스(Matrix) 형태로 저장할 수 있다.

한편, 메모리부(150)에는 머신 러닝(Machine Learning)으로 기학습된 인공신경망(Artificial Neural Network)이 탑재될 수 있다.

머신 러닝에 대해 보다 자세히 설명하자면, 머신 러닝의 일종인 딥러닝(Deep Learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다.

딥러닝(Deep learning)은, 단계를 높여가면서 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낸다.

딥러닝 구조는 인공신경망(ANN)를 포함할 수 있다. 예를 들어 딥러닝 구조는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등의 심층신경망(DNN)으로 구성될 수 있다.

이때, 머신러닝 학습부(130)는 공지된 다양한 딥러닝 구조를 이용할 수 있다. 예를 들어, 머신러닝 학습부(130)는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등의 구조를 이용할 수 있다.

구체적으로, CNN(Convolutional Neural Network)은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다.

RNN(Recurrent Neural Network)은 자연어 처리 등에 많이 이용되며, 시간의 흐름에 따라 변하는 시계열 데이터(Time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다.

DBN(Deep Belief Network)은 딥러닝 기법인 RBM(Restricted Boltzman Machine)을 다층으로 쌓아 구성되는 딥러닝 구조이다. RBM(Restricted Boltzman Machine) 학습을 반복하여 일정 수의 레이어가 되면, 해당 개수의 레이어를 가지는 DBN(Deep Belief Network)이 구성될 수 있다.

한편, 머신러닝 학습부(130)의 인공신경망 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다.

또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(Back Propagation) 등의 방법이 사용될 수 있다.

즉, 본 발명의 실시예에 따른 인지장애 판단 서버(100)는, 수신되는 사용자의 각 파라미터를 입력 데이터로 하는 머신 러닝(machine learning) 기반의 인지장애여부 판단 동작을 수행할 수 있다.

이때, 인공신경망의 머신 러닝 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다. 또한, 머신러닝 학습부(130)는 설정에 따라 학습 후 인지장애확률 계산의 인공신경망 구조를 업데이트하도록 제어할 수 있다.

추가적으로, 머신러닝 학습부(130)의 동작은 별도의 클라우드 서버(미도시)에서 실시될 수 있다. 전술한 본 발명의 일 실시예에 따른 인지장애 판단 서버(100)와 같이 머신 러닝 동작이 내부에서 수행되는 시스템을 내적 학습기반 시스템이라 한다. 반면, 머신 러닝 동작이 외부 서버(예를 들어, 클라우드 서버(미도시))에서 수행되는 시스템을 외적 학습기반 시스템이라 한다.

도 2에는 머신러닝 학습부(130)가 인지장애 판단 서버(100)의 내부에 존재하는 내적 학습기반 시스템이 도시되어 잇으나, 본 발명이 이에 한정되는 것은 아니며, 인지장애 판단 서버(100)는 클라우드 서버(미도시))와 연계된 외적 학습기반 시스템으로 동작할 수 있다.

이하에서는, 머신러닝 학습부(130)의 구체적인 구조에 대하여 설명하도록 한다.

도 5는 도 2의 머신러닝 학습부를 설명하기 위한 도면이다.

도 5를 참조하면, 머신러닝 학습부(130)는 N 개의 파라미터를 입력노드로 하는 입력 레이어(input)와, 인지장애확률을 출력노드로 하는 출력 레이어(Output)와, 입력 레이어와 출력 레이어 사이에 배치되는 M 개의 히든 레이어를 포함한다.

여기서 각 레이어들의 노드를 연결하는 에지(edge)에는 가중치가 설정될 수 있다. 이러한 가중치 혹은 에지의 유무는 학습 과정에서 추가, 제거, 또는 업데이트 될 수 있다. 따라서, 학습 과정을 통하여, k개의 입력노드와 i개의 출력노드 사이에 배치되는 노드들 및 에지들의 가중치는 업데이트될 수 있다.

출력노드는 도 5과 같이 각 모드 별로 I/0 혹은 확률 등의 값을 출력하도록 i개가 배치될 수 있다. 예를 들어, 전술한 바와 같이 출력노드는 인지장애종류 및 인지장애확률로 구성될 수 있다.

머신러닝 학습부(130)가 학습을 수행하기 전에는 모든 노드와 에지는 초기값으로 설정될 수 있다. 그러나, 누적하여 정보가 입력될 경우, 노드 및 에지들의 가중치는 변경되고, 이 과정에서 학습인자로 입력되는 파라미터들(예를 들어, 안면근육 이동 패턴, 안구 이동 패턴, 또는 감정상태 변화 패턴)과 출력노드로 할당되는 값(예를 들어, 인지장애종류 및 인지장애확률) 사이의 매칭이 이루어질 수 있다.

정리하면, 도 5의 머신러닝 학습부(130)를 구성하는 입력노드와 출력노드 사이의 노드 및 에지의 가중치는 머신러닝 학습부(130)의 학습 과정에 의해 업데이트될 수 있다.

머신러닝 학습부(130)에서 출력되는 인지장애확률은 인지장애여부를 판단하는데 이용될 수 있다. 이때, 머신러닝 학습부(130)에 인가되는 입력노드는 각 실시예마다 다르게 설정될 수 있다.

이하에서는, 몇몇 실시예에 따른 머신러닝 학습부(130)의 입력노드와 출력노드에 대해 살펴보도록 한다.

도 6은 본 발명의 일 실시예에 따른 인지장애 판단 서버의 머신러닝 학습부를 설명하기 위한 도면이다.

도 6을 참조하면, 본 발명의 일 실시예에 따른 인지장애 판단 서버는 사용자의 감정상태 변화 패턴을 기초로 머신러닝 학습을 수행한다. 학습된 머신러닝 학습부(130)는 새로 입력된 사용자의 감정상태 변화 패턴을 기초로 인지장애종류와 인지장애확률에 대한 값을 출력할 수 있다.

구체적으로, 파라미터 생성부(120)는 환경 데이터 수집부(129)에서 수집된 사용자의 생년월일을 기초로 사용자의 그룹 카테고리를 선정할 수 있다. 그룹 카테고리의 선정 방법은 도 8을 참조하여 이하에서 자세히 설명하도록 한다.

선정된 그룹 카테고리에 대한 정보는 머신러닝 학습부(130)에 제1 파라미터로써 인가될 수 있다. 머신러닝 학습부(130)는 그룹 카테고리마다 인지장애종류와 인지장애확률을 계산하기 위한 가중치를 다르게 설정하여 이용할 수 있다.

다만, 발명의 실시예에 따라 그룹 카테고리에 대한 입력은 생략될 수 있다.

한편, 감정 상태 분석부(127)에서 분석한 사용자의 감정상태 변화 패턴에 대한 정보는 머신러닝 학습부(130)에 인가될 수 있다.

이때, 감정상태 변화 패턴에 포함된 감정상태의 변화 순서(예를 들어, 기쁨에서 슬픔을 거쳐 화남 상태로 변하는 패턴)는 제2 파라미터로 머신러닝 학습부(130)에 인가될 수 있다. 또한, 감정상태 변화 패턴에 포함된 감정상태의 변화 속도(예를 들어, 자극에 대한 감정 변화 속도)는 제3 파라미터로 머신러닝 학습부(130)에 인가될 수 있고, 감정변화의 변화 강도(예를 들어, 근육 좌표의 이동 길이를 기초로 판단)는 제4 파라미터로 머신러닝 학습부(130)에 인가될 수 있다.

도 6에서는 감정상태 변화 순서, 감정변화 속도, 감정변화 강도가 각각 머신러닝 학습부(130)의 입력노드에 인가되는 것으로 표현하였으나, 본 발명이 이에 한정되는 것은 아니며, 일부가 생략되거나 더 세분화되어 추가로 인가될 수 있다.

또한, 환경 데이터 수집부(129)에서 수집된 사용자의 생활로그 또는 보호자의 생활로그를 포함하는 환경 데이터는 제5 파라미터로 머신러닝 학습부(130)에 인가될 수 있다. 여기에서, 사용자의 생활로그는 사용자의 수면시간이나 운동시간 등 생활패턴에 대한 정보를 포함할 수 있다. 또한, 보호자의 생활로그는 보호자와 사용자의 소통시간, 보호자의 출퇴근시간 등과 같은 보호자의 생활패턴에 대한 정보를 포함할 수 있다.

본 발명의 일 실시예에 따른 머신러닝 학습부(130)는 입력노드에 전술한 제1 내지 제5 파라미터가 입력되고, 인지장애종류와 인지장애확률이 각각의 출력노드에서 출력될 수 있다.

이때, 머신러닝 학습부(130)는 5개의 파라미터를 입력노드를 갖는 입력 레이어(input)와, 2개의 출력노드를 갖는 출력 레이어(Output)와, 입력 레이어와 출력 레이어 사이에 배치되는 3 개의 히든 레이어를 포함할 수 있다. 다만, 이는 하나의 예시에 불과하고, 각 입력노드 및 출력노드의 수와, 히든 레이어의 수는 다양하게 변형되어 실시될 수 있다.

머신러닝 학습부(130)는 입력노드와 출력노드에 반복적으로 인가되는 데이터에 의해 학습될 수 있다. 이어서, 이러한 반복적인 과정에 의해 학습된 머신러닝 학습부(130)는 입력노드에 인가되는 특정 사용자에 대한 입력에 대응하여, 출력노드에 특정 사용자의 인지장애종류와 인지장애확률에 대한 값을 출력할 수 있다.

도 7은 본 발명의 다른 실시예에 따른 인지장애 판단 서버의 머신러닝 학습부를 설명하기 위한 도면이다.

도 7을 참조하면, 본 발명의 다른 실시예에 따른 인지장애 판단 서버는 사용자의 안면근육 이동 패턴 또는 안구 이동 패턴을 기초로 머신러닝 학습을 수행한다. 학습된 머신러닝 학습부(130)는 새로 입력된 사용자의 안면근육 이동 패턴 또는 안구 이동 패턴을 기초로 인지장애종류와 인지장애확률에 대한 값을 출력할 수 있다.

구체적으로, 파라미터 생성부(120)는 환경 데이터 수집부(129)에서 수집된 사용자의 생년월일을 기초로 사용자의 그룹 카테고리를 선정할 수 있다.

선정된 그룹 카테고리에 대한 정보는 머신러닝 학습부(130)에 제1 파라미터로써 인가될 수 있다. 머신러닝 학습부(130)는 그룹 카테고리마다 인지장애종류와 인지장애확률을 계산하기 위한 가중치를 다르게 설정하여 이용할 수 있다. 다만, 발명의 실시예에 따라 그룹 카테고리에 대한 입력은 생략될 수 있다.

또한, 안면근육 이동패턴 추출부(123)에서 추출된 사용자의 안면근육 이동 패턴은 머신러닝 학습부(130)에 제2 파라미터로써 인가될 수 있다. 여기에서, 안면근육 이동 패턴은, 사용자에게 자극을 인가하였을 때 자극에 대한 안면근육의 이동 반경(예를 들어, 자극에 따른 눈 외곽선, 입꼬리, 입의 크기의 벡터값) 및 자극에 대한 안면근육의 반응 속도를 포함할 수 있다. 다만, 이는 하나의 예시에 불과하고, 안면근육 이동 패턴은 다양한 측정 지표들을 포함할 수 있다.

또한, 안구 이동패턴 추출부(125)에서 추출된 안구 이동 패턴은 머신러닝 학습부(130)에 제3 파라미터로써 인가될 수 있다. 여기에서, 안구 이동 패턴은, 사용자에게 자극을 인가하였을 때 자극에 대한 시선의 이동 경로, 시선 이동의 반응 속도, 및 시선 이동의 정확도를 포함할 수 있다. 다만, 이는 하나의 예시에 불과하고, 안구 이동 패턴은 다양한 측정 지표들을 포함할 수 있다.

도 7에 도시된 바와 같이, 안면근육 이동 패턴과 안구 이동 패턴은 함께 머신러닝 학습부(130)에 인가될 수 있으나, 본 발명이 이에 한정되는 것은 아니며 안면근육 이동 패턴과 안구 이동 패턴은 둘 중 하나만 인가될 수 있다.

또한, 환경 데이터 수집부(129)에서 수집된 사용자의 생활로그 또는 보호자의 생활로그를 포함하는 환경 데이터는 제4 파라미터로 머신러닝 학습부(130)에 인가될 수 있다. 여기에서, 사용자의 생활로그는 사용자의 수면시간이나 운동시간 등 생활패턴에 대한 정보를 포함할 수 있다. 또한, 보호자의 생활로그는 보호자와 사용자의 소통시간, 보호자의 출퇴근시간 등과 같은 보호자의 생활패턴에 대한 정보를 포함할 수 있다.

본 발명의 다른 실시예에 따른 머신러닝 학습부(130)는 입력노드에 전술한 제1 내지 제4 파라미터가 입력되고, 인지장애종류와 인지장애확률이 각각의 출력노드에서 출력될 수 있다.

이때, 머신러닝 학습부(130)는 4개의 파라미터를 입력노드를 갖는 입력 레이어(input)와, 2개의 출력노드를 갖는 출력 레이어(Output)와, 입력 레이어와 출력 레이어 사이에 배치되는 3 개의 히든 레이어를 포함할 수 있다. 다만, 도 7에 나타난 각 레이어의 숫자는 하나의 예시에 불과하고, 각 입력노드 및 출력노드의 수와, 히든 레이어의 수는 다양하게 변형되어 실시될 수 있다.

전술한 바와 마찬가지로, 머신러닝 학습부(130)는 입력노드와 출력노드에 반복적으로 인가되는 데이터에 의해 학습될 수 있다. 이어서, 이러한 반복적인 과정에 의해 학습된 머신러닝 학습부(130)는 입력노드에 인가되는 특정 사용자에 대한 입력에 대응하여, 출력노드에 특정 사용자의 인지장애종류와 인지장애확률에 대한 값을 출력할 수 있다.

도 8 및 도 9는 본 발명의 또 다른 실시예에 따른 인지장애 판단 서버의 머신러닝 학습부를 설명하기 위한 도면이다. 여기에서, 도 8은 학습 단계의 머신러닝 학습부(130)를 나타내고, 도 9는 새로운 사용자에 대한 인지장애에 대한 결과를 출력하는 머신러닝 학습부(130)를 나타낸다.

도 8을 참조하면, 본 발명의 또 다른 실시예에 따른 인지장애 판단 서버(100)의 머신러닝 학습부(130)에 인가되는 각각의 사용자 패턴은 사용자의 그룹 카테고리별로 나누어 입력될 수 있다. 여기에서, 그룹 카테고리는 사용자의 생년월일, 인지장애종류 등에 따라 세분화되어 나누어질 수 있다.

예를 들어, 그룹 A는 생년월일이 2010년 1월 1일부터 2010년 1월 10일까지인 사용자로 구성될 수 있고, 그룹 B는 생년월일이 2010년 1월 10일부터 2010년 1월 20일까지인 사용자로 구성될 수 있고, 그룹 C는 생년월일이 2010년 1월 21일부터 2010년 1월 31일까지인 사용자로 구성될 수 있다.

다른 예로, 그룹 A는 인지장애종류가 ADHD(주의력 결핍/과잉행동 장애)인 사용자로 구성될 수 있고, 그룹 B는 인지장애종류가 ASD(자폐 스펙트럼 장애)인 사용자로 구성될 수 있고, 그룹 C는 인지장애종류가 AR(경계선 지능장애)인 사용자로 구성될 수 있다.

다만, 이는 하나의 예시일 뿐, 본 발명은 다양하게 변형되어 실시될 수 있다.

또한, 머신러닝 학습부(130)에 입력되는 각각의 패턴은 사용자 단말기(200)의 종류에 따라 서로 다른 크기와 해상도를 가질 수 있다. 이에 본 발명은 머신러닝 학습부(130)에 입력되는 각각의 패턴의 크기가 동일하도록 리스케일(rescale)하는 과정을 수행할 수 있다. 이를 통해, 머신러닝 학습부(130)에 데이터를 입력하는 과정에서 발생할 수 있는 입력 오류는 감소될 수 있다.

도 8에는 사용자의 안구 이동과 관련된 대한 사용자 패턴(Pa, Pb, Pc)을 도시하였으나, 이는 하나의 예시에 불과하며, 다양한 사용자 패턴(예를 들어, 안면근육 이동 패턴, 감정상태 변화 패턴)이 이용될 수 있다.

머신러닝 학습부(130)는 다양한 그룹에 대한 사용자 패턴을 기초로 학습될 수 있다.

이어서, 도 9을 참조하면, 머신러닝 학습부(130)는 새로운 사용자의 사용자 패턴이 어느 그룹 카테고리에 속하는지에 대한 결과를 출력할 수 있다.

미리 학습된 머신러닝 학습부(130)에 그룹이 알려지지 않은 새로운 사용자 패턴을 입력하는 경우, 머신러닝 학습부(130)는 해당 사용자 패턴이 어떠한 그룹 카테고리에 속하는지 여부를 출력할 수 있다.

예를 들어, 각 그룹이 서로 다른 생년월일에 따라 그룹 카테고리가 세분화된 경우, 머신러닝 학습부(130)는 사용자 패턴이 어떤 그룹 카테고리에 가장 가까운지를 확률로 출력할 수 있다. 이어서, 제어부(140)는 머신러닝 학습부(130)에서 출력된 각각의 확률을 기초로 입력된 사용자 패턴에 대한 인지발달나이를 계산할 수 있다.

이때, 제어부(140)는 각 그룹 카테고리에 대한 평균생년월일와 각 그룹 카테고리에 대한 확률을 이용하여 사용자의 인지발달 나이를 계산할 수 있다. 예를 들어, 제어부(140)는 각 그룹 카테고리에 대한 확률과 각 그룹 카테고리의 평균나이를 곱하여 인지발달나이를 계산하거나, 가장 높은 확률을 갖는 그룹 카테고리와 해당 그룹 카테고리의 평균나이를 곱하여 인지발달 나이를 계산할 수 있다.

다른 예로, 각 그룹이 서로 다른 인지장애종류에 따라 그룹 카테고리가 세분화된 경우, 머신러닝 학습부(130)는 사용자 패턴이 어떤 그룹 카테고리에 가장 가까운지 확률로 출력할 수 있다. 이어서, 제어부(140)는 머신러닝 학습부(130)에서 출력된 확률을 기초로 입력된 사용자 패턴에 대한 인지장애종류를 계산할 수 있다. 이때, 제어부(140)는 인지장애종류에 대한 확률이 미리 정한 기준범위를 벗어나는 경우, 해당 사용자가 해당 인지장애에 해당되는 것으로 판단할 수 있다.

도 8과 마찬가지로, 머신러닝 학습부(130)에 입력되는 사용자 패턴은 크기가 모두 동일하도록 리스케일(rescale)되는 전처리 과정이 수행될 수 있다. 이를 통해, 머신러닝 학습부(130)에 인가되는 노이즈 성분은 감소되고, 머신러닝 학습부(130)의 결과값에 대한 신뢰도는 향상될 수 있다.

도 10은 본 발명의 몇몇 실시예에 따른 인지장애 판단 방법을 설명하기 위한 순서도이다.

도 10을 참조하면, 본 발명의 몇몇 실시예에 따른 인지장애 판단 방법에 있어서, 우선, 인지장애 판단 서버(100)는 사용자의 발달지표 데이터(예를 들어, 안면근육 이동 패턴, 안구 이동 패턴, 또는 감정상태 변화 패턴)를 수집하기 위한 게임 또는 학습 프로그램을 사용자 단말기(200)에 제공한다.

이어서, 인지장애 판단 서버(100)는 사용자 단말기(200)에 구비된 카메라를 통해 촬영된 사용자의 영상을 수신한다(S110). 즉, 사용자가 사용자 단말기(200)에서 제공되는 프로그램의 미션을 수행하는 동안, 사용자 단말기(200)에서 카메라부(210)를 통해 촬영된 영상은 인지장애 판단 방법을 수행하는 인지장애 판단 서버(100)에 전달된다.

이어서, 인지장애 판단 서버(100)는 영상에 포함된 사용자의 얼굴 각 부위에 매칭되는 복수 개의 점을 추출한다(S120). 이때, 수신된 영상은 사용자의 얼굴을 포함할 수 있다. 사용자 얼굴은 눈, 코, 입, 얼굴 윤곽 등으로 구성될 수 있다.

인지장애 판단 서버(100)는 해당 영상에 포함된 사용자 얼굴의 각 구성요소상에 복수 개의 점을 위치시킬 수 있다. 각각의 점들은 얼굴의 각 구성요소에 배치되어 얼굴의 움직임에 따라 함께 움직일 수 있다. 일 예로, 인지장애 판단 서버(100)는 얼굴의 각 구성요소에 188개의 점을 배치시켜, 안면 표정의 변화와 눈의 움직임을 더욱 섬세하게 추출할 수 있다.

이어서, 인지장애 판단 서버(100)는 복수 개의 점에 대한 위치변화 데이터를 생성한다(S130). 인지장애 판단 서버(100)는 복수 개의 점에 대해 시계열적인 위치변화를 데이터로 변환한다.

이어서, 인지장애 판단 서버(100)는 생성된 위치변화 데이터를 기초로, 사용자의 안면근육의 움직임 또는 눈의 움직임을 추출한다(S140).

이어서, 인지장애 판단 서버(100)는 추출된 안면근육의 움직임 또는 눈의 움직임의 패턴을 기초로 인지장애여부를 판단한다(S150).

이하에서는 S150 단계의 인지장애여부를 판단하는 단계에 대하여 구체적으로 설명하도록 한다.

도 11은 본 발명의 일 실시예에 따른 인지장애 판단 방법을 설명하기 위한 순서도이다.

도 11을 참조하면, 본 발명의 일 실시예에 따른 인지장애 판단 방법은, 도 10의 S140 단계에서 추출한 안면근육의 움직임 또는 눈의 움직임을 기초로 사용자의 감정상태를 판단한다(S210). 전술한 바와 같이, 인지장애 판단 서버(100)는 미리 입력된 감정상태에 대한 다양한 판단 기준값을 이용하여 사용자의 감정상태를 판단하고, 사용자의 시계열적인 감정상태의 변화를 통해 감정상태 변화 패턴을 추출할 수 있다.

여기에서, 감정상태 변화 패턴은 자극에 따른 감정상태의 변화 순서(예를 들어, 기쁨에서 슬픔을 거쳐 화남 상태로 변하는 패턴), 감정상태의 변화 속도(예를 들어, 자극에 대한 감정 변화 속도), 및 감정변화의 변화 강도(예를 들어, 근육 좌표의 이동 길이를 기초로 판단)를 포함할 수 있다. 다만, 이는 하나의 예시에 불과하고, 감정상태 변화 패턴은 다양한 측정 지표들을 포함할 수 있다.

이어서, 인지장애 판단 서버(100)는 머신러닝을 통하여 사용자의 감정상태의 변화순서, 변화속도, 및 변화강도에 대응되는 각각의 인지장애종류에 대한 확률을 산출한다(S220). 여기에서, 인지장애 판단 서버(100)에서 판단 가능한 인지장애의 종류에는 ADHD(Attention-Deficit/Hyperactivity Disorder), ASD(Autism Spectrum Disorder), 경계선 지능장애(At risk; AR), MMR(Mild Mental Retardation), EMR(Educable Mental Retardation), LD(Learning Disabilities) 등이 있다. 다만, 이는 몇몇 예시에 불과하며 본 발명이 이에 한정되는 것은 아니다.

이어서, 인지장애 판단 서버(100)는 산출된 인지장애종류와 이에 대한 인지장애확률을 기초로 사용자의 인지장애여부를 판단한다(S230). 이때, 인지장애 판단 서버(100)는 미리 설정된 인지장애여부 판단 기준값을 이용하여 각각의 인지장애에 해당되는지 여부를 판단할 수 있다.

이어서, 인지장애 판단 서버(100)는 판단된 인지장애에 따른 치료 프로그램을 사용자의 사용자 단말기(200)에 제공한다(S240). 이때, 치료 프로그램은 상술한 발달지표 데이터를 수집하기 위해 사용자에게 제공되었던 게임 또는 학습 프로그램을 통해 제공될 수 있다.

추가적으로, 인지장애 판단 서버(100)는 사용자의 인지장애여부와 의료 기관 서버(300)로부터 수신한 전문 임상데이터를 비교하여 인지장애 판단에 대한 정확도를 분석한다(S250). 이를 통해, 이러한 정확도 분석 결과는 인지장애 판단 서버(100)에서 판단한 인지장애여부와 별도로 제공될 수 있다. 이때, 인지장애 판단 서버(100)는 해당 전문 임상데이터와 정확도 분석 결과를 인지장애 판단 결과에 태깅하여 이용할 수 있다.

도 12는 본 발명의 다른 실시예에 따른 인지장애 판단 방법을 설명하기 위한 순서도이다. 이하에서는 전술한 실시예의 내용과 중복되는 부분은 생략하고 차이점을 위주로 설명하도록 한다.

도 12를 참조하면, 본 발명의 다른 실시예에 따른 인지장애 판단 방법은, 도 10의 S140 단계에서 추출한 안면근육의 움직임 또는 눈의 움직임을 기초로 사용자의 안면근육 이동 패턴 및/또는 안구 이동 패턴을 추출한다(S310).

여기에서, 안면근육 이동 패턴은 사용자에게 자극을 인가하였을 때 자극에 대한 안면근육의 이동 반경(예를 들어, 자극에 따른 눈 외곽선, 입꼬리, 입의 크기의 벡터값) 및 자극에 대한 안면근육의 반응 속도를 포함할 수 있다.

마찬가지로, 안구 이동 패턴은 사용자에게 자극을 인가하였을 때 자극에 대한 시선의 이동 경로, 시선 이동의 반응 속도, 및 시선 이동의 정확도를 포함할 수 있다. 다만, 이는 하나의 예시에 불과하고, 안면근육 이동 패턴과 안구 이동 패턴은 다양한 측정 지표들을 포함할 수 있다.

이어서, 인지장애 판단 서버(100)는 머신러닝을 통하여 사용자의 안면근육 이동 패턴 및/또는 안구 이동 패턴에 대응되는 각각의 인지장애종류에 대한 확률을 산출한다(S320).

이어서, 인지장애 판단 서버(100)는 산출된 인지장애종류와 이에 대한 인지장애확률을 기초로 사용자의 인지장애여부를 판단한다(S330). 이때, 인지장애 판단 서버(100)는 미리 설정된 인지장애여부 판단 기준값을 이용하여 각각의 인지장애에 해당되는지 여부를 판단할 수 있다.

이어서, 인지장애 판단 서버(100)는 판단된 인지장애에 따른 치료 프로그램을 사용자의 사용자 단말기(200)에 제공한다(S240). 이때, 치료 프로그램은 상술한 발달지표 데이터를 수집하기 위해 사용자에게 제공되었던 게임 또는 학습 프로그램을 통해 제공될 수 있다.

추가적으로, 도 11에서 전술한 바와 같이 인지장애 판단 서버(100)는 사용자의 인지장애여부와 의료 기관 서버(300)로부터 수신한 전문 임상데이터를 비교하여 인지장애 판단에 대한 정확도를 분석할 수 있다.

도 13은 본 발명의 또 다른 실시예에 따른 인지장애 판단 방법을 설명하기 위한 순서도이다. 이하에서는 전술한 실시예의 내용과 중복되는 부분은 생략하고 차이점을 위주로 설명하도록 한다.

도 13을 참조하면, 본 발명의 또 다른 실시예에 따른 인지장애 판단 방법은, 도 10의 S140 단계에서 추출한 안면근육의 움직임 또는 눈의 움직임을 기초로 사용자의 안면근육 이동 패턴 및/또는 안구 이동 패턴을 추출한다(S410).

이어서, 인지장애 판단 서버(100)는 머신러닝을 통하여 사용자의 안면근육 이동 패턴 및/또는 안구 이동 패턴에 대응되는 사용자의 인지발달나이를 산출한다(S420).

이때, 입력된 사용자 패턴에 대한 그룹 카테고리의 해당 확률은 머신러닝을 통해 산출될 수 있다. 이때, 그룹 카테고리는 사용자의 생년월일에 따라 구분될 수 있다.

이어서, 인지장애 판단 서버(100)는 해당 그룹 카테고리에 대한 평균 생년월일과 각 그룹 카테고리에 대한 매칭 확률을 이용하여, 사용자의 인지발달나이를 산출할 수 있다.

이어서, 인지장애 판단 서버(100)는 산출된 인지발달나이와 사용자의 실제 나이(즉, 미리 입력된 사용자의 생년월일)와의 차이값을 기초로, 사용자의 인지장애여부를 판단한다(S430). 이때, 인지장애 판단 서버(100)는 나이에 따른 미리 설정된 인지장애판단을 위한 기준값을 이용할 수 있다. 만약, 사용자의 실제나이와 인지발달나이가 미리 설정된 기준값보다 큰 경우, 인지장애 판단 서버(100)는 사용자를 해당 인지장애로 판단할 수 있다.

이어서, 인지장애 판단 서버(100)는 판단된 인지장애에 따른 치료 프로그램을 해당 사용자의 사용자 단말기(200)에 제공한다(S440). 이때, 치료 프로그램은 상술한 발달지표 데이터를 수집하기 위해 사용자에게 제공되었던 게임 또는 학습 프로그램을 통해 제공될 수 있다.

추가적으로, 도 11에서 전술한 바와 같이 인지장애 판단 서버(100)는 사용자의 인지장애여부와 의료 기관 서버(300)로부터 수신한 전문 임상데이터를 비교하여 인지장애 판단에 대한 정확도를 분석할 수 있다.

전술한 본 발명의 몇몇 실시예에 따른 인지장애 판단 방법은, 사용자의 인지장애여부에 대한 판단 정확도를 높임으로써, 사용자에게 적절한 인지장애 치료 프로그램을 조기에 제공할 수 있고, 이를 통해 인지장애를 효과적으로 치료할 수 있다.

또한, 전술한 본 발명에 따른 인지장애 판단 방법은, 일반 사용자가 접근하기 쉬운 휴대용 단말기를 이용하여 인지장애여부를 판단함으로써, 인지장애 판단 서비스의 가격을 낮출 수 있고, 다양한 국가 또는 다양한 소득수준의 사용자들에게 서비스를 널리 보급할 수 있다.

　도 14는 본 발명의 몇몇 실시예에 따른 인지장애 판단 방법이 수행되는 컴퓨터 시스템의 일 예를 나타내는 블럭도이다.

앞에서 도 10 내지 도 13을 참조하여 설명한 본 발명의 몇몇 실시예에 따른 인지장애 판단 방법은, 일반적으로 하나 이상의 컴퓨터 상에서 실행될 수 있는 컴퓨터 실행가능 명령어로 구성될 수 있다.

본 발명의 몇몇 실시예에 따른 인지장애 판단 방법은, 프로그램 모듈들과 결합되어, 하드웨어 및/또는 소프트웨어의 조합으로서 구현될 수 있다.

일반적으로, 프로그램 모듈은 특정의 태스크를 수행하거나 특정의 추상 데이터 유형을 구현하는 루틴, 프로그램, 컴포넌트, 데이터 구조, 기타 등등을 포함한다. 또한, 본 발명의 몇몇 실시예에 따른 인지장애 판단 방법은 단일-프로세서 또는 멀티프로세서 컴퓨터 시스템, 미니컴퓨터, 메인프레임 컴퓨터는 물론 퍼스널 컴퓨터, 핸드헬드 컴퓨팅 장치, 마이크로프로세서-기반 또는 프로그램가능 가전 제품, 기타 등등(이들 각각은 하나 이상의 연관된 장치와 연결되어 동작할 수 있음)을 비롯한 다른 컴퓨터 시스템 구성으로 실시될 수 있다.

또한, 본 발명의 몇몇 실시예에 따른 인지장애 판단 방법은, 복수의 태스크들이 통신 네트워크를 통해 연결되어 있는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치 둘다에 위치할 수 있다.

컴퓨터는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독가능 매체가 될 수 있고, 이러한 컴퓨터 판독가능 매체는 휘발성 및 비휘발성 매체, 일시적(transitory) 및 비일시적(non-transitory) 매체, 이동식 및 비-이동식 매체를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체 및 컴퓨터 판독가능 전송 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성 매체, 일시적 및 비-일시적 매체, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital video disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다.

컴퓨터 판독가능 전송 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터등을 구현하고 모든 정보 전달 매체를 포함한다. 피변조 데이터 신호라는 용어는 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 제한이 아닌 예로서, 컴퓨터 판독가능 전송 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함한다. 상술된 매체들 중 임의의 것의 조합도 역시 컴퓨터 판독가능 전송 매체의 범위 안에 포함되는 것으로 한다.

도 14를 참조하면, 본 발명의 몇몇 실시예에 따른 인지장애 판단 방법이 수행되는 컴퓨터(1102)는 처리 장치(1104), 시스템 메모리(1106) 및 시스템 버스(1108)를 포함한다. 시스템 버스(1108)는 시스템 메모리(1106)를 비롯한 시스템 컴포넌트들을 처리 장치(1104)에 연결시킨다. 처리 장치(1104)는 다양한 상용 프로세서들 중 임의의 프로세서일 수 있다. 듀얼 프로세서 및 기타 멀티프로세서 아키텍처도 역시 처리 장치(1104)로서 이용될 수 있다.

시스템 버스(1108)는 메모리 버스, 주변장치 버스, 및 다양한 상용 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스에 추가적으로 상호 연결될 수 있는 몇가지 유형의 버스 구조 중 임의의 것일 수 있다. 시스템 메모리(1106)는 판독 전용 메모리(ROM)(1110) 및 랜덤 액세스 메모리(RAM)(1112)를 포함한다. 기본 입/출력 시스템(BIOS)은 ROM, EPROM, EEPROM 등의 비휘발성 메모리(1110)에 저장되며, 이 BIOS는 시동 중과 같은 때에 컴퓨터(1102) 내의 구성요소들 간에 정보를 전송하는 일을 돕는 기본적인 루틴을 포함한다. RAM(1112)은 또한 데이터를 캐싱하기 위한 정적 RAM 등의 고속 RAM을 포함할 수 있다.

컴퓨터(1102)는 또한 내장형 하드 디스크 드라이브(HDD)(1114)(예를 들어, EIDE, SATA)―이 내장형 하드 디스크 드라이브(1114)는 또한 적당한 섀시(도시 생략) 내에서 외장형 용도로 구성될 수 있음―, 자기 플로피 디스크 드라이브(FDD)(1116)(예를 들어, 이동식 디스켓(1118)으로부터 판독을 하거나 그에 기록을 하기 위한 것임), 및 광 디스크 드라이브(1120)(예를 들어, CD-ROM 디스크(1122)를 판독하거나 DVD 등의 기타 고용량 광 매체로부터 판독을 하거나 그에 기록을 하기 위한 것임)를 포함할 수 있다. 하드 디스크 드라이브(1114), 자기 디스크 드라이브(1116) 및 광 디스크 드라이브(1120)는 각각 하드 디스크 드라이브 인터페이스(1124), 자기 디스크 드라이브 인터페이스(1126) 및 광 드라이브 인터페이스(1128)에 의해 시스템 버스(1108)에 연결될 수 있다. 외장형 드라이브 구현을 위한 인터페이스(1124)는 USB(Universal Serial Bus) 및 IEEE 1394 인터페이스 기술 중 적어도 하나 또는 그 둘다를 포함할 수 있다.

이들 드라이브 및 그와 연관된 컴퓨터 판독가능 매체는 데이터, 데이터 구조, 컴퓨터 실행가능 명령어, 기타 등등의 비휘발성 저장을 제공한다. 컴퓨터(1102)의 경우, 드라이브 및 매체는 임의의 데이터를 적당한 디지털 형식으로 저장하는 것에 대응한다. 상기에서의 컴퓨터 판독가능 매체에 대한 설명이 HDD, 이동식 자기 디스크, 및 CD 또는 DVD 등의 이동식 광 매체를 언급하고 있지만, 당업자라면 집 드라이브(zip drive), 자기 카세트, 플래쉬 메모리 카드, 카트리지, 기타 등등의 컴퓨터에 의해 판독가능한 다른 유형의 매체도 역시 예시적인 운영 환경에서 사용될 수 있으며 또 임의의 이러한 매체가 본 개시의 방법들을 수행하기 위한 컴퓨터 실행가능 명령어를 포함할 수 있다는 것을 잘 알 것이다.

운영 체제(1130), 하나 이상의 애플리케이션 프로그램(1132), 기타 프로그램 모듈(1134) 및 프로그램 데이터(1136)를 비롯한 다수의 프로그램 모듈이 드라이브 및 RAM(1112)에 저장될 수 있다. 운영 체제, 애플리케이션, 모듈 및/또는 데이터의 전부 또는 그 일부분이 또한 RAM(1112)에 캐싱될 수 있다. 본 개시가 여러가지 상업적으로 이용가능한 운영 체제 또는 운영 체제들의 조합에서 구현될 수 있다는 것을 잘 알 것이다.

사용자는 하나 이상의 유선/무선 입력 장치, 예를 들어, 키보드(1138) 및 마우스(1140) 등의 포인팅 장치를 통해 컴퓨터(1102)에 명령 및 정보를 입력할 수 있다. 기타 입력 장치(도시 생략)로는 마이크, IR 리모콘, 조이스틱, 게임 패드, 스타일러스 펜, 터치 스크린, 기타 등등이 있을 수 있다. 이들 및 기타 입력 장치가 종종 시스템 버스(1108)에 연결되어 있는 입력 장치 인터페이스(1142)를 통해 처리 장치(1104)에 연결되지만, 병렬 포트, IEEE 1394 직렬 포트, 게임 포트, USB 포트, IR 인터페이스, 기타 등등의 기타 인터페이스에 의해 연결될 수 있다.

모니터(1144) 또는 다른 유형의 디스플레이 장치도 역시 비디오 어댑터(1146) 등의 인터페이스를 통해 시스템 버스(1108)에 연결된다. 모니터(1144)에 부가하여, 컴퓨터는 일반적으로 스피커, 프린터, 기타 등등의 기타 주변 출력 장치(미도시)를 포함한다.

컴퓨터(1102)는 유선 및/또는 무선 통신을 통한 원격 컴퓨터(들)(1148) 등의 하나 이상의 원격 컴퓨터로의 논리적 연결을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(들)(1148)는 워크스테이션, 컴퓨팅 디바이스 컴퓨터, 라우터, 퍼스널 컴퓨터, 휴대용 컴퓨터, 마이크로프로세서-기반 오락 기기, 피어 장치 또는 기타 통상의 네트워크 노드일 수 있으며, 일반적으로 컴퓨터(1102)에 대해 기술된 구성요소들 중 다수 또는 그 전부를 포함하지만, 간략함을 위해, 메모리 저장 장치(1150)만이 도시되어 있다. 도시되어 있는 논리적 연결은 근거리 통신망(LAN)(1152) 및/또는 더 큰 네트워크, 예를 들어, 원거리 통신망(WAN)(1154)에의 유선/무선 연결을 포함한다. 이러한 LAN 및 WAN 네트워킹 환경은 사무실 및 회사에서 일반적인 것이며, 인트라넷 등의 전사적 컴퓨터 네트워크(enterprise-wide computer network)를 용이하게 해주며, 이들 모두는 전세계 컴퓨터 네트워크, 예를 들어, 인터넷에 연결될 수 있다.

LAN 네트워킹 환경에서 사용될 때, 컴퓨터(1102)는 유선 및/또는 무선 통신 네트워크 인터페이스 또는 어댑터(1156)를 통해 로컬 네트워크(1152)에 연결된다. 어댑터(1156)는 LAN(1152)에의 유선 또는 무선 통신을 용이하게 해줄 수 있으며, 이 LAN(1152)은 또한 무선 어댑터(1156)와 통신하기 위해 그에 설치되어 있는 무선 액세스 포인트를 포함하고 있다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(1102)는 모뎀(1158)을 포함할 수 있거나, WAN(1154) 상의 통신 컴퓨팅 디바이스에 연결되거나, 또는 인터넷을 통하는 등, WAN(1154)을 통해 통신을 설정하는 기타 수단을 갖는다. 내장형 또는 외장형 및 유선 또는 무선 장치일 수 있는 모뎀(1158)은 직렬 포트 인터페이스(1142)를 통해 시스템 버스(1108)에 연결된다. 네트워크화된 환경에서, 컴퓨터(1102)에 대해 설명된 프로그램 모듈들 또는 그의 일부분이 원격 메모리/저장 장치(1150)에 저장될 수 있다. 다만, 이는 하나의 예시에 불과하고, 본 발명이 이에 한정되는 것은 아니다.

컴퓨터(1102)는 무선 통신으로 배치되어 동작하는 임의의 무선 장치 또는 개체, 예를 들어, 프린터, 스캐너, 데스크톱 및/또는 휴대용 컴퓨터, PDA(portable data assistant), 통신 위성, 무선 검출가능 태그와 연관된 임의의 장비 또는 장소, 및 전화와 통신을 하는 동작을 한다. 이것은 적어도 Wi-Fi 및 블루투스 무선 기술을 포함한다. 따라서, 통신은 종래의 네트워크에서와 같이 미리 정의된 구조이거나 단순하게 적어도 2개의 장치 사이의 애드혹 통신(ad hoc communication)일 수 있다.

Wi-Fi(Wireless Fidelity)는 유선 없이도 인터넷 등으로의 연결을 가능하게 해준다. Wi-Fi는 이러한 장치, 예를 들어, 컴퓨터가 실내에서 및 실외에서, 즉 기지국의 통화권 내의 아무 곳에서나 데이터를 전송 및 수신할 수 있게 해주는 셀 전화와 같은 무선 기술이다. Wi-Fi 네트워크는 안전하고 신뢰성있으며 고속인 무선 연결을 제공하기 위해 IEEE 802.11(a,b,g, 기타)이라고 하는 무선 기술을 사용한다. 컴퓨터를 서로에, 인터넷에 및 유선 네트워크(IEEE 802.3 또는 이더넷을 사용함)에 연결시키기 위해 Wi-Fi가 사용될 수 있다. Wi-Fi 네트워크는 비인가 2.4 및 5 GHz 무선 대역에서, 예를 들어, 11Mbps(802.11a) 또는 54 Mbps(802.11b) 데이터 레이트로 동작하거나, 양 대역(듀얼 대역)을 포함하는 제품에서 동작할 수 있다.

본 개시의 기술 분야에서 통상의 지식을 가진 자는 여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들이 전자 하드웨어, (편의를 위해, 여기에서 "소프트웨어"로 지칭되는) 다양한 형태들의 프로그램 또는 설계 코드 또는 이들 모두의 결합에 의해 구현될 수 있다는 것을 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 이들의 기능과 관련하여 위에서 일반적으로 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 특정한 애플리케이션 및 전체 시스템에 대하여 부과되는 설계 제약들에 따라 좌우된다. 본 개시의 기술 분야에서 통상의 지식을 가진 자는 각각의 특정한 애플리케이션에 대하여 다양한 방식들로 설명된 기능을 구현할 수 있으나, 이러한 구현 결정들은 본 개시의 범위를 벗어나는 것으로 해석되어서는 안 될 것이다.

여기서 제시된 다양한 실시예들은 방법, 장치, 또는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용한 제조 물품(article)으로 구현될 수 있다. 용어 "제조 물품"은 임의의 컴퓨터-판독가능 장치로부터 액세스 가능한 컴퓨터 프로그램, 캐리어, 또는 매체(media)를 포함한다. 예를 들어, 컴퓨터-판독가능 매체는 자기 저장 장치(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립, 등), 광학 디스크(예를 들면, CD, DVD, 등), 스마트 카드, 및 플래쉬 메모리 장치(예를 들면, EEPROM, 카드, 스틱, 키 드라이브, 등)를 포함하지만, 이들로 제한되는 것은 아니다. 또한, 여기서 제시되는 다양한 저장 매체는 정보를 저장하기 위한 하나 이상의 장치 및/또는 다른 기계-판독가능한 매체를 포함한다.

제시된 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 개시의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다. 첨부된 방법 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제공하지만 제시된 특정한 순서 또는 계층 구조에 한정되는 것을 의미하지는 않는다.

이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.

100: 인지장애 판단 서버
200: 사용자 단말기
300: 의료 기관 서버

Claims (13)

1. 사용자 단말기와 연계된 인지장애 판단 서버에서 수행되는 인지장애 판단 방법에 있어서,
   (a) 상기 사용자 단말기에 구비된 카메라를 이용하여 촬영된 영상을 획득하는 단계;
   (b) 상기 영상에 포함된 사용자의 얼굴 각 부위에 매칭되는 복수 개의 점을 추출하는 단계;
   (c) 상기 복수 개의 점에 대한 위치변화 데이터를 생성하는 단계;
   (d) 상기 생성된 위치변화 데이터를 기초로, 상기 사용자의 안면근육의 움직임 또는 눈의 움직임을 추출하는 단계; 및
   (e) 추출된 상기 안면근육의 움직임 또는 상기 눈의 움직임을 기초로 인지장애여부를 판단하는 단계를 포함하되,
   상기 (e) 단계는,
   상기 안면근육의 움직임 또는 상기 눈의 움직임을 기초로, 안면근육 이동 패턴 또는 안구 이동 패턴을 추출하는 단계와,
   사전학습된 머신러닝 학습부에서, 상기 안면근육 이동 패턴 또는 상기 안구 이동 패턴의 입력을 기초로, 사용자의 각 인지영역에 대한 인지발달나이를 출력하는 단계와,
   상기 출력된 인지발달나이와 상기 사용자의 실제나이의 차이를 기초로, 상기 사용자의 인지발달종류 및 인지장애여부를 판단하는 단계를 포함하는
   인지장애 판단 방법.
   
2. 제1항에 있어서,
   상기 (e) 단계는,
   상기 안면근육의 움직임 또는 상기 눈의 움직임을 기초로, 미리 설정된 기준에 따라 상기 사용자의 감정상태를 판단하는 단계와,
   사전학습된 머신러닝 학습부에서, 상기 감정상태의 변화 순서, 상기 감정상태의 변화 속도, 및 상기 감정상태의 변화 강도에 대한 입력에 대응하여, 상기 사용자의 인지장애확률을 출력하는 단계를 더 포함하는
   인지장애 판단 방법.
   
3. 제2항에 있어서,
   상기 인지장애확률은, 복수의 인지장애종류에 대한 각각의 확률을 포함하고,
   상기 (e) 단계는,
   상기 복수의 인지장애종류에 대한 각각의 확률을 기초로, 상기 사용자의 인지장애종류와 인지장애여부를 판단하는 단계와,
   상기 판단된 인지장애종류에 따라 서로 다른 치료 프로그램을 제공하는 단계를 더 포함하는
   인지장애 판단 방법.
   
4. 제1항에 있어서,
   상기 (e) 단계는,
   상기 안면근육의 움직임 또는 상기 눈의 움직임을 기초로, 안면근육 이동 패턴 또는 안구 이동 패턴을 추출하는 단계와,
   사전학습된 머신러닝 학습부에서, 상기 안면근육 이동 패턴 또는 상기 안구 이동 패턴의 입력을 기초로, 사용자의 인지장애종류 및 인지장애확률을 출력하는 단계를 포함하되,
   상기 안면근육 이동 패턴 또는 상기 안구 이동 패턴은, 상기 사용자 단말기를 통해 사용자에게 자극을 인가하였을 때 상기 자극에 대한 눈동자 또는 안면근육의 이동 반경, 상기 자극에 대한 반응 속도, 및 상기 자극에 대한 반응 정확도를 더 포함하는
   인지장애 판단 방법.
   
5. 제4항에 있어서,
   상기 머신러닝 학습부는, 입력노드에 인가되는 상기 안면근육 이동 패턴 또는 상기 안구 이동 패턴과, 출력노드에 인가되는 상기 인지장애종류 및 상기 인지장애확률에 의해 반복 학습되는
   인지장애 판단 방법.
   
6. 제4항에 있어서,
   상기 (e) 단계는,
   상기 (a) 단계 내지 상기 (d) 단계가 복수의 사용자에 의해 반복 수행되면서 추출된 복수의 패턴을, 해당 사용자의 생년월일에 따라 그룹핑하는 단계와,
   그룹핑된 각각의 그룹에 포함된 패턴을 기초로 상기 머신러닝 학습부를 학습시키는 단계를 더 포함하는
   인지장애 판단 방법.
   
7. 제6항에 있어서,
   상기 (e) 단계는,
   상기 그룹에 포함된 각각의 패턴의 크기를 모두 동일하게 리스케일하는 단계를 더 포함하는
   인지장애 판단 방법.
   
8. 삭제
9. 제1항에 있어서,
   (f) 상기 인지장애여부에 대한 판단과 전문 임상데이터를 비교함으로써, 인지장애판단에 대한 정확도를 분석하고, 상기 인지장애판단의 결과에 상기 전문 임상데이터를 태깅하는 단계를 더 포함하는
   인지장애 판단 방법.
   
10. 삭제
11. 삭제
12. 삭제
13. 삭제

Images