KR102240228B1 - Method and system for scoring drawing test results through object closure determination - Google Patents

Method and system for scoring drawing test results through object closure determination Download PDF

Info

Publication number
KR102240228B1
KR102240228B1 KR1020190062878A KR20190062878A KR102240228B1 KR 102240228 B1 KR102240228 B1 KR 102240228B1 KR 1020190062878 A KR1020190062878 A KR 1020190062878A KR 20190062878 A KR20190062878 A KR 20190062878A KR 102240228 B1 KR102240228 B1 KR 102240228B1
Authority
KR
South Korea
Prior art keywords
user
unit
information
scoring
determination unit
Prior art date
Application number
KR1020190062878A
Other languages
Korean (ko)
Other versions
KR20200137105A (en
Inventor
이은주
김윤중
Original Assignee
한림대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한림대학교 산학협력단 filed Critical 한림대학교 산학협력단
Priority to KR1020190062878A priority Critical patent/KR102240228B1/en
Publication of KR20200137105A publication Critical patent/KR20200137105A/en
Application granted granted Critical
Publication of KR102240228B1 publication Critical patent/KR102240228B1/en

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Abstract

본 발명의 실시 예에 따른 드로잉 테스트 결과물을 채점하는 시스템은 서버와 사용자 기기를 포함하여 구성되고, 상기 서버는 일 사용자가 사용자 기기 상에서 오각형 그리기 검사 요청에 대응하여 그림을 그리면, 그에 따라 생성된 응답 정보를 상기 사용자 기기로부터 획득하고, 상기 획득된 응답 정보를 이용하여 상기 사용자가 그린 그림에 대한 분석을 다수 단계에 걸쳐 수행하고, 각 단계에서 각각 산출된 점수를 합산한 결과로 인지 장애 진단을 수행하는 제어부를 포함하고, 상기 제어부는 사용자가 그린 그림 상의 객체가 폐쇄된 형태인지 여부를 판단하고, 폐쇄된 형태인 경우 일 항목에 대한 단계별 점수를 만점으로 부여하고, 상기 사용자 기기는 상기 서버와 통신을 통해 상기 서버로부터 오각형 그리기 검사를 수행하는 데 요구되는 정보를 수신하여 실행될 수 있다. A system for scoring a drawing test result according to an embodiment of the present invention includes a server and a user device, and the server draws a picture in response to a pentagon drawing test request on the user device, and a response generated accordingly Acquire information from the user device, analyze the picture drawn by the user using the obtained response information over a number of steps, and perform cognitive impairment diagnosis as a result of summing the scores calculated at each step. And a control unit, wherein the control unit determines whether the object on the picture drawn by the user is in a closed form, and in the case of the closed form, gives a score for each step for one item as a perfect score, and the user device communicates with the server. It may be executed by receiving information required to perform the pentagon drawing inspection from the server through the method.

Description

객체의 폐쇄성 판단을 통해 드로잉 테스트 결과물을 채점하는 방법 및 시스템{Method and system for scoring drawing test results through object closure determination}Method and system for scoring drawing test results through object closure determination

본 발명은 객체의 폐쇄성 판단을 통해 드로잉 테스트 결과물을 채점하는 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for scoring a drawing test result by determining the closure of an object.

최근 들어 의학의 발전과 함께 노인 인구 비율이 전 세계적으로 증가하는 추세에 있다. 이러한 노령화 추세에 따라 치매환자의 발생도 점차 증가되고 있다. In recent years, with the advancement of medicine, the proportion of the elderly population is on the rise worldwide. According to this aging trend, the incidence of dementia patients is also gradually increasing.

치매는 정상적으로 발달한 뇌가 후천적인 외상이나 질병 등 외부적인 요인에 의해 손상되거나 파괴되어 기억력, 판단력, 계산 능력, 언어 능력, 시공간능력 등 여러 인지기능이 감퇴되어 사회활동 및 대인관계는 물론 일상생활조차 수행할 수 없게 되는 질병이다. Dementia is caused by damage or destruction of the normally developed brain due to external factors such as acquired trauma or disease, and various cognitive functions such as memory, judgment, computational ability, language ability, and spatiotemporal ability are reduced, resulting in social activities and interpersonal relationships as well as daily life. It is a disease that cannot even be carried out.

이러한 치매는 비가역적으로 진행되는 질병이므로 약물치료를 통한 완치는 불가하나 예측과 조기 발견이 가능할 경우 치매 발병의 지연 및 완화가 가능해져 사회 경제적 부담 경감과 삶의 질 향상에 크게 기여할 것으로 예상된다. 이러한 이유로 조기 치매 예측 및 진단을 위한 다양한 기술이 요구되고 있다.Since such dementia is an irreversible disease, it is impossible to cure it through drug treatment, but if prediction and early detection are possible, it is possible to delay and alleviate the onset of dementia, which is expected to greatly contribute to reducing the social and economic burden and improving the quality of life. For this reason, various technologies are required for predicting and diagnosing early dementia.

공개특허공보 10-2019-0015649호(신경심리검사를 이용한 치매 발병 예측 방법 및 예측 시스템)Unexamined Patent Publication No. 10-2019-0015649 (Method and predictive system for predicting the onset of dementia using neuropsychological tests)

본 발명은 치매와 같은 인지 장애를 진단하기 위한 인지 능력 검사에 사용되는 드로잉 테스트에 있어서, 해당 테스트에 임한 피검자의 테스트 결과물을 자동으로 채점하되, 사용자가 그린 객체가 제시 이미지와 동일한 폐쇄형 형태를 이루는지 여부를 판단하고, 그에 대응하는 채점 결과를 산출하도록 하는 데 목적이 있다. In the present invention, in a drawing test used for a cognitive ability test for diagnosing cognitive disorders such as dementia, the test result of the subject who has been subjected to the test is automatically scored, but the object drawn by the user has the same closed form as the presented image. The purpose is to determine whether or not to achieve it, and to calculate the corresponding scoring result.

본 발명의 실시 예에 따른 드로잉 테스트 결과물을 채점하는 시스템은 서버와 사용자 기기를 포함하여 구성되고, 상기 서버는 일 사용자가 사용자 기기 상에서 오각형 그리기 검사 요청에 대응하여 그림을 그리면, 그에 따라 생성된 응답 정보를 상기 사용자 기기로부터 획득하고, 상기 획득된 응답 정보를 이용하여 상기 사용자가 그린 그림에 대한 분석을 다수 단계에 걸쳐 수행하고, 각 단계에서 각각 산출된 점수를 합산한 결과로 인지 장애 진단을 수행하는 제어부를 포함하고, 상기 제어부는 사용자가 그린 그림 상의 객체가 폐쇄된 형태인지 여부를 판단하고, 폐쇄된 형태인 경우 일 항목에 대한 단계별 점수를 만점으로 부여하고, 상기 사용자 기기는 상기 서버와 통신을 통해 상기 서버로부터 오각형 그리기 검사를 수행하는 데 요구되는 정보를 수신하여 실행될 수 있다. A system for scoring a drawing test result according to an embodiment of the present invention includes a server and a user device, and the server draws a picture in response to a pentagon drawing test request on the user device, and a response generated accordingly Acquire information from the user device, analyze the picture drawn by the user using the obtained response information over a number of steps, and perform cognitive impairment diagnosis as a result of summing the scores calculated at each step. And a control unit, wherein the control unit determines whether the object on the picture drawn by the user is in a closed form, and in the case of the closed form, gives a score for each step for one item as a perfect score, and the user device communicates with the server. It may be executed by receiving information required to perform the pentagon drawing inspection from the server through the method.

본 발명은 오각형에 대한 자동 채점 방법을 제공하므로 보다 많은 사용자들에게 간편한 인지 능력 검사 기회를 제공할 수 있게 된다. Since the present invention provides an automatic scoring method for a pentagon, it is possible to provide a simple cognitive ability test opportunity to more users.

본 발명은 오각형 그리기 검사를 통해 판단되는 다양한 사용자 유형에 대응하여 세분화된 인지 장애 중증도 정보를 제공할 수 있다.The present invention may provide segmented cognitive impairment severity information corresponding to various types of users determined through a pentagonal drawing test.

본 발명은 터치 센서에서 감지되는 센서 데이터에 기반하여 피검자가 그린 객체의 형태가 폐쇄형인지 여부를 보다 간편하게 판단하므로, 별도의 고가의 장비가 필요하지 않으며, 터치 센서를 구비하는 일반적인 전자 기기를 통해 구현될 수 있다. The present invention more easily determines whether the shape of the object drawn by the subject is closed based on sensor data sensed by the touch sensor, so that separate expensive equipment is not required, and through a general electronic device equipped with a touch sensor. Can be implemented.

도 1은 본 발명의 실시 예에 따른 드로잉 테스트 결과물을 채점하는 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 드로잉 테스트 결과물을 채점하는 시스템을 구성하는 서버에 대한 블록도이다.
도 3은 본 발명의 실시 예에 따른 테스트 실행부의 구성을 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 전처리부의 구성을 도시한 블록도이다.
도 5는 본 발명의 실시 예에 따른 정보 분석부의 구성을 도시한 블록도이다.
도 6은 본 발명의 실시 예에 따른 피드백 제공부의 구성을 도시한 블록도이다.
도 7 내지 도 22는 본 발명의 실시 예에 따른 인지 능력 검사를 위한 데이터 처리 과정을 설명하기 위한 예시 도면이다.
1 is a diagram illustrating a configuration of a system for scoring a drawing test result according to an embodiment of the present invention.
2 is a block diagram of a server configuring a system for scoring a drawing test result according to an embodiment of the present invention.
3 is a block diagram showing the configuration of a test execution unit according to an embodiment of the present invention.
4 is a block diagram showing a configuration of a preprocessor according to an embodiment of the present invention.
5 is a block diagram showing the configuration of an information analysis unit according to an embodiment of the present invention.
6 is a block diagram showing a configuration of a feedback providing unit according to an embodiment of the present invention.
7 to 22 are exemplary diagrams for explaining a data processing process for a cognitive ability test according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals have been used for similar elements.

어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어'있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어'있다거나 '직접 접속되어'있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When an element is referred to as being'connected' or'connected' to another element, it is understood that it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when a component is referred to as being'directly connected' or'directly connected' to another component, it should be understood that there is no other component in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as'comprise' or'have' are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof does not preclude in advance.

본 명세서에서, 드로잉 테스트는 인지능력을 테스트하기 위한 다양한 종류의 그리기 검사(시계 그리기, 오각형 그리기)를 포함할 수 있다. In the present specification, the drawing test may include various types of drawing tests (clock drawing, pentagon drawing) to test cognitive ability.

바람직하게는, 본 발명의 실시 예에 따른 드로잉 테스트는 오각형 그리기 검사(PDT; Pentagon Drawing Test)를 의미할 수 있다. Preferably, the drawing test according to an embodiment of the present invention may mean a pentagon drawing test (PDT).

또한 본 명세서에서 '응답 정보'란 서버의 오각형 그리기 검사 요청에 대응하여 사용자가 입력한 그림 관련 정보를 의미할 수 있으며, 사용자가 테스트로 작성한 그림의 이미지를 의미하는 '이미지 데이터'와, 상기 그림이 작성되는 순서와 속도를 센싱한 정보인 '센서 데이터'를 포함할 수 있다. In addition, in this specification,'response information' may mean picture-related information input by a user in response to a request for a pentagon drawing inspection request from a server, and'image data' which means an image of a picture created by the user as a test, and the picture It may include'sensor data', which is information that senses the order and speed of creation.

또한, 본 명세서에서의 '인지 장애'는 치매를 의미하는 것으로 해석될 수 있다. 그리고 그에 따라 본 명세서에서의 '인지 능력 검사'는 치매 검사를 의미하는 것으로 해석될 수 있다. In addition, "cognitive disorder" in the present specification may be interpreted as meaning dementia. And accordingly, the'cognitive ability test' in the present specification may be interpreted as meaning a dementia test.

도 1은 본 발명의 실시 예에 따른 드로잉 테스트 결과물을 채점하는 시스템의 구성을 도시한 도면이다. 1 is a diagram illustrating a configuration of a system for scoring a drawing test result according to an embodiment of the present invention.

본 발명의 실시 예에 따른 드로잉 테스트 결과물을 채점하는 시스템은 서버 100, 상기 서버 100와 통신하는 사용자 기기 200를 포함하여 구성될 수 있다. 상기 사용자 기기 200는 다수 개(예, 201 내지 20n)일 수 있으며, 그 종류 또한 스마트폰, 태블릿, PC, 웨어러블 디바이스 등으로 다양할 수 있다. 이와 같은 다양한 종류의 사용자 기기에 검사 기능을 지원하기 위해 상기 서버 100는 웹 또는 앱 등의 형태로 검사 동작이 수행되도록 구현할 수 있다. A system for scoring a drawing test result according to an embodiment of the present invention may include a server 100 and a user device 200 communicating with the server 100. The number of user devices 200 may be plural (eg, 201 to 20n), and the types may also be various such as smartphones, tablets, PCs, wearable devices, and the like. In order to support the inspection function for various types of user devices, the server 100 may be implemented to perform the inspection operation in the form of a web or an app.

상기 서버 100에 대한 구체적인 설명은 이하의 도면을 참조하여 기술하기로 한다. A detailed description of the server 100 will be described with reference to the following drawings.

도 2는 본 발명의 실시 예에 따른 드로잉 테스트 결과물을 채점하는 시스템을 구성하는 서버에 대한 블록도이다. 2 is a block diagram of a server configuring a system for scoring a drawing test result according to an embodiment of the present invention.

도 2에서 도시되는 바와 같이, 상기 서버 100는 통신부 110, 저장부 120, 제어부 130를 포함하여 구성될 수 있다. 그리고 상기 제어부 130는 테스트 실행부 131, 전처리부 132, 정보 분석부 133, 피드백 제공부 134를 포함하여 구성될 수 있다. As shown in FIG. 2, the server 100 may include a communication unit 110, a storage unit 120, and a control unit 130. In addition, the control unit 130 may include a test execution unit 131, a preprocessor 132, an information analysis unit 133, and a feedback providing unit 134.

상기 통신부 110는 사용자 기기와 서버 간의 데이터 송수신을 위해 네트워크를 이용할 수 있으며 상기 네트워크의 종류는 특별히 제한되지 않는다. 상기 네트워크는 예를 들어, 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스를 제공하는 아이피(IP: Internet Protocol)망 또는 서로 다른 IP 망을 통합한 올 아이피(All IP) 망 일 수 있다. The communication unit 110 may use a network to transmit and receive data between the user device and the server, and the type of the network is not particularly limited. The network may be, for example, an Internet Protocol (IP) network that provides a service for transmitting and receiving large amounts of data through an Internet Protocol (IP) or an All IP network integrating different IP networks.

또한, 상기 네트워크는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE(Long Term Evolution) 망을 포함하는 이동통신망, LTE advanced(LTE-A), 5G(Five Generation)를 포함하는 이동통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중 하나 이거나 또는 이들 중 적어도 하나 이상을 결합하여 이루어질 수 있다.In addition, the network includes a wired network, a wireless broadband (Wibro) network, a mobile communication network including WCDMA, a high speed downlink packet access (HSDPA) network, and a mobile communication network including a long term evolution (LTE) network, and LTE advanced (LTE-A). ), a mobile communication network including 5G (Five Generation), a satellite communication network, and a Wi-Fi network, or may be formed by combining at least one or more of them.

본 발명의 실시 예에 따른 상기 통신부 110는 오각형 그리기 검사를 수행하는 데 요구되는 정보를 사용자 기기로 전송할 수 있다. 그리고 상기 통신부 110는 사용자 기기로부터 사용자의 응답정보(오각형을 그린 그림과 관련된 이미지 데이터, 센서 데이터 등), 사용자의 개인 신상 정보, 사용자의 라이프스타일 관련 정보(식습관, 생활 습관 정보)를 수신하기 위한 통신 기능을 수행할 수 있다. The communication unit 110 according to an embodiment of the present invention may transmit information required to perform a pentagon drawing inspection to a user device. And the communication unit 110 is for receiving the user's response information (image data related to a pentagonal drawing, sensor data, etc.), the user's personal information, the user's lifestyle-related information (eating habits, lifestyle information) from the user device. Can perform communication function.

다양한 실시 예에 따라 상기 통신부 110는 사용자 기기가 판단한 현재 위치 정보 또는 사용자 거주지 정보를 사용자 기기측으로부터 수신할 수 있다. 그리고 이에 대응하여 상기 통신부 110는 산출된 사용자 기기와의 현재 위치 또는 사용자 거주지 정보에 기반하여 볼 때 가장 가까운 의료기관에 관한 정보를 사용자 기기 200로 전송할 수 있다. According to various embodiments of the present disclosure, the communication unit 110 may receive current location information or user residence information determined by the user device from the user device side. In response to this, the communication unit 110 may transmit information on the nearest medical institution to the user device 200 based on the calculated current location of the user device or the user residence information.

다양한 실시 예에 따라 상기 통신부 110는 사용자 기기 외에 검색을 위한 웹 서버와의 통신을 수행할 수 있다. 또는 상기 통신부 110는 연계된 기관 또는 업체 측 서버와 통신할 수 있다. According to various embodiments, the communication unit 110 may communicate with a web server for search in addition to the user device. Alternatively, the communication unit 110 may communicate with an associated institution or company-side server.

예를 들어, 상기 통신부 110는 필요에 따라 특정 사용자(피검자)의 검사 결과를 연계된 의료기관 측으로 자동 전송하고, 해당 의료기관측으로부터 기 수행된 해당 피검자에 관한 담당의 소견, MRI 검사 자료 등을 토대로 판단한 인지 능력 검사(치매 검사)에 관한 확진 정보를 수신할 수 있다. 일 사용자(피검자)에 대하여 의료기관측으로부터 수신된 인지 능력 검사에 대한 확진 정보는 다시 사용자 기기 200측에 전송될 수 있다. For example, the communication unit 110 automatically transmits the test results of a specific user (subject) to the linked medical institution as necessary, and determines based on the opinion of the person in charge of the subject and MRI test data previously performed by the medical institution. Confirmation information about cognitive ability test (dementia test) can be received. Confirmation information on the cognitive ability test received from the medical institution for one user (subject) may be transmitted to the user device 200 again.

상기 저장부 120는 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장메모리는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.The storage unit 120 may include, for example, an internal memory or an external memory. The built-in memory includes, for example, volatile memory (e.g., dynamic RAM (DRAM), static RAM (SRAM), synchronous dynamic RAM (SDRAM), etc.)), non-volatile memory (e.g., OTPROM (one time programmable ROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash memory (such as NAND flash or NOR flash), hard drive, Alternatively, it may include at least one of a solid state drive (SSD).

외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), XD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치와 기능적으로 및/또는 물리적으로 연결될 수 있다.External memory is a flash drive, for example, compact flash (CF), secure digital (SD), micro secure digital (Micro-SD), mini secure digital (Mini-SD), extreme digital (XD), It may further include a multi-media card (MMC) or a memory stick. The external memory may be functionally and/or physically connected to the electronic device through various interfaces.

본 발명의 실시 예에 따른 상기 저장부 120는 오각형 그리기 검사용 문제, 채점기준, 테스트 점수와 인지 장애 유무 및 중증도의 매칭 정보 등의 인지 능력 검사 자료를 저장할 수 있다. The storage unit 120 according to an embodiment of the present invention may store cognitive ability test data such as a problem for drawing a pentagon, a scoring criterion, a test score, and matching information of a cognitive impairment and severity.

또한 상기 저장부 120는 U-net 기반의 세그멘테이션 동작 관련 알고리즘을 저장할 수 있으며, 세그멘테이션 동작 결과로 생성된 2차 이미지들을 저장할 수 있다. 그 밖에도 상기 저장부 120는 사용자가 직접 입력한 개인정보, 라이프스타일과 관련된 설문 정보를 저장할 수 있다. In addition, the storage unit 120 may store an algorithm related to a segmentation operation based on U-net, and may store secondary images generated as a result of the segmentation operation. In addition, the storage unit 120 may store personal information directly input by the user and survey information related to lifestyle.

상기 제어부 130는 본 발명의 실시 예에 따른 인지 능력 검사를 진행하는 것과 관련된 동작 전반을 수행할 수 있으며, 예컨대, 상기 제어부 130는 사용자가 그리는 그림의 이미지 등의 응답 정보를 획득하는 동작, 획득된 응답 정보를 분석하여 채점하는 동작, 채점 결과에 따라 인지 장애(예, 치매) 여부를 판단하는 동작 등을 수행할 수 있다. The controller 130 may perform overall operations related to performing a cognitive ability test according to an embodiment of the present invention. For example, the controller 130 acquires response information, such as an image of a picture drawn by a user, An operation of analyzing response information and scoring may be performed, and an operation of determining whether there is a cognitive impairment (eg, dementia) according to the scoring result may be performed.

구체적으로, 상기 제어부 130는 테스트 실행부 131, 전처리부 132, 정보 분석부 133, 피드백 제공부 134를 포함하여 구성될 수 있다. Specifically, the control unit 130 may include a test execution unit 131, a preprocessor 132, an information analysis unit 133, and a feedback providing unit 134.

상기 테스트 실행부 131는 사용자(피검자)가 오각형 그리기 검사를 수행할 수 있도록 안내 및 테스트 수행 관련 동작을 제공할 수 있다. The test execution unit 131 may provide a guide and an operation related to test execution so that a user (subject) may perform a pentagon drawing inspection.

구체적인 상기 테스트 실행부 131의 구성에 대하여는 도 3을 참조하여 하기에 설명하기로 한다. A detailed configuration of the test execution unit 131 will be described below with reference to FIG. 3.

상기 전처리부 132는 상기 테스트 실행부 131에서 사용자에게 테스트를 실행한 결과로 얻어진 사용자의 응답 정보에 대한 전처리를 수행할 수 있다. 구체적으로, 상기 전처리부 132는 상기 테스트 실행부 131에서 사용자 기기 200측에 제공한 테스트 동작을 통해 얻어진 사용자의 응답 정보를 획득하고, 획득된 응답 정보를 분석에 용이한 정보로 가공하는 전처리 동작을 수행할 수 있다. 상기 전처리부 132에 대한 보다 구체적인 정보는 도 4를 참조하여 하기에 기술하기로 한다. The preprocessor 132 may perform preprocessing on response information of a user obtained as a result of executing a test on the user by the test execution unit 131. Specifically, the pre-processing unit 132 acquires the user's response information obtained through the test operation provided to the user device 200 by the test execution unit 131, and performs a pre-processing operation of processing the obtained response information into information that is easy for analysis. You can do it. More detailed information on the preprocessor 132 will be described below with reference to FIG. 4.

상기 정보 분석부 133는 테스트에 대한 사용자의 응답 정보를 분석하여, 사용자의 점수를 산출할 수 있다. 나아가 상기 정보 분석부 133는 산출된 점수를 기반으로 사용자(피검자)의 인지 장애 여부 판단 내지는 인지 장애의 중증도를 판단할 수 있다. 상기 정보 분석부 133는 도 10에서 도시되는 바와 같이, 이미지 데이터를 인공 신경망 기반의 알고리즘에 투입하여 연산한 결과를 가지고 분석 동작을 수행할 수 있다.The information analysis unit 133 may analyze the user's response information to the test and calculate the user's score. Further, the information analysis unit 133 may determine whether the user (the subject) has a cognitive impairment or determine the severity of the cognitive impairment based on the calculated score. As illustrated in FIG. 10, the information analysis unit 133 may perform an analysis operation based on a result obtained by inputting image data into an algorithm based on an artificial neural network.

상기 정보 분석부 133에 대한 상세한 설명은 도 5를 참조하여 하기에 기술하기로 한다. A detailed description of the information analysis unit 133 will be described below with reference to FIG. 5.

상기 피드백 제공부 134는 사용자(피검자)에 대한 테스트 결과에 대응하는 피드백을 제공할 수 있다. 상기 피드백 제공부 134는 예컨대, 사용자의 인지 장애 질환(예, 치매) 예방 또는 인지 장애 증상 완화를 위한 테스트 또는 훈련과 관련된 기능을 사용자에게 제공할 수 있다. 또한 상기 피드백 제공부 134는 본원 발명에서 사용자(피검자)의 테스트 결과를 분석하는 인공신경망의 학습과 관련된 자료 선택 및 인공신경망 학습동작을 수행할 수 있다. 상기 피드백 제공부 134에 관한 보다 구체적인 내용은 도 6을 참조하여 하기에 기술하기로 한다. The feedback providing unit 134 may provide a feedback corresponding to a test result to a user (subject). The feedback providing unit 134 may provide a function related to a test or training for preventing a user's cognitive impairment disease (eg, dementia) or alleviating symptoms of a cognitive impairment, for example. In addition, in the present invention, the feedback providing unit 134 may select data related to learning of an artificial neural network that analyzes a test result of a user (subject) and perform an artificial neural network learning operation. More detailed information on the feedback providing unit 134 will be described below with reference to FIG. 6.

도 3은 본 발명의 실시 예에 따른 테스트 실행부의 구성을 도시한 블록도이다. 3 is a block diagram showing the configuration of a test execution unit according to an embodiment of the present invention.

상기 테스트 실행부 131는 사용자에게 오각형 그리기 검사 정보(예, 문제)를 제공하는 등의 테스트 실행 전반과 관련된 동작을 수행할 수 있다. 이를 위해 상기 테스트 실행부 131는 도 3에서 도시되는 바와 같이, 문제 실행부 131a, 응답 정보 획득부 131b, 응답 정보 분류부 131c를 포함하여 구성될 수 있다. The test execution unit 131 may perform an operation related to overall test execution, such as providing pentagon drawing inspection information (eg, a problem) to a user. To this end, the test execution unit 131 may include a problem execution unit 131a, a response information acquisition unit 131b, and a response information classification unit 131c, as shown in FIG. 3.

상기 문제 실행부 131a는 오각형 그리기 테스트를 사용자(피검자)가 수행하도록 문제와 지시사항 내용을 사용자 기기 200로 전달할 수 있다. 상기 문제 실행부 131a는 도 8에서 도시되는 바와 같은 화면을 제시하여 사용자로 하여금 오각형 그리기 동작을 하도록 유도할 수 있다. The problem execution unit 131a may transmit problems and instructions to the user device 200 so that the user (subject) performs the pentagon drawing test. The problem execution unit 131a may induce a user to draw a pentagon by presenting a screen as shown in FIG. 8.

보다 구체적으로는, 상기 문제 실행부 131a는 도 8에서 보이는 바와 같이, 사용자가 따라 그릴 수 있도록 테스트 제공 화면의 일측에 제시 이미지를 표시할 수 있다. 상기 제시 이미지는 2개의 오각형이 겹쳐진 형태로 이는 오각형 그리기 검사에서 주로 사용되는 이미지일 수 있다. 그리고 상기 문제 실행부 131a는 사용자가 상기 제시 이미지를 따라 오각형을 그리게 되는 그리기 영역을 상기 테스트 제공 화면의 나머지 공간에 제공할 수 있다. 상기 문제 실행부 131a는 사용자의 그리기 입력(예, 터치 입력, 스마트 펜 입력 등)의 궤적을 화면에 표시할 수 있다. 이에 따라 사용자는 자신이 그리고자 하는 선의 형태와 길이 등의 요소를 파악하면서 테스트용 오각형을 화면상(또는 별도 입력장치)에 그릴 수 있게 된다. More specifically, as shown in FIG. 8, the problem execution unit 131a may display the presented image on one side of the test providing screen so that the user can follow along. The presented image is a form in which two pentagons are overlapped, and this may be an image mainly used in a pentagon drawing inspection. In addition, the problem execution unit 131a may provide a drawing area in which the user draws a pentagon along the presented image in the remaining space of the test providing screen. The problem execution unit 131a may display a trajectory of a user's drawing input (eg, touch input, smart pen input, etc.) on the screen. Accordingly, the user can draw a test pentagon on the screen (or a separate input device) while grasping factors such as the shape and length of the line he wants to draw.

상기 문제 실행부 131a는 다양한 실시 예에 따라 오각형을 그릴 손의 종류(예, 왼손 또는 오른손 여부)를 사용자에게 알려줄 수 있다. 일 실시 예에 따라, 오각형 그리기 테스트는 사용자의 주 사용 손의 종류 정보에 기반하여 테스트할 손의 종류 또는 테스트를 수행할 손의 순서(예, 오른손잡이 사용자에게 오른손을 이용한 이후 왼손을 이용한 를 수행하도록 지정할 수 있음)를 지정하고 알려줄 수 있다. According to various embodiments, the problem execution unit 131a may inform the user of the type of hand to draw a pentagon (eg, whether it is a left hand or a right hand). According to an embodiment, the pentagonal drawing test is performed based on the user's main hand type information, the type of hand to be tested, or the order of the hand to be tested (e.g., using the right hand for a right-handed user and then using the left hand). You can specify and inform).

다양한 실시 예에 따라, 상기 문제 실행부 131a는 다양한 사용자 개인 정보 기반의 문제 제공 동작을 수행할 수 있다. 상기 문제 실행부 131a는 사용자 기기 200측에 문제를 제공하기 전에, 사용자 계정에 입력된 사용자 개인 정보를 확인할 수 있다. 상기 사용자 개인 정보의 항목으로는 예컨대, 이름, 나이, 성별, 주 사용 손(예, 오른손잡이 또는 왼손잡이) 등이 포함될 수 있다. 상기 문제 실행부 131a는 사용자의 성별과 나이에 기반하여 통상적인 인지 장애 발병 확률을 산출할 수 있다. 이후 상기 문제 실행부 131a는 통상적인 인지 장애(예, 치매) 가능성 백분위가 기준치 이상인 연령대, 성별에 해당하는 사용자 그룹에 대하여 테스트 조건을 변경할 수 있다. 예컨대, 상기 문제 실행부 131a는 테스트 진행 횟수 변경, 테스트 제한 시간 감소 등의 조건 변경을 수행할 수 있다. According to various embodiments, the problem execution unit 131a may perform a problem providing operation based on various user personal information. The problem execution unit 131a may check user personal information input to a user account before providing a problem to the user device 200. The items of the user's personal information may include, for example, a name, age, gender, a primary hand (eg, right-handed or left-handed). The problem execution unit 131a may calculate a general probability of developing a cognitive disorder based on the user's gender and age. Thereafter, the problem execution unit 131a may change the test condition for a user group corresponding to an age group and a gender whose probability percentile of a typical cognitive impairment (eg, dementia) is greater than or equal to a reference value. For example, the problem execution unit 131a may change conditions such as a change in the number of times a test proceeds and a decrease in a test time limit.

다양한 실시 예에 따라 상기 사용자 개인 정보의 항목에는, 인지 장애 질환 의 발병률과 연관성을 갖는 항목인 식습관 정보, 알코올 섭취량 등에 관한 정보를 더 포함할 수 있다. 사용자는 테스트 수행 전, 사용자 개인정보에 자신의 식습관과 관련된 정보(예, 일정 기간 동안의 육류 섭취 횟수, 알코올 섭취 횟수 등)을 입력하도록 요청받을 수 있다. 이에 대응하여 사용자는 식습관 정보를 기입할 수 있으며, 그에 대응하여 상기 문제 실행부 131a는 사용자의 식습관 정보에 대응하는 인지 장애 발생 위험도를 기 저장된 정보(예, '식습관 정보-치매 위험도 매칭 테이블')에 기반하여 산출할 수 있다. 그리고 상기 문제 실행부 131a는 사용자의 식습관 정보 기반의 인지 장애 발생 위험도 수준에 기반하여 테스트 진행 횟수, 테스트 제한 시간 등의 테스트 조건을 변경할 수 있다.According to various embodiments of the present disclosure, the item of user personal information may further include information on diet information, alcohol intake, and the like, which are items having a correlation with the incidence of cognitive disorders. Before the test is performed, the user may be asked to input information related to his or her eating habits (eg, the number of meat consumed during a certain period of time, the number of alcohol consumed, etc.) in the user's personal information. In response to this, the user can fill in the eating habit information, and in response, the problem execution unit 131a pre-stored information on the risk of occurrence of cognitive impairment corresponding to the user's eating habit information (e.g.,'eating habit information-dementia risk matching table') It can be calculated based on In addition, the problem execution unit 131a may change test conditions, such as the number of times the test proceeds and the test time limit, based on the risk level of occurrence of cognitive impairment based on the user's eating habit information.

상기 테스트 실행부 131의 구성 중 두번째 구성인 응답 정보 획득부 131b는 사용자가 입력한 응답 정보를 획득하는 동작을 수행할 수 있다. 이 때 상기 응답 정보는 사용자가 그린 오각형 그림의 '이미지 데이터'와, 사용자가 그림(오각형)을 그릴 때 센싱된 입력 요소에 관한 데이터인 '센서 데이터'를 포함할 수 있다. The response information acquisition unit 131b, which is a second configuration of the test execution unit 131, may perform an operation of acquiring response information input by a user. In this case, the response information may include'image data' of a pentagonal picture drawn by the user and'sensor data' that is data about an input element sensed when the user draws a picture (pentagonal).

상기 응답 정보 획득부 131b는 사용자 기기 200 상의 앱이 실행되는 동안, 터치 센서가 감지하는 사용자 입력(터치 입력 또는 스마트 펜 입력 등) 정보를 일정 주기별로 획득할 수 있다. 예컨대, 상기 응답 정보 획득부 131b는 20ms 샘플링 주기마다, 터치 센서가 감지하는 사용자 입력의 x 및 y좌표 값을 추출하고 이를 저장할 수 있다. The response information acquisition unit 131b may acquire user input (touch input, smart pen input, etc.) information detected by a touch sensor for each predetermined period while an app on the user device 200 is being executed. For example, the response information acquisition unit 131b may extract and store x and y coordinate values of the user input sensed by the touch sensor every 20 ms sampling period.

그에 따라 상기 응답 정보 획득부 131b가 획득한 '센서 데이터'는 사용자가 오각형을 그릴 때의 속도, 가속도 등의 요소를 포함하여 구성될 수 있다. 상기 '센서 데이터'는 도 9의 911에서 도시되는 바와 같이, 테스트 수행 일자, 테스트에 소요된 시간, 오각형을 그리는 속도, 시간대별 선 생성 좌표 위치 등에 관한 항목을 포함하여 구성될 수 있다. 추후 상기 '센서데이터'는 912, 913에서 도시되는 것과 같은 그래프 산출에 이용될 수 있다. Accordingly, the'sensor data' acquired by the response information acquisition unit 131b may include elements such as speed and acceleration when the user draws a pentagon. As shown in 911 of FIG. 9, the'sensor data' may include items related to a test execution date, a time required for the test, a speed of drawing a pentagon, a coordinate position of line generation by time slot, and the like. Later, the'sensor data' may be used to calculate a graph as shown in 912 and 913.

도 4는 본 발명의 실시 예에 따른 전처리부의 구성을 도시한 블록도이다. 4 is a block diagram showing a configuration of a preprocessor according to an embodiment of the present invention.

상기 전처리부 132는 일 검사에 대하여 획득된 응답 정보(센서 데이터, 이미지 데이터)를 분석하기 용이한 형태로 전처리할 수 있다. 상기 전처리부 132는 도 4에서 도시되는 바와 같이, 응답 정보 분류부 132a, 유용 데이터 변환부 132b를 포함하여 구성될 수 있다. The preprocessor 132 may preprocess the response information (sensor data, image data) obtained for one inspection in a form that is easy to analyze. As illustrated in FIG. 4, the preprocessor 132 may include a response information classification unit 132a and a useful data conversion unit 132b.

상기 응답 정보 분류부 132a는 획득된 응답 정보를 이미지 데이터와, 센서 데이터로 분류할 수 있다. 그리고 상기 응답 정보 분류부 132a는 다양한 실시 예에 따라 테스트가 다수 회 실시된 경우, 테스트 회차별로 응답 정보를 분류할 수 있다. 이 밖에도 상기 응답 정보 분류부 132a는 사용자 유형 내지는 그룹에 따라 응답 정보를 분류할 수 있다. The response information classification unit 132a may classify the obtained response information into image data and sensor data. In addition, the response information classification unit 132a may classify response information for each test time when a test is performed multiple times according to various embodiments. In addition, the response information classification unit 132a may classify response information according to a user type or group.

상기 유용 데이터 변환부 132b는 응답정보가 상기 응답 정보 분류부 132a에 의해 분류되면, 이를 분석에 적합한 형태로 변환하는 데이터 변환 동작을 수행할 수 있다. When the response information is classified by the response information classification unit 132a, the useful data conversion unit 132b may perform a data conversion operation of converting the response information into a form suitable for analysis.

구체적으로, 상기 응답 정보 분류부 132a에서 이미지 데이터와 센서 데이터가 분류되면, 상기 유용 데이터 변환부 132b는 이미지 데이터에 대하여, 이미지의 유효성을 판단할 수 있다. 예를 들면, 상기 유용 데이터 변환부 132b는 상기 이미지에 포함된 선의 굵기가 기 설정된 값 이상인 경우, 정상적인 스마트 펜 또는 손가락을 이용한 터치가 아닌, 실수에 의한 손바닥 터치, 실수에 의한 다수개의 손가락 멀티 터치 등으로 간주하고, 그에 따라 유효하지 않은 것으로 판단할 수 있다. Specifically, when image data and sensor data are classified by the response information classification unit 132a, the useful data conversion unit 132b may determine validity of the image with respect to the image data. For example, when the thickness of a line included in the image is greater than or equal to a preset value, the useful data conversion unit 132b may touch a palm by mistake, not a touch using a normal smart pen or a finger, and multi-touch multiple fingers by mistake. It is regarded as such, and can be judged as invalid accordingly.

상기 유용 데이터 변환부 132b는 획득된 이미지 데이터의 유효성 판단 결과, 유효하지 않은 것으로 판단되면, 상기 테스트 실행부 131에 문제 제공 동작을 재수행하도록 요청할 수 있다. 또는 테스트가 다수 회에 걸쳐 수행되어, 상기 응답 정보 분류부 132a에서 회차별로 분류된 응답 정보가 존재하는 경우, 상기 유용 데이터 변환부 132b는 일 이미지 데이터가 유효하지 않은 것으로 판단되면, 다음 회차의 이미지 데이터의 유효성을 판단할 수 있다. 상기 유용 데이터 변환부 132b는 이미지 데이터의 유효성 판단 결과, 유효성이 기준치 이상인 것으로 판단되는 경우, 해당 이미지 데이터를 분석용 데이터로 확정하고, 정보 분석부 133에 해당 이미지 데이터를 분석하도록 요청할 수 있다. The useful data conversion unit 132b may request the test execution unit 131 to re-perform the problem providing operation when it is determined that the obtained image data is not valid as a result of determining the validity of the acquired image data. Alternatively, if the test is performed multiple times and there is response information classified for each episode in the response information classification unit 132a, the useful data conversion unit 132b determines that one image data is not valid, You can judge the validity of the data. When it is determined that the validity of the image data is greater than or equal to the reference value, the useful data conversion unit 132b may determine the image data as data for analysis and request the information analysis unit 133 to analyze the image data.

상기 유용 데이터 변환부 132b는 이미지 데이터 외에, 센서 데이터에 대한 분석용 데이터로의 변환을 수행할 수 있다. 상기 유용 데이터 변환부 132b는 센서 데이터에 기반하여 그리기 속도에 관한 그래프를 생성하고, 생성된 그래프를 분석용 데이터로 확정할 수 있다. 상기 그래프는 그리기 속도가 나타내는 다수개의 peak, 평균 속도 등의 정보를 추출하기 위해 도 11에서 도시되는 바와 같이 생성될 수 있다. 예컨대, 상기 유용 데이터 변환부 132b는 도 9에서 도시되는 바와 같이, 센서 데이터 911을 912, 913과 같은 그래프로 변환할 수 있다. 그리고 상기 유용 데이터 변환부 132b는 상기 811, 813과 같은 그래프를 분석용 데이터로 확정하고 정보 분석부 133에 해당 그래프를 분석하도록 요청할 수 있다. The useful data conversion unit 132b may convert sensor data into data for analysis in addition to image data. The useful data conversion unit 132b may generate a graph related to a drawing speed based on sensor data, and determine the generated graph as data for analysis. The graph may be generated as shown in FIG. 11 to extract information such as a plurality of peaks and average speeds indicated by the drawing speed. For example, as illustrated in FIG. 9, the useful data conversion unit 132b may convert sensor data 911 into graphs such as 912 and 913. In addition, the useful data conversion unit 132b may determine graphs such as 811 and 813 as data for analysis, and request the information analysis unit 133 to analyze the graph.

도 5는 본 발명의 실시 예에 따른 정보 분석부의 구성을 도시한 블록도이다. 5 is a block diagram showing the configuration of an information analysis unit according to an embodiment of the present invention.

상기 정보 분석부 133는 앵글 판단부 133a, 교차 판단부 133b, 폐쇄 판단부 133c, 추가 특징 판단부 133d, 인공지능 지원부 133e를 포함하여 구성될 수 있다. The information analysis unit 133 may include an angle determination unit 133a, a cross determination unit 133b, a closure determination unit 133c, an additional feature determination unit 133d, and an artificial intelligence support unit 133e.

상기 정보 분석부 133는 앵글 판단부 133a, 교차 판단부 133b, 폐쇄 판단부 133c 등을 통해 응답 정보에 대한 인공지능 기반의 점수 산출 동작을 수행할 수 있다. 바람직하게는 상기 정보 분석부 133는 CNN 종류 중 하나인 U-net을 통해 점수 산출 동작을 수행할 수 있다. The information analysis unit 133 may perform an artificial intelligence-based score calculation operation for response information through the angle determination unit 133a, the cross determination unit 133b, and the closure determination unit 133c. Preferably, the information analysis unit 133 may perform a score calculation operation through U-net, which is one of the CNN types.

U-net이란 도 7에서 도시되는 바와 같이, 네트워크 형태가 알파벳 U와 형태가 비슷한 인공신경망 모델로서, 특정 형태의 모델 이미지와 동일한 요소를 대상 이미지에서 추출하는 데 사용될 수 있다. U-net의 경우, 주로 의료분야에서 영상 분할을 위해 사용되며, U 형태의 좌측 알고리즘(이미지를 점점 줄여 나가는 부분)에 해당하는 Contracting path와 U 형태에서 중앙선을 기준으로 우측 알고리즘(이미지를 키워나가는 부분)에 해당하는 Expanding path로 구성될 수 있다. 상기 U-net은 기존의 세그멘테이션 동작의 문제점인 느린 속도를 개선할 수 있는데, 이는 대상 이미지에 대하여 소정의 단위(Patch)로 이미지를 인식해나가는 동작을 수행할 시, 이미지의 오버랩 비율이 적기 때문이다. 즉, 중복된 영역의 이미지 인식을 수행하지 않으므로 U-net 기반의 세그멘테이션 동작은 기존 방식에 비해 속도가 향상되는 효과를 기대할 수 있다. 이 밖에도 U-net을 이용한 세그멘테이션 동작의 경우, 인식 단위(patch) 사이즈를 증가시키거나 감소시키는 경우에 발생되는 문제를 방지할 수 있으며, 그에 따라 여러 레이어의 아웃풋을 동시에 검증하면서 부분인식(localization)과 전체인식(context)에서 모두 적정 효과를 얻을 수 있다. As illustrated in FIG. 7, the U-net is an artificial neural network model having a network shape similar to that of the alphabet U, and may be used to extract elements identical to a model image of a specific shape from a target image. In the case of U-net, it is mainly used for image segmentation in the medical field, and the contracting path corresponding to the U-shaped left algorithm (the part that gradually reduces the image) and the right algorithm (for increasing the image) based on the center line in the U-shaped. It can be composed of an Expanding path corresponding to (part). The U-net can improve the slow speed, which is a problem of the existing segmentation operation, because the overlap ratio of the image is small when performing the operation of recognizing the image in a predetermined unit (Patch) with respect to the target image. to be. That is, since the image recognition of the overlapped area is not performed, the U-net-based segmentation operation can be expected to increase the speed compared to the conventional method. In addition, in the case of the segmentation operation using U-net, problems that occur when the recognition unit (patch) size is increased or decreased can be prevented, and accordingly, localization while simultaneously verifying the output of several layers. It is possible to obtain appropriate effects in both and in context.

상기 정보 분석부 133에서 산출하는 점수에 기반하여 사용자의 인지 장애 여부 뿐 아니라 인지 장애의 중증도를 판단할 수 있으며, 주기적인 검진 결과 비교를 통해 인지 장애 증상(예, 치매 증상)의 악화 속도를 판단할 수 있다. Based on the score calculated by the information analysis unit 133, it is possible to determine not only the user's cognitive impairment, but also the severity of the cognitive impairment, and determine the rate of deterioration of cognitive impairment symptoms (eg, dementia symptoms) through comparison of periodic examination results. can do.

상기 정보 분석부 133는 사용자의 검사 결과를 점수로 산출하기 위해 상기 앵글 판단부 133a, 교차 판단부 133b, 폐쇄 판단부 133c 각각에서 분석된 결과값을 종합할 수 있다. 이하에서는 상기 앵글 판단부 133a, 교차 판단부 133b, 폐쇄 판단부 133b에 대한 설명을 차례로 기술하기로 한다. The information analysis unit 133 may synthesize result values analyzed by each of the angle determination unit 133a, the cross determination unit 133b, and the closure determination unit 133c in order to calculate the user's test result as a score. Hereinafter, the angle determination unit 133a, the cross determination unit 133b, and the closing determination unit 133b will be described in order.

1. 앵글 판단부1. Angle judgment unit

상기 앵글 판단부 133a는 사용자가 그린 이미지에서 전체 앵글의 개수를 판단하는 앵글 판단 단계를(앵글 판단 동작) 수행할 수 있다. 제시 이미지와 동일하게 그려진 이미지라면 2개의 5각형이 구성하는 앵글의 개수는 10개여야 한다. 상기 앵글 판단부 133a는 이미지 데이터에서 나타나 있는 전체 앵글의 개수가 10개에 근접할수록 높은 점수를 부여할 수 있다. The angle determination unit 133a may perform an angle determination step (angle determination operation) of determining the number of all angles in the image drawn by the user. If the image is drawn in the same way as the presented image, the number of angles composed of two pentagons must be 10. The angle determination unit 133a may assign a higher score as the number of all angles displayed in the image data approaches 10.

1-1. 센서 데이터 정보 추출 동작1-1. Sensor data information extraction operation

상기 앵글 판단부 133a는 이미지 상에서 앵글 개수를 판단하기 위해 1차적으로 센서 데이터 정보 추출 동작을 수행할 수 있다. 먼저 상기 앵글 판단부 133a는 센서 데이터로부터 그림이 그려지는 것과 관련된 시간, 좌표, 속도, 가속도 등의 데이터를 추출할 수 있다. 상기 앵글 판단부 133a는 상기 샘플링된 데이터를 추후 비교를 위해 저장부에 임시 저장할 수 있다. The angle determination unit 133a may primarily perform an operation of extracting sensor data information to determine the number of angles on the image. First, the angle determination unit 133a may extract data such as time, coordinates, speed, and acceleration related to drawing a picture from sensor data. The angle determination unit 133a may temporarily store the sampled data in a storage unit for later comparison.

1-2. 세그멘테이션 동작1-2. Segmentation behavior

그리고 상기 앵글 판단부 133a는 이미지 데이터에 대하여 딥러닝에 기반한 세그멘테이션(segmentation) 동작을 수행할 수 있다. 상기 앵글 판단부 133a는 상기 이미지 데이터에 대한 세그멘테이션 동작의 결과로 2차 이미지(segmented 이미지)를 생성할 수 있으며, 상기 2차 이미지 상에는 오각형 객체만 검출되어 표시될 수 있다. 이 때, 상기 세그멘테이션 동작은 오각형 2개가 겹쳐 있는 이미지를 검출하는 것이 아닌, 각각의 오각형 객체를 검출하도록 구현될 수 있다. In addition, the angle determination unit 133a may perform a segmentation operation based on deep learning on image data. The angle determination unit 133a may generate a second image (segmented image) as a result of the segmentation operation on the image data, and only a pentagonal object may be detected and displayed on the second image. In this case, the segmentation operation may be implemented to detect each pentagonal object instead of detecting an image in which two pentagons are overlapped.

일 실시 예에 따라 상기 앵글 판단부 133a에서 2차 이미지를 추출한 결과물에 대한 예시는 도 12와, 도 13에 나타나 있다. 먼저 도 12는, 세그멘테이션 시뮬레이션이 수행된 결과 2개의 오각형이 검출된 경우의 2차 이미지를 도시하고 있다. 한편, 도 13은 2개의 오각형이 검출되지 않은 경우의 2차 이미지들에 대하여 도시하고 있다. 도 13의 1301은 사용자가 그린 그림에서 오각형이 존재하지 않아 2차 이미지에 검출된 오각형이 없으며, 1302는 사용자가 오각형과 사각형이 겹쳐 있는 그림을 그렸으므로, 2차 이미지에는 오각형 하나만 검출된 모습이 도시되어 있다. 이와 유사하게 1303과 1304에서도 사용자가 그린 그림 중에서 오각형에 해당하는 객체만이 검출된 2차 이미지가 도시되어 있다. 12 and 13 illustrate examples of a result of extracting a secondary image from the angle determination unit 133a according to an embodiment. First, FIG. 12 shows a secondary image when two pentagons are detected as a result of performing a segmentation simulation. Meanwhile, FIG. 13 shows secondary images when two pentagons are not detected. In 1301 of FIG. 13, there is no pentagon detected in the secondary image because there is no pentagon in the picture drawn by the user, and in 1302, since the user drew a picture in which the pentagon and the square overlap, only one pentagon was detected in the secondary image. Is shown. Similarly, in 1303 and 1304, a secondary image in which only an object corresponding to a pentagon is detected among the pictures drawn by the user is shown.

이처럼 상기 앵글 판단부 133a이 수행하는 세그멘테이션 동작은 딥러닝 기반의 알고리즘인 U-net 모델을 이용하여 원본 이미지에서 오각형만을 추출할 수 있다.As such, the segmentation operation performed by the angle determination unit 133a may extract only a pentagon from an original image using a U-net model, which is an algorithm based on deep learning.

1-3. 좌표 비교 동작1-3. Coordinate comparison operation

상기 앵글 판단부 133a는 2차 이미지가 생성되면, 2차 이미지 상에서의 좌표와 센서 데이터의 좌표를 비교하는 좌표 비교 동작을 수행할 수 있다. 이를 통해 상기 앵글 판단부 133a는 오각형의 유무 및 오각형의 개수를 판단할 수 있게 된다. When the second image is generated, the angle determination unit 133a may perform a coordinate comparison operation of comparing coordinates on the second image with coordinates of sensor data. Through this, the angle determination unit 133a may determine the presence or absence of a pentagon and the number of pentagons.

먼저, 상기 앵글 판단부 133a는 도 14에서 도시되는 바와 같이 세그멘테이션 동작의 결과로 생성된 2차 이미지(segmented 이미지)에 좌표 검출을 위한 눈금자를 적용하고, 좌표 정보를 추출할 수 있다. 이후 상기 앵글 판단부 133a는 센서 데이터에서 추출된 좌표 정보와 상기 2차 이미지로부터 추출된 좌표 정보를 1401에서 도시되는 바와 같이 오버레이하여 표시할 수 있다. 1401에서 도시되는 파란색 정보는 센서 데이터에서 추출된 좌표 정보를 의미하고, 빨강색 정보는 세그멘테이션 결과인 2차 이미지의 좌표 정보(segmented 데이터)를 의미할 수 있다. First, as illustrated in FIG. 14, the angle determination unit 133a may apply a ruler for coordinate detection to a secondary image (segmented image) generated as a result of the segmentation operation, and extract coordinate information. Thereafter, the angle determination unit 133a may overlay and display the coordinate information extracted from the sensor data and the coordinate information extracted from the secondary image as shown in 1401. The blue information shown in 1401 may refer to coordinate information extracted from sensor data, and the red information may refer to coordinate information (segmented data) of a secondary image as a result of segmentation.

상기 앵글 판단부 133a는 양측(segmented 데이터 좌표와 센서 데이터측 좌표) 좌표를 오버레이한 이후, 양측 좌표 데이터가 중첩되는 비율을 판단할 수 있다. 이 때, 상기 앵글 판단부 133a는 좌측 객체와 우측 객체를 각각 분리하여 중첩 비율을 판단할 수 있다. The angle determination unit 133a may determine a ratio at which the coordinate data of both sides are overlapped after overlaying the coordinates of both sides (segmented data coordinates and sensor data side coordinates). In this case, the angle determination unit 133a may determine an overlap ratio by separating the left object and the right object, respectively.

상기 앵글 판단부 133a는 도 15의 1501에서 도시되는 바와 같이 양쪽 객체 모두에 대한 중첩 비율을 판단할 수 있다. 그 뿐 아니라, 상기 앵글 판단부 133a는 좌측 객체에 대한 중첩 비율(1502 참조)과 우측 객체에 대한 중첩 비율(1503 참조)을 각각 판단할 수 있다. 상기 앵글 판단부 133a는 오각형만 추출되도록 학습되어 있는 U-net 기반의 추출 동작을 거친 결과와 센서 데이터의 중첩 비율이 기준치 이상이 되면, 상기 앵글 판단부 133a는 오각형의 유무를 구분할 수 있다. As illustrated in 1501 of FIG. 15, the angle determination unit 133a may determine an overlap ratio for both objects. In addition, the angle determination unit 133a may determine an overlap ratio for the left object (see 1502) and an overlap ratio for the right object (see 1503), respectively. When the result of the U-net-based extraction operation in which only the pentagon is learned to be extracted by the angle determination unit 133a and the overlapping ratio of the sensor data is greater than or equal to a reference value, the angle determination unit 133a may distinguish whether or not a pentagon is present.

상기 앵글 판단부 133a는 1502는 좌측 총 데이터 수에서 거리가 작은 좌표 값의 비율을 산출하는 경우에 대한 도면이고, 1503은 우측 총 데이터 수에서 거리가 작은 좌료 값의 비율을 산출할 경우에 대응하는 도면이다. 예를 들어, 상기 1502에서 좌측 객체의 총 데이터 수에서 거리가 작은 좌표 값의 중첩 비율(예, (센서데이터 좌표가 이루는 총 거리)/(segmented 데이터 좌표가 이루는 총 거리)) 이 91.208%이고, 상기 1503에서 우측 객체의 총 데이터 수에서 거리가 작은 좌표 값이 중첩 비율이 90.0으로 산출될 수 있다. 중첩 비율의 기준치가 88%라고 가정하면, 1502와 1503에서 판단된 두 객체의 중첩 비율이 모두 기준치 이상이므로, 두 객체 모두 오각형인 것으로 판단될 수 있다. 다양한 실시 예예 따라 중첩 비율의 기준치는 특정되지 않으며, 관리자에 의해 변경 설정될 수 있다. 예컨대, 상기 중첩 비율의 기준치는 95% 이상으로 설정될 수도 있다. The angle determination unit 133a is a diagram for a case where 1502 is a diagram for calculating a ratio of a coordinate value having a small distance from the total number of data on the left, and 1503 is a diagram corresponding to a case of calculating a ratio of a coordinate value having a small distance from the total number of data on the right. It is a drawing. For example, in 1502, the overlap ratio of coordinate values with small distances in the total number of data of the left object (eg, (total distance made by sensor data coordinates)/(total distance made by segmented data coordinates)) is 91.208%, and In 1503, a coordinate value having a small distance from the total number of data of the right object may have an overlap ratio of 90.0. Assuming that the reference value of the overlapping ratio is 88%, since the overlapping ratios of the two objects determined in 1502 and 1503 are both equal to or greater than the reference value, both objects may be determined to be pentagons. According to various embodiments of the present disclosure, the reference value of the overlapping ratio is not specified, and may be changed and set by an administrator. For example, the reference value of the overlapping ratio may be set to 95% or more.

1-4. 오각형 개수 판단 동작1-4. Operation of judging the number of pentagons

상기 앵글 판단부 133a는 상기 좌표 비교 동작(오버레이 표시 동작, 중첩 비율 판단 동작)을 기반으로, 중첩 비율이 기준치 이상에 해당인 객체를 오각형으로 판단할 수 있다. 이에 따라 상기 앵글 판단부 133a는 사용자가 그린 이미지에 존재하는 오각형의 개수와 제시 이미지의 오각형의 개수가 동일한지 여부(오각형의 개수가 2개인지 여부)를 판단할 수 있다. The angle determination unit 133a may determine an object having an overlapping ratio equal to or greater than a reference value as a pentagon based on the coordinate comparison operation (overlay display operation, overlapping ratio determination operation). Accordingly, the angle determination unit 133a may determine whether the number of pentagons present in the image drawn by the user and the number of pentagons in the presented image are the same (whether the number of pentagons is two).

상기 앵글 판단부 133a는 사용자가 그린 그림에서의 오각형 개수가 제시 이미지와 동일(2개)인 것으로 판단되면, 그에 따라 앵글이 10개가 되므로, 10개의 앵글 조건에 대응하는 점수를 산출할 수 있다. 일 실시 예에 따라 산출되는 점수는 도 22에서 도시되는 기준을 따를 수 있다. 참고로 도 22에서는 앵글의 개수가 10개일 때 4점을 부여하는 것으로 도시되어 있다. When the angle determination unit 133a determines that the number of pentagons in the picture drawn by the user is the same (2) as the presented image, the number of angles becomes 10 accordingly, and thus scores corresponding to 10 angle conditions may be calculated. The score calculated according to an embodiment may follow the criteria shown in FIG. 22. For reference, in FIG. 22, when the number of angles is 10, it is shown that 4 points are assigned.

1-5. 좌우 각 도형의 앵글 개수 추출 동작1-5. Extraction of the number of angles of each left and right figure

상기 앵글 판단부 133a는 좌표 비교 동작을 통해 오각형이 2개가 아닌 것으로 판단되면, 좌우 각 도형의 앵글 개수를 각각 추출하고 각 객체의 앵글 개수를 판단하는 동작을 수행할 수 있다. When it is determined that the number of pentagons is not two through a coordinate comparison operation, the angle determination unit 133a may extract the number of angles of each of the left and right figures and determine the number of angles of each object.

구체적으로, 상기 앵글 판단부 133a는 센서 데이터로부터 변환된 속도 그래프로부터 peak을 추출하기 위해, 상기 속도 그래프에 대한 스무딩 동작을 수행할 수 있다. 이 때 상기 속도 그래프는 샘플링 주기별 x,y 좌표값(내지 이동 거리)를 기반으로 생성될 수 있다. 편의상, 스무딩 동작이 수행되기 전, 센서 데이터로부터 변환된 속도 그래프를 1차 속도 그래프, 상기 스무딩 동작이 수행된 속도 그래프를 2차 속도 그래프로 지칭하기로 한다. 상기 스무딩 동작은 그래프 상에서의 불필요한 노이즈 제거를 통해 정확한 peak 개수를 추출하기 위해 수행될 수 있다. Specifically, the angle determination unit 133a may perform a smoothing operation on the speed graph to extract a peak from the speed graph converted from sensor data. In this case, the speed graph may be generated based on x,y coordinate values (or moving distance) for each sampling period. For convenience, a speed graph converted from sensor data before a smoothing operation is performed will be referred to as a first speed graph, and a speed graph in which the smoothing operation is performed will be referred to as a second speed graph. The smoothing operation may be performed to extract the correct number of peaks by removing unnecessary noise on the graph.

상기 앵글 판단부 133a는 스무딩 동작 이후 2차 속도 그래프에서 추출되는 peak의 특징에 따라 좌측 객체(도형), 우측 객체를 분류할 수 있다. 예컨대, 상기 앵글 판단부 133a는 개별 peak들의 조밀도 등을 기반으로 동일 객체 여부를 판단(예, peak 간 간격이 일정한 조밀도를 갖는 경우 동일 객체로 판단하고 peak 간 간격이 기준치 이상의 간격으로 이격될 경우 동일하지 않은 객체로 판단)할 수 있다.The angle determination unit 133a may classify a left object (a figure) and a right object according to a characteristic of a peak extracted from a second speed graph after a smoothing operation. For example, the angle determination unit 133a determines whether or not the object is the same based on the density of individual peaks (e.g., if the interval between peaks has a certain density, it is determined as the same object, and the interval between peaks is separated by an interval greater than or equal to a reference value). In this case, it can be determined as an object that is not the same.

그리고 상기 앵글 판단부 133a는 도 16에서 도시되는 바와 같이, 도형의 앵글의 수를 2차 속도 그래프에 존재하는 peak의 개수에 기반하여 판단할 수 있다. In addition, as illustrated in FIG. 16, the angle determination unit 133a may determine the number of angles of the figure based on the number of peaks present in the second speed graph.

구체적으로, 상기 앵글 판단부 133a는 좌측 객체의 앵글 수와 우측 객체의 앵글 수 각각을 그래프 중심부를 기점으로 한 좌측 및 우측의 peak의 개수에 기반하여 산출할 수 있다. peak의 개수에 따른 앵글 수 산출 동작은 통상적으로 대부분의 사람들이 도형의 각진 부분을 그릴 때 속도가 저하되다가 직선 부근에서 속도가 다시 증가하는 특징에 기반한 산출 방법이다. 그에 따라 상기 앵글 판단부 133a는 오각형이 2개가 검출되지 않은 상황에서의 앵글 개수를 검출할 수 있게 된다. Specifically, the angle determination unit 133a may calculate each of the number of angles of the left object and the number of angles of the right object based on the number of left and right peaks starting from the center of the graph. The operation of calculating the number of angles according to the number of peaks is a calculation method based on the feature that the speed decreases when most people draw an angled part of a figure and then increases the speed again near a straight line. Accordingly, the angle determination unit 133a can detect the number of angles in a situation in which two pentagons are not detected.

이와 같이, 오각형의 개수를 먼저 추출한 이후에, 속도 그래프 상의 peak의 개수로 앵글 수를 판단하는 이유는, 속도 그래프 상의 peak이 10개로 만점 기준과 동일하다 하다는 이유로 10각형 1개 또는 3각형 2개와 4각형 1개의 구성으로 이루어진 그림에 대하여도 동일하게 만점이 제공될 수 있는 오류를 방지하기 위해서이다.In this way, after first extracting the number of pentagons, the reason for determining the number of angles by the number of peaks on the speed graph is that the number of peaks on the speed graph is equal to the perfect score of 10. This is to prevent errors that can be provided with the same perfect score even for a picture consisting of a single square.

채점 시, 상기 앵글 판단부 133a는 예컨대, 오각형과 사각형이 그려진 그림의 경우, 앵글의 개수를 9개(10ㅁ1)로 판단할 수 있으며, 도 22에서 도시되는 기준에 따라 3점을 부여할 수 있다. 이와 유사하게 상기 앵글 판단부 133a는 확인되는 앵글의 수가 10ㅁ2에 해당하는 경우 2점을, 7에서 5 사이의 값일 경우 1점을, 5미만, 13초과일 경우 0점을 부여할 수 있다. When scoring, the angle determination unit 133a may determine the number of angles as 9 (10ㅁ1), for example, in the case of a picture in which a pentagon and a square are drawn, and assign 3 points according to the criteria shown in FIG. I can. Similarly, the angle determination unit 133a may assign 2 points when the number of angles to be checked corresponds to 10ㅁ2, 1 point when the number of angles to be checked is between 7 and 5, and 0 points when the number of angles is less than 5 and 13 or more. .

2. 교차 판단부2. Cross Judgment

이하에서는, 교차 판단부 133b에서 수행하는 교차 판단 단계에 대하여 설명하기로 한다. 구체적으로는, 교차 판단부 133b에서 사용자가 그린 그림의 교차 영역과 관련된 정보를 판단하고 그에 따라 점수를 부여하는 동작에 관하여 설명하기로 한다. 상기 교차 판단 단계는 교차 영역의 존재 여부를 판단하는 제 1교차 판단 단계와, 두 객체 간 거리를 판단하는 제 2교차 판단 단계를 포함할 수 있다. Hereinafter, a cross determination step performed by the cross determination unit 133b will be described. Specifically, an operation of determining information related to the intersection area of the picture drawn by the user in the intersection determination unit 133b and assigning points accordingly will be described. The intersecting determination step may include a first intersecting determination step of determining whether an intersecting area exists, and a second intersecting determination step of determining a distance between two objects.

2-1. 센서 데이터 정보 추출 동작2-1. Sensor data information extraction operation

상기 교차 판단부 133b는 센서 데이터로부터 그림을 그리는 동안 감지된 시간, 좌표 데이터, 속도, 가속도를 포함하는 그리기 관련 정보를 추출할 수 있다. 나아가 상기 교차 판단부 133b는 센서 데이터로부터 샘플링 시간과 좌표의 관계(측정 시간 경과에 따른 위치 좌표 변화) 등의 정보를 추출할 수 있다. The cross determination unit 133b may extract drawing-related information including time, coordinate data, speed, and acceleration sensed while drawing from the sensor data. Furthermore, the intersection determination unit 133b may extract information such as a relationship between a sampling time and a coordinate (change of position coordinates according to the lapse of a measurement time) from the sensor data.

2-2. 세그멘테이션 동작2-2. Segmentation behavior

상기 교차 판단부 133b는 센서 데이터 정보 추출 동작 이후, 응답 정보의 이미지 데이터에서 2개의 오각형이 겹치는 영역의 이미지를 딥러닝 기반(예, U-net)의 알고리즘을 통해 추출하는 세그멘테이션 동작을 수행할 수 있다. 상기 교차 판단부 133b가 상기 세그멘테이션 동작을 통해 이미지를 추출하기 위해 딥러닝 기반 알고리즘에 학습되는 모델 이미지는 예컨대, 도 17에서 도시되는 형태와 같이, 좌측 오각형의 최우측 앵글과 우측 오각형의 최좌측 앵글이 이루는 폐쇄형 마름모 형태를 포함하는 이미지일 수 있다. After the sensor data information extraction operation, the intersection determination unit 133b may perform a segmentation operation of extracting an image of an area where two pentagons overlap from the image data of the response information through a deep learning-based (e.g., U-net) algorithm. have. The model image trained by the deep learning-based algorithm in order for the intersection determination unit 133b to extract the image through the segmentation operation is, for example, as shown in FIG. 17, the rightmost angle of the left pentagon and the leftmost angle of the right pentagon. This may be an image including a closed rhombus shape.

상기 교차 판단부 133b는 도 18에 도시되는 좌측 상단의 이미지 데이터로부터 세그멘테이션을 수행하면, 그 결과로 우측 상단의 2차 이미지를 얻을 수 있다. 좌측 상단 이미지의 경우, 도 17에 도시된 학습 이미지와 유사 특징을 보유한 양 오각형 중앙의 겹친 영역(교차 영역)이 존재하므로, 우측 상단 이미지와 같이 교차 영역의 이미지가 2차 이미지로 검출될 수 있다. When the intersection determination unit 133b performs segmentation from the upper left image data shown in FIG. 18, as a result, a secondary image at the upper right may be obtained. In the case of the upper left image, since there is an overlapped region (intersection region) in the center of both pentagons having similar characteristics to the training image shown in FIG. 17, the image of the intersection region can be detected as a secondary image as in the upper right image. .

한편, 상기 교차 판단부 133b는 도 18의 좌측 하단 이미지에 대한 세그멘테이션을 수행하면 우측 하단 이미지와 같이 유효한 2차 이미지가 생성되지 않을 수 있다. 이처럼, 세그멘테이션 대상인 이미지 데이터에 모델 이미지와 동일한 형태가 존재하지 않는 경우, 두 개의 오각형이 겹치는 교차 영역은 검출되지 않게 된다. Meanwhile, when the cross determination unit 133b performs segmentation on the lower left image of FIG. 18, a valid secondary image may not be generated as in the lower right image. As described above, when the same shape as the model image does not exist in the image data to be segmented, the intersection area where the two pentagons overlap is not detected.

2-3. 좌표 비교 동작2-3. Coordinate comparison operation

상기 교차 판단부 133b는 세그멘테이션을 수행하여 2차 이미지를 생성하게 되면, 이후 상기 2차 이미지에 대한 좌표를 추출할 수 있다. 그리고 상기 교차 판단부 133b는 교차 영역에 대한 2차 이미지의 좌표와 센서 데이터의 좌표를 비교하는 동작을 수행하고 그 결과에 따라 비로소 2개의 오각형의 교차 여부를 판단할 수 있게 된다. 교차 판단부 133b가 수행하는 좌표 비교 동작은 앵글 판단부 133a에서 수행하는 좌표 비교 동작과 마찬가지로 양측 좌표 데이터(2차 이미지에서 추출된 좌표, 센서 데이터에서 추출된 좌표)의 중첩 비율이 기준치 이상인지 여부를 확인하는 동작일 수 있다. 상기 교차 판단부 133b는 좌표 비교 동작 결과 중첩 비율이 기준치 이상인 경우, 2개의 오각형이 서로 겹치는 영역인 교차 영역이 존재하는 것으로 판단할 수 있다. 상기 교차 판단부 133b는 교차 영역이 존재하는 것으로 판단되면, 교차 판단 단계에서 만점(예, 4점)을 점수로 부여할 수 있다. When the intersection determination unit 133b generates a secondary image by performing segmentation, the coordinates of the secondary image may be extracted thereafter. Further, the intersection determination unit 133b performs an operation of comparing the coordinates of the secondary image with respect to the intersection area and the coordinates of the sensor data, and determines whether the two pentagons intersect based on the result. The coordinate comparison operation performed by the intersection determination unit 133b is whether the overlapping ratio of both coordinate data (coordinates extracted from the secondary image, the coordinates extracted from the sensor data) is greater than or equal to the reference value, similar to the coordinate comparison operation performed by the angle determination unit 133a. It may be an operation to check. When the overlapping ratio is greater than or equal to the reference value as a result of the coordinate comparison operation, the intersection determination unit 133b may determine that there is an intersection region, which is an area where two pentagons overlap each other. If it is determined that the intersection region 133b exists, the intersection determination unit 133b may assign a perfect score (eg, 4 points) as a score in the intersection determination step.

다양한 실시 예에 따라 상기 교차 판단부 133b는 교차 영역의 형태를 세분화하여 구분하고, 그에 따라 점수를 차등적으로 부여할 수 있다. 상기 교차 판단부 133b는 검출된 교차 영역이 예시 이미지와 동일한 형태(예, 마름모 형태)인지 또는 상이한 형태(예, 삼각형 형태 또는 직사각형 형태 등)인지 여부를 판단할 수 있다. According to various embodiments of the present disclosure, the intersection determination unit 133b may subdivide and classify the shape of the intersection area, and accordingly, may give a score differentially. The intersection determination unit 133b may determine whether the detected intersection area has the same shape as the example image (eg, a rhombus shape) or a different shape (eg, a triangular shape or a rectangular shape).

상기 교차 판단부 133b는 세그멘테이션 동작 및 좌표 비교 동작을 통해 '동일 형태 교차 영역'의 검출 여부를 판단할 수 있다. 즉, 상기 교차 판단부 133b는 실제 좌측 오각형과 우측 오각형이 겹쳐지는 교차 영역이 존재하더라도, 세그멘테이션의 기준이 되는 모델 이미지와 동일한 형태가 아닐 경우(예, 좌측 오각형의 직선 부분과 우측 오각형의 앵글 부분이 겹쳐 이루는 삼각형 모양의 영역일 경우) 검출되지 않을 수 있다. The intersection determination unit 133b may determine whether to detect a “same shape intersection area” through a segmentation operation and a coordinate comparison operation. That is, even if there is an intersection area where the left pentagon and the right pentagon overlap each other, the intersection determination unit 133b does not have the same shape as the model image that is the reference for segmentation (e.g., the straight part of the left pentagon and the angle part of the right pentagon In the case of an overlapping triangular area), it may not be detected.

이 경우, 교차 판단부 133b는 모델 이미지와 동일한 '동일 형태 교차 영역'이 존재하는 것으로 판단된 경우에는 만점(예, 4점)을 부여할 수 있다. 반면, 상기 교차 판단부 133b는 모델이미지와 상이한 교차영역인 '상이 형태 교차 영역'이 존재하는 것으로 판단될 경우, 만점에서 일정 값이 차감된 1차 차감 점수(예, 3점)을 부여할 수 있다. 상이 형태 교차 영역이 존재하는 것을 판단하기 위해, 세그멘테이션 동작에 사용되는 모델이미지는 두개의 오각형이 겹쳐 생성할 수 있는 교차영역의 다른 예시 형태를 포함할 수 있다. In this case, the intersection determination unit 133b may assign a perfect score (eg, 4 points) when it is determined that the same “same shape intersection area” as the model image exists. On the other hand, when it is determined that the'different shape intersection area', which is an intersection area different from the model image, is determined to exist, the intersection determination unit 133b can assign a first subtraction score (eg, 3 points) by subtracting a certain value from the perfect score. have. In order to determine that there is a different shape intersection area, the model image used for the segmentation operation may include another example shape of the intersection area that can be created by overlapping two pentagons.

2-4. 거리 판단 동작2-4. Distance judgment operation

상기 교차 판단부 133b는 교차 영역이 존재하지 않은 것으로 판단되면, 두 객체(도형) 간의 거리를 판단하는 동작을 수행할 수 있다. 상기 교차 판단부 133b는 교차 영역 없이 두 도형이 맞닿은(예, 두 도형간 거리가 1mm이하) 제 1 비교차 상황, 교차 영역 없이 두 도형 간 거리가 기준치(예, 1cm) 이하인 제 2 비교차 상황, 교차 영역 없이 두 도형 간 거리가 기준치(예, 1cm) 초과인 제 3 비교차 상황을 각각 판단할 수 있다. 그리고 상기 교차 판단부 133b는 상기 제 1비교차 상황 내지 제 3 비교차 상황 각각에 대한 차등 점수를 부여할 수 있다. 예컨대, 상기 교차 판단부 133b는 제 1 비교차 상황에서 2차 차감점수(예, 2점), 제 2비교차 상황에서 3차 차감점수(예, 1점), 제 3 비교차 상황에서 3차 차감점수(예, 0점)을 부여할 수 있다. When it is determined that the intersection region 133b does not exist, the intersection determination unit 133b may perform an operation of determining a distance between two objects (Figures). The intersection determination unit 133b is a first comparison difference situation in which two figures are in contact without an intersection area (e.g., the distance between the two figures is 1 mm or less), and a second comparison difference situation in which the distance between the two figures is less than a reference value (eg, 1 cm) without an intersection area. , It is possible to determine a third comparative difference situation in which a distance between two figures without an intersection area exceeds a reference value (eg, 1 cm). In addition, the intersection determination unit 133b may assign a differential score to each of the first to third non-intersecting situations. For example, the intersection determination unit 133b is a second subtraction score (eg, 2 points) in a first comparative difference situation, a third subtraction score (eg, 1 point) in a second comparison difference situation, and a third difference score in the third comparison difference situation. Deduction points (eg 0 points) can be given.

상기 교차 판단부 133b에서 수행하는 거리 판단 동작에 관하여 구체적으로 설명하기 위해, 도 19를 참조하기로 한다. In order to specifically describe the distance determination operation performed by the intersection determination unit 133b, reference will be made to FIG. 19.

상기 교차 판단부 133b는 교차 영역이 존재하지 않는 경우, 도 19에서와 같이 센서데이터로부터 확인되는 좌표 위치를 일정 시간 주기(예, 20ms)별로 표시하여 이미지화하는 '센서 데이터 이미지화 동작'을 수행할 수 있다. When there is no intersection area, the intersection determination unit 133b may perform a'sensor data imaging operation' that displays and image the coordinate position identified from the sensor data for each predetermined time period (e.g., 20 ms), as shown in FIG. 19. have.

이후 상기 교차 판단부 133b는 상기 '센서 데이터 이미지화 동작'에 의해 생성된 센서 데이터 이미지를 판독하게 되는데, 도 19에서와 같이, 두 객체의 배열이 x축으로 나란한 경우, 두 객체 사이의 거리를 x값 좌표에 기반하여 판단하게 된다. 상기 교차 판단부 133b는 좌우로 나란하게 배열된 두 개의 도형들 중 좌측 객체(오각형)에서는 가장 큰 x좌표의 값(좌객체 최대x값)을 추출하고, 우측 객체에서는 가장 작은 x값(우객체 최소 x값)을 추출할 수 있다. 상기 교차 판단부 133b는 우객체 최소 x값과 좌객체 최대 x값의 좌표 상의 차이로부터 거리계산을 수행할 수 있다. Thereafter, the intersection determination unit 133b reads the sensor data image generated by the'sensor data imaging operation'. As shown in FIG. 19, when the arrangement of two objects is parallel to the x-axis, the distance between the two objects is x It is determined based on the value coordinates. The intersection determination unit 133b extracts the largest x-coordinate value (the left object maximum x value) from the left object (pentagon) among two figures arranged side by side, and the smallest x value (the right object) from the left object (pentagon). Minimum x value) can be extracted. The intersection determination unit 133b may calculate a distance from a difference in coordinates between the minimum x value of the right object and the maximum x value of the left object.

그리고 그에 따라 상기 교차 판단부 133b는 두 객체의 거리 차이가 0, 기준값(1cm) 이하, 기준값 초과일 경우 각각, 제 1 비교차 상황, 제 2 비교차 상황, 제 3 비교차 상황에 해당하는 것으로 판단할 수 있다. 그리고 각각의 비교차 상황에 대응하는 점수를 부여할 수 있다. And accordingly, when the distance difference between the two objects is 0, less than or equal to the reference value (1cm), or exceeding the reference value, the intersection determination unit 133b corresponds to a first comparative difference situation, a second comparison difference situation, and a third comparison difference situation. I can judge. And it is possible to give a score corresponding to each non-difference situation.

3. 폐쇄 판단부3. Closed judgment unit

이하에서는, 폐쇄 판단부 133c에서 수행하는 폐쇄 판단 단계에 대하여 설명하기로 한다. 상기 폐쇄 판단부 133c는 사용자가 그린 도형의 형태가 폐쇄형인지 여부를 판단할 수 있다. 상기 폐쇄 판단부 133c는 사용자가 그린 도형이 폐쇄된 형태인지 또는 개방된 형태인지 여부에 따라 점수를 차등 부여할 수 있다. Hereinafter, a closing determination step performed by the closing determination unit 133c will be described. The closing determination unit 133c may determine whether the shape of the figure drawn by the user is a closed type. The closing determination unit 133c may differentially give a score according to whether the figure drawn by the user is in a closed or open form.

도 20을 참조하면, 도형 실선이 모두 이어져 있는 폐쇄형(closing) 도형 2001과, 실선이 이어져 있지 않은 개방형(opening) 도형 2002의 예시가 도시되어 있다. Referring to FIG. 20, examples of a closed figure 2001 in which all solid figures are connected and an open figure 2002 in which solid lines are not connected are shown.

3-1. 그래프 peak 확인 동작 3-1. Graph peak check operation

상기 폐쇄 판단부 133c는 사용자가 그린 그림의 형태의 폐쇄 여부를 판단하기 위해 센서 데이터를 속도 변화 그래프로 변환하는 동작을 먼저 수행할 수 있다. 이후 상기 폐쇄 판단부 133c는 속도 변화 그래프 상에서의 peak의 형태 및 개수에 기반하여 폐쇄/개방 여부를 판단할 수 있다. The closing determination unit 133c may first perform an operation of converting sensor data into a speed change graph to determine whether the shape of the picture drawn by the user is closed. Thereafter, the closing determination unit 133c may determine whether to be closed/open based on the shape and number of peaks on the speed change graph.

상기 폐쇄 판단부 133c는 센서 데이터 기반으로 생성된 속도 그래프에서 속도의 변화값을 의미하는 peak가 기준치 이상 크게 산출되는 지점이 1곳인지 여부를 판단할 수 있다. 이 때 기준이 이상 큰 값으로 추출되는 peak이 1곳인 경우, 상기 폐쇄 판단부 133c는 상기 peak이 지시하는 지점을 두 도형의 경계 지점으로 판단할 수 있다. The closing determination unit 133c may determine whether there is one point in the speed graph generated based on sensor data where a peak indicating a change in speed is calculated to be greater than a reference value. In this case, when there is one peak extracted as a value that is more than the reference value, the closing determination unit 133c may determine a point indicated by the peak as a boundary point between the two figures.

이는 도형을 그릴 때 한번에 이어서 그리는 폐쇄형의 경우, 1개의 변을 그린 이후 두번째 변을 그리고자 하는 동안 발생되는 속도 변경 정도에 비해, 1개의 도형을 그린 이후 손을 떼고 두번째 도형을 그리게 되면서 발생되는 속도 변경 정도가 훨씬 크게 감지될 것이기 때문이다. 다시 말해, 손을 떼지 않는 경우보다 손을 떼게 되는 경우에 발생되는 그리기 속도의 변경 정도가 훨씬 큰 값을 가질 것이므로, 기준치 값 이상인 peak이 1개만 나타날 경우 사용자가 그림을 그리면서 손을 1회 뗀 것으로 유추될 수 있다. 따라서, 상기 폐쇄 판단부 133c는 기준치 이상의 peak의 개수가 1개인 경우, 폐쇄형 도형이 그려진 것으로 판단할 수 있다. In the case of the closed type, which is drawn at one time when drawing a figure, compared to the degree of speed change that occurs while attempting to draw the second side after drawing one side, it is caused by releasing the hand after drawing one figure and drawing the second figure. This is because the degree of speed change will be perceived much larger. In other words, the degree of change in the drawing speed that occurs when the hand is released will have a much larger value than when the hand is not released, so if only one peak above the reference value appears, the user releases one hand while drawing. Can be inferred. Accordingly, when the number of peaks equal to or greater than the reference value is 1, the closing determination unit 133c may determine that a closed figure is drawn.

반면, 폐쇄 판단부 133c는 기준치 이상의 peak이 1개가 아닌 다수개인 경우, 그림 그리는 과정에서 손을 뗀 횟수가 다수 회인 것을 의미하므로, 분석 대상이 된 그림은 오픈형 도형에 해당하는 것으로 판단할 수 있다. On the other hand, when the number of peaks above the reference value is not one, the closing determination unit 133c means that the number of times the hand is removed during the drawing process is many times, so that the picture to be analyzed may be determined to correspond to an open-type figure.

나아가, 상기 폐쇄 판단부 133c는 그래프 상에서의 기준치 이상의 peak을 다수 개 발견한 경우, peak 강도, peak의 발생 지점의 x축 위치 등에 기반하여 두 도형의 경계 지점을 의미하는 peak(이하, 경계 peak)을 판단할 수 있다. 그리고 상기 폐쇄 판단부 133c는 경계 peak을 기준으로 나머지 기준치 이상의 peak 이 일측(좌측 또는 우측)에 몰려있는지 여부를 기반으로, 2개의 도형 중 1개 도형의 폐쇄 여부를 판단할 수 있다. 상기 폐쇄 판단부 133c는 경계 peak 좌측 또는 우측에 나머지 기준치 이상의 peak이 몰려 있는 경우, 1개의 도형은 폐쇄형으로 나머지 1개의 도형은 개방형으로 그려진 것으로 판단할 수 있다. 반면, 상기 폐쇄 판단부 133c는 경계 peak 양측 각각에 기준치 이상의 peak이 1개씩 이상 분산되어 있는 경우, 양측 도형 모두 개방형으로 그려진 것으로 판단할 수 있다. Furthermore, when a plurality of peaks above the reference value on the graph are found, the closure determination unit 133c refers to a peak (hereinafter, a boundary peak), which means a boundary point between two figures based on the peak intensity and the x-axis position of the peak occurrence point. Can be judged. In addition, the closing determination unit 133c may determine whether one of the two figures is closed based on whether a peak equal to or greater than the remaining reference value is concentrated on one side (left or right) based on the boundary peak. The closing determination unit 133c may determine that one figure is drawn as a closed type and the other one is drawn as an open type when peaks equal to or greater than the remaining reference values are concentrated on the left or right of the boundary peak. On the other hand, when one or more peaks equal to or greater than the reference value are distributed on both sides of the boundary peak, the closing determination unit 133c may determine that both figures are drawn as open.

폐쇄형 도형 2001과 그에 대응하는 속도 변화 그래프 및 개방형 도형 2002과 그에 대응하는 속도 변화 그래프가 도 21에 도시되어 있다. 도 21에서와 같이, 폐쇄형 도형에 대응하는 그래프에서는 두 오각형의 경계 부분에서만 peak이 발견되고, 개방형 도형 2002에 대응하는 그래프에서는 기준치 이상의 peak이 3개 발견됨을 볼 수 있다. 그리고 개방형 도형 2002에 대응하는 그래프는 두 오각형의 경계 양측으로 유사한 강도의 peak이 하나씩 발견되고 있는데, 이는 두 오각형에서 각각 1개씩의 개방 부분이 존재함을 의미할 수 있다. A closed figure 2001 and a corresponding speed change graph and an open figure 2002 and a corresponding speed change graph are shown in FIG. 21. As shown in FIG. 21, it can be seen that in the graph corresponding to the closed shape, peaks are found only at the boundary of the two pentagons, and in the graph corresponding to the open shape 2002, three peaks above the reference value are found. In the graph corresponding to the open figure 2002, one peak of similar intensity is found on both sides of the boundary of the two pentagons, which may mean that there is one open part of each of the two pentagons.

상기 폐쇄 판단부 133c는 그래프 상에서 기준치 이상의 peak이 1개인 경우 두 개의 도형이 모두 폐쇄형인 것으로 판단하고, 만점(예, 2점)을 부여할 수 있다. 그리고, 상기 폐쇄 판단부 133c는 1개의 도형만 폐쇄형인 것으로 판단되는 경우 만점보다 소정의 값이 차감된 1차 차감 점수(예, 1점)를 부여할 수 있고, 2개의 도형 모두 개방형인 것으로 판단되는 경우, 2차 차감점수(예, 0점)를 부여할 수 있다. When there is one peak equal to or greater than the reference value on the graph, the closing determination unit 133c may determine that both figures are closed and give a perfect score (eg, 2 points). In addition, when it is determined that only one figure is a closed type, the closing determination unit 133c may assign a first subtraction score (eg, 1 point) by subtracting a predetermined value from the perfect score, and it is determined that both figures are open type. If so, a secondary deduction score (eg 0) can be given.

이처럼 상기 정보 분석부 133는 앵글 판단부 133a, 교차 판단부 133b, 폐쇄 판단부 133c를 통해 부여된 점수들을 기반으로 사용자의 인지 장애 진단을 수행할 수 있다. As such, the information analysis unit 133 may diagnose a user's cognitive impairment based on scores assigned through the angle determination unit 133a, the cross determination unit 133b, and the closure determination unit 133c.

도면에 도시되지 않았지만, 상기 정보 분석부 133는 상기 앵글 판단부 133a, 교차 판단부 133b 및 폐쇄 판단부 133c에서 산출된 점수를 종합하여 합계 점수를 산출하는 종합 결과 산출부(미도시)를 포함할 수 있다. 상기 종합 결과 산출부는 오각형 그리기 검사의 적어도 3가지 분석 단계인 앵글 판단 단계, 교차 판단 단계 및 폐쇄 판단 단계 각각에서 산출된 점수를 합산할 수 있다. Although not shown in the drawing, the information analysis unit 133 may include a synthesis result calculation unit (not shown) for calculating a total score by synthesizing the scores calculated by the angle determination unit 133a, the intersection determination unit 133b, and the closure determination unit 133c. I can. The comprehensive result calculation unit may add up the scores calculated in each of at least three analysis steps of the pentagon drawing test: an angle determination step, an intersection determination step, and a closing determination step.

상기 종합 결과 산출부는 사용자(피검자)의 합계 점수가 기준치 이상인 경우 정상으로 판단하고, 기준치 미만인 경우 인지 장애 질환(예, 치매)을 앓고 있는 것으로 판단할 수 있다. 또한 상기 종합 결과 산출부는 사용자가 인지 장애 질환을 앓고 있는 것으로 판단한 경우, 점수 범위에 따라 중증도 단계를 판단하고 판단된 사용자의 인지 장애 중증도를 안내할 수 있다. When the total score of the user (subject) is greater than or equal to the reference value, the total result calculation unit may determine that it is normal, and when it is less than the reference value, it may determine that the user (the subject) has a cognitive disorder (eg, dementia). In addition, when it is determined that the user has a cognitive impairment disease, the comprehensive result calculator may determine a severity level according to a score range and guide the determined severity of the cognitive impairment of the user.

다양한 실시 예에 따라, 본 발명의 정보 분석부 133는 상기 앵글 판단부 133a, 교차 판단부 133b, 폐쇄 판단부 133c를 통한 점수 판단 동작 외에 추가의 점수 판단 동작을 수행하고, 점수 판단의 결과로 산출된 합계 점수에 기반하여 사용자의 인지 장애 진단을 수행할 수 있다. 예컨대, 상기 정보 분석부 133는 추가 특징 판단부 133b를 통해 각 도형의 회전 방향(로테이션), 두 도형의 배열 방향 등의 추가 특징에 대한 분석 및 채점을 수행할 수 있다. 상기 추가 특징 판단부 133d는 일 실시 예에 따라 기 설정된 각도 (예, 45도) 이하의 회전에 대하여는 로테이션으로 고려하지 않도록 설정할 수 있다. According to various embodiments, the information analysis unit 133 of the present invention performs an additional score determination operation in addition to the score determination operation through the angle determination unit 133a, the cross determination unit 133b, and the closing determination unit 133c, and is calculated as a result of the score determination. Based on the total score, it is possible to diagnose the user's cognitive impairment. For example, the information analysis unit 133 may analyze and score additional features such as a rotation direction (rotation) of each figure and an arrangement direction of two figures through the additional feature determination unit 133b. According to an exemplary embodiment, the additional feature determination unit 133d may set a rotation less than a preset angle (eg, 45 degrees) not to be considered as a rotation.

또한 상기 추가 특징 판단부 133d는 또한, 앵글 판단부 133a, 교차 판단부 133b, 폐쇄 판단부 133c가 각각 수행하는 앵글 판단 단계, 교차 판단 단계, 폐쇄 판단 단계의 3단계 분석을 거친 결과에 따라 추가의 특징 판단 동작을 수행할 지 여부를 결정할 수도 있다. 예를 들어, 상기 추가 특징 판단부 133d는 일 사용자가 그린 그림에 대한 3단계 분석의 결과, 산출된 점수 합계가, 기준치 이하(또는 이상)인 것으로 판단되는 경우에 한하여 추가 단계 판단을 수행할 수 있으며, 상기 추가 단계 판단은 오각형 그리기 검사가 아닌 다른 형태의 도형(예, 직육면체) 그리기 검사 및 분석 동작을 포함할 수 있다. 이와 유사하게, 상기 추가 특징 판단부 133d는 추가 단계 판단에서, 언어 인지 검사, 색깔 판단 검사 등의 객관식 퀴즈 형태의 인지 검사를 수행할 수도 있다. In addition, the additional feature determination unit 133d is also additionally performed according to the result of three-step analysis of the angle determination step, the cross determination step, and the closing determination step performed by the angle determination unit 133a, the cross determination unit 133b, and the closing determination unit 133c. It is also possible to determine whether to perform a feature determination operation. For example, the additional feature determination unit 133d may perform the additional step determination only when it is determined that the sum of the calculated scores is less than or equal to the reference value as a result of a three-step analysis of a picture drawn by a user. In addition, the determination of the additional step may include a drawing inspection and analysis operation of a figure (eg, a rectangular parallelepiped) in a form other than a pentagon drawing inspection. Similarly, the additional feature determination unit 133d may perform a cognitive test in the form of a multiple-choice quiz, such as a language recognition test and a color determination test, in the determination of an additional step.

상기 추가 특징 판단부 133d는 사용자의 3단계 분석의 결과 인지 장애에 해당하지 않는 것으로 판단되는 경우라 하더라도, 사용자가 미리 입력한 식습관 정보, 생활 습관 정보 등에 기반하여 인지 장애 고위험군으로 판단되는 사용자들을 별도로 분류할 수 있다. 그리고 상기 추가 특징 판단부 133d는 별도로 분류된 인지 장애 고위험군 사용자들에 대하여 추가의 검사 및 분석 동작을 수행할 수 있다. 이 때 상기 추가 특징 판단부 133d는 별도로 분류된 인지 장애 고위험군 사용자들에게는, 난이도가 상향 조정된 테스트 문제를 제공할 수 있다. 이를 통해, 사용자는 현재 인지 장애 질환을 보유하고 있지 않더라도, 순발력, 인지 능력 등에 대한 난도 높은 테스트를 실시할 수 있다. 평균 점수에 미치지 않는 점수를 획득한 고위험군 사용자가 발생할 경우, 상기 추가 특징 판단부 133d는 추후 피드백 제공부 134에 고위험군 사용자를 위한 예방용 피드백을 제공하도록 요청할 수 있다. The additional characteristic determination unit 133d separately separates users who are determined to be a high-risk group for cognitive disorders based on the eating habit information and lifestyle information previously inputted by the user, even if it is determined that the user does not correspond to cognitive impairment as a result of the three-step analysis. Can be classified. In addition, the additional feature determination unit 133d may perform an additional test and analysis operation for users in a high-risk group of cognitive impairments classified separately. In this case, the additional feature determination unit 133d may provide a test problem with an increased difficulty level to users in a high-risk group of cognitive impairments classified separately. Through this, even if the user does not currently have a cognitive impairment disease, it is possible to perform a high-difficulty test for quickness and cognitive ability. When a high-risk user who has obtained a score less than the average score occurs, the additional feature determination unit 133d may later request the feedback providing unit 134 to provide preventive feedback for the high-risk user.

인공지능 지원부 133e는 3단계 분석 동작에 요구되는 인공지능 기반 동작을 지원할 수 있다. 특히 상기 인공지능 지원부 133e는 앵글 판단부 133a, 교차 판단부 133b에서 오각형 검출동작, 교차 영역 검출 동작에 요구되는 CNN 모델(예, U-net)의 연산 동작을 관리할 수 있다. 구체적으로, 상기 앵글 판단부 133a에서 오각형 검출 동작을 수행하기 위해, 인공지능 지원부 133e에 이미지 데이터를 제공하면, 상기 인공지능 지원부 133e에서는 세그멘테이션 동작을 수행하여 오각형만을 검출한 2차 이미지를 상기 앵글 판단부 133a로 다시 제공할 수 있다. 이와 유사하게 상기 인공지능 지원부 133e는 교차 판단부 133b에서 요구하는 교차영역 추출에 필요한 세그멘테이션 동작도 수행할 수 있다. The artificial intelligence support unit 133e may support an artificial intelligence-based operation required for a three-step analysis operation. In particular, the artificial intelligence support unit 133e may manage a pentagon detection operation in the angle determination unit 133a and the intersection determination unit 133b, and a calculation operation of a CNN model (eg, U-net) required for the intersection region detection operation. Specifically, when the angle determination unit 133a provides image data to the artificial intelligence support unit 133e in order to perform the pentagon detection operation, the artificial intelligence support unit 133e performs a segmentation operation to determine the angle of the secondary image in which only the pentagon is detected. It can be provided back to part 133a. Similarly, the artificial intelligence support unit 133e may perform a segmentation operation required for extracting a cross region required by the cross determination unit 133b.

또한 상기 인공지능 지원부 133e는 다양한 실시 예예 따라, 세그멘테이션 동작으로 검출할 이미지의 종류를 설정할 수 있다. 예를 들어, 사용자에게 따라 그리도록 제시한 제시 이미지가 일부 변경되면(예, 교차 영역의 형태 변경), 그에 상응하여 상기 인공지능 지원부 133e는 세그멘테이션용 모델 이미지(검출용 이미지)를 변경 설정하도록 관리자 측에 요청할 수 있다. 그리고 상기 인공지능 지원부 133e는 관리자의 설정에 따라 신규 이미지로 모델 이미지가 설정되면, 자동으로 모델 이미지의 원본 데이터에 로테이션, 반전, 사이즈 변경 등을 통해 다수 개의 복제 모델 이미지를 생성할 수 있다. 그 후 상기 인공지능 지원부 133e는 관리자가 입력한 신규 모델 이미지 및 다수개의 복제 모델 이미지를 기반으로 학습을 수행할 수 있다. 상기 인공지능 지원부 133e는 이러한 과정을 통해 신규 모델 이미지를 적용하고, 상기 신규 모델 이미지에 대응하는 이미지를 검출하는 세그멘테이션 동작을 수행할 수 있다.In addition, the artificial intelligence support unit 133e may set the type of image to be detected by the segmentation operation according to various embodiments of the present disclosure. For example, if the presented image suggested to be drawn by the user is partially changed (eg, the shape of the intersection area is changed), the artificial intelligence support unit 133e changes and sets the model image for segmentation (image for detection) accordingly. You can ask for it. In addition, when a model image is set as a new image according to a manager's setting, the artificial intelligence support unit 133e may automatically generate a plurality of duplicate model images by rotating, reversing, and resizing the original data of the model image. Thereafter, the artificial intelligence support unit 133e may perform training based on the new model image and a plurality of duplicate model images input by the administrator. The artificial intelligence support unit 133e may apply a new model image through this process and perform a segmentation operation of detecting an image corresponding to the new model image.

도 6은 본 발명의 실시 예에 따른 피드백 제공부의 구성을 도시한 블록도이다. 6 is a block diagram illustrating a configuration of a feedback providing unit according to an embodiment of the present invention.

본 발명의 실시 예예 따른 피드백 제공부 134는 정보 분석부 133에서 사용자가 그린 그림에 대하여 분석 및 채점한 결과에 기반하여 사용자에게 인지 장애의 예방 또는 악화 지연을 위한 피드백을 제공할 수 있다. 또한 상기 피드백 제공부 134는 인공 지능 기반의 응답 정보 분석 동작의 정확도를 제고하기 위한 피드백 동작을 수행할 수 있다. The feedback providing unit 134 according to an embodiment of the present invention may provide a feedback for preventing or delaying deterioration of a cognitive disorder to a user based on a result of analyzing and scoring a picture drawn by the user by the information analysis unit 133. In addition, the feedback providing unit 134 may perform a feedback operation to improve accuracy of an artificial intelligence-based response information analysis operation.

상기 피드백 제공부 134는 예방 훈련 수행부 134a, 학습용 자료 판단부 134b, 인공 신경망 학습부 134c를 포함하여 구성될 수 있다. The feedback providing unit 134 may include a prevention training performing unit 134a, a learning data determining unit 134b, and an artificial neural network learning unit 134c.

상기 예방 훈련 수행부 134a는 사용자의 인지 장애 여부 또는 사용자의 인지 장애 중증도 단계 또는 채점 점수 자체에 대응하여, 해당 사용자에게 적절한 예방 훈련 정보를 제공할 수 있다. 다양한 실시 예에 따라 상기 예방 훈련 수행부 134a는 사용자의 식습관, 생활 습관 등의 라이프 스타일에 관하여 채점한 점수를 상기 정보 분석부에서 채점한 점수(오각형 그리기 검사 점수)와 종합한 종합 점수를 산출하고, 사용자에게 적합한 것으로 판단되는 예방 훈련 종류를 산출하여 이에 대한 정보를 제공할 수 있다. The preventive training performing unit 134a may provide appropriate preventive training information to a corresponding user in response to whether the user has a cognitive impairment, a severity level of the user's cognitive impairment, or a scoring score itself. According to various embodiments, the preventive training performing unit 134a calculates a total score obtained by combining scores scored on lifestyles such as eating habits and lifestyles of the user with scores scored by the information analysis unit (pentagonal drawing test score). , The type of prevention training judged to be suitable for the user may be calculated and information on this may be provided.

예컨대, 상기 예방 훈련 수행부 134a 사용자의 운동 패턴, 식사 패턴, 음주 패턴에 대한 추천 정보를 제공할 수 있다. For example, the prevention training performing unit 134a may provide recommended information on the user's exercise pattern, eating pattern, and drinking pattern.

구체적으로, 운동 패턴에 관련된 추천 정보로는 사용자에게 추천하는 운동 시간, 운동량, 운동의 종류에 관한 정보일 수 있다. 나아가 상기 예방 훈련 수행부 134a는 사용자가 실제 운동을 하도록 사용자의 웨어러블 기기와 연동되어 사용자의 보행 정보, 심박수 등을 체크하고, 목표 운동량의 달성 여부를 평가할 수 있다. Specifically, the recommended information related to the exercise pattern may be information on an exercise time, an amount of exercise, and a type of exercise recommended to a user. Furthermore, the preventive training performing unit 134a may be interlocked with a user's wearable device so that the user may actually exercise, check walking information, heart rate, etc. of the user, and evaluate whether or not a target amount of exercise has been achieved.

나아가 상기 예방 훈련 수행부 134a는 해당 사용자의 인지 장애 위험도를 표시하되, 목표 운동량이 달성되는 경우 인지 장애 위험도를 기 설정된 수치만큼 감소시켜 표시할 수 있다. 이로써, 상기 예방 훈련 수행부 134a가 수행하는 실시간 인지 장애 위험도 제공 동작을 통해, 인지 장애 질환 발생의 가능성이 높은 고위험군 사용자는 경각심이 자극될 수 있음과 동시에 인지 장애 질환 예방에 좋은 라이프스타일을 확립하도록 하는 동기를 부여받을 수 있다. Furthermore, the prevention training performing unit 134a may display the risk of cognitive impairment of the corresponding user, but when the target amount of exercise is achieved, the risk of cognitive impairment may be reduced by a preset value and displayed. Accordingly, through the real-time cognitive impairment risk provision operation performed by the prevention training execution unit 134a, high-risk users with a high probability of occurrence of cognitive impairment diseases can be stimulated and at the same time establish a good lifestyle for preventing cognitive impairment diseases. You can be motivated to do it.

또한, 상기 예방 훈련 수행부 134a는 사용자의 식사 패턴(식사 시간, 식사 메뉴, 식사량 등)을 인지 장애 예방에 유리한 방향으로 교정하기 위한 다양한 목표치를 설정하고, 이를 사용자에게 달성하도록 요청할 수 있다. In addition, the prevention training performing unit 134a may set various target values for correcting the user's eating pattern (meal time, meal menu, amount of meal, etc.) in a direction favorable to the prevention of cognitive impairment, and may request the user to achieve this.

또한 상기 예방 훈련 수행부 134a는 사용자의 음주 패턴을 인지 장애 예방에 유리한 방향으로 교정하기 위해, 음주량, 월간 음주 횟수 등의 항목에 대한 목표치를 설정하고 이를 사용자에게 달성하도록 요청할 수 있다. In addition, the prevention training performing unit 134a may set target values for items such as the amount of alcohol consumed and the number of monthly alcohol consumption in order to correct the user's drinking pattern in a direction favorable to the prevention of cognitive impairment, and may request the user to achieve this.

상기 예방 훈련 수행부 134a는 식사 패턴 및 음주 패턴에 대한 목표치가 다성됨에 따라, 인지 장애 위험도를 기 설정된 수치만큼 감소시켜 표시할 수 있다. The prevention training performing unit 134a may display a cognitive impairment risk by reducing a predetermined value as target values for the eating pattern and the drinking pattern are multiplied.

다양한 실시 예에 따라 상기 예방 훈련 수행부 134a는 인지 장애 질환 환자가 아닌 것으로 판단된 사용자에게 인지 장애 발병 예방을 위한 인지 장애 예방 훈련 및 예방 정보를 제공하는 것 외에도, 인지 장애가 의심되는 환자를 위한 유용 정보를 제공할 수 있다. 예컨대, 상기 예방 훈련 수행부 134a는 오각형 그리기 검사 점수가 기 설정된 값 이하로 산출된 사용자(인지 장애 의심 대상자)에게는 의료기관 정보를 안내할 수 있다. 또는 상기 예방 훈련 수행부 134a는 인지 장애 의심 대상자가 안내받은 병원에서 상세 검진을 통해 추가의 인지 능력 검사를 수행한 경우, 추가 검사와 오각형 그리기 검사 점수를 종합적으로 판단하여 산출된 종합 결과를 사용자에게 제공할 수 있다. 상기 종합 결과는 사용자가 걸린 인지 장애 질환의 종류, 인지 장애의 중증도에 관한 보다 자세한 설명이 포함될 수 있다. According to various embodiments, the prevention training performing unit 134a is useful for patients with suspected cognitive impairment in addition to providing cognitive impairment prevention training and prevention information to prevent the onset of cognitive impairment to users determined to be not patients with cognitive impairment diseases. You can provide information. For example, the prevention training performing unit 134a may guide medical institution information to a user (a person suspected of having cognitive impairment) whose pentagonal drawing test score is less than or equal to a preset value. Alternatively, the preventive training execution unit 134a provides the user with a comprehensive result calculated by comprehensively determining the additional test and pentagonal drawing test scores when performing an additional cognitive ability test through detailed examination at a hospital where a person suspected of having a cognitive impairment has been guided. Can provide. The overall result may include a more detailed description of the type of cognitive impairment disease that the user has suffered and the severity of the cognitive impairment.

상기 예방 훈련 수행부 134a는 의료 기관으로부터 제공받은 종합 결과에 대응하여 사용자가 걸린 인지 장애 질환(예, 치매)의 종류, 해당 사용자의 인지 장애 중증도에 대응하는 적합한 치료 정보, 악화 속도 지연을 위한 방법 안내, 일상생활 주의 정보를 제공할 수 있다. 상기 예방 훈련 수행부 134a는 또한 해당 사용자의 인지 능력이 저하되어 있을 가능성에 대비하여 기 등록된 보호자 기기 측으로 사용자의 인지 장애(예, 치매) 중증도에 대응하는 치료 정보, 악화 속도 지연을 위한 방법, 일상생활 주의 정보를 제공할 수 있다. The preventive training execution unit 134a is the type of cognitive impairment disease (eg, dementia) suffered by the user in response to the comprehensive result provided from the medical institution, appropriate treatment information corresponding to the severity of the cognitive impairment of the user, and a method for delaying the rate of deterioration. It can provide guidance and information about daily life. The preventive training performing unit 134a also provides treatment information corresponding to the severity of the user's cognitive impairment (eg, dementia) to the pre-registered guardian device in preparation for the possibility that the user's cognitive ability is deteriorated, a method for delaying the rate of deterioration, It can provide daily life attention information.

상기 학습용 자료 판단부 134b는 채점 결과 오류가 발생한 경우의 응답 정보 또는, 관리자 또는 사용자에 의해 지정된 특정 응답 정보에 대하여 학습용 자료로 판단할 수 있다. 학습용 자료로 판단된 이미지 데이터, 센서 데이터 및 상기 센서 데이터 기반으로 생성된 각종 그래프는 별도로 인공신경망 학습에 요구되는 포맷으로 전처리 과정을 거쳐 규격 변환이 이루어질 수 있다. The learning material determination unit 134b may determine response information when an error occurs as a result of scoring or specific response information designated by an administrator or a user as learning material. Image data determined as learning data, sensor data, and various graphs generated based on the sensor data may be converted to a format separately required for artificial neural network learning through a pre-processing process.

상기 인공신경망 학습부 134c는 상기 학습용 자료 판단부 134b에 의해 선택되고 규격 변환이 이루어진 학습용 자료를 기반으로 인공지능 학습을 수행할 수 있다. 이에 따라 오각형, 교차 영역을 추출하는 세그멘테이션 동작의 정확도가 향상될 수 있다.The artificial neural network learning unit 134c may perform artificial intelligence learning based on the learning data selected by the learning data determination unit 134b and subjected to standard conversion. Accordingly, the accuracy of the segmentation operation for extracting the pentagon and the intersection area may be improved.

또한 다양한 실시 예에 따라 상기 인공 신경망 학습부 134c는 사용자가 그린 선에서 발견되는 일정 수준 이하의 흔들림(예, 손떨림에 의한 흔들림으로 판단 가능한 수준, 곡률의 발생 주기, 곡선 사이즈, 각도 등이 기준치 이하인 경우)에 대하여 직선으로 간주하도록 인공지능 학습을 수행할 수 있다. 예컨대, 상기 인공 신경망 학습부 134c는 특정한 상황(사용자의 수전증 판단)에서, 종래 모델 이미지를 구성하는 직선 영역을 허용 가능한 떨림 수준이 있는 곡선으로 변경한 추가의 이미지(떨림 버전 이미지)를 생성할 수 있고, 상기 떨림 버전 이미지를 U-net의 모델 이미지로 학습시킬 수 있다. In addition, according to various embodiments, the artificial neural network learning unit 134c may be configured with a level of shaking less than a certain level found in a line drawn by a user (e.g., a level that can be determined as shaking due to hand shaking, a period of occurrence of a curvature, a curve size, an angle, etc.). Case) can be performed by artificial intelligence learning to be regarded as a straight line. For example, the artificial neural network learning unit 134c may generate an additional image (shaking version image) in which the straight line area constituting the conventional model image is changed to a curve with an acceptable level of shaking in a specific situation (determining the user's receipt). In addition, the shaking version image can be trained as a model image of U-net.

요컨대, 본 발명의 실시 예에 따른 드로잉 테스트 결과물을 채점하는 방법은 서버가 인지 장애 여부를 판단하기 위한 검사 방법인 오각형 그리기 검사를 수행하는 데 요구되는 정보를 사용자 기기로 전송하는 단계, 상기 서버가 사용자 기기로부터 사용자의 오각형 그리기 검사에 대한 응답정보를 수신하는 단계, 사용자가 그린 그림에 대하여 상기 응답 정보를 기반으로 분석하고, 분석된 결과에 따라 채점을 수행하는 단계, 상기 채점 결과에 따라 사용자의 인지 장애 진단을 수행하는 단계;를 포함하되, 상기 채점을 수행하는 단계는 사용자가 그린 그림 상의 객체가 폐쇄형인지 여부 및 상기 그림 상의 객체에서 개방된 지점의 개수를 판단하고 그에 대응하는 점수를 부여하는 폐쇄 판단 단계를 포함하여 구성될 수 있다.In short, in the method of scoring a drawing test result according to an embodiment of the present invention, the server transmits information required to perform a pentagon drawing test, which is a test method for determining whether there is a cognitive impairment, to a user device, and the server Receiving response information for the user's pentagonal drawing test from the user device, analyzing the picture drawn by the user based on the response information, and performing scoring according to the analyzed result, and the user's Performing a cognitive impairment diagnosis; Including, the step of performing the scoring includes determining whether the object on the picture drawn by the user is a closed type, and determining the number of open points in the object on the picture and giving a score corresponding thereto. It may be configured to include a closing determination step.

상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.Although the present invention has been described in detail with reference to the above-described examples, those skilled in the art can make modifications, changes, and modifications to the examples without departing from the scope of the present invention. In short, in order to achieve the intended effect of the present invention, it is not necessary to separately include all the functional blocks shown in the drawings or to follow all the orders shown in the drawings as shown in the order shown. Note that it may fall within the range.

100 : 서버 110 : 통신부
120 : 저장부 130 : 제어부
131 : 테스트 실행부 131a: 문제 실행부
131b : 응답정보 획득부 132 : 전처리부
132a : 응답 정보 분류부 132b : 유용 데이터 변환부
133 : 정보 분석부 133a : 앵글 판단부
133b : 교차 판단부 133c : 폐쇄 판단부
133d : 추가 특징 판단부 133e : 인공지능 지원부
134 : 피드백 제공부 134a : 예방 훈련 수행부
134b : 학습용 자료 판단부 134c : 인공 신경망 학습부
200 : 사용자 기기
100: server 110: communication unit
120: storage unit 130: control unit
131: test execution unit 131a: problem execution unit
131b: response information acquisition unit 132: preprocessing unit
132a: response information classification unit 132b: useful data conversion unit
133: information analysis unit 133a: angle determination unit
133b: cross determination unit 133c: closure determination unit
133d: additional feature determination unit 133e: artificial intelligence support unit
134: feedback providing unit 134a: prevention training execution unit
134b: learning data determination unit 134c: artificial neural network learning unit
200: user device

Claims (8)

서버와 사용자 기기를 포함하여 구성되는 인지 장애 여부 판단을 위한 드로잉 테스트 결과물을 채점하는 시스템에 있어서,
상기 서버는,
일 사용자가 사용자 기기 상에서 오각형 그리기 검사 요청에 대응하여 그림을 그리면, 그에 따라 생성된 응답 정보를 상기 사용자 기기로부터 획득하고, 상기 획득된 응답 정보를 이용하여 상기 사용자가 그린 그림에 대한 분석을 다수 단계에 걸쳐 수행하고, 각 단계에서 각각 산출된 점수를 합산한 결과로 인지 장애 진단을 수행하는 제어부;를 포함하고,
상기 제어부는,
사용자가 그린 그림 상의 객체가 폐쇄된 형태인지 여부를 판단하고, 폐쇄된 형태인 경우 일 항목에 대한 단계별 점수를 만점으로 부여하고,
상기 사용자 기기는,
상기 서버와 통신을 통해 상기 서버로부터 오각형 그리기 검사를 수행하는 데 요구되는 정보를 수신하여 실행하는 것을 특징으로 하는 드로잉 테스트 결과물을 채점하고,
상기 제어부는,
사용자가 그린 그림에 대한 인공지능 기반의 분석 및 점수 산출 동작을 앵글 판단 단계, 교차 판단 단계 및 폐쇄 판단 단계에 걸쳐 수행하는 정보 분석부;를 포함하되,
상기 정보 분석부는,
폐쇄 판단 단계를 수행하는 폐쇄 판단부를 포함하고,
상기 폐쇄 판단부는
응답 정보의 센서 데이터로부터 생성된 속도 그래프에서 속도의 변화값을 의미하는 peak의 강도가 기준치 이상인 지점이 1곳인지 여부를 판단하고, 1곳인 경우 사용자가 그린 그림 상의 객체가 폐쇄형인 것으로 판단하는 것을 특징으로 하는, 시스템.
In a system for scoring a drawing test result for determining whether there is a cognitive impairment comprising a server and a user device,
The server,
When a user draws a picture in response to a pentagon drawing inspection request on a user device, response information generated accordingly is obtained from the user device, and analysis of the picture drawn by the user is performed using the obtained response information. Including; and a control unit that performs cognitive impairment diagnosis as a result of summing the scores calculated in each step and
The control unit,
It is determined whether the object on the picture drawn by the user is in a closed form, and if it is in a closed form, a graded score for one item is given as a perfect score,
The user device,
Scoring a drawing test result, characterized in that receiving and executing information required to perform a pentagon drawing inspection from the server through communication with the server,
The control unit,
An information analysis unit that performs an artificial intelligence-based analysis and score calculation operation on the picture drawn by the user through the angle determination step, the cross determination step, and the closing determination step; including,
The information analysis unit,
Including a closing determination unit for performing the closing determination step,
The closing determination unit
In the velocity graph generated from the sensor data of the response information, it is determined whether there is one point where the intensity of the peak, which means the change in velocity, is equal to or greater than the reference value, and if there is one, it is determined that the object on the picture drawn by the user is a closed type. As a system.
제 1항에 있어서,
상기 제어부는
일 검사에 대하여 획득된 사용자의 응답 정보를 분석하기 용이한 형태로 가공하는 전처리부;를 포함하되,
상기 전처리부는
일 검사에 대하여 획득된 응답정보를 사용자가 그린 그림의 이미지 데이터와, 사용자가 그림을 그릴 때 터치 센서가 감지한 시간 및 좌표 정보를 포함하는 센서 데이터로 분류하는 동작 및 테스트 회차 별 응답 정보를 분류하는 동작을 수행하는 응답 정보 분류부;
센서 데이터에 기반하여 그림이 그려지는 동안의 속도를 나타내는 속도 그래프를 생성하는 유용 데이터 변환부;를 포함하는 것을 특징으로 하는 드로잉 테스트 결과물을 채점하는 시스템.
The method of claim 1,
The control unit
Including; a pre-processing unit that processes the user's response information obtained for one inspection into a form that is easy to analyze
The pretreatment unit
The response information obtained for one test is classified into image data of a picture drawn by the user and sensor data including time and coordinate information detected by the touch sensor when the user draws a picture, and the response information for each test cycle is classified. A response information classification unit that performs an operation to perform an operation;
A system for scoring a drawing test result, comprising: a useful data conversion unit that generates a speed graph indicating a speed during drawing based on the sensor data.
삭제delete 제 1항에 있어서,
상기 폐쇄 판단부는
상기 속도 그래프에서 peak의 강도가 기준치 이상인 지점이 다수 개인 경우, 사용자가 그린 그림 상의 객체가 개방형인 것으로 판단하되,
두 객체의 경계에 따라 발생된 경계 peak을 기준으로 좌측 또는 우측에 나머지 peak이 몰려 있는 경우 1개의 객체만 폐쇄형인 것으로 판단하며, 상기 경계 peak 양측에 peak이 1개 이상 분산된 경우 양측 객체가 개방형인 것으로 판단하는 것을 특징으로 하는 드로잉 테스트 결과물을 채점하는 시스템.
The method of claim 1,
The closing determination unit
In the case where there are a number of points in which the intensity of the peak is greater than or equal to the reference value in the speed graph, it is determined that the object on the picture drawn by the user is an open type,
If the remaining peaks are concentrated on the left or right based on the boundary peaks generated according to the boundary of two objects, it is determined that only one object is closed type, and when one or more peaks are distributed on both sides of the boundary peak, both objects are open type. A system for scoring a drawing test result, characterized in that it is determined to be.
제 1항에 있어서,
상기 제어부는
사용자가 그린 그림에 대하여 분석 및 채점한 결과에 대응하는 인지 장애 예방 또는 악화 지연을 위한 피드백을 제공하는 피드백 제공부;를 포함하고,
상기 피드백 제공부는
사용자의 인지 장애 여부, 사용자의 인지 장애 중증도 단계 또는 채점 점수에 대응하여, 해당 사용자에게 적절하다고 판단되는 예방 훈련 정보를 제공하는 예방 훈련 수행부;를 포함하는 것을 특징으로 하는 드로잉 테스트 결과물을 채점하는 시스템.
The method of claim 1,
The control unit
Including; a feedback providing unit that provides feedback for preventing or delaying deterioration of cognitive impairment corresponding to the result of analyzing and scoring the picture drawn by the user,
The feedback providing unit
And a prevention training performing unit that provides prevention training information determined to be appropriate to the user in response to the user's cognitive impairment, the user's cognitive impairment severity level, or scoring score, and scoring a drawing test result, comprising: system.
제 5항에 있어서,
상기 피드백 제공부는
채점 결과 오류가 발생한 경우의 응답 정보 및 관리자 또는 사용자에 의해 지정된 특정 응답 정보에 대하여 학습용 자료로 판단하고, 상기 학습용 자료로 판단된 이미지 데이터, 센서 데이터 및 상기 센서 데이터 기반으로 생성된 각종 그래프를 인공신경망 학습에 요구되는 포맷으로 규격 변환하는 학습용 자료 판단부;
상기 학습용 자료 판단부에 의해 선택되고 규격 변환이 이루어진 학습용 자료를 기반으로 인공지능 학습을 수행하는 인공 신경망 학습부;를 포함하여 구성되는 것을 특징으로 하는 드로잉 테스트 결과물을 채점하는 시스템.
The method of claim 5,
The feedback providing unit
Response information when an error occurs as a result of scoring and specific response information designated by the administrator or user are determined as learning data, and image data, sensor data and various graphs generated based on the sensor data determined as the learning data are artificially created. A learning data determination unit for converting standards into a format required for neural network learning;
And an artificial neural network learning unit that performs artificial intelligence learning based on the learning data selected by the learning data determination unit and subjected to standard conversion.
드로잉 테스트 결과물을 채점하는 서버에 있어서,
인지 장애 여부를 판단하기 위한 검사 방법인 오각형 그리기 검사를 수행하는 데 요구되는 정보를 사용자 기기로 전송하고, 사용자 기기로부터 사용자의 오각형 그리기 검사에 대한 응답정보를 수신하는 통신부;
오각형 그리기 검사용 문제, 채점기준, 테스트 점수와 인지 장애 유무 및 중증도의 매칭 정보를 포함하는 인지 능력 검사 자료를 저장하는 저장부; 및
상기 사용자 기기로부터 획득된 응답 정보를 이용하여 상기 사용자가 그린 그림에 대한 분석을 다수 단계에 걸쳐 수행하고, 각 단계에서 각각 산출된 점수를 합산한 결과로 인지 장애 진단을 수행하는 제어부;를 포함하고,
상기 제어부는,
사용자가 그린 그림 상의 객체가 폐쇄된 형태인지 여부를 판단하고, 폐쇄된 형태인 경우 일 항목에 대한 단계별 점수를 만점으로 부여하고,
상기 제어부는,
사용자가 그린 그림에 대한 인공지능 기반의 분석 및 점수 산출 동작을 앵글 판단 단계, 교차 판단 단계 및 폐쇄 판단 단계에 걸쳐 수행하는 정보 분석부;를 포함하되,
상기 정보 분석부는,
폐쇄 판단 단계를 수행하는 폐쇄 판단부를 포함하고,
상기 폐쇄 판단부는,
응답 정보의 센서 데이터로부터 생성된 속도 그래프에서 속도의 변화값을 의미하는 peak의 강도가 기준치 이상인 지점이 1곳인지 여부를 판단하고, 1곳인 경우 사용자가 그린 그림 상의 객체가 폐쇄형인 것으로 판단하는 것을 특징으로 하는 서버.
In the server for scoring drawing test results,
A communication unit for transmitting information required to perform a pentagon drawing test, which is a test method for determining whether a cognitive impairment exists, to a user device, and receiving response information for the user's pentagon drawing test from the user device;
A storage unit for storing cognitive ability test data including a problem for a pentagonal drawing test, a scoring criterion, a test score, and matching information of the presence and severity of cognitive impairment; And
And a control unit for performing analysis on the picture drawn by the user through a plurality of steps using the response information obtained from the user device, and performing cognitive impairment diagnosis as a result of summing the scores calculated in each step; and ,
The control unit,
It is determined whether the object on the picture drawn by the user is in a closed form, and if it is in a closed form, a graded score for one item is given as a perfect score,
The control unit,
An information analysis unit that performs an artificial intelligence-based analysis and score calculation operation on the picture drawn by the user through the angle determination step, the cross determination step, and the closing determination step; including,
The information analysis unit,
Including a closing determination unit for performing the closing determination step,
The closing determination unit,
In the velocity graph generated from the sensor data of the response information, it is determined whether there is one point where the intensity of the peak, which means the change in velocity, is equal to or greater than the reference value, and if there is one, it is determined that the object on the picture drawn by the user is closed Server.
드로잉 테스트 결과물을 채점하는 방법에 있어서,
서버가 인지 장애 여부를 판단하기 위한 검사 방법인 오각형 그리기 검사를 수행하는 데 요구되는 정보를 사용자 기기로 전송하는 단계;
상기 서버가 사용자 기기로부터 사용자의 오각형 그리기 검사에 대한 응답정보를 수신하는 단계;
사용자가 그린 그림에 대하여 상기 응답 정보를 기반으로 분석하고, 분석된 결과에 따라 채점을 수행하는 단계; 및
상기 채점 결과에 따라 사용자의 인지 장애 진단을 수행하는 단계;를 포함하되,
상기 채점을 수행하는 단계는,
사용자가 그린 그림 상의 객체가 폐쇄형인지 여부 및 상기 그림 상의 객체에서 개방된 지점의 개수를 판단하고 그에 대응하는 점수를 부여하는 폐쇄 판단 단계; 를 포함하고,
상기 폐쇄 판단 단계는,
응답 정보의 센서 데이터로부터 생성된 속도 그래프에서 속도의 변화값을 의미하는 peak의 강도가 기준치 이상인 지점이 1곳인지 여부를 판단하고, 1곳인 경우 사용자가 그린 그림 상의 객체가 폐쇄형인 것으로 판단하는 것을 특징으로 하는 드로잉 테스트 결과물을 채점하는 방법.
In the method of scoring the drawing test result,
Transmitting, by the server, information required to perform a pentagon drawing test, which is a test method for determining whether there is a cognitive impairment, to a user device;
Receiving, by the server, response information for a user's pentagon drawing inspection from a user device;
Analyzing a picture drawn by a user based on the response information and performing scoring according to the analyzed result; And
Including,
The step of performing the scoring,
A closing determination step of determining whether the object on the picture drawn by the user is a closed type and the number of open points in the object on the picture and giving a score corresponding thereto; Including,
The closing determination step,
In the velocity graph generated from the sensor data of the response information, it is determined whether there is one point where the intensity of the peak, which means the change in velocity, is equal to or greater than the reference value, and if there is one, it is determined that the object on the picture drawn by the user is closed How to score the results of a drawing test done.
KR1020190062878A 2019-05-29 2019-05-29 Method and system for scoring drawing test results through object closure determination KR102240228B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190062878A KR102240228B1 (en) 2019-05-29 2019-05-29 Method and system for scoring drawing test results through object closure determination

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190062878A KR102240228B1 (en) 2019-05-29 2019-05-29 Method and system for scoring drawing test results through object closure determination

Publications (2)

Publication Number Publication Date
KR20200137105A KR20200137105A (en) 2020-12-09
KR102240228B1 true KR102240228B1 (en) 2021-04-13

Family

ID=73786634

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190062878A KR102240228B1 (en) 2019-05-29 2019-05-29 Method and system for scoring drawing test results through object closure determination

Country Status (1)

Country Link
KR (1) KR102240228B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102409242B1 (en) * 2021-10-18 2022-06-22 주식회사 뉴로젠 Method for obtaining score for neuropsychological test and neuropsychological testing device performing same
CN116883794A (en) * 2023-09-07 2023-10-13 北京智精灵科技有限公司 Spatial structure cognitive ability evaluation method and system based on graph attention network

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090067578A (en) * 2007-12-21 2009-06-25 주식회사 비트컴퓨터 Cognition enhancement system and method for dementia prevention
KR101244818B1 (en) * 2011-03-30 2013-03-18 계명대학교 산학협력단 Cognitive Impairment assessment service method and system based on on-line
KR20140008985A (en) * 2012-07-13 2014-01-22 삼성전자주식회사 User interface appratus in a user terminal and method therefor
KR102097188B1 (en) 2017-08-03 2020-04-10 사회복지법인 삼성생명공익재단 Prediction method for dementia using neuropsychological test and prediction system for dementia using neuropsychological test

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"MMSE의 오각형 그리기, Intersecting pentagons scoring scale". 네이버 공식블로그, [online], 인터넷:<URL: https://blog.naver.com/omed22/220907315158>(2017.01.10.) 1부.*
Jan Wohlfahrt Laymann외 4인. "MobileCogniTracker". Journal of Ambient Intelligence and Humanized Computing. pp.2143-2160, 2018.05.23. 1부.*

Also Published As

Publication number Publication date
KR20200137105A (en) 2020-12-09

Similar Documents

Publication Publication Date Title
KR102252851B1 (en) Automatic analysis system for picture for cognitive ability test and recording medium for the same
US11832958B2 (en) Automatic image-based skin diagnostics using deep learning
US20210279495A1 (en) Apparatus, method and computer program for analyzing image
Keel et al. Development and validation of a deep‐learning algorithm for the detection of neovascular age‐related macular degeneration from colour fundus photographs
Haloi Improved microaneurysm detection using deep neural networks
US20170061251A1 (en) Liveness detection method, liveness detection system, and liveness detection device
KR101301821B1 (en) Apparatus and method for detecting complexion, apparatus and method for determinig health using complexion, apparatus and method for generating health sort function
CN109508644A (en) Facial paralysis grade assessment system based on the analysis of deep video data
KR102240228B1 (en) Method and system for scoring drawing test results through object closure determination
WO2022088665A1 (en) Lesion segmentation method and apparatus, and storage medium
US20200237290A1 (en) System and method for detection of cognitive and speech impairment based on temporal visual facial feature
US11721023B1 (en) Distinguishing a disease state from a non-disease state in an image
CN111598038A (en) Face feature point detection method, device, equipment and storage medium
CN110532992A (en) A kind of face identification method based on visible light and near-infrared
Caicho et al. Diabetic retinopathy: detection and classification using AlexNet, GoogleNet and ResNet50 convolutional neural networks
US10706967B2 (en) Apparatus and system for processing diagnostic data on the basis of medical interview data and camera data
KR102225353B1 (en) System and method for automatically calculating cognitive ability test result through detection of angle number
US20210345971A1 (en) Deep learning lyme disease diagnosis
CN112263220A (en) Endocrine disease intelligent diagnosis system
CN115331218A (en) Food calorie estimation method, device, equipment and medium based on image segmentation
Logan et al. From individual features to full faces: Combining aspects of face information
Willingham Jr et al. The potential of using artificial intelligence to improve skin cancer diagnoses in Hawai ‘i’s multiethnic population
Gahiwad et al. Brain Stroke Detection Using CNN Algorithm
US20230346276A1 (en) System and method for detecting a health condition using eye images
CN115953389B (en) Strabismus judging method and device based on face key point detection

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant