KR20220053799A - Parkinson's disease determination method based on contour of clock and hands of clock - Google Patents
Parkinson's disease determination method based on contour of clock and hands of clock Download PDFInfo
- Publication number
- KR20220053799A KR20220053799A KR1020200137953A KR20200137953A KR20220053799A KR 20220053799 A KR20220053799 A KR 20220053799A KR 1020200137953 A KR1020200137953 A KR 1020200137953A KR 20200137953 A KR20200137953 A KR 20200137953A KR 20220053799 A KR20220053799 A KR 20220053799A
- Authority
- KR
- South Korea
- Prior art keywords
- score
- watch
- processor
- disease
- hand
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Neurology (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Neurosurgery (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Developmental Disabilities (AREA)
- Primary Health Care (AREA)
- Human Computer Interaction (AREA)
- Physiology (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 개시는 파킨슨 병 진단을 위한 전자 장치에 관한 것으로, 보다 상세하게는 CDT(Clock Drawing Test)에 따라 그려진 시계의 윤곽 및/또는 시계 바늘을 기반으로 파킨슨 병 여부를 판단하는 전자 장치에 관한 것이다The present disclosure relates to an electronic device for diagnosing Parkinson's disease, and more particularly, to an electronic device for determining whether or not Parkinson's disease is present based on a watch outline and/or a watch hand drawn according to a clock drawing test (CDT)
파킨슨 병, 치매 등 퇴행성 뇌질환 여부를 진단하기 위한 방식들 중 하나로 CDT(Clock Drawing Test)가 이용되고 있다.A clock drawing test (CDT) is used as one of the methods for diagnosing degenerative brain diseases such as Parkinson's disease and dementia.
CDT는 검사 대상자로 하여금 시계를 그리게 하고, 대상자가 그린 시계의 정확도를 다양한 항목(ex. 숫자의 기재 여부, 시계 내 공간 구성의 정확성, 시침과 분침의 정확성 등)을 기반으로 채점하여 점수를 낸 뒤, 해당 점수를 기반으로 대상자의 파킨슨 병 여부를 진단하는 것이다.In the CDT, the test subject draws a watch, and scores the accuracy of the watch drawn by the subject based on various items (eg, whether numbers are written, the accuracy of the spatial composition of the watch, the accuracy of the hour and minute hands, etc.). Then, based on the score, it is to diagnose whether the subject has Parkinson's disease.
다만, 평가자가 직접 각 항목에 근거하여 대상자의 그림을 채점하는 경우 시간이 다소 오래 걸리는 문제가 있었다. 특히, 검사 대상자의 수가 평가자의 수에 비해 많은 경우 이러한 문제는 더욱 심화되었다.However, when the evaluator directly grades the subject's picture based on each item, it takes a long time. In particular, when the number of test subjects is larger than the number of evaluators, this problem is further exacerbated.
아울러, 일부 평가 항목의 경우 다소 주관적일 수 있다는 점에서, 대상자가 그린 동일한 시계 그림을 접하더라도 평가하는 사람에 따라서는 스코어가 달라질 수도 있다는 문제가 있었다.In addition, in the sense that some evaluation items may be somewhat subjective, there was a problem that the score may vary depending on the evaluator even if the subject encounters the same picture of the clock drawn by the subject.
본 개시는 사용자 입력에 따라 생성된 테스트 이미지에 포함된 시계의 윤곽 및 시계 바늘을 기반으로 자동으로 파킨슨 병 여부를 판단하는 전자 장치의 파킨슨 병 판단 방법을 제공한다.The present disclosure provides a method for determining Parkinson's disease of an electronic device that automatically determines whether or not Parkinson's disease is present based on an outline of a watch and a watch hand included in a test image generated according to a user input.
본 개시의 일 실시 예에 따른 전자 장치의 파킨슨 병 판단 방법은, 사용자 입력을 기반으로 생성된 테스트 이미지로부터 시계의 윤곽을 추출하는 단계, 상기 추출된 윤곽을 기반으로 제1 스코어를 획득하는 단계, 상기 테스트 이미지에 포함된 적어도 하나의 시계 바늘을 추출하는 단계, 상기 추출된 시계 바늘을 기반으로 제2 스코어를 획득하는 단계, 상기 제1 스코어 및 상기 제2 스코어를 기반으로 사용자의 파킨슨 병 여부를 식별하는 단계를 포함한다.A method of determining Parkinson's disease of an electronic device according to an embodiment of the present disclosure includes extracting a contour of a watch from a test image generated based on a user input, acquiring a first score based on the extracted contour; extracting at least one watch hand included in the test image, obtaining a second score based on the extracted watch hand, and determining whether the user has Parkinson's disease based on the first score and the second score identifying the step.
이때, 상기 제1 스코어를 획득하는 단계는, 상기 윤곽이 폐곡선인지 여부 및 상기 윤곽의 구간 별 기울기 중 적어도 하나에 따라 상기 제1 스코어를 산출할 수 있다.In this case, the obtaining of the first score may include calculating the first score according to at least one of whether the contour is a closed curve and a slope for each section of the contour.
한편, 상기 파킨슨 병 판단 방법은, 시계의 윤곽을 추출하도록 훈련된 인공지능 모델에 정상인에 의해 그려진 적어도 하나의 샘플 이미지를 입력하여, 상기 샘플 이미지에 포함된 시계의 윤곽의 상기 샘플 이미지 내 위치를 식별하는 단계를 더 포함할 수 있다. 이때, 상기 제1 스코어를 획득하는 단계는, 상기 추출된 윤곽의 상기 테스트 이미지 내 위치와 상기 식별된 윤곽의 상기 샘플 이미지 내 위치 간의 매칭 정도를 기반으로 상기 제1 스코어를 획득할 수 있다.On the other hand, the Parkinson's disease determination method inputs at least one sample image drawn by a normal person to an artificial intelligence model trained to extract the outline of the watch, and the position of the outline of the watch included in the sample image in the sample image It may further include the step of identifying. In this case, the acquiring of the first score may include acquiring the first score based on a degree of matching between a position of the extracted contour in the test image and a position of the identified contour in the sample image.
또한, 상기 파킨슨 병 판단 방법은, 터치 스크린 상에 수신되는 상기 사용자 입력의 상기 터치 스크린 내 좌표를 기반으로 센싱 데이터를 획득하는 단계, 상기 획득된 센싱 데이터를 기반으로 상기 테스트 이미지를 생성하는 단계를 더 포함할 수 있다. 이 경우, 상기 시계 바늘을 추출하는 단계는, 상기 센싱 데이터 중, 상기 사용자 입력에 따른 상기 터치 스크린 내 좌표의 변경 속도가 기설정된 임계치 이상인 시간 구간에 포함되는 센싱 데이터를 식별하고, 상기 테스트 이미지 내에서 상기 식별된 센싱 데이터에 대응되는 시침 또는 분침을 추출할 수 있다.In addition, the method for determining Parkinson's disease includes: acquiring sensing data based on coordinates within the touch screen of the user input received on a touch screen; generating the test image based on the acquired sensing data may include more. In this case, the step of extracting the clock hand may include identifying, among the sensed data, sensing data included in a time period in which a rate of change of coordinates in the touch screen according to the user input is equal to or greater than a preset threshold, and within the test image. may extract the hour hand or the minute hand corresponding to the identified sensing data.
또한, 상기 파킨슨 병 판단 방법은, 상기 추출된 윤곽을 기준으로 상기 테스트 이미지에 포함된 복수의 숫자를 식별하는 단계를 더 포함할 수도 있다. 이 경우, 상기 제2 스코어를 획득하는 단계는, 상기 복수의 숫자를 기반으로 상기 시계 바늘이 가리키는 시간을 식별하고, 상기 식별된 시간과 기설정된 시간의 매칭 여부에 따라 상기 제2 스코어를 획득할 수 있다.Also, the method for determining Parkinson's disease may further include identifying a plurality of numbers included in the test image based on the extracted contour. In this case, the step of obtaining the second score may include identifying the time indicated by the clock hand based on the plurality of numbers, and obtaining the second score according to whether the identified time and a preset time match. can
이때, 상기 제2 스코어를 획득하는 단계는, 상기 시계 바늘이 상기 추출된 윤곽에 가까워지도록 상기 시계 바늘을 연장하고, 상기 복수의 숫자를 기반으로 상기 연장된 시계 바늘이 가리키는 시간을 식별하고, 상기 식별된 시간과 상기 기설정된 시간의 매칭 여부에 따라 상기 제2 스코어를 획득할 수 있다.In this case, the step of obtaining the second score may include extending the watch hand so that the watch hand approaches the extracted outline, identifying the time indicated by the extended watch hand based on the plurality of numbers, and The second score may be obtained according to whether the identified time matches the preset time.
한편, 상기 파킨슨 병 판단 방법은, 시계 바늘을 추출하도록 훈련된 인공지능 모델에 정상인에 의해 그려진 적어도 하나의 샘플 이미지를 입력하여, 상기 샘플 이미지에 포함된 시계 바늘의 상기 샘플 이미지 내 위치를 식별하는 단계를 더 포함할 수 있다. 여기서, 상기 제2 스코어를 획득하는 단계는, 상기 추출된 시계 바늘의 상기 테스트 이미지 내 위치와 상기 식별된 시계 바늘의 상기 샘플 이미지 내 위치 간의 매칭 정도를 기반으로 상기 제2 스코어를 획득할 수 있다.On the other hand, the Parkinson's disease determination method inputs at least one sample image drawn by a normal person to an artificial intelligence model trained to extract the clock hand, and identifies the position in the sample image of the clock hand included in the sample image It may include further steps. Here, the obtaining of the second score may include obtaining the second score based on a degree of matching between a position in the test image of the extracted watch hand and a position in the sample image of the identified watch hand. .
본 개시에 따른 전자 장치는 사용자가 그린 테스트 이미지로부터 윤곽 및/또는 시계 바늘을 추출함으로써 테스트 이미지의 정확도를 자동으로 빠르게 스코어링하는 효과가 있다.The electronic device according to the present disclosure has an effect of automatically and quickly scoring the accuracy of a test image by extracting an outline and/or a clock hand from a test image drawn by a user.
본 개시의 일부 실시 예에 따른 전자 장치 및 그 제어 방법은, 두 개 이상의 장치를 통해 실행될 수 있는 애플리케이션 또는 원격 통신을 통해서도 CDT 테스트를 수행할 수 있다는 장점이 있다.The electronic device and the control method thereof according to some embodiments of the present disclosure have an advantage that the CDT test can be performed through an application or remote communication that can be executed through two or more devices.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 2는 본 개시의 일 실시 예에 따른 전자 장치가 사용자 입력에 따라 테스트 이미지를 생성하는 예를 설명하기 위한 도면,
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 파킨슨 병 진단 방법을 설명하기 위한 흐름도,
도 4a 내지 도 4b는 본 개시의 일 실시 예에 따른 파킨슨 병 진단 방법에 있어 인공지능 모델을 통해 추출된 윤곽을 테스트 이미지 내 윤곽과 비교하는 동작을 설명하기 위한 도면들,
도 5는 본 개시의 일 실시 예에 따른 파킨슨 병 진단 방법에 있어 시계 바늘이 가리키는 숫자를 판단하는 동작을 설명하기 위한 도면,
도 6은 본 개시의 일 실시 예에 따른 파킨슨 병 진단 방법에 있어 시계 바늘이 가리키는 숫자를 판단하는 동작을 설명하기 위한 도면,
도 7은 본 개시의 일 실시 예에 따른 파킨슨 병 진단 방법에 있어, 윤곽과 숫자점이 주어진 상태에서 그려진 테스트 이미지 내 시계 바늘이 가리키는 숫자를 판단하는 동작을 설명하기 위한 도면,
도 8은 본 개시의 일 실시 예에 따른 파킨슨 병 진단 방법에 있어 인공지능 모델을 이용하여 통해 추출된 시계 바늘을 테스트 이미지 내 시계 바늘과 비교하는 동작을 설명하기 위한 도면,
도 9a 내지 도 9c는 본 개시의 일 실시 예에 따른 전자 장치가 테스트 이미지 내에서 숫자들을 추출하는 구체적인 예들을 설명하기 위한 도면들,
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 파킨슨 병 진단 방법을 설명하기 위한 알고리즘, 그리고
도 11은 본 개시의 다양한 실시 예에 따른 전자 장치의 구성 및 동작을 설명하기 위한 블록도이다.1 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure;
2 is a view for explaining an example in which an electronic device generates a test image according to a user input according to an embodiment of the present disclosure;
3 is a flowchart illustrating a method for diagnosing Parkinson's disease of an electronic device according to an embodiment of the present disclosure;
4A to 4B are diagrams for explaining an operation of comparing a contour extracted through an artificial intelligence model with a contour in a test image in a method for diagnosing Parkinson's disease according to an embodiment of the present disclosure;
5 is a view for explaining an operation of determining a number indicated by a clock hand in a method for diagnosing Parkinson's disease according to an embodiment of the present disclosure;
6 is a view for explaining an operation of determining a number indicated by a clock hand in a method for diagnosing Parkinson's disease according to an embodiment of the present disclosure;
7 is a view for explaining an operation of determining a number indicated by a clock hand in a test image drawn in a state where an outline and number points are given in the method for diagnosing Parkinson's disease according to an embodiment of the present disclosure;
8 is a view for explaining an operation of comparing a watch hand extracted through an artificial intelligence model with a watch hand in a test image in a method for diagnosing Parkinson's disease according to an embodiment of the present disclosure;
9A to 9C are diagrams for explaining specific examples in which an electronic device extracts numbers from a test image according to an embodiment of the present disclosure;
10 is an algorithm for explaining a method for diagnosing Parkinson's disease of an electronic device according to an embodiment of the present disclosure;
11 is a block diagram illustrating a configuration and operation of an electronic device according to various embodiments of the present disclosure;
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.Prior to describing the present disclosure in detail, a description will be given of the description of the present specification and drawings.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다. First, terms used in the present specification and claims have been selected in consideration of functions in various embodiments of the present disclosure. However, these terms may vary depending on the intention or legal or technical interpretation of a person skilled in the art, and the emergence of new technology. Also, some terms are arbitrarily selected by the applicant. These terms may be interpreted in the meanings defined herein, and in the absence of specific definitions, they may be interpreted based on the general content of the present specification and common technical common sense in the art.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다. Also, the same reference numerals or reference numerals in each drawing attached to this specification indicate parts or components that perform substantially the same functions. For convenience of description and understanding, the same reference numbers or reference numerals are used in different embodiments. That is, even though all components having the same reference number are illustrated in a plurality of drawings, the plurality of drawings do not mean one embodiment.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다. In addition, in this specification and claims, terms including an ordinal number such as “first” and “second” may be used to distinguish between elements. This ordinal number is used to distinguish the same or similar elements from each other, and the meaning of the term should not be construed as limited due to the use of the ordinal number. As an example, the use order or arrangement order of components combined with such an ordinal number should not be limited by the number. If necessary, each ordinal number may be used interchangeably.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this specification, the singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as "comprises" or "consisting of" are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, and are intended to indicate that one or more other It should be understood that this does not preclude the possibility of addition or presence of features or numbers, steps, operations, components, parts, or combinations thereof.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.In an embodiment of the present disclosure, terms such as “module”, “unit”, “part”, etc. are terms for designating a component that performs at least one function or operation, and such component is hardware or software. It may be implemented or implemented as a combination of hardware and software. In addition, a plurality of "modules", "units", "parts", etc. are integrated into at least one module or chip, except when each needs to be implemented in individual specific hardware, and thus at least one processor. can be implemented as
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, in an embodiment of the present disclosure, when it is said that a certain part is connected to another part, this includes not only a direct connection but also an indirect connection through another medium. In addition, the meaning that a certain part includes a certain component means that other components may be further included, rather than excluding other components, unless otherwise stated.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.1 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
도 1을 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다.Referring to FIG. 1 , the
전자 장치(100)는 스마트폰, 태블릿 PC, 노트북 PC, 데스크탑 PC, 키오스크, TV 등 다양한 기기로 구현될 수 있다. 또한, 전자 장치(100)는 서버로 구현될 수도 있는바, 자세한 내용은 도 10을 통해 후술한다.The
메모리(110)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 적어도 하나의 인스트럭션 또는 데이터를 저장하기 위한 구성이다. The
메모리(110)는 ROM, 플래시 메모리 등의 비휘발성 메모리를 포함할 수 있으며, DRAM 등으로 구성된 휘발성 메모리를 포함할 수 있다. 또한, 메모리(120)는 하드 디스크, SSD(Solid state drive) 등을 포함할 수도 있다.The
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 프로세서(120)는 메모리(110)와 연결되어 전자 장치(100)를 제어할 수 있다.The
이를 위해, 프로세서(120)는 하드웨어적으로 CPU(central processing unit), GPU(Graphic processing unit), NPU(neural processing unit) 등을 포함할 수 있으며, 전자 장치(100)에 포함된 다른 구성요소들의 제어에 관한 연산이나 데이터 처리를 실행할 수 있다.To this end, the
프로세서(120)는 MPU(Micro Processing Unit)로 구현되거나, 또는 RAM(Random Access Memory) 및 ROM(Read Only Memory) 등이 CPU 등과 시스템 버스를 통해 연결된 컴퓨터에 해당할 수도 있다.The
프로세서(120)는 전자 장치(100)에 포함된 하드웨어적 구성요소뿐만 아니라, 전자 장치(100)에 포함되는 하나 이상의 소프트웨어 모듈을 제어할 수도 있으며, 프로세서(120)가 소프트웨어 모듈을 제어한 결과가 하드웨어 구성들의 동작으로 도출될 수도 있다.The
프로세서(120)는 메모리(110)에 저장된 적어도 하나의 인스트럭션을 실행함으로써 후술할 파킨슨 병 판단 방법을 수행할 수 있는바, 이하 도면들을 통해 설명한다.The
도 2은 본 개시의 일 실시 예에 따른 전자 장치가 사용자 입력에 따라 테스트 이미지를 생성하는 예를 설명하기 위한 도면이다.2 is a diagram for explaining an example in which an electronic device generates a test image according to a user input according to an embodiment of the present disclosure;
도 2는 전자 장치(100)가 터치 스크린으로 구성된 디스플레이를 포함하는 태블릿 PC로 구현된 상황을 가정한다.FIG. 2 assumes that the
또한, 도 2는 CDT 테스트를 진행하기 위한 안내(ex. 시계의 윤곽을 그려주세요. 시계 안에 숫자들을 그려주세요. 11시 20분을 나타내는 시계를 그려주세요. 등)가 사용자에게 주어진 상황을 가정한다.In addition, Fig. 2 assumes a situation in which a guide to proceed with the CDT test (ex. Draw the outline of the watch. Draw the numbers inside the watch. Draw a watch indicating 11:20 o'clock, etc.) is given to the user. .
이때, CDT 테스트를 진행하기 위한 안내는 전자 장치(100)의 디스플레이를 통해 시각적으로 제공되거나 또는 전자 장치(100)의 스피커를 통해 청각적으로 제공될 수 있다.In this case, a guide for performing the CDT test may be provided visually through the display of the
도 2을 참조하면, 전자 장치(100)는 터치용 펜 또는 손가락을 이용하여 전자 장치(100)의 터치 스크린을 터치하는 사용자(1)의 입력을 수신할 수 있다.Referring to FIG. 2 , the
구체적으로, 프로세서(120)는 터치 스크린 상에 수신되는 사용자 입력의 터치 스크린 내 좌표를 기반으로 센싱 데이터를 획득할 수 있다.Specifically, the
그리고, 프로세서(120)는 획득된 센싱 데이터를 기반으로 테스트 이미지(10)를 생성할 수 있다.In addition, the
한편, 전자 장치(100)는 적어도 하나의 외부 장치와 통신을 수행하여, 해당 외부 장치로부터 테스트 이미지를 수신할 수도 있다. Meanwhile, the
일 예로, 서버로 구현된 전자 장치(100)는 스마트폰을 통해 수신된 사용자 입력에 따라 그려진 테스트 이미지를 스마트폰으로부터 수신할 수 있다.For example, the
한편, 비록 도 2의 경우 시계의 윤곽, 숫자들, 시계 바늘이 모두 사용자 입력에 따라 직접 그려지는 상황을 가정하였으나, 이와 달리, 테스트 이미지 내에 시계의 윤곽, 숫자들, 시계 바늘 중 적어도 하나가 그려진 상태에서, 사용자 입력에 따라 나머지 요소들을 추가하게끔 하는 방식도 가능하다.Meanwhile, although it is assumed in FIG. 2 that the outline, numbers, and hands of the watch are all drawn directly according to the user input, in contrast to this, at least one of the outline, numbers, and hands of the watch is drawn in the test image. In the state, it is also possible to add the remaining elements according to user input.
일 예로, 시계의 윤곽 및 숫자들이 이미 그려진 상태에서, 전자 장치(100)는 사용자로 하여금 시계 바늘을 그리게 하는 안내(ex. 11시 20분을 나타내는 시계 바늘을 그려주세요)를 제공할 수 있다. 이 경우, 사용자 입력에 따라, 테스트 이미지 내에 시계 바늘이 추가로 그려질 수 있다.For example, in a state in which the outline and numbers of the watch are already drawn, the
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 파킨슨 병 진단 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a method for diagnosing Parkinson's disease by an electronic device according to an embodiment of the present disclosure.
도 3을 참조하면, 프로세서(120)는 테스트 이미지로부터 시계의 윤곽(: 테두리)을 추출할 수 있다(S310).Referring to FIG. 3 , the
일 예로, "시계의 윤곽을 그려주세요"라는 안내가 제공된 경우, 프로세서(120)는 해당 안내 이후 터치 스크린 상에 수신되는 사용자 입력의 좌표를 획득하고, 해당 좌표로 구성된 시계의 윤곽을 획득할 수 있다.As an example, when a guidance of “draw the outline of the watch” is provided, the
다른 예로, 프로세서(120)는 이미지로부터 시계의 윤곽을 추출하도록 훈련된 적어도 하나의 인공지능 모델을 이용할 수도 있다. 본 인공지능 모델은, 사람이 직접 그린 원 및/또는 폐곡선을 식별하도록 훈련된 모델일 수 있다.As another example, the
그리고, 프로세서(120)는 추출된 윤곽을 기반으로 제1 스코어를 획득할 수 있다(S320).Then, the
이때, 프로세서(120)는 추출된 시계의 윤곽이 폐곡선인지 여부 및 윤곽의 구간 별 기울기 중 적어도 하나에 따라 제1 스코어를 산출할 수 있다.In this case, the
일 예로, 프로세서(120)는 이하 표 1의 기준에 따라 제1 스코어를 산출할 수 있다.As an example, the
구체적인 예로, 프로세서(120)는 추출된 시계의 윤곽을 복수의 구간으로 구분하고, 구분된 복수의 구간 각각의 기울기를 획득할 수 있다.As a specific example, the
만약, 시계의 윤곽이 급격하게 꺾이거나(ex. 뾰족한 모양) 또는 꺾이지 않는(ex. 직선) 등 구간별 기울기의 변화량이 원을 그리기 위한 기설정된 임계 범위를 벗어나는 경우, 프로세서(120)는 제1 스코어를 0점(: 없거나 완전히 부적절함)으로 산출할 수 있다.If the amount of change in inclination for each section, such as the contour of the watch being sharply bent (ex. sharp shape) or not bent (ex. straight line), is out of a preset threshold range for drawing a circle, the
다른 예로, 시계의 윤곽의 구간별 기울기의 변화량이 기설정된 임계 범위를 벗어나지는 않으나 시계의 윤곽이 폐곡선이 아닌 경우, 프로세서(120)는 제1 스코어를 1점(: 불완전하거나 일부 왜곡)으로 산출할 수 있다.As another example, if the amount of change in the inclination of the watch outline for each section does not deviate from a preset threshold range, but the watch outline is not a closed curve, the
다만, 시계의 윤곽이 폐곡선이고, 급격하게 꺾이는 구간도 없이 임계 범위 내의 기울기 변화를 유지한 경우, 프로세서(120)는 제1 스코어를 2점(: 총 왜곡 없이 표시)으로 산출할 수 있다.However, when the contour of the watch is a closed curve and a change in inclination within a critical range is maintained without a sharp bend section, the
한편, 프로세서(120)는 테스트 이미지로부터 추출된 시계의 윤곽을 정상인(: 파킨슨 병에 걸리지 않은 사람)의 그림으로부터 추출된 시계의 윤곽과 비교함으로써 제1 스코어를 획득할 수도 있다.Meanwhile, the
관련하여, 도 4a 내지 도 4b는 본 개시의 일 실시 예에 따른 파킨슨 병 판단 방법에 있어 인공지능 모델을 통해 추출된 윤곽을 테스트 이미지 내 윤곽과 비교하는 동작을 설명하기 위한 도면들이다.4A to 4B are diagrams for explaining an operation of comparing a contour extracted through an artificial intelligence model with a contour in a test image in a method for determining Parkinson's disease according to an embodiment of the present disclosure.
본 실시 예에 따르면, 프로세서(120)는 시계의 윤곽을 추출하도록 훈련된 인공지능 모델에 정상인에 의해 그려진 적어도 하나의 샘플 이미지를 입력하여, 샘플 이미지에 포함된 시계의 윤곽의 샘플 이미지 내 위치를 식별할 수 있다.According to this embodiment, the
관련하여, 도 4a는, 이미지가 입력되면, 이미지 내에서 특정한 일부분(ex. 시계의 윤곽)의 맵을 출력하도록 훈련된 인공지능 모델의 일 예를 나타낸다. 다만, 비록 도 4a에서는 U-net 형태로 구현된 인공지능 모델이 이용되었으나, 이 밖에도 다양한 형태 및 훈련 방식에 따른 인공지능 모델이 이용될 수 있음은 물론이다.In relation to this, FIG. 4A shows an example of an artificial intelligence model trained to output a map of a specific part (eg, the outline of a watch) within an image when an image is input. However, although the artificial intelligence model implemented in the U-net form is used in FIG. 4A, it goes without saying that artificial intelligence models according to various forms and training methods may be used.
본 인공지능 모델은, 일 예로, 시계가 포함된 많은 수의 이미지들(입력) 및 해당 이미지들 각각에 포함된 시계의 윤곽의 맵(출력)을 통해 훈련된 것일 수 있다. 여기서, 시계의 윤곽의 맵은, 각 샘플 이미지 내에 포함된 시계의 윤곽의 위치를 나타낸다.This artificial intelligence model, for example, may be trained through a large number of images (input) including a watch and a map (output) of the outline of the watch included in each of the images. Here, the map of the outline of the watch indicates the position of the outline of the watch included in each sample image.
프로세서(120)는 도 4a와 같은 인공지능 모델에 정상인에 의해 그려진 하나 이상의 샘플 이미지(: 시계 그림)를 입력할 수 있다. 그 결과, 샘플 이미지 내 시계의 윤곽의 위치를 나타내는 맵이 출력될 수 있다.The
여기서, 도 4b를 참조하면, 프로세서(120)는 테스트 이미지에서 추출된 윤곽(sensor)의 테스트 이미지 내 위치(좌표)와 샘플 이미지에서 추출된 윤곽(segmented)의 샘플 이미지 내 위치(좌표) 간의 매칭 정도를 기반으로 제1 스코어를 획득할 수 있다.Here, referring to FIG. 4B , the
이때, 샘플 이미지에서 추출된 윤곽(segmented)의 샘플 이미지 내 위치는, 복수의 샘플 이미지로부터 추출된 복수의 시계 윤곽의 맵들이 나타내는 윤곽의 위치의 평균에 해당할 수도 있다.In this case, the position in the sample image of the segmented contour extracted from the sample image may correspond to an average of the position of the contour indicated by the plurality of maps of the watch contour extracted from the plurality of sample images.
도 4b를 참조하면, 매칭 정도가 75퍼센트 이상인 경우, 프로세서(120)는 제1 스코어를 2점으로 산출할 수 있다. 그리고, 프로세서(120)는 매칭 정도가 50퍼센트 이상 75 퍼센트 미만인 경우 제1 스코어를 1점으로 산출할 수 있으며, 매칭 정도가 50 퍼센트 미만인 경우 제1 스코어를 0점으로 산출할 수 있다. 다만, 구체적인 퍼센트 임계치가 도 4b의 실시 예에 한정되는 것은 아니다.Referring to FIG. 4B , when the matching degree is 75% or more, the
한편, 도 3을 참조하면, 프로세서(120)는 테스트 이미지에 포함된 시계 바늘을 추출할 수 있다(S330).Meanwhile, referring to FIG. 3 , the
일 예로, 프로세서(120)는 S310 단계에서 추출된 시계의 윤곽 내부에 위치하고(: 터치 스크린 상 좌표 이용), 직선 길이가 임계치 이상인 적어도 하나의 시계 바늘을 추출할 수 있다.As an example, the
한편, 일반적으로 사용자가 시침 또는 분침을 그리기 전과 후에는 터치 스크린을 터치하는 사용자 입력이 단절되거나 또는 터치되는 좌표의 변경 속도가 느려지는 경우가 많고, 시침 또는 분침이 그려지는 동안에는 그 속도가 비교적 빠른 경우가 많기 때문에, 연속된 사용자 입력에 따른 터치 스크린 내 좌표의 변화 속도를 이용하여 시침 또는 분침이 식별될 수도 있다.On the other hand, in general, before and after the user draws the hour or minute hand, the user input for touching the touch screen is cut off or the speed of changing the touched coordinates is often slowed down, and the speed is relatively fast while the hour or minute hand is being drawn. Since there are many cases, the hour hand or the minute hand may be identified using the rate of change of coordinates in the touch screen according to continuous user input.
관련된 실시 예로, "시침과 분침을 그려주세요"라는 안내가 제공된 상황을 가정할 수 있다.As a related embodiment, it may be assumed that the guidance "Please draw the hour and minute hands" is provided.
이 경우, 프로세서(120)는 사용자 입력(: 터치)을 감지하여 획득된 센싱 데이터 중, 사용자 입력에 따른 터치 스크린 내 좌표의 변경 속도가 기설정된 임계치 이상인 상태로 유지되는 시간 구간에 포함되는 센싱 데이터를 식별할 수 있다.In this case, the
여기서, 프로세서(120)는 해당 시간 구간 내의 센싱 데이터에 매칭되는 좌표들을 이용하여 시계 바늘을 추출할 수 있다.Here, the
시간 구간이 복수 개인 경우, 각 시간 구간 별로 시계 바늘이 하나씩 추출될 수 있고, 프로세서(120)는 구간 별로 좌표의 변경 속도 및 시간 구간의 시간 길이를 이용하여 시계 바늘의 길이를 식별할 수 있다.When there are a plurality of time sections, one watch hand may be extracted for each time section, and the
일 예로 두 개의 시계 바늘이 추출된 경우, 프로세서(120)는 길이가 긴 시계 바늘을 분침으로, 길이가 짧은 시계 바늘을 시침으로 식별할 수 있다.For example, when two watch hands are extracted, the
프로세서(120)는 추출된 시계 바늘을 기반으로 제2 스코어를 획득할 수 있다(S340).The
구체적으로, 프로세서(120)는 추출된 시계 바늘의 수, 추출된 시계 바늘 간의 길이 차이(: 시침과 분침의 구별 여부), 추출된 시계 바늘의 각도(: 시계 바늘이 가리키는 시간) 등을 기반으로 제2 스코어를 획득할 수 있다.Specifically, the
이하 표 2는 제2 스코어를 산정하는 기준의 일 예에 해당한다.Table 2 below corresponds to an example of a criterion for calculating the second score.
구체적인 예로, 시계 바늘이 그려지지 않은 경우, 테스트 이미지에 포함된 시계의 윤곽 내에 길이가 임계치 이상인 바늘이 식별되지 않을 수 있다. 이 경우, 프로세서(120)는 제2 스코어를 0점(: 바늘이 없음)으로 산출할 수 있다.As a specific example, when the watch hands are not drawn, a hand whose length is equal to or greater than a threshold value may not be identified in the outline of the watch included in the test image. In this case, the
다른 예로, 시계 바늘이 하나만 식별된 경우, 프로세서(120)는 제2 스코어를 1점(: 바늘의 표현 불량)으로 산출할 수 있다.As another example, when only one watch hand is identified, the
다른 예로, 테스트 이미지 내에서 시침과 분침이 모두 식별되었으나, 해당 시침과 분침이 가리키는 시간이 사전에 제공된 안내(ex. 11시 20분을 나타내는 시계를 그려주세요)와 다른 경우, 프로세서(120)는 제2 스코어를 2점(: 바늘 위치의 주요 오류)으로 산출할 수 있다.As another example, if both the hour and minute hands are identified in the test image, but the time indicated by the corresponding hour and minute hands is different from the previously provided guidance (eg, please draw a clock indicating 11:20), the processor 120 A second score can be calculated as 2 points (: major error in needle position).
여기서, 프로세서(120)는 시계 바늘(시침, 분침)과 각 숫자들 간의 거리에 따라 테스트 이미지 내 시계가 가리키는 시간을 식별할 수 있다.Here, the
관련하여, 도 5는 본 개시의 일 실시 예에 따른 파킨슨 병 진단 방법에 있어 시계 바늘이 가리키는 시간을 판단하는 동작을 설명하기 위한 도면이다. In relation to this, FIG. 5 is a diagram for explaining an operation of determining a time indicated by a clock hand in a method for diagnosing Parkinson's disease according to an embodiment of the present disclosure.
도 5는 사용자 입력에 따라 생성된 테스트 이미지를 도시한다. 도 5를 참조하면, 프로세서(120)는 상술한 실시 예들에 따라 테스트 이미지로부터 시계의 윤곽(510) 및 시계 바늘들(531, 532)을 식별할 수 있다.5 shows a test image generated according to a user input. Referring to FIG. 5 , the
또한, 프로세서(120)는 테스트 이미지로부터 복수의 숫자들(1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12)을 식별할 수 있다.Also, the
구체적으로, 프로세서(120)는 추출된 윤곽(610)을 기준으로 내부에 위치하는 복수의 숫자를 식별할 수 있다.Specifically, the
이때, 프로세서(120)는 OCR(Optical Character Recognition)을 이용하거나 또는 이미지에 포함된 숫자를 식별하도록 훈련된 적어도 하나의 인공지능 모델을 이용할 수 있다.In this case, the
여기서, 프로세서(120)는 식별된 복수의 숫자를 기반으로 시계 바늘(531, 532)이 가리키는 시간을 식별할 수 있다.Here, the
일 예로, 프로세서(120)는 시침인 시계 바늘(531)의 양 끝 중 윤곽(510)과 더 가까운 지점을 식별하고, 식별된 지점과 가장 가까운 적어도 하나의 숫자 "11"을 식별할 수 있다. For example, the
마찬가지로, 프로세서(120)는 분침인 시계 바늘(632)과 가장 가까운 숫자 "2"를 식별할 수 있다.Likewise, the
여기서, 테스트 이미지에 포함된 시침(531)과 분침(532)이 나타내는 시간은 11시 10분이다.Here, the time indicated by the
이때, 프로세서(120)는 테스트 이미지 내에서 시침(531) 및 분침(532)이 가리키는 시간과 기설정된 시간의 매칭 정도에 따라 제2 스코어를 산출할 수 있다. 여기서, 기설정된 시간은, 사전에 사용자에게 제공된 안내에 따른 시간일 수 있다. In this case, the
일 예로, 사전에 제공된 안내가 "11시 20분을 나타내는 시계를 그려주세요"라면, 기설정된 시간은 11시 20분이 된다. For example, if the guide provided in advance is "Please draw a clock that shows 11:20", the preset time is 11:20.
이 경우, 테스트 이미지 내 시계가 가리키는 시간(11시 10분)과 기설정된 시간(11시 20분)이 서로 매칭되지 않으므로, 프로세서(120)는 상술한 표 2에 따라 제2 스코어를 3점으로 산출할 수 있다.In this case, since the time indicated by the clock in the test image (11:10) and the preset time (11:20) do not match with each other, the
한편, 도 5와 달리, 프로세서(120)는 각 시계 바늘(531, 532)의 길이를 연장하여 가장 가까운 숫자를 식별할 수도 있다.Meanwhile, unlike FIG. 5 , the
관련하여, 도 6을 참조하면, 프로세서(120)는 시계 바늘(531)이 윤곽(510)에 가까워지도록 시계 바늘(531)을 연장할 수 있다. 이때, 프로세서(120)는 시계 바늘(531)의 기울기를 유지하면서 시계 바늘(531)을 연장할 수 있다.In relation to FIG. 6 , the
그리고, 프로세서(120)는 연장된 시계 바늘(531')과 가장 가까운 거리에 있는 숫자 "11"을 식별할 수 있다.In addition, the
한편, 비록 도 5 및 도 6의 경우, 테스트 이미지 내 모든 숫자들이 1~12에 매칭됨은 물론 테스트 이미지 내 모든 숫자들이 비교적 정확한 위치 및 배열 순서에 따라 그려진 상황을 가정하였으나, 테스트 이미지 내에 그려진 숫자들의 구성이 1~12에 해당하지 않거나 또는 숫자들의 위치 및 배열 순서가 정확하지 않은 상황도 발생할 수 있다.On the other hand, although in the case of FIGS. 5 and 6, it is assumed that all numbers in the
따라서, 프로세서(120)는 가상의 숫자점을 이용함으로써 시계 바늘이 가리키는 시간을 식별할 수도 있다.Accordingly, the
구체적인 예로, 도 7과 같이, 프로세서(120)는 윤곽(510) 내부에 일정한 간격으로 배치된 가상의 숫자점들(720-1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12)을 생성할 수 있다(가상의 숫자점이 아니라 가상의 숫자들 1~12가 생성되는 것도 물론 가능하다).As a specific example, as shown in FIG. 7 , the
그리고, 프로세서(120)는 생성된 가상의 숫자점들 중 시계 바늘(531, 532)과 가장 가까운 숫자점(720-11, 2)에 따라 테스트 이미지가 가리키는 시간(: 11시 10분)을 식별할 수 있다. 그리고, 프로세서(120)는 식별된 시간이 기설정된 시간(안내)과 매칭되는지 여부를 식별할 수 있다.Then, the
한편, 다른 예로, 테스트 이미지 내에서 시계 바늘이 두 개 식별되고 시계 바늘들이 가리키는 숫자들이 사전에 제공된 안내(ex. 11시 20분을 나타내는 시계를 그려주세요)에 따른 시간과 매칭되지만, 시계 바늘들 간에 길이 차이가 없는 경우를 가정할 수 있다.On the other hand, as another example, two clock hands are identified in the test image, and the numbers pointed to by the clock hands match the time according to the guide provided in advance (eg, please draw a clock indicating 11:20), but the clock hands It can be assumed that there is no difference in length between them.
이 경우, 프로세서(120)는 제2 스코어를 3점(: 바늘 순서 또는 구성의 오류)으로 산출할 수 있다.In this case, the
다른 예로, 시침과 분침이 명확히 구분되고 그 위치(: 시간)도 안내와 매칭되는 경우, 프로세서(120)는 제2 스코어를 4점으로 산출할 수 있다.As another example, when the hour hand and the minute hand are clearly distinguished and their positions (: time) also match the guidance, the
한편, 본 개시의 일 실시 예에 따르면, 프로세서(120)는 시계 바늘을 추출하도록 훈련된 인공지능 모델에 정상인에 의해 그려진 적어도 하나의 샘플 이미지를 입력하여, 샘플 이미지에 포함된 시계 바늘의 샘플 이미지 내 위치를 식별할 수 있다.On the other hand, according to an embodiment of the present disclosure, the
그리고, 프로세서(120)는 추출된 시계 바늘의 테스트 이미지 내 위치와 식별된 시계 바늘의 샘플 이미지 내 위치 간의 매칭 정도를 기반으로 제2 스코어를 획득할 수 있다.In addition, the
관련하여, 도 8은 본 개시의 전자 장치가 인공지능 모델을 이용하여 통해 추출된 시계 바늘을 테스트 이미지 내 시계 바늘과 비교하는 동작을 설명하기 위한 도면이다.In relation to this, FIG. 8 is a diagram for explaining an operation in which an electronic device of the present disclosure compares a watch hand extracted through an artificial intelligence model with a watch hand in a test image.
여기서, 인공지능 모델은 상술한 도 4a와 마찬가지로 U-net 형태로 구성되어 훈련될 수 있으며, 이미지 내에서 적어도 하나의 시계 바늘을 추출하도록 훈련된 모델일 수 있다.Here, the artificial intelligence model may be configured and trained in a U-net form as in FIG. 4A described above, and may be a model trained to extract at least one clock hand from an image.
본 실시 예에 따르면, 프로세서(120)는 시계 바늘을 추출하도록 훈련된 인공지능 모델에 정상인에 의해 그려진 적어도 하나의 샘플 이미지를 입력하여, 샘플 이미지에 포함된 시계 바늘의 샘플 이미지 내 위치를 식별할 수 있다.According to this embodiment, the
그리고, 도 8과 같이, 프로세서(120)는 테스트 이미지 내에서 추출된 시계 바늘(sensor)의 테스트 이미지 내 위치와 샘플 이미지 내에서 추출된 시계 바늘(segmented)의 샘플 이미지 내 위치 간의 매칭 정도를 기반으로 제2 스코어를 획득할 수 있다.And, as shown in Figure 8, the
구체적인 예로, 프로세서(120)는, 시계 바늘(sensor)과 시계 바늘(segmented) 간의 중첩 정도가 80 퍼센트 이상인 경우 제2 스코어를 4점으로 산출하고, 중첩 정도가 70 퍼센트 이상 80 퍼센트 미만인 경우 제2 스코어를 3점으로 산출하며, 중첩 정도가 60 퍼센트 이상 70 퍼센트 미만인 경우 제2 스코어를 2점으로 산출하고, 중첩 정도가 50 퍼센트 이상 60 퍼센트 미만인 경우 제2 스코어를 1점으로 산출하고, 중첩 정도가 50 퍼센트 미만인 경우 제2 스코어를 0점으로 산출할 수 있다. 다만, 구체적인 수치들이 상술한 예에만 한정되는 것은 아니다.As a specific example, the
상술한 다양한 실시 예들에 따라 제1 스코어 및 제2 스코어가 산출되면, 프로세서(120)는 제1 스코어 및 제2 스코어를 기반으로 (테스트 이미지를 그린) 사용자의 파킨슨 병 여부를 식별할 수 있다(S350).When the first score and the second score are calculated according to the above-described various embodiments, the
구체적인 예로, 제1 스코어 및 제2 스코어를 합산한 스코어가 임계치(ex. 5) 이상인 경우, 프로세서(120)는 사용자가 파킨슨 병이 아닌 것으로 식별할 수 있다.As a specific example, when the sum of the first score and the second score is equal to or greater than a threshold (eg, 5), the
다만, 합산된 스코어가 임계치 미만인 경우, 프로세서(120)는 사용자가 파킨슨 병에 해당하는 것으로 식별할 수 있다. 여기서, 합산된 스코어가 작을수록 파킨슨 병의 심각성이 큰 것으로 식별될 수 있다.However, when the summed score is less than the threshold, the
한편, 프로세서(120)가 상술한 제1 스코어 및 제2 스코어 중 어느 하나만을 이용하여 파킨슨 병 여부를 판단하는 것도 물론 가능하다.Meanwhile, it is of course possible for the
일 예로, CDT 테스트에 있어, 처음부터 테스트 이미지 내에 윤곽이 그려진 상태로 사용자 입력이 시작되는 경우를 가정할 수 있다. 이 경우, 프로세서(120)는 사용자 입력에 따라 그려진 시계 바늘을 이용하여 상술한 제2 스코어를 산출하고, 제2 스코어에 따라 파킨슨 병 여부를 판단할 수 있다.For example, in the CDT test, it may be assumed that a user input is started in a state in which an outline is drawn in a test image from the beginning. In this case, the
한편, 프로세서(120)는 상술한 제1 스코어(윤곽) 및 제2 스코어(시계 바늘) 외에도 추가적인 요소를 고려하여 (합산된) 스코어를 획득할 수도 있다.Meanwhile, the
일 실시 예에 따르면, 프로세서(120)는 테스트 이미지 내에서 시계의 윤곽 및 시계 바늘 외에 시계에 포함된 숫자들을 추출할 수 있다. According to an embodiment, the
일 예로, 프로세서(120)는 OCR(Optical Character Recognition) 기술을 통해 테스트 이미지 내에 포함된 숫자를 식별할 수 있다.For example, the
다른 예로, 프로세서(120)는 숫자를 식별하도록 훈련된 적어도 하나의 인공지능 모델을 이용할 수도 있다.As another example, the
본 인공지능 모델은, 다양한 사람에 의해 그려진 숫자 이미지(ex. MNIST dataset)를 기반으로 한 자리의 숫자를 식별하도록 훈련된 모델일 수 있으며, CNN(Convolutional Neural Network)을 포함할 수 있다.This artificial intelligence model may be a model trained to identify digit numbers based on number images drawn by various people (ex. MNIST dataset), and may include a Convolutional Neural Network (CNN).
프로세서(120)는 사용자 입력에 따라 그려진 테스트 이미지의 적어도 일부를 해당 인공지능 모델에 입력함으로써, 적어도 하나의 한 자리 숫자를 식별할 수 있다.The
관련하여, 도 9a 내지 도 9c는 본 개시에 따른 전자 장치가 테스트 이미지 내에서 숫자들을 추출하는 제1 실시 예를 설명하기 위한 도면들이다.In relation to this, FIGS. 9A to 9C are diagrams for explaining a first embodiment in which an electronic device according to the present disclosure extracts numbers from a test image.
도 9a는 사용자 입력을 통해 그려진 테스트 이미지를 도시한 것이다.9A illustrates a test image drawn through a user input.
도 9a를 참조하면, 프로세서(120)는 시계의 윤곽(950)을 추출할 수 있다. 이를 위해, 프로세서(120)는 시계 그림이 입력되면 시계의 윤곽을 추출하도록 훈련된 적어도 하나의 인공지능 모델을 이용할 수 있다. 본 인공지능 모델은 사람이 직접 그린 원 또는 폐곡선을 식별하도록 훈련된 모델일 수도 있다.Referring to FIG. 9A , the
그리고, 프로세서(120)는 추출된 윤곽(950)으로부터 기설정된 거리 내에 그려진 적어도 하나의 문자를 포함하는 영역을 식별할 수 있다. In addition, the
여기서, 프로세서(120)는 사용자 입력에 따른 터치 좌표가 연결된 하나의 문자를 구성하는 각 영역을 정의할 수 있다.Here, the
일 예로, 도 9a를 참조하면, "1"을 구성하는 (터치) 좌표들의 경우 전체가 연결되므로, "1"을 포함하는 영역(901)이 하나의 영역으로 식별된다. 다만, "1"을 구성하는 좌표들과 "2"를 구성하는 좌표들은 연결 지점이 없이 서로 이격되어 있으므로, "2"를 포함하는 영역(902)은 "1"을 포함하는 영역(901)과 구분된다.For example, referring to FIG. 9A , since all of the (touch) coordinates constituting “1” are connected, the
이때, 프로세서(120)는 서로 연결된 좌표들을 모두 포함하는 사각형의 영역을 각각 식별할 수 있으나, 다만 영역의 형태가 사각형에만 한정될 필요는 없다.In this case, the
이와 같은 방식으로, 도 9a와 같이 복수의 영역들(901, 902, 903, 904, 905, 906, 907, 908, 909, 910, 911, 912, 913, 914, 915, 916)이 식별될 수 있다.In this way, a plurality of
그리고, 프로세서(120)는 식별된 복수의 영역을 상술한 한 자리 수를 식별하도록 훈련된 인공지능 모델에 입력함으로써, 한 자리 수에 해당하는 복수의 숫자(1, 2, 3, 4, 5, 6, 7, 0, 0, 9, 1, 0, 1, 1, 1, 2)를 식별할 수 있다.Then, the
다만, 일 예로, 각각 "0"에 해당하는 영역들 간의 거리가 제1 임계치 미만인 경우, 프로세서(120)는 해당 영역들을 포함하는 하나의 "8"을 식별할 수도 있다. 여기서, 영역들 간의 거리는 영역들 간의 최소 거리 또는 영역들의 무게 중심들(ex. 영역 내 좌표 값의 평균) 간의 거리에 해당할 수 있다.However, as an example, when the distance between regions corresponding to “0” is less than the first threshold, the
구체적인 예로, 도 9b를 참조하면, 각각 "0"에 해당하는 영역들(908, 909) 간의 최소 거리(961)가 기설정된 제1 임계치(ex. 3mm) 미만인 경우, 프로세서(120)는 해당 영역들(908, 909)을 포함하는 영역(921)이 "8"에 해당하는 것으로 식별할 수 있다.As a specific example, referring to FIG. 9B , when the
그 결과, 식별된 (한 자리 수의) 복수의 숫자의 구성은 1, 2, 3, 4, 5, 6, 7, 8, 9, 1, 0, 1, 1, 1, 2가 된다.As a result, the composition of the identified (single-digit) plurality of numbers is 1, 2, 3, 4, 5, 6, 7, 8, 9, 1, 0, 1, 1, 1, 2.
한편, 비록 도 9a에서는 "8"을 구성하는 좌표가 전체적으로 연결되지 않아 처음부터 "8"이 식별되지 않고 "0"과 "0"으로 구분되어 식별된 상황을 가정하였으나, 도 9a와 달리 "8"을 구성하는 (터치)좌표가 서로 연결되도록 그려진 경우라면, 프로세서(120)는 처음부터 "8"에 해당하는 영역을 식별할 수도 있다.On the other hand, although the coordinates constituting “8” are not entirely connected in FIG. 9A, it is assumed that “8” is not identified from the beginning and is identified as “0” and “0”, but unlike FIG. 9A, “8” If the (touch) coordinates constituting " "are drawn to be connected to each other, the
또한, 프로세서(120)는 도 9a에서 식별된 (한 자리 수의) 복수의 숫자 중 서로 간의 거리가 기설정된 제2 임계치 미만(ex. 1.8cm)인 두 개의 숫자로 구성되는 두 자리 수를 식별할 수 있다. 여기서, 숫자들 간의 거리는, 각 숫자를 포함하는 영역들 간의 최소 거리 또는 영역들의 무게 중심들 간의 거리 중 적어도 하나일 수 있으나, 이에 한정되지 않는다.In addition, the
구체적으로, 도 9c를 참조하면, "1"을 포함하는 영역(915)과 "2"를 포함하는 영역(916) 간의 최소 거리(962)가 기설정된 제2 임계치 미만인 경우, 프로세서(120)는 해당 영역들(915, 916)을 포함하는 영역(922)이 두 자리 수인 "12"에 해당하는 것으로 식별할 수 있다.Specifically, referring to FIG. 9C , when the
마찬가지로, 도 9a에서, 영역(913)과 영역(914)을 포함하는 두 자리 수 "11"이 식별될 수 있다. 또한, 도 9a에서, 영역(911)과 영역(912)을 포함하는 두 자리 수 "10"이 식별될 수 있다.Likewise, in FIG. 9A , the two-digit number “11” can be identified that includes an
그 결과, 프로세서(120)는 식별된 두 자리의 숫자들, 및 앞서 식별된 한 자리의 숫자들 중 두 자리의 숫자들을 구성하는 숫자들을 제외한 숫자들을 포함하는 복수의 숫자(1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12)를 식별할 수 있다.As a result, the
한편, 상술한 제1 실시 예와 달리, 제2 실시 예에 따르면, 프로세서(120)는 윤곽(950) 내부의 기설정된 범위 내에 멀티 사이즈의 패치를 적용함으로써 다양한 사이즈 및 위치(좌표)에 해당하는 영역들을 추출할 수 있다.Meanwhile, unlike the above-described first embodiment, according to the second embodiment, the
구체적으로, 프로세서(120)는 윤곽(950) 내부에 위치하고 윤곽(950)과의 거리가 기설정된 임계치 미만인 지점들을 무게 중심으로 하는 다양한 크기의 박스 영역들을 추출할 수 있다.Specifically, the
그리고, 프로세서(120)는 추출된 영역들을 상술한 한 자리 수의 숫자를 식별하도록 훈련된 모델에 입력할 수 있다.Then, the
그 결과, 한 자리에 해당하는 복수의 숫자(1, 2, 3, 4, 5, 6, 0, 7, 8, 0, 0, 9, 0, 1, 0, 1, 1, 1, 2)가 식별될 수 있다.As a result, multiple numbers corresponding to a single digit (1, 2, 3, 4, 5, 6, 0, 7, 8, 0, 0, 9, 0, 1, 0, 1, 1, 1, 2) can be identified.
이때, 6이 식별될 뿐 아니라 6에 포함되는 원이 0으로 식별될 수 있으며, 8이 식별될 뿐 아니라 8을 구성하는 두 개의 원이 각각 추가적인 0으로 식별될 수 있으며, 9가 식별될 뿐만 아니라 9에 포함된 원이 추가적인 0으로 식별될 수 있다.At this time, not only 6 is identified, but also a circle included in 6 may be identified as 0, 8 may be identified as well as two circles constituting 8 may be identified as additional 0s, respectively, and 9 may be identified as well The circle contained in 9 may be identified as an additional zero.
다만, 이는 일 예일 뿐 6, 8, 9에 포함된 원이 명확하지 않은 경우라면, 0이 추가로 식별되지 않고 단지 6, 8, 9로만 식별될 수도 있음은 물론이다.However, this is only an example, and if the circles included in 6, 8, and 9 are not clear, 0 may not be additionally identified and only 6, 8, and 9 may be identified.
여기서, 프로세서(120)는 6, 8 또는 9를 구성하는 0은 모두 소거할 수 있다. 즉, 프로세서(120)는 6, 8, 또는 9를 구성하는 터치 좌표로만 구성된 0을 식별된 숫자의 리스트에서 제거할 수 있다.Here, the
따라서, 식별된 복수의 숫자의 구성은 1, 2, 3, 4, 5, 6, 7, 8, 9, 1, 0, 1, 1, 1, 2가 될 수 있다.Accordingly, the configuration of the identified plurality of numbers may be 1, 2, 3, 4, 5, 6, 7, 8, 9, 1, 0, 1, 1, 1, 2.
또한, 프로세서(120)는 상술한 도 9c와 마찬가지로, 서로 간의 거리가 제2 임계치 미만인 한 자리 수들을 포함하는 두 자리수들(10, 11, 12)을 식별할 수 있다.In addition, the
그 결과, 식별된 복수의 숫자의 구성은 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12가 될 수 있다.As a result, the configuration of the identified plurality of numbers may be 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12.
상술한 제1 실시 예 또는 제2 실시 예 등을 기반으로 복수의 숫자가 추출되면, 프로세서(120)는 추출된 복수의 숫자를 기반으로 제3 스코어를 획득할 수 있다.When a plurality of numbers are extracted based on the above-described first or second exemplary embodiment, the
구체적으로, 프로세서(120)는 추출된 복수의 숫자의 구성, 위치, 및 배열 순서 중 적어도 하나에 따라 제3 스코어를 획득할 수 있다.Specifically, the
일 예로, 이하 표 3의 기준에 따라 제3 스코어가 산출될 수 있다.As an example, the third score may be calculated according to the criteria of Table 3 below.
일반적으로, 시계에 포함되는 숫자는 1~12에 해당한다. 따라서, 1~12는 시계에 포함되는 숫자들로 기설정되어 있을 수 있다(다만, 3, 6, 9, 12만이 기설정되는 실시 예도 물론 가능하다).In general, the numbers included in the watch correspond to 1 to 12. Accordingly, 1 to 12 may be preset as numbers included in the watch (however, an embodiment in which only 3, 6, 9, and 12 are preset is of course possible).
그리고, 프로세서(120)는 테스트 이미지 내에서 추출된 복수의 숫자가 시계에 포함되는 것으로 기설정된 숫자들(1~12) 각각에 매칭되는지 여부를 기반으로 제3 스코어를 산출할 수 있다.In addition, the
여기서, 프로세서(120)는 추출된 복수의 숫자의 개수가 시계에 포함되는 것으로 기설정된 숫자들의 개수에 매칭되는지 여부를 기반으로 제3 스코어를 산출할 수 있다.Here, the
일 예로, 테스트 이미지 내에서 12개 미만의 숫자가 추출된 경우, 프로세서(120)는 제3 스코어를 표 3의 0점(개수가 부족함)으로 산출할 수 있다.As an example, when less than 12 numbers are extracted from the test image, the
다른 예로, 12개를 초과하는 개수의 숫자들이 추출된 경우, 프로세서(120)는 제3 스코어를 1점(개수가 추가됨)으로 산출할 수 있다.As another example, when more than 12 numbers are extracted, the
또한, 프로세서(120)는 추출된 복수의 숫자 각각이 기설정된 숫자들 각각과 일치하는지 여부에 따라 제3 스코어를 산출할 수도 있다.Also, the
일 예로, 추출된 복수의 숫자의 개수가 12개는 맞으나, 1~12의 숫자가 각각 모두 포함되지는 않은 경우, 프로세서(120)는 제3 스코어를 2점(개수는 맞으나 숫자의 구성 또는 위치에 오류가 있음)으로 산출할 수 있다.As an example, when the number of extracted plurality of numbers is 12, but not all of the
한편, 프로세서(120)는 복수의 숫자의 테스트 이미지 내 위치 및 배열 순서가 기설정된 위치 및 기설정된 배열 순서에 각각 매칭되는지 여부를 기반으로 제3 스코어를 산출할 수 있다.Meanwhile, the
기설정된 위치는, 일 예로, 시계의 윤곽의 무게 중심(ex. 윤곽 내 모든 좌표들의 좌표 값 평균)을 기준으로 그어진 수평선과 수직선이 정의된 상황에서, 무게 중심을 기준으로 수직선의 위쪽 부분으로부터 기설정된 거리 내에 하나의 숫자가 그려지고, 수직선의 아래쪽 부분으로부터 기설정된 거리 내에 하나의 숫자가 그려지며, 무게 중심을 기준으로 수평선의 왼쪽 부분으로부터 기설정된 거리 내에 하나의 숫자가 그려지고 수평선의 오른쪽 부분으로부터 기설정된 거리 내에 하나의 숫자가 그려진 상황에 해당할 수 있다. The preset position is, for example, in a situation in which a horizontal line and a vertical line drawn based on the center of gravity of the outline of the watch (eg, the average of the coordinate values of all coordinates within the outline) are defined, from the upper part of the vertical line based on the center of gravity. A number is drawn within a set distance, a number is drawn within a preset distance from the lower part of the vertical line, a number is drawn within a preset distance from the left part of the horizontal line based on the center of gravity, and a right part of the horizontal line It may correspond to a situation in which one number is drawn within a preset distance from .
아울러, 기설정된 위치는, 두 개의 숫자가 수직선의 위쪽 부분과 수평선의 오른쪽 부분 사이에 그려지고, 두 개의 숫자는 수평선의 오른쪽 부분과 수직선의 아래쪽 부분 사이에 그려지며, 두 개의 숫자는 수평선의 왼쪽 부분과 수직선의 아래쪽 부분 사이에 그려지며, 두 개의 숫자는 수평선의 왼쪽 부분과 수직선의 위쪽 부분 사이에 그려진 상황에 해당할 수 있다.In addition, in the preset position, two numbers are drawn between the upper part of the vertical line and the right part of the horizontal line, two numbers are drawn between the right part of the horizontal line and the lower part of the vertical line, and two numbers are the left side of the horizontal line Drawn between the part and the lower part of the vertical line, two numbers may correspond to the situation drawn between the left part of the horizontal line and the upper part of the vertical line.
또한, 기설정된 위치는, 모든 숫자가 시계의 윤곽 내부에 위치하고, 모든 숫자가 시계의 윤곽으로부터 기설정된 거리 내에 위치하며, 인접한 숫자들 간의 거리가 임계치 이상인 상황에 해당할 수 있다.Also, the preset position may correspond to a situation in which all numbers are located inside the outline of the watch, all numbers are located within a preset distance from the outline of the watch, and the distance between adjacent numbers is equal to or greater than a threshold value.
기설정된 배열 순서는, 일 예로, 시계의 윤곽의 무게 중심을 기준으로 그어진 수평선과 수직선이 정의된 상황에서, 무게 중심을 기준으로 수직선의 위쪽 부분으로부터 기설정된 거리 내에 12가 그려지고, 수직선의 아래쪽 부분으로부터 기설정된 거리 내에 6이 그려지며, 무게 중심을 기준으로 수평선의 왼쪽 부분으로부터 기설정된 거리 내에 9가 그려지고 수평선의 오른쪽 부분으로부터 기설정된 거리 내에 3이 그려진 상황에 해당할 수 있다. The preset arrangement order is, for example, in a situation in which a horizontal line and a vertical line drawn based on the center of gravity of the outline of the watch are defined, 12 is drawn within a predetermined distance from the upper part of the vertical line based on the center of gravity, and the lower side of the vertical line It may correspond to a situation in which 6 is drawn within a predetermined distance from the part, 9 is drawn within a predetermined distance from the left part of the horizontal line based on the center of gravity, and 3 is drawn within a predetermined distance from the right part of the horizontal line.
아울러, 기설정된 배열 순서는, 12와 3 사이에 1과 2가 순서대로 그려지고, 3과 6 사이에 4와 5가 순서대로 그려지고, 6과 9 사이에 7과 8이 순서대로 그려지고, 9와 12 사이에 10과 11이 순서대로 그려진 상황에 해당할 수 있다.In addition, as for the preset arrangement order, 1 and 2 are drawn in order between 12 and 3, 4 and 5 are drawn in order between 3 and 6, 7 and 8 are drawn in order between 6 and 9, It may correspond to a situation where 10 and 11 are drawn in sequence between 9 and 12.
일 예로, 숫자의 개수는 12개로 맞지만, 숫자들의 구성이 1~12가 아니며, 숫자들의 위치도 기설정된 위치와 매칭되지 않는 경우, 프로세서(120)는 제3 스코어를 2점(개수가 맞지만 숫자의 구성 또는 위치가 맞지 않음)으로 산출할 수 있다.For example, if the number of numbers is 12, but the composition of the numbers is not 1 to 12, and the positions of the numbers do not match the preset positions, the
다른 예로, 숫자의 개수가 12개이고, 1~12까지 모두 있으며, 숫자들의 위치도 기설정된 위치와 맞지만, 배열 순서가 기설정된 배열 순서와 다른 경우, 프로세서(120)는 제3 스코어를 3점(모두 있지만 배열 순서에 오류가 있음)으로 산출할 수 있다.As another example, if the number of numbers is 12, there are all of them from 1 to 12, and the positions of the numbers also match the preset positions, but the arrangement order is different from the preset arrangement order, the
다른 예로, 숫자의 개수가 12개이고, 1~12까지 모두 있으며, 숫자들의 위치 및 배열 순서가 기설정된 위치 및 기설정된 배열 순서와 매칭되는 경우, 프로세서(120)는 제3 스코어를 4점(모든 것이 올바른 순서에 따라 표시됨)으로 산출할 수 있다.As another example, when the number of numbers is 12, there are all of them from 1 to 12, and the position and arrangement order of the numbers match the preset position and the preset arrangement order, the
한편, 프로세서(120)는 제3 스코어를 산출함에 있어, 앞서 도 9b 및 도 9c에서 획득된 영역들 간의 상술한 거리들(961, 962) 중 적어도 하나를 추가로 고려할 수도 있다.Meanwhile, in calculating the third score, the
일 예로, 프로세서(120)는 도 9c의 거리(962)에 따라 제3 스코어에 감점을 수행할 수 있다. 구체적으로, 하나의 두 자리 수를 구성하는 한 자리 수들에 해당하는 영역(915)과 영역(916) 간의 최소 거리(962)가 멀수록 제3 스코어의 감점 정도가 커질 수 있다.As an example, the
구체적인 예로, 테스트 이미지 내 숫자들(도 9a의 1~12)의 위치 및 배열 순서가 상술한 기설정된 위치 및 기설정된 배열 순서와 매칭되는 경우, 프로세서(120)는 제3 스코어를 4점으로 산출할 수 있다. 다만, 여기서 영역(915) 및 영역(916) 간의 최소 거리(962)가 임계치(ex. 1cm)를 0.1mm 만큼 초과하는 경우, 프로세서(120)는 제3 스코어를 4점에서 0.1점 감점하여 3.9점으로 산출할 수 있다. 또는, 만약 영역(915) 및 영역(916) 간의 최소 거리(962)가 임계치를 0.2mm 만큼 초과하는 경우, 프로세서(120)는 제3 스코어를 4점에서 0.2점 감점하여 3.8점으로 산출할 수 있다.As a specific example, when the positions and arrangement order of numbers ( 1 to 12 in FIG. 9A ) in the test image match the above-described preset positions and preset arrangement order, the
즉, 두 자리 수인 “12”를 구성하는 한 자리 수들(“1”과 “2”) 간의 거리가 멀어질수록, 프로세서(120)는 제3 스코어를 낮게 산출할 수 있다.That is, as the distance between single-digit numbers (“1” and “2”) constituting the two-digit number “12” increases, the
상술한 다양한 실시 예들에 따라 제3 스코어가 산출된 경우, 프로세서(120)는 상술한 제1 스코어 및 제2 스코어에 제3 스코어까지 합산하여 파킨슨 병 여부를 판단할 수 있다.When the third score is calculated according to the above-described various embodiments, the
구체적인 예로, 제1 스코어, 제2 스코어 및 제3 스코어가 모두 합산된 스코어가 9 이상인 경우, 프로세서(120)는 사용자가 파킨슨 병이 아닌 것으로 식별할 수 있다. As a specific example, when the sum of the first score, the second score, and the third score is 9 or more, the
다른 예로, 합산된 스코어가 7 이상 9 미만인 경우, 프로세서(120)는 사용자의 파킨슨 병 여부에 대한 추가적인 진단 및/또는 예방이 필요한 것으로 식별할 수 있다.As another example, when the summed score is 7 or more and less than 9, the
다른 예로, 합산된 스코어가 7 미만인 경우, 프로세서(120)는 사용자가 파킨슨 병에 해당하는 것으로 식별할 수 있다. 이때, 프로세서(120)는 합산된 스코어가 낮을수록 심각성이 높은 것으로 식별할 수 있다.As another example, when the summed score is less than 7, the
한편, 본 개시의 일 실시 예에 따르면, 파킨슨 병 여부를 판단함에 있어서, 프로세서(120)는 별도의 사용자 입력에 따라 그려진 2차 테스트 이미지를 추가로 고려할 수도 있다.Meanwhile, according to an embodiment of the present disclosure, in determining whether Parkinson's disease is present, the
구체적으로, 프로세서(120)는 동일한 사용자의 추가적인 사용자 입력을 기반으로 2차 테스트 이미지를 생성할 수 있다.Specifically, the
그리고, 프로세서(120)는 2차 테스트 이미지 내에서 시계의 윤곽, 시계 바늘, 복수의 숫자 등을 추출할 수 있다. In addition, the
또한, 프로세서(120)는 먼저 생성된 (1차) 테스트 이미지 내에 포함된 시계를 2차 테스트 이미지 내에 포함된 시계와 비교하여, (합산된) 스코어를 업데이트할 수 있다.In addition, the
일 예로, 프로세서(120)는 1차 테스트 이미지 내에 포함된 시계 바늘의 구성(시침, 시침) 및 시간을, 2차 테스트 이미지 내에 포함된 시계 바늘의 구성 및 시간과 비교할 수 있다.As an example, the
만약 시계 바늘의 구성이 달라지거나 또는 시계 바늘이 가리키는 시간이 달라지는 경우, 프로세서(120)는 스코어를 감점할 수 있다.If the configuration of the watch hands is changed or the time indicated by the watch hands is changed, the
예를 들어, 시계 바늘의 수가 달라지는 경우, 프로세서(120)는 2점을 감점할 수 있다. 다른 예로, 시계 바늘의 수는 같으나 가리키는 시간이 달라지는 경우, 프로세서(120)는 1점을 감점할 수 있다.For example, when the number of clock hands is changed, the
또는, 프로세서(120)는 1차 테스트 이미지 내 복수의 숫자의 구성, 위치 및 배열 순서를, 2차 테스트 이미지 내 복수의 숫자의 구성, 위치 및 배열 순서와 비교할 수 있다.Alternatively, the
그리고, 구성, 위치 및 배열 순서 중 적어도 하나가 달라지는 경우, 프로세서(120)는 스코어에 대하여 감점을 수행할 수 있다. 여기서, 달라지는 정도가 커질수록 감점의 정도도 커질 수 있다.And, when at least one of a configuration, a position, and an arrangement order is changed, the
일 예로, 프로세서(120)는 1차 테스트 이미지 내 복수의 숫자의 배열 순서를 2차 테스트 이미지 내 복수의 숫자의 배열 순서와 비교하여 Correlation에 따른 상관 계수(R)를 산출할 수 있다.For example, the
여기서, 상관 계수는(R)는 순위 상관 계수일 수 있으며, 스피어만 상관 계수, 켄달 순위상관 등이 이용될 수 있으나, 이 밖에도 종래 알려진 다양한 상관 계수가 이용될 수 있다.Here, the correlation coefficient (R) may be a rank correlation coefficient, and a Spearman correlation coefficient, a Kendall rank correlation, etc. may be used. In addition, various conventionally known correlation coefficients may be used.
일 예로, R이 0.75 이상이면, 프로세서(120)는 스코어를 감점하지 않을 수 있다. 반면, R이 0.75 미만인 경우, 프로세서(120)는 스코어를 감점할 수 있다. 이때, R이 작을수록 스코어의 감점의 정도가 커질 수 있다.For example, if R is 0.75 or more, the
그리고, 프로세서(120)는 2차 테스트 이미지를 통해 업데이트(ex. 감점 또는 유지)된 스코어에 따라 사용자의 파킨슨 병 여부 및 심각성을 판단할 수 있다.In addition, the
이렇듯 2차 테스트 이미지가 추가로 고려된 결과, 1차 테스트 이미지 내에서 시계를 정확히 그리지 못한 사용자의 일관성 여부까지 고려되어 사용자의 인지 능력이 보다 체계적으로 평가될 수 있다.As a result of the additional consideration of the secondary test image, the user's cognitive ability can be evaluated more systematically by considering the consistency of the user who did not accurately draw the clock in the primary test image.
관련하여, 도 10은 본 개시의 일 실시 예에 따른 전자 장치의 파킨슨 병 진단 방법을 설명하기 위한 알고리즘이다.In relation to this, FIG. 10 is an algorithm for explaining a method for diagnosing Parkinson's disease of an electronic device according to an embodiment of the present disclosure.
도 10을 참조하면, 프로세서(120)는 사용자 입력에 따라 1차 테스트 이미지를 획득하고(S1010), 1차 테스트 이미지를 기반으로 스코어를 획득할 수 있다(S1020).Referring to FIG. 10 , the
구체적으로, 프로세서(120)는 1차 테스트 이미지 내에서 추출된 시계의 윤곽 및/또는 시계 바늘에 따라 산출된 제1 스코어 및 제2 스코어를 합산할 수 있다. 이때, 프로세서(120)는 복수의 숫자의 구성, 위치, 배열 순서 등에 따라 산출된 제3 스코어를 추가로 합산할 수도 있다.Specifically, the
만약, 1차 테스트 이미지의 스코어가 임계치 이상인 경우(S1030 - Y), 프로세서(120)는 사용자가 파킨슨 병이 아닌 것으로 판명할 수 있다(S1040).If the score of the first test image is equal to or greater than the threshold (S1030 - Y), the
반면, 1차 테스트 이미지의 스코어가 임계치 미만인 경우(S1030 - N), 프로세서(120)는 별도의 사용자 입력을 기반으로 2차 테스트 이미지를 획득할 수 있다(S1050).On the other hand, when the score of the first test image is less than the threshold (S1030 - N), the
이를 위해, 프로세서(120)는 추가적인 시계 그림(2차 테스트 이미지)를 그려 달라는 추가적인 안내를 제공할 수 있다.To this end, the
그리고, 프로세서(120)는 1차 테스트 이미지와 2차 테스트 이미지를 비교하여 스코어를 업데이트할 수 있다(S1060).Then, the
구체적으로, 프로세서(120)는 1차 테스트 이미지에 포함된 시계의 윤곽 및/또는 시계 바늘을 2차 테스트 이미지에 포함된 시계의 윤곽 및/또는 시계 바늘과 비교할 수 있다.Specifically, the
또한, 프로세서(120)는 1차 테스트 이미지에 포함된 복수의 숫자와 2차 텍스트 이미지에 포함된 복수의 숫자를 비교할 수 있다.Also, the
이때, 비교 결과에 따른 차이가 클수록, 프로세서(120)는 스코어를 더 크게 감점할 수 있다.In this case, as the difference according to the comparison result is greater, the
그리고, 프로세서(120)는 업데이트된 스코어를 기반으로 파킨슨 병 여부를 판단함은 물론 심각성도 식별할 수 있다(S1070).In addition, the
한편, 도 11은 본 개시의 다양한 실시 예에 따른 전자 장치의 구성 및 동작을 설명하기 위한 블록도이다.Meanwhile, FIG. 11 is a block diagram for explaining the configuration and operation of an electronic device according to various embodiments of the present disclosure.
도 11을 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120) 외에도 디스플레이(130), 사용자 입력부(140), 통신부(150) 중 적어도 하나를 더 포함할 수 있다.Referring to FIG. 11 , the
메모리(110)는 상술한 인공지능 모델들 중 적어도 하나를 포함할 수 있다.The
메모리(110)에 포함된 인공지능 모델은, 일 예로, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치(weight values)를 가질 수 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 훈련 결과에 의해 최적화될 수 있다.The artificial intelligence model included in the
메모리(110)에 포함된 인공지능 모델의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network), GAN(Generateve Adhesive Network) 및 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.Examples of artificial intelligence models included in the
메모리(110)에 포함된 인공지능 모델은, 프로세서(120)를 통해 훈련된 것일 수도 있고, 적어도 하나의 외부 장치에서 훈련된 것일 수도 있다.The artificial intelligence model included in the
일 예로, 프로세서(120)는 지도형 학습, 비지도형 학습, 준지도형 학습, 강화 학습 등의 학습 알고리즘을 이용하여 적어도 하나의 인공지능 모델을 훈련시킬 수 있다.For example, the
디스플레이(130)는 전자 장치(100)를 통해 제공되는 다양한 컨텐츠 내지는 다양한 User Interface를 표시하기 위한 구성이다.The
프로세서(120)는 디스플레이(130)를 통해 CDT 테스트를 수행하기 위한 다양한 안내를 시각적으로 제공할 수 있다. The
프로세서(120)는 디스플레이(130)를 통해 사용자가 시계를 그리기 위한 적어도 하나의 UI(User Interface) 스크린을 표시할 수 있다. 이때, UI 스크린은, 빈 화면, 시계의 윤곽이 그려진 화면, 시계의 윤곽 및 숫자점이 그려진 화면, 시계의 윤곽 및 숫자들이 그려진 화면 등일 수 있으나 이에 한정되지 않는다.The
UI 스크린 상에 사용자 입력이 수신되면, 프로세서(120)는 디스플레이(130)를 통해 사용자 입력에 따라 생성된 테스트 이미지의 적어도 일부를 표시할 수 있다.When a user input is received on the UI screen, the
그 결과, UI 스크린 상에 수신된 사용자 입력에 따라 실시간으로 그려지는 테스트 이미지가 디스플레이될 수 있다.As a result, a test image drawn in real time according to a received user input on the UI screen may be displayed.
디스플레이(130)는 LED, LCD(Liquid Crystal Display), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diodes), TOLED(Transparent OLED), Micro LED 등으로 구현될 수 있으나, 이에 한정되지 않는다.The
사용자 입력부(140)는 사용자 명령 또는 사용자 명령을 입력받기 위한 구성이다. 사용자 입력부(140)는 터치 센서, 버튼, 카메라, 마이크 등으로 구현될 수 있다. 터치 센서는 감압식, 정전식, 적외선식, 초음파식 등 다양한 형태로 구현될 수 있다.The
일 예로, 사용자 입력부(140)의 터치 센서는 디스플레이(130)에 포함되는 터치 스크린을 구성할 수 있으며, 터치 스크린에 대한 사용자의 입력(ex. 터치)이 터치 스크린 내 좌표로 변환되고, 변환된 좌표 각각에 점이 그려지는 결과 테스트 이미지가 그려질 수 있다.For example, the touch sensor of the
한편, 사용자 입력부(140)는 이밖에도 호버링 센서, 근접 센서 등을 포함할 수 있으며, 테스트 이미지를 그리는 사용자 입력이 해당 센서들을 통해 수신될 수도 있다.Meanwhile, the
통신부(150)는 전자 장치(100)가 적어도 하나의 외부 장치와 통신을 수행하기 위한 구성으로 회로를 포함할 수 있다.The
통신부(150)는 TCP/IP(Transmission Control Protocol/Internet Protocol), UDP(User Datagram Protocol), HTTP(Hyper Text Transfer Protocol), HTTPS(Secure Hyper Text Transfer Protocol), FTP(File Transfer Protocol), SFTP(Secure File Transfer Protocol), MQTT(Message Queuing Telemetry Transport) 등의 통신 규약(프로토콜)을 이용하여 하나 이상의 외부 전자 장치와 다양한 정보를 송수신할 수 있다.
이를 위해, 통신부(150)는 유선 통신 및/또는 무선 통신을 통해 구현된 네트워크를 기반으로, 외부 장치와 연결될 수 있다. 이때, 통신부(150)는 외부 장치와 직접적으로 연결될 수도 있지만, 네트워크를 제공하는 하나 이상의 외부 서버(ex. ISP(Internet Service Provider))를 통해서 외부 전자 장치와 연결될 수도 있다.To this end, the
네트워크는 영역 또는 규모에 따라 개인 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 광역 통신망(WAN; Wide Area Network) 등일 수 있으며, 네트워크의 개방성에 따라 인트라넷(Intranet), 엑스트라넷(Extranet), 또는 인터넷(Internet) 등일 수 있다.The network may be a personal area network (PAN), a local area network (LAN), a wide area network (WAN), etc. depending on the area or scale, and depending on the openness of the network, an intranet, It may be an extranet or the Internet.
무선 통신은 LTE(long-term evolution), LTE-A(LTE Advance), 5G(5th Generation) 이동통신, CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), GSM(Global System for Mobile Communications), DMA(Time Division Multiple Access), WiFi(Wi-Fi), WiFi Direct, Bluetooth, NFC(near field communication), Zigbee 등의 통신 방식 중 적어도 하나를 포함할 수 있다. Wireless communication includes long-term evolution (LTE), LTE Advance (LTE-A), 5th generation (5G) mobile communication, code division multiple access (CDMA), wideband CDMA (WCDMA), universal mobile telecommunications system (UMTS), WiBro (Wireless Broadband), GSM (Global System for Mobile Communications), DMA (Time Division Multiple Access), WiFi (Wi-Fi), WiFi Direct, Bluetooth, NFC (near field communication), at least one of the communication methods such as Zigbee may include
유선 통신은 이더넷(Ethernet), 광 네트워크(optical network), USB(Universal Serial Bus), 선더볼트(ThunderBolt) 등의 통신 방식 중 적어도 하나를 포함할 수 있다. 여기서, 통신부(150)는 상술한 유무선 통신 방식에 따른 네트워크 인터페이스(Network Interface) 또는 네트워크 칩을 포함할 수 있다. 한편, 통신 방식은 상술한 예에 한정되지 아니하고, 기술의 발전에 따라 새롭게 등장하는 통신 방식을 포함할 수 있다.Wired communication may include at least one of communication methods such as Ethernet, optical network, USB (Universal Serial Bus), and ThunderBolt. Here, the
일 예로, 서버로 구현된 전자 장치(100)가 사용자의 스마트폰과 연결된 상황을 가정한다.As an example, it is assumed that the
이 경우, 스마트폰을 통해 CDT 테스트를 위한 애플리케이션이 실행된 상태에서, 전자 장치(100)가 해당 애플리케이션의 적어도 일부를 구성하는 웹 페이지를 스마트폰으로 제공할 수 있다.In this case, while the application for the CDT test is executed through the smartphone, the
이때, 스마트폰의 터치 스크린을 통해 수신된 사용자의 터치에 따라 테스트 이미지가 생성될 수 있으며, 서버인 전자 장치(100)는 상술한 S310 내지 S350의 과정을 수행하여 테스트 이미지를 그린 스마트폰의 사용자가 파킨슨 병인지 여부를 판단할 수 있다.In this case, a test image may be generated according to the user's touch received through the touch screen of the smart phone, and the
그리고, 전자 장치(100)는 파킨슨 병인지 여부에 대한 판단 결과가 포함된 정보를 해당 스마트폰 또는 적어도 하나의 다른 외부 장치로 전송할 수 있다.In addition, the
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.Meanwhile, the various embodiments described above may be implemented in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof.
하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. According to the hardware implementation, the embodiments described in the present disclosure are ASICs (Application Specific Integrated Circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays) ), processors, controllers, micro-controllers, microprocessors, and other electrical units for performing other functions may be implemented using at least one.
일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.In some cases, the embodiments described herein may be implemented by the processor itself. According to the software implementation, embodiments such as the procedures and functions described in this specification may be implemented as separate software modules. Each of the above-described software modules may perform one or more functions and operations described herein.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions) 또는 컴퓨터 프로그램은 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어 또는 컴퓨터 프로그램은 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)에서의 처리 동작을 상술한 특정 기기가 수행하도록 한다. On the other hand, the computer instructions or computer program for performing the processing operation in the
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.The non-transitory computer-readable medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, a cache, a memory, and can be read by a device. Specific examples of the non-transitory computer-readable medium may include a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In the above, preferred embodiments of the present disclosure have been illustrated and described, but the present disclosure is not limited to the specific embodiments described above, and is generally used in the technical field belonging to the present disclosure without departing from the gist of the present disclosure as claimed in the claims. Various modifications may be made by those having the knowledge of
100: 전자 장치
110: 메모리
120: 프로세서100: electronic device 110: memory
120: processor
Claims (9)
사용자 입력을 기반으로 생성된 테스트 이미지로부터 시계의 윤곽을 추출하는 단계;
상기 추출된 윤곽을 기반으로 제1 스코어를 획득하는 단계;
상기 테스트 이미지에 포함된 적어도 하나의 시계 바늘을 추출하는 단계;
상기 추출된 시계 바늘을 기반으로 제2 스코어를 획득하는 단계; 및
상기 제1 스코어 및 상기 제2 스코어를 기반으로 사용자의 파킨슨 병 여부를 식별하는 단계;를 포함하는, 전자 장치의 파킨슨 병 판단 방법.In the method for determining Parkinson's disease in an electronic device,
extracting the outline of the watch from the test image generated based on the user input;
obtaining a first score based on the extracted contour;
extracting at least one watch hand included in the test image;
obtaining a second score based on the extracted clock hands; and
Recognizing whether the user has Parkinson's disease based on the first score and the second score;
상기 제1 스코어를 획득하는 단계는,
상기 윤곽이 폐곡선인지 여부 및 상기 윤곽의 구간 별 기울기 중 적어도 하나에 따라 상기 제1 스코어를 산출하는, 전자 장치의 파킨슨 병 판단 방법.According to claim 1,
The step of obtaining the first score comprises:
and calculating the first score according to at least one of whether the contour is a closed curve and a slope for each section of the contour.
상기 파킨슨 병 판단 방법은,
시계의 윤곽을 추출하도록 훈련된 인공지능 모델에 정상인에 의해 그려진 적어도 하나의 샘플 이미지를 입력하여, 상기 샘플 이미지에 포함된 시계의 윤곽의 상기 샘플 이미지 내 위치를 식별하는 단계;를 더 포함하고,
상기 제1 스코어를 획득하는 단계는,
상기 추출된 윤곽의 상기 테스트 이미지 내 위치와 상기 식별된 윤곽의 상기 샘플 이미지 내 위치 간의 매칭 정도를 기반으로 상기 제1 스코어를 획득하는, 전자 장치의 파킨슨 병 판단 방법.According to claim 1,
The method for determining Parkinson's disease,
The method further comprising: inputting at least one sample image drawn by a normal person into an artificial intelligence model trained to extract the contour of the watch, and identifying a position in the sample image of the contour of the watch included in the sample image;
The step of obtaining the first score comprises:
and obtaining the first score based on a degree of matching between a position in the test image of the extracted contour and a position in the sample image of the identified contour.
상기 파킨슨 병 판단 방법은,
터치 스크린 상에 수신되는 상기 사용자 입력의 상기 터치 스크린 내 좌표를 기반으로 센싱 데이터를 획득하는 단계; 및
상기 획득된 센싱 데이터를 기반으로 상기 테스트 이미지를 생성하는 단계;를 더 포함하고,
상기 시계 바늘을 추출하는 단계는,
상기 센싱 데이터 중, 상기 사용자 입력에 따른 상기 터치 스크린 내 좌표의 변경 속도가 기설정된 임계치 이상인 시간 구간에 포함되는 센싱 데이터를 식별하고,
상기 테스트 이미지 내에서 상기 식별된 센싱 데이터에 대응되는 시침 또는 분침을 추출하는, 전자 장치의 파킨슨 병 판단 방법.According to claim 1,
The Parkinson's disease determination method,
acquiring sensing data based on coordinates in the touch screen of the user input received on the touch screen; and
Further comprising; generating the test image based on the acquired sensing data;
The step of extracting the watch hands,
Identifies, among the sensed data, sensed data included in a time period in which a rate of change of coordinates in the touch screen according to the user input is equal to or greater than a preset threshold,
A method for determining Parkinson's disease in an electronic device, wherein the hour hand or minute hand corresponding to the identified sensing data is extracted from the test image.
상기 파킨슨 병 판단 방법은,
상기 추출된 윤곽을 기준으로 상기 테스트 이미지에 포함된 복수의 숫자를 식별하는 단계;를 더 포함하고,
상기 제2 스코어를 획득하는 단계는,
상기 복수의 숫자 중 상기 시계 바늘과의 거리가 가장 가까운 숫자를 식별하고,
상기 식별된 숫자와 기설정된 시간의 매칭 여부에 따라 상기 제2 스코어를 획득하는, 전자 장치의 파킨슨 병 판단 방법.According to claim 1,
The method for determining Parkinson's disease,
Further comprising; identifying a plurality of numbers included in the test image based on the extracted contour;
Obtaining the second score comprises:
Identifies the number closest to the distance to the clock hand among the plurality of numbers,
A method for determining Parkinson's disease in an electronic device, wherein the second score is obtained according to whether the identified number matches a preset time.
상기 제2 스코어를 획득하는 단계는,
상기 시계 바늘이 상기 추출된 윤곽에 가까워지도록 상기 시계 바늘을 연장하고,
상기 복수의 숫자 중 상기 연장된 시계 바늘과의 거리가 가장 가까운 숫자를 식별하고,
상기 식별된 숫자와 상기 기설정된 시간의 매칭 여부에 따라 상기 제2 스코어를 획득하는, 전자 장치의 파킨슨 병 판단 방법.6. The method of claim 5,
Obtaining the second score comprises:
extending the watch hand so that the watch hand approaches the extracted contour;
Identifies the number closest to the distance to the extended clock hand among the plurality of numbers,
The method for determining Parkinson's disease in an electronic device is to acquire the second score according to whether the identified number matches the preset time.
상기 파킨슨 병 판단 방법은,
시계 바늘을 추출하도록 훈련된 인공지능 모델에 정상인에 의해 그려진 적어도 하나의 샘플 이미지를 입력하여, 상기 샘플 이미지에 포함된 시계 바늘의 상기 샘플 이미지 내 위치를 식별하는 단계;를 더 포함하고,
상기 제2 스코어를 획득하는 단계는,
상기 추출된 시계 바늘의 상기 테스트 이미지 내 위치와 상기 식별된 시계 바늘의 상기 샘플 이미지 내 위치 간의 매칭 정도를 기반으로 상기 제2 스코어를 획득하는, 전자 장치의 파킨슨 병 판단 방법.According to claim 1,
The method for determining Parkinson's disease,
The method further comprising: inputting at least one sample image drawn by a normal person into an artificial intelligence model trained to extract a watch hand, and identifying a position of a watch hand included in the sample image in the sample image;
Obtaining the second score comprises:
and obtaining the second score based on a degree of matching between the extracted position in the test image of the watch hand and the identified position in the sample image of the watch hand.
상기 하나 이상의 인스트럭션을 실행함으로써 제1항의 파킨슨 병 판단 방법을 수행하는 프로세서;를 포함하는, 전자 장치.a memory storing one or more instructions; and
A processor that performs the method of claim 1 for determining Parkinson's disease by executing the one or more instructions.
전자 장치의 프로세서에 의해 실행되어, 상기 전자 장치로 하여금 제1항의 파킨슨 병 판단 방법을 수행하도록 하는, 컴퓨터 프로그램.In the computer program stored in a computer-readable medium,
A computer program executed by a processor of an electronic device to cause the electronic device to perform the method of claim 1 for determining Parkinson's disease.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200137953A KR102421755B1 (en) | 2020-10-23 | 2020-10-23 | Parkinson's disease determination method based on contour of clock and hands of clock |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200137953A KR102421755B1 (en) | 2020-10-23 | 2020-10-23 | Parkinson's disease determination method based on contour of clock and hands of clock |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220053799A true KR20220053799A (en) | 2022-05-02 |
KR102421755B1 KR102421755B1 (en) | 2022-07-14 |
Family
ID=81593213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200137953A KR102421755B1 (en) | 2020-10-23 | 2020-10-23 | Parkinson's disease determination method based on contour of clock and hands of clock |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102421755B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024039980A1 (en) * | 2022-08-15 | 2024-02-22 | University Of Florida Research Foundation, Incorporated | Relevance factor variation autoencoder architecture for analyzing cognitive drawing tests |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140015708A (en) | 2012-07-16 | 2014-02-07 | 이지훈 | Method for extending human network on social network service and apparatus thereof |
KR101926836B1 (en) * | 2018-02-09 | 2018-12-07 | (주)마인드엘리베이션 | System and method for artificial intelligence based picture psychological inspection service for psychological screening |
KR102144718B1 (en) * | 2020-03-31 | 2020-08-14 | 주식회사 휴런 | PARKINSON'S DISEASE DIAGNOSIS APPARATUS BASED ON AI(Artificial Intelligence) USING NIGROSOME-1 AREA CLASSIFIED BY MACHINE LEARNING, AND METHOD |
-
2020
- 2020-10-23 KR KR1020200137953A patent/KR102421755B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140015708A (en) | 2012-07-16 | 2014-02-07 | 이지훈 | Method for extending human network on social network service and apparatus thereof |
KR101926836B1 (en) * | 2018-02-09 | 2018-12-07 | (주)마인드엘리베이션 | System and method for artificial intelligence based picture psychological inspection service for psychological screening |
KR102144718B1 (en) * | 2020-03-31 | 2020-08-14 | 주식회사 휴런 | PARKINSON'S DISEASE DIAGNOSIS APPARATUS BASED ON AI(Artificial Intelligence) USING NIGROSOME-1 AREA CLASSIFIED BY MACHINE LEARNING, AND METHOD |
Also Published As
Publication number | Publication date |
---|---|
KR102421755B1 (en) | 2022-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10572072B2 (en) | Depth-based touch detection | |
US10825453B2 (en) | Electronic device for providing speech recognition service and method thereof | |
CN105378595A (en) | Calibrating eye tracking system by touch input | |
US10878231B2 (en) | Writing recognition using wearable pressure sensing device | |
CN104823147A (en) | Multi-modal user expressions and user intensity as interactions with application | |
US20210150200A1 (en) | Electronic device for converting handwriting input to text and method of operating the same | |
KR20200009117A (en) | Systems for data collection and analysis | |
CN107850950A (en) | Time-based participle | |
US20190251355A1 (en) | Method and electronic device for generating text comment about content | |
US11966540B2 (en) | Artificial intelligence model for enhancing a touch driver operation | |
KR102421755B1 (en) | Parkinson's disease determination method based on contour of clock and hands of clock | |
US10860176B2 (en) | Image control method and device | |
US9383919B2 (en) | Touch-based text entry using hidden Markov modeling | |
KR102421756B1 (en) | Parkinson's disease determination method based on numbers comprising clock | |
US9874950B2 (en) | Adaptive guidelines for handwriting | |
US20160331304A1 (en) | System and methods for automated administration and evaluation of physical therapy exercises | |
US9927917B2 (en) | Model-based touch event location adjustment | |
WO2022042526A1 (en) | Method for triggering pre-loading function of electronic device, electronic apparatus, and storage medium | |
US20230280835A1 (en) | System including a device for personalized hand gesture monitoring | |
TW201248456A (en) | Identifying contacts and contact attributes in touch sensor data using spatial and temporal features | |
CN114902243A (en) | Electronic device and control method thereof | |
Al-Showarah | Effects of age on smartphone and tablet usability, based on eye-movement tracking and touch-gesture interactions | |
CN115857678B (en) | Eye movement testing method, device, equipment and storage medium | |
CN113467692B (en) | Information interception method, device, equipment, medium and program product | |
US11538491B2 (en) | Interaction system, non-transitory computer readable storage medium, and method for controlling interaction system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |