KR102557799B1 - 주의력 결핍 과잉 행동 장애 진단 장치 및 방법 - Google Patents
주의력 결핍 과잉 행동 장애 진단 장치 및 방법 Download PDFInfo
- Publication number
- KR102557799B1 KR102557799B1 KR1020210092151A KR20210092151A KR102557799B1 KR 102557799 B1 KR102557799 B1 KR 102557799B1 KR 1020210092151 A KR1020210092151 A KR 1020210092151A KR 20210092151 A KR20210092151 A KR 20210092151A KR 102557799 B1 KR102557799 B1 KR 102557799B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- time
- value
- pupil
- subject
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 208000036864 Attention deficit/hyperactivity disease Diseases 0.000 title claims abstract description 61
- 208000015802 attention deficit-hyperactivity disease Diseases 0.000 title claims abstract description 61
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 title claims abstract description 60
- 210000001747 pupil Anatomy 0.000 claims abstract description 47
- 239000013598 vector Substances 0.000 claims description 80
- 238000012545 processing Methods 0.000 claims description 40
- 238000013528 artificial neural network Methods 0.000 claims description 30
- 230000000306 recurrent effect Effects 0.000 claims description 29
- 238000007781 pre-processing Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 21
- 239000000523 sample Substances 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 8
- 230000002457 bidirectional effect Effects 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 53
- 230000006870 function Effects 0.000 description 31
- 238000003745 diagnosis Methods 0.000 description 20
- 238000004458 analytical method Methods 0.000 description 14
- 230000004913 activation Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000010606 normalization Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 8
- 230000006403 short-term memory Effects 0.000 description 5
- 230000007787 long-term memory Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 235000009499 Vanilla fragrans Nutrition 0.000 description 2
- 244000263375 Vanilla tahitensis Species 0.000 description 2
- 235000012036 Vanilla tahitensis Nutrition 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000002582 magnetoencephalography Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/06—Children, e.g. for attention deficit diagnosis
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Developmental Disabilities (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Fuzzy Systems (AREA)
- Image Analysis (AREA)
Abstract
주의력 결핍 과잉 행동 장애 진단 장치 및 방법에 관한 것으로, 주의력 결핍 과잉 행동 장애 진단 장치는, 피검자의 동공에 대한 시계열 데이터를 획득하는 입력부 및 상기 시계열 데이터의 결측치에 대한 결측치 대체 값을 획득하고, 상기 결측치 대체 값을 기반으로 결합 은닉 상태 시퀀스를 획득하고, 상기 결합 은닉 상태 시퀀스에 대응하는 출력 시퀀스 및 상기 결합 은닉 상태 시퀀스에 대응하는 특징 맵을 획득하고, 상기 출력 시퀀스 및 상기 특징 맵을 연결하고, 연결 결과를 기반으로 분류 결과를 획득함으로써, 학습 모델을 기반으로 상기 피검자의 주의력 결핍 과잉 행동 장애 여부를 판단하는 프로세서를 포함할 수 있다.
Description
주의력 결핍 과잉 행동 장애 진단 장치 및 방법에 관한 것이다.
주의력 결핍 과잉 행동 장애(ADHD: Attention Deficit Hyperactivity Disorder)는 신경 정신 질환의 일종으로, 주의력이 부족하여 그 행동이 산만하고, 과다 활동이나 충동적 행동을 보이곤 한다. 이러한 주의력 결핍 과잉 행동 장애는 특히 아동이나 청소년에게 빈번하게 발생되는데, 이를 조기에 치료하지 않고 방치하는 경우, 아동이나 청소년 정서의 정상적인 발달에 여러가지 장애를 야기할 수 있으며, 상황에 따라 성인이 된 이후에도 이의 증상이 남아 있을 수도 있다. 그러므로, 주의력 결핍 과잉 행동 장애에 대한 조기 진단 및 치료의 필요성이 증가해 왔다. 주의력 결핍 과잉 행동 장애의 진단은 일반적으로 행동 관찰을 기반으로 수행되고 있었다. 그러나, 행동 관찰을 통한 진단은 많은 시간을 소비할 뿐만 아니라 피관찰자가 대체로 아동이라는 점에서 오진단의 가능성이 높다. 또한, 행동 관찰만으로는 치료가 필요한 증상의 임계점을 결정하는 것도 결코 용이하지 않다. 따라서, 이를 보완하기 위해 뇌전도(EEG: electroencephalography) 방법, 뇌자도(MEG: magnetoencephalography) 또는 자기 공명 영상(MRI: magnetic resonance imaging) 방법 등을 더 이용하여 주의력 결핍 과잉 행동 장애를 진단하려는 시도가 있어왔다. 그러나, 이들 장치는 고가의 전문적인 장비로, 그 진단 비용이 높을 뿐만 아니라, 피관찰자(피검자)가 의료 기관을 직접 방문해야 하고, 통상 아동인 피검자들은 상술한 전문 장비를 통한 측정에 불편을 느끼는 등의 여러 문제점이 있어 널리 이용되기는 어려웠다.
아이 트래킹(eye tracking)을 기반으로 신속하고 용이하면서도 정확하게 피관찰자의 주의력 결핍 과잉 행동 장애 여부를 진단할 수 있는 주의력 결핍 과잉 행동 장애 진단 장치 및 방법을 제공하는 것을 해결하고자 하는 과제로 한다.
상술한 과제를 해결하기 위하여 주의력 결핍 과잉 행동 장애 진단 장치 및 방법이 제공된다.
주의력 결핍 과잉 행동 장애 진단 장치는, 피검자의 동공에 대한 시계열 데이터를 획득하는 입력부 및 상기 시계열 데이터의 결측치에 대한 결측치 대체 값을 획득하고, 상기 결측치 대체 값을 기반으로 결합 은닉 상태 시퀀스를 획득하고, 상기 결합 은닉 상태 시퀀스에 대응하는 출력 시퀀스 및 상기 결합 은닉 상태 시퀀스에 대응하는 특징 맵을 획득하고, 상기 출력 시퀀스 및 상기 특징 맵을 연결하고, 연결 결과를 기반으로 분류 결과를 획득함으로써, 학습 모델을 기반으로 상기 피검자의 주의력 결핍 과잉 행동 장애 여부를 판단하는 프로세서를 포함할 수 있다.
상기 피검자의 동공에 대한 시계열 데이터는, 하나 이상의 이미지 및 프로브 이미지가 제시되고, 상기 하나 이상의 이미지 및 프로브 이미지에 대한 질의에 대한 응답이 수행되는 동안, 피검자의 동공을 촬영함으로써 획득된 것일 수도 있다.
상기 프로세서는, 상기 시계열 데이터에 대해 전처리를 수행할 수 있으며, 여기서, 상기 전처리는, 상기 시계열 데이터에 대한 마스크 벡터를 획득하고, 상기 마스크 벡터를 기반으로 전방향 시간 갭 벡터 및 역방향 시간 갭 벡터 중 적어도 하나를 획득함으로써 수행되는 것일 수 있다.
상기 프로세서는, 상기 시계열 데이터 중 특정 시점의 데이터를 순환 신경망층(recurrent layer)에 입력하고, 순환 신경망층의 처리 결과를 회귀층에 입력하여 상기 특정 시점의 데이터에 대응하는 추정값을 획득하고 상기 추정값을 결측치 대체 값으로 이용함으로써 상기 시계열 데이터의 결측치에 대한 결측치 대체 값을 획득하는 것도 가능하다.
상기 프로세서는, 상기 전방향 시간 갭 벡터 및 상기 역방향 시간 갭 벡터 중 적어도 하나를 기반으로 결측치의 패턴(temporal decay)을 획득하고, 상기 결측치의 패턴을 기반으로 적어도 하나의 은닉 시퀀스를 획득하고, 적어도 하나의 은닉 시퀀스를 결합하여 상기 결합 은닉 상태 시퀀스를 획득할 수도 있다.
상기 프로세서는 상기 결합 은닉 상태 시퀀스를 양방향 순환 신경망층에 입력하여 상기 결합 은닉 상태 시퀀스에 대응하는 출력 시퀀스를 획득하도록 마련되는 것도 가능하다.
상기 입력부는 적어도 하나의 학습용 데이터를 획득하고, 상기 프로세서는 상기 적어도 하나의 학습용 데이터를 이용하여 상기 학습 모델을 훈련시킬 수도 있다.
주의력 결핍 과잉 행동 장애 진단 방법은, 피검자의 동공에 대한 시계열 데이터를 획득하는 단계, 상기 시계열 데이터의 결측치에 대한 결측치 대체 값을 획득하는 단계, 상기 결측치 대체 값을 기반으로 결합 은닉 상태 시퀀스를 획득하는 단계, 상기 결합 은닉 상태 시퀀스에 대응하는 출력 시퀀스를 획득하는 단계, 상기 결합 은닉 상태 시퀀스에 대응하는 특징 맵을 획득하는 단계, 상기 출력 시퀀스 및 상기 특징 맵을 연결하는 단계 및 연결 결과를 기반으로 분류 결과를 획득함으로써, 상기 피검자의 주의력 결핍 과잉 행동 장애 여부를 판단하는 단계를 포함할 수 있다.
상기 피검자의 동공에 대한 시계열 데이터를 획득하는 단계는, 하나 이상이 이미지 및 프로브 이미지가 제시되고, 상기 하나 이상의 이미지 및 프로브 이미지에 대한 질의에 대한 응답이 수행되는 단계 및 상기 피검자의 동공을 촬영하여 상기 피검자의 동공에 대한 시계열 데이터를 획득하는 단계를 포함할 수도 있다.
주의력 결핍 과잉 행동 장애 진단 방법은, 상기 시계열 데이터에 대해 전처리를 수행하는 단계를 포함할 수 있고, 여기서 상기 전처리를 수행하는 단계는, 상기 시계열 데이터에 대한 마스크 벡터를 획득하는 단계와, 상기 마스크 벡터를 기반으로 전방향 시간 갭 벡터 및 역방향 시간 갭 벡터 중 적어도 하나를 획득하는 단계를 포함할 수도 있다.
상기 시계열 데이터의 결측치에 대한 결측치 대체 값을 획득하는 단계는, 상기 시계열 데이터 중 특정 시점의 데이터를 순환 신경망층에 입력하는 단계, 순환 신경망층의 처리 결과를 회귀층에 입력하여 상기 특정 시점의 데이터에 대응하는 추정값을 획득하는 단계 및 상기 추정값을 결측치 대체 값으로 이용함으로써 상기 시계열 데이터의 결측치에 대한 결측치 대체 값을 획득하는 단계를 포함하는 것도 가능하다.
상기 결측치 대체 값을 기반으로 결합 은닉 상태 시퀀스를 획득하는 단계는, 상기 전방향 시간 갭 벡터 및 상기 역방향 시간 갭 벡터 중 적어도 하나를 기반으로 결측치의 패턴을 획득하는 단계, 상기 결측치의 패턴을 기반으로 적어도 하나의 은닉 시퀀스를 획득하는 단계 및 적어도 하나의 은닉 시퀀스를 결합하여 상기 결합 은닉 상태 시퀀스를 획득하는 단계를 포함할 수도 있다.
상기 결합 은닉 상태 시퀀스에 대응하는 출력 시퀀스를 획득하는 단계는, 상기 결합 은닉 상태 시퀀스를 양방향 순환 신경망층에 입력하여 상기 결합 은닉 상태 시퀀스에 대응하는 출력 시퀀스를 획득하는 단계를 포함하는 것도 가능하다.
주의력 결핍 과잉 행동 장애 진단 방법은, 촬영 또는 다른 장치로부터의 전달을 통해 적어도 하나의 학습용 데이터를 획득하는 단계를 더 포함할 수도 있다.
상술한 주의력 결핍 과잉 행동 장애 진단 장치 및 방법에 의하면, 아이 트래킹을 통해 추적한 동공의 크기 변화를 기반으로 보다 신속하고 용이하면서도 정확하게 피관찰자의 주의력 결핍 과잉 행동 장애 여부를 진단할 수 있는 장점이 얻을 수 있다.
상술한 주의력 결핍 과잉 행동 장애 진단 장치 및 방법에 의하면, 자기 공명 영상 장치와 같은 전문적인 장비가 없이도 일상적으로 사용하는 장치나 저가의 장치를 이용하여 진단하므로, 저비용으로 간단하게 피관찰자의 주의력 결핍 과잉 행동 장애 여부를 진단할 수 있게 될 뿐만 아니라, 피관찰자의 심리적 불편함도 해소할 수 있는 효과도 얻을 수 있다.
상술한 주의력 결핍 과잉 행동 장애 진단 장치 및 방법에 의하면, 의료 기관 외에도 가정이나 학교 등에서도 전문가의 도움 없이도 피관찰자의 주의력 결핍 과잉 행동 장애 여부를 예측 및 진단할 수 있는 장점도 존재한다.
상술한 주의력 결핍 과잉 행동 장애 진단 장치 및 방법에 의하면, 피관찰자의 주의력 결핍 과잉 행동 장애 여부를 조기에 발견하고, 이에 따른 적절한 치료 및 교육을 병행하여 진행할 수 있게 되는 효과도 얻을 수 있다.
도 1은 주의력 결핍 과잉 행동 장애 진단 장치의 일 실시예에 대한 블록도이다.
도 2는 데이터 획득 과정의 일례를 설명하기 위한 도면이다.
도 3은 데이터 전처리 과정의 일례를 설명하기 위한 제1 도이다.
도 4는 데이터 전처리 과정의 일례를 설명하기 위한 제2 도이다.
도 5는 학습부의 일 실시예에 대한 블록도이다.
도 6은 주의력 결핍 과잉 행동 장애 진단 방법의 일 실시예에 대한 흐름도이다.
도 2는 데이터 획득 과정의 일례를 설명하기 위한 도면이다.
도 3은 데이터 전처리 과정의 일례를 설명하기 위한 제1 도이다.
도 4는 데이터 전처리 과정의 일례를 설명하기 위한 제2 도이다.
도 5는 학습부의 일 실시예에 대한 블록도이다.
도 6은 주의력 결핍 과잉 행동 장애 진단 방법의 일 실시예에 대한 흐름도이다.
이하 명세서 전체에서 동일 참조 부호는 특별한 사정이 없는 한 동일 구성요소를 지칭한다. 이하에서 사용되는 '부'가 부가된 용어는, 소프트웨어 및/또는 하드웨어로 구현될 수 있으며, 실시예에 따라 하나의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 복수의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 하나의 '부'가 복수의 물리적 또는 논리적 부품들로 구현되는 것도 가능하다. 명세서 전체에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 어떤 부분과 다른 부분이 상호 간에 물리적으로 연결되었음을 의미할 수도 있고, 및/또는 전기적으로 연결되었음을 의미할 수도 있다. 또한, 어떤 부분이 다른 부분을 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 부분 이외의 또 다른 부분을 제외하는 것이 아니며, 설계자의 선택에 따라서 또 다른 부분을 더 포함할 수 있음을 의미한다. 제1 내지 제N(N은 1 이상의 자연수) 등의 표현은, 적어도 하나의 부분(들)을 다른 부분(들)으로부터 구분하기 위한 것으로, 특별한 기재가 없는 이상 이들이 순차적임을 반드시 의미하지는 않는다. 또한 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함할 수 있다.
이하 도 1 내지 도 5를 참조하여 주의력 결핍 과잉 행동 장애 진단 장치의 여러 실시예에 대해서 설명하도록 한다.
도 1은 주의력 결핍 과잉 행동 장애 진단 장치의 일 실시예에 대한 블록도이다.
주의력 결핍 과잉 행동 장애 분석 장치, 분석 장치 등으로 명명될 수도 있는 주의력 결핍 과잉 행동 장애 진단 장치(100, 이하 진단 장치라 칭함)는 도 1에 도시된 바와 같이 입력부(101), 저장부(107), 출력부(109) 및 프로세서(110)를 포함할 수 있다. 입력부(101), 저장부(107), 출력부(109) 및 프로세서(110) 중 적어도 둘은 일방으로 또는 양방향으로 회로 라인, 케이블 또는 무선 통신 네트워크 등을 통해 데이터나 지시/명령 등을 전달할 수 있다. 입력부(101), 저장부(107) 및 출력부(109) 중 적어도 하나는 필요에 따라 생략 가능하다.
입력부(101)는 주의력 결핍 과잉 행동 장애의 분석(또는 진단)을 위한 적어도 하나의 데이터(분석용 데이터 또는 검증용 데이터)나, 주의력 결핍 과잉 행동 장애의 진단에 이용될 학습 모델의 훈련을 위한 적어도 하나의 데이터(학습용 데이터)를 순차적으로 또는 동시에 입력 받을 수 있다. 예를 들어, 입력부(101)는 주의력 결핍 과잉 행동 장애에 대한 검사 대상이 되는 자(이하 피검자라 함)의 동공을 촬영하여 영상 데이터(정지영상 또는 동영상을 포함할 수 있음)를 얻음으로써 분석용 데이터나 학습용 데이터를 획득할 수 있다. 이를 위해 입력부(101)는, 진단 장치(100)에 고정되거나 또는 분리 가능하게 장착되고 피검자의 동공에 대한 영상 데이터를 획득할 수 있는 촬영부(103)를 포함할 수도 있고, 및/또는 외부촬영장치(105A, 일례로 일반 카메라, 아이피 카메라, 웹 캠, 캠코더, 스마트폰 또는 태블릿 피씨 등)와 연결되어 외부촬영장치(105A)가 촬영한 피검자의 동공에 대한 영상 데이터를 수신하여 획득할 수 있는 데이터 입출력단자(105)를 포함할 수도 있다. 촬영부(103)나 외부촬영장치(105A)는 렌즈나 이미지 센서(CCD나 CMOS) 등을 포함할 수 있다. 실시예에 따라, 입력부(101)는 블루투스나 와이파이 등과 같은 무선 통신 네트워크에 접속할 수 있는 무선 통신 모듈(미도시)를 포함할 수 있으며, 외부촬영장치(105A)는 무선 통신 네트워크를 통해 영상 데이터를 입력부(101)로 전달할 수도 있다. 또한, 입력부(101)는 기존에 다른 장치(다른 분석 장치(또는 진단 장치) 등을 포함할 수 있음)가 주의력 결핍 과잉 행동 장애 환자(들)의 동공을 촬영하여 획득한 영상 데이터를 수신하여 학습용 데이터를 획득할 수도 있다. 이 경우, 학습용 데이터는 외부의 다른 장치와 유무선 통신 네트워크를 통해 연결되는 통신 모듈(일례로 랜 카드, 근거리 통신 모듈 또는 이동통신 모듈 등)이나, 메모리 장치 등이 결합되는 데이터 입출력단자(105)를 통해 진단 장치(100)에 입력될 수 있다. 또한, 실시예에 따라서, 입력부(101)는, 키보드, 마우스, 태블릿, 터치 스크린, 터치 패드, 트랙 볼, 트랙패드, 스캐너 장치, 초음파 스캐너, 동작 감지 센서, 진동 센서, 수광 센서, 감압 센서, 근접 센서 또는 마이크로 폰 등을 포함할 수도 있으며, 이들 장치 중 적어도 하나도 검증용 데이터 및 학습용 데이터 중 적어도 하나의 획득을 위해 이용될 수도 있다.
저장부(107)는 진단 장치(100)의 동작에 필요한 데이터나 프로그램(앱, 애플리케이션 또는 소프트웨어 등으로 지칭 가능함) 등을 저장할 수 있다. 여기서, 데이터는 입력부(101)가 획득한 동공에 대한 영상 데이터, 프로세서(110)의 전처리에 따라 획득된 데이터, 훈련 과정에서 획득된 학습 모델의 가중치 등에 대한 데이터 또는 프로세서(110)에 의한 판단 결과 등을 포함할 수 있다. 저장부(107)에 저장된 애플리케이션은, 설계자에 의해 직접 작성 또는 수정되어 저장부(107)에 저장된 것일 수도 있고, 또는 유선 또는 무선 통신 네트워크를 통해 접속 가능한 전자 소프트웨어 유통망을 통하여 획득 또는 갱신된 것일 수도 있다. 저장부(107)는, 예를 들어, 주기억장치 및 보조기억장치 중 적어도 하나를 포함할 수 있다. 주기억장치는 롬(ROM) 및/또는 램(RAM)과 같은 반도체 저장 매체를 이용하여 구현된 것일 수 있고, 보조기억장치는, 플래시 메모리 장치, SD(Secure Digital) 카드, 솔리드 스테이트 드라이브(SSD, Solid State Drive) 또는 하드 디스크 드라이브(HDD, Hard Disc Drive) 등과 같이 데이터를 영구적 또는 반영구적으로 저장 가능한 적어도 하나의 저장 매체를 이용하여 구현될 수 있다.
출력부(109)는 진단 장치(100)가 획득하거나 진단 장치(100)에 저장된 적어도 하나의 정보를 시각적 또는 청각적으로 외부로 출력하여 사용자(피검자, 피검자의 보호자, 의료인 또는 진단 장치(100)의 설계자나 관리자 등, 이하 동일)에게 제공하거나, 외부의 다른 장치(미도시, 일례로 스마트폰과 같은 단말 장치나 서버용 하드웨어 장치 등)로 유무선 통신 네트워크 등을 통해 전달할 수 있다. 예를 들어, 출력부(109)는 피검자로부터 데이터를 획득하기 위해 필요한 정보를 출력하여 피검자에게 제공하거나, 프로세서(100)의 학습 처리 과정에서 생성된 적어도 하나의 데이터나 함수 등을 출력하거나 및/또는 프로세서(100)의 판단 결과(예를 들어, 피검자가 정산인지 또는 주의력 결핍 과잉 행동 장애 환자인지 여부 등)를 출력하여 사용자에게 제공할 수 있다. 실시예에 따라서, 출력부(109)는, 진단 장치(100)와 일체형으로 마련된 것일 수도 있고, 또는 진단 장치(100)로부터 물리적으로 분리되어 마련된 것일 수도 있다. 출력부(109)는, 예를 들어, 디스플레이, 프린터 장치, 스피커 장치, 영상 출력 단자, 데이터 입출력 단자 및/또는 통신 모듈 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 2는 데이터 획득 과정의 일례를 설명하기 위한 도면이다.
일 실시예에 의하면, 동공의 움직임에 대한 영상 데이터를 피검자로부터 얻기 위해서, 도 2에 도시된 바와 같이 적어도 하나의 이미지(I1 내지 I5)가 피검자에게 제공되는 과정(T1 내지 T3)과, 적어도 하나의 이미지(I1 내지 I5)에 관한 피검자의 응답을 수신하는 과정(T4)이 순차적으로 수행될 수 있다. 예를 들어, 매트릭스 내의 둘 이상의 지점에 흑점 등의 도형 등이 표현된 하나 이상의 이미지(I1 내지 I3)가 피검자에게 제공된다(T1). 다수의 이미지(I1 내지 I3)이 제공되는 경우, 각각의 이미지(I1 내지 I3)는 동일하거나 또는 서로 상이한 소정의 기간(예를 들어, 750ms) 동안 피검자에게 순차적으로 제시될 수 있다(T1). 어느 하나의 이미지(I1)가 피검자에게 제시되면, 다른 이미지(I2)는 일정한 간격(일례로 500ms)이 경과된 이후에 피검자에게 제시될 수도 있다. 다수의 이미지(I1 내지 I3)는 서로 상이할 수도 있고, 일부는 동일할 수도 있으며, 또는 모두 동일할 수도 있다. 필요에 따라, 이미지(I1-1)는 매트릭스 내의 하나의 지점에 도형 등을 포함하는 것도 가능하다. 다수의 이미지(I1 내지 I3)가 제시된 후, 일정한 기간(일례로 500ms)가 경과되면, 일정 시간(일례로 500ms) 동안 방해 자극 이미지(I4, distractor image)가 제시된다(T2). 방해 자극 이미지(I4)가 제시되고 일정한 시간(일례로 500ms)가 경과되면, 프로브 이미지(I5)가 피검자에게 제공된다(T3). 프로브 이미지(I5)는 매트릭스 내의 하나 또는 둘 이상의 임의적 지점에 도형 등이 표현된 이미지이다. 프로브 이미지(I5)의 제시는 임의의 또는 미리 정의된 기간(일례로 1500ms) 동안 수행될 수 있다. 프로브 이미지(I5)가 제시된 후, 피검자에게는 제시된 프로브 이미지(I5)가 기 제시되었던 다른 이미지(I1 내지 I3) 중에 존재하는지 여부가 질의 된다. 피검자는 질의에 응하여 자신의 응답을 표현한다(T4). 필요에 따라 질의 응답은 한정된 기간(1500ms) 내에 진행되도록 마련될 수도 있다. 상술한 과정은 실시예에 따라서 진단 장치(100)에 의해 수행될 수도 있고, 진단 장치(100) 이외의 다른 장치에 의해 수행될 수도 있다. 진단 장치(100)에 의해 수행되는 경우, 이미지(I1 내지 I5)의 출력이나 질의 출력 등은 출력부(109, 일례로 디스플레이나 스피커 등) 등에 의해 수행될 수 있고, 피검자의 응답은 입력부(101, 일례로 마이크로 폰 등) 등에 의해 수신될 수 있다.
상술한 바와 같이 이미지(I1 내지 I5)의 순차적 제시 및 응답의 수신 과정에 있어서, 진단 장치(100)의 촬영부(103) 또는 진단 장치(100)와 연결된 외부촬영장치(105A)는 피검자의 동공을 촬영하여, 피검자의 동공에 대한 영상 데이터를 획득할 수 있다. 피검자의 동공에 대한 영상 데이터의 획득은, 소정의 샘플링 주파수(일례로 1kHz)로 수행될 수도 있다. 또한, 실시예에 따라서, 피검자의 동공의 촬영은, 모든 과정(T1 내지 T4) 동안 수행될 수도 있고, 일부의 과정(일례로 응답 기간(T4))에만 수행될 수도 있다. 통상 피검자가 주의력 결핍 과잉 행동 장애가 있는 경우라면, 프로브 이미지(I5)가 제시된 동안에는 타인에 비해 상대적으로 동공의 크기가 증가하는 경향이 있으며, 프로브 이미지(I5)의 제시 종료 이후에는 동공의 크기는 타인에 비해 상대적으로 더욱 급격하게 감소하며 타인보다 더욱 작아지는 경향이 있다. 획득된 동공에 대한 영상 데이터는 시간의 흐름에 따라 지속적으로 촬영되므로, 시계열 데이터(또는 시계열 영상 데이터)의 형태로 존재하게 된다. 그런데, 이와 같은 시계열 데이터 내에는 결측치(missing value)가 존재할 수 있다. 예를 들어, 동공에 대한 영상 촬영 도중에 피검자는 눈을 깜빡이는 등의 행동을 할 수 있으며, 이 경우 해당 시점에서의 동공에 대한 영상 데이터는 누락되게 된다. 또한, 동공에 대한 영상 데이터에는 이상 값이 존재할 수도 있다.
프로세서(110)는 입력부(101)가 획득한 동공에 대한 영상 데이터에 대해 전처리를 수행하고, 이를 기반으로 주의력 결핍 과잉 행동 장애 판단을 위한 학습 모델을 훈련시키거나 또는 이를 기반으로 피검자가 주의력 결핍 과잉 행동 장애에 해당하는지 여부를 판단할 수 있다. 프로세서(110)는, 이와 같은 동작을 저장부(107)에 저장된 프로그램을 실행시켜 수행할 수도 있다. 프로세서(110)는, 실시예에 따라서 중앙 처리 장치(CPU: Central Processing Unit), 마이크로 컨트롤러 유닛(MCU: Micro Controller Unit), 애플리케이션 프로세서(AP: Application Processor), 전자 제어 유닛(ECU: Electronic Controlling Unit), 기본보드 관리 컨트롤러(BMC: Baseboard Management Controller) 또는 마이컴(Micom: Micro Processor) 등을 포함할 수도 있으나, 이에 한정되는 것은 아니다. 이들 장치는 반도체 칩이나 관련 부품을 이용해 구현 가능하다.
일 실시예에 따르면, 프로세서(110)는 동공에 대한 영상 데이터에 대해 전처리를 수행하는 전처리부(120) 및 결측치에 대한 대체(imputation) 처리와 분류(classification)을 수행하기 위한 학습부(130)를 포함할 수 있다. 전처리부(120) 및 학습부(130)는 실시예에 따라 소프트웨어적으로 구분되는 것일 수도 있고 또는 하드웨어적으로 구분되는 것일 수도 있다. 하드웨어적으로 구분되는 경우, 전처리부(120) 및 학습부(130)는 각각 별도의 반도체 칩 등에 의해 구현될 수도 있다.
도 3은 데이터 전처리 과정의 일례를 설명하기 위한 제1 도이고, 도 4는 데이터 전처리 과정의 일례를 설명하기 위한 제2 도이다.
상술한 과정에 따라 획득된 동공에 대한 영상 데이터는 긴 시퀀스의 일변량 시계열 데이터(univariate time series data)를 포함할 수 있다. 예를 들어, 동공에 대한 영상 데이터는 8000개의 타임 스탬프를 가질 수 있다. 이와 같이 데이터의 길이가 길면, 처리 시간이 장기화될 뿐만 아니라 역전파(back-propagation) 과정에서 기울기의 크기가 작아지는 기울기 소실(vanishing gradient) 문제를 야기하기도 한다. 이를 해결하기 위해 데이터 전처리부(120)는 일변량 시계열 데이터를 다변량 데이터로 변환할 수 있다. 구체적으로 도 3에 도시된 바를 참조하면, 데이터 전처리부(120)는 일변량 시계열 데이터 형태의 일련의 영상 데이터(D1)를 다수의 묶음(청크(chunk), D1-1 내지 D1-5)로 분리한다. 하나의 묶음은 둘 이상의 데이터를 포함할 수 있다. 각각의 묶음(D1-1 내지 D1-5)은 매 타임스탬프마다 입력 데이터로 이용된다. 즉, 어느 하나의 묶음(D1-1) 내의 데이터는 분리되어 각각 입력되고, 다음 하나의 묶음(D1-2) 내의 데이터도 분리되어 각각 어느 하나의 묶음(D1-1) 내의 대응하는 데이터에 이어서 입력된다. 그 다음 하나의 묶음(D1-3) 내이 데이터도 각각 다른 하나의 묶음(D1-2) 내의 대응하는 데이터에 이어서 입력된다. 이에 따라 영상 데이터에 대한 다변량 데이터(D2-1 내지 D2-3)가 획득 및 입력될 수 있게 된다.
또한, 데이터 전처리부(120)는 도 4에 도시된 바와 같이 일련의 시계열 데이터(D10)에 대한 결측치의 존재에 따라서 대응하는 값의 마스크 벡터(D20)를 생성하고, 필요에 따라 시간-갭 벡터(D30, D40)를 더 생성할 수도 있다.
일 실시예에 있어서, 일련의 시계열 데이터(D10)는 하기의 수학식 1과 같이 주어지고, 다변량 데이터(D10)는 하기의 수학식 2와 같이 다수의 변수 값(xt^d)을 포함하도록 주어질 수 있다.
[수학식 1]
[수학식 2]
수학식 1에서 T는 전체 시간을 의미한다. 수학식 2에서 xt^d는 t 시점에서 d번째 변수의 값을 의미한다. d번째 변수에 대한 마스크 벡터(mt)는 하기의 수학식 3과 같이 주어질 수 있다.
[수학식 3]
구체적으로 예를 들어, 도 4에 도시된 바와 같이 값이 존재하는 경우(D11)에 대해서는 마스크 벡터(D21)는 1로 주어지고, 결측치가 존재하는 경우(D12)에 대해서는 마스크 벡터(D22)는 0으로 주어진다.
한편, 타임 갭 벡터(D30, D40)는 하기의 수학식 4로 주어질 수 있다.
[수학식 4]
수학식 4에서 δt^d는 시계열 데이터(D10)의 각각 데이터(D11, D12 등)에 대응하는 타임 갭 벡터 값이고, mt^d는 대응하는 마스크 벡터(D20)의 값을 의미한다. st는 해당 데이터에 대한 타임스탬프(D50) 값(일례로 1 내지 10 등)을 의미한다.
다시 말해서, 타임 갭 벡터(D30, D40)는, 제1 시점(t=1)에서는 0으로 주어지고, t(i) 시점에서 마스크 벡터(D20)의 값이 1이라면(즉, 대응하는 시점에 대한 데이터가 결측치가 아니고 값이 존재한다면), 해당 타임스탬프(st(i))의 값에서 해당 타임스탬프의 직전의 타임스탬프(st(i)-1)의 값을 차감한 값으로 주어지며, t(j) 시점에서 마스크 벡터(D20)의 값이 0이라면(즉, 대응하는 시점에 대한 데이터가 결측치에 해당하여 값이 존재하지 않는다면), 해당 타임스탬프(st(j))의 값에서 해당 타임스탬프의 직전의 타임스탬프(st(j)-1)의 값을 차감한 값에 직전의 타임 갭 벡터의 값(δt(j)-1^d)을 합한 것으로 주어진다. 일 실시예에 의하면, 양 방향에 대한 의존성을 반영하기 위해 타임 갭 벡터(D30, D40)는 전방향 타임 갭 벡터(D30)와, 역방향 타임 갭 벡터(D40)를 포함할 수 있다. 전방향 타임 갭 벡터(D30)는 타임스탬프(D50)의 순서에 따라서 수학식 4를 연산함으로써 획득되고, 역방향 타임 갭 벡터(D40)는 타임스탬프(D50)의 순서와 반대 방향으로 수학식 4를 연산함으로써 획득된다. 역방향 타임 갭 벡터(D40)의 경우, 수학식 4는 δt-1^d를 δt+1^d로 대체하여 연산될 수 있다. 이에 따라 도 4에 도시된 바와 같이 시계열 데이터(D10) 내의 각각의 데이터에 대응하는 마스크 벡터(D20)와, 전방향 타임 갭 벡터(D30)와, 역방향 타임 갭 벡터(D40)가 획득될 수 있다. 시계열 데이터(D10)와, 마스크 벡터(D20)와, 타임 갭 벡터(전방향 타임 갭 벡터(D30) 및 역방향 타임 갭 벡터(D40) 중 적어도 하나)는 학습부(130)로 전달될 수 있다.
도 5는 학습부의 일 실시예에 대한 블록도이다.
학습부(130)는 도 5에 도시된 바와 같이 대체처리부(140)와, 분류부(150)를 포함할 수 있다.
대체처리부(140)는 결측치나 이상값에 대한 처리를 수행할 수 있다. 상술한 바와 같이 동공에 대한 시계열 데이터에는 눈 깜빡임 등에 의해 촬영되지 않은 결측치나 이상값이 존재할 수 있다. 대체처리부(140)는 이와 같이 결측치나 이상값이 존재하는 부분에 대해 적절한 데이터(즉, 결측치를 대체하기 위한 데이터(이하 결측치 대체 값이라 지칭함))를 보충하거나 대체해 채움으로써 보다 정확한 훈련 및 판단이 가능하게 할 수 있다.
일 실시예에 의하면, 대체처리부(140)는 입력값(141A 내지 141F)을 입력 받는 순환 신경망층(142, Recurrent layer)과, 순환 신경망층(142)으로부터 결과를 전달받고 입력 값(141A 내지 141F)에 대응하는 추정 값(144A 내지 144F)을 출력하는 회귀층(143, Regression layer)를 포함할 수 있다. 여기서 입력 값(141A 내지 141F)은 동공에 대한 데이터(또는 영상 데이터), 대응하는 마스크 벡터 값 및 대응하는 타임 갭 벡터 값(전방향 타임 갭 벡터 값 및 역방향 타임 갭 벡터 값 중 적어도 하나)를 포함할 수 있다. 순환 신경망층(142)은, 예를 들어, 장단기 메모리(LSTM: Long short term memory), 심층 신경망(DNN: Deep Neural Network), 콘볼루션 신경망(CNN: Convolutional Neural Network), 순환 신경망(RNN: Recurrent Neural Network) 또는 콘볼루션 순환 신경망(CRNN: Convolutional Recurrent Neural Network) 등과 같이 소정의 학습 모델을 이용하여 구현될 수 있다. 순환 신경망층(142)을 장단기 메모리를 이용하여 구현하는 경우, 시퀀스가 긴 경우에 있어서 바닐라 순환 신경망(vanilla RNN) 등에 발생할 수 있는 기울기 소실이나 기울기 폭주(exploding gradient)와 같은 문제점을 해결할 수 있다. 회귀층(143)도 순환 신경망, 콘볼루션 순환 신경망, 심층 신경망 또는 콘볼루션 신경망 등을 이용하여 구현 가능하다.
실시예에 따라, 결측치 대체 값은 시계열 데이터에 임의의 보간법(imputation)을 적용함으로써 획득될 수도 있다.
회귀층(143)의 은닉 상태(ht)는, 일 실시예에 있어서, 하기의 수학식 5와 같이 주어질 수 있다.
[수학식 5]
수학식 5에서 ht 또는 ht-1는 은닉 상태를 의미하고, Wh 및 Uh는 학습 모델(일례로 장단기 메모리)에서 이용되는 가중치를 의미한다. xt는 입력된 영상 데이터에 대응하는 값(즉, 입력 값)을, bh는 편향을 의미한다. σ()는 활성화함수로, 예를 들어 시그모이드 함수나 렐루(ReLU: Rectified Linear Unit) 함수 등이 이용될 수 있다.
만약 입력 값(141C, 141D, 141E)에 결측치가 존재한다면(다시 말해서, 해당 부분(시점) 등에 대해 촬영된 영상 데이터(141C, 141D, 141E)가 존재하지 않는다면), 그 전 훈련 과정에서 획득된 결과 값(144B, 144C, 144D)이 누락된 데이터(결측치)를 대체하기 위한 결측치 대체 값으로 이용될 수 있다. 결측치 대체 값의 연산은, 예를 들어, 하기의 수학식 6 내지 수학식 9로 표현될 수 있다.
[수학식 6]
수학식 6에서 xt^c는 결측치 대신에 t 시점(시점 대신에 프레임 등으로 표현될 수도 있음)의 값으로 입력되는 결측치 대체 값이고, mt는 t 시점에 해당하는 마스크 벡터 값이다. xt는 입력 값이다. 한편, ^xt은 그 전의 훈련에 의한 결과 값(144B, 144C, 144D)으로, t 시점에 해당하는 결측치에 대한 추정 값으로 이용될 수 있다. 그 전 훈련 과정에서 획득된 결과 값(^xt)은 하기의 수학식 7과 같이 주어질 수 있다.
[수학식 7]
수학식 7에서 Wx 및 bx는 각각 x를 위한 가중치 및 편향이다. 수학식 7은 은닉 상태(ht-1)를 회귀층(143)을 통과시킴으로써 이에 대응하는 추정값(^xt)가 연산될 수 있음을 의미한다. 여기서, 은닉 상태(ht)는 하기의 수학식 8로 주어질 수도 있다.
[수학식 8]
수학식 8에서 σ()는 활성화함수로, 예를 들어 시그모이드 함수나 렐루 함수 등을 포함할 수 있다. Wh 및 Uh는 각각 은닉 상태를 위한 가중치를 의미하고, bh는 편향을 의미한다. mt는 t 시점에 해당하는 마스크 벡터 값이다. 수학식 8에 기재된 바와 같이, 결측치 대체 값(xt^c) 및 마스크 벡터 값(mt)은 소정의 연산(일례로 이항 연산)에 의해 상호 결합된 후, 함께 순환 신경망층(142)에 입력될 수 있다. γt는 시계열 내에서의 결측치(결측 패턴)를 나타내는 결측치의 패턴(temporal decay), 즉 결측 패턴을 나타낸다. 결측치 패턴(γt)은, 예를 들어, 하기의 수학식 9를 통해 연산될 수 있다.
[수학식 9]
수학식 9에서 Wγ 및 bγ는 각각 가중치 및 편향을 의미한다.
한편, 상술한 훈련 과정에 대한 추정 오차(lt)는 다음의 수학식 10과 같이 주어질 수 있다.
[수학식 10]
수학식 10에서 Le는 손실함수(loss function)을 의미한다. 손실 함수는, 실시예에 따라, 평균 절대 오차(MAE: Mean Absolute Error)나 평균 제곱 오차(MSE: Mean Square Error) 등을 이용하여 마련될 수 있다.
일 실시예에 의하면, 대체처리부(140)는 전방향 타임 갭 벡터(30D)를 이용하여 상술한 학습 처리를 수행할 수도 있다. 다른 실시예에 따르면, 대체처리부(140)는, 전방향 타임 갭 벡터(30D) 대신에 역방향 타임 갭 벡터(40D)를 이용하여 학습 처리를 수행할 수도 있다. 또 다른 실시예에 의하면, 대체처리부(140)는 전방향 타임 갭 벡터(30D) 기반의 학습 처리 및 역방향 타임 갭 벡터(40D) 기반의 학습 처리를 모두 수행할 수도 있다. 이 경우, 대체처리부(140)는 전방향 타임 갭 벡터(30D)를 이용한 학습 처리가 수행된 이후에 순차적으로 역방향 타임 갭 벡터(40D)를 이용하여 학습 처리를 수행할 수도 있고, 또는 전방향 타임 갭 벡터(30D)를 이용한 학습 처리 처리가 수행되기 전에 먼저 역방향 타임 갭 벡터(40D)를 이용하여 학습 처리를 수행할 수도 있다. 전방향 타임 갭 벡터(30D)를 이용한 학습 처리 및 역방향 타임 갭 벡터(40D)를 이용한 학습 처리가 각각 순차적으로 또는 동시에 수행되면, 양 방향 정보가 획득될 수 있게 된다. 상술한 역방향 타임 갭 벡터(40D)를 이용한 학습 처리는, 상술한 수학식 9에서 전방향 타임 갭의 값(δt)를 역방향 타임 갭의 값(δ't)으로 대체하여 구현될 수 있다. 이에 따라 전방향 타임 갭 벡터(30D)를 이용하는 경우에는 t 시점에 해당하는 입력 값(xt)은 이전 시점에 해당하는 입력 값(들)(x1 내지 xt-1)에 따라 결정될 수 있으나, 역방향 타임 갭 벡터(40D)를 이용하는 경우에는 이와 반대로 t 시점에 해당하는 입력 값(xt)은 이후 시점에 해당하는 입력 값(들)(xt+1 내지 xT)에 따라 결정될 수 있다.
전방향 타임 갭 벡터(30D)를 기반으로 하는 학습 처리 및 역방향 타임 갭 벡터(40D)를 이용하여 학습 처리에 따라 각각 두 개의 은닉 상태 시퀀스(HT, H'T)가 주어질 수 있다. 이들 두 개의 은닉 상태 시퀀스(HT, H'T)는 각각 하기의 수학식 11 및 수학식 12와 같이 주어질 수 있다.
[수학식 11]
[수학식 12]
두 개의 은닉 상태 시퀀스(HT, H'T)는 하기의 수학식 13에 기재된 바와 같이 소정의 연산자를 통해 결합되고 이에 응하여 결합 은닉 상태 시퀀스(HT^imutation)가 생성될 수 있다. 이 경우, 결합 은닉 상태 시퀀스(HT^imutation)는 (nⅹT) 크기의 2차원 텐서일 수 있다. 여기서, n은 은닉 상태 시퀀스의 개수를 의미하고, T는 시퀀스(즉, 시계열 데이터(들))의 길이를 의미한다.
[수학식 13]
생성된 결합 은닉 상태 시퀀스(HT^imutation)는 분류부(150)로 전달될 수 있다.
한편, 전방향 타임 갭 벡터(30D)에 대응하는 결측치를 대신하는 결측치 대체 값의 집합(XT^c)과 역방향 타임 갭 벡터(40D)에 대응하는 결측치를 대산하는 결측치 대체 값의 집합(X'T^c)은, 하기의 수학식 14 및 수학식 15와 같이 주어질 수 있다.
[수학식 14]
[수학식 15]
이 경우, 대체 결과는, 전방향 타임 갭 벡터(30D)에 대응하는 결측치 대체 값들(XT^c) 및 역방향 타임 갭 벡터(40D)에 대응하는 결측치 대체 값들(X'T^c)를 기반으로 정의 및 연산될 수 있으며, 예를 들어, 모든 타임스탬프에 대해서, 전방향 타임 갭 벡터(30D)에 대응하는 결측치 대체 값들(XT^c) 및 역방향 타임 갭 벡터(40D)에 대응하는 결측치 대체 값들(X'T^c)의 평균을 연산함으로써 획득될 수도 있다.
또한, 대체 처리에 대한 최종적인 손실(lT^imputation)은 하기의 수학식 16과 같이 주어질 수 있다. 수학식 16에 기재된 바와 같이 연산되는 손실은 분류부(150)의 처리 과정에서 분류 손실과 결합될 수 있다.
[수학식 16]
수학식 16에서 lt는, 수학식 10에 기재된 바와 같이 전방향 타임 갭 벡터(30D)를 기반으로 한 연산 과정에서의 추정 오차를 의미하고, l't는 역방향 타임 갭 벡터(40D)를 기반으로 한 연산 과정에서의 추정 오차를 의미한다.
분류부(150)는, 도 5에 도시된 바와 같이, 일 실시예에 있어서, 반복 처리부(151, recurrent processing block)와, 합성곱 처리부(153, convolutional processing block)와, 연결부(155, concatenation)와, 완전 연결 층(157, FCL: Fully Connected Layer)을 포함할 수 있다.
반복 처리부(151)는, 일 실시예에 있어서, 하나 또는 둘 이상의 양방향 순환 신경망층을 포함할 수 있다. 하나 또는 둘 이상의 양방향 순환 신경망층은, 예를 들어, 장단기 메모리, 심층 신경망 또는 콘볼루션 신경망 등을 이용하여 구현될 수 있다. 반복 처리부(151)는 상술한 결합 은닉 상태 시퀀스(HT^imutation)를 획득하고, 이를 양방향 순환 신경망층에 입력하여 출력 시퀀스(HT^out)를 획득하고, 획득한 출력 시퀀스(HT^out)를 연결부(155)로 전달할 수 있다. 여기서, 출력 시퀀스(HT^out)은 하기의 수학식 17과 같이 다수의 함수(h0^out 등)을 포함할 수 있다.
[수학식 17]
합성곱 처리부(153)는 결합 은닉 상태 시퀀스(H_T^imutation)를 수신하여 특징 맵을 획득하는 콘볼루션 층(153A)과, 콘볼루션 층(153A)이 출력한 특징 맵을 수신하는 정규화 및 활성화 함수 층(153B)과, 정규화 및 활성화 함수 층(153B)의 결과를 수신하여 최종적인 특징 맵(C)을 획득하는 풀링 층(153C)를 포함할 수 있다.
콘볼루션 층(153A)은 다양한 특성을 획득할 수 있도록 다양한 크기의 다수의 필터를 가질 수 있다. 다수의 필터의 크기는, 예를 들어, (nⅹ3), (nⅹ5), (nⅹ7), (nⅹ9) 및 (nⅹ11)로 설정될 수 있으나, 이에 한정되는 것은 아니다. 한편, 이들의 스트라이드 크기(stride size)는 (nⅹ1)일 수 있다.
정규화 및 활성화 함수 층(153B)는 콘볼루션 층(153A)이 출력한 특징 맵에 대해서 정규화 등을 수행하고, 입력 신호에 대응하는 출력 신호를 활성화 함수 등을 이용하여 획득할 수 있다. 정규화 및 활성화 함수 층(153B)은, 예를 들어, 배치 정규화(batch normalization) 및 렐루 함수 등을 이용하여 구현될 수도 있으나, 설계자나 사용자 등은 임의적 선택에 따라 이것 외에도 다양한 정규화 방법 및 활성화 함수를 이용하여 정규화 및 활성화 함수 층(153B)를 구현할 수 있다.
풀링 층(153C)는 정규화 및 활성화 함수 층(153B)의 출력 값에 대해 매개 변수의 수를 축소시켜 최종적인 특징 맵(C)을 획득하여 출력할 수 있다. 실시예에 따라서, 풀링 층(153C)은 맥스 풀링, 평균 풀링 또는 글로벌 맥스 풀링을 이용하여 구현 가능하다. 이에 따라 하기의 수학식 18에 기재된 바와 같은 최종적인 특징 맵(C)이 획득될 수 있다. 하기의 수학식 18에서 η는 채널의 개수를 의미한다.
[수학식 18]
풀링 층(153C)이 출력한 최종적인 특징 맵(C)은 연결부(155)로 전달될 수 있다.
연결부(155)는 반복 처리부(151)의 출력 시퀀스(HT^out) 및 합성곱 처리부(153)의 최종적인 특징 맵(C)을 수신하고, 출력 시퀀스(HT^out) 및 특징 맵(C)에 대한 연결 처리를 수행한다. 연결 처리 결과는 완전 연결 층(157)로 전달될 수 있다.
완전 연결 층(157)은 소정의 학습 모델(일례로 순환 신경망, 콘볼루션 순환 신경망, 심층 신경망 또는 콘볼루션 신경망 등)을 기반으로 구현될 수 있다. 완전 연결 층(157)은 연결 처리 결과를 수신하고, 이를 신경망을 통해 전달하고, 전달된 결과를 소프트맥스 함수 등으로 전달할 수 있다. 이후 소프트맥스 함수에 의해 실제 값(y)에 대응하는 예측 값(^y)이 획득된다.
실제 값(y) 및 출력된 예측 값(^y)에 대한 손실 함수(Lout(y,^y))는, 예를 들어, 이진 크로스 엔트리 손실 함수를 이용하여 구현될 수도 있다. 이 경우, 전체적인 손실 함수(Ltotal)는, 실제 값(y) 및 출력된 예측 값(^y)에 대한 손실 함수(Lout(y,^y))를 기반으로 정의될 수 있으며, 일례로 하기의 수학식 19와 같이 정의될 수 있다.
[수학식 19]
수학식 19에서 lT^imputation은 수학식 16을 통해 연산된 대체 처리에 대한 최종적인 손실을 의미한다. 상술한 학습부(130)는 수학식 19의 전체적인 손실 함수(Ltotal)가 최소화될 수 있도록 반복해서 지속적으로 학습 모델을 갱신시킨다.
상술한 진단 장치(100)는, 상술한 분석(또는 진단)을 위해 특별히 고안된 장치를 이용하여 구현될 수도 있고, 및/또는 기존에 알려진 적어도 하나의 정보처리장치를 단독으로 이용하거나 조합하여 이용함으로써 구현될 수도 있다. 여기서, 적어도 하나의 정보처리장치는, 예를 들어, 데스크톱 컴퓨터, 랩톱 컴퓨터, 서버용 하드웨어 장치, 스마트 폰, 태블릿 피씨, 스마트 시계, 두부 장착형 디스플레이(HMD: Head Mounted Display) 장치, 내비게이션 장치, 휴대용 게임기, 개인용 디지털 보조기(PDA: Personal Digital Assistant), 디지털 텔레비전, 셋 톱 박스, 인공 지능 음향 재생 장치(인공 지능 스피커), 디지털 미디어 플레이어 장치, 가전 기기(냉장고나 세탁기 등), 유인 이동체(승용차, 버스나 이륜차와 같은 차량 등), 무인 이동체(로봇 청소기 등), 유인 비행체, 무인 비행체(드론 등), 가정용 로봇, 산업용 로봇 또는 산업용 기계 장치 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 설계자나 사용자 등은 상황이나 조건에 따라서 상술한 장치 이외에도 정보의 연산 처리 및 제어가 다양한 장치 중 적어도 하나를 상술한 진단 장치(100)로 고려될 수 있다.
이하 도 6을 참조하여 주의력 결핍 과잉 행동 장애 진단 방법의 여러 실시예에 대해서 설명하도록 한다.
도 6은 주의력 결핍 과잉 행동 장애 진단 방법(또는 주의력 결핍 과잉 행동 분석 방법)의 일 실시예에 대한 흐름도이다.
도 6에 도시된 바를 참조하면, 먼저 학습을 위해 학습용 데이터(또는 학습용 영상 데이터)가 획득될 수 있다(200). 학습용 데이터는 기존에 정상인 또는 주의력 결핍 과잉 행동 장애 환자 등의 동공을 촬영하여 획득된 하나 이상의 일련의 영상 데이터(즉, 시계열 영상 데이터)를 포함할 수 있다. 일 실시예에 의하면, 학습용 데이터는 정상인 및 환자 중 적어도 하나에게 적어도 일 지점에 도형(일례로 흑점 등)이 표시된 다수의 매트릭스에 대한 이미지를 제시하고, 일정 시간 이후에 프로브 이미지를 다시 정상인 및 환자 중 적어도 하나에게 제시한 후, 이미지에 질의를 하는 동안에 정상인 및 환자 중 적어도 하나의 동공을 촬영함으로써 획득된 것일 수도 있다. 이 경우, 필요에 따라 프로브 이미지의 제시 전에 방해 자극 이미지가 더 제시될 수도 있다. 동공의 촬영은 이미지의 제시 및 응답 과정이 수행되는 전체 기간 동안 수행될 수도 있고 또는 전체 기간 중 일부 기간 동안 수행될 수도 있다.
순차적으로 학습용 데이터에 대한 데이터 전처리가 수행될 수 있다(202). 여기서, 데이터 전처리 과정(202)은, 일련의 시계열 데이터를 다수의 묶음으로 분리하여 일변량 데이터를 다변량 데이터로 변환하여 수행하는 과정을 포함할 수 있다. 또한, 데이터 전처리 과정(202)은, 시계열 데이터 내에서의 눈 깜빡임 등에 의한 결측치의 존부에 따라 마스크 벡터를 더 생성하는 과정을 포함할 수도 있고, 및/또는 마스크 벡터를 기반으로 타임 갭 벡터(전방향 타임 갭 벡터 및 역방향 타임 갭 벡터 중 적어도 하나를 포함 가능함)를 더 생성할 수도 있다.
데이터 전처리가 종료되면, 전처리된 학습용 데이터를 기반으로 학습 모델에 대한 훈련이 수행될 수 있다(204). 학습 모델은 결측치를 보충하기 위해 결측치 대체 값을 예측 및 생성하고 결합 은닉 상태 시퀀스를 획득하기 하기 위한 대체처리부와, 결합 은닉 상태 시퀀스를 기반으로 분류를 위한 학습 모델을 훈련시키는 분류부를 포함할 수 있다.
대체처리부의 순환 신경망층은 전처리된 학습용 데이터를 입력 받고, 회귀층은 순환 신경망층의 처리 결과를 기반으로 추정 값을 획득하면서 은닉 상태를 훈련시킨다. 적어도 하나의 특정 시점에 대해 전처리된 학습용 데이터가 결측되어 있다면, 순환 신경망층은 직전 과정에서의 회귀층의 추정 결과를 결측치 대체 값으로 하여 입력 받고, 처리 결과를 회귀층으로 전달하여 해당 시점에서의 은닉 상태가 훈련될 수 있도록 한다. 또한, 실시예에 따라 은닉 상태의 훈련에 있어서 전방향 타임 갭 벡터 및 역방향 타임 갭 벡터 중 적어도 하나가 이용될 수도 있다. 이 경우, 전방향 시간 갭 벡터 및 역방향 시간 갭 벡터 중 적어도 하나를 기반으로 결측치 패턴이 획득되고, 획득된 결측치 패턴을 기반으로 적어도 하나의 은닉 시퀀스가 획득될 수 있다. 모든 전처리된 학습용 데이터에 대해 이와 같은 학습 과정이 반복되고, 이에 따라 획득된 적어도 하나의 은식 시퀀스는 소정의 연산자를 통해 결합되고, 최종적으로 결합 은닉 상태 시퀀스가 획득될 수 있게 된다.
분류부는 결합 은닉 상태 시퀀스를 획득하고, 반복 처리부(장단기 메모리, 심층 신경망 또는 콘볼루션 신경망 등을 이용하여 구현 가능함)를 통해 결합 은닉 상태 시퀀스에 대응하는 출력 시퀀스를 획득하고, 이와 동시에 또는 순차적으로 합성곱 처리부(콘볼루션 층, 정규화 및 활성화 함수 층 및 풀링 층 등을 포함 가능함)를 통해 결합 은닉 상태 시퀀스에 대응하는 특징 맵을 획득할 수 있다. 결합 은닉 상태 시퀀스에 대응하는 출력 시퀀스 및 특징 맵이 획득되면, 분류부는 이들을 조합하여 연결하고, 연결 결과를 완전 연결 층 및 소프트맥스 함수 등에 순차적으로 전달하여 실제 값에 대응하는 예측 값을 획득할 수 있다.
학습 모델의 훈련은, 대체 처리에 대한 최종적인 손실과 실제 값에 대응하는 예측 값에 대한 손실이 최소화될 수 있도록 반복 수행된다.
학습 모델이 훈련되면, 피검자에 대한 분석용 데이터가 획득될 수 있다(208). 피검자에 대한 분석용 데이터도, 상술한 학습용 데이터와 동일하게 피검자의 동공을 촬영하여 획득한 하나 이상의 일련의 영상 데이터를 포함할 수 있다. 분석용 데이터의 획득은, 적어도 일 지점에 도형(일례로 흑점 등)이 표시된 다수의 매트릭스에 대한 이미지, 방해 자극 이미지(생략 가능함) 및 프로브 이미지를 순차적으로 제시하고, 그 모든 과정 또는 일부의 과정 동안 피검자의 동공을 진단 장치에 내장된 촬영 모듈이나 유무선 네트워크로 연결된 외부촬영장치를 이용하여 촬영하여 수행될 수도 있다.
이어서 분석용 데이터에 대한 전처리가 수행될 수 있다(210). 분석용 데이터에 대한 전처리 과정(210)은, 상술한 바와 동일하게, 일련의 시계열 데이터를 다수의 묶음으로 분리하여 일변량 데이터를 다변량 데이터로 변환하여 수행하는 과정, 결측치의 존부에 따라 마스크 벡터를 더 생성하는 과정 및 마스크 벡터를 기반으로 타임 갭 벡터를 생성하는 과정 중 적어도 하나를 포함할 수 있다.
데이터 전처리가 종료되면, 전처리된 분석용 데이터를 기반으로 동공의 움직임에 따라 피검자가 주의력 결핍 과잉 행동 장애인지 여부가 판단될 수 있다(212).
구체적으로 판단을 위해 전처리된 분석용 데이터 내의 결측치를 보충하기 위한 결측치 대체 값이 예측 및 생성되고, 이를 기반으로 결합 은닉 상태 시퀀스가 획득될 수 있다. 이러한 과정은 장단기메모리 등을 이용한 순환 신경망층의 입력 값의 처리 과정과, 순환 신경망층의 처리 결과를 기반으로 은닉 상태에 대한 훈련을 수행하는 회귀 층의 처리 과정을 통하여 수행될 수 있다. 회귀 층에 의해 획득된 추정 값은, 다음 시점의 입력 값(다음 시점의 전처리된 분석용 데이터)이 결측치이면, 이에 대한 결측치 대체 값으로 이용될 수 있다. 또한, 분석용 데이터에 대응하는 결합 은닉 상태 시퀀스가 획득되면, 결합 은닉 상태 시퀀스에 대응하는 출력 시퀀스가 반복 처리부에 의해 획득되고, 이와 동시에 또는 순차적으로 결합 은닉 상태 시퀀스에 대응하는 특징 맵이 합성곱 처리부에 의해 획득될 수 있다. 출력 시퀀스 및 특징 맵은 연결되고, 연결 결과는 완전 연결 층으로 입력된다. 완전 연결 층의 처리 결과는 소프트맥스 함수에 의해 소정의 확률 값으로 출력되고, 출력 값에 따라서 분류 결과가 출력된다. 분류 결과는 분석용 데이터를 제공한 피검자가 정상인인지 또는 주의력 결핍 과잉 행동 장애 환자인지 여부를 포함할 수 있다. 이에 따라 복잡한 고가의 장비의 도움 없이도 보다 저렴하고 신속하면서도 정확하게 피검자의 주의력 결핍 과잉 행동 장애 여부가 판단될 수 있게 된다.
상술한 실시예에 따른 주의력 결핍 과잉 행동 장애 진단 방법은, 컴퓨터 장치에 의해 구동될 수 있는 프로그램의 형태로 구현될 수 있다. 프로그램은, 명령어, 라이브러리, 데이터 파일 및/또는 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 프로그램은 기계어 코드나 고급 언어 코드를 이용하여 설계 및 제작된 것일 수 있다. 프로그램은 상술한 방법을 구현하기 위하여 특별히 설계된 것일 수도 있고, 컴퓨터 소프트웨어 분야에서 통상의 기술자에게 기 공지되어 사용 가능한 각종 함수나 정의를 이용하여 구현된 것일 수도 있다. 또한, 여기서, 컴퓨터 장치는, 프로그램의 기능을 실현 가능하게 하는 프로세서나 메모리 등을 포함하여 구현된 것일 수 있으며, 필요에 따라 통신 장치를 더 포함할 수도 있다. 상술한 주의력 결핍 과잉 행동 장애 진단 방법을 구현하기 위한 프로그램은, 컴퓨터에 의해 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터에 의해 판독 가능한 기록 매체는, 예를 들어, 솔리드 스테이트 드라이브(SSD), 롬, 램 또는 플래시 메모리 등과 같은 반도체 저장 장치, 하드 디스크나 플로피 디스크 등과 같은 자기 디스크 저장 매체, 콤팩트 디스크나 디브이디 등과 같은 광 기록 매체, 플롭티컬 디스크 등과 같은 자기-광 기록 매체 및 자기 테이프 등 컴퓨터 등의 호출에 따라 실행되는 특정 프로그램을 저장 가능한 적어도 한 종류의 물리적 장치를 포함할 수 있다.
이상 주의력 결핍 과잉 행동 장애 진단 장치 및 주의력 결핍 과잉 행동 장애 진단 방법의 여러 실시예에 대해 설명하였으나, 주의력 결핍 과잉 행동 장애 진단 장치 또는 주의력 결핍 과잉 행동 장애 진단 방법은 오직 상술한 실시예에 한정되는 것은 아니다. 해당 기술 분야에서 통상의 지식을 가진 자가 상술한 실시예를 기초로 수정 및 변형하여 구현 가능한 다양한 장치나 방법 역시 상술한 주의력 결핍 과잉 행동 장애 진단 장치나 주의력 결핍 과잉 행동 장애 진단 방법의 일례가 될 수 있다. 예를 들어, 설명된 방법(들)이 설명된 바와 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소(들)가 설명된 바와 다른 형태로 결합, 연결 또는 조합되거나 다른 구성 요소 또는 균등물 등에 의하여 대치되거나 또는 치환되더라도, 상술한 주의력 결핍 과잉 행동 장애 진단 장치 또는 주의력 결핍 과잉 행동 장애 진단 방법의 일 실시예가 될 수 있다.
100: 주의력 결핍 과잉 행동 장애 진단 장치
101: 입력부 103: 촬영부
105: 데이터 입출력 단자 107: 저장부
109: 출력부 110: 프로세서
120: 전처리부 130: 학습부
140: 대체 처리부 150: 분류부
151: 반복 처리부 153: 합성곱 처리부
101: 입력부 103: 촬영부
105: 데이터 입출력 단자 107: 저장부
109: 출력부 110: 프로세서
120: 전처리부 130: 학습부
140: 대체 처리부 150: 분류부
151: 반복 처리부 153: 합성곱 처리부
Claims (15)
- 피검자의 동공에 대한 시계열 데이터를 획득하는 입력부; 및
동공에 대한 시계열 데이터를 포함하는 적어도 하나의 학습용 데이터를 이용하여 동공에 대한 시계열 데이터를 입력받아 시계열 데이터의 결측치 대체 값을 획득하고 주의력 결핍 과잉 행동 장애 여부를 판단하도록 학습된 학습 모델을 이용하여, 상기 피검자의 동공에 대한 시계열 데이터의 결측치에 대한 결측치 대체 값을 획득하고, 획득된 결측치 대체 값을 기반으로 결합 은닉 상태 시퀀스를 획득하고, 상기 결합 은닉 상태 시퀀스에 대응하는 출력 시퀀스 및 상기 결합 은닉 상태 시퀀스에 대응하는 특징 맵을 획득하고, 상기 출력 시퀀스 및 상기 특징 맵을 연결하고, 연결 결과를 기반으로 분류 결과를 획득함으로써, 상기 피검자의 주의력 결핍 과잉 행동 장애 여부를 판단하는 프로세서;를 포함하는 주의력 결핍 과잉 행동 장애 진단 장치. - 제1항에 있어서,
상기 피검자의 동공에 대한 시계열 데이터는, 하나 이상의 이미지 및 프로브 이미지가 제시되고, 상기 하나 이상의 이미지 및 프로브 이미지에 대한 질의에 대한 응답이 수행되는 동안, 상기 피검자의 동공을 촬영함으로써 획득된 것인 주의력 결핍 과잉 행동 장애 진단 장치. - 제1항에 있어서,
상기 프로세서는, 상기 피검자의 동공에 대한 시계열 데이터에 대해 전처리를 수행하고,
상기 전처리는, 상기 피검자의 동공에 대한 시계열 데이터에 대한 마스크 벡터를 획득하고, 상기 마스크 벡터를 기반으로 전방향 시간 갭 벡터 및 역방향 시간 갭 벡터 중 적어도 하나를 획득함으로써 수행되는 주의력 결핍 과잉 행동 장애 진단 장치. - 제1항에 있어서,
상기 프로세서는, 보간법(imputation)을 이용하여 상기 피검자의 동공에 대한 시계열 데이터에 대해 전처리를 수행하여, 결측치에 대한 결측치 대체 값을 획득하는 주의력 결핍 과잉 행동 장애 진단 장치. - 제3항에 있어서,
상기 프로세서는, 상기 피검자의 동공에 대한 시계열 데이터 중 특정 시점의 데이터를 순환 신경망층에 입력하고, 순환 신경망층의 처리 결과를 회귀층에 입력하여 상기 특정 시점의 데이터에 대응하는 추정값을 획득하고 상기 추정값을 결측치 대체 값으로 이용함으로써 상기 피검자의 동공에 대한 시계열 데이터의 결측치에 대한 결측치 대체 값을 획득하는 주의력 결핍 과잉 행동 장애 진단 장치. - 제5항에 있어서,
상기 프로세서는, 상기 전방향 시간 갭 벡터 및 상기 역방향 시간 갭 벡터 중 적어도 하나를 기반으로 결측치 패턴(temporal decay)을 획득하고, 상기 결측치 패턴을 기반으로 적어도 하나의 은닉 시퀀스를 획득하고, 적어도 하나의 은닉 시퀀스를 결합하여 상기 결합 은닉 상태 시퀀스를 획득하는 주의력 결핍 과잉 행동 장애 진단 장치. - 제1항에 있어서,
상기 프로세서는 상기 결합 은닉 상태 시퀀스를 양방향 순환 신경망층에 입력하여 상기 결합 은닉 상태 시퀀스에 대응하는 출력 시퀀스를 획득하는 주의력 결핍 과잉 행동 장애 진단 장치. - 제1항에 있어서,
상기 입력부는 상기 적어도 하나의 학습용 데이터를 획득하고, 상기 프로세서는 상기 적어도 하나의 학습용 데이터를 이용하여 신경망 모델을 학습하여 상기 학습 모델을 생성하는 주의력 결핍 과잉 행동 장애 진단 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210092151A KR102557799B1 (ko) | 2021-07-14 | 2021-07-14 | 주의력 결핍 과잉 행동 장애 진단 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210092151A KR102557799B1 (ko) | 2021-07-14 | 2021-07-14 | 주의력 결핍 과잉 행동 장애 진단 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230011650A KR20230011650A (ko) | 2023-01-25 |
| KR102557799B1 true KR102557799B1 (ko) | 2023-07-21 |
Family
ID=85109756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210092151A KR102557799B1 (ko) | 2021-07-14 | 2021-07-14 | 주의력 결핍 과잉 행동 장애 진단 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102557799B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102020598B1 (ko) | 2018-12-11 | 2019-09-10 | 전자부품연구원 | 생체신호 센서 기반 정신질환 진단 및 치유를 위한 바이오피드백 시스템 |
| WO2020144575A1 (en) | 2019-01-08 | 2020-07-16 | Iluria Ltd. | Diagnosis and effectiveness of monitoring attention deficit hyperactivity disorder |
| KR102165592B1 (ko) | 2019-11-15 | 2020-10-14 | 가천대학교 산학협력단 | 주의력결핍 과잉행동장애 치료를 위한 가상현실 콘텐츠 시스템 및 가상현실 콘텐츠를 제공하는 방법 |
| JP2021051564A (ja) | 2019-09-25 | 2021-04-01 | 株式会社Ｊｖｃケンウッド | 視線データ補正装置、評価装置、視線データ補正方法、評価方法、視線データ補正プログラム、及び評価プログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150013567A (ko) * | 2012-04-24 | 2015-02-05 | 우니베르시닷 데 바르셀로나 | 주의력 측정방법 |
| KR102248714B1 (ko) * | 2019-04-30 | 2021-05-07 | 이화여자대학교 산학협력단 | 동영상 학습 환경에서 학습자의 사전지식 및 과제복합성에 따른 인지부하 진단 장치 및 방법 |
| KR102297111B1 (ko) | 2019-12-31 | 2021-09-03 | 광주과학기술원 | 심층 신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법 |
-
2021
- 2021-07-14 KR KR1020210092151A patent/KR102557799B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102020598B1 (ko) | 2018-12-11 | 2019-09-10 | 전자부품연구원 | 생체신호 센서 기반 정신질환 진단 및 치유를 위한 바이오피드백 시스템 |
| WO2020144575A1 (en) | 2019-01-08 | 2020-07-16 | Iluria Ltd. | Diagnosis and effectiveness of monitoring attention deficit hyperactivity disorder |
| JP2021051564A (ja) | 2019-09-25 | 2021-04-01 | 株式会社Ｊｖｃケンウッド | 視線データ補正装置、評価装置、視線データ補正方法、評価方法、視線データ補正プログラム、及び評価プログラム |
| KR102165592B1 (ko) | 2019-11-15 | 2020-10-14 | 가천대학교 산학협력단 | 주의력결핍 과잉행동장애 치료를 위한 가상현실 콘텐츠 시스템 및 가상현실 콘텐츠를 제공하는 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230011650A (ko) | 2023-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110691550B (zh) | 确定感知体验的处理系统和方法、计算机可读介质 | |
| US11937929B2 (en) | Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders | |
| Hashemi et al. | Computer vision analysis for quantification of autism risk behaviors | |
| CN112673378B (zh) | 推断器生成装置、监视装置、推断器生成方法以及推断器生成程序 | |
| US20200342979A1 (en) | Distributed analysis for cognitive state metrics | |
| CN106055894A (zh) | 一种基于人工智能的行为分析方法和系统 | |
| Kumar et al. | Human activity recognition (har) using deep learning: Review, methodologies, progress and future research directions | |
| WO2017136938A1 (en) | A quality adaptive multimodal affect recognition system for user-centric multimedia indexing | |
| Bara et al. | A Deep Learning Approach Towards Multimodal Stress Detection. | |
| Araya et al. | Automatic detection of gaze and body orientation in elementary school classrooms | |
| CN115210750A (zh) | 使用图像转换解释机器学习模型 | |
| Ouhaichi et al. | Mbox: Designing a flexible iot multimodal learning analytics system | |
| Barros et al. | A self-organizing model for affective memory | |
| KR102557799B1 (ko) | 주의력 결핍 과잉 행동 장애 진단 장치 및 방법 | |
| Hou | Deep learning-based human emotion detection framework using facial expressions | |
| Zhang et al. | Diversity and complexity of hand movement for autism spectrum disorder intervention | |
| CN114303117A (zh) | 使用离轴相机的眼睛跟踪和注视估计 | |
| Al-Rammah et al. | CNN-LSTM Based Approach for Analyzing and Detecting Stereotypical Motor Movements of Autistic Children in Pre-Meltdown Crisis | |
| EP4418147A1 (en) | Apparatus & method for generating feature embeddings | |
| da Costa et al. | Latent navigation for building better predictive models for neurodevelopment research | |
| Saxena et al. | Human Activity Tracker and Recognition | |
| El Morabit | New Artificial Intelligence techniques for Computer vision based medical diagnosis | |
| Sena et al. | Deep Learning-based Facial Expression Recognition and Analysis for Filipino Gamers | |
| Kishore et al. | SWIFT cognitive behavioral assessment model built on cognitive analytics of empirical mode internet of things | |
| US20220225917A1 (en) | Electronic device, system and method for predicting the performance of an individual human during a visual perception task |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |