KR20220069499A - 정신 질환 진단 프로토콜 자동 탐색을 위한 컴퓨터 시스템 및 그의 방법 - Google Patents
정신 질환 진단 프로토콜 자동 탐색을 위한 컴퓨터 시스템 및 그의 방법 Download PDFInfo
- Publication number
- KR20220069499A KR20220069499A KR1020200156681A KR20200156681A KR20220069499A KR 20220069499 A KR20220069499 A KR 20220069499A KR 1020200156681 A KR1020200156681 A KR 1020200156681A KR 20200156681 A KR20200156681 A KR 20200156681A KR 20220069499 A KR20220069499 A KR 20220069499A
- Authority
- KR
- South Korea
- Prior art keywords
- examination
- neural network
- artificial neural
- computer system
- diagnosing
- Prior art date
Links
- 208000020016 psychiatric disease Diseases 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000003745 diagnosis Methods 0.000 title abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 99
- 210000004556 brain Anatomy 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 47
- 238000012360 testing method Methods 0.000 claims description 29
- 238000007689 inspection Methods 0.000 claims description 28
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 208000029560 autism spectrum disease Diseases 0.000 claims description 8
- 230000002787 reinforcement Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 230000000306 recurrent effect Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- PGOHTUIFYSHAQG-LJSDBVFPSA-N (2S)-6-amino-2-[[(2S)-5-amino-2-[[(2S)-2-[[(2S)-2-[[(2S)-2-[[(2S)-4-amino-2-[[(2S)-2-[[(2S)-2-[[(2S)-2-[[(2S)-2-[[(2S)-5-amino-2-[[(2S)-5-amino-2-[[(2S)-2-[[(2S)-2-[[(2S)-2-[[(2S,3R)-2-[[(2S)-5-amino-2-[[(2S)-2-[[(2S)-2-[[(2S,3R)-2-[[(2S)-2-[[(2S)-2-[[(2S)-2-[[(2S)-2-[[(2S)-5-amino-2-[[(2S)-1-[(2S,3R)-2-[[(2S)-2-[[(2S)-2-[[(2R)-2-[[(2S)-2-[[(2S)-2-[[2-[[(2S)-2-[[(2S)-2-[[(2S)-2-[[(2S)-1-[(2S)-2-[[(2S)-2-[[(2S)-2-[[(2S)-2-amino-4-methylsulfanylbutanoyl]amino]-3-(1H-indol-3-yl)propanoyl]amino]-5-carbamimidamidopentanoyl]amino]propanoyl]pyrrolidine-2-carbonyl]amino]-3-methylbutanoyl]amino]-4-methylpentanoyl]amino]-4-methylpentanoyl]amino]acetyl]amino]-3-hydroxypropanoyl]amino]-4-methylpentanoyl]amino]-3-sulfanylpropanoyl]amino]-4-methylsulfanylbutanoyl]amino]-5-carbamimidamidopentanoyl]amino]-3-hydroxybutanoyl]pyrrolidine-2-carbonyl]amino]-5-oxopentanoyl]amino]-3-hydroxypropanoyl]amino]-3-hydroxypropanoyl]amino]-3-(1H-imidazol-5-yl)propanoyl]amino]-4-methylpentanoyl]amino]-3-hydroxybutanoyl]amino]-3-(1H-indol-3-yl)propanoyl]amino]-5-carbamimidamidopentanoyl]amino]-5-oxopentanoyl]amino]-3-hydroxybutanoyl]amino]-3-hydroxypropanoyl]amino]-3-carboxypropanoyl]amino]-3-hydroxypropanoyl]amino]-5-oxopentanoyl]amino]-5-oxopentanoyl]amino]-3-phenylpropanoyl]amino]-5-carbamimidamidopentanoyl]amino]-3-methylbutanoyl]amino]-4-methylpentanoyl]amino]-4-oxobutanoyl]amino]-5-carbamimidamidopentanoyl]amino]-3-(1H-indol-3-yl)propanoyl]amino]-4-carboxybutanoyl]amino]-5-oxopentanoyl]amino]hexanoic acid Chemical compound CSCC[C@H](N)C(=O)N[C@@H](Cc1c[nH]c2ccccc12)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](C)C(=O)N1CCC[C@H]1C(=O)N[C@@H](C(C)C)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CC(C)C)C(=O)NCC(=O)N[C@@H](CO)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CS)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H]([C@@H](C)O)C(=O)N1CCC[C@H]1C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CO)C(=O)N[C@@H](CO)C(=O)N[C@@H](Cc1cnc[nH]1)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](Cc1c[nH]c2ccccc12)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CO)C(=O)N[C@@H](CC(O)=O)C(=O)N[C@@H](CO)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](Cc1ccccc1)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](C(C)C)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CC(N)=O)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](Cc1c[nH]c2ccccc12)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CCCCN)C(O)=O PGOHTUIFYSHAQG-LJSDBVFPSA-N 0.000 description 1
- 206010037180 Psychiatric symptoms Diseases 0.000 description 1
- 102000002262 Thromboplastin Human genes 0.000 description 1
- 108010000499 Thromboplastin Proteins 0.000 description 1
- 238000009227 behaviour therapy Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 238000004820 blood count Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
다양한 실시예들은 정신 질환 진단 프로토콜 자동 탐색을 위한 컴퓨터 시스템 및 그의 방법에 관한 것으로, 제 1 인공 신경망을 기반으로, 환자의 뇌 영상에서 미리 정해진 정신 질환 진단을 위해 검사되어야 할 적어도 하나의 검사 영역을 결정하고, 제 2 인공 신경망을 기반으로, 환자에 대해 정신 질환 진단을 위한 검사 프로세스를 결정하고, 검사 영역과 검사 프로세스를 기반으로, 환자에 대해 정신 질환 진단을 위한 검사 프토로콜을 제공하도록 구성될 수 있다. 다양한 실시예들에 따르면, 컴퓨터 시스템은 뇌 영상에서 검사 영역의 위치, 형상, 크기 또는 중요도 중 적어도 하나를 시각화할 수 있다. 다양한 실시예들에 따르면, 검사 프로세스는 정신 질환 진단을 위해 뇌 영상이 활용되어야 할 복수의 검사 스테이지들의 진행 순서를 포함할 수 있다.
Description
다양한 실시예들은 정신 질환 진단 프로토콜 자동 탐색을 위한 컴퓨터 시스템 및 그의 방법에 관한 것이다.
일반적으로, 자폐 스펙트럼 장애(autism spectrum disorder; ASD)와 같은 정신 질환 진단은 복잡한 정신 의학적 증상 및 불충분한 신경생물학적 지식으로 인해, 자동 시스템을 통해 독립적으로 정확한 결론을 도출하기 매우 어렵다. 또한, 결론이 도출되더라도, 해당 결론을 뒷받침하는 의학 구조적 및 전략적 증거가 되는 변수 제시에 어려움이 있다. 덧붙여, 해당 결론 도출에 사용된 다수의 의학적 증거를 시간 효율적 진단 순서로 나열하는 논증 제시가 불가능하다. 한편, 복잡도 높은 정신 질환 진단을 딥러닝 알고리즘과 같은 전통적 모델링 방식 기반으로 단순 분류 시스템화 할 경우, 블랙-박스(black-box) 특성으로 인해 결론 도출에 대한 신뢰성이 높지 않다.
다양한 실시예들은, 인공 신경망을 기반으로 하는 응용 기계 학습을 통해, 신뢰도 높은 정신 질환 진단 프로토콜을 자동 탐색할 수 있는 컴퓨터 시스템 및 그의 방법을 제공한다.
다양한 실시예들에 따른 컴퓨터 시스템에 의한 방법은, 제 1 인공 신경망을 기반으로, 환자의 뇌 영상에서 미리 정해진 정신 질환 진단을 위해 검사되어야 할 적어도 하나의 검사 영역을 결정하는 단계, 제 2 인공 신경망을 기반으로, 상기 환자에 대해 상기 정신 질환 진단을 위한 검사 프로세스를 결정하는 단계, 및 상기 검사 영역과 상기 검사 프로세스를 기반으로, 상기 환자에 대해 상기 정신 질환 진단을 위한 검사 프토로콜을 제공하는 단계를 포함할 수 있다.
다양한 실시예들에 따른 컴퓨터 시스템은, 메모리, 및 상기 메모리와 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고, 상기 프로세서는, 제 1 인공 신경망을 기반으로, 환자의 뇌 영상에서 미리 정해진 정신 질환 진단을 위해 검사되어야 할 적어도 하나의 검사 영역을 결정하고, 제 2 인공 신경망을 기반으로, 상기 환자에 대해 상기 정신 질환 진단을 위한 검사 프로세스를 결정하고, 상기 검사 영역과 상기 검사 프로세스를 기반으로, 상기 환자에 대해 상기 정신 질환 진단을 위한 검사 프토로콜을 제공하도록 구성될 수 있다.
다양한 실시예들에 따른 비-일시적인 컴퓨터-판독 가능 저장 매체는, 제 1 인공 신경망을 기반으로, 환자의 뇌 영상에서 미리 정해진 정신 질환 진단을 위해 검사되어야 할 적어도 하나의 검사 영역을 결정하는 단계, 제 2 인공 신경망을 기반으로, 상기 환자에 대해 상기 정신 질환 진단을 위한 검사 프로세스를 결정하는 단계, 및 상기 검사 영역과 상기 검사 프로세스를 기반으로, 상기 환자에 대해 상기 정신 질환 진단을 위한 검사 프토로콜을 제공하는 단계를 실행하기 위한 하나 이상의 프로그램들을 저장할 수 있다.
다양한 실시예들에 따르면, 컴퓨터 시스템이 인공 신경망을 기반으로 하는 응용 기계 학습을 통해, 신뢰도 높은 정신 질환 진단 프로토콜을 자동 탐색할 수 있다. 이 때 컴퓨터 시스템은 뇌 영상에서 정신 질환 진단을 위해 검사되어야 할 검사 영역과 정신 질환 진단을 위한 검사 프로세스를 결정하고, 이들을 기반으로 검사 프로토콜을 환자를 위한 검사 프로토콜을 환자의 정신 질환 진단을 위한 가이드 라인으로서 제공할 수 있다. 이를 통해, 컴퓨터 시스템의 사용자가 검사 프로토콜을 기반으로, 환자에 대해 정신 질환 진단을 보다 정확하고 용이하게 진단할 수 있다. 이 때 사용자는 환자의 정신 질환 여부를 확률적으로 진단하고, 정신 질환에 대한 심각도를 예측할 수 있다. 이는, 정신 질환 진단에 소요되는 시간 및 비용 등을 절감하고, 보다 신속하고 높은 신뢰도의 정신 질환 진단을 가능하게 한다.
도 1은 다양한 실시예들에 따른 컴퓨터 시스템을 도시하는 도면이다.
도 2는 도 1의 컴퓨터 시스템의 동작 특징을 설명하기 위한 도면이다.
도 3a 및 도 3b는 다양한 실시예들에 따른 컴퓨터 시스템의 제 1 인공 신경망을 예시적으로 도시하는 도면들이다.
도 4a, 도 4b, 도 4c 및 도 4d는 다양한 실시예들에 따른 컴퓨터 시스템의 제 1 인공 신경망의 동작 특징을 설명하기 위한 도면들이다.
도 5는 다양한 실시예들에 따른 컴퓨터 시스템의 제 2 인공 신경망을 예시적으로 도시하는 도면이다.
도 6a, 도 6b 및 도 6c는 다양한 실시예들에 따른 컴퓨터 시스템의 제 2 인공 신경망의 동작 특징을 설명하기 위한 도면들이다.
도 7은 다양한 실시예들에 따른 컴퓨터 시스템에 의한 방법을 도시하는 도면이다.
도 2는 도 1의 컴퓨터 시스템의 동작 특징을 설명하기 위한 도면이다.
도 3a 및 도 3b는 다양한 실시예들에 따른 컴퓨터 시스템의 제 1 인공 신경망을 예시적으로 도시하는 도면들이다.
도 4a, 도 4b, 도 4c 및 도 4d는 다양한 실시예들에 따른 컴퓨터 시스템의 제 1 인공 신경망의 동작 특징을 설명하기 위한 도면들이다.
도 5는 다양한 실시예들에 따른 컴퓨터 시스템의 제 2 인공 신경망을 예시적으로 도시하는 도면이다.
도 6a, 도 6b 및 도 6c는 다양한 실시예들에 따른 컴퓨터 시스템의 제 2 인공 신경망의 동작 특징을 설명하기 위한 도면들이다.
도 7은 다양한 실시예들에 따른 컴퓨터 시스템에 의한 방법을 도시하는 도면이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
도 1은 다양한 실시예들에 따른 컴퓨터 시스템(100)을 도시하는 도면이다. 도 2는 도 1의 컴퓨터 시스템(100)의 동작 특징을 설명하기 위한 도면이다. 도 3a 및 도 3b는 다양한 실시예들에 따른 컴퓨터 시스템(100)의 제 1 인공 신경망을 예시적으로 도시하는 도면들이다. 도 4a, 도 4b, 도 4c 및 도 4d는 다양한 실시예들에 따른 컴퓨터 시스템(100)의 제 1 인공 신경망의 동작 특징을 설명하기 위한 도면들이다. 도 5는 다양한 실시예들에 따른 컴퓨터 시스템(100)의 제 2 인공 신경망을 예시적으로 도시하는 도면이다. 도 6a, 도 6b 및 도 6c는 다양한 실시예들에 따른 컴퓨터 시스템(100)의 제 2 인공 신경망의 동작 특징을 설명하기 위한 도면들이다.
도 1을 참조하면, 다양한 실시예들에 따른 컴퓨터 시스템(100)은, 입력 모듈(110), 출력 모듈(120), 메모리(130), 또는 프로세서(140) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에서, 컴퓨터 시스템(100)의 구성 요소들 중 적어도 하나가 생략될 수 있으며, 적어도 하나의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서, 컴퓨터 시스템(100)의 구성 요소들 중 적어도 두 개가 하나의 통합된 회로로 구현될 수 있다. 이 때 컴퓨터 시스템(100)은 적어도 하나의 장치, 예컨대 적어도 하나의 서버(server) 또는 적어도 하나의 전자 장치(electronic device) 중 적어도 하나로 이루어질 수 있다. 어떤 실시예에서, 컴퓨터 시스템(100)이 복수의 장치들을 포함하는 경우, 컴퓨터 시스템(100)의 구성 요소들은 장치들 중 하나에 구성되거나, 장치들 중 적어도 두 개에 분산되어 구성될 수 있다.
입력 모듈(110)은 컴퓨터 시스템(100)의 적어도 하나의 구성 요소에 사용될 신호를 입력할 수 있다. 입력 모듈(110)은, 사용자가 컴퓨터 시스템(100)에 직접적으로 신호를 입력하도록 구성되는 입력 장치, 주변의 변화를 감지하여 신호를 발생하도록 구성되는 센서 장치, 또는 외부 기기로부터 신호를 수신하도록 구성되는 수신 장치 중 적어도 하나를 포함할 수 있다. 예를 들면, 입력 장치는 마이크로폰(microphone), 마우스(mouse) 또는 키보드(keyboard) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에서, 입력 장치는 터치를 감지하도록 설정된 터치 회로(touch circuitry) 또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로 중 적어도 하나를 포함할 수 있다.
출력 모듈(120)은 컴퓨터 시스템(100)의 외부로 정보를 출력할 수 있다. 출력 모듈(120)은, 정보를 시각적으로 출력하도록 구성되는 표시 장치, 정보를 오디오 신호로 출력할 수 있는 오디오 출력 장치, 또는 정보를 무선으로 송신할 수 있는 송신 장치 중 적어도 하나를 포함할 수 있다. 예를 들면, 표시 장치는 디스플레이, 홀로그램 장치 또는 프로젝터 중 적어도 하나를 포함할 수 있다. 일 예로, 표시 장치는 입력 모듈(110)의 터치 회로 또는 센서 회로 중 적어도 하나와 조립되어, 터치 스크린으로 구현될 수 있다. 예를 들면, 오디오 출력 장치는 스피커 또는 리시버 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 수신 장치와 송신 장치는 통신 모듈로 구현될 수 있다. 통신 모듈은 컴퓨터 시스템(100)에서 외부 기기와 통신을 수행할 수 있다. 통신 모듈은 컴퓨터 시스템(100)와 외부 기기 간 통신 채널을 수립하고, 통신 채널을 통해, 외부 기기와 통신을 수행할 수 있다. 여기서, 외부 기기는 위성, 기지국, 서버 또는 다른 컴퓨터 시스템 중 적어도 하나를 포함할 수 있다. 통신 모듈은 유선 통신 모듈 또는 무선 통신 모듈 중 적어도 하나를 포함할 수 있다. 유선 통신 모듈은 외부 기기와 유선으로 연결되어, 유선으로 통신할 수 있다. 무선 통신 모듈은 근거리 통신 모듈 또는 원거리 통신 모듈 중 적어도 하나를 포함할 수 있다. 근거리 통신 모듈은 외부 기기와 근거리 통신 방식으로 통신할 수 있다. 예를 들면, 근거리 통신 방식은, 블루투스(Bluetooth), 와이파이 다이렉트(WiFi direct), 또는 적외선 통신(IrDA; infrared data association) 중 적어도 하나를 포함할 수 있다. 원거리 통신 모듈은 외부 기기와 원거리 통신 방식으로 통신할 수 있다. 여기서, 원거리 통신 모듈은 네트워크를 통해 외부 기기와 통신할 수 있다. 예를 들면, 네트워크는 셀룰러 네트워크, 인터넷, 또는 LAN(local area network)이나 WAN(wide area network)과 같은 컴퓨터 네트워크 중 적어도 하나를 포함할 수 있다.
메모리(130)는 컴퓨터 시스템(100)의 적어도 하나의 구성 요소에 의해 사용되는 다양한 데이터를 저장할 수 있다. 예를 들면, 메모리(130)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 하나를 포함할 수 있다. 데이터는 적어도 하나의 프로그램 및 이와 관련된 입력 데이터 또는 출력 데이터를 포함할 수 있다. 프로그램은 메모리(130)에 적어도 하나의 명령을 포함하는 소프트웨어로서 저장될 수 있으며, 운영 체제, 미들 웨어 또는 어플리케이션 중 적어도 하나를 포함할 수 있다.
프로세서(140)는 메모리(130)의 프로그램을 실행하여, 컴퓨터 시스템(100)의 적어도 하나의 구성 요소를 제어할 수 있다. 이를 통해, 프로세서(140)는 데이터 처리 또는 연산을 수행할 수 있다. 이 때 프로세서(140)는 메모리(130)에 저장된 명령을 실행할 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는 환자의 뇌 영상으로부터, 미리 정해진 정신 질환 진단을 위한 검사 프로토콜을 제공할 수 있다. 예를 들면, 정신 질환은 자폐 스펙트럼 장애를 포함할 수 있다. 이 때 검사 프로토콜은 환자의 정신 질환 진단을 위한 검사 정책을 나타내며, 뇌 영상에서의 적어도 하나의 검사 영역 및 검사 프로세스를 포함할 수 있다. 검사 영역은 뇌 영상에서 정신 질환 진단을 위해 검사되어야 할 부위를 나타낼 수 있다. 정신 진환 진단을 위한 복수의 검사 스테이지들이 존재할 수 있다. 검사 프로세스는 검사 스테이지들의 진행 순서 또는 뇌 영상에서의 복수의 검사 영역들의 검사 순서 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는 인공 신경망을 기반으로, 환자의 뇌 영상으로부터 검사 프로토콜을 제공할 수 있다. 인공 신경망은 제 1 인공 신경망과 제 2 인공 신경망을 포함할 수 있다. 프로세서(140)는, 도 2에 도시된 바와 같이 제 1 인공 신경망과 제 2 인공 신경망의 각각을 기반으로, 입력되는 벡터화된 의료 멀티 모달 데이터를 분석할 수 있다. 여기서, 의료 멀티 모달 데이터는 상이한 방식들로 획득되는 복수의 데이터 아이템들을 포함하며, 데이터 아이템들은 뇌 영상 및 적어도 하나의 다른 데이터 아이템을 포함할 수 있다. 뇌 영상은, 예컨대 자기 공명 영상법(magnetic resonance imaging; MRI) 또는 양전자 단층 촬영(positron emission tomography; PET) 중 적어도 어느 하나에 의해, 생성될 수 있다. 다른 데이터 아이템은, 예컨대 트롬보 플라스틴 스크리닝 검사(thromboplastin screening test; TST) 결과, 행동 검사 결과, 일반 혈액 검사(complete blood count; CBC) 결과 또는 뇌파 검사(electroencephalogram; EEG) 결과 등 중 적어도 하나를 포함할 수 있다. 이를 위해, 제 1 인공 신경망과 제 2 인공 신경망은 정신 질환 진단과 관련하여 미리 수집된 빅 데이터를 기반으로 사전-훈련되어 있을 수 있다. 프로세서(140)는, 도 2에 도시된 바와 같이 제 1 인공 신경망의 분석 결과 및 제 2 인공 신경망의 분석 결과에 따라, 환자의 정신 질환 여부 및 확률을 출력할 수 있다. 여기서, 프로세서(140)는 제 1 인공 신경망의 분석 결과와 제 2 인공 신경망의 분석 결과를 조합하여, 환자의 정신 질환 여부를 확률적으로 제시할 수 있다. 프로세서(140)는, 도 2에 도시된 바와 같이 제 1 인공 신경망의 분석 결과 및 제 2 인공 신경망의 분석 결과에 따라, 환자를 위한 검사 프로토콜을 환자의 정신 질환 진단을 위한 가이드 라인으로서 출력할 수 있다. 프로세서(140)는 검사 영역과 검사 프로세스를 기반으로, 검사 프로토콜을 제공할 수 있다.
프로세서(140)는 제 1 인공 신경망을 기반으로, 환자의 정신 질환 여부 및 확률을 출력할 수 있다. 그리고, 프로세서(140)는 뇌 영상에서 적어도 하나의 검사 영역을 결정할 수 있다. 아울러, 프로세서(140)는 제 1 인공 신경망을 기반으로, 의료 멀티 모달 데이터의 데이터 아이템들의 각각에 대한 상대적인 중요도를 검출할 수 있다. 제 1 인공 신경망은 클래스 활성화 매핑(class activation mapping; CAM) 기법과, 심층 합성곱 신경망(convolutional neural network; CNN) 또는 완전 연결 신경망(fully connected neural network) 중 적어도 하나에 기반하여, 구성될 수 있다.
일 실시예에 따르면, 의료 싱글 모달 데이터에 대해, 제 1 인공 신경망은 도 3a 및 도 3b에 도시된 바와 같이 구성되어 의료 싱글 모달 데이터를 분석하고, 도 4a, 도 4b, 도 4c 또는 도 4d 중 적어도 하나에 도시된 바와 같이 의료 싱글 모달 데이터를 시각화할 수 있다. 예를 들면, 의료 싱글 모달 데이터는 자기 공명 영상법에 따라 획득되는 환자의 뇌 영상이고, 프로세서(140)는 제 1 인공 신경망을 기반으로, 환자의 뇌 영상에서 검사 영역을 시각화할 수 있다. 일 예로, 제 1 인공 신경망은, 도 3a에 도시된 바와 같이 심층 합성곱 신경망을 기반으로, 환자의 뇌 영상으로부터 환자의 정신 질환 여부를 확률적으로 출력할 수 있다. 그리고, 제 1 인공 신경망은, 도 3b에 도시된 바와 같이 클래스 활성화 매핑(CAM) 기법을 적용하여, 심층 합성곱 신경망으로부터 검사 영상을 출력할 수 있다. 이 때 제 1 인공 신경망은, 도 4a, 도 4b, 도 4c 및 도 4d에 도시된 바와 같이, 검사 영상을 통해 검사 영역을 시각화할 수 있다. 검사 영역의 위치, 형상, 크기 또는 중요도 중 적어도 하나가 시각화될 수 있다. 여기서, 검사 영역의 중요도가 미리 정해진 히트맵(heatmap)을 이용하여, 시각화될 수 있다. 도 4a 또는 도 4c에 도시된 바와 같이 검사 영상 전체에 걸쳐 히트맵에 따른 색상들을 분포시킴으로써, 검사 영역이 시각화되거나, 도 4b 또는 도 4d에 도시된 바와 같이 가장 높은 중요도의 검사 영역이 히트맵에 따른 색상으로 시각화될 수 있다. 다른 예로, 심층 합성곱 신경망은 완전 연결 신경망으로 대체될 수 있다.
다른 실시예에 따르면, 의료 멀티 모달 데이터에 대해, 제 1 인공 신경망은 의료 멀티 모달 데이터를 분석하고, 의료 멀티 모달 데이터를 시각화할 수 있다. 이 때 의료 멀티 모달 데이터의 데이터 아이템들의 각각에 대한 상대적인 중요도가 시각화될 수 있다. 여기서, 데이터 아이템들의 각각에 대한 상대적인 중요도가 미리 정해진 히트맵을 이용하여, 시각화될 수 있다.
프로세서(140)는 제 2 인공 신경망을 기반으로, 환자의 정신 질환 여부 및 확률을 출력할 수 있다. 그리고, 프로세서(140)는 제 2 인공 신경망을 기반으로, 검사 프로세스를 결정할 수 있다. 일 실시예에 따르면, 뇌 영상에서 복수의 검사 영역들이 결정되는 경우, 검사 프로세스는 뇌 영상에서의 검사 영역들의 검사 순서를 포함할 수 있다. 다른 실시예에 따르면, 검사 프로세스는 환자의 정신 질환 진단을 위해 의료 멀티 모달 데이터의 데이터 아이템들이 활용되는 순서를 나타낼 수 있다. 여기서, 데이터 아이템들의 각각은 검사 스테이지들 각각에서 활용되므로, 검사 프로세스는 검사 스테이지들의 진행 순서로 표현될 수도 있다. 제 2 인공 신경망은 심층 재귀 신경망(deep recurrent neural network)과 강화 학습(reinforcement learning)에 기반하여, 구성되는 시주의 모델(visual attention model)일 수 있다.
일 실시예에 따르면, 의료 싱글 모달 데이터에 대해, 제 2 인공 신경망은 도 5에 도시된 바와 같이 심층 재귀 신경망과 강화 학습에 기반하여, 구성되어, 도 6a, 도 6b 또는 도 6c 중 적어도 하나에 도시된 바와 같이 의료 싱글 모달 데이터에 대해 검사 순서를 결정할 수 있다. 예를 들면, 의료 싱글 모달 데이터는 자기 공명 영상법에 따라 획득되는 환자의 뇌 영상일 수 있다. 여기서, 환자의 뇌 영상에 대해 검사 영역들이 결정되는 경우, 제 2 인공 신경망은 뇌 영상에서의 검사 영역들의 검사 순서를 결정할 수 있다. 이를 통해, 제 2 인공 신경망은 도 6a, 도 6b 또는 도 6c 중 적어도 하나에 도시된 바와 같이 뇌 영상을에서의 검사 영역들의 검사 순서를 제공할 수 있다.
다른 실시예에 따르면, 의료 멀티 모달 데이터에 대해, 제 2 인공 신경망은 심층 재귀 신경망과 강화 학습에 기반하여, 구성되어, 의료 멀티 모달 데이터에 대해 검사 순서를 결정할 수 있다. 이 때 의료 멀티 모달 데이터의 데이터 아이템들이 활용되는 순서, 즉 검사 스테이지들의 진행 순서가 결정될 수 있다.
도 7은 다양한 실시예들에 따른 컴퓨터 시스템(100)에 의한 방법을 도시하는 도면이다. 이 때 도 7은 컴퓨터 시스템(100)에 의한, 정신 질환 진단 프로토콜 자동 탐색을 위한 방법을 나타낸다. 예를 들면, 정신 질환은 자폐 스펙트럼 장애를 포함할 수 있다.
도 7을 참조하면, 컴퓨터 시스템(100)은 710 단계에서 제 1 인공 신경망을 기반으로, 환자의 뇌 영상에서 적어도 하나의 검사 영역을 결정할 수 있다. 제 1 인공 신경망은 클래스 활성화 매핑 기법과, 심층 합성곱 신경망 또는 완전 연결 신경망 중 적어도 하나에 기반하여, 구성될 수 있다. 프로세서(140)는 제 1 인공 신경망을 기반으로, 입력되는 벡터화된 의료 멀티 모달 데이터를 분석할 수 있다. 여기서, 의료 멀티 모달 데이터는 상이한 방식들로 획득되는 복수의 데이터 아이템들을 포함하며, 데이터 아이템들은 뇌 영상 및 적어도 하나의 다른 데이터 아이템을 포함할 수 있다. 프로세서(140)는 제 1 인공 신경망을 기반으로, 환자의 정신 질환 여부 및 확률을 출력할 수 있다. 그리고, 프로세서(140)는 뇌 영상에서 적어도 하나의 검사 영역을 결정할 수 있다. 검사 영역은 뇌 영상에서 정신 질환 진단을 위해 검사되어야 할 부위를 나타낼 수 있다. 이 때 프로세서(140)는 뇌 영상에서 검사 영역의 위치, 형상, 크기 또는 중요도 중 적어도 하나를 시각화할 수 있다. 여기서, 프로세서(140)는 검사 영역의 중요도를 미리 정해진 히트맵을 이용하여, 시각화할 수 있다. 아울러, 프로세서(140)는 제 1 인공 신경망을 기반으로, 의료 멀티 모달 데이터의 데이터 아이템들의 각각에 대한 상대적인 중요도를 검출할 수 있다. 이 때 프로세서(140)는 의료 멀티 모달 데이터의 데이터 아이템들의 각각에 대한 상대적인 중요도를 시각화할 수 있다. 여기서, 프로세서(140)는 데이터 아이템들의 각각에 대한 상대적인 중요도를 미리 정해진 히트맵을 이용하여, 시각화할 수 있다.
컴퓨터 시스템(100)는 720 단계에서 제 2 인공 신경망을 기반으로, 환자에 대해 검사 프로세스를 결정할 수 있다. 제 2 인공 신경망은 심층 재귀 신경망과 강화 학습에 기반하여, 구성되는 시주의 모델일 수 있다. 프로세서(140)는 제 2 인공 신경망을 기반으로, 입력되는 벡터화된 의료 멀티 모달 데이터를 분석할 수 있다. 프로세서(140)는 제 2 인공 신경망을 기반으로, 환자의 정신 질환 여부 및 확률을 출력할 수 있다. 그리고, 프로세서(140)는 제 2 인공 신경망을 기반으로, 검사 프로세스를 결정할 수 있다. 일 실시예에 따르면, 뇌 영상에서 복수의 검사 영역들이 결정되는 경우, 검사 프로세스는 뇌 영상에서의 검사 영역들의 검사 순서를 포함할 수 있다. 다른 실시예에 따르면, 검사 프로세스는 환자의 정신 질환 진단을 위해 의료 멀티 모달 데이터의 데이터 아이템들이 활용되는 순서를 나타낼 수 있다. 여기서, 데이터 아이템들의 각각은 검사 스테이지들 각각에서 활용되므로, 검사 프로세스는 검사 스테이지들의 진행 순서로 표현될 수도 있다.
컴퓨터 시스템(100)은 730 단계에서 검사 영역과 검사 프로세스를 기반으로, 환자에 대해 검사 프로토콜을 제공할 수 있다. 검사 프로토콜은 환자의 정신 질환 진단을 위한 검사 정책을 나타낼 수 있다. 프로세서(140)는 검사 영역과 검사 프로세스를 기반으로, 환자를 위한 검사 프로토콜을 환자의 정신 질환 진단을 위한 가이드 라인으로서 출력할 수 있다.
이를 통해, 컴퓨터 시스템(100)의 사용자, 예컨대 의사와 같은 의료인은 환자에 대한 검사 프로토콜을 기반으로, 환자에 대해 정신 질환 진단을 수행할 수 있다. 즉, 사용자는 뇌 영상에서 검사 영역을 집중적으로 검사할 수 있다. 여기서, 사용자는 각 검사 영역의 중요도를 기반으로, 검사 영역을 검사할 수 있다. 한편, 사용자는 의료 멀티 모달 데이터의 데이터 아이템들을 각각의 중요도를 기반으로 검사할 수 있다. 그리고, 사용자는 검사 프로세스를 기반으로, 뇌 영상에서 검사 영역들의 검사 순서를 따라, 검사 영역들을 검사할 수 있다. 한편, 사용자는 검사 프로세스를 기반으로, 검사 스테이지들의 진행 순서에 따라, 검사 스테이지들의 각각에서 데이터 아이템들의 각각을 검사할 수 있다. 이에 따라, 사용자는 환자에 대해 정신 질환 여부를 보다 정확하고 용이하게 진단할 수 있다. 이 때 사용자는 환자의 정신 질환 여부를 확률적으로 진단하고, 정신 질환에 대한 심각도를 예측할 수 있다. 이는, 정신 질환 진단에 소요되는 시간 및 비용 등을 절감하고, 보다 신속하고 높은 신뢰도의 정신 질환 진단을 가능하게 한다.
다양한 실시예들에 따르면, 컴퓨터 시스템(100)이 인공 신경망을 기반으로 하는 응용 기계 학습을 통해, 신뢰도 높은 정신 질환 진단 프로토콜을 자동 탐색할 수 있다. 이 때 컴퓨터 시스템(100)은 뇌 영상에서 정신 질환 진단을 위해 검사되어야 할 검사 영역과 정신 질환 진단을 위한 검사 프로세스를 결정하고, 이들을 기반으로 검사 프로토콜을 환자를 위한 검사 프로토콜을 환자의 정신 질환 진단을 위한 가이드 라인으로서 제공할 수 있다. 이를 통해, 컴퓨터 시스템(100)의 사용자가 검사 프로토콜을 기반으로, 환자에 대해 정신 질환 진단을 보다 정확하고 용이하게 진단할 수 있다. 이 때 사용자는 환자의 정신 질환 여부를 확률적으로 진단하고, 정신 질환에 대한 심각도를 예측할 수 있다. 이는, 정신 질환 진단에 소요되는 시간 및 비용 등을 절감하고, 보다 신속하고 높은 신뢰도의 정신 질환 진단을 가능하게 한다.
다양한 실시예들에 따른 컴퓨터 시스템(100)에 의한 방법은, 제 1 인공 신경망을 기반으로, 환자의 뇌 영상에서 미리 정해진 정신 질환 진단을 위해 검사되어야 할 적어도 하나의 검사 영역을 결정하는 단계(710 단계), 제 2 인공 신경망을 기반으로, 환자에 대해 정신 질환 진단을 위한 검사 프로세스를 결정하는 단계(720 단계), 및 검사 영역과 검사 프로세스를 기반으로, 환자에 대해 정신 질환 진단을 위한 검사 프토로콜을 제공하는 단계(730 단계)를 포함할 수 있다.
다양한 실시예들에 따르면, 검사 영역을 결정하는 단계(710 단계)는, 뇌 영상에서 검사 영역의 위치, 형상, 크기 또는 중요도 중 적어도 하나를 시각화할 수 있다.
다양한 실시예들에 따르면, 검사 영역을 결정하는 단계(710 단계)는, 미리 정해진 히트맵을 이용하여, 중요도를 시각화할 수 있다.
다양한 실시예들에 따르면, 제 1 인공 신경망은, 클래스 활성화 매핑 기법과, 심층 합성곱 신경망 또는 완전 연결 신경망(fully connected neural network) 중 적어도 하나에 기반하여, 구성될 수 있다.
다양한 실시예들에 따르면, 정신 질환 진단을 위한 복수의 검사 스테이지들이 존재하며, 검사 프로세스는, 검사 스테이지들의 진행 순서를 포함할 수 있다.
다양한 실시예들에 따르면, 검사 프로세스는, 뇌 영상에서 복수의 검사 영역들이 결정되는 경우, 검사 영역들의 검사 순서를 포함할 수 있다.
다양한 실시예들에 따르면, 제 2 인공 신경망은, 심층 재귀 신경망과 강화 학습에 기반하여, 구성되는 시주의 모델일 수 있다.
다양한 실시예들에 따르면, 상기 방법은, 제 1 인공 신경망 및 제 2 인공 신경망을 기반으로, 환자에 대한 정신 질환 여부를 확률적으로 제시하는 단계를 더 포함할 수 있다.
다양한 실시예들에 따르면, 정신 질환은 자폐 스펙트럼 장애를 포함할 수 있다.
다양한 실시예들에 따른 컴퓨터 시스템(100)은, 메모리(130), 및 메모리(130)와 연결되고, 메모리(130)에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서(140)를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 제 1 인공 신경망을 기반으로, 환자의 뇌 영상에서 미리 정해진 정신 질환 진단을 위해 검사되어야 할 적어도 하나의 검사 영역을 결정하고, 제 2 인공 신경망을 기반으로, 환자에 대해 정신 질환 진단을 위한 검사 프로세스를 결정하고, 검사 영역과 검사 프로세스를 기반으로, 환자에 대해 정신 질환 진단을 위한 검사 프토로콜을 제공하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 뇌 영상에서 검사 영역의 위치, 형상, 크기 또는 중요도 중 적어도 하나를 시각화하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 미리 정해진 히트맵을 이용하여, 중요도를 시각화하도록 구성될 수 있다.
다양한 실시예들에 따르면, 제 1 인공 신경망은, 클래스 활성화 매핑 기법과, 심층 합성곱 신경망 또는 완전 연결 신경망 중 적어도 하나에 기반하여, 구성될 수 있다.
다양한 실시예들에 따르면, 정신 질환 진단을 위한 복수의 검사 스테이지들이 존재하며, 검사 프로세스는, 검사 스테이지들의 진행 순서를 포함할 수 있다.
다양한 실시예들에 따르면, 검사 프로세스는, 뇌 영상에서 복수의 검사 영역들이 결정되는 경우, 검사 영역들의 검사 순서를 포함할 수 있다.
다양한 실시예들에 따르면, 제 2 인공 신경망은, 심층 재귀 신경망과 강화 학습에 기반하여, 구성되는 시주의 모델일 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 제 1 인공 신경망 및 제 2 인공 신경망을 기반으로, 환자에 대한 정신 질환 여부를 확률적으로 제시하도록 구성될 수 있다.
다양한 실시예들에 따르면, 정신 질환은 자폐 스펙트럼 장애를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성 요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
다양한 실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이 때 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 그리고, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성 요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성 요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성 요소를 다른 구성 요소와 구분하기 위해 사용될 뿐 해당 구성 요소들을 한정하지 않는다. 어떤(예: 제 1) 구성 요소가 다른(예: 제 2) 구성 요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성 요소가 상기 다른 구성 요소에 직접적으로 연결되거나, 다른 구성 요소(예: 제 3 구성 요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
다양한 실시예들에 따르면, 기술한 구성 요소들의 각각의 구성 요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성 요소들 중 하나 이상의 구성 요소들 또는 단계들이 생략되거나, 또는 하나 이상의 다른 구성 요소들 또는 단계들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성 요소들(예: 모듈 또는 프로그램)은 하나의 구성 요소로 통합될 수 있다. 이런 경우, 통합된 구성 요소는 복수의 구성 요소들 각각의 구성 요소의 하나 이상의 기능들을 통합 이전에 복수의 구성 요소들 중 해당 구성 요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 단계들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 단계들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 단계들이 추가될 수 있다.
Claims (20)
- 컴퓨터 시스템에 의한 방법에 있어서,
제 1 인공 신경망을 기반으로, 환자의 뇌 영상에서 미리 정해진 정신 질환 진단을 위해 검사되어야 할 적어도 하나의 검사 영역을 결정하는 단계;
제 2 인공 신경망을 기반으로, 상기 환자에 대해 상기 정신 질환 진단을 위한 검사 프로세스를 결정하는 단계; 및
상기 검사 영역과 상기 검사 프로세스를 기반으로, 상기 환자에 대해 상기 정신 질환 진단을 위한 검사 프토로콜을 제공하는 단계
를 포함하는, 방법.
- 제 1 항에 있어서,
상기 검사 영역을 결정하는 단계는,
상기 뇌 영상에서 상기 검사 영역의 위치, 형상, 크기 또는 중요도 중 적어도 하나를 시각화하는,
방법.
- 제 2 항에 있어서,
상기 검사 영역을 결정하는 단계는,
미리 정해진 히트맵(heatmap)을 이용하여, 상기 중요도를 시각화하는,
방법.
- 제 1 항에 있어서,
상기 제 1 인공 신경망은,
클래스 활성화 매핑(class activation mapping; CAM) 기법과,
심층 합성곱 신경망(convolutional neural network; CNN) 또는 완전 연결 신경망(fully connected neural network) 중 적어도 하나
에 기반하여, 구성되는,
방법.
- 제 1 항에 있어서,
상기 정신 질환 진단을 위한 복수의 검사 스테이지들이 존재하며,
상기 검사 프로세스는,
상기 검사 스테이지들의 진행 순서를 포함하는,
방법.
- 제 1 항에 있어서,
상기 검사 프로세스는,
상기 뇌 영상에서 복수의 검사 영역들이 결정되는 경우, 상기 검사 영역들의 검사 순서를 포함하는,
방법.
- 제 1 항에 있어서,
상기 제 2 인공 신경망은,
심층 재귀 신경망(deep recurrent neural network)과 강화 학습(reinforcement learning)에 기반하여, 구성되는 시주의 모델(visual attention model)인,
방법.
- 제 1 항에 있어서,
상기 제 1 인공 신경망 및 상기 제 2 인공 신경망을 기반으로, 상기 환자에 대한 상기 정신 질환 여부를 확률적으로 제시하는 단계
를 더 포함하는, 방법.
- 제 1 항에 있어서,
상기 정신 질환은 자폐 스펙트럼 장애를 포함하는,
방법.
- 컴퓨터 시스템에 있어서,
메모리; 및
상기 메모리와 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고,
상기 프로세서는,
제 1 인공 신경망을 기반으로, 환자의 뇌 영상에서 미리 정해진 정신 질환 진단을 위해 검사되어야 할 적어도 하나의 검사 영역을 결정하고,
제 2 인공 신경망을 기반으로, 상기 환자에 대해 상기 정신 질환 진단을 위한 검사 프로세스를 결정하고,
상기 검사 영역과 상기 검사 프로세스를 기반으로, 상기 환자에 대해 상기 정신 질환 진단을 위한 검사 프토로콜을 제공하도록 구성되는,
컴퓨터 시스템.
- 제 10 항에 있어서,
상기 프로세서는,
상기 뇌 영상에서 상기 검사 영역의 위치, 형상, 크기 또는 중요도 중 적어도 하나를 시각화하도록 구성되는,
컴퓨터 시스템.
- 제 11 항에 있어서,
상기 프로세서는,
미리 정해진 히트맵을 이용하여, 상기 중요도를 시각화하도록 구성되는,
컴퓨터 시스템.
- 제 10 항에 있어서,
상기 제 1 인공 신경망은,
클래스 활성화 매핑 기법과,
심층 합성곱 신경망 또는 완전 연결 신경망 중 적어도 하나
에 기반하여, 구성되는,
컴퓨터 시스템.
- 제 10 항에 있어서,
상기 정신 질환 진단을 위한 복수의 검사 스테이지들이 존재하며,
상기 검사 프로세스는,
상기 검사 스테이지들의 진행 순서를 포함하는,
컴퓨터 시스템.
- 제 10 항에 있어서,
상기 검사 프로세스는,
상기 뇌 영상에서 복수의 검사 영역들이 결정되는 경우, 상기 검사 영역들의 검사 순서를 포함하는,
컴퓨터 시스템.
- 제 10 항에 있어서,
상기 제 2 인공 신경망은,
심층 재귀 신경망과 강화 학습에 기반하여, 구성되는 시주의 모델인,
컴퓨터 시스템.
- 제 10 항에 있어서,
상기 프로세서는,
상기 제 1 인공 신경망 및 상기 제 2 인공 신경망을 기반으로, 상기 환자에 대한 상기 정신 질환 여부를 확률적으로 제시하도록 구성되는,
컴퓨터 시스템.
- 제 10 항에 있어서,
상기 정신 질환은 자폐 스펙트럼 장애를 포함하는,
컴퓨터 시스템.
- 비-일시적인 컴퓨터-판독 가능 저장 매체에 있어서,
제 1 인공 신경망을 기반으로, 환자의 뇌 영상에서 미리 정해진 정신 질환 진단을 위해 검사되어야 할 적어도 하나의 검사 영역을 결정하는 단계;
제 2 인공 신경망을 기반으로, 상기 환자에 대해 상기 정신 질환 진단을 위한 검사 프로세스를 결정하는 단계; 및
상기 검사 영역과 상기 검사 프로세스를 기반으로, 상기 환자에 대해 상기 정신 질환 진단을 위한 검사 프토로콜을 제공하는 단계
를 실행하기 위한 하나 이상의 프로그램들을 저장하기 위한 컴퓨터-판독 가능 저장 매체.
- 제 19 항에 있어서,
상기 검사 영역을 결정하는 단계는,
상기 뇌 영상에서 상기 검사 영역의 위치, 형상, 크기 또는 중요도 중 적어도 하나를 시각화하고,
상기 검사 프로세스는,
상기 정신 질환 진단을 위한 복수의 검사 스테이지들의 진행 순서를 포함하는,
컴퓨터-판독 가능 저장 매체.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200156681A KR102496834B1 (ko) | 2020-11-20 | 2020-11-20 | 정신 질환 진단 프로토콜 자동 탐색을 위한 컴퓨터 시스템 및 그의 방법 |
| PCT/KR2021/003138 WO2022108004A1 (ko) | 2020-11-20 | 2021-03-15 | 정신 질환 진단 프로토콜 자동 탐색을 위한 컴퓨터 시스템 및 그의 방법 |
| JP2021052119A JP7209383B2 (ja) | 2020-11-20 | 2021-03-25 | 精神疾患診断プロトコルを自動探索するためのコンピュータシステムおよびその方法、並びにコンピュータ読み取り可能な記録媒体 |
| US17/229,747 US11823383B2 (en) | 2020-11-20 | 2021-04-13 | Computer system for automatically searching for mental disorder diagnosis protocol and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200156681A KR102496834B1 (ko) | 2020-11-20 | 2020-11-20 | 정신 질환 진단 프로토콜 자동 탐색을 위한 컴퓨터 시스템 및 그의 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220069499A true KR20220069499A (ko) | 2022-05-27 |
| KR102496834B1 KR102496834B1 (ko) | 2023-02-08 |
Family
ID=81658394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200156681A KR102496834B1 (ko) | 2020-11-20 | 2020-11-20 | 정신 질환 진단 프로토콜 자동 탐색을 위한 컴퓨터 시스템 및 그의 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11823383B2 (ko) |
| JP (1) | JP7209383B2 (ko) |
| KR (1) | KR102496834B1 (ko) |
| WO (1) | WO2022108004A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MX2021011493A (es) * | 2019-03-22 | 2022-01-04 | Cognoa Inc | Métodos y dispositivos de terapia digital personalizados. |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190021896A (ko) * | 2017-08-24 | 2019-03-06 | 주식회사 아리아케어코리아 | 뇌 질환 검출 및 예측 시스템 및 방법 |
| KR101957811B1 (ko) * | 2018-08-07 | 2019-03-13 | 주식회사 뷰노 | 의료 영상에 기반하여 피검체의 치매에 대한 중증도를 산출하는 방법 및 이를 이용한 장치 |
| KR101995383B1 (ko) | 2018-10-02 | 2019-07-02 | 주식회사 뷰노 | 의료 영상에 대한 특징 순위에 기반하여 뇌질환을 판정하는 방법 및 이를 이용한 장치 |
| KR20190135908A (ko) * | 2019-02-01 | 2019-12-09 | (주)제이엘케이인스펙션 | 인공지능 기반 치매 진단 방법 및 장치 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2002343194A1 (en) * | 2001-11-20 | 2003-06-10 | Avi Peled | System and method for diagnosis of mental disorders |
| JP2012003335A (ja) | 2010-06-14 | 2012-01-05 | Ricoh Co Ltd | 画像検査装置、画像検査システム、画像検査方法及び画像検査プログラム |
| WO2013062937A2 (en) * | 2011-10-24 | 2013-05-02 | President And Fellows Of Harvard College | Enhancing diagnosis of disorder through artificial intelligence and mobile health technologies without compromising accuracy |
| KR20140040419A (ko) | 2012-09-26 | 2014-04-03 | 삼성전자주식회사 | 의료영상장치 및 그 제어방법 |
| MX2016004899A (es) * | 2013-10-17 | 2017-01-18 | Children's Healthcare Of Atlanta Inc | Metodos para evaluar el desarrollo de bebes y niños via rastreo ocular. |
| EP3294124A4 (en) * | 2015-05-15 | 2019-01-16 | The General Hospital Corporation | SYSTEM AND METHOD FOR EARLY DIAGNOSIS OF INTERFERENCE IN THE AUTOMATIC SPECTRUM |
| US10799186B2 (en) * | 2016-02-12 | 2020-10-13 | Newton Howard | Detection of disease conditions and comorbidities |
| WO2018005814A1 (en) * | 2016-06-29 | 2018-01-04 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for utilizing functional connectivity brain imaging for diagnosis of a neurobehavioral disorder |
| WO2018005820A1 (en) * | 2016-06-29 | 2018-01-04 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for utlizing brain structural characteristics for predicting a diagnosis of a neurobehavioral disorder |
| WO2019112050A1 (ja) | 2017-12-08 | 2019-06-13 | 国立研究開発法人量子科学技術研究開発機構 | 画像撮像装置、画像撮像方法、画像撮像プログラム、及び記憶媒体 |
| JP2020126284A (ja) | 2019-02-01 | 2020-08-20 | コニカミノルタ株式会社 | 情報処理装置、診断支援システム及びプログラム |
| WO2020218460A1 (ja) | 2019-04-26 | 2020-10-29 | エーザイ・アール・アンド・ディー・マネジメント株式会社 | 診断支援装置、推測装置、診断支援システム、診断支援方法、診断支援プログラム及び学習済みモデル |
| US11379981B1 (en) * | 2021-06-07 | 2022-07-05 | The Florida International University Board Of Trustees | Systems and methods for diagnosing autism spectrum disorder using fMRI data |
-
2020
- 2020-11-20 KR KR1020200156681A patent/KR102496834B1/ko active IP Right Grant
-
2021
- 2021-03-15 WO PCT/KR2021/003138 patent/WO2022108004A1/ko active Application Filing
- 2021-03-25 JP JP2021052119A patent/JP7209383B2/ja active Active
- 2021-04-13 US US17/229,747 patent/US11823383B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190021896A (ko) * | 2017-08-24 | 2019-03-06 | 주식회사 아리아케어코리아 | 뇌 질환 검출 및 예측 시스템 및 방법 |
| KR101957811B1 (ko) * | 2018-08-07 | 2019-03-13 | 주식회사 뷰노 | 의료 영상에 기반하여 피검체의 치매에 대한 중증도를 산출하는 방법 및 이를 이용한 장치 |
| KR101995383B1 (ko) | 2018-10-02 | 2019-07-02 | 주식회사 뷰노 | 의료 영상에 대한 특징 순위에 기반하여 뇌질환을 판정하는 방법 및 이를 이용한 장치 |
| KR20190135908A (ko) * | 2019-02-01 | 2019-12-09 | (주)제이엘케이인스펙션 | 인공지능 기반 치매 진단 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11823383B2 (en) | 2023-11-21 |
| JP7209383B2 (ja) | 2023-01-20 |
| KR102496834B1 (ko) | 2023-02-08 |
| JP2022082408A (ja) | 2022-06-01 |
| US20220164948A1 (en) | 2022-05-26 |
| WO2022108004A1 (ko) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8311296B2 (en) | Voting in mammography processing | |
| US11848098B2 (en) | Identifying anomalous brain data | |
| US11151456B1 (en) | Predicting brain data using machine learning models | |
| KR20200089259A (ko) | 대화형 원격 의료를 위한 통합 예측 분석 장치 및 동작 방법 | |
| KR102496834B1 (ko) | 정신 질환 진단 프로토콜 자동 탐색을 위한 컴퓨터 시스템 및 그의 방법 | |
| JP2023512509A (ja) | 自動スキャン検査 | |
| KR20220027041A (ko) | 어린이 심리 검사 시스템 및 방법 | |
| US11581082B2 (en) | Subsetting brain data | |
| US11460528B2 (en) | MRI reconstruction with image domain optimization | |
| JP2022068043A (ja) | 医用画像処理装置及び医用画像処理システム | |
| CN112397195B (zh) | 用于生成体格检查模型的方法、装置、电子设备和介质 | |
| US20200253548A1 (en) | Classifying a disease or disability of a subject | |
| US20220237787A1 (en) | Fmri task settings with machine learning | |
| US20200387786A1 (en) | Method for learning from data with label noise | |
| Christodoulou et al. | BrainNetVis: An Open‐Access Tool to Effectively Quantify and Visualize Brain Networks | |
| JP2021068188A (ja) | 診断支援方法および診断支援システム | |
| JP2020190913A (ja) | 読影支援装置および読影支援方法 | |
| KR20220143179A (ko) | 치매 진단 및 예후 예측 방법 | |
| KR20240014121A (ko) | 시각 인공지능 기반 신속 진단키트 특성 식별 장치 및 방법 | |
| KR20220142562A (ko) | 뇌 영상을 이용한 치매 진단 방법 | |
| KR20220143178A (ko) | 인공지능 기반 치매 진단 방법 및 장치 | |
| KR20240014122A (ko) | 인공지능과 신속진단키트 융복합 기반 분변잠혈 검사를 이용한 대장암 검진 장치 및 그 동작방법 | |
| KR20220142564A (ko) | 뇌영상의 자동 분석을 통한 치매 중중도 정량화 방법 | |
| KR20220143181A (ko) | 뇌영상 분석 방법 및 시스템 | |
| KR20220143177A (ko) | 인공지능을 이용한 뇌 영역 분류 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |