KR20240038534A - 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법 - Google Patents
영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법 Download PDFInfo
- Publication number
- KR20240038534A KR20240038534A KR1020220134365A KR20220134365A KR20240038534A KR 20240038534 A KR20240038534 A KR 20240038534A KR 1020220134365 A KR1020220134365 A KR 1020220134365A KR 20220134365 A KR20220134365 A KR 20220134365A KR 20240038534 A KR20240038534 A KR 20240038534A
- Authority
- KR
- South Korea
- Prior art keywords
- infection status
- status information
- training data
- computing device
- concentration
- Prior art date
Links
- 208000015181 infectious disease Diseases 0.000 title claims abstract description 168
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000009007 Diagnostic Kit Methods 0.000 claims abstract description 65
- 230000003190 augmentative effect Effects 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims description 124
- 238000012549 training Methods 0.000 claims description 60
- 238000001514 detection method Methods 0.000 claims description 46
- 230000015654 memory Effects 0.000 claims description 31
- 230000009466 transformation Effects 0.000 claims description 20
- 238000010801 machine learning Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000013136 deep learning model Methods 0.000 abstract description 6
- 201000010099 disease Diseases 0.000 abstract description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 36
- 230000000694 effects Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000003752 polymerase chain reaction Methods 0.000 description 5
- 241000700605 Viruses Species 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000002405 diagnostic procedure Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000003296 saliva Anatomy 0.000 description 3
- 241000725303 Human immunodeficiency virus Species 0.000 description 2
- 206010039101 Rhinorrhoea Diseases 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- LOKCTEFSRHRXRJ-UHFFFAOYSA-I dipotassium trisodium dihydrogen phosphate hydrogen phosphate dichloride Chemical compound P(=O)(O)(O)[O-].[K+].P(=O)(O)([O-])[O-].[Na+].[Na+].[Cl-].[K+].[Cl-].[Na+] LOKCTEFSRHRXRJ-UHFFFAOYSA-I 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002458 infectious effect Effects 0.000 description 2
- 239000002953 phosphate buffered saline Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 241001678559 COVID-19 virus Species 0.000 description 1
- 241000711573 Coronaviridae Species 0.000 description 1
- 206010011224 Cough Diseases 0.000 description 1
- 206010062717 Increased upper airway secretion Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 229910019142 PO4 Inorganic materials 0.000 description 1
- 206010037660 Pyrexia Diseases 0.000 description 1
- 208000036071 Rhinorrhea Diseases 0.000 description 1
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000009260 cross reactivity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 208000010753 nasal discharge Diseases 0.000 description 1
- 208000026435 phlegm Diseases 0.000 description 1
- NBIIXXVUZAFLBC-UHFFFAOYSA-K phosphate Chemical compound [O-]P([O-])([O-])=O NBIIXXVUZAFLBC-UHFFFAOYSA-K 0.000 description 1
- 239000010452 phosphate Substances 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000004092 self-diagnosis Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013076 target substance Substances 0.000 description 1
- 241000712461 unidentified influenza virus Species 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Abstract
본 발명의 다양한 실시예에 따르면, 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법을 적용함으로써 사용자에 의하여 사용된 진단 키트의 영상을 입력받고, 진단 키트 이미지를 다양한 방식으로 증강한 데이터 세트를 이용하여 학습한 딥러닝 모델에 입력 영상을 적용하여 입력 영상으로부터 질병에 대한 사용자의 감염 상태 정보를 생성하여 제공할 수 있다.
Description
본 발명은 감염 상태 정보 생성 장치 및 방법에 관한 것이다. 보다 상세하게는, 본 발명은 입력한 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
진단 키트는 일부 질병을 신속하고 간편하게 진단할 목적으로 화학적 반응을 이용하여 만든 검사 기구이다. 진단 키트는 정확하고, 신뢰할 수 있는 다른 진단 방법과 달리 특수한 검사 시설이나 전문가가 필요하지 않으며 신속하게 감염 여부를 진단할 수 있도록 만들어진 검사 기구이다. 진단 키트는 가격이 저렴하고, 사용 장소에 구애받지 않으며, 쉽게 사용할 수 있고, 15-30분 이내에 진단 결과를 알 수 있다는 장점이 있다.
진단 키트는 사용자가 진단 키트를 사용한 후에 진단 키트의 윈도우의 테스트 라인(Test Line) 영역과 컨트롤 라인(Control Line) 영역에 나타나는 결과선이 육안으로 식별할 수 있을 정도로 뚜렷하게 나타나지 않는 경우가 많아 비전문가인 사용자가 확진 여부를 판정하기 어렵다는 문제점이 있다.
테스트 라인 영역에 나타나는 결과선이 육안으로 식별하기 어려운 경우라도 비전문가인 일반 사용자가 양성 여부를 명확하게 인지할 수 있도록 감염 상태 정보를 생성하여 제공할 수 있는 기술의 연구 개발이 필요한 실정이다.
본 발명이 이루고자 하는 목적은, 사용자에 의하여 사용된 진단 키트의 영상을 입력받고, 진단 키트 이미지를 다양한 방식으로 증강한 데이터 세트를 이용하여 학습한 딥러닝 모델에 입력 영상을 적용하여 입력 영상으로부터 질병에 대한 사용자의 감염 상태 정보를 생성하여 제공하는 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법을 제공하는데 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 컴퓨팅 장치는, 영상 정보를 기반으로 감염 상태 정보를 생성하는 컴퓨팅 장치는, 상기 감염 상태 정보를 생성하기 위한 하나 이상의 프로그램을 저장하는 메모리; 및 상기 하나 이상의 프로그램에 따라 상기 감염 상태 정보를 생성하기 위한 동작들을 수행하는 하나 이상의 프로세서;를 포함하고, 상기 프로세서에 의하여 수행되는 동작들은, 검사 대상으로부터 추출된 시료(sample)가 적용된 진단 키트에 대한 입력 영상을 수신하는 단계; 상기 입력 영상에서 상기 검사 대상과 관련되는 메인 영역을 결정하고, 상기 메인 영역을 포함하도록 둘러싸는 서브 영역을 결정하는 단계; 및 상기 서브 영역을 기계학습 모델(machine-learned model)에 적용하여 상기 검사 대상에 대한 상기 감염 상태 정보를 생성하여 출력하는 단계;를 포함한다.
상기 메인 영역은, 상기 검사 대상의 감염 상태에 따라 컬러가 변화하는 테스트 라인(Test Line)을 포함하는 영역인 것을 특징으로 한다.
상기 감염 상태 정보는, 상기 검사 대상의 감염 여부를 나타내는 감염 정보 또는 상기 테스트 라인의 컬러 변화를 기반으로 예측한 상기 검사 대상에 포함된 검출 타겟의 농도를 포함하는 것을 특징으로 한다.
상기 진단 키트에 대한 입력 영상을 수신하는 것은, 현재 시점에서 촬영된 입력 영상과 이전 시점에 촬영된 입력 영상을 포함하는 복수의 입력 영상들을 수신하는 것이고, 상기 감염 상태 정보를 생성하여 출력하는 단계는, 상기 복수의 입력 영상을 기반으로 하여 생성된 복수의 검출 타겟의 농도를 이용하여 감염 상태 추이에 대한 정보를 생성하여 출력하는 것을 특징으로 한다.
상기 감염 상태 정보를 생성하여 출력하는 단계는, 상기 현재 시점의 검출 타겟의 농도가 이전 시점의 농도보다 증가한 경우, 상기 현재 시점의 감염 상태에 대한 제1 메시지를 제공하고, 상기 현재 시점의 검출 타겟의 농도가 이전 시점의 농도보다 감소한 경우, 상기 현재 시점의 감염 상태에 대한 제2 메시지를 제공하는 것을 특징으로 한다.
상기 기계학습 모델은, 복수의 트레이닝 데이터와 상기 복수의 트레이닝 데이터를 기반으로 변환된 변환 트레이닝 데이터를 포함하는 증강 데이터 세트를 이용하여 학습된 것을 특징으로 한다.
상기 변환 트레이닝 데이터는, 상기 트레이닝 데이터를 블러(blur)처리한 제1 변환 트레이닝 데이터, 상기 트레이닝 데이터를 크기 조정한 제2 변환 트레이닝 데이터, 상기 트레이닝 데이터를 왜곡하여 생성한 제3 변환 트레이닝 데이터, 상기 트레이닝 데이터를 회전시킨 제4 변환 트레이닝 데이터, 상기 트레이닝 데이터의 밝기를 조절한 제5 변환 트레이닝 데이터, 상기 트레이닝 데이터의 주위 환경을 변화시킨 제6 변환 트레이닝 데이터 및 상기 트레이닝 데이터의 색온도를 조정한 제7 변환 트레이닝 데이터로 이루어진 그룹으로부터 선택되는 적어도 하나를 포함하는 것을 특징으로 한다.
상기 서브 영역을 결정하는 것은, 상기 테스트 라인에 해당하는 영역을 포함하고, 컨트롤 라인(Control Line)에 해당하는 영역을 제외하도록 결정하는 것을 특징으로 한다.
상기 감염 상태 정보를 생성하여 출력하는 단계는, 상기 컨트롤 라인에 해당하는 영역을 기반으로 상기 진단 키트의 정상 여부를 판단하고, 상기 정상 여부에 대한 정보를 생성하여 출력하는 것을 특징으로 한다.
상기 프로세서는, 모바일 어플리케이션을 활성화하고 상기 활성화된 모바일 어플리케이션을 통해 상기 동작들을 수행하는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 컴퓨팅 장치에 의해 수행되는 감염 상태 정보 생성 방법은, 검사 대상으로부터 추출된 시료(sample)가 적용된 진단 키트에 대한 입력 영상을 수신하는 단계; 상기 입력 영상에서 상기 검사 대상과 관련되는 메인 영역을 결정하고, 상기 메인 영역을 포함하도록 둘러싸는 서브 영역을 결정하는 단계; 및 상기 서브 영역을 기계학습 모델(machine-learned model)에 적용하여 상기 검사 대상에 대한 상기 감염 상태 정보를 생성하여 출력하는 단계;를 포함할 수 있다.
상기 메인 영역은, 상기 검사 대상의 감염 상태에 따라 컬러가 변화하는 테스트 라인(Test Line)을 포함하는 영역인 것을 특징으로 한다.
상기 감염 상태 정보는, 상기 검사 대상의 감염 여부를 나타내는 감염 정보 또는 상기 테스트 라인의 컬러 변화를 기반으로 예측한 상기 검사 대상에 포함된 검출 타겟의 농도를 포함하는 것을 특징으로 한다.
상기 서브 영역을 결정하는 것은, 상기 테스트 라인에 해당하는 영역을 포함하고, 컨트롤 라인(Control Line)에 해당하는 영역을 제외하도록 결정하는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 컴퓨터 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 저장되어 상기한 감염 상태 정보 생성 방법 중 어느 하나를 컴퓨터에서 실행시킨다.
이상에서 설명한 바와 같이 본 발명의 일 실시예에 따르면, 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법을 적용함으로써 사용자에 의하여 사용된 진단 키트의 영상을 입력받고, 진단 키트 이미지를 다양한 방식으로 증강한 데이터 세트를 이용하여 학습한 딥러닝 모델에 입력 영상을 적용하여 입력 영상으로부터 질병에 대한 사용자의 감염 상태 정보를 생성하여 제공할 수 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치와 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치를 포함하는 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치가 메인 영역과 서브 영역을 결정하는 것을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 이용하는 기계학습 모델을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 데이터 세트로 이용되는 진단 키트 이미지에 대하여 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 이용하는 딥러닝 모델과 데이터 세트 증강에 대하여 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 성능을 전문가 및 일반인의 진단 키트 사용 결과 식별 능력과 비교한 데이터를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 성능을 전문가 및 일반인의 식별 능력과 비교한 데이터를 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 이용하는 기계학습 모델을 학습하는데 이용한 데이터 세트에 따른 성능 차이와 진단 키트를 서로 다른 진단 방식으로 적용한 것에 따른 성능 차이를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 양성 판정 성능을 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 시료의 농도에 따른 검출 타겟 농도 예측 성능과 시간간격을 두고 획득한 입력 영상으로부터 획득한 검출 타겟의 농도 예측 결과를 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 검출 타겟의 농도 예측 성능과 일반인과 전문가의 검출 타겟 농도 예측 능력을 비교한 도면이다.
도 12는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치가 모바일 장치에 적용된 경우에 대한 예시적인 도면이다.
도 13은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 사용자에게 전시하는 결과 화면을 예시적으로 나타내는 도면이다.
도 14는 본 발명의 일 실시예에 따른 감염 상태 정보 생성 방법을 설명하기 위한 흐름도이다.
도 15 내지 도 16은 본 발명의 일 실시예에 따른 감염 상태 정보 생성 방법의 프로세스를 나타내기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치가 메인 영역과 서브 영역을 결정하는 것을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 이용하는 기계학습 모델을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 데이터 세트로 이용되는 진단 키트 이미지에 대하여 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 이용하는 딥러닝 모델과 데이터 세트 증강에 대하여 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 성능을 전문가 및 일반인의 진단 키트 사용 결과 식별 능력과 비교한 데이터를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 성능을 전문가 및 일반인의 식별 능력과 비교한 데이터를 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 이용하는 기계학습 모델을 학습하는데 이용한 데이터 세트에 따른 성능 차이와 진단 키트를 서로 다른 진단 방식으로 적용한 것에 따른 성능 차이를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 양성 판정 성능을 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 시료의 농도에 따른 검출 타겟 농도 예측 성능과 시간간격을 두고 획득한 입력 영상으로부터 획득한 검출 타겟의 농도 예측 결과를 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 검출 타겟의 농도 예측 성능과 일반인과 전문가의 검출 타겟 농도 예측 능력을 비교한 도면이다.
도 12는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치가 모바일 장치에 적용된 경우에 대한 예시적인 도면이다.
도 13은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 사용자에게 전시하는 결과 화면을 예시적으로 나타내는 도면이다.
도 14는 본 발명의 일 실시예에 따른 감염 상태 정보 생성 방법을 설명하기 위한 흐름도이다.
도 15 내지 도 16은 본 발명의 일 실시예에 따른 감염 상태 정보 생성 방법의 프로세스를 나타내기 위한 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “가진다”, “가질 수 있다”, “포함한다” 또는 “포함할 수 있다” 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소 들은 상기 용어들에 의해 한정되지는 않는다.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법의 다양한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치와 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치를 포함하는 감염 상태 정보 생성 시스템의 구성을 설명하기 위한 도면이다.
감염 상태 정보 생성 시스템(10)은 컴퓨팅 장치(100) 및 서버(200)를 포함할 수 있다.
영상 정보를 기반으로 감염 상태 정보를 생성하는 장치는 영상 정보를 기반으로 감염 상태 정보를 생성하도록 마련된 컴퓨팅 장치일 수 있다.
도 1을 참조하면, 영상 정보를 기반으로 감염 상태 정보를 생성하도록 마련된 컴퓨팅 장치(100)(이하에서 컴퓨팅 장치라고 함)는 프로세서(110), 메모리(120), 네트워크 인터페이스(130) 및 기계학습 모델(140)을 포함할 수 있다.
프로세서(110)는 컴퓨팅 장치가 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치로 동작하도록 제어할 수 있다. 예컨대, 프로세서(110)는 메모리(120)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있다.
메모리(120)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보는 네트워크 인터페이스(130)를 통해서도 주어질 수 있다. 메모리(120)에 저장된 프로그램은 프로세서(110)에 의해 실행 가능한 명령어(122)의 집합을 포함한다. 일 실시예에서, 메모리(120)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(100)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다. 메모리(120)는 감염 상태 정보를 생성하기 위한 하나 이상의 프로그램을 저장할 수 있다.
메모리(120)는 하나 이상의 프로세서에 의해 액세스될 수 있는 데이터(121)를 저장할 수 있다. 예를 들어, 메모리(120)는 프로세서(110)에 의하여 획득, 수신, 접근, 기입, 조작 가능한 데이터를 생성하거나 저장할 수 있다.
메모리(120)는 컴퓨터 실행 가능 명령어들의 집합의 형태로 마련된 명령(Instruction)(122)을 저장할 수 있다. 명령(122)은 프로그램의 형태로 저장될 수 있고, 프로세서(110)에 의해 실행되는 경우 컴퓨팅 장치(100)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
프로세서(110)는 메모리(120)를 포함하여 통신 버스를 통하여 컴퓨팅 장치(100)의 다른 다양한 컴포넌트들과 상호 연결될 수 있다.
컴퓨팅 장치(100)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 네트워크 인터페이스(130)를 포함할 수 있다. 네트워크 인터페이스(130)는 입출력 인터페이스 및 통신 인터페이스로 동작할 수 있다. 네트워크 인터페이스(130)는 통신 버스에 연결될 수 있다. 입출력 장치(미도시)는 네트워크 인터페이스(130)를 통해 컴퓨팅 장치(100)의 다른 컴포넌트들에 연결될 수 있다.
컴퓨팅 장치(100)는 하나 이상의 기계 학습된 모델(140)을 저장하거나 포함할 수 있다. 예를 들어, 기계 학습 모델(140)은 신경망(e.g., deep neural networks), 지원 벡터 기계, 결정 트리, 앙상블 모델, k-최근접 이웃 모델, 베이지안 네트워크, 선형 모델 및/또는 비선형 모델을 포함하는 다른 유형의 모델 등과 같은 다양한 기계 학습 모델을 포함하거나 저장할 수 있다.
신경 네트워크는 피드 포워드 신경망, 순환 신경망(e.g., long shortterm memory recurrent neural networks), 컨볼루셔널 신경망(CNN), 및/또는 다른 형태의 신경망, 또는 이들의 조합을 포함할 수 있다.
도 1을 참조하면, 서버(200)는 프로세서(210), 메모리(220), 네트워크 인터페이스(230), 기계학습 모델(240), 모델 학습부(250) 및 학습 데이터(260)을 포함할 수 있다.
컴퓨팅 장치(100)와 서버(200)는 클라이언트 - 서버 관계에 따를 수 있다.
프로세서(210)는 서버가 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 서버로 동작하도록 제어할 수 있다. 예컨대, 프로세서(210)는 메모리(220)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있다.
메모리(220)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보는 네트워크 인터페이스(230)를 통해서도 주어질 수 있다. 메모리(220)에 저장된 프로그램은 프로세서(210)에 의해 실행 가능한 명령어(222)의 집합을 포함한다. 일 실시예에서, 메모리(220)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 서버(200)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
메모리(220)는 하나 이상의 프로세서에 의해 액세스될 수 있는 데이터(221)를 저장할 수 있다. 예를 들어, 메모리(220)는 프로세서(210)에 의하여 획득, 수신, 접근, 기입, 조작 가능한 데이터를 생성하거나 저장할 수 있다.
메모리(220)는 컴퓨터 실행 가능 명령어들의 집합의 형태로 마련된 명령(222)을 저장할 수 있다. 명령(222)은 프로그램의 형태로 저장될 수 있고, 프로세서(210)에 의해 실행되는 경우 서버(200)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
프로세서(210)는 메모리(220)를 포함하여 통신 버스를 통하여 서버(200)의 다른 다양한 컴포넌트들과 상호 연결될 수 있다.
서버(200)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 네트워크 인터페이스(230)를 포함할 수 있다. 네트워크 인터페이스(230)는 입출력 인터페이스 및 통신 인터페이스로 동작할 수 있다. 네트워크 인터페이스(230)는 통신 버스에 연결될 수 있다. 입출력 장치(미도시)는 네트워크 인터페이스(230)를 통해 서버(200)의 다른 컴포넌트들에 연결될 수 있다.
서버(200)는 하나 이상의 기계 학습된 모델(240)을 저장하거나 포함할 수 있다. 예를 들어, 기계 학습 모델(240)은 신경망(e.g., deep neural networks), 지원 벡터 기계, 결정 트리, 앙상블 모델, k-최근접 이웃 모델, 베이지안 네트워크, 선형 모델 및/또는 비선형 모델을 포함하는 다른 유형의 모델 등과 같은 다양한 기계 학습 모델을 포함하거나 저장할 수 있다.
서버(200)는 하나 이상의 서버 컴퓨팅 디바이스를 포함할 수 있다. 이러한 서버 컴퓨팅 장치는 예를 들어, 병렬 컴퓨팅 아키텍처 또는 이의 조합일 수 있고, 순차적 컴퓨팅 아키텍처를 포함한 다양한 컴퓨팅 아키텍처에 따라 동작할 수 있다.
모델 학습부(250)는 기계학습 모델(140, 240)을 트레이닝시킬 수 있다. 모델 학습부(250)는 하나 이상의 트레이닝 또는 학습 알고리즘을 이용할 수 있다. 모델 학습부(250)는 라벨링된 학습 데이터 세트(260)를 사용하여 트레이닝을 수행할 수 있으나 반드시 이에 한정되는 것은 아니고 라벨링 되지 않은 학습 데이터 세트(260)를 사용하여 트레이닝을 수행할 수도 있다.
학습 데이터(260)는 모델 학습부(250)가 기계학습 모델(140, 240)을 학습시키기 위하여 필요한 학습 데이터 세트를 포함할 수 있다.
서버(200)는 네트워크(300)를 통하여 컴퓨팅 장치(100)와 통신할 수 있다.
네트워크(300)는 임의의 유형의 네트워크 또는 장치들 간의 통신을 가능하게 하는 네트워크의 조합일 수 있다. 네트워크(300)는 로컬 영역 네트워크, 광역 네트워크, 인터넷, 보안 네트워크, 셀룰러 네트워크, 메쉬 네트워크, 피어 투 피어 통신 링크 중 적어도 하나를 포함할 수 있다.
프로세서(110)는 검사 대상으로부터 추출된 시료(sample)가 적용된 진단 키트에 대한 입력 영상을 수신하고, 입력 영상에서 검사 대상과 관련되는 메인 영역을 결정하고, 메인 영역을 포함하도록 둘러싸는 서브 영역을 결정하고, 서브 영역을 기계학습 모델에 적용하여 검사 대상에 대한 감염 상태 정보를 생성하여 출력할 수 있다.
여기서, 검사 대상은 사람, 동물, 식물을 모두 포괄할 수 있다.
시료는 검사 대상으로부터 채취된 것으로서 검사 대상의 타액, 침, 콧물, 혈액, 소변 등 일 수 있고, 다른 물질과 혼합된 후에 진단 키트에 적용될 수 있는 것이거나 시료 그 자체로 진단 키트에 적용될 수 있는 것일 수 있다.
서버(200)는 컴퓨팅 장치(100)로부터 감염 상태 정보를 수집하여 관리할 수 있다. 컴퓨팅 장치(100)로부터 수집된 감염 상태 정보를 기반으로 병원이나 전문기관에서 사용자의 증상을 정확하게 분석하고 관리하는 것이 가능할 수 있다.
서버(200)는 컴퓨팅 장치(100)로부터 수집된 감염 상태 정보뿐만 아니라 사용자의 개인 정보와 전문가에 의하여 분석된 정보를 저장하여 관리하는 데이터 베이스(미도시)를 이용할 수 있다.
도 1에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치(100)와 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치를 포함하는 시스템(10)와 연결된 일부 블록이 추가, 변경 또는 삭제될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치가 메인 영역과 서브 영역을 결정하는 것을 설명하기 위한 도면이다.
참조부호 400은 진단 키트를 나타내는 것이다. 진단 키트는 사용자로부터 채취된 검사 대상 또는 검사 대상과 혼합된 시료를 통해 사용자의 질병 감염 여부를 판단하는데 이용되는 기기일 수 있다. 진단 키트는 예를 들어, COVID-19용 진단 키트일 수 있다.
참조부호 410은 사용자가 진단 키트를 사용한 후에 검사 결과를 나타내는 지시선(예를 들어, 테스트 라인, 컨트롤 라인)이 등장하는 윈도우를 나타내는 것이다.
프로세서(110)는 진단 키트(400)의 검사 결과가 나타나는 윈도우(410)의 테스트 라인(Test Line)(411)에 해당하는 영역을 검출하는 방식으로 검사 대상과 관련되는 메인 영역을 결정할 수 있다.
메인 영역은 검사 대상의 감염 상태에 따라 컬러가 변화하는 테스트 라인(Test Line)을 포함하는 영역일 수 있다.
프로세서(110)는 테스트 라인(411)에 해당하는 영역을 포함하고, 컨트롤 라인(Control Line)(413)에 해당하는 영역을 제외하도록 결정하는 방식으로 서브 영역을 결정할 수 있다.
프로세서(110)는 테스트 라인(413)에 해당하는 영역을 포함하고, 윈도우(410)에 해당하는 영역 중에서 컨트롤 라인(413)에 해당하는 영역을 제외하는 영역 일부와 윈도우(410)에 해당하는 영역 외부에 해당하고 진단 키트(400)에 해당하는 영역의 적어도 일부를 포함하도록 서브 영역을 결정할 수 있다.
예를 들어, 프로세서(110)는 윈도우(410)에 해당하는 영역의 절반에 해당하는 영역 중에서 테스트 라인(413)이 위치하는 영역을 서브 영역으로 결정할 수 있고, 여기서, 진단 키트(400)에 해당하는 영역을 더 포함하도록 서브 영역을 결정할 수도 있다.
프로세서(110)는 테스트 라인(411)의 진하기 정도를 기반으로 검사 대상이 양성인지 여부를 판단할 수 있다. 프로세서(110)는 검사 대상의 양성 여부에 대한 정보를 포함하는 감염 상태 정보를 생성하여 출력할 수 있다.
감염 상태 정보는 검사 대상의 감염 여부를 나타내는 감염 정보 또는 테스트 라인(411)의 컬러 변화를 기반으로 예측한 검사 대상에 포함된 검출 타겟의 농도를 포함할 수 있다. 컬러 변화는 테스트 라인의 진하기 정도를 기준으로 결정되는 것일 수 있다.
프로세서(110)는 테스트 라인(411)의 진하기 정도를 기반으로 예측한 검사 대상에 포함된 검출 타겟의 농도 정보를 생성할 수 있다.
진하기 정도는 미리 설정된 기준에 의하여 미리 결정된 기준 단계들로 구분될 수 있다. 예를 들어, 진하기 정도는 진하기 정도가 낮은 순서부터 높은 순서까지 0 단계에서 10 단계까지 총 11개의 단계로 구분될 수 있다. 프로세서(110)는 테스트 라인(411)의 진하기 정도가 미리 결정된 임계 단계(예를 들어, 3 단계) 이상인 경우 양성이라고 판단할 수 있다. 진하기 정도는 채도일 수도 있다.
검출 타겟은 HIV(Human Immunodeficiency Virus), COVID-19 바이러스, 인플루엔자 바이러스 등 다양한 종류의 바이러스 또는 균일 수 있다.
프로세서(110)는 생성된 검출 타겟의 농도 정보를 포함하는 감염 상태 정보를 생성하여 출력할 수 있다.
프로세서(110)는 진하기 정도를 검출 타겟의 농도와 대응시키는 방식으로 검출 타겟의 농도를 예측하고 검출 타겟의 농도 정보를 생성할 수 있다.
예를 들어, 프로세서(110)는 테스트 라인(411)의 진하기 정도가 1단계라고 판단되면 검출 타겟의 농도가 10ng/ml라고 예측할 수 있고, 테스트 라인(411)의 진하기 정도가 10단계라고 판단되면 검출 타겟의 농도가 100ng/ml라고 예측할 수 있다. 즉, 단위 단계 간격 마다 10ng/ml의 농도 간격을 가질 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 이용하는 기계학습 모델을 나타내는 도면이다.
도 3을 참조하면, 본 발명에 따른 감염 상태 정보 생성 방법은 입력받은 영상으로부터 진단 키트를 탐지하는 객체 탐지(object detection) 프로세스 및 입력 이미지로부터 결정된 메인 영역 또는 서브 영역 부분으로부터 검출 타겟의 유무(즉, 양성 여부) 또는 테스트 라인의 진하기 정도를 분류(Classification)하는 프로세스를 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 데이터 세트로 이용되는 진단 키트 이미지에 대하여 설명하기 위한 도면이다.
도 4는 도 3의 참조부호 501에 대응되는 개념일 수 있다.
도 4의 참조부호 601은 입력 영상으로부터 진단 키트 전체를 크롭(crop)한 경우를 나타내는 것이다.
도 4의 참조부호 602은 입력 영상으로부터 테스트 라인과 컨트롤 라인을 모두 포함하도록 크롭한 것을 나타내는 것이다.
도 4의 참조부호 603은 입력 영상으로부터 테스트 라인을 모두 포함하고, 컨트롤 라인을 포함하지 않도록 크롭(crop)한 경우를 나타내는 것이다.
도 4의 (a) 및 (b)는 참조부호 603에 해당하는 경우가 참조부호 602에 해당하는 경우보다 컴퓨팅 장치(100)가 감염 여부를 판단하는 것이 정확하고, 참조부호 602에 해당하는 경우가 참조부호 601에 해당하는 경우보다 컴퓨팅 장치(100)가 감염 여부를 판단하는 것이 정확하다는 것을 나타내는 그래프 데이터이다.
도 5는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 이용하는 딥러닝 모델과 데이터 세트 증강에 대하여 설명하기 위한 도면이다.
도 5의 (a)는 CNN 모델들에 따른 RMSD(Root Mean Square Deviation)를 나타내는 도면이다.
도 5의 (b)는 데이터 세트 종류에 따른 컴퓨팅 장치(100)의 검사 대상의 진단 정확도를 나타내는 도면이다.
Dataset #1은 단일 환경, 단일 조명에서 촬영한 진단 키트 이미지들을 데이터 세트로 한 경우이고, Dataset #2은 dataset #1을 도 5의 (c)의 방식과 같이 증강한 경우이고, Dataset #3은 Dataset #2 다양한 조명에서 촬영한 진단 키트 이미지들을 더 포함한 경우이고, Dataset #4는 Dataset #3에 다양한 조명 및 다양한 환경에서 촬영한 진단 키트 이미지들을 더 포함한 경우이다.
즉, 데이터 세트에 포함된 이미지들의 종류가 다양할수록 컴퓨팅 장치(100)의 성능이 증가하는 것을 확인할 수 있다.
본 발명에서 컴퓨팅 장치(100)가 이용하는 기계학습 모델은 복수의 트레이닝 데이터와 복수의 트레이닝 데이터를 기반으로 변환된 변환 트레이닝 데이터를 포함하는 증강 데이터 세트를 이용하여 학습된 것일 수 있다. 본 발명에서 컴퓨팅 장치(100)가 이용하는 기계학습 모델은 딥러닝 모델일 수 있다.
도 5의 (c)를 참조하면, 학습 데이터(260)는 데이터 세트의 수를 늘리기 위하여 학습 이미지인 사용 전후의 진단 키트 이미지를 블러(blur) 처리하는 방식, 크기 변환하는 방식, 왜곡시키는 방식, 회전시키는 방식, 밝기를 조절하는 방식, 주위 환경을 다르게 하는 방식, 색온도를 다르게 하는 방식 중 적어도 하나의 방식을 이용하여 증강된 데이터 세트를 포함할 수 있다.
즉, 변환 트레이닝 데이터는, 트레이닝 데이터를 블러(blur)처리한 제1 변환 트레이닝 데이터, 트레이닝 데이터를 크기 조정한 제2 변환 트레이닝 데이터, 트레이닝 데이터를 왜곡하여 생성한 제3 변환 트레이닝 데이터, 트레이닝 데이터를 회전시킨 제4 변환 트레이닝 데이터, 트레이닝 데이터의 밝기를 조절한 제5 변환 트레이닝 데이터, 트레이닝 데이터의 주위 환경을 변화시킨 제6 변환 트레이닝 데이터 및 트레이닝 데이터의 색온도를 조정한 제7 변환 트레이닝 데이터로 이루어진 그룹으로부터 선택되는 적어도 하나를 포함할 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 성능을 전문가 및 일반인의 진단 키트 사용 결과 식별 능력과 비교한 데이터를 나타내는 도면이다.
도 6의 (a)는 사용자가 진단 키트를 사용한 이후 검사 결과 판단 성능에 대한 비전문가, 전문가 그리고 컴퓨팅 장치(100)의 예측 성능을 나타내는 수신자 조작 특성(ROC; Receiver operating characteristic) 커브를 나타내는 도면이다.
도 6의 (b)는 교차 반응성(cross-reactivity)를 확인하기 위한 실험 데이터를 나타내는 도면이다.
도 6의 (c)는 검출 타겟의 농도 예측 성능을 나타내는 데이터이다. 실제 농도에 대응하는 색과 예측한 색이 유사한 것을 통해 농도 예측 성능이 뛰어남을 확인할 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 성능을 전문가 및 일반인의 식별 능력과 비교한 데이터를 나타내는 도면이다.
도 7의 (b) 내지 도 7의 (e)는 컴퓨팅 장치(100), 전문가 및 비전문가가 나살(Nasal) 방식으로 사용된 진단 키트의 양성 여부 인식 능력을 블라인트 테스트한 결과를 나타내는 도면이다.
비전문가의 경우 46.4%의 정확도를 나타냈고, dev. 는 7.1이다. 전문가의 경우 63.2%의 정확도를 나타내었고, dev. 는 13.7이다. 본 발명의 경우, 97.5%의 정확도를 나타내었다.
도 7의 (d)는 블라인드 테스트에서 일반인들이 맞춘 실제 이미지, 전문가와 컴퓨팅 장치(100)만 맞춘 이미지, 컴퓨팅 장치(100)만 맞춘 이미지에 대한 도면이다.
도 7의 (e)는 도 7의 (d)의 이미지 중에서 일반인인 비전문가가 식별하지 못한 두번째 이미지 및 비전문가와 전문가가 식별하지 못한 세번째 이미지를 이미지 프로세싱한 것을 나타내는 도면이다.
일반인인 비전문가가 식별하지 못했고, 전문가와 컴퓨팅 장치(100)는 식별할 수 있었던 두번째 이미지의 경우, 육안으로는 식별하기 쉽지 않지만 전문가들은 파악할 수 있을 만큼의 약한 발색이 나타났고, 밝기, 대비를 조절하는 방식으로 이미지 프로세싱한 결과 테스트 라인이 희미하게나마 확인된다.
비전문가와 전문가가 식별하지 못했고, 컴퓨팅 장치(100)는 식별할 수 있었던 세번째 이미지의 경우, 육안으로 감지하기 어렵기에 이미지 프로세싱을 하더라도 차이가 없음을 확인할 수 있다. 즉, 컴퓨팅 장치(100)는 육안으로 감지할 수 없는 진하기 정도의 테스트 라인이 나타나더라도 이를 인지하고 검사 대상이 양성임을 판단할 수 있다.
도 7의 (f) 내지 도 7의 (i)는 컴퓨팅 장치(100), 전문가 및 비전문가가 살리바(Saliva) 방식으로 사용된 진단 키트의 양성 여부 인식 능력을 블라인드 테스트한 결과를 나타내는 도면이다.
비전문가의 경우 85%의 정확도를 나타냈고, dev. 는 7이다. 전문가의 경우 92.5%의 정확도를 나타내었고, dev. 는 5.6이다. 본 발명의 경우, 100%의 정확도를 나타내었다.
도 7의 (h)는 블라인드 테스트에서 일반인들이 맞춘 실제 이미지, 전문가와 컴퓨팅 장치(100)만 맞춘 이미지, 컴퓨팅 장치(100)만 맞춘 이미지에 대한 도면이다.
도 7의 (i)는 도 7의 (h)의 이미지 중에서 일반인인 비전문가가 식별하지 못한 두번째 이미지 및 비전문가와 전문가가 식별하지 못한 세번째 이미지를 이미지 프로세싱한 것을 나타내는 도면이다.
일반인인 비전문가가 식별하지 못했고, 전문가와 컴퓨팅 장치(100)는 식별할 수 있었던 두번째 이미지의 경우, 육안으로는 식별하기 쉽지 않지만 전문가들은 파악할 수 있을 만큼의 약한 발색이 나타났고, 밝기, 대비를 조절하는 방식으로 이미지 프로세싱한 결과 테스트 라인이 희미하게나마 확인된다.
비전문가와 전문가가 식별하지 못했고, 컴퓨팅 장치(100)는 식별할 수 있었던 세번째 이미지의 경우, 육안으로 감지하기 어렵기에 이미지 프로세싱을 하더라도 차이가 없음을 확인할 수 있다. 즉, 컴퓨팅 장치(100)는 육안으로 감지할 수 없는 진하기 정도의 테스트 라인이 나타나더라도 이를 인지하고 검사 대상이 양성임을 판단할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 이용하는 기계학습 모델을 학습하는데 이용한 데이터 세트에 따른 성능 차이와 진단 키트를 서로 다른 진단 방식으로 적용한 것에 따른 성능 차이를 설명하기 위한 도면이다.
도 8의 (a)는 표준샘플(인산생리식염수)에 타겟 물질을 희석한 키트의 이미지 (DL..v2)에 임상샘플을 추가하였을 때 (DL..v3) 더 성능이 좋아짐을 보여주는 그래프이다. 도시된 바와 같이 데이터가 더 많은 경우 컴퓨팅 장치(100)의 성능이 더 우수해짐을 알 수 있다.
도 8의 (b) 내지 도 8의 (c)는 각각 나살 방식과 살리바 방식을 적용하여 사용한 진단 키트 이미지로부터 양성 여부를 진단한 본 발명과 종래의 기술의 성능을 비교한 그래프이다.
도 9는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 양성 판정 성능을 나타내는 도면이다.
도 9는 세포막에서 사용한 샘플을 기반으로 본 발명에 따른 컴퓨팅 장치(100)가 양성 또는 음성을 얼마나 정확하게 판정하는지를 나타내는 컨퓨전 매트릭스(Confusion Matrix)이다.
도 10은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 시료의 농도에 따른 검출 타겟 농도 예측 성능과 시간간격을 두고 획득한 입력 영상으로부터 획득한 검출 타겟의 농도 예측 결과를 나타내는 도면이다.
프로세서(110)가 진단 키트에 대한 입력 영상을 수신하는 것은, 현재 시점에서 촬영된 입력 영상과 이전 시점에 촬영된 입력 영상을 포함하는 복수의 입력 영상들을 수신하는 것일 수 있다.
사용자는 본인의 진단 결과를 확인하기 위하여 진단 키트를 이용하여 복수회에 걸쳐서 자가 진단을 하는 것이 일반적이다. 예를 들어, 사용자는 1일 2회씩 5일 내지 9일 동안 연속적으로 진단 키트를 이용하여 자가 진단을 수행할 수 있다. 이에 대응하여 컴퓨팅 장치(100)는 감염 상태 추이에 대한 정보를 제공할 수 있다.
감염 상태 정보는 감염 상태 추이에 대한 정보를 더 포함할 수 있다.
프로세서(110)는 테스트 라인(411)의 진하기 정도를 기반으로 예측한 검사 대상에 포함된 검출 타겟의 농도 정보를 생성할 수 있다.
프로세서(110)는 진하기 정도를 검출 타겟의 농도와 대응시키는 방식으로 검출 타겟의 농도를 예측하고 검출 타겟의 농도 정보를 생성할 수 있다.
예를 들어, 프로세서(110)는 테스트 라인(411)의 진하기 정도가 1단계라고 판단되면 검출 타겟의 농도가 10ng/ml라고 예측할 수 있고, 테스트 라인(411)의 진하기 정도가 10단계라고 판단되면 검출 타겟의 농도가 100ng/ml라고 예측할 수 있다. 즉, 단위 단계 간격 마다 10ng/ml의 농도 간격을 가질 수 있다. 또한, 프로세서(110)가 테스트 라인(411)의 진하기 정도가 5단계와 6단계의 사이에 해당하는 단계(예를 들어, 5.6 단계)라고 판단하는 경우에 검출 타겟의 농도가 50ng/ml 내지 60ng/ml 사이에 해당하는 농도(예를 들어, 56ng/ml)라고 예측할 수 있음은 당연하다.
프로세서(110)는 서로 다른 시점에 촬영된 복수의 입력 영상을 수신할 수 있다. 프로세서(110)는 복수의 입력 영상을 기반으로 하여 생성된 복수의 검출 타겟의 농도 정보를 이용하여 감염 상태 추이에 대한 정보를 생성하여 출력할 수 있다.
프로세서(110)는 현재 시점의 검출 타겟의 농도가 이전 시점의 농도보다 증가한 경우, 현재 시점의 감염 상태에 대한 제1 메시지를 제공하고, 현재 시점의 검출 타겟의 농도가 이전 시점의 농도보다 감소한 경우, 현재 시점의 감염 상태에 대한 제2 메시지를 제공하는 방식으로 감염 상태 정보를 생성하여 출력할 수 있다.
제1 메시지는 검사 대상이 감염기에 해당한다는 취지의 메시지를 포함할 수 있다. 제1 메시지는 검사 대상이 감염기에 해당하므로 PCR 검사를 추천하는 취지의 메시지를 더 포함할 수 있다.
제2 메시지는 검사 대상이 회복기에 해당한다는 취지의 메시지를 포함할 수 있다.
프로세서(110)는 최초의 입력 영상을 수신한 날짜를 기준으로 1일차로 설정하고, 이후에 입력되는 입력 영상들을 기반으로 검출 타겟의 농도를 예측하고 입력 영상들의 입력 시간 또는 날짜에 대응하는 감염 상태 추이 정보를 생성하여 출력할 수 있다.
도 10의 (a)는 컴퓨팅 장치(100)가 한 환자에 대한 샘플을 인산완충생리식염수(PBS; Phosphate Buffered Saline)로 희석함에 따라 예측한 농도가 점차 낮아지는 것을 보여주는 도면이다.
도 10의 (b)는 컴퓨팅 장치(100)가 생성한 감염 상태 추이 정보와 PCR 검사 결과의 추이 정보를 나타내는 그래프이다. 도 10의 (b)를 참조하면, 컴퓨팅 장치(100)에 의하여 생성된 감염 상태 추이 정보와 PCR 검사 결과가 실질적으로 유사한 추이를 나타내는 것을 확인할 수 있다.
도 10의 (b)를 참조하면, 사용자가 감염되고 나서 시간이 지남에 따라 체내에 포함된 검출 타겟의 농도가 점차적으로 줄어든다는 것을 확인할 수 있다.
도 11은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 검출 타겟의 농도 예측 성능과 일반인과 전문가의 검출 타겟 농도 예측 능력을 비교한 도면이다.
도 11은 진단 키트에 적용된 검사 대상 샘플의 농도와 비전문가, 전문가, 컴퓨팅 장치(100)가 진단 키트의 영상으로부터 예측한 농도를 비교한 그래프이다. Y=X 그래프에 근접할수록 예측을 잘 한 것으로 판단할 수 있다.
도 11을 참조하면, 일반인이 육안으로 양성임을 판정할 수 있는 가장 낮은 농도(LOD)는 1.25 ng/ml이고, 전문가가 육안으로 양성임을 판정할 수 있는 가장 낮은 농도는 0.62 ng/ml이고, 딥러닝을 이용한 본 발명에 따른 컴퓨팅 장치(100)는 0.15 ng/ml까지 양성으로 판정할 수 있었다.
도 12는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치가 모바일 장치에 적용된 경우에 대한 예시적인 도면이다.
도 13은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 사용자에게 전시하는 결과 화면을 예시적으로 나타내는 도면이다.
본 발명에 따른 컴퓨팅 장치(100)는 입력 영상을 분석하여 진단 키트에 적용된 검사 대상이 양성인지 여부를 판단하기 위한 전자 장치로, 예를 들어, 스마트폰, 태블릿 PC, 데스크탑 PC 등 다양한 종류의 휴대용 단말장치 등을 포괄할 수 있다. 이에 따라, 프로세서(110)는 모바일 어플리케이션을 활성화하고 활성화된 모바일 어플리케이션을 통해 동작들을 수행할 수 있다.
도 12의 (a)를 참조하면, 사용자는 컴퓨팅 장치(100)를 사용하여 검사 대상을 적용한 진단 키트의 이미지를 촬영할 수 있다. 도 12의 (a)에 도시된 바와 같이 사용자는 카메라가 탑재된 컴퓨팅 장치(100)를 이용하여 직접적으로 진단 키트 영상을 획득할 수 있으나, 본 발명은 이에 한정되는 것은 아니고, 컴퓨팅 장치(100)는 외부 장치를 이용하여 획득한 진단 키트 영상을 수신할 수도 있다.
도 12의 (b)를 참조하면, 사용자는 컴퓨팅 장치(100)를 통해 본 발명에 따른 동작들을 수행하기 위한 모바일 어플리케이션을 활성화할 수 있다. 모바일 어플리케이션은 사용자의 조작에 대응하여 컴퓨팅 장치(100)에 저장된 입력 영상을 활성화하여 동작할 수 있고, 사용자는 활성화된 모바일 어플리케이션을 통하여 진단 키트를 촬영할 수도 있다.
사용자는 활성화된 모바일 어플리케이션에 자신의 증상(예를 들어, 열, 기침, 콧물 증상, 가래 등), 성별, 나이, 신장, 체중, 진단 키트 사용 시기 등의 정보를 입력하고, 컴퓨팅 장치(100)는 사용자가 입력한 다양한 종류의 정보를 포함하여 감염 상태 정보를 생성할 수 있다.
도 12의 (c)를 참조하면, 컴퓨팅 장치(100)는 모바일 어플리케이션을 통하여 활성화한 입력 영상을 기반으로 동작하여 감염 상태 정보를 생성할 수 있고, 생성한 감염 상태 정보는 컴퓨팅 장치(100)의 디스플레이부(150)를 통하여 사용자에게 전시될 수 있다. 컴퓨팅 장치(100)는 컴퓨팅 장치(100)에 포함된 디스플레이부(150)를 통하여 사용자에게 감염 상태 정보를 전시할 수 있고, 외부 장치로 감염 상태 정보를 전송하여 외부 장치가 사용자에게 감염 상태 정보를 전시하도록 할 수도 있다.
프로세서(110)는 입력 영상으로부터 컨트롤 라인에 해당하는 컨트롤 라인에 해당하는 영역을 기반으로 진단 키트의 정상 여부를 판단하고, 정상 여부에 대한 정보를 생성하여 출력할 수 있다. 정상 여부에 대한 정보는 감염 상태 정보와 함께 전시될 수 있다.
프로세서(110)는 입력 영상에 포함된 진단 키트에 컨트롤 라인과 테스트 라인이 모두 인식되지 않은 경우, 테스트 라인은 나타나지만 컨트롤 라인은 인식되지 않는 경우, 진단 키트가 고장이라고 판단할 수 있다.
도 13을 참조하면, 컴퓨팅 장치(100)는 도 10을 통하여 설명한 바와 같이 감염 상태 추이에 대한 정보를 생성하고, 생성된 감염 상태 추이에 대한 정보를 포함하는 감염 상태 정보를 사용자에게 전시할 수 있다. 감염 상태 추이에 대한 정보는 도 13에 도시된 바와 같이 X축이 날짜에 대한 정보를 나타내고, Y축이 검출 타겟의 농도에 대한 정보를 나타낼 수 있다.
이 경우, 프로세서(110)는 22/09/01부터 22/09/04까지는 감염기라고 판단하고, 22/09/04이후부터 22/09/09까지는 회복기라고 판단하고, 판단된 정보를 감염 상태 정보에 포함하여 사용자에게 전시할 수 있다.
도 13에 도시된 바와 같이, 컴퓨팅 장치(100)는 진단 키트를 통해 사용자가 양성이라고 판단되는 경우, PCR(Polymerase Chain Reaction) 검사를 추천하는 취지의 메시지를 전시할 수 있다.
컴퓨팅 장치(100)는 생성한 감염 상태 정보를 전문 의료 기관으로 전송할 수도 있다.
도 14는 본 발명의 일 실시예에 따른 감염 상태 정보 생성 방법을 설명하기 위한 흐름도이다.
감염 상태 정보 생성 방법은 영상 정보를 기반으로 감염 상태 정보를 생성하는 컴퓨팅 장치에 의하여 수행될 수 있다.
S100 단계에서, 프로세서는 검사 대상으로부터 추출된 시료(sample)가 적용된 진단 키트에 대한 입력 영상을 수신하는 단계를 수행할 수 있다.
S200 단계에서, 프로세서는 입력 영상에서 검사 대상과 관련되는 메인 영역을 결정하고, 메인 영역을 포함하도록 둘러싸는 서브 영역을 결정하는 단계를 수행할 수 있다.
S300 단계에서, 프로세서는 서브 영역을 기계학습 모델에 적용하여 검사 대상에 대한 감염 상태 정보를 생성하여 출력하는 단계를 수행할 수 있다.
도 14에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 14에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
도 15 내지 도 16은 본 발명의 일 실시예에 따른 감염 상태 정보 생성 방법의 프로세스를 나타내기 위한 블록도이다.
도 17은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 사용자에게 제공하는 감염 상태 추이 정보를 설명하기 위한 도면이다.
컴퓨팅 장치(100)는 도 10을 통하여 설명한 바와 같이 감염 상태 추이에 대한 정보를 생성하고, 생성된 감염 상태 추이에 대한 정보를 포함하는 감염 상태 정보를 사용자에게 전시할 수 있다.
프로세서(110)는 현재 시점의 검출 타겟의 농도가 이전 시점의 농도보다 증가한 경우, 현재 시점의 감염 상태에 대한 제1 메시지를 제공하고, 현재 시점의 검출 타겟의 농도가 이전 시점의 농도보다 감소한 경우, 현재 시점의 감염 상태에 대한 제2 메시지를 제공하는 방식으로 감염 상태 정보를 생성하여 출력할 수 있다.
감염 상태 추이에 대한 정보는 제1 메시지 또는 제2 메시지를 포함할 수 있다.
도 17은 질병(예를 들어, 코로나 바이러스)에 감염된 후 시간에 따라 검출되는 바이러스의 농도를 나타내는 기준 그래프 데이터이다.
시간에 따라 감염자로부터 채취한 바이러스 농도에 대한 기준 그래프 데이터는 통계적인 데이터일 수 있고, 미리 알려진 데이터를 기반으로 생성된 데이터로서 컴퓨팅 장치(100)에 미리 저장된 것일 수 있다.
프로세서는 현재 시점의 농도와 이전 시점의 농도를 이용하여 검사 대상의 감염 상태 추이 정보를 사용자에게 제공하기 위하여 기준 그래프 데이터와 비교하는 방식으로 검사 대상이 어느 감염 구간에 해당하는지를 결정할 수 있다.
검사 대상의 감염 구간은 예비 구간(1701), 제1 감염 구간(1702), 제2 감염 구간(1703), 제3 감염 구간(1704), 제4 감염 구간(1705) 및 상태 호전 구간(1706)을 포함할 수 있다.
예를 들어, 프로세서(110)는 현재 시점의 농도가 이전 시점의 농도보다 높고, 현재 시점의 농도가 제1 임계농도(1707) 이하인 경우, 검사 대상이 예비 구간(1701)에 해당하는 것으로 판단할 수 있다. 이 경우, 제1 메시지는 검사 대상이 아직 감염된 것은 아니지만 감염이 예상된다는 취지의 메시지를 포함할 수 있다.
프로세서(110)는 현재 시점의 농도가 이전 시점의 농도보다 높고, 현재 시점의 농도가 제1 임계농도(1707) 이상이고, 제2 임계농도(1708) 이하인 경우, 검사 대상이 제1 감염 구간(1702)에 해당하는 것으로 판단할 수 있다. 이 경우, 제1 메시지는 검사 대상이 감염된 상태이며, 감염 초기 상태로 예상된다는 취지의 메시지를 포함할 수 있다.
프로세서(110)는 현재 시점의 농도가 이전 시점의 농도보다 높고, 현재 시점의 농도가 제2 임계농도(1708) 이상인 경우, 검사 대상이 제2 감염 구간(1703)에 해당하는 것으로 판단할 수 있다. 이 경우, 제1 메시지는 검사 대상이 감염된 상태일 가능성이 매우 높고, 전문기관의 치료가 필요한 상태일 수 있다는 취지의 메시지를 포함할 수 있다.
프로세서(110)는 현재 시점의 농도가 이전 시점의 농도보다 낮고, 현재 시점의 농도가 제2 임계농도(1708) 이상인 경우, 검사 대상이 제3 감염 구간(1704)에 해당하는 것으로 판단할 수 있다. 이 경우, 제2 메시지는 검사 대상이 감염된 상태일 가능성이 매우 높지만, 상태가 호전되고 있다는 취지의 메시지를 포함할 수 있다.
프로세서(110)는 현재 시점의 농도가 이전 시점의 농도보다 낮고, 현재 시점의 농도가 제1 임계농도(1707) 이상이고, 제2 임계농도(1708) 이하인 경우, 검사 대상이 제4 감염 구간(1705)에 해당하는 것으로 판단할 수 있다. 이 경우, 제2 메시지는 검사 대상이 감염 후기 상태로 예상된다는 취지의 메시지를 포함할 수 있다.
프로세서(110)는 현재 시점의 농도가 이전 시점의 농도보다 낮고, 현재 시점의 농도가 제1 임계농도(1707) 이하인 경우, 검사 대상이 상태 호전 구간(1706)에 해당하는 것으로 판단할 수 있다. 이 경우, 제2 메시지는 검사 대상이 감염된 상태가 아니며 감염 상태가 호전되었고 일상 생활이 가능하다는 취지의 메시지를 포함할 수 있다.
여기서, 제1 임계농도(1707)는 검사 대상의 확진 여부를 판단하기 위한 기준농도일 수 있다. 즉, 프로세서(110)는 검사 대상으로부터 채취한 검출 타겟의 농도가 제1 임계농도(1707) 이상인 경우 검사 대상이 확진이라고 판단할 수 있다.
제2 임계농도(1708)은 검사 대상이 확진을 넘어서 중증 상태에 해당하는지 여부를 판단하기 위한 기준농도일 수 있다. 즉, 프로세서(110)는 검사 대상으로부터 채취한 검출 타겟의 농도가 제2 임계농도(1708) 이상인 경우 검사 대상이 중증 상태라고 판단할 수 있다.
제1 임계농도(1707)와 제2 임계농도(1708)는 통계적인 데이터를 기반으로 미리 결정된 기준값들일 수 있다.
프로세서(110)는 현재 시점의 농도와 이전 시점의 농도를 이용하여 검사 대상의 감염 구간을 결정할 수 있고, 현재 시점과 이전 시점의 시간 간격 및 현재 시점의 농도와 이전 시점의 농도 값의 차이를 기반으로 산출되는 기울기값을 더욱 고려하여 검사 대상의 감염 구간을 결정할 수도 있다.
프로세서(110)는 결정된 검사 대상의 감염 구간, 기준 그래프 데이터, 현재 시점 농도와 이전 시점 농도를 기반으로 하는 기울기값 중 적어도 하나를 이용하여 사용자의 감염 시점을 예측할 수 있다. 감염 상태 정보는 예측된 감염 시점을 포함할 수 있다.
본 출원은 컴퓨터 저장 매체도 제공한다. 컴퓨터 저장 매체에는 프로그램 명령이 저장되어 있고, 프로세서에 의해 프로그램 명령이 실행되면, 상술한 감염 상태 정보 생성 방법이 실현된다.
본 발명의 일 실시예에 따른 컴퓨터 저장 매체는 U디스크, SD카드, PD광학 드라이브, 모바일 하드 디스크, 대용량 플로피 드라이브, 플래시 메모리, 멀티미디어 메모리 카드, 서버 등일 수 있지만 반드시 이에 한정되는 것은 아니다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록 매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록 매체로서는 자기기록매체, 광 기록매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 컴퓨팅 장치
110: 프로세서
120: 메모리
130: 네트워크 인터페이스
140: 기계학습 모델
200: 서버
300: 네트워크
110: 프로세서
120: 메모리
130: 네트워크 인터페이스
140: 기계학습 모델
200: 서버
300: 네트워크
Claims (15)
- 영상 정보를 기반으로 감염 상태 정보를 생성하는 컴퓨팅 장치에 있어서,
상기 컴퓨팅 장치는, 상기 감염 상태 정보를 생성하기 위한 하나 이상의 프로그램을 저장하는 메모리; 및 상기 하나 이상의 프로그램에 따라 상기 감염 상태 정보를 생성하기 위한 동작들을 수행하는 하나 이상의 프로세서;를 포함하고, 상기 프로세서에 의하여 수행되는 동작들은,
검사 대상으로부터 추출된 시료(sample)가 적용된 진단 키트에 대한 입력 영상을 수신하는 단계;
상기 입력 영상에서 상기 검사 대상과 관련되는 메인 영역을 결정하고, 상기 메인 영역을 포함하도록 둘러싸는 서브 영역을 결정하는 단계; 및
상기 서브 영역을 기계학습 모델(machine-learned model)에 적용하여 상기 검사 대상에 대한 상기 감염 상태 정보를 생성하여 출력하는 단계;를 포함하는, 컴퓨팅 장치. - 제1항에 있어서,
상기 메인 영역은,
상기 검사 대상의 감염 상태에 따라 컬러가 변화하는 테스트 라인(Test Line)을 포함하는 영역인 것을 특징으로 하는, 컴퓨팅 장치. - 제2항에 있어서,
상기 감염 상태 정보는,
상기 검사 대상의 감염 여부를 나타내는 감염 정보 또는 상기 테스트 라인의 컬러 변화를 기반으로 예측한 상기 검사 대상에 포함된 검출 타겟의 농도를 포함하는 것을 특징으로 하는, 컴퓨팅 장치. - 제3항에 있어서,
상기 진단 키트에 대한 입력 영상을 수신하는 것은,
현재 시점에서 촬영된 입력 영상과 이전 시점에 촬영된 입력 영상을 포함하는 복수의 입력 영상들을 수신하는 것이고,
상기 감염 상태 정보를 생성하여 출력하는 단계는, 상기 복수의 입력 영상을 기반으로 하여 생성된 복수의 검출 타겟의 농도를 이용하여 감염 상태 추이에 대한 정보를 생성하여 출력하는 것을 특징으로 하는, 컴퓨팅 장치. - 제4항에 있어서,
상기 감염 상태 정보를 생성하여 출력하는 단계는,
상기 현재 시점의 검출 타겟의 농도가 이전 시점의 농도보다 증가한 경우, 상기 현재 시점의 감염 상태에 대한 제1 메시지를 제공하고,
상기 현재 시점의 검출 타겟의 농도가 이전 시점의 농도보다 감소한 경우, 상기 현재 시점의 감염 상태에 대한 제2 메시지를 제공하는 것을 특징으로 하는, 컴퓨팅 장치. - 제1항에 있어서,
상기 기계학습 모델은,
복수의 트레이닝 데이터와 상기 복수의 트레이닝 데이터를 기반으로 변환된 변환 트레이닝 데이터를 포함하는 증강 데이터 세트를 이용하여 학습된 것을 특징으로 하는, 컴퓨팅 장치. - 제6항에 있어서,
상기 변환 트레이닝 데이터는,
상기 트레이닝 데이터를 블러(blur)처리한 제1 변환 트레이닝 데이터,
상기 트레이닝 데이터를 크기 조정한 제2 변환 트레이닝 데이터,
상기 트레이닝 데이터를 왜곡하여 생성한 제3 변환 트레이닝 데이터,
상기 트레이닝 데이터를 회전시킨 제4 변환 트레이닝 데이터,
상기 트레이닝 데이터의 밝기를 조절한 제5 변환 트레이닝 데이터,
상기 트레이닝 데이터의 주위 환경을 변화시킨 제6 변환 트레이닝 데이터 및
상기 트레이닝 데이터의 색온도를 조정한 제7 변환 트레이닝 데이터로 이루어진 그룹으로부터 선택되는 적어도 하나를 포함하는 것을 특징으로 하는, 컴퓨팅 장치. - 제2항에 있어서,
상기 서브 영역을 결정하는 것은,
상기 테스트 라인에 해당하는 영역을 포함하고, 컨트롤 라인(Control Line)에 해당하는 영역을 제외하도록 결정하는 것을 특징으로 하는, 컴퓨팅 장치. - 제8항에 있어서,
상기 감염 상태 정보를 생성하여 출력하는 단계는,
상기 컨트롤 라인에 해당하는 영역을 기반으로 상기 진단 키트의 정상 여부를 판단하고, 상기 정상 여부에 대한 정보를 생성하여 출력하는 것을 특징으로 하는, 컴퓨팅 장치. - 제1항에 있어서,
상기 프로세서는,
모바일 어플리케이션을 활성화하고 상기 활성화된 모바일 어플리케이션을 통해 상기 동작들을 수행하는 것을 특징으로 하는, 컴퓨팅 장치. - 영상 정보를 기반으로 감염 상태 정보를 생성하는 컴퓨팅 장치에 의해 수행되는 감염 상태 정보 생성 방법에 있어서,
검사 대상으로부터 추출된 시료(sample)가 적용된 진단 키트에 대한 입력 영상을 수신하는 단계;
상기 입력 영상에서 상기 검사 대상과 관련되는 메인 영역을 결정하고, 상기 메인 영역을 포함하도록 둘러싸는 서브 영역을 결정하는 단계; 및
상기 서브 영역을 기계학습 모델(machine-learned model)에 적용하여 상기 검사 대상에 대한 상기 감염 상태 정보를 생성하여 출력하는 단계;를 포함하는, 감염 상태 정보 생성 방법. - 제11항에 있어서,
상기 메인 영역은,
상기 검사 대상의 감염 상태에 따라 컬러가 변화하는 테스트 라인(Test Line)을 포함하는 영역인 것을 특징으로 하는, 감염 상태 정보 생성 방법. - 제12항에 있어서,
상기 감염 상태 정보는,
상기 검사 대상의 감염 여부를 나타내는 감염 정보 또는 상기 테스트 라인의 컬러 변화를 기반으로 예측한 상기 검사 대상에 포함된 검출 타겟의 농도를 포함하는 것을 특징으로 하는, 감염 상태 정보 생성 방법. - 제12항에 있어서,
상기 서브 영역을 결정하는 것은,
상기 테스트 라인에 해당하는 영역을 포함하고, 컨트롤 라인(Control Line)에 해당하는 영역을 제외하도록 결정하는 것을 특징으로 하는, 감염 상태 정보 생성 방법. - 제11항 내지 제14항 중 어느 한 항에 기재된 감염 상태 정보 생성 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록 매체에 저장된 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2022/095142 WO2024058319A1 (ko) | 2022-09-16 | 2022-10-19 | 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20220117347 | 2022-09-16 | ||
| KR1020220117347 | 2022-09-16 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240038534A true KR20240038534A (ko) | 2024-03-25 |
Family
ID=90473651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220134365A KR20240038534A (ko) | 2022-09-16 | 2022-10-18 | 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240038534A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101589673B1 (ko) | 2015-10-12 | 2016-01-28 | (주)휴레이포지티브 | 시약 키트의 이미지를 통한 감염병 진단 방법 및 장치 |
-
2022
- 2022-10-18 KR KR1020220134365A patent/KR20240038534A/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101589673B1 (ko) | 2015-10-12 | 2016-01-28 | (주)휴레이포지티브 | 시약 키트의 이미지를 통한 감염병 진단 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210183484A1 (en) | Hierarchical cnn-transformer based machine learning | |
| JP7307926B2 (ja) | 被検体の致命的症状の発生を早期に予測するための予測結果を生成する方法、及びそれを利用する装置 | |
| Liu et al. | Predicting heart failure readmission from clinical notes using deep learning | |
| US20190139643A1 (en) | Facilitating medical diagnostics with a prediction model | |
| Gruber et al. | Using electronic health records to identify candidates for human immunodeficiency virus pre‐exposure prophylaxis: An application of super learning to risk prediction when the outcome is rare | |
| Overweg et al. | Interpretable outcome prediction with sparse Bayesian neural networks in intensive care | |
| Hussain et al. | Prediction and evaluation of healthy and unhealthy status of COVID-19 patients using wearable device prototype data | |
| CN110403611B (zh) | 血液中糖化血红蛋白成分值预测方法、装置、计算机设备和存储介质 | |
| Amrollahi et al. | AIDEx-an open-source platform for real-time forecasting sepsis and a case study on taking ML algorithms to production | |
| JP2020042645A (ja) | 時系列データ分析装置、時系列データ分析方法、および時系列データ分析プログラム | |
| Chen et al. | Early detection of post-surgical complications using time-series electronic health records | |
| An et al. | Codeless Deep Learning of COVID-19 Chest X-Ray Image Dataset with KNIME Analytics Platform | |
| CN116543917A (zh) | 一种针对异构时间序列数据的信息挖掘方法 | |
| KR20240038534A (ko) | 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법 | |
| Sengupta et al. | Analyzing historical diagnosis code data from NIH N3C and RECOVER Programs using deep learning to determine risk factors for Long Covid | |
| CN112927152B (zh) | Ct图像去噪处理方法、装置、计算机设备及介质 | |
| Gálvez-Barrón et al. | Machine learning for the development of diagnostic models of decompensated heart failure or exacerbation of chronic obstructive pulmonary disease | |
| US11694801B2 (en) | Identifying and extracting stimulus-response variables from electronic health records | |
| CN113313254A (zh) | 面向记忆增强元学习的深度学习模型去偏方法 | |
| Kulev et al. | Recommender system for responsive engagement of senior adults in daily activities | |
| Parimala et al. | Diabetes Prediction using Machine Learning | |
| El-Bashbishy et al. | Pediatric diabetes prediction using deep learning | |
| Gasanova et al. | Modern possibilities of using ai methods in the analysis of biomedical data | |
| CN114334161B (zh) | 模型训练方法、数据处理方法、装置、介质、电子设备 | |
| Srinivas | Smart Detection of Diseases Using Machine Learning |