KR102629904B1 - 머신러닝과 이미지 프로세싱을 이용한 진단 키트 영상의 위치 및 색상 보정 장치 및 방법 - Google Patents
머신러닝과 이미지 프로세싱을 이용한 진단 키트 영상의 위치 및 색상 보정 장치 및 방법 Download PDFInfo
- Publication number
- KR102629904B1 KR102629904B1 KR1020220067730A KR20220067730A KR102629904B1 KR 102629904 B1 KR102629904 B1 KR 102629904B1 KR 1020220067730 A KR1020220067730 A KR 1020220067730A KR 20220067730 A KR20220067730 A KR 20220067730A KR 102629904 B1 KR102629904 B1 KR 102629904B1
- Authority
- KR
- South Korea
- Prior art keywords
- diagnostic kit
- area
- kit image
- image
- detection pad
- Prior art date
Links
- 238000009007 Diagnostic Kit Methods 0.000 title claims abstract description 183
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000010801 machine learning Methods 0.000 title description 4
- 238000012545 processing Methods 0.000 title description 2
- 238000001514 detection method Methods 0.000 claims abstract description 80
- 238000012937 correction Methods 0.000 claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 238000003702 image correction Methods 0.000 claims description 54
- 238000012360 testing method Methods 0.000 claims description 37
- 230000005484 gravity Effects 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 11
- 238000003745 diagnosis Methods 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 33
- 239000000523 sample Substances 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 9
- 239000012491 analyte Substances 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 239000003814 drug Substances 0.000 description 6
- 108090000623 proteins and genes Proteins 0.000 description 6
- 102000004169 proteins and genes Human genes 0.000 description 6
- 239000012488 sample solution Substances 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 239000000090 biomarker Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 108020004707 nucleic acids Proteins 0.000 description 5
- 102000039446 nucleic acids Human genes 0.000 description 5
- 150000007523 nucleic acids Chemical class 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 238000005206 flow analysis Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 239000000427 antigen Substances 0.000 description 3
- 230000027455 binding Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 108091005461 Nucleic proteins Proteins 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 108091007433 antigens Proteins 0.000 description 2
- 102000036639 antigens Human genes 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000003446 ligand Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- WEVYNIUIFUYDGI-UHFFFAOYSA-N 3-[6-[4-(trifluoromethoxy)anilino]-4-pyrimidinyl]benzamide Chemical compound NC(=O)C1=CC=CC(C=2N=CN=C(NC=3C=CC(OC(F)(F)F)=CC=3)C=2)=C1 WEVYNIUIFUYDGI-UHFFFAOYSA-N 0.000 description 1
- 108091023037 Aptamer Proteins 0.000 description 1
- 208000032791 BCR-ABL1 positive chronic myelogenous leukemia Diseases 0.000 description 1
- 208000010833 Chronic myeloid leukaemia Diseases 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 239000005517 L01XE01 - Imatinib Substances 0.000 description 1
- 208000033761 Myelogenous Chronic BCR-ABL Positive Leukemia Diseases 0.000 description 1
- 239000000020 Nitrocellulose Substances 0.000 description 1
- 108010067390 Viral Proteins Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004587 chromatography analysis Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- -1 for example Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 229940080856 gleevec Drugs 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- KTUFNOKKBVMGRW-UHFFFAOYSA-N imatinib Chemical compound C1CN(C)CCN1CC1=CC=C(C(=O)NC=2C=C(NC=3N=C(C=CN=3)C=3C=NC=CC=3)C(C)=CC=2)C=C1 KTUFNOKKBVMGRW-UHFFFAOYSA-N 0.000 description 1
- 230000028993 immune response Effects 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 239000002207 metabolite Substances 0.000 description 1
- 239000002105 nanoparticle Substances 0.000 description 1
- 229920001220 nitrocellulos Polymers 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009870 specific binding Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
- G01N33/543—Immunoassay; Biospecific binding assay; Materials therefor with an insoluble carrier for immobilising immunochemicals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
- G01N33/543—Immunoassay; Biospecific binding assay; Materials therefor with an insoluble carrier for immobilising immunochemicals
- G01N33/54366—Apparatus specially adapted for solid-phase testing
- G01N33/54386—Analytical elements
- G01N33/54387—Immunochromatographic test strips
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Immunology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Urology & Nephrology (AREA)
- Hematology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biochemistry (AREA)
- Cell Biology (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biotechnology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Software Systems (AREA)
- Microbiology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
본 실시예들은 진단 키트의 검출 결과를 촬영한 진단 키트 영상에 대해서 제어선 영역을 기준으로 각도를 보정하고, 윈도우 라인을 기준으로 위치를 보정하고, 검출 패드 영역의 색상 채널 보정 매트릭스를 이용하여 색상을 보정하는 방식을 통해, 진단 키트 영상을 자동 분석하는 알고리즘의 정확도 및 신뢰도를 향상시키는 장치 및 방법을 제공한다.
Description
본 발명이 속하는 기술 분야는 머신러닝과 이미지 프로세싱을 이용하여 진단 키트 영상의 위치 및 색상을 보정하는 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
현대 의학은 단순하게 수명을 연장하는 것이 아니라, 건강하게 오래 사는 건강수명의 연장을 실현하는 것을 목적으로 한다. 따라서 미래의학은 치료의학 중심이 아니라, 예방의학(Preventive Medicine), 예측의학(Predictive Medicine), 맞춤의학(Personalized Medicine)의 3P를 구현하는 것으로 패러다임이 변화하고 있다. 이를 구체적으로 실현하기 위해서는 질병의 조기발견 및 조기 치료 등이 매우 중요한 수단이 되고 있으며, 이를 위한 수단으로서 바이오마커(Biomarker)에 대한 연구가 매우 활발하게 이루어지고 있다.
바이오마커는 정상이나 병적인 상태를 구분할 수 있거나 치료반응을 예측할 수 있고 객관적으로 측정할 수 있는 표지자를 말한다. 바이오마커에는 핵산(DNA, RNA), 단백질, 지방질, 대사물질 등과 그 패턴의 변화 등이 이용되고 있다. 즉, 당뇨병의 진단을 위한 혈중 포도당 같은 간단한 물질부터 글리벡의 치료 타겟인 만성골수성백혈병의 BCR-ABL 유전자 융합 같은 유전자 등이 모두 바이오마커에 해당하며 임상에서 실제적으로 사용하는 바이오마커이다.
핵산 또는 단백질을 분석하여 질병의 발현 및 진행 정도를 파악할 수 있다. 단백질 분석을 위한 기술 및 소자들은 나노 기술을 이용함으로써 소자의 제작이 어렵고 비교적 고가이어서 보급화 되기 어려운 문제점이 있다. 또한, 단백질 분석 장치에 고감도의 센서가 필요하거나 적은 양의 시료로는 정확한 분석이 어렵다는 단점이 있다. 핵산 또는 단백질을 검출하는 대표적인 방법은 크로마토그래피 방식을 이용한 측면 유동 분석 방법이다. 이러한 측면 유동 분석 방법은 임신 진단 등 다양한 분야에 사용되고 있다.
진단 키트의 시료 검출 여부를 사람이 직접 육안으로 확인할 수 있고, 영상 촬영하여 자동으로 확인할 수 있다.
본 발명의 실시예들은 진단 키트의 검출 결과를 촬영한 진단 키트 영상에 대해서 각도, 위치, 색상을 보정하여, 진단 키트 영상을 자동 분석하는 알고리즘의 정확도 및 신뢰도를 향상시키는데 주된 목적이 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
본 실시예의 일 측면에 의하면, 진단 키트 영상 보정 방법에 있어서, 진단 키트 영상을 획득하는 단계; 상기 진단 키트 영상에서 검출 패드 영역을 보정하는 단계를 포함하는 진단 키트 영상 보정 방법을 제공한다.
상기 검출 패드 영역을 보정하는 단계는, 상기 진단 키트 영상에서 상기 검출 패드 영역의 제어선 영역을 기준으로 각도 오차를 산출하고 상기 각도 오차에 따라 상기 진단 키트 영상을 회전하여 보정할 수 있다.
상기 검출 패드 영역을 보정하는 단계는, 상기 진단 키트 영상에 대해서 RGB(Red, Green, Blue) 색상 차원으로부터 HSV(Hue, Saturation, Value) 색상 차원으로 변환하고, 상기 HSV 색상 차원으로 변환한 진단 키트 영상에서 상기 제어선 영역의 위치를 기준으로 적색이 포함된 영역의 제어선 윤곽을 추출하고, 상기 진단 키트 영상에 상기 적색이 포함된 영역의 제어선 윤곽을 적용하여 상기 제어선 영역을 추출하고, 상기 추출한 제어선 영역에서 장축과 단축을 구분하고, 상기 장축과 상기 단축을 통해 상기 각도 오차를 산출하고 무게 중심의 위치를 찾고, 상기 무게 중심을 기준으로 상기 진단 키트 영상을 회전시킬 수 있다.
상기 검출 패드 영역을 보정하는 단계는, 상기 진단 키트 영상에서 상기 검출 패드 영역의 윈도우 라인을 기준으로 위치 오차를 산출하고 상기 위치 오차에 따라 상기 진단 키트 영상을 시프트하여 보정할 수 있다.
상기 검출 패드 영역을 보정하는 단계는, 상기 진단 키트 영상에 대해서 RGB(Red, Green, Blue) 색상 차원으로부터 그레이스케일(gray scale)로 변환하고, 필터를 이용하여 노이즈(noise)를 제거하고, 임계치를 적용하여 이진화 영상으로 변환하고, 상기 이진화 영상에서 윈도우 윤곽을 추출하고, 상기 윈도우 윤곽을 적용하여 상기 윈도우 라인을 추출하고, 상기 윈도우 라인에서 무게 중심의 위치를 찾고, 상기 무게 중심을 기준으로 상기 진단 키트 영상을 시프트할 수 있다.
상기 검출 패드 영역을 보정하는 단계는, 상기 이진화 영상에서 복수의 폐곡선을 찾고, 상기 폐곡선의 면적의 넓이 및 상기 폐곡선을 다각형으로 피팅할 때의 복잡도를 기준으로 상기 윈도우 윤곽에 해당하는 폐곡선을 선택하며, 상기 폐곡선을 선택하는 과정에서 제1 임계치에 따라 복잡도가 높은 폐곡선을 제외하고 제2 임계치에 따라 복잡도가 낮은 폐곡선을 제외할 수 있다.
상기 검출 패드 영역을 보정하는 단계는, 상기 진단 키트 영상에서 색상 채널 보정 매트릭스를 이용하여 상기 진단 키트 영상의 밝기를 보정할 수 있다.
상기 검출 패드 영역을 보정하는 단계는, 상기 검출 패드 영역의 제어선 영역 및 테스트선 영역 사이 위치를 고려하고 상기 검출 패드 영역의 윈도우 라인의 중간 영역으로부터 흰색을 추출하여 상기 색상 채널 보정 매트릭스를 적용하여 화이트밸런스 보정을 적용할 수 있다.
상기 검출 패드 영역을 보정하는 단계는, 복수의 색상을 갖는 체커보드를 감지하고, 상기 체커보드 내에 있는 각 영역을 인식하고 상기 각 영역의 레퍼런스 색상을 추출하고, 상기 레퍼런스 색상을 이용하여 상기 색상 채널 보정 매트릭스를 적용하여 색상 보정을 적용할 수 있다.
상기 검출 패드 영역을 보정하는 단계는, 상기 진단 키트 영상에서 검출 패드 영역의 제어선 영역을 기준으로 각도 오차를 산출하고 상기 각도 오차에 따라 상기 진단 키트 영상을 회전하여 제2 진단 키트 영상으로 변환하는 단계; 상기 제2 진단 키트 영상에서 검출 패드 영역의 윈도우 라인을 기준으로 위치 오차를 산출하고 상기 위치 오차에 따라 상기 제2 진단 키트 영상을 시프트하여 제3 진단 키트 영상으로 변환하는 단계; 상기 제3 진단 키트 영상에서 색상 채널 보정 매트릭스를 이용하여 상기 제3 진단 키트 영상의 밝기를 보정하여 제4 진단 키트 영상으로 변환하는 단계를 포함할 수 있다.
상기 진단 키트 영상 보정 방법은 상기 보정한 진단 키트 영상에서 상기 검출 패드 영역의 테스트선 영역을 검출하고 상기 테스트선 영역의 인텐시티에 따라 진단 결과를 출력하는 단계를 포함할 수 있다.
상기 테스트선 영역을 검출하는 것은 상기 테스트선 영역의 위치를 상기 검출 패드 영역의 윈도우 라인 내부에 위치하는 제어선 영역을 기준으로 설정된 거리 차이를 이용하여 산출할 수 있다.
상기 테스트선 영역의 인텐시티는 적색 인텐시티와 녹색 인텐시티의 비율을 사용하여 산출될 수 있다.
상기 테스트선 영역의 인텐시티는 255에서 상기 녹색 인텐시티를 뺀 값을 255에서 상기 적색 인텐시티를 뺀 값으로 나눈 값으로 정의될 수 있다.
상기 진단 결과를 출력하는 단계는 상기 테스트선 영역의 인텐시티를 미리 설정된 기준 농도에 따라 정규화한 값을 출력할 수 있다.
본 실시예의 다른 측면에 의하면, 시료 용액 농축 분리 장치에 있어서, 진단 키트 영상을 획득하고, 상기 진단 키트 영상에서 검출 패드 영역을 보정하는 프로세서를 포함하는 것을 특징으로 하는 시료 용액 농축 분리 장치를 제공한다.
상기 시료 용액 농축 분리 장치는 진단 키트 리더기로 구현되어 적용될 수 있다.
상기 시료 용액 농축 분리 장치는 스마트폰으로 구현되어 적용될 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 진단 키트의 검출 결과를 촬영한 진단 키트 영상에 대해서 각도, 위치, 색상을 보정하여 진단 키트 영상을 자동 분석하는 알고리즘의 정확도 및 신뢰도를 향상시키고, 진단 키트 영상의 각도, 위치, 색상을 보정하는 기준을 제시할 수 있는 효과가 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 진단 키트를 이용한 시료 검출과 진단 키트 영상 획득을 예시한 도면이다.
도 2는 진단 키트 영상을 예시한 도면이다.
도 3은 진단 키트 영상의 오차 유형을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 진단 키트 영상 보정 장치를 예시한 도면이다.
도 5 및 도 6은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법을 예시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 검출 패드 영역 보정 단계를 예시한 도면이다.
도 8 내지 도 9는 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 각도 보정 단계를 예시한 도면이다.
도 10 및 도 11은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 각도 보정 결과를 예시한 도면이다.
도 12 및 도 13은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 위치 보정 단계를 예시한 도면이다.
도 14 및 도 15는 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 위치 보정 결과를 예시한 도면이다.
도 16은 영상의 색상 보정을 예시한 도면이다.
도 17 내지 도 19는 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 색상 보정 단계를 광학 리더기에 예시적으로 적용한 도면이다.
도 20은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 색상 보정 단계를 스마트폰에 예시적으로 적용한 도면이다.
도 21 및 도 22는 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 진단 결과 출력 단계를 예시한 도면이다.
도 23은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법이 판독하는 테스트선과 제어선 간의 간격을 예시한 도면이다.
도 24 및 도 25는 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 각도 보정 단계, 위치 보정 단계, 색상 보정 단계를 광학 리더기에 예시적으로 적용한 도면이다.
도 26 및 도 27은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 각도 보정 단계, 위치 보정 단계, 색상 보정 단계를 스마트폰에 예시적으로 적용한 도면이다.
도 2는 진단 키트 영상을 예시한 도면이다.
도 3은 진단 키트 영상의 오차 유형을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 진단 키트 영상 보정 장치를 예시한 도면이다.
도 5 및 도 6은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법을 예시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 검출 패드 영역 보정 단계를 예시한 도면이다.
도 8 내지 도 9는 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 각도 보정 단계를 예시한 도면이다.
도 10 및 도 11은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 각도 보정 결과를 예시한 도면이다.
도 12 및 도 13은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 위치 보정 단계를 예시한 도면이다.
도 14 및 도 15는 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 위치 보정 결과를 예시한 도면이다.
도 16은 영상의 색상 보정을 예시한 도면이다.
도 17 내지 도 19는 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 색상 보정 단계를 광학 리더기에 예시적으로 적용한 도면이다.
도 20은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 색상 보정 단계를 스마트폰에 예시적으로 적용한 도면이다.
도 21 및 도 22는 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 진단 결과 출력 단계를 예시한 도면이다.
도 23은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법이 판독하는 테스트선과 제어선 간의 간격을 예시한 도면이다.
도 24 및 도 25는 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 각도 보정 단계, 위치 보정 단계, 색상 보정 단계를 광학 리더기에 예시적으로 적용한 도면이다.
도 26 및 도 27은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 각도 보정 단계, 위치 보정 단계, 색상 보정 단계를 스마트폰에 예시적으로 적용한 도면이다.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.
도 1은 진단 키트를 이용한 시료 검출과 진단 키트 영상 획득을 예시한 도면이다.
진단 키트는 대상물을 묻히고 물질 간에 반응시켜 검출 여부를 보여주는 장치이다. 진단 키트로는 측면 유동 분석(Lateral Flow Assay, LFA) 등과 같은 면역 반응 분석 기반 키트, 항원-항체 기반 진단 키트 등이 있다.
진단 키트는 항원과 항체를 직접 반응시켜 검출하는 방식을 적용할 수 있고, 항원과 일차 항체를 반응시킨 뒤, 일차 항체에 반응하는 이차 항체에 형광 물질을 결합시켜 양성 반응에서 색이 나타나도록 하는 방식을 적용할 수도 있다.
진단 키트의 구조는 지지대에 샘플 패드, 복합 패드, 검출 패드, 및 흡수 패드가 고정될 수 있고, 검출 패드가 지지대 역할을 할 수도 있다.
샘플 패드는 검출하려는 샘플을 주입하는 패드이다. 복합 패드는 발색 물질에 결합된 탐지자를 포함하는 패드이다. 탐지자는 샘플 내의 분석물과 결합한다. 검출 패드는 테스트선 및 제어선을 포함하며, 샘플 내에 분석물이 존재하는지 여부를 표시하고, 샘플이 이동하는지 여부를 표시한다. 흡수 패드는 모세관 현상을 이용하여 샘플을 흡수하는 패드이다.
복합 패드는 검출 패드에 연결되며, 분석물과 결합하여 복합체를 형성하는 탐지자 및 표시자를 결합시킨 결합체를 포함한다. 표시자는 육안 또는 센서를 이용하여 감지할 수 있도록 신호를 발생시키는 물질이다. 표시자는 발색 물질일 수 있으며, 예컨대, 금 나노 파티클일 수 있으나 이에 한정되는 것은 아니고 구현되는 설계에 따라 적합한 물질이 사용될 수 있음은 물론이다.
검출 패드는 테스트선 및 제어선을 포함한다. 테스트선은 복합체를 포획하는 제1 포획자를 포함한다. 테스트선은 샘플에 분석물이 존재하는 여부를 검출한다. 제어선은 복합체를 형성하지 못한 결합체 또는 탐지자를 포획하는 제2 포획자를 포함한다. 제어선은 분석물의 존재 유무에 관계없이 샘플이 이동했는지 여부를 확인한다.
복합 패드에서는 표시자-탐지자 결합체가 위치하고, 분석물이 복합 패드를 통과하면서 표시자-탐지자-분석물 복합체를 형성한다. 이동한 표시자-탐지자-분석물 복합체는 테스트선에서 제1 포획자에 의해 포획된다.
복합 패드에서 복합체를 형성하거나 검출 패드에서 포획하는 반응은 물리적 반응, 화학적 반응, 생물학적 반응, 또는 이들의 조합에 의해 형성될 수 있다. 예컨대, 항원-항체 반응일 수 있다.
측방 유동 분석은 항체-항원 반응에 국한되지 않는 것으로, 본 명세서에서 언급되는 결합부위(리간드)는 다양한 분석물에 있어서 단백질 리간드 (Ligand), 핵산(DNA 또는 RNA) 분자 서열의 결합 부위 등을 포함하고, 특이적 결합물질은 결합부위에 선택적, 특이적으로 결합할 수 있는 단백질, 바이러스 파아지, 핵산분자 앱타머(Aptamer), 합텐(Hapten, DNP) 등을 포함하는 생체분자를 모두 포함하는 것으로, 나아가 기재 사항에 제한되는 것은 아니다.
진단 키트의 검출 패드에 나타나는 분석 결과를 진단 키트 영상 분석 장치를 통해 확인할 수 있다. 진단 키트 영상 분석 장치는 광학 리더기 또는 스마트폰 등을 적용할 수 있다. 진단 키트 영상 분석 장치 및 방법은 리더기 내에 하드웨어 및 소프트웨어로 분석 알고리즘을 구현하거나 스마트폰에 어플리케이션 형태로 구현할 수 있다.
도 2는 진단 키트 영상을 예시한 도면이고, 도 3은 진단 키트 영상의 오차 유형을 예시한 도면이다.
검출 패드 영역은 제어선 영역과 윈도우 라인을 포함한다. 윈도우 라인의 평행한 두 선분을 제어선 영역과 테스트선 영역이 가로지른다. 검출 패드 영역이
진단 키트 영상 분석 장치의 촬영 각도, 진단 키트의 촬영 위치, 주변 조명 환경 등을 이유로 진단 키트 영상 분석 장치의 분석 결과에 오차가 발생할 수 있다. 예컨대, 검출 패드 영역의 각도 오차, 위치 오차, 색상(밝기, 톤 등) 오차 등이 발생할 수 있다.
본 실시예에 따른 진단 키트 영상 보정 장치는 진단 키트 영상의 오차를 보정한다. 진단 키트 영상 보정 장치는 진단 키트 영상에 대해서 제어선 영역을 기준으로 각도를 보정하고, 윈도우 라인을 기준으로 위치를 보정하고, 검출 패드 영역의 색상 채널 보정 매트릭스를 이용하여 색상을 보정하는 방식을 통해, 진단 키트 영상을 자동 분석하는 알고리즘의 정확도 및 신뢰도를 향상시킨다.
도 4는 본 발명의 일 실시예에 따른 진단 키트 영상 보정 장치를 예시한 도면이다.
진단 키트 영상 보정 장치(110)는 하나 이상의 프로세서(120), 컴퓨터 판독 가능한 저장 매체(130) 및 통신 버스(170)를 포함할 수 있다.
프로세서(120)는 진단 키트 영상 보정 장치(110)가 동작하도록 제어할 수 있다. 예컨대, 프로세서(120)는 컴퓨터 판독 가능한 저장 매체(130)에 저장된 하나 이상의 프로그램(140)을 실행할 수 있다. 하나 이상의 프로그램(140)은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서(120)에 의해 실행되는 경우 진단 키트 영상 보정 장치(110)로 하여금 검출 분석(예컨대, 측면 유동 분석 등)의 결과를 예측하기 위한 동작을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능한 저장 매체(130)는 검출 분석(예컨대, 측면 유동 분석 등)의 결과를 예측하기 위한 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(130)에 저장된 프로그램(140)은 프로세서(120)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능한 저장 매체(130)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 진단 키트 영상 보정 장치(110)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(170)는 프로세서(120), 컴퓨터 판독 가능한 저장 매체(130)를 포함하여 진단 키트 영상 보정 장치(110)의 다른 다양한 컴포넌트들을 상호 연결한다.
진단 키트 영상 보정 장치(110)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(150) 및 하나 이상의 통신 인터페이스(160)를 포함할 수 있다. 입출력 인터페이스(150) 및 통신 인터페이스(160)는 통신 버스(170)에 연결된다. 입출력 장치(도시하지 않음)는 입출력 인터페이스(150)를 통해 진단 키트 영상 보정 장치(110)의 다른 컴포넌트들에 연결될 수 있다.
진단 키트 영상 보정 장치(110)는 보정 모델을 통해 진단 키트 영상의 오차를 보정할 수 있다. 보정 모델은 머신러닝을 적용할 수 있다. 보정 모델은 합성곱 신경망(convolution neural network, CNN), 장단기 메모리(long short-term memory, LSTM) 및 적대적 생성 신경망(generative adversarial network, GAN)을 포함할 수 있다. 보정 모델은 인코더(encoder) 및 디코더(decoder)를 포함할 수 있다. 보정 모델은 회귀 모델을 적용할 수 있으며, 이미지의 특징 벡터를 획득하고, 획득한 특징 벡터를 선형 레이어(linear layer)를 거쳐 결과를 출력할 수 있다. 보정 모델은 학습 데이터를 기반으로 미리 정의된 손실 함수를 최소화하는 파라미터를 학습할 수 있다.
진단 키트 영상 보정 장치는 별도로 구현되거나 진단 키트 영상 분석 장치에 내부 구성요소로 포함될 수 있다. 진단 키트 영상 보정 장치는 진단 키트 영상 분석 장치에서 알고리즘(소프트웨어, 프로그램) 형태로 구현되어 동작할 수도 있다.
도 5 및 도 6은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법을 예시한 도면이다. 진단 키트 영상 보정 방법은 진단 키트 영상 분석 장치에 의해 수행될 수 있다.
도 5를 참조하면, 단계 S10에서는 진단 키트 영상을 획득하는 단계를 수행한다. 진단 키트 영상은 영상 센서 등을 통해 진단 키트 결과를 촬영하여 획득할 수 있다.
단계 S20에서는 진단 키트 영상에서 검출 패드 영역을 보정하는 단계를 수행한다.
검출 패드 영역을 보정하는 단계(S20)는 진단 키트 영상에서 검출 패드 영역의 제어선 영역을 기준으로 각도 오차를 산출하고 각도 오차에 따라 진단 키트 영상을 회전하여 보정할 수 있다.
검출 패드 영역을 보정하는 단계(S20)는 진단 키트 영상에 대해서 RGB(Red, Green, Blue) 색상 차원으로부터 HSV(Hue, Saturation, Value) 색상 차원으로 변환하고, HSV 색상 차원으로 변환한 진단 키트 영상에서 제어선 영역의 위치를 기준으로 적색이 포함된 영역의 제어선 윤곽을 추출하고, 진단 키트 영상에 적색이 포함된 영역의 제어선 윤곽을 적용하여 제어선 영역을 추출하고, 추출한 제어선 영역에서 장축과 단축을 구분하고, 장축과 단축을 통해 각도 오차를 산출하고 무게 중심의 위치를 찾고, 무게 중심을 기준으로 진단 키트 영상을 회전시킬 수 있다.
검출 패드 영역을 보정하는 단계(S20)는 진단 키트 영상에서 검출 패드 영역의 윈도우 라인을 기준으로 위치 오차를 산출하고 위치 오차에 따라 진단 키트 영상을 시프트하여 보정할 수 있다.
검출 패드 영역을 보정하는 단계(S20)는 진단 키트 영상에 대해서 RGB(Red, Green, Blue) 색상 차원으로부터 그레이스케일(gray scale)로 변환하고, 필터를 이용하여 노이즈(noise)를 제거하고, 임계치를 적용하여 이진화 영상으로 변환하고, 이진화 영상에서 윈도우 윤곽을 추출하고, 윈도우 윤곽을 적용하여 윈도우 라인을 추출하고, 윈도우 라인에서 무게 중심의 위치를 찾고, 무게 중심을 기준으로 진단 키트 영상을 시프트할 수 있다.
검출 패드 영역을 보정하는 단계(S20)는 이진화 영상에서 복수의 폐곡선을 찾고, 폐곡선의 면적의 넓이 및 폐곡선을 다각형으로 피팅할 때의 복잡도를 기준으로 윈도우 윤곽에 해당하는 폐곡선을 선택하며, 폐곡선을 선택하는 과정에서 제1 임계치에 따라 복잡도가 높은 폐곡선을 제외하고 제2 임계치에 따라 복잡도가 낮은 폐곡선을 제외할 수 있다.
검출 패드 영역을 보정하는 단계(S20)는 진단 키트 영상에서 색상 채널 보정 매트릭스를 이용하여 진단 키트 영상의 밝기를 보정할 수 있다.
검출 패드 영역을 보정하는 단계(S20)는 검출 패드 영역의 제어선 영역 및 테스트선 영역 사이 위치를 고려하고 검출 패드 영역의 윈도우 라인의 중간 영역으로부터 흰색을 추출하여 색상 채널 보정 매트릭스를 적용하여 화이트밸런스 보정을 적용할 수 있다.
검출 패드 영역을 보정하는 단계(S20)는 복수의 색상을 갖는 체커보드를 감지하고, 체커보드 내에 있는 각 영역을 인식하고 각 영역의 레퍼런스 색상을 추출하고, 레퍼런스 색상을 이용하여 색상 채널 보정 매트릭스를 적용하여 색상 보정을 적용할 수 있다.
도 7을 참조하면, 단계 S21에서는 진단 키트 영상에서 검출 패드 영역의 제어선 영역을 기준으로 각도 오차를 산출하고 각도 오차에 따라 제1 진단 키트 영상을 회전하여 제2 진단 키트 영상으로 변환하는 단계를 수행한다.
단계 S30에서는 제2 진단 키트 영상에서 검출 패드 영역의 윈도우 라인을 기준으로 위치 오차를 산출하고 위치 오차에 따라 제2 진단 키트 영상을 시프트하여 제3 진단 키트 영상으로 변환하는 단계를 수행한다.
단계 S40에서는 제3 진단 키트 영상에서 색상 채널 보정 매트릭스를 이용하여 제3 진단 키트 영상의 밝기를 보정하여 제4 진단 키트 영상으로 변환하는 단계를 수행한다.
도 8 내지 도 9는 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 각도 보정 단계를 예시한 도면이다. 도 10 및 도 11은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 각도 보정 결과를 예시한 도면이다.
진단 키트 영상에 대해서 RGB(Red, Green, Blue) 색상 차원으로부터 HSV(Hue, Saturation, Value) 색상 차원으로 변환한다(S211). HSV 색상 차원으로 변환한 진단 키트 영상에서 제어선 영역의 위치를 기준으로 적색이 포함된 영역의 제어선 윤곽을 추출한다(S212). 이동하는 샘플의 진행 방향에 따라 테스트선이 앞에 있고 제어선이 뒤에 있는 것을 고려하여 제어선과 테스트선의 좌/우 또는 반대에 위치하는 것을 이용하여 제어선의 위치를 감지할 수 있다. 빨간색이 포함된 영역인 (155,25,0)~(179,255,255) 사이의 값을 추출한다. 진단 키트 영상에 적색이 포함된 영역의 제어선 윤곽을 적용하여 제어선 영역을 추출한다(S213). 추출한 제어선 영역에서 장축과 단축을 구분하고, 장축과 단축을 통해 각도 오차를 산출하고 무게 중심의 위치를 찾고, 무게 중심을 기준으로 진단 키트 영상을 회전시킬 수 있다(S214). 추출된 이미지에 PCA(Principal Component Analysis)를 적용하여 장축과 단축을 구분할 수 있다.
도 10 및 도 11을 참조하면, 각도 오차를 줄이는 것을 확인할 수 있다.
도 12 및 도 13은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 위치 보정 단계를 예시한 도면이다. 도 14 및 도 15는 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 위치 보정 결과를 예시한 도면이다.
진단 키트 영상에 대해서 RGB(Red, Green, Blue) 색상 차원으로부터 그레이스케일(gray scale)로 변환한다(S221). 필터를 이용하여 노이즈(noise)를 제거한다(S222). 예컨대, 가우시안 필터(Gaussian filter) 등을 이용할 수 있다. 임계치를 적용하여 이진화 영상으로 변환한다(S223). 픽셀 중심으로 블록 영역의 평균에 따른 적응적 임계치(adaptive Threshold)를 적용할 수 있다. 이진화 영상에서 윈도우 윤곽을 추출한다(S224). 윈도우 윤곽을 적용하여 윈도우 라인을 추출한다(S225). 윈도우 라인에서 무게 중심의 위치를 찾고(예컨대, PCA를 적용), 무게 중심을 기준으로 진단 키트 영상을 시프트할 수 있다(S226).
윈도우 윤곽을 추출하는 것(S224)은 이진화 영상에서 복수의 폐곡선을 찾고, 복수의 폐곡선 중에서 폐곡선의 면적의 넓이 및 폐곡선을 다각형으로 피팅할 때의 복잡도를 기준으로 윈도우 윤곽에 해당하는 폐곡선을 선택하며, 폐곡선을 선택하는 과정에서 제1 임계치에 따라 복잡도가 높은 폐곡선을 제외하고 제2 임계치에 따라 복잡도가 낮은 폐곡선을 제외할 수 있다.
도 14 및 도 15를 참조하면, 위치 오차를 줄이는 것을 확인할 수 있다.
도 16은 영상의 색상 보정을 예시한 도면이다.
색상 보정에 다변량 회귀 분석(multivariate regression), SVM 등의 머신 러닝, 딥 러닝 등을 적용할 수 있다.
도 17 내지 도 19는 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 색상 보정 단계를 광학 리더기에 예시적으로 적용한 도면이다.
조명 보정을 통하여 노후된 리더기의 조명 차이에 의한 오차를 줄일 수 있다.
검출 패드 영역(예컨대, Nitrocellulose membrane)이 흰색인 점을 이용하여 색상 보정을 수행한다. 화이트 밸런스 알고리즘을 적용할 수 있으며, 화이트 패치 알고리즘(white patch algorithm)을 적용할 수 있다.
화이트 패치 알고리즘은 광원 보정이 필요한 영상에서 최대 루미넌스(Luminance)를 가지는 패치가 실제 영상에서 일정 비율의 반사율을 갖는 화이트 컬러를 보장한다고 가정하는 알고리즘으로, 광원의 온도의 RGB 비율이 1:1:1을 갖는 광원이 들어오는 이상적인 환경의 화이트라고 가정했을 때 영상에서 찾은 화이트 패치의 픽셀 값을 통해 영상 보정하는 방법이다.
도 20은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 색상 보정 단계를 스마트폰에 예시적으로 적용한 도면이다.
스마트폰은 컬러체커 보드를 통해 색상의 보정을 수행할 수 있다. 색 보정을 통해 조명의 영향이 제거됨을 확인할 수 있다. 조명의 색 온도 차이로 인한 색 차이를 보정한다.
이미지 내에서 컬러체커 보드(color checker board)를 감지한다. 체커 보드 내에 있는 레퍼런스 색상들을 추출한다. 레퍼런스 색상들의 원래 R,G,B 값 (X)과 이미지 내의 R,G,B 값(Y)을 보정에 사용한다.
X와 Y를 매핑해주는 함수를 찾기 위해 다변량 회귀 분석(multivariate regression)을 사용할 수 있다. 예시로 부분 최소 제곱법(partial least square) 또는 신경망(neural network)을 사용할 수 있다.
색 온도에 해당하는 R', G', B' 값을 원래의 값 X에 곱하여(ex, 1000 K - RGB (255,56,0), 5000 K - RGB(255,228,206)) 실제 이미지에서의 RGB 값 Y와 비교를 한 뒤 색 온도 오차(E)를 가장 작게 하는 색 온도를 찾고, 이의 역행렬을 Y에 곱하여 보정된 색상을 얻을 수 있다.
도 21 및 도 22는 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 진단 결과 출력 단계를 예시한 도면이다. 도 23은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법이 판독하는 테스트선과 제어선 간의 간격을 예시한 도면이다.
도 21을 참조하면, 단계 S10에서 진단 키트 영상을 획득하는 단계를 수행한다. 단계 S20에서 진단 키트 영상에서 검출 패드 영역을 보정하는 단계를 수행한다. 단계 S30에서 보정한 진단 키트 영상에서 검출 패드 영역의 테스트선 영역을 검출하고 테스트선 영역의 인텐시티에 따라 진단 결과를 출력하는 단계를 수행한다.
단계 S30에서 테스트선 영역을 검출하는 것은 테스트선 영역의 위치를 검출 패드 영역의 윈도우 라인 내부에 위치하는 제어선 영역을 기준으로 설정된 거리 차이를 이용하여 산출할 수 있다.
단계 S30에서 테스트선 영역의 인텐시티는 적색 인텐시티와 녹색 인텐시티의 비율을 사용하여 산출될 수 있다. 단계 S30에서 테스트선 영역의 인텐시티는 255에서 녹색 인텐시티를 뺀 값을 255에서 적색 인텐시티를 뺀 값으로 나눈 값으로 정의될 수 있다.
진단 결과를 출력하는 단계(S30)는 테스트선 영역의 인텐시티를 미리 설정된 기준 농도에 따라 정규화한 값을 출력할 수 있다.
도 22를 참조하면, 단계 S31에서 검출 패드 영역의 윈도우 라인 내부에 위치하는 제어선 영역을 기준으로 설정된 거리 차이를 이용하여 테스트선 영역의 위치를 산출할 수 있다. 단계 S32에서 적색 인텐시티와 녹색 인텐시티의 비율을 사용하여 테스트선 영역의 인텐시티를 산출할 수 있다. 단계 S33에서 테스트선 영역의 인텐시티를 미리 설정된 기준 농도에 따라 정규화한 값을 출력할 수 있다.
도 24 및 도 25는 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 각도 보정 단계, 위치 보정 단계, 색상 보정 단계를 광학 리더기에 예시적으로 적용한 도면이다.
도 26 및 도 27은 본 발명의 다른 실시예에 따른 진단 키트 영상 보정 방법의 각도 보정 단계, 위치 보정 단계, 색상 보정 단계를 스마트폰에 예시적으로 적용한 도면이다.
시료 용액 농축 분리 장치는 진단 키트 영상을 획득하고, 진단 키트 영상에서 검출 패드 영역을 보정하는 프로세서를 포함할 수 있다. 시료 용액 농축 분리 장치는 진단 키트 리더기(광학 리더기)로 구현되어 적용될 수 있다. 시료 용액 농축 분리 장치는 스마트폰으로 구현되어 적용될 수 있다.
광학 리더기 및 스마트폰에서 시뮬레이션한 결과, 제어선 영역을 기준으로 각도를 보정하고, 윈도우 라인을 기준으로 위치를 보정하고, 검출 패드 영역의 색상 채널 보정 매트릭스를 이용하여 색상을 보정하는 방식을 통해, 진단 키트 영상을 자동 분석하는 알고리즘의 정확도 및 신뢰도를 향상된 것을 확인할 수 있다.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (18)
- 진단 키트 영상 보정 방법에 있어서,
진단 키트 영상을 획득하는 단계;
상기 진단 키트 영상에서 검출 패드 영역을 보정하는 단계를 포함하며,
상기 검출 패드 영역을 보정하는 단계는, 상기 진단 키트 영상에서 상기 검출 패드 영역의 제어선 영역을 기준으로 각도 오차를 산출하고 상기 각도 오차에 따라 상기 진단 키트 영상을 회전하여 보정하는 것을 포함하고,
상기 검출 패드 영역을 보정하는 단계는, RGB(Red, Green, Blue) 색상 차원으로부터 HSV(Hue, Saturation, Value) 색상 차원으로 변환하고, 상기 HSV 색상 차원으로 변환한 진단 키트 영상에서 상기 제어선 영역의 위치를 기준으로 적색이 포함된 영역의 제어선 윤곽을 추출하고,
상기 진단 키트 영상에 상기 적색이 포함된 영역의 제어선 윤곽을 적용하여 상기 제어선 영역을 추출하고,
상기 추출한 제어선 영역에서 장축과 단축을 구분하고, 상기 장축과 상기 단축을 통해 상기 각도 오차를 산출하고 무게 중심의 위치를 찾고, 상기 무게 중심을 기준으로 상기 진단 키트 영상을 회전시키는 것을 포함하는 것을 특징으로 하는 진단 키트 영상 보정 방법.
- 삭제
- 삭제
- 제1항에 있어서,
상기 검출 패드 영역을 보정하는 단계는,
상기 진단 키트 영상에서 상기 검출 패드 영역의 윈도우 라인을 기준으로 위치 오차를 산출하고 상기 위치 오차에 따라 상기 진단 키트 영상을 시프트하여 보정하는 것을 특징으로 하는 진단 키트 영상 보정 방법. - 제4항에 있어서,
상기 검출 패드 영역을 보정하는 단계는,
상기 진단 키트 영상에 대해서 RGB(Red, Green, Blue) 색상 차원으로부터 그레이스케일(gray scale)로 변환하고, 필터를 이용하여 노이즈(noise)를 제거하고, 임계치를 적용하여 이진화 영상으로 변환하고,
상기 이진화 영상에서 윈도우 윤곽을 추출하고,
상기 윈도우 윤곽을 적용하여 상기 윈도우 라인을 추출하고,
상기 윈도우 라인에서 무게 중심의 위치를 찾고, 상기 무게 중심을 기준으로 상기 진단 키트 영상을 시프트하는 것을 특징으로 하는 진단 키트 영상 보정 방법. - 제5항에 있어서,
상기 검출 패드 영역을 보정하는 단계는,
상기 이진화 영상에서 복수의 폐곡선을 찾고, 상기 폐곡선의 면적의 넓이 및 상기 폐곡선을 다각형으로 피팅할 때의 복잡도를 기준으로 상기 윈도우 윤곽에 해당하는 폐곡선을 선택하며, 상기 폐곡선을 선택하는 과정에서 제1 임계치에 따라 복잡도가 높은 폐곡선을 제외하고 제2 임계치에 따라 복잡도가 낮은 폐곡선을 제외하는 것을 특징으로 하는 진단 키트 영상 보정 방법. - 제1항에 있어서,
상기 검출 패드 영역을 보정하는 단계는,
상기 진단 키트 영상에서 색상 채널 보정 매트릭스를 이용하여 상기 진단 키트 영상의 밝기를 보정하는 것을 특징으로 하는 진단 키트 영상 보정 방법. - 제7항에 있어서,
상기 검출 패드 영역을 보정하는 단계는,
상기 검출 패드 영역의 제어선 영역 및 테스트선 영역 사이 위치를 고려하고 상기 검출 패드 영역의 윈도우 라인의 중간 영역으로부터 흰색을 추출하여 상기 색상 채널 보정 매트릭스를 적용하여 화이트밸런스 보정을 적용하는 것을 특징으로 하는 진단 키트 영상 보정 방법. - 제7항에 있어서,
상기 검출 패드 영역을 보정하는 단계는,
복수의 색상을 갖는 체커보드를 감지하고, 상기 체커보드 내에 있는 각 영역을 인식하고 상기 각 영역의 레퍼런스 색상을 추출하고, 상기 레퍼런스 색상을 이용하여 상기 색상 채널 보정 매트릭스를 적용하여 색상 보정을 적용하는 것을 특징으로 하는 진단 키트 영상 보정 방법. - 제1항에 있어서,
상기 검출 패드 영역을 보정하는 단계는,
상기 진단 키트 영상에서 검출 패드 영역의 제어선 영역을 기준으로 각도 오차를 산출하고 상기 각도 오차에 따라 상기 진단 키트 영상을 회전하여 제2 진단 키트 영상으로 변환하는 단계;
상기 제2 진단 키트 영상에서 검출 패드 영역의 윈도우 라인을 기준으로 위치 오차를 산출하고 상기 위치 오차에 따라 상기 제2 진단 키트 영상을 시프트하여 제3 진단 키트 영상으로 변환하는 단계;
상기 제3 진단 키트 영상에서 색상 채널 보정 매트릭스를 이용하여 상기 제3 진단 키트 영상의 밝기를 보정하여 제4 진단 키트 영상으로 변환하는 단계를 포함하는 것을 특징으로 하는 진단 키트 영상 보정 방법. - 제1항에 있어서,
상기 보정한 진단 키트 영상에서 상기 검출 패드 영역의 테스트선 영역을 검출하고 상기 테스트선 영역의 인텐시티에 따라 진단 결과를 출력하는 단계를 포함하는 진단 키트 영상 보정 방법. - 제11항에 있어서,
상기 테스트선 영역을 검출하는 것은 상기 테스트선 영역의 위치를 상기 검출 패드 영역의 윈도우 라인 내부에 위치하는 제어선 영역을 기준으로 설정된 거리 차이를 이용하여 산출하는 것을 특징으로 하는 진단 키트 영상 보정 방법. - 제12항에 있어서,
상기 테스트선 영역의 인텐시티는 적색 인텐시티와 녹색 인텐시티의 비율을 사용하여 산출되는 것을 특징으로 하는 진단 키트 영상 보정 방법. - 제13항에 있어서,
상기 테스트선 영역의 인텐시티는 255에서 상기 녹색 인텐시티를 뺀 값을 255에서 상기 적색 인텐시티를 뺀 값으로 나눈 값으로 정의되는 것을 특징으로 하는 진단 키트 영상 보정 방법. - 제12항에 있어서,
상기 진단 결과를 출력하는 단계는 상기 테스트선 영역의 인텐시티를 미리 설정된 기준 농도에 따라 정규화한 값을 출력하는 것을 특징으로 하는 진단 키트 영상 보정 방법. - 삭제
- 삭제
- 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220034888 | 2022-03-21 | ||
| KR20220034888 | 2022-03-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230137203A KR20230137203A (ko) | 2023-10-04 |
| KR102629904B1 true KR102629904B1 (ko) | 2024-01-30 |
Family
ID=88290160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220067730A KR102629904B1 (ko) | 2022-03-21 | 2022-06-02 | 머신러닝과 이미지 프로세싱을 이용한 진단 키트 영상의 위치 및 색상 보정 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102629904B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009128205A1 (ja) * | 2008-04-18 | 2009-10-22 | パナソニック株式会社 | 液体試料分析方法 |
| WO2014156733A1 (ja) * | 2013-03-26 | 2014-10-02 | 株式会社日立国際電気 | 人数計数装置および人数計数方法 |
| JP2020512737A (ja) * | 2017-03-17 | 2020-04-23 | シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング | 歯科カラーカメラを較正するためのカラーリファレンス |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201105474D0 (en) * | 2011-03-31 | 2011-05-18 | Albagaia Ltd | Testing apparatus |
| KR101634541B1 (ko) * | 2013-04-24 | 2016-07-05 | 연세대학교 산학협력단 | 스트레스, 우울증 측정을 위한 스트립 센서 및 스마트폰 연동 스트립 센서 측정시스템 |
| KR20160129150A (ko) * | 2015-04-29 | 2016-11-09 | 한동대학교 산학협력단 | 의료진단키트 영상의 자동인식 장치에서 조명변화의 보정방법 |
| KR102034352B1 (ko) | 2017-10-31 | 2019-10-18 | 전자부품연구원 | 모바일 기기를 이용한 부착형 광학계를 구비하는 체외 진단 시스템 |
| KR102393593B1 (ko) | 2018-09-10 | 2022-05-04 | 한국전자기술연구원 | 체외 진단 스트립 측정용 형광 리더기 |
| KR102264336B1 (ko) * | 2019-05-20 | 2021-06-14 | 정유한 | 광학식 체외진단기기와 이를 이용한 체외진단 방법 |
| KR102156569B1 (ko) | 2020-03-03 | 2020-09-16 | 주식회사 이바이오젠 | 타액의 다중 바이오마커 측정을 위한 전자동 측면유동면역분석 키트 및 측정기기 |
-
2022
- 2022-06-02 KR KR1020220067730A patent/KR102629904B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009128205A1 (ja) * | 2008-04-18 | 2009-10-22 | パナソニック株式会社 | 液体試料分析方法 |
| WO2014156733A1 (ja) * | 2013-03-26 | 2014-10-02 | 株式会社日立国際電気 | 人数計数装置および人数計数方法 |
| JP2020512737A (ja) * | 2017-03-17 | 2020-04-23 | シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング | 歯科カラーカメラを較正するためのカラーリファレンス |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230137203A (ko) | 2023-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7417537B2 (ja) | 定量的なラテラルフロークロマトグラフィーの分析システム | |
| US10067125B2 (en) | System and method for spatiotemporally analyzed rapid assays | |
| KR100679173B1 (ko) | 위암 진단용 단백질 마커 및 이를 이용한 진단키트 | |
| US11333658B2 (en) | Urine test strip comprising timer, and method for detecting and analyzing urine test strip | |
| BR112020025228A2 (pt) | Métodos de calibração (110) para calibrar uma câmera (112) de um dispositivo móvel e de detecção (115) para detectar um analito, programas de computador e dispositivo móvel | |
| BR112020007491A2 (pt) | métodos para avaliar a adequação de um dispositivo móvel e para executar uma medição analítica, programa de computador, dispositivo móvel e kit para executar uma medição analítica | |
| US20230013247A1 (en) | Calibration of a digital camera for use as a scanner | |
| WO2019161359A1 (en) | Secure machine readable code-embedded diagnostic test | |
| AU2019284820A1 (en) | Method for evaluating a suitability of lighting conditions for detecting an analyte in a sample using a camera of a mobile device | |
| BR112020015019A2 (pt) | Método para realizar uma medição analítica, programa de computador, dispositivo móvel e kit | |
| Zhao et al. | A customizable automated container-free multi-strip detection and line recognition system for colorimetric analysis with lateral flow immunoassay for lean meat powder based on machine vision and smartphone | |
| KR102629904B1 (ko) | 머신러닝과 이미지 프로세싱을 이용한 진단 키트 영상의 위치 및 색상 보정 장치 및 방법 | |
| US20130224768A1 (en) | Immunochromatographic assay method and apparatus | |
| US11668711B2 (en) | Multiplexed diagnostic assay for iron and vitamin A deficiency and methods of use thereof | |
| KR20220156564A (ko) | 자동화된 형광 이미징 및 단일 셀 분할 | |
| CN114667452A (zh) | 确定体液中分析物的浓度的方法 | |
| Hou et al. | Smartphone-based fluorescent diagnostic system for immunochromatographic chip | |
| EP2885244B1 (en) | Protein specific optical detection | |
| WO2023201422A1 (en) | Lateral flow assay test strips and systems, and methods of use thereof | |
| US20220299431A1 (en) | Assay membrane test region localization | |
| US20220082491A1 (en) | Devices and systems for data-based analysis of objects | |
| Taccioli et al. | Semi-quantitative determination of thiocyanate in saliva through colorimetric assays: design of CNN architecture via input-aware NAS | |
| Huang et al. | Optimizing Immunofluorescence with High-Dynamic-Range Imaging to Enhance PD-L1 Expression Evaluation for 3D Pathology Assessment from NSCLC Tumor Tissue | |
| KR20200128860A (ko) | 타겟 물질을 검출하는 방법을 실행시키기 위한 프로그램이 기록된 기록매체 | |
| KR20200128857A (ko) | 타겟 물질을 검출하는 방법을 실행시키기 위한 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |