KR20210104857A - 현장 진단 테스트 결과의 이미지를 분석하는 시스템 및 방법 - Google Patents

현장 진단 테스트 결과의 이미지를 분석하는 시스템 및 방법 Download PDF

Info

Publication number
KR20210104857A
KR20210104857A KR1020217022845A KR20217022845A KR20210104857A KR 20210104857 A KR20210104857 A KR 20210104857A KR 1020217022845 A KR1020217022845 A KR 1020217022845A KR 20217022845 A KR20217022845 A KR 20217022845A KR 20210104857 A KR20210104857 A KR 20210104857A
Authority
KR
South Korea
Prior art keywords
test
care
image
neural network
point
Prior art date
Application number
KR1020217022845A
Other languages
English (en)
Inventor
주소 주힐라
투오마스 코포넨
Original Assignee
액팀 오와이
아이포리아 테크놀로지스 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 액팀 오와이, 아이포리아 테크놀로지스 오와이 filed Critical 액팀 오와이
Publication of KR20210104857A publication Critical patent/KR20210104857A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/8483—Investigating reagent band
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
    • G01N21/77—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator
    • G01N21/78—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator producing a change of colour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
    • G01N21/77—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator
    • G01N21/78—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator producing a change of colour
    • G01N21/80—Indicating pH value
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/52—Use of compounds or compositions for colorimetric, spectrophotometric or fluorometric investigation, e.g. use of reagent paper and including single- and multilayer analytical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/94—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving narcotics or drugs or pharmaceuticals, neurotransmitters or associated receptors
    • G06K9/00127—
    • G06K9/22—
    • G06K9/4652—
    • G06K9/66—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Hematology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Urology & Nephrology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Cell Biology (AREA)
  • Microbiology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Biotechnology (AREA)
  • Plasma & Fusion (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

원격통신 네트워크에서 현장 진단(POC) 테스트 결과를 분석하기 위한 본 발명의 방법은 현장 진단(POC) 테스트를 수행하고 테스트 결과를 얻는 단계를 포함한다. 테스트 결과로부터의 신호는 원격통신 단말기의 카메라(2)로 검출되어 이미지가 획득된다. 이미지는 이미지 분석에 대한 결정을 내리는 인공 신경망(ANN)에 의해 해석된다. 해석된 이미지의 분석 결과는 최종 사용자의 사용자 인터페이스로 전송된다. 현장 진단(POC) 테스트의 결과를 분석하기 위한 본 발명의 시스템은 현장 진단 테스트의 테스트 결과, 카메라(2) 및 사용자 인터페이스를 갖는 단말기, 및 카메라로 촬영된 테스트 결과의 이미지를 해석하기 위한 소프트웨어를 포함한다. 소프트웨어는 이미지 해석 및 분석을 위해 인공 신경망을 사용한다.

Description

현장 진단 테스트 결과의 이미지를 분석하는 시스템 및 방법
본 발명은 현장 진단(POC: Point-Of-Care) 테스트 결과를 분석하는 방법 및 시스템에 관한 것이다.
현장 진단 테스트(POCT) 또는 병상 테스팅은 일반적으로 검체들을 의료 실험실에 전송하고 이어서 결과들을 얻기 위해 몇 시간 또는 며칠을 기다리는 대신 환자 진료 시간과 장소에서 진료 지점 또는 근처에서 의료 진단 테스팅으로 정의된다.
POCT에 대한 여러 정의들이 있지만 보편적으로 인정되는 정의는 없다. 정확한 정의에 관계없이, POCT의 가장 중요한 엘리먼트는 동일한 임상 만남에서 임상 결정들을 안내하기 위한 결과들의 빠른 통신과 테스팅 및 후속 조치들의 완료이다. 따라서, 테스트 결과들의 진료 제공자들에게 빠르게 보고하는 시스템들, 및 테스트 결과들을 적절한 상담 및 치료로 연결하는 메커니즘은 기술 자체만큼이나 중요하다.
POC 테스트 결과의 판독은 눈으로 평가되거나 결과를 이미지로 판독하기 위한 전용 판독기를 사용할 수 있다. 이러한 테스트 판독기들에 의해 사용되는 이미지-분석 알고리즘은 사용자들에게 정성적, 반-정량적 및 정량적 결과들을 제공할 수 있다.
현장 진단 테스트 결과들을 해석하는 데 사용되는 테스트 판독기들의 알고리즘은 계산, 데이터 처리 및 자동 추론 작업들을 수행함으로써 테스트 결과의 해석을 해결하는 방법의 사양이다. 알고리즘은 "연산 순서를 정확하게 정의하는 일련의 규칙"으로 정의될 수 있다. 알고리즘은 컴퓨터가 지정된 작업을 수행하기 위해 특정 순서로 수행해야 하는 특정 명령들을 상세히 설명한다.
테스트 결과들의 평가를 위한 인공 신경망(ANN)을 개발하려는 일부 시도가 있었다.
기사("Artificial Neural Network Approach in Laboratory Test Reporting", learning algorithms by Ferhat Denirci, MD et al, Am J Clin Pathol August 2016, 146:227-237, DOI:10.1093/AJCP/AQW104)는 수치 값들에 기반한 테스트 보고의 알고리즘들을 사용하기 위한 종래 기술로 제시된다. 인공 신경망(ANN)을 사용한 결정 알고리즘 모델은 측정 결과들에 기반하여 개발되어 전문가의 의사결정을 돕는 데 사용할 수 있지만 의료 테스트 결과들을 직접 평가하는 데는 사용되지 않는다.
컴퓨터 비전은 예를 들어 샘플의 분석물의 양을 결정하기 위해 측방 유동 테스트(lateral flow test)들에서 테스트 라인들의 컬러 세기를 측정함으로써 정량적 결과들을 위한 유용한 도구로 입증되었다. 이것은 높은 반복성으로 테스트 라인들의 객관적인 컬러 세기 측정들을 획득하기 위해 테스트 이미지들을 캡처하고 처리함으로써 발생한다.
측방 유동 테스트 해석에 활용될 스마트폰을 사용하기 위한 솔루션이 존재한다. 기사(The article in Sensors 2015, 15, 29569-29593; doi:10.3390/s151129569, "Automated Low-Cost Smartphone-Based Lateral Flow Saliva Test Reader for Drugs-of-Abuse Detection" by Adrian Carrio;*, Carlos Sampedro 1, Jose Luis Sanchez-Lopez 1, Miguel Pimienta 2 and Pascual Campoy)은 라이트 박스(light box)와 스마트폰 디바이스로 이루어진, 약물 남용 측방 유동 검정 테스트들을 위한 스마트폰-기반 자동 판독기를 제시한다. 스마트폰 카메라로 캡처된 테스트 이미지들은 컴퓨터 비전과 기계 학습 기법들을 사용하는 디바이스에서 처리되어 결과들의 자동 추출을 수행한다. 알고리즘 개발은 테스트 이미지의 분할을 포함하고, 각각의 분할된 스트립을 나타내는 관심 영역은 분류 단계가 발생하기 전에 테스트 이미지들의 수치 데이터를 획득하기 위해 전처리된다. 이어서, 수치 이미지 데이터의 분류를 위해 MLP(Multi-Layer Perceptron)인 인공 신경망(ANN)에 기반한 지도 학습 분류기들이 구현되었다.
스마트폰-기반 비색 검출 시스템은 Shen 등에 의해 개발되었다(Shen et al. (Shen L., Hagen J.A., Papautsky I. Lab Chip. 2012;12:4240-4243. doi: 10.1039/c2lc40741h). 이는 주변 광의 변동으로 인한 측정 오류들을 보상하기 위한 교정 기법과 함께 스마트폰을 사용한 현장 진단 비색 검출과 관련된다.
기사("Deep Convolutional Neural Networks for Microscopy-Based Point-of care Diagnostics" by John A. Quinn et al. Proceedings of International Conference on Machine Learning for Health Care 2016, JMLR W&C Track Volume 56)에서, 샘플 이미징에서 병원체들의 특성을 구별하기 위해 학습을 위한 컨볼루션 신경망(CNN)들의 사용을 제시한다. 모델의 훈련은 예를 들어 두꺼운 혈액 도말 이미지들에서 변형체와 같은 병원체의 위치 및 관심 객체 형태의 가래 샘플에서 결핵균의 위치를 포함하는 주석 소프트웨어로 이미지들의 주석 달기를 요구한다. CNN의 완료시, 결과 모델은 작은 이미지 패치를 관심 객체를 포함하는 것으로 분류할 수 있거나 겹치는 패치들을 식별하기 때문에 패치들의 특정 선택을 요구하지 않는다.
면역분석 기술의 효능은 공간적 특징들의 정확하고 민감한 해석에 따른다. 그러므로, 그들의 계측은 기술의 진화하는 요구 사항을 처리하기 위해 근본적인 수정과 맞춤화를 요구하였다. 2015년 5월 8일자 SPIE 뉴스룸 기사(DOI:10.1117/2.1201504.005861, (Biomedical optics &Medical imaging) ("High-sensitivity, imaging-based immunoassay analysis for mobile applications") by Onur Mudanyali, Justin White, Chieh-I Chen and Neven Karlovac)는 실험실 외부에서 진단에 사용되는 면역분석 테스트들의 감도를 향상시키는 이미징-기반 분석을 사용하는 판독기 플랫폼을 제시한다. 솔루션은 데이터 취득 및 해석을 위한 스마트폰-기반 판독기 애플리케이션, 판독기 구성 및 교정을 위한 테스트 개발자 소프트웨어(TDS), 테스트 결과들의 추적을 위한 클라우드 데이터베이스를 포함한다.
본 발명의 목적은 이미지 취득 문제들을 해결하고 특정 판독기들 및 진보된 이미지 처리에 대한 필요 없이 현장 진단 테스트 결과들을 정확하게 해석하는 테스트 결과 분석을 위한 빠르고 휴대 가능한 솔루션이다.
용어
신경망들은 일반적으로 뉴런들 사이의 상호연결들을 갖는 대뇌 피질의 구조에 의한 뇌의 생물학에 대한 이해에 기반한다. 기본 레벨의 퍼셉트론(perceptron)은 생물학적 뉴런의 수학적 표현이다. 대뇌 피질 처럼, 여러 계층의 퍼셉트론들이 있을 수 있다. 그러나, 원칙적으로 임의의 뉴런이 소정 물리적 거리 내에서 임의의 다른 뉴런과 연결할 수 있는 생물학적 뇌와 달리, 이러한 인공 신경망들은 개별 계층들, 연결들 및 데이터 전파 방향들을 가진다. 퍼셉트론은 선형 분류기이다. 이는 2 개의 카테고리들을 직선으로 분리함으로써 입력을 분류하는 알고리즘이다. 퍼셉트론은 이진 분류를 수행하도록 의도된 간단한 알고리즘이고, 즉, 입력이 소정 관심 카테고리에 속하는지 여부를 예측한다.
신경망들에서, 각각의 뉴런은 이전 계층의 여러 위치들에서 입력을 수신한다. 완전 연결 계층에서, 각각의 뉴런은 이전 계층의 모든 엘리먼트로부터 입력을 수신한다. 컨볼루션 계층에서, 뉴런들은 이전 계층의 제한된 서브영역으로부터만 입력을 수신한다. 따라서, 완전 연결 계층에서, 수용 필드는 전체 이전 계층이다. 컨볼루션 계층에서, 수용 영역은 전체 이전 계층보다 작다.
딥 러닝(또한 심층 구조화 학습 또는 계층적 학습이라고도 알려짐)은 기존 기계 학습 알고리즘들과 상이하다. 딥 러닝 알고리즘들의 장점은 데이터에서 고급 피처(feature)들을 증분 방식으로 학습한다는 것이다. 이는 기존의 작업별 알고리즘들에 의해 요구되는 피처 추출의 필요성을 제거한다. 딥 러닝은 학습을 위해 다층 신경망(Multilayer Neural Network)이라 칭해지는 특정 유형의 알고리즘을 사용하고, 이 알고리즘은 하나의 입력과 하나의 출력 계층, 및 그 사이에 적어도 하나의 은닉 계층으로 구성된다. 딥 러닝 네트워크들에서, 노드들의 각각의 계층은 이전 계층의 출력에 기반하는 별개의 피처들 세트를 훈련시킨다.
인공 신경망(ANN)들은 2 개 초과의 계층들을 갖는 신경망들이고 입력, 하나 초과의 계층을 포함할 수 있는 은닉 및 출력인 3 개의 상호 연결된 계층들로 조직된다.
CNN(Convolutional Neural Network)은 시각적 이미지 분석에 가장 일반적으로 적용되는 심층 피드포워드 인공 신경망(ANN)들 클래스이다. CNN은 입력 및 출력 계층, 및 다수의 은닉 계층들로 이루어진다.
원격통신 네트워크에서 현장 진단(POC) 테스트 결과를 분석하기 위한 본 발명의 방법은 현장 진단(POC) 테스트를 수행하고 테스트 결과를 얻는 단계를 포함한다. 테스트 결과로부터의 신호는 원격통신 단말기의 카메라로 검출되어 이미지가 획득된다. 이미지는 이미지 분석에 대한 결정을 내리는 인공 신경망(ANN)에 의해 해석된다. 해석된 이미지의 분석 결과는 최종 사용자의 사용자 인터페이스로 전송된다.
현장 진단(POC) 테스트의 결과를 분석하기 위한 본 발명의 시스템은 현장 진단 테스트의 테스트 결과, 카메라를 및 사용자 인터페이스를 갖는 단말기, 및 카메라로 촬영된 테스트 결과의 이미지를 해석하기 위한 소프트웨어를 포함한다. 소프트웨어는 이미지 해석 및 분석을 위해 인공 신경망을 사용한다.
본 발명의 바람직한 실시예들은 종속항의 특징들을 갖는다.
그러한 일 실시예에서, 획득된 이미지는 시스템에 속하는 서비스 제공자에 의해 제공되는 바와 같이 ANN을 사용하여 클라우드 서비스로 전송된다. 다른 실시예에서, 획득된 이미지는 원격통신 단말기의 애플리케이션에 의해 수신된다. 마지막에 언급된 실시예들에서, 이미지는 서비스 제공자의 ANN에 의해 해석되도록 클라우드 서비스로 추가로 전송될 수 있고, 애플리케이션은 클라우드 서비스에 액세스할 수 있거나 이어서 애플리케이션은 소프트웨어에 의한 해석을 위해 ANN을 사용한다. 해석된 이미지의 분석은 모바일 스마트폰 및/또는 최종 사용자(들)인 건강 관리 기관으로 다시 전송될 수 있다.
획득된 이미지의 컬러 균형은 원격통신 단말기의 애플리케이션에 의해 정정될 수 있고, 여기서 소프트웨어는 또한 이미징의 타겟에 대한 이미지 영역을 선택할 수 있다. 원격통신 단말기는 예를 들어 모바일 스마트폰, 개인용 컴퓨터, 태블릿 또는 랩톱일 수 있다.
테스트 결과는 시각적 형식이며 카메라에 의해 검출될 시각적 신호를 방출한다. 대안적으로, 테스트 결과로부터의 신호는 특정 필터들을 사용하여 시각적 신호로 수정된다.
인공 신경망(ANN)은 해석을 위해 사용하기 전에 딥 러닝으로 훈련된다. 훈련은 POC 테스트 결과의 분석을 위해 ANN을 사용하기 전에 원시 형식의 이미지들로 수행된다. 훈련에 사용된 원시 이미지들은 사용된 배경, 조명, 공명 컬러 및/또는 색조 범위와 관련하여 품질이 상이할 수 있어서, 이러한 차이들은 해석에 영향을 미치지 않는다. 또한, 상이한 카메라들로부터의 이미지들이 교육에 사용될 수 있다. 이러한 경우, 인공 신경망(ANN) 알고리즘은 단말기의 유형 및/또는 모델 및/또는 카메라 유형과 같이 사용된 장비를 나타내는 코드가 붙여진 이미지들로 훈련될 수 있다.
또한, 인공 신경망(ANN) 알고리즘은 해석 시 발신자 정보를 고려할 수 있으므로 발신자 정보로 훈련되었다.
모든 훈련 이미지들과 훈련 데이터는 시스템에 속한 데이터베이스에 저장될 수 있다.
인공 신경망(ANN)은 분류기일 수 있고, 이에 의해 이전에 진단된 음성 또는 양성 결과들의 쌍들로 분류에 의해 라벨링된 이미지들로 구성된 훈련 데이터로 훈련될 수 있다.
인공 신경망(ANN)은 또한 회귀 모델일 수 있고 POC 테스트로 테스트될 물질의 농도들에 대한 백분율 값들이 라벨링된 이미지들로 구성된 훈련 데이터에 의해 훈련될 수 있고, 백분율 값들은 이전에 진단된 테스트 결과들과 매칭한다. 이와 관련하여, 이미지들은 백분율 값들의 정규화된 값들이 라벨링될 수 있고, 이에 의해 각각의 백분율 값을 로그 함수로 변환함으로써 정규화가 수행될 수 있다. 또한, 백분율 값들은 그룹들로 나누어질 수 있고 각각의 그룹의 값들은 상이하게 정규화된다.
또한, 인공 신경망(ANN)은 환자의 증상들 데이터와 분석 결과들을 결합하여 추가로 훈련될 수 있다.
본 발명은 인공 신경망(ANN)이 CNN(Convolutional Neural Network)과 같은 피드포워드(feed-forward) 인공 신경망인 경우 특히 유리하다. 이러한 컨볼루션 신경망(Convolutional Neural Network)은 해석될 이미지에서 관심 영역을 가리키기 위해 의미론적 분할을 사용하여 본 발명에서 훈련된다.
인공 신경망(ANN) 알고리즘은 바람직하게 또한 사용된 현장 진단(POC) 테스트 유형을 나타내는 코드가 라벨링된 이미지들로 훈련되었다.
현장 진단(POC) 테스트는 특히 유동 테스트, 측방 유동 테스트, 약물-스크린 테스트, 이를테면 라인들, 점들, 또는 패턴을 갖는 스트립 형태로 검출될 수 있는 컬러 또는 신호를 생성하는 pH 또는 효소 테스트이고, 스트립의 모습은 테스트 결과의 이미지 해석 시 인공 신경망(ANN)에 의한 분석에 사용된다.
현장 진단(POC)은 또한 라인들, 점들 또는 패턴의 형태로 검출될 수 있는 컬러 또는 신호를 생성하는 pH 또는 효소 테스트와 같은 약물-스크린 테스트일 수 있다.
본 발명의 방법은 현장에서 사용자에 의해 수행되는 현장 진단 테스트 결과를 분석하도록 의도된다. 이미지는 테스트 결과에서 방출되는 신호들로부터 카메라로 촬영히고, 이는 시각적이거나, 형광 신호 또는 다른 비시각적 신호와 같은 특정 필터들을 사용함으로써 시각적으로 수정될 수 있다. 카메라는 모바일 디바이스, 바람직하게 스마트폰과 같은 임의의 단말기에 있을 수 있다. 스마트폰은 바람직하게 사용자가 이미지를 촬영하도록 안내하고 바람직하게 서비스 제공자에 의해 제공되는 클라우드 서비스에 액세스할 수 있는 애플리케이션을 갖는다. 이러한 경우들에서 이미지는 해석을 위해 서비스에 전송될 수 있다. 해석은 인공 신경망(ANN)에 의해 수행되고, 이는 바람직하게는 CNN(Convolutional Neural Network)이고 해석을 수행하고 테스트 결과 분석에 대한 결정을 내리기 위해 딥 러닝으로 훈련됩니다. 이어서, 분석은 최종 사용자의 사용자 인터페이스로 전송될 수 있다. 최종 사용자는 예를 들어 환자, 환자 데이터 시스템, 의사 또는 다른 데이터 수집기 중 임의의 것일 수 있다.
현장 진단 테스트(시각적 테스트 결과일 수 있음)의 테스트 결과를 분석하기 위한 본 발명의 시스템은 바람직하게 모바일 디바이스와 같은 단말기, 및 바람직하게 카메라, 클라우드 서비스에 대한 액세스를 갖는 애플리케이션, 해석된 이미지 분석이 보여지는 사용자 인터페이스를 갖는 스마트폰을 포함한다. 본 발명의 시스템은 카메라에 의해 촬영된 테스트 결과의 이미지를 해석하기 위한 소프트웨어를 제공하는 상기 클라우드 서비스를 가진 서비스 제공자를 더 포함한다. 소프트웨어는 이미지 해석을 위해 딥 러닝으로 훈련된 인공 신경망(ANN)을 사용한다.
이런 맥락에서, 원격통신 단말기는 원격통신 링크를 종료하고 신호가 네트워크에 들어오고/오거나 나가는 지점인 임의의 디바이스 또는 장비이다. 네트워크 종단들을 포함하고 본 발명에 유용한 그러한 장비의 예들은 모바일 스마트폰들과 같은 전화들 및 네트워크 디바이스들, 개인용 컴퓨터들, 랩톱들, 태블릿들(이를테면 Ipad) 및 워크스테이션들과 같은 무선 또는 유선 컴퓨터 단말기들이다. 이미지는 또한 스캔되어 컴퓨터로 전송될 수 있다.
이런 맥락에서, 카메라는 시각적 형광 신호, 또는 특정 필터들을 사용하여 시각적으로 수정될 수 있는 신호를 포함하여, 시각적 신호를 검출하거나 수신할 수 있는 임의의 이미저, 이미지 센서, 이미지 스캐너 또는 센서를 의미한다. 이러한 필터는 카메라에서 분리되거나 내장될 수 있다. 시각적으로 수정될 수 있는 신호들은 자외선(UV), 적외선(IR), 비가시적 형광 신호들 및 기타 등등(상향 변환 입자(UCP)들)을 포함한다. 여러 파장들의 형광은 또한 예를 들어 어레이 검출기에 의해 검출될 수 있다.
현장 진단 테스팅(POCT)은 예를 들어 가정들에서 병원들까지 기술들, 사용자들 및 설정들의 스펙트럼으로 생각될 수 있다. POCT 내 TPP(Target Product Profile)들의 이러한 다양성은 POCT가 적어도 4 개의 별개의 설정들: 가정들(TPP1), 지역 사회들(TPP2), 진료소들(TPP3), 주변 실험실들(TPP4), 및 병원들(TPP5)에서 행해질 수 있다는 사실에 의해 예시된다. 고유한 장벽들이 각각의 레벨에서 동작하여 POCT들의 채택 및 사용을 방지할 수 있다.
이러한 프레임워크에서, 디바이스 유형은 POC 테스트를 정의하지 않는다. POC 테스트들은 가장 단순한 딥스틱(dipstick)에서 정교한 자동화 분자 테스트들, 휴대용 분석기들 및 이미징 시스템들까지 다양하다. 예를 들어, 동일한 측방 유동 검정은 모든 TPP에 걸쳐 사용될 수 있다. 따라서, 일부 디바이스들이 전문가 또는 최소한 훈련된 사용자 및 품질 보증 메커니즘을 요구하고 기술을 실험실들 및 병원들로 제한하기 때문에 일부 유형들의 디바이스들이 일부 TPP들 또는 사용자들을 즉시 배제하더라도 디바이스는 자동으로 TPP를 정의하지 않는다.
또한, 테스트의 최종-사용자는 POC 테스트를 자동으로 정의하지 않는다. 동일한 디바이스(예를 들어, 측방 유동 검정)는 훈련되지 않은(일반인) 사람들부터 지역 사회 의료 종사자들, 간호사들, 의사들 및 실험실 기술자들까지 TPP들에 걸쳐 여러 사용자들에 의해 수행될 수 있다.
최종-사용자 및 실제 설정에 따라, POC 테스팅의 목적은 또한 분류 및 의뢰에서 진단, 치료 및 모니터링까지 다양할 수 있다.
어쨌든, 이러한 테스트들은 신속한 결과들을 제공하여, 적절한 테라피를 적시에 개시하고/하거나, 진료 및 의뢰와의 연계들을 가능하게 한다. 가장 중요하게, POC 테스트들은 1차 진료 레벨과 실험실 인프라가 없는 원격 설정들에서 사용되게 충분히 간단할 수 있다.
POCT는 특히 임상 진단, 건강 모니터링, 식품 안전 및 환경에 사용된다. POCT는 당뇨 테스팅, 혈액 가스 및 전해질 분석, 급속 응고 테스팅, 급속 심장 표지자 진단, 약물 남용 스크리닝, 소변 단백질 테스팅, 임신 테스팅, 임신 모니터링, 대변 잠혈 분석, 식품 병원균 스크리닝, 헤모글로빈 진단, 전염병 테스팅, 염증 상태 분석, 콜레스테롤 스크리닝, 대사 스크리닝 및 많은 다른 생체지표 분석을 포함한다.
따라서 POCT는 주로 혈액, 혈청, 혈장, 타액, 배설물(이를테면, 대변, 소변 및 땀), 신체 조직 및 조직액들(이를테면, 복수, 질/경부, 양막 및 척수액)을 포함하는 비-감염 인간 또는 동물 물질들로 일반적으로 정의되는 다양한 임상 샘플들로부터 취해진다.
현장 진단(POC)의 예들은 유동 테스트들 또는 측방 유동 테스트, 약물-스크린 테스트들, 이를테면 검출될 수 있는 컬러 또는 신호를 생성하는 pH 또는 효소 테스트이다. POC 테스트는 하나 이상의 분석물들의 정량화에 사용될 수 있다.
유동 테스트들 또는 면역 농축 검정은 진단 검정 형태의 현장 진단 테스트의 일종이고, 이는 사용자들이 특별한 실험실 장비 및 훈련 없이 혈액 같은 샘플에서 일반적으로 특정 항체를 사용하여, 생체지표의 존재에 대한 테스트를 신속하게 하게 한다. 유동 테스트들은 개발된 제 1 유형의 면역스트립 중 하나였지만, 측방 유동 테스트들은 이후에 지배적인 면역스트립 현장 진단 디바이스가 되었다.
또한 면역크로마토그래피(immunochromatographic) 검정이라고 알려진 측방 유동 테스트들은 현장 진단 테스트들의 유형이고, 판독 및 디지털 장비에 의해 지원되는 많은 연구실 기반 애플리케이션들 및 판독기들이 존재하지만, 간단한 종이-기반 디바이스는 특정하고 값비싼 장비에 대한 필요 없이 액체 샘플(매트릭스)에서 타겟 분석물의 존재(또는 부재)를 검출한다. 널리 보급되고 잘 알려진 애플리케이션은 가정 임신 테스트이다.
측방 유동 검정(LFA: Lateral Flow Assay) 테스트들의 기본 특성은 일 단부에서 다른 단부로 테스트 스트립을 통한 유체들의 수동 유동에 의존한다. 분석물을 포함하는 샘플의 액체 유동은 외력 없이 다공성 멤브레인(이를테면 종이들)의 모세관 작용으로 달성된다.
일반적으로, LF-테스트는 플라스틱 필름에 어셈블리된 니트로셀룰로오스 멤브레인, 흡수 패드, 샘플 패드 및 켤레 패드로 이루어진다. 그렇지 않으면, 이 테스트 스트립 어셈블리는 또한 기계적 지지를 제공하는 플라스틱 하우징으로 덮일 수 있다. 이러한 유형들의 LF 테스트 유형들은 테스트 스트립의 다공성 물질들을 통한 액체 유동을 가능하게 한다. 현재, LF-테스트의 가장 일반적인 검출 방법은 멤브레인에 분배된 테스트 라인들의 컬러 형성의 시각적 해석에 기반한다. 컬러는 분석물의 존재시 컬러 검출 입자들(예를 들어, 라텍스 또는 금 콜로이드)의 농도에 의해 형성되고, 분석물의 부재시 어떠한 컬러도 형성되지 않는다. 일부 분석물들(예를 들어, 소분자들)의 경우, 이 어셈블리는 또한 반대의 경우일 수 있고(또한 경쟁이라고도 함), 분석물의 존재는 어떠한 컬러도 형성되지 않음을 의미한다.
테스트 결과들은 스트립의 검출 영역에서 생성된다. 검출 영역은 특정 생물학적 컴포넌트들(대부분 항체들 또는 항원들)이 테스트 및 제어 라인들에 고정된 다공성 멤브레인(일반적으로 니트로셀룰로오스로 구성됨)이다. 이의 역할은 켤레화된 항체에 결합된 분석물과 반응하는 것이다. 눈에 보이는 라인들의 모습은 테스트 결과들의 평가를 제공한다. 상기한 세기들로 나타나는 라인들로 표현되는 판독 값은 눈으로 또는 전용 판독기를 사용하여 평가될 수 있다.
측방 유동 검정(LFA) 기반 POC 디바이스들은 정성 및 정량 분석 둘 모두에 사용될 수 있다. 그러나, LF 테스트들은 실제로 정성적 또는 반-정량적 검정으로 제한되고 많은 임상적으로 중요한 생체지표의 검출에 필요한 분석 감도가 부족할 수 있다. 또한, 동일한 LF-테스트에서 여러 생체지표들(다중화)의 조합은 호환가능한 판독기들의 부족과 낮은 분석 감도로 인해 문제였다.
POCT 디바이스들과 전자 의료 기록들의 결합은 검사 결과들이 진단 제공자들과 즉시 공유되게 할 수 있다.
측방 유동 검정 테스트의 정성적 결과는 일반적으로 인간 작업자에 의한 테스트에서 컬러 영역들의 시각적 해석에 기반한다. 이는 주관성, 오류들 가능성 및 테스트 결과 해석의 편향을 유발할 수 있다.
시각적으로 검출된 검정 신호가 일반적으로 LF 검정의 강점으로 간주되지만, 테스트 결과를 판독 및 해석하기 위한 간단하고 저렴한 기기에 대한 필요성이 커지고 있다.
시각적인 해석만으로는, 정량적 결과를 획득할 수 없다. 이러한 테스트 결과들은 또한 주관적으로 해석되기 쉽고, 이는 결과들이 불분명하거나 잘못되게 할 수 있다. 테스팅 조건들은 또한 시각적 판독 신뢰성에 영향을 줄 수 있다. 예를 들어, 급성 상황들에서, 테스트 해석은 열악한 조명과 객체들의 움직임으로 인해 방해받을 수 있고 급성 임상 상황들에서 서두를 수 있다. 이러한 이유로, 컬러 검출 입자들에 기반한 LF-테스트들은 테스트에서 컬러 형성의 세기를 측정할 수 있는 광학 판독기와 결합될 수 있다.
따라서, 측방 유동 검정 판독기들로 알려진 휴대용 진단 디바이스들은 테스트 결과의 자동 해석을 제공할 수 있다. 알려진 자동화된 임상 분석기들은 보다 안정적인 결과-일관성 솔루션을 제공하면서, 일반적으로 휴대성이 부족하다.
가시 광을 검출하는 판독기는 좁은 농도 범위 내에서 정량화가 가능하지만, 임상 분석기들에 비해 분석 감도가 상대적으로 낮다. 이것은 미래에 대한 높은 임상 및 POC 기대가 있는 일부 새로운 생체지표들의 검출을 배제시킬 것이다. 이러한 이유로, 기기-지원 LF-테스팅의 가장 중요한 특징은 향상된 테스트 성능(예를 들어, 분석 감도, 더 넓은 측정 범위, 정량화의 정밀도 및 정확도)이다. LF-검정에서 다른 라벨들(예를 들어, 형광, 상향 변환 또는 적외선)을 사용하여, 더 민감하고 정량적인 검정들이 생성될 수 있다.
본 발명에서 POC에 대한 추가 유용한 테스트 형식은 단일 칩에 많은 진단 테스트를 통합할 수 있기 때문에 칩에 실험실이 있는 미세유체공학 칩이다. 미세유체공학은 마이크로미터-크기 채널들 내부의 액체 유동들을 처리한다. 미세유체공학은 랩온어칩(lab-on-a-chip)과 같은 애플리케이션들을 위한 미세유체공학 디바이스들의 미세-채널들에서 유체들의 거동을 연구한다. 미세유체공학 칩은 재료(PolyDimethylSiloxane의 경우 유리, 실리콘 또는 PDMS와 같은 폴리머)로 에칭되거나 몰딩된 미세-채널들의 세트이다. 미세유체공학 칩을 형성하는 미세-채널들은 원하는 특징들(생화학 환경을 혼합, 펌핑, 분류 또는 제어)을 달성하기 위해 함께 연결된다. 미세유체공학은 POC 진단 디바이스들을 위한 추가 기술이다. 최근에는 랩온어칩과 관련된 애플리케이션들을 가능하게 하는 미세유체공학이 개발되고 있다.
랩온어칩(LOC: Lab-on-a-Chip)은 자동화 및 고처리량 스크리닝을 달성하기 위해 몇 밀리미터에서 수 제곱 센티미터의 단일 집적 회로(일반적으로 "칩"이라고 칭해짐)에 하나 이상의 실험실 기능들을 통합한 디바이스이다. LOC들은 피코리터 미만의 극도로 작은 유체 볼륨들을 처리할 수 있다. 랩온어칩 디바이스들은 MEMS(Microelectromechanical Systems) 디바이스들의 서브세트이다. 그러나, 엄격하게 간주되는 "랩온어칩"은 일반적으로 단일 또는 다중 랩 프로세스들을 칩-형식으로 축소하는 것을 나타낸다. 많은 미세유체공학 칩들은 LF-테스트들에서 행해진 바와 같은 판독기에 의해 판독되는 영역을 갖는다.
현장 진단(POC) 테스트가 유동 테스트 또는 측방 유동 테스트인 경우, 테스트 결과는 컬러 라인들을 갖는 스트립 형태이거나 선택적으로 점들 및/또는 패턴을 사용하여 제공된다. 이러한 라인들, 점들 또는 패턴들의 모습은 테스트 결과 자체의 분석을 위한 기초이다. 본 발명은 이러한 라인들의 해석을 위해 딥 러닝으로 훈련된 인공 신경망(ANN)을 사용한다. 인공 신경망(ANN)은 바람직하게 CNN(Convolutional Neural Network)과 같은 피드포워드 인공 신경망이다.
본 발명은 정성적 및 반-정량적 결과들 외에, 또한 정량적 결과들이 양호한 정확도로 획득될 수 있기 때문에 POC 측방 유동 테스트의 결과를 해석하기 위해 CNN을 사용할 때 특히 유용하다. 본 발명 및 획득된 정량적 결과들은 트로포닌 I, 트로포닌 T, 코펩틴, CK-MB, D-이합체, FABP3, 갈렉틴-3, 마이엘로퍼록시데이스(Myeloperoxidase), 미오글로빈(Myoglobin), NT-proBNP 및 proBNP, 레닌, S100B, 및 ST2 및 염증 상태 분석 생체지표들, 이를테면 AAT, CRP, 칼프로텍틴, IL-6, IL-8, 락토페린, NGAL, PCT, 혈청 아밀로이드 A, 트랜스페린 및 트립시노겐-2, 특히 CRP 및 칼프로텍틴과 같은 신속한 심장 생체지표들과 관련하여 특히 유용하다.
ANN 또는 CNN은 충분히 훈련된 것으로 간주될 때 분석에 사용된다. 이는 알려진 참조 결과들에 대해 테스트되고 결과들이 충분히 정확하면, 사용될 수 있다. 그러나, ANN 또는 CNN은 예를 들어 환자의 분석된 테스트 결과를 증상들과 연계하고 이에 의해 분석을 위한 새로운 관계를 학습함으로써 새로운 결과들에 의해 지속적으로 훈련될 수 있다. 사용자들의 웰빙은 증상, 건강, 식이, 스포츠 또는 다른 일기들과 같은 상이한 데이터 조회들에서 제시될 수 있다.
라인들을 사용하는 대신, 테스트 결과는 라인들이 아닌 일부 다른 형식, 예를 들어 점들의 소정 패턴의 형태 같은 점들의 형태 또는 패턴의 형태로 제공되도록 설계될 수 있다.
본 발명의 방법에 사용된 ANN 또는 CNN은 분류 및 회귀 둘 모두에 사용될 수 있다. 분류는 레이블(예 또는 아니오)을 예측하고 회귀 값은 수량을 예측한다. 따라서, 인공 신경망은 분류기일 수 있고 부정 또는 긍정 결과의 결정을 나타내는 하나 이상의 인식 계층들로 구성되거나 ANN 또는 CNN은 결정을 백분율 값으로 나타내는 회귀 모델이다. 분류시, ANN 또는 CNN은 이전에 진단된 음성 또는 양성 결과들의 쌍들로 분류에 의해 라벨링된 이미지들로 훈련된다. 회귀시, ANN 또는 CNN은 이전에 검출되거나 알려진 테스트 결과들을 매칭시키기 위해 백분율 값들이 라벨링된 이미지들로 훈련된다.
주석시, 이미지들은 사용된 현장 진단(POC) 테스트를 나타내는 코드 및/또는 휴대전화 유형 및/또는 카메라 유형 같은 사용된 장비를 나타내는 코드 또는 다른 유형의 정보, 이를테면 검출 시간, 로트 번호 및 테스트 만기일이 라벨링될 수 있다.
ANN 또는 CNN 알고리즘은 바람직한 실시예들에서 상이한 카메라들로부터의 이미지들 및/또는 사용된 배경, 조명, 공명 컬러 및/또는 색조 범위와 관련하여 상이한 품질의 이미지들로 훈련되었다.
이미지 취득은 취득된 이미지의 품질이 모든 추가 이미지 처리 단계들을 컨디셔닝할 것이기 때문에 컴퓨터 비전 애플리케이션들에서 매우 중요한 단계이다. 이미지들은 최상의 결과들을 가능하게 하도록 이미지 품질, 카메라와 캡처될 객체의 상대적 포지션 측면에서 소정 요건들을 충족해야 한다. 모바일 디바이스는 휴대용이고, 그러므로 테스트와 관련하여 고정된 포지션을 가지지 않아 어렵다. 또한, 모바일 디바이스들은 또한 동적 환경들에서 사용되고, 이는 조명 조건들에 관계없이 반복가능한 결과들을 획득하기 위해 주변 조명이 고려되어야 함을 암시한다.
이미지의 컬러 균형은 이미지들이 상이한 카메라들에 의해 촬영되고 다른 코드 판독기들에 의해 해석될 때 상이할 수 있다. 상이한 컬러 균형은 또한 테스트 로트 변동의 결과일 수 있다. 그러므로, 본 발명의 일부 실시예들에서, 원격통신 단말기의 애플리케이션에서 소프트웨어는 백색 균형 및 QR 코드 정정과 같은 일부 컬러 균형 방법에 의해 컬러 정정을 위한 컬러들의 세기들을 조정할 수 있다.
본 발명의 일부 실시예들에서, 원격통신 단말기의 애플리케이션의 소프트웨어는 또한 이미징의 타겟에 대해 이미지의 영역을 올바르게 선택할 수 있다.
이미지 품질과 속성들이 변화할 수 있다. 또한, 측방 유동 스트립 및 테스트 로트 변동과 같은 테스트 장비는 변화할 수 있고 다른 속성들을 가진 이미지들로 이어지는 속성들을 가질 수 있다. ANN 또는 CNN은 또한 이러한 분산들에 대해 훈련된다.
ANN 또는 CNN이 훈련된 자료가 많을수록, 일반적으로 더 정확하다. 훈련은 예를 들어 100 개의 이미지들 내지 10,000,000 개의 이미지들 및 1 내지 최대 수백만 번의 반복들(즉, 훈련 사이클들)을 포함할 수 있다.
훈련시, 해석될 이미지는 서버로 전송된다.
ANN 또는 CNN 알고리즘은 또한 일부 실시예들에서 해석 시 발신자 정보를 고려할 수 있다.
해석은 ANN 또는 CNN에서 상이한 인식들 간의 반복 결과이다.
해석된 이미지의 분석은 분석 결과로서 모바일 스마트폰 및/또는 건강 관리 기관, 의사 또는 다른 데이터베이스 또는 최종-사용자와 같은 원격통신 단말기로 다시 전송된다.
현장 진단 테스트 결과의 분석 시스템은 현장 진단 테스트의 시각적 테스트 결과와 모바일 스마트폰과 같은 원격통신 단말기로 구성된다. 모바일 스마트폰은 카메라, 클라우드 서비스에 접근할 수 있는 애플리케이션, 및 해석된 이미지의 분석이 보여지는 사용자 인터페이스를 갖는다. 클라우드 서비스를 갖는 서비스 제공자는 카메라에 의해 촬영된 시각적 테스트 결과 이미지를 해석하는 소프트웨어를 제공한다. 소프트웨어는 이미지를 해석할 수 있도록 딥 러닝으로 훈련된 인공 신경망 알고리즘을 사용한다.
시스템은 이전에 진단된 양성 및 음성 결과들이 라벨링된 이미지들 및 이미지 쌍의 훈련 데이터 또는 이전에 검출되거나 알려진 테스트 결과들을 일치시키기 위해 백분율 값들이 라벨링된 이미지들을 갖는 데이터베이스를 더 포함한다. 훈련 데이터는 또한 상이한 카메라들, 배경들 및 조명 조건들로부터의 이미지들을 포함할 수 있다. 또한, 훈련 데이터는 사용된 카메라, 사용된 단말기/스마트폰 및/또는 인터페이스의 정보를 더 포함한다.
본 발명의 장점은 현장 진단 테스트 결과들의 해석을 위해 딥 러닝을 사용하고 해석에 기반한 분석을 수행한다는 것이다. 엄격한 규칙들을 사용하는 기존의 기계 학습은 예를 들어 이미지들 및 텍스트의 분류에 의해 테스트 결과 이미지들의 해석에 사용되었지만, 본 발명은 사용된 딥 러닝 방법이 소정 관련 특징들 간의 상관들을 인식하고 특징들 간의 연결들을 도출하여 최적의 결과들을 학습한다는 점에서 실제 인간보다 이러한 작업들을 훨씬 더 잘 수행함을 보여준다.
본 발명은 딥 러닝을 사용하여 원시 이미지들과 함께 바람직하게 CNN을 사용하여 ANN/CNN을 직접 훈련시킬 수 있는 POC 테스트 결과들을 분석(정량화 포함)하기 위한 새로운 접근법을 제공한다. 원시 이미지들은 아직 처리되지 않았지만 카메라의 센서 데이터에서 볼 수 있는 이미지들을 생성하는 데 필요한 정보를 포함하기 때문에 이름이 지정되었다.
본 발명에 따른 분류를 위한 측방 유동 테스트에서, 훈련 자료는 테스트 결과를 나타내는 컬러 라인의 모습에 따라 양성 또는 음성으로서 라벨링된 테스트 결과들의 원시 이미지들로 이루어진다. 원시 이미지들은 ANN/CNN이 상이한 배경색들, 조명 조건들 및 상이한 카메라들로부터의 결과들을 구별하도록 교육하기 위한 훈련 자료를 포함한다. 회귀의 경우, 훈련 자료는 테스트 결과를 나타내는 컬러 라인의 세기에 따라 백분율이 라벨링된 테스트 결과들의 원시 이미지로 이루어진다.
본 발명은 테스트 결과의 이미지에서 관심 영역을 찾기 위해 ANN/CNN을 가르치기 위해 의미론적 분할을 사용한다. 분석의 어느 시점에서, 이미지의 어떤 이미지 포인트들 또는 영역들이 추가 처리와 관련이 있는지에 대한 결정이 이루어진다. 의미론적 분할에서, 이미지의 각각의 영역은 이미지를 의미적으로 의미 있는 부분들로 분할하고, 각각의 부분을 미리-결정된 클래스들 중 하나로 분류하기 위해 라벨링된다.
본 발명에 사용된 네트워크는 특징-검출 "인식들"의 다중 계층들로 이루어진다. 각각의 계층은 이전 계층들로부터의 상이한 입력들의 조합에 응답하는 많은 뉴런들을 갖는다. 계층들은 제 1 계층이 입력에서 초기 패턴들의 세트를 검출하고, 제 2 계층은 패턴들의 패턴들을 검출하고, 제 3 계층은 이러한 패턴들의 패턴들을 검출하는 식으로 구축된다. 일반적으로 4 개 내지 1000 개의 별개의 패턴 인식 계층들이 사용된다.
훈련은 의도한 출력 응답으로 태그가 지정된 다양한 대표적인 입력 패턴들에서 "라벨링된" 입력들의 데이터세트를 사용하여 수행된다. 패턴 인식을 위한 기존 모델들에서, 특징 추출기들은 손으로 설계되었다. CNN들에서, 특징 추출에 사용되는 컨볼루션 계층과 분류에 사용되는 완전히 연결된 계층의 가중치들은 훈련 과정에서 결정된다. 본 발명에 사용된 CNN에서, 컨볼루션 계층들은 손으로 설계되지 않은 특징 추출기의 역할을 한다.
또한, 해석된 이미지들은 환자 데이터와 결합될 수 있고 추가 훈련은 동일한 환자들의 분석 결과들과 환자들의 증상을 결합하여 수행될 수 있다.
다음에서, 본 발명은 도면들을 참조하여 몇몇 유리한 실시예들에 의해 설명된다. 본 발명은 이들 실시예들의 세부사항들로 제한되지 않는다.
도 1은 본 발명이 구현될 수 있는 시스템의 구조도이다.
도 2는 본 발명의 방법의 일반적인 흐름도이다.
도 3은 인공 신경망이 훈련되는 본 발명의 방법의 일부의 흐름도이다.
도 4는 본 발명에 따른 컨볼루션 신경망의 훈련의 테스트 예이다.
도 5는 본 발명의 성능 테스트 예이다.
도 1은 본 발명이 구현될 수 있는 시스템의 구조도이다.
모바일 스마트폰(1)은 현장 진단(Point-Of-Care) 테스트의 테스트 결과 이미지를 촬영할 수 있는 카메라(2)를 갖는다. 이미지는 모바일 스마트폰(1)의 애플리케이션(3)으로 전송된다. 애플리케이션(3)은 인터넷(5)을 통해 서비스 제공자(4)에 의해 제공되는 클라우드 서비스로 이미지를 추가로 전송한다.
클라우드 서비스에서, 촬영된 이미지는 분석을 위한 이미지의 해석을 수행하기 위해 딥 러닝으로 훈련된 인공 신경망(ANN)(6)에 의해 해석된다. 인공 신경망(ANN)은 바람직하게 컨볼루션 신경망(CNN)이다.
해석된 이미지의 분석은 최종 사용자의 사용자 인터페이스로 전송된다. 최종 사용자는 클라우드 서비스가 직접 링크 또는 인터넷(5)을 통해 연결된 건강 관리 시스템(8)일 수 있다. 최종 사용자는 또한 모바일 스마트폰(1)의 사용자일 수 있고, 이에 의해 인터페이스는 스마트폰(1)에 있을 수 있거나 그것에 대한 링크를 가질 수 있다. 인터페이스는 클라우드 서비스, 스마트폰 및/또는 건강 관리 시스템에 있을 수 있다.
클라우드 서비스는 또한 특허 데이터 시스템(9) 및 실험실 데이터 시스템(10)을 갖는 건강 관리 시스템(8)에 연결될 수 있다. 연결은 직접 링크 또는 인터넷(5)을 통할 수 있다. 인터페이스는 건강 관리 시스템(8)에 대한 링크를 가질 수 있다.
도 2는 본 발명의 방법이 구현될 수 있는 방법의 일반적인 흐름도이다.
사용자는 스트립을 사용하여 단계(1)에서 현장 진단(POC) 테스트를 수행하고 스트립 상에는 결과가 상이한 세기들로 나타나는 가시선들과 함께 나타난다. 이런 가시 라인들의 모습은 분석될 것이다. 대안적으로, 테스트 결과는 라인들 대신에, 반드시 보이지는 않지만 특정 필터들을 사용하여 보일 수 있도록 필터링되는 특정 패턴들, 라인들 또는 점들로 이루어질 수 있다.
단계(2)에서 모바일 스마트폰의 카메라로 검사 결과 스트립의 이미지가 촬영된다.
이어서, 단계(3)에서 이미지는 모바일 스마트폰의 애플리케이션으로 전송된다.
단계(4)에서, 이미지는 애플리케이션으로부터 서비스 제공자에 의해 제공되는 클라우드 서비스로 추가로 전송된다.
단계(5)에서, 이미지는 테스트 결과의 분석에 대한 결정을 내리기 위한 해석을 위한 딥 러닝으로 학습된 인공 신경망(ANN)을 사용하여 클라우드 서비스, 바람직하게 컨볼루션 신경망(CNN)에 의해 해석된다.
단계(6)에서, 해석된 이미지의 분석은 최종 사용자의 사용자 인터페이스로 전송된다.
도 3은 본 발명에서 사용되는 인공 신경망(ANN), 바람직하게 컨볼루션 신경망(CNN)이 훈련되는 본 발명의 방법의 일부의 흐름도이다.
측방 유동 현장 진단 테스트의 테스트 결과들의 충분한 수의 이미지들은 단계(1)에서 예를 들어 스마트폰의 하나 이상의 카메라에 의해 먼저 촬영된다. 이에 의해, 이미지들은 다른 배경들과 조명 조건들을 가질 수 있고 이미지는 상이한 스마트폰들의 상이한 카메라들로 촬영될 수 있다.
단계(2)에서, 원시 형식의 이미지들을 스마트폰의 애플리케이션이나 소프트웨어로 전송하는 것은 서비스에 의해 유지된다.
단계(3)에서, 상이한 스마트폰들에서 상이한 카메라들로 촬영된 이미지들 및 상이한 배경들과 조명 조건들을 가진 이미지들을 사용하여 의미론적 분할을 위한 소프트웨어에 의해 측방 유동 테스트 결과들의 컬러 라인을 포함하는 원시 형식의 이미지들에서 관심 영역을 라벨링.
단계(4)에서, 이미지들은 컨볼루션 신경망(CNN)을 가르치기 위해 정보가 라벨링된다.
라벨링 방식은 분류 모델 또는 회귀 모델을 생성하는 데 CNN을 사용하는지 여부에 따른다.
분류에서, 이미지들은 상이한 배경들과 조명 조건들을 갖는 이미지들을 사용하여 주어진 클래스에 속하는 것에 대해 양성 또는 음성 쌍들이 라벨링된다.
회귀에서, 이미지들은 POC 테스트에서 측정된 물질들의 농도들에 대한 백분율 값들이 라벨링된다. 백분율 값들은 이전에 진단된 테스트 결과들과 매칭한다. 상이한 배경들과 조명 조건들을 갖는 이미지들은 바람직하게 또한 여기에 사용된다.
일부 회귀 실시예들에서, 백분율 값들은 보다 정확한 결과들을 얻기 위해 라벨링에 사용될 값들을 조정함으로써 정규화될 수 있다. 조정은 예를 들어 로그 정규화에 의해 수행되고, 여기서 각각의 값은 로그 함수로 변환되고, 이에 따라 농도들은 로그 스케일로 제공된다. 또한 정규화의 다른 방식들이 수행될 수 있다.
값들은 또한 예를 들어 농도 영역에 기반하여 다수의 상이한 그룹들, 예를 들어 4 개의 그룹들로 나누어질 수 있고, 각각의 값들의 그룹은 다른 방식들로 정규화될 수 있다.
정규화 방식은 POC 테스트 유형에 기반하여 선택된다.
단계(5)에서, 라벨링된 이미지들을 데이터베이스에 저장한다.
단계(6)에서 라벨링된 이미지들로 컨볼루션 신경망(CNN)을 훈련시킨다.
단계(7)에서, 알려진 테스트 결과 및 CNN이 관리하는 방식에 따라 CNN을 테스트한다.
단계(8)의 참조 테스트와 비교하여 결과들의 분석이 충분히 우수할 때까지 단계(6)(또는 추가 훈련 자료를 얻기 위해 단계들(1-6) 모두)를 반복하여 추가 훈련 자료로 훈련을 계속하거나, 단계(9)에 사용하기 위해 CNN을 검증한다. 기준은 비교를 위한 품질을 평가하기 위해 설정된다.
테스트 예
도 4는 예로서 본 발명에 따른 컨볼루션 신경망(CNN)의 훈련 결과들을 설명한다.
Actim Calprotectin 테스트들의 결과들로부터 취해진 총 1084 개의 모바일 이미지들은 본 발명에 따른 CNN 훈련에 사용되었다. Actim® Calprotectin 테스트는 크론병 또는 궤양성 대장염과 같은 염증성 장 질환(IBD) 진단을 위한 측방 유동 POC 테스트이다. 테스트는 반-정량적 결과들에 사용될 수 있다.
Actim Calprotectin 테스트들의 결과들로부터 취해진 총 1084개의 모바일 이미지들은 CNN 훈련에 사용되었다. 테스트들은 제조업체의 지침에 따라 활성화되었고 2 개의 모바일 카메라들(아이폰 7 IP7 및 삼성 갤럭시 S8; S8)을 사용하여 촬영되었다.
이미지들은 데이터베이스로 전송되고, 라벨링되고 CNN 훈련에 사용되었다. 결과들은 하기에 제시된다:
A) 이미지 A)에 도시된 바와 같이 테스트 스트립의 중앙에 표시된 카프로텍틴 테스트의 분석 영역(즉, 검출 영역)은 매우 높은 통계적 신뢰도로 훈련 후 CNN에 의해 발견되었다. 위양성 오류(False Positive error)는 0.06%이고 위음성 오류(False Negative error)은 0.02%이다.
위양성 오류는 결과가 검출의 존재를 나타내고, 그러한 영역이 없는 곳이고,
위음성 오류는 기존 검출을 나타내기 위한 결과가 누락되고, 실제로 검출이 있다.
B) 이미지 B는 훈련된 회귀 값들을 도시하고, 여기서
x-축은 훈련되고 알려진 칼프로텍틴 농도들을 ㎍/g 단위로 도시하고
y축은 분석된 칼프로텍틴 농도들을 ㎍/g 단위로 도시한다.
훈련되고 알려진 칼프로텍틴 농도들은 ㎍/g 단위로 분석된 칼프로텍틴 농도들로서 제시된 분석된 회귀 값들과 높게 상관되었다.
C) 이미지 C는 훈련된 회귀 값들을 도시하고, 여기서
x-축은 훈련되고 알려진 칼프로텍틴 농도들을 ㎍/g 단위로 도시하고,
y-축은 분석된 칼프로텍틴 농도들을 ㎍/g 단위로 도시한다.
좌측 열들은 iPhone 7 IP7 스마트폰의 카메라로 촬영된 이미지들로부터의 결과들이고 우측 열들은 Samsung Galaxy S8 스마트폰의 카메라로 촬영된 이미지들로부터의 결과들이다.
상관은 사용된 둘 모두의 휴대폰들에서 유사하였다. 결론적으로, 여기에 도시된 훈련된 CNN 알고리즘은 높은 분석 성능, 정량적 거동, 넓은 검출 범위로 작동하고 사용된 모바일 카메라와 충분히 독립적이다.
훨씬 더 높은 정확도가 요구되는 경우들에서, 본 발명의 이전 설명된 실시예들은 예를 들어 컬러 균형에 관련하여, 상이한 카메라들의 성능들을 고려하고 필요한 정정을 수행할 수 있다.
도 5는 본 발명의 성능 테스트 예이다.
제조업체의 지시들에 따라 Actim Calprotectin 테스트들을 사용하여 총 30개의 대변 샘플이 분석되었다.
Actim Calprotectin 테스트 결과들은 이전에 훈련된 CNN 알고리즘들을 사용하여 시각적으로 그리고 모바일 이미지들로부터 해석되었다.
테스트 결과들은 2 개의 모바일 카메라들(iPhone 7, IP7 및 Samsung Galaxy S8; S8)을 사용하여 촬영되었다.
모바일 이미지들은 데이터베이스로 전송되고 이어서 CNN 분석들에 사용되었다.
시각적으로 그리고 CNN에 의해 분석된 Actim Calprotectin 테스트의 성능은 정량적 Buehlmann fCAL ELISA 참조 테스트와 비교되었다.
결과들은 하기에 제시된다:
A) 이미지 A)에 도시된 Calprotectin 테스트들의 분석 영역들은 CNN 분석 후 완벽한 통계적 신뢰도로 발견되었고 30개의 연구 샘플 중 검출 오류들이 없었다.
B) 이미지 B는 시각적 해석을 도시하고, 여기서
x-축은 Actim Calprotectin에 의해 시각적으로 해석된 바와 같은 칼프로텍틴의 농도를 ㎍/g 단위로 도시하고;
y-축은 참조 테스트로 사용된 상업용 Buehlmann fCAL ELISA 테스트에 의해 해석된 칼프로텍틴 농도를 ㎍/g 단위로 도시하고;
x-축; y-축의 참조 테스트 값들과 높게 상관(전체적으로 ~96.7% 일치)된 ㎍/g 단위 Actim Calprotectin; ㎍/g 단위 Buehlmann fCAL ELISA.
C) 이미지 C는 정규화 없는(No Norm) CNN 훈련 알고리즘, 대수 정규화(Log Norm) 및 영역 정규화(4PI Norm)를 사용하여 모바일 분석을 제시한다.
이러한 모든 분석들은 Buehlmann fCAL ELISA에 의해 분석된 참조 테스트 결과들과 비교할 때 통계적으로 상당한 상관(확률값 P<0.001; *** Pearson 2-tailed)을 보여주었다.
결론적으로, 본 발명에 따라 훈련된 CNN 알고리즘은 100% 신뢰 레벨로 Actim Calprotectin 테스트들의 분석 영역(즉, 검출 영역)을 찾는다. 또한, Actim 테스트를 시각적으로 해석하거나 CNN 분석과 결합된 모바일 이미징을 사용하는 경우 Actim Calprotectin 테스트 결과들은 Buehlmann 참조 테스트와 높게 상관되었다.

Claims (33)

  1. 원격통신 네트워크에서 현장 진단(POC: Point-Of-Care) 테스트 결과의 이미지를 해석하는 인공 신경망(ANN)을 사용함으로써 현장 진단 테스트 결과를 분석하는 방법으로서, 상기 인공 신경망(ANN)은 컨볼루션 신경망(CNN)인 피드-포워드 인공 신경망인, 상기 현장 진단 테스트 결과를 분석하는 방법에 있어서,
    a) 관심 영역들 및 이전에 진단된 테스트 결과들의 정보로 원시 형식 이미지들을 라벨링(labelling)하고 라벨링된 이미지들을 데이터베이스에 저장하는 단계,
    b) 상기 라벨링된 이미지들로 컨볼루션 신경망(CNN)을 훈련시키는 단계,
    c) 현장 진단(POC) 테스트를 수행하고 테스트 결과를 얻는 단계,
    d) 원격통신 단말기의 카메라(2)로 상기 테스트 결과로부터 신호를 검출하고 이미지를 획득하는 단계,
    e) 해석될 상기 이미지의 관심 영역을 가리키고 상기 이미지의 분석에 대한 결정을 내리는 상기 컨볼루션 신경망(CNN)에 의해 상기 이미지를 해석하는 단계,
    f) 해석된 이미지의 분석 결과를 최종 사용자의 사용자 인터페이스에 전송하는 단계를 포함하는, 현장 진단 테스트 결과를 분석하는 방법.
  2. 제 1 항에 있어서, 단계 b)에서 획득된 이미지는 서비스 제공자에 의해 제공되는 상기 ANN을 사용하여 클라우드 서비스(6)로 전송되는, 현장 진단 테스트 결과를 분석하는 방법.
  3. 제 1 항 또는 제 2 항에 있어서, 단계 b)에서 획득된 이미지는 상기 원격통신 단말기의 애플리케이션(3)에 의해 수신되는, 현장 진단 테스트 결과를 분석하는 방법.
  4. 제 1 항에 있어서, 단계 b)에서 획득된 이미지는 상기 원격통신 단말기의 애플리케이션(3)에 의해 수신되고, 상기 애플리케이션(3)은 상기 ANN을 사용하는, 현장 진단 테스트 결과를 분석하는 방법.
  5. 제 3 항 또는 제 4 항에 있어서, 상기 획득된 이미지의 컬러 균형은 상기 애플리케이션(3)에 의해 정정되는, 현장 진단 테스트 결과를 분석하는 방법.
  6. 제 3 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 원격통신 단말기의 상기 애플리케이션(3) 내의 소프트웨어는 이미징의 타겟에 대한 상기 이미지의 영역을 선택하는, 현장 진단 테스트 결과를 분석하는 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 원격통신 단말기는 모바일 스마트폰(1), 개인용 컴퓨터, 태블릿, 또는 랩톱인, 현장 진단 테스트 결과를 분석하는 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서, 상기 현장 진단(POC) 테스트는 패턴, 점들(spot) 또는 컬러 라인들을 갖는 스트립(strip) 형태의 테스트 결과를 제공하는 유동 테스트(flow-through test) 또는 측방 유동 테스트(lateral flow test)이고, 상기 스트립의 모습은 상기 테스트 결과의 이미지 해석 시 인공신경망(ANN)에 의한 분석에 사용되는, 현장 진단 테스트 결과를 분석하는 방법.
  9. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서, 상기 현장 진단(POC) 테스트는 라인들, 점들, 또는 패턴의 형태로 검출될 수 있는 컬러 또는 신호를 생성하는 pH 테스트 또는 효소 테스트 같은 약물-스크린 테스트인, 현장 진단 테스트 결과를 분석하는 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서, 상기 테스트 결과는 시각적 형식이고 상기 카메라(2)에 의해 검출될 시각적 신호를 방출하는, 현장 진단 테스트 결과를 분석하는 방법.
  11. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서, 상기 테스트 결과로부터의 신호는 눈에 보이지 않고 특정 필터들을 사용하여 시각적 신호로 수정되는 특정 패턴들, 라인들, 또는 점들로 이루어지는, 현장 진단 테스트 결과를 분석하는 방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서, 상기 인공 신경망(ANN) 알고리즘은 사용된 배경, 조명, 공명 컬러, 및/또는 색조 범위와 관련하여 상이한 품질의 원시 이미지들로 훈련된, 현장 진단 테스트 결과를 분석하는 방법.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서, 상기 인공 신경망(ANN) 알고리즘은 상이한 카메라로부터의 이미지들로 훈련된, 현장 진단 테스트 결과를 분석하는 방법.
  14. 제 1 항 내지 제 13 항 중 어느 한 항에 있어서, 상기 인공 신경망(ANN) 알고리즘은 사용된 현장 진단(POC) 테스트의 유형을 나타내는 코드가 라벨링된 이미지들로 훈련된, 현장 진단 테스트 결과를 분석하는 방법.
  15. 제 1 항 내지 제 14 항 중 어느 한 항에 있어서, 상기 인공 신경망(ANN) 알고리즘은 단말기의 유형 및/또는 모델 및/또는 카메라 유형 같은 사용된 장비를 나타내는 코드가 라벨링된 이미지들로 훈련된, 현장 진단 테스트 결과를 분석하는 방법.
  16. 제 1 항 내지 제 15 항 중 어느 한 항에 있어서, 상기 인공 신경망(ANN)은 분류기이고 이전에 진단된 음성 또는 양성 결과들의 쌍들로 분류에 의해 라벨링된 이미지들에 의해 훈련되는, 현장 진단 테스트 결과를 분석하는 방법.
  17. 제 1 항 내지 제 15 항 중 어느 한 항에 있어서, 상기 인공 신경망(ANN)은 회귀 모델이고 상기 POC 테스트로 테스트될 물질의 농도들에 대한 백분율 값들이 라벨링된 이미지들에 의해 훈련되고, 상기 백분율 값들은 이전에 진단된 테스트 결과들과 매칭하는, 현장 진단 테스트 결과를 분석하는 방법.
  18. 제 17 항에 있어서, 상기 이미지들은 상기 백분율 값들의 정규화된 값들이 라벨링되는, 현장 진단 테스트 결과를 분석하는 방법.
  19. 제 18 항에 있어서, 상기 정규화는 각각의 백분율 값을 로그 함수로 변환함으로써 수행되는, 현장 진단 테스트 결과를 분석하는 방법.
  20. 제 18 항에 있어서, 상기 백분율 값들은 그룹들로 나누어지고, 각각의 그룹의 값들은 상이하게 정규화되는, 현장 진단 테스트 결과를 분석하는 방법.
  21. 제 1 항 내지 제 20 항 중 어느 한 항에 있어서, 상기 인공 신경망(ANN)은 환자 증상들 데이터를 분석 결과들과 결합함으로써 추가로 훈련되는, 현장 진단 테스트 결과를 분석하는 방법.
  22. 제 1 항 내지 제 21 항 중 어느 한 항에 있어서, 상기 컨볼루션 신경망(CNN)은 해석될 상기 이미지의 관심 영역을 가리키기 위해 의미론적 분할(semantic segmentation)에 의해 훈련되고 이를 사용하는, 현장 진단 테스트 결과를 분석하는 방법.
  23. 제 1 항 내지 제 22 항 중 어느 한 항에 있어서, 상기 해석된 이미지의 분석은 상기 최종 사용자인 상기 모바일 스마트폰 및/또는 건강 관리 기관으로 다시 전송되는, 현장 진단 테스트 결과를 분석하는 방법.
  24. 현장 진단(POC) 테스트의 결과를 분석하는 시스템에 있어서,
    상기 현장 진단 테스트의 테스트 결과,
    관심 영역들과 이전에 진단된 테스트 결과들의 정보가 라벨링된 원시 형식 이미지들을 저장하는 데이터베이스,
    카메라(2), 및 사용자 인터페이스를 갖는 단말기,
    상기 카메라(2)에 의해 촬영된 상기 테스트 결과의 이미지를 해석하기 위한 소프트웨어를 포함하고,
    상기 소프트웨어는 해석될 상기 이미지의 관심 영역을 가리키고 상기 이미지의 분석에 대한 결정을 내림으로써 상기 이미지의 해석을 위해 인공 신경망(ANN)을 사용하고, 상기 인공 신경망(ANN)은 컨볼루션 신경망(CNN)인 피드-포워드 인공 신경망인, 현장 진단(POC) 테스트의 결과를 분석하는 시스템.
  25. 제 24 항에 있어서, 상기 카메라(2)에 의해 촬영된 상기 테스트 결과의 이미지를 해석하기 위해, 상기 인공 신경망(ANN)을 사용하는 상기 소프트웨어를 제공하는 클라우드 서비스(6)를 갖는 서비스 제공자(4)를 더 포함하는, 현장 진단(POC) 테스트의 결과를 분석하는 시스템.
  26. 제 24 항에 있어서, 상기 카메라에 의해 촬영된 상기 테스트 결과의 이미지를 해석하기 위해, 상기 인공 신경망(ANN)을 사용하는 상기 소프트웨어를 갖는 애플리케이션(3)을 더 포함하는, 현장 진단(POC) 테스트의 결과를 분석하는 시스템.
  27. 제 26 항에 있어서, 상기 단말기는 클라우드 서비스에 대한 액세스를 갖는 애플리케이션을 갖는, 현장 진단(POC) 테스트의 결과를 분석하는 시스템.
  28. 제 24 항 내지 제 27 항 중 어느 한 항에 있어서, 원격통신 단말기는 모바일 스마트폰(1), 개인용 컴퓨터, 태블릿, 또는 랩톱인, 현장 진단(POC) 테스트의 결과를 분석하는 시스템.
  29. 제 24 항 내지 제 28 항 중 어느 한 항에 있어서, 상기 현장 진단 테스트는 유동 테스트, 측방 유동 테스트, 약물-스크린 테스트, 이를테면 라인들, 점들, 또는 패턴을 갖는 스트립 형태로 검출될 수 있는 컬러 또는 신호를 생성하는 pH 또는 효소 테스트이고, 상기 스트립의 모습은 상기 테스트 결과의 상기 이미지 해석 시 상기 인공 신경망(ANN)에 의한 분석에 사용되는, 현장 진단(POC) 테스트의 결과를 분석하는 시스템.
  30. 제 24 항 내지 제 29 항 중 어느 한 항에 있어서, 상기 테스트 결과는 시각적 형식이고 상기 카메라(2)에 의해 검출될 시각적 신호를 방출하는, 현장 진단(POC) 테스트의 결과를 분석하는 시스템.
  31. 제 24 항 내지 제 30 항 중 어느 한 항에 있어서, 상기 테스트 결과를 시각적 신호로 수정하기 위한 하나 이상의 특정 필터들을 더 포함하는, 현장 진단(POC) 테스트의 결과를 분석하는 시스템.
  32. 제 24 항 내지 제 31 항 중 어느 한 항에 있어서, 상기 인공 신경망(ANN)은 분류기이고 음성 또는 양성 결과의 결정을 나타내는 하나 이상의 인식 계층들로 이루어지는, 현장 진단(POC) 테스트의 결과를 분석하는 시스템.
  33. 제 24 항 내지 제 32 항 중 어느 한 항에 있어서, 상기 인공 신경망(ANN)은 결정을 백분율 값으로 나타내는 회귀 모델인, 현장 진단(POC) 테스트의 결과를 분석하는 시스템.
KR1020217022845A 2018-12-19 2019-11-11 현장 진단 테스트 결과의 이미지를 분석하는 시스템 및 방법 KR20210104857A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI20186112 2018-12-19
FI20186112A FI20186112A1 (en) 2018-12-19 2018-12-19 SYSTEM AND METHOD FOR ANALYZING THE RESULT OF THE CARE SITE TEST
PCT/FI2019/050800 WO2020128146A1 (en) 2018-12-19 2019-11-11 System and method for analysing the image of a point-of-care test result

Publications (1)

Publication Number Publication Date
KR20210104857A true KR20210104857A (ko) 2021-08-25

Family

ID=68621329

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217022845A KR20210104857A (ko) 2018-12-19 2019-11-11 현장 진단 테스트 결과의 이미지를 분석하는 시스템 및 방법

Country Status (9)

Country Link
US (1) US20210287766A1 (ko)
EP (1) EP3899504A1 (ko)
JP (1) JP2022514054A (ko)
KR (1) KR20210104857A (ko)
CN (1) CN113286999A (ko)
BR (1) BR112021010970A2 (ko)
CA (1) CA3124254A1 (ko)
FI (1) FI20186112A1 (ko)
WO (1) WO2020128146A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023033270A1 (ko) * 2021-09-02 2023-03-09 광운대학교 산학협력단 딥러닝 기반 분석 결과 예측 방법 및 장치
WO2024058319A1 (ko) * 2022-09-16 2024-03-21 주식회사 켈스 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020256041A1 (ko) * 2019-06-19 2020-12-24
GB2583149B (en) * 2019-07-19 2021-03-17 Forsite Diagnostics Ltd Assay reading method
US20230227583A1 (en) 2019-08-30 2023-07-20 Yale University Compositions and methods for delivery of nucleic acids to cells
US20220003754A1 (en) * 2020-07-01 2022-01-06 Neil Mitra Two dimensional material based paper microfluidic device to detect and predict analyte concentrations in medical and non-medical applications
US20220020481A1 (en) 2020-07-20 2022-01-20 Abbott Laboratories Digital pass verification systems and methods
WO2022086945A1 (en) * 2020-10-19 2022-04-28 Safe Health Systems, Inc. Imaging for remote lateral flow immunoassay testing
WO2022169764A1 (en) * 2021-02-05 2022-08-11 BioReference Health, LLC Linkage of a point of care (poc) testing media and a test result form using image analysis
CN112964712A (zh) * 2021-02-05 2021-06-15 中南大学 一种快速检测沥青路面状态的方法
GB202106143D0 (en) * 2021-04-29 2021-06-16 Adaptive Diagnostics Ltd Determination of the presence of a target species
WO2023034441A1 (en) * 2021-09-01 2023-03-09 Exa Health, Inc. Imaging test strips

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655009B2 (en) * 2010-09-15 2014-02-18 Stephen L. Chen Method and apparatus for performing color-based reaction testing of biological materials
WO2015022318A1 (en) * 2013-08-13 2015-02-19 Anitest Oy Test method for determining biomarkers
CN105488534B (zh) * 2015-12-04 2018-12-07 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统
US10460231B2 (en) * 2015-12-29 2019-10-29 Samsung Electronics Co., Ltd. Method and apparatus of neural network based image signal processor
CN205665697U (zh) * 2016-04-05 2016-10-26 陈进民 基于细胞神经网络或卷积神经网络的医学影像识别诊断系统
US10049284B2 (en) * 2016-04-11 2018-08-14 Ford Global Technologies Vision-based rain detection using deep learning
US20180136140A1 (en) * 2016-11-15 2018-05-17 Jon Brendsel System for monitoring and managing biomarkers found in a bodily fluid via client device
EP3612963B1 (en) * 2017-04-18 2021-05-12 Yeditepe Universitesi Biochemical analyser based on a machine learning algorithm using test strips and a smartdevice
CN108446631B (zh) * 2018-03-20 2020-07-31 北京邮电大学 基于卷积神经网络的深度学习的智能频谱图分析方法
US11250601B2 (en) * 2019-04-03 2022-02-15 University Of Southern California Learning-assisted multi-modality dielectric imaging

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023033270A1 (ko) * 2021-09-02 2023-03-09 광운대학교 산학협력단 딥러닝 기반 분석 결과 예측 방법 및 장치
WO2024058319A1 (ko) * 2022-09-16 2024-03-21 주식회사 켈스 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법

Also Published As

Publication number Publication date
WO2020128146A1 (en) 2020-06-25
CN113286999A (zh) 2021-08-20
JP2022514054A (ja) 2022-02-09
CA3124254A1 (en) 2020-06-25
US20210287766A1 (en) 2021-09-16
FI20186112A1 (en) 2020-06-20
EP3899504A1 (en) 2021-10-27
BR112021010970A2 (pt) 2021-09-08

Similar Documents

Publication Publication Date Title
US20210287766A1 (en) System and method for analysing the image of a point-of-care test result
JP7417537B2 (ja) 定量的なラテラルフロークロマトグラフィーの分析システム
EP3311163B1 (en) Micro-plate reader for elisa testing
US10055837B2 (en) Method of and apparatus for measuring biometric information
US20190257822A1 (en) Secure machine readable code-embedded diagnostic test
Scherr et al. An embedded barcode for “connected” malaria rapid diagnostic tests
Tania et al. Intelligent image-based colourimetric tests using machine learning framework for lateral flow assays
US20220299525A1 (en) Computational sensing with a multiplexed flow assays for high-sensitivity analyte quantification
Duan et al. Deep learning-assisted ultra-accurate smartphone testing of paper-based colorimetric ELISA assays
Jing et al. A novel method for quantitative analysis of C-reactive protein lateral flow immunoassays images via CMOS sensor and recurrent neural networks
Khan et al. Artificial intelligence in point-of-care testing
US20160041180A1 (en) Method for Evaluating Urine Sample, Analyzer, and Analysis System
US20210382052A1 (en) Serodiagnostic testing device and system for early-stage lyme disease using a multiplexed immunoassay
Velikova et al. Smartphone‐based analysis of biochemical tests for health monitoring support at home
CN110243823B (zh) 基于支持向量机的小儿佝偻病自动筛查装置及其使用方法
FI20205774A1 (en) SYSTEMS AND PROCEDURES FOR ANALYSIS OF THE RESULTS OF A PATIENT TEST
WO2022123069A1 (en) Image classification of diagnostic tests
US20220299445A1 (en) Screening Test Paper Reading System
Perez-Rodriguez et al. Metabolic biomarker modeling for predicting clinical diagnoses through microfluidic paper-based analytical devices
Zeb et al. Towards the selection of the best machine learning techniques and methods for urinalysis
Kishnani et al. Predictive Framework Development for User-Friendly On-Site Glucose Detection
Hoque Tania et al. Assay Type Detection Using Advanced Machine Learning Algorithms
Sinha et al. A Cost-Effective Approach For Real-Time Anemia Diagnosis Using An Automated Image Processing Tool Interfaced Paper Sensor
Cunningham et al. Mobile biosensing using the sensing capabilities of smartphone cameras
Han et al. Deep learning-enhanced paper-based vertical flow assay for high-sensitivity troponin detection using nanoparticle amplification