KR102091832B1 - Portable In Vitro Diagnostic Kit Analyzer Using Multimedia Information - Google Patents

Portable In Vitro Diagnostic Kit Analyzer Using Multimedia Information Download PDF

Info

Publication number
KR102091832B1
KR102091832B1 KR1020190094873A KR20190094873A KR102091832B1 KR 102091832 B1 KR102091832 B1 KR 102091832B1 KR 1020190094873 A KR1020190094873 A KR 1020190094873A KR 20190094873 A KR20190094873 A KR 20190094873A KR 102091832 B1 KR102091832 B1 KR 102091832B1
Authority
KR
South Korea
Prior art keywords
vitro diagnostic
diagnostic kit
change
multimedia information
sample
Prior art date
Application number
KR1020190094873A
Other languages
Korean (ko)
Inventor
장현재
김석호
Original Assignee
주식회사 에프앤디파트너스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에프앤디파트너스 filed Critical 주식회사 에프앤디파트너스
Priority to KR1020190094873A priority Critical patent/KR102091832B1/en
Application granted granted Critical
Publication of KR102091832B1 publication Critical patent/KR102091832B1/en
Priority to PCT/KR2020/010329 priority patent/WO2021025458A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B2010/0003Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements including means for analysis by an unskilled person

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a portable device for analyzing an in vitro diagnostic kit using multimedia information and, more specifically, to a portable device for analyzing an in vitro diagnostic kit using multimedia information to determine one or more in vitro diagnostic methods of a change reading method for shape or change reading method for color using multimedia information of an in vitro diagnostic kit photographed through a camera by using a deep learning model, determine a label and output value for each sample position where a change does not occur using a deep learning model, and read a label and output value for each sample position where a change occurs, for displaying a read result value or transmitting a read result value to a user terminal.

Description

멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치{Portable In Vitro Diagnostic Kit Analyzer Using Multimedia Information}Portable In Vitro Diagnostic Kit Analyzer Using Multimedia Information

본 발명은 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치에 관한 것으로서, 더욱 상세하게는 카메라를 통해 촬영된 체외진단키트의 멀티미디어 정보를 딥러닝 모델을 이용하여 형상에 대한 변화 판독 방식 혹은 색상에 대한 변화 판독 방식 중 어느 하나 이상의 체외진단 방식을 판단하고, 딥러닝 모델을 이용하여 변화가 발생하지 않은 시료 위치별 라벨과 출력값을 결정하고, 변화가 발생한 시료 위치별 라벨과 출력값을 판독하여 판독된 결과값을 디스플레이시키거나, 사용자단말기로 전송하기 위한 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치에 관한 것이다.The present invention relates to a portable in vitro diagnostic kit analysis device using multimedia information, and more specifically, to change the shape of the in vitro diagnostic kit captured through the camera using a deep learning model, change the reading method for color, or change in color. Determines one or more in vitro diagnostic methods of the reading method, uses the deep learning model to determine the label and output value for each sample position where the change has not occurred, and reads the label and output value for each sample position where the change has occurred to read the result. It relates to a portable in vitro diagnostic kit analysis apparatus using multimedia information for displaying, or transmitting to a user terminal.

최근 기계학습 또는 머신러닝(machine learning)이라는 기술이 소프트웨어 기술로부터 금융, 경제에 이르기까지 다양한 분야에 응용되고 있으며 특히 컴퓨터 비전 및 영상처리 분야의 비약적인 발전을 선도하는 핵심 기술로 자리 잡고 있다.Recently, a technology called machine learning or machine learning has been applied to various fields from software technology to finance and economy, and has become a key technology leading the rapid development of computer vision and image processing.

또한, 근래에 들어 의료영상 분석을 포함한 의료진단 분야와 의료영상에서 기관이나 암 부위 등의 추출 및 분할이나 영상 정합, 영상 검색 등 전반적인 의료영상 분석 분야에서도 기계학습 기술이 널리 활용되고 있다.In addition, in recent years, machine learning technology has been widely used in medical diagnosis fields including medical image analysis and general medical image analysis fields such as extraction and division of organs or cancer regions from medical images, image registration, and image search.

이러한 기계학습 기술은 인공지능(AI)의 한 분야로 주어진 데이터로부터 패턴이나 특성을 학습하여 새로운 데이터에 대해 분석을 수행해낼 수 있도록 하는 알고리즘 및 관련 분야를 의미한다.This machine learning technology refers to an algorithm and related fields that enable a user to perform analysis on new data by learning patterns or characteristics from data given as a field of artificial intelligence (AI).

그리고, 최근 들어 딥러닝(deep learning)이라는 기계학습 기법이 핵심 기술로 대두되면서 관련 기술 및 응용 분야에 대한 관심이 높아지고 있다.And, recently, as a machine learning technique called deep learning has emerged as a core technology, interest in related technologies and application fields has increased.

딥러닝 기법이란 생물의 신경계를 모방한 인공신경망(artificial neural network)의 모델로서, 기존의 인공신경망 모델이 얇은 층의 뉴런 모델들의 연결로 구성되어 있다면, 딥러닝 기법은 뉴런 모델의 층을 깊게 쌓아 올림으로써 신경망의 학습 능력을 높이는 모델을 적용하는 기술이다.Deep learning is a model of an artificial neural network that mimics the nervous system of a living organism.If the existing artificial neural network model is composed of connections of thin-layered neuron models, the deep learning technique deeply stacks the layers of the neuron model. It is a technique to apply a model that increases the learning ability of neural networks by raising it.

여러 층으로 이루어진 인공신경망으로서의 딥러닝의 개념은 1970년대에 제안되었으나, 학습 결정의 복잡성 등으로 인해 정체되어 있다가 최근 여러 가지 연구를 통해 그 성능이 개선되고 관련 연구들이 음성인식 및 영상인식 등의 분야에서 뛰어난 결과를 보이면서 그 수요가 빠르게 증가하고 있다.The concept of deep learning as a multi-layered artificial neural network was proposed in the 1970s, but it has stagnated due to the complexity of learning decisions, and recently, through various studies, its performance has improved and related studies have been used for speech recognition and video recognition. The demand is growing rapidly, with excellent results in the field.

일례로 MRI 검사 시 환자당 수십개의 의료 영상 슬라이스를 분석함에 있어서 영상 판독의 효율성을 높이고 진단 과정의 생산성 향상을 위하여, 실제 데이터를 기반으로 기계 학습하여 활용이 가능한 의료영상 진단 보조 시스템이 요구되고 있다. For example, in order to increase the efficiency of image reading and improve the productivity of the diagnostic process in analyzing dozens of medical image slices per patient during MRI examination, a medical image diagnostic assistant system capable of machine learning based on actual data is required. .

또한, 의료현장에서 의사가 진단에 활용하는 모든 데이터, 즉, 의료영상 이외의 다양한 임상정보를 모두 적용하여 생성된 데이터 기반 인공지능 시스템은 의료영상만으로 학습된 의료용 기계학습 알고리즘에 비해 더 향상된 진단 성능을 기대할 수 있다.In addition, the data-based artificial intelligence system generated by applying all the data used by a doctor for diagnosis in the medical field, that is, a variety of clinical information other than medical images, has improved diagnostic performance compared to medical machine learning algorithms learned with medical images alone. Can be expected.

한편, 본 발명과 관련있는 체외진단이란, 소변검사, 혈액검사처럼 혈액, 분뇨, 체액, 침 등 인체에서 유래한 물질을 이용해 병의 감염 여부나 치료 효과를 확인할 수 있는 의료기술이다. On the other hand, the in vitro diagnosis related to the present invention is a medical technology capable of confirming the infection or treatment effect of a disease using substances derived from the human body, such as blood, manure, body fluids and saliva, such as a urine test and a blood test.

대표적인 체외진단키트는 혈당계, 임신진단기, 소변검사키트 등이 있다. Representative in vitro diagnostic kits include blood glucose meters, pregnancy diagnostics, and urine test kits.

최근에는 암, 치매 등 진단이 어려웠던 질병에 대해서도 다양한 체외진단키트가 개발되어 상용화를 위한 연구가 이뤄지고 있다. Recently, various in vitro diagnostic kits have been developed for diseases that have been difficult to diagnose, such as cancer and dementia, and research has been conducted for commercialization.

이에 따라 지금은 진단하기 어려운 질병도 미래에는 더 간편하고 부담없는 진단이 가능할 것으로 예상한다.Accordingly, it is expected that even a disease that is difficult to diagnose now can be diagnosed more easily and easily in the future.

상기한 체외진단에 대하여 구체적으로 설명하도록 한다.The in vitro diagnosis will be described in detail.

상기 체외진단 중 가장 대표적인 진단은 면역화학적 진단이며, 면역화학적 진단은 항원-항체반응을 기본으로 하는 방법이다. The most representative diagnosis of the in vitro diagnosis is an immunochemical diagnosis, and the immunochemical diagnosis is a method based on an antigen-antibody reaction.

세균이나 바이러스처럼 몸에 들어오는 해로운 물질을 항원이라고 하며, 항원을 제거하기 위해 몸에서 항체를 생산하게 되는데, 항원과 항체가 만나게 되면 면역반응이 일어나게 된다. Harmful substances that enter the body, such as bacteria and viruses, are called antigens, and the body produces antibodies to remove the antigens. When the antigens and antibodies meet, an immune response occurs.

이러한 면역화학적 진단의 종류는 도 1과 같이, 다양하며, 제일 많이 사용되는 방법은 효소면역 측정법과 응집법이다. 1, various types of immunochemical diagnosis are various, and the most frequently used methods are enzyme immunoassay and aggregation.

효소면역 측정법은 임신 진단기나 소변 검사스틱에 많이 사용되고, 체액에 반응하여 색상에 변화를 준다. Enzyme immunity measurement is often used in pregnancy diagnostics or urine test sticks and changes color in response to body fluids.

응집법은 혈액형을 검사하는 시트에서 사용하는 방법이며 혈액이 응집하여 형태에 변화를 준다.The flocculation method is a method used on a sheet for examining blood types, and blood aggregates to change its shape.

이처럼 언제 어디서나 일반인의 건강 상태를 검사하고 모니터링할 수 있는 새로운 개념 진단 및 판독 리더기의 개발이 절실히 요구되고 있는데, 발광소자와 광학 소자 및 마이크로프로세서에서 검출된 신호를 분석 판정하는데 있어 판정 측정치 값 근처에서 정확도가 떨어지는 점과 개인이 구매하기에는 매우 고가이며 비전문가로써 사용에 어려움이 존재해 활성화되지 못하는 문제점이 존재하고 있다.As such, there is an urgent need for the development of a new concept diagnosis and reading reader that can inspect and monitor the health status of the general public at any time, anywhere. Near the judgment measurement value in analyzing and analyzing signals detected by light emitting elements, optical elements, and microprocessors. There is a problem that the accuracy is low and it is very expensive for an individual to purchase, and it cannot be activated due to difficulties in use as a non-expert.

그에 따라 효율적인 개인 맞춤형 건강관리 서비스를 위해서는 건강 이상이 인정되는 증상을 효과적으로 진단하고 관리할 수 있는 고감도, 고선택성의 센서 개발과, 소변이나 땀과 같이 채취가 쉬우며 고통이 없고, 개인의 사용이 편리한 시스템의 개발이 시급하다 할 수 있다.Accordingly, for efficient personalized health care services, high-sensitivity, high-selectivity sensors that can effectively diagnose and manage symptoms for which health abnormalities are recognized, and easy collection and no pain, such as urine or sweat, are not required for personal use. It is urgent to develop a convenient system.

따라서, 본 발명에서는 사용자에게 휴대성을 제공하며 정확도 높은 진단 결과를 제공하고자 한다.Therefore, in the present invention, it is intended to provide portability to a user and to provide an accurate diagnosis result.

대한민국공개특허공보 제10-2015-0026166호(2015.03.11)Republic of Korea Patent Publication No. 10-2015-0026166 (2015.03.11) 대한민국공개특허공보 제10-2018-0057220호(2018.05.30)Republic of Korea Patent Publication No. 10-2018-0057220 (2018.05.30)

따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 제1 목적은 카메라를 통해 촬영된 체외진단키트의 멀티미디어 정보를 딥러닝 모델을 이용하여 형상에 대한 변화 판독 방식 혹은 색상에 대한 변화 판독 방식 중 어느 하나 이상의 체외진단 방식을 판단하고, 딥러닝 모델을 이용하여 변화가 발생하지 않은 시료 위치별 라벨과 출력값을 결정하고, 변화가 발생한 시료 위치별 라벨과 출력값을 판독하여 판독된 결과값을 디스플레이시키거나, 사용자단말기로 전송하는데 있다.Therefore, the present invention has been proposed in view of the problems of the prior art as described above, and the first object of the present invention is a method for reading changes in shape using a deep learning model of multimedia information of an in vitro diagnostic kit photographed through a camera. Alternatively, one or more in vitro diagnostic methods of color change reading method are judged, and the label and output value for each sample position where the change has not occurred are determined using a deep learning model, and the label and output value for each sample position where the change has occurred are read. It is used to display the read result value or to transmit it to a user terminal.

본 발명이 해결하고자 하는 과제를 달성하기 위하여, 본 발명의 일실시예에 따른 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치는,In order to achieve the problem to be solved by the present invention, a portable in vitro diagnostic kit analysis apparatus using multimedia information according to an embodiment of the present invention,

카메라를 통해 촬영된 체외진단키트의 멀티미디어 정보를 획득할 경우에, 딥러닝 모델을 이용하여 형상에 대한 변화 판독 방식 혹은 색상에 대한 변화 판독 방식 중 어느 하나 이상의 체외진단 방식을 판단하기 위한 체외진단방식판단부(100)와,When acquiring multimedia information of an in vitro diagnostic kit photographed through a camera, an in vitro diagnostic method for determining any one or more in vitro diagnostic methods of a shape change reading method or a color change reading method using a deep learning model The judgment unit 100,

상기 멀티미디어 정보에서 1개 이상의 시료 위치를 인식하기 위한 시료위치인식부(200)와,A sample location recognition unit 200 for recognizing one or more sample locations from the multimedia information,

상기 인식된 시료 위치별 라벨을 부여하기 위한 라벨부여부(300)와,Labeling unit 300 for giving a label for each of the recognized sample locations,

상기 체외진단방식이 형상에 대한 변화 판독 방식일 경우에 딥러닝 모델을 이용하여 변화가 발생하지 않은 시료 위치별 라벨과 출력값을 결정하고, 변화가 발생한 시료 위치별 라벨과 출력값을 판독하기 위한 형상변화판독부(400)와,When the in vitro diagnostic method is a change reading method for a shape, a deep learning model is used to determine a label and an output value for each sample location where no change has occurred, and a shape change for reading a label and an output value for each sample location where the change has occurred. Reading unit 400,

상기 체외진단방식이 색상에 대한 변화 판독 방식일 경우에 딥러닝 모델을 이용하여 변화가 발생하지 않은 시료 위치별 라벨과 출력값을 결정하고, 변화가 발생한 시료 위치별 라벨과 출력값을 판독하기 위한 색상변화판독부(500)를 포함한다.When the in vitro diagnostic method is a change reading method for color, a deep learning model is used to determine the label and output value for each sample position where no change has occurred, and the color change for reading the label and output value for each sample position where the change has occurred. It includes a reading unit 500.

본 발명에 따른 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치는,Portable in vitro diagnostic kit analysis apparatus using multimedia information according to the present invention,

카메라를 통해 촬영된 체외진단키트의 멀티미디어 정보를 딥러닝 모델을 이용하여 형상에 대한 변화 판독 방식 혹은 색상에 대한 변화 판독 방식 중 어느 하나 이상의 체외진단 방식을 판단하고, 딥러닝 모델을 이용하여 변화가 발생하지 않은 시료 위치별 라벨과 출력값을 결정하고, 변화가 발생한 시료 위치별 라벨과 출력값을 판독하여 판독된 결과값을 디스플레이시키거나, 사용자단말기로 전송하여 언제 어디서든지 시간에 구애받지 않고 누구나 쉽게 체외진단키트의 결과를 확인할 수 있는 편리성을 제공하게 된다.Using the deep learning model, the multimedia information of the in vitro diagnostic kit photographed by the camera is used to determine any one or more in vitro diagnostic methods of the change reading method for the shape or the change reading method for the color, and the change can be performed using the deep learning model. Determining the label and output value for each sample location that does not occur, reading the label and output value for each sample location where the change occurred, and displaying the read result, or sending it to the user terminal, anytime, anywhere, regardless of time It provides convenience to check the results of the diagnostic kit.

또한, 체외진단키트의 진단 결과 판단을 딥러닝 모델을 이용함으로써, 새로운 이미지들을 재학습할 수 있기 때문에 체외진단키트의 판별 성능을 더욱 더 향상시키는 효과를 발휘하게 된다.In addition, by using a deep learning model to determine the diagnosis result of the in vitro diagnostic kit, new images can be re-learned, thereby exhibiting an effect of further improving the discriminative performance of the in vitro diagnostic kit.

즉, 사전에 인공지능 학습을 통해 학습시킨 후, 새로운 이미지들을 지속적으로 학습시켜 진단 정확성을 지속적으로 향상시키는 효과를 발휘한다.That is, after learning in advance through artificial intelligence learning, it continuously improves the accuracy of diagnosis by continuously learning new images.

도 1은 일반적인 면역 화학적 진단의 종류를 나타낸 도면.
도 2는 본 발명의 일실시예에 따른 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치의 구성도.
도 3은 본 발명의 일실시예에 따른 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치의 혈액 검사시, 위치 인식과 라벨링이 종료된 이미지 예시도.
도 4는 본 발명의 일실시예에 따른 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치의 소변 검사시, 위치 인식과 라벨링이 종료된 이미지 예시도.
도 5는 본 발명의 일실시예에 따른 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치의 혈액 검사시, 출력값과 시료 위치별 라벨값을 나타낸 결과표.
도 6은 본 발명의 일실시예에 따른 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치의 소변 검사시, 출력값과 시료 위치별 라벨값을 나타낸 결과표 예시도.
도 7은 본 발명의 일실시예에 따른 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치의 형상변화판독부(400)의 딥러닝 모델이 기초 학습을 진행할 경우에 참조하는 형상에 대한 변화 결과표 정보를 나타낸 예시도.
도 8은 본 발명의 일실시예에 따른 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치의 색상변화판독부(500)의 딥러닝 모델이 기초 학습을 진행할 경우에 추가되는 메타데이터를 나타낸 예시도.
도 9는 소변 검사에 사용되는 10종 키트의 결과 색상표 예시도.
도 10은 본 발명의 일실시예에 따른 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치의 색상변화판독부(500)의 딥러닝 모델이 기초 학습에 사용할 소변 검사 결과 및 지정값을 포함하고 있는 색상에 대한 변화 결과표 정보를 나타낸 예시도.
도 11은 본 발명의 일실시예에 따른 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치의 형상변화판독부(400)와 색상변화판독부(500)에서 사용되는 딥러닝모델이 기초 학습이 완료되는 유효성을 판단하기 위하여 사용하는 Confusion Matrix를 나타낸 예시도.
1 is a diagram showing a type of general immunochemical diagnosis.
2 is a block diagram of a portable in vitro diagnostic kit analysis apparatus using multimedia information according to an embodiment of the present invention.
FIG. 3 is an exemplary view of an image in which location recognition and labeling are completed when blood is tested in a portable in vitro diagnostic kit analysis apparatus using multimedia information according to an embodiment of the present invention.
FIG. 4 is an exemplary view of an image in which position recognition and labeling are finished when urine testing of a portable in vitro diagnostic kit analysis device using multimedia information according to an embodiment of the present invention.
Figure 5 is a result table showing the output value and the label value for each sample position, during the blood test of the portable in vitro diagnostic kit analysis apparatus using multimedia information according to an embodiment of the present invention.
Figure 6 is an exemplary table showing the output value and the label value for each sample position during urine testing of a portable in vitro diagnostic kit analysis device using multimedia information according to an embodiment of the present invention.
7 is a deep learning model of the shape change reading unit 400 of the portable in vitro diagnostic kit analysis apparatus using multimedia information according to an embodiment of the present invention shows the change result table information for the shape referred to when performing basic learning Illustrative diagram.
8 is an exemplary view showing metadata added when the deep learning model of the color change reading unit 500 of the portable in vitro diagnostic kit analysis apparatus using multimedia information according to an embodiment of the present invention performs basic learning.
Figure 9 is an exemplary color chart of the results of the 10 kits used for urine testing.
10 is a deep learning model of the color change reading unit 500 of the portable in vitro diagnostic kit analysis apparatus using multimedia information according to an embodiment of the present invention to the color containing the urine test results and designated values to be used for basic learning Illustrative diagram showing the result table for the change.
11 is a deep learning model used in the shape change reading unit 400 and the color changing reading unit 500 of the portable in vitro diagnostic kit analysis apparatus using multimedia information according to an embodiment of the present invention is effective in completing basic learning Illustrative diagram showing the Confusion Matrix used to judge.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. The following merely illustrates the principles of the present invention. Therefore, those skilled in the art, although not explicitly described or illustrated in the specification, can implement the principles of the present invention and invent various devices included in the concept and scope of the present invention.

또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.In addition, all conditional terms and examples listed in this specification are intended to be expressly intended only for the purpose of understanding the concept of the present invention in principle, and should be understood as not limited to the specifically listed examples and states. do.

본 발명의 일실시예에 따른 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치는,Portable in vitro diagnostic kit analysis apparatus using multimedia information according to an embodiment of the present invention,

카메라를 통해 촬영된 체외진단키트의 멀티미디어 정보를 획득할 경우에, 딥러닝 모델을 이용하여 멀티미디어 정보에 의한 체외진단키트가 형상에 대한 변화 판독 방식의 키트인지 혹은 색상에 대한 변화 판독 방식의 키트인지를 판단하는 체외진단방식판단부(100)와,In case of obtaining the multimedia information of the in vitro diagnostic kit photographed through the camera, whether the in vitro diagnostic kit using multimedia information is a kit for reading the change of shape or a kit for reading the color by using a deep learning model In-vitro diagnostic method determining unit 100 for determining,

상기 체외진단키트의 멀티미디어 정보에서 1개 이상의 시료 위치를 인식하여 체외진단키트상의 시료를 인식하는 시료위치인식부(200)와,A sample location recognition unit 200 for recognizing a sample on the in vitro diagnostic kit by recognizing at least one sample location in the multimedia information of the in vitro diagnostic kit,

상기 인식된 시료별로 라벨을 부여하기 위한 라벨부여부(300)와,Labeling unit 300 to give a label for each of the recognized samples,

상기 체외진단방식판단부(100)의 판단 결과, 형상에 대한 변화 판독 방식의 키트일 경우에 딥러닝 모델을 이용하여 형상 변화가 발생하지 않은 시료의 라벨과 출력값을 결정하고, 형상 변화가 발생한 시료의 라벨과 출력값을 결정하기 위한 형상변화판독부(400)와,As a result of the determination of the in-vitro diagnostic method judging unit 100, in the case of a kit for reading a change in shape, a deep learning model is used to determine the label and output value of a sample in which no shape change has occurred, and the sample in which the shape change has occurred Shape change reading unit 400 for determining the label and output value of the,

상기 체외진단방식판단부(100)의 판단 결과, 색상에 대한 변화 판독 방식의 키트일 경우에 딥러닝 모델을 이용하여 색상 변화가 발생하지 않은 시료의 라벨과 출력값을 결정하고, 색상 변화가 발생한 시료의 라벨과 출력값을 결정하기 위한 색상변화판독부(500)를 포함하여 구성되는 것을 특징으로 한다.As a result of the determination of the in-vitro diagnostic method judging unit 100, in the case of a kit for reading the color change, a label and output value of a sample in which no color change has occurred are determined using a deep learning model, and the sample in which the color change has occurred Characterized in that it comprises a color change reading unit 500 for determining the label and the output value of the.

또한, 상기 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치는,In addition, the portable in vitro diagnostic kit analysis device using the multimedia information,

형상변화판독부(400)와 색상변화판독부(500)를 통해 결정된 결과값을 디스플레이시키거나, 사용자단말기로 전송시키기 위한 판독결과출력처리부(600);를 더 포함하여 구성되는 것을 특징으로 한다.It is characterized in that it is configured to further include; a read result output processing unit 600 for displaying the result value determined through the shape change reading unit 400 and the color change reading unit 500 or transmitting it to a user terminal.

또한, 상기 형상변화판독부(400)와 색상변화판독부(500)에서 사용되는 딥러닝모델은, In addition, the deep learning model used in the shape change reading unit 400 and the color change reading unit 500,

미리 학습된 심층 신경망(CNN: Convolutional Neural Network) 알고리즘을 이용하는 것으로서, 심층 신경망(CNN: Convolutional Neural Network) 알고리즘은, 형상에 대한 변화 결과표 정보, 색상에 대한 변화 결과표 정보를 활용하여 기초 학습을 진행하되, 기초 학습이 완료되는 유효성을 판단하기 위하여 Confusion Matrix를 통해서 민감도, 특이도를 측정하여 유효성을 판단하는 것을 특징으로 한다.The pre-trained deep neural network (CNN) algorithm is used, and the deep neural network (CNN) algorithm performs basic learning using the change result table information for the shape and the change result table information for the color. It is characterized by determining the effectiveness by measuring the sensitivity and specificity through the Confusion Matrix to determine the effectiveness of completing the basic learning.

또한, 상기 판독결과출력처리부(600)는,In addition, the read result output processing unit 600,

체외진단키트의 멀티미디어 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 형상변화판독부(400)와 색상변화판독부(500)를 통해 결정된 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기(2000)로 전송하는 것을 특징으로 한다.Labeling the multimedia information of the in vitro diagnostic kit and storing it in the user labeling information storage module, and the result values determined through the shape change reading unit 400 and the color change reading unit 500 are stored in the corresponding user labeling information storage module. It is characterized by transmitting to the corresponding user terminal 2000 with reference to the labeling information.

또한, 상기 체외진단방식판단부(100)는,In addition, the in-vitro diagnostic method determining unit 100,

체외진단키트의 멀티미디어 정보를 획득하기 위하여 카메라와 연결되어 직접적인 입력 영상을 수신하거나, 무선 네트워크 또는 인터넷 네트워크로부터 수신받아 입력 가능한 장치인 것을 특징으로 한다.In order to obtain the multimedia information of the in vitro diagnostic kit, it is characterized in that it is a device that can be input by receiving a direct input image connected to a camera or receiving it from a wireless network or an Internet network.

또한, 상기 형상변화판독부(400)는,In addition, the shape change reading unit 400,

형상 변화가 발생한 시료의 출력값은 사전에 딥러닝모델을 이용하여 학습한 학습 결과값인 것을 특징으로 한다.It is characterized in that the output value of the sample in which the shape change has occurred is a learning result value previously learned using a deep learning model.

또한, 상기 색상변화판독부(500)는,In addition, the color change reading unit 500,

색상 변화가 발생한 시료의 출력값은 사전에 딥러닝모델을 이용하여 학습한 학습 결과값인 것을 특징으로 한다.The output value of the sample in which the color change has occurred is characterized in that it is a learning result value previously learned using a deep learning model.

이하, 본 발명에 의한 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치의 실시예를 통해 상세히 설명하도록 한다.Hereinafter, an embodiment of the portable in vitro diagnostic kit analysis apparatus using multimedia information according to the present invention will be described in detail.

도 2는 본 발명의 일실시예에 따른 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치의 구성도이다.2 is a configuration diagram of a portable in vitro diagnostic kit analysis apparatus using multimedia information according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 본 발명인 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치는 체외진단방식판단부(100), 시료위치인식부(200), 라벨부여부(300), 형상변화판독부(400), 색상변화판독부(500)를 포함하여 구성하게 된다.As shown in Figure 2, the present invention is a portable in vitro diagnostic kit analysis device using the multimedia information in vitro diagnostic method determination unit 100, the sample position recognition unit 200, labeling unit 300, shape change reading unit ( 400), including the color change reading unit 500.

상기와 같이, 구성하게 되면 본 발명의 해석장치는 딥러닝 모델을 이용하여 종래의 일반적인 방식인 비색표를 통해 육안으로 확인할 필요없이, 비색표없이 체외진단키트만으로도 해석이 가능한 장점을 제공하게 된다.When configured as described above, the analysis apparatus of the present invention provides the advantage of being able to analyze only the in vitro diagnostic kit without a colorimetric chart without needing to visually check it through a colorimetric table, which is a conventional method using a deep learning model.

예를 들어, 소변 검사지라는 체외진단키트만으로도 현재 건강 상태를 쉽게 확인할 수 있게 되는 것이다.For example, an in vitro diagnostic kit called a urine test strip makes it easy to check the current health status.

구체적으로 설명하면, 상기 체외진단방식판단부(100)는 카메라를 통해 촬영된 체외진단키트의 멀티미디어 정보를 획득할 경우에, 딥러닝 모델을 이용하여 멀티미디어 정보에 의한 체외진단키트가 형상에 대한 변화 판독 방식의 키트인지 혹은 색상에 대한 변화 판독 방식의 키트인지를 판단하는 기능을 수행하게 된다.Specifically, when the in vitro diagnostic method determining unit 100 acquires multimedia information of an in vitro diagnostic kit photographed through a camera, the in vitro diagnostic kit using multimedia information is changed in shape using a deep learning model. It performs a function of determining whether it is a kit of a reading method or a kit of a reading method of changes in color.

상기한 딥러닝 모델은 미리 학습된 심층 신경망(CNN: Convolutional Neural Network) 알고리즘을 이용하는 것으로서, 심층 신경망(CNN: Convolutional Neural Network) 알고리즘은, 멀티미디어 이미지에서 주요 특징을 추출하여 특징 맵을 만들고, 만들어진 특징 맵에 가중치를 부여하여 이미지를 판단하는 신경망 알고리즘이다. The deep learning model described above uses a pre-trained Convolutional Neural Network (CNN) algorithm, and the Convolutional Neural Network (CNN) algorithm extracts key features from a multimedia image, creates a feature map, and creates the features. It is a neural network algorithm that judges an image by weighting the map.

따라서, 형상에 대한 변화 판독 방식 혹은 색상에 대한 변화 판독 방식 중 어느 하나 이상의 체외진단 방식을 판단하는 딥러닝 모델은 체외진단키트들의 이미지로 학습하는 것이다.Accordingly, a deep learning model that determines one or more in vitro diagnostic methods of a change reading method for a shape or a change reading method for a color is to learn with images of in vitro diagnostic kits.

예를 들어, 체외진단키트의 생김새에 따라 형상 변화를 하는 체외진단키트인지, 색상 변화를 하는 체외진단키트인지를 학습시켜서 입력되는 멀티미디어 영상에 따라서 딥러닝 모델이 형상에 대한 변화 판독 방식 혹은 색상에 대한 변화 판독 방식 중 어느 하나 이상의 체외진단 방식을 판단하게 된다.For example, by learning whether the in vitro diagnostic kit changes shape according to the appearance of the in vitro diagnostic kit or the in vitro diagnostic kit that changes color, the deep learning model reads the change in shape or color of the shape according to the input multimedia image. Any one or more of the in vitro diagnostic methods of the change reading method is determined.

형상 변화의 체외진단키트는 예를 들어, 임신 테스트 키트, 혈액 검삭 키트 등을 의미하며, 색상 변화의 체외진단키트는 예를 들어, 소변 검사 키트 등을 의미한다.The in vitro diagnostic kit of shape change means, for example, a pregnancy test kit, a blood test kit, etc., and the in vitro diagnostic kit of color change means, for example, a urine test kit.

그리고, 상기 시료위치인식부(200)는 상기 체외진단키트의 멀티미디어 정보에서 1개 이상의 시료 위치를 인식하여 체외진단키트상의 시료를 인식하는 기능을 수행하게 된다.In addition, the sample location recognition unit 200 performs a function of recognizing a sample on the in vitro diagnostic kit by recognizing one or more sample locations in the multimedia information of the in vitro diagnostic kit.

예를 들어, 소변 검사 키트의 경우, 10개 정도의 시료가 형성되어 있게 되는데, 각각의 시료 위치를 인식하는 과정이 필요하며, 시료가 있는 위치 이외에는 형상 혹은 색상을 비교하기에 불필요한 부분이기 때문에 제외시키기 위한 것이다.For example, in the case of a urine test kit, about 10 samples are formed, but it is necessary to recognize the position of each sample, and it is excluded because it is an unnecessary part to compare shape or color except where the sample is located. It is to let.

그리고, 상기 라벨부여부(300)는 상기 인식된 시료의 위치별로 라벨을 부여하기 위한 기능을 수행하게 된다.Then, the labeling unit 300 performs a function for assigning a label for each location of the recognized sample.

예를 들어, 도 3에 도시한 바와 같이, 실제 혈액형 검사 이미지를 촬영하게 되면 해당 영상에 대하여 필요한 이미지 부분에 대하여 위치를 인식하고, 인식된 위치에 대하여 시료별 번호(라벨링)를 부여하게 된다.For example, as illustrated in FIG. 3, when an actual blood type test image is photographed, a location for a portion of an image required for a corresponding image is recognized, and a number (labeling) for each sample is assigned to the recognized location.

예시에서는 Anti-A 시료 위치는 ① 번호, Anti-B 시료 위치는 ② 번호, Anti-D 시료 위치는 ③ 번호, control 시료 위치는 ④ 번호를 부여하게 된다.In the example, the Anti-A sample location is assigned the number ①, the Anti-B sample location is the ② number, the Anti-D sample location is the ③ number, and the control sample location is assigned the ④ number.

다른 예로서, 도 4에 도시한 바와 같이, 실제 소변 검사 이미지를 촬영하게 되면 해당 영상에 대하여 필요한 이미지 부분에 대하여 위치를 인식하고, 인식된 위치에 대하여 시료별 번호를 부여하게 되는데, 1번 시료 위치는 ① 번호, 2번 시료 위치는 ② 번호,..., 10번 시료 위치는 ⑩ 번호를 부여하게 된다.As another example, as illustrated in FIG. 4, when an actual urine test image is photographed, a location for a portion of an image required for a corresponding image is recognized, and a number for each sample is assigned to the recognized location. The location is given ① number, the 2nd sample position is ②, and the 10th sample position is assigned a ⑩ number.

그리고, 상기 형상변화판독부(400)는 상기 체외진단방식판단부(100)의 판단 결과, 형상에 대한 변화 판독 방식의 키트일 경우에 딥러닝 모델을 이용하여 형상 변화가 발생하지 않은 시료의 라벨과 출력값을 결정하고, 형상 변화가 발생한 시료의 라벨과 출력값을 결정하는 기능을 수행하게 된다.In addition, the shape change reading unit 400 is a label of a sample in which shape change has not occurred using a deep learning model in the case of a kit of a change reading method for shape as a result of the determination of the in vitro diagnostic method determination unit 100. And it determines the output value and performs the function of determining the label and output value of the sample where the shape change occurred.

예를 들어, 형상에 대한 변화 판독 방식은 혈액, 체액 등이 시료와 만나 응집현상이 일어날 경우를 확인하는 검출로서 딥 러닝 모델을 통해서 응집이 일어났을 경우와 일어나지 않았을 경우를 판단해서 결과를 출력한다. For example, the change reading method for the shape is a detection that checks when agglutination occurs when blood, body fluids, etc. meet with a sample, and outputs a result by determining whether or not agglutination occurred through a deep learning model. .

이때, 딥러닝 모델은 응고가 발생한 이미지와 발생하지 않는 이미지를 클래스로 설정하여 학습을 진행하게 되며, 현재 입력되는 이미지와 비교하여 결과를 출력한다.At this time, the deep learning model sets the image with and without coagulation as a class to learn, and compares it with the currently input image and outputs the result.

즉, 각각의 시료별 위치 이미지를 딥러닝 모델에 입력하면 각 위치에 대해서 형상이 변화했을 경우에는 '1', 아닐 경우 '0'으로 결정 하도록 한다. That is, if a location image for each sample is input to a deep learning model, it is determined to be '1' when the shape is changed for each location, and '0' if not.

출력값과 시료 위치별 라벨값은 도 5와 같으며, 혈액형 결과표 정보와 비교하여 최종 결과를 출력하는데, 도 5의 경우에는 'RH+ O' 라는 것을 확인할 수 있다.The output value and the label value for each sample position are as shown in FIG. 5, and the final result is output by comparing with the blood type result table information. In the case of FIG. 5, it can be confirmed that it is 'RH + O'.

그리고, 상기 색상변화판독부(500)는 상기 체외진단방식판단부(100)의 판단 결과, 색상에 대한 변화 판독 방식의 키트일 경우에 딥러닝 모델을 이용하여 색상 변화가 발생하지 않은 시료의 라벨과 출력값을 결정하고, 색상 변화가 발생한 시료의 라벨과 출력값을 결정하는 기능을 수행하게 된다.Further, the color change reading unit 500 is a label of a sample in which no color change has occurred using a deep learning model in the case of a kit of a change reading method for color, as a result of the determination of the in vitro diagnostic method determination unit 100 And it determines the output value and performs the function of determining the label and output value of the sample where the color change occurred.

이때, 딥러닝 모델은 색상 변화가가 발생한 이미지와 발생하지 않는 이미지를 클래스로 설정하여 학습을 진행하게 되며, 현재 입력되는 이미지와 비교하여 결과를 출력한다.At this time, the deep learning model sets the image with and without color change as a class to learn, and outputs the result in comparison with the currently input image.

출력값과 시료 위치별 라벨값은 도 6과 같으며, 소변 검사 결과표 정보와 비교하여 최종 결과를 출력하는 것이다.The output value and the label value for each sample position are as shown in FIG. 6, and the final result is output by comparing with the urine test result table information.

또한, 상기 형상변화판독부(400)와 색상변화판독부(500)에서 사용되는 딥러닝모델은, In addition, the deep learning model used in the shape change reading unit 400 and the color change reading unit 500,

미리 학습된 심층 신경망(CNN: Convolutional Neural Network) 알고리즘을 이용하는 것으로서, 심층 신경망(CNN: Convolutional Neural Network) 알고리즘은, 형상에 대한 변화 결과표 정보, 색상에 대한 변화 결과표 정보를 활용하여 기초 학습을 진행하게 된다.As the pre-trained deep neural network (CNN) algorithm is used, the deep neural network (CNN) algorithm uses the change result table information for shape and the change result table information for color to perform basic learning. do.

상기 형상변화판독부(400)의 딥러닝 모델은 최초 체외진단키트의 형상의 변화가 생기는 이미지들로 학습을 진행한다. The deep learning model of the shape change reading unit 400 progresses learning with images in which the shape of the first in vitro diagnostic kit is changed.

입력되는 이미지에 대해서 최초의 체외진단키트 이미지와 다른 변화가 나타나면 이에 맞는 결과를 출력한다.If a different change from the first in vitro diagnostic kit image appears for the input image, the correct result is output.

예를 들어, 혈액형의 경우, 혈액을 체외진단키트에 넣으면 키트와 반응하여 응집 현상이 일어난다. For example, in the case of a blood type, when blood is placed in an in vitro diagnostic kit, agglutination occurs by reacting with the kit.

각 시료에 따라 응집현상이 나타나는 것을 확인하고 혈액을 확인할 수 있다.It is possible to confirm the appearance of agglutination according to each sample and to check the blood.

ANTI-A와 ANTI-B는 A형과 B형에 대해서 반응이 일어나며, O형은 아무런 반응이 일어나지 않는다. ANTI-A and ANTI-B react to type A and B, and type O does not.

ANTI-D는 RH혈액형에 관련된 시료로서 응집 반응이 일어나면 RH+, 일어나지 않으면 RH-이다. ANTI-D is a sample related to the RH blood type and is RH + when an aggregation reaction occurs, and RH- if not.

CONTROL 시료는 혈액에 다른 이상이 없는지 확인하는 시료로서 이 시료가 응집하면 혈액형을 확인할 수 없다.The CONTROL sample is a sample that confirms that there are no other abnormalities in the blood. When this sample aggregates, the blood type cannot be confirmed.

이때, 형상변화판독부(400)의 딥러닝 모델은 도 7과 같은 형상에 대한 변화 결과표 정보를 이용하여 기초 학습을 진행하게 되는 것이다.At this time, the deep learning model of the shape change reading unit 400 performs basic learning using the change result table information for the shape as shown in FIG. 7.

상기 색상변화판독부(500)의 딥러닝 모델은 체외진단 키트의 결과 색상표들의 색상으로 학습을 진행한다. The deep learning model of the color change reading unit 500 performs learning with the colors of the color tables resulting from the in vitro diagnostic kit.

입력되는 이미지의 색상을 확인하고 학습한 색상과 비교하여 결과를 출력한다. It checks the color of the input image and compares it with the learned color and outputs the result.

예를 들어, 상기 색상변화판독부(500)의 딥러닝 모델은 체액, 소변 등이 시료와 만나 효소면역 반응이 일어나서 색상이 변화하는 것을 확인하고 색상에 대한 변화 결과표 정보의 색상과 비교하여 가장 유사한 값을 판단해서 결과를 출력한다.For example, the deep learning model of the color change reading unit 500 is the most similar by comparing the body fluid, urine, etc. with the sample and confirming that the color changes due to the enzymatic immune reaction and comparing the color with the color change result table information. The value is judged and the result is output.

이때, 부가적인 양태에 따라, 상기 색상변화판독부(500)의 딥러닝 모델은 도 8과 같은 메타데이터를 추가하여 학습을 진행한다. At this time, according to an additional aspect, the deep learning model of the color change reading unit 500 performs learning by adding metadata as shown in FIG. 8.

메타데이터는 도 8에 도시한 바와 같이, 라벨값, 위치, 값(RGB) 형태로 저장하며, 이미지에 대한 색상과 위치 데이터이다. As illustrated in FIG. 8, metadata is stored in a label value, location, and value (RGB) format, and is color and location data for an image.

학습을 통해서 입력된 이미지의 색상 값을 검출하여 상위 5개의 1차 결과데이터를 출력하며, 출력된 값들 중에 위치까지 일치하는 데이터를 2차 결과데이터로 선택하고, 최종결과는 색상표의 값과 2차 결과데이터를 비교하여 해당 병명에 맞는 등급을 최종 결과로 출력한다.By detecting the color value of the input image through learning, it outputs the top 5 primary result data, selects the data that matches the position from the output values as the secondary result data, and the final result is the color table value and the secondary The result data is compared and the grade suitable for the disease name is output as the final result.

상기와 같이, 색상에 대한 변화 결과표 정보를 활용하여 기초 학습을 진행한다.As described above, basic learning is performed by using the change result table information for color.

소변 검사의 체외진단 결과는 색상의 변화가 일어나며, 10종 키트의 결과 색상표는 도 9와 같다.The in vitro diagnostic results of the urine test result in a change in color, and the color table of the 10-piece kit is shown in FIG. 9.

일반적으로 소변 검사 스틱에 소변을 묻히고 나타나는 색상을 도 9의 결과 색상표와 비교하여 자신의 상태를 육안으로 확인할 수 있다. In general, the color of the urine test stick on the urine test stick can be compared with the resulting color table in FIG. 9 to visually confirm one's condition.

소변 검사로 확인할 수 있는 종류는 모두 10가지로 백혈구, 잠혈, 아질산염, 단백질, 산도, 비중, 케톤체, 빌리루빈, 포도당, 우르빌리노겐이다. There are 10 types of urine tests that can be identified: leukocytes, occult blood, nitrite, protein, acidity, specific gravity, ketone body, bilirubin, glucose, and urbilinogen.

각 시료에 따라 변하는 색상이 다르며 이를 확인하여 자신의 몸 상태를 확인할 수 있다.The color varies according to each sample, and you can check your condition by checking it.

그러나, 본 발명에서는 색상변화판독부(500)의 딥러닝 모델은 상기 색상에 대한 변화 결과표 정보를 활용하여 기초 학습한 후, 현재 입력된 영상 이미지와 가장 유사한 색상을 판단하여 결과값을 출력하는 것이다.However, in the present invention, the deep learning model of the color change reading unit 500 is basic learning by using the change result table information for the color, and then judges the color most similar to the currently input video image and outputs the result value. .

특히, 본 발명의 색상변화판독부(500)의 딥러닝 모델은 도 10에 도시한 바와 같이, 소변 검사 결과 및 지정값을 포함하고 있는 색상에 대한 변화 결과표 정보를 참조하여 기초 학습한 후, 현재 입력된 영상 이미지와 가장 유사한 색상을 판단하여 결과값을 도 6과 같이, 시료 위치별 라벨, 시료 위치별 지정값을 출력하는 것이다.Particularly, as shown in FIG. 10, the deep learning model of the color change reading unit 500 of the present invention is based on the result of urine test and the color change result table information, and after the basic learning, current The color that is most similar to the input video image is judged, and the result value is output as a label for each sample position and a designated value for each sample position as shown in FIG. 6.

도 10의 예시와 같이, ① 라벨은 'LN',..., ⑩ 라벨은 'G100' 이라는 정보를 출력하는 것이다.As in the example of FIG. 10, ① label is 'LN', ..., ⑩ label is to output information of 'G100'.

또한, 필요에 따라, 출력된 값을 확인해서 어느 부분에 이상이 있는지 사용자에게 출력한다. Also, if necessary, the output value is checked and the user is informed of which part is abnormal.

한편, 형상변화판독부(400)와 색상변화판독부(500)에서 사용되는 딥러닝모델은, On the other hand, the deep learning model used in the shape change reading unit 400 and the color change reading unit 500,

기초 학습이 완료되는 유효성을 판단하기 위하여 Confusion Matrix를 통해서 민감도, 특이도를 측정하여 유효성을 판단하는 것을 특징으로 한다.In order to determine the effectiveness of basic learning, it is characterized by determining the effectiveness by measuring sensitivity and specificity through the Confusion Matrix.

구체적으로 설명하면, 도 11에 도시한 바와 같이, 기초 학습이 완료되는 유효성을 판단하기 위해서 Confusion Matrix를 통해서 민감도, 특이도를 측정하여 유효성을 판단하되, 오차를 줄이기 위하여 지속적인 이미지들이 필요하며 반복적으로 재학습이 필요하다. Specifically, as illustrated in FIG. 11, in order to determine the effectiveness of basic learning, the sensitivity and specificity are measured through the Confusion Matrix to determine the effectiveness, but continuous images are required to reduce errors and repeatedly Re-learning is required.

최종 결과표에 출력되는 이미지들에 대한 값과 색상에 대해서 재학습을 하기위해서 메타데이터로 변화시켜서 재학습을 진행한다. In order to re-learn the values and colors for the images displayed in the final result table, it is converted into metadata to re-learn.

민감도란, 질병이 실제로 있는데 검사 결과에서도 질병이 있다고 판단하는 비율을 의미하고, 특이도는 질병이 실제로 없는데 검사 결과에서도 질병이 없다고 판단하는 비율을 의미한다. Sensitivity refers to the rate at which the test actually determines that there is a disease, and the specificity refers to the rate at which the test actually determines that there is no disease.

민감도와 특이도는 체외진단 키트를 개발할 때 필수로 제시하는 기준이며, 값이 높을수록 유효성이 높다는 기준이다.Sensitivity and specificity are essential criteria when developing an in vitro diagnostic kit, and the higher the value, the higher the effectiveness.

민감도는 하기의 수식 1을 참조하여 측정하게 된다.The sensitivity is measured with reference to Equation 1 below.

Figure 112019079955504-pat00001
(수식1)
Figure 112019079955504-pat00001
(Equation 1)

특이도는 하기의 수식 2를 참조하여 측정하게 된다.The specificity is measured with reference to Equation 2 below.

Figure 112019079955504-pat00002
(수식2)
Figure 112019079955504-pat00002
(Equation 2)

상기 A,B,C,D는 도 11에 도시한 알파벳을 의미하며, 예를 들어, A의 경우에는 검사 -양성, 확진 -양성을 의미하며, B의 경우에는 검사 -양성, 확진 -음성을 의미한다.The A, B, C, D means the alphabet shown in Fig. 11, for example, in the case of A, it means test -positive, confirmed -positive, and in the case of B, test -positive, confirmed -negative it means.

한편, 부가적인 양태에 따라, 본 발명인 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치는,On the other hand, according to an additional aspect, the present invention is a portable in vitro diagnostic kit analysis apparatus using multimedia information,

형상변화판독부(400)와 색상변화판독부(500)를 통해 결정된 결과값을 디스플레이시키거나, 사용자단말기로 전송시키기 위한 판독결과출력처리부(600);를 더 포함하여 구성되는 것을 특징으로 한다.It is characterized in that it is configured to further include; a read result output processing unit 600 for displaying the result value determined through the shape change reading unit 400 and the color change reading unit 500 or transmitting it to a user terminal.

즉, 판독결과출력처리부(600)는 형상변화판독부(400)와 색상변화판독부(500)를 통해 결정된 결과값을 디스플레이시키거나, 사용자단말기로 전송하게 되는데, 예를 들어, 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치가 디스플레이패널을 구성한다면 판독된 결과값을 디스플레이시키게 되는 것이며, 만약 존재하지 않으면 유무선 네트워크를 이용하여 사용자단말기로 전송하는 것을 의미하는 것이다.That is, the read result output processing unit 600 displays the result value determined through the shape change reading unit 400 and the color change reading unit 500 or transmits the result value to a user terminal, for example, using multimedia information. If the portable in vitro diagnostic kit analysis device constitutes a display panel, it displays the read result, and if it does not exist, it means that it is transmitted to the user terminal using a wired or wireless network.

한편, 상기 판독결과출력처리부(600)는,On the other hand, the read result output processing unit 600,

카메라를 통해 멀티미디어 정보를 촬영하게 되면 획득된 체외진단키트의 멀티미디어 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하게 된다.When the multimedia information is photographed through the camera, the obtained in vitro diagnostic kit is labeled with the multimedia information and stored in the user labeling information storage module.

이후, 형상변화판독부(400)와 색상변화판독부(500)를 통해 결정된 결과값을 상기 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하는 것이다.Thereafter, the result value determined through the shape change reading unit 400 and the color changing reading unit 500 is transmitted to the corresponding user terminal by referring to the labeling information stored in the user labeling information storage module.

즉, 본 발명의 장치 이외에 외부 단말기이 사용자단말기로 사용자의 진단 결과값을 송출하기 위하여 사전에 라벨링을 부여하고, 부여된 라벨링 정보에 토대로상기 판독된 결과값을 해당 사용자단말기로 전송 처리하는 것이다.That is, in order to transmit the diagnostic result value of the user to the user terminal in addition to the device of the present invention, labeling is previously provided, and the read result value is transmitted to the corresponding user terminal based on the given labeling information.

한편, 부가적인 양태에 따라, 상기 체외진단방식판단부(100)는,On the other hand, according to an additional aspect, the in vitro diagnostic method determining unit 100,

체외진단키트의 멀티미디어 정보를 획득하기 위하여 카메라와 연결되어 직접적인 입력 영상을 수신하거나, 무선 네트워크 또는 인터넷 네트워크로부터 수신받아 입력 가능한 장치인 것을 특징으로 한다.In order to obtain the multimedia information of the in vitro diagnostic kit, it is characterized in that it is a device that can be input by receiving a direct input image connected to a camera or receiving from a wireless network or an Internet network.

즉, 카메라와 연동시켜 카메라를 통해 직접적인 입력 영상을 수신할 수 있으며, 무선 네트워크 또는 인터넷 네트워크를 이용하여 각종 영상 이미지를 획득할 수 있게 된다.That is, it is possible to receive a direct input image through a camera in conjunction with a camera, and acquire various image images using a wireless network or an Internet network.

본 발명에 의하면, 카메라를 통해 촬영된 체외진단키트의 멀티미디어 정보를 딥러닝 모델을 이용하여 형상에 대한 변화 판독 방식 혹은 색상에 대한 변화 판독 방식 중 어느 하나 이상의 체외진단 방식을 판단하고, 딥러닝 모델을 이용하여 변화가 발생하지 않은 시료 위치별 라벨과 출력값을 결정하고, 변화가 발생한 시료 위치별 라벨과 출력값을 판독하여 판독된 결과값을 디스플레이시키거나, 사용자단말기로 전송하여 언제 어디서든지 시간에 구애받지 않고 누구나 쉽게 체외진단키트의 결과를 확인할 수 있는 편리성을 제공하게 된다.According to the present invention, by using a deep learning model of the multimedia information of the in vitro diagnostic kit photographed by the camera, one or more in vitro diagnostic methods of a change reading method for a shape or a change reading method for a color are determined, and a deep learning model Use to determine the label and output value for each sample position where the change has not occurred, and read the label and output value for each sample position where the change has occurred to display the read result, or send it to the user terminal, regardless of time at any time It provides convenience for anyone to easily check the results of the in vitro diagnostic kit.

또한, 체외진단키트의 진단 결과 판단을 딥러닝 모델을 이용함으로써, 새로운 이미지들을 재학습할 수 있기 때문에 체외진단키트의 판별 성능을 더욱 더 향상시키는 효과를 발휘하게 된다.In addition, by using a deep learning model to determine the diagnosis result of the in vitro diagnostic kit, new images can be re-learned, thereby exhibiting an effect of further improving the discriminative performance of the in vitro diagnostic kit.

즉, 사전에 인공지능 학습을 통해 학습시킨 후, 새로운 이미지들을 지속적으로 학습시켜 진단 정확성을 지속적으로 향상시키는 효과를 발휘한다.That is, after learning in advance through artificial intelligence learning, it continuously improves the accuracy of diagnosis by continuously learning new images.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention pertains without departing from the gist of the present invention claimed in the claims. In addition, various modifications can be implemented by a person having ordinary knowledge in the course, and these modifications should not be individually understood from the technical idea or prospect of the present invention.

100 : 체외진단방식판단부
200 : 시료위치인식부
300 : 라벨부여부
400 : 형상변화판독부
500 : 색상변화판독부
600 : 판독결과출력처리부
100: in vitro diagnostic method judgment unit
200: sample location recognition unit
300: Labeling
400: shape change reading unit
500: color change reading unit
600: read result output processing unit

Claims (7)

멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치에 있어서,
카메라를 통해 촬영된 체외진단키트의 멀티미디어 정보를 획득할 경우에, 딥러닝 모델을 이용하여 멀티미디어 정보에 의한 체외진단키트가 형상에 대한 변화 판독 방식의 키트인지 혹은 색상에 대한 변화 판독 방식의 키트인지를 판단하는 체외진단방식판단부(100)와,
상기 체외진단키트의 멀티미디어 정보에서 1개 이상의 시료 위치를 인식하여 체외진단키트상의 시료를 인식하는 시료위치인식부(200)와,
상기 인식된 시료의 위치별로 숫자를 이용한 라벨을 부여하기 위한 라벨부여부(300)와,
상기 체외진단방식판단부(100)의 판단 결과, 형상에 대한 변화 판독 방식의 키트일 경우에 딥러닝 모델을 이용하여 형상 변화가 발생하지 않은 시료의 라벨과 출력값을 결정하고, 형상 변화가 발생한 시료의 라벨과 출력값을 결정하기 위한 형상변화판독부(400)와,
상기 체외진단방식판단부(100)의 판단 결과, 색상에 대한 변화 판독 방식의 키트일 경우에 딥러닝 모델을 이용하여 색상 변화가 발생하지 않은 시료의 라벨과 출력값을 결정하고, 색상 변화가 발생한 시료의 라벨과 출력값을 결정하기 위한 색상변화판독부(500)와;
형상변화판독부(400)와 색상변화판독부(500)를 통해 결정된 결과값을 디스플레이시키거나, 사용자단말기로 전송시키기 위한 판독결과출력처리부(600);를 포함하여 구성되는 것을 특징으로 하는 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치
In a portable in vitro diagnostic kit analysis device using multimedia information,
In case of obtaining the multimedia information of the in vitro diagnostic kit photographed through the camera, whether the in vitro diagnostic kit using multimedia information is a kit for reading the change of shape or a kit for reading the color by using a deep learning model In-vitro diagnostic method determining unit 100 for determining,
A sample location recognition unit 200 for recognizing a sample on the in vitro diagnostic kit by recognizing at least one sample location in the multimedia information of the in vitro diagnostic kit;
Labeling unit 300 for giving a label using a number for each location of the recognized sample,
As a result of the determination of the in-vitro diagnostic method judging unit 100, in the case of a kit for reading a change in shape, a deep learning model is used to determine the label and output value of a sample in which no shape change has occurred, and the sample in which the shape change has occurred Shape change reading unit 400 for determining the label and output value of the,
As a result of the determination of the in-vitro diagnostic method judging unit 100, in the case of a kit for reading the color change, a label and output value of a sample in which no color change has occurred are determined using a deep learning model, and the sample in which the color change has occurred A color change reading unit 500 for determining the label and output value of the;
Multimedia information, characterized in that it comprises a; read result output processing unit 600 for displaying or transmitting the result value determined through the shape change reading unit 400 and the color change reading unit 500 to the user terminal Portable in vitro diagnostic kit analysis device
삭제delete 제 1항에 있어서,
상기 형상변화판독부(400)와 색상변화판독부(500)에서 사용되는 딥러닝모델은,
미리 학습된 심층 신경망(CNN: Convolutional Neural Network) 알고리즘을 이용하는 것으로서, 심층 신경망(CNN: Convolutional Neural Network) 알고리즘은, 형상에 대한 변화 결과표 정보, 색상에 대한 변화 결과표 정보를 활용하여 기초 학습을 진행하되, 기초 학습이 완료되는 유효성을 판단하기 위하여 Confusion Matrix를 통해서 민감도, 특이도를 측정하여 유효성을 판단하는 것을 특징으로 하는 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치.
According to claim 1,
The deep learning model used in the shape change reading unit 400 and the color change reading unit 500,
The pre-trained deep neural network (CNN) algorithm is used, and the deep neural network (CNN) algorithm performs basic learning using the change result table information for the shape and the change result table information for the color. , A portable in vitro diagnostic kit analysis device using multimedia information characterized by determining the effectiveness by measuring the sensitivity and specificity through the Confusion Matrix to determine the effectiveness of completing basic learning.
제 1항에 있어서,
상기 판독결과출력처리부(600)는,
체외진단키트의 멀티미디어 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 형상변화판독부(400)와 색상변화판독부(500)를 통해 결정된 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기(2000)로 전송하는 것을 특징으로 하는 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치.
According to claim 1,
The read result output processing unit 600,
Labeling the multimedia information of the in vitro diagnostic kit and storing it in the user labeling information storage module, and the result values determined through the shape change reading unit 400 and the color change reading unit 500 are stored in the corresponding user labeling information storage module. A portable in vitro diagnostic kit analysis device using multimedia information, characterized in that it is transmitted to the corresponding user terminal (2000) with reference to the labeling information.
제 1항에 있어서,
체외진단방식판단부(100)는,
체외진단키트의 멀티미디어 정보를 획득하기 위하여 카메라와 연결되어 직접적인 입력 영상을 수신하거나, 무선 네트워크 또는 인터넷 네트워크로부터 수신받아 입력 가능한 장치인 것을 특징으로 하는 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치.
According to claim 1,
In vitro diagnostic method judgment unit 100,
A portable in vitro diagnostic kit analysis device using multimedia information characterized in that it is a device capable of receiving a direct input image connected to a camera or receiving it from a wireless network or an Internet network to obtain multimedia information of the in vitro diagnostic kit.
제 1항에 있어서,
상기 형상변화판독부(400)가 결정한 형상 변화가 발생한 시료의 출력값은 사전에 딥러닝모델을 이용하여 학습한 학습 결과값인 것을 특징으로 하는 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치.
According to claim 1,
A portable in vitro diagnostic kit analysis apparatus using multimedia information, characterized in that the output value of a sample having a shape change determined by the shape change reading unit 400 is a learning result value previously learned using a deep learning model.
제 1항에 있어서,
상기 색상변화판독부(500)가 결정한 색상 변화가 발생한 시료의 출력값은 사전에 딥러닝모델을 이용하여 학습한 학습 결과값인 것을 특징으로 하는 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치.
According to claim 1,
A portable in vitro diagnostic kit analysis apparatus using multimedia information, characterized in that the output value of the sample having the color change determined by the color change reading unit 500 is a learning result value previously learned using a deep learning model.
KR1020190094873A 2019-08-05 2019-08-05 Portable In Vitro Diagnostic Kit Analyzer Using Multimedia Information KR102091832B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190094873A KR102091832B1 (en) 2019-08-05 2019-08-05 Portable In Vitro Diagnostic Kit Analyzer Using Multimedia Information
PCT/KR2020/010329 WO2021025458A1 (en) 2019-08-05 2020-08-05 Device for analyzing mobile in-vitro diagnostic kit by using multimedia information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190094873A KR102091832B1 (en) 2019-08-05 2019-08-05 Portable In Vitro Diagnostic Kit Analyzer Using Multimedia Information

Publications (1)

Publication Number Publication Date
KR102091832B1 true KR102091832B1 (en) 2020-03-20

Family

ID=69958137

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190094873A KR102091832B1 (en) 2019-08-05 2019-08-05 Portable In Vitro Diagnostic Kit Analyzer Using Multimedia Information

Country Status (2)

Country Link
KR (1) KR102091832B1 (en)
WO (1) WO2021025458A1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021025458A1 (en) * 2019-08-05 2021-02-11 주식회사 에프앤디파트너스 Device for analyzing mobile in-vitro diagnostic kit by using multimedia information
KR20220109334A (en) 2021-01-28 2022-08-04 (주)제이엘케이 Apparatus and method for spot detection in diagnostic kit result image
KR20220109335A (en) 2021-01-28 2022-08-04 (주)제이엘케이 Diagnostic test apparatus and method by excluding atypical foreign substances from test result image of artificial intelligence based diagnostic kit
KR20220144671A (en) * 2021-04-20 2022-10-27 김송환 Method and apparatus for sharing cancer screening data based on permissioned blockchains
WO2023282612A1 (en) * 2021-07-09 2023-01-12 블록체인랩스 주식회사 Ai device for automatically reading test results of plurality of diagnostic kits, and method therefor
WO2023282611A1 (en) * 2021-07-09 2023-01-12 블록체인랩스 주식회사 Ai model learning device for reading diagnostic kit test result and method for operating same
KR102509538B1 (en) 2022-08-19 2023-03-16 주식회사 마크헬츠 Portable non-face-to-face diagnostic device equipped with sensor

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5131431B2 (en) * 2007-01-26 2013-01-30 日本電気株式会社 Pathological image evaluation apparatus, pathological image evaluation method, and pathological image evaluation program
KR20130056886A (en) * 2010-06-25 2013-05-30 노스이스턴 유니버시티 Method for analyzing biological specimens by spectral imaging
KR101352876B1 (en) * 2013-02-26 2014-01-20 여희경 Diagnostic equipment
KR20150026166A (en) 2013-09-02 2015-03-11 주식회사좋은물산 Total medical test system using smart-phone
KR20180057220A (en) 2016-11-22 2018-05-30 (주)에스티엠 Image sensor based portable medical diagnostic apparatus and a medical information management method using the same
KR20190048733A (en) * 2017-10-31 2019-05-09 전자부품연구원 In-vitro diagnostic system comprising attaching type-optical device using mobile device
JP2019095853A (en) * 2017-11-17 2019-06-20 シスメックス株式会社 Method for analyzing image, device, program, and method for manufacturing learned deep learning algorithm

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102091832B1 (en) * 2019-08-05 2020-03-20 주식회사 에프앤디파트너스 Portable In Vitro Diagnostic Kit Analyzer Using Multimedia Information

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5131431B2 (en) * 2007-01-26 2013-01-30 日本電気株式会社 Pathological image evaluation apparatus, pathological image evaluation method, and pathological image evaluation program
KR20130056886A (en) * 2010-06-25 2013-05-30 노스이스턴 유니버시티 Method for analyzing biological specimens by spectral imaging
KR101352876B1 (en) * 2013-02-26 2014-01-20 여희경 Diagnostic equipment
KR20150026166A (en) 2013-09-02 2015-03-11 주식회사좋은물산 Total medical test system using smart-phone
KR20180057220A (en) 2016-11-22 2018-05-30 (주)에스티엠 Image sensor based portable medical diagnostic apparatus and a medical information management method using the same
KR20190048733A (en) * 2017-10-31 2019-05-09 전자부품연구원 In-vitro diagnostic system comprising attaching type-optical device using mobile device
JP2019095853A (en) * 2017-11-17 2019-06-20 シスメックス株式会社 Method for analyzing image, device, program, and method for manufacturing learned deep learning algorithm

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021025458A1 (en) * 2019-08-05 2021-02-11 주식회사 에프앤디파트너스 Device for analyzing mobile in-vitro diagnostic kit by using multimedia information
KR20220109334A (en) 2021-01-28 2022-08-04 (주)제이엘케이 Apparatus and method for spot detection in diagnostic kit result image
KR20220109335A (en) 2021-01-28 2022-08-04 (주)제이엘케이 Diagnostic test apparatus and method by excluding atypical foreign substances from test result image of artificial intelligence based diagnostic kit
KR20220144671A (en) * 2021-04-20 2022-10-27 김송환 Method and apparatus for sharing cancer screening data based on permissioned blockchains
KR102651688B1 (en) 2021-04-20 2024-03-27 김송환 Method and apparatus for sharing cancer screening data based on permissioned blockchains
WO2023282612A1 (en) * 2021-07-09 2023-01-12 블록체인랩스 주식회사 Ai device for automatically reading test results of plurality of diagnostic kits, and method therefor
WO2023282611A1 (en) * 2021-07-09 2023-01-12 블록체인랩스 주식회사 Ai model learning device for reading diagnostic kit test result and method for operating same
KR102509538B1 (en) 2022-08-19 2023-03-16 주식회사 마크헬츠 Portable non-face-to-face diagnostic device equipped with sensor

Also Published As

Publication number Publication date
WO2021025458A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
KR102091832B1 (en) Portable In Vitro Diagnostic Kit Analyzer Using Multimedia Information
JP7018023B2 (en) Methods and Devices for Measuring Levels of Subject in Body Fluids
JP2022514054A (en) Systems and methods for analyzing images of clinical site immediate test results
CN109431463B (en) Deep learning traditional Chinese medicine intelligent diagnosis and treatment system based on Chinese and western medicine sample marks
US11373422B2 (en) Evaluation assistance method, evaluation assistance system, and computer-readable medium
Rahmat et al. Automated color classification of urine dipstick image in urine examination
CN111079901A (en) Acute stroke lesion segmentation method based on small sample learning
CN114334123A (en) Cognition assessment system suitable for mild cognitive impairment rapid detection
CN109614995A (en) The system and method for pancreatic duct and pancreas structure is identified under a kind of endoscopic ultrasonography
CN111413492A (en) Method and system for detecting novel coronavirus COVID-2019 pneumonia
CN110456050B (en) Portable intelligent digital parasite in vitro diagnostic instrument
CN107752976A (en) Intelligent health detecting system, intelligent health detection mirror and intelligent health detection method
Jing et al. A novel method for quantitative analysis of C-reactive protein lateral flow immunoassays images via CMOS sensor and recurrent neural networks
CN113539486A (en) Health state identification system based on traditional Chinese medicine facial and tongue manifestation dynamic change
Ghosh et al. A low-cost test for anemia using an artificial neural network
WO2022190891A1 (en) Information processing system and information processing method
CN115035086A (en) Intelligent tuberculosis skin test screening and analyzing method and device based on deep learning
Elabbas et al. Classification of Otitis Media Infections using Image Processing and Convolutional Neural Network
Haja et al. Advancing glaucoma detection with convolutional neural networks: a paradigm shift in ophthalmology
AlAgha et al. PalAST: A Cross-Platform Mobile Application for Automated Disk Diffusion Antimicrobial Susceptibility Testing.
CN112614123A (en) Ultrasonic image identification method and related device
Budianto et al. Strip test analysis using image processing for diagnosing diabetes and kidney stone based on smartphone
Inagaki et al. Verification of individual differences in visual judgment of urine test strips and proposal of objective evaluation method
CN109493326B (en) Mobile recognition analysis system for medical detection field
CN116313038A (en) Device, equipment and system for diagnosing sarcopenia

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant