WO2024058319A1 - 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법 - Google Patents

영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법 Download PDF

Info

Publication number
WO2024058319A1
WO2024058319A1 PCT/KR2022/095142 KR2022095142W WO2024058319A1 WO 2024058319 A1 WO2024058319 A1 WO 2024058319A1 KR 2022095142 W KR2022095142 W KR 2022095142W WO 2024058319 A1 WO2024058319 A1 WO 2024058319A1
Authority
WO
WIPO (PCT)
Prior art keywords
infection status
status information
training data
computing device
concentration
Prior art date
Application number
PCT/KR2022/095142
Other languages
English (en)
French (fr)
Inventor
이정훈
이기백
이승민
김선목
박정수
우효원
Original Assignee
주식회사 켈스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220134365A external-priority patent/KR20240038534A/ko
Application filed by 주식회사 켈스 filed Critical 주식회사 켈스
Publication of WO2024058319A1 publication Critical patent/WO2024058319A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu

Definitions

  • the present invention relates to an apparatus and method for generating infection status information. More specifically, the present invention relates to an apparatus and method for generating infection status information based on input image information.
  • the research of the present invention is related to the 'High-sensitivity home kit for COVID-19 field screening with enhanced preprocessing (No. 2021M3E5E3080741)', an original technology development project conducted with funding from the National Research Foundation of Korea with funding from the Ministry of Science and ICT.
  • a diagnostic kit is a testing device made using a chemical reaction for the purpose of quickly and easily diagnosing some diseases. Unlike other accurate and reliable diagnostic methods, a diagnostic kit does not require special testing facilities or experts and is a testing device designed to quickly diagnose infection. Diagnostic kits have the advantage of being inexpensive, independent of where they are used, easy to use, and providing diagnostic results within 15-30 minutes.
  • the result lines that appear in the Test Line and Control Line areas of the diagnostic kit window are often not clear enough to be visible to the naked eye, making it difficult for non-experts to use the diagnostic kit. There is a problem that it is difficult for users to determine whether the diagnosis is confirmed.
  • Patent Document 0001 Republic of Korea Patent Publication No. 10-1589673 (2016.01.22.)
  • the purpose of the present invention is to receive the image of the diagnostic kit used by the user and apply the input image to a deep learning model learned using a data set augmented with the diagnostic kit image in various ways to detect the disease from the input image.
  • the goal is to provide a device and method for generating infection status information of a user based on image information provided.
  • a computing device that generates infection state information based on image information according to an embodiment of the present invention for achieving the above-described object is a computing device that generates infection state information based on image information, and the computing device generates infection state information based on image information.
  • a memory for storing one or more programs for creating; and one or more processors that perform operations for generating the infection status information according to the one or more programs, wherein the operations performed by the processor are performed on a diagnostic kit to which a sample extracted from a test subject is applied.
  • the main area is characterized as an area including a test line whose color changes depending on the infection status of the test subject.
  • the infection status information may include infection information indicating whether the test object is infected or a concentration of a detection target included in the test object predicted based on a color change of the test line.
  • Receiving an input image for the diagnostic kit means receiving a plurality of input images including an input image taken at the current time and an input image taken at a previous time, and the step of generating and outputting the infection status information , Characterized in generating and outputting information on the trend of infection status using the concentrations of a plurality of detection targets generated based on the plurality of input images.
  • the step of generating and outputting the infection state information includes providing a first message about the infection state at the current time when the concentration of the detection target at the current time increases compared to the concentration at the previous time, and providing a first message about the infection state at the current time. When the concentration decreases from the concentration at the previous time, a second message about the infection status at the current time is provided.
  • the machine learning model is characterized by being learned using an augmented data set including a plurality of training data and transformed training data converted based on the plurality of training data.
  • the transformation training data includes first transformation training data obtained by blurring the training data, second transformation training data obtained by resizing the training data, and third transformation training data generated by distorting the training data. Fourth transformation training data that rotated the training data, fifth transformation training data that adjusted the brightness of the training data, sixth transformation training data that changed the surrounding environment of the training data, and seventh transformation training data that adjusted the color temperature of the training data. It is characterized in that it includes at least one selected from the group consisting of transformation training data.
  • Determining the sub-area is characterized by determining to include an area corresponding to the test line and exclude an area corresponding to the control line.
  • the step of generating and outputting the infection status information is characterized by determining whether the diagnostic kit is normal based on the area corresponding to the control line, and generating and outputting information about the normal status.
  • the processor is characterized in that it activates a mobile application and performs the operations through the activated mobile application.
  • a method of generating infection status information performed by a computing device that generates infection status information based on image information according to an embodiment of the present invention to achieve the above-described purpose includes applying a sample extracted from a test subject. Receiving input images for a diagnostic kit; determining a main area related to the inspection object in the input image and determining a sub-area surrounding the main area; And applying the sub-region to a machine-learned model to generate and output the infection status information for the test target.
  • the main area is characterized as an area including a test line whose color changes depending on the infection status of the test subject.
  • the infection status information may include infection information indicating whether the test object is infected or a concentration of a detection target included in the test object predicted based on a color change of the test line.
  • Determining the sub-area is characterized by determining to include an area corresponding to the test line and exclude an area corresponding to the control line.
  • a computer program according to an embodiment of the present invention for achieving the above-described object is stored in a computer-readable recording medium and executes any one of the above-described infection status information generation methods on the computer.
  • the image of the diagnostic kit used by the user is input and the diagnostic kit image is displayed in various ways.
  • the input image By applying the input image to a deep learning model learned using the augmented data set, information on the user's infection status regarding the disease can be generated and provided from the input image.
  • FIG. 1 is a diagram illustrating the configuration of a system including a device for generating infection status information based on image information and a device for generating infection status information based on image information according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating how a device for generating infection status information based on image information determines a main area and a sub area according to an embodiment of the present invention.
  • Figure 3 is a diagram showing a machine learning model used in a device that generates infection status information based on image information according to an embodiment of the present invention.
  • Figure 4 is a diagram for explaining a diagnostic kit image used as a data set for a device that generates infection status information based on image information according to an embodiment of the present invention.
  • Figure 5 is a diagram for explaining a deep learning model and data set augmentation used in a device that generates infection status information based on image information according to an embodiment of the present invention.
  • Figure 6 is a diagram showing data comparing the performance of a device that generates infection status information based on image information according to an embodiment of the present invention with the ability to identify the results of using a diagnostic kit by experts and the general public.
  • Figure 7 is a diagram showing data comparing the performance of a device that generates infection status information based on image information with the identification ability of experts and the general public according to an embodiment of the present invention.
  • Figure 8 shows the difference in performance according to the data set used to learn the machine learning model used in the device that generates infection status information based on image information according to an embodiment of the present invention and the difference in performance according to the application of the diagnostic kit in different diagnostic methods. This is a drawing to explain the difference in performance.
  • Figure 9 is a diagram showing the positive determination performance of a device that generates infection status information based on image information according to an embodiment of the present invention.
  • FIG. 10 shows the prediction performance of the detection target concentration according to the concentration of the sample of the device for generating infection status information based on image information according to an embodiment of the present invention and the concentration of the detection target obtained from input images acquired at intervals. This is a diagram showing the prediction results.
  • Figure 11 is a diagram comparing the detection target concentration prediction performance of a device that generates infection status information based on image information according to an embodiment of the present invention with the detection target concentration prediction ability of the general public and experts.
  • Figure 12 is an exemplary diagram of a case where a device for generating infection status information based on image information according to an embodiment of the present invention is applied to a mobile device.
  • Figure 13 is a diagram illustrating a result screen displayed to a user by a device that generates infection status information based on image information according to an embodiment of the present invention.
  • Figure 14 is a flowchart illustrating a method for generating infection status information according to an embodiment of the present invention.
  • Figures 15 and 16 are block diagrams showing the process of a method for generating infection status information according to an embodiment of the present invention.
  • FIG. 17 is a diagram illustrating infection status trend information provided to a user by a device that generates infection status information based on image information according to an embodiment of the present invention.
  • the second component may be referred to as the first component without departing from the scope of the present invention, and similarly, the first component may also be referred to as the second component.
  • the term and/or includes any of a plurality of related stated items or a combination of a plurality of related stated items.
  • FIG. 1 is for explaining the configuration of an infection status information generating system including a device for generating infection status information based on image information and a device for generating infection status information based on image information according to an embodiment of the present invention. It is a drawing.
  • the infection status information generating system 10 may include a computing device 100 and a server 200.
  • a device that generates infection status information based on image information may be a computing device designed to generate infection status information based on image information.
  • a computing device 100 (hereinafter referred to as a computing device) provided to generate infection status information based on image information includes a processor 110, a memory 120, a network interface 130, and machine learning. It may include a model 140.
  • the processor 110 may control the computing device to operate as a device that generates infection status information based on image information.
  • the processor 110 may execute one or more programs stored in the memory 120.
  • One or more programs may include one or more computer executable instructions.
  • Memory 120 is configured to store computer-executable instructions or program code, program data, and/or other suitable forms of information. Computer-executable instructions, program code, program data, and/or other suitable forms of information may also be provided through network interface 130.
  • the program stored in the memory 120 includes a set of instructions 122 that can be executed by the processor 110.
  • memory 120 includes memory (volatile memory, such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, In addition, it may be another type of storage medium that can be accessed by the computing device 100 and store desired information, or a suitable combination thereof.
  • the memory 120 may store one or more programs for generating infection status information.
  • Memory 120 may store data 121 that may be accessed by one or more processors.
  • the memory 120 may generate or store data that can be acquired, received, accessed, written, or manipulated by the processor 110.
  • the memory 120 may store instructions 122 provided in the form of a set of computer-executable instructions.
  • the command 122 may be stored in the form of a program and, when executed by the processor 110, may be configured to cause the computing device 100 to perform operations according to example embodiments.
  • Processor 110 may be interconnected with various other components of computing device 100 through a communication bus, including memory 120.
  • Computing device 100 may also include one or more network interfaces 130 that provide an interface for one or more input/output devices.
  • the network interface 130 may operate as an input/output interface and a communication interface.
  • Network interface 130 may be connected to a communication bus.
  • Input/output devices (not shown) may be connected to other components of computing device 100 through network interface 130.
  • Computing device 100 may store or include one or more machine learned models 140.
  • machine learning model 140 includes neural networks (e.g., deep neural networks), support vector machines, decision trees, ensemble models, k-nearest neighbor models, Bayesian networks, linear models, and/or nonlinear models. It can contain or store various machine learning models, such as different types of models, etc.
  • Neural networks may include feedforward neural networks, recurrent neural networks (e.g., long shortterm memory recurrent neural networks), convolutional neural networks (CNN), and/or other types of neural networks, or combinations thereof.
  • recurrent neural networks e.g., long shortterm memory recurrent neural networks
  • CNN convolutional neural networks
  • the server 200 may include a processor 210, memory 220, network interface 230, machine learning model 240, model learning unit 250, and learning data 260. there is.
  • Computing device 100 and server 200 may follow a client-server relationship.
  • the processor 210 can control the server to operate as a server for a device that generates infection status information based on image information.
  • the processor 210 may execute one or more programs stored in the memory 220.
  • One or more programs may include one or more computer executable instructions.
  • Memory 220 is configured to store computer-executable instructions or program code, program data, and/or other suitable forms of information. Computer-executable instructions, program code, program data, and/or other suitable forms of information may also be provided through network interface 230.
  • the program stored in the memory 220 includes a set of instructions 222 that can be executed by the processor 210.
  • memory 220 includes memory (volatile memory, such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, In addition, it may be another type of storage medium that can be accessed by the server 200 and store desired information, or a suitable combination thereof.
  • Memory 220 may store data 221 that may be accessed by one or more processors.
  • the memory 220 may generate or store data that can be acquired, received, accessed, written, or manipulated by the processor 210.
  • the memory 220 may store instructions 222 provided in the form of a set of computer-executable instructions.
  • the command 222 may be stored in the form of a program and, when executed by the processor 210, may be configured to cause the server 200 to perform operations according to example embodiments.
  • Processor 210 may be interconnected with various other components of server 200, including memory 220, through a communication bus.
  • Server 200 may also include one or more network interfaces 230 that provide an interface for one or more input/output devices.
  • the network interface 230 may operate as an input/output interface and a communication interface.
  • Network interface 230 may be connected to a communication bus.
  • Input/output devices (not shown) may be connected to other components of the server 200 through the network interface 230.
  • Server 200 may store or include one or more machine learned models 240.
  • machine learning model 240 includes neural networks (e.g., deep neural networks), support vector machines, decision trees, ensemble models, k-nearest neighbor models, Bayesian networks, linear models, and/or nonlinear models. It can contain or store various machine learning models, such as different types of models, etc.
  • Server 200 may include one or more server computing devices.
  • Such server computing devices may, for example, be parallel computing architectures or combinations thereof, and may operate according to various computing architectures, including sequential computing architectures.
  • the model learning unit 250 can train the machine learning models 140 and 240.
  • the model learning unit 250 may use one or more training or learning algorithms.
  • the model learning unit 250 may perform training using the labeled learning data set 260, but is not necessarily limited thereto and may also perform training using the unlabeled learning data set 260.
  • the training data 260 may include a set of training data necessary for the model learning unit 250 to train the machine learning models 140 and 240.
  • Server 200 may communicate with computing device 100 through network 300 .
  • Network 300 may be any type of network or combination of networks that enables communication between devices.
  • Network 300 may include at least one of a local area network, a wide area network, the Internet, a secure network, a cellular network, a mesh network, and a peer-to-peer communication link.
  • the processor 110 receives an input image for a diagnostic kit to which a sample extracted from the test subject is applied, determines a main area related to the test subject in the input image, and creates a sub-area surrounding the main area to include the main area. By determining the sub-area and applying it to the machine learning model, infection status information for the test target can be generated and output.
  • test subject may include humans, animals, and plants.
  • a sample is collected from a test subject and can be the test subject's saliva, saliva, nasal discharge, blood, urine, etc., and can be applied to a diagnostic kit after being mixed with other substances, or can be applied to a diagnostic kit by itself. You can.
  • the server 200 may collect and manage infection status information from the computing device 100. Based on the infection status information collected from the computing device 100, it may be possible for a hospital or specialized institution to accurately analyze and manage the user's symptoms.
  • the server 200 may use a database (not shown) that stores and manages not only the infection status information collected from the computing device 100 but also the user's personal information and information analyzed by experts.
  • the system includes a device 100 for generating infection status information based on image information and a device for generating infection status information based on image information.
  • Some blocks connected to (10) may be added, changed, or deleted.
  • FIG. 2 is a diagram illustrating how a device for generating infection status information based on image information determines a main area and a sub area according to an embodiment of the present invention.
  • a diagnostic kit may be a device used to determine whether a user is infected with a disease through a test object collected from the user or a sample mixed with the test object.
  • the diagnostic kit may be, for example, a diagnostic kit for COVID-19.
  • Reference numeral 410 denotes a window in which an indicator line (eg, test line, control line) indicating the test result appears after the user uses the diagnostic kit.
  • indicator line eg, test line, control line
  • the processor 110 may determine the main area related to the test object by detecting the area corresponding to the test line 411 of the window 410 where the test result of the diagnostic kit 400 appears.
  • the main area may be an area containing a Test Line whose color changes depending on the infection status of the test subject.
  • the processor 110 may determine the sub-area by including the area corresponding to the test line 411 and excluding the area corresponding to the control line 413.
  • the processor 110 includes an area corresponding to the test line 413, a portion of the area corresponding to the window 410 excluding the area corresponding to the control line 413, and an area corresponding to the window 410.
  • the sub-area may be determined to include at least a portion of the area corresponding to the exterior and the diagnostic kit 400.
  • the processor 110 may determine the area where the test line 413 is located among the areas corresponding to half of the area corresponding to the window 410 as the sub-area, where it corresponds to the diagnostic kit 400.
  • the sub-area may be determined to include additional areas.
  • the processor 110 may determine whether the test subject is positive based on the thickness of the test line 411.
  • the processor 110 may generate and output infection status information including information on whether the test subject is positive or not.
  • the infection status information may include infection information indicating whether the test object is infected or the concentration of the detection target included in the test object predicted based on the color change of the test line 411.
  • the color change may be determined based on the darkness of the test line.
  • the processor 110 may generate density information on the detection target included in the predicted test object based on the thickness of the test line 411.
  • the degree of darkness can be divided into predetermined standard stages based on preset standards. For example, the degree of darkness can be divided into a total of 11 levels from level 0 to level 10, from low to high.
  • the processor 110 may determine that the test line 411 is positive when its thickness is greater than or equal to a predetermined threshold level (eg, level 3).
  • the level of darkness may also be saturation.
  • the detection target may be various types of viruses or homogeneous viruses, such as HIV (Human Immunodeficiency Virus), COVID-19 virus, and influenza virus.
  • HIV Human Immunodeficiency Virus
  • COVID-19 virus COVID-19 virus
  • influenza virus influenza virus
  • the processor 110 may generate and output infection status information including concentration information of the generated detection target.
  • the processor 110 may predict the density of the detection target and generate density information of the detection target by matching the degree of darkness with the concentration of the detection target.
  • the processor 110 may predict that the concentration of the detection target is 10 ng/ml, and that the density of the test line 411 is level 10. Once determined, the concentration of the detection target can be predicted to be 100ng/ml. In other words, there can be a concentration interval of 10ng/ml per unit step interval.
  • Figure 3 is a diagram showing a machine learning model used in a device that generates infection status information based on image information according to an embodiment of the present invention.
  • the method for generating infection status information includes an object detection process for detecting a diagnostic kit from an input image and the presence or absence of a detection target from the main area or sub-area determined from the input image (i.e. , positive or not) or may include a process of classifying the severity of the test line.
  • Figure 4 is a diagram for explaining a diagnostic kit image used as a data set for a device that generates infection status information based on image information according to an embodiment of the present invention.
  • FIG. 4 may be a concept corresponding to reference numeral 501 in FIG. 3 .
  • Reference numeral 601 in FIG. 4 indicates a case where the entire diagnostic kit is cropped from the input image.
  • Reference numeral 602 in FIG. 4 indicates that the input image is cropped to include both the test line and the control line.
  • Reference numeral 603 in FIG. 4 indicates a case where the input image is cropped to include all test lines and not include control lines.
  • the case corresponding to reference numeral 603 is more accurate in determining whether the computing device 100 is infected than the case corresponding to reference numeral 602, and the case corresponding to reference numeral 602 is more accurate than the case corresponding to reference numeral 602.
  • This is graph data indicating that the computing device 100 is more accurate in determining whether it is infected than in the case corresponding to reference numeral 601.
  • Figure 5 is a diagram for explaining a deep learning model and data set augmentation used in a device that generates infection status information based on image information according to an embodiment of the present invention.
  • Figure 5(a) is a diagram showing Root Mean Square Deviation (RMSD) according to CNN models.
  • FIG. 5 (b) is a diagram showing the diagnostic accuracy of the test object of the computing device 100 according to the type of data set.
  • Dataset #1 is a data set of diagnostic kit images taken in a single environment and under single lighting
  • Dataset #2 is a case where dataset #1 is augmented as shown in (c) of Figure 5
  • Dataset #3 is a data set.
  • Dataset #2 is a case where more diagnostic kit images taken under various lighting conditions are included
  • Dataset #4 is a case where Dataset #3 further includes diagnostic kit images taken under various lighting conditions and in various environments.
  • the performance of the computing device 100 increases as the types of images included in the data set increase.
  • the machine learning model used by the computing device 100 in the present invention may be learned using an augmented data set including a plurality of training data and converted training data converted based on the plurality of training data.
  • the machine learning model used by the computing device 100 in the present invention may be a deep learning model.
  • the learning data 260 is a learning image, in order to increase the number of data sets, by blurring, resizing, and distorting the diagnostic kit images before and after use. It may include an augmented data set using at least one of the following methods: rotating, adjusting brightness, changing the surrounding environment, and changing color temperature.
  • the transformation training data includes first transformation training data obtained by blurring the training data, second transformation training data obtained by resizing the training data, third transformation training data generated by distorting the training data, and training data.
  • Figure 6 is a diagram showing data comparing the performance of a device that generates infection status information based on image information according to an embodiment of the present invention with the ability to identify the results of using a diagnostic kit by experts and the general public.
  • Figure 6 (a) is a diagram showing a receiver operating characteristic (ROC) curve showing the predictive performance of non-experts, experts, and the computing device 100 for the test result judgment performance after the user uses the diagnostic kit.
  • ROC receiver operating characteristic
  • Figure 6(b) is a diagram showing experimental data to confirm cross-reactivity.
  • Figure 6(c) is data showing the concentration prediction performance of the detection target. It can be seen that the density prediction performance is excellent as the color corresponding to the actual density is similar to the predicted color.
  • Figure 7 is a diagram showing data comparing the performance of a device that generates infection status information based on image information with the identification ability of experts and the general public according to an embodiment of the present invention.
  • Figures 7(b) to 7(e) are diagrams showing the results of a blind test of the computing device 100, experts, and non-experts' ability to recognize whether a diagnostic kit used in the Nasal method is positive or not.
  • the accuracy was 46.4%, and dev. is 7.1.
  • the accuracy was 63.2%, and for dev. is 13.7. In the case of the present invention, an accuracy of 97.5% was achieved.
  • Figure 7 (d) is a diagram of the actual image guessed by the general public in the blind test, the image guessed only by the expert and the computing device 100, and the image guessed only by the computing device 100.
  • FIG. 7(e) is a diagram showing image processing of the second image that non-experts could not identify among the images in FIG. 7(d) and the third image that non-experts and experts could not identify.
  • the computing device 100 can recognize a test line that is thick enough that it cannot be detected with the naked eye and determine that the test subject is positive.
  • 7(f) to 7(i) are diagrams showing the results of a blind test of the computing device 100, experts, and non-experts on the ability to recognize whether a diagnostic kit used in the Saliva method is positive or not.
  • the accuracy was 85%, and dev. is 7.
  • the accuracy was 92.5%, and for dev. is 5.6.
  • an accuracy of 100% was shown.
  • Figure 7 (h) is a diagram of the actual image guessed by the general public in the blind test, the image guessed only by the expert and the computing device 100, and the image guessed only by the computing device 100.
  • Figure 7 (i) is a diagram showing image processing of the second image that non-experts could not identify among the images in Figure 7 (h) and the third image that non-experts and experts could not identify.
  • the computing device 100 can recognize a test line that is thick enough that it cannot be detected with the naked eye and determine that the test subject is positive.
  • Figure 8 shows the difference in performance according to the data set used to learn the machine learning model used in the device that generates infection status information based on image information according to an embodiment of the present invention and the difference in performance according to the application of the diagnostic kit in different diagnostic methods. This is a drawing to explain the difference in performance.
  • Figure 8 (a) is a graph showing that performance improves when a clinical sample is added (DL..v3) to the image of a kit diluted with a target substance in a standard sample (phosphate saline solution) (DL..v2). . As shown, it can be seen that when there is more data, the performance of the computing device 100 becomes better.
  • Figures 8 (b) to 8 (c) are graphs comparing the performance of the present invention and the conventional technology for diagnosing positivity from images of diagnostic kits used by applying the Nasal method and the Saliba method, respectively.
  • Figure 9 is a diagram showing the positive determination performance of a device that generates infection status information based on image information according to an embodiment of the present invention.
  • Figure 9 is a Confusion Matrix showing how accurately the computing device 100 according to the present invention determines positive or negative based on the sample used in the cell membrane.
  • FIG. 10 shows the prediction performance of the detection target concentration according to the concentration of the sample of the device for generating infection status information based on image information according to an embodiment of the present invention and the concentration of the detection target obtained from input images acquired at intervals. This is a drawing showing the prediction results.
  • the processor 110 When the processor 110 receives an input image for a diagnostic kit, it may mean receiving a plurality of input images including an input image captured at a current time and an input image captured at a previous time.
  • the computing device 100 may provide information about the infection status trend.
  • Infection status information may further include information about infection status trends.
  • the processor 110 may generate density information on the detection target included in the predicted test object based on the thickness of the test line 411.
  • the processor 110 may predict the density of the detection target and generate density information of the detection target by matching the degree of darkness with the concentration of the detection target.
  • the processor 110 may predict that the concentration of the detection target is 10 ng/ml, and that the density of the test line 411 is level 10. Once determined, the concentration of the detection target can be predicted to be 100ng/ml. In other words, there can be a concentration interval of 10ng/ml per unit step interval. In addition, when the processor 110 determines that the thickness of the test line 411 is between steps 5 and 6 (e.g., step 5.6), the concentration of the detection target is 50 ng/ml to 50 ng/ml. It is natural that the concentration can be predicted to be between 60ng/ml (for example, 56ng/ml).
  • the processor 110 may receive a plurality of input images captured at different times.
  • the processor 110 may generate and output information about the trend of infection status using concentration information of a plurality of detection targets generated based on a plurality of input images.
  • the processor 110 provides a first message about the infection status at the current time when the concentration of the detection target at the current time increases from the concentration at the previous time, and when the concentration of the detection target at the current time decreases compared to the concentration at the previous time.
  • infection status information can be generated and output by providing a second message about the current infection status.
  • the first message may include a message to the effect that the test subject is in the infectious phase.
  • the first message may further include a message recommending PCR testing because the test subject is in the infectious period.
  • the second message may include a message to the effect that the test subject is in a recovery period.
  • the processor 110 sets day 1 based on the date on which the first input image is received, predicts the concentration of the detection target based on the input images input thereafter, and determines the infection status corresponding to the input time or date of the input images.
  • Trend information can be generated and output.
  • Figure 10 (a) is a diagram showing that the predicted concentration gradually decreases as the computing device 100 dilutes a sample for a patient with phosphate buffered saline (PBS).
  • PBS phosphate buffered saline
  • Figure 10 (b) is a graph showing trend information of infection status and PCR test results generated by the computing device 100. Referring to (b) of FIG. 10, it can be seen that the infection status trend information generated by the computing device 100 and the PCR test results show substantially similar trends.
  • Figure 11 is a diagram comparing the detection target concentration prediction performance of a device that generates infection status information based on image information according to an embodiment of the present invention with the detection target concentration prediction ability of the general public and experts.
  • the lowest concentration (LOD) at which an ordinary person can determine positive with the naked eye is 1.25 ng/ml
  • the lowest concentration at which an expert can visually determine positive is 0.62 ng/ml
  • the lowest concentration (LOD) at which an expert can visually determine positive is 0.62 ng/ml.
  • the computing device 100 according to the present invention using running was able to determine positive levels up to 0.15 ng/ml.
  • Figure 12 is an exemplary diagram of a case where a device for generating infection status information based on image information according to an embodiment of the present invention is applied to a mobile device.
  • Figure 13 is a diagram illustrating a result screen displayed to a user by a device that generates infection status information based on image information according to an embodiment of the present invention.
  • the computing device 100 is an electronic device for analyzing an input image to determine whether a test object applied to a diagnostic kit is positive.
  • the computing device 100 is used for various types of portable devices such as smartphones, tablet PCs, and desktop PCs. It can include terminal devices, etc.
  • the processor 110 can activate the mobile application and perform operations through the activated mobile application.
  • a user can use the computing device 100 to capture an image of a diagnostic kit applied to a test object.
  • a user can directly acquire a diagnostic kit image using the computing device 100 equipped with a camera, but the present invention is not limited thereto, and the computing device 100 can also receive diagnostic kit images obtained using an external device.
  • the user can activate a mobile application to perform operations according to the present invention through the computing device 100.
  • the mobile application can operate by activating the input image stored in the computing device 100 in response to the user's manipulation, and the user can also capture a diagnostic kit through the activated mobile application.
  • the user enters information such as his/her symptoms (e.g., fever, cough, runny nose, phlegm, etc.), gender, age, height, weight, and timing of use of the diagnostic kit into the activated mobile application, and enters the computing device 100.
  • information such as his/her symptoms (e.g., fever, cough, runny nose, phlegm, etc.), gender, age, height, weight, and timing of use of the diagnostic kit into the activated mobile application, and enters the computing device 100.
  • can generate infection status information including various types of information entered by the user.
  • the computing device 100 may operate based on an input image activated through a mobile application to generate infection status information, and the generated infection status information may be stored in the computing device 100. It can be displayed to the user through the display unit 150.
  • the computing device 100 can display infection status information to the user through the display unit 150 included in the computing device 100, and transmit the infection status information to an external device so that the external device provides the infection status information to the user. You can also have it displayed.
  • the processor 110 may determine whether the diagnostic kit is normal based on the area corresponding to the control line from the input image, and generate and output information about whether the diagnostic kit is normal. Information on whether something is normal or not can be displayed along with infection status information.
  • the processor 110 may determine that the diagnostic kit is broken.
  • the computing device 100 may generate information on the infection status trend as described with reference to FIG. 10 and display the generated infection status information including information on the infection status trend to the user.
  • the information on the infection status trend may have the X-axis representing information about the date, and the Y-axis representing information about the concentration of the detection target.
  • the processor 110 determines that the period from 22/03/01 to 22/1504 is the infection period, and from 22/03/04 to 22/03/09 is the recovery period, and uses the determined information as the infection status. It can be displayed to users by including it in information.
  • the computing device 100 may display a message recommending a polymerase chain reaction (PCR) test.
  • PCR polymerase chain reaction
  • the computing device 100 may transmit the generated infection status information to a professional medical institution.
  • Figure 14 is a flowchart illustrating a method for generating infection status information according to an embodiment of the present invention.
  • the method of generating infection status information may be performed by a computing device that generates infection status information based on image information.
  • the processor may receive an input image for a diagnostic kit to which a sample extracted from the test subject is applied.
  • the processor may determine a main area related to the inspection target in the input image and determine a sub-area surrounding the main area.
  • step S300 the processor may perform a step of applying the sub-area to a machine learning model to generate and output infection status information about the test target.
  • FIG. 14 it is described that each process is executed sequentially, but this is only an illustrative explanation, and those skilled in the art can change the order shown in FIG. 14 and execute it without departing from the essential characteristics of the embodiments of the present invention. Alternatively, it may be applied through various modifications and modifications, such as executing one or more processes in parallel or adding other processes.
  • Figures 15 and 16 are block diagrams showing the process of a method for generating infection status information according to an embodiment of the present invention.
  • FIG. 17 is a diagram illustrating infection status trend information provided to a user by a device that generates infection status information based on image information according to an embodiment of the present invention.
  • the computing device 100 may generate information on the infection status trend and display the generated infection status information including the information on the infection status trend to the user.
  • the processor 110 provides a first message about the infection status at the current time when the concentration of the detection target at the current time increases from the concentration at the previous time, and when the concentration of the detection target at the current time decreases compared to the concentration at the previous time.
  • infection status information can be generated and output by providing a second message about the current infection status.
  • Information about the infection status trend may include a first message or a second message.
  • Figure 17 is reference graph data showing the concentration of virus detected over time after infection with a disease (eg, coronavirus).
  • a disease eg, coronavirus
  • the reference graph data on the virus concentration collected from the infected person over time may be statistical data, or may be data generated based on previously known data and stored in advance in the computing device 100.
  • the processor may use the concentration at the current time and the concentration at the previous time to determine which infection section the test subject falls into by comparing it with reference graph data to provide the user with information on the infection status trend of the test subject.
  • the infection sections subject to inspection are the preliminary section (1701), the first infection section (1702), the second infection section (1703), the third infection section (1704), the fourth infection section (1705), and the improvement section (1706). may include.
  • the processor 110 determines that the test target falls in the preliminary section 1701. You can.
  • the first message may include a message to the effect that the test target is not yet infected but is expected to be infected.
  • the processor 110 determines that if the concentration at the current time is higher than the concentration at the previous time, and the concentration at the current time is above the first critical concentration (1707) and below the second critical concentration (1708), the test target is in the first infection section ( 1702).
  • the first message may include a message to the effect that the test target is infected and is expected to be in an initial state of infection.
  • the processor 110 may determine that the test subject falls into the second infection section (1703). .
  • the first message may include a message to the effect that the test subject is very likely to be infected and may require treatment from a specialized institution.
  • the processor 110 may determine that the test subject falls into the third infection section (1704). .
  • the second message may include a message to the effect that the test subject is very likely to be infected, but the condition is improving.
  • the processor 110 determines that if the concentration at the current time is lower than the concentration at the previous time, and the concentration at the current time is above the first critical concentration (1707) and below the second critical concentration (1708), the test target is in the fourth infection section ( 1705).
  • the second message may include a message to the effect that the test subject is expected to be in a late stage of infection.
  • the processor 110 may determine that the test subject falls into the improvement section 1706.
  • the second message may include a message to the effect that the test subject is not infected, the infection status has improved, and daily life is possible.
  • the first critical concentration 1707 may be a reference concentration for determining whether the test subject is confirmed or not. That is, the processor 110 may determine that the test subject is confirmed if the concentration of the detection target collected from the test subject is greater than or equal to the first threshold concentration 1707.
  • the second critical concentration 1708 may be a standard concentration for determining whether the test subject is in a serious condition beyond confirmation. That is, the processor 110 may determine that the test subject is in a serious condition when the concentration of the detection target collected from the test subject is higher than the second threshold concentration 1708.
  • the first critical concentration 1707 and the second critical concentration 1708 may be predetermined reference values based on statistical data.
  • the processor 110 can determine the infection section of the test target using the concentration at the current time and the concentration at the previous time, based on the time interval between the current time and the previous time and the difference between the concentration value at the current time and the concentration at the previous time.
  • the infection section of the test target can be determined by further considering the slope value calculated as .
  • the processor 110 may predict the user's infection time using at least one of the determined infection section of the test target, reference graph data, and a slope value based on the concentration at the current time and the concentration at the previous time.
  • Infection status information may include the predicted time of infection.
  • This application also provides computer storage media.
  • Program instructions are stored in the computer storage medium, and when the program instructions are executed by the processor, the above-described method of generating infection status information is realized.
  • the computer storage medium may be a U disk, SD card, PD optical drive, mobile hard disk, high-capacity floppy drive, flash memory, multimedia memory card, server, etc., but is not necessarily limited thereto.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 다양한 실시예에 따르면, 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법을 적용함으로써 사용자에 의하여 사용된 진단 키트의 영상을 입력받고, 진단 키트 이미지를 다양한 방식으로 증강한 데이터 세트를 이용하여 학습한 딥러닝 모델에 입력 영상을 적용하여 입력 영상으로부터 질병에 대한 사용자의 감염 상태 정보를 생성하여 제공할 수 있다.

Description

영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법
본 발명은 감염 상태 정보 생성 장치 및 방법에 관한 것이다. 보다 상세하게는, 본 발명은 입력한 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법에 관한 것이다. 본 발명의 연구는 과학기술정보통신부의 재원으로 한국연구재단의 재원을 받아 수행된 원천기술개발사업인 '전처리 강화된 COVID-19 현장 스크리닝용 고민감도 홈키트(No. 2021M3E5E3080741)'와 관련된다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
진단 키트는 일부 질병을 신속하고 간편하게 진단할 목적으로 화학적 반응을 이용하여 만든 검사 기구이다. 진단 키트는 정확하고, 신뢰할 수 있는 다른 진단 방법과 달리 특수한 검사 시설이나 전문가가 필요하지 않으며 신속하게 감염 여부를 진단할 수 있도록 만들어진 검사 기구이다. 진단 키트는 가격이 저렴하고, 사용 장소에 구애받지 않으며, 쉽게 사용할 수 있고, 15-30분 이내에 진단 결과를 알 수 있다는 장점이 있다.
진단 키트는 사용자가 진단 키트를 사용한 후에 진단 키트의 윈도우의 테스트 라인(Test Line) 영역과 컨트롤 라인(Control Line) 영역에 나타나는 결과선이 육안으로 식별할 수 있을 정도로 뚜렷하게 나타나지 않는 경우가 많아 비전문가인 사용자가 확진 여부를 판정하기 어렵다는 문제점이 있다.
테스트 라인 영역에 나타나는 결과선이 육안으로 식별하기 어려운 경우라도 비전문가인 일반 사용자가 양성 여부를 명확하게 인지할 수 있도록 감염 상태 정보를 생성하여 제공할 수 있는 기술의 연구 개발이 필요한 실정이다.
(특허문헌 0001) 대한민국 등록특허공보 제10-1589673호(2016.01.22.)
본 발명이 이루고자 하는 목적은, 사용자에 의하여 사용된 진단 키트의 영상을 입력받고, 진단 키트 이미지를 다양한 방식으로 증강한 데이터 세트를 이용하여 학습한 딥러닝 모델에 입력 영상을 적용하여 입력 영상으로부터 질병에 대한 사용자의 감염 상태 정보를 생성하여 제공하는 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법을 제공하는데 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 컴퓨팅 장치는, 영상 정보를 기반으로 감염 상태 정보를 생성하는 컴퓨팅 장치는, 상기 감염 상태 정보를 생성하기 위한 하나 이상의 프로그램을 저장하는 메모리; 및 상기 하나 이상의 프로그램에 따라 상기 감염 상태 정보를 생성하기 위한 동작들을 수행하는 하나 이상의 프로세서;를 포함하고, 상기 프로세서에 의하여 수행되는 동작들은, 검사 대상으로부터 추출된 시료(sample)가 적용된 진단 키트에 대한 입력 영상을 수신하는 단계; 상기 입력 영상에서 상기 검사 대상과 관련되는 메인 영역을 결정하고, 상기 메인 영역을 포함하도록 둘러싸는 서브 영역을 결정하는 단계; 및 상기 서브 영역을 기계학습 모델(machine-learned model)에 적용하여 상기 검사 대상에 대한 상기 감염 상태 정보를 생성하여 출력하는 단계;를 포함한다.
상기 메인 영역은, 상기 검사 대상의 감염 상태에 따라 컬러가 변화하는 테스트 라인(Test Line)을 포함하는 영역인 것을 특징으로 한다.
상기 감염 상태 정보는, 상기 검사 대상의 감염 여부를 나타내는 감염 정보 또는 상기 테스트 라인의 컬러 변화를 기반으로 예측한 상기 검사 대상에 포함된 검출 타겟의 농도를 포함하는 것을 특징으로 한다.
상기 진단 키트에 대한 입력 영상을 수신하는 것은, 현재 시점에서 촬영된 입력 영상과 이전 시점에 촬영된 입력 영상을 포함하는 복수의 입력 영상들을 수신하는 것이고, 상기 감염 상태 정보를 생성하여 출력하는 단계는, 상기 복수의 입력 영상을 기반으로 하여 생성된 복수의 검출 타겟의 농도를 이용하여 감염 상태 추이에 대한 정보를 생성하여 출력하는 것을 특징으로 한다.
상기 감염 상태 정보를 생성하여 출력하는 단계는, 상기 현재 시점의 검출 타겟의 농도가 이전 시점의 농도보다 증가한 경우, 상기 현재 시점의 감염 상태에 대한 제1 메시지를 제공하고, 상기 현재 시점의 검출 타겟의 농도가 이전 시점의 농도보다 감소한 경우, 상기 현재 시점의 감염 상태에 대한 제2 메시지를 제공하는 것을 특징으로 한다.
상기 기계학습 모델은, 복수의 트레이닝 데이터와 상기 복수의 트레이닝 데이터를 기반으로 변환된 변환 트레이닝 데이터를 포함하는 증강 데이터 세트를 이용하여 학습된 것을 특징으로 한다.
상기 변환 트레이닝 데이터는, 상기 트레이닝 데이터를 블러(blur)처리한 제1 변환 트레이닝 데이터, 상기 트레이닝 데이터를 크기 조정한 제2 변환 트레이닝 데이터, 상기 트레이닝 데이터를 왜곡하여 생성한 제3 변환 트레이닝 데이터, 상기 트레이닝 데이터를 회전시킨 제4 변환 트레이닝 데이터, 상기 트레이닝 데이터의 밝기를 조절한 제5 변환 트레이닝 데이터, 상기 트레이닝 데이터의 주위 환경을 변화시킨 제6 변환 트레이닝 데이터 및 상기 트레이닝 데이터의 색온도를 조정한 제7 변환 트레이닝 데이터로 이루어진 그룹으로부터 선택되는 적어도 하나를 포함하는 것을 특징으로 한다.
상기 서브 영역을 결정하는 것은, 상기 테스트 라인에 해당하는 영역을 포함하고, 컨트롤 라인(Control Line)에 해당하는 영역을 제외하도록 결정하는 것을 특징으로 한다.
상기 감염 상태 정보를 생성하여 출력하는 단계는, 상기 컨트롤 라인에 해당하는 영역을 기반으로 상기 진단 키트의 정상 여부를 판단하고, 상기 정상 여부에 대한 정보를 생성하여 출력하는 것을 특징으로 한다.
상기 프로세서는, 모바일 어플리케이션을 활성화하고 상기 활성화된 모바일 어플리케이션을 통해 상기 동작들을 수행하는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 컴퓨팅 장치에 의해 수행되는 감염 상태 정보 생성 방법은, 검사 대상으로부터 추출된 시료(sample)가 적용된 진단 키트에 대한 입력 영상을 수신하는 단계; 상기 입력 영상에서 상기 검사 대상과 관련되는 메인 영역을 결정하고, 상기 메인 영역을 포함하도록 둘러싸는 서브 영역을 결정하는 단계; 및 상기 서브 영역을 기계학습 모델(machine-learned model)에 적용하여 상기 검사 대상에 대한 상기 감염 상태 정보를 생성하여 출력하는 단계;를 포함할 수 있다.
상기 메인 영역은, 상기 검사 대상의 감염 상태에 따라 컬러가 변화하는 테스트 라인(Test Line)을 포함하는 영역인 것을 특징으로 한다.
상기 감염 상태 정보는, 상기 검사 대상의 감염 여부를 나타내는 감염 정보 또는 상기 테스트 라인의 컬러 변화를 기반으로 예측한 상기 검사 대상에 포함된 검출 타겟의 농도를 포함하는 것을 특징으로 한다.
상기 서브 영역을 결정하는 것은, 상기 테스트 라인에 해당하는 영역을 포함하고, 컨트롤 라인(Control Line)에 해당하는 영역을 제외하도록 결정하는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 컴퓨터 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 저장되어 상기한 감염 상태 정보 생성 방법 중 어느 하나를 컴퓨터에서 실행시킨다.
이상에서 설명한 바와 같이 본 발명의 일 실시예에 따르면, 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법을 적용함으로써 사용자에 의하여 사용된 진단 키트의 영상을 입력받고, 진단 키트 이미지를 다양한 방식으로 증강한 데이터 세트를 이용하여 학습한 딥러닝 모델에 입력 영상을 적용하여 입력 영상으로부터 질병에 대한 사용자의 감염 상태 정보를 생성하여 제공할 수 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치와 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치를 포함하는 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치가 메인 영역과 서브 영역을 결정하는 것을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 이용하는 기계학습 모델을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 데이터 세트로 이용되는 진단 키트 이미지에 대하여 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 이용하는 딥러닝 모델과 데이터 세트 증강에 대하여 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 성능을 전문가 및 일반인의 진단 키트 사용 결과 식별 능력과 비교한 데이터를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 성능을 전문가 및 일반인의 식별 능력과 비교한 데이터를 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 이용하는 기계학습 모델을 학습하는데 이용한 데이터 세트에 따른 성능 차이와 진단 키트를 서로 다른 진단 방식으로 적용한 것에 따른 성능 차이를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 양성 판정 성능을 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 시료의 농도에 따른 검출 타겟 농도 예측 성능과 시간간격을 두고 획득한 입력 영상으로부터 획득한 검출 타겟의 농도 예측 결과를 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 검출 타겟의 농도 예측 성능과 일반인과 전문가의 검출 타겟 농도 예측 능력을 비교한 도면이다.
도 12는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치가 모바일 장치에 적용된 경우에 대한 예시적인 도면이다.
도 13은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 사용자에게 전시하는 결과 화면을 예시적으로 나타내는 도면이다.
도 14는 본 발명의 일 실시예에 따른 감염 상태 정보 생성 방법을 설명하기 위한 흐름도이다.
도 15 내지 도 16은 본 발명의 일 실시예에 따른 감염 상태 정보 생성 방법의 프로세스를 나타내기 위한 블록도이다.
도 17은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 사용자에게 제공하는 감염 상태 추이 정보를 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “가진다”, “가질 수 있다”, “포함한다” 또는 “포함할 수 있다” 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소 들은 상기 용어들에 의해 한정되지는 않는다.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법의 다양한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치와 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치를 포함하는 감염 상태 정보 생성 시스템의 구성을 설명하기 위한 도면이다.
감염 상태 정보 생성 시스템(10)은 컴퓨팅 장치(100) 및 서버(200)를 포함할 수 있다.
영상 정보를 기반으로 감염 상태 정보를 생성하는 장치는 영상 정보를 기반으로 감염 상태 정보를 생성하도록 마련된 컴퓨팅 장치일 수 있다.
도 1을 참조하면, 영상 정보를 기반으로 감염 상태 정보를 생성하도록 마련된 컴퓨팅 장치(100)(이하에서 컴퓨팅 장치라고 함)는 프로세서(110), 메모리(120), 네트워크 인터페이스(130) 및 기계학습 모델(140)을 포함할 수 있다.
프로세서(110)는 컴퓨팅 장치가 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치로 동작하도록 제어할 수 있다. 예컨대, 프로세서(110)는 메모리(120)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있다.
메모리(120)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보는 네트워크 인터페이스(130)를 통해서도 주어질 수 있다. 메모리(120)에 저장된 프로그램은 프로세서(110)에 의해 실행 가능한 명령어(122)의 집합을 포함한다. 일 실시예에서, 메모리(120)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(100)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다. 메모리(120)는 감염 상태 정보를 생성하기 위한 하나 이상의 프로그램을 저장할 수 있다.
메모리(120)는 하나 이상의 프로세서에 의해 액세스될 수 있는 데이터(121)를 저장할 수 있다. 예를 들어, 메모리(120)는 프로세서(110)에 의하여 획득, 수신, 접근, 기입, 조작 가능한 데이터를 생성하거나 저장할 수 있다.
메모리(120)는 컴퓨터 실행 가능 명령어들의 집합의 형태로 마련된 명령(Instruction)(122)을 저장할 수 있다. 명령(122)은 프로그램의 형태로 저장될 수 있고, 프로세서(110)에 의해 실행되는 경우 컴퓨팅 장치(100)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
프로세서(110)는 메모리(120)를 포함하여 통신 버스를 통하여 컴퓨팅 장치(100)의 다른 다양한 컴포넌트들과 상호 연결될 수 있다.
컴퓨팅 장치(100)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 네트워크 인터페이스(130)를 포함할 수 있다. 네트워크 인터페이스(130)는 입출력 인터페이스 및 통신 인터페이스로 동작할 수 있다. 네트워크 인터페이스(130)는 통신 버스에 연결될 수 있다. 입출력 장치(미도시)는 네트워크 인터페이스(130)를 통해 컴퓨팅 장치(100)의 다른 컴포넌트들에 연결될 수 있다.
컴퓨팅 장치(100)는 하나 이상의 기계 학습된 모델(140)을 저장하거나 포함할 수 있다. 예를 들어, 기계 학습 모델(140)은 신경망(e.g., deep neural networks), 지원 벡터 기계, 결정 트리, 앙상블 모델, k-최근접 이웃 모델, 베이지안 네트워크, 선형 모델 및/또는 비선형 모델을 포함하는 다른 유형의 모델 등과 같은 다양한 기계 학습 모델을 포함하거나 저장할 수 있다.
신경 네트워크는 피드 포워드 신경망, 순환 신경망(e.g., long shortterm memory recurrent neural networks), 컨볼루셔널 신경망(CNN), 및/또는 다른 형태의 신경망, 또는 이들의 조합을 포함할 수 있다.
도 1을 참조하면, 서버(200)는 프로세서(210), 메모리(220), 네트워크 인터페이스(230), 기계학습 모델(240), 모델 학습부(250) 및 학습 데이터(260)을 포함할 수 있다.
컴퓨팅 장치(100)와 서버(200)는 클라이언트 - 서버 관계에 따를 수 있다.
프로세서(210)는 서버가 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 서버로 동작하도록 제어할 수 있다. 예컨대, 프로세서(210)는 메모리(220)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있다.
메모리(220)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보는 네트워크 인터페이스(230)를 통해서도 주어질 수 있다. 메모리(220)에 저장된 프로그램은 프로세서(210)에 의해 실행 가능한 명령어(222)의 집합을 포함한다. 일 실시예에서, 메모리(220)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 서버(200)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
메모리(220)는 하나 이상의 프로세서에 의해 액세스될 수 있는 데이터(221)를 저장할 수 있다. 예를 들어, 메모리(220)는 프로세서(210)에 의하여 획득, 수신, 접근, 기입, 조작 가능한 데이터를 생성하거나 저장할 수 있다.
메모리(220)는 컴퓨터 실행 가능 명령어들의 집합의 형태로 마련된 명령(222)을 저장할 수 있다. 명령(222)은 프로그램의 형태로 저장될 수 있고, 프로세서(210)에 의해 실행되는 경우 서버(200)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
프로세서(210)는 메모리(220)를 포함하여 통신 버스를 통하여 서버(200)의 다른 다양한 컴포넌트들과 상호 연결될 수 있다.
서버(200)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 네트워크 인터페이스(230)를 포함할 수 있다. 네트워크 인터페이스(230)는 입출력 인터페이스 및 통신 인터페이스로 동작할 수 있다. 네트워크 인터페이스(230)는 통신 버스에 연결될 수 있다. 입출력 장치(미도시)는 네트워크 인터페이스(230)를 통해 서버(200)의 다른 컴포넌트들에 연결될 수 있다.
서버(200)는 하나 이상의 기계 학습된 모델(240)을 저장하거나 포함할 수 있다. 예를 들어, 기계 학습 모델(240)은 신경망(e.g., deep neural networks), 지원 벡터 기계, 결정 트리, 앙상블 모델, k-최근접 이웃 모델, 베이지안 네트워크, 선형 모델 및/또는 비선형 모델을 포함하는 다른 유형의 모델 등과 같은 다양한 기계 학습 모델을 포함하거나 저장할 수 있다.
서버(200)는 하나 이상의 서버 컴퓨팅 디바이스를 포함할 수 있다. 이러한 서버 컴퓨팅 장치는 예를 들어, 병렬 컴퓨팅 아키텍처 또는 이의 조합일 수 있고, 순차적 컴퓨팅 아키텍처를 포함한 다양한 컴퓨팅 아키텍처에 따라 동작할 수 있다.
모델 학습부(250)는 기계학습 모델(140, 240)을 트레이닝시킬 수 있다. 모델 학습부(250)는 하나 이상의 트레이닝 또는 학습 알고리즘을 이용할 수 있다. 모델 학습부(250)는 라벨링된 학습 데이터 세트(260)를 사용하여 트레이닝을 수행할 수 있으나 반드시 이에 한정되는 것은 아니고 라벨링 되지 않은 학습 데이터 세트(260)를 사용하여 트레이닝을 수행할 수도 있다.
학습 데이터(260)는 모델 학습부(250)가 기계학습 모델(140, 240)을 학습시키기 위하여 필요한 학습 데이터 세트를 포함할 수 있다.
서버(200)는 네트워크(300)를 통하여 컴퓨팅 장치(100)와 통신할 수 있다.
네트워크(300)는 임의의 유형의 네트워크 또는 장치들 간의 통신을 가능하게 하는 네트워크의 조합일 수 있다. 네트워크(300)는 로컬 영역 네트워크, 광역 네트워크, 인터넷, 보안 네트워크, 셀룰러 네트워크, 메쉬 네트워크, 피어 투 피어 통신 링크 중 적어도 하나를 포함할 수 있다.
프로세서(110)는 검사 대상으로부터 추출된 시료(sample)가 적용된 진단 키트에 대한 입력 영상을 수신하고, 입력 영상에서 검사 대상과 관련되는 메인 영역을 결정하고, 메인 영역을 포함하도록 둘러싸는 서브 영역을 결정하고, 서브 영역을 기계학습 모델에 적용하여 검사 대상에 대한 감염 상태 정보를 생성하여 출력할 수 있다.
여기서, 검사 대상은 사람, 동물, 식물을 모두 포괄할 수 있다.
시료는 검사 대상으로부터 채취된 것으로서 검사 대상의 타액, 침, 콧물, 혈액, 소변 등 일 수 있고, 다른 물질과 혼합된 후에 진단 키트에 적용될 수 있는 것이거나 시료 그 자체로 진단 키트에 적용될 수 있는 것일 수 있다.
서버(200)는 컴퓨팅 장치(100)로부터 감염 상태 정보를 수집하여 관리할 수 있다. 컴퓨팅 장치(100)로부터 수집된 감염 상태 정보를 기반으로 병원이나 전문기관에서 사용자의 증상을 정확하게 분석하고 관리하는 것이 가능할 수 있다.
서버(200)는 컴퓨팅 장치(100)로부터 수집된 감염 상태 정보뿐만 아니라 사용자의 개인 정보와 전문가에 의하여 분석된 정보를 저장하여 관리하는 데이터 베이스(미도시)를 이용할 수 있다.
도 1에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치(100)와 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치를 포함하는 시스템(10)와 연결된 일부 블록이 추가, 변경 또는 삭제될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치가 메인 영역과 서브 영역을 결정하는 것을 설명하기 위한 도면이다.
참조부호 400은 진단 키트를 나타내는 것이다. 진단 키트는 사용자로부터 채취된 검사 대상 또는 검사 대상과 혼합된 시료를 통해 사용자의 질병 감염 여부를 판단하는데 이용되는 기기일 수 있다. 진단 키트는 예를 들어, COVID-19 용 진단 키트일 수 있다.
참조부호 410은 사용자가 진단 키트를 사용한 후에 검사 결과를 나타내는 지시선(예를 들어, 테스트 라인, 컨트롤 라인)이 등장하는 윈도우를 나타내는 것이다.
프로세서(110)는 진단 키트(400)의 검사 결과가 나타나는 윈도우(410)의 테스트 라인(Test Line)(411)에 해당하는 영역을 검출하는 방식으로 검사 대상과 관련되는 메인 영역을 결정할 수 있다.
메인 영역은 검사 대상의 감염 상태에 따라 컬러가 변화하는 테스트 라인(Test Line)을 포함하는 영역일 수 있다.
프로세서(110)는 테스트 라인(411)에 해당하는 영역을 포함하고, 컨트롤 라인(Control Line)(413)에 해당하는 영역을 제외하도록 결정하는 방식으로 서브 영역을 결정할 수 있다.
프로세서(110)는 테스트 라인(413)에 해당하는 영역을 포함하고, 윈도우(410)에 해당하는 영역 중에서 컨트롤 라인(413)에 해당하는 영역을 제외하는 영역 일부와 윈도우(410)에 해당하는 영역 외부에 해당하고 진단 키트(400)에 해당하는 영역의 적어도 일부를 포함하도록 서브 영역을 결정할 수 있다.
예를 들어, 프로세서(110)는 윈도우(410)에 해당하는 영역의 절반에 해당하는 영역 중에서 테스트 라인(413)이 위치하는 영역을 서브 영역으로 결정할 수 있고, 여기서, 진단 키트(400)에 해당하는 영역을 더 포함하도록 서브 영역을 결정할 수도 있다.
프로세서(110)는 테스트 라인(411)의 진하기 정도를 기반으로 검사 대상이 양성인지 여부를 판단할 수 있다. 프로세서(110)는 검사 대상의 양성 여부에 대한 정보를 포함하는 감염 상태 정보를 생성하여 출력할 수 있다.
감염 상태 정보는 검사 대상의 감염 여부를 나타내는 감염 정보 또는 테스트 라인(411)의 컬러 변화를 기반으로 예측한 검사 대상에 포함된 검출 타겟의 농도를 포함할 수 있다. 컬러 변화는 테스트 라인의 진하기 정도를 기준으로 결정되는 것일 수 있다.
프로세서(110)는 테스트 라인(411)의 진하기 정도를 기반으로 예측한 검사 대상에 포함된 검출 타겟의 농도 정보를 생성할 수 있다.
진하기 정도는 미리 설정된 기준에 의하여 미리 결정된 기준 단계들로 구분될 수 있다. 예를 들어, 진하기 정도는 진하기 정도가 낮은 순서부터 높은 순서까지 0 단계에서 10 단계까지 총 11개의 단계로 구분될 수 있다. 프로세서(110)는 테스트 라인(411)의 진하기 정도가 미리 결정된 임계 단계(예를 들어, 3 단계) 이상인 경우 양성이라고 판단할 수 있다. 진하기 정도는 채도일 수도 있다.
검출 타겟은 HIV(Human Immunodeficiency Virus), COVID-19 바이러스, 인플루엔자 바이러스 등 다양한 종류의 바이러스 또는 균일 수 있다.
프로세서(110)는 생성된 검출 타겟의 농도 정보를 포함하는 감염 상태 정보를 생성하여 출력할 수 있다.
프로세서(110)는 진하기 정도를 검출 타겟의 농도와 대응시키는 방식으로 검출 타겟의 농도를 예측하고 검출 타겟의 농도 정보를 생성할 수 있다.
예를 들어, 프로세서(110)는 테스트 라인(411)의 진하기 정도가 1단계라고 판단되면 검출 타겟의 농도가 10ng/ml라고 예측할 수 있고, 테스트 라인(411)의 진하기 정도가 10단계라고 판단되면 검출 타겟의 농도가 100ng/ml라고 예측할 수 있다. 즉, 단위 단계 간격 마다 10ng/ml의 농도 간격을 가질 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 이용하는 기계학습 모델을 나타내는 도면이다.
도 3을 참조하면, 본 발명에 따른 감염 상태 정보 생성 방법은 입력받은 영상으로부터 진단 키트를 탐지하는 객체 탐지(object detection) 프로세스 및 입력 이미지로부터 결정된 메인 영역 또는 서브 영역 부분으로부터 검출 타겟의 유무(즉, 양성 여부) 또는 테스트 라인의 진하기 정도를 분류(Classification)하는 프로세스를 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 데이터 세트로 이용되는 진단 키트 이미지에 대하여 설명하기 위한 도면이다.
도 4는 도 3의 참조부호 501에 대응되는 개념일 수 있다.
도 4의 참조부호 601은 입력 영상으로부터 진단 키트 전체를 크롭(crop)한 경우를 나타내는 것이다.
도 4의 참조부호 602은 입력 영상으로부터 테스트 라인과 컨트롤 라인을 모두 포함하도록 크롭한 것을 나타내는 것이다.
도 4의 참조부호 603은 입력 영상으로부터 테스트 라인을 모두 포함하고, 컨트롤 라인을 포함하지 않도록 크롭(crop)한 경우를 나타내는 것이다.
도 4의 (a) 및 (b)는 참조부호 603에 해당하는 경우가 참조부호 602에 해당하는 경우보다 컴퓨팅 장치(100)가 감염 여부를 판단하는 것이 정확하고, 참조부호 602에 해당하는 경우가 참조부호 601에 해당하는 경우보다 컴퓨팅 장치(100)가 감염 여부를 판단하는 것이 정확하다는 것을 나타내는 그래프 데이터이다.
도 5는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 이용하는 딥러닝 모델과 데이터 세트 증강에 대하여 설명하기 위한 도면이다.
도 5의 (a)는 CNN 모델들에 따른 RMSD(Root Mean Square Deviation)를 나타내는 도면이다.
도 5의 (b)는 데이터 세트 종류에 따른 컴퓨팅 장치(100)의 검사 대상의 진단 정확도를 나타내는 도면이다.
Dataset #1은 단일 환경, 단일 조명에서 촬영한 진단 키트 이미지들을 데이터 세트로 한 경우이고, Dataset #2은 dataset #1을 도 5의 (c)의 방식과 같이 증강한 경우이고, Dataset #3은 Dataset #2 다양한 조명에서 촬영한 진단 키트 이미지들을 더 포함한 경우이고, Dataset #4는 Dataset #3에 다양한 조명 및 다양한 환경에서 촬영한 진단 키트 이미지들을 더 포함한 경우이다.
즉, 데이터 세트에 포함된 이미지들의 종류가 다양할수록 컴퓨팅 장치(100)의 성능이 증가하는 것을 확인할 수 있다.
본 발명에서 컴퓨팅 장치(100)가 이용하는 기계학습 모델은 복수의 트레이닝 데이터와 복수의 트레이닝 데이터를 기반으로 변환된 변환 트레이닝 데이터를 포함하는 증강 데이터 세트를 이용하여 학습된 것일 수 있다. 본 발명에서 컴퓨팅 장치(100)가 이용하는 기계학습 모델은 딥러닝 모델일 수 있다.
도 5의 (c)를 참조하면, 학습 데이터(260)는 데이터 세트의 수를 늘리기 위하여 학습 이미지인 사용 전후의 진단 키트 이미지를 블러(blur) 처리하는 방식, 크기 변환하는 방식, 왜곡시키는 방식, 회전시키는 방식, 밝기를 조절하는 방식, 주위 환경을 다르게 하는 방식, 색온도를 다르게 하는 방식 중 적어도 하나의 방식을 이용하여 증강된 데이터 세트를 포함할 수 있다.
즉, 변환 트레이닝 데이터는, 트레이닝 데이터를 블러(blur)처리한 제1 변환 트레이닝 데이터, 트레이닝 데이터를 크기 조정한 제2 변환 트레이닝 데이터, 트레이닝 데이터를 왜곡하여 생성한 제3 변환 트레이닝 데이터, 트레이닝 데이터를 회전시킨 제4 변환 트레이닝 데이터, 트레이닝 데이터의 밝기를 조절한 제5 변환 트레이닝 데이터, 트레이닝 데이터의 주위 환경을 변화시킨 제6 변환 트레이닝 데이터 및 트레이닝 데이터의 색온도를 조정한 제7 변환 트레이닝 데이터로 이루어진 그룹으로부터 선택되는 적어도 하나를 포함할 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 성능을 전문가 및 일반인의 진단 키트 사용 결과 식별 능력과 비교한 데이터를 나타내는 도면이다.
도 6의 (a)는 사용자가 진단 키트를 사용한 이후 검사 결과 판단 성능에 대한 비전문가, 전문가 그리고 컴퓨팅 장치(100)의 예측 성능을 나타내는 수신자 조작 특성(ROC; Receiver operating characteristic) 커브를 나타내는 도면이다.
도 6의 (b)는 교차 반응성(cross-reactivity)를 확인하기 위한 실험 데이터를 나타내는 도면이다.
도 6의 (c)는 검출 타겟의 농도 예측 성능을 나타내는 데이터이다. 실제 농도에 대응하는 색과 예측한 색이 유사한 것을 통해 농도 예측 성능이 뛰어남을 확인할 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 성능을 전문가 및 일반인의 식별 능력과 비교한 데이터를 나타내는 도면이다.
도 7의 (b) 내지 도 7의 (e)는 컴퓨팅 장치(100), 전문가 및 비전문가가 나살(Nasal) 방식으로 사용된 진단 키트의 양성 여부 인식 능력을 블라인트 테스트한 결과를 나타내는 도면이다.
비전문가의 경우 46.4%의 정확도를 나타냈고, dev. 는 7.1이다. 전문가의 경우 63.2%의 정확도를 나타내었고, dev. 는 13.7이다. 본 발명의 경우, 97.5%의 정확도를 나타내었다.
도 7의 (d)는 블라인드 테스트에서 일반인들이 맞춘 실제 이미지, 전문가와 컴퓨팅 장치(100)만 맞춘 이미지, 컴퓨팅 장치(100)만 맞춘 이미지에 대한 도면이다.
도 7의 (e)는 도 7의 (d)의 이미지 중에서 일반인인 비전문가가 식별하지 못한 두번째 이미지 및 비전문가와 전문가가 식별하지 못한 세번째 이미지를 이미지 프로세싱한 것을 나타내는 도면이다.
일반인인 비전문가가 식별하지 못했고, 전문가와 컴퓨팅 장치(100)는 식별할 수 있었던 두번째 이미지의 경우, 육안으로는 식별하기 쉽지 않지만 전문가들은 파악할 수 있을 만큼의 약한 발색이 나타났고, 밝기, 대비를 조절하는 방식으로 이미지 프로세싱한 결과 테스트 라인이 희미하게나마 확인된다.
비전문가와 전문가가 식별하지 못했고, 컴퓨팅 장치(100)는 식별할 수 있었던 세번째 이미지의 경우, 육안으로 감지하기 어렵기에 이미지 프로세싱을 하더라도 차이가 없음을 확인할 수 있다. 즉, 컴퓨팅 장치(100)는 육안으로 감지할 수 없는 진하기 정도의 테스트 라인이 나타나더라도 이를 인지하고 검사 대상이 양성임을 판단할 수 있다.
도 7의 (f) 내지 도 7의 (i)는 컴퓨팅 장치(100), 전문가 및 비전문가가 살리바(Saliva) 방식으로 사용된 진단 키트의 양성 여부 인식 능력을 블라인드 테스트한 결과를 나타내는 도면이다.
비전문가의 경우 85%의 정확도를 나타냈고, dev. 는 7이다. 전문가의 경우 92.5%의 정확도를 나타내었고, dev. 는 5.6이다. 본 발명의 경우, 100%의 정확도를 나타내었다.
도 7의 (h)는 블라인드 테스트에서 일반인들이 맞춘 실제 이미지, 전문가와 컴퓨팅 장치(100)만 맞춘 이미지, 컴퓨팅 장치(100)만 맞춘 이미지에 대한 도면이다.
도 7의 (i)는 도 7의 (h)의 이미지 중에서 일반인인 비전문가가 식별하지 못한 두번째 이미지 및 비전문가와 전문가가 식별하지 못한 세번째 이미지를 이미지 프로세싱한 것을 나타내는 도면이다.
일반인인 비전문가가 식별하지 못했고, 전문가와 컴퓨팅 장치(100)는 식별할 수 있었던 두번째 이미지의 경우, 육안으로는 식별하기 쉽지 않지만 전문가들은 파악할 수 있을 만큼의 약한 발색이 나타났고, 밝기, 대비를 조절하는 방식으로 이미지 프로세싱한 결과 테스트 라인이 희미하게나마 확인된다.
비전문가와 전문가가 식별하지 못했고, 컴퓨팅 장치(100)는 식별할 수 있었던 세번째 이미지의 경우, 육안으로 감지하기 어렵기에 이미지 프로세싱을 하더라도 차이가 없음을 확인할 수 있다. 즉, 컴퓨팅 장치(100)는 육안으로 감지할 수 없는 진하기 정도의 테스트 라인이 나타나더라도 이를 인지하고 검사 대상이 양성임을 판단할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 이용하는 기계학습 모델을 학습하는데 이용한 데이터 세트에 따른 성능 차이와 진단 키트를 서로 다른 진단 방식으로 적용한 것에 따른 성능 차이를 설명하기 위한 도면이다.
도 8의 (a)는 표준샘플(인산생리식염수)에 타겟 물질을 희석한 키트의 이미지 (DL..v2)에 임상샘플을 추가하였을 때 (DL..v3) 더 성능이 좋아짐을 보여주는 그래프이다. 도시된 바와 같이 데이터가 더 많은 경우 컴퓨팅 장치(100)의 성능이 더 우수해짐을 알 수 있다.
도 8의 (b) 내지 도 8의 (c)는 각각 나살 방식과 살리바 방식을 적용하여 사용한 진단 키트 이미지로부터 양성 여부를 진단한 본 발명과 종래의 기술의 성능을 비교한 그래프이다.
도 9는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 양성 판정 성능을 나타내는 도면이다.
도 9는 세포막에서 사용한 샘플을 기반으로 본 발명에 따른 컴퓨팅 장치(100)가 양성 또는 음성을 얼마나 정확하게 판정하는지를 나타내는 컨퓨전 매트릭스(Confusion Matrix)이다.
도 10은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 시료의 농도에 따른 검출 타겟 농도 예측 성능과 시간간격을 두고 획득한 입력 영상으로부터 획득한 검출 타겟의 농도 예측 결과를 나타내는 도면이다.
프로세서(110)가 진단 키트에 대한 입력 영상을 수신하는 것은, 현재 시점에서 촬영된 입력 영상과 이전 시점에 촬영된 입력 영상을 포함하는 복수의 입력 영상들을 수신하는 것일 수 있다.
사용자는 본인의 진단 결과를 확인하기 위하여 진단 키트를 이용하여 복수회에 걸쳐서 자가 진단을 하는 것이 일반적이다. 예를 들어, 사용자는 1일 2회씩 5일 내지 9일 동안 연속적으로 진단 키트를 이용하여 자가 진단을 수행할 수 있다. 이에 대응하여 컴퓨팅 장치(100)는 감염 상태 추이에 대한 정보를 제공할 수 있다.
감염 상태 정보는 감염 상태 추이에 대한 정보를 더 포함할 수 있다.
프로세서(110)는 테스트 라인(411)의 진하기 정도를 기반으로 예측한 검사 대상에 포함된 검출 타겟의 농도 정보를 생성할 수 있다.
프로세서(110)는 진하기 정도를 검출 타겟의 농도와 대응시키는 방식으로 검출 타겟의 농도를 예측하고 검출 타겟의 농도 정보를 생성할 수 있다.
예를 들어, 프로세서(110)는 테스트 라인(411)의 진하기 정도가 1단계라고 판단되면 검출 타겟의 농도가 10ng/ml라고 예측할 수 있고, 테스트 라인(411)의 진하기 정도가 10단계라고 판단되면 검출 타겟의 농도가 100ng/ml라고 예측할 수 있다. 즉, 단위 단계 간격 마다 10ng/ml의 농도 간격을 가질 수 있다. 또한, 프로세서(110)가 테스트 라인(411)의 진하기 정도가 5단계와 6단계의 사이에 해당하는 단계(예를 들어, 5.6 단계)라고 판단하는 경우에 검출 타겟의 농도가 50ng/ml 내지 60ng/ml 사이에 해당하는 농도(예를 들어, 56ng/ml)라고 예측할 수 있음은 당연하다.
프로세서(110)는 서로 다른 시점에 촬영된 복수의 입력 영상을 수신할 수 있다. 프로세서(110)는 복수의 입력 영상을 기반으로 하여 생성된 복수의 검출 타겟의 농도 정보를 이용하여 감염 상태 추이에 대한 정보를 생성하여 출력할 수 있다.
프로세서(110)는 현재 시점의 검출 타겟의 농도가 이전 시점의 농도보다 증가한 경우, 현재 시점의 감염 상태에 대한 제1 메시지를 제공하고, 현재 시점의 검출 타겟의 농도가 이전 시점의 농도보다 감소한 경우, 현재 시점의 감염 상태에 대한 제2 메시지를 제공하는 방식으로 감염 상태 정보를 생성하여 출력할 수 있다.
제1 메시지는 검사 대상이 감염기에 해당한다는 취지의 메시지를 포함할 수 있다. 제1 메시지는 검사 대상이 감염기에 해당하므로 PCR 검사를 추천하는 취지의 메시지를 더 포함할 수 있다.
제2 메시지는 검사 대상이 회복기에 해당한다는 취지의 메시지를 포함할 수 있다.
프로세서(110)는 최초의 입력 영상을 수신한 날짜를 기준으로 1일차로 설정하고, 이후에 입력되는 입력 영상들을 기반으로 검출 타겟의 농도를 예측하고 입력 영상들의 입력 시간 또는 날짜에 대응하는 감염 상태 추이 정보를 생성하여 출력할 수 있다.
도 10의 (a)는 컴퓨팅 장치(100)가 한 환자에 대한 샘플을 인산완충생리식염수(PBS; Phosphate Buffered Saline)로 희석함에 따라 예측한 농도가 점차 낮아지는 것을 보여주는 도면이다.
도 10의 (b)는 컴퓨팅 장치(100)가 생성한 감염 상태 추이 정보와 PCR 검사 결과의 추이 정보를 나타내는 그래프이다. 도 10의 (b)를 참조하면, 컴퓨팅 장치(100)에 의하여 생성된 감염 상태 추이 정보와 PCR 검사 결과가 실질적으로 유사한 추이를 나타내는 것을 확인할 수 있다.
도 10의 (b)를 참조하면, 사용자가 감염되고 나서 시간이 지남에 따라 체내에 포함된 검출 타겟의 농도가 점차적으로 줄어든다는 것을 확인할 수 있다.
도 11은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치의 검출 타겟의 농도 예측 성능과 일반인과 전문가의 검출 타겟 농도 예측 능력을 비교한 도면이다.
도 11은 진단 키트에 적용된 검사 대상 샘플의 농도와 비전문가, 전문가, 컴퓨팅 장치(100)가 진단 키트의 영상으로부터 예측한 농도를 비교한 그래프이다. Y=X 그래프에 근접할수록 예측을 잘 한 것으로 판단할 수 있다.
도 11을 참조하면, 일반인이 육안으로 양성임을 판정할 수 있는 가장 낮은 농도(LOD)는 1.25 ng/ml이고, 전문가가 육안으로 양성임을 판정할 수 있는 가장 낮은 농도는 0.62 ng/ml이고, 딥러닝을 이용한 본 발명에 따른 컴퓨팅 장치(100)는 0.15 ng/ml까지 양성으로 판정할 수 있었다.
도 12는 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치가 모바일 장치에 적용된 경우에 대한 예시적인 도면이다.
도 13은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 사용자에게 전시하는 결과 화면을 예시적으로 나타내는 도면이다.
본 발명에 따른 컴퓨팅 장치(100)는 입력 영상을 분석하여 진단 키트에 적용된 검사 대상이 양성인지 여부를 판단하기 위한 전자 장치로, 예를 들어, 스마트폰, 태블릿 PC, 데스크탑 PC 등 다양한 종류의 휴대용 단말장치 등을 포괄할 수 있다. 이에 따라, 프로세서(110)는 모바일 어플리케이션을 활성화하고 활성화된 모바일 어플리케이션을 통해 동작들을 수행할 수 있다.
도 12의 (a)를 참조하면, 사용자는 컴퓨팅 장치(100)를 사용하여 검사 대상을 적용한 진단 키트의 이미지를 촬영할 수 있다. 도 12의 (a)에 도시된 바와 같이 사용자는 카메라가 탑재된 컴퓨팅 장치(100)를 이용하여 직접적으로 진단 키트 영상을 획득할 수 있으나, 본 발명은 이에 한정되는 것은 아니고, 컴퓨팅 장치(100)는 외부 장치를 이용하여 획득한 진단 키트 영상을 수신할 수도 있다.
도 12의 (b)를 참조하면, 사용자는 컴퓨팅 장치(100)를 통해 본 발명에 따른 동작들을 수행하기 위한 모바일 어플리케이션을 활성화할 수 있다. 모바일 어플리케이션은 사용자의 조작에 대응하여 컴퓨팅 장치(100)에 저장된 입력 영상을 활성화하여 동작할 수 있고, 사용자는 활성화된 모바일 어플리케이션을 통하여 진단 키트를 촬영할 수도 있다.
사용자는 활성화된 모바일 어플리케이션에 자신의 증상(예를 들어, 열, 기침, 콧물 증상, 가래 등), 성별, 나이, 신장, 체중, 진단 키트 사용 시기 등의 정보를 입력하고, 컴퓨팅 장치(100)는 사용자가 입력한 다양한 종류의 정보를 포함하여 감염 상태 정보를 생성할 수 있다.
도 12의 (c)를 참조하면, 컴퓨팅 장치(100)는 모바일 어플리케이션을 통하여 활성화한 입력 영상을 기반으로 동작하여 감염 상태 정보를 생성할 수 있고, 생성한 감염 상태 정보는 컴퓨팅 장치(100)의 디스플레이부(150)를 통하여 사용자에게 전시될 수 있다. 컴퓨팅 장치(100)는 컴퓨팅 장치(100)에 포함된 디스플레이부(150)를 통하여 사용자에게 감염 상태 정보를 전시할 수 있고, 외부 장치로 감염 상태 정보를 전송하여 외부 장치가 사용자에게 감염 상태 정보를 전시하도록 할 수도 있다.
프로세서(110)는 입력 영상으로부터 컨트롤 라인에 해당하는 컨트롤 라인에 해당하는 영역을 기반으로 진단 키트의 정상 여부를 판단하고, 정상 여부에 대한 정보를 생성하여 출력할 수 있다. 정상 여부에 대한 정보는 감염 상태 정보와 함께 전시될 수 있다.
프로세서(110)는 입력 영상에 포함된 진단 키트에 컨트롤 라인과 테스트 라인이 모두 인식되지 않은 경우, 테스트 라인은 나타나지만 컨트롤 라인은 인식되지 않는 경우, 진단 키트가 고장이라고 판단할 수 있다.
도 13을 참조하면, 컴퓨팅 장치(100)는 도 10을 통하여 설명한 바와 같이 감염 상태 추이에 대한 정보를 생성하고, 생성된 감염 상태 추이에 대한 정보를 포함하는 감염 상태 정보를 사용자에게 전시할 수 있다. 감염 상태 추이에 대한 정보는 도 13에 도시된 바와 같이 X축이 날짜에 대한 정보를 나타내고, Y축이 검출 타겟의 농도에 대한 정보를 나타낼 수 있다.
이 경우, 프로세서(110)는 22/09/01부터 22/09/04까지는 감염기라고 판단하고, 22/09/04이후부터 22/09/09까지는 회복기라고 판단하고, 판단된 정보를 감염 상태 정보에 포함하여 사용자에게 전시할 수 있다.
도 13에 도시된 바와 같이, 컴퓨팅 장치(100)는 진단 키트를 통해 사용자가 양성이라고 판단되는 경우, PCR(Polymerase Chain Reaction) 검사를 추천하는 취지의 메시지를 전시할 수 있다.
컴퓨팅 장치(100)는 생성한 감염 상태 정보를 전문 의료 기관으로 전송할 수도 있다.
도 14는 본 발명의 일 실시예에 따른 감염 상태 정보 생성 방법을 설명하기 위한 흐름도이다.
감염 상태 정보 생성 방법은 영상 정보를 기반으로 감염 상태 정보를 생성하는 컴퓨팅 장치에 의하여 수행될 수 있다.
S100 단계에서, 프로세서는 검사 대상으로부터 추출된 시료(sample)가 적용된 진단 키트에 대한 입력 영상을 수신하는 단계를 수행할 수 있다.
S200 단계에서, 프로세서는 입력 영상에서 검사 대상과 관련되는 메인 영역을 결정하고, 메인 영역을 포함하도록 둘러싸는 서브 영역을 결정하는 단계를 수행할 수 있다.
S300 단계에서, 프로세서는 서브 영역을 기계학습 모델에 적용하여 검사 대상에 대한 감염 상태 정보를 생성하여 출력하는 단계를 수행할 수 있다.
도 14에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 14에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
도 15 내지 도 16은 본 발명의 일 실시예에 따른 감염 상태 정보 생성 방법의 프로세스를 나타내기 위한 블록도이다.
도 17은 본 발명의 일 실시예에 따른 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치에서 사용자에게 제공하는 감염 상태 추이 정보를 설명하기 위한 도면이다.
컴퓨팅 장치(100)는 도 10을 통하여 설명한 바와 같이 감염 상태 추이에 대한 정보를 생성하고, 생성된 감염 상태 추이에 대한 정보를 포함하는 감염 상태 정보를 사용자에게 전시할 수 있다.
프로세서(110)는 현재 시점의 검출 타겟의 농도가 이전 시점의 농도보다 증가한 경우, 현재 시점의 감염 상태에 대한 제1 메시지를 제공하고, 현재 시점의 검출 타겟의 농도가 이전 시점의 농도보다 감소한 경우, 현재 시점의 감염 상태에 대한 제2 메시지를 제공하는 방식으로 감염 상태 정보를 생성하여 출력할 수 있다.
감염 상태 추이에 대한 정보는 제1 메시지 또는 제2 메시지를 포함할 수 있다.
도 17은 질병(예를 들어, 코로나 바이러스)에 감염된 후 시간에 따라 검출되는 바이러스의 농도를 나타내는 기준 그래프 데이터이다.
시간에 따라 감염자로부터 채취한 바이러스 농도에 대한 기준 그래프 데이터는 통계적인 데이터일 수 있고, 미리 알려진 데이터를 기반으로 생성된 데이터로서 컴퓨팅 장치(100)에 미리 저장된 것일 수 있다.
프로세서는 현재 시점의 농도와 이전 시점의 농도를 이용하여 검사 대상의 감염 상태 추이 정보를 사용자에게 제공하기 위하여 기준 그래프 데이터와 비교하는 방식으로 검사 대상이 어느 감염 구간에 해당하는지를 결정할 수 있다.
검사 대상의 감염 구간은 예비 구간(1701), 제1 감염 구간(1702), 제2 감염 구간(1703), 제3 감염 구간(1704), 제4 감염 구간(1705) 및 상태 호전 구간(1706)을 포함할 수 있다.
예를 들어, 프로세서(110)는 현재 시점의 농도가 이전 시점의 농도보다 높고, 현재 시점의 농도가 제1 임계농도(1707) 이하인 경우, 검사 대상이 예비 구간(1701)에 해당하는 것으로 판단할 수 있다. 이 경우, 제1 메시지는 검사 대상이 아직 감염된 것은 아니지만 감염이 예상된다는 취지의 메시지를 포함할 수 있다.
프로세서(110)는 현재 시점의 농도가 이전 시점의 농도보다 높고, 현재 시점의 농도가 제1 임계농도(1707) 이상이고, 제2 임계농도(1708) 이하인 경우, 검사 대상이 제1 감염 구간(1702)에 해당하는 것으로 판단할 수 있다. 이 경우, 제1 메시지는 검사 대상이 감염된 상태이며, 감염 초기 상태로 예상된다는 취지의 메시지를 포함할 수 있다.
프로세서(110)는 현재 시점의 농도가 이전 시점의 농도보다 높고, 현재 시점의 농도가 제2 임계농도(1708) 이상인 경우, 검사 대상이 제2 감염 구간(1703)에 해당하는 것으로 판단할 수 있다. 이 경우, 제1 메시지는 검사 대상이 감염된 상태일 가능성이 매우 높고, 전문기관의 치료가 필요한 상태일 수 있다는 취지의 메시지를 포함할 수 있다.
프로세서(110)는 현재 시점의 농도가 이전 시점의 농도보다 낮고, 현재 시점의 농도가 제2 임계농도(1708) 이상인 경우, 검사 대상이 제3 감염 구간(1704)에 해당하는 것으로 판단할 수 있다. 이 경우, 제2 메시지는 검사 대상이 감염된 상태일 가능성이 매우 높지만, 상태가 호전되고 있다는 취지의 메시지를 포함할 수 있다.
프로세서(110)는 현재 시점의 농도가 이전 시점의 농도보다 낮고, 현재 시점의 농도가 제1 임계농도(1707) 이상이고, 제2 임계농도(1708) 이하인 경우, 검사 대상이 제4 감염 구간(1705)에 해당하는 것으로 판단할 수 있다. 이 경우, 제2 메시지는 검사 대상이 감염 후기 상태로 예상된다는 취지의 메시지를 포함할 수 있다.
프로세서(110)는 현재 시점의 농도가 이전 시점의 농도보다 낮고, 현재 시점의 농도가 제1 임계농도(1707) 이하인 경우, 검사 대상이 상태 호전 구간(1706)에 해당하는 것으로 판단할 수 있다. 이 경우, 제2 메시지는 검사 대상이 감염된 상태가 아니며 감염 상태가 호전되었고 일상 생활이 가능하다는 취지의 메시지를 포함할 수 있다.
여기서, 제1 임계농도(1707)는 검사 대상의 확진 여부를 판단하기 위한 기준농도일 수 있다. 즉, 프로세서(110)는 검사 대상으로부터 채취한 검출 타겟의 농도가 제1 임계농도(1707) 이상인 경우 검사 대상이 확진이라고 판단할 수 있다.
제2 임계농도(1708)은 검사 대상이 확진을 넘어서 중증 상태에 해당하는지 여부를 판단하기 위한 기준농도일 수 있다. 즉, 프로세서(110)는 검사 대상으로부터 채취한 검출 타겟의 농도가 제2 임계농도(1708) 이상인 경우 검사 대상이 중증 상태라고 판단할 수 있다.
제1 임계농도(1707)와 제2 임계농도(1708)는 통계적인 데이터를 기반으로 미리 결정된 기준값들일 수 있다.
프로세서(110)는 현재 시점의 농도와 이전 시점의 농도를 이용하여 검사 대상의 감염 구간을 결정할 수 있고, 현재 시점과 이전 시점의 시간 간격 및 현재 시점의 농도와 이전 시점의 농도 값의 차이를 기반으로 산출되는 기울기값을 더욱 고려하여 검사 대상의 감염 구간을 결정할 수도 있다.
프로세서(110)는 결정된 검사 대상의 감염 구간, 기준 그래프 데이터, 현재 시점 농도와 이전 시점 농도를 기반으로 하는 기울기값 중 적어도 하나를 이용하여 사용자의 감염 시점을 예측할 수 있다. 감염 상태 정보는 예측된 감염 시점을 포함할 수 있다.
본 출원은 컴퓨터 저장 매체도 제공한다. 컴퓨터 저장 매체에는 프로그램 명령이 저장되어 있고, 프로세서에 의해 프로그램 명령이 실행되면, 상술한 감염 상태 정보 생성 방법이 실현된다.
본 발명의 일 실시예에 따른 컴퓨터 저장 매체는 U디스크, SD카드, PD광학 드라이브, 모바일 하드 디스크, 대용량 플로피 드라이브, 플래시 메모리, 멀티미디어 메모리 카드, 서버 등일 수 있지만 반드시 이에 한정되는 것은 아니다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록 매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록 매체로서는 자기기록매체, 광 기록매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
< 부호의 설명 >
100: 컴퓨팅 장치
110: 프로세서
120: 메모리
130: 네트워크 인터페이스
140: 기계학습 모델
200: 서버
300: 네트워크

Claims (15)

  1. 영상 정보를 기반으로 감염 상태 정보를 생성하는 컴퓨팅 장치에 있어서,
    상기 컴퓨팅 장치는, 상기 감염 상태 정보를 생성하기 위한 하나 이상의 프로그램을 저장하는 메모리; 및 상기 하나 이상의 프로그램에 따라 상기 감염 상태 정보를 생성하기 위한 동작들을 수행하는 하나 이상의 프로세서;를 포함하고, 상기 프로세서에 의하여 수행되는 동작들은,
    검사 대상으로부터 추출된 시료(sample)가 적용된 진단 키트에 대한 입력 영상을 수신하는 단계;
    상기 입력 영상에서 상기 검사 대상과 관련되는 메인 영역을 결정하고, 상기 메인 영역을 포함하도록 둘러싸는 서브 영역을 결정하는 단계; 및
    상기 서브 영역을 기계학습 모델(machine-learned model)에 적용하여 상기 검사 대상에 대한 상기 감염 상태 정보를 생성하여 출력하는 단계;를 포함하는, 컴퓨팅 장치.
  2. 제1항에 있어서,
    상기 메인 영역은,
    상기 검사 대상의 감염 상태에 따라 컬러가 변화하는 테스트 라인(Test Line)을 포함하는 영역인 것을 특징으로 하는, 컴퓨팅 장치.
  3. 제2항에 있어서,
    상기 감염 상태 정보는,
    상기 검사 대상의 감염 여부를 나타내는 감염 정보 또는 상기 테스트 라인의 컬러 변화를 기반으로 예측한 상기 검사 대상에 포함된 검출 타겟의 농도를 포함하는 것을 특징으로 하는, 컴퓨팅 장치.
  4. 제3항에 있어서,
    상기 진단 키트에 대한 입력 영상을 수신하는 것은,
    현재 시점에서 촬영된 입력 영상과 이전 시점에 촬영된 입력 영상을 포함하는 복수의 입력 영상들을 수신하는 것이고,
    상기 감염 상태 정보를 생성하여 출력하는 단계는, 상기 복수의 입력 영상을 기반으로 하여 생성된 복수의 검출 타겟의 농도를 이용하여 감염 상태 추이에 대한 정보를 생성하여 출력하는 것을 특징으로 하는, 컴퓨팅 장치.
  5. 제4항에 있어서,
    상기 감염 상태 정보를 생성하여 출력하는 단계는,
    상기 현재 시점의 검출 타겟의 농도가 이전 시점의 농도보다 증가한 경우, 상기 현재 시점의 감염 상태에 대한 제1 메시지를 제공하고,
    상기 현재 시점의 검출 타겟의 농도가 이전 시점의 농도보다 감소한 경우, 상기 현재 시점의 감염 상태에 대한 제2 메시지를 제공하는 것을 특징으로 하는, 컴퓨팅 장치.
  6. 제1항에 있어서,
    상기 기계학습 모델은,
    복수의 트레이닝 데이터와 상기 복수의 트레이닝 데이터를 기반으로 변환된 변환 트레이닝 데이터를 포함하는 증강 데이터 세트를 이용하여 학습된 것을 특징으로 하는, 컴퓨팅 장치.
  7. 제6항에 있어서,
    상기 변환 트레이닝 데이터는,
    상기 트레이닝 데이터를 블러(blur)처리한 제1 변환 트레이닝 데이터,
    상기 트레이닝 데이터를 크기 조정한 제2 변환 트레이닝 데이터,
    상기 트레이닝 데이터를 왜곡하여 생성한 제3 변환 트레이닝 데이터,
    상기 트레이닝 데이터를 회전시킨 제4 변환 트레이닝 데이터,
    상기 트레이닝 데이터의 밝기를 조절한 제5 변환 트레이닝 데이터,
    상기 트레이닝 데이터의 주위 환경을 변화시킨 제6 변환 트레이닝 데이터 및
    상기 트레이닝 데이터의 색온도를 조정한 제7 변환 트레이닝 데이터로 이루어진 그룹으로부터 선택되는 적어도 하나를 포함하는 것을 특징으로 하는, 컴퓨팅 장치.
  8. 제2항에 있어서,
    상기 서브 영역을 결정하는 것은,
    상기 테스트 라인에 해당하는 영역을 포함하고, 컨트롤 라인(Control Line)에 해당하는 영역을 제외하도록 결정하는 것을 특징으로 하는, 컴퓨팅 장치.
  9. 제8항에 있어서,
    상기 감염 상태 정보를 생성하여 출력하는 단계는,
    상기 컨트롤 라인에 해당하는 영역을 기반으로 상기 진단 키트의 정상 여부를 판단하고, 상기 정상 여부에 대한 정보를 생성하여 출력하는 것을 특징으로 하는, 컴퓨팅 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    모바일 어플리케이션을 활성화하고 상기 활성화된 모바일 어플리케이션을 통해 상기 동작들을 수행하는 것을 특징으로 하는, 컴퓨팅 장치.
  11. 영상 정보를 기반으로 감염 상태 정보를 생성하는 컴퓨팅 장치에 의해 수행되는 감염 상태 정보 생성 방법에 있어서,
    검사 대상으로부터 추출된 시료(sample)가 적용된 진단 키트에 대한 입력 영상을 수신하는 단계;
    상기 입력 영상에서 상기 검사 대상과 관련되는 메인 영역을 결정하고, 상기 메인 영역을 포함하도록 둘러싸는 서브 영역을 결정하는 단계; 및
    상기 서브 영역을 기계학습 모델(machine-learned model)에 적용하여 상기 검사 대상에 대한 상기 감염 상태 정보를 생성하여 출력하는 단계;를 포함하는, 감염 상태 정보 생성 방법.
  12. 제11항에 있어서,
    상기 메인 영역은,
    상기 검사 대상의 감염 상태에 따라 컬러가 변화하는 테스트 라인(Test Line)을 포함하는 영역인 것을 특징으로 하는, 감염 상태 정보 생성 방법.
  13. 제12항에 있어서,
    상기 감염 상태 정보는,
    상기 검사 대상의 감염 여부를 나타내는 감염 정보 또는 상기 테스트 라인의 컬러 변화를 기반으로 예측한 상기 검사 대상에 포함된 검출 타겟의 농도를 포함하는 것을 특징으로 하는, 감염 상태 정보 생성 방법.
  14. 제12항에 있어서,
    상기 서브 영역을 결정하는 것은,
    상기 테스트 라인에 해당하는 영역을 포함하고, 컨트롤 라인(Control Line)에 해당하는 영역을 제외하도록 결정하는 것을 특징으로 하는, 감염 상태 정보 생성 방법.
  15. 제11항 내지 제14항 중 어느 한 항에 기재된 감염 상태 정보 생성 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록 매체에 저장된 컴퓨터 프로그램.
PCT/KR2022/095142 2022-09-16 2022-10-19 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법 WO2024058319A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0117347 2022-09-16
KR20220117347 2022-09-16
KR10-2022-0134365 2022-10-18
KR1020220134365A KR20240038534A (ko) 2022-09-16 2022-10-18 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2024058319A1 true WO2024058319A1 (ko) 2024-03-21

Family

ID=90275414

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/095142 WO2024058319A1 (ko) 2022-09-16 2022-10-19 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2024058319A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101749629B1 (ko) * 2016-06-29 2017-06-28 (주)큐브바이오 스마트 기기를 이용한 암 진단 키트의 색상 판정 장치 및 방법
KR101851265B1 (ko) * 2016-07-06 2018-04-24 에스케이텔레콤 주식회사 진단분석 서비스를 제공하는 기능을 가지는 단말장치와, 진단분석 서비스를 제공하기 위한 프로그램 및 그 프로그램이 기록된 컴퓨터 판독 가능 기록매체
KR20210104857A (ko) * 2018-12-19 2021-08-25 액팀 오와이 현장 진단 테스트 결과의 이미지를 분석하는 시스템 및 방법
WO2021202866A1 (en) * 2020-04-02 2021-10-07 Gauss Surgical, Inc. Image-based analysis of a test kit
KR102422729B1 (ko) * 2018-05-18 2022-07-19 구글 엘엘씨 학습 데이터 증강 정책

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101749629B1 (ko) * 2016-06-29 2017-06-28 (주)큐브바이오 스마트 기기를 이용한 암 진단 키트의 색상 판정 장치 및 방법
KR101851265B1 (ko) * 2016-07-06 2018-04-24 에스케이텔레콤 주식회사 진단분석 서비스를 제공하는 기능을 가지는 단말장치와, 진단분석 서비스를 제공하기 위한 프로그램 및 그 프로그램이 기록된 컴퓨터 판독 가능 기록매체
KR102422729B1 (ko) * 2018-05-18 2022-07-19 구글 엘엘씨 학습 데이터 증강 정책
KR20210104857A (ko) * 2018-12-19 2021-08-25 액팀 오와이 현장 진단 테스트 결과의 이미지를 분석하는 시스템 및 방법
WO2021202866A1 (en) * 2020-04-02 2021-10-07 Gauss Surgical, Inc. Image-based analysis of a test kit

Similar Documents

Publication Publication Date Title
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2017213398A1 (en) Learning model for salient facial region detection
WO2021060899A1 (ko) 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2020119403A1 (zh) 住院数据异常检测方法、装置、设备及可读存储介质
WO2020215681A1 (zh) 指示信息生成方法、装置、终端及存储介质
WO2020078058A1 (zh) 医疗数据异常识别方法、装置、终端及存储介质
WO2020059939A1 (ko) 인공지능 장치
WO2020045848A1 (ko) 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2022005090A1 (ko) 진단 결과를 제공하기 위한 방법 및 장치
WO2017014469A1 (ko) 질병 위험도 예측 방법 및 이를 수행하는 장치
WO2024039120A1 (ko) 센서를 구비한 휴대용 비대면 진단 장치
WO2022050719A1 (ko) 사용자의 치매 정도 결정 방법 및 장치
WO2021010671A2 (ko) 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2022164299A1 (en) Framework for causal learning of neural networks
WO2020122546A1 (ko) 특허와 논문 데이터를 활용한 국가 및 기업들의 과학 기술력 진단 및 예측 방법
WO2024058319A1 (ko) 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법
WO2024080783A1 (ko) 인공지능 기술을 이용하여 pmhc에 대응되는 tcr 정보를 생성하기 위한 방법 및 장치
WO2023128284A1 (ko) 자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 자궁 경부암의 진단에 대한 정보 제공용 디바이스
WO2020032561A2 (ko) 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2023229094A1 (ko) 행동 예측 방법 및 장치
EP4327335A1 (en) Self-sampling management electronic device, self-sampling management method, and computer readable medium storing program to perform the method
WO2023063528A1 (ko) 시간 변동성 기반의 질환 연관성 요인 분석을 통한 질환 발병 정보 생성 장치 및 그 방법
WO2023113452A1 (ko) 인공 지능 기반 의료 텍스트의 노이즈 데이터 필터링 방법, 장치 및 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22958921

Country of ref document: EP

Kind code of ref document: A1