WO2023282612A1 - 복수의 진단 키트의 검사 결과를 자동으로 판독하는 ai 장치 및 그 방법 - Google Patents

복수의 진단 키트의 검사 결과를 자동으로 판독하는 ai 장치 및 그 방법 Download PDF

Info

Publication number
WO2023282612A1
WO2023282612A1 PCT/KR2022/009741 KR2022009741W WO2023282612A1 WO 2023282612 A1 WO2023282612 A1 WO 2023282612A1 KR 2022009741 W KR2022009741 W KR 2022009741W WO 2023282612 A1 WO2023282612 A1 WO 2023282612A1
Authority
WO
WIPO (PCT)
Prior art keywords
class
test result
electronic device
diagnostic kits
image
Prior art date
Application number
PCT/KR2022/009741
Other languages
English (en)
French (fr)
Inventor
김용태
임병완
심재훈
Original Assignee
블록체인랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 블록체인랩스 주식회사 filed Critical 블록체인랩스 주식회사
Publication of WO2023282612A1 publication Critical patent/WO2023282612A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Definitions

  • Embodiments disclosed in this document are related to an AI model that automatically reads test results of a diagnostic kit.
  • Diagnostic kits are widely used as one of the simple and quick diagnostic methods. For example, diagnostic kits are used to test whether a person is infected with a specific disease or not, and whether antibodies are formed. Since the reading of the test result of the diagnostic kit is performed by a person, the person analyzing the result must have basic knowledge such as information on the diagnostic kit and how to read the diagnostic kit. In addition, when the read result needs to be digitized, since the read result is input by a person, an input error may occur in the middle of inputting the result.
  • Various embodiments disclosed in this document intend to provide a technology for generating and providing an AI model capable of automatically reading test results from images of a plurality of diagnostic kits.
  • An electronic device acquires an image of a plurality of diagnostic kits, generates a first image patch including a first partial set of the plurality of diagnostic kits, and A second image patch including a second partial set of diagnostic kits is generated, wherein the first partial set and one or more diagnostic kits included in the second partial set overlap, and a first examination result for the first image patch obtaining a second test result set for the set and the second image patch, and the overlapping test results of one or more diagnostic kits included in the first test result set and the duplicated test results included in the second test result set When the test results of the one or more kits are matched, the first test result set and the second test result set may be set to be determined as final test result sets for the plurality of diagnostic kits.
  • a method is performed by an electronic device, a plurality of user terminals, and a server device, and the server device provides a plurality of users for a plurality of users from the plurality of user terminals.
  • the electronic device Obtaining a test result for each of the one or more diagnostic kits based on an image in which one or more of the diagnostic kits are screened, and acquiring identification information on the one or more diagnostic kits, the electronic device performing the test result and transmitting a test result set including the identification information to the server device, and the server device permits or disallows entry to one or more user terminals corresponding to the one or more diagnostic kits based on the test result set and the user DB. It may include an operation of sending a notification.
  • an electronic device can automatically read test results of a diagnostic kit and computerize the test results.
  • the electronic device can accurately and efficiently read test results for a plurality of diagnostic kits.
  • various effects identified directly or indirectly through this document may be provided.
  • FIG. 1 is a block diagram of an electronic device for reading test results of a diagnostic kit according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method of learning and generating a neural network by an electronic device according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a method of determining a test result for one diagnostic kit according to an embodiment.
  • FIG. 4 is a flowchart illustrating a method of determining test results of a plurality of diagnostic kits according to an embodiment.
  • FIG. 5 is a diagram for explaining a method of reading test results of a plurality of diagnostic kits and obtaining identification information of the diagnostic kits according to an embodiment.
  • FIG. 6 is a flowchart illustrating a method of transmitting to a user whether entry is permitted according to a test result of a diagnostic kit by a system according to an exemplary embodiment.
  • FIG. 1 is a block diagram of an electronic device 100 (hereinafter referred to as electronic device 100) for reading test results of a diagnostic kit according to an embodiment of the present invention.
  • an electronic device 100 may include a memory 110, a processor 120, an input interface 130, a display 140, and a communication interface 150.
  • the memory 110 may include a learning data DB 111 , a neural network model 113 , and a command DB 115 .
  • the learning data DB 111 may include a plurality of images of the diagnostic kit.
  • the image may be obtained through an external server or an external DB, or may be downloaded from the Internet.
  • the neural network model 113 may be an artificial intelligence model learned based on an object detection algorithm that analyzes an input image, detects an object included in the image, and determines a class.
  • the artificial intelligence model may be generated by the operation of the processor 120 to be described later and stored in the memory 110.
  • the command DB 115 may store commands capable of executing the operation of the processor 120 .
  • the command DB 115 may store computer codes for performing operations corresponding to operations of the processor 120 to be described later.
  • the processor 120 may control overall operations of elements included in the electronic device 100, the memory 110, the input interface 130, the display 140, and the communication interface 150.
  • the processor 120 may include a labeling module 121 , a learning module 123 and a learning module 125 .
  • the processor 120 may execute instructions stored in the memory 110 to drive the labeling module 121, the learning module 123, and the learning module 125, and the labeling module 121, the learning module 123 and An operation performed by the learning module 125 may be understood as an operation performed by the processor 120 .
  • the labeling module 121 may label (map) a class corresponding to a test result with respect to an image in which a diagnostic kit is photographed.
  • the labeled image may be used for training of an artificial intelligence model.
  • the labeled image may be stored in the training data DB 111 as training data.
  • the electronic device 100 may acquire an image using a camera (not shown) provided in the electronic device 100 .
  • the electronic device 100 may obtain an image file through an external server or an external DB or obtain an image file on the Internet.
  • the electronic device 100 may obtain labeled learning data.
  • Classes for test results may be classified into positive, negative, and invalid.
  • the learning data is an image of a diagnostic kit and may be understood as data labeled with test results.
  • the learning module 123 may input training data to the neural network model 113 designed based on an object detection algorithm and learn weights for deriving a correlation between an image included in the training data and a class labeled in the image. .
  • the neural network model 113 may determine a class for a newly input image based on a correlation derived through a learning process. For example, the learning module 123 may set an input layer of a neural network designed based on an object detection algorithm to input an image included in training data, and set a class labeled for each image to be input to an output layer.
  • the learning module 123 may generate the neural network model 113 by learning the weights of the neural network to derive a correlation between the images included in the training data and the classes labeled in each of the images.
  • object detection algorithms include R-CNN, SPP-Net*, Fast R-CNN* Faster R-CNN*, R-FCN, FPN, Mask R-CNN, DetectoRS, YOLO, SSD, YOLOv2, RetinaNet, YOLOv3 , CenterNet, EfficientDet-D2, YOLOv4, Swin-L.
  • An artificial intelligence model may refer to an overall model that has problem-solving capabilities and is composed of nodes that form a network by combining synapses.
  • An artificial intelligence model can be defined by a learning process that updates model parameters, which is a weight between layers constituting the model, and an activation function that generates an output value.
  • Model parameters refer to parameters determined through learning, and include weights of layer connections and biases of neurons.
  • hyperparameters mean parameters that must be set before learning in a machine learning algorithm, and include a learning rate, number of iterations, mini-batch size, initialization function, and the like.
  • the purpose of training an AI model can be seen as determining the model parameters that minimize the loss function.
  • the loss function can be used as an indicator for determining optimal model parameters in the learning process of an artificial intelligence model.
  • the learning module 125 may input a new image to the artificial intelligence model for which learning has been completed, and derive a class determined by the artificial intelligence model for the input image as a corresponding inspection result. Accordingly, the learning module 125 may output the inspection result through the display 140 or transmit it to the outside through the communication interface 150 .
  • the input interface 130 may receive a user's input. For example, when labeling a class for training data, a user's input may be received.
  • the display 140 may include a hardware component including a display panel to output an image.
  • the communication interface 150 allows information to be transmitted and received by communicating with an external device (ex. an external server, a user terminal, etc.).
  • the communication interface 150 may include a wireless communication module or a wired communication module.
  • the electronic device 100 may cooperate with an external server and a user terminal through the communication interface 150 to provide a notification service according to a test result. For example, whether or not admission to a specific space (eg, a concert hall or stadium) is permitted may be transmitted to the user.
  • the system including the electronic device 100, an external server, and a user terminal transmits an alarm through the user terminal allowing entry to a user with a negative test result based on the test result, and disallows entry to a user with a positive test result. The alarm may be transmitted through the user terminal.
  • a related embodiment will be described later with reference to FIG. 6 .
  • the electronic device 100 may further include a camera 160 .
  • the electronic device 100 may capture learning data or an image to be read using the camera 160 .
  • FIG. 2 is a flowchart illustrating a method of generating a neural network by the electronic device 100 according to an embodiment of the present invention.
  • the electronic device 100 may acquire a plurality of images of the diagnostic kit.
  • the plurality of images may be labeled with classes corresponding to test results of the diagnostic kit.
  • the electronic device 100 may obtain the plurality of images as learning data.
  • the electronic device 100 may generate the neural network model 113 based on an object detection algorithm and the learning data.
  • the neural network model 113 may be trained to derive a correlation between at least some regions of each image included in the training data and a labeled class.
  • an image 200 of a diagnostic kit having a positive test result is shown, for example.
  • the electronic device 100 may label (map) the test result 'class' to '1 (positive)' for the image 200 in which the diagnostic kit is photographed (S210 and S215).
  • the labeling may be performed based on user input.
  • a user may input information necessary for labeling through the input interface 130, and the electronic device 100 may perform labeling based on the input information.
  • the electronic device 100 may obtain an image on which labeling is completed from an external source (eg, an external server, etc.).
  • the labeled images 200-1 and 300-2 may further include bounding boxes 250 and 255 corresponding to at least a partial region of the diagnostic kit.
  • the first image 200-1 includes a first bounding box 201 corresponding to the entire area of the diagnostic kit.
  • the second image 200-2 includes a second bounding box 203 corresponding to the result display area of the diagnostic kit.
  • the result display area corresponds to a physical area (eg, an area in which a membrane inside the diagnostic kit is exposed through an opening of a housing of the diagnostic kit) indicating test results performed by the diagnostic kit.
  • the first image 250 and the second image 255 are examples of training data for training the neural network.
  • the bounding box 250 can be assigned to the entire area of the diagnostic kit, and class values can be labeled.
  • These plurality of images may be first learning data for learning the first neural network 113-1 for deriving a correlation between the entire area of the diagnostic kit and the labeled class (S220).
  • the electronic device 100 acquires, as first learning data, a plurality of images labeled with classes corresponding to test results of the diagnostic kit for the entire area (first area) of the diagnostic kit, and uses a predetermined object detection algorithm and the first training data. Based on 1 training data, a first neural network model 113-1 for deriving a correlation between the first region of each image included in the first training data and the class may be generated.
  • the electronic device 100 may designate a bounding box 255 in a result display area of the diagnostic kit and label a class value, similar to the second image 200-2, for a plurality of images in which the diagnostic kit is photographed. there is. These plurality of images may be first learning data for learning the second neural network 113-2 for deriving a correlation between the result display area of the diagnostic kit and the labeled class (S225).
  • the electronic device 100 acquires, as second training data, a plurality of images labeled with classes corresponding to test results of the diagnostic kit with respect to the result display area (second area) of the diagnostic kit, and uses a predetermined object detection algorithm and the first training data. 2 Based on the training data, a second neural network model 113-2 may be generated that derives a correlation between the second region of each image included in the second training data and the class.
  • the electronic device 100 uses neural networks 113-1 and 113-2 that derive a correlation between at least some regions 250 and 255 of the image 200 in which the diagnostic kit is captured and the labeled class. ) can be created.
  • the electronic device 100 may designate a bounding box 257 for at least a portion of the result display area of the diagnostic kit and label a class value (S217).
  • the labeled image 200-3 may include a third bounding box 257 corresponding to at least a partial area of the result display area of the diagnostic kit.
  • the result display area of the diagnostic kit includes an area including the 'control line (C)' and an area including the 'test line (T)'.
  • the control line is an index for determining whether a test result is valid, and the test line is an index for indicating whether a test result is negative or positive.
  • the third bounding box 257 may be referred to as a region (third region) including the inspection line.
  • the image including the third bounding box 257 is the first for learning the third neural network 113-3 for deriving a correlation between the labeled class and the region including the control line among the result display areas of the diagnostic kit. It may be learning data (S227).
  • the electronic device 100 may generate a third neural network 113 - 3 that derives a correlation between the third bounding box 257 and the class for an image belonging to class 1 or class 2 .
  • the third neural network 113-3 may be used to increase the accuracy of judgment for the 1st or 2nd class.
  • the shape of the test line may appear in various ways. In some cases, the test line is obvious, but in other cases it is faint or smudged. Such ambiguous cases may be difficult to discern with the human eye.
  • the third neural network 113-3 it is possible to precisely derive a correlation between the 'test line' and positive and negative results. When the test result is read by a person, a more sophisticated test result can be derived.
  • the neural network 113 of the electronic device 100 may include a plurality of neural networks 113-1, 113-2, and 113-3.
  • the plurality of neural networks may be composed of different layers within one neural network.
  • FIG. 3 is a flowchart illustrating a method of determining a test result for one diagnostic kit according to an embodiment.
  • the electronic device 100 may obtain an image of the diagnostic kit (S310).
  • the image may be understood as a newly photographed image of a diagnostic kit for which a test result is to be read.
  • the electronic device 100 may determine the first class corresponding to the test result based on the first area (eg, the first area 350 of FIG. 3 ) corresponding to the entire area of the diagnostic kit in the image ( S320).
  • the electronic device 100 may determine a second class corresponding to a test result based on a second region (eg, the second region 355 of FIG. 3 ) corresponding to a partial region of the diagnostic kit in the image. (S330).
  • the order of operations S320 and S330 is not essential, and operations S320 or S330 may be performed first, and operations S320 and S330 may be performed simultaneously.
  • the electronic device 100 may perform operation S320 using the first neural network 113-1 and may perform operation S330 using the second neural network 113-2.
  • the electronic device 100 may compare the determined first class and second class (S340). If the first class and the second class match, the electronic device 100 may determine the first class as the final class (S350).
  • the electronic device 100 may generate a message requesting retesting.
  • the electronic device 100 may generate a message indicating that the test result is negative. If the class is 2, a message indicating that the test result is positive may be generated.
  • the electronic device 100 may output the generated message through the display unit 140 or transmit it to an external device through the communication interface 150 . Accordingly, the test result of the diagnostic kit may be digitized and stored in the electronic device 100, and the test result may be transmitted in the form of data to an external device that requires the test result.
  • the electronic device 100 compares the class determined based on the entire area of the diagnostic kit with the class determined based on the result display area of the diagnostic kit, and derives the final test result only when both are identical. can do.
  • the electronic device 100 may additionally obtain another image of the diagnostic kit (S310). For example, when an image suitable for reading is not obtained, such as when the resolution of the image is low or the brightness of the image is low, the determination of the inspection result may not be accurate. Accordingly, the electronic device 100 may generate a message requesting re-photographing of the diagnostic kit, output the message through the display unit 140, or transmit the message to an external device through the communication interface 150.
  • the electronic device 100 uses the third neural network 113-3 to generate a third third layer including the inspection line of the result display area.
  • An operation of determining a third class corresponding to the test result may be additionally performed based on the region (eg, the third region 357 of FIG. 3 ).
  • the electronic device 100 may increase reading accuracy by determining the first class as the final class only when the first class, the second class, and the third class match each other.
  • FIG. 4 is a flowchart illustrating a method of determining test results of a plurality of diagnostic kits according to an embodiment.
  • 5 is a diagram for explaining a method of reading test results of a plurality of diagnostic kits and acquiring identification information of the diagnostic kits according to an embodiment.
  • the electronic device 100 may obtain an image in which a plurality of diagnostic kits are photographed (S410).
  • the image is a photographed image of a plurality of diagnostic kits for which test results are to be read.
  • the image may be acquired through an external server or the like, and may be acquired by the electronic device 100 taking a picture using the camera 160 .
  • the electronic device 100 may include a physical space in which a plurality of diagnostic kits can be accommodated.
  • a camera 160 may be provided to face the physical space.
  • the electronic device 100 may generate a first image patch including the first subset of the plurality of diagnostic kits (S420).
  • the electronic device 100 includes the second subset of the plurality of diagnostic kits.
  • a second image patch may be generated (S430).
  • One or more diagnostic kits included in the first subset and the second subset may overlap.
  • the electronic device 100 may configure a plurality of image patches based on images in order to perform a reading procedure quickly and efficiently.
  • an image 500 in which a plurality of diagnostic kits are photographed is shown as an example.
  • the electronic device 100 generates four image patches 500 - 1 , 500 - 2 , 500 - 3 , and 500 - 4 from the image 500 .
  • each of the first image patch 500-1 to the fourth image patch 500-4 includes four diagnostic kits.
  • the sizes of the image patches 500-1, 500-2, 500-3, and 500-4 may be preset.
  • a size optimized for the processing performance of the neural network 113 may be experimentally determined.
  • image patches can be created with a fixed size.
  • the number of diagnostic kits included in the image patch may be different for each image patch.
  • the first image patch 500-1 to the fourth image patch 500-4 may include at least some diagnostic kits redundantly.
  • the electronic device 100 executes reading twice or more for each of the overlapping diagnostic kits.
  • the electronic device 100 can increase the accuracy of test results by repeatedly reading one diagnostic kit.
  • image patches may be generated such that diagnostic kits located at the specific pixel are included in a plurality of image patches.
  • the electronic device 100 may obtain a first inspection result set for the first image patch and a second inspection result set for the second image patch (S440).
  • a test result set may be understood as a set of test result values for a plurality of diagnostic kits included in an image patch.
  • the electronic device 100 determines whether the test results of the duplicated one or more diagnostic kits included in the first test result set match the test results of the duplicated one or more diagnostic kits included in the second test result set. It can be determined (S450). If the test results of the one or more diagnostic kits match, the electronic device 100 may determine the first test result set and the second test result set as the final test result set for the plurality of diagnostic kits (S460). ).
  • the electronic device 100 may read test results of each diagnostic kit included in the first subset or the second subset by the method described above with reference to FIGS. 2 and 3 .
  • the electronic device 100 determines the first region corresponding to the test result based on the entire area (eg, the first bounding box 250 of FIG. 2 ) of each diagnostic kit included in the first subset or the second subset. 1 class can be determined.
  • the electronic device 100 may determine the second class corresponding to the test result based on the result display area (eg, the second bounding box 255 of FIG. 2 ) of each diagnostic kit. When the first class and the second class match, the electronic device 100 may determine the first class as the final class.
  • the electronic device 100 may add the final class to the first test result set or the second test result set.
  • the result display area of each diagnostic kit may include a test line area including a test line.
  • the electronic device 100 determines the inspection result based on the inspection line area when the first class and the second class match and the first class and the second class are previously designated classes. A third class corresponding to may be determined. When the first class and the third class match, the electronic device 100 may determine the first class as the final class.
  • each of the plurality of diagnostic kits may include identifier information corresponding to each diagnostic kit. Since the test is performed on a plurality of diagnostic kits, each diagnostic kit can be configured to include its identifier information.
  • a diagnostic kit 550 and a QR code 551 provided in the diagnostic kit 550 are shown.
  • the QR code 551 may be configured to include identifier information of the diagnostic kit 550.
  • the QR code 551 is an example, and an identification mark including a serial number and a barcode may be used.
  • the electronic device 100 may acquire a first identifier information set corresponding to the first partial set included in the first image patch, and a second identifier information set corresponding to the second partial set. can be obtained.
  • the electronic device 100 obtains the first identifier information set by recognizing the QR codes of a plurality of diagnostic kits included in the first subset, and the plurality of diagnostic kits included in the second subset.
  • the second identifier information set may be obtained by recognizing the QR codes of the kits.
  • the electronic device 100 may transmit the final test result set corresponding to the first identifier information set and the second identifier information set to an external server device.
  • the electronic device 100 causes the external server device to obtain the first identifier information set and the second identifier information set based on the final inspection result corresponding to the first identifier information set and the second identifier information set. It is possible to determine whether access is permitted for corresponding users. An embodiment related to this will be described later with reference to FIG. 6 .
  • the system may include the electronic device 100 , the server device 10 and a plurality of user terminals.
  • 6 shows an arbitrary user terminal 50 among a plurality of user terminals as an example.
  • the server device 10 and the user terminal 50 include a processor (eg, the processor 120 of FIG. 1 , a memory (eg, the memory 110 of FIG. 1 ), a display (eg, the display 140 of FIG. 1 ), A camera (eg, the camera 160 of Fig. 1) may be included.
  • a processor eg, the processor 120 of FIG. 1
  • a memory eg, the memory 110 of FIG. 1
  • a display eg, the display 140 of FIG. 1
  • a camera eg, the camera 160 of Fig. 1
  • the system may provide the notification service as described above for large-scale facilities such as concert halls and stadiums that require many people to enter at the same time.
  • the system may include an electronic device 100, user terminals 50 of a plurality of users who need to enter a large-scale facility, and a server device 10 installed for facility management of a large-scale facility.
  • the server device 10 may map the identifier of the diagnostic kit to be distributed to the user and the received user identifier and store them in a user DB. (S612).
  • the user identifier may be understood as an identifier for a user who owns the user terminal 50 and has to enter the large-scale facility.
  • the user identifier may be, for example, a unique serial number such as a phone number or a resident registration number.
  • the user terminal 50 may output the user identifier through a display, and the server device 10 may acquire the user identifier by tagging the information.
  • the user identifier may be uploaded to the server device 10 through a separate program installed in the user terminal 50 .
  • the user DB may be stored in the memory of the server device 10 .
  • the user DB may include a list of users (participants of large-scale facilities) managed by the server device 10, a list of diagnostic kit identifiers to be distributed to users, and mapping information between specific users and specific diagnostic kits.
  • Mapping information may be understood as information about identification information of a diagnostic kit to be distributed to a specific user.
  • the mapping information may be determined by a manager of the server device 10 (manager of a large-scale facility). For example, a diagnostic kit to be distributed to a specific user may be determined in advance, and mapping information therefor may be previously stored in a user DB.
  • the server device 10 obtains a plurality of user identifiers for a plurality of users from the plurality of user terminals, and obtains the plurality of user identifiers and a plurality of user identifiers to be distributed to the plurality of users.
  • Identification information of diagnostic kits may be mapped and stored in a user DB.
  • the electronic device 100 may generate a test result set including test results and identification information for a plurality of diagnostic kits (S620). For example, the electronic device 100 may read the test results in units of n arbitrary pieces of diagnostic kits distributed to users. At this time, the electronic device 100 may read the test results of the n diagnostic kits based on the image in which the n diagnostic kits are printed. The electronic device 100 may obtain identification information for n diagnostic kits from the images. For example, the electronic device 100 may obtain the identification information based on an identification mark (eg, the QR code 551 of FIG. 5 ) provided in the diagnostic kit.
  • the test result set includes test results and identification information for the n diagnostic kits.
  • the server device 10 may transmit the test result set to the server device 10 (S622).
  • the server device 10 may photograph n diagnostic kits as a unit of examination and transmit the images to the electronic device 100 .
  • the electronic device 100 may take pictures in n units through the camera 160 and perform operations S620 and S622 in units of the captured images.
  • the server device 10 may determine whether to allow or deny entry to a user corresponding to a specific diagnostic kit (S624).
  • the server device 10 may obtain user information mapped to the identifier of the diagnostic kit included in the test result set from the user DB.
  • the server device 10 may map access information on whether admission is permitted or denied to the user information and store it in a user DB.
  • the server device 10 may transmit an alarm of permitting or disallowing admission to a user terminal corresponding to the specific diagnostic kit (S634). Operation S634 may be repeated until admission information is transmitted to all users.
  • the server device 10 may identify the user terminal 50 to which admission information is to be transmitted based on user information stored in the user DB, and transmit a notification to the identified user terminal 50 .
  • the user outputs the user identifier through the user terminal 50 (S630), and the server device 10 may obtain the user identifier by tagging the output screen (S632).
  • the server device 10 may transmit access information corresponding to the user identifier to the user terminal 50 through a short-range communication channel between the user terminals 50 formed during tagging.
  • operations S630 and 632 may be performed when a user enters a large-scale facility and controls the entrance according to the inspection result at the entrance of the facility.
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • first, second, or first or secondary may simply be used to distinguish a given component from other corresponding components, and may be used to refer to a given component in another aspect (eg, importance or order) is not limited.
  • a (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in this document may include a unit implemented by hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of this document may be implemented as software including one or more instructions stored in a storage medium (eg, memory 110) readable by a machine (eg, electronic device 100).
  • a processor eg, the processor 120
  • a device eg, the electronic device 100
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium is a tangible device and does not contain signals (e.g., electromagnetic waves), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • signals e.g., electromagnetic waves
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play Store TM ) or between two user devices ( It can be distributed (eg downloaded or uploaded) online, directly between smartphones.
  • a device-readable storage medium eg compact disc read only memory (CD-ROM)
  • an application store eg Play Store TM
  • It can be distributed (eg downloaded or uploaded) online, directly between smartphones.
  • at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component eg, module or program of the components described above may include a singular entity or a plurality of entities.
  • one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • the actions performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the actions are executed in a different order, or omitted. or one or more other actions may be added.

Abstract

복수의 진단키트들이 촬영된 이미지를 획득하고, 상기 복수의 진단키트들의 제1 부분 집합을 포함하는 제1 이미지 패치를 생성하고, 상기 복수의 진단키트들의 제2 부분 집합을 포함하는 제2 이미지 패치를 생성하되, 상기 제1 부분 집합과 상기 제2 부분 집합에 포함된 하나 이상의 진단키트가 중복됨, 상기 제1 이미지 패치에 대한 제1 검사 결과셋 및 상기 제2 이미지 패치에 대한 제2 검사 결과셋을 획득하고, 및 상기 제1 검사 결과셋에 포함된 상기 중복된 하나 이상의 진단키트의 검사 결과와 상기 제2 검사 결과셋에 포함된 상기 중복된 하나 이상의 진단키트의 검사 결과가 일치하면, 상기 제1 검사 결과셋 및 상기 제2 검사 결과셋을 상기 복수의 진단키트들에 대한 최종 검사 결과셋으로 결정하도록 설정된 전자 장치가 개시된다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

복수의 진단 키트의 검사 결과를 자동으로 판독하는 AI 장치 및 그 방법
본 문서에서 개시되는 실시 예들은, 진단키트의 검사 결과를 자동으로 판독하는 AI 모델과 관련된다.
진단키트는 간단하고 빠른 진단 방법 중 하나로서 널리 활용되고 있다. 예를 들어 진단키트는 특정 질병에의 감염 유무, 항체 형성 여부 등을 검사하는데 활용된다. 진단키트의 검사 결과에 대한 판독은 사람에 의하여 수행되므로, 결과를 분석하는 사람은 진단키트에 대한 정보, 진단키트에 대한 판독 방법과 같은 기초 지식을 가지고 있어야한다. 또한 판독 결과를 디지털화해야하는 경우, 그 판독 결과는 사람에 의하여 입력되므로 입력 도중에 결과에 대한 입력 오류가 발생할 수 있다.
나아가 대규모 집단에 대해 검사가 이루어지는 상황이라면 많은 수의 진단 키트를 동시에 분석해야하고, 그 검사 결과를 전산화하기 위하여 그에 상응하는 대규모 인력이 필요하다. 따라서 검사를 위한 인력, 검사에 소요되는 시간 등 많은 비용이 요구된다.
사람이 육안으로 수행하는 판독 과정, 판독 결과에 대한 보고 과정을 자동화 하고자 한다. 또한 이미지를 기초로 수행되는 기계 학습(machine learning)을 통해 판독 결과에 대한 정확도를 높이고자 한다. 나아가 1회에 여러 개의 진단 키트를 판독하고, 여러 개의 진단 키트의 검사 결과를 전산화 할 수 있도록 하고자 한다.
본 문서에서 개시되는 다양한 실시 예들은, 복수 개의 진단키트들을 촬영한 이미지로부터 자동으로 검사 결과를 판독할 수 있는 AI 모델을 생성 및 제공하는 기술을 제공하고자 한다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 복수의 진단키트들이 촬영된 이미지를 획득하고, 상기 복수의 진단키트들의 제1 부분 집합을 포함하는 제1 이미지 패치를 생성하고, 상기 복수의 진단키트들의 제2 부분 집합을 포함하는 제2 이미지 패치를 생성하되, 상기 제1 부분 집합과 상기 제2 부분 집합에 포함된 하나 이상의 진단키트가 중복됨, 상기 제1 이미지 패치에 대한 제1 검사 결과 셋 및 상기 제2 이미지 패치에 대한 제2 검사 결과 셋을 획득하고, 및 상기 제1 검사 결과셋에 포함된 상기 중복된 하나 이상의 진단키트의 검사 결과와 상기 제2 검사 결과셋에 포함된 상기 중복된 하나 이상의 키트의 검사 결과가 일치하면, 상기 제1 검사 결과셋 및 상기 제2 검사 결과셋을 상기 복수의 진단키트들에 대한 최종 검사 결과셋으로 결정하도록 설정될 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 방법은 전자 장치, 복수의 사용자 단말들, 및 서버 장치에 의하여 수행되고, 상기 서버 장치는 상기 복수의 사용자 단말들로부터 복수의 사용자에 대한 복수의 사용자 식별정보를 획득하고, 상기 복수의 사용자 식별정보와 상기 복수의 사용자 각각에게 배부될 복수의 진단키트에 대한 복수의 진단키트 식별정보를 맵핑하여 사용자 DB에 저장하는 동작, 상기 전자 장치는 상기 복수의 진단키트 중 하나 이상의 진단키트가 활영된 이미지를 기초로, 상기 하나 이상의 진단키트 각각에 대한 검사 결과를 획득하고, 상기 하나 이상의 진단키트에 대한 식별 정보를 획득하는 동작, 상기 전자 장치는 상기 검사 결과 및 상기 식별 정보를 포함한 검사 결과셋을 상기 서버 장치로 전송하는 동작 및 상기 서버 장치는 상기 검사 결과셋과 상기 사용자DB를 기초로 상기 하나 이상의 진단키트에 대응되는 하나 이상의 사용자 단말에 입장 허가 또는 불허가 알림을 전송하는 동작을 포함할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 전자 장치는 진단키트의 검사 결과를 자동으로 판독하고, 검사 결과를 전산화 할 수 있다. 전자 장치는 복수 개의 진단 키트들에 대해 정확하고 효율적으로 검사 결과를 판독할 수 있다. 이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 진단키트의 검사 결과를 판독하는 전자 장치의 블록도이다.
도 2는 본 발명의 일 실시 예에 따라 전자 장치가 신경망을 학습시키고 생성하는 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시 에에 따라 한 개의 진단키트에 대해 검사 결과를 판단하는 방법을 나타내는 순서도이다.
도 4는 일 실시 에에 따라 복수 개의 진단키트의 검사 결과를 판단하는 방법을 나타내는 순서도이다.
도 5는 일 실시 예에 따라 복수 개의 진단키트의 검사 결과 판독하고, 진단키트의 식별 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 시스템이 진단키트의 검사 결과에 따라 입장 허용 여부를 사용자에게 전달하는 방법을 설명한 흐름도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 진단키트의 검사 결과를 판독하는 전자 장치(100)(이하, 전자 장치(100))의 블록도이다.
도 1은 본 발명의 일 실시 예에 따른 진단키트의 검사 결과를 판독하는 전자 장치의 블록도이다. 도 1을 참조하면, 일 실시 예에 따른 전자 장치(100)는 메모리(110), 프로세서(120), 입력 인터페이스(130), 디스플레이(140) 및 통신 인터페이스(150)를 포함할 수 있다.
메모리(110)는 학습 데이터 DB(111), 신경망 모델(113), 및 명령어 DB(115)를 포함할 수 있다.
학습 데이터 DB(111)는 진단키트를 촬영한 복수의 이미지를 포함할 수 있다. 상기 이미지는 외부 서버, 외부 DB를 통해 획득되거나, 인터넷 상에서 다운로드 될 수 있다.
신경망 모델(113)은 입력된 이미지를 분석하고 이미지에 포함된 객체를 감지하고 클래스를 결정하는 객체 감지 알고리즘(object detection algorithm) 기반으로 학습된 인공지능 모델일 수 있다. 인공지능 모델은 후술할 프로세서(120)의 동작에 의하여 생성되고, 메모리(110)에 저장될 수 있다.
명령어 DB(115)는 프로세서(120)의 동작을 수행시킬 수 있는 명령어들을 저장할 수 있다. 예를 들어, 명령어 DB(115)는 후술할 프로세서(120)의 동작들과 대응되는 동작을 수행하도록 하는 컴퓨터 코드를 저장할 수 있다.
프로세서(120)는 전자 장치(100)가 포함하는 구성들, 메모리(110), 입력 인터페이스(130), 디스플레이(140) 및 통신 인터페이스(150)의 전반적인 동작을 제어할 수 있다.
프로세서(120)는 레이블링 모듈(121), 학습 모듈(123) 및 학습 모듈(125)을 포함할 수 있다. 프로세서(120)는 메모리(110)에 저장된 명령어들을 실행해 레이블링 모듈(121), 학습 모듈(123) 및 학습 모듈(125)을 구동시킬 수 있고, 레이블링 모듈(121), 학습 모듈(123) 및 학습 모듈(125)에 의해 수행되는 동작은 프로세서(120)에 의해 수행되는 동작으로 이해될 수 있다.
레이블링 모듈(121)은 진단키트가 촬영된 이미지에 대해 검사 결과에 대응되는 클래스를 레이블링(매핑)할 수 있다. 상기 레이블링된 이미지는 인공지능 모델의 학습에 사용될 수 있다. 상기 레이블링된 이미지는 학습 데이터로서 학습 데이터 DB(111)에 저장될 수 있다.
전자 장치(100)는 전자 장치(100)에 구비된 카메라(미도시)를 이용하여 이미지를 획득할 수 있다. 전자 장치(100)는 외부 서버, 외부 DB를 통해 이미지 파일을 획득하거나 인터넷 상의 이미지 파일을 획득할 수 있다. 다양한 실시 예에서, 전자 장치(100)는 레이블링 된 학습 데이터를 획득할 수 있다.
검사 결과에 대한 클래스는 양성, 음성, 무효로 분류될 수 있다. 예를 들어, 학습 데이터는 진단키트를 촬영한 이미지로서 검사 결과가 레이블링된 데이터로 이해될 수 있다.
클래스 0 1 2
설명 무효 음성 양성
학습 모듈(123)은 객체 감지 알고리즘 기반으로 설계된 신경망 모델(113)에 학습 데이터를 입력하고, 학습 데이터에 포함된 이미지와 상기 이미지에 레이블링된 클래스와의 상관 관계를 도출하는 가중치를 학습시킬 수 있다. 신경망 모델(113)은 학습 과정을 통해 도출된 상관 관계를 기초로 새롭게 입력되는 이미지에 대한 클래스를 결정할 수 있다. 예를 들어, 학습 모듈(123)은 객체 감지 알고리즘을 기초로 설계된 신경망의 입력 레이어에 학습 데이터에 포함된 이미지가 입력되도록 설정하고, 출력 레이어에 이미지 각각에 레이블링된 클래스가 입력되도록 설정할 수 있다. 학습 모듈(123)은 학습 데이터에 포함된 이미지와 상기 이미지 각각에 레이블링된 클래스와의 상관 관계를 도출하도록 신경망의 가중치를 학습시켜 신경망 모델(113)을 생성할 수 있다.객체 감지 알고리즘은 이미지 내에 객체를 감지하고, 객체의 클래스를 분류할 수 있다. 예를 들어, 객체 감지 알고리즘은 R-CNN, SPP-Net*, Fast R-CNN* Faster R-CNN*, R-FCN, FPN, Mask R-CNN, DetectoRS, YOLO, SSD, YOLOv2, RetinaNet, YOLOv3, CenterNet, EfficientDet-D2, YOLOv4, Swin-L을 포함할 수 있다.
인공지능 모델은 시냅스의 결합으로 네트워크를 형성한 노드들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공지능 모델은 모델을 구성하는 레이어 사이의 가중치인, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 레이어 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공지능 모델의 학습 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공지능 모델의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
학습 모듈(125)은 학습이 완료된 인공지능 모델에 신규 이미지를 입력하고, 입력된 이미지에 대하여 인공지능 모델이 결정한 클래스를 해당 검사 결과로서 도출할 수 있다. 이에 따라, 학습 모듈(125)은 검사 결과를 디스플레이(140)를 통해 출력하거나 통신 인터페이스(150)를 통해 외부로 전송할 수 있다.
입력 인터페이스(130)는 사용자의 입력을 수신할 수 있다. 예를 들면, 학습 데이터에 대한 클래스를 레이블링하는 경우 사용자의 입력을 수신할 수 있다.
디스플레이(140)는 디스플레이 패널을 포함하여 화상을 출력하는 하드웨어 구성을 포함할 수 있다.
통신 인터페이스(150)는 외부 장치(ex. 외부 서버, 사용자 단말 등)와 통신하여 정보를 송수신 할 수 있게 한다. 이를 위해, 통신 인터페이스(150)는 무선 통신모듈 또는 유선 통신 모듈을 포함할 수 있다.
일 실시 예에서, 전자 장치(100)는 통신 인터페이스(150)를 통해 외부 서버 및 사용자 단말과 협동하여 검사 결과에 따른 알림 서비스를 제공할 수 있다. 예를 들어, 특정 공간(예: 공연장, 경기장)에 대한 입장 허가 여부가 사용자에게 전달될 수 있다. 전자 장치(100), 외부 서버 및 사용자 단말을 포함하는 시스템은 검사 결과에 기초하여 검사 결과가 음성인 사용자에게 입장을 허용하는 알람을 사용자 단말을 통해 전송하고, 검사 결과가 양성인 사용자에게 입장을 불허용하는 알람을 사용자 단말을 통해 전송할 수 있다. 관련 실시 예는 도 6을 통해 후술 된다.
다양한 실시 예에서, 전자 장치(100)는 카메라(160)를 더 포함할 수 있다. 예를 들어, 전자 장치(100)는 카메라(160)를 이용하여 학습 데이터를 촬영하거나, 판독 대상이 되는 이미지를 촬영할 수 있다.
도 2는 본 발명의 일 실시 예에 따라 전자 장치(100)가 신경망을 생성하는 방법을 설명하기 위한 흐름도이다.
일 실시 예에서, 전자 장치(100)는 진단키트를 촬영한 복수의 이미지를 획득할 수 있다. 복수의 이미지는 상기 진단키트의 검사 결과에 대응되는 클래스가 레이블링될 수 있다. 전자 장치(100)는 상기 복수의 이미지를 학습 데이터로서 획득할 수 있다.
전자 장치(100)는 객체 감지알고리즘 및 상기 학습 데이터에 기초하여 신경망 모델(113)을 생성할 수 있다. 신경망 모델(113)은 학습 데이터에 포함된 각각의 이미지의 적어도 일부 영역과 레이블링된 클래스와의 상관 관계를 도출하도록 학습될 수 있다.
도 2를 참조하면, 검사 결과가 양성인 진단키트가 촬영된 이미지(200)가 예를 들어 도시 되었다. 전자 장치(100)는 진단키트가 촬영된 이미지(200)에 대해 검사 결과인 '클래스'를 '1(양성)'으로 레이블링(맵핑)할 수 있다(S210, S215).
예를 들어, 상기 레이블링은 사용자의 입력에 기초하여 수행될 수 있다. 사용자가 입력 인터페이스(130)를 통해 레이블링에 필요한 정보를 입력할 수 있고, 전자 장치(100)는 입력된 정보에 기초하여 레이블링을 수행할 수 있다. 다른 실시 예에서, 전자 장치(100)는 레이블링이 완료된 이미지를 외부(예: 외부 서버 등)로부터 획득할 수 있다.
레이블링된 이미지(200-1, 300-2)는 진단키트의 적어도 일부 영역 대응되는 바운딩 박스(250, 255)를 더 포함할 수 있다. 도 2에서, 제1 이미지(200-1)은 진단키트의 전체 영역과 대응되는 제1 바운딩 박스(201)를 포함한다. 제2 이미지(200-2)는 진단키트의 결과 표시 영역에 대응되는 제2 바운딩 박스(203)를 포함한다. 상기 결과 표시 영역은 진단키트에 의하여 수행되는 검사 결과를 나타내는 물리적 영역(예: 진단키트 내부의 멤브레인이 진단키트의 하우징의 개구를 통해 노출된 영역)에 대응된다. 제1 이미지(250) 및 제2 이미지(255)는 신경망을 학습시키기 위한 학습 데이터의 일 예시이다.전자 장치(100)는 진단키트가 촬영된 복수의 이미지에 대해, 제1 이미지(200-1)와 마찬가지로, 진단키트의 전체 영역에 바운딩 박스(250)를 지정하고, 클래스 값을 레이블링 할 수 있다. 이러한 복수의 이미지는 진단키트의 전체 영역과 레이블링된 클래스와의 상관 관계를 도출하기 위한 제1 신경망(113-1)을 학습 시키기 위한 제1 학습 데이터가 될 수 있다(S220).
전자 장치(100)는 진단키트의 전체 영역(제1 영역)에 대하여 진단키트의 검사 결과에 대응되는 클래스가 레이블링된 복수의 이미지를 제1 학습 데이터로서 획득하고, 소정의 객체 감지 알고리즘 및 상기 제1 학습 데이터에 기초하여, 상기 제1 학습 데이터에 포함된 각각의 이미지의 제1 영역과 상기 클래스와의 상관 관계를 도출하는 제1 신경망 모델(113-1)을 생성할 수 있다.
전자 장치(100)는 진단키트가 촬영된 복수의 이미지에 대해, 제2 이미지(200-2)와 마찬가지로, 진단키트의 결과 표시 영역에 바운딩 박스(255)를 지정하고, 클래스 값을 레이블링 할 수 있다. 이러한 복수의 이미지는 진단키트의 결과 표시 영역과 레이블링된 클래스와의 상관 관계를 도출하기 위한 제2 신경망(113-2)을 학습 시키기 위한 제1 학습 데이터가 될 수 있다(S225).
전자 장치(100)는 진단키트의 결과 표시 영역(제2 영역)에 대하여 진단키트의 검사 결과에 대응되는 클래스가 레이블링된 복수의 이미지을 제2 학습 데이터로서 획득하고, 소정의 객체 감지 알고리즘 및 상기 제2 학습 데이터에 기초하여, 상기 제2 학습 데이터에 포함된 각각의 이미지의 제2 영역과 상기 클래스와의 상관 관계를 도출하는 제2 신경망 모델(113-2)을 생성할 수 있다.
도 2의 과정을 통해 전자 장치(100)는 진단키트가 촬영된 이미지(200)의 적어도 일부 영역(250, 255)과 레이블링된 클래스와의 상관 관계를 도출하는 신경망(113-1, 113-2)을 생성할 수 있다.
다양한 실시 예에서, 전자 장치(100)는 진단키트의 결과 표시 영역의 적어도 일부 영역에 대하여 바운딩 박스(257)를 지정하고, 클래스 값을 레이블링할 수 있다(S217). 레이블링된 이미지(200-3)는 진단키트의 결과 표시 영역의 적어도 일부 영역에 대응되는 제3 바운딩 박스(257)를 포함할 수 있다. 진단키트의 결과 표시 영역은 '대조선(C)'을 포함하는 영역과 '검사선(T)'을 포함하는 영역을 포함한다. 대조선은 검사 결과가 유효한지 여부를 판단하는 지표이고, 검사선은 검사 결과가 음성 또는 양성인지 여부를 나타내는 지표이다. 제3 바운딩 박스(257)는 검사선을 포함하는 영역(제3 영역)으로 참조될 수 있다.
제3 바운딩 박스(257)를 포함하는 이미지는 진단키트의 결과 표시 영역 중 대조선을 포함하는 영역과 레이블링된 클래스와의 상관 관계를 도출하기 위한 제3 신경망(113-3)을 학습 시키기 위한 제1 학습 데이터가 될 수 있다(S227).
전자 장치(100)는 1 또는 2 클래스에 속하는 이미지에 대하여 제3 바운딩 박스(257)와 클래스와의 상관 관계를 도출하는 제3 신경망(113-3)을 생성할 수 있다. 제3 신경망(113-3)은 1 또는 2 클래스에 대하여 판단 정확도를 높이기 위하여 활용될 수 있다. 진단키트의 검사 결과를 판독할 때, 특히 검사선의 형태가 다양하게 나타날 수 있다. 검사선이 뚜렸한 경우도 있지만, 희미하거나 번지는 경우도 있다. 이러한 애매한 케이스는 사람의 육안으로 식별하기 어려울 수 있다. 상기 제3 신경망(113-3)을 학습시킴으로써, '검사선'과 양성,음성의 결과와의 상관 관계를 정교하게 도출할 수 있다. 사람에 의하여 검사 결과가 판독되는 경우보다 정교한 검사 결과가 도출될 수 있다.
다양한 실시 예에서, 전자 장치(100)의 신경망(113)은 복수의 신경망(113-1, 113-2. 113-3)을 포함할 수 있다. 다양한 실시 예에서 상기 복수의 신경망은 하나의 신경망 내에 서로 다른 레이어로 구성될 수도 있다.
도 3은 일 실시 에에 따라 한 개의 진단키트에 대해 검사 결과를 판단하는 방법을 나타내는 순서도이다.
전자 장치(100)는 진단키트가 촬영된 이미지를 획득할 수 있다(S310). 상기 이미지는 검사 결과가 판독되어야 할 진단키트가 새롭게 촬영된 이미지로 이해될 수 있다.
전자 장치(100)는 상기 이미지의 상기 진단키트의 전체 영역에 대응되는 제1 영역(예: 도 3의 제1 영역(350))에 기초하여 검사 결과에 대응되는 제1 클래스를 결정할 수 있다(S320). 전자 장치(100)는, 상기 이미지의 상기 진단키트의 일부 영역에 대응되는 제2 영역(예: 도 3의 제2 영역(355))에 기초하여 검사 결과에 대응되는 제2 클래스를 결정할 수 있다(S330). 동작 S320 및 S330 순서는 필연적이지 않고 , 동작 S320 또는 S330이 먼저 수행될 수 있고, 동작 S320 및 S330는 동시에 수행될 수 있다.
전자 장치(100)는 제1 신경망(113-1)을 이용하여 동작 S320을 수행할 수 있고, 제2 신경망(113-2)를 이용하여 동작 S330을 수행할 수 있다.
전자 장치(100)는 결정된 제1 클래스와 제2 클래스를 비교할 수 있다(S340). 전자 장치(100)는 상기 제1 클래스와 상기 제2 클래스가 일치하면, 상기 제1 클래스를 최종 클래스로 결정할 수 있다(S350).
전자 장치(100)는 클래스가 0인 경우, 재검사를 요청하는 메시지를 생성할 수 있다. 전자 장치(100)는 클래스가 1인 경우, 검사 결과가 음성이라는 메시지를 생성할 수 있다. 클래스가 2인 경우, 검사 결과가 양성이라는 메시지를 생성할 수 있다. 전자 장치(100)는 생성된 메시지를 디스플레이부(140)를 통해 출력하거나, 통신 인터페이스(150)를 통해 외부 장치로 전송할 수 있다. 따라서 진단키트의 검사 결과는 디지털화되어 전자 장치(100)에 저장될 수 있고, 검사 결과가 필요한 외부 장치에 데이터의 형태로 전송될 수 있다.
전자 장치(100)는 판독 결과의 정확성을 높이기 위하여, 진단키트 전체 영역을 기초로 결정한 클래스와 진단키트의 결과 표시 영역을 기초로 결정할 클래스를 비교함으로써, 양자가 일치하는 경우에만 최종 검사 결과를 도출할 수 있다.
전자 장치(100)는 상기 제1 클래스와 상기 제2 클래스가 일치하지 않는 경우, 상기 진단키트를 촬영한 다른 이미지를 추가로 획득할 수 있다(S310). 예를 들면, 이미지의 해상도가 낮거나 이미지의 밝기가 어두운 경우와 같이, 판독을 하기에 적합한 이미지가 획득되지 않은 경우, 검사 결과에 대한 판단이 정확하지 않을 수 있다. 따라서 전자 장치(100)는 해당 진단키트에 대한 재촬영을 요구하는 메시지를 생성하고, 디스플레이부(140)를 통해 출력하거나, 통신 인터페이스(150)를 통해 외부 장치로 전송할 수 있다.
다양한 실시 예에서, 동작 S340에서 제1 클래스와 제2 클래스가 일치한 이미지에 대해서, 전자 장치(100)는 제3 신경망(113-3)을 이용하여 결과 표시 영역의 검사선을 포함하는 제3 영역(예: 도 3의 제3 영역(357))에 기초하여 검사 결과에 대응되는 제3 클래스를 결정하는 동작을 추가로 수행할 수 있다. 전자 장치(100)는 제1 클래스, 제2 클래스, 및 제3 클래스가 일치하는 경우에만, 제1 클래스를 최종 클래스로 결정함으로써 판독의 정확도를 높일 수 있다.
도 4는 일 실시 에에 따라 복수 개의 진단키트의 검사 결과를 판단하는 방법을 나타내는 순서도이다. 도 5는 일 실시 예에 따라 복수 개의 진단키트의 검사 결과 판독하고, 진단키트의 식별정보를 획득하는 방법을 설명하기 위한 도면이다.
전자 장치(100)는 복수의 진단키트들이 촬영된 이미지를 획득할 수 있다(S410). 상기 이미지는 검사 결과가 판독되어야 할 복수개의 진단키트들이 촬영된 이미지이다. 상기 이미지는 외부 서버 등을 통해 획득될 수 있고, 전자 장치(100)가 카메라(160)를 이용하여 촬영을 함으로써 획득될 수 있다. 후자의 경우, 전자 장치(100)에는 복수의 진단키트가 수용될 수 있는 물리적 공간을 구비할 수 있다. 카메라(160)는 상기 물리적 공간을 향하도록 구비될 수 있다.
전자 장치(100)는 상기 복수의 진단키트들의 제1 부분 집합을 포함하는 제1 이미지 패치를 생성할 수 있다(S420).전자 장치(100)는 상기 복수의 진단키트들의 제2 부분 집합을 포함하는 제2 이미지 패치를 생성살 수 있다(S430).상기 제1 부분 집합과 상기 제2 부분 집합에 포함된 하나 이상의 진단키트가 중복될 수 있다.
복수의 진단키트를 포함하는 이미지를 대상으로 각각의 진단키트에 대한 검사 결과를 판독하게 되면 정확도가 감소될 수 있다. 따라서 전자 장치(100)는 판독 절차 수행을 빠르고 효율적으로 진행하기 위하여, 이미지를 기초로 복수의 이미지 패치를 구성할 수 있다.
도 5를 참조하면, 복수의 진단키트들이 촬영된 이미지(500)가 예를 들어 도시되었다. 전자 장치(100)는 이미지(500)로부터 4개의 이미지 패치(500-1, 500-2, 500-3, 500-4)를 생성하였다.
이미지 패치에 포함될 진단키트의 개수는 최종 검사 결과셋의 정확도에 따라 실험적으로 결정될 수 있다. 본 예시에서, 제1 이미지 패치(500-1) 내지 제4 이미지 패치(500-4)는 각각 4개의 진단키트를 포함하고 있다.
다양한 실시 예에서, 이미지 패치(500-1, 500-2, 500-3, 500-4)의 크기는 미리 설정될 수 있다. 예를 들어, 신경망(113)의 처리 성능에 대하여 최적화된 사이즈가 실험적으로 결정될 수 있다. 따라서 이미지 패치는 고정된 사이즈로 생성될 수 있다. 이 경우 이미지 패치에 포함되는 진단키트의 개수는 이미지 패치 별로 상이할 수 있다.
제1 이미지 패치(500-1) 내지 제4 이미지 패치(500-4)는 적어도 일부 진단키트들을 중복하여 포함할 수 있다. 다양한 실시 예에서, 전자 장치(100)는 중복 되는 진단키트들 각각에 대해 두 번 이상 판독을 실행하게 된다. 전자 장치(100)는 하나의 진단키트에 대하여 중복하여 판독을 수행함으로써, 검사 결과의 정확도를 높일 수 있다.
다양한 실시 예에서, 이미지의 특정 픽셀 부분이 어둡거나 흐린 경우, 그 특정 픽셀에 위치된 진단키트들은 복수의 이미지 패치에서 포함되도록 이미지 패치들이 생성될 수 있다.
전자 장치(100)는 상기 제1 이미지 패치에 대한 제1 검사 결과셋 및 상기 제2 이미지 패치에 대한 제2 검사 결과셋을 획득할 수 있다(S440). 검사 결과셋은 이미지 패치에 포함되는 복수의 진단키트들에 대한 검사 결과 값의 집합으로 이해될 수 있다.
전자 장치(100)는 상기 제1 검사 결과셋에 포함된 상기 중복된 하나 이상의 진단키트의 검사 결과와 상기 제2 검사 결과셋에 포함된 상기 중복된 하나 이상의 진단키트의 검사 결과가 일치하는지 여부를 판단할 수 있다(S450). 전자 장치(100)는 상기 하나 이상의 진단키트의 검사 결과가 일치하면, 상기 제1 검사 결과셋 및 상기 제2 검사 결과셋을 상기 복수의 진단키트들에 대한 최종 검사 결과셋으로 결정할 수 있다(S460).
동작 S440에서, 전자 장치(100)는 상기 제1 부분 집합 또는 상기 제2 부분 집합에 포함되는 각각의 진단키트에 대해 도 2 및 도 3을 통해 상술된 방법으로 검사 결과를 판독할 수 있다.
전자 장치(100)는 상기 제1 부분 집합 또는 상기 제2 부분 집합에 포함되는 각각의 진단키트의 전체 영역(예: 도 2의 제1 바운딩 박스(250))에 기초하여 검사 결과에 대응되는 제1 클래스를 결정할 수 있다. 전자 장치(100)는 각각의 진단키트의 결과 표시 영역(예: 도 2의 제2 바운딩 박스(255))에 기초하여 검사 결과에 대응되는 제2 클래스를 결정할 수 있다. 전자 장치(100)는 상기 제1 클래스 및 상기 제2 클래스가 일치하면, 상기 제1 클래스를 최종 클래스로 결정할 수 있다.
각각의 진단키트에 대하여 최종 클래스가 결정되면, 전자 장치(100)는 상기 최종 클래스를 상기 제1 검사 결과셋 또는 상기 제2 검사 결과셋에 추가할 수 있다.
각각의 진단키트의 결과 표시 영역은 검사선이 포함되는 검사선 영역을 포함할 수 있다. 다양한 실시 예에서, 전자 장치(100)는 상기 제1 클래스와 상기 제2 클래스가 일치하고, 상기 제1 클래스 및 상기 제2 클래스가 미리 지정된 클래스일 때, 상기 검사선 영역에 기초하여 상기 검사 결과에 대응되는 제3 클래스를 결정할 수 있다. 전자 장치(100)는 상기 제1 클래스와 상기 제3 클래스가 일치하면, 상기 제1 클래스를 상기 최종 클래스로 결정할 수 있다.
다양한 실시 예에서, 상기 복수의 진단키트들의 각각은 각각의 진단키트에 대응되는 식별자 정보를 포함할 수 있다. 복수의 진단키트들에 대해 검사가 수행되므로, 각각의 진단키트가 그것의 식별자 정보를 포함하도록 구성될 수 있다. 도 5의 이미지(510)을 참조하면 진단키트(550)와 진단키트(550)에 구비된 QR코드(551)가 도시되었다. QR코드(551)는 진단키트(550)의 식별자 정보를 포함하도록 구성될 수 있다. QR코드(551)는 일 예시이며, 일련 번호, 바코드를 포함하는 식별 표지가 사용될 수 있다.
일 실시 예에서, 전자 장치(100)는 제1 이미지 패치에 포함되는 상기 제1 부분 집합에 대응되는 제1 식별자 정보셋을 획득할 수 있고, 상기 제2 부분 집합에 대응되는 제2 식별자 정보셋을 획득할 수 있다. 예를 들어, 전자 장치(100)는 상기 제1 부분 집합에 포함된 복수의 진단키트들의 상기 QR코드를 인식함으로써 상기 제1 식별자 정보셋을 획득하고, 상기 제2 부분 집합에 포함된 복수의 진단키트들의 상기 QR코드를 인식함으로써 상기 제2 식별자 정보셋을 획득할 수 있다.
다양한 실시 예에서, 전자 장치(100)는 상기 제1 식별자 정보셋 및 상기 제2 식별자 정보셋에 대응되는 상기 최종 검사 결과셋을 외부 서버 장치로 전송할 수 있다. 전자 장치(100)는 상기 외부 서버 장치로 하여금 상기 제1 식별자 정보셋 및 상기 상기 제2 식별자 정보셋에 대응되는 상기 최종 검사 결과에 기초하여 상기 제1 식별자 정보셋 및 상기 제2 식별자 정보셋에 대응되는 사용자들에 대한 출입 허가 여부를 결정할 수 있다. 이와 관련된 실시 예는 도 6을 통해 후술된다.
도 6은 일 실시 예에 따른 시스템이 진단키트의 검사 결과에 따라 입장 허용 여부를 사용자에게 전달하는 방법을 설명한 흐름도이다. 도 1에서 상술한 바와 같이 시스템은 전자 장치(100), 서버 장치(10) 및 복수의 사용자 단말을 포함할 수 있다. 도 6에는 복수의 사용자 단말 중 임의의 사용자 단말(50)이 예를 들어 도시되었다. 서버 장치(10) 및 사용자 단말(50)은 프로세서(예: 도 1의 프로세서(120), 메모리(예: 도 1의 메모리(110)), 디스플레이(예: 도 1의 디스플레이(140)), 카메라(예: 도 1의 카메라(160))를 포함할 수 있다. 전자 장치(100), 서버 장치(10), 및 복수의 사용자 단말(50)은 협동하여 검사 결과에 따른 알림 서비스를 제공할 수 있다.
예를 들어, 시스템은 공연장, 경기장과 같이 많은 사람들이 동시에 입장해야하는 대규모 시설에 대해 상기와 같은 알림 서비스를 제공할 수 있다. 시스템에는 전자 장치(100), 대규모 시설에 입장해야하는 복수의 사용자들의 사용자 단말(50) 및 대규모 시설의 시설 관리를 위하여 설치된 서버 장치(10)가 포함될 수 있다.
서버 장치(10)가 사용자 단말(50)로부터 사용자 식별자를 수신하면(S610), 서버 장치(10)는 사용자에게 배부될 진단키트의 식별자와 상기 수신한 사용자 식별자를 맵핑하여 사용자 DB에 저장할 수 있다(S612). 사용자 식별자는 사용자 단말(50)을 소유한, 상기 대규모 시설에 입장해야하는 사용자에 식별자로 이해될 수 있다. 사용자 식별자는 예를 들어, 전화번호, 주민등록번호와 같은 고유의 일련번호일 수 있다. 예를 들어, 사용자 단말(50)은 사용자 식별자를 디스플레이를 통해 출력하고, 서버 장치(10)는 상기 정보를 태깅함으로써 사용자 식별자를 획득할 수 있다. 또는 사용자 단말(50)에 설치된 별도 프로그램을 통해 서버 장치(10)로 사용자 식별자를 업로드할 수 있다. 사용자 DB는 서버 장치(10)의 메모리에 저장될 수 있다. 사용자 DB는 서버 장치(10)에 의하여 관리되는 사용자(대규모 시설의 참석자) 리스트, 사용자에게 배부될 진단키트 식별자 리스트, 특정 사용자와 특정 진단키트 사이의 맵핑 정보를 포함할 수 있다. 맵핑 정보는 특정 사용자에게 배부될 진단키트의 식별 정보에 대한 정보로 이해될 수 있다. 상기 맵핑 정보는 서버 장치(10)의 영자(대규모 시설의 관리자)에 의하여 결정될 수 있다. 예를 들어, 특정 사용자에 대해 배부될 진단키트는 미리 결정될 수 있고, 이에 대한 맵핑 정보는 사용자DB에 미리 저장될 수 있다.
동작 S610 내지 S612을 반복함으로써, 서버 장치(10)는 상기 복수의 사용자 단말들로부터 복수의 사용자들에 대한 복수의 사용자 식별자들을 획득하고, 상기 복수의 사용자 식별자와 복수의 사용자들에게 배부될 복수의 진단키트들의 식별정보를 맵핑하여 사용자 DB에 저장할 수 있다.
전자 장치(100)는 복수의 진단키트들에 대한 검사 결과 및 식별정보를 포함하는 검사 결과셋을 생성할 수 있다(S620). 예를 들어, 전자 장치(100)는 사용자들에게 배부된 진단키트들 중 임의의 n개 단위로 검사 결과를 판독할 수 잇다. 이 때, 전자 장치(100)는 n개의 진단키트가 활영된 이미지를 기초로, n개의 진단키트에 대한 검사 결과를 판독할 수 있다. 전자 장치(100)는 상기 이미지로부터 n개의 진단키트에 대한 식별정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 진단키트에 구비된 식별 표지(예: 도 5의 QR코드(551))를 기초로 상기 식별정보를 획득할 수 있다. 검사 결과셋은 상기 n개의 진단키트에 대한 검사 결과 및 식별정보를 포함한다. 서버 장치(10)는 상기 검사 결과셋을 서버 장치(10)로 전송할 수 있다(S622).
다양한 실시 예에서, 서버 장치(10)는 검사의 단위가 되는 n개의 진단키트를 촬영하고 상기 이미지를 전자 장치(100)로 전송할 수 있다. 또는 전자 장치(100)는 카메라(160)를 통해 n개 단위로 촬영하고, 촬영된 이미지 단위로 동작 S620및 S622를 수행할 수 있다.
서버 장치(10)는 상기 검사 결과셋에 기초하여 특정 진단키트에 대응되는 사용자에 대한 입장 허가 또는 입장 불허가 결정을 할 수 있다(S624). 서버 장치(10)는 검사 결과셋에 포함된 진단키트의 식별자에 맵핑된 사용자 정보를 사용자 DB로부터 획득할 수 있다. 다양한 실시 예에서, 서버 장치(10)는 입장 허가 또는 입장 불허가인지 여부에 대한 입장 정보를 상기 사용자 정보에 맵핑하여 사용자 DB에 저장할 수 있다.
서버 장치(10)는 특정 진단키트에 대한 입장 허가 또는 입장 불허가 여부가 결정되면, 상기 특정 진단키트에 대응되는 사용자 단말에 상기 입장 허가 또는 입장 불허가의 알람을 전송할 수 있다(S634). 동작 S634 는 모든 사용자에게 입장 정보가 전송될 때까지 반복될 수 있다.
예를 들어, 서버 장치(10)는 사용자 DB에 저장된 사용자 정보에 기초하여, 입장 정보가 전송될 사용자 단말(50)을 식별하고, 식별된 사용자 단말(50)로 알림을 전송할 수 있다. 다른 예에서, 사용자가 사용자 단말(50)을 통해 사용자 식별자를 출력하고(S630), 서버 장치(10)는 출력한 화면을 태그함으로써 사용자 식별자를 획득할 수 있다(S632). 이 경우 서버 장치(10)는 태그할 때 형성된 사용자 단말(50)사이의 근거리 통신 채널을 통해 상기 사용자 식별자에 대응된 입장 정보를 사용자 단말(50)로 전송할 수 있다. 예를 들어, 사용자가 대규모 시설에 입장할 때, 시설 입구에서 검사 결과에 따라 입장 통제를 해야하는 경우 동작 S630 및 632가 수행될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(100)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리(110))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(100))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (9)

  1. 전자 장치에 있어서,
    소정의 동작을 수행하도록 하는 명령어들을 저장하는 하나 이상의 메모리; 및
    상기 하나 이상의 메모리와 동작 가능 하도록 연결되어 상기 명령어들을 실행하도록 설정된 적어도 하나의 프로세서;를 포함하고
    상기 적어도 하나의 프로세서는,
    복수의 진단키트들이 촬영된 이미지를 획득하고;
    상기 복수의 진단키트들의 제1 부분 집합을 포함하는 제1 이미지 패치를 생성하고;
    상기 복수의 진단키트들의 제2 부분 집합을 포함하는 제2 이미지 패치를 생성하되, 상기 제1 부분 집합과 상기 제2 부분 집합에 포함된 하나 이상의 진단키트가 중복됨;
    상기 제1 이미지 패치에 대한 제1 검사 결과셋 및 상기 제2 이미지 패치에 대한 제2 검사 결과셋을 획득하고; 및
    상기 제1 검사 결과셋에 포함된 상기 중복된 하나 이상의 진단키트의 검사 결과와 상기 제2 검사 결과셋에 포함된 상기 중복된 하나 이상의 진단키트의 검사 결과가 일치하면, 상기 제1 검사 결과셋 및 상기 제2 검사 결과셋을 상기 복수의 진단키트들에 대한 최종 검사 결과셋으로 결정하도록 설정된, 전자 장치.
  2. 청구항 1에 있어서,
    상기 이미지는 상기 복수의 진단키트들 각각에 대한 식별자 정보를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 제1 부분 집합에 대응되는 제1 식별자 정보셋을 획득하고; 및
    상기 제2 부분 집합에 대응되는 제2 식별자 정보셋을 획득하도록 설정된, 전자 장치.
  3. 청구항 2에 있어서,
    상기 이미지는 상기 복수의 진단키트들 각각에 구비된 QR코드를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 제1 부분 집합에 포함된 복수의 진단키트들의 상기 QR코드를 인식함으로써 상기 제1 식별자 정보셋을 획득하고; 및
    상기 제2 부분 집합에 포함된 복수의 진단키트들의 상기 QR코드를 인식함으로써 상기 제2 식별자 정보셋을 획득하도록 설정된, 전자 장치.
  4. 청구항 2에 있어서,
    상기 전자 장치는 외부 서버 장치와 통신하도록 설정된 통신 인터페이스를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 외부 서버로 하여금 상기 제1 식별자 정보셋 및 상기 상기 제2 식별자 정보셋에 대응되는 상기 최종 검사 결과에 기초하여 상기 제1 식별자 정보셋 및 상기 제2 식별자 정보셋에 대응되는 사용자들에 대한 출입 허가 여부를 결정하도록, 상기 제1 식별자 정보셋 및 상기 제2 식별자 정보셋에 대응되는 상기 최종 검사 결과셋을 상기 외부 서버 장치로 전송하도록 설정된, 전자 장치.
  5. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 부분 집합 또는 상기 제2 부분 집합에 포함되는 제1 진단키트의 전체 영역에 기초하여 검사 결과에 대응되는 제1 클래스를 결정하고;
    상기 제1 진단키트의 결과 표시 영역에 기초하여 검사 결과에 대응되는 제2 클래스를 결정하고;
    상기 제1 클래스 및 상기 제2 클래스가 일치하면, 상기 제1 클래스를 최종 클래스로 결정하고; 및
    상기 최종 클래스를 상기 제1 검사 결과셋 또는 상기 제2 검사 결과셋에 추가하도록 설정된, 전자 장치.
  6. 청구항 5에 있어서,
    상기 적어도 하나의 프로세서는,
    샘플 진단키트가 샘플 이미지를 획득하고,
    상기 샘플 이미지의 상기 샘플 진단키트의 전체 영역에 대응되는 제1 바운딩 박스를 지정하고, 상기 제1 바운딩 박스에 상기 샘플 진단키트의 검사 결과에 대응되는 결과 클래스를 맵핑함으로써 제1 학습 데이터를 생성하고;
    소정의 객체 감지 알고리즘 및 상기 제1 학습 데이터에 기초하여, 상기 제1 학습 데이터에 포함된 상기 샘플 이미지의 상기 제1 바운딩 박스와 상기 결과 클래스와의 상관 관계를 도출하는 제1 신경망 모델을 생성하고;
    상기 샘플 이미지의 상기 샘플 진단키트의 결과 표시 영역에 대응되는 제2 바운딩 박스를 지정하고, 상기 제2 바운딩 박스에 상기 결과 클래스를 맵핑함으로써 제2 학습 데이터를 생성하고; 및
    소정의 객체 감지 알고리즘 및 상기 제2 학습 데이터에 기초하여, 상기 제2 학습 데이터에 포함된 상기 샘플 이미지의 상기 제2 바운딩 박스와 상기 결과 클래스와의 상관 관계를 도출하는 제2 신경망 모델을 생성하도록 설정된, 전자 장치.
  7. 청구항 5에 있어서,
    상기 결과 표시 영역은 검사선이 포함되는 검사선 영역을 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 제1 클래스와 상기 제2 클래스가 일치하고, 상기 제1 클래스 및 상기 제2 클래스가 미리 지정된 클래스일 때, 상기 검사선 영역에 기초하여 상기 검사 결과에 대응되는 제3 클래스를 결정하고, 및
    상기 제1 클래스와 상기 제3 클래스가 일치하면, 상기 제1 클래스를 상기 최종 클래스로 결정하도록 설정된, 전자 장치.
  8. 전자 장치, 복수의 사용자 단말들, 및 서버 장치에 의하여 수행되는 방법에 있어서,
    상기 서버 장치가 상기 복수의 사용자 단말들로부터 복수의 사용자에 대한 복수의 사용자 식별정보를 획득하고, 상기 복수의 사용자 식별정보 및 복수의 진단키트에 대한 복수의 진단키트 식별정보의 맵핑 정보를 사용자DB에 저장하는 동작;
    상기 전자 장치가 상기 복수의 진단키트가 촬영된 이미지를 기초로, 상기 복수의 진단키트에 대한 검사 결과 및 진단키트 식별정보를 획득하는 동작;
    상기 전자 장치가 상기 검사 결과 및 상기 진단키트 식별정보를 포함한 검사 결과셋을 상기 서버 장치로 전송하는 동작; 및
    상기 서버 장치가 상기 검사 결과셋과 상기 사용자DB를 기초로 상기 하나 이상의 진단키트에 대응되는 하나 이상의 사용자 단말에 입장 허가 또는 불허가 알림을 전송하는 동작을 포함하는 방법.
  9. 청구항 8에 있어서,
    상기 전자 장치가 상기 이미지의 상기 복수의 진단키트의 제1 부분 집합을 포함하는 제1 이미지 패치를 생성하고, 상기 복수의 진단키트의 제2 부분 집합을 포함하는 제2 이미지 패치를 생성하는 동작을 포함하되, 상기 제1 부분 집합과 상기 제2 부분 집합에 포함된 하나 이상의 진단키트가 중복됨;
    상기 전자 장치가 상기 제1 이미지 패치에 대한 제1 검사 결과셋 및 상기 제2 이미지 패치에 대한 제2 검사 결과셋을 획득하는 동작; 및
    상기 전자 장치가 상기 제1 검사 결과셋에 포함된 상기 중복된 하나 이상의 진단키트의 검사 결과와 상기 제2 검사 결과셋에 포함된 상기 중복된 하나 이상의 진단키트의 검사 결과가 일치하면, 상기 제1 검사 결과셋 및 상기 제2 검사 결과셋을 상기 복수의 진단키트에 대한 상기 검사 결과셋으로 결정하는 동작;을 더 포함하는 방법.
PCT/KR2022/009741 2021-07-09 2022-07-06 복수의 진단 키트의 검사 결과를 자동으로 판독하는 ai 장치 및 그 방법 WO2023282612A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210090331A KR20230009651A (ko) 2021-07-09 2021-07-09 복수의 진단 키트의 검사 결과를 자동으로 판독하는 ai 장치 및 그 방법
KR10-2021-0090331 2021-07-09

Publications (1)

Publication Number Publication Date
WO2023282612A1 true WO2023282612A1 (ko) 2023-01-12

Family

ID=84800768

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/009741 WO2023282612A1 (ko) 2021-07-09 2022-07-06 복수의 진단 키트의 검사 결과를 자동으로 판독하는 ai 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR20230009651A (ko)
WO (1) WO2023282612A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9361683B2 (en) * 2010-11-30 2016-06-07 Ralph Highnam Imaging technique and imaging system
KR101887480B1 (ko) * 2018-05-21 2018-08-10 (주)파이버피아 혈중 암모니아 측정 시스템
KR102091832B1 (ko) * 2019-08-05 2020-03-20 주식회사 에프앤디파트너스 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치
KR20200132117A (ko) * 2019-05-15 2020-11-25 정유한 광학식 체외진단기기와 이를 이용한 체외진단 방법
KR102202140B1 (ko) * 2020-04-20 2021-01-14 주식회사 날다 인공지능 전염병 무인진단 서비스 제공 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9361683B2 (en) * 2010-11-30 2016-06-07 Ralph Highnam Imaging technique and imaging system
KR101887480B1 (ko) * 2018-05-21 2018-08-10 (주)파이버피아 혈중 암모니아 측정 시스템
KR20200132117A (ko) * 2019-05-15 2020-11-25 정유한 광학식 체외진단기기와 이를 이용한 체외진단 방법
KR102091832B1 (ko) * 2019-08-05 2020-03-20 주식회사 에프앤디파트너스 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치
KR102202140B1 (ko) * 2020-04-20 2021-01-14 주식회사 날다 인공지능 전염병 무인진단 서비스 제공 시스템

Also Published As

Publication number Publication date
KR20230009651A (ko) 2023-01-17

Similar Documents

Publication Publication Date Title
WO2019132168A1 (ko) 수술영상데이터 학습시스템
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2020251217A1 (ko) 사용자 맞춤형 피부 진단 시스템 및 방법
WO2017095014A1 (ko) Dnn 학습을 이용한 세포이상 여부 진단시스템 및 그 진단관리 방법
WO2020111754A9 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2018143486A1 (ko) 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법
WO2021071288A1 (ko) 골절 진단모델의 학습 방법 및 장치
WO2022197044A1 (ko) 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2023282612A1 (ko) 복수의 진단 키트의 검사 결과를 자동으로 판독하는 ai 장치 및 그 방법
WO2021066484A1 (ko) 소변검사를 수행하기 위한 장치 및 방법
WO2020166849A1 (en) Display system for sensing defect on large-size display
WO2020222555A1 (ko) 영상 분석 장치 및 방법
WO2023224369A1 (ko) 심혈관 이미지의 3차원 재구성을 위한 cip 자동 검출 방법 및 시스템
WO2023158068A1 (ko) 객체검출률 향상을 위한 학습시스템 및 그 방법
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2023282611A1 (ko) 진단 키트의 검사 결과를 판독하는 ai 모델 학습 장치 및 그 동작 방법
WO2021015489A2 (ko) 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치
WO2020138719A1 (ko) 개인 맞춤형 마스크 팩 정보제공 분석 시스템 및 방법
WO2023075185A1 (ko) 반려 동물의 비문 학습 또는 인식을 위한 이미지의 적합성을 검사하기 위한 방법
WO2024053948A1 (ko) 변환 모델 구축 장치 및 방법과 이를 이용한 이미지 매칭 장치 및 방법
WO2015060486A1 (ko) 영상 진단 장치 및 방법
WO2023127979A1 (ko) Autosar 센서 인터페이스의 정적 설정 시스템 및 방법
WO2023128139A1 (ko) 게임 아이템 획득 확률의 이상 탐지 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22837964

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE