WO2022169045A1 - 학습된 딥러닝 모델을 이용한 cfu 인식 방법 - Google Patents

학습된 딥러닝 모델을 이용한 cfu 인식 방법 Download PDF

Info

Publication number
WO2022169045A1
WO2022169045A1 PCT/KR2021/009765 KR2021009765W WO2022169045A1 WO 2022169045 A1 WO2022169045 A1 WO 2022169045A1 KR 2021009765 W KR2021009765 W KR 2021009765W WO 2022169045 A1 WO2022169045 A1 WO 2022169045A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
cfu
deep learning
image data
learning model
Prior art date
Application number
PCT/KR2021/009765
Other languages
English (en)
French (fr)
Inventor
박병진
Original Assignee
박병진
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박병진 filed Critical 박병진
Priority to EP21924943.0A priority Critical patent/EP4141738A4/en
Publication of WO2022169045A1 publication Critical patent/WO2022169045A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Definitions

  • the present invention relates to a CFU recognition method for pre-processing image data received through a user terminal and deriving result data suitable for a user by using a plurality of pre-trained deep learning models.
  • LIMS Laboratory Information Management System
  • LIMS technology is being grafted onto various technical fields, and the need for a quality assurance system that guarantees data integrity through automation of qualitative and manual test processes in microbial testing is increasing.
  • the steps of taking a picture of a microbial medium, marking a mark on the photographed image, and inserting the picture into a pre-specified template to perform payment are performed manually. Integrity of the data is not guaranteed, and there is a limitation in that the data collection speed is slow.
  • CFU recognition method that extracts image data from a microbial medium using LIMS technology and automatically counts the number of colony forming units (CFUs; hereinafter CFUs) has been used.
  • the conventional CFU recognition method takes a method using a phase difference between the microbial medium and the colony, there was a problem that the accuracy of CFU recognition is inferior. Accordingly, there is a need for a system that increases the accuracy of CFU recognition and automatically documents the resulting data.
  • An object of the present invention is to provide a CFU recognition method that can ensure the accuracy and integrity of CFU counting using a pre-trained deep learning model.
  • an object of the present invention by learning a plurality of deep learning models through the preprocessing process and data augmentation process of the photographed image, to provide a CFU recognition method that can improve the accuracy and integrity of CFU counting.
  • the counting of the number of CFUs the number of CFUs included in the image data is derived using one or more pre-trained deep learning models.
  • the counting of the number of CFUs includes receiving a plurality of pre-trained deep learning models, inputting the pre-processed image data to the plurality of deep learning models, and each of the plurality of deep learning models deriving intermediate data, comparing the respective intermediate data with each other, and deriving the result data.
  • the result data includes counting data counting the counts of colonies formed in the microbial medium, coordinate data indicating the location where the colonies are formed in the microbial medium, and boundary data indicating the boundaries of the colonies in the microbial medium. contains at least one.
  • the deep learning model receives the pre-processed image data and outputs the coefficient data or the coordinate data as an output thereof.
  • the deep learning model includes an input layer using the preprocessed image data as an input node, an output layer using the coefficient data or the coordinate data as an output node, and one disposed between the input layer and the output layer Including the above hidden layer, weights of nodes and edges between the input node and the output node are updated by the learning process of the deep learning model.
  • the method further includes any one of the steps of overlapping the image of the user terminal and displaying the overlapped image on the screen of the user terminal.
  • the method further comprises the step of training the deep learning model, wherein the step of training the deep learning model comprises: additionally receiving result data corresponding to the image data; based on the pre-processed image data, Generating the augmented image data using one or more image conversion processes, and the deep learning model using the training data including the pre-processed image data and the augmented image data, and the corresponding result data. It includes the step of learning.
  • the step of storing the learning data in the information collection unit, and storing a plurality of deep learning models learned based on the learning data stored in the information collection unit in the deep learning memory unit the CFU The step of counting the number of
  • It includes deriving the number of the CFU using one or more of the deep learning models stored in the deep learning memory unit.
  • the pre-processing includes a scaling step of adjusting the size of the image data, a normalization step of adjusting the brightness and shading of the image data to be included within a predetermined range, and a pre-stored filter for the image data. and performing at least one of an image filtering step of filtering.
  • the method further includes inputting information included in the result data into a predetermined template to generate document data corresponding to the received image data, and transmitting the generated document data to the user terminal. .
  • the CFU recognition method of the present invention may perform CFU counting using a pre-trained deep learning model. Through this, the present invention can increase the accuracy of CFU counting and reduce the time required for CFU recognition.
  • the CFU recognition method of the present invention can increase the accuracy and integrity of CFU counting by comparing the results of a plurality of different deep learning models with each other.
  • the CFU recognition method of the present invention by automating the process of electronic documentation by inputting the result data including the CFU number counted by the above-described method into the template, it is possible to shorten the time to organize the result data into a document. Through this, the present invention can process a large amount of experimental data quickly, shorten the time required for the experiment, and consequently improve user convenience.
  • FIG. 1 is a conceptual diagram for explaining a system for performing a CFU recognition method according to an embodiment of the present invention.
  • Figure 2 is a block diagram for explaining the components of the system for performing the CFU recognition method of Figure 1.
  • FIG. 3 is a flowchart for explaining a CFU recognition method according to an embodiment of the present invention.
  • FIG. 4 is a view for explaining the CFU counting module of FIG.
  • 5 is a flowchart for explaining some examples of the step of counting the number of CFUs of FIG.
  • Figure 6 is a block diagram for explaining the learning step of the deep learning model in the CFU recognition method according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a learning step of the deep learning model of FIG. 6 .
  • FIG. 8 is a flowchart for explaining a pre-processing step for the image data of FIG. 7 .
  • FIG. 9 is a diagram exemplarily illustrating the configuration of the deep learning model of FIG. 6 .
  • Figure 10 is a block diagram for explaining the execution step of the deep learning model in the CFU recognition method according to an embodiment of the present invention.
  • FIG. 11 is a flowchart for explaining an execution step of the deep learning model of FIG. 10 .
  • FIG. 13 is an exemplary diagram of an interface screen displaying result data of the present invention.
  • FIG. 14 is an exemplary diagram of an interface screen for explaining document data of the present invention.
  • 15 is a view for explaining a system for performing a CFU recognition method according to some embodiments of the present invention.
  • first, second, A, B, etc. used in this specification and claims may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component.
  • the term 'and/or' includes a combination of a plurality of related listed items or any of a plurality of related listed items.
  • FIG. 1 is a conceptual diagram for explaining a CFU recognition system for performing a CFU recognition method according to an embodiment of the present invention.
  • the CFU recognition system may be composed of a CFU recognition server 100 and a user terminal 200 .
  • the CFU recognition server 100 (hereinafter, the server) and the user terminal 200 may be implemented as a server-client system.
  • the server 100 may select one or more deep learning models (DL), and provide result data or document data derived based on data output from the deep learning model (DL) to the user terminal 200 .
  • the server 100 may transmit/receive data to and from the user terminal 200 through a wired/wireless network.
  • the server 100 pre-processes each user's data using big data analysis technology based on the data received from each user terminal 200, and through this, the number of CFUs included in the data can be counted. have.
  • the result data (RD) including the number of CFU it is possible to select and use a deep learning model (DL) suitable for data analysis.
  • DL deep learning model
  • the server 100 counts the number of CFUs using a deep learning model (TL) learned based on the training data (TD) composed of a plurality of user data, and may provide a corresponding result.
  • TL deep learning model
  • the server 100 may be the subject of performing the CFU recognition method according to some embodiments of the present invention. Specifically, the server 100 may receive the image data ID from the user terminal 200 .
  • the image data ID may include images and information about the microbial medium.
  • the server 100 selects a deep learning model (DL) suitable for the user using the received image data (ID), and provides the result data (RD) derived using this to the user terminal 200 .
  • DL deep learning model
  • ID received image data
  • RD result data
  • a dedicated application used to communicate with the server 100 may be installed in the user terminal 200 .
  • the user transmits image data (ID) through a dedicated application installed in the user terminal 200 .
  • Result data RD can be received and displayed.
  • the CFU recognition method of the present invention may be performed only on the server 100 , or each step may be divided into the server 100 and the user terminal 200 . However, hereinafter, for convenience of description, it is assumed that the CFU recognition method is performed in the server 100 .
  • the user terminal 200 refers to at least one of various electronic devices such as a personal computer (PC), a notebook computer, a tablet, a mobile phone, a smart phone, and a wearable device (eg, a watch-type terminal). can do.
  • PC personal computer
  • notebook computer a tablet
  • mobile phone a smart phone
  • wearable device eg, a watch-type terminal
  • the user terminal 200 includes an input unit for receiving a user's input, a display unit for displaying visual information, a communication unit for transmitting and receiving signals to and from the outside, and processing data and controlling each unit inside the user terminal 200 , It may include a control unit for controlling data transmission/reception between the two.
  • the control unit performs inside the user terminal 200 according to the user's command.
  • the server 100 is a computer system that provides information or services to the user terminal 200 through a communication network, and may refer to a computer program or device.
  • server 100 of the present invention may be directly operated or managed by a specific company or individual, or may be outsourced, and may be operated by the same subject.
  • a function performed in a specific server can be performed in another server as well, and a function performed in one server can be performed separately in a plurality of servers. of course there is
  • Figure 2 is a block diagram for explaining the components of the system for performing the CFU recognition method of Figure 1.
  • 3 is a flowchart for explaining a CFU recognition method according to an embodiment of the present invention.
  • 4 is a view for explaining the CFU counting module of FIG. 5 is a flowchart for explaining some examples of the step of counting the number of CFUs of FIG.
  • the server 100 of the system for performing the CFU recognition method is a preprocessing module 110, a data augmentation module 120, a database module 130, It may include a learning module 140 and a CFU counting module 150 .
  • the pre-processing module 110 may receive image data (ID) for the microbial medium photographed by the user terminal 200 .
  • the pre-processing module 110 may pre-process the received image data ID.
  • the pre-processing module 110 may include a size adjustment unit 111 , a normalization unit 113 , and an image filtering unit 115 .
  • the size adjustment unit 111 may adjust the size of the image data ID. That is, the size adjustment unit 111 may adjust the image data ID to fit a preset size.
  • the image data ID received from the user terminal 200 may have various sizes. Accordingly, the size adjustment unit 111 may convert the image data ID into a preset size so that the size is constant.
  • the normalizer 113 may adjust the brightness and shadow of the image data ID to be included within a predetermined range. For example, as the image data ID received from the user terminal 200 is photographed in different photographing environments, the brightness may be uneven or the image may include shadows. Accordingly, the normalizer 113 may adjust the image data ID so that the brightness and shadow of the image data ID are included in a preset range.
  • the present embodiment is not limited thereto, and it goes without saying that the contrast, saturation, and color of the image data ID can be adjusted.
  • the normalizer 113 may normalize the image data ID using a Gaussian filter.
  • the filter and the normalization method used in the normalization unit 113 may be variously modified and implemented.
  • the image filtering unit 115 may filter the image data ID using a pre-stored filter.
  • Filters used in the image filtering unit 115 include a Gaussian filter, a binarization filter, a distance transformation filter, a watershed segmentation filter, a cleaning filter, and a color. It may include a color filter and the like.
  • the image filtering unit 115 may apply a color filter to the image data ID to increase the color contrast of the image data ID, and based on this, the boundary line between the CFU and the culture medium may be clearly derived. Also, the image filtering unit 115 may derive a boundary image BD, which will be described later, by using a plurality of filters.
  • the pre-processing module 110 may select and use some of each of the above-described components. For example, brightness and shade of the image data ID may be adjusted to be included within a predetermined range by the normalizer 113 . In this case, the size of the image data ID may not be adjusted by the size adjusting unit 111 . However, this is only an example, and the present invention is not limited thereto.
  • the data augmentation module 120 may receive the image data PD pre-processed by the pre-processing module 110 .
  • the data augmentation module 120 may generate the augmented image data AD using one or more transformation processes based on the preprocessed image data PD.
  • the data augmentation module 120 may generate one or more augmented image data AD using various transformation processes such as rotation, inversion, symmetry, and transformation based on the preprocessed image data PD. That is, the data augmentation module 120 performs a function of expanding the received image in order to increase the amount of training data for learning the deep learning model. Accordingly, the data augmentation module 120 may be used in the learning phase of the deep learning model.
  • the database module 130 may include an information collection unit 131 and a deep learning memory unit 133 .
  • the information collection unit 131 may store various data received from the data augmentation module 120 .
  • the user's account may be separated to store and manage data related to the corresponding user.
  • the deep learning memory unit 133 may store the deep learning model (TL) learned by the deep learning model (DL) and the learning data (TD) used for machine learning.
  • the learned deep learning model TL may generate the result data RD for the image data ID by using the artificial neural network learned based on big data.
  • Deep Learning a type of Machine Learning, learns from data in multiple stages down to a deep level.
  • Deep learning refers to a set of machine learning algorithms that extract core data from a plurality of data while increasing the level.
  • the deep learning model can use various well-known deep learning structures.
  • the deep learning model is a Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Deep Belief Network (DBN), Graph Neural Network (GNN).
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • DNN Deep Belief Network
  • GNN Graph Neural Network
  • CNN Convolutional Neural Network
  • CNN is a human brain function created based on the assumption that when a person recognizes an object, it extracts the basic features of the object, then performs complex calculations in the brain and recognizes the object based on the result. It is a simulated model.
  • RNN Recurrent Neural Network
  • RNN Recurrent Neural Network
  • DBN Deep Belief Network
  • RBM Restricted Boltzman Machine
  • DBN Deep Belief Network
  • GNN Graphic Neural Network, hereinafter, GNN
  • GNN represents an artificial neural network structure implemented in such a way that similarities and feature points between modeling data are derived using modeling data modeled based on data mapped between specific parameters. .
  • artificial neural network learning of a deep learning model can be achieved by adjusting the weight of the connection line between nodes (and adjusting the bias value if necessary) so that a desired output is obtained for a given input.
  • the artificial neural network may continuously update a weight value by learning.
  • both unsupervised learning and supervised learning may be used as the machine learning method of the artificial neural network.
  • the deep learning model may be controlled to automatically update the artificial neural network structure for outputting coefficient data (FD) or coordinate data (CD) after learning according to settings.
  • the learning module 140 may perform a learning operation of an artificial neural network based on machine learning using the learning data TD as input data. That is, the learning module 140 may train the deep learning model DL stored in the deep learning memory unit 133 based on the learning data TD stored in the information collection unit 131 . The trained deep learning model TL trained in the learning module 140 may be transferred back to the deep learning memory unit 133 to be stored separately or to update an existing model.
  • the CFU counting module 150 may include a CFU counting unit 151 , a data processing unit 153 , and a document data generating unit 155 .
  • CFU counting unit 151 may receive the pre-processed image data (PD) and a plurality of learned deep learning model (TL). At this time, the CFU counting unit 151 may input the pre-processed image data PD to the plurality of learned deep learning models TL.
  • the CFU counting unit 151 may input the pre-processed image data PD into the first deep learning model, the second deep learning model, and the third deep learning model. Subsequently, the CFU counting unit 151 may derive the intermediate data (MD) by collecting each result value for the first deep learning model, the second deep learning model, and the third deep learning model.
  • MD intermediate data
  • the data processing unit 153 may receive the intermediate data MD from the CFU counting unit 151 .
  • the data processing unit 153 may derive the result data RD by comparing result values for each deep learning model included in the intermediate data MD with each other. For example, the data processing unit 153 determines whether the result values output from each deep learning model are all identical or different from each other. Subsequently, when the respective result values are different from each other, the data processing unit 153 may select a result value that satisfies a preset condition and derive it as the result data RD. In this case, it goes without saying that the conditions for selecting the result data RD may be variously modified and implemented.
  • the result data RD may include at least one of coefficient data FD, coordinate data CD, and boundary data BD.
  • the counting data (FD) means data counting the counts of the colonies formed in the microbial medium
  • the coordinate data (CD) means data indicating the location where the colonies are formed in the microbial medium
  • boundary data (BD) means data indicating the boundaries of the colonies in the microbial medium.
  • the document data generator 155 may receive the result data RD.
  • the document data generator 155 may generate the corresponding document data PT based on the result data RD. That is, the document data generating unit 155 generates document data PT corresponding to the image data ID received from the user terminal 200 by inputting information included in the result data RD into a predetermined template. can do. Subsequently, the document data generator 155 may transmit the output document data PT to the user terminal 200 .
  • the server 100 receives the image data (ID) taken from the user terminal 200 (S110).
  • the server 100 pre-processes the received image data ID (S120).
  • the pre-processing module 110 may generate the pre-processed image data PD that has been sized, normalized, or filtered based on the received image data ID.
  • the server 100 counts the number of CFUs included in the image by using the deep learning module for the preprocessed image data PD (S130).
  • the server 100 receives the pre-processed image data PD and the pre-trained deep learning model TL ( S131 ).
  • the server 100 inputs the preprocessed image data PD to the deep learning model TL (S133).
  • the server 100 calculates the intermediate data MD composed of the output value of the deep learning model TL (S135).
  • the deep learning model TL may receive the preprocessed image data PD as an input, and output coefficient data FD or coordinate data CD as an output thereof.
  • the value output from the deep learning model TL may be included in the intermediate data MD.
  • the server 100 may derive the intermediate data MD including the plurality of output values by inputting the image data PD preprocessed to the plurality of deep learning models TL.
  • the server 100 selects the result data RD from the intermediate data MD (S137).
  • the server 100 may select an optimal value from among a plurality of output values included in the intermediate data MD.
  • the server 100 may transmit the result data RD to the document data generator 155 .
  • the server 100 electronically documents the result data (RD) including the counted CFU number into a predetermined template (S140).
  • the server 100 transmits the electronic document data (PT) or the result data (RD) to the user terminal 200 (S150).
  • the CFU recognition method of the present invention can increase the accuracy and integrity of CFU counting by comparing the results of a plurality of different deep learning models with each other.
  • the CFU recognition method of the present invention by automating the process of electronic documentation by inputting the result data including the counted CFU number into the template, it is possible to shorten the time to organize the result data into a document.
  • the present invention can process a large amount of experimental data quickly, shorten the time required for the experiment, and consequently improve user convenience.
  • Figure 6 is a block diagram for explaining the learning step of the deep learning model in the CFU recognition method according to an embodiment of the present invention.
  • 7 is a flowchart illustrating a learning step of the deep learning model of FIG. 6 .
  • FIG. 8 is a flowchart for explaining a pre-processing step for the image data of FIG. 7 .
  • 9 is a diagram exemplarily illustrating the configuration of the deep learning model of FIG. 6 .
  • content overlapping with the above will be omitted or simply described, and differences will be mainly described.
  • the preprocessing module 110 receives the sample image data (SD) and the result data (RD) (S210).
  • the sample image data SD may be data corresponding to the image data ID
  • the result data RD may include a CFU counting number of the sample image data SD.
  • the pre-processing module 110 performs pre-processing on the input sample image data SD (S220).
  • the size adjusting unit 111 adjusts the size of the sample image data SD ( S221 ).
  • the normalizer 113 adjusts the brightness and shadow of the sample image data SD ( S223 ).
  • the image filtering unit 115 filters the sample image data SD ( S225 ).
  • steps S221 to S225 are sequentially illustrated in FIG. 8 , the present invention is not limited thereto. That is, the order of steps S221 to S225 may be opposite to that of FIG. 8 , and steps S221 to S225 may be performed in parallel.
  • steps S221 to S225 are illustrated in FIG. 8 , not all steps are necessarily performed. That is, only step S221 may be performed, or only step S225 may be performed. However, this is only an example, and the present invention is not limited thereto.
  • the data augmentation module 120 converts the pre-processed image data PD to generate the augmented image data AD ( S230 ).
  • the data augmentation module 120 may generate a plurality of augmented image data AD using one or more image conversion processes based on the preprocessed image data PD.
  • the data augmentation module 120 may generate the augmented image data AD by rotating the preprocessed image data PD.
  • the data augmentation module 120 may generate the augmented image data AD through a conversion process of various methods.
  • the database module 130 generates the training data TD based on the pre-processed image data PD and the augmented image data AD and the corresponding result data RD ( S240 ).
  • the training data TD may include pre-processed image data PD and augmented image data AD, and result data RD corresponding thereto.
  • the generated learning data TD may be stored in the information collection unit 131 .
  • the learning module 140 performs training on the deep learning model DL using the learning data TD (S250).
  • the deep learning model DL may be stored and used in the deep learning memory unit 133 of the database module 130 .
  • the learning module 140 may receive the training data TD and train the deep learning model DL based on the input. For example, the learning module 140 applies preprocessed image data (PD) or augmented image data (AD) to the input node of the deep learning model (DL), and the result data including the CFU counting number to the output node By inputting (RD), a deep learning model (DL) can be trained.
  • PD preprocessed image data
  • AD augmented image data
  • DL deep learning model
  • DL deep learning model
  • the database module 130 stores the learned deep learning model (TL) (S260).
  • the server 100 may store the plurality of learned deep learning models TL in the deep learning memory unit 133 based on the learning data TD stored in the information collecting unit 131 .
  • the deep learning model includes an input layer (input) using image data (ID) or augmented image data (AD) as input nodes, and coefficient data (FD) or coordinate data (CD) ) as an output node, and M hidden layers disposed between the input layer and the output layer.
  • a weight may be set on an edge connecting the nodes of each layer.
  • the presence or absence of such weights or edges may be added, removed, or updated during the learning process. Accordingly, through the learning process, weights of nodes and edges disposed between k input nodes and i output nodes may be updated.
  • nodes and edges Before the deep learning model (DL) performs training, all nodes and edges can be set to initial values. However, when cumulative information is input, the weights of nodes and edges are changed, and in this process, parameters input as learning factors (ie, image data) and values assigned to output nodes (ie, coefficient data or coordinate data) ) can be matched.
  • learning factors ie, image data
  • values assigned to output nodes ie, coefficient data or coordinate data
  • the deep learning model (DL) may receive and process a large number of parameters. Therefore, the deep learning model (DL) can perform learning based on massive data.
  • the weights of nodes and edges between the input and output nodes constituting the deep learning model (DL) may be updated by the learning process of the deep learning model (DL).
  • the parameters output from the deep learning model (DL) may be further extended to various data in addition to the coefficient data (FD) or the coordinate data (CD).
  • Figure 10 is a block diagram for explaining the execution step of the deep learning model in the CFU recognition method according to an embodiment of the present invention.
  • 11 is a flowchart for explaining an execution step of the deep learning model of FIG. 10 .
  • content overlapping with the above will be omitted or simply described, and differences will be mainly described.
  • the pre-processing module 110 receives image data ID (S310).
  • the pre-processing module 110 generates pre-processed image data PD based on the received image data ID (S320).
  • the CFU counting module 150 generates the result data RD using the deep learning model TL learned in advance based on the pre-processed image data PD (S330). At this time, the CFU counting module 150 derives the CFU counting value using one or more deep learning models (TL) stored in the deep learning memory unit 133 . If, when using a plurality of deep learning models (TL), by comparing a plurality of CFU counting values with each other, it is possible to select the final CFU counting value.
  • TL deep learning models
  • the CFU counting module 150 generates the document data PT by inputting the result data RD into a predetermined template (S340).
  • the CFU counting module 150 transmits the result data RD or document data PT to the user terminal 200 (S350).
  • the type and shape of the result data RD or document data PT received by the user terminal 200 may be selected by the user.
  • the user may determine the type of data to be received through preset settings.
  • the user terminal 200 may receive coefficient data FD or coordinate data CD, and may receive coefficient data FD or boundary data BD.
  • coefficient data FD or coordinate data CD may receive coefficient data FD or boundary data BD.
  • this is only an example, and the present invention is not limited thereto.
  • the result data RD may include at least one of coefficient data FD, coordinate data CD, and boundary data BD.
  • the result data RD may be divided into various types according to the type of output data of the deep learning model.
  • the output value of the deep learning model becomes the coefficient data FD, and the result data RD output to the user terminal 200 includes the coefficient data.
  • FD boundary image
  • BD boundary image
  • the boundary image BD may be generated by the above-described pre-processing module 110 .
  • the boundary image BD may be overlapped and displayed on the captured image data ID.
  • the coefficient data FD derived based on the image data ID may be displayed on the screen.
  • the output value of the deep learning model becomes the coordinate data CD
  • the result data RD output to the user terminal 200 includes the coordinate data ( CD)
  • the coordinate data CD may be a set of data sets including an x-axis, a y-axis, an x-axis size, and a y-axis size.
  • a bounding box BB generated based on the coordinate data CD may be overlapped and displayed on the captured image data ID.
  • 13 is an exemplary diagram of an interface screen displaying result data of the present invention.
  • 14 is an exemplary diagram of an interface screen for explaining document data of the present invention.
  • the server 100 may display result data RD corresponding to the image data ID received from the user terminal 200 on the screen of the user terminal 200 .
  • the boundary of the colony included in the boundary data BD may be overlapped and displayed on the image data ID.
  • the boundary of the colony may be displayed using the boundary image BD received from the server 100 or may be displayed using a bounding box BB formed based on a dataset included in the coordinate data CD.
  • a button may be provided on one side of the screen so that the color, size, etc., that distinguish each group are displayed differently, the type of sample used in the microbial medium, the experiment title, memo, and image data displayed on the screen
  • the coefficient data FD for (ID), etc. may be displayed.
  • this is only an example, and the present invention is not limited thereto.
  • the server 100 derives result data RD based on the image data ID received from the user terminal 200 , and documents data based on the derived result data RD. (PT) may be formed and displayed on the screen of the user terminal 200 .
  • the document data PT may be formed using a predetermined template, and each data included in the result data RD may be arranged in different areas of each document data and automatically input.
  • the CFU recognition method of the present invention can reduce the time to organize the result data into a document by automating the process of electronically documenting the result data including the counted CFU number into the template. Therefore, the present invention can process a large amount of experimental data quickly, shorten the time required for the experiment, and consequently improve user convenience.
  • 15 is a view for explaining a system for performing a CFU recognition method according to some embodiments of the present invention.
  • the CFU recognition server 100 may be implemented as an electronic device 1000 .
  • the electronic device 1000 may include a controller 1010 , an input/output device 1220 , I/O, a memory device 1230 , an interface 1040 , and a bus 1250 .
  • the controller 1010 , the input/output device 1020 , the memory device 1030 , and/or the interface 1040 may be coupled to each other through the bus 1050 .
  • the bus 1050 corresponds to a path through which data is moved.
  • the controller 1010 includes a central processing unit (CPU), a micro processor unit (MPU), a micro controller unit (MCU), a graphic processing unit (GPU), a microprocessor, a digital signal processor, a microcontroller, an application processor (AP). , application processor) and logic devices capable of performing functions similar thereto.
  • CPU central processing unit
  • MPU micro processor unit
  • MCU micro controller unit
  • GPU graphic processing unit
  • microprocessor a digital signal processor
  • AP application processor
  • AP application processor
  • the input/output device 1020 may include at least one of a keypad, a keyboard, a touch screen, and a display device.
  • the memory device 1030 may store data and/or a program.
  • the interface 1040 may perform a function of transmitting data to or receiving data from a communication network.
  • the interface 1040 may be in a wired or wireless form.
  • the interface 1040 may include an antenna or a wired/wireless transceiver.
  • the memory device 1030 is a working memory for improving the operation of the controller 1010 , and may further include a high-speed DRAM and/or SRAM.
  • the memory device 1030 may store a program or an application therein.
  • the server 100 may be a system in which a plurality of electronic devices 1000 are connected to each other through a network.
  • each module or combinations of modules may be implemented as the electronic device 1000 .
  • the present embodiment is not limited thereto.
  • the server 100 may include a workstation, a data center, an internet data center (IDC), a direct attached storage (DAS) system, a storage area network (SAN) system, and a network attached storage (NAS) system. It may be implemented as at least one of a system and a redundant array of inexpensive disks, or redundant array of independent disks (RAID) system, but the present embodiment is not limited thereto.
  • IDC internet data center
  • DAS direct attached storage
  • SAN storage area network
  • NAS network attached storage
  • the server 100 may transmit data through a network using the user terminal 200 .
  • the network may include a network based on a wired Internet technology, a wireless Internet technology, and a short-range communication technology.
  • Wired Internet technology may include, for example, at least one of a local area network (LAN) and a wide area network (WAN).
  • Wireless Internet technologies include, for example, Wireless LAN (WLAN), Digital Living Network Alliance (DMNA), Wireless Broadband: Wibro, World Interoperability for Microwave Access: Wimax, and High Speed Downlink Packet (HSDPA). Access), High Speed Uplink Packet Access (HSUPA), IEEE 802.16, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), Wireless Mobile Broadband Service (WMBS) and 5G New Radio (NR) technology.
  • WLAN Wireless LAN
  • DMNA Digital Living Network Alliance
  • WBS Wireless Mobile Broadband Service
  • NR 5G New Radio
  • Short-range communication technologies include, for example, Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra-Wideband (UWB), ZigBee, and Near Field Communication: At least one of NFC), Ultra Sound Communication (USC), Visible Light Communication (VLC), Wi-Fi, Wi-Fi Direct, and 5G NR (New Radio) may include.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra-Wideband
  • ZigBee ZigBee
  • Near Field Communication At least one of NFC), Ultra Sound Communication (USC), Visible Light Communication (VLC), Wi-Fi, Wi-Fi Direct, and 5G NR (New Radio) may include.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra-Wideband
  • ZigBee ZigBee
  • Near Field Communication At least one of NFC
  • Ultra Sound Communication USC
  • VLC Visible Light Communication
  • Wi-Fi Wi-
  • the server 100 communicating through the network may comply with technical standards and standard communication methods for mobile communication.
  • standard communication methods include Global System for Mobile communication (GSM), Code Division Multi Access (CDMA), Code Division Multi Access 2000 (CDMA2000), Enhanced Voice-Data Optimized or Enhanced Voice-Data Only (EV-DO).
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • CDMA2000 Code Division Multi Access 2000
  • EV-DO Enhanced Voice-Data Optimized or Enhanced Voice-Data Only
  • WCDMA Wideband CDMA
  • HSDPA High Speed Downlink Packet Access
  • HSUPA High Speed Uplink Packet Access
  • LTE Long Term Evolution
  • LTEA Long Term Evolution-Advanced
  • NR 5G New Radio
  • the present embodiment is not limited thereto.
  • the CFU recognition method of the present invention may perform CFU counting using a pre-trained deep learning model. Through this, the present invention can increase the accuracy of CFU counting and reduce the time required for CFU recognition. In addition, the CFU recognition method of the present invention can increase the accuracy and integrity of CFU counting by comparing the results of a plurality of different deep learning models with each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 학습된 딥러닝 모델을 이용한 CFU 인식 방법을 개시한다. 상기 CFU 인식 방법은, 사용자 단말기와 연계된 CFU 인식 서버에서 수행되는 CFU 인식 방법에 있어서, 상기 사용자 단말기에서 촬영된 미생물배지에 대한 이미지 데이터를 수신하는 단계, 수신된 상기 이미지 데이터를 전처리하는 단계, 상기 전처리된 이미지 데이터를 대상으로, 상기 이미지 데이터에 포함된 CFU의 숫자를 카운팅하는 단계 및 상기 카운팅된 CFU의 숫자를 포함하는 결과 데이터를 상기 사용자 단말기로 전송하는 단계를 포함하되, 상기 CFU의 숫자를 카운팅하는 단계는, 미리 학습된 하나 이상의 딥러닝 모델을 이용하여 상기 이미지 데이터에 포함된 상기 CFU의 숫자를 도출한다.

Description

학습된 딥러닝 모델을 이용한 CFU 인식 방법
본 발명은 사용자 단말기를 통해 수신된 이미지 데이터를 전처리하고, 미리 학습된 복수의 딥러닝 모델을 이용하여 사용자에게 적합한 결과 데이터를 도출하기 위한 CFU 인식 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 실험실에서 생성 또는 사용되는 정보를 저장하고 저장된 데이터를 관리하며 사용자가 원하는 형식으로 조회하여 활용할 수 있는 시스템인 실험실 정보 관리 시스템(Laboratory Information Management System; 이하 LIMS)에 대한 이용이 증가하고 있다.
또한, LIMS 기술은 다양한 기술분야와 접목되어 실시되고 있으며, 미생물 시험에 있어 정성적이고 수작업으로 진행되는 시험 공정에 대한 자동화를 통해 데이터의 무결성을 보증하는 품질보증시스템에 대한 필요성이 증가되고 있다.
예를 들어, 종래의 미생물 시험 방법에서는 미생물 배지에 대한 사진을 촬영하고, 촬영된 이미지에 마크를 표시하고, 미리 지정된 템플릿에 해당 사진을 삽입하여 결재를 수행하는 단계를 수작업으로 진행하기에, 데이터의 무결성이 보장되지 않고, 데이터 취합 속도가 느린 한계가 있었다.
이에 최근에는 LIMS 기술을 이용하여 미생물 배지에서 이미지 데이터를 추출하고, 집락형성단위인 CFU(Colony Forming Unit; 이하 CFU)의 수를 자동으로 카운팅하는 CFU 인식 방법이 사용되고 있다.
다만, 종래의 CFU 인식 방법은 미생물 배지와 집락 간의 위상차를 이용하는 방식을 취하고 있어, CFU 인식에 대해 정확성이 떨어지는 문제점이 있었다. 따라서, CFU 인식에 대한 정확성을 높이고, 결과 데이터를 자동으로 문서화하는 시스템에 대한 니즈가 존재하였다.
본 발명의 목적은, 미리 학습된 딥러닝 모델을 이용하여 CFU 카운팅의 정확도와 무결성을 확보할 수 있는 CFU 인식 방법을 제공하는 것이다.
또한, 본 발명의 목적은, 촬영된 이미지의 전처리 과정 및 데이터 증강 과정을 통해 복수의 딥러닝 모델을 학습시킴으로써, CFU 카운팅의 정확도와 무결성을 향상시킬 수 있는 CFU 인식 방법을 제공하는 것이다.
또한, 본 발명의 목적은, 카운팅된 CFU 숫자를 포함하는 결과 데이터를 자동으로 템플릿에 입력하여 전자문서화 할 수 있는 CFU 인식 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 실시예에 따른 CFU 인식 방법은, 사용자 단말기와 연계된 CFU 인식 서버에서 수행되는 CFU 인식 방법에 있어서, 상기 사용자 단말기에서 촬영된 미생물배지에 대한 이미지 데이터를 수신하는 단계, 수신된 상기 이미지 데이터를 전처리하는 단계, 상기 전처리된 이미지 데이터를 대상으로, 상기 이미지 데이터에 포함된 CFU의 숫자를 카운팅하는 단계 및 상기 카운팅된 CFU의 숫자를 포함하는 결과 데이터를 상기 사용자 단말기로 전송하는 단계를 포함하되, 상기 CFU의 숫자를 카운팅하는 단계는, 미리 학습된 하나 이상의 딥러닝 모델을 이용하여 상기 이미지 데이터에 포함된 상기 CFU의 숫자를 도출한다.
또한, 상기 CFU의 숫자를 카운팅하는 단계는, 미리 학습된 복수의 딥러닝 모델을 수신하고, 상기 복수의 딥러닝 모델에 상기 전처리된 이미지 데이터를 입력하고, 상기 복수의 딥러닝 모델에 대한 각각의 중간 데이터를 도출하고, 상기 각각의 중간 데이터를 서로 비교하여, 상기 결과 데이터를 도출하는 것을 포함한다.
또한, 상기 결과 데이터는, 상기 미생물 배지에 형성된 집락의 계수를 카운팅한 계수 데이터, 상기 미생물 배지에서 상기 집락이 형성된 위치를 표시하는 좌표 데이터 및 상기 미생물 배지에서 상기 집락의 경계를 표시하는 경계 데이터 중 적어도 하나를 포함한다.
또한, 상기 딥러닝 모델은, 상기 전처리된 이미지 데이터를 입력 받고, 이에 대한 출력으로 상기 계수 데이터 또는 상기 좌표 데이터를 출력한다.
또한, 상기 딥러닝 모델은, 상기 전처리된 이미지 데이터를 입력 노드로 하는 입력 레이어와, 상기 계수 데이터 또는 상기 좌표 데이터를 출력 노드로 하는 출력 레이어와, 상기 입력 레이어와 상기 출력 레이어 사이에 배치되는 하나 이상의 히든 레이어를 포함하고, 상기 입력 노드와 상기 출력 노드 사이의 노드 및 에지의 가중치는 상기 딥러닝 모델의 학습 과정에 의해 업데이트된다.
또한, 상기 경계 데이터에 포함된 상기 집락의 경계를 상기 미생물배지에 대한 이미지 상에 오버랩하여, 상기 사용자 단말기의 화면에 표시하는 단계와, 상기 좌표 데이터를 기초로 생성된 바운딩 박스를 상기 미생물배지에 대한 이미지 상에 오버랩하여, 상기 사용자 단말기의 화면에 표시하는 단계 중 어느 하나를 더 포함한다.
또한, 상기 딥러닝 모델을 학습시키는 단계를 더 포함하되, 상기 딥러닝 모델을 학습시키는 단계는, 상기 이미지 데이터에 대응되는 결과 데이터를 추가로 수신하는 단계와, 상기 전처리된 이미지 데이터를 기초로, 하나 이상의 이미지 변환과정을 이용하여 증강된 이미지 데이터를 생성하는 단계와, 상기 전처리된 이미지 데이터 및 상기 증강된 이미지 데이터와, 이에 대응되는 상기 결과 데이터를 포함하는 학습 데이터를 이용하여 상기 딥러닝 모델을 학습시키는 단계를 포함한다.
또한, 상기 학습 데이터를 정보 수집부에 저장하는 단계와, 상기 정보 수집부에 저장된 상기 학습 데이터를 기초로 학습된 복수의 딥러닝 모델을 딥러닝 메모리부에 저장하는 단계를 더 포함하고, 상기 CFU의 숫자를 카운팅하는 단계는,
상기 딥러닝 메모리부에 저장된 하나 이상의 상기 딥러닝 모델을 이용하여 상기 CFU의 숫자를 도출하는 것을 포함한다.
또한, 상기 전처리하는 단계는, 상기 이미지 데이터의 크기를 조절하는 스케일링 단계와, 상기 이미지 데이터의 밝기 및 음영을 미리 정해진 범위 내에 포함되도록 조절하는 정규화 단계와, 상기 이미지 데이터를 미리 저장된 필터를 이용하여 필터링하는 이미지 필터링 단계 중 적어도 하나를 수행하는 것을 포함한다.
또한, 상기 결과 데이터에 포함된 정보를 미리 정해진 템플릿에 입력하여, 상기 수신된 이미지 데이터에 대응되는 문서 데이터를 생성하는 단계와, 상기 생성된 문서 데이터를 상기 사용자 단말기에 전달하는 단계를 더 포함한다.
본 발명의 CFU 인식 방법은, 미리 학습된 딥러닝 모델을 이용하여 CFU 카운팅을 수행할 수 있다. 이를 통해, 본 발명은 CFU 카운팅의 정확도를 높이고, CFU 인식에 필요한 시간을 감소시킬 수 있다.
또한, 본 발명의 CFU 인식 방법은, 서로 다른 복수의 딥러닝 모델의 결과를 서로 비교함으로써 CFU 카운팅의 정확도 및 무결성을 높일 수 있다.
또한, 본 발명의 CFU 인식 방법은, 전술한 방법으로 카운팅된 CFU 숫자를 포함하는 결과 데이터를 템플릿에 입력하여 전자문서화하는 과정을 자동화함으로써, 결과 데이터를 문서로 정리하는 시간을 단축시킬 수 있다. 이를 통해, 본 발명은, 많은 양의 실험데이터를 빠르게 처리할 수 있으며, 실험에 소요되는 시간을 단축시키고, 결과적으로 사용자의 편의성을 향상시킬 수 있다.
상술한 내용과 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 실시예에 따른 CFU 인식 방법을 수행하는 시스템을 설명하기 위한 개념도이다.
도 2는 도 1의 CFU 인식 방법을 수행하는 시스템의 구성요소를 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 CFU 인식 방법을 설명하기 위한 순서도이다.
도 4는 도 2의 CFU 카운팅 모듈을 설명하기 위한 도면이다.
도 5는 도 3의 CFU의 숫자를 카운팅하는 단계에 대한 몇몇 예시를 설명하기 위한 순서도이다.
도 6은 본 발명의 실시예에 따른 CFU 인식 방법에서 딥러닝 모델의 학습단계를 설명하기 위한 블록도이다.
도 7은 도 6의 딥러닝 모델의 학습단계를 설명하기 위한 순서도이다.
도 8은 도 7의 이미지 데이터에 대한 전처리 단계를 설명하기 위한 순서도이다.
도 9는 도 6의 딥러닝 모델의 구성을 예시적으로 도시한 도면이다.
도 10은 본 발명의 실시예에 따른 CFU 인식 방법에서 딥러닝 모델의 수행단계를 설명하기 위한 블록도이다.
도 11은 도 10의 딥러닝 모델의 수행단계를 설명하기 위한 순서도이다.
도 12는 본 발명의 몇몇 실시예에 따른 결과 데이터를 설명하기 위한 도면이다.
도 13은 본 발명의 결과 데이터를 표시하는 인터페이스 화면의 예시도이다.
도 14는 본 발명의 문서 데이터를 설명하기 위한 인터페이스 화면의 예시도이다.
도 15는 본 발명의 몇몇 실시예에 따른 CFU 인식 방법을 수행하는 시스템을 설명하기 위한 도면이다.
본 명세서 및 특허청구범위에서 사용된 용어나 단어는 일반적이거나 사전적인 의미로 한정하여 해석되어서는 아니된다. 발명자가 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어나 단어의 개념을 정의할 수 있다는 원칙에 따라, 본 발명의 기술적 사상과 부합하는 의미와 개념으로 해석되어야 한다. 또한, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명이 실현되는 하나의 실시예에 불과하고, 본 발명의 기술적 사상을 전부 대변하는 것이 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 및 응용 가능한 예들이 있을 수 있음을 이해하여야 한다.
본 명세서 및 특허청구범위에서 사용된 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서 및 특허청구범위에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호 간 모순되지 않는 범위 내에서 공유될 수 있다.
이하에서는, 도 1 내지 도 15를 참조하여, 본 발명의 몇몇 실시예에 따른 CFU 인식 방법 및 이를 수행하는 CFU 인식 시스템에 대해 자세히 설명하도록 한다.
도 1은 본 발명의 실시예에 따른 CFU 인식 방법을 수행하는 CFU 인식 시스템을 설명하기 위한 개념도이다.
도 1을 참조하면, 본 발명의 몇몇 실시예에 따른 CFU 인식 시스템은, CFU 인식 서버(100) 및 사용자 단말기(200)로 구성될 수 있다.
CFU 인식 서버(100)(이하, 서버)와 사용자 단말기(200)는 서버-클라이언트 시스템으로 구현될 수 있다. 이때, 서버(100)는 하나 이상의 딥러닝 모델(DL)를 선정하고, 딥러닝 모델(DL)에서 출력된 데이터를 기초로 도출된 결과 데이터 또는 문서 데이터를 사용자 단말기(200)에 제공할 수 있다. 서버(100)는 유무선 네트워크를 통해 사용자 단말기(200)와 데이터를 송수신할 수 있다.
구체적으로, 서버(100)는 각각의 사용자 단말기(200)로부터 수신된 데이터들에 기초한 빅데이터 분석기술을 이용하여 각 사용자의 데이터를 전처리하고, 이를 통해 데이터에 포함된 CFU의 숫자를 카운팅할 수 있다. 또한, CFU의 숫자를 포함하는 결과 데이터(RD)를 제공하기 위하여, 데이터 분석에 적합한 딥러닝 모델(DL)을 선정하여 이용할 수 있다.
이 과정에서 서버(100)는 복수의 사용자 데이터로 구성된 학습데이터(TD)를 기초로 학습된 딥러닝 모델(TL)을 이용하여 CFU의 숫자를 카운팅하고, 이에 대응되는 결과를 제공할 수 있다.
딥러닝 모델에 대한 구체적인 설명은 도 4 내지 도 11을 참조하여 자세히 후술하도록 한다.
서버(100)는 본 발명의 몇몇 실시예에 따른 CFU 인식 방법의 수행주체가 될 수 있다. 구체적으로, 서버(100)는 사용자 단말기(200)로부터 이미지 데이터(ID)를 수신할 수 있다. 이때, 이미지 데이터(ID)는 미생물 배지에 대한 이미지 및 정보를 포함할 수 있다.
이어서, 서버(100)는 수신된 이미지 데이터(ID)를 이용하여 사용자에게 적합한 딥러닝 모델(DL)를 선정하고, 이를 이용하여 도출된 결과 데이터(RD)를 사용자 단말기(200)에 제공할 수 있다.
이때, 사용자 단말기(200)에는 서버(100)와 통신하는데 이용되는 전용 어플리케이션이 설치될 수 있다. 사용자는 사용자 단말기(200)에 설치된 전용 어플리케이션을 통해, 이미지 데이터(ID)를 전송하거나. 결과 데이터(RD)를 수신 및 표시할 수 있다.
또한, 본 발명의 CFU 인식 방법은 서버(100)에서만 수행되거나, 서버(100)와 사용자 단말기(200)에 각 단계가 분할되어 실시될 수 있다. 다만, 이하에서는 설명의 편의를 위해서, CFU 인식 방법이 서버(100)에서 수행되는 것을 전제로 설명하도록 한다.
본 발명의 몇몇 실시예에서, 사용자 단말기(200)는 퍼스널 컴퓨터(PC), 노트북, 태블릿, 휴대폰, 스마트폰, 웨어러블 디바이스(예를 들어, 워치형 단말기) 등의 다양한 전자 장치 중 적어도 하나를 의미할 수 있다.
또한, 사용자 단말기(200)는 사용자의 입력을 수신하는 입력부, 비주얼 정보를 디스플레이하는 디스플레이부, 외부와 신호를 송수신하는 통신부 및 데이터를 프로세싱하고 사용자 단말기(200) 내부의 각 유닛들을 제어하며 유닛들 간의 데이터 송/수신을 제어하는 제어부를 포함할 수 있다. 이하에서는, 사용자의 명령에 따라 제어부가 사용자 단말기(200) 내부에서 수행하는 것은 사용자 단말기(200)가 수행하는 것으로 통칭한다.
한편, 서버(100)는 통신망을 통해 사용자 단말기(200)에 정보나 서비스를 제공하는 컴퓨터 시스템으로 컴퓨터 프로그램(computer program) 또는 장치(device)를 의미할 수 있다.
또한, 본 발명의 서버(100)는 특정 업체나 개인에 의해 직접 운영 내지 관리되거나 외부에 위탁될 수 있으며, 동일한 주체에 의해 운영될 수 있다.
또한, 서버(100)의 명칭은 특정된 것이 아니기 때문에, 특정 서버에서 수행하는 기능은 다른 서버에서 역시 수행할 수 있을 뿐만 아니라, 하나의 서버에서 수행되는 기능은 다수의 서버에서 분리되어 수행될 수 있음은 물론이다.
이하에서는, 본 발명의 몇몇 실시예에 따른 CFU 인식 방법에 대해 구체적으로 살펴보도록 한다.
도 2는 도 1의 CFU 인식 방법을 수행하는 시스템의 구성요소를 설명하기 위한 블록도이다. 도 3은 본 발명의 실시예에 따른 CFU 인식 방법을 설명하기 위한 순서도이다. 도 4는 도 2의 CFU 카운팅 모듈을 설명하기 위한 도면이다. 도 5는 도 3의 CFU의 숫자를 카운팅하는 단계에 대한 몇몇 예시를 설명하기 위한 순서도이다.
우선, 도 2 및 도 4를 참조하면, 본 발명의 실시예에 따른 CFU 인식 방법을 수행하는 시스템의 서버(100)는 전처리 모듈(110), 데이터 증강 모듈(120), 데이터베이스 모듈(130), 학습 모듈(140) 및 CFU 카운팅 모듈(150)을 포함할 수 있다.
전처리 모듈(110)은 사용자 단말기(200)에서 촬영된 미생물 배지에 대한 이미지 데이터(ID)를 수신할 수 있다. 전처리 모듈(110)은 수신된 이미지 데이터(ID)를 이용하여 전처리할 수 있다.
구체적으로, 도 6을 참조하면, 전처리 모듈(110)은 크기조절부(111), 정규화부(113) 및 이미지 필터링부(115)를 포함할 수 있다.
크기조절부(111)는 이미지 데이터(ID)의 크기를 조절할 수 있다. 즉, 크기조절부(111)는 이미지 데이터(ID)를 미리 설정된 크기에 맞게 조절할 수 있다. 사용자 단말기(200)로부터 수신된 이미지 데이터(ID)는 다양한 크기를 가질 수 있다. 따라서, 크기조절부(111)는 이미지 데이터(ID)의 크기가 일정하도록 미리 설정된 크기로 변환할 수 있다.
정규화부(113)는 이미지 데이터(ID)의 밝기 및 음영을 미리 정해진 범위 내에 포함되도록 조절할 수 있다. 예를 들어, 사용자 단말기(200)로부터 수신된 이미지 데이터(ID)는 서로 다른 촬영 환경에서 촬영됨에 따라 밝기가 고르지 않거나, 이미지에 음영이 포함될 수 있다. 이에, 정규화부(113)는 이미지 데이터(ID)의 밝기 및 음영을 미리 설정된 범위에 포함되도록 이미지 데이터(ID)를 조절할 수 있다. 다만, 본 실시예가 이에 한정되는 것은 아니며, 이미지 데이터(ID)의 대비, 채도 및 색 등을 조절할 수 있음은 물론이다.
또한, 정규화부(113)는 가우시안 필터(gaussian filter)를 이용하여 이미지 데이터(ID)를 정규화 할 수 있다. 다만, 정규화부(113)에서 이용되는 필터 및 정규화 방법은 다양하게 변형되어 실시될 수 있음은 물론이다.
이미지 필터링부(115)는 이미지 데이터(ID)를 미리 저장된 필터를 이용하여 필터링할 수 있다. 이미지 필터링부(115)에서 이용되는 필터는 가우시안 필터(gaussian filter), 이진화 필터(binarization filter), 거리 변환 필터(distance transformation filter), 경계 필터(watershed segmentation filter), 클리닝 필터(cleaning filter), 컬러 필터(color filter) 등을 포함할 수 있다.
예를 들어, 이미지 필터링부(115)는 이미지 데이터(ID)에 컬러 필터를 적용하여 이미지 데이터(ID)의 컬러 대비를 키우고 이를 기초로 CFU와 배양액의 경계선을 명확히 도출할 수 있다. 또한, 이미지 필터링부(115)는 복수의 필터를 이용하여 후술할 경계이미지(BD)를 도출할 수 있다.
다만, 전술한 필터와 관련된 내용은 본 발명의 몇몇의 예시에 불과하고, 본 발명에서는 이미지 데이터(ID)를 필터링할 수 있는 다양한 필터가 이용될 수 있음은 물론이다.
전처리 모듈(110)은 전술한 각 구성요소 중 일부를 선택하여 이용할 수 있다. 예를 들어, 이미지 데이터(ID)는 정규화부(113)에 의해서 미리 정해진 범위 내에 포함되도록 밝기 및 음영을 조절될 수 있다. 이때, 이미지 데이터(ID)는 크기조절부(111)에 의해서 크기가 조절되지 않을 수 있다. 다만, 이는 하나의 예시에 불과하고, 본 발명이 이에 제한되는 것은 아니다.
데이터 증강 모듈(120)은 전처리 모듈(110)에서 전처리된 이미지 데이터(PD)를 수신할 수 있다. 데이터 증강 모듈(120)은 전처리된 이미지 데이터(PD)를 기초로, 하나 이상의 변환 과정을 이용하여 증강된 이미지 데이터(AD)를 생성할 수 있다.
데이터 증강 모듈(120)은 전처리된 이미지 데이터(PD)를 기초로 회전, 반전, 대칭, 전환 등의 다양한 변환 과정을 이용하여 하나 이상의 증강된 이미지 데이터(AD)를 생성할 수 있다. 즉, 데이터 증강 모듈(120)은 딥러닝 모델의 학습을 위한 학습데이터의 양을 증가시키기 위해, 수신된 이미지를 확장시키는 기능을 수행한다. 따라서, 데이터 증강 모듈(120)은 딥러닝 모델의 학습 단계에서 이용될 수 있다.
데이터베이스 모듈(130)은 정보 수집부(131) 및 딥러닝 메모리부(133)를 포함할 수 있다. 정보 수집부(131)는 데이터 증강 모듈(120)에서 수신된 각종 데이터들을 저장할 수 있다. 이때, 사용자의 계정을 별도로 분리하여 해당 사용자와 관련된 데이터들을 저장 및 관리할 수 있다.
딥러닝 메모리부(133)는 머신 러닝에 사용되는 딥러닝 모델(DL) 및 학습데이터(TD)에 의해 학습된 딥러닝 모델(TL)을 저장할 수 있다.
이때, 학습된 딥러닝 모델(TL)은 빅데이터를 기초로 학습된 인공신경망을 이용하여, 이미지 데이터(ID)에 대한 결과 데이터(RD)를 생성할 수 있다.
보다 자세히 설명하자면, 머신 러닝(Machine Learning)의 일종인 딥러닝(Deep learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다.
딥러닝(Deep learning)은, 단계를 높여가면서 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝(Machine Learning) 알고리즘의 집합을 나타낸다.
딥러닝 모델은 공지된 다양한 딥러닝 구조를 이용할 수 있다, 예를 들어, 딥러닝 모델은 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network), GNN(Graph Neural Network) 등의 구조를 이용할 수 있다.
구체적으로, CNN(Convolutional Neural Network)은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다.
RNN(Recurrent Neural Network)은 자연어 처리 등에 많이 이용되며, 시간의 흐름에 따라 변하는 시계열 데이터(Time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다.
DBN(Deep Belief Network)은 딥러닝 기법인 RBM(Restricted Boltzman Machine)을 다층으로 쌓아 구성되는 딥러닝 구조이다. RBM(Restricted Boltzman Machine) 학습을 반복하여 일정 수의 레이어가 되면, 해당 개수의 레이어를 가지는 DBN(Deep Belief Network)이 구성될 수 있다.
GNN(Graphic Neural Network, 그래픽 인공신경망, 이하, GNN)는 특정 파라미터 간 매핑된 데이터를 기초로 모델링된 모델링 데이터를 이용하여, 모델링 데이터 간의 유사도와 특징점을 도출하는 방식으로 구현된 인공신경망 구조를 나타낸다.
한편, 딥러닝 모델의 인공신경망 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다.
이때, 인공신경망의 머신 러닝 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다. 또한, 딥러닝 모델은 설정에 따라 학습 후 계수 데이터(FD) 또는 좌표 데이터(CD)을 출력하기 위한 인공신경망 구조를 자동 업데이트하도록 제어될 수 있다.
학습 모듈(140)은 학습 데이터(TD)를 입력 데이터로 하는 머신 러닝(Machine learning) 기반의 인공신경망의 학습동작을 수행할 수 있다. 즉, 학습 모듈(140)은 정보 수집부(131)에 저장된 학습데이터(TD)을 기초로, 딥러닝 메모리부(133)에 저장된 딥러닝 모델(DL)을 트레이닝 시킬 수 있다. 학습 모듈(140)에서 트레이닝된 학습된 딥러닝 모델(TL)은 딥러닝 메모리부(133)에 다시 전달되어 별도 저장 또는 기존 모델을 업데이트 할 수 있다.
한편, 도 4를 참조하면, CFU 카운팅 모듈(150)은 CFU 카운팅부(151), 데이터 처리부(153) 및 문서 데이터 생성부(155)를 포함할 수 있다.
CFU 카운팅부(151)는 전처리된 이미지 데이터(PD) 및 복수의 학습된 딥러닝 모델(TL)을 수신할 수 있다. 이때, CFU 카운팅부(151)는 복수의 학습된 딥러닝 모델(TL)에 전처리된 이미지 데이터(PD)를 입력할 수 있다.
예를 들어, CFU 카운팅부(151)는 전처리된 이미지 데이터(PD)를 제1 딥러닝 모델, 제2 딥러닝 모델 및 제3 딥러닝 모델에 입력할 수 있다. 이어서, CFU 카운팅부(151)는 제1 딥러닝 모델, 제2 딥러닝 모델 및 제3 딥러닝 모델에 대한 각각의 결과값을 취합하여 중간 데이터(MD)를 도출할 수 있다.
이어서, 데이터 처리부(153)는 CFU 카운팅부(151)로부터 중간 데이터(MD)를 수신할 수 있다. 데이터 처리부(153)는 중간 데이터(MD)에 포함된 각각의 딥러닝 모델에 대한 결과값을 서로 비교하여, 결과 데이터(RD)를 도출할 수 있다. 예를 들어, 데이터 처리부(153)는 각각의 딥러닝 모델에서 출력된 결과값이 모두 일치하는지, 서로 상이한지 판단한다. 이어서, 각각의 결과값이 서로 상이한 경우, 데이터 처리부(153)는 미리 설정된 조건을 충족하는 결과값을 선정하여 결과 데이터(RD)로 도출할 수 있다. 이때, 결과 데이터(RD)를 선정하기 위한 조건은 다양하게 변형되어 실시될 수 있음은 물론이다.
결과 데이터(RD)는 계수 데이터(FD), 좌표 데이터(CD) 및 경계 데이터(BD) 중 적어도 하나를 포함할 수 있다. 여기에서, 계수 데이터(FD)는 미생물 배지에 형성된 집락의 계수를 카운팅한 데이터를 의미하고, 좌표 데이터(CD)는 미생물 배지에서 집락이 형성된 위치를 표시하는 데이터를 의미하며, 경계 데이터(BD)는 미생물 배지에서 상기 집락의 경계를 표시하는 데이터를 의미한다.
한편, 문서 데이터 생성부(155)는 결과 데이터(RD)를 수신할 수 있다. 문서 데이터 생성부(155)는 결과 데이터(RD)를 기초로 이에 대응되는 문서 데이터(PT)를 생성할 수 있다. 즉, 문서 데이터 생성부(155)는 결과 데이터(RD)에 포함된 정보를 미리 정해진 템플릿에 입력하여, 사용자 단말기(200)로부터 수신된 이미지 데이터(ID)에 대응하는 문서 데이터(PT)를 생성할 수 있다. 이어서, 문서 데이터 생성부(155)는 출력된 문서 데이터(PT)를 사용자 단말기(200)에 전송할 수 있다.
도 3을 참조하여 전술한 내용을 정리하면, 본 발명의 실시예에 따른 CFU 인식 방법에서, 서버(100)는 사용자 단말기(200)로부터 촬영된 이미지 데이터(ID)를 수신한다(S110).
이어서, 서버(100)는 수신된 이미지 데이터(ID)를 전처리한다(S120). 이때, 전처리 모듈(110)은 수신된 이미지 데이터(ID)를 기초로 크기조정, 정규화 또는 필터링을 수행한 전처리된 이미지 데이터(PD)를 생성할 수 있다.
이어서, 서버(100)는 전처리된 이미지 데이터(PD)를 대상으로 딥러닝 모듈을 이용하여 이미지에 포함된 CFU의 숫자를 카운팅한다(S130).
구체적으로 도 5를 참조하면, 서버(100)는 전처리된 이미지 데이터(PD) 및 미리 학습된 딥러닝 모델(TL)을 수신한다(S131).
이어서, 서버(100)는 딥러닝 모델(TL)에 전처리된 이미지 데이터(PD)를 입력한다(S133).
이어서, 서버(100)는 딥러닝 모델(TL)의 출력값으로 구성되는 중간 데이터(MD)를 산출한다(S135). 이때, 딥러닝 모델(TL)은 전처리된 이미지 데이터(PD)를 입력 받고, 이에 대한 출력으로 계수 데이터(FD) 또는 좌표 데이터(CD)를 출력할 수 있다. 이때, 딥러닝 모델(TL)에서 출력되는 값은 중간 데이터(MD)에 포함될 수 있다.
또한, 서버(100)는 복수의 딥러닝 모델(TL)에 전처리된 이미지 데이터(PD)를 입력함으로써, 복수의 출력값을 포함하는 중간 데이터(MD)를 도출할 수 있다.
이어서, 서버(100)는 중간 데이터(MD)에서 결과 데이터(RD)를 선택한다(S137). 이때, 서버(100)는 중간 데이터(MD)에 포함된 복수의 출력값 중에서 최적의 값을 선택할 수 있다.
이어서, 서버(100)는 결과 데이터(RD)는 문서 데이터 생성부(155)로 전송할 수 있다.
이어서, 다시 도 3을 참조하면, 서버(100)는 카운팅된 CFU 숫자를 포함하는 결과 데이터(RD)를 미리 정해진 템플릿에 입력하여 전자문서화한다(S140).
이어서, 서버(100)는 전자문서화된 문서 데이터(PT) 또는 결과 데이터(RD)를 사용자 단말기(200)에 전송한다(S150).
이를 통해, 본 발명의 CFU 인식 방법은, 서로 다른 복수의 딥러닝 모델의 결과를 서로 비교함으로써 CFU 카운팅의 정확도 및 무결성을 높일 수 있다.
또한, 본 발명의 CFU 인식 방법은, 카운팅된 CFU 숫자를 포함하는 결과 데이터를 템플릿에 입력하여 전자문서화하는 과정을 자동화함으로써, 결과 데이터를 문서로 정리하는 시간을 단축시킬 수 있다. 이를 통해, 본 발명은, 많은 양의 실험데이터를 빠르게 처리할 수 있으며, 실험에 소요되는 시간을 단축시키고, 결과적으로 사용자의 편의성을 향상시킬 수 있다.
이하에서는, 본 발명의 실시예에 따른 CFU 인식 방법에서 이용하는 딥러닝 모델의 학습단계에 대해 자세히 살펴보도록 한다.
도 6은 본 발명의 실시예에 따른 CFU 인식 방법에서 딥러닝 모델의 학습단계를 설명하기 위한 블록도이다. 도 7은 도 6의 딥러닝 모델의 학습단계를 설명하기 위한 순서도이다. 도 8은 도 7의 이미지 데이터에 대한 전처리 단계를 설명하기 위한 순서도이다. 도 9는 도 6의 딥러닝 모델의 구성을 예시적으로 도시한 도면이다. 이하에서는 전술한 내용과 중복되는 내용은 생략하거나 간단히 설명하고, 차이점을 위주로 설명하도록 한다.
도 6 및 도 7을 참조하면, 본 발명의 실시예에 따른 CFU 인식 방법에서 이용하는 딥러닝 모델의 학습단계에서, 전처리 모듈(110)은 샘플 이미지 데이터(SD) 및 결과 데이터(RD)를 수신한다(S210). 이때, 샘플 이미지 데이터(SD)는 이미지 데이터(ID)와 대응되는 데이터일 수 있으며, 결과 데이터(RD)는 샘플 이미지 데이터(SD)의 CFU 카운팅 숫자를 포함할 수 있다.
이어서, 전처리 모듈(110)은 입력된 샘플 이미지 데이터(SD)에 대한 전처리를 수행한다(S220).
예를 들어, 도 8을 참조하면, 크기조절부(111)은 샘플 이미지 데이터(SD)의 크기를 조절한다(S221). 이어서, 정규화부(113)는 샘플 이미지 데이터(SD)의 밝기 및 음영을 조절한다(S223). 이어서, 이미지 필터링부(115)는 샘플 이미지 데이터(SD)의 필터링을 수행한다(S225).
이때, 도 8에서 S221 내지 S225 단계가 순차적인 것으로 도시되었지만, 이에 제한되는 것은 아니다. 즉, S221 내지 S225 단계의 순서는 도 8과 반대일 수도 있고, S221 내지 S225 단계가 병렬적으로 수행될 수도 있다.
또한, 도 8에서 S221 내지 S225 단계가 도시되었지만, 반드시 모든 단계가 수행되는 것은 아니다. 즉, S221 단계만 수행될 수도 있고, S225 단계만 수행될 수도 있다. 다만, 이는 하나의 예시에 불과하며, 본 발명이 이에 제한되는 것은 아니다.
이어서, 다시 도 6 및 도 7를 참조하면, 데이터 증강 모듈(120)은 전처리된 이미지 데이터(PD)를 변환하여 증강된 이미지 데이터(AD)를 생성한다(S230). 이때, 데이터 증강 모듈(120)은 전처리된 이미지 데이터(PD)를 기초로, 하나 이상의 이미지 변환 과정을 이용하여 복수의 증강된 이미지 데이터(AD)를 생성할 수 있다.
예를 들어, 데이터 증강 모듈(120)은 전처리된 이미지 데이터(PD)를 회전하여 증강된 이미지 데이터(AD)를 생성할 수 있다. 다만, 이는 하나의 예시에 불과하며, 데이터 증강 모듈(120)은 다양한 방법의 변환과정을 통해 증강된 이미지 데이터(AD)를 생성할 수 있다.
이어서, 데이터베이스 모듈(130)은 전처리된 이미지 데이터(PD) 및 증강된 이미지 데이터(AD)와 이에 대응되는 결과 데이터(RD)를 기초로 학습 데이터(TD)를 생성한다(S240). 이때, 학습 데이터(TD)는 전처리된 이미지 데이터(PD) 및 증강된 이미지 데이터(AD)와 이에 대응하는 결과 데이터(RD)를 포함할 수 있다. 생성된 학습 데이터(TD)는 정보 수집부(131)에 저장될 수 있다.
이어서, 학습 모듈(140)은 학습 데이터(TD)를 이용하여 딥러닝 모델(DL)에 대한 트레이닝 수행한다(S250). 이때, 딥러닝 모델(DL)은 데이터베이스 모듈(130)의 딥러닝 메모리부(133)에 저장되어 이용될 수 있다.
학습 모듈(140)은 학습 데이터(TD)를 입력 받고, 이를 기초로 딥러닝 모델(DL)을 학습시킬 수 있다. 예를 들어, 학습 모듈(140)은 딥러닝 모델(DL)의 입력노드에 전처리된 이미지 데이터(PD) 또는 증강된 이미지 데이터(AD)을 인가하고, 출력노드에 CFU 카운팅 수를 포함하는 결과 데이터(RD)를 입력함으로써 딥러닝 모델(DL)을 학습시킬 수 있다.
이어서, 데이터베이스 모듈(130)은 학습된 딥러닝 모델(TL)을 저장한다(S260). 이때, 서버(100)는 정보 수집부(131)에 저장된 학습 데이터(TD)를 기초로 복수의 학습된 딥러닝 모델(TL)을 딥러닝 메모리부(133)에 저장할 수 있다.
추가적으로, 도 9를 참조하면, 딥러닝 모델(DL)은 이미지 데이터(ID) 또는 증강된 이미지 데이터(AD)를 입력노드로 하는 입력 레이어(input)와, 계수 데이터(FD) 또는 좌표 데이터(CD)를 출력노드로 하는 출력 레이어(Output)와, 입력 레이어와 출력 레이어 사이에 배치되는 M 개의 히든 레이어를 포함할 수 있다.
여기서, 각 레이어들의 노드를 연결하는 에지(edge)에는 가중치가 설정될 수 있다. 이러한 가중치 혹은 에지의 유무는 학습 과정에서 추가, 제거, 또는 업데이트 될 수 있다. 따라서, 학습 과정을 통하여, k개의 입력노드와 i개의 출력노드 사이에 배치되는 노드들 및 에지들의 가중치는 업데이트될 수 있다.
딥러닝 모델(DL)이 학습을 수행하기 전에는 모든 노드와 에지는 초기값으로 설정될 수 있다. 그러나, 누적하여 정보가 입력될 경우, 노드 및 에지들의 가중치는 변경되고, 이 과정에서 학습인자로 입력되는 파라미터들(즉, 이미지 데이터)과 출력노드로 할당되는 값(즉, 계수 데이터 또는 좌표 데이터) 사이의 매칭이 이루어질 수 있다.
추가적으로, 클라우드 서버(미도시)를 이용하는 경우, 딥러닝 모델(DL)은 많은 수의 파라미터들을 수신하여 처리할 수 있다. 따라서, 딥러닝 모델(DL)은 방대한 데이터에 기반하여 학습을 수행할 수 있다.
딥러닝 모델(DL)을 구성하는 입력노드와 출력노드 사이의 노드 및 에지의 가중치는 딥러닝 모델(DL)의 학습 과정에 의해 업데이트될 수 있다. 또한, 딥러닝 모델(DL)에서 출력되는 파라미터는 계수 데이터(FD) 또는 좌표 데이터(CD) 외에도 다양한 데이터로 추가 확장될 수 있음은 물론이다.
이하에서는, 본 발명의 실시예에 따른 CFU 인식 방법에서 이용되는 딥러닝 모델의 수행단계에 대해 자세히 살펴보도록 한다.
도 10은 본 발명의 실시예에 따른 CFU 인식 방법에서 딥러닝 모델의 수행단계를 설명하기 위한 블록도이다. 도 11은 도 10의 딥러닝 모델의 수행단계를 설명하기 위한 순서도이다. 마찬가지로, 이하에서는 전술한 내용과 중복되는 내용은 생략하거나 간단히 설명하고, 차이점을 위주로 설명하도록 한다.
도 10 및 도 11을 참조하면, 전처리 모듈(110)은 이미지 데이터(ID)를 수신한다(S310).
이어서, 전처리 모듈(110)은 수신된 이미지 데이터(ID)를 기초로 전처리된 이미지 데이터(PD)를 생성한다(S320).
이어서, CFU 카운팅 모듈(150)은 전처리된 이미지 데이터(PD)를 기초로 미리 학습된 딥러닝 모델(TL)을 이용하여 결과 데이터(RD)를 생성한다(S330). 이때, CFU 카운팅 모듈(150)은 딥러닝 메모리부(133)에 저장된 하나 이상의 딥러닝 모델(TL)을 이용하여 CFU 카운팅값을 도출한다. 만약, 복수의 딥러닝 모델(TL)을 이용하는 경우, 복수의 CFU 카운팅값을 서로 비교함으로써, 최종 CFU 카운팅값을 선정할 수 있다.
이어서, CFU 카운팅 모듈(150)은 결과 데이터(RD)를 미리 정해진 템플릿에 입력하여 문서 데이터(PT)를 생성한다(S340).
이이서, CFU 카운팅 모듈(150)은 결과 데이터(RD) 또는 문서 데이터(PT)를 사용자 단말기(200)에 전송한다(S350). 이때, 사용자 단말기(200)에 수신되는 결과 데이터(RD) 또는 문서 데이터(PT)의 종류 및 형태는 사용자에 의해서 선택될 수 있다. 이때, 사용자는 미리 설정된 세팅을 통하여 수신할 데이터의 종류를 결정할 수 있다.
예를 들어, 사용자 단말기(200)는 계수 데이터(FD) 또는 좌표 데이터(CD)를 수신할 수 있고, 계수 데이터(FD) 또는 경계 데이터(BD)를 수신할 수도 있다. 또한, 다만, 이는 하나의 예시에 불과하며, 본 발명은 이에 제한되는 것은 아니다.
이하에서는, 사용자 단말기(200)가 수신하는 결과 데이터(RD) 또는 문서 데이터(PT)에 대해 예를 들어 설명하도록 한다.
도 12는 본 발명의 몇몇 실시예에 따른 결과 데이터를 설명하기 위한 도면이다.
도 12를 참조하면, 결과 데이터(RD)는 계수 데이터(FD), 좌표 데이터(CD) 및 경계 데이터(BD) 중 적어도 하나를 포함할 수 있다. 이때, 결과 데이터(RD)는 딥러닝 모델의 출력 데이터의 종류에 따라 다양한 타입으로 구분될 수 있다.
예를 들어, 결과 데이터(RD)가 제1 타입(type 1)인 경우, 딥러닝 모델의 출력값은 계수데이터(FD)가 되고, 사용자 단말기(200)에 출력되는 결과 데이터(RD)에는 계수데이터(FD) 및 경계이미지(BD)가 포함될 수 있다. 여기에서, 경계이미지(BD)는 전술한 전처리 모듈(110)에 의해 생성될 수 있다.
이어서, 사용자 단말기(200)의 화면에는 촬영된 이미지 데이터(ID) 상에 경계이미지(BD)가 오버랩되어 표시될 수 있다. 또한, 이미지 데이터(ID)를 기초로 도출된 계수데이터(FD)가 화면에 표시될 수 있다.
다른 예로, 결과 데이터(RD)가 제2 타입(type 2)인 경우, 딥러닝 모델의 출력값은 좌표데이터(CD)가 되고, 사용자 단말기(200)에 출력되는 결과 데이터(RD)에는 좌표데이터(CD)가 포함될 수 있다. 여기에서, 좌표데이터(CD)는 x축, y축, x축 크기, y축 크기를 포함하는 데이터셋의 집합일 수 있다.
이어서, 사용자 단말기(200)의 화면에는 촬영된 이미지 데이터(ID) 상에 좌표 데이터(CD)를 기초로 생성된 바운딩 박스(BB)가 오버랩되어 표시될 수 있다.
다만, 이는 하나의 예시에 불과하며, 사용자 단말기(200)에 표시되는 인터페이스는 다양하게 변형되어 실시될 수 있음은 물론이다.
이하에서는, 사용자 단말기(200)의 화면에 표시되는 본 발명에서 제공하는 인터페이스의 예시를 설명하도록 한다.
도 13은 본 발명의 결과 데이터를 표시하는 인터페이스 화면의 예시도이다. 도 14는 본 발명의 문서 데이터를 설명하기 위한 인터페이스 화면의 예시도이다.
우선, 도 13을 참조하면, 서버(100)는 사용자 단말기(200)로부터 수신된 이미지 데이터(ID)에 대응하는 결과 데이터(RD)를 사용자 단말기(200)의 화면에 표시할 수 있다.
예를 들어, 사용자 단말기의 화면(M1)에는 경계 데이터(BD)에 포함된 집락의 경계가 이미지 데이터(ID) 상에 오버랩하여 표시될 수 있다. 집락의 경계는 서버(100)로부터 수신한 경계이미지(BD)를 이용해 표시되거나, 좌표데이터(CD)에 포함된 데이터셋을 기초로 형성된 바운딩 박스(BB)를 이용해 표시될 수 있다.
또한, 화면의 일측에는 각각의 군집을 구분하는 컬러, 사이즈 등이 서로 다르게 구분되어 표시되도록 하는 버튼이 구비될 수 있으며, 미생물 배지에 이용된 시료의 종류, 실험 제목, 메모, 화면에 표시된 이미지 데이터(ID)에 대한 계수데이터(FD) 등이 표시될 수 있다. 다만, 이는 하나의 예시일 뿐, 본 발명이 이에 제한되는 것은 아니다.
또한, 도 14를 참조하면, 서버(100)는 사용자 단말기(200)로부터 수신된 이미지 데이터(ID)를 기초로 결과데이터(RD)를 도출하고, 도출된 결과데이터(RD)를 기초로 문서 데이터(PT)를 형성하여 사용자 단말기(200)의 화면에 표시할 수 있다.
문서 데이터(PT)는 미리 정해진 템플릿을 이용하여 형성될 수 있으며, 각 문서데이터의 서로 다른 영역에 결과데이터(RD)에 포함된 각각의 데이터가 배치되어 자동으로 입력될 수 있다.
이를 통해, 본 발명의 CFU 인식 방법은, 카운팅된 CFU 숫자를 포함하는 결과 데이터를 템플릿에 입력하여 전자문서화하는 과정을 자동화함으로써, 결과 데이터를 문서로 정리하는 시간을 단축시킬 수 있다. 따라서, 본 발명은 많은 양의 실험데이터를 빠르게 처리할 수 있으며, 실험에 소요되는 시간을 단축시키고, 결과적으로 사용자의 편의성을 향상시킬 수 있다.
도 15는 본 발명의 몇몇 실시예에 따른 CFU 인식 방법을 수행하는 시스템을 설명하기 위한 도면이다.
도 15를 참조하면, 전술한 본 발명의 몇몇 실시예들에 따른 CFU 인식 서버(100)는 전자 장치(1000)로 구현될 수 있다. 전자 장치(1000)는 컨트롤러(1010), 입출력 장치(1220, I/O), 메모리 장치(1230, memory device), 인터페이스(1040) 및 버스(1250, bus)를 포함할 수 있다. 컨트롤러(1010), 입출력 장치(1020), 메모리 장치(1030) 및/또는 인터페이스(1040)는 버스(1050)를 통하여 서로 결합될 수 있다. 버스(1050)는 데이터들이 이동되는 통로(path)에 해당한다.
구체적으로, 컨트롤러(1010)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit), 마이크로프로세서, 디지털 신호 프로세스, 마이크로컨트롤러, 어플리케이션 프로세서(AP, application processor) 및 이들과 유사한 기능을 수행할 수 있는 논리 소자들 중에서 적어도 하나를 포함할 수 있다.
입출력 장치(1020)는 키패드(keypad), 키보드, 터치스크린 및 디스플레이 장치 중 적어도 하나를 포함할 수 있다. 메모리 장치(1030)는 데이터 및/또는 프로그램 등을 저장할 수 있다.
인터페이스(1040)는 통신 네트워크로 데이터를 전송하거나 통신 네트워크로부터 데이터를 수신하는 기능을 수행할 수 있다. 인터페이스(1040)는 유선 또는 무선 형태일 수 있다. 예컨대, 인터페이스(1040)는 안테나 또는 유무선 트랜시버 등을 포함할 수 있다. 도시하지 않았지만, 메모리 장치(1030)는 컨트롤러(1010)의 동작을 향상시키기 위한 동작 메모리로서, 고속의 디램 및/또는 에스램 등을 더 포함할 수도 있다. 메모리 장치(1030)는 내부에 프로그램 또는 어플리케이션을 저장할 수 있다.
또는, 본 발명의 실시예들에 따른 서버(100)는 각각 복수의 전자 장치(1000)가 네트워크를 통해서 서로 연결되어 형성된 시스템일 수 있다. 이러한 경우에는 각각의 모듈 또는 모듈의 조합들이 전자 장치(1000)로 구현될 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
추가적으로, 서버(100)는 워크스테이션(workstation), 데이터 센터, 인터넷 데이터 센터(internet data center(IDC)), DAS(direct attached storage) 시스템, SAN(storage area network) 시스템, NAS(network attached storage) 시스템 및 RAID(redundant array of inexpensive disks, or redundant array of independent disks) 시스템 중 적어도 하나로 구현될 수 있으나, 본 실시예가 이에 제한되는 것은 아니다.
또한, 서버(100)는 사용자 단말기(200)을 이용하여 네트워크를 통해서 데이터를 전송할 수 있다. 네트워크는 유선 인터넷 기술, 무선 인터넷 기술 및 근거리 통신 기술에 의한 네트워크를 포함할 수 있다. 유선 인터넷 기술은 예를 들어, 근거리 통신망(LAN, Local area network) 및 광역 통신망(WAN, wide area network) 중 적어도 하나를 포함할 수 있다.
무선 인터넷 기술은 예를 들어, 무선랜(Wireless LAN: WLAN), DMNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 및 5G NR(New Radio) 기술 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
근거리 통신 기술은 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct), 5G NR (New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
네트워크를 통해서 통신하는 서버(100)는 이동통신을 위한 기술표준 및 표준 통신 방식을 준수할 수 있다. 예를 들어, 표준 통신 방식은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTEA(Long Term Evolution-Advanced) 및 5G NR(New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
정리하면, 본 발명의 CFU 인식 방법은, 미리 학습된 딥러닝 모델을 이용하여 CFU 카운팅을 수행할 수 있다. 이를 통해, 본 발명은 CFU 카운팅의 정확도를 높이고, CFU 인식에 필요한 시간을 감소시킬 수 있다. 또한, 본 발명의 CFU 인식 방법은, 서로 다른 복수의 딥러닝 모델의 결과를 서로 비교함으로써 CFU 카운팅의 정확도 및 무결성을 높일 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 사용자 단말기와 연계된 CFU 인식 서버에서 수행되는 CFU 인식 방법에 있어서,
    상기 사용자 단말기에서 촬영된 미생물배지에 대한 이미지 데이터를 수신하는 단계;
    수신된 상기 이미지 데이터를 전처리하는 단계;
    상기 전처리된 이미지 데이터를 대상으로, 상기 이미지 데이터에 포함된 CFU의 숫자를 카운팅하는 단계; 및
    상기 카운팅된 CFU의 숫자를 포함하는 결과 데이터를 상기 사용자 단말기로 전송하는 단계를 포함하되,
    상기 CFU의 숫자를 카운팅하는 단계는,
    미리 학습된 하나 이상의 딥러닝 모델을 이용하여 상기 이미지 데이터에 포함된 상기 CFU의 숫자를 도출하는
    CFU 인식 방법.
  2. 제1 항에 있어서,
    상기 CFU의 숫자를 카운팅하는 단계는,
    미리 학습된 복수의 딥러닝 모델을 수신하고,
    상기 복수의 딥러닝 모델에 상기 전처리된 이미지 데이터를 입력하고, 상기 복수의 딥러닝 모델에 대한 각각의 중간 데이터를 도출하고,
    상기 각각의 중간 데이터를 서로 비교하여, 상기 결과 데이터를 도출하는 것을 포함하는
    CFU 인식 방법.
  3. 제1 항에 있어서,
    상기 결과 데이터는,
    상기 미생물 배지에 형성된 집락의 계수를 카운팅한 계수 데이터;
    상기 미생물 배지에서 상기 집락이 형성된 위치를 표시하는 좌표 데이터; 및
    상기 미생물 배지에서 상기 집락의 경계를 표시하는 경계 데이터 중 적어도 하나를 포함하는
    CFU 인식 방법.
  4. 제3 항에 있어서,
    상기 딥러닝 모델은, 상기 전처리된 이미지 데이터를 입력 받고, 이에 대한 출력으로 상기 계수 데이터 또는 상기 좌표 데이터를 출력하는
    CFU 인식 방법.
  5. 제4 항에 있어서,
    상기 딥러닝 모델은,
    상기 전처리된 이미지 데이터를 입력 노드로 하는 입력 레이어와,
    상기 계수 데이터 또는 상기 좌표 데이터를 출력 노드로 하는 출력 레이어와,
    상기 입력 레이어와 상기 출력 레이어 사이에 배치되는 하나 이상의 히든 레이어를 포함하고,
    상기 입력 노드와 상기 출력 노드 사이의 노드 및 에지의 가중치는 상기 딥러닝 모델의 학습 과정에 의해 업데이트되는
    CFU 인식 방법.
  6. 제2 항에 있어서,
    상기 경계 데이터에 포함된 상기 집락의 경계를 상기 미생물배지에 대한 이미지 상에 오버랩하여, 상기 사용자 단말기의 화면에 표시하는 단계와,
    상기 좌표 데이터를 기초로 생성된 바운딩 박스를 상기 미생물배지에 대한 이미지 상에 오버랩하여, 상기 사용자 단말기의 화면에 표시하는 단계 중 어느 하나를 더 포함하는
    CFU 인식 방법.
  7. 제1 항에 있어서,
    상기 딥러닝 모델을 학습시키는 단계를 더 포함하되,
    상기 딥러닝 모델을 학습시키는 단계는,
    상기 이미지 데이터에 대응되는 결과 데이터를 추가로 수신하는 단계와,
    상기 전처리된 이미지 데이터를 기초로, 하나 이상의 이미지 변환과정을 이용하여 증강된 이미지 데이터를 생성하는 단계와,
    상기 전처리된 이미지 데이터 및 상기 증강된 이미지 데이터와, 이에 대응되는 상기 결과 데이터를 포함하는 학습 데이터를 이용하여 상기 딥러닝 모델을 학습시키는 단계를 포함하는
    CFU 인식 방법.
  8. 제7 항에 있어서,
    상기 학습 데이터를 정보 수집부에 저장하는 단계와,
    상기 정보 수집부에 저장된 상기 학습 데이터를 기초로 학습된 복수의 딥러닝 모델을 딥러닝 메모리부에 저장하는 단계를 더 포함하고,
    상기 CFU의 숫자를 카운팅하는 단계는,
    상기 딥러닝 메모리부에 저장된 하나 이상의 상기 딥러닝 모델을 이용하여 상기 CFU의 숫자를 도출하는 것을 포함하는
    CFU 인식 방법.
  9. 제1 항에 있어서,
    상기 전처리하는 단계는,
    상기 이미지 데이터의 크기를 조절하는 스케일링 단계와,
    상기 이미지 데이터의 밝기 및 음영을 미리 정해진 범위 내에 포함되도록 조절하는 정규화 단계와,
    상기 이미지 데이터를 미리 저장된 필터를 이용하여 필터링하는 이미지 필터링 단계 중 적어도 하나를 수행하는 것을 포함하는
    CFU 인식 방법.
  10. 제1 항에 있어서,
    상기 결과 데이터에 포함된 정보를 미리 정해진 템플릿에 입력하여, 상기 수신된 이미지 데이터에 대응되는 문서 데이터를 생성하는 단계와,
    상기 생성된 문서 데이터를 상기 사용자 단말기에 전달하는 단계를 더 포함하는
    CFU 인식 방법.
PCT/KR2021/009765 2021-02-05 2021-07-28 학습된 딥러닝 모델을 이용한 cfu 인식 방법 WO2022169045A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP21924943.0A EP4141738A4 (en) 2021-02-05 2021-07-28 METHOD FOR RECOGNIZING CFU USING TRAINED DEEP LEARNING MODEL

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0016785 2021-02-05
KR1020210016785A KR102454880B1 (ko) 2021-02-05 2021-02-05 학습된 딥러닝 모델을 이용한 cfu 인식 방법

Publications (1)

Publication Number Publication Date
WO2022169045A1 true WO2022169045A1 (ko) 2022-08-11

Family

ID=82703908

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/009765 WO2022169045A1 (ko) 2021-02-05 2021-07-28 학습된 딥러닝 모델을 이용한 cfu 인식 방법

Country Status (4)

Country Link
US (1) US20220253627A1 (ko)
EP (1) EP4141738A4 (ko)
KR (1) KR102454880B1 (ko)
WO (1) WO2022169045A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102484180B1 (ko) * 2022-10-12 2023-01-03 박경민 비구조적인 문서를 데이터베이스로 구축하는 방법 및 시스템
CN116883997B (zh) * 2023-09-04 2024-01-09 中国水产科学研究院南海水产研究所 一种基于图像识别的噬菌斑计数方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130038334A (ko) * 2010-06-23 2013-04-17 가부시키가이샤 엔테크 미생물 검출방법, 미생물 검출장치 및 프로그램
KR101924285B1 (ko) * 2017-05-24 2018-11-30 한국산업기술대학교산학협력단 미생물 자동 카운팅 방법 및 장치
JP2019208377A (ja) * 2018-05-31 2019-12-12 株式会社日立ソリューションズ コロニー検出装置、コロニー検出方法、及びコロニー検出プログラム
KR20190138434A (ko) * 2018-06-05 2019-12-13 삼성전자주식회사 기계 학습 장치 및 기계 학습 장치의 학습 방법
KR20200017573A (ko) * 2018-07-24 2020-02-19 삼성전자주식회사 객체 인식 장치, 이를 포함하는 전자 장치 및 객체 인식 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013106842A2 (en) * 2012-01-13 2013-07-18 The Charles Stark Draper Laboratory, Inc. Stem cell bioinformatics
CN114723741A (zh) * 2015-04-23 2022-07-08 Bd科斯特公司 用于自动计数微生物菌落的方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130038334A (ko) * 2010-06-23 2013-04-17 가부시키가이샤 엔테크 미생물 검출방법, 미생물 검출장치 및 프로그램
KR101924285B1 (ko) * 2017-05-24 2018-11-30 한국산업기술대학교산학협력단 미생물 자동 카운팅 방법 및 장치
JP2019208377A (ja) * 2018-05-31 2019-12-12 株式会社日立ソリューションズ コロニー検出装置、コロニー検出方法、及びコロニー検出プログラム
KR20190138434A (ko) * 2018-06-05 2019-12-13 삼성전자주식회사 기계 학습 장치 및 기계 학습 장치의 학습 방법
KR20200017573A (ko) * 2018-07-24 2020-02-19 삼성전자주식회사 객체 인식 장치, 이를 포함하는 전자 장치 및 객체 인식 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4141738A4 *

Also Published As

Publication number Publication date
KR20220113063A (ko) 2022-08-12
EP4141738A4 (en) 2024-01-24
EP4141738A1 (en) 2023-03-01
KR102454880B1 (ko) 2022-10-14
US20220253627A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
WO2022169045A1 (ko) 학습된 딥러닝 모델을 이용한 cfu 인식 방법
WO2019164232A1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2017010695A1 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
WO2021006482A1 (en) Apparatus and method for generating image
WO2018088806A1 (ko) 영상처리장치 및 영상처리방법
CN106844659A (zh) 一种多媒体数据处理方法和装置
WO2021101134A1 (en) Electronic apparatus and control method thereof
WO2021153858A1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
WO2023008884A1 (ko) 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법, 그리고 이를 실행시키기 위해 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램
WO2021012508A1 (zh) Ai影像识别方法、装置、设备及存储介质
WO2021112631A1 (en) Device, method, and program for enhancing output content through iterative generation
WO2020233076A1 (zh) 基于身份验证的物品入库方法、装置、设备及存储介质
WO2022050558A1 (ko) 전자 장치 및 그 제어 방법
EP4049235A1 (en) Electronic device and controlling method of electronic device
WO2019231068A1 (en) Electronic device and control method thereof
WO2022080844A1 (ko) 스켈레톤 분석을 이용한 객체 추적 장치 및 방법
WO2020017814A1 (ko) 이상 개체 검출 시스템 및 방법
WO2022035054A1 (ko) 로봇 및 이의 제어 방법
WO2022158628A1 (ko) 머신러닝 모델에 기반한 디스플레이 패널의 결함 판정 시스템
WO2022019390A1 (ko) 데이터 증강 기반 사물 분석 모델 학습 장치 및 방법
WO2020204219A1 (ko) 인공지능을 이용한 사물 인식 학습에서 아웃라이어를 분류하는 방법 및 분류장치와 로봇
WO2020149493A1 (ko) 전자 장치 및 이의 제어 방법
EP3738305A1 (en) Electronic device and control method thereof
WO2023132657A1 (ko) 상품 트렌드 예측 서비스 제공 장치, 방법 및 프로그램
WO2020122513A1 (ko) 2차원 이미지 처리 방법 및 이 방법을 실행하는 디바이스

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21924943

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021924943

Country of ref document: EP

Effective date: 20221125

NENP Non-entry into the national phase

Ref country code: DE