WO2023239174A1 - 다중 해상도 기반 광간섭 단층 이미징 장치 및 단층 영상 이미지를 이용한 세균 자동 동정 방법 - Google Patents

다중 해상도 기반 광간섭 단층 이미징 장치 및 단층 영상 이미지를 이용한 세균 자동 동정 방법 Download PDF

Info

Publication number
WO2023239174A1
WO2023239174A1 PCT/KR2023/007856 KR2023007856W WO2023239174A1 WO 2023239174 A1 WO2023239174 A1 WO 2023239174A1 KR 2023007856 W KR2023007856 W KR 2023007856W WO 2023239174 A1 WO2023239174 A1 WO 2023239174A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
measurement
image
bacteria
stage
Prior art date
Application number
PCT/KR2023/007856
Other languages
English (en)
French (fr)
Inventor
김지현
전만식
정희영
이승열
한상엽
성대운
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220069925A external-priority patent/KR20230169592A/ko
Priority claimed from KR1020220074389A external-priority patent/KR20230173520A/ko
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Publication of WO2023239174A1 publication Critical patent/WO2023239174A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/0209—Low-coherence interferometers
    • G01B9/02091—Tomographic interferometers, e.g. based on optical coherence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention was created to solve the above problems.
  • the purpose of the present invention is to quickly and non-destructively distinguish bacterial species without additional post-processing based on the shape of a single colony of bacteria on a medium.
  • the aim is to provide a multi-resolution based optical coherence tomography imaging device and a method for identifying bacteria using the same.
  • the purpose of the present invention is to enable identification at the same time as tomographic image acquisition without a general molecular biology-based identification process, so that results can be confirmed more quickly and classification accuracy can be improved according to the amount of data for each bacterial species learned in advance. It provides a method for automatic identification of bacteria using video images.
  • a multi-resolution based optical coherence tomography imaging device for achieving the above object includes a light source that emits light; An optical distributor that receives light and controls the path of light; a measuring stage that irradiates light input through the optical splitter toward a photographing target and transmits measurement reflection light generated by reflection from the photographing target; a reference stage that transmits reference reflected light generated based on light input through the optical splitter; and a detection unit that receives and analyzes interference light formed by the reference reflected light and the measurement reflected light.
  • the light input through the first measurement stage and the second light splitter which transmits the first measurement reflection light generated by reflection from the photographing object, is irradiated toward the photographing object, and the light inputted through the second light distributor is irradiated toward the photographing object, and and a second measurement stage that transmits the second measurement reflection light generated by reflection
  • the reference stage is a first reference stage that transmits the first reference reflection light generated based on the light input through the first light splitter.
  • a second reference stage that transmits a second reference reflected light generated based on the light input through the second optical splitter, wherein the detection unit is formed by the first reference reflected light and the first measurement reflected light.
  • a first interference light or a second interference light formed by the second reference reflection light and the second measurement reflection light is input, and the first measurement reflection light and the second measurement reflection light have different resolutions.
  • the first measured reflected light may have lower resolution than the second measured reflected light.
  • the tomographic image may include the diameter, height, and elevation and descent angles of the object to be photographed.
  • the photographing target may be located on a linear motor stage and moved to the positions of the first measurement stage and the second measurement stage.
  • a method for automatically identifying bacteria using tomography images includes the steps of acquiring a tomography image of non-destructive bacteria; Preprocessing the tomographic image; extracting feature vectors from the preprocessed image; and identifying the non-destructive bacteria based on the feature vector, wherein the feature vector is a morphological element of the non-destructible bacteria.
  • the morphological elements may include the diameter, height, rise and fall angles, internal refractive index, and curvature of the non-destructible bacteria.
  • the feature vector may be extracted from an image preprocessed through a convolutional neural network (CNN).
  • CNN convolutional neural network
  • a computer program is recorded on a computer-readable storage medium for performing an automatic bacterial identification method using tomography images.
  • an automatic bacterial identification system using tomographic images includes a processor; Includes a memory connected to the processor, wherein the memory acquires a tomographic image of a non-destructive bacterium, preprocesses the tomographic image, extracts a feature vector from the pre-processed image, and extracts a feature vector from the pre-processed image, and the non-destructive bacterium based on the feature vector. wherein the feature vector stores program instructions executed by the processor to identify morphological elements of the non-destructible bacterium.
  • the morphological elements may include the diameter, height, rise and fall angles, internal refractive index, and curvature of the non-destructible bacteria.
  • This technology is based on morphological characteristics acquired using a multi-resolution-based optical coherence tomography imaging device after raising the cultured bacterial medium on a linear motor stage 800, and is based on quantitative indicators including height, diameter, elevation angle, etc. You can distinguish the characteristics of bacteria. In particular, this technology has the advantage of accurately distinguishing fruit tree burn pathogen (Erwinia amylovora).
  • This automatic bacterial identification technology allows identification at the same time as tomographic image acquisition without a general molecular biology-based identification process, so the results can be confirmed more quickly.
  • classification accuracy can be improved depending on the amount of data for each bacterial species learned in advance.
  • Figure 1 is a schematic diagram for explaining the structure of an optical coherence tomography imaging system according to an embodiment of the present invention.
  • Figure 2 is a system for a multi-resolution based optical coherence tomography imaging device.
  • Figures 4a to 4d are diagrams showing morphological characteristics that can be measured for species classification based on tomographic images for each bacterial species acquired with a multi-resolution-based optical coherence tomography imaging device.
  • Figure 5 is a conceptual diagram of an automatic bacterial identification system using tomographic images according to another embodiment of the present invention.
  • Figure 6 is a flowchart of a method for automatic identification of bacteria using tomographic images according to the present invention.
  • Figure 7 is a flowchart of the image acquisition and image preprocessing steps in the automatic bacterial identification method using tomography images according to the present invention.
  • Figure 8 is a flowchart of the step of determining characteristics for each bacterial species in the automatic bacterial identification method using tomographic images according to the present invention.
  • Figure 9 is a flowchart of the step of determining feature points for each bacterial species in the automatic bacterial identification method using tomographic images according to the present invention.
  • Figure 10 is the result of the automatic bacterial identification method using tomographic images according to the present invention.
  • the light source 100 is a light source in the near-infrared band and generates and emits light.
  • This light source 100 is a light source that outputs light with a wide spectral radiation spectrum including the near-infrared region, and includes a super luminescent diode, a titanium sapphire laser, or a femtosecond laser. can be used
  • the first lens 320 is located at the rear of the first collimator 310 and can transmit the received reference light to the mirror 330, where the first lens 320 can be provided as a focusing lens.
  • This scanner 420 is located at the rear end of the second collimator 410, and the scanner 420 continuously changes its angle to reflect the measurement light incident from the second collimator 410 toward the second lens 430. You can.
  • This scanner 420 may be provided as a galvanometer scanner (GS, Galvanometer Scanner).
  • the second lens 430 is located at the rear end of the scanner 420 and can direct the measurement light reflected from the scanner 420 toward the sample 700.
  • the second lens 430 may be provided as a relay lens.
  • the reference reflected light and the measurement reflected light generated by the above-described reference stage 300 and the measurement stage 400 may be combined in the optical splitter 200, and as a result, interfered light may be formed in the optical splitter 200.
  • the interfered light may be transmitted to the detection unit 500.
  • the detection unit 500 may detect the spectrum of the interference light based on the interference light transmitted through the optical splitter 200 and obtain an interference spectrum image through analysis of the spectrum.
  • the image processing unit measures the depth information of the photographing target 700 through Fourier Transformation for each pixel of the interference spectrum image input from the detection unit 500 to create a tomographic image of the photographing target (S). You can.
  • the diffraction grating 520 is located at the rear of the third collimator 510 to diffract the interference light.
  • the diffraction grating 520 can be selected from various specifications depending on the specifications, and the diffraction grating 520
  • the light may be transmitted to the line scanner camera 540 through the third lens 530 provided at the rear end of the diffraction grating 520.
  • the third lens 530 is provided as a focusing lens, and generates a scan signal through the line scanner camera 540 to create an image for the experimenter to see.
  • a tomographic image of the product can be created by measuring the depth information of the product through Fourier transform for each pixel of the interference spectrum image received from the detection unit 500.
  • the position of the target colony is measured using a low-resolution OCT system, and then a tomographic image of the bacteria is acquired using a high-resolution OCT system (OCM) using a motor stage.
  • OCT system high-resolution OCT system
  • This system is a customized system for targeted single colony imaging and has the feature of allowing two systems to be used simultaneously with one spectrometer through an optical switch.
  • a customized optical coherence tomography system for bacterial imaging includes a first light source 110, a second light source 120, a first light splitter 210, and a second light splitter 220. , a first reference stage 301, a second reference stage 302, a first measurement stage 401, a second measurement stage 402, a detection unit 500, and an optical switch 600.
  • the first light source 110, the first light splitter 210, the first reference stage 301, and the first measurement stage 401 measure the position of the target colony, which is the sample 700, using a low-resolution OCT system. It is for this purpose.
  • the detection unit 500 is a common component for obtaining high-resolution and low-resolution images.
  • the reference reflected light and the measurement reflected light generated by the second reference stage 302 and the second measurement stage 402 may be combined in the second optical splitter 220, and as a result, the light interfered in the second optical splitter 220 may be formed, and the interference light thus interfered may be transmitted to the detection unit 500.
  • This interfered indirect light is used to obtain high-resolution tomography images.
  • the reason for obtaining low-resolution images is to measure the location of the target colony using a low-resolution OCT system and then obtain a tomographic image of bacteria using a high-resolution OCT system (OCM) using a motor stage.
  • OCM high-resolution OCT system
  • the motor stage moves the position of the sample, where faults can be easily identified, under the high-resolution lens.
  • the light output from the first light source 110 is distributed to the first reference stage 301 and the first measurement stage 401, and the reference reflected light is received from the first reference stage 301 and the first measurement stage 401.
  • the measured reflected light can be received from and transmitted to the detection unit 500.
  • the distribution ratio of the first reference light and the first measurement light distributed by the first light splitter 210 is preferably set to 50:50, but this may be changed as necessary.
  • the first reference stage 301 can reflect the reference light input through the first light splitter 210 and transmit the reflected reference light back to the first light splitter 210.
  • the first reference stage 301 shown in FIG. 2 As described above, it may be provided to include a fourth collimator 311, a fourth lens 321, and a first mirror 331.
  • the fourth collimator 311 is located at the rear of the first light splitter 210 based on the direction in which the reference light input through the first light splitter 210 travels and can convert the reference light into parallel light. is transmitted to the fourth lens 321.
  • the fourth lens 321 is located at the rear of the fourth collimator 311 and can transmit the received reference light to the first mirror 331, where the fourth lens 321 can be provided as a focusing lens.
  • the first mirror 331 reflects the reference light transmitted from the fourth lens 321 to generate reference reflected light, and the reference reflected light thus generated moves in the reverse direction of the path on which the reference light was incident to the first light splitter (210). ) can be transmitted.
  • the first measurement stage 401 can radiate light input through the first light distribution unit 210 toward the sample 700 and transmit the measurement reflection light generated by reflection from the sample 700.
  • the direction in which the measurement light output from the first light distribution unit 210 and transmitted to the first measurement stage 401 moves toward the sample 700 is the same as described for the measurement stage 400 in FIG. 1.
  • measurement reflection light is generated by reflecting the measurement light by the imaging object, and the generated measurement reflection light travels in the reverse direction of the path through which the measurement light entered. 1 It can be transmitted to the optical splitter 210.
  • the reference reflected light and the measurement reflected light generated by the above-described first reference stage 301 and the first measurement stage 401 may be combined in the first optical splitter 210, and as a result, the interference in the first optical splitter 210 Light may be formed, and the interference light may be transmitted to the detection unit 500.
  • the detection unit 500 detects the spectrum of the interference light based on the interference light transmitted through the first optical splitter 210, and can obtain an interference spectrum image through analysis of the spectrum.
  • a tomographic image of the bacteria is acquired using the high-resolution OCT system (OCM) through the optical switch 600.
  • OCM high-resolution OCT system
  • the sample 700 is moved to a lower position of the high-resolution lens 432 of the second measurement stage 402 through the linear motor stage 800.
  • the light output from the second light source 120 is distributed to the second reference stage 302 and the second measurement stage 402, and the reference reflected light is transmitted from the second reference stage 302 to the second measurement stage 402.
  • the measured reflected light can be received from and transmitted to the detection unit 500.
  • the distribution ratio of the second reference light and the second measurement light distributed by the second light splitter 220 is preferably set to 50:50, but this may be changed as needed.
  • the second reference stage 302 can reflect the reference light input through the second optical splitter 220 and transmit the reflected reference light back to the second optical splitter 220.
  • it may be provided to include a fifth collimator 312, a fifth lens 322, and a second mirror 332.
  • the fifth collimator 312 is located at the rear end of the second light splitter 220 based on the direction in which the reference light input through the second light splitter 220 travels and can convert the reference light into parallel light. is transmitted to the fifth lens 322.
  • the fifth lens 322 is located at the rear of the fifth collimator 312 and can transmit the received reference light to the second mirror 332, where the fifth lens 322 can be provided as a focusing lens.
  • the second measurement stage 402 may include a seventh collimator 412, a second scanner 422, and a high magnification lens 432.
  • the direction in which the measurement light output from the second light distribution unit 220 and transmitted to the second measurement stage 402 moves toward the sample 700 is the same as described for the measurement stage 400 in FIG. 1.
  • the detection unit 500 detects the spectrum of the interference light based on the interference light transmitted through the second optical splitter 220, obtains an interference spectrum image through spectrum analysis, and generates this interference spectrum image. .
  • this system is a customized system for target single colony imaging and has the feature of being able to simultaneously use a low-resolution imaging system and a high-resolution imaging system with one detection unit 500 through an optical switch 600.
  • Figure 3 is a tomographic image obtained using a multi-resolution based optical coherence tomography imaging device for a single bacterial colony.
  • This technology is based on morphological characteristics acquired using a multi-resolution-based optical coherence tomography imaging device after raising the cultured bacterial medium on a linear motor stage 800, and is based on quantitative indicators including height, diameter, elevation angle, etc. You can distinguish the characteristics of bacteria. In particular, this technology has the advantage of accurately distinguishing fruit tree burn pathogen (Erwinia amylovora).
  • the system for automatic identification of bacteria using tomographic images includes a data input unit 1000, a user DB, an image acquisition unit 3000, an image preprocessor 4000, and an automatic identification model learning unit 5000. ), a feature point portion determination unit 6000 for each species, and a judgment randomization unit 7000.
  • the automatic identification model learning unit 5000 includes a learning model generating unit 5100 and a model learning unit 5300.
  • the data input unit 1000 functions to input a tomography image into a user DB.
  • the data input unit 1000 may be connected to an optical coherence tomography imaging device, but is not limited to this and may include any imaging equipment that can acquire a tomography image without causing additional damage to the sample.
  • the tomographic image obtained from the optical coherence tomography imaging device is stored in the user DB from the data input unit 1000.
  • the user DB is a storage that stores image data for learning AI models or input image data for determining characteristics of each species.
  • the image preprocessor 4000 performs normalization, standardization, and transformation on image data. In other words, the image preprocessor 4000 reorganizes the image data to fit the input size of the AI model and performs image preprocessing tasks such as image normalization and noise removal.
  • the automatic identification model learning unit 5000 and the species-specific feature point determination unit 6000 perform deep learning to enable automatic identification through determination of feature points for each bacterial species.
  • the automatic identification model learning unit 5000 receives transformed image data from the image pre-processing unit 4000. Specifically, the automatic identification model learning unit 5000 creates an AI model for determining characteristics of each bacterial species or loads a stored AI model and additionally learns new image data acquired through the image acquisition unit.
  • the learning model generator 5100 extracts feature vectors from images preprocessed through a convolutional neural network (CNN), automatically identifies bacteria, and provides identification result probabilities.
  • CNN convolutional neural network
  • the learning model creation unit 5100 creates a new AI model to be learned or loads a stored AI model depending on the existence and use of an existing stored AI model.
  • the model learning unit 5300 performs a learning process on the learning model generated by the learning model generating unit 5100.
  • the model learning unit 5300 sets a function for learning the model, extracts feature vectors of images stored through CNN, reduces errors when errors between the feature vector and the correct answer occur, and uses non-training data to improve the model.
  • Judge learning progress That is, the model learning unit 5300 learns an AI model using the user DB and images input through the image acquisition unit 3000.
  • the species-specific feature point determination unit 6000 loads the final trained model from the species-specific feature point model learning unit 5000 for new input data to be evaluated and performs CNN calculation. Afterwards, the feature vector extracted through CNN from the new input data is used to determine bacterial identification. Then, the feature vector extracted in this way is calculated to calculate the probability of the identification result. In addition, it indicates in quantitative numbers whether the AI model learned through the input video data has progressed to the desired level.
  • the input image final decision randomization unit 7000 displays the calculated identification result probability to the user.
  • the basis for the judgment of the AI model, where the characteristic points of each species are determined through the AI model, is displayed on the image.
  • Such an automatic bacterial identification system using tomography images may include a processor connected to a memory, and this memory may include program instructions executed by the processor to implement the above-described functions.
  • Figure 6 is a flowchart of a method for automatically identifying bacteria using tomography images according to another embodiment of the present invention.
  • the method for automatic identification of bacteria using tomography images includes the steps of entering data into the user DB (S1), acquiring the image (S2), and preprocessing the image (S3). , It includes the step of determining the characteristics of each bacterial species (S4), the step of determining the feature point area of each bacterial species (S5), and the step of probabilizing the final decision of the input image (S6).
  • the step S1 of inputting data into the user DB is a step in which the data input unit 1000 inputs a tomography image into the user DB.
  • the data input unit 1000 connected to the optical coherence tomography imaging device stores the tomographic image acquired from the optical coherence tomography imaging device from the data input unit 1000 to the user DB.
  • Figure 7 is a flowchart of the image acquisition and image preprocessing steps in the automatic bacterial identification method using tomography images according to the present invention.
  • the step of acquiring an image includes a step of storing data (S21), a step of receiving an input data storage path (S22), and a step of listing the input data (S23).
  • the data storage step (S21) stores data through a data collection server.
  • the image data is loaded into the computer main memory through a path designated by the user (for example, a folder location designated by the user) where the input data is stored.
  • the step of listing input data (S23) lists the input data existing in the path. This is to learn video data in the user DB without duplication.
  • the image preprocessing step (S3) unifies the different extensions of the input image data, transforms or cuts the image to an image size suitable for learning the AI model, and additionally performs image processing such as noise removal and normalization.
  • the step of data normalizing the entire image S31
  • standardizing the image size S32
  • transforming the image for learning S33
  • the step of data normalization of the entire image (S31) normalizes the entire tomographic image data, and normalization is intended to keep the value range of the tomographic image data to be used during learning constant between 0 and 1. am.
  • the way to make data into a range between 0 and 1 is (value to be normalized - minimum value among data values)/ (maximum value among data values - minimum value among data values).
  • the image size standardization step (S32) standardizes the input tomographic image size, and standardization is to change the range (scale) of the + value so that the mean is 0 and the variance is 1.
  • the standardization method is (value to be standardized - average)/standard deviation.
  • transformation for learning of the input image is performed (S33)
  • Figure 8 is a flowchart of the step of determining characteristics for each bacterial species in the automatic bacterial identification method using tomographic images according to the present invention.
  • parameters for creating a learning model are first received (S42).
  • the parameters for creating a learning model are weights. Parameters include the input image size. Afterwards, it passes through CNN to automatically identify the final bacteria using the feature vector extracted from the input data (S42). Then, the extracted feature vector is calculated to determine the characteristics of each species and the identification result probability is provided (S43).
  • an AI model is used to load an existing stored AI model or apply parameters input from the user, implement a CNN inside the AI model, and finally determine and output feature points from the input image data. This is the process of creating a .
  • the activation function used in CNN may be an activation function that outputs positive values among preprocessed images as is and outputs negative values as reduced values by a predetermined size.
  • the activation function refers to a function that assigns weights to multiple input information, combines them, and outputs a complete result.
  • the learning progress of the model is determined using training data that was not used for training (S47).
  • step (S5) of determining the feature point area for each bacterial species the learned AI model is loaded, new image data to be tested is input, and the extracted feature vectors are calculated as the model operation progresses to reach the target value.
  • This is the process of checking with quantitative numbers whether the learning of the AI model has been completed, and in the case of the AI model whose learning has been completed, using it in an actual situation to make a final judgment on the input feature points for each species.
  • a deep neural network operation is performed on the new input data to be evaluated using the final learned model (S51).
  • the bacterial identification result is determined using the feature vector extracted from the input data through CNN (S52). Then, the feature vector extracted for bacterial species classification is calculated and the identification result probability is provided (S53).
  • the final judgment of the input image is probabilized based on the probability of the identification result (S6).
  • Figure 10 is the result of the automatic bacterial identification method using tomographic images according to the present invention. It shows that a total of 7 types of bacteria can be automatically identified at once with a probability of 93%. In this drawing, seven types of bacteria are used as examples, but it is not limited to these.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Artificial Intelligence (AREA)
  • Analytical Chemistry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Immunology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

본 발명은 다중 해상도 기반 광간섭 단층 이미징 장치 및 단층 영상 이미지를 이용한 세균 자동 동정 방법에 관한 것이다. 본 발명에 따른 다중 해상도 기반 광간섭 단층 이미지 장치는 광원, 광분배기, 측정단, 기준단, 검출부 및 영상처리부를 포함한다. 이에 따라 단일 균총(Single colony)을 이미징하는데 5초 이하의 시간이 소요되기 때문에 빠른 속도로 동정을 진행할 수 있다는 장점이 있으며, 샘플에 추가적인 손상을 주지않기 때문에 추후 지속적인 동정이 가능한 장점이 있다.

Description

다중 해상도 기반 광간섭 단층 이미징 장치 및 단층 영상 이미지를 이용한 세균 자동 동정 방법
본 발명은 다중 해상도 기반 광간섭 단층 이미징 장치 및 단층 영상 이미지를 이용한 세균 자동 동정 방법에 관한 것으로, 보다 상세하게는 추가적인 후처리 과정없이 빠르고 비 파괴적으로 세균의 종을 구분을 할 수 있는 다중 해상도 기반 광간섭 단층 이미징 장치와 이를 통해 획득된 단층 영상 이미지를 이용하여 일반적인 분자생물학적 기반 동정과정 없이, 신속하고 사전에 학습한 세균 종별 데이터 양에 따라 분류 정확도를 향상시킬 수 있는 세균 자동 동정 방법에 관한 것이다.
일반적인 세균 동정법은 배지상에 배양된 균총(Colony)을 이용한 분자생물학적 동정법을 기반한다. 일반적인 분자생물학적 동정법은 단일 균총(Single colony)으로 분리한 총 게놈(total genomic) DNA 추출 후 중합효소연쇄반응(PCR)법을 통해 16S rRNA gene의 염기서열을 분석하고, 이들의 염기서열을 비교하여 종 동정을 수행한다. 최근에는 세부적인 종 분류를 위해서 ribosomal RNA gene 이외에 여러 가지 분자마커를 이용하여 동정한다. 이는 세균 종을 정확하게 분류할 수 있다는 장점이 있지만, 동정까지 많은 시간이 소요되고, 세균을 손상시키는 등 단점을 가지고 있다.
또한, 기존 세균을 동정하기 위해서 사용되는 DNA 기반 동정 방법의 경우 추가적인 염색 및 시간이 소요된다는 단점을 가지고 있었다. 이를 보완하기 위해 현미경으로 획득한 세균의 외부 형태 이미지를 사용해 artificial intelligence 기반 자동 동정 방법이 제시되었지만, 세균의 모양 한가지 데이터만을 학습시킬 수밖에 없어, 추가적으로 획득한 DNA 기반 염색 결과를 같이 학습시키고 있다.
이는 기존 세균 동정법의 근본적인 단점을 해결할 수 없다. 따라서, 추가적인 과정 및 시간을 최소화하기 위한 새로운 세균 자동 동정 기술이 필요하다.
본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로, 본 발명의 목 적은 배지 상에서 세균의 단일 균총(single colony)의 형태를 기반으로 하여 추가적인 후처리 과정없이 빠르고 비 파괴적으로 세균의 종을 구분을 할 수 있는 다중 해상도 기반 광간섭 단층 이미징 장치 및 이를 이용한 세균 동정 방법을 제공하는 것이다.
또한, 본 발명의 목적은 일반적인 분자생물학적 기반 동정과정 없이, 단층영상 획득과 동시에 동정이 가능하기 때문에 더욱 빠르게 결과를 확인할 수 있으며 사전에 학습한 세균 종별 데이터 양에 따라 분류 정확도를 향상시킬 수 있는 단층 영상 이미지를 이용한 세균 자동 동정 방법을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다중 해상도 기반 광간섭 단층 이미징 장치는, 광을 방출하는 광원; 광을 전달받아 광의 경로를 조절하는 광분배기; 상기 광분배기를 통해 입력된 광을 촬영 대상을 향해 조사하고, 상기 촬영 대상으로부터 반사되어 생성된 측정반사광을 전달하는 측정단; 상기 광분배기를 통해 입력된 광에 기초하여 생성된 기준반사광을 전달하는 기준단; 및 상기 기준반사광 및 상기 측정반사광에 의해 형성되는 간섭광을 입력받아 분 석하는 검출부; 상기 검출부에서 분석된 간섭광에 기초하여 상기 촬영 대상의 단층 이미지를 생성하는 영상처리부를 포함하되, 상기 광원은 제1광원 및 제2광원을 포함하고, 상기 광분배기는, 상기 제1광원으로부터 광을 전달받아 광의 경로를 조절하는 제1광분배기 및 상기 제2광원으로부터 광을 전달받아 광의 경로를 조절하는 제2광분배기를 포함하고, 상기 측정단은, 상기 제1광분배기를 통해 입력된 광을 촬영 대상을 향해 조사하고, 상기 촬영 대상으로부터 반사되어 생성된 제1측정반사광을 전달하는 제1측정단 및 상기 제2광분배기를 통해 입력된 광을 촬영 대상을 향해 조사하고, 상기 촬영 대상으로부터 반사되어 생성된 제2측정반사광을 전달하는 제2측정단을 포함하고, 상기 기준단은, 상기 제1광분배기를 통해 입력된 광에 기초하여 생성된 제1기준반사광을 전달하는 제1기준단 및 상기 제2광분배기를 통해 입력된 광에 기초하여 생성된 제2기준반사광을 전달하는 제2기준단을 포함하며, 상기 검출부는, 상기 제1기준반사광 및 상기 제1측정반사광에 의해 형성되는 제1간섭광 또는 상기 제2기준반사광 및 상기 제2측정반사광에 의해 형성되는 제2간섭광을 입력받으며, 상기 제1측정반사광 및 상기 제2측정반사광은 해상도가 상이하다.
또한 상기 검출부가 상기 제1간섭광 또는 상기 제2간섭광을 선택할 수 있게하는 광스위치를 포함할 수도 있다.
또한 상기 제1측정반사광은 상기 제2측정반사광에 비해 저해상도일 수도 있다.
또한 상기 영상처리부는, 상기 제1검출부에서 분석된 제1간섭광에 기초하여 상기 촬영 대상의 위치를 나타내고,상기 제2검출부에서 분석된 제2간섭광에 기초하여 상기 촬영 대상의 단층 이미지를 생성할 수도 있다.
또한 상기 단층 이미지는 상기 촬영 대상의 지름, 높이, 상승 및 하강 각도를 포함할 수도 있다.
또한 상기 촬영 대상은 선형 모터 스테이지 상에 위치하여, 상기 제1측정단과 상기 제2측정단의 위치로 이동할 수도 있다.
본 발명의 다른 실시예에 따른 단층 영상 이미지를 이용한 세균 자동 동정 방법은, 비파괴 세균의 단층 영상을 획득하는 단계; 상기 단층 영상을 전처리하는 단계; 상기 전처리한 영상으로부터 특징 벡터를 추출하는 단계; 및 상기 특징 벡터를 기반으로 상기 비파괴 세균을 동정하는 단계:를 포함하되, 상기 특징 벡터는 상기 비파괴 세균의 형태학적 요소이다.
또한 상기 형태학적 요소는 상기 비파괴 세균의 지름, 높이, 상승 및 하강 각도, 내부 굴절률 및 곡률을 포함할 수도 있다.
또한 상기 특징 벡터를 추출하는 단계는, 합성곱 신경망 (CNN : Convolutional Neural Network)을 통해 전처리된 이미지에서 특징 벡터를 추출할 수도 있다.
또한 상기 추출된 특징 벡터를 이용하여 상기 동정 결과 확률을 제공하는 단계를 포함할 수도 있다.
본 발명의 또 다른 실시예에 따르면, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 저장 매체는 단층 영상 이미지를 이용한 세균 자동 동정 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.
본 발명의 또 다른 실시예에 따르면, 단층 영상 이미지를 이용한 세균 자동 동정 시스템은, 프로세서; 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 비파괴 세균의 단층 영상을 획득하고, 상기 단층 영상을 전처리하고, 상기 전처리한 영상으로부터 특징 벡터를 추출하며, 상기 특징 벡터를 기반으로 상기 비파괴 세균을 동정하되, 상기 특징 벡터는 상기 비파괴 세균의 형태학적 요소가 되도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장한다.
또한 상기 형태학적 요소는 상기 비파괴 세균의 지름, 높이, 상승 및 하강 각도, 내부 굴절률 및 곡률을 포함할 수도 있다.
본 기술은 배양된 세균 배지를 선형 모터 스테이지(800) 올린 후 다중 해상도 기반 광간섭 단층 이미징 장치를 사용하여 획득한 형태학적 특징을 기반으로, 높이, 지름, 상승 각도 등을 포함한 정량적인 지표들을 기반으로 세균의 특징을 구분할 수 있다. 특히, 본 기술은 과수 화상병균(Erwinia amylovora)을 정확히 구분할 수 있는 이점을 갖는다.
따라서 하나의 단일 균총(Single colony)을 이미징하는데 5초 이하의 시간이 소요되기 때문에 빠른 속도로 동정을 진행할 수 있다는 장점이 있으며, 샘플에 추가적인 손상을 주지않기 때문에 추후 지속적인 동정이 가능한 장점이 있다.
본 세균 자동 동정기술은 일반적인 분자생물학적 기반 동정과정 없이, 단층영상 획득과 동시에 동정이 가능하기 때문에 보다 빠르게 결과를 확인할 수 있다.
또한, 사전에 학습한 세균 종별 데이터 양에 따라 분류 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 광간섭단층 촬영 시스템의 구조를 설명하기 위한 모식도이다.
도 2는 다중 해상도 기반 광간섭 단층 이미징 장치에 대한 시스템이다.
도 3는 세균 단일 콜로니에 대해 다중 해상도 기반 광간섭 단층 이미징 장치를 사용해 획득한 단층 영상이다.
도 4a 내지 도4d는 다중 해상도 기반 광간섭 단층 이미징 장치로 획득한 세균 종별 단층 영상을 기반으로 종 구분을 위해 측정할 수 있는 형태학적 특징들을 나타내는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 단층 영상 이미지를 이용한 세균 자동 동정 시스템의 개념도이다.
도 6은 본 발명에 따른 단층 영상 이미지를 이용한 세균 자동 동정 방법의 순서도이다.
도 7은 본 발명에 따른 단층 영상 이미지를 이용한 세균 자동 동정 방법 중 영상 획득 및 영상 전처리 단계의 순서도이다.
도 8은 본 발명에 따른 단층 영상 이미지를 이용한 세균 자동 동정 방법 중 세균 종별 특징 판단 단계의 순서도이다.
도 9는 본 발명에 따른 단층 영상 이미지를 이용한 세균 자동 동정 방법 중 세균 종별 특징점 부위 판단 단계의 순서도이다.
도 10은 본 발명에 따른 단층 영상 이미지를 이용한 세균 자동 동정 방법의 결과물이다.
도 11a 내지 도11c는 본 발명에 따른 단층 영상 이미지를 이용한 세균 자동 동정 방법의 또 다른 결과물이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실 시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명 을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서 로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기 재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실 시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한 정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서 만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하 게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 광간섭단층 촬영 시스템의 구조를 설명하기 위한 모식도이다.
한편 광원(100)은 근적외선 대역의 광원으로서 광을 생성하여 방출한다. 이 러한 광원(100)은 근적외선 영역을 포함하는 넓은 분광 복사 스펙트럼을 가진 광을 출력하는 광원이며, 고휘도 다이오드(Super Luminescent Diode), 티타늄 사파이어 레이저(Ti-Sapphire Laser) 또는 펨토초 레이저(femtosecond laser)가 사용될 수 있다.
한편 광분배기(200)는 광의 경로를 조절하기 위해 마련되며, 광이 이동되는 경로를 기준으로 광원(100)의 후단에 위치하는 본 실시예에서의 광분배기(200)는 광섬유 분배기(Fiber Coupler, FC)로 구현되어 빛의 입사각도와 상관없이 안정적인 일정한 빛의 배분 및 출력을 이루고 간결하고 컴팩트한 구성을 이루도록 할 수 있다. 그리고 광분배기(200)는 도 1에 도시된 바와 같이 광원(100)으로부터 출력되는 광을 기준단(300) 및 측정단(400)으로 분배하고, 기준단(300)으로부터 기준반사광 을 전달받고 측정단(400)으로부터 측정반사광을 전달받아 검출부(500)로 전달할 수 있다. 이 때 광분배기(200)에서 분배되는 기준광 및 측정광의 분배 비율은 50:50으 로 설정하는 것이 바람직하나, 이는 필요에 따라 변경될 수도 있다.
한편 기준단(300)은 광분배기(200)를 통해 입력된 기준광을 반사시키고 기준광이 반사된 기준반사광을 다시 광분배기(200)로 전달할 수 있고, 이를 위해 도 1 에 도시된 바와 같이 제1콜리메이터(310), 제1렌즈(320) 및 미러(330)를 포함하도 록 마련될 수 있다. 제1콜리메이터(310)는 광분배기(200)를 통해 입력된 기준광이 진행하는 방향을 기준으로 광분배기(200)의 후단에 위치하여 기준광을 평행광으로 변환할 수 있고, 평행광을 제1렌즈(320)로 전달한다.
제1렌즈(320)는 제1콜리메이터(310)의 후단에 위치하고 전달받은 기준광을 미러(330)로 전달할 수 있으며, 여기서 제1렌즈(320)는 포커싱 렌즈로 마련될 수 있다.
그리고 미러(330)는 제1렌즈(320)로부터 전달받은 기준광을 반사시켜 기준반 사광을 생성하며, 이렇게 생성된 기준반사광은 기준광이 입사된 경로의 역방향으로 이동하여 광분배기(200)로 전달될 수 있다.
측정단(400)은 제2콜리메이터(410), 스캐너(420) 및 제2렌즈(430)를 포함할 수 있다.
측정단(400)은 광분배부(200)를 통해 입력된 광을 샘플(700)을 향해 조사하고, 샘플(700)로부터 반사되어 생성된 측정반사광을 전달할 수 있다. 이러한 측정단(400)은 제2 콜리메이터(410), 스캐너(420) 및 제2렌즈(430)를 포함할 수 있다.
이하에서는 각 구성의 위치를 설명함에 있어 광분배 부(200)에서 출력되어 측정단(400)으로 전달되는 측정광이 샘플(700)을 향해 이동하는 방향으로 기준으로 설명하기로 한다.
제2 콜리메이터(410)는 광분배기(200)의 후단에 위치하여 측정광을 평행광으로 변환할 수 있고, 평행한 결합측정광을 스캐너(420)로 전달할 수 있다.
한편 스캐너(420)는 제2 콜리메이터(410)의 후단에 위치하고, 스캐너(420)는 지속적으로 각도를 변경하여 제2 콜리메이터(410)로부터 입사되는 측정광을 제2렌즈(430) 방향으로 반사할 수 있다. 이러한 스캐너(420)는 갈바노미터 스캐너(GS, Galvanometer Scanner)로 마련될 수 있다.
제2 렌즈(430)는 스캐너(420)의 후단에 위치하고, 스캐너(420)에서 반사된 측정광을 샘플(700)을 향해 조사되도록 할 수 있다. 여기 서 제2렌즈(430)는 릴레이 렌즈(Relay Lens)로 마련될 수 있다.
이러한 광 경로를 통해 측정광이 샘플(700)을 향해 조사되면, 촬영 대상에 의해 측정광이 반사된 측정반사광이 생성되게 되고, 생성된 측정반사광은 측정광이 입사된 경로의 역방향으로 진행되어 광분배기(200)로 전달될 수 있다.
상술한 기준단(300) 및 측정단(400)에서 생성된 기준반사광 및 측정반사광은 광분배기(200)에서 합쳐질 수 있고, 그 결과 광분배기(200)에서 간섭된 광이 형성될 수 있으며, 이렇게 간섭된 간섭광은 검출부(500)로 전달될 수 있다.
검출부(500)는 광분배기(200)를 통해 전달되는 간섭광에 기초하여 간섭광의 스펙트럼을 검출하고, 스펙트럼의 분석을 통해 간섭 스펙트럼 영상을 얻을 수 있다.
영상처리부는 검출부(500)에서 입력받은 간섭 스펙트럼 영상의 각 픽셀을 푸리에 변환(Fourier Transformation)을 통해서 촬영 대상(700)의 깊이 정보를 측정함으로써, 촬영 대상(S)의 단층 영상의 이미지를 만들어낼 수 있다.
검출부(500)는 상술한 바와 같이 스펙트럼의 분석을 통해 얻은 간섭 스펙트 럼 영상을 생성하는데, 이러한 검출부(500)는 도1에 도시 된 바와 같이 제3콜리메이터(510), 회절격자(DG, Diffraction Grating)(520), 제3 렌즈(530) 및 라인스캐너 카메라(LSC, Line Scanner Camera)(540)를 포함할 수 있다. 이하에서는 간섭광이 검출부(500)로 입력되어 진행하는 방향을 기준으로 설명하기로 한다.
제3콜리메이터(510)는 입력된 간섭광을 평행광으로 변환하고, 평행광을 회절 격자(520)로 전달한다.
회절격자(520)는 제3콜리메이터(510) 후단에 위치하여 간섭광을 회절시키는 데, 본 실시예에서 회절격자(520)는 사양에 따라 다양한 선택이 가능하며, 회절격 자(520)에서 회절된 빛은 회절격자(520)의 후단에 마련된 제3렌즈(530)를 통해 라 인스캐너 카메라(540)로 전달될 수 있다. 이 때 제3렌즈(530)는 포커싱 렌즈로 마 련되며, 라인스캐너 카메라(540)를 통해 스캔 신호를 생성하여 실험자가 볼 수 있도록 영상을 생성한다. 영상 생성시 검출부(500)에서 전달받은 간섭 스펙트럼 영상 의 각 픽셀을 푸리에 변환을 통해서 제작물의 깊이 정보를 측정함으로써, 제작물의 단층 영상의 이미지를 만들어낼 수 있다.
도 2는 다중 해상도 기반 광간섭 단층 이미징 장치에 대한 시스템을 나타낸다.
도 2를 참조하면, 단일 콜로니 이미징을 위해서 저해상도 OCT 시스템을 사용해 타겟 콜로니의 위치를 측정한 후 모터스테이지를 사용해 고해상도 OCT 시스템(OCM)으로 세균의 단층 영상을 획득한다. 본 시스템은 타겟 단일콜로니 이미징을 위한 맞춤형 시스템이며 광 스위치 (optical switch)를 통해 하나의 스펙트로미터로 두 개의 시스템을 동시에 사용할 수 있다는 특징을 가진다.
본 발명의 일 실시예에 따른 박테리아 이미징을 위한 맞춤형 광간섭 단층 촬영 장치 시스템은, 제1광원(110), 제2광원(120), 제1광분배기(210), 제2광분배기(220), 제1기준단(301), 제2기준단(302), 제1측정단(401), 제2측정단(402), 검출부(500) 및 광 스위치(600)를 포함한다.
여기서, 제1광원(110), 제1광분배기(210), 제1기준단(301) 및 제1측정단(401)은 저해상도 OCT 시스템을 사용해 샘플(700)인 타겟 콜로니의 위치를 측정하기 위함이다.
또한, 제2광원(120), 제2광분배기(220), 제2기준단(302) 및 제2측정단(402)은 고해상도 단층 영상을 얻기 위한 구성이다.
검출부(500)는 고해상도 및 저해상도 영상을 얻기 위한 공통 구성요소이다.
제1기준단(301) 및 제1측정단(401)에서 생성된 기준반사광 및 측정반사광은 제1광분배기(210)에서 합쳐질 수 있고, 그 결과 제1광분배기(210)에서 간섭된 광이 형성될 수 있으며, 이렇게 간섭된 간섭광은 검출부(500)로 전달될 수 있다. 이렇게 간섭된 간접광은 타겟 콜로니의 위치를 측정하기 위해 사용된다. 여기서 위치는 타겟 콜로니의 단층이 가장 잘 확인되는 샘플의 위치이다.
제2기준단(302) 및 제2측정단(402)에서 생성된 기준반사광 및 측정반사광은 제2광분배기(220)에서 합쳐질 수 있고, 그 결과 제2광분배기(220)에서 간섭된 광이 형성될 수 있으며, 이렇게 간섭된 간섭광은 검출부(500)로 전달될 수 있다. 이렇게 간섭된 간접광은 고해상도 단층영상을 얻기 위해 사용된다.
우선 저해상도 영상을 얻기 위한 구조를 설명한다. 저 해상도 영상을 얻는 이유는 저해상도 OCT 시스템을 사용해 타겟 콜로니의 위치를 측정한 후 모터 스테이지를 사용해 고해상도 OCT 시스템(OCM)으로 세균의 단층 영상을 획득하기 위함이다. 즉, 모터스테이지는 단층이 가잘 잘 확인되는 샘플의 위치를 고해상도 렌즈 아래로 옮긴다.
제1광원(110)으로부터 출력되는 광을 제1기준단(301) 및 제1측정단(401)으로 분배하고, 제1기준단(301)으로부터 기준반사광을 전달받고 제1측정단(401)으로부터 측정반사광을 전달받아 검출부(500)로 전달할 수 있다. 이 때 제1광분배기(210)에서 분배되는 제1기준광 및 제1측정광의 분배 비율은 50:50으로 설정하는 것이 바람직하나, 이는 필요에 따라 변경될 수도 있다.
한편 제1기준단(301)은 제1광분배기(210)를 통해 입력된 기준광을 반사시키고 기준광이 반사된 기준반사광을 다시 제1광분배기(210)로 전달할 수 있고, 이를 위해 도 2 에 도시된 바와 같이 제4콜리메이터(311), 제4렌즈(321) 및 제1미러(331)를 포함하도록 마련될 수 있다. 제4콜리메이터(311)는 제1광분배기(210)를 통해 입력된 기준광이 진행하는 방향을 기준으로 제1광분배기(210)의 후단에 위치하여 기준광을 평행광으로 변환할 수 있고, 평행광을 제4렌즈(321)로 전달한다.
제4렌즈(321)는 제4콜리메이터(311)의 후단에 위치하고 전달받은 기준광을 제1미러(331)로 전달할 수 있으며, 여기서 제4렌즈(321)는 포커싱 렌즈로 마련될 수 있다.
그리고 제1미러(331)는 제4렌즈(321)로부터 전달받은 기준광을 반사시켜 기준반 사광을 생성하며, 이렇게 생성된 기준반사광은 기준광이 입사된 경로의 역방향으로 이동하여 제1광분배기(210)로 전달될 수 있다.
제1측정단(401)은 제4콜리메이터(411), 제1스캐너(421) 및 저배율렌즈(431)를 포함할 수 있다. 저배율은 도2에서 1x로 표시되어 있지만 반드시 이에 한정하지 않으며 고배율렌즈(432)에 비해 상대적으로 저해상도이다.
제1측정단(401)은 제1광분배부(210)를 통해 입력된 광을 샘플(700)을 향해 조사하고, 샘플(700)로부터 반사되어 생성된 측정반사광을 전달할 수 있다.
이하 제1광분배부(210)에서 출력되어 제1측정단(401)으로 전달되는 측정광이 샘플(700)을 향해 이동하는 방향은 도 1에서 측정단(400)에서 설명한 바와 같다.
이러한 광 경로를 통해 측정광이 샘플(700)을 향해 조사되면, 촬영 대상에 의해 측정광이 반사된 측정반사광이 생성되게 되고, 생성된 측정반사광은 측정광이 입사된 경로의 역방향으로 진행되어 제1광분배기(210)로 전달될 수 있다.
상술한 제1기준단(301) 및 제1측정단(401)에서 생성된 기준반사광 및 측정반사광은 제1광분배기(210)에서 합쳐질 수 있고, 그 결과 제1광분배기(210)에서 간섭된 광이 형성될 수 있으며, 이렇게 간섭된 간섭광은 검출부(500)로 전달될 수 있다.
검출부(500)는 제1광분배기(210)를 통해 전달되는 간섭광에 기초하여 간섭광의 스펙트럼을 검출하고, 스펙트럼의 분석을 통해 간섭 스펙트럼 영상을 얻을 수 있다.
이하 간섭광이 검출부(500)로 입력되어 진행하는 방향은 도 1의 검출부(500)에서 설명한 바와 같다.
이와 같이 저해상도 OCT 시스템을 사용해 타겟 콜로니의 위치를 측정한 후, 광 스위치(600)를 통해 고해상도 OCT 시스템(OCM)으로 세균의 단층 영상을 획득한다.
이 경우, 선형 모터 스테이지(800)를 통해 샘플(700)이 제2측정단(402)의 고해상도 렌즈(432) 렌즈의 하부 위치로 이동한다.
이하 고해상도 OCT 시스템(OCM)으로 세균의 단층 영상을 획득하는 과정을 설명한다.
제2광원(120)으로부터 출력되는 광을 제2기준단(302) 및 제2측정단(402)으로 분배하고, 제2기준단(302)으로부터 기준반사광을 전달받고 제2측정단(402)으로부터 측정반사광을 전달받아 검출부(500)로 전달할 수 있다. 이 때 제2광분배기(220)에서 분배되는 제2기준광 및 제2측정광의 분배 비율은 50:50으 로 설정하는 것이 바람직하나, 이는 필요에 따라 변경될 수도 있다.
한편 제2기준단(302)은 제2광분배기(220)를 통해 입력된 기준광을 반사시키고 기준광이 반사된 기준반사광을 다시 제2광분배기(220)로 전달할 수 있고, 이를 위해 도 2 에 도시된 바와 같이 제5콜리메이터(312), 제5렌즈(322) 및 제2미러(332)를 포함하도록 마련될 수 있다. 제5콜리메이터(312)는 제2광분배기(220)를 통해 입력된 기준광이 진행하는 방향을 기준으로 제2광분배기(220)의 후단에 위치하여 기준광을 평행광으로 변환할 수 있고, 평행광을 제5렌즈(322)로 전달한다.
제5렌즈(322)는 제5콜리메이터(312)의 후단에 위치하고 전달받은 기준광을 제2미러(332)로 전달할 수 있으며, 여기서 제5렌즈(322)는 포커싱 렌즈로 마련될 수 있다.
그리고 제2미러(332)는 제5렌즈(322)로부터 전달받은 기준광을 반사시켜 기준반 사광을 생성하며, 이렇게 생성된 기준반사광은 기준광이 입사된 경로의 역방향으로 이동하여 제2광분배기(220)로 전달될 수 있다.
제2측정단(402)은 제7콜리메이터(412), 제2스캐너(422) 및 고배율렌즈(432)를 포함할 수 있다.
제2측정단(402)은 제2광분배부(220)를 통해 입력된 광을 샘플(700)을 향해 조사하고, 샘플(700)로부터 반사되어 생성된 측정반사광을 전달할 수 있다.
이하 제2광분배부(220)에서 출력되어 제2측정단(402)으로 전달되는 측정광이 샘플(700)을 향해 이동하는 방향은 도 1에서 측정단(400)에서 설명한 바와 같다.
이러한 광 경로를 통해 측정광이 샘플(700)을 향해 조사되면, 촬영 대상에 의해 측정광이 반사된 측정반사광이 생성되게 되고, 생성된 측정반사광은 측정광이 입사된 경로의 역방향으로 진행되어 제2광분배기(220)로 전달될 수 있다.
상술한 제2기준단(302) 및 제2측정단(402)에서 생성된 기준반사광 및 측정반사광은 제2광분배기(220)에서 합쳐질 수 있고, 그 결과 제2광분배기(220)에서 간섭된 광이 형성될 수 있으며, 이렇게 간섭된 간섭광은 검출부(500)로 전달될 수 있다.
검출부(500)는 제2광분배기(220)를 통해 전달되는 간섭광에 기초하여 간섭광의 스펙트럼을 검출하고, 스펙트럼의 분석을 통해 간섭 스펙트럼 영상을 얻을 수 있고, 이러한 간섭 스펙트럼 영상을 생성할 수 있다.
이하 간섭광이 검출부(500)로 입력되어 진행하는 방향은 도 1의 검출부(500)에서 설명한 바와 같다.
이와 같이, 본 시스템은 타겟 단일콜로니 이미징을 위한 맞춤형 시스템이며 광 스위치 (600) 를 통해 하나의 검출부(500)로 저해상도 이미징 시스템과 고해상도 이미징 시스템을 동시에 사용할 수 있다는 특징을 가진다.
도 3은 세균 단일 콜로니에 대해 다중 해상도 기반 광간섭 단층 이미징 장치를 사용해 획득한 단층 영상이다.
도 3는 는 총 16종의 세균 단일 콜로니에 대해 다중 해상도 기반 광간섭 단층 이미징 장치를 사용해 획득한 단층 영상이다. 세균 종별로 단층의 형태학적 특징이 다른 것을 육안상으로도 확인할 수 있다.
도 4a 내지 도4d는 다중 해상도 기반 광간섭 단층 이미징 장치로 획득한 세균 종별 단층 영상을 기반으로 종 구분을 위해 측정할 수 있는 형태학적 특징들을 나타내는 그림이다.
도 4a 내지 도4d에 나타난 바와 같이, 비침습적으로 획득한 세균 단층 영상으로 구분할 수 있는 형태학적 요소, 즉 세균의 지름, 높이, 상승 및 하강 각도를 포함해 내부 굴절률, 곡률 계산 등 영상 기반의 형태학적 특징들을 추출하여 세균 동정이 가능하다.
본 기술은 배양된 세균 배지를 선형 모터 스테이지(800) 올린 후 다중 해상도 기반 광간섭 단층 이미징 장치를 사용하여 획득한 형태학적 특징을 기반으로, 높이, 지름, 상승 각도 등을 포함한 정량적인 지표들을 기반으로 세균의 특징을 구분할 수 있다. 특히, 본 기술은 과수 화상병균(Erwinia amylovora)을 정확히 구분할 수 있는 이점을 갖는다.
따라서 하나의 단일 균총(Single colony)을 이미징하는데 5초 이하의 시간이 소요되기 때문에 빠른 속도로 동정을 진행할 수 있다는 장점이 있으며, 샘플에 추가적인 손상을 주지않기 때문에 추후 지속적인 동정이 가능한 장점이 있다.
도 5는 본 발명의 다른 실시예에 따른 단층 영상 이미지를 이용한 세균 자동 동정 시스템의 개념도이다.
도 5를 참조하면, 본 발명에 따른 단층 영상 이미지를 이용한 세균 자동 동정 시스템은 데이터 입력부(1000), 사용자 DB, 영상 획득부(3000), 영상 전처리부(4000), 자동 동정모델 학습부(5000), 종별 특징점 부위 판단부(6000) 및 판단 확률화부(7000)를 포함한다.
여기서 자동 동정모델 학습부(5000)는 학습 모델 생성부(5100) 및 모델 학습부(5300)를 포함한다.
이하 더욱 구체적으로 설명하면, 데이터 입력부(1000)는 단층 영상 이미지를 사용자 DB 에 입력하는 기능을 한다. 데이터 입력부(1000)는 광간섭 단층 이미징 장치와 연결될 수 있으나, 이에 한정되지 않고, 샘플에 추가적인 손상을 주지않고 단층 영상을 획득할 수 있는 모든 영상장비를 포함할 수 있다.
이와 같이 광간섭 단층 이미징 장치로부터 획득한 단층 이미지를 데이터 입력부(1000)로부터 사용자 DB에 저장한다. 사용자 DB는 AI 모델을 학습 시키기 위한 영상 데이터를 저장하거나 종별 특징을 판단하기 위한 입력 영상 데이터를 저장하는 저장소이다.
그 후 영상 획득부(3000)는 DB로부터 데이터를 수신 및 리스트화한다. 영상 획득부(3000)는 사용자 DB에서 AI 모델의 학습을 위해 영상 데이터를 읽어온다.
영상 전처리부(4000)는 영상 데이터에 대한 정규화, 규격과 및 변형을 수행한다. 즉, 영상 전처리부(4000)는 영상 데이터를 AI 모델의 입력 사이즈에 맞게 재구성하고, 영상의 정규화, 노이즈 제거와 같은 영상의 전처리 작업을 진행한다.
자동 동정모델 학습부(5000) 및 종별 특징점 부위 판단부(6000) 는 세균 종별 특징점 판단을 통해 자동 동정이 가능하게 하는 딥러닝을 수행한다.
자동 동정모델 학습부(5000)는 영상 전처리부(4000)로부터 변형된 영상 데이터를 수신한다. 구체적으로는 자동 동정모델 학습부(5000)는 세균 종별 특징을 판단하기 위한 AI 모델을 생성하거나 저장된 AI 모델을 불러오고 영상 획득부를 통해 획득한 새로운 영상 데이터를 추가로 학습한다.
학습 모델 생성부(5100)는 합성곱 신경망 (CNN : Convolutional Neural Network)을 통해 전처리된 이미지에서 특징 벡터를 추출하고 박테리아를 자동 동정 및 동정 결과 확률을 제공한다.
여기서 특징 벡터는 획득한 세균 단층 영상으로 구분할 수 있는 형태학적 요소로서, 세균의 지름, 높이, 상승 및 하강 각도를 포함해 내부 굴절률, 곡률 계산 등 영상 기반의 형태학적 특징 등이다.
학습 모델 생성부(5100)는 기존의 저장되어 있는 AI 모델의 존재 및 사용 여부에 따라 새롭게 학습을 진행할 AI 모델을 생성하거나 저장된 AI 모델을 불러온다.
모델 학습부 (5300)는 학습 모델 생성부(5100)에서 생성된 학습 모델에 대해 학습 과정을 수행한다. 모델 학습부 (5300)는 모델을 학습시키기 위한 함수를 설정하고, CNN을 통해 저장된 이미지의 특징 벡터를 추출하고, 특징 벡터와 정답의 오차가 발생시 오차를 줄여나가며, 비 학습 데이터를 사용하여 모델의 학습 진행도를 판단한다. 즉, 모델 학습부 (5300)는 사용자 DB와 영상 획득부(3000)를 통해 입력 받은 영상을 사용하여 AI 모델을 학습한다.
종별 특징점 부위 판단부(6000)는 평가할 새로운 입력 데이터에 대해 학습 종별 특징점 모델 학습부(5000)에서 최종 학습 완료된 모델을 불러와 CNN 연산을 진행한다. 그 후 새로운 입력 데이터에서 CNN을 통해 추출한 특징 벡터를 박테리아 동정을 판단한다. 그리고 이렇게 추출된 특징 벡터를 계산하여 동정 결과 확률을 계산한다. 그리고 입력 받은 영상 데이터를 통해 학습된 AI 모델이 원하는 수준의 목표치까지 학습이 진행됐는지 정량적 수치로 나타낸다.
입력 영상 최종 판단 확률화부(7000)는 상기 계산된 동정 결과 확률을 사용자에게 보여준다. 즉, AI 모델을 통해 종별 특징점이 정해진 AI 모델의 판단 근거를 영상에 표시한다.
이와 같은, 단층 영상 이미지를 이용한 세균 자동 동정 시스템은 메모리가 연결된 프로세서를 포함할 수 있으며, 이 메모리는 전술한 기능을 구현하도록 프로세서에 의해 실행되는 프로그램 명령어를 포함할 수도 있다.
도 6은 본 발명의 또 다른 실시예에 따른 단층 영상 이미지를 이용한 세균 자동 동정 방법의 순서도이다.
도 6을 참고하면, 본 발명에 따른 단층 영상 이미지를 이용한 세균 자동 동정 방법은, 사용자 DB에 데이터를 입력하는 단계(S1), 영상을 획득하는 단계(S2), 영상을 전처리하는 단계(S3), 세균종별 특징을 판단하는 단계(S4), 세균 종별 특징점 부위를 판단하는 단계(S5) 및 입력 영상 최종 판단을 확률화하는 단계(S6)를 포함한다.
더욱 상세하게는, 사용자 DB에 데이터를 입력하는 단계(S1)는 데이터 입력부(1000)가 단층 영상 이미지를 사용자 DB 에 입력하는 단계이다. 광간섭 단층 이미징 장치와 연결된 데이터 입력부(1000)가 광간섭 단층 이미징 장치로부터 획득한 단층 이미지를 데이터 입력부(1000)로부터 사용자 DB에 저장한다.
그 후 영상을 획득하는 단계(S2) 및 영상을 전처리하는 단계(S3)를 도 7을 참조하여 설명한다.
도 7은 본 발명에 따른 단층 영상 이미지를 이용한 세균 자동 동정 방법 중 영상 획득 및 영상 전처리 단계의 순서도이다.
도 7을 참조하면, 영상을 획득하는 단계(S2)는 데이터를 저장하는 단계(S21), 입력 데이터 저장 경로를 수신하는 단계(S22) 및 입력 데이터를 리스트화하는 단계(S23)를 포함한다.
더욱 상세하게는, 데이터를 저장하는 단계(S21)는 데이터 수집 서버를 통해 데이터 저장한다. 입력 데이터 저장 경로를 수신하는 단계(S22)는 사용자가 지정한 경로 (예를 들어, 사용자가 지정한 폴더 위치)를 통해 입력 데이터가 저장되어 있는 경로를 통해서 영상 데이터를 컴퓨터 메인 메모리로 불러온다. 입력 데이터를 리스트화하는 단계(S23)는 경로 내에 존재하는 입력 데이터를 리스트화한다. 이는 사용자 DB 안의 영상 데이터를 중복 없이 학습하기 위함이다.
영상을 전처리하는 단계(S3)는 입력 영상 데이터의 각기 다른 확장자를 통일하고, AI 모델의 학습에 적합한 영상 사이즈로 변형하거나 잘라낸 뒤 추가적으로 노이즈 제거 및 정규화 표준화 (Normalization)과 같은 영상처리를 수행한다.
구체적으로는 전체 영상을 데이터 정규화하는 단계(S31), 영상 사이즈를 규격화하는 단계(S32) 및 영상을 학습용으로 변형하는 단계(S33)를 포함한다.
더욱 상세하게는, 전체 영상을 데이터 정규화하는 단계(S31)는 전체 단층 이미지 데이터를 정규화 (Normalization)하며, 정규화는 학습시에 사용할 단층 이미지 데이터의 값의 범위를 0~1사이로 일정하게 만들어 주기 위함이다. 데이터를 0~1 사이의 범위로 만들어 주는 방법은 (정규화하고자 하는 값 - 데이터값들 중 최소 값)/ (데이터값들 중 최대 값 - 데이터값들 중 최소값) 이다.
그 후 영상 사이즈를 규격화하는 단계(S32)는 입력한 단층 이미지 사이즈를 규격화(Standardization)하며, 규격화는 + 값의 범위(scale)를 평균 0, 분산 1이 되도록 바꿔주기 위함이다. 규격화하는 방법은 (규격화하고자 하는 값-평균)/표준편차이다. 그 후 입력 영상의 학습을 위한 변형을 수행한다 (S33)
세균종별 특징을 판단하는 단계(S4)를 도 8을 참조하여 설명한다.
도 8은 본 발명에 따른 단층 영상 이미지를 이용한 세균 자동 동정 방법 중 세균 종별 특징 판단 단계의 순서도이다.
더욱 상세하게는, 세균종별 특징을 판단하는 단계(S4)는 우선 학습 모델 생성용 파라미터를 수신한다(S42). 여기서 학습 모델 생성용 파라미터는 가중치. 매개변수, 입력 영상 사이즈를 포함한다. 그 후 CNN을 통과하여 입력 데이터에서 추출한 특징 벡터를 사용하여 최종 박테리아를 자동 동정한다 (S42). 그리고 종별 특징 판단을 위해 추출된 특징 벡터를 계산하여 동정 결과 확률을 제공한다 (S43).
상기 S41 내지 S43단계는 기존의 저장되어 있는 AI 모델을 불러오거나 사용자로부터 입력받은 파라미터를 적용하고, AI 모델 내부의 CNN을 구현하여 최종적으로 입력 받은 영상 데이터로부터 특징점 부위를 판단하고 출력하기 위한 AI 모델을 생성하는 과정이다.
그 후 모델을 학습시키기 위한 손실 함수(loss function)와 옵티마이저(Optimizer) 함수를 설정하고 초기화한다(S44). CNN에서 이용되는 활성화함수는 전처리된 이미지 중 양의 값은 그대로 출력하고 음의 값은 미리 정해진 크기만큼 감소된 값으로 출력하는 활성화함수일 수 있다.
여기서, 활성화함수란 복수의 입력정보에 가중치를 부여하여 결합해 완성된 결과값을 출력하는 함수를 의미한다.
손실 함수는 인공 신경망이 출력하는 값과 실제 정답과의 차이를 말한다. 따라서 손실 함수가 작을수록 좋다. 딥러닝 학습을 통해 인공 신경망의 출력값과 실제값을 비교하여 그 차이를 최소화하는 가중치(W)와 편향의 조합을 찾는다. 딥러닝 학습은 손실 함수를 최소화하는 인공신경망의 가중치와 편향을 찾는 과정이라고 정의한 바 있다. 손실 함수를 최소화하는 방향으로 가중치를 갱신하는 알고리즘을 옵티마이저라고 부른다.
그 후 생성된 CNN 모델을 통해 저장된 입력 데이터의 특징 벡터 추출한다(S45). 그리고 특징 벡터값과 사용자가 입력한 정답을 비교하여 특징 벡터의 오차를 줄여가는 방향으로 학습 진행한다(S46).
그 후 일정 횟수 학습 진행 후 학습에 사용되지 않았던 학습 데이터를 사용하여 모델의 학습 진행도를 판단한다 (S47).
상기 S44 내지 S47단계는 생성된 AI 모델을 손실 함수와 최적화 함수를 설정하여 학습을 진행하는 과정으로, 입력 영상 데이터가 AI 모델 내부의 CNN을 통과하여 특징점 부위를 판단하고 출력하여 사용자가 지정한 종별 분류와 AI 모델이 판단한 종별 분류가 최종적으로 동일해지도록 학습을 진행한다.
이와 같이 판단된 학습 진행도를 활용하여 세균 종별 특징점 부위 판단 단계(S5)로 진행한다.
도 9는 본 발명에 따른 단층 영상 이미지를 이용한 세균 자동 동정 방법 중 세균 종별 특징점 부위 판단 단계의 순서도이다.
도 9를 참조하면, 세균 종별 특징점 부위 판단 단계(S5)는 학습이 완료된 AI 모델을 불러와 테스트를 진행할 새로운 영상 데이터를 입력한 뒤 모델의 연산이 진행됨에 따라 추출된 특징 벡터들을 계산하여 목표치까지 AI 모델의 학습이 완료됐는지 정량적 수치로 확인하고, 학습이 완료된 AI 모델의 경우 실제 상황에 사용하여 입력받은 종별 특징점 부위를 최종 판단하는 과정이다.
세균 종별 특징점 부위 판단 단계(S5)는 우선 평가할 새로운 입력 데이터를 최종 학습 완료된 모델을 통해 심층 신경망 연산 진행한다 (S51).
그 후 CNN을 통과하여 입력 데이터에서 추출한 특징 벡터를 사용하여 박테리아 동정 결과 판단한다 (S52). 그리고 세균 종 분류를 위해 추출된 특징 벡터를 계산하여 동정 결과 확률을 제공한다 (S53).
그리고 최종적으로 상기 동정 결과 확률에 기반하여 입력 영상 최종 판단을 확률화 한다 (S6).
도 10은 본 발명에 따른 단층 영상 이미지를 이용한 세균 자동 동정 방법의 결과물이다. 총 7종의 세균을 한번에 93%의 확률로 자동 동정할 수 있음을 보여주고 있다. 본 도면에서는 7종의 세균을 예로 들었지만 이에 한정하지 않는다.
도 11a 내지 도11c는 본 발명에 따른 단층 영상 이미지를 이용한 세균 자동 동정 방법의 또 다른 결과물이다.
도 11a 내지 도11c를 참조하면, 딥러닝 모델이 세균의 단층 영상 중 어느 부위를 기반으로 특징을 추출했는지 나타내는 추가 딥러닝 모델 결과물이다. 빗금친 부분에 가까울수록 다른 종과 구분되는 특징을 가지고 있음을 나타낸다. 빗금친 부위가 세균 부위에 몰려있는 것을 통해 딥러닝을 기반으로 단층 영상을 활용해 세균을 자동 동정하는 것이 가능함을 증명한다.
이상에서는 본 발명의 다양한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명 의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (13)

  1. 광을 방출하는 광원;
    광을 전달받아 광의 경로를 조절하는 광분배기;
    상기 광분배기를 통해 입력된 광을 촬영 대상을 향해 조사하고, 상기 촬영 대상으로부터 반사되어 생성된 측정반사광을 전달하는 측정단;
    상기 광분배기를 통해 입력된 광에 기초하여 생성된 기준반사광을 전달하는 기준단; 및
    상기 기준반사광 및 상기 측정반사광에 의해 형성되는 간섭광을 입력받아 분 석하는 검출부;
    상기 검출부에서 분석된 간섭광에 기초하여 상기 촬영 대상의 단층 이미지를 생성하는 영상처리부를 포함하되,
    상기 광원은 제1광원 및 제2광원을 포함하고,
    상기 광분배기는,
    상기 제1광원으로부터 광을 전달받아 광의 경로를 조절하는 제1광분배기 및 상기 제2광원으로부터 광을 전달받아 광의 경로를 조절하는 제2광분배기를 포함하고,
    상기 측정단은,
    상기 제1광분배기를 통해 입력된 광을 촬영 대상을 향해 조사하고, 상기 촬영 대상으로부터 반사되어 생성된 제1측정반사광을 전달하는 제1측정단 및 상기 제2광분배기를 통해 입력된 광을 촬영 대상을 향해 조사하고, 상기 촬영 대상으로부터 반사되어 생성된 제2측정반사광을 전달하는 제2측정단을 포함하고,
    상기 기준단은,
    상기 제1광분배기를 통해 입력된 광에 기초하여 생성된 제1기준반사광을 전달하는 제1기준단 및 상기 제2광분배기를 통해 입력된 광에 기초하여 생성된 제2기준반사광을 전달하는 제2기준단을 포함하며,
    상기 검출부는,
    상기 제1기준반사광 및 상기 제1측정반사광에 의해 형성되는 제1간섭광 또는 상기 제2기준반사광 및 상기 제2측정반사광에 의해 형성되는 제2간섭광을 입력받으며,
    상기 제1측정반사광 및 상기 제2측정반사광은 해상도가 상이한, 다중 해상도 기반 광간섭 단층 이미징 장치.
  2. 제1항에 있어서,
    상기 검출부가 상기 제1간섭광 또는 상기 제2간섭광을 선택할 수 있게하는 광스위치를 포함하는, 다중 해상도 기반 광간섭 단층 이미징 장치.
  3. 제1항에 있어서,
    상기 제1측정반사광은 상기 제2측정반사광에 비해 저해상도인, 다중 해상도 기반 광간섭 단층 이미징 장치.
  4. 제3항에 있어서,
    상기 영상처리부는,
    상기 제1검출부에서 분석된 제1간섭광에 기초하여 상기 촬영 대상의 위치를 나타내고,
    상기 제2검출부에서 분석된 제2간섭광에 기초하여 상기 촬영 대상의 단층 이미지를 생성하는, 다중 해상도 기반 광간섭 단층 이미징 장치.
  5. 제1항에 있어서,
    상기 단층 이미지는 상기 촬영 대상의 지름, 높이, 상승 및 하강 각도를 포함하는, 다중 해상도 기반 광간섭 단층 이미징 장치.
  6. 제1항에 있어서,
    상기 촬영 대상은 선형 모터 스테이지 상에 위치하여, 상기 제1측정단과 상기 제2측정단의 위치로 이동하는, 다중 해상도 기반 광간섭 단층 이미징 장치.
  7. 비파괴 세균의 단층 영상을 획득하는 단계;
    상기 단층 영상을 전처리하는 단계;
    상기 전처리한 영상으로부터 특징 벡터를 추출하는 단계; 및
    상기 특징 벡터를 기반으로 상기 비파괴 세균을 동정하는 단계:를 포함하되,
    상기 특징 벡터는 상기 비파괴 세균의 형태학적 요소인, 단층 영상 이미지를 이용한 세균 자동 동정 방법.
  8. 제7항에 있어서,
    상기 형태학적 요소는 상기 비파괴 세균의 지름, 높이, 상승 및 하강 각도, 내부 굴절률 및 곡률 중 적어도 하나 이상을 포함하는, 단층 영상 이미지를 이용한 세균 자동 동정 방법.
  9. 제7항에 있어서,
    상기 특징 벡터를 추출하는 단계는, 합성곱 신경망 (CNN : Convolutional Neural Network)을 통해 전처리된 이미지에서 특징 벡터를 추출하는, 단층 영상 이미지를 이용한 세균 자동 동정 방법.
  10. 제7항에 있어서,
    상기 추출된 특징 벡터를 이용하여 상기 동정 결과 확률을 제공하는 단계를 포함하는, 단층 영상 이미지를 이용한 세균 자동 동정 방법.
  11. 제7항 내지 제10항 중 어느 하나의 항에 따른 상기 단층 영상 이미지를 이용한 세균 자동 동정 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 저장 매체.
  12. 단층 영상 이미지를 이용한 세균 자동 동정 시스템으로서,
    프로세서;
    상기 프로세서에 연결되는 메모리를 포함하되,
    상기 메모리는,
    비파괴 세균의 단층 영상을 획득하고,
    상기 단층 영상을 전처리하고,
    상기 전처리한 영상으로부터 특징 벡터를 추출하며,
    상기 특징 벡터를 기반으로 상기 비파괴 세균을 동정하되, 상기 특징 벡터는 상기 비파괴 세균의 형태학적 요소가 되도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는, 단층 영상 이미지를 이용한 세균 자동 동정 시스템.
  13. 제12항에 있어서,
    상기 형태학적 요소는 상기 비파괴 세균의 지름, 높이, 상승 및 하강 각도, 내부 굴절률 및 곡률을 포함하는, 단층 영상 이미지를 이용한 세균 자동 동정 시스템.
PCT/KR2023/007856 2022-06-09 2023-06-08 다중 해상도 기반 광간섭 단층 이미징 장치 및 단층 영상 이미지를 이용한 세균 자동 동정 방법 WO2023239174A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020220069925A KR20230169592A (ko) 2022-06-09 2022-06-09 다중 해상도 기반 광간섭 단층 이미징 장치 및 이를 이용한 세균 동정 방법
KR10-2022-0069925 2022-06-09
KR1020220074389A KR20230173520A (ko) 2022-06-17 2022-06-17 단층 영상 이미지를 이용한 세균 자동 동정 방법 및 이를 수행하기 위한 시스템 및 기록 매체
KR10-2022-0074389 2022-06-17

Publications (1)

Publication Number Publication Date
WO2023239174A1 true WO2023239174A1 (ko) 2023-12-14

Family

ID=89118711

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/007856 WO2023239174A1 (ko) 2022-06-09 2023-06-08 다중 해상도 기반 광간섭 단층 이미징 장치 및 단층 영상 이미지를 이용한 세균 자동 동정 방법

Country Status (1)

Country Link
WO (1) WO2023239174A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292136A (ja) * 2004-03-30 2005-10-20 General Electric Co <Ge> 多重解像度検査システム及びその動作方法
US20110267340A1 (en) * 2010-04-29 2011-11-03 Friedrich-Alexander-Universitaet Erlangen-Nuernberg Method and apparatus for motion correction and image enhancement for optical coherence tomography
KR20120089047A (ko) * 2011-02-01 2012-08-09 고려대학교 산학협력단 듀얼 포커싱 광 결맞음 영상 장치
KR101938992B1 (ko) * 2017-06-19 2019-01-15 한국과학기술원 진단 이유 설명이 생성되는 cad 시스템 및 그 방법
KR20210054678A (ko) * 2019-11-06 2021-05-14 한국과학기술연구원 전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292136A (ja) * 2004-03-30 2005-10-20 General Electric Co <Ge> 多重解像度検査システム及びその動作方法
US20110267340A1 (en) * 2010-04-29 2011-11-03 Friedrich-Alexander-Universitaet Erlangen-Nuernberg Method and apparatus for motion correction and image enhancement for optical coherence tomography
KR20120089047A (ko) * 2011-02-01 2012-08-09 고려대학교 산학협력단 듀얼 포커싱 광 결맞음 영상 장치
KR101938992B1 (ko) * 2017-06-19 2019-01-15 한국과학기술원 진단 이유 설명이 생성되는 cad 시스템 및 그 방법
KR20210054678A (ko) * 2019-11-06 2021-05-14 한국과학기술연구원 전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치

Similar Documents

Publication Publication Date Title
US5991429A (en) Facial recognition system for security access and identification
WO2019132170A1 (ko) 학습용 데이터 관리방법, 장치 및 프로그램
WO2021049729A1 (ko) 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 분석 장치
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2021153858A1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
WO2021040258A1 (ko) 안구 영상 내 혈관 분할을 이용한 자동 질환 판단 장치 및 그 방법
WO2020196985A1 (ko) 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법
WO2020045848A1 (ko) 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
CN110287895B (zh) 一种基于卷积神经网络进行情绪测量的方法
WO2020032559A2 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
WO2017099427A1 (ko) 손가락 마디 및 지정맥 기반의 융합형 생체 인증 방법 및 그 장치
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
WO2021054518A1 (ko) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 진단방법, 장치 및 소프트웨어 프로그램
KR20090034272A (ko) 인물 인증 장치 및 인물 인증 방법
WO2023008806A1 (ko) Rgb-d 기반 가축 체중 추론 ai 시스템 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터-판독가능매체
WO2023239174A1 (ko) 다중 해상도 기반 광간섭 단층 이미징 장치 및 단층 영상 이미지를 이용한 세균 자동 동정 방법
WO2020145606A1 (ko) 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2020141888A1 (ko) 사육장 환경 관리 장치
WO2023234730A1 (ko) 패치 레벨 중증도 판단 방법, 슬라이드 레벨 중증도 판단 방법 및 이를 수행하는 컴퓨팅 시스템
WO2023140585A1 (ko) 인공지능을 이용한 치열 진단 시스템 및 그 방법
WO2022231200A1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2023075303A1 (ko) 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법
WO2021177532A1 (ko) 인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법, 장치 및 컴퓨터프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23820109

Country of ref document: EP

Kind code of ref document: A1