WO2022149744A1 - 동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법 및 장치 - Google Patents

동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법 및 장치 Download PDF

Info

Publication number
WO2022149744A1
WO2022149744A1 PCT/KR2021/018833 KR2021018833W WO2022149744A1 WO 2022149744 A1 WO2022149744 A1 WO 2022149744A1 KR 2021018833 W KR2021018833 W KR 2021018833W WO 2022149744 A1 WO2022149744 A1 WO 2022149744A1
Authority
WO
WIPO (PCT)
Prior art keywords
images
acquired
equation
fluorescent materials
electronic device
Prior art date
Application number
PCT/KR2021/018833
Other languages
English (en)
French (fr)
Inventor
장재범
서준영
윤영규
김현우
김지원
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210171431A external-priority patent/KR20220099087A/ko
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of WO2022149744A1 publication Critical patent/WO2022149744A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G01N2021/6441—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present disclosure relates to a multi-color separation method and apparatus by minimizing the amount of iterative mutual information in a simultaneous channel update structure.
  • Immuno-cancer drugs that have anti-cancer effects by activating immune cells present in the patient's cancer tissues have been in the spotlight.
  • Immuno-cancer drugs have a large variation in their anti-cancer effects depending on which immune cells are present in the patient's cancer tissue.
  • it is necessary to simultaneously image several immune biomarkers inside the patient's cancer tissue.
  • Existing multiple multi-marker simultaneous imaging technologies have several disadvantages, such as the need for expensive special equipment, complex processes and slow imaging speeds, and sample destruction during the imaging process. It has not been widely used for predicting immunotherapy reactivity. Therefore, low-cost, high-efficiency, intact multi-marker simultaneous imaging technology is needed to recommend optimal immuno-oncology drugs for each patient and to develop new immuno-oncology drugs.
  • An object to be solved is to provide a multi-color separation method and apparatus by minimizing the amount of repetitive mutual information of the simultaneous channel update structure.
  • the method of operating an electronic device includes: acquiring a plurality of images for a plurality of fluorescent substances each labeled with different biomolecules, and acquiring the images based on all permutation combinations of the acquired images and separating images for each of the fluorescent materials from the acquired images while simultaneously reducing the amount of mutual information shared between the acquired images.
  • An electronic device includes a memory and a processor connected to the memory and configured to execute at least one instruction stored in the memory, wherein the processor includes a plurality of fluorescence molecules each labeled with different biomolecules.
  • the processor includes a plurality of fluorescence molecules each labeled with different biomolecules. For substances, acquiring a plurality of images, and simultaneously reducing the amount of mutual information shared between the acquired images based on all permutation combinations of the acquired images, while simultaneously reducing the amount of mutual information shared between the acquired images, each of the fluorescent substances from the acquired images may be configured to separate images for .
  • a non-transitory computer-readable storage medium includes, for a plurality of fluorescent substances each labeled with different biomolecules, acquiring a plurality of images, and storing all permutation combinations of the acquired images.
  • one or more programs for executing a method comprising separating images for each of the fluorescent materials from the acquired images while simultaneously reducing the amount of mutual information shared between the acquired images based on have.
  • image separation performance can be improved.
  • signals of three or more fluorescent materials having overlapping emission spectra in one wavelength band may be separated with higher accuracy.
  • images of each of the fluorescent materials can be separated with higher accuracy only with images obtained in the same number of detection wavelength bands as the number of fluorescent materials without measuring emission spectra of each of the fluorescent materials.
  • FIG. 1 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • FIG. 2 is a schematic diagram for explaining an operating principle of an electronic device according to various embodiments of the present disclosure
  • 3 and 4 are exemplary diagrams for explaining an operation example of an electronic device according to various embodiments of the present disclosure.
  • FIG. 5 is an image illustrating an actual application result of an electronic device according to various embodiments of the present disclosure.
  • FIG. 6 is a flowchart of a multi-color separation method by minimizing the amount of iterative mutual information of a simultaneous channel update structure of an electronic device according to various embodiments of the present disclosure
  • FIG. 7 is a flowchart specifically showing a step of separating images for each of the fluorescent materials from the acquired images of FIG. 6 .
  • Fig. 8 is a flowchart specifically showing the step of updating the update function of Fig. 7;
  • an operating subject may be omitted, but the method described in the present disclosure may be implemented in an electronic device, for example, a device including a computing device and a fluorescence microscope.
  • fluorescent materials In fluorescence imaging, biomolecules inside a sample are labeled with various fluorophores, excited with light, and light emitted from each fluorescent material is detected with an optical microscope to detect biomolecules inside the sample. It is a method that can be observed indirectly. Fluorescent materials have different excitation spectrum and emission spectrum due to their unique chemical structure, and at this time, they emit light with a longer wavelength than absorbed light. The excitation and emission spectra of fluorescent materials generally have a wide width of about 100 nm within the visible light range (400 - 700 nm). In order to simultaneously observe several biomolecules in one sample, it is necessary to selectively obtain images of each fluorescent material after labeling several biomolecules with different fluorescent materials.
  • biomolecules inside the sample are individually labeled with 3 or 4 fluorescent substances whose emission spectra do not overlap, and after imaging, the fluorescent substances are inactivated through chemical treatment. or to separate fluorescent materials from biomolecules. After that, other biomolecules are again labeled with the same 3 or 4 fluorescent substances and imaged.
  • the fluorescent labeling and inactivation process must be repeated, and there is a cumbersome image registration of each image obtained in the repeated process.
  • the distribution of multimolecules cannot be obtained in three dimensions due to the problem of matching.
  • each fluorescent material for each wavelength varies according to the optical properties of the inside of the microscope, the sensitivity for each wavelength of the camera, and the chemical composition of the sample.
  • the emission spectrum of the fluorescent material varies depending on the type of tissue and how thick the tissue is to be imaged. Accordingly, it is inconvenient to measure the emission spectrum of each fluorescent material separately for each microscope and for each sample, so it is not widely used in tissue imaging.
  • the blind signal separation technique (Blind Unmixing) is a method of separating fluorescent material signals without knowing the emission spectrum of the fluorescent material.
  • NMF Non-negative matrix factorization
  • these two methods have to accurately infer millions of elements at the same time, the accuracy of signal separation is greatly reduced, and their use has been very limited.
  • 3 x 1024 x 1024 3 x 1024 x 1024
  • the existing ICA and NMF have a condition that the number of images (the number of rows of the IMG matrix) required for separation must be greater than the number of fluorescent materials (the number of rows of the F matrix). That is, there is a disadvantage that it takes a long time because 9 or more images need to be obtained in order to simultaneously image 8 fluorescent materials.
  • the existing multi-molecular simultaneous imaging technique is not actively used in research and diagnosis due to problems such as cumbersome and complicated experimental and imaging processes, inaccuracy in signal separation, and the need for special equipment.
  • a new blind signal separation-based multimolecular simultaneous imaging technique (Process of ultra-multiplexed Imaging of biomoleCules viA the unmixing of the Signals of Spectrally Overlapping fluorophores; PICASSO) was recently developed.
  • the principle of PICASSO is to achieve signal separation by minimizing the amount of mutual information between images in which signals of fluorescent molecules are mixed.
  • both PICASSO v1.0 and v2.0 are capable of signal separation of only two markers per one excitation laser (e.g., 405-nm, 488-nm, 560-nm, 640-nm, 730-nm five standard 2 per excitation laser), it was difficult to observe more than 10 markers at the same time.
  • PICASSO v3.0 improved from PICASSO v1.0 and v2.0 was developed.
  • the multi-marker simultaneous imaging capability of PICASSO v1.0 and v2.0 has been improved more than twice.
  • PICASSO v3.0 is a technology that can separate the signals of three or more fluorescent substances with overlapping emission spectra without separate measurement of emission spectra of fluorescent substances, only images obtained from the same number of detection wavelength bands as the number of fluorescent substances.
  • PICASSO v3.0 by designing to include the peak of the emission spectrum of each fluorescent molecule in each detection wavelength band, it is guaranteed that the signal of other fluorescent molecules is preferentially removed over the signal of the fluorescent molecule having the peak in the corresponding wavelength band.
  • PICASSO v3.0 is capable of separating signals between three or more fluorescent molecules with a single laser, and thus, compared to PICASSO v1.0 and v2.0, the multi-marker simultaneous imaging ability is more than doubled.
  • the complexity and difficulty increased as the number of images to be separated increased from 2 to 3 or more. had an impact on the accuracy of As a result, as the number of images requiring signal separation increases, there is a disadvantage that the accuracy of signal separation decreases.
  • the present disclosure proposes an improved PICASSO v4.0 from PICASSO v3.0.
  • PICASSO v4.0 a simultaneous channel update algorithm is proposed instead of a sequential channel update algorithm to increase the accuracy of signal separation.
  • 1 is a block diagram of an electronic device 100 according to various embodiments of the present disclosure.
  • 2 is a schematic diagram for explaining an operating principle of the electronic device 100 according to various embodiments of the present disclosure.
  • an electronic device 100 includes at least one of a detector 110 , an input module 120 , an output module 130 , a memory 140 , and a processor 150 . may contain one. In some embodiments, at least one of the components of the electronic device 100 may be omitted or one or more other components may be added to the electronic device 100 .
  • the detector 110 may take an image of the sample.
  • the detector 110 may be installed at a predetermined position of the electronic device 100 to capture an image.
  • the detector 110 includes at least one of a scientific complementary metal-oxide-semiconductor (sCMOS) camera, a photo multiplier tube (PMT), or other equipment capable of measuring the intensity of light and expressing it as an image. can do.
  • sCMOS scientific complementary metal-oxide-semiconductor
  • PMT photo multiplier tube
  • the input module 120 may receive a command or data to be used for at least one of the components of the electronic device 100 from the outside of the electronic device 100 .
  • the input module 120 may include at least one of an input device and a reception device.
  • the input device may include at least one of a microphone, a mouse, and a keyboard.
  • the input device may include at least one of a touch circuitry configured to sense a touch or a sensor circuit configured to measure the intensity of a force generated by the touch.
  • the reception device may include at least one of a wireless reception device and a wired reception device.
  • the output module 130 may provide information to the outside of the electronic device 100 .
  • the output module 130 may include at least one of a display device and a transmission device.
  • the display device may include at least one of a display, a hologram device, and a projector.
  • the display device may be implemented as a touch screen by being assembled with at least one of a touch circuit and a sensor circuit of the input module 120 .
  • the transmission device may include at least one of a wireless transmission device and a wired transmission device.
  • the receiving device and the transmitting device may be integrated into one communication module.
  • the communication module may support communication between the electronic device 100 and an external device (not shown).
  • a communication module may include at least one of a wireless communication module and a wired communication module.
  • the wireless communication module may be formed of at least one of a wireless reception device and a wireless transmission device.
  • the wireless communication module may support at least one of a long-distance communication method and a short-range communication method.
  • the short-range communication method may include, for example, at least one of Bluetooth, WiFi direct, and infrared data association (IrDA).
  • the wireless communication module may communicate in a telecommunication manner through a network, and the network may include, for example, at least one of a cellular network, the Internet, or a computer network such as a local area network (LAN) or a wide area network (WAN).
  • the wired communication module may be formed of at least one of a wired reception device and a wired transmission device.
  • the memory 140 may store at least one of a program or data used by at least one of the components of the electronic device 100 .
  • the memory 140 may include at least one of a volatile memory and a non-volatile memory.
  • the processor 150 may execute a program in the memory 140 to control at least any one of the components of the electronic device 100 , and may process data or perform an operation.
  • the processor 150 may acquire a plurality of, for example, n images of a plurality of, for example, n fluorescent substances each labeled with different biomolecules.
  • the processor 150 may respectively acquire a plurality of images in different detection wavelength bands that are distinguished from each other. In each of the detection wavelength bands, emission spectra of at least two of the fluorescent materials may overlap.
  • n may be a number equal to or greater than 3, in other words, the processor 150 may acquire three or more images of three or more fluorescent materials.
  • the processor 150 may separate images for each of the fluorescent materials from the acquired images while reducing the amount of mutual information shared between the acquired images based on all permutation combinations of the acquired images. In this case, for each of the acquired images, the processor 150 may reduce the amount of mutual information shared with other images among the acquired images.
  • the coefficients ( ⁇ i,j ) to which images of various fluorescent materials are linearly added for each image are different.
  • the fluorescent material having a high point in the corresponding band It is guaranteed that signals of other fluorescent materials are preferentially removed compared to , and in this case, mutual information minimization is used.
  • the amount of mutual information is a value derived from information theory, and the amount of mutual information between two variables means the total amount of information shared by the two variables. Therefore, the amount of mutual information between two random variables is zero.
  • the processor 150 may minimize the amount of mutual information between the two images as follows.
  • the processor 150 may initialize variables as shown in Equation 3 below in order to minimize the amount of iterative mutual information.
  • Equation 3 u1 and u2 represent input images, v1 and v2 represent low-resolution images, and k may be defined as a factor applied to process the input images into low-resolution images, respectively.
  • step i-2 the processor 150 defines a first loss function as shown in [Equation 4] below, and minimizes it as shown in [Equation 5] below. can be calculated.
  • step i-3 the processor 150 minimizes the first loss function. can be used to update the values of u1 and v1 as shown in Equation 6 below.
  • ⁇ obtained by multiplying ⁇ by ⁇ , which is a positive number less than 1, may be used instead of ⁇ .
  • step i-4 the processor 150 defines a second loss function as shown in [Equation 7] below, and minimizes it as shown in [Equation 8] below. can be calculated. Then, in step i-5), the processor 150 minimizes the second loss function. can be used to update the values of u2 and v2 as shown in [Equation 9] below.
  • [Equation 9] ⁇ obtained by multiplying ⁇ by ⁇ , which is a positive number less than 1, may be used instead of ⁇ to achieve more accurate image separation by controlling the image separation speed.
  • step i-6 the processor 150 repeats i-2) to i-5) for u1', u2', v1', and v2' thus obtained N times or until the amount of mutual information becomes less than or equal to the reference value. It can be done repeatedly.
  • step i-7 the processor 150 places a positive constraint on the solution obtained by the iterative operation to obtain a final solution as shown in [Equation 10] below, and the result is an image separated by minimizing the amount of mutual information may belong to
  • the processor 150 may minimize the amount of mutual information of n images as follows.
  • the processor 150 may select two images from among the n images. Thereafter, in step ii-2), the processor 150 may initialize variables as shown in [Equation 11] below in order to minimize the amount of simultaneous channel mutual information.
  • u1 and u2 represent input images
  • v1 and v2 represent low-resolution images
  • m may be defined as a factor applied to process the input images into low-resolution images, respectively.
  • pixelBinning(IMG i ,m) is a process of adding the values of adjacent m ⁇ m pixels in the input image (IMG i ) to obtain an image with an m-fold lower resolution.
  • step ii-3 the processor 150 defines a loss function as shown in [Equation 12] below, and minimizes it as shown in [Equation 13] below. can be calculated.
  • step ii-4 the processor 150 repeats steps ii-2) to ii-3) according to all possible permutation combinations ( 2 ) among the n images, using Equation 14 below] can be updated.
  • k may represent the number of iterations
  • ⁇ may represent an update rate
  • X i,k may represent the i-th channel image after the k -th iteration.
  • step ii-5 the processor 150 may repeatedly perform steps ii-1) to ii-4) k times or until the amount of mutual information becomes less than or equal to the reference value.
  • X n ( k +1) obtained in the previous step is used as the input image, that is, IMG n .
  • step ii-6 the processor 150 imposes a positive constraint on the solution obtained by the iterative operation to obtain a final solution as shown in Equation 15 below, and the result is an image separated by minimizing the amount of mutual information may correspond to
  • FIG. 3 and 4 are exemplary views for explaining an operation example of the electronic device 100 according to various embodiments of the present disclosure.
  • FIG. 3 (a) is a graph for an example of a detection wavelength band detected by the electronic device 100. In each detection wavelength band, five fluorescent materials (CF633, Alexa647, CF660R, CF680R) excited using only a 640 nm laser. , ATTO700) overlapped, where the peaks of emission spectra of each fluorescent material were less than 20 nm, (b) are images before and after signal separation. In (c) of FIG.
  • the first row is the five ground truth images before synthesis
  • the second row is the images synthesized based on the emission spectrum of each fluorescent material
  • the three The second row is image separated from signals synthesized through PICASSO v4.0, according to various embodiments.
  • FIG. 4 (a) is a graph for an example of a detection wavelength band detected by the electronic device 100. In each detection wavelength band, five fluorescent materials (CF488A, ATTO488, ATTO514, Alexa514) excited using only a 488 nm laser. , CF532) overlapped, where the emission spectra of the fluorescent materials were less than 10 nm apart.
  • (b) to (f) are images separated from signals synthesized using the same verification images as in the first row in FIG. 3(c) .
  • 5 is an image illustrating an actual application result of the electronic device 100 according to various embodiments of the present disclosure.
  • FIG. 6 is a flowchart of a multi-color separation method by minimizing the amount of iterative mutual information of the simultaneous channel update structure of the electronic device 100 according to various embodiments of the present disclosure.
  • the electronic device 100 may acquire a plurality, for example, n images, of a plurality, for example, n, of fluorescent materials each labeled with different biomolecules.
  • the processor 150 may respectively acquire a plurality of images in different detection wavelength bands that are distinguished from each other. In each of the detection wavelength bands, emission spectra of at least two of the fluorescent materials may overlap.
  • n may be a number of 2 or more, in other words, the processor 150 may acquire two or more images of two or more fluorescent materials.
  • the electronic device 100 generates images for each of the fluorescent materials from the acquired images while simultaneously reducing the amount of mutual information shared between the images acquired based on all permutation combinations of the images acquired in step 620 . can be separated.
  • the processor 150 may reduce the amount of mutual information shared with other images among the acquired images. This will be described later in more detail with reference to FIG. 7 .
  • FIG. 7 is a flowchart specifically illustrating a step 620 of separating images for each of the fluorescent materials from the acquired images of FIG. 6 .
  • the electronic device 100 is variables for minimizing the amount of mutual information according to all permutation combinations made of two of the images obtained in step 710, which are defined as all permutation combinations.
  • the update function of the matrix structure can be updated.
  • the update function may update the update function by applying the variables of each permutation combination to the matrix structure. This will be described later in more detail with reference to FIG. 8 .
  • FIG. 8 is a flowchart specifically illustrating the step of updating the update function of FIG. 7 (step 710).
  • the electronic device 100 may select two images from the images acquired in operation 810 .
  • the processor 150 may select two images from the acquired images according to one of all possible permutation combinations from the n acquired images.
  • the electronic device 100 may process the selected images as low-resolution images, respectively, in operation 820 .
  • the processor 150 may downsample and quantize the selected images.
  • the processor 150 may obtain a low-resolution image having a resolution m times lower by adding values of m ⁇ m pixels adjacent to each obtained image. Through this, the operation speed in subsequent steps may be increased and the ability to respond to noise may be increased.
  • u1 and u2 represent the acquired images
  • v1 and v2 represent the low-resolution images
  • m may represent a factor applied to process the acquired images into the low-resolution images, respectively. have.
  • the electronic device 100 may calculate a variable for minimizing the amount of mutual information from the low-resolution images by using the loss function in step 830 .
  • a loss function may be defined as in [Equation 17] below.
  • the processor 150 may calculate a variable from the low-resolution images as shown in [Equation 18] below by using the loss function.
  • the electronic device 100 may update the update function by applying the variable in step 840 .
  • the update function may be defined as a matrix structure as shown in Equation 19 below.
  • the processor 150 may apply a corresponding variable to a corresponding permutation combination in the matrix structure of the update function.
  • k may represent the number of iterations
  • ⁇ may represent an update rate
  • X i,k may represent the i-th channel image after the k -th iteration.
  • step 850 the electronic device 100 may determine whether steps 810 to 840 have been performed for all permutation combinations. That is, the processor 150 may determine whether the update function is updated by calculating a variable for all permutation combinations. At this time, if it is determined in step 850 that all permutation combinations have not been performed, the electronic device 100 returns to step 810 and repeats steps 810 to 840 according to another one of all the permutation combinations. can do. Then, the electronic device 100 may repeat steps 810 to 850 until all permutation combinations are performed. Meanwhile, if it is determined in step 850 that all permutation combinations have been performed, the electronic device 100 returns to FIG. 7 and proceeds to step 720 .
  • the electronic device 100 may acquire new images updated from the acquired images by using the update function in operation 720 .
  • the amount of mutual information shared among the acquired images can be simultaneously reduced by the update function.
  • the electronic device 100 may determine whether to repeat steps 710 and 720 .
  • the processor 150 may determine whether the number of repetitions of steps 710 and 720 reaches a predetermined number, that is, N times. Here, if it is determined that the number of repetitions has not reached the predetermined number, the processor 150 may determine that steps 710 and 720 should be repeated. Meanwhile, if it is determined that the number of repetitions reaches the predetermined number, the processor 150 may determine that steps 710 and 720 do not need to be repeated any longer.
  • the processor 150 may determine whether the amount of mutual information between the images acquired in step 720 is equal to or less than a reference value.
  • the processor 150 may determine that steps 710 and 720 should be repeated. Meanwhile, if it is determined that the amount of mutual information between the acquired images is equal to or less than the reference value, the processor 150 may determine that steps 710 and 720 do not need to be repeated any longer. If it is determined in step 730 that steps 710 and 720 need to be repeated, the electronic device 100 may return to step 710 and repeat steps 710 to 730 .
  • step 740 the electronic device 100 may finally acquire the images obtained in step 720 as images for each of the fluorescent materials. have.
  • the processor 150 may obtain images for each of the fluorescent materials as a final solution as in Equation 20 by applying a positive number constraint.
  • image separation performance can be improved.
  • signals of three or more fluorescent materials having overlapping emission spectra in one wavelength band may be separated with higher accuracy.
  • images of each of the fluorescent materials can be separated with higher accuracy only with images obtained in the same number of detection wavelength bands as the number of fluorescent materials without measuring emission spectra of each of the fluorescent materials.
  • the embodiments of the present disclosure described above are not implemented only through the apparatus and method, and may be implemented through a program for realizing a function corresponding to the configuration of the embodiment of the present disclosure or a recording medium in which the program is recorded.

Abstract

본 개시는 동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법 및 장치를 제공한다. 본 개시에서는, 상이한 생체 분자들에 각각 표지되어 있는 복수의 형광 물질들에 대해, 복수의 이미지들을 획득하고, 상기 획득된 이미지들의 모든 순열 조합들을 기반으로 상기 획득된 이미지들 사이에서 공유되는 상호정보량을 동시에 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리할 수 있다. 본 개시에 따르면, 하나의 파장대에서 각각의 발광 스펙트럼이 중첩되는 셋 이상의 형광 물질들의 신호들을 보다 정확하게 분리할 수 있다.

Description

동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법 및 장치
본 개시는 동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법 및 장치에 관한 것이다.
최근 환자 암 조직 내에 존재하는 면역 세포를 활성화시켜 항암 효과를 내는 면역항암제가 크게 각광받고 있다. 면역항암제는 환자 암 조직 내에 어떤 면역 세포가 존재하는지에 따라 그 항암 효과에 큰 편차가 있다. 환자별 최적의 항암제를 선정하거나 새로운 기작의 면역항암제를 개발하기 위해서는, 환자 암 조직 내부에서 여러 면역 바이오 마커를 동시에 이미징해야 할 필요성이 있다. 기존의 여러 멀티 마커 동시 이미징 기술들은 고가의 특수 장비가 필요하거나, 과정이 복잡하고 이미징 속도가 느리거나, 이미징 과정에서 시료가 파괴되는 등, 여러 단점이 존재하여 면역항암제 개발, 새로운 바이오 마커 발굴, 면역항암제 반응성 예측에 널리 사용되고 있지 못하다. 따라서, 환자별 최적의 면역항암제 추천 및 새로운 면역항암제 개발을 위해서는, 저비용 고효율 무손상 멀티 마커 동시 이미징 기술이 필요하다.
해결하고자 하는 과제는 동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법 및 장치를 제공하는 것이다.
본 개시에 따른 전자 장치의 동작 방법은, 상이한 생체 분자들에 각각 표지되어 있는 복수의 형광 물질들에 대해, 복수의 이미지들을 획득하는 단계, 및 상기 획득된 이미지들의 모든 순열 조합들을 기반으로 상기 획득된 이미지들 사이에서 공유되는 상호정보량을 동시에 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리하는 단계를 포함할 수 있다.
본 개시에 따른 전자 장치는, 메모리, 및 상기 메모리와 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고, 상기 프로세서는, 상이한 생체 분자들에 각각 표지되어 있는 복수의 형광 물질들에 대해, 복수의 이미지들을 획득하고, 상기 획득된 이미지들의 모든 순열 조합들을 기반으로 상기 획득된 이미지들 사이에서 공유되는 상호정보량을 동시에 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리하도록 구성될 수 있다.
본 개시에 따른 비-일시적인 컴퓨터-판독 가능 저장 매체는, 상이한 생체 분자들에 각각 표지되어 있는 복수의 형광 물질들에 대해, 복수의 이미지들을 획득하는 단계, 및 상기 획득된 이미지들의 모든 순열 조합들을 기반으로 상기 획득된 이미지들 사이에서 공유되는 상호정보량을 동시에 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리하는 단계를 포함하는 방법을 실행하기 위한 하나 이상의 프로그램들을 저장할 수 있다.
본 개시에 따르면, 이미지 분리 성능이 향상될 수 있다. 이 때, 본 개시에서는 하나의 파장대에서 각각의 발광 스펙트럼이 중첩되는 셋 이상의 형광 물질들의 신호들을 보다 높은 정확도로 분리할 수 있다. 구체적으로, 본 개시에서는 형광 물질들의 각각의 발광 스펙트럼 측정 없이, 형광 물질들의 수와 동일한 개수의 검출 파장대에서 얻은 이미지들만으로도 형광 물질들 각각에 대한 이미지들을 보다 높은 정확도로 분리할 수 있다.
도 1은 본 개시의 다양한 실시예들에 따른 전자 장치의 블록도이다.
도 2는 본 개시의 다양한 실시예들에 따른 전자 장치의 동작 원리를 설명하기 위한 개략도이다.
도 3 및 도 4는 본 개시의 다양한 실시예들에 따른 전자 장치의 동작 예시를 설명하기 위한 예시도이다.
도 5는 본 개시의 다양한 실시예들에 따른 전자 장치의 실제 적용 결과를 나타내는 이미지들이다.
도 6은 본 개시의 다양한 실시예들에 따른 전자 장치의 동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법의 흐름도이다.
도 7은 도 6의 획득된 이미지들로부터 형광 물질들 각각에 대한 이미지들을 분리하는 단계를 구체적으로 도시하는 흐름도이다.
도 8은 도 7의 갱신 함수를 갱신하는 단계를 구체적으로 도시하는 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "쪋부", "쪋기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
설명에서는 동작 주체가 생략될 수 있으나, 본 개시에서 설명하는 방법은 전자 장치, 예컨대 컴퓨팅 장치와 형광 현미경을 포함하는 장치에서 구현될 수 있다.
형광 이미징은 시료 내부의 생체 분자를 다양한 형광 물질(fluorophore)로 표지하고 이를 빛으로 여기(excitation)시킨 후, 각 형광 물질에서 방출(emission)되는 빛을 광학현미경으로 탐지하여 시료 내부의 생체 분자를 간접적으로 관찰할 수 있는 기법이다. 형광 물질들은 고유의 화학 구조로 인해 각기 다른 여기 스펙트럼(excitation spectrum)과 방출 스펙트럼(emission spectrum)을 가지며, 이 때 흡수한 빛보다 긴 파장의 빛을 방출하게 된다. 형광 물질들의 여기 및 방출 스펙트럼은 일반적으로 가시광선 범위(400 - 700　nm) 내에서 100 nm 정도의 넓은 너비를 가지고 있다. 하나의 시료에서 여러 생체 분자를 동시에 관찰하기 위해서는 여러 생체 분자를 서로 다른 형광 물질로 표지한 후, 각 형광 물질의 이미지를 선택적으로 얻는 것이 필요하다. 이를 위해, 여기 스펙트럼과 방출 스펙트럼이 겹치지 않는 형광 물질을 사용해야 하는데, 네 개 이상의 형광 물질을 동시에 사용할 시 방출 스펙트럼의 넓은 너비로 인해 형광 물질 간 방출 스펙트럼 겹침이 발생하게 되어 각 형광 분자의 신호를 정확히 구분할 수 없게 된다. 따라서, 일반적으로 표준 여기 파장(405, 488, 560, 633 nm) 하나 당 하나의 형광 물질 만을 여기시켜 최대 네 개의 생체 분자들을 탐지해 낸다.
최근 의학 진단 및 연구 분야에서 하나의 시료에서 더 많은 생체 분자를 동시에 이미징해야 하는 필요성이 증가하고 있다. 하지만, 기존의 형광 현미경 기법으로는 한번에 최대 네 개의 형광 물질들만을 동시에 사용할 수 있다는 한계가 있다. 이러한 한계를 뛰어 넘기 위해서, 다양한 기술들이 개발되었는데, 이 기술들은 크게 세 가지로 나눌 수 있다.
첫 번째로, 반복 염색 기법(Multi-round staining)은, 방출 스펙트럼이 겹치지 않는 3개 혹은 4개의 형광 물질로 시료 내부의 생체 분자를 각각 표지하여 이미징 한 후, 화학적 처리를 통해 형광 물질을 비활성 시키거나 생체 분자에서 형광 물질을 떼어 낸다. 그 후 다시 다른 생체 분자를 동일한 3개 혹은 4개의 형광 물질로 표지하여 이미징한다. 이러한 방법을 반복하면 하나의 생체 시료에서 수십가지 생체 분자를 동시에 관찰하는 것이 가능하다. 하지만, 형광 물질 표지와 비활성 과정을 반복해야 하기 때문에 시간이 오래 걸리고, 반복되는 과정에서 얻은 각 이미지들을 서로 정합(image registration) 해줘야 하는 번거로움이 있다. 또한, 정합의 문제로 인해서 다분자의 분포를 삼차원으로 얻을 수 없다. 게다가, 화학적 처리 과정 중 시료가 손상되는 문제가 있다.
두 번째로, 스펙트럼 이미징 후 신호 분리 기법(Spectral Imaging and Signal unmixing)은, 방출 스펙트럼이 겹치는 여러 형광 물질로 여러 생체 분자를 각각 표지 한 후, 여러 형광 물질을 동시에 여기시킨다. 그 후 여러 검출 파장대에서 시료의 이미지를 얻은 후 파장대별 각 형광 분자의 상대적 세기에 대한 정보를 바탕으로, 얻은 이미지를 각 형광 물질만의 이미지로 분리한다. 만약 다양한 생체분자를 표지한 각 형광 물질의 방출 스펙트럼을 알고 있다면, 형광 물질의 파장 별 방출 세기를 바탕으로 각 형광 물질의 이미지를 분리(unmixing)하는 것이 가능하다. 하지만, 형광 물질의 방출 스펙트럼을 정확히 측정(calibration)하기 위해 스펙트랄 디텍터(spectral detector)라는 고가의 특수 장비를 필요로 한다. 그리고, 각 형광 물질의 파장 별 세기는 현미경 내부의 광학적 특성과 카메라의 파장 별 감도, 시료의 화학적 조성에 따라서 달라지게 된다. 또한, 조직의 종류와 얼마나 두꺼운 조직을 이미징 하는지에 따라서 형광 물질의 방출 스펙트럼이 달라지게 된다. 이에 따라, 매 현미경마다, 매 시료마다 각 형광 물질의 방출 스펙트럼을 매번 따로 측정해줘야 한다는 번거로움이 있어 실제로 조직 이미징에 널리 사용되지는 않고 있다.
세 번째로, 블라인드 신호 분리 기법(Blind Unmixing)은 형광 물질의 방출 스펙트럼을 모르는 상태에서 형광 물질 신호들을 분리해 내는 방법으로, 이를 위해서 독립 성분 분석(Independent Component Analysis; ICA) 혹은 음수 미포함 행렬 분석(Non-negative matrix factorization; NMF)이 사용되어 왔다. 하지만, 이 두 가지 방법은 수백 만개에 달하는 원소들을 동시에 정확히 유추해야 하므로 신호 분리의 정확성이 크게 떨어져 매우 제한적으로 사용되어 왔다. 예를 들어, 방출 스펙트럼이 겹치는 세 가지 형광 물질 신호를 분리하기 위해서는 3,145,728(=3 x 1024 x 1024)개가 넘는 원소를 동시에 유추해내야 한다(1024 x 1024 해상도 기준). 또한, 기존의 ICA, NMF는 분리를 위해서 필요한 이미지의 수(IMG 행렬의 행의 수)가 반드시 형광 물질의 수(F 행렬의 행의 수)보다 많아야 한다는 조건이 있다. 즉, 8개의 형광 물질을 동시에 이미징 하기 위해서는 9장 이상의 이미지를 얻어야 하기 때문에 시간이 오래 걸린다는 단점이 있다.
결론적으로, 기존 다분자 동시 이미징 기법은 실험과정 및 이미징 과정의 번거로움과 복잡성, 신호 분리 부정확도, 특수 장비 요구 등의 문제점으로 인해 실질적으로 연구 및 진단에 활발하게 사용되지 않고 있다. 이러한 문제를 해결하기 위해서, 최근 새로운 블라인드 신호 분리 기반 다분자 동시 이미징 기법(Process of ultra-multiplexed Imaging of biomoleCules viA the unmixing of the Signals of Spectrally Overlapping fluorophores; PICASSO)이 개발되었다. PICASSO는 형광 분자의 신호가 혼재되어 있는 이미지들 간의 상호정보량 최소화를 통해 신호 분리를 이루어 냄을 그 원리로 한다.
가장 처음으로 개발된 PICASSO v1.0에서는 형광 물질 1의 신호만 포함되어 있는 이미지1과 형광 물질 1과 2의 신호가 모두 포함되어 있는 이미지2 사이의 상호정보량 최소화를 통해, 동시에 10개의 마커의 이미징이 가능하였다. 이를 개량한 PICASSO v2.0에서는 반복 상호정보량 최소화를 통해 이미지1에 형광 물질 1과 2의 신호가 모두 포함되어 있어도 신호 분리가 가능하여 v1.0에 비해 신호대잡음비가 좋고, 추가적인 신호증폭과정이 필요없다는 장점이 있다. 하지만, PICASSO v1.0 및 v2.0 모두 하나의 여기 레이저 당 오직 2개의 마커만을 신호 분리 가능하여(예컨대, 405-nm, 488-nm, 560-nm, 640-nm, 730-nm 5개의 표준 여기 레이저 하나당 2개), 10개 이상의 마커를 동시에 관찰하기 힘들었다.
이에, PICASSO v1.0 및 v2.0로부터 개량된 PICASSO v3.0이 개발되었다. PICASSO v3.0에서는, PICASSO v1.0 및 v2.0의 멀티 마커 동시 이미징 능력이 2배 이상 향상되었다. PICASSO v3.0은 발광 스펙트럼이 겹치는 3개 이상의 형광 물질의 신호를 별도의 형광 물질 발광 스펙트럼 측정 없이, 형광 물질의 수와 동일한 개수의 검출 파장대에서 얻은 이미지만으로 분리할 수 있는 기술이다. PICASSO v3.0에서는, 검출 파장대마다 각 형광 분자의 방출 스펙트럼의 고점을 포함하도록 설계하면, 해당 파장대에서 고점을 가지는 형광 분자의 신호보다 다른 형광 분자의 신호가 우선적으로 제거됨이 보장된다. 이로 인해, PICASSO v3.0은, 하나의 레이저로 3개 혹은 그 이상의 형광 분자간에 신호 분리가 가능하므로, PICASSO v1.0 및 v2.0에 비해, 멀티 마커 동시 이미징 능력이 2배 이상 뛰어나다. 하지만, PICASSO v3.0에 따르면, 신호 분리해야 하는 이미지가 2개에서 3개 이상으로 증가하면서 그 복잡성과 난이도가 증가하였고, 여러 이미지 간의 신호 분리가 순차적으로 이루어지므로 분리의 순서를 어떻게 잡느냐가 결과의 정확성에 영향을 미쳤다. 결과적으로, 신호 분리해야 하는 이미지가 증가할수록, 신호 분리의 정확성이 떨어진다는 단점이 존재하였다.
이하에서, 본 개시는 PICASSO v3.0으로부터 개량된 PICASSO v4.0을 제안한다. PICASSO v4.0에서는, 신호 분리의 정확도를 높이기 위해 순차적 채널 업데이트 알고리즘 대신, 동시적 채널 업데이트 알고리즘을 제시한다.
도 1은 본 개시의 다양한 실시예들에 따른 전자 장치(100)의 블록도이다. 도 2는 본 개시의 다양한 실시예들에 따른 전자 장치(100)의 동작 원리를 설명하기 위한 개략도이다.
도 1을 참조하면, 본 개시의 다양한 실시예들에 따른 전자 장치(100)는 디텍터(110), 입력 모듈(120), 출력 모듈(130), 메모리(140) 또는 프로세서(150) 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서는 전자 장치(100)의 구성 요소들 중 적어도 어느 하나가 생략되거나, 전자 장치(100)에 하나 이상의 다른 구성 요소들이 추가될 수 있다.
디텍터(110)는 시료에 대한 이미지를 촬영할 수 있다. 이 때 디텍터(110)는 전자 장치(100)의 미리 정해진 위치에 설치되어, 이미지를 촬영할 수 있다. 예를 들면, 디텍터(110)는 sCMOS(scientific complementary metal-oxide-semiconductor) 카메라, PMT(photo multiplier tube), 혹은 그 이외에 빛의 세기를 측정하여 이를 이미지로 표현할 수 있는 장비 중 적어도 어느 하나를 포함할 수 있다.
입력 모듈(120)은 전자 장치(100)의 구성 요소들 중 적어도 어느 하나에 사용될 명령 또는 데이터를 전자 장치(100)의 외부로부터 수신할 수 있다. 이 때 입력 모듈(120)은 입력 장치 또는 수신 장치 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 입력 장치는 마이크(microphone), 마우스 또는 키보드 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서, 입력 장치는 터치를 감지하도록 설정된 터치 회로(touch circuitry) 또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로 중 적어도 어느 하나를 포함할 수 있다. 수신 장치는 무선 수신 장치 또는 유선 수신 장치 중 적어도 어느 하나를 포함할 수 있다.
출력 모듈(130)은 전자 장치(100)의 외부로 정보를 제공할 수 있다. 이 때 출력 모듈(130)은 표시 장치 또는 송신 장치 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 표시 장치는 디스플레이, 홀로그램 장치, 또는 프로젝터 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서, 표시 장치는 입력 모듈(120)의 터치 회로 또는 센서 회로 중 적어도 어느 하나와 조립되어, 터치 스크린으로 구현될 수 있다. 송신 장치는 무선 송신 장치 또는 유선 송신 장치 중 적어도 어느 하나를 포함할 수 있다.
일 실시예에 따르면, 수신 장치와 송신 장치는 하나의 통신 모듈로 통합될 수 있다. 통신 모듈은 전자 장치(100)와 외부 장치(미도시) 간 통신을 지원할 수 있다. 이러한 통신 모듈은 무선 통신 모듈 또는 유선 통신 모듈 중 적어도 어느 하나를 포함할 수 있다. 이 때 무선 통신 모듈은 무선 수신 장치 또는 무선 송신 장치 중 적어도 어느 하나로 이루어질 수 있다. 그리고, 무선 통신 모듈은 원거리 통신 방식 또는 근거리 통신 방식 중 적어도 어느 하나를 지원할 수 있다. 근거리 통신 방식은, 예컨대 블루투스(Bluetooth), 와이파이 다이렉트(WiFi direct), 또는 적외선 통신(IrDA; infrared data association) 중 적어도 어느 하나를 포함할 수 있다. 무선 통신 모듈은 네트워크를 통해 원거리 통신 방식으로 통신할 수 있으며, 네트워크는, 예컨대 셀룰러 네트워크, 인터넷, 또는 LAN(local area network)이나 WAN(wide area network)과 같은 컴퓨터 네트워크 중 적어도 어느 하나를 포함할 수 있다. 한편, 유선 통신 모듈은 유선 수신 장치 또는 유선 송신 장치 중 적어도 어느 하나로 이루어질 수 있다.
메모리(140)는 전자 장치(100)의 구성 요소들 중 적어도 어느 하나에 의해 사용되는 프로그램 또는 데이터 중 적어도 어느 하나를 저장할 수 있다. 예를 들면, 메모리(140)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 어느 하나를 포함할 수 있다.
프로세서(150)는 메모리(140)의 프로그램을 실행하여, 전자 장치(100)의 구성 요소들 중 적어도 어느 하나를 제어할 수 있고, 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(150)는 상이한 생체 분자들에 각각 표지되어 있는 복수, 예컨대 n 개의 형광 물질들에 대해, 복수, 예컨대 n 개의 이미지들을 획득할 수 있다. 이 때, 프로세서(150)는 서로로부터 구분되는 상이한 검출 파장대들에서 복수의 이미지들을 각각 획득할 수 있다. 검출 파장대들의 각각에서는, 형광 물질들 중 적어도 두 개의 방출 스펙트럼들이 겹칠 수 있다. 여기서, n은 3 이상의 숫자일 수 있으며, 바꿔 말하면, 프로세서(150)는 셋 이상의 형광 물질들에 대해, 셋 이상의 이미지들을 획득할 수 있다. 그리고, 프로세서(150)는 획득된 이미지들의 모든 순열 조합들을 기반으로 획득된 이미지들 사이에서 공유되는 상호정보량을 감소시키면서, 획득된 이미지들로부터 형광 물질들 각각에 대한 이미지들을 분리할 수 있다. 이 때, 프로세서(150)는 획득된 이미지들의 각각에 대해, 획득된 이미지들 중 다른 이미지들과 공유되는 상호정보량을 감소시킬 수 있다.
예를 들면, 하나의 레이저로 n 종류의 방출 스펙트럼(emission spectrum)이 유사한 형광 물질들을 여기하여 검출 파장대(detection spectral range)가 다른 n 개의 이미지(IMGN)들을 얻게 되면, 하기 [수학식 1]과 같이, 각 이미지(IMGN)에는 n 종류의 형광 물질의 이미지(FN)가 선형적으로 더해져 나타나게 된다.
Figure PCTKR2021018833-appb-img-000001
이 때, 각 이미지별로 여러 형광 물질들의 이미지가 선형적으로 더해지는 계수(αi,j)는 다르게 된다. 검출 파장대별로 하나의 형광 물질의 방출 스펙트럼의 고점을 포함함이 보장될 경우, 이 이미지에서 다른 나머지 n-1 개의 이미지를 선형적으로 감하는 연산을 수행할 경우, 해당 대역에서 고점을 가지는 형광 물질에 비해 다른 형광 물질의 신호가 우선적으로 제거됨이 보장되며, 이 때 상호정보량 최소화(mutual information minimization)가 이용된다. 상호정보량은 정보이론에서부터 비롯된 값으로, 두 변수들 사이의 상호정보량은 두 변수들이 공유하고 있는 정보의 총량을 의미한다. 따라서, 두 무작위 변수들(two random variables) 사이의 상호정보량은 0이다. 디지털 이미지는 불연속 변수(discrete variable)이므로, 하기 [수학식 2]를 활용해서 두 개의 이미지들 사이의 상호정보량이 계산된다. 하기 [수학식 2]에서, pX(x)와 pY(y)는 각 이미지의 확률분포함수(혹은 히스토그램)에 해당하며, p(X,Y)(x,y)는 두 이미지의 결합 확률분포함수(혹은 결합 히스토그램)에 해당한다.
Figure PCTKR2021018833-appb-img-000002
프로세서(150)는 다음과 같이, 두 개의 이미지들의 상호정보량을 최소화할 수 있다.
먼저, 단계 i-1)에서, 프로세서(150)는 반복적(iterative) 상호정보량 최소화를 위해, 하기 [수학식 3]과 같이 변수들을 초기화할 수 있다. 하기 [수학식 3]에서, u1 및 u2는 입력 이미지들을 나타내고, v1 및 v2는 저해상도 이미지들을 나타내고, k는 입력 이미지들을 저해상도 이미지들로 각각 처리하기 위해 적용되는 팩터로 정의될 수 있다. 예를 들어, pixelBinning(IMG1,k)은 입력 이미지(IMG1) 내의 인접한 kХk 픽셀들의 값을 더해서 k배 낮은 해상도의 이미지를 얻어내는 과정으로 연산속도를 높이고 노이즈에 대한 대응력을 올리기 위해 활용하며, k=1 로 하여 생략하거나 다른 이미지 다운샘플링 방법으로 대체할 수 있다.
Figure PCTKR2021018833-appb-img-000003
그리고, 단계 i-2)에서, 프로세서(150)는 하기 [수학식 4]와 같이 첫 번째 손실 함수를 정의하여, 하기 [수학식 5]와 같이 이를 최소화하는
Figure PCTKR2021018833-appb-img-000004
를 계산할 수 있다. 그런 다음, 단계 i-3)에서, 프로세서(150)는 첫 번째 손실 함수를 최소화하는
Figure PCTKR2021018833-appb-img-000005
를 활용하여, 하기 [수학식 6]과 같이 u1, v1의 값을 갱신할 수 있다. 이 때 [수학식 6]에서 이미지가 분리되는 속도를 조절하여 더 정확한 이미지 분리를 달성하기 위하여 α 대신 1보다 작은 양수인 γ를 α에 곱해준 αγ를 사용할 수 있다.
Figure PCTKR2021018833-appb-img-000006
Figure PCTKR2021018833-appb-img-000007
Figure PCTKR2021018833-appb-img-000008
또한, 단계 i-4)에서, 프로세서(150)는 하기 [수학식 7]과 같이 두 번째 손실 함수를 정의하여, 하기 [수학식 8]과 같이 이를 최소화하는
Figure PCTKR2021018833-appb-img-000009
를 계산할 수 있다. 그런 다음, 단계 i-5)에서, 프로세서(150)는 두 번째 손실 함수를 최소화하는
Figure PCTKR2021018833-appb-img-000010
를 활용하여, 하기 [수학식 9]와 같이 u2, v2의 값을 갱신할 수 있다. 이 때 [수학식 9]에서 이미지가 분리되는 속도를 조절하여 더 정확한 이미지 분리를 달성하기 위하여 β 대신 1보다 작은 양수인 γ를 β에 곱해준 βγ를 사용할 수 있다.
Figure PCTKR2021018833-appb-img-000011
Figure PCTKR2021018833-appb-img-000012
Figure PCTKR2021018833-appb-img-000013
단계 i-6)에서, 프로세서(150)는 이렇게 얻은 u1', u2', v1', v2'에 대해 다시 i-2) 내지 i-5)를 N회 혹은 상호정보량이 기준값 이하가 될 때까지 반복적으로 수행할 수 있다. 이를 통해, 단계 i-7)에서, 프로세서(150)는 반복 연산으로 얻은 해에 양수 제약을 걸어, 하기 [수학식 10]과 같이 최종 해를 얻어 내며, 결과물은 상호정보량이 최소화되어 분리된 이미지들에 해당할 수 있다.
Figure PCTKR2021018833-appb-img-000014
한편, 프로세서(150)는 다음과 같이, n 개의 이미지들의 상호정보량을 최소화할 수 있다.
먼저, 단계 ii-1)에서, 프로세서(150)는 n 개의 이미지들 중 두 개의 이미지들을 선정할 수 있다. 이 후, 단계 ii-2)에서, 프로세서(150)는 동시적 채널 상호정보량 최소화를 위해, 하기 [수학식 11]과 같이 변수들을 초기화할 수 있다. 하기 [수학식 11]에서, u1 및 u2는 입력 이미지들을 나타내고, v1 및 v2는 저해상도 이미지들을 나타내고, m은 입력 이미지들을 저해상도 이미지들로 각각 처리하기 위해 적용되는 팩터로 정의될 수 있다. 예를 들어, pixelBinning(IMGi,m)은 입력 이미지(IMGi) 내의 인접한 mХm 픽셀들의 값을 더해서 m배 낮은 해상도의 이미지를 얻어내는 과정으로 연산속도를 높이고 노이즈에 대한 대응력을 올리기 위해 활용하며, m=1 로 하여 생략하거나 다른 이미지 다운샘플링 방법으로 대체할 수 있다.
Figure PCTKR2021018833-appb-img-000015
그리고, 단계 ii-3)에서, 프로세서(150)는 하기 [수학식 12]와 같이 손실 함수를 정의하여, 하기 [수학식 13]과 같이 이를 최소화하는
Figure PCTKR2021018833-appb-img-000016
를 계산할 수 있다.
Figure PCTKR2021018833-appb-img-000017
Figure PCTKR2021018833-appb-img-000018
또한, 단계 ii-4)에서, 프로세서(150)는 n 개의 이미지들 중 가능한 모든 순열 조합들(2)에 따라, 단계 ii-2) 내지 단계 ii-3)을 반복하여, 하기 수학식 14]를 갱신할 수 있다. 하기 [수학식 14]에서, k는 반복 횟수, γ은 업데이트 비율, X i,k는 k 번째 반복 후의 i 번째 채널 이미지를 나타낼 수 있다.
Figure PCTKR2021018833-appb-img-000019
단계 ii-5)에서, 프로세서(150)는 단계 ii-1) 내지 단계 ii-4)를 k 회 혹은 상호정보량이 기준값 이하가 될 때까지 반복적으로 수행할 수 있다. 이 때, 이 전 단계에서 얻어진 X n(k+1)이 입력 이미지, 즉 IMG n으로 사용된다.
이를 통해, 단계 ii-6)에서, 프로세서(150)는 반복 연산으로 얻은 해에 양수 제약을 걸어, 하기 [수학식 15]과 같이 최종 해를 얻어 내며, 결과물은 상호정보량이 최소화되어 분리된 이미지에 해당할 수 있다.
Figure PCTKR2021018833-appb-img-000020
도 3 및 도 4는 본 개시의 다양한 실시예들에 따른 전자 장치(100)의 동작 예시를 설명하기 위한 예시도이다. 도 3에서, (a)는 전자 장치(100)에서 검출되는 검출 파장대의 예시에 대한 그래프로서, 각 검출 파장대에는, 640 nm 레이저만을 사용하여 여기된 다섯 개의 형광 물질(CF633, Alexa647, CF660R, CF680R, ATTO700)의 방출 스펙트럼들이 중첩되어 있고, 여기서, 각 형광 물질들의 방출 스펙트럼 고점의 간격이 20 nm 이하였으며, (b)는 신호 분리 전/후의 이미지들이다. 도 3의 (c)에서, 첫 번째 행은 합성 전의 다섯 개의 검증용 이미지(ground truth)들이고, 두 번째 행은 다섯 개의 검증용 이미지들을 각 형광 물질의 방출 스펙트럼을 바탕으로 합성한 이미지들이고, 세 번째 행은 다양한 실시예들에 따라, PICASSO v4.0을 통해 합성된 이미지로부터 신호 분리된 이미지들이다. 도 4에서, (a)는 전자 장치(100)에서 검출되는 검출 파장대의 예시에 대한 그래프로서, 각 검출 파장대에는, 488 nm 레이저만을 사용하여 여기된 다섯 개의 형광 물질(CF488A, ATTO488, ATTO514, Alexa514, CF532)의 방출 스펙트럼들이 중첩되어 있고, 여기서, 형광 물질들의 방출 스펙트럼 간격이 10 nm 이하였다. 도 4에서, (b) 내지 (f)는 도 3의 (c)에서 첫 번째 행과 동일한 검증용 이미지들을 이용하여 합성된 이미지로부터 신호 분리된 이미지들이다. 도 5는 본 개시의 다양한 실시예들에 따른 전자 장치(100)의 실제 적용 결과를 나타내는 이미지들이다.
도 3 및 4를 참조하면, 오직 한 개의 레이저만을 사용하여 다섯 종류의 마커 신호 분리가 가능함이 입증되었다. 아울러, PICASSO v4.0을 통해 합성된 이미지로부터 신호 분리된 이미지들은 합성 전 이미지들과 동일한 패턴을 나타냄이 확인되었다.
한편, 도 3의 다섯 개의 형광 물질들과 더하여, 해당하는 다섯 개의 형광 물질들과 스펙트럼이 유사하지만, 조금 다른 다섯 개의 형광 물질들을, 하기 [표 1]과 같이 선정하였다. 그리고, 이러한 열 개의 형광 물질들을 기반으로, 32 가지(25=32) 조합에 대해, 신호 분리 정확성 측정 시뮬레이션을 진행하였다. 그 결과, 하기 [표 2]와 같이, 모든 경우에서 피어슨 상관 계수(Pearson coefficient correlation) 결과 값이 약 99 %로 측정되었으며, 이는 신호 분리 정확도가 매우 높음을 나타낸다. 이를 통해, 다양한 실시예들에 따른, PICASSO v4.0은 다양한 형광 분자 조합에 대해서도 성공적으로 작동 가능함이 입증되었다. 상기와 같은 시뮬레이션 검증 후, 다양한 실시예들에 따른, PICASSO v4.0을 통해, 도 5에 도시된 바와 같이, 실제 쥐 뇌에 존재하는 15 개 단백질의 동시 이미징에 성공하였다. 도 5에서, (a)는 15 개의 신호 분리된 단백질 이미지들을 합쳐 놓은 이미지를 나타내며, (b)는 15 개의 신호 분리된 단백질 이미지들의 각각을 나타낸다.
Figure PCTKR2021018833-appb-img-000021
Figure PCTKR2021018833-appb-img-000022
도 6은 본 개시의 다양한 실시예들에 따른 전자 장치(100)의 동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법의 흐름도이다.
도 6을 참조하면, 전자 장치(100)는 610 단계에서 상이한 생체 분자들에 각각 표지되어 있는 복수, 예컨대 n 개의 형광 물질들에 대해, 복수, 예컨대 n 개의 이미지들을 획득할 수 있다. 이 때, 프로세서(150)는 서로로부터 구분되는 상이한 검출 파장대들에서 복수의 이미지들을 각각 획득할 수 있다. 검출 파장대들의 각각에서는, 형광 물질들 중 적어도 두 개의 방출 스펙트럼들이 중첩될 수 있다. 여기서, n은 2 이상의 숫자일 수 있으며, 바꿔 말하면, 프로세서(150)는 둘 이상의 형광 물질들에 대해, 둘 이상의 이미지들을 획득할 수 있다.
다음으로, 전자 장치(100)는 620 단계에서 획득된 이미지들의 모든 순열 조합들을 기반으로 획득된 이미지들 사이에서 공유되는 상호정보량을 동시에 감소시키면서, 획득된 이미지들로부터 형광 물질들 각각에 대한 이미지들을 분리할 수 있다. 이 때, 프로세서(150)는 획득된 이미지들의 각각에 대해, 획득된 이미지들 중 다른 이미지들과 공유되는 상호정보량을 감소시킬 수 있다. 이에 대해, 도 7을 참조하여, 보다 상세하게 후술될 것이다.
도 7은 도 6의 획득된 이미지들로부터 형광 물질들 각각에 대한 이미지들을 분리하는 단계(620 단계)를 구체적으로 도시하는 흐름도이다.
도 2와 함께, 도 7을 참조하면, 전자 장치(100)는 710 단계에서 획득된 이미지들 중 두 개로 이루어지는 모든 순열 조합들에 따른 상호정보량 최소화를 위한 변수들로, 모든 순열 조합들로 정의되는 매트릭스 구조의 갱신 함수를 갱신할 수 있다. 이 때, 갱신 함수는 각 순열 조합의 변수를 매트릭스 구조에 적용하여, 갱신 함수를 갱신할 수 있다. 이에 대해, 도 8을 참조하여, 보다 상세하게 후술될 것이다.
도 8은 도 7의 갱신 함수를 갱신하는 단계(710 단계)를 구체적으로 도시하는 흐름도이다.
도 8을 참조하면, 전자 장치(100)는 810 단계에서 획득된 이미지들로부터 두 개의 이미지들을 선정할 수 있다. 이 때, 프로세서(150)는 n 개의 획득된 이미지들로부터 가능한 모든 순열 조합들 중 하나에 따라, 획득된 이미지들로부터 두 개의 이미지들을 선정할 수 있다. 그리고, 전자 장치(100)는 820 단계에서 선정된 이미지들을 저해상도 이미지들로 각각 처리할 수 있다. 이를 위해, 프로세서(150)는 선정된 이미지들을 다운샘플링 및 양자화할 수 있다. 일 예로, 프로세서(150)는 각 획득된 이미지 내에서 인접한 m×m 픽셀들의 값을 더해서 m배 낮은 해상도의 저해상도 이미지를 획득할 수 있다. 이를 통해, 이후 단계들에서의 연산 속도를 높이고 노이즈에 대한 대응력이 상승될 수 있다. 다른 예로, 프로세서(150)는 m=1로 하여 생략하거나, 다른 이미지 샘플링 방법을 이용하여, 획득된 이미지들을 저해상도 이미지들로 각각 처리할 수 있다. 이를 통해, 전자 장치(100)는 하기 [수학식 16]과 같이 변수들을 초기화할 수 있다.
Figure PCTKR2021018833-appb-img-000023
여기서, 상기 u1 및 상기 u2는 상기 획득된 이미지들을 나타내고, 상기 v1 및 상기 v2는 상기 저해상도 이미지들을 나타내고, 상기 m은 상기 획득된 이미지들을 상기 저해상도 이미지들로 각각 처리하기 위해 적용되는 팩터를 나타낼 수 있다.
전자 장치(100)는 830 단계에서 손실 함수를 이용하여, 저해상도 이미지들로부터 상호정보량 최소화를 위한 변수를 계산할 수 있다. 이 때, 하기 [수학식 17]과 같이 손실 함수가 정의될 수 있다. 그리고, 프로세서(150)는 손실 함수를 이용하여, 하기 [수학식 18]과 같이 저해상도 이미지들로부터 변수를 계산할 수 있다.
Figure PCTKR2021018833-appb-img-000024
Figure PCTKR2021018833-appb-img-000025
여기서,
Figure PCTKR2021018833-appb-img-000026
는 변수를 나타낼 수 있다.
전자 장치(100)는 840 단계에서 변수를 적용하여, 갱신 함수를 갱신할 수 있다. 이 때, 갱신 함수는 하기 [수학식 19]와 같은 매트릭스 구조로 정의될 수 있다. 그리고, 프로세서(150)는 갱신 함수의 매트릭스 구조에서, 해당 순열 조합에 대응하여, 해당 변수를 적용할 수 있다.
Figure PCTKR2021018833-appb-img-000027
여기서, k는 반복 횟수를 나타내고, γ은 업데이트 비율을 나타내고, X i,k는 k 번째 반복 후의 i 번째 채널 이미지를 나타낼 수 있다. 아울러,
Figure PCTKR2021018833-appb-img-000028
는 α i,j로 대체되어 표현될 수 있다.
전자 장치(100)는 850 단계에서 모든 순열 조합들에 대해, 810 단계 내지 840 단계를 수행했는 지의 여부를 판단할 수 있다. 즉, 프로세서(150)는 모든 순열 조합들에 대해, 변수를 계산하여 갱신 함수를 갱신했는 지의 여부를 판단할 수 있다. 이 때, 850 단계에서 모든 순열 조합들에 대해 수행하지 않은 것으로 판단되면, 전자 장치(100)는 810 단계로 복귀하여, 모든 순열 조합들 중 다른 하나에 따라, 810 단계 내지 840 단계를 반복하여 수행할 수 있다. 그리고, 전자 장치(100)는 모든 순열 조합들에 대해 수행할 때까지, 810 단계 내지 850 단계를 반복할 수 있다. 한편, 850 단계에서 모든 순열 조합들에 대해 수행한 것으로 판단되면, 전자 장치(100)는 도 7로 리턴하여, 720 단계로 진행할 수 있다.
다시 도 7을 참조하면, 전자 장치(100)는 720 단계에서 갱신 함수를 이용하여, 획득된 이미지들로부터 갱신되는 새로운 이미지들을 획득할 수 있다. 이 때, 갱신 함수에 의해, 획득된 이미지들 사이에서 공유되는 상호정보량을 동시에 감소될 수 있다.
전자 장치(100)는 730 단계에서 710 단계 및 720 단계를 반복할 지의 여부를 판단할 수 있다. 일 실시예에 따르면, 프로세서(150)는 710 단계 및 720 단계의 반복 횟수가 미리 정해진 횟수, 즉, N회에 도달했는 지의 여부를 판단할 수 있다. 여기서, 반복 횟수가 정해진 횟수에 도달하지 않은 것으로 판단되면, 프로세서(150)는 710 단계 및 720 단계를 반복해야 하는 것으로 판단할 수 있다. 한편, 반복 횟수가 정해진 횟수에 도달한 것으로 판단되면, 프로세서(150)는 710 단계 및 720 단계를 더 이상 반복하지 않아도 되는 것으로 판단할 수 있다. 다른 실시예에 따르면, 프로세서(150)는 720 단계에서 획득된 이미지들 사이의 상호정보량이 기준값 이하인 지의 여부를 판단할 수 있다. 여기서, 획득된 이미지들 사이의 상호정보량이 기준값을 초과하는 것으로 판단되면, 프로세서(150)는 710 단계 및 720 단계를 반복해야 하는 것으로 판단할 수 있다. 한편, 획득된 이미지들 사이의 상호정보량이 기준값 이하인 것으로 판단되면, 프로세서(150)는 710 단계 및 720 단계를 더 이상 반복하지 않아도 되는 것으로 판단할 수 있다. 730 단계에서 710 단계 및 720 단계를 반복해야 하는 것으로 판단되면, 전자 장치(100)는 710 단계로 복귀하여, 710 단계 내지 730 단계를 반복하여 수행할 수 있다.
한편, 730 단계에서 710 단계 및 720 단계를 반복하지 않아도 되는 것으로 판단되면, 전자 장치(100)는 740 단계에서, 최종적으로 720 단계에서 획득된 이미지들을 형광 물질들 각각에 대한 이미지들로 획득할 수 있다. 이 때, 프로세서(150)는 양수 제약을 걸어, 하기 [수학식 20]과 같은 최종 해로서, 형광 물질들 각각에 대한 이미지들을 획득할 수 있다.
Figure PCTKR2021018833-appb-img-000029
본 개시에 따르면, 이미지 분리 성능이 향상될 수 있다. 이 때, 본 개시에서는 하나의 파장대에서 각각의 발광 스펙트럼이 중첩되는 셋 이상의 형광 물질들의 신호들을 보다 높은 정확도로 분리할 수 있다. 구체적으로, 본 개시에서는 형광 물질들의 각각의 발광 스펙트럼 측정 없이, 형광 물질들의 수와 동일한 개수의 검출 파장대에서 얻은 이미지들만으로도 형광 물질들 각각에 대한 이미지들을 보다 높은 정확도로 분리할 수 있다.
이상에서 설명한 본 개시의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 개시의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 개시의 실시예에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속하는 것이다.

Claims (20)

  1. 전자 장치의 방법에 있어서,
    상이한 생체 분자들에 각각 표지되어 있는 복수의 형광 물질들에 대해, 복수의 이미지들을 획득하는 단계; 및
    상기 획득된 이미지들의 모든 순열 조합들을 기반으로 상기 획득된 이미지들 사이에서 공유되는 상호정보량을 동시에 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리하는 단계
    를 포함하는,
    방법.
  2. 제 1 항에 있어서,
    상기 복수의 이미지들을 획득하는 단계는,
    서로로부터 구분되는 상이한 검출 파장대들에서 상기 복수의 이미지들을 각각 획득하는 단계
    를 포함하는,
    방법.
  3. 제 2 항에 있어서,
    상기 검출 파장대들의 각각에서는,
    상기 형광 물질들 중 적어도 두 개의 방출 스펙트럼들이 중첩되는,
    방법.
  4. 제 1 항에 있어서,
    상기 형광 물질들 각각에 대한 이미지들을 분리하는 단계는,
    상기 모든 순열 조합들 중 하나에 따라, 상기 획득된 이미지들로부터 두 개의 이미지들을 선정하는 단계;
    상기 선정된 이미지들에 대해 계산되는 상호정보량 최소화를 위한 변수를 적용하여, 상기 모든 순열 조합들로 정의되는 매트릭스 구조의 갱신 함수를 갱신하는 단계; 및
    상기 갱신 함수를 이용하여, 상기 획득된 이미지들로부터 갱신되는 복수의 새로운 이미지들을 획득하는 단계
    를 포함하는,
    방법.
  5. 제 4 항에 있어서,
    상기 획득된 이미지들로부터 두 개의 이미지들을 선정하는 단계 및 상기 갱신 함수를 갱신하는 단계는,
    상기 모든 순열 조합들에 따라 반복되며,
    상기 반복이 완료되면, 상기 획득된 이미지들로 갱신되는 복수의 새로운 이미지들을 획득하는 단계가 수행되는,
    방법.
  6. 제 4 항에 있어서,
    상기 획득된 이미지들로 갱신되는 복수의 새로운 이미지들을 획득하는 단계는,
    미리 정해진 횟수만큼 반복되며,
    상기 반복이 완료되면, 상기 획득된 이미지들이 상기 형광 물질들 각각에 대한 이미지들로 획득되는,
    방법.
  7. 제 4 항에 있어서,
    상기 획득된 이미지들로 갱신되는 복수의 새로운 이미지들을 획득하는 단계는,
    상기 획득된 이미지들 사이의 상호정보량이 기준값 이하가 될 때까지 반복되며,
    상기 반복이 완료되면, 상기 획득된 이미지들이 상기 형광 물질들 각각에 대한 이미지들로 획득되는,
    방법.
  8. 제 4 항에 있어서,
    상기 선정된 이미지들과 각각 관련된 갱신 함수들을 갱신하는 단계는,
    하기 [수학식 i]과 같이 상기 선정된 이미지들을 상기 선정된 이미지들보다 낮은 해상도의 저해상도 이미지들로 각각 처리하는 단계;
    [수학식 i]
    Figure PCTKR2021018833-appb-img-000030
    여기서, 상기 u1 및 상기 u2는 상기 획득된 이미지들을 나타내고, 상기 v1 및 상기 v2는 상기 저해상도 이미지들을 나타내고, 상기 m은 상기 획득된 이미지들을 상기 저해상도 이미지들로 각각 처리하기 위해 적용되는 팩터를 나타냄
    하기 [수학식 ii]와 같이 정의되는 손실 함수를 이용하여, 하기 [수학식 iii]과 같이 상기 저해상도 이미지들로부터 상기 변수를 계산하는 단계; 및
    [수학식 ii]
    Figure PCTKR2021018833-appb-img-000031
    [수학식 iii]
    Figure PCTKR2021018833-appb-img-000032
    여기서, 상기
    Figure PCTKR2021018833-appb-img-000033
    는 상기 변수를 나타냄
    하기 [수학식 iv]와 같이 상기 변수를 적용하여, 상기 갱신 함수를 갱신하는 단계
    [수학식 iv]
    Figure PCTKR2021018833-appb-img-000034
    여기서, 상기 k는 반복 횟수를 나타내고, 상기 γ은 업데이트 비율을 나타내고, 상기 X i,k는 k 번째 반복 후의 i 번째 채널 이미지를 나타냄
    를 포함하는,
    방법.
  9. 제 8 항에 있어서,
    상기 형광 물질들 각각에 대한 이미지들은,
    상기 반복 연산으로 얻은 해에 양수 제약을 걸어,
    하기 [수학식 v]와 같이 획득되는,
    [수학식 v]
    Figure PCTKR2021018833-appb-img-000035
    방법.
  10. 전자 장치에 있어서,
    메모리; 및
    상기 메모리와 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고,
    상기 프로세서는,
    상이한 생체 분자들에 각각 표지되어 있는 복수의 형광 물질들에 대해, 복수의 이미지들을 획득하고,
    상기 획득된 이미지들의 모든 순열 조합들을 기반으로 상기 획득된 이미지들 사이에서 공유되는 상호정보량을 동시에 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리하도록 구성되는,
    전자 장치.
  11. 제 10 항에 있어서,
    상기 프로세서는,
    서로로부터 구분되는 상이한 검출 파장대들에서 상기 복수의 이미지들을 각각 획득하도록 구성되는,
    전자 장치.
  12. 제 11 항에 있어서,
    상기 검출 파장대들의 각각에서는,
    상기 형광 물질들 중 적어도 두 개의 방출 스펙트럼들이 중첩되게 획득하도록 구성되는,
    전자 장치.
  13. 제 10 항에 있어서,
    상기 프로세서는,
    상기 모든 순열 조합들 중 하나에 따라, 상기 획득된 이미지들로부터 두 개의 이미지들을 선정하고,
    상기 선정된 이미지들에 대해 계산되는 상호정보량 최소화를 위한 변수를 적용하여, 상기 모든 순열 조합들로 정의되는 매트릭스 구조의 갱신 함수를 갱신하고,
    상기 갱신 함수를 이용하여, 상기 획득된 이미지들로부터 갱신되는 복수의 새로운 이미지들을 획득하도록 구성되는,
    전자 장치.
  14. 제 13 항에 있어서,
    상기 프로세서는,
    상기 획득된 이미지들로부터 두 개의 이미지들을 선정하고, 상기 갱신 함수를 갱신하는 것을, 상기 모든 순열 조합들에 따라, 반복적으로 수행하도록 구성되고,
    상기 반복이 완료되면, 상기 갱신 함수를 이용하여, 상기 획득된 이미지들로부터 갱신되는 복수의 새로운 이미지들을 획득하도록 구성되는,
    전자 장치.
  15. 제 13 항에 있어서,
    상기 프로세서는,
    상기 갱신 함수를 이용하여, 상기 획득된 이미지들로부터 갱신되는 복수의 새로운 이미지들을 획득하는 것을 미리 정해진 횟수만큼, 반복적으로 수행하도록 구성되고,
    상기 반복이 완료되면, 상기 획득된 이미지들이 상기 형광 물질들 각각에 대한 이미지들로 획득되는,
    전자 장치.
  16. 제 13 항에 있어서,
    상기 갱신 함수를 이용하여, 상기 획득된 이미지들로부터 갱신되는 복수의 새로운 이미지들을 획득하는 것을 상기 획득된 이미지들 사이의 상호정보량이 기준값 이하가 될 때까지, 반복적으로 수행하도록 구성되고,
    상기 반복이 완료되면, 상기 획득된 이미지들이 상기 형광 물질들 각각에 대한 이미지들로 획득되는,
    전자 장치.
  17. 제 13 항에 있어서,
    상기 프로세서는,
    하기 [수학식 vi]과 같이 상기 선정된 이미지들을 상기 선정된 이미지들보다 낮은 해상도의 저해상도 이미지들로 각각 처리하고,
    [수학식 vi]
    Figure PCTKR2021018833-appb-img-000036
    여기서, 상기 u1 및 상기 u2는 상기 획득된 이미지들을 나타내고, 상기 v1 및 상기 v2는 상기 저해상도 이미지들을 나타내고, 상기 m은 상기 획득된 이미지들을 상기 저해상도 이미지들로 각각 처리하기 위해 적용되는 팩터를 나타냄
    하기 [수학식 vii]와 같이 정의되는 손실 함수를 이용하여, 하기 [수학식 viii]과 같이 상기 저해상도 이미지들로부터 상기 변수를 계산하고,
    [수학식 vii]
    Figure PCTKR2021018833-appb-img-000037
    [수학식 viii]
    Figure PCTKR2021018833-appb-img-000038
    여기서, 상기
    Figure PCTKR2021018833-appb-img-000039
    는 상기 변수를 나타냄
    하기 [수학식 ix]와 같이 상기 변수를 적용하여, 상기 갱신 함수를 갱신하도록 구성되는,
    [수학식 ix]
    Figure PCTKR2021018833-appb-img-000040
    여기서, 상기 k는 반복 횟수를 나타내고, 상기 γ은 업데이트 비율을 나타내고, 상기 X i,k는 k 번째 반복 후의 i 번째 채널 이미지를 나타냄
    전자 장치.
  18. 제 17 항에 있어서,
    상기 형광 물질들 각각에 대한 이미지들은,
    상기 반복 연산으로 얻은 해에 양수 제약을 걸어,
    하기 [수학식 x]와 같이 획득되는,
    [수학식 x]
    Figure PCTKR2021018833-appb-img-000041
    전자 장치.
  19. 비-일시적인 컴퓨터-판독 가능 저장 매체에 있어서,
    상이한 생체 분자들에 각각 표지되어 있는 복수의 형광 물질들에 대해, 복수의 이미지들을 획득하는 단계; 및
    상기 획득된 이미지들의 모든 순열 조합들을 기반으로 상기 획득된 이미지들 사이에서 공유되는 상호정보량을 동시에 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리하는 단계
    를 포함하는 방법을 실행하기 위한 하나 이상의 프로그램들을 저장하기 위한 비-일시적인 컴퓨터-판독 가능 저장 매체.
  20. 제 19 항에 있어서,
    상기 형광 물질들 각각에 대한 이미지들을 분리하는 단계는,
    상기 모든 순열 조합들 중 하나에 따라, 상기 획득된 이미지들로부터 두 개의 이미지들을 선정하는 단계;
    상기 선정된 이미지들에 대해 계산되는 상호정보량 최소화를 위한 변수를 적용하여, 상기 모든 순열 조합들로 정의되는 매트릭스 구조의 갱신 함수를 갱신하는 단계; 및
    상기 갱신 함수들을 이용하여, 상기 획득된 이미지들로부터 갱신되는 복수의 새로운 이미지들을 획득하는 단계
    를 포함하는,
    비-일시적인 컴퓨터-판독 가능 저장 매체.
PCT/KR2021/018833 2021-01-05 2021-12-13 동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법 및 장치 WO2022149744A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210000688 2021-01-05
KR10-2021-0000688 2021-01-05
KR1020210171431A KR20220099087A (ko) 2021-01-05 2021-12-03 동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법 및 장치
KR10-2021-0171431 2021-12-03

Publications (1)

Publication Number Publication Date
WO2022149744A1 true WO2022149744A1 (ko) 2022-07-14

Family

ID=79185617

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/018833 WO2022149744A1 (ko) 2021-01-05 2021-12-13 동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법 및 장치

Country Status (3)

Country Link
US (1) US20220215517A1 (ko)
EP (1) EP4024329A1 (ko)
WO (1) WO2022149744A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3961194B1 (en) * 2020-08-25 2023-11-08 Korea Advanced Institute of Science and Technology Method and apparatus for multiplexed imaging of biomolecules through iterative unmixing of fluorophore signals

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120057743A1 (en) * 2009-01-09 2012-03-08 Chemimage Corporation System and method for fluorescence guided ingredient specific particle sizing
KR101629576B1 (ko) * 2014-12-10 2016-06-10 한국기초과학지원연구원 다파장 형광 이미지를 획득하는 장치 및 방법
US20160170197A1 (en) * 2014-08-26 2016-06-16 General Electric Company Calibration of microscopy systems
KR101847334B1 (ko) * 2017-02-02 2018-04-10 한국기초과학지원연구원 형광 이미지 획득 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3961194B1 (en) * 2020-08-25 2023-11-08 Korea Advanced Institute of Science and Technology Method and apparatus for multiplexed imaging of biomolecules through iterative unmixing of fluorophore signals

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120057743A1 (en) * 2009-01-09 2012-03-08 Chemimage Corporation System and method for fluorescence guided ingredient specific particle sizing
US20160170197A1 (en) * 2014-08-26 2016-06-16 General Electric Company Calibration of microscopy systems
KR101629576B1 (ko) * 2014-12-10 2016-06-10 한국기초과학지원연구원 다파장 형광 이미지를 획득하는 장치 및 방법
KR101847334B1 (ko) * 2017-02-02 2018-04-10 한국기초과학지원연구원 형광 이미지 획득 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BABAIE-ZADEH MASSOUD, JUTTEN CHRISTIAN: "Mutual Information Minimization: Application to Blind Source Separation ", SIGNAL PROCESSING, ELSEVIER, vol. 85, 1 January 2005 (2005-01-01), pages 975 - 995, XP055949766, DOI: 10.1016/j.sigpro.2004.11.021ï¿¿ *

Also Published As

Publication number Publication date
EP4024329A1 (en) 2022-07-06
US20220215517A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
Edelstein et al. Computer control of microscopes using µManager
WO2022045678A1 (ko) 형광 물질 신호들의 반복적 분리를 통한 분자 다중 이미징 방법 및 장치
WO2022149744A1 (ko) 동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법 및 장치
CN107003245A (zh) 阵列级傅立叶重叠关联成像
US20230257807A1 (en) Efficient nucleic acid testing and gene sequencing method
JP2010134195A (ja) 顕微鏡システム、標本観察方法およびプログラム
CN1877268A (zh) 红外辐射传递标准综合测量系统及其测量方法
CN111256826A (zh) 显示屏色度测量方法、装置及终端设备
Johnson et al. Video fluorometer
US20240027348A1 (en) Information processing apparatus and microscope system
WO2000062549A1 (en) System and method for detecting with high resolution a large, high content field
Ballard et al. Fluorescence in situ hybridization using digital imaging microscopy.
KR102628182B1 (ko) 상호정보량 최소화를 통한 다색 분리 방법 및 장치
KR20220099087A (ko) 동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법 및 장치
Seo et al. PICASSO: Ultra-multiplexed fluorescence imaging of biomolecules through single-round imaging and blind source unmixing
CN109187946B (zh) 一种可折叠胶体金/免疫荧光测试装置及测试方法
WO2018062595A1 (ko) 세포 이미지 스티칭 중 고해상도 구현방법
KR102655200B1 (ko) 반복색분리를 통한 분자 다중 이미징 방법 및 장치
JP2714542B2 (ja) サンプルを滴定するための滴定エミュレーションシステムおよび方法
CN113508290A (zh) 信息处理设备和显微镜系统
WO2020145580A1 (ko) 화학성분 검출 방법 및 장치
WO2020075226A1 (ja) 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
EP3304164B1 (en) Systems and methods for an interchangeable illumination filter set for use in a structured illumination imaging system
WO2019054639A1 (ko) 광 측정 장치, 시스템 및 방법
CN112601950A (zh) 图像处理装置、摄像系统、图像处理装置的工作方法以及图像处理装置的工作程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21917906

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21917906

Country of ref document: EP

Kind code of ref document: A1