WO2023043211A1 - 이미지를 처리하는 장치 및 방법 - Google Patents

이미지를 처리하는 장치 및 방법 Download PDF

Info

Publication number
WO2023043211A1
WO2023043211A1 PCT/KR2022/013762 KR2022013762W WO2023043211A1 WO 2023043211 A1 WO2023043211 A1 WO 2023043211A1 KR 2022013762 W KR2022013762 W KR 2022013762W WO 2023043211 A1 WO2023043211 A1 WO 2023043211A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
biomolecule
unseparated
images
sample
Prior art date
Application number
PCT/KR2022/013762
Other languages
English (en)
French (fr)
Inventor
장재범
윤영규
김현우
남호연
서준영
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220111591A external-priority patent/KR20230040890A/ko
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to CN202280062957.1A priority Critical patent/CN117957435A/zh
Publication of WO2023043211A1 publication Critical patent/WO2023043211A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/44—Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/531—Production of immunochemical test materials
    • G01N33/532—Production of labelled immunochemicals
    • G01N33/533—Production of labelled immunochemicals with fluorescent label
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/58—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances

Definitions

  • This disclosure relates to techniques for processing images.
  • a fluorescence imaging technique for a biological sample is a technique for indirectly observing a biological material inside a sample by labeling biomolecules included in the sample with a fluorescent material and then photographing light emitted from the fluorescent material.
  • the fluorescent material absorbs light, is excited, and then emits light again.
  • light having a longer wavelength than the absorbed light is emitted.
  • the fluorescent material absorbs light in a specific wavelength range (eg, 350 to 400 nm) and emits light in a specific wavelength range (eg, 400 to 600 nm).
  • the degree of excitation of the fluorescent substance for each wavelength is called an excitation spectrum
  • the intensity of light emitted for each wavelength is called an emission spectrum.
  • emission spectra should not overlap as much as possible, and accordingly, there is a limit in that the number of fluorescent substances that can be simultaneously observed is limited.
  • This disclosure provides techniques for processing images.
  • an image processing method may be proposed.
  • the method is an image processing method performed in an electronic device including one or more processors and one or more memories storing instructions to be executed by the one or more processors, wherein a first biomolecule labeled with a first fluorescent substance and an unlabeled biomolecule are stored.
  • acquiring a first non-separation image of a sample including a second biomolecule obtaining a second non-separation image of the sample including the first biomolecule labeled with the first fluorescent substance and the second biomolecule labeled with the second fluorescent substance; and generating a separated image of the second biomolecule based on the first unseparated image and the second unseparated image.
  • the first unseparated image and the second unseparated image may be images captured by detecting light of the same specific wavelength range from the sample.
  • the first unseparated image and the second unseparated image are images obtained based on the same emission filter
  • the emission filter may be a filter that passes light of a specific wavelength range.
  • the first fluorescent material and the second fluorescent material may be the same fluorescent material.
  • the first fluorescent material and the second fluorescent material may include a first wavelength value at which an intensity of an emission signal is maximized within an emission spectrum of the first fluorescent material; and a second wavelength value at which the intensity of an emission signal is maximized within the emission spectrum of the second fluorescent material may be determined to satisfy a predetermined condition.
  • the predetermined condition may be a condition satisfied when a difference between the first wavelength value and the second wavelength value is equal to or less than a predetermined threshold value.
  • the predetermined condition may be a condition that is satisfied when a ratio of a smaller wavelength value to a larger wavelength value of the first wavelength value and the second wavelength value is greater than or equal to a predetermined threshold ratio.
  • the second unseparated image is obtained by capturing the first unseparated image of the sample, labeling the second biomolecule included in the sample with the second fluorescent material, and It can be obtained by photographing.
  • the generating of the separated image may include calculating the first unseparated image and the second unseparated image using an unmixing matrix.
  • a value of at least one element included in the unmixing matrix may be determined based on a trained artificial neural network model.
  • the sample including the first biomolecule labeled with the first fluorescent material, the second biomolecule labeled with the second fluorescent material, and the third biomolecule labeled with the third fluorescent material may further include obtaining a third unseparated image for the third biomolecule, and the generating may include generating a separate image for the third biomolecule based on the third unseparated image.
  • the first unseparated image is an image obtained by photographing a sample including the unlabeled second biomolecule and the unlabeled third biomolecule
  • the second unseparated image is the unlabeled third biomolecule. It may be an image obtained by photographing a sample containing molecules.
  • the second unseparated image is obtained by capturing the first unseparated image of the sample, labeling the second biomolecule included in the sample with the second fluorescent material
  • the third unseparated image is obtained by capturing the second unseparated image of the sample, labeling the third biomolecule included in the sample with the third fluorescent substance, and It can be obtained by photographing the sample.
  • an electronic device for image processing may include one or more processors; and one or more memories storing instructions to be executed by the one or more processors, wherein the one or more processors include a sample including a first biomolecule labeled with a first fluorescent substance and a second biomolecule that is not labeled ( A first non-separation image of a sample) is acquired, and a second non-separation image of the sample including the first biomolecule labeled with the first fluorescent substance and the second biomolecule labeled with the second fluorescent substance is obtained. An image may be acquired, and a separated image of the second biomolecule may be generated based on the first unseparated image and the second unseparated image.
  • the first unseparated image and the second unseparated image may be images captured by detecting light of the same specific wavelength range for the sample.
  • the first unseparated image and the second unseparated image are images obtained based on the same emission filter
  • the emission filter may be a filter that passes light of a specific wavelength range.
  • the first fluorescent material and the second fluorescent material may be the same fluorescent material.
  • the first fluorescent material and the second fluorescent material may include a first wavelength value at which an intensity of an emission signal is maximized within an emission spectrum of the first fluorescent material; and a second wavelength value at which the intensity of an emission signal is maximized within the emission spectrum of the second fluorescent material may be determined to satisfy a predetermined condition.
  • the second unseparated image is obtained by capturing the first unseparated image of the sample, labeling the second biomolecule included in the sample with the second fluorescent material, and It can be obtained by photographing.
  • the electronic device further includes a photographing unit, and the one or more processors detect the sample including the first biomolecule labeled with the first fluorescent substance and the second biomolecule that is not labeled.
  • the first unseparated image is obtained by photographing through the photographing unit, and the sample including the first biomolecule labeled with the first fluorescent material and the second biomolecule labeled with the second fluorescent material is captured.
  • the second non-separated image may be acquired by photographing through a photographing unit.
  • the one or more processors may generate the separated image based on a dependency evaluation value calculated between the first unseparated image and the second unseparated image.
  • the dependency evaluation value may be at least one of a mutual information amount, a Kullback-Leibler divergence value, a replacement entropy value, or a Rand Index.
  • the one or more processors may generate the separated image based on an output value calculated by a learned artificial neural network based on the first unseparated image and the second unseparated image.
  • a non-transitory computer readable recording medium recording instructions for image processing may be proposed.
  • a first non-separation image of a sample including one biomolecule and a second unlabeled biomolecule is acquired, and the first biomolecule labeled with the first fluorescent substance and the second fluorescent substance labeled acquire a second unseparated image of the sample including the second biomolecule, and generate a separated image of the second biomolecule based on the first unseparated image and the second unseparated image; can do.
  • the image processing method according to the present disclosure does not require a process of inactivating or removing a fluorescent substance required by conventional methods, and thus can reduce the time required for image processing.
  • FIG. 1 is a diagram illustrating a system including a server, a user terminal, and a communication network according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram of a server according to one embodiment of the subject matter disclosed herein.
  • FIG. 3 is a block diagram of a user terminal according to an embodiment of the disclosure in this specification.
  • FIG. 4 is an exemplary view of characteristics of a fluorescent substance used to label a biomolecule in a conventional image processing method.
  • FIG. 5 is a conceptual diagram conceptually illustrating a process of generating a plurality of separated images from a plurality of unseparated images according to an embodiment of the present disclosure.
  • FIG. 6 is a flowchart illustrating an operation of a server generating separated images for each of a plurality of biomolecules using an unmixing matrix from a plurality of unseparated images of a sample according to an embodiment of the present disclosure.
  • FIG. 7 is an exemplary diagram illustrating histograms determined by different methods from multi-channel images according to an embodiment of the present disclosure.
  • FIG. 8 is a flowchart illustrating operations of a server for determining a histogram based on values of pixels at the same location included in each of a plurality of short-channel images according to an embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating operations of a server that determines a histogram based on values of pixels at different positions included in each of a plurality of short-channel images according to an embodiment of the present disclosure.
  • FIG. 10 is an exemplary diagram illustrating histograms determined by different methods from multi-channel images according to another embodiment of the present disclosure.
  • FIG. 11 is a flowchart illustrating an operation of a server for updating parameters of an unmixing matrix according to an embodiment of the present disclosure.
  • FIG. 12 is a conceptual diagram conceptually illustrating a process of evaluating dependencies between a plurality of separated images based on an artificial neural network model according to an embodiment of the present disclosure.
  • FIG. 13 is a conceptual diagram conceptually illustrating a process of evaluating dependencies between a plurality of separated images based on an artificial neural network model according to another embodiment of the present disclosure.
  • FIG. 14 is a conceptual diagram illustrating a process of sequentially acquiring a plurality of images according to an embodiment of the present disclosure.
  • 15 is a conceptual diagram exemplarily illustrating a method of obtaining a separated image of at least one biomolecule from two successive unseparated images among a plurality of sequentially acquired unseparated images according to an embodiment of the present disclosure.
  • 16 is a conceptual diagram exemplarily illustrating a method of obtaining separated images of at least two biomolecules from three successive unseparated images among a plurality of sequentially obtained unseparated images according to an embodiment of the present disclosure.
  • 17 is a flowchart illustrating operations of a server generating a separated image of at least one biomolecule based on two consecutive unseparated images according to an embodiment of the present disclosure.
  • 18 is a diagram showing emission spectra of a plurality of fluorescent materials and wavelength bands passed by a specific emission filter.
  • FIG. 19 is a diagram showing emission spectra of a plurality of fluorescent materials and wavelength values at which signal intensity is maximized in each emission spectrum.
  • first, second, or first refer to plural objects of the same kind, unless the context dictates otherwise, distinguishing one object from another. It is used to do so, and does not limit the order or importance between the objects.
  • a plurality of fluorescent materials according to the present disclosure may be distinguished from each other by being expressed as “first fluorescent material” and “second fluorescent material”, respectively.
  • a plurality of input images according to the present disclosure may be distinguished from each other by being expressed as “first input image” and “second input image”, respectively.
  • terms used in the present disclosure such as “biological molecule”, “separated image”, and “probability distribution”, may be distinguished from each other by expressions such as “first” and “second”.
  • Expressions such as “A, B, and C,” “A, B, or C,” “at least one of A, B, and C” or “at least one of A, B, or C” as used herein may mean each listed item or all possible combinations of the listed items.
  • “at least one of A or B” can refer to (1) at least one A, (2) at least one B, and (3) both at least one A and at least one B.
  • unit used in this document may mean software or a hardware component such as a Field-Programmable Gate Array (FPGA) or Application Specific Integrated Circuit (ASIC). However, “unit” is not limited to hardware and software. A “unit” may be configured to be stored in an addressable storage medium or configured to execute one or more processors. In one embodiment, “unit” refers to components such as software components, object-oriented software components, class components and task components, processors, functions, properties, procedures, subroutines, programs. It can include segments of code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables.
  • FPGA Field-Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the expression "based on” is used to describe one or more factors that affect the act or action of a decision, judgment, or action described in the phrase or sentence in which the expression is included, and the expression does not preclude additional factors that may influence the conduct or operation of that decision, judgment.
  • a certain component eg, a first component
  • another component eg, a second component
  • a processor configured to perform a specific operation is a general purpose processor capable of performing the specific operation by executing software. It may mean a special purpose computer structured through programming to perform a specific operation.
  • artificial intelligence means a technology that imitates human learning ability, reasoning ability, and perception ability, and implements them with a computer, and may include concepts of machine learning and symbolic logic.
  • Machine learning may be an algorithm technology that classifies or learns features of input data by itself.
  • Artificial intelligence technology is a machine learning algorithm that analyzes input data, learns the result of the analysis, and can make judgments or predictions based on the result of the learning.
  • technologies that use machine learning algorithms to mimic the cognitive and judgmental functions of the human brain can also be understood as the category of artificial intelligence. For example, technical fields of linguistic understanding, visual understanding, inference/prediction, knowledge expression, and motion control may be included.
  • machine learning may refer to a process of training a neural network model using experience of processing data.
  • computer software could mean improving its own data processing capabilities.
  • a neural network model is constructed by modeling a correlation between data, and the correlation may be expressed by a plurality of parameters.
  • An artificial neural network model derives a correlation between data by extracting and analyzing features from given data, and optimizing the parameters of a neural network model by repeating this process can be referred to as machine learning.
  • an artificial neural network model may learn a mapping (correlation) between an input and an output with respect to data given as an input/output pair.
  • the artificial neural network model may learn the relationship by deriving a regularity between given data.
  • an artificial neural network may be designed to implement a human brain structure on a computer, simulate neurons of a human neural network, and have a plurality of weights. It may include network nodes. A plurality of network nodes may have a connection relationship between them by simulating synaptic activities of neurons that transmit and receive signals through synapses. In an artificial neural network, a plurality of network nodes may transmit and receive data according to a convolution connection relationship while being located in layers of different depths.
  • the artificial neural network may be, for example, an artificial neural network model, a convolution neural network model, and the like.
  • FIG. 1 is a diagram illustrating a system including a server 100, a user terminal 200, and a communication network 300 according to an embodiment of the present disclosure.
  • the server 100 and the user terminal 200 may exchange information with each other through the communication network 300 .
  • the server 100 may be an electronic device that performs an image processing operation according to the present disclosure.
  • the server 100 is an electronic device that transmits information or image processing results to the user terminal 200 connected by wire or wirelessly, and may be, for example, an application server, a proxy server, or a cloud server.
  • the user terminal 200 may be a terminal of a user who wants to receive an image processing result.
  • the user terminal 200 includes, for example, a smart phone, a tablet computer, a personal computer (PC), a mobile phone, a personal digital assistant (PDA), an audio player, and a wearable device.
  • the communication network 300 may include both wired and wireless communication networks.
  • the communication network 300 may allow data to be exchanged between the server 100 and the user terminal 200 .
  • the wired communication network may include, for example, a communication network based on a method such as Universal Serial Bus (USB), High Definition Multimedia Interface (HDMI), Recommended Standard-232 (RS-232), or Plain Old Telephone Service (POTS). .
  • USB Universal Serial Bus
  • HDMI High Definition Multimedia Interface
  • RS-232 Recommended Standard-232
  • POTS Plain Old Telephone Service
  • the wireless communication network includes, for example, eMBB (enhanced mobile broadband), URLLC (Ultra Reliable Low-Latency Communications), MMTC (Massive Machine Type Communications), LTE (Long-Term Evolution), LTE-A (LTE Advance), NR ( New Radio), UMTS (Universal Mobile Telecommunications System), GSM (Global System for Mobile communications), CDMA (Code Division Multiple Access), WCDMA (Wideband CDMA), WiBro (Wireless Broadband), WiFi (Wireless Fidelity), Bluetooth (Bluetooth) ), Near Field Communication (NFC), Global Positioning System (GPS), or Global Navigation Satellite System (GNSS).
  • the communication network 300 of the present specification is not limited to the above-described examples, and may include various types of communication networks that allow data to be exchanged between a plurality of subjects or devices without limitation.
  • the term “device” is a term for referring to a device that is a subject of description
  • the term “external device” is a term for a device that is a subject of description. From a point of view, each can be used as a term for referring to an external device.
  • the server 100 when the server 100 is described as a "device”, the user terminal 200 may be referred to as an "external device” from the viewpoint of the server 100 .
  • the server 100 may be referred to as an "external device” from the viewpoint of the user terminal 200 .
  • each of the server 100 and the user terminal 200 may be referred to as a "device” and an “external device” or may be referred to as an “external device” and an “device” respectively, depending on the viewpoint of the operating subject.
  • the server 100 may include one or more processors 110, a communication interface 120, or a memory 130 as components. In some embodiments, at least one of these elements of the server 100 may be omitted, or other elements may be added to the server 100. In some embodiments, additionally or alternatively, some components may be integrated and implemented, or implemented as a single or multiple entities. At least some of the components inside or outside the server 100 are connected to each other through a bus, GPIO (General Purpose Input/Output), SPI (Serial Peripheral Interface), MIPI (Mobile Industry Processor Interface), etc. Or you can give or receive a signal.
  • GPIO General Purpose Input/Output
  • SPI Serial Peripheral Interface
  • MIPI Mobile Industry Processor Interface
  • processor 110 may be referred to as processor 110 .
  • the term processor 110 may refer to a set of one or more processors, unless the context clearly dictates otherwise.
  • the processor 110 may control at least one component of the server 100 connected to the processor 110 by driving software (eg, instructions, programs, etc.).
  • the processor 110 may perform operations such as various calculations, processing, data generation or processing.
  • the processor 110 may load data or the like from the memory 130 or store data in the memory 130 .
  • the communication interface 120 may perform wireless or wired communication between the server 100 and another device (eg, the user terminal 200 or another server).
  • the communication interface 120 is eMBB, URLLC, MMTC, LTE, LTE-A, NR, UMTS, GSM, CDMA, WCDMA, WiBro, WiFi, Bluetooth, NFC, wireless communication according to a method such as GPS or GNSS can be performed.
  • the communication interface 120 is wired according to a method such as Universal Serial Bus (USB), High Definition Multimedia Interface (HDMI), Recommended Standard-232 (RS-232), or Plain Old Telephone Service (POTS). communication can be performed.
  • USB Universal Serial Bus
  • HDMI High Definition Multimedia Interface
  • RS-232 Recommended Standard-232
  • POTS Plain Old Telephone Service
  • the memory 130 may store various data. Data stored in the memory 130 is data obtained, processed, or used by at least one component of the server 100 and may include software (eg, commands, programs, etc.). Memory 130 may include volatile or non-volatile memory. The term memory 130 may refer to a collection of one or more memories, unless the context clearly dictates otherwise.
  • the expression “a set of instructions stored in the memory 130” or “a program stored in the memory 130” referred to in this specification refers to an operating system, application, or application for controlling resources of the server 100. It can be used to refer to middleware that provides various functions to applications so that resources of the server 100 can be utilized.
  • the memory 130 may store instructions performed by the processor 110 and corresponding to the specific operation.
  • the server 100 may transmit data according to an operation result of the processor 110, data received through the communication interface 120, or data stored in the memory 130 to an external device.
  • the external device may be a device for displaying, displaying, or outputting received data.
  • the server 100 may further include an input unit 140 .
  • the input unit 140 may be a component that transfers data received from the outside to at least one component included in the server 100 .
  • the input unit 140 may include at least one of a mouse, keyboard, or touch pad.
  • the server 100 may further include an output unit 150 .
  • the output unit 150 may display (output) or transmit (transmit) information processed by the server 100 to the outside.
  • the output unit 150 may visually display information processed by the server 100 .
  • the output unit 150 may display User Interface (UI) information or Graphic User Interface (GUI) information.
  • the output unit 150 includes a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT-LCD), an organic light-emitting diode (OLED), At least one of a flexible display, a 3D display, and an E-ink display may be included.
  • the output unit 150 may audibly display information processed by the server 100 .
  • the output unit 150 may display audio data conforming to an arbitrary audio file format (eg, MP3, FLAC, WAV, etc.) through a sound device.
  • the output unit 150 may include at least one of a speaker, a headset, and headphones.
  • the output unit 150 may transmit information processed by the server 100 to an external output device.
  • the output unit 150 may transmit or transmit information processed by the server 100 to an external output device using the communication interface 120 .
  • the output unit 150 may transmit or broadcast the information processed by the server 100 to an external output device using a separate communication interface for output.
  • the server 100 may further include a photographing unit (not shown).
  • the photographing unit may be, for example, a camera or a camera equipped with a microscope device.
  • the processor 110 may capture an image of an object (eg, a sample) by controlling the photographing unit, and obtain or store the photographed image in the memory 130 .
  • the server 100 may control the capture unit to capture an image of an object and display the captured image on the output unit 150.
  • the server 100 may obtain a captured image from an external photographing device.
  • the user terminal 200 may include one or more processors 210, a communication interface 220, or a memory 230 as components.
  • the user terminal 200 may further include at least one of the input unit 240 and the output unit 250 .
  • the processor 210 may control at least one component of the user terminal 200 connected to the processor 110 by driving software (eg, instructions, programs, etc.). Also, the processor 210 may perform operations such as various calculations, processing, data generation or processing. Also, the processor 210 may load data or the like from the memory 230 or store data in the memory 230 .
  • driving software eg, instructions, programs, etc.
  • the processor 210 may perform operations such as various calculations, processing, data generation or processing.
  • the processor 210 may load data or the like from the memory 230 or store data in the memory 230 .
  • the communication interface 220 may perform wireless or wired communication between the user terminal 200 and another device (eg, the server 100 or another user terminal).
  • the communication interface 220 is eMBB, URLLC, MMTC, LTE, LTE-A, NR, UMTS, GSM, CDMA, WCDMA, WiBro, WiFi, Bluetooth, NFC, wireless communication according to a method such as GPS or GNSS can be performed.
  • the communication interface 220 may perform wired communication according to a method such as USB, HDMI, RS-232, or POTS.
  • the memory 230 may store various data. Data stored in the memory 230 is data acquired, processed, or used by at least one component of the user terminal 200, and may include software (eg, commands, programs, etc.). . Memory 230 may include volatile or non-volatile memory. The term memory 230 may refer to a collection of one or more memories, unless the context clearly dictates otherwise.
  • the expression "a set of instructions stored in the memory 230" or "a program stored in the memory 230" referred to in this specification refers to an operating system, an application, or an operating system for controlling resources of the user terminal 200. It may be used to refer to middleware that provides various functions to an application so that the application can utilize the resources of the user terminal 200 .
  • the memory 230 may store instructions performed by the processor 210 and corresponding to the specific operation.
  • the user terminal 200 may further include an input unit 240 .
  • the input unit 240 may be a component that transfers data received from the outside to at least one component included in the user terminal 200 .
  • the input unit 240 may include at least one of a mouse, keyboard, or touch pad.
  • the user terminal 200 may further include an output unit 250 .
  • the output unit 250 may display (output) or transmit (transmit) information processed by the user terminal 200 to the outside.
  • the output unit 250 may visually display information processed by the user terminal 200 .
  • the output unit 250 may display User Interface (UI) information or Graphic User Interface (GUI) information.
  • the output unit 250 includes a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT-LCD), an organic light emitting diode (OLED), a flexible display, a 3D display, and an electronic ink display. (E-ink Display).
  • the output unit 250 may audibly display information processed by the user terminal 200 .
  • the output unit 250 may display audio data conforming to an arbitrary audio file format (eg, MP3, FLAC, WAV, etc.) through a sound device.
  • the output unit 250 may include at least one of a speaker, a headset, and headphones.
  • the output unit 250 may transmit information processed by the user terminal 200 to an external output device.
  • the output unit 250 may transmit or broadcast information processed by the user terminal 200 to an external output device using the communication interface 220 .
  • the output unit 250 may transmit or emit information processed by the user terminal 200 to an external output device using a separate communication interface for output.
  • the user terminal 200 may further include a photographing unit (not shown).
  • the photographing unit may be, for example, a camera or a camera equipped with a microscope device.
  • the processor 210 may capture an image of an object (eg, a sample) by controlling the photographing unit, obtain the captured image, or store the captured image in the memory 230 .
  • the user terminal 200 may display the captured image on the output unit 250 .
  • the user terminal 200 may transmit the captured image to the server 100 . Also, the user terminal 200 may acquire a captured image from an external photographing device.
  • each operation is performed by the server 100 .
  • the method according to the present disclosure may be performed by the user terminal 200, and some of the operations included in the method may be performed by the user terminal 200 and the rest may be performed by the server 100.
  • a biological sample may be simply referred to as a "sample".
  • the image of each biomolecule included in the sample is obtained by, for example, irradiating the fluorescent material with light of a specific wavelength to which the fluorescent material reacts, and as a result, the light emitted from the excited fluorescent material is converted into a corresponding emission. It can be obtained by filtering with a filter and photographing the light passed through the emission filter.
  • an “emission filter” may be a filter that passes light of a specific wavelength range.
  • a first graph 401 of emission spectra of light emitted from fluorescent materials exemplarily shows emission spectra of a plurality of fluorescent materials (Alexa 405, Alexa 488, Alexa 546, and Alexa 647).
  • the fluorescent material “Alexa 405” may be a fluorescent material that emits light having a wavelength between approximately 400 nm and 500 nm after absorbing light of a specific wavelength range.
  • An image of a biomolecule stained with the fluorescent material “Alexa 405” filters light emitted from the fluorescent material “Alexa 405” with a first emission filter and captures light in a wavelength band 410 through which the first emission filter passes. can be obtained by doing
  • the wavelength band 410 through which the first emission filter passes may be, for example, 470 nm or more and 520 nm or less.
  • the fluorescent material “Alexa 488” may be a fluorescent material that emits light having a wavelength between approximately 500 nm and 600 nm after absorbing light of a specific wavelength range.
  • the image of the biomolecule dyed by the fluorescent material "Alexa 488” filters the light emitted from the fluorescent material "Alexa 488” with the second emission filter, and the light of the wavelength band 430 through which the second emission filter passes. It can be obtained by photographing.
  • the wavelength band 430 through which the second emission filter passes may be, for example, 500 nm or more and 560 nm or less.
  • the fluorescent material “Alexa 546” may be a fluorescent material that emits light having a wavelength between approximately 550 nm and 650 nm after absorbing light of a specific wavelength range. At this time, the image of the biomolecule dyed by the fluorescent material "Alexa 546” filters the light emitted from the fluorescent material "Alexa 546" with the third emission filter and the light of the wavelength band 450 through which the third emission filter passes. It can be obtained by photographing.
  • the wavelength band 450 through which the third emission filter passes may be, for example, 565 nm or more and 590 nm or less.
  • the fluorescent material “Alexa 647” may be a fluorescent material that emits light having a wavelength between approximately 650 nm and 750 nm after absorbing light of a specific wavelength range.
  • the image of the biomolecule dyed by the fluorescent material "Alexa 647” filters the light emitted from the fluorescent material "Alexa 647” with the fourth emission filter, and the light of the wavelength band 470 passed through the fourth emission filter. It can be obtained by photographing.
  • the wavelength band 470 through which the fourth emission filter passes may be, for example, 660 nm or more and 740 nm or less.
  • Wavelength bands of light absorbed by each fluorescent material shown in the first graph 401 for excitation may be different from each other.
  • the specific numerical range of the emission spectrum of each fluorescent material described above with reference to the first graph 401 is only an exemplary description for description and does not limit the present disclosure.
  • a sample includes a plurality of biomolecules, and fluorescent materials each labeling the plurality of biomolecules (ie, fluorescent materials combined with each biomolecule) are mutually connected with light of a specific wavelength (eg, 350 nm or more and 400 nm or less).
  • a specific wavelength eg, 350 nm or more and 400 nm or less.
  • the fluorescent material “Alexa 546” emits light having a wavelength between approximately 550 nm and 650 nm
  • the emission spectra of the two fluorescent materials may include a range of 575 nm or more and 650 nm or less in common with each other.
  • the wavelength range 450 through which the third emission filter passes is approximately 565 nm to 590 nm. At least some of the biomolecules labeled with the fluorescent material "CF 594" may be included in the captured image.
  • the photographing device captures an image of a biomolecule labeled by the fluorescent material “Alexa 546” by acquiring light of a wavelength band 450 through which the third emission filter passes among light emitted from the fluorescent material “Alexa 546”. In the process, the photographing device may acquire at least a part of a signal of light emitted from the fluorescent material “CF 594”.
  • the image of the biomolecule labeled by the fluorescent material “Alexa 546” may include at least some other biomolecules labeled by the fluorescent material “CF 594”.
  • Reference numeral 451 in FIG. 4 indicates another fluorescent substance (eg, "CF 594") obtained when the imaging device captures an image of a biomolecule labeled with the fluorescent substance "Alexa 546" using the third emission filter. indicate the light signal.
  • the captured image may contain at least some biomolecules labeled with the fluorescent substance “Alexa 546”. That is, a process of taking an image of a biomolecule labeled by the fluorescent material “CF 594” by the photographing device acquiring light of a wavelength band 490 through which the fifth emission filter passes among light emitted from the fluorescent material “CF 594” In , at least a part of a signal of light emitted from the fluorescent material “Alexa 546” can be obtained.
  • the image of the biomolecule labeled by the fluorescent material “CF 594” may include at least some other biomolecules labeled by the fluorescent material “Alexa 546”.
  • Reference numeral 491 in FIG. 5 denotes another fluorescent substance (eg, "Alexa 546") obtained when the photographing device captures an image of a biomolecule labeled by the fluorescent substance "CF 594" using the fifth emission filter. directs the light signal of
  • FIG. 5 is a conceptual diagram conceptually illustrating a process of generating a plurality of separated images from a plurality of unseparated images according to an embodiment of the present disclosure.
  • the non-separated image 510 may include one or more non-separated images.
  • each unseparated image is a first unseparated image 510-1 and a second unseparated image 510-1. 2), ..., the nth unseparated image 510-n, etc. (n is a natural number of 2 or more).
  • the non-segregated image 510 may be an image obtained by photographing the sample by the server 100 after biomolecules included in the sample are labeled with a fluorescent material.
  • a fluorescent material that is, the fluorescent material is physically or chemically bound to the biomolecule
  • the stained biological sample is irradiated with light
  • the fluorescence contained in the biological sample A material emits light of a specific wavelength range after being excited by absorbing light of a specific wavelength range.
  • a non-separation image 510 of the biological sample may be obtained by photographing light emitted from the fluorescent material.
  • the unseparated image 510 is an image to be subjected to the image processing method according to the present disclosure, and may be distinguished from the “separated image 530” generated according to the image processing method according to the present disclosure. That is, the unseparated image 510 is an image to which the image processing method according to the present disclosure has not yet been performed, and is a biomolecule other than the target biomolecule (for example, a biomolecule labeled with another fluorescent substance having a similar emission spectrum). Alternatively, it may be an image in which a biomolecule stained in a previous staining round, etc.) is additionally displayed. In this disclosure, the term "unseparated image” may be used interchangeably with "input image”.
  • the split image 530 may include one or more split images.
  • each split image when the split image 530 includes two or more split images, each split image includes a first split image 530-1, a second split image 530-2, .. ., the n-th separated image 530-n, etc. (n is a natural number equal to or greater than 2).
  • the separated image 530 may be an image obtained as a result of performing the image processing method of the present disclosure on the non-separated image 510 .
  • the separation image 530 may be an image displaying a target biomolecule.
  • “separate image of a specific biomolecule” may refer to an image in which only the corresponding biomolecule is expressed.
  • the separation image of “A” biomolecule may be an image representing the shape, size, form, or color of “A” biomolecule included in a sample.
  • the separated image 530 may be generated to correspond to each biomolecule.
  • Each image may be a single-channel image having one channel.
  • a single-channel image may mean an image having a single value (eg, an integer of 0 or more and 255 or less) for each pixel.
  • a pixel value of each pixel of a non-separated image corresponding to a single-channel image may be a value indicating the intensity of light emitted from a fluorescent material when a photographing unit captures a non-separated image by acquiring light.
  • a pixel value of each pixel of the split image corresponding to the single-channel image may be a value indicating the intensity of light each pixel has to represent an image of a specific biomolecule as a result of performing the image processing method according to the present disclosure.
  • a plurality of unseparated images 510-1, 510-2, ..., 510-n or a plurality of separated images 530-1, 530-2, ..., 530-n When expressed as being included in a multi-channel image, each channel of the multi-channel image includes a plurality of non-separated images 510-1, 510-2, ..., 510-n or a plurality of separated images 530-n.
  • 1, 530-2, ..., 530-n may correspond to each.
  • each channel of the multi-channel unseparated image is assigned to a plurality of unseparated images. It may correspond to each non-separated image included.
  • a plurality of unseparated images or a plurality of separated images obtained individually according to the present disclosure are displayed as multi-channel unseparated images or multi-channel separated images by corresponding to one channel, a plurality of unseparated images or A plurality of separate images may be simultaneously displayed on one multi-channel image.
  • three unseparated images are displayed as an RGB image having three channels by corresponding each of a red channel, a green channel, and a blue channel, the three unseparated images can be simultaneously displayed on the RGB image.
  • the image processing method of the present disclosure may generate the separated image 530 from the unseparated image 510 .
  • the server 100 may configure the plurality of non-separated images 510 based on at least one parameter for separating the plurality of non-separated images 510-1, 510-2, ..., 510-n. -1, 510-2, ..., 510-n may be separated to generate a plurality of separated images 530-1, 530-2, ..., 530-n.
  • the plurality of unseparated images includes two unseparated images for explanation, the two separated images generated from the plurality of unseparated images based on at least one parameter are expressed as Equation 1 below.
  • Equation 1 Y 1 and Y 2 represent non-separated images, ⁇ 12 and ⁇ 21 represent parameters required to generate a separated image, and X 1 and X 2 represent separated images.
  • ⁇ 12 and ⁇ 21 may be parameters for determining the weight (or contribution ratio) of each non-separated image.
  • the processor 110 may perform weighted summing (or linear overlapping) of non-separated images based on at least one parameter ( ⁇ 12 or ⁇ 21 ) and generate separated images accordingly.
  • the separated image X 1 is generated as a result of linearly superimposing Y 1 of 1 times and Y 2 of ⁇ 12 times, and the separated image X 2 is formed by linearly overlapping Y 1 of 1 times and Y 2 of ⁇ 21 times and 1 It can be created as a result of a linear superimposition of the ship's Y 2 .
  • an operation of separating a plurality of unseparated images based on at least one parameter may also be expressed based on a matrix.
  • a matrix may be referred to as an "unmixing matrix" in the present disclosure, and may include at least one element for generating a plurality of separated images for each biomolecule from a plurality of unseparated images.
  • the unmixing matrix may include at least one element that determines a linear overlapping ratio between a plurality of non-segregated images.
  • the server 100 determines a predetermined constant from each of the plurality of non-separated images 510-1, 510-2, ..., 510-n (also referred to as a "constant offset"). ) is subtracted, and a plurality of separated images 530-1, 530-2, ..., 530-n are generated by weighting a plurality of unseparated images from which each pixel value is subtracted by a predetermined constant.
  • ⁇ b1 and ⁇ b2 denote constant offsets corresponding to unseparated images Y 1 and Y 2 , respectively.
  • the server 100 After subtracting the constant offset from each pixel value included in the unseparated image, the server 100 obtains each separated image based on the result of the weighted sum of (Y 1 - ⁇ b1 ) and (Y 2 - ⁇ b2 ). can create
  • the plurality of unseparated images include two unseparated images, but this does not limit the present disclosure, and the plurality of unseparated images may include three or more unseparated images. there is.
  • FIG. 6 is a flowchart illustrating operations of the server 100 generating separated images for each of a plurality of biomolecules using an unmixing matrix from a plurality of unseparated images of a sample according to an embodiment of the present disclosure.
  • the server 100 may acquire a plurality of non-segregated images of a sample including a plurality of biomolecules (S610).
  • the processor 110 may acquire a plurality of non-separated images based on an operation in which a user of the server 100 inputs a plurality of non-separated images through the input unit 140 .
  • the processor 110 may capture an image of the sample through a photographing unit (not shown) of the server 100 and obtain a plurality of unseparated images accordingly.
  • the processor 110 may acquire a plurality of non-separated images from an external device or the user terminal 200 through the communication interface 120 .
  • a plurality of non-separated images (input images) may be expressed as a matrix as in Equation 4, for example.
  • Equation 4 Y represents a matrix of a plurality of unseparated images (ie, a plurality of input images).
  • the plurality of input images may be a plurality of unseparated images obtained as a result of photographing and dyeing the sample n times during the dyeing process of the sample.
  • (i th input img) j represents the value of the j-th pixel of the i-th input image.
  • the size of a row of the matrix may be the same as the number of input images. For example, when the number of the plurality of input images is n, the size of a row of the matrix Y may be n.
  • the size of the columns of the matrix may be the same as the number of pixels included in each input image.
  • the input image is a two-dimensional image and has a resolution of 1024 (the number of pixels in the horizontal direction) x 1024 (the number of pixels in the vertical direction)
  • the size of a column of the matrix Y may be 1048576. That is, if the size of the columns of the matrix Y is n and the size of the rows is m (that is, if it is an nxm matrix), the matrix Y is about n input images each of which includes m pixels. It can be interpreted as being a matrix.
  • the server 100 may generate a plurality of separated images corresponding to each of a plurality of biomolecules from a plurality of unseparated images by using the unmixing matrix (S620).
  • the unmixing matrix according to the present disclosure is a rectangular matrix, and may be a square matrix having the same size of rows and columns or a rectangular matrix having different sizes of rows and columns.
  • the unmixing matrix may be expressed as Equation 5 below, for example.
  • ⁇ ij represents the value of an element (or parameter) of row i and column j of the unmixing matrix.
  • the size of a column of the unmixing matrix U may be the same as the number of non-separated images that are subject to matrix operation.
  • the size of a column of an unmixing matrix for n unseparated images may be n, similar to the number of unseparated images.
  • the size (ie, k) of a row of the unmixing matrix U may be the same as or different from the size n of a column of the unmixing matrix U.
  • the size (ie, k) of a row of the unmixing matrix U may be smaller than or equal to the size n of a column of the unmixing matrix U.
  • the processor 110 may generate a plurality of separated images by calculating a plurality of non-separated images using an unmixing matrix.
  • a plurality of separated images generated based on the unseparated image according to Equation 4 and the unmixing matrix according to Equation 5 may be expressed as Equation 6 below.
  • Equation 6 X represents a matrix obtained as a result of matrix multiplication of the unmixing matrix U and the matrix Y for the plurality of unseparated images.
  • the size of a row of the matrix X for the plurality of separated images may represent the number of generated separated images.
  • the size of a column of the matrix X for the plurality of divided images may indicate the number of pixels included in each divided image.
  • Each separate image may be an image of a corresponding specific biomolecule.
  • (i th unmixed img) j represents the value of the j-th pixel of the i-th split image.
  • a first unmixed image represents an image of biomolecule “A” included in a sample
  • an n th unmixed image represents an image of biomolecule “B” included in a sample. image can be displayed.
  • the processor 110 obtains a plurality of unseparated images and performs a matrix operation on the plurality of unseparated images using an unmixing matrix to obtain a plurality of separated images corresponding to each of a plurality of biomolecules.
  • the unmixing matrix may be a square matrix having the same size of rows and columns.
  • an unmixing matrix that is a square matrix can be expressed as Equation 7 below.
  • the unmixing matrix U may be a square matrix in which the sizes of rows and columns are equal to n (n is a natural number greater than or equal to 1).
  • the processor 110 may obtain n separated images by performing a matrix operation on n unseparated images based on the unmixing matrix U.
  • the first image 710 may be, for example, a multi-channel image including a plurality of non-segregated images. Each channel of the first image 710 may correspond to each of a plurality of non-segregated images.
  • the first image 710 is described as a multi-channel image having two channels, but this is only an assumption for convenience of description and does not limit the present disclosure.
  • the biomolecule “A1” included in the sample is stained with the fluorescent substance “A2” and the fluorescent substance “A2” is stained.
  • the second image (or the second channel of the first image) included in the first image 710 stains the biomolecule "B1" included in the sample with the fluorescent substance "B2", and the fluorescent substance "B2" It is an image (or channel) that captures the light emitted from the sample, or the biomolecules “A1” and “B1” included in the sample are stained with fluorescent substances “A2” and “B2”, respectively, and the fluorescent substances “A2” and the fluorescent substance It may be an image (or channel) in which all light emitted from “B2” is captured.
  • the processor 110 may determine two or more histograms according to different methods based on a multi-channel image including a plurality of short-channel images. For example, the processor 110 determines one histogram based on values of pixels at the same position within a plurality of short-channel images, and also determines pixel values at different positions within the plurality of short-channel images. Based on this, another histogram can be determined. For example, as shown in FIG. 7 , the 1-1 histogram 730 and the 1-2 histogram 750 may be histograms determined in different ways with respect to the first image 710 , respectively.
  • the 1-1 histogram 730 may be a histogram determined based on values of pixels at the same position within a plurality of non-separated images included in the first image 710
  • the histogram 750 may be a histogram determined based on values of pixels at different positions within a plurality of non-segregated images included in the first image 710 .
  • FIG. 8 is a flowchart illustrating an operation of the server 100 for determining a histogram based on values of pixels at the same location included in each of a plurality of short-channel images according to an embodiment of the present disclosure.
  • the first image 710 of FIG. 7 will be described as an example of a multi-channel image including a plurality of short-channel images.
  • the processor 110 may obtain values of pixels at the same positions included in each of a plurality of short-channel images (S810). For example, the processor 110 may obtain a pixel value (eg, 0.9) from a first position 711 in a first image (a first channel of the first image) included in the first image 710. . Also, the processor 110 may obtain a pixel value (eg, 0.8) from the first position 711 in the second image (the second channel of the first image) included in the first image 710 . As described above, the processor 110 may obtain pixel values of pixels at the same location (ie, the first location) included in each of the plurality of non-separated images included in the first image 710 .
  • a pixel value eg, 0.9
  • the processor 110 may obtain a pixel value (eg, 0.8) from the first position 711 in the second image (the second channel of the first image) included in the first image 710 .
  • the processor 110 may obtain pixel values of pixels at the same location (
  • the processor 110 may generate an ordered pair of channel values based on values of pixels at the same positions obtained from each of a plurality of short-channel images (S820).
  • An ordered pair of channel values may include a plurality of elements.
  • an ordered pair of channel values for the first image 710 may include two elements.
  • An ordered pair of channel values for the first image 710 may be expressed as, for example, (v1, v2).
  • the first element (v1) included in the ordered pair of channel values (v1, v2) is the value of the pixel included in the first channel of the first image 710
  • the second element (ie, v2) is the first image 710.
  • the value of each element included in the channel value ordered pair is a value indicating the intensity of light, and may be a real number included in a predetermined interval (eg, 0 or more and 1 or less). If the pixel value obtained from the first position 711 in the first channel of the first image 710 is 0.9 and the pixel value obtained from the first position 711 in the second channel of the first image 710 is 0.8 In this case, the processor 110 may generate an ordered pair of channel values having a value of (0.9, 0.8).
  • the processor 110 may generate a plurality of ordered channel value pairs by repeating the operation of generating the ordered pair of channel values a predetermined number of times (S830). For example, the processor 110 may generate as many ordered pairs of channel values as the number of repetitions by sequentially repeating steps S810 and S820 a predetermined number of times.
  • the processor 110 may determine the number of channel value ordered pairs having the same value among a plurality of channel value ordered pairs (S840). For example, if the generated ordered pairs of channel values are [(0.9, 0.8), (0.8, 0.2), (0.6, 0.0), (0.9, 0.8), (0.9, 0.8), (0.9, 0.8), (0.8, 0.2), (0.6, 0.0), (0.8, 0.2), (0.6, 0.0)]. At this time, the processor 110 may determine the number of ordered pairs of channel values having the same value, such as 4 ordered pairs (0.9, 0.8), 3 ordered pairs (0.8, 0.2), and 3 ordered pairs (0.6, 0.0).
  • the processor 110 may generate a histogram based on the number of ordered pairs of channel values (S850).
  • the histogram may be represented on a two-dimensional coordinate axis. That is, the histogram may include a horizontal axis (x-axis) corresponding to a first element of an ordered pair of channel values and a vertical axis (y-axis) corresponding to a second element of an ordered pair of channel values. Pixels corresponding to respective ordered pairs of channel values on the histogram may be represented to have different colors or different brightness based on the number of corresponding ordered pairs of channel values.
  • the 1-1 histogram 730 may be a histogram generated as a result of the processor 110 performing the above-described steps S810 to S850 on the first image 710 .
  • the pixel indicated by reference number 731 is a pixel having an x value of 0.3 and a y value of 0.2 on the 1-1 histogram 730, and may correspond to an ordered pair of channel values (0.3, 0.2).
  • the pixel indicated by reference number 733 is a pixel having an x value of 0.6 and a y value of 0.6 on the 1-1 histogram 730, and may correspond to an ordered pair of channel values (0.6, 0.6). Assuming that the number of ordered channel value pairs having a value of (0.3, 0.2) among the ordered pairs of channel values generated from the first image 710 is greater than the number of ordered pairs of channel values having a value of (0.6, 0.6), the first - On the 1-histogram 730, the pixel 731 corresponding to the ordered pair of channel values (0.3, 0.2) may be represented with a brighter color than the pixel 733 corresponding to the ordered pair of channel values (0.6, 0.6).
  • the histogram may be expressed on a 3D coordinate axis.
  • the histogram has a first axis (x-axis) corresponding to the first element of ordered channel value pairs, a second axis (y-axis) corresponding to the second element of ordered channel value pairs, and a third axis corresponding to the number of ordered channel value pairs.
  • Axis (z-axis) can be included.
  • the processor 110 may further perform an operation of determining a probability distribution function from the generated histogram.
  • a “probability distribution function” may be referred to as a “probability distribution”.
  • the processor 110 may determine the probability distribution approximately by normalizing the histogram generated according to the result of performing step S850.
  • the probability distribution determined from the 1-1 histogram 730 may be a continuous probability distribution function having a data distribution similar to that of the 1-1 histogram 730 .
  • FIG. 9 is a flowchart illustrating operations of the server 100 for determining a histogram based on values of pixels at different positions included in each of a plurality of short-channel images according to an embodiment of the present disclosure.
  • the first image 710 of FIG. 7 will be described as an example of a multi-channel image including a plurality of short-channel images.
  • the processor 110 may obtain values of pixels at different positions included in each of a plurality of short-channel images (S910). For example, the processor 110 obtains a pixel value (for example, 0.5) from the 2-1 position 713a in the first image (the first channel of the first image) included in the first image 710. can Also, the processor 110 may obtain a pixel value (eg, 0.1) from the 2-2 position 713b in the first image (the first channel of the first image) included in the first image 710. there is. The 2-1 position 713a and the 2-2 position 713b may have different coordinate values. As described above, the processor 110 may obtain pixel values of pixels at different positions included in each of the plurality of non-segregated images included in the first image 710 .
  • a pixel value for example, 0.5
  • the processor 110 may obtain a pixel value (eg, 0.1) from the 2-2 position 713b in the first image (the first channel of the first image) included in the first image 710.
  • the processor 110 may generate an ordered pair of channel values based on values of pixels at different positions obtained from each of a plurality of short-channel images (S920). For example, if the value of a pixel obtained from the 2-1 position 713a in the first channel of the first image 710 is 0.5 and the 2-2 position 713b in the second channel of the first image 710 If the value of the pixel obtained from ) is 0.1, the processor 110 may generate an ordered pair of channel values having a value of (0.5, 0.1).
  • the processor 110 generates a plurality of ordered channel value pairs by repeating the operation of generating the ordered pair of channel values (ie, S910 and S920) a predetermined number of times (S930), and the channel having the same value among the plurality of ordered channel value pairs.
  • the number of ordered pairs of values may be determined (S940), and a histogram may be generated based on the number of ordered pairs of channel values (S950). Since steps S930 to S950 may be performed identically or similarly to steps S830 to S850 described above by the processor 110, duplicate descriptions are omitted.
  • the first to second histograms 750 of FIG. 7 may be histograms generated as a result of the processor 110 performing the above-described steps S910 to S950 with respect to the first image 710 .
  • the processor 110 may further perform an operation of determining a probability distribution function from the generated histogram. For example, the processor 110 may determine the probability distribution approximately by normalizing the histogram generated according to the result of performing step S950. Referring to FIG. 7 , the probability distribution determined from the 1-2 histogram 750 may be a continuous probability distribution function having a data distribution similar to that of the 1-2 histogram 750 .
  • the server 100 may determine a histogram or probability distribution for a corresponding image through different methods based on a multi-channel image including a plurality of short-channel images. there is.
  • the term "dependency" or "similarity" between a plurality of images indicates how much information included in the plurality of images is related to each other, and may be used as a contrast to stochastic independence.
  • pixels corresponding to the same location in each image may have a specific tendency among pixel values. For example, among pixel values corresponding to the same location in each image, if the pixel value of the first channel is low, the pixel value of the second channel may be high with a high probability, and conversely, if the pixel value of the first channel is high, the second channel has a high probability.
  • a pixel value of a channel may be high.
  • a plurality of images have low dependence on each other, there may be no specific tendency between pixel values of corresponding pixels even if pixels correspond to the same position in each image.
  • “there is no specific tendency” between a plurality of pixel values means that the plurality of pixel values do not affect each other and the magnitude relationship of the sizes of the plurality of pixel values is randomly determined.
  • the term “independency” may be used as a term indicating how independent information included in a plurality of images is from each other. That is, dependence and independence are opposite concepts, and it can be expressed that the greater the dependence between a plurality of images, the smaller the independence and the smaller the dependence, the greater the independence.
  • a plurality of unseparated images according to the present disclosure may have high dependency on each other. Also, a plurality of separated images generated from a plurality of non-separated images may have low dependence.
  • the first image 710 may be a multi-channel image in a case where a plurality of channels correspond to one non-separated image included in a plurality of non-separated images.
  • the plurality of non-separated images may have high dependence on each other, and pixels at the same location included in each non-separated image may have pixel values of the same size or similar to each other. Therefore, when a histogram is determined based on values of pixels at the same positions included in each of a plurality of non-separated images, the size of the first element and the size of the second element included in the ordered pair of channel values are substantially the same or similar. can do.
  • a histogram generated based on values of pixels at the same location included in each of a plurality of short-channel images may be referred to as a “joint histogram” for the images.
  • the probability distribution function determined from the joint histogram may be referred to as a "joint probability distribution”.
  • the 1-1 histogram 730 may be a combined histogram of a plurality of non-separated images included in the first image 710 .
  • a histogram is generated based on values of pixels at different positions within a plurality of non-separated images included in the first image 710, the size of the first element and the size of the second element included in the ordered pair of channel values are There may be no particular trend between sizes.
  • the 1st-2nd histogram 750 generated based on values of pixels at different positions included in each of a plurality of non-segregated images, the value of a first element included in an ordered pair of channel values and the value of a second element included in an ordered pair of channel values. A specific correlation may not appear between the values of elements.
  • a histogram generated based on values of pixels at different positions included in each of a plurality of short-channel images may be indicated as a “marginal histogram” for the images.
  • the probability distribution function determined from the marginal histogram may be referred to as a "marginal probability distribution”.
  • the 1-2 histogram 7500 may be a peripheral histogram of a plurality of non-separated images included in the first image 710 .
  • the second image 1010 is an exemplary diagram illustrating histograms determined by different methods from multi-channel images according to another embodiment of the present disclosure.
  • the second image 1010 may be, for example, a multi-channel image including a plurality of separate images.
  • the second image 1010 may be a multi-channel image including a plurality of separated images generated as a result of the processor 110 calculating a plurality of non-separated images using an unmixing matrix.
  • the second image 1010 is described as a multi-channel image having two channels in the present disclosure, this is only an assumption for convenience of description and does not limit the present disclosure.
  • the first image included in the second image 1010 (or the first channel of the second image) may be an image of the biomolecule “A1” included in the sample.
  • the second image (or the second channel of the second image) included in the second image 1010 may be an image of the biomolecule "B1" included in the sample.
  • the 2-1 histogram 1030 and the 2-2 histogram 1050 are the second image in a manner similar to the 1-1 histogram 730 and the 1-2 histogram 750 described above with reference to FIG. 7 , respectively. It may be a histogram determined with respect to (1010).
  • the 2-1 histogram 1030 is a combined histogram determined based on values of pixels at the same positions within a plurality of short-channel images included in the second image 1010
  • the 2-2 histogram ( 1050 ) may be a peripheral histogram determined based on values of pixels at different positions within a plurality of short-channel images included in the second image 1010 .
  • FIG. 11 is a flowchart illustrating an operation of the server 100 for updating parameters of an unmixing matrix according to an embodiment of the present disclosure.
  • the processor 110 may obtain a plurality of unseparated images of a sample including a plurality of biomolecules (S1110).
  • the processor 110 may generate a plurality of separated images corresponding to each of a plurality of biomolecules from a plurality of unseparated images by using the first unmixing matrix (S1120).
  • Step S1110 or S1120 may be performed by the processor 110 the same as or similar to step S610 or S620 described above with reference to FIG. 6 .
  • the processor 110 may evaluate dependencies between the plurality of separated images based on the plurality of separated images generated by the unmixing matrix (S1130).
  • the dependency between the plurality of separated images may be evaluated based on a specific algorithm performed by the processor 110 or may be evaluated by the processor 110 performing a predetermined operation using an artificial neural network model.
  • the processor 110 may modify the parameters of the unmixing matrix to lower the dependency between the plurality of separated images based on the dependency evaluation result (S1140).
  • the processor 110 may evaluate dependencies between a plurality of divided images based on histograms generated for the plurality of divided images. Specifically, the processor 110 uses a value indicating dependence between a plurality of separated images (hereinafter, also referred to as a “dependency evaluation value”) according to a predetermined algorithm (or formula) based on a histogram generated for a plurality of separated images. ) can be calculated.
  • a dependence evaluation value a value indicating dependence between a plurality of separated images
  • the processor 110 determines the dependence by calculating mutual information between the plurality of separated images.
  • Mutual information amount is a value derived from information theory, and the amount of mutual information between two variables can indicate the total amount of information shared by the two variables. For example, the amount of mutual information between two random variables may be 0.
  • the processor 110 may calculate the amount of mutual information based on a combined histogram or a neighboring histogram generated based on a plurality of separated images.
  • the amount of mutual information for the two separate images can be expressed as, for example, Equation 8 below.
  • Equation 8 X 1 and X 2 represent different separated images, and I(X 1 ;X 2 ) represents the amount of mutual information calculated for the two separated images.
  • the right side of Re represents a joint histogram or a joint probability distribution determined based on values of pixels at the same location included in each of the two separated images X 1 and X 2 .
  • a joint histogram or joint probability distribution for the two separated images X 1 and X 2 may be generated as a result of, for example, the processor 110 performing each step of FIG. 8 for the two separated images X 1 and X 2 .
  • Equation 8 the right side of Represents a marginal histogram or a marginal probability distribution determined based on values of pixels at different positions included in each of the two separated images X 1 and X 2 .
  • a marginal histogram or a marginal probability distribution for the two separated images X 1 and X 2 may be generated as a result of, for example, the processor 110 performing each step of FIG. 9 for the two separated images X 1 and X 2 .
  • the processor 110 may calculate the dependence between the plurality of separated images by calculating the amount of mutual information exemplified by Equation 8.
  • the processor 110 determines the Kullback-Leibler divergence between the plurality of separate images. By calculating the value, the dependence can be evaluated.
  • the "Kulbeck-Leibler divergence" is a function that can be used to calculate the difference between two different probability distributions, and the value of the function represents the difference between the information entropies of the two different probability distributions. The larger the Kulbeck-Leibler divergence value, the greater the difference between the two different probability distributions and the better they can be distinguished.
  • the Kulbeck-Leibler divergence value can be defined as Equation 9 below.
  • Equation 9 X represents a joint histogram or joint probability distribution between a plurality of separated images.
  • a joint histogram or a joint probability distribution of the plurality of separated images may be generated as a result of, for example, the processor 110 performing each step of FIG. 8 on the plurality of separated images.
  • Y represents a marginal histogram or a marginal probability distribution between a plurality of separated images.
  • a marginal histogram or a marginal probability distribution for the plurality of separated images may be generated, for example, as a result of the processor 110 performing each step of FIG. 9 on the plurality of separated images.
  • the processor 110 may calculate dependencies between the plurality of separated images based on the Kulbeck-Leibler divergence value illustrated by Equation 9.
  • the processor 110 may evaluate the dependence by calculating a cross entropy value between the plurality of separated images.
  • Cross entropy means the average number of bits required to distinguish between two probability distributions, and the value represents the difference between two different probability distributions. The larger the cross entropy value, the greater the difference between the two different probability distributions and the better they can be distinguished.
  • the cross entropy value may be defined as in Equation 10 below.
  • Equation 10 X represents a joint histogram or joint probability distribution between a plurality of separated images.
  • a joint histogram or a joint probability distribution of the plurality of separated images may be generated as a result of, for example, the processor 110 performing each step of FIG. 8 on the plurality of separated images.
  • Y represents a marginal histogram or a marginal probability distribution between a plurality of separated images.
  • a marginal histogram or a marginal probability distribution for the plurality of separated images may be generated, for example, as a result of the processor 110 performing each step of FIG. 9 on the plurality of separated images.
  • the processor 110 may calculate dependencies between the plurality of separated images based on the cross entropy value exemplified by Equation 10.
  • the processor 110 determines the dependence by calculating a Rand Index between the plurality of separated images.
  • data set X may include data of a joint histogram or joint probability distribution between a plurality of separated images
  • data set Y may include data of a marginal histogram or marginal probability distribution between a plurality of separated images.
  • the land index based on Table 1 can be defined as in Equation 11 below.
  • the processor 110 may calculate dependencies between the plurality of separated images based on the land index illustrated by Equation 11.
  • the first to fourth embodiments related to the above-described dependency evaluation are only examples for specifically explaining how the processor 110 evaluates the dependency between a plurality of separated images, but do not limit the present disclosure.
  • the processor 110 of may evaluate dependence (or similarity) based on the histogram generated for a plurality of separated images in various ways.
  • the server 100 may modify at least one parameter included in the unmixing matrix based on the calculated dependency evaluation result.
  • a specific parameter modification method will be described with reference again to the above-described dependency evaluation related to the first to fourth embodiments.
  • the processor 110 may modify the parameters of the unmixing matrix in a direction in which the calculated amount of mutual information decreases.
  • the expression "modifying the parameters of the unmixing matrix in a direction in which a specific value calculated for a plurality of separated images becomes smaller" is a basis for generating a plurality of separated images from a plurality of unseparated images.
  • a specific value calculated for a plurality of separated images generated according to the unmixing matrix after modification is a specific value calculated for a plurality of separated images generated according to the unmixing matrix before modification. It can mean smaller.
  • Equation 12 represents a loss function in an embodiment following Equation 8 above.
  • the processor 110 modifies the parameters of the unmixing matrix in a direction in which the Culbeck-Leibler divergence value decreases.
  • a loss function such as Equation 13 below may be used. Equation 13 represents a loss function in an embodiment following Equation 9 described above.
  • Equation 13 is the joint probability distribution determined between the image (X 1 - ⁇ X 2 ) and the image (X 2 ), and Y' is the image (X 1 ) and the image (X 2 - ⁇ X 1 ).
  • the processor 110 modifies the parameters of the unmixing matrix in a direction in which the cross entropy value decreases, for example, A loss function such as Equation 14 below may be used. Equation 14 represents a loss function in an embodiment following Equation 10 described above.
  • X' in Equation 14 is a joint probability distribution determined between the image (X 1 - ⁇ X 2 ) and the image (X 2 ), and Y' is the image (X 1 ) and the image (X 2 - ⁇ X 1 ).
  • the processor 110 modifies the parameters of the unmixing matrix in a direction in which the Rand index decreases, for example, A loss function such as Equation 15 may be used. Equation 15 represents a loss function in an embodiment following Equation 11 described above.
  • Equation 15 is a joint probability distribution determined between the image (X 1 - ⁇ X 2 ) and the image (X 2 ), and Y' is the image (X 1 ) and the image (X 2 - ⁇ X 1 ).
  • the processor 110 determines at least one parameter (eg, ⁇ or ⁇ in Equations 12 to 15) that minimizes various loss functions such as Equations 12 to 15 described above based on Equation 16 below. can
  • the server 100 may modify at least one parameter included in the unmixing matrix based on the calculated dependency evaluation result.
  • the processor 110 may evaluate dependencies between a plurality of separated images based on an artificial neural network model and modify parameters of the unmixing matrix based on the dependency evaluation results.
  • a method for the processor 110 to modify parameters of an unmixing matrix based on an artificial neural network model according to the present disclosure will be described in detail with reference to the drawings below.
  • the processor 110 may determine whether a predetermined critical condition is satisfied (S1145).
  • the predetermined threshold condition may be a condition according to the number of times of updating the unmixing matrix. For example, it is assumed that the predetermined critical condition is satisfied when the unmixing matrix is modified N times (where N is a natural number greater than or equal to 1). In this case, the processor 110 may count the number of updates whenever the unmixing matrix is updated, and if the counted number of updates is N times, it may be determined that a predetermined threshold condition is satisfied.
  • the predetermined threshold condition may be a condition depending on the magnitude of the calculated dependency evaluation value. For example, assume that the predetermined critical condition is a condition that is satisfied when a magnitude of a dependency evaluation value calculated between a plurality of separated images is 0.2 or less. At this time, the processor 110 may determine that a predetermined threshold condition is satisfied when, as a result of performing step S1130, the magnitude of the dependency evaluation value calculated between the plurality of separated images is 0.2 or less.
  • the predetermined threshold condition is the number of learning times of the artificial neural network model, the size of the output value, or the loss value (Loss value, between the output value and the true value). It may be a condition based on at least one of the errors of). For example, assume that the predetermined critical condition is a condition that is satisfied when the loss value of the artificial neural network model is 0.1 or less. In this case, the processor 110 may determine that a predetermined threshold condition is satisfied when the loss value of the artificial neural network model is 0.1 or less.
  • the processor 110 may repeatedly perform the above-described steps S1120 to S1140 until the predetermined threshold condition is satisfied. .
  • the processor 110 may terminate updating of the unmixing matrix.
  • the updated unmixing matrix may be a matrix in which at least one parameter is modified compared to the unmixing matrix before being updated.
  • the artificial neural network model 1250 may be an artificial neural network model (hereinafter, referred to as a “classification model”) that receives input data and generates output data for determining the type of the input data.
  • classification model an artificial neural network model that receives input data and generates output data for determining the type of the input data.
  • FIG. 12 for convenience of description, it is assumed that the plurality of separated images 1210 includes three separate images, but the present disclosure is not limited thereto.
  • the processor 110 may generate at least one input data input to the artificial neural network model 1250 based on the plurality of separated images 1210 .
  • the processor 110 may generate input data by sampling data from at least one probability distribution among two or more different probability distributions of the plurality of separated images 1210 .
  • the term “sampling” may refer to an operation of selecting or extracting a predetermined number of elements based on a probability value of each element included in a specific probability distribution. For example, when a first element included in a specific probability distribution has a higher probability value than a second element, and one element is sampled from the specific probability distribution, the probability that the first element is selected is the second element selected.
  • a probability distribution for sampling data by the processor 110 is, for example, a probability distribution determined based on values of pixels at the same location included in each of the plurality of separated images 1210 (hereinafter, Also referred to as the “first probability distribution”).
  • the first probability distribution may be determined by the processor 110 performing the method described above with reference to FIG. 8 for the plurality of separated images 1210 .
  • the processor 110 may generate one input data by sampling data from a first probability distribution.
  • one probability distribution for the processor 110 to sample data is, for example, a probability distribution determined based on values of pixels at different positions included in each of the plurality of separated images 1210 (hereinafter referred to as "probability distributions"). Also referred to as “the second probability distribution”).
  • the second probability distribution may be determined by the processor 110 performing the method described above with reference to FIG. 9 on the plurality of separated images 1210 .
  • the processor 110 may generate one input data by sampling data from the second probability distribution.
  • the input data 1231 sampled from the first probability distribution may be expressed as Equation 17 below.
  • Equation 17 represents at least one input data sampled from the first probability distribution. on the right represents a first probability distribution corresponding to a joint probability distribution for the plurality of separated images 1210 .
  • X 1 , X 2 and X 3 of refer to random variables corresponding to respective separated images included in the plurality of separated images 1210, and x 1 , x 2 and x 3 are random variables X 1 , X 2 and X 3 Indicates each realization value or pixel value.
  • (x 1i ,x 2i ,x 3i ) represents the i-th input data (i is a natural number of 1 or more and n or less) sampled from the first probability distribution, and x 1i is the first separation among the plurality of separation images 1210
  • x 2i refers to a pixel value extracted from a second separated image among a plurality of separated images 1210
  • x 3i refers to a pixel value extracted from a third separated image among a plurality of separated images 1210, respectively. do.
  • each pixel value included in (x 1i ,x 2i ,x 3i ) is a plurality of It may be a value determined from pixels at the same position corresponding to each other in the separated image of . Equation 17 described above is only an exemplary description for specifically describing the input data 1231 sampled from the first probability distribution, and does not limit the present disclosure.
  • the input data 1233 sampled from the second probability distribution may be expressed as Equation 18 below.
  • Equation 18 represents at least one input data sampled from the second probability distribution.
  • x' on the left side of Equation 18 represents at least one input data sampled from the second probability distribution.
  • On the right Denotes a second probability distribution corresponding to the peripheral probability distribution for the plurality of separated images 1210 .
  • X 1 , X 2 and X 3 of refer to random variables corresponding to respective separated images included in the plurality of separated images 1210, and x 1 , x 2 and x 3 are random variables X 1 , X 2 and X 3 Indicates each realization value or pixel value.
  • (x 1i ',x 2i ',x 3i ') represents the ith input data sampled from the second probability distribution (i is a natural number greater than or equal to 1 and less than or equal to n), and x 1i 'is a plurality of separated images 1210 ), x 2i ′ is a pixel value extracted from the second separated image among the plurality of separated images 1210, and x 3i ′ is extracted from the third separated image among the plurality of separated images 1210. may refer to each pixel value.
  • each pixel included in (x 1i ',x 2i ',x 3i ') The value may be a value determined from pixels at different positions in a plurality of separate images. Equation 18 described above is only an exemplary description for specifically describing the input data 1233 sampled from the second probability distribution, and does not limit the present disclosure.
  • the processor 110 may input input data to a classification model and determine a type of the input data based on output data of the classification model.
  • the classification model may generate output data for determining a specific probability distribution on which the input data is based.
  • the input data for the classification model may be input data 1231 sampled from a first probability distribution or input data 1233 sampled from a second probability distribution.
  • the output data of the classification model may be data for determining a probability distribution associated with the input data.
  • the classification model may output information indicating the first probability distribution as output data for the corresponding input data. Also, when the input data is the input data 1233 sampled from the second probability distribution, the classification model may output information indicating the second probability distribution as output data for the input data.
  • the processor 110 includes input data 1131 sampled from a first probability distribution and input data sampled from a second probability distribution ( 1133) can be labeled differently to generate learning data.
  • processor 110 labels input data 1131 sampled from a first probability distribution as “1” as a ground truth, and input data 1133 sampled from a second probability distribution is true.
  • the processor 110 inputs input data included in the training data to the classification model, and outputs data (eg, 0 to 1), and based on the difference between the true value labeled for the corresponding input data and the output data of the classification model, the value of at least one parameter included in the classification model is updated through a backpropagation technique. By doing so, the classification model can be trained.
  • the artificial neural network model 1350 may be an artificial neural network model (hereinafter, referred to as a “prediction model”) that receives a plurality of input data and generates output data for predicting a specific value related to the plurality of input data.
  • a prediction model an artificial neural network model that receives a plurality of input data and generates output data for predicting a specific value related to the plurality of input data.
  • the processor 110 may generate a plurality of input data input to the artificial neural network model 1350 based on the plurality of separated images 1310 .
  • the processor 110 may generate a plurality of input data each sampled from different probability distributions determined based on the plurality of separated images 1310 .
  • the artificial neural network model 1350 receives two input data, but this does not limit the present disclosure, and the artificial neural network model 1350 of the present disclosure may receive three or more input data.
  • the processor 110 may generate two input data by sampling data from each of two different probability distributions of the plurality of separated images 1310 .
  • the two different probability distributions of the plurality of separation images 1310 are, for example, probability distributions determined based on values of pixels of the same position included in each of the plurality of separation images 1310 (hereinafter referred to as “second probability distributions”). 3 probability distribution”) or a probability distribution determined based on values of pixels at different positions included in each of the plurality of separated images 1310 (hereinafter, also referred to as “fourth probability distribution”).
  • the third probability distribution may be determined by the processor 110 performing the method described above with reference to FIG. 8 on the plurality of separated images 1310
  • the fourth probability distribution may be determined by the processor 110 on the plurality of separated images. It can be determined by performing the method described above with reference to FIG. 9 for 1310.
  • the processor 110 may generate a plurality of input data input to the artificial neural network model 1350 by sampling the input data 1331 from the third probability distribution and sampling the input data 1333 from the fourth probability distribution.
  • the processor 110 may input a plurality of input data to the artificial neural network model 1350 and obtain a specific value related to the plurality of input data predicted by the artificial neural network model 1350 .
  • a “specific value” related to a plurality of input data predicted by the artificial neural network model 1350 may refer to a value output by the artificial neural network model 1350 receiving the plurality of input data.
  • the processor 110 may calculate a dependency evaluation value for a plurality of separated images based on the obtained specific value.
  • the type of dependency evaluation value calculated by the processor 110 based on the artificial neural network model may be determined according to various embodiments as described above.
  • the processor 110 calculates the above-described “mutual information amount” as an example of a dependency evaluation value calculated based on an artificial neural network model.
  • the amount of mutual information between a plurality of separated images calculated based on a specific value predicted by the predictive model may be expressed as Equation 19 below.
  • I (x; x') on the left side of Equation 19 is the two input data input to the artificial neural network model 1350 (ie, x and It represents the amount of mutual information for two separated images (ie, X 1 and X 2 ) calculated based on x').
  • ⁇ denotes at least one parameter included in the predictive model
  • f ⁇ is output data of the predictive model and denotes a specific value related to two input data.
  • at Represents a joint probability distribution for a plurality of separate images 1310 In the joint probability distribution for the plurality of separated images 1310, two input data (x and It represents the expected value of a specific value (f ⁇ ) output by the predictive model for x').
  • the processor 110 may calculate the amount of mutual information for a plurality of separated images based on a specific value predicted by the predictive model. For example, for two input data (x and x' ), as the third probability distribution and the fourth probability distribution corresponding to each are more similar, the amount of mutual information (I(x;x')) between the two input data may have a larger value. In addition, as the amount of mutual information increases, the two separate images can be interpreted as more dependent images.
  • the processor 110 calculates the amount of mutual information based on a specific value output by the predictive model, and learns the predictive model to maximize the calculated amount of mutual information. can make it That is, when the predictive model predicts a specific value for a plurality of input data sampled from a plurality of separated images, the value of at least one parameter included in the predictive model is specified in a direction in which the amount of mutual information for the plurality of separated images is maximized. It can be updated to predict values. For example, the processor 110 applies a gradient descent method (or a gradient ascent method) to a predetermined amount of mutual information calculation expression so that the value of at least one parameter included in the prediction model is determined according to the chain rule. can be updated.
  • a gradient descent method or a gradient ascent method
  • the unmixing matrix and the artificial neural network model of the present disclosure may be trained competitively with each other (adversarial training).
  • the expression that two objects are "learned competitively" may mean that the value of at least one parameter included in each object is changed as the two objects are learned to solve conflicting tasks. .
  • the value of at least one element included in the unmixing matrix is the first input data input to the classification model and the second input data input to the classification model.
  • the input data may be updated so as not to be well distinguished by the corresponding artificial neural network model, and the value of at least one parameter included in the artificial neural network model may be updated such that the input first input data and the second input data are well distinguished.
  • the first input data may be data sampled from a first probability distribution
  • the second input data may be data sampled from a second probability distribution.
  • the classification model may be an artificial neural network model that receives a plurality of input data sampled from probability distributions determined differently from each other from a plurality of separate images and determines a probability distribution associated with each input data.
  • the unmixing matrix may generate a plurality of separated images that are a basis for generating each input data. That is, the unmixing matrix may generate a plurality of separated images from the plurality of non-separated images, and the classification model may determine the type of input data sampled from each of the plurality of separated images.
  • the unmixing matrix is learned not to distinguish a plurality of input data sampled from each of a plurality of separate images by the classification model. Mixing matrices can be learned competitively with each other.
  • the processor 110 determines that the classification model is insufficiently trained and may additionally perform classification model learning. . In this case, a plurality of separated images generated from a plurality of non-separated images using the unmixing matrix may be determined to be mutually dependent. Conversely, when the two types of input data input to the classification model are not well distinguished by the classification model, the processor 110 determines that the classification model is sufficiently trained and stops learning the classification model. In this case, a plurality of separated images generated from a plurality of non-separated images using the unmixing matrix may be determined to be independent of each other.
  • two types of input data input to the classification model are well distinguished by the classification model
  • two types of input data input to the classification model are not well distinguished by the classification model
  • the processor 110 uses a test data set labeled with true values for a predetermined number of input data to determine the accuracy of the classification model ( or reliability).
  • the processor 110 outputs a classification result within a true value and an error range for input data of a specific number or a specific ratio or more among the input data included in the test data set, it may be determined that the classification model is sufficiently trained. there is.
  • the change in accuracy of the classification model as the learning progresses becomes less than or equal to the threshold value, it may be determined that the classification model is sufficiently trained.
  • the method for evaluating the accuracy of the classification model described above is only an example for explanation and does not limit the present disclosure.
  • the value of at least one parameter included in the predictive model is a dependency evaluation value for a plurality of separated images (eg, , mutual information amount, Kulbeck-Leibler divergence value, cross entropy value, Rand index, etc.) is updated to predict a specific value in a direction in which the value is maximized, and the value of at least one element included in the unmixing matrix is a plurality of separated images. It may be updated to generate a plurality of separated images in a direction in which the dependence evaluation value for is minimized.
  • a dependency evaluation value for a plurality of separated images eg, mutual information amount, Kulbeck-Leibler divergence value, cross entropy value, Rand index, etc.
  • the predictive model may be an artificial neural network model that receives a plurality of sampled input data based on probability distributions determined differently from each other from a plurality of separate images and predicts a specific value related to the plurality of input data.
  • the unmixing matrix may generate a plurality of separated images as a basis for generating a plurality of input data. That is, the unmixing matrix generates a plurality of separated images from a plurality of unseparated images, and the prediction model receives a plurality of input data sampled from each of the plurality of separated images and predicts a specific value related to the plurality of input data. .
  • the specific value predicted by the predictive model may be a value that is a basis for calculating a dependency evaluation value for a plurality of separated images. Therefore, the predictive model is learned in a direction in which dependency evaluation values for a plurality of separated images are maximized, and the unmixing matrix is learned in a direction in which dependency evaluation values for a plurality of separated images are minimized. Thus, the prediction model and the unmixing matrix are They can be learned competitively with each other.
  • the processor 110 determines that the predictive model is insufficiently trained and adds the predictive model to learn. can be done with In this case, a plurality of separated images generated from a plurality of non-separated images using the unmixing matrix may be determined to be mutually dependent. Conversely, when a dependency evaluation value calculated based on a specific value output by the predictive model exceeds a predetermined threshold, the processor 110 determines that the predictive model is sufficiently trained and stops learning the predictive model. In this case, a plurality of separated images generated from a plurality of non-separated images using the unmixing matrix may be determined to be independent of each other. Meanwhile, the processor 110 may determine the degree of learning of the predictive model based on the number of times the predictive model is learned, for example, the number of learning epochs.
  • the processor 110 may evaluate dependencies on a plurality of separated images and determine parameters of the unmixing matrix based on the evaluation results. Based on the unmixing matrix determined as described above, the processor 110 according to the present disclosure may generate a separated image of each biomolecule included in the sample from a plurality of non-separated images of the sample.
  • the conventional method of obtaining an image for each biomolecule in a sample including several biomolecules has a limitation that emission spectra of fluorescent substances labeled with each biomolecule should not overlap as much as possible. Therefore, there was a limit to using only up to four fluorescent materials at the same time.
  • other biomolecules must be newly labeled. Prior to this, it was necessary to perform a post-processing process to remove the existing fluorescent material.
  • the post-treatment process of removing the fluorescent material may include, for example, a process of inactivating the fluorescent material or a process of removing a material used for labeling an antibody or biomolecule labeled with a fluorescent material with a fluorescent material. .
  • the image processing method according to the present disclosure does not require the process of inactivating or removing the fluorescent material required by conventional methods. Accordingly, in one embodiment of the present disclosure, a plurality of non-separated images may be obtained differently from a conventional method.
  • a plurality of unseparated images according to an embodiment of the present disclosure may be sequentially generated by performing one cycle of staining and photographing a sample two or more times.
  • a plurality of non-separated images according to the present disclosure may be sequentially generated by performing one cycle of dyeing and photographing two or more times without post-processing to remove a fluorescent material.
  • the image processing method according to the present disclosure has an effect of generating a separate image for each biomolecule more quickly and effectively by generating a plurality of separate images without removing a conventional fluorescent material.
  • FIG. 14 is a conceptual diagram illustrating a process of sequentially acquiring a plurality of images according to an embodiment of the present disclosure. It is assumed that the sample 1400 of FIG. 14 includes N biomolecules (N is a natural number greater than or equal to 1). At this time, when the first biomolecule 1401 included in the sample 1400 is dyed according to the first round of staining, the processor 110 photographs the sample 1400 after the first round of staining through the photographing unit, thereby creating a first unseparated image ( 1410) can be obtained. On the first unseparated image 1410, the first biomolecule 1401 stained according to the first round of staining may be displayed, and the remaining unstained biomolecules may not be displayed.
  • the processor 110 photographs the sample 1400 after the second round of staining through the photographing unit, thereby capturing a second unseparated image. (1420) can be obtained.
  • the second unseparated image 1420 the first biomolecule 1401 stained according to the first staining and the second biomolecule 1402 stained according to the second staining are displayed, and the remaining unstained biomolecules are not displayed. may not be
  • the processor 110 photographs the sample 1400 after the Nth dyeing through the photographing unit.
  • An Nth non-separated image 1430 may be obtained.
  • the first biomolecule 1401 stained according to the first staining, the second biomolecule 1402 stained according to the second staining, ..., and the staining according to the Nth staining It can be expressed so that the Nth biomolecule 1404 is included.
  • one more biomolecule may be expressed in the unseparated image obtained after staining in the “i+1” round than in the unseparated image obtained after staining in the “i” round. there is.
  • one biomolecule additionally expressed on the unseparated image obtained after the “i+1” staining process is compared with the unseparated image obtained after the “i” round staining process.
  • i is a natural number greater than or equal to 1.
  • the second biomolecule 1402 additionally expressed on the second unseparated image 1420 compared to the first unseparated image 1410 of FIG. 14 is “labeled biomolecule in the second round of staining process”.
  • the Nth biomolecule 1403 additionally expressed on the Nth unseparated image 1430 compared to the N ⁇ 1th unseparated image is referred to as “a biomolecule labeled in the Nth staining process”. It can be.
  • the image processing method may generate a separated image of a specific biomolecule based on two or more consecutive unseparated images among a plurality of sequentially acquired unseparated images.
  • expressions such as “two or more unseparated images successively and sequentially acquired” or “two or more unseparated images obtained by sequentially staining a plurality of biomolecules included in a sample” refer to biomolecules. It may refer to two or more unseparated images obtained by sequentially performing a cycle including staining and imaging on each of a plurality of biomolecules included in a sample.
  • the two non-separation images consecutively and sequentially acquired may include a non-separation image taken after ith staining (i is a natural number equal to or greater than 1) and a non-separation image taken after i+1th staining.
  • the three unseparated images acquired sequentially in succession include a non-separation image taken after the ith staining, a non-separated image taken after the i+1th staining, and a non-separated image taken after the i+2th staining.
  • the expression “a plurality of sequentially acquired non-separated images” may be used interchangeably with the expression “a plurality of consecutive non-separated images”.
  • the processor 110 performs an operation on two successive unseparated images, that is, an unseparated image obtained after “i” dyeing and an unseparated image obtained after “i+1” dyeing. , separate images of the labeled biomolecules can be generated in the "i+1" round staining process.
  • the processor 110 may obtain a first unseparated image 1510 by staining a biomolecule (eg, protein A) included in the sample according to the first round of staining and photographing the sample. .
  • the processor 110 may obtain a second non-separation image 1530 by staining another biomolecule (eg, protein B) included in the sample according to the subsequent second round of staining and photographing the sample.
  • the processor 110 may obtain a third non-separation image 1550 by staining another biomolecule (eg, protein C) included in the sample according to subsequent third rounds of staining and photographing the sample. .
  • the processor 110 may perform an operation on two consecutive non-separated images based on at least one parameter and generate separated images for each of the at least one biomolecule. For example, the processor 110 separates the labeled biomolecule (ie, protein B) in the second round staining process by performing an operation on the first unseparated image 1510 and the second unseparated image 1530. Image 1520 may be generated. In addition, the processor 110 performs an operation on the second unseparated image 1530 and the third unseparated image 1550 to separate the labeled biomolecule (i.e., protein C) image ( 1540) can be created. Meanwhile, a separated image of a biomolecule (ie, protein A) labeled in the first staining process may be obtained as a first non-separated image 1510 .
  • a biomolecule (ie, protein A) labeled in the first staining process may be obtained as a first non-separated image 1510 .
  • the first unseparated image 1610, the second unseparated image 1630, and the third unseparated image 1650 shown in FIG. 16 are the first unseparated image 1510 and the second unseparated image ( 1530) and the third non-separated image 1550 may be obtained in the same manner.
  • the processor 110 may perform an operation on three successive unseparated images based on at least one parameter and generate separate images for each of at least two biomolecules.
  • the processor 110 simultaneously calculates the first unseparated image 1610, the second unseparated image 1620, and the third unseparated image 1630, so that the labeled biomolecule (i.e., A separation image 1620 for protein B) and a separation image 1640 for a labeled biomolecule (ie, protein C) may be generated in the third round of staining. Meanwhile, a separated image of a biomolecule (ie, protein A) labeled in the first staining process may be obtained as a first non-separated image 1610 .
  • a method for obtaining a separation image of a biomolecule based on two or three consecutive unseparated images has been described in detail, but this does not limit the present disclosure, and the present disclosure does not limit the present disclosure to two or more consecutive unseparated images.
  • Separation images of biomolecules may be generated based on unseparated images of the number of.
  • a method of obtaining a separated image based on two consecutive non-separated images will be described.
  • 17 is a flowchart illustrating operations of the server 100 generating a separated image of at least one biomolecule based on two consecutive unseparated images according to an embodiment of the present disclosure.
  • the processor 110 may acquire a first non-separation image of a sample including a first biomolecule labeled with a first fluorescent material and a second unlabeled biomolecule (S1710).
  • the first biomolecule may be a biomolecule labeled with a specific fluorescent material in the i-th staining process (ie, the i-th staining process) of the sample.
  • the processor 110 acquires a non-segregated image of the sample stained with the first biomolecule through a photographing unit (not shown), or obtains an image of the sample stained with the first biomolecule from an external device or the user terminal 200.
  • a non-separated image may be acquired by receiving the separated image.
  • the processor 110 may acquire a second non-separation image of a sample including a first biomolecule labeled with a first fluorescent material and a second biomolecule labeled with a second fluorescent material (S1720).
  • the second biomolecule may be a biomolecule labeled with a specific fluorescent material in the i+1 th staining process (ie, the i+1 staining process) of the sample. That is, the first unseparated image and the second unseparated image obtained in step S1710 may be two images sequentially acquired in succession.
  • the first biomolecule may be a biomolecule labeled in the i-th staining process
  • the second biomolecule may be a biomolecule labeled in the i+1 staining process.
  • the processor 110 acquires a non-separation image of a sample stained with the second biomolecule through a photographing unit (not shown), or obtains an image of the sample stained with the second biomolecule from an external device or the user terminal 200.
  • a non-separated image may be acquired by receiving the separated image.
  • a first unseparated image refers to a non-separated image taken after labeling a first biomolecule with a first fluorescent material in an i-th staining process for a specific sample, and a second unseparated image.
  • the non-separation image may refer to a non-separation image obtained after labeling a second biomolecule with a second fluorescent material in the i+1 th staining process for the same specific sample.
  • the first biomolecule may be displayed and the second biomolecule may not be displayed on such a first unseparated image. Also, both the first biomolecule and the second biomolecule may be displayed on the second unseparated image.
  • the processor 110 may generate a separated image of the second biomolecule based on the first unseparated image and the second unseparated image (S1730).
  • the processor 110 may calculate the first unseparated image and the second unseparated image using the unmixing matrix, and generate a separated image of the second biomolecule based on the result of the operation.
  • a value of at least one element included in the unmixing matrix may be determined based on a trained artificial neural network model. Since the common description of the unmixing matrix or artificial neural network model has been described above, descriptions of overlapping contents will be omitted and differences will be described.
  • the first unseparated image and the second unseparated image consecutively obtained for the same sample may be images captured by detecting light of the same specific wavelength range from the sample.
  • the first unseparated image is an image captured by detecting light in a first wavelength band among light emitted from a sample containing a first biomolecule labeled with a first fluorescent material
  • the second unseparated image is a second fluorescent material. It may be an image captured by detecting light in a second wavelength band among light emitted from a sample containing a second biomolecule labeled with a material.
  • the first unseparated image and the second unseparated image may be images captured by detecting light in the same specific wavelength range.
  • the term "light of a specific wavelength range" may refer to light having a wavelength of a specific range.
  • light in a specific wavelength range may refer to light having a wavelength of 400 nm or more and 450 nm or less.
  • the wavelength range of light detected by the photographing unit may be adjusted, the sample may be irradiated with light in a specific wavelength range, or a predetermined filter may be installed between the photographing unit and the sample. .
  • the first unseparated image and the second unseparated image sequentially obtained for the same sample may be images obtained based on the same emission filter (hereinafter, also referred to as “sixth emission filter”). .
  • the unseparated image is obtained by irradiating the fluorescent material with light of a specific wavelength to which the fluorescent material reacts, filtering the light emitted from the excited fluorescent material with a corresponding emission filter, and the emission filter It can be obtained by photographing the passed light.
  • the first unseparated image is an image obtained after labeling the first biomolecule included in the sample with one of the fluorescent materials “Alexa 405”, “CF405S”, or “ATTO 390”
  • the second unseparated image is It may be assumed that the image is obtained after labeling the second biomolecule included in the same sample with one of the fluorescent materials “Alexa 405”, “CF405S” or “ATTO 390”.
  • the first unseparated image and the second unseparated image may be, for example, images obtained based on the same sixth emission filter.
  • the wavelength range 1800 passed by the sixth emission filter is shown as a dotted line section in FIG. The light of 1800 can be obtained by detecting the same.
  • the first fluorescent material used to acquire the first unseparated image and the second fluorescent material used to acquire the second unseparated image may be the same fluorescent material.
  • the first fluorescent material and the second fluorescent material may be "Alexa 405", “Alexa 488”, “Alexa 546", “Alexa 647”, “CF594", “CF405S”, “ATTO 390", or others.
  • One of the various fluorescent materials may be the same fluorescent material as each other.
  • the first fluorescent material used to acquire the first unseparated image and the second fluorescent material used to acquire the second unseparated image may be fluorescent materials having emission spectra similar to each other.
  • two or more fluorescent materials having emission spectra similar to each other may be expressed as "a combination of fluorescent materials having emission spectra similar to each other".
  • FIG. 19 is a diagram showing emission spectra of a plurality of fluorescent materials and wavelength values at which signal intensity is maximized in each emission spectrum.
  • the processor 110 may determine a combination of fluorescent materials having emission spectra similar to each other based on the intensity of a signal in the emission spectrum of each fluorescent material.
  • a combination of fluorescent materials having similar emission spectra is composed of two fluorescent materials.
  • the processor 110 converts the two fluorescent materials to each other when the wavelength values at which the intensity of the emission signal is maximized within the emission spectrum of each of the two fluorescent materials satisfy a predetermined condition (hereinafter, also referred to as "fluorescent material combination condition"). It can be determined by a combination of fluorescent materials having similar emission spectra.
  • a predetermined condition hereinafter, also referred to as "fluorescent material combination condition”
  • the first non-separation image is an image captured after labeling a first biomolecule included in a sample with a first fluorescent substance
  • a second non-separation image is an image obtained by labeling a first biomolecule included in a sample with a second fluorescent substance.
  • the first fluorescent material and the second fluorescent material may correspond to a fluorescent material combination having emission spectra similar to each other.
  • the processor 110 determines the first wavelength value at which the intensity of the emission signal is maximized within the emission spectrum of the first fluorescent material and the emission signal within the emission spectrum of the second fluorescent material.
  • the value of the second wavelength having the maximum intensity is less than or equal to a predetermined threshold value, it may be determined that the fluorescent material combination condition is satisfied. For example, as shown in FIG.
  • the wavelength value at which the intensity of the emission signal is maximum within the emission spectrum of “Alexa 405” (hereinafter also referred to as “maximum wavelength value of Alexa 405”) is about 420 nm
  • a wavelength value at which the intensity of an emission signal is maximized within the emission spectrum of "CF405S” (hereinafter, also referred to as “maximum wavelength value of CF405S”) may be about 430 nm.
  • a wavelength value at which the intensity of an emission signal is maximum within the emission spectrum of “ATTO 390” (hereinafter, also referred to as “maximum wavelength value of ATTO 390”) may be about 480 nm.
  • the maximum wavelength value of Alexa 405 eg 420 nm
  • the maximum wavelength value of CF405S eg 430 nm
  • the difference between the maximum wavelength value of Alexa 405 and the maximum wavelength value of ATTO 390 is 60 nm and is not less than a predetermined threshold value
  • Alexa 405 and ATTO 390 do not satisfy the fluorescent substance combination condition.
  • CF405S and ATTO 390 may also be determined to not satisfy the fluorescent substance combination condition because the difference between each maximum wavelength value is 50 nm.
  • the maximum wavelength value of Alexa 405 eg 420 nm
  • the maximum wavelength value of CF405S eg 430 nm
  • the difference between the maximum wavelength value of Alexa 405 and the maximum wavelength value of ATTO 390 is 60 nm, which is less than a predetermined threshold, it can be determined that Alexa 405 and ATTO 390 satisfy the fluorescent substance combination condition.
  • CF405S and ATTO 390 may also be determined to satisfy the fluorescent material combination condition because the difference between each maximum wavelength value is 50 nm.
  • the processor 110 determines the first wavelength value at which the intensity of the emission signal is maximized within the emission spectrum of the first fluorescent material and the emission signal within the emission spectrum of the second fluorescent material. It may be determined that the fluorescent material combination condition is satisfied when the ratio of the smaller wavelength value to the larger wavelength value among the second wavelength values having the maximum intensity of is greater than or equal to a predetermined threshold ratio.
  • predetermined threshold value or predetermined critical ratio As described above are only exemplary descriptions and do not limit the present disclosure, and the predetermined threshold value or predetermined critical ratio varies depending on the type of fluorescent material used in the dyeing process. It can be set to a real value.
  • a plurality of sequentially acquired non-separation images may be obtained based on light of a specific wavelength band identical or similar to each other in the same manner as in the above-described several embodiments, replacement of an emission filter, A plurality of unseparated images can be acquired more quickly and easily than conventional methods without additional processes such as removal of fluorescent materials.
  • the unmixing matrix when a plurality of unseparated images are images obtained by sequentially staining a plurality of biomolecules included in a sample, the unmixing matrix may be a triangular matrix.
  • an unmixing matrix that is a triangular matrix may be expressed as Equation 20 below.
  • the parameter ⁇ included in the unmixing matrix U of Equation 20 may be a parameter for weighted sum of unseparated images.
  • the two unseparated images are the first unseparated image (Y 1 ) obtained after staining the first biomolecule included in the sample in the ith staining process, respectively, and the same sample in the i+1st staining process. It may be referred to as a second unseparated image (Y 2 ) obtained by staining a second biomolecule included in , where i is a natural number equal to or greater than 1.
  • an unmixing matrix which is a triangular matrix
  • the first unseparated image (Y 1 ) is an image obtained after staining the first biomolecule included in the sample in the first staining process (ie, first-round staining) of the sample
  • the first biomolecule A separated image (X 1 ) for may be obtained as a first non-separated image (Y 1 ).
  • an unmixing matrix that is a triangular matrix may be expressed as Equation 21 below.
  • Each of the plurality of parameters ⁇ , ⁇ , and ⁇ included in the unmixing matrix U of Equation 21 may be a parameter for a weighted sum of unseparated images.
  • the three unseparated images are the first unseparated image (Y 1 ) obtained after staining the first biomolecule included in the sample in the ith staining process, and the same sample in the i+1st staining process.
  • the processor 110 weights the first unseparated image (Y 1 ), the second unseparated image (Y 2 ), and the third unseparated image (Y 3 ) using an unmixing matrix that is a triangular matrix, thereby obtaining the second living body.
  • An operation may be performed to obtain a separation image of a molecule and a separation image of a third biomolecule.
  • the first unseparated image Y 1 is an image obtained after staining the first biomolecule included in the sample in the first staining process (ie, first staining) of the sample
  • the first biomolecule A separated image (X 1 ) for may be obtained as a first non-separated image (Y 1 ).
  • the triangular matrix as the unmixing matrix has been described as a lower triangular matrix, but this does not limit the present disclosure, and the triangular matrix of the present disclosure is an upper triangular matrix. matrix).
  • the unmixing matrix according to the present disclosure may be a triangular matrix, and accordingly, the processor 110 operates more quickly.
  • a separated image of at least one biomolecule may be obtained by performing a matrix operation.
  • Various embodiments according to the disclosure of this specification may be implemented as software in a machine-readable storage medium.
  • the software may be software for implementing various embodiments of the present specification.
  • Software can be inferred from the various embodiments herein by programmers skilled in the art to which the disclosure herein pertains.
  • software may be a program containing machine-readable instructions (eg, code or code segments).
  • a device is a device capable of operating according to a command called from a storage medium, and may be, for example, a computer.
  • the device may be a computing device according to various embodiments herein.
  • the processor of the device may execute the invoked command so that components of the device perform functions corresponding to the command.
  • the processor may be a processor 110, 210 according to embodiments herein.
  • the storage medium may refer to all types of recording media in which data that can be read by a device is stored.
  • the storage medium may include, for example, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like.
  • the storage medium may be a memory (130, 230).
  • the storage medium may be implemented in a distributed form such as a computer system connected to a network.
  • the software may be distributed, stored, and executed on a computer system or the like.
  • the storage medium may be a non-transitory storage medium.
  • a non-transitory storage medium means a tangible medium regardless of whether data is stored semi-permanently or temporarily, and does not include a signal propagated temporarily.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Hematology (AREA)
  • Molecular Biology (AREA)
  • Urology & Nephrology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Microbiology (AREA)
  • Cell Biology (AREA)
  • Biotechnology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

본 발명은 하나 이상의 프로세서 및 메모리를 포함하는 전자장치에서 수행되는 이미지 처리 방법에 관한 것으로, 제1 형광물질로 표시된 제1 생체 분자 및 표지되지 않은 제2 생체분자를 포함하는 시료에 대한 제1 미분리 이미지를 획득하는 단계, 제1 형광 물질로 표지된 제1 생체 분자 및 제2 형광 물질로 표지된 제2 생체 분자를 포함하는 시료에 대한 제 2 미분리 이미지를 획득하는 단계 및 제1 미분리 이미지 및 제2 미분리 이미지에 기초하여 제2 미분리 이미지에 기초하여 제2 생체 분자에 대한 분리 이미지를 생성하는 단계를 포함하는 것을 특징으로 한다.

Description

이미지를 처리하는 장치 및 방법
본 개시는 이미지를 처리하기 위한 기술에 관한 것이다.
생체 시료에 대한 형광 이미징 기법은 시료에 포함된 생체 분자를 형광 물질로 표지한 후, 이 형광 물질에서 방출되는 빛을 촬영하여 시료 내부의 생체 물질을 간접적으로 관찰할 수 있는 기법이다. 형광 물질에 빛을 조사하면, 형광 물질은 빛을 흡수하여 여기(excitation)된 후 다시 빛을 방출(emission)하는데, 이 때 흡수한 빛보다 긴 파장의 빛을 방출하게 된다. 예를 들어, 형광 물질은 특정 파장대(예를 들면, 350~400nm)의 빛을 흡수해서 특정 파장대(예를 들면, 400~600nm)의 빛을 방출한다. 이때 형광 물질이 파장 별로 여기되는 정도를 나타낸 것을 여기 스펙트럼(excitation spectrum)이라고 하고, 파장 별로 방출하는 빛의 세기를 나타낸 것을 방출 스펙트럼(emission spectrum)이라고 한다.
종래 기술에 따르면, 시료에 포함된 복수의 생체 분자를 관찰하기 위해서는 방출 스펙트럼이 최대한 겹치지 않아야 하는 제약이 있었고, 그에 따라 동시에 관찰할 수 있는 형광 물질의 수가 제한적이라는 한계가 있었다.
본 개시는 이미지를 처리하기 위한 기술을 제공한다.
본 개시의 한 측면으로서, 이미지 처리 방법이 제안될 수 있다. 상기 방법은 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되기 위한 명령들이 저장된 하나 이상의 메모리를 포함하는 전자 장치에서 수행되는 이미지 처리 방법으로서, 제1 형광 물질로 표지된 제1 생체 분자 및 표지되지 않은 제2 생체 분자를 포함하는 시료(sample)에 대한 제1 미분리 이미지를 획득하는 단계; 상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 제2 형광 물질로 표지된 상기 제2 생체 분자를 포함하는 상기 시료에 대한 제2 미분리 이미지를 획득하는 단계; 및 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지에 기초하여, 상기 제2 생체 분자에 대한 분리 이미지를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지는 각각 상기 시료로부터 동일한 특정 파장대의 빛을 검출함으로써 촬영된 이미지일 수 있다.
일 실시예에서, 상기 제1 미분리 이미지와 상기 제2 미분리 이미지는 각각 동일한 방출 필터에 기초하여 획득된 이미지이고, 상기 방출 필터는 특정 파장대의 빛을 통과시키는 필터일 수 있다.
일 실시예에서, 상기 제1 형광 물질 및 상기 제2 형광 물질은 서로 동일한 형광 물질일 수 있다.
일 실시예에서, 상기 제1 형광 물질 및 상기 제2 형광 물질은, 상기 제1 형광 물질의 방출 스펙트럼(spectrum) 내에서 방출 신호의 세기가 최대가 되는 제1 파장 값; 및 상기 제2 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제2 파장 값이 소정의 조건을 만족하도록 결정될 수 있다.
일 실시예에서, 상기 소정의 조건은, 상기 제1 파장 값 및 상기 제2 파장 값의 차이 값이 사전 결정된 임계 값 이하인 경우에 만족되는 조건일 수 있다.
일 실시예에서, 상기 소정의 조건은, 상기 제1 파장 값 및 상기 제2 파장 값 중 더 큰 파장 값에 대한 더 작은 파장 값의 비율이 사전 결정된 임계 비율 이상인 경우에 만족되는 조건일 수 있다.
일 실시예에서, 상기 제2 미분리 이미지는, 상기 시료에 대한 상기 제1 미분리 이미지를 촬영한 후, 상기 시료에 포함된 상기 제2 생체 분자를 상기 제2 형광 물질로 표지하고 그리고 상기 시료를 촬영함으로써 획득될 수 있다.
일 실시예에서, 상기 분리 이미지를 생성하는 단계는, 언믹싱(Unmixing) 행렬을 이용하여 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지를 연산하는 단계를 포함할 수 있다.
일 실시예에서, 상기 언믹싱 행렬에 포함된 적어도 하나의 원소의 값은 학습된 인공 신경망 모델에 기초하여 결정될 수 있다.
일 실시예에서, 상기 제1 형광 물질로 표지된 상기 제1 생체 분자, 상기 제2 형광 물질로 표지된 상기 제2 생체 분자 및 제3 형광 물질로 표지된 제3 생체 분자를 포함하는 상기 시료에 대한 제3 미분리 이미지를 획득하는 단계를 더 포함하고, 상기 생성하는 단계는, 상기 제3 미분리 이미지에 추가적으로 기초하여, 상기 제3 생체 분자에 대한 분리 이미지를 생성하는 단계를 포함할 수 있다. 상기 제1 미분리 이미지는 표지되지 않은 상기 제2 생체 분자 및 표지되지 않은 상기 제3 생체 분자를 포함하는 시료를 촬영함으로써 획득된 이미지이고, 상기 제2 미분리 이미지는 표지되지 않은 상기 제3 생체 분자를 포함하는 시료를 촬영함으로써 획득된 이미지일 수 있다.
일 실시예에서, 상기 제2 미분리 이미지는, 상기 시료에 대한 상기 제1 미분리 이미지를 촬영한 후, 상기 시료에 포함된 상기 제2 생체 분자를 상기 제2 형광 물질로 표지하고 그리고 상기 시료를 촬영함으로써 획득되고, 상기 제3 미분리 이미지는, 상기 시료에 대한 상기 제2 미분리 이미지를 촬영한 후, 상기 시료에 포함된 상기 제3 생체 분자를 상기 제3 형광 물질로 표지하고 그리고 상기 시료를 촬영함으로써 획득될 수 있다.
본 개시의 다른 측면에 따르면, 이미지 처리를 위한 전자 장치가 제안될 수 있다. 상기 전자 장치는, 하나 이상의 프로세서; 및 상기 하나 이상의 프로세서에 의해 실행되기 위한 명령들이 저장된 하나 이상의 메모리를 포함하고, 상기 하나 이상의 프로세서는, 제1 형광 물질로 표지된 제1 생체 분자 및 표지되지 않은 제2 생체 분자를 포함하는 시료(sample)에 대한 제1 미분리 이미지를 획득하고, 상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 제2 형광 물질로 표지된 상기 제2 생체 분자를 포함하는 상기 시료에 대한 제2 미분리 이미지를 획득하고, 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지에 기초하여, 상기 제2 생체 분자에 대한 분리 이미지를 생성할 수 있다.
일 실시예에서, 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지는 각각 상기 시료에 대해 동일한 특정 파장대의 빛을 검출함으로써 촬영된 이미지일 수 있다.
일 실시예에서, 상기 제1 미분리 이미지와 상기 제2 미분리 이미지는 각각 동일한 방출 필터에 기초하여 획득된 이미지이고, 상기 방출 필터는 특정 파장대의 빛을 통과시키는 필터일 수 있다.
일 실시예에서, 상기 제1 형광 물질 및 상기 제2 형광 물질은 서로 동일한 형광 물질일 수 있다.
일 실시예에서, 상기 제1 형광 물질 및 상기 제2 형광 물질은, 상기 제1 형광 물질의 방출 스펙트럼(spectrum) 내에서 방출 신호의 세기가 최대가 되는 제1 파장 값; 및 상기 제2 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제2 파장 값이 소정의 조건을 만족하도록 결정될 수 있다.
일 실시예에서, 상기 제2 미분리 이미지는, 상기 시료에 대한 상기 제1 미분리 이미지를 촬영한 후, 상기 시료에 포함된 상기 제2 생체 분자를 상기 제2 형광 물질로 표지하고 그리고 상기 시료를 촬영함으로써 획득될 수 있다.
일 실시예에서, 상기 전자 장치는, 촬영부를 더 포함하고, 상기 하나 이상의 프로세서는, 상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 표지되지 않은 상기 제2 생체 분자를 포함하는 상기 시료를 상기 촬영부를 통해 촬영함으로써 상기 제1 미분리 이미지를 획득하고, 상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 상기 제2 형광 물질로 표지된 상기 제2 생체 분자를 포함하는 상기 시료를 상기 촬영부를 통해 촬영함으로써 상기 제2 미분리 이미지를 획득할 수 있다.
일 실시예에서, 상기 하나 이상의 프로세서는, 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지 사이에서 산출되는 의존성 평가 값에 기초하여 상기 분리 이미지를 생성할 수 있다.
일 실시예에서, 상기 의존성 평가 값은, 상호 정보량, 쿨벡-라이블러 발산(Kullback-Leibler Divergence) 값, 교체 엔트로피 값 또는 랜드 지수(Rand Index) 중 적어도 하나일 수 있다.
일 실시예에서, 상기 하나 이상의 프로세서는, 학습된 인공 신경망이 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지에 기초하여 산출한 출력 값에 기초하여 상기 분리 이미지를 생성할 수 있다.
본 개시의 또 다른 측면으로서, 이미지 처리를 위한 명령들을 기록한 비일시적 컴퓨터 판독 가능 기록매체가 제안될 수 있다. 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가 동작을 수행하도록 하는 명령들을 기록한 비일시적 컴퓨터 판독 가능 기록 매체에 있어서, 상기 명령들은, 상기 하나 이상의 프로세서로 하여금, 제1 형광 물질로 표지된 제1 생체 분자 및 표지되지 않은 제2 생체 분자를 포함하는 시료(sample)에 대한 제1 미분리 이미지를 획득하고, 상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 제2 형광 물질로 표지된 상기 제2 생체 분자를 포함하는 상기 시료에 대한 제2 미분리 이미지를 획득하고, 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지에 기초하여, 상기 제2 생체 분자에 대한 분리 이미지를 생성하도록 할 수 있다.
본 개시에 따른 이미지 처리 방법은 종래의 방법이 요구하는 형광 물질 비활성 또는 제거 과정을 요구하지 않음으로써 이미지 처리에 소요되는 시간을 단축시킬 수 있다.
도 1은 본 개시의 일 실시예에 따른 서버, 사용자 단말 및 통신망을 포함하는 시스템을 도시한 도면이다.
도 2는 본 명세서에 개시된 내용의 일 실시예에 따른 서버의 블록도이다.
도 3은 본 명세서에 개시된 내용의 일 실시예에 따른 사용자 단말의 블록도이다.
도 4는 종래의 이미지 처리 방법에서 생체 분자를 표지하기 위해 사용되는 형광 물질의 특성에 관한 예시도이다.
도 5는 본 개시의 일 실시예에 따라 복수의 미분리 이미지로부터 복수의 분리 이미지를 생성하는 과정을 개념적으로 도시한 개념도이다.
도 6은 본 개시의 일 실시예에 따라 시료에 관한 복수의 미분리 이미지로부터 언믹싱 행렬을 이용하여 복수의 생체 분자 각각에 대한 분리 이미지를 생성하는 서버의 동작을 나타내는 흐름도이다.
도 7은 본 개시의 일 실시예에 따라 다채널 이미지로부터 서로 상이한 방법으로 결정된 히스토그램(Histogram)을 나타내는 예시도이다.
도 8은 본 개시의 일 실시예에 따라 복수의 단채널 이미지 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 히스토그램을 결정하는 서버의 동작을 나타내는 순서도이다
도 9는 본 개시의 일 실시예에 따라 복수의 단채널 이미지 각각에 포함된 서로 상이한 위치의 픽셀의 값에 기초하여 히스토그램을 결정하는 서버의 동작을 나타내는 순서도이다
도 10은 본 개시의 다른 일 실시예에 따라 다채널 이미지로부터 서로 상이한 방법으로 결정된 히스토그램을 나타내는 예시도이다.
도 11은 본 개시의 일 실시예에 따라 언믹싱 행렬의 파라미터를 갱신하는 서버의 동작을 나타내는 순서도이다.
도 12는 본 개시의 일 실시예에 따른 인공 신경망 모델에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 과정을 개념적으로 도시한 개념도이다.
도 13은 본 개시의 다른 일 실시예에 따른 인공 신경망 모델에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 과정을 개념적으로 도시한 개념도이다.
도 14는 본 개시의 일 실시예에 따라 복수의 이미지를 순차적으로 획득하는 과정을 예시한 개념도이다.
도 15는 본 개시의 일 실시예에 따라 순차적으로 획득된 복수의 미분리 이미지 중 연속하는 두 개의 미분리 이미지로부터 적어도 하나의 생체 분자에 대한 분리 이미지를 획득하는 방법을 예시적으로 도시한 개념도이다.
도 16은 본 개시의 일 실시예에 따라 순차적으로 획득된 복수의 미분리 이미지 중 연속하는 세 개의 미분리 이미지로부터 적어도 두 생체 분자에 대한 분리 이미지를 획득하는 방법을 예시적으로 도시한 개념도이다.
도 17은 본 개시의 일 실시예에 따라 연속하는 두 개의 미분리 이미지에 기초하여 적어도 하나의 생체 분자에 대한 분리 이미지를 생성하는 서버의 동작을 나타내는 순서도이다.
도 18은 복수의 형광 물질이 갖는 방출 스펙트럼 및 특정 방출 필터가 통과시키는 파장대를 예시적으로 표시한 도면이다.
도 19는 복수의 형광 물질이 갖는 방출 스펙트럼 및 각 방출 스펙트럼에서 신호의 세기가 최대가 되는 파장 값을 예시적으로 나타내는 도면이다.
본 문서에 기재된 다양한 실시예들은, 본 개시의 기술적 사상을 명확히 설명하기 위한 목적으로 예시된 것이며, 이를 특정한 실시 형태로 한정하려는 것이 아니다. 본 개시의 기술적 사상은, 본 문서에 기재된 각 실시예의 다양한 변경(modifications), 균등물(equivalents), 대체물(alternatives) 및 각 실시예의 전부 또는 일부로부터 선택적으로 조합된 실시예를 포함한다. 또한 본 개시의 기술적 사상의 권리 범위는 이하에 제시되는 다양한 실시예들이나 이에 대한 구체적 설명으로 한정되지 않는다.
기술적이거나 과학적인 용어를 포함해서, 본 문서에서 사용되는 용어들은, 달리 정의되지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 의미를 가질 수 있다.
본 문서에서 사용되는 "포함한다", "포함할 수 있다", "구비한다", "구비할 수 있다", "가진다", "가질 수 있다" 등과 같은 표현들은, 대상이 되는 특징(예를 들어, 기능, 동작 또는 구성요소 등)이 존재함을 의미하며, 다른 추가적인 특징의 존재를 배제하지 않는다. 즉, 이와 같은 표현들은 다른 실시예를 포함할 가능성을 내포하는 개방형 용어(open-ended terms)로 이해되어야 한다.
본 문서에서 사용되는 단수형의 표현은, 문맥상 다르게 뜻하지 않는 한 복수형의 의미를 포함할 수 있으며, 이는 청구항에 기재된 단수형의 표현에도 마찬가지로 적용된다.
본 문서에서 사용되는 "제1", "제2", 또는 "첫째", "둘째" 등의 표현은, 문맥상 다르게 뜻하지 않는 한, 복수의 동종 대상들을 지칭함에 있어 한 대상을 다른 대상과 구분하기 위해 사용되며, 해당 대상들 간의 순서 또는 중요도를 한정하는 것은 아니다. 예를 들어, 본 개시에 따른 복수의 형광 물질들은 각각 "제1 형광 물질", "제2 형광 물질"과 같이 표현됨으로써 서로 구분될 수 있다. 또한, 본 개시에 따른 복수의 입력 이미지들은 각각 "제1 입력 이미지", "제2 입력 이미지"와 같이 표현됨으로써 서로 구분될 수 있다. 마찬가지로, "생체 분자", "분리 이미지", "확률 분포" 등 본 개시에서 사용되는 용어들은 "제1", "제2" 등의 표현에 의해 서로 구분될 수 있다.
본 문서에서 사용되는 "A, B, 및 C," "A, B, 또는 C," "A, B, 및 C 중 적어도 하나" 또는 "A, B, 또는 C 중 적어도 하나" 등의 표현은, 각각의 나열된 항목 또는 나열된 항목들의 가능한 모든 조합들을 의미할 수 있다. 예를 들어, "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A, (2) 적어도 하나의 B, (3) 적어도 하나의 A 및 적어도 하나의 B를 모두 지칭할 수 있다.
본 문서에서 사용되는 "부"라는 표현은, 소프트웨어, 또는 FPGA(Field-Programmable Gate Array), ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미할 수 있다. 그러나, "부"는 하드웨어 및 소프트웨어에 한정되는 것은 아니다. "부"는 어드레싱할 수 있는 저장 매체에 저장되어 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 일 실시예에서, "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세서, 함수, 속성, 프로시저, 서브루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조, 테이블, 어레이 및 변수를 포함할 수 있다.
본 문서에서 사용되는 "~에 기초하여"라는 표현은, 해당 표현이 포함되는 어구 또는 문장에서 기술되는, 결정, 판단의 행위 또는 동작에 영향을 주는 하나 이상의 인자를 기술하는 데에 사용되고, 이 표현은 해당 결정, 판단의 행위 또는 동작에 영향을 주는 추가적인 인자를 배제하지 않는다.
본 문서에서 사용되는, 어떤 구성요소(예를 들어, 제1 구성요소)가 다른 구성요소(예를 들어, 제2 구성요소)에 "연결되어" 있다거나 "접속되어" 있다는 표현은, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결 또는 접속되는 것뿐 아니라, 새로운 다른 구성요소(예를 들어, 제3 구성요소)를 매개로 하여 연결 또는 접속되는 것을 의미할 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(configured to)"은 문맥에 따라, "~하도록 설정된", "~하는 능력을 가지는", "~하도록 변경된", "~하도록 만들어진", "~를 할 수 있는" 등의 의미를 가질 수 있다. 해당 표현은, "하드웨어적으로 특별히 설계된"의 의미로 제한되지 않으며, 예를 들어 특정 동작을 수행하도록 구성된 프로세서란, 소프트웨어를 실행함으로써 그 특정 동작을 수행할 수 있는 범용 프로세서(generic purpose processor)를 의미하거나, 해당 특정 동작을 수행하도록 프로그래밍을 통해 구조화된 특수 목적 컴퓨터(special purpose computer)를 의미할 수 있다.
본 개시에서, 인공지능(artificial intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직의 개념을 포함할 수 있다. 기계 학습(machine learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술일 수 있다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터들 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 기반으로 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어의 기술 분야가 포함될 수 있다.
본 개시에서, 기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 인공 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화 해나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 인공 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는 인공 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.
본 개시에서, 인공 신경망, 인공지능 학습 모델, 기계 학습 모델 또는 인공 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공 신경망에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 인공 신경망은, 예를 들어, 인공 신경망 모델(artificial neural network), 합성곱 신경망 모델(convolution neural network) 등일 수 있다.
이하, 첨부된 도면들을 참조하여, 본 개시의 다양한 실시예들을 설명한다. 첨부된 도면 및 도면에 대한 설명에서, 동일하거나 실질적으로 동등한(substantially equivalent) 구성요소에는 동일한 참조부호가 부여될 수 있다. 또한, 이하 다양한 실시예들의 설명에서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있으나, 이는 해당 구성요소가 그 실시예에 포함되지 않는 것을 의미하지는 않는다.
도 1은 본 개시의 일 실시예에 따른 서버(100), 사용자 단말(200) 및 통신망(300)을 포함하는 시스템을 도시한 도면이다. 서버(100)와 사용자 단말(200) 통신망(300)을 통해 서로 정보를 주거나 받을 수 있다.
서버(100)는 본 개시에 따른 이미지 처리 동작을 수행하는 전자 장치일 수 있다. 서버(100)는, 유선 또는 무선으로 연결된 사용자 단말(200)에게 정보를 전송하거나 이미지 처리 결과를 전송하는 전자 장치로서, 예를 들어, 애플리케이션 서버, 프록시 서버, 클라우드 서버 등일 수 있다.
사용자 단말(200)은 이미지 처리 결과를 수신하고자 하는 사용자의 단말일 수 있다. 사용자 단말(200)은, 예를 들어, 스마트폰, 태블릿 컴퓨터(Tablet Computer), PC(Personal Computer), 이동 전화기(Mobile Phone), PDA(Personal Digital Assistant), 오디오 플레이어, 웨어러블 장치(Wearable Device) 중 적어도 하나일 수 있다. 통신망(300)은 유선 또는 무선 통신망을 모두 포함할 수 있다.
통신망(300)은 서버(100)와 사용자 단말(200) 사이에서 데이터가 교환되도록 할 수 있다. 유선 통신망은 예를 들어, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), RS-232(Recommended Standard-232) 또는 POTS(Plain Old Telephone Service) 등의 방식에 따른 통신망을 포함할 수 있다. 무선 통신망은 예를 들어, eMBB(enhanced Mobile Broadband),　URLLC(Ultra Reliable Low-Latency Communications), MMTC(Massive Machine Type Communications), LTE(Long-Term Evolution), LTE-A(LTE Advance), NR(New Radio), UMTS(Universal Mobile Telecommunications System), GSM(Global System for Mobile communications), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), WiBro(Wireless Broadband), WiFi(Wireless Fidelity), 블루투스(Bluetooth), NFC(Near Field Communication), GPS(Global Positioning System) 또는 GNSS(Global Navigation Satellite System) 등의 방식에 따른 통신망을 포함할 수 있다. 본 명세서의 통신망(300)은 상술한 예시들에 한정되지 않으며, 복수의 주체 또는 장치 사이에서 데이터가 교환되도록 하는 다양한 종류의 통신망을 제한없이 포함할 수 있다.
본 명세서의 개시 내용에서 일 장치의 구성 또는 동작을 설명할 때, "장치"라는 용어는 설명의 대상이 된 장치를 지칭하기 위한 용어이고, "외부 장치"라는 용어는 설명의 대상이 된 장치의 관점에서 볼 때 외부에 존재하는 장치를 지칭하기 위한 용어로서 각각 사용될 수 있다. 예를 들어 서버(100)를 "장치"로 두고 설명할 경우, 서버(100)의 관점에서 사용자 단말(200)은 "외부 장치"로 불릴 수 있다. 또한, 예를 들어 사용자 단말(200)을 "장치"로 두고 설명할 경우, 사용자 단말(200)의 관점에서 서버(100)는 "외부 장치"로 불릴 수 있다. 즉, 서버(100) 및 사용자 단말(200) 각각은 동작 주체의 관점에 따라 각각 "장치" 및 "외부 장치"로 지칭되거나 각각 "외부 장치" 및 "장치"로 지칭될 수 있다.
도 2는 본 명세서에 개시된 내용의 일 실시예에 따른 서버(100)의 블록도이다. 서버(100)는 하나 이상의 프로세서(110), 통신 인터페이스(120) 또는 메모리(130)를 구성요소로서 포함할 수 있다. 어떤 실시예에서는, 서버(100)의 이 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 서버(100)에 추가될 수 있다. 어떤 실시예에서는, 추가적으로 또는 대체적으로(in alternative to), 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 서버(100) 내부 또는 외부의 구성요소들 중 적어도 일부의 구성요소들은 버스, GPIO(General Purpose Input/Output), SPI(Serial Peripheral Interface) 또는 MIPI(Mobile Industry Processor Interface) 등을 통해 서로 연결됨으로써 데이터 또는 시그널을 주거나 받을 수 있다.
하나 이상의 프로세서(110)는 프로세서(110)라고 표현될 수 있다. 프로세서(110)라는 용어는, 문맥상 명백히 다르게 표현하지 않는 이상, 하나 또는 그 이상의 프로세서의 집합을 의미할 수 있다. 프로세서(110)는 소프트웨어(예를 들어, 명령, 프로그램 등)를 구동하여 프로세서(110)와 연결된 서버(100)의 적어도 하나의 구성요소를 제어할 수 있다. 또한 프로세서(110)는 다양한 연산, 처리, 데이터 생성 또는 가공 등의 동작을 수행할 수 있다. 또한 프로세서(110)는 데이터 등을 메모리(130)로부터 로드하거나 메모리(130)에 저장할 수 있다.
통신 인터페이스(120)는, 서버(100)와 다른 장치(예를 들어, 사용자 단말(200) 또는 다른 서버) 사이의 무선 또는 유선 통신을 수행할 수 있다. 예를 들어, 통신 인터페이스(120)는 eMBB,　URLLC, MMTC, LTE, LTE-A, NR, UMTS, GSM, CDMA, WCDMA, WiBro, WiFi, 블루투스, NFC, GPS 또는 GNSS 등의 방식에 따른 무선 통신을 수행할 수 있다. 또한, 예를 들어, 통신 인터페이스(120)는 USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), RS-232(Recommended Standard-232) 또는 POTS(Plain Old Telephone Service) 등의 방식에 따른 유선 통신을 수행할 수 있다.
메모리(130)는 다양한 데이터를 저장할 수 있다. 메모리(130)에 저장되는 데이터는, 서버(100)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나 또는 사용되는 데이터로서, 소프트웨어(예를 들어, 명령, 프로그램 등)를 포함할 수 있다. 메모리(130)는 휘발성 또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)라는 용어는, 문맥상 명백히 다르게 표현하지 않는 이상, 하나 또는 그 이상의 메모리의 집합을 의미할 수 있다. 본 명세서에서 언급되는 "메모리(130)에 저장되는 명령(Instruction)들의 집합" 또는 "메모리(130)에 저장되는 프로그램"이라는 표현은, 서버(100)의 리소스를 제어하기 위한 운영체제, 어플리케이션 또는 어플리케이션이 서버(100)의 리소스들을 활용할 수 있도록 어플리케이션에 다양한 기능을 제공하는 미들 웨어 등을 지칭하기 위해 사용될 수 있다. 일 실시예에서, 프로세서(110)가 특정 연산을 수행할 때, 메모리(130)는 프로세서(110)에 의해 수행되고 특정 연산에 대응되는 명령들을 저장할 수 있다.
일 실시예에서, 서버(100)는 프로세서(110)의 연산 결과에 따른 데이터, 통신 인터페이스(120)에 의해 수신된 데이터 또는 메모리(130)에 저장된 데이터 등을 외부 장치로 전송할 수 있다. 외부 장치는 수신된 데이터를 표출, 표시 또는 출력하기 위한 장치일 수 있다.
일 실시예에서, 서버(100)는 입력부(140)를 더 포함할 수 있다. 입력부(140)는 외부로부터 수신된 데이터를 서버(100)에 포함된 적어도 하나의 구성요소로 전달하는 구성요소일 수 있다. 예를 들어, 입력부(140)는 마우스, 키보드, 또는 터치 패드 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 서버(100)는 출력부(150)를 더 포함할 수 있다. 출력부(150)는 서버(100)에서 처리되는 정보를 표시(출력)하거나 외부로 전송(송출)할 수 있다. 예를 들어, 출력부(150)는 서버(100)에서 처리되는 정보를 시각적으로 표시할 수 있다. 출력부(150)는 UI(User Interface) 정보 또는 GUI(Graphic User Interface) 정보 등을 표시할 수 있다. 이 경우, 출력부(150)는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT-LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(E-ink Display) 중에서 적어도 하나를 포함할 수 있다. 또한, 예를 들어, 출력부(150)는 서버(100)에서 처리되는 정보를 청각적으로 표시할 수 있다. 출력부(150)는 임의의 오디오 파일 포맷(예를 들어, MP3, FLAC, WAV 등) 방식을 따르는 오디오 데이터를 음향 장치를 통해 표시할 수 있다. 이 경우, 출력부(150)는 스피커, 헤드셋, 헤드폰 중 적어도 하나를 포함할 수 있다. 또한, 예를 들어, 출력부(150)는 서버(100)에서 처리되는 정보를 외부의 출력 장치로 전송할 수도 있다. 출력부(150)는 서버(100)에서 처리되는 정보를 통신 인터페이스(120)를 이용하여 외부의 출력 장치로 전송 또는 송출할 수 있다. 출력부(150)는 서버(100)에서 처리되는 정보를 별도의 출력용 통신 인터페이스를 이용하여 외부의 출력 장치로 전송 또는 송출할 수도 있다.
일 실시예에서, 서버(100)는 촬영부(미도시)를 더 포함할 수 있다. 촬영부는 예를 들어, 카메라 또는 현미경 장치를 구비한 카메라 등일 수 있다. 프로세서(110)는 촬영부를 제어함으로써 대상물(예를 들어, 시료)의 이미지를 촬영하고, 촬영된 이미지를 획득하거나 메모리(130)에 저장할 수 있다. 또는 서버(100)가 출력부(150)를 포함하는 경우, 프로세서(110)는 촬영부를 제어하여 대상물의 이미지를 촬영하고, 촬영된 이미지를 출력부(150)에 표시할 수도 있다. 다른 실시예에서, 서버(100)는 촬영된 이미지를 외부의 촬영 장치로부터 획득할 수도 있다.
도 3은 본 명세서에 개시된 내용의 일 실시예에 따른 사용자 단말(200)의 블록도이다. 사용자 단말(200)은 하나 이상의 프로세서(210), 통신 인터페이스(220) 또는 메모리(230)를 구성요소로서 포함할 수 있다. 또한 사용자 단말(200)은 입력부(240) 또는 출력부(250) 중 적어도 하나를 더 포함할 수도 있다.
프로세서(210)는 소프트웨어(예를 들어, 명령, 프로그램 등)를 구동하여 프로세서(110)와 연결된 사용자 단말(200)의 적어도 하나의 구성요소를 제어할 수 있다. 또한 프로세서(210)는 다양한 연산, 처리, 데이터 생성 또는 가공 등의 동작을 수행할 수 있다. 또한 프로세서(210)는 데이터 등을 메모리(230)로부터 로드하거나 메모리(230)에 저장할 수 있다.
통신 인터페이스(220)는, 사용자 단말(200)과 다른 장치(예를 들어, 서버(100) 또는 다른 사용자 단말) 사이의 무선 또는 유선 통신을 수행할 수 있다. 예를 들어, 통신 인터페이스(220)는 eMBB,　URLLC, MMTC, LTE, LTE-A, NR, UMTS, GSM, CDMA, WCDMA, WiBro, WiFi, 블루투스, NFC, GPS 또는 GNSS 등의 방식에 따른 무선 통신을 수행할 수 있다. 또한, 예를 들어, 통신 인터페이스(220)는 USB, HDMI, RS-232 또는 POTS 등의 방식에 따른 유선 통신을 수행할 수 있다.
메모리(230)는 다양한 데이터를 저장할 수 있다. 메모리(230)에 저장되는 데이터는, 사용자 단말(200)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나 또는 사용되는 데이터로서, 소프트웨어(예를 들어, 명령, 프로그램 등)를 포함할 수 있다. 메모리(230)는 휘발성 또는 비휘발성 메모리를 포함할 수 있다. 메모리(230)라는 용어는, 문맥상 명백히 다르게 표현하지 않는 이상, 하나 또는 그 이상의 메모리의 집합을 의미할 수 있다. 본 명세서에서 언급되는 "메모리(230)에 저장되는 명령(Instruction)들의 집합" 또는 "메모리(230)에 저장되는 프로그램"이라는 표현은, 사용자 단말(200)의 리소스를 제어하기 위한 운영체제, 어플리케이션 또는 어플리케이션이 사용자 단말(200)의 리소스들을 활용할 수 있도록 어플리케이션에 다양한 기능을 제공하는 미들 웨어 등을 지칭하기 위해 사용될 수 있다. 일 실시예에서, 프로세서(210)가 특정 연산을 수행할 때, 메모리(230)는 프로세서(210)에 의해 수행되고 특정 연산에 대응되는 명령들을 저장할 수 있다.
일 실시예에서, 사용자 단말(200)은 입력부(240)를 더 포함할 수 있다. 입력부(240)는 외부로부터 수신된 데이터를 사용자 단말(200)에 포함된 적어도 하나의 구성요소로 전달하는 구성요소일 수 있다. 예를 들어, 입력부(240)는 마우스, 키보드, 또는 터치 패드 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 사용자 단말(200)은 출력부(250)를 더 포함할 수 있다. 출력부(250)는 사용자 단말(200)에서 처리되는 정보를 표시(출력)하거나 외부로 전송(송출)할 수 있다. 예를 들어, 출력부(250)는 사용자 단말(200)에서 처리되는 정보를 시각적으로 표시할 수 있다. 출력부(250)는 UI(User Interface) 정보 또는 GUI(Graphic User Interface) 정보 등을 표시할 수 있다. 이 경우, 출력부(250)는 액정 디스플레이(LCD), 박막 트랜지스터 액정 디스플레이(TFT-LCD), 유기 발광 다이오드(OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(E-ink Display) 중에서 적어도 하나를 포함할 수 있다. 또한, 예를 들어, 출력부(250)는 사용자 단말(200)에서 처리되는 정보를 청각적으로 표시할 수 있다. 출력부(250)는 임의의 오디오 파일 포맷(예를 들어, MP3, FLAC, WAV 등) 방식을 따르는 오디오 데이터를 음향 장치를 통해 표시할 수 있다. 이 경우, 출력부(250)는 스피커, 헤드셋, 헤드폰 중 적어도 하나를 포함할 수 있다. 또한, 예를 들어, 출력부(250)는 사용자 단말(200)에서 처리되는 정보를 외부의 출력 장치로 전송할 수도 있다. 출력부(250)는 사용자 단말(200)에서 처리되는 정보를 통신 인터페이스(220)를 이용하여 외부의 출력 장치로 전송 또는 송출할 수 있다. 출력부(250)는 사용자 단말(200)에서 처리되는 정보를 별도의 출력용 통신 인터페이스를 이용하여 외부의 출력 장치로 전송 또는 송출할 수도 있다.
일 실시예에서, 사용자 단말(200)은 촬영부(미도시)를 더 포함할 수 있다. 촬영부는 예를 들어, 카메라 또는 현미경 장치를 구비한 카메라 등일 수 있다. 프로세서(210)는 촬영부를 제어함으로써 대상물(예를 들어, 시료)의 이미지를 촬영하고, 촬영된 이미지를 획득하거나, 메모리(230)에 저장할 수 있다. 사용자 단말(200)은 촬영된 이미지를 출력부(250)에 표시할 수 있다. 사용자 단말(200)은 촬영된 이미지를 서버(100)로 전송할 수 있다. 또한, 사용자 단말(200)은 외부의 촬영 장치로부터 촬영된 이미지를 획득할 수도 있다.
이하의 설명에서는 설명의 편의상 동작 주체가 생략될 수 있으나, 이 경우 각각의 동작들은 서버(100)에 의해 수행되는 것으로 이해될 수 있다. 단, 본 개시에 따른 방법은 사용자 단말(200)에 의해 수행될 수도 있고, 방법에 포함된 동작들 중 일부는 사용자 단말(200)에서 수행되고 나머지는 서버(100)에서 수행될 수도 있다.
도 4는 종래의 이미지 처리 방법에서 생체 분자를 표지하기 위해 사용되는 형광 물질의 특성에 관한 예시도이다. 일반적으로 하나의 생체 시료(Sample)에서 여러 생체 분자를 관찰하기 위해서는 여러 생체 분자를 서로 다른 형광 물질로 표지(labeling)한 후, 각 생체 분자에 대한 이미지를 개별적으로 얻는 것이 필요하다. 본 개시에서 생체 시료는 간략히 "시료"라고 지칭될 수 있다. 시료에 포함된 각 생체 분자에 대한 이미지는, 예를 들어, 형광 물질이 반응하는 특정 파장의 빛을 형광 물질에 조사하고, 그 결과로 여기된(excited) 형광 물질로부터 방출되는 빛을 대응되는 방출 필터로 필터링하고 방출 필터가 통과시킨 빛을 촬영함으로써 획득될 수 있다. 본 개시에서 "방출 필터"란 특정 파장대의 빛을 통과시키는 필터(Filter)일 수 있다.
형광 물질이 방출하는 빛의 방출 스펙트럼에 관한 제1 그래프(401)는 복수의 형광 물질들(Alexa 405, Alexa 488, Alexa 546, Alexa 647)의 방출 스펙트럼을 예시적으로 나타낸다.
형광 물질 "Alexa 405"는 특정 파장대의 빛을 흡수한 후 대략 400nm와 500nm 사이의 파장을 갖는 빛을 방출하는 형광 물질일 수 있다. 형광 물질 "Alexa 405"에 의해 염색된 생체 분자에 대한 이미지는, 형광 물질 "Alexa 405"로부터 방출되는 빛을 제1 방출 필터로 필터링하고 제1 방출 필터가 통과시키는 파장대(410)의 빛을 촬영함으로써 획득될 수 있다. 제1 방출 필터가 통과시키는 파장대(410)는, 예를 들어, 470nm 이상 520nm 이하일 수 있다.
형광 물질 "Alexa 488"은 특정 파장대의 빛을 흡수한 후 대략 500nm와 600nm 사이의 파장을 갖는 빛을 방출하는 형광 물질일 수 있다. 이때, 형광 물질 "Alexa 488"에 의해 염색된 생체 분자에 대한 이미지는, 형광 물질 "Alexa 488"로부터 방출되는 빛을 제2 방출 필터로 필터링하고 제2 방출 필터가 통과시키는 파장대(430)의 빛을 촬영함으로써 획득될 수 있다. 제2 방출 필터가 통과시키는 파장대(430)는, 예를 들어, 500nm 이상 560nm 이하일 수 있다.
형광 물질 "Alexa 546"은 특정 파장대의 빛을 흡수한 후 대략 550nm와 650nm 사이의 파장을 갖는 빛을 방출하는 형광 물질일 수 있다. 이때, 형광 물질 "Alexa 546"에 의해 염색된 생체 분자에 대한 이미지는, 형광 물질 "Alexa 546"로부터 방출되는 빛을 제3 방출 필터로 필터링하고 제3 방출 필터가 통과시키는 파장대(450)의 빛을 촬영함으로써 획득될 수 있다. 제3 방출 필터가 통과시키는 파장대(450)는 예를 들어, 565nm 이상 590nm 이하일 수 있다.
형광 물질 "Alexa 647"은 특정 파장대의 빛을 흡수한 후 대략 650nm와 750nm 사이의 파장을 갖는 빛을 방출하는 형광 물질일 수 있다. 이때, 형광 물질 "Alexa 647"에 의해 염색된 생체 분자에 대한 이미지는, 형광 물질 "Alexa 647"로부터 방출되는 빛을 제4 방출 필터로 필터링하고 제4 방출 필터가 통과시키는 파장대(470)의 빛을 촬영함으로써 획득될 수 있다. 제4 방출 필터가 통과시키는 파장대(470)는 예를 들어, 660nm 이상 740nm 이하일 수 있다.
제1 그래프(401)에 도시된 각 형광 물질이 여기(excitation)되기 위해 흡수하는 빛의 파장대는 각각 상이할 수 있다. 또한, 제1 그래프(401)를 참조하여 상술된 각 형광 물질의 방출 스펙트럼에 관한 구체적 수치 범위는 설명을 위한 예시적 기재일 뿐 본 개시를 한정하지 않는다.
일 실시예에서, 시료에 복수의 생체 분자가 포함되고, 복수의 생체 분자를 각각 표지하는 형광 물질들(즉, 각 생체 분자와 결합된 형광 물질들)이 서로 특정 파장의 빛(예를 들어, 350nm 이상 400nm 이하)에 동일하게 반응한다고 가정하자. 이때, 시료에 포함된 복수의 생체 분자 각각에 대한 이미지를 얻기 위해서는, 통상적으로, 복수의 생체 분자 각각을 표지하기 위한 형광 물질들의 방출 스펙트럼이 서로 전혀 겹치지 않거나 거의 겹치지 않도록 해야한다. 그 이유는 서로 다른 형광 물질로부터 각각 방출되는 빛의 스펙트럼이 서로 많이 겹치게 되면 서로 다른 생체 분자들이 분리되지 않고 동일한 하나의 이미지 내에 포함될 수 있기 때문이다.
예를 들어, 도 4의 형광 물질이 방출하는 빛의 방출 스펙트럼에 관한 제2 그래프(403)에서 형광 물질 "Alexa 546"은 대략 550nm와 650nm 사이의 파장을 갖는 빛을 방출하고, 형광 물질 "CF 594"는 대략 575nm와 700nm 사이의 파장을 갖는 빛을 방출한다고 가정하자. 이러한 가정 하에서, 두 형광 물질의 방출 스펙트럼은 575nm 이상 650nm 이하의 구간을 서로 공통적으로 포함할 수 있다. 이때, 형광 물질 "Alexa 546"에 의해 표지된 생체 분자에 대한 이미지를 획득하기 위해 제3 방출 필터를 이용해 이미지를 촬영할 경우, 제3 방출 필터가 통과시키는 파장대(450)는 대략 565nm 이상 590nm 이하이므로 촬영된 이미지 내에는 형광 물질 "CF 594"에 의해 표지된 생체 분자가 적어도 일부 포함될 수 있다. 구체적으로, 촬영 장치가 형광 물질 "Alexa 546"로부터 방출되는 빛 중 제3 방출 필터가 통과시키는 파장대(450)의 빛을 획득함으로써 형광 물질 "Alexa 546" 의해 표지된 생체 분자에 대한 이미지를 촬영하는 과정에서, 촬영 장치는 형광 물질 "CF 594"로부터 방출되는 빛의 신호 또한 적어도 일부 획득될 수 있다. 그 결과, 형광 물질 "Alexa 546"에 의해 표지된 생체 분자에 대한 이미지에는 형광 물질 "CF 594"에 의해 표지된 다른 생체 분자가 적어도 일부 포함될 수 있다. 도 4의 참조번호 451은 촬영 장치가 제3 방출 필터를 이용하여 형광 물질 "Alexa 546"으로 표지된 생체 분자에 대한 이미지를 촬영할 때 획득하는 다른 형광 물질(예를 들어, "CF 594")의 빛의 신호를 지시한다. 또한, 형광 물질 "CF 594"로 표지된 생체 분자에 대한 이미지를 획득하기 위해, 약 610nm 이상 630nm 이하의 파장을 갖는 빛을 통과시키는 제5 방출 필터를 이용해 이미지를 촬영하는 경우에도, 촬영된 이미지에는 형광 물질 "Alexa 546"에 의해 표지된 생체 분자가 적어도 일부 포함될 수 있다. 즉, 촬영 장치가 형광 물질 "CF 594"로부터 방출되는 빛 중 제5 방출 필터가 통과시키는 파장대(490)의 빛을 획득함으로써 형광 물질 "CF 594" 의해 표지된 생체 분자에 대한 이미지를 촬영하는 과정에서, 형광 물질 "Alexa 546"로부터 방출되는 빛의 신호가 적어도 일부 획득될 수 있다. 그 결과, 형광 물질 "CF 594"에 의해 표지된 생체 분자에 대한 이미지에는 형광 물질 "Alexa 546"에 의해 표지된 다른 생체 분자가 적어도 일부 포함될 수 있다. 도 5의 참조번호 491은 촬영 장치가 제5 방출 필터를 이용하여 형광 물질 "CF 594"에 의해 표지된 생체 분자에 대한 이미지를 촬영할 때 획득하는 다른 형광 물질(예를 들어, "Alexa 546")의 빛의 신호를 지시한다.
상술한 바와 같은 종래 기술에 따르면, 시료에 포함된 복수의 생체 분자를 관찰하기 위해서는 방출 스펙트럼이 최대한 겹치지 않아야 하는 제약이 있었고, 그에 따라 최대 4개의 형광 물질만을 동시에 사용할 수 있는 한계가 있었다.
도 5는 본 개시의 일 실시예에 따라 복수의 미분리 이미지로부터 복수의 분리 이미지를 생성하는 과정을 개념적으로 도시한 개념도이다.
본 개시에 따른 미분리 이미지(510)는 하나 또는 둘 이상의 미분리 이미지를 포함할 수 있다. 본 개시에 따른 몇몇 실시예에서 미분리 이미지(510)가 둘 이상의 미분리 이미지를 포함하는 경우, 각각의 미분리 이미지는 제1 미분리 이미지(510-1), 제2 미분리 이미지(510-2), ..., 제n 미분리 이미지(510-n) 등으로 구분되어 지칭될 수 있다(n은 2 이상의 자연수).
미분리 이미지(510)는 시료에 포함된 생체 분자가 형광 물질로 표지된 후, 서버(100)가 시료를 촬영함으로써 획득된 이미지일 수 있다. 전술한 바와 같이 생체 시료에 포함된 생체 분자를 형광 물질로 염색(즉, 생체 분자에 형광 물질이 물리적으로 또는 화학적으로 결합)한 후 염색된 생체 시료에 빛을 조사하면, 생체 시료에 포함된 형광 물질은 특정 파장대의 빛을 흡수함으로써 여기된 후 특정 파장대의 빛을 방출한다. 이때, 형광 물질이 방출하는 빛을 촬영함으로써 생체 시료에 관한 미분리 이미지(510)를 획득할 수 있다. 미분리 이미지(510)는, 본 개시에 따른 이미지 처리 방법을 수행하는 대상이 되는 이미지로서, 본 개시의 이미지 처리 방법에 따라 생성되는 "분리 이미지(530)"와 구별될 수 있다. 즉, 미분리 이미지(510)는 아직 본 개시에 따른 이미지 처리 방법이 수행되지 않은 이미지로서, 목표하는 생체 분자 외에 다른 생체 분자(예를 들어, 비슷한 방출 스펙트럼을 갖는 다른 형광 물질로 표지된 생체 분자 또는 이전 염색 라운드에서 염색된 생체 분자 등)가 추가로 표시되는 이미지일 수 있다. 본 개시에서 "미분리 이미지"라는 용어는 "입력 이미지"와 상호 교환적으로 사용될 수 있다.
본 개시에 따른 분리 이미지(530)는 하나 또는 둘 이상의 분리 이미지를 포함할 수 있다. 본 개시에 따른 몇몇 실시예에서 분리 이미지(530)가 둘 이상의 분리 이미지를 포함하는 경우, 각각의 분리 이미지는 제1 분리 이미지(530-1), 제2 분리 이미지(530-2), ..., 제n 분리 이미지(530-n) 등으로 구분되어 지칭될 수 있다(n은 2 이상의 자연수).
분리 이미지(530)는 미분리 이미지(510)에 대해 본 개시의 이미지 처리 방법을 수행한 결과 획득되는 이미지일 수 있다. 분리 이미지(530)는 목표하는 생체 분자를 표시하는 이미지일 수 있다. 본 개시에서 "특정 생체 분자에 대한 분리 이미지"란, 해당 생체 분자만이 표현되는 이미지를 지칭할 수 있다. 예를 들어, "A" 생체 분자에 대한 분리 이미지는 시료에 포함된 "A" 생체 분자의 모양, 크기, 형태 또는 색상 등을 나타내는 이미지일 수 있다. 분리 이미지(530)는 생체 분자 각각에 대응되도록 생성될 수 있다.
본 개시에의 다양한 실시예에서, 복수의 미분리 이미지(510-1, 510-2, ..., 510-n) 또는 복수의 분리 이미지(530-1, 530-2, ..., 530-n) 각각은, 하나의 채널을 갖는 단채널(Single-Channel) 이미지일 수 있다. 단채널 이미지란 각 픽셀(Pixel)에 대해 단일한 값(예를 들어, 0 이상 255 이하의 정수)을 갖는 이미지를 의미할 수 있다. 단채널 이미지에 해당하는 미분리 이미지의 각 픽셀이 갖는 픽셀 값은 촬영부가 빛을 획득함으로써 미분리 이미지를 촬영할 때, 형광 물질로부터 방출된 빛의 세기를 지시하는 값일 수 있다. 단채널 이미지에 해당하는 분리 이미지의 각 픽셀이 갖는 픽셀 값은 본 개시에 따른 이미지 처리 방법의 수행 결과 특정 생체 분자에 대한 이미지를 표현하기 위해서 각 픽셀이 갖는 빛의 세기를 지시하는 값일 수 있다. 또한, 본 개시에서 복수의 미분리 이미지(510-1, 510-2, ..., 510-n) 또는 복수의 분리 이미지(530-1, 530-2, ..., 530-n)가 다채널(Multi-Channel) 이미지에 포함된다고 표현할 경우, 다채널 이미지 각 채널은 복수의 미분리 이미지(510-1, 510-2, ..., 510-n) 또는 복수의 분리 이미지(530-1, 530-2, ..., 530-n) 각각에 대응될 수 있다. 예를 들어, 단채널 이미지인 미분리 이미지를 3개 포함하는 복수의 미분리 이미지를 "다채널 미분리 이미지"로 지칭할 경우, 해당 다채널 미분리 이미지의 각 채널은 복수의 미분리 이미지에 포함된 각각의 미분리 이미지와 대응될 수 있다. 또한, 본 개시에 따라 개별적으로 획득된 복수의 미분리 이미지 또는 복수의 분리 이미지를 각각의 하나의 채널로 대응시킴으로써 다채널 미분리 이미지 또는 다채널 분리 이미지로 표시할 경우, 복수의 미분리 이미지 또는 복수의 분리 이미지는 하나의 다채널 이미지 상에서 동시에 표시될 수 있다. 예를 들어, 세 개의 미분리 이미지를 Red 채널, Green 채널, Blue 채널 각각으로 대응시킴으로써 세 개의 채널을 갖는 RGB 이미지로 표시할 경우, 세 개의 미분리이 이미지는 RGB 이미지상에서 동시에 표시될 수 있다.
본 개시의 이미지 처리 방법은 미분리 이미지(510)로부터 분리 이미지(530)를 생성할 수 있다.
일 실시예에서, 서버(100)는 복수의 미분리 이미지(510-1, 510-2, ..., 510-n)를 분리하기 위한 적어도 하나의 파라미터에 기초하여 복수의 미분리 이미지(510-1, 510-2, ..., 510-n)를 분리함으로써 복수의 분리 이미지(530-1, 530-2, ..., 530-n)를 생성할 수 있다. 설명을 위해 복수의 미분리 이미지가 두 개의 미분리 이미지를 포함한다고 가정할 때, 적어도 하나의 파라미터에 기초하여 복수의 미분리 이미지로부터 생성된 두 개의 분리 이미지는 아래의 수학식 1과 같이 표현될 수 있다.
Figure PCTKR2022013762-appb-img-000001
수학식 1에서 Y1과 Y2는 미분리 이미지를 나타내고, θ12와 θ21은 분리 이미지를 생성하는 데 필요한 파라미터를 나타내고, X1과 X2는 분리 이미지를 나타낸다. 이때, θ12와 θ21은 각 미분리 이미지들의 가중치(또는, 기여 비율)를 결정하기 위한 파라미터일 수 있다. 프로세서(110)는 적어도 하나의 파라미터(θ12 또는 θ21)에 기초하여 미분리 이미지들을 가중 합산(또는, 선형 중첩)하고 그에 따라 분리 이미지들을 생성할 수 있다. 예를 들어, 수학식 1에 의하면 분리 이미지 X1은, 1배의 Y1과 θ12배의 Y2를 선형 중첩한 결과로써 생성되고, 분리 이미지 X2는, θ21배의 Y1과 1배의 Y2를 선형 중첩한 결과로써 생성될 수 있다.
본 개시에 있어서, "적어도 하나의 파라미터에 기초하여 복수의 미분리 이미지를 분리하는 연산"은, 행렬에 기초하여서도 표현될 수 있다. 이와 같은 행렬은 본 개시에서 "언믹싱 행렬(Unmixing Matrix)"로 지칭될 수 있고, 복수의 미분리 이미지로부터 생체 분자 각각에 대한 복수의 분리 이미지를 생성하기 위한 적어도 하나의 원소를 포함할 수 있다. 즉, 언믹싱 행렬은 복수의 미분리 이미지 사이의 선형 중첩 비율을 결정하는 적어도 하나의 원소를 포함할 수 있다. 상기 수학식 1을 행렬에 기초하여 표현할 경우 아래의 수학식 2와 같이 예시될 수 있다.
Figure PCTKR2022013762-appb-img-000002
일 실시예에서, 서버(100)는 복수의 미분리 이미지(510-1, 510-2, ..., 510-n) 각각으로부터 사전 결정된 상수(또는, "상수 오프셋(Constant Offset)"이라고도 함)를 차감한 후, 사전 결정된 상수만큼 각 픽셀의 값이 차감된 복수의 미분리 이미지들을 가중합함으로써 복수의 분리 이미지(530-1, 530-2, ..., 530-n)를 생성할 수 있다.
Figure PCTKR2022013762-appb-img-000003
수학식 3에서 θb1과 θb2는 각각 미분리 이미지 Y1 및 Y2에 대응되는 상수 오프셋을 나타낸다. 서버(100)는 상수 오프셋을 미분리 이미지에 포함된 각각의 픽셀 값에서 차감한 후, (Y1-θb1)과 (Y2-θb2)의 가중 합산 결과에 기초하여 각각의 분리 이미지를 생성할 수 있다.
상술한 수학식 1 내지 3에서는 복수의 미분리 이미지가 두 개의 미분리 이미지를 포함하는 것으로 가정하고 설명되었으나 이는 본 개시를 제한하지 않으며, 복수의 미분리 이미지는 셋 이상의 미분리 이미지를 포함할 수 있다.
도 6은 본 개시의 일 실시예에 따라 시료에 관한 복수의 미분리 이미지로부터 언믹싱 행렬을 이용하여 복수의 생체 분자 각각에 대한 분리 이미지를 생성하는 서버(100)의 동작을 나타내는 흐름도이다.
서버(100)는 복수의 생체 분자를 포함하는 시료에 관한 복수의 미분리 이미지를 획득할 수 있다(S610). 구체적으로, 프로세서(110)는 서버(100)의 사용자가 입력부(140)를 통해 복수의 미분리 이미지를 입력하는 동작에 기초하여 복수의 미분리 이미지를 획득할 수 있다. 또한, 프로세서(110)는 서버(100)의 촬영부(미도시)를 통해 시료에 대한 이미지를 촬영하고 그에 따라 복수의 미분리 이미지를 획득할 수 있다. 또한, 프로세서(110)는 통신 인터페이스(120)를 통해 외부의 장치 또는 사용자 단말(200)로부터 복수의 미분리 이미지를 획득할 수 있다. 복수의 미분리 이미지(입력 이미지)는, 예를 들어, 수학식 4와 같이 행렬로 표현될 수 있다.
Figure PCTKR2022013762-appb-img-000004
수학식 4에서 Y는 복수의 미분리 이미지(즉, 복수의 입력 이미지)에 관한 행렬을 나타낸다. 복수의 입력 이미지는, 시료의 염색 과정에서 시료를 n회 염색하고 촬영한 결과 획득된 복수의 미분리 이미지일 수 있다. 수학식 4에서 (ith input img)j는 i번째 입력 이미지의 j번째 픽셀의 값을 나타낸다. 수학식 4에서 행렬이 갖는 행의 크기는 복수의 입력 이미지의 수와 동일한 크기일 수 있다. 예를 들어, 복수의 입력 이미지 개수가 n개일 경우, 행렬(Y)이 갖는 행의 크기는 n일 수 있다. 수학식 4에서 행렬이 갖는 열의 크기는 각각의 입력 이미지에 포함된 픽셀의 수와 동일한 크기일 수 있다. 예를 들어, 입력 이미지가 2차원 이미지이고 1024(가로 길이 방향의 픽셀 수) x 1024(세로 방향의 픽셀 수)의 해상도를 가짐으로써 입력 이미지에 포함된 픽셀의 수가 1048576(= 1024 * 1024)개일 경우, 행렬(Y)이 갖는 열의 크기는 1048576일 수 있다. 즉, 행렬(Y)이 갖는 열의 크기가 n이고 행의 크기가 m인 경우(즉, n x m 행렬인 경우), 행렬(Y)은 입력 이미지 각각이 m개의 픽셀을 포함하는 n개의 입력 이미지에 관한 행렬인 것으로 해석될 수 있다.
다음으로, 서버(100)는 언믹싱 행렬을 이용하여 복수의 미분리 이미지로부터 복수의 생체 분자 각각에 대응되는 복수의 분리 이미지를 생성할 수 있다(S620). 본 개시에 따른 언믹싱 행렬은 사각행렬로서, 행(Row)과 열(Column)의 크기가 같은 정사각행렬이거나 행과 열의 크기가 상이한 직사각행렬일 수 있다. 언믹싱 행렬은 예를 들어, 아래의 수학식 5와 같이 표현될 수 있다.
Figure PCTKR2022013762-appb-img-000005
수학식 5에서 αij는 언믹싱 행렬의 i행 j열의 원소(또는 파라미터)의 값을 나타낸다. 언믹싱 행렬(U)의 열의 크기는 행렬 연산의 대상이 되는 미분리 이미지의 수와 동일한 크기일 수 있다. 예를 들어, n개의 미분리 이미지에 대한 언믹싱 행렬의 열의 크기는, 미분리 이미지의 수와 마찬가지로, n일 수 있다. 언믹싱 행렬(U)의 행의 크기(즉, k)는 언믹싱 행렬(U)의 열의 크기(n)와 같거나 상이할 수 있다. 언믹싱 행렬(U)의 행(Row)의 크기(즉, k)는 언믹싱 행렬(U)의 열의 크기(n)보다 작거나 같을 수 있다.
프로세서(110)는 언믹싱 행렬을 이용하여 복수의 미분리 이미지를 연산함으로써 복수의 분리 이미지를 생성할 수 있다. 상기 수학식 4에 따른 미분리 이미지 및 상기 수학식 5에 따른 언믹싱 행렬에 기초할 때 생성된 복수의 분리 이미지는 아래의 수학식 6과 같이 표현될 수 있다.
Figure PCTKR2022013762-appb-img-000006
수학식 6에서 X는 언믹싱 행렬(U)과 복수의 미분리 이미지에 대한 행렬(Y)을 행렬 곱셈(matrix multiplication)한 결과 획득되는 행렬을 나타낸다. 복수의 분리 이미지에 대한 행렬(X)이 갖는 행의 크기는 생성된 분리 이미지의 수를 나타낼 수 있다. 복수의 분리 이미지에 대한 행렬(X)이 갖는 열의 크기는 각 분리 이미지에 포함된 픽셀의 수를 나타낼 수 있다. 각각의 분리 이미지는 대응되는 특정 생체 분자에 대한 이미지일 수 있다. 수학식 6에서 (ith unmixed img)j는 i번째 분리 이미지의 j번째 픽셀의 값을 나타낸다. 예를 들어, 제1 분리 이미지(First unmixed image)는 시료에 포함된 생체 분자 "A"에 대한 이미지를 나타내고, 제n 분리 이미지(nth unmixed image)는 시료에 포함된 생체 분자 "B"에 대한 이미지를 나타낼 수 있다.
상술한 바와 같이 프로세서(110)는 복수의 미분리 이미지를 획득하고, 언믹싱 행렬을 이용하여 복수의 미분리 이미지에 대한 행렬 연산을 수행함으로써, 복수의 생체 분자 각각에 대응되는 복수의 분리 이미지를 생성할 수 있다.
일 실시예에서, 언믹싱 행렬은 행과 열의 크기가 동일한 정사각행렬(Square Matrix)일 수 있다. 예를 들어, 정사각행렬인 언믹싱 행렬은 아래의 수학식 7과 같이 표현될 수 있다.
Figure PCTKR2022013762-appb-img-000007
수학식 7에서 언믹싱 행렬(U)은 행과 열의 크기가 각각 n(n은 1 이상의 자연수)으로 동일한 정사각행렬일 수 있다. 프로세서(110)는 이와 같은 언믹싱 행렬(U)에 기초하여 n개의 미분리 이미지에 대한 행렬 연산을 수행함으로써 n개의 분리 이미지를 획득할 수 있다.
이하에서는 도 7 내지 10을 참조하여 다채널 이미지로부터 히스토그램 또는 확률분포함수를 결정하는 방법에 대해 설명한다.
도 7은 본 개시의 일 실시예에 따라 다채널 이미지로부터 서로 상이한 방법으로 결정된 히스토그램(Histogram)을 나타내는 예시도이다. 제1 이미지(710)는, 예를 들어, 복수의 미분리 이미지를 포함하는 다채널 이미지일 수 있다. 제1 이미지(710)의 각 채널은 복수의 미분리 이미지 각각에 대응될 수 있다. 이하, 본 개시에서 제1 이미지(710)는 2개의 채널을 갖는 다채널 이미지인 것으로 설명되지만, 이는 설명의 편의를 위한 가정일 뿐, 본 개시를 한정하지 않는다. 예를 들어, 제1 이미지(710)에 포함된 첫번째 이미지(또는 제1 이미지의 제1 채널)는 시료에 포함된 생체 분자 "A1"을 형광 물질 "A2"로 염색하고 형광 물질 "A2"로부터 방출되는 빛을 촬영한 이미지(또는 채널)일 수 있다. 또한, 예를 들어, 제1 이미지(710)에 포함된 두번째 이미지(또는 제1 이미지의 제2 채널)는 시료에 포함된 생체 분자 "B1"을 형광 물질 "B2"로 염색하고 형광 물질 "B2"로부터 방출되는 빛을 촬영한 이미지(또는 채널)이거나, 시료에 포함된 생체 분자 "A1" 및 "B1"을 각각 형광 물질 "A2" 및 "B2"로 염색하고 형광 물질 "A2" 및 형광 물질 "B2"로부터 방출되는 빛을 모두 촬영한 이미지(또는 채널)일 수 있다.
프로세서(110)는 복수의 단채널 이미지를 포함하는 다채널 이미지에 기초하여 서로 상이한 방법에 따라 둘 이상의 히스토그램을 결정할 수 있다. 예를 들어, 프로세서(110)는 복수의 단채널 이미지 내에서 서로 동일한 위치의 픽셀의 값에 기초하여 하나의 히스토그램을 결정하고, 또한 해당 복수의 단채널 이미지 내에서 서로 상이한 위치의 픽셀의 값에 기초하여 다른 하나의 히스토그램을 결정할 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 제1-1 히스토그램(730) 또는 제1-2 히스토그램(750)은 각각 제1 이미지(710)에 관하여 서로 상이한 방법으로 결정된 히스토그램일 수 있다. 일 실시예에서, 제1-1 히스토그램(730)은 제1 이미지(710)에 포함된 복수의 미분리 이미지 내에서 서로 동일한 위치의 픽셀의 값에 기초하여 결정된 히스토그램일 수 있고, 제1-2 히스토그램(750)은 제1 이미지(710)에 포함된 복수의 미분리 이미지 내에서 서로 상이한 위치의 픽셀의 값에 기초하여 결정된 히스토그램일 수 있다. 이하 도 8 및 9를 참조하여 본 개시에 따른 몇몇 히스토그램 결정 방법에 대해 상세히 설명한다.
도 8은 본 개시의 일 실시예에 따라 복수의 단채널 이미지 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 히스토그램을 결정하는 서버(100)의 동작을 나타내는 순서도이다. 도 8에서는 복수의 단채널 이미지를 포함하는 다채널 이미지의 일 예시로서 도 7의 제1 이미지(710)를 예로 들어 설명한다.
프로세서(110)는 복수의 단채널 이미지 각각에 포함된 서로 동일한 위치의 픽셀의 값을 획득할 수 있다(S810). 예를 들어, 프로세서(110)는 제1 이미지(710)에 포함된 첫번째 이미지(제1 이미지의 제1 채널) 내의 제1 위치(711)로부터 픽셀 값(예를 들어 0.9)를 획득할 수 있다. 또한, 프로세서(110)는 제1 이미지(710)에 포함된 두번째 이미지(제1 이미지의 제2 채널) 내의 제1 위치(711)로부터 픽셀 값(예를 들어, 0.8)을 획득할 수 있다. 상술한 바와 같이, 프로세서(110)는 제1 이미지(710)에 포함된 복수의 미분리 이미지 각각에 포함된 서로 동일한 위치(즉, 제1 위치)의 픽셀의 픽셀 값을 획득할 수 있다.
다음으로, 프로세서(110)는 복수의 단채널 이미지 각각으로부터 획득된 서로 동일한 위치의 픽셀의 값에 기초하여 채널 값 순서쌍을 생성할 수 있다(S820). 채널 값 순서쌍은 복수의 원소를 포함할 수 있다. 예를 들어, 제1 이미지(710)에 대한 채널 값 순서쌍은 2개의 원소를 포함할 수 있다. 제1 이미지(710)에 대한 채널 값 순서쌍은, 예를 들어, (v1, v2)와 같이 표현될 수 있다. 이때, 채널 값 순서쌍 (v1, v2)에 포함된 첫번째 원소(v1)는 제1 이미지(710)의 제1 채널에 포함된 픽셀의 값이고, 두번째 원소(즉, v2)는 제1 이미지(710)의 제2 채널에 포함된 픽셀의 값일 수 있다. 채널 값 순서쌍에 포함된 각 원소의 값은 빛의 세기를 의미하는 값으로서, 소정 구간(예를 들어, 0 이상 1 이하)에 포함되는 실수(Real Number)일 수 있다. 만약 제1 이미지(710)의 제1 채널 내의 제1 위치(711)로부터 획득된 픽셀 값이 0.9이고 제1 이미지(710)의 제2 채널 내의 제1 위치(711)로부터 획득된 픽셀 값이 0.8인 경우, 프로세서(110)는 (0.9, 0.8)의 값을 갖는 채널 값 순서쌍을 생성할 수 있다.
다음으로, 프로세서(110)는 채널 값 순서쌍을 생성하는 동작을 소정 횟수 반복함으로써 복수의 채널 값 순서쌍을 생성할 수 있다(S830). 예를 들어, 프로세서(110)는 상술한 단계 S810 및 S820을 순서대로 소정 횟수 반복함으로써 반복된 횟수만큼의 채널 값 순서쌍을 생성할 수 있다.
다음으로, 프로세서(110)는 복수의 채널 값 순서쌍 중 동일한 값을 가지는 채널 값 순서쌍의 개수를 결정할 수 있다(S840). 예를 들어, 생성된 채널 값 순서쌍이 [(0.9, 0.8), (0.8, 0.2), (0.6, 0.0), (0.9, 0.8), (0.9, 0.8), (0.9, 0.8), (0.8, 0.2), (0.6, 0.0), (0.8, 0.2), (0.6, 0.0)]와 같다고 가정하자. 이때, 프로세서(110)는 순서쌍 (0.9, 0.8) 4개, 순서쌍 (0.8, 0.2) 3개, 순서쌍 (0.6, 0.0) 3개와 같이 동일한 값을 가지는 채널 값 순서쌍의 개수를 결정할 수 있다.
다음으로, 프로세서(110)는 채널 값 순서쌍의 개수에 기초하여 히스토그램을 생성할 수 있다(S850). 일 실시예에서, 히스토그램은 2차원 좌표축 상에 표현될 수 있다. 즉, 히스토그램은 채널 값 순서쌍의 제1 원소에 대응되는 가로축(x축)을 가지고, 채널 값 순서쌍의 제2 원소에 대응되는 세로축(y축)을 포함할 수 있다. 히스토그램 상에서 각각의 채널 값 순서쌍에 대응되는 픽셀은 해당 채널 값 순서쌍의 개수에 기초하여 서로 다른 색상 또는 서로 다른 밝기 등을 가지도록 표현될 수 있다. 예를 들어, 히스토그램 상에서 각각의 채널 값 순서쌍에 대응되는 픽셀은 해당 채널 값 순서쌍의 개수가 더 많을수록 더 밝게 표현되거나 제1 색상(예를 들어, 파랑)으로부터 제2 색상(예를 들어, 빨강)에 더 가깝게 표현될 수 있다. 도 7을 참조하여 설명하면, 제1-1 히스토그램(730)은 프로세서(110)가 제1 이미지(710)에 대해 상술한 단계 S810 내지 S850을 수행한 결과로서 생성된 히스토그램일 수 있다. 또한, 참조번호 731에 의해 지시되는 픽셀은 제1-1 히스토그램(730) 상에서 x값으로서 0.3, y값으로서 0.2를 갖는 픽셀로서, 채널 값 순서쌍 (0.3, 0.2)에 대응되는 픽셀일 수 있다. 참조번호 733에 의해 지시되는 픽셀은 제1-1 히스토그램(730) 상에서 x값으로서 0.6, y값으로 0.6을 갖는 픽셀로서, 채널 값 순서쌍 (0.6, 0.6)에 대응되는 픽셀일 수 있다. 제1 이미지(710)로부터 생성된 채널 값 순서쌍 중 (0.3, 0.2)의 값을 갖는 채널 값 순서쌍의 수가 (0.6, 0.6)의 값을 갖는 채널 값 순서쌍의 수보다 많다고 가정할 경우, 제1-1 히스토그램(730) 상에는 채널 값 순서쌍 (0.3, 0.2)에 대응되는 픽셀(731)이 채널 값 순서쌍 (0.6, 0.6)에 대응되는 픽셀(733)보다 밝은 색으로 표현될 수 있다.
다른 일 실시예에서, 히스토그램은 3차원 좌표축 상에 표현될 수 있다. 이때, 히스토그램은 채널 값 순서쌍의 제1 원소에 대응되는 제1 축(x축), 채널 값 순서쌍의 제2 원소에 대응되는 제2 축(y축) 및 채널 값 순서쌍의 개수에 대응되는 제3 축(z축)을 포함할 수 있다.
프로세서(110)는 단계 S850의 수행 이후, 생성된 히스토그램으로부터 확률분포함수를 결정하는 동작을 추가로 수행할 수 있다. 이하 본 개시에서 "확률분포함수"는 "확률 분포"라는 용어로 지칭될 수 있다. 예를 들어, 프로세서(110)는 단계 S850의 수행 결과에 따라 생성된 히스토그램을 정규화함으로써 근사적으로 확률 분포를 결정할 수 있다. 도 7을 참조하여 설명하면, 제1-1 히스토그램(730)으로부터 결정된 확률 분포는 제1-1 히스토그램(730)과 유사한 데이터 분포를 갖는 연속 확률분포함수일 수 있다.
도 9는 본 개시의 일 실시예에 따라 복수의 단채널 이미지 각각에 포함된 서로 상이한 위치의 픽셀의 값에 기초하여 히스토그램을 결정하는 서버(100)의 동작을 나타내는 순서도이다. 도 9에서는 복수의 단채널 이미지를 포함하는 다채널 이미지의 일 예시로서 도 7의 제1 이미지(710)를 예로 들어 설명한다.
프로세서(110)는 복수의 단채널 이미지 각각에 포함된 서로 상이한 위치의 픽셀의 값을 획득할 수 있다(S910). 예를 들어, 프로세서(110)는 제1 이미지(710)에 포함된 첫번째 이미지(제1 이미지의 제1 채널) 내의 제2-1 위치(713a)로부터 픽셀 값(예를 들어 0.5)을 획득할 수 있다. 또한, 프로세서(110)는 제1 이미지(710)에 포함된 첫번째 이미지(제1 이미지의 제1 채널) 내의 제2-2 위치(713b)로부터 픽셀 값(예를 들어, 0.1)을 획득할 수 있다. 제2-1 위치(713a) 및 제2-2 위치(713b)는 서로 상이한 좌표값을 갖는 위치일 수 있다. 상술한 바와 같이, 프로세서(110)는 제1 이미지(710)에 포함된 복수의 미분리 이미지 각각에 포함된 서로 상이한 위치의 픽셀의 픽셀 값을 획득할 수 있다.
다음으로, 프로세서(110)는 복수의 단채널 이미지 각각으로부터 획득된 서로 상이한 위치의 픽셀의 값에 기초하여 채널 값 순서쌍을 생성할 수 있다(S920). 예를 들어, 제1 이미지(710)의 제1 채널 내의 제2-1 위치(713a)로부터 획득된 픽셀의 값이 0.5이고 제1 이미지(710)의 제2 채널 내의 제2-2 위치(713b)로부터 획득된 픽셀의 값이 0.1인 경우, 프로세서(110)는 (0.5, 0.1)의 값을 갖는 채널 값 순서쌍을 생성할 수 있다.
다음으로, 프로세서(110)는 채널 값 순서쌍을 생성하는 동작(즉, S910 및 S920)을 소정 횟수 반복함으로써 복수의 채널 값 순서쌍을 생성(S930)하고, 복수의 채널 값 순서쌍 중 동일한 값을 가지는 채널 값 순서쌍의 개수를 결정(S940)하고, 그리고 채널 값 순서쌍의 개수에 기초하여 히스토그램을 생성할 수 있다(S950). 단계 S930 내지 S950은 프로세서(110)에 의해 상술된 단계 S830 내지 S850과 동일 또는 유사하게 수행될 수 있으므로 중복된 내용의 설명은 생략한다. 도 7의 제1-2 히스토그램(750)은 프로세서(110)가 제1 이미지(710)에 대해 상술한 단계 S910 내지 S950을 수행한 결과로서 생성된 히스토그램일 수 있다.
프로세서(110)는 단계 S950의 수행 이후, 생성된 히스토그램으로부터 확률분포함수를 결정하는 동작을 추가로 수행할 수 있다. 예를 들어, 프로세서(110)는 단계 S950의 수행 결과에 따라 생성된 히스토그램을 정규화함으로써 근사적으로 확률 분포를 결정할 수 있다. 도 7을 참조하여 설명하면, 제1-2 히스토그램(750)으로부터 결정된 확률 분포는 제1-2 히스토그램(750)과 유사한 데이터 분포를 갖는 연속 확률분포함수일 수 있다.
본 개시에 따른 서버(100)는 도 8 및 9를 참조하여 상술한 바와 같이 복수의 단채널 이미지를 포함하는 다채널 이미지에 기초하여 서로 상이한 방법을 통해 해당 이미지에 대한 히스토그램 또는 확률 분포를 결정할 수 있다.
본 개시에서 복수의 이미지 사이의 "의존성" 또는 "유사성"이라는 용어는, 복수의 이미지에 포함된 정보가 서로 얼마나 연관되어 있는지를 나타내는 용어로서 확률적 독립성에 대비되는 의미로 사용될 수 있다. 복수의 이미지가 서로 높은 의존성을 가질 경우, 각각의 이미지에서 서로 동일한 위치에 대응되는 픽셀들은 픽셀 값 사이에 특정한 경향성이 있을 수 있다. 예를 들어, 각각의 이미지에서 서로 동일한 위치에 대응되는 픽셀 값 중에서 첫번째 채널의 픽셀 값이 낮은 경우 높은 확률로 두번째 채널의 픽셀 값이 높을 수 있고 반대로 첫번째 채널의 픽셀 값이 높은 경우 높은 확률로 두번째 채널의 픽셀 값이 높을 수 있다.. 반면, 복수의 이미지가 서로 낮은 의존성을 가질 경우, 각각의 이미지에서 서로 동일한 위치에 대응되는 픽셀들이라도 해당 픽셀들의 픽셀 값 사이에는 특정한 경향성이 없을 수 있다. 본 개시에서 복수의 픽셀 값 사이에 "특정한 경향성이 없다"는 것은, 복수의 픽셀 값이 서로 영향을 미치지 않고, 복수의 픽셀 값의 크기에 관한 대소 관계가 무작위(random)로 결정된다는 것을 의미할 수 있다. 또한, 본 개시에서 "독립성(Independency)"라는 용어는, 복수의 이미지에 포함된 정보가 서로 얼마나 독립적인지를 나타내는 용어로서 사용될 수 있다. 즉, 의존성과 독립성은 서로 반대되는 개념으로서, 복수의 이미지 사이에 의존성이 클수록 독립성은 작고 의존성이 작을수록 독립성은 크다고 표현될 수 있다. 본 개시에 따른 복수의 미분리 이미지는 서로 높은 의존성(dependency)을 가질 수 있다. 또한, 복수의 미분리 이미지로부터 생성된 복수의 분리 이미지는 낮은 의존성을 가질 수 있다.
다시 도 7을 참조하면, 제1 이미지(710)는 복수의 채널이 각각 복수의 미분리 이미지에 포함된 하나의 미분리 이미지와 대응되는 경우의 다채널 이미지일 수 있다. 복수의 미분리 이미지는 상술한 바와 같이 서로 높은 의존성을 가질 수 있고 각각의 미분리 이미지에 포함된 서로 동일한 위치의 픽셀들은 서로 동일하거나 비슷한 크기의 픽셀 값을 가질 수 있다. 따라서, 복수의 미분리 이미지 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 히스토그램을 결정하는 경우, 채널 값 순서쌍에 포함된 제1 원소의 크기와 제2 원소의 크기는 대체적으로 동일하거나 유사할 수 있다. 예를 들어, 복수의 미분리 이미지 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 생성된 제1-1 히스토그램(730)과 같이, 제1 원소의 값과 제2 원소의 값 사이에는 특정 상관관계가 나타날 수 있다.
본 개시에서 복수의 단채널 이미지 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 생성된 히스토그램은, 그 이미지들에 대한 "결합 히스토그램(Joint Histogram)"으로 지칭될 수 있다. 또한, 결합 히스토그램으로부터 결정된 확률분포함수는 "결합 확률 분포"로 지칭될 수 있다. 예를 들어, 제1-1 히스토그램(730)은 제1 이미지(710)에 포함된 복수의 미분리 이미지에 대한 결합 히스토그램일 수 있다.
만약, 제1 이미지(710)에 포함된 복수의 미분리 이미지 내에서 서로 상이한 위치의 픽셀의 값에 기초하여 히스토그램을 생성하는 경우, 채널 값 순서쌍에 포함된 제1 원소의 크기와 제2 원소의 크기 사이에는 특정한 경향성이 없을 수 있다. 예를 들어, 복수의 미분리 이미지 각각에 포함된 서로 상이한 위치의 픽셀의 값에 기초하여 생성된 제1-2 히스토그램(750)과 같이, 채널 값 순서쌍에 포함된 제1 원소의 값과 제2 원소의 값 사이에는 특정 상관관계가 나타나지 않을 수 있다.
본 개시에서 복수의 단채널 이미지 각각에 포함된 서로 상이한 위치의 픽셀의 값에 기초하여 생성된 히스토그램은, 그 이미지들에 대한 "주변 히스토그램(Marginal Histogram)"으로 지시될 수 있다. 또한, 주변 히스토그램으로부터 결정된 확률분포함수는 "주변 확률 분포"로 지칭될 수 있다. 예를 들어, 제1-2 히스토그램(7500)은 제1 이미지(710)에 포함된 복수의 미분리 이미지에 대한 주변 히스토그램일 수 있다.
이하에서는 도 10를 참조하여 다채널 이미지에 포함된 복수의 채널이 각각 분리 이미지인 경우에 결정되는 둘 이상의 히스토그램을 설명한다.
도 10은 본 개시의 다른 일 실시예에 따라 다채널 이미지로부터 서로 상이한 방법으로 결정된 히스토그램을 나타내는 예시도이다. 제2 이미지(1010)는, 예를 들어, 복수의 분리 이미지를 포함하는 다채널 이미지일 수 있다. 제2 이미지(1010)는 프로세서(110)가 언믹싱 행렬을 이용하여 복수의 미분리 이미지를 연산한 결과로써 생성된 복수의 분리 이미지를 포함하는 다채널 이미지일 수 있다. 이하, 본 개시에서 제2 이미지(1010)는 2개의 채널을 갖는 다채널 이미지인 것으로 설명되지만, 이는 설명의 편의를 위한 가정일 뿐, 본 개시를 한정하지 않는다. 예를 들어, 제2 이미지(1010)에 포함된 첫번째 이미지(또는 제2 이미지의 제1 채널)는 시료에 포함된 생체 분자 "A1"에 대한 이미지일 수 있다. 또한, 예를 들어, 제2 이미지(1010)에 포함된 두번째 이미지(또는 제2 이미지의 제2 채널)는 시료에 포함된 생체 분자 "B1"에 대한 이미지일 수 있다.
제2-1 히스토그램(1030) 및 제2-2 히스토그램(1050)은 각각 도 7을 참조하여 전술한 제1-1 히스토그램(730) 및 제1-2 히스토그램(750)과 유사한 방식으로 제2 이미지(1010)에 관하여 결정된 히스토그램일 수 있다. 예를 들어, 제2-1 히스토그램(1030)은 제2 이미지(1010)에 포함된 복수의 단채널 이미지 내에서 서로 동일한 위치의 픽셀의 값에 기초하여 결정된 결합 히스토그램이고, 제2-2 히스토그램(1050)은 제2 이미지(1010)에 포함된 복수의 단채널 이미지 내에서 서로 상이한 위치의 픽셀의 값에 기초하여 결정된 주변 히스토그램일 수 있다. 복수의 분리 이미지에서 서로 동일한 위치에 대응되는 픽셀들 각각이 갖는 픽셀 값 사이에는 특정한 경향성이 없을 수 있다. 즉, 서로 낮은 의존성을 갖는 복수의 분리 이미지에 대해서 결정된 히스토그램들에는 특정 상관관계가 나타나지 않을 수 있다. 예를 들어, 복수의 분리 이미지를 포함하는 제2 이미지(1010)에 대해 제2-1 히스토그램(1030) 및 제2-2 히스토그램(1050)을 각각 생성하는 경우, 생성된 두 히스토그램 모두에서 채널 값 순서쌍에 포함된 제1 원소의 크기와 제2 원소의 크기 사이에는 특정한 경향성이 없을 수 있다.
도 11은 본 개시의 일 실시예에 따라 언믹싱 행렬의 파라미터를 갱신하는 서버(100)의 동작을 나타내는 순서도이다.
프로세서(110)는 복수의 생체 분자를 포함하는 시료에 관한 복수의 미분리 이미지를 획득할 수 있다(S1110). 프로세서(110)는 제1 언믹싱 행렬을 이용하여 복수의 미분리 이미지로부터 복수의 생체 분자 각각에 대응되는 복수의 분리 이미지를 생성할 수 있다(S1120). 단계 S1110 또는 S1120은, 프로세서(110)에 의해, 도 6에서 상술한 단계 S610 또는 S620과 동일하거나 유사하게 수행될 수 있다.
다음으로, 프로세서(110)는 언믹싱 행렬에 의해 생성된 복수의 분리 이미지에 기초하여 복수의 분리 이미지 사이의 의존성을 평가할 수 있다(S1130). 복수의 분리 이미지 사이의 의존성은 프로세서(110)에 의해 수행되는 특정 알고리즘에 기초하여 평가되거나, 프로세서(110)가 인공 신경망 모델을 이용하여 소정의 연산을 수행함으로써 평가될 수 있다. 또한, 프로세서(110)는 의존성 평가 결과에 기초하여 복수의 분리 이미지 사이의 의존성이 낮아지도록 언믹싱 행렬의 파라미터를 수정할 수 있다(S1140).
본 개시의 다양한 실시예에 따르면, 프로세서(110)는 복수의 분리 이미지에 대해 생성된 히스토그램에 기초하여 복수의 분리 이미지 사이의 의존성을 평가할 수 있다. 구체적으로, 프로세서(110)는 복수의 분리 이미지에 대해 생성된 히스토그램에 기초하여 사전 결정된 알고리즘(또는 수식)에 따라 복수의 분리 이미지 사이의 의존성을 지시하는 값(이하, "의존성 평가 값"이라고도 함)을 산출할 수 있다.
복수의 분리 이미지에 대해 생성된 히스토그램에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 제1 실시예에서, 프로세서(110)는 복수의 분리 이미지 사이의 상호 정보량(Mutual Information)을 산출함으로써 의존성을 평가할 수 있다. "상호 정보량"이란 정보이론에서부터 비롯된 값으로, 두 변수 사이의 상호정보량은 두 변수가 공유하고 있는 정보의 총량을 지시할 수 있으며, 예를 들어, 두 무작위 변수(two random variables) 사이의 상호정보량은 0 일 수 있다. 프로세서(110)는 복수의 분리 이미지에 기초하여 생성되는 결합 히스토그램 또는 주변 히스토그램에 기초하여 상호 정보량을 산출할 수 있다. 두 개의 분리 이미지에 대한 상호 정보량은, 예를 들어, 아래의 수학식 8과 같이 표현될 수 있다.
Figure PCTKR2022013762-appb-img-000008
수학식 8에서 X1와 X2는 각각 서로 다른 분리 이미지를 나타내며, I(X1;X2)는 두 분리 이미지에 대해 산출되는 상호 정보량을 나타낸다. 수학식 8에서 우변의
Figure PCTKR2022013762-appb-img-000009
는 두 분리 이미지 X1 및 X2 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 결정된 결합 히스토그램 또는 결합 확률 분포를 나타낸다. 두 분리 이미지 X1 및 X2에 대한 결합 히스토그램 또는 결합 확률 분포는, 예를 들어, 프로세서(110)가 두 분리 이미지 X1 및 X2에 대해 상술한 도 8의 각 단계를 수행한 결과 생성될 수 있다. 수학식 8에서 우변의
Figure PCTKR2022013762-appb-img-000010
는 두 분리 이미지 X1 및 X2 각각에 포함된 서로 상이한 위치의 픽셀의 값에 기초하여 결정된 주변 히스토그램 또는 주변 확률 분포를 나타낸다. 두 분리 이미지 X1 및 X2에 대한 주변 히스토그램 또는 주변 확률 분포는, 예를 들어, 프로세서(110)가 두 분리 이미지 X1 및 X2에 대해 상술한 도 9의 각 단계를 수행한 결과 생성될 수 있다. 프로세서(110)는 수학식 8에 의해 예시되는 상호 정보량을 계산함으로써 복수의 분리 이미지 사이의 의존성을 산출할 수 있다.
복수의 분리 이미지에 대해 생성된 히스토그램에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 제2 실시예에서, 프로세서(110)는 복수의 분리 이미지 사이의 쿨벡-라이블러 발산(Kullback-Leibler Divergence) 값을 산출함으로써 의존성을 평가할 수 있다. "쿨벡-라이블러 발산"은 서로 다른 두 확률분포들의 차이를 계산할 때 사용 가능한 함수로써, 그 함수의 값은 서로 다른 두 확률 분포의 정보 엔트로피들의 차이를 나타낸다. 쿨벡-라이블러 발산 값이 클수록 서로 다른 두 확률 분포는 차이가 크고 잘 구분될 수 있다. 쿨벡-라이블러 발산 값은 아래의 수학식 9와 같이 정의될 수 있다.
Figure PCTKR2022013762-appb-img-000011
수학식 9에서 X는 복수의 분리 이미지 사이의 결합 히스토그램 또는 결합 확률 분포를 나타낸다. 복수의 분리 이미지에 대한 결합 히스토그램 또는 결합 확률 분포는, 예를 들어, 프로세서(110)가 복수의 분리 이미지에 대해 상술한 도 8의 각 단계를 수행한 결과 생성될 수 있다. 또한, Y는 복수의 분리 이미지 사이의 주변 히스토그램 또는 주변 확률 분포를 나타낸다. 복수의 분리 이미지에 대한 주변 히스토그램 또는 주변 확률 분포는, 예를 들어, 프로세서(110)가 복수의 분리 이미지에 대해 상술한 도 9의 각 단계를 수행한 결과 생성될 수 있다. 프로세서(110)는 수학식 9에 의해 예시되는 쿨벡-라이블러 발산 값에 기초하여 복수의 분리 이미지 사이의 의존성을 산출할 수 있다.
복수의 분리 이미지에 대해 생성된 히스토그램에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 제3 실시예에서, 프로세서(110)는 복수의 분리 이미지 사이의 교차 엔트로피 값을 산출함으로써 의존성을 평가할 수 있다. "교차 엔트로피"는 두 확률분포들을 구분하기 위해 필요한 평균 비트 수를 의미하며, 그 값은 서로 다른 두 확률 분포의 차이를 나타낸다. 교차 엔트로피 값이 클수록 서로 다른 두 확률 분포는 차이가 크고 잘 구분될 수 있다. 교차 엔트로피 값은 아래의 수학식 10과 같이 정의될 수 있다.
Figure PCTKR2022013762-appb-img-000012
수학식 10에서 X는 복수의 분리 이미지 사이의 결합 히스토그램 또는 결합 확률 분포를 나타낸다. 복수의 분리 이미지에 대한 결합 히스토그램 또는 결합 확률 분포는, 예를 들어, 프로세서(110)가 복수의 분리 이미지에 대해 상술한 도 8의 각 단계를 수행한 결과 생성될 수 있다. 또한, Y는 복수의 분리 이미지 사이의 주변 히스토그램 또는 주변 확률 분포를 나타낸다. 복수의 분리 이미지에 대한 주변 히스토그램 또는 주변 확률 분포는, 예를 들어, 프로세서(110)가 복수의 분리 이미지에 대해 상술한 도 9의 각 단계를 수행한 결과 생성될 수 있다. 프로세서(110)는 수학식 10에 의해 예시되는 교차 엔트로피 값에 기초하여 복수의 분리 이미지 사이의 의존성을 산출할 수 있다.
복수의 분리 이미지에 대해 생성된 히스토그램에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 제4 실시예에서, 프로세서(110)는 복수의 분리 이미지 사이의 랜드 지수(Rand Index)를 산출함으로써 의존성을 평가할 수 있다. "랜드 지수"는 두 데이터 집합 사이의 유사도를 나타내는 값이다. 랜드 지수가 클수록 서로 다른 두 데이터 집합은 차이가 크고 잘 구분될 수 있다. 예를 들어, 두 데이터 집합(X 및 Y)이 각각 X = {X1, X2, ..., Xi} 및 Y = {Y1, Y2, ..., Yj}와 같이 표현된다고 가정할 때, 두 데이터 집합 사이의 중첩은 아래의 표 1과 같이 나타낼 수 있다.
Figure PCTKR2022013762-appb-img-000013
Figure PCTKR2022013762-appb-img-000014
Figure PCTKR2022013762-appb-img-000015
Figure PCTKR2022013762-appb-img-000016
Figure PCTKR2022013762-appb-img-000017
Figure PCTKR2022013762-appb-img-000018
Figure PCTKR2022013762-appb-img-000019
예를 들어, 데이터 집합 X는 복수의 분리 이미지 사이의 결합 히스토그램 또는 결합 확률 분포의 데이터들을 포함할 수 있고, 데이터 집합 Y는 복수의 분리 이미지 사이의 주변 히스토그램 또는 주변 확률 분포의 데이터들을 포함할 수 있다. 이러한 표 1에 기초하는 랜드 지수는 아래의 수학식 11과 같이 정의될 수 있다.
Figure PCTKR2022013762-appb-img-000020
프로세서(110)는 수학식 11에 의해 예시되는 랜드 지수에 기초하여 복수의 분리 이미지 사이의 의존성을 산출할 수 있다.
상술한 의존성 평가에 관한 제1 실시예 내지 제4 실시예는 프로세서(110)가 복수의 분리 이미지 사이의 의존성을 평가하는 방법을 구체적으로 설명하기 위한 예시일 뿐 본 개시를 제한하지 않으며, 본 개시의 프로세서(110)는 다양한 방법으로 복수의 분리 이미지에 대해 생성된 히스토그램에 기초하여 의존성(또는 유사성)을 평가할 수 있다.
본 개시에 따른 서버(100)는 산출된 의존성 평가 결과에 기초하여 언믹싱 행렬에 포함된 적어도 하나의 파라미터를 수정할 수 있다. 이하에서는 상술한 의존성 평가에 관한 제1 실시예 내지 제4 실시예를 다시 참조하여 구체적인 파라미터 수정 방법을 설명한다.
상호 정보량에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 상기 제1 실시예에서, 프로세서(110)는 산출된 상호 정보량이 작아지는 방향으로 언믹싱 행렬의 파라미터를 수정할 수 있다. 본 개시에서 "복수의 분리 이미지에 대하여 산출되는 특정 값이 작아지는 방향으로 언믹싱 행렬의 파라미터를 수정한다"는 표현은, 복수의 미분리 이미지로부터 복수의 분리 이미지를 생성하는 데에 기초가 되는 언믹싱 행렬의 파라미터를 수정한 결과, 수정 후의 언믹싱 행렬에 따라 생성된 복수의 분리 이미지에 대해 산출된 특정 값이, 수정 전의 언믹싱 행렬에 따라 생성된 복수의 분리 이미지에 대해 산출된 특정 값보다 작아짐을 의미할 수 있다. 이하에서는 "특정 값이 작아지는 방향으로 언믹싱 행렬의 파라미터를 수정한다"라는 표현을 "특정 값이 작아지도록 언믹싱 행렬의 파라미터를 수정한다"라는 표현과 상호 교환적으로 사용한다. 프로세서(110)는 상호 정보량이 작아지는 방향으로 언믹싱 행렬의 파라미터를 수정하기 위해, 예를 들어, 아래의 수학식 12와 같은 손실함수를 사용할 수 있다. 수학식 12는 상술한 수학식 8을 따르는 일 실시예에서의 손실함수를 나타낸다.
Figure PCTKR2022013762-appb-img-000021
쿨벡-라이블러 발산 값에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 상기 제2 실시예에서, 프로세서(110)는 쿨벡-라이블러 발산 값이 작아지는 방향으로 언믹싱 행렬의 파라미터를 수정하기 위해, 예를 들어, 아래의 수학식 13과 같은 손실함수를 사용할 수 있다. 수학식 13은 상술한 수학식 9를 따르는 일 실시예에서의 손실함수를 나타낸다.
Figure PCTKR2022013762-appb-img-000022
복수의 분리 이미지가 두 개라고 가정할 경우, 수학식 13의 X'은 이미지(X1-α×X2)과 이미지(X2) 사이에서 결정되는 결합 확률 분포, Y'는 이미지(X1)와 이미지(X2-β×X1) 사이에서 결정되는 주변 확률 분포를 나타낼 수 있다.
교차 엔트로피 값에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 상기 제3 실시예에서, 프로세서(110)는 교차 엔트로피 값이 작아지는 방향으로 언믹싱 행렬의 파라미터를 수정하기 위해, 예를 들어, 아래의 수학식 14과 같은 손실함수를 사용할 수 있다. 수학식 14는 상술한 수학식 10을 따르는 일 실시예에서의 손실함수를 나타낸다.
Figure PCTKR2022013762-appb-img-000023
복수의 분리 이미지가 두 개라고 가정할 경우, 수학식 14의 X'은 이미지(X1-α×X2)과 이미지(X2) 사이에서 결정되는 결합 확률 분포, Y'는 이미지(X1)와 이미지(X2-β×X1) 사이에서 결정되는 주변 확률 분포를 나타낼 수 있다.
랜드 지수에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하는 상기 제4 실시예에서, 프로세서(110)는 랜드 지수가 작아지는 방향으로 언믹싱 행렬의 파라미터를 수정하기 위해, 예를 들어, 아래의 수학식 15와 같은 손실함수를 사용할 수 있다. 수학식 15는 상술한 수학식 11을 따르는 일 실시예에서의 손실함수를 나타낸다.
Figure PCTKR2022013762-appb-img-000024
복수의 분리 이미지가 두 개라고 가정할 경우, 수학식 15의 X'은 이미지(X1-α×X2)과 이미지(X2) 사이에서 결정되는 결합 확률 분포, Y'는 이미지(X1)와 이미지(X2-β×X1) 사이에서 결정되는 주변 확률 분포를 나타낼 수 있다.
프로세서(110)는 아래의 수학식 16에 기초하여 상술한 수학식 12 내지 15와 같은 다양한 손실함수를 최소화하는 적어도 하나의 파라미터(예를 들면, 수학식 12 내지 15에서의 α 또는 β)를 결정할 수 있다.
Figure PCTKR2022013762-appb-img-000025
상술한 바와 같이 본 개시에 따른 서버(100)는 산출된 의존성 평가 결과에 기초하여 언믹싱 행렬에 포함된 적어도 하나의 파라미터를 수정할 수 있다.
본 개시의 추가적인 몇몇 실시예에 따르면, 프로세서(110)는 인공 신경망 모델에 기초하여 복수의 분리 이미지 사이의 의존성을 평가하고, 의존성 평가 결과에 기초하여 언믹싱 행렬의 파라미터를 수정할 수 있다. 본 개시에 따라 프로세서(110)가 인공 신경망 모델에 기초하여 언믹싱 행렬의 파라미터를 수정하는 방법에 대해서는 이하 도면을 참조하여 구체적으로 설명한다.
다음으로, 프로세서(110)는 사전 결정된 임계 조건의 만족 여부를 판단할 수 있다(S1145).
일 실시예에서, 사전 결정된 임계 조건은 언믹싱 행렬의 갱신 횟수에 따르는 조건일 수 있다. 예를 들어, 사전 결정된 임계 조건은 언믹싱 행렬을 N(N은 1 이상의 자연수)회 수정할 경우 만족되는 조건이라고 가정하자. 이때, 프로세서(110)는 언믹싱 행렬을 갱신할 때마다 갱신 횟수를 카운트하고 카운트된 갱신 횟수가 N회인 경우 사전 결정된 임계 조건이 만족되는 것으로 판단할 수 있다.
프로세서(110)가 복수의 분리 이미지 사이의 의존성 평가 값을 산출하는 일 실시예에서, 사전 결정된 임계 조건은 계산되는 의존성 평가 값의 크기에 따르는 조건일 수 있다. 예를 들어, 사전 결정된 임계 조건은 복수의 분리 이미지 사이에서 계산되는 의존성 평가 값의 크기가 0.2 이하인 경우 만족되는 조건이라고 가정하자. 이때, 프로세서(110)는 단계 S1130을 수행한 결과 복수의 분리 이미지 사이에서 계산된 의존성 평가 값의 크기가 0.2 이하인 경우 사전 결정된 임계 조건이 만족되는 것으로 판단할 수 있다.
또한, 프로세서(110)가 인공 신경망 모델에 기초하여 의존성을 평가하는 일 실시예에서, 사전 결정된 임계 조건은 인공 신경망 모델의 학습 횟수, 출력 값의 크기 또는 손실 값(Loss 값, 출력 값과 참값 사이의 오차) 중 적어도 하나에 기초하는 조건일 수 있다. 예를 들어, 사전 결정된 임계 조건은 인공 신경망 모델의 손실 값이 0.1 이하인 경우에 만족되는 조건이라고 가정하자. 이때, 프로세서(110)는 인공 신경망 모델의 손실 값이 0.1 이하인 경우 사전 결정된 임계 조건이 만족되는 것으로 판단할 수 있다.
프로세서(110)가 사전 결정된 임계 조건의 만족 여부를 판단한 결과 해당 조건이 만족되지 않는 경우, 프로세서(110)는 상술한 단계 S1120 내지 S1140을 사전 결정된 임계 조건이 만족될 때까지 반복하여 수행할 수 있다.
프로세서(110)가 사전 결정된 임계 조건의 만족 여부를 판단한 결과 해당 조건이 만족되는 경우, 프로세서(110)는 언믹싱 행렬의 갱신을 종료할 수 있다. 갱신된 언믹싱 행렬은 갱신되기 전의 언믹싱 행렬에 비해 적어도 하나의 파라미터가 수정된 행렬일 수 있다.
도 12는 본 개시의 일 실시예에 따른 인공 신경망 모델(1250)에 기초하여 복수의 분리 이미지(1210) 사이의 의존성을 평가하는 과정을 개념적으로 도시한 개념도이다. 인공 신경망 모델(1250)은 입력 데이터를 입력 받고, 입력된 입력 데이터의 종류를 결정하기 위한 출력 데이터를 생성하는 인공 신경망 모델(이하, "분류 모델"이라고도 함)일 수 있다. 이하 도 12를 참조하여서는, 설명의 편의상 복수의 분리 이미지(1210)가 세 개의 분리 이미지를 포함하는 것으로 가정하여 설명하지만, 본 개시는 이에 제한되지 않는다.
프로세서(110)는 복수의 분리 이미지(1210)에 기초하여 인공 신경망 모델(1250)에 입력되는 적어도 하나의 입력 데이터를 생성할 수 있다. 일 실시예에서, 프로세서(110)는 복수의 분리 이미지(1210)에 관한 서로 상이한 둘 이상의 확률 분포 중 적어도 하나의 확률 분포로부터 데이터를 샘플링(Sampling)함으로써 입력 데이터를 생성할 수 있다. 본 개시에서 "샘플링"이라는 용어는, 특정 확률 분포에 포함된 각 원소가 갖는 확률 값에 기초하여 소정 개수의 원소를 선택하거나 추출하는 동작을 지칭하기 위한 용어일 수 있다. 예를 들어, 특정 확률 분포에 포함된 제1 원소가 제2 원소보다 높은 확률 값을 가지고, 해당 특정 확률 분포로부터 하나의 원소를 샘플링하는 경우, 제1 원소가 선택될 확률은 제2 원소가 선택될 확률보다 더 높을 수 있다. 또한 예를 들어, 특정 확률 분포에 포함된 모든 원소가 동일한 확률 값을 가지고, 해당 특정 확률 분포로부터 하나의 원소를 샘플링하는 경우, 모든 원소는 선택될 확률이 동일할 수 있다. 본 개시에서 프로세서(110)가 데이터를 샘플링하기 위한 일 확률 분포는, 예를 들어, 복수의 분리 이미지(1210) 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 결정되는 확률 분포(이하, "제1 확률 분포"라고도 함)일 수 있다. 제1 확률 분포는 프로세서(110)가 복수의 분리 이미지(1210)에 대해 도 8을 참조하여 전술된 방법을 수행함으로써 결정될 수 있다. 프로세서(110)는 제1 확률 분포로부터 데이터를 샘플링함으로써 일 입력 데이터를 생성할 수 있다. 또한, 프로세서(110)가 데이터를 샘플링하기 위한 일 확률 분포는, 예를 들어, 복수의 분리 이미지(1210) 각각에 포함된 서로 상이한 위치의 픽셀의 값에 기초하여 결정되는 확률 분포(이하, "제2 확률 분포"라고도 함)일 수 있다. 제2 확률 분포는 프로세서(110)가 복수의 분리 이미지(1210)에 대해 도 9를 참조하여 전술된 방법을 수행함으로써 결정될 수 있다. 프로세서(110)는 제2 확률 분포로부터 데이터를 샘플링함으로써 일 입력 데이터를 생성할 수 있다.
일 실시예에서, 제1 확률 분포로부터 샘플링되는 입력 데이터(1231)는 아래의 수학식 17과 같이 표현될 수 있다.
Figure PCTKR2022013762-appb-img-000026
수학식 17의 좌변의 x 는 제1 확률 분포로부터 샘플링되는 적어도 하나의 입력 데이터를 나타낸다. 우변의
Figure PCTKR2022013762-appb-img-000027
는 복수의 분리 이미지(1210)에 대한 결합 확률 분포에 해당하는 제1 확률 분포를 나타낸다. 또한,
Figure PCTKR2022013762-appb-img-000028
의 X1, X2 및 X3는 복수의 분리 이미지(1210)에 포함된 각각의 분리 이미지에 대응되는 확률변수를 지칭하고, x1, x2 및 x3는 확률변수 X1, X2 및 X3 각각의 실현 값 혹은 픽셀 값을 지칭한다. 또한, (x1i,x2i,x3i)는 제1 확률 분포로부터 샘플링된 i번째 입력 데이터(i는 1이상 n이하의 자연수)를 나타내고, x1i는 복수의 분리 이미지(1210) 중 첫번째 분리 이미지로부터 추출된 픽셀 값, x2i는 복수의 분리 이미지(1210) 중 두번째 분리 이미지로부터 추출된 픽셀 값 및, x3i는 복수의 분리 이미지(1210) 중 세번째 분리 이미지로부터 추출된 픽셀 값을 각각 지칭한다. 이때, 제1 확률 분포는 복수의 분리 이미지(1210) 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 결정되므로, (x1i,x2i,x3i)에 포함된 각각의 픽셀 값은 복수의 분리 이미지에서 서로 대응되는 동일한 위치의 픽셀로부터 결정된 값일 수 있다. 상술한 수학식 17은 제1 확률 분포로부터 샘플링되는 입력 데이터(1231)를 구체적으로 설명하기 위한 예시적 기재일 뿐, 본 개시를 제한하지 않는다.
일 실시예에서, 제2 확률 분포로부터 샘플링되는 입력 데이터(1233)는 아래의 수학식 18과 같이 표현될 수 있다.
Figure PCTKR2022013762-appb-img-000029
수학식 18의 좌변의 x'는 제2 확률 분포로부터 샘플링되는 적어도 하나의 입력 데이터를 나타낸다. 우변의
Figure PCTKR2022013762-appb-img-000030
는 복수의 분리 이미지(1210)에 대한 주변 확률 분포에 해당하는 제2 확률 분포를 나타낸다. 또한,
Figure PCTKR2022013762-appb-img-000031
의 X1, X2 및 X3는 복수의 분리 이미지(1210)에 포함된 각각의 분리 이미지에 대응되는 확률변수를 지칭하고, x1, x2 및 x3는 확률변수 X1, X2 및 X3 각각의 실현 값 혹은 픽셀 값을 지칭한다. 또한, (x1i',x2i',x3i')는 제2 확률 분포로부터 샘플링된 i번째 입력 데이터(i는 1이상 n이하의 자연수)를 나타내고, x1i'는 복수의 분리 이미지(1210) 중 첫번째 분리 이미지로부터 추출된 픽셀 값, x2i'는 복수의 분리 이미지(1210) 중 두번째 분리 이미지로부터 추출된 픽셀 값 및, x3i'는 복수의 분리 이미지(1210) 중 세번째 분리 이미지로부터 추출된 픽셀 값을 각각 지칭할 수 있다. 이때, 제2 확률 분포는 복수의 분리 이미지(1210) 각각에 포함된 서로 상이한 위치의 픽셀의 값에 기초하여 결정되므로, (x1i',x2i',x3i')에 포함된 각각의 픽셀 값은 복수의 분리 이미지에서 서로 상이한 위치의 픽셀로부터 결정된 값일 수 있다. 상술한 수학식 18은 제2 확률 분포로부터 샘플링되는 입력 데이터(1233)를 구체적으로 설명하기 위한 예시적 기재일 뿐, 본 개시를 제한하지 않는다.
일 실시예에서, 프로세서(110)는 입력 데이터를 분류 모델에 입력하고, 분류 모델의 출력 데이터에 기초하여 입력 데이터의 종류를 결정할 수 있다. 입력 데이터가 복수의 분리 이미지에 관하여 서로 상이하게 결정된 둘 이상의 확률 분포 중 하나에 따라 샘플링된 데이터인 경우, 분류 모델은 입력 데이터의 기반이 되는 특정 확률 분포를 결정하기 위한 출력 데이터를 생성할 수 있다. 예를 들어, 분류 모델에 대한 입력 데이터는 제1 확률 분포로부터 샘플링되는 입력 데이터(1231) 또는 제2 확률 분포로부터 샘플링되는 입력 데이터(1233)일 수 있다. 이때, 분류 모델의 출력 데이터는, 입력 데이터와 연관된 확률 분포를 결정하는 데이터일 수 있다. 즉, 입력 데이터가 제 1 확률 분포로부터 샘플링된 입력 데이터(1231)일 경우, 분류 모델은 해당 입력 데이터에 대한 출력 데이터로서 제1 확률 분포를 지시하는 정보를 출력할 수 있다. 또한, 입력 데이터가 제2 확률 분포로부터 샘플링된 입력 데이터(1233)일 경우, 분류 모델은 입력 데이터에 대한 출력 데이터로서 제2 확률 분포를 지시하는 정보를 출력할 수 있다.
본 개시의 일 실시예에 따른 분류 모델로서의 인공 신경망 모델(1150)을 학습시키기 위해, 프로세서(110)는 제1 확률 분포로부터 샘플링되는 입력 데이터(1131) 및 제2 확률 분포로부터 샘플링되는 입력 데이터(1133)를 서로 다르게 라벨링함으로써 학습 데이터를 생성할 수 있다. 예를 들어, 프로세서(110)는 제1 확률 분포로부터 샘플링되는 입력 데이터(1131)에는 참 값(ground truth)으로서 "1"을 라벨링하고, 제2 확률 분포로부터 샘플링되는 입력 데이터(1133)에는 참 값(ground truth)으로서 "0"을 라벨링할 수 있다. 위와 같이 생성된 학습 데이터에 기초하여 분류 모델이 학습될 경우, 프로세서(110)는 학습 데이터에 포함된 입력 데이터를 분류 모델에 입력하고, 분류 모델에 의해 출력되는 출력 데이터(예를 들어, 0에서 1 사이의 실수)를 획득하고, 해당 입력 데이터에 대해 라벨링된 참 값과 분류 모델의 출력 데이터의 차이에 기초하여 역전파(Backpropagation) 기법을 통해 분류 모델에 포함된 적어도 하나의 파라미터의 값을 갱신함으로써, 분류 모델을 학습시킬 수 있다.
도 13은 본 개시의 다른 일 실시예에 따른 인공 신경망 모델(1350)에 기초하여 복수의 분리 이미지(1310) 사이의 의존성을 평가하는 과정을 개념적으로 도시한 개념도이다. 인공 신경망 모델(1350)은 복수의 입력 데이터를 입력 받고, 복수의 입력 데이터와 관련된 특정 값을 예측하기 위한 출력 데이터를 생성하는 인공 신경망 모델(이하, "예측 모델"이라고도 함)일 수 있다. 이하 도 13을 참조하여서는, 설명의 편의상 복수의 분리 이미지(1310)가 두 개의 분리 이미지를 포함하는 것으로 가정하여 설명하지만, 본 개시는 이에 제한되지 않는다.
프로세서(110)는 복수의 분리 이미지(1310)에 기초하여 인공 신경망 모델(1350)에 입력되는 복수의 입력 데이터를 생성할 수 있다. 프로세서(110)는 복수의 분리 이미지(1310)에 기초하여 결정된 서로 상이한 확률 분포로부터 각각 샘플링된 복수의 입력 데이터를 생성할 수 있다. 이하에서는 인공 신경망 모델(1350)이 두 개의 입력 데이터를 입력 받는 것으로 가정하여 설명하지만, 이는 본 개시를 제한하지 않으며, 본 개시의 인공 신경망 모델(1350)은 셋 이상의 입력 데이터를 입력 받을 수도 있다. 일 실시예에서, 프로세서(110)는 복수의 분리 이미지(1310)에 관한 서로 상이한 두 확률 분포 각각으로부터 데이터를 샘플링함으로써 두 개의 입력 데이터를 생성할 수 있다. 복수의 분리 이미지(1310)에 관한 서로 상이한 두 확률 분포는, 예를 들어, 복수의 분리 이미지(1310) 각각에 포함된 서로 동일한 위치의 픽셀의 값에 기초하여 결정되는 확률 분포(이하, "제3 확률 분포"라고도 함) 또는 복수의 분리 이미지(1310) 각각에 포함된 서로 상이한 위치의 픽셀의 값에 기초하여 결정되는 확률 분포(이하, "제4 확률 분포"라고도 함)일 수 있다. 이때, 제3 확률 분포는 프로세서(110)가 복수의 분리 이미지(1310)에 대해 도 8을 참조하여 전술된 방법을 수행함으로써 결정될 수 있고, 제4 확률 분포는 프로세서(110)가 복수의 분리 이미지(1310)에 대해 도 9를 참조하여 전술된 방법을 수행함으로써 결정될 수 있다. 프로세서(110)는 제3 확률 분포로부터 입력 데이터(1331)를 샘플링하고 제4 확률 분포로부터 입력 데이터(1333)를 샘플링함으로써 인공 신경망 모델(1350)에 입력되는 복수의 입력 데이터를 생성할 수 있다.
프로세서(110)는 복수의 입력 데이터를 인공 신경망 모델(1350)에 입력하고, 인공 신경망 모델(1350)이 예측하는 복수의 입력 데이터와 관련된 특정 값을 획득할 수 있다. 인공 신경망 모델(1350)이 예측하는 복수의 입력 데이터와 관련된 "특정 값"은 복수의 입력 데이터를 입력 받은 인공 신경망 모델(1350)이 출력하는 값을 지칭할 수 있다.
프로세서(110)는 획득된 특정 값에 기초하여 복수의 분리 이미지에 대한 의존성 평가 값을 산출할 수 있다. 인공 신경망 모델에 기초하여 프로세서(110)가 산출하는 의존성 평가 값의 종류는 전술된 바와 같이 다양한 실시예들에 따라 결정될 수 있다. 이하에서는, 설명의 편의상, 인공 신경망 모델에 기초하여 산출되는 의존성 평가 값의 일 예시로서, 프로세서(110)가 상술한 "상호 정보량"을 산출하는 것으로 가정한다. 일 실시예에서, 예측 모델이 예측하는 특정 값에 기초하여 산출되는 복수의 분리 이미지 사이의 상호 정보량은 아래의 수학식 19와 같이 표현될 수 있다.
Figure PCTKR2022013762-appb-img-000032
수학식 19의 좌변의 I(x;x')는 인공 신경망 모델(1350)에 입력되는 두 입력 데이터(즉, x 및 x')에 기초하여 산출되는 두 분리 이미지(즉, X1 및 X2)에 대한 상호 정보량을 나타낸다. 우변의 fφ에서 φ는 예측 모델에 포함된 적어도 하나의 파라미터를 나타내고, fφ는 예측 모델의 출력 데이터로서, 두 입력 데이터와 관련된 특정 값을 나타낸다. 또한,
Figure PCTKR2022013762-appb-img-000033
에서
Figure PCTKR2022013762-appb-img-000034
는 복수의 분리 이미지(1310)에 대한 결합 확률 분포를 나타내며,
Figure PCTKR2022013762-appb-img-000035
는 복수의 분리 이미지(1310)에 대한 결합 확률 분포에 있어서, 두 입력 데이터(x 및 x')에 대해 예측 모델이 출력한 특정 값(fφ)의 기대값을 나타낸다. 한편,
Figure PCTKR2022013762-appb-img-000036
의
Figure PCTKR2022013762-appb-img-000037
는 복수의 분리 이미지(1310) 각각에 대한 주변 확률 분포의 곱을 나타낸다.
Figure PCTKR2022013762-appb-img-000038
는 φ 값의 변화에 따른 괄호 내의 항의 상한을 나타낸다. 본 수학식 19를 통해 예시된 바와 같이, 프로세서(110)는 예측 모델이 예측하는 특정 값에 기초하여 복수의 분리 이미지에 대한 상호 정보량을 산출할 수 있다. 예를 들어, 두 입력 데이터(x 및 x') 각각에 대응되는 제3 확률 분포와 제4 확률 분포가 더 유사할수록, 두 입력 데이터 사이의 상호 정보량(I(x;x'))은 더 큰 값을 가질 수 있다. 또한, 상호 정보량이 클수록 두 개의 분리 이미지는 더 의존적인 이미지로 해석될 수 있다.
상술한 바와 같은 예측 모델로서의 인공 신경망 모델(1350)을 학습시키기 위해, 프로세서(110)는 예측 모델이 출력하는 특정 값에 기초하여 상호 정보량을 산출하고, 산출된 상호 정보량이 최대화되도록 예측 모델을 학습시킬 수 있다. 즉, 예측 모델이 복수의 분리 이미지로부터 샘플링된 복수의 입력 데이터에 대하여 특정 값을 예측할 때, 예측 모델에 포함된 적어도 하나의 파라미터의 값은 복수의 분리 이미지에 대한 상호 정보량이 최대화되는 방향으로 특정 값을 예측하도록 갱신될 수 있다. 예를 들어, 프로세서(110)는 사전 결정된 상호 정보량 산출식에 대해 경사 하강법(또는, 경사 상승법)을 적용함으로써 연쇄 법칙(Chain Rule)에 따라 예측 모델에 포함된 적어도 하나의 파라미터의 값이 갱신되도록 할 수 있다.
본 개시의 언믹싱 행렬 및 인공 신경망 모델은 서로 경쟁적으로 학습(Adversarial Training)될 수 있다. 본 개시에서 두 객체가 "경쟁적으로 학습된다"는 표현은, 두 객체가 상반되는 과제(task)를 해결하도록 학습됨으로써 각각의 객체에 포함된 적어도 하나의 파라미터의 값이 변경되는 것을 의미할 수 있다.
본 개시에 따른 경쟁적 학습에 관한 일 실시예에서, 인공 신경망 모델이 분류 모델에 해당하는 경우, 언믹싱 행렬에 포함된 적어도 하나의 원소의 값은, 분류 모델에 입력되는 제1 입력 데이터와 제2 입력 데이터가 해당 인공 신경망 모델에 의해 잘 구분되지 않도록 갱신되고, 인공 신경망 모델에 포함된 적어도 하나의 파라미터의 값은, 입력된 제1 입력 데이터와 제2 입력 데이터가 잘 구분되도록 갱신될 수 있다. 예를 들어, 제1 입력 데이터는 제1 확률 분포로부터 샘플링된 데이터이고, 제2 입력 데이터는 제2 확률 분포로부터 샘플링된 데이터일 수 있다. 분류 모델은 상술한 바와 같이 복수의 분리 이미지로부터 서로 상이하게 결정된 확률 분포 각각으로부터 샘플링된 복수의 입력 데이터를 입력 받고 각 입력 데이터와 연관된 확률 분포를 결정하는 인공 신경망 모델일 수 있다. 또한, 언믹싱 행렬은 각 입력 데이터를 생성하는 데에 기초가 되는 복수의 분리 이미지를 생성할 수 있다. 즉, 언믹싱 행렬은 복수의 미분리 이미지로부터 복수의 분리 이미지를 생성하고, 분류 모델은 복수의 분리 이미지 각각으로부터 샘플링된 입력 데이터의 종류를 결정할 수 있다. 따라서, 분류 모델은 복수의 입력 데이터를 서로 잘 구분하도록 학습되는 반면, 언믹싱 행렬은 복수의 분리 이미지 각각으로부터 샘플링된 복수의 입력 데이터가 분류 모델에 의해 잘 구분되지 않도록 학습됨으로써, 분류 모델과 언믹싱 행렬은 서로 경쟁적으로 학습될 수 있다.
일 실시예에서, 분류 모델에 입력되는 두 종류의 입력 데이터가 분류 모델에 의해 잘 구분될 경우, 프로세서(110)는 분류 모델의 학습이 부족하다고 판단하고 분류 모델의 학습을 추가로 수행할 수 있다. 이 경우, 언믹싱 행렬을 이용하여 복수의 미분리 이미지로부터 생성되는 복수의 분리 이미지는 서로 의존적인 것으로 판단될 수 있다. 반대로, 분류 모델에 입력되는 두 종류의 입력 데이터가 분류 모델에 의해 잘 구분되지 않을 경우, 프로세서(110)는 분류 모델의 학습이 충분하다고 판단하고 분류 모델의 학습을 중단할 수 있다. 이 경우, 언믹싱 행렬을 이용하여 복수의 미분리 이미지로부터 생성되는 복수의 분리 이미지는 서로 독립적인 것으로 판단될 수 있다.
본 개시에서 "분류 모델에 입력되는 두 종류의 입력 데이터가 분류 모델에 의해 잘 구분된다" 또는 "분류 모델에 입력되는 두 종류의 입력 데이터가 분류 모델에 의해 잘 구분되지 않는다"는 것은 정량적 또는 수치적으로 판단될 수 있다. 예를 들어, 분류 모델이 입력 데이터의 종류를 결정하기 위한 출력 데이터를 생성할 때, 프로세서(110)는 소정 개수의 입력 데이터에 대하여 참 값이 라벨링된 테스트 데이터 셋을 이용하여 분류 모델의 정확도(또는 신뢰도)를 평가할 수 있다. 구체적으로, 프로세서(110)는 테스트 데이터 셋에 포함된 입력 데이터 중 특정 개수 또는 특정 비율 이상의 입력 데이터에 대해 참 값과 오차범위 내의 분류 결과를 출력할 경우, 분류 모델의 학습이 충분하다고 판단할 수 있다. 혹은 학습이 진행됨에 따른 분류 모델의 정확도의 변화가 임계값 이하가 될 경우, 분류 모델의 학습이 충분하다고 판단할 수 있다. 상술한 분류 모델의 정확도 평가 방법은 설명을 위한 일 예시에 불과하며 본 개시를 제한하지 않는다.
본 개시에 따른 경쟁적 학습에 관한 다른 일 실시예에서, 인공 신경망 모델이 예측 모델에 해당하는 경우, 예측 모델에 포함된 적어도 하나의 파라미터의 값은 복수의 분리 이미지에 대한 의존성 평가 값(예를 들어, 상호 정보량, 쿨벡-라이블러 발산 값, 교차 엔트로피 값, 랜드 지수 등)이 최대화되는 방향으로 특정 값을 예측하도록 갱신되고, 언믹싱 행렬에 포함된 적어도 하나의 원소의 값은, 복수의 분리 이미지에 대한 의존성 평가 값이 최소화되는 방향으로 복수의 분리 이미지를 생성하도록 갱신될 수 있다. 예측 모델은 상술한 바와 같이 복수의 분리 이미지로부터 서로 상이하게 결정된 확률 분포 각각에 기초하여 샘플링된 복수의 입력 데이터를 입력 받고 입력된 복수의 입력 데이터와 관련된 특정 값을 예측하는 인공 신경망 모델일 수 있다. 또한, 언믹싱 행렬은 복수의 입력 데이터를 생성하는 데에 기초가 되는 복수의 분리 이미지를 생성할 수 있다. 즉, 언믹싱 행렬은 복수의 미분리 이미지로부터 복수의 분리 이미지를 생성하고, 예측 모델은 복수의 분리 이미지 각각으로부터 샘플링된 복수의 입력 데이터를 입력 받아 복수의 입력 데이터와 관련된 특정 값을 예측할 수 있다. 또한, 예측 모델에 의해 예측된 특정 값은 복수의 분리 이미지에 대한 의존성 평가 값을 산출하는 데 기초가 되는 값일 수 있다. 따라서, 예측 모델은 복수의 분리 이미지에 대한 의존성 평가 값이 최대화되는 방향으로 학습되고, 언믹싱 행렬은 복수의 분리 이미지에 대한 의존성 평가 값이 최소화되는 방향으로 학습됨으로써, 예측 모델과 언믹싱 행렬은 서로 경쟁적으로 학습될 수 있다.
일 실시예에서, 예측 모델이 출력하는 특정 값에 기초하여 산출되는 의존성 평가 값이 사전 결정된 임계치를 초과하지 않을 경우, 프로세서(110)는 예측 모델의 학습이 부족하다고 판단하고 예측 모델의 학습을 추가로 수행할 수 있다. 이 경우, 언믹싱 행렬을 이용하여 복수의 미분리 이미지로부터 생성되는 복수의 분리 이미지는 서로 의존적인 것으로 판단될 수 있다. 반대로, 예측 모델이 출력하는 특정 값에 기초하여 산출되는 의존성 평가 값이 사전 결정된 임계치를 초과하는 경우, 프로세서(110)는 예측 모델의 학습이 충분하다고 판단하고 예측 모델의 학습을 중단할 수 있다. 이 경우, 언믹싱 행렬을 이용하여 복수의 미분리 이미지로부터 생성되는 복수의 분리 이미지는 서로 독립적인 것으로 판단될 수 있다. 한편, 프로세서(110)는 예측 모델이 학습된 횟수, 예를 들면 학습 에포크(epoch)의 수 등에 기초하여서도 예측 모델의 학습 정도를 결정할 수 있다.
상술한 바와 같은 본 개시의 몇몇 실시예들에 따르면, 프로세서(110)는 복수의 분리 이미지에 대해 의존성을 평가하고, 평가 결과에 기초하여 언믹싱 행렬의 파라미터를 결정할 수 있다. 이와 같이 결정된 언믹싱 행렬에 기초하여 본 개시에 따른 프로세서(110)는 시료를 촬영한 복수의 미분리 이미지로부터 시료에 포함된 각각의 생체 분자에 대한 분리 이미지를 생성할 수 있다.
이하, 본 개시 내용의 일 실시예에 따라 복수의 미분리 이미지를 획득하는 방법에 관하여 설명한다.
도 4를 참조하여 전술한 바와 같이, 여러 생체 분자를 포함하는 시료에서 각 생체 분자에 대한 이미지를 획득하는 종래의 방법은, 각 생체 분자에 표지되는 형광 물질의 방출 스펙트럼이 최대한 겹치지 않아야 하는 제약이 있었고, 그에 따라 최대 4개의 형광 물질만을 동시에 사용할 수 있는 한계가 있었다. 또한, 만약 4개의 형광 물질을 사용하여 시료에 포함된 4개의 생체 분자에 대한 이미지를 획득한 이후 후속하여 해당 시료에 포함된 다른 생체 분자에 대한 이미지를 획득하기 위해서는, 다른 생체 분자를 새롭게 표지하기 전에 기존의 형광 물질을 제거하는 후처리 과정의 수행이 필요하였다. 형광 물질을 제거하는 후처리 과정에는, 예를 들어, 형광 물질을 비활성화하는 과정 또는 형광 물질에 의해 표지된 항체 혹은 생체 분자를 형광 물질로 표지하는데에 사용된 물질을 떼어내는 과정 등이 포함될 수 있다.
반면, 본 개시에 따른 이미지 처리 방법은 종래의 방법이 요구하는 형광 물질 비활성 또는 제거 과정을 요구하지 않는다. 그에 따라, 본 개시의 일 실시예에서 복수의 미분리 이미지는 종래의 방법과는 다르게 획득될 수 있다.
본 개시의 일 실시예에 따른 복수의 미분리 이미지는 시료에 대해 염색과 촬영을 수행하는 하나의 사이클을 2회 이상 수행함으로써 순차적으로 생성될 수 있다. 또한, 본 개시에 따른 복수의 미분리 이미지는 형광 물질을 제거하는 후처리 과정없이, 염색과 촬영을 수행하는 하나의 사이클을 2회 이상 수행함으로써 순차적으로 생성될 수 있다. 이와 같이 본 개시에 따른 이미지 처리 방법은 종래의 형광 물질을 제거하는 과정없이 복수의 분리 이미지를 생성함으로써 보다 빠르고 효과적으로 각 생체 분자에 대한 분리 이미지를 생성할 수 있는 효과를 갖는다.
도 14는 본 개시의 일 실시예에 따라 복수의 이미지를 순차적으로 획득하는 과정을 예시한 개념도이다. 도 14의 시료(1400)에는 N 개(N은 1 이상의 자연수)의 생체 분자가 포함된다고 가정한다. 이때, 1회차 염색에 따라 시료(1400)에 포함된 제1 생체 분자(1401)가 염색되면 프로세서(110)는 촬영부를 통해 1회차 염색 이후의 시료(1400)를 촬영함으로써 제1 미분리 이미지(1410)를 획득할 수 있다. 제1 미분리 이미지(1410)상에는 1회차 염색에 따라 염색된 제1 생체 분자(1401)가 표시되고 염색되지 않은 나머지 생체 분자는 표시되지 않을 수 있다. 다음으로, 2회차 염색에 따라 시료(1400)에 포함된 제2 생체 분자(1402)가 염색되면 프로세서(110)는 촬영부를 통해 2회차 염색 이후의 시료(1400)를 촬영함으로써 제2 미분리 이미지(1420)를 획득할 수 있다. 제2 미분리 이미지(1420)상에는 1회차 염색에 따라 염색된 제1 생체 분자(1401) 및 2회차 염색에 따라 염색된 제2 생체 분자(1402)가 표시되고 염색되지 않은 나머지 생체 분자는 표시되지 않을 수 있다. 위와 같은 과정을 반복함으로써, 프로세서(110)는 N회차 염색에 따라 시료(1400)에 포함된 제N 생체 분자(1404)가 염색되면, 촬영부를 통해 N회차 염색 이후의 시료(1400)를 촬영함으로써 제N 미분리 이미지(1430)를 획득할 수 있다. 제N 미분리 이미지(1430)상에는 1회차 염색에 따라 염색된 제1 생체 분자(1401), 2회차 염색에 따라 염색된 제2 생체 분자(1402), ..., 및 N회차 염색에 따라 염색된 제N 생체 분자(1404)가 포함되도록 표현될 수 있다. 이와 같이 복수의 미분리 이미지가 순차적으로 획득되는 경우, "i+1"회차 염색 이후 획득된 미분리 이미지에는, "i"회차 염색 이후 획득된 미분리 이미지보다 하나의 생체 분자가 더 표현될 수 있다. 이하, 본 개시에서는 "i"회차 염색 이후 획득된 미분리 이미지와 비교할 때, "i+1"회차 염색 이후 획득된 미분리 이미지 상에서 추가로 표현되는 하나의 생체 분자를 "i+1회차 염색 과정에서 표지된 생체 분자"로 지칭할 수 있다 (i는 1 이상의 자연수). 예를 들어, 도 14의 제1 미분리 이미지(1410)와 비교하여 제2 미분리 이미지(1420) 상에서 추가로 표현되는 제2 생체 분자(1402)는 "2 회차 염색 과정에서 표지된 생체 분자"로 지칭될 수 있고, 제N-1 미분리 이미지와 비교하여 제N 미분리 이미지(1430) 상에서 추가로 표현되는 제N 생체 분자(1403)는 "N 회차 염색 과정에서 표지된 생체 분자"로 지칭될 수 있다.
본 개시에 따른 이미지 처리 방법은 도 14에서 설명된 바와 같이 순차적으로 획득된 복수의 미분리 이미지 중에서 연속하는 둘 이상의 미분리 이미지에 기초하여 특정 생체 분자에 대한 분리 이미지를 생성할 수 있다. 본 개시에서 "연속하여 순차적으로 획득된 둘 이상의 미분리 이미지", 또는 "시료에 포함된 복수의 생체 분자를 순차적으로 염색함으로써 획득된 둘 이상이 미분리 이미지" 등의 표현은, 생체 분자에 대한 염색 및 촬영을 포함하는 사이클을 시료에 포함된 복수의 생체 분자들 각각에 대해 순차적으로 수행함으로써 획득된 둘 이상의 미분리 이미지를 의미할 수 있다. 예를 들어, 연속하여 순차적으로 획득된 두 미분리 이미지는 i번째(i는 1 이상의 자연수) 염색 이후 촬영된 미분리 이미지 및 i+1번째 염색 이후 촬영된 미분리 이미지를 포함할 수 있다. 또한, 예를 들어, 연속하여 순차적으로 획득된 세 미분리 이미지는 i번째 염색 이후 촬영된 미분리 이미지, i+1번째 염색 이후 촬영된 미분리 이미지 및 i+2번째 염색 이후 촬영된 미분리 이미지를 포함할 수 있다. 이하에서는 설명의 편의상 "연속하여 순차적으로 획득된 복수의 미분리 이미지"라는 표현은 "연속하는 복수의 미분리 이미지"라는 표현과 상호 교환적으로 사용될 수 있다.
도 15는 본 개시의 일 실시예에 따라 순차적으로 획득된 복수의 미분리 이미지 중 연속하는 두 개의 미분리 이미지로부터 적어도 하나의 생체 분자에 대한 분리 이미지를 획득하는 방법을 예시적으로 도시한 개념도이다. 본 개시에 따른 프로세서(110)는 연속하는 두 개의 미분리 이미지, 즉, "i"회차 염색 이후 획득된 미분리 이미지 및 "i+1"회차 염색 이후 획득된 미분리 이미지에 대해 연산을 수행함으로써, "i+1" 회차 염색 과정에서 표지된 생체 분자에 대한 분리 이미지를 생성할 수 있다.
일 실시예에서, 프로세서(110)는 1회차 염색에 따라 시료에 포함된 일 생체 분자(예를 들어, 단백질 A)를 염색하고 시료를 촬영함으로써 제1 미분리 이미지(1510)를 획득할 수 있다. 또한, 프로세서(110)는 후속하는 2회차 염색에 따라 시료에 포함된 다른 생체 분자(예를 들어, 단백질 B)를 염색하고 시료를 촬영함으로써 제2 미분리 이미지(1530)를 획득할 수 있다. 또한, 프로세서(110)는 후속하는 3회차 염색에 따라 시료에 포함된 또 다른 생체 분자(예를 들어, 단백질 C)를 염색하고 시료를 촬영함으로써 제3 미분리 이미지(1550)를 획득할 수 있다. 프로세서(110)는 적어도 하나의 파라미터에 기초하여 연속하는 두 개의 미분리 이미지에 대한 연산을 수행하고 적어도 하나의 생체 분자 각각에 대한 분리 이미지를 생성할 수 있다. 예를 들어, 프로세서(110)는 제1 미분리 이미지(1510) 및 제2 미분리 이미지(1530)에 대한 연산을 수행함으로써 2회차 염색 과정에서 표지된 생체 분자(즉, 단백질 B)에 대한 분리 이미지(1520)를 생성할 수 있다. 또한, 프로세서(110)는 제2 미분리 이미지(1530) 및 제3 미분리 이미지(1550)에 대한 연산을 수행함으로써 3회차 염색 과정에서 표지된 생체 분자(즉, 단백질 C)에 대한 분리 이미지(1540)를 생성할 수 있다. 한편, 1회차 염색 과정에서 표지된 생체 분자(즉, 단백질 A)에 대한 분리 이미지는 제1 미분리 이미지(1510)로서 획득될 수 있다.
도 16은 본 개시의 일 실시예에 따라 순차적으로 획득된 복수의 미분리 이미지 중 연속하는 세 개의 미분리 이미지로부터 적어도 두 생체 분자에 대한 분리 이미지를 획득하는 방법을 예시적으로 도시한 개념도이다. 도 16에 도시된 제1 미분리 이미지(1610), 제2 미분리 이미지(1630) 및 제3 미분리 이미지(1650)는 도 15의 제1 미분리 이미지(1510), 제2 미분리 이미지(1530) 및 제3 미분리 이미지(1550)와 각각 동일한 방식으로 획득될 수 있다. 프로세서(110)는 적어도 하나의 파라미터에 기초하여 연속하는 세 개의 미분리 이미지에 대한 연산을 수행하고 적어도 두 생체 분자 각각에 대한 분리 이미지를 생성할 수 있다. 예를 들어, 프로세서(110)는 제1 미분리 이미지(1610), 제2 미분리 이미지(1620) 및 제3 미분리 이미지(1630)를 동시에 연산함으로써 2회차 염색 과정에서 표지된 생체 분자(즉, 단백질 B)에 대한 분리 이미지(1620) 및 3회차 염색 과정에서 표지된 생체 분자(즉, 단백질 C)에 대한 분리 이미지(1640)를 생성할 수 있다. 한편, 1회차 염색 과정에서 표지된 생체 분자(즉, 단백질 A)에 대한 분리 이미지는 제1 미분리 이미지(1610)로서 획득될 수 있다.
도 15 또는 16을 참조하여서는 연속된 두 개 또는 세 개의 미분리 이미지에 기초하여 생체 분자에 대한 분리 이미지를 획득하는 방법을 상술하였지만, 이는 본 개시를 제한하지 않으며, 본 개시는 연속하는 둘 이상의 임의의 수의 미분리 이미지에 기초하여 생체 분자에 대한 분리 이미지를 생성할 수 있다. 이하에서는 설명의 편의상 연속된 두 개의 미분리 이미지에 기초하여 분리 이미지를 획득하는 방법을 설명한다.
도 17은 본 개시의 일 실시예에 따라 연속하는 두 개의 미분리 이미지에 기초하여 적어도 하나의 생체 분자에 대한 분리 이미지를 생성하는 서버(100)의 동작을 나타내는 순서도이다.
프로세서(110)는 제1 형광 물질로 표지된 제1 생체 분자 및 표지되지 않은 제2 생체 분자를 포함하는 시료에 대한 제1 미분리 이미지를 획득할 수 있다(S1710). 도 17에서 설명되는 실시예에서, 제1 생체 분자는 시료에 대한 i번째 염색 과정(즉, i회차 염색 과정)에서 특정 형광 물질로 표지된 생체 분자일 수 있다. 프로세서(110)는 촬영부(미도시)를 통해 제1 생체 분자가 염색된 시료에 대한 미분리 이미지를 획득하거나, 외부 장치 또는 사용자 단말(200)로부터 제1 생체 분자가 염색된 시료에 대한 미분리 이미지를 수신함으로써 미분리 이미지를 획득할 수 있다.
다음으로, 프로세서(110)는 제1 형광 물질로 표지된 제1 생체 분자 및 제2 형광 물질로 표지된 제2 생체 분자를 포함하는 시료에 대한 제2 미분리 이미지를 획득할 수 있다(S1720). 도 17에서 설명되는 실시예에서, 제2 생체 분자는 시료에 대한 i+1번째 염색 과정(즉, i+1회차 염색 과정)에서 특정 형광 물질로 표지된 생체 분자일 수 있다. 즉, 단계 S1710에서 획득되는 제1 미분리 이미지 및 제2 미분리 이미지는 연속하여 순차적으로 획득된 두 이미지일 수 있다. 다시 말해, 제1 생체 분자는 i회차 염색 과정에서 표지된 생체 분자이고 제2 생체 분자는 i+1회차 염색 과정에서 표지된 생체 분자일 수 있다. 프로세서(110)는 촬영부(미도시)를 통해 제2 생체 분자가 염색된 시료에 대한 미분리 이미지를 획득하거나, 외부 장치 또는 사용자 단말(200)로부터 제2 생체 분자가 염색된 시료에 대한 미분리 이미지를 수신함으로써 미분리 이미지를 획득할 수 있다.
이하, 문맥상 명백히 다르게 표현되지 않는 한, 제1 미분리 이미지는 특정 시료에 대한 i번째 염색 과정에서 제1 생체 분자를 제1 형광 물질로 표지한 후 촬영된 미분리 이미지를 지칭하고, 제2 미분리 이미지는 동일한 특정 시료에 대한 i+1번째 염색 과정에서 제2 생체 분자를 제2 형광 물질로 표지한 후 촬영된 미분리 이미지를 지칭할 수 있다. 이와 같은 제1 미분리 이미지 상에서 제1 생체 분자는 표시되고 제2 생체 분자는 표시되지 않을 수 있다. 또한, 제2 미분리 이미지 상에서 제1 생체 분자 및 제2 생체 분자는 모두 표시될 수 있다.
다음으로, 프로세서(110)는 제1 미분리 이미지 및 제2 미분리 이미지에 기초하여, 제2 생체 분자에 대한 분리 이미지를 생성할 수 있다(S1730). 일 실시예에서, 프로세서(110)는 언믹싱 행렬을 이용하여 제1 미분리 이미지 및 제2 미분리 이미지를 연산하고, 연산의 결과에 기초하여 제2 생체 분자에 대한 분리 이미지를 생성할 수 있다. 또한, 언믹싱 행렬에 포함된 적어도 하나의 원소의 값은 학습된 인공 신경망 모델에 기초하여 결정될 수 있다. 언믹싱 행렬 또는 인공 신경망 모델에 관한 공통된 설명은 상술된 바 이하 중복된 내용의 설명은 생략하고 차이점에 대해 설명한다.
일 실시예에서, 동일한 시료에 대해 연속적으로 획득된 제1 미분리 이미지 및 제2 미분리 이미지는 각각 시료로부터 동일한 특정 파장대의 빛을 검출함으로써 촬영된 이미지일 수 있다. 구체적으로, 제1 미분리 이미지는 제1 형광 물질로 표지된 제1 생체 분자를 포함하는 시료로부터 방출되는 빛 중 제1 파장대의 빛을 검출함으로써 촬영된 이미지이고 제2 미분리 이미지는 제2 형광 물질로 표지된 제2 생체 분자를 포함하는 시료로부터 방출되는 빛 중 제2 파장대의 빛을 검출함으로써 촬영된 이미지일 수 있다. 이때, 제1 파장대와 제2 파장대가 서로 동일한 경우, 제1 미분리 이미지와 제2 미분리 이미지는 서로 동일한 특정 파장대의 빛을 검출함으로써 촬영된 이미지일 수 있다. 본 개시에서 "특정 파장대의 빛"이라는 용어는 특정한 구간의 파장을 갖는 빛을 지칭할 수 있다. 예를 들어, 특정 파장대의 빛은 400nm 이상 450nm 이하의 파장을 갖는 빛을 지칭할 수 있다. 특정 파장대의 빛을 검출함으로써 미분리 이미지를 촬영하기 위해서는, 촬영부가 감지하는 빛의 파장 범위를 조절하거나, 시료에 특정 파장대의 빛을 조사하거나 또는 촬영부와 시료 사이에 소정의 필터를 설치할 수 있다.
일 실시예에서, 동일한 시료에 대해 순차적으로 획득된 제1 미분리 이미지와 제2 미분리 이미지는 각각 동일한 방출 필터(이하, "제6 방출 필터"라고도 함)에 기초하여 획득된 이미지일 수 있다.
도 18은 복수의 형광 물질이 갖는 방출 스펙트럼 및 특정 방출 필터가 통과시키는 파장대를 예시적으로 표시한 도면이다. 전술한 바와 같이 미분리 이미지는, 형광 물질이 반응하는 특정 파장의 빛을 형광 물질에 조사하고, 그 결과로 여기된(excited) 형광 물질로부터 방출되는 빛을 대응되는 방출 필터로 필터링하고 방출 필터가 통과시킨 빛을 촬영함으로써 획득될 수 있다. 예를 들어, 제1 미분리 이미지가 시료에 포함된 제1 생체 분자를 형광 물질 "Alexa 405", "CF405S" 또는 "ATTO 390" 중 하나로 표지한 후 획득된 이미지이고, 제2 미분리 이미지가 동일한 시료에 포함된 제2 생체 분자를 형광 물질 "Alexa 405", "CF405S" 또는 "ATTO 390" 중 하나로 표지한 후 획득된 이미지라고 가정할 수 있다. 이때, 제1 미분리 이미지와 제2 미분리 이미지는, 예를 들어, 동일한 제6 방출 필터에 기초하여 획득된 이미지일 수 있다. 제6 방출 필터가 통과시키는 파장대(1800)가 예를 들어, 도 18에서 점선의 구간으로 도시된 바와 같을 경우, 제1 미분리 이미지 및 제2 미분리 이미지는 모두 제6 방출 필터가 통과시키는 파장대(1800)의 빛이 동일하게 검출됨으로써 획득될 수 있다.
본 개시의 일 실시예에 따르면 제1 미분리 이미지를 획득하기 위해 사용된 제1 형광 물질과 제2 미분리 이미지를 획득하기 위해 사용된 제2 형광 물질은 서로 동일한 형광 물질일 수 있다. 예를 들어, 제1 형광 물질 및 제2 형광 물질은 "Alexa 405", "Alexa 488", "Alexa 546", "Alexa 647", "CF594", "CF405S", "ATTO 390", 또는 그 밖의 다양한 형광 물질들 중 하나의 형광 물질로 서로 동일한 형광 물질일 수 있다.
본 개시의 일 실시예에 따르면 제1 미분리 이미지를 획득하기 위해 사용된 제1 형광 물질과 제2 미분리 이미지를 획득하기 위해 사용된 제2 형광 물질은 서로 유사한 방출 스펙트럼을 갖는 형광 물질일 수 있다. 본 개시에서 서로 유사한 방출 스펙트럼을 갖는 둘 이상의 형광 물질들은 "서로 유사한 방출 스펙트럼을 갖는 형광 물질 조합"으로 표현될 수 있다. 이하 도 19를 참조하여 "서로 유사한 방출 스펙트럼을 갖는 형광 물질 조합"을 결정하는 방법을 설명한다. 도 19는 복수의 형광 물질이 갖는 방출 스펙트럼 및 각 방출 스펙트럼에서 신호의 세기가 최대가 되는 파장 값을 예시적으로 나타내는 도면이다.
프로세서(110)는 각 형광 물질의 방출 스펙트럼 내의 신호의 세기에 기초하여 서로 유사한 방출 스펙트럼을 갖는 형광 물질 조합을 결정할 수 있다. 이하에서는 설명의 편의상 서로 유사한 방출 스펙트럼을 갖는 형광 물질 조합이 두 개의 형광 물질로 구성되는 것으로 가정하여 설명한다.
프로세서(110)는 두 형광 물질 각각의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 파장 값들이 소정의 조건(이하, "형광 물질 조합 조건"이라고도 함)을 만족하는 경우, 두 형광 물질을 서로 유사한 방출 스펙트럼을 갖는 형광 물질 조합으로 결정할 수 있다. 구체적으로, 제1 미분리 이미지는 시료에 포함된 제1 생체 분자를 제1 형광 물질로 표지한 후 촬영된 이미지이고 제2 미분리 이미지는 시료에 포함된 제2 생체 분자를 제2 형광 물질로 표지한 후 촬영된 이미지라고 가정할 때, 제1 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제1 파장 값 및 제2 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제2 파장 값이 소정의 조건을 만족하는 경우, 제1 형광 물질 및 제2 형광 물질은 서로 유사한 방출 스펙트럼을 갖는 형광 물질 조합에 해당할 수 있다.
형광 물질 조합 조건에 관한 일 실시예에서, 프로세서(110)는 제1 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제1 파장 값 및 제2 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제2 파장 값이 사전 결정된 임계 값 이하인 경우 형광 물질 조합 조건을 만족하는 것으로 판단할 수 있다. 예를 들어, 도 19에 도시된 바와 같이, "Alexa 405"의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 파장 값(이하, "Alexa 405의 최대 파장 값"이라고도 함)은 약 420nm이고, "CF405S"의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 파장 값(이하, "CF405S의 최대 파장 값"이라고도 함)은 약 430nm일 수 있다. 또한, "ATTO 390"의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 파장 값(이하, "ATTO 390의 최대 파장 값"이라고도 함)은 약 480nm일 수 있다.
도 19에 관한 일 실시예에서 프로세서(110)가 갖는 사전 결정된 임계 값이 20nm일 경우, Alexa 405의 최대 파장 값(예를 들어, 420nm)과 CF405S의 최대 파장 값(예를 들어, 430nm)의 차이는 10nm로서 사전 결정된 임계 값 이하이므로, Alexa 405 및 CF405S는 형광 물질 조합 조건을 만족하는 것으로 판단될 수 있다. 반면, Alexa 405의 최대 파장 값과 ATTO 390의 최대 파장 값(예를 들어, 480nm)의 차이는 60nm로서 사전 결정된 임계 값 이하가 아니므로, Alexa 405 및 ATTO 390은 형광 물질 조합 조건을 만족하지 않는 것으로 판단될 수 있다. 마찬가지로, CF405S 및 ATTO 390 또한 각 최대 파장 값의 차이가 50nm이므로, 형광 물질 조합 조건을 만족하지 않는 것으로 판단될 수 있다.
도 19에 관한 일 실시예에서 프로세서(110)가 갖는 사전 결정된 임계 값이 60nm일 경우, Alexa 405의 최대 파장 값(예를 들어, 420nm)과 CF405S의 최대 파장 값(예를 들어, 430nm)의 차이는 10nm로서 사전 결정된 임계 값 이하이므로, Alexa 405 및 CF405S는 형광 물질 조합 조건을 만족하는 것으로 판단될 수 있다. 또한, Alexa 405의 최대 파장 값과 ATTO 390의 최대 파장 값(예를 들어, 480nm)의 차이는 60nm로서 사전 결정된 임계 값 이하이므로, Alexa 405 및 ATTO 390은 형광 물질 조합 조건을 만족하는 것으로 판단될 수 있다. 마찬가지로, CF405S 및 ATTO 390 또한 각 최대 파장 값의 차이가 50nm이므로, 형광 물질 조합 조건을 만족하는 것으로 판단될 수 있다. 형광 물질 조합 조건에 관한 다른 일 실시예에서, 프로세서(110)는 제1 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제1 파장 값 및 제2 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제2 파장 값 중 더 큰 파장 값에 대한 더 작은 파장 값의 비율이 사전 결정된 임계 비율 이상인 경우 형광 물질 조합 조건을 만족하는 것으로 판단할 수 있다. 예를 들어, 프로세서(110)가 갖는 사전 결정된 임계 비율이 0.95인 경우, Alexa 405의 최대 파장 값과 CF405S의 최대 파장 값 중 더 큰 파장 값에 대한 더 작은 파장 값의 비율은 약 0.977(=420/430)으로서, 사전 결정된 임계 비율 이상이므로, Alexa 405 및 CF405S는 형광 물질 조합 조건을 만족하는 것으로 판단될 수 있다. 반면, Alexa 405의 최대 파장 값과 ATTO 390의 최대 파장 값 중 더 큰 파장 값에 대한 더 작은 파장 값의 비율은 0.875(=420/480)으로서, 사전 결정된 임계 비율 미만이므로, Alexa 405 및 ATTO 390은 형광 물질 조합 조건을 만족하지 않는 것으로 판단될 수 있다. 마찬가지로, CF405S 및 ATTO 390 또한 각 최대 파장 값의 비율이 약 0.896(=430/480)으로서, 사전 결정된 임계 비율 미만이므로, 형광 물질 조합 조건을 만족하지 않는 것으로 판단될 수 있다.
상술한 바와 같은 사전 결정된 임계 값 또는 사전 결정된 임계 비율의 구체적인 수치는 예시적 기재일 뿐 본 개시를 제한하지 않으며 사전 결정된 임계 값 또는 사전 결정된 임계 비율은 염색 과정에서 사용되는 형광 물질의 종류에 따라 다양한 실수 값으로 설정될 수 있다.
도 4를 참조하여 설명된 종래의 이미지 처리 방법에 따르면 복수의 생체 분자 각각에 대해 정확한 이미지를 획득하기 위해서는 복수의 생체 분자 각각을 표지하는 형광 물질들의 방출 스펙트럼이 최대한 겹치지 않도록 형광 물질을 선택하여야 했다. 반면, 본 개시에 따른 이미지 처리 방법에 따라 복수의 미분리 이미지로부터 복수의 분리 이미지를 생성할 경우, 위와 같은 종래 방법의 제약이 크게 감소할 수 있다. 나아가, 시료에 포함된 복수의 생체 분자들을 순차적으로 염색하여 연속적으로 미분리 이미지를 획득하는 과정에서 각 염색 회차마다 서로 동일한 형광 물질 또는 서로 유사한 형광 물질을 사용할 수도 있다. 그에 따라, 본 개시에서 연속하여 순차적으로 획득된 복수의 미분리 이미지들은, 상술한 몇몇 실시예들과 같은 방법으로 서로 동일하거나 유사한 특정 파장대의 빛에 기초하여 획득될 수 있고, 방출 필터의 교체, 형광 물질의 제거 등 추가적인 과정없이 종래의 방법보다 신속하고 용이하게 복수의 미분리 이미지들을 획득할 수 있다.
본 명세서의 개시 내용에 따른 추가적인 실시예에서, 복수의 미분리 이미지가 시료에 포함된 복수의 생체 분자를 순차적으로 염색함으로써 획득된 이미지들인 경우, 언믹싱 행렬은 삼각행렬일 수 있다.
본 개시의 삼각행렬에 관한 일 실시예에서, 복수의 미분리 이미지가 두 개의 미분리 이미지를 포함하는 경우, 삼각행렬인 언믹싱 행렬은 아래의 수학식 20과 같이 표현될 수 있다.
Figure PCTKR2022013762-appb-img-000039
수학식 20의 언믹싱 행렬(U)에 포함된 파라미터 α는 미분리 이미지들의 가중합을 위한 파라미터일 수 있다. 수학식 20의 예시에서 두 개의 미분리 이미지는 각각 i회차 염색 과정에서 시료에 포함된 제1 생체 분자를 염색하고 촬영된 제1 미분리 이미지(Y1), i+1회차 염색 과정에서 동일 시료에 포함된 제2 생체 분자를 염색하고 촬영된 제2 미분리 이미지(Y2)로 지칭될 수 있다(i는 1 이상의 자연수). 프로세서(110)는 삼각행렬인 언믹싱 행렬을 이용하여 제1 미분리 이미지(Y1) 및 제2 미분리 이미지(Y2)를 가중 합산함으로써 제2 생체 분자에 대한 분리 이미지를 획득하기 위한 연산을 수행할 수 있다. 예를 들어, 프로세서(110)는 수학식 20의 언믹싱 행렬(U)에 기초하여 X2=αY1+Y2와 같이 표현되는 수식을 연산하고, 연산의 결과로 제2 생체 분자에 대한 분리 이미지(X2)를 획득할 수 있다. 한편, 만약 제1 미분리 이미지(Y1)가 시료에 대한 최초의 염색(즉, 1회차 염색) 과정에서 시료에 포함된 제1 생체 분자를 염색한 후 획득된 이미지일 경우, 제1 생체 분자에 대한 분리 이미지(X1)는 제1 미분리 이미지(Y1)로서 획득될 수 있다.
본 개시의 삼각행렬에 관한 다른 일 실시예에서, 복수의 미분리 이미지가 세 개의 미분리 이미지를 포함하는 경우, 삼각행렬인 언믹싱 행렬은 아래의 수학식 21과 같이 표현될 수 있다.
Figure PCTKR2022013762-appb-img-000040
수학식 21의 언믹싱 행렬(U)에 포함된 복수의 파라미터 α, β, γ는 각각 미분리 이미지들의 가중합을 위한 파라미터일 수 있다. 수학식 21의 예시에서 세 개의 미분리 이미지는 각각 i회차 염색 과정에서 시료에 포함된 제1 생체 분자를 염색하고 촬영된 제1 미분리 이미지(Y1), i+1회차 염색 과정에서 동일 시료에 포함된 제2 생체 분자를 염색하고 촬영된 제2 미분리 이미지(Y2) 및 i+1회차 염색 과정에서 동일 시료에 포함된 제3 생체 분자를 염색하고 촬영된 제3 미분리 이미지(Y3)로 지칭될 수 있다(i는 1 이상의 자연수). 프로세서(110)는 삼각행렬인 언믹싱 행렬을 이용하여 제1 미분리 이미지(Y1), 제2 미분리 이미지(Y2) 및 제3 미분리 이미지(Y3)를 가중 합산 함으로써 제2 생체 분자에 대한 분리 이미지와 제3 생체 분자에 대한 분리 이미지를 획득하기 위한 연산을 수행할 수 있다. 예를 들어, 프로세서(110)는 수학식 21의 언믹싱 행렬(U)에 기초하여 X2=αY1+Y2와 X3=βY1+γY2+Y3같이 표현되는 수식을 연산하고, 연산의 결과로 제2 생체 분자에 대한 분리 이미지(X2) 및 제3 생체 분자에 대한 분리 이미지(X3)를 획득할 수 있다. 한편, 제1 미분리 이미지(Y1)가 시료에 대한 최초의 염색(즉, 1회차 염색) 과정에서 시료에 포함된 제1 생체 분자를 염색한 후 획득된 이미지일 경우, 그 제1 생체 분자에 대한 분리 이미지(X1)는 제1 미분리 이미지(Y1)로서 획득될 수 있다.
상술한 수학식 20 및 21에 기초한 구체적 설명에서 언믹싱 행렬로서의 삼각행렬은 하 삼각행렬(Lower Triangular Matrix)로 기재되었지만 이는 본 개시를 제한하지 않으며, 본 개시의 삼각행렬은 상 삼각행렬(Upper Triangular Matrix)일 수도 있다. 이와 같이 복수의 미분리 이미지가 시료에 포함된 복수의 생체 분자를 순차적으로 염색함으로써 획득된 이미지들인 경우, 본 개시에 따른 언믹싱 행렬은 삼각행렬일 수 있고, 그에 따라 프로세서(110)는 보다 빠르게 행렬 연산을 수행함으로써 적어도 하나의 생체 분자에 대한 분리 이미지를 획득할 수 있다.
본 명세서에의 개시 내용에 따른 순서도 또는 흐름도에서, 방법 또는 알고리즘의 각 단계들은 순차적인 순서로 설명되었지만, 각 단계들은 순차적으로 수행되는 것 외에, 임의로 조합될 수 있는 순서에 따라 수행될 수도 있다. 본 명세서의 순서도 또는 흐름도에 관한 설명은, 방법 또는 알고리즘에 변화 또는 수정을 가하는 것을 제외하지 않으며, 임의의 단계가 필수적이거나 바람직하다는 것을 의미하지 않는다. 일 실시예에서, 적어도 일부의 단계가 병렬적, 반복적 또는 휴리스틱하게 수행될 수 있다. 일 실시예에서, 적어도 일부의 단계가 생략되거나, 다른 단계가 추가될 수 있다.
본 명세서의 개시 내용에 따른 다양한 실시예들은 기기(Machine)가 읽을 수 있는 저장매체(Machine-readable Storage Medium)에 소프트웨어로 구현될 수 있다. 소프트웨어는 본 명세서의 다양한 실시예들을 구현하기 위한 소프트웨어일 수 있다. 소프트웨어는 본 명세서의 개시 내용이 속하는 기술분야의 프로그래머들에 의해 본 명세서의 다양한 실시예들로부터 추론될 수 있다. 예를 들어 소프트웨어는 기기가 읽을 수 있는 명령(예를 들어, 코드 또는 코드 세그먼트)을 포함하는 프로그램일 수 있다. 기기는 저장 매체로부터 호출된 명령에 따라 동작이 가능한 장치로서, 예를 들어 컴퓨터일 수 있다. 일 실시예에서, 기기는 본 명세서의 다양한 실시예들에 따른 컴퓨팅 장치일 수 있다. 일 실시예에서, 기기의 프로세서는 호출된 명령을 실행하여, 기기의 구성요소들이 해당 명령에 해당하는 기능을 수행하게 할 수 있다. 일 실시예에서, 프로세서는 본 명세서의 실시예들에 따른 프로세서(110, 210)일 수 있다. 저장 매체는 기기에 의해 읽혀질 수 있는, 데이터가 저장되는 모든 종류의 기록 매체(Recording Medium)를 의미할 수 있다. 저장 매체는, 예를 들어 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등을 포함할 수 있다. 일 실시예에서, 저장 매체는 메모리(130, 230)일 수 있다. 일 실시예에서, 저장매체는 네트워크로 연결된 컴퓨터 시스템 등에 분산된 형태로서 구현될 수도 있다. 소프트웨어는 컴퓨터 시스템 등에 분산되어 저장되고, 실행될 수 있다. 저장 매체는 비일시적(non-transitory) 저장매체일 수 있다. 비일시적 저장매체는, 데이터가 반영구적 또는 임시적으로 저장되는 것과 무관하게 실재하는 매체(Tangible Medium)를 의미하며, 일시적(transitory)으로 전파되는 신호(Signal)를 포함하지 않는다.
이상 다양한 실시예들에 의해 본 명세서의 개시 내용에 따른 기술적 사상이 설명되었지만, 본 명세서의 개시 내용에 따른 기술적 사상은 본 명세서의 개시 내용이 속하는 기술 분야에서 통상의 지식을 가진 자가 이해할 수 있는 범위에서 이루어질 수 있는 다양한 치환, 변형 및 변경을 포함한다. 또한, 그러한 치환, 변형 및 변경은 첨부된 청구범위 내에 포함될 수 있는 것으로 이해되어야 한다.

Claims (20)

  1. 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되기 위한 명령들이 저장된 하나 이상의 메모리를 포함하는 전자 장치에서 수행되는 이미지 처리 방법으로서,
    제1 형광 물질로 표지된 제1 생체 분자 및 표지되지 않은 제2 생체 분자를 포함하는 시료(sample)에 대한 제1 미분리 이미지를 획득하는 단계;
    상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 제2 형광 물질로 표지된 상기 제2 생체 분자를 포함하는 상기 시료에 대한 제2 미분리 이미지를 획득하는 단계; 및
    상기 제1 미분리 이미지 및 상기 제2 미분리 이미지에 기초하여, 상기 제2 생체 분자에 대한 분리 이미지를 생성하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 제1 미분리 이미지 및 상기 제2 미분리 이미지는 각각 상기 시료로부터 동일한 특정 파장대의 빛을 검출함으로써 촬영된 이미지인, 방법.
  3. 제1항에 있어서,
    상기 제1 미분리 이미지와 상기 제2 미분리 이미지는 각각 동일한 방출 필터에 기초하여 획득된 이미지이고,
    상기 방출 필터는 특정 파장대의 빛을 통과시키는, 방법.
  4. 제1항에 있어서,
    상기 제1 형광 물질 및 상기 제2 형광 물질은 서로 동일한 형광 물질인, 방법.
  5. 제1항에 있어서,
    상기 제1 형광 물질 및 상기 제2 형광 물질은,
    상기 제1 형광 물질의 방출 스펙트럼(spectrum) 내에서 방출 신호의 세기가 최대가 되는 제1 파장 값; 및
    상기 제2 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제2 파장 값이 소정의 조건을 만족하도록 결정되는, 방법.
  6. 제5항에 있어서,
    상기 소정의 조건은,
    상기 제1 파장 값 및 상기 제2 파장 값의 차이 값이 사전 결정된 임계 값 이하인 경우에 만족되는 조건인, 방법.
  7. 제5항에 있어서,
    상기 소정의 조건은,
    상기 제1 파장 값 및 상기 제2 파장 값 중 더 큰 파장 값에 대한 더 작은 파장 값의 비율이 사전 결정된 임계 비율 이상인 경우에 만족되는 조건인, 방법.
  8. 제1항에 있어서,
    상기 제2 미분리 이미지는,
    상기 시료에 대한 상기 제1 미분리 이미지를 촬영한 후, 상기 시료에 포함된 상기 제2 생체 분자를 상기 제2 형광 물질로 표지하고 그리고 상기 시료를 촬영함으로써 획득되는, 방법.
  9. 제1항에 있어서,
    상기 분리 이미지를 생성하는 단계는,
    언믹싱(Unmixing) 행렬을 이용하여 상기 제1 미분리 이미지 및 상기 제2 미분리 이미지를 연산하는 단계를 포함하는, 방법.
  10. 제9항에 있어서,
    상기 언믹싱 행렬에 포함된 적어도 하나의 원소의 값은 학습된 인공 신경망 모델에 기초하여 결정되는, 방법.
  11. 제1항에 있어서,
    상기 제1 형광 물질로 표지된 상기 제1 생체 분자, 상기 제2 형광 물질로 표지된 상기 제2 생체 분자 및 제3 형광 물질로 표지된 제3 생체 분자를 포함하는 상기 시료에 대한 제3 미분리 이미지를 획득하는 단계를 더 포함하고,
    상기 생성하는 단계는,
    상기 제3 미분리 이미지에 추가적으로 기초하여, 상기 제3 생체 분자에 대한 분리 이미지를 생성하는 단계를 포함하고,
    상기 제1 미분리 이미지는 표지되지 않은 상기 제2 생체 분자 및 표지되지 않은 상기 제3 생체 분자를 포함하는 시료를 촬영함으로써 획득된 이미지이고,
    상기 제2 미분리 이미지는 표지되지 않은 상기 제3 생체 분자를 포함하는 시료를 촬영함으로써 획득된 이미지인, 방법.
  12. 제11항에 있어서,
    상기 제2 미분리 이미지는,
    상기 시료에 대한 상기 제1 미분리 이미지를 촬영한 후, 상기 시료에 포함된 상기 제2 생체 분자를 상기 제2 형광 물질로 표지하고 그리고 상기 시료를 촬영함으로써 획득되고,
    상기 제3 미분리 이미지는,
    상기 시료에 대한 상기 제2 미분리 이미지를 촬영한 후, 상기 시료에 포함된 상기 제3 생체 분자를 상기 제3 형광 물질로 표지하고 그리고 상기 시료를 촬영함으로써 획득되는, 방법.
  13. 전자 장치에 있어서,
    하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행되기 위한 명령들이 저장된 하나 이상의 메모리;
    를 포함하고,
    상기 하나 이상의 프로세서는,
    제1 형광 물질로 표지된 제1 생체 분자 및 표지되지 않은 제2 생체 분자를 포함하는 시료(sample)에 대한 제1 미분리 이미지를 획득하고,
    상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 제2 형광 물질로 표지된 상기 제2 생체 분자를 포함하는 상기 시료에 대한 제2 미분리 이미지를 획득하고,
    상기 제1 미분리 이미지 및 상기 제2 미분리 이미지에 기초하여, 상기 제2 생체 분자에 대한 분리 이미지를 생성하는, 전자 장치.
  14. 제13항에 있어서,
    상기 제1 미분리 이미지 및 상기 제2 미분리 이미지는 각각 상기 시료에 대해 동일한 특정 파장대의 빛을 검출함으로써 촬영된 이미지인, 전자 장치.
  15. 제13항에 있어서,
    상기 제1 미분리 이미지와 상기 제2 미분리 이미지는 각각 동일한 방출 필터에 기초하여 획득된 이미지이고,
    상기 방출 필터는 특정 파장대의 빛을 통과시키는, 전자 장치.
  16. 제13항에 있어서,
    상기 제1 형광 물질 및 상기 제2 형광 물질은 서로 동일한 형광 물질인, 방법.
  17. 제13항에 있어서,
    상기 제1 형광 물질 및 상기 제2 형광 물질은,
    상기 제1 형광 물질의 방출 스펙트럼(spectrum) 내에서 방출 신호의 세기가 최대가 되는 제1 파장 값; 및
    상기 제2 형광 물질의 방출 스펙트럼 내에서 방출 신호의 세기가 최대가 되는 제2 파장 값이 소정의 조건을 만족하도록 결정되는, 전자 장치.
  18. 제13항에 있어서,
    상기 제2 미분리 이미지는,
    상기 시료에 대한 상기 제1 미분리 이미지를 촬영한 후, 상기 시료에 포함된 상기 제2 생체 분자를 상기 제2 형광 물질로 표지하고 그리고 상기 시료를 촬영함으로써 획득되는, 전자 장치.
  19. 제13항에 있어서,
    상기 전자 장치는,
    촬영부를 더 포함하고,
    상기 하나 이상의 프로세서는,
    상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 표지되지 않은 상기 제2 생체 분자를 포함하는 상기 시료를 상기 촬영부를 통해 촬영함으로써 상기 제1 미분리 이미지를 획득하고,
    상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 상기 제2 형광 물질로 표지된 상기 제2 생체 분자를 포함하는 상기 시료를 상기 촬영부를 통해 촬영함으로써 상기 제2 미분리 이미지를 획득하는, 전자 장치.
  20. 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가 동작을 수행하도록 하는 명령들을 기록한 비일시적 컴퓨터 판독 가능 기록 매체에 있어서,
    상기 명령들은, 상기 하나 이상의 프로세서로 하여금,
    제1 형광 물질로 표지된 제1 생체 분자 및 표지되지 않은 제2 생체 분자를 포함하는 시료(sample)에 대한 제1 미분리 이미지를 획득하고,
    상기 제1 형광 물질로 표지된 상기 제1 생체 분자 및 제2 형광 물질로 표지된 상기 제2 생체 분자를 포함하는 상기 시료에 대한 제2 미분리 이미지를 획득하고,
    상기 제1 미분리 이미지 및 상기 제2 미분리 이미지에 기초하여, 상기 제2 생체 분자에 대한 분리 이미지를 생성하도록 하는, 컴퓨터 판독 가능 기록 매체.
PCT/KR2022/013762 2021-09-16 2022-09-15 이미지를 처리하는 장치 및 방법 WO2023043211A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280062957.1A CN117957435A (zh) 2021-09-16 2022-09-15 图像处理装置及方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0123583 2021-09-16
KR20210123583 2021-09-16
KR10-2022-0111591 2022-09-02
KR1020220111591A KR20230040890A (ko) 2021-09-16 2022-09-02 이미지를 처리하는 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2023043211A1 true WO2023043211A1 (ko) 2023-03-23

Family

ID=85603256

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/013762 WO2023043211A1 (ko) 2021-09-16 2022-09-15 이미지를 처리하는 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2023043211A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200031687A (ko) * 2017-09-27 2020-03-24 후지필름 가부시키가이샤 화상 해석 장치, 방법 및 프로그램
US20200226462A1 (en) * 2017-10-02 2020-07-16 Room4 Group Limited Histopathological image analysis
KR20210087869A (ko) * 2020-01-03 2021-07-13 한국과학기술원 분자 다중 이미징 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200031687A (ko) * 2017-09-27 2020-03-24 후지필름 가부시키가이샤 화상 해석 장치, 방법 및 프로그램
US20200226462A1 (en) * 2017-10-02 2020-07-16 Room4 Group Limited Histopathological image analysis
KR20210087869A (ko) * 2020-01-03 2021-07-13 한국과학기술원 분자 다중 이미징 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RADTKE ANDREA J., KANDOV EVELYN, LOWEKAMP BRADLEY, SPERANZA EMILY, CHU COLIN J., GOLA ANITA, THAKUR NISHANT, SHIH ROCHELLE, YAO LI: "IBEX: A versatile multiplex optical imaging approach for deep phenotyping and spatial analysis of cells in complex tissues", PROCEEDINGS OF THE NATIONAL ACADEMY OF SCIENCES, NATIONAL ACADEMY OF SCIENCES, vol. 117, no. 52, 29 December 2020 (2020-12-29), pages 33455 - 33465, XP093049411, ISSN: 0027-8424, DOI: 10.1073/pnas.2018488117 *
SEO JUNYOUNG, SIM YEONBO, KIM JEEWON, KIM HYUNWOO, CHO IN, YOON YOUNG-GYU, CHANG JAE-BYUM: "PICASSO: Ultra-multiplexed fluorescence imaging of biomolecules through single-round imaging and blind source unmixing", BIORXIV, 27 January 2021 (2021-01-27), XP055904132, Retrieved from the Internet <URL:https://www.biorxiv.org/content/10.1101/2021.01.27.428247v1.full.pdf> [retrieved on 20220322], DOI: 10.1101/2021.01.27.428247 *

Similar Documents

Publication Publication Date Title
WO2020171373A1 (en) Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames
WO2020105948A1 (en) Image processing apparatus and control method thereof
WO2017213398A1 (en) Learning model for salient facial region detection
WO2019124652A1 (en) Electronic apparatus and control method thereof
US20150215590A1 (en) Image demosaicing
WO2019245186A1 (ko) 전자 장치 및 그의 제어 방법
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2020027519A1 (ko) 영상 처리 장치 및 그 동작방법
WO2020116768A1 (ko) 영상 처리 장치 및 그 동작방법
WO2019182269A1 (ko) 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
WO2020045702A1 (ko) 비색표를 이용한 소변 검사를 제공하는 컴퓨터 프로그램 및 단말기
WO2023136409A1 (en) Technique for identifying dementia based on mixed tests
WO2021230485A1 (ko) 영상을 제공하는 방법 및 장치
WO2019009664A1 (en) APPARATUS FOR OPTIMIZING THE INSPECTION OF THE OUTSIDE OF A TARGET OBJECT AND ASSOCIATED METHOD
WO2021006482A1 (en) Apparatus and method for generating image
WO2019164251A1 (en) Method of performing learning of deep neural network and apparatus thereof
WO2023043211A1 (ko) 이미지를 처리하는 장치 및 방법
WO2020091253A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2020055181A1 (ko) 영상 처리 장치 및 그 동작방법
WO2020017814A1 (ko) 이상 개체 검출 시스템 및 방법
WO2024049192A1 (ko) 인공 신경망 모델을 이용하여 이미지를 처리하는 장치 및 방법
WO2018124624A1 (en) Method, device, and system for processing multimedia signal
WO2024014706A1 (ko) 화질 개선을 수행하는 신경망 모델을 학습시키는 전자 장치 및 그 제어 방법
WO2020159223A1 (ko) 렌즈리스 초분광 영상 이미징 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22870295

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280062957.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022870295

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022870295

Country of ref document: EP

Effective date: 20240416