WO2021177532A1 - 인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법, 장치 및 컴퓨터프로그램 - Google Patents

인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법, 장치 및 컴퓨터프로그램 Download PDF

Info

Publication number
WO2021177532A1
WO2021177532A1 PCT/KR2020/013767 KR2020013767W WO2021177532A1 WO 2021177532 A1 WO2021177532 A1 WO 2021177532A1 KR 2020013767 W KR2020013767 W KR 2020013767W WO 2021177532 A1 WO2021177532 A1 WO 2021177532A1
Authority
WO
WIPO (PCT)
Prior art keywords
chromosome
artificial intelligence
images
unit
image
Prior art date
Application number
PCT/KR2020/013767
Other languages
English (en)
French (fr)
Inventor
최용준
정휘진
박보규
이은희
양송현
이미나
구선영
Original Assignee
두에이아이(주)
의료법인녹십자의료재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 두에이아이(주), 의료법인녹십자의료재단 filed Critical 두에이아이(주)
Publication of WO2021177532A1 publication Critical patent/WO2021177532A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B45/00—ICT specially adapted for bioinformatics-related data visualisation, e.g. displaying of maps or networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B50/00—ICT programming tools or database systems specially adapted for bioinformatics

Definitions

  • Various embodiments of the present invention relate to a chromosomal abnormality determination method, apparatus, and computer program through analysis of aligned chromosome images using artificial intelligence.
  • the karyotyping method refers to the analysis of the number and shape of chromosomes appearing in the metaphase of division by photographs or diagrams.
  • the number and shape of chromosomes are, in principle, constant for each species.
  • the shape of the chromosome is determined by the location where the spindle attaches. Chromosomes of somatic cells are generally diploid, and chromosomes of the same type derived from parents exist in pairs.
  • the karyotyping method is a test to check whether there are any abnormalities in the chromosomes in the nucleus by collecting blood through a vein, biopsy of bone marrow or tissue, and in the case of pregnant women, collecting cells from villi and amniotic fluid. After staining, it is placed on a slide and read with the photographed image.
  • the conventional karyotyping method was performed by hand.
  • the karyotyping method is performed manually, it is carried out through the procedures of microscopy, photography, film development, photographic printing, photographic drying, karyotyping and karyotyping report preparation,
  • the manual karyotype analysis method is basically based on black-and-white photography, and there is a problem in that the time required for photographing and development cannot be reduced.
  • the problem to be solved by the present invention is to divide and rearrange the chromosome image input from the user using artificial intelligence, so that the aligned chromosome image for performing karyotype analysis can be automatically generated using artificial intelligence.
  • a method for determining a chromosome abnormality through analysis of an aligned chromosome image using artificial intelligence is a method performed by a computing device, a plurality of chromosomes for a user obtaining an image, generating a plurality of unit images by segmenting each of the plurality of chromosome images, extracting a unit image including a chromosome from among the plurality of unit images, and a unit image including the chromosome and identifying a type of a chromosome included in the unit image including the chromosome by analyzing and aligning the unit image including the chromosome based on the identified type of the chromosome.
  • the generating of the plurality of unit images may include dividing the chromosome images using an artificial intelligence model previously learned using the chromosome image and the plurality of unit images as learning data, so that the plurality of unit images It may include the step of generating
  • the step of extracting the unit image including the chromosome may include converting the plurality of unit images to the unit image including the chromosome and the unit image not including the chromosome by using a pre-learned artificial intelligence model. It may include the step of classifying at least one and extracting only the unit image including the chromosome based on the classification result of the pre-learned artificial intelligence model.
  • the classifying includes using the pre-learned artificial intelligence model to classify the unit image including the chromosome into at least one of a unit image including a normal chromosome and a unit image including an overlapping chromosome
  • the step of aligning the unit image including the chromosome comprises excluding the unit image including the overlapping chromosome from the alignment target, and selecting and aligning only the unit image including the normal chromosome as the alignment target. may include.
  • the step of aligning the unit images including the chromosomes may include: among the plurality of unit images, using a pre-learned artificial intelligence model using the chromosome image labeled with the number of the chromosome as training data. It may include identifying the number of the chromosome included in the unit image including the chromosome and aligning the unit image including the chromosome on a preset chromosome arrangement template based on the number of the identified chromosome. .
  • the method may further include diagnosing the user's chromosomal abnormality by analyzing the aligned unit image.
  • the step of diagnosing the user's chromosomal abnormality may include extracting a vector summarizing information on each chromosome included in the aligned unit image, and a vector corresponding to the chromosome and the vector. It may include diagnosing the user's chromosomal abnormality using a pre-trained artificial intelligence model using a scoring result as learning data.
  • the method may further include generating an analysis result report including the chromosome image, the aligned unit image, and the user's chromosomal abnormality diagnosis result, and providing the analysis result report to the user's terminal can
  • An apparatus for determining a chromosome abnormality through analysis of an aligned chromosome image using artificial intelligence for solving the above-described problem, a memory storing one or more instructions, and the one or more instructions stored in the memory , wherein the processor executes the one or more instructions to perform a method for determining chromosome abnormality through analysis of an aligned chromosome image using artificial intelligence according to an embodiment of the present invention.
  • a chromosome image alignment computer program using artificial intelligence according to another embodiment of the present invention for solving the above-described problems is combined with a computer that is hardware, and chromosomes aligned using artificial intelligence according to an embodiment of the present invention It may be stored in a computer-readable recording medium to perform a chromosomal abnormality determination method through image analysis.
  • the present invention by automatically dividing and rearranging the chromosome image input from the user using artificial intelligence, the advantage that an aligned chromosome image for performing karyotype analysis can be generated more quickly and conveniently have.
  • FIG. 1 is a block diagram of a chromosome image alignment system using artificial intelligence according to an embodiment of the present invention.
  • FIG. 2 is a hardware configuration diagram of a chromosome image alignment apparatus using artificial intelligence according to another embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a network function related to an artificial intelligence model of an apparatus for aligning chromosome images using artificial intelligence, according to various embodiments.
  • FIG. 4 is a flowchart of a chromosome image alignment method using artificial intelligence according to another embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a chromosome image of a user applicable to various embodiments.
  • FIG. 6 is a diagram illustrating a form in which a chromosome image alignment apparatus using artificial intelligence detects a karyotype from a chromosome image, according to various embodiments.
  • FIG. 7 is a diagram illustrating a unit image including a chromosome extracted by an apparatus for aligning a chromosome image using artificial intelligence, according to various embodiments.
  • FIG. 8 is a flowchart of a method for a chromosome image alignment apparatus using artificial intelligence to identify a chromosome number from a chromosome image and place it on a chromosome arrangement template in various embodiments.
  • FIG. 9 is a diagram illustrating an aligned chromosome image generated using a plurality of unit images by an apparatus for aligning a chromosome image using artificial intelligence, according to various embodiments.
  • FIG. 10 is a flowchart of a method of generating a chromosome analysis result report from a chromosome image by an apparatus for aligning a chromosome image using artificial intelligence, according to various embodiments.
  • FIG. 11 is a diagram illustrating a process in which an apparatus for aligning a chromosome image using artificial intelligence generates an aligned chromosome image and an analysis result report using an artificial intelligence model, according to various embodiments.
  • FIG. 12 is a diagram illustrating a process of extracting a vector indicating a morphological feature from a chromosome by an apparatus for aligning a chromosome image using artificial intelligence, according to various embodiments.
  • unit refers to a hardware component such as software, FPGA, or ASIC, and “unit” or “module” performs certain roles.
  • “part” or “module” is not meant to be limited to software or hardware.
  • a “unit” or “module” may be configured to reside on an addressable storage medium or to reproduce one or more processors.
  • “part” or “module” refers to components such as software components, object-oriented software components, class components and task components, processes, functions, properties, Includes procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables.
  • Components and functionality provided within “parts” or “modules” may be combined into a smaller number of components and “parts” or “modules” or as additional components and “parts” or “modules”. can be further separated.
  • spatially relative terms “below”, “beneath”, “lower”, “above”, “upper”, etc. It can be used to easily describe the correlation between a component and other components.
  • a spatially relative term should be understood as a term that includes different directions of components during use or operation in addition to the directions shown in the drawings. For example, when a component shown in the drawing is turned over, a component described as “beneath” or “beneath” of another component may be placed “above” of the other component. can Accordingly, the exemplary term “below” may include both directions below and above. Components may also be oriented in other orientations, and thus spatially relative terms may be interpreted according to orientation.
  • a computer means all types of hardware devices including at least one processor, and may be understood as encompassing software configurations operating in the corresponding hardware device according to embodiments.
  • a computer may be understood to include, but is not limited to, smart phones, tablet PCs, desktops, notebooks, and user clients and applications running on each device.
  • each step described in this specification is described as being performed by a computer, but the subject of each step is not limited thereto, and at least a portion of each step may be performed in different devices according to embodiments.
  • FIG. 1 is a block diagram of a chromosome image alignment system using artificial intelligence according to an embodiment of the present invention.
  • the chromosome image alignment system using artificial intelligence may include a chromosome image alignment apparatus 100 using artificial intelligence, a user terminal 200 and an external server 300 .
  • a chromosome image alignment apparatus 100 using artificial intelligence may include a user terminal 200 and an external server 300 .
  • the chromosome image alignment system using artificial intelligence shown in FIG. 1 is according to an embodiment, and its components are not limited to the embodiment shown in FIG. 1, and may be added, changed, or deleted as necessary. have.
  • the apparatus 100 for aligning chromosome images using artificial intelligence may obtain a chromosome image (eg, 1 in FIG. 5 ) for a user from the outside.
  • the chromosome image alignment apparatus 100 using artificial intelligence obtains a chromosome image directly from the user terminal 200 or a chromosome image from an external server 300 that stores chromosome images for each of a plurality of users. can be obtained
  • the present invention is not limited thereto.
  • the computing device 100 generates an aligned chromosome image (eg, 2 in FIG. 9 ) by performing a segmentation operation, an extraction operation, and a classification operation on the chromosome image.
  • an aligned chromosome image eg, 2 in FIG. 9
  • the chromosome image alignment apparatus 100 using artificial intelligence divides and rearranges the chromosome image using a pre-learned artificial intelligence model (eg, the first artificial intelligence model) to generate an aligned chromosome image.
  • a pre-learned artificial intelligence model eg, the first artificial intelligence model
  • the pre-trained artificial intelligence model (eg, the first artificial intelligence model) uses a plurality of unit images generated by dividing the original chromosome image and the original chromosome image as training data. (Convolutional Neural Network)).
  • the present invention is not limited thereto.
  • the apparatus 100 for aligning chromosome images using artificial intelligence analyzes the aligned chromosome image using a pre-learned artificial intelligence model (eg, a second artificial intelligence model and a third artificial intelligence model), thereby providing the user's Chromosomal abnormalities can be diagnosed.
  • a pre-learned artificial intelligence model eg, a second artificial intelligence model and a third artificial intelligence model
  • the chromosome image alignment apparatus 100 using artificial intelligence vectorizes the chromosomes included in each of the aligned chromosome images using the second artificial intelligence model, and analyzes the vectorized chromosomes using the third artificial intelligence model. By doing so, it is possible to diagnose the user's chromosomal abnormality.
  • the apparatus 100 for aligning a chromosome image using artificial intelligence uses a pre-learned artificial intelligence model to divide, extract, and classify a chromosome image, and an aligned chromosome image generated through these operations.
  • An analysis operation may be performed, but different AI models may be used for each operation.
  • the apparatus 100 for aligning chromosome images using artificial intelligence may perform operations of segmenting, extracting, and classifying chromosome images using a CNN model, and chromosome images aligned using a machine learning (ML) model. You can perform an operation to analyze .
  • ML machine learning
  • the present invention is not limited thereto, and all operations performed by the chromosome image aligning apparatus 100 using artificial intelligence may be performed using one artificial intelligence model.
  • the apparatus 100 for aligning chromosome images using artificial intelligence generates an aligned chromosome image generated using a chromosome image obtained from a user and an analysis result (eg, an aligned chromosome image) generated by analyzing the aligned chromosome image.
  • An analysis result report including a chromosomal abnormality diagnosis result generated by diagnosing a chromosome included in ) may be generated, and the generated analysis result report may be provided to the user terminal 200 .
  • the user terminal 200 may include a display in at least a portion of the user terminal 200, and may be connected to the chromosome image alignment apparatus 100 using artificial intelligence through the network 400 wired or wirelessly, Various UIs provided from the chromosome image alignment apparatus 100 using artificial intelligence (eg, a UI for outputting an analysis result report including an aligned chromosome image and a chromosome diagnosis result) may be output.
  • the user terminal 200 may include at least one of a smart phone, a tablet PC, a notebook desktop, and a kiosk.
  • the present invention is not limited thereto.
  • the external server 300 may be wired or wirelessly connected to the chromosome image aligning apparatus 100 using artificial intelligence through the network 400, and various data provided from the chromosome image aligning apparatus 100 using artificial intelligence.
  • various data provided from the chromosome image aligning apparatus 100 using artificial intelligence eg, a user's chromosome image, an aligned chromosome image, and diagnostic result data generated by diagnosing a chromosome using an artificial intelligence model, an analysis result report, etc.
  • a user's chromosome image, an aligned chromosome image, and diagnostic result data generated by diagnosing a chromosome using an artificial intelligence model, an analysis result report, etc. can be stored.
  • various information and data generated and provided by the chromosome image alignment apparatus 100 using artificial intelligence are transmitted to the external server 300 to the external server 300 .
  • a separate storage device is provided in the chromosome image alignment apparatus 100 using artificial intelligence to store various information and data in the separately provided storage device.
  • a hardware configuration of the apparatus 100 for aligning chromosome images using artificial intelligence will be described with reference to FIG. 2 .
  • FIG. 2 is a hardware configuration diagram of a chromosome image alignment apparatus using artificial intelligence according to another embodiment of the present invention.
  • an apparatus 100 for aligning chromosome images using artificial intelligence (hereinafter, “computing apparatus 100”) according to another embodiment of the present invention is performed by one or more processors 110 and the processor 110 . It may include a memory 120 for loading the computer program 151 to be executed, a bus 130 , a communication interface 140 , and a storage 150 for storing the computer program 151 .
  • processors 110 may include a memory 120 for loading the computer program 151 to be executed, a bus 130 , a communication interface 140 , and a storage 150 for storing the computer program 151 .
  • FIG. 2 Only the components related to the embodiment of the present invention are shown in FIG. 2 . Accordingly, those skilled in the art to which the present invention pertains can see that other general-purpose components other than the components shown in FIG. 2 may be further included.
  • the processor 110 controls the overall operation of each component of the computing device 100 .
  • the processor 110 includes a central processing unit (CPU), a micro processor unit (MPU), a micro controller unit (MCU), a graphic processing unit (GPU), or any type of processor well known in the art. can be
  • the processor 110 may perform an operation for at least one application or program for executing the method according to the embodiments of the present invention
  • the computing device 100 may include one or more processors.
  • the processor 110 temporarily and/or permanently stores a signal (or data) processed inside the processor 110 , a random access memory (RAM) and a read access memory (ROM). -Only Memory, not shown) may be further included.
  • the processor 110 may be implemented in the form of a system on chip (SoC) including at least one of a graphic processing unit, a RAM, and a ROM.
  • SoC system on chip
  • the processor 110 may read a computer program stored in the memory 120 to perform data processing for machine learning according to an embodiment of the present disclosure. According to an embodiment of the present disclosure, the processor 110 may perform an operation for learning the neural network.
  • the processor 110 for learning of the neural network such as processing input data for learning in deep learning (DL), extracting features from the input data, calculating an error, updating the weight of the neural network using backpropagation calculations can be performed.
  • DL deep learning
  • At least one of a CPU, a GPGPU, and a TPU of the processor 110 may process learning of a network function.
  • the CPU and the GPGPU can process learning of a network function and data classification using the network function together.
  • learning of a network function and data classification using the network function may be processed by using the processors of a plurality of computing devices together.
  • the computer program executed in the computing device according to an embodiment of the present disclosure may be a CPU, GPGPU, or TPU executable program.
  • a network function may be used interchangeably with an artificial neural network and a neural network.
  • a network function may include one or more neural networks, and in this case, an output of the network function may be an ensemble of outputs of one or more neural networks.
  • the artificial intelligence model may include a network function.
  • the AI model may include one or more network functions, in which case the output of the AI model may be an ensemble of outputs of the one or more network functions.
  • the memory 120 stores various data, commands and/or information.
  • the memory 120 may load the computer program 151 from the storage 150 to execute methods/operations according to various embodiments of the present disclosure.
  • the processor 110 may perform the method/operation by executing one or more instructions constituting the computer program 151 .
  • the memory 120 may be implemented as a volatile memory such as RAM, but the technical scope of the present disclosure is not limited thereto.
  • the bus 130 provides a communication function between components of the computing device 100 .
  • the bus 130 may be implemented as various types of buses, such as an address bus, a data bus, and a control bus.
  • the communication interface 140 supports wired/wireless Internet communication of the computing device 100 .
  • the communication interface 140 may support various communication methods other than Internet communication.
  • the communication interface 140 may be configured to include a communication module well known in the technical field of the present invention. In some embodiments, the communication interface 140 may be omitted.
  • the storage 150 may non-temporarily store the computer program 151 .
  • the storage 150 may store various types of information necessary to provide a chromosomal abnormality determination method through analysis of an aligned chromosome image using artificial intelligence. .
  • the storage 150 is a non-volatile memory such as a read only memory (ROM), an erasable programmable ROM (EPROM), an electrically erasable programmable ROM (EEPROM), a flash memory, a hard disk, a removable disk, or well in the art to which the present invention pertains. It may be configured to include any known computer-readable recording medium.
  • ROM read only memory
  • EPROM erasable programmable ROM
  • EEPROM electrically erasable programmable ROM
  • flash memory a hard disk, a removable disk, or well in the art to which the present invention pertains. It may be configured to include any known computer-readable recording medium.
  • the computer program 151 may include one or more instructions that, when loaded into the memory 120 , cause the processor 110 to perform methods/operations according to various embodiments of the present invention. That is, the processor 110 may perform the method/operation according to various embodiments of the present invention by executing the one or more instructions.
  • the computer program 151 includes the steps of obtaining a plurality of chromosome images for the user, generating a plurality of unit images by segmenting each of the plurality of chromosome images, and chromosomes among the plurality of unit images extracting a unit image and analyzing a unit image containing It may include one or more instructions for performing a chromosomal abnormality determination method through analysis of an aligned chromosome image using artificial intelligence including a step.
  • a software module may contain random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.
  • RAM random access memory
  • ROM read only memory
  • EPROM erasable programmable ROM
  • EEPROM electrically erasable programmable ROM
  • flash memory hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.
  • the components of the present invention may be implemented as a program (or application) to be executed in combination with a computer, which is hardware, and stored in a medium.
  • the components of the present invention may be implemented as software programming or software components, and similarly, embodiments may include various algorithms implemented as data structures, processes, routines, or combinations of other programming constructs, including C, C++ , Java, assembler, etc. may be implemented in a programming or scripting language. Functional aspects may be implemented in an algorithm running on one or more processors.
  • FIG. 3 is a diagram illustrating a network function related to an artificial intelligence model of an apparatus for aligning chromosome images using artificial intelligence, according to various embodiments.
  • an artificial intelligence model (eg, a first artificial intelligence model, a second artificial intelligence model, and a third artificial intelligence model) is a deep neural network (DNN).
  • the deep neural network may refer to a neural network including a plurality of hidden layers in addition to an input layer and an output layer.
  • Deep neural networks can be used to identify the latent structures of data. In other words, it can identify the potential structure of photos, texts, videos, voices, and music (for example, what objects are in the photos, what the text and emotions are, what the texts and emotions are, etc.) .
  • Deep neural networks include convolutional neural networks (CNNs), recurrent neural networks (RNNs), auto encoders, generative adversarial networks (GANs), and restricted Boltzmann machines (RBMs). boltzmann machine), a deep belief network (DBN), a Q network, a U network, a Siamese network, and the like.
  • CNNs convolutional neural networks
  • RNNs recurrent neural networks
  • GANs generative adversarial networks
  • RBMs restricted Boltzmann machines
  • the network function may include an auto-encoder.
  • the auto-encoder may be a kind of artificial neural network for outputting output data similar to input data.
  • the auto encoder may include at least one hidden layer, and an odd number of hidden layers may be disposed between the input/output layers.
  • the number of nodes in each layer may be reduced from the number of nodes of the input layer to an intermediate layer called the bottleneck layer (encoding), and then expanded symmetrically with reduction from the bottleneck layer to the output layer (symmetrically with the input layer).
  • the nodes of the dimension reduction layer and the dimension restoration layer may be symmetric, but are not limited thereto.
  • the auto-encoder can perform non-linear dimensionality reduction.
  • the number of input layers and output layers may correspond to the number of sensors remaining after pre-processing of input data.
  • the number of nodes of the hidden layer included in the encoder may have a structure that decreases as the distance from the input layer increases. If the number of nodes in the bottleneck layer (the layer with the fewest nodes between the encoder and the decoder) is too small, a sufficient amount of information may not be conveyed, so a certain number or more (e.g., more than half of the input layer, etc.) ) may be maintained.
  • the neural network may be trained by at least one of supervised learning, unsupervised learning, and semi-supervised learning.
  • the training of the neural network is to minimize the error in the output.
  • iteratively inputs the training data to the neural network, calculates the output of the neural network and the target error for the training data, and calculates the error of the neural network from the output layer of the neural network to the input layer in the direction to reduce the error. It is a process of updating the weight of each node in the neural network by backpropagation in the direction.
  • learning data in which correct answers are labeled in each learning data is used ie, labeled learning data
  • the correct answers may not be labeled in each learning data. That is, for example, the learning data in the case of teacher learning regarding data classification may be data in which categories are labeled in each of the learning data.
  • Labeled training data is input to the neural network, and an error can be calculated by comparing the output (category) of the neural network with the label of the training data.
  • an error may be calculated by comparing the input training data with the neural network output.
  • the calculated error is back propagated in the reverse direction (ie, from the output layer to the input layer) in the neural network, and the connection weight of each node of each layer of the neural network may be updated according to the back propagation.
  • a change amount of the connection weight of each node to be updated may be determined according to a learning rate.
  • the computation of the neural network on the input data and the backpropagation of errors can constitute a learning cycle (epoch).
  • the learning rate may be applied differently according to the number of repetitions of the learning cycle of the neural network. For example, in the early stage of training of a neural network, a high learning rate can be used to enable the neural network to quickly acquire a certain level of performance, thereby increasing efficiency, and using a low learning rate at the end of learning can increase accuracy.
  • the training data may be a subset of real data (that is, data to be processed using the trained neural network), and thus the error on the training data is reduced, but the error on the real data is reduced. There may be increasing learning cycles.
  • Overfitting is a phenomenon in which errors on actual data increase by over-learning on training data as described above.
  • a phenomenon in which a neural network that has learned a cat by showing a yellow cat does not recognize that it is a cat when it sees a cat other than yellow may be a type of overfitting.
  • Overfitting can act as a cause of increasing errors in machine learning algorithms.
  • various optimization methods can be used.
  • methods such as increasing training data, regularization, or dropout in which a part of nodes in the network are omitted in the process of learning, may be applied.
  • the data structure may include a neural network.
  • the data structure including the neural network may be stored in a computer-readable medium.
  • Data structures, including neural networks may also include data input to the neural network, weights of the neural network, hyperparameters of the neural network, data obtained from the neural network, activation functions associated with each node or layer of the neural network, and loss functions for learning the neural network. have.
  • a data structure comprising a neural network may include any of the components disclosed above.
  • the data structure including the neural network includes all or all of the data input to the neural network, the weights of the neural network, the hyperparameters of the neural network, the data acquired from the neural network, the activation function associated with each node or layer of the neural network, and the loss function for training the neural network.
  • the data structure including the neural network includes all or all of the data input to the neural network, the weights of the neural network, the hyperparameters of the neural network, the data acquired from the neural network, the activation function associated with each node or layer of the neural network, and the loss function for training the neural network.
  • a data structure including a neural network may include any other information that determines a characteristic of a neural network.
  • the data structure may include all types of data used or generated in the operation process of the neural network, and is not limited to the above.
  • Computer-readable media may include computer-readable recording media and/or computer-readable transmission media.
  • a neural network may be composed of a set of interconnected computational units, which may generally be referred to as nodes. These nodes may also be referred to as neurons.
  • a neural network is configured by including at least one or more nodes.
  • a chromosome image alignment method using artificial intelligence performed by the computing device 100 will be described with reference to FIG. 4 .
  • FIG. 4 is a flowchart of a chromosome image alignment method using artificial intelligence according to another embodiment of the present invention.
  • the computing device 100 may obtain a chromosome image from the outside.
  • the computing device 100 may be connected to a photographing apparatus for photographing a chromosome image to obtain a user's chromosome image (eg, 1 in FIG. 5 ) generated by the photographing apparatus photographing the user's chromosomes.
  • a photographing apparatus for photographing a chromosome image to obtain a user's chromosome image (eg, 1 in FIG. 5 ) generated by the photographing apparatus photographing the user's chromosomes.
  • the present invention is not limited thereto, and various methods of obtaining a chromosome image, such as a method of obtaining one of a plurality of pre-stored chromosome images from the external server 300 , may be applied.
  • the chromosome image is a blood, bone marrow, or tissue biopsy collected through a user's vein, and in the case of a pregnant woman, chromosomes are extracted and stained from the nucleus of cells collected from villi and amniotic fluid, and the dyed chromosomes are placed on a slide. It may mean a photographed image.
  • the present invention is not limited thereto.
  • the computing device 100 may obtain a chromosome image from each of a plurality of users, and may obtain a plurality of chromosome images for each of the plurality of users. For example, the computing device 100 may obtain at least 15 or more chromosome images for each user.
  • the present invention is not limited thereto.
  • the computing device 100 may generate a plurality of unit images by segmenting the chromosome image. For example, the computing device 100 may perform karyotype detection on the chromosome image in order to segment the chromosome image, and then, based on the karyotype detection result for the chromosome image, convert the chromosome image to a predetermined size. It can be divided into a plurality of unit images having
  • the computing device 100 uses a plurality of chromosome images and a plurality of unit images generated by dividing each of the plurality of chromosome images as learning data, an artificial intelligence model (eg, a first artificial intelligence model) previously learned.
  • an artificial intelligence model eg, a first artificial intelligence model
  • the computing device 100 uses a plurality of original chromosome images as an input of a CNN model that is a pre-trained artificial intelligence model, and a plurality of unit images from the chromosome image (unit images generated by dividing the original chromosome image) can create
  • an artificial intelligence model (eg, a neural network) is composed of one or more network functions, and one or more network functions may be composed of a set of interconnected computational units, which may be generally referred to as 'nodes'. These ‘nodes’ may also be referred to as ‘neurons’.
  • the one or more network functions are configured by including at least one or more nodes. Nodes (or neurons) constituting one or more network functions may be interconnected by one or more ‘links’.
  • one or more nodes connected through a link may relatively form a relationship between an input node and an output node.
  • the concepts of an input node and an output node are relative, and any node in an output node relationship with respect to one node may be in an input node relationship in a relationship with another node, and vice versa.
  • an input node to output node relationship may be created around a link.
  • One or more output nodes may be connected to one input node through a link, and vice versa.
  • the value of the output node may be determined based on data input to the input node.
  • a node interconnecting the input node and the output node may have a weight.
  • the weights may be variable, and may be varied by the user or algorithm in order for the neural network to perform a desired function. For example, when one or more input nodes are interconnected to one output node by respective links, the output node sets values input to input nodes connected to the output node and links corresponding to the respective input nodes. An output node value may be determined based on the weight.
  • one or more nodes are interconnected through one or more links to form an input node and an output node relationship within the neural network.
  • the characteristics of the neural network may be determined according to the number of nodes and links in the neural network, the correlation between the nodes and the links, and the value of a weight assigned to each of the links. For example, when the same number of nodes and links exist and there are two neural networks having different weight values between the links, the two neural networks may be recognized as different from each other.
  • Some of the nodes constituting the neural network may configure one layer based on distances from the initial input node.
  • a set of nodes having a distance of n from an initial input node may constitute n layers.
  • the distance from the initial input node may be defined by the minimum number of links that must be traversed to reach the corresponding node from the initial input node.
  • the definition of such a layer is arbitrary for description, and the order of the layer in the neural network may be defined in a different way than the above.
  • a layer of nodes may be defined by a distance from the final output node.
  • the initial input node may refer to one or more nodes to which data is directly input without going through a link in a relationship with other nodes among nodes in the neural network.
  • it may mean nodes that do not have other input nodes connected by a link.
  • the final output node may refer to one or more nodes that do not have an output node in relation to other nodes among nodes in the neural network.
  • the hidden node may refer to nodes constituting the neural network other than the first input node and the last output node.
  • the neural network according to an embodiment of the present disclosure may have more nodes in the input layer than nodes in the hidden layer close to the output layer, and may be a neural network in which the number of nodes decreases as the input layer progresses to the hidden layer.
  • a neural network may include one or more hidden layers.
  • the hidden node of the hidden layer may use the output of the previous layer and the output of the neighboring hidden nodes as inputs.
  • the number of hidden nodes for each hidden layer may be the same or different.
  • the number of nodes of the input layer may be determined based on the number of data fields of the input data and may be the same as or different from the number of hidden nodes.
  • Input data input to the input layer may be calculated by a hidden node of the hidden layer and may be output by a fully connected layer (FCL) that is an output layer.
  • FCL fully connected layer
  • the computing device 100 may build training data for training an artificial intelligence model.
  • the learning data includes a plurality of chromosome data sources obtained from the external server 300 (eg, a server of a medical institution such as a hospital), a plurality of unit images generated by dividing them, and analysis result data of a medical professional for the chromosome image. can do.
  • the present invention is not limited thereto.
  • the computing device 100 may classify the plurality of unit images generated in operation S120 .
  • the computing device 100 converts a plurality of unit images using a pre-trained artificial intelligence model (eg, a first artificial intelligence model) to at least one of a unit image including a chromosome and a unit image not including a chromosome. can be classified as one.
  • a pre-trained artificial intelligence model eg, a first artificial intelligence model
  • the computing device 100 uses a plurality of unit images as an input of a CNN model, which is a first artificial intelligence model, and selects a unit image including a chromosome or a unit image not including a chromosome, thereby providing a plurality of unit images.
  • a CNN model which is a first artificial intelligence model
  • selects a unit image including a chromosome or a unit image not including a chromosome thereby providing a plurality of unit images.
  • the present invention
  • the computing device 100 may extract only the unit image including the chromosome based on the unit image classification result by the artificial intelligence model.
  • the computing device 100 may select and extract only a unit image including a chromosome from among a plurality of unit images classified as at least one of a unit image including a chromosome and a unit image not including a chromosome.
  • a unit image including a chromosome from among a plurality of unit images classified as at least one of a unit image including a chromosome and a unit image not including a chromosome.
  • FIG. 6 is a diagram illustrating a form in which a chromosome image alignment apparatus using artificial intelligence detects a karyotype from a chromosome image, according to various embodiments.
  • the chromosome image may include an image including a chromosome and an image including a non-chromosomal object.
  • the computing device 100 uses the plurality of unit images as an input of the CNN model, which is the first artificial intelligence model, and selects a unit image including a chromosome or a unit image not including a chromosome, thereby selecting a chromosome from among the plurality of unit images. It is possible to select only the unit image 10 containing
  • the first artificial intelligence model is supervised as learning data using a plurality of unit images labeled with whether or not chromosomes are included and whether chromosomes are overlapped (whether there are overlapping chromosomes or overlapping chromosomes, etc.) learning) can be achieved.
  • supervised learning is a method of generating training data by labeling specific data and information related to specific data, and learning by using this, in which training data is generated by labeling two data having a causal relationship, and generated learning How to learn from data.
  • the computing device 100 may perform learning of one or more network functions constituting the artificial intelligence model by using the labeled training data. For example, the computing device 100 inputs each of the learning input data to one or more network functions, and compares each of the output data calculated by the one or more network functions with each of the learning output data corresponding to the label of each of the learning input data. error can be derived. That is, in training of a neural network, learning input data may be input to an input layer of one or more network functions, and learning output data may be compared with outputs of one or more network functions.
  • the computing device 100 may train the neural network based on an error between an operation result of one or more network functions on the training input data and an error of the training output data (label).
  • the computing device 100 may adjust the weights of one or more network functions in a backpropagation method based on the error. That is, the computing device 100 may adjust the weight so that the output of the one or more network functions approaches the learning output data based on the error between the operation result of the one or more network functions on the learning input data and the learning output data.
  • the computing device 100 may determine whether to stop learning by using the verification data.
  • the predetermined epoch may be a part of the overall learning objective epoch.
  • the verification data may consist of at least a portion of the labeled training data. That is, the computing device 100 performs learning of the neural network through the learning data, and after the learning of the neural network is repeated more than a predetermined epoch, it is determined whether the learning effect of the neural network is above a predetermined level using the verification data. can For example, if the computing device 100 performs learning with a target repetition learning number of 10 times using 100 pieces of training data, after performing repeated learning 10 times, which is a predetermined epoch, using 10 verification data By repeating learning three times, if the change in the neural network output during the three iterative learning is below a predetermined level, it is determined that further learning is meaningless and learning can be terminated.
  • the verification data may be used to determine the completion of learning based on whether the effect of learning for each epoch in the iterative learning of the neural network is greater than or equal to a certain level.
  • the above-described number of training data, verification data, and number of repetitions are merely examples, and the present disclosure is not limited thereto.
  • the computing device 100 may generate an artificial intelligence model by testing the performance of one or more network functions using the test data and determining whether to activate the one or more network functions.
  • the test data may be used to verify the performance of the neural network, and may be composed of at least a portion of the training data. For example, 70% of the training data can be utilized for training of the neural network (that is, learning to adjust the weights to output a result similar to a label), and 30% of the training data is test data to verify the performance of the neural network. can be used as
  • the computing device 100 may determine whether to activate the neural network according to whether it is above a predetermined performance by inputting test data into the neural network that has been trained and measuring an error.
  • the computing device 100 verifies the performance of the trained neural network by using test data on the learned neural network, and when the learned neural network performance is greater than or equal to a predetermined criterion, the neural network may be activated to be used in other applications.
  • the computing device 100 may deactivate and discard the neural network. For example, the computing device 100 may determine the performance of the generated neural network model based on factors such as accuracy, precision, and recall.
  • the above-described performance evaluation criteria are merely examples, and the present disclosure is not limited thereto.
  • the computing device 100 may generate a plurality of neural network models by independently learning each neural network, and may use only neural networks with a certain performance or higher by evaluating performance.
  • the computing device 100 may classify a unit image including a chromosome into at least one of a unit image including a normal chromosome and a unit image including an overlapping chromosome by using a pre-learned artificial intelligence model.
  • the computing device 100 selects an alignment target unit image used in step S140 (eg, unit image alignment step) to be described later, but excludes the unit image including the overlapping chromosomes from the alignment target, and includes normal chromosomes Only unit images can be selected for alignment.
  • an alignment target unit image used in step S140 eg, unit image alignment step
  • FIG. 5 is a diagram illustrating a user's chromosome image applicable in various embodiments
  • FIG. 7 is a diagram illustrating a unit image including chromosomes extracted by a chromosome image aligning apparatus using artificial intelligence in various embodiments.
  • the chromosome image is generated by photographing after unfolding the chromosomes to maintain an appropriate distance from each other as shown in FIG. 5 .
  • the computing device 100 may select only the unit image including the general chromosome 11 from among the unit images including the chromosome and select it as an alignment target.
  • An alignment target eg, a unit image including the general chromosome 11 generated through the above process is shown in FIG. 7 .
  • the computing device 100 may determine whether a unit image including overlapping chromosomes among a plurality of unit images including chromosomes can be divided.
  • the computing device 100 may divide the unit image including the overlapping chromosomes so that each overlapping chromosome is included in different unit images with respect to the unit image determined to be segmentable, and the unit determined to be impossible to segment. You can exclude images from sorting. However, the present invention is not limited thereto.
  • the computing device 100 identifies the type of chromosome included in the unit image (eg, the unit image including the general chromosome 11) including the chromosome classified in step S130, and Unit images including chromosomes may be aligned based on the type.
  • the type of chromosome included in the unit image eg, the unit image including the general chromosome 11
  • Unit images including chromosomes may be aligned based on the type.
  • FIGS. 8 and 9 it will be described with reference to FIGS. 8 and 9 .
  • FIG. 8 is a flowchart of a method in which the chromosome image aligning apparatus using artificial intelligence identifies the number of chromosomes from the chromosome image and places them on a chromosome arrangement template in various embodiments
  • FIG. 9 is a chromosome using artificial intelligence in various embodiments. It is a diagram illustrating an aligned chromosome image generated by the image alignment device using a plurality of unit images.
  • the computing device 100 may extract a unit image including a chromosome from among a plurality of unit images. For example, the computing device 100 may select a unit image including a chromosome from among the plurality of unit images by performing primary filtering on the plurality of unit images.
  • the computing device 100 may select a unit image including a general chromosome from among unit images including a plurality of chromosomes by performing secondary filtering on the unit image including the chromosomes.
  • the method for extracting the unit image including the chromosome performed by the computing device 100 may be the same or similar to the method performed in step S130 of FIG. 3 may be applied, but is not limited thereto.
  • the computing device 100 may identify the number of chromosomes included in each of the unit images (eg, unit images including normal chromosomes) including the chromosomes extracted in step S210 .
  • the computing device 100 may identify the number of the chromosome included in each unit image including the chromosome by using a pre-learned artificial intelligence model (eg, the first artificial intelligence model).
  • a pre-learned artificial intelligence model eg, the first artificial intelligence model
  • the pre-trained artificial intelligence model may be supervised learning using a chromosome image labeled with a chromosome number as learning data.
  • the computing device 100 uses a unit image including a chromosome as an input of an artificial intelligence model, and uses information about how many chromosomes are included in the unit image including the input chromosome as a result value. output, and using this, the number of chromosomes included in each unit image including chromosomes can be identified.
  • the present invention is not limited thereto.
  • the computing device 100 may arrange a unit image including a chromosome on a chromosome arrangement template based on the number of chromosomes included in each of the unit images including the chromosome identified in operation S220 . For example, as shown in FIG. 9 , the computing device 100 arranges a unit image including chromosome 1 in a chromosome 1 arrangement region on a chromosome arrangement template, and converts a unit image including chromosome 2 into a chromosome. It can be placed in the chromosome 2 placement region on the placement template.
  • the present invention is not limited thereto.
  • the computing device 100 arranges a plurality of unit images including chromosomes on a chromosome arrangement template based on the number of the chromosomes identified through step S220, but a first reference value to which the accuracy of identification is preset
  • the unit image determined to be abnormal may be preferentially disposed on the chromosome arrangement template.
  • the computing device 100 may sequentially arrange the chromosome arrangement template in an empty space (eg, a numbered region in which a unit image including a chromosome is not arranged) in an order of high identification accuracy.
  • a probability that a specific unit image corresponds to each chromosome may be obtained as an output of the learned model.
  • the probability that the first unit image is chromosome 1 is 85%
  • the probability that it is chromosome 2 is 50%
  • the probability that it is chromosome n is x%, etc.
  • the computing device 100 preferentially arranges a unit image having an identification accuracy of 80% or more among a plurality of unit images on the chromosome arrangement template, and the identification accuracy is 80%.
  • Unit images of less than % can be sequentially placed in the empty space of the chromosome placement template.
  • the remaining unit images are arranged in the space remaining after all the unit images having an identification accuracy of 80% or more are arranged, but the unit images having a high matching probability for each space may be sequentially arranged.
  • the probability that the first unit image is chromosome 3 is 70%
  • the probability that it is chromosome 5 is 50%
  • the second unit image is chromosome 3
  • the probability is 60% and the probability of chromosome 5 is 75%
  • the first unit image may be disposed at the location of chromosome 3 and the second unit image may be disposed at the location of chromosome 5.
  • the computing device 100 may determine a position at which chromosomes are arranged according to a second reference value that is higher than the first reference value.
  • the first reference value may be 80%
  • the second reference value may be 90%.
  • the probability that the first unit image to the third unit image is chromosome 1 is greater than or equal to the first reference value
  • the reference value is less than 2
  • two unit images with high probability may be arranged at the position of chromosome 1
  • the unit image having the lowest probability may be arranged at another position.
  • chromosome 1 eg, chromosome 1 has the highest probability case
  • another chromosome e.g., the second most probable chromosome
  • the two unit images with the largest difference are placed in the position of chromosome 1
  • the unit image with the smallest difference is the second highest probability. It can also be placed in place of chromosomes.
  • the corresponding unit images are placed irrespective of the number, and one of the remaining unit images can be placed in the remaining positions.
  • all three unit images may be arranged at the position of chromosome 1. That is, when it is determined that all three unit images are chromosome 1 with a probability equal to or greater than the second reference value, it may be determined as a chromosome malformation, but the present invention is not limited thereto.
  • the computing device 100 may provide a UI for outputting the aligned chromosome image generated through step S230 to the user terminal 200, and receive a correction operation for the aligned chromosome image from the user. Correction can be performed on the aligned chromosomal image. For example, when the computing device 100 receives a correction operation requesting to change the positions of the chromosome 1 image and the chromosome 2 image from the user through the UI that outputs the aligned chromosome image, the previously generated aligned The positions of the chromosome 1 image and the chromosome 2 image can be changed within the chromosome image.
  • the present invention is not limited thereto.
  • a unit image including a chromosome is placed on a chromosome arrangement template based on the number of chromosomes included in each of the unit images including the chromosome identified in step S220, but the image corresponding to the number of a specific chromosome is In the case of missing (eg, if the image is missing or not correctly identified, so it is excluded from the alignment target), the region where the missing chromosome image will be placed on the chromosome placement template can be left blank.
  • the computing device 100 may divide and arrange a plurality of chromosome images for one user, and when an image corresponding to a specific chromosome number is missing, an aligned image generated from another chromosome image is omitted. You can take and place the missing chromosome image within the chromosome image.
  • it is common to acquire dozens of chromosome images for a specific user and perform karyotype analysis for each. Therefore, even if an erroneous result is obtained due to overlap in a specific image, when a normal result is obtained in other images, it can be compensated.
  • an image without overlapping chromosomes may be completed by combining non-overlapping chromosome images among a plurality of images.
  • the present invention is not limited thereto.
  • the computing device 100 may train the pre-trained artificial intelligence model using training data augmented by using the pre-generated aligned chromosome image. For example, the computing device 100 divides the aligned chromosome image generated through the above method into a plurality of unit images again, and arbitrarily arranges the divided plurality of unit images to newly generate a plurality of chromosome images. It can be used as training data for a pre-trained AI model. Through this, the artificial intelligence model can be further advanced by augmenting the learning data of the pre-learned artificial intelligence model.
  • a method of augmenting learning data by generating a plurality of virtual original images as shown in FIG. 4 using images divided, classified and aligned as shown in FIG. 8 may be utilized.
  • various virtual original data can be obtained.
  • the method of acquiring the original data is not limited, and various virtual original data is based on variously set conditions, for example, there is no overlapping chromosome, one or more chromosomes overlap, or a plurality of chromosomes overlap each other. can be created.
  • each pair of the image data of FIG. 9 and the generated virtual original data may be utilized as the augmented learning data.
  • the computing device 100 analyzes a chromosome image (eg, a chromosome arrangement template in which arrangement of a unit image including a chromosome is completed) aligned through step S230 to diagnose a chromosomal abnormality of the user, and the diagnosed chromosome An analysis result report including information on abnormality may be generated and provided to the user.
  • a chromosome image eg, a chromosome arrangement template in which arrangement of a unit image including a chromosome is completed
  • FIG. 10 is a flowchart of a method for a chromosome image aligning device using artificial intelligence to generate a report on the analysis result of a chromosome from a chromosome image in various embodiments
  • FIG. 11 is a chromosome image aligning device using artificial intelligence in various embodiments. It is a diagram showing the process of generating an aligned chromosome image and analysis result report using an artificial intelligence model.
  • the computing device 100 may obtain a chromosome image of the user from the outside.
  • the computing device 100 is connected to a photographing device for photographing a chromosome image to obtain a user's chromosome image (eg, 1 in FIG. 6 ) from the photographing device, or a user's pre-stored image from the external server 300 .
  • a chromosome image may be provided (eg, step S110 of FIG. 3 ).
  • the computing device 100 may generate an aligned chromosome image using the chromosome image obtained in step S310 .
  • the computing device 100 detects a chromosome from the chromosome image obtained in step S310 and uses a pre-learned artificial intelligence model (eg, a first artificial intelligence model).
  • a pre-learned artificial intelligence model eg, a first artificial intelligence model
  • the unit image 10 including the chromosomes may be extracted, and an aligned chromosome image 2 may be generated using the unit image 10 including the extracted chromosomes.
  • the first AI model may be a CNN model, but is not limited thereto.
  • the computing device 100 may analyze the aligned chromosome image generated in step S320 to analyze and diagnose the aligned chromosome image. For example, the computing device 100 may extract a vector indicating each chromosome by analyzing the aligned chromosome image, and may perform analysis and diagnosis on the aligned chromosome image using the extracted vector.
  • the computing device 100 is a vector summarizing information on chromosomes included in each aligned unit chromosome 2 using a pre-trained artificial intelligence model (eg, a second artificial intelligence model). (30) can be extracted. For example, the computing device 100 may digitize the existence of 23 pairs of chromosomes, whether the chromosomes are damaged, and the characteristics of each chromosome, and may express them as vectors.
  • a pre-trained artificial intelligence model eg, a second artificial intelligence model.
  • the second artificial intelligence model may be the same CNN model as the first artificial intelligence model used to generate the aligned chromosome image.
  • the present invention is not limited thereto.
  • a method in which the computing device 100 extracts a vector using the second artificial intelligence model will be described with reference to FIG. 12 .
  • FIG. 12 is a diagram illustrating a process of extracting a vector indicating a morphological feature from a chromosome by an apparatus for aligning a chromosome image using artificial intelligence, according to various embodiments.
  • the computing device 100 may generate an embedding vector corresponding to the chromosome image by embedding a chromosome image using a second artificial intelligence model (eg, a CNN model).
  • a second artificial intelligence model eg, a CNN model
  • various known techniques may be applied to a technique for converting a chromosome image into an embedding vector.
  • the computing device 100 may generate the label embedding vector by using the embedding vector to compare the similarity with the embedding vector corresponding to the chromosome image. In this case, the computing device 100 may generate the label embedding vector in the same or similar form as the embedding vector corresponding to the chromosome image.
  • the present invention is not limited thereto.
  • the computing device 100 may generate similarity comparison result data by comparing the similarity between the embedding vector corresponding to the chromosome image and the label embedding vector, and secondly use the generated similarity comparison result data as training data to create an artificial intelligence model. can be learned
  • the computing device 100 analyzes a chromosome image to extract a morphological feature for a chromosome included in the chromosome image, and combines the morphological feature with the extracted chromosome with an embedding vector.
  • the computing device 100 may calculate the size of the region corresponding to the chromosome on the chromosome image by analyzing the chromosome image, and the ratio of the region corresponding to the background to the total region on the chromosome image can be used to quantify the straightness of chromosomes.
  • the computing device 100 may numerically determine whether the chromosomes are well spread on the chromosome image by quantifying the straightness of the chromosomes using the ratio of the region corresponding to the background to the total region.
  • the computing device 100 may extract the center line for the chromosome included in the chromosome image using the learned segmentation network using the chromosome and the corresponding center line as a mask, and calculate the length and width of the extracted center line.
  • the computing device 100 may calculate an average value of widths obtained along the center line as the width of the center line, but is not limited thereto.
  • the computing device 100 may calculate the band pattern similarity between the chromosome and preset reference chromosomes by analyzing the band pattern of the chromosome. Since the high and low pixel values corresponding to the center line can reflect the band pattern of the chromosome, the computing device 100 quantizes the pixels distributed between 0 and 255 using these points to rank 0 to 10 steps. By classifying, the pixel value of the center line is simplified, and the band pattern similarity can be calculated by comparing the simplified center line with a preset reference chromosome using the longest common subsequence (LCS) algorithm. For example, the computing device 100 may calculate the band pattern similarity to be higher as the common subsequence is longer.
  • LCS longest common subsequence
  • the computing device 100 combines (eg, Concat) the size of the region corresponding to the chromosome, the quantified straightness of the chromosome, the length of the center line, the width of the center line, and the band pattern similarity to extract the morphological features of the chromosome. and the morphological characteristics of the extracted chromosome may be combined with an embedding vector corresponding to the corresponding chromosome.
  • the computing device 100 may diagnose the user's chromosomal abnormality using a pre-learned artificial intelligence model (eg, a third artificial intelligence model).
  • a pre-learned artificial intelligence model eg, a third artificial intelligence model
  • the third artificial intelligence model includes a vector representing the characteristics of a chromosome and the presence or absence of a disease related to the chromosome, the type of disease, and the scoring result value for the vector. It may be a model trained by a supervised learning method for learning, that is, a model trained to output a disease presence, type, and scoring result value by inputting a vector as an input.
  • the learning data of the third artificial intelligence model may be a first vector corresponding to the first chromosome.
  • the first vector is used as input data for learning, and the presence or absence of a disease corresponding to the first chromosome , the type of disease and the scoring value for the disease are used as the learning result data (ie, a label), so that the presence or absence of the disease and the type of the disease may be correlated with the first vector.
  • the computing device 100 may include a chromosome image, a vector indicating characteristics of a chromosome included in the chromosome image, the presence or absence of a disease related to the chromosome, a type of disease (eg, a disease code), and a scoring result value for the disease (eg: A chromosomal abnormality of a user can be diagnosed using an ML model supervised by learning a result value of 0 to 100 points according to the level of the disease and the probability of occurrence) as learning data.
  • the computing device 100 may diagnose a chromosomal abnormality of a user using an ML model supervised by learning a result value of 0 to 100 points according to the level of the disease and the probability of occurrence) as learning data.
  • the scoring result may be configured in the form of a vector including the scoring result for each of a plurality of diseases, but is not limited thereto, and a single complex scoring result may be used according to an embodiment.
  • the present invention is not limited thereto.
  • step S340 the computing device 100 may generate an analysis result report 40 including the analysis and diagnosis results for the user's chromosome image, the aligned chromosome image, and the aligned chromosome image performed in step S330,
  • the generated analysis result report 40 may be provided to the user terminal 200 .
  • the chromosome image alignment method using the aforementioned artificial intelligence has been described with reference to the flowchart shown in the drawings.
  • the chromosome image alignment method using artificial intelligence has been described by showing a series of blocks, but the present invention is not limited to the order of the blocks, and some blocks are performed in an order different from that shown and operated in this specification or may be performed simultaneously.
  • new blocks not described in this specification and drawings may be added, or some blocks may be deleted or changed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Biotechnology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Bioethics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법, 장치 및 컴퓨터프로그램이 제공된다. 본 발명의 다양한 실시예에 따른 인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 사용자에 대한 복수의 염색체 이미지를 얻는 단계, 상기 복수의 염색체 이미지를 각각 분할(segmentation)하여 복수의 단위 이미지를 생성하는 단계, 상기 복수의 단위 이미지 중 염색체를 포함하는 단위 이미지를 추출하는 단계 및 상기 염색체를 포함하는 단위 이미지를 분석하여 상기 염색체를 포함하는 단위 이미지에 포함된 염색체의 종류를 식별하고, 상기 식별된 염색체의 종류에 기초하여 상기 염색체를 포함하는 단위 이미지를 정렬하는 단계를 포함한다.

Description

인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법, 장치 및 컴퓨터프로그램
본 발명의 다양한 실시예는 인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법, 장치 및 컴퓨터프로그램에 관한 것이다.
핵형 분석법은 분열중기에 나타나는 염색체의 수와 모양을 사진 또는 도식에 의해 분석하는 것을 말한다. 염색체의 수와 모양은 원칙적으로 생물 종에 따라 일정하다. 염색체의 형태는 방추사의 부착하는 위치에 따라 결정된다. 체세포의 염색체는 일반적으로 2배성으로, 부모에서 유래한 동형(同形)의 염색체가 쌍을 이루어 존재한다.
그 쌍을 찾아서 크기, 또한 모양을 순으로 배열하면 그 핵형의 특징을 알 수 있으며, 또한 어디에 이상이 있는지도 쉽게 발견할 수 있다. 배양세포의 동정에는 특히 유효한 방법의 하나이나, 배양 조건에 따라 세포의 핵형이 바뀌는 경우도 있다. 방사선이나 화학 물질의 세포에 대한 영향을 조사하는 경우에 핵형 분석이 종종 사용된다.
핵형 분석법은 정맥을 통한 혈액 채취, 골수 또는 조직 생체 검사, 임신한 여성의 경우에는 융모와 양수에서 세포를 채취하여 핵 안의 염색체가 이상이 없는지를 확인하는 검사법이며, 세포의 핵에서 염색체를 추출하여 염색 후, 슬라이드에 올려 촬영한 이미지를 가지고 판독한다.
일반적으로 종래의 핵형 분석법은 수작업으로 수행되었는데, 핵형 분석법을 수작업으로 수행하는 경우, 현미경 검경, 사진 촬영, 필름 현상, 사진 인화, 사진 건조, 핵형 분석 및 핵형 분석 보고서 작성의 절차를 걸쳐 수행되며, 이와 같이 수작업에 의한 핵형 분석법은 기본적으로 흑백사진 촬영에 기초하고 촬영과 현상까지 소요되는 시간을 줄일 수 없다는 문제가 있다.
또한, 염색체를 하나 하나씩 칼이나 가위 등으로 오려서 붙이는 단순작업으로 진행되기 때문에 숙련자일 경우에도 많은 시간(예: 약 5시간)이 소요된다는 문제가 있으며, 소요되는 시간을 줄이기 위해서는 많은 인력을 투입해야된다는 문제가 있다.
본 발명이 해결하고자 하는 과제는 인공지능을 이용하여 사용자로부터 입력된 염색체 이미지를 분할 및 재배열함으로써, 핵형 분석법을 수행하기 위한 정렬된 염색체 이미지를 자동적으로 생성할 수 있는 인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법, 장치 및 컴퓨터프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 사용자에 대한 복수의 염색체 이미지를 얻는 단계, 상기 복수의 염색체 이미지를 각각 분할(segmentation)하여 복수의 단위 이미지를 생성하는 단계, 상기 복수의 단위 이미지 중 염색체를 포함하는 단위 이미지를 추출하는 단계 및 상기 염색체를 포함하는 단위 이미지를 분석하여 상기 염색체를 포함하는 단위 이미지에 포함된 염색체의 종류를 식별하고, 상기 식별된 염색체의 종류에 기초하여 상기 염색체를 포함하는 단위 이미지를 정렬하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 복수의 단위 이미지를 생성하는 단계는, 상기 염색체 이미지와 상기 복수의 단위 이미지를 학습 데이터로써 기 학습한 인공지능 모델을 이용하여 상기 염색체 이미지를 분할함으로써, 상기 복수의 단위 이미지를 생성하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 염색체를 포함하는 단위 이미지를 추출하는 단계는, 기 학습된 인공지능 모델을 이용하여 상기 복수의 단위 이미지를 상기 염색체를 포함하는 단위 이미지 및 상기 염색체를 포함하지 않는 단위 이미지 중 적어도 하나로 분류(classification)하는 단계 및 상기 기 학습된 인공지능 모델의 분류 결과에 기초하여 상기 염색체를 포함하는 단위 이미지만을 추출하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 분류하는 단계는, 상기 기 학습된 인공지능 모델을 이용하여 상기 염색체를 포함하는 단위 이미지를 일반 염색체를 포함하는 단위 이미지 및 겹쳐진 염색체를 포함하는 단위 이미지 중 적어도 하나로 분류하는 단계를 포함하며, 상기 염색체를 포함하는 단위 이미지를 정렬하는 단계는, 상기 겹쳐진 염색체를 포함하는 단위 이미지를 정렬 대상에서 제외하고, 상기 일반 염색체를 포함하는 단위 이미지만을 상기 정렬 대상으로 선정하여 정렬하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 염색체를 포함하는 단위 이미지를 정렬하는 단계는, 상기 염색체의 번호가 레이블링(Labeling)된 염색체 이미지를 학습데이터로써 기 학습된 인공지능 모델을 이용하여 상기 복수의 단위 이미지 중 상기 염색체를 포함하는 단위 이미지에 포함된 염색체의 번호를 식별하는 단계 및 상기 식별된 염색체의 번호에 기초하여 상기 염색체를 포함하는 단위 이미지를 기 설정된 염색체 배치 템플릿 상에 정렬 배치하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 정렬된 단위 이미지를 분석하여 상기 사용자의 염색체 이상을 진단하는 단계를 더 포함할 수 있다.
다양한 실시예에서, 상기 사용자의 염색체 이상을 진단하는 단계는, 상기 정렬된 단위 이미지에 각각 포함된 염색체의 정보를 요약(summarize)하는 벡터를 추출하는 단계 및 상기 염색체에 대응되는 벡터 및 상기 벡터에 대한 스코어링(scoring) 결과를 학습 데이터로써 기 학습된 인공지능 모델을 이용하여 상기 사용자의 염색체 이상을 진단하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 염색체 이미지, 상기 정렬된 단위 이미지 및 상기 사용자의 염색체 이상 진단 결과를 포함하는 분석결과 보고서를 생성하는 단계 및 상기 분석결과 보고서를 상기 사용자의 단말로 제공하는 단계를 더 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 본 발명의 일 실시예에 따른 인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법을 수행할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 인공지능을 이용한 염색체 이미지 정렬 컴퓨터프로그램은, 하드웨어인 컴퓨터와 결합되어, 본 발명의 일 실시예에 따른 인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 다양한 실시예에 따르면, 인공지능을 이용하여 사용자로부터 입력된 염색체 이미지를 자동적으로 분할 및 재배열함으로써, 핵형 분석법을 수행하기 위한 정렬된 염색체 이미지를 보다 빠르고 편리하게 생성할 수 있다는 이점이 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 인공지능을 이용한 염색체 이미지 정렬 시스템의 구성도이다.
도 2는 본 발명의 다른 실시예에 따른 인공지능을 이용한 염색체 이미지 정렬 장치의 하드웨어 구성도이다.
도 3은 다양한 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치의 인공지능 모델과 관련된 네트워크 함수를 도시한 도면이다.
도 4는 본 발명의 또 다른 실시예 따른 인공지능을 이용한 염색체 이미지 정렬 방법의 순서도이다.
도 5는 다양한 실시예에서 적용 가능한 사용자의 염색체 이미지를 도시한 도면이다.
도 6은 다양한 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치가 염색체 이미지로부터 핵형(Karyogram)을 검출한 형태를 도시한 도면이다.
도 7은 다양한 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치가 추출한 염색체를 포함하는 단위 이미지를 도시한 도면이다.
도 8은 다양한 실시예에서 인공지능을 이용한 염색체 이미지 정렬 장치가 염색체 이미지로부터 염색체의 번호를 식별하여 염색체 배치 템플릿 상에 배치하는 방법의 순서도이다.
도 9는 다양한 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치가 복수의 단위 이미지를 이용하여 생성한 정렬된 염색체 이미지를 도시한 도면이다.
도 10은 다양한 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치가 염색체 이미지로부터 염색체의 분석결과 보고서를 생성하는 방법의 순서도이다.
도 11은 다양한 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치가 인공지능 모델을 이용하여 정렬된 염색체 이미지 및 분석결과 보고서를 생성하는 과정을 도시한 도면이다.
도 12는 다양한 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치가 염색체로부터 형태학상의 특징을 가리키는 벡터를 추출하는 과정을 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능을 이용한 염색체 이미지 정렬 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 인공지능을 이용한 염색체 이미지 정렬 시스템은, 인공지능을 이용한 염색체 이미지 정렬 장치(100), 사용자 단말(200) 및 외부 서버(300)를 포함할 수 있다.
여기서, 도 1에 도시된 인공지능을 이용한 염색체 이미지 정렬 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.
일 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치(100)는 외부로부터 사용자에 대한 염색체 이미지(예: 도 5의 1)를 얻을 수 있다. 예를 들어, 인공지능을 이용한 염색체 이미지 정렬 장치(100)는 사용자 단말(200)로부터 직접 염색체 이미지를 얻거나, 복수의 사용자 각각에 대한 염색체 이미지를 저장하고 있는 외부 서버(300)로부터 염색체 이미지를 얻을 수 있다. 그러나, 이에 한정되지 않는다.
일 실시예에서, 컴퓨팅 장치(100)는 염색체 이미지에 대한 분할(segmentation) 동작, 추출(extraction) 동작 및 분류(classification) 동작을 수행함으로써, 정렬된 염색체 이미지(예: 도 9의 2)를 생성할 수 있다. 예를 들어, 인공지능을 이용한 염색체 이미지 정렬 장치(100)는 기 학습된 인공지능 모델(예: 제1 인공지능 모델)을 이용하여 염색체 이미지를 분할 및 재배열함으로써, 정렬된 염색체 이미지를 생성할 수 있다.
여기서, 기 학습된 인공지능 모델(예: 제1 인공지능 모델)은 원본의 염색체 이미지와 원본의 염색체 이미지를 분할함으로써 생성된 복수의 단위 이미지를 학습 데이터로써 기 학습된 인공지능 모델(예: CNN(Convolutional Neural Network))일 수 있다. 그러나, 이에 한정되지 않는다.
일 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치(100)는 기 학습된 인공지능 모델(예: 제2 인공지능 모델 및 제3 인공지능 모델)을 이용하여 정렬된 염색체 이미지를 분석함으로써 사용자의 염색체 이상을 진단할 수 있다. 예를 들어, 인공지능을 이용한 염색체 이미지 정렬 장치(100)는 정렬된 염색체 이미지 각각에 포함된 염색체를 제2 인공지능 모델을 이용하여 벡터화하고, 제3 인공지능 모델을 이용하여 벡터화된 염색체를 분석함으로써, 사용자의 염색체 이상을 진단할 수 있다.
다양한 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치(100)는 기 학습된 인공지능 모델을 이용하여 염색체 이미지에 대한 분할, 추출 및 분류하는 동작과 이러한 동작들을 거쳐 생성된 정렬된 염색체 이미지에 대한 분석 동작을 수행하되, 각각의 동작마다 서로 상이한 인공지능 모델을 이용할 수 있다. 예를 들어, 인공지능을 이용한 염색체 이미지 정렬 장치(100)는 CNN 모델을 이용하여 염색체 이미지를 분할, 추출 및 분류하는 동작을 수행할 수 있고, 머신 러닝(ML) 모델을 이용하여 정렬된 염색체 이미지를 분석하는 동작을 수행할 수 있다. 그러나, 이에 한정되지 않고, 하나의 인공지능 모델을 이용하여 인공지능을 이용한 염색체 이미지 정렬 장치(100)가 수행하는 모든 동작을 수행할 수 있다.
일 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치(100)는 사용자로부터 얻은 염색체 이미지를 이용하여 생성된 정렬된 염색체 이미지 및 정렬된 염색체 이미지를 분석함으로써 생성되는 분석결과(예: 정렬된 염색체 이미지에 포함된 염색체를 진단함으로써 생성되는 염색체 이상 진단 결과)를 포함하는 분석결과 보고서를 생성할 수 있고, 생성된 분석결과 보고서를 사용자 단말(200)로 제공할 수 있다.
일 실시예에서, 사용자 단말(200)은 사용자 단말(200)의 적어도 일부분에 디스플레이를 포함할 수 있으며, 네트워크(400)를 통해 인공지능을 이용한 염색체 이미지 정렬 장치(100)와 유무선 연결될 수 있고, 인공지능을 이용한 염색체 이미지 정렬 장치(100)로부터 제공되는 각종 UI(예: 정렬된 염색체 이미지 및 염색체 진단 결과를 포함하는 분석결과 보고서를 출력하는 UI)를 출력할 수 있다. 예를 들어, 사용자 단말(200)은 스마트폰, 태블릿 PC, 노트북 데스크탑 및 키오스크 중 적어도 하나를 포함할 수 있다. 그러나, 이에 한정되지 않는다.
일 실시예에서, 외부 서버(300)는 네트워크(400)를 통해 인공지능을 이용한 염색체 이미지 정렬 장치(100)와 유무선 연결될 수 있으며, 인공지능을 이용한 염색체 이미지 정렬 장치(100)로부터 제공되는 각종 데이터(예: 사용자의 염색체 이미지, 정렬된 염색체 이미지 및 인공지능 모델을 이용하여 염색체를 진단함으로써 생성되는 진단 결과 데이터, 분석결과 보고서 등)를 저장할 수 있다.
여기서, 도 1에 도시된 인공지능을 이용한 염색체 이미지 정렬 시스템은 인공지능을 이용한 염색체 이미지 정렬 장치(100)에서 생성 및 제공되는 각종 정보 및 데이터가 외부 서버(300)로 전달되어 외부 서버(300)에 저장하는 형태로 설명하고 있으나, 이에 한정되지 않고, 인공지능을 이용한 염색체 이미지 정렬 장치(100) 내에 별도의 저장 장치를 구비하여 별도로 구비된 저장 장치에 각종 정보 및 데이터를 저장할 수 있다. 이하, 도 2를 참조하여, 인공지능을 이용한 염색체 이미지 정렬 장치(100)의 하드웨어 구성에 대하여 설명하도록 한다.
도 2는 본 발명의 다른 실시예에 따른 인공지능을 이용한 염색체 이미지 정렬 장치의 하드웨어 구성도이다.
도 2를 참조하면, 본 발명의 다른 실시예에 따른 인공지능을 이용한 염색체 이미지 정렬 장치(100)(이하, “컴퓨팅 장치(100)”)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(151)을 로드(Load)하는 메모리(120), 버스(130), 통신 인터페이스(140) 및 컴퓨터 프로그램(151)을 저장하는 스토리지(150)를 포함할 수 있다. 여기서, 도 2에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.
또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 컴퓨팅 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
다양한 실시예에서, 프로세서(110)는 메모리(120)에 저장된 컴퓨터 프로그램을 판독하여 본 개시의 일 실시예에 따른 기계 학습을 위한 데이터 처리를 수행할 수 있다. 본 개시의 일실시예에 따라 프로세서(110)는 신경망의 학습을 위한 연산을 수행할 수 있다. 프로세서(110)는 딥러닝(DL: deep learning)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다.
또한, 프로세서(110)의 CPU, GPGPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다. 예를 들어, CPU 와 GPGPU가 함께 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 개시의 일 실시예에서 복수의 컴퓨팅 장치의 프로세서를 함께 사용하여 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 개시의 일 실시예에 따른 컴퓨팅 장치에서 수행되는 컴퓨터 프로그램은 CPU, GPGPU 또는 TPU 실행가능 프로그램일 수 있다.
여기서, 네트워크 함수는 인공 신경망, 뉴럴 네트워크와 상호 교환 가능하게 사용될 수 있다. 본 명세서에서 네트워크 함수는 하나 이상의 뉴럴 네트워크를 포함할 수도 있으며, 이 경우 네트워크 함수의 출력은 하나 이상의 뉴럴 네트워크의 출력의 앙상블(ensemble)일 수 있다.
본 명세서에서 인공지능 모델은 네트워크 함수를 포함할 수 있다. 인공지능 모델은 하나 이상의 네트워크 함수를 포함할 수도 있으며, 이 경우 인공지능 모델의 출력은 하나 이상의 네트워크 함수의 출력의 앙상블일 수 있다.
메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(150)로부터 컴퓨터 프로그램(151)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(151)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(151)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.
버스(130)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(130)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(140)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(140)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(140)는 생략될 수도 있다.
스토리지(150)는 컴퓨터 프로그램(151)을 비 임시적으로 저장할 수 있다. 컴퓨팅 장치(100)를 통해 정밀 진단 모듈 제안 프로세스를 수행하는 경우, 스토리지(150)는 인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법을 제공하기 위하여 필요한 각종 정보를 저장할 수 있다.
스토리지(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(151)은 메모리(120)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.
일 실시예에서, 컴퓨터 프로그램(151)은 사용자에 대한 복수의 염색체 이미지를 얻는 단계, 복수의 염색체 이미지를 각각 분할(segmentation)하여 복수의 단위 이미지를 생성하는 단계, 복수의 단위 이미지 중 염색체를 포함하는 단위 이미지를 추출하는 단계 및 염색체를 포함하는 단위 이미지를 분석하여 염색체를 포함하는 단위 이미지에 포함된 염색체의 종류를 식별하고, 식별된 염색체의 종류에 기초하여 염색체를 포함하는 단위 이미지를 정렬하는 단계를 포함하는 인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
도 3은 다양한 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치의 인공지능 모델과 관련된 네트워크 함수를 도시한 도면이다.
도 3을 참조하면, 다양한 실시예에서, 인공지능 모델(예: 제1 인공지능 모델, 제2 인공지능 모델 및 제3 인공지능 모델)은 딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)일 수 있다. 여기서, 딥 뉴럴 네트워크는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다.
딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다.
딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 오토 인코더(auto encoder), GAN(Generative Adversarial Networks), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있다. 그러나, 전술한 딥 뉴럴 네트워크의 기재는 예시일 뿐이며, 이에 제한되지 않는다.
다양한 실시예에서, 네트워크 함수는 오토 인코더를 포함할 수도 있다. 오토 인코더는 입력 데이터와 유사한 출력 데이터를 출력하기 위한 인공 신경망의 일종일 수 있다.
오토 인코더는 적어도 하나의 히든 레이어를 포함할 수 있으며, 홀수 개의 히든 레이어가 입출력 레이어 사이에 배치될 수 있다. 각각의 레이어의 노드의 수는 입력 레이어의 노드의 수에서 병목 레이어(인코딩)라는 중간 레이어로 축소되었다가, 병목 레이어에서 출력 레이어(입력 레이어와 대칭)로 축소와 대칭되어 확장될 수도 있다. 차원 감소 레이어와 차원 복원 레이어의 노드는 대칭일 수도 있으나, 이에 한정되지 않는다.
오토 인코더는 비선형 차원 감소를 수행할 수 있다. 입력 레이어 및 출력 레이어의 수는 입력 데이터의 전처리 이후에 남은 센서들의 수와 대응될 수 있다. 오토 인코더 구조에서 인코더에 포함된 히든 레이어의 노드의 수는 입력 레이어에서 멀어질수록 감소하는 구조를 가질 수 있다. 병목 레이어(인코더와 디코더 사이에 위치하는 가장 적은 노드를 가진 레이어)의 노드의 수는 너무 작은 경우 충분한 양의 정보가 전달되지 않을 수 있으므로, 특정 수 이상(예를 들어, 입력 레이어의 절반 이상 등)으로 유지될 수도 있다.
뉴럴 네트워크는 교사 학습(supervised learning), 비교사 학습(unsupervised learning), 및 반교사학습(semi supervised learning) 중 적어도 하나의 방식으로 학습될 수 있다.
뉴럴 네트워크의 학습은 출력의 오류를 최소화하기 위한 것이다. 뉴럴 네트워크의 학습에서 반복적으로 학습 데이터를 뉴럴 네트워크에 입력시키고 학습 데이터에 대한 뉴럴 네트워크의 출력과 타겟의 에러를 계산하고, 에러를 줄이기 위한 방향으로 뉴럴 네트워크의 에러를 뉴럴 네트워크의 출력 레이어에서부터 입력 레이어 방향으로 역전파(backpropagation)하여 뉴럴 네트워크의 각 노드의 가중치를 업데이트 하는 과정이다.
교사 학습의 경우 각각의 학습 데이터에 정답이 레이블링되어있는 학습 데이터를 사용하며(즉, 레이블링된 학습 데이터), 비교사 학습의 경우는 각각의 학습 데이터에 정답이 레이블링되어 있지 않을 수 있다. 즉, 예를 들어 데이터 분류에 관한 교사 학습의 경우의 학습 데이터는 학습 데이터 각각에 카테고리가 레이블링 된 데이터 일 수 있다. 레이블링된 학습 데이터가 뉴럴 네트워크에 입력되고, 뉴럴 네트워크의 출력(카테고리)과 학습 데이터의 레이블을 비교함으로써 오류(error)가 계산될 수 있다. 다른 예로, 데이터 분류에 관한 비교사 학습의 경우 입력인 학습 데이터가 뉴럴 네트워크 출력과 비교됨으로써 오류가 계산될 수 있다.
계산된 오류는 뉴럴 네트워크에서 역방향(즉, 출력 레이어에서 입력 레이어 방향)으로 역전파 되며, 역전파에 따라 뉴럴 네트워크의 각 레이어의 각 노드들의 연결 가중치가 업데이트 될 수 있다.
업데이트 되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다. 입력 데이터에 대한 뉴럴 네트워크의 계산과 에러의 역전파는 학습 사이클(epoch)을 구성할 수 있다.
학습률은 뉴럴 네트워크의 학습 사이클의 반복 횟수에 따라 상이하게 적용될 수 있다. 예를 들어, 뉴럴 네트워크의 학습 초기에는 높은 학습률을 사용하여 뉴럴 네트워크가 빠르게 일정 수준의 성능을 확보하도록 하여 효율성을 높이고, 학습 후기에는 낮은 학습률을 사용하여 정확도를 높일 수 있다.
뉴럴 네트워크의 학습에서 일반적으로 학습 데이터는 실제 데이터(즉, 학습된 뉴럴 네트워크를 이용하여 처리하고자 하는 데이터)의 부분집합일 수 있으며, 따라서, 학습 데이터에 대한 오류는 감소하나 실제 데이터에 대해서는 오류가 증가하는 학습 사이클이 존재할 수 있다.
과적합(overfitting)은 이와 같이 학습 데이터에 과하게 학습하여 실제 데이터에 대한 오류가 증가하는 현상이다. 예를 들어, 노란색 고양이를 보여 고양이를 학습한 뉴럴 네트워크가 노란색 이외의 고양이를 보고는 고양이임을 인식하지 못하는 현상이 과적합의 일종일 수 있다. 과적합은 머신러닝 알고리즘의 오류를 증가시키는 원인으로 작용할 수 있다. 이러한 과적합을 막기 위하여 다양한 최적화 방법이 사용될 수 있다. 과적합을 막기 위해서는 학습 데이터를 증가시키거나, 레귤라이제이션(regularization), 학습의 과정에서 네트워크의 노드 일부를 생략하는 드롭아웃(dropout) 등의 방법이 적용될 수 있다.
본 명세서에 걸쳐, 인공지능 모델, 연산 모델, 신경망, 네트워크 함수, 뉴럴 네트워크(neural network)는 동일한 의미로 사용될 수 있다. 데이터 구조는 신경망을 포함할 수 있다. 그리고 신경망을 포함한 데이터 구조는 컴퓨터 판독가능 매체에 저장될 수 있다. 신경망을 포함한 데이터 구조는 또한 신경망에 입력되는 데이터, 신경망의 가중치, 신경망의 하이퍼 파라미터, 신경망으로부터 획득한 데이터, 신경망의 각 노드 또는 레이어와 연관된 활성 함수, 신경망의 학습을 위한 손실 함수를 포함할 수 있다. 신경망을 포함한 데이터 구조는 상기 개시된 구성들 중 임의의 구성 요소들을 포함할 수 있다.
즉 신경망을 포함한 데이터 구조는 신경망에 입력되는 데이터, 신경망의 가중치, 신경망의 하이퍼 파라미터, 신경망으로부터 획득한 데이터, 신경망의 각 노드 또는 레이어와 연관된 활성 함수, 신경망의 트레이닝을 위한 손실 함수 등 전부 또는 이들의 임의의 조합을 포함하여 구성될 수 있다.
전술한 구성들 이외에도, 신경망을 포함한 데이터 구조는 신경망의 특성을 결정하는 임의의 다른 정보를 포함할 수 있다. 또한, 데이터 구조는 신경망의 연산 과정에 사용되거나 발생되는 모든 형태의 데이터를 포함할 수 있으며 전술한 사항에 제한되는 것은 아니다. 컴퓨터 판독가능 매체는 컴퓨터 판독가능 기록 매체 및/또는 컴퓨터 판독가능 전송 매체를 포함할 수 있다. 신경망은 일반적으로 노드라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 노드들은 뉴런(neuron)들로 지칭될 수도 있다. 신경망은 적어도 하나 이상의 노드들을 포함하여 구성된다. 이하, 도 4를 참조하여, 컴퓨팅 장치(100)가 수행하는 인공지능을 이용한 염색체 이미지 정렬 방법에 대하여 설명하도록 한다.
도 4는 본 발명의 또 다른 실시예 따른 인공지능을 이용한 염색체 이미지 정렬 방법의 순서도이다.
도 4를 참조하면, S110 단계에서, 컴퓨팅 장치(100)는 외부로부터 염색체 이미지를 얻을 수 있다. 예를 들어, 컴퓨팅 장치(100)는 염색체 이미지를 촬영하는 촬영 장치와 연결되어 촬영 장치가 사용자의 염색체를 촬영함으로써 생성되는 사용자의 염색체 이미지(예: 도 5의 1)를 얻을 수 있다. 그러나, 이에 한정되지 않고, 외부 서버(300)로부터 기 저장된 복수의 염색체 이미지 중 어느 하나의 염색체 이미지를 얻는 방법 등 염색체 이미지를 얻는 다양한 방법이 적용될 수 있다.
여기서, 염색체 이미지는 사용자의 정맥을 통해 채취된 혈액, 골수 또는 조직 생체 검사, 임신한 여성인 경우에는 융모와 양수에서 채취한 세포의 핵에서 염색체를 추출하여 염색하고, 염색한 염색체를 슬라이드에 올려 촬영된 이미지를 의미할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 사용자 각각으로부터 염색체 이미지를 얻되, 복수의 사용자마다 각각 복수의 염색체 이미지를 얻을 수 있다. 예를 들어, 컴퓨팅 장치(100)는 각 사용자당 최소 15장 이상의 염색체 이미지를 얻을 수 있다. 그러나, 이에 한정되지 않는다.
S120 단계에서, 컴퓨팅 장치(100)는 염색체 이미지를 분할(segmentation)하여 복수의 단위 이미지를 생성할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 염색체 이미지를 분할하기 위하여 염색체 이미지에 대한 핵형 검출(Karyogram detection)을 수행할 수 있고, 이후, 염색체 이미지에 대한 핵형 검출 결과에 기초하여 염색체 이미지를 소정의 크기를 가지는 복수의 단위 이미지로 분할할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 염색체 이미지와 복수의 염색체 이미지 각각을 분할하여 생성된 복수의 단위 이미지를 학습 데이터로써 기 학습한 인공지능 모델(예: 제1 인공지능 모델)을 이용하여, 복수의 염색체 이미지 각각을 제1 인공지능 모델에 입력함으로써, 복수의 염색체 이미지 각각에 대한 복수의 단위 이미지를 생성할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 원본의 복수의 염색체 이미지를 기 학습된 인공지능 모델인 CNN 모델의 입력으로 하여, 염색체 이미지로부터 복수의 단위 이미지(원본 염색체 이미지를 분할함으로써 생성되는 단위 이미지)를 생성할 수 있다.
여기서, 인공지능 모델(예: 신경망)은 하나 이상의 네트워크 함수로 구성되며, 하나 이상의 네트워크 함수는 일반적으로 ‘노드’라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 ‘노드’들은 ‘뉴런(neuron)’들로 지칭될 수도 있다. 하나 이상의 네트워크 함수는 적어도 하나 이상의 노드들을 포함하여 구성된다. 하나 이상의 네트워크 함수를 구성하는 노드(또는 뉴런)들은 하나 이상의 ‘링크’에 의해 상호 연결될 수 있다.
신경망 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 전술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.
하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호 연결하는 노드는 가중치(weight)를 가질 수 있다. 가중치는 가변적일 수 있으며, 신경망이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.
전술한 바와 같이, 신경망은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호연결 되어 신경망 내에서 입력 노드 및 출력 노드 관계를 형성한다. 신경망 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 신경망의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들 사이의 가중치 값이 상이한 두 신경망이 존재하는 경우, 두 개의 신경망들은 서로 상이한 것으로 인식될 수 있다.
신경망을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 신경망 내에서 레이어의 차수는 전술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.
최초 입력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 신경망 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 신경망을 구성하는 노드들을 의미할 수 있다. 본 개시의 일 실시예에 따른 신경망은 입력 레이어의 노드가 출력 레이어에 가까운 히든 레이어의 노드보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 신경망일 수 있다.
신경망은 하나 이상의 히든 레이어를 포함할 수 있다. 히든 레이어의 히든 노드는 이전의 레이어의 출력과 주변 히든 노드의 출력을 입력으로 할 수 있다. 각 히든 레이어 별 히든 노드의 수는 동일할 수도 있고 상이할 수도 있다. 입력 레이어의 노드의 수는 입력 데이터의 데이터 필드의 수에 기초하여 결정될 수 있으며 히든 노드의 수와 동일할 수도 있고 상이할 수도 있다. 입력 레이어에 입력된 입력 데이터는 히든 레이어의 히든 노드에 의하여 연산될 수 있고 출력 레이어인 완전 연결 레이어(FCL: fully connected layer)에 의해 출력될 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 인공지능 모델을 학습시키기 위한 학습 데이터를 구축할 수 있다. 여기서, 학습 데이터는 외부 서버(300)(예: 병원 등과 같은 의료기관 서버)로부터 얻은 복수의 염색체 데이터 원본과 이를 분할함으로써 생성된 복수의 단위 이미지 및 해당 염색체 이미지에 대한 의료 전문가의 분석 결과 데이터를 포함할 수 있다. 그러나, 이에 한정되지 않는다.
S130 단계에서, 컴퓨팅 장치(100)는 S120 단계에서 생성된 복수의 단위 이미지를 분류(Classification)할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 기 학습된 인공지능 모델(예: 제1 인공지능 모델)을 이용하여 복수의 단위 이미지를 염색체를 포함하는 단위 이미지 및 염색체를 포함하지 않는 단위 이미지 중 적어도 하나로 분류할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 복수의 단위 이미지를 제1 인공지능 모델인 CNN 모델의 입력으로 하여, 염색체를 포함하는 단위 이미지 또는 염색체를 포함하지 않은 단위 이미지를 선별함으로써, 복수의 단위 이미지를 염색체를 포함하는 단위 이미지 및 염색체를 포함하지 않는 단위 이미지 중 적어도 하나로 분류할 수 있다. 그러나, 이에 한정되지 않는다.
이후, 컴퓨팅 장치(100)는 인공지능 모델에 의한 단위 이미지 분류 결과에 기초하여 염색체를 포함하는 단위 이미지만을 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 염색체를 포함하는 단위 이미지 및 염색체를 포함하지 않는 단위 이미지 중 적어도 하나로 분류된 복수의 단위 이미지 중 염색체를 포함하는 단위 이미지만을 선택하여 추출할 수 있다. 이하, 도 6을 참조하여 설명하도록 한다.
도 6은 다양한 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치가 염색체 이미지로부터 핵형(Karyogram)을 검출한 형태를 도시한 도면이다.
도 6을 참조하면, 다양한 실시예에서, 염색체 이미지는 염색체를 포함하는 이미지와 염색체가 아닌 대상을 포함하는 이미지를 포함될 수 있다.
이때, 컴퓨팅 장치(100)는 복수의 단위 이미지를 제1 인공지능 모델인 CNN 모델의 입력으로 하여, 염색체를 포함하는 단위 이미지 또는 염색체를 포함하지 않은 단위 이미지를 선별함으로써, 복수의 단위 이미지 중 염색체를 포함하는 단위 이미지(10)만을 선택하고, 염색체를 포함하는 단위 이미지(20)(염색체가 아닌 다른 대상을 포함하는 단위 이미지를 제외할 수 있다. 그러나, 이에 한정되지 않는다.
여기서 제1 인공지능 모델은 염색체를 포함하는지 여부 및 염색체의 중첩 여부(중첩된 염색체가 있는지 여부 또는 중첩된 염색체인지 여부 등)가 레이블링(Labeling)된 복수의 단위 이미지를 학습 데이터로써 지도학습(supervised learning)될 수 있다.
여기서, 지도학습은 통상적으로 특정 데이터와 특정 데이터에 연관된 정보를 레이블링하여 학습 데이터를 생성하고, 이를 이용하여 학습시키는 방법으로써, 인과 관계를 가진 두 데이터를 레이블링하여 학습 데이터를 생성하고, 생성된 학습 데이터를 통해 학습하는 방법을 의미한다.
보다 구체적으로, 컴퓨팅 장치(100)는 레이블링된 학습 데이터를 이용하여 인공지능 모델을 구성하는 하나 이상의 네트워크 함수에 대한 학습을 수행할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 학습 입력 데이터 각각을 하나 이상의 네트워크 함수에 입력시키고, 하나 이상의 네트워크 함수로 연산된 출력 데이터 각각과 학습 입력 데이터 각각의 레이블에 해당하는 학습 출력 데이터 각각을 비교하여 오차를 도출할 수 있다. 즉, 신경망의 학습에서 학습 입력 데이터는 하나 이상의 네트워크 함수의 입력 레이어에 입력될 수 있으며, 학습 출력 데이터는 하나 이상의 네트워크 함수의 출력과 비교될 수 있다.
컴퓨팅 장치(100)는 학습 입력 데이터에 대한 하나 이상의 네트워크 함수의 연산 결과와 학습 출력 데이터(레이블)의 오차에 기초하여 신경망을 학습시킬 수 있다.
또한, 컴퓨팅 장치(100)는 오차에 기초하여 하나 이상의 네트워크 함수의 가중치를 역전파 방식으로 조정할 수 있다. 즉, 컴퓨팅 장치(100)는 학습 입력 데이터에 대한 하나 이상의 네트워크 함수의 연산 결과와 학습 출력 데이터의 오차에 기초하여 하나 이상의 네트워크 함수의 출력이 학습 출력 데이터에 가까워지도록 가중치를 조정할 수 있다.
컴퓨팅 장치(100)는 하나 이상의 네트워크 함수의 학습이 사전 결정된 에폭 이상 수행된 경우, 검증 데이터를 이용하여 학습의 중단 여부를 결정할 수 있다. 사전 결정된 에폭은 전체 학습 목표 에폭의 일부일 수 있다.
검증 데이터는 레이블링된 학습 데이터 중 적어도 일부로 구성될 수 있다. 즉, 컴퓨팅 장치(100)는 학습 데이터를 통해 신경망의 학습을 수행하며, 신경망의 학습이 사전결정된 에폭 이상 반복된 후, 검증 데이터를 이용하여 신경망의 학습 효과가 사전 결정된 수준 이상인지 여부를 판단할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 100개의 학습 데이터를 이용하여 목표 반복 학습 횟수가 10회인 학습을 수행하는 경우, 사전결정된 에폭인 10회의 반복 학습을 수행한 후, 10개의 검증 데이터를 이용하여 3회의 반복 학습을 수행하여, 3회의 반복 학습 동안 신경망 출력의 변화가 사전결정된 수준 이하인 경우 더 이상의 학습이 무의미한 것으로 판단하고 학습을 종료할 수 있다.
즉, 검증 데이터는 신경망의 반복 학습에서 에폭별 학습의 효과가 일정 이상인지 이하인지 여부에 기초하여 학습의 완료를 결정하는 데 이용될 수 있다. 전술한 학습 데이터, 검증 데이터의 수 및 반복 횟수는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
컴퓨팅 장치(100)는 테스트 데이터를 이용하여 하나 이상의 네트워크 함수의 성능을 테스트하여 하나 이상의 네트워크 함수의 활성화 여부를 결정함으로써, 인공지능 모델을 생성할 수 있다. 테스트 데이터는 신경망의 성능을 검증하기 위하여 사용될 수 있으며, 학습 데이터 중 적어도 일부로 구성될 수 있다. 예를 들어, 학습 데이터 중 70%는 신경망의 학습(즉, 레이블과 비슷한 결과값을 출력하도록 가중치를 조정하기 위한 학습)을 위해 활용될 수 있으며, 30%는 신경망의 성능을 검증하기 위한 테스트 데이터로써 활용될 수 있다. 컴퓨팅 장치(100)는 학습이 완료된 신경망에 테스트 데이터를 입력하고 오차를 측정하여 사전 결정된 성능 이상인지 여부에 따라 신경망의 활성화 여부를 결정할 수 있다.
컴퓨팅 장치(100)는 학습이 완료된 신경망에 테스트 데이터를 이용하여 학습 완료된 신경망의 성능을 검증하고 학습 완료된 신경망의 성능이 사전에 결정된 기준 이상인 경우 해당 신경망을 다른 어플리케이션에서 사용하도록 활성화할 수 있다.
또한, 컴퓨팅 장치(100)는 학습 완료된 신경망의 성능이 사전에 결정된 기준 이하인 경우 해당 신경망을 비활성화하여 폐기할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 정확도(accuracy), 정밀도(precision), 재현율(recall) 등의 요소를 기준으로 하여 생성된 신경망 모델의 성능을 판단할 수 있다. 전술한 성능 평가 기준은 예시일 뿐이며 본 개시는 이에 제한되지 않는다. 본 개시의 일 실시예에 따라 컴퓨팅 장치(100)는 각각의 신경망을 독립적으로 학습시켜 복수의 신경망 모델을 생성할 수 있으며, 성능을 평가하여 일정 성능 이상의 신경망만을 사용할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 기 학습된 인공지능 모델을 이용하여 염색체를 포함하는 단위 이미지를 일반 염색체를 포함하는 단위 이미지 및 겹쳐진 염색체를 포함하는 단위 이미지 중 적어도 하나로 분류할 수 있다.
이후, 컴퓨팅 장치(100)는 후술되는 S140 단계(예: 단위 이미지 정렬 단계)에서 이용되는 정렬 대상 단위 이미지를 선정하되, 겹쳐진 염색체를 포함하는 단위 이미지를 정렬 대상에서 제외하고, 일반 염색체를 포함하는 단위 이미지만을 정렬 대상으로 선정할 수 있다. 이하, 도 5 및 7을 참조하여 설명하도록 한다.
도 5는 다양한 실시예에서 적용 가능한 사용자의 염색체 이미지를 도시한 도면이며, 도 7은 다양한 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치가 추출한 염색체를 포함하는 단위 이미지를 도시한 도면이다.
일반적으로, 촬영 장치를 이용하여 염색체 이미지를 생성할 경우, 도 5에 도시된 바와 같이 일반 염색체(11)와 같이 염색체가 상호 적정한 거리를 유지하도록 펼친 후에 촬영하여 염색체 이미지를 생성한다.
한편, 염색체를 펼치는 과정에서 많은 시간을 소비하게 되면 염색체 이미지를 생성하고 이를 토대로 진단을 하는 전체 과정에서 소비되는 시간이 증가하기 때문에 염색체가 상호 적정한 거리를 유지하도록 적당히 펼쳐진 것으로 판단되면 촬영하여 염색체 이미지를 생성하게 된다.
그러나, 이러한 과정을 거쳐 염색체 이미지를 촬영하는 경우, 도 5에 도시된 바와 같이 겹쳐진 염색체(12)가 발생할 우려가 있다. 이렇게 겹쳐진 염색체(12)가 있는 경우에는 컴퓨팅 장치(100)가 염색체를 정확하게 인식하지 못하여 오류가 발생될 가능성이 있다.
이러한 오류가 발생되는 것을 방지하기 위하여, 컴퓨팅 장치(100)는 염색체를 포함하는 단위 이미지 중 일반 염색체(11)를 포함하는 단위 이미지만을 선택하여 정렬 대상으로 선정할 수 있다. 상기와 같은 과정을 거쳐 생성되는 정렬 대상(예: 일반 염색체(11)을 포함하는 단위 이미지)는 도 7에 도시된 바와 같다.
다양한 실시예에서, 컴퓨팅 장치(100)는 염색체를 포함하는 복수의 단위 이미지 중 겹쳐진 염색체를 포함하는 단위 이미지에 대하여, 분할 가능 여부를 판단할 수 있다.
이후, 컴퓨팅 장치(100)는 분할이 가능한 것으로 판단된 단위 이미지에 대해서는 겹쳐진 각각의 염색체가 서로 다른 단위 이미지에 포함되도록 겹쳐진 염색체를 포함하는 단위 이미지를 분할할 수 있고, 분할이 불가능한 것으로 판단된 단위 이미지를 정렬 대상에서 제외할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S130 단계에서 분류된 염색체를 포함하는 단위 이미지(예: 일반 염색체(11)를 포함하는 단위 이미지)에 포함된 염색체의 종류를 식별하고, 식별된 염색체의 종류에 기초하여 염색체를 포함하는 단위 이미지를 정렬할 수 있다. 이하, 도 8 및 9를 참조하여 설명하도록 한다.
도 8은 다양한 실시예에서 인공지능을 이용한 염색체 이미지 정렬 장치가 염색체 이미지로부터 염색체의 번호를 식별하여 염색체 배치 템플릿 상에 배치하는 방법의 순서도이며, 도 9는 다양한 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치가 복수의 단위 이미지를 이용하여 생성한 정렬된 염색체 이미지를 도시한 도면이다.
도 8 및 9를 참조하면, S210 단계에서, 컴퓨팅 장치(100)는 복수의 단위 이미지 중 염색체를 포함하는 단위 이미지를 추출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 복수의 단위 이미지에 대하여 1차 필터링을 수행함으로써, 복수의 단위 이미지 중 염색체를 포함하는 단위 이미지를 선택할 수 있다.
또한, 컴퓨팅 장치(100)는 염색체를 포함하는 단위 이미지에 대하여 2차 필터링을 수행함으로써, 복수의 염색체를 포함하는 단위 이미지 중 일반 염색체를 포함하는 단위 이미지를 선택할 수 있다.
여기서, 컴퓨팅 장치(100)가 수행하는 염색체를 포함하는 단위 이미지 추출 방법은 도 3의 S130 단계에서 수행된 방법과 동일 또는 유사한한 방법을 적용할 수 있으나, 이에 한정되지 않는다.
S220 단계에서, 컴퓨팅 장치(100)는 S210 단계에서 추출한 염색체를 포함하는 단위 이미지(예: 일반 염색체를 포함하는 단위 이미지) 각각에 포함된 염색체의 번호를 식별할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 기 학습된 인공지능 모델(예: 제1 인공지능 모델)을 이용하여 염색체를 포함하는 단위 이미지 각각에 포함된 염색체의 번호를 식별할 수 있다.
여기서, 기 학습된 인공지능 모델은 염색체의 번호가 레이블링(Labeling)된 염색체 이미지를 학습 데이터로 하여 지도학습될 수 있다.
예를 들어, 컴퓨팅 장치(100)는 염색체를 포함하는 단위 이미지를 인공지능 모델의 입력으로 하여, 입력된 염색체를 포함하는 단위 이미지 내에 포함된 염색체가 몇번 염색체인지를 가리키는 지에 대한 정보를 결과값으로써 출력할 수 있고, 이를 이용하여 염색체를 포함하는 단위 이미지 각각에 포함된 염색체의 번호를 식별할 수 있다. 그러나, 이에 한정되지 않는다.
S230 단계에서, 컴퓨팅 장치(100)는 S220 단계에서 식별된 염색체를 포함하는 단위 이미지 각각에 포함된 염색체의 번호에 기초하여 염색체 배치 템플릿 상에 염색체를 포함하는 단위 이미지를 배치할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 도 9에 도시된 바와 같이, 1번 염색체를 포함하는 단위 이미지를 염색체 배치 템플릿 상의 1번 염색체 배치 영역에 배치하고, 2번 염색체를 포함하는 단위 이미지를 염색체 배치 템플릿 상의 2번 염색체 배치 영역에 배치할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S220 단계를 통해 식별된 염색체의 번호에 기초하여 염색체를 포함하는 복수의 단위 이미지를 염색체 배치 템플릿 상에 배치하되, 식별의 정확도가 기 설정된 제1 기준 값 이상인 것으로 판단되는 단위 이미지를 우선적으로 염색체 배치 템플릿 상에 배치할 수 있다. 이후, 컴퓨팅 장치(100)는 식별의 정확도가 높은 순서대로 염색체 배치 템플릿의 빈 공간(예: 염색체를 포함하는 단위 이미지가 배치되지 못한 번호의 영역)에 순차적으로 배치할 수 있다.
예를 들어, 학습된 모델의 출력으로 특정 단위 이미지가 각각의 염색체에 해당할 확률이 획득될 수 있다. (예를 들어, 제1 단위 이미지가 1번 염색체일 확률 85%, 2번 염색체일 확률 50%, n번 염색체일 확률 x% 등)
이때, 기 설정된 제1 기준 값이 80%인 경우, 컴퓨팅 장치(100)는 복수의 단위 이미지 중 식별의 정확도가 80%이상인 단위 이미지를 우선적으로 염색체 배치 템플릿 상에 배치하고, 식별의 정확도가 80%미만인 단위 이미지를 염색체 배치 템플릿의 빈 공간에 순차적으로 배치할 수 있다.
이 경우, 식별의 정확도가 80% 이상인 단위 이미지들이 모두 배치된 후 남은 공간에 나머지 단위 이미지들을 배치하되, 각각의 공간에 대한 매칭 확률이 높은 단위 이미지부터 순차적으로 배치할 수 있다. 예를 들어, 3번 염색체와 5번 염색체 자리가 비어 있는 경우, 제1 단위 이미지가 3번 염색체일 확률이 70%, 5번 염색체일 확률이 50%이고, 제2 단위 이미지가 3번 염색체일 확률이 60%, 5번 염색체일 확률이 75%인 경우, 제1 단위 이미지를 3번 염색체의 위치에, 제2 단위 이미지를 5번 염색체의 위치에 배치할 수 있다.
실시 예에 따라서, 컴퓨팅 장치(100)는 제1 기준 값보다 높은 제2 기준 값에 따라 염색체가 배치되는 위치를 결정할 수 있다. 예를 들어, 상기한 제1 기준 값이 80%이고, 제2 기준값이 90%라고 할 수 있다.
일 실시 예에서, 1번 염색체의 자리에 제1 단위 이미지 및 제2 단위 이미지가 이미 배치되어 있다고 가정할 때, 제1 단위 이미지 내지 제3 단위 이미지가 1번 염색체일 확률이 제1 기준값 이상 제2 기준값 미만인 경우, 확률이 높은 두 개의 단위 이미지를 1번 염색체의 자리에 배치하고, 가장 낮은 확률을 갖는 단위 이미지는 다른 자리에 배치할 수 있다.
다른 예로, 제1 단위 이미지 내지 제3 단위 이미지가 1번 염색체일 확률이 제1 기준값 이상 제2 기준값 미만인 경우, 각각의 단위 이미지에 대하여, 1번 염색체(예: 1번 염색체일 확률이 가장 높을 경우)일 확률과 다른 염색체(예: 두 번째로 확률이 높은 염색체)일 확률의 차가 가장 큰 두 개의 단위 이미지를 1번 염색체의 자리에 배치하고, 차가 가장 작은 단위 이미지는 두 번째로 확률이 높은 염색체의 자리에 배치할 수도 있다.
일 실시 예에서, 제1 단위 이미지 내지 제3 단위 이미지 중 1번 염색체일 확률이 제2 기준값 이상인 단위 이미지가 있는 경우, 해당 단위 이미지는 개수와 무관하게 그대로 배치하여 두고, 나머지 단위 이미지들 중 하나를 나머지 자리에 배치할 수 있다.
실시 예에 따라서, 제1 단위 이미지 내지 제3 단위 이미지가 1번 염색체일 확률이 모두 제2 기준 값 이상일 경우, 3개의 단위 이미지를 모두 1번 염색체의 자리에 배치할 수 있다. 즉, 3개의 단위 이미지가 모두 제2 기준 값 이상의 확률로 1번 염색체일 것으로 판단되는 경우, 염색체 기형인 것으로 판단될 수 있으며, 이에 제한되는 것은 아니다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S230 단계를 거쳐 생성된 정렬된 염색체 이미지를 출력하는 UI를 사용자 단말(200)로 제공할 수 있고, 사용자로부터 정렬된 염색체 이미지에 대한 보정 동작을 입력 받아 정렬된 염색체 이미지에 대한 보정을 수행할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 정렬된 염색체 이미지를 출력하는 UI를 통해 사용자로부터 1번 염색체 이미지와 2번 염색체 이미지의 위치를 변경할 것을 요청하는 보정 동작을 입력받는 경우, 기 생성된 정렬된 염색체 이미지 내에서 1번 염색체 이미지와 2번 염색체 이미지의 위치를 변경할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, S220 단계에서 식별된 염색체를 포함하는 단위 이미지 각각에 포함된 염색체의 번호에 기초하여 염색체 배치 템플릿 상에 염색체를 포함하는 단위 이미지를 배치하되, 특정 염색체의 번호에 대응하는 이미지가 누락된 경우(예: 이미지가 없거나, 정확하게 식별되지 않아 정렬 대상에서 제외된 경우), 염색체 배치 템플릿 상에 누락된 염색체 이미지가 배치될 영역을 공란으로 비워둘 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 한 명의 사용자에 대하여 복수의 염색체 이미지를 분할 및 배치할 수 있으며, 특정 염색체의 번호에 대응하는 이미지가 누락된 경우에는 또 다른 염색체 이미지로부터 생성된 정렬된 염색체 이미지 내에서 누락된 염색체 이미지를 가져와 배치할 수 있다. 핵형 분석을 수행하는 경우, 특정 사용자에 대하여 수십 개의 염색체 이미지를 획득하여 각각 핵형 분석을 수행하는 것이 일반적이다. 따라서, 특정 이미지에서 중첩으로 인해 잘못된 결과가 획득된다 하더라도 다른 이미지들에서 정상적인 결과가 획득되는 경우, 이를 보상할 수 있다. 또한, 상기한 실시 예와 같이 복수의 이미지들 간에 중첩되지 않은 염색체 이미지를 조합하여 중첩된 염색체가 없는 이미지를 완성할 수도 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 기 생성된 정렬된 염색체 이미지를 이용하여 증강된 학습 데이터를 이용하여 기 학습된 인공지능 모델을 학습시킬 수 있다. 예를 들어, 컴퓨팅 장치(100)는 상기의 방법을 통해 생성된 정렬된 염색체 이미지를 복수의 단위 이미지로 재차 분할하고, 분할된 복수의 단위 이미지를 임의적으로 배치하여 다수의 염색체 이미지를 새롭게 생성함으로써 기 학습된 인공지능 모델의 학습 데이터로 활용할 수 있다. 이를 통해 기 학습된 인공지능 모델의 학습 데이터를 증강하여 인공지능 모델을 더욱 고도화할 수 있다.
예를 들어, 도 5에 도시된 바와 같은 원본 이미지로부터 도 9에 도시된 바와 같이 분할, 분류 및 정렬된 이미지가 획득되는 경우, 두 이미지의 쌍을 학습 데이터로 하여 분할, 분류 및 정렬을 위한 인공지능 모델을 학습시킬 수 있다. 단, 실제로 원본 데이터로부터 획득된 분할, 분류 및 정렬된 이미지만을 이용하여 학습을 수행하는 경우 학습 데이터를 다량 수집하는 데 어려움이 있을 수 있다.
따라서, 개시된 실시 예에 따르면 도 8에 도시된 바와 같이 분할, 분류 및 정렬된 이미지를 이용하여 도 4에 도시된 바와 같은 가상의 원본 이미지를 다수 생성하여 학습 데이터를 증강하는 방법이 활용될 수 있다.
예를 들어, 도 9에 도시된 46개의 염색체를 소정의 공간 내에 임의로 배치함으로써, 다양한 가상의 원본 데이터를 획득할 수 있다. 원본 데이터를 획득하는 방법은 제한되지 않으며, 예를 들어 중첩된 염색체가 없도록 하거나, 하나 이상의 염색체가 중첩되도록 하거나, 복수의 염색체가 서로 중첩되도록 하는 등 다양하게 설정된 조건에 기반하여 다양한 가상의 원본 데이터가 생성될 수 있다. 이 경우, 도 9의 이미지 데이터와 생성된 가상의 원본 데이터들의 쌍 각각을 증강된 학습 데이터로 활용할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S230 단계를 거쳐 정렬된 염색체 이미지(예: 염색체를 포함하는 단위 이미지의 배치가 완료된 염색체 배치 템플릿)를 분석하여 사용자의 염색체 이상을 진단하고, 진단된 염색체 이상에 대한 정보를 포함하는 분석결과 보고서를 생성하여 사용자에게 제공할 수 있다. 이하, 도 10 및 11을 참조하여 설명하도록 한다.
도 10은 다양한 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치가 염색체 이미지로부터 염색체의 분석결과 보고서를 생성하는 방법의 순서도이며, 도 11은 다양한 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치가 인공지능 모델을 이용하여 정렬된 염색체 이미지 및 분석결과 보고서를 생성하는 과정을 도시한 도면이다.
도 10 및 11을 참조하면, S310 단계에서, 컴퓨팅 장치(100)는 외부로부터 사용자에 대한 염색체 이미지를 얻을 수 있다. 예를 들어, 컴퓨팅 장치(100)는 염색체 이미지를 촬영하는 촬영 장치와 연결되어 촬영 장치로부터 사용자의 염색체 이미지(예: 도 6의 1)를 얻거나, 또는 외부 서버(300)로부터 기 저장된 사용자의 염색체 이미지를 제공받을 수 있다(예: 도 3의 S110 단계).
S320 단계에서, 컴퓨팅 장치(100)는 S310 단계에서 얻은 염색체 이미지를 이용하여 정렬된 염색체 이미지를 생성할 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 컴퓨팅 장치(100)는 S310 단계에서 얻은 염색체 이미지로부터 염색체를 검출(detection)하고, 기 학습된 인공지능 모델(예: 제1 인공지능 모델)을 이용하여 염색체를 포함하는 단위 이미지(10)를 추출할 수 있으며, 추출된 염색체를 포함하는 단위 이미지(10)를 이용하여 정렬된 염색체 이미지(2)를 생성할 수 있다. 여기서, 제1 인공지능 모델은 CNN 모델일 수 있으나, 이에 한정되지 않는다.
S330 단계에서, 컴퓨팅 장치(100)는 S320 단계에서 생성된 정렬된 염색체 이미지를 분석하여 정렬된 염색체 이미지에 대한 분석 및 진단을 수행할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 정렬된 염색체 이미지를 분석하여 염색체 각각을 가리키는 벡터를 추출할 수 있고, 추출된 벡터를 이용하여 정렬된 염색체 이미지에 대한 분석 및 진단을 수행할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 기 학습된 인공지능 모델(예: 제2 인공지능 모델)을 이용하여 정렬된 단위 염색체(2) 각각에 포함된 염색체의 정보를 요약(summarize)하는 벡터(30)를 추출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 23쌍의 염색체의 존재 여부, 염색체의 손상 여부 및 염색체 각각이 가지고 있는 특징들을 수치화하여 벡터로 표현할 수 있다.
여기서, 제2 인공지능 모델은 정렬된 염색체 이미지를 생성하기 위하여 이용한 제1 인공지능 모델과 동일한 CNN 모델일 수 있다. 그러나, 이에 한정되지 않는다. 이하, 도 12를 참조하여, 컴퓨팅 장치(100)가 제2 인공지능 모델을 이용하여 벡터를 추출하는 방법에 대하여 설명하도록 한다.
도 12는 다양한 실시예에서, 인공지능을 이용한 염색체 이미지 정렬 장치가 염색체로부터 형태학상의 특징을 가리키는 벡터를 추출하는 과정을 도시한 도면이다.
도 12를 참조하면, 먼저, 컴퓨팅 장치(100)는 제2 인공지능 모델(예: CNN 모델)을 이용하여 염색체 이미지를 임베딩(Embedding)하여 염색체 이미지에 대응하는 임베딩 벡터를 생성할 수 있다. 여기서, 염색체 이미지를 임베딩 벡터로 변환하는 기술은 공지된 다양한 기술이 적용될 수 있다.
여기서, 컴퓨팅 장치(100)는 염색체 이미지에 대응하는 임베딩 벡터와의 유사도 비교를 위해 임베딩 벡터를 이용하여 레이블 임베딩 벡터를 생성할 수 있다. 이때, 컴퓨팅 장치(100)는 염색체 이미지에 대응하는 임베딩 벡터와 동일 또는 유사한 형태로 레이블 임베딩 벡터를 생성할 수 있다. 그러나, 이에 한정되지 않는다.
이후, 컴퓨팅 장치(100)는 염색체 이미지에 대응하는 임베딩 벡터와 레이블 임베딩 벡터의 유사도를 비교함으로써 유사도 비교 결과 데이터를 생성할 수 있고, 생성된 유사도 비교 결과 데이터를 학습데이터로 제2 하여 인공지능 모델을 학습시킬 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 염색체 이미지를 분석하여 상기 염색체 이미지에 포함된 염색체에 대한 형태학상의 특징(Morphological feature)을 추출하고, 추출된 염색체에 대한 형태학상의 특징과 임베딩 벡터를 결합할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 컴퓨팅 장치(100)는 염색체 이미지를 분석하여 염색체 이미지 상에서 염색체에 해당하는 영역의 크기를 산출할 수 있고, 염색체 이미지 상에서 배경에 해당하는 영역과 전체 영역의 비율을 이용하여 염색체의 곧음(straightness)을 정량화할 수 있다.
일반적으로 염색체가 잘 펼쳐져 있는 경우, 염색체 이미지 상에서 염색체를 바운딩 박스(bounding box)로 지정하였을 때 배경 부분의 비율이 적다. 따라서, 컴퓨팅 장치(100)는 배경에 해당하는 영역과 전체 영역의 비율을 이용하여 염색체의 곧음을 정량화함으로써, 염색체 이미지 상에서 염색체가 잘 퍼져 있는지를 수치적으로 판단할 수 있다.
또한, 컴퓨팅 장치(100)는 염색체와 그에 해당하는 중심선을 마스크로 학습된 세그먼테이션 네트워크를 이용하여 염색체 이미지에 포함된 염색체에 대한 중심선을 추출할 수 있고, 추출된 중심선에 대한 길이 및 너비를 산출할 수 있다. 이때, 컴퓨팅 장치(100)는 중심선을 따라 획득된 너비의 평균값을 중심선의 너비로 산출할 수 있으나, 이에 한정되지 않는다.
또한, 컴퓨팅 장치(100)는 염색체의 밴드 패턴을 분석하여 염색체와 기 설정된 레퍼런스 염색체들 간의 밴드 패턴 유사도를 산출할 수 있다. 중심선에 해당하는 픽셀값의 고저가 염색체의 밴드 패턴을 반영할 수 있기 때문에, 컴퓨팅 장치(100)는 이러한 점을 이용하여 0 내지 255 사이에 분포하는 픽셀을 양자화(quantization)하여 0 내지 10 단계로 분류함으로써 중심선의 픽셀값을 단순화하고, 최장 공통부분 수열(longest Common Subsequence, LCS) 알고리즘을 이용하여 단순화된 중심선과 기 설정된 레퍼런스 염색체를 비교함으로써 밴드 패턴 유사도를 산출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 공통부분(common subsequence)이 길수록 밴드 패턴 유사도가 높게 산출되도록 할 수 있다.
이후, 컴퓨팅 장치(100)는 염색체에 대응되는 영역의 크기, 정량화된 염색체의 곧음, 중심선의 길이, 중심선의 너비 및 밴드 패턴 유사도를 결합(예: Concat)하여 염색체에 대한 형태학상의 특징을 추출할 수 있고, 추출한 염색체의 형태학상의 특징을 해당 염색체에 대응하는 임베딩 벡터와 결합할 수 있다.
다시 도 10 및 11을 참조하면, 컴퓨팅 장치(100)는 기 학습된 인공지능 모델(예: 제3 인공지능 모델)을 이용하여 사용자의 염색체 이상을 진단할 수 있다.
여기서, 제3 인공지능 모델은 염색체의 특성을 나타내는 벡터 및 염색체에 관련된 질병 유무, 질병의 종류, 벡터에 대한 스코어링 결과 값을 포함하고 있으며, 입력과 정답(즉, 레이블)에 관한 데이터를 통해 신경망을 학습시키는 지도학습 방법에 의해 학습된 모델 즉, 벡터를 입력으로 하여, 질병 유무, 종류, 및 스코어링 결과 값을 출력하도록 학습된 모델일 수 있다.
예를 들어, 제3 인공지능 모델의 학습 데이터는 제1 염색체에 대응하는 제1 벡터일 수 있으며, 이 경우에는 제1 벡터를 학습의 입력 데이터로써 활용하고, 제1 염색체에 대응하는 질병의 유무, 질병의 종류 및 질병에 대한 스코어링 값을 학습 결과 데이터(즉, 레이블)로 활용함으로써, 제1 벡터와 질병의 유무 및 질병의 종류를 연관시킬 수 있다.
다른 예로, 컴퓨팅 장치(100)는 염색체 이미지, 염색체 이미지에 포함된 염색체의 특성을 나타내는 벡터, 염색체와 관련된 질병 유무, 질병의 종류(예: 질병 코드), 질병에 대한 스코어링한 결과 값(예: 질병의 수준 및 발생 확률에 따라 0점 내지 100점으로 점수를 매긴 결과 값)을 학습 데이터로써 지도학습한 ML 모델을 이용하여 사용자의 염색체 이상을 진단할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 질병의 수준 및 발생 확률에 따라 0점 내지 100점으로 점수를 매긴 결과 값)을 학습 데이터로써 지도학습한 ML 모델을 이용하여 사용자의 염색체 이상을 진단할 수 있다
여기서, 스코어링 결과는 복수의 질병 각각에 대한 스코어링 결과를 포함하는 벡터 형태로 구성될 수도 있으나, 이에 제한되는 것은 아니며, 실시 예에 따라 복합적인 단일 스코어링 결과가 이용될 수도 있다. 그러나, 이에 한정되지 않는다.
S340 단계에서, 컴퓨팅 장치(100)는 사용자의 염색체 이미지, 정렬된 염색체 이미지 및 S330 단계에서 수행된 정렬된 염색체 이미지에 대한 분석 및 진단 결과를 포함하는 분석결과 보고서(40)를 생성할 수 있고, 생성된 분석결과 보고서(40)를 사용자 단말(200)로 제공할 수 있다. 이를 통해, 염색체 이미지를 입력하는 간단한 동작 만으로, 정렬된 염색체 이미지와 염색체 이미지에 대한 이상 진단 결과를 손쉽게 받아볼 수 있다는 이점이 있다.
전술한 인공지능을 이용한 염색체 이미지 정렬 방법은 도면에 도시된 순서도를 참조하여 설명하였다. 간단한 설명을 위해 인공지능을 이용한 염색체 이미지 정렬 방법은 일련의 블록들로 도시하여 설명하였으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 본 명세서에 도시되고 시술된 것과 상이한 순서로 수행되거나 또는 동시에 수행될 수 있다. 또한, 본 명세서 및 도면에 기재되지 않은 새로운 블록이 추가되거나, 일부 블록이 삭제 또는 변경된 상태로 수행될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
    사용자에 대한 복수의 염색체 이미지를 얻는 단계;
    상기 복수의 염색체 이미지를 각각 분할(segmentation)하여 복수의 단위 이미지를 생성하는 단계;
    상기 복수의 단위 이미지 중 염색체를 포함하는 단위 이미지를 추출하는 단계; 및
    상기 염색체를 포함하는 단위 이미지를 분석하여 상기 염색체를 포함하는 단위 이미지에 포함된 염색체의 종류를 식별하고, 상기 식별된 염색체의 종류에 기초하여 상기 염색체를 포함하는 단위 이미지를 정렬하는 단계를 포함하는,
    인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법.
  2. 제1항에 있어서,
    상기 복수의 단위 이미지를 생성하는 단계는,
    상기 염색체 이미지와 상기 복수의 단위 이미지를 학습 데이터로써 기 학습한 인공지능 모델을 이용하여 상기 염색체 이미지를 분할함으로써, 상기 복수의 단위 이미지를 생성하는 단계를 포함하는,
    인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법.
  3. 제1항에 있어서,
    상기 염색체를 포함하는 단위 이미지를 추출하는 단계는,
    기 학습된 인공지능 모델을 이용하여 상기 복수의 단위 이미지를 상기 염색체를 포함하는 단위 이미지 및 상기 염색체를 포함하지 않는 단위 이미지 중 적어도 하나로 분류(classification)하는 단계; 및
    상기 기 학습된 인공지능 모델의 분류 결과에 기초하여 상기 염색체를 포함하는 단위 이미지만을 추출하는 단계를 포함하는,
    인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법.
  4. 제3항에 있어서,
    상기 분류하는 단계는,
    상기 기 학습된 인공지능 모델을 이용하여 상기 염색체를 포함하는 단위 이미지를 일반 염색체를 포함하는 단위 이미지 및 겹쳐진 염색체를 포함하는 단위 이미지 중 적어도 하나로 분류하는 단계를 포함하며,
    상기 염색체를 포함하는 단위 이미지를 정렬하는 단계는,
    상기 겹쳐진 염색체를 포함하는 단위 이미지를 정렬 대상에서 제외하고, 상기 일반 염색체를 포함하는 단위 이미지만을 상기 정렬 대상으로 선정하여 정렬하는 단계를 포함하는,
    인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법.
  5. 제1항에 있어서,
    상기 염색체를 포함하는 단위 이미지를 정렬하는 단계는,
    상기 염색체의 번호가 레이블링(Labeling)된 염색체 이미지를 학습데이터로써 기 학습된 인공지능 모델을 이용하여 상기 복수의 단위 이미지 중 상기 염색체를 포함하는 단위 이미지에 포함된 염색체의 번호를 식별하는 단계; 및
    상기 식별된 염색체의 번호에 기초하여 상기 염색체를 포함하는 단위 이미지를 기 설정된 염색체 배치 템플릿 상에 정렬 배치하는 단계를 포함하는,
    인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법.
  6. 제1항에 있어서,
    상기 정렬된 단위 이미지를 분석하여 상기 사용자의 염색체 이상을 진단하는 단계를 더 포함하는,
    인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법.
  7. 제6항에 있어서,
    상기 사용자의 염색체 이상을 진단하는 단계는,
    상기 정렬된 단위 이미지에 각각 포함된 염색체의 정보를 요약(summarize)하는 벡터를 추출하는 단계; 및
    상기 염색체에 대응되는 벡터 및 상기 벡터에 대한 스코어링(scoring) 결과를 학습 데이터로써 기 학습된 인공지능 모델을 이용하여 상기 사용자의 염색체 이상을 진단하는 단계를 포함하는,
    인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법.
  8. 제6항에 있어서,
    상기 염색체 이미지, 상기 정렬된 단위 이미지 및 상기 사용자의 염색체 이상 진단 결과를 포함하는 분석결과 보고서를 생성하는 단계; 및
    상기 분석결과 보고서를 상기 사용자의 단말로 제공하는 단계를 더 포함하는,
    인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법.
  9. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    제1 항의 방법을 수행하는, 장치.
  10. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
PCT/KR2020/013767 2020-03-06 2020-10-08 인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법, 장치 및 컴퓨터프로그램 WO2021177532A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0028659 2020-03-06
KR1020200028659 2020-03-06

Publications (1)

Publication Number Publication Date
WO2021177532A1 true WO2021177532A1 (ko) 2021-09-10

Family

ID=77613395

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/013767 WO2021177532A1 (ko) 2020-03-06 2020-10-08 인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법, 장치 및 컴퓨터프로그램

Country Status (2)

Country Link
KR (1) KR20210113573A (ko)
WO (1) WO2021177532A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152147A (zh) * 2023-10-31 2023-12-01 杭州德适生物科技有限公司 一种在线染色体协同分析方法、系统及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05172810A (ja) * 1991-06-10 1993-07-13 Kagaku Gijutsucho Hoshasen Igaku Sogo Kenkyusho 染色体異常検出装置
JP2011099988A (ja) * 2009-11-06 2011-05-19 Kyorin Gakuen 核型分析学習プログラムおよび核型分析学習装置、染色体画像切り出しプログラムおよび染色体画像切り出し装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000001806A (ko) 1998-06-10 2000-01-15 김정준 염색체 핵형분석 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05172810A (ja) * 1991-06-10 1993-07-13 Kagaku Gijutsucho Hoshasen Igaku Sogo Kenkyusho 染色体異常検出装置
JP2011099988A (ja) * 2009-11-06 2011-05-19 Kyorin Gakuen 核型分析学習プログラムおよび核型分析学習装置、染色体画像切り出しプログラムおよび染色体画像切り出し装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIE NING; LI XU; LI KANG; YANG YANG; SHEN HENG TAO: "Statistical Karyotype Analysis Using CNN and Geometric Optimization", IEEE ACCESS, IEEE, USA, vol. 7, 1 January 1900 (1900-01-01), USA, pages 179445 - 179453, XP011761498, DOI: 10.1109/ACCESS.2019.2951723 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152147A (zh) * 2023-10-31 2023-12-01 杭州德适生物科技有限公司 一种在线染色体协同分析方法、系统及介质
CN117152147B (zh) * 2023-10-31 2024-02-09 杭州德适生物科技有限公司 一种在线染色体协同分析方法、系统及介质

Also Published As

Publication number Publication date
KR20210113573A (ko) 2021-09-16

Similar Documents

Publication Publication Date Title
WO2021060899A1 (ko) 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
WO2020096099A1 (ko) 기계 학습 방법 및 장치
WO2017022882A1 (ko) 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
WO2019231105A1 (ko) 트리플릿 기반의 손실함수를 활용한 순서가 있는 분류문제를 위한 딥러닝 모델 학습 방법 및 장치
JP2019095217A (ja) 外観検査装置
WO2020045848A1 (ko) 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2022005090A1 (ko) 진단 결과를 제공하기 위한 방법 및 장치
WO2005119589A1 (en) Information processing method and apparatus, and image pickup device
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
WO2023098912A1 (zh) 图像处理方法、装置、存储介质及电子设备
WO2022119162A1 (ko) 의료 영상 기반의 질환 예측 방법
WO2021177532A1 (ko) 인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법, 장치 및 컴퓨터프로그램
WO2019009664A1 (en) APPARATUS FOR OPTIMIZING THE INSPECTION OF THE OUTSIDE OF A TARGET OBJECT AND ASSOCIATED METHOD
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2022092993A1 (ko) 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템
US20200005084A1 (en) Training method of, and inspection system based on, iterative deep learning system
WO2021040315A1 (ko) 원추 각막 진단 보조 시스템 및 이를 이용하는 방법
WO2021075742A1 (ko) 딥러닝 기반의 가치 평가 방법 및 그 장치
WO2019045101A1 (ja) 画像処理装置及びプログラム
WO2023167448A1 (ko) 병리 슬라이드 이미지를 분석하는 방법 및 장치
WO2020116878A1 (ko) 안저 사진을 이용한 뇌동맥류 예측 장치 및 뇌동맥류 예측 결과 제공 방법
WO2022186594A1 (ko) 의료 영상 기반의 병변 분석 방법
WO2023017901A1 (ko) 유방암 위험도 평가 시스템 및 방법
US20210176443A1 (en) Context-Sensitive White Balancing for Surgical Microscopes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20922546

Country of ref document: EP

Kind code of ref document: A1

WA Withdrawal of international application
NENP Non-entry into the national phase

Ref country code: DE