WO2020139009A1 - 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법 - Google Patents

뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법 Download PDF

Info

Publication number
WO2020139009A1
WO2020139009A1 PCT/KR2019/018586 KR2019018586W WO2020139009A1 WO 2020139009 A1 WO2020139009 A1 WO 2020139009A1 KR 2019018586 W KR2019018586 W KR 2019018586W WO 2020139009 A1 WO2020139009 A1 WO 2020139009A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning model
learning
frame
characteristic
spatial
Prior art date
Application number
PCT/KR2019/018586
Other languages
English (en)
French (fr)
Inventor
김원태
강신욱
이명재
김동민
장진성
Original Assignee
(주)제이엘케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제이엘케이 filed Critical (주)제이엘케이
Priority to JP2021538436A priority Critical patent/JP2022516146A/ja
Priority to US17/418,914 priority patent/US20220122729A1/en
Publication of WO2020139009A1 publication Critical patent/WO2020139009A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present disclosure relates to a deep learning model learning technique, and more particularly, to a method and apparatus for learning and detecting cerebrovascular disease using an image of a body region based on image information analysis.
  • Deep learning is to learn a very large amount of data and, when new data is input, select the answer with the highest probability based on the learning result. Since deep learning can operate adaptively according to an image and automatically finds characteristic factors in the process of learning a model based on data, recent attempts to utilize it in the field of artificial intelligence are increasing.
  • a conventional image analysis technique using deep learning uses a convolutional neural network (CNN) and a maximum pooling technique to extract local features for each region of the image and use it. Based on the video recognition.
  • CNN convolutional neural network
  • this method has a problem in that the contents of the actual image are different, but the accurate recognition result is not provided for the image having a similar local information type.
  • MRA 2D or 3D magnetic resonance angiography
  • a user eg, a doctor or an image reader
  • Many operations are required, such as changing the projection position of the image or performing enlargement or reduction.
  • diagnosis or prognosis of cerebrovascular disease is performed based on manipulation of a user (eg, a doctor or an image reader), diagnosis takes a long time, and the deviation of the diagnosis result is more dependent on the skill of the medical staff. It can appear large.
  • the technical problem of the present disclosure is a method and apparatus for minimizing manipulation by a user (eg, a doctor or an image reader) and quickly and accurately detecting an area requiring diagnosis or prognosis of cerebrovascular disease or an area where cerebrovascular disease has occurred. It is about.
  • Another technical task of the present disclosure is directed to a learning method and apparatus for quickly and accurately detecting an area required for diagnosis of cerebrovascular disease or an area in which cerebrovascular disease has occurred.
  • Another technical problem of the present disclosure relates to a method and apparatus for accurately learning an area required for diagnosis of cerebrovascular disease or an area in which cerebrovascular disease occurs using MRA.
  • Another technical problem of the present disclosure relates to a method and apparatus capable of accurately detecting an area required for diagnosis of cerebrovascular disease or an area in which cerebrovascular disease has occurred by only inputting MRA.
  • an apparatus for learning cerebrovascular disease receives a 3D TOF MRA (3D Time-of-flight magnetic resonance angiography), a MIP MRA component configured to construct a maximum intensity projection magnetic resonance angiography (MIP MRA) including a plurality of image frames, and a CNN (Convolutional) Neural Networks) Construct a spatial characteristics learning model based on a learning method, wherein the spatial characteristics learning model is a spatial characteristics learning unit that learns spatial characteristics for each of the plurality of image frames, and receives the spatial characteristics and receives RNN (Recurrent Neural Networks).
  • 3D TOF MRA 3D Time-of-flight magnetic resonance angiography
  • MIP MRA maximum intensity projection magnetic resonance angiography
  • CNN Convolutional Neural Networks
  • the frame characteristic learning model is a frame characteristic learning unit that learns a frame characteristic representing characteristics between a plurality of image frames, and receives the frame characteristic and receives the CNN learning method.
  • the lesion characteristic learning model may include a lesion characteristic learning unit for learning lesion characteristics for each of the plurality of image frames.
  • an apparatus for detecting cerebrovascular disease may be provided.
  • the device receives a 3D TOF MRA (3D Time-of-flight magnetic resonance angiography), a MIP MRA component configured to construct a maximum intensity projection magnetic resonance angiography (MIP MRA) including a plurality of image frames, and a CNN (Convolutional) Neural Networks) based on a learning method, a spatial characteristic learning model constructed by learning spatial characteristics for each of the plurality of image frames is provided, and spatial characteristics for each of the plurality of image frames are obtained through the spatial characteristic learning model.
  • 3D TOF MRA 3D Time-of-flight magnetic resonance angiography
  • MIP MRA maximum intensity projection magnetic resonance angiography
  • CNN Convolutional Neural Networks
  • It has a spatial characteristic detection unit for detecting, and a frame characteristic learning model constructed by learning frame characteristics corresponding to the spatial characteristics based on a Recurrent Neural Networks (RNN) learning method, and through the frame characteristic learning model,
  • It may include a lesion characteristic detection unit for detecting the lesion characteristics for each frame.
  • a method for learning cerebrovascular disease may be provided.
  • the method receives 3D TOF MRA (3D Time-of-flight magnetic resonance angiography), constructs MIP MRA (Maximum intensity projection magnetic resonance angiography) including a plurality of image frames, and CNN (Convolutional Neural Networks)
  • MIP MRA Maximum intensity projection magnetic resonance angiography
  • CNN Convolutional Neural Networks
  • a spatial characteristic learning model based on a learning method is constructed, wherein the spatial characteristic learning model is based on a process of learning spatial characteristics for each of the plurality of image frames, and receiving the spatial characteristics and receiving the spatial characteristics based on a RNN (Recurrent Neural Networks) learning method.
  • RNN Recurrent Neural Networks
  • a frame characteristic learning model is constructed, wherein the frame characteristic learning model is a process of learning frame characteristics representing characteristics between a plurality of image frames, and receiving the frame characteristics and constructing a lesion characteristic learning model based on the CNN learning method.
  • the lesion characteristic learning model may include learning a lesion characteristic for each of the plurality of image frames.
  • a method for detecting cerebrovascular disease may be provided.
  • the method receives a 3D TOF MRA (3D Time-of-flight magnetic resonance angiography) and constructs a MIP MRA (Maximum intensity projection magnetic resonance angiography) including a plurality of image frames,
  • a spatial characteristic learning model detects spatial characteristics for each of the plurality of image frames, wherein the spatial characteristic learning model is based on a CNN (Convolutional Neural Networks) learning method, learning spatial characteristics for each of the plurality of image frames.
  • CNN Convolutional Neural Networks
  • the frame characteristic is detected through a frame characteristic learning model, and the frame characteristic learning model is a learning model constructed through learning of frame characteristics corresponding to the spatial characteristics, based on a RNN (Recurrent Neural Networks) learning method. And the process of
  • a lesion characteristic for each of the plurality of image frames is detected through a lesion characteristic learning model, wherein the lesion characteristic learning model is a learning model constructed through learning of lesion characteristics corresponding to the frame characteristics based on the CNN learning method. It may include a process characterized in that the.
  • a method and apparatus for minimizing manipulation of a user eg, a doctor or an image reader
  • quickly and accurately detecting an area requiring diagnosis or prognosis of cerebrovascular disease or an area where cerebrovascular disease has occurred can be provided.
  • a method and apparatus for quickly and accurately learning a region required for diagnosis of cerebrovascular disease or a region in which cerebrovascular disease has occurred can be provided.
  • a method and apparatus for accurately learning an area required for diagnosis of cerebrovascular disease or an area in which cerebrovascular disease has occurred can be provided using MRA.
  • a method and apparatus capable of accurately detecting an area required for diagnosis of cerebrovascular disease or an area in which cerebrovascular disease has occurred can be provided only by input of MRA.
  • FIG. 1 is a block diagram showing the configuration of a cerebrovascular disease learning apparatus according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating 3D TOF MRA and MIP MRA used in a cerebrovascular disease learning apparatus according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating a detailed configuration of a spatial characteristic learning unit provided in the cerebrovascular disease learning apparatus according to an embodiment of the present disclosure.
  • FIG. 4 is a block diagram showing the configuration of a spatial characteristic learning model provided in a device for learning cerebrovascular disease according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating a process of generating and analyzing context information of an image according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining an embodiment of a multi-product neural network generating a multi-channel feature map.
  • FIG. 7 is a view for explaining an embodiment of a pooling technique.
  • FIG. 8 is a diagram illustrating a detailed configuration of a frame characteristic learning unit provided in the cerebrovascular disease learning apparatus according to an embodiment of the present disclosure.
  • FIG. 9 is a block diagram showing the configuration of a device for detecting cerebrovascular disease according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating a sequence of a method for learning cerebrovascular disease according to an embodiment of the present disclosure.
  • FIG. 11 is a flowchart illustrating a sequence of a method for detecting cerebrovascular disease according to an embodiment of the present disclosure.
  • FIG. 12 is a block diagram illustrating a computing system that executes a method for learning cerebrovascular disease and a method for detecting cerebrovascular disease according to an embodiment of the present disclosure.
  • first and second are used only for the purpose of distinguishing one component from other components, and do not limit the order, importance, or the like between components unless otherwise specified. Accordingly, within the scope of the present disclosure, the first component in one embodiment may be referred to as a second component in another embodiment, and likewise the second component in one embodiment may be the first component in another embodiment It can also be called.
  • components that are distinguished from each other are for clarity of each feature, and do not mean components are separated. That is, a plurality of components may be integrated to be composed of one hardware or software unit, or one component may be distributed to be composed of a plurality of hardware or software units. Accordingly, such integrated or distributed embodiments are included in the scope of the present disclosure, unless otherwise stated.
  • components described in various embodiments are not necessarily essential components, and some may be optional components. Accordingly, an embodiment consisting of a subset of components described in one embodiment is also included in the scope of the present disclosure. Also, embodiments including other elements in addition to the elements described in various embodiments are included in the scope of the present disclosure.
  • FIG. 1 is a block diagram showing the configuration of a cerebrovascular disease learning apparatus according to an embodiment of the present disclosure.
  • the cerebrovascular disease learning apparatus 10 includes a MIP MRA component 11, a spatial characteristic learning unit 12, a frame characteristic learning unit 14, and a lesion characteristic learning unit 16. Can.
  • the MIP MRA configuration unit 11 may receive a 3D Time-of-flight Magnetic Resonance Angiography (TOF MRA) and configure Maximum Intensity Projection Magnetic Resonance Angiography (MIP MRA).
  • TOF MRA Time-of-flight Magnetic Resonance Angiography
  • MIP MRA Maximum Intensity Projection Magnetic Resonance Angiography
  • the 3D TOF MRA may be a 3D-type MRA obtained by strongly measuring a signal in a region where blood vessels are present in the brain region, and the MIP MRA may acquire an image frame obtained by projecting a 3D TOF MRA in various directions. It may be video data constructed by combining time series.
  • the MIP MRA configuration unit 11 may check a predetermined projection location, and obtain an image frame corresponding to the identified projection location.
  • the MIP MRA configuration unit 11 may configure video data by combining a plurality of image frames obtained through the above-described operations in time series based on a predetermined time unit.
  • At least one projection location may be set around a 3D TOF MRA 210 constructed by stacking a plurality of 2D MRA images 200, and the MIP MRA component 11
  • the first image frame F1 may be configured by acquiring at the first projection location P1
  • the second image frame F2 may be constructed by acquiring at the second projection location P2.
  • the MIP MRA configuration unit 11 may repeatedly perform this operation to acquire n image frames Fn corresponding to n projection positions Pn.
  • the MIP MRA configuration unit 11 arranges n image frames Fn according to a predetermined location, and arranges and combines a plurality of aligned image frames every predetermined time unit (10 ms) to form a MIP MRA in the form of video data. Can be configured.
  • the MIP MRA may include information on projection positions P1, P2, ... Pn corresponding to the image frames F1, F2, ... Fn, and time or arrangement order.
  • the spatial characteristic learning unit 12 may construct a spatial characteristic learning model 13 by performing learning on each of the image frames F1, F2, ... Fn included in the MIP MRA, and preferably CNN (Convolutional) Neural Networks)
  • a spatial characteristic learning model 13 can be constructed based on a learning method.
  • Information about can be considered.
  • the spatial characteristics learning model 13 may be provided with a CNN corresponding to the number of image frames F1, F2, ... Fn included in the MIP MRA, and the spatial characteristics learning unit 12 may include a first image.
  • the frame F1 may be delivered as an input of the first CNN, the second image frame F2 as an input of the second CNN, and the n-th image frame Fn as an input of the n-CNN. have.
  • the plurality of CNNs provided in the spatial characteristic learning model 13 may output a plurality of spatial characteristics corresponding to each of the plurality of image frames F1, F2, ... Fn, and the spatial characteristic learning unit (12) may be configured with sequential data by sequentially arranging the plurality of spatial characteristics described above.
  • the spatial characteristic learning unit 12 is serialized in consideration of projection positions P1, P2, ... Pn corresponding to the image frames F1, F2, ... Fn, and information on time or arrangement order. (Sequential) Data can be configured.
  • the frame characteristic learning unit 14 may receive a plurality of spatial characteristics composed of serialized data and perform learning to detect characteristics (ie, frame characteristics) of a relationship between image frames.
  • the frame characteristic learning unit 14 may construct a frame characteristic learning model 15 based on a Recurrent Neural Nerwork (RNN) learning method.
  • RNN Recurrent Neural Nerwork
  • the lesion characteristic learning unit 16 may learn lesion information corresponding to each of the plurality of image frames F1, F2, ... Fn. To this end, the frame characteristic learning unit 14 may construct parallel data by reconstructing a frame characteristic composed of sequential data.
  • the lesion characteristic learning unit 16 may construct the lesion characteristic learning model 17 using the frame characteristics provided by the frame characteristic learning unit 14.
  • the lesion characteristic learning model 17 may be a learning model based on a CNN learning method, and may have as many CNNs as corresponding to the number of image frames F1, F2, ... Fn included in the MIP MRA. Then, the lesion characteristic learning unit 16 transmits the first frame characteristic corresponding to the first image frame F1 as an input of the first CNN, and removes the first frame characteristic corresponding to the second image frame F2. It can be configured to transmit to the input of the 2 CNN, and to transmit the n-th frame characteristics corresponding to the n-th image frame (Fn) to the input of the n-th CNN.
  • the plurality of CNNs provided in the spatial characteristic learning model 13 may have a pooling structure that reduces the size of the information extraction domain, and the plurality of CNNs provided in the lesion characteristic learning model 17 may be characterized maps.
  • An upsampling structure for increasing the domain size of (feature map) may be provided.
  • the plurality of CNNs provided in the spatial characteristic learning model 13 and the lesion characteristic learning model 17 each have 2 3x3 synthetic products.
  • the spatial characteristic learning model 13 may have a 2 ⁇ 2 max-pooling operation structure
  • the lesion characteristic learning model 17 may have a structure that doubles length and width by bilinear interpolation. .
  • the size and number of composite products provided in the spatial characteristic learning model 13 and the lesion characteristic learning model 17 and the pooling structure provided in the spatial characteristic learning model 13 are illustrated, the present disclosure is not limited to this, and may be variously changed.
  • FIG. 3 is a diagram illustrating a detailed configuration of a spatial characteristic learning unit provided in the cerebrovascular disease learning apparatus according to an embodiment of the present disclosure.
  • the spatial characteristic learning unit 30 may include a spatial characteristic learning model 31 having a plurality of CNNs 31-1, 31-2, and 31-n.
  • the number may be set to correspond to the number of image frames (F1, F2, ... Fn) included in the MIP MRA.
  • the spatial characteristic learning unit 30 may provide the image frames F1, F2, ... Fn included in the MIP MRA to input of multiple CNNs 31-1, 31-2, and 31-n, respectively. .
  • the spatial characteristic learning unit 30 takes into account the information about the projection positions P1, P2, ... Pn and the time or arrangement order corresponding to the image frames F1, F2, ... Fn, and Frames F1, F2, ... Fn may be provided to a plurality of CNNs 31-1, 31-2, and 31-n.
  • the spatial characteristic learning unit 31 transmits the first image frame F1 as an input of the first CNN 31-1, and inputs the second image frame F2 of the second CNN 31-2. It can be configured to deliver, and transmit the nth image frame (Fn) to the input of the nth CNN (31-n).
  • the spatial characteristic learning unit 30 may include a serialization processing unit 33, and the serialization processing unit 33 may include a plurality of spatial characteristics output through a plurality of CNNs 31-1, 31-2, and 31-n. (310-1, 310-2, 310-n) can be serialized.
  • the serialization processing unit 33 serializes a plurality of spatial characteristics 310-1, 310-2, and 310-n in consideration of projection positions P1, P2, ... Pn, and information about time or arrangement order. It is preferred.
  • FIG. 4 is a block diagram showing the configuration of a spatial characteristic learning model provided in a device for learning cerebrovascular disease according to an embodiment of the present disclosure.
  • the spatial characteristic learning model 40 may include a feature extraction unit 41, a context generation unit 42, and a feature and context analysis unit 43.
  • the spatial characteristic learning model 40 may extract characteristics of an analysis target image, generate context information based on the extracted characteristics, and analyze an analysis target image based on the extracted characteristics and the generated context information. For example, the spatial characteristic learning model 40 may classify an image or find a location of an object of interest by using extracted features and generated context information.
  • the feature extraction unit 41 may analyze the input image to extract features of the image.
  • the feature may be a local feature for each region of the image.
  • the feature extraction unit 41 may extract characteristics of an input image using a general convolutional neural network (CNN) technique or a pooling technique.
  • the pooling technique may include at least one of a max (max) pooling technique and an average pooling technique.
  • the pooling technique referred to in the present disclosure is not limited to the Max pooling technique or the average pooling technique, and includes any technique for obtaining a representative value of an image region of a predetermined size.
  • the representative value used in the pooling technique may be at least one of a variance value, a standard deviation value, a mean value, a most frequent value, a minimum value, and a weighted average value, in addition to the maximum value and the average value.
  • the convolutional neural network of the present disclosure can be used to extract “features” such as borders, line colors, and the like from input data (images), and may include a plurality of layers. Each layer may receive input data and process input data of the corresponding layer to generate output data.
  • the convolutional neural network may output a feature map generated by convolution of an input image or an input feature map with filter kernels as output data.
  • the initial layers of the convolutional neural network can be operated to extract low level features such as edges or gradients from the input.
  • the next layers of the neural network can extract progressively more complex features, such as the eyes and nose. The specific operation of the convolutional neural network will be described later with reference to FIG. 5.
  • the convolutional neural network may include a pooling layer in which a pooling operation is performed in addition to a convolutional layer in which a convolution operation is performed.
  • the pooling technique is a technique used to reduce the spatial size of data in the pooling layer.
  • the pooling technique includes a max pooling technique that selects a maximum value in a corresponding region and an average pooling technique that selects an average value in a corresponding region.
  • a max pooling technique is generally used. do.
  • the pooling window size and spacing are generally set to the same value.
  • a stride means adjusting an interval to move when applying a filter to input data, that is, an interval to move a filter, and stride can also be used to adjust the size of output data.
  • stride can also be used to adjust the size of output data.
  • the feature extraction unit 41 is pre-processing for extracting features of an analysis target image, and filtering may be applied to the analysis target image.
  • the filtering may be a Fast Fourier Transform (FFT), histogram equalization, motion artifact removal, or noise removal.
  • FFT Fast Fourier Transform
  • the filtering of the present disclosure is not limited to the above-listed methods, and may include all types of filtering capable of improving the image quality.
  • the context generation unit 42 may generate context information of an input image (analysis target image) using features of the input image extracted from the feature extraction unit 41.
  • the context information may be a representative value representing all or part of an image to be analyzed.
  • the context information may be global context information of the input image.
  • the context generation unit 42 may generate context information by applying a convolutional neural network technique or a pooling technique to features extracted from the feature extraction unit 41.
  • the pooling technique may be, for example, an average pooling technique.
  • the feature and context analysis unit 43 may analyze an image based on the feature extracted by the feature extraction unit 41 and the context information generated by the context generation unit 42.
  • the feature and context analysis unit 43 according to an embodiment concatenates the local features of each region of the image extracted by the feature extraction unit 41 and the global context reconstructed by the context generation unit 42. It can be used together to classify the input image or to find the location of the object of interest included in the input image. Since information at a specific 2D position in the input image includes not only local feature information but also global context information, the feature and context analysis unit 43 uses these information, so that the actual content is different but local feature information. It is possible to more accurately recognize or classify similar input images.
  • the invention according to an embodiment of the present disclosure enables more accurate and efficient learning and image analysis by using global context information as well as local features used by general convolutional neural network techniques. do.
  • the invention according to the present disclosure may be referred to as'deep neural network through context analysis'.
  • FIG. 5 is a diagram illustrating a process of generating and analyzing context information of an image according to an embodiment of the present disclosure.
  • the feature extraction unit 41 may extract a feature from the input image 501 using the input image 501 and generate a feature image 502 including the extracted feature information.
  • the extracted feature may be a feature for a local area of the input image.
  • the input image 501 may include an input image of an image analysis device or a feature map at each layer in a convolutional neural network model.
  • the feature image 502 may include a feature map and/or feature vector obtained by applying a convolutional neural network technique and/or a pooling technique to the input image 501.
  • the context generator 42 may generate context information by applying a convolutional neural network technique and/or a pooling technique to the feature image 502 extracted from the feature extractor 41.
  • the context generating unit 42 may generate context information of various scales such as an entire image, a quadrant area, and a 9-section area by variously adjusting a pooling distance. Referring to FIG. 4, an entire context information image 511 including context information for an image of a full size image, and a quadrant context information image including context information for a quarter image having a size that is divided into four parts of the entire image ( 512) and a 9-part contextual information image 513 including contextual information for a 9-part image having a size that is divided into 9 parts.
  • the feature and context analysis unit 43 may more accurately perform analysis on a specific region of an analysis target image by using both the feature image 502 and the context information images 411, 412, and 413.
  • the context generation unit 42 can more accurately identify and classify objects by generating context information 511, 512, or 513 based on the analysis target image or the feature image 502. Can.
  • context information for the entire image, context information for the quarter image, and context information for the ninth image are described, but the size of the image for extracting the context information is It is not limited to this.
  • context information for an image having a size other than the above-described image may be generated and utilized.
  • FIG. 6 is a diagram for explaining an embodiment of a multi-product neural network generating a multi-channel feature map.
  • the image processing based on the convolutional neural network can be used in various fields.
  • an image processing apparatus for object recognition of an image an image processing apparatus for image reconstruction, an image processing apparatus for semantic segmentation, and image processing for scene recognition It can be used for devices and the like.
  • the input image 610 may be processed through the convolutional neural network 600 to output a feature map image.
  • the outputted feature map image can be used in various fields described above.
  • the convolutional neural network 600 may be processed through a plurality of layers 620, 630, and 640, and each layer may output multi-channel feature map images 625 and 635.
  • the plurality of layers 620, 630, and 640 may extract characteristics of an image by applying a filter having a constant size from the upper left to the lower right of the received data.
  • the plurality of layers 620, 630, and 640 multiply the upper left N ⁇ M pixel of the input data by a weight and map it to a neuron at the upper left of the feature map.
  • the multiplied weight will also be N ⁇ M.
  • the N ⁇ M may be, for example, 3 ⁇ 3, but is not limited thereto.
  • the plurality of layers 620, 630, and 640 scan input data from left to right and from top to bottom by multiplying the weights by k cells to map to the neurons of the feature map.
  • the k column means a distance to move the filter when performing the multiplication, and may be appropriately set to adjust the size of the output data. For example, k may be 1.
  • the N ⁇ M weight is called a filter or filter kernel. That is, the process of applying a filter in a plurality of layers (620, 630, 640) is a process of performing a convolution operation with the filter kernel, and as a result, the extracted result is a "feature map" or "feature. It is called "map image".
  • the layer on which the convolution operation has been performed may be referred to as a convolutional layer.
  • multi-channel feature map means a set of feature maps corresponding to a plurality of channels, and may be, for example, a plurality of image data.
  • the multi-channel feature maps may be input from any layer of the convolutional neural network, or may be output according to the result of feature map operations such as convolution operation.
  • the multi-channel feature maps 625, 635 are generated by a plurality of layers 620, 630, 640, also called “feature extraction layers” or “convolutional layers” of the convolutional neural network. do. Each layer can sequentially receive the multi-channel feature maps generated in the previous layer and generate the next multi-channel feature maps as output.
  • feature maps 625 having 1 channel K1 are outputs according to the feature map operation 620 in layer 1 for the input image 610, and also feature map operation 530 in layer 2 ). Also, the feature maps 635 having two channels K2 are outputs according to the feature map operation 530 in the layer 2 for the input feature maps 625, and the feature map operation in the layer 3 (not shown) It becomes the input for.
  • the multi-channel feature maps 625 generated in the first layer 620 include feature maps corresponding to K1 (K1 is an integer) channels.
  • the multi-channel feature maps 635 generated in the second layer 630 include feature maps corresponding to K2 (K2 is an integer) channels.
  • K1 and K2 indicating the number of channels may correspond to the number of filter kernels used in the first layer 620 and the second layer 630, respectively. That is, the number of multi-channel feature maps generated in the M (M is an integer of 1 or more and L-1 or less) layer may be the same as the number of filter kernels used in the M-th layer.
  • FIG. 7 is a view for explaining an embodiment of a pooling technique.
  • the window size of the pooling is 2 ⁇ 2, and the stride is 2, and Max pooling may be applied to the input image 710 to generate the output image 790.
  • a 2 ⁇ 2 window 710 is applied to the upper left of the input image 710, and a representative value (here, maximum value 4) among the values in the window 710 area is calculated to output the image 790 ) To the corresponding location 720.
  • the window is moved by stride, that is, by 2, and a maximum value 3 of values in the window 730 area is input to a corresponding position 740 of the output image 790.
  • the process is repeated from the position below the stride from the left of the input image. That is, as illustrated in FIG. 7C, the maximum value 5 of the values in the window 750 area is input to the corresponding position 760 of the output image 790.
  • the window is moved as much as the stride, and the maximum value 2 of the values in the window 770 area is input to the corresponding position 780 of the output image 790.
  • the above process may be repeatedly performed until a window is positioned in the lower right area of the input image 710, thereby generating an output image 790 that applies pooling to the input image 710.
  • the deep learning based model of the present disclosure includes a fully convolutional neural network, a fully convolutional neural network, a convolutional neural network, and a recurrent neural network. ), a restricted Boltzmann machine (RBM) and a deep belief neural network (DBN).
  • RBM restricted Boltzmann machine
  • DNN deep belief neural network
  • a machine learning method other than deep learning may also be included.
  • a hybrid model that combines deep learning and machine learning may be included. For example, by applying a model based on deep learning to extract features of an image, when classifying or recognizing images based on the extracted feature, a model based on machine learning may be applied. Models based on machine learning may include, but are not limited to, Support Vector Machines (SVM), AdaBoost, and the like.
  • SVM Support Vector Machines
  • AdaBoost AdaBoost
  • the CNN structure used in the spatial characteristic learning model is illustrated in FIGS. 4 to 7 described above.
  • the lesion learning model may also have the CNN structure described above with reference to FIGS. 4 to 7.
  • the spatial characteristics learning model is configured to process the compression of spatial characteristics through a pooling structure after extracting the spatial characteristics.
  • the lesion learning model processes upsampling through interpolation for the input characteristics.
  • It may be configured to have a structure for detecting the characteristics (eg, lesion characteristics) for the input information.
  • FIG. 8 is a diagram illustrating a detailed configuration of a frame characteristic learning unit provided in the cerebrovascular disease learning apparatus according to an embodiment of the present disclosure.
  • the frame characteristic learning unit 80 may include a frame characteristic learning model 81 based on the RNN method.
  • the characteristic learning model 81 includes image frames F1 and F2 included in the MIP MRA. ... It is possible to sequentially receive spatial characteristic information corresponding to Fn), and detect characteristics between the spatial characteristic information.
  • Cyclic neural network is a deep learning technique that considers both current and past data simultaneously.
  • Cyclic neural network represents a neural network in which connections between units constituting an artificial neural network constitute a directed cycle.
  • various schemes may be used for a structure capable of constructing a circulating neural network (RNN), for example, a Fully Recurrent Network, a Hopfield Network, an Elman Network, or an ESN (Echo) Typical examples are state network (LSTM), long short term memory network (LSTM), bi-directional RNN, continuous-time RNN (CTRNN), hierarchical RNN, and secondary RNN.
  • LSTM state network
  • LSTM long short term memory network
  • CRNN continuous-time RNN
  • secondary RNN secondary RNN.
  • a method for learning a cyclic neural network a method such as a gradient descent method, a Hessian Free Optimization, and a Global Optimization Method can be used.
  • the frame characteristic learning unit 80 since the spatial characteristic information is information extracted from the image frames F1, F2, ... Fn included in the MIP MRA, the frame characteristic learning unit 80 includes image frames F1, F2,. .. Fn) temporal information can be checked, and based on the identified temporal information, frame characteristic learning for spatial characteristic information may be processed.
  • the frame characteristic learning model 81 learns frame characteristics for spatial characteristic information of the image frames F1, F2, ... Fn included in the MIP MRA, so the image frames F1, F2,. .. frame characteristics 800-1, 800-2, 800-n corresponding to Fn) may be output, respectively.
  • spatial characteristic information may be sequentially input to the frame characteristic learning model 81, and the frame characteristic learning model 81 may sequentially output frame characteristics 800-1, 800-2, and 800-n. have.
  • the CNN-based lesion characteristic learning unit may be configured to output lesion information for units of image frames (F1, F2, ... Fn) included in the MIP MRA
  • the frame characteristic learning unit 80 sequentially outputs frames
  • a parallelization processing unit 83 that transfers the characteristics 800-1, 800-2, and 800-n to the characteristic learning unit may be further included.
  • FIG. 9 is a block diagram showing the configuration of a device for detecting cerebrovascular disease according to an embodiment of the present disclosure.
  • the cerebrovascular disease detection device 90 may include a MIP MRA configuration unit 91, a spatial characteristic detection unit 92, a frame characteristic detection unit 94, and a lesion characteristic detection unit 96.
  • the MIP MRA component 91 may receive a 3D time-of-flight magnetic resonance angiography (TOF MRA) and configure a maximum intensity projection magnetic resonance angiography (MIP MRA).
  • TOF MRA time-of-flight magnetic resonance angiography
  • MIP MRA maximum intensity projection magnetic resonance angiography
  • the 3D TOF MRA may be a 3D-type MRA obtained by strongly measuring a signal in a region where blood vessels are present in the brain region, and the MIP MRA may acquire an image frame obtained by projecting a 3D TOF MRA in various directions. It may be video data constructed by combining time series.
  • the MIP MRA component 91 may check a predetermined projection location, and obtain an image frame corresponding to the identified projection location.
  • the MIP MRA configuration unit 91 may configure video data by combining a plurality of image frames obtained through the above-described operations in time series based on a predetermined time unit.
  • At least one projection location may be set around a 3D TOF MRA 210 constructed by stacking a plurality of 2D MRA images 200, and the MIP MRA configuration unit 91
  • the first image frame F1 may be configured by acquiring at the first projection location P1
  • the second image frame F2 may be constructed by acquiring at the second projection location P2.
  • the MIP MRA component 91 may repeatedly perform such an operation to obtain n image frames Fn corresponding to n projection positions Pn.
  • the MIP MRA configuration unit 91 sorts n image frames Fn according to a predetermined location, and arranges and combines a plurality of aligned image frames every predetermined time unit (90 ms) to form a MIP MRA of video data. Can be configured.
  • the MIP MRA may include information on projection positions P1, P2, ... Pn corresponding to the image frames F1, F2, ... Fn, and time or arrangement order.
  • the spatial characteristic processing unit 92 may extract spatial characteristics from each of the image frames F1, F2, ... Fn included in the MIP MRA.
  • the spatial characteristic processing unit 92 may include a spatial characteristic learning model 93 corresponding to the spatial characteristic learning model 13 of FIG. 1 described above, and included in the MIP MRA through the spatial characteristic learning model 93. Spatial characteristics can be extracted from each of the image frames F1, F2, ... Fn.
  • the spatial characteristic learning model 93 may be provided with a CNN corresponding to the number of image frames F1, F2, ... Fn included in the MIP MRA, and the spatial characteristic processing unit 92 may include the first image frame. (F1) may be transmitted as the input of the first CNN, the second image frame F2 may be transferred as the input of the second CNN, and the nth image frame Fn may be transmitted as the input of the nth CNN.
  • the plurality of CNNs provided in the spatial characteristic learning model 93 may output a plurality of spatial characteristics corresponding to each of the plurality of image frames F1, F2, ... Fn, and the spatial characteristic processing unit ( 92) may be configured with sequential data by sequentially arranging the plurality of spatial characteristics described above.
  • the spatial characteristic processing unit 92 is serialized in consideration of information on the projection positions P1, P2, ... Pn and the time or arrangement order corresponding to the image frames F1, F2, ... Fn. Sequential) data.
  • the frame characteristic processing unit 94 may receive a plurality of spatial characteristics composed of serialized data, and detect characteristics (ie, frame characteristics) of a relationship between image frames.
  • the frame characteristic processing unit 94 may detect the frame characteristics using the frame characteristic learning model 95 based on a Recurrent Neural Nerwork (RNN) learning method.
  • RNN Recurrent Neural Nerwork
  • the frame characteristic learning model 95 may be the frame characteristic learning model 15 constructed through the frame characteristic learning unit 14 of FIG. 1 described above.
  • the lesion characteristic processing unit 96 may learn lesion information corresponding to each of the plurality of image frames F1, F2, ... Fn.
  • the frame characteristic processing unit 94 may construct parallel data by reconstructing a frame characteristic composed of sequential data.
  • the lesion characteristic processing unit 96 may extract the lesion characteristics from the frame characteristics provided from the frame characteristic processing unit 94.
  • the lesion characteristic processing unit 96 may include a lesion characteristic learning model 97 corresponding to the lesion characteristic learning model 17 constructed through the lesion characteristic learning unit 16 of FIG. 1 described above.
  • the lesion characteristic learning model 97 may be a learning model based on a CNN learning method, and may have as many CNNs as corresponding to the number of image frames F1, F2, ... Fn included in the MIP MRA. Then, the lesion characteristic processing unit 96 transmits the first frame characteristic corresponding to the first image frame F1 as an input of the first CNN, and the first frame characteristic corresponding to the second image frame F2. It may be configured to transmit as an input of the CNN, and transmit an n-th frame characteristic corresponding to the n-th image frame Fn as an input of the n-th CNN.
  • the plurality of CNNs provided in the spatial characteristic learning model 93 may have a pooling structure that reduces the size of the information extraction domain, and the plurality of CNNs provided in the lesion characteristic learning model 97 may be characterized maps.
  • An upsampling structure for increasing the domain size of (feature map) may be provided.
  • the plurality of CNNs provided in the spatial characteristic learning model 93 and the lesion characteristic learning model 97 each have 2 3x3 synthetic products.
  • the spatial characteristic learning model 93 may have a 2 ⁇ 2 max-pooling operation structure
  • the lesion characteristic learning model 97 may have a structure that doubles length and width by bilinear interpolation. .
  • the size and number of composite products provided in the spatial characteristic learning model 93 and the lesion characteristic learning model 97, and the pooling structure provided in the spatial characteristic learning model 93 are illustrated, the present disclosure is not limited to this, and may be variously changed.
  • the detailed structures of the spatial characteristics learning model 93 and the lesion characteristics learning model 97 refer to the structures of the spatial characteristics learning model and the lesion characteristics learning model illustrated in FIGS. 4 to 7 described above.
  • the detailed structure of the frame characteristic learning model 95 refers to the structure of the frame characteristic learning model illustrated in FIG. 8 described above.
  • FIG. 10 is a flowchart illustrating a sequence of a method for learning cerebrovascular disease according to an embodiment of the present disclosure.
  • the cerebrovascular disease learning method according to an embodiment of the present disclosure may be performed by the cerebrovascular disease learning device according to an embodiment of the present disclosure described above.
  • the cerebrovascular disease learning apparatus may receive 3D time-of-flight magnetic resonance angiography (TOF MRA) and configure maximum intensity projection magnetic resonance angiography (MIP MRA) (S1001).
  • TOF MRA time-of-flight magnetic resonance angiography
  • MIP MRA maximum intensity projection magnetic resonance angiography
  • the 3D TOF MRA may be a 3D-type MRA obtained by strongly measuring a signal in a region where blood vessels are present in the brain region, and the MIP MRA may acquire an image frame obtained by projecting a 3D TOF MRA in various directions. It may be video data constructed by combining time series.
  • the cerebrovascular disease learning apparatus may identify a predetermined projection location and obtain an image frame corresponding to the identified projection location.
  • the cerebrovascular disease learning apparatus may construct video data by combining a plurality of image frames obtained through the above-described operations in time series based on a predetermined time unit.
  • At least one projection location may be set around a 3D TOF MRA constructed by stacking a plurality of 2D MRA images, and the cerebrovascular disease learning device acquires at the first projection location (P1) and obtains the first image.
  • the second image frame F2 may be configured by configuring the frame F1 and acquiring at the second projection position P2.
  • the cerebrovascular disease learning apparatus may acquire n image frames Fn corresponding to n projection positions Pn by repeatedly performing such an operation.
  • the cerebrovascular disease learning apparatus arranges n image frames (Fn) according to a predetermined location, and arranges and combines a plurality of aligned image frames every predetermined time unit (10 ms) to construct a MIP MRA in the form of video data. can do.
  • the MIP MRA may include information on projection positions P1, P2, ... Pn corresponding to the image frames F1, F2, ... Fn, and time or arrangement order.
  • the cerebrovascular disease learning device can build a spatial characteristic learning model by performing learning on each of the image frames (F1, F2, ... Fn) included in the MIP MRA, preferably a CNN (Convolutional Neural Networks) learning method Based on this, a spatial characteristic learning model can be constructed (S1002 ).
  • a spatial characteristic learning model can be constructed (S1002 ).
  • the spatial characteristic learning model may be provided with a CNN corresponding to the number of image frames (F1, F2, ... Fn) included in the MIP MRA, and the cerebrovascular disease learning device may use the first image frame (F1). It may be configured to transmit as an input of the first CNN, transmit a second image frame F2 as an input of the second CNN, and transmit an n-th image frame Fn as an input of the n-CNN.
  • the cerebrovascular disease learning apparatus takes into account the information on the projection positions (P1, P2, ... Pn) corresponding to the image frames (F1, F2, ... Fn) and the time or the order of the arrangement, the image frames (F1, F2, ... Fn) can be provided to multiple CNNs.
  • the cerebrovascular disease learning apparatus delivers the first image frame F1 as the input of the first CNN, the second image frame F2 as the input of the second CNN, and the n-th image frame Fn. It can be configured to pass to the input of the n-th CNN.
  • the plurality of CNNs provided in the spatial characteristic learning model each have 2 3x3 composite products.
  • the spatial characteristic learning model may have a 2 ⁇ 2 max-pooling operation structure.
  • the cerebrovascular disease learning apparatus may serialize a plurality of spatial characteristics output through a plurality of CNNs (S1003). It is preferable that the cerebrovascular disease learning apparatus serializes a plurality of spatial characteristics in consideration of projection positions (P1, P2, ... Pn) and information about time or the sequence of arrangement.
  • the cerebrovascular disease learning apparatus may perform learning to receive a plurality of spatial characteristics composed of serialized data and detect characteristics (ie, frame characteristics) of a relationship between image frames (S1004).
  • the cerebrovascular disease learning apparatus may construct a frame characteristic learning model based on a Recurrent Neural Nerwork (RNN) learning method.
  • RNN Recurrent Neural Nerwork
  • Cyclic neural network is a deep learning technique that considers both current and past data simultaneously.
  • Cyclic neural network represents a neural network in which connections between units constituting an artificial neural network constitute a directed cycle.
  • various schemes may be used for a structure capable of constructing a circulating neural network (RNN), for example, a Fully Recurrent Network, a Hopfield Network, an Elman Network, or an ESN (Echo) Typical examples are state network (LSTM), long short term memory network (LSTM), bi-directional RNN, continuous-time RNN (CTRNN), hierarchical RNN, and secondary RNN.
  • LSTM state network
  • LSTM long short term memory network
  • CRNN continuous-time RNN
  • secondary RNN secondary RNN.
  • a method for learning a cyclic neural network a method such as a gradient descent method, a Hessian Free Optimization, and a Global Optimization Method can be used.
  • the cerebrovascular disease learning device is the image frames (F1, F2, ... Fn) included in the MIP MRA, the cerebrovascular disease learning device is the image frames (F1, F2, ... Fn) may be checked for temporal information, and based on the identified temporal information, frame characteristic learning for spatial characteristic information may be processed.
  • the cerebrovascular disease learning apparatus learns frame characteristics for spatial characteristic information of the image frames (F1, F2, ... Fn) included in the MIP MRA, the image frames (F1, F2, ...) included in the MIP MRA Frame characteristics corresponding to Fn) may be respectively output.
  • spatial characteristic information may be sequentially provided to the frame characteristic learning model, and the frame characteristic learning model may sequentially output frame characteristics.
  • the CNN-based lesion characteristic learning unit may be configured to output lesion information for image frame (F1, F2, ... Fn) units included in the MIP MRA, the cerebrovascular disease learning apparatus is sequentially output frames In order to transfer the characteristic to the lesion characteristic learning unit, an operation (S1005) of performing parallelization may be further processed.
  • the cerebrovascular disease learning apparatus may learn lesion information corresponding to each of the plurality of image frames F1, F2, ... Fn (S1006).
  • the cerebrovascular disease learning apparatus may construct a lesion characteristic learning model using frame characteristics.
  • the lesion characteristic learning model may be a learning model based on a CNN learning method, and may have as many CNNs as corresponding to the number of image frames (F1, F2, ... Fn) included in the MIP MRA.
  • the cerebrovascular disease learning apparatus transmits the first frame characteristic corresponding to the first image frame F1 as an input of the first CNN, and the first frame characteristic corresponding to the second image frame F2 to the second CNN. It can be configured to transmit to the input, and to transmit the n-th frame characteristics corresponding to the n-th image frame (Fn) to the input of the n-th CNN.
  • the plurality of CNNs provided in the spatial characteristic learning model is composed of a pooling structure that reduces the size of the information extraction domain
  • information transmitted to the lesion characteristic learning model through the spatial characteristic learning model and the frame characteristic learning model is pooled. It may be information compressed to a predetermined size based on a (Pooling) structure.
  • the lesion characteristic learning model may have an upsampling structure that increases the domain size through interpolation of input information.
  • a plurality of CNNs provided in the lesion characteristic learning model may each have 2 3x3 composite products.
  • the cerebrovascular disease learning apparatus may perform learning to receive 3D Time-of-flight Magnetic Resonance Angiography (MRA) through the above-described method and output lesion information corresponding thereto.
  • MRA Magnetic Resonance Angiography
  • the size and number of composite products provided in the spatial characteristic learning model and the lesion characteristic learning model, the pooling structure provided in the spatial characteristic learning model, the upsampling structure, etc. Although it has been illustrated, the present disclosure is not limited to this, and it can be variously changed.
  • FIG. 11 is a flowchart illustrating a sequence of a method for detecting cerebrovascular disease according to an embodiment of the present disclosure.
  • the method for detecting cerebrovascular disease according to an embodiment of the present disclosure may be performed by the apparatus for detecting cerebrovascular disease according to an embodiment of the present disclosure described above.
  • the cerebrovascular disease detection device may receive 3D Time-of-flight magnetic resonance angiography (TOF MRA) and configure Maximum intensity projection magnetic resonance angiography (MIP MRA) (S1101).
  • TOF MRA Time-of-flight magnetic resonance angiography
  • MIP MRA Maximum intensity projection magnetic resonance angiography
  • the 3D TOF MRA may be a 3D-type MRA obtained by strongly measuring a signal in a region where blood vessels are present in the brain region, and the MIP MRA may acquire an image frame obtained by projecting a 3D TOF MRA in various directions. It may be video data constructed by combining time series.
  • the cerebrovascular disease detection device may identify a predetermined projection location, and obtain an image frame corresponding to the identified projection location.
  • the cerebrovascular disease detection apparatus may configure moving picture data by combining a plurality of image frames obtained through the above-described operations in time series based on a predetermined time unit.
  • At least one projection location may be set around a 3D TOF MRA constructed by stacking a plurality of 2D MRA images, and the cerebrovascular disease detection device acquires at the first projection location (P1) to obtain the first image.
  • the second image frame F2 may be configured by configuring the frame F1 and acquiring at the second projection position P2.
  • the cerebrovascular disease detection apparatus may acquire n image frames Fn corresponding to n projection positions Pn by repeatedly performing such an operation.
  • the cerebrovascular disease detection device arranges n image frames (Fn) according to a predetermined location, and arranges and combines a plurality of aligned image frames every predetermined time unit (10 ms) to form a MIP MRA in the form of video data. can do.
  • the MIP MRA may include information on projection positions P1, P2, ... Pn corresponding to the image frames F1, F2, ... Fn, and time or arrangement order.
  • the cerebrovascular disease detection apparatus may extract spatial characteristics from each of the image frames (F1, F2, ... Fn) included in the MIP MRA (S1102).
  • the cerebrovascular disease detection device may include a spatial characteristic learning model constructed by the aforementioned cerebrovascular disease learning method, and an image frame (F1, F2, ...) included in the MIP MRA through the spatial characteristic learning model.
  • Fn Spatial properties can be extracted from each.
  • the spatial characteristic learning model may be provided with a CNN corresponding to the number of image frames (F1, F2, ... Fn) included in the MIP MRA, and the cerebrovascular disease detection device may use the first image frame (F1).
  • the first CNN may be transmitted as an input
  • the second image frame F2 may be transmitted as an input of the second CNN
  • the nth image frame Fn may be transmitted as an input of the nth CNN.
  • a plurality of CNNs provided in the spatial characteristic learning model each have 2 3x3 composite products.
  • the spatial characteristic learning model may have a 2 ⁇ 2 max-pooling operation structure.
  • the cerebrovascular disease detection apparatus may serialize a plurality of spatial characteristics output through a plurality of CNNs 31-1, 31-2, and 31-n (S1103). It is preferable that the cerebrovascular disease detection device serializes a plurality of spatial characteristics in consideration of projection positions (P1, P2, ... Pn) and information about time or the sequence of arrangement.
  • the apparatus for detecting cerebrovascular disease may receive a plurality of spatial characteristics composed of serialized data, and detect characteristics (ie, frame characteristics) of a relationship between image frames (S1104).
  • the apparatus for detecting cerebrovascular disease may detect frame characteristics using a frame characteristic learning model based on a Recurrent Neural Nerwork (RNN) learning method.
  • the frame characteristic learning model may be a frame characteristic learning model constructed through the above-described cerebrovascular disease learning method.
  • spatial characteristic information may be sequentially provided to the frame characteristic learning model, and the frame characteristic learning model may sequentially output frame characteristics.
  • the CNN-based lesion characteristics learning model may be configured to output lesion information for image frame (F1, F2, ... Fn) units included in the MIP MRA, so the cerebrovascular disease detection device is sequentially output.
  • an operation (S1105) of performing parallelization may be further processed.
  • the cerebrovascular disease detection device may extract lesion characteristics from the frame characteristics (S1106).
  • the cerebrovascular disease detection device may include a lesion characteristic learning model constructed through a cerebrovascular disease learning method.
  • the lesion characteristic learning model may be a learning model based on a CNN learning method, and may have as many CNNs as corresponding to the number of image frames (F1, F2, ... Fn) included in the MIP MRA.
  • the cerebrovascular disease detection device transmits the first frame characteristic corresponding to the first image frame F1 as an input of the first CNN, and the first frame characteristic corresponding to the second image frame F2 to the second CNN. It can be configured to transmit to the input, and to transmit the n-th frame characteristics corresponding to the n-th image frame (Fn) to the input of the n-th CNN.
  • the plurality of CNNs provided in the spatial characteristic learning model is composed of a pooling structure that reduces the size of the information extraction domain
  • information transmitted to the lesion characteristic learning model through the spatial characteristic learning model and the frame characteristic learning model is pooled. It may be information compressed to a predetermined size based on a (Pooling) structure.
  • the lesion characteristic learning model may have an upsampling structure that increases the domain size through interpolation of input information.
  • a plurality of CNNs provided in the lesion characteristic learning model may each have 2 3x3 composite products.
  • the cerebrovascular disease detection apparatus may perform an operation of receiving a 3D time-of-flight magnetic resonance angiography (MRA) through the above-described method, and detecting and outputting lesion information corresponding thereto.
  • MRA magnetic resonance angiography
  • the size and number of composite products provided in the spatial characteristic learning model and the lesion characteristic learning model, the pooling structure provided in the spatial characteristic learning model, the upsampling structure, etc. Although it has been illustrated, the present disclosure is not limited to this, and it can be variously changed.
  • FIG. 12 is a block diagram illustrating a computing system that executes a method for learning cerebrovascular disease and a method for detecting cerebrovascular disease according to an embodiment of the present disclosure.
  • the computing system 1000 includes at least one processor 1100 connected through a bus 1200, a memory 1300, a user interface input device 1400, a user interface output device 1500, and storage 1600, and the network interface 1700.
  • the processor 1100 may be a central processing unit (CPU) or a semiconductor device that executes processing for instructions stored in the memory 1300 and/or storage 1600.
  • the memory 1300 and the storage 1600 may include various types of volatile or nonvolatile storage media.
  • the memory 1300 may include read only memory (ROM) and random access memory (RAM).
  • steps of a method or algorithm described in connection with the embodiments disclosed herein may be directly implemented by hardware, software modules, or a combination of the two, executed by processor 1100.
  • the software modules reside in storage media (ie, memory 1300 and/or storage 1600) such as RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, removable disk, CD-ROM. You may.
  • An exemplary storage medium is coupled to the processor 1100, which can read information from and write information to the storage medium.
  • the storage medium may be integral with the processor 1100.
  • Processors and storage media may reside within an application specific integrated circuit (ASIC).
  • the ASIC may reside in a user terminal.
  • the processor and storage medium may reside as separate components within the user terminal.
  • Exemplary methods of the present disclosure are expressed as a series of operations for clarity of description, but are not intended to limit the order in which the steps are performed, and each step may be performed simultaneously or in a different order if necessary.
  • the steps illustrated may include other steps in addition, other steps may be included in addition to the other steps, or other additional steps may be included in addition to some steps.
  • various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • Universal It can be implemented by a processor (general processor), a controller, a microcontroller, a microprocessor.
  • the scope of the present disclosure includes software or machine-executable instructions (eg, operating systems, applications, firmware, programs, etc.) that cause an operation according to the method of various embodiments to be executed on a device or computer, and such software or Instructions include a non-transitory computer-readable medium that is stored and executable on a device or computer.
  • software or Instructions include a non-transitory computer-readable medium that is stored and executable on a device or computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

본 개시의 일 양상에 따른 뇌혈관 질환 학습 장치가 제공될 수 있다. 상기 뇌혈관 질환 학습 장치는 3D TOF MRA(3D Time-of-flight magnetic resonance angiography)를 입력받고, 복수의 이미지 프레임을 포함하는 MIP MRA(Maximum intensity projection magnetic resonance angiography)를 구성하는 MIP MRA 구성부와, CNN(Convolutional Neural Networks) 학습 방식에 기초한 공간 특성 학습모델을 구축하되, 상기 공간 특성 학습모델은 상기 복수의 이미지 프레임 각각에 대한 공간 특성을 학습하는 공간 특성 학습부와, 상기 공간 특성을 입력받고 RNN(Recurrent Neural Networks) 학습 방식에 기초한 프레임 특성 학습모델을 구축하되, 상기 프레임 특성 학습모델은 복수의 이미지 프레임 사이의 특성을 나타내는 프레임 특성을 학습하는 프레임 특성 학습부와, 상기 프레임 특성을 입력받고 상기 CNN 학습 방식에 기초한 병변 특성 학습모델을 구축하되, 상기 병변 특성 학습모델은 상기 복수의 이미지 프레임 각각에 대한 병변 특성을 학습하는 병변 특성 학습부를 포함할 수 있다.

Description

뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법
본 개시는 딥러닝 모델 학습 기술에 관한 것이며, 보다 구체적으로는 영상 정보 분석을 기반으로 신체 영역을 촬영한 영상을 사용하여 뇌 혈관 질환을 학습 및 검출하는 방법 및 장치에 대한 것이다.
딥러닝(deep learning)은 매우 방대한 양의 데이터를 학습하여, 새로운 데이터가 입력될 경우 학습 결과를 바탕으로 확률적으로 가장 높은 답을 선택하는 것이다. 이러한, 딥러닝은 영상에 따라 적응적으로 동작할 수 있으며, 데이터에 기초하여 모델을 학습하는 과정에서 특성인자를 자동으로 찾아내기 때문에 최근 인공 지능 분야에서 이를 활용하려는 시도가 늘어나고 있는 추세이다.
한편, 영상 인식과 관련하여 딥러닝을 이용한 종래의 영상 분석 기술은 합성곱 신경망(Convolutional Neural Network, CNN)과 최대 풀링(max pooling)기법을 이용하여 영상의 각 영역마다 국소적인 특징을 추출하고 이를 바탕으로 영상을 인식한다. 그러나, 이러한 방법은 실제 영상의 내용은 상이하지만 국소적인 정보 형태가 유사한 영상에 대해서는 정확한 인식 결과를 제공하지 못하는 문제가 있다.
한편, 뇌혈관 질환의 진단, 예후 예측을 위해서는 방대한 영상자료와 환자의 임상정보를 모두 고려하여야 하므로, 그 진단을 위한 시간이 많이 소요될 뿐만 아니라 의료진의 숙련도에 따라서도 그 진단 결과에 편차가 클 수 있다.
특히, 뇌혈관 질환의 진단, 예후 예측을 확인하기 위하여, 일반적으로 2D 또는 3D 형태의 MRA(agnetic resonance angiography)가 많이 사용되고 있으나, 사용자(예, 의사 또는 영상 판독자)가 MRA를 분석하기 위하여 표시되는 영상의 프로젝션 위치를 변경하거나, 확대 또는 축소를 수행하는 등 많은 조작이 요구된다.
이와 같이, 사용자(예, 의사 또는 영상 판독자)의 조작을 기반으로 뇌혈관 질환의 진단이나 예후 예측이 이루어지므로, 진단에 많은 시간이 소요될 뿐만 아니라 의료진의 숙련도에 따라서도 그 진단 결과의 편차가 더욱 크게 나타날 수 있다.
본 개시의 기술적 과제는 사용자(예, 의사 또는 영상 판독자)의 조작을 최소화하고 뇌혈관 질환의 진단이나 예후 예측이 요구되는 영역 또는 뇌혈관 질환이 발생된 영역을 빠르고 정확하게 검출할 수 있는 방법 및 장치에 대한 것이다.
본 개시의 다른 기술적 과제는 빠르고 정확하게 뇌혈관 질환의 진단에 요구되는 영역 또는 뇌혈관 질환이 발생된 영역을 검출하는 학습 방법 및 장치에 대한 것이다.
본 개시의 또 다른 기술적 과제는 MRA를 사용하여 뇌혈관 질환의 진단에 요구되는 영역 또는 뇌혈관 질환이 발생된 영역을 정확하게 학습할 수 있는 방법 및 장치에 대한 것이다.
본 개시의 또 다른 기술적 과제는 MRA의 입력만으로 뇌혈관 질환의 진단에 요구되는 영역 또는 뇌혈관 질환이 발생된 영역을 정확하게 검출할 수 있는 방법 및 장치에 대한 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면, 뇌혈관 질환 학습 장치가 제공될 수 있다. 상기 장치는 3D TOF MRA(3D Time-of-flight magnetic resonance angiography)를 입력받고, 복수의 이미지 프레임을 포함하는 MIP MRA(Maximum intensity projection magnetic resonance angiography)를 구성하는 MIP MRA 구성부와, CNN(Convolutional Neural Networks) 학습 방식에 기초한 공간 특성 학습모델을 구축하되, 상기 공간 특성 학습모델은 상기 복수의 이미지 프레임 각각에 대한 공간 특성을 학습하는 공간 특성 학습부와, 상기 공간 특성을 입력받고 RNN(Recurrent Neural Networks) 학습 방식에 기초한 프레임 특성 학습모델을 구축하되, 상기 프레임 특성 학습모델은 복수의 이미지 프레임 사이의 특성을 나타내는 프레임 특성을 학습하는 프레임 특성 학습부와, 상기 프레임 특성을 입력받고 상기 CNN 학습 방식에 기초한 병변 특성 학습모델을 구축하되, 상기 병변 특성 학습모델은 상기 복수의 이미지 프레임 각각에 대한 병변 특성을 학습하는 병변 특성 학습부를 포함할 수 있다.
본 개시의 다른 양상에 따르면, 뇌혈관 질환 검출 장치가 제공될 수 있다. 상기 장치는 3D TOF MRA(3D Time-of-flight magnetic resonance angiography)를 입력받고, 복수의 이미지 프레임을 포함하는 MIP MRA(Maximum intensity projection magnetic resonance angiography)를 구성하는 MIP MRA 구성부와, CNN(Convolutional Neural Networks) 학습 방식에 기초하여, 상기 복수의 이미지 프레임 각각에 대한 공간 특성의 학습을 통해 구축된 공간 특성 학습모델을 구비하고, 상기 공간 특성 학습모델을 통해 상기 복수의 이미지 프레임 각각에 대한 공간 특성을 검출하는 공간 특성 검출부와, RNN(Recurrent Neural Networks) 학습 방식에 기초하여, 상기 공간 특성에 대응되는 프레임 특성의 학습을 통해 구축된 프레임 특성 학습모델을 구비하고, 상기 프레임 특성 학습모델을 통해 상기 프레임 특성을 검출하는 프레임 특성 검출부와, 상기 CNN 학습 방식에 기초하여 상기 프레임 특성에 대응되는 병변 특성의 학습을 통해 구축된 병변 특성 학습모델을 구비하고, 상기 병변 특성 학습모델을 통해 상기 복수의 이미지 프레임 각각에 대한 병변 특성을 검출하는 병변 특성 검출부를 포함할 수 있다.
본 개시의 또 다른 양상에 따르면, 뇌혈관 질환 학습 방법이 제공될 수 있다. 상기 방법은 3D TOF MRA(3D Time-of-flight magnetic resonance angiography)를 입력받고, 복수의 이미지 프레임을 포함하는 MIP MRA(Maximum intensity projection magnetic resonance angiography)를 구성하는 과정과, CNN(Convolutional Neural Networks) 학습 방식에 기초한 공간 특성 학습모델을 구축하되, 상기 공간 특성 학습모델은 상기 복수의 이미지 프레임 각각에 대한 공간 특성을 학습하는 과정과, 상기 공간 특성을 입력받고 RNN(Recurrent Neural Networks) 학습 방식에 기초한 프레임 특성 학습모델을 구축하되, 상기 프레임 특성 학습모델은 복수의 이미지 프레임 사이의 특성을 나타내는 프레임 특성을 학습하는 과정과, 상기 프레임 특성을 입력받고 상기 CNN 학습 방식에 기초한 병변 특성 학습모델을 구축하되, 상기 병변 특성 학습모델은 상기 복수의 이미지 프레임 각각에 대한 병변 특성을 학습하는 과정을 포함할 수 있다.
본 개시의 또 다른 양상에 따르면, 뇌혈관 질환 검출 방법이 제공될 수 있다. 상기 방법은 3D TOF MRA(3D Time-of-flight magnetic resonance angiography)를 입력받고, 복수의 이미지 프레임을 포함하는 MIP MRA(Maximum intensity projection magnetic resonance angiography)를 구성하는 과정과,
공간 특성 학습모델을 통해 상기 복수의 이미지 프레임 각각에 대한 공간 특성을 검출하되, 상기 공간 특성 학습모델은 CNN(Convolutional Neural Networks) 학습 방식에 기초하여, 상기 복수의 이미지 프레임 각각에 대한 공간 특성의 학습을 통해 구축된 학습모델인 것을 특징으로 하는 과정과,
프레임 특성 학습모델을 통해 상기 프레임 특성을 검출하되, 상기 프레임 특성 학습모델은 RNN(Recurrent Neural Networks) 학습 방식에 기초하여, 상기 공간 특성에 대응되는 프레임 특성의 학습을 통해 구축된 학습모델인 것을 특징으로 하는 과정과,
병변 특성 학습모델을 통해 상기 복수의 이미지 프레임 각각에 대한 병변 특성을 검출하되, 상기 병변 특성 학습모델은, 상기 CNN 학습 방식에 기초하여 상기 프레임 특성에 대응되는 병변 특성의 학습을 통해 구축된 학습모델인 것을 특징으로 하는 과정을 포함할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 사용자(예, 의사 또는 영상 판독자)의 조작을 최소화하고 뇌혈관 질환의 진단이나 예후 예측이 요구되는 영역 또는 뇌혈관 질환이 발생된 영역을 빠르고 정확하게 검출할 수 있는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 빠르고 정확하게 뇌혈관 질환의 진단에 요구되는 영역 또는 뇌혈관 질환이 발생된 영역을 학습하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, MRA를 사용하여 뇌혈관 질환의 진단에 요구되는 영역 또는 뇌혈관 질환이 발생된 영역을 정확하게 학습할 수 있는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, MRA의 입력만으로 뇌혈관 질환의 진단에 요구되는 영역 또는 뇌혈관 질환이 발생된 영역을 정확하게 검출할 수 있는 방법 및 장치가 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시 예에 따른 뇌혈관 질환 학습 장치의 구성을 나타내는 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 뇌혈관 질환 학습 장치에 사용되는 3D TOF MRA와 MIP MRA를 예시하는 도면이다.
도 3은 본 개시의 일 실시 예에 따른 뇌혈관 질환 학습 장치에 구비되는 공간 특성 학습부의 세부 구성을 예시하는 도면이다.
도 4는 본 개시의 일 실시 예에 따른 뇌혈관 질환 학습 장치에 구비되는 공간 특성 학습모델의 구성을 나타내는 블록도이다.
도 5는 본 개시의 일 실시 예에 따른 영상의 맥락 정보를 생성하고 분석하는 과정을 나타내는 도면이다.
도 6은 다채널 특징맵을 생성하는 합성곱 신경망의 일 실시 예를 설명하기 위한 도면이다.
도 7은 풀링 기법의 일 실시 예를 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 뇌혈관 질환 학습 장치에 구비되는 프레임 특성 학습부의 세부 구성을 예시하는 도면이다.
도 9는 본 개시의 일 실시 예에 따른 뇌혈관 질환 검출 장치의 구성을 나타내는 블록도이다.
도 10은 본 개시의 일 실시 예에 따른 뇌혈관 질환 학습 방법의 순서를 도시하는 흐름도이다.
도 11은 본 개시의 일 실시 예에 따른 뇌혈관 질환 검출 방법의 순서를 도시하는 흐름도이다.
도 12는 본 개시의 일 실시예에 따른 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법을 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.
도 1은 본 개시의 일 실시 예에 따른 뇌혈관 질환 학습 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 뇌혈관 질환 학습 장치(10)는 MIP MRA 구성부(11), 공간 특성 학습부(12), 프레임 특성 학습부(14), 및 병변 특성 학습부(16)를 포함할 수 있다.
MIP MRA 구성부(11)는 3D TOF MRA(3D Time-of-flight magnetic resonance angiography)를 입력받고, MIP MRA(Maximum intensity projection magnetic resonance angiography)를 구성할 수 있다. 여기서, 3D TOF MRA는 뇌영역에서 혈관이 존재하는 영역의 신호를 강하게 측정하여 획득한 3D 형태의 MRA일 수 있으며, MIP MRA는 3D TOF MRA를 다양한 방향에서 프로젝션(Projection)하여 획득한 이미지 프레임을 시계열적으로 조합하여 구성한 동영상 데이터일 수 있다.
예컨대, MIP MRA 구성부(11)는 미리 정해진 프로젝션 위치를 확인할 수 있으며, 확인된 프로젝션 위치에 대응되는 이미지 프레임을 획득할 수 있다. 그리고, MIP MRA 구성부(11)는 전술한 동작을 통해 획득된 복수의 이미지 프레임을 미리 정해진 시간 단위를 기준으로 시계열적으로 조합하여 동영상 데이터를 구성할 수 있다.
예를 들어, 도 2를 참조하면, 복수의 2D MRA 영상(200)을 적층하여 구성된 3D TOF MRA(210)을 중심으로 적어도 하나의 프로젝션 위치가 설정될 수 있는데, MIP MRA 구성부(11)는 제1프로젝션 위치(P1)에서 획득하여 제1이미지 프레임(F1)을 구성하고, 제2프로젝션 위치(P2)에서 획득하여 제2이미지 프레임(F2)을 구성할 수 있다. MIP MRA 구성부(11)는 이러한 동작을 반복적으로 수행하여 n개의 프로젝션 위치(Pn)에 대응되 n개의 이미지 프레임(Fn)을 획득할 수 있다. MIP MRA 구성부(11)는 n개의 이미지 프레임(Fn)을 미리 정해진 위치에 따라 정렬하고, 정렬된 복수의 이미지 프레임을 미리 정해진 시간 단위(10㎳)마다 배치 및 조합하여 동영상 데이터 형태의 MIP MRA를 구성할 수 있다.
나아가, MIP MRA는 이미지 프레임(F1, F2, ... Fn)에 대응되는 프로젝션 위치(P1, P2, ... Pn) 및 시간 또는 배열 순서에 대한 정보를 포함할 수 있다.
공간 특성 학습부(12)는 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn) 각각에 대한 학습을 수행하여 공간 특성 학습모델(13)을 구축할 수 있으며, 바람직하게 CNN(Convolutional Neural Networks) 학습 방식에 기초하여 공간 특성 학습모델(13)을 구축할 수 있다.
공간 특성 학습부(12)의 공간 특성 학습모델(13)의 구축시 이미지 프레임(F1, F2, ... Fn)에 대응되는 프로젝션 위치(P1, P2, ... Pn) 및 시간 또는 배열 순서에 대한 정보를 고려할 수 있다. 예컨대, 공간 특성 학습모델(13)에는 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)의 수에 대응되는 CNN이 구비될 수 있으며, 공간 특성 학습부(12)는 제1이미지 프레임(F1)을 제1 CNN의 입력으로 전달하고, 제2이미지 프레임(F2)을 제2 CNN의 입력으로 전달하고, 제n이미지 프레임(Fn)을 제n CNN의 입력으로 전달하도록 구성할 수 있다.
이에 대응하여, 공간 특성 학습모델(13)에 구비되는 복수의 CNN은 복수의 이미지 프레임(F1, F2, ... Fn) 각각에 대응되는 복수의 공간 특성을 출력할 수 있으며, 공간 특성 학습부(12)는 전술한 복수의 공간 특성을 순차적으로 배열하여 시퀀셜한 데이터로 구성할 수 있다. 이때, 공간 특성 학습부(12)는 이미지 프레임(F1, F2, ... Fn)에 대응되는 프로젝션 위치(P1, P2, ... Pn) 및 시간 또는 배열 순서에 대한 정보를 고려하여 직렬화된(Sequential) 데이터를 구성할 수 있다.
한편, 프레임 특성 학습부(14)는 직렬화된 데이터로 구성된 복수의 공간 특성을 입력받고, 이미지 프레임 사이의 관계에 대한 특성(즉, 프레임 특성)을 검출하는 학습을 수행할 수 있다. 바람직하게, 프레임 특성 학습부(14)는 순환 신경망(RNN; Recurrent Neural Nerwork) 학습 방식에 기초하여 프레임 특성 학습모델(15)을 구축할 수 있다.
병변 특성 학습부(16)는 복수의 이미지 프레임(F1, F2, ... Fn) 각각에 대응되는 병변 정보를 학습할 수 있다. 이를 위해, 프레임 특성 학습부(14)는 시퀀셜한 데이터로 구성된 프레임 특성을 재구성하여 병렬화된(parallel) 데이터를 구성할 수 있다.
병변 특성 학습부(16)는 프레임 특성 학습부(14)로부터 제공되는 프레임 특성을 사용하여 병변 특성 학습모델(17)을 구축할 수 있다.
병변 특성 학습모델(17)은 CNN 학습 방식에 기초한 학습모델일 수 있으며, MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)의 수에 대응되는 만큼의 CNN을 구비할 수 있다. 그리고, 병변 특성 학습부(16)는 제1이미지 프레임(F1)에 대응되는 제1프레임 특성을 제1 CNN의 입력으로 전달하고, 제2이미지 프레임(F2)에 대응되는 제1프레임 특성을 제2 CNN의 입력으로 전달하고, 제n이미지 프레임(Fn)에 대응되는 제n 프레임 특성을 제n CNN의 입력으로 전달하도록 구성할 수 있다.
나아가, 공간 특성 학습모델(13)에 구비되는 복수의 CNN은 정보 추출 Domain의 크기를 줄이는 풀링(Pooling) 구조를 구비할 수 있으며, 병변 특성 학습모델(17)에 구비되는 복수의 CNN은 특징 맵(feature map)의 Domain 크기를 늘리는 업샘플링(upsampling) 구조를 구비할 수 있다.
공간 특성 학습모델(13) 및 병변 특성 학습모델(17)에 구비되는 복수의 CNN은 각각 2번의 3Х3 합성곱을 구비하는 것이 바람직하다. 또한, 공간 특성 학습모델(13)은 2Х2 최대 풀링 연산(max-pooling operation) 구조를 구비하고, 병변 특성 학습모델(17)은 bilinear interpolation으로 길이와 너비를 2배로 증가시키는 구조를 구비할 수 있다.
비록, 본 개시의 일 실시예에서, 공간 특성 학습모델(13) 및 병변 특성 학습모델(17)에 구비되는 합성곱의 크기 및 개수, 공간 특성 학습모델(13)에 구비되는 풀링(Pooling) 구조와, 업샘플링(upsampling) 구조 등을 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 다양하게 변경될 수 있음은 물론이다.
도 3은 본 개시의 일 실시 예에 따른 뇌혈관 질환 학습 장치에 구비되는 공간 특성 학습부의 세부 구성을 예시하는 도면이다.
도 3을 참조하면, 공간 특성 학습부(30)는 복수의 CNN(31-1, 31-2, 31-n)을 구비하는 공간 특성 학습모델(31)을 포함할 수 있으며, 복수의 CNN의 수는 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)의 수에 대응되도록 설정될 수 있다.
공간 특성 학습부(30)는 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)을 각각복수의 CNN(31-1, 31-2, 31-n)의 입력에 제공할 수 있다.
이때, 공간 특성 학습부(30)는 이미지 프레임(F1, F2, ... Fn)에 대응되는 프로젝션 위치(P1, P2, ... Pn) 및 시간 또는 배열 순서에 대한 정보를 고려하여, 이미지 프레임(F1, F2, ... Fn)을 복수의 CNN(31-1, 31-2, 31-n)에 제공할 수 있다. 예컨대, 공간 특성 학습부(31)는 제1이미지 프레임(F1)을 제1 CNN(31-1)의 입력으로 전달하고, 제2이미지 프레임(F2)을 제2 CNN(31-2)의 입력으로 전달하고, 제n이미지 프레임(Fn)을 제n CNN(31-n)의 입력으로 전달하도록 구성할 수 있다.
또한, 공간 특성 학습부(30)는 직렬화 처리부(33)를 포함할 수 있으며, 직렬화 처리부(33) 복수의 CNN(31-1, 31-2, 31-n)을 통해 출력되는 복수의 공간 특성(310-1, 310-2, 310-n)을 직렬화 할 수 있다. 직렬화 처리부(33)는 프로젝션 위치(P1, P2, ... Pn) 및 시간 또는 배열 순서에 대한 정보를 고려하여, 복수의 공간 특성(310-1, 310-2, 310-n)을 직렬화하는 것이 바람직하다.
이하, 도 4 내지 도 7을 참조하여, 복수의 CNN(31-1, 31-2, 31-n)의 상세 구성을 설명한다.
도 4는 본 개시의 일 실시 예에 따른 뇌혈관 질환 학습 장치에 구비되는 공간 특성 학습모델의 구성을 나타내는 블록도이다.
도 4를 참조하면, 공간 특성 학습모델(40)은 특징 추출부(41), 맥락 생성부(42), 특징 및 맥락 분석부(43)를 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 공간 특성 학습모델(40)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.
공간 특성 학습모델(40)은 분석 대상 영상의 특징을 추출하고, 추출된 특징에 기초하여 맥락 정보를 생성하고, 추출된 특징 및 생성된 맥락 정보에 기초하여 분석 대상 영상을 분석할 수 있다. 예컨대, 공간 특성 학습모델(40)은 추출된 특징 및 생성된 맥락 정보를 이용하여 영상을 분류하거나 관심 객체의 위치를 찾아낼 수 있다.
특징 추출부(41)는 입력 영상을 분석하여 영상의 특징을 추출할 수 있다. 예컨대, 상기 특징은 영상의 각 영역마다의 국소적인 특징일 수 있다. 일 실시 예에 따른 특징 추출부(41)는 일반적인 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법을 이용하여 입력 영상의 특징을 추출할 수 있다. 상기 풀링 기법은 맥스(max) 풀링 기법 및 평균(average) 풀링 기법 중 적어도 하나를 포함할 수 있다. 그러나, 본 개시에서 언급되는 풀링 기법은 맥스 풀링 기법 또는 평균 풀링 기법에 한정되지 않으며, 소정 크기의 영상 영역의 대표값을 획득하는 임의의 기법을 포함한다. 예컨대, 풀링 기법에 사용되는 대표값은 최대값 및 평균값 외에, 분산값, 표준 편차값, 중간값(mean value), 최빈값(most frequent value), 최소값, 가중 평균값 등 중 적어도 하나일 수 있다.
본 개시의 합성곱 신경망은 입력 데이터(영상)로부터 테두리, 선 색 등과 같은 "특징들(features)"을 추출하기 위해 이용될 수 있으며, 복수의 계층들(layers)을 포함할 수 있다. 각각의 계층은 입력 데이터를 수신하고, 해당 계층의 입력 데이터를 처리하여 출력 데이터를 생성할 수 있다. 합성곱 신경망은 입력된 영상 또는 입력된 특징맵(feature map)을 필터 커널들(filter kernels)과 컨볼루션하여 생성한 특징맵을 출력 데이터로서 출력할 수 있다. 합성곱 신경망의 초기 계층들은 입력으로부터 에지들 또는 그레디언트들과 같은 낮은 레벨의 특징들을 추출하도록 동작될 수 있다. 신경망의 다음 계층들은 눈, 코 등과 같은 점진적으로 더 복잡한 특징들을 추출할 수 있다. 합성곱 신경망의 구체적인 동작에 대해서는 도 5를 참고하여 후술한다.
합성곱 신경망은 컨볼루션 연산이 수행되는 합성곱 계층 외에도 풀링 연산이 수행되는 풀링 계층도 포함할 수 있다. 풀링 기법은 풀링 계층에서 데이터의 공간적 크기를 축소하는데 사용되는 기법이다. 구체적으로, 풀링 기법에는 해당 영역에서 최대값을 선택하는 맥스 풀링(max pooling) 기법과 해당 영역의 평균값을 선택하는 평균 풀링(average pooling) 기법이 있으며, 이미지 인식 분야에서는 일반적으로 맥스 풀링 기법이 사용된다. 풀링 기법에서는 일반적으로 풀링의 윈도우 크기와 간격(스트라이드, stride)을 같은 값으로 설정한다. 여기서, 스트라이드란 입력 데이터에 필터를 적용할 때 이동할 간격을 조절하는 것, 즉 필터가 이동할 간격을 의미하며, 스트라이드 또한 출력 데이터의 크기를 조절하기 위해 사용될 수 있다. 풀링 기법의 구체적인 동작에 대해서는 도 6을 참고하여 후술한다.
본 개시의 일 실시 예에 따른 특징 추출부(41)는 분석 대상 영상의 특징을 추출하기 위한 전처리(pre-processing)로서, 분석 대상 영상에 필터링을 적용할 수 있다. 상기 필터링은 고속 푸리에 변환(Fast Fourier Transform, FFT), 히스토그램 평활화(histogram equalization), 모션 아티팩트(motion artifact) 제거 또는 노이즈(noise) 제거 등일 수 있다. 그러나, 본 개시의 필터링은 상기 열거한 방법으로 제한되지 않으며, 영상의 품질을 개선할 수 있는 모든 형태의 필터링을 포함할 수 있다.
맥락 생성부(42)는 특징 추출부(41)로부터 추출된 입력 영상의 특징을 이용하여 입력 영상(분석 대상 영상)의 맥락 정보를 생성할 수 있다. 예컨대, 상기 맥락 정보는 분석 대상 영상의 전체 또는 일부 영역을 나타내는 대표값일 수 있다. 또한 상기 맥락 정보는 입력 영상의 전역적인 맥락 정보일 수 있다. 일 실시 예에 따른 맥락 생성부(42)는 합성곱 신경망 기법 또는 풀링 기법을 특징 추출부(41)로부터 추출된 특징에 적용하여 맥락 정보를 생성할 수 있다. 상기 풀링 기법은 예컨대, 평균 풀링(average pooling) 기법일 수 있다.
특징 및 맥락 분석부(43)는 특징 추출부(41)에서 추출된 특징 및 맥락 생성부(42)에서 생성된 맥락 정보에 기초하여 영상을 분석할 수 있다. 일 실시예에 따른 특징 및 맥락 분석부(43)는 특징 추출부(41)에서 추출된 영상의 각 영역마다의 국소적인 특징 및 맥락 생성부(42)에서 재구성된 전역적인 맥락을 결합(concatenate)하는 등의 방식으로 함께 사용하여, 입력 영상을 분류하거나 입력 영상에 포함된 관심 객체의 위치 등을 찾는데 이용할 수 있다. 입력 영상 내 특정 2차원 위치에서의 정보는 국소적인 특징 정보뿐만 아니라 전역적인 맥락 정보까지 포함하게 되므로, 특징 및 맥락 분석부(43)는 이들 정보를 이용함으로써, 실제 내용은 상이하지만 국소적인 특징 정보가 유사한 입력 영상들에 대해 보다 정확한 인식 또는 분류 등이 가능하게 된다.
전술한 바와 같이, 본 개시의 일 실시 예에 따른 발명은, 일반적인 합성곱 신경망 기법이 사용하는 국소적인 특징뿐만 아니라 전역적인 맥락 정보를 함께 사용함으로써, 보다 더 정확하고 효율적인 학습 및 영상 분석이 가능하게 된다. 이러한 관점에서 본 개시에 따른 발명을 '맥락 분석을 통한 심층 신경망'이라 할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 영상의 맥락 정보를 생성하고 분석하는 과정을 나타내는 도면이다.
도 5를 참조하면, 특징 추출부(41)는 입력 영상(501)을 이용하여 입력 영상(501)으로부터 특징을 추출하고, 추출된 특징 정보를 포함하는 특징 영상(502)을 생성할 수 있다. 상기 추출된 특징은 입력 영상의 국소 영역에 대한 특징일 수 있다. 상기 입력 영상(501)은 영상 분석 장치의 입력 영상 또는 합성곱 신경망 모델 내의 각 계층에서의 특징맵을 포함할 수 있다. 또한 상기 특징 영상(502)은 입력 영상(501)에 대해 합성곱 신경망 기법 및/또는 풀링 기법을 적용하여 획득된 특징맵 및/또는 특징 벡터를 포함할 수 있다.
맥락 생성부(42)는 특징 추출부(41)에서 추출된 특징 영상(502)에 대해 합성곱 신경망 기법 및/또는 풀링 기법을 적용하여 맥락 정보를 생성할 수 있다. 예컨대, 맥락 생성부(42)는 풀링의 간격(stride)을 다양하게 조절함으로써 영상 전체, 4등분 영역, 9등분 영역 등의 다양한 크기(scale)의 맥락 정보를 생성할 수 있다. 도 4를 참조하면, 영상 전체 크기의 영상에 대한 맥락 정보를 포함하는 전체 맥락 정보 영상(511), 영상 전체를 4등분한 크기의 4등분 영상에 대한 맥락 정보를 포함하는 4등분 맥락 정보 영상(512) 및 영상 전체를 9등분한 크기의 9등분 영상에 대한 맥락 정보를 포함하는 9등분 맥락 정보 영상(513)이 획득될 수 있다.
특징 및 맥락 분석부(43)는 상기 특징 영상(502)과 상기 맥락 정보 영상(411, 412, 413)을 모두 이용하여 분석 대상 영상의 특정 영역에 대한 분석을 보다 정확히 수행할 수 있다.
본 개시의 일 실시 예에 따른 맥락 생성부(42)는 상기 분석 대상 영상 또는 상기 특징 영상(502)에 기초하여 맥락 정보(511, 512, 513)를 생성함으로써, 보다 정확히 객체를 식별하고 분류할 수 있다.
도 5를 참조하여 설명한 실시 예에서는 전체 영상에 대한 맥락 정보, 4등분 영상에 대한 맥락 정보, 9등분 영상에 대한 맥락 정보를 생성하고 활용하는 것에 대해 설명하였으나, 맥락 정보를 추출하는 영상의 크기는 이에 한정되지 않는다. 예컨대, 전술한 크기의 영상 이외의 크기를 갖는 영상에 대한 맥락 정보를 생성하고 활용할 수도 있다.
한편, 본 개시의 일 실시 예에 따른 합성곱 신경망 기법 및 풀링에 대해서는 도 6 및 도 7을 참조하여 후술한다.
도 6은 다채널 특징맵을 생성하는 합성곱 신경망의 일 실시 예를 설명하기 위한 도면이다.
합성곱 신경망 기반의 영상 처리는 다양한 분야에 활용될 수 있다. 예컨대, 영상의 객체 인식(object recognition)을 위한 영상 처리 장치, 영상 복원(image reconstruction)을 위한 영상 처리 장치, 시맨틱 세그먼테이션(semantic segmentation)을 위한 영상 처리 장치, 장면 인식(scene recognition)을 위한 영상 처리 장치 등에 이용될 수 있다.
입력 영상(610)은 합성곱 신경망(600)을 통해 처리됨으로써 특징맵 영상을 출력할 수 있다. 출력된 특징맵 영상은 전술한 다양한 분야에 활용될 수 있다.
합성곱 신경망(600)은 복수의 계층들(620, 630, 640)을 통해 처리될 수 있으며, 각 계층은 다채널 특징맵 영상들(625, 635)을 출력할 수 있다. 일 실시예에 따른 복수의 계층들(620, 630, 640)은 입력받은 데이터의 좌측 상단으로부터 우측 하단까지 일정한 크기의 필터를 적용하여 영상의 특징을 추출할 수 있다. 예를 들어, 복수의 계층들(620, 630, 640)은 입력 데이터의 좌측 상단 NХM 픽셀에 가중치를 곱해서 특징맵의 좌측 상단의 한 뉴런에 매핑시킨다. 이 경우, 곱해지는 가중치도 NХM가 될 것이다. 상기 NХM은 예컨대, 3Х3일 수 있으나, 이에 한정되지 않는다. 이후, 동일한 과정으로, 복수의 계층들(620, 630, 640)은 입력 데이터를 좌측에서 우측으로, 그리고 상단에서 하단으로 k 칸씩 스캔하면서 가중치를 곱하여 특징맵의 뉴런에 매핑한다. 상기 k 칸은 합성곱 수행시 필터를 이동시킬 간격(stride)을 의미하며, 출력 데이터의 크기를 조절하기 위해 적절히 설정될 수 있다. 예컨대, k는 1일 수 있다. 상기 NХM 가중치는 필터 또는 필터 커널이라고 한다. 즉, 복수의 계층들(620, 630, 640)에서 필터를 적용하는 과정은 필터 커널과의 컨볼루션 연산을 수행하는 과정이며, 그 결과 추출된 결과물을 "특징맵(feature map)" 또는 "특징맵 영상"이라고 한다. 또한, 컨볼루션 연산이 수행된 계층을 합성곱 계층이라 할 수 있다.
"다채널 특징맵(multiple-channel feature map)"의 용어는 복수의 채널에 대응하는 특징맵들의 세트를 의미하고, 예를 들어 복수의 영상 데이터일 수 있다. 다채널 특징맵들은 합성곱 신경망의 임의의 계층에서의 입력일 수 있고, 컨볼루션 연산 등의 특징맵 연산 결과에 따른 출력일 수 있다. 일 실시예에 따르면, 다채널 특징맵들(625, 635)은 합성곱 신경망의 "특징 추출 계층들" 또는 "컨볼루션 계층들"이라고도 불리는 복수의 계층들(620, 630, 640)에 의해 생성된다. 각각의 계층은 순차적으로 이전 계층에서 생성된 다채널 특징맵들을 수신하고, 출력으로서 그 다음의 다채널 특징맵들을 생성할 수 있다. 최종적으로 L(L은 정수)번째 계층(540)에서는 L-1번째 계층(미도시)에서 생성한 다채널 특징맵들을 수신하여 미도시의 다채널 특징맵들을 생성할 수 있다.
도 6을 참조하면, 채널 K1개를 가지는 특징맵들(625)은 입력 영상(610)에 대해 계층 1에서의 특징맵 연산(620)에 따른 출력이고, 또한 계층 2에서의 특징맵 연산(530)을 위한 입력이 된다. 또한, 채널 K2개를 가지는 특징맵들(635)은 입력 특징맵들(625)에 대해 계층 2에서의 특징맵 연산(530)에 따른 출력이고, 또한 계층 3에서의 특징맵 연산(미도시)을 위한 입력이 된다.
도 6을 참조하면, 첫 번째 계층(620)에서 생성된 다채널 특징맵들(625)은 K1(K1은 정수)개의 채널에 대응하는 특징맵들을 포함한다. 또한, 두 번째 계층(630)에서 생성된 다채널 특징맵들(635)은 K2(K2은 정수)개의 채널에 대응하는 특징맵들을 포함한다. 여기서, 채널의 개수를 나타내는 K1 및 K2는, 첫 번째 계층(620) 및 두 번째 계층(630)에서 각각 사용된 필터 커널의 개수와 대응될 수 있다. 즉, M(M은 1 이상 L-1 이하의 정수)번째 계층에서 생성된 다채널 특징맵들의 개수는 M번째 계층에서 사용된 필터 커널의 개수와 동일할 수 있다.
도 7은 풀링 기법의 일 실시 예를 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 풀링의 윈도우 사이즈는 2Х2, 스트라이드는 2이며, 맥스 풀링을 입력 영상(710)에 적용하여 출력 영상(790)을 생성할 수 있다.
도 7의 (a)에서, 입력 영상(710)의 좌측 상단에 2Х2 윈도우(710)를 적용하고, 윈도우(710) 영역 내의 값들 중 대표값(여기서는, 최대값 4)을 계산하여 출력 영상(790)의 대응 위치(720)에 입력한다.
이후, 도 6의 (b)에서, 스트라이드만큼, 즉, 2만큼 윈도우를 이동하고, 윈도우(730) 영역 내의 값들 중 최대값 3을 출력 영상(790)의 대응 위치(740)에 입력한다.
더 이상 우측으로 윈도우를 이동시킬 없는 경우, 다시 입력 영상의 좌측에서 스트라이드만큼 아래의 위치부터 상기 과정을 반복한다. 즉, 도 7의 (c)에 도시된 바와 같이, 윈도우(750) 영역 내의 값들 중 최대값 5를 출력 영상(790)의 대응 위치(760)에 입력한다.
이후, 도 7의 (d)에 도시된 바와 같이, 스트라이드만큼 윈도우를 이동하고, 윈도우(770) 영역 내의 값들 중 최대값 2를 출력 영상(790)의 대응 위치(780)에 입력한다.
상기 과정은 입력 영상(710)의 우측 하단 영역에 윈도우가 위치할 때까지 반복적으로 수행됨으로써, 입력 영상(710)에 풀링을 적용한 출력 영상(790)을 생성할 수 있다.
본 개시의 딥러닝 기반의 모델은 완전 합성곱 신경망(완전 컨볼루션 뉴럴 네트워크, fully convolutional neural network), 합성곱 신경망(컨볼루션 뉴럴 네트워크, convolutional neural network), 순환 신경망(회귀 뉴럴 네트워크, recurrent neural network), 제한 볼츠만 머신(restricted Boltzmann machine, RBM) 및 심층 신뢰 신경망(deep belief neural network, DBN) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다. 또는, 딥러닝 이외의 머신 러닝 방법도 포함할 수 있다. 또는 딥러닝과 머신 러닝을 결합한 하이브리드 형태의 모델도 포함할 수 있다. 예컨대, 딥러닝 기반의 모델을 적용하여 영상의 특징을 추출하고, 상기 추출된 특징에 기초하여 영상을 분류하거나 인식할 때는 머신 러닝 기반의 모델을 적용할 수도 있다. 머신 러닝 기반의 모델은 서포트 벡터 머신(Support Vector Machine, SVM), 에이다부스트(AdaBoost) 등을 포함할 수 있으나, 이에 한정되지 않는다.
한편, 전술한 도 4 내지 도 7에서 공간 특성 학습모델에 사용되는 CNN 구조를 예시하였다. 병변 학습 모델 역시, 전술한 도 4 내지 도 7에서 전술한 CNN 구조를 구비할 수 있다.
다만, 공간 특성 학습모델은 공간 특성을 추출한 후 풀링 구조를 통해 공간 특성에 대한 압축을 처리할 수 있도록 구성되는데, 이에 대응하여 병변 학습 모델은 입력되는 특성에 대한 보간을 통해 업 샘플링을 처리한 후, 입력되는 정보에 대한 특성(예, 병변 특성)을 검출하는 구조를 구비하도록 구성될 수 있다.
도 8은 본 개시의 일 실시 예에 따른 뇌혈관 질환 학습 장치에 구비되는 프레임 특성 학습부의 세부 구성을 예시하는 도면이다.
도 8을 참조하면, 프레임 특성 학습부(80)는 RNN 방식에 기초한 프레임 특성 학습모델(81)을 포함할 수 있는데, 특성 학습모델(81)은 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)에 대응되는 공간 특성 정보를 순차적으로 입력받고, 공간 특성 정보 사이의 특징을 검출할 수 있다.
순환 신경망(RNN)은 현재의 데이터와 과거의 데이터를 동시에 고려하는 딥 러닝 기법으로서, 순환 신경망(RNN)은 인공 신경망을 구성하는 유닛 사이의 연결이 방향성 사이클(directed cycle)을 구성하는 신경망을 나타낸다. 나아가, 순환 신경망(RNN)을 구성할 수 있는 구조에는 다양한 방식이 사용될 수 있는데, 예컨대, 완전순환망(Fully Recurrent Network), 홉필드망(Hopfield Network), 엘만망(Elman Network), ESN(Echo state network), LSTM(Long short term memory network), 양방향(Bi-directional) RNN, CTRNN(Continuous-time RNN), 계층적 RNN, 2차 RNN 등이 대표적인 예이다. 또한, 순환 신경망(RNN)을 학습시키기 위한 방법으로서, 경사 하강법, Hessian Free Optimization, Global Optimization Method 등의 방식이 사용될 수 있다.
한편, 공간 특성 정보는 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)으로부터 추출된 정보이므로, 프레임 특성 학습부(80)는 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)의 시간적 정보를 확인하고, 확인된 시간적 정보에 기초하여, 공간 특성 정보에 대한 프레임 특성 학습을 처리할 수 있다.
프레임 특성 학습모델(81)은 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)의 공간 특성 정보에 대한 프레임 특성을 학습하므로, MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)에 대응되는 프레임 특성(800-1, 800-2, 800-n)을 각각 출력할 수 있다.
나아가, 공간 특성 정보는 프레임 특성 학습모델(81)에 순차적으로 입력될 수 있으며, 프레임 특성 학습모델(81)은 프레임 특성(800-1, 800-2, 800-n)을 순차적으로 출력할 수 있다.
CNN 기반의 병변 특성 학습부는 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn) 단위에 대한 병변 정보를 출력하도록 구성될 수 있으므로, 프레임 특성 학습부(80)는 순차적으로 출력되는 프레임 특성(800-1, 800-2, 800-n)을 특성 학습부에 전달하는 병렬화 처리부(83)를 더 포함할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 뇌혈관 질환 검출 장치의 구성을 나타내는 블록도이다.
도 9를 참조하면, 뇌혈관 질환 검출 장치(90)는 MIP MRA 구성부(91), 공간 특성 검출부(92), 프레임 특성 검출부(94), 및 병변 특성 검출부(96)를 포함할 수 있다.
MIP MRA 구성부(91)는 3D TOF MRA(3D Time-of-flight magnetic resonance angiography)를 입력받고, MIP MRA(Maximum intensity projection magnetic resonance angiography)를 구성할 수 있다. 여기서, 3D TOF MRA는 뇌영역에서 혈관이 존재하는 영역의 신호를 강하게 측정하여 획득한 3D 형태의 MRA일 수 있으며, MIP MRA는 3D TOF MRA를 다양한 방향에서 프로젝션(Projection)하여 획득한 이미지 프레임을 시계열적으로 조합하여 구성한 동영상 데이터일 수 있다.
예컨대, MIP MRA 구성부(91)는 미리 정해진 프로젝션 위치를 확인할 수 있으며, 확인된 프로젝션 위치에 대응되는 이미지 프레임을 획득할 수 있다. 그리고, MIP MRA 구성부(91)는 전술한 동작을 통해 획득된 복수의 이미지 프레임을 미리 정해진 시간 단위를 기준으로 시계열적으로 조합하여 동영상 데이터를 구성할 수 있다.
예를 들어, 도 2를 참조하면, 복수의 2D MRA 영상(200)을 적층하여 구성된 3D TOF MRA(210)을 중심으로 적어도 하나의 프로젝션 위치가 설정될 수 있는데, MIP MRA 구성부(91)는 제1프로젝션 위치(P1)에서 획득하여 제1이미지 프레임(F1)을 구성하고, 제2프로젝션 위치(P2)에서 획득하여 제2이미지 프레임(F2)을 구성할 수 있다. MIP MRA 구성부(91)는 이러한 동작을 반복적으로 수행하여 n개의 프로젝션 위치(Pn)에 대응되 n개의 이미지 프레임(Fn)을 획득할 수 있다. MIP MRA 구성부(91)는 n개의 이미지 프레임(Fn)을 미리 정해진 위치에 따라 정렬하고, 정렬된 복수의 이미지 프레임을 미리 정해진 시간 단위(90㎳)마다 배치 및 조합하여 동영상 데이터 형태의 MIP MRA를 구성할 수 있다.
나아가, MIP MRA는 이미지 프레임(F1, F2, ... Fn)에 대응되는 프로젝션 위치(P1, P2, ... Pn) 및 시간 또는 배열 순서에 대한 정보를 포함할 수 있다.
공간 특성 처리부(92)는 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn) 각각으로부터 공간 특성을 추출할 수 있다. 특히, 공간 특성 처리부(92)는 전술한 도 1의 공간 특성 학습모델(13)에 대응되는 공간 특성 학습모델(93)을 구비할 수 있으며, 공간 특성 학습모델(93)을 통해 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn) 각각으로부터 공간 특성을 추출할 수 있다.
예컨대, 공간 특성 학습모델(93)에는 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)의 수에 대응되는 CNN이 구비될 수 있으며, 공간 특성 처리부(92)는 제1이미지 프레임(F1)을 제1 CNN의 입력으로 전달하고, 제2이미지 프레임(F2)을 제2 CNN의 입력으로 전달하고, 제n이미지 프레임(Fn)을 제n CNN의 입력으로 전달할 수 있다.
이에 대응하여, 공간 특성 학습모델(93)에 구비되는 복수의 CNN은 복수의 이미지 프레임(F1, F2, ... Fn) 각각에 대응되는 복수의 공간 특성을 출력할 수 있으며, 공간 특성 처리부(92)는 전술한 복수의 공간 특성을 순차적으로 배열하여 시퀀셜한 데이터로 구성할 수 있다. 이때, 공간 특성 처리부(92)는 이미지 프레임(F1, F2, ... Fn)에 대응되는 프로젝션 위치(P1, P2, ... Pn) 및 시간 또는 배열 순서에 대한 정보를 고려하여 직렬화된(Sequential) 데이터를 구성할 수 있다.
한편, 프레임 특성 처리부(94)는 직렬화된 데이터로 구성된 복수의 공간 특성을 입력받고, 이미지 프레임 사이의 관계에 대한 특성(즉, 프레임 특성)을 검출할 수 있다. 바람직하게, 프레임 특성 처리부(94)는 순환 신경망(RNN; Recurrent Neural Nerwork) 학습 방식에 기초한 프레임 특성 학습모델(95)을 사용하여 프레임 특성을 검출할 수 있다. 이때, 프레임 특성 학습모델(95)은 전술한 도 1의 프레임 특성 학습부(14)를 통해 구축된 프레임 특성 학습모델(15)일 수 있다.
한편, 병변 특성 처리부(96)는 복수의 이미지 프레임(F1, F2, ... Fn) 각각에 대응되는 병변 정보를 학습할 수 있다. 이를 위해, 프레임 특성 처리부(94)는 시퀀셜한 데이터로 구성된 프레임 특성을 재구성하여 병렬화된(parallel) 데이터를 구성할 수 있다.
병변 특성 처리부(96)는 프레임 특성 처리부(94)로부터 제공되는 프레임 특성으로부터 병변 특성을 추출할 수 있다. 특히, 병변 특성 처리부(96)는 전술한 도 1의 병변 특성 학습부(16)를 통해 구축된 병변 특성 학습모델(17)에 대응되는 병변 특성 학습모델(97)을 구비할 수 있다.
병변 특성 학습모델(97)은 CNN 학습 방식에 기초한 학습모델일 수 있으며, MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)의 수에 대응되는 만큼의 CNN을 구비할 수 있다. 그리고, 병변 특성 처리부(96)는 제1이미지 프레임(F1)에 대응되는 제1프레임 특성을 제1 CNN의 입력으로 전달하고, 제2이미지 프레임(F2)에 대응되는 제1프레임 특성을 제2 CNN의 입력으로 전달하고, 제n이미지 프레임(Fn)에 대응되는 제n 프레임 특성을 제n CNN의 입력으로 전달하도록 구성할 수 있다.
나아가, 공간 특성 학습모델(93)에 구비되는 복수의 CNN은 정보 추출 Domain의 크기를 줄이는 풀링(Pooling) 구조를 구비할 수 있으며, 병변 특성 학습모델(97)에 구비되는 복수의 CNN은 특징 맵(feature map)의 Domain 크기를 늘리는 업샘플링(upsampling) 구조를 구비할 수 있다.
공간 특성 학습모델(93) 및 병변 특성 학습모델(97)에 구비되는 복수의 CNN은 각각 2번의 3Х3 합성곱을 구비하는 것이 바람직하다. 또한, 공간 특성 학습모델(93)은 2Х2 최대 풀링 연산(max-pooling operation) 구조를 구비하고, 병변 특성 학습모델(97)은 bilinear interpolation으로 길이와 너비를 2배로 증가시키는 구조를 구비할 수 있다.
비록, 본 개시의 일 실시예에서, 공간 특성 학습모델(93) 및 병변 특성 학습모델(97)에 구비되는 합성곱의 크기 및 개수, 공간 특성 학습모델(93)에 구비되는 풀링(Pooling) 구조와, 업샘플링(upsampling) 구조 등을 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 다양하게 변경될 수 있음은 물론이다.
나아가, 공간 특성 학습모델(93) 및 병변 특성 학습모델(97)의 세부적인 구조는 전술한 도 4 내지 도 7에 예시되는 공간 특성 학습모델 및 병변 특성 학습모델의 구조를 참조함다. 또한, 프레임 특성 학습모델(95)의 세부적인 구조는 전술한 도 8에 예시되는 프레임 특성 학습모델의 구조를 참조한다.
도 10은 본 개시의 일 실시 예에 따른 뇌혈관 질환 학습 방법의 순서를 도시하는 흐름도이다.
본 개시의 일 실시 예에 따른 뇌혈관 질환 학습 방법은 전술한 본 개시의 일 실시 예에 따른 뇌혈관 질환 학습 장치에 의해 수행될 수 있다.
도 10을 참조하면, 우선, 뇌혈관 질환 학습 장치는 3D TOF MRA(3D Time-of-flight magnetic resonance angiography)를 입력받고, MIP MRA(Maximum intensity projection magnetic resonance angiography)를 구성할 수 있다(S1001). 여기서, 3D TOF MRA는 뇌영역에서 혈관이 존재하는 영역의 신호를 강하게 측정하여 획득한 3D 형태의 MRA일 수 있으며, MIP MRA는 3D TOF MRA를 다양한 방향에서 프로젝션(Projection)하여 획득한 이미지 프레임을 시계열적으로 조합하여 구성한 동영상 데이터일 수 있다.
예컨대, 뇌혈관 질환 학습 장치는 미리 정해진 프로젝션 위치를 확인할 수 있으며, 확인된 프로젝션 위치에 대응되는 이미지 프레임을 획득할 수 있다. 그리고, 뇌혈관 질환 학습 장치는 전술한 동작을 통해 획득된 복수의 이미지 프레임을 미리 정해진 시간 단위를 기준으로 시계열적으로 조합하여 동영상 데이터를 구성할 수 있다.
*예를 들어, 복수의 2D MRA 영상을 적층하여 구성된 3D TOF MRA을 중심으로 적어도 하나의 프로젝션 위치가 설정될 수 있는데, 뇌혈관 질환 학습 장치는 제1프로젝션 위치(P1)에서 획득하여 제1이미지 프레임(F1)을 구성하고, 제2프로젝션 위치(P2)에서 획득하여 제2이미지 프레임(F2)을 구성할 수 있다. 뇌혈관 질환 학습 장치는 이러한 동작을 반복적으로 수행하여 n개의 프로젝션 위치(Pn)에 대응되 n개의 이미지 프레임(Fn)을 획득할 수 있다. 뇌혈관 질환 학습 장치는 n개의 이미지 프레임(Fn)을 미리 정해진 위치에 따라 정렬하고, 정렬된 복수의 이미지 프레임을 미리 정해진 시간 단위(10㎳)마다 배치 및 조합하여 동영상 데이터 형태의 MIP MRA를 구성할 수 있다.
나아가, MIP MRA는 이미지 프레임(F1, F2, ... Fn)에 대응되는 프로젝션 위치(P1, P2, ... Pn) 및 시간 또는 배열 순서에 대한 정보를 포함할 수 있다.
뇌혈관 질환 학습 장치는 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn) 각각에 대한 학습을 수행하여 공간 특성 학습모델을 구축할 수 있으며, 바람직하게 CNN(Convolutional Neural Networks) 학습 방식에 기초하여 공간 특성 학습모델을 구축할 수 있다(S1002).
공간 특성 학습모델의 구축시 이미지 프레임(F1, F2, ... Fn)에 대응되는 프로젝션 위치(P1, P2, ... Pn) 및 시간 또는 배열 순서에 대한 정보를 고려할 수 있다. 예컨대, 공간 특성 학습모델에는 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)의 수에 대응되는 CNN이 구비될 수 있으며, 뇌혈관 질환 학습 장치는 제1이미지 프레임(F1)을 제1 CNN의 입력으로 전달하고, 제2이미지 프레임(F2)을 제2 CNN의 입력으로 전달하고, 제n이미지 프레임(Fn)을 제n CNN의 입력으로 전달하도록 구성할 수 있다.
뇌혈관 질환 학습 장치는 이미지 프레임(F1, F2, ... Fn)에 대응되는 프로젝션 위치(P1, P2, ... Pn) 및 시간 또는 배열 순서에 대한 정보를 고려하여, 이미지 프레임(F1, F2, ... Fn)을 복수의 CNN에 제공할 수 있다. 예컨대, 뇌혈관 질환 학습 장치는 제1이미지 프레임(F1)을 제1 CNN의 입력으로 전달하고, 제2이미지 프레임(F2)을 제2 CNN의 입력으로 전달하고, 제n이미지 프레임(Fn)을 제n CNN의 입력으로 전달하도록 구성할 수 있다.
공간 특성 학습모델에 구비되는 CNN의 구체적인 구조 및 동작은 전술한 도 4 내지 도 7의 설명을 참조한다.
나아가, 공간 특성 학습모델에 구비되는 복수의 CNN은 각각 2번의 3Х3 합성곱을 구비하는 것이 바람직하다. 또한, 공간 특성 학습모델은 2Х2 최대 풀링 연산(max-pooling operation) 구조를 구비할 수 있다.
또한, 뇌혈관 질환 학습 장치는 복수의 CNN을 통해 출력되는 복수의 공간 특성을 직렬화할 수 있다(S1003). 뇌혈관 질환 학습 장치는 프로젝션 위치(P1, P2, ... Pn) 및 시간 또는 배열 순서에 대한 정보를 고려하여, 복수의 공간 특성을 직렬화하는 것이 바람직하다.
한편, 뇌혈관 질환 학습 장치는 직렬화된 데이터로 구성된 복수의 공간 특성을 입력받고, 이미지 프레임 사이의 관계에 대한 특성(즉, 프레임 특성)을 검출하는 학습을 수행할 수 있다(S1004). 바람직하게, 뇌혈관 질환 학습 장치는 순환 신경망(RNN; Recurrent Neural Nerwork) 학습 방식에 기초하여 프레임 특성 학습모델을 구축할 수 있다.
순환 신경망(RNN)은 현재의 데이터와 과거의 데이터를 동시에 고려하는 딥 러닝 기법으로서, 순환 신경망(RNN)은 인공 신경망을 구성하는 유닛 사이의 연결이 방향성 사이클(directed cycle)을 구성하는 신경망을 나타낸다. 나아가, 순환 신경망(RNN)을 구성할 수 있는 구조에는 다양한 방식이 사용될 수 있는데, 예컨대, 완전순환망(Fully Recurrent Network), 홉필드망(Hopfield Network), 엘만망(Elman Network), ESN(Echo state network), LSTM(Long short term memory network), 양방향(Bi-directional) RNN, CTRNN(Continuous-time RNN), 계층적 RNN, 2차 RNN 등이 대표적인 예이다. 또한, 순환 신경망(RNN)을 학습시키기 위한 방법으로서, 경사 하강법, Hessian Free Optimization, Global Optimization Method 등의 방식이 사용될 수 있다.
한편, 공간 특성 정보는 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)으로부터 추출된 정보이므로, 뇌혈관 질환 학습 장치는 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)의 시간적 정보를 확인하고, 확인된 시간적 정보에 기초하여, 공간 특성 정보에 대한 프레임 특성 학습을 처리할 수 있다.
뇌혈관 질환 학습 장치는 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)의 공간 특성 정보에 대한 프레임 특성을 학습하므로, MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)에 대응되는 프레임 특성을 각각 출력할 수 있다.
나아가, 공간 특성 정보는 프레임 특성 학습모델에 순차적으로 제공될 수 있으며, 프레임 특성 학습모델은 프레임 특성을 순차적으로 출력할 수 있다.
한편, CNN 기반의 병변 특성 학습부는 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn) 단위에 대한 병변 정보를 출력하도록 구성될 수 있으므로, 뇌혈관 질환 학습 장치는 순차적으로 출력되는 프레임 특성을 병변 특성 학습부에 전달하기 위해 병렬화를 수행하는 동작(S1005)을 더 처리할 수 있다.
다음으로, S1006 단계에서, 뇌혈관 질환 학습 장치는 복수의 이미지 프레임(F1, F2, ... Fn) 각각에 대응되는 병변 정보를 학습할 수 있다(S1006). 예컨대, 뇌혈관 질환 학습 장치는 프레임 특성을 사용하여 병변 특성 학습모델을 구축할 수 있다.
병변 특성 학습모델은 CNN 학습 방식에 기초한 학습모델일 수 있으며, MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)의 수에 대응되는 만큼의 CNN을 구비할 수 있다. 그리고, 뇌혈관 질환 학습 장치는 제1이미지 프레임(F1)에 대응되는 제1프레임 특성을 제1 CNN의 입력으로 전달하고, 제2이미지 프레임(F2)에 대응되는 제1프레임 특성을 제2 CNN의 입력으로 전달하고, 제n이미지 프레임(Fn)에 대응되는 제n 프레임 특성을 제n CNN의 입력으로 전달하도록 구성할 수 있다.
나아가, 공간 특성 학습모델에 구비되는 복수의 CNN은 정보 추출 Domain의 크기를 줄이는 풀링(Pooling) 구조로 이루어지므로, 공간 특성 학습모델과 프레임 특성 학습모델을 통해 병변 특성 학습모델에 전달되는 정보는 풀링(Pooling) 구조에 기초하여 소정의 크기로 압축된 정보일 수 있다. 이에 기초하여, 병변 특성 학습모델은 입력된 정보의 보간을 통해, 그 Domain 크기를 늘리는 업샘플링(upsampling) 구조를 구비할 수 있다.
나아가, 병변 특성 학습모델에 구비되는 복수의 CNN은 각각 2번의 3Х3 합성곱을 구비할 수 있다.
뇌혈관 질환 학습 장치는 전술한 방법을 통해 3D TOF MRA(3D Time-of-flight magnetic resonance angiography)를 입력받고, 이에 대응되는 변병 정보를 출력하는 학습을 수행할 수 있다.
비록, 본 개시의 일 실시예에서, 공간 특성 학습모델 및 병변 특성 학습모델에 구비되는 합성곱의 크기 및 개수, 공간 특성 학습모델에 구비되는 풀링(Pooling) 구조와, 업샘플링(upsampling) 구조 등을 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 다양하게 변경될 수 있음은 물론이다.
도 11은 본 개시의 일 실시 예에 따른 뇌혈관 질환 검출 방법의 순서를 도시하는 흐름도이다.
본 개시의 일 실시 예에 따른 뇌혈관 질환 검출 방법은 전술한 본 개시의 일 실시 예에 따른 뇌혈관 질환 검출 장치에 의해 수행될 수 있다.
도 11을 참조하면, 우선, 뇌혈관 질환 검출 장치는 3D TOF MRA(3D Time-of-flight magnetic resonance angiography)를 입력받고, MIP MRA(Maximum intensity projection magnetic resonance angiography)를 구성할 수 있다(S1101). 여기서, 3D TOF MRA는 뇌영역에서 혈관이 존재하는 영역의 신호를 강하게 측정하여 획득한 3D 형태의 MRA일 수 있으며, MIP MRA는 3D TOF MRA를 다양한 방향에서 프로젝션(Projection)하여 획득한 이미지 프레임을 시계열적으로 조합하여 구성한 동영상 데이터일 수 있다.
예컨대, 뇌혈관 질환 검출 장치는 미리 정해진 프로젝션 위치를 확인할 수 있으며, 확인된 프로젝션 위치에 대응되는 이미지 프레임을 획득할 수 있다. 그리고, 뇌혈관 질환 검출 장치는 전술한 동작을 통해 획득된 복수의 이미지 프레임을 미리 정해진 시간 단위를 기준으로 시계열적으로 조합하여 동영상 데이터를 구성할 수 있다.
*예를 들어, 복수의 2D MRA 영상을 적층하여 구성된 3D TOF MRA을 중심으로 적어도 하나의 프로젝션 위치가 설정될 수 있는데, 뇌혈관 질환 검출 장치는 제1프로젝션 위치(P1)에서 획득하여 제1이미지 프레임(F1)을 구성하고, 제2프로젝션 위치(P2)에서 획득하여 제2이미지 프레임(F2)을 구성할 수 있다. 뇌혈관 질환 검출 장치는 이러한 동작을 반복적으로 수행하여 n개의 프로젝션 위치(Pn)에 대응되 n개의 이미지 프레임(Fn)을 획득할 수 있다. 뇌혈관 질환 검출 장치는 n개의 이미지 프레임(Fn)을 미리 정해진 위치에 따라 정렬하고, 정렬된 복수의 이미지 프레임을 미리 정해진 시간 단위(10㎳)마다 배치 및 조합하여 동영상 데이터 형태의 MIP MRA를 구성할 수 있다.
나아가, MIP MRA는 이미지 프레임(F1, F2, ... Fn)에 대응되는 프로젝션 위치(P1, P2, ... Pn) 및 시간 또는 배열 순서에 대한 정보를 포함할 수 있다.
다음으로, 뇌혈관 질환 검출 장치는 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn) 각각으로부터 공간 특성을 추출할 수 있다(S1102). 특히, 뇌혈관 질환 검출 장치는 전술한 뇌혈관 질환 학습 방법에 의해 구축된 공간 특성 학습모델을 구비할 수 있으며, 공간 특성 학습모델을 통해 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn) 각각으로부터 공간 특성을 추출할 수 있다.
예컨대, 공간 특성 학습모델에는 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)의 수에 대응되는 CNN이 구비될 수 있으며, 뇌혈관 질환 검출 장치는 제1이미지 프레임(F1)을 제1 CNN의 입력으로 전달하고, 제2이미지 프레임(F2)을 제2 CNN의 입력으로 전달하고, 제n이미지 프레임(Fn)을 제n CNN의 입력으로 전달할 수 있다.
공간 특성 학습모델에 구비되는 CNN의 구체적인 구조 및 동작은 전술한 도 4 내지 도 7의 설명을 참조한다.
나아가, 공간 특성 학습모델에 구비되는 복수의 CNN은 각각 2번의 3Х3 합성곱을 구비하는 것이 바람직하다. 또한, 공간 특성 학습모델은 2Х2 최대 풀링 연산(max-pooling operation) 구조를 구비할 수 있다.
또한, 뇌혈관 질환 검출 장치는 복수의 CNN(31-1, 31-2, 31-n)을 통해 출력되는 복수의 공간 특성을 직렬화 할 수 있다(S1103). 뇌혈관 질환 검출 장치는 프로젝션 위치(P1, P2, ... Pn) 및 시간 또는 배열 순서에 대한 정보를 고려하여, 복수의 공간 특성을 직렬화하는 것이 바람직하다.
한편, 뇌혈관 질환 검출 장치는 직렬화된 데이터로 구성된 복수의 공간 특성을 입력받고, 이미지 프레임 사이의 관계에 대한 특성(즉, 프레임 특성)을 검출할 수 있다(S1104). 바람직하게, 뇌혈관 질환 검출 장치는 순환 신경망(RNN; Recurrent Neural Nerwork) 학습 방식에 기초한 프레임 특성 학습모델을 사용하여 프레임 특성을 검출할 수 있다. 이때, 프레임 특성 학습모델은 전술한 뇌혈관 질환 학습 방법을 통해 구축된 프레임 특성 학습모델일 수 있다.
나아가, 공간 특성 정보는 프레임 특성 학습모델에 순차적으로 제공될 수 있으며, 프레임 특성 학습모델은 프레임 특성을 순차적으로 출력할 수 있다.
한편, CNN 기반의 병변 특성 학습모델은 MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn) 단위에 대한 병변 정보를 출력하도록 구성될 수 있으므로, 뇌혈관 질환 검출 장치는 순차적으로 출력되는 프레임 특성을 병변 특성 학습부에 전달하기 위해 병렬화를 수행하는 동작(S1105)을 더 처리할 수 있다.
뇌혈관 질환 검출 장치는 프레임 특성으로부터 병변 특성을 추출할 수 있다(S1106). 특히, 뇌혈관 질환 검출 장치는 뇌혈관 질환 학습 방법을 통해 구축된 병변 특성 학습모델을 구비할 수 있다.
병변 특성 학습모델은 CNN 학습 방식에 기초한 학습모델일 수 있으며, MIP MRA에 포함된 이미지 프레임(F1, F2, ... Fn)의 수에 대응되는 만큼의 CNN을 구비할 수 있다. 그리고, 뇌혈관 질환 검출 장치는 제1이미지 프레임(F1)에 대응되는 제1프레임 특성을 제1 CNN의 입력으로 전달하고, 제2이미지 프레임(F2)에 대응되는 제1프레임 특성을 제2 CNN의 입력으로 전달하고, 제n이미지 프레임(Fn)에 대응되는 제n 프레임 특성을 제n CNN의 입력으로 전달하도록 구성할 수 있다.
나아가, 공간 특성 학습모델에 구비되는 복수의 CNN은 정보 추출 Domain의 크기를 줄이는 풀링(Pooling) 구조로 이루어지므로, 공간 특성 학습모델과 프레임 특성 학습모델을 통해 병변 특성 학습모델에 전달되는 정보는 풀링(Pooling) 구조에 기초하여 소정의 크기로 압축된 정보일 수 있다. 이에 기초하여, 병변 특성 학습모델은 입력된 정보의 보간을 통해, 그 Domain 크기를 늘리는 업샘플링(upsampling) 구조를 구비할 수 있다.
나아가, 병변 특성 학습모델에 구비되는 복수의 CNN은 각각 2번의 3Х3 합성곱을 구비할 수 있다.
뇌혈관 질환 검출 장치는 전술한 방법을 통해 3D TOF MRA(3D Time-of-flight magnetic resonance angiography)를 입력받고, 이에 대응되는 변병 정보를 검출 및 출력하는 동작을 수행할 수 있다.
비록, 본 개시의 일 실시예에서, 공간 특성 학습모델 및 병변 특성 학습모델에 구비되는 합성곱의 크기 및 개수, 공간 특성 학습모델에 구비되는 풀링(Pooling) 구조와, 업샘플링(upsampling) 구조 등을 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 다양하게 변경될 수 있음은 물론이다.
도 12는 본 개시의 일 실시예에 따른 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법을 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
도 12를 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (11)

  1. 영상을 기반으로 학습모델을 구축하는 전자 장치에 있어서,
    3D TOF MRA(3D Time-of-flight magnetic resonance angiography)를 입력받고, 복수의 이미지 프레임을 포함하는 MIP MRA(Maximum intensity projection magnetic resonance angiography)를 구성하는 MIP MRA 구성부와,
    CNN(Convolutional Neural Networks) 학습 방식에 기초한 공간 특성 학습모델을 구축하되, 상기 공간 특성 학습모델은 상기 복수의 이미지 프레임 각각에 대한 공간 특성을 학습하는 공간 특성 학습부와,
    상기 공간 특성을 입력받고 RNN(Recurrent Neural Networks) 학습 방식에 기초한 프레임 특성 학습모델을 구축하되, 상기 프레임 특성 학습모델은 복수의 이미지 프레임 사이의 특성을 나타내는 프레임 특성을 학습하는 프레임 특성 학습부와,
    상기 프레임 특성을 입력받고 상기 CNN 학습 방식에 기초한 병변 특성 학습모델을 구축하되, 상기 병변 특성 학습모델은 상기 복수의 이미지 프레임 각각에 대한 병변 특성을 학습하는 병변 특성 학습부를 포함하는 것을 특징으로 하는 뇌혈관 질환 학습 장치.
  2. 제1항에 있어서, 상기 공간 특성 학습모델은,
    상기 복수의 이미지 프레임을 각각 입력받고, 입력받은 이미지 프레임에 대한 공간 특성을 학습하는 복수의 CNN을 포함하는 것을 특징으로 하는 뇌혈관 질환 학습 장치.
  3. 제1항에 있어서, 상기 공간 특성 학습부는,
    상기 복수의 이미지 프레임 각각에 대한 복수의 공간 특성을 직렬화하는 직렬화 처리부를 포함하는 것을 특징으로 하는 뇌혈관 질환 학습 장치.
  4. 제1항에 있어서, 상기 프레임 특성 학습부는,
    상기 프레임 특성 학습모델을 통해 출력되는 프레임 특성을 상기 복수의 이미지 프레임을 고려하여 병렬화하는 병렬화 처리부를 포함하는 것을 특징으로 하는 뇌혈관 질환 학습 장치.
  5. 제1항에 있어서, 상기 공간 특성 학습모델은,
    미리 정해진 크기의 최대 풀링 연산(max-pooling operation) 구조를 구비하는 것을 특징으로 하는 뇌혈관 질환 학습 장치.
  6. 제5항에 있어서, 상기 병변 특성 학습모델은,
    상기 미리 정해진 크기를 고려하여, 상기 프레임 특성의 특징 맵(feature map) 크기를 증가시키는 업샘플링(upsampling) 구조를 구비하는 것을 특징으로 하는 뇌혈관 질환 학습 장치.
  7. 영상을 기반으로 병변을 검출하는 전자 장치에 있어서,
    3D TOF MRA(3D Time-of-flight magnetic resonance angiography)를 입력받고, 복수의 이미지 프레임을 포함하는 MIP MRA(Maximum intensity projection magnetic resonance angiography)를 구성하는 MIP MRA 구성부와,
    CNN(Convolutional Neural Networks) 학습 방식에 기초하여, 상기 복수의 이미지 프레임 각각에 대한 공간 특성의 학습을 통해 구축된 공간 특성 학습모델을 구비하고, 상기 공간 특성 학습모델을 통해 상기 복수의 이미지 프레임 각각에 대한 공간 특성을 검출하는 공간 특성 검출부와,
    RNN(Recurrent Neural Networks) 학습 방식에 기초하여, 상기 공간 특성에 대응되는 프레임 특성의 학습을 통해 구축된 프레임 특성 학습모델을 구비하고, 상기 프레임 특성 학습모델을 통해 상기 프레임 특성을 검출하는 프레임 특성 검출부와,
    상기 CNN 학습 방식에 기초하여 상기 프레임 특성에 대응되는 병변 특성의 학습을 통해 구축된 병변 특성 학습모델을 구비하고, 상기 병변 특성 학습모델을 통해 상기 복수의 이미지 프레임 각각에 대한 병변 특성을 검출하는 병변 특성 검출부를 포함하는 것을 특징으로 하는 뇌혈관 질환 검출 장치.
  8. 제7항에 있어서,
    상기 공간 특성 검출부는,
    상기 복수의 이미지 프레임 각각에 대한 복수의 공간 특성을 직렬화하는 직렬화 처리부를 포함하고,
    상기 프레임 특성 검출부는,
    상기 프레임 특성 학습모델을 통해 출력되는 프레임 특성을 상기 복수의 이미지 프레임을 고려하여 병렬화하는 병렬화 처리부를 포함하는 것을 특징으로 하는 하는 뇌혈관 질환 검출 장치.
  9. 제7항에 있어서,
    상기 공간 특성 학습모델은,
    미리 정해진 크기의 최대 풀링 연산(max-pooling operation) 구조를 구비하고,
    상기 병변 특성 학습모델은,
    상기 미리 정해진 크기를 고려하여, 상기 프레임 특성의 특징 맵(feature map) 크기를 증가시키는 업샘플링(upsampling) 구조를 구비하는 것을 특징으로 하는 뇌혈관 질환 검출 장치.
  10. 전자장치가 영상을 기반으로 학습모델을 구축하는 방법에 있어서,
    3D TOF MRA(3D Time-of-flight magnetic resonance angiography)를 입력받고, 복수의 이미지 프레임을 포함하는 MIP MRA(Maximum intensity projection magnetic resonance angiography)를 구성하는 과정과,
    CNN(Convolutional Neural Networks) 학습 방식에 기초한 공간 특성 학습모델을 구축하되, 상기 공간 특성 학습모델은 상기 복수의 이미지 프레임 각각에 대한 공간 특성을 학습하는 과정과,
    상기 공간 특성을 입력받고 RNN(Recurrent Neural Networks) 학습 방식에 기초한 프레임 특성 학습모델을 구축하되, 상기 프레임 특성 학습모델은 복수의 이미지 프레임 사이의 특성을 나타내는 프레임 특성을 학습하는 과정과,
    상기 프레임 특성을 입력받고 상기 CNN 학습 방식에 기초한 병변 특성 학습모델을 구축하되, 상기 병변 특성 학습모델은 상기 복수의 이미지 프레임 각각에 대한 병변 특성을 학습하는 과정을 포함하는 것을 특징으로 하는 뇌혈관 질환 학습 방법.
  11. 전자장치가 영상을 기반으로 병변을 검출하는 방법에 있어서,
    3D TOF MRA(3D Time-of-flight magnetic resonance angiography)를 입력받고, 복수의 이미지 프레임을 포함하는 MIP MRA(Maximum intensity projection magnetic resonance angiography)를 구성하는 과정과,
    공간 특성 학습모델을 통해 상기 복수의 이미지 프레임 각각에 대한 공간 특성을 검출하되, 상기 공간 특성 학습모델은 CNN(Convolutional Neural Networks) 학습 방식에 기초하여, 상기 복수의 이미지 프레임 각각에 대한 공간 특성의 학습을 통해 구축된 학습모델인 것을 특징으로 하는 과정과,
    프레임 특성 학습모델을 통해 상기 프레임 특성을 검출하되, 상기 프레임 특성 학습모델은 RNN(Recurrent Neural Networks) 학습 방식에 기초하여, 상기 공간 특성에 대응되는 프레임 특성의 학습을 통해 구축된 학습모델인 것을 특징으로 하는 과정과,
    병변 특성 학습모델을 통해 상기 복수의 이미지 프레임 각각에 대한 병변 특성을 검출하되, 상기 병변 특성 학습모델은, 상기 CNN 학습 방식에 기초하여 상기 프레임 특성에 대응되는 병변 특성의 학습을 통해 구축된 학습모델인 것을 특징으로 하는 과정을 포함하는 것을 특징으로 하는 뇌혈관 질환 검출 방법.
PCT/KR2019/018586 2018-12-27 2019-12-27 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법 WO2020139009A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021538436A JP2022516146A (ja) 2018-12-27 2019-12-27 脳血管疾患学習装置、脳血管疾患検出装置、脳血管疾患学習方法、及び脳血管疾患検出方法
US17/418,914 US20220122729A1 (en) 2018-12-27 2019-12-27 Apparatus for learning cerebrovascular disease, apparatus for detecting cerebrovascular disease, mehtod of learning cerebrovascular disease and method of detecting cerebrovascular disease

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0171151 2018-12-27
KR1020180171151A KR102021515B1 (ko) 2018-12-27 2018-12-27 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법

Publications (1)

Publication Number Publication Date
WO2020139009A1 true WO2020139009A1 (ko) 2020-07-02

Family

ID=68067139

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/018586 WO2020139009A1 (ko) 2018-12-27 2019-12-27 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법

Country Status (4)

Country Link
US (1) US20220122729A1 (ko)
JP (1) JP2022516146A (ko)
KR (1) KR102021515B1 (ko)
WO (1) WO2020139009A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102021515B1 (ko) * 2018-12-27 2019-09-16 (주)제이엘케이인스펙션 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법
KR102288727B1 (ko) 2019-10-29 2021-08-10 동아대학교 산학협력단 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치 및 방법
JP7297705B2 (ja) * 2020-03-18 2023-06-26 株式会社東芝 処理装置、処理方法、学習装置およびプログラム
JP7481956B2 (ja) * 2020-08-26 2024-05-13 株式会社東芝 推論装置、方法、プログラムおよび学習装置
KR102554282B1 (ko) 2020-12-04 2023-07-11 서울과학기술대학교 산학협력단 객체 추천 장치, 방법 및 시스템
KR102562377B1 (ko) * 2020-12-29 2023-08-01 성균관대학교산학협력단 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템
KR20220124643A (ko) 2021-03-02 2022-09-14 고려대학교 산학협력단 합성곱 신경망을 기반으로 한 petra 이미지와 tof 이미지 간 이미지 변환 시스템 및 그 방법
KR20230106205A (ko) 2022-01-05 2023-07-13 동아대학교 산학협력단 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101754291B1 (ko) * 2017-04-04 2017-07-06 이현섭 개인 맞춤형 뇌질병 진단 및 상태 판정을 위한 의료 영상 처리 시스템 및 방법
KR20180021635A (ko) * 2016-08-22 2018-03-05 한국과학기술원 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템
KR101884609B1 (ko) * 2017-05-08 2018-08-02 (주)헬스허브 모듈화된 강화학습을 통한 질병 진단 시스템
US20180259608A1 (en) * 2015-11-29 2018-09-13 Arterys Inc. Automated cardiac volume segmentation
KR102021515B1 (ko) * 2018-12-27 2019-09-16 (주)제이엘케이인스펙션 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180259608A1 (en) * 2015-11-29 2018-09-13 Arterys Inc. Automated cardiac volume segmentation
KR20180021635A (ko) * 2016-08-22 2018-03-05 한국과학기술원 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템
KR101754291B1 (ko) * 2017-04-04 2017-07-06 이현섭 개인 맞춤형 뇌질병 진단 및 상태 판정을 위한 의료 영상 처리 시스템 및 방법
KR101884609B1 (ko) * 2017-05-08 2018-08-02 (주)헬스허브 모듈화된 강화학습을 통한 질병 진단 시스템
KR102021515B1 (ko) * 2018-12-27 2019-09-16 (주)제이엘케이인스펙션 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JEONG GYU SHIN: "Deep learning and data", KAKAO AI REPORT, vol. 7, 31 October 2017 (2017-10-31), pages 22 - 27, XP009522293 *

Also Published As

Publication number Publication date
US20220122729A1 (en) 2022-04-21
JP2022516146A (ja) 2022-02-24
KR102021515B1 (ko) 2019-09-16

Similar Documents

Publication Publication Date Title
WO2020139009A1 (ko) 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법
WO2020171373A1 (en) Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames
WO2020076135A1 (ko) 암 영역에 대한 딥러닝 모델 학습 장치 및 방법
WO2020197239A1 (ko) 뉴럴 네트워크를 이용한 결측 영상 데이터 대체 방법 및 그 장치
WO2019164232A1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2019132589A1 (ko) 다중 객체 검출을 위한 영상 처리 장치 및 방법
US20200294252A1 (en) Human-tracking methods, systems, and storage media
EP3963516A1 (en) Teaching gan (generative adversarial networks) to generate per-pixel annotation
US11004214B2 (en) Image processing apparatus, image processing method, and storage medium
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
WO2021101134A1 (en) Electronic apparatus and control method thereof
Bi et al. PIX2NVS: Parameterized conversion of pixel-domain video frames to neuromorphic vision streams
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2020116768A1 (ko) 영상 처리 장치 및 그 동작방법
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
WO2019168264A1 (ko) 전자 장치 및 그 제어 방법
WO2021010671A9 (ko) 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
WO2022045495A1 (en) Methods for depth map reconstruction and electronic computing device for implementing the same
WO2021246811A1 (ko) 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템
WO2020231005A1 (ko) 영상 처리 장치 및 그 동작방법
WO2020139011A1 (ko) 뇌병변 정보 제공 장치 및 방법
WO2022265197A1 (ko) 인공지능에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치
WO2023095989A1 (ko) 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법 및 장치
WO2020045794A1 (ko) 전자 장치 및 그 제어 방법
WO2021002669A1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19906374

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021538436

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 01/10/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19906374

Country of ref document: EP

Kind code of ref document: A1