KR102030533B1 - Image processing apparatus for adopting human body morphometric based on artificial neural network for sarcopenia and image processing method using the same - Google Patents
Image processing apparatus for adopting human body morphometric based on artificial neural network for sarcopenia and image processing method using the same Download PDFInfo
- Publication number
- KR102030533B1 KR102030533B1 KR1020180035284A KR20180035284A KR102030533B1 KR 102030533 B1 KR102030533 B1 KR 102030533B1 KR 1020180035284 A KR1020180035284 A KR 1020180035284A KR 20180035284 A KR20180035284 A KR 20180035284A KR 102030533 B1 KR102030533 B1 KR 102030533B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- image processing
- neural network
- lumbar level
- images
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 title claims abstract description 27
- 238000003672 processing method Methods 0.000 title claims description 19
- 208000001076 sarcopenia Diseases 0.000 title claims description 10
- 230000003562 morphometric effect Effects 0.000 title claims 9
- 238000013425 morphometry Methods 0.000 title claims 9
- 238000000034 method Methods 0.000 claims abstract description 78
- 238000013135 deep learning Methods 0.000 claims abstract description 22
- 210000003205 muscle Anatomy 0.000 claims abstract description 17
- 210000001596 intra-abdominal fat Anatomy 0.000 claims abstract description 16
- 238000002372 labelling Methods 0.000 claims abstract description 16
- 210000004003 subcutaneous fat Anatomy 0.000 claims abstract description 16
- 238000003325 tomography Methods 0.000 claims abstract description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 27
- 238000007781 pre-processing Methods 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000012805 post-processing Methods 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000009792 diffusion process Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 33
- 238000012549 training Methods 0.000 description 9
- 238000002059 diagnostic imaging Methods 0.000 description 5
- 208000021642 Muscular disease Diseases 0.000 description 4
- 201000009623 Myopathy Diseases 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000002216 heart Anatomy 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000004291 uterus Anatomy 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004705 lumbosacral region Anatomy 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000006938 muscular dystrophy Diseases 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
일 실시예에 따른 영상 처리 장치는 적층됨으로써 대상체에 대한 3차원 영상을 구성하는, 단층 촬영된 복수 개의 영상을 획득하는 영상 획득부와, 상기 영상 획득부에 의해 획득된 복수 개의 영상을 입력으로 받아서, 딥러닝 방식으로 사전에 학습된 제1 인공 신경망 모델(artificial neural network model)을 통해, L3 요추레벨에 해당하는 영역을 포함하는 영상을 선택하는 요추레벨 선택부와, 상기 L3 요추레벨에 해당하는 영역을 포함하는 영상을 입력으로 받아서, 딥러닝 방식으로 사전에 학습된 제2 인공 신경망 모델을 통해 상기 L3 요추레벨에 해당하는 영역을 포함하는 영상에 피하지방, 내장지방 및 근육 중 적어도 하나를 구분하여 표시하는 라벨링부를 포함한다.According to an embodiment, an image processing apparatus may receive an image acquisition unit configured to acquire a plurality of tomography images and a plurality of images acquired by the image acquisition unit to form a 3D image of an object by being stacked. And a lumbar level selection unit for selecting an image including a region corresponding to the L3 lumbar level through a first artificial neural network model previously trained by a deep learning method, and a lumbar level corresponding to the L3 lumbar level. Receive at least one of subcutaneous fat, visceral fat and muscle in the image including the region corresponding to the L3 lumbar level through a second artificial neural network model that is previously trained by a deep learning method as an input including an image including a region It comprises a labeling unit to display.
Description
본 발명은 근감소증 분석지원을 위한 인공 신경망 기반의 인체 형태 분석법을 채용하는 영상 처리 장치 및 이를 이용한 영상 처리 방법에 관한 것이다.The present invention relates to an image processing apparatus employing an artificial neural network-based human shape analysis method for the analysis of muscle reduction and an image processing method using the same.
근감소증(sarcopenia)이란 노화에 동반되는 신체 구성의 변화의 하나이다. 최근 여러 역학 연구를 통해 이러한 근감소증이 신체 대사에 미치는 영향이 밝혀지고 있는데, 그 영향으로는 예컨대 전신 쇠약 또는 각종 질환의 발생률 증가 등이 있다. 이에, 근감소증을 진단하기 위한 많은 연구들이 제시되고 있다.Sarcopenia is one of the changes in body composition that accompanies aging. Recent epidemiological studies have revealed the effects of these myopathy on body metabolism, such as systemic weakness or increased incidence of various diseases. Thus, many studies for diagnosing myopathy have been proposed.
종래에는 의사와 같은 전문가가 컴퓨터 단층 촬영 (computerized tomography, CT) 장치 또는 자기 공명 영상 (magnetic resonance imaging, MRI) 장치와 같은 의료 영상 장비로부터 획득된 영상을 육안으로 분석하여서 근감소증을 진단했다. 그런데, 환자의 수가 증가함에 따라 작업의 대상이 되는 영상의 수가 급격하게 늘어나게 되었다. 이에, 보다 신속하면서도 효율적으로 그리고 정확하게 근감소증을 진단할 수 있는 기술이 요구되고 있다.In the past, a specialist such as a doctor diagnosed myotropia by visually analyzing an image obtained from a medical imaging device such as a computerized tomography (CT) device or a magnetic resonance imaging (MRI) device. However, as the number of patients increases, the number of images that are the target of the work increases rapidly. Accordingly, there is a need for a technology capable of diagnosing muscular dystrophy more quickly, efficiently and accurately.
본 발명의 해결하고자 하는 과제는 CT 장치와 같은 의료 영상 장치로부터 획득된 영상으로부터 근육, 피하지방 또는 내장지방을 구분하여서 식별하는 기술을 제공하는 것이며, 이를 통해 근감소증 진단을 위한 기초 자료를 자동으로 생성 내지 제공하는 것이다.The problem to be solved by the present invention is to provide a technique for distinguishing muscle, subcutaneous fat or visceral fat from images obtained from a medical imaging device such as a CT device, through which the basic data for the diagnosis of myotropia is automatically To produce or provide.
다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the problem to be solved of the present invention is not limited to those mentioned above, another problem to be solved is not mentioned can be clearly understood by those skilled in the art from the following description. will be.
일 실시예에 따른 영상 처리 장치는 적층됨으로써 대상체에 대한 3차원 영상을 구성하는, 단층 촬영된 복수 개의 영상을 획득하는 영상 획득부와, 상기 영상 획득부에 의해 획득된 복수 개의 영상을 입력으로 받아서, 딥러닝(deep learning) 방식으로 사전에 학습된 제1 인공 신경망 모델(artificial neural network model)을 통해, L3 요추레벨에 해당하는 영역을 포함하는 영상을 선택하는 요추레벨 선택부와, 상기 L3 요추레벨에 해당하는 영역을 포함하는 영상을 입력으로 받아서, 딥러닝 방식으로 사전에 학습된 제2 인공 신경망 모델을 통해 상기 L3 요추레벨에 해당하는 영역을 포함하는 영상에 피하지방, 내장지방 및 근육 중 적어도 하나를 구분하여 표시하는 라벨링부를 포함한다.According to an embodiment, an image processing apparatus may receive an image acquisition unit configured to acquire a plurality of tomography images and a plurality of images acquired by the image acquisition unit to form a 3D image of an object by being stacked. And a lumbar level selection unit for selecting an image including a region corresponding to the L3 lumbar level through a first artificial neural network model previously learned by a deep learning method, and the L3 lumbar spine The subcutaneous fat, visceral fat, and muscles of the subcutaneous fat, visceral fat, and muscles are input to the image including the region corresponding to the L3 lumbar level through a second artificial neural network model that is previously trained by deep learning. It includes a labeling unit for distinguishing at least one display.
또한, 상기 영상 처리 장치는 상기 영상 획득부에 의해 획득된 복수 개의 영상 각각에 비등방성 확산 필터(anisotropic diffusion filter) 및 가우시안 스무딩 필터(gaussion smoothing filter) 중 적어도 하나를 적용하여서 전처리하는 전처리부를 더 포함할 수 있으며, 상기 요추레벨 선택부는 상기 전처리부에 의해 전처리된 복수 개의 영상을 입력으로 받아서, 상기 딥러닝 방식으로 사전에 학습된 제1 인공 신경망 모델(artificial neural network model)을 통해 L3 요추레벨에 해당하는 영역을 포함하는 영상을 선택할 수 있다.The image processing apparatus may further include a preprocessor configured to preprocess by applying at least one of an anisotropic diffusion filter and a Gaussian smoothing filter to each of the plurality of images obtained by the image acquisition unit. The lumbar level selection unit may receive a plurality of images pre-processed by the preprocessing unit as inputs, and then input the L3 lumbar level through a first artificial neural network model trained in advance by the deep learning method. An image including a corresponding area may be selected.
또한, 상기 영상 처리 장치는 상기 영상 획득부에 의해 획득된 복수 개의 영상 각각에 gradient magnitude, 시그모이드 필터(sigmoid filter) 및 정규화(normalization) 중 적어도 하나를 적용하여서 전처리하는 전처리부를 더 포함할 수 있고, 상기 요추레벨 선택부는 상기 전처리부에 의해 전처리된 복수 개의 영상을 입력으로 받아서, 상기 딥러닝 방식으로 사전에 학습된 제1 인공 신경망 모델을 통해 L3 요추레벨에 해당하는 영역을 포함하는 영상을 선택할 수 있다.The image processing apparatus may further include a preprocessor configured to preprocess by applying at least one of a gradient magnitude, a sigmoid filter, and a normalization to each of the plurality of images acquired by the image acquirer. The lumbar level selector receives a plurality of images preprocessed by the preprocessor, and receives an image including an area corresponding to the L3 lumbar level through a first artificial neural network model previously learned by the deep learning method. You can choose.
또한, 상기 제1 인공 신경망 모델은 상기 입력받은 복수 개의 영상을 L3 요추레벨 및 L4 요추레벨 중 어느 하나를 포함하는 제1 영상과, 상기 L3 요추레벨에 해당하지 않으면서 상기 L4 요추레벨에도 해당하지 않는 제2 영상으로 분류하도록 사전에 학습된 컨볼루션 신경망(convolutional neural network, CNN) 분류자(classifier)일 수 있다.The first artificial neural network model may include the first image including any one of the L3 lumbar level and the L4 lumbar level, and the L4 lumbar level without being the L3 lumbar level. Or a convolutional neural network (CNN) classifier previously trained to classify the second image.
또한, 상기 영상 처리 장치는 상기 컨볼루션 신경망 분류자에 의해 분류된 제1 영상이 상기 복수 개의 영상 전체에서 갖는 상대적인 위치를 기준으로, 상기 분류된 제1 영상이 상기 L3 요추레벨과 상기 L4 요추레벨 중 어느 하나에 해당하는지를 판별하는 요추레벨 후처리부를 더 포함할 수 있다.The image processing apparatus may further include the L3 lumbar level and the L4 lumbar level based on a relative position of a first image classified by the convolutional neural network classifier in the entirety of the plurality of images. It may further include a lumbar level post-processing unit for determining which one of the.
또한, 상기 제1 인공 신경망 모델은 컨볼루션 신경망 검출 (CNN detector) 모델 또는 컨볼루션 신경망 분할(CNN segmentation) 모델 중 어느 하나일 수 있다.In addition, the first artificial neural network model may be any one of a convolutional neural network detection (CNN detector) model or a convolutional neural network segmentation (CNN segmentation) model.
또한, 상기 영상 처리 장치는 상기 피하지방, 내장지방 및 근육 중 적어도 하나가 구분되어 표시된 영상에 대해, 레벨-셋(level-set) 기법, 롤링볼(rolling-ball) 알고리즘 및 연결 요소 분석 (connected-component analysis) 기법 중 적어도 하나를 적용하는 라벨링 후처리부를 더 포함할 수 있다.The image processing apparatus may further include a level-set technique, a rolling-ball algorithm, and a connected element analysis on an image in which at least one of the subcutaneous fat, visceral fat, and muscle is divided and displayed. The method may further include a labeling post-processing unit applying at least one of -component analysis) techniques.
일 실시예에 따른 영상 처리 방법은 영상 처리 장치에 의해 수행되며, 적층됨으로써 대상체에 대한 3차원 영상을 구성하는, 단층 촬영된 복수 개의 영상을 획득하는 단계와, 상기 획득된 복수 개의 영상을 입력으로 받아서, 딥러닝 방식으로 사전에 학습된 제1 인공 신경망 모델(artificial neural network model)을 통해, L3 요추레벨에 해당하는 영역을 포함하는 영상을 선택하는 단계와, 상기 L3 요추레벨에 해당하는 영역을 포함하는 영상을 입력으로 받아서, 딥러닝 방식으로 사전에 학습된 제2 인공 신경망 모델을 통해 상기 L3 요추레벨에 해당하는 영역을 포함하는 영상에 피하지방, 내장지방 및 근육 중 적어도 하나를 구분하여 표시하는 단계를 포함한다.The image processing method according to an embodiment of the present invention is performed by an image processing apparatus, and obtaining a plurality of tomographic images, constituting a 3D image of an object by being stacked, and inputting the obtained plurality of images as inputs. And selecting an image including an area corresponding to the L3 lumbar level by using a first artificial neural network model previously trained by the deep learning method, and selecting an area corresponding to the L3 lumbar level. At least one of subcutaneous fat, visceral fat, and muscle is distinguished and displayed on an image including a region corresponding to the L3 lumbar level through a second artificial neural network model that is previously trained by deep learning. It includes a step.
또한, 상기 영상 처리 방법은 상기 획득하는 단계에서 획득된 복수 개의 영상 각각에 비등방성 확산 필터(anisotropic diffusion filter) 및 가우시안 스무딩 필터(gaussion smoothing filter) 중 적어도 하나를 적용하여서 전처리하는 단계를 더 포함할 수 있고, 상기 선택하는 단계는 상기 전처리하는 단계에서 전처리된 복수 개의 영상을 입력으로 받아서, 상기 딥러닝 방식으로 사전에 학습된 제1 인공 신경망 모델(artificial neural network model)을 통해 L3 요추레벨에 해당하는 영역을 포함하는 영상을 선택할 수 있다.The image processing method may further include preprocessing at least one of an anisotropic diffusion filter and a Gaussian smoothing filter to each of the plurality of images obtained in the acquiring step. The selecting may include receiving a plurality of images pre-processed in the preprocessing step, and corresponding to L3 lumbar levels through a first artificial neural network model previously trained by the deep learning method. An image including an area to be selected may be selected.
또한, 상기 영상 처리 방법은 상기 획득하는 단계에서 획득된 복수 개의 영상 각각에 기울기 크기(gradient magnitude), 시그모이드 필터(sigmoid filter) 및 정규화(normalization) 중 적어도 하나를 적용하여서 전처리하는 단계를 더 포함할 수 있고, 상기 선택하는 단계는 상기 전처리하는 단계에서 전처리된 복수 개의 영상을 입력으로 받아서, 상기 딥러닝 방식으로 사전에 학습된 제1 인공 신경망 모델을 통해 L3 요추레벨에 해당하는 영역을 포함하는 영상을 선택할 수 있다.The image processing method may further include preprocessing each of the plurality of images obtained in the obtaining by applying at least one of a gradient magnitude, a sigmoid filter, and a normalization. The selecting may include receiving a plurality of images pre-processed in the preprocessing step as inputs, and include a region corresponding to the L3 lumbar level through a first artificial neural network model previously learned in the deep learning method. You can select the video to play.
일 실시예에 따른 컴퓨터 판독가능한 기록매체는 상기 영상 처리 방법에 포함된 각 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 저장한다.A computer-readable recording medium according to an embodiment stores a computer program programmed to perform each step included in the image processing method.
일 실시예에 따른 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램은 상기 영상 처리 방법에 포함된 각 단계를 수행하도록 프로그램된다.A computer program stored in a computer readable recording medium according to an embodiment is programmed to perform each step included in the image processing method.
일 실시예에 따르면 의료 영상에서 L3 요추레벨에 해당하는 부분을 선택하는 과정, 그리고 이러한 L3 요추레벨에 해당하는 부분에 피하지방/내장지방/근육이 구분 및 표시되는 과정이 딥러닝 방식으로 사전에 학습된 모델에 의해 수행된다. 따라서, 전술한 과정들이 사람에 의해 수행되는 경우에 비해 신속하면서도 효율적으로 수행될 수 있고, 과정 수행에 따른 산출물의 정확성이 향상될 수 있다. 더 나아가서는, 이러한 산출물을 기초로 수행되는 근감소증 진단 역시 보다 효율적이면서도 신속하고 또한 정확하게 이루어질 수 있다.According to an embodiment of the present invention, a process of selecting a portion corresponding to the L3 lumbar level in the medical image, and a process of distinguishing and displaying subcutaneous fat / visceral fat / muscle on the portion corresponding to the L3 lumbar level are deep learning in advance. It is performed by the trained model. Therefore, the above-described processes can be performed more quickly and efficiently than in the case where the process is performed by a person, and the accuracy of the output according to the process can be improved. Furthermore, the diagnosis of myopathy based on these outputs can also be made more efficiently, quickly and accurately.
도 1은 일 실시예에 따른 영상 처리 장치의 구성을 개념적으로 도시하고 있다.
도 2는 도 1에 도시된 전처리부에 의해 영상이 전처리된 결과를 도시하고 있다.
도 3은 도 1에 도시된 전처리부에 의해 영상이 전처리되는 과정을 도시하고 있다.
도 4는 도 1에 도시된 요추레벨 선택부에 의해 요추레벨이 선택된 결과를 도시하고 있다.
도 5는 도 1에 도시된 전처리부에 의해 영상이 전처리되는 과정을 도시하고 있다.
도 6은 도 1에 도시된 라벨링부에 포함된 제2 인공 신경망 모델에 대한 학습용 데이터를 도시하고 있다.
도 7은 도 1에 도시된 라벨링부에 포함된 제2 인공 신경망 모델에 대한 학습용 데이터를 도시하고 있다.
도 8은 일 실시예에 따른 영상 처리 장치의 출력물을 도시하고 있다.
도 9는 일 실시예에 따른 영상 처리 방법의 절차를 도시하고 있다.1 conceptually illustrates a configuration of an image processing apparatus according to an exemplary embodiment.
FIG. 2 illustrates a result of preprocessing an image by the preprocessor illustrated in FIG. 1.
FIG. 3 illustrates a process in which an image is preprocessed by the preprocessor illustrated in FIG. 1.
FIG. 4 illustrates the result of selecting the lumbar level by the lumbar level selection unit shown in FIG. 1.
FIG. 5 illustrates a process in which an image is preprocessed by the preprocessor illustrated in FIG. 1.
FIG. 6 illustrates training data for a second artificial neural network model included in the labeling unit illustrated in FIG. 1.
FIG. 7 illustrates training data for a second artificial neural network model included in the labeling unit illustrated in FIG. 1.
8 illustrates an output of an image processing apparatus according to an exemplary embodiment.
9 is a flowchart of an image processing method, according to an exemplary embodiment.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods of achieving them will be apparent with reference to the embodiments described below in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but can be implemented in various forms, and only the embodiments are to make the disclosure of the present invention complete, and common knowledge in the art to which the present invention pertains. It is provided to fully inform the person having the scope of the invention, which is defined only by the scope of the claims.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.Terms used herein will be briefly described and the present invention will be described in detail.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention have been selected as widely used general terms as possible in consideration of the functions in the present invention, but this may vary according to the intention or precedent of the person skilled in the art, the emergence of new technologies, and the like. In addition, in certain cases, there is also a term arbitrarily selected by the applicant, in which case the meaning will be described in detail in the description of the invention. Therefore, the terms used in the present invention should be defined based on the meanings of the terms and the contents throughout the present invention, rather than the names of the simple terms.
명세서 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. When a part of the specification 'includes' a certain component, this means that it may further include other components, except to exclude other components unless otherwise stated.
또한, 명세서에서 사용되는 '부'라는 용어는 소프트웨어 또는 FPGA나 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.In addition, the term 'part' as used herein refers to software or a hardware component such as an FPGA or an ASIC, and 'part' plays a role. But wealth is not limited to software or hardware. The 'unit' may be configured to be in an addressable storage medium or may be configured to play one or more processors. Thus, as an example, a 'part' may include components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables. The functionality provided within the components and 'parts' may be combined into a smaller number of components and 'parts' or further separated into additional components and 'parts'.
또한, 본 명세서에서, '제1', '제2' 또는 '제1-1' 등의 표현은 서로 다른 구성 요소, 개체, 영상, 픽셀 또는 패치를 지칭하기 위한 예시적인 용어이다. 따라서, 상기 '제1', '제2' 또는 '제1-1' 등의 표현이 구성 요소 간의 순서를 나타내거나 우선 순위를 나타내는 것은 아니다.In addition, in the present specification, the expression 'first', 'second' or 'first-1', etc. is an exemplary term for referring to different components, objects, images, pixels, or patches. Accordingly, the expressions such as 'first', 'second' or 'first-1' do not indicate the order between the components or indicate the priority.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention.
본 명세서에서 '대상체(object)'는 사람 또는 동물, 또는 사람 또는 동물의 일부를 포함한다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기나 혈관 또는 뼈 등을 포함할 수 있다.As used herein, an 'object' includes a person or an animal, or a part of a person or an animal. For example, the subject may include organs such as the liver, heart, uterus, brain, breast, abdomen, blood vessels, bones, or the like.
또한, 본 명세서에서 '영상'은 이산적인 이미지 요소들(예를 들어, 2차원 이미지에 있어서의 픽셀들 및 3차원 이미지에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미한다. 이에 따라, 영상은 예컨대 전술한 대상체의 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기나 혈관 또는 뼈 등을 포함한다.In addition, in the present specification, 'image' refers to multi-dimensional data composed of discrete image elements (eg, pixels in a two-dimensional image and voxels in a three-dimensional image). Accordingly, the image includes, for example, organs, blood vessels, bones, and the like of the liver, heart, uterus, brain, breast, and abdomen of the aforementioned object.
또한, 본 명세서에서 의료 영상 장치는 예컨대 CT 장치, MRI 장치, X-ray 장치 또는 초음파 진단 장치 등을 포함하며, 전술한 영상을 출력할 수 있다.In addition, in the present specification, the medical imaging apparatus includes a CT apparatus, an MRI apparatus, an X-ray apparatus, an ultrasound diagnostic apparatus, and the like, and may output the above-described image.
또한, 본 명세서에서 '사용자'는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.In addition, in the present specification, the 'user' may be a doctor, a nurse, a clinical pathologist, a medical imaging expert, or the like as a medical expert, but may be a technician repairing a medical device, but is not limited thereto.
도 1은 일 실시예에 따른 영상 처리 장치(100)의 구성을 도시하고 있으며, 다만 도 1에 도시된 것은 예시적인 것에 불과하다. 이러한 영상 처리 장치(100)는 PC나 서버 등에서 구현될 수 있다.FIG. 1 illustrates a configuration of an
도 1을 참조하면, 영상 처리 장치(100)는 영상 획득부(110), 요추레벨 선택부(130) 및 라벨링부(150)를 포함하며, 실시예에 따라서 전처리부(120), 요추레벨 후처리부(140), 라벨링 후처리부(160) 및 표시부(170)를 더 포함할 수 있다. 여기서, 영상 획득부(110)는 데이터를 입력받는 포트 내지 유/무선 통신 모듈로서 구현 가능하다. 아울러, 전처리부(120), 요추레벨 선택부(130), 요추레벨 후처리부(140), 라벨링부(150) 및 라벨링 후처리부(160)는 이하에서 설명할 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 명령어를 실행하는 마이크로프로세서에 의해 구현 가능하다. 또한, 표시부(170)는 모니터와 같은 표시 장치에 의해 구현 가능하다.Referring to FIG. 1, the
영상 획득부(110)에 대해 먼저 살펴보면, 영상 획득부(110)는 대상체에 대해 소정 간격으로 단층 촬영된 영상을 복수 개 입력받는다. 영상 획득부(110)는 이러한 영상을 전술한 의료 영상 장치로부터 직접 입력받을 수 있다.Referring to the
전처리부(120)는 영상 획득부(110)가 입력받은 영상 복수 개에 대해 전처리(pre-processing) 과정을 수행한다. 전처리 과정이 수행되면, 도 2에 도시된 것과 같이 영상에서 노이즈가 제거되고 에지(edge)와 같은 경계 영역이 보다 선명해질 수 있다. 아울러, 후술하겠지만 전처리부(120)는 실시예에 따라서 요추레벨 선택부(130)에 의해 선택된 영상에 대해서도 전술한 전처리 과정을 수행할 수도 있다.The
전처리 과정에는 이하에서 설명할 다양한 것들을 예로 들 수 있다. 첫번 째로는, 복수 개의 영상 각각에 포함된 노이즈를 제거하기 위해, 비등방성 확산 필터(anisotropic diffusion filter)나 가우시안 스무딩 필터(gaussion smoothing filter)를 반복적으로 적용하는 것이다. 두번 째로는, 에지(edge) 이미지를 생성하기 위해 기울기 크기(그래디언트 매그니튜드, gradient magnitude)나 시그모이드 필터(sigmoid filter) 또는 정규화(normalization)를 적용하는 것이다. 세번 째로는, 두번 째에서 생성된 에지 이미지의 각 포인트를 시드(seed)로 간주하여서 영역 성장(region growing)을 수행하는 것이다. 네번 째로는, 세번 째의 결과에 형태학(morphology) 연산을 반복적으로 적용하는 것이다. 이 때, 실시예에 따라, 첫번 째 내지 네번 째의 전처리 과정 중 일부 또는 전부가 수행되거나 또는 전술한 전처리 과정 중 어떠한 과정도 수행되지 않을 수 있다. In the pretreatment process, various things will be described below. First, in order to remove noise included in each of the plurality of images, an anisotropic diffusion filter or a Gaussian smoothing filter is repeatedly applied. The second is to apply a gradient magnitude (sigma magnitude) or sigmoid filter or normalization to produce an edge image. Thirdly, region growing is performed by considering each point of the edge image generated in the second as a seed. Fourth, the morphology operation is repeatedly applied to the third result. At this time, according to the embodiment, some or all of the first to fourth pretreatment processes may be performed, or none of the above-described pretreatment processes may be performed.
이러한 전처리 과정은 도 3에 도시되어 있다. 도 3을 참조하면, 도 3의 가장 좌측은 영상 획득부(110)가 획득한 복수 개의 영상이 적층되어 있는 것을 나타낸 것이고, 그로부터 오른쪽으로 이동하면서는 전처리 과정에 적용될 수 있는 전술한 각종 필터나 히스토그램 등이 도시되어 있다.This pretreatment process is shown in FIG. 3. Referring to FIG. 3, the leftmost side of FIG. 3 illustrates a plurality of images stacked by the
요추레벨 선택부(130)는 복수 개의 영상 중에서 L3 요추레벨에 해당하는 영역을 포함하는 영상을 선택한다. 이 때 요추레벨 선택부(130)의 대상이 되는 '복수 개의 영상'은 전처리부(120)에 의해 전처리된 영상일 수 있다. 도 4를 참조하면, 복수 개의 영상 중에 L3 요추레벨에 해당하는 영역을 포함하는 영상이 붉은 색으로 표시되어 있다.The
요추 레벨 선택부(130)는 L3 요추레벨에 해당하는 영역을 포함하는 영상을 선택하기 위해, 제1 인공 신경망 모델(artificial neural network model)을 이용한다. 제1 인공 신경망 모델은 영상이 입력되면 해당 영상이 L3 요추레벨의 영역을 포함하는지를 출력하도록 사전에 학습된 모델을 의미하는데, 이 때의 학습 방식은 딥러닝(deep learning)일 수 있다. 이러한 제1 인공 신경망 모델은 다음에서와 같이 다양한 방식으로 구현 가능하다.The
첫째, 제1 인공 신경망 모델은 컨볼루션 신경망 (convolutional neural network, CNN) 분류자(classifier)로 구현 가능하다. 컨볼루션 신경망 분류자는 사전에 딥러닝 방식으로 학습되어서, 대상이 되는 영상이 L3 요추레벨에 해당하는 영역을 포함하거나 L4 요추레벨에 해당하는 영역을 포함하면 해당 영상을 제1 영상으로 분류하고, 상기 L3 요추레벨과 상기 L4 요추레벨 어디에도 해당하지 않으면 해당 영상을 제2 영상으로 분류한다. 여기서 컨볼루션 신경망 분류자 자체는 이미 공지된 기술이므로, 이에 대한 자세한 설명은 생략하기로 한다.First, the first artificial neural network model may be implemented as a convolutional neural network (CNN) classifier. The convolutional neural classifier is trained by deep learning in advance, and if the target image includes the region corresponding to the L3 lumbar level or includes the region corresponding to the L4 lumbar level, the image is classified as the first image. If none of the L3 lumbar level and the L4 lumbar level, the corresponding image is classified as a second image. Since the convolutional neural classifier itself is a known technique, a detailed description thereof will be omitted.
제1 인공 신경망 모델이 컨볼루션 신경망 분류자로 구현될 경우, 영상 처리 장치(100)는 요추레벨 후처리부(140)를 더 포함할 수 있다. 요추레벨 후처리부(140)는 전술한 제1 영상이 L3 요추레벨과 L4 요추레벨 중 어디에 해당하는지 여부를 분류한다. 분류하는 방법을 예를 들어 살펴보면, 영상 획득부(110)에 의해 획득된 복수 개의 영상 전체에서 제1 영상의 상대적인 위치(높이)가 사전에 정의된 L3 요추레벨의 위치에 해당하는지 아니면 L4 요추레벨의 위치에 해당하는지에 따라 분류가 수행될 수 있다. 이와 달리 제1 영역의 해부학적 특징을 분석하여서 전술한 제1 영상이 L3 요추레벨에 해당하는 영상인지 아니면 L4 요추레벨에 해당하는 영상인지가 분류될 수도 있으며, 다만 이에 한정되는 것은 아니다.When the first artificial neural network model is implemented as a convolutional neural network classifier, the
둘째, 제1 인공 신경망 모델은 컨볼루션 신경망 검출기(CNN detector) 또는 컨볼루션 분할 (CNN segmentation) 모델 중 어느 하나로 구현 가능하다. CNN detector 또는 CNN segmentation 모델 중 어느 하나로 구현될 경우, 도 1에 도시된 전처리부(120)는 다음과 같은 전처리 과정을 '추가적으로', 즉 앞서 설명된 전처리 과정 이외에도 이하의 전처리 과정을 수행할 수 있다. 예컨대, 전처리부(120)는 복수 개의 영상이 적층된 3차원 영상으로부터 관상면(coronal view), 시상면(sagittal view) 및 수평면(axial view)를 각각 획득한다. 이어서 전처리부(120)는 관상면, 시상면 및 수평면 각각에 관심영역 분할 기법을 적용함으로써, 관상면, 시상면 및 수평면 각각에 대한 바운딩 박스(bounding box)를 생성한 뒤, 각 바운딩 박스에서의 무게중심을 찾는다. 도 5는 관상면, 시상면 및 수평면 각각에 대한 바운딩 박스(bounding box)가 생성되고, 그 무게중심이 표시된 것을 예시적으로 도시하고 있다. 여기서, 관심영역 분할 기법 자체는 이미 공지된 기술이므로 이에 대한 자세한 설명은 생략하기로 한다. Second, the first artificial neural network model may be implemented as either a convolutional neural network detector (CNN detector) or a convolutional segmentation (CNN segmentation) model. When implemented with either a CNN detector or a CNN segmentation model, the
CNN detector 모델 또는 CNN segmentation 모델은 바운딩 박스의 무게중심이 표시된 관상면, 시상면 및 수평면에서의 영상을 입력받아서, 해당 영상에 L3 요추레벨의 위치를 표시 내지 출력하도록 딥러닝 방식으로 사전에 학습된다. 따라서, 학습용 데이터로서 '입력' 영상은 관상면, 시상면 및 수평면에서의 영상이고, '정답'영상은 L3 요추레벨의 위치가 표시된 영상이다. 도 6의 (a)는 이러한 CNN detector 모델의 학습용 데이터를 나타내고, (b)는 CNN segmentation 모델의 학습용 데이터를 나타낸다. 이 때, 실시예에 따라서 학습용 데이터 또는 실제 구동 시에 입력되는 데이터는 관상면, 시상면 및 수평면에서의 각각의 영상 전체 또는 각각의 영상의 일부 관심 영역(region of interest, ROI)가 될 수 있으며, 이는 도 7에 도시되어 있다. The CNN detector model or the CNN segmentation model is pre-trained by deep learning to receive or display the location of the L3 lumbar level in the coronal, sagittal, and horizontal planes with the center of gravity of the bounding box. . Therefore, the 'input' image as the training data is the image in the coronal plane, sagittal plane and horizontal plane, the 'correct' image is the image in which the position of the L3 lumbar level is displayed. 6A illustrates training data of the CNN detector model, and FIG. 6B illustrates training data of the CNN segmentation model. In this case, the training data or the data input during the actual driving may be a whole region or a region of interest (ROI) of each image in the coronal plane, the sagittal plane, and the horizontal plane. , Which is shown in FIG. 7.
CNN detector 모델을 비롯하여 이하에서 설명할 모델의 학습 과정에 대해 살펴보면, 학습 과정에서 각 모델의 중간층에 포함되는 복수 개의 인공 뉴런들은 연결망(interconnection network)에 의해 입력과 상호 연결되고 출력과 상호 연결되는데, 이러한 연결망에는 각각 가중치가 적용될 수 있다. 이러한 가중치는, 복수 개의 학습용 데이터가 입력되어서 처리될 때마다, 입력과 정답 간의 유사성을 최대화시키도록 그 값이 결정 내지 변경될 수 있다. 여기서, 이와 같이 학습이 되는 과정 그 자체 내지 원리는 이미 공지된 기술이므로 이에 대한 추가적인 설명은 생략하기로 한다Looking at the CNN detector model and the training process of the model described below, in the training process, a plurality of artificial neurons included in the middle layer of each model are interconnected with the input and the output by an interconnection network. Each of these networks can be weighted. This weight may be determined or changed to maximize the similarity between the input and the correct answer every time a plurality of training data is input and processed. Here, the process itself or the principle of learning as described above is already known technology, so further description thereof will be omitted.
셋째, 제1 인공 신경망 모델은 최대 강초 차이 축적(maximum intensity difference accumulation, MIDA), 최대 강도 투사(maximum intensity projection, MIP) 영상을 이용하는 모델로 구현 가능하다. MIDA 영상이나 MIP 영상에는 뼈 위주로 객체가 표시된다. 따라서, 이러한 제1 인공 신경망 모델은 해부학적 정보를 기준으로, 실제 척추의 L3 영역에 대해 CNN detector 모델 또는 CNN segmentation 모델을 적용한다.Third, the first artificial neural network model may be implemented as a model using a maximum intensity difference accumulation (MIDA) and a maximum intensity projection (MIP) image. In the MIDA image or the MIP image, the object is displayed around the bone. Therefore, the first artificial neural network model applies a CNN detector model or a CNN segmentation model to the L3 region of the actual spine based on anatomical information.
즉, 일 실시예에 따르면 L3 요추레벨에 해당하는 영역을 포함하는 영상의 선택 과정이 딥러닝 방식으로 사전에 학습된 모델에 의해 수행된다. 따라서, 그 선택 과정의 정확성, 신속성 및 효율성이 향상될 수 있다.That is, according to an embodiment, the selection process of the image including the region corresponding to the L3 lumbar level is performed by a model that has been previously learned in a deep learning manner. Thus, the accuracy, speed and efficiency of the selection process can be improved.
다시 도 1을 참조하면, 라벨링부(150)는 요추레벨 선택부(130)에 의해 L3 요추레벨의 영역을 포함하는 것으로 선택된 영상에 피하지방, 내장지방 또는 근육을 구분하여서 표시한다. 이 때 실시예에 따라, 요추레벨 선택부(130)에 의해 선택된 영상에는 전술한 전처리부(120)에 의해 상기 전처리 과정이 수행될 수 있으며, 라벨링부(150)는 이와 같이 전처리 과정이 수행된 영상에 피하지방, 내장지방 또는 근육을 구분하여서 표시할 수 있다.Referring back to FIG. 1, the
라벨링부(150)는 영상에 피하지방, 내장지방 또는 근육을 구분하여서 표시하기 위해, 제2 인공 신경망 모델(artificial neural network model)을 이용한다. 제2 인공 신경망 모델은 영상이 입력되면 해당 영상에 피하지방, 내장지방 및 근육을 구분하여서 표시하도록, 딥러닝 방식으로 사전에 학습된 모델을 의미한다. 이러한 제2 인공 신경망 모델은 ResNet 모델의 일부 레이어를 수정을 통해 구현 가능하며, 다만 이에 한정되는 것은 아니다.The
라벨링 후처리부(160)는 라벨링부(150)에 의해 라벨링된 결과에 후처리를 하는 구성이다. 후처리 과정에는 이하에서 설명할 다양한 것들이 있다. 첫번 째로는, 영상에 나타난 기하학적 곡선 형태의 변화를 레벨-셋(level-set) 기법을 이용하여 보정하는 것이 있다. 두번 째로는, 경계 부근의 위양성 오차를 최소화하기 위한 롤링볼(rolling ball) 알고리즘이 있다. 세번 째로는 연결 요소 분석 (connected-component analysis) 기법이 있다. 네번 째로는 영상 획득부(110)가 획득한 영상의 실제 픽셀값(12~16bit)를 기준으로, 사전에 정의된 하운스필드 유닛(hounsfield unit, HU)의 임계값을 적용하는 것이 있다. 실시예에 따라, 첫번 째 내지 네번 째의 후처리 과정 중 일부 또는 전부가 수행될 수 있으며, 또는 어떠한 후처리 과정도 수행되지 않을 수 있다. 이러한 후처리 과정에 따른 결과는 도 8에 도시되어 있다.The
이상에서 살펴본 바와 같이, 일 실시예에 따르면 의료 영상에서 L3 요추레벨에 해당하는 부분을 선택하는 과정, 그리고 이러한 L3 요추레벨에 해당하는 부분에 피하지방/내장지방/근육이 구분 및 표시되는 과정이 딥러닝 방식으로 사전에 학습된 모델에 의해 수행된다. 따라서, 전술한 과정들이 사람에 의해 수행되는 경우에 비해 신속하면서도 효율적으로 수행될 수 있고, 과정 수행에 따른 산출물의 정확성이 향상될 수 있다. 더 나아가서는, 이러한 산출물을 기초로 수행되는 근감소증 진단 역시 보다 효율적이면서도 신속하고 또한 정확하게 이루어질 수 있다.As described above, according to an embodiment, the process of selecting a portion corresponding to the L3 lumbar level in the medical image, and the process of distinguishing and displaying subcutaneous fat / visceral fat / muscle on the portion corresponding to the L3 lumbar level It is performed by a previously trained model in a deep learning manner. Therefore, the above-described processes can be performed more quickly and efficiently than in the case where the process is performed by a person, and the accuracy of the output according to the process can be improved. Furthermore, the diagnosis of myopathy based on these outputs can also be made more efficiently, quickly and accurately.
도 9는 일 실시예에 따른 영상 처리 방법의 절차에 대해 개념적으로 도시하고 있다. 이러한 영상 처리 방법은 전술한 영상 처리 장치(100)에 의해 수행될 수 있다.9 conceptually illustrates a procedure of an image processing method, according to an exemplary embodiment. Such an image processing method may be performed by the
한편, 도 9에 도시된 절차는 예시적인 것에 불과하므로, 본 발명의 사상이 도 9에 도시된 것으로 한정 해석되지는 않는 바, 실시예에 따라서 도 9에 도시된 것과는 다른 순서로 절차가 수행될 수 있으며, 도 9에 도시된 절차 중 적어도 하나의 절차가 수행되지 않을 수도 있고, 도 9에 도시되지 않은 절차가 추가적으로 수행될 수도 있다. On the other hand, since the procedure shown in Figure 9 is merely exemplary, the spirit of the present invention is not limited to the one shown in Figure 9, according to the embodiment the procedure is performed in a different order than that shown in Figure 9 At least one of the procedures shown in FIG. 9 may not be performed, and a procedure not shown in FIG. 9 may be additionally performed.
먼저, 적층됨으로써 대상체에 대한 3차원 영상을 구성하는, 단층 촬영된 복수 개의 영상을 획득하는 단계(S100)가 수행된다.First, in operation S100, a plurality of tomography-photographed images constituting a 3D image of an object by stacking are obtained.
또한, 상기 획득된 복수 개의 영상을 입력으로 받아서, 딥러닝 방식으로 사전에 학습된 제1 인공 신경망 모델(artificial neural network model)을 통해 L3 요추레벨에 해당하는 영역을 포함하는 영상을 선택하는 단계(S110)가 수행된다.The method may further include selecting an image including an area corresponding to the L3 lumbar level through a first artificial neural network model trained in advance by using the deep learning method, by receiving the obtained plurality of images as an input ( S110) is performed.
이 때, 단계 S110의 수행 전에, 단계 S100에서 획득된 복수 개의 영상에는 전술한 전처리 과정이 수행될 수 있다.At this time, before performing step S110, the above-described preprocessing process may be performed on the plurality of images acquired in step S100.
또한, 상기 L3 요추레벨에 해당하는 영역을 포함하는 영상을 입력으로 받아서, 딥러닝 방식으로 사전에 학습된 제2 인공 신경망 모델을 통해 상기 L3 요추레벨에 해당하는 영역을 포함하는 영상에 피하지방, 내장지방 및 근육을 구분하여 표시하는 단계(S120)가 수행된다.In addition, the subcutaneous fat in the image including the region corresponding to the L3 lumbar level through a second artificial neural network model that is previously trained by receiving the image including the region corresponding to the L3 lumbar level as an input, A step (S120) of distinguishing visceral fat and muscles is performed.
이 때, 단계 S120의 수행 전에, 단계 S110에서 L3 요추레벨에 해당하는 영역을 포함하는 영상에 전술한 전처리 과정이 수행될 수 있다.In this case, before performing step S120, the above-described preprocessing process may be performed on an image including a region corresponding to the L3 lumbar level in step S110.
한편, 이러한 영상 처리 방법의 세부적인 내용은 영상 처리 장치(100)에 관한 것과 중복되므로, 영상 처리 장치(100)에 대한 설명을 원용하기로 한다.Meanwhile, since details of the image processing method overlap with those of the
한편, 전술한 일 실시예에 따른 영상 처리 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.Meanwhile, each step included in the image processing method according to the above-described embodiment may be implemented in a computer readable recording medium for recording a computer program programmed to perform such steps.
또한, 전술한 일 실시예에 따른 영상 처리 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된, 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램의 형태로 구현될 수 있다.In addition, each step included in the image processing method according to the above-described embodiment may be implemented in the form of a computer program stored in a computer-readable recording medium programmed to perform such steps.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential quality of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas that fall within the scope of equivalents should be construed as being included in the scope of the present invention.
100: 영상 처리 장치100: image processing device
Claims (12)
상기 획득된 복수 개의 영상 각각에 대해 관상면(coronal view), 시상면(sagittal view) 및 수평면(axial view)를 각각 획득하고, 상기 획득된 관상면, 시상면 및 수평면 각각에서 바운딩 박스(bounding box)를 생성한 뒤, 상기 생성된 바운딩 박스 각각에서의 무게중심을 표시하는 전처리부와,
상기 전처리부에 의해 상기 무게중심이 표시된 복수 개의 영상을 입력으로 받아서, 딥러닝(deep learning) 방식으로 사전에 학습된 제1 인공 신경망 모델(artificial neural network model)을 통해, L3 요추레벨에 해당하는 영역을 포함하는 영상을 선택하는 요추레벨 선택부와,
상기 L3 요추레벨에 해당하는 영역을 포함하는 영상을 입력으로 받아서, 딥러닝 방식으로 사전에 학습된 제2 인공 신경망 모델을 통해 상기 L3 요추레벨에 해당하는 영역을 포함하는 영상에 피하지방, 내장지방 및 근육 중 적어도 하나를 구분하여 표시하는 라벨링부를 포함하는
근감소증(Sarcopenia) 분석지원을 위한 인공 신경망 기반의 인체 형태 분석법(Human Body Morphometrics)을 채용하는 영상 처리 장치.An image acquisition unit configured to acquire a plurality of tomographic images, which are stacked to form a 3D image of the object;
A coronal view, a sagittal view and a axial view are obtained for each of the obtained plurality of images, and a bounding box is obtained from each of the obtained coronal, sagittal and horizontal planes. After generating the pre-processing unit for displaying the center of gravity of each of the generated bounding box,
The preprocessing unit receives a plurality of images in which the center of gravity is displayed as an input, and corresponds to an L3 lumbar level through a first artificial neural network model previously learned by a deep learning method. A lumbar level selector for selecting an image including an area;
Subcutaneous fat and visceral fat are received in an image including the region corresponding to the L3 lumbar level through a second artificial neural network model that is previously trained by a deep learning method as an input of an image including the region corresponding to the L3 lumbar level. And a labeling unit for distinguishing and displaying at least one of the muscles.
An image processing device employing artificial body network-based Human Body Morphometrics to support sarcopenia analysis.
상기 전처리부는,
상기 영상 획득부에 의해 획득된 복수 개의 영상 각각에 비등방성 확산 필터(anisotropic diffusion filter) 및 가우시안 스무딩 필터(gaussion smoothing filter) 중 적어도 하나를 적용하여서 전처리하는
근감소증(Sarcopenia) 분석지원을 위한 인공 신경망 기반의 인체 형태 분석법(Human Body Morphometrics)을 채용하는 영상 처리 장치.The method of claim 1,
The preprocessing unit,
Pre-processing by applying at least one of an anisotropic diffusion filter and a Gaussian smoothing filter to each of the plurality of images obtained by the image acquisition unit
An image processing device employing artificial body network-based Human Body Morphometrics to support sarcopenia analysis.
상기 전처리부는,,
상기 영상 획득부에 의해 획득된 복수 개의 영상 각각에 gradient magnitude, 시그모이드 필터(sigmoid filter) 및 정규화(normalization) 중 적어도 하나를 적용하여서 전처리하는
근감소증(Sarcopenia) 분석지원을 위한 인공 신경망 기반의 인체 형태 분석법(Human Body Morphometrics)을 채용하는 영상 처리 장치. The method of claim 1,
The preprocessing unit,
Preprocessing each of the plurality of images obtained by the image acquisition unit by applying at least one of a gradient magnitude, a sigmoid filter, and a normalization.
An image processing device employing artificial body network-based Human Body Morphometrics to support sarcopenia analysis.
상기 제1 인공 신경망 모델은,
상기 입력받은 복수 개의 영상을 L3 요추레벨 및 L4 요추레벨 중 어느 하나를 포함하는 제1 영상과, 상기 L3 요추레벨에 해당하지 않으면서 상기 L4 요추레벨에도 해당하지 않는 제2 영상으로 분류하도록 사전에 학습된 컨볼루션 신경망(convolutional neural network, CNN) 분류자(classifier)인
근감소증(Sarcopenia) 분석지원을 위한 인공 신경망 기반의 인체 형태 분석법(Human Body Morphometrics)을 채용하는 영상 처리 장치.The method of claim 1,
The first artificial neural network model,
The input plurality of images may be classified into a first image including any one of an L3 lumbar level and an L4 lumbar level, and a second image that does not correspond to the L4 lumbar level but does not correspond to the L3 lumbar level. Learned convolutional neural network (CNN) classifier
An image processing device employing artificial body network-based Human Body Morphometrics to support sarcopenia analysis.
상기 컨볼루션 신경망 분류자에 의해 분류된 제1 영상이 상기 복수 개의 영상 전체에서 갖는 상대적인 위치를 기준으로, 상기 분류된 제1 영상이 상기 L3 요추레벨과 상기 L4 요추레벨 중 어느 하나에 해당하는지를 판별하는 요추레벨 후처리부를 더 포함하는
근감소증(Sarcopenia) 분석지원을 위한 인공 신경망 기반의 인체 형태 분석법(Human Body Morphometrics)을 채용하는 영상 처리 장치.The method of claim 4, wherein
Determining whether the classified first image corresponds to one of the L3 lumbar level and the L4 lumbar level based on a relative position of the first image classified by the convolutional neural network classifier in the entire plurality of images. Lumbar level post-processing further comprising
An image processing device employing artificial body network-based Human Body Morphometrics to support sarcopenia analysis.
상기 제1 인공 신경망 모델은,
컨볼루션 신경망 검출 (CNN detector) 모델 또는 컨볼루션 신경망 분할(CNN segmentation) 모델 중 어느 하나인
근감소증(Sarcopenia) 분석지원을 위한 인공 신경망 기반의 인체 형태 분석법(Human Body Morphometrics)을 채용하는 영상 처리 장치.The method of claim 1,
The first artificial neural network model,
Either the convolutional neural network detection model or the convolutional neural network segmentation model
An image processing device employing artificial body network-based Human Body Morphometrics to support sarcopenia analysis.
상기 피하지방, 내장지방 및 근육 중 적어도 하나가 구분되어 표시된 영상에 대해, 레벨-셋(level-set) 기법, 롤링볼(rolling-ball) 알고리즘 및 연결 요소 분석 (connected-component analysis) 기법 중 적어도 하나를 적용하는 라벨링 후처리부를 더 포함하는
근감소증(Sarcopenia) 분석지원을 위한 인공 신경망 기반의 인체 형태 분석법(Human Body Morphometrics)을 채용하는 영상 처리 장치.The method of claim 1,
At least one of a level-set technique, a rolling-ball algorithm, and a connected-component analysis technique for an image in which at least one of the subcutaneous fat, visceral fat, and muscle are divided and displayed. Further comprising a labeling post-processing portion applying one
An image processing device employing artificial body network-based Human Body Morphometrics to support sarcopenia analysis.
적층됨으로써 대상체에 대한 3차원 영상을 구성하는, 단층 촬영된 복수 개의 영상을 획득하는 단계와,
상기 획득된 복수 개의 영상 각각에 대해 관상면(coronal view), 시상면(sagittal view) 및 수평면(axial view)를 각각 획득하는 단계와,
상기 획득된 관상면, 시상면 및 수평면 각각에서 바운딩 박스(bounding box)를 생성하는 단계와,
상기 생성된 바운딩 박스 각각에서의 무게중심을 표시하는 단계와,
상기 무게중심이 표시된 복수 개의 영상을 입력으로 받아서, 딥러닝 방식으로 사전에 학습된 제1 인공 신경망 모델(artificial neural network model)을 통해, L3 요추레벨에 해당하는 영역을 포함하는 영상을 선택하는 단계와,
상기 L3 요추레벨에 해당하는 영역을 포함하는 영상을 입력으로 받아서, 딥러닝 방식으로 사전에 학습된 제2 인공 신경망 모델을 통해 상기 L3 요추레벨에 해당하는 영역을 포함하는 영상에 피하지방, 내장지방 및 근육 중 적어도 하나를 구분하여 표시하는 단계를 포함하는
영상 처리 방법.An image processing method performed by an image processing apparatus employing an artificial neural network based human body morphometrics to support sarcopenia analysis,
Obtaining a plurality of tomography images, which are stacked to form a 3D image of the object;
Acquiring a coronal view, a sagittal view, and a axial view for each of the obtained plurality of images;
Generating a bounding box in each of the obtained coronal plane, sagittal plane and horizontal plane;
Displaying a center of gravity at each of the generated bounding boxes;
Selecting an image including an area corresponding to the L3 lumbar level through a first artificial neural network model previously trained by a deep learning method, by receiving a plurality of images displaying the center of gravity as an input; Wow,
Subcutaneous fat and visceral fat are received in an image including the region corresponding to the L3 lumbar level through a second artificial neural network model that is previously trained by a deep learning method as an input of an image including the region corresponding to the L3 lumbar level. And classifying and displaying at least one of muscles
Image processing method.
상기 획득하는 단계에서 획득된 복수 개의 영상 각각에 비등방성 확산 필터(anisotropic diffusion filter) 및 가우시안 스무딩 필터(gaussion smoothing filter) 중 적어도 하나를 적용하여서 전처리하는 단계를 더 포함하는
영상 처리 방법.The method of claim 8,
Pre-processing each of the plurality of images obtained in the obtaining step by applying at least one of an anisotropic diffusion filter and a Gaussian smoothing filter.
Image processing method.
상기 획득하는 단계에서 획득된 복수 개의 영상 각각에 기울기 크기(gradient magnitude), 시그모이드 필터(sigmoid filter) 및 정규화(normalization) 중 적어도 하나를 적용하여서 전처리하는 단계를 더 포함하는
영상 처리 방법.The method of claim 8,
And preprocessing each of the plurality of images obtained in the obtaining step by applying at least one of a gradient magnitude, a sigmoid filter, and a normalization.
Image processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180035284A KR102030533B1 (en) | 2018-03-27 | 2018-03-27 | Image processing apparatus for adopting human body morphometric based on artificial neural network for sarcopenia and image processing method using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180035284A KR102030533B1 (en) | 2018-03-27 | 2018-03-27 | Image processing apparatus for adopting human body morphometric based on artificial neural network for sarcopenia and image processing method using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190113089A KR20190113089A (en) | 2019-10-08 |
KR102030533B1 true KR102030533B1 (en) | 2019-10-10 |
Family
ID=68206547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180035284A KR102030533B1 (en) | 2018-03-27 | 2018-03-27 | Image processing apparatus for adopting human body morphometric based on artificial neural network for sarcopenia and image processing method using the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102030533B1 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102436035B1 (en) | 2020-06-29 | 2022-08-24 | 연세대학교 산학협력단 | Apparatus and method for diagnosing skeletal muscle condition from ultrasound images using deep neural network |
KR102421545B1 (en) * | 2020-07-21 | 2022-07-14 | 서울대학교산학협력단 | Apparatus and method for analyzing body compositions based on ct image |
KR102321427B1 (en) * | 2021-01-20 | 2021-11-04 | 메디컬아이피 주식회사 | Method and apparatus for analyzing body composition using medical image |
JP2022172565A (en) * | 2021-05-06 | 2022-11-17 | コニカミノルタ株式会社 | Ultrasonic image diagnostic apparatus, discriminator change method and discriminator change program |
KR20230046361A (en) | 2021-09-29 | 2023-04-06 | 주식회사 와이즈드림 | Apparatus for diagnosing the state of production facilities based on deep neural network and method therefor |
KR102598894B1 (en) * | 2021-11-18 | 2023-11-08 | 부산대학교병원 | Medication Error Prevention and Monitoring System |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009247505A (en) * | 2008-04-03 | 2009-10-29 | Fujifilm Corp | Equipment, method, and program for detecting three-dimensional peritoneal cavity region |
US20100246913A1 (en) | 2009-03-31 | 2010-09-30 | Hologic, Inc. | Computer-aided detection of anatomical abnormalities in x-ray tomosynthesis images |
KR101258814B1 (en) | 2011-11-09 | 2013-04-26 | 서울여자대학교 산학협력단 | Nonrigid registration method and system with density correction of each tissue and rigidity constraint of tumor in dynamic contrast-enhanced breast mr images |
JP2016168166A (en) * | 2015-03-12 | 2016-09-23 | 富士フイルム株式会社 | Medical image processor, method and program |
US20170046837A1 (en) | 2014-04-25 | 2017-02-16 | Advanced Mr Analytics Ab | Lean tissue volume quantification |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101126447B1 (en) * | 2010-05-10 | 2012-03-29 | 가톨릭대학교 산학협력단 | Method for developing blood-free liver segment volumetry and liver surgery planning in selecting appropriate donors for living donor liver transplantation |
KR20150108701A (en) * | 2014-03-18 | 2015-09-30 | 삼성전자주식회사 | System and method for visualizing anatomic elements in a medical image |
KR101908520B1 (en) * | 2014-06-09 | 2018-10-16 | 지멘스 메디컬 솔루션즈 유에스에이, 인크. | Landmark detection with spatial and temporal constraints in medical imaging |
-
2018
- 2018-03-27 KR KR1020180035284A patent/KR102030533B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009247505A (en) * | 2008-04-03 | 2009-10-29 | Fujifilm Corp | Equipment, method, and program for detecting three-dimensional peritoneal cavity region |
US20100246913A1 (en) | 2009-03-31 | 2010-09-30 | Hologic, Inc. | Computer-aided detection of anatomical abnormalities in x-ray tomosynthesis images |
KR101258814B1 (en) | 2011-11-09 | 2013-04-26 | 서울여자대학교 산학협력단 | Nonrigid registration method and system with density correction of each tissue and rigidity constraint of tumor in dynamic contrast-enhanced breast mr images |
US20170046837A1 (en) | 2014-04-25 | 2017-02-16 | Advanced Mr Analytics Ab | Lean tissue volume quantification |
JP2016168166A (en) * | 2015-03-12 | 2016-09-23 | 富士フイルム株式会社 | Medical image processor, method and program |
Also Published As
Publication number | Publication date |
---|---|
KR20190113089A (en) | 2019-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102030533B1 (en) | Image processing apparatus for adopting human body morphometric based on artificial neural network for sarcopenia and image processing method using the same | |
KR101981202B1 (en) | Method and apparatus for reconstructing medical image | |
CN110796613B (en) | Automatic identification method and device for image artifacts | |
US20190388064A1 (en) | System and method for for ultrasound analysis | |
EP3520021A1 (en) | Image processing | |
EP1880363A1 (en) | Method and apparatus for image segmentation | |
Sameh et al. | Narrowed coronary artery detection and classification using angiographic scans | |
CN110910342B (en) | Analysis of skeletal trauma by using deep learning | |
EP2401719A1 (en) | Methods for segmenting images and detecting specific structures | |
KR20150113393A (en) | Method of classifying an artifact and a diseased area in a medical image | |
KR102084138B1 (en) | Apparatus and method for processing image | |
Kapouleas | Automatic detection of white matter lesions in magnetic resonance brain images | |
US11967079B1 (en) | System and method for automatically detecting large vessel occlusion on a computational tomography angiogram | |
JP6041781B2 (en) | MEDICAL IMAGE PROCESSING DEVICE, ITS OPERATION METHOD, AND MEDICAL IMAGE PROCESSING PROGRAM | |
Zeng et al. | A 2.5 D deep learning-based method for drowning diagnosis using post-mortem computed tomography | |
US10307124B2 (en) | Image display device, method, and program for determining common regions in images | |
KR20210001233A (en) | Method for Blood Vessel Segmentation | |
EP4209994A1 (en) | Method and system for automatic classification of radiographic images having different acquisition characteristics | |
KR20230106205A (en) | Apparatus and methods for classifying neurodegenerative diseases image of amyloid-positive based on deep-learning | |
JP7155274B2 (en) | Systems and methods for accelerated clinical workflow | |
Zgallai et al. | The application of deep learning to quantify SAT/VAT in human abdominal area | |
KR102069774B1 (en) | Apparatus and method for processing image | |
US20240233129A1 (en) | Quantification of body composition using contrastive learning in ct images | |
KR20240102809A (en) | Method and device for estimating of adrenal hyperplasia in medical image | |
Grigorieva et al. | The Construction of an Individualized Spinal 3D Model Based on the X-ray Recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |