KR102632864B1 - 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템 및 그 방법 - Google Patents
의미론적 분할을 이용한 3차원 골절 골편 분할 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR102632864B1 KR102632864B1 KR1020230045962A KR20230045962A KR102632864B1 KR 102632864 B1 KR102632864 B1 KR 102632864B1 KR 1020230045962 A KR1020230045962 A KR 1020230045962A KR 20230045962 A KR20230045962 A KR 20230045962A KR 102632864 B1 KR102632864 B1 KR 102632864B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- unit
- skeleton
- learning
- information
- Prior art date
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 89
- 239000012634 fragment Substances 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 35
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 75
- 238000013135 deep learning Methods 0.000 claims abstract description 38
- 230000000873 masking effect Effects 0.000 claims abstract description 13
- 206010017076 Fracture Diseases 0.000 claims description 65
- 238000012545 processing Methods 0.000 claims description 40
- 238000002591 computed tomography Methods 0.000 claims description 20
- 238000009877 rendering Methods 0.000 claims description 17
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 13
- 238000013500 data storage Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000037182 bone density Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Physiology (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 환자의 신체 골격에 대한 의료영상을 제공하는 영상 제공모듈; 상기 영상 제공모듈로부터 미리 제공되는 제1 의료영상을 기반으로 상기 골격 내 골절에 의한 골편이 각각 마스킹 처리된 제1 마스크맵 이미지와, 상기 마스킹 처리에 사용된 마스크 색상에 대한 RGB 정보를 검출하여 저장하고, 미리 프로그래밍된 딥러닝 기반의 알고리즘 데이터를 통해 상기 제1 의료영상, 상기 제1 마스크맵 이미지 및 상기 RGB 정보가 학습되도록 하여 상기 골격 및 상기 골편을 미리 설정된 분류 기준에 따라 분할하기 위한 학습모델을 구축하며, 상기 구축된 학습모델을 이용하여 상기 영상 제공모듈로부터 상기 학습이 수행된 이후를 기점으로 제공되는 제2 의료영상에 대해 상기 골격 및 상기 골편이 자동 분할된 제2 마스크맵 이미지를 즉각 획득하면서 이에 대응하는 3차원 영상정보를 생성하는 제어모듈; 및 상기 제어모듈로부터 생성된 3차원 영상정보를 임의의 화면 상에 시각적으로 디스플레이하는 알림모듈을 포함하되, 상기 알고리즘 데이터는, 상기 골격 및 상기 골편에 대한 이미지의 각 픽셀을 미리 설정된 클래스 또는 카테고리로 분류하여 의미론적 분할을 수행하도록 구성될 수 있다.
Description
본 발명은 환자의 신체 골격에 대한 의료영상과, 골격 내 골편이 각각 마스킹된 마스크맵 이미지와, 마스킹에 사용된 마스크 색상의 RGB 정보가 딥러닝 기반의 의미론적 분할 모델에 의해 학습되도록 한 구성을 통해 새로운 의료영상에 대해 골격은 물론, 골편을 미리 설정된 분류 기준에 따라 보다 정확하고 신속하게 분할해주는 마스크 영상을 결과물로 획득할 수 있고, 특히, 이를 3차원으로 재구성하는 구성을 통해 골편이 분할된 3차원 골격 영상을 획득할 수 있으며, 이에 따라, 골절에 대해 보다 세분화된 정보로 향상된 시인성을 용이하게 제공할 수 있는 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템 및 그 방법에 관한 것이다.
일반적으로, 환자의 골절 상태에 대한 파악은, CT(Computed Tomography), MRI(magnetic resonance imaging), X-Ray 등 다양한 기법으로 환자의 신체 골격에 대해 촬영을 수행하는 영상 의료기기에 의해 이루어지고 있다.
그러나, 골절된 뼈는 수많은 조각(골편)이 포함될 수 있고, 여기서, 조각은 정확한 골절 부위를 판단하기 위해서 골격 단위의 집합을 이루도록 상호 연관있는 개체가 분할(분류)되어야 하는데, 종래에는 이러한 분할이 어려운 것은 물론, 이에 도 1 및 도 2에 나타낸 바와 같이, 다소 형식적이고 소극적인 방식을 취하고 있다.
예컨대, CT 영상에서 골절된 뼈의 분할은 하기와 같은 이유로 곤란할 수 있다.
1) 골절의 복잡성 : 골절은 복잡한 모양과 패턴을 가질 수 있으므로 이미지 처리 알고리즘이 뼈를 정확하게 분할하기 어려울 수 있다. 일부 골절에는 여러 개의 뼈 조각이 포함될 수 있으며, 이는 분할 과정을 더욱 복잡하게 만든다.
2) 골밀도의 변화 : 뼈는 밀도가 다양하여 분할 문제를 일으킬 수 있다. 골절은 골밀도의 변화를 초래할 수 있으며, 이는 CT 이미지에서 골절 모양에 영향을 줄 수 있는데, 이로 인해 골절을 주변 조직과 구별하기 어려울 수 있다.
3) 이미지 아티팩트 : CT 이미지는 노이즈, 아티팩트 및 뼈를 정확하게 분할하기 어렵게 만드는 기타 이미징 문제의 영향을 받을 수 있다. 예를 들어 골절을 안정화하는데 사용되는 금속 하드웨어는 분할을 방해하는 아티팩트를 유발할 수 있다.
4) 이미징 프로토콜의 변형 : CT 스캔은 다양한 슬라이스 두께, 시야 설정 및 재구성 알고리즘과 같은 다양한 프로토콜을 사용하여 획득할 수 있는데, 이러한 변형은 이미지의 골절 모양에 영향을 줄 수 있으며, 일반화 가능한 세분화 알고리즘을 개발하기 어렵게 만들 수 있다.
5) 관찰자 간 가변성 : 골절 분할은 종종 전문가가 전용 소프트웨어를 이용하여 수동으로 수행하며 서로 다른 전문가가 동일한 골절을 분할하는 방법에도 상당한 변동이 있을 수 있는데, 이로 인해 골절 분할을 위한 표준을 개발하고 자동 분할 알고리즘의 성능을 평가하기가 어려울 수 있다.
한편, 의미론적 분할은 컴퓨터 비전의 핵심 기술 중 하나이자, 이미지의 각 픽셀을 특정 클래스 또는 범주로 분류하는 프로세스로서, 의미론적 분할 알고리즘은 이미지의 각 픽셀을 정확하게 분류하는 것을 목표로 하며, 이미지의 개체 및 해당 경계에 대한 보다 자세한 정보 제공이 가능하다.
또한, 픽셀이 속한 개체 클래스를 기반으로 픽셀을 분류하는데, 예를 들어 하늘에 속하는 픽셀은 하늘로 분류되고 자동차에 속하는 픽셀은 자동차로 분류된다.
이에 따라, 의미론적 분할은 이미지의 개체를 분류할 뿐만 아니라, 경계를 표시하여 이미지의 객체를 찾을 수 있고, 객체가 겹치는 경우에도 이미지에서 여러 객체를 식별하고 분류할 수 있다.
상기와 같은 이유로 의미론적 분할 알고리즘은 많은 양의 데이터를 빠르게 처리해야 하고, 계산 효율이 높도록 하여 실시간 또는 거의 실시간으로 분할을 수행할 수 있어야 한다.
전반적으로, 의미론적 분할은 이미지 내용에 대한 자세한 이해를 제공하는 강력한 기술이므로, 자율 주행 자동차, 객체 인식 및 의료 이미지 분석과 같은 광범위한 응용 프로그램에서 유용하다.
특히, 정형외과 분야에 적용될 경우, 골절이 발생되면 여러 가지 골편이 발생되어 의료영상에 이러한 골편의 정보가 표시되며, 골편의 형태나 크기, 개수가 워낙 다양하고 골격이라는 같은 클래스에 속하기 때문에 영상 상에서 골편을 분류하는 작업에는 의미론적 분할을 이용하는 것이 가장 효과적이다.
따라서, 의료영상에서 보여지는 골격 내 불특정 다수, 불규칙한 형태, 개수의 골편을 정확하고 빠르게 분할하기 위해 의미론적 분할을 활용하며, 분할된 결과를 3차원으로 재구성하는 기술에 대한 개발이 요구된다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 환자의 신체 골격에 대한 의료영상과, 골격 내 골편이 각각 마스킹된 마스크맵 이미지와, 마스킹에 사용된 마스크 색상의 RGB 정보가 딥러닝 기반의 의미론적 분할 모델에 의해 학습되도록 한 구성을 통해 새로운 의료영상에 대해 골격은 물론, 골편을 미리 설정된 분류 기준에 따라 보다 정확하고 신속하게 분할해주는 마스크 영상을 결과물로 획득할 수 있고, 특히, 이를 3차원으로 재구성하는 구성을 통해 골편이 분할된 3차원 골격 영상을 획득할 수 있으며, 이에 따라, 골절에 대해 보다 세분화된 정보로 향상된 시인성을 용이하게 제공할 수 있는 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템 및 그 방법을 제공하는데 목적이 있다.
다만, 본 발명에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 기술적 수단인 본 발명의 일 실시예에 따른 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템은, 환자의 신체 골격에 대한 의료영상을 제공하는 영상 제공모듈; 상기 영상 제공모듈로부터 미리 제공되는 제1 의료영상을 기반으로 상기 골격 내 골절에 의한 골편이 각각 마스킹 처리된 제1 마스크맵 이미지와, 상기 마스킹 처리에 사용된 마스크 색상에 대한 RGB 정보를 검출하여 저장하고, 미리 프로그래밍된 딥러닝 기반의 알고리즘 데이터를 통해 상기 제1 의료영상, 상기 제1 마스크맵 이미지 및 상기 RGB 정보가 학습되도록 하여 상기 골격 및 상기 골편을 미리 설정된 분류 기준에 따라 분할하기 위한 학습모델을 구축하며, 상기 구축된 학습모델을 이용하여 상기 영상 제공모듈로부터 상기 학습이 수행된 이후를 기점으로 제공되는 제2 의료영상에 대해 상기 골격 및 상기 골편이 자동 분할된 제2 마스크맵 이미지를 즉각 획득하면서 이에 대응하는 3차원 영상정보를 생성하는 제어모듈; 및 상기 제어모듈로부터 생성된 3차원 영상정보를 임의의 화면 상에 시각적으로 디스플레이하는 알림모듈을 포함하되, 상기 알고리즘 데이터는, 상기 골격 및 상기 골편에 대한 이미지의 각 픽셀을 미리 설정된 클래스 또는 카테고리로 분류하여 의미론적 분할을 수행하도록 구성될 수 있다.
또한, 상기 의료영상은, CT(Computed Tomography) 영상, MRI(magnetic resonance imaging) 영상, X-Ray 영상 중 적어도 어느 하나일 수 있다.
또한, 상기 3차원 골절 골편 분할 시스템은, 상기 환자에 대한 임의의 의료정보를 입력가능하게 구성되는 입력모듈을 더 포함할 수 있고, 상기 제어모듈은, 상기 생성된 3차원 영상정보를 상기 입력모듈로부터 입력되는 의료정보와 상호 매칭시켜, 해당 환자의 골절 상태를 설명하면서 그 처방을 가이드하기 위한 진단정보를 생성할 수 있으며, 상기 알림모듈은, 상기 제어모듈로부터 생성된 진단정보에 따라 미리 설정된 알림신호를 출력하여 임의의 화면 상에 시각적으로 디스플레이할 수 있다.
또한, 상기 제어모듈은, 상기 영상 제공모듈로부터 제공된 제1,2 의료영상을 수집하여 입력가능하게 구성되는 영상 입력부; 상기 영상 입력부로부터 입력되는 제1 의료영상을 기반으로 상기 골격 내 골절에 의한 골편이 각각 마스킹 처리된 제1 마스크맵 이미지와, 상기 마스킹 처리에 사용된 마스크 색상에 대한 RGB 정보를 검출하는 영상 처리부; 상기 영상 입력부로부터 입력되는 제1 의료영상과, 상기 영상 처리부를 통해 검출된 상기 제1 마스크맵 이미지 및 상기 RGB 정보를 기록하여 저장하는 데이터 베이스부; 상기 데이터 베이스부에 저장되는 상기 제1 의료영상, 상기 제1 마스크맵 이미지 및 상기 RGB 정보가, 미리 프로그래밍된 딥러닝 기반의 알고리즘 데이터를 통해 학습되도록 하여 상기 골격 및 상기 골편을 미리 설정된 분류 기준에 따라 분할하기 위한 학습모델을 구축하고, 상기 구축된 학습모델이 상기 영상 처리부에 작용함에 따라 상기 학습이 수행된 이후를 기점으로 상기 영상 입력부로부터 입력되는 제2 의료영상에 대해 상기 골격 및 상기 골편이 자동 분할된 제2 마스크맵 이미지가 상기 영상 처리부에서 즉각 획득되도록 하는 딥러닝 학습부; 및 상기 딥러닝 학습부에 의해 상기 영상 처리부에서 즉각 획득된 상기 제2 마스크맵 이미지를 기초로, 3차원 영상정보를 생성하는 3차원 재구성부를 포함할 수 있다.
또한, 상기 딥러닝 학습부는, 미리 프로그래밍된 딥러닝 기반의 알고리즘 데이터를 저장하고 관리하는 데이터 저장부; 상기 데이터 저장부에 저장된 상기 알고리즘 데이터를 기반으로 상기 데이터 베이스부에 저장되는 상기 제1 의료영상, 상기 제1 마스크맵 이미지 및 상기 RGB 정보가 학습되도록 하여 상기 학습모델을 구축하는 학습모델 구축부; 및 상기 학습모델 구축부에서 구축된 학습모델을 기반으로 상기 골격 및 상기 골편에 대한 이미지의 각 픽셀을 미리 설정된 클래스 또는 카테고리로 분류하여 의미론적 분할을 수행하는 의미론적 분할부를 포함할 수 있다.
또한, 상기 3차원 재구성부는, 상기 딥러닝 학습부에 의해 상기 영상 처리부에서 즉각 획득된 상기 제2 마스크맵 이미지의 복셀(voxel) 중 인체의 뼈로 인식되는 제1 복셀을 검출하고, 상기 제1 복셀과 인접한 복수의 제2 복셀을 수집하는 복셀 수집부; 상기 복셀 수집부를 통해 수집된 상기 제2 복셀에 대해 상기 인체의 뼈인 부분과 인체 내 공기인 부분을 구분하여 이진화 처리하는 이진 반환부; 및 상기 이진 반환부를 통해 처리된 결과를 기반으로, 3D 렌더링 작업을 수행하면서 상기 제2 마스크맵 이미지를 3차원으로 재구성한 3차원 영상정보를 생성하는 렌더링 처리부를 포함할 수 있다.
한편, 상기와 같은 목적을 달성하기 위한 기술적 방법인 본 발명의 일 실시예에 따른 의미론적 분할을 이용한 3차원 골절 골편 분할 방법은, a) 영상 제공모듈이 환자의 신체 골격에 의료영상을 제공하는 단계; b) 제어모듈이 상기 a)단계에서 미리 제공되는 제1 의료영상을 기반으로 상기 골격 내 골절에 의한 골편이 각각 마스킹 처리된 제1 마스크맵 이미지와, 상기 마스킹 처리에 사용된 마스크 색상에 대한 RGB 정보를 검출하여 저장하는 단계; c) 상기 제어모듈이 미리 프로그래밍된 딥러닝 기반의 알고리즘 데이터를 통해 상기 제1 의료영상, 상기 제1 마스크맵 이미지 및 상기 RGB 정보가 학습되도록 하여, 상기 골격 및 상기 골편에 대한 이미지의 각 픽셀을 미리 설정된 클래스 또는 카테고리로 분류하면서 의미론적 분할을 수행하기 위한 학습모델을 구축하는 단계; d) 상기 제어모듈이 상기 c)단계에서 구축된 학습모델을 이용하여 상기 a)단계에서 상기 학습이 수행된 이후를 기점으로 제공되는 제2 의료영상에 대해 상기 골격 및 상기 골편이 자동 분할된 제2 마스크맵 이미지를 즉각 획득하면서 이에 대응하는 3차원 영상정보를 생성하는 단계; 및 e) 알림모듈이 상기 d)단계에서 생성된 3차원 영상정보를 임의의 화면 상에 시각적으로 디스플레이하는 단계를 포함할 수 있다.
또한, 상기 a)단계의 의료영상은, CT(Computed Tomography) 영상, MRI(magnetic resonance imaging) 영상, X-Ray 영상 중 적어도 어느 하나일 수 있다.
또한, 상기 d)단계는, d-1) 상기 제어모듈 중 딥러닝 학습부의 의미론적 분할부가, 상기 학습모델을 이용하여 상기 의미론적 분할을 수행하면서 상기 제어모듈 중 영상 처리부에서 상기 제2 마스크맵 이미지가 즉각 획득되도록 하는 단계; d-2) 상기 제어모듈 중 3차원 재구성부의 복셀 수집부가, 상기 d-1)단계에서 즉각 획득된 상기 제2 마스크맵 이미지의 복셀 중 인체의 뼈로 인식되는 제1 복셀을 검출하고, 상기 제1 복셀과 인접한 복수의 제2 복셀을 수집하는 단계; d-3) 상기 3차원 재구성부의 이진 반환부가, 상기 d-2)단계에서 수집된 상기 제2 복셀에 대해 상기 인체의 뼈인 부분과 인체 내 공기인 부분을 구분하여 이진화 처리하는 단계; 및 d-4) 상기 3차원 재구성부의 렌더링 처리부가, 상기 d-3)단계에서 처리된 결과를 기반으로, 3D 렌더링 작업을 수행하면서 상기 제2 마스크맵 이미지를 3차원으로 재구성한 3차원 영상정보를 생성하는 단계를 포함할 수 있다.
본 발명에 따른 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템 및 그 방법은 환자의 신체 골격에 대한 의료영상과, 골격 내 골편이 각각 마스킹된 마스크맵 이미지와, 마스킹에 사용된 마스크 색상의 RGB 정보가 의미론적 분할을 수행하기 위한 딥러닝 기반의 학습모델에 의해 학습되도록 한 구성을 통해 새로운 의료영상에 대해 골격은 물론, 골편을 미리 설정된 분류 기준에 따라 보다 정확하고 신속하게 분할해주는 마스크 영상을 결과물로 획득할 수 있고, 특히, 이를 3차원으로 재구성하는 구성을 통해 골편이 분할된 3차원 골격 영상을 획득할 수 있으며, 이에 따라, 골절에 대해 보다 세분화된 정보로 향상된 시인성을 용이하게 제공할 수 있는 효과가 있다.
또한, 본 발명에 의하면, 딥러닝 기반의 알고리즘 데이터를 이용하여 기존 이미지 처리 기술에서 정확하게 식별하기 어려운 의료영상의 패턴과 특징을 인식하는 방법을 용이하게 학습할 수 있고, 결과적으로 골절된 뼈 영역을 감지 및 분할하는데 보다 높은 수준의 정확도를 달성할 수 있으며, 딥러닝 기반의 의미론적 분할을 수행함으로써, 짧은 시간에 대량의 의료영상을 처리하면서 골절 부위를 보다 신속하게 식별 및 분할할 수 있으므로, 긴급상황에서 보다 효율적으로 대응할 수 있는 장점이 있다.
더불어, 본 발명에 의하면, 다양한 환자와 CT 스캐너에서 일관된 패턴과 기능을 식별하기 위해 대규모 데이터 세트에서 훈련될 수 있고, 이는 동일한 알고리즘을 사용하여 높은 수준의 정확도와 일관성으로 여러 환자의 골절 부위를 분할할 수 있음을 의미하게 된다.
나아가, 본 발명에 의하면, 딥러닝 기반 의미론적 분할 방법은 완전히 자동화가 가능해짐에 따라 골절된 뼈 영역을 식별하고 분할하기 위한 사람의 개입이 불필요하게 되어, 시간 절약과 인적 오류 가능성 감소를 달성할 수 있으며, 특히, 딥러닝 기반 의미론적 분할은 기존 이미지 처리 기술로 식별하기 어려운 복잡한 균열을 포함하여 다양한 유형의 균열을 식별 및 분할하도록 훈련될 수 있으므로, 이는 곧 딥러닝 기반 세분화 방법을 다양한 임상 시나리오에 보다 적합하게 만들 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 종래의 골격 분할 시스템을 사용하여 획득한 2D 이미지를 나타낸 도면.
도 2는 종래의 골격 분할 시스템을 사용하여 획득한 3D 이미지를 나타낸 도면.
도 3은 본 발명의 실시예에 따른 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템의 전자적인 구성을 개략적으로 나타낸 블록도.
도 4는 도 3에 따른 상기 3차원 골절 골편 분할 시스템에서 제어모듈의 전자적인 구성을 개략적으로 나타낸 블록도.
도 5는 상기 3차원 골절 골편 분할 시스템에서 상기 제어모듈의 학습에 사용되는 데이터 전주기 방법을 나타낸 도면.
도 6은 상기 3차원 골절 골편 분할 시스템에서 상기 제어모듈의 학습에 사용되는 데이터 종류를 나타낸 도면.
도 7은 상기 3차원 골절 골편 분할 시스템을 사용하여 획득한 2D 이미지를 나타낸 도면.
도 8은 상기 3차원 골절 골편 분할 시스템을 사용하여 획득한 3D 이미지를 나타낸 도면.
도 9는 본 발명의 실시예에 따른 의미론적 분할을 이용한 3차원 골절 골편 분할 방법을 나타낸 흐름도.
도 10은 도 9에 따른 상기 3차원 골절 골편 분할 방법에서 3D 영상정보 생성단계를 나타낸 흐름도.
도 2는 종래의 골격 분할 시스템을 사용하여 획득한 3D 이미지를 나타낸 도면.
도 3은 본 발명의 실시예에 따른 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템의 전자적인 구성을 개략적으로 나타낸 블록도.
도 4는 도 3에 따른 상기 3차원 골절 골편 분할 시스템에서 제어모듈의 전자적인 구성을 개략적으로 나타낸 블록도.
도 5는 상기 3차원 골절 골편 분할 시스템에서 상기 제어모듈의 학습에 사용되는 데이터 전주기 방법을 나타낸 도면.
도 6은 상기 3차원 골절 골편 분할 시스템에서 상기 제어모듈의 학습에 사용되는 데이터 종류를 나타낸 도면.
도 7은 상기 3차원 골절 골편 분할 시스템을 사용하여 획득한 2D 이미지를 나타낸 도면.
도 8은 상기 3차원 골절 골편 분할 시스템을 사용하여 획득한 3D 이미지를 나타낸 도면.
도 9는 본 발명의 실시예에 따른 의미론적 분할을 이용한 3차원 골절 골편 분할 방법을 나타낸 흐름도.
도 10은 도 9에 따른 상기 3차원 골절 골편 분할 방법에서 3D 영상정보 생성단계를 나타낸 흐름도.
이하에서는, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 3은 본 발명의 실시예에 따른 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템의 전자적인 구성을 개략적으로 나타낸 블록도이고, 도 4는 도 3에 따른 상기 3차원 골절 골편 분할 시스템에서 제어모듈의 전자적인 구성을 개략적으로 나타낸 블록도이며, 도 5는 상기 3차원 골절 골편 분할 시스템에서 상기 제어모듈의 학습에 사용되는 데이터 전주기 방법을 나타낸 도면이고, 도 6은 상기 3차원 골절 골편 분할 시스템에서 상기 제어모듈의 학습에 사용되는 데이터 종류를 나타낸 도면이며, 도 7은 상기 3차원 골절 골편 분할 시스템을 사용하여 획득한 2D 이미지를 나타낸 도면이고, 도 8은 상기 3차원 골절 골편 분할 시스템을 사용하여 획득한 3D 이미지를 나타낸 도면이며, 도 9는 본 발명의 실시예에 따른 의미론적 분할을 이용한 3차원 골절 골편 분할 방법을 나타낸 흐름도이고, 도 10은 도 9에 따른 상기 3차원 골절 골편 분할 방법에서 3D 영상정보 생성단계를 나타낸 흐름도이다.
도 3에 도시한 바와 같이, 본 발명에 따른 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템(100)은 영상 제공모듈(110), 입력모듈(120), 제어모듈(130) 및 알림모듈(140)을 포함하여 구성할 수 있다.
상기 영상 제공모듈(110)은 환자의 신체 골격을 촬영가능하게 구비되는 이미지 센서(미도시)를 포함하여 환자의 골절 상태를 영상으로 파악 및 진단하기 위한 영상 의료기기로서, 본 발명의 실시예에서는, 상기 환자의 신체 골격에 대한 의료영상을 후술될 제어모듈(130)로 제공하는 기능을 수행한다.
여기서, 상기 의료영상은 CT(Computed Tomography) 영상, MRI(magnetic resonance imaging) 영상, X-Ray 영상 중 적어도 어느 하나인 것이 바람직하며, 이러한 영상 제공모듈(110)은 통상적으로 게재된 일반적인 공지의 기술 구성이므로, 더 구체적인 설명은 생략하기로 하며, 해당관련분야의 당업자에 의해 본 발명의 기술적 범위 내에서 다양하게 변경 설계될 수 있다.
상기 입력모듈(120)은 시술자(의사 등 사용자)에게 입력환경을 제공하도록 구비된 것으로, 좀 더 구체적으로는, 상기 환자에 대한 임의의 의료정보를 입력가능하게 구성될 수 있다.
이때, 상기 입력모듈(120)은 PC의 키보드 또는 마우스가 적용되는 것이 바람직하나, 태블릿 또는 스마트폰 등의 키패드가 취급될 수도 있으며, 이에 한정되지 않고, 본 발명의 기술적 범위 내에서 통상의 지식을 가진 당업자에 의해 다양한 유저 인터페이스(user interface)의 취급이 가능함은 물론이다.
또한, 본 발명에 따르면, 상기 의료정보는 환자의 성별, 나이, 흡연여부, 음주여부, 기저질환 중 적어도 하나의 의료와 관련된 데이터를 포함하는 환자별 개인정보인 것이 바람직하다.
상기 제어모듈(130)은 상술한 영상 제공모듈(110)로부터 미리 제공되는 제1 의료영상을 기반으로 상기 골격 내 골절에 의한 골편이 각각 마스킹 처리된 제1 마스크맵 이미지와, 상기 마스킹 처리에 사용된 마스크 색상에 대한 RGB 정보를 검출하여 저장하고, 미리 프로그래밍된 딥러닝 기반의 알고리즘 데이터를 통해 상기 제1 의료영상, 제1 마스크맵 이미지 및 RGB 정보가 학습되도록 하여 상기 골격 및 골편을 미리 설정된 분류 기준에 따라 분할하기 위한 학습모델을 구축하며, 상기 구축된 학습모델을 이용하여 상기 영상 제공모듈(110)로부터 상기 학습이 수행된 이후를 기점으로 제공되는 제2 의료영상에 대해 상기 골격 및 골편이 자동 분할된 제2 마스크맵 이미지를 즉각 획득하면서 이에 대응하는 3차원 영상정보를 생성하도록 구성될 수 있다.
여기서, 본 발명에 의하면, 상기 알고리즘 데이터는 골격 및 골편에 대한 이미지의 각 픽셀을 미리 설정된 클래스 또는 카테고리로 분류하여 의미론적 분할을 수행하도록 구성되는 것이 바람직하고, 이러한 상기 제어모듈(130)은 좀 더 구체적으로, 영상 입력부(131), 영상 처리부(132), 데이터 베이스부(133), 딥러닝 학습부(134) 및 3차원 재구성부(135)를 포함하여 구성될 수 있고, 이하, 도 4를 참조하여, 상기 제어모듈(130)의 하위구성을 보다 상세히 설명하기로 한다.
상기 영상 입력부(131)는 영상 제공모듈(110)로부터 제공된 제1,2 의료영상을 수집하여 입력가능하게 구성되는 것이 바람직하다.
상기 영상 처리부(132)는 상술한 영상 입력부(131)로부터 입력되는 제1 의료영상을 기반으로 상기 골격 내 골절에 의한 골편이 각각 마스킹 처리된 제1 마스크맵 이미지와, 상기 마스킹 처리에 사용된 마스크 색상에 대한 RGB 정보를 검출하는 기능을 수행한다.
상기 데이터 베이스부(133)는 영상 입력부(131)로부터 입력되는 제1 의료영상과, 상기 영상 처리부(132)를 통해 검출된 상기 제1 마스크맵 이미지 및 RGB 정보를 기록하여 저장하도록 구성될 수 있다.
상기 딥러닝 학습부(134)는 데이터 베이스부(133)에 저장되는 상기 제1 의료영상, 제1 마스크맵 이미지 및 RGB 정보가, 미리 프로그래밍된 딥러닝 기반의 알고리즘 데이터를 통해 학습되도록 하여 상기 골격 및 골편을 미리 설정된 분류 기준에 따라 분할하기 위한 학습모델을 구축하고, 상기 구축된 학습모델이 상기 영상 처리부(132)에 작용함에 따라 상기 학습이 수행된 이후를 기점으로 상기 영상 입력부(131)로부터 입력되는 제2 의료영상에 대해 상기 골격 및 골편이 자동 분할된 제2 마스크맵 이미지(도 7 참조)가 상기 영상 처리부(132)에서 즉각 획득되도록 하는 기능을 수행한다.
이러한 상기 딥러닝 학습부(134)는 좀 더 구체적으로는, 데이터 저장부(134a), 학습모델 구축부(134b) 및 의미론적 분할부(134c)를 포함하여 구성될 수 있으며, 이하, 상기 딥러닝 학습부(134)의 하위구성을 보다 상세하게 설명하면 다음과 같다.
상기 데이터 저장부(134a)는 미리 프로그래밍된 딥러닝 기반의 알고리즘 데이터를 저장하고 관리하도록 구성될 수 있다.
상기 학습모델 구축부(134b)는 상술한 데이터 저장부(134a)에 저장된 상기 알고리즘 데이터를 기반으로 상기 데이터 베이스부(133)에 저장되는 상기 제1 의료영상, 제1 마스크맵 이미지 및 RGB 정보가 학습되도록 하여 상기 학습모델을 구축하는 기능을 수행한다.
상기 의미론적 분할부(134c)는 학습모델 구축부(134b)에서 구축된 학습모델을 기반으로 상기 골격 및 골편에 대한 이미지의 각 픽셀을 미리 설정된 클래스 또는 카테고리로 분류하여 의미론적 분할을 수행하도록 구성되는 것이 바람직하다.
상기 3차원 재구성부(135)는 전술한 딥러닝 학습부(134)에 의해 상기 영상 처리부(132)에서 즉각 획득된 상기 제2 마스크맵 이미지를 기초로, 3차원 영상정보를 생성하는 구성으로, 더 구체적으로는, 복셀 수집부(135a), 이진 반환부(135b) 및 렌더링 처리부(135c)를 포함하여 구성될 수 있다.
상기 복셀 수집부(135a)는 딥러닝 학습부(134)에 의해 상기 영상 처리부(132)에서 즉각 획득된 상기 제2 마스크맵 이미지의 복셀(voxel) 중 인체의 뼈로 인식되는 제1 복셀을 검출하고, 상기 제1 복셀과 인접한 복수의 제2 복셀을 수집하는 기능을 수행한다.
상기 이진 반환부(135b)는 상술한 복셀 수집부(135a)를 통해 수집된 상기 제2 복셀에 대해 상기 인체의 뼈인 부분과 인체 내 공기인 부분을 구분하여 이진화 처리하도록 구성되는 것이 바람직하다.
상기 렌더링 처리부(135c)는 이진 반환부(135b)를 통해 처리된 결과를 기반으로, 3D 렌더링 작업을 수행하면서 도 8에 나타낸 바와 같이, 상기 제2 마스크맵 이미지를 3차원으로 재구성한 3차원 영상정보를 생성하도록 구성될 수 있다.
상기 알림모듈(140)은 제어모듈(130)로부터 생성된 3차원 영상정보를 임의의 화면 상에 시각적으로 디스플레이하는 기능을 수행한다.
이러한 상기 알림모듈(140)은 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함하여 구성될 수 있다.
이때, 본 발명에 따르면, 상기 제어모듈(130)은 진단정보 생성부(미도시)를 더 포함하도록 구성함으로써, 상기 생성된 3차원 영상정보를 상기 입력모듈(120)로부터 입력되는 의료정보와 상호 매칭시켜, 해당 환자의 골절 상태를 설명하면서 그 처방을 가이드하기 위한 진단정보를 생성할 수 있고, 상기 알림모듈(140)은 제어모듈로(130)부터 생성된 진단정보에 따라 미리 설정된 알림신호를 출력하여 임의의 화면 상에 시각적으로 디스플레이하도록 구성될 수 있다.
여기서, 상기 알림신호는 영상 및 텍스트를 포함하여 이루어질 수 있고, 이를 위해 상기 알림모듈(140)은 영상을 출력가능하게 구비되는 영상 출력부(141)와, 텍스트를 출력가능하게 구비되는 텍스트 출력부(142)로 구성되는 것이 바람직하다.
한편, 이와 같이 구성된 3차원 골절 골편 분할 시스템(100)을 활용한 3차원 골절 골편 분할 방법은 도 9를 참조하여, 의료영상 제공단계(S100), 학습용 데이터 저장단계(S200), 학습모델 구축단계(S300), 3D 영상정보 생성단계(S400) 및 3D 영상정보 디스플레이 단계(S500)를 포함하여 구성할 수 있다.
상기 의료영상 제공단계(S100)에서는 영상 제공모듈(110)이 임의의 검진 대상환자의 신체 골격에 대한 의료영상을 실시간 제공한다.
여기서, 상기 의료영상 제공단계(S100)에서의 의료영상은 CT(Computed Tomography) 영상, MRI(magnetic resonance imaging) 영상, X-Ray 영상 중 적어도 어느 하나인 것이 바람직하다.
상기 학습용 데이터 저장단계(S200)에서는 제어모듈(130)이 상기 의료영상 제공단계(S100)에서 미리 제공되는 제1 의료영상을 기반으로 상기 골격 내 골절에 의한 골편이 각각 마스킹 처리된 제1 마스크맵 이미지와, 상기 마스킹 처리에 사용된 마스크 색상에 대한 RGB 정보를 검출하여 저장한다.
상기 학습모델 구축단계(S300)에서는 제어모듈(130)이 미리 프로그래밍된 딥러닝 기반의 알고리즘 데이터를 통해 상기 제1 의료영상, 제1 마스크맵 이미지 및 RGB 정보가 학습되도록 하여, 상기 골격 및 골편에 대한 이미지의 각 픽셀을 미리 설정된 클래스 또는 카테고리로 분류하면서 의미론적 분할을 수행하기 위한 학습모델을 구축한다.
3D 영상정보 생성단계(S400)에서는 제어모듈(130)이 상기 학습모델 구축단계(S300)에서 구축된 학습모델을 이용하여 상기 의료영상 제공단계(S100)에서 상기 학습이 수행된 이후를 기점으로 제공되는 제2 의료영상에 대해 상기 골격 및 골편이 자동 분할된 제2 마스크맵 이미지를 즉각 획득하면서 이에 대응하는 3차원 영상정보를 생성한다.
이러한 상기 3D 영상정보 생성단계(S400)는 좀 더 구체적으로, 도 10에 도시된 바와 같이, 의미론적 분할단계(S410), 연관 복셀 수집단계(S420), 이진화 처리단계(S430) 및 렌더링 처리단계(S440)을 포함하여 구성될 수 있다.
상기 의미론적 분할단계(S410)에서는 제어모듈(130) 중 딥러닝 학습부(134)의 의미론적 분할부(134c)가, 상기 학습모델을 이용하여 의미론적 분할을 수행하면서 상기 제어모듈(130) 중 영상 처리부(132)에서 상기 제2 마스크맵 이미지가 즉각 획득되도록 한다.
상기 연관 복셀 수집단계(S420)에서는 제어모듈(130) 중 3차원 재구성부(135)의 복셀 수집부(135a)가, 상기 의미론적 분할단단계(S410)에서 즉각 획득된 상기 제2 마스크맵 이미지의 복셀 중 인체의 뼈로 인식되는 제1 복셀을 검출하고, 상기 제1 복셀과 인접한 복수의 제2 복셀을 수집한다.
상기 이진화 처리단계(S430)에서는 상술한 3차원 재구성부(135)의 이진 반환부(135b)가, 상기 연관 복셀 수집단계(S420)에서 수집된 상기 제2 복셀에 대해 상기 인체의 뼈인 부분과 인체 내 공기인 부분을 구분하여 이진화 처리한다.
상기 렌더링 처리단계(S440)에서는 상술한 3차원 재구성부(135)의 렌더링 처리부(135c)가, 상기 이진화 처리단계(S430)에서 처리된 결과를 기반으로, 3D 렌더링 작업을 수행하면서 상기 제2 마스크맵 이미지를 3차원으로 재구성한 3차원 영상정보를 생성한다.
상기 3D 영상정보 디스플레이 단계(S500)에서는 알림모듈(140)이 상기 3D 영상정보 생성단계(S400)에서 생성된 3차원 영상정보를 임의의 화면 상에 시각적으로 디스플레이한다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.
100 : 3차원 골절 골편 분할 시스템
110 : 영상 제공모듈
120 : 입력모듈
130 : 제어모듈
131 : 영상 입력부
132 : 영상 처리부
133 : 데이터 베이스부
134 : 딥러닝 학습부
134a : 데이터 저장부
134b : 학습모델 구축부
134c : 의미론적 분할부
135 : 3차원 재구성부
135a : 복셀 수집부
135b : 이진 반환부
135c : 렌더링 처리부
140 : 알림모듈
141 : 영상 출력부
142 : 텍스트 출력부
S100 : 의료영상 제공단계
S200 : 학습용 데이터 저장단계
S300 : 학습모델 구축단계
S400 : 3D 영상정보 생성단계
S410 : 의미론적 분할단계
S420 : 연관 복셀 수집단계
S430 : 이진화 처리단계
S440 : 렌더링 처리단계
S500 : 3D 영상정보 디스플레이 단계
110 : 영상 제공모듈
120 : 입력모듈
130 : 제어모듈
131 : 영상 입력부
132 : 영상 처리부
133 : 데이터 베이스부
134 : 딥러닝 학습부
134a : 데이터 저장부
134b : 학습모델 구축부
134c : 의미론적 분할부
135 : 3차원 재구성부
135a : 복셀 수집부
135b : 이진 반환부
135c : 렌더링 처리부
140 : 알림모듈
141 : 영상 출력부
142 : 텍스트 출력부
S100 : 의료영상 제공단계
S200 : 학습용 데이터 저장단계
S300 : 학습모델 구축단계
S400 : 3D 영상정보 생성단계
S410 : 의미론적 분할단계
S420 : 연관 복셀 수집단계
S430 : 이진화 처리단계
S440 : 렌더링 처리단계
S500 : 3D 영상정보 디스플레이 단계
Claims (9)
- 환자의 신체 골격에 대한 의료영상을 제공하는 영상 제공모듈;
상기 영상 제공모듈로부터 미리 제공되는 제1 의료영상을 기반으로 상기 골격 내 골절에 의한 골편이 각각 마스킹 처리된 제1 마스크맵 이미지와, 상기 마스킹 처리에 사용된 마스크 색상에 대한 RGB 정보를 검출하여 저장하고, 미리 프로그래밍된 딥러닝 기반의 알고리즘 데이터를 통해 상기 제1 의료영상, 상기 제1 마스크맵 이미지 및 상기 RGB 정보가 학습되도록 하여 상기 골격 및 상기 골편을 미리 설정된 분류 기준에 따라 분할하기 위한 학습모델을 구축하며, 상기 구축된 학습모델을 이용하여 상기 영상 제공모듈로부터 상기 학습이 수행된 이후를 기점으로 제공되는 제2 의료영상에 대해 상기 골격 및 상기 골편이 자동 분할된 제2 마스크맵 이미지를 즉각 획득하면서 이에 대응하는 3차원 영상정보를 생성하는 제어모듈; 및
상기 제어모듈로부터 생성된 3차원 영상정보를 임의의 화면 상에 시각적으로 디스플레이하는 알림모듈을 포함하되,
상기 알고리즘 데이터는,
상기 골격 및 상기 골편에 대한 이미지의 각 픽셀을 미리 설정된 클래스 또는 카테고리로 분류하여 의미론적 분할을 수행하도록 구성된 것을 특징으로 하고,
상기 제어모듈은,
상기 영상 제공모듈로부터 제공된 제1,2 의료영상을 수집하여 입력가능하게 구성되는 영상 입력부;
상기 영상 입력부로부터 입력되는 제1 의료영상을 기반으로 상기 골격 내 골절에 의한 골편이 각각 마스킹 처리된 제1 마스크맵 이미지와, 상기 마스킹 처리에 사용된 마스크 색상에 대한 RGB 정보를 검출하는 영상 처리부;
상기 영상 입력부로부터 입력되는 제1 의료영상과, 상기 영상 처리부를 통해 검출된 상기 제1 마스크맵 이미지 및 상기 RGB 정보를 기록하여 저장하는 데이터 베이스부;
상기 데이터 베이스부에 저장되는 상기 제1 의료영상, 상기 제1 마스크맵 이미지 및 상기 RGB 정보가, 미리 프로그래밍된 딥러닝 기반의 알고리즘 데이터를 통해 학습되도록 하여 상기 골격 및 상기 골편을 미리 설정된 분류 기준에 따라 분할하기 위한 학습모델을 구축하고, 상기 구축된 학습모델이 상기 영상 처리부에 작용함에 따라 상기 학습이 수행된 이후를 기점으로 상기 영상 입력부로부터 입력되는 제2 의료영상에 대해 상기 골격 및 상기 골편이 자동 분할된 제2 마스크맵 이미지가 상기 영상 처리부에서 즉각 획득되도록 하는 딥러닝 학습부; 및
상기 딥러닝 학습부에 의해 상기 영상 처리부에서 즉각 획득된 상기 제2 마스크맵 이미지를 기초로, 3차원 영상정보를 생성하는 3차원 재구성부를 포함하는 것을 특징으로 하며,
상기 딥러닝 학습부는,
미리 프로그래밍된 딥러닝 기반의 알고리즘 데이터를 저장하고 관리하는 데이터 저장부;
상기 데이터 저장부에 저장된 상기 알고리즘 데이터를 기반으로 상기 데이터 베이스부에 저장되는 상기 제1 의료영상, 상기 제1 마스크맵 이미지 및 상기 RGB 정보가 학습되도록 하여 상기 학습모델을 구축하는 학습모델 구축부; 및
상기 학습모델 구축부에서 구축된 학습모델을 기반으로 상기 골격 및 상기 골편에 대한 이미지의 각 픽셀을 미리 설정된 클래스 또는 카테고리로 분류하여 의미론적 분할을 수행하는 의미론적 분할부를 포함하는 것을 특징으로 하고,
상기 3차원 재구성부는,
상기 딥러닝 학습부에 의해 상기 영상 처리부에서 즉각 획득된 상기 제2 마스크맵 이미지의 복셀(voxel) 중 인체의 뼈로 인식되는 제1 복셀을 검출하고, 상기 제1 복셀과 인접한 복수의 제2 복셀을 수집하는 복셀 수집부;
상기 복셀 수집부를 통해 수집된 상기 제2 복셀에 대해 상기 인체의 뼈인 부분과 인체 내 공기인 부분을 구분하여 이진화 처리하는 이진 반환부; 및
상기 이진 반환부를 통해 처리된 결과를 기반으로, 3D 렌더링 작업을 수행하면서 상기 제2 마스크맵 이미지를 3차원으로 재구성한 3차원 영상정보를 생성하는 렌더링 처리부를 포함하는 것을 특징으로 하는 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템.
- 제 1 항에 있어서,
상기 의료영상은,
CT(Computed Tomography) 영상, MRI(magnetic resonance imaging) 영상, X-Ray 영상 중 적어도 어느 하나인 것을 특징으로 하는 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템.
- 제 1 항에 있어서,
상기 3차원 골절 골편 분할 시스템은,
상기 환자에 대한 임의의 의료정보를 입력가능하게 구성되는 입력모듈을 더 포함하는 것을 특징으로 하고,
상기 제어모듈은,
상기 생성된 3차원 영상정보를 상기 입력모듈로부터 입력되는 의료정보와 상호 매칭시켜, 해당 환자의 골절 상태를 설명하면서 그 처방을 가이드하기 위한 진단정보를 생성하는 것을 특징으로 하며,
상기 알림모듈은,
상기 제어모듈로부터 생성된 진단정보에 따라 미리 설정된 알림신호를 출력하여 임의의 화면 상에 시각적으로 디스플레이하는 것을 특징으로 하는 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템.
- 삭제
- 삭제
- 삭제
- a) 영상 제공모듈이 환자의 신체 골격에 의료영상을 제공하는 단계;
b) 제어모듈이 상기 a)단계에서 미리 제공되는 제1 의료영상을 기반으로 상기 골격 내 골절에 의한 골편이 각각 마스킹 처리된 제1 마스크맵 이미지와, 상기 마스킹 처리에 사용된 마스크 색상에 대한 RGB 정보를 검출하여 저장하는 단계;
c) 상기 제어모듈이 미리 프로그래밍된 딥러닝 기반의 알고리즘 데이터를 통해 상기 제1 의료영상, 상기 제1 마스크맵 이미지 및 상기 RGB 정보가 학습되도록 하여, 상기 골격 및 상기 골편에 대한 이미지의 각 픽셀을 미리 설정된 클래스 또는 카테고리로 분류하면서 의미론적 분할을 수행하기 위한 학습모델을 구축하는 단계;
d) 상기 제어모듈이 상기 c)단계에서 구축된 학습모델을 이용하여 상기 a)단계에서 상기 학습이 수행된 이후를 기점으로 제공되는 제2 의료영상에 대해 상기 골격 및 상기 골편이 자동 분할된 제2 마스크맵 이미지를 즉각 획득하면서 이에 대응하는 3차원 영상정보를 생성하는 단계; 및
e) 알림모듈이 상기 d)단계에서 생성된 3차원 영상정보를 임의의 화면 상에 시각적으로 디스플레이하는 단계를 포함하되,
상기 d)단계는,
d-1) 상기 제어모듈 중 딥러닝 학습부의 의미론적 분할부가, 상기 학습모델을 이용하여 상기 의미론적 분할을 수행하면서 상기 제어모듈 중 영상 처리부에서 상기 제2 마스크맵 이미지가 즉각 획득되도록 하는 단계;
d-2) 상기 제어모듈 중 3차원 재구성부의 복셀 수집부가, 상기 d-1)단계에서 즉각 획득된 상기 제2 마스크맵 이미지의 복셀 중 인체의 뼈로 인식되는 제1 복셀을 검출하고, 상기 제1 복셀과 인접한 복수의 제2 복셀을 수집하는 단계;
d-3) 상기 3차원 재구성부의 이진 반환부가, 상기 d-2)단계에서 수집된 상기 제2 복셀에 대해 상기 인체의 뼈인 부분과 인체 내 공기인 부분을 구분하여 이진화 처리하는 단계; 및
d-4) 상기 3차원 재구성부의 렌더링 처리부가, 상기 d-3)단계에서 처리된 결과를 기반으로, 3D 렌더링 작업을 수행하면서 상기 제2 마스크맵 이미지를 3차원으로 재구성한 3차원 영상정보를 생성하는 단계를 포함하는 것을 특징으로 하는 의미론적 분할을 이용한 3차원 골절 골편 분할 방법.
- 제 7 항에 있어서,
상기 a)단계의 의료영상은,
CT(Computed Tomography) 영상, MRI(magnetic resonance imaging) 영상, X-Ray 영상 중 적어도 어느 하나인 것을 특징으로 하는 의미론적 분할을 이용한 3차원 골절 골편 분할 방법.
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230045962A KR102632864B1 (ko) | 2023-04-07 | 2023-04-07 | 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230045962A KR102632864B1 (ko) | 2023-04-07 | 2023-04-07 | 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102632864B1 true KR102632864B1 (ko) | 2024-02-07 |
Family
ID=89873047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230045962A KR102632864B1 (ko) | 2023-04-07 | 2023-04-07 | 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102632864B1 (ko) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005509472A (ja) * | 2001-11-13 | 2005-04-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ブラックブラッド血管造影法及び装置 |
| KR20190105210A (ko) * | 2018-02-22 | 2019-09-16 | 고려대학교 산학협력단 | 통합 의료 진단 서비스 제공 시스템 및 그 방법 |
| KR20210000542A (ko) * | 2019-06-25 | 2021-01-05 | 서울여자대학교 산학협력단 | 의료영상에서의 특정연골 분할 방법 및 장치 |
| KR20210002606A (ko) * | 2018-07-24 | 2021-01-08 | 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 | 의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체 |
| KR102216022B1 (ko) | 2019-05-09 | 2021-02-15 | 서울여자대학교 산학협력단 | 두부경부 컴퓨터 단층 촬영 영상에서 안와뼈 평균형상 모델링 방법 및 장치 |
| KR20220094700A (ko) * | 2020-12-29 | 2022-07-06 | 아주대학교산학협력단 | 인공지능 학습용 의료영상 데이터 구축을 위한 마스킹 방법 및 시스템 |
| KR20220137220A (ko) * | 2021-04-01 | 2022-10-12 | 고려대학교 산학협력단 | 인공지능 기반의 의료 영상 3차원 변환 장치 및 방법 |
| KR20230013717A (ko) * | 2021-07-19 | 2023-01-27 | 주식회사 카비랩 | 다중 cnn 기반의 3차원 골절부 검출 장치 및 그 방법 |
-
2023
- 2023-04-07 KR KR1020230045962A patent/KR102632864B1/ko active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005509472A (ja) * | 2001-11-13 | 2005-04-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ブラックブラッド血管造影法及び装置 |
| KR20190105210A (ko) * | 2018-02-22 | 2019-09-16 | 고려대학교 산학협력단 | 통합 의료 진단 서비스 제공 시스템 및 그 방법 |
| KR20210002606A (ko) * | 2018-07-24 | 2021-01-08 | 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 | 의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체 |
| KR102216022B1 (ko) | 2019-05-09 | 2021-02-15 | 서울여자대학교 산학협력단 | 두부경부 컴퓨터 단층 촬영 영상에서 안와뼈 평균형상 모델링 방법 및 장치 |
| KR20210000542A (ko) * | 2019-06-25 | 2021-01-05 | 서울여자대학교 산학협력단 | 의료영상에서의 특정연골 분할 방법 및 장치 |
| KR20220094700A (ko) * | 2020-12-29 | 2022-07-06 | 아주대학교산학협력단 | 인공지능 학습용 의료영상 데이터 구축을 위한 마스킹 방법 및 시스템 |
| KR20220137220A (ko) * | 2021-04-01 | 2022-10-12 | 고려대학교 산학협력단 | 인공지능 기반의 의료 영상 3차원 변환 장치 및 방법 |
| KR20230013717A (ko) * | 2021-07-19 | 2023-01-27 | 주식회사 카비랩 | 다중 cnn 기반의 3차원 골절부 검출 장치 및 그 방법 |
Non-Patent Citations (1)
| Title |
|---|
| 손혜원,‘딥 러닝을 이용한 림프부종 CT 영상 내 섬유화된 조직의 의미론적 분할’,울산대학교 대학원, 2021.02,pp 1-42 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11069056B2 (en) | Multi-modal computer-aided diagnosis systems and methods for prostate cancer | |
| Hryniewska et al. | Checklist for responsible deep learning modeling of medical images based on COVID-19 detection studies | |
| AU2004252917B2 (en) | CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system | |
| JP6807820B2 (ja) | 画像検索装置、方法およびプログラム | |
| JP6885517B1 (ja) | 診断支援装置及びモデル生成装置 | |
| US11893729B2 (en) | Multi-modal computer-aided diagnosis systems and methods for prostate cancer | |
| JP2020166809A (ja) | モデル学習用のシステム、装置、及び学習方法 | |
| US11544844B2 (en) | Medical image processing method and apparatus | |
| JP7102509B2 (ja) | 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム | |
| Ye et al. | Severity assessment of COVID-19 based on feature extraction and V-descriptors | |
| US20220004838A1 (en) | Machine learning-based automated abnormality detection in medical images and presentation thereof | |
| US20210142480A1 (en) | Data processing method and apparatus | |
| US20230005580A1 (en) | Document creation support apparatus, method, and program | |
| CN108399354A (zh) | 计算机视觉识别肿瘤的方法和装置 | |
| US20240257349A1 (en) | Similarity determination apparatus, similarity determination method, and similarity determination program | |
| KR102360615B1 (ko) | 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법 | |
| US20230360213A1 (en) | Information processing apparatus, method, and program | |
| CN111226287A (zh) | 用于分析医学成像数据集的方法、用于分析医学成像数据集的系统、计算机程序产品以及计算机可读介质 | |
| Buongiorno et al. | Uip-net: a decoder-encoder cnn for the detection and quantification of usual interstitial pneumoniae pattern in lung ct scan images | |
| US20080050003A1 (en) | Method for Detection and Visional Enhancement of Blood Vessels and Pulmonary Emboli | |
| KR102632864B1 (ko) | 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템 및 그 방법 | |
| JP7475968B2 (ja) | 医用画像処理装置、方法及びプログラム | |
| Krishnaswamy et al. | A novel machine learning-based video classification approach to detect pneumonia in COVID-19 patients using lung ultrasound | |
| Singh et al. | Overview of image processing technology in healthcare systems | |
| Singh et al. | COVID-19 Diagnosis using Laplacian Edge Detection & Morphological Dilation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |