KR102479703B1 - 다단계 심층 강화학습을 이용한 3차원 형태-해부학적 기준점 검출 방법 및 장치 - Google Patents
다단계 심층 강화학습을 이용한 3차원 형태-해부학적 기준점 검출 방법 및 장치 Download PDFInfo
- Publication number
- KR102479703B1 KR102479703B1 KR1020200177192A KR20200177192A KR102479703B1 KR 102479703 B1 KR102479703 B1 KR 102479703B1 KR 1020200177192 A KR1020200177192 A KR 1020200177192A KR 20200177192 A KR20200177192 A KR 20200177192A KR 102479703 B1 KR102479703 B1 KR 102479703B1
- Authority
- KR
- South Korea
- Prior art keywords
- reference point
- dimensional
- coordinate value
- reinforcement learning
- view image
- Prior art date
Links
- 230000002787 reinforcement Effects 0.000 title claims abstract description 79
- 238000001514 detection method Methods 0.000 title claims description 29
- 230000000877 morphologic effect Effects 0.000 title description 2
- 238000009877 rendering Methods 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000002591 computed tomography Methods 0.000 claims description 20
- 238000007408 cone-beam computed tomography Methods 0.000 claims description 8
- 238000009792 diffusion process Methods 0.000 claims description 7
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 5
- 238000002600 positron emission tomography Methods 0.000 claims description 5
- 238000002603 single-photon emission computed tomography Methods 0.000 claims description 5
- 210000003625 skull Anatomy 0.000 claims description 5
- 210000000988 bone and bone Anatomy 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012730 cephalometry Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 210000004872 soft tissue Anatomy 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010990 cephalometric method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000037118 bone strength Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000002532 foramen magnum Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010074180 Craniofacial deformity Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000019552 anatomical structure morphogenesis Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001002 morphogenetic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Quality & Reliability (AREA)
- Dentistry (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Physiology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Graphics (AREA)
- Pulmonology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명은 다단계 심층 강화학습을 이용한 3차원 형태-해부학적 기준점 검출 방법 및 장치에 관한 것으로, 본 발명에 따른 방법은 3차원 영상 데이터에 볼륨 렌더링을 수행하여 3차원 볼륨 렌더링 모델 데이터를 생성하는 단계, 상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하고, 상기 2차원 좌표값을 기초로 구해지는 상기 3차원 영상 데이터의 1차원 프로파일을 기초로 상기 기준점에 대응하는 나머지 1차원 좌표값을 구하는 단일-스테이지 DRL 적용 단계 - 상기 1차원 프로파일은 상기 2차원 뷰 영상에 수직이면서 상기 2차원 좌표값에 대응하는 점을 지나는 축에서의 3차원 영상 데이터 값으로 이루어짐 -, 및 상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하고, 상기 구해진 2차원 좌표값을 기초로 정해지는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하는 것을 반복하여 기준점을 검출하는 멀티-스테이지 DRL 적용 단계를 포함한다.
Description
본 발명은 3차원 형태-해부학적 기준점 검출 방법 및 장치에 관한 것으로, 보다 자세하게는 다단계 심층 강화학습과 볼륨 렌더링 이미징을 기반으로 3차원 형태-해부학적 기준점을 정확하게 검출할 수 있는 방법 및 장치에 관한 것이다.
인체 혹은 동물의 여러 형태-해부학적 구조물의 형태학적 특성을 이해하고 응용하기 위해서는 기준점(landmark)을 찾고 이들간의 관계를 분석하는 것이 필요하다. 따라서 형태-해부학적 기준점을 찾는 작업은 여러 생물학적 연구-응용에서 필수적이지만 많은 대상 샘플에서 기준점을 찾기는 어렵다. 이 과정을 자동화하기 위한 여러 노력 가운데 한가지로 인공지능을 이용한 기준점 획득 방법을 제시하려는 노력이 이루어지고 있다.
여러 신체 부위 중 머리는 복잡성, 중요성에서 다른 부위에 뒤지지 않는다. 이러한 두개 안면 형태 측정을 위해 3차원 컴퓨터 단층 촬영(Computed Tomography, CT) 이미지를 사용하는 두부 계측 분석법(Cephalometry)은 두개 안면 변형(craniofacial deformity), 임상 치과(clinical dentistry), 성장(growth), 인류학(anthropology) 및 비교 해부학(comparative anatomy)에 대한 치료 및/또는 연구를 수행하기 위해 다양한 의학 및 생물학적 분야에 적용되었다. 2차원 이미지에 대한 두부 계측 분석법은 오랫동안 이러한 응용 분야에서 중심적인 역할을 했다. 최근 과학 및 기술 개발로 인해 정확한 해부학적 구조 식별 및 복잡한 안면 구조 평가와 관련된 장점으로 인해 3D 두부 계측 분석법이 빠르게 도입되었다. 이러한 놀라운 장점에도 불구하고, 3D 데이터에 대해서 수동으로 기준점을 검출하는 것은 상당한 시간과 전문 지식을 필요로 하므로 3D 두부 계측 분석법을 널리 채택하는데 큰 장애물이 되었다.
3D 자동 두부 계측 기준점 검출을 위한 다양한 기계 학습 알고리즘은 기존 모델 또는 지식 기반 접근과 비교할 때 놀라운 성능을 보여주고 있다. 최근 3D 자동 두부 계측 기준점 검출 방법들을 검토한 결과, 딥 러닝(deep learning) 방법이 다른 방법보다 더 잘 수행되는 것으로 나타났다.
다양한 기계 학습 방법 중 심층 강화 학습(deep reinforcement learning)(DRL)이 최근 3D 위치 추정(localization)에 대한 우수한 것으로 주목을 받고 있다. DRL은 또한 정상 또는 질병에 걸린 인간 모델을 포함하는 의학 연구에서 자주 이용되기 때문에 제한된 레이블 데이터 작업에 유용한 것으로 간주된다.
두부 계측 분석의 임상 수행과 3D 두부 계측 연구에 대한 자체 평가 과정에서, 전문가/의사에 의한 전문적인 기준점 검출이 공통 패턴을 공유하는 경향이 있음을 알게 되었다. 먼저 해부학적 지식과 방사선 영상의 특징적인 방향에 기초하여 영상의 전역적 특징들(global features)에 초점을 맞추고, 그 후 기준점 좌표 값의 최종 결정을 위해 전역적 특징 포착 이후 국부 영역(local region)으로 이동한다. 이러한 전역에서 국부로의 관심 이동의 패턴은 잘 알려져 있으며 자동 두부 계측, 특히 2D 두부 계측에 적용되어 왔다.
그러나 3D 모델의 3D 기준점 주석은 2D에 비해 해부학적 구조의 복잡성과 차원이 증가하기 때문에 이러한 접근법을 사용하여 간단하게 완료할 수 없다.
따라서 본 발명이 해결하고자 하는 기술적 과제는 다단계 심층 강화학습을 이용한 3차원 형태-해부학적 기준점 검출 방법 및 장치를 제공하는 것이다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 3차원 기준점 검출 방법은 3차원 영상 데이터에 볼륨 렌더링을 수행하여 3차원 볼륨 렌더링 모델 데이터를 생성하는 단계, 상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하고, 상기 2차원 좌표값을 기초로 구해지는 상기 3차원 영상 데이터의 1차원 프로파일을 기초로 상기 기준점에 대응하는 나머지 1차원 좌표값을 구하는 단일-스테이지 DRL 적용 단계 - 상기 1차원 프로파일은 상기 2차원 뷰 영상에 수직이면서 상기 2차원 좌표값에 대응하는 점을 지나는 축에서의 3차원 영상 데이터 값으로 이루어짐 -, 및 상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하고, 상기 구해진 2차원 좌표값을 기초로 정해지는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하는 것을 반복하여 기준점을 검출하는 멀티-스테이지 DRL 적용 단계를 포함한다.
기준점 특성에 따라 상기 단일-스테이지 DRL 적용 및 상기 멀티-스테이지 DRL 적용 중 하나를 선택적으로 적용할 수 있다.
상기 심층 강화학습 에이전트는 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 기준점에 대응하는 특징점을 검출하도록 심층 강화학습 알고리즘으로 훈련될 수 있다.
상기 단일-스테이지 DRL 적용 단계는, 상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 통해 상기 기준점에 대응하는 2차원 좌표값을 구하는 단계, 및 상기 나머지 1차원 좌표값에 대응하는 상기 3차원 영상 데이터의 1차원 프로파일에 비선형 확산방정식을 적용한 후 1차 도함수(first order derivative) 값의 최대치가 있는 위치를 상기 나머지 1개의 좌표값으로 1차 도함수 구하는 단계를 포함한다.
상기 단일-스테이지 DRL 적용 단계는, 상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 통해 상기 기준점에 대응하는 2차원 좌표값을 구하는 단계, 및 상기 나머지 1차원 좌표값에 대응하는 상기 3차원 영상 데이터의 1차원 프로파일을 아래 수학식을 이용하여 변환하는 단계, 그리고 상기 변환된 프로파일에서 잡음을 제거하기 위한 비선형 확산 프로파일을 적용하는 단계, 그리고 상기 비선형 확산 방정식이 적용된 프로파일에 1차 도함수를 취한 후 최대 기울기가 있는 위치를 상기 나머지 1차원 좌표값으로 구하는 단계를 포함하고,
여기서 x는 상기 3차원 영상 데이터 값, L은 상기 3차원 영상 데이터 값 범위의 중심, W는 스케일 값일 수 있다.
상기 멀티-스테이지 DRL 적용 단계는, 상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 투영 뷰 영상에서 제1 심층 강화학습 에이전트를 이용하여 상기 기준점에 대응하는 제1 2차원 좌표값을 구하는 단계; 그리고 상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 제1 절단 뷰 영상에서 제2 심층 강화학습 에이전트를 이용하여 상기 기준점에 대응하는 제2 2차원 좌표값을 구하는 단계 - 상기 제1 절단 뷰 영상은 상기 제1 2차원 좌표값에 의해 정해지는 평면에 대응함 - ; 를 포함할 수 있다.
상기 제1 2차원 좌표값 중에서 상기 제2 2차원 좌표값에 포함되지 않은 좌표값과 상기 제2 2차원 좌표값으로 상기 기준점에 대응하는 3차원 좌표값을 구할 수 있다.
상기 멀티-스테이지 DRL 적용 단계는, 상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 제2 절단 뷰 영상에서 제3 심층 강화학습 에이전트를 이용하여 상기 기준점에 대응하는 제3 2차원 좌표값을 구하는 단계 - 상기 제2 절단 뷰 영상은 상기 제2 2차원 좌표값에 의해 정해지는 평면에 대응함 - ; 를 더 포함할 수 있다.
상기 3차원 영상 데이터는, CT(Computed Tomography), CBCT(Cone Beam Computed Tomography), MRI(Magnetic resonance imaging), PET(Positron Emission Tomography), 및 SPECT(Single-Photon Emission Computed Tomography) 중 어느 하나일 수 있다.
상기 기준점 유형은 미리 정해져 있을 수 있다.
상기 3차원 영상 데이터는, 환자 두부(skull) 혹은 신체 타부위를 촬영하여 획득한 것일 수 있다.
본 발명에 의하면 3차원 영상 데이터 처리의 복잡성을 극복하면서 3차원 기준점을 유형에 따라 효율적으로 정확하게 검출할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 다단계 심층 강화학습을 이용한 3차원 해부학적 기준점 검출 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 다단계 심층 강화학습을 이용한 3차원 해부학적 기준점 검출 장치의 동작을 개념적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 1차 도함수 기반 경계 추정 기법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 다단계 심층 강화학습을 이용한 3차원 해부학적 기준점 검출 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 다단계 심층 강화학습을 이용한 3차원 해부학적 기준점 검출 장치의 동작을 개념적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 1차 도함수 기반 경계 추정 기법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 다단계 심층 강화학습을 이용한 3차원 해부학적 기준점 검출 방법의 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 다단계 심층 강화학습을 이용한 3차원 해부학적 기준점 검출 장치의 구성도이고, 도 2는 본 발명의 일 실시예에 따른 다단계 심층 강화학습을 이용한 3차원 해부학적 기준점 검출 장치의 동작을 개념적으로 나타낸 도면이다.
도 1을 참고하면, 본 발명에 따른 3차원 기준점 검출 시스템은 영상 획득 장치(200), 영상 저장 장치(300) 및 3차원 기준점 검출 장치(100)를 포함할 수 있다.
영상 획득 장치(200)는 객체에 대한 3차원(three dimension, 3D) 영상 데이터를 획득하는 장치이다. 여기서 3차원 영상 데이터는 CT(Computed Tomography), CBCT(Cone Beam Computed Tomography), MRI(Magnetic resonance imaging), PET(Positron Emission Tomography) 또는 SPECT(Single-Photon Emission Computed Tomography) 등의 타입으로 획득되는 데이터일 수 있다. 객체는 두부(Skull) 등과 같은 신체 부위일 수 있다.
영상 저장 장치(300)는 영상 획득 장치(200)에서 획득되었거나 외부의 의료기관 또는 연구기관을 포함한 외부 의료영상정보 제공기관으로부터 제공되는 3차원 영상 데이터를 저장할 수 있다.
3차원 기준점 검출 장치(100)는 영상 획득 장치(200) 또는 영상 저장 장치(300)로부터 제공되는 3차원 영상 데이터로부터 3차원 기준점(landmark point)을 검출할 수 있다.
이를 위해 3차원 기준점 검출 장치(100)는 데이터 수신부(110), 3차원 볼륨 렌더링 모델 생성부(120), 기계 학습부(130), 단일-스테이지 DRL 적용부(140), 멀티-스테이지 DRL 적용부(150), 저장부(160), 표시부(170) 및 제어부(180)를 포함할 수 있다.
데이터 수신부(110)는 영상 획득 장치(200) 또는 영상 저장 장치(300)에서 3차원 영상 데이터를 수신할 수 있다. 예를 들어 데이터 수신부(110)는 DICOM 포맷의 CT 데이터를 영상 획득 장치(200) 또는 영상 저장 장치(300)에서 수신할 수 있다.
3차원 볼륨 렌더링 모델 생성부(120)는 3차원 영상 데이터에 볼륨 렌더링을 수행하여 3차원 볼륨 렌더링 모델 데이터를 생성할 수 있다. 예를 들어 3차원 볼륨 렌더링 모델 생성부(120)는 3차원 시각화 소프트웨어 라이브러리 (3D Visualization Software Library)를 사용하여 볼륨 렌더링 3차원 모델 데이터를 다음 단계에 따라 생성할 수 있다. 2차원 투영 이미지(2D projection image)는 볼륨 렌더링 알고리즘에 의해 획득되고, 특별히 뼈를 강조하는 볼륨 렌더링 방법을 적용할 수 있다.
이러한 볼륨 렌더링 기법은 색상 반투명 볼륨의 2차원 투영을 계산하여 샘플링된 함수의 3D 공간 차원을 시각화하는 잘 알려진 기술이다. 3차원 CT 데이터의 볼륨 렌더링 시각화는 해부학적 구조를 보다 명확하게 인식하고 뼈와 연조직 프로파일 사이를 쉽게 이동할 수 있도록 도와준다. 후자의 기능은 2D 및 3D 두부 측정에서 빈번한 절차인 동시에 뼈 및 연조직 기준점 검출 시 유용할 수 있다.
볼륨 렌더링 3차원 모델 데이터는 아래와 같은 2차원 뷰 영상으로 구성될 수 있다. 앞에서 바라본 뷰(Anterior View), 뒤에서 바라본 뷰(Posterior View), 위에서 바라본 뷰(Top View), 밑에서 바라본 뷰(Bottom View), 좌측에서 바라본 뷰(Left View) 및 우측에서 바라본 뷰(Right View) 등의 뷰 방향을 가지는 2차원 투영 뷰 영상을 포함할 수 있다. 또한 볼륨 렌더링 3차원 모델 데이터는 복수의 2차원 절단 뷰를 포함할 수 있다. 여기서 2차원 절단 뷰는 외부 컨텐스트(context)를 완전히 희생하지 않고 내부 특징을 가시화할 수 있도록 선택적으로 제거된 뷰일 수 있다. 3차원 볼륨 렌더링 모델 생성부(120)는 절단 뷰에서 기준점을 찾기 위해 관심없는 영역에서 투명도 적용으로 복셀 전처리를 수행할 수 있다.
기계 학습부(130)는 2차원 뷰 영상에서 기준점에 대응하는 2차원 특징점을 검출하도록 심층 강화학습 에이전트를 심층 강화학습(deep reinforcement learning) 알고리즘으로 훈련시킬 수 있다.
도 2에서 TRAINING phase 3에 예시한 것과 같이, 심층 강화학습 훈련은 환경이 에이전트의 행동에 반응하고, 에이전트가 환경으로부터 최대 보상을 얻기 위해 즉 기준 좌표에 가장 가까운 위치에 도달하기 위해 지속적으로 행동하는 방식으로 구성된다. 심층 강화학습 알고리즘으로 double deep Q-network로 알려진 강화 학습 훈련 프레임 워크가 채택될 수 있다.
심층 강화학습 에이전트는 기준점 각각에 대해서 2차원 뷰 영상별로 훈련될 수 있다. 도 2에서 TRAINING phase 2에 예시한 것과 같이 브레그마(Bregma)에 대해서는 탑 뷰(Top View) 영상을 이용하여 심층 강화학습 에이전트를 훈련시킬 수 있다. 그리고 나시온(nasion)에 대해서는 앞에서 바라본 뷰(Anterior View) 영상과 시상 절단 뷰(sagittal Cut view) 영상을 이용하여 심층 강화학습 에이전트를 각각 훈련시킬 수 있다. 한편 대후두공 중심(center of foramen magnum)(CFM)에 대해서는 시상 절단 뷰 영상과 축 절단 뷰(axial Cut view) 영상을 이용하여, 즉 2개의 절단 뷰 영상에 대해서 심층 강화학습 에이전트를 각각 훈련시킬 수 있다.
각각의 기준점에 대해 어느 뷰 방향에 대해 심층 강화학습 에이전트를 훈련시킬 것인지, 하나의 뷰 방향에 대해서만 훈련시킬 것인지 또는 2개 이상의 뷰 방향에 대해서 훈련시킬 것인지 등에 대해서 전문가에 의해 미리 정할 수 있다.
단일-스테이지 DRL 적용부(140)는 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 특징점을 검출할 수 있다. 2차원 뷰 영상에서 검출된 특징점은 기준점의 3차원 좌표값 중에서 2개의 좌표값에 해당한다.
그리고 단일-스테이지 DRL 적용부(140)는 앞서 2차원 뷰 영상에서 검출한 2차원 좌표값을 기초로 구해지는 3차원 영상 데이터(CT 데이터)의 1차원 프로파일을 이용하여 기준점에 대응하는 나머지 1개의 좌표값을 구하여 최종적으로 기준점을 검출할 수 있다. 여기서 3차원 영상 데이터의 1차원 프로파일은 2차원 뷰 영상에 수직이면서 특징점을 지나는 축에서의 3차원 영상 데이터 값으로 이루어진다.
예컨대 도 2의 INFERENCING phase 2 및 phase 3의 윗 부분에 예시한 것과 같이, 단일-스테이지 DRL 적용부(140)는 기준점이 브레그마인 경우 2차원 탑 뷰 영상에서 기준점에 대응하는 특징점의 2차원 좌표값(x, y)을 심층 강화학습 에이전트를 이용하여 먼저 검출할 수 있다. 그리고 단일-스테이지 DRL 적용부(140)는 3차원 영상 데이터의 1차원 프로파일에 1차 도함수 기반 경계 추정 기법을 적용하여 나머지 기준점의 3차원 좌표값 중에서 나머지 1개의 좌표값(z)을 구한다. 여기서 3차원 영상 데이터의 1차원 프로파일은 2차원 뷰 영상에 수직이면서 특징점(x, y)을 지나는 축에서 3차원 영상 데이터 값을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 1차 도함수 기반 경계 추정 기법을 설명하기 위한 도면이다.
도 3을 참고하면, 연조직과 피질 뼈 사이의 경계에서 CT 값(3차원 영상 데이터 값)의 급격한 기울기 변화에 대한 결과(그림 3A 참조)는 기준점의 깊이를 감지하는 데 사용될 수 있다. 예를 들어 뼈의 표면에 기준점(예컨대 나시온 포인트)을 얻으려면 먼저 두개골의 전방 뷰에 DRL 알고리즘을 적용하여 기준점의 3차원 좌표 중 x 및 z 값을 얻을 수 있다. 특징점(x, z)에서 y 축을 따라 CT 값의 나머지 1 차원 프로파일은 아래에서 제안하는 기울기 값을 사용하여 강력한 경계 감지를 통해 얻을 수 있다. 뼈 강도 향상 함수 IE (x)는 아래 수학식 1 같이 정의될 수 있다.
[수학식 1]
여기서 x는 CT 값, L은 CT 값 범위의 중심, W는 스케일 값이다. IE (x)의 적용은 CT 값의 1 차원 프로파일(도 3A의 파란색 선)을 향상된 뼈 강도(도 3B의 주황색 선)를 가진 단순한 프로파일로 바꾼다. 그러나 잡음(noise)이 있는 상황에서 1차 도함수를 통한 경계 검출에 잡음을 제거 하는 것이 필요하다. 이를 위해 구조 텐서(structure tensor)를 사용하는 비선형 확산 방정식을 적용할 수 있다. 잡음이 감소된 프로파일에 1차 도함수를 취한 후 최대값을 가지는 위치를 뼈 표면의 위치로 하여, 나머지 좌표값을 결정할 수 있다(도 3C 참조).
도 3A는 검출된 기준점, 나시온 및 별표(*)로 지시하는 상자를 통과하는 방사선 빔 모방 선(파란색 파선)이 있는 시상면의 단면 CT 이미지를 나타낸다. 별표(*)로 지시하는 상자를 이중 별표 (**) 및 y 방향 선(파란색 실선)이 있는 왼쪽 하단의 큰 상자로 확대하여 표시하였다. 도 3B에서 파란색 실선은 공기, 나시온, 연조직(soft tissue) 및 뼈조직(bone tissue)을 통과하는 y축 선(도 3의 A에서 파란색 파선에 대응)을 따른 Hounsfield 단위 값의 이미지 밀도 프로파일의 1차원 그래프이다. 그리고 주황색 파선은 뼈 인텐시티 강화 프로파일(bone intensity-enhanced profile)을 나타낸다. 도 3의 C에서 주황색 실선은 뼈 인텐시티 강화 프로파일의 비선형 확산 프로파일을 나타내고, 뼈의 최종 경계 추정은 화살촉과 회색 영역으로 표시된다.
멀티-스테이지 DRL 적용부(150)는 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하는 것을 2회 이상 반복하여 기준점을 검출할 수 있다.
구체적으로 멀티-스테이지 DRL 적용부(150)는 2차원 투영 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 특징점을 일차적으로 추출할 수 있다. 그리고 멀티-스테이지 DRL 적용부(150)는 2차원 투영 뷰 영상에서 구한 특징점의 2차원 좌표값을 이용하여 새로 구성한 2차원 절단 평면 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 특징점을 다시 추출할 수 있다.
예컨대 도 2의 INFERENCING phase 2 및 phase 3의 아래 부분에 예시한 것과 같이 포리온에 대해서, 먼저 2차원 측면 뷰 영상에서 첫 번째 심층 강화학습 에이전트를 이용하여 특징점의 좌표값 y와 z를 구할 수 있다. 그리고 앞에서 결정된 y 좌표 값을 기반으로 2차원 절단 평면 뷰 영상을 구성하고 두 번째 심층 강화학습 에이전트를 이용하여 특징점의 좌표값 x와 z를 구할 수 있다. 첫 번째 심층 강화학습 에이전트를 이용하여 구한 좌표 값 y, 그리고 두 번째 심층 강화학습 에이전트를 이용하여 구한 좌표 값 x와 z를 이용하여 최종적으로 기준점의 좌표 값 x, y, z를 구할 수 있다.
물론 실시예에 따라서 첫 번째 심층 강화학습 에이전트를 이용하여 특징점의 좌표값 y와 z를 구하고, 앞에서 결정된 z 좌표 값을 기반으로 2차원 절단 평면 뷰 영상을 구성하고 두 번째 심층 강화학습 에이전트를 이용하여 특징점의 좌표값 x와 y를 구할 수도 있다. 이렇게 첫 번째와 두 번째에 어떤 방향의 2차원 투영 뷰, 2차원 절단 뷰를 이용할 것인지는 검출대상 기준점에 따라서 미리 정해져 있을 수 있다.
실시예에 따라서 기준점의 유형에 따라 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하는 것을 3회 이상 반복하도록 구현하는 것도 가능하다. 이 경우는 예컨대 위에서 두 번째 심층 강화학습 에이전트를 이용하여 구한 좌표 값 x와 z 중 하나를 이용하여 2차원 절단 평면 뷰 영상을 새로 구성하고 심층 강화학습 에이전트를 이용하여 특징점을 검출하는 작업을 반복할 수 있다. 안와공(infraorbital foramen)과 같은 일부 기준점에 대해서는 DRL을 3회 이상 반복하여 기준점을 최종적으로 검출하도록 구성할 수 있다.
저장부(180)는 3차원 기준점 검출 장치(100)의 동작과 관련된 각종 데이터 및 프로그램 등을 저장할 수 있다.
저장부(180)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 메모리 장치로 구현될 수 있다.
표시부(185)는 3차원 기준점 검출 장치(100)의 동작과 관련된 각종 정보를 화면에 표시할 수 있다. 표시부(185)는 LCD 디스플레이 장치, LED 디스플레이 장치 등과 같은 디스플레이 장치로 구현될 수 있다.
제어부(190)는 3차원 기준점 검출 장치(100)의 전체적인 동작을 제어할 수 있다. 제어부(190)는 기준점 유형에 따라 단일-스테이지 DRL 적용 및 멀티-스테이지 DRL 적용 중 하나를 선택적으로 적용하여 기준점을 검출한다.
기준점의 유형은 전문가에 의해 미리 정해질 수 있다. 실시예에 따라 학습된 분류기에 의해 자동으로 분류될 수도 있으며 변경 가능하다.
그리고 기준점의 유형별로 단일-스테이지 DRL 적용 또는 멀티-스테이지 DRL 적용이 미리 정해질 수 있다. 단일-스테이지 DRL 적용만으로도 정확도가 충분한 유형에 대해서는 계산 부담과 복잡성을 피하기 위해 단일-스테이지 DRL 적용하도록 정해지고, 그렇지 않은 경우는 멀티-스테이지 DRL 적용하도록 정해질 수 있다.
기준점은 해부학적 특성이나 기하학적 특성에 의해 유형을 구분할 수 있다. 일반적으로 기준점 유형은 아래와 같이 3가지 유형으로 크게 구분할 수 있다.
유형 1은 브레그마(bregma)와 나시온(nasion)이 포함될 수 있으며, 2개 이상 골조직(bone tissue)의 병치(juxtaposition)된 위치가 기준점일 수 있다.
유형 2는 셀라(sella), 전비극(anterior nasal spine), 안와 하공(infraorbital foramen), 안와(orbitale) 및 이공(mental foramen) 등이 포함될 수 있으며, 최대 곡률(maxima of curvature) 또는 국소 형태 발생 프로세스(local morphogenetic processes) 상에 위치하는 기준점일 수 있다.
유형 3은 포리온(porion), 대후두공 중심(center of foramen magnum), 하악 공(mandibular foramen) 및 포고니온(pogonion)을 포함할 수 있다.
위에 예시한 기준점 구분 유형들은 기준점 별로 단일-스테이지 DRL과 멀티-스테이지 DRL 적용이 미리 정해질 수 있다. 실시예에 따라 또는 장치를 사용하는 조작자에 의해 다르게 정해질 수 있다. 단, 기준점이 골 표면에 있지 않고, 주변 골로 해당 기준점을 특정할 수 없는 기준점들은 멀티-스테이지 DRL을 적용할 수 있다.
도 4는 본 발명의 일 실시예에 따른 다단계 심층 강화학습을 이용한 3차원 해부학적 기준점 검출 방법의 흐름도이다.
도 4를 참고하면, 먼저 3차원 볼륨 렌더링 모델 생성부(120)는 3차원 영상 데이터에 볼륨 렌더링을 수행하여 3차원 볼륨 렌더링 모델 데이터를 생성할 수 있다(S410).
이후 제어부(190)는 검출 대상 기준점의 유형에 따라 단일-스테이지 DRL 적용과 멀티-스테이지 DRL 적용을 선택한다(S420).
단일-스테이지 DRL 적용이 선택되면(S420-A), 단일-스테이지 DRL 적용부(140)는 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 특징점을 검출할 수 있다(S431). 2차원 뷰 영상에서 검출된 특징점은 기준점의 3차원 좌표값 중에서 2개의 좌표값에 해당한다.
그리고 단일-스테이지 DRL 적용부(140)는 앞서 2차원 뷰 영상에서 검출한 2차원 좌표값을 기초로 구해지는 3차원 영상 데이터(CT 데이터)의 1차원 프로파일에 1차 도함수 기반 경계 추정 기법을 적용하여 기준점에 대응하는 나머지 1개의 좌표값을 구하여 최종적으로 기준점을 검출할 수 있다(S435). 여기서 3차원 영상 데이터의 1차원 프로파일은 2차원 뷰 영상에 수직이면서 특징점을 지나는 축에서의 3차원 영상 데이터 값으로 이루어진다.
한편 멀티-스테이지 DRL 적용이 선택되면(S420-B), 멀티-스테이지 DRL 적용부(150)는 2차원 투영 뷰 영상에서 첫 번째 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 특징점을 일차적으로 추출할 수 있다(S440a).
그리고 멀티-스테이지 DRL 적용부(150)는 2차원 투영 뷰 영상에서 구한 특징점의 2차원 좌표값을 이용하여 새로 구성한 2차원 절단 평면 뷰 영상에서 두 번째 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 특징점을 다시 추출할 수 있다(S440b). 이와 같이 멀티-스테이지 DRL 적용부(150)는 단계(S440a)에서 구한 특징점의 좌표값 2개와 단계(S440a)에서 구한 1개의 좌표값으로 기준점의 3차원 좌표값을 검출할 수 있다.
예컨대 검출대상 기준점에 대해서 단계(S440a)에서 미리 정해진 2차원 뷰 영상(xy 평면)에서 1차 DRL을 적용하여 구해진 특징점의 좌표값이 (x1, y1)이라고 가정하고, 해당 기준점에 대해 2차 DRL을 적용하도록 정해진 평면이 y = y1이라고 가정한다. 그리고 평면(y = y1)에 대응하는 2차원 절단 뷰 영상에서 2차 DRL을 적용하여 구해진 특징점의 좌표값이 (x2, z2)이면, 가장 간단하게는 (x2, y1, z2)을 기준점의 3차원 좌표값으로 검출할 수 있다.
한편 실시예에 따라서 기준점의 유형에 따라 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하는 것을 3회 이상 n번까지 반복하도록 구현하는 것도 가능하다(S440n). 이 경우는 가장 마지막 심층 강화학습 에이전트를 이용하여 구한 특징점의 2차원 좌표값과 그 직전에 구한 나머지 차원의 1개 좌표값으로 기준점의 3차원 좌표값을 구할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
Claims (21)
- 3차원 볼륨 렌더링 모델 생성부에서 3차원 영상 데이터에 볼륨 렌더링을 수행하여 3차원 볼륨 렌더링 모델 데이터를 생성하는 단계,
단일-스테이지 DRL 적용부에서 상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하고, 상기 2차원 좌표값을 기초로 구해지는 상기 3차원 영상 데이터의 1차원 프로파일을 기초로 상기 기준점에 대응하는 나머지 1차원 좌표값을 구하는 단일-스테이지 DRL 적용 단계 - 상기 1차원 프로파일은 상기 2차원 뷰 영상에 수직이면서 상기 2차원 좌표값에 대응하는 점을 지나는 축에서의 3차원 영상 데이터 값으로 이루어짐 -, 및
멀티-스테이지 DRL 적용부에서 상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하고, 상기 구해진 2차원 좌표값을 기초로 정해지는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하는 것을 반복하여 기준점을 검출하는 멀티-스테이지 DRL 적용 단계
를 포함하고,
기준점 특성에 따라 상기 단일-스테이지 DRL 적용 및 상기 멀티-스테이지 DRL 적용 중 하나를 선택적으로 적용하는 3차원 기준점 검출 방법. - 제 1 항에서,
상기 심층 강화학습 에이전트는 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 기준점에 대응하는 특징점을 검출하도록 심층 강화학습 알고리즘으로 훈련된 3차원 기준점 검출 방법. - 제 2 항에서,
상기 단일-스테이지 DRL 적용 단계는,
상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 통해 상기 기준점에 대응하는 2차원 좌표값을 구하는 단계, 및
상기 나머지 1차원 좌표값에 대응하는 상기 3차원 영상 데이터의 1차원 프로파일에서 1차 도함수 값을 이용하여 검출되는 경계점으로 상기 나머지 1차원 좌표값을 구하는 단계
를 포함하는 3차원 기준점 검출 방법. - 제 2 항에서,
상기 단일-스테이지 DRL 적용 단계는,
상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 통해 상기 기준점에 대응하는 2차원 좌표값을 구하는 단계, 및
상기 나머지 1차원 좌표값에 대응하는 상기 3차원 영상 데이터의 1차원 프로파일을 아래 수학식을 이용하여 변환하는 단계, 그리고
상기 변환된 프로파일에 비선형 확산방정식을 적용하여 잡음이 감소한 프로파일에 1차 도함수를 취한 후 최대 기울기가 있는 위치를 상기 나머지 1차원 좌표값으로 구하는 단계를 포함하고,
여기서 x는 상기 3차원 영상 데이터 값, L은 상기 3차원 영상 데이터 값 범위의 중심, W는 스케일 값인 3차원 기준점 검출 방법. - 제 2 항에서,
상기 멀티-스테이지 DRL 적용 단계는,
상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 투영 뷰 영상에서 제1 심층 강화학습 에이전트를 이용하여 상기 기준점에 대응하는 제1 2차원 좌표값을 구하는 단계; 그리고
상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 제1 절단 뷰 영상에서 제2 심층 강화학습 에이전트를 이용하여 상기 기준점에 대응하는 제2 2차원 좌표값을 구하는 단계 - 상기 제1 절단 뷰 영상은 상기 제1 2차원 좌표값에 의해 정해지는 평면에 대응함 - ;
를 포함하는 3차원 기준점 검출 방법. - 제 5 항에서,
상기 제1 2차원 좌표값 중에서 상기 제2 2차원 좌표값에 포함되지 않은 좌표값과 상기 제2 2차원 좌표값으로 상기 기준점에 대응하는 3차원 좌표값을 구하는 3차원 기준점 검출 방법. - 제 5 항에서,
상기 멀티-스테이지 DRL 적용 단계는,
상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 제2 절단 뷰 영상에서 제3 심층 강화학습 에이전트를 이용하여 상기 기준점에 대응하는 제3 2차원 좌표값을 구하는 단계 - 상기 제2 절단 뷰 영상은 상기 제2 2차원 좌표값에 의해 정해지는 평면에 대응함 - ;
를 더 포함하는 3차원 기준점 검출 방법. - 제 1 항에서,
상기 3차원 영상 데이터는,
CT(Computed Tomography), CBCT(Cone Beam Computed Tomography), MRI(Magnetic resonance imaging), PET(Positron Emission Tomography), 및 SPECT(Single-Photon Emission Computed Tomography) 중 어느 하나인 3차원 기준점 검출 방법. - 제 2 항에서,
상기 기준점 특성은 미리 정해져 있는 3차원 기준점 검출 방법. - 제 2 항에서,
상기 3차원 영상 데이터는,
환자 두부(skull) 혹은 신체 타부위를 촬영하여 획득한 것인 3차원 기준점 검출 방법. - 3차원 영상 데이터에 볼륨 렌더링을 수행하여 3차원 볼륨 렌더링 모델 데이터를 생성하는 명령어 세트,
상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하고, 상기 2차원 좌표값을 기초로 구해지는 상기 3차원 영상 데이터의 1차원 프로파일을 기초로 상기 기준점에 대응하는 나머지 1차원 좌표값을 구하는 단일-스테이지 DRL 적용 단계를 수행하는 명령어 세트 - 상기 1차원 프로파일은 상기 2차원 뷰 영상에 수직이면서 상기 2차원 좌표값에 대응하는 점을 지나는 축에서의 3차원 영상 데이터 값으로 이루어짐 -, 및
상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하고, 상기 구해진 2차원 좌표값을 기초로 정해지는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하는 것을 반복하여 기준점을 검출하는 멀티-스테이지 DRL 적용 단계를 수행하는 명령어 세트를 포함하고,
기준점 특성에 따라 상기 단일-스테이지 DRL 적용 및 상기 멀티-스테이지 DRL 적용 중 하나를 선택적으로 적용하는 컴퓨터 판독 가능한 기록 매체. - 3차원 영상 데이터에 볼륨 렌더링을 수행하여 3차원 볼륨 렌더링 모델 데이터를 생성하는 3차원 볼륨 렌더링 모델 생성부,
상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하고, 상기 2차원 좌표값을 기초로 구해지는 상기 3차원 영상 데이터의 1차원 프로파일을 기초로 상기 기준점에 대응하는 나머지 1차원 좌표값을 구하는 단일-스테이지 DRL 적용부 - 스테이지 DRL 적용 단계 - 상기 1차원 프로파일은 상기 2차원 뷰 영상에 수직이면서 상기 2차원 좌표값에 대응하는 점을 지나는 축에서의 3차원 영상 데이터 값으로 이루어짐 -, 및
상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하고, 상기 구해진 2차원 좌표값을 기초로 정해지는 2차원 뷰 영상에서 심층 강화학습 에이전트를 이용하여 기준점에 대응하는 2차원 좌표값을 구하는 것을 반복하여 기준점을 검출하는 멀티-스테이지 DRL 적용부
를 포함하고,
기준점 특성에 따라 상기 단일-스테이지 DRL 적용 및 상기 멀티-스테이지 DRL 적용 중 하나를 선택적으로 적용하는 3차원 기준점 검출 장치. - 제 12 항에서,
상기 심층 강화학습 에이전트는 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 기준점에 대응하는 특징점을 검출하도록 심층 강화학습 알고리즘으로 훈련된 3차원 기준점 검출 장치. - 제 13 항에서,
상기 단일-스테이지 DRL 적용부는,
상기 3차원 볼륨 렌더링 모델을 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 통해 상기 기준점에 대응하는 2차원 좌표값을 구하고, 상기 나머지 1차원 좌표값에 대응하는 상기 3차원 영상 데이터의 1차원 프로파일에서 1차 도함수 값을 이용하여 검출되는 경계점으로 상기 나머지 1차원 좌표값을 구하는 3차원 기준점 검출 장치. - 제 13 항에서,
상기 단일-스테이지 DRL 적용부는,
상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 2차원 뷰 영상에서 심층 강화학습 에이전트를 통해 상기 기준점에 대응하는 2차원 좌표값을 구하고, 상기 나머지 1차원 좌표값에 대응하는 상기 3차원 영상 데이터의 1차원 프로파일을 아래 수학식을 이용하여 변환하며, 상기 변환된 프로파일에 비선형 확산방정식을 적용하여 잡음이 감소한 프로파일에 1차 도함수를 취한 후 최대 기울기가 있는 위치를 상기 나머지 1차원 좌표값으로 구하고,
여기서 x는 상기 3차원 영상 데이터 값, L은 상기 3차원 영상 데이터 값 범위의 중심, W는 스케일 값인 3차원 기준점 검출 장치. - 제 13 항에서,
상기 멀티-스테이지 DRL 적용부는,
상기 3차원 볼륨 렌더링 모델를 구성하는 2차원 투영 뷰 영상에서 제1 심층 강화학습 에이전트를 이용하여 상기 기준점에 대응하는 제1 2차원 좌표값을 구하고, 상기 3차원 볼륨 렌더링 모델를 구성하는 제1 절단 뷰 영상에서 제2 심층 강화학습 에이전트를 이용하여 상기 기준점에 대응하는 제2 2차원 좌표값을 구하며,
상기 제1 절단 뷰 영상은 상기 제1 2차원 좌표값에 의해 정해지는 평면에 대응하는 3차원 기준점 검출 장치. - 제 16 항에서,
상기 제1 2차원 좌표값 중에서 상기 제2 2차원 좌표값에 포함되지 않은 좌표값과 상기 제2 2차원 좌표값으로 상기 기준점에 대응하는 3차원 좌표값을 구하는 3차원 기준점 검출 장치. - 제 16 항에서,
상기 멀티-스테이지 DRL 적용부는,
상기 3차원 볼륨 렌더링 모델 데이터를 구성하는 제2 절단 뷰 영상에서 제3 심층 강화학습 에이전트를 이용하여 상기 기준점에 대응하는 제3 2차원 좌표값을 구하고,
상기 제2 절단 뷰 영상은 상기 제2 2차원 좌표값에 의해 정해지는 평면에 대응하는 3차원 기준점 검출 장치. - 제 12 항에서,
상기 3차원 영상 데이터는,
CT(Computed Tomography), CBCT(Cone Beam Computed Tomography), MRI(Magnetic resonance imaging), PET(Positron Emission Tomography), 및 SPECT(Single-Photon Emission Computed Tomography) 중 어느 하나인 3차원 기준점 검출 장치. - 제 13 항에서,
상기 기준점 특성은 미리 정해져 있는 3차원 기준점 검출 장치. - 제 13 항에서,
상기 3차원 영상 데이터는,
환자 두부(skull) 혹은 신체 타부위를 촬영하여 획득한 것인 3차원 기준점 검출 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200177192A KR102479703B1 (ko) | 2020-12-17 | 2020-12-17 | 다단계 심층 강화학습을 이용한 3차원 형태-해부학적 기준점 검출 방법 및 장치 |
| EP21214467.9A EP4016470A1 (en) | 2020-12-17 | 2021-12-14 | 3d morhphological or anatomical landmark detection method and device using deep reinforcement learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200177192A KR102479703B1 (ko) | 2020-12-17 | 2020-12-17 | 다단계 심층 강화학습을 이용한 3차원 형태-해부학적 기준점 검출 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220086937A KR20220086937A (ko) | 2022-06-24 |
| KR102479703B1 true KR102479703B1 (ko) | 2022-12-20 |
Family
ID=79024483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200177192A KR102479703B1 (ko) | 2020-12-17 | 2020-12-17 | 다단계 심층 강화학습을 이용한 3차원 형태-해부학적 기준점 검출 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP4016470A1 (ko) |
| KR (1) | KR102479703B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100837818B1 (ko) | 2006-12-15 | 2008-06-13 | 주식회사 케이티 | 이차원 영상을 이용해 삼차원 형상을 복원하는 방법과,이를 이용한 삼차원 영상 생성 방법 |
| JP2012022403A (ja) | 2010-07-12 | 2012-02-02 | Nippon Hoso Kyokai <Nhk> | 画像処理装置およびコンピュータプログラム |
| KR102044237B1 (ko) | 2018-10-23 | 2019-11-13 | 연세대학교 산학협력단 | 2차원 음영 영상 기반 기계학습을 이용한 자동 3차원 랜드마크 검출 방법 및 장치 |
| US20200098125A1 (en) | 2018-09-25 | 2020-03-26 | General Electric Company | Method and system for structure recognition in three-dimensional ultrasound data based on volume renderings |
-
2020
- 2020-12-17 KR KR1020200177192A patent/KR102479703B1/ko active IP Right Grant
-
2021
- 2021-12-14 EP EP21214467.9A patent/EP4016470A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100837818B1 (ko) | 2006-12-15 | 2008-06-13 | 주식회사 케이티 | 이차원 영상을 이용해 삼차원 형상을 복원하는 방법과,이를 이용한 삼차원 영상 생성 방법 |
| JP2012022403A (ja) | 2010-07-12 | 2012-02-02 | Nippon Hoso Kyokai <Nhk> | 画像処理装置およびコンピュータプログラム |
| US20200098125A1 (en) | 2018-09-25 | 2020-03-26 | General Electric Company | Method and system for structure recognition in three-dimensional ultrasound data based on volume renderings |
| KR102044237B1 (ko) | 2018-10-23 | 2019-11-13 | 연세대학교 산학협력단 | 2차원 음영 영상 기반 기계학습을 이용한 자동 3차원 랜드마크 검출 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220086937A (ko) | 2022-06-24 |
| EP4016470A1 (en) | 2022-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8588495B2 (en) | Systems and methods for computer aided diagnosis and decision support in whole-body imaging | |
| JP6598452B2 (ja) | 医用画像処理装置及び医用画像処理方法 | |
| US9082169B2 (en) | Longitudinal monitoring of pathology | |
| US11380043B2 (en) | Modeling regions of interest of an anatomic structure | |
| JP6458166B2 (ja) | 医用画像処理方法及び装置及びシステム及びプログラム | |
| JP2007530088A (ja) | オブジェクト特有のセグメンテーション | |
| CN111311536A (zh) | 医学图像数据 | |
| US20230090906A1 (en) | Method, device and system for automated processing of medical images to output alerts for detected dissimilarities | |
| KR20210054678A (ko) | 전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치 | |
| Udupa | 3D imaging: principles and approaches | |
| KR20140061380A (ko) | 이미지 처리 방법 | |
| Roy et al. | An accurate and robust skull stripping method for 3-D magnetic resonance brain images | |
| US11715208B2 (en) | Image segmentation | |
| KR102271614B1 (ko) | 3차원 해부학적 기준점 검출 방법 및 장치 | |
| KR102479703B1 (ko) | 다단계 심층 강화학습을 이용한 3차원 형태-해부학적 기준점 검출 방법 및 장치 | |
| Dorgham | Automatic body segmentation from computed tomography image | |
| EP2889001B1 (en) | Shape data-generating program, shape data-generating method and shape data-generating device | |
| Vidhya et al. | A Systematic Approach for Constructing 3D MRI Brain Image over 2D Images | |
| Cerrolaza et al. | Modeling human tissues: an efficient integrated methodology | |
| Athavale et al. | Automated Delineation of Costophrenic Recesses on Chest Radiographs | |
| Nasim et al. | Review on multimodality of different medical image fusion techniques | |
| Ala'a | Automatic Enlarged Lymph Node Detection by Volume Estimation from 3D Abdominal CT Images Based on Speed Up Robust Features and Maximum Intensity Projection | |
| KR20230037195A (ko) | 기계 학습 모델 기반의 이미지 분석을 통한 의료 영상 분류 방법 | |
| Rodrigues et al. | A region-based algorithm for automatic bone segmentation in volumetric CT | |
| Xue | A New Image Quantitative Method for Diagnosis and Therapeutic Response |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |