KR20230166023A - Ar 영상 제공 방법 및 ar 영상 제공 장치 - Google Patents
Ar 영상 제공 방법 및 ar 영상 제공 장치 Download PDFInfo
- Publication number
- KR20230166023A KR20230166023A KR1020220065660A KR20220065660A KR20230166023A KR 20230166023 A KR20230166023 A KR 20230166023A KR 1020220065660 A KR1020220065660 A KR 1020220065660A KR 20220065660 A KR20220065660 A KR 20220065660A KR 20230166023 A KR20230166023 A KR 20230166023A
- Authority
- KR
- South Korea
- Prior art keywords
- virtual
- image
- ray
- feature point
- model
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000002591 computed tomography Methods 0.000 claims description 77
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 10
- 238000001356 surgical procedure Methods 0.000 claims description 9
- 230000003190 augmentative effect Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 239000003550 marker Substances 0.000 description 8
- 230000005855 radiation Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000037182 bone density Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
- A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Geometry (AREA)
- Mathematical Physics (AREA)
- High Energy & Nuclear Physics (AREA)
- Robotics (AREA)
- Computer Graphics (AREA)
- Gynecology & Obstetrics (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
일 실시예에 따른 시술 보조를 위한 AR 영상 제공 방법 및 장치가 개시된다. 시술 보조를 위한 AR 영상 제공 방법은 시술 대상자의 실제 엑스레이 영상을 수집하는 단계, 실제 엑스레이 영상에서 제1 특징점을 결정하는 단계, 복수의 가상의 엑스레이 영상들에 기초하여 3차원 모델 상에서 제1 특징점에 대응하는 좌표를 결정하는 단계, 제1 특징점 및 결정된 제1 특징점에 대응하는 좌표에 기초하여 시술 대상자의 신체를 포함하는 영상에 3차원 모델을 정합시킨 AR 영상을 생성하는 단계 및 AR 영상을 출력하는 단계를 포함할 수 있다.
Description
아래 실시예들은 AR 영상 제공 기술에 관한 것이다.
의료 기술의 발전으로 증강 현실 기술에 기반한 시술 시뮬레이션이나 시술 방법이 등장하고 있다. 그러나, 증강 현실 기술은 하드웨어에 대한 의존성이 높다는 한계를 가진다. 즉, 증강 현실 기술은 현실에서의 대상의 위치를 파악하기 위하여 정합을 위한 마커 등의 여러 장비를 필요로 할 수 있다. 그러나 정합을 위한 마커 등과 같은 여러 장비는 의료 분야에 적용하는 과정에서 진입 장벽으로 작용할 수 있고, 오차를 발생시킬 수도 있다. 예를 들어, 종래의 증강 현실 기술에 기반한 시술은 환자에게 미리 정합을 위한 마커를 부착하여 영상 내에서의 환자의 위치를 측정하였다. 그러나 환자에게 미리 정합을 위한 마커를 부착하는 방식은 환자의 자세 변화를 반영하는 것이 어렵고, 시술 전에 사전 준비를 위한 물적 자원 또는 시간적 자원을 소모하게 된다는 문제점이 있다. 또한, 정합을 위한 마커를 무균 상태에서 사용하기 위해서는 생체에 무해하고 시술에 적용하기에 적합한 정합을 위한 마커를 개발해야 하는데 이 또한 여러가지 비효율성을 발생시킬 수 있다. 따라서 이러한 증강 현실 기술의 한계점들을 극복하기 위한 연구가 필요한 실정이다.
일 실시예에 따른 가상의 엑스레이 영상 생성 방법은 시술 대상자의 신체 부위를 촬영한 CT(computed tomography) 영상을 수신하는 단계; 상기 CT 영상에 기초하여 상기 신체 부위에 대응하는 가상의 3차원 모델 및 복수의 가상의 엑스레이 영상들을 생성하는 단계; 및 상기 각각의 가상의 엑스레이 영상이 생성된 위치에 대응하는 3차원 모델 상에서의 좌표를 상기 각각의 가상의 엑스레이 영상에 라벨링하는 단계를 포함할 수 있다.
상기 3차원 모델 및 복수의 가상의 엑스레이 영상들을 생성하는 단계는, 상기 CT 영상에 기초하여 상기 CT 영상의 복셀 데이터를 생성하는 단계; 및 상기 복셀 데이터에 기초하여 상기 3차원 모델을 생성하는 단계를 포함할 수 있다.
상기 3차원 모델 및 복수의 가상의 엑스레이 영상들을 생성하는 단계는, 상기 CT 영상의 복셀 데이터를 가상의 엑스레이를 발생시키는 발생기 및 상기 가상의 엑스레이를 감지하는 감지기를 포함하는 가상 공간에 정합시키는 단계를 포함할 수 있다.
상기 복수의 가상의 엑스레이 영상들을 생성하는 단계는, 가상 공간에 위치하는 상기 CT 영상의 복셀 데이터에 미리 결정된 간격에 기초하여 가상의 엑스레이를 조사하는 단계; 상기 CT 영상의 복셀 데이터의 벡터 내적의 비에 기초하여 상기 조사된 가상의 엑스레이가 상기 CT 영상의 복셀 데이터의 데이터 슬라이스와 만나는 지점을 결정하는 단계; 및 상기 지점을 이미지화 하는 것에 의해 상기 복수의 가상의 엑스레이 영상들을 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 시술 보조를 위한 AR(Augmented Reality) 영상 제공 방법은 시술 대상자의 실제 엑스레이 영상을 수집하는 단계; 상기 실제 엑스레이 영상에서 제1 특징점을 결정하는 단계; 복수의 가상의 엑스레이 영상들에 기초하여 3차원 모델 상에서 상기 제1 특징점에 대응하는 좌표를 결정하는 단계; 상기 제1 특징점 및 상기 결정된 제1 특징점에 대응하는 좌표에 기초하여 상기 시술 대상자의 신체를 포함하는 영상에 상기 3차원 모델을 정합시킨 AR 영상을 생성하는 단계; 및 상기 AR 영상을 출력하는 단계를 포함할 수 있다.
상기 제1 특징점을 결정하는 단계는, 상기 실제 엑스레이 영상을 입력으로 하는 좌표 결정 모델을 이용하여 상기 제1 특징점을 결정하는 단계를 포함하고, 상기 제1 특징점에 대응하는 좌표를 결정하는 단계는, 상기 좌표 결정 모델을 이용하여 상기 3차원 모델 상에서 상기 제1 특징점에 대응하는 좌표를 결정하는 단계를 포함할 수 있다.
상기 좌표 결정 모델은, CT 영상에 기초하여 생성된 신체 부위에 대한 복수의 가상의 엑스레이 영상들에 기초하여 학습되는 뉴럴 네트워크 기반의 모델인 것을 특징으로 할 수 있다.
상기 가상의 엑스레이 영상들 각각은, 상기 가상의 엑스레이 영상들 각각이 생성된 위치에 대응하는 각각의 좌표가 라벨링될 수 있다.
상기 제1 특징점에 대응하는 좌표를 결정하는 단계는, 상기 제1 특징점에 기초하여, 상기 복수의 가상의 엑스레이 영상들 중, 상기 실제 엑스레이 영상에 대응하는 가상의 엑스레이 영상을 선택하는 단계; 상기 선택된 가상의 엑스레이 영상에서 상기 제1 특징점에 대응하는 제2 특징점을 결정하는 단계; 및 상기 결정된 제2 특징점에 기초하여 상기 3차원 모델 상에서 상기 제1 특징점에 대응하는 좌표를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 가상의 엑스레이 영상 생성 장치는 시술 대상자의 신체 부위를 촬영한 CT(computed tomography) 영상을 수신하는 통신부; 상기 CT 영상에 기초하여 상기 신체 부위에 대응하는 가상의 3차원 모델을 생성하는 3차원 모델 생성부; 및 상기 CT 영상에 기초하여 상기 신체 부위에 대한 복수의 가상의 엑스레이 영상들을 생성하고, 각각의 가상의 엑스레이 영상이 생성된 위치에 대응하는 상기 3차원 모델 상에서의 좌표를 상기 각각의 가상의 엑스레이 영상에 라벨링하는 가상의 엑스레이 영상 생성부를 포함할 수 있다.
상기 3차원 모델 생성부는, 상기 CT 영상에 기초하여 상기 CT 영상의 복셀 데이터를 생성하고, 상기 복셀 데이터에 기초하여 상기 3차원 모델을 생성할 수 있다.
상기 가상의 엑스레이 영상 생성부는, 상기 CT 영상의 복셀 데이터를 가상의 엑스레이를 발생시키는 발생기 및 상기 가상의 엑스레이를 감지하는 감지기를 포함하는 가상 공간에 정합시킬 수 있다.
상기 가상의 엑스레이 영상 생성부는, 가상 공간에 위치하는 상기 CT 영상의 복셀 데이터에 미리 결정된 간격에 기초하여 가상의 엑스레이를 조사하고, 상기 CT 영상의 복셀 데이터의 벡터 내적의 비에 기초하여 상기 조사된 가상의 엑스레이가 상기 CT 영상의 복셀 데이터의 데이터 슬라이스와 만나는 지점을 결정하고, 상기 지점을 이미지화 하는 것에 의해 상기 복수의 가상의 엑스레이 영상들을 생성할 수 있다.
일 실시예에 따른 시술 보조를 위한 AR 영상 제공 장치는 시술 대상자의 실제 엑스레이 영상을 수집하는 통신부; 상기 실제 엑스레이 영상에서 제1 특징점을 결정하는 특징점 결정부; 복수의 가상의 엑스레이 영상들에 기초하여 3차원 모델 상에서 상기 제1 특징점에 대응하는 좌표를 결정하는 좌표 결정부; 상기 제1 특징점 및 상기 결정된 제1 특징점에 대응하는 좌표에 기초하여 상기 시술 대상자의 신체를 포함하는 영상에 상기 3차원 모델을 정합시킨 AR 영상을 생성하는 AR 영상 생성부; 및 상기 AR 영상을 출력하는 출력부를 포함할 수 있다.
상기 특징점 결정부는, 상기 실제 엑스레이 영상을 입력으로 하는 좌표 결정 모델을 이용하여 상기 제1 특징점을 결정하고, 상기 좌표 결정부는, 상기 좌표 결정 모델을 이용하여 상기 3차원 모델 상에서 상기 제1 특징점에 대응하는 좌표를 결정할 수 있다.
상기 좌표 결정 모델은, CT 영상에 기초하여 생성된 신체 부위에 대한 복수의 가상의 엑스레이 영상들에 기초하여 학습되는 뉴럴 네트워크 기반의 모델인 것을 특징으로 할 수 있다.
상기 가상의 엑스레이 영상들 각각은, 상기 가상의 엑스레이 영상들 각각이 생성된 위치에 대응하는 각각의 좌표가 라벨링될 수 있다.
상기 좌표 결정부는, 상기 제1 특징점에 기초하여, 상기 복수의 가상의 엑스레이 영상들 중, 상기 실제 엑스레이 영상에 대응하는 가상의 엑스레이 영상을 선택하고, 상기 선택된 가상의 엑스레이 영상에서 상기 제1 특징점에 대응하는 제2 특징점을 결정하고, 상기 결정된 제2 특징점에 기초하여 상기 3차원 모델 상에서 상기 제1 특징점에 대응하는 좌표를 결정할 수 있다.
일 실시예에 따르면 복수의 가상의 엑스레이 영상들을 가상 현실 기술에 기반하여 생성하고, 복수의 가상의 엑스레이 영상들에 기초하여 실제 영상과 3차원 모델을 정합하기 위한 좌표를 결정하는 것에 의해 종래의 정합을 위한 마커의 기능을 대체할 수 있다.
일 실시예에 따르면 종래의 증강 현실 기술이 적용된 시술 과정에서 환자의 신체 상에 또는 신체 주변에 물리적인 정합을 위한 마커를 부착해야 하는 것에 의해 발생할 수 있는 시간적 및 물적 자원 소모, 환자의 자세 변화 반영의 어려움과 같은 한계점들을 극복할 수 있다.
도 1은 일 실시예에 따른 AR 영상 제공 시스템의 개요를 도시하는 도면이다.
도 2는 일 실시예에 따른 가상의 엑스레이 영상 생성 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 AR 영상 제공 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 CT 영상으로부터 3차원 모델을 생성하는 과정을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 가상의 엑스레이 영상을 생성하는 과정을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 따른 가상의 발생기와 감지기를 포함하는 C-암을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 가상의 엑스레이 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 좌표 결정 모델의 학습과 관련된 특징을 도시하는 도면이다.
도 9는 일 실시예에 따른 가상의 엑스레이 영상 생성 장치의 구성을 도시하는 도면이다.
도 10은 일 실시예에 따른 AR 영상 제공 장치의 구성을 도시하는 도면이다.
도 2는 일 실시예에 따른 가상의 엑스레이 영상 생성 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 AR 영상 제공 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 CT 영상으로부터 3차원 모델을 생성하는 과정을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 가상의 엑스레이 영상을 생성하는 과정을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 따른 가상의 발생기와 감지기를 포함하는 C-암을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 가상의 엑스레이 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 좌표 결정 모델의 학습과 관련된 특징을 도시하는 도면이다.
도 9는 일 실시예에 따른 가상의 엑스레이 영상 생성 장치의 구성을 도시하는 도면이다.
도 10은 일 실시예에 따른 AR 영상 제공 장치의 구성을 도시하는 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
본 명세서에서 설명하는 AR 영상 제공 시스템은 2차원의 CT 영상에 기초하여 3차원 모델 및 복수의 가상의 엑스레이 영상들을 생성하며, 가상의 엑스레이 영상들 각각에, 각각의 가상의 엑스레이 영상이 생성된 위치에 대응하는 3차원 모델 상에서의 좌표를 라벨링하는 가상의 엑스레이 영상 생성 방법을 수행할 수 있다. 또한, 본 명세서에서 설명하는 AR 영상 제공 시스템은 시술 대상자의 실제 엑스레이 영상에 기초하여 실제 엑스레이 영상에서 특징점을 결정하고, 3차원 모델에서 특징점에 대응하는 좌표를 결정하는 것에 의해 특징점과 좌표를 마커로써 이용하여 시술 대상자의 신체를 포함하는 일반 영상에 3차원 모델을 정합시킨 AR 영상을 생성하는 AR 영상 제공 방법을 수행할 수 있다.
도 1은 일 실시예에 따른 AR 영상 제공 시스템의 개요를 도시하는 도면이다. 도 1을 참조하면, 가상의 엑스레이 영상 생성 장치(110)는 CT 영상에 기초하여 3차원 모델과 복수의 가상의 엑스레이 영상들을 생성하며 가상의 엑스레이 영상 각각에 대하여 좌표를 라벨링할 수 있다.
학습 장치(120)는 CT 영상에 기초하여 생성된 신체 부위에 대한 복수의 가상의 엑스레이 영상들에 기초하여 학습되는 뉴럴 네트워크 기반의 모델인 좌표 결정 모델을 학습시킬 수 있다. 학습 장치(120)는 좌표 결정 모델이 실제 엑스레이 영상에서 특징점을 결정하고, 3차원 모델 상에서 특징점에 대응하는 좌표를 결정하도록 학습시킬 수 있다.
AR 영상 제공 장치(130)는 학습된 좌표 결정 모델을 이용하여 실제 엑스레이 영상에서 특징점을 결정하고, 3차원 모델 상에서 특징점에 대응하는 좌표를 결정할 수 있다. AR 영상 제공 장치(130)는 특징점과 특징점에 대응하는 좌표를 기준으로 시술 대상자의 신체를 포함하는 영상과 3차원 모델을 정합시킨 AR 영상을 생성할 수 있다.
본 명세서에서 설명하는 시술은 시술(procedure), 수술 및 그 외의 기타 치료 방법의 의미를 포함하거나 이 의미로 대체될 수 있다.
가상의 엑스레이 영상 생성 장치(110), 학습 장치(120) 및 AR 영상 제공 장치(130) 중 적어도 하나는 다른 장치에 내장되어 있을 수도 있고, 세 장치 모두 개별의 장치일 수도 있으며, 세 장치가 하나의 장치에 내장되어 있을 수도 있다. 같은 장치에 내장되지 않은 장치는 다른 장치와 유선 또는 무선으로 연결되어 있을 수 있다.
가상의 엑스레이 영상 생성 장치(110), 학습 장치(120) 및 AR 영상 제공 장치(130)는 영상을 분류/인식(Image classification/recognition), 특징점 또는 포인트 감지 AI(Point detection AI), 가상 현실 AI 훈련 데이터 셋(Virtual reality AI training data set), DICOM 데이터 접근/수정(DICOM data access/modification), 가상의 엑스레이 생성(Virtual X-ray generation), 3D 폴리곤화 AI(3D polygonization AI), 공간 정합(Spatial registration), C-암 이미지 데이터 처리(C-arm image data process) 및 사용자 UI/UX 통합(User UI/UX Unification) 중 적어도 하나의 기술을 이용하여 가상의 엑스레이 영상 생성 방법, 학습 및 AR 영상 제공 방법을 수행할 수 있다.
도 2는 일 실시예에 따른 가상의 엑스레이 영상 생성 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면 단계(210)에서 가상의 엑스레이 영상 생성 장치는 시술 대상자의 신체 부위를 촬영한 CT(computed tomography) 영상을 수신할 수 있다. 여기서 CT 영상은 2차원 형태일 수 있고 시술 대상자는 환자를 지칭하는 것일 수 있다.
단계(220)에서 가상의 엑스레이 영상 생성 장치는 CT 영상에 기초하여 신체 부위에 대응하는 가상의 3차원 모델 및 복수의 가상의 엑스레이 영상들을 생성할 수 있다. 일 실시예에서 3차원 모델은 CT 영상에 대응하는 시술 대상자의 신체 부위의 해부학적 구조를 입체적으로 표현한 가상의 모델일 수 있다.
가상의 엑스레이 영상 생성 장치는 CT 영상에 기초하여 CT 영상의 복셀 데이터를 생성하고, 복셀 데이터에 기초하여 3차원 모델을 생성할 수 있다. 복셀은 체적 요소로서, 픽셀에 부피(volume)을 반영한 개념일 수 있다. 가상의 엑스레이 영상 생성 장치는 HU(Hounsfield unit) 값이 예를 들어 200 내지 400인 것에 대해서만 시각화를 수행하고 나머지는 투명하게 처리하여 2차원의 CT 영상으로부터 3차원 모델을 생성할 수 있다. 시각화를 수행하는 HU 값의 범위는 시술 대상자의 골밀도에 기초하여 결정될 수 있다.
또한, 가상의 엑스레이 영상 생성 장치는 생성된 CT 영상의 복셀 데이터를 가상의 엑스레이를 발생시키는 발생기 및 가상의 엑스레이를 감지하는 감지기를 포함하는 가상 공간에 정합시킬 수 있다. 예를 들어, 가상의 엑스레이 영상 생성 장치는 CT 영상의 영상 방향, 영상의 위치 및 간격 값을 사용하여 CT 영상의 복셀 데이터를 가상 공간에 배치할 수 있다. 가상의 엑스레이 영상 생성 장치는 CT 영상을 DICOM(Digital Imaging and Communications in Medicine) 파일의 공간 위치 정보에 기초하여 가상 공간에 위치시킬 수 있고, 이것을 미리 3차원으로 폴리곤화한 데이터와 같은 가상 공간에 정합시킬 수 있다.
단계(230)에서 가상의 엑스레이 영상 생성 장치는 CT 영상의 복셀 데이터에 기초하여 신체 부위에 대한 복수의 가상의 엑스레이 영상들을 생성할 수 있다. 일 실시예에서 CT 영상의 복셀 데이터가 배치된 가상 공간에 가상에 방사선 영상 장치(예: C-암(C-arm) 장치) 형태의 엑스레이 발생기와 엑스레이를 감지하기 위한 감지기가 가상으로 생성되어 있을 수 있다. 엑스레이 발생기와 감지기는 실제 방사선 영상 장치를 사용하는 것과 동일하게 위치, 기울기 및 방향 등이 제어될 수 있다. 예를 들어, C-암 형태의 엑스레이 발생기와 감지기는 사용자 제어 입력에 기초하여 위치, 기울기 및 방향 등이 제어될 수 있다. 가상의 엑스레이 영상 생성 장치는 가상 공간에 위치하는 CT 영상의 복셀 데이터에 미리 결정된 간격에 기초하여 가상의 엑스레이를 조사할 수 있다. 가상의 엑스레이 영상 생성 장치는 CT 영상의 복셀 데이터의 벡터 내적의 비에 기초하여 조사된 가상의 엑스레이가 CT 영상의 복셀 데이터의 데이터 슬라이스와 만나는 지점을 결정할 수 있다. 보다 구체적으로, 가상의 엑스레이 영상 생성 장치는 CT 영상의 복셀 데이터의 벡터 내적의 비에 기초하여 조사된 가상의 엑스레이가 CT 영상의 복셀 데이터의 데이터 슬라이스와 만나는 지점(또는 충돌하는 지점)을 결정할 수 있다. 지점을 이미지화 하는 것에 의해 복수의 가상의 엑스레이 영상들을 생성할 수 있다. 가상의 엑스레이 영상 생성 장치는 만나는 지점에 대응하는 HU 값을 결정할 수 있다. 가상의 엑스레이 영상 생성 장치는 HU 값의 합을 CT 영상의 데이터 슬라이스 수로 나누는 것에 의해 엑스레이의 흡수 정도를 계산할 수 있다. 가상의 엑스레이 영상 생성 장치는 계산된 엑스레이의 흡수 정도를 픽셀 값으로 변환하여 순차적으로 배열하는 것에 의해 가상의 엑스레이 영상들을 생성할 수 있다. 가상의 엑스레이 영상 생성 장치는 발생기에서 시작하는 가상의 엑스레이에 대한 타겟을 설정하기 위하여 감지기의 네 모서리의 공간 좌표를 해상도(x*y)로 나눌 수 있다.
다른 실시예에서 가상의 엑스레이 영상 생성 장치는 CT 영상의 복셀 데이터에 가상의 엑스레이를 조사하고, 차원 모델의 벡터 내적의 비에 기초하여 조사된 가상의 엑스레이가 CT 영상의 복셀 데이터의 데이터 슬라이스와 만나는 지점을 결정하고, 지점을 이미지화 하는 것에 의해 가상의 엑스레이 영상을 생성할 수 있다. 이 실시예에서 가상의 엑스레이 영상 생성 장치는 이 과정을 반복적으로 수행하는 것에 의해 복수의 가상의 엑스레이 영상들을 생성할 수 있다. 가상의 엑스레이 영상 생성 장치는 가상의 엑스레이 영상들을 생성한 후에, 무작위로 발생기 및 감지기의 좌표 및 대비/밝기를 변형시킬 수 있다. 단계(220) 및 단계(230)는 병렬적으로 수행되거나 또는 순차적으로 수행될 수 있다. 단계(220) 및 단계(230)가 순차적으로 수행되는 경우 단계(220)가 먼저 수행될 수도 있고 단계(230)이 먼저 수행될 수도 있다.
가상의 엑스레이 영상 생성 장치는 3차원 모델을 이용하여 신체 부위에 대한 복수의 가상의 엑스레이 영상들을 생성하는 과정에서 가상의 엑스레이 영상이 생성된 위치에 대응하는 좌표를 기록할 수 있다. 단계(240)에서 가상의 엑스레이 영상 생성 장치는 각각의 가상의 엑스레이 영상이 생성된 위치에 대응하는 3차원 모델 상에서의 좌표를 각각의 가상의 엑스레이 영상에 라벨링할 수 있다. 이에 따라 생성된 복수의 가상의 엑스레이 영상 각각은 모두 3차원 모델 상에서 가상의 엑스레이 영상 각각이 생성된 위치에 대응하는 좌표가 라벨링된 상태가 될 수 있다. 가상의 엑스레이 영상 생성 장치는 가상의 발생기를 기준으로 한 좌표와 발생기가 엑스레이를 발생시킨 방향의 정보를 각각의 가상의 엑스레이 영상에 라벨링할 수 있다. 라벨링된 가사의 엑스레이 영상들은 좌표 결정 모델과 같은 인공지능을 학습시키기 위한 학습 데이터로 사용될 수 있다.
가상의 엑스레이 영상 각각에 라벨링된 가상의 엑스레이 영상 각각이 생성된 위치에 대응하는 좌표는 AR 영상을 생성하는 과정에서 종래의 마커와 유사한 역할을 수행할 수 있다. 이를 통해 본 명세서에서 설명하는 AR 영상 제공 장치는 마커 없이도 시술 대상자의 신체를 포함하는 영상에 3차원 모델을 정합시킨 AR 영상을 생성할 수 있다. 3차원 모델은 AR 영상 제공 장치가 영상을 정합시키는 것에 있어서 종래의 마커와 유사한 역할을 수행하는 좌표가 마커로서 더 쉽고 편리하게 검출될 수 있도록 할 수 있다. 또한, 3차원 모델은 시술 가이드가 수행되는 경우에 시각화를 개선시킬 수 있다. 여기서 마커를 검출하는 마킹 과정은 3차원 분절화 인공지능을 이용하여 자동화할 수도 있다.
도 3은 일 실시예에 따른 AR 영상 제공 방법을 설명하기 위한 도면이다.
도 3을 참조하면 단계(310)에서 AR 영상 제공 장치는 시술 대상자의 실제 엑스레이 영상을 수집할 수 있다. AR 영상 제공 장치는 실제 엑스레이 영상에 기초하여 복수의 가상의 엑스레이 영상들 중에서 실제 엑스레이 영상에 대응하는 가상의 엑스레이 영상을 선정할 수 있다. 즉, AR 영상 제공 장치는 3차원 모델과 시술 대상자의 신체 상에서 동일한 위치에서 촬영된 가상의 엑스레이 영상과 실제 엑스레이 영상을 대응시킬 수 있다.
AR 영상 제공 장치는 실제 엑스레이 영상에 기초하여 복수의 가상의 엑스레이 영상들 중에서 실제 엑스레이 영상에 대응하는 가상의 엑스레이 영상을 선정하기 위하여, 단계(320)에서 실제 엑스레이 영상에서 제1 특징점을 결정할 수 있다. AR 영상 제공 장치는 실제 엑스레이 영상을 입력으로 하는 좌표 결정 모델을 이용하여 제1 특징점을 결정할 수 있다. 제1 특징점은 실제 엑스레이 영상에서 특징점으로 결정된 하나 특징점을 지칭하는 것일 수 있고 또는 복수의 특징점들을 지칭하는 것일 수도 있다.
단계(330)에서 AR 영상 제공 장치는 복수의 가상의 엑스레이 영상들에 기초하여 3차원 모델 상에서 제1 특징점에 대응하는 좌표를 결정할 수 있다. AR 영상 제공 장치는 일 실시예에서 제1 특징점에 기초하여, 복수의 가상의 엑스레이 영상들 중, 실제 엑스레이 영상에 대응하는 가상의 엑스레이 영상을 선택할 수 있다. AR 영상 제공 장치는 선택된 가상의 엑스레이 영상에서 제1 특징점에 대응하는 제2 특징점을 결정할 수 있다. 제1 특징점은 실제 엑스레이 영상에 대응하는 것이고 제2 특징점은 가상의 엑스레이 영상에 대응하는 것일 수 있다. AR 영상 제공 장치는 결정된 제2 특징점에 기초하여 3차원 모델 상에서 제1 특징점에 대응하는 좌표를 결정할 수 있다. AR 영상 제공 장치는 좌표 결정 모델을 이용하여 3차원 모델 상에서 제1 특징점에 대응하는 좌표를 결정할 수 있다. 가상의 엑스레이 영상들 각각은 가상의 엑스레이 영상들 각각이 생성된 위치에 대응하는 각각의 좌표가 라벨링되어 있기 때문에, AR 영상 제공 장치는 실제 엑스레이 영상에 대응하는 가상의 엑스레이 영상을 결정하고, 가상의 엑스레이 영상 내에서의 제1 특징점에 대응하는 제2 특징점을 결정하며, 3차원 모델 상에서 제2 특징점에 대응하는 좌표를 결정하는 것에 의해, 제1 특징점에 대응하는 3차원 모델 상에서의 좌표를 결정할 수 있다.
좌표 결정 모델은 CT 영상에 기초하여 생성된 신체 부위에 대한 복수의 가상의 엑스레이 영상들에 기초하여 학습되는 뉴럴 네트워크 기반의 모델일 수 있다. 좌표 결정 모델은 가상의 엑스레이 영상에 기초하여 가상의 엑스레이 영상 및 실제 엑스레이 영상 중 적어도 하나에 대하여 특징점을 결정하도록 학습될 수 있다. 또한, 좌표 결정 모델은 실제 엑스레이 영상에서 결정된 제1 특징점에 대응하는 가상의 엑스레이 영상 상에서의 제2 특징점을 결정하도록 학습될 수도 있다. 또한, 좌표 결정 모델은 복수의 가상의 엑스레이 영상들 중에서 실제 엑스레이 영상과 미리 결정된 조건에 기초하여 동일한 것으로 결정된 가상의 엑스레이 영상을 선정할 수 있도록 학습될 수 있다.
단계(340)에서 AR 영상 제공 장치는 제1 특징점 및 결정된 좌표에 기초하여 시술 대상자의 신체를 포함하는 영상에 3차원 모델을 정합시킨 AR 영상을 생성할 수 있다. 단계(340)을 통해 AR 영상 제공 장치는 종래의 마커 없이도 시술 대상자의 신체를 포함하는 영상과 3차원 모델을 정합시킬 수 있다. 여기서 시술 대상자의 신체를 포함하는 영상은 3차원 모델에 대응하는 신체 부위의 외관을 포함하는 일반적인 영상일 수 있다.
단계(350)에서 AR 영상 제공 장치는 AR 영상을 출력할 수 있다. 실시예에 따라 AR 영상 제공 장치는 AR 영상 제공 장치와 유선 또는 무선으로 연결된 헤드 마운티드 디스플레이(head mounted display; HMD)를 통해 AR 영상을 출력할 수 있다. 또한, 실시예에 따라 AR 영상 제공 장치는 헤드 마운티드 디스플레이일 수 있고, AR 영상을 출력할 수 있다.
도 4는 일 실시예에 따른 CT 영상으로부터 3차원 모델을 생성하는 과정을 설명하기 위한 도면이다.
도 4의 실시예는 도 2에 대한 상세한 설명 중 단계(220)에 대응할 수 있다. 가상의 엑스레이 영상 생성 장치는 2차원 형태의 CT 영상을 가상 공간에 위치시킬 수 있다. 단계(a)에서 가상의 엑스레이 영상 생성 장치는 2차원 형태의 CT 영상으로부터 입체화된 영상(410)을 생성할 수 있다. 단계(b)에서 가상의 엑스레이 영상 생성 장치는 입체화된 영상(410)으로부터 HU 값이 미리 정해진 범위 내인 것에 대해서만 시각화를 수행하는 것에 의해 3차원 모델(420)을 생성할 수 있다.
도 5는 일 실시예에 따른 가상의 엑스레이 영상을 생성하는 과정을 설명하기 위한 흐름도이다.
단계(530)에서 CT 영상의 복셀 데이터(510)와 가상의 방사선 영상 장치(예: C-암 장치)(520)가 가상 공간에 위치해 있을 수 있다. 방사선 영상 장치(520)가 미리 결정된 기준에 기초하여 CT 영상의 복셀 데이터(510)에 엑스레이를 조사하기에 적절한 것으로 결정된 위치, 기울기 및 방향에서 CT 영상의 복셀 데이터(510)에 엑스레이를 조사할 수 있다. 이에 응답하여 단계(540)에서 가상의 엑스레이 영상 생성 장치는 가상의 엑스레이 영상을 생성할 수 있다. 가상의 엑스레이 영상 생성 장치는 위 과정을 반복적으로 수행하는 것에 의해 복수의 가상의 엑스레이 영상들을 생성할 수 있다.
도 6은 일 실시예에 따른 가상의 발생기와 감지기를 포함하는 C-암(C-arm)을 설명하기 위한 도면이다.
도 6을 참조하면 발생기(620)는 가상의 엑스레이를 발생시켜 CT 영상의 복셀 데이터에 조사할 수 있다. 감지기(610)는 CT 영상의 복셀 데이터에 조사된 후의 엑스레이를 감지하거나 수집할 수 있다.
C-암의 특성에 따라 같은 크기의 물체를 같은 거리에서 촬영을 하더라도 가상의 엑스레이 영상의 크기가 각각 다를 수 있다. 따라서 AR 영상 제공 장치가 가상의 엑스레이 영상에 기초하여 CT 영상의 복셀 데이터의 정확한 크기를 측정할 수 있도록 가상의 엑스레이 영상 생성 장치는 C-암의 광각도 및 발생기(620) 간의 거리를 추출할 수 있다. 참조번호(630)은 생성된 일 가상의 엑스레이 영상이 출력되는 화면일 수 있다. 도 6에서 x는 CT 영상의 복셀 데이터의 높이이고, y는 CT 영상의 복셀 데이터와 발생기(620)간의 거리라고 할 때, y의 값은 다음 수학식을 통해 산출될 수 있다.
여기서, b는 감지기(610)에 의해 촬영된 가상의 엑스레이 영상(630)에 나타난 CT 영상의 복셀 데이터의 평면도(예: 원)에서 CT 영상의 복셀 데이터의 아랫면에 대응하는 평면도의 반지름이고, a는 가상의 엑스레이 영상(630)에 나타난 CT 영상의 복셀 데이터의 평면도에서 CT 영상의 복셀 데이터의 윗면에 대응하는 평면도의 반지름을 나타낸다.
발생기(620)는 발생 장치 또는 엑스레이 발생 장치 등으로 지칭될 수 있다. 또한, 감지기(610)는 수집 장치 또는 엑스레이 감지기 등으로도 지칭될 수 있다.
도 7은 일 실시예에 따른 가상의 엑스레이 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 7를 참조하면 참조번호(710)은 가상의 엑스레이를 발생시키기 위한 발생기이고 참조번호(730)은 감지기일 수 있다. 참조번호(720)은 복수의 데이터 슬라이스로 구성된 CT 영상의 복셀 데이터일 수 있다. 발생기(710) 및 감지기(730)는 가상 공간에 배치된 가상의 존재들일 수 있다.
발생기(710)는 가상의 엑스레이를 발생시켜 CT 영상의 복셀 데이터(720)에 조사할 수 있고 감지기(730)는 CT 영상의 복셀 데이터(720)에 조사된 후의 엑스레이를 감지할 수 있다. 시술 시뮬레이션 제공 장치는 감지기(720)가 감지한 엑스레이에 기초하여 CT 영상의 복셀 데이터(720)에서 엑스레이가 데이터 슬라이스와 만난 하나 이상의 지점을 결정할 수 있다. 시술 시뮬레이션 제공 장치는 그 지점을 이미지화 하는 것에 의해 가상의 엑스레이 영상을 생성할 수 있다.
도 8은 일 실시예에 따른 좌표 결정 모델의 학습과 관련된 특징을 도시하는 도면이다.
좌표 결정 모델은 3차원 모델에서의 특징점과 가상의 또는 실제 엑스레이 영상에서의 특징점을 대응시키도록 학습될 수 있다. 좌표 결정 모델은 학습된 후에 실제 엑스레이 영상에서 결정된 특징점을 3차원 모델 상에서의 좌표에 대응시킬 수 있다.
가상의 엑스레이 영상 생성 장치는 관심 영역을 자동으로 분할하고, 3차원 모델로 생성하며 3차원 모델 상에서 특징점을 라벨링하는 소프트웨어를 이용하여 본 명세서에서 설명하는 가상의 엑스레이 영상 생성 방법과 영상 제공 방법을 수행할 수 있다.
도 8을 참조하면 참조번호(810)에서 가상의 엑스레이 영상 생성 장치는 좌표 결정 모델을 이용하여 3차원 모델 상에서 척추체를 인식하고 특징점을 추출할 수 있다. 가상의 엑스레이 영상 생성 장치는 CT 영상에서 관심 영역을 자동으로 분할할 수 있다. 예를 들어, 가상의 엑스레이 영상 생성 장치는 CT 영상에서 척추 분절별로 분할(segmentation)을 수행할 수 있다. 가상의 엑스레이 영상 생성 장치는 케라스(KERAS) 또는 YOLO(You Only Look Once) 알고리즘 변환을 이용하여 분할을 수행할 수 있다. 가상의 엑스레이 영상 생성 장치는 분할된 CT 영상에 기초하여 3차원 모델을 생성할 수 있다. 가상의 엑스레이 영상 생성 장치는 3차원 모델에 대하여 특징점을 라벨링할 수 있다.
참조번호(820)은 3차원 모델 상에서 추출된 특징점을 가상의 엑스레이 영상 또는 실제 엑스레이 영상에 대응시키는 것에 의해 2차원 이미지 상에서 특징점을 추출한 것일 수 있다. 가상의 엑스레이 영상 생성 장치는 좌표 결정 모델이 3차원 모델과 2차원 이미지에서의 특징점들을 서로 대응시키도록 학습될 수 있다. 학습된 좌표 결정 모델은 가상의 엑스레이 영상이나 실제 엑스레이 영상에서 3차원 모델 상에서의 특징점에 대응하는 특징점을 결정할 수 있다. 또한 학습된 좌표 결정 모델은 그 반대도 가능하다. 좌표 결정 모델은 척추체와 같은 관심 영역에 대응하는 부위를 인식하고 특징점을 추출할 수 있도록 학습될 수 있다.
도 9는 일 실시예에 따른 가상의 엑스레이 영상 생성 장치의 구성을 도시하는 도면이다.
도 9를 참조하면, 가상의 엑스레이 영상 생성 장치(900)는 통신부(910), 3차원 모델 생성부(920) 및 가상의 엑스레이 영상 생성부(930)를 포함할 수 있다. 가상의 엑스레이 영상 생성 장치(900)는 본 명세서에서 설명하는 가상의 엑스레이 영상 생성 장치에 대응할 수 있다.
통신부(910)는 시술 대상자의 신체 부위를 촬영한 CT(computed tomography) 영상을 수신할 수 있다. 3차원 모델 생성부(920)는 CT 영상에 기초하여 신체 부위에 대응하는 가상의 3차원 모델을 생성할 수 있다. 보다 구체적으로 3차원 모델 생성부(920)는 CT 영상에 기초하여 CT 영상의 복셀 데이터를 생성하고, 복셀 데이터에 기초하여 3차원 모델을 생성할 수 있다.
가상의 엑스레이 영상 생성부(930)는 CT 영상의 복셀 데이터를 가상의 엑스레이를 발생시키는 발생기 및 가상의 엑스레이를 감지하는 감지기를 포함하는 가상 공간에 정합시킬 수 있다. 가상의 엑스레이 영상 생성부(930)는 CT 영상의 복셀 데이터에 기초하여 신체 부위에 대한 복수의 가상의 엑스레이 영상들을 생성하고, 각각의 가상의 엑스레이 영상이 생성된 위치에 대응하는 3차원 모델 상에서의 좌표를 각각의 가상의 엑스레이 영상에 라벨링할 수 있다. 보다 구체적으로 가상의 엑스레이 영상 생성부(930)는 가상 공간에 위치하는 CT 영상의 복셀 데이터에 미리 결정된 간격에 기초하여 가상의 엑스레이를 조사하고, CT 영상의 복셀 데이터의 벡터 내적의 비에 기초하여 조사된 가상의 엑스레이가 CT 영상의 복셀 데이터의 데이터 슬라이스와 만나는 지점을 결정하고, 지점을 이미지화 하는 것에 의해 복수의 가상의 엑스레이 영상들을 생성할 수 있다.
도 10은 일 실시예에 따른 AR 영상 제공 장치의 구성을 도시하는 도면이다.
도 10을 참조하면, AR 영상 제공 장치(1000)는 통신부(1010), 특징점 결정부(1020), 좌표 결정부(1030), AR 영상 생성부(1040) 및 출력부(1050)를 포함할 수 있다. AR 영상 제공 장치(1000)는 본 명세서에서 설명하는 AR 영상 제공 장치에 대응할 수 있다.
통신부(1010)는 시술 대상자의 실제 엑스레이 영상을 수집할 수 있다. 특징점 결정부(1020)는 실제 엑스레이 영상에서 제1 특징점을 결정할 수 있다. 보다 구체적으로 특징점 결정부(1020)는 실제 엑스레이 영상을 입력으로 하는 좌표 결정 모델을 이용하여 제1 특징점을 결정할 수 있다.
좌표 결정부(1030)는 복수의 가상의 엑스레이 영상들에 기초하여 3차원 모델 상에서 제1 특징점에 대응하는 좌표를 결정할 수 있다. 일 실시예에서 좌표 결정부(1030)는 좌표 결정 모델을 이용하여 3차원 모델 상에서 제1 특징점에 대응하는 좌표를 결정할 수 있다. 좌표 결정부(1030)는 제1 특징점에 기초하여, 복수의 가상의 엑스레이 영상들 중, 실제 엑스레이 영상에 대응하는 가상의 엑스레이 영상을 선택하고, 선택된 가상의 엑스레이 영상에서 제1 특징점에 대응하는 제2 특징점을 결정하고, 결정된 제2 특징점에 기초하여 3차원 모델 상에서 제1 특징점에 대응하는 좌표를 결정할 수 있다.
AR 영상 생성부(1040)는 제1 특징점 및 결정된 제1 특징점에 대응하는 좌표에 기초하여 시술 대상자의 신체를 포함하는 영상에 3차원 모델을 정합시킨 AR 영상을 생성할 수 있다.
출력부(1050)는 AR 영상을 출력할 수 있다. 출력부(1050)는 예를 들어 헤드 마운티드 디스플레이일 수 있고, AR 영상 제공 장치(1000)에 내장되어 있을 수도 있고, 또는 AR 영상 제공 장치(1000)와 유선 또는 무선으로 연결된 외부 장치일 수도 있다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
110, 900: 가상의 엑스레이 영상 생성 장치
120: 학습 장치
130, 1000: AR 영상 제공 장치
910: 통신부
920: 3차원 모델 생성부
930: 가상의 엑스레이 영상 생성부
1010: 통신부
1020: 특징점 결정부
1030: 좌표 결정부
1040: AR 영상 생성부
1050: 출력부
120: 학습 장치
130, 1000: AR 영상 제공 장치
910: 통신부
920: 3차원 모델 생성부
930: 가상의 엑스레이 영상 생성부
1010: 통신부
1020: 특징점 결정부
1030: 좌표 결정부
1040: AR 영상 생성부
1050: 출력부
Claims (18)
- 가상의 엑스레이 영상 생성 방법에 있어서,
시술 대상자의 신체 부위를 촬영한 CT(computed tomography) 영상을 수신하는 단계;
상기 CT 영상에 기초하여 상기 신체 부위에 대응하는 가상의 3차원 모델 및 복수의 가상의 엑스레이 영상들을 생성하는 단계; 및
각각의 가상의 엑스레이 영상이 생성된 위치에 대응하는 상기 3차원 모델 상에서의 좌표를 상기 각각의 가상의 엑스레이 영상에 라벨링하는 단계
를 포함하는,
가상의 엑스레이 영상 생성 방법. - 제1항에 있어서,
상기 3차원 모델 및 복수의 가상의 엑스레이 영상들을 생성하는 단계는,
상기 CT 영상에 기초하여 상기 CT 영상의 복셀 데이터를 생성하는 단계; 및
상기 복셀 데이터에 기초하여 상기 3차원 모델을 생성하는 단계
를 포함하는,
가상의 엑스레이 영상 생성 방법. - 제1항에 있어서,
상기 3차원 모델 및 복수의 가상의 엑스레이 영상들을 생성하는 단계는,
상기 CT 영상의 복셀 데이터를 가상의 엑스레이를 발생시키는 발생기 및 상기 가상의 엑스레이를 감지하는 감지기를 포함하는 가상 공간에 정합시키는 단계
를 포함하는,
가상의 엑스레이 영상 생성 방법. - 제1항에 있어서,
상기 3차원 모델 및 복수의 가상의 엑스레이 영상들을 생성하는 단계는,
가상 공간에 위치하는 상기 CT 영상의 복셀 데이터에 미리 결정된 간격에 기초하여 가상의 엑스레이를 조사하는 단계;
상기 CT 영상의 복셀 데이터의 벡터 내적의 비에 기초하여 상기 조사된 가상의 엑스레이가 상기 CT 영상의 복셀 데이터의 데이터 슬라이스와 만나는 지점을 결정하는 단계; 및
상기 지점을 이미지화 하는 것에 의해 상기 복수의 가상의 엑스레이 영상들을 생성하는 단계
를 포함하는,
가상의 엑스레이 영상 생성 방법. - 시술 보조를 위한 AR(Augmented Reality) 영상 제공 방법에 있어서,
시술 대상자의 실제 엑스레이 영상을 수집하는 단계;
상기 실제 엑스레이 영상에서 제1 특징점을 결정하는 단계;
복수의 가상의 엑스레이 영상들에 기초하여 3차원 모델 상에서 상기 제1 특징점에 대응하는 좌표를 결정하는 단계;
상기 제1 특징점 및 상기 결정된 제1 특징점에 대응하는 좌표에 기초하여 상기 시술 대상자의 신체를 포함하는 영상에 상기 3차원 모델을 정합시킨 AR 영상을 생성하는 단계; 및
상기 AR 영상을 출력하는 단계
를 포함하는,
AR 영상 제공 방법. - 제5항에 있어서,
상기 제1 특징점을 결정하는 단계는,
상기 실제 엑스레이 영상을 입력으로 하는 좌표 결정 모델을 이용하여 상기 제1 특징점을 결정하는 단계를 포함하고,
상기 제1 특징점에 대응하는 좌표를 결정하는 단계는,
상기 좌표 결정 모델을 이용하여 상기 3차원 모델 상에서 상기 제1 특징점에 대응하는 좌표를 결정하는 단계를 포함하는,
AR 영상 제공 방법. - 제6항에 있어서,
상기 좌표 결정 모델은,
CT 영상에 기초하여 생성된 신체 부위에 대한 복수의 가상의 엑스레이 영상들에 기초하여 학습되는 뉴럴 네트워크 기반의 모델인 것을 특징으로 하는,
AR 영상 제공 방법. - 제7항에 있어서,
상기 가상의 엑스레이 영상들 각각은,
상기 가상의 엑스레이 영상들 각각이 생성된 위치에 대응하는 각각의 좌표가 라벨링된,
AR 영상 제공 방법. - 제5항에 있어서,
상기 제1 특징점에 대응하는 좌표를 결정하는 단계는,
상기 제1 특징점에 기초하여, 상기 복수의 가상의 엑스레이 영상들 중, 상기 실제 엑스레이 영상에 대응하는 가상의 엑스레이 영상을 선택하는 단계;
상기 선택된 가상의 엑스레이 영상에서 상기 제1 특징점에 대응하는 제2 특징점을 결정하는 단계; 및
상기 결정된 제2 특징점에 기초하여 상기 3차원 모델 상에서 상기 제1 특징점에 대응하는 좌표를 결정하는 단계
를 포함하는,
AR 영상 제공 방법. - 가상의 엑스레이 영상 생성 장치에 있어서,
시술 대상자의 신체 부위를 촬영한 CT(computed tomography) 영상을 수신하는 통신부;
상기 CT 영상에 기초하여 상기 신체 부위에 대응하는 가상의 3차원 모델을 생성하는 3차원 모델 생성부; 및
상기 CT 영상에 기초하여 상기 신체 부위에 대한 복수의 가상의 엑스레이 영상들을 생성하고, 각각의 가상의 엑스레이 영상이 생성된 위치에 대응하는 상기 3차원 모델 상에서의 좌표를 상기 각각의 가상의 엑스레이 영상에 라벨링하는 가상의 엑스레이 영상 생성부
를 포함하는,
가상의 엑스레이 영상 생성 장치. - 제10항에 있어서,
상기 3차원 모델 생성부는,
상기 CT 영상에 기초하여 상기 CT 영상의 복셀 데이터를 생성하고,
상기 복셀 데이터에 기초하여 상기 3차원 모델을 생성하는,
가상의 엑스레이 영상 생성 장치. - 제10항에 있어서,
상기 가상의 엑스레이 영상 생성부는,
상기 CT 영상의 복셀 데이터를 가상의 엑스레이를 발생시키는 발생기 및 상기 가상의 엑스레이를 감지하는 감지기를 포함하는 가상 공간에 정합시키는,
가상의 엑스레이 영상 생성 장치. - 제10항에 있어서,
상기 가상의 엑스레이 영상 생성부는,
가상 공간에 위치하는 상기 CT 영상의 복셀 데이터에 미리 결정된 간격에 기초하여 가상의 엑스레이를 조사하고, 상기 CT 영상의 복셀 데이터의 벡터 내적의 비에 기초하여 상기 조사된 가상의 엑스레이가 상기 CT 영상의 복셀 데이터의 데이터 슬라이스와 만나는 지점을 결정하고, 상기 지점을 이미지화 하는 것에 의해 상기 복수의 가상의 엑스레이 영상들을 생성하는,
가상의 엑스레이 영상 생성 장치. - 시술 보조를 위한 AR 영상 제공 장치에 있어서,
시술 대상자의 실제 엑스레이 영상을 수집하는 통신부;
상기 실제 엑스레이 영상에서 제1 특징점을 결정하는 특징점 결정부;
복수의 가상의 엑스레이 영상들에 기초하여 3차원 모델 상에서 상기 제1 특징점에 대응하는 좌표를 결정하는 좌표 결정부;
상기 제1 특징점 및 상기 결정된 제1 특징점에 대응하는 좌표에 기초하여 상기 시술 대상자의 신체를 포함하는 영상에 상기 3차원 모델을 정합시킨 AR 영상을 생성하는 AR 영상 생성부; 및
상기 AR 영상을 출력하는 출력부
를 포함하는,
AR 영상 제공 장치. - 제14항에 있어서,
상기 특징점 결정부는,
상기 실제 엑스레이 영상을 입력으로 하는 좌표 결정 모델을 이용하여 상기 제1 특징점을 결정하고,
상기 좌표 결정부는,
상기 좌표 결정 모델을 이용하여 상기 3차원 모델 상에서 상기 제1 특징점에 대응하는 좌표를 결정하는,
AR 영상 제공 장치. - 제15항에 있어서,
상기 좌표 결정 모델은,
CT 영상에 기초하여 생성된 신체 부위에 대한 복수의 가상의 엑스레이 영상들에 기초하여 학습되는 뉴럴 네트워크 기반의 모델인 것을 특징으로 하는,
AR 영상 제공 장치. - 제16항에 있어서,
상기 가상의 엑스레이 영상들 각각은,
상기 가상의 엑스레이 영상들 각각이 생성된 위치에 대응하는 각각의 좌표가 라벨링된,
AR 영상 제공 장치. - 제14항에 있어서,
상기 좌표 결정부는,
상기 제1 특징점에 기초하여, 상기 복수의 가상의 엑스레이 영상들 중, 상기 실제 엑스레이 영상에 대응하는 가상의 엑스레이 영상을 선택하고, 상기 선택된 가상의 엑스레이 영상에서 상기 제1 특징점에 대응하는 제2 특징점을 결정하고, 상기 결정된 제2 특징점에 기초하여 상기 3차원 모델 상에서 상기 제1 특징점에 대응하는 좌표를 결정하는,
AR 영상 제공 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220065660A KR20230166023A (ko) | 2022-05-27 | 2022-05-27 | Ar 영상 제공 방법 및 ar 영상 제공 장치 |
| PCT/KR2023/007241 WO2023229415A1 (ko) | 2022-05-27 | 2023-05-26 | Ar 영상 제공 방법 및 ar 영상 제공 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220065660A KR20230166023A (ko) | 2022-05-27 | 2022-05-27 | Ar 영상 제공 방법 및 ar 영상 제공 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230166023A true KR20230166023A (ko) | 2023-12-06 |
Family
ID=88919754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220065660A KR20230166023A (ko) | 2022-05-27 | 2022-05-27 | Ar 영상 제공 방법 및 ar 영상 제공 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20230166023A (ko) |
| WO (1) | WO2023229415A1 (ko) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100280198B1 (ko) * | 1997-11-24 | 2001-02-01 | 이민화 | Ct촬영이가능한x선촬영장치및방법 |
| KR102056930B1 (ko) * | 2017-11-21 | 2019-12-17 | 경희대학교 산학협력단 | 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법 |
| KR20210069542A (ko) * | 2019-12-03 | 2021-06-11 | 숭실대학교산학협력단 | 가상의 수술 도구를 이용하는 수술 보조 시스템 및 방법 |
| KR102476832B1 (ko) * | 2020-08-10 | 2022-12-13 | 아주대학교산학협력단 | 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법 |
| KR102472464B1 (ko) * | 2020-09-24 | 2022-11-29 | 충남대학교병원 | 영상처리방법 및 이를 이용한 영상처리장치 |
-
2022
- 2022-05-27 KR KR1020220065660A patent/KR20230166023A/ko unknown
-
2023
- 2023-05-26 WO PCT/KR2023/007241 patent/WO2023229415A1/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023229415A1 (ko) | 2023-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11074688B2 (en) | Determination of a degree of deformity of at least one vertebral bone | |
| KR20210104715A (ko) | 광학 코드를 이용한 증강 현실 디스플레이 | |
| CN104039229B (zh) | 用于最佳设备导航的脉管视图的实时显示 | |
| CN111724904A (zh) | 用于针对医学扫描的患者建模的多任务渐进式网络 | |
| US20180168730A1 (en) | System and method for medical procedure planning | |
| US20230342992A1 (en) | Determination of Dynamic DRRs | |
| US9142020B2 (en) | Osteo-articular structure | |
| EP4343707A2 (en) | Indication-dependent display of a medical image | |
| CN102525534A (zh) | 医用图像处理装置、医用图像处理方法 | |
| CN108697402A (zh) | 在三维图像中确定深度脑刺激电极的旋转方位 | |
| CN104145295B (zh) | 使用不同指示器来确定放射治疗目标的位置变化 | |
| CN103229210A (zh) | 图像配准装置 | |
| US11948265B2 (en) | Image data set alignment for an AR headset using anatomic structures and data fitting | |
| KR20240013724A (ko) | 다중 펄스 x-선 소스 이동 단층합성 영상화 시스템을 사용한 인공 지능 훈련 | |
| CN111275762A (zh) | 病人定位的系统和方法 | |
| US20130191099A1 (en) | Process for generating a computer-accessible medium including information on the functioning of a joint | |
| CN113397578A (zh) | 一种成像系统和方法 | |
| CN113614781A (zh) | 用于标识图像中物体的系统和方法 | |
| CN113574610A (zh) | 用于成像的系统和方法 | |
| Advincula et al. | Development and future trends in the application of visualization toolkit (VTK): the case for medical image 3D reconstruction | |
| US20210212647A1 (en) | Estimating bone mineral density from plain radiograph by assessing bone texture with deep learning | |
| KR20230166023A (ko) | Ar 영상 제공 방법 및 ar 영상 제공 장치 | |
| US7116808B2 (en) | Method for producing an image sequence from volume datasets | |
| JP2021041090A (ja) | 医用画像処理装置、ｘ線画像処理システム、および、学習モデルの生成方法 | |
| US11430203B2 (en) | Computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an aritificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image |