KR20210052270A - 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 - Google Patents
환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR20210052270A KR20210052270A KR1020200137730A KR20200137730A KR20210052270A KR 20210052270 A KR20210052270 A KR 20210052270A KR 1020200137730 A KR1020200137730 A KR 1020200137730A KR 20200137730 A KR20200137730 A KR 20200137730A KR 20210052270 A KR20210052270 A KR 20210052270A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- patient
- skin
- real
- matching
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004590 computer program Methods 0.000 title description 6
- 239000003550 marker Substances 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 28
- 239000000284 extract Substances 0.000 claims description 5
- 230000004215 skin function Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 10
- 238000002591 computed tomography Methods 0.000 description 8
- 230000003902 lesion Effects 0.000 description 8
- 238000001356 surgical procedure Methods 0.000 description 8
- 210000000481 breast Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000002346 musculoskeletal system Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000001562 sternum Anatomy 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Architecture (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Processing Or Creating Images (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
증강 현실 기반의 의료 정보를 제공하는 방법은 환자의 의료 영상에 기초하여 생성된 환자의 피부에 대한 정보를 포함하는 3D 모델링 데이터를 획득하는 단계, 상기 환자의 상태, 상기 환자의 실시간 자세, 환부 및 시술 종류 중 적어도 하나에 기초하여 상기 3D 모델링 데이터로부터 적어도 일부의 기준 피부에 대한 정보를 샘플링하는 단계, 상기 환자가 위치하는 공간의 정보를 포함하는 실시간 공간 영상을 획득하는 단계, 상기 기준 피부에 대한 정보에 기초하여 상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 단계, 상기 환자의 피부에 대한 정보에 기초하여, 상기 실시간 공간 영상에서 상기 환자의 신체 상에 의료 정보가 출력되도록 하는 증강 현실 기반의 의료 영상을 생성하는 단계 및 상기 증강 현실 기반의 의료 영상을 출력하는 단계를 포함한다.
Description
본 발명은 환자의 신체에 기초한 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.
증강 현실(Augmented Reality, AR)은 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술이다. 이러한 증강 현실 기술은 다양한 스마트 기기를 통해 게임, 헬스, 지도 서비스 등의 다양한 분야에 적용되고 있다.
한편, 최근 의료 분야에 증강 현실 기술을 접목시키고자 하는 시도가 있다.
구체적으로, 종래 기술로서, 수술 전 촬영된 영상(CT/MRI)을 이용하여 강체 정합(Rigid Registration) 결과를 AR 기술을 통해 단순히 가시화하는 증강 현실 기반 네비게이션 기술과 뇌, 간 등을 대상으로 국소 변형을 수행하는 증강 현실 기반 네비게이션 수술을 진행한 기술들이 있다.
이러한 증강 현실 네비게이션 기술은 환자의 신체와 3D 오브젝트들 간의 좌표계의 정합이 필수적이고, 이에 따라 종래의 증강 현실 네비게이션 기술은 현실 세계의 정보로서 마커(marker)를 활용하여 좌표계의 정합을 수행한다. 즉, 환자의 신체의 특정 위치에 인위적인 마커를 위치시킨 후, 이 마커를 추적해 환자의 신체의 위치와 방향을 특정하게 된다.
그러나, 마커를 활용하여 좌표계의 정합을 수행할 경우, 사전에 교정(calibration) 작업 또한 필요하여 사전 준비 과정이 번거럽고 시간이 오래 걸리는 문제점이 있었다.
또한, 마커는 환자의 자세에 따른 변형이 최소화될 수 있는 위치에 제한적으로 위치하여야 하며, 경우에 따라서는 침습적(invasive)으로 마커를 고정하기도 했었다.
즉, 종래의 증강 현실 네비게이션 기술은 변형 발생이 비교적 적은 근골격계에 대하여 적용이 가능하나, 뇌, 간과 같은 연체 조직에 대한 AR 수술에 적용할 경우, 환자의 자세 등에 의해 신체의 변형이 발생하여 좌표계의 정합이 정확히 이루어지기 어렵다.
특히, 유방은 인체 중 변형에 대한 자유도가 가장 큰 영역 중 하나로, 실제 수술은 누워서 이루어지는 반면, 진단을 위해 촬영되는 영상은 병변에 따라 누워서 촬영되거나 엎드려서 촬영된다.
따라서, 유방은 신체 내부 깊숙이 있는 장기들과 달리 피부 바로 밑에 위치하기 때문에 자세의 차이는 유방의 변형을 더욱 가중시키며, 형태 차이에 따른 수술자의 병변 위치 파악의 어려움을 야기한다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위한 것으로서, 비마커 기반의 좌표계 정합을 통해 좌표계 정합의 정확도를 높일 수 있는 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는 환자의 의료 영상에 기초하여 생성된 환자의 피부에 대한 정보를 포함하는 3D 모델링 데이터를 획득하는 단계, 상기 환자의 상태, 상기 환자의 실시간 자세, 환부 및 시술 종류 중 적어도 하나에 기초하여 상기 3D 모델링 데이터로부터 적어도 일부의 기준 피부에 대한 정보를 샘플링하는 단계, 상기 환자가 위치하는 공간(병실, 시술실 등 환자의 외부적 위치)의 정보를 포함하는 실시간 공간 영상을 획득하는 단계, 상기 기준 피부에 대한 정보에 기초하여 상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 단계, 상기 환자의 피부에 대한 정보에 기초하여, 상기 실시간 공간 영상에서 상기 환자의 신체 상에 의료 정보가 출력되도록 하는 증강 현실 기반의 의료 영상을 생성하는 단계 및 상기 증강 현실 기반의 의료 영상을 출력하는 단계를 포함하는 증강 현실 기반의 의료 정보를 제공하는 방법을 제공할 수 있다.
또한, 본 발명의 다른 실시예는 환자의 의료 영상에 기초하여 생성된 환자의 피부에 대한 정보를 포함하는 3D 모델링 데이터를 획득하는 3D 모델링 데이터 획득부, 상기 환자의 상태, 상기 환자의 실시간 자세, 환부 및 시술 종류 중 적어도 하나에 기초하여 상기 3D 모델링 데이터로부터 적어도 일부의 기준 피부에 대한 정보를 샘플링하는 샘플링부, 상기 환자가 위치하는 공간의 정보를 포함하는 실시간 공간 영상을 획득하는 공간 영상 획득부, 상기 기준 피부에 대한 정보에 기초하여 상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 정합부, 상기 환자의 피부에 대한 정보에 기초하여, 상기 실시간 공간 영상에서 상기 환자의 신체 상에 의료 정보가 출력되도록 하는 증강 현실 기반의 의료 영상을 생성하는 의료 영상 생성부 및 상기 증강 현실 기반의 의료 영상을 출력하는 출력부를 포함하는 장치를 제공할 수 있다.
또한, 본 발명의 또 다른 실시예는 상술한 증강 현실 기반의 의료 정보를 제공하는 방법을 컴퓨팅 장치가 수행하도록 하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체를 제공할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 연체 조직에 대한 치료 및 수술에도 적용 가능한 증강 현실 네비게이션을 제공하는 방법, 장치 및 컴퓨터 프로그램을 제공할 수 있다.
또한, 비마커 기반의 좌표계 정합을 통해 좌표계 정합의 정확도를 높일 수 있는 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 의료 정보 제공 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 3D 모델링 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 기준 피부에 대한 정보를 샘플링하는 방법을 설명하기 위한 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 의료 정보 제공 장치에서 출력되는 화면을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 환자의 신체에 기초한 증강 현실 기반의 의료 정보를 제공하는 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 3D 모델링 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 기준 피부에 대한 정보를 샘플링하는 방법을 설명하기 위한 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 의료 정보 제공 장치에서 출력되는 화면을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 환자의 신체에 기초한 증강 현실 기반의 의료 정보를 제공하는 방법의 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 의료 정보 제공 장치의 블록도이다. 도 1을 참조하면, 의료 정보 제공 장치(100)는 3D 모델링 데이터 획득부(110), 샘플링부(120), 공간 영상 획득부(130), 정합부(140), 의료 영상 생성부(150) 및 출력부(160)을 포함할 수 있다. 여기서, 출력부(160)는 공간 추적부(162)를 포함할 수 있다. 다만, 이러한 도 1의 의료 정보 제공 장치(100)는 본 발명의 일 실시예에 불과하므로 도 1을 통해 본 발명이 한정 해석되는 것은 아니다.
의료 정보 제공 장치(100)는 환자의 신체, 예를 들어, 인체 중 변형에 대한 자유도가 가장 큰 유방의 치료 및 수술 시, 내비게이션을 위한 의료 정보를 제공하는 장치일 수 있다.
의료 정보 제공 장치(100)는 예를 들어, 스마트폰(smartphone), 태블릿 PC, HMD(Head mounted Display), 데스크탑, 노트북, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다. 다만, 의료 정보 제공 장치(100)는 도 1에 도시된 형태 또는 앞서 예시된 것들로 한정 해석되는 것은 아니다.
3D 모델링 데이터 획득부(110)는 환자의 의료 영상에 기초하여 생성된 환자의 피부에 대한 정보를 포함하는 3D 모델링 데이터를 획득할 수 있다.
여기서, 환자의 의료 영상은 치료 또는 수술 전에 촬영된 영상으로서, 컴퓨터단층촬영(CT: Computed Tomography), 자기공명영상(MRI: Magnetic Resonance Imaging) 및 양전자 단층촬영(PET: Positron Emission Tomography) 을 포함할 수 있다.
잠시 도 2를 참조하면, 3D 모델링 데이터 획득부(110)는 의료 영상(201)의 노이즈를 제거할 수 있다. 예를 들어, 3D 모델링 데이터 획득부(110)는 비등방성 확산 필터(ADF: Anisotropic Diffusion Filter)를 이용하여 의료 영상(201)의 노이즈를 제거할 수 있다. 비등방성 확산 필터는 일반적으로 사용되는 잡음 제거 필터들과 달리 영상의 정보를 분석하여 경계선(Edge) 정보는 유지하면서 노이즈를 효과적으로 제거한다.
의료 영상(201)의 노이즈를 제거함으로써 피부(Skin) 분할 결과 시, 노이즈에 따른 피부 정보의 오차를 최소화할 수 있다.
이어서 3D 모델링 데이터 획득부(110)는 오츠 메소드(Otsu's Method)를 이용하여 의료 영상(201)에서 배경과 환자 영역을 구분할 수 있다. 오츠 메소드는 입력 영상의 밝기 분포의 분석을 통한 영역 구분을 위해 입력 영상에 대한 적응적 임계 값을 자동으로 찾아 주는 기법이다.
그런데, 이러한 오츠 메소드를 이용한 쓰레드홀딩(Thresholding) 기법은 영상의 밝기값만을 이용한 기법으로, 영상의 토폴로지(Topology)는 고려하지 않는다.
따라서, 3D 모델링 데이터 획득부(110)는 영상의 토폴로지 정보를 고려하고 오분할된 영역을 제거하기 위해 SRG(Seeded Region Growing) 연산과 모폴로지(Morphology) 연산을 순차적으로 수행할 수 있다.
SRG는 씨앗(Seed)를 기준으로 조건을 만족하는 인접 화소들을 추적하여 확장하며 찾아나가는 과정을 이용한 기법이다. 모폴로지 연산은 침식(erode)과 팽창(dilate)을 반복적으로 수행함으로써 분할 결과에 대하여 오분할된 노이즈 제거와 빈공간(Empty space) 제거 등을 수행한다.
3D 모델링 데이터 획득부(110)는 의료 영상(201)의 각 Slice 단위(203)로 환자 영역 분할을 수행한다. 분할된 전체 영상은 스킨 메쉬(Skin Mesh, 205) 생성을 위한 볼륨 데이터(Volume Data)로써 활용된다.
3D 모델링 데이터는 스킨 메쉬(mesh, 205)일 수 있다.예를 들어, 3D 모델링 데이터는 3차원 버텍스(vertex) 정보, 이들의 연결 정보 및 이로 인해 생성된 면 정보를 포함하는 3D 메쉬 정보일 수 있다.
3D 모델링 데이터 획득부(110)는 예를 들어, 마칭 큐브(Marching Cube) 기법을 활용하여 스킨 메쉬(205)를 생성할 수 있다.
3D 모델링 데이터 획득부(110)는 스킨 메쉬(205)를 생성할 때, 가우시안 필터(Gaussian Filter)를 3차원 상에 적용하여 볼륨 데이터를 평활화(Smoothing)할 수 있다. 이로 인해, 마칭 큐브를 통해 생성될 메쉬에 평활화를 적용한 것과 같은 효과를 줄 수 있다.
3D 모델링 데이터 획득부(110)는 예를 들어, Fast-Quadric Mesh Simplification 알고리즘을 이용하여 메쉬 단순화를 수행할 수 있다. 메쉬 단순화를 수행함으로써 연산량, 메모리를 줄이는 것이 가능하다.
다시 도 1을 참조하면, 3D 모델링 데이터 획득부(110)는 3D 모델링 데이터로부터 환자의 피부에 대한 정보로서 환자의 피부를 구성하는 복수의 제 1 특징점의 정보를 추출할 수 있다. 여기서, 제 1 특징점의 정보는 3차원 공간 상의 3차원 위치 정보를 포함할 수 있고, 복수의 제 1 특징점의 3차원 위치 정보는 마커(Marker)로서 기능할 수 있다.
3D 모델링 데이터 획득부(110)는 복수의 제 1 특징점의 3차원 위치 정보를 포함하는 해쉬 테이블을 생성할 수 있다. 이와 달리, 후술하는 제 1 정합 알고리즘이 이용되지 않을 경우, 3D 모델링 데이터 획득부(110)는 해쉬 테이블을 생성하지 않을 수도 있다.
예를 들어, 3D 모델링 데이터 획득부(110)는 복수의 제 1 특징점을 다운사이즈 샘플링(downsize sampling)한 후, 두 점(Point Pair)을 선택하여 이 두 점의 차로서 위치와 방향(즉, 위치와 normal vector)을 양자화해 색인될 수 있도록 구성하고 이를 해쉬 테이블에 저장할 수 있다.
샘플링부(120)는 환자의 상태, 환자의 실시간 자세, 환부 및 시술 종류 중 적어도 하나에 기초하여 3D 모델링 데이터로부터 적어도 일부의 기준 피부에 대한 정보를 샘플링할 수 있다.
본 발명은 인위적인 마커를 이용하지 않는 비마커 기반으로 좌표계의 정합을 수행한다. 구체적으로, 본 발명은 피부를 마커로서 기능하도록 하여 좌표계의 정합을 수행한다.
피부에 대한 정보를 이용하여 좌표계의 정합을 수행할 경우, 환자의 상태, 환자의 실시간 자세 등에 따라 피부가 실시간으로 변형되어 정합의 정확도가 낮아진다는 문제점이 있다.
본 발명에서는 정합의 정확도를 높이기 위해 환자의 상태, 환자의 실시간 자세 등에 따라 비교적 변형이 잘 이루어지지 않는 기준 피부를 샘플링한 후, 기준 피부에 대한 정보에 기초하여 좌표계의 정합을 수행한다.
잠시 도 3을 참조하면, 예를 들어, 유방의 치료 및 수술 시, 샘플링부(120)는 환자의 자세에 따라 변형이 잘 이루어지지 않는 부위(예컨대, 관절이 없고 얇은 피부로 덮여있는 뼈 부분)인 가슴뼈 부분(301) 및 갈비뼈 부분(302, 303)을 기준 피부로 샘플링할 수 있다.
다른 예를 들어, 환자의 공복 상태(예컨대, 촬영시에는 일반 상태이고, 수술시에는 공복 상태)에 따라 복부의 모양도 상당히 차이가 있으며, 이 차이에 의해 정확도가 달라질 수 있다.
따라서, 샘플링부(120)는 환자의 공복 상태에 따라 변형이 잘 이루어지는 부위는 기준 피부에서 제외할 수 있다.
다시 도 1을 참조하면, 공간 영상 획득부(130)는 환자가 위치하는 공간의 정보를 포함하는 실시간 공간 영상을 획득할 수 있다.
공간 영상 획득부(130)는 깊이 카메라를 통해 실시간 공간 영상을 획득할 수 있다. 공간 영상 획득부(130)는 실시간 공간 영상으로부터 공간을 구성하는 복수의 특징점을 추출하고, 깊이 카메라의 위치 및 방향을 지속적으로 계산할 수 있다.
공간 영상 획득부(130)가 계산하는 깊이 카메라의 위치 및 방향은 후술하는 바와 같이 증강 현실 기반의 의료 영상을 추적하는데 사용된다.
정합부(140)는 기준 피부에 대한 정보에 기초하여 3D 모델링 데이터와 실시간 공간 영상을 정합할 수 있다. 예를 들어, 정합부(140)는 실시간 공간 영상에 포함된 적어도 하나의 프레임과 이에 대응하는 3D 모델링 데이터를 정합할 수 있다.
여기서, 환자의 피부에 대한 정보는 환자의 피부를 구성하는 복수의 제 1 특징점의 위치 정보를 포함하고, 기준 피부를 구성하는 복수의 제 1 특징점의 위치 정보는 마커(Marker)로서 기능할 수 있다.
정합부(140)는 기준 피부에 대한 정보에 기초하여 3D 모델링 데이터의 기준 피부에 대응하는 부분과 실시간 공간 영상의 기준 피부에 대응하는 부분을 1차 정합할 수 있다.
정합부(140)는 정합의 정확도를 더욱 높이기 위해 2차 정합을 추가로 수행할 수 있다.
이때, 정합부(140)는 기준 피부에 대한 정보 또는 기준 피부 이외의 피부에 대한 정보만을 이용하거나 기준 피부에 대한 정보 및 기준 피부 이외의 피부에 대한 정보 모두를 이용하여 3D 모델링 데이터의 기준 피부 이외의 피부에 대응하는 부분과 실시간 공간 영상의 기준 피부 이외의 피부에 대응하는 부분을 2차 정합할 수 있다.
즉, 정합부(140)가 비교적 변형이 잘 이루어지지 않는 기준 피부에 대한 정보에 기초하여 1차 정합을 먼저 수행함으로써, 정합의 정확도를 높일 수 있다.
일 실시예로서, 정합부(140)는 제 1 정합 알고리즘 및 제 2 정합 알고리즘을 이용하여 정합을 수행할 수 있다.
예를 들어, 정합부(140)는 제 1 정합 알고리즘에 기초하여 기준 피부에 대응하는 복수의 제 1 특징점과 기준 피부에 대응하는 복수의 제 2 특징점의 근사 위치를 계산할 수 있다. 여기서, 근사 위치는 위치와 방향을 의미할 수 있다.
정합부(140)는 제 1 정합 알고리즘으로서 예를 들어, PPF(Point Pair Feature) 알고리즘을 이용하여 기준 피부에 대응하는 복수의 제 1 특징점과 기준 피부에 대응하는 복수의 제 2 특징점의 근사 위치를 계산할 수 있다.
구체적으로, 정합부(140)는 실시간 공간 영상으로부터 복수의 제 2 특징점을 추출하고, 추출된 복수의 제 2 특징점을 다운사이즈 샘플링(downsize sampling)한 후, 두 점(Point Pair)을 선택할 수 있다.
이후, 정합부(140)는 선택된 두 점을 양자화(연속적이지 않고, 일정 구간의 정보가 하나의 정보로 병합)하여 해쉬 테이블에서 동일 또는 유사한 두 점을 선택할 수 있다. 예를 들어, 정합부(140)는 양자화된 두 점과의 유사도가 가장 높은 점수를 얻은 후보군을 뽑고, 이에 기초하여 복수의 제 1 특징점과 복수의 제 2 특징점의 근사 위치를 계산할 수 있다.
이때, 이 때 PPF 알고리즘은 양자화(연속적이지 않고, 일정 구간의 정보가 하나의 정보로 병합)되어 이용되므로 높은 정확도를 기대할 수 없다. 이에, 본 발명에서는 PPF 알고리즘과 함께 후술하는 제 2 알고리즘을 추가적으로 이용하여 정합의 정확도를 높인다.
정합부(140)는 복수의 제 1 특징점과 기준 피부에 대응하는 복수의 제 2 특징점의 근사 위치를 계산한 후, 제 2 정합 알고리즘에 기초하여 기준 피부에 대응하는 복수의 제 1 특징점과 기준 피부에 대응하는 복수의 제 2 특징점의 정밀 위치를 계산할 수 있다.
정합부(140)는 상술한 근사 위치를 시작점으로 제 2 정합 알고리즘으로서 예를 들어, ICP(Iterative Closest Point) 알고리즘을 이용하여 복수의 제 1 특징점과 복수의 제 2 특징점의 정밀 위치를 계산할 수 있다. 여기서, 정밀 위치는 이동 및 회전을 의미할 수 있다.
즉, 정합부(140)는 PPF 알고리즘을 통해 근사 위치로서 위치와 방향을 검출하고, ICP 알고리즘을 통해 정밀 위치로서 이동 및 회전을 검출하여 점들간의 거리가 더욱 가까워지도록 한다.
이와 같이, 본 발명은 PPF 알고리즘을 이용하여 근사한 위치를 찾고 이를 시작점으로 ICP 알고리즘을 통한 정합을 수행함으로써 정합의 정확도를 높일 수 있다.
다른 실시예로서, 정합부(140)는 제 2 정합 알고리즘만을 이용하여 정합을 수행할 수 있다.
예를 들어, 정합부(140)는 기설정된 복수의 지점에서 사전 정합을 실시하여 초기값을 설정할 수 있다. 여기서, 사전 정합은 ICP 알고리즘을 통해 수행될 수 있다.
정합부(140)는 예를 들어, 실시간 공간 영상에 대응하는 경계 박스(Scene bounding box)의 상면 중앙 및 제 2 경계 박스의 중앙에서 사전 정합을 실시할 수 있다.
이후, 정합부(140)는 사전 정합의 결과 중 잔여 오류(residual error)가 최소인 지점의 위치 및 방향을 초기값으로 설정할 수 있다.
이어서, 정합부(140)는 초기값에서부터 ICP 알고리즘을 적용하여 복수의 제 1 특징점과 복수의 제 2 특징점의 정밀 위치를 계산함으로써 정합을 수행할 수 있다.
의료 영상 생성부(150)는 환자의 피부에 대한 정보에 기초하여, 실시간 공간 영상에서 환자의 신체 상에 의료 정보가 출력되도록 하는 증강 현실 기반의 의료 영상을 생성할 수 있다.
잠시, 도 4를 참조하면, 의료 영상 생성부(150)는 실시간 공간 영상에서의 환자의 신체 모델링의 투명도 및 콘트라스트(Contrast) (409)를 조절함으로써 의사가 정합의 정확도를 확인할 수 있도록 할 수 있다. 또한, 실시간 공간 영상에서 병변 및 관심조직을 좀 더 용이하게 식별하기 위해 밝기(brightness)를 조절할 수 있다.
의료 영상 생성부(150)는 실시간 공간 영상에서의 환자의 신체 상에 의료 정보로서 예를 들어, CT plane, 병변(403), 병변(403)과 가장 가까운 피부의 위치 정보, 병변(403)과 해부학적인 축(anatomical axis) 방향 피부의 위치 정보(405), 병변(403)과 피부 사이의 거리 측정을 위한 눈금 중 적어도 하나를 출력할 수 있다.
예를 들어, 의료 영상 생성부(150)는 의사가 특정 CT 슬라이스(401)를 선택하면, 실시간 공간 영상에서의 환자의 신체 상에 해당 CT 슬라이스(401)의 위치에 대응하는 위치(환자의 몸통 내부)에 해당 특정 CT 슬라이스(401)를 배치할 수 있다.
다른 예를 들어, 의료 영상 생성부(150)는 CT 슬라이스(401)들을 적층해 3차원으로 데이터를 구성하고 이 데이터에서 원하는 방향으로의 단면(anatomical plane) 이미지를 생성하여 이를 표현할 수 있다.
또한, 의료 영상 생성부(150)는 단면 이미지 내에서 병변 부위의 제 1 색(붉은 색)(407)을 변경하여 표현할 수 있다.
또 다른 예를 들어, 의료 영상 생성부(150)는 의사의 입력에 따라 실시간 공간 영상에서의 환자의 신체 상에 선, 도형, 텍스트 등을 표현할 수 있다.
이때, 의료 영상 생성부(150)는 의사가 실시간 공간 영상에서의 환자의 신체 상에 선, 도형, 텍스트 등을 입력할 때, 화면에 표시된 적어도 하나의 요소(병변, 크기 및 위치 확인용 원반)의 투명도를 실시간으로 조절할 수 있다. 이로 인해 의사가 실시간 공간 영상에서의 환자의 신체 상에 선, 도형, 텍스트 등을 쉽게 확인할 수 있다.
출력부(160)는 증강 현실 기반의 의료 영상을 출력할 수 있다.
공간 추적부(162)는 깊이 카메라의 위치 및 방향에 기초하여 공간의 정보를 추적하여 증강 현실 기반의 의료 영상을 지속적으로 출력할 수 있다.
즉, 본 발명은 3D 모델링 데이터와 실시간 공간 영상을 최소 1회만을 정합한 후, 제 3 알고리즘을 이용하여 매 프레임의 공간 정보를 추적함으로써, 3D 모델링 데이터와 실시간 공간 영상의 정합을 지속적으로 유지한다. 여기서, 제 3 알고리즘은 SLAM (Simultaneous localization and mapping) 알고리즘일 수 있다. 이와 달리, 실시간 추적(후술하는 깊이 카메라의 위치 및 방향의 변화를 감지)을 위해서 실시간 공간 영상을 매 프레임마다 정합할 수도 있다.
이에 따라, 매 프레임마다 3D 모델링 데이터와 실시간 공간 영상을 정합함에 따른 계산량이 증가하는 문제점을 해결할 수 있다.
구체적으로, 공간 추적부(162)는 공간의 영상 정보(RGB 정보 또는 깊이 정보)에 기초하여 공간을 3차원 데이터로 구성하고, 3차원 데이터로부터 깊이 카메라의 위치 및 방향을 결정할 수 있다.
예를 들어, 공간 추적부(162)는 깊이 이미지로부터 3차원 공간의 점 정보를 획득하거나 RGB의 특징점을 추출한 후, 이로부터 프레임간의 이동을 분석하여 깊이 카메라의 위치 및 방향을 결정할 수 있다.
도 5는 본 발명의 일 실시예에 따른 환자의 신체에 기초한 증강 현실 기반의 의료 정보를 제공하는 방법의 흐름도이다.
도 5에 도시된 일 실시예에 따른 환자의 신체에 기초한 증강 현실 기반의 의료 정보를 제공하는 방법은 도 1에 도시된 의료 정보 제공 장치에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 5에 도시된 일 실시예에 따라 수행되는 환자의 신체에 기초한 증강 현실 기반의 의료 정보를 제공하는 방법에도 적용된다.
도 5를 참조하면, 단계 S510에서 의료 정보 제공 장치는 환자의 의료 영상에 기초하여 생성된 환자의 피부에 대한 정보를 포함하는 3D 모델링 데이터를 획득할 수 있다.
단계 S520에서 의료 정보 제공 장치는 환자의 상태, 환자의 실시간 자세, 환부 및 시술 종류 중 적어도 하나에 기초하여 3D 모델링 데이터로부터 적어도 일부의 기준 피부에 대한 정보를 샘플링할 수 있다.
단계 S530에서 의료 정보 제공 장치는 환자가 위치하는 공간의 정보를 포함하는 실시간 공간 영상을 획득할 수 있다.
단계 S540에서 의료 정보 제공 장치는 기준 피부에 대한 정보에 기초하여 3D 모델링 데이터와 실시간 공간 영상을 정합할 수 있다.
단계 S550에서 의료 정보 제공 장치는 환자의 피부에 대한 정보에 기초하여, 실시간 공간 영상에서 환자의 신체 상에 의료 정보가 출력되도록 하는 증강 현실 기반의 의료 영상을 생성할 수 있다.
단계 S560에서 의료 정보 제공 장치는 증강 현실 기반의 의료 영상을 출력할 수 있다.
도 5를 통해 설명된 환자의 신체에 기초한 증강 현실 기반의 의료 정보를 제공하는 방법은 매체에 저장된 컴퓨터 프로그램의 형태로 구현되거나, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 의료 정보 제공 장치
Claims (18)
- 환자의 신체에 기초한 증강 현실(AR: Augmented Reality) 기반의 의료 정보를 제공하는 방법에 있어서,
환자의 의료 영상에 기초하여 생성된 환자의 피부에 대한 정보를 포함하는 3D 모델링 데이터를 획득하는 단계;
상기 환자의 상태, 상기 환자의 실시간 자세, 환부 및 시술 종류 중 적어도 하나에 기초하여 상기 3D 모델링 데이터로부터 적어도 일부의 기준 피부에 대한 정보를 샘플링하는 단계;
상기 환자가 위치하는 공간의 정보를 포함하는 실시간 공간 영상을 획득하는 단계;
상기 기준 피부에 대한 정보에 기초하여 상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 단계;
상기 환자의 피부에 대한 정보에 기초하여, 상기 실시간 공간 영상에서 상기 환자의 신체 상에 의료 정보가 출력되도록 하는 증강 현실 기반의 의료 영상을 생성하는 단계; 및
상기 증강 현실 기반의 의료 영상을 출력하는 단계
를 포함하는 것인, 증강 현실 기반의 의료 정보를 제공하는 방법.
- 제 1 항에 있어서,
상기 환자의 피부에 대한 정보는 상기 환자의 피부를 구성하는 복수의 제 1 특징점의 위치 정보를 포함하는 것인, 증강 현실 기반의 의료 정보를 제공하는 방법.
- 제 2 항에 있어서,
상기 기준 피부를 구성하는 복수의 제 1 특징점의 위치 정보는 마커(Marker)로서 기능하는 것인, 증강 현실 기반의 의료 정보를 제공하는 방법.
- 제 2 항에 있어서,
상기 실시간 공간 영상을 획득하는 단계는
깊이 카메라로부터 상기 실시간 공간 영상을 획득하는 단계;
상기 실시간 공간 영상으로부터 상기 공간을 구성하는 복수의 제 2 특징점을 추출하는 단계; 및
상기 깊이 카메라의 위치 및 방향을 지속적으로 계산하는 단계
를 포함하는 것인, 증강 현실 기반의 의료 정보를 제공하는 방법.
- 제 4 항에 있어서,
상기 기준 피부에 대한 정보에 기초하여 상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 단계는
제 1 정합 알고리즘에 기초하여 상기 기준 피부에 대응하는 복수의 제 1 특징점과 상기 기준 피부에 대응하는 복수의 제 2 특징점의 근사 위치를 계산하는 단계; 및
제 2 정합 알고리즘에 기초하여 상기 기준 피부에 대응하는 복수의 제 1 특징점과 상기 기준 피부에 대응하는 복수의 제 2 특징점의 정밀 위치를 계산하는 단계
를 포함하는 것인, 증강 현실 기반의 의료 정보를 제공하는 방법.
- 제 5 항에 있어서,
상기 증강 현실 기반의 의료 영상을 출력하는 단계는
상기 깊이 카메라의 위치 및 방향에 기초하여 상기 공간의 정보를 추적하여 상기 증강 현실 기반의 의료 영상을 지속적으로 출력하는 단계
를 포함하는 것인, 증강 현실 기반의 의료 정보를 제공하는 방법.
- 제 1 항에 있어서,
상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 단계는
상기 기준 피부에 대한 정보에 기초하여 상기 3D 모델링 데이터의 상기 기준 피부에 대응하는 부분과 상기 실시간 공간 영상의 상기 기준 피부에 대응하는 부분을 1차 정합하는 단계; 및
상기 1차 정합을 수행한 후, 상기 3D 모델링 데이터의 상기 기준 피부 이외의 피부에 대응하는 부분과 상기 실시간 공간 영상의 상기 기준 피부 이외의 피부에 대응하는 부분을 2차 정합하는 단계
를 포함하는 것인, 증강 현실 기반의 의료 정보를 제공하는 방법.
- 제 1 항에 있어서,
상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 단계는
기설정된 복수의 지점에서 사전 정합을 실시하여 초기값을 설정하는 단계; 및
상기 초기값에서 제 2 정합 알고리즘을 적용하여 상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 단계
를 포함하는 것인, 증강 현실 기반의 의료 정보를 제공하는 방법.
- 환자의 신체에 기초한 증강 현실(AR: Augmented Reality) 기반의 의료 정보를 제공하는 장치에 있어서,
환자의 의료 영상에 기초하여 생성된 환자의 피부에 대한 정보를 포함하는 3D 모델링 데이터를 획득하는 3D 모델링 데이터 획득부;
상기 환자의 상태, 상기 환자의 실시간 자세, 환부 및 시술 종류 중 적어도 하나에 기초하여 상기 3D 모델링 데이터로부터 적어도 일부의 기준 피부에 대한 정보를 샘플링하는 샘플링부;
상기 환자가 위치하는 공간의 정보를 포함하는 실시간 공간 영상을 획득하는 공간 영상 획득부;
상기 기준 피부에 대한 정보에 기초하여 상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 정합부;
상기 환자의 피부에 대한 정보에 기초하여, 상기 실시간 공간 영상에서 상기 환자의 신체 상에 의료 정보가 출력되도록 하는 증강 현실 기반의 의료 영상을 생성하는 의료 영상 생성부; 및
상기 증강 현실 기반의 의료 영상을 출력하는 출력부
를 포함하는 것인, 장치.
- 제 9 항에 있어서,
상기 환자의 피부에 대한 정보는 상기 환자의 피부를 구성하는 복수의 제 1 특징점의 위치 정보를 포함하는 것인, 장치.
- 제 10 항에 있어서,
상기 기준 피부를 구성하는 복수의 제 1 특징점의 위치 정보는 마커(Marker)로서 기능하는 것인, 장치.
- 제 10 항에 있어서,
상기 공간 영상 획득부는 깊이 카메라를 통해 상기 실시간 공간 영상을 획득하고, 상기 실시간 공간 영상으로부터 상기 공간을 구성하는 복수의 제 2 특징점을 추출하고, 상기 깊이 카메라의 위치 및 방향을 지속적으로 계산하는 것인, 장치.
- 제 12 항에 있어서,
상기 정합부는 제 1 정합 알고리즘에 기초하여 상기 기준 피부에 대응하는 복수의 제 1 특징점과 상기 기준 피부에 대응하는 복수의 제 2 특징점의 근사 위치를 계산하고, 제 2 정합 알고리즘에 기초하여 상기 기준 피부에 대응하는 복수의 제 1 특징점과 상기 기준 피부에 대응하는 복수의 제 2 특징점의 정밀 위치를 계산하는 것인, 장치.
- 제 13 항에 있어서,
상기 출력부는 상기 깊이 카메라의 위치 및 방향에 기초하여 상기 공간의 정보를 추적하여 상기 증강 현실 기반의 의료 영상을 지속적으로 출력하는 공간 추적부
를 포함하는 것인, 장치.
- 제 9 항에 있어서,
상기 정합부는 상기 기준 피부에 대한 정보에 기초하여 상기 3D 모델링 데이터의 상기 기준 피부에 대응하는 부분과 상기 실시간 공간 영상의 상기 기준 피부에 대응하는 부분을 1차 정합하고, 상기 1차 정합을 수행한 후, 상기 3D 모델링 데이터의 상기 기준 피부 이외의 피부에 대응하는 부분과 상기 실시간 공간 영상의 상기 기준 피부 이외의 피부에 대응하는 부분을 2차 정합하는 것인, 장치.
- 제 10 항에 있어서,
상기 3D 모델링 데이터 획득부는 상기 복수의 제 1 특징점의 위치 정보를 포함하는 해쉬 테이블을 생성하는 것인, 장치.
- 제 9 항에 있어서,
상기 정합부는 기설정된 복수의 지점에서 사전 정합을 실시하여 초기값을 설정하고, 상기 초기값에서 제 2 정합 알고리즘을 적용하여 상기 3D 모델링 데이터와 상기 실시간 공간 영상을 정합하는 것인, 장치.
- 제 1 항 내지 제 8 항 중 어느 한 항에 기록된 방법을 컴퓨팅 장치가 수행하도록 하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200137730A KR102433473B1 (ko) | 2019-10-30 | 2020-10-22 | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190136031A KR20210051141A (ko) | 2019-10-30 | 2019-10-30 | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 |
| KR1020200137730A KR102433473B1 (ko) | 2019-10-30 | 2020-10-22 | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190136031A Division KR20210051141A (ko) | 2019-10-30 | 2019-10-30 | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210052270A true KR20210052270A (ko) | 2021-05-10 |
| KR102433473B1 KR102433473B1 (ko) | 2022-08-19 |
Family
ID=83113639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200137730A KR102433473B1 (ko) | 2019-10-30 | 2020-10-22 | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102433473B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230163726A (ko) | 2022-05-24 | 2023-12-01 | 연세대학교 산학협력단 | 증강 현실 기반 원격 의료 시스템 및 그의 제어 방법 및 프로그램 |
| KR20230163727A (ko) | 2022-05-24 | 2023-12-01 | 연세대학교 산학협력단 | 증강 현실 기반 원격 의료 시스템 및 그의 제어 방법 및 프로그램 |
| EP4375929A1 (en) * | 2022-11-25 | 2024-05-29 | metamorphosis GmbH | Systems and methods for registration of coordinate systems based on 2d x-ray imaging and augmented reality device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150118484A (ko) * | 2014-04-14 | 2015-10-22 | 삼성전자주식회사 | 의료 영상 정합 방법 및 장치 |
| KR101767005B1 (ko) * | 2016-05-26 | 2017-08-09 | 성균관대학교산학협력단 | 표면정합을 이용한 영상정합방법 및 영상정합장치 |
| KR101812001B1 (ko) * | 2016-08-10 | 2017-12-27 | 주식회사 고영테크놀러지 | 3차원 데이터 정합 장치 및 방법 |
| KR20190069751A (ko) * | 2017-12-12 | 2019-06-20 | (주)레벨소프트 | 복수의 후보 좌표를 이용한 특징점 기반 정합 장치 및 방법 |
-
2020
- 2020-10-22 KR KR1020200137730A patent/KR102433473B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150118484A (ko) * | 2014-04-14 | 2015-10-22 | 삼성전자주식회사 | 의료 영상 정합 방법 및 장치 |
| KR101767005B1 (ko) * | 2016-05-26 | 2017-08-09 | 성균관대학교산학협력단 | 표면정합을 이용한 영상정합방법 및 영상정합장치 |
| KR101812001B1 (ko) * | 2016-08-10 | 2017-12-27 | 주식회사 고영테크놀러지 | 3차원 데이터 정합 장치 및 방법 |
| KR20190069751A (ko) * | 2017-12-12 | 2019-06-20 | (주)레벨소프트 | 복수의 후보 좌표를 이용한 특징점 기반 정합 장치 및 방법 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230163726A (ko) | 2022-05-24 | 2023-12-01 | 연세대학교 산학협력단 | 증강 현실 기반 원격 의료 시스템 및 그의 제어 방법 및 프로그램 |
| KR20230163727A (ko) | 2022-05-24 | 2023-12-01 | 연세대학교 산학협력단 | 증강 현실 기반 원격 의료 시스템 및 그의 제어 방법 및 프로그램 |
| EP4375929A1 (en) * | 2022-11-25 | 2024-05-29 | metamorphosis GmbH | Systems and methods for registration of coordinate systems based on 2d x-ray imaging and augmented reality device |
| WO2024110612A1 (en) * | 2022-11-25 | 2024-05-30 | Metamorphosis Gmbh | Systems and methods for registration of coordinate systems based on 2d x-ray imaging and augmented reality device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102433473B1 (ko) | 2022-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210051141A (ko) | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
| KR102013866B1 (ko) | 실제수술영상을 이용한 카메라 위치 산출 방법 및 장치 | |
| US9646423B1 (en) | Systems and methods for providing augmented reality in minimally invasive surgery | |
| JP2023175709A (ja) | 空間トラッキングシステムと拡張現実ディスプレイとのレジストレーション | |
| CN110033465B (zh) | 一种应用于双目内窥镜医学图像的实时三维重建方法 | |
| US11961193B2 (en) | Method for controlling a display, computer program and mixed reality display device | |
| US20180174311A1 (en) | Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation | |
| US20180158201A1 (en) | Apparatus and method for registering pre-operative image data with intra-operative laparoscopic ultrasound images | |
| US10716457B2 (en) | Method and system for calculating resected tissue volume from 2D/2.5D intraoperative image data | |
| JP2018515197A (ja) | 腹腔鏡および内視鏡による２ｄ／２．５ｄ画像データにおけるセマンティックセグメンテーションのための方法およびシステム | |
| KR102433473B1 (ko) | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
| US10002424B2 (en) | Image processing system and method to reconstruct a three-dimensional (3D) anatomical surface | |
| US10667786B2 (en) | Ultrasound imaging apparatus and method for segmenting anatomical objects | |
| EP3295373A1 (en) | A system and method for surgical guidance and intra-operative pathology through endo-microscopic tissue differentiation | |
| CN110288653B (zh) | 一种多角度超声图像融合方法、系统及电子设备 | |
| CN114494364A (zh) | 肝脏三维超声与ct图像配准初始化方法、装置、电子设备 | |
| KR101988531B1 (ko) | 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법 | |
| Andrea et al. | Validation of stereo vision based liver surface reconstruction for image guided surgery | |
| WO2020173054A1 (zh) | Vrds 4d医学影像处理方法及产品 | |
| Schenkenfelder et al. | Elastic registration of abdominal MRI scans and RGB-D images to improve surgical planning of breast reconstruction | |
| Penza et al. | Context-aware augmented reality for laparoscopy | |
| US10299864B1 (en) | Co-localization of multiple internal organs based on images obtained during surgery | |
| WO2021081850A1 (zh) | 基于vrds 4d医学影像的脊椎疾病识别方法及相关装置 | |
| Zhang et al. | Image-Based Augmented Reality Model for Image-Guided Surgical Simulation | |
| Linte | Virtual and augmented medical imaging environments: Applications to simulation, training, surgical planning and interventional guidance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0107 | Divisional application |
Comment text: Divisional Application of Patent Patent event date: 20201022 Patent event code: PA01071R01D Filing date: 20191030 Application number text: 1020190136031 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220106 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20220725 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20220812 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20220816 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |