WO2022225132A1 - 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법 - Google Patents

랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법 Download PDF

Info

Publication number
WO2022225132A1
WO2022225132A1 PCT/KR2021/019928 KR2021019928W WO2022225132A1 WO 2022225132 A1 WO2022225132 A1 WO 2022225132A1 KR 2021019928 W KR2021019928 W KR 2021019928W WO 2022225132 A1 WO2022225132 A1 WO 2022225132A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
medical information
patient
catheter
information visualization
Prior art date
Application number
PCT/KR2021/019928
Other languages
English (en)
French (fr)
Inventor
공현중
염인화
장태수
이동헌
윤중기
김현영
Original Assignee
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210174561A external-priority patent/KR102694309B1/ko
Application filed by 서울대학교병원 filed Critical 서울대학교병원
Publication of WO2022225132A1 publication Critical patent/WO2022225132A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters

Definitions

  • the present invention relates to an augmented reality-based medical information visualization system and method using landmarks, and more particularly, augmented reality on a patient's anatomical structure and a 3D image extracted from the landmark structure. It relates to an augmented reality-based medical information visualization system using a landmark visualized in the form and a method therefor.
  • the surgeon may decide to examine or treat a number of anatomical areas that may be sparsely located, such as, for example, ten landmarks.
  • pediatric patients or central venous catheter intubation is necessary for administration of fluids, drugs, high-concentration electrolytes, antihypertensives or stimulants, blood transfusions, intravenous nutrition, dialysis, etc.
  • fluids drugs, high-concentration electrolytes, antihypertensives or stimulants, blood transfusions, intravenous nutrition, dialysis, etc.
  • difficulties such as low, small blood vessel size, and difficulty in cooperating with the procedure.
  • the technical problem to be achieved by the present invention is an augmented reality-based medical information visualization system using a landmark that visualizes the patient's anatomical structure and a 3D image extracted from the landmark structure in the form of augmented reality on the patient's photographed image, and the it's about how
  • the 3D image on the image photographed by the patient by adjusting the rotation value and the scale value for the 3D image by measuring the distance from the peripheral position of the landmark structure of the patient using a depth camera. and visualizing the 3D image matched in the augmented reality form on the captured image through an augmented reality device.
  • Visualizing through the augmented reality device may include augmenting the catheter intubation position on the patient's body through the augmented reality device. Detecting the length of the through a vision camera, and visualizing the current position of the catheter intubated inside the patient's body in the form of augmented reality on the 3D image corresponding to the anatomical structure.
  • an alarm may be provided using a visual or auditory system.
  • the catheter may be a Hickman catheter or a central venous catheter.
  • the anatomical structure may include a blood vessel connected to the atrium or the ventricle.
  • the landmark structure may include at least one of left and right clavicles, left and right nipples, pelvic bones, and umbilicus.
  • the peripheral position of the landmark structure may correspond to the center between the left clavicle or nipple and the right clavicle or nipple.
  • the augmented reality device may be implemented in the form of a head mounted display (HMD) in the form of glasses, a mobile device, or a PC.
  • HMD head mounted display
  • an input unit for receiving a 3D photographed image of a target patient, an anatomical structure and multiple objects from the input 3D photographed image
  • a 3D generator that recognizes the landmark structure of the anatomical structure and extracts the landmark structure as a 3D image, and matches the position of the landmark structure included in the 3D image with the landmark structure of the image photographing the patient
  • a matching unit for matching the 3D image on the image photographed by the patient by measuring the distance from the peripheral position of the landmark structure of the patient using a depth camera and adjusting the rotation value and the scale value for the 3D image
  • It includes a display unit for visualizing the 3D image matched in the form of augmented reality on the captured image through the augmented reality device.
  • the present invention it is possible to track the position of the catheter intubated to the patient through the 3D image and the catheter provided in the augmented reality form, and by providing the operator with the current position of the catheter through the augmented reality device, accurate medical treatment and Treatment is possible.
  • FIGS. 1A and 1B are diagrams for explaining an augmented reality-based medical information visualization system using landmarks according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining the configuration of an augmented reality-based medical information visualization system using landmarks according to an embodiment of the present invention.
  • 3 is a view for explaining the catheter.
  • FIG. 4 is a flowchart illustrating a medical information visualization method using an augmented reality-based medical information visualization system according to an embodiment of the present invention.
  • FIG. 5 is an exemplary diagram for explaining step S410 of FIG. 4 .
  • FIG. 6 is an exemplary diagram illustrating step S420 of FIG. 4 .
  • step S430 of FIG. 4 is an exemplary diagram for explaining step S430 of FIG. 4 .
  • FIG. 8 is a diagram for explaining steps S460 and S470 of FIG. 4 .
  • FIGS. 1A and 1B an augmented reality-based medical information visualization system 100 using landmarks according to an embodiment of the present invention will be described with reference to FIGS. 1A and 1B .
  • FIGS. 1A and 1B are diagrams for explaining an augmented reality-based medical information visualization system using landmarks according to an embodiment of the present invention.
  • the medical information visualization system 100 is a depth (Depth) camera 200, a vision (Vision) camera 300 and the augmented reality device 400 and network connection do.
  • the medical information visualization system 100 extracts a 3D image from a 3D captured image of a patient and provides a 3D image matched in an augmented reality form on the 3D captured image through the augmented reality device 400 .
  • the depth camera 200 may be implemented as a device capable of measuring the distance between targets, and may measure the distance to the target by detecting a signal that is reflected from the target and returns to the origin.
  • the medical information visualization system 100 receives the distance between the depth camera 200 measured through the depth camera 200 and the peripheral position of the landmark structure of the patient.
  • the vision camera 300 is implemented as a device capable of performing vision and judgment functions through hardware and software, and the medical information visualization system 100 according to an embodiment of the present invention is implemented through the vision camera 300 .
  • the detected length of the catheter intubated inside the patient's body is transmitted.
  • the augmented reality device 400 is implemented as a device capable of providing a 3D image in the form of augmented reality, and may be implemented in the form of an HMD (Head Mounted Display) in the form of glasses, a mobile device, or a PC.
  • HMD Head Mounted Display
  • the augmented reality device 400 may be implemented in a handheld form in which a camera or a lighting device can be held by hand.
  • the augmented reality device 400 is implemented as a head mounted display (HMD) in the form of glasses, as shown in FIG. It is possible to check the current position of the 3D image or the catheter implemented in the form of augmented reality inside the body.
  • HMD head mounted display
  • the augmented reality device 400 when the augmented reality device 400 is implemented in the form of a mobile device or PC, a 3D image implemented in the form of augmented reality inside the patient's body through the augmented reality device 400 implemented in the form of a PC by an operator or surrounding medical staff Alternatively, the current position of the catheter may be checked.
  • the augmented reality device 400 implemented in the form of a mobile device or PC is implemented as a device capable of exchanging information by connecting to a network by wire or wirelessly through a device such as a laptop computer, a smart pad, or a smart phone (mobile).
  • a device such as a laptop computer, a smart pad, or a smart phone (mobile).
  • the medical information visualization system 100 uses the rotation value and scale value for the 3D image measured through the depth camera 200 and the vision camera 300 and the intubation length of the catheter for the patient Visualize the 3D image and the catheter in the augmented reality form through the augmented reality device 400 in the corrected position of the captured image.
  • FIG. 2 is a diagram for explaining the configuration of an augmented reality-based medical information visualization system using landmarks according to an embodiment of the present invention.
  • the medical information visualization system 100 includes an input unit 110 , a 3D generation unit 120 , a matching unit 130 , and a display unit 140 .
  • the input unit 110 receives a three-dimensional image of the upper body of the patient to be treated.
  • the three-dimensional image refers to a three-dimensional image captured through computed tomography (CT) or magnetic resonance imaging (MRI).
  • CT computed tomography
  • MRI magnetic resonance imaging
  • the 3D generator 120 recognizes an anatomical structure and a plurality of landmark structures from the input 3D captured image, and extracts the anatomical structure and the landmark structure as a 3D image.
  • the anatomical structure may include a blood vessel connected to the atrium or the ventricle, and the blood vessel may include at least one of an aorta, a pulmonary artery, a coronary artery, and a vein.
  • the landmark structure may include at least one of left and right clavicle, left and right nipples, pelvic bones, and navel, and the pelvic bone may include an iliac crest and an iliac crest.
  • the 3D generator 120 recognizes at least one of blood vessels connected to the atrium or ventricle, the left and right clavicle, the left and right nipples, the pelvic bone, and the navel, and extracts it as a 3D image.
  • the matching unit 130 matches the position of the landmark structure included in the 3D image to the landmark structure of the image of the patient.
  • the matching unit 130 includes at least one landmark structure among the left and right clavicle, left and right nipple, pelvic bone, and navel in the image taken of the patient, and at least one of the left and right clavicle, left and right nipple, pelvic bone, and navel included in the 3D image. Match the position of one landmark structure.
  • the matching unit 130 adjusts the rotation value and the scale value for the 3D image by using the distance from the peripheral position of the landmark structure of the patient to match the 3D image on the image taken by the patient.
  • the depth camera 200 measures the distance to the peripheral position of the landmark structure of the patient and transmits it to the matching unit 130 .
  • the peripheral position of the landmark structure may correspond to the center between the left clavicle or nipple and the right clavicle or nipple, and the depth camera 200 is the left clavicle or nipple and the right The distance from the center point between the clavicle or nipple is measured and transmitted to the matching unit 130 .
  • the depth camera 200 measures the distance from the center point between the left clavicle or nipple and the right clavicle or nipple, or the location of landmark structures such as pelvis, navel, and the like, and the matching unit 130 receives the measured distance value.
  • the 3D image can be registered on the image taken from the upper body of the patient by adjusting the rotation value and the scale value for the 3D image by using the .
  • the display unit 140 visualizes the 3D image matched in the augmented reality form on the image of the patient through the augmented reality device 400 .
  • the display unit 140 augments the point at which the catheter is to be intubated into the body through the augmented reality device 400 on the patient's body.
  • the display unit 140 detects the length of the intubated catheter based on the scale displayed on the catheter through the vision camera 300 .
  • the display unit 140 converts the current position of the catheter into three-dimensional coordinates using the measured intubation length of the catheter.
  • the direction in which the catheter is intubated is preset according to the intubation point of the catheter, so if the intubation length of the catheter is measured, the body Three-dimensional coordinates for the current position of the catheter intubated can be derived.
  • the display unit 140 displays the current position of the catheter intubated inside the patient's body through the augmented reality device 400 in the form of augmented reality on the 3D image corresponding to the anatomical structure.
  • the display unit 140 provides a visual or auditory alarm to the medical staff.
  • the alarm may be an audio-visual alarm such as a visual cue or an audio sound.
  • the catheter may include a Hickman catheter or a central venous catheter.
  • 3 is a view for explaining the catheter.
  • the catheter shown in FIG. 3 is a Hickman catheter, and is intubated inside the patient's body, and a scale for determining the degree of entry into the patient's body is marked.
  • the display unit 140 converts the length of the catheter intubated inside the patient's body measured through the vision camera 300 into three-dimensional coordinates and displays it through the augmented reality device 400 in the form of augmented reality on the 3D image. do.
  • FIG. 4 is a flowchart illustrating a medical information visualization method using an augmented reality-based medical information visualization system according to an embodiment of the present invention.
  • the medical information visualization system 100 receives a three-dimensional photographed image of a target patient (S410).
  • the medical information visualization system 100 may receive a three-dimensional image photographed using CT or MRI in which the patient has been previously screened.
  • FIG. 5 is an exemplary diagram for explaining step S410 of FIG. 4 .
  • the medical information visualization system 100 receives a three-dimensional image of the patient, "A” shown in FIG. 5 corresponds to the patient's nipple, and “B" is the patient's represents the heart.
  • the medical information visualization system 100 recognizes an anatomical structure and a plurality of landmark structures and extracts it as a 3D image (S420).
  • the medical information visualization system 100 recognizes at least one of a blood vessel connected to the atrium or ventricle, which is an anatomical structure, and a landmark structure, the left and right clavicle, the left and right nipples, the pelvic bone, and the navel from the input 3D captured image to 3D Extract from video
  • FIG. 6 is an exemplary diagram illustrating step S420 of FIG. 4 .
  • the medical information visualization system 100 extracts the blood vessels connected to the atrium or ventricle and the left and right nipples recognized from the 3D captured image as a 3D image.
  • the medical information visualization system 100 matches the position of the landmark structure included in the 3D image with the landmark structure of the image captured by the patient (S430).
  • the medical information visualization system 100 matches the position of the left and right clavicle or nipple in the image taken of the patient with the position of the left and right clavicle or nipple included in the 3D image.
  • step S430 of FIG. 4 is an exemplary diagram for explaining step S430 of FIG. 4 .
  • "A" represents the left and right nipples of the patient, which are landmark structures, and the medical information visualization system 100 may match the left and right nipples included in the 3D image to the left and right nipples of the patient, respectively.
  • the medical information visualization system 100 uses the augmented reality device 400 to enlarge or reduce the left and right nipples of the patient and included in the 3D image
  • the left and right nipples can be matched respectively.
  • the medical information visualization system 100 measures the distance from the peripheral position of the landmark structure of the patient through the depth camera 200 and adjusts the rotation value and scale value for the 3D image on the image captured by the patient. 3D images are matched (S440).
  • the medical information visualization system 100 measures the distance between the depth camera 200 and the clavicle or navel, and when the landmark structure is the left and right clavicle or nipple, medical information The visualization system 100 measures the distance at the center between the depth camera 200 and the left clavicle or nipple and the right clavicle or nipple.
  • the medical information visualization system 100 may adjust the rotation value and scale value of the 3D image using the distance value measured from the depth camera 200 to match the 3D image on the image captured by the patient.
  • the medical information visualization system 100 measures the distance to the landmark structure that varies depending on the angle at which the patient is photographed, and adjusts the rotation value and scale value for the 3D image, so that the position of the 3D image varies depending on the photographed angle. match the
  • the medical information visualization system 100 displays the 3D image matched in the augmented reality form on the captured image through the augmented reality device 400 (S450).
  • the medical information visualization system 100 may augment and display a position where the catheter is to be intubated into the body through the augmented reality device 400 on the patient's body.
  • the medical information visualization system 100 displays a 3D image including blood vessels connected to the atrium or ventricle matched in the augmented reality form on the image captured by the patient through the augmented reality device 400 .
  • the medical information visualization system 100 may further augment and display the current position of catheter intubation on the patient's body.
  • the medical information visualization system 100 measures the intubation length of the intubated catheter based on the scale of the catheter through the vision camera 300. It is converted into dimensional coordinates (S460).
  • the medical information visualization system 100 measures the intubation length of the catheter to be intubated inside the patient's body in real time and converts it into three-dimensional coordinates.
  • FIG. 8 is a diagram for explaining steps S460 and S470 of FIG. 4 .
  • the medical information visualization system 100 measures the length of the catheter to be intubated into the patient's body through the vision camera 300 and converts it into three-dimensional coordinates.
  • the medical information visualization system 100 provides an alarm to the medical staff using sight or sound.
  • the distance from the location where the catheter is to be intubated to the target point is 30 cm.
  • the medical information visualization system 100 is a visual cue or audio sound, such as Alarms can be provided either as a display or as a sound.
  • the medical information visualization system 100 displays the current position of the catheter intubated as much as the length of the catheter intubated inside the detected patient's body in augmented reality form on the 3D image corresponding to the blood vessel connected to the atrium or ventricle. can be (S470).
  • the medical information visualization system 100 visualizes the three-dimensional coordinates converted through step S470 through a 3D rendering model.
  • the medical information visualization system 100 may display the current position of the catheter through the augmented reality device 400 while being intubated into the subclavian vein and entering the heart through the superior vein.
  • the medical staff may perform the treatment by checking the 3D image displayed on the image taken of the patient displayed through the augmented reality device 400 .

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Pulmonology (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법에 관한 것이다. 본 발명에 따르면, 증강현실 기반의 의료정보 시각화 시스템을 이용한 의료정보 시각화 방법에 있어서, 대상이 되는 환자의 3차원 촬영 영상을 입력받는 단계, 입력된 3차원 촬영 영상으로부터 해부학적 구조물 및 복수의 랜드마크 구조물을 인식하여 해부학적 구조물 및 랜드마크 구조물을 3D 영상으로 추출하는 단계, 환자를 촬영한 영상의 랜드마크 구조물에 3D 영상에 포함된 랜드마크 구조물의 위치를 정합시키는 단계, 뎁스 카메라를 이용하여 환자의 랜드마크 구조물의 주변 위치와 뎁스 카메라 사이의 거리, 그리고 뎁스 카메라와 환자의 피부 사이의 거리를 측정하여 3D 영상에 대한 회전값 및 스케일 값을 조절하여 환자를 촬영한 영상 위에 3D 영상을 정합시키는 단계, 그리고 촬영 영상 위에 증강현실 형태로 정합된 3D 영상을 증강현실 디바이스를 통해 시각화하는 단계를 포함한다.

Description

랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법
본 발명은 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 환자의 해부학적 구조물 및 랜드마크 구조물로부터 추출한 3D 영상을 이용하여 환자의 촬영 영상 상에 증강 현실 형태로 시각화하는 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법에 관한 것이다.
일반적으로 의사들이 수술에 들어가기 앞서 환자의 수술 계획을 수립할 때, 수술 부위에 대한 정보를 환자의 CT(Computed Tomographic) 또는 MRI(Magnetic Resonance Imaging) 사진 등의 2차원 의료 영상을 참고하여 수술 계획을 세우며, 외과의는 몇몇의 보이는 랜드마크와 관련하여 이미 치료된 영역에 대해 지도를 그려야 한다.
이는 치료가 목표 조직 내부에서 이뤄지는 경우 또는 조직의 외형을 변경시키면 안 되는 경우 어렵다. 간과되거나 과치료된 또는 잘못 치료된 위치는 피해야 한다. 외과의는 예컨대 10개의 랜드마크와 같이 드문드문하게 위치할 수 있는 다수의 해부 영역을 검사하거나 치료하도록 결정할 수 있다.
이는 이미 최소 절개 수술을 경험한 외과의에게 인지부하를 증가시키며, 인체 조직은 자연적으로 또는 수술로부터 색깔을 변형시키거나 변경시킬 수 있으므로, 이와 관련된 랜드마크 및 연관된 수술 중 정보에 대한 추적의 어려움을 증가시킨다.
특히, 소아환자 또는 중심 정맥 카테터 삽관은 수액, 약, 고농도 전해질, 혈압상승제 또는 수축촉진약 투여, 수혈, 정맥영양, 투석등에 필요하나, 소아환자는 이러한 중심정맥접근술을 수행하는데 있어 빈도가 낮고, 작은 혈관 크기, 술기에 협조에 어려운 점 등 어려운 점이 많다.
일반적으로, 기존의 술기는 동맥 맥박을 촉진하거나 특정 근육 가장자리를 기준으로 중심정맥과 해부학적인 연관을 추정하는 방식으로 이루어 지고 있으나, 이러한 기준점을 이용한 중심 정맥 카테터 삽관의 성공률은 60%에서 85% 사이로 알려졌다.
다만, 이는 시술자의 숙련도에 따라 많은 차이가 나며, 중심정맥과 기준점 사이 위치의 변이, 몸 및 혈관의 작은 크기, 삽관 빈도가 낮아 시술자의 경험이 적은 것 등에 영향을 많이 받는 문제점이 있다.
본 발명의 배경이 되는 기술은 대한민국 국내등록특허 제10-1759534호 (2017.07.19 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 환자의 해부학적 구조물 및 랜드마크 구조물로부터 추출한 3D 영상을 이용하여 환자의 촬영 영상 상에 증강 현실 형태로 시각화하는 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법에 관한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 증강현실 기반의 의료정보 시각화 시스템을 이용한 의료정보 시각화 방법에 있어서, 대상이 되는 환자의 3차원 촬영 영상을 입력받는 단계, 상기 입력된 3차원 촬영 영상으로부터 해부학적 구조물 및 복수의 랜드마크 구조물을 인식하여 해부학적 구조물 및 랜드마크 구조물을 3D 영상으로 추출하는 단계, 상기 환자를 촬영한 영상의 랜드마크 구조물에 상기 3D 영상에 포함된 랜드마크 구조물의 위치를 정합시키는 단계, 뎁스 카메라를 이용하여 상기 환자의 랜드마크 구조물의 주변 위치와의 거리를 측정하여 상기 3D 영상에 대한 회전값 및 스케일 값을 조절하여 상기 환자를 촬영한 영상 위에 상기 3D 영상을 정합시키는 단계, 그리고 상기 촬영 영상 위에 증강현실 형태로 정합된 3D 영상을 증강현실 디바이스를 통해 시각화하는 단계를 포함한다.
상기 증강현실 디바이스를 통해 시각화하는 단계는, 상기 증강현실 디바이스를 통해 카테터 삽관 위치를 환자의 신체 상에 증강하는 단계, 상기 환자의 신체 내부에 카테터를 삽관하면, 카테터의 눈금을 기준으로 삽관된 카테터의 길이를 비전 카메라를 통해 검출하는 단계, 그리고 상기 환자의 신체 내부에 삽관된 카테터의 현재 위치를 상기 해부학적 구조물에 해당하는 3D 영상 위에 증강현실 형태로 시각화하는 단계를 더 포함할 수 있다.
상기 3차원 좌표로 변환하는 단계는, 상기 삽관된 카테터가 기 설정된 목표 길이에 도달하는 경우, 시각 또는 청각을 이용하여 알람을 제공할 수 있다.
상기 카테터는 히크만카테터 또는 중심정맥 카테터일 수 있다.
상기 해부학적 구조물은, 심방 또는 심실과 연결되는 혈관을 포함할 수 있다.
상기 랜드마크 구조물은, 좌우측 쇄골, 좌우측 유두, 골반뼈, 배꼽 중에서 적어도 하나를 포함할 수 있다.
상기 랜드마크 구조물이 좌우측 쇄골 또는 유두인 경우, 상기 랜드마크 구조물의 주변 위치는 좌측 쇄골 또는 유두와 우측 쇄골 또는 유두 사이의 중심에 해당할 수 있다.
상기 증강현실 디바이스는, 안경 형태의 HMD(Head Mounted Display) 또는 모바일 기기 또는 PC 형태로 구현될 수 있다.
본 발명의 다른 실시예에 따르면 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템에 있어서, 대상이 되는 환자의 3차원 촬영 영상을 입력받는 입력부, 상기 입력된 3차원 촬영 영상으로부터 해부학적 구조물 및 복수의 랜드마크 구조물을 인식하여 해부학적 구조물 및 랜드마크 구조물을 3D 영상으로 추출하는 3D 생성부, 상기 환자를 촬영한 영상의 랜드마크 구조물에 상기 3D 영상에 포함된 랜드마크 구조물의 위치를 정합시키고, 뎁스 카메라를 이용하여 상기 환자의 랜드마크 구조물의 주변 위치와의 거리를 측정하여 상기 3D 영상에 대한 회전값 및 스케일 값을 조절하여 상기 환자를 촬영한 영상 위에 상기 3D 영상을 정합시키는 정합부, 그리고 상기 촬영 영상 위에 증강현실 형태로 정합된 3D 영상을 증강현실 디바이스를 통해 시각화하는 표시부를 포함한다.
이와 같이 본 발명에 따르면, 증강현실 형태로 제공된 3D 영상 및 카테터를 통해 환자에 삽관된 카테터의 위치를 추적할 수 있고, 시술자에게 증강현실 디바이스를 통해 카테터의 현재 위치를 제공함으로써, 정확한 의료 시술과 치료가 가능하다.
도 1a 및 도 1b는 본 발명의 실시예에 따른 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템의 구성을 설명하기 위한 도면이다.
도 3은 카테터를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 증강현실 기반의 의료정보 시각화 시스템을 이용한 의료정보 시각화 방법을 설명하기 위한 순서도이다.
도 5는 도 4의 S410 단계를 설명하기 위한 예시도이다.
도 6은 도 4의 S420 단계를 설명한 예시도이다.
도 7은 도 4의 S430 단계를 설명하기 위한 예시도이다.
도 8은 도 4의 S460 단계 및 S470 단계를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
이하에서는 도 1a 및 도 1b를 이용하여 본 발명의 실시예에 따른 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템(100)을 설명한다.
도 1a 및 도 1b는 본 발명의 실시예에 따른 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템을 설명하기 위한 도면이다.
도 1a에서 도시한 바와 같이, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 뎁스(Depth) 카메라(200), 비전(Vision) 카메라(300) 및 증강현실 디바이스(400)와 네트워크 연결된다.
먼저, 의료정보 시각화 시스템(100)은 환자의 3차원 촬영 영상으로부터 3D 영상을 추출하여 3차원 촬영 영상 위에 증강현실 형태로 정합된 3D 영상을 증강현실 디바이스(400)를 통해 제공한다.
다음으로, 뎁스 카메라(200)는 목표물 사이의 거리를 측정할 수 있는 기기로 구현될 수 있으며, 적외선 신호가 목표물에서 반사되어 원점으로 되돌아오는 신호를 탐지하여 목표물까지의 거리를 측정할 수 있다.
즉, 의료정보 시각화 시스템(100)는 뎁스 카메라(200)를 통해 측정된 뎁스 카메라(200)와 환자의 랜드마크 구조물의 주변 위치 사이의 거리를 전송받는다.
다음으로, 비전 카메라(300)는 하드웨어와 소프트웨어를 통해 시각과 판단 기능을 수행할 수 있는 기기로 구현되며, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 비전 카메라(300)를 통해 검출된 환자의 신체 내부에 삽관된 카테터의 길이를 전송받는다.
다음으로, 증강현실 디바이스(400)는 3D 영상을 증강현실 형태로 제공할 수 있는 기기로 구현되며, 안경 형태의 HMD(Head Mounted Display) 또는 모바일 기기 또는 PC 형태로 구현될 수 있다.
그리고, 증강현실 디바이스(400)는 카메라 또는 조명 장치 등을 손으로 들 수 있는 핸드헬드(Handheld) 형태로 구현될 수 있다.
이때, 도 1b에서 도시한 바와 같이, 증강현실 디바이스(400)가 안경 형태의 HMD(Head Mounted Display)로 구현될 경우, 시술자는 안경 형태로 구현된 증강현실 디바이스(400)를 통해 제공되는 환자의 신체 내부에 증강현실 형태로 구현된 3D 영상 또는 카테터의 현재 위치를 확인할 수 있다.
그리고, 증강현실 디바이스(400)가 모바일 기기 또는 PC 형태로 구현될 경우, 시술자 또는 주변 의료진이 PC 형태로 구현된 증강현실 디바이스(400)를 통해 환자의 신체 내부에 증강현실 형태로 구현된 3D 영상 또는 카테터의 현재 위치를 확인할 수 있다.
여기서, 모바일 기기 또는 PC 형태로 구현된 증강현실 디바이스(400)는 노트북 컴퓨터, 스마트 패드, 스마트 폰(모바일) 등과 같은 기기를 통해 유선 또는 무선으로 네트워크에 접속하여 정보를 주고받을 수 있는 기기로 구현될 수 있다.
즉, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 뎁스 카메라(200) 및 비전 카메라(300)를 통해 측정된 3D 영상에 대한 회전값 및 스케일 값과 카테터의 삽관 길이를 이용하여 환자의 촬영 영상의 보정된 위치에 3D 영상 및 카테터를 증강현실 디바이스(400)를 통해 증강현실 형태로 시각화한다.
이하에서는 도 2를 이용하여 본 발명의 실시예에 따른 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템(100)의 구성을 설명한다.
도 2는 본 발명의 실시예에 따른 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템의 구성을 설명하기 위한 도면이다.
도 2에서 도시한 바와 같이, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 입력부(110), 3D 생성부(120), 정합부(130) 및 표시부(140)를 포함한다.
먼저, 입력부(110)는 시술 대상이 되는 환자의 상반신에 대한 3차원 촬영 영상을 입력받는다.
이때, 3차원 촬영 영상은 CT(Computed Tomography) 또는 MRI(Magnetic resonance imaging)을 통해 촬영된 3차원의 영상을 의미한다.
다음으로, 3D 생성부(120)는 입력된 3차원 촬영 영상으로부터 해부학적 구조물 및 복수의 랜드마크 구조물을 인식하여 해부학적 구조물 및 랜드마크 구조물을 3D 영상으로 추출한다.
이때, 해부학적 구조물은 심방 또는 심실과 연결되는 혈관을 포함하며, 혈관은 대동맥, 폐동맥, 관상동맥 및 정맥 중에서 적어도 하나를 포함할 수 있다.
또한, 랜드마크 구조물은 좌우측 쇄골, 좌우측 유두, 골반뼈, 배꼽 중에서 적어도 하나를 포함하며, 골반뼈는 엉덩뼈능선, 장골능을 포함할 수 있다.
즉, 3D 생성부(120)는 심방 또는 심실과 연결되는 혈관과 좌우측 쇄골, 좌우측 유두, 골반뼈, 배꼽 중에서 적어도 하나를 인식하여 3D 영상으로 추출한다.
다음으로, 정합부(130)는 환자를 촬영한 영상의 랜드마크 구조물에 3D 영상에 포함된 랜드마크 구조물의 위치를 정합시킨다.
여기서, 정합부(130)는 환자를 촬영한 영상에서의 좌우측 쇄골, 좌우측 유두, 골반뼈, 배꼽 중에서 적어도 하나의 랜드마크 구조물과 3D 영상에 포함된 좌우측 쇄골, 좌우측 유두, 골반뼈, 배꼽 중에서 적어도 하나의 랜드마크 구조물의 위치를 일치시킨다.
그리고, 정합부(130)는 환자의 랜드마크 구조물의 주변 위치와의 거리를 이용하여 3D 영상에 대한 회전값 및 스케일 값을 조절하여 환자를 촬영한 영상 위에 3D 영상을 정합시킨다.
이때, 뎁스 카메라(200)는 환자의 랜드마크 구조물의 주변 위치와의 거리를 측정하여 정합부(130)로 전송한다.
만일, 랜드마크 구조물이 좌우측 쇄골 또는 유두인 경우, 랜드마크 구조물의 주변 위치는 좌측 쇄골 또는 유두와 우측 쇄골 또는 유두 사이의 중심에 해당할 수 있으며, 뎁스 카메라(200)는 좌측 쇄골 또는 유두와 우측 쇄골 또는 유두 사이의 중심점과의 거리를 측정하여 정합부(130)로 전송한다.
즉, 뎁스 카메라(200)는 좌측 쇄골 또는 유두와 우측 쇄골 또는 유두 사이의 중심점 또는 골반뼈, 배꼽 등의 랜드마크 구조물의 위치와의 거리를 측정하며, 정합부(130)는 측정된 거리 값을 이용하여 3D 영상에 대한 회전값 및 스케일 값을 조절하여 환자의 상반신 촬영 영상 위에 3D 영상을 정합시킬 수 있다.
다음으로, 표시부(140)는 환자를 촬영한 영상 위에 증강현실 형태로 정합된 3D 영상을 증강현실 디바이스(400)를 통해 시각화한다.
이때, 표시부(140)는 증강현실 디바이스(400)를 통해 카테터가 신체 내부로 삽관될 지점을 환자의 신체 상에 증강한다.
그리고, 환자의 신체 내부에 카테터가 삽관되면, 표시부(140)는 카테터에 표시된 눈금을 기준으로 삽관된 카테터의 길이를 비전 카메라(300)를 통해 검출한다.
이때, 표시부(140)는 측정된 카테터의 삽관 길이를 이용하여 카테터의 현재 위치를 3차원 좌표로 변환한다.
예를 들어, 카테터가 삽관되는 지점을 기준 좌표(0,0,0)이라고 가정하면, 카테터의 삽관 지점에 따라 카테터가 삽관되는 방향을 기 설정되므로, 삽관되는 카테터의 삽관 길이를 측정하면, 신체 내부로 삽관된 카테터의 현재 위치에 대한 3차원 좌표가 도출될 수 있다.
그러면, 표시부(140)는 환자의 신체 내부에 삽관된 카테터의 현재 위치를 해부학적 구조물에 해당하는 3D 영상 위에 증강현실 형태로 증강현실 디바이스(400)를 통해 표시한다.
이때, 삽관된 카테터의 삽관 길이가 기 설정된 목표 길이에 도달하는 경우, 카테터가 목표 지점까지 삽관된 것으로 볼 수 있으므로 표시부(140)는 시각 또는 청각을 이용한 알람을 의료진에게 제공한다.
이때, 알람은 시각 단서(visual cue) 또는 오디오 소리(audio sound) 등과 같이 시청각을 이용한 알람일 수 있다.
그리고, 카테터는 히크만카테터 또는 중심정맥 카테터를 포함할 수 있다.
도 3은 카테터를 설명하기 위한 도면이다.
도 3에서 도시한 카테터는 히크만 카테터를 나타낸 것이고, 환자의 신체 내부에 삽관되어 환자의 신체 내부에 진입한 정도를 파악하기 위한 눈금이 표시되어 있다.
따라서, 표시부(140)는 비전 카메라(300)를 통해 측정된 환자의 신체의 내부에 삽관된 카테터의 길이를 3차원 좌표로 변환하여 3D 영상 위에 증강현실 형태로 증강현실 디바이스(400)를 통해 표시한다.
이하에서는 도 4를 이용하여 본 발명의 실시예에 따른 증강현실 기반의 의료정보 시각화 시스템(100)을 이용한 의료정보 시각화 방법을 설명한다.
도 4는 본 발명의 실시예에 따른 증강현실 기반의 의료정보 시각화 시스템을 이용한 의료정보 시각화 방법을 설명하기 위한 순서도이다.
먼저, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 대상이 되는 환자의 3차원 촬영 영상을 입력받는다(S410).
이때, 의료정보 시각화 시스템(100)은 환자가 기존에 검진 받은 CT 또는 MRI를 이용하여 촬영된 3차원의 영상을 입력받을 수 있다.
도 5는 도 4의 S410 단계를 설명하기 위한 예시도이다.
도 5에서 도시한 바와 같이, 의료정보 시각화 시스템(100)은 환자의 3차원 촬영 영상을 입력받으며, 도 5에 나타낸 "A"는 환자의 유두(Nipple)에 해당하고, "B"는 환자의 심장을 나타낸다.
다음으로, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 해부학적 구조물 및 복수의 랜드마크 구조물을 인식하여 3D 영상으로 추출한다(S420).
이때, 의료정보 시각화 시스템(100)은 입력된 3차원 촬영 영상으로부터 해부학적 구조물인 심방 또는 심실과 연결되는 혈관과 랜드마크 구조물인 좌우측 쇄골, 좌우측 유두, 골반뼈, 배꼽 중에서 적어도 하나를 인식하여 3D 영상으로 추출한다.
도 6은 도 4의 S420 단계를 설명한 예시도이다.
도 6에서 도시한 바와 같이, 의료정보 시각화 시스템(100)은 3차원 촬영 영상으로부터 인식된 심방 또는 심실과 연결되는 혈관과 좌우측 유두를 3D 영상으로 추출한다.
이때, 도 6에서 "A"는 환자의 유두를 나타내고, "C"는 심방 또는 심실과 연결되는 혈관을 나타낸다.
다음으로, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 환자를 촬영한 영상의 랜드마크 구조물에 3D 영상에 포함된 랜드마크 구조물의 위치를 정합시킨다(S430).
여기서, 랜드마크 구조물을 좌우측 쇄골 또는 유두라고 가정하면, 의료정보 시각화 시스템(100)은 환자를 촬영한 영상의 좌우측 쇄골 또는 유두의 위치와 3D 영상에 포함된 좌우측 쇄골 또는 유두의 위치를 일치시킨다.
도 7은 도 4의 S430 단계를 설명하기 위한 예시도이다.
도 7에서 나타낸 바와 같이, "A"는 랜드마크 구조물인 환자의 좌우측 유두를 나타내며, 의료정보 시각화 시스템(100)은 환자의 좌우측 유두에 각각 3D 영상에 포함된 좌우측 유두와 일치시킬 수 있다.
이때, 환자의 좌우측 유두에 각각 3D 영상에 표시된 좌우측 유두를 일치시킬 경우, 의료정보 시각화 시스템(100)은 증강현실 디바이스(400)를 이용하여 확대 또는 축소하여 환자의 좌우측 유두와 3D 영상에 포함된 좌우측 유두를 각각 정합시킬 수 있다.
다음으로, 의료정보 시각화 시스템(100)은 뎁스 카메라(200)를 통해 환자의 랜드마크 구조물의 주변 위치와의 거리를 측정하여 3D 영상에 대한 회전값 및 스케일 값을 조절하여 환자를 촬영한 영상 위에 3D 영상을 정합시킨다(S440).
여기서, 랜드마크 구조물이 골반뼈 또는 배꼽일 경우, 의료정보 시각화 시스템(100)은 뎁스 카메라(200)와 쇄골 또는 배꼽 사이의 거리를 측정하고, 랜드마크 구조물이 좌우측 쇄골 또는 유두인 경우, 의료정보 시각화 시스템(100)은 뎁스 카메라(200)와 좌측 쇄골 또는 유두와 우측 쇄골 또는 유두 사이의 중심에서의 거리를 측정한다.
그리고, 의료정보 시각화 시스템(100)은 뎁스 카메라(200)로부터 측정된 거리 값을 이용하여 3D 영상에 대한 회전값 및 스케일 값을 조절하여 환자를 촬영한 영상 위에 3D 영상을 정합시킬 수 있다.
즉, 의료정보 시각화 시스템(100)은 환자를 촬영한 각도에 따라 달라지는 랜드마크 구조물과의 거리를 측정하고, 3D 영상에 대한 회전값 및 스케일 값을 조절하여 촬영된 각도에 따라 달라지는 3D 영상의 위치를 정합시킨다.
다음으로, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 촬영 영상 위에 증강현실 형태로 정합된 3D 영상을 증강현실 디바이스(400)를 통해 표시한다(S450).
이때, 의료정보 시각화 시스템(100)은 증강현실 디바이스(400)를 통해 카테터가 신체 내부로 삽관될 위치를 환자의 신체 상에 증강하여 표시할 수 있다.
예를 들어, 도 7과 같이, 의료정보 시각화 시스템(100)은 증강현실 디바이스(400)를 통해 환자를 촬영한 영상 위에 증강현실 형태로 정합된 심방 또는 심실과 연결되는 혈관을 포함하는 3D 영상을 표시한다.
여기에, 의료정보 시각화 시스템(100)은 카테터 삽관의 현재 위치를 환자의 신체 상에 더 증강하여 표시할 수 있다.
그리고, 환자의 신체 내부에 카테터를 삽관하면, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 카테터의 눈금을 기준으로 삽관된 카테터의 삽관 길이를 비전 카메라(300)를 통해 측정하여 3차원 좌표로 변환한다(S460).
이때, 의료정보 시각화 시스템(100)은 환자의 신체 내부에 삽관되는 카테터의 삽관 길이를 실시간으로 측정하여 3차원 좌표로 변환한다.
도 8은 도 4의 S460 단계 및 S470 단계를 설명하기 위한 도면이다.
도 8에 도시한 바와 같이, 의료정보 시각화 시스템(100)은 비전 카메라(300)를 통해 환자의 신체 내부에 삽관되는 카테터의 길이를 측정하여 3차원 좌표로 변환한다.
그리고, 카테터가 기 설정된 길이까지 삽관되는 경우, 의료정보 시각화 시스템(100)은 의료진에게 시각 또는 청각을 이용하여 알람을 제공한다.
예를 들어, 카테터 삽관될 위치부터 목표 지점까지의 거리가 30cm라고 가정한다.
그러면, 삽관된 카테터의 길이가 30cm에 도달하는 경우, 카테터가 해당 목표 지점까지 삽관된 것으로 볼 수 있으므로, 의료정보 시각화 시스템(100)은 시각 단서(Visual cue) 또는 오디오 소리(Audio sound) 등과 같은 알람을 디스플레이 또는 사운드로 제공할 수 있다.
다음으로, 의료정보 시각화 시스템(100)은 검출된 환자의 신체 내부에 삽관된 카테터의 길이만큼 삽관된 카테터의 현재 위치를 심방 또는 심실과 연결되는 혈관에 해당하는 3D 영상 위에 증강현실 형태로 표시할 수 있다(S470).
이때, 의료정보 시각화 시스템(100)은 S470 단계를 통해 변환된 3차원 좌표를 3D 랜더링 모델을 통해 시각화한다.
그러면, 의료정보 시각화 시스템(100)은 쇄골하정맥으로 삽관되어 상대정맥을 통해 심장으로 진입하는 동안의 카테터의 현재 위치를 증강현실 디바이스(400)를 통해 표시할 수 있다.
따라서, 의료진은 증강현실 디바이스(400)를 통해 표시된 환자를 촬영한 영상 위에 나타난 3D 영상을 확인하여 시술할 수 있다.
이와 같이 본 발명의 실시예에 따르면, 증강현실 형태로 제공된 3D 영상 및 카테터를 통해 환자에 삽관된 카테터의 위치를 추적할 수 있고, 시술자에게 증강현실 디바이스를 통해 카테터의 현재 위치를 제공함으로써, 정확한 의료 시술과 치료가 가능하다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
<부호의 설명>
100: 의료정보 시각화 시스템,
110: 입력부,
120: 3D 생성부,
130: 정합부,
140: 표시부,
200: 뎁스카메라
300: 비전 카메라,
400: 증강현실 디바이스

Claims (16)

  1. 증강현실 기반의 의료정보 시각화 시스템을 이용한 의료정보 시각화 방법에 있어서,
    대상이 되는 환자의 3차원 촬영 영상을 입력받는 단계,
    상기 입력된 3차원 촬영 영상으로부터 해부학적 구조물 및 복수의 랜드마크 구조물을 인식하여 해부학적 구조물 및 랜드마크 구조물을 3D 영상으로 추출하는 단계,
    상기 환자를 촬영한 영상의 랜드마크 구조물에 상기 3D 영상에 포함된 랜드마크 구조물의 위치를 정합시키는 단계,
    뎁스 카메라를 이용하여 상기 환자의 랜드마크 구조물의 주변 위치와의 거리를 측정하여 상기 3D 영상에 대한 회전값 및 스케일 값을 조절하여 상기 환자를 촬영한 영상 위에 상기 3D 영상을 정합시키는 단계, 그리고
    상기 촬영 영상 위에 증강현실 형태로 정합된 3D 영상을 증강현실 디바이스를 통해 시각화하는 단계를 포함하는 의료정보 시각화 방법.
  2. 제1항에 있어서,
    상기 증강현실 디바이스를 통해 시각화하는 단계는,
    상기 증강현실 디바이스를 통해 카테터가 신체 내부로 삽관될 위치를 환자의 신체 상에 증강하는 단계,
    상기 환자의 신체 내부에 카테터를 삽관하면, 카테터의 눈금을 기준으로 삽관된 카테터의 길이를 비전 카메라를 통해 검출하는 단계, 그리고
    상기 환자의 신체 내부에 삽관된 카테터의 현재 위치를 상기 해부학적 구조물에 해당하는 3D 영상 위에 증강현실 형태로 시각화하는 단계를 더 포함하는 의료정보 시각화 방법.
  3. 제2항에 있어서,
    상기 3차원 좌표로 변환하는 단계는,
    상기 삽관된 카테터의 삽관 길이가 기 설정된 목표 길이에 도달하는 경우, 시각 또는 청각을 이용하여 알람을 제공하는 의료정보 시각화 방법.
  4. 제2항에 있어서,
    상기 카테터는 히크만카테터 또는 중심정맥 카테터인 의료정보 시각화 방법.
  5. 제1항에 있어서,
    상기 해부학적 구조물은,
    심방 또는 심실과 연결되는 혈관을 포함하는 의료정보 시각화 방법.
  6. 제1항에 있어서,
    상기 랜드마크 구조물은,
    좌우측 쇄골, 좌우측 유두, 골반뼈, 배꼽 중에서 적어도 하나를 포함하는 의료정보 시각화 방법.
  7. 제6항에 있어서,
    상기 랜드마크 구조물이 좌우측 쇄골 또는 유두인 경우,
    상기 랜드마크 구조물의 주변 위치는 좌측 쇄골 또는 유두와 우측 쇄골 또는 유두 사이의 중심에 해당하는 의료정보 시각화 방법.
  8. 제1항에 있어서,
    상기 증강현실 디바이스는,
    안경 형태의 HMD(Head Mounted Display) 또는 모바일 기기 또는 PC 형태로 구현되는 의료정보 시각화 방법.
  9. 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템에 있어서,
    대상이 되는 환자의 3차원 촬영 영상을 입력받는 입력부,
    상기 입력된 3차원 촬영 영상으로부터 해부학적 구조물 및 복수의 랜드마크 구조물을 인식하여 해부학적 구조물 및 랜드마크 구조물을 3D 영상으로 추출하는 3D 생성부,
    상기 환자를 촬영한 영상의 랜드마크 구조물에 상기 3D 영상에 포함된 랜드마크 구조물의 위치를 정합시키고, 뎁스 카메라를 이용하여 상기 환자의 랜드마크 구조물의 주변 위치와의 거리를 측정하여 상기 3D 영상에 대한 회전값 및 스케일 값을 조절하여 상기 환자를 촬영한 영상 위에 상기 3D 영상을 정합시키는 정합부, 그리고
    상기 촬영 영상 위에 증강현실 형태로 정합된 3D 영상을 증강현실 디바이스를 통해 시각화하는 표시부를 포함하는 의료정보 시각화 시스템.
  10. 제9항에 있어서,
    상기 표시부는,
    상기 증강현실 디바이스를 통해 카테터가 신체 내부로 삽관될 위치를 환자의 신체 상에 증강하고, 상기 환자의 신체 내부에 카테터를 삽관하면, 카테터의 눈금을 기준으로 삽관된 카테터의 길이를 비전 카메라를 통해 검출하며, 상기 환자의 신체 내부에 삽관된 카테터의 현재 위치를 상기 해부학적 구조물에 해당하는 3D 영상 위에 증강현실 형태로 시각화하는 의료정보 시각화 시스템.
  11. 제10항에 있어서,
    상기 표시부는,
    상기 삽관된 카테터의 삽관 길이가 기 설정된 목표 길이에 도달하는 경우, 시각 또는 청각을 이용하여 알람을 제공하는 의료정보 시각화 시스템.
  12. 제10항에 있어서,
    상기 카테터는 히크만카테터 또는 중심정맥 카테터인 의료정보 시각화 시스템.
  13. 제9항에 있어서,
    상기 해부학적 구조물은,
    심방 또는 심실과 연결되는 혈관을 포함하는 의료정보 시각화 시스템.
  14. 제9항에 있어서,
    상기 랜드마크 구조물은,
    좌우측 쇄골, 좌우측 유두, 골반뼈, 배꼽 중에서 적어도 하나를 포함하는 의료정보 시각화 시스템.
  15. 제14항에 있어서,
    상기 랜드마크 구조물이 좌우측 쇄골 또는 유두인 경우,
    상기 랜드마크 구조물의 주변 위치는 좌측 쇄골 또는 유두와 우측 쇄골 또는 유두 사이의 중심에 해당하는 의료정보 시각화 시스템.
  16. 제9항에 있어서,
    상기 증강현실 디바이스는,
    안경 형태의 HMD(Head Mounted Display) 또는 모바일 기기 또는 PC 형태로 구현되는 의료정보 시각화 시스템.
PCT/KR2021/019928 2021-04-22 2021-12-27 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법 WO2022225132A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0052064 2021-04-22
KR20210052064 2021-04-22
KR1020210174561A KR102694309B1 (ko) 2021-04-22 2021-12-08 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법
KR10-2021-0174561 2021-12-08

Publications (1)

Publication Number Publication Date
WO2022225132A1 true WO2022225132A1 (ko) 2022-10-27

Family

ID=83722874

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/019928 WO2022225132A1 (ko) 2021-04-22 2021-12-27 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법

Country Status (1)

Country Link
WO (1) WO2022225132A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150024982A (ko) * 2013-08-27 2015-03-10 인하대학교 산학협력단 무릎뼈의 3차원 좌표 시스템 구축 장치 및 방법
KR20180005684A (ko) * 2015-05-07 2018-01-16 지멘스 악티엔게젤샤프트 해부학적 모델 증강을 통한 복강경 수술 절차들의 안내를 위한 시스템 및 방법
KR20190096575A (ko) * 2018-02-09 2019-08-20 고려대학교 산학협력단 의료 영상 시스템
KR20190138799A (ko) * 2017-03-30 2019-12-16 노바라드 코포레이션 3차원 데이터로 피험자의 실시간 뷰
US20200375546A1 (en) * 2019-06-03 2020-12-03 General Electric Company Machine-guided imaging techniques

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150024982A (ko) * 2013-08-27 2015-03-10 인하대학교 산학협력단 무릎뼈의 3차원 좌표 시스템 구축 장치 및 방법
KR20180005684A (ko) * 2015-05-07 2018-01-16 지멘스 악티엔게젤샤프트 해부학적 모델 증강을 통한 복강경 수술 절차들의 안내를 위한 시스템 및 방법
KR20190138799A (ko) * 2017-03-30 2019-12-16 노바라드 코포레이션 3차원 데이터로 피험자의 실시간 뷰
KR20190096575A (ko) * 2018-02-09 2019-08-20 고려대학교 산학협력단 의료 영상 시스템
US20200375546A1 (en) * 2019-06-03 2020-12-03 General Electric Company Machine-guided imaging techniques

Similar Documents

Publication Publication Date Title
WO2016195401A1 (ko) 증강현실을 이용한 외과 수술용 3d 안경 시스템
TWI741359B (zh) 與手術導航系統整合之混合實境系統
CN110769740B (zh) 将诊断测试集成到实时治疗中的通用设备和方法
WO2018056544A1 (ko) 치과 수술용 증강현실 시스템 및 구현방법
US5912720A (en) Technique for creating an ophthalmic augmented reality environment
WO2018174419A1 (ko) 3차원 경혈 매핑 장치 및 방법
CN111821024B (zh) 手术导航系统及其成像方法
WO2022035110A1 (ko) 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
WO2011122032A1 (ja) 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
WO2019132427A1 (ko) 레이저 표적 투영장치 및 그 제어방법, 레이저 표적 투영장치를 포함하는 레이저 수술 유도 시스템
CN107182200B (zh) 微创手术导航系统
CN107049489B (zh) 一种手术导航方法及系统
KR20150019311A (ko) 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
WO2021045546A2 (ko) 로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템
CN108806776A (zh) 一种基于深度学习的多模态医学影像的方法
WO2012033739A2 (en) Surgical and medical instrument tracking using a depth-sensing device
WO2017171295A1 (ko) 환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 증강현실 제공방법
WO2019132244A1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
WO2010128818A2 (ko) 의료영상 처리 시스템 및 처리 방법
WO2022225132A1 (ko) 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법
WO2021162287A1 (ko) 수술 대상체의 정합 확인방법, 그 장치 및 이를 포함하는 시스템
WO2024058497A1 (ko) 초음파 뇌 치료를 위한 치료정보 표시방법
WO2024035138A1 (ko) 생체활성징후 측정 장치
WO2019132166A1 (ko) 수술보조 영상 표시방법 및 프로그램
KR102694309B1 (ko) 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21938048

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21938048

Country of ref document: EP

Kind code of ref document: A1