WO2022158697A1 - 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템 - Google Patents

표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템 Download PDF

Info

Publication number
WO2022158697A1
WO2022158697A1 PCT/KR2021/017598 KR2021017598W WO2022158697A1 WO 2022158697 A1 WO2022158697 A1 WO 2022158697A1 KR 2021017598 W KR2021017598 W KR 2021017598W WO 2022158697 A1 WO2022158697 A1 WO 2022158697A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
patient
optical camera
depth optical
rgb depth
Prior art date
Application number
PCT/KR2021/017598
Other languages
English (en)
French (fr)
Inventor
손문준
문치웅
김광현
이행화
Original Assignee
인제대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인제대학교 산학협력단 filed Critical 인제대학교 산학협력단
Publication of WO2022158697A1 publication Critical patent/WO2022158697A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/04—Positioning of patients; Tiltable beds or the like
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/04—Positioning of patients; Tiltable beds or the like
    • A61B6/0492—Positioning of patients; Tiltable beds or the like using markers or indicia for aiding patient positioning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/488—Diagnostic techniques involving pre-scan acquisition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]

Definitions

  • the present invention relates to a patient positioning and monitoring system based on surface image guidance.
  • Each imaging technique may provide good detailed images for some tissue types and/or tissue functions, but may provide poor images for other tissue types and/or functions.
  • CT imaging techniques may differ, for example, in terms of differences in image artifacts, intensity levels, and/or spatial shapes.
  • the difference may be due to the physical process involved in the image formation of each technique.
  • a CT image is acquired by reconstructing an image acquired by a detector by irradiating X-rays with a system structure that rotates 360 degrees.
  • the image When the treatment of the patient is determined from the diagnostic image, the image must be acquired in the treatment room or operating room in order to determine the operation and treatment site for the location of the patient's treatment lesion according to the surgical plan in the treatment room and operating room.
  • a real-time imaging system for confirming a patient's posture is required for location confirmation in a treatment room or an operating room.
  • An object of the present invention is to provide a system for aligning and monitoring a patient's position based on surface image guidance.
  • the present invention provides a first RGB depth optical camera positioned toward the table side on which the patient can lie down and imaging the right body of the patient, and a second RGB depth camera positioned toward the table on which the patient can lie down and imaging the left body of the patient.
  • An optical camera a central RGB depth optical camera positioned toward a table on which the patient can lie down and imaging the front body of the patient, the first RGB depth optical camera as three cameras, the second RGB depth optical camera, and the central RGB depth
  • a central server that collects 3D data of a patient based on the captured information in conjunction with an optical camera, acquires data points having x, y, and z coordinates in 3D space, and then obtains a reference 3D image of the patient , the central server compares the reference 3D image with the 3D image of the patient obtained through imaging to determine whether the image is the same.
  • 3D scanning of the patient's shape is performed using the three first RGB depth optical cameras, the second RGB depth optical camera, and the central RGB depth optical camera, and using them to scan the patient's body.
  • the effect of helping to always align in the same position and area is realized when aligning.
  • FIG 1 is an overall configuration diagram of the present inventors' surface image guidance-based patient position alignment and monitoring system
  • FIG. 2 is a view showing a state displayed on a separate display unit by matching a three-dimensional body surface image of a patient with a CT image of the patient;
  • FIG. 5 is a state diagram in which the first RGB depth optical camera, the second RGB depth optical camera, and the central RGB depth optical camera, which are components of the present invention, are actually installed;
  • FIG. 6 is a photograph showing a scene of imaging a phantom in an operating room and a treatment room using the present invention
  • FIG. 7 is a photograph showing a phantom developed so that the present invention can be used.
  • FIG. 11 is a view for explaining a process of setting a table, which is a component of the present invention.
  • 14 to 16 are diagrams for explaining the logic employed in the present invention to determine whether the stored 3D image and the reference 3D image are the same image within the set effective range by comparing the stored 3D image and the reference 3D image. It is a diagram showing a state displayed on the display unit in different colors depending on whether or not they match.
  • FIG. 17 is a diagram for explaining a case in which an initial registered surface image and a current position image are matched and a case in which they do not match
  • FIG. 18 shows a display screen for explaining a process in which a scan model is registered and stored.
  • 19 is a flowchart for explaining the acquisition of the distance and direction difference of points in the x, y, z three-axis direction as a transformation parallel value in comparison with the stored 3D image and the reference 3D image using the iterative closest algorithm.
  • 20 is a diagram illustrating an image obtained by obtaining patient information using three cameras, which are one component of the present invention.
  • 21 is a diagram for explaining downsampling applied to the present invention.
  • FIG. 1 is an overall configuration diagram of the present inventors' surface image guidance-based patient position alignment and monitoring system
  • FIG. 2 is a diagram showing a state displayed on a separate display unit by matching a patient's three-dimensional body surface image with a patient's CT image.
  • Figure 3 is a schematic technical schematic diagram of the present invention 1
  • Figure 4 is a schematic technical schematic diagram of the present invention 2
  • Figure 5 is a first RGB depth optical camera, a second RGB depth optical camera, which is one component of the present invention, the center A state diagram in which the RGB depth optical camera is actually installed
  • FIG. 6 is a photograph showing a scene of imaging a phantom in an operating room and a treatment room using the present invention
  • FIG. 7 is a photograph showing a phantom developed so that the present invention can be used
  • FIG. 8, 9, and 10 are pictures showing a kind of display screen or application UI in which the present invention can be implemented.
  • 13 is a diagram for explaining the matching and alignment guide
  • FIGS. 14 to 16 are comparisons between a stored 3D image and a reference 3D image to determine the logic employed in the present invention to determine whether it is the same image within a set effective range. It is a diagram showing the state displayed on the display unit in different colors depending on whether the stored 3D image is matched with the reference 3D image. 17 and 18 are diagrams attached to describe scan registration.
  • 19 is a flowchart for explaining the acquisition of the distance and direction difference of points in the x, y, z three-axis direction as a transformation parallel value in comparison with the stored 3D image and the reference 3D image using the iterative closest algorithm.
  • 20 is a diagram illustrating an image obtained by obtaining patient information using three cameras, which are one component of the present invention.
  • 21 is a diagram for explaining downsampling applied to the present invention.
  • the present invention is a first RGB depth optical camera that is positioned toward the table side on which the patient can lie and captures the right body of the patient, the patient A second RGB depth optical camera positioned toward the lying table side and imaging the left body of the patient, a central RGB depth optical camera positioned toward the table on which the patient can lie down and imaging the front body of the patient, the first RGB depth
  • the optical camera, the second RGB depth optical camera, and the central RGB depth optical camera are linked to collect 3D data of the patient based on the captured information, and data points having x, y, z coordinates in 3D space and a central server for obtaining a reference 3D image of the patient after the acquisition, wherein the central server compares the reference 3D image with the 3D image of the patient obtained through imaging to determine whether it is the same image.
  • FIG. 3 is a schematic technical schematic diagram 1 of the present invention
  • FIG. 4 is a schematic technical schematic diagram 2 of the present invention.
  • the present invention uses three first RGB depth optical cameras, the second RGB depth optical camera, and the central RGB depth optical camera to scan the patient's shape in 3D and use them to fix the patient's body. When aligning, it helps to always align in the same position.
  • three first RGB depth optical cameras, the second RGB depth optical camera, and the central RGB depth optical camera are used to visually confirm through the display unit. It will provide a form of technology that can be linked with CT Image (DICOM Data).
  • a 3D scanning process is performed using three first RGB depth optical cameras, the second RGB depth optical camera, and the central RGB depth optical camera.
  • Model the 3D object output it to the display unit, and update it frame by frame.
  • the configuration and position of the user's last updated 3D image and the reference 3D image are identified and The expression that distinguishes the difference from the stored reference 3D image information is performed in real time.
  • the reference 3D image and the patient's 3D image obtained through imaging are digitized and compared and displayed in real time (using Hausdorff distance).
  • CT DATA is output.
  • the central server acquires data points having x, y, and z coordinates of the three-dimensional space, and then performs image processing to obtain a 3D image of the patient's body.
  • the present invention further includes a separate display unit that can be checked by the user, and the display unit is characterized in that the 3D image of the patient's body and the CT image of the patient are matched and displayed to the user.
  • the first RGB depth optical camera, the second RGB depth optical camera, the central RGB depth optical camera, and the central server are characterized in that the reference 3D image is obtained by specifying the location of the patient to be modeled. .
  • the first RGB depth optical camera, the second RGB depth optical camera, and the central RGB depth optical camera sense the patient's depth, surface, and position, and then generate the 3D image and track it according to the patient's movement.
  • the central server stores the last updated 3D image, compares the stored 3D image with the reference 3D image, and determines whether the image is the same within a set effective range (within ⁇ 1 mm) characterized in that
  • a so-called initialization step is performed.
  • the depth, surface, and position of the patient are received and generated as a 3D model, and the 3D model is stored in the patient information ( Steps to create a saved 3D image)
  • a so-called alignment guide step is then performed.
  • the depth, surface, and position of the patient are received and generated as a 3D model, and a 3D model is generated through an image processing process. .
  • the image processing process combines each surface image obtained from the first RGB depth optical camera, the second RGB depth optical camera, and the central RGB depth optical camera with the left and right images from the central image obtained from the central RGB depth optical camera to form one image. It is a process of integrating
  • the coordinates of the central image and the left image or the right image are the same based on the specific three-dimensional coordinates x, y, and z coordinates, it is regarded as the same point, and for coordinates with different positions, Based on the image coordinates obtained from the central RGB depth optical camera, the coordinates x', y', z' coordinates of the new integrated image are generated through rotation (R) and movement (T) matrix transformation for coordinates with different positions. .
  • the 3D model created in this way is saved in the patient information. (Step of creating the saved 3D image)
  • a so-called alignment guide step is then performed.
  • the patient's depth, surface, and position are received and created as a 3D model, followed by tracking and updating according to the patient's movement. (Step of creating and saving the final updated 3D image)
  • the stored 3D image and the last updated 3D image are compared to check whether they can be viewed as the same image within the set effective range, and adjustments and completions are made accordingly.
  • FIG. 5 is a state diagram in which the first RGB depth optical camera, the second RGB depth optical camera, and the central RGB depth optical camera, which are one component of the present invention, are actually installed
  • FIG. 6 is an operating room and a treatment room using the present invention.
  • FIG. 7 is a photograph showing a phantom developed so that the present invention can be used.
  • Point Clouds convert TL, TR Matrix by left and right cameras (first RGB depth optical camera, second RGB depth optical camera) to Top Camera (center RGB depth optical camera), 3 Cameras (the first RGB depth optical camera, the second RGB depth optical camera, and the central RGB depth optical camera) are merged into one value.
  • the core of the alignment guide is rotation and movement for the formation of images obtained from three cameras through 3D model detection of the patient by the first RGB depth optical camera, the second RGB depth optical camera, and the central RGB depth optical camera. It will become an integrated user interface that displays image processing algorithms, images, and patient information.
  • the central server which is one component of the present invention, acquires data points having x, y, and z coordinates in a three-dimensional space, and then performs an image processing process to obtain a 3D image of the patient's body, but the image processing process includes It is characterized in that the surface images respectively captured from the first RGB depth optical camera, the second RGB depth optical camera and the central RGB depth optical camera are integrated into one image.
  • the downsampling logic for image reduction is performed in order to prevent the speed of the processing process from being delayed
  • the matrix for performing the downsampling logic is characterized in that it proceeds as follows.
  • FIGS. 8, 9, and 10 are pictures showing a kind of display screen or application UI in which the present invention can be implemented
  • FIG. 11 is a view for explaining a process of setting a table, which is one component of the present invention. and the detailed description thereof is replaced with drawings.
  • FIGS. 12 and 13 are diagrams for explaining the matching and alignment guide
  • FIGS. 14 to 16 are in the present invention to determine whether the stored 3D image and the reference 3D image are the same image within the set effective range.
  • FIG. 17 is a diagram for explaining a case in which an initial registered surface image and a current position image are matched and a case in which they do not match
  • FIG. 18 shows a display screen for explaining a process in which a scan model is registered and stored.
  • 19 is a flowchart for explaining the acquisition of the distance and direction difference of points in the x, y, z three-axis direction as a transformation parallel value in comparison with the stored 3D image and the reference 3D image using the iterative closest algorithm.
  • 20 is a diagram illustrating an image obtained by obtaining patient information using three cameras, which are one component of the present invention.
  • 21 is a diagram for explaining downsampling applied to the present invention.
  • Storing the last updated 3D image and comparing the stored 3D image with the reference 3D image to determine whether the image is the same within a set effective range is characterized in that it is implemented by the following formula.
  • the Hausdorff distance expression and the iterative closest algorithm are implemented. Characterized in that.
  • the Iterative closest algorithm obtains the distance and direction difference of the points in the x, y, z three-axis direction as a transformation parallel value by comparing the 3D image and the reference 3D image stored in the same order as in FIG. 19 .
  • the set effective range should be within the effective range ( ⁇ 1 mm) based on the 3D image in which the image is stored according to AAPM TG40.
  • the distance difference for a point in space is expressed as one average distance for the x, y, and z coordinates.
  • Hausdorff distance is defined, the Hausdorff distance is the maximum deviation between the two models, the point where two sets of points in space (each A and each B) are closest to each other in distance, and the initial point A and the moved point A are each other in distance. By maximizing, it measures how separated they are from each other, given two non-empty sets of cloud points A and B, then the Hausdorff distance between A and B is defined as H(A,B))
  • the last updated 3D image is stored, and the stored 3D image is compared with the reference 3D image, and when it falls within or does not belong to a set effective range, it is characterized in that it is displayed on the display unit in a separate color, which is shown in Figs. It is shown in FIG. 16 .

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Alarm Systems (AREA)

Abstract

표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템이 개시된다. 이를 위해 본 발명은 환자가 누울 수 있는 테이블 측을 향해 위치하고 환자의 우측 체부를 촬상하는 제1 RGB 깊이 광학카메라, 환자가 누울 수 있는 테이블 측을 향해 위치하고 환자의 좌측 체부를 촬상하는 제2 RGB 깊이 광학카메라, 환자가 누울 수 있는 테이블 측을 향해 위치하고 환자의 정면 체부를 촬상하는 중앙 RGB 깊이 광학카메라, 3대의 카메라인 상기 제1 RGB 깊이 광학카메라, 상기 제2 RGB 깊이 광학카메라, 상기 중앙 RGB 깊이 광학카메라와 연동되어 촬상된 정보를 기초로 환자의 3차원 데이터를 수집하고, 3차원 공간의 x,y,z 좌표를 갖는 데이터 포인트를 획득한 뒤 환자의 기준3D이미지를 얻는 중앙서버를 포함하되, 상기 중앙서버는 상기 기준3D이미지와 촬상을 통해 얻는 환자의 3D이미지를 비교하여 동일한 이미지인지 판단하는 것을 특징으로 한다.

Description

표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템
본 발명은 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템에 관한 것이다.
환자를 검사할 때 의사는 여러 가지 영상 기법을 사용할 수 있다. 각 영상 기법은 일부 조직 타입 및/또는 조직 기능에 대하여는 우수한 세부적인 영상을 제공할 수 있으나, 다른 조직 타입 및/또는 기능에 대해서는 열악한 영상을 제공할 수 있다.
그러므로, 종합적인 임상 화면을 얻기 위해서는 여러 다양한 기법들이 사용될 수 있다.
CT 영상 기법은 예를 들면, 영상 아티팩트(artifact), 강도(intensity) 레벨 및/또는 공간적 형상의 차이의 면에서 다를 수 있다.
상기 차이는 각각의 기법의 영상 형성에 관한 물리적 과정에 기인할 수 있다.
CT 영상은 360도를 회전하는 시스템 구조로 X-선을 조사하여 검출기로 획득한 영상을 재구성하여 획득하게 된다.
이러한 진단 영상으로부터 환자의 치료를 결정하게 되면, 치료실 및 수술실에서 수술 계획에 따른 환자의 치료 병변 위치에 대한 수술 및 치료 부위를 확정하기 위하여, 치료실 또는 수술실 내에서 영상을 획득하여야 한다.
이에 치료실 또는 수술실 내에서 위치 확인을 위하여서 환자의 자세를 확인하기 위한 실시간 영상 시스템을 필요로 한다.
이러한 치료실 내 환자의 위치를 확인하기 위한 영상화 기법을 이용하여, 환자 정보를 혼합하고 치료 과정의 진단, 후속 조치 및 시각화를 더 잘 하기 위해 치료실 내에서 환자 위치의 확인을 위한 이미징 시스템의 개발을 위한 다양한 시도가 되어왔다.
그러나, 각 기법의 영상 정보와 관련 있는 물리학적 요소에 기인한 영상 아티팩트, 강도 차이 및 공간적 형상의 차이와 같은 기법의 차이는 표준 의료 영상과의 정합을 어렵게 만들었다.
본 발명은 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템을 제공함에 그 목적이 있다.
표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템이 개시된다.
이를 위해 본 발명은 환자가 누울 수 있는 테이블 측을 향해 위치하고 환자의 우측 체부를 촬상하는 제1 RGB 깊이 광학카메라, 환자가 누울 수 있는 테이블 측을 향해 위치하고 환자의 좌측 체부를 촬상하는 제2 RGB 깊이 광학카메라, 환자가 누울 수 있는 테이블 측을 향해 위치하고 환자의 정면 체부를 촬상하는 중앙 RGB 깊이 광학카메라, 3대의 카메라인 상기 제1 RGB 깊이 광학카메라, 상기 제2 RGB 깊이 광학카메라, 상기 중앙 RGB 깊이 광학카메라와 연동되어 촬상된 정보를 기초로 환자의 3차원 데이터를 수집하고, 3차원 공간의 x,y,z 좌표를 갖는 데이터 포인트를 획득한 뒤 환자의 기준3D이미지를 얻는 중앙서버를 포함하되, 상기 중앙서버는 상기 기준3D이미지와 촬상을 통해 얻는 환자의 3D이미지를 비교하여 동일한 이미지인지 판단하는 것을 특징으로 한다.
상기와 같은 구성으로 이루어진 본 발명에 의한다면 3개의 제1 RGB 깊이 광학카메라, 제2 RGB 깊이 광학카메라, 중앙 RGB 깊이 광학카메라를 활용하여 환자의 형태를 3D로 Scanning하고 이를 활용하여 환자의 몸을 고정시켜 정렬시 항상 동일한 위치, 부위에 정렬 할 수 있게 도와주는 효과가 구현된다.
또한, 본 발명에 의한다면 환자의 위치를 맞추는 의료 인력에 의한 휴먼 에러(Human error)를 최소화 하여 더욱 정확한 수술 및 치료가 되는 등의 다양한 효과가 구현된다.
도 1은 본 발명인 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템의 전체 구성도,
도 2는 환자의 3차원 체표면 영상과 환자의 CT 영상을 정합하여 별도의 디스플레이부에 표시되는 상태를 나타내는 도면,
도 3은 본 발명의 개략적인 기술 모식도 1,
도 4는 본 발명의 개략적인 기술 모식도 2,
도 5는 본 발명의 일 구성요소인 제1 RGB 깊이 광학카메라, 제2 RGB 깊이 광학카메라, 중앙 RGB 깊이 광학카메라가 실제 설치된 상태도,
도 6은 본 발명을 이용하여 수술실 및 치료실 내에서 팬텀을 영상화하는 장면을 나타내는 사진,
도 7은 본 발명이 이용될 수 있도록 개발된 팬텀을 나타내는 사진,
도 8, 도 9, 도 10은 본 발명이 구현될 수 있는 일종의 디스플레이부 화면 혹은 어플리케이션 UI를 나타내는 사진,
도 11은 본 발명의 일 구성요소인 테이블을 셋팅하는 과정을 설명하기 위한 도면,
도 12, 도 13은 매칭 여부 및 정렬가이드를 설명하기 위한 도면,
도 14 내지 도 16은 저장된 3D이미지와 기준3D이미지와 비교하여 설정된 유효 범주 내의 동일한 이미지인지를 판단하기 위해 본 발명에서 채용한 로직을 설명하기 위한 도면과 저장된 3D이미지와 기준3D이미지와 비교시 그 매칭 여부에 따라 서로 다른 색상으로 디스플레이부에 표시되는 상태를 나타내는 도면이다.
도 17 은 최초 등록 표면 영상과 현재 위치 영상을 일치시킨 경우와 불일치 된 경우를 설명하기 위한 도면이고, 도 18은 스캔 모델이 등록이 되고 저장되는 과정을 설명하기 위한 디스플레이 화면을 나타낸다.
도 19는 Iterative closest 알고리즘을 이용하여 저장된 3D이미지와 기준3D이미지와 비교하여 x,y,z 3축의 방향으로의 포인트의 거리 및 방향 차이를 변환 병렬 값으로 획득하는 것을 설명하기 위한 순서도이다.
도 20은 본 발명의 일 구성요소인 3대의 카메라를 이용해서 환자 정보를 얻은 이미지를 나타내는 도면이다.
도 21은 본 발명에 적용된 다운샘플링을 설명하기 위한 도면이다.
이하 첨부된 도면을 참조로 본 발명인 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템의 바람직한 실시예를 설명한다.
도 1은 본 발명인 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템의 전체 구성도, 도 2는 환자의 3차원 체표면 영상과 환자의 CT 영상을 정합하여 별도의 디스플레이부에 표시되는 상태를 나타내는 도면, 도 3은 본 발명의 개략적인 기술 모식도 1, 도 4는 본 발명의 개략적인 기술 모식도 2, 도 5는 본 발명의 일 구성요소인 제1 RGB 깊이 광학카메라, 제2 RGB 깊이 광학카메라, 중앙 RGB 깊이 광학카메라가 실제 설치된 상태도, 도 6은 본 발명을 이용하여 수술실 및 치료실 내에서 팬텀을 영상화하는 장면을 나타내는 사진, 도 7은 본 발명이 이용될 수 있도록 개발된 팬텀을 나타내는 사진, 도 8, 도 9, 도 10은 본 발명이 구현될 수 있는 일종의 디스플레이부 화면 혹은 어플리케이션 UI를 나타내는 사진, 도 11은 본 발명의 일 구성요소인 테이블을 셋팅하는 과정을 설명하기 위한 도면, 도 12, 도 13은 매칭 여부 및 정렬가이드를 설명하기 위한 도면, 도 14 내지 도 16은 저장된 3D이미지와 기준3D이미지와 비교하여 설정된 유효 범주 내의 동일한 이미지인지를 판단하기 위해 본 발명에서 채용한 로직을 설명하기 위한 도면과 저장된 3D이미지와 기준3D이미지와 비교시 그 매칭 여부에 따라 서로 다른 색상으로 디스플레이부에 표시되는 상태를 나타내는 도면이다. 도 17 및 도 18은 스캔등록을 설명하기 위해 첨부된 도면이다. 도 19는 Iterative closest 알고리즘을 이용하여 저장된 3D이미지와 기준3D이미지와 비교하여 x,y,z 3축의 방향으로의 포인트의 거리 및 방향 차이를 변환 병렬 값으로 획득하는 것을 설명하기 위한 순서도이다. 도 20은 본 발명의 일 구성요소인 3대의 카메라를 이용해서 환자 정보를 얻은 이미지를 나타내는 도면이다. 도 21은 본 발명에 적용된 다운샘플링을 설명하기 위한 도면이다.
이하 도 1 내지 도 21을 참조로 본 발명을 구체적으로 설명하면 다음과 같다.
도 1 내지 도 2에 본 발명의 전체 구성도가 개시되어 있으며, 도시된 바와 같이 본 발명은 환자가 누울 수 있는 테이블 측을 향해 위치하고 환자의 우측 체부를 촬상하는 제1 RGB 깊이 광학카메라, 환자가 누울 수 있는 테이블 측을 향해 위치하고 환자의 좌측 체부를 촬상하는 제2 RGB 깊이 광학카메라, 환자가 누울 수 있는 테이블 측을 향해 위치하고 환자의 정면 체부를 촬상하는 중앙 RGB 깊이 광학카메라, 상기 제1 RGB 깊이 광학카메라, 상기 제2 RGB 깊이 광학카메라, 상기 중앙 RGB 깊이 광학카메라와 연동되어 촬상된 정보를 기초로 환자의 3차원 데이터를 수집하고, 3차원 공간의 x,y,z 좌표를 갖는 데이터 포인트를 획득한 뒤 환자의 기준3D이미지를 얻는 중앙서버를 포함하되, 상기 중앙서버는 상기 기준3D이미지와 촬상을 통해 얻는 환자의 3D이미지를 비교하여 동일한 이미지인지 판단하는 것을 특징으로 한다.
도 3은 이러한 본 발명의 개략적인 기술 모식도 1이고, 도 4는 본 발명의 개략적인 기술 모식도 2이다.
상기의 구성으로 본 발명은 3개의 제1 RGB 깊이 광학카메라, 상기 제2 RGB 깊이 광학카메라, 상기 중앙 RGB 깊이 광학카메라를 활용하여 환자의 형태를 3D로 Scanning하고 이를 활용하여 환자의 몸을 고정시켜 정렬시 항상 동일한 위치에 부위에 정렬 할 수 있게 도와준다.
더 나아가 종래의 7개의 광학식 Marker를 사용하는 방식에 추가하여 3개의 제1 RGB 깊이 광학카메라, 상기 제2 RGB 깊이 광학카메라, 상기 중앙 RGB 깊이 광학카메라를 이용하여 디스플레이부를 통하여 시각적으로 확인이 가능하게 하며 CT Image(DICOM Data)와의 연동이 가능한 형태의 기술을 제공하게 된다.
먼저 3개의 제1 RGB 깊이 광학카메라, 상기 제2 RGB 깊이 광학카메라, 상기 중앙 RGB 깊이 광학카메라를 이용하여 3D 스캐닝 과정이 수행된다.
환자의 위치와 대상을 3D화하여 modeling을 위한 데이터를 구성하는 단계로,
3D화한 대상을 Modeling하여 디스플레이부에 출력시키고 프레임 단위로 갱신한다.
그 다음으로, 저장과 정합 여부를 수행하는 단계가 수행된다.
환자의 기준이 되는 기준3D이미지의 구성과 위치를 저장하여 환자의 정보를 획득한다.
그 후 다시 환자가 3개의 제1 RGB 깊이 광학카메라, 상기 제2 RGB 깊이 광학카메라, 상기 중앙 RGB 깊이 광학카메라 내에 노출되었을시 사용자의 최종 갱신된 3D이미지와 기준3D이미지의 구성과 위치를 파악하고 저장된 기준3D이미지의 정보와의 차이점을 구분 짓는 표현을 실시간으로 수행한다.(기준3D이미지와 촬상을 통해 얻는 환자의 3D이미지를 비교하여 동일한 이미지인지 판단하는 단계)
이를 위해 기준3D이미지와 촬상을 통해 얻는 환자의 3D이미지를 비교시 수치화 하여 실시간으로 비교 및 표시한다.(Hausdorff distance 이용)
그 다음으로 CT DATA를 출력하게 된다.
실시간으로 생성된 환자의 표면 데이터(포인트 클라우드) 위에 CT 이미지를 정렬시켜 화면상에 리얼타임 3D 데이터를 출력하고, 사용자가 원하는 위치의 CT 사진을 Align Guide 중 언제든 열람할 수 있도록 한다.
한편, 중앙서버는 상기 3차원 공간의 x,y,z 좌표를 갖는 데이터 포인트를 획득한 뒤 이미지 프로세싱 과정을 수행하여 환자의 체부 3D 이미지를 얻는 것을 특징으로 한다.
더 나아가 본 발명은 사용자가 확인할 수 있는 별도의 디스플레이부가 더 포함되는데, 상기 디스플레이부에는 상기 환자의 체부 3D 이미지와 환자의 CT 영상을 정합하여 사용자에게 디스플레이 해주는 것을 특징으로 한다.
기 설명한 바와 같이, 상기 제1 RGB 깊이 광학카메라, 상기 제2 RGB 깊이 광학카메라, 상기 중앙 RGB 깊이 광학카메라 및 상기 중앙서버는 모델링 대상인 환자의 위치를 지정하여 상기 기준3D이미지를 얻는 것을 특징으로 한다.
이때, 상기 제1 RGB 깊이 광학카메라, 상기 제2 RGB 깊이 광학카메라, 상기 중앙 RGB 깊이 광학카메라는 환자의 깊이, 표면, 위치를 센싱한 뒤 상기 3D이미지를 생성하고, 환자의 움직임에 따라 트래킹하여 실시간으로 상기 3D이미지를 갱신한 후, 상기 중앙서버는 최종 갱신된 3D이미지를 저장하고, 저장된 3D이미지와 상기 기준3D이미지와 비교하여 설정된 유효 범주 내(±1 mm 이내)의 동일한 이미지인지를 판단하는 것을 특징으로 한다.
상기와 같은 구성에 의한 단계를 보다 구체적으로 설명하면 다음과 같다.
일명 초기화하는 단계가 수행된다.
환자를 테이블에 눕힌다.
상기 제1 RGB 깊이 광학카메라, 상기 제2 RGB 깊이 광학카메라, 상기 중앙 RGB 깊이 광학카메라를 이용하여 환자의 깊이, 표면, 위치를 받아 3D Model로 생성시키고, 3D Model을 환자 정보에 저장한다.(저장된 3D 이미지 생성하는 단계)
그 다음으로 일명 정렬 가이드 단계가 수행된다.
환자를 테이블에 눕힌다.
상기 제1 RGB 깊이 광학카메라, 상기 제2 RGB 깊이 광학카메라, 상기 중앙 RGB 깊이 광학카메라를 이용하여 환자의 깊이, 표면, 위치를 받아 3D Model로 생성시키고, 이미지 프로세싱 과정을 거쳐서 3D 모델을 생성한다.
이미지 프로세싱 과정은 제 1 RGB 깊이 광학카메라, 제2 RGB 깊이 광학카메라, 중앙 RGB 깊이 광학카메라로부터 얻은 각각의 표면 영상을 중앙 RGB 깊이 광학카메라로부터 얻은 중앙 이미지로부터, 좌측 및 우측 영상과 합하여 한 개의 영상으로 통합하는 과정이다.
통합 영상을 만들 경우, 특정 3차원 좌표 x, y, z 좌표를 기준으로 중앙 이미지와 좌측 영상 또는 우측 영상에 대하여 해당 좌표의 위치가 같으면, 이를 동일 지점으로 간주하고, 위치가 다른 좌표에 대하여는, 중앙 RGB 깊이 광학카메라로부터 얻은 이미지 좌표를 기준으로 위치가 다른 좌표에 대하여, 회전(R)과 이동(T) 행렬변환을 통하여, 새로운 통합 이미지의 좌표 x', y', z' 좌표를 생성한다. 이렇게 생성된 3D Model을 환자 정보에 저장한다.(저장된 3D 이미지 생성하는 단계)
그 다음으로 일명 정렬 가이드 단계가 수행된다.
환자를 테이블에 눕힌다.
상기 제1 RGB 깊이 광학카메라, 상기 제2 RGB 깊이 광학카메라, 상기 중앙 RGB 깊이 광학카메라를 이용하여 환자의 깊이, 표면, 위치를 받아 3D Model로 생성시키고, 환자의 움직임에 따라 Tracking하여 갱신 시킨다.(최종 갱신된 3D이미지 생성 및 저장하는 단계)
그 다음으로 저장된 3D 이미지와 최종 갱신된 3D이미지를 비교하여 설정된 유효 범위 내에 있어 동일한 이미지로 볼 수 있는지에 대해 체크하며, 그에 따라 조정 및 완료된다.
한편, 도 5는 본 발명의 일 구성요소인 제1 RGB 깊이 광학카메라, 제2 RGB 깊이 광학카메라, 중앙 RGB 깊이 광학카메라가 실제 설치된 상태도, 도 6은 본 발명을 이용하여 수술실 및 치료실 내에서 팬텀을 영상화하는 장면을 나타내는 사진, 도 7은 본 발명이 이용될 수 있도록 개발된 팬텀을 나타내는 사진이다.
도 5에 도시된 바와 같이, Point Clouds는 좌, 우 카메라(제1 RGB 깊이 광학카메라, 제2 RGB 깊이 광학카메라)에 의한 TL, TR Matrix을 Top Camera(중앙 RGB 깊이 광학카메라)에 변환, 3개의 Camera(제1 RGB 깊이 광학카메라, 제2 RGB 깊이 광학카메라, 중앙 RGB 깊이 광학카메라)는 하나의 값으로 병합된다.
결국, 정렬 가이드의 핵심은 제1 RGB 깊이 광학카메라, 제2 RGB 깊이 광학카메라, 중앙 RGB 깊이 광학카메라에 의한 환자의 3D Model detection을 통하여, 3가지 카메라로부터 획득한 영상의 형성을 위한 회전 및 이동등의 영상 처리 알고리즘, 영상을 표시하고 환자 정보를 디스플레이하여 주는 통합 유저 인터페이스가 되는 것이다.
본 발명의 일 구성요소인 중앙서버는 3차원 공간의 x,y,z 좌표를 갖는 데이터 포인트를 획득한 뒤 이미지 프로세싱 과정을 수행하여 환자의 체부 3D 이미지를 얻는 것을 특징으로 하되, 이미지 프로세싱 과정은 제1 RGB 깊이 광학카메라, 제2 RGB 깊이 광학카메라 및 중앙 RGB 깊이 광학카메라로 부터 각각 촬상된 표면 영상을 하나의 영상으로 통합하는 것을 특징으로 한다.
이때, 프로세싱 과정의 속도가 지연되는 것을 방지하기 위해 이미지 축소를 위한 다운샘플링 로직을 거치되, 다운샘플링 로직이 수행되기 위한 행렬은 하기의 식으로 진행되는 것을 특징으로 한다.
3차원 공간의 x, y, z 좌표를 기준으로 중앙 RGB 깊이 광학카메라로 촬상된 표면 영상 이미지와 제1 RGB 깊이 광학카메라와 제2 RGB 깊이 광학카메라에 의해 각각 촬상된 우측 표면 영상 이미지 또는 좌측 표면 영상 이미지에 대하여 해당 좌표의 위치가 같으면, 이를 동일 지점으로 간주하고, 위치가 다른 좌표에 대하여는, 중앙 RGB 깊이 광학카메라로부터 얻은 표면 영상 이미지 좌표를 기준으로 위치가 다른 좌표에 대하여, 하기의 회전(R)과 이동(T) 행렬변환을 통하여, 통합된 영상 이미지의 좌표 x', y', z' 생성하는 것을 특징으로 한다.
Figure PCTKR2021017598-appb-img-000001
한편, 도 8, 도 9, 도 10은 본 발명이 구현될 수 있는 일종의 디스플레이부 화면 혹은 어플리케이션 UI를 나타내는 사진이고, 도 11은 본 발명의 일 구성요소인 테이블을 셋팅하는 과정을 설명하기 위한 도면이며, 그 구체적인 설명은 도면으로 대체한다.
다만, 도 11에서 각 Marker와 지정된 위치가 명확히 일치 했을 때와 그렇지 않을 때를 다음과 같이 표시된다.
[표 1]
Figure PCTKR2021017598-appb-img-000002
한편, 도 12, 도 13은 매칭 여부 및 정렬가이드를 설명하기 위한 도면이고, 도 14 내지 도 16은 저장된 3D이미지와 기준3D이미지와 비교하여 설정된 유효 범주 내의 동일한 이미지인지를 판단하기 위해 본 발명에서 채용한 로직을 설명하기 위한 도면과 저장된 3D이미지와 기준3D이미지와 비교시 그 매칭 여부에 따라 서로 다른 색상으로 디스플레이부에 표시되는 상태를 나타내는 도면이다.
도 17 은 최초 등록 표면 영상과 현재 위치 영상을 일치시킨 경우와 불일치 된 경우를 설명하기 위한 도면이고, 도 18은 스캔 모델이 등록이 되고 저장되는 과정을 설명하기 위한 디스플레이 화면을 나타낸다.
도 19는 Iterative closest 알고리즘을 이용하여 저장된 3D이미지와 기준3D이미지와 비교하여 x,y,z 3축의 방향으로의 포인트의 거리 및 방향 차이를 변환 병렬 값으로 획득하는 것을 설명하기 위한 순서도이다.
도 20은 본 발명의 일 구성요소인 3대의 카메라를 이용해서 환자 정보를 얻은 이미지를 나타내는 도면이다.
도 21은 본 발명에 적용된 다운샘플링을 설명하기 위한 도면이다.
최종 갱신된 3D이미지를 저장하고, 저장된 3D이미지와 상기 기준3D이미지와 비교하여 설정된 유효 범주 내의 동일한 이미지인지를 판단하는 것은 하기의 식으로 구현되는 것을 특징으로 한다.
중앙서버에서 최종 갱신된 3D이미지를 저장하고, 저장된 3D이미지와 상기 기준3D이미지와 비교하여 설정된 유효 범주 내의 동일한 이미지인지를 판단하는 것은 하기 위해 Hausdorff distance 식과 iterative closest 알고리즘을 구현되는 것을 특징으로 한다.
이때, Iterative closest 알고리즘은 도 19와 같은 순서로 저장된 3D이미지와 기준3D이미지와 비교하여 x,y,z 3축의 방향으로의 포인트의 거리 및 방향 차이를 변환 병렬 값으로 획득한다.
설정된 유효범주는 AAPM TG40에 따라 재위치 오차는 상기 이미지가 저장된 3D 이미지를 기준으로 유효범위(±1 mm) 이내에 포함 되어야 한다.
이때, 두 지점의 거리차가 0에 가까울수록 두가지의 물체가 근접하여 일치되고 있는 것으로 판단하여 이를 가장 근접한 거리로 정의한다.
그리고 공간 상의 점에 대한 거리차는 x, y, z 좌표에 대한 한 개의 평균 거리로 표현된다.
Figure PCTKR2021017598-appb-img-000003
Figure PCTKR2021017598-appb-img-000004
Figure PCTKR2021017598-appb-img-000005
(Hausdorff distance 정의하고, Hausdorff 거리는 두 모델 간의 최대 편차이며, 공간상의 두 점 집합 (각 A와 각 B 점)이 거리상으로는 서로 최소에 근접한 지점이면서, 최초 A 지점과 이동한 A 지점은 거리상으로는 서로 최대가 됨으로써, 이들이 서로 얼마나 분리되어 있는지를 측정, 비어 있지 않은 두 개의 클라우드 포인트 세트 A와 B를 지정하면 A와 B 사이의 Hausdorff 거리는 H(A,B)로 정의)
이때, 최종 갱신된 3D이미지를 저장하고, 저장된 3D이미지와 상기 기준3D이미지와 비교하여 설정된 유효 범주 내에 속하는 경우와 속하지 않는 경우 별도의 색상으로 상기 디스플레이부에 표시하는 것을 특징으로 하는데 이는 도 15 내지 도 16에 도시되어 있다.
도 17 및 도 18은 스캔등록을 설명하기 위해 첨부된 도면이고, 구체적인 설명은 도면으로 대체한다.

Claims (8)

  1. 환자가 누울 수 있는 테이블 측을 향해 위치하고 환자의 우측 체부를 촬상하는 제1 RGB 깊이 광학카메라;
    환자가 누울 수 있는 테이블 측을 향해 위치하고 환자의 좌측 체부를 촬상하는 제2 RGB 깊이 광학카메라;
    환자가 누울 수 있는 테이블 측을 향해 위치하고 환자의 정면 체부를 촬상하는 중앙 RGB 깊이 광학카메라;
    3대의 카메라인 상기 제1 RGB 깊이 광학카메라, 상기 제2 RGB 깊이 광학카메라, 상기 중앙 RGB 깊이 광학카메라와 연동되어 촬상된 정보를 기초로 환자의 3차원 데이터를 수집하고, 3차원 공간의 x,y,z 좌표를 갖는 데이터 포인트를 획득한 뒤 환자의 기준3D이미지를 얻는 중앙서버;를 포함하되,
    상기 중앙서버는 상기 기준3D이미지와 촬상을 통해 얻는 환자의 3D이미지를 비교하여 동일한 이미지인지 판단하는 것을 특징으로 하는, 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템.
  2. 청구항 1에 있어서,
    상기 중앙서버는 상기 3차원 공간의 x,y,z 좌표를 갖는 데이터 포인트를 획득한 뒤 이미지 프로세싱 과정을 수행하여 환자의 체부 3D 이미지를 얻는 것을 특징으로 하되, 상기 이미지 프로세싱 과정은 상기 제1 RGB 깊이 광학카메라, 상기 제2 RGB 깊이 광학카메라 및 상기 중앙 RGB 깊이 광학카메라로 부터 각각 촬상된 표면 영상을 하나의 영상으로 통합하는 것을 특징으로 하는, 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템.
  3. 청구항 2에 있어서,
    상기 프로세싱 과정의 속도가 지연되는 것을 방지하기 위해 이미지 축소를 위한 다운샘플링 로직을 거치되, 상기 다운샘플링 로직이 수행되기 위한 행렬은 하기의 식으로 진행되는 것을 특징으로 하며,
    상기 3차원 공간의 x, y, z 좌표를 기준으로 상기 중앙 RGB 깊이 광학카메라로 촬상된 표면 영상 이미지와 상기 제1 RGB 깊이 광학카메라와 상기 제2 RGB 깊이 광학카메라에 의해 각각 촬상된 우측 표면 영상 이미지 또는 좌측 표면 영상 이미지에 대하여 해당 좌표의 위치가 같으면, 이를 동일 지점으로 간주하고, 위치가 다른 좌표에 대하여는, 상기 중앙 RGB 깊이 광학카메라로부터 얻은 표면 영상 이미지 좌표를 기준으로 위치가 다른 좌표에 대하여, 하기의 회전(R)과 이동(T) 행렬변환을 통하여, 통합된 영상 이미지의 좌표 x', y', z' 생성하는 것을 특징으로 하는, 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템.
    Figure PCTKR2021017598-appb-img-000006
  4. 청구항 3에 있어서,
    사용자가 확인할 수 있는 별도의 디스플레이부가 더 포함되고,
    상기 디스플레이부에는 환자의 체부 3D 이미지와 환자의 CT 영상을 정합하여 사용자에게 디스플레이 해주는 것을 특징으로 하는, 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템.
  5. 청구항 4에 있어서,
    상기 제1 RGB 깊이 광학카메라, 상기 제2 RGB 깊이 광학카메라, 상기 중앙 RGB 깊이 광학카메라 및 상기 중앙서버는 영상화 대상인 환자의 위치를 지정하여 상기 기준3D이미지를 얻는 것을 특징으로 하는, 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템.
  6. 청구항 5에 있어서,
    상기 제1 RGB 깊이 광학카메라, 상기 제2 RGB 깊이 광학카메라, 상기 중앙 RGB 깊이 광학카메라는 환자의 깊이, 표면, 위치를 센싱한 뒤 상기 3D이미지를 생성하고, 환자의 움직임에 따라 트래킹하여 실시간으로 상기 3D이미지를 갱신한 후,
    상기 중앙서버는 최종 갱신된 3D이미지를 저장하고, 저장된 3D이미지와 상기 기준3D이미지와 비교하여 설정된 유효 범주 내의 동일한 이미지인지를 판단하는 것을 특징으로 하는, 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템.
  7. 청구항 6에 있어서,
    상기 중앙서버에서 최종 갱신된 3D이미지를 저장하고, 저장된 3D이미지와 상기 기준3D이미지와 비교하여 설정된 유효 범주 내의 동일한 이미지인지를 판단 하기 위해 Hausdorff distance 식과 iterative closest 알고리즘을 이용하는 것을 특징으로 하는, 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템.
    Figure PCTKR2021017598-appb-img-000007
    Figure PCTKR2021017598-appb-img-000008
    Figure PCTKR2021017598-appb-img-000009
    (Hausdorff distance 정의하고, Hausdorff 거리는 두 모델 간의 최대 편차이며, 두 점 집합이 서로 얼마나 떨어져 있는지를 측정, 비어 있지 않은 두 개의 클라우드 포인트 세트 A와 B를 지정하면 A와 B 사이의 Hausdorff 거리는 H(A,B)로 정의)
  8. 청구항 7에 있어서,
    상기 중앙서버는,
    최종 갱신된 3D이미지를 저장하고, 저장된 3D이미지와 상기 기준3D이미지와 비교하여 설정된 유효 범주 내에 속하는 경우와 속하지 않는 경우 별도의 색상으로 상기 디스플레이부에 표시하는 것을 특징으로 하는, 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템.
PCT/KR2021/017598 2021-01-25 2021-11-26 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템 WO2022158697A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210010303A KR102534981B1 (ko) 2021-01-25 2021-01-25 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템
KR10-2021-0010303 2021-01-25

Publications (1)

Publication Number Publication Date
WO2022158697A1 true WO2022158697A1 (ko) 2022-07-28

Family

ID=82549533

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/017598 WO2022158697A1 (ko) 2021-01-25 2021-11-26 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템

Country Status (2)

Country Link
KR (1) KR102534981B1 (ko)
WO (1) WO2022158697A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101337423B1 (ko) * 2012-09-18 2013-12-06 전남대학교산학협력단 깊이 정보와 움직임 정보를 이용한 움직임 객체 검출 및 추적방법
KR20140142037A (ko) * 2013-06-03 2014-12-11 삼성전자주식회사 포즈 추정 방법 및 장치
KR20160022576A (ko) * 2014-08-20 2016-03-02 한국전자통신연구원 알지비 센서 및 깊이 센서 기반 3차원 인체 관절 좌표 정합 장치 및 방법
KR20170015928A (ko) * 2014-05-23 2017-02-10 주식회사바텍 깊이 카메라를 이용한 의료영상 촬영장치 및 의료영상 보정방법
KR20200013984A (ko) * 2018-07-31 2020-02-10 서울대학교산학협력단 3d 영상 정합 제공 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101337423B1 (ko) * 2012-09-18 2013-12-06 전남대학교산학협력단 깊이 정보와 움직임 정보를 이용한 움직임 객체 검출 및 추적방법
KR20140142037A (ko) * 2013-06-03 2014-12-11 삼성전자주식회사 포즈 추정 방법 및 장치
KR20170015928A (ko) * 2014-05-23 2017-02-10 주식회사바텍 깊이 카메라를 이용한 의료영상 촬영장치 및 의료영상 보정방법
KR20160022576A (ko) * 2014-08-20 2016-03-02 한국전자통신연구원 알지비 센서 및 깊이 센서 기반 3차원 인체 관절 좌표 정합 장치 및 방법
KR20200013984A (ko) * 2018-07-31 2020-02-10 서울대학교산학협력단 3d 영상 정합 제공 장치 및 그 방법

Also Published As

Publication number Publication date
KR102534981B1 (ko) 2023-05-19
KR20220107546A (ko) 2022-08-02

Similar Documents

Publication Publication Date Title
WO2018056544A1 (ko) 치과 수술용 증강현실 시스템 및 구현방법
WO2016195401A1 (ko) 증강현실을 이용한 외과 수술용 3d 안경 시스템
WO2016108453A1 (ko) 치아 영상 자동 정합 방법, 이를 위한 장치 및 기록 매체
WO2016126056A1 (ko) 의료정보 제공 장치 및 의료정보 제공 방법
CN110956633B (zh) 一种基于虚拟立体定位像的快速ct扫描方法及系统
JP3910239B2 (ja) 医用画像合成装置
WO2017171295A1 (ko) 환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 증강현실 제공방법
WO2019132427A1 (ko) 레이저 표적 투영장치 및 그 제어방법, 레이저 표적 투영장치를 포함하는 레이저 수술 유도 시스템
CN107049489B (zh) 一种手术导航方法及系统
WO2016003258A1 (ko) 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법
US11915378B2 (en) Method and system for proposing and visualizing dental treatments
WO2015137741A1 (ko) 의료용 영상 시스템 및 이의 구동 방법
WO2020204424A2 (ko) 초음파 프로브를 활용한 형상 복원 장치 및 형상 복원 방법
WO2019045144A1 (ko) 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
WO2020149544A1 (ko) 영상 정복 기반 가상 내고정물 생성 방법 및 장치
WO2019132244A1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
WO2021206517A1 (ko) 수술 중 혈관 네비게이션 방법 및 시스템
WO2018030781A1 (ko) 3차원 데이터 정합 장치 및 방법
WO2023013805A1 (ko) 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법
WO2022158697A1 (ko) 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템
WO2024058497A1 (ko) 초음파 뇌 치료를 위한 치료정보 표시방법
CN109688403A (zh) 一种应用于手术室内的裸眼3d人眼追踪方法及其设备
WO2020209496A1 (ko) 치아 오브젝트 검출 방법 및 치아 오브젝트를 이용한 영상 정합 방법 및 장치
WO2022139068A1 (ko) 딥러닝 기반의 폐질환 진단 보조 시스템 및 딥러닝 기반의 폐질환 진단 보조 방법
CN114496197A (zh) 内窥镜图像注册系统和方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21921456

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21921456

Country of ref document: EP

Kind code of ref document: A1