WO2020027377A1 - 3d 영상 정합 제공 장치 및 그 방법 - Google Patents

3d 영상 정합 제공 장치 및 그 방법 Download PDF

Info

Publication number
WO2020027377A1
WO2020027377A1 PCT/KR2018/012472 KR2018012472W WO2020027377A1 WO 2020027377 A1 WO2020027377 A1 WO 2020027377A1 KR 2018012472 W KR2018012472 W KR 2018012472W WO 2020027377 A1 WO2020027377 A1 WO 2020027377A1
Authority
WO
WIPO (PCT)
Prior art keywords
matching
registration
data
image
landmark
Prior art date
Application number
PCT/KR2018/012472
Other languages
English (en)
French (fr)
Inventor
이원진
이상정
최민혁
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to EP18928471.4A priority Critical patent/EP3832599A4/en
Priority to US17/264,921 priority patent/US11468577B2/en
Publication of WO2020027377A1 publication Critical patent/WO2020027377A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10076—4D tomography; Time-sequential 3D tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • An apparatus and method for providing 3D image registration are provided.
  • MIS minimally invasive endoscopic surgery
  • an image guided surgical navigation system (navigation surgery) incorporating an endoscope and a three-dimensional positioning device has been steadily studied.
  • This imaging guided navigation system reduces the risk of surgery and improves position control accuracy, convenience and stability.
  • One embodiment of the present invention is to provide the matching of the position tracking device coordinate system and the patient image coordinate system during surgery in real time to automatically provide for use in the process of image guide surgery.
  • the 3D image registration providing apparatus obtains the 3D depth data of the portion to be matched with the matching body from the depth recognition camera, and 3 of the position tracking tool mounted on the matching body from the position tracking device.
  • a second matching unit configured to convert relative position information of a landmark previously stored on the basis of the three-dimensional coordinates of the location tracking tool, to match the camera reference three-dimensional coordinates of the landmark with the position information of the converted landmark, and And a third matching unit performing final matching by using the matching result performed by the first matching unit and the second matching unit.
  • the first matching unit extracts a portion of the 3D medical image acquired before surgery as 3D surface data, converts 3D depth data of the patient collected during surgery into 3D scan data, and then converts the 3D surface data into 3D scan data.
  • Surface registration can be performed.
  • the first matching unit performs surface matching using the SAC-IA algorithm to generate surface matching data, and applies the surface matching data and 3D surface data to the precision matching ICP algorithm to match the 3D medical image coordinate system and the depth recognition camera coordinate system. 1 Matching data can be generated.
  • the registration body may further include a storage unit equipped with a location tracking tool, a landmark having a color different from that of the registration body, and storing relative location information of the landmark measured based on the preoperative location tracking tool. .
  • the second matching unit may generate the location tracking device reference coordinates of the landmark by converting the relative position information of the landmark stored in advance based on the three-dimensional coordinates of the location tracking tool collected during the surgery.
  • the second matching unit extracts the color image of the matching body and the 3D depth data of the matching body from the image of the matching body, and extracts the landmark two-dimensional position and the 3D depth data of the matching body derived from different color information in the color image. Through the camera reference three-dimensional coordinates of the landmark can be derived.
  • the second matching unit may generate second registration data such that the depth recognition camera coordinate system and the location tracking device coordinate system are matched through point-to-point registration between the landmark location tracking device reference coordinate and the landmark camera reference 3D coordinate. have.
  • the third matching unit may match the first matching data and the second matching data to match the coordinate system of the 3D medical image with the coordinate system of the location tracking device.
  • the apparatus for providing 3D image registration may further include a reference tracking coordinate unit attaching a reference tracking tool to a part of the body of the patient during surgery and converting coordinates tracked by the location tracking device into a reference tracking tool coordinate system.
  • the third matching unit may convert the data on which the final matching is performed into the reference tracking tool coordinate system.
  • the 3D image matching providing apparatus obtains the image of the 3D depth data and the matching body of the portion to be matched from the depth recognition camera, the location tracking device Acquiring three-dimensional coordinates of a location tracking tool mounted on the registration body from the device; generating first registration data by performing registration of the 3D depth data and the 3D medical image of the pre-stored patient before surgery; and from the image of the registration body Extract camera reference 3D coordinates of the landmark attached to the registration body, convert relative position information of the pre-stored landmark based on the 3D coordinates of the location tracking tool, and convert the camera reference 3D coordinates of the landmark Generating second registration data by performing registration of the location information of the landmark, and first matching data with the second registration. Performing a final match using the data.
  • one embodiment of the present invention does not attach the registration body directly to the skin of the patient, cross infection between the patients caused by attaching the registration body to the skin can be minimized.
  • one embodiment of the present invention is not affected by the technical proficiency of a technician for 3D image matching because matching between 3D images is automatically performed in real time. Therefore, it is possible to obtain consistently high accuracy matching results by minimizing errors due to skill differences.
  • one embodiment of the present invention can reduce the overall operation time, and can improve the accuracy of the operation through the image guide.
  • FIG. 1 is a block diagram showing a 3D image registration providing system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an apparatus for providing 3D image registration according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a process of registering 3D images of the 3D image registration providing apparatus according to an embodiment of the present invention.
  • FIG. 4 is a view for explaining a process of performing matching of the first matching unit according to an exemplary embodiment of the present invention.
  • FIG 5 is a view for explaining a process of performing the matching of the second matching unit according to an embodiment of the present invention.
  • FIG. 6 is a view for explaining a process of applying a reference tracking tool coordinate system according to an embodiment of the present invention.
  • FIG. 1 is a block diagram showing a 3D image registration providing system according to an embodiment of the present invention.
  • the 3D image registration providing system includes a depth recognition camera 100, a 3D image registration providing apparatus 200, a location tracking apparatus 300, and a database 400.
  • the depth recognition camera 100 photographs an object to be photographed to generate a camera screen and 3D depth data of a color image.
  • the depth recognition camera 100 includes a triangulation type 3D laser scanner, an endoscope device, a depth camera using a structural light pattern, and a time-of-flight using a reflection time difference between infrared rays (IR).
  • IR infrared rays
  • the depth recognition camera 100 includes a C-arm device, an optical coherence tomography device, and the like, but is not limited thereto.
  • the 3D image registration providing apparatus 200 may match and provide an image stored in the depth recognition camera 100, the location tracking apparatus 300, and the database 400.
  • the 3D image registration providing apparatus 200 may generate 3D surface data of the extracted matching region by extracting the matching region from the received 3D medical image.
  • the 3D image registration providing apparatus 200 may store 3D surface data corresponding to the 3D medical image of the patient in the database 400.
  • the 3D image registration providing apparatus 200 receives an image of the depth recognition camera 100 and a 3D coordinate of a location tracking tool mounted on a registration body acquired by the location tracking apparatus 300 during surgery.
  • the 3D image registration providing apparatus 200 collects 3D medical images stored in the database 400 and relative position information of landmarks attached to the registration body.
  • the 3D image registration providing apparatus 200 performs a first registration between the 3D medical image and the image of the depth recognition camera 100, and the image and position tracking device 300 of the registration body through the depth recognition camera 100.
  • a second registration is performed between landmark coordinate values converted based on the three-dimensional coordinates of the.
  • the 3D image registration providing apparatus 200 may finally match the first matching data and the second matching data.
  • the 3D image registration providing apparatus 200 may selectively collect 3D depth data included in the image received from the depth recognition camera 100 and a color image which is a camera photographing screen of the photographing target. For example, the 3D image registration providing apparatus 200 selectively collects only 3D depth data from the depth recognition camera 100 when it is desired to match the 3D surface image.
  • the 3D image registration providing apparatus 200 may collect a color image of the registration body and 3D depth data of the registration body from the depth recognition camera 100.
  • the location tracking device 300 generates 3D location coordinates from an image photographed based on the location tracking device.
  • the location tracking device 300 may derive and provide location coordinates of a tool equipped with a sensor based on the location tracking device.
  • the database 400 stores coordinate data of 3D medical images and landmarks of the patient.
  • the 3D medical image may be a medical imaging apparatus such as a computed tomography (CT) device, a magnetic resonance imaging (MRI) device, a positron emission tomography (PET) device, or the like before surgery.
  • CT computed tomography
  • MRI magnetic resonance imaging
  • PET positron emission tomography
  • the registration body manufactured before surgery is a mechanism that provides reference coordinates for matching the 3D medical image and the location tracking data, and at least three registration landmarks and a location tracking tool may be attached.
  • the 3D image registration providing apparatus 200 detects the space and position tracking of the depth recognition camera coordinate system based on the coordinates of the landmark.
  • the device coordinate system space can be matched.
  • the database 400 stores the coordinates of the landmarks extracted based on the location tracking tool of the registration body before the surgery.
  • three or more matching landmarks are attached to the matching body, and have a different color from that of the matching body.
  • the color of the landmark and the matching body may be set to the color of the complementary color relationship having a large color difference.
  • the database 400 may store the medical records for each patient together, and may be encrypted and stored to protect personal information of each patient.
  • FIG. 2 is a block diagram showing an apparatus for providing 3D image registration according to an embodiment of the present invention.
  • the 3D image registration providing apparatus 200 includes a collecting unit 210, a first matching unit 220, a second matching unit 230, and a third matching unit 240.
  • the collector 210 acquires 3D depth data of a portion to be matched, a color image of a matching body, and 3D depth data of a matching body from the depth recognition camera 100 during surgery.
  • the collection unit 210 acquires three-dimensional position information of the location tracking tool mounted on the registration body from the location tracking device 300 during the surgery.
  • the collection unit 210 may collect the relative position information of the 3D surface data and the landmark of the registration portion stored in advance from the interlocking database 400.
  • the first matching unit 220 extracts 3D surface data of the matching portion from the 3D medical image of the patient stored in advance, and performs surface registration of the 3D depth data collected from the depth recognition camera.
  • the first matching unit 220 generates a matching equation and a conversion equation between the 3D medical image coordinate system space and the depth recognition camera coordinate system space through surface matching.
  • the first matching unit 220 may receive the 3D medical image stored in the database 400 at the pre-operational stage, convert the 3D medical image into 3D surface data, and store the same in the database 400.
  • the second matching unit 230 extracts a color image and 3D depth data of the matching body from the image of the matching body.
  • the second matching unit 230 derives camera reference 3D coordinates of the landmark based on the color image of the matching body and the 3D depth data.
  • the second matching unit 230 converts the relative position information of the pre-stored landmarks based on the three-dimensional coordinates of the location tracking tool collected during surgery to generate the location tracking device reference coordinates of the landmark.
  • the second matching unit 230 matches the extracted camera reference three-dimensional coordinates of the landmark with the location tracking device reference coordinates of the landmark to match the depth-recognition camera coordinate space and the location tracking device coordinate system space, and a conversion equation thereof. Can be generated.
  • the third matching unit 240 performs final matching between the 3D medical image coordinate system space and the location tracking device coordinate system space through a matching transformation equation generated by the first matching unit 220 and the second matching unit 230. can do.
  • the third matching unit 240 may store the final matching data during the operation in the interlocked database 400.
  • the 3D image registration providing apparatus 200 may be a server, a terminal, or a combination thereof.
  • a terminal is a collective term for a device having an arithmetic processing capability by providing a memory and a processor, respectively.
  • a personal computer a handheld computer, a personal digital assistant, a mobile phone, a smart device, a tablet, and the like.
  • the server is a memory that stores a plurality of modules (module), and a processor connected to the memory and reacts to the plurality of modules, and processes the service information or action information for controlling the service information provided to the terminal, communication Means, and a user interface (UI) display means.
  • module modules
  • UI user interface
  • Memory is a device for storing information. It is a non-volatile solid-state memory device, such as high-speed random access memory, magnetic disk storage, flash memory devices, and other non-volatile solid-state memory devices. Various types of memory, such as volatile memory, may be included.
  • the communication means transmits and receives service information or action information with the terminal in real time.
  • the UI display means outputs service information or action information of the device in real time.
  • the UI display means may be an independent device that directly or indirectly outputs or displays the UI, or may be part of the device.
  • FIG. 3 is a flowchart illustrating a process of registering 3D images of the 3D image registration providing apparatus according to an embodiment of the present invention.
  • the 3D image registration providing method may be divided into a preoperative procedure and an in-process procedure.
  • before surgery refers to the time point before the patient enters the operating room for surgery from the time when the patient is treated for surgery, while being under surgery means that the patient is in the operating room after the operation is completed from the time the patient enters the operating room. Indicates up to the point of movement out.
  • the 3D medical image photographed according to the medical examination record of the patient before the operation may be stored in the database 400, and the 3D image registration providing apparatus 200 may receive the 3D medical image from the database 400.
  • the 3D image registration providing apparatus 200 may extract a portion to be matched from the 3D medical image before surgery and automatically or manually generate 3D surface data on the extracted matching portion.
  • the generated 3D surface data may be stored in the database 400 corresponding to the 3D medical image of the patient.
  • the 3D image registration providing apparatus 200 has a registration body that can attach a location tracking tool with a plurality of registration landmarks before surgery, and then relative to the landmark from the location tracking tool based on the location tracking tool.
  • the location information is extracted and stored in the database 400.
  • the 3D image registration providing apparatus 200 acquires 3D depth data of a portion to be matched, a color image of a matching body, and 3D depth data of a matching body from the depth recognition camera 100 (S310). ).
  • the 3D image registration providing apparatus 200 receives 3D depth data of a portion of a patient to be operated on, which is to be operated, from a depth recognition camera 100 installed at one side of an operating room.
  • the 3D image registration providing apparatus 200 may collect an image of a registration body disposed in an operating room, and may receive a color image of the registration body and 3D depth data of the registration body.
  • the 3D image registration providing apparatus 200 obtains the 3D coordinates of the location tracking tool mounted on the registration body from the location tracking apparatus 300 (S320).
  • the location tracking tool is separately placed in a non-contact state without the registration body attached to the surgical site or the surgical site of the patient as before.
  • Three-dimensional coordinates of can be obtained.
  • the 3D image registration providing apparatus 200 generates first registration data by performing surface registration of the 3D medical image and the 3D depth data stored in advance (S330).
  • the first registration data includes a conversion equation for matching the 3D medical image coordinate system and the depth recognition camera coordinate system.
  • FIG. 4 is a diagram for describing a process of registering a medical image according to one embodiment of the present invention.
  • the 3D image registration providing apparatus 200 accesses the interoperable database 400 to collect 3D surface data A-1 of pre-stored registration sites, and obtains the 3D depth obtained in operation S310. Data may be converted into 3D scan data A-2.
  • the 3D image registration providing apparatus 200 registers (A) the 3D surface data (A-1) and the 3D scan data (A-2) of the matching portion in at least two steps, thereby performing a 3D medical image coordinate system and a depth recognition camera coordinate system. Can be matched.
  • the 3D image registration providing apparatus 200 may generate the first matching data by matching the 3D surface data A-1 and 3D scan data A-2 of the matching portion through the SAC-IA algorithm.
  • the SAC-IA algorithm is an algorithm that performs surface matching, but the accuracy is not high, but the matching result has little influence on the initial position.
  • the 3D image registration providing apparatus 200 may effectively match the positions of the points corresponding to each other. Use the SAC-IA algorithm.
  • the 3D medical image coordinate system space and the depth recognition camera coordinate system space are applied by applying the surface registration data and the 3D surface data to the ICP algorithm for high precision matching.
  • the 3D image registration providing apparatus 200 applies two 3D surface data to the SAC-IA algorithm and the ICP algorithm to convert between the 3D medical image coordinate system (CT) and the depth recognition camera coordinate system (CD). Can be performed.
  • CT 3D medical image coordinate system
  • CD depth recognition camera coordinate system
  • the 3D image registration providing apparatus 200 matches the 3D medical image of the patient with the 3D surface data of the operating room so that the medical image information can be accurately identified from the 3D surface data photographed in the operating room during surgery.
  • the 3D image registration providing apparatus 200 generates second matching data by performing matching of the extracted camera reference 3D coordinates of the extracted landmark with the location tracking apparatus reference coordinate of the transformed landmark (S340).
  • the second registration data includes a conversion equation for matching the depth recognition camera coordinate system and the location tracking device coordinate system.
  • the 3D image registration providing apparatus 200 may perform image processing by using the color image extracted from the image of the registration body acquired in operation S310 and the 3D depth data of the registration body.
  • the image registration providing apparatus 200 may extract two-dimensional coordinates of landmarks through image processing of a color image.
  • the 3D image registration providing apparatus 200 may generate camera reference 3D coordinates of the landmark using 3D depth data of the matching body corresponding to the 2D coordinates.
  • FIG 5 is a view for explaining a process of performing the matching of the second matching unit according to an embodiment of the present invention.
  • Figure 5 (a) is an exemplary view for measuring the relative position information of the landmark in the pre-operative situation
  • (B) is an illustration for explaining the relative position information of the landmark measured before the operation
  • (C) is It is an exemplary diagram for extracting the camera reference 3D coordinates of the landmark and the position tracking device reference coordinates of the landmark in the operation.
  • the 3D image registration providing apparatus 200 may measure the 3D position of the landmark of the registration body 500 through the pre-operation location tracking apparatus 300.
  • the 3D image registration providing apparatus 200 contacts the landmark of the registration body 500 with the tool sensor interworking with the location tracking apparatus 300, the location of the corresponding landmark originates from the location tracking tool 510. Is automatically extracted.
  • the 3D image registration providing apparatus 200 may extract the coordinates of the landmark in the registration body 500 based on the position tracking tool 510 of the registration body before the operation.
  • the 3D image registration providing apparatus 200 includes relative position information b-1, b-2, and b which are distances of respective landmarks from three-dimensional coordinates of the position tracking tool 510. -3, ..., bn) can be stored separately.
  • the relative position information (b-1, b-2, b-3, ..., b-n) of the landmark is stored in the database 400 and provided to the 3D image registration providing apparatus 200 during surgery.
  • the 3D image registration providing apparatus 200 extracts a 2D position by image processing the color image. Then, the 3D image registration providing apparatus 200 uses the extracted 2D position of the landmark and the 3D depth data of the registration body to determine the camera reference 3D coordinates of the landmark ( ) Can be derived.
  • the 3D image registration providing apparatus 200 collects 3D coordinates based on the location tracking tool 510 of the registration body from the location tracking apparatus 300 during surgery.
  • the 3D image registration providing apparatus 200 of the position tracking tool 510 that collects the relative position information (b-1, b-2, b-3, ..., bn) of the pre-stored landmark during surgery. Automatically convert to 3D coordinates )can do.
  • the 3D image registration providing apparatus 200 may determine the relative position information of the landmark, which is the origin of the position tracking tool 510 measured before surgery, of the landmark whose origin is the position tracking tool 510 collected during surgery. Can be converted to coordinates for positioning device reference. The 3D image registration providing apparatus 200 may then use a camera reference 3D coordinate ( ) And landmark tracking device reference coordinates ( ) Is matched through one-to-one point-to-point matching. .
  • the 3D image matching providing apparatus 200 matches the location tracking device coordinate system space with the depth recognition camera coordinate system by matching point-to-point matching in real time.
  • the 3D image registration providing apparatus 200 performs final matching using the first matching data and the second matching data (S350).
  • the 3D image registration providing apparatus 200 may match the 3D medical image coordinate system space and the location tracking device coordinate system space based on the two registrations performed above.
  • the 3D image registration providing apparatus 200 performs the first registration data in step S330 to perform registration between the 3D medical image data coordinate system and the location tracking device coordinate system. Matching data in step S340 Match in real time.
  • the 3D image registration providing apparatus 200 is a final matched image as shown in Equation 1 below. Can be generated.
  • the 3D image registration providing apparatus 200 may convert the coordinates tracked by the location tracking device 300 into the reference tracking tool coordinate system. .
  • FIG. 6 is a view for explaining a process of applying a reference tracking tool coordinate system according to an embodiment of the present invention.
  • the reference tracking tool 600 can attach the reference tracking tool 600 to a part of the patient's body during surgery to detect the patient's movement more quickly and accurately.
  • the 3D image registration providing apparatus 200 extracts three-dimensional coordinates based on the reference tracking tool 600 immediately before surgery, and converts the coordinates tracked by the location tracking device 300 into the reference tracking tool coordinate system in advance. Can be.
  • the 3D image registration providing apparatus 200 may apply final matching data that is a result of matching 3D image data and 3D coordinates of a landmark to the reference tracking tool coordinate system RP.
  • the final matching data represents the final matching result data performed in step S350.
  • the 3D image registration providing apparatus 200 as shown in Equation 2 below, the final registration to compensate for the movement of the patient Can be performed.
  • the 3D image registration providing apparatus 200 is the order of obtaining data from the depth-recognition camera 100 (S310) and obtaining the data from the location tracking device 300 (S320) is not fixed, the situation Accordingly, step S320 may be performed before step S310 or simultaneously.
  • steps S330 and S340 may be performed earlier or simultaneously than step S340 in some cases.
  • the program for executing the method according to one embodiment of the present invention may be recorded on a computer readable recording medium.
  • Computer-readable media may include, alone or in combination with the program instructions, data files, data structures, and the like.
  • the media may be those specially designed and constructed or those known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical recording media such as CD-ROMs, DVDs, magnetic-optical media such as floppy disks, and ROM, RAM, flash memory, and the like.
  • Hardware devices that are specifically configured to store and execute the same program instructions are included.
  • the medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • registration body 510 location tracking tool of registration body

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Robotics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

3D 영상 정합 제공 장치는 깊이 인식 카메라로부터 정합하고자 하는 부분의 3D 깊이 데이터와 정합바디의 영상을 획득하고, 위치추적 장치로부터 정합바디에 장착된 위치추적 툴의 3차원 좌표를 획득하는 수집부, 미리 저장된 환자의 3D 의료 영상과 3D 깊이 데이터의 표면 정합을 수행하는 제1 정합부, 정합바디의 영상으로부터 정합바디에 부착된 랜드마크의 카메라 기준 3차원 좌표를 추출하고, 위치추적 툴의 3차원 좌표를 기준으로 미리 저장된 랜드마크의 상대적 위치 정보를 변환하여 랜드마크의 카메라 기준 3차원 좌표와 변환된 랜드마크의 위치 정보의 정합을 수행하는 제2 정합부, 그리고 제1 정합부와 제2 정합부에서 수행한 정합 결과를 이용하여 최종 정합을 수행하는 제3 정합부 를 포함한다.

Description

3D 영상 정합 제공 장치 및 그 방법
3D 영상 정합 제공 장치 및 그 방법이 제공된다.
최근에는 이비인후과, 정형외과, 신경외과 그리고 복강경 등의 수술에서 최소침습 내시경 수술 (MIS, minimally invasive endoscopic surgery)가 널리 이용되고 있다. 이러한 내시경 수술은 시야가 제한되는 경우가 많기 때문에 환부나 구조물의 정확한 위치를 인식하는 것이 중요하다.
따라서, 내시경에 3차원 위치추적 장치를 결합한 영상 가이드 수술항법 시스템(Surgical navigation system, 내비게이션 수술)이 꾸준히 연구되고 있다. 이러한 영상 가이드 수술 항법 시스템은 수술의 위험성을 줄이고 위치제어 정확성, 편의성 그리고 안정성을 향상시킨다.
MRI, CT, 초음파 등의 3차원 의료 영상을 이용한 수술 항법 시스템을 활용하는 수술에서는 수술 전의 환자 영상 좌표계와 위치추적 장치 좌표계간의 정합이 필수적으로 요구된다.
기존에 사용되는 정합 방법은 정합에 사용되는 특징점들을 환자 영상 공간과 환자의 물리적 공간에서 각각 수작업으로 정위하거나 여러 점들을 접촉식으로 스캔하여 획득한다. 그러나 이와 같은 수작업에 의한 정합 방법은 랜드마크 획득 시 환자 또는 수술자의 불편을 초래하고 기술자의 숙련도에 따라, 수술 준비시간이 증가되거나 정합의 정확도가 결정된다. 그리고 물리적 구조물을 이용하여 환자의 정합부위에 접촉하여 접촉식으로 스캔하는 경우 환자 간 교차 감염이 발생할 수 있다.
따라서, 실시간으로 환자의 피부에 접촉하지 않고도 자동으로 3D 영상을 정합하여 제공하는 시스템이 요구된다
본 발명의 하나의 실시예는 수술 중 위치추적 장치 좌표계와 환자 영상 좌표계의 정합을 실시간으로 자동 정합하여 제공하여 영상 가이드 수술하는 과정에서 활용하기 위한 것이다.
상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 사용될 수 있다.
본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 장치는 깊이 인식 카메라로부터 정합하고자 하는 부분의 3D 깊이 데이터와 정합바디의 영상을 획득하고, 위치추적 장치로부터 정합바디에 장착된 위치추적 툴의 3차원 좌표를 획득하는 수집부, 미리 저장된 환자의 3D 의료 영상과 3D 깊이 데이터의 표면 정합을 수행하는 제1 정합부, 정합바디의 영상으로부터 정합바디에 부착된 랜드마크의 카메라 기준 3차원 좌표를 추출하고, 위치추적 툴의 3차원 좌표를 기준으로 미리 저장된 랜드마크의 상대적 위치 정보를 변환하여 랜드마크의 카메라 기준 3차원 좌표와 변환된 랜드마크의 위치 정보의 정합을 수행하는 제2 정합부, 그리고 제1 정합부와 제2 정합부에서 수행한 정합 결과를 이용하여 최종 정합을 수행하는 제3 정합부를 포함한다.
제1 정합부는, 수술 전 획득한 3D 의료 영상에서 정합하고자 하는 부분을 3D 표면 데이터로 추출하고, 수술 중 수집된 환자의 3D 깊이 데이터를 3D 스캔 데이터로 변환하여, 3D 표면 데이터와 3D 스캔 데이터간에 표면 정합을 수행할 수 있다.
제1 정합부는, SAC-IA 알고리즘을 통해 표면 정합을 수행하여 표면 정합 데이터를 생성하고 표면 정합 데이터와 3D 표면 데이터를 정밀 정합 ICP 알고리즘에 적용하여 3D 의료 영상 좌표계와 깊이 인식 카메라 좌표계가 일치된 제1 정합 데이터를 생성할 수 있다.
정합바디는, 위치추적 툴이 장착되고, 정합바디와 상이한 색상을 가지는 랜드마크가 부착되며, 수술 전 위치추적 툴을 기준으로 측정된 랜드마크의 상대적인 위치 정보를 저장하는 저장부를 더 포함할 수 있다.
제2 정합부는, 수술 중 수집된 위치추적 툴의 3차원 좌표를 기준으로 미리 저장된 랜드마크의 상대적 위치 정보를 변환하여, 랜드마크의 위치추적 장치 기준 좌표를 생성할 수 있다.
제2 정합부는, 정합바디의 영상으로부터 정합바디의 칼라 영상 및 정합바디의 3D 깊이 데이터를 추출하고, 칼라 영상에서 상이한 색상 정보를 이용하여 도출된 랜드마크 2차원 위치와 정합바디의 3D 깊이 데이터를 통해 랜드마크의 카메라 기준 3차원 좌표를 도출할 수 있다.
제2 정합부는, 랜드마크의 위치추적 장치 기준 좌표와 랜드마크의 카메라 기준 3차원 좌표간에 일대일로 점대점 정합을 통하여 깊이 인식 카메라 좌표계와 위치추적 장치 좌표계가 일치되도록 제2 정합 데이터를 생성할 수 있다.
제3 정합부는, 제1 정합 데이터와 제2 정합 데이터를 정합하여, 3D 의료 영상의 좌표계와 위치추적 장치의 좌표계가 일치되도록 할 수 있다.
3D 영상 정합 제공 장치는 수술 중 상기 환자의 신체 일부분에 기준 추적 툴을 부착하고, 위치추적 장치에 의해 추적되는 좌표를 기준 추적 툴 좌표계로 변환하는 기준 추적 좌표부를 더 포함할 수 있다.
제3 정합부는, 최종 정합이 수행된 데이터를 기준 추적 툴 좌표계로 변환할 수 있다.
본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 장치의 정합 방법에 있어서, 3D 영상 정합 제공 장치는 깊이 인식 카메라로부터 정합하고자 하는 부분의 3D 깊이 데이터와 정합바디의 영상을 획득하고, 위치추적 장치로부터 정합바디에 장착된 위치추적 툴의 3차원 좌표를 획득하는 단계, 수술 전 미리 저장된 환자의 3D 의료 영상과 3D 깊이 데이터의 정합을 수행하여 제1 정합 데이터를 생성하는 단계, 정합바디의 영상으로부터 상기 정합바디에 부착된 랜드마크의 카메라 기준 3차원 좌표를 추출하고, 위치추적 툴의 3차원 좌표를 기준으로 기 저장된 랜드마크의 상대적인 위치 정보를 변환하여, 랜드마크의 카메라 기준 3차원 좌표와 변환된 랜드마크의 위치 정보의 정합을 수행하여 제2 정합 데이터를 생성하는 단계, 그리고 제1 정합 데이터와 제2 정합데이터를 이용하여 최종 정합을 수행하는 단계를 포함한다.
본 발명의 하나의 실시예는 환자의 피부에 직접적으로 정합바디를 부착하지 않기 때문에, 정합바디를 피부에 부착하여 발생하는 환자간 교차 감염을 최소화할 수 있다.
또한, 본 발명의 하나의 실시예는 실시간으로 3D 영상간의 정합이 자동으로 수행되기 때문에 3D 영상 정합을 위한 기술자의 기술 숙련도에 영향을 받지 않는다. 따라서 숙련도 차이에 따른 오류를 최소화하여 일정하게 정확도가 높은 정합결과를 획득할 수 있다.
또한, 본 발명의 하나의 실시예는 전체적인 수술 시간을 감소시키고, 영상 가이드를 통해 수술의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 시스템을 나타내는 구성도이다.
도 2는 본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 장치를 나타낸 구성도이다.
도 3은 본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 장치의 3D 영상을 정합하는 과정을 나타내는 순서도이다.
도 4는 본 발명의 하나의 실시예에 따른 제1 정합부의 정합을 수행하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 하나의 실시예에 따른 제2 정합부의 정합을 수행하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 하나의 실시예에 따른 기준 추적 툴 좌표계를 적용하는 과정을 설명하기 위한 도면이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하에서는 도 1를 이용하여 깊이 인식 카메라와 위치추적 장치를 이용하는 3D 영상 정합 제공 시스템에 대해서 상세하게 설명한다.
도 1은 본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 시스템을 나타내는 구성도이다.
도 1에 도시한 바와 같이, 3D 영상 정합 제공 시스템은 깊이 인식 카메라(100), 3D 영상 정합 제공 장치(200), 위치추적 장치(300) 그리고 데이터베이스(400)을 포함한다.
먼저, 깊이 인식 카메라(100)는 촬영하고자 하는 대상을 촬영하여 칼라 영상의 카메라 화면과 3D 깊이 데이터를 생성한다. 여기서, 깊이 인식 카메라(100)는 삼각측량 방식의 3차원 레이저 스캐너, 내시경 장치, 구조 광선패턴을 이용한 깊이 카메라, 적외선(IR: Infra-Red)의 반사 시간 차이를 이용한 TOF(Time-Of-flight) 방식의 깊이 카메라를 포함한다. 그 외에도 깊이 인식 카메라(100)는 씨암(C-arm) 장치, 광간섭단층촬영장치(optical coherence tomography)등을 포함하며, 이에 한정되는 것은 아니다. 그리고 3D 영상 정합 제공 장치(200)는 깊이 인식 카메라(100), 위치추적 장치(300) 그리고 데이터베이스(400)에 저장된 영상을 정합하여 제공한다.
3D 영상 정합 제공 장치(200)는 수술 전에 환자의 3D 의료 영상을 수신하면, 수신된 3D 의료 영상에서 정합부위를 추출하여 추출된 정합 부위의 3D 표면 데이터를 생성할 수 있다. 그리고 3D 영상 정합 제공 장치(200)는 환자의 3D 의료 영상에 대응하는 3D 표면 데이터를 데이터베이스(400)에 저장할 수 있다.
3D 영상 정합 제공 장치(200)는 수술 중에 깊이 인식 카메라(100)의 영상과 위치추적 장치(300)가 획득한 정합바디에 장착된 위치추적 툴의 3차원 좌표를 수신한다. 그리고 3D 영상 정합 제공 장치(200)는 데이터베이스(400)에 저장된 3D 의료 영상과 정합바디에 부착된 랜드마크의 상대적 위치 정보를 수집한다.
그러면, 3D 영상 정합 제공 장치(200)는 3D 의료 영상과 깊이 인식 카메라(100)의 영상간의 제1 정합을 수행하고, 깊이 인식 카메라(100)를 통한 정합바디의 영상과 위치추적 장치(300)의 3차원 좌표를 기준으로 변환된 랜드마크 좌표 값간에 제2 정합을 수행한다.
마지막으로, 3D 영상 정합 제공 장치(200)는 제1 정합 데이터와 제2 정합 데이터를 최종 정합할 수 있다.
이때, 3D 영상 정합 제공 장치(200)는 깊이 인식 카메라(100)로부터 수신한 영상에 포함된 3D 깊이 데이터와 촬영대상의 카메라 촬영 화면인 칼라 영상을 선택적으로 수집할 수 있다. 예를 들어, 3D 영상 정합 제공 장치(200)는 3D 표면 영상과 정합하고자 하는 경우 깊이 인식 카메라(100)로부터 3D 깊이 데이터만 선택적으로 수집한다. 그리고 3D 영상 정합 제공 장치(200)는 랜드마크의 위치 좌표와 정합하고자 하는 경우, 깊이 인식 카메라(100)로부터 정합바디를 촬영한 칼라 영상과 정합바디의 3D 깊이 데이터를 수집할 수 있다. 다음으로 위치추적 장치(300)는 위치추적 장치를 기준으로 촬영되는 영상에서 3D 위치 좌표를 생성한다. 위치추적 장치(300)는 위치추적 장치를 기준으로 센서가 장착된 도구의 위치 좌표를 도출하여 제공할 수 있다.
그리고 데이터베이스(400)는 환자의 3D 의료 영상, 랜드마크의 좌표 데이터를 저장한다.
여기서, 3D 의료 영상은 수술 전에 컴퓨터 단층촬영(computed tomography: CT)장치, 자기공명영상(magnetic resonance imaging, MRI) 장치, 양전자 단층 촬영(positron emission tomography, PET) 장치 등과 같은 의료영상 촬영 장치를 이용하여 환자를 촬영한 의료 영상을 나타낸다.
한편, 수술 전 제작되는 정합바디는 3D 의료 영상과 위치추적데이터를 정합하기 위한 기준 좌표를 제공하는 기구로, 적어도 셋 이상의 정합용 랜드마크와 위치추적 툴이 부착될 수 있다.
다시 말해, 정합바디에 부착된 위치추적 툴의 3차원 좌표를 기준으로 랜드마크의 좌표가 추출되면, 3D 영상 정합 제공 장치(200)는 랜드마크의 좌표에 기초하여 깊이 인식 카메라 좌표계 공간과 위치추적 장치 좌표계 공간을 정합 할 수 있다.
따라서, 데이터베이스(400)에는 수술 전에 정합바디의 위치추적 툴을 기준으로 추출된 랜드마크의 좌표가 저장된다.
여기서, 정합용 랜드마크는 셋 이상의 복수개가 정합바디에 부착되며, 정합바디의 색상과 상이한 색상을 가진다. 여기서, 랜드마크와 정합바디의 색상은 색상 차이가 큰 보색 관계의 색상으로 설정될 수 있다.
또한 데이터베이스(400)는 환자 별로 진료 내역들을 함께 저장하고 있을 수 있으며, 각 환자의 개인 정보를 보호하기 위해 암호화되어 저장될 수 있다.
이하에서는 본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 장치에 대해서 상세하게 설명한다.
도 2는 본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 장치를 나타낸 구성도이다.
도 2에 도시한 바와 같이, 3D 영상 정합 제공 장치(200)는 수집부(210), 제1 정합부(220), 제2 정합부(230) 그리고 제3 정합부(240)를 포함한다.
먼저, 수집부(210)는 수술 중 깊이 인식 카메라(100)로부터 정합하고자 하는 부분의 3D 깊이 데이터와 정합바디의 칼라 영상 및 정합바디의 3D 깊이 데이터를 획득한다. 그리고 수집부(210)는 수술 중 위치추적 장치(300)로부터 정합바디에 장착된 위치추적 툴의 3차원 위치 정보를 획득한다.
또한, 수집부(210)는 연동된 데이터베이스(400)로부터 미리 저장된 정합 부위의 3D 표면 데이터 및 랜드마크의 상대적인 위치정보를 수집할 수 있다.
다음으로 제1 정합부(220)는 미리 저장된 환자의 3D 의료 영상으로부터 정합 부위의 3D 표면 데이터를 추출하고, 깊이 인식 카메라로부터 수집한 3D 깊이 데이터의 표면 정합을 수행한다.
제1 정합부(220)는 표면 정합을 통해 3D 의료 영상 좌표계 공간과 깊이 인식 카메라 좌표계 공간을 정합 및 변환 식을 생성한다.
이때, 제1 정합부(220)는 수술 전 단계에서 데이터베이스(400)에 저장된 3D 의료 영상을 수신하여 3D 표면 데이터로 변환한 뒤 다시 데이터베이스(400)에 저장할 수 있다.
다음으로 제2 정합부 (230)는 정합바디의 영상으로부터 정합바디의 칼라 영상 및 3D 깊이 데이터를 추출한다. 그리고 제2 정합부(230)는 정합바디의 칼라 영상과 3D 깊이 데이터에 기초하여 랜드마크의 카메라 기준 3차원 좌표를 도출한다.
또한, 제2 정합부(230)는 미리 저장된 랜드마크의 상대적인 위치 정보를 수술 중 수집한 위치추적 툴의 3차원 좌표를 기준으로 변환하여 랜드마크의 위치추적 장치 기준 좌표를 생성한다.
다시 말해, 제2 정합부 (230)는 추출된 랜드마크의 카메라 기준 3차원 좌표 와 랜드마크의 위치추적 장치 기준 좌표를 정합하여 깊이 인식 카메라 좌표계 공간과 위치추적 장치 좌표계 공간의 정합 및 그 변환 식을 생성할 수 있다.
다음으로 제3 정합부(240)는 제1 정합부(220)와 제2 정합부(230)에서 생성한 정합 변환 식을 통해 3D 의료 영상 좌표계 공간과 위치추적 장치 좌표계 공간과의 최종 정합을 수행할 수 있다.
그리고 제3 정합부(240)는 수술 중 최종 정합 데이터를 연동된 데이터베이스(400)에 저장할 수 있다.
한편, 3D 영상 정합 제공 장치(200)는 서버, 단말, 또는 이들이 결합된 형태일 수 있다.
단말은 각각 메모리(memory), 프로세서(processor)를 구비함으로써 연산 처리 능력을 갖춘 장치를 통칭하는 것이다. 예를 들어, 퍼스널 컴퓨터(personal computer), 핸드헬드 컴퓨터(handheld computer), PDA(personal digital assistant), 휴대폰, 스마트 기기, 태블릿(tablet) 등이 있다.
서버는 복수개의 모듈(module)이 저장되어 있는 메모리, 그리고 메모리에 연결되어 있고 복수개의 모듈에 반응하며, 단말에 제공하는 서비스 정보 또는 서비스 정보를 제어하는 액션(action) 정보를 처리하는 프로세서, 통신 수단, 그리고 UI(user interface) 표시 수단을 포함할 수 있다.
메모리는 정보를 저장하는 장치로, 고속 랜덤 액세스 메모리(high-speed random access memory, 자기 디스크 저장 장치, 플래시 메모리 장치, 기타 비휘발성 고체 상태 메모리 장치(non-volatile solid-state memory device) 등의 비휘발성 메모리 등 다양한 종류의 메모리를 포함할 수 있다.
통신 수단은 단말과 서비스 정보 또는 액션 정보를 실시간으로 송수신한다.
UI 표시 수단은 장치의 서비스 정보 또는 액션 정보를 실시간으로 출력한다. UI 표시 수단은 UI를 직접적 또는 간접적으로 출력하거나 표시하는 독립된 장치일 수도 있으며, 또는 장치의 일부분일 수도 있다.
이하에서는 도 3을 이용하여 3D 영상 정합 제공 장치가 의료 영상 정합하는 과정을 상세하게 설명한다.
도 3은 본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 장치의 3D 영상을 정합하는 과정을 나타내는 순서도이다.
먼저, 본 발명의 실시예에 따른 3D 영상 정합 제공 방법은 수술 전과 수술 중의 과정으로 구분될 수 있다.
여기서, 수술 전이라고 하는 것은 환자가 수술을 위한 진료받는 시점부터 환자가 수술을 하기 위해서 수술실로 입장하기 전 시점을 나타내며, 수술 중이라는 것은 환자가 수술실로 입장한 시점부터 수술이 끝나고 환자가 수술이실 밖으로 이동하는 시점까지를 나타낸다.
수술 전에 환자의 의료 진료 기록에 따라 촬영된 3D 의료 영상이 데이터베이스(400)에 저장되고, 3D 영상 정합 제공 장치(200)는 데이터베이스(400)로부터 3D 의료 영상을 수신할 수 있다.
3D 영상 정합 제공 장치(200)는 수술 전 3D 의료 영상에서 정합하고자 하는 부분을 추출하고, 추출된 정합 부위에 대해서 3D 표면 데이터를 자동 또는 수동으로 생성할 수 있다. 그리고 생성된 3D 표면 데이터는 환자의 3D 의료 영상에 대응하여 데이터베이스(400)에 저장할 수 있다.
또한, 3D 영상 정합 제공 장치(200)는 수술 전에 다수의 정합용 랜드마크를 가지고 위치추적 툴을 부착할 수 있는 정합바디를 제작한 후, 위치추적 툴을 기준으로 위치추적 툴로부터 랜드마크의 상대적인 위치 정보를 추출하여 데이터베이스(400)에 저장한다.
이하에서는 수술 중의 수술실에서 3D 영상 정합 제공 장치(200)를 통해 실시간으로 3D 의료 영상의 좌표계와 상기 위치추적 장치의 좌표계가 일치되도록 정합하는 과정에 대해서 상세하게 설명한다.
도 3에 도시한 바와 같이, 3D 영상 정합 제공 장치(200)는 깊이 인식 카메라(100)로부터 정합하고자 하는 부분의 3D 깊이 데이터와 정합바디의 칼라 영상 및 정합바디의 3D 깊이 데이터를 획득한다(S310).
3D 영상 정합 제공 장치(200)는 수술실 일측에 설치된 깊이 인식 카메라(100)로부터 수술을 위해 누워 있는 환자의 수술하고자 하는 부위가 촬영된 3D 깊이 데이터를 수신한다. 그리고 3D 영상 정합 제공 장치(200)는 수술실 내부에 배치된 정합바디를 촬영한 영상을 수집할 수 있으며, 이를 통해 정합바디의 칼라 영상과 정합바디의 3D 깊이 데이터를 수신할 수 있다.
다음으로 3D 영상 정합 제공 장치(200)는 위치추적 장치(300)로부터 정합바디에 장착된 위치추적 툴의 3차원 좌표를 획득한다(S320).
이때, 3D 영상 정합 제공 장치(200)가 수술 중에서 정합바디를 촬영할 때에는 기존과 같이 환자의 수술부위 또는 수술 부위 주변에 정합바디를 부착하지 않고, 별도로 비접촉식으로 정합바디가 배치된 상태에서 위치추적 툴의 3차원 좌표가 획득될 수 있다.
다음으로 3D 영상 정합 제공 장치(200)는 미리 저장된 3D 의료 영상과 3D 깊이 데이터의 표면 정합을 수행하여 제1 정합 데이터를 생성한다(S330).
여기서, 제1 정합 데이터는 3D 의료 영상 좌표계와 깊이 인식 카메라 좌표계를 일치시키기 위한 변환식을 포함한다.
이하에서는 도 4를 이용하여 3D 영상 정합 제공 장치(200)가 3D 영상 데이터를 생성하는 과정에 대해서 상세하게 설명한다.
도 4는 본 발명의 하나의 실시예에 따른 의료 영상 정합하는 과정을 설명하기 위한 도면이다.
도 4에 도시한 바와 같이, 3D 영상 정합 제공 장치(200)는 연동되는 데이터베이스(400)에 접속하여 미리 저장된 정합 부위의 3D 표면 데이터(A-1)를 수집하고, S310 단계에서 획득한 3D 깊이 데이터를 3D 스캔 데이터(A-2)로 변환할 수 있다.
그리고 3D 영상 정합 제공 장치(200)는 정합 부위의 3D 표면 데이터(A-1)와 3D 스캔 데이터(A-2)를 적어도 두 단계에 거쳐 정합(A)하여 3D 의료 영상 좌표계와 깊이 인식 카메라 좌표계를 일치시킬 수 있다.
먼저, 3D 영상 정합 제공 장치(200)는 정합 부위의 3D 표면 데이터(A-1)와 3D 스캔 데이터(A-2)를 SAC-IA 알고리즘을 통해 정합하여 제1 정합 데이터를 생성할 수 있다. 여기서, SAC-IA 알고리즘은 표면 정합을 수행하는 알고리즘으로, 정확도가 높지 않지만 정합 결과가 초기 위치에 대한 영향이 작다.
따라서, 3D 영상 정합 제공 장치(200)는 정합 부위의 3D 표면 데이터(A-1)와 3D 스캔 데이터(A-2)를 정합할 때, 서로 대응 되는 지점의 위치가 서로 상이하더라도 효과적으로 정합할 수 있도록 SAC-IA 알고리즘을 이용한다.
그리고 3D 영상 정합 제공 장치(200)는 표면 정합을 통해 표면 정합 데이터를 생성하면, 고정밀 정합을 위해 표면 정합데이터와 3D 표면 데이터를 ICP 알고리즘에 적용하여 3D 의료 영상 좌표계 공간과 깊이 인식 카메라 좌표계 공간을 정합 할 수 있다.
다시 말해, 3D 영상 정합 제공 장치(200)는 두개의 3D 표면 데이터를 SAC-IA 알고리즘과 ICP 알고리즘에 적용하여 3D 의료 영상 좌표계와(CT) 깊이 인식 카메라 좌표계(CD)간에 변환
Figure PCTKR2018012472-appb-I000001
을 수행할 수 있다.
이와 같은 단계별 정합을 통해 3D 영상 정합 제공 장치(200)는 수술 중에서 수술실에서 촬영되는 3D 표면 데이터에서 의료 영상 정보를 정확하게 확인할 수 있도록 환자의 3D 의료 영상과 수술실의 3D 표면 데이터를 정합한다.
다음으로 3D 영상 정합 제공 장치(200)는 추출된 랜드마크의 카메라 기준 3차원 좌표와 변환된 랜드마크의 위치추적 장치 기준 좌표의 정합을 수행하여 제2 정합 데이터를 생성한다(S340).
여기서 제2 정합 데이터는 깊이 인식 카메라 좌표계와 위치추적 장치 좌표계를 일치시키기 위한 변환식을 포함한다.
3D 영상 정합 제공 장치(200)는 S310 단계에서 획득한 정합바디의 영상에서 추출된 칼라 영상 및 정합바디의 3D 깊이 데이터를 이용하여 영상 처리를 수행할 수 있다.
이때, 정합바디에 부착된 랜드마크들이 용이하게 추출될 수 있도록 정합바디와 부착된 랜드마크들은 서로 상이한 색상으로 제작된다. 그러므로 영상 정합 제공 장치(200)는 칼라 영상을 영상처리를 통해 랜드마크들을 2차원 좌표를 추출할 수 있다. 그리고 3D 영상 정합 제공 장치(200)는 2차원 좌표에 대응하는 정합바디의 3D 깊이 데이터를 이용하여 랜드마크의 카메라 기준 3차원 좌표를 생성할 수 있다.
이하에서는 도 5를 이용하여 3D 영상 정합 제공 장치(200)가 깊이 인식 카메라 좌표계와 위치추적 장치 좌표계를 일치시키는 과정에 대해서 상세하게 설명한다.
도 5는 본 발명의 하나의 실시예에 따른 제2 정합부의 정합을 수행하는 과정을 설명하기 위한 도면이다.
도 5의 (a)는 수술 전 상황에서 랜드마크의 상대적인 위치 정보를 측정하는 예시도이고, (B)는 수술 전 측정된 랜드마크의 상대적인 위치 정보를 설명하기 위한 예시도이며, (C)는 수술 중 상황에서 랜드마크의 카메라 기준 3차원 좌표와 랜드마크의 위치추적 장치 기준 좌표를 추출하는 예시도이다.
먼저 도 5의 (a)에 도시한 바와 같이, 3D 영상 정합 제공 장치(200)는 수술 전 위치추적 장치(300)를 통해 정합바디(500)의 랜드마크의 3차원 위치를 측정할 수 있다. 다시 말해, 3D 영상 정합 제공 장치(200)는 위치추적 장치(300)와 연동되는 도구 센서가 정합바디(500)의 랜드마크를 닿으면, 해당 랜드마크의 위치가 위치추적 툴(510)을 원점으로 하여 자동 추출된다.
그러므로, 3D 영상 정합 제공 장치(200)는 수술 전 정합바디의 위치추적 툴(510)을 기준으로 하는 정합바디(500)내 랜드마크의 좌표를 추출할 수 있다.
그리고 도 5의 (b)와 같이, 3D 영상 정합 제공 장치(200)는 위치추적 툴(510)의 3차원 좌표로부터 각각의 랜드마크의 거리인 상대적인 위치 정보(b-1, b-2, b-3,...,b-n)를 별도로 저장할 수 있다. 이러한 랜드마크의 상대적인 위치 정보(b-1, b-2, b-3,...,b-n )는 데이터베이스(400)에 저장되고, 수술 중에 3D 영상 정합 제공 장치(200)에 제공된다.
S310단계에서 수집된 칼라 영상의 정합바디(500) 색상과 상이한 색상 정보에 기초하여 3D 영상 정합 제공 장치(200)는 칼라 영상을 영상 처리하여 2차원 위치를 추출한다. 그러면 3D 영상 정합 제공 장치(200)는 추출한 랜드마크의 2차원 위치와 정합바디의 3D 깊이 데이터를 이용하여 랜드마크의 카메라 기준 3차원 좌표(
Figure PCTKR2018012472-appb-I000002
)를 도출할 수 있다.
그리고 3D 영상 정합 제공 장치(200)는 수술 중, 위치추적 장치(300)으로부터 정합바디의 위치추적 툴(510)을 기준으로 하는 3차원 좌표를 수집한다.
그러면, 3D 영상 정합 제공 장치(200)는 미리 저장된 랜드마크의 상대적인 위치 정보(b-1, b-2, b-3,...,b-n)를 수술 중 수집한 위치추적 툴(510)의 3차원 좌표에 적용하여 자동적으로 변환(
Figure PCTKR2018012472-appb-I000003
)할 수 있다.
다시 말해, 3D 영상 정합 제공 장치(200)는 수술 전 측정된 위치추적 툴(510)을 원점으로 하는 랜드마크의 상대적인 위치 정보를 수술 중 수집된 위치추적 툴(510)을 원점으로 하는 랜드마크의 위치추적 장치 기준 좌표로 변환할 수 있다. 그러면 3D 영상 정합 제공 장치(200)는 랜드마크의 카메라 기준 3차원 좌표(
Figure PCTKR2018012472-appb-I000004
)와 랜드마크의 위치추적 장치 기준 좌표(
Figure PCTKR2018012472-appb-I000005
)를 일대일 점대점 매칭을 통하여 정합을 수행한다
Figure PCTKR2018012472-appb-I000006
.
이와 같이, 3D 영상 정합 제공 장치(200)는 실시간으로 점대점 매칭 정합하여 위치추적 장치 좌표계 공간과 깊이 인식 카메라 좌표계를 일치시킨다.
다음으로 3D 영상 정합 제공 장치(200)는 제1 정합 데이터와 제2 정합 데이터를 이용하여 최종 정합을 수행한다(S350).
다시 말해, 3D 영상 정합 제공 장치(200)는 앞서 수행된 두 정합을 기반하여 3D 의료 영상 좌표계 공간과 위치추적 장치 좌표계 공간의 일치시킬 수 있다.
3D 영상 정합 제공 장치(200)는 3D 의료 영상 데이터 좌표계와 위치추적 장치 좌표계 간의 정합을 하기 위해 S330 단계의 제1 정합 데이터
Figure PCTKR2018012472-appb-I000007
와 S340 단계의 제2 정합 데이터
Figure PCTKR2018012472-appb-I000008
를 실시간으로 정합한다.
따라서, 3D 영상 정합 제공 장치(200)는 다음 수학식 1과 같이 최종 정합 영상
Figure PCTKR2018012472-appb-I000009
을 생성할 수 있다.
Figure PCTKR2018012472-appb-M000001
한편, 수술 중 환자의 신체 일부분에 기준 추적 툴(600)이 부착된 경우, 3D 영상 정합 제공 장치(200)는 위치추적 장치(300)에 의해 추적되는 좌표를 기준 추적 툴 좌표계로 변환할 수 있다.
이하에서는 도 6을 이용하여 3D 영상 정합 제공 장치(200)가 최종 정합 영상에 환자의 움직임을 보상하는 과정에 대해서 상세하게 설명한다.
도 6은 본 발명의 하나의 실시예에 따른 기준 추적 툴 좌표계를 적용하는 과정을 설명하기 위한 도면이다.
도 6은 수술 중에서 환자의 신체 일부분에 기준 추적 툴(600)을 부착함으로써, 보다 빠르고 정확하게 환자의 움직임을 감지할 수 있다.
따라서 3D 영상 정합 제공 장치(200)는 수술 직전에 기준 추적 툴(600)을 기준으로 하는 3차원 좌표를 추출하고, 위치추적 장치(300)에 의해 추적된 좌표를 기준 추적 툴 좌표계로 미리 변환할 수 있다.
그리고 3D 영상 정합 제공 장치(200)는 기준 추적 툴 좌표계(RP)에 3D 영상 데이터와 랜드마크의 3차원 좌표의 정합 결과인 최종 정합 데이터를 적용할 수 있다. 여기서, 최종 정합 데이터는 S350 단계에서 수행된 최종 정합 결과 데이터를 나타낸다.
그러므로 3D 영상 정합 제공 장치(200)는 다음 수학식 2와 같이, 환자의 움직임을 보상하는 최종 정합
Figure PCTKR2018012472-appb-I000010
을 수행할 수 있다.
Figure PCTKR2018012472-appb-M000002
한편, 3D 영상 정합 제공 장치(200)는 깊이 인식 카메라(100)로부터 데이터를 획득하는 단계(S310)와 위치추적 장치(300)로부터 데이터를 획득하는 단계(S320)의 순서는 고정된 것이 아니고 상황에 따라 S320 단계를 S310 단계보다 먼저 수행되거나 동시에 수행될 수 있다.
이와 마찬가지로, S330 단계와 S340 단계의 순서도 경우에 따라 S340 단계보다 S330 단계가 먼저 수행되거나 동시에 수행될 수 있다.
본 발명의 하나의 실시예에 따른 방법을 실행시키기 위한 프로그램은 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다.
컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 여기서 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함된다.
이상에서 본 발명의 바람직한 하나의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
부호의 설명
100: 깊이 인식 카메라 200: 3D 영상 정합 제공 장치
210: 수집부 220: 제1 정합부
230: 제2 정합부 240: 제3 정합부
300: 위치추적 장치 400: 데이터베이스
500: 정합바디 510: 정합바디의 위치추적 툴
600: 기준 추적 툴

Claims (18)

  1. 깊이 인식 카메라로부터 정합하고자 하는 부분의 3D 깊이 데이터와 정합바디의 영상을 획득하고, 위치추적 장치로부터 상기 정합바디에 장착된 위치추적 툴의 3차원 좌표를 획득하는 수집부,
    미리 저장된 환자의 3D 의료 영상과 상기 3D 깊이 데이터의 표면 정합을 수행하는 제1 정합부,
    상기 정합바디의 영상으로부터 상기 정합바디에 부착된 랜드마크의 카메라 기준 3차원 좌표를 추출하고, 상기 위치추적 툴의 3차원 좌표를 기준으로 미리 저장된 상기 랜드마크의 상대적 위치 정보를 변환하여 상기 랜드마크의 카메라 기준 3차원 좌표와 변환된 상기 랜드마크의 위치 정보의 정합을 수행하는 제2 정합부, 그리고
    상기 제1 정합부와 상기 제2 정합부에서 수행한 정합 결과를 이용하여 최종 정합을 수행하는 제3 정합부
    를 포함하는 3D 영상 정합 제공 장치.
  2. 제1항에서
    상기 제1 정합부는,
    수술 전 획득한 상기 3D 의료 영상에서 정합하고자 하는 부분을 3D 표면 데이터로 추출하고,
    수술 중 수집된 환자의 상기 3D 깊이 데이터를 3D 스캔 데이터로 변환하여, 상기 3D 스캔 데이터와 상기 3D 스캔 데이터간에 표면 정합을 수행하는 3D 영상 정합 제공 장치.
  3. 제2항에 있어서,
    상기 제1 정합부는,
    SAC-IA 알고리즘을 통해 상기 표면 정합을 수행하여 표면 정합 데이터를 생성하고 상기 표면 정합 데이터와 상기 3D 표면 데이터를 정밀 정합 ICP 알고리즘에 적용하여 3D 의료 영상 좌표계와 깊이 인식 카메라 좌표계가 일치된 제1 정합 데이터를 생성하는 3D 영상 정합 제공 장치.
  4. 제1항에 있어서,
    상기 정합바디는,
    상기 위치추적 툴이 장착되고, 상기 정합바디와 상이한 색상을 가지는 상기 랜드마크가 부착되며, 수술 전 상기 위치추적 툴을 기준으로 측정된 상기 랜드마크의 상대적인 위치 정보를 저장하는 저장부를 더 포함하는 3D 영상 정합 제공 장치.
  5. 제4항에 있어서,
    상기 제2 정합부는,
    수술 중 수집된 상기 위치추적 툴의 3차원 좌표를 기준으로 미리 저장된 랜드마크의 상대적 위치 정보를 변환하여, 상기 랜드마크의 위치추적 장치 기준 좌표를 생성하는 3D 영상 정합 제공 장치.
  6. 제5항에 있어서,
    상기 제2 정합부는,
    상기 정합바디의 영상으로부터 상기 정합바디의 칼라 영상 및 상기 정합바디의 3D 깊이 데이터를 추출하고, 상기 칼라 영상에서 상이한 색상 정보를 이용하여 도출된 랜드마크 2차원 위치와 상기 정합바디의 3D 깊이 데이터를 통해 상기 랜드마크의 카메라 기준 3차원 좌표를 도출하는 3D 영상 정합 제공 장치.
  7. 제6항에 있어서,
    상기 제2 정합부는,
    상기 랜드마크의 위치추적 장치 기준 좌표와 상기 랜드마크의 카메라 기준 3차원 좌표간에 일대일로 점대점 정합을 통하여 깊이 인식 카메라 좌표계와 위치추적 장치 좌표계가 일치되도록 제2 정합 데이터를 생성하는 3D 영상 정합 제공 장치.
  8. 제3항 또는 제7항에 있어서,
    상기 제3 정합부는,
    상기 제1 정합 데이터와 상기 제2 정합 데이터를 정합하여, 상기 3D 의료 영상의 좌표계와 상기 위치추적 장치의 좌표계가 일치되도록 하는 3D 영상 정합 제공 장치.
  9. 제8항에 있어서,
    수술 중 상기 환자의 신체 일부분에 기준 추적 툴을 부착하고, 상기 위치추적 장치에 의해 추적되는 좌표를 기준 추적 툴 좌표계로 변환하는 기준 추적 좌표부를 더 포함하는 3D 영상 정합 제공 장치.
  10. 제9항에 있어서,
    상기 제3 정합부는,
    최종 정합이 수행된 데이터를 상기 기준 추적 툴 좌표계로 변환하는 3D 영상 정합 제공 장치.
  11. 깊이 인식 카메라로부터 정합하고자 하는 부분의 3D 깊이 데이터와 정합바디의 영상을 획득하고, 위치추적 장치로부터 상기 정합바디에 장착된 위치추적 툴의 3차원 좌표를 획득하는 단계,
    수술 전 미리 저장된 환자의 3D 의료 영상과 상기 3D 깊이 데이터의 정합을 수행하여 제1 정합 데이터를 생성하는 단계,
    상기 정합바디의 영상으로부터 상기 정합바디에 부착된 랜드마크의 카메라 기준 3차원 좌표를 추출하고, 상기 위치추적 툴의 3차원 좌표를 기준으로 기 저장된 상기 랜드마크의 상대적인 위치 정보를 변환하여, 상기 랜드마크의 카메라 기준 3차원 좌표와 변환된 상기 랜드마크의 위치 정보의 정합을 수행하여 제2 정합 데이터를 생성하는 단계, 그리고
    상기 제1 정합 데이터와 상기 제2 정합데이터를 이용하여 최종 정합을 수행하는 단계를 포함하는 3D 영상 정합 제공 장치의 정합 방법.
  12. 제11항에서
    상기 제1 정합 데이터를 생성하는 단계는,
    수술 전 획득한 상기 3D 의료 영상에서 정합하고자 하는 부분을 3D 표면 데이터로 추출하는 단계,
    수술 중 수집된 환자의 상기 3D 깊이 데이터를 3D 스캔 데이터로 변환하는 단계,
    상기 3D 표면 데이터와 상기 3D 스캔 데이터간에 표면 정합을 수행하여 표면 정합 데이터를 생성하는 단계, 그리고
    상기 표면 정합 데이터와 상기 3D 표면 데이터를 정밀 정합 ICP 알고리즘에 적용하여 3D 의료 영상 좌표계와 깊이 인식 카메라 좌표계가 일치된 제1 정합 데이터를 생성하는 3D 영상 정합 제공 장치의 정합 방법.
  13. 제11항에 있어서,
    상기 정합바디는,
    상기 위치추적 툴이 장착되고, 상기 정합바디와 상이한 색상을 가지는 상기 랜드마크가 부착되며, 수술 전 상기 위치추적 툴을 기준으로 측정된 상기 랜드마크의 상대적인 위치 정보를 저장하는 저장부를 더 포함하는 3D 영상 정합 제공 장치의 정합 방법.
  14. 제13항에 있어서,
    상기 제2 정합부는,
    수술 중 수집된 상기 위치추적 툴의 3차원 좌표를 기준으로 미리 저장된 랜드마크의 상대적 위치 정보를 변환하여, 상기 랜드마크의 위치추적 장치 기준 좌표를 생성하는 3D 영상 정합 제공 장치의 정합 방법.
  15. 제14항에 있어서,
    상기 제2 정합부는,
    상기 정합바디의 영상으로부터 상기 정합바디의 칼라 영상 및 상기 정합바디의 3D 깊이 데이터를 추출하는 단계,
    상기 칼라 영상에서 상이한 색상 정보를 이용하여 도출된 상기 랜드마크의 2차원 위치와 상기 정합바디의 3D 깊이 데이터를 통해 상기 랜드마크의 카메라 기준 3차원 좌표를 도출하는 단계, 그리고
    상기 랜드마크의 위치추적 장치 기준 좌표와 상기 랜드마크의 카메라 기준 3차원 좌표간에 일대일로 점대점 정합을 통하여 깊이 인식 카메라 좌표계와 위치추적 장치 좌표계가 일치되도록 제2 정합 데이터를 생성하는 단계를 포함하는 3D 영상 정합 제공 장치의 정합 방법.
  16. 제12항 또는 15항에 있어서,
    상기 최종 정합을 수행하는 단계는,
    상기 제1 정합 데이터와 상기 제2 정합 데이터를 정합하여, 상기 3D 의료 영상의 좌표계와 상기 위치추적 장치의 좌표계가 일치되도록 하는 3D 영상 정합 제공 장치의 정합 방법.
  17. 제16항에 있어서,
    수술 중 상기 환자의 신체 일부분에 기준 추적 툴을 부착하고, 상기 위치추적 장치에 의해 추적되는 좌표를 기준 추적 툴 좌표계로 변환하는 단계를 더 포함하는 3D 영상 정합 제공 장치의 정합 방법.
  18. 제17항에 있어서,
    상기 최종 정합을 수행하는 단계는,
    최종 정합이 수행된 데이터를 상기 기준 추적 툴 좌표계로 변환하는 3D 영상 정합 제공 장치의 정합 방법.
PCT/KR2018/012472 2018-07-31 2018-10-22 3d 영상 정합 제공 장치 및 그 방법 WO2020027377A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18928471.4A EP3832599A4 (en) 2018-07-31 2018-10-22 DEVICE FOR PROVIDING 3D IMAGE TRACKING AND RELATED METHOD
US17/264,921 US11468577B2 (en) 2018-07-31 2018-10-22 Device for providing 3D image registration and method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0089310 2018-07-31
KR1020180089310A KR102102942B1 (ko) 2018-07-31 2018-07-31 3d 영상 정합 제공 장치 및 그 방법

Publications (1)

Publication Number Publication Date
WO2020027377A1 true WO2020027377A1 (ko) 2020-02-06

Family

ID=69232230

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/012472 WO2020027377A1 (ko) 2018-07-31 2018-10-22 3d 영상 정합 제공 장치 및 그 방법

Country Status (4)

Country Link
US (1) US11468577B2 (ko)
EP (1) EP3832599A4 (ko)
KR (1) KR102102942B1 (ko)
WO (1) WO2020027377A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114129262A (zh) * 2021-11-11 2022-03-04 北京歌锐科技有限公司 一种患者手术位置的跟踪方法、设备及装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
US11672607B2 (en) * 2019-08-14 2023-06-13 Warsaw Orthopedic, Inc. Systems, devices, and methods for surgical navigation with anatomical tracking
KR102580750B1 (ko) * 2020-12-30 2023-09-19 서울대학교산학협력단 마커리스 기반의 3차원 영상 정합 방법 및 이를 이용한 3차원 객체 추적 방법 및 장치
KR102534981B1 (ko) * 2021-01-25 2023-05-19 인제대학교 산학협력단 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템
CN114587592B (zh) * 2022-03-18 2023-01-17 华科精准（北京）医疗科技有限公司 一种手术导航系统及其使用方法
CN114948221A (zh) * 2022-05-20 2022-08-30 宁波市第六医院 一种rtvit技术辅助手术机器人术中配准方法
CN116687564B (zh) * 2023-05-22 2024-06-25 北京长木谷医疗科技股份有限公司 基于虚拟现实的手术机器人自感知导航方法系统及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130317363A1 (en) * 2012-05-22 2013-11-28 Vivant Medical, Inc. Planning System and Navigation System for an Ablation Procedure
KR20150053202A (ko) * 2013-11-07 2015-05-15 한국전기연구원 수술용 항법 시스템의 교정 방법
KR20160042297A (ko) * 2014-10-08 2016-04-19 울산대학교 산학협력단 의료용 항법 장치
JP2016107059A (ja) * 2014-12-05 2016-06-20 ディオ コーポレーションＤｉｏ Ｃｏｒｐｏｒａｔｉｏｎ デンタルインプラント施術のための手術ガイドおよび植立物の製造方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999840A (en) * 1994-09-01 1999-12-07 Massachusetts Institute Of Technology System and method of registration of three-dimensional data sets
EP1607064B1 (en) * 2004-06-17 2008-09-03 Cadent Ltd. Method and apparatus for colour imaging a three-dimensional structure
KR102001219B1 (ko) * 2012-11-26 2019-07-17 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
WO2015193479A1 (en) * 2014-06-19 2015-12-23 KB Medical SA Systems and methods for performing minimally invasive surgery
US10092191B2 (en) * 2015-01-16 2018-10-09 Siemens Healthcare Gmbh Joint visualization of 3D reconstructed photograph and internal medical scan
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
US10635930B2 (en) * 2017-02-24 2020-04-28 Siemens Healthcare Gmbh Patient position control for scanning
CA3065436C (en) * 2017-08-11 2023-03-07 Brainlab Ag Video based patient registration and tracking
US10832408B2 (en) * 2017-10-26 2020-11-10 Synaptive Medical (Barbados) Inc. Patient registration systems, devices, and methods for a medical procedure

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130317363A1 (en) * 2012-05-22 2013-11-28 Vivant Medical, Inc. Planning System and Navigation System for an Ablation Procedure
KR20150053202A (ko) * 2013-11-07 2015-05-15 한국전기연구원 수술용 항법 시스템의 교정 방법
KR20160042297A (ko) * 2014-10-08 2016-04-19 울산대학교 산학협력단 의료용 항법 장치
JP2016107059A (ja) * 2014-12-05 2016-06-20 ディオ コーポレーションＤｉｏ Ｃｏｒｐｏｒａｔｉｏｎ デンタルインプラント施術のための手術ガイドおよび植立物の製造方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
M. H. CHOI, S. J. LEE, S. Y. WOO, J. Y. YOO, S. R. KANG, W. J. YI: "On-demand Automatic Registration Method between CT and EIcctromagiKticTracking Device Using RGB*D Camera", 2018 KOREAN SOCIETY FOR BIOMEDICAL DYNAMICS SPRING CONFERENCE, KONKUK UNIVERSITY GLOCAL CAMPUS, 2018.05.11-12, 11 May 2018 (2018-05-11), pages 395 - 396, XP009525430, Retrieved from the Internet <URL:http://www.kosombe.or.kr/file/2018_spring_180511.pdf> *
MIN-HYUK CHOI: "On-demand Automatic registration Method between CT and Electromagnetic Tracking Device Using RGB-D camera", 40TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY, HAWAII CONVENTION CENTER HONOLULU, HAWAII, 17 June 2018 (2018-06-17) *
See also references of EP3832599A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114129262A (zh) * 2021-11-11 2022-03-04 北京歌锐科技有限公司 一种患者手术位置的跟踪方法、设备及装置
CN114129262B (zh) * 2021-11-11 2023-12-22 北京歌锐科技有限公司 一种患者手术位置的跟踪方法、设备及装置

Also Published As

Publication number Publication date
KR20200013984A (ko) 2020-02-10
US11468577B2 (en) 2022-10-11
KR102102942B1 (ko) 2020-04-21
EP3832599A4 (en) 2022-04-27
US20210304423A1 (en) 2021-09-30
EP3832599A1 (en) 2021-06-09

Similar Documents

Publication Publication Date Title
WO2020027377A1 (ko) 3d 영상 정합 제공 장치 및 그 방법
WO2018155894A1 (ko) 영상 정합 장치 및 영상 정합 방법
US11298193B2 (en) Automatic registration method and device for surgical robot
WO2016043560A1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법
EP1477116A1 (en) Probe position measurement to facilitate image registration and image manipulation in a medical application
WO2019132427A1 (ko) 레이저 표적 투영장치 및 그 제어방법, 레이저 표적 투영장치를 포함하는 레이저 수술 유도 시스템
WO2016072586A1 (en) Medical image processing apparatus and method
JP3910239B2 (ja) 医用画像合成装置
WO2013095032A1 (ko) 초음파 영상을 이용하여 정중 시상면을 자동으로 검출하는 방법 및 그 장치
WO2016099212A1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 트래킹 방법
WO2014077613A1 (ko) 정복 시술 로봇 및 그의 구동 제어 방법
WO2019132165A1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
AU2020213847B2 (en) Method and system for proposing and visualizing dental treatments
WO2010058927A2 (ko) 안면 영상 촬영장치
WO2017191878A1 (ko) 치아 움직임 추적 장치 및 그 방법
WO2021256846A1 (ko) 슬라이드 이미지에 포함된 생체 조직의 길이를 측정하는 방법 및 이를 수행하는 컴퓨팅 시스템
KR100874186B1 (ko) 피검사자의 설진 영상을 스스로 촬영할 수 있는 방법 및 그장치
WO2020159008A1 (ko) 초음파 영상 장치 및 초음파 영상 생성 방법
WO2020235784A1 (ko) 신경 검출 방법 및 장치
WO2019132166A1 (ko) 수술보조 영상 표시방법 및 프로그램
WO2022080853A1 (ko) 휴대용 3차원 영상 측정 장치, 이를 이용한 3차원 영상 측정 방법 및 의료 영상 정합 시스템
JP7462255B2 (ja) 内視鏡用形状計測システムおよび内視鏡用形状計測方法
WO2020197109A1 (ko) 치아 영상 정합 장치 및 방법
WO2020246773A1 (ko) 초음파 영상과 3차원 의료 영상의 정렬을 위한 장치 및 방법
WO2018139707A1 (ko) 대상체에 관한 횡파 탄성 데이터를 표시하는 초음파 진단 장치 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18928471

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018928471

Country of ref document: EP

Effective date: 20210301