KR20210016433A - 간 수술을 위한 정렬 시스템 - Google Patents

간 수술을 위한 정렬 시스템 Download PDF

Info

Publication number
KR20210016433A
KR20210016433A KR1020207037920A KR20207037920A KR20210016433A KR 20210016433 A KR20210016433 A KR 20210016433A KR 1020207037920 A KR1020207037920 A KR 1020207037920A KR 20207037920 A KR20207037920 A KR 20207037920A KR 20210016433 A KR20210016433 A KR 20210016433A
Authority
KR
South Korea
Prior art keywords
location
coordinates
subset
images
camera
Prior art date
Application number
KR1020207037920A
Other languages
English (en)
Other versions
KR102577964B1 (ko
Inventor
리앙인 유
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20210016433A publication Critical patent/KR20210016433A/ko
Application granted granted Critical
Publication of KR102577964B1 publication Critical patent/KR102577964B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pulmonology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

장기의 3D 및 2D 영상들에서의 랜드마크들의 자동 등록을 위한 방법은 장기의 3D 표면 표현으로부터 유도된, 장기의 식별된 제1, 제2 및 제3 랜드마크들의 좌표들의 제1 세트, 및 장기의 2D 복강경 영상들로부터 유도된, 랜드마크들의 좌표들의 제2 세트를 사용하여, 2D 영상들에서 식별된 것과 같은 3개의 랜드마크에 3D 표면 표현에서 식별된 것과 같은 3개의 랜드마크를 등록하는 단계를 포함한다. 제3 랜드마크는 제1 및 제2 랜드마크들을 특징지우는 2개의 점 사이의 경로를 정의하는 복수의 점을 포함한다. 3D 표현 및 2D 영상들에서의 제1, 제2 및 제3 랜드마크들의 식별, 좌표들의 제1 및 제2 세트들의 유도, 유도된 좌표들의 제1 및 제2 세트들에 기초한 등록은 자동으로 수행된다.

Description

간 수술을 위한 정렬 시스템
복강경 수술은 수술 과정 동안 비디오 모니터에 실시간 영상들을 전송하는 광학 이미징 시스템 - 복강경 - 의 사용을 포함하는 최소 침습 유형의 복부 수술이다. 적절한 수술 실행을 위한 준비에서, 수술 전에 CT 이미징을 수행한 후에, 환자가 실제로 수술대에 있을 때 획득된 2-D 복강경 비디오 이미징과 관련한 결과들을 이용하는 것이 필요하다.
현재의 관행에서, 수술 중 실시간으로 획득된 2-D 영상들을 관심 장기의 3-D 표현을 생성하도록 전형적으로 재구성된, 이전에 생성된 CT 영상들에 정렬하는 작업은 수동으로 또는 반자동으로 수행된다.　 둘 다의 경우에, 이것은 수술 중 개인 또는 팀의 숙련도들에 의존하고, 수술 자체 외에도 어렵고 도전적인 영상 처리 작업을 수행하여야 한다는 것을 의미한다. 종종 그렇듯이, 수술 중 장기 변형이 발생하면 영상 정렬 문제는 훨씬 더 어려워진다.
그러므로, 수술 전 획득된 CT 3-D 영상들과 수술 중 획득된 2-D 차원 영상 간의 정렬을 완전 자동으로 수행하는 방법을 제공할 필요하다.　 간 수술은 이러한 자동 영상 정렬 방법이 큰 가치가 있는 딱 맞는 하나의 응용이다.
본 발명의 실시예들은 일반적으로 장기의 3D 및 2D 영상들에서의 랜드마크들의 자동 등록을 제공하는 방법들 및 시스템들에 관한 것이다. 한 실시예에서, 방법은 장기의 3D 표면 표현으로부터 유도된, 장기의 식별된 제1, 제2 및 제3 랜드마크들의 좌표들의 제1 세트, 및 장기의 2D 복강경 영상들로부터 유도된, 장기의 식별된 제1, 제2 및 제3 랜드마크들의 좌표들의 제2 세트를 사용하여, 2D 영상들에서 식별된 것과 같은 랜드마크들에 3D 표면 기하구조에서 식별된 것과 같은 랜드마크들을 등록하는 단계를 포함한다. 3D 및 2D 영상들에서의 제1, 제2 및 제3 랜드마크들의 식별은 자동으로 수행되고; 좌표들의 제1 및 제2 세트들의 유도는 자동으로 수행되고; 유도된 좌표들의 제1 및 제2 세트들에 기초하여 등록은 자동으로 수행된다.
또 하나의 실시예에서, 장치는 하나 이상의 프로세서; 및 하나 이상의 프로세서에 의한 실행을 위해 하나 이상의 비일시적 매체에 인코드되는 로직을 포함한다. 실행될 때, 로직은 장기의 3D 및 2D 영상들에서 랜드마크들을 자동으로 등록하도록 동작하고; 자동 등록은 장기의 3D 표면 표현으로부터 유도된, 장기의 식별된 제1, 제2 및 제3 랜드마크들의 좌표들의 제1 세트, 및 장기의 제1 및 제2 2D 복강경 영상들로부터 유도된, 장기의 식별된 제1, 제2 및 제3 랜드마크들의 좌표들의 제2 세트를 사용하여, 2D 영상들에서 식별된 것과 같은 랜드마크들에 3D 표면 영상에서 식별된 것과 같은 랜드마크들을 등록하는 단계를 포함한다. 3D 및 2D 영상들에서의 제1, 제2 및 제3 랜드마크들의 식별은 자동으로 수행되고; 좌표들의 제1 및 제2 세트들의 유도는 자동으로 수행되고; 유도된 좌표들의 제1 및 제2 세트들에 기초하여 등록은 자동으로 수행된다.
본원에 개시된 특정한 실시예들의 특징 및 장점들의 추가 이해가 명세서의 나머지 부분들 및 첨부된 도면들을 참조하여 실현될 수 있다.
도 1은 본 발명의 한 실시예에 따른 정렬 방법의 개략 개요도이다.
도 2는 본 발명의 한 실시예에 따른 정렬 방법의 플로우차트이다.
도 3은 본 발명의 한 실시예에서 사용되는 한가지 유형의 3D 재구성을 개략적으로 도시한다.
도 4는 본 발명의 한 실시예에서 사용되는 기준의 프레임들 간에 랜드마크 좌표들을 전이하는 방법을 개략적으로 도시한다.
도 5는 본 발명의 한 실시예에서 3D 표현과 실시간 2D 영상들 간에 랜드마크 좌표들을 등록하는 방법을 개략적으로 도시한다.
본원에 설명된 실시예들은 복강경 과정 동안 수술의 또는 수술 팀에 유용하게 높은 정도의 정밀도로 현재의 2D 복강경 시점에 정렬된 관심 장기 또는 부위의 3D 랜드마크들의 2D 표현을 제공한다. 그 장기 또는 부위의 3-D 표현이 획득되었고 수술 전 연구에 가용하게 되고, 그 장기 또는 부위의 2-D 복강경 영상들은 수술 중에 실시간으로 획득된다고 가정한다.
본 발명은 시간 소모적이고 전문화된 숙련도들을 요구하는 현재의 정렬 방식에 비해 이점들을 제공한다. 영상 정렬 과정의 다양한 단계들에서 사람 수술자로부터의 상당한 입력을 요구하는 것 대신에, 이들 단계를 수행하는 새로운 방법들이 개발되었고, 이들 방법은 자동으로 동작하는 컴퓨터-기반 처리 시스템에 의한 구현들에 특히 적합하다. 또한, 현재의 실시가 전형적으로 그러하듯이, 그것은 초음파 이미징 시스템들 및 추적 도구들과 같은 추가적인 특수 장비의 사용에 의존하지 않는다.
다음의 논의에서, "자동"이라는 단어는 과정이 시작된 후에 사람의 개입없이, 대응하는 처리가 소프트웨어에 의해 수행되는 것을 의미하는 것으로서 취해져야 한다.
도 1은 본 발명의 한 실시예에 따른 정렬 방법의 개요를 도시한다. 수술 전에, 관심 장기를 보여주는 일련의 CT 영상들(101)이 생성되고, 3D 표면 재구성(102)이 자동으로 생성된다. 적어도 3개의 랜드마크가 표면 재구성 상에서 식별되고, 제1 및 제2, X1 및 X2는 점들이고, 제3은 예를 들어, X1과 X2 사이의 이랑 또는 고랑일 수 있는, 쉽게 구별가능한 경로 C를 따라 배치된 복수의 점이다. 3개의 랜드마크에 대한 좌표들의 제1 세트는 자동으로 유도되고, 주석이 달린 3D 표면 재구성(103)에서 나타날 수 있다. 별도로 고려된 각각의 랜드마크에 대한 좌표들은 좌표들의 대응하는 "서브세트들"이라고 할 수 있다.
복강경 카메라를 포함하고, 하나 이상의 추적 센서를 선택적으로 포함할 수 있는 이미징 시스템(104)은 관심 장기뿐만 아니라, 일반적으로 몸 안의 주변 물질을 보여주는 일련의 적어도 3개의 2D 영상을 생성하기 위해 수술 중에 사용된다. 장기 로컬라이제이션 과정(105)은 영상들 내의 관심 장기를 구별하는 데 도움을 주기 위해 수행될 수 있다. 로컬라이제이션을 달성하는 몇가지 널리 공지된 방법들이 있기 때문에, 로컬라이제이션 과정은 본 개시내용에서 더 이상 논의되지 않는다. 2D 영상들의 각각 상에서, 동일한 3개의 랜드마크 X1, X2 및 C 중 하나 이상이 자동으로 식별된다. 3개의 랜드마크에 대한 좌표들의 제2 세트는 3개의 2D 영상으로부터 유도된다. 또한, 별도로 고려된 각각의 랜드마크에 대한 좌표들은 좌표들의 대응하는 "서브세트들"이라고 할 수 있다.
등록 계산들은 다음에 3D 및 2D 영상들로부터 유도된 "조정" 좌표들이라는 의미에서, 좌표들의 제1 및 제2 세트들에 대해 자동으로 수행된다. 최종 결과는 복강경 카메라의 (포즈 및 배향의 면에서) 프라이머리 시점으로부터의 장기의 2D 표현(107)이고, 이는 이 시점에 정렬된 3D 랜드마크들을 보여준다.
도 2는 비교적 대략적인 단계들 210, 220 및 230을 도시한, 본 발명의 한 실시예에 따른 정렬 방법(200)의 하이 레벨 플로우차트이다. 단계 210에서, 수술 전에, 좌표들의 제1 세트를 자동으로 결정하기 위해, 제1, 제2 및 제3 랜드마크들이 3D 표면 표현에서 자동으로 식별된다. 단계 220에서, 좌표들의 제2 세트를 자동으로 결정하기 위해 제1, 제2 및 제3 랜드마크들이 일련의 적어도 3개의 2D 영상에서 식별된다. 단계 220의 추가의 상세들이 도 4에 도시되고, 그 논의가 아래에 제시된다. 단계 230에서, 좌표들의 제1 및 제2 세트가, 3개의 2D 영상 중 프라이머리 2D 영상이 캡처된 포즈 및 배향에 대응하는 방식으로 3D 표면 표현 상에 랜드마크들을 자동으로 등록하기 위해 사용된다. 단계 230의 추가의 상세들이 도 5에 도시되고, 그 논의가 아래에 제시된다.
단계 210에의 입력으로서 사용되는 3D 표면 표현은 널리 공지된 영상 처리 기술들을 사용하여, 복수의 CT 영상의 사용으로 생성된다. 도 3은 본 발명의 한 실시예에서 사용되는 한가지 유형의 3D 재구성을 개략적으로 도시한다. 이것은 도 2 내의 표현(102)에 대응하는, 303A 또는 303B와 같은 3D 표면 표현을 출력으로서 발생하는 Delaunay 방법이다.
(적어도 2개의 점 및 그들 사이의 하나의 경로의) 랜드마크들은 본 기술 분야에 널리 공지된 컴퓨터 비전 및 그래픽 방법들에 의해 3D 표면 표현(102) 상에서 자동으로 식별된다. 랜드마크들에 대한 좌표들의 제1 세트가 다음에 자동으로 생성될 수 있다.
수술 중에, 프라이머리 포즈 및 배향을 갖는 제1 로케이션에 배치된 복강경 카메라는 관심 장기 또는 부위의 프라이머리 2D 영상을 캡처하여, 예를 들어, 도 4에 도시된 실시예에서 보여진 점 랜드마크들 중 적어도 하나, X1을 보여준다. 이 실시예에서 제1 카메라(402)는 (백색 원으로 표시된) 랜드마크 X1이 좌하부 모서리에 가깝게 분명히 보일 수 있는, 프라이머리 2D 영상(403)을 캡처한다. 카메라(402)는 이 도면의 중심 내에 개략적 표현(404)으로 도시한 것과 같은 관심 장기에 대해 제1 로케이션에 배치된다. 우상부 모서리에 가까운 랜드마크 X2는 예를 들어, 개입하는 장기 조직에 의해 영상(403)에서 전형적으로 부분적으로 가려지고, 숨겨진다는 점에 주목하여야 한다. 랜드마크 C의 부분도 또한 영상(403)에서 이런 식으로 부분적으로 가려질 수 있다
랜드마크 X1은 간 경계에서의 높은 만곡 피처를 식별하는 컴퓨터 비전 및 컴퓨터 그래픽 방법들을 사용하여 식별되고, 그것의 2D 좌표들은 축들 X, Y, Z로 표시된, 카메라(402)의 기준의 프레임에서 자동으로 생성된다.
제1 카메라(402)는 다음에 제2 카메라(406)에 실제로 가능한 한 가깝게, 제2 로케이션으로의 경로(백색 파선 P1로 표시됨)을 따라 이동되고, 2개의 로케이션 사이의 제1 카메라(402)의 움직임은 광학 또는 전자기 도구 추적기와 같은, 본 기술 분야에 널리 공지된 감지 기술을 사용하여, 3D로 추적된다.
도시된 실시예에서 스테레오 카메라를 포함하는 제2 카메라(406)는 도면의 우상부에서의 (이들 영상을 중첩하는 것으로부터 형성된) 합성 영상 내의 408 및 410으로서 도시한, 2개의 2D 영상을 캡처하는 기준 Xstereo, Ystereo, Zstereo의 제2 프레임에서 동작한다. 제2 랜드마크 X2는 이들 영상(408, 410) 각각에서 보여질 수 있지만, 제1 랜드마크 X1은 부분적으로 가려질 수 있다. 랜드마크 X2는 X1을 식별하기 위해 사용되는 것과 동일하거나 유사한 방법들을 사용하여 식별되고 기준의 Xstereo, Ystereo, Zstereo 프레임 내의 그것의 좌표들이 자동으로 생성된다.
도시한 실시예에서, 영상들(408, 410)은 스테레오 카메라에 의해, 그러므로 약간 측방향으로 변위된 위치들로부터 취해지기 때문에, 카메라로부터의 깊이뿐만 아니라 각각의 영상의 평면에 있어서 랜드마크 X2에 대한 위치 정보를 결정하는 것이 가능하다. 카메라(402)에 관한 추적 데이터의 분석과 함께 이 정보의 분석은 기준의 Xstereo, Ystereo, Zstereo 프레임으로부터 그것이 제1 2D 영상을 보는대로의 카메라(402)의 기준의 X, Y, Z 프레임으로 X2의 좌표들의 변환을 허용하는, 전형적으로 변환 행렬의 형태로 데이터를 산출한다. 제2 랜드마크의 좌표들의 변환은 파선 T1로 표시된다. X2의 2D 좌표들은 다음에 3D 좌표 정보를 기준의 X, Y, Z 프레임 내의 카메라(402)의 영상 평면 상으로 투사함으로써 획득된다.
위에 논의된 것과 같이, 도 4는 랜드마크 좌표들을 기준의 하나의 프레임으로부터 또 하나의 프레임으로 전이 또는 변환하는 방법을 도시한, 본 발명의 한 실시예를 개략적으로 도시하는데, 여기서 제1 카메라는 제1 로케이션에서 제1 영상을 캡처하고, 영상은 제1 랜드마크를 나타내고, 그 후 제2 로케이션으로 이동하고, 제2의 스테레오 카메라는 제2 랜드마크를 각각 나타내는 스테레오 영상들의 쌍을 캡처한다.
또 하나의 실시예에서, 제2 카메라는 그와 같은 스테레오 카메라가 아니고, 제2 로케이션 부근의 캡처하는 제2 영상과 제3 영상 사이에서 약간 이동하는 표준 카메라일 수 있고, 각각의 영상은 제2 랜드마크의 약간 상이한 뷰들을 보여주므로, 여전히 깊이 데이터가 생성되게 허용한다.
본 발명의 또 다른 실시예에서, 제2 카메라는 영상의 쌍들 만을 찍지 않고, 제2 로케이션 부근의 3개 이상의 영상을 찍는다. 이들 3개 이상의 영상 각각이 제2 로케이션 부근의 약간 상이한 위치로부터 캡처되는 경우에, 이들 영상의 분석은 3D로, 가능하게는 영상들의 단지 하나의 쌍이 취해진 경우에 제공되는 것보다 훨씬 더 높은 정확도로, 랜드마크 좌표들의 생성을 또한 허용할 것이다.
다른 실시예들에서, 제2 카메라 대신에, 제1 카메라는 제1 로케이션에서의 프라이머리 제1 2D 영상뿐만 아니라, 제2 로케이션 부근의 제2 및 제3 (및 선택적으로, 그 이상) 2D 영상들을 캡처하기 위해 사용된다.
본 개시내용 전체에 걸쳐 사용된 "의 부근의"라는 문구는 해당 카메라 또는 카메라들의 위치들이 본 기술 분야에 널리 공지된 삼각 측량법들이 그들 영상에서 보일 수 있는 피처들의 깊이에 관한 정보를 유도하기 위해 적용될 수 있도록 그들 위치로부터 캡처된 영상들이 중첩하기에 충분히 가깝게 된다는 것을 의미한다는 것을 이해하여야 한다.
도 5는 본 발명의 한 실시예에서 3D 표현과 실시간 2D 영상들 간에 랜드마크 좌표들을 등록하는 방법을 개략적으로 도시한다. 3D 표현(502)으로부터 이전에 확립된, 랜드마크들 X1 및 X2의 위치들은 카메라 캡처링(504)(위에 사용된 용어에서 제1 2D 영상)의 위치 및 배향의 평가를 사용하여 실시간 복강경 2D 영상(504)의 평면 상으로 투사되고, 이 평가는 위에 설명된 것과 같은 최적화 과정으로부터 유도된다. 카메라 투사 행렬이 전형적으로 생성되고 이 투사를 수행하는 데 사용된다. 영상(504) 상에 중첩되는 것은 위에 설명된 것과 같이, 영상(504)으로부터 직접 결정된 X1의 위치들, 및 제2 및 제3 2D 영상들로부터 확립된 좌표들의 변환에 의해 결정된 X2를 표시하는 마커들(백색 링들로 도시함)이다.
영상(504)의 우하측의 설명적인 도시는 제3 랜드마크의 투사 P(LC)뿐만 아니라, 랜드마크들 X1 및 X2의 투사된 위치들을 표시하는 원형 존들 S1 및 S2, 제1의 2개의 랜드마크들 사이의 3D 경로를 도시한다. 제3 랜드마크를 나타내는, 2D 복강경 영상들로부터 유도된 것이 파선 l(2D)로 또한 도시된다. 수술 전 3D 표현으로부터 투사된 경로와 실시간 2D 영상들로부터 결정된 경로 간의 에러는 모든 3개의 랜드마크의 최적한 등록을 야기하는 방식으로, 널리 공지된 수학적 기술들을 사용하여, 최소화된다.
본원에 설명된 실시예들은 3D 표현들과 2D 영상들 간의 랜드마크들의 정렬을 요구하는 응용들에 다양한 이점들을 제공한다. 특히, 실시예들은 수술 전 3D 재구성들에서 식별된 랜드마크들을 수술 중 캡처된 2D 복강경 영상들에서 보이는 것과 같은 그들 랜드마크에 자동으로 정렬하는 빠르고 효율적인 방법들을 지향하고 있다. 실시예들은 비교적 간단한 카메라 위치 추적 기술, 및 수술 전 또는 수술 중에 수술 팀에 의해 보여진 영상들에서 랜드마크의 정확한 정렬을 달성하기 위해, 널리 공지된 수학적 변환들을 사용하는 영상 처리를 요구한다. 수술 과정 동안의 그들의 동작들은 그러므로 영상 배향 해석 또는 동작하는 추가적인 이미징 및 추적 장비와 관련된 불필요한 혼란들 및 문제들 없이 지원된다.
설명이 그것의 특정한 실시예들과 관련하여 제시되었지만, 이들 특정한 실시예는 단지 예시적이고, 제한적이지 않다. 예를 들어, Delaunay 방법 이외의 방법들이 수술 전 수행되는 3D 재구성을 위해 사용될 수 있다. 3D 복강경 정보는 움직임 또는 시각적 주행거리 측정으로부터의 구조로부터 유도될 수 있다. 일부 실시예들에서, 추가적인 점 또는 라인 랜드마크들이 사용될 수 있다.
임의의 적합한 프로그래밍 언어가 C, C++, 자바, 어셈블리 언어 등을 포함하는 특정한 실시예들의 루틴들을 구현하기 위해 사용될 수 있다. 절차적 또는 객체 지향과 같은 상이한 프로그래밍 기술들이 이용될 수 있다. 루틴들은 단일 처리 디바이스 또는 다수의 프로세서 상에서 실행할 수 있다. 단계들, 동작들, 또는 계산들이 특정한 순서로 제시될 수 있지만, 이 순서는 상이한 특정한 실시예들에서 변화될 수 있다. 일부 특정한 실시예들에서, 본 명세서에서 순차로서 도시한 다수의 단계는 동시에 수행될 수 있다.
특정한 실시예들이 명령어 실행 시스템, 장치, 시스템, 또는 디바이스에 의해 또는 그것들과 관련하여 사용하기 위해 컴퓨터 판독가능 저장 매체에서 구현될 수 있다. 특정한 실시예들은 소프트웨어 또는 하드웨어 또는 둘 다의 조합에서 제어 로직의 형태로 구현될 수 있다. 하나 이상의 프로세서에 의해 실행될 때, 제어 로직은 특정한 실시예들에서 설명된 것을 수행하도록 동작가능할 수 있다.
특정한 실시예들은 프로그램된 범용 디지털 컴퓨터를 사용하여 구현될 수 있고, 주문형 집적 회로들, 프로그램가능한 로직 디바이스들, 필드 프로그램가능한 게이트 어레이들, 광학적, 화학적, 생물학적, 양자 또는 나노엔지니어링 시스템들, 컴포넌트들 및 메커니즘들을 사용하여 구현될 수 있다. 일반적으로, 특정한 실시예들의 기능들은 본 기술 분야에 공지된 것과 같은 임의의 수단에 의해 달성될 수 있다. 분산된 네트워크 시스템들, 컴포넌트들, 및/또는 회로들이 사용될 수 있다. 데이터의 통신, 또는 전달은 유선, 무선일 수 있거나, 기타 수단에 의해 이루어질 수 있다.
도면들에 도시된 요소들 중 하나 이상은 보다 분리된 또는 통합된 방식으로 또한 구현될 수 있고, 또는 특정한 응용에 따라, 유용한 것과 같이, 소정의 경우들에서 심지어 제거되거나 동작불가능하게 될 수 있다는 것을 또한 알 것이다. 컴퓨터가 위에 설명된 방법들 중 어느 것을 수행하게 하기 위해 머신 판독가능 매체 내에 저장될 수 있는 프로그램 또는 코드를 구현하는 것도 취지 및 범위 내에 있다.
"프로세서"는 임의의 적합한 하드웨어 및/또는 소프트웨어 시스템, 데이터, 신호들, 또는 다른 정보를 처리하는 메커니즘 또는 컴포넌트를 포함한다. 프로세서는 범용 중앙 처리 장치, 다수의 처리 장치, 기능을 달성하기 위한 전용 회로를 갖는 시스템, 또는 다른 시스템들을 포함할 수 있다. 처리는 지리적 로케이션으로 제한될 필요가 없거나, 시간적인 제한들이 있을 필요가 없다. 예를 들어, 프로세서는 "실시간", "오프라인"에서, "일괄 모드" 등에서 그것의 기능들을 수행할 수 있다. 처리의 부분들은 상이한(또는 동일한) 처리 시스템들에 의해, 상이한 시간들에서 그리고 상이한 로케이션들에서 수행될 수 있다. 처리 시스템들의 예들은 서버들, 클라이언트들, 최종 사용자 디바이스들, 라우터들, 스위치들, 네트워크 스토리지 등을 포함할 수 있다. 컴퓨터는 메모리와 통신하는 임의의 프로세서일 수 있다. 메모리는 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 자기 또는 광학 디스크, 또는 프로세서에 의한 실행을 위한 명령어들을 저장하기에 적합한 다른 비일시적 매체와 같은 임의의 적합한 프로세서 판독가능 저장 매체일 수 있다.
본원의 설명 및 청구범위 전체에 걸쳐 사용된 것과 같이, 단수 표현은 문맥이 명확하게 달리 표명하지 않는다면 복수 참조들을 포함한다. 또한, 본원의 설명 및 청구범위 전체에 걸쳐 사용된 것과 같이, 문맥이 명확하게 달리 표명하지 않는다면 "내에서"의 의미는 "내에서" 및 "상에서"를 포함한다.
그러므로, 특정한 실시예들이 본원에서 설명되었지만, 수정, 다양한 변화들, 및 치환들의 범위는 전술한 개시내용들 내에 포함되고, 일부 예들에서 특정한 실시예들의 일부 특징들은 제시된 것과 같은 범위 및 취지에서 벗어나지 않고서 다른 특징들의 대응하는 사용 없이 이용될 것이라는 것을 알 것이다. 그러므로, 많은 수정들이 특정한 상황 또는 재료를 본질적인 범위 및 취지에 적응시키도록 이루어질 수 있다.

Claims (20)

  1. 장기의 3D 및 2D 영상들에서의 랜드마크들의 자동 등록을 위한 방법으로서,
    상기 장기의 3D 표면 표현으로부터 유도된, 상기 장기의 식별된 제1, 제2 및 제3 랜드마크들의 좌표들의 제1 세트, 및 상기 장기의 2D 복강경 영상들로부터 유도된, 상기 장기의 상기 식별된 제1, 제2 및 제3 랜드마크들의 좌표들의 제2 세트를 사용하여, 상기 2D 영상들에서 식별된 것과 같은 상기 3개의 랜드마크에 상기 3D 표면 표현에서 식별된 것과 같은 상기 3개의 랜드마크를 등록하는 단계를 포함하고;
    상기 제3 랜드마크는 상기 제1 및 제2 랜드마크들을 특징지우는 2개의 점 사이의 경로를 정의하는 복수의 점을 포함하고;
    상기 3D 표현 및 상기 2D 영상들에서의 상기 제1, 제2 및 제3 랜드마크들의 상기 식별은 자동으로 수행되고;
    좌표들의 상기 제1 및 제2 세트들의 상기 유도는 자동으로 수행되고;
    상기 유도된 좌표들의 제1 및 제2 세트들에 기초하여 상기 등록은 자동으로 수행되는 방법.
  2. 제1항에 있어서,
    좌표들의 상기 제1 세트는
    상기 제1 랜드마크에 대한 로케이션 좌표들의 제1 서브세트;
    상기 제2 랜드마크에 대한 로케이션 좌표들의 제2 서브세트; 및
    상기 제3 랜드마크를 특징지우는 다수의 로케이션 좌표를 포함하는 로케이션 좌표들의 제3 서브세트를 포함하고;
    좌표들의 상기 제2 세트는
    상기 제1 랜드마크에 대한 로케이션 좌표들의 제4 서브세트;
    상기 제2 랜드마크에 대한 로케이션 좌표들의 제5 서브세트; 및
    상기 제3 랜드마크를 특징지우는 다수의 로케이션 좌표를 포함하는 로케이션 좌표들의 제6 서브세트를 포함하는 방법.
  3. 제2항에 있어서,
    상기 2D 영상들은 제1, 제2 및 제3 2D 영상들을 포함하고;
    좌표들의 상기 제1 및 제2 세트들은 상기 제1 2D 영상을 캡처하는 카메라의 제1 로케이션 및 제1 배향에 대응하는, 기준의 제1 프레임에서 표현되고;
    로케이션 좌표들의 상기 제5 서브세트는 상기 제2 및 제3 2D 영상들을 캡처하는 카메라의 제2 로케이션 및 제2 배향에 대응하는, 기준의 제2 프레임에서 표현되는 상기 제2 랜드마크의 로케이션 좌표들의 제7 서브세트를 변환함으로써 유도되는 방법.
  4. 제3항에 있어서,
    상기 제1 로케이션에서 상기 제1 2D 영상을 캡처하는 상기 카메라는 상기 제1 로케이션과 상기 제2 로케이션 사이에서 이동한 후에 상기 제2 로케이션 부근의 제2 위치에서 상기 제2 2D 영상을 캡처하고, 상기 제2 로케이션 부근의 상기 제2 위치와 상이한 제3 위치에서 상기 제3 2D 영상을 캡처하는 카메라이고;
    상기 제1 로케이션 및 제1 배향과 상기 제2 로케이션 및 제2 배향 사이의 상기 카메라의 움직임을 3D로 추적함으로써 제공된, 추적 데이터의 분석과 조합된, 상기 제2 및 제3 2D 영상들의 분석은 상기 제1 로케이션 및 제1 배향과 상기 제2 로케이션 및 제2 배향 간의 공간적 3D 관계가 결정되게 허용하여, 상기 제7 서브세트의 상기 제5 서브세트로의 변환을 달성하기 위해 요구되는 변환 데이터를 제공하는 방법.
  5. 제3항에 있어서,
    상기 제1 로케이션에서 상기 제1 2D 영상을 캡처하는 상기 카메라는 그 후 상기 제2 로케이션으로 이동되는 제1 카메라이고;
    상기 제2 및 제3 2D 영상들을 캡처하여, 상기 제2 로케이션 부근의 제2 위치에서 상기 제2 2D 영상을 캡처하고, 상기 제2 로케이션 부근의 상기 제2 위치와 상이한 제3 위치에서 상기 제3 2D 영상을 캡처하는 상기 카메라는 제2 카메라이고;
    상기 제1 로케이션 및 제1 배향과 상기 제2 로케이션 및 제2 배향 사이의 상기 제1 카메라의 움직임을 3D로 추적함으로써 제공된, 추적 데이터의 분석과 조합된 상기 제2 및 제3 2D 영상들의 분석은 상기 제1 로케이션 및 제1 배향과 상기 제2 로케이션 및 제2 배향 간의 공간적 3D 관계가 결정되게 허용하여, 상기 제7 서브세트의 상기 제5 서브세트로의 변환을 달성하기 위해 요구되는 변환 데이터를 제공하는 방법.
  6. 제1항에 있어서, 상기 장기의 상기 3D 표면 표현은 상기 장기의 복수의 CT 스캔으로부터 계산적으로 재구성되는 방법.
  7. 제6항에 있어서, 상기 재구성은 영상 처리의 Delaunay 방법을 사용하는 것을 포함하는 방법.
  8. 제6항에 있어서, 상기 3D 표면 표현의 상기 재구성은 수술 전에 수행되고, 상기 2D 영상들은 복강경 카메라 시스템을 사용하여 수술 중에 캡처되는 방법.
  9. 제1항에 있어서, 좌표들의 상기 제1 및 제2 세트들을 사용하여 상기 3개의 랜드마크를 등록하는 단계는
    상기 2D 영상들 중 하나를 캡처하는 카메라의 위치 및 배향의 평가를 사용하여 좌표들의 상기 제1 세트를 3D 공간으로부터 상기 2D 영상의 영상 평면에 투사하는 단계; 및
    로케이션 좌표들의 상기 제1 및 제2 서브세트들의 투사를 각각 로케이션 좌표들의 상기 제4 및 제5 서브세트들에 미리 결정된 한계들 내에서 정렬하면서, 로케이션 좌표들의 상기 제3 서브세트의 상기 투사와 상기 제3 랜드마크를 특징지우는 로케이션 좌표들의 상기 제6 서브세트 사이의 에러를 최소화하는 단계를 포함하는 방법.
  10. 제1항에 있어서, 상기 장기는 간인 방법.
  11. 장치로서,
    하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의한 실행을 위해 하나 이상의 비일시적 매체에 인코드되고, 실행될 때 장기의 3D 및 2D 영상들에서 랜드마크들을 자동으로 등록하도록 동작가능한 로직을 포함하고, 상기 자동 등록은
    상기 장기의 3D 표면 표현으로부터 유도된, 상기 장기의 식별된 제1, 제2 및 제3 랜드마크들의 좌표들의 제1 세트, 및 상기 장기의 제1 및 제2 2D 복강경 영상들로부터 유도된, 상기 장기의 상기 식별된 제1, 제2 및 제3 랜드마크들의 좌표들의 제2 세트를 사용하여, 상기 2D 영상들에서 식별된 것과 같은 상기 3개의 랜드마크에 상기 3D 표면 표현에서 식별된 것과 같은 상기 3개의 랜드마크를 등록하는 단계를 포함하고;
    상기 제3 랜드마크는 상기 제1 및 제2 랜드마크들을 특징지우는 2개의 점 사이의 경로를 정의하는 복수의 점을 포함하고;
    상기 3D 및 2D 영상들에서의 상기 제1, 제2 및 제3 랜드마크들의 상기 식별은 자동으로 수행되고;
    좌표들의 상기 제1 및 제2 세트들의 상기 유도는 자동으로 수행되고;
    상기 유도된 좌표들의 제1 및 제2 세트들에 기초하여 상기 등록은 자동으로 수행되는 장치.
  12. 제11항에 있어서,
    좌표들의 상기 제1 세트는
    상기 제1 랜드마크에 대한 로케이션 좌표들의 제1 서브세트;
    상기 제2 랜드마크에 대한 로케이션 좌표들의 제2 서브세트; 및
    상기 제3 랜드마크를 특징지우는 다수의 로케이션 좌표를 포함하는 로케이션 좌표들의 제3 서브세트를 포함하고;
    좌표들의 상기 제2 세트는
    상기 제1 랜드마크에 대한 로케이션 좌표들의 제4 서브세트;
    상기 제2 랜드마크에 대한 로케이션 좌표들의 제5 서브세트; 및
    상기 제3 랜드마크를 특징지우는 다수의 로케이션 좌표를 포함하는 로케이션 좌표들의 제6 서브세트를 포함하는 장치.
  13. 제12항에 있어서,
    상기 2D 영상들은 제1, 제2 및 제3 2D 영상들을 포함하고;
    좌표들의 상기 제1 및 제2 세트들은 상기 제1 2D 영상을 캡처하는 카메라의 제1 로케이션 및 제1 배향에 대응하는, 기준의 제1 프레임에서 표현되고;
    로케이션 좌표들의 상기 제5 서브세트는 상기 제2 및 제3 2D 영상들을 캡처하는 카메라의 제2 로케이션 및 제2 배향에 대응하는, 기준의 제2 프레임에서 표현되는 상기 제2 랜드마크의 로케이션 좌표들의 제7 서브세트를 변환함으로써 유도되는 장치.
  14. 제13항에 있어서,
    상기 제1 로케이션에서 상기 제1 2D 영상을 캡처하는 상기 카메라는 상기 제2 로케이션 부근의 제2 위치에서 상기 제2 2D 영상을 또한 캡처하고, 상기 제2 로케이션 부근의 상기 제2 위치와 상이한 제3 위치에서 상기 제3 2D 영상을 캡처하고;
    상기 제7 서브세트의 상기 제5 서브세트로의 상기 변환을 달성하기 위해 요구되는 데이터는 상기 제1 로케이션 및 제1 배향과 상기 제2 로케이션 및 제2 배향 사이의 상기 카메라의 움직임을 3D로 추적함으로써 결정되는 장치.
  15. 제13항에 있어서,
    상기 제1 2D 영상을 캡처하는 상기 카메라는 제1 카메라이고;
    제2 카메라는 상기 제2 및 제3 2D 영상들을 캡처하여, 상기 제2 로케이션 부근의 제2 위치에서 상기 제2 2D 영상을 캡처하고, 상기 제2 로케이션 부근의 상기 제2 위치와 상이한 제3 위치에서 상기 제3 2D 영상을 캡처하고;
    제2 및 제3 2D 영상들의 상기 스테레오 쌍의 분석은 상기 제1 로케이션 및 제1 배향과 상기 제2 로케이션 및 제2 배향 간의 공간적 3D 관계가 결정되게 허용하여, 상기 제7 서브세트의 상기 제5 서브세트로의 변환을 달성하기 위해 요구되는 데이터를 제공하는 장치.
  16. 장치로서,
    하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의한 실행을 위해 하나 이상의 비일시적 컴퓨터 판독가능 매체에 인코드되고, 실행될 때 장기의 3D 및 2D 영상들에서 랜드마크들을 자동으로 등록하도록 동작가능한 소프트웨어를 포함하고, 방법은
    상기 장기의 3D 표면 표현으로부터 유도된, 상기 장기의 식별된 제1, 제2 및 제3 랜드마크들의 좌표들의 제1 세트, 및 상기 장기의 제1 및 제2 2D 영상들로부터 유도된, 상기 장기의 상기 식별된 제1, 제2 및 제3 랜드마크들의 좌표들의 제2 세트를 사용하여, 상기 2D 영상들에서 식별된 것과 같은 상기 3개의 랜드마크에 상기 3D 표면 표현에서 식별된 것과 같은 상기 3개의 랜드마크를 등록하는 단계를 포함하고;
    상기 제3 랜드마크는 상기 제1 및 제2 랜드마크들을 특징지우는 2개의 점 사이의 경로를 정의하는 복수의 점을 포함하고;
    상기 3D 및 2D 영상들에서의 상기 제1, 제2 및 제3 랜드마크들의 상기 식별은 자동으로 수행되고;
    좌표들의 상기 제1 및 제2 세트들의 상기 유도는 자동으로 수행되고;
    상기 유도된 좌표들의 제1 및 제2 세트들에 기초하여 상기 등록은 자동으로 수행되는 장치.
  17. 제16항에 있어서,
    좌표들의 상기 제1 세트는
    상기 제1 랜드마크에 대한 로케이션 좌표들의 제1 서브세트;
    상기 제2 랜드마크에 대한 로케이션 좌표들의 제2 서브세트; 및
    상기 제3 랜드마크를 특징지우는 다수의 로케이션 좌표를 포함하는 로케이션 좌표들의 제3 서브세트를 포함하고;
    좌표들의 상기 제2 세트는
    상기 제1 랜드마크에 대한 로케이션 좌표들의 제4 서브세트;
    상기 제2 랜드마크에 대한 로케이션 좌표들의 제5 서브세트; 및
    상기 제3 랜드마크를 특징지우는 다수의 로케이션 좌표를 포함하는 로케이션 좌표들의 제6 서브세트를 포함하는 장치.
  18. 제17항에 있어서,
    상기 2D 영상들은 제1, 제2 및 제3 2D 영상들을 포함하고;
    로케이션 좌표들의 상기 제1, 제2, 제3, 제4, 제5 및 제6 서브세트들은 상기 제1 2D 영상을 캡처하는 카메라의 제1 로케이션 및 제1 배향에 대응하는, 기준의 제1 프레임에서 표현되고;
    로케이션 좌표들의 상기 제5 서브세트는 상기 제2 및 제3 2D 영상들을 캡처하는 카메라의 제2 로케이션 및 제2 배향에 대응하는, 기준의 제2 프레임에서 표현되는 상기 제2 랜드마크의 로케이션 좌표들의 제7 서브세트를 변환함으로써 유도되는 장치.
  19. 제18항에 있어서,
    상기 제1 로케이션에서 상기 제1 2D 영상을 캡처하는 상기 카메라는 상기 제2 로케이션 부근의 제2 위치에서 상기 제2 2D 영상을 또한 캡처하고, 상기 제2 로케이션 부근의 상기 제2 위치와 상이한 제3 위치에서 상기 제3 2D 영상을 캡처하고;
    상기 제7 서브세트의 상기 제5 서브세트로의 상기 변환을 달성하기 위해 요구되는 데이터는 상기 제1 로케이션 및 제1 배향과 상기 제2 로케이션 및 제2 배향 사이의 상기 카메라의 움직임을 3D로 추적함으로써 결정되는 장치.
  20. 제18항에 있어서,
    상기 제1 로케이션에서 상기 제1 2D 영상을 캡처하고 그 후 상기 제2 로케이션으로 이동되는 상기 카메라는 제1 카메라이고;
    상기 제2 및 제3 2D 영상들을 캡처하여, 상기 제2 로케이션 부근의 제2 위치에서 상기 제2 2D 영상을 캡처하고, 상기 제2 로케이션 부근의 상기 제2 위치와 상이한 제3 위치에서 상기 제3 2D 영상을 캡처하는 상기 카메라는 제2 카메라이고;
    상기 제1 로케이션 및 제1 배향과 상기 제2 로케이션 및 제2 배향 사이의 상기 제1 카메라의 움직임을 3D로 추적함으로써 제공된, 추적 데이터의 분석과 조합된 상기 제2 및 제3 2D 영상들의 분석은 상기 제1 로케이션 및 제1 배향과 상기 제2 로케이션 및 제2 배향 간의 공간적 3D 관계가 결정되게 허용하여, 상기 제7 서브세트의 상기 제5 서브세트로의 변환을 달성하기 위해 요구되는 변환 데이터를 제공하는 장치.
KR1020207037920A 2018-07-02 2019-06-12 간 수술을 위한 정렬 시스템 KR102577964B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/025,949 2018-07-02
US16/025,949 US10832422B2 (en) 2018-07-02 2018-07-02 Alignment system for liver surgery
PCT/IB2019/054887 WO2020008280A1 (en) 2018-07-02 2019-06-12 An alignment system for liver surgery

Publications (2)

Publication Number Publication Date
KR20210016433A true KR20210016433A (ko) 2021-02-15
KR102577964B1 KR102577964B1 (ko) 2023-09-15

Family

ID=67660587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207037920A KR102577964B1 (ko) 2018-07-02 2019-06-12 간 수술을 위한 정렬 시스템

Country Status (6)

Country Link
US (1) US10832422B2 (ko)
EP (1) EP3794554A1 (ko)
JP (1) JP7269538B2 (ko)
KR (1) KR102577964B1 (ko)
CN (1) CN112368739B (ko)
WO (1) WO2020008280A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE2250262A1 (en) 2022-02-25 2023-08-26 Navari Surgical Ab Marker unit for use in ar aided surgery

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007268259A (ja) * 2006-03-21 2007-10-18 Biosense Webster Inc 局所的に重み付けされた適合化を使用する画像位置合わせ
JP2016067946A (ja) * 2014-09-30 2016-05-09 株式会社東芝 医用画像データ処理装置及び医用画像データ処理方法
JP2016101502A (ja) * 2014-11-28 2016-06-02 株式会社東芝 医用画像処理装置
US20180158201A1 (en) * 2015-04-22 2018-06-07 Ucl Business Plc Apparatus and method for registering pre-operative image data with intra-operative laparoscopic ultrasound images

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2415000A (en) * 1999-01-15 2000-08-01 Z-Kat, Inc. Apparatus and method for measuring anatomical objects using coordinated fluoroscopy
US7756567B2 (en) 2003-08-29 2010-07-13 Accuray Incorporated Image guided radiosurgery method and apparatus using registration of 2D radiographic images with digitally reconstructed radiographs of 3D scan data
JP2008538080A (ja) * 2005-02-03 2008-10-09 ブラッコ イメージング ソチエタ ペル アチオニ 対象物の移動による画像アーチファクトの減少を伴う生物医学画像の登録のための方法と、コンピュータプログラムプロダクト
WO2007025081A2 (en) * 2005-08-24 2007-03-01 Traxtal Inc. System, method and devices for navigated flexible endoscopy
US7996060B2 (en) * 2006-10-09 2011-08-09 Biosense Webster, Inc. Apparatus, method, and computer software product for registration of images of an organ using anatomical features outside the organ
ITTV20100133A1 (it) * 2010-10-08 2012-04-09 Teleios Srl Apparato e metodo per effettuare la mappatura di uno spazio tridimensionale in applicazioni medicali a scopo interventistico o diagnostico
EP2680778B1 (en) * 2011-03-03 2019-07-31 Koninklijke Philips N.V. System and method for automated initialization and registration of navigation system
WO2013142819A1 (en) * 2012-03-22 2013-09-26 University Of Notre Dame Du Lac Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
US20150332464A1 (en) * 2014-05-19 2015-11-19 Occipital, Inc. Methods for automatic registration of 3d image data
US20170281135A1 (en) * 2014-09-12 2017-10-05 Analogic Corporation Image Registration Fiducials
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
US10262424B2 (en) 2015-12-18 2019-04-16 The Johns Hopkins University Method for deformable 3D-2D registration using multiple locally rigid registrations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007268259A (ja) * 2006-03-21 2007-10-18 Biosense Webster Inc 局所的に重み付けされた適合化を使用する画像位置合わせ
JP2016067946A (ja) * 2014-09-30 2016-05-09 株式会社東芝 医用画像データ処理装置及び医用画像データ処理方法
JP2016101502A (ja) * 2014-11-28 2016-06-02 株式会社東芝 医用画像処理装置
US20180158201A1 (en) * 2015-04-22 2018-06-07 Ucl Business Plc Apparatus and method for registering pre-operative image data with intra-operative laparoscopic ultrasound images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Rosalie Plantefeve 등, Automatic Alignment of pre and intraoperative Data using Anatomical Landmarks for Augmented Laparoscopic Liver Surgery, ISBMS 2014(2014.10.31.)* *

Also Published As

Publication number Publication date
US10832422B2 (en) 2020-11-10
CN112368739B (zh) 2024-05-31
EP3794554A1 (en) 2021-03-24
JP2021529593A (ja) 2021-11-04
WO2020008280A1 (en) 2020-01-09
CN112368739A (zh) 2021-02-12
US20200005473A1 (en) 2020-01-02
JP7269538B2 (ja) 2023-05-09
KR102577964B1 (ko) 2023-09-15

Similar Documents

Publication Publication Date Title
Wang et al. Video see‐through augmented reality for oral and maxillofacial surgery
US10432913B2 (en) Systems and methods for determining three dimensional measurements in telemedicine application
US9901407B2 (en) Computer-implemented technique for determining a coordinate transformation for surgical navigation
US11123144B2 (en) Registration of frames of reference
US9665936B2 (en) Systems and methods for see-through views of patients
US8073528B2 (en) Tool tracking systems, methods and computer products for image guided surgery
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
US8108072B2 (en) Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
Devernay et al. Towards endoscopic augmented reality for robotically assisted minimally invasive cardiac surgery
WO2014139079A1 (en) A method and system for three-dimensional imaging
CN109993792B (zh) 投影方法、装置及系统和可读存储介质
NL2022371B1 (en) Method and assembly for spatial mapping of a model of a surgical tool onto a spatial location of the surgical tool, as well as a surgical tool
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
JPWO2015162665A1 (ja) 手術支援システム、プロジェクタシステム，医療画像投影方法
Yang et al. Image mapping of untracked free‐hand endoscopic views to an ultrasound image‐constructed 3D placenta model
KR102577964B1 (ko) 간 수술을 위한 정렬 시스템
JP2019098057A (ja) 放射線治療装置
Chang et al. Interactive medical augmented reality system for remote surgical assistance
Hellwich et al. Patient registration using photogrammetric surface reconstruction from smartphone imagery
CN117557601B (zh) 一种基于数字孪生的骨骼配准方法及装置
JP7407831B2 (ja) 介入装置追跡
Trevisan et al. Augmented vision for medical applications
Rong Projection-Based Spatial Augmented Reality for Interactive Visual Guidance in Surgery
Su Vision Based Surgical Tool Tracking with Robot Kinematics Prior
CN115661234A (zh) 图像间规划点同步装置、电子设备、存储介质及相关方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right