KR20240016247A - 방사선학적으로 내비게이팅되는 수술-중 척추 안내 시스템 - Google Patents

방사선학적으로 내비게이팅되는 수술-중 척추 안내 시스템 Download PDF

Info

Publication number
KR20240016247A
KR20240016247A KR1020237033752A KR20237033752A KR20240016247A KR 20240016247 A KR20240016247 A KR 20240016247A KR 1020237033752 A KR1020237033752 A KR 1020237033752A KR 20237033752 A KR20237033752 A KR 20237033752A KR 20240016247 A KR20240016247 A KR 20240016247A
Authority
KR
South Korea
Prior art keywords
ultrasound
region
data
computer
surface representation
Prior art date
Application number
KR1020237033752A
Other languages
English (en)
Inventor
프랭크 슈와브
프랭크 코사레크
비흐지니 라파주
Original Assignee
뉴욕 쏘사이어티 포 더 릴리프 어브 더 럽쳐드 앤드 크리플드 메인테이닝 더 하스피틀 포 스페셜 설져리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 뉴욕 쏘사이어티 포 더 릴리프 어브 더 럽쳐드 앤드 크리플드 메인테이닝 더 하스피틀 포 스페셜 설져리 filed Critical 뉴욕 쏘사이어티 포 더 릴리프 어브 더 럽쳐드 앤드 크리플드 메인테이닝 더 하스피틀 포 스페셜 설져리
Publication of KR20240016247A publication Critical patent/KR20240016247A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Vascular Medicine (AREA)
  • Pulmonology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Urology & Nephrology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)

Abstract

방법은, 구역 내의 하나 이상의 신체 구조의 3D 표면 정보를 인코딩하는 초음파 데이터에 액세스하는 단계, 초음파 데이터에 기반하여 하나 이상의 신체 구조의 제1 3D 표면 표현을 추출하는 단계, 구역의 비-초음파 이미징을 수행하는 것으로부터 획득된 비-초음파 이미징 데이터에 액세스하는 단계, 비-초음파 이미징 데이터에 기반하여 하나 이상의 신체 구조의 제2 3D 표면 표현을 추출하는 단계, 심층 학습 알고리즘을 사용하여, 제1 3D 표면 표현으로부터, 하나 이상의 관심 구역(ROI)에 걸쳐 제1 3D 표면 표현 및 제2 3D 표면 표현을 정렬할 때 공간적 변환이 결정되도록 하나 이상의 관심 구역(ROI)을 식별하는 단계, 및 공간적 변환을 적용하는 것에 기반하여, 초음파 데이터로부터의 3D 표면 정보 상에 비-초음파 이미징 데이터로부터의 3D 표면 해부학적 정보의 오버레이를 생성하는 단계를 포함한다.

Description

방사선학적으로 내비게이팅되는 수술-중 척추 안내 시스템
관련 출원
본 출원은 미국 가출원 제63/157,483호를 우선권으로 주장하며, 상기 가출원 전체가 본원에 포함된다.
본 설명은 일반적으로 수술-중 시술(intra-operative procedure)들에 관한 것으로, 특히, 수술-중 시술들 동안의 내비게이션에 관한 것이다.
현재의 외과 시술들, 특히 척추 시술들은 상당한 위험들을 지니고 있다. 하나의 그러한 위험은, 신체의 신경계 및 혈관계의 취약한 구조들에 인접한 이식물들 및 디바이스들의 배치를 수반한다. 불량하게 또는 잘못 배치된 기구들 및 이식물들의 위험을 감소시키는 것은, 수술자 훈련 및 이미징 시스템들의 상당한 발전에도 불구하고 유리할 것이다. 척추 융합술에 연관된 다른 문제는, X-선 형광 투시법에 기반하여 이미지 정합을 합성할 수 있는 다양한 외과 시술들 및 환자를 위치결정하는 것에 의해 유발되는 척추의 재정형이다. 더욱이, 현재의 이미징 시스템들은 번거롭고 고가이다.
일 양상에서, 일부 구현들은 컴퓨터에 의해 구현되는(computer-implemented) 방법을 제공하며, 이 방법은, 초음파 프로브를 사용하여 수술-중에 환자의 구역에 고주파를 발사(insonify)하는 것으로부터 획득된 초음파 데이터에 액세스하는 단계 ― 초음파 데이터는, 구역 내의 하나 이상의 뼈 구조의 3D 표면 정보뿐만 아니라 초음파 프로브에 대한 하나 이상의 뼈 구조의 위치 정보를 실시간으로 인코딩함 ―; 초음파 데이터에 기반하여 하나 이상의 뼈 구조의 제1 3D 표면 표현을 추출하는 단계; 외과 시술 이전에 환자의 구역의 비-초음파 이미징을 수행하는 것으로부터 획득된 비-초음파 이미징 데이터에 액세스하는 단계 ― 비-초음파 이미징 데이터는 구역 내의 하나 이상의 뼈 구조의 3D 표면 해부학적 정보를 포함함 ―; 비-초음파 이미징 데이터에 기반하여 하나 이상의 뼈 구조의 제2 3D 표면 표현을 추출하는 단계; 심층 학습 알고리즘을 사용하여, 제1 3D 표면 표현으로부터, 하나 이상의 관심 구역(ROI)에 걸쳐 제1 3D 표면 표현 및 제2 3D 표면 표현을 정렬할 때 공간적 변환이 결정되도록 하나 이상의 관심 구역(ROI)을 식별하는 단계; 및 공간적 변환을 적용하는 것에 기반하여, 초음파 데이터로부터의 3D 표면 정보 상에 비-초음파 이미징 데이터로부터의 3D 표면 해부학적 정보의 오버레이를 생성하는 단계를 포함한다.
구현들은 다음의 피처들 중 하나 이상을 포함할 수 있다.
하나 이상의 ROI를 식별하는 것은, 제1 3D 표면 표현 및 제2 3D 표면 표현이 제1 임계 레벨을 초과하여 매칭되는 제1 3D 표면 표현으로부터의 영역을 부가함으로써, 식별된 하나 이상의 ROI를 성장시키는 것을 포함할 수 있다. 하나 이상의 ROI를 식별하는 것은, 제1 3D 표면 표현 및 제2 3D 표면 표현이 제1 임계 레벨을 초과하는 제1 3D 표면 표현으로부터의 영역을 뺌으로써, 식별된 하나 이상의 ROI를 프루닝(pruning)하는 것을 포함할 수 있다. 하나 이상의 ROI를 식별하는 것은, 외과 시술 동안 실시간으로 비-초음파 데이터 상에 오버레이될 초음파 데이터로부터의 3D 표면 해부학적 정보에 대해 미리 결정된 시간 구간 내에서 공간적 변환이 달성되도록 공간적 변환을 반복적으로 개선하게 심층 학습 알고리즘을 훈련시키는 것을 포함할 수 있다.
심층 학습 알고리즘은, 하나 이상의 ROI의 수, 하나 이상의 ROI의 크기, 하나 이상의 ROI의 위치, 제1 및 제2 3D 표면 표현들 사이의 매치를 결정하기 위한 제1 임계 레벨, 및 제1 및 제2 3D 표면 표현들의 잡음 특성을 결정하기 위한 제2 임계 레벨을 조정하는 것을 포함할 수 있다. 심층 학습 알고리즘은, 제1 3D 표면 표현 및 제2 3D 표면 표현이 매칭되는 경향이 있는 패치들의 제1 템플릿들을 저장하는 것을 포함할 수 있다. 심층 학습 알고리즘은, 초음파 데이터 또는 비-초음파 이미징 데이터 중 적어도 하나에 대한 공간적 변환에 기반하여, 제1 표면 3D 표현 및 제2 표면 3D 표현이 매칭되는 경향이 있는 ROI들의 제1 템플릿들을 교정하는 것을 포함할 수 있다. 심층 학습 알고리즘은, 제1 3D 표면 표현 및 제2 표면 표현이 미스매칭되는 경향이 있는 패치들의 제2 템플릿들을 저장하는 것을 포함할 수 있다. 심층 학습 알고리즘은, 초음파 데이터 또는 비-초음파 이미징 데이터 중 적어도 하나에 대한 공간적 변환에 기반하여, 제1 3D 표면 표현 및 제2 3D 표면 표현이 미스매칭되는 경향이 있는 ROI들의 제2 템플릿들을 교정하는 것을 포함할 수 있다.
구현들은, 하나 이상의 ROI에 걸쳐 제1 3D 표면 표현 및 제2 3D 표면 표현을 정렬하는 것에 기반하여, 외과 시술 이전에 획득된 비-초음파 이미징 데이터와 외과 시술 동안 획득된 초음파 데이터 사이에서 구역 내의 하나 이상의 뼈 구조의 변위를 추적하는 것; 및 공간적 변환에 기반하여, 외과 시술 이전에 획득된 비-초음파 이미징 데이터와 외과 시술 동안 획득된 초음파 데이터 사이에서 구역 내의 하나 이상의 뼈 구조의 변위를 정량화하는 것을 더 포함할 수 있다.
구현들은, 추적된 변위에 기반하여, 초음파 프로브의 포지션이 조정될 수 있도록, 외과 시술 동안 수술 중인 외과의사에 대한 내비게이션 안내를 실시간으로 업데이트하는 것을 더 포함할 수 있다. 구현들은, 초음파 프로브가 외과 시술 동안 하나 이상의 뼈 구조에 고주파를 발사하도록 재-위치결정되는 것에 대한 응답으로, 초음파 데이터로부터의 3D 표면 해부학적 정보 상의 비-초음파 이미징 데이터로부터의 3D 표면 해부학적 정보의 오버레이가 업데이트되도록 공간적 변환을 리프레시하는 것을 더 포함할 수 있으며, 여기서, 초음파 데이터는 재-위치결정된 초음파 프로브로부터 획득된다.
구현들은, 초음파 데이터를 사용하여, 외과 시술 동안 디바이스의 위치를 추적하는 것 ― 디바이스는, 외과용 기구, 이식물, 또는 자극기 디바이스를 포함함 ―; 및 비-초음파 이미징 데이터로부터의 하나 이상의 뼈 구조의 3D 표면 정보가 초음파 데이터로부터의 하나 이상의 뼈 구조의 3D 표면 정보 상에 오버레이되는 오버레이 상에 디바이스의 추적된 위치를 투영하는 것을 더 포함할 수 있다.
제1 3D 표면 표현을 추출하는 것은, 순방향 트레이싱 방법(forward tracing method) 또는 후방 음영 방법(back shadow method)을 포함하는 방법을 적용하는 것에 기반하여 조직-뼈 계면을 결정하는 것을 포함할 수 있으며, 여기서, 방법은, 조직-뼈 계면을 결정하기 위해 초음파 전파 방향을 따라 수행되고, 방법은, 조직-뼈 계면으로부터의 잔향들에 직면함이 없이 수행된다.
비-초음파 이미징 데이터는, 컴퓨터 단층촬영(computed tomography)(CT) 이미지 또는 자기 공명 이미징(MRI) 이미지를 포함할 수 있으며, MRI 이미지는 제로 에코-시간(zero echo-time)(TE) MRI 이미지를 포함하고, 컴퓨터에 의해 구현되는 방법은 X-선 형광 투시법 데이터에 액세스함이 없이 수행된다.
구역은, 척주 구역, 골반 구역, 천골 구역, 또는 후두골 구역을 포함할 수 있다. 구역은, 상완골, 팔꿈치들, 요골, 척골, 중수골들, 지골들, 견갑골, 늑골들, 장골 날개들, 대퇴골들, 슬개골, 경골들, 비골들, 또는 중족골 중 적어도 하나를 포함할 수 있다. 구역은, 어깨들, 팔꿈치들, 손목들, 손들, 엉덩이들, 무릎들, 발목들, 또는 발들 중 적어도 하나를 포함할 수 있다. 구역은, 뼈 내의, 뼈 주위의, 그리고 뼈의 표면 상의 하나 이상의 병변의 생검을 위한 영역을 포함할 수 있다. 구역은, 연조직 또는 발통점 주사를 위한, 그리고 (i) 관절천자술, 후관절 차단술, 또는 관절조영술을 위한 관절, (ii) 적어도 하나의 사지의 하나 이상의 뼈 주위의 윤활낭 또는 신경절들, (iii) 관절 주위의 하나 이상의 인대 구조, (iv) 손들 또는 발들의 수근관 및 족근관을 포함하는 하나 이상의 구조적 터널, 또는 (v) 하나 이상의 힘줄 내에 주사하기 위한 하나 이상의 영역을 포함할 수 있다.
다른 양상에서, 구현들은 시스템을 제공할 수 있으며, 시스템은, 환자의 구역에 고주파를 발사하도록 동작가능한 초음파 프로브; 외과 시술 동안 실시간 시각적 피드백을 제공하는 것이 가능한 디스플레이 디바이스; 및 초음파 프로브 및 디스플레이 디바이스와 통신하는 컴퓨터 프로세서를 포함하고, 컴퓨터 프로세서는, 외과 시술 동안 수술-중에 환자의 구역에 고주파를 발사하는 것으로부터 획득된 초음파 데이터에 액세스하고 ― 초음파 데이터는, 구역 내의 하나 이상의 뼈 구조의 3D 표면 정보뿐만 아니라 초음파 프로브에 대한 하나 이상의 뼈 구조의 위치 정보를 실시간으로 인코딩함 ―; 초음파 데이터에 기반하여 하나 이상의 뼈 구조의 제1 3D 표면 표현을 추출하고; 외과 시술 이전에 환자의 구역에 대해 비-초음파 이미징을 수행하는 것으로부터 획득된 비-초음파 이미징 데이터에 액세스하고 ― 비-초음파 이미징 데이터는 구역 내의 하나 이상의 뼈 구조의 3D 표면 해부학적 정보를 포함함 ―; 비-초음파 이미징 데이터에 기반하여 하나 이상의 뼈 구조의 제2 3D 표면 표현을 추출하고; 심층 학습 알고리즘을 사용하여, 제1 3D 표면 표현으로부터, 하나 이상의 관심 구역(ROI)에 걸쳐 제1 3D 표면 표현 및 제2 3D 표면 표현을 정렬할 때 공간적 변환이 결정되도록 하나 이상의 관심 구역(ROI)을 식별하고; 공간적 변환을 적용하는 것에 기반하여, 초음파 데이터로부터의 3D 표면 정보 상에 비-초음파 이미징 데이터로부터의 3D 표면 해부학적 정보의 오버레이를 생성하도록 구성된다.
구현들은 다음의 피처들 중 하나 이상을 포함할 수 있다.
컴퓨터 프로세서는, 초음파 데이터를 사용하여, 외과 시술 동안 외과용 기구의 위치를 추적하고; 비-초음파 이미징 데이터로부터의 하나 이상의 뼈 구조의 3D 표면 정보가 초음파 데이터로부터의 하나 이상의 뼈 구조의 3D 표면 정보 상에 오버레이되는 오버레이 상에 외과용 기구의 추적된 위치를 투영하도록 추가로 구성될 수 있으며, 여기서, 외과용 기구는, 외과 시술 동안 구역 내에 척추경 나사못, 이식물, 또는 자극기를 배치하는 것을 용이하게 하도록 동작가능하다.
컴퓨터 프로세서는, 하나 이상의 ROI에 걸쳐 제1 3D 표면 표현 및 제2 3D 표면 표현을 정렬하는 것에 기반하여, 외과 시술 이전에 획득된 비-초음파 이미징 데이터와 외과 시술 동안 획득된 초음파 데이터 사이에서 구역 내의 하나 이상의 뼈 구조의 변위를 추적하고; 추적된 변위에 기반하여, 초음파 프로브의 포지션이 조정될 수 있도록 외과 시술 동안 수술 중인 외과의사에 대한 내비게이션 안내를 실시간으로 업데이트하도록 추가로 구성될 수 있다.
디스플레이 디바이스는, 외과 시술 동안 수술 중인 외과의사를 내비게이팅하기 위한 증강 현실 렌더링이 제공되게, 초음파 데이터로부터의 3D 표면 정보 상의 비-초음파 이미징 데이터로부터의 3D 표면 해부학적 정보의 오버레이를 실시간으로 리프레시하도록 구성될 수 있다. 디스플레이 디바이스는 웨어러블 디바이스를 포함할 수 있고, 여기서, 초음파 프로브는 무선 초음파 프로브를 포함한다.
시스템은, 외과 시술 동안 초음파 프로브의 실시간 추적 정보를 제공하도록 구성되는 추적 시스템을 더 포함할 수 있으며, 여기서, 초음파 프로브의 실시간 추적 정보는, 초음파 프로브에 대한 하나 이상의 뼈 구조의 위치 정보와 결합될 때, 외과 시술 동안 초음파 프로브를 위치결정하는 것에 관한 수술 중인 외과의사에 대한 내비게이션 안내로 변환가능하다. 추적 시스템은, 광학 추적기, 스텝형 모터, 전자기 센서, 가속기, 또는 자이로스코프 중 적어도 하나를 포함할 수 있다.
구역은, 척주 구역, 골반 구역, 천골 구역, 또는 후두골 구역을 포함할 수 있다. 구역은, 상완골, 팔꿈치들, 요골, 척골, 중수골들, 지골들, 견갑골, 늑골들, 장골 날개들, 대퇴골들, 슬개골, 경골들, 비골들, 또는 중족골 중 적어도 하나를 포함할 수 있다. 구역은, 어깨들, 팔꿈치들, 손목들, 손들, 엉덩이들, 무릎들, 발목들, 또는 발들 중 적어도 하나를 포함할 수 있다. 구역은, 뼈 내의, 뼈 주위의, 그리고 뼈의 표면 상의 하나 이상의 병변의 생검을 위한 하나 이상의 영역을 포함할 수 있다. 구역은, 연조직 또는 발통점 주사를 위한, 그리고 (i) 관절천자술, 후관절 차단술, 또는 관절조영술을 위한 관절, (ii) 적어도 하나의 사지의 하나 이상의 뼈 주위의 윤활낭 또는 신경절들, (iii) 관절 주위의 하나 이상의 인대 구조, (iv) 손들 또는 발들의 수근관 및 족근관을 포함하는 하나 이상의 구조적 터널, 또는 (v) 하나 이상의 힘줄 내에 주사하기 위한 하나 이상의 영역을 포함할 수 있다.
또 다른 양상에서, 일부 구현들은, 초음파 프로브를 사용하여 환자의 구역에 고주파를 발사하는 것으로부터 획득된 초음파 데이터에 액세스하는 것 ― 초음파 데이터는, 구역 내의 하나 이상의 뼈 구조의 3D 표면 정보뿐만 아니라 초음파 프로브에 대한 하나 이상의 뼈 구조의 위치 정보를 실시간으로 인코딩함 ―; 초음파 데이터에 기반하여 하나 이상의 뼈 구조의 제1 3D 표면 표현을 추출하는 것; 환자의 구역의 비-초음파 이미징을 수행하는 것으로부터 획득된 비-초음파 이미징 데이터에 액세스하는 것 ― 비-초음파 이미징 데이터는 구역 내의 하나 이상의 뼈 구조의 3D 표면 해부학적 정보를 포함함 ―; 비-초음파 이미징 데이터에 기반하여 하나 이상의 뼈 구조의 제2 3D 표면 표현을 추출하는 것; 심층 학습 알고리즘을 사용하여, 제1 3D 표면 표현으로부터, 하나 이상의 관심 구역(ROI)에 걸쳐 제1 3D 표면 표현 및 제2 3D 표면 표현을 정렬할 때 공간적 변환이 결정되도록 하나 이상의 관심 구역(ROI)을 식별하는 것; 및 공간적 변환을 적용하는 것에 기반하여, 초음파 데이터로부터의 3D 표면 정보 상에 비-초음파 이미징 데이터로부터의 3D 표면 해부학적 정보의 오버레이를 생성하는 것을 제공한다.
도면들을 참조하여, 단지 예로서 실시예들이 이제 설명될 것이다.
도 1은 본 개시내용의 일부 구현들에 의해 사용되는 바와 같은 작업 흐름을 예시하는 다이어그램의 예를 도시한다.
도 2는 본 개시내용의 일부 구현들에 의해 사용되는 바와 같은, 척추골들의 수술-전 고해상도 CT 이미지들의 예를 예시한다.
도 3은 본 개시내용의 일부 구현들에 따른, 척추골의 수술-중 초음파(US) 이미지의 예를 예시한다.
도 4a 내지 도 4d는 본 개시내용의 일부 구현들에 따른, 수술-중 US 데이터에 기반하여 골 표면을 식별하는 예들을 예시한다.
도 5a 내지 도 5d는 본 개시내용의 일부 구현들에 따른, 수술-전 CT 이미지들로부터의 표면 표현을 수술-중 초음파로부터의 표면 표현과 정렬하는 예들을 예시한다.
도 5e 내지 도 5f는 본 개시내용의 일부 구현들에 따른, 수술-전 CT 이미지들과 수술-중 US 데이터의 중첩의 예들을 예시한다.
도 6a 및 도 6b는 본 개시내용의 일부 구현들에 따른, 수술-전 CT 이미지들을 수술-중 US 데이터와 중첩시키는 예들을 예시한다.
도 6c 내지 도 6d는 본 개시내용의 일부 구현들에 따른, 수술-전 고해상도 CT 이미지들을 수술-중 US 데이터와 중첩시키는 것에 기인하는 렌더링된 표면의 예들을 예시한다.
도 7은 본 개시내용의 일부 구현들에 따른, 수술-전 CT 이미지들을 수술-중 초음파 데이터와 중첩시키는 예 동안의 패치들의 예들을 예시한다.
도 8a 내지 도 8c는 본 개시내용의 일부 구현들에 의해 사용되는 흐름도들의 예들을 예시한다.
도 9는 본 개시내용의 구현에 따른, 설명된 알고리즘들, 방법들, 기능들, 프로세스들, 흐름들, 및 절차들과 연관된 계산 기능성들을 제공하기 위해 사용되는 컴퓨터 시스템의 예를 예시하는 블록 다이어그램이다.
다양한 도면들에서 동일한 참조 기호들은 동일한 요소들을 표시한다.
지난 수십 년간, 환자 내의 구조들의 가시성을 향상시키기 위한 수술-중 이미징 시스템들에 대한 큰 진전을 보였다. 내비게이션 시스템들은 또한, 외과 시술들을 위한 안전한 궤적들의 안내를 외과의사에게 제공하도록 진화해 왔다. 그러나, 이러한 시스템들은 전형적으로, 수술-중 형광 투시 이미지들에 부가하여 수술-전의 정밀-컷(fine-cut) CT 스캔들을 또는 수술-중에 취득된 형광 투시 CT 스캔들을 요구한다. 이러한 취득 모드들은, 환자들을 그리고 일부 예시들에서는 의료 전문가들을 광범위한 방사선 선량들에 노출시킬 수 있다. 부가적으로, 수술-중 시술 동안, 환자에 부착된 기준 마커가 변위되며, 그에 의해, 움직이는 타겟에 이르는 게이트가 개방된다. 그러한 상황에서, 부가적인 방사선학적 이미지들은 시술 흐름을 현격히 둔화시키고 수술 부위(surgical field)의 오염의 위험이 있게 할 수 있다.
본 개시내용에 의해 설명된 구현들은, 통상의 카메라 기반 내비게이션 시스템 또는 증강 현실 시스템과 결합된 척추 경계표(landmark)들의 초음파 기반 참조에 대한 신규한 시스템을 제공한다. 개시된 시스템의 기반은, 환자 또는 노출된 수술 부위에 걸쳐 변위되는 초음파 디바이스의 수술-중 사용에 관한 것이며, 이는, 환자의 신체 내로 전파될 초음파에 대한 결합을 제공하기 위해 식염수 용액 또는 겔로 채워질 수 있다. 수술-중 사용은, 외과적 수술 동안의 기구의 사용을 지칭할 수 있다. 개시된 시스템은, 통상의 컴퓨터 단층촬영(CT) 또는 자기 공명 이미징(MRI)으로부터 계산된 수술-전 표면 토포그래피를 갖는 컴퓨터 시스템에 결합될 수 있다. 개시된 시스템에서, 초음파 프로브가 변위될 때, 센서들, 자이로스코프들, 또는 광학 추적기들이 사용되어, 척추골들의 3D 표면이 평가되고 업데이트될 수 있도록 변위 및 배향이 결정될 수 있다. 또한, 초음파 프로브의 변위를 증강 현실 헤드셋에 결합하는 것은, 수술 중인 외과의사가 수술-전 CT 또는 MRI로부터의 오버레이 이미지들로 척추골의 정확한 포지션을 시각화하는 것을 허용할 수 있다. 부가적으로 또는 대안적으로, 개시된 시스템은, 환자에 부착된 고정된 기준 마커와 관련하여 카메라 내비게이션을 이용해서 초음파 프로브 변위를 추적할 수 있다. 개시된 시스템은, 심층 학습 또는 인공 지능(AI) 알고리즘을 사용하여, 실시간으로, 수술-중 초음파(US) 데이터에 기반하여 골 척추의 골질 표면들을 식별할 수 있다. 구현들은, 수술-중 US 데이터로부터 영역들 또는 "패치들/ROI들"을 지능적으로 선택할 수 있다. 다시 말해서, 심층 학습 또는 AI 알고리즘은, 서로 함께 취해질 때, 각각의 단일 척추골의 "썸프린트(thumbprint)"로서 기능할 수 있는 이러한 "패치들"을 식별하도록 훈련될 수 있다. 실제로, 구현들은, 환자 움직임이 척추체들의 포지션들 사이의 공간적 변화들을 유발하기 때문에 각각의 척추골을 별개로 다룰 수 있다. 이러한 구현들에서, AI 알고리즘은 이어서, 외과 시술 동안 실시간으로, 수술-중 초음파 데이터 상의 척추체의 이러한 "썸프린트들"을 수술-전 CT/MRI 이미지들과 매칭시킬 수 있다. 표면 데이터 및 내비게이팅된 US 프로브를 사용하여, 척추 후부의 3D 골 표면이 실시간으로 생성될 수 있다. 개시된 시스템을 사용하여, 수술 중인 외과의사는, 이식물들 뿐만 아니라 (또한, 카메라 기반 시스템을 통해 비드(bead)들을 추적하는 것을 이용한) 추적된 기구들 및/또는 이식물들의 실시간 변위를, 수술-전 이미징 상의 오버레이가 제공되는 스크린 디스플레이 상에 시각화할 수 있다.
개시된 시스템의 장점들은, 세그먼트화된 수술-전 이미징(CT, MRI)과 관련하여 표면 토포그래피를 맵핑하고 매칭시키기 위한 초음파 프로브의 수술-중 사용을 포함한다. 이러한 시스템의 장점들은 또한, 방사선이 없는 수술-중 내비게이션, 표면 토포그래피의 개선된 취득 속도, 감소된 작업 흐름 부담, 및 감소된 감염 위험을 포함한다. 때로는 하나의 시술에 대해서도 반복적인 형광 투시 이미징에 대한 현재의 필요성은, 시간 소모적이고 환자 및 병실 팀을 방사선에 노출시킨다. 또한, 부피가 큰 형광 투시 장비의 반복된 도입은 수술 부위의 오염에 대한 위험 환경을 생성할 수 있다.
도 1은 본 개시내용의 일부 구현들에 의해 사용되는 바와 같은 작업 흐름을 예시하는 다이어그램(100)의 예를 도시한다. 예시된 바와 같이, 다이어그램(100)은, CT 이미지 볼륨(101) 및 US 이미지 볼륨(103)을 가져온다. 일부 구현들에서, CT 이미지 볼륨(100)은, 외과 시술 전에 획득된 환자의 척추 구역의 고해상도 CT 이미지를 지칭한다. 구현들은 척추골 구역과 같은 척주에 제한되지 않는다. 구역들은, 골반 구역, 천골 구역, 또는 후두골 구역을 포함할 수 있다. 도 2로부터의 예(200)를 참조하면, 일부 경우들에서, 척추의 척추체들의 수술-전 고해상도 CT 이미지들은 0.33 mm x 0.33 mm x 0.33 mm의 해상도를 가질 수 있다. 일부 구현들에서, 공간적 해상도는 예(200)에 의해 제공되는 해상도보다 훨씬 더 작을 수 있다. 구현들은, 고해상도 CT 이미지들을 사용하는 것으로 제한되지 않는다. 실제로, 고해상도 자기 공명 이미징(MRI) 이미지들이 또한 사용될 수 있다. 예컨대, 일부 구현들은, 외과 시술 전에 획득된 제로 에코-시간(TE) 고속 MRI 데이터 세트를 포함할 수 있다. 구현들은, 개별 척추골들의 3D 표현을 획득하기 위해 수술-전 이미지 데이터 세트로부터 개별 척추골들(척추체들 및 후부 요소들)의 골 외부 표면을 식별하기 위한 세그먼트화를 포함할 수 있다. 세그먼트화의 결과는, 척수를 따른 특정 해부학적 경계표들뿐만 아니라 각각의 척추골 레벨에서 후부 요소들의 형상을 드러내기 위한 개별 척추골의 성공적인 라벨링일 수 있다.
초음파(US) 이미지 볼륨(103)은, 전형적으로 초음파 트랜스듀서 요소들의 어레이를 갖는 초음파 프로브로부터 외과 시술 동안 획득된 수술-중 초음파 데이터를 지칭할 수 있다. 수술-중 초음파는 수술-전 이미지들과 동일한 구역을 커버할 수 있다. 예컨대, 외과의사는, 초음파 프로브로 척추의 후부 골질 표면을 스캐닝할 수 있다. 일부 경우들에서, 무선 초음파 프로브가 사용될 수 있다. 스캐닝은, 관심 영역 내의 피부 표면을 따라, 또는 초음파 고주파 발사에 적응된 식염수 또는 다른 겔/유체로 채워진 외과적 상처에 직접 초음파 프로브를 통과시킴으로써 수행될 수 있다. 척추의 초기 스윕은 골 레벨, 예컨대, L1, L2, L3 등을 식별하기 위해 수행될 수 있다. 초기 스윕은 척추 레벨들(L1, L2, L3 등)을 검출하기에 충분한 정확도를 갖는 신속하고 개략적인 통과일 수 있지만, 전체 골질 세부사항을 시각화하도록 더 세밀화될 필요는 없다. 초기 스윕에 이어서, 척추의 전체 골질 세부사항들을 더 정확하게 시각화하기 위해 더 상세한 제2 스윕이 뒤따를 수 있다. 상세한 제2 스윕은, 척추 내로의 나사못들 및 플레이트들의 안내를 위한 골질 경계표들을 식별할 수 있다. 예컨대, 상세한 스윕은, 수술 중인 외과의사가 관심 구역을 스캐닝하기 위해 프로브를 피부 위로 이동시키는 경우, 척추의 후부 표면의 3D 초음파 커버리지를 생성할 수 있다. 개방 외과 시술들에 대해, 수술 중인 외과의사는 관심의 해부학적 구조를 커버하기 위해 물 또는 겔 기반 물질을 사용할 수 있다. 초음파 프로브는, 관심 척추 구역의 표면 맵핑을 획득하기 위해 다양한 방향들 및 앵귤레이션(angulation)들로의 매끄러운 움직임에 의해 변위될 수 있다.
특히, 구현들은 척추 구역으로 제한되지 않는다. 예컨대, 구현들은, 뼈 내의, 뼈 주위의, 및 뼈의 표면 상의 병변들의 생검을 위한 이미징 안내 시스템들을 포함할 수 있다. 뼈의 예들은, 상완골, 팔꿈치들, 요골, 척골, 중수골들, 지골들, 견갑골, 늑골들, 장골 날개들, 대퇴골들, 슬개골, 경골들, 비골들, 중족골을 포함한다. 구현들은 또한, 어깨들, 팔꿈치들, 손목들, 손들, 엉덩이들, 무릎들, 발목들, 및 발들을 포함하는 사지들에 있는 관절에 대한 관절의 진단 및 관절 교체의 안내를 포함할 수 있다. 구현들은 또한, 상완골, 팔꿈치들, 요골, 척골, 중수골들, 지골들, 견갑골, 늑골들, 장골 날개들, 대퇴골들, 슬개골, 경골들, 비골들, 및 중족골과 같은, 사지들에 그리고 그 주위에 있는 관절주위 또는 관절-내 구조들의 이미징 안내 주사를 포함할 수 있다. 주사들은, 관절천자술, 후관절 차단술, 또는 관절조영술을 위한 관절들 내로의 바늘 주사, 사지들의 뼈들 주위의 윤활낭 또는 신경절들 내로의 바늘 주사, 연조직 또는 발통점 주사들, 관절들 주위의 인대 구조들 내로의 주사, 손들 또는 발들 각각의 수근관 및 족근관과 같은 구조적 터널들 내로의 주사, 및 힘줄들 또는 힘줄집들의 주사를 포함할 수 있다. 맥락상, 발통점 주사는, 특히, 팔들, 다리들, 하부 허리, 및 목에서 근육 통증을 진정시키는 것을 도울 수 있다. 발통점 주사는 또한, 섬유근육통, 긴장성 두통들, 및 근막 통증을 다루는 데 사용될 수 있다. 발통점들은 일반적으로, 근육이, 예컨대, 과도하게 신장되어 이완될 수 없게 될 때의 근육의 통증성 "결절(knot)들"을 지칭한다.
이러한 구현들에서, 컴퓨팅 디바이스가 초음파 이미지 볼륨(103)을 가져올 수 있다. 일부 경우들에서, 초음파 이미지 볼륨(103)은, 초음파 프로브 상의 각각의 트랜스듀서 요소로부터의 미가공 초음파 데이터일 수 있다. 미가공 초음파 데이터는, 초음파 이미지의 B-모드 데이터를 생성하는 빔포밍 이전에 획득될 수 있다. 미가공 초음파 데이터는, 미가공 동위상(in-phase)/직교위상(quadrature)(I/Q)을 또한 포함할 수 있거나 또는 미가공 사전-빔포밍된 RF 데이터를 또한 포함할 수 있다. 다른 경우들에서, B-모드 데이터를 가져올 수 있다. 구현들은, 골 표면의 상세한 초음파검사 시각화를 개선하기 위해 다수의 방법들을 적용할 수 있다. 방법들은, 골 표면의 세부사항들 및 에지들을 선명하게 하기 위해 초음파 스캐너 상의 사운드 구성의 속도를 변화시키는 것을 포함할 수 있다. 방법은 또한, 골 표면을 검출하는 민감도를 개선하기 위해 다양한 밀도들의 조직들을 통한 사운드의 전파를 이용할 수 있다. 예컨대, 사운드는 연조직보다 뼈를 통해 훨씬 더 빠르게 전파된다. 방법들은, 골 표면의 검출을 용이하게 하기 위해 초음파가 뼈 및 연조직을 통해 전파될 때 초음파검사 임피던스를 측정하는 것을 더 포함할 수 있다. 방법은 또한, 골 표면을 선명하게 하기 위해 초음파 프로브에 대해 수직 및 수평 평면들 둘 모두에서 다수의 초점 구역들을 사용하는 것을 포함할 수 있다. 방법은 부가적으로, 역학적(mechanical) 파동들의 전파에 따라 조직의 역학적 특성들을 평가할 수 있는 이미징 기법인 탄성영상의 사용을 포함할 수 있다. 예컨대, 이미징 장치(이를테면, 초음파 장치)는, 이미징 장치가 조직 변형을 시각화하는 동안 관심 조지 내에 역학적 파동들, 전형적으로는 전단파들을 생성하는 디바이스와 결합될 수 있다. 이러한 방법들은 2D, 3D, 및 4D 초음파 스캐닝과 함께 사용될 수 있다. 초음파 이미지 볼륨(103)은 척추 구조에 대한 초음파 프로브의 위치 데이터를 포함할 수 있다. 가져오기 프로세스는 또한, 내비게이션 시스템으로부터 포지션 데이터를 불러올 수 있다. 컴퓨팅 디바이스는 수술 현장(surgical field) 내의 또는 외부의 디바이스일 수 있다. 어느 경우에서든, 컴퓨팅 디바이스는 US 이미지 볼륨(103)에 기반하여 실시간으로 골 척추의 골질 표면을 식별하도록 심층 학습 또는 AI 알고리즘을 구현할 수 있다.
구현들은 US 이미지 볼륨으로부터 초음파 빔 축 배향을 인코딩하는 정보를 추출할 수 있다(104). 도 3을 추가로 참조하면, 미가공 I/Q 데이터의 하나의 프레임의 예가 제시된다. 예시된 바와 같이, 골질 표면은 대략적으로 대각선 각도로 있고, 초음파 빔들의 방향은 대략적으로 수직이며, 이미지의 최상부에 위치된 초음파 프로브의 어레이 요소들의 표면으로부터 비롯된다. 이미지의 좌측에 단면 프로파일이 제시되며, 골질 계면에서의 반사뿐만 아니라 골질 계면 너머로의 잔향들을 예시한다. 일부 구현들은, 초음파 프로브로부터 가져온 미가공 데이터, 예컨대, 동위상 및 직교위상(IQ) 또는 Rf 데이터를 활용할 수 있다. 통상의 B-모드 이미지는 기본 해부학적 구조를 묘사하는 빔포밍된 데이터를 포함할 수 있지만, 이러한 빔포밍된 데이터는 빔포밍 프로세스 동안의 재-비닝(rebinning) 및 사후-처리로 인해 적절한 동적 범위가 부족할 수 있다. 미가공 I/Q 또는 RF 데이터는 반면에, 골질 표면의 검출에 대해 우수할 수 있는데, 예컨대, 더 민감할 수 있다.
도 4a를 추가로 참조하면, 일부 구현들은, 미가공 초음파 데이터를 활용하여, 0.018 mm의 수직 해상도 및 0.09 mm의 수평 해상도를 갖는 B-모드 이미지들을 생성할 수 있다. 이러한 구현들에서, 생성된 B-모드 이미지들은, 더 등방성인 공간적 해상도, 예컨대, 도 4b에 예시된 바와 같이 0.27 mm의 수직 해상도 및 0.275 mm의 수평 해상도를 갖도록 추가로 처리될 수 있다. 더 등방성인 포맷에 기반하여, 다양한 구현들은 골질 표면의 검출을 개선하기 위해 순방향 추적 및 미가공 I/Q 또는 RF 데이터를 사용할 수 있다(108). 도 4c를 참조하면, 임계 설정 단독으로는 일관된 표면 표현을 생성하지 못할 수도 있다. 도 4d를 추가로 참조하면, 일부 구현들은, 표면의 더 일관된 볼륨 표현을 달성하기 위해 피크 검출을 패딩과 결합한다. 일부 경우들에서, 패딩은, 검출된 피크의 양 측들 상의 2개의 픽셀을 포함할 수 있다. 초음파 프로브의 식별된 표면 및 내비게이션 데이터를 사용하여, 척추 후부의 3D 골 표면이 실시간으로 생성될 수 있다. 예시된 바와 같이, 일부 구현들은 그에 따라, 가져온 초음파 이미지 볼륨(예컨대, 초음파 프로브의 각각의 어레이 요소로부터의 미가공 I/Q 또는 RF 데이터)으로부터 각각의 척추체의 표면의 볼륨 표현을 생성할 수 있다(109). 구현들은, 척추체들의 포지션들 사이의 공간적 변화들을 발생시킬 수 있는 환자 움직임을 수용하기 위해 각각의 척추체를 별개로 다룰 수 있다. 생성된 초음파 표면 볼륨 표현(110)은 수술-전 CT에 기반한 표면 볼륨 표현과 정렬하는 데 사용될 수 있다.
병행하여, 구현들은, 수술-전 고해상도 CT 이미지들을 추출된 초음파 빔 축(102)과 정렬할 수 있다. 구현들은, 조직 유형들 사이의 전이를 표현하는 얇은 2-D 구역을 식별함으로써 뼈의 표면을 정합시킬 수 있다. 이러한 구현들에서, 정합은, 기본 CT 강도 프로파일에서, 골 조직이 뒤따르는 계단 함수의 에지를 검출하는 것을 수반할 수 있다. 비교하자면, 초음파 강도 프로파일은 음영 구역이 뒤따르는 피크를 나타낼 수 있다. 정렬을 용이하게 하기 위해, 구현들은, 강도 임계치를 사용하여 식별된 음영 구역들을 이용하여 뼈 표면을 산출하기 위해 수술-전 CT 이미지 볼륨에 순방향 트레이싱을 적용할 수 있다(105). 구현들은 또한, 경계를 식별하기 위해 후방 음영 추적을 적용할 수 있다. 구현들은 이어서, 표면을 표현하는 복셀들을 식별하고 정렬을 위한 볼륨들을 생성하기 위해 복셀들의 양 측들 상에 패딩을 적용함으로써, 골질 표면의 표면 표현을 생성할 수 있다(106).
더 상세하게는, 그리고 도 5a 내지 도 5d를 추가로 참조하면, 일부 구현들은 입사 초음파 빔에 대한 방향을 식별할 수 있다(501). 구현들은 이어서, 초음파 빔이 수직으로 입사되도록 CT 또는 MRI 이미지 볼륨을 회전시킬 수 있다(502). 여기서, 구현들은, 입사 초음파 빔이 수직인 간단한 임계치를 사용하여 골질 표면을 세그먼트화할 수 있다(503). 구현들은, 초음파 빔의 예상 음영 영역을 시뮬레이션할 수 있다. 세그먼트화 및 패딩의 결과들은 CT 또는 MRI 이미지 볼륨의 원래의 배향으로 다시 회전될 수 있다. 생성된 CT 또는 MRI 표면 볼륨 표현(107)은 수술-전 CT 또는 MRI와 수술-중 초음파의 후속 정렬을 위해 사용될 수 있다.
구현들은 이어서, 심층 학습 알고리즘들을 사용하여 정렬을 위한 관심 구역(ROI)들을 식별할 수 있다(111). ROI들에 기반하여, 구현들은, 초음파 표면 볼륨 표현과 CT 또는 MRI 표면 볼륨 표현을 공간적으로 정렬할 수 있다(112). 구현들은, 공간적 정렬을 수행하기 위한 공간적 변환 행렬을 생성할 수 있다(113).
더 상세하게는, 다양한 구현들은, 초음파 표면 볼륨 표현과 CT 또는 MRI 표면 볼륨 표현을 매칭시킨다. 표면 매칭 프로세스의 속도를 개선하고 과도한 잡음을 포함하는 바람직하지 않은 영역들을 제거하기 위해, 구현들은, 초음파 이미지 볼륨 상의 우수한 공간적 해상도를 갖는 관심 구역(ROI)들 또는 영역들에 초점을 맞출 수 있다. 구현들은, 유망한 ROI들을 식별하도록 정렬 프로세스를 훈련시키기 위해 심층 학습 및 AI를 활용할 수 있다. 예컨대, 구현들은, (예컨대, 신호 대 잡음 비(SNR)가 적절한) 매칭하는 표면들을 산출할 가능성이 더 높은 ROI들을 선택할 수 있다. 반대로, 구현들은 또한, 매칭하는 표면들을 생성할 가능성이 없는 영역들을 ROI들로부터 프루닝할 수 있다. 일부 구현들에서, 패치들은 적어도 3개의 픽셀을 포함할 수 있고, 척추의 후부 측면 또는 요망되는 뼈 구역(예컨대, 골반 구역) 상의 명료하게 별개인 영역들에 위치될 수 있다. 이러한 유망한 ROI들은, 함께 취해져, 실시간 3D 초음파 표면 표현을 3D 수술-전 CT/MRI 표면 표현과 매칭시키기 위해 사용될 각각의 단일 척추체에 대한 "썸프린트"로서 나타날 수 있다. 일부 구현들에서, "썸프린트"는 관심 뼈 구역(예컨대, 척추골, 골반, 천골, 후두골 구역)의 후부 표면 상에 있을 수 있다. 환자 포지션의 변화들이 실시간 초음파 이미지와 수술-전 CT/MRI 이미지 사이의 관계를 왜곡시킬 수 있기 때문에, 각각의 뼈 구조 또는 척추골이 개별적으로 다루어질 수 있다. 초음파 대 수술-전 이미징 맵핑된 표면들의 매칭이 실시간으로 제공되기 때문에, 수술 중인 외과의사는 매칭이 발생하자마자 경고를 받을 수 있다. 일부 구현들은, 수술-전 이미지들과의 매칭을 달성하기 위한 적절한 표면이 초음파 프로브에 의해 커버되었음을 확인하도록, 충분한 맵핑이 발생했을 때 오디오, 시각적, 또는 촉각적 피드백을 제공하여 수술 중인 외과의사에게 경고할 수 있다. 이러한 구현들은, 매칭된 결과들을 수술 중인 외과의사에게 투영하기 위한 웨어러블 디스플레이 디바이스를 포함할 수 있다. 이러한 몰입형 현실 구성에서, 웨어러블 디바이스는 고글 디바이스를 포함할 수 있다. 실제로, 구현들은, 수술 중인 외과의사가 진행 중인 외과 시술에 대한 내비게이션 안내를 받을 수 있는 혼합 현실, 증강 현실, 또는 가상 현실을 위한 플랫폼을 제공할 수 있다. 일부 경우들에서, 초음파 프로브는 무선 프로브일 수 있다.
이러한 구현들에서, 심층 학습 알고리즘은, 예컨대, 수술-중 초음파 이미지들을 수술-전 CT/MRI 이미지들에 매칭시키기 위한 충분한 품질을 갖는 ROI의 피처들을 검출하도록 프로그래밍된, 인공 신경망(ANN)으로 또한 알려져 있는 계층화된 구조의 알고리즘들을 포함할 수 있다. 예컨대, ANN 계층들은, 수술-중 초음파 이미지들을 수술-전 CT/MRI 이미지들에 매칭시키기 위한 이정표로서 기능할 것으로 예상되는 ROI들을 검출하도록 큰 데이터 세트들에 걸쳐 그리고 예시적인 선택들을 통해 훈련될 수 있다. 배치된 후에 고정되는 정적 기점 마커들을 사용하는 다른 구현들과 대조적으로, 본 개시내용의 구현들은 수술-중 초음파 스캔에 기반하여 관심 구역(ROI)들을 동적으로 생성할 수 있다. 이러한 ROI들은 각각의 초음파 스캔으로부터 생성되고, 수술-중 초음파 이미지를 수술-전 CT/MRI 이미지들에 모핑(morphing)하는 목적에 대해 초음파 신호 품질이 충분한(예컨대, 다수의 잔향들에 의해 방해를 받지 않음) 뼈 구조들의 표면 상의 패치들에 대응한다. ROI는 또한, (예컨대, 적응적 구역 성장/축소 접근법들로) 영역 및 크기의 관점에서 동적으로 생성된다. 일단 이러한 ROI들이 식별되었으면, 구현들은, 수술-중 초음파 이미지가 더 높은 해상도의 수술-전 이미지들(예컨대, CT 또는 MRI) 상에 오버레이되는 이미지 오버레이를 수행할 수 있다.
도 5e를 추가로 참조하면, 초음파 데이터에 기반한 척추 후부 표면의 예가 제공된다. 이러한 예에서, 초음파 빔은 최상부로부터 수직으로 입사된다. 도 5f를 참조하면, 수술-전 CT 이미지 볼륨과 입사 초음파 빔의 방향에 기반한 초음파 표면 표현의 중첩을 예시하기 위한 다양한 예들이 제공된다. 예시된 바와 같이, CT 이미지 볼륨은, 초음파 표면 표현이 골질 표면 상에 오버레이되도록 초음파 빔에 대해 회전될 수 있다.
도 6a 내지 도 6b를 추가로 참조하면, 수술-전 고해상도 CT 이미지들 상에 수술-중 US 데이터(투명성을 갖게 음영짐)를 중첩시키는 예시된 예들은 층판(lamina) 위의 구역들 및 횡방향 구역들에서 양호한 매치를 나타낸다. 그러나, 뼈들 사이의 인대 영역들에서, 매칭 품질이 크게 악화된다. 도 6b는 특히, 다양한 구역들을 커버하는 패치들의 분포를 예시한다. 인대들이 있는 고랑(trough) 영역에 걸쳐, 패치들은 더 희소하게 분포된다. 일부 경우들에서, 도 6c에 도시된 바와 같이, 초음파 데이터로부터의 표면 표현과 수술-전 CT 이미지로부터의 표면 표현 사이의 겹침은 연속적이고 더 일관될 수 있다. 다른 경우들에서, 초음파 데이터로부터의 표면 표현과 수술-전 CT 이미지로부터의 표면 표현 사이의 겹침은 갭들을 포함할 수 있다. 다양한 경우들을 수용하기 위해, 구현은, 매칭 목적들을 위해 다양한 크기들의 패치들을 적용할 수 있다. 더욱이, 구현들은, 고품질 매치들을 산출하기 위해 패치들의 크기들 및 분포를 지능적으로 적응시킬 수 있다.
도 7을 추가로 참조하면, 패널(700)은, 풀 패치 및 소형 패치를 포함하는 ROI 후보들로서 다수의 영역들을 갖는 표면을 예시한다. 예시된 바와 같이, 풀 패치는 초음파 표면 표현을 CT 표면 표현과 정렬하기 위한 더 큰 영역을 포함할 수 있는 한편, 소형 패치는 정렬을 수행하기 위한 부분적 마스크를 지칭할 수 있다. 구체적으로, 패널들(701A 및 701C)은 각각, 개개의 풀 패치 및 소형 패치를 2D 포맷으로 드러내며, 여기서, 각각의 픽셀은 매칭하는 정도를 표시한다. 다시 말해서, 매치가 완벽한 경우, 픽셀은 제로가 된다. 픽셀 단위 디스플레이들은, 풀 패치가, 매칭이 적절한 다수의 인접하는 영역들을 갖는다는 것을 나타낸다. 반면에, 소형 패치는, 매치의 정도가 더 집중되는 풀 패치의 좌측의 줌된 버전을 나타낸다. 매칭 품질의 분포의 변동은 패널들(701B 및 701D)에 의해 강화되며, 이들 각각은 픽셀 값들의 개개의 히스토그램을 나타낸다. 예시된 바와 같이, 패널(701B)은 더 큰 확산에 대응하는 더 높은 표준 편차를 갖는 더 큰 평균을 나타낸다. 비교하자면, 패널(701D)은 더 작은 확산에 대응하는 더 작은 표준 편차를 갖는 더 작은 평균을 나타낸다.
다양한 구현들은, 심층 학습 또는 AI 알고리즘들을 사용하여, 매치들이 더 가능성이 있고 유망한 패치들을 적응적으로 선택할 수 있다. 도 8a의 다이어그램(800)을 참조하면, 구현들은, 다수의 논리 계층들을 사용하여, 선택된 패치들을 결정할 수 있다. 계층들은, 입력 계층, 하나 이상의 은닉 계층, 및 출력 계층을 포함할 수 있다. 각각의 은닉 계층은, 콘볼루션 계층, 풀링 계층, 정류된 선형 유닛(ReLU) 계층, 소프트맥스 계층, 회귀자 계층, 및 드롭아웃 계층 중 하나 이상의 계층의 조합일 수 있다. 이러한 은닉 계층들은, 입력/출력 크기 기준들이 충족되는 한 임의의 순서로 배열될 수 있다. 각각의 은닉 계층은 이미지 필터들의 세트를 포함할 수 있다.
더 상세하게는, 그리고 도 8b의 다이어그램(810)을 참조하면, 작업 흐름 프로세스의 예는, 수술-중 초음파 데이터 볼륨에 기반한 수술-중 표면 표현뿐만 아니라 수술-전 이미지 볼륨에 기반한 수술-전 표면 표현을 포함할 수 있는 입력 데이터(801)로 시작될 수 있다. 구현들은, 수술-중 표면 표현들을 수술-전 표면 표현들과 매칭시키기 위한 패치들을 선택할 수 있다(805). 선택 프로세스는 또한, 매치들이 더 가능성이 있고 유망한 해부학적 구조로부터 패치들의 템플릿들을 수신할 수 있다(802). 패치들의 템플릿은, 과거의 이력 데이터뿐만 아니라 수술-중 시술 동안의 특정 고주파 발사 각도들에 기반하여 결정된 패치들의 라이브러리일 수 있다. 외과 시술 동안, 초음파 프로브가 재-위치결정될 때 고주파 발사 검사 각도가 변경될 수 있다. 다양한 구현들은, 재-위치결정에 대한 응답으로, 선택된 패치들을 조정할 수 있다. 부가적으로, 구현들은, 외과 시술 동안 환자를 위치결정하거나 기구를 동작시키는 것에 의해 야기되는 형상, 크기, 포지션, 및 배향에서의 척주 변화들을 검출할 수 있다. 정적 수술-전 이미지들에 대한 이러한 변화들을 검출하는 것은, 특히, 검출이, 외과 시술 동안의 수술 중인 외과의사에 대한 실시간 피드백을 허용할 때 유리할 수 있다. 템플릿의 이러한 예에서, 과거의 이력 데이터는, (예컨대, 동일한 척추골들에 적용될 때 그리고 비교가능한 고주파 발사 각도들로) 과거의 매치들에서 성공적으로 사용된 템플릿들을 포함할 수 있다. 수술-전 이미지 볼륨 및 척추골 해부학적 구조에 기반한 시뮬레이션들이 또한 템플릿의 결정을 도울 수 있다. 다양한 구현들에서, 선택된 패치들은 패치들의 템플릿을 업데이트할 수 있다(804). 피드백은 심층 학습 프로세스를 향상시킬 수 있다. 구현들은, 적절한 품질의 매치들을 생성할 가능성이 적은 영역들을 제거하기 위해 병렬 프루닝 프로세스를 활성화할 수 있다(806). 프루닝 프로세스는 또한, 매치들이 가능성이 없고 유망하지 않은 해부학적 구조로부터의 패치들의 템플릿들에 기반할 수 있다(803). 템플릿들(803)은 또한, 과거의 이력 데이터뿐만 아니라 수술-중 시술 동안의 특정 고주파 발사 각도들에 기반하여 결정된 패치들의 라이브러리를 포함할 수 있다. 예컨대, 프루닝은 초음파 프로브의 재-위치결정에 대한 응답으로 조정될 수 있다. 템플릿들(803)은 또한 프루닝 프로세스에 기반하여 업데이트될 수 있다(807). 업데이트는 마찬가지로 심층 학습 프로세스를 향상시킬 수 있다. 패치들을 선택하는 것(805) 및 패치들을 프루닝하는 것(806)의 결합된 동작은, 수술-중 초음파 표면 표현과 수술-전 표면 표현의 정렬을 컴퓨팅하기 위한 출력 관심 구역(ROI)들을 생성할 수 있다(808).
도 8c를 추가로 참조하면, 다이어그램(820)은, 본 개시내용의 일부 구현들에 따른 내비게이션 시스템의 예를 도시한다. 외과 시술 동안, 수술 중인 외과의사에 의해 동작되는 초음파 프로브(812)는 환자의 구역(813)을 모니터링할 수 있다. 구역은, 척주 구역, 골반 구역, 천골 구역, 또는 후두골 구역을 포함할 수 있다. 일 예시에서, 이식물 또는 자극기 디바이스가 외과 시술 동안 이식될 수 있다. 여기서, 이식물은, 보철 이식물 또는 고관절 이식물과 같은 수동 디바이스를 지칭할 수 있다. 수술 중인 외과의사에 의해 사용되는 외과용 기구는, 척추경 나사못과 같은 디바이스를 환자의 구역에 배치하는 것을 용이하게 할 수 있다. 예시된 바와 같이, 디바이스(814)는 환자의 구역 내부에 있다. 외과의사는, 외과 시술 동안 디바이스의 배치를 모니터링하기 위해 초음파 프로브를 동작시킬 수 있다. 외과 시술 동안의 초음파 프로브로부터의 실시간 데이터는 정적 수술-전 이미지들과 융합될 수 있다. 융합된 이미지들이, 외과 시술 동안 실시간으로, 수술 중인 외과의사에게 제시될 때, 정적 수술-전 이미지들이 회생된다. 초음파 데이터는, 요추 전만의 변화들과 같은 외과수술-전 계획에 대한 뼈 변위를 확인 또는 추적할 수 있다. 초음파 데이터는 또한 외과 시술 동안 기구, 디바이스(예컨대, 바늘 디바이스의 선단)를 추적할 수 있다. 초음파 데이터가 병합될 때.
예시된 바와 같이, 내비게이션 시스템은, 초음파 프로브(812)뿐만 아니라 환자의 구역 내부의 디바이스(814)의 포지션을 추적하는 것이 가능한 별개의 추적 시스템(815)을 포함할 수 있다. 추적 시스템은, 광학 추적기, 스텝형 모터, 전자기 센서, 가속기, 또는 자이로스코프 중 적어도 하나를 포함할 수 있다. 추적 시스템은, 초음파 프로브의 포지션 데이터 및 척추골의 위치 정보에 기반하여 광-전자 추적을 수행할 수 있으며, 이에 따라, 초음파 프로브의 포지션을 조정하도록 실시간 안내 정보가 수술 중인 외과의사에게 제공될 수 있다. 일부 경우들에서, 초음파 프로브는, 초음파 프로브(812)의 포지션을 자동으로 조정할 수 있는 로봇식 팔 상에 장착될 수 있다.
다이어그램(820)은 또한, 환자의 구역의 수술-전 이미지들이 저장되는 이미지 데이터베이스(816)를 포함한다. 앞서 설명된 바와 같이, 수술-전 이미지들은 CT 이미지들 또는 MRI 이미지들을 포함할 수 있다. MRI 이미지들은 제로 TE MRI 이미지들을 포함할 수 있다. 예시된 바와 같이, 추적 시스템(815)으로부터의 추적 정보, 초음파 프로브(812)로부터의 수술-중 초음파 데이터, 및 이미지 데이터베이스(816)로부터의 수술-전 비-초음파 이미지가 컴퓨터 프로세서(817)에 제공될 수 있다. 도 1 내지 도 8b와 연관되어 위에서 설명된 바와 같이, 구현들은, 수술-중 US 데이터를 수술-전 이미지와 정렬하기 위한 ROI들의 템플릿을 개발 및 설정할 수 있다. ROI들의 템플릿은, 기본 뼈 구조(또는 디바이스 인터페이스), 및 초음파 프로브의 포지션에 따라 달라질 수 있다. ROI들의 특정 템플릿에 기반하여, 수술-중 초음파 데이터에 기반한 이미지들이 수술-전 비-초음파 이미지들과 융합되어 외과 시술 동안 수술 중인 외과의사에게 실시간 내비게이션 안내가 제공될 수 있다. 일부 경우들에서, 융합된 이미지들은 디스플레이(811) 상에 제시될 수 있다. 일부 경우들에서, 융합된 이미지들은, 혼합 현실, 증강 현실, 또는 가상 현실을 위한 플랫폼 상에 투영될 수 있다.
내비게이션 시스템은, 다수의 방사선학적 이미징 양태들의 강점들을 조합하여 수술실에서 정확하고 상호작용적인 안내를 달성할 수 있다. 일부 구현들은, 실시간으로, 척추의 후부 골 표면의 내비게이팅된 고주파 발사된 데이터를 척추의 후부 골 표면의 수술-전에 취득된 CT 또는 MRI 기준 데이터에 정확하게 함께-정합(co-register)시킬 수 있다. 구현들은 또한, 골반 구역, 천골 구역, 또는 후두골 구역과 같은 척주 구역 이외의 구역들로부터의 이미지들을 함께-정합시키는 것이 가능하다. 함께-정합된 데이터를 구축하여, 구현들은, 예컨대, 융합된 이미지들을 수술실에 있는 수술 중인 외과의사에게 실시간으로 투영함으로써 척추 외과수술 동안 수술-중 안내를 제공할 수 있다.
도 9는 본 개시내용의 구현에 따른, 설명된 알고리즘들, 방법들, 기능들, 프로세스들, 흐름들, 및 절차들과 연관된 계산 기능성들을 제공하기 위해 사용되는 컴퓨터 시스템의 예를 예시하는 블록 다이어그램이다.
예시된 컴퓨터(902)는, 서버, 데스크톱 컴퓨터, 랩톱/노트북 컴퓨터, 무선 데이터 포트, 스마트 폰, 무선 휴대 정보 단말기(PDA), 태블릿 컴퓨팅 디바이스, 이러한 디바이스들 내의 하나 이상의 프로세서, 다른 컴퓨팅 디바이스, 또는 컴퓨팅 디바이스의 물리적 또는 가상 인스턴스들 또는 컴퓨팅 디바이스의 물리적 또는 가상 인스턴스들의 조합을 포함하는 컴퓨팅 디바이스들의 조합과 같은 임의의 컴퓨팅 디바이스를 포괄하도록 의도된다. 부가적으로, 컴퓨터(902)는, 사용자 정보를 수용할 수 있는 입력 디바이스, 이를테면, 키패드, 키보드, 터치 스크린, 다른 입력 디바이스, 또는 입력 디바이스들의 조합, 및 그래픽 유형 사용자 인터페이스(UI)(또는 GUI) 또는 다른 UI 상에서 디지털 데이터, 시각적, 오디오, 다른 유형의 정보, 또는 정보의 유형들의 조합을 포함하는 컴퓨터(902)의 동작과 연관된 정보를 전달하는 출력 디바이스를 포함하는 컴퓨터를 포함할 수 있다.
컴퓨터(902)는, 컴퓨터 시스템에서 본 개시내용에서 설명된 주제를 수행하기 위한 클라이언트, 네트워크 컴포넌트, 서버, 데이터베이스 또는 다른 지속성의 역할, 다른 역할, 또는 역할들의 조합으로 기능할 수 있다. 예시된 컴퓨터(902)는 네트워크(903)와 통신가능하게 결합된다. 일부 구현들에서, 컴퓨터(902)의 하나 이상의 컴포넌트는, 클라우드 컴퓨팅 기반, 로컬, 전역, 다른 환경, 또는 환경들의 조합을 포함하는 환경 내에서 동작하도록 구성될 수 있다.
컴퓨터(902)는, 설명된 주제와 연관된 데이터 및 정보를 수신, 송신, 처리, 저장, 또는 관리하도록 동작가능한 전자 컴퓨팅 디바이스이다. 일부 구현들에 따르면, 컴퓨터(902)는 또한, 애플리케이션 서버, 이메일 서버, 웹 서버, 캐싱 서버, 스트리밍 데이터 서버, 다른 서버, 또는 서버들의 조합을 포함하는 서버를 포함하거나 이와 통신가능하게 결합될 수 있다.
컴퓨터(902)는, 네트워크(903)를 통해 (예컨대, 다른 컴퓨터(902) 상에서 실행되는 클라이언트 소프트웨어 애플리케이션으로부터) 요청들을 수신하고, 수신된 요청들을 소프트웨어 애플리케이션 또는 소프트웨어 애플리케이션들의 조합을 사용하여 처리함으로써, 수신된 요청들에 응답할 수 있다. 게다가, 요청들은 또한, 내부 사용자들, 외부 당사자들 또는 제3자들, 또는 다른 엔티티들, 개인들, 시스템들, 또는 컴퓨터들로부터 컴퓨터(902)에 전송될 수 있다.
컴퓨터(902)의 컴포넌트들 각각은 시스템 버스(903)를 사용하여 통신할 수 있다. 일부 구현들에서, 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합을 포함하는 컴퓨터(902)의 컴포넌트들 중 임의의 것 또는 전부는, 애플리케이션 프로그래밍 인터페이스(API)(912), 서비스 계층(913), 또는 API(912)와 서비스 계층(913)의 조합을 사용하여 시스템 버스(903)를 통해 인터페이싱할 수 있다. API(912)는 루틴들, 데이터 구조들, 및 객체 클래스들에 대한 규격들을 포함할 수 있다. API(912)는 컴퓨터 언어 독립적이거나 종속적일 수 있고, 완전한 인터페이스, 단일 함수, 또는 심지어 API들의 세트를 지칭할 수 있다. 서비스 계층(913)은 컴퓨터(902) 또는 컴퓨터(902)에 통신가능하게 결합되는 (예시된 것이든 그렇지 않은 것이든) 다른 컴포넌트들에 소프트웨어 서비스들을 제공한다. 컴퓨터(902)의 기능성은 이러한 서비스 계층을 사용하는 모든 서비스 소비자들에 대해 액세스가능할 수 있다. 서비스 계층(913)에 의해 제공되는 것들과 같은 소프트웨어 서비스들은, 정의된 인터페이스를 통해, 재사용가능한 정의된 기능성들을 제공한다. 예컨대, 인터페이스는, JAVA, C++, 다른 컴퓨팅 언어, 또는 확장가능 마크업 언어(XML) 포맷, 다른 포맷, 또는 포맷들의 조합으로 데이터를 제공하는 컴퓨팅 언어들의 조합으로 작성된 소프트웨어일 수 있다. 컴퓨터(902)의 통합된 컴포넌트로서 예시되지만, 대안적인 구현들은, API(912) 또는 서비스 계층(913)을 컴퓨터(902)의 다른 컴포넌트들 또는 컴퓨터(902)에 통신가능하게 결합된 (예시된 것이든 그렇지 않은 것이든) 다른 컴포넌트들과 관련하여 독립형 컴포넌트들로서 예시할 수 있다. 더욱이, API(912) 또는 서비스 계층(913)의 임의의 부분 또는 모든 부분들은 본 개시내용의 범위를 벗어나지 않으면서 다른 소프트웨어 모듈, 엔터프라이즈 애플리케이션, 또는 하드웨어 모듈의 자식(child) 또는 서브-모듈로서 구현될 수 있다.
컴퓨터(902)는 인터페이스(904)를 포함한다. 도 9에서 단일 인터페이스(904)로서 예시되지만, 컴퓨터(902)의 특정 필요성들, 요구들, 또는 특정 구현들에 따라 2개 이상의 인터페이스(904)가 사용될 수 있다. 인터페이스(904)는, 분산형 환경에서 네트워크(903)에 통신가능하게 링크되는 (예시된 것이든 그렇지 않은 것이든) 다른 컴퓨팅 시스템과 통신하기 위해 컴퓨터(902)에 의해 사용된다. 일반적으로, 인터페이스(904)는 네트워크(903)와 통신하도록 동작가능하고, 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합으로 인코딩된 논리를 포함한다. 더 구체적으로, 인터페이스(904)는, 네트워크(903) 또는 인터페이스의 하드웨어가 예시된 컴퓨터(902) 내에서 그리고 그 외부에서 물리적 신호들을 통신하도록 동작가능하게, 통신들과 연관된 하나 이상의 통신 프로토콜을 지원하는 소프트웨어를 포함할 수 있다.
컴퓨터(902)는 프로세서(905)를 포함한다. 도 9에서 단일 프로세서(905)로서 예시되지만, 컴퓨터(902)의 특정 필요성들, 요구들, 또는 특정 구현들에 따라 2개 이상의 프로세서가 사용될 수 있다. 일반적으로, 프로세서(905)는, 컴퓨터(902)의 동작들 및 본 개시내용에서 설명된 바와 같은 임의의 알고리즘들, 방법들, 기능들, 프로세스들, 흐름들, 및 절차들을 수행하도록 명령어들을 실행하고 데이터를 조작한다.
컴퓨터(902)는 또한, 컴퓨터(902), 네트워크(903)와 통신하는 (예시된 것이든 그렇지 않은 것이든) 다른 컴포넌트, 또는 컴퓨터(902)와 다른 컴포넌트의 조합에 대한 데이터를 보유할 수 있는 데이터베이스(906)를 포함한다. 예컨대, 데이터베이스(906)는, 본 개시내용과 일관되는 데이터가 저장되는 메모리-내, 통상, 또는 다른 유형의 데이터베이스일 수 있다. 일부 구현들에서, 데이터베이스(906)는, 컴퓨터(902) 및 설명된 기능성의 특정 필요성들, 요구들, 또는 특정 구현들에 따라 2개 이상의 상이한 데이터베이스 유형의 조합(예컨대, 하이브리드 메모리-내 및 통상 데이터베이스)일 수 있다. 도 9에서 단일 데이터베이스(906)로서 예시되지만, 컴퓨터(902) 및 설명된 기능성의 특정 필요성들, 요구들, 또는 특정 구현들에 따라 유사하거나 상이한 유형들의 2개 이상의 데이터베이스가 사용될 수 있다. 데이터베이스(906)가 컴퓨터(902)의 통합 컴포넌트로서 예시되지만, 대안적인 구현들에서, 데이터베이스(906)는 컴퓨터(902) 외부에 있을 수 있다. 예시된 바와 같이, 데이터베이스(906)는, 예컨대, 도 1 및 도 8b에서 약술된 바와 같이, (CT 및 MRI 데이터 세트를 포함하는) 수술-전 이미지 볼륨, (예컨대, 초음파 프로브로부터의 미가공 I/Q 데이터를 포함하는) 수술-중 데이터 볼륨, 매치들이 더 가능성이 있고 유망한 패치들의 템플릿들, 및 매치들이 더 가능성이 없고 유망하지 않은 매치들의 템플릿들을 포함하는 이전에 설명된 데이터(916)를 보유한다.
컴퓨터(902)는 또한, 컴퓨터(902), 네트워크(903)에 통신가능하게 링크되는 (예시된 것이든 그렇지 않은 것이든) 다른 컴포넌트 또는 컴포넌트들, 또는 컴퓨터(902)와 다른 컴포넌트의 조합에 대한 데이터를 보유할 수 있는 메모리(907)를 포함한다. 메모리(907)에는 본 개시내용과 일관되는 임의의 데이터가 저장될 수 있다. 일부 구현들에서, 메모리(907)는, 컴퓨터(902) 및 설명된 기능성의 특정 필요성들, 요구들, 또는 특정 구현들에 따라 둘 이상의 상이한 유형의 메모리의 조합(예컨대, 반도체 및 자기 저장소의 조합)일 수 있다. 도 9에서 단일 메모리(907)로서 예시되지만, 컴퓨터(902) 및 설명된 기능성의 특정 필요성들, 요구들, 또는 특정 구현들에 따라 2개 이상의 메모리(907) 또는 유사하거나 상이한 유형들이 사용될 수 있다. 메모리(907)가 컴퓨터(902)의 통합 컴포넌트로서 예시되지만, 대안적인 구현들에서, 메모리(907)는 컴퓨터(902) 외부에 있을 수 있다.
애플리케이션(908)은, 특히, 본 개시내용에서 설명된 기능성에 관하여 컴퓨터(902)의 특정 필요성들, 요구들, 또는 특정 구현들에 따라 기능성을 제공하는 알고리즘적 소프트웨어 엔진이다. 예컨대, 애플리케이션(908)은 하나 이상의 컴포넌트, 모듈, 또는 애플리케이션으로서 기능할 수 있다. 추가로, 단일 애플리케이션(908)으로서 예시되지만, 애플리케이션(908)은 컴퓨터(902) 상의 다수의 애플리케이션들(908)로서 구현될 수 있다. 게다가, 컴퓨터(902)에 통합된 것으로 예시되지만, 대안적인 구현들에서, 애플리케이션(908)은 컴퓨터(902) 외부에 있을 수 있다.
컴퓨터(902)는 또한 전력 공급부(914)를 포함할 수 있다. 전력 공급부(914)는, 사용자에 의해 교체가능한 것으로 또는 사용자에 의해 교체가능하지 않은 것으로 구성될 수 있는 재충전가능 또는 비-재충전가능 배터리를 포함할 수 있다. 일부 구현들에서, 전력 공급부(914)는, (재충전, 대기, 또는 다른 전력 관리 기능성을 포함하는) 전력 변환 또는 관리 회로들을 포함할 수 있다. 일부 구현들에서, 전력 공급부(914)는, 컴퓨터(902)가, 예컨대, 컴퓨터(902)에 전력을 공급하거나 재충전가능 배터리를 재충전하기 위해 벽 소켓 또는 다른 전원에 플러그인될 수 있게 하는 전력 플러그를 포함할 수 있다.
컴퓨터(902)를 포함하는 컴퓨터 시스템과 연관되거나 그 외부에 있는 임의의 수의 컴퓨터들(902)이 존재할 수 있으며, 각각의 컴퓨터(902)는 네트워크(903)를 통해 통신한다. 추가로, "클라이언트", "사용자"라는 용어 또는 다른 적절한 전문용어는, 본 개시내용의 범위를 벗어나지 않으면서, 적절한 경우 상호교환가능하게 사용될 수 있다. 더욱이, 본 개시내용은 많은 사용자들이 하나의 컴퓨터(902)를 사용할 수 있거나 또는 하나의 사용자가 다수의 컴퓨터들(902)을 사용할 수 있는 것을 고려한다.
본 명세서에서 설명된 주제 및 기능적 동작들의 구현들은, 본 명세서에서 개시된 구조들 및 그들의 구조적 등가물들을 포함하는 디지털 전자 회로, 유형적으로(tangibly) 구현된 컴퓨터 소프트웨어 또는 펌웨어, 컴퓨터 하드웨어로, 또는 그들 중 하나 이상의 것의 조합들로 구현될 수 있다. 설명된 주제의 소프트웨어 구현들은, 하나 이상의 컴퓨터 프로그램, 즉, 데이터 처리 장치에 의한 실행을 위해, 또는 데이터 처리 장치의 동작을 제어하기 위해, 유형적인 비-일시적인 컴퓨터 판독가능 컴퓨터 저장 매체 상에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈로서 구현될 수 있다. 대안적으로 또는 부가적으로, 프로그램 명령어들은, 데이터 처리 장치에 의한 실행을 위해 수신기 장치로의 송신을 위한 정보를 인코딩하기 위해 생성되는, 인위적으로 생성된 전파 신호, 예컨대, 기계에 의해 생성되는 전기, 광학, 또는 전자기 신호에/그러한 신호 상에 인코딩될 수 있다. 컴퓨터 저장 매체는, 기계 판독가능 저장 디바이스, 기계 판독가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 디바이스, 또는 컴퓨터 저장 매체들의 조합일 수 있다. 하나 이상의 컴퓨터를 구성한다는 것은, 하나 이상의 컴퓨터가 하드웨어, 펌웨어, 또는 소프트웨어(또는 하드웨어, 펌웨어, 및 소프트웨어의 조합들)를 설치했으며, 이에 따라, 소프트웨어가 하나 이상의 컴퓨터에 의해 실행될 때, 특정 컴퓨팅 동작들이 수행된다는 것을 의미한다.
"실시간"("real-time", "real time", "realtime"), "실제 (신속) 시간(real (fast) time)(RFT)", "근 실시간(거의 실시간)(NRT)", "준-실시간"이라는 용어 또는 (관련 기술분야의 통상의 기술자에 의해 이해되는 바와 같은) 유사한 용어들은, 개인이 동작 및 응답이 실질적으로 동시에 발생하는 것을 인지하도록 동작 및 응답이 시간적으로 근접해 있다는 것을 의미한다. 예컨대, 데이터에 액세스하기 위한 개인의 동작에 후속하는 데이터의 디스플레이에 대한(또는 디스플레이의 개시에 대한) 응답에 대한 시간 차이는 1 밀리초(ms) 미만, 1초(s) 미만, 또는 5 s 미만일 수 있다. 요청된 데이터가 즉시 디스플레이(또는 디스플레이를 위해 개시)될 필요는 없지만, 요청된 데이터는, 예컨대, 데이터를 수집, 정확하게 측정, 분석, 처리, 저장, 또는 송신하기 위해 요구되는 시간 및 설명된 컴퓨팅 시스템의 처리 제한들을 고려하여, 임의의 의도적인 지연 없이 디스플레이(또는 디스플레이를 위해 개시)된다.
"데이터 처리 장치", "컴퓨터", 또는 "전자 컴퓨터 디바이스" 라는 용어들(또는 관련 기술분야의 통상의 기술자에 의해 이해되는 바와 같은 등가물)은 데이터 처리 하드웨어를 지칭하고, 예로서, 프로그래밍가능 프로세서, 컴퓨터, 또는 다수의 프로세서들 또는 컴퓨터들을 포함하는, 데이터를 처리하기 위한 모든 종류들의 장치, 디바이스들, 및 기계들을 포괄한다. 장치는 또한, 특수 목적 논리 회로, 예컨대, 중앙 처리 유닛(CPU), FPGA(필드 프로그래밍가능 게이트 어레이), 또는 ASIC(주문형 집적 회로)일 수 있거나 이를 더 포함할 수 있다. 일부 구현들에서, 데이터 처리 장치 또는 특수 목적 논리 회로(또는 데이터 처리 장치 또는 특수 목적 논리 회로의 조합)는 하드웨어 기반 또는 소프트웨어 기반(또는 하드웨어 기반과 소프트웨어 기반 둘 모두의 조합)일 수 있다. 장치는, 컴퓨터 프로그램들에 대한 실행 환경을 생성하는 코드, 예컨대, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 실행 환경들의 조합을 구성하는 코드를 임의적으로 포함할 수 있다. 본 개시내용은, 일부 유형의 운영 체제, 예컨대, 리눅스(LINUX), 유닉스(UNIX), 윈도우즈(WINDOWS), 맥 OS(MAC OS), 안드로이드(ANDROID), IOS, 다른 운영 체제, 또는 운영 체제들의 조합을 갖는 데이터 처리 장치들의 사용을 고려한다.
프로그램, 소프트웨어, 소프트웨어 애플리케이션, 유닛, 모듈, 소프트웨어 모듈, 스크립트, 코드, 또는 다른 컴포넌트로 또한 지칭되거나 설명될 수 있는 컴퓨터 프로그램은, 컴파일된 또는 해석된 언어들, 또는 선언적 또는 절차적 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 작성될 수 있고, 이는, 예컨대, 독립형 프로그램, 모듈, 컴포넌트, 또는 서브루틴을 포함하는, 컴퓨팅 환경에서 사용하기 위한 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은, 파일 시스템의 파일에 대응할 수 있지만 그러할 필요는 없을 수 있다. 프로그램은, 다른 프로그램들 또는 데이터, 예컨대, 마크업 언어 문서에 저장된 하나 이상의 스크립트를 보유하는 파일의 일부분에, 해당 프로그램에 전용인 단일 파일에, 또는 다수의 조직화된 파일들, 예컨대, 하나 이상의 모듈, 서브 프로그램, 또는 코드의 부분들을 저장하는 파일들에 저장될 수 있다. 컴퓨터 프로그램은 하나의 위치에 위치되거나 다수의 위치들에 걸쳐 분산되어 통신 네트워크에 의해 상호연결되는 다수의 컴퓨터들 상에서 실행되거나 또는 하나의 컴퓨터 상에서 실행되도록 배치될 수 있다.
다양한 도면들에 예시된 프로그램들의 부분들이 다양한 객체들, 방법들, 또는 다른 프로세스들을 사용하여 설명된 피처들 및 기능성을 구현하는 개별 컴포넌트들, 이를테면 유닛들 또는 모듈들로서 예시될 수 있지만, 프로그램들은 그 대신에, 적절한 경우, 다수의 서브-유닛들, 서브-모듈들, 제3자 서비스들, 컴포넌트들, 라이브러리들, 및 다른 컴포넌트들을 포함할 수 있다. 반대로, 다양한 컴포넌트들의 피처들 및 기능성은 적절하게 단일 컴포넌트들로 조합될 수 있다. 계산적 결정들을 행하는 데 사용되는 임계치들은 정적으로, 동적으로, 또는 정적 및 동적 둘 모두로 결정될 수 있다.
설명된 방법들, 프로세스들, 또는 논리 흐름들은 본 개시내용과 일관되는 기능성의 하나 이상의 예를 표현하고, 본 개시내용을 설명되거나 예시된 구현들로 제한하도록 의도되는 것이 아니라, 설명된 원리들 및 피처들과 일관되는 가장 넓은 범위에 부합할 것이다. 설명된 방법들, 프로세스들, 또는 논리 흐름들은, 입력 데이터에 대해 동작하여 출력 데이터를 생성함으로써 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래밍가능 컴퓨터에 의해 수행될 수 있다. 방법들, 프로세스들, 또는 논리 흐름들은 또한, 특수 목적 논리 회로, 예컨대, CPU, FPGA, 또는 ASIC에 의해 수행될 수 있고, 장치는 또한 그들로서 구현될 수 있다.
컴퓨터 프로그램의 실행을 위한 컴퓨터들은 범용 또는 특수 목적 마이크로프로세서들, 이들 둘 모두, 또는 다른 유형의 CPU에 기반할 수 있다. 일반적으로, CPU는 메모리로부터 명령어들 및 데이터를 수신하고 이들을 메모리에 기입할 것이다. 컴퓨터의 필수적인 요소들은 명령어들을 수행 또는 실행하기 위한 CPU, 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 또한, 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스, 예컨대, 자기, 광자기 디스크들, 또는 광학 디스크들을 포함하거나, 또는 이들로부터 데이터를 수신하기 위해 또는 이들에 데이터를 전송하기 위해, 또는 이들 둘 모두를 수행하기 위해 동작가능하게 결합될 수 있다. 그러나, 컴퓨터가 그러한 디바이스들을 가질 필요는 없다. 더욱이, 컴퓨터는 다른 디바이스, 예컨대, 모바일 텔레폰, 개인 휴대 정보 단말기(PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, 전역 위치결정 시스템(GPS) 수신기, 또는 휴대용 메모리 저장 디바이스에 내장될 수 있다.
컴퓨터 프로그램 명령어들 및 데이터를 저장하기 위한 비-일시적인 컴퓨터 판독가능 매체는 모든 형태들의 매체 및 메모리 디바이스들, 자기 디바이스들, 광자기 디스크들, 및 광학 메모리 디바이스를 포함할 수 있다. 메모리 디바이스들은, 반도체 메모리 디바이스들, 예컨대, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 상변화 메모리(PRAM), 정적 랜덤 액세스 메모리(SRAM), 동적 랜덤 액세스 메모리(DRAM), 소거가능한 프로그래밍가능 판독 전용 메모리(EPROM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리(EEPROM), 및 플래시 메모리 디바이스들을 포함한다. 자기 디바이스들은, 예컨대, 테이프, 카트리지들, 카세트들, 내부/착탈식 디스크들을 포함한다. 광학 메모리 디바이스들은, 예컨대, 디지털 비디오 디스크(DVD), CD-ROM, DVD+/-R, DVD-RAM, DVD-ROM, HD-DVD, 및 블루레이(BLURAY), 및 다른 광학 메모리 기술들을 포함한다. 메모리는, 캐시들, 클래스들, 프레임워크들, 애플리케이션들, 모듈들, 백업 데이터, 작업들, 웹 페이지들, 웹 페이지 템플릿들, 데이터 구조들, 데이터베이스 테이블들, 동적 정보를 저장하는 저장소(repository)들, 또는 임의의 파라미터들, 변수들, 알고리즘들, 명령어들, 규칙들, 제약들, 또는 참조들을 포함하는 다른 적절한 정보를 포함하는 다양한 객체들 또는 데이터를 저장할 수 있다. 부가적으로, 메모리는, 로그들, 정책들, 보안 또는 액세스 데이터, 또는 보고 파일들과 같은 다른 적절한 데이터를 포함할 수 있다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보충되거나, 그에 통합될 수 있다.
사용자와의 상호작용을 제공하기 위해, 본 명세서에서 설명된 주제의 구현들은 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스, 예컨대 CRT(음극선관), LCD(액정 디스플레이), LED(발광 다이오드), 또는 플라즈마 모니터, 및 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스, 예컨대, 마우스, 트랙볼, 또는 트랙패드를 갖는 컴퓨터 상에서 구현될 수 있다. 입력은 또한, 터치스크린, 이를테면, 압력 민감도를 갖는 태블릿 컴퓨터 표면, 용량성 또는 전기적 감지를 사용하는 멀티-터치 스크린, 또는 다른 유형의 터치스크린을 사용하여 컴퓨터에 제공될 수 있다. 다른 유형들의 디바이스들이 사용자와 상호작용하는 데 사용될 수 있다. 예컨대, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백일 수 있다. 사용자로부터의 입력은 음향, 음성, 또는 촉각적 입력을 포함하는 임의의 형태로 수신될 수 있다. 게다가, 컴퓨터는, 사용자에 의해 사용되는 클라이언트 컴퓨팅 디바이스에 문서들을 전송하고 그로부터 문서들을 수신함으로써 사용자와 상호작용할 수 있다.
"그래픽 사용자 인터페이스" 또는 "GUI"라는 용어는, 하나 이상의 그래픽 사용자 인터페이스 및 특정 그래픽 사용자 인터페이스의 디스플레이들 각각을 설명하기 위해 단수 또는 복수로 사용될 수 있다. 따라서, GUI는, 웹 브라우저, 터치 스크린, 또는 정보를 처리하고 정보 결과들을 사용자에게 효율적으로 제시하는 명령 라인 인터페이스(CLI)를 포함하지만 이에 제한되지 않는 임의의 그래픽 사용자 인터페이스를 표현할 수 있다. 일반적으로, GUI는 복수의 사용자 인터페이스(UI) 요소들을 포함할 수 있으며, 일부 또는 전부가 웹 브라우저, 이를테면, 상호작용형 필드들, 풀-다운(pull-down) 목록들, 및 버튼들과 연관된다. 이들 및 다른 UI 요소들은 웹 브라우저의 기능들과 관련되거나 이들을 표현할 수 있다.
본 명세서에서 설명된 주제의 구현들은, 예컨대 데이터 서버로서 백엔드 컴포넌트를 포함하거나, 미들웨어 컴포넌트, 이를테면 애플리케이션 서버를 포함하거나, 프론트엔드 컴포넌트, 예컨대, 사용자가 본 명세서에서 설명된 주제의 구현과 상호작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터를 포함하거나, 또는 하나 이상의 그러한 백엔드, 미들웨어, 또는 프론트엔드 컴포넌트들의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은, 임의의 형태 또는 매체의 유선 또는 무선 디지털 데이터 통신(또는 데이터 통신의 조합), 예컨대 통신 네트워크에 의해 상호연결될 수 있다. 통신 네트워크들의 예들은, 근거리 네트워크(LAN), 라디오 액세스 네트워크(RAN), 대도시 영역 네트워크(MAN), 광역 네트워크(WAN), 마이크로파 액세스를 위한 범세계적 상호운용성(WIMAX), 예컨대, 802.11 a/b/g/n 또는 802.20(또는 802.11x 및 802.20 또는 본 개시내용과 일관되는 다른 프로토콜들의 조합)을 사용하는 무선 근거리 네트워크(WLAN), 인터넷의 일부분 또는 그 전부, 다른 통신 네트워크, 또는 통신 네트워크들의 조합을 포함한다. 통신 네트워크는, 예컨대, 네트워크 어드레스들 사이에서 인터넷 프로토콜(IP) 패킷들, 프레임 중계 프레임들, 비동기 전송 모드(ATM) 셀들, 보이스, 비디오, 데이터, 또는 다른 정보를 통신할 수 있다.
컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 떨어져 있으며, 전형적으로 통신 네트워크를 통해 상호작용한다. 클라이언트와 서버의 관계는, 개개의 컴퓨터들 상에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들에 의해 발생한다.
본원에서 사용되는 바와 같이, "포함한다(comprises)" 및 "포함하는(comprising)"이라는 용어들은 배타적인 것이 아니라 포괄적이고 제한을 두지 않는 것으로서 해석되어야 한다. 구체적으로, 명세서 및 청구항들에서 사용될 때, "포함한다" 및 "포함하는"이라는 용어들 및 이들의 변형들은 특정된 피처들, 단계들, 또는 컴포넌트들이 포함됨을 의미한다. 이러한 용어들은, 다른 특징들, 단계들, 또는 컴포넌트들의 존재를 배제하는 것으로 해석되어서는 안 된다.
본원에서 사용되는 바와 같이, "예시적인"이라는 용어는 "예, 예시, 또는 예증으로서 기능하는 것"을 의미하며, 본원에서 개시된 다른 구성들에 비해 바람직하거나 유리한 것으로서 해석되어서는 안 된다.
본원에서 사용되는 바와 같이, 용어 "약" 및 "대략적으로"라는 용어들은, 값들의 범위들의 상한 및 하한에 존재할 수 있는 변동들, 이를테면, 특성들, 파라미터들, 및 치수들에서의 변동들을 커버하려는 것이다. 하나의 비-제한적인 예에서, "약" 및 "대략적으로"라는 용어들은 플러스 또는 마이너스 10 퍼센트 이하를 의미한다.
본 명세서가 많은 특정한 구현 세부사항들을 포함하지만, 이들은 청구될 수 있는 것의 범위에 대한 제한들로서 해석되어서는 안 되며, 오히려, 특정 구현들에 특정적일 수 있는 피처들의 설명들로서 해석되어야 한다. 별개의 구현들의 맥락에서 본 명세서에서 설명되는 특정 피처들은 또한, 단일 구현으로 조합되어 구현될 수 있다. 반대로, 단일 구현의 맥락에서 설명되는 다양한 피처들은 또한 다수의 구현들에서, 별개로, 또는 임의의 하위 조합으로 구현될 수 있다. 더욱이, 이전에 설명된 피처들이 특정 조합들로 작용하는 것으로 설명되고 심지어 처음에 이와 같이 청구될 수 있지만, 일부 경우들에서, 청구된 조합으로부터의 하나 이상의 피처가 그 조합으로부터 제거될 수 있고, 청구된 조합은 하위 조합 또는 하위 조합의 변형과 관련될 수 있다.
위에서 설명된 특정 실시예들은 예로서 도시되었고, 이러한 실시예들은 다양한 수정들 및 대안적인 형태들을 허용할 수 있다는 것이 이해되어야 한다. 추가로, 청구항들은 개시된 특정 형태들로 제한되도록 의도되지 않으며, 오히려, 본 개시내용의 사상 및 범위 내에 속하는 모든 수정들, 등가물들, 및 대안들을 커버하는 것으로 의도된다는 것이 이해되어야 한다. 실제로, 설명된 구현들의 다른 구현들, 변경들 및 치환들은 관련 기술분야의 통상의 기술자들에게 명백할 바와 같이 하기의 청구항들의 범위 내에 있다. 동작들이 특정 순서로 도면들 또는 청구항들에 묘사되지만, 이는, 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정 순서로 또는 순차적 순서로 수행되거나, 또는 예시된 모든 동작들이 수행되는 것을 요구하는 것으로서 이해되어서는 안 된다(일부 동작들은 임의적인 것으로 간주될 수 있음). 특정 상황들에서, 멀티태스킹 또는 병렬 처리(또는 멀티태스킹과 병렬 처리의 조합)가 유리할 수 있고, 적절한 것으로 간주되는 바와 같이 수행될 수 있다.
더욱이, 이전에 설명된 구현들의 다양한 시스템 모듈들 및 컴포넌트들의 분리 또는 통합은 모든 구현들에서 그러한 분리 또는 통합을 요구하는 것으로서 이해되지 않아야 하며, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 또는 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다.
또한, 임의의 청구된 구현은 적어도 컴퓨터에 의해 구현되는 방법; 컴퓨터에 의해 구현되는 방법을 수행하기 위한 컴퓨터 판독가능 명령어들이 저장되는 비-일시적인 컴퓨터 판독가능 매체; 및 비-일시적인 컴퓨터 판독가능 매체 상에 저장된 명령어들 또는 컴퓨터에 의해 구현되는 방법을 수행하도록 구성되는 하드웨어 프로세서와 상호운용가능하게 결합된 컴퓨터 메모리를 포함하는 컴퓨터 시스템에 적용가능한 것으로 고려된다.

Claims (33)

  1. 컴퓨터에 의해 구현되는(computer-implemented) 방법으로서,
    외과 시술 동안 초음파 프로브를 사용하여 수술-중에 환자의 구역에 고주파를 발사(insonify)하는 것으로부터 획득된 초음파 데이터에 액세스하는 단계 ― 상기 초음파 데이터는 상기 구역 내의 하나 이상의 뼈 구조의 3D 표면 정보뿐만 아니라 상기 초음파 프로브에 대한 상기 하나 이상의 뼈 구조의 위치 정보를 실시간으로 인코딩함 ―;
    상기 초음파 데이터에 기반하여 상기 하나 이상의 뼈 구조의 제1 3D 표면 표현을 추출하는 단계;
    상기 외과 시술 이전에 상기 환자의 구역의 비-초음파 이미징을 수행하는 것으로부터 획득된 비-초음파 이미징 데이터에 액세스하는 단계 ― 상기 비-초음파 이미징 데이터는 상기 구역 내의 상기 하나 이상의 뼈 구조의 3D 표면 해부학적 정보를 포함함 ―;
    상기 비-초음파 이미징 데이터에 기반하여 상기 하나 이상의 뼈 구조의 제2 3D 표면 표현을 추출하는 단계;
    심층 학습 알고리즘을 사용하여, 상기 제1 3D 표면 표현으로부터, 하나 이상의 관심 구역(ROI)에 걸쳐 상기 제1 3D 표면 표현 및 상기 제2 3D 표면 표현을 정렬할 때 공간적 변환이 결정되도록 상기 하나 이상의 관심 구역(ROI)을 식별하는 단계; 및
    상기 공간적 변환을 적용하는 것에 기반하여, 상기 초음파 데이터로부터의 3D 표면 정보 상에 상기 비-초음파 이미징 데이터로부터의 3D 표면 해부학적 정보의 오버레이를 생성하는 단계
    를 포함하는, 컴퓨터에 의해 구현되는 방법.
  2. 제1항에 있어서,
    상기 하나 이상의 ROI를 식별하는 단계는, 상기 제1 3D 표면 표현 및 상기 제2 3D 표면 표현이 제1 임계 레벨을 초과하여 매칭되는 상기 제1 3D 표면 표현으로부터의 영역을 부가함으로써, 식별된 하나 이상의 ROI를 성장시키는 단계를 포함하는, 컴퓨터에 의해 구현되는 방법.
  3. 제1항에 있어서,
    상기 하나 이상의 ROI를 식별하는 단계는, 상기 제1 3D 표면 표현 및 상기 제2 3D 표면 표현이 제1 임계 레벨을 초과하는 상기 제1 3D 표면 표현으로부터의 영역을 뺌으로써, 식별된 하나 이상의 ROI를 프루닝(pruning)하는 단계를 포함하는, 컴퓨터에 의해 구현되는 방법.
  4. 제1항에 있어서,
    상기 하나 이상의 ROI를 식별하는 단계는, 상기 외과 시술 동안 실시간으로 비-초음파 데이터 상에 오버레이될 상기 초음파 데이터로부터의 3D 표면 해부학적 정보에 대해 미리 결정된 시간 구간 내에서 상기 공간적 변환이 달성되도록 상기 공간적 변환을 반복적으로 개선하게 상기 심층 학습 알고리즘을 훈련시키는 단계를 포함하는, 컴퓨터에 의해 구현되는 방법.
  5. 제4항에 있어서,
    상기 심층 학습 알고리즘은, 상기 하나 이상의 ROI의 수, 상기 하나 이상의 ROI의 크기, 상기 하나 이상의 ROI의 위치, 상기 제1 3D 표면 표현 및 상기 제2 3D 표면 표현 사이의 매치를 결정하기 위한 제1 임계 레벨, 및 상기 제1 3D 표면 표현 및 상기 제2 3D 표면 표현의 잡음 특성을 결정하기 위한 제2 임계 레벨을 조정하는 것을 포함하는, 컴퓨터에 의해 구현되는 방법.
  6. 제4항에 있어서,
    상기 심층 학습 알고리즘은, 상기 제1 3D 표면 표현 및 상기 제2 3D 표면 표현이 매칭되는 경향이 있는 패치들의 제1 템플릿들을 저장하는 것을 포함하는, 컴퓨터에 의해 구현되는 방법.
  7. 제4항에 있어서,
    상기 심층 학습 알고리즘은, 상기 초음파 데이터 또는 상기 비-초음파 이미징 데이터 중 적어도 하나에 대한 상기 공간적 변환에 기반하여, 상기 제1 표면 3D 표현 및 상기 제2 표면 3D 표현이 매칭되는 경향이 있는 ROI들의 제1 템플릿들을 교정하는 것을 포함하는, 컴퓨터에 의해 구현되는 방법.
  8. 제4항에 있어서,
    상기 심층 학습 알고리즘은, 상기 제1 3D 표면 표현 및 상기 제2 표면 표현이 미스매칭되는 경향이 있는 패치들의 제2 템플릿들을 저장하는 것을 포함하는, 컴퓨터에 의해 구현되는 방법.
  9. 제4항에 있어서,
    상기 심층 학습 알고리즘은, 상기 초음파 데이터 또는 상기 비-초음파 이미징 데이터 중 적어도 하나에 대한 상기 공간적 변환에 기반하여, 상기 제1 3D 표면 표현 및 상기 제2 3D 표면 표현이 미스매칭되는 경향이 있는 ROI들의 제2 템플릿들을 교정하는 것을 포함하는, 컴퓨터에 의해 구현되는 방법.
  10. 제1항에 있어서,
    상기 하나 이상의 ROI에 걸쳐 상기 제1 3D 표면 표현 및 상기 제2 3D 표면 표현을 정렬하는 것에 기반하여, 상기 외과 시술 이전에 획득된 상기 비-초음파 이미징 데이터와 상기 외과 시술 동안 획득된 상기 초음파 데이터 사이에서 상기 구역 내의 상기 하나 이상의 뼈 구조의 변위를 추적하는 단계; 및
    상기 공간적 변환에 기반하여, 상기 외과 시술 이전에 획득된 상기 비-초음파 이미징 데이터와 상기 외과 시술 동안 획득된 상기 초음파 데이터 사이에서 상기 구역 내의 하나 이상의 뼈 구조의 변위를 정량화하는 단계
    를 더 포함하는, 컴퓨터에 의해 구현되는 방법.
  11. 제10항에 있어서,
    추적된 변위에 기반하여, 상기 초음파 프로브의 포지션이 조정될 수 있도록, 상기 외과 시술 동안 수술 중인 외과의사에 대한 내비게이션 안내를 실시간으로 업데이트하는 단계를 더 포함하는, 컴퓨터에 의해 구현되는 방법.
  12. 제11항에 있어서,
    상기 초음파 프로브가 상기 외과 시술 동안 상기 하나 이상의 뼈 구조에 고주파를 발사하도록 재-위치결정되는 것에 대한 응답으로, 상기 초음파 데이터로부터의 3D 표면 해부학적 정보 상의 상기 비-초음파 이미징 데이터로부터의 3D 표면 해부학적 정보의 상기 오버레이가 업데이트되도록 공간적 변환을 리프레시하는 단계를 더 포함하며, 상기 초음파 데이터는 재-위치결정된 초음파 프로브로부터 획득되는, 컴퓨터에 의해 구현되는 방법.
  13. 제1항에 있어서,
    상기 초음파 데이터를 사용하여, 상기 외과 시술 동안 디바이스의 위치를 추적하는 단계 ― 상기 디바이스는 외과용 기구, 이식물, 또는 자극기 디바이스를 포함함 ―; 및
    상기 비-초음파 이미징 데이터로부터의 상기 하나 이상의 뼈 구조의 3D 표면 정보가 상기 초음파 데이터로부터의 상기 하나 이상의 뼈 구조의 3D 표면 정보 상에 오버레이되는 상기 오버레이 상에 상기 디바이스의 추적된 위치를 투영하는 단계
    를 더 포함하는, 컴퓨터에 의해 구현되는 방법.
  14. 제1항에 있어서,
    상기 제1 3D 표면 표현을 추출하는 단계는, 순방향 트레이싱 방법(forward tracing method) 또는 후방 음영 방법(back shadow method)을 포함하는 방법을 적용하는 것에 기반하여 조직-뼈 계면을 결정하는 단계를 포함하며, 상기 방법은 상기 조직-뼈 계면을 결정하기 위해 초음파 전파 방향을 따라 수행되고, 상기 방법은 상기 조직-뼈 계면으로부터의 잔향들에 직면함이 없이 수행되는, 컴퓨터에 의해 구현되는 방법.
  15. 제1항에 있어서,
    상기 비-초음파 이미징 데이터는 컴퓨터 단층촬영(computed tomography)(CT) 이미지 또는 자기 공명 이미징(MRI) 이미지를 포함하며, 상기 MRI 이미지는 제로 에코-시간(zero echo-time)(TE) MRI 이미지를 포함하고, 상기 컴퓨터에 의해 구현되는 방법은 X-선 형광 투시법 데이터에 액세스함이 없이 수행되는, 컴퓨터에 의해 구현되는 방법.
  16. 제1항에 있어서,
    상기 구역은 척주 구역, 골반 구역, 천골 구역, 또는 후두골 구역을 포함하는, 컴퓨터에 의해 구현되는 방법.
  17. 제1항에 있어서,
    상기 구역은 상완골, 팔꿈치들, 요골, 척골, 중수골들, 지골들, 견갑골, 늑골들, 장골 날개들, 대퇴골들, 슬개골, 경골들, 비골들, 또는 중족골 중 적어도 하나를 포함하는, 컴퓨터에 의해 구현되는 방법.
  18. 제1항에 있어서,
    상기 구역은 어깨들, 팔꿈치들, 손목들, 손들, 엉덩이들, 무릎들, 발목들, 또는 발들 중 적어도 하나를 포함하는, 컴퓨터에 의해 구현되는 방법.
  19. 제1항에 있어서,
    상기 구역은 뼈 내의, 상기 뼈 주위의, 그리고 상기 뼈의 표면 상의 하나 이상의 병변의 생검을 위한 영역을 포함하는, 컴퓨터에 의해 구현되는 방법.
  20. 제1항에 있어서,
    상기 구역은, 연조직 또는 발통점 주사를 위한, 그리고 (i) 관절천자술, 후관절 차단술, 또는 관절조영술을 위한 관절, (ii) 적어도 하나의 사지의 하나 이상의 뼈 주위의 윤활낭 또는 신경절들, (iii) 상기 관절 주위의 하나 이상의 인대 구조, (iv) 상기 환자의 손들 또는 발들의 수근관 및 족근관을 포함하는 하나 이상의 구조적 터널, 또는 (v) 하나 이상의 힘줄 내에 주사하기 위한 하나 이상의 영역을 포함하는, 컴퓨터에 의해 구현되는 방법.
  21. 시스템으로서,
    환자의 구역에 고주파를 발사하도록 동작가능한 초음파 프로브;
    외과 시술 동안 실시간 시각적 피드백을 제공하는 것이 가능한 디스플레이 디바이스; 및
    상기 초음파 프로브 및 상기 디스플레이 디바이스와 통신하는 컴퓨터 프로세서
    를 포함하며, 상기 컴퓨터 프로세서는,
    상기 외과 시술 동안 수술-중에 상기 환자의 구역에 고주파를 발사하는 것으로부터 획득된 초음파 데이터에 액세스하고 ― 상기 초음파 데이터는 상기 구역 내의 하나 이상의 뼈 구조의 3D 표면 정보뿐만 아니라 상기 초음파 프로브에 대한 상기 하나 이상의 뼈 구조의 위치 정보를 실시간으로 인코딩함 ―,
    상기 초음파 데이터에 기반하여 상기 하나 이상의 뼈 구조의 제1 3D 표면 표현을 추출하고,
    상기 외과 시술 이전에 상기 환자의 구역에 대해 비-초음파 이미징을 수행하는 것으로부터 획득된 비-초음파 이미징 데이터에 액세스하고 ― 상기 비-초음파 이미징 데이터는 상기 구역 내의 상기 하나 이상의 뼈 구조의 3D 표면 해부학적 정보를 포함함 ―,
    상기 비-초음파 이미징 데이터에 기반하여 상기 하나 이상의 뼈 구조의 제2 3D 표면 표현을 추출하고,
    심층 학습 알고리즘을 사용하여, 상기 제1 3D 표면 표현으로부터, 하나 이상의 관심 구역(ROI)에 걸쳐 상기 제1 3D 표면 표현 및 상기 제2 3D 표면 표현을 정렬할 때 공간적 변환이 결정되도록 상기 하나 이상의 관심 구역(ROI)을 식별하고,
    상기 공간적 변환을 적용하는 것에 기반하여, 상기 초음파 데이터로부터의 3D 표면 정보 상에 상기 비-초음파 이미징 데이터로부터의 3D 표면 해부학적 정보의 오버레이를 생성하도록
    구성되는, 시스템.
  22. 제21항에 있어서, 상기 컴퓨터 프로세서는,
    상기 초음파 데이터를 사용하여, 상기 외과 시술 동안 외과용 기구의 위치를 추적하고;
    상기 비-초음파 이미징 데이터로부터의 상기 하나 이상의 뼈 구조의 3D 표면 정보가 상기 초음파 데이터로부터의 상기 하나 이상의 뼈 구조의 3D 표면 정보 상에 오버레이되는 상기 오버레이 상에 상기 외과용 기구의 추적된 위치를 투영하도록
    추가로 구성되며, 상기 외과용 기구는 상기 외과 시술 동안 상기 구역 내에 척추경 나사못, 이식물, 또는 자극기를 배치하는 것을 용이하게 하도록 동작가능한, 시스템.
  23. 제21항에 있어서, 상기 컴퓨터 프로세서는,
    상기 하나 이상의 ROI에 걸쳐 상기 제1 3D 표면 표현 및 상기 제2 3D 표면 표현을 정렬하는 것에 기반하여, 상기 외과 시술 이전에 획득된 상기 비-초음파 이미징 데이터와 상기 외과 시술 동안 획득된 상기 초음파 데이터 사이에서 상기 구역 내의 상기 하나 이상의 뼈 구조의 변위를 추적하고;
    추적된 변위에 기반하여, 상기 초음파 프로브의 포지션이 조정될 수 있도록, 상기 외과 시술 동안 수술 중인 외과의사에 대한 내비게이션 안내를 실시간으로 업데이트하도록
    추가로 구성되는, 시스템.
  24. 제21항에 있어서,
    상기 디스플레이 디바이스는, 상기 외과 시술 동안 수술 중인 외과의사를 내비게이팅하기 위한 증강 현실 렌더링이 제공되게, 상기 초음파 데이터로부터의 3D 표면 정보 상의 상기 비-초음파 이미징 데이터로부터의 3D 표면 해부학적 정보의 상기 오버레이를 실시간으로 리프레시하도록 구성되는, 시스템.
  25. 제24항에 있어서,
    상기 디스플레이 디바이스는 웨어러블 디바이스를 포함하고, 상기 초음파 프로브는 무선 초음파 프로브를 포함하는, 시스템.
  26. 제21항에 있어서,
    상기 외과 시술 동안 상기 초음파 프로브의 실시간 추적 정보를 제공하도록 구성되는 추적 시스템을 더 포함하며, 상기 초음파 프로브의 실시간 추적 정보는, 상기 초음파 프로브에 대한 상기 하나 이상의 뼈 구조의 위치 정보와 결합될 때, 상기 외과 시술 동안 상기 초음파 프로브를 위치결정하는 것에 관한 수술 중인 외과의사에 대한 내비게이션 안내로 변환가능한, 시스템.
  27. 제26항에 있어서,
    상기 추적 시스템은 광학 추적기, 스텝형 모터, 전자기 센서, 가속기, 또는 자이로스코프 중 적어도 하나를 포함하는, 시스템.
  28. 제21항에 있어서,
    상기 구역은 척주 구역, 골반 구역, 천골 구역, 또는 후두골 구역을 포함하는, 시스템.
  29. 제21항에 있어서,
    상기 구역은 상완골, 팔꿈치들, 요골, 척골, 중수골들, 지골들, 견갑골, 늑골들, 장골 날개들, 대퇴골들, 슬개골, 경골들, 비골들, 또는 중족골 중 적어도 하나를 포함하는, 시스템.
  30. 제21항에 있어서,
    상기 구역은 어깨들, 팔꿈치들, 손목들, 손들, 엉덩이들, 무릎들, 발목들, 또는 발들 중 적어도 하나를 포함하는, 시스템.
  31. 제21항에 있어서,
    상기 구역은 뼈 내의, 상기 뼈 주위의, 그리고 상기 뼈의 표면 상의 하나 이상의 병변의 생검을 위한 하나 이상의 영역을 포함하는, 시스템.
  32. 제21항에 있어서,
    상기 구역은, 연조직 또는 발통점 주사를 위한, 그리고 (i) 관절천자술, 후관절 차단술, 또는 관절조영술을 위한 관절, (ii) 적어도 하나의 사지의 하나 이상의 뼈 주위의 윤활낭 또는 신경절들, (iii) 상기 관절 주위의 하나 이상의 인대 구조, (iv) 상기 환자의 손들 또는 발들의 수근관 및 족근관을 포함하는 하나 이상의 구조적 터널, 또는 (v) 하나 이상의 힘줄 내에 주사하기 위한 하나 이상의 영역을 포함하는, 시스템.
  33. 컴퓨터에 의해 구현되는 방법으로서,
    초음파 프로브를 사용하여 환자의 구역에 고주파를 발사하는 것으로부터 획득된 초음파 데이터에 액세스하는 단계 ― 상기 초음파 데이터는 상기 구역 내의 하나 이상의 뼈 구조의 3D 표면 정보뿐만 아니라 상기 초음파 프로브에 대한 상기 하나 이상의 뼈 구조의 위치 정보를 실시간으로 인코딩함 ―;
    상기 초음파 데이터에 기반하여 상기 하나 이상의 뼈 구조의 제1 3D 표면 표현을 추출하는 단계;
    상기 환자의 구역의 비-초음파 이미징을 수행하는 것으로부터 획득된 비-초음파 이미징 데이터에 액세스하는 단계 ― 상기 비-초음파 이미징 데이터는 상기 구역 내의 상기 하나 이상의 뼈 구조의 3D 표면 해부학적 정보를 포함함 ―;
    상기 비-초음파 이미징 데이터에 기반하여 상기 하나 이상의 뼈 구조의 제2 3D 표면 표현을 추출하는 단계;
    심층 학습 알고리즘을 사용하여, 상기 제1 3D 표면 표현으로부터, 하나 이상의 관심 구역(ROI)에 걸쳐 상기 제1 3D 표면 표현 및 상기 제2 3D 표면 표현을 정렬할 때 공간적 변환이 결정되도록 상기 하나 이상의 관심 구역(ROI)을 식별하는 단계; 및
    상기 공간적 변환을 적용하는 것에 기반하여, 상기 초음파 데이터로부터의 3D 표면 정보 상에 상기 비-초음파 이미징 데이터로부터의 3D 표면 해부학적 정보의 오버레이를 생성하는 단계
    를 포함하는, 컴퓨터에 의해 구현되는 방법.
KR1020237033752A 2021-03-05 2022-03-04 방사선학적으로 내비게이팅되는 수술-중 척추 안내 시스템 KR20240016247A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163157483P 2021-03-05 2021-03-05
US63/157,483 2021-03-05
PCT/US2022/018959 WO2022187659A1 (en) 2021-03-05 2022-03-04 Radiologically navigated intra-operative spinal guidance system

Publications (1)

Publication Number Publication Date
KR20240016247A true KR20240016247A (ko) 2024-02-06

Family

ID=83155570

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237033752A KR20240016247A (ko) 2021-03-05 2022-03-04 방사선학적으로 내비게이팅되는 수술-중 척추 안내 시스템

Country Status (9)

Country Link
US (1) US20240138818A1 (ko)
EP (1) EP4301268A1 (ko)
JP (1) JP2024510140A (ko)
KR (1) KR20240016247A (ko)
CN (1) CN117241757A (ko)
AU (1) AU2022231159A1 (ko)
CA (1) CA3209143A1 (ko)
IL (1) IL305327A (ko)
WO (1) WO2022187659A1 (ko)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6246784B1 (en) * 1997-08-19 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Method for segmenting medical images and detecting surface anomalies in anatomical structures
US6106464A (en) * 1999-02-22 2000-08-22 Vanderbilt University Apparatus and method for bone surface-based registration of physical space with tomographic images and for guiding an instrument relative to anatomical sites in the image
US6379302B1 (en) * 1999-10-28 2002-04-30 Surgical Navigation Technologies Inc. Navigation information overlay onto ultrasound imagery
JP5161427B2 (ja) * 2006-02-20 2013-03-13 株式会社東芝 画像撮影装置、画像処理装置及びプログラム
US8771188B2 (en) * 2007-06-20 2014-07-08 Perception Raisonnement Action En Medecine Ultrasonic bone motion tracking system
CA2845044C (en) * 2011-08-12 2023-03-28 Jointvue, Llc 3-d ultrasound imaging device and methods
CA2852233C (en) * 2011-10-14 2023-08-08 Jointvue, Llc Real-time 3-d ultrasound reconstruction of knee and its implications for patient specific implants and 3-d joint injections
US10957010B2 (en) * 2019-08-07 2021-03-23 General Electric Company Deformable registration for multimodal images

Also Published As

Publication number Publication date
WO2022187659A1 (en) 2022-09-09
EP4301268A1 (en) 2024-01-10
WO2022187659A9 (en) 2023-10-12
AU2022231159A1 (en) 2023-09-07
US20240138818A1 (en) 2024-05-02
CA3209143A1 (en) 2022-09-09
CN117241757A (zh) 2023-12-15
JP2024510140A (ja) 2024-03-06
IL305327A (en) 2023-10-01

Similar Documents

Publication Publication Date Title
US10297042B2 (en) Medical image fusion with reduced search space
US10055848B2 (en) Three-dimensional image segmentation based on a two-dimensional image information
Hacihaliloglu et al. Automatic bone localization and fracture detection from volumetric ultrasound images using 3-D local phase features
US9928588B2 (en) Indication-dependent display of a medical image
Gong et al. Interactive initialization of 2D/3D rigid registration
CN105852971A (zh) 基于骨骼三维中点云的配准导航方法
Gueziri et al. The state-of-the-art in ultrasound-guided spine interventions
CA2969874C (en) Method for optimising the position of a patient's body part relative to an imaging device
Schumann State of the art of ultrasound-based registration in computer assisted orthopedic interventions
Brignol et al. Automatic extraction of vertebral landmarks from ultrasound images: A pilot study
JP7288976B2 (ja) 患者に切開マーカーを投影するための方法およびシステム
US20240138818A1 (en) Radiologically navigated intra-operative spinal guidance system
US11295462B2 (en) Determination of registration accuracy
US20230360334A1 (en) Positioning medical views in augmented reality
US20230190377A1 (en) Technique Of Determining A Scan Region To Be Imaged By A Medical Image Acquisition Device
WO2022258502A1 (en) Orienting an x-ray device based on an ultrasound image
Brat Comparison of three point-based techniques for fast rigid US-CT intraoperative registration for lumbar fusion
Hacihaliloglu Towards a novel minimally invasive three dimensional ultrasound imaging based computer assisted orthopaedic surgery system for bone fracture reduction
IL310322A (en) Determining the level of the spine using augmented reality