JP2024510140A - 放射線学的なナビゲートを用いる術中脊椎誘導システム - Google Patents

放射線学的なナビゲートを用いる術中脊椎誘導システム Download PDF

Info

Publication number
JP2024510140A
JP2024510140A JP2023553954A JP2023553954A JP2024510140A JP 2024510140 A JP2024510140 A JP 2024510140A JP 2023553954 A JP2023553954 A JP 2023553954A JP 2023553954 A JP2023553954 A JP 2023553954A JP 2024510140 A JP2024510140 A JP 2024510140A
Authority
JP
Japan
Prior art keywords
dimensional surface
ultrasound
region
computer
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023553954A
Other languages
English (en)
Inventor
シュワブ，フランク
コサレック，フランク
ラファージ，ヴィルジニ
Original Assignee
ニューヨーク ソサイエティ フォア ザ リリーフ オブ ザ ラプチャード アンド クリップルド メインテイニング ザ ホスピタル フォア スペシャル サージェリー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ニューヨーク ソサイエティ フォア ザ リリーフ オブ ザ ラプチャード アンド クリップルド メインテイニング ザ ホスピタル フォア スペシャル サージェリー filed Critical ニューヨーク ソサイエティ フォア ザ リリーフ オブ ザ ラプチャード アンド クリップルド メインテイニング ザ ホスピタル フォア スペシャル サージェリー
Publication of JP2024510140A publication Critical patent/JP2024510140A/ja
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Abstract

コンピュータによって実装される方法は、手術処置中に超音波プローブを用いて患者の領域に超音波照射を手術中に行うことで得られる超音波データにアクセスすることであって、前記超音波データは、前記領域の１つまたは複数の骨構造の３次元表面情報と前記超音波プローブに対する前記１つまたは複数の骨構造の位置情報とを、リアルタイムで符号化する、ことと、前記超音波データに基づいて、前記１つまたは複数の骨構造の第１の３次元表面表現を抽出することと、前記手術処置前に前記患者の前記領域に非超音波イメージングを行って得られる非超音波イメージングデータにアクセスすることであって、前記非超音波イメージングデータは、前記領域の前記１つまたは複数の骨構造の３次元表面解剖学的情報を含む、ことと、前記非超音波イメージングデータに基づいて、前記１つまたは複数の骨構造の第２の３次元表面表現を抽出することと、ディープラーニングアルゴリズムを用いて、前記第１の３次元表面表現から１つまたは複数の関心領域（ＲＯＩ）を識別することであって、前記第１の３次元表面表現と前記第２の３次元表面表現を前記１つまたは複数の関心領域に整列させると空間変換が決まる、ことと、前記空間変換の適用に基づいて、前記非超音波イメージングデータからの前記３次元表面解剖学的情報の、前記超音波データからの前記３次元表面情報へのオーバーレイを生成すること、を含む。【選択図】図１

Description

［関連出願の相互参照］
本願は、米国特許仮出願第６３／１５７，４８３号に基づく優先権を主張し、その全体が本願に組み込まれる。
本説明は、概して、手術時の処置、特に手術時の処置におけるナビゲーションに関する。
現在の手術処置、特に脊髄に係る処置には、重大なリスクが伴う。このようなリスクの1つとして、身体の神経系および血管系の繊細な構造に隣接する位置に移植組織や装置を
配置することが挙げられる。器具や移植組織の配置不良または誤配置のリスクを低減することは、施術者の訓練および撮像システムの飛躍的な進歩の恩恵があるとはいえ、メリットがあるといえる。脊椎固定術に関連する別の問題として、患者を位置決めすることおよびＸ線蛍光透視法に基づく画像位置合わせを複合することができる様々な手術処置によって誘発される脊椎の再整形が挙げられる。さらに、現在の撮像システムは、操作性が高くなく高価でもある。
１つの側面では、いくつかの実施形態において、手術処置中に超音波プローブを用いて患者の領域に超音波照射を手術中に行うことで得られる超音波データにアクセスすることであって、前記超音波データは、前記領域の１つまたは複数の骨構造の３次元表面情報と前記超音波プローブに対する前記１つまたは複数の骨構造の位置情報とを、リアルタイムで符号化する、ことと、前記超音波データに基づいて、前記１つまたは複数の骨構造の第１の３次元表面表現を抽出することと、前記手術処置前に前記患者の前記領域に非超音波イメージングを行って得られる非超音波イメージングデータにアクセスすることであって、前記非超音波イメージングデータは、前記領域の前記１つまたは複数の骨構造の３次元表面解剖学的情報を含む、ことと、前記非超音波イメージングデータに基づいて、前記１つまたは複数の骨構造の第２の３次元表面表現を抽出することと、ディープラーニングアルゴリズムを用いて、前記第１の３次元表面表現から１つまたは複数の関心領域（ＲＯＩ；Region of Interest）を識別することであって、前記第１の３次元表面表現と前記第２の３次元表面表現を前記１つまたは複数の関心領域に整列させると空間変換が決まる、ことと、前記空間変換の適用に基づいて、前記非超音波イメージングデータからの前記３次元表面解剖学的情報の、前記超音波データからの前記３次元表面情報へのオーバーレイを生成すること、を含むことを特徴とするコンピュータによって実装される方法が提供される。
上記の実施形態は以下の特徴を含んでもよい。
前記１つまたは複数の関心領域を識別することは、前記第１の３次元表面表現からの領域を追加することで前記特定された１つまたは複数の関心領域を成長させることであって、前記第１の３次元表面表現と前記第２の３次元表面表現は、第１の閾値レベルより上のレベルでマッチングされる、ことを含むこと。前記１つまたは複数の関心領域を識別することは、前記第１の３次元表面表現から領域を差し引くことで前記特定された１つまたは複数の関心領域をプルーニングすることであって、前記第１の３次元表面表現と前記第３の３次元表面表現は、第１の閾値レベルより上のレベルにある、こと、を含むこと。前記１つまたは複数の関心領域を識別することは、前記ディープラーニングアルゴリズムの学
習を行って前記空間変換を繰り返し向上させて、前記手術処置中にリアルタイムで前記超音波データからの前記３次元表面解剖学的情報が前記非超音波データにオーバーレイされるように、所定時間内に前記空間変換を達成すること、を含むこと。
前記ディープラーニングアルゴリズムは、前記１つまたは複数の関心領域の数と、前記１つまたは複数の関心領域のサイズと、前記１つまたは複数の関心領域の位置と、前記第１の３次元表面表現と前記第２の３次元表面表現との間のマッチングを決定するための第１の閾値レベルと、前記第１の３次元表面表現と前記第２の３次元表面表現のノイズ特性を決定するための第２の閾値レベルと、を調整すること、を含むこと。前記ディープラーニングアルゴリズムは、前記第１の３次元表面表現と前記第２の３次元表面表現とがマッチングする傾向があるパッチの第１のテンプレートを記憶すること、を含むこと。前記ディープラーニングアルゴリズムは、前記超音波データと前記非超音波イメージングデータの少なくとも一方の前記空間変換に基づいて、前記第１の３次元表面表現と前記第２の３次元表面表現とがマッチングする傾向があるように、関心領域の前記第１のテンプレートを修正すること、を含むこと。前記ディープラーニングアルゴリズムは、前記第１の３次元表面表現と前記第２の３次元表面表現とがマッチングしない傾向があるパッチの第２のテンプレートを記憶すること、を含むこと。前記ディープラーニングアルゴリズムは、前記超音波データと前記非超音波イメージングデータの少なくとも一方の前記空間変換に基づいて、前記第１の３次元表面表現と前記第２の３次元表面表現とがマッチングしない傾向があるように、関心領域の前記第２のテンプレートを修正すること、を含むこと。
上記の実施形態は、前記１つまたは複数の関心領域上において前記第１の３次元表面表現と前記第２の３次元表面表現とを整列させることに基づいて、前記手術処置前に取得される前記非超音波イメージングデータと前記手術処置中に取得される前記超音波データとの間の、前記領域内の前記１つまたは複数の骨構造の位置ずれを追跡することと、前記空間変換に基づいて、前記手術処置前に取得される前記非超音波イメージングデータと前記手術処置中に取得される前記超音波データとの間の、前記領域内の前記１つまたは複数の骨構造の前記位置ずれを定量化すること、をさらに含んでもよい。
上記の実施形態は、前記追跡された位置ずれに基づいて、前記超音波プローブの位置を調整できるように、前記手術処置中に手術医に対するナビゲーションガイダンスをリアルタイムで更新することをさらに含んでもよい。上記の実施形態は、前記手術処置中に前記超音波プローブの位置を変更して前記１つまたは複数の骨構造に超音波照射を行うことに応じて、前記非超音波イメージングデータからの前記３次元表面解剖学的情報の前記超音波データからの前記３次元表面解剖学的情報へのオーバーレイが更新されるように前記空間変換を更新することであって、前記超音波データは、前記位置が変更された前記超音波プローブから取得される、ことをさらに含んでもよい。
上記の実施形態は、前記手術処置中に、前記超音波データを用いてデバイスの位置を追跡することであって、前記デバイスは手術器具またはインプラントまたは刺激器デバイスを有する、ことと、前記非超音波イメージングデータからの前記１つまたは複数の骨構造の前記３次元表面情報が前記超音波データからの前記１つまたは複数の骨構造の前記３次元表面情報にオーバーレイされている前記オーバーレイ上に、前記デバイスの前記追跡された位置を投影すること、をさらに含んでもよい。
前記第１の３次元表面表現を抽出することは、順行追跡法またはバックシャドウ法を含む方法を適用することに基づいて組織と骨の界面を特定することであって、前記方法は超音波の伝搬方向に沿って実行されることで組織と骨の界面を特定し、前記方法は組織と骨の前記界面からの反響を受けることなく実行される、こと、を含んでもよい。
前記非超音波イメージングデータは、コンピュータ断層撮影（ＣＴ；Computed Tomography）画像または磁気共鳴イメージング（ＭＲＩ；Magnetic resonance Imaging）画像を
含み、前記磁気共鳴イメージング（ＭＲＩ）画像は、ゼロエコー時間（ＴＥ；Echo-Time
）ＭＲＩ画像を含み、前記コンピュータによって実装される方法は、Ｘ線蛍光透視法データにアクセスせずに実行されてもよい。
前記領域は、脊柱領域または骨盤領域または仙骨領域または後頭領域を含んでもよい。前記領域は、上腕骨、肘、橈骨、尺骨、中手骨、指骨、肩甲骨、肋骨、腸骨翼、大腿骨、膝蓋骨、脛骨、腓骨、中足骨のうちの少なくとも１つを含んでもよい。前記領域は、肩、肘、手首、手、臀部、膝、足首、足のうちの少なくとも１つを含んでもよい。前記領域は、骨内、骨の周囲、骨の表面上の１つまたは複数の病変の生検のための領域を含んでもよい。前記領域は、（１）関節穿刺、椎間関節ブロック、または関節造影のための関節、（２）少なくとも１つの肢の１つまたは複数の骨の周囲の滑液包または神経節、（３）関節の周囲の１つまたは複数の靭帯構造、（４）患者の手または足の手根管および足根管を含む１つまたは複数の構造トンネル、または（５）１つまたは複数の腱、に注射するための、軟部組織またはトリガーポイント注射の１つまたは複数の領域を含んでもよい。
別の態様では、実施形態によれば、患者の領域に超音波照射を行う超音波プローブと、手術処置中にリアルタイムの視覚フィードバックを提供することが可能な表示装置と、前記超音波プローブおよび前記表示装置と通信するコンピュータプロセッサであって、前記患者の前記領域に超音波照射を手術中に行うことで得られる超音波データにアクセスすることであって、前記超音波データは、前記領域の１つまたは複数の骨構造の３次元表面情報と前記超音波プローブに対する前記１つまたは複数の骨構造の位置情報とを、リアルタイムで符号化する、ことと、前記超音波データに基づいて、前記１つまたは複数の骨構造の第１の３次元表面表現を抽出することと、前記手術処置前に前記患者の前記領域に非超音波イメージングを行って得られる非超音波イメージングデータにアクセスすることであって、前記非超音波イメージングデータは、前記領域の前記１つまたは複数の骨構造の３次元表面解剖学的情報を含む、ことと、前記非超音波イメージングデータに基づいて、前記１つまたは複数の骨構造の第２の３次元表面表現を抽出することと、ディープラーニングアルゴリズムを用いて、前記第１の３次元表面表現から１つまたは複数の関心領域（ＲＯＩ）を識別することであって、前記第１の３次元表面表現と前記第２の３次元表面表現を前記１つまたは複数の関心領域に整列させると空間変換が決まる、ことと、前記空間変換の適用に基づいて、前記非超音波イメージングデータからの前記３次元表面解剖学的情報の、前記超音波データからの前記３次元表面情報へのオーバーレイを生成すること、を実行するコンピュータプロセッサと、を有することを特徴とするシステムが提供される。
上記の実施形態は以下の特徴を含んでもよい。
前記コンピュータプロセッサは、前記手術処置中に、前記超音波データを用いて手術器具の位置を追跡することと、前記非超音波イメージングデータからの前記１つまたは複数の骨構造の前記３次元表面情報が前記超音波データからの前記１つまたは複数の骨構造の前記３次元表面情報にオーバーレイされている前記オーバーレイ上に、前記手術器具の前記追跡された位置を投影することであって、前記手術器具は、前記手術処置中に前記領域内においてペディクルスクリューまたはインプラントまたは刺激器の配置を支援するように操作可能である、こと、をさらに実行してもよい。
前記コンピュータプロセッサは、前記１つまたは複数の関心領域上において前記第１の３次元表面表現と前記第２の３次元表面表現とを整列させることに基づいて、前記手術処置前に取得される前記非超音波イメージングデータと前記手術処置中に取得される前記超音波データとの間の、前記領域内の前記１つまたは複数の骨構造の位置ずれを追跡するこ
とと、前記追跡された位置ずれに基づいて、前記超音波プローブの位置を調整できるように、前記手術処置中に手術医に対するナビゲーションガイダンスをリアルタイムで更新すること、をさらに実行してもよい。
前記表示装置は、前記手術処置中に拡張現実レンダリングが提供されて手術医をナビゲートするように、前記非超音波イメージングデータからの前記３次元表面解剖学的情報の前記超音波データからの前記３次元表面解剖学的情報へのオーバーレイをリアルタイムで更新してもよい。前記表示装置は、ウェアラブルデバイスを含み、前記超音波プローブは、ワイヤレス超音波プローブを含んでもよい。
前記システムは、前記手術処置中における前記超音波プローブのリアルタイム追跡情報を提供する追跡システムであって、前記超音波プローブの前記リアルタイム追跡情報は、前記超音波プローブに対する前記１つまたは複数の骨構造の位置情報と組み合わせられると、前記手術処置中の前記超音波プローブの位置決めに関して、手術医に対するナビゲーションガイダンスに変換可能である、追跡システムをさらに有してもよい。前記追跡システムは、光学追跡装置、ステップモータ、電磁センサ、加速装置、ジャイロスコープのうち少なくとも１つを有してもよい。
前記領域は、脊柱領域または骨盤領域または仙骨領域または後頭領域を含んでもよい。前記領域は、上腕骨、肘、橈骨、尺骨、中手骨、指骨、肩甲骨、肋骨、腸骨翼、大腿骨、膝蓋骨、脛骨、腓骨、中足骨のうちの少なくとも１つを含んでもよい。前記領域は、肩、肘、手首、手、臀部、膝、足首、足のうちの少なくとも１つを含んでもよい。前記領域は、骨内、骨の周囲、骨の表面上の１つまたは複数の病変の生検のための領域を含んでもよい。前記領域は、（１）関節穿刺、椎間関節ブロック、または関節造影のための関節、（２）少なくとも１つの肢の１つまたは複数の骨の周囲の滑液包または神経節、（３）関節の周囲の１つまたは複数の靭帯構造、（４）患者の手または足の手根管および足根管を含む１つまたは複数の構造トンネル、または（５）１つまたは複数の腱、に注射するための、軟部組織またはトリガーポイント注射の１つまたは複数の領域を含んでもよい。
さらに別の態様では、実施形態によれば、超音波プローブを用いて患者の領域に超音波照射を行うことで得られる超音波データにアクセスすることであって、前記超音波データは、前記領域の１つまたは複数の骨構造の３次元表面情報と前記超音波プローブに対する前記１つまたは複数の骨構造の位置情報とを、リアルタイムで符号化する、ことと、前記超音波データに基づいて、前記１つまたは複数の骨構造の第１の３次元表面表現を抽出することと、前記患者の前記領域に非超音波イメージングを行って得られる非超音波イメージングデータにアクセスすることであって、前記非超音波イメージングデータは、前記領域の前記１つまたは複数の骨構造の３次元表面解剖学的情報を含む、ことと、前記非超音波イメージングデータに基づいて、前記１つまたは複数の骨構造の第２の３次元表面表現を抽出することと、ディープラーニングアルゴリズムを用いて、前記第１の３次元表面表現から１つまたは複数の関心領域（ＲＯＩ）を識別することであって、前記第１の３次元表面表現と前記第２の３次元表面表現を前記１つまたは複数の関心領域に整列させると空間変換が決まる、ことと、前記空間変換の適用に基づいて、前記非超音波イメージングデータからの前記３次元表面解剖学的情報の、前記超音波データからの前記３次元表面情報へのオーバーレイを生成すること、を含むことを特徴とするコンピュータによって実装される方法が提供される。
ここで、実施形態が、単に例として、図面を参照して説明される。様々な図面における同様の参照符号は、同様の要素を示す。
本開示のいくつかの実施形態によって使用されるワークフローの図の一例を示す。 本開示のいくつかの実施形態によって使用される脊椎骨の術前高解像ＣＴ画像の例を示す。 本開示のいくつかの実施形態による脊椎骨の術中超音波（ＵＳ；Ultra Sonic）画像の例を示す。 本開示のいくつかの実施形態による、術中ＵＳデータに基づいて骨表面を識別する例を示す。 本開示のいくつかの実施形態による、術中ＵＳデータに基づいて骨表面を識別する例を示す。 本開示のいくつかの実施形態による、術中ＵＳデータに基づいて骨表面を識別する例を示す。 本開示のいくつかの実施形態による、術中ＵＳデータに基づいて骨表面を識別する例を示す。 本開示のいくつかの実施形態による、術前ＣＴ画像からの表面表現を術中超音波からの表面表現と位置合わせする例を示す。 本開示のいくつかの実施形態による、術前ＣＴ画像からの表面表現を術中超音波からの表面表現と位置合わせする例を示す。 本開示のいくつかの実施形態による、術前ＣＴ画像からの表面表現を術中超音波からの表面表現と位置合わせする例を示す。 本開示のいくつかの実施形態による、術前ＣＴ画像からの表面表現を術中超音波からの表面表現と位置合わせする例を示す。 本開示のいくつかの実施形態による、術前ＣＴ画像および術中ＵＳデータの重ね合わせの例を示す。 本開示のいくつかの実施形態による、術前ＣＴ画像および術中ＵＳデータの重ね合わせの例を示す。 本開示のいくつかの実施形態による、術前ＣＴ画像を術中ＵＳデータと重ね合わせる例を示す。 本開示のいくつかの実施形態による、術前ＣＴ画像を術中ＵＳデータと重ね合わせる例を示す。 本開示のいくつかの実施形態による、術前高解像ＣＴ画像を術中ＵＳデータと重ね合わせることでレンダリングされた表面の例を示す。 本開示のいくつかの実施形態による、術前高解像ＣＴ画像を術中ＵＳデータと重ね合わせることでレンダリングされた表面の例を示す。 本開示のいくつかの実施形態による、術前ＣＴ画像を術中ＵＳデータと重ね合わせる例におけるパッチ例を示す。 本開示のいくつかの実施形態によって使用されるフローチャートの例を示す。 本開示のいくつかの実施形態によって使用されるフローチャートの例を示す。 本開示のいくつかの実施形態によって使用されるフローチャートの例を示す。 本開示の実施形態に記載のアルゴリズム、方法、機能、プロセス、フロー、および手順に関連付けられた計算機能の提供に用いられるコンピュータシステムの一例を示すブロック図を示す。
これまでに、患者内の組織の可視性を高めることを目的として、手術中撮像システムが大きく進歩している。ナビゲーションシステムは、手術処置のための安全な軌道のガイダンスを施術者に提供するよう発展している。しかしながら、これらのシステムは、典型的
には、手術中の蛍光透視画像に加えて細断された術前ＣＴスキャンや、手術中に取得された蛍光透視ＣＴスキャンを必要とする。これらの取得モードでは、患者、場合によっては専門医が放射線に曝露する可能性がある。加えて、手術中の処置中に、患者に取り付けられた基準マーカの位置がずれて、ゲートが移動ターゲットに開く場合もある。このような状況において、Ｘ線画像を追加で撮像することは、処置の作業フローにおける著しい遅延や、手術野の汚染の恐れを招く可能性がある。
本開示において説明する実施形態では、従来のカメラベースのナビゲーションシステムや拡張現実（ＡＲ）システムと接続される、脊髄ランドマークの超音波ベースの照合を行う新しいシステムを提供する。開示されるシステムの基本部分は、生理食塩水またはゲルで満たされ、患者の体内を伝搬する超音波ための結合を提供することができる。患者または露出された手術野の上で位置を変更できる超音波デバイスの術中使用に関し、手術中の使用とは、外科手術中の器具の使用に関連する場合もある。また、開示されるシステムは、従来のコンピュータ断層撮影（ＣＴ）または磁気共鳴画像法（ＭＲＩ）から算出される術前表面トポグラフィを用いるコンピュータシステムに接続することができる。また、開示されるシステムでは、超音波プローブが移動したときに、センサ、ジャイロスコープ、または光学トラッカを用いてその変位や向きが特定され、脊椎骨の３Ｄ表面が判定および更新される。さらに、超音波プローブの変位を拡張現実ヘッドセットに接続することにより、手術医は、術前ＣＴまたはＭＲＩからのオーバーレイ画像を用いて脊椎骨の正確な位置を視覚化することができる。これに加えてまたはこの代わりに、開示されるシステムは、患者に取り付けられた固定基準マーカに対するカメラナビゲーションを用いて、超音波プローブの移動を追跡することができる。また、開示されるシステムは、ディープラーニングまたは人工知能（ＡＩ）アルゴリズムを使用して、術中超音波（ＵＳ）データに基づいて脊椎骨の骨表面をリアルタイムで識別することができる。実施形態においては、術中ＵＳデータから領域または「パッチ／ＲＯＩ」をインテリジェントに選択することができる。すなわち、ディープラーニングアルゴリズムまたはＡＩアルゴリズムは、これらの「パッチ」を識別するように学習でき、これらの「パッチ」は、互いに関連づけられることで、それぞれの脊椎骨の「サムプリント」として利用することができる。実際に、実施形態において、患者の動きには、椎体の位置の間の空間的変化が伴うため、各脊椎骨を個別に治療することも可能となる。これらの実施形態では、ＡＩアルゴリズムは、手術中の超音波データ上の椎体の「サムプリント」を、手術中のＣＴ／ＭＲＩ画像と、手術中においてリアルタイムで照合することができる。表面データおよびナビゲートされたＵＳプローブを使用して、脊椎後方（posterior spine）の３Ｄ骨表面をリアルタイムで作成するこ
とができる。開示されるシステムを使用することで、手術医は、追跡される器具および／またはインプラント（カメラベースのシステムを用いた追跡ビーズを伴う)ならびにイン
プラントのリアルタイム変位を、術前撮像画像のオーバーレイを提供するスクリーンディスプレイ上で視覚化することができる。
開示されるシステムの利点として、セグメント化された術前イメージング（ＣＴ、ＭＲＩ）に関して表面トポグラフィをマッピングおよびマッチングするための超音波プローブの術中使用が挙げられる。このシステムの利点には、無放射線手術中ナビゲーション、表面トポグラフィの取得速度の向上、ワークフローの負担の低減、および感染リスクの低減なども挙げられる。現在における、１度の処置で繰り返し必要となる蛍光透視撮像は、時間がかかり、患者および臨床チームが放射線に曝露される可能性がある。さらに、サイズの大きい蛍光透視装置を繰り返し搬入することで、手術野が汚染される恐れがある環境をもたらす可能性もある。
図１は、本開示のいくつかの実施形態によって使用されるワークフローを示すダイアグラム１００の例を示す。図に示すように、ダイアグラム１００では、ＣＴ画像ボリューム１０１およびＵＳ画像ボリューム１０３をインポートする。いくつかの実施形態では、Ｃ
Ｔ画像ボリューム１００は、外科手術前に取得された患者の脊椎領域の高分解能ＣＴ画像を表す。いくつかの実施形態では、脊椎領域などの脊柱に限定されない。この領域は、骨盤領域、仙骨領域、後頭部領域などであってもよい。図２に示す例２００を参照すると、場合によっては、脊椎の椎体の術前高解像度ＣＴ画像は、０．３３ｍｍ×０．３３ｍｍ×０．３３ｍｍの解像度とすることができる。いくつかの実施形態では、空間分解能は、例２００によって提供される分解能よりもさらに小さくてもよい。いくつかの実施形態では、高分解能ＣＴ画像を使用することに限定されない。実際、高分解能磁気共鳴画像法（ＭＲＩ）画像も使用することができる。例えば、いくつかの実施形態では、手術処置の前に取得されたゼロエコー時間（ＴＥ）高速ＭＲＩデータセットを組み込むことができる。いくつかの実施形態では、個々の脊椎骨の３Ｄ表現を得るために、術前画像データセットから個々の脊椎骨(椎体および後方要素)の骨外面を識別するためのセグメンテーションを組み込むことができる。セグメント化は、各脊椎骨レベルにおける後方要素の形状ならびに脊椎に沿った特定の解剖学的ランドマークが明確になるように、個々の脊椎骨のラベル付けを達成することができる。
超音波（ＵＳ）画像ボリューム１０３は、典型的には超音波トランスデューサ素子のアレイを有する超音波プローブから手術中に取得された術中超音波データであってもよい。また、術中超音波は、術前画像と同じ領域をカバーすることも可能である。例えば、外科医は、超音波プローブを用いて脊椎の後方骨表面をスキャンすることができる。場合によっては、無線超音波プローブが使用されてもよい。この走査は、超音波プローブを関心領域の皮膚表面に沿って移動させることで、あるいは超音波照射に適した生理食塩水またはその他のゲル／流体で満たされた外科的創傷に直接移動させることで行うことができる。脊椎の初回の掃引は、骨レベル、例えば、Ｌ１、Ｌ２、Ｌ３などを識別するために行われる。初回の掃引は、脊椎レベルＬ１、Ｌ２、Ｌ３などを検出するのに充分な精度を有する程度の迅速かつ粗い移動であればよく、骨の完全な詳細を可視化するのに必要な細かい粒度は求められない。初回の掃引の後に、脊椎の完全な骨の詳細をより正確に可視化することを目的とした、より詳細な掃引を行うことができる。この第２の詳細な掃引では、脊椎にネジやプレートの誘導できるように骨ランドマークを識別することも可能である。例えば、詳細な掃引を行うことで、手術医が関心領域をスキャンするために皮膚上でプローブを移動する際に、脊椎の後方表面の３次元の超音波のカバレッジを達成することができる。また、オープンな手術処置において、手術医は、水またはゲルベースの物質のいずれかを使用して、対象の解剖学的構造を覆うことができる。超音波プローブは、対象の脊椎領域の表面マッピングを得るために、様々な方向および角度で滑らかに移動させることができる。
なお、上記の実施形態は、脊椎領域に限定されるものではない。例えば、いくつかの実施形態では、骨内、骨の周囲、および骨の表面上の病変の生検を行うための画像誘導システムが含まれてよい。骨の例としては、上腕骨、肘、橈骨、尺骨、中手骨、指骨、肩甲骨、肋骨、腸骨翼、大腿骨、膝蓋骨、脛骨、腓骨、中足骨などが挙げられる。また、いくつかの実施形態では、関節の診断や、肩、肘、手首、手、臀部、膝、足首、および足を含む、肢における関節の関節置換術におけるガイダンスが含まれてよい。また、いくつかの実施形態では、上腕骨、肘、橈骨、尺骨、中手骨、指骨、肩甲骨、肋骨、腸骨翼、大腿骨、膝蓋骨、脛骨、腓骨、および中足骨などの肢の中や周囲など、関節周囲や関節内の構造の画像ガイダンスを用いる注射が含まれてよい。この注射には、関節穿刺、椎間関節ブロック、または関節造影のための関節への針注射、肢の骨の周囲の滑液包または神経節への針注射、軟組織またはトリガーポイント注射、関節の周囲の靭帯構造への注射、手および足それぞれの手根管および足根管などの構造トンネルへの注射、ならびに腱または腱鞘の注射が含まれる。すなわち、トリガーポイント注射は、特に腕、脚、腰および首における筋肉痛を緩和するのに役立ち得る。また、トリガーポイント注射は、線維筋痛症、緊張性頭痛および心筋膜痛を処置するために使用され得る。トリガーポイントは、概して、筋肉が
、例えば、過剰に伸展され、弛緩することができなくなるとき、筋肉内の痛みを伴う「結び目」を意味する。
これらの実施形態では、超音波画像ボリューム１０３は、コンピューティングデバイスによってインポートすることができる。いくつかの場合において、超音波画像ボリューム１０３は、超音波プローブ上の各トランスデューサ要素からの生超音波データであってもよい。生超音波データは、超音波画像のＢモードデータを生成するビームフォーミングを行う前に取得できる。また、生の超音波データには、生の同相／直交(Ｉ／Ｑ)が含まれてもよく、あるいは事前にビーム形成された生のＲＦデータが含まれてもよい。他の場合には、Ｂモードデータをインポートすることができる。いくつかの実施形態では、複数の方法を適用して、骨表面の詳細な超音波検査可視化を向上させてもよい。上記の方法は、骨表面の詳細およびエッジをより鋭利にするように、超音波スキャナ上の音速構成を変更するステップを含んでもよい。また、上記の方法は、骨表面を検出する感度を改善するために、様々な密度の組織を通る音の伝搬を活用してもよい。例えば、音は、軟組織よりも高速に骨を伝播する。さらに、上記の方法は、骨表面の検出を促進するために、超音波が骨および軟組織を伝搬し、超音波検査インピーダンスを測定するステップを含んでもよい。また、上記の方法は、骨表面を鮮明にするために、超音波プローブに対して垂直および水平平面の両方において複数の焦点領域を使用するステップを含んでもよい。さらに、上記の方法は、力学的な波の伝搬に従って組織の力学的な特性を評価することができる撮像技法である、エラストグラフィの使用を含んでもよい。例えば、イメージング装置（超音波装置など）は、イメージング装置が組織変形を可視化する間に力学的な波、典型的には関心のある組織内でせん断波を生成するデバイスと接続することもできる。上記の方法は、２Ｄ、３Ｄ、および４Ｄの超音波走査と併せて使用することができる。超音波画像ボリューム１０３には、脊椎構造に対する超音波プローブの位置データが含まれてもよい。また、インポートプロセスには、ナビゲーションシステムからの位置データのインポートが含まれてもよい。コンピューティングデバイスは、手術野内または外部のデバイスであってもよい。いずれの場合も、コンピューティングデバイスは、ディープラーニングまたはＡＩアルゴリズムを実施して、ＵＳ画像ボリューム１０３に基づいて脊椎骨の骨表面をリアルタイムで識別することができる。
いくつかの実施形態では、超音波ビーム軸の配向を符号化する情報をＵＳ画像ボリューム（１０４）から抽出してもよい。さらに図３を参照すると、生のＩ／Ｑデータの１つのフレームの例が示されている。図に示すように、骨表面はほぼ対角画角にあり、超音波ビームの方向はほぼ垂直であり、画像の上部に位置する超音波プローブのアレイ要素の表面から生じる。画像の左側には、骨界面における反射、ならびに骨界面を越える反響を示す断面プロファイルが示されている。いくつかの実施形態では、超音波プローブからインポートされた生データ、例えば同相および直交（ＩＱ）データまたはＲＦデータを活用することができる。従来のＢモード画像は、下層の解剖学的構造を描写するビーム形成データを含み得るが、そのようなビーム形成データは、ビーム形成プロセス中の再構成および後処理に起因して、適切なダイナミックレンジを欠く場合がある。他方、生のＩ／ＱデータまたはＲＦデータは、骨表面の検出に優れ、例えば、より高感度なデータである。
さらに図４Ａを参照すると、いくつかの実施形態では、生超音波データを活用して、０．０１８ｍｍの垂直分解能および０．０９ｍｍの水平分解能を有するＢモード画像を生成することができる。これらの実施形態では、生成されたＢモード画像は、図４Ｂに示すように、より等方性の空間分解能、例えば、０．２７ｍｍの垂直分解能および０．２７５ｍｍの水平分解能を有するようにさらに処理することができる。様々な実施形態では、より等方性のフォーマットに基づいて、順行追跡法および生のＩ／ＱデータまたはＲＦデータを使用して、骨表面（１０８）の検出を改善することができる。図４Ｃを参照すると、閾値処理だけでは一貫した表面表現を生成できない場合がある。さらに図４Ｄを参照すると
、いくつかの実施形態では、ピーク検出をパディング（padding）と組み合わせて、表面
のより一貫したボリューム表現を行うことができる。場合によっては、パディングは、検出されたピークの両側に２つのピクセルを含んでもよい。超音波プローブの識別された表面およびナビゲーションデータを使用して、後方脊椎の３Ｄ骨表面をリアルタイムで作成することができる。図に示すように、いくつかの実施形態では、インポートされた超音波画像ボリューム（１０９）（例えば、超音波プローブの各アレイ要素からの生のＩ／ＱデータまたはＲＦデータ）から、各椎体の表面のボリューム表現を生成してもよい。いくつかの実施形態では、患者の動きに合わせて各椎体を個別に扱うことで、椎体の位置の間の空間的変化をもたらすことができる。作成された超音波表面ボリューム表現（１１０）は、術前ＣＴに基づいて表面ボリューム表現と整合させるために使用することができる。
並行して、いくつかの実施形態では、術前高分解能ＣＴ画像を抽出された超音波ビーム軸（１０２）と位置合わせすることができる。いくつかの実施形態では、組織タイプ間の遷移を表す薄い２Ｄ領域を識別することによって骨の表面を位置合わせすることができる。これらの実施形態では、位置合わせは、基礎となるＣＴ強度プロファイルにおいて、ステップ関数のエッジとそれに続く骨組織とを検出することを含んでもよい。比較すると、超音波強度プロファイルは、陰影領域が後に続くピークを示し得る。いくつかの実施形態では、整列を促進するために、順行追跡法を手術前ＣＴ画像ボリュームに適用し、強度閾値（１０５）を使用して識別される陰影領域を伴う骨表面をもたらしてもよい。また、いくつかの実施形態では、境界を識別するためにバックシャドウ法を用いることもできる。また、いくつかの実施形態では、表面を表すボクセルを識別し、ボクセルの両側にパディングを適用し、整合のためのボリューム（１０６）を作成することによって、骨表面の表面表現を作成してもよい。
より詳細には、さらに図５Ａ～図５Ｄを参照すると、いくつかの実施形態では、入射超音波ビーム（５０１）の方向を識別することができる。いくつかの実施形態では、超音波ビームが垂直に入射するように（５０２）、ＣＴまたはＭＲＩ画像ボリュームを回転させることができる。ここで、いくつかの実施形態では、入射超音波ビームが垂直となる（５０３）単純な閾値を使用して骨表面をセグメント化することができる。いくつかの実施形態では、超音波ビームの予想される陰影領域をシミュレートすることができる。セグメンテーションおよびパディングの結果は、ＣＴまたはＭＲＩ画像ボリュームの元の向きに戻るように回転することができる。作成されたＣＴまたはＭＲＩ表面ボリューム表現（１０７）は、手術前ＣＴまたはＭＲＩおよび手術中超音波の後続の整合のために使用することができる。
いくつかの実施形態では、ディープラーニングアルゴリズム（１１１）を使用して、整合のための関心領域（ＲＯＩ）を識別してもよい。いくつかの実施形態では、ＲＯＩに基づいて、超音波表面ボリューム表現およびＣＴまたはＭＲＩ表面ボリューム表現（１１２）を空間的に整合させてもよい。また、いくつかの実施形態では、空間位置合わせを実行するための空間変換行列（１１３）を生成することもできる。
より詳細には、様々な実施形態では、超音波表面ボリューム表現とＣＴまたはＭＲＩ表面ボリューム表現とをマッチさせる。いくつかの実施形態では、表面マッチングプロセスの速度を向上させ、過剰なノイズを含む望ましくない領域を除去することを目的として、超音波画像ボリューム上の優れた空間分解能を有する関心領域（ＲＯＩ）に注目することができる。いくつかの実施形態では、ディープラーニングおよびＡＩを利用して、有望なＲＯＩを識別するように整合プロセスの学習を行ってもよい。例えば、いくつかの実施形態では、整合表面（例えば、信号対雑音比（ＳＮＲ）が適切である表面)をもたらす可能
性がより高いＲＯＩを選択することができる。逆に、いくつかの実施形態では、整合表面を生成する可能性が低い領域をＲＯＩからプルーニングすることもできる。いくつかの実
施形態では、パッチは、少なくとも３つのピクセルを含み、脊椎の後方面または所望の骨領域（例えば、骨盤領域）上の明確に別個の領域に配置することができる。また、これらの有望なＲＯＩは、リアルタイム３Ｄ超音波表面表現を３Ｄ術前ＣＴ／ＭＲＩ表面表現に整合させるために使用される、各単一椎体の「サムプリント」として現れる。いくつかの実施形態では、「サムプリント」は、対象の骨領域（例えば、脊椎骨、骨盤、仙骨、後頭領域）の後面上にあってもよい。各骨構造または脊椎骨は、患者の位置の変化がリアルタイム超音波画像と術前ＣＴ／ＭＲＩ画像との間の関係を歪め得るので、個々に扱うことができる。超音波と術前画像化マッピングされた表面とのマッチングがリアルタイムで提供されるので、手術医は、マッチングが発生するとすぐに警告を受けることができる。いくつかの実施形態では、充分なマッピングが行われたことを音声、視覚、または触覚フィードバックによって警告することで、手術医は、手術前の画像との整合を達成するために超音波プローブによって適切な表面が覆われていることを確認することができる。これらの実施形態では、マッチング結果を手術医に投影するためのウェアラブルディスプレイデバイスが実装されてもよい。この没入型現実構成では、ウェアラブルデバイスにゴーグルデバイスが含まれてよい。実際に、いくつかの実施形態では、手術医が進行中の手術処置のためのナビゲーションガイダンスを受けることが可能な、混合現実、拡張現実、または仮想現実のためのプラットフォームを提供することができる。いくつかの場合において、超音波プローブは無線プローブであってもよい。
これらの実施形態では、ディープラーニングアルゴリズムには、例えば、術中超音波画像を術前ＣＴ／ＭＲＩ画像にマッチングするのに充分な品質でＲＯＩの特徴を検出するようにプログラムされた、人工ニューラルネットワーク（ＡＮＮ）としても知られるアルゴリズムの階層構造が組み込まれてもよい。例えば、ＡＮＮ層は、手術中の超音波画像を手術前のＣＴ／ＭＲＩ画像にマッチングさせるためのガイドポストとして役立つと予想されるＲＯＩを検出するために、大規模なデータセットに対して例示的な選択を通じた学習を行うことができる。配置後に固定される静的基準マーカを使用する他の実施形態とは異なり、本開示の実施形態では、術中超音波走査に基づいて、関心領域（ＲＯＩ）を動的に生成することができる。これらのＲＯＩは、各超音波スキャンから生成され、術中超音波画像を術前ＣＴ／ＭＲＩ画像にモーフィングする目的で超音波信号品質が充分な（例えば、複数の反響によって妨げられない）骨構造の表面上のパッチに対応する。また、ＲＯＩは、面積およびサイズ（例えば、適応領域成長／収縮アプローチを用いる）に関して動的に生成される。いくつかの実施形態では、これらのＲＯＩが識別されると、術中超音波画像が術前高解像度画像（例えば、ＣＴ又はＭＲＩ）上にオーバーレイされる画像オーバーレイを実行することができる。
さらに図５Ｅを参照すると、後方脊椎表面の一例が超音波データに基づいて提供される。この例では、超音波ビームは上部から垂直に入射する。図５Ｆを参照すると、入射超音波ビームの方向に基づく超音波表面表現との術前ＣＴ画像ボリュームの重ね合わせを示す様々な例が提供される。図に示すように、ＣＴ画像ボリュームは、超音波表面表現が骨表面にオーバーレイされるように超音波ビームに対して回転させることができる。
さらに図６Ａおよび図６Ｂを参照すると、手術前の高分解能ＣＴ画像上に手術中のＵＳデータ（透明度で陰影を付けたもの）を重ね合わせる図の例は、椎弓板上の領域および横断領域における良好なマッチングを示す。しかしながら、骨間の靭帯領域では、マッチング品質が著しく低下する。図６Ｂは、特に、様々な領域をカバーするパッチの分布を示す。靭帯が存在するトラフ領域にわたって、パッチはよりまばらに分布する。場合によっては、超音波データからの表面表現と術前ＣＴ画像からの表面表現との間の重複は、図６Ｃに示すように、連続的かつより一貫性があり得る。他の場合では、超音波データからの表面表現と術前ＣＴ画像からの表面表現との間の重複には、間隙が含まれてもよい。いくつかの実施形態では、様々な場合に対応するために、整合目的のために種々のサイズのパッ
チを適用することができる。さらに、いくつかの実施形態では、パッチのサイズおよび分布をインテリジェントに適合させることで、高品質の整合が実現できる。
さらに図７を参照すると、パネル７００は、完全なパッチおよび小パッチを含むＲＯＩの候補としての複数の領域を有する表面を示す。図に示すように、完全なパッチは、超音波表面表現をＣＴ表面表現と位置合わせするためのより大きい領域を含み、小パッチは、位置合わせを実行するための部分的なマスクを表す。具体的には、パネル７０１Ａおよびパネル７０１Ｃは、それぞれ各ピクセルが整合度を示す２Ｄフォーマットのそれぞれの完全なパッチおよび小パッチを表す。すなわち、マッチングが完全であれば、画素はゼロとなる。ピクセルごとの表示は、完全なパッチが、マッチングが適切な複数の隣接領域を有することを表す。他方、小パッチは、マッチングの程度がより集中している完全なパッチの左側のズームされたバージョンを示す。マッチング品質の分布の変動は、パネル７０１Ｂおよび７０１Ｄによって強化され、それぞれがピクセル値のヒストグラムを示す。図に示すように、パネル７０１Ｂは、より大きい広がりに対応する、より大きい標準偏差を有するより大きい平均を示す。比較すると、パネル７０１Ｄは、より小さい広がりに対応する、より小さい標準偏差を有するより小さい平均を示す。
様々な実施形態では、ディープラーニングまたはＡＩアルゴリズムを使用して、一致する可能性がより高く有望なパッチを適応的に選択することができる。図８Ａのダイアグラム８００を参照すると、いくつかの実施形態では、選択されたパッチを決定するために複数の層のロジックを使用することができる。この層は、入力層、１つまたは複数の隠れ層、および出力層を含むことができる。各隠れ層は、畳み込み層、プーリング層、整流線形ユニット（ＲｅＬＵ）層、ソフトマックス層、回帰層、ドロップアウト層の１つまたは複数の層の組合せであり得る。これらの隠れ層は、入力／出力サイズの基準が満たされる限り、任意の順序で配置することができる。各隠れ層には、一連の画像フィルタを組み込むことができる。
より詳細には、図８Ｂのダイアグラム８１０を参照すると、ワークフロープロセスの一例では、術中超音波データボリュームに基づく術中表面表現ならびに術前画像ボリュームに基づく術前表面表現を含むことができる入力データ８０１から開始することができる。いくつかの実施形態では、術中表面表現を術前表面表現（８０５）とマッチングさせるためのパッチを選択することができる。また、選択プロセスでは、一致する可能性がより高く有望な解剖学的構造のパッチのテンプレート（８０２）を受信することもできる。パッチのテンプレートは、過去の履歴データならびに術中処置中の特定の音波照射角度に基づいて決定されたパッチのライブラリであり得る。手術処置中に、超音波プローブが再度位置決めされるときに、超音波照射角度を変更することができる。いくつかの実施形態では、再度の位置決めに応じて、選択されたパッチを調整することができる。さらに、いくつかの実施形態では、手術処置中に患者を位置決めするか、または器具を操作することによって生じる、形状、サイズ、位置、配向に関する脊柱の変化を検出することができる。静的な術前画像に対するこれらの変化を検出することは、特に、検出が手術処置中に手術医へのリアルタイムのフィードバックを可能にする場合に有利である。この例のテンプレートでは、過去の履歴データは、過去のマッチング（例えば、同じ脊椎骨に適用される場合、同程度の音波照射角度を有する）において成功したテンプレートを含むことができる。また、術前画像ボリュームおよび脊椎骨の解剖学的構造に基づくシミュレーションによって、テンプレートの決定を支援することができる。種々の実施形態では、選択されたパッチによって、パッチのテンプレート（８０４）を更新することもできる。フィードバックにより、ディープラーニングプロセスを強化することができる。いくつかの実施形態では、並行プルーニングプロセスをアクティブ化して、最良の品質のマッチングを生成する可能性が低い領域（８０６）のプルーニングを行うことができる。また、プルーニングプロセスは、マッチングする可能性が低く有望でない解剖学的構造からのパッチのテンプレー
ト（８０３）に基づくこともできる。また、テンプレート８０３は、過去の履歴データならびに術中処置中の特定の音波照射角度に基づいて決定されたパッチのライブラリを含んでもよい。例えば、プルーニングは、超音波プローブの再度の位置決めに応じて調整することができる。また、テンプレート８０３は、プルーニングプロセス（８０７）に基づいて更新されてもよい。更新は、同様にディープラーニングプロセスを強化することができる。パッチを選択すること（８０５）とパッチをプルーニングすること（８０６）とを組み合わせた動作は、術中超音波表面表現と術前表面表現との位置合わせ（８０８）を計算するための出力関心領域（ＲＯＩ）を生成することができる。
さらに図８Ｃを参照すると、ダイアグラム８２０は、本開示のいくつかの実施形態によるナビゲーションシステムの一例を示す。手術処置中、手術医によって操作される超音波プローブ８１２は、患者８１３の領域を監視することができる。この領域には、脊柱領域、骨盤領域、仙骨領域、または後頭部領域が含まれてよい。一例では、インプラントまたは刺激器デバイスが、手術処置中に埋め込むことが可能である。ここで、インプラントは、人工インプラントまたは股関節インプラントなどのパッシブデバイスを指してもよい。また、手術医が外科用器具を使用して、患者の領域内にペディクルスクリューなどのデバイスを容易に配置することができる。図に示すように、デバイス８１４が患者の領域内にある。外科医は、超音波プローブを操作して、手術処置中にデバイスの配置を監視することができる。手術処置中の超音波プローブからのリアルタイムデータは、静的な術前画像と融合することができる。融合された画像が手術処置中にリアルタイムで手術医に提供されることで、静的な術前画像を活用することができる。超音波データは、腰椎前弯の変化などの術前計画に対する骨変位を確認または追跡することができる。また、超音波データによって、手術処置中に器具、デバイス（例えば、針デバイスの先端）を追跡することができる。超音波データがマージされるとき
図に示すように、ナビゲーションシステムは、患者の領域内の超音波プローブ８１２およびデバイス８１４の位置を追跡することができる個別の追跡システム８１５を含むことができる。追跡システムは、光学追跡装置、ステップモータ、電磁センサ、加速装置、またはジャイロスコープの少なくとも１つを備えることができる。追跡システムは、超音波プローブの位置データおよび脊椎骨の位置情報に基づいて光電子追跡を行うことができ、これにより、リアルタイムのガイダンス情報を手術医に提供して、超音波プローブの位置を調整することができる。場合によっては、超音波プローブは、超音波プローブ８１２の位置を自動的に調整することができるロボットアームに取り付けることもできる。
また、ダイアグラム８２０は、患者の領域の術前画像を記憶する画像データベース８１６を含む。上記のように、術前画像は、ＣＴ画像またはＭＲＩ画像を含むことができる。ＭＲＩ画像には、ゼロＴＥ ＭＲＩ画像が含まれてもよい。図に示すように、追跡システム８１５からの追跡情報、超音波プローブ８１２からの術中超音波データ、および画像データベース８１６からの術前非超音波画像は、コンピュータプロセッサ８１７に提供することができる。図１から図８Ｂを参照しながら上述したように、上記の実施形態では、術中ＵＳデータを術前画像と位置合わせするためのＲＯＩのテンプレートを開発および確立することができる。ＲＯＩのテンプレートは、下層の骨構造（またはデバイスインターフェース）および超音波プローブの位置に応じて変更することができる。ＲＯＩの特定のテンプレートに基づいて、手術中の超音波データに基づく画像を手術前の非超音波画像と融合して、手術処置中に手術医にリアルタイムのナビゲーションガイダンスを提供することができる。いくつかの場合において、融合された画像は、ディスプレイ８１１上に表示することができる。場合によっては、融合画像は、混合現実、拡張現実、または仮想現実のために、プラットフォーム上に投影することができる。
ナビゲーションシステムは、複数の放射線撮像モダリティの長所を組み合わせて、手術
室における正確かつ双方向のガイダンスを実現することができる。いくつかの実施形態では、リアルタイムで、脊椎の後方骨表面のナビゲートされた音波照射データを、脊椎の後方骨表面の術前に取得されたＣＴまたはＭＲＩ基準データに、正確に同時に登録することができる。また、いくつかの実施形態では、骨盤領域、仙骨領域、または後頭部領域等の脊柱領域以外の領域からの画像を同時に登録することが可能である。いくつかの実施形態では、同時登録されたデータに基づいて、例えば、融合画像をリアルタイムで手術室の手術医に投影することによって、脊椎手術中に術中ガイダンスを提供することができる。図９は、本開示の実施形態による、アルゴリズム、方法、機能、プロセス、フロー、およびプロシージャに関連する計算機能を提供するために使用されるコンピュータシステムの例を示すブロック図である。
図に示すコンピュータ９０２は、サーバ、デスクトップコンピュータ、ラップトップ／ノートブックコンピュータ、無線データポート、スマートフォン、携帯情報端末（ＰＤＡ）、タブレットコンピューティングデバイス、これらのデバイスのうち１つ以上のプロセッサ、別のコンピューティングデバイス、またはコンピューティングデバイスの物理的もしくは仮想インスタンスを含む、コンピューティングデバイスの組み合わせなど、任意のコンピューティングデバイス、あるいは、コンピューティングデバイスの物理インスタンスまたは仮想インスタンスの組合せを包含するものとする。さらに、コンピュータ９０２は、キーパッド、キーボード、タッチスクリーン、他の入力デバイス、または、デジタルデータ、視覚、音声、他のタイプの情報、またはこれらのタイプの情報の組合せを含むユーザ情報を受け入れることができる入力デバイスの組合せ、および、グラフィカルタイプのユーザインターフェース（ＵＩ）（またはＧＵＩ）または他のＵＳ上で、コンピュータ９０２の動作に関連する情報を伝達する出力デバイス、を含むコンピュータを備えることができる。
コンピュータ９０２は、本開示において説明される主題を実行するためのクライアント、ネットワーク構成要素、サーバ、データベースもしくは他のパーシステンシー（persistency）、別の役割、または役割の組合せとしてコンピュータシステムにおける役割を果
たすことができる。図に示すコンピュータ９０２は、ネットワーク９０３と通信可能に接続される。いくつかの実施形態では、コンピュータ９０２の１つまたは複数の構成要素は、クラウドコンピューティングベース、ローカル、グローバル、他の環境、または環境の組合せを含む環境内で動作するように構成することができる。
コンピュータ９０２は、ここで説明する主題に関連するデータおよび情報を受信、送信、処理、記憶、または管理するように動作可能な電子コンピューティングデバイスである。いくつかの実施形態によれば、コンピュータ９０２は、アプリケーションサーバ、電子メールサーバ、ウェブサーバ、キャッシングサーバ、ストリーミングデータサーバ、他のサーバ、またはサーバの組合せを含むサーバを含むか、またはサーバと通信可能に接続することもできる。
コンピュータ９０２は、ネットワーク９０３を介して要求（例えば、別のコンピュータ９０２上で実行するクライアントソフトウェアアプリケーションからの要求）を受信し、ソフトウェアアプリケーションまたはソフトウェアアプリケーションの組み合わせを使用して受信した要求を処理することによって、当該受信した要求に応答することができる。さらに、要求は、内部ユーザ、外部もしくは第三者、または他のエンティティ、個人、システム、もしくはコンピュータからコンピュータ９０２に送ることもできる。
コンピュータ９０２の各構成要素は、システムバス９０３を用いて通信することができる。いくつかの実施形態では、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組合せを含む、コンピュータ９０２のいずれかの構成要素またはすべての構
成要素は、アプリケーションプログラミングインターフェース（ＡＰＩ）９１２、サービス層９１３、またはＡＰＩ９１２とサービス層９１３との組合せを使用して、システムバス９０３を介して接続することができる。ＡＰＩ９１２は、ルーチン、データ構造、およびオブジェクトクラスの仕様を含むことができる。ＡＰＩ９１２は、コンピュータ言語に依存しないかまたは依存するかのいずれかであり、完全なインターフェース、単一の機能、またはＡＰＩのセットを指すものである。サービス層９１３は、コンピュータ９０２またはコンピュータ９０２に通信可能に接続される他の構成要素（図示・不図示にかかわらず）にソフトウェアサービスを提供する。コンピュータ９０２の機能は、このサービス層を使用するすべてのサービス消費者にとってアクセス可能である。サービス層９１３によって提供されるソフトウェアサービスは、定義されたインターフェースを通じて、再利用可能な定義された機能性を提供する。例えば、インターフェースは、ＪＡＶＡ（登録商標）、Ｃ＋＋、他のコンピューティング言語、または拡張マークアップ言語（ＸＭＬ）フォーマット、他のフォーマット、または複数のフォーマットの組合せでデータを提供するコンピューティング言語の組合せで記述されたソフトウェアである。コンピュータ９０２の統合された構成要素として示されているが、代替的な実施形態においては、ＡＰＩ９１２またはサービス層９１３を、コンピュータ９０２の他の構成要素またはコンピュータ９０２に通信可能に接続されている他の構成要素（図示・不図示にかかわらず）に対してスタンドアロンの構成要素として示すことができる。さらに、ＡＰＩ９１２またはサービス層９１３のいずれかまたはすべては、本開示の範囲から逸脱することなく、他のソフトウェアモジュール、エンタープライズアプリケーション、またはハードウェアモジュールの子モジュールまたはサブモジュールとして実装することができる。
コンピュータ９０２はインターフェース９０４を含む。図9では単一のインターフェー
ス９０４として示されているが、コンピュータ９０２の特定のニーズ、要望、または特定の実施形態に従って、2つ以上のインターフェース９０４を使用することができる。イン
ターフェース９０４は、分散環境においてネットワーク９０３に通信可能にリンクされた別のコンピューティングシステム(図示されているかどうかにかかわらず)と通信するためにコンピュータ９０２によって使用される。概して、インターフェース９０４は、ネットワーク９０３と通信するように動作可能であり、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアとの組合せで符号化された論理を備える。より具体的には、インターフェース９０４は、ネットワーク９０３またはインターフェースのハードウェアが、図示されるコンピュータ９０２の内部および外部で物理的信号を通信するように動作可能であるように、通信と関連付けられる1つ以上の通信プロトコルをサポートするソフト
ウェアを備えることができる。
コンピュータ９０２は、プロセッサ９０５を有する。図9では、単一のプロセッサ９０
５として示すが、コンピュータ９０２の特定のニーズ、要望、または特定の実施形態に従って、２つ以上のプロセッサが使用されてもよい。概して、プロセッサ９０５は、命令を実行し、データを操作して、コンピュータ９０２および本開示で説明される任意のアルゴリズム、方法、機能、プロセス、フロー、および手順の動作を実行する。
また、コンピュータ９０２は、ネットワーク９０３と通信している別の構成要素（図示されているかどうかにかかわらず）、またはコンピュータ９０２と別の構成要素との組み合わせのためのデータを保持することができるデータベース９０６を有する。例えば、データベース９０６は、本開示と整合するデータを記憶する、メモリ内データベース、従来のデータベース、または別のタイプのデータベースとすることができる。いくつかの実施形態では、データベース９０６は、コンピュータ９０２の特定のニーズ、要望、または特定の実施形態やここで説明する機能に従って、２つ以上の異なるタイプのデータベースの組合せ（例えば、ハイブリッドインメモリ、従来のデータベース)であってもよい。図９
では単一のデータベース９０６として示されているが、コンピュータ９０２の特定のニー
ズ、要望、または特定の実施形態やここで説明する機能に従って、類似のまたは異なるタイプの２つ以上のデータベースを使用することができる。データベース９０６は、コンピュータ９０２の不可欠な構成要素として図示されているが、代わりの実施形態では、データベース９０６は、コンピュータ９０２の外部に配置してもよい。図に示すように、データベース９０６は、図１および図８Ｂに概略が示されるように、例えば、術前画像ボリューム（ＣＴおよびＭＲＩデータセットを含む）、術中データボリューム（例えば、超音波プローブからの生のＩ／Ｑデータを含む）、マッチングの可能性がより高く、有望であるパッチのテンプレート、およびマッチングの可能性がより低く、有望でないマッチのテンプレートを含む、上記のデータ９１６を保持する。
また、コンピュータ９０２は、コンピュータ９０２、ネットワーク９０３に通信可能にリンクされた１つまたは複数の別の構成要素（図示されているかどうかにかかわらず）、またはコンピュータ９０２と別の構成要素との組合せに用いられるデータを保持することができるメモリ９０７を有する。メモリ９０７は、本開示と整合する任意のデータを記憶することができる。いくつかの実施形態では、メモリ９０７は、コンピュータ９０２の特定のニーズ、要望、または特定の実施形態および説明された機能に従って、２つ以上の異なるタイプのメモリの組合せ（例えば、半導体ストレージと磁気ストレージとの組合せ）であってもよい。図９では、単一のメモリ９０７として示されているが、２つ以上のメモリ９０７または類似のもしくは異なるタイプのメモリを、コンピュータ９０２の特定のニーズ、要望、または特定の実施形態および記載された機能に従って使用することができる。メモリ９０７は、コンピュータ９０２の不可欠な構成要素として図示されているが、代わりの実施形態では、メモリ９０７は、コンピュータ９０２の外部に配置してもよい。
アプリケーション９０８は、特に本開示で説明する機能に関して、コンピュータ９０２の特定のニーズ、要望、または特定の実施形態に従って機能を提供するアルゴリズムソフトウェアエンジンである。例えば、アプリケーション９０８は、１つまたは複数のコンポーネント、モジュール、またはアプリケーションとして動作することができる。さらに、単一のアプリケーション９０８として示されているが、アプリケーション９０８は、コンピュータ９０２上で複数のアプリケーション９０８として実装することができる。さらに、コンピュータ９０２に不可欠なものとして示されているが、代わりの実施形態では、アプリケーション９０８はコンピュータ９０２の外部に配置してもよい。
また、コンピュータ９０２は、電源９１４を有してもよい。電源９１４は、ユーザが交換可能またはユーザが交換不可能のいずれであってもよい、再充電可能または再充電不可能なバッテリを有する。いくつかの実施形態では、電源９１４は、電力変換または管理回路（再充電、スタンバイ、または別の電力管理機能を含む）を有することができる。いくつかの実施形態では、電源９１４は、例えば、コンピュータ９０２に電力を供給するかまたは再充電可能バッテリを再充電するために、コンピュータ９０２が壁コンセントまたは別の電源に接続できるようにするための電源プラグを有してもよい。
コンピュータ９０２を含むコンピュータシステムに関連付けられた、またはコンピュータシステムの外部に任意の数のコンピュータ９０２が存在してもよく、各コンピュータ９０２はネットワーク９０３を介して通信する。さらに、「クライアント」、「ユーザ」という用語、または他の適切な用語は、本開示の範囲から逸脱することなく、必要に応じて交換可能に使用することができる。さらに、本開示においては、多くのユーザが１つのコンピュータ９０２を使用可能であること、または１ユーザが複数のコンピュータ９０２を使用可能であることを想定する。
本明細書で説明する保護対象および機能動作に係る実施形態は、デジタル電子回路、有形に具現化されたコンピュータソフトウェアもしくはファームウェア、本明細書で開示さ
れる構造およびそれらの構造的等価物を含むコンピュータハードウェア、またはそれらの１つ以上の組み合わせで実装することができる。説明した保護対象のソフトウェア実施形態は、１つまたは複数のコンピュータプログラム、すなわち、データ処理装置によって実行するために、またはデータ処理装置の動作を制御するために、有形の非一時的なコンピュータ可読コンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の１つまたは複数のモジュールとして実装することができる。この代わりにまたはこれに加えて、プログラム命令は、人工的に生成された伝搬信号、例えば、データ処理装置による実行のために受信装置に伝送するための情報を符号化するために生成される、機械的に生成される電気、光学、または電磁信号の信号内／信号上で符号化することができる。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムもしくはシリアルアクセスメモリデバイス、またはコンピュータ記憶媒体の組合せであり得る。１つまたは複数のコンピュータを構成することは、ソフトウェアが１つまたは複数のコンピュータによって実行されると、特定のコンピューティング動作が実行されるように、１つまたは複数のコンピュータに、ハードウェア、ファームウェア、またはソフトウェア（またはハードウェア、ファームウェア、およびソフトウェアの組み合わせ）がインストールされていることを意味する。
用語「リアルタイム」、「リアル（ファスト）タイム（ＲＦＴ）」、「準リアルタイム（ＮＲＴ）」または同様の用語（当業者によって理解される）は、アクションとレスポンスが時間的に近接しているために、個人がアクションとレスポンスを実質的に同時に知覚することを意味する。例えば、データにアクセスする個人のアクションに続くデータの表示のレスポンス（または表示の開始）の時間差は、１ミリ秒（ｍｓ）未満、１秒（ｓ）未満、または５秒未満であり得る。要求されたデータは、瞬時に表示（または表示のために開始）される必要はないが、ここで説明するコンピューティングシステムの処理制限や、例えば、データの収集、正確な測定、分析、処理、記憶、または伝送を行うために必要とされる時間を考慮に入れて、いかなる意図的な遅延も伴わずに表示される（または表示のために開始される）。
また、「データ処理装置」、「コンピュータ」、または「電子コンピュータデバイス」(あるいは当業者によって理解される等価なもの）という用語は、データ処理ハードウェ
アを指し、例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するためのあらゆる種類の装置、デバイス、および機械を含みうる。また、装置は、専用論理回路、例えば、中央処理装置（ＣＰＵ）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、またはＡＳＩＣ（特定用途向け集積回路）であり得るか、またはこれらをさらに含みうる。いくつかの実施形態では、データ処理装置または専用論理回路（あるいは、データ処理装置と専用論理回路の組み合わせ）は、ハードウェアベースまたはソフトウェアベース（あるいはハードウェアベースとソフトウェアベースの組合せ）でありうる。装置は、コンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、または実行環境の組み合わせを構成するコードを適宜選択されたものを含む。本開示は、特定のタイプのオペレーティングシステム、例えば、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、ＭＡＣ－ＯＳ、ＡＮＤＲＯＩＤ（登録商標）、ＩＯＳ、別のオペレーティングシステム、またはオペレーティングシステムの組み合わせを用いるデータ処理装置が想定される。
プログラム、ソフトウェア、ソフトウェアアプリケーション、ユニット、モジュール、ソフトウェアモジュール、スクリプト、コード、または他の構成要素とも呼ばれたり説明されたりするコンピュータプログラムは、コンパイル型言語もしくはインタープリタ型言語、または宣言型言語もしくは手続き型言語を含む、任意の形態のプログラミング言語で
記述でき、例えば、コンピューティング環境で使用するためのスタンドアロンプログラム、モジュール、コンポーネント、またはサブルーチンなど任意の形態で展開できる。コンピュータプログラムは、ファイルシステム内のファイルに対応することができるが、必須ではない。プログラムは、他のプログラムまたはデータを保持するファイルの一部、例えば、マークアップ言語ドキュメントに格納された１つ以上のスクリプト、当該プログラム専用の単一のファイル、または複数の協調ファイル、例えば、１つ以上のモジュール、サブプログラム、またはコードの部分を格納するファイルに格納することができる。コンピュータプログラムは、１つのサイトまたは複数のサイトに分散して配置でき、通信ネットワークによって相互接続された１つのコンピュータまたは複数のコンピュータ上で実行されるように展開することができる。
図に示すプログラム部分は、さまざまなオブジェクト、方法、または他のプロセスを使用して説明される特徴および機能を実装するユニットまたはモジュールなどの個々の構成要素として示されるが、代わりに、プログラムは、必要に応じて、いくつかのサブユニット、サブモジュール、第三者サービス、構成要素、ライブラリ、および他の構成要素を含み得る。逆に、様々な構成要素の特徴および機能は、必要に応じて単一の構成要素として組み合わせることができる。計算決定を行うために使用される閾値は、静的に、動的に、または静的および動的の両方で決定することができる。
ここで説明する方法、プロセス、または論理フローは、本開示と整合する機能の１つまたは複数の例を表し、本開示を説明または図示する実施形態に限定することを意図するものではなく、ここで説明する原理および特徴と整合する最大限に広い技術的範囲を包含するものである。ここで説明する方法、プロセス、または論理フローは、入力データに対して動作し、出力データを生成することによって機能を実行するための１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラマブルコンピュータによって実行することができる。また、方法、プロセス、または論理フローは、専用論理回路、例えば、ＣＰＵ、ＦＰＧＡ、またはＡＳＩＣによって実行することができ、また、装置は、専用論理回路、例えば、ＣＰＵ、ＦＰＧＡ、またはＡＳＩＣとして実装することができる。
コンピュータプログラムの実行のためのコンピュータは、汎用または専用マイクロプロセッサ、その両方、または別のタイプのＣＰＵに基づくことができる。概して、ＣＰＵは、命令およびデータをメモリから受信し、メモリに書き込む。コンピュータの必須要素は、命令を実行または実行するためのＣＰＵと、命令およびデータを記憶するための１つまたは複数のメモリデバイスである。また、概して、コンピュータは、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含み、あるいはそれに動作可能に結合され、そこからデータを受信する、そこにデータを転送する、または両方を行う。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。さらに、コンピュータは、別のデバイス、例えば、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、またはポータブルメモリ記憶デバイスに組み込むことができる。
コンピュータプログラム命令およびデータを記憶するための非一時的コンピュータ可読媒体は、すべての形態の媒体およびメモリデバイス、磁気デバイス、光磁気ディスク、および光メモリデバイスを含む。メモリデバイスは、半導体メモリデバイス、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、および
フラッシュメモリデバイスを含む。磁気デバイスは、例えば、テープ、カートリッジ、カセット、内部／取り外し可能ディスクを含む。光学メモリデバイスは、例えば、デジタルビデオディスク（ＤＶＤ）、ＣＤ－ＲＯＭ、ＤＶＤ／－Ｒ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＯＭ、ＨＤ－ＤＶＤ、およびＢＬＵＲＡＹ、ならびに他の光学メモリ技術を含む。メモリは、キャッシュ、クラス、フレームワーク、アプリケーション、モジュール、バックアップデータ、ジョブ、ウェブページ、ウェブページテンプレート、データ構造、データベーステーブル、動的情報を記憶するリポジトリ、または任意のパラメータ、変数、アルゴリズム、命令、ルール、制約、もしくは参照を含む他の適切な情報を含む、種々のオブジェクトまたはデータを記憶することができる。さらに、メモリは、ログ、ポリシー、セキュリティもしくはアクセスデータ、または報告ファイルなどの他の適切なデータを含む。プロセッサおよびメモリは、専用論理回路によって補完されるか、または専用論理回路に組み込まれる。
ユーザとの対話を提供するために、本明細書で説明する主題の実施形態は、ユーザに情報を表示するためのディスプレイデバイス、例えば、ＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）、またはプラズマモニタと、キーボードおよびポインティングデバイス、例えば、ユーザがコンピュータに入力を提供することができるマウス、トラックボール、またはトラックパッドを有するコンピュータで実装される。また、入力は、圧力を感知するタブレットコンピュータ表面などのタッチスクリーン、静電容量センシングまたは電気センシングを用いるマルチタッチスクリーン、または別のタイプのタッチスクリーンを用いてコンピュータに提供され得る。また、他のタイプのデバイスを使用して、ユーザと対話することもできる。例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバックであり得る。ユーザからの入力は、音響、音声、または触覚入力を含む、任意の形態で受信することができる。さらに、コンピュータは、ユーザによって使用されるクライアントコンピューティングデバイスに文書を送信し、クライアントコンピューティングデバイスから文書を受信することによって、ユーザと対話することができる。
「グラフィカルユーザインターフェース」または「ＧＵＩ」という用語は、１つまたは複数のグラフィカルユーザインターフェースおよび特定のグラフィカルユーザインターフェースの表示のそれぞれを説明するために単数または複数で使用する。したがって、ＧＵＩは、情報を処理し、情報をユーザに効率的に提示する、ウェブブラウザ、タッチスクリーン、またはコマンドラインインターフェース（ＣＬＩ）を含むが、これらに限定されない、任意のグラフィカルユーザインターフェースを表す。概して、ＧＵＩは、対話型フィールド、プルダウンリスト、およびボタンなど、ウェブブラウザに関連付けられたいくつかまたはすべての複数のユーザインターフェース（ＵＩ）要素を含むことができる。これらおよび他のＵＩ要素は、ウェブブラウザの機能に関連し、またはそれを表すものとする。
本明細書で説明する特許の保護対象となる実施形態は、例えばデータサーバとしてバックエンド構成要素を含むか、例えばアプリケーションサーバなどのミドルウェア構成要素を含むか、または例えばフロントエンド構成要素を含むコンピューティングシステムにおいて実装され得る。さらに、グラフィカルユーザインターフェースを有するクライアントコンピュータ、またはユーザが本明細書に記載の特許の保護対象として実装された構成要素と対話することができるウェブブラウザ、または１つ以上のそのようなバックエンド、ミドルウェア、もしくはフロントエンド構成要素の任意の組み合わせを含む。システムの構成要素は、有線または無線デジタルデータ通信（またはデータ通信の組み合わせ）の任意の形態または媒体、例えば、通信ネットワークによって相互接続することができる。通信ネットワークの例として、ローカルエリアネットワーク（ＬＡＮ）、無線アクセスネットワーク（ＲＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネッ
トワークＷＡＮ、Worldwide Interoperability for Microwave Access（ＷＩＭＡＸ）、
例えば、８０２．１１ａ／ｂ／ｇ／ｎまたは８０２．２０（または８０２．１１ｘと８０２．２０または本開示と整合する他のプロトコルの組合せ）を用いる無線ローカルエリアネットワーク（ＷＬＡＮ）、インターネット、別の通信ネットワーク、または通信ネットワークの組み合わせのすべてまたは一部を含む。通信ネットワークは、例えば、インターネットプロトコル（ＩＰ）パケット、フレーム中継フレーム、非同期転送モード（ＡＴＭ）セル、音声、ビデオ、データ、またはネットワークアドレス間の他の情報と通信することができる。
コンピューティングシステムは、クライアントおよびサーバを含む。クライアントおよびサーバは、概して、互いに遠隔にあり、典型的には、通信ネットワークを対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。
本明細書で使用される場合、「備える」、「有する」および「備えている」、「有している」という用語は、包括的および非限定的であると解釈されるべきであり、排他的ではない。具体的には、明細書および特許請求の範囲で使用される場合、「備える」、「有する」および「備えている」、「有している」という用語ならびにその活用形は、特定の特徴、ステップまたは構成要素が含まれることを意味する。これらの用語は、他の特徴、ステップ、または構成要素の存在を排除すると解釈されるべきではない。
本明細書で使用される場合、「例示」という用語は、「例、事例、または例示としての役割を果たす」ことを意味し、本明細書で開示される他の構成よりも好ましいまたは有利であると解釈されるべきではない。
本明細書で使用する場合、「約」および「およそ」という用語は、特性、パラメータ、および寸法の変動など、値の範囲の上限および下限に存在し得る変動を包含することを意味する。1つの非限定的な例では、「約」および「およそ」という用語は、±１０パーセ
ント以下の範囲を含むことを意味する。
本明細書は、多くの具体的な実装の詳細を含むが、これらは、特許請求される範囲に対する限定として解釈されるべきではなく、むしろ、特定の実装に特有であり得る特徴の説明として解釈されるべきである。また、別個の実施形態の文脈において本明細書で説明されるいくつかの特徴は、単一の実施形態において組み合わせて実装することができる。逆に、単一の実施形態の文脈で説明される様々な特徴は、複数の実施形態で、別々に、または任意のサブコンビネーションで実装することができる。さらに、上記の特徴は、ある組み合わせで作用するように説明され、さらには、そのように特許請求の範囲に記載されるが、特許請求される組み合わせからの１つ以上の特徴は、場合によっては、当該組み合わせから削除することもでき、特許請求される組み合わせは、部分的な組み合わせまたは部分的な組み合わせの変形例も対象とする。
上記の特定の実施形態は一例として示されており、これらの実施形態は様々な修正および代替形態が適用可能であることを理解されたい。さらに、特許請求の範囲は、開示される特定の形態に限定されることを意図するものではなく、本開示の技術的思想および技術的範囲内のあらゆる修正形態、均等物、および代替形態を包含することを意図するものであることを理解されたい。実際、当業者には明らかなように、上記説明した実施形態の他の実施形態、変更形態、および置換形態は、以下の特許請求の範囲内に含まれる。また、動作は、特定の順序で図面または特許請求の範囲に示されているが、これは、望ましい結果を達成するために、そのような動作が、示された特定の順序で、もしくは連続した順序で実行されること、またはすべての示された動作が実行されること（いくつかの動作は任
意選択であると見なすことができる）を必要とするものとして理解されるべきではない。ある状況では、マルチタスキングまたは並列処理（またはマルチタスキングと並列処理との組み合わせ）が好適であり、そのように実行することもできる。
さらに、上記の実施形態における種々のシステムモジュールおよび構成要素の分離または統合は、すべての実施形態において、そのような分離または統合が必須であるとして理解されるべきではなく、説明されるプログラム構成要素およびシステムは、概して、単一のソフトウェア製品に統合される、または複数のソフトウェア製品にパッケージ化されることができることを理解されたい。
さらに、特許請求の範囲に含まれる任意の実施形態は、コンピュータ実装方法を実行するためのコンピュータ可読命令を記憶する、非一時的なコンピュータ可読媒体、コンピュータ実装方法または非一時的なコンピュータ可読媒体上に記憶された命令を実行するように構成されたハードウェアプロセッサと相互動作可能に結合されたコンピュータメモリを備えるコンピュータシステムなどのコンピュータ実装方法に少なくとも適用可能であると考えられる。

Claims (33)

  1. 手術処置中に超音波プローブを用いて患者の領域に超音波照射を手術中に行うことで得られる超音波データにアクセスすることであって、前記超音波データは、前記領域の１つまたは複数の骨構造の３次元表面情報と前記超音波プローブに対する前記１つまたは複数の骨構造の位置情報とを、リアルタイムで符号化する、ことと、
    前記超音波データに基づいて、前記１つまたは複数の骨構造の第１の３次元表面表現を抽出することと、
    前記手術処置前に前記患者の前記領域に非超音波イメージングを行って得られる非超音波イメージングデータにアクセスすることであって、前記非超音波イメージングデータは、前記領域の前記１つまたは複数の骨構造の３次元表面解剖学的情報を含む、ことと、
    前記非超音波イメージングデータに基づいて、前記１つまたは複数の骨構造の第２の３次元表面表現を抽出することと、
    ディープラーニングアルゴリズムを用いて、前記第１の３次元表面表現から１つまたは複数の関心領域（ＲＯＩ）を識別することであって、前記第１の３次元表面表現と前記第２の３次元表面表現を前記１つまたは複数の関心領域に整列させると空間変換が決まる、ことと、
    前記空間変換の適用に基づいて、前記非超音波イメージングデータからの前記３次元表面解剖学的情報の、前記超音波データからの前記３次元表面情報へのオーバーレイを生成すること、
    を含むことを特徴とするコンピュータによって実装される方法。
  2. 前記１つまたは複数の関心領域を識別することは、
    前記第１の３次元表面表現からの領域を追加することで前記特定された１つまたは複数の関心領域を成長させることであって、前記第１の３次元表面表現と前記第２の３次元表面表現は、第１の閾値レベルより上のレベルでマッチングされる、こと、
    を含むことを特徴とする請求項１に記載のコンピュータによって実装される方法。
  3. 前記１つまたは複数の関心領域を識別することは、
    前記第１の３次元表面表現から領域を差し引くことで前記特定された１つまたは複数の関心領域をプルーニングすることであって、前記第１の３次元表面表現と前記第３の３次元表面表現は、第１の閾値レベルより上のレベルにある、こと、
    を含むことを特徴とする請求項１に記載のコンピュータによって実装される方法。
  4. 前記１つまたは複数の関心領域を識別することは、
    前記ディープラーニングアルゴリズムの学習を行って前記空間変換を繰り返し向上させて、前記手術処置中にリアルタイムで前記超音波データからの前記３次元表面解剖学的情報が前記非超音波データにオーバーレイされるように、所定時間内に前記空間変換を達成すること、
    を含むことを特徴とする請求項１に記載のコンピュータによって実装される方法。
  5. 前記ディープラーニングアルゴリズムは、
    前記１つまたは複数の関心領域の数と、前記１つまたは複数の関心領域のサイズと、前記１つまたは複数の関心領域の位置と、前記第１の３次元表面表現と前記第２の３次元表面表現との間のマッチングを決定するための第１の閾値レベルと、前記第１の３次元表面表現と前記第２の３次元表面表現のノイズ特性を決定するための第２の閾値レベルと、を調整すること、
    を含むことを特徴とする請求項４に記載のコンピュータによって実装される方法。
  6. 前記ディープラーニングアルゴリズムは、
    前記第１の３次元表面表現と前記第２の３次元表面表現とがマッチングする傾向があるパッチの第１のテンプレートを記憶すること、
    を含むことを特徴とする請求項４に記載のコンピュータによって実装される方法。
  7. 前記ディープラーニングアルゴリズムは、
    前記超音波データと前記非超音波イメージングデータの少なくとも一方の前記空間変換に基づいて、前記第１の３次元表面表現と前記第２の３次元表面表現とがマッチングする傾向があるように、関心領域の前記第１のテンプレートを修正すること、
    を含むことを特徴とする請求項４に記載のコンピュータによって実装される方法。
  8. 前記ディープラーニングアルゴリズムは、
    前記第１の３次元表面表現と前記第２の３次元表面表現とがマッチングしない傾向があるパッチの第２のテンプレートを記憶すること、
    を含むことを特徴とする請求項４に記載のコンピュータによって実装される方法。
  9. 前記ディープラーニングアルゴリズムは、
    前記超音波データと前記非超音波イメージングデータの少なくとも一方の前記空間変換に基づいて、前記第１の３次元表面表現と前記第２の３次元表面表現とがマッチングしない傾向があるように、関心領域の前記第２のテンプレートを修正すること、
    を含むことを特徴とする請求項４に記載のコンピュータによって実装される方法。
  10. 前記１つまたは複数の関心領域上において前記第１の３次元表面表現と前記第２の３次元表面表現とを整列させることに基づいて、前記手術処置前に取得される前記非超音波イメージングデータと前記手術処置中に取得される前記超音波データとの間の、前記領域内の前記１つまたは複数の骨構造の位置ずれを追跡することと、
    前記空間変換に基づいて、前記手術処置前に取得される前記非超音波イメージングデータと前記手術処置中に取得される前記超音波データとの間の、前記領域内の前記１つまたは複数の骨構造の前記位置ずれを定量化すること、
    をさらに含むことを特徴とする請求項１に記載のコンピュータによって実装される方法。
  11. 前記追跡された位置ずれに基づいて、前記超音波プローブの位置を調整できるように、前記手術処置中に手術医に対するナビゲーションガイダンスをリアルタイムで更新することをさらに含むことを特徴とする請求項１０に記載のコンピュータによって実装される方法。
  12. 前記手術処置中に前記超音波プローブの位置を変更して前記１つまたは複数の骨構造に超音波照射を行うことに応じて、前記非超音波イメージングデータからの前記３次元表面解剖学的情報の前記超音波データからの前記３次元表面解剖学的情報へのオーバーレイが更新されるように前記空間変換を更新することであって、前記超音波データは、前記位置が変更された前記超音波プローブから取得される、ことをさらに含むことを特徴とする請求項１１に記載のコンピュータによって実装される方法。
  13. 前記手術処置中に、前記超音波データを用いてデバイスの位置を追跡することであって、前記デバイスは手術器具またはインプラントまたは刺激器デバイスを有する、ことと、
    前記非超音波イメージングデータからの前記１つまたは複数の骨構造の前記３次元表面情報が前記超音波データからの前記１つまたは複数の骨構造の前記３次元表面情報にオーバーレイされている前記オーバーレイ上に、前記デバイスの前記追跡された位置を投影すること、
    をさらに含むことを特徴とする請求項１に記載のコンピュータによって実装される方法。
  14. 前記第１の３次元表面表現を抽出することは、
    順行追跡法またはバックシャドウ法を含む方法を適用することに基づいて組織と骨の界面を特定することであって、前記方法は超音波の伝搬方向に沿って実行されることで組織と骨の界面を特定し、前記方法は組織と骨の前記界面からの反響を受けることなく実行される、こと、
    を含むことを特徴とする請求項１に記載のコンピュータによって実装される方法。
  15. 前記非超音波イメージングデータは、コンピュータ断層撮影（ＣＴ）画像または磁気共鳴イメージング（ＭＲＩ）画像を含み、
    前記磁気共鳴イメージング（ＭＲＩ）画像は、ゼロエコー時間（ＴＥ）ＭＲＩ画像を含み、
    前記コンピュータによって実装される方法は、Ｘ線蛍光透視法データにアクセスせずに実行される、
    ことを特徴とする請求項１に記載のコンピュータによって実装される方法。
  16. 前記領域は、脊柱領域または骨盤領域または仙骨領域または後頭領域を含むことを特徴とする請求項１に記載のコンピュータによって実装される方法。
  17. 前記領域は、上腕骨、肘、橈骨、尺骨、中手骨、指骨、肩甲骨、肋骨、腸骨翼、大腿骨、膝蓋骨、脛骨、腓骨、中足骨のうちの少なくとも１つを含むことを特徴とする請求項１に記載のコンピュータによって実装される方法。
  18. 前記領域は、肩、肘、手首、手、臀部、膝、足首、足のうちの少なくとも１つを含むことを特徴とする請求項１に記載のコンピュータによって実装される方法。
  19. 前記領域は、骨内、骨の周囲、骨の表面上の１つまたは複数の病変の生検のための領域を含むことを特徴とする請求項１に記載のコンピュータによって実装される方法。
  20. 前記領域は、（１）関節穿刺、椎間関節ブロック、または関節造影のための関節、（２）少なくとも１つの肢の１つまたは複数の骨の周囲の滑液包または神経節、（３）関節の周囲の１つまたは複数の靭帯構造、（４）患者の手または足の手根管および足根管を含む１つまたは複数の構造トンネル、または（５）１つまたは複数の腱、に注射するための、軟部組織またはトリガーポイント注射の１つまたは複数の領域を含むことを特徴とする請求項１に記載のコンピュータによって実装される方法。
  21. 患者の領域に超音波照射を行う超音波プローブと、
    手術処置中にリアルタイムの視覚フィードバックを提供することが可能な表示装置と、
    前記超音波プローブおよび前記表示装置と通信するコンピュータプロセッサであって、
    前記患者の前記領域に超音波照射を手術中に行うことで得られる超音波データにアクセスすることであって、前記超音波データは、前記領域の１つまたは複数の骨構造の３次元表面情報と前記超音波プローブに対する前記１つまたは複数の骨構造の位置情報とを、リアルタイムで符号化する、ことと、
    前記超音波データに基づいて、前記１つまたは複数の骨構造の第１の３次元表面表現を抽出することと、
    前記手術処置前に前記患者の前記領域に非超音波イメージングを行って得られる非超音波イメージングデータにアクセスすることであって、前記非超音波イメージングデータは、前記領域の前記１つまたは複数の骨構造の３次元表面解剖学的情報を含む、ことと、
    前記非超音波イメージングデータに基づいて、前記１つまたは複数の骨構造の第２の３次元表面表現を抽出することと、
    ディープラーニングアルゴリズムを用いて、前記第１の３次元表面表現から１つまた
    は複数の関心領域（ＲＯＩ）を識別することであって、前記第１の３次元表面表現と前記第２の３次元表面表現を前記１つまたは複数の関心領域に整列させると空間変換が決まる、ことと、
    前記空間変換の適用に基づいて、前記非超音波イメージングデータからの前記３次元表面解剖学的情報の、前記超音波データからの前記３次元表面情報へのオーバーレイを生成すること、
    を実行するコンピュータプロセッサと、
    を有することを特徴とするシステム。
  22. 前記コンピュータプロセッサは、
    前記手術処置中に、前記超音波データを用いて手術器具の位置を追跡することと、
    前記非超音波イメージングデータからの前記１つまたは複数の骨構造の前記３次元表面情報が前記超音波データからの前記１つまたは複数の骨構造の前記３次元表面情報にオーバーレイされている前記オーバーレイ上に、前記手術器具の前記追跡された位置を投影することであって、前記手術器具は、前記手術処置中に前記領域内においてペディクルスクリューまたはインプラントまたは刺激器の配置を支援するように操作可能である、こと、をさらに実行することを特徴とする請求項２１に記載のシステム。
  23. 前記コンピュータプロセッサは、
    前記１つまたは複数の関心領域上において前記第１の３次元表面表現と前記第２の３次元表面表現とを整列させることに基づいて、前記手術処置前に取得される前記非超音波イメージングデータと前記手術処置中に取得される前記超音波データとの間の、前記領域内の前記１つまたは複数の骨構造の位置ずれを追跡することと、
    前記追跡された位置ずれに基づいて、前記超音波プローブの位置を調整できるように、前記手術処置中に手術医に対するナビゲーションガイダンスをリアルタイムで更新すること、
    をさらに実行することを特徴とする請求項２１に記載のシステム。
  24. 前記表示装置は、前記手術処置中に拡張現実レンダリングが提供されて手術医をナビゲートするように、前記非超音波イメージングデータからの前記３次元表面解剖学的情報の前記超音波データからの前記３次元表面解剖学的情報へのオーバーレイをリアルタイムで更新することを特徴とする請求項２１に記載のシステム。
  25. 前記表示装置は、ウェアラブルデバイスを含み、
    前記超音波プローブは、ワイヤレス超音波プローブを含む、
    ことを特徴とする請求項２４に記載のシステム。
  26. 前記手術処置中における前記超音波プローブのリアルタイム追跡情報を提供する追跡システムであって、前記超音波プローブの前記リアルタイム追跡情報は、前記超音波プローブに対する前記１つまたは複数の骨構造の位置情報と組み合わせられると、前記手術処置中の前記超音波プローブの位置決めに関して、手術医に対するナビゲーションガイダンスに変換可能である、追跡システムをさらに有することを特徴とする請求項２１に記載のシステム。
  27. 前記追跡システムは、光学追跡装置、ステップモータ、電磁センサ、加速装置、ジャイロスコープのうち少なくとも１つを有することを特徴とする請求項２６に記載のシステム。
  28. 前記領域は、脊柱領域または骨盤領域または仙骨領域または後頭領域を含むことを特徴とする請求項２１に記載のシステム。
  29. 前記領域は、上腕骨、肘、橈骨、尺骨、中手骨、指骨、肩甲骨、肋骨、腸骨翼、大腿骨、膝蓋骨、脛骨、腓骨、中足骨のうちの少なくとも１つを含むことを特徴とする請求項２１に記載のシステム。
  30. 前記領域は、肩、肘、手首、手、臀部、膝、足首、足のうちの少なくとも１つを含むことを特徴とする請求項２１に記載のシステム。
  31. 前記領域は、骨内、骨の周囲、骨の表面上の１つまたは複数の病変の生検のための領域を含むことを特徴とする請求項２１に記載のシステム。
  32. 前記領域は、（１）関節穿刺、椎間関節ブロック、または関節造影のための関節、（２）少なくとも１つの肢の１つまたは複数の骨の周囲の滑液包または神経節、（３）関節の周囲の１つまたは複数の靭帯構造、（４）患者の手または足の手根管および足根管を含む１つまたは複数の構造トンネル、または（５）１つまたは複数の腱、に注射するための、軟部組織またはトリガーポイント注射の１つまたは複数の領域を含むことを特徴とする請求項２１に記載のシステム。
  33. 超音波プローブを用いて患者の領域に超音波照射を行うことで得られる超音波データにアクセスすることであって、前記超音波データは、前記領域の１つまたは複数の骨構造の３次元表面情報と前記超音波プローブに対する前記１つまたは複数の骨構造の位置情報とを、リアルタイムで符号化する、ことと、
    前記超音波データに基づいて、前記１つまたは複数の骨構造の第１の３次元表面表現を抽出することと、
    前記患者の前記領域に非超音波イメージングを行って得られる非超音波イメージングデータにアクセスすることであって、前記非超音波イメージングデータは、前記領域の前記１つまたは複数の骨構造の３次元表面解剖学的情報を含む、ことと、
    前記非超音波イメージングデータに基づいて、前記１つまたは複数の骨構造の第２の３次元表面表現を抽出することと、
    ディープラーニングアルゴリズムを用いて、前記第１の３次元表面表現から１つまたは複数の関心領域（ＲＯＩ）を識別することであって、前記第１の３次元表面表現と前記第２の３次元表面表現を前記１つまたは複数の関心領域に整列させると空間変換が決まる、ことと、
    前記空間変換の適用に基づいて、前記非超音波イメージングデータからの前記３次元表面解剖学的情報の、前記超音波データからの前記３次元表面情報へのオーバーレイを生成すること、
    を含むことを特徴とするコンピュータによって実装される方法。
JP2023553954A 2021-03-05 2022-03-04 放射線学的なナビゲートを用いる術中脊椎誘導システム Pending JP2024510140A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163157483P 2021-03-05 2021-03-05
US63/157,483 2021-03-05
PCT/US2022/018959 WO2022187659A1 (en) 2021-03-05 2022-03-04 Radiologically navigated intra-operative spinal guidance system

Publications (1)

Publication Number Publication Date
JP2024510140A true JP2024510140A (ja) 2024-03-06

Family

ID=83155570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023553954A Pending JP2024510140A (ja) 2021-03-05 2022-03-04 放射線学的なナビゲートを用いる術中脊椎誘導システム

Country Status (9)

Country Link
US (1) US20240138818A1 (ja)
EP (1) EP4301268A1 (ja)
JP (1) JP2024510140A (ja)
KR (1) KR20240016247A (ja)
CN (1) CN117241757A (ja)
AU (1) AU2022231159A1 (ja)
CA (1) CA3209143A1 (ja)
IL (1) IL305327A (ja)
WO (1) WO2022187659A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6246784B1 (en) * 1997-08-19 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Method for segmenting medical images and detecting surface anomalies in anatomical structures
US6106464A (en) * 1999-02-22 2000-08-22 Vanderbilt University Apparatus and method for bone surface-based registration of physical space with tomographic images and for guiding an instrument relative to anatomical sites in the image
US6379302B1 (en) * 1999-10-28 2002-04-30 Surgical Navigation Technologies Inc. Navigation information overlay onto ultrasound imagery
JP5161427B2 (ja) * 2006-02-20 2013-03-13 株式会社東芝 画像撮影装置、画像処理装置及びプログラム
US8771188B2 (en) * 2007-06-20 2014-07-08 Perception Raisonnement Action En Medecine Ultrasonic bone motion tracking system
CA2845044C (en) * 2011-08-12 2023-03-28 Jointvue, Llc 3-d ultrasound imaging device and methods
CA2852233C (en) * 2011-10-14 2023-08-08 Jointvue, Llc Real-time 3-d ultrasound reconstruction of knee and its implications for patient specific implants and 3-d joint injections
US10957010B2 (en) * 2019-08-07 2021-03-23 General Electric Company Deformable registration for multimodal images

Also Published As

Publication number Publication date
WO2022187659A1 (en) 2022-09-09
CN117241757A (zh) 2023-12-15
US20240138818A1 (en) 2024-05-02
EP4301268A1 (en) 2024-01-10
CA3209143A1 (en) 2022-09-09
IL305327A (en) 2023-10-01
KR20240016247A (ko) 2024-02-06
WO2022187659A9 (en) 2023-10-12
AU2022231159A1 (en) 2023-09-07

Similar Documents

Publication Publication Date Title
JP6381618B2 (ja) 超音波を使用する骨表面画像再構成
US20170084028A1 (en) Indication-Dependent Display of a Medical Image
WO2014117805A1 (en) Three-dimensional image segmentation based on a two-dimensional image information
US11911223B2 (en) Image based ultrasound probe calibration
Gueziri et al. The state-of-the-art in ultrasound-guided spine interventions
US11172995B2 (en) Method for registering articulated anatomical structures
Brignol et al. Automatic extraction of vertebral landmarks from ultrasound images: A pilot study
Schumann State of the art of ultrasound-based registration in computer assisted orthopedic interventions
CA2969874A1 (en) Method for optimising the position of a patient's body part relative to an imaging device
Hacihaliloglu 3D ultrasound for orthopedic interventions
Krysztoforski et al. Noninvasive ultrasonic measuring system for bone geometry examination
JP2024510140A (ja) 放射線学的なナビゲートを用いる術中脊椎誘導システム
Kern Intra-operative biomechanical analysis for improvement of intra-articular fracture reduction
JP2020099696A (ja) 再配向手術のための術前計画：模擬ｘ線を用いた表面モデルフリーアプローチ
Mcdonald et al. A comparison of registration techniques for computer-and image-assisted elbow surgery
TWI836491B (zh) 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統
US20230360334A1 (en) Positioning medical views in augmented reality
IL310322A (en) Determining the level of the spine using augmented reality
Hacihaliloglu Towards a novel minimally invasive three dimensional ultrasound imaging based computer assisted orthopaedic surgery system for bone fracture reduction
EP4200794A1 (en) Augmenting a medical image with an intelligent ruler
TW202333628A (zh) 註冊二維影像資料組與感興部位的三維影像資料組的方法及導航系統
IL310198A (en) Combining 2D and 3D visual presentations in augmented reality