JP2024501897A - 術前画像データを手術シーンなどのシーンの術中画像データにレジストレーションする方法およびシステム - Google Patents

術前画像データを手術シーンなどのシーンの術中画像データにレジストレーションする方法およびシステム Download PDF

Info

Publication number
JP2024501897A
JP2024501897A JP2023540720A JP2023540720A JP2024501897A JP 2024501897 A JP2024501897 A JP 2024501897A JP 2023540720 A JP2023540720 A JP 2023540720A JP 2023540720 A JP2023540720 A JP 2023540720A JP 2024501897 A JP2024501897 A JP 2024501897A
Authority
JP
Japan
Prior art keywords
image data
scene
point
patient
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023540720A
Other languages
English (en)
Inventor
ナヴァ アグダシ
ジェイムズ アンドリュー ヨンクイスト
Original Assignee
プロプリオ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by プロプリオ インコーポレイテッド filed Critical プロプリオ インコーポレイテッド
Publication of JP2024501897A publication Critical patent/JP2024501897A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Processing Or Creating Images (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

媒介現実イメージングシステム、方法、およびデバイスが本明細書に開示される。幾つかの実施形態において、イメージングシステムは、（ｉ）実質的にリアルタイムで手術シーンの術中画像データをキャプチャするように構成されたカメラアレイ、および（ｉｉ）カメラアレイに通信可能に結合された処理デバイスを含む。処理デバイスは、カメラからの術中画像データに基づいて、シーンの仮想視野に対応する３次元（３Ｄ）画像を合成するように構成することができる。イメージングシステムは、シーン内の患者の一部に対応する医療スキャンデータ等の術前画像データを受信および／または格納するように更に構成される。画像処理デバイスは、術前画像データを術中画像データにレジストレーションし、レジストレーションされた術前画像データをシーンの３Ｄ画像の対応する部分の上にオーバーレイして媒介現実ビューを提示することができる。【選択図】図１

Description

本技術は、一般に、媒介現実ビューアのためにシーンのリアルタイムまたはほぼリアルタイムの３次元（３Ｄ）仮想視野を生成し、術前医療画像（例えば、コンピュータ断層撮影（ＣＴ）スキャンデータ）のような以前にキャプチャされた画像データを３Ｄ仮想視野にレジストレーションするための方法およびシステムに関する。
媒介現実システムにおいて、画像処理システムは、環境を表す視覚情報を加算、減算、および／または修正する。外科的用途では、媒介現実システムは、外科医が外科的作業をより効率的で正確に行うことを支援するコンテキスト情報と共に、外科医が所望の視点から手術部位を見ることを可能にすることができる。外科医は、手術を行う場合、ＣＴスキャン画像などの患者の解剖学的構造の術前３次元画像に頼ることが多い。しかしながら、このような術前画像の有用性は、画像を手術処置に容易に組み込むことができないため、限定的である。例えば、画像は術前セッションでキャプチャされるため、術前画像にてキャプチャされた相対的な解剖学的位置は、手術処置中の実際の位置から変化する可能性がある。更に、手術中に術前画像を利用するためには、外科医は、手術野と術前画像のディスプレイとの間で注意を分割しなければならない。また、術前画像の異なるレイヤー間をナビゲートすることはまた、外科医の手術への集中を損なう大きな注意を必要とする可能性がある。
本開示の多くの態様は、以下の図面を参照することによってより良く理解することができる。図面中の構成要素は必ずしも縮尺通りではない。その代わりとして、本開示の原理を明確に例証することに重点が置かれている。
本技術の実施形態に係るイメージングシステムの概略図である。
本発明の技術の実施形態による、外科用途のために図１のイメージングシステムを採用する外科環境の斜視図である。
本発明の技術の実施形態による、手術シーンの媒介現実ビューを生成するために術前画像データを術中画像データにレジストレーションするためのプロセスまたは方法のフロー図である。
本発明の技術の実施形態による、図３の方法の様々な段階を例示した、（ｉ）図１のイメージングシステムのカメラアレイの視野内の物体の術中画像データおよび（ｉｉ）物体の術前画像データの概略図である。 本発明の技術の実施形態による、図３の方法の様々な段階を例示した、（ｉ）図１のイメージングシステムのカメラアレイの視野内の物体の術中画像データおよび（ｉｉ）物体の術前画像データの概略図である。 本発明の技術の実施形態による、図３の方法の様々な段階を例示した、（ｉ）図１のイメージングシステムのカメラアレイの視野内の物体の術中画像データおよび（ｉｉ）物体の術前画像データの概略図である。
本発明の技術の実施形態による、術前画像データを術中画像データにレジストレーションするためのプロセスまたは方法のフロー図である。
本発明の技術の実施形態による、図５の方法の様々な段階を示す、図１のイメージングシステムによって生成された手術シーンの出力画像の斜視図である。 本発明の技術の実施形態による、図５の方法の様々な段階を示す、図１のイメージングシステムによって生成された手術シーンの出力画像の斜視図である。 本発明の技術の実施形態による、図５の方法の様々な段階を示す、図１のイメージングシステムによって生成された手術シーンの出力画像の斜視図である。 本発明の技術の実施形態による、図５の方法の様々な段階を示す、図１のイメージングシステムによって生成された手術シーンの出力画像の斜視図である。 本発明の技術の実施形態による、図５の方法の様々な段階を示す、図１のイメージングシステムによって生成された手術シーンの出力画像の斜視図である。
本発明の技術の追加の実施形態による、術前画像データを術中画像データにレジストレーションするためのプロセスまたは方法のフロー図である。
本発明の技術の実施形態による、図１のイメージングシステムのカメラアレイによってキャプチャされた患者の脊椎の画像である。
本発明の技術の追加の実施形態による、術前画像データを術中画像データにレジストレーションして手術シーンの媒介現実ビューを生成するためのプロセスまたは方法のフロー図である。
本発明の技術の実施形態による、シーンのポイントクラウド深度マップをシーンの一部の術前画像データにレジストレーションするためのプロセスまたは方法のフロー図である。
本発明の技術の実施形態による、ポイントクラウド内の異なる数／密度のポイントの処理に対するレジストレーションアルゴリズムの精度の経時的なグラフである。
本発明の技術の実施形態による、術中画像データと術前画像データとの間のレジストレーションの精度を決定するためのプロセスまたは方法のフロー図である。
本発明の技術の態様は、一般に、外科手術で使用するような媒介現実イメージングシステム、および共に表示するために術前画像データを術中画像データにレジストレーションするための関連する方法に向けられている。以下に説明する幾つかの実施形態において、例えば、イメージングシステムは、（ｉ）手術シーンの術中画像データ（例えば、ライトフィールドデータおよび／または深度データ）をキャプチャするように構成されたカメラアレイと、（ｉｉ）カメラアレイに通信可能に結合された処理デバイスとを含む。処理デバイスは、カメラの少なくともサブセットからの画像データに基づいて、シーンの仮想視野に対応する３次元（３Ｄ）仮想画像をリアルタイムまたはほぼリアルタイムで合成／生成するように構成することができる。処理デバイスは、外科医またはイメージングシステムの他のオペレータ等のビューアが閲覧するために、３Ｄ仮想画像をディスプレイデバイス（例えば、ヘッドマウントディスプレイ（ＨＭＤ））に出力することができる。イメージングシステムは更に、術前画像データを受信および／または記憶するように構成される。術前画像データは、脊椎手術処置を受ける患者の脊椎など、シーン内の患者の一部に対応する医療スキャンデータ（例えば、コンピュータ断層撮影（ＣＴ）スキャンデータ）とすることができる。
処理デバイスは、例えば、術前画像データおよび術中画像データの両方を表す３Ｄデータセットにおいて可視のフィデューシャルマーカおよび／または他の特徴点をレジストレーション／マッチングすることによって、術前画像データを術中画像データにグローバルおよび／またはローカルにレジストレーションすることができる。処理デバイスは更に、レジストレーションに基づいて術前画像データに変換を適用して、例えば、術前画像データをカメラアレイでキャプチャされたリアルタイムまたはほぼリアルタイムの術中画像データと実質的に（例えば、共通の座標フレームで）整列させることができる。次いで、処理デバイスは、術前画像データおよび術中画像データを共に表示して、手術シーンの媒介現実ビューを提供することができる。より具体的には、処理デバイスは、術前画像データの３Ｄグラフィカル表現をシーンの３Ｄ仮想画像の対応する部分上にオーバーレイして媒介現実ビューを提示し、これにより、例えば、外科医がシーン内の手術部位と手術中の患者の下にある３Ｄ解剖学的構造とを同時に見ることを可能にすることができる。
幾つかの実施形態では、イメージングシステムの処理デバイスは、非レジストレーションの医療スキャンデータを３Ｄ仮想画像の上にオーバーレイすることを含む、医療スキャンデータなどの術前画像データを術中画像データにレジストレーションするための方法を実施することができる。本方法は更に、医療スキャンデータを、３Ｄ仮想画像にて少なくとも部分的に見える患者の対応する部分（例えば、患者の選択された解剖学的構造）と整列するように移動させるためのユーザ入力を受信することを含むことができる。例えば、医療スキャンデータは、ＣＴスキャンからのセグメント化された椎骨とすることができ、ユーザは、シーンを通じてツールを移動させることにより、３Ｄ仮想画像に示された対応する椎骨と整列するように、椎骨を仮想的に「ドラッグ・アンド・ドロップ」することができる。医療スキャンデータがユーザによって手動で整列されると、本方法は、整列に基づいて医療スキャンデータを術中画像にレジストレーションすることを含むことができる。幾つかの実施形態では、レジストレーションは、医療スキャンデータを術中画像データに更に整列させるローカルレジストレーションとすることができる。このようなローカルレジストレーションは、３Ｄ仮想画像内の患者の対応する解剖学的構造上の位置に医療スキャンデータを「スナップ」させることによって、３Ｄ仮想画像にて視覚的に表現することができる。
幾つかの実施形態では、イメージングシステムの処理デバイスは、色、鏡面度等の術中画像データの１以上の特性に基づく、術前医学スキャンデータを術中画像データにレジストレーションする方法を実施することができる。より具体的には、本方法は、術中ライトフィールド画像データを分析して１以上の特性を決定することと、決定された１以上の特性に基づいて、（ｉ）術中画像データの第１の部分が患者の解剖学的構造の第１のタイプに対応すること、および（ｉｉ）術中画像データの第２の部分が患者の解剖学的構造の第２のタイプに対応することを決定することとを含むことができる。解剖学的構造の第１のタイプは、医療スキャンデータに対応することができる。例えば、医療スキャンデータは、患者の脊椎のＣＴスキャンとすることができ、患者の解剖学的構造の第１のタイプは脊椎骨とすることができる。幾つかの実施形態では、本方法は、術中画像データ中の点が解剖学的構造の第１のタイプまたは解剖学的構造の第２のタイプの何れであるかに基づいて、レジストレーションアルゴリズムの重みを調整することを含むことができる。例えば、骨である可能性が高い点は、肉である可能性が高い点または医療スキャンデータに対応しない患者の他の解剖学的構造である点よりも高く重み付けすることができる。
幾つかの実施形態では、イメージングシステムの処理デバイスは、術前医学スキャンデータを術中画像データにレジストレーションするための方法であって、シーンの術中深度データを処理することを含む、方法を実施することができる。より具体的には、本方法は、術中画像データを処理してシーンのポイントクラウド深度マップを生成することを含むことができる。次に、本方法は、ポイントクラウド深度マップを術前医学スキャンデータにマッピングするレジストレーションアルゴリズムを利用することができる。幾つかの実施形態では、イメージングシステムの処理デバイスは、例えば、シーンの３Ｄ仮想画像を生成する際に使用できるポイントクラウド深度マップに基づいて３Ｄメッシュを生成することができる。従って、レジストレーションアルゴリズムは、３Ｄメッシュではなくポイントクラウド深度マップに基づいて開始することができる。本発明の技術の幾つかの態様では、ポイントクラウド深度マップを利用することにより、３Ｄメッシュの生成およびそれに続く３Ｄ仮想画像の合成と並行してレジストレーションを実行することができ、これによりイメージングシステムの処理速度を向上させることができる。
幾つかの実施形態では、イメージングシステムの処理デバイスは、十分なレジストレーション精度が達成されるまで、ポイントクラウドデプスマップ内の点の数／密度を増加させることを段階的方式で処理するレジストレーションアルゴリズムを実装／利用することができる。例えば、レジストレーションアルゴリズムは、最初にポイントクラウド内の第１の数のポイントを処理し、予め定義された精度に達した後、ポイントクラウド内のより多い第２の数のポイントに基づいてレジストレーションを継続することができる。幾つかの実施形態では、本方法は、十分なレジストレーション精度に達するまで、ポイントクラウド内の点の数を増加させることを処理すること（例えば、数を増加させるステップ）を含むことができる。本発明の技術の幾つかの態様において、このような段階的処理は、イメージングシステムの処理速度を向上させることができる。
幾つかの実施形態では、イメージングシステムの処理デバイス（および／または別の処理デバイス）は、術中画像データと術前画像データとの間のマッピングを定義する計算された術中レジストレーション変換の精度を評価する方法を実施することができる。より具体的には、本方法は、（ｉ）履歴レジストレーション変換を含む履歴レジストレーションデータを受信することと、（ｉｉ）レジストレーション変換の周囲の空間近傍を定義することと、（ｉｉｉ）レジストレーション変換を（例えば、「良い」変換または「悪い」変換として）分類／ラベリングすることと、（ｉｖ）空間近傍および分類に基づいて機械学習モデルを訓練することと、を含むことができる。本方法は更に、術中レジストレーション変換の周囲の空間近傍を定義することによって術中レジストレーション変換の精度を決定することと、レジストレーションの適合度スコア（例えば、「良い」、「悪い」）を出力することができる、機械学習モデルに術中レジストレーション変換を入力することとを含むことができる。本発明の技術の幾つかの態様では、変換単独ではなく、所与のレジストレーション変換周辺の近傍値を評価することにより、レジストレーション精度の評価の信頼度が高まる。
本発明の技術の幾つかの実施形態の具体的な詳細について、図１～図１２を参照して本明細書で説明する。しかしながら、本発明の技術は、これらの具体的な詳細の一部がなくても実施することができる。場合によっては、カメラアレイ、ライトフィールドカメラ、画像再構成、レジストレーションプロセス等に関連することが多い周知の構造および技術は、本発明の技術を不明瞭にしないように詳細には示されていない。以下に提示される記載において使用される用語は、本開示の特定の具体的な実施形態の詳細な説明と関連して使用されるとしても、最も広範で合理的な方法で解釈されることが意図される。特定の用語は、以下で強調される場合もあるが、何れかの制限された態様で解釈されることが意図される何れかの用語は、この詳細な説明のセクションにおいてこのように明白且つ具体的に定義される。
更に、本発明の技術のレジストレーション技術は、術前画像データを手術シーンの術中画像データにレジストレーションすることの関連で説明されることが多いが、他のタイプの画像データをレジストレーションするのにも使用することができる。例えば、本発明の技術のシステムおよび方法は、より一般的には、何れかの以前にキャプチャされたデータを対応するリアルタイムまたはほぼリアルタイムのシーンの画像データにレジストレーションして、以前にキャプチャされたデータとリアルタイム画像との組み合わせ／融合を含む、シーンの媒介現実ビューを生成するのに使用することができる。
添付の図は、本発明の技術の実施形態を示すものであり、その範囲を限定することを意図するものではない。描かれた様々な要素のサイズは必ずしも縮尺通りに描かれておらず、これらの様々な要素は、視認性を向上させるために任意に拡大することができる。構成要素の詳細については、本発明の技術の製造方法および使用方法を完全に理解するためにこのような詳細が不要な場合には、図において概要化して、構成要素の位置およびこのような構成要素間の特定の正確な接続などの詳細を除外する場合がある。図に示される詳細、寸法、角度、および他の特徴の多くは、本開示の特定の実施形態の単なる例証である。従って、他の実施形態は、本発明の技術の精神または範囲から逸脱することなく、他の詳細、寸法、角度、および特徴を有することができる。
本明細書において提供される見出しは、便宜上のものであり、開示される主題を限定するものとして解釈されるべきではない。
Ｉ．イメージングシステムの選択された実施形態
図１は、本発明の技術の実施形態によるイメージングシステム１００（「システム１００」）の概略図である。幾つかの実施形態では、システム１００は、合成拡張現実システム、媒介現実イメージングシステム、および／または計算イメージングシステムとすることができる。図示の実施形態では、システム１００は、１以上のディスプレイデバイス１０４、１以上の入力コントローラ１０６、およびカメラアレイ１１０に動作可能／通信可能に結合された処理デバイス１０２を含む。他の実施形態では、システム１００は、追加の、より少ない、または異なる構成要素を備えることができる。幾つかの実施形態では、システム１００は、（ｉ）２０１９年９月２７日に出願された、名称「ＣＡＭＥＲＡ ＡＲＲＡＹ ＦＯＲ Ａ ＭＥＤＩＡＴＥＤ－ＲＥＡＬＩＴＹ ＳＹＳＴＥＭ」の米国特許出願第１６／５８６，３７５号明細書、および／または（ｉｉ）２０２０年５月１２日に出願され、名称「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＩＭＡＧＩＮＧ Ａ ＳＣＥＮＥ， ＳＵＣＨ ＡＳ Ａ ＭＥＤＩＣＡＬ ＳＣＥＮＥ， ＡＮＤ ＴＲＡＣＫＩＮＧ ＯＢＪＥＣＴＳ ＷＩＴＨＩＮ ＴＨＥ ＳＣＥＮＥ」の特許出願第１５／９３０，３０５号明細書に開示された媒介現実イメージングシステムとほぼ類似したまたは同一の幾つかの特徴を含むことができ、これらの各々は、引用により全体が本明細書に組み込まれる。
図示の実施形態では、カメラアレイ１１０は、各々が異なる視点からシーン１０８の画像（例えば、第１の画像データ）をキャプチャするように構成される複数のカメラ１１２（カメラ１１２ａ～１１２ｎとして個々に識別され、第１のカメラとも呼ばれることができる）を含む。シーン１０８は、例えば、手術または別の医療処置を受けている患者を含む手術シーンとすることができる。他の実施形態では、シーン１０８は、他のタイプのシーンとすることができる。カメラアレイ１１０は更に、先端１０９を有するツール１０１（例えば、手術ツール）などの１以上の物体の位置データをキャプチャし、シーン１０８を通る／シーン１０８内の物体の移動および／または向きを追跡するように構成された複数の専用の物体追跡器１１３（追跡器１１３ａ～１１３ｎとして個々に識別される）を含む。幾つかの実施形態では、カメラ１１２および追跡器１１３は、互いに対して固定された位置および向き（例えば、ポーズ）に配置される。例えば、カメラ１１２および追跡器１１３は、予め定義された固定の位置および向きで、取付構造（例えば、フレーム）によって／取付構造（例えば、フレーム）に対して構造的に固定することができる。幾つかの実施形態では、カメラ１１２は、隣接するカメラ１１２がシーン１０８の重なり合うビューを共有するように配置することができる。同様に、追跡器１１３は、隣接する追跡器１１３がシーン１０８の重なり合うビューを共有するように位置決めすることができる。従って、カメラ１１２および追跡器１１３の全てまたはサブセットは、位置および向き等の異なる外部パラメータを有することができる。
幾つかの実施形態では、カメラアレイ１１０内のカメラ１１２は、シーン１０８の画像を実質的に同時に（例えば、閾値時間誤差内で）キャプチャするように同期される。幾つかの実施形態では、カメラ１１２の全てまたはサブセットは、シーン１０８から発せられるライトフィールドに関する情報（例えば、シーン１０８内の光線の強度に関する情報、および光線が空間を通って移動する方向に関する情報も）をキャプチャするように構成される、ライトフィールド／プレノプティック／ＲＧＢカメラとすることができる。従って、幾つかの実施形態では、カメラ１１２によってキャプチャされた画像は、シーン１０８の表面形状を表す深度情報を符号化することができる。幾つかの実施形態では、カメラ１１２は実質的に同一である。他の実施形態では、カメラ１１２は、異なるタイプの複数のカメラを含むことができる。例えば、カメラ１１２の異なるサブセットは、焦点距離、センサタイプ、光学コンポーネント、および同様のものなどの異なる固有パラメータを有することができる。カメラ１１２は、電荷結合素子（ＣＣＤ）および／または相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサおよび関連する光学系を有することができる。このような光学系は、より大きなマクロレンズ、マイクロレンズアレイ、プリズム、および／または負レンズと組み合わせたレンズ付きまたは裸の個々のイメージセンサを含む様々な構成を含むことができる。例えば、カメラ１１２は、それぞれが独自のイメージセンサおよび光学系を有する別個のライトフィールドカメラとすることができる。幾つかの実施形態では、カメラ１１２の幾つかのまたは全てが、共通のイメージセンサを共有するマイクロレンズアレイ（ＭＬＡ）の別個のマイクロレンズレット（例えば、レンズレット、レンズ、マイクロレンズ）を備えることができる。
幾つかの実施形態では、追跡器１１３は、追跡器１１３の他のものと比較して異なる視点からシーン１０８の画像をキャプチャするように各々が構成される赤外線（ＩＲ）カメラなどのイメージングデバイスである。従って、追跡器１１３およびカメラ１１２は、異なる分光感度（例えば、赤外線対可視波長）を有することができる。幾つかの実施形態では、追跡器１１３は、ツール１０１に結合されたマーカー１１１のような、シーン１０８内の複数の光学マーカー（例えば、フィデューシャルマーカ、マーカーボール）の画像データをキャプチャするように構成される。
図示の実施形態では、カメラアレイ１１０は、深度センサ１１４を更に含む。幾つかの実施形態では、深度センサ１１４は、（ｉ）構造化光パターンをシーン１０８上に／シーン１０８内に投影するように構成された１以上のプロジェクタ１１６、および（ｉｉ）プロジェクタ１１６によってシーン１０８上に投影された構造化光を含むシーン１０８の第２の画像データをキャプチャするように構成された１以上の深度カメラ１１８（第２のカメラとも呼ばれ得る）を含む。プロジェクタ１１６および深度カメラ１１８は、同じ波長で動作することができ、幾つかの実施形態では、カメラ１１２とは異なる波長で動作することができる。例えば、カメラ１１２は可視スペクトルで第１の画像データをキャプチャすることができるが、深度カメラ１１８は赤外スペクトルで第２の画像データをキャプチャする。幾つかの実施形態では、深度カメラ１１８は、カメラ１１２の解像度よりも小さい解像度を有する。例えば、深度カメラ１１８は、カメラ１１２の解像度の７０％、６０％、５０％、４０％、３０％または２０％未満の解像度を有することができる。他の実施形態では、深度センサ１１４は、シーン１０８の表面形状を決定するための他のタイプの専用の深度検出ハードウェア（例えば、ＬｉＤＡＲ検出器）を含むことができる。他の実施形態では、カメラアレイ１１０は、プロジェクタ１１６および／または深度カメラ１１８を省略することができる。
図示の実施形態では、処理デバイス１０２は、画像処理デバイス１０３（例えば、画像プロセッサ、画像処理モジュール、画像処理ユニット）、レジストレーション処理デバイス１０５（例えば、レジストレーションプロセッサ、レジストレーション処理モジュール、レジストレーション処理ユニット）、および追跡処理デバイス１０７（例えば、追跡プロセッサ、追跡処理モジュール、追跡処理ユニット）を含む。画像処理デバイス１０３は、（ｉ）カメラ１１２によってキャプチャされた第１の画像データ（例えば、ライトフィールド画像、ライトフィールド画像データ、ＲＧＢ画像）および深度センサ１１４からの深度情報（例えば、深度カメラ１１８によってキャプチャされた第２の画像データ）を受信し、（ｉｉ）画像データおよび深度情報を処理して、仮想カメラ視点に対応するシーン１０８の３次元（３Ｄ）出力画像を合成する（例えば、生成、再構成、レンダリングする）ように構成される。出力画像は、仮想カメラ視点に対応する任意の位置および向きに配置されたカメラによってキャプチャされるであろうシーン１０８の画像の近似に対応することができる。幾つかの実施形態では、画像処理デバイス１０３は、カメラ１１２および／または深度カメラ１１８の較正データを受信および／または記憶し、画像データ、深度情報、および／または較正データに基づいて出力画像を合成するように更に構成される。より具体的には、深度情報および較正データは、カメラ１１２からの画像と使用／合成されて、仮想カメラの視点から見たシーン１０８の３Ｄ（または立体２Ｄ）レンダリングとして出力画像を合成することができる。幾つかの実施形態では、画像処理デバイス１０３は、名称「ＳＹＮＴＨＥＳＩＺＩＮＧ ＡＮ ＩＭＡＧＥ ＦＲＯＭ Ａ ＶＩＲＴＵＡＬ ＰＥＲＳＰＥＣＴＩＶＥ ＵＳＩＮＧ ＰＩＸＥＬＳ ＦＲＯＭ Ａ ＰＨＹＳＩＣＡＬ ＩＭＡＧＥＲ ＡＲＲＡＹ ＷＥＩＧＨＴＥＤ ＢＡＳＥＤ ＯＮ ＤＥＰＴＨ ＥＲＲＯＲ ＳＥＮＳＩＴＩＶＩＴＹ」の特許出願第１６／４５７，７８０号明細書に開示されている方法の何れかを用いて出力画像を合成することができ、当該特許出願は、引用により全体が本明細書に組み込まれる。他の実施形態では、画像処理デバイス１０３は、深度センサ１１４からの深度情報を利用することなく、カメラ１１２によってキャプチャされた画像のみに基づいて仮想カメラ視点を生成するように構成される。例えば、画像処理デバイス１０３は、１以上のカメラ１１２によってキャプチャされた異なる画像間を補間することによって、仮想カメラ視野を生成することができる。
画像処理デバイス１０３は、カメラアレイ１１０内のカメラ１１２のサブセット（例えば、２以上）によってキャプチャされた画像から出力画像を合成することができ、必ずしも全てのカメラ１１２からの画像を利用する必要はない。例えば、所与の仮想カメラ視点に対して、処理デバイス１０２は、仮想カメラ視点に最も近く一致するように位置決めおよび配向されたカメラ１１２のうちの２つからの画像の立体視ペアを選択することができる。幾つかの実施形態では、画像処理デバイス１０３（および／または深度センサ１１４）は、共通の原点に対するシーン１０８の各表面点の深度を推定し、シーン１０８の表面形状を表すポイントクラウドおよび／または３Ｄメッシュを生成するように構成される。例えば、幾つかの実施形態では、深度センサ１１４の深度カメラ１１８は、プロジェクタ１１６によってシーン１０８に投影された構造化光を検出して、シーン１０８の深度情報を推定することができる。幾つかの実施形態では、画像処理デバイス１０３は、深度センサ１１４によって収集された情報を利用するまたは利用せずに、ライトフィールド対応、ステレオブロックマッチング、フォトメトリック対称性、対応、デフォーカス、ブロックマッチング、テクスチャ支援ブロックマッチング、構造化光等の技術を使用して、カメラ１１２からのマルチビュー画像データから深度を推定することができる。他の実施形態では、深度は、別の波長で前述の方法を実行するカメラ１１２の特殊なセットによって取得することができる。
幾つかの実施形態では、レジストレーション処理デバイス１０５は、患者の３次元ボリュームの術前画像データ等の以前にキャプチャされた画像データを受信および／または記憶するように構成されている。術前画像データは、例えば、コンピュータ断層撮影（ＣＴ）スキャンデータ、磁気共鳴画像（ＭＲＩ）スキャンデータ、超音波画像、透視画像等を含むことができる。図３～図１２を参照して以下に更に詳細に説明するように、レジストレーション処理デバイス１０５は、例えば、両者の間の１以上の変圧／変換／マッピングを決定することによって、術前画像データをカメラ１１２および／または深度センサ１１４によってキャプチャされたリアルタイム画像にレジストレーションするように更に構成される。次いで、処理デバイス１０２（例えば、画像処理デバイス１０３）は、仮想視野が変化しても、術前画像データをフレーム毎にリアルタイムまたはほぼリアルタイムでシーン１０８の出力画像と整列する（例えば、オーバーレイする）ことができるように、１以上の変圧を術前画像データに適用することができる。すなわち、画像処理デバイス１０３は、術前画像データをシーン１０８のリアルタイムの出力画像と融合させて、例えば、外科医がシーン１０８内の手術部位と手術中の患者の基礎となる３Ｄ解剖学とを同時に見ることを可能にする媒介現実ビューを提示することができる。
幾つかの実施形態では、追跡処理デバイス１０７は、追跡器１１３によってキャプチャされた位置データを処理して、シーン１０８の近傍内の物体（例えば、ツール１０１）を追跡することができる。例えば、追跡処理デバイス１０７は、１以上の追跡器１１３によってキャプチャされた２Ｄ画像内のマーカー１１１の位置を決定することができ、２Ｄ位置データの三角測量を介してマーカー１１１の３Ｄ位置を計算することができる。より具体的には、幾つかの実施形態では、追跡器１１３は、キャプチャされた画像内のマーカー１１１の重心など、キャプチャされた画像から位置データを決定するための専用の処理ハードウェアを含む。次に、追跡器１１３は、マーカー１１１の３Ｄ位置を決定するために、位置データを追跡処理デバイス１０７に送信することができる。他の実施形態では、追跡処理デバイス１０７は、追跡器１１３から生の画像データを受信することができる。例えば、外科用途では、追跡物体は、外科器具、医師または助手の手または腕、および／またはマーカー１１１が取り付けられた別の物体を含むことができる。幾つかの実施形態では、処理デバイス１０２は、追跡された物体がシーン１０８とは別個であると認識することができ、例えば、物体を強調表示し、物体にラベルを付け、および／または物体にトランスペアレンシーを適用することによって、追跡された物体を区別するために３Ｄ出力画像に視覚効果を適用することができる。
幾つかの実施形態では、処理デバイス１０２、画像処理デバイス１０３、レジストレーション処理デバイス１０５、および／または追跡処理デバイス１０７に帰属する機能は、実質的に２以上の物理デバイスによって実装することができる。例えば、幾つかの実施形態では、同期コントローラ（図示せず）が、プロジェクタ１１６によって表示される画像を制御し、カメラ１１２に同期信号を送信して、カメラ１１２とプロジェクタ１１６との間の同期を確保し、高速のマルチフレーム、マルチカメラ構造化光スキャンを可能にする。更に、このような同期コントローラは、構造化光スキャンのパラメータ、カメラ設定、およびカメラアレイ１１０のカメラ構成に固有のカメラ較正データ等のハードウェア固有の構成を記憶するパラメータサーバとして動作することができる。同期コントローラは、ディスプレイデバイス１０４を制御するディスプレイコントローラとは別の物理デバイスに実装することができ、またはデバイスを共に統合することができる。
処理デバイス１０２は、プロセッサおよび、プロセッサによって実行されると、本明細書で説明されるように処理デバイス１０２に帰属する機能を実行する命令を記憶する非一過性のコンピュータ可読記憶媒体を備えることができる。必須ではないが、本発明の技術の態様および実施形態は、汎用コンピュータ、例えばサーバまたはパーソナルコンピュータによって実行されるルーチン等のコンピュータ実行可能命令の一般的な関連で説明することができる。関連技術の当業者は、本発明の技術が、インターネット家電、ハンドヘルドデバイス、ウェアラブルコンピュータ、携帯電話または携帯電話、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラマブル家電、セットトップボックス、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ等を含む他のコンピュータシステム構成で実施できることを理解するであろう。本発明の技術は、以下に詳細に説明するコンピュータ実行可能命令の１以上を実行するように具体的にプログラム、構成または構築された特殊用途のコンピュータまたはデータプロセッサに具体化することができる。実際、本明細書で一般的に使用される「コンピュータ」（および同様の用語）という用語は、上記のデバイスの他、プロセッサおよび他の構成要素、例えばネットワーク通信回路を有するゲームデバイス、カメラ、または他の電子デバイス等の消費者向け電子製品を含む、任意のデータプロセッサまたはネットワークと通信可能な任意のデバイスを指す。
本発明の技術は、タスクまたはモジュールが、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、またはインターネット等の通信ネットワークを介してリンクされているリモート処理デバイスによって実行される、分散コンピューティング環境においても実施することができる。分散コンピューティング環境では、プログラムモジュールまたはサブルーチンは、ローカルおよびリモートのメモリ記憶デバイスの両方に配置することができる。以下に説明する本発明の技術の態様は、チップ（例えば、ＥＥＰＲＯＭまたはフラッシュメモリチップ）内に格納された、磁気的および光学的に読み取り可能な、および取り外し可能なコンピュータディスクを含む、コンピュータ読み取り可能媒体上に格納または配布することができる。或いは、本発明の技術の態様は、インターネットまたは他のネットワーク（無線ネットワークを含む）を介して電子的に配布することができる。関連技術の当業者であれば、本発明の技術の一部はサーバコンピュータ上に存在し、対応する部分はクライアントコンピュータ上に存在し得ることを認識するであろう。本発明の技術の態様に特有のデータ構造およびデータの伝送も、本発明の技術の範囲に包含される。
仮想カメラ視点は、仮想カメラ視点の位置および向きに対応する制御入力を提供する入力コントローラ１０６によって制御することができる。仮想カメラ視点に対応する出力画像は、ディスプレイデバイス１０４に出力することができる。幾つかの実施形態では、画像処理デバイス１０３は、（例えば、入力コントローラからの入力に基づいて）仮想カメラの視点、被写界深度（例えば、絞り）、焦点面、および／または別のパラメータを変化させて、カメラアレイ１１０を物理的に移動させることなく、異なる３Ｄ出力画像を生成することができる。ディスプレイデバイス１０４は、出力画像（例えば、シーン１０８の合成された３Ｄレンダリング）を受信し、１以上のビューアが見るために出力画像を表示するように構成される。幾つかの実施形態では、処理デバイス１０２は、入力コントローラ１０６からの入力を受信および処理し、カメラアレイ１１０からのキャプチャ画像を処理して、ディスプレイデバイス１０４のビューアによって知覚されるように（例えば、少なくともカメラアレイ１１０のフレームレートと同程度の速さで）実質的にリアルタイムで仮想視野に対応する出力画像を生成することができる。更に、ディスプレイデバイス１０４は、任意の（ｉ）シーン１０８内の追跡された物体（例えば、手術ツール）および／または（ｉｉ）レジストレーションされたまたは非レジストレーションの術前画像データの、仮想視野の画像内におけるグラフィカル表示を表示することができる。
ディスプレイデバイス１０４は、例えば、ヘッドマウントディスプレイデバイス、モニタ、コンピュータディスプレイ、および／または別のディスプレイデバイスを備えることができる。幾つかの実施形態では、入力コントローラ１０６およびディスプレイデバイス１０４は、ヘッドマウントディスプレイデバイスに統合され、入力コントローラ１０６は、ヘッドマウントディスプレイデバイスの位置および向きを検出するモーションセンサを備える。次いで、仮想カメラの視点は、仮想視野が、ヘッドマウントディスプレイデバイス１０４を装着したビューアによって見られる視点に対応するように、同じ参照フレームにおいて、計算された深度（例えば、深度センサ１１４によって計算される）におけるヘッドマウントディスプレイデバイス１０４の位置および向きに対応するように導出することができる。従って、このような実施形態では、ヘッドマウントディスプレイデバイス１０４は、ヘッドマウントディスプレイデバイス１０４を装着していない観察者によって見られるようなシーン１０８のリアルタイムレンダリングを提供することができる。或いは、入力コントローラ１０６は、ビューアがディスプレイデバイス１０４によって表示される仮想視野を手動で制御することを可能にする、ユーザ制御制御デバイス（例えば、マウス、ポインティングデバイス、ハンドヘルドコントローラ、ジェスチャ認識コントローラなど）を構成することができる。
図２は、本発明の技術の実施形態による外科手術アプリケーションのためのシステム１００を採用した外科手術環境の斜視図である。図示の実施形態では、カメラアレイ１１０は、シーン１０８（例えば、手術部位）上に位置決めされ、およびワークステーション２２４に動作可能に結合される可動アーム２２２を介して支持／位置決めされる。幾つかの実施形態では、アーム２２２は、カメラアレイ１１０を位置決めするために手動で動かすことができるが、幾つかの実施形態では、アーム２２２は、入力コントローラ１０６（図１）および／または別のコントローラに応答してロボット制御することができる。図示の実施形態では、ディスプレイデバイス１０４は、ヘッドマウントディスプレイデバイス（例えば、仮想現実ヘッドセット、拡張現実ヘッドセットなど）である。ワークステーション２２４は、処理デバイス１０２、ディスプレイデバイス１０４、入力コントローラ１０６、カメラアレイ１１０、および／または図１に示されるシステム１００の他の構成要素の様々な機能を制御するためのコンピュータを含むことができる。従って、幾つかの実施形態では、処理デバイス１０２および入力コントローラ１０６は、それぞれワークステーション２２４に統合される。幾つかの実施形態では、ワークステーション２２４は、様々な構成機能を実行するためのユーザインターフェース、表示デバイス１０４上のディスプレイの鏡像、および／または他の有用な視覚画像／表示を表示することができる二次ディスプレイ２２６を含む。
ＩＩ．レジストレーション技術の選択された実施形態
図３は、本発明の技術の実施形態による、術前画像データを術中画像データに／術中画像データとレジストレーションし、手術シーンの媒介現実ビューを生成するためのプロセスまたは方法３３０のフロー図である。方法３３０の幾つかの特徴は、説明のために図１および図２に示すシステム１００の関連で説明されているが、当業者であれば、本明細書で説明する他の適切なシステムおよび／またはデバイスを使用して方法３３０を実施できることを容易に理解するであろう。同様に、本明細書では術前画像データ、術中画像データおよび手術シーンについて言及しているが、方法３３０は、他のシーンに関する他のタイプの情報をレジストレーションおよび表示するのに使用することができる。例えば、方法３３０は、より一般的には、何れかの以前にキャプチャされた画像データをシーンの対応するリアルタイムまたはほぼリアルタイムの画像データにレジストレーションして、以前にキャプチャされた画像データおよびリアルタイム画像の組み合わせ／融合を含む、シーンの媒介現実ビューを生成するのにために使用することができる。図４Ａ～４Ｃは、本発明の技術の実施形態による図３の方法３３０の様々な段階を示す、カメラアレイ１１０の視野内の物体の術中画像データ４４０および対応する物体の術前画像データ４４２の概略図である。従って、方法３３０の幾つかの態様について、図４Ａ～４Ｃに関連して説明する。
ブロック３３１において、方法３３０は、術前画像データを受信することを含む。上記で詳細に説明したように、術前画像データは、例えば、コンピュータ断層撮影（ＣＴ）スキャンデータ、磁気共鳴画像（ＭＲＩ）スキャンデータ、超音波画像、透視画像等のような、患者の３次元ボリュームを表す医療スキャンデータとすることができる。幾つかの実施形態では、術前画像データはポイントクラウドまたは３次元（３Ｄ）メッシュを備えることができる。
ブロック３３２において、方法３３０は、例えばカメラアレイ１１０から手術シーン１０８の術中画像データを受信することを含む。術中画像データは、カメラ１１２および／または深度カメラ１１８によってキャプチャされたシーン１０８内の患者のリアルタイムまたはほぼリアルタイムの画像を含むことができる。幾つかの実施形態では、術中画像データは、（ｉ）カメラ１１２からのライトフィールド画像と、（ｉｉ）シーン１０８に関する符号化された深度情報を含む深度カメラ１１８からの画像と、を含む。幾つかの実施形態では、術前画像データは、術中画像データ内の少なくとも幾つかの特徴に対応する。例えば、シーン１０８は、脊椎が少なくとも部分的に露出した脊椎手術を受けている患者を含むことができる。術前画像データは、手術前に撮影された患者の脊椎のＣＴスキャンデータを含むことができ、これは脊椎の少なくとも一部の完全な３Ｄデータセットを備える。従って、術前画像データ中の様々な椎骨または他の特徴は、カメラ１１２、１１８からの画像データ中に表された患者の脊椎の部分に対応することができる。他の実施形態では、シーン１０８は、膝の手術、頭蓋骨を用いた手術等の別のタイプの手術を受ける患者を含むことができ、術前画像データは、靭帯、骨、肉、および／または特定の手術手順に関連する他の解剖学的構造のＣＴまたは他のスキャンデータを含むことができる。
より具体的には、図４Ａを参照すると、物体は、術中画像データ４４０および術前画像データ４４２の両方に表される複数の部分４４１（それぞれ、第１～第５の部分４４１ａ～４４１ｅとして個々に識別される）を含むことができる。物体は、例えば、患者の脊椎とすることができ、副部分４４１は、脊椎の個々の椎骨を含むことができる。物体の術前画像データ４４２および術中画像データ４４０は、典型的には、両方のデータセットにおける同じ特徴（例えば、副部分４４１）が異なって表されるように、異なる座標系に存在する。図示の実施形態では、例えば、術前画像データ４４２の副部分４４１の各々は、物体の術中画像データ４４０の副部分４４１の対応する１つに対して相対的に回転され、スケーリングされ、および／または並進可能である。
従って、ブロック３３３において、方法３３０は、例えば、術中画像データと術前画像データとの間の変換／マッピング／変換を確立するために、術前画像データを術中画像データにグローバルにレジストレーションし、これらのデータセットが同じ座標系で表され、その後共に表示できるようにすることを含む。例えば図４Ｂは、グローバルレジストレーション後の物体の術中画像データ４４０および術前画像データ４４２を示す。図示の実施形態では、術前画像データ４４２を物体の術中画像データ４４０にグローバルレジストレーションした後、副部分４４１は、各データセットにおいて（例えば、術中画像空間、座標系、および／またはフレームにおいて）少なくとも大まかに整列することができる。幾つかの実施形態では、グローバルレジストレーションプロセスは、（ｉ）術前画像データを表すポイントクラウドまたは３Ｄメッシュ内の３Ｄ点を、（ｉｉ）術中画像データを表すポイントクラウドまたは３Ｄメッシュ内の３Ｄ点にマッチングさせる。幾つかの実施形態では、システム１００（例えば、レジストレーション処理デバイス１０５）は、深度センサ１１４の深度カメラ１１８からの術中画像データから３Ｄポイントクラウドを生成することができ、両方のデータセットにおいて可視のフィデューシャルマーカおよび／または特徴点の位置を検出することによって、ポイントクラウドを術前画像データにレジストレーションすることができる。例えば、術前画像データがＣＴスキャンデータを含む場合、ＣＴスキャンデータから算出された骨表面の剛体を、ポイントクラウドの対応する点／表面にレジストレーションすることができる。他の実施形態では、システム１００は、形状対応の他の方法に基づく他のレジストレーションプロセス、および／またはフィデューシャルマーカに依存しないレジストレーションプロセス（例えば、マーカーレスレジストレーションプロセス）を採用することができる。幾つかの実施形態では、レジストレーション／整列プロセスは、２０２０年１月２２日出願された、名称「ＡＬＩＧＮＩＮＧ ＰＲＥＯＰＥＲＡＴＩＶＥ ＳＣＡＮ ＩＭＡＧＥＳ ＴＯ ＲＥＡＬ－ＴＩＭＥ ＯＰＥＲＡＴＩＶＥ ＩＭＡＧＥＳ ＦＯＲ Ａ ＭＥＤＩＡＴＥＤ－ＲＥＡＬＩＴＹ ＶＩＥＷ ＯＦ Ａ ＳＵＲＧＩＣＡＬ ＳＩＴＥ」の米国仮特許出願第１６／７４９，９６３号明細書に開示されたレジストレーション／整列プロセスと概ね類似または同一の特徴を含むことができ、本仮出願は、引用により全体が本明細書に組み込まれる。更に他の実施形態では、グローバルレジストレーションは、例えば図５～６Ｅを参照して以下に詳細に記載されるレジストレーション方法の何れかを使用して実施することができる。
本発明の技術の幾つかの態様では、術前画像データを術中画像データにグローバルレジストレーションするために使用されるアルゴリズムは、初期化のための整列を必要としない。すなわち、グローバルレジストレーションアルゴリズムは、初期マッピングが知られていない場合でも、術前画像データと術中画像データとの間の変換を生成することができる。幾つかの実施形態では、再び図４Ｂを参照すると、グローバルレジストレーションプロセスは、例えば、副部分４４１の幾つかが共通座標空間内で互いに異なるように回転、並進、および／または拡大縮小される比較的緩い整列をもたらすことができる。従って、ブロック３３４において、方法３３０は、術前画像データの少なくとも一部を術中画像データにローカルにレジストレーションすることを含むことができる。例えば図４Ｃは、ローカルレジストレーション後の物体の術中画像データ４４０および術前画像データ４４２を示す。図示の実施形態では、副部分４４１の各々が、図４Ｂに示されたグローバルレジストレーションよりも緊密な整列を提供するためにローカルレジストレーションされている。他の実施形態では、全ての副部分４４１よりも少ない副部分４４１および／または副部分４４１の異なる部分集合をローカルにレジストレーションすることができる。例えば、手術される椎骨または椎骨のみをローカルにレジストレーションする一方、椎骨の他のものはグローバルレジストレーションのみのまま、または全くレジストレーションしないようにすることができる。幾つかの実施形態では、レジストレーション処理デバイス１０５は、グローバルレジストレーション（ブロック３３３）の結果のような、初期化に大まかな整列を必要とするローカルレジストレーションアルゴリズムを利用することができる。例えば、レジストレーション処理デバイス１０５は、反復的最近接点（ＩＣＰ）、コヒーレント・ポイント・ドリフト（ＣＰＤ）、またはガウス混合モデル（ＧＭＭ）のような確率密度推定に基づくアルゴリズムのような、厳密なレジストレーションを達成するための任意の特徴または表面マッチングレジストレーション方法を利用することができる。
ブロック３３５において、方法３３０は、グローバルレジストレーションおよびローカルレジストレーション（ブロック３３３および３３４）に基づいて術前画像データに対して１以上の変換を生成することを含むことができる。１以上の変換は、術前画像データの座標系と術中画像データの座標系との間のマッピングを定義する関数とすることができる。ブロック３３６において、レジストレーション処理デバイス１０５は、リアルタイムまたはほぼリアルタイムで術前画像データに変換を適用することを含むことができる。術前画像データに変換を適用することにより、術前画像データを、カメラアレイ１１０でキャプチャされたシーン１０８のリアルタイムまたはほぼリアルタイムの画像と実質的に整列することができる。
最後に、ブロック３３７において、方法３３０は、変換された術前画像データおよび術中画像データを共に表示して、手術シーンの媒介現実ビューを提供することを含むことができる。このビューは、ディスプレイデバイス１０４上で、外科医などのビューアに提供することができる。より具体的には、画像処理デバイス１０２は、仮想視野が変化しても、フレーム毎にリアルタイムまたはほぼリアルタイムで、整列された術前画像データをシーン１０８の出力画像上にオーバーレイすることができる。すなわち、画像処理デバイス１０３は、術前画像データをシーン１０８のリアルタイムの出力画像とオーバーレイして、例えば外科医がシーン１０８内の手術部位と手術中の患者の基礎となる３Ｄ解剖学とを同時に見ることを可能にする媒介現実ビューを提示することができる。
図３～４Ｃを共に参照すると、幾つかの実施形態では、シーン１０８内の物体の位置および／または形状は、時間と共に変化することができる。例えば、椎骨等の副部分４４１の相対的な位置および向きは、患者が手術されるときに外科処置中に変化する可能性がある。従って、方法３３０は、術前画像データを術中画像データにグローバルに（ブロック３３３）および／またはローカルに（ブロック３３４）定期的に再レジストレーションすることを含むことができる。幾つかの実施形態では、再レジストレーションは、レジストレーションの精度（例えば、スコア、レベル）が閾値レベルを下回ったときにトリガすることができる。幾つかの実施形態では、例えば、このような精度の決定は、図１２を参照して以下に詳細に説明するレジストレーション精度を評価する方法を用いて実施することができる。
図５は、本発明の技術の実施形態による、術前画像データを術中画像データにレジストレーションするためのプロセスまたは方法５５０のフロー図である。幾つかの実施形態では、方法５５０は、図３～４Ｃを参照して上で詳細に説明した方法３３０のブロック３３３において、術前画像データを術中画像データにグローバルにレジストレーションするのに使用することができる。方法５５０の幾つかの特徴は、説明のために図１および図２に示されるシステム１００の関連にて説明されているが、当業者であれば、本明細書で説明する他の好適なシステムおよび／またはデバイスを用いて方法５５０を実施することができることを容易に理解するであろう。図６Ａ～図６Ｅは、システム１００によって生成され、ビューアが閲覧可能なシーン１０８（例えば、手術シーン）の出力画像の斜視図であり、本発明の技術の実施形態による図５の方法５５０の様々な段階を示す。従って、方法５５０の幾つかの態様は、図６Ａ～６Ｅの関連で説明される。
ブロック５５１において、方法５５０は術前画像データを受信することを含む。上記で詳細に説明したように、術前画像データは、コンピュータ断層撮影ＣＴスキャンデータなどの患者の３次元ボリュームを表す医療スキャンデータを含むことができる。ブロック５５２において、方法５５０は、カメラアレイ１１０から手術シーン１０８の術中画像データを受信することを含む。上記で詳細に説明したように、術中画像データは、脊椎手術を受けている患者の脊椎の画像等の、カメラ１１２および／または深度カメラ１１８からのリアルタイムまたはほぼリアルタイムの画像を含むことができる。
ブロック５５３において、方法５５０は、術中画像データに基づいて手術シーンの３Ｄ出力画像／ビューを生成および表示することを含む。図１を参照して上記で詳細に説明したように、処理デバイス１０２は、深度センサ１１４およびカメラ１１２から術中画像データを受信し、術中画像データを処理して、例えば入力コントローラ１０６によって選択された仮想カメラ視点に対応するシーン１０８の３Ｄ出力画像を合成（例えば、生成、再構成、レンダリング）することができる。３Ｄ出力画像は、仮想カメラ視点に対応する任意の位置および向きで配置されたカメラによってキャプチャされるであろうシーン１０８の画像の近似に対応することができ、また、ユーザによって知覚されるような実質的にリアルタイムでディスプレイデバイス１０４を介してユーザに更新および表示することができる。図６Ａは、例えば、ディスプレイデバイス１０４を見ているユーザ（例えば、外科医）が可視であるシーン１０８の３Ｄ出力画像を示す。幾つかの実施形態では、シーン１０８は、（例えば、レジストレーションの目的で）関心のある物体を含むことができる。図示の実施形態では、例えば、シーン１０８は、例えば、脊椎固定術または他の脊椎外科処置の間に患者の肉６６５から露出した椎骨６５９（それぞれ、第１～第４椎骨６５９ａ～６５９ｄとして個々に識別される）を含む脊椎手術シーンである。
ブロック５５４において、方法５５０は、手術シーンの３Ｄ出力画像において術前画像データの少なくとも一部を表示することを含む。術前画像データは、シーン１０８内の関心のある物体のもの／対応することができ、術間画像データに対して非レジストレーションすることができる。幾つかの実施形態では、術前画像データは、ユーザによって同時に見ることができるように、手術シーンの３Ｄ出力画像の上に重ね合わせることができる。例えば、図６Ｂは、シーン１０８の出力画像の上にオーバーレイされた術前画像データ６４２を示す。図示の実施形態では、術前画像データ６４２は、第２の椎骨６５９ｂのＣＴスキャンデータを含む。幾つかの実施形態では、表示された術前画像データ６４２は、椎骨の複数のものに関する情報を含むＣＴスキャンのセグメント化された部分とすることができる。すなわち、シーン１０８の仮想レンダリングの上にオーバーレイされた術前画像データ６４２は、術前画像データのより大きなセットの一部またはセグメントとすることができる。幾つかの実施形態では、システム１００は、シーン内のツール１０１の位置に基づいて術前画像データ６４２を表示することができる。図示の実施形態では、例えば、術前画像データ６４２は、ツール１０１の先端１０９に表示され、従って、シーン１０８内を移動可能である。幾つかの実施形態では、システム１００は、（例えば、図６Ｂに示すように）シーン１０８内のツール１０１の全てまたは一部をレンダリングすることができ、一方、他の実施形態では、ツール１０１は、３Ｄ出力画像から省略することができる。
ブロック５５５において、方法５５０は、手術シーンの３Ｄ出力画像に対して表示された術前画像データを移動させるための第１のユーザ入力を受信することを含む。第１のユーザ入力は、表示された術前画像データを手術シーンの３Ｄ出力画像の対応する部分の上に手動で整列するためのものとすることができる。図６Ｃおよび図６Ｄを共に参照すると、例えば、ユーザは、対応する第２の椎骨６５９ｂと術前画像データ６４２が概ね整列するまで、ツール１０１を動かして、術前画像データ６４２をシーン１０８のレンダリングに対して（例えば、その上に）並進（例えば、ドラッグ）、回転、および／またはその他の方法で移動させることができる。すなわち、ユーザは、手術シーン１０８に対してツール１０１を物理的に操作して、術前画像データ６４２を術中画像データ（例えば、第２の椎骨６５９ｂ）に概ね整列／レジストレーションすることができる。幾つかの実施形態では、システム１００は、追跡器１１３を介してシーン１０８に対するツール１０１の動きを追跡し、その動きを術前画像データ６４２の仮想的な動きに並進することができる。他の実施形態では、システム１００は、ユーザの手（例えば、ユーザの１以上の指）のようなシーン１０８内の他の物体を追跡し、その動きを術前画像データ６４２の動きに変換することができる。
ブロック５５６において、方法５５０は、表示された術前画像データが手術シーンの３Ｄ出力画像の対応する部分の上に整列されていることを示す第２のユーザ入力を受信することを含む。例えば、図６Ｄを参照すると、ユーザは、術前画像データ６４２を第２の椎骨６５９ｂの術中画像データと概ね整列させた後に、ツール１０１（図６Ｃ）を術前画像データ６４２から切り離すようにシステム１００に指示を与えることができる。幾つかの実施形態では、第２のユーザ入力は、（例えば、ツール１０１上のボタンの）ボタン押下、音声コマンド、手の動き、および／またはシステム１００によって認識可能な別の適切な指示を含むことができる。すなわち、術前画像データ６４２を所定の位置にドラッグした後、ユーザは、システム１００に指示を与えることによって、術前画像データをその位置に「ドロップ」することができる。他の実施形態では、システム１００は、術前画像データが３Ｄ出力画像の対応する部分上に整列されたことを自動的に検出することができる。
ブロック５５７において、方法５５０は、術前画像データと３Ｄ出力画像の対応する部分との整列に基づいて術前画像データおよび術中画像データとの間でレジストレーション変換を生成することを含むことができる。図３～４Ｃを参照して上記で詳細に説明したように、例えば、レジストレーション変換は、術前画像データの座標系と術中画像データの座標系との間のマッピングを定義するグローバル変換とすることができる。
ブロック５５８において、方法５５０は、表示された術前画像データを手術シーンの３Ｄ出力画像の対応する部分にローカルにレジストレーションすることを含むことができる。図３～４Ｃを参照して上記で詳細に説明したように、および図６Ｅに示すように、ローカルレジストレーションは、例えば、ＩＣＰアルゴリズム、ＣＰＤアルゴリズム、ＧＭＭアルゴリズム、および／または術前画像データ６４２のユーザの手動レジストレーションによって提供された一般的な整列／変換で初期化された別のアルゴリズムを使用して、術前画像データ６４２の術中画像データ（例えば、第２の椎骨６５９ｂ）への整列を引き締め／改善することができる（ブロック５５５～５５７）。幾つかの実施形態では、ローカルレジストレーションは、術前画像データ６４２を整列に「スナップ」させることができる。幾つかの実施形態では、システム１００は、ローカルレジストレーションの精度が閾値許容範囲内にない場合に、手動整列（ブロック５５５および５５６）を繰り返すようにユーザに促すことができる。
本発明の技術の幾つかの態様において、方法５５０は、ユーザが手術シーンを視覚化し、術前画像データを自動的にスナップ（ブロック５５８）して更に整列する前に、術前画像データをドラッグ（ブロック５５５）およびドロップ（ブロック５５６）してシーンの対応する部分と整列することを可能にする。更に、レジストレーションは、術前画像データおよびシーンの対応する部分を構成する多数の点に基づいており、ユーザにとって簡単且つ容易に実施することができる。これに対し、従来のレジストレーション技術では、ＣＴスキャンを患者にレジストレーションするために、ユーザ（例えば、外科医）がＣＴスキャン内の対応する点および患者上の対応する点を繰り返しタップする必要があるのが一般的である。従って、レジストレーションは、タップされた比較的少数の点に基づいて行われ、およびユーザにとって時間がかかる。例えば、ユーザは、ＣＴスキャンおよび患者上の点をタップするために頭を繰り返し動かさなければならないが、対照的に、本発明の技術の方法５５０は、簡単で直感的な統合されたレジストレーションを提供する。
幾つかの実施形態では、システム１００は、ユーザが術前画像データを手動で整列しようとしている間に（ブロック５５５および５５６）、術前画像データをシーン１０８にローカルにレジストレーションしようと試みることができる（ブロック５５７）。同時ローカルレジストレーションに基づいて、システム１００は、術前画像データを正しい位置に手動で配置するようにユーザをガイドするのを助けることができる。例えば、ユーザが術前画像データを正しい位置に近づけると、ローカルレジストレーションアルゴリズムは、術前画像データがほぼ整列されたことを示し、ユーザに表示を提供することができる。例えば、図６Ａ～６Ｅを参照すると、システム１００は、第２の椎骨６５９ｂの周囲に、術前画像データ６４２をユーザの視界から第２の椎骨６５９ｂに向かって引き寄せ／加重する「重力井戸」効果を生じさせることができる。代替的にまたは追加的に、ユーザが術前画像データ６４２を手動で動かしてローカルレジストレーションが成功するほど近づけた場合、システム１００は、ユーザが術前画像データ６４２をまだ所定の位置に誘導している間に、術前画像データ６４２を第２の椎骨６５９ｂと整列するように単に「スナップ」させることができる。
幾つかの実施形態では、ユーザに表示された術前画像データの一部（例えば、ＣＴスキャンのセグメント化された部分）をレジストレーションした後、術前画像データの残りの部分（例えば、ＣＴスキャンのセグメント化されていないまたは残りの部分）を患者にレジストレーションすることができる。例えば図６Ａ～図６Ｅを参照すると、システム１００は、第２の椎骨６５９ｂのレジストレーションを、第１の椎骨６５９ａ、第３の椎骨６５９ｃ、第４の椎骨６５９ｄ、および／または他の解剖学的特徴の１以上の術前画像データをレジストレーションする（例えばローカルにレジストレーションする）ための初期化として利用することができる。
図７は、本発明の技術の付加的な実施形態による、術前画像データを術中画像データにレジストレーションするためのプロセスまたは方法７６０のフロー図である。幾つかの実施形態では、方法７６０は、図３～４Ｃを参照して詳細に説明した方法３３０のブロック３３３および３３４において、術前画像データを術中画像データにグローバルにレジストレーションおよび／またはローカルにレジストレーションするのに使用することができる。方法７６０の幾つかの特徴は、説明のために図１および図２に示すシステム１００の関連で説明されているが、当業者であれば、本明細書で説明する他の好適なシステムおよび／またはデバイスを用いて方法７６０を実施できることを容易に理解するであろう。
ブロック７６１において、方法７６０は術前画像データを受信することを含む。上記で詳細に説明したように、術前画像データは、コンピュータ断層撮影ＣＴスキャンデータなどの患者の３次元ボリュームを表す医療スキャンデータを含むことができる。ブロック７６２において、方法７６０は、例えばカメラアレイ１１０から手術シーン１０８の術中画像データを受信することを含む。上記で詳細に説明したように、術中画像データは、深度センサ１１４のカメラ１１２および／または深度カメラ１１８からのリアルタイムまたはほぼリアルタイムの画像、例えば脊椎手術を受けている患者の脊椎の画像等を含むことができる。幾つかの実施形態では、術中画像データは、カメラ１１２からのライトフィールドデータを含むことができる。
ブロック７６３において、方法７６０は、術中画像データを分析して、手術シーンにおける患者の異なるタイプの解剖学的構造に対応する１以上の特性／メトリックを決定することを含む。例えば、レジストレーション処理デバイス１０５は、色（例えば、色相、彩度、および／または値）、角度情報、および／または鏡面情報等のカメラ１１２からのライトフィールドデータ（例えば、ハイパースペクトルライトフィールドデータ）を分析して、患者の解剖学的構造の異なる部分を組織、骨、靭帯、腱、神経等として分類することができる。図８は、例えば、本発明の技術の実施形態による１以上のカメラ１１２によってキャプチャされた患者の脊椎８６８の画像である。脊椎８６８は、骨（例えば、第１のタイプの解剖学的特徴）から形成され、肉８６９（例えば、第２のタイプの解剖学的特徴）のような他の解剖学的特徴と散在し、これらによって囲まれている。図示の実施形態では、脊椎８６８の術中画像データは、肉８６９よりも彩度が低くおよび輝度が高い。幾つかの実施形態では、解剖学的構造のタイプの１以上は、術前画像データに対応することができる。すなわち、術前画像データは、術中画像データの解剖学的構造のタイプの１以上のものとすることができる。例えば、脊椎８６８の画像データは、脊椎８６８のＣＴスキャンまたは他の医学的スキャンを含む、術前画像データに対応することができる。
ブロック７６４において、方法７６０は、異なるタイプの解剖学的構造に対応する１以上の特性に少なくとも部分的に基づいて、術前画像データを術中画像データにレジストレーションすることを含む。例えば、幾つかのレジストレーションアルゴリズム（例えば、反復的最近接点（ＩＣＰ）アルゴリズム）は、（ｉ）深度センサ１１４から生成されたポイントクラウドまたはメッシュと、（ｉｉ）術前画像データを表すポイントクラウドまたはメッシュとの間の各対応など、レジストレーション変換を計算するために使用される各対応に対してポイント毎に適用できる重みを任意選択的に含む。すなわち、レジストレーションアルゴリズムは、術中画像データ内の第１の点と術前画像データ内の第２の点との間の対応関係に個々の重みを適用することができる。幾つかの実施形態では、レジストレーションアルゴリズムの重みは、患者の解剖学的構造に対応する術中画像データにおける決定された特性に基づいて調整することができる（ブロック７６３）。例えば、脊椎処置の場合、多くの場合は、脊椎のＣＴデータを処置中に患者の露出した脊椎の術中画像データにレジストレーションすることが望まれる。従って、図８を参照すると、特定のポイント（例えば、深度センサ１１４からのポイントクラウド内のポイント）が、比較的低い彩度、高い輝度、および／または同様のもののような、脊椎８６８の一部である可能性が高いことを示す特性を有する、カメラ１１２によってキャプチャされたピクセルにマッピングされる場合、レジストレーションアルゴリズムにおけるそのポイントの対応付けの重みを増加させることができる。逆に、カメラ１１２からの画像データが、ある点が肉８６９または他の解剖学的構造の一部である可能性が高いことを示す場合、その点に対する重みを減少させることができる。幾つかの実施形態では、点間の対応に割り当てられる重みは、点、例えば色相、彩度、色、角度、および／または鏡面情報の組み合わせなどに対するライトフィールド特性の学習および／または調整された関数とすることができる。対照的に、典型的なアプローチは、レジストレーションに使用されるポイントクラウドまたはメッシュの構造（例えば、局所構造）のみに由来するシーンにとらわれないメトリックからレジストレーションアルゴリズムの重みを決定する。
本発明の技術の幾つかの態様において、カメラ１１２からのライトフィールド画像データを使用してレジストレーション変換のための重みを作成することにより、依然として、背骨８６８の表面に近い肉、血液、および／または他の解剖学的特徴をレジストレーションに含めることができ、レジストレーションに正の入力を提供することを可能にする。幾つかの実施形態では、特定の点の重みは、その点のライトフィールド特性に基づいて二値（例えば、完全に重み付けされるか、または含まれない）とすることができる。例えば、背骨８６８に沿うように示された点は「１」で重み付けすることができ、肉８６９に沿うように示された点は「０」で重み付けすることができる。従って、幾つかの実施形態では、方法７６０は、レジストレーションのために術中画像データの一部（例えば、骨の部分）をセグメント化するように動作し、それによってレジストレーションの精度を高める。
図９は、本発明の技術の追加の実施形態による、術前画像データを術中画像データにレジストレーションして手術シーンの媒介現実ビューを生成するためのプロセスまたは方法９７０の流れ図である。方法９７０の幾つかの特徴は、説明のために図１および図２に示すシステム１００の関連で説明されているが、当業者であれば、本明細書で説明する他の適切なシステムおよび／またはデバイスを使用して方法９７０を実施できることを容易に理解するであろう。
複合ブロック９７１において、方法９７０は、シーン１０８の術中画像データを受信すること、および術中画像データを処理して深度情報を生成することを含む。より具体的には、ブロック９７２において、本方法は、深度センサ１１４の深度カメラ１１８を用いてシーン１０８の画像をキャプチャすることを含む。幾つかの実施形態では、画像は、例えば、プロジェクタ１１６によってシーンに投影された／投影されたパターンからの深度情報を含むシーン１０８のステレオ画像である。幾つかの実施形態では、深度センサ１１４は、術前画像データと同じまたはほぼ同じ解像度を有する。
ブロック９７３において、方法９７０は、画像を処理してポイントクラウド深度マップを生成することを含む。例えば、処理デバイス１０２（例えば、画像処理デバイス１０３および／またはレジストレーション処理デバイス１０５）は、深度センサ１１４からの画像データを処理して、共通の原点に対するシーン１０８の各表面点の深度を推定し、シーン１０８の表面形状を表すポイントクラウドを生成することができる。幾つかの実施形態では、処理デバイス１０２は、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、および／または他のコンピュータビジョンまたはステレオビジョンアルゴリズムを利用して、画像データを処理してポイントクラウドを生成することができる。幾つかの実施形態では、ポイントクラウドは、０．１１平方ミリメートル当たり１ポイント（９ｐｔ／ｍｍ2）から９平方ミリメートル当たり１ポイント（０．１１ｐｔ／ｍｍ2）の範囲密度を有することができる。
ブロック９７４において、方法９７０は、例えば、異常値を除去するために（例えば、中央値または重み付け分析を使用して）ポイントクラウド深度マップをフィルタリングすることを任意選択的に含むことができる。ブロック９７５において、本方法は、ポイントクラウド深度マップから３Ｄメッシュを生成することを含む。幾つかの実施形態では、処理デバイス１０２は、マーチングキューブまたは他の適切なアルゴリズムを使用して３Ｄメッシュを生成することができる。幾つかの実施形態では、３Ｄメッシュの生成は、組み合わされたブロック９７１を実行する総時間の約２５％またはそれ以上を必要とすることができる。
ブロック９７６において、方法９７０は、ポイントクラウドを術前画像データにグローバルにおよびまたはローカルにレジストレーションすることを含む。幾つかの実施形態では、グローバルおよび／またはローカルレジストレーションは、図３～図８を参照して上記で詳細に説明したレジストレーション方法／技術の何れかを利用することができる。幾つかの実施形態では、高密度の３Ｄメッシュの代わりに低密度／解像度のポイントクラウドを利用することは、正確なレジストレーションを達成するのに十分である。従って、図示の実施形態では、グローバルおよび／またはローカルレジストレーションは、ブロック９７４から進み、術前画像データへのレジストレーションのためにフィルタリングされたポイントクラウドを利用する。本発明の技術の幾つかの態様では、３Ｄメッシュではなくポイントクラウドを利用することにより、データ解析が少なくて済み、およびその結果レジストレーション処理が速くなる。例えば、９ｐｔ／ｍｍ2の密度を有する３Ｄメッシュではなく、０．１１ｐｔ／ｍｍ2の密度を有するポイントクラウドを利用することにより、データ使用量を８１分の１に削減することができる。
ブロック９７７において、方法９７０は、図１を参照して上記で詳細に説明したように、３Ｄメッシュおよびカメラアレイ１１０のカメラ１１２からの画像データを処理して、シーン１０８の仮想視野を生成／合成することを含む。本発明の技術の幾つかの態様では、レジストレーションプロセス（ブロック９７６）が３Ｄメッシュではなくポイントクラウドを利用するため、レジストレーションプロセスは、シーンの視野の仮想合成（ブロック９７７）の前およびその間に初期化され、実行を開始することができる。すなわち、これらの処理を並行して実行することができ、方法９７０の処理速度を向上させることができる。
ブロック９７８において、方法９７０は、仮想視野およびレジストレーションされた術前画像データを共に（例えば、ディスプレイデバイス１０４上に）表示して、シーン１０８の媒介現実ビューをユーザに提供することを含む。幾つかの実施形態では、方法９７０のブロック９７６～９７８は、例えば、図３～４Ｃを参照して詳細に説明した方法３３０のブロック３３２～３３７と概ね同様にまたは同一に動作することができる。
図１０は、本発明の技術の実施形態による、シーンのポイントクラウド深度マップをシーンの一部の術前画像データにレジストレーションするためのプロセスまたは方法１０８０の流れ図である。幾つかの実施形態では、方法１０８０は、図９を参照して詳細に説明した方法９７０のブロック９７６において、ポイントクラウドを術前画像データにローカルおよび／またはグローバルにレジストレーションするのに使用することができる。図１１は、本発明の技術の実施形態による、ポイントクラウド内の異なる数／密度のポイントの処理に対するレジストレーションアルゴリズムの経時的な精度のグラフである。図示の実施形態では、第１の曲線１１８５は、第１のポイント数（例えば、ポイントクラウド内の全ポイントの１０％）の処理を表し、第２の曲線１１８６は、第１のポイント数よりも大きい第２のポイント数（例えば、ポイントクラウド内の全ポイントの５０％）の処理を表し、第３の曲線１１８７は、第１のポイント数よりも大きい第３のポイント数（例えば、ポイントクラウド内の全ポイントの１００％）の処理を表す。
図１０および図１１を併せて参照すると、ブロック１０８１において、方法１０８０は、ポイントクラウド内の選択されたポイント数に基づいて、ポイントクラウドを術前画像データにレジストレーションを開始することを含む。例えば、レジストレーションは、第１の曲線１１８５によって表される第１の数の点に基づいて、選択されたレジストレーションアルゴリズム（例えば、ＩＣＰアルゴリズム）を実行することによって開始することができる。図１１に示すように、第１のポイント数の処理は、それぞれ第２および第３の曲線１１８６および１１８７によって表される第２または第３のポイント数の処理が精度Ａ１に達するよりも早い時間Ｔ1で、第１の選択された精度Ａ１に達することができる。すなわち、より少ない数のポイントを処理する方が、より多くの数のポイントを処理するよりも迅速に第１の精度レベルを達成することができる。
しかしながら、第１の曲線１１８５は、比較的低い精度で迅速に平坦化する。従って、ブロック１０８２において、方法１０８０は、予め定義されたレジストレーション精度レベル（および／または予め定義された処理時間）に達した後、ポイントクラウド内のより多数のポイントに基づいて、術前画像データへのポイントクラウドのレジストレーションを継続することを含むことができる。例えば、第１の曲線１１８５によって表される第１の数の点の初期処理が第１の選択された精度Ａ１に達した後、第２の曲線１１８６によって表される第２の数の点に基づいて選択されたレジストレーションアルゴリズムを実行することによって、レジストレーションを継続することができる。従って、第２の点数の処理は、第１の選択された精度レベルＡ１において、時刻Ｔ1において実質的に開始される（例えば、初期化される）ことができる。従って、精度レベルＡ１においてより大きな第２のポイント数の処理に切り替える前に、より少ない第１のポイント数の処理を最初に行うことにより、レジストレーションアルゴリズムの処理時間を、時間Ｔ1とＴ2との差（すなわち、時間Ｔ2－Ｔ1）だけ短縮することができ、全体的な処理速度を向上させることができる。
決定ブロック１０８３において、方法１０８０は、十分なレジストレーション精度に達したか否かを決定することを含む。はいであれば、方法１０８０は、レジストレーションが完了した状態でブロック１０８４で終了に進むことができる。いいえの場合、方法１０８０はブロック１０８２に戻り、別の予め定義されたレジストレーション精度レベル（および／または予め定義された処理時間）に達した後、ポイントクラウド内のより多くのポイントに基づいて、ポイントクラウドと術前画像データとのレジストレーションを継続することができる。例えば、第２の曲線１１８６によって表される第２の数の点の処理が時間Ｔ3において第２の選択された精度Ａ２に達した後に、第３の曲線１１８７によって表される第３の数の点に基づいて選択されたレジストレーションアルゴリズムを実行することによってレジストレーションを継続することができる。従って、第３の点数の処理は、時刻Ｔ3において、第２の選択精度レベルＡ２（第３の点数の処理だけでは時刻Ｔ4まで到達しない精度レベル）で初期化される。従って、精度レベルＡ２でより大きな第３のポイント数の処理に切り替える前に、より少ない第２のポイント数を最初に処理することにより、レジストレーションアルゴリズムの処理時間を、時間Ｔ3とＴ4との差（すなわち、時間Ｔ4－Ｔ2）だけ短縮することができ、全体的な処理速度を向上させることができる。方法１０８０は、ブロック１０８２に任意の回数戻ることができ、ポイントクラウド内の異なる数のポイントを、例えば段階的に差分処理することができる。
図１２は、本発明の技術の実施形態による、術中画像データと術前画像データとの間のレジストレーション、グローバルおよび／またはローカルレジストレーション等の精度を決定するためのプロセスまたは方法１２９０の流れ図である。方法１２９０の幾つかの特徴は、説明のために図１および図２に示すシステム１００の関連で説明されているが、当業者であれば、本明細書で説明する他の適切なシステムおよび／またはデバイスを用いて方法１２９０を実施できることを容易に理解するであろう。
ブロック１２９１において、方法１２９０は、履歴レジストレーションデータを記録および／または受信することを含む。履歴レジストレーションデータは、例えば、（ｉ）術前画像データ（例えば、ＣＴスキャンデータ等の３Ｄデータセット）、（ｉｉ）術中画像データ（例えば、深度センサ１１４から導出された３Ｄポイントクラウドまたはメッシュ）、および（ｉｉｉ）術前画像データを術中画像データにマッピングするためのレジストレーション変換を含む例示的なデータセットを含むことができる。幾つかの実施形態では、例示的なデータセットは、以前の外科処置から記録／コンパイルすることができ、および／またはテストケースとして生成することができる。幾つかの実施形態では、レジストレーション変換器は、図３～図１１を参照して上記で詳細に説明した方法の何れかを用いて計算することができる。
ブロック１２９２において、方法１２９０は、履歴レジストレーション変換の周囲に空間近傍を定義することを含む。空間近傍は、小さな並進、回転、および／または反射変動など、履歴レジストレーション変換の値のわずかな変動／偏差を含むことができる。幾つかの実施形態では、空間近傍は、過去の術前画像データ（例えば、ソースデータ）および／または過去の術中画像データを特殊ユークリッド群空間（ＳＥ（ｎ））内の近傍のポーズに変換することによって生成される特徴ベクトル（例えば、７２９ｘ１特徴ベクトル）とすることができる。幾つかの実施形態では、近傍のポーズは、回転方向には約±５度以内、並進方向には約±０．３ミリメートル以内など、閾値の回転方向および並進可能な分散の範囲内とすることができる。
ブロック１２９３において、方法１２９０は、履歴レジストレーション変換を分類／ラベリングすることを含む。例えば、履歴レジストレーション変換および対応する空間近傍の各々は、予め定義された基準に基づいて、「良い」または「正確な」変換または「悪い」または「不正確な」変換として二値ラベルで分類することができる。幾つかの実施形態において、予め定義された基準は、真のレジストレーション（例えば、１００％正確なレジストレーション）からの許容可能な偏差を選択することができる。例えば、「良好な」変換は、真のレジストレーションから選択された回転分散（例えば、±１度）および並進可能な分散（例えば、±０．５ミリメートル）の範囲内にあるように定義することができる。幾つかの実施形態では、「悪い」変換を生成するために、並進および回転のランダムノイズを「良い」履歴レジストレーション変換の一部または全部に導入することができる。
ブロック１２９４において、方法１２９０は、（ｉ）履歴レジストレーション変換の周りの空間近傍および（ｉｉ）これらの変換に対する分類に基づいて機械学習モデルを訓練することを含む。より具体的には、履歴レジストレーションデータの例の各々について、機械学習アルゴリズムは、履歴レジストレーション変換の周囲の近傍を表す特徴ベクトルおよび関連するバイナリラベルを用いて訓練することができる。幾つかの実施形態では、機械学習アルゴリズムは、特異値分解（ＳＶＤ）またはニューラルネットワークとすることができる。他の実施形態では、他の機械学習技術を採用することができる。このような機械学習技法には、重みを生成する場合、サポートベクターマシン、ベイジアンネットワーク、学習回帰、および／またはニューラルネットワークが含まれる。サポートベクターマシンは、良好なレジストレーション変換および不良なレジストレーション変換の例を訓練データとして用いて訓練することができる。サポートベクターマシンは、実施可能な入力の空間において超曲面を見つけることによって動作する。超曲面は，正の例および負の例のうち最も近いものと超曲面との間の距離を最大化することによって，正の例（すなわち，良好なレジストレーション変換）を負の例（すなわち，不良レジストレーション変換）から分割しようとする。サポートベクターマシンは同時に、経験的分類誤差を最小化し、幾何学的マージンを最大化する。これにより、訓練データと似ているが同一ではないデータを正しく分類することができる。サポートベクターマシンの訓練には、様々な手法を用いることができる。幾つかの手法は、大きな二次計画問題を解析的に解くことができる一連の小さな二次計画問題に分解する逐次最小最適化アルゴリズムを使用する。
ブロック１２９５において、方法１２９０は、術中レジストレーション変換を含む術中レジストレーションデータを受信することを含む。履歴レジストレーションデータと同様に、術中レジストレーションデータは、例えば、（ｉ）術前画像データ（例えば、ＣＴスキャンデータ等の３Ｄデータセット）、（ｉｉ）術中画像データ（例えば、深度センサ１１４から導出された３Ｄポイントクラウドまたはメッシュ）、および（ｉｉｉ）術前画像データを術中画像データにマッピングするためのレジストレーション変換を含むデータセットを含むことができる。このような術中レジストレーションデータは、図３～図１１を参照して上記で詳細に説明した技術の何れかを用いて得ることができる。
ブロック１２９６において、方法１２９０は、術中レジストレーション変換器の周囲の空間近傍を定義することを含む。履歴レジストレーション変換の周りの近傍と同様に、術中レジストレーション変換の周りの空間的近傍は、決定された術中レジストレーション変換の周りの近傍のポーズまたは変換のセットを定義する特徴ベクトルとすることができる。
ブロック１２９７において、方法１２９０は、術中レジストレーション変換の周囲の空間的近傍を訓練された機械学習モデルに入力することを含む。入力に基づいて、ブロック１２９８において、方法１２９０は、術中レジストレーション変換の精度に対する適性スコアを決定することを含む。フィットネススコアは、二値「良い」または「悪い」決定とすることができ、または連続スペクトルまたは２以上の離散スペクトルに沿ったスコアとすることができる。幾つかの実施形態では、フィットネススコアが所定の閾値を下回る場合、システム１００は術前画像データを術中画像データに再レジストレーションすることを試みることができる。本発明の技術の幾つかの態様では、変換単独ではなく、所与のレジストレーション変換周辺の値の近傍を評価することにより、レジストレーション精度の評価の信頼性が高まる。
図３～１２を参照して上記で詳細に説明した方法３３０、５５０、７６０、９７０、１０８０、および１２９０は、互いに概ね同様の幾つかの特徴を含むことができ、および／または概ね同様に動作する。例えば、方法の様々な段階は、互いに組み合わせることができ、省略することができ、および／または異なる順序で実施することができる。
更に、全体を通して術前画像データおよび術中画像データを参照してきたが、これらのデータソースは、本発明の技術の範囲から逸脱することなく他のタイプであってもよい。
例えば、術前画像データおよび／または術中画像データは、シーンをイメージングするカメラ以外のソースからの深度データを含むことができる。
ＩＩＩ．追加の例
以下の例は、本発明の技術の幾つかの実施形態を例示するものである。
１.患者の医療スキャンデータを上記患者を含むシーンの術中画像データにレジストレーションする方法であって、
上記術中画像データに基づいて上記シーンの３次元（３Ｄ）画像を生成することであって、上記医療スキャンデータが、上記３Ｄ画像において少なくとも部分的に見える上記患者の一部に対応する、ことと、
上記医療スキャンデータを上記３Ｄ画像の上にオーバーレイすることと、
上記医療スキャンデータを移動して上記３Ｄ画像内の上記患者の一部と整列するようにするためのユーザ入力を受信することと、
上記整列に基づいて、上記３Ｄ画像内の上記患者の一部に上記医療スキャンデータをレジストレーションすることと、
を含む、方法。
２．上記方法が、上記術中画像データを継続的に受信することを更に含み、上記３Ｄ画像を生成することが、上記術中画像データに基づいて仮想画像を継続的に更新することを含む、例１に記載の方法。
３．上記方法が、上記３Ｄ画像および上記医療スキャンデータを、ディスプレイデバイスのユーザによって知覚されるように実質的にリアルタイムで上記ディスプレイデバイス上に表示することを更に含む、例１または２に記載の方法。
４．上記医療スキャンデータが、コンピュータ断層撮影（ＣＴ）スキャンのセグメント化された部分である、例１～３の何れか１つに記載の方法。
５．上記医療スキャンデータが上記患者の椎骨のものであり、上記３Ｄ画像における上記患者の一部が、上記患者の脊椎である、例１～４の何れか１つに記載の方法。
６．上記医療スキャンデータをレジストレーションすることが、上記医療スキャンデータを上記３Ｄ画像内の上記患者の一部にグローバルにレジストレーションすることを含み、
上記方法が、上記医療スキャンデータを上記グローバルレジストレーションに少なくとも部分的に基づいて上記３Ｄ画像内の上記患者の一部にローカルにレジストレーションすることを更に含む、例１～５の何れか１つに記載の方法。
７．上記方法が、上記３Ｄ画像内の上記患者の一部に上記医療スキャンデータをローカルにレジストレーションした後、上記３Ｄ画像内の上記患者の一部と更に整列するように上記医療スキャンデータを自動的に移動させることを更に含む、例６に記載の方法。
８．上記ユーザ入力は、上記シーンにわたって移動可能なツールからのものである、例１～７の何れか１つに記載の方法法。
９．上記医療スキャンデータを上記３Ｄ画像の上にオーバーレイすることは、上記医療スキャンデータを上記シーン内の上記ツールの先端に表示することを含む、例８に記載の方法。
１０．上記ユーザ入力は、上記３Ｄ画像内の上記患者の一部に向かって上記医療スキャンデータをドラッグすることである、例１～９の何れか１つに記載の方法。
１１．上記ユーザ入力は、上記医療スキャンデータを上記３Ｄ画像内の患者の一部に向かって回転させることである、例１～１０の何れか１つに記載の方法。
１２．媒介現実システムであって、
患者を含むシーンの術中画像データをキャプチャするように構成された複数のカメラを含むカメラアレイと、
上記シーンの仮想視野の位置および向きを制御するように構成された入力コントローラと、
上記カメラアレイおよび上記入力コントローラに通信可能に結合された処理デバイスと、
を備え、
上記処理デバイスは、
上記術中画像データに基づいて、上記仮想視野に対応する仮想画像を合成し、
上記仮想画像において少なくとも部分的に見える上記患者の一部に対応する上記患者の医療スキャンデータを受信し、
上記医療スキャンデータを上記仮想画像の上にオーバーレイし、
上記医療スキャンデータを移動させて上記仮想画像内の上記患者の一部と整列するようにするためのユーザ入力を受け取り、
上記整列に基づいて、上記医療スキャンデータを上記仮想画像内の上記患者の一部にレジストレーションする、
ように構成されている、媒介現実システム。
１３．上記処理デバイスに通信可能に結合されたディスプレイデバイスを更に備え、上記ディスプレイデバイスは、上記仮想画像の上に上記医療スキャンデータの３次元（３Ｄ）グラフィカル表現を表示するように構成されている、例１２に記載の媒介現実システム。
１４．上記処理デバイスに通信可能に結合されたツールを更に備え、上記ユーザ入力は、上記シーンに対する上記ツールの位置に基づいている、例１２または１３に記載の媒介現実システム。
１５．上記ユーザ入力は、上記シーンに対する上記ツールの物理的並進、物理的回転、または物理的並進と物理的回転の両方である、例１４に記載の媒介現実システム。
１６．上記シーンが手術シーンであり、上記仮想画像における上記患者の一部が患者の脊椎を含み、上記医療スキャンデータがコンピュータ断層撮影（ＣＴ）スキャンデータである、例１２～１５の何れか１つに記載の媒介現実システム。
１７．シーンのリアルタイム画像データに以前にキャプチャされた画像データをレジストレーションする方法であって、
上記リアルタイム画像データに基づいて上記シーンの３次元（３Ｄ）仮想ビューを生成することであって、上記シーンが関心のある物体を含み、上記以前にキャプチャされた画像データが上記関心のある物体に対応する、ことと、
ユーザに可視であるディスプレイデバイス上に上記３Ｄ仮想ビューを表示することと、
上記３Ｄ仮想ビューの上に上記ディスプレイデバイス上に上記以前にキャプチャされた画像データを表示することと、
上記以前にキャプチャされた画像データが上記３Ｄ仮想ビュー内の上記関心のある物体と少なくとも部分的に整列されるように、上記３Ｄ仮想ビューに対して上記以前にキャプチャされた画像データを移動させるためのユーザ入力を受信することと、
上記以前にキャプチャされた画像データと上記３Ｄ仮想ビュー内の上記関心のある物体との整列に基づいて、上記以前にキャプチャされた画像データと上記３Ｄ仮想ビュー内の上記関心のある物体との間のレジストレーション変換を生成することと、
を含む、方法。
１８．上記ディスプレイデバイス上に上記３Ｄ仮想ビューを表示することは、上記３Ｄ仮想ビューを上記ユーザによって知覚されるように実質的にリアルタイムで表示すること を含む、例１７に記載の方法。
１９．上記方法が、
上記レジストレーション変換に少なくとも部分的に基づいて、上記以前にキャプチャされた画像データを上記３Ｄ仮想ビュー内の上記関心のある物体にローカルにレジストレーションすることと、
上記ローカルレジストレーションに基づいて、上記以前にキャプチャされた画像データを上記３Ｄ仮想ビュー内の上記関心のある物体と更に整列されるように自動的に移動させることと、
を更に含む、例１７または１８に記載の方法。
２０．上記ユーザ入力が、上記シーンに対する上記ツールの位置に基づくものであり、上記３Ｄ仮想ビューの上に上記以前にキャプチャされた画像データを表示することが、上記シーン内の上記ツールの先端に対応する位置で、上記３Ｄ仮想ビュー内に上記以前にキャプチャされた画像データの３Ｄ表現を表示することを含み、上記ユーザ入力が、上記シーンにわたる上記ツールの物理的移動である、例１７～１９の何れか１つに記載の方法。
２１．患者の医療スキャンデータを、上記患者を含むシーンの術中画像データにレジストレーションする方法であって、
上記術中画像データの１以上の特性を決定することと、
決定された上記１以上の特性に基づいて、（ａ）上記術中画像データの第１の部分が上記患者の解剖学的構造の第１のタイプに対応すること、および（ｂ）上記術中画像データの第２の部分が上記患者の解剖学的構造の第２のタイプに対応し、上記解剖学的構造の第１のタイプが上記医療スキャンデータに対応すること、を決定することと、
上記術前画像データを上記術中画像データの上記第１の部分にレジストレーションすることと、
を含む、方法。
２２．上記術前画像データがコンピュータ断層撮影（ＣＴ）スキャンデータである、例２１に記載の方法。
２３．上記解剖学的構造の第１のタイプが骨である、例２１または２２に記載の方法。
２４．上記術前画像データを上記術中画像データの上記第１の部分にレジストレーションすることが、
上記術前画像データと上記術中画像データの上記第１の部分との間のレジストレーション変換を計算するためにレジストレーションアルゴリズムを利用することと、
上記決定された１以上の特性に基づいて上記レジストレーションアルゴリズムを調整することと、
を含む、例２１～２３の何れか１つに記載の方法。
２５．上記レジストレーションアルゴリズムを利用することが、上記術中画像データ中の第１の点と上記術前画像データ中の第２の点との間の複数の点間対応を計算することを含み、上記レジストレーションアルゴリズムを調整することが、上記点間対応において上記第１の点が上記解剖学的構造の第１のタイプまたは上記解剖学的構造の第２のタイプに対応するという決定に基づいて、上記点間対応の重みを調整することを含む、例２４に記載の方法。
２６．上記点間対応の重みを調整することが、（ａ）上記解剖学的構造の第１のタイプに対応する上記第１の点を含む上記点間対応の重みを増加させること、および（ｂ）解剖学的構造の第２のタイプに対応する上記第１の点を含む上記点間対応の重みを減少させることを含む、例２５に記載の方法。
２７．上記１以上の特性が、色情報、角度情報および鏡面情報のうちの少なくとも１つを含む、例２１～２６の何れか１つに記載の方法。
２８．上記１以上の特性が、色相、彩度および値情報のうちの少なくとも１つを含む、例２１～２７の何れか１つに記載の方法。
２９．上記術中画像データが、上記シーンのライトフィールド画像データを含む、例２１～２８の何れか１つに記載の方法。
３０．上記術中画像データが、上記シーンの深度データを含む深度カメラからの画像データを更に含み、上記画像データの１以上の特性を決定することが、上記ライトフィールド画像データに基づいて上記１以上の特性を決定することを含み、上記術前画像データを上記術中画像データの第１の部分にレジストレーションすることが、上記深度データを上記術前画像データにレジストレーションすることを含む、例２９に記載の方法。
３１．上記方法が、
上記術中画像データに基づいて上記シーンの３次元（３Ｄ）画像を生成することと、
上記シーンの上記３Ｄ画像において上記解剖学的構造の第１のタイプの上に上記医療スキャンデータを表示することと、
を更に含む、例２１～３０の何れか１つに記載の方法。
３２．媒介現実システムであって、
患者を含むシーンの術中画像データをキャプチャするように構成された複数のカメラを含むカメラアレイと、
上記シーンの仮想視野の位置および向きを制御するように構成された入力コントローラと、
上記カメラアレイおよび上記入力コントローラに通信可能に結合された処理デバイスと、
を備え、
上記処理デバイスは、
上記術中画像データに基づいて、上記仮想視野に対応する仮想画像を合成し、
上記患者の医療スキャンデータを受信し、
上記術中画像データの１以上の特性を決定し、
決定された上記１以上の特性に基づいて、（ａ）上記術中画像データの第１の部分が上記患者の解剖学的構造の第１のタイプに対応し、（ｂ）上記術中画像データの第２の部分が上記患者の解剖学的構造の第２のタイプに対応し、上記解剖学的構造の第１のタイプが上記医療スキャンデータに対応する、ことを決定し、
上記術前画像データを上記術中画像データの第１の部分にレジストレーションし、
上記医療スキャンデータを上記仮想画像内の上記解剖学的構造の第１のタイプの上にオーバーレイする、
ように構成されている、媒介現実システム。
３３．上記シーンが手術シーンであり、上記解剖学的構造の第１のタイプが患者の脊椎であり、上記医療スキャンデータがコンピュータ断層撮影（ＣＴ）スキャンデータである、例３２に記載の媒介現実システム。
３４．上記１以上の特性が、色相、彩度および値情報のうちの少なくとも１つを含み、上記術中画像データが、上記シーンのライトフィールド画像データを含む、例３２または３３に記載の媒介現実システム。
３５．上記プロセッサは、レジストレーションアルゴリズムを利用して、上記術中画像データの第１の点と上記術前画像データの第２の点との間の複数の点間対応を計算することと、上記点間対応における上記第１の点が上記解剖学的構造の第１のタイプまたは上記解剖学的構造の第２のタイプに対応するという決定に基づいて、上記点間対応の重みを調整することとによって、上記術前画像データを上記術中画像データの第１の部分にレジストレーションするように構成されている、例３２～３４の何れか１つに記載の媒介現実システム。
３６．上記プロセッサが、（ａ）上記解剖学的構造の第１のタイプに対応する上記第１の点を含む上記点間対応の重みを増加させること、および（ｂ）上記解剖学的構造の第２のタイプに対応する上記第１の点を含む上記点間対応の重みを減少させることにより、上記点間対応の重みを調整するように更に構成されている、例３２～３５に記載の媒介現実システム。
３７．以前にキャプチャされた画像データをシーンのリアルタイム画像データにレジストレーションする方法であって、
上記シーンのライトフィールド画像データを含むリアルタイム画像データを受信することと、
上記リアルタイム画像データに基づいて上記シーンの３次元（３Ｄ）仮想ビューを生成することであって、上記シーンが関心のある物体を含み、上記以前にキャプチャされた画像データが、上記関心のある物体に対応する、ことと、
上記ライトフィールド画像データの１以上の特性を決定することと、
決定された上記１以上の特性に基づいて、（ａ）上記リアルタイム画像データの第１の部分が上記関心のある物体に対応する可能性が高いこと、および（ｂ）上記リアルタイム画像データの第２の部分が上記関心のある物体に対応しない可能性が高いこと、を決定することと、
上記以前にキャプチャされた画像データを上記リアルタイム画像データの第１の部分にレジストレーションすることと、
上記シーンの３Ｄ仮想ビューにおいて、上記以前にキャプチャされた画像データを上記関心のある物体の上に表示することと、
を含む、方法。
３８．上記１以上の特性は、色情報、角度情報および鏡面情報のうちの少なくとも１つを含む、例３７に記載の方法。
３９．上記以前にキャプチャされた画像データを上記リアルタイム画像データの第１の部分にレジストレーションすることは、
上記リアルタイム画像データ内の第１の点と上記以前にキャプチャされた画像データ内の第２の点との間の複数の点間対応を計算するために、レジストレーションアルゴリズムを利用することと、
上記点間対応における上記第１の点が上記関心のある物体に対応する可能性が高いという決定に基づいて、上記点間対応の重みを調整することと、
を含む、例３７または３８に記載の方法。
４０．上記リアルタイム画像データの第１の部分が上記関心のある物体に対応する可能性が高いと決定することは、上記リアルタイム画像データの上記第１の部分に対応するライトフィールド画像データが、上記ライトフィールド画像データの他の部分よりも低い彩度を有すると決定することを含む、例３７～３９の何れか１つに記載の方法。
ＩＶ．結論
本発明の技術の実施形態に関する上記の詳細な説明は、包括的なものであること、または上記で開示された形態に本発明を限定することを意図していない。本発明の技術の具体的な実施形態および実施例は、例示を目的として上記で説明されているが、関連技術における当業者であれば認識するように、本発明の技術の範囲内で様々な等価な変更が可能である。例えば、ステップは所与の順序で示されているが、代替の実施形態は、異なる順序でステップを実行することができる。また、本明細書で記載される様々な実施形態を組み合わせて、更なる実施形態を提供することもできる。
以上から、本発明の技術の特定の実施形態が、説明の目的で本明細書に記載されているが、周知の構造および機能は、本発明の技術の実施形態の説明を不必要に不明瞭にすることを避けるために、詳細には示されておらずまたは記載されていないことが理解されるであろう。文脈上許容される場合、単数または複数の用語は、それぞれ複数または単数の用語を含むことができる。
更に、単語「または」が、２以上の項目のリストに関して、他の項目から排他的な単一の項目のみを意味するように明示的に限定されない限り、このようなリストにおける「または」の使用は、（ａ）リスト中の任意の単一の項目、（ｂ）リスト中の全ての項目、または（ｃ）リスト中の項目の任意の組み合わせを含むと解釈される。更に、用語「備える（ｃｏｍｐｒｉｓｉｎｇ）」は、同じ特徴の任意の数および／または他の特徴の追加の種類が排除されないように、少なくとも言及された特徴（単数または複数）を含むことを意味するために全体を通して使用される。また、特定の実施形態が、例示の目的で本明細書に記載されているが、本発明の技術から逸脱することなく様々な変更がなされ得ることが理解されるであろう。更に、本発明の技術の幾つかの実施形態に関連する利点をこれらの実施形態の関連で説明してきたが、他の実施形態もこのような利点を示すことができ、および全ての実施形態が本発明の技術の範囲内に入るために必ずしもこのような利点を示す必要はない。従って、本開示および関連技術は、本明細書に明示的に示されないまたは記載されない他の実施形態を包含することができる。

Claims (40)

  1. 患者の医療スキャンデータを前記患者を含むシーンの術中画像データにレジストレーションする方法であって、
    前記術中画像データに基づいて前記シーンの３次元（３Ｄ）画像を生成することであって、前記医療スキャンデータが、前記３Ｄ画像において少なくとも部分的に見える前記患者の一部に対応する、ことと、
    前記医療スキャンデータを前記３Ｄ画像の上にオーバーレイすることと、
    前記医療スキャンデータを移動して前記３Ｄ画像内の前記患者の一部と整列するようにするためのユーザ入力を受信することと、
    前記整列に基づいて、前記３Ｄ画像内の前記患者の一部に前記医療スキャンデータをレジストレーションすることと、
    を含む、方法。
  2. 前記方法が、前記術中画像データを継続的に受信することを更に含み、前記３Ｄ画像を生成することが、前記術中画像データに基づいて仮想画像を継続的に更新することを含む、
    請求項１に記載の方法。
  3. 前記方法が、前記３Ｄ画像および前記医療スキャンデータを、ディスプレイデバイスのユーザによって知覚されるように実質的にリアルタイムで前記ディスプレイデバイス上に表示することを更に含む、
    請求項１に記載の方法。
  4. 前記医療スキャンデータが、コンピュータ断層撮影（ＣＴ）スキャンのセグメント化された部分である、
    請求項１に記載の方法。
  5. 前記医療スキャンデータが前記患者の椎骨のものであり、前記３Ｄ画像における前記患者の一部が、前記患者の脊椎である、
    請求項１に記載の方法。
  6. 前記医療スキャンデータをレジストレーションすることが、前記医療スキャンデータを前記３Ｄ画像内の前記患者の一部にグローバルにレジストレーションすることを含み、
    前記方法が、前記医療スキャンデータを前記グローバルレジストレーションに少なくとも部分的に基づいて前記３Ｄ画像内の前記患者の一部にローカルにレジストレーションすることを更に含む、
    請求項１に記載の方法。
  7. 前記方法が、前記３Ｄ画像内の前記患者の一部に前記医療スキャンデータをローカルにレジストレーションした後、前記３Ｄ画像内の前記患者の一部と更に整列するように前記医療スキャンデータを自動的に移動させることを更に含む、
    請求項６に記載の方法。
  8. 前記ユーザ入力は、前記シーンにわたって移動可能なツールからのものである、
    請求項１に記載の方法法。
  9. 前記医療スキャンデータを前記３Ｄ画像の上にオーバーレイすることは、前記医療スキャンデータを前記シーン内の前記ツールの先端に表示することを含む、
    請求項８に記載の方法。
  10. 前記ユーザ入力は、前記３Ｄ画像内の前記患者の一部に向かって前記医療スキャンデータをドラッグすることである、
    請求項１に記載の方法。
  11. 前記ユーザ入力は、前記医療スキャンデータを前記３Ｄ画像内の患者の一部に向かって回転させることである、
    請求項１に記載の方法。
  12. 媒介現実システムであって、
    患者を含むシーンの術中画像データをキャプチャするように構成された複数のカメラを含むカメラアレイと、
    前記シーンの仮想視野の位置および向きを制御するように構成された入力コントローラと、
    前記カメラアレイおよび前記入力コントローラに通信可能に結合された処理デバイスと、
    を備え、
    前記処理デバイスは、
    前記術中画像データに基づいて、前記仮想視野に対応する仮想画像を合成し、
    前記仮想画像において少なくとも部分的に見える前記患者の一部に対応する前記患者の医療スキャンデータを受信し、
    前記医療スキャンデータを前記仮想画像の上にオーバーレイし、
    前記医療スキャンデータを移動させて前記仮想画像内の前記患者の一部と整列するようにするためのユーザ入力を受け取り、
    前記整列に基づいて、前記医療スキャンデータを前記仮想画像内の前記患者の一部にレジストレーションする、
    ように構成されている、媒介現実システム。
  13. 前記処理デバイスに通信可能に結合されたディスプレイデバイスを更に備え、前記ディスプレイデバイスは、前記仮想画像の上に前記医療スキャンデータの３次元（３Ｄ）グラフィカル表現を表示するように構成されている、
    請求項１２に記載の媒介現実システム。
  14. 前記処理デバイスに通信可能に結合されたツールを更に備え、前記ユーザ入力は、前記シーンに対する前記ツールの位置に基づいている、
    請求項１２に記載の媒介現実システム。
  15. 前記ユーザ入力は、前記シーンに対する前記ツールの物理的並進、物理的回転、または物理的並進と物理的回転の両方である、
    請求項１４に記載の媒介現実システム。
  16. 前記シーンが手術シーンであり、前記仮想画像における前記患者の一部が患者の脊椎を含み、前記医療スキャンデータがコンピュータ断層撮影（ＣＴ）スキャンデータである、
    請求項１２に記載の媒介現実システム。
  17. シーンのリアルタイム画像データに以前にキャプチャされた画像データをレジストレーションする方法であって、
    前記リアルタイム画像データに基づいて前記シーンの３次元（３Ｄ）仮想ビューを生成することであって、前記シーンが関心のある物体を含み、前記以前にキャプチャされた画像データが前記関心のある物体に対応する、ことと、
    ユーザに可視であるディスプレイデバイス上に前記３Ｄ仮想ビューを表示することと、
    前記３Ｄ仮想ビューの上に前記ディスプレイデバイス上に前記以前にキャプチャされた画像データを表示することと、
    前記以前にキャプチャされた画像データが前記３Ｄ仮想ビュー内の前記関心のある物体と少なくとも部分的に整列されるように、前記３Ｄ仮想ビューに対して前記以前にキャプチャされた画像データを移動させるためのユーザ入力を受信することと、
    前記以前にキャプチャされた画像データと前記３Ｄ仮想ビュー内の前記関心のある物体との整列に基づいて、前記以前にキャプチャされた画像データと前記３Ｄ仮想ビュー内の前記関心のある物体との間のレジストレーション変換を生成することと、
    を含む、方法。
  18. 前記ディスプレイデバイス上に前記３Ｄ仮想ビューを表示することは、前記３Ｄ仮想ビューを前記ユーザによって知覚されるように実質的にリアルタイムで表示することを含む、
    請求項１７に記載の方法。
  19. 前記方法が、
    前記レジストレーション変換に少なくとも部分的に基づいて、前記以前にキャプチャされた画像データを前記３Ｄ仮想ビュー内の前記関心のある物体にローカルにレジストレーションすることと、
    前記ローカルレジストレーションに基づいて、前記以前にキャプチャされた画像データを前記３Ｄ仮想ビュー内の前記関心のある物体と更に整列されるように自動的に移動させることと、
    を更に含む、請求項１７に記載の方法。
  20. 前記ユーザ入力が、前記シーンに対する前記ツールの位置に基づくものであり、前記３Ｄ仮想ビューの上に前記以前にキャプチャされた画像データを表示することが、前記シーン内の前記ツールの先端に対応する位置で、前記３Ｄ仮想ビュー内に前記以前にキャプチャされた画像データの３Ｄ表現を表示することを含み、前記ユーザ入力が、前記シーンにわたる前記ツールの物理的移動である、
    請求項１７に記載の方法。
  21. 患者の医療スキャンデータを、前記患者を含むシーンの術中画像データにレジストレーションする方法であって、
    前記術中画像データの１以上の特性を決定することと、
    決定された前記１以上の特性に基づいて、（ａ）前記術中画像データの第１の部分が前記患者の解剖学的構造の第１のタイプに対応すること、および（ｂ）前記術中画像データの第２の部分が前記患者の解剖学的構造の第２のタイプに対応し、前記解剖学的構造の第１のタイプが前記医療スキャンデータに対応すること、を決定することと、
    前記術前画像データを前記術中画像データの前記第１の部分にレジストレーションすることと、
    を含む、方法。
  22. 前記術前画像データがコンピュータ断層撮影（ＣＴ）スキャンデータである、
    請求項２１に記載の方法。
  23. 前記解剖学的構造の第１のタイプが骨である、
    請求項２１に記載の方法。
  24. 前記術前画像データを前記術中画像データの前記第１の部分にレジストレーションすることが、
    前記術前画像データと前記術中画像データの前記第１の部分との間のレジストレーション変換を計算するためにレジストレーションアルゴリズムを利用することと、
    前記決定された１以上の特性に基づいて前記レジストレーションアルゴリズムを調整することと、
    を含む、請求項２１に記載の方法。
  25. 前記レジストレーションアルゴリズムを利用することが、前記術中画像データ中の第１の点と前記術前画像データ中の第２の点との間の複数の点間対応を計算することを含み、前記レジストレーションアルゴリズムを調整することが、前記点間対応において前記第１の点が前記解剖学的構造の第１のタイプまたは前記解剖学的構造の第２のタイプに対応するという決定に基づいて、前記点間対応の重みを調整することを含む、
    請求項２４に記載の方法。
  26. 前記点間対応の重みを調整することが、（ａ）前記解剖学的構造の第１のタイプに対応する前記第１の点を含む前記点間対応の重みを増加させること、および（ｂ）解剖学的構造の第２のタイプに対応する前記第１の点を含む前記点間対応の重みを減少させることを含む、
    請求項２５に記載の方法。
  27. 前記１以上の特性が、色情報、角度情報および鏡面情報のうちの少なくとも１つを含む、
    請求項２１に記載の方法。
  28. 前記１以上の特性が、色相、彩度および値情報のうちの少なくとも１つを含む、
    請求項２１に記載の方法。
  29. 前記術中画像データが、前記シーンのライトフィールド画像データを含む、
    請求項２１に記載の方法。
  30. 前記術中画像データが、前記シーンの深度データを含む深度カメラからの画像データを更に含み、前記画像データの１以上の特性を決定することが、前記ライトフィールド画像データに基づいて前記１以上の特性を決定することを含み、前記術前画像データを前記術中画像データの第１の部分にレジストレーションすることが、前記深度データを前記術前画像データにレジストレーションすることを含む、
    請求項２９に記載の方法。
  31. 前記方法が、
    前記術中画像データに基づいて前記シーンの３次元（３Ｄ）画像を生成することと、
    前記シーンの前記３Ｄ画像において前記解剖学的構造の第１のタイプの上に前記医療スキャンデータを表示することと、
    を更に含む、請求項２１に記載の方法。
  32. 媒介現実システムであって、
    患者を含むシーンの術中画像データをキャプチャするように構成された複数のカメラを含むカメラアレイと、
    前記シーンの仮想視野の位置および向きを制御するように構成された入力コントローラと、
    前記カメラアレイおよび前記入力コントローラに通信可能に結合された処理デバイスと、
    を備え、
    前記処理デバイスは、
    前記術中画像データに基づいて、前記仮想視野に対応する仮想画像を合成し、
    前記患者の医療スキャンデータを受信し、
    前記術中画像データの１以上の特性を決定し、
    決定された前記１以上の特性に基づいて、（ａ）前記術中画像データの第１の部分が前記患者の解剖学的構造の第１のタイプに対応し、（ｂ）前記術中画像データの第２の部分が前記患者の解剖学的構造の第２のタイプに対応し、前記解剖学的構造の第１のタイプが前記医療スキャンデータに対応する、ことを決定し、
    前記術前画像データを前記術中画像データの第１の部分にレジストレーションし、
    前記医療スキャンデータを前記仮想画像内の前記解剖学的構造の第１のタイプの上にオーバーレイする、
    ように構成されている、媒介現実システム。
  33. 前記シーンが手術シーンであり、前記解剖学的構造の第１のタイプが患者の脊椎であり、前記医療スキャンデータがコンピュータ断層撮影（ＣＴ）スキャンデータである、
    請求項３２に記載の媒介現実システム。
  34. 前記１以上の特性が、色相、彩度および値情報のうちの少なくとも１つを含み、前記術中画像データが、前記シーンのライトフィールド画像データを含む、
    請求項３２に記載の媒介現実システム。
  35. 前記プロセッサは、レジストレーションアルゴリズムを利用して、前記術中画像データの第１の点と前記術前画像データの第２の点との間の複数の点間対応を計算することと、前記点間対応における前記第１の点が前記解剖学的構造の第１のタイプまたは前記解剖学的構造の第２のタイプに対応するという決定に基づいて、前記点間対応の重みを調整することとによって、前記術前画像データを前記術中画像データの第１の部分にレジストレーションするように構成されている、
    請求項３２に記載の媒介現実システム。
  36. 前記プロセッサが、（ａ）前記解剖学的構造の第１のタイプに対応する前記第１の点を含む前記点間対応の重みを増加させること、および（ｂ）前記解剖学的構造の第２のタイプに対応する前記第１の点を含む前記点間対応の重みを減少させることにより、前記点間対応の重みを調整するように更に構成されている、
    請求項３２に記載の媒介現実システム。
  37. 以前にキャプチャされた画像データをシーンのリアルタイム画像データにレジストレーションする方法であって、
    前記シーンのライトフィールド画像データを含むリアルタイム画像データを受信することと、
    前記リアルタイム画像データに基づいて前記シーンの３次元（３Ｄ）仮想ビューを生成することであって、前記シーンが関心のある物体を含み、前記以前にキャプチャされた画像データが、前記関心のある物体に対応する、ことと、
    前記ライトフィールド画像データの１以上の特性を決定することと、
    決定された前記１以上の特性に基づいて、（ａ）前記リアルタイム画像データの第１の部分が前記関心のある物体に対応する可能性が高いこと、および（ｂ）前記リアルタイム画像データの第２の部分が前記関心のある物体に対応しない可能性が高いこと、を決定することと、
    前記以前にキャプチャされた画像データを前記リアルタイム画像データの第１の部分にレジストレーションすることと、
    前記シーンの３Ｄ仮想ビューにおいて、前記以前にキャプチャされた画像データを前記関心のある物体の上に表示することと、
    を含む、方法。
  38. 前記１以上の特性は、色情報、角度情報および鏡面情報のうちの少なくとも１つを含む、
    請求項３７に記載の方法。
  39. 前記以前にキャプチャされた画像データを前記リアルタイム画像データの第１の部分にレジストレーションすることは、
    前記リアルタイム画像データ内の第１の点と前記以前にキャプチャされた画像データ内の第２の点との間の複数の点間対応を計算するために、レジストレーションアルゴリズムを利用することと、
    前記点間対応における前記第１の点が前記関心のある物体に対応する可能性が高いという決定に基づいて、前記点間対応の重みを調整することと、
    を含む、請求項３７に記載の方法。
  40. 前記リアルタイム画像データの第１の部分が前記関心のある物体に対応する可能性が高いと決定することは、前記リアルタイム画像データの前記第１の部分に対応するライトフィールド画像データが、前記ライトフィールド画像データの他の部分よりも低い彩度を有すると決定することを含む、
    請求項３７に記載の方法。
JP2023540720A 2021-01-04 2021-12-29 術前画像データを手術シーンなどのシーンの術中画像データにレジストレーションする方法およびシステム Pending JP2024501897A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/140,885 2021-01-04
US17/140,885 US11295460B1 (en) 2021-01-04 2021-01-04 Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
PCT/US2021/065460 WO2022147083A1 (en) 2021-01-04 2021-12-29 Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene

Publications (1)

Publication Number Publication Date
JP2024501897A true JP2024501897A (ja) 2024-01-16

Family

ID=80934286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023540720A Pending JP2024501897A (ja) 2021-01-04 2021-12-29 術前画像データを手術シーンなどのシーンの術中画像データにレジストレーションする方法およびシステム

Country Status (6)

Country Link
US (3) US11295460B1 (ja)
EP (1) EP4271303A1 (ja)
JP (1) JP2024501897A (ja)
AU (1) AU2021414195A1 (ja)
CA (1) CA3207099A1 (ja)
WO (1) WO2022147083A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220366451A1 (en) * 2019-10-25 2022-11-17 Nec Solution Innovators, Ltd. Display apparatus, event support system, display method, and event support system production method
US12087007B2 (en) * 2021-03-31 2024-09-10 Auris Health, Inc. Vision-based 6DOF camera pose estimation in bronchoscopy
EP4326182A2 (en) * 2021-04-21 2024-02-28 The Cleveland Clinic Foundation Robotic surgery
US20230125390A1 (en) * 2021-10-26 2023-04-27 Meta Platforms Technologies, Llc. Localization Failure Handling on Artificial Reality Systems
DE102021128478A1 (de) * 2021-11-02 2023-05-04 B. Braun New Ventures GmbH Chirurgisches Navigationssystem mit verbessertem Instrumententracking und Navigationsverfahren
TWI836492B (zh) * 2021-11-18 2024-03-21 瑞鈦醫療器材股份有限公司 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統
CN116407314A (zh) * 2021-12-31 2023-07-11 苏州佳世达光电有限公司 产生三维影像的系统及方法
US12011227B2 (en) 2022-05-03 2024-06-18 Proprio, Inc. Methods and systems for determining alignment parameters of a surgical target, such as a spine
US12015857B2 (en) 2022-06-09 2024-06-18 Proprio, Inc. Light field capture, compression, transmission and reconstruction
US20240236293A9 (en) * 2022-10-19 2024-07-11 Acer Incorporated Image processing method and virtual reality display system
CN115661223B (zh) * 2022-12-09 2023-03-28 中国人民解放军国防科技大学 光场深度估计方法、装置、计算机设备和存储介质
CN115841509B (zh) * 2023-02-10 2023-05-19 苏州国科康成医疗科技有限公司 一种ct影像配准方法及系统

Family Cites Families (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6675040B1 (en) 1991-01-28 2004-01-06 Sherwood Services Ag Optical object tracking system
US6167296A (en) 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
JP3905393B2 (ja) 2002-02-07 2007-04-18 オリンパス株式会社 手術装置
US20030210812A1 (en) 2002-02-26 2003-11-13 Ali Khamene Apparatus and method for surgical navigation
AU2003251620A1 (en) 2002-06-26 2004-01-19 Joseph Aferzon System and method for guiding surgical tools during surgical procedures
US20040044295A1 (en) 2002-08-19 2004-03-04 Orthosoft Inc. Graphical user interface for computer-assisted surgery
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7570791B2 (en) * 2003-04-25 2009-08-04 Medtronic Navigation, Inc. Method and apparatus for performing 2D to 3D registration
US7672705B2 (en) 2004-07-19 2010-03-02 Resonant Medical, Inc. Weighted surface-to-surface mapping
US8295909B2 (en) 2005-06-16 2012-10-23 Brainlab Ag Medical tracking system with infrared data transfer
EP1924197B1 (en) 2005-08-24 2017-10-11 Philips Electronics LTD System for navigated flexible endoscopy
WO2007115825A1 (en) 2006-04-12 2007-10-18 Nassir Navab Registration-free augmentation device and method
US7824328B2 (en) 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
EP1925256A1 (de) 2006-11-24 2008-05-28 BrainLAB AG Verfahren und Vorrichtung zur Registrierung einer anatomischen Struktur mit Markern
US8150494B2 (en) 2007-03-29 2012-04-03 Medtronic Navigation, Inc. Apparatus for registering a physical space to image space
WO2008130354A1 (en) 2007-04-24 2008-10-30 Medtronic, Inc. Intraoperative image registration
US8010177B2 (en) 2007-04-24 2011-08-30 Medtronic, Inc. Intraoperative image registration
WO2008130355A1 (en) 2007-04-24 2008-10-30 Medtronic, Inc. Method for performing multiple registrations in a navigated procedure
US20100099981A1 (en) 2008-10-21 2010-04-22 Fishel Robert S Trans-Septal Catheterization Device And Method
WO2010067267A1 (en) 2008-12-09 2010-06-17 Philips Intellectual Property & Standards Gmbh Head-mounted wireless camera and display unit
EP2493411A4 (en) 2009-10-28 2015-04-29 Imris Inc AUTOMATIC REGISTRATION OF PICTURES FOR IMAGE-CONTROLLED SURGERY
CA2797302C (en) 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
US8657809B2 (en) 2010-09-29 2014-02-25 Stryker Leibinger Gmbh & Co., Kg Surgical navigation system
US20140044333A1 (en) * 2011-02-17 2014-02-13 Dartmouth College System and method for providing registration between breast shapes before and during surgery
WO2012149548A2 (en) 2011-04-29 2012-11-01 The Johns Hopkins University System and method for tracking and navigation
US9129277B2 (en) 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
CA2794898C (en) 2011-11-10 2019-10-29 Victor Yang Method of rendering and manipulating anatomical images on mobile computing device
WO2013175471A1 (en) 2012-05-22 2013-11-28 Mazor Robotics Ltd. On-site verification of implant positioning
US9008757B2 (en) 2012-09-26 2015-04-14 Stryker Corporation Navigation system including optical and non-optical sensors
RU2621488C2 (ru) 2013-02-14 2017-06-06 Сейко Эпсон Корпорейшн Укрепляемый на голове дисплей и способ управления для укрепляемого на голове дисплея
US9314219B2 (en) 2013-02-27 2016-04-19 Paul J Keall Method to estimate real-time rotation and translation of a target with a single x-ray imager
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
AU2014231341B2 (en) 2013-03-15 2019-06-06 Synaptive Medical Inc. System and method for dynamic validation, correction of registration for surgical navigation
US9968408B1 (en) 2013-03-15 2018-05-15 Nuvasive, Inc. Spinal balance assessment
EP2932470A2 (en) 2013-10-18 2015-10-21 Koninklijke Philips N.V. Registration of medical images
WO2015074158A1 (en) 2013-11-25 2015-05-28 7D Surgical Inc. System and method for generating partial surface from volumetric data for registration to surface topology image data
WO2015118423A1 (en) 2014-02-04 2015-08-13 Koninklijke Philips N.V. Visualization of depth and position of blood vessels and robot guided visualization of blood vessel cross section
CA2949241A1 (en) 2014-05-20 2015-11-26 University Of Washington Through Its Center For Commercialization Systems and methods for mediated-reality surgical visualization
CN110367988A (zh) 2014-06-17 2019-10-25 纽文思公司 手术脊椎程序期间手术中计划和评估脊椎变形矫正的装置
EP3197382A4 (en) 2014-09-24 2018-06-13 7D Surgical Inc. Tracking marker support structure and surface registration methods employing the same for performing navigated surgical procedures
CN107004044A (zh) 2014-11-18 2017-08-01 皇家飞利浦有限公司 增强现实设备的用户引导系统和方法、使用
GB2549023B (en) 2014-11-27 2020-06-17 Synaptive Medical Barbados Inc Method, system and apparatus for quantitative surgical image registration
US20210186355A1 (en) 2014-11-30 2021-06-24 Elbit Systems Ltd. Model registration system and method
IL236003A (en) 2014-11-30 2016-02-29 Ben-Yishai Rani Model and method for registering a model
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2555012B (en) 2015-03-17 2020-09-09 Synaptive Medical Barbados Inc Method and device for registering surgical images
US20160354161A1 (en) 2015-06-05 2016-12-08 Ortho Kinematics, Inc. Methods for data processing for intra-operative navigation systems
CA2973479C (en) 2015-07-21 2019-02-26 Synaptive Medical (Barbados) Inc. System and method for mapping navigation space to patient space in a medical procedure
WO2017042171A1 (en) 2015-09-10 2017-03-16 Koninklijke Philips N.V. Apparatus for imaging in a medical treatment
US20170084036A1 (en) 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
US10810799B2 (en) 2015-09-28 2020-10-20 Montefiore Medical Center Methods and devices for intraoperative viewing of patient 3D surface images
EP3389544A4 (en) * 2015-12-14 2019-08-28 Nuvasive, Inc. 3D VISUALIZATION DURING OPERATION WITH REDUCED RADIATION EXPOSURE
US10262424B2 (en) * 2015-12-18 2019-04-16 The Johns Hopkins University Method for deformable 3D-2D registration using multiple locally rigid registrations
CN113925610B (zh) 2015-12-31 2024-08-13 史赛克公司 用于在由虚拟对象限定的目标部位处对患者执行手术的系统和方法
DE102016200225B4 (de) 2016-01-12 2017-10-19 Siemens Healthcare Gmbh Perspektivisches Darstellen eines virtuellen Szenebestandteils
US11369436B2 (en) 2016-01-15 2022-06-28 7D Surgical Ulc Systems and methods for displaying guidance images with spatial annotations during a guided medical procedure
WO2019012520A1 (en) * 2017-07-08 2019-01-17 Vuze Medical Ltd. APPARATUS AND METHODS FOR USE WITH IMAGE-GUIDED SKELETAL PROCEDURES
CN114376588A (zh) * 2016-03-13 2022-04-22 乌泽医疗有限公司 用于与骨骼手术一起使用的设备及方法
IL245339A (en) 2016-04-21 2017-10-31 Rani Ben Yishai Method and system for verification of registration
SE542045C2 (en) 2016-05-15 2020-02-18 Ortoma Ab Calibration object, system, and method calibrating location of instrument in a navigation system
EP3471646B1 (en) 2016-06-17 2023-07-05 Zimmer, Inc. System for intraoperative surgical planning
WO2017219024A1 (en) 2016-06-17 2017-12-21 Children's National Medical Center Medical anatomy quantification: computer-aided diagnosis tool
EP3474765B1 (en) 2016-06-23 2023-08-02 7D Surgical ULC Systems and methods for intraoperative spinal level verification
WO2018006167A1 (en) 2016-07-04 2018-01-11 7D Surgical Inc. Systems and methods for determining intraoperative spinal orientation
EP3481319A4 (en) 2016-07-05 2020-02-12 7D Surgical Inc. SYSTEMS AND METHODS FOR CARRYING OUT AN INTRAOPERATIVE IMAGE REGISTER
US10799315B2 (en) 2016-07-26 2020-10-13 7D Surgical Inc. Systems and methods for verification of fiducial correspondence during image-guided surgical procedures
US10398514B2 (en) 2016-08-16 2019-09-03 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
CN110248618B (zh) 2016-09-09 2024-01-09 莫比乌斯成像公司 用于在计算机辅助手术中显示患者数据的方法及系统
US11839433B2 (en) 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
US10828114B2 (en) 2016-10-18 2020-11-10 Synaptive Medical (Barbados) Inc. Methods and systems for providing depth information
WO2018076109A1 (en) * 2016-10-24 2018-05-03 Torus Biomedical Solutions Inc. Systems and methods for producing real-time calibrated stereo long radiographic views of a patient on a surgical table
EP3545675A4 (en) 2016-11-24 2020-07-01 The University of Washington CAPTURE AND RESTITUTION OF LIGHT FIELD FOR HEADSETS
US11042989B2 (en) 2016-12-09 2021-06-22 Children's National Medical Center Image segmentation of complex structures
CA2960528C (en) 2017-03-08 2018-03-20 Synaptive Medical (Barbados) Inc. A depth-encoded fiducial marker for intraoperative surgical registration
US11712304B2 (en) 2017-06-23 2023-08-01 7D Surgical ULC. Systems and methods for performing intraoperative surface-based registration and navigation
US20190000372A1 (en) 2017-07-03 2019-01-03 Spine Align, Llc Intraoperative alignment assessment system and method
US11540767B2 (en) 2017-07-03 2023-01-03 Globus Medical Inc. Intraoperative alignment assessment system and method
US20200405395A1 (en) * 2017-07-03 2020-12-31 Spine Align, Llc Intraoperative alignment assessment system and method
US11633235B2 (en) 2017-07-31 2023-04-25 Children's National Medical Center Hybrid hardware and computer vision-based tracking system and method
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
US10561466B2 (en) * 2017-08-10 2020-02-18 Sectra Ab Automated planning systems for pedicle screw placement and related methods
CA3065436C (en) 2017-08-11 2023-03-07 Brainlab Ag Video based patient registration and tracking
US12073528B2 (en) * 2017-09-15 2024-08-27 Multus Medical Llc System and method for segmentation and visualization of medical image data
US10770175B2 (en) * 2017-09-15 2020-09-08 Multus Medical Llc System and method for segmentation and visualization of medical image data
EP3700457A4 (en) 2017-10-23 2021-11-17 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PRESENTATION OF AUGMENTED REALITY ON A DISPLAY OF A TELEOPERATION SYSTEM
US10832408B2 (en) 2017-10-26 2020-11-10 Synaptive Medical (Barbados) Inc. Patient registration systems, devices, and methods for a medical procedure
CN111356405B (zh) 2017-11-22 2024-05-28 马佐尔机器人有限公司 使用植入物成像来验证硬组织位置的方法
GB2572594A (en) 2018-04-04 2019-10-09 Corin Ltd Implant alignment system
US20190328465A1 (en) 2018-04-30 2019-10-31 Aih Llc System and method for real image view and tracking guided positioning for a mobile radiology or medical device
US10650573B2 (en) 2018-06-29 2020-05-12 Proprio, Inc. Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity
US10623660B1 (en) 2018-09-27 2020-04-14 Eloupes, Inc. Camera array for a mediated-reality system
JP7138802B2 (ja) 2019-01-23 2022-09-16 プロプリオ インコーポレイテッド 手術部位のメディエイテッドリアリティビューに対するリアルタイム手術画像への術前スキャン画像のアライメント
CN113473936A (zh) 2019-02-05 2021-10-01 史密夫和内修有限公司 机器人手术数据用于长期护理期
US20200297426A1 (en) 2019-03-22 2020-09-24 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
EP3993725A1 (en) 2019-07-03 2022-05-11 Stryker Corporation Obstacle avoidance techniques for surgical navigation
US11672607B2 (en) 2019-08-14 2023-06-13 Warsaw Orthopedic, Inc. Systems, devices, and methods for surgical navigation with anatomical tracking
US11944265B2 (en) 2019-08-16 2024-04-02 Intuitive Surgical Operations, Inc. Medical imaging systems and methods
CA3154216A1 (en) 2019-10-11 2021-04-15 Beyeonics Surgical Ltd. System and method for improved electronic assisted medical procedures
US20210177526A1 (en) * 2019-12-16 2021-06-17 Orthosoft Ulc Method and system for spine tracking in computer-assisted surgery
US11710249B2 (en) 2019-12-20 2023-07-25 Unify Medical, Inc. Generation of three-dimensional scans for intraoperative imaging
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US10949986B1 (en) 2020-05-12 2021-03-16 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene

Also Published As

Publication number Publication date
US20220215532A1 (en) 2022-07-07
US11295460B1 (en) 2022-04-05
US20240013412A1 (en) 2024-01-11
CA3207099A1 (en) 2022-07-07
AU2021414195A1 (en) 2023-07-20
US11741619B2 (en) 2023-08-29
WO2022147083A1 (en) 2022-07-07
AU2021414195A9 (en) 2024-10-17
EP4271303A1 (en) 2023-11-08

Similar Documents

Publication Publication Date Title
US11295460B1 (en) Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
EP3073894B1 (en) Corrected 3d imaging
US11734876B2 (en) Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity
JP6808320B2 (ja) 三次元物体上の注視点を決定するシステム
US20160163105A1 (en) Method of operating a surgical navigation system and a system using the same
KR20110016896A (ko) 다차원 영상 생성 방법 및 시스템
Hu et al. Head-mounted augmented reality platform for markerless orthopaedic navigation
Malti et al. Combining conformal deformation and cook–torrance shading for 3-d reconstruction in laparoscopy
JP2023511670A (ja) 多視点カメラシステムからのデータを用いるなどで深度センサからの深度データを増強する方法及びシステム
CN114730454A (zh) 场景感知系统和方法
CN117323002A (zh) 一种基于混合现实技术的神经内镜手术可视化系统
US20230015060A1 (en) Methods and systems for displaying preoperative and intraoperative image data of a scene
US20230123621A1 (en) Registering Intra-Operative Images Transformed from Pre-Operative Images of Different Imaging-Modality for Computer Assisted Navigation During Surgery
US20230196595A1 (en) Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
US20230355319A1 (en) Methods and systems for calibrating instruments within an imaging system, such as a surgical imaging system
EP4453872A1 (en) Methods and systems for registering initial image data to intraoperative image data of a scene
US20230147711A1 (en) Methods for generating stereoscopic views in multicamera systems, and associated devices and systems
US20240331329A1 (en) Method and system for superimposing two-dimensional (2d) images over deformed surfaces
EP4322114A1 (en) Projective bisector mirror
US20230394707A1 (en) Methods and systems for calibrating and/or verifying a calibration of an imaging system such as a surgical imaging system
Rong Projection-Based Spatial Augmented Reality for Interactive Visual Guidance in Surgery