JP7138802B2 - 手術部位のメディエイテッドリアリティビューに対するリアルタイム手術画像への術前スキャン画像のアライメント - Google Patents

手術部位のメディエイテッドリアリティビューに対するリアルタイム手術画像への術前スキャン画像のアライメント Download PDF

Info

Publication number
JP7138802B2
JP7138802B2 JP2021542469A JP2021542469A JP7138802B2 JP 7138802 B2 JP7138802 B2 JP 7138802B2 JP 2021542469 A JP2021542469 A JP 2021542469A JP 2021542469 A JP2021542469 A JP 2021542469A JP 7138802 B2 JP7138802 B2 JP 7138802B2
Authority
JP
Japan
Prior art keywords
patch
image
real
patient
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021542469A
Other languages
English (en)
Other versions
JP2022517132A (ja
Inventor
アール．ブラウド サムエル
アンドリュー ヤングクイスト ジェームズ
ガブリエル ジョーンズ アダム
Original Assignee
プロプリオ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by プロプリオ インコーポレイテッド filed Critical プロプリオ インコーポレイテッド
Publication of JP2022517132A publication Critical patent/JP2022517132A/ja
Application granted granted Critical
Publication of JP7138802B2 publication Critical patent/JP7138802B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3925—Markers, e.g. radio-opaque or breast lesions markers ultrasonic
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3991—Markers, e.g. radio-opaque or breast lesions markers having specific anchoring means to fixate the marker to the tissue, e.g. hooks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Architecture (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像のアライメントに関し、より詳細には、手術部位のメディエイテッドリアリティビューに対するリアルタイム手術画像への術前スキャン画像のアライメントに関する
手術を行うとき、多くの場合、外科医は、ＣＴ（computed tomography：コンピューター断層撮影）スキャン画像のような患者のアナトミーの術前３次元画像を当てにする。しかしながら、上記の術前画像の有用性は、画像を手術行為に容易に統合することができないので制限される。たとえば、画像が術前のセッションにおいてキャプチャされるので、術前画像にキャプチャされる相対的な解剖学的な位置は、手術行為の間、実際の位置と一致しないことがある。その上さらに、手術の間に術前画像を利用するのに、外科医は、注意を手術野と術前画像の表示とに割りふらなければならない。その上さらに、術前画像の異なる層の間を注意しながら進むことは、手術における外科医の焦点から奪い取る重要な注意を必要とすることがある。
イメージングシステムの例示的な態様である。 メディエイテッドリアリティ（mediated-reality）アシスト手術のためのイメージングシステムを使う手術環境の例である。 術前スキャン画像にリアルタイム手術画像をアライメントするための基準マーカー付きの身体パッチの態様の上面図である。 術前スキャン画像にリアルタイム手術画像をアライメントするための基準マーカー付きの身体パッチの態様の断面図である。 術前画像に基づいて手術部位のメディエイテッドリアリティビュー（mediated-reality view）を生成するための処理の態様を例示するフローチャートである。 患者が手術のために置かれた後にキャプチャされるポジショニング後の画像に、患者が手術のために置かれる前にキャプチャされる術前画像をアライメントするための処理の態様を例示する。
図面および次の説明は、例示のみとして、好ましい態様に関する。後に続く議論から、本明細書に開示される構造および方法の代替えの態様が、主張されるものの原理から逸脱することなく使われ得る実行可能な代替のものとして直ちに認められるだろうということは、特筆されるべきである。
今、詳細にいくつかの態様に言及され、例が添付の図面に例示される。実行可能な場合はいつでも、類似のまたは同一の参照符号化が、図面において使用されることがあり、類似のまたは同一の機能性を示し得ることが特筆される。図面は、例示のみの目的のために、開示されるシステム（または方法）の態様を描いている。当業者は、次の説明から、本明細書に例示される構造および方法の代替の態様が、本明細書に説明される原則から逸脱することなく、使われることがあることを直ちに認めるだろう。
外科用の適用に対するメディエイテッドリアリティシステム（mediated-reality system）は、術前画像と手術部位のリアルタイムにてキャプチャされる画像とを、外科の処置の間、外科医によって身につけられるヘッドマウントディスプレイに映されるビジュアライゼーションへ組み入れる。メディエイテッドリアリティシステムは、外科医の頭の位置をトラッキングし、外科医の頭の位置に対応するバーチャルカメラの視点から手術部位のリアルタイム画像を生成して、外科医に自然に見える地点を模倣する。その上さらに、メディエイテッドリアリティシステムは、バーチャルカメラの視点からのリアルタイム画像により術前画像をアライメントし、バーチャルカメラの視点を表すリアルタイム画像にオーバーレイされたアライメントされた術前３次元画像またはそれの選択された部分を有する手術部位のメディエイテッドリアリティビジュアライゼーション（mediated-reality visualization）を与える。ゆえに、メディエイテッドリアリティシステムは、解剖学的特徴がリアルタイム画像において外科医の視界から遮られ得るときでさえ、外科医に、切開をする前におよび処置の間じゅう、患者の基礎をなす３次元アナトミーを視覚化できるようにする。その上さらに、技術は、外科医の視界を手術部位から逸らさないやり方にてビジュアライゼーションを有益に提供し、ゆえに、高い能率および精度の手術を行う外科医の能力を高める。
態様にて、基準マーカー（fiducial marker）を含むパッチは、患者の身体に配置され、術前のイメージングの間、および患者が手術のために置かれた後に、所々に留まる。基準マーカーは、術前画像と、患者が手術のために置かれた後にキャプチャされるリアルタイム画像との両方において、メディエイテッドリアリティシステムによって認識されることが可能であるパターンを含む。メディエイテッドリアリティシステムは、両方の画像セットに見られる基準マーカーの検出された位置に基づいて、リアルタイム画像により術前画像をアライメントする。例えば、メディエイテッドリアリティシステムは、１つまたは複数の変換を術前画像に適用し、術前画像において検出される基準マーカーに、リアルタイム画像において検出される対応する基準マーカーによりアライメントさせ得る。
別の態様にて、超音波画像または透視画像のような３次元画像は、患者が手術のために置かれた後にキャプチャされることがあり、術前画像スキャンと手術のための患者のポジショニングとの間に起こる解剖学的特徴の３次元位置の変化を予測するのに利用され得る。次に、術前画像は、術前画像スキャンにおける解剖学的特徴のポジショニングを、患者が手術のために置かれた後にキャプチャされる３次元画像に見られる解剖学的特徴の検出される位置にアライメントするために曲げられて、起こることがある変化を補い得る。
その上さらに別の態様にて、基準マーカーとポジショニング後（post-positioning）の画像との組み合わせは、術前画像を、メディエイテッドリアリティビジュアライゼーションにおけるリアルタイム画像にアライメントするのに使用され得る。例えば、術前画像とポジショニング後の画像とが、比較されて、基準マーカーの位置が画像間の３次元空間においてどのように変化するのかを決定し、変換が、導出され、術前画像を変換して、ポジショニング後の画像におけるそれぞれのロケーションにより基準マーカーをアライメントし得る。
特定の例示的な態様にて、方法は、手術部位のメディエイテッドリアリティビュー（mediated reality view）を生成する。術前画像が、受信され、第１の位置における患者の３次元アナトミーを表す。術前画像に基づいて、座標が、患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間において特定される。カメラアレイからのリアルタイム画像は、患者が第２の位置に手術のために置かれた後に、受信される。リアルタイム画像に基づいて、３次元リアルタイム画像空間における座標が、特定され、患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する。変換が、術前画像に適用されて、術前画像における基準マーカーのロケーションを、リアルタイム画像における基準マーカーのロケーションに実質的にアライメントする。変換された術前画像は、リアルタイム画像上にオーバーレイされて、メディエイテッドリアリティビュー（mediated reality view）を生成し、メディエイテッドリアリティビューは、表示のためにディスプレイデバイスに提供される。
別の特定の態様にて、方法は、パッチ上の基準マーカーを必ずしも当てにすることなく、手術部位のメディエイテッドリアリティビューを生成する。本態様にて、術前画像が、受信され、第１の位置における患者の３次元アナトミーを表す。患者が第２の位置に手術のために置かれた後にキャプチャされたポジショニング後の画像が受信される。術前画像とポジショニング後の画像とに基づいて、術前画像とポジショニング後の画像とに見られる対応する特徴のセットが特定される。第１の変換が術前画像に適用されて、術前画像において対応する特徴のロケーションを、ポジショニング後の画像のそれぞれのロケーションに実質的にアライメントして、最初の変換された術前画像を生成する。カメラアレイは、患者のリアルタイム画像をキャプチャし、最初の変換された術前画像をリアルタイム画像にオーバーレイして、表示のためにディスプレイデバイスに提供される最初のメディエイテッドリアリティビューを生成する。上に説明された態様に関するさらなる詳細および追加の態様の説明が、以下に提供される。
図１は、画像処理デバイス１１０、カメラアレイ１２０、ディスプレイデバイス１４０、および入力コントローラー１５０を含むメディエイテッドリアリティシステム１００の例示的な態様を例示する。代替えの態様にて、メディエイテッドリアリティシステム１００は、追加のまたは異なる構成要素を含み得る。
カメラアレイ１２０は、各々がシーン１３０のそれぞれのリアルタイム画像１９０をキャプチャする複数のカメラ１２２（例えば、カメラ１２２－１、カメラ１２２－２、・・・、カメラ１２２－Ｎ）を含む。カメラ１２２は、それらの物理的なロケーションおよび向きが互いに関して固定されるように、特定の構成において物理的に配列され得る。例えば、カメラ１２２は、カメラ１２２を予め定義された固定されたロケーションおよび向きに搭載される取り付け構造によって構造的にしっかり固定され得る。カメラアレイ１２０のカメラ１２２は、隣接するカメラがシーン１３０の重なり合うビューを共有し得るように置かれ得る。その上さらに、カメラアレイ１２０におけるカメラ１２２は、シーン１３０の画像１９０を実質的に同時に（例えば、しきい値時間誤差内に）キャプチャするように同期され得る。その上さらに、カメラアレイ１２０は、構造化された光パターンをシーン１３０上に投影する１つまたは複数のプロジェクター１２４を含み得る。態様にて、カメラ１２２は、シーン１３０のライトフィールド情報をキャプチャするライトフィールドカメラを含み得る。ここで、カメラ１２２は、光の強度と、シーンを表す光線の方向との両方をキャプチャする。ゆえに、ライトフィールド画像１９０は、深度情報をエンコードし、シーンの再生成を３次元画像として可能にする。
画像処理デバイス１１０は、カメラアレイ１２０によってキャプチャされた画像１９０を受信し、画像を処理して、バーチャルカメラの視点に対応する出力画像を合成する。ここで、出力画像は、バーチャルカメラの視点に対応する任意の位置および向きに配置されたカメラによってキャプチャされるだろうシーン１３０の画像の近似に対応する。画像処理デバイス１１０は、カメラアレイ１２０におけるカメラ１２２のサブセット（例えば、１つまたは複数）からの出力画像を合成するが、必ずしもすべてのカメラ１２２からの画像１９０を利用しない。例えば、与えられたバーチャルカメラの視点に対して、画像処理デバイス１１０は、バーチャルカメラの視点に最も密接に調和するように置かれたおよび向き付けられた２つのカメラ１２２から画像の立体映像のペア１９０を選択し得る。その上さらに、画像処理デバイス１１０は、プロジェクターによってシーン１３０上に投影された構造化された光を検出して、シーンの深度情報を推定し得る。深度情報が、カメラ１２２からの画像１９０と組み合わされて、バーチャルカメラの視点から見られるシーン１３０として、３次元レンダリングとして出力画像を合成し得る。代替えとして、構造化された光のプロジェクター１２４は省略されることがあり、画像処理デバイス１１０は、１つまたは複数のカメラ１２２によってキャプチャされた画像１９０から単独において３次元レンダリングを導出することがある。
バーチャルカメラの視点は、バーチャルカメラの視点の位置および向きに対応する制御入力を提供する入力コントローラー１５０によって制御され得る。バーチャルカメラの視点に対応する出力画像は、ディスプレイデバイス１４０に出力され、ディスプレイデバイス１４０によって表示される。出力画像は、バーチャルカメラの視点を表すビデオを合成するために、高フレームレートで更新され得る。その上さらに、画像処理デバイス１１０は、入力コントローラー１５０から受信した入力を有益に処理し、カメラアレイ１２０からキャプチャされた画像１９０を処理して、ディスプレイデバイス１４０の見る人によって知覚される実質的にリアルタイム（例えば、少なくともカメラアレイ１２０のフレームレートと同じ速さ）にて仮想視点に対応する出力画像を生成し得る。
その上さらに、画像処理デバイス１１０は、例えば、ＣＴスキャン画像、超音波画像、または透視画像のような３次元の容積を表す術前画像１７０を受信し得る。以下にさらに詳細に説明されるように、画像処理デバイス１１０は、カメラアレイ１２０によってキャプチャされたリアルタイム画像１９０の視覚的特徴に対応する術前画像１７０における視覚的特徴を検出し得る。次に、画像処理デバイス１１０は、１つまたは複数の変換を術前画像１７０に適用して、術前画像１７０（またはその一部）において検出された特徴を、リアルタイム画像１９０において検出された対応する特徴にアライメントし得る。画像処理デバイス１１０は、フレームごとベースに１つまたは複数の変換を適用されることがあり、術前画像１７０が、仮想視点が変化するように、各フレームにおけるリアルタイム画像１９０によりアライメントされる。画像処理デバイス１１０は、術前画像１７０をリアルタイム画像１９０によりオーバーレイして、外科医に、手術部位と、手術を受けている患者の基礎をなす３次元アナトミーとを同時に視覚化できるメディエイテッドリアリティビューを与える。
態様にて、シーン１３０（例えば、手術患者の身体）は、術前画像１７０をキャプチャする前に、基準マーカーを含むパッチ１６０により用意され得る。画像処理デバイス１１０は、術前画像１７０とリアルタイム画像１９０とにおける特徴の間の対応を識別することを可能にする基準マーカーの特定の特徴を識別し得る。画像処理デバイス１１０は、術前画像１７０における基準マーカーのパターンが、カメラアレイ１２０からのリアルタイム画像１９０に見られる対応するパターンとアライメントされることになるようなやり方において、術前画像１７０に変換を適用することがある。例えば、術前画像１７０は、基準マーカーを、リアルタイム画像１９０において対応する基準マーカーとアライメントさせるために、平行移動される、回転される、および／または曲げられることがある。
態様にて、オプションとして、さらに、画像処理デバイス１１０は、患者が手術のために置かれた後、シーン１３０のキャプチャされた１つまたは複数のポジショニング後の３次元画像１８０も受信する。例えば、ポジショニング後画像１８０は、患者が手術のために置かれた後にキャプチャされた超音波画像または透視画像を含み得る。画像処理デバイス１１０は、術前画像１７０に適用して術前画像１７０をリアルタイム画像１９０にアライメントするための変換を決定する際に、ポジショニング後画像１８０を利用することがある。態様にて、画像処理デバイス１１０は、ポジショニング後画像１８０における基準マーカーまたは解剖学的特徴を識別し、１つまたは複数の変換を術前画像１７０に適用して、術前画像１７０をポジショニング後画像１８０とアライメントすることがある。今述べた変換ステップは、術前画像１７０をキャプチャしてから手術のために患者をポジショニングするまでの間に発生し得る解剖学的要素のポジショニングの変化に対して、術前画像１７０を有益に訂正することがある。
画像処理デバイス１１０は、プロセッサーと、プロセッサーによって実行されると、本明細書に説明される画像処理デバイス１１０に属する機能を実行する命令を格納する非一時的なコンピューター読み取り可能記録媒体とを含むことがある。
例えば、ディスプレイデバイス１４０は、画像処理デバイス１１０から受信した出力画像を表示するためのヘッドマウントディスプレイデバイスまたは他のディスプレイデバイスを含むことがある。態様にて、入力コントローラー１５０およびディスプレイデバイス１４０は、ヘッドマウントディスプレイデバイスに統合され、入力コントローラー１５０は、ヘッドマウントディスプレイデバイスの位置および向きを検出する動きセンサーを含む。次に、仮想視点は、ヘッドマウントディスプレイデバイスの位置および向きに対応するように導出されることが可能であり、仮想視点が、ヘッドマウントディスプレイデバイスを装着している見る人によって見られるだろう視点に対応する。ゆえに、本態様にて、ヘッドマウントディスプレイデバイスは、ヘッドマウントディスプレイなしの観察者によって見られるように、シーンのリアルタイムレンダリングを提供することが可能である。代替えとして、入力コントローラー１５０は、見る人に、ディスプレイデバイスによって表示される仮想視点を手動により制御することを可能にするユーザーコントロールの制御デバイス（例えば、マウス、ポインティングデバイス、ハンドヘルドコントローラー、ジェスチャ認識コントローラーなど）を含み得る。
図２は、外科用の適用に対するメディエイテッドリアリティシステム１００の例示的な態様を例示する。ここで、カメラアレイ１２０の態様は、シーン１３０（この場合、手術部位）上に置かれ、ワークステーション２０４に取り付けられたスイングアーム２０２を介して置かれることが可能である。スイングアーム２０２は、手で動かされることがある、または入力コントローラー１５０に応答してロボットのように制御されることがある。ワークステーション２０４は、カメラアレイ１２０およびディスプレイデバイス１４０の種々の機能を制御するコンピューターを含むことがあり、その上さらに、種々の構成機能を実行するためのユーザインターフェースを表示することが可能ある第２のディスプレイを含むことがある、またはディスプレイデバイス１４０におけるディスプレイをミラーリングし得る。画像処理デバイス１２０および入力コントローラー１５０は、各々、ワークステーション２０４、ディスプレイデバイス１４０、またはそれらの組み合わせに統合され得る。
図３Ａは、メディエイテッドリアリティシステム１００において、術前画像１７０をリアルタイムにてキャプチャされた画像１９０とアライメントするために利用され得る、患者３００に適用されたパッチ１６０の例示的な態様を例示する。態様にて、パッチ１６０は、患者の皮膚に適用され、患者の身体の輪郭に一致させることが可能である薄くしなやかな粘着性パッチを含む。パッチ１６０は、関係のある外科の処置に対して関心のある解剖学的構造（例えば、脊椎動物３１０）に最も近く置かれ得る。パッチ１６０は、異なる視点からおよび異なるライティング状態の下に見られるときでさえ、術前画像１７０およびリアルタイム画像１９０の両方において画像処理デバイス１１０によって一意的に識別されることが可能である３次元基準マーカー３２０のパターンを含み得る。例えば、基準マーカー３２０は、各々、認識可能な３次元ジオメトリを形成する１つまたは複数のふくらんだ表面を含み得る。態様にて、各マーカーは、パッチ１６０の特定の領域内において一意的であり得る。態様にて、パッチ１６０は、各々が唯一の３次元ジオメトリを有し、各々、術前画像１７０およびリアルタイム画像１９０において一意的に認識されることが可能であり、各々、人体における特定の位置に相関させることが可能である基準マーカーのグリッド（同じ形または同じではない形であり得る）を含む。基準マーカー３２０は、各々、超音波画像または放射線非透過性画像（radio opaque image）によって区別されることが可能である異なる密度の材料を含み得る。
態様にて、パッチ１６０は、穴をあけられた境界によって分離された断片に分割され得る。切り取り点線は、パッチ１６０の１つまたは複数の断片に、パッチ１６０全体を取り除くことなく、患者から容易に取り除かれることを可能にする。例えば、１つの使用例にて、外科医は、患者が手術のために置かれ、画像処理デバイス１１０が初期アライメント計算を実行した後に、望まれる切開のロケーションの上のパッチの断片を取り除くことがある。切開のロケーションの真上にないパッチ１６０の残りの断片は、所々に留まることがある。画像処理システム１１０は、アライメントを更新するために、動作全体を通して、パッチ１６０の残りの部分における基準マーカー３２０を検出し続けることがある。
図３Ｂは、パッチ１６０と統合され得る例示的な基準マーカー３２０の例示的な断面図を示す。例示されるように、基準マーカー３２０は、様々な３次元構造を有し、マーカー３２０に、リアルタイム画像１９０、術前画像１７０、およびポジショニング後画像１８０において互いから区別されることを可能にする様々な密度を含み得る。
図４は、リアルタイム画像１９０上にアライメントされ、オーバーレイされた術前画像１７０を用いて、手術部位のメディエイテッドリアリティビジュアライゼーションを生成するための処理の例示的な態様を例示する。画像処理デバイス１１０は、術前画像１７０を受信する４０２。画像処理デバイス１１０は、術前画像１７０における基準マーカーのロケーションに対応するそれぞれの３次元座標を特定する４０４。例えば、画像処理デバイス１１０は、術前画像１７０における基準マーカーを検出し、基準マーカーを、術前画像空間における人体のロケーションを表す３次元座標の第１のセットにマッピングする。例えば、画像処理デバイス１１０は、基準マーカーの一意的に認識可能な構造とパッチ１６０上のそれらの対応するロケーションとの間の予め定義されたマッピングを取得することがある。画像処理デバイス１１０は、カメラアレイ１２０によってキャプチャされたシーンのリアルタイム画像１９０を受信する４０６。画像処理デバイス１１０は、リアルタイム画像１９０における基準マーカーのロケーションに対応するそれぞれの３次元座標を特定する４０８。例えば、画像処理デバイス１１０は、リアルタイム画像１９０における基準マーカーを検出し、各基準マーカーを、リアルタイム画像空間における人体上のロケーションを表す３次元座標の第２のセットにマッピングする。次に、画像処理デバイス１１０は、術前画像１７０に１つまたは複数の変換を適用して４１０、術前画像１７０における基準マーカーのパターンをリアルタイム画像１９０におけるパターンに実質的にアライメントする。例えば、一態様にて、画像処理デバイス１１０は、最適化アルゴリズムを行って、術前画像１７０におけるパターンの変換された座標の間の距離を、リアルタイム画像１９０におけるパターンの対応する座標により最小化する変換を特定する。画像処理デバイス１１０は、変換された術前画像をリアルタイム画像にオーバーレイして４１２、メディエイテッドリアリティビューを生成する。次に、メディエイテッドリアリティビューは、表示のためにディスプレイデバイス１４０に提供される４１４。
図５は、患者が手術のために置かれた後にキャプチャされるポジショニング後画像１８０に、患者が手術のために置かれる前にキャプチャされる術前画像１７０をアライメントするための処理の態様を例示する。画像処理デバイス１１０は、術前画像１７０を受信する５０２。術前画像は、例えば、ＣＴスキャン画像を含み得る。画像処理デバイス１１０は、患者が手術のために置かれた後にキャプチャされたポジショニング後画像１８０を受信する５０４。ポジショニング後画像１８０は、例えば、超音波画像または透視画像を含み得る。画像処理デバイス１１０は、術前画像１７０およびポジショニング後画像１８０の両方に見られる対応する特徴のセット（例えば、パッチ上の解剖学的特徴または基準マーカー）を特定する５０６。次に、画像処理デバイス１１０は、変換を術前画像１７０に適用して５０８、術前画像において対応する特徴のロケーションをポジショニング後画像１８０のロケーションに実質的にアライメントする。例えば、画像処理デバイス１１０は、平行移動、回転、曲げ、またはそれらの組み合わせを適用して、術前画像１７０における特徴の変換された座標の間の距離を、ポジショニング後画像１８０における対応する特徴の座標により最小化することがある。変換は、術前画像１７０をキャプチャすることと手術のために患者を置くこととの間に起こり得る解剖学的特徴の位置の変化を有益に補う。変換された術前画像１７０は、次に、カメラアレイ１２０によってキャプチャされたリアルタイム画像１９０にオーバーレイされ５１０、手術部位のメディエイテッドリアリティビューとして、表示のためにディスプレイデバイス１４０に提供され５１２得る。
その上さらに別の態様にて、変換は、ポジショニング後画像１８０と、リアルタイム画像１９０において検出された基準マーカーとの両方に基づいて、術前画像１７０に適用され得る。例えば、一態様にて、第１の変換は、図５の処理にしたがって術前画像１７０に適用されて、最初の変換を取得する。第２の変換は、次に、図４の処理に従って適用されて、術前画像１７０およびリアルタイム画像１９０において検出された基準マーカーのパターンに基づいて、各画像フレームにおけるアライメントをリファインする。
本開示を読むとすぐに、当業者は、本明細書の原理から開示されるように、開示された態様に対してさらに追加の代替えの構造的および機能的設計を理解するだろう。ゆえに、特定の態様および適用が例示され説明されたが、開示された態様は、本明細書に開示された正確な構造および構成要素に限定されないことが理解されるべきである。当業者には明らかである種々の修正、変更、および変形は、説明された態様の範囲から逸脱することなく、本明細書に開示される方法およびシステムの配置、操作、および詳細においてなされ得る。

Claims (24)

  1. 手術部位のメディエイテッドリアリティビューをプロセッサーによって生成するための方法であって、
    第１の位置における患者の３次元アナトミーを表す術前画像を前記プロセッサーが受信することと、
    前記術前画像に基づいて、前記患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間における座標を前記プロセッサーが特定することであって、前記パッチは、前記患者の身体の上に配置され、前記基準マーカーは、前記パッチの上に配置される、ことと、
    前記患者が第２の位置に手術のために置かれた後にカメラアレイからリアルタイム画像を前記プロセッサーが受信することと、
    前記リアルタイム画像に基づいて、前記患者に適用された前記パッチに与えられた前記基準マーカーの前記ロケーションに対応する３次元リアルタイム画像空間における座標を前記プロセッサーが特定することと、
    前記術前画像に変換を適用して、前記リアルタイム画像における前記基準マーカーの前記ロケーションに、前記術前画像における前記基準マーカーの前記ロケーションを前記プロセッサーがアライメントすることとであって、前記変換を適用することは、
    最適化アルゴリズムを行って、前記術前画像における前記基準マーカーのパターンの変換された座標の間の距離を、前記リアルタイム画像における前記パターンの前記座標により最小化する前記変換を特定すること
    を含む、ことと、
    前記変換された術前画像を前記リアルタイム画像にオーバーレイして、前記メディエイテッドリアリティビューを前記プロセッサーが生成することと、
    表示のためにディスプレイデバイスに前記メディエイテッドリアリティビューを前記プロセッサーが提供することと
    を備えることを特徴とする方法。
  2. 前記パッチは、関心のある解剖学的構造に最も近く置かれるしなやかな粘着性パッチを含むことを特徴とする請求項１に記載の方法。
  3. 手術部位のメディエイテッドリアリティビューをプロセッサーによって生成するための方法であって、
    第１の位置における患者の３次元アナトミーを表す術前画像を前記プロセッサーが受信することと、
    前記術前画像に基づいて、前記患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間における座標を前記プロセッサーが特定することであって、前記基準マーカーは、１つまたは複数のふくらんだ表面を含む３次元構造を含み、前記基準マーカーの各々は、前記パッチにおける他の基準マーカーに関して一意的なジオメトリを有し、前記パッチは、前記患者の身体の上に配置され、前記基準マーカーは、前記パッチの上に配置される、ことと、
    前記患者が第２の位置に手術のために置かれた後にカメラアレイからリアルタイム画像を前記プロセッサーが受信することと、
    前記リアルタイム画像に基づいて、前記患者に適用された前記パッチに与えられた前記基準マーカーの前記ロケーションに対応する３次元リアルタイム画像空間における座標を前記プロセッサーが特定することと、
    前記術前画像に変換を適用して、前記リアルタイム画像における前記基準マーカーの前記ロケーションに、前記術前画像における前記基準マーカーの前記ロケーションを前記プロセッサーがアライメントすることと、
    前記変換された術前画像を前記リアルタイム画像にオーバーレイして、前記メディエイテッドリアリティビューを前記プロセッサーが生成することと、
    表示のためにディスプレイデバイスに前記メディエイテッドリアリティビューを前記プロセッサーが提供することと
    を備えることを特徴とする方法。
  4. 前記基準マーカーは、前記パッチにおけるグリッドに配列されることを特徴とする請求項１に記載の方法。
  5. 手術部位のメディエイテッドリアリティビューをプロセッサーによって生成するための方法であって、
    第１の位置における患者の３次元アナトミーを表す術前画像を前記プロセッサーが受信することと、
    前記術前画像に基づいて、前記患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間における座標を前記プロセッサーが特定することであって、前記基準マーカーは、視覚的に区別できる異なる密度の材料を含み、前記パッチは、前記患者の身体の上に配置され、前記基準マーカーは、前記パッチの上に配置される、ことと、
    前記患者が第２の位置に手術のために置かれた後にカメラアレイからリアルタイム画像を前記プロセッサーが受信することと、
    前記リアルタイム画像に基づいて、前記患者に適用された前記パッチに与えられた前記基準マーカーの前記ロケーションに対応する３次元リアルタイム画像空間における座標を前記プロセッサーが特定することと、
    前記術前画像に変換を適用して、前記リアルタイム画像における前記基準マーカーの前記ロケーションに、前記術前画像における前記基準マーカーの前記ロケーションを前記プロセッサーがアライメントすることと、
    前記変換された術前画像を前記リアルタイム画像にオーバーレイして、前記メディエイテッドリアリティビューを前記プロセッサーが生成することと、
    表示のためにディスプレイデバイスに前記メディエイテッドリアリティビューを前記プロセッサーが提供することと
    を備えることを特徴とする方法。
  6. 前記パッチは、前記パッチを断片に裂くための穴をあけられた境界を含むことを特徴とする請求項１に記載の方法。
  7. 手術部位のメディエイテッドリアリティビューを生成するための命令を格納する非一時的なコンピューター読み取り可能記録媒体であって、前記命令は、プロセッサーによって実行されると、前記プロセッサーに、
    第１の位置における患者の３次元アナトミーを表す術前画像を受信することと、
    前記術前画像に基づいて、前記患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間における座標を特定することであって、前記パッチは、前記患者の身体の上に配置され、前記基準マーカーは、前記パッチの上に配置される、ことと、
    前記患者が第２の位置に手術のために置かれた後にカメラアレイからリアルタイム画像を受信することと、
    前記リアルタイム画像に基づいて、前記患者に適用された前記パッチに与えられた前記基準マーカーの前記ロケーションに対応する３次元リアルタイム画像空間における座標を特定することと、
    前記術前画像に変換を適用して、前記リアルタイム画像における前記基準マーカーの前記ロケーションに、前記術前画像における前記基準マーカーの前記ロケーションをアライメントすることとであって、前記変換を適用することは、
    最適化アルゴリズムを行って、前記術前画像における前記基準マーカーのパターンの変換された座標の間の距離を、前記リアルタイム画像における前記パターンの前記座標により最小化する前記変換を特定すること
    を含む、ことと、
    前記変換された術前画像を前記リアルタイム画像にオーバーレイして、前記メディエイテッドリアリティビューを生成することと、
    表示のためにディスプレイデバイスに前記メディエイテッドリアリティビューを提供することと
    を含むステップを行わせることを特徴とする非一時的なコンピューター読み取り可能記録媒体。
  8. 前記パッチは、関心のある解剖学的構造に最も近く置かれるしなやかな粘着性パッチを含むことを特徴とする請求項３に記載の方法。
  9. 前記基準マーカーは、前記パッチにおけるグリッドに配列されることを特徴とする請求項３に記載の方法。
  10. 前記パッチは、前記パッチを断片に裂くための穴をあけられた境界を含むことを特徴とする請求項３に記載の方法。
  11. 前記パッチは、関心のある解剖学的構造に最も近く置かれるしなやかな粘着性パッチを含むことを特徴とする請求項５に記載の方法。
  12. 前記基準マーカーは、前記パッチにおけるグリッドに配列されることを特徴とする請求項５に記載の方法。
  13. 前記パッチは、前記パッチを断片に裂くための穴をあけられた境界を含むことを特徴とする請求項５に記載の方法。
  14. 前記パッチは、関心のある解剖学的構造に最も近く置かれるしなやかな粘着性パッチを含むことを特徴とする請求項７に記載の非一時的なコンピューター読み取り可能記録媒体。
  15. 前記基準マーカーは、前記パッチにおけるグリッドに配列されることを特徴とする請求項７に記載の非一時的なコンピューター読み取り可能記録媒体。
  16. 前記パッチは、前記パッチを断片に裂くための穴をあけられた境界を含むことを特徴とする請求項７に記載の非一時的なコンピューター読み取り可能記録媒体。
  17. 手術部位のメディエイテッドリアリティビューを生成するための命令を格納する非一時的なコンピューター読み取り可能記録媒体であって、前記命令は、プロセッサーによって実行されると、前記プロセッサーに、
    第１の位置における患者の３次元アナトミーを表す術前画像を受信することと、
    前記術前画像に基づいて、前記患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間における座標を特定することであって、前記基準マーカーは、１つまたは複数のふくらんだ表面を含む３次元構造を含み、前記基準マーカーの各々は、前記パッチにおける他の基準マーカーに関して一意的なジオメトリを有し、前記パッチは、前記患者の身体の上に配置され、前記基準マーカーは、前記パッチの上に配置される、ことと、
    前記患者が第２の位置に手術のために置かれた後にカメラアレイからリアルタイム画像を受信することと、
    前記リアルタイム画像に基づいて、前記患者に適用された前記パッチに与えられた前記基準マーカーの前記ロケーションに対応する３次元リアルタイム画像空間における座標を特定することと、
    前記術前画像に変換を適用して、前記リアルタイム画像における前記基準マーカーの前記ロケーションに、前記術前画像における前記基準マーカーの前記ロケーションをアライメントすることと、
    前記変換された術前画像を前記リアルタイム画像にオーバーレイして、前記メディエイテッドリアリティビューを生成することと、
    表示のためにディスプレイデバイスに前記メディエイテッドリアリティビューを提供することと
    を含むステップを行わせることを特徴とする非一時的なコンピューター読み取り可能記録媒体。
  18. 前記パッチは、関心のある解剖学的構造に最も近く置かれるしなやかな粘着性パッチを含むことを特徴とする請求項１７に記載の非一時的なコンピューター読み取り可能記録媒体。
  19. 前記基準マーカーは、前記パッチにおけるグリッドに配列されることを特徴とする請求項１７に記載の非一時的なコンピューター読み取り可能記録媒体。
  20. 前記パッチは、前記パッチを断片に裂くための穴をあけられた境界を含むことを特徴とする請求項１７に記載の非一時的なコンピューター読み取り可能記録媒体。
  21. 手術部位のメディエイテッドリアリティビューを生成するための命令を格納する非一時的なコンピューター読み取り可能記録媒体であって、前記命令は、プロセッサーによって実行されると、前記プロセッサーに、
    第１の位置における患者の３次元アナトミーを表す術前画像を受信することと、
    前記術前画像に基づいて、前記患者に適用されたパッチに与えられた基準マーカーのロケーションに対応する３次元術前画像空間における座標を特定することであって、前記基準マーカーは、視覚的に区別できる異なる密度の材料を含み、前記パッチは、前記患者の身体の上に配置され、前記基準マーカーは、前記パッチの上に配置される、ことと、
    前記患者が第２の位置に手術のために置かれた後にカメラアレイからリアルタイム画像を受信することと、
    前記リアルタイム画像に基づいて、前記患者に適用された前記パッチに与えられた前記基準マーカーの前記ロケーションに対応する３次元リアルタイム画像空間における座標を特定することと、
    前記術前画像に変換を適用して、前記リアルタイム画像における前記基準マーカーの前記ロケーションに、前記術前画像における前記基準マーカーの前記ロケーションをアライメントすることと、
    前記変換された術前画像を前記リアルタイム画像にオーバーレイして、前記メディエイテッドリアリティビューを生成することと、
    表示のためにディスプレイデバイスに前記メディエイテッドリアリティビューを提供することと
    を含むステップを行わせることを特徴とする非一時的なコンピューター読み取り可能記録媒体。
  22. 前記パッチは、関心のある解剖学的構造に最も近く置かれるしなやかな粘着性パッチを含むことを特徴とする請求項２１に記載の非一時的なコンピューター読み取り可能記録媒体。
  23. 前記基準マーカーは、前記パッチにおけるグリッドに配列されることを特徴とする請求項２１に記載の非一時的なコンピューター読み取り可能記録媒体。
  24. 前記パッチは、前記パッチを断片に裂くための穴をあけられた境界を含むことを特徴とする請求項２１に記載の非一時的なコンピューター読み取り可能記録媒体。
JP2021542469A 2019-01-23 2020-01-22 手術部位のメディエイテッドリアリティビューに対するリアルタイム手術画像への術前スキャン画像のアライメント Active JP7138802B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962796065P 2019-01-23 2019-01-23
US62/796,065 2019-01-23
PCT/US2020/014674 WO2020154448A1 (en) 2019-01-23 2020-01-22 Aligning pre-operative scan images to real-time operative images for a mediated-reality view of a surgical site

Publications (2)

Publication Number Publication Date
JP2022517132A JP2022517132A (ja) 2022-03-04
JP7138802B2 true JP7138802B2 (ja) 2022-09-16

Family

ID=71609486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021542469A Active JP7138802B2 (ja) 2019-01-23 2020-01-22 手術部位のメディエイテッドリアリティビューに対するリアルタイム手術画像への術前スキャン画像のアライメント

Country Status (5)

Country Link
US (2) US10912625B2 (ja)
EP (1) EP3897346A4 (ja)
JP (1) JP7138802B2 (ja)
CA (1) CA3127605C (ja)
WO (1) WO2020154448A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017114834A1 (en) * 2015-12-29 2017-07-06 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
US20210153959A1 (en) * 2019-11-26 2021-05-27 Intuitive Surgical Operations, Inc. Physical medical element affixation systems, methods, and materials
US11295460B1 (en) 2021-01-04 2022-04-05 Proprio, Inc. Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
CA3226288A1 (en) * 2021-07-13 2023-01-19 Proprio, Inc. Methods and systems for displaying preoperative and intraoperative image data of a scene

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013531525A (ja) 2010-06-13 2013-08-08 アンジオメトリックス コーポレーション 血管内腔の情報を決定し、医療用デバイスをガイドするための方法およびシステム
WO2014200017A1 (ja) 2013-06-11 2014-12-18 Tanji Atsushi 骨切支援システム、情報処理装置、画像処理方法、および画像処理プログラム
JP2016539768A (ja) 2013-11-11 2016-12-22 アエスキュラップ アーゲー 外科用参照装置、外科用誘導システム及び方法
WO2018195529A1 (en) 2017-04-21 2018-10-25 Samadani Uzma Using augmented reality in surgical navigation

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
US6990220B2 (en) * 2001-06-14 2006-01-24 Igo Technologies Inc. Apparatuses and methods for surgical navigation
US8126224B2 (en) * 2004-02-03 2012-02-28 Ge Medical Systems Global Technology Company, Llc Method and apparatus for instrument tracking on a scrolling series of 2D fluoroscopic images
US8165659B2 (en) * 2006-03-22 2012-04-24 Garrett Sheffer Modeling method and apparatus for use in surgical navigation
US20070238982A1 (en) * 2006-03-29 2007-10-11 Caylor Edward J Iii System and method for monitoring kinematic motion of a patient
US8108025B2 (en) * 2007-04-24 2012-01-31 Medtronic, Inc. Flexible array for use in navigated surgery
WO2009042155A2 (en) * 2007-09-24 2009-04-02 Surgivision, Inc. Mri-compatible patches and methods for using the same
KR101862438B1 (ko) * 2011-07-18 2018-05-29 톰슨 라이센싱 트리 구조들의 적응적 엔트로피 코딩을 위한 방법
US9314219B2 (en) * 2013-02-27 2016-04-19 Paul J Keall Method to estimate real-time rotation and translation of a target with a single x-ray imager
US20170042631A1 (en) 2014-04-22 2017-02-16 Surgerati, Llc Intra-operative medical image viewing system and method
JP2017524281A (ja) * 2014-05-20 2017-08-24 ユニヴァーシティ オブ ワシントン 媒介現実の外科用視覚化のためのシステム及び方法
US9734595B2 (en) * 2014-09-24 2017-08-15 University of Maribor Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds
EP3221809A1 (en) * 2014-11-18 2017-09-27 Koninklijke Philips N.V. User guidance system and method, use of an augmented reality device
EP3163536B1 (en) * 2015-10-30 2021-12-08 Dassault Systèmes Compression of a three-dimensional modeled object
JP2019534717A (ja) * 2016-08-16 2019-12-05 インサイト メディカル システムズ インコーポレイテッド 医療処置における感覚増強のためのシステム
JP7012302B2 (ja) * 2016-09-16 2022-01-28 インテリジェンスファクトリー合同会社 手術支援端末及びプログラム
US20180092698A1 (en) 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use
EP3545675A4 (en) 2016-11-24 2020-07-01 The University of Washington CAPTURE AND RESTITUTION OF LIGHT FIELD FOR HEADSETS
KR20200015803A (ko) 2017-07-03 2020-02-12 스파인 얼라인, 엘엘씨 수술 중 정렬 평가 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013531525A (ja) 2010-06-13 2013-08-08 アンジオメトリックス コーポレーション 血管内腔の情報を決定し、医療用デバイスをガイドするための方法およびシステム
WO2014200017A1 (ja) 2013-06-11 2014-12-18 Tanji Atsushi 骨切支援システム、情報処理装置、画像処理方法、および画像処理プログラム
JP2016539768A (ja) 2013-11-11 2016-12-22 アエスキュラップ アーゲー 外科用参照装置、外科用誘導システム及び方法
WO2018195529A1 (en) 2017-04-21 2018-10-25 Samadani Uzma Using augmented reality in surgical navigation

Also Published As

Publication number Publication date
CA3127605A1 (en) 2020-07-30
WO2020154448A1 (en) 2020-07-30
US20200229893A1 (en) 2020-07-23
US20200375689A1 (en) 2020-12-03
EP3897346A1 (en) 2021-10-27
US11376096B2 (en) 2022-07-05
US10912625B2 (en) 2021-02-09
EP3897346A4 (en) 2022-09-28
JP2022517132A (ja) 2022-03-04
US20220265385A1 (en) 2022-08-25
CA3127605C (en) 2022-08-02

Similar Documents

Publication Publication Date Title
JP7138802B2 (ja) 手術部位のメディエイテッドリアリティビューに対するリアルタイム手術画像への術前スキャン画像のアライメント
US10258427B2 (en) Mixed reality imaging apparatus and surgical suite
US11350072B1 (en) Augmented reality guidance for bone removal and osteotomies in spinal surgery including deformity correction
JP2022527360A (ja) 空間トラッキングシステムと拡張現実ディスプレイとのレジストレーション
US11896441B2 (en) Systems and methods for measuring a distance using a stereoscopic endoscope
CN113950301A (zh) 用于计算机引导手术的系统
NL2022371B1 (en) Method and assembly for spatial mapping of a model of a surgical tool onto a spatial location of the surgical tool, as well as a surgical tool
CN113034700A (zh) 基于移动终端的前交叉韧带重建手术导航方法及系统
CN110638525B (zh) 整合扩增实境的手术导航系统
US11998401B2 (en) Aligning pre-operative scan images to real-time operative images for a mediated-reality view of a surgical site
JP6943884B2 (ja) ハイブリッドｘ線／カメラ介入の動き補償
JP6306532B2 (ja) ３次元データ処理システム、方法、及びプログラム並びに３次元モデル、並びに３次元モデル造形装置
JP2019161558A (ja) 臓器追跡装置、臓器追跡方法及び臓器追跡プログラム
US12010285B2 (en) Augmented reality guidance for spinal surgery with stereoscopic displays
US20230196595A1 (en) Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
Sauer et al. Augmented reality visualization for thoracoscopic spine surgery

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210921

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210921

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220906

R150 Certificate of patent or registration of utility model

Ref document number: 7138802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150