JP2023520618A - 多視点姿勢推定を使用するための方法及びシステム - Google Patents

多視点姿勢推定を使用するための方法及びシステム Download PDF

Info

Publication number
JP2023520618A
JP2023520618A JP2022545135A JP2022545135A JP2023520618A JP 2023520618 A JP2023520618 A JP 2023520618A JP 2022545135 A JP2022545135 A JP 2022545135A JP 2022545135 A JP2022545135 A JP 2022545135A JP 2023520618 A JP2023520618 A JP 2023520618A
Authority
JP
Japan
Prior art keywords
pose
image
medical images
images
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022545135A
Other languages
English (en)
Inventor
セズガノフ、ディーマ
アミト、トマー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Body Vision Medical Ltd
Original Assignee
Body Vision Medical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Body Vision Medical Ltd filed Critical Body Vision Medical Ltd
Publication of JP2023520618A publication Critical patent/JP2023520618A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • A61B6/547—Control of apparatus or devices for radiation diagnosis involving tracking of position of the device or parts of the device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

方法は、医療画像化デバイスが回転によって移動する間に医療画像化デバイスによって撮影された、複数の目標物を含む対象領域を示す一連の医療画像を受信することと、目標物が見えている一連の医療画像のサブセットの各々の姿勢を決定することと、サブセットの決定された姿勢及び画像化デバイスの軌道制約に基づいて、医療画像化デバイスの軌道を推定することと、目標物が見えていない医療画像のうちの１つの姿勢を、医療画像化デバイスの移動が継続するとの仮定に基づく外挿によって決定することと、少なくとも、サブセットの姿勢のうちの少なくともいくつか、及び目標物が見えていない医療画像のうちの１つの姿勢に基づいて、対象領域に関する立体的再構築を決定することと、を含む。

Description

本願は、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＵＳＩＮＧ ＭＵＬＴＩ ＶＩＥＷ ＰＯＳＥ ＥＳＴＩＭＡＴＩＯＮ」と題する、２０２０年１月２４日に出願された同一所有者による同時継続中の米国仮特許出願第６２／９６５，６２８号に関連し、その優先権を主張する国際（ＰＣＴ）特許出願であり、その内容の全体が参照によって本明細書に組み込まれている。
本発明の実施例は、介入性のデバイス及びその使用方法に関する。
内視鏡手技、ビデオ補助胸部手術、又は類似の医療手技といった最小侵襲性手技の用法を、疑わしい病巣の診断器具として又は癌性腫瘍の治療手段として使用することができる。
国際特許出願第ＰＣＴ／ＩＢ２０１５／００４３８号 国際出願第ＰＣＴ／ＩＢ１５／００２１４８号 国際特許出願第ＰＣＴ／ＩＢ１７／０１４４８号 米国特許第９０４４１９０Ｂ２号
Ｂ． Ｔｒｉｇｇｓ、Ｐ． ＭｃＬａｕｃｈｌａｎ、Ｒ． Ｈａｒｔｌｅｙ、Ａ． Ｆｉｔｚｇｉｂｂｏｎ （１９９９）、「Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ－Ａ Ｍｏｄｅｒｎ Ｓｙｎｔｈｅｓｉｓ」、ＩＣＣＶ ’９９：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｉｓｉｏｎ Ａｌｇｏｒｉｔｈｍｓ、Ｓｐｒｉｎｇｅｒ－Ｖｅｒｌａｇ、２９８～３７２頁 Ｆｕｒｕｋａｗａ， Ｙ．及びＰｏｎｃｅ， Ｊ．、「Ａｃｃｕｒａｔｅ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｆｒｏｍ ｍｕｌｔｉ－ｖｉｅｗ ｓｔｅｒｅｏ ａｎｄ ｂｕｎｄｌｅ ａｄｊｕｓｔｍｅｎｔ」 Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、８４（３）、２５７～２６８項（２００９） Ｔｏｒｒ， Ｐ．Ｈ．及びＺｉｓｓｅｒｍａｎ， Ａ．、「Ｆｅａｔｕｒｅ ｂａｓｅｄ ｍｅｔｈｏｄｓ ｆｏｒ ｓｔｒｕｃｔｕｒｅ ａｎｄ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ． Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ ｗｏｒｋｓｈｏｐ ｏｎ ｖｉｓｉｏｎ ａｌｇｏｒｉｔｈｍｓ」（２７８～２９４頁）（１９９９年９月）、Ｓｐｒｉｎｇｅｒ、Ｂｅｒｌｉｎ、Ｈｅｉｄｅｌｂｅｒｇ Ｇｒｏｅｎ， Ｆ．、Ｙｏｕｎｇ， Ｉ．、及びＬｉｇｔｈａｒｔ， Ｇ．、「Ａ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｄｉｆｆｅｒｅｎｔ ｆｏｃｕｓ ｆｕｎｃｔｉｏｎｓ ｆｏｒ ｕｓｅ ｉｎ ａｕｔｏｆｏｃｕｓ ａｌｇｏｒｉｔｈｍｓ」、Ｃｙｔｏｍｅｔｒｙ ６、８１～９１（１９８５） ｈｔｔｐｓ：／／ｔｏｍｒｏｅｌａｎｄｔｓ．ｃｏｍ／ａｒｔｉｃｌｅｓ／ｔｈｅ－ｓｉｒｔ－ａｌｇｏｒｉｔｈｍ Ｊｕｎ－Ｙａｎ Ｚｈｕ、Ｔａｅｓｕｎｇ Ｐａｒｋ、Ｐｈｉｌｌｉｐ Ｉｓｏｌａ、及びＡｌｅｘｅｉ Ａ Ｅｆｒｏｓ、２０１７、Ｕｎｐａｉｒｅｄ ｉｍａｇｅ－ｔｏ－ｉｍａｇｅ ｔｒａｎｓｌａｔｉｏｎ ｕｓｉｎｇ ｃｙｃｌｅ－ｃｏｎｓｉｓｔｅｎｔ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ、２２２３～２２３２ Ｊｕｓｔｉｎ Ｊｏｈｎｓｏｎ、Ａｌｅｘａｎｄｒｅ Ａｌａｈｉ、及びＬｉ Ｆｅｉ－Ｆｅｉ、Ｐｅｒｃｅｐｔｕａｌ ｌｏｓｓｅｓ ｆｏｒ ｒｅａｌ－ｔｉｍｅ ｓｔｙｌｅ ｔｒａｎｓｆｅｒ ａｎｄ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ． Ｉｎ ＥＣＣＶ、２０１６
いくつかの実施例では、本発明は：
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、少なくとも（ｉ）第１の姿勢である放射線不透過機器の第１の画像及び（ｉｉ）第２の姿勢である放射線不透過機器の第２の画像を取得することであって、
放射線不透過機器は患者の体腔内にある、取得することと、
少なくとも２つの拡張された気管支造影図を生成することであって、
第１の拡張された気管支造影図は、第１の姿勢である放射線不透過機器の第１の画像に対応しており、
第２の拡張された気管支造影図は、第２の姿勢である放射線不透過機器の第２の画像に対応している、生成することと、
以下の間、すなわち、
（ｉ）放射線不透過機器の第１の姿勢と、
（ｉｉ）放射線不透過機器の第２の姿勢と、の間の、相互の幾何学的制約を決定することと、
放射線不透過機器の第１の姿勢及び放射線不透過機器の第２の姿勢を第１の画像化モダリティの第１の画像と比較することによって、放射線不透過機器の第１の姿勢及び放射線不透過機器の第２の姿勢を推定することであって、
比較することは、
（ｉ）第１の拡張された気管支造影図、
（ｉｉ）第２の拡張された気管支造影図、及び
（ｉｉｉ）少なくとも１つの要素、を使用して行われ、
放射線不透過機器の推定された第１の姿勢及び放射線不透過機器の推定された第２の姿勢は決定された相互の幾何学的制約を満たす、推定することと、
第３の画像を生成することであって、第３の画像は、第２の画像化モダリティから導出される、対象領域を強調表示した拡張された画像である、生成することと、を含み、
対象領域は第１の画像化モダリティからのデータから決定される、方法、を提供する。
いくつかの実施例では、第１の画像化モダリティからの第１の画像からの少なくとも１つの要素には、肋骨、脊椎、横隔膜、又はこれらの任意の組合せが更に含まれる。いくつかの実施例では、相互の幾何学的制約は、以下によって生成される：
ａ． 放射線不透過機器の第１の画像と放射線不透過機器の第２の画像を比較することによって、（ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを推定することであって、
推定することは、角度計、加速度計、ジャイロスコープ、若しくはこれらの任意の組合せを含むデバイスを使用して行われ、デバイスは第２の画像化モダリティに取り付けられている、推定すること、
ｂ． 相対的な姿勢変化を推定するために複数の画像特徴を抽出することであって、
複数の画像特徴は、解剖学的要素、非解剖学的要素、若しくはこれらの任意の組合せを含み、
画像特徴は、患者に取り付けられたパッチ、第２の画像化モダリティの視野内に配置された放射線不透過マーカ、若しくはこれらの任意の組合せを含み、
画像特徴は、放射線不透過機器の第１の画像及び放射線不透過機器の第２の画像上に見えている、抽出すること、
ｃ． （ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを、少なくとも１つのカメラを使用することであって、
カメラには、ビデオカメラ、赤外線カメラ、深度カメラ、若しくはこれらの任意の組合せが含まれ、
カメラは固定された位置にあり、
カメラは少なくとも１つの特徴を追跡するように構成されており、
少なくとも１つの特徴には、患者に取り付けられたマーカ、第２の画像化モダリティに取り付けられたマーカ、若しくはこれらの任意の組合せが含まれる、使用することと、
少なくとも１つの特徴を追跡することと、によって、推定すること、
ｄ． 又は、これらの任意の組合せ。
いくつかの実施例では、方法は、軌道を特定するために放射線不透過機器を追跡することと、軌道を追加の幾何学的制約として使用することと、を更に含み、放射線不透過機器には、内視鏡、気管支内器具、又はロボット・アームが含まれる。
いくつかの実施例では、本発明は以下を含む方法である：
患者の少なくとも１つの体腔のマップを生成することであって、
マップは第１の画像化モダリティからの第１の画像を使用して生成される、生成することと、
第２の画像化モダリティから、少なくとも２つの取り付けられたマーカを備える放射線不透過機器の画像を取得することであって、
少なくとも２つの取り付けられたマーカは既知の距離だけ分離されている、取得することと、
患者の少なくとも１つの体腔のマップに対する、第２の画像化モダリティからの放射線不透過機器の姿勢を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第１のマーカの第１の位置を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第２のマーカの第２の位置を特定することと、
第１のマーカの第１の位置と第２のマーカの第２の位置との間の距離を測定することと、
第１のマーカと第２のマーカとの間の既知の距離を投影することと、
患者の少なくとも１つの体腔内での放射線不透過機器の明確な位置を特定するために、測定された距離を、第１のマーカと第２のマーカとの間の投影された既知の距離と比較すること。
いくつかの実施例では、放射線不透過機器には、内視鏡、気管支内器具、又はロボット・アームが含まれる。
いくつかの実施例では、方法は、放射線不透過機器の軌道を使用して、放射線不透過機器の深度を特定することを更に含む。
いくつかの実施例では、第１の画像化モダリティからの第１の画像は術前画像である。いくつかの実施例では、第２の画像化モダリティからの放射線不透過機器の少なくとも１つの画像は、術中画像である。
いくつかの実施例では、本発明は以下を含む方法である：
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、第２の画像化モダリティの２つの異なる姿勢において、少なくとも（ｉ）放射線不透過機器の１つの画像及び（ｉｉ）放射線不透過機器のもう１つの画像を取得することであって、
放射線不透過機器の第１の画像は第２の画像化モダリティの第１の姿勢において撮影され、
放射線不透過機器の第２の画像は第２の画像化モダリティの第２の姿勢において撮影され、
放射線不透過機器は患者の体腔内にある、取得することと、
画像化デバイスの２つの姿勢の各々に対応している少なくとも２つの拡張された気管支造影図を生成することであって、第１の拡張された気管支造影図は放射線不透過機器の第１の画像から導出され、第２の拡張された気管支造影図は放射線不透過機器の第２の画像から導出される、生成することと、
以下の間、すなわち、
（ｉ）第２の画像化モダリティの第１の姿勢と、
（ｉｉ）第２の画像化モダリティの第２の姿勢と、の間の相互の幾何学的制約を使用して、再構築することと、
対応している拡張された気管支造影図画像及び第１の画像化モダリティの第１の画像から抽出された少なくとも１つの要素を使用して、第１の画像化モダリティの第１の画像に対する第２の画像化モダリティの２つの姿勢を推定することであって、
２つの推定された姿勢は相互の幾何学的制約を満たす、推定することと、
第３の画像を生成することであって、第３の画像は、第１の画像化モダリティをソースとするデータに基づく、第２の画像化モダリティから導出される、対象領域を強調表示した拡張された画像である、生成すること。
いくつかの実施例では、肋骨、脊椎、横隔膜、又はこれらの任意の組合せなどの解剖学的要素が、第１の画像化モダリティから及び第２の画像化モダリティから抽出される。
いくつかの実施例では、相互の幾何学的制約は、以下によって生成される：
ａ． 放射線不透過機器の第１の画像と放射線不透過機器の第２の画像を比較することによって、（ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを推定することであって、
推定することは、角度計、加速度計、ジャイロスコープ、若しくはこれらの任意の組合せを含むデバイスを使用して行われ、デバイスは第２の画像化モダリティに取り付けられている、推定すること、
ｂ． 相対的な姿勢変化を推定するために複数の画像特徴を抽出することであって、
複数の画像特徴は、解剖学的要素、非解剖学的要素、若しくはこれらの任意の組合せを含み、
画像特徴は、患者に取り付けられたパッチ、第２の画像化モダリティの視野内に配置された放射線不透過マーカ、若しくはこれらの任意の組合せを含み、
画像特徴は、放射線不透過機器の第１の画像及び放射線不透過機器の第２の画像上に見えている、抽出すること、
ｃ． （ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを、少なくとも１つのカメラを使用することであって、
カメラには、ビデオカメラ、赤外線カメラ、深度カメラ、若しくはこれらの任意の組合せが含まれ、
カメラは固定された位置にあり、
カメラは少なくとも１つの特徴を追跡するように構成されており、
少なくとも１つの特徴には、患者に取り付けられたマーカ、第２の画像化モダリティに取り付けられたマーカ、若しくはこれらの任意の組合せが含まれる、使用することと、
少なくとも１つの特徴を追跡することと、によって、推定すること、
ｄ． 又は、これらの任意の組合せ。
いくつかの実施例では、方法は、軌道を識別するために放射線不透過機器を追跡することと、そのような軌道を追加の幾何学的制約として使用することと、を更に含み、放射線不透過機器には、内視鏡、気管支内器具、又はロボット・アームが含まれる。
いくつかの実施例では、本発明は、以下を含む、患者の体内の機器の真の位置を特定するための方法である：
第１の画像化モダリティの第１の画像から生成された患者の少なくとも１つの体腔のマップを使用することと、
第２の画像化モダリティから、ある距離が間に定められている少なくとも２つのマーカが取り付けられている、放射線不透過機器の画像を取得することであって、
マーカは、患者の体内の少なくとも２つの異なる体腔内に位置付けられる画像から認識できる、取得することと、
マップに対する第２の画像化モダリティの姿勢を取得することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第１のマーカの第１の位置を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第２のマーカの第２の位置を特定することと、
第１のマーカの第１の位置と第２のマーカの第２の位置との間の距離を測定することと、
第２の画像化モダリティの姿勢を使用して、放射線不透過機器の認識された位置の各々上に、マーカ同士の間の既知の距離を投影することと、
体内での機器の真の位置を特定するために、測定された距離と２つのマーカ同士の間の投影された距離の各々とを比較すること。
いくつかの実施例では、放射線不透過機器には、内視鏡、気管支内器具、又はロボット・アームが含まれる。
いくつかの実施例では、方法は、放射線不透過機器の軌道を使用して、放射線不透過機器の深度を特定することを更に含む。
いくつかの実施例では、第１の画像化モダリティからの第１の画像は術前画像である。いくつかの実施例では、第２の画像化モダリティからの放射線不透過機器の少なくとも１つの画像は、術中画像である。
いくつかの実施例では、方法は、医療画像化デバイスが回転によって回転される間に医療画像化デバイスによって撮影された一連の医療画像を受信することであって、一連の医療画像は複数の目標物を含む対象領域を示す、受信することと、複数の目標物が見えている一連の医療画像のサブセットの各々の姿勢を決定することと、一連の医療画像のサブセットの決定された姿勢及び画像化デバイスの軌道制約に基づいて、医療画像化デバイスの移動の軌道を推定することと、複数の目標物が少なくとも部分的に見えていない医療画像のうちの少なくとも１つの姿勢を、医療画像化デバイスの移動が継続するとの仮定に基づく外挿によって決定することと、少なくとも（ａ）複数の目標物が見えている一連の医療画像のサブセットの姿勢のうちの少なくともいくつか、及び（ｂ）複数の目標物が少なくとも部分的に見えていない医療画像のうちの少なくとも１つの姿勢のうちの少なくとも１つ、に基づいて、対象領域に関する立体的再構築（ｖｏｌｕｍｅｔｒｉｃ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）を決定することと、を含む。
いくつかの実施例では、一連の医療画像のサブセットの各々の姿勢は、一連の医療画像のサブセットにおいて見られる複数の目標物の３Ｄ場所と複数の目標物の２Ｄ場所の間の２Ｄ－３Ｄ対応関係に基づいて決定される。いくつかの実施例では、複数の目標物の３Ｄ場所は、少なくとも１つの術前画像に基づいて決定される。いくつかの実施例では、複数の目標物の３Ｄ場所は、ストラクチャ・フロム・モーション技術を適用することによって決定される。
いくつかの実施例では、方法は、Ｃアームに付設された画像化デバイスを使用して、制約された軌道を有するＣアームの動きによって医療画像化デバイスが回転される間に複数の医療画像を受信することであって、複数の医療画像のうちの少なくともいくつかは対象領域を含む、受信することと、複数の医療画像のサブセットの各々の姿勢を決定することと、複数の３Ｄ目標物の位置を、複数の医療画像のサブセットにおける３Ｄ目標物の２Ｄ位置に基づいて、及び複数の医療画像のサブセットの各々の決定された姿勢に基づいて、計算することと、少なくとも３Ｄ目標物の既知の３Ｄ－２Ｄ対応関係に基づいて画像化デバイスの場所及び画像化デバイスの向きを決定することによって、３Ｄ目標物のうちの少なくともいくつかが見えている複数の医療画像のうちの更なる１つの姿勢を決定することと、少なくとも複数の医療画像のうちの更なる１つ及び複数の医療画像のうちの更なる１つの姿勢に基づいて、対象領域の立体的再構築を計算することと、を含む。
いくつかの実施例では、複数の医療画像のサブセットの各々の姿勢は、少なくとも複数の医療画像のサブセットにおいて見えている放射線不透過マーカのパターンに基づいて決定される。いくつかの実施例では、姿勢は制約された軌道に基づいて更に決定される。
いくつかの実施例では、方法は、医療画像化デバイスが回転によって回転される間に医療画像化デバイスによって撮影された一連の医療画像を受信することであって、一連の医療画像は３Ｄ形状を有する目標物を含む対象領域を示す、受信することと、医療画像のうちの少なくともいくつかの各々の姿勢を、少なくとも医療画像のうちの少なくともいくつかの各々における目標物の２Ｄ投影の３Ｄ－２Ｄ対応関係に基づいて計算することと、対象領域の立体的再構築を、少なくとも医療画像のうちの少なくともいくつか及び医療画像のうちの少なくともいくつかの計算された姿勢に基づいて、計算することと、を含む。
いくつかの実施例では、目標物は解剖学的目標物である。いくつかの実施例では、解剖学的目標物の３Ｄ形状は少なくとも、少なくとも１つの術前画像に基づいて決定される。
いくつかの実施例では、目標物の３Ｄ形状は、少なくともストラクチャ・フロム・モーション技術を一連の医療画像のうちの少なくともいくつかに適用することに基づいて決定される。いくつかの実施例では、ストラクチャ・フロム・モーション技術は一連の医療画像の全てに適用される。
いくつかの実施例では、姿勢は一連の医療画像の全てについて計算される。
いくつかの実施例では、一連の画像には複数の放射線不透過マーカが示されていない。
いくつかの実施例では、医療画像のうちの少なくともいくつかの各々の姿勢を計算することは、回転の既知の軌道に更に基づく。
いくつかの実施例では、目標物の３Ｄ形状は、少なくとも１つの術前画像に基づいて、及び一連の医療画像のうちの少なくともいくつかにストラクチャ・フロム・モーション技術を適用することに更に基づいて、決定される。
いくつかの実施例では、目標物は対象領域において患者の体内に配置された機器である。
いくつかの実施例では、目標物は、患者の体に近接して患者の体の外側に配置された物体である。いくつかの実施例では、物体は患者の体に固定されている。
本発明について添付の図面を参照して更に説明するが、これらの図面においては、いくつかの図の全てにわたって、同様の構造は同様の数字によって言及される。示されている図面は必ずしも正確な縮尺で描かれておらず、代わりに本発明の原理を示すことが全体的に強調されている。更に、特定の構成要素の詳細を示すために、いくつかの特徴が誇張されている場合がある。
本発明の方法のいくつかの実施例において使用される多視点姿勢推定方法のブロック図である。 本発明の方法において使用される術中画像の例示的な実施例を示す図であり、１つの特定の姿勢から取得されるフルオロスコープ画像を示す。気管支鏡２４０、機器２１０、肋骨２２０、及び身体境界２３０が見えている。多視点姿勢推定方法は図２に見えている要素を入力として使用する。 本発明の方法において使用される術中画像の例示的な実施例を示す図であり、１つの特定の姿勢から取得されるフルオロスコープ画像を示す。気管支鏡３４０、機器３１０、肋骨３２０、及び身体境界３３０が見えている。多視点姿勢推定方法は図３に見えている要素を入力として使用する。 本発明の方法において使用される術中画像の例示的な実施例を示す図であり、Ｃアームの回転の結果、図２及び図３と比較して異なる姿勢において取得されたフルオロスコープ画像を示す。気管支鏡４４０、機器４１０、肋骨４２０、及び身体境界４３０が見えている。多視点姿勢推定方法は図４に見えている要素を入力として使用する。 本発明の方法において利用される気管支気道の構造の概略図である。気道中心線は５３０で表されている。カテーテルは気道の構造に挿入され、画像平面５４０を有するフルオロスコープ・デバイスによって画像化される。画像上のカテーテルの投影は曲線５５０によって示されており、これに取り付けられた放射線不透過マーカは点Ｇ及び点Ｆへと投影されている。 気管支鏡に取り付けられた気管支鏡デバイス先端部の画像であり、この気管支鏡は本発明の方法の実施例において使用可能である。 本発明の方法の実施例に係る図であり、この図は、気管支鏡手技においてそこから延びる手術器具（７０２）と共に使用される追跡型スコープ（ｔｒａｃｋｅｄ ｓｃｏｐｅ）（７０１）の、フルオロスコープ画像のものである。手術器具は、放射線不透過マーカ又はそれに取り付けられた固有のパターンを含み得る。 本発明の方法の実施例に係る２つのビューのエピポーラ幾何の図であり、この図は、気管支鏡手技においてそこから延びる手術器具（８０２）と共に使用されるスコープ（８０１）を含む、１対のフルオロスコープ画像のものである。手術器具は、放射線不放射線不透過マーカ又はこれに取り付けられた固有のパターンを含み得る（点Ｐ１及び点Ｐ２はそのようなパターンの一部を表している）。点Ｐ１は対応するエピポーラ線Ｌ１を有する。点Ｐ０はスコープの先端部を表し、点Ｐ３は手術器具の先端部を表す。Ｏ１及びＯ２は対応するビューの焦点を表す。 ３Ｄ－２Ｄ対応関係による６自由度姿勢推定のための例示的な方法を示す図である。 Ｃアーム上に付設されたＸ線画像化デバイスの姿勢を示す図である。 Ｃアーム上に付設されたＸ線画像化デバイスの姿勢を示す図である。 Ｃアームの軌道を推定するための３Ｄ目標物の使用を示す図である。 アルゴリズムが放射線不透過マーカの見えている既知のセットを使用して各画像フレームごとに姿勢を推定するための方法を示す図である。 放射線不透過マーカを使用せずにストラクチャ・フロム・モーションの手法を用いて３Ｄ目標物を推定するための方法を示す図である。 複数のフレーム中で見えている物体の同じ特徴点を示す図である。 複数のフレーム中で見えている物体の同じ特徴点を示す図である。 複数のフレーム中で見えている物体の特徴点の位置の決定を最適化するための方法を示す図である。 受信された一連の２Ｄ画像に基づいて３Ｄ画像再構築を決定するためのプロセスを示す図である。 位置合わせされていない画像を使用して画像－画像変換を訓練するためのプロセスを示す図である。 ドメインＣからドメインＢへの変換のためのモデル用の訓練を示す図である。 使用者がフルオロスコープを配置するための例示的なガイダンスを示す図である。 使用者がフルオロスコープを配置するための例示的なガイダンスを示す図である。
これらの図は本明細書の一部を構成し、本発明の例示的な実施例を含み、様々な目的及び特徴を示す。更に、これらの図は必ずしも正確な縮尺にはなっておらず、特定の構成要素の詳細を示すために、一部の特徴が誇張されている場合がある。更に、図に示されている測定値、仕様などは全て例示的であることを意図しており、制限的であることは意図していない。したがって、本明細書に開示する構造及び機能に関する具体的な詳細は限定するものではなく、当業者に本発明を様々に利用するよう教示するための、単なる代表的な基礎として解釈すべきである。
開示してきたこれらの利益及び改善の中で、本発明の他の目的及び利点が、添付の図と併せて解釈される以下の説明から明らかになるであろう。本明細書には本発明の詳細な実施例が開示されているが、開示される実施例は単に、様々な形態で具現化され得る本発明の例示であるに過ぎないことを理解されたい。更に、本発明の様々な実施例と関連して与えられる実例の各々は、例示的であることを意図しており、制限的であることは意図していない。
明細書及び特許請求の範囲の全体にわたって、以下の用語は、そうではないと文脈によって明確に規定されない限りは、本明細書中で明示的に関連付けられている意味をとる。「一実施例では」及び「いくつかの実施例では」という句は、本明細書で使用される場合、必ずしも同じ実施例を指す訳ではないが、指す場合もある。更に、「別の実施例では」及び「いくつかの他の実施例では」という句は、本明細書で使用される場合、必ずしも異なる実施例を指す訳ではないが、指す場合もある。この場合、以下に記載するように、本発明の様々な実施例は、本発明の範囲又は精神から逸脱することなく、容易に組み合わせることができる。
更に、本明細書で使用される場合、用語「又は」は包括的な「又は」として作用するものでありであり、そうではないと文脈によって明確に規定されない限りは、用語「及び／又は」と等価である。用語「に基づく」は排他的ではなく、そうではないと文脈によって明確に規定されない限りは、記載されていない追加の要因に基づくことが可能である。更に、本明細書の全体を通して、「１つの（ａ）」、「１つの（ａｎ）」、及び「その（ｔｈｅ）」の意味は、複数の言及対象を含む。「～において（ｉｎ）」の意味には、「～の中に（ｉｎ）」及び「～の表面に（ｏｎ）」が含まれる。
本明細書で使用される場合、「複数」とは、数が１よりも多いこと、例えば限定するものではないが、２、３、４、５、６、７、８、９、１０、等を指す。例えば、複数の画像は、２つの画像、３つの画像、４つの画像、５つの画像、６つの画像、７つの画像、８つの画像、９つの画像、１０個の画像、等であり得る。
本明細書で使用される場合、「解剖学的要素」とは目標物を指し、例えば、対象領域、切開点、分岐点、血管、気管支気道、肋骨、又は器官であり得る。
本明細書で使用される場合、「幾何学的な（ｇｅｏｍｅｔｒｉｃａｌ）制約」若しくは「幾何学的（ｇｅｏｍｅｔｒｉｃ）制約」又は「相互の制約」若しくは「相互の幾何学的制約」とは、対象者の身体内の身体器官（例えば少なくとも２つの身体器官）同士の間の幾何学的な関係を指し、これらの制約は対象者の体内の肋骨、身体の境界等の間で同様の幾何学上の関係を構築する。そのような幾何学的な関係は、異なる画像化モダリティを通して観察されるときに、変化しないままであるか、又はそれらの相対移動を無視若しくは定量化することができる。
本明細書で使用される場合、「姿勢」とは、光学カメラ・デバイスの代替としての術中画像化デバイス源の相対的な場所及び向きを決定する、６つのパラメータのセットを指す。非限定的な実例として、デバイスと患者ベッドと患者の間の相対移動の組合せとして、姿勢を取得することができる。そのような移動の別の非限定的な実例は、術中画像化デバイスの回転を、ベッド上で患者が静止している静止した患者ベッドの周囲でのその移動と組み合わせたものである。
本明細書で使用される場合、「場所」とは、３Ｄ空間内の画像化デバイス自体を含む、（任意の座標系、例えばｘ、ｙ、及びｚのデカルト座標系において測定可能な）任意の物体の位置を指す。
本明細書で使用される場合、「向き」とは、術中画像化デバイスの角度を指す。非限定的な実例として、術中画像化デバイスを、上方に、下方に、又は側方に面するように方向付けることができる。
本明細書で使用される場合、「姿勢推定方法」とは、第１の画像化モダリティの３Ｄ空間内で、第２の画像化モダリティと関連付けられるカメラのパラメータを推定するための方法を指す。そのような方法の非限定的な実例は、術前のＣＴの３Ｄ空間内での術中フルオロスコープ・カメラのパラメータを取得することである。数学的モデルにおいてそのような推定された姿勢を使用することで、術前のコンピュータ・トモグラフィ（ＣＴ：ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）画像内の少なくとも１つの３Ｄ点が、術中Ｘ線画像内の対応する２Ｄ点に投影される。
本明細書で使用される場合、「多視点姿勢推定方法」とは、術中画像化デバイスの少なくとも２つの異なる姿勢のうちのいくつかの姿勢を推定するための方法を指す。その場合画像化デバイスは、同じシーン／対象者から画像を獲得する。
本明細書で使用される場合、「相対的な角度の違い」とは、画像化デバイスの２つの姿勢の角度方向の相対移動によって引き起こされる、それらの間の角度の違いを指す。
本明細書で使用される場合、「相対的な姿勢の違い」とは、対象者と画像化デバイスとの間の相対的な空間移動によって引き起こされる、画像化デバイスの２つの姿勢の間の位置及び相対的な角度の両方の違いを指す。
本明細書で使用される場合、「エピポーラ距離」とは、ある点と別のビュー内の同じ点のエピポーラ線との間の距離の測定値を指す。本明細書で使用される場合、「エピポーラ線」とは、あるビュー内の１つの点又は複数の点ｘ，ｙベクトル又は２列の行列から計算されるものを指す。
本明細書で使用される場合、「類似性尺度」とは、２つの物体の間の類似性を定量化する実数値関数を指す。
いくつかの実施例では、本発明は：
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、少なくとも（ｉ）第１の姿勢である放射線不透過機器の第１の画像及び（ｉｉ）第２の姿勢である放射線不透過機器の第２の画像を取得することであって、
放射線不透過機器は患者の体腔内にある、取得することと、
少なくとも２つの拡張された気管支造影図を生成することであって、
第１の拡張された気管支造影図は、第１の姿勢である放射線不透過機器の第１の画像に対応しており、
第２の拡張された気管支造影図は、第２の姿勢である放射線不透過機器の第２の画像に対応している、生成することと、
以下の間、すなわち、
（ｉ）放射線不透過機器の第１の姿勢と、
（ｉｉ）放射線不透過機器の第２の姿勢と、の間の、相互の幾何学的制約を決定することと、
放射線不透過機器の第１の姿勢及び放射線不透過機器の第２の姿勢を第１の画像化モダリティの第１の画像と比較することによって、放射線不透過機器の第１の姿勢及び放射線不透過機器の第２の姿勢を推定することであって、
比較することは、
（ｉ）第１の拡張された気管支造影図、
（ｉｉ）第２の拡張された気管支造影図、及び
（ｉｉｉ）少なくとも１つの要素、を使用して行われ、
放射線不透過機器の推定された第１の姿勢及び放射線不透過機器の推定された第２の姿勢は決定された相互の幾何学的制約を満たす、推定することと、
第３の画像を生成することであって、第３の画像は、第２の画像化モダリティから導出される、対象領域を強調表示した拡張された画像である、生成することと、を含み、
対象領域は第１の画像化モダリティからのデータから決定される、方法、を提供する。
いくつかの実施例では、第１の画像化モダリティからの第１の画像からの少なくとも１つの要素には、肋骨、脊椎、横隔膜、又はこれらの任意の組合せが更に含まれる。いくつかの実施例では、相互の幾何学的制約は、以下によって生成される：
ａ． 放射線不透過機器の第１の画像と放射線不透過機器の第２の画像を比較することによって、（ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを推定することであって、
推定することは、角度計、加速度計、ジャイロスコープ、若しくはこれらの任意の組合せを含むデバイスを使用して行われ、デバイスは第２の画像化モダリティに取り付けられている、推定すること、
ｂ． 相対的な姿勢変化を推定するために複数の画像特徴を抽出することであって、
複数の画像特徴は、解剖学的要素、非解剖学的要素、若しくはこれらの任意の組合せを含み、
画像特徴は、患者に取り付けられたパッチ、第２の画像化モダリティの視野内に配置された放射線不透過マーカ、若しくはこれらの任意の組合せを含み、
画像特徴は、放射線不透過機器の第１の画像及び放射線不透過機器の第２の画像上に見えている、抽出すること、
ｃ． （ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを、少なくとも１つのカメラを使用することであって、
カメラには、ビデオカメラ、赤外線カメラ、深度カメラ、若しくはこれらの任意の組合せが含まれ、
カメラは固定された位置にあり、
カメラは少なくとも１つの特徴を追跡するように構成されており、
少なくとも１つの特徴には、患者に取り付けられたマーカ、第２の画像化モダリティに取り付けられたマーカ、若しくはこれらの任意の組合せが含まれる、使用することと、
少なくとも１つの特徴を追跡することと、によって、推定すること、
ｄ． 又は、これらの任意の組合せ。
いくつかの実施例では、方法は、軌道を特定するために放射線不透過機器を追跡することと、軌道を追加の幾何学的制約として使用することと、を更に含み、放射線不透過機器には、内視鏡、気管支内器具、又はロボット・アームが含まれる。
いくつかの実施例では、本発明は以下を含む方法である：
患者の少なくとも１つの体腔のマップを生成することであって、
マップは第１の画像化モダリティからの第１の画像を使用して生成される、生成することと、
第２の画像化モダリティから、少なくとも２つの取り付けられたマーカを備える放射線不透過機器の画像を取得することであって、
少なくとも２つの取り付けられたマーカは既知の距離だけ分離されている、取得することと、
患者の少なくとも１つの体腔のマップに対する、前記第２の画像化モダリティからの前記放射線不透過機器の姿勢を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第１のマーカの第１の位置を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第２のマーカの第２の位置を特定することと、
第１のマーカの第１の位置と第２のマーカの第２の位置との間の距離を測定することと、
第１のマーカと第２のマーカとの間の既知の距離を投影することと、
患者の少なくとも１つの体腔内での放射線不透過機器の明確な位置を特定するために、測定された距離を、第１のマーカと第２のマーカとの間の投影された既知の距離と比較すること。
単一のビューから推測された３ｄ情報はまだ曖昧であり、器具を肺の中の複数の位置に当てはめることがある可能性がある。計画される３Ｄ経路を実際の手技の前に分析し、案内中の曖昧さの大部分を回避するのに最も最適なフルオロスコープの向きを計算することによって、そのような状況の発生を減らすことができる。いくつかの実施例では、フルオロスコープの配置は国際特許出願第ＰＣＴ／ＩＢ２０１５／００４３８号の請求項４に記載されている方法に従って行われ、同特許はその内容の全体が参照により本明細書に組み込まれている。
いくつかの実施例では、放射線不透過機器には、内視鏡、気管支内器具、又はロボット・アームが含まれる。
いくつかの実施例では、方法は、放射線不透過機器の軌道を使用して、放射線不透過機器の深度を特定することを更に含む。
いくつかの実施例では、第１の画像化モダリティからの第１の画像は術前画像である。いくつかの実施例では、第２の画像化モダリティからの放射線不透過機器の少なくとも１つの画像は、術中画像である。
いくつかの実施例では、本発明は以下を含む方法である：
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、第２の画像化モダリティの２つの異なる姿勢において、少なくとも（ｉ）放射線不透過機器の１つの画像及び（ｉｉ）放射線不透過機器のもう１つの画像を取得することであって、
放射線不透過機器の第１の画像は第２の画像化モダリティの第１の姿勢において撮影され、
放射線不透過機器の第２の画像は第２の画像化モダリティの第２の姿勢において撮影され、
放射線不透過機器は患者の体腔内にある、取得することと、
画像化デバイスの２つの姿勢の各々に対応している少なくとも２つの拡張された気管支造影図を生成することであって、第１の拡張された気管支造影図は放射線不透過機器の第１の画像から導出され、第２の拡張された気管支造影図は放射線不透過機器の第２の画像から導出される、生成することと、
以下の間、すなわち、
（ｉ）第２の画像化モダリティの第１の姿勢と、
（ｉｉ）第２の画像化モダリティの第２の姿勢と、の間の、相互の幾何学的制約を決定することと、
対応している拡張された気管支造影図画像及び第１の画像化モダリティの第１の画像から抽出された少なくとも１つの要素を使用して、第１の画像化モダリティの第１の画像に対する第２の画像化モダリティの２つの姿勢を推定することであって、
２つの推定された姿勢は相互の幾何学的制約を満たす、推定することと、
第３の画像を生成することであって、第３の画像は、第１の画像化モダリティをソースとするデータに基づく、第２の画像化モダリティから導出される、対象領域を強調表示した拡張された画像である、生成すること。
気管支内器具の案内中、３Ｄでの器具の位置を対象及び他の解剖学的構造に対して相対的に検証する必要がある。肺内の何らかの位置に到達した後で、医師は、器具を同じ位置に維持したままで、フルオロスコープの場所を変えることができる。これらの術中画像を使用して、当業者は器具の場所を３ｄで再構築し、３ｄにおける対象に関連する器具の場所を医師に示すことができる。
器具の場所を３ｄで再構築するためには、両方のビュー上の対応する点を拾い上げる必要がある。それらの点は器具上の特別なマーカ、又は任意の機器上の識別可能な点、例えば、器具の先端部、若しくは気管支鏡の先端部であり得る。これを達成するために、エピポーラ線を使用して、点同士の間の対応を見つけることができる。更に、エピポーラ制約を使用して、偽陽性マーカの検出をフィルタリングすること、及び更に、マーカ誤検出に起因して対応する対を有さないマーカを排除することができる（図８を参照）。
（エピポーラは、計算幾何学の特別な領域である立体視の幾何学に関連している）
いくつかの実施例では、仮想マーカは任意の機器、例えば見えている放射線不透過マーカのない機器上に生成され得る。このことは以下によって行われる：（１）第１の画像上の機器上の任意の点を選択することと、（２）両画像間の既知の幾何学的関係を使用して第２の画像上でエピポーラ線を計算することと、（３）エピポーラ線を既知の又は第２の画像からの機器の軌道と交差させ、マッチング用の仮想マーカを与えること。
いくつかの実施例では、本発明は以下を含む方法である：
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、同じ放射線不透過機器の場所の第２の画像化モダリティの２つの異なる姿勢における少なくとも２つの画像を、少なくとも１つ又は複数の異なる機器の場所について取得することであって、
放射線不透過機器は患者の体腔内にある、取得することと、
対応する画像の姿勢同士の間の相互の幾何学的制約を使用して、基準座標系における同じ機器の場所の対応する複数の画像から、各機器の３Ｄ軌道を再構築することと、
再構築された放射線不透過機器の位置の３Ｄ軌道を第１の画像化モダリティの画像から抽出された３Ｄ軌道と整合させる変換を推定することによって、基準座標系と第１の画像化モダリティの画像との間の変換を推定することと、
第３の画像を生成することであって、第３の画像は、基準座標系と第１の画像化モダリティの画像との間の変換を使用する第１の画像化モダリティをソースとするデータに基づく、基準座標系における既知の姿勢を用いて第２の画像化モダリティから導出される、対象領域を強調表示した拡張された画像である、生成すること。
いくつかの実施例では、複数の放射線不透過機器の場所の、異なる姿勢からの画像を収集する方法は、以下から成る：（１）放射線不透過機器を第１の場所に配置することと、（２）第２の画像化モダリティの画像を取り込むことと、（３）第２のモダリティの画像化デバイスの姿勢を変えることと、（４）第２の画像化モダリティの別の画像を取り込むことと、（５）放射線不透過機器の場所を変えることと、（６）所望の数の固有の放射線不透過機器の場所が得られるまでステップ２を続けること。
いくつかの実施例では、２つの異なる姿勢の画像化デバイスから得られた少なくとも２つの術中画像上で特定可能な、任意の要素の位置を、再構築することが可能である。第１の画像化モダリティの第１の画像に対する第２の画像化モダリティの各姿勢が既知であるとき、第１の画像化モダリティの画像からの任意の解剖学的構造に対する、要素の再構築された３Ｄ場所を示すことが可能である。この技法の使用の実例として考えられるのは、対象に対する配備された基準点マーカの３Ｄ場所の確認である。
いくつかの実施例では、本発明は以下を含む方法である：
第１の画像化モダリティから第１の画像を取得することと、
第１の画像化モダリティからの第１の画像から少なくとも１つの要素を抽出することであって、
少なくとも１つの要素には、気道、血管、体腔、又はこれらの任意の組合せが含まれる、抽出することと、
第２の画像化モダリティから、第２の画像化モダリティの２つの異なる姿勢において、少なくとも（ｉ）放射線不透過基準点の１つの画像及び（ｉｉ）その放射線不透過基準点のもう１つの画像を取得することであって、
放射線不透過基準点の第１の画像は第２の画像化モダリティの第１の姿勢において撮影され、
放射線不透過基準点の第２の画像は第２の画像化モダリティの第２の姿勢において撮影される、取得することと、
放射線不透過基準点の３Ｄ場所を、画像化デバイスの２つの姿勢から、
（ｉ）第２の画像化モダリティの第１の姿勢と、
（ｉｉ）第２の画像化モダリティの第２の姿勢と、の間の相互の幾何学的制約を使用して、再構築することと、
第１の画像化モダリティをソースとするデータに基づく、対象領域に対する基準点の３Ｄの相対的な場所を示す第３の画像を生成すること。
いくつかの実施例では、肋骨、脊椎、横隔膜、又はこれらの任意の組合せなどの解剖学的要素が、第１の画像化モダリティから及び第２の画像化モダリティから抽出される。
いくつかの実施例では、相互の幾何学的制約は、以下によって生成される：
ａ． 放射線不透過機器の第１の画像と放射線不透過機器の第２の画像を比較することによって、（ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを推定することであって、
推定することは、角度計、加速度計、ジャイロスコープ、若しくはこれらの任意の組合せを含むデバイスを使用して行われ、デバイスは第２の画像化モダリティに取り付けられている、推定すること、
ｂ． 相対的な姿勢変化を推定するために複数の画像特徴を抽出することであって、
複数の画像特徴は、解剖学的要素、非解剖学的要素、若しくはこれらの任意の組合せを含み、
画像特徴は、患者に取り付けられたパッチ、第２の画像化モダリティの視野内に配置された放射線不透過マーカ、若しくはこれらの任意の組合せを含み、
画像特徴は、放射線不透過機器の第１の画像及び放射線不透過機器の第２の画像上に見えている、抽出すること、
ｃ． （ｉ）第１の姿勢と（ｉｉ）第２の姿勢との間の違いを、少なくとも１つのカメラを使用することであって、
カメラには、ビデオカメラ、赤外線カメラ、深度カメラ、若しくはこれらの任意の組合せが含まれ、
カメラは固定された位置にあり、
カメラは少なくとも１つの特徴を追跡するように構成されており、
少なくとも１つの特徴には、患者に取り付けられたマーカ、第２の画像化モダリティに取り付けられたマーカ、若しくはこれらの任意の組合せが含まれる、使用することと、
少なくとも１つの特徴を追跡することと、によって、推定すること、
ｄ． 又は、これらの任意の組合せ。
いくつかの実施例では、方法は、軌道を識別するために放射線不透過機器を追跡することと、そのような軌道を追加の幾何学的制約として使用することと、を更に含み、放射線不透過機器には、内視鏡、気管支内器具、又はロボット・アームが含まれる。
いくつかの実施例では、本発明は、以下を含む、患者の体内の機器の真の位置を特定するための方法である：
第１の画像化モダリティの第１の画像から生成された患者の少なくとも１つの体腔のマップを使用することと、
第２の画像化モダリティから、ある距離が間に定められている少なくとも２つのマーカが取り付けられている、放射線不透過機器の画像を取得することであって、
マーカは、患者の体内の少なくとも２つの異なる体腔内に位置付けられる画像から認識できる、取得することと、
マップに対する第２の画像化モダリティの姿勢を取得することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第１のマーカの第１の位置を特定することと、
第２の画像化モダリティからの第２の画像上で、放射線不透過機器に取り付けられた第２のマーカの第２の位置を特定することと、
第１のマーカの第１の位置と第２のマーカの第２の位置との間の距離を測定することと、
第２の画像化モダリティの姿勢を使用して、放射線不透過機器の認識された位置の各々上に、マーカ同士の間の既知の距離を投影することと、
体内での機器の真の位置を特定するために、測定された距離と２つのマーカ同士の間の投影された距離の各々とを比較すること。
いくつかの実施例では、放射線不透過機器には、内視鏡、気管支内器具、又はロボット・アームが含まれる。
いくつかの実施例では、方法は、放射線不透過機器の軌道を使用して、放射線不透過機器の深度を特定することを更に含む。
いくつかの実施例では、第１の画像化モダリティからの第１の画像は術前画像である。いくつかの実施例では、第２の画像化モダリティからの放射線不透過機器の少なくとも１つの画像は、術中画像である。
多視点姿勢推定
国際出願第ＰＣＴ／ＩＢ２０１５／０００４３８号は、内視鏡手技中のフルオロスコープ・デバイスの患者に対する姿勢情報（例えば、場所、向き）を推定するための方法の説明を含み、その全体が参照によって本明細書に組み込まれる。２０１５年１０月２０日に出願された国際出願第ＰＣＴ／ＩＢ１５／００２１４８号も、その全体が参照によって本明細書に組み込まれる。
本発明は、術中画像のセットから抽出されたデータを含む方法であり、画像の各々は、画像化デバイスから得られた、少なくとも１つ（例えば、１つ、２つ、３つ、４つ、等）の未知の姿勢において獲得される。これらの画像は、姿勢推定方法に関する入力として使用される。例示的な実施例として、図３、図４、図５は、３つのフルオロスコープ画像のセットの実例である。図４及び図５の画像は同じ未知の姿勢において獲得されたが、図３の画像は異なる未知の姿勢において獲得された。このセットには、例えば、画像化デバイスに関連する追加の既知の場所データが、含まれても含まれなくてもよい。例えば、あるセットはＣアームの場所及び向きなどの場所データを含み得るが、これはフルオロスコープによって提供できるか、又は、フルオロスコープに取り付けられた測定デバイス、例えば角度計、加速度計、ジャイロスコープ、等を介して獲得できる。
いくつかの実施例では、解剖学的要素は追加の術中画像から抽出され、これらの解剖学的要素は、姿勢推定方法に導入可能な幾何学的な制約を示唆している。この結果、姿勢推定方法を使用する前に、単一の術中画像から抽出される要素の数を減らすことができる。
いくつかの実施例では、多視点姿勢推定方法は、術前のモダリティをソースとする情報を、術中画像のセットからの任意の画像の上に重ね合わせることを更に含む。
いくつかの実施例では、術前のモダリティをソースとする術中画像に対する重ね合わせ情報の説明を、その全体が参照によって本明細書に組み込まれる国際出願第ＰＣＴ／ＩＢ２０１５／０００４３８号に見出すことができる。
いくつかの実施例では、複数の第２の画像化モダリティによって、複数の画像を取得するために患者に対するフルオロスコープの姿勢を変えること（例えば、限定するものではないが、フルオロスコープのアームの回転若しくは直線移動、患者ベッドの回転及び移動、ベッド上の患者の相対移動、又は上記の任意の組合せ）が可能になり、この場合、ソースとしてのフルオロスコープの上述した相対的な姿勢から、患者とフルオロスコープ・デバイスの間の回転移動と直線移動の任意の組合せとして、複数の画像が取得される。
本発明のいくつかの実施例について記載してきたが、これらの実施例は例示的なものに過ぎず制限的ではないこと、及び、当業者には多くの変更が明らかになり得ることが、理解される。また更に、様々なステップを任意の所望の順序で実行してもよい（また、任意の所望のステップを追加してもよく、且つ／又は、任意の所望のステップを削除してもよい）。
ここで、上記の説明と共に本発明のいくつかの実施例を非限定的な様式で説明する、以下の実例を参照する。
実例：最小侵襲性の肺手技
本発明の非限定的な例示的な実施例を、最小侵襲性の肺手技に応用することができ、この場合、気管支内器具が、気管支鏡の作業チャネル（図６を参照）を通して患者の気管支気道に挿入される。診断手順の開始前に医師は設定プロセスを実施し、そこで医師はカテーテルを、対象領域の周囲のいくつかの（例えば、２つ、３つ、４つ等の）気管支気道内に設置する。図２、図３、及び図４に示すように、気管支内カテーテルの各位置のフルオロスコープ画像が獲得される。術中フルオロスコープ・デバイスの姿勢推定を行うために使用される案内システムの実例が国際出願第ＰＣＴ／ＩＢ２０１５／０００４３８号に記載されており、本発明の本方法は、抽出された要素（例えば、限定するものではないが、複数のカテーテル位置、肋骨の解剖学的構造、及び患者の身体境界）を使用する。
対象領域における姿勢の推定後、気管支鏡を挿入するための経路を手技前の画像化モダリティ上で特定することができ、強調表示すること又は術前画像からの情報を術中フルオロスコープ画像上に重ね合わせることによって、それらの経路をマーキングすることができる。気管支内カテーテルを対象領域へと案内した後で、医師は、例えばカテーテルが対象領域内に位置付けられていることを検証するために、フルオロスコープ・デバイスを回転させるか、そのズームのレベルを変えるか、又は動かすことができる。典型的には、図４が示すようなフルオロスコープ・デバイスのそのような姿勢変化によって、先に推定された姿勢が無効になり、医師が設定プロセスを繰り返すことが必要となる。しかしながら、カテーテルは既にあり得る対象領域内に位置付けられているので、設定プロセスを繰り返し行う必要はない。
図４は本発明の例示的な実施例を示し、図２及び図３から抽出された解剖学的要素を使用してフルオロスコープの角度の姿勢が推定されているのを示している（ここにおいて、例えば、図２及び図３は、初期の設定プロセスから取得された画像、並びに、カテーテルの位置、肋骨の解剖学的構造、及び身体境界といった、画像から抽出された追加の解剖学的要素を示している）。姿勢は例えば、（１）フルオロスコープを移動させること（例えば、ヘッドをＣアームを中心に回転させること）、（２）フルオロスコープを前後に移動させることによって、又は別法として対象者の場所変化を介して、或いは両方の組合せ等によって、変化させることができる。更に、図２と図４の間の相互の幾何学的制約、例えば画像化デバイスに関連する場所データを、推定プロセスにおいて使用することができる。
図１は本発明の例示的な実施例であり、以下を示す。
Ｉ． 構成要素１２０は、自動若しくは半自動セグメント化プロセス、又はこれらの任意の組合せを使用して、限定するものではないがＣＴ、磁気共鳴画像化（ＭＲＩ：ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）、陽電子放射トモグラフィ－コンピュータ・トモグラフィ（ＰＥＴ－ＣＴ）などの術前画像から、気管支気道、肋骨、横隔膜などの３Ｄ解剖学的要素を抽出する。自動又は半自動セグメント化プロセスの実例が、その全体が参照によって本明細書に組み込まれる「Ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ Ｈｕｍａｎ Ａｉｒｗａｙ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｍｅｔｈｏｄｓ ｆｏｒ Ｃｌｉｎｉｃａｌ Ｖｉｒｔｕａｌ Ｂｒｏｎｃｈｏｓｃｏｐｙ」、Ａｔｉｌｌａ Ｐ．Ｋｉｒａｌｙ、Ｗｉｌｌｉａｍ Ｅ．Ｈｉｇｇｉｎｓ、Ｇｅｏｆｆｒｅｙ ＭｃＬｅｎｎａｎ、Ｅｒｉｃ Ａ．Ｈｏｆｆｍａｎ、Ｊｏｓｅｐｈ Ｍ．Ｒｅｉｎｈａｒｄｔに記載されている。
ＩＩ． 構成要素１３０は、例えば限定するものではないがフルオロスコープ画像、超音波画像等の、術中画像のセットから、２Ｄの解剖学的要素を抽出する（そられは図４に更に示されており、例えば気管支気道４１０、肋骨４２０、身体境界４３０、及び横隔膜である）。
ＩＩＩ． 構成要素１４０は、術中画像のセット中の画像の各サブセット間の相互の制約、例えば相対的な角度の違い、相対的な姿勢の違い、エピポーラ距離、等を計算する。
別の実施例では、方法は、術中画像のセット中の画像の各サブセット間の、相互の制約を推定することを含む。そのような方法の非限定的な実例は以下の通りである：（１）１対のフルオロスコープ画像の少なくとも２つの姿勢の間の相対的な姿勢変化を推定するための、術中画像化デバイスに取り付けられた測定デバイスの使用。（２）患者に取り付けられたパッチ（例えばＥＣＧパッチ）又は術中画像化デバイスの視野内に配置された放射線不透過マーカを含むがこれらに限定されない、両方の画像上に見えている解剖学的要素又は非解剖学的要素などの画像特徴の抽出、及び、これらの特徴を使用した相対的な姿勢変化の推定。（３）例えば患者に取り付けられたパッチ又はマーカ、画像化デバイスに取り付けられたマーカ等の特徴を追跡する、手技室において指定された位置に取り付けられた、ビデオカメラ、赤外線カメラ、深度カメラ、又はこれらの任意の組合せなどの１組のカメラの使用。かかる特徴を追跡することによって、その構成要素は画像化デバイスの相対的な姿勢変化を推定できる。
ＩＶ． 構成要素１５０は、術前画像から生成された３Ｄ要素を、術中画像から生成されたそれらの対応する２Ｄ要素にマッチングさせる。例えば、フルオロスコープ画像から抽出された所与の２Ｄ気管支気道の、ＣＴ画像から抽出された３Ｄ気道のセットへのマッチング。
Ｖ． 構成要素１７０は、例えば術前画像座標系、他の画像化又は案内デバイスによって形成された手術環境関連の座標系等の所望の座標系において、術中画像のセット中の画像の各々について姿勢を推定する。
この構成要素への入力は以下の通りである：
・患者術前画像から抽出された３Ｄ解剖学的要素。
・術中画像のセットから抽出された２Ｄ解剖学的要素。本明細書において述べるように、セット中の画像は、同じ又は異なる画像化デバイスの姿勢をソースとし得る。
・術中画像のセット中の画像の各サブセット間の相互の制約
構成要素１７０は、術中画像のセットからの各画像について、以下のように姿勢を評価する：
・２Ｄの抽出された要素は、対応し投影される３Ｄ解剖学的要素にマッチングされる。
・構成要素１４０によって計算される相互の制約条件は、推定される姿勢に適用される。
術前画像をソースとする投影される３Ｄ要素を術間画像からの対応する２Ｄ要素にマッチングさせるために、距離計量などの類似性尺度が必要となる。そのような距離計量によって、投影された３Ｄ要素とそれらの対応する２Ｄ要素との間の距離を評価するための尺度が提供される。例えば、２つのポリライン（例えば、単一のオブジェクトとして作成された接続された一連の線分）の間のユークリッド距離を、術前画像をソースとする３Ｄ投影された気管支気道と術中画像から抽出された２Ｄ気道との間の類似性尺度として使用することができる。
更に、本発明の方法のある実施例では、方法は、術中画像セットからの画像のサブセット間の相互の制約が満たされる場合に、類似性尺度を最適化するような姿勢を特定することによって、術中画像のセットに対応する姿勢のセットを推定することを含む。類似性尺度の最適化は最小２乗問題と見なすことができ、いくつかの方法で、例えば、（１）その全体：Ｂ． Ｔｒｉｇｇｓ、Ｐ． ＭｃＬａｕｃｈｌａｎ、Ｒ． Ｈａｒｔｌｅｙ、Ａ． Ｆｉｔｚｇｉｂｂｏｎ （１９９９）、「Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ－Ａ Ｍｏｄｅｒｎ Ｓｙｎｔｈｅｓｉｓ」、ＩＣＣＶ ’９９：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｉｓｉｏｎ Ａｌｇｏｒｉｔｈｍｓ、Ｓｐｒｉｎｇｅｒ－Ｖｅｒｌａｇ、２９８～３７２頁、が参照によって本明細書に組み込まれる、姿勢推定のための反復最小化法を実施する周知のバンドル調整アルゴリズムを用いて、及び（２）パラメータ空間を走査して類似性尺度を最適化する最適姿勢を探索するための、グリッド探索法を用いて、解くことができる。
マーカ
機器の場所についての３Ｄ情報を復元するために、放射線不透過マーカを医療機器上の所定の位置に設置することができる。気管支気道又は血管などの、体内の腔の３Ｄ構造のいくつかの経路を、術中画像上の同様の２Ｄ曲線へと投影することができる。例えば国際出願第ＰＣＴ／ＩＢ２０１５／０００４３８号に示されているように、マーカを用いて得られる３Ｄ情報を使用して、そのような経路同士の間の区別を行うことができる。
本発明の例示的な実施例では、図５が示すように、機器は術中デバイスによって画像化され、画像化平面５０５に投影される。両方の気道が画像平面５０５上の同じ曲線へと投影されているので、機器が気道５２０又は気道５２５のどちらの中に設置されているかは未知である。気道５２０と気道５２５を区別するために、マーカ同士の間に所定の距離「ｍ」を有する、カテーテルに取り付けられた少なくとも２つの放射線不透過マーカを使用することが可能である。図５では、術前画像上に見られるマーカは「Ｇ」及び「Ｆ」と名付けられている。
気道５２０と気道５２５の間の区別のプロセスは、以下のように行うことができる。
（１）術中画像からの点Ｆを対応する気道５２０、５２５のあり得る候補上に投影して、Ａ点及びＢ点を得る。
（２）術中画像からの点Ｇを対応する気道５２０、５２５のあり得る候補上に投影して、点Ｃ及び点Ｄを得る。
（３）投影されるマーカの対｜ＡＣ｜及び｜ＢＤ｜の間の距離を測定する。
（４）５２０上の距離｜ＡＣ｜及び５２５上の距離｜ＢＤ｜を、器具製造者によって事前に定められた距離ｍと比較する。距離類似性に従って適切な気道を選ぶ。
追跡型スコープ
非限定的な実例として、本明細書には、患者のＣＴスキャンをフルオロスコープ・デバイスとレジストレーションするための方法が開示されている。この方法は、フルオロスコープ画像中及びＣＴスキャン中の両方で検出される解剖学的要素を、ＣＴスキャンに対するフルオロスコープ・デバイス姿勢（例えば、向き及び場所）を生み出す姿勢推定アルゴリズムへの入力として使用する。以下では、この方法を、気管支内デバイスの場所に対応する３Ｄ空間軌道をレジストレーション方法の入力に追加することによって拡張する。これらの軌道は、スコープに沿って場所センサを取り付けることによって、又はロボット内視鏡アームを使用することによってなど、いくつかの手段によって獲得できる。そのような気管支内デバイスを以下では追跡型スコープと呼ぶ。追跡型スコープは、そこから延びる手術器具を対象エリアに導くために使用される（図７を参照）。診断器具は、カテーテル、鉗子、針、等であり得る。以下では、本明細書で示されるレジストレーション方法の正確度及びロバスト性を改善するために、追跡型スコープによって獲得される場所の測定値を使用する方法について記載する。
一実施例では、追跡型スコープの軌道とフルオロスコープ・デバイスの座標系との間のレジストレーションは、追跡型スコープを空間内の様々な位置に位置決めし標準的な姿勢推定アルゴリズムを適用することによって達成される。姿勢推定アルゴリズムの参考として、その全体が参照により本明細書に組み込まれている以下の論文を参照されたい：Ｆ． Ｍｏｒｅｎｏ－Ｎｏｇｕｅｒ、Ｖ． Ｌｅｐｅｔｉｔ、及びＰ． Ｆｕａの論文「ＥＰｎＰ： Ｅｆｆｉｃｉｅｎｔ Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ Ｃａｍｅｒａ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ」。
本明細書に開示する姿勢推定方法は、ＣＴスキャン中の選択される要素がフルオロスコープ画像中のそれらの対応する要素上に投影されるように姿勢を推定することによって実行される。本発明の一実施例では、追跡型スコープの軌道を姿勢推定方法への入力として追加することによって、この方法が拡張される。これらの軌道を、本明細書の方法を用いてフルオロスコープ・デバイスの座標系へと変換することができる。軌道はフルオロスコープ・デバイス座標系に変換されると姿勢推定方法に対する追加の制約として機能するが、その理由は、レジストレーションされたＣＴスキャンからセグメント化された気管支気道とそれらの軌道とが整合しなければならないという条件によって、推定される姿勢が制約されるからである。
フルオロスコープ・デバイスが推定した姿勢を使用することによって、術前のＣＴからの解剖学的要素をフルオロスコープの生動画に投影して、手術器具を肺の中の指定された対象に導くことができる。そのような解剖学的要素とは、限定するものではないが、対象病巣、病巣への経路、等であり得る。投影された対象病巣への経路は医師に２次元情報しか提供せず、この結果深度が曖昧になる、すなわち、ＣＴ上でセグメント化されたいくつかの気道が、２Ｄのフルオロスコープ画像上の同じ投影に対応している可能性がある。手術器具が設置される気管支気道をＣＴ上で適正に特定することが重要である。本明細書に記載する、そのような曖昧さを低減するために使用される１つの方法は、深度情報を提供する器具上に設置された放射線不透過マーカを使用することによって実行される。本発明の別の実施例では、追跡型スコープを使用して曖昧さを低減することができるが、その理由は、それが気管支気道内の３Ｄ場所を与えるからである。そのような手法は、分岐する気管支樹に適用されると、図７の追跡型スコープ先端部７０１までの潜在的な曖昧な選択肢を排除することを可能にする。図７の手術器具７０２が３Ｄ軌道を有さないと仮定すると、器具７０２のこの部分に関して上述の曖昧さが依然として生じることになるが、そのようなことが生じる可能性は遙かに低い。したがって、本発明のこの実施例によって、この器具の場所を適正に特定する本明細書に記載する方法の能力が改善される。
デジタル・コンピュータ・トモグラフィ（ＤＣＴ：Ｄｉｇｉｔａｌ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｔｏｍｏｇｒａｐｈｙ）
いくつかの実施例では、術中画像からのトモグラフィ再構築を、対象の場所を基準座標系に対して相対的に計算するために使用することができる。幾何形状が既知である放射線不透過マーカを備えた治具によって、各術中画像の相対的な姿勢の計算が可能になるように、そのような基準座標系の非限定的な実例を定めることができる。トモグラフィ再構築の各入力フレームは基準座標系との幾何学的関係が既知であるので、対象の場所も基準座標系内に配置可能である。このことにより、対象を更なるフルオロスコープ画像上に投影することが可能になる。いくつかの実施例では、投影される対象の場所は、対象の領域内の組織を追跡することによって、呼吸運動に関して補正可能である。いくつかの実施例では、この運動の補正は国際特許出願第ＰＣＴ／ＩＢ２０１５／００４３８号に記載されている例示的な方法に従って行われ、同出願はその内容の全体が参照により本明細書に組み込まれている。
以下から成る、Ｃアーム・ベースのＣＴ及び基準姿勢デバイスを使用して術中画像上の対象を拡張するための方法：
基準座標系との幾何学的関係が既知である複数の術中画像を収集することと、
３ｄ立体物（ｖｏｌｕｍｅ）を再構築することと、
再構築された立体物上の対象エリアをマーキングすることと、
対象を基準座標系との幾何学的関係が既知である更なる術中画像上に投影すること。
他の実施例では、トモグラフィで再構築された立体物を、術前ＣＴ立体物にレジストレーションすることができる。再構築された立体物において及び術前の立体物において、対象又は対象に付属する解剖学的構造、例えば血管、気管支気道、又は軌道分岐点の、既知の中心場所が与えられれば、両方の立体物を最初に位置合わせすることができる。他の実施例では、位置合わせ（例えば初期位置合わせ）を見出すために、両方の立体物から抽出された肋骨を使用することができる。いくつかの実施例では、立体物同士の間の適正な回転を見出すステップは、機器の再構築された場所及び軌道を、ＣＴから抽出された考えられる全ての気道軌道にマッチングさせることができる。最良のマッチングは、立体物同士の間の最も最適な相対回転を定めるものである。
いくつかの実施例では、トモグラフィで再構築された立体物及び術前ＣＴ立体物の両方上で特定できる少なくとも３つの共通の解剖学的目標物を使用して、トモグラフィで再構築された立体物を術前ＣＴ立体物にレジストレーションすることができる。解剖学的目標物の実例は、気道分岐部、血管であり得る。
いくつかの実施例では、相互情報などの画像ベースの類似性の方法を用いて、トモグラフィで再構築された立体物を術前ＣＴ立体物にレジストレーションすることができる。
いくつかの実施例では、トモグラフィで再構築された立体物と術前ＣＴ立体物の間の少なくとも１つの共通の解剖学的目標物（例えば３Ｄ－３Ｄ制約）と、更に少なくとも１つの３Ｄ－２Ｄ制約（例えば、肋骨又は胸郭境界）との組合せを用いて、トモグラフィで再構築された立体物を術前ＣＴ立体物にレジストレーションすることができる。そのような実施例では、両方のタイプの制約を、最急降下法などの標準的な最適化方法を用いてエネルギー関数として定式化し、最小化することができる。
他の実施例では、同じ手技の異なる時間からの、トモグラフィで再構築された立体物を、レジストレーションすることができる。このことのある応用としては、２画像を比較し、手入力のマーキングを一方の画像から他方へと移し、時系列的な３Ｄ情報を示すことが考えられる。
他の実施例では、フルオロスコープ画像化の品質の限界、他の組織による対象領域の妨害、手術環境の空間制約に起因して、ＤＣＴから一部の情報しか再構築されない可能性がある。そのような場合、対応している一部の情報は、術中画像化から再構築された部分的な３ｄ立体物と術前のＣＴとの間で特定され得る。２つの画像ソースを１つに融合して、統合データ・セットを形成することができる。上述のデータ・セットは、追加の手技中画像で随時更新することができる。
他の実施例では、トモグラフィで再構築された立体物をＲＥＢＵＳで再構築された３Ｄ対象形状にレジストレーションすることができる。
以下から成る、トモグラフィを用いたＣＴからフルオロへのレジストレーションを行うための方法：
術前画像上の対象をマーキングし気管支樹を抽出することと、
内視鏡機器を対象の肺葉内に配置することと、
器具が内側で安定している状態でＣアームを使用してトモグラフィをスピンさせることと、
再構築された立体物上に対象及び機器をマーキングすることと、
術前の立体物と再構築された立体物とを、対象の場所によって又は付属の解剖学的構造の場所によって位置合わせすることと、
ＣＴから抽出された考えられる全ての気道軌道について、
機器の再構築された軌道と各気道軌道との間の距離を最小にする、立体物同士の間の最適な回転を計算することと、
最短距離に対応する回転を選択することと、
２つの立体物同士の間の位置合わせを用いて、再構築された立体物を術前の立体物から得られた解剖学的情報で補強することと、
更なる術中画像上で対象エリアを強調表示すること。
他の実施例では、先行する術前のＣＴスキャンの立体物を使用することによって、デジタル・トモシンセシスの品質を向上させることができる。術中画像と術前のＣＴスキャンとの間の既知の粗いレジストレーションを行うと、術前のＣＴスキャンの立体物から対象の関連領域を抽出することができる。周知の再構築アルゴリズムに制約を加えることによって再構築される画像の品質が大きく改善されるが、このことが全体として参照によって本明細書に組み込まれる：Ｓｅｃｈｏｐｏｕｌｏｓ、Ｉｏａｎｎｉｓ （２０１３）、「Ａ ｒｅｖｉｅｗ ｏｆ ｂｒｅａｓｔ ｔｏｍｏｓｙｎｔｈｅｓｉｓ． Ｐａｒｔ ＩＩ． Ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ， ｐｒｏｃｅｓｓｉｎｇ ａｎｄ ａｎａｌｙｓｉｓ， ａｎｄ ａｄｖａｎｃｅｄ ａｐｐｌｉｃａｔｉｏｎｓ」、Ｍｅｄｉｃａｌ Ｐｈｙｓｉｃｓ． ４０ （１）： ０１４３０２。そのような制約の実例として、最初の立体物を、術前のＣＴから抽出された立体物を用いて初期化することができる。
いくつかの実施例では、以下を含む、術前ＣＴスキャンの先行する立体物を使用してトモグラフィ再構築を改善する方法：
術中画像と術前ＣＴスキャンの間のレジストレーションを行うことと、
術前ＣＴスキャンから対象立体物の領域を抽出することと、
周知の再構築アルゴリズムに制約を追加することと、
追加された制約を使用して画像を再構築することと、
目標物を使用してトモグラフィ中の姿勢を推定すること。
いくつかの実施例では、トモグラフィ再構築を行うために異なる姿勢からの同じ領域の複数の画像が必要となる。
いくつかの実施例では、国際特許出願第ＰＣＴ／ＩＢ１７／０１４４８号、「Ｊｉｇｓ ｆｏｒ ｕｓｅ ｉｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ ａｎｄ ｍｅｔｈｏｄｓ ｆｏｒ ｕｓｅ ｔｈｅｒｅｏｆ」（これにより参照によって本明細書に組み込まれる）に記載されているように、３Ｄ放射線不透過マーカの固定されたパターンを使用して姿勢推定を行うことができる。例えば、そのような３Ｄパターンを放射線不透過マーカと共に使用することによって、画像フレーム内で患者の対象エリアの領域と共に上記パターンが少なくとも部分的に見えていなければならないという、物理的な制限が加わる。
例えば、１つのそのようなＣアーム・ベースのＣＴシステムについて、先行技術である、米国特許第９０４４１９０Ｂ２号として公開された「Ｃ－ａｒｍ ｃｏｍｐｕｔｅｒｉｚｅｄ ｔｏｍｏｇｒａｐｈｙ ｓｙｓｔｅｍ」に関する米国特許出願に記載されている。この用途では一般に、被験者に対して固定された位置に配設された３次元対象が使用され、Ｃアームが手作業で又は走査モータによって移動される間に、被験者の対象領域の一連のビデオ画像が取得される。ビデオ・シークエンスからの画像が分析されて、対象の画像パターンの分析によって、被験者に対するＣアームの姿勢が決定される。
しかしながらこのシステムは、不透過なマーカを有する３次的対象を利用し、その姿勢を決定するためにこのマーカは、どのフレームの場合も視野内になければならない。この要件は、Ｃアームの画像化角度を大きく限定するか、又は代わりにそのような３次元対象（若しくは対象の一部）を患者の上若しくは周囲に配置することを必要とするかのいずれかとなるが、このことは、患者への接近又はＣアーム自体の移動を制限しているので、臨床用途の観点からは制限要因である。トモグラフィ再構築の品質及び次元数は、他の要因の中でもとりわけ、Ｃアームの回転角度に依存することが知られている。トモグラフィ再構築品質の観点からは、Ｃアーム回転角度範囲は、小さな軟部組織物体のトモグラフィ再構築にとって決定的なものとなる。そのような物体を表す非限定的な実例は、ヒトの肺の中の８～１５ｍｍのサイズの軟部組織病巣である。
したがって、従来のＣアーム・フルオロスコープ画像化システムから、Ｃアームの画像化されたあらゆるフレームに適したＣアームの姿勢を決定するためにそのようなあらゆるフレーム内に不透過マーカを有する制限的な３次元対象（又はその一部）を備える必要なく、広角画像化を得るためのシステムが、少なくとも必要とされている。
本発明のいくつかの実施例では、被験者（患者）の解剖学的構造を使用して、既に画像の一部である解剖学的目標物を使用してあらゆる画像の姿勢を抽出することができる。そのようなものの非限定的な実例は、肋骨、肺、横隔膜、気管、などである。この手法は、３Ｄ－２Ｄ対応関係からの６自由度姿勢推定アルゴリズムを用いることによって実装され得る。本特許開示にはそのような方法も記載されている。図９を参照されたい。
いくつかの実施例では、Ｃアームの移動連続性、見つからないフレーム姿勢を既知のフレームから外挿することができる。別法としてそのような場合、放射線不透過マーカのパターンによって、そのような演算に関してパターン又はその一部が見えていると仮定してフレームのサブセットについて姿勢を推定することによる、ハイブリッドの手法を用いることができる。
いくつかの実施例では、本発明は、Ｘ線画像化デバイスの軌道が既知であるか又は外挿及び境界付け可能であると仮定した、画像化デバイスの既知の軌道移動からのあらゆるフレームについての姿勢推定を含む。図１０Ａの非限定的な実例は、放射線不透過マーカのパターンをカバーする、Ｃアームに付設されたＸ線画像化デバイスの姿勢を示す。画像化デバイスの３Ｄ軌道を推定するために、放射線不透過マーカのパターンを有する全フレームのサブセットが使用される。この情報は、図１０Ｂの姿勢の姿勢推定を特定の３Ｄ軌道に限定して、解探索空間を大いに限定するために使用される。
いくつかの実施例では、Ｃアームの移動の３Ｄ軌道が推定されると、そのような移動は少数の変数で表すことができる。図Ｘ１で描かれている非限定的な実例では、Ｃアームは、Ｃアームの少なくとも２つの既知の姿勢を使用して３Ｄ軌道が推定され得るようなアイソセンタを有し、それを単一のパラメータ「ｔ」で表すことができる。この場合、画像内に少なくとも１つの既知の見えている３Ｄ目標物を有していることは、Ｃアームの各姿勢に対応する軌道中のパラメータ「ｔ」を推定するのに十分である。図１１を参照されたい。
いくつかの実施例では、三角法を用いると共に固有のカメラ・パラメータが既知であると仮定すると、目標物の３Ｄ場所を推定するために、Ｃアームの少なくとも２つの既知の姿勢が必要となる。より安定的でロバストな目標物場所推定のために、追加の姿勢を使用することができる。
いくつかの実施例では、本発明の実施例のトモグラフィ立体物再構築を行う方法は、以下を含む：
Ｘ線画像化デバイスの回転を行うことと、
フレームを使用してＸ線画像化デバイスの移動の軌道を推定することであって、推定される３Ｄ目標物がカメラの場所を及び方向を３Ｄ軌道制約及び既知の３Ｄ－２Ｄ対応特徴を用いて解くことによって見えるようになる、推定することと、
フレームの軌道上の場所を評価することであって、推定される３Ｄ目標物は移動が連続的であるとの仮定に基づく外挿アルゴリズムによって見える又は部分的に見えるようになる、評価することと、
３Ｄ軌道制約及び既知の３Ｄ－２Ｄ対応特徴を用いてカメラの場所及び方向を解くことによって、各フレームの姿勢を推定することと、
対象領域について立体的再構築を計算すること。
いくつかの実施例では、本発明のトモグラフィ立体物再構築を行う方法は、以下を含む：
Ｘ線画像化デバイスの回転を行うことと、
Ｘ線画像化デバイスの軌道をフレームを使用して推定することであって、放射線不透過マーカのパターンが見えており姿勢を推定可能である、推定することと、
フレームの姿勢を推定することであって、推定される３Ｄ目標物だけがカメラの場所を及び方向を３Ｄ軌道制約及び既知の３Ｄ－２Ｄ対応特徴を用いて解くことによって見えるようになる、推定することと、
対象領域について立体的再構築を計算すること。
いくつかの実施例では、本発明は、どのような２Ｄ－３Ｄ対応特徴も有さない（例えば、先行するＣＴ画像が必要ない）、画像化デバイス姿勢推定問題の解決法に関する。Ｆｕｒｕｋａｗａ， Ｙ．及びＰｏｎｃｅ， Ｊ．、「Ａｃｃｕｒａｔｅ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｆｒｏｍ ｍｕｌｔｉ－ｖｉｅｗ ｓｔｅｒｅｏ ａｎｄ ｂｕｎｄｌｅ ａｄｊｕｓｔｍｅｎｔ」 Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、８４（３）、２５７～２６８項（２００９）（本文献は参照によって本明細書に組み込まれている）に記載されているようなカメラ較正プロセスを、オンライン又はオフラインで適用することができる。較正済みのカメラを用い、ストラクチャ・フロム・モーション（ＳｆＭ）技術を適用して、複数の画像上に見えている物体の３Ｄ構造を推定することができる。そのような物体は、限定するものではないが、肋骨、血管、脊柱などの解剖学的物体、気管支内の器具、ワイヤ、及びセンサなどの体の内側に配置された機器、又は体に取り付けられたものなどの体の外側に近接して配置された機器、等であり得る。いくつかの実施例では、全てのカメラは一斉に解かれる。そのようなストラクチャ・フロム・モーション技術については、Ｔｏｒｒ， Ｐ．Ｈ．及びＺｉｓｓｅｒｍａｎ， Ａ．、「Ｆｅａｔｕｒｅ ｂａｓｅｄ ｍｅｔｈｏｄｓ ｆｏｒ ｓｔｒｕｃｔｕｒｅ ａｎｄ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ． Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ ｗｏｒｋｓｈｏｐ ｏｎ ｖｉｓｉｏｎ ａｌｇｏｒｉｔｈｍｓ」（２７８～２９４頁）（１９９９年９月）、Ｓｐｒｉｎｇｅｒ、Ｂｅｒｌｉｎ、Ｈｅｉｄｅｌｂｅｒｇに記載されている（本文献は参照によって本明細書に組み込まれている）。
いくつかの実施例では、本発明は、トモグラフィ再構築用の画像化シークエンスの獲得を目的とした、対象３Ｄパターンと、Ｃアームの回転の時間から動的に又は場合によってはそのような回転の前に推定されている３Ｄ目標物と、の組合せによって、３Ｄ放射線不透過マーカの既知のパターンを使用することの限界の克服を可能にする。そのような目標物の非限定的な実例は、気管支内器具上のマーカ、器具先端部、等といった患者の体内の物体、又は、パッチ、ワイヤ、等といった体の外部に取り付けられた物体の、いずれかによって表される。
いくつかの実施例では、図１２に記載されているように、上記３Ｄ目標物は、放射線不透過マーカの見えている既知のセットを利用して各画像フレームごとの姿勢を推定する、先行技術のトモグラフィ又はステレオ・アルゴリズムを使用して推定される。
いくつかの実施例では別法として、図１３に記載されているように、上記３Ｄ目標物はフレーム内の放射線不透過マーカに依存することなく、ストラクチャ・フロム・モーション（ＳｆＭ）法を使用して推定される。次のステップでは追加の３Ｄ目標物が推定される。推定された３Ｄ目標物を活用して、マーカの既知の３Ｄパターンを有さないフレームに関する姿勢が推定される。最後に、一連の利用可能な全画像を使用して立体的再構築が算出される。
いくつかの実施例では、本発明は以下を含む、一連のＸ線画像から３次元立体物を再構築する方法である：
既知の姿勢を有する少なくとも２つのフレームから３次元目標物を推定することと、
再構築された目標物を使用して、画像フレーム内に放射線不透過マーカのパターンを有さない他のフレームに関する姿勢を推定することと、
全フレームを使用して立体的再構築を計算すること。
いくつかの実施例では、本発明は、再構築アルゴリズム入力を反復的に微調整することによって出力画像化品質を最大限に高める、反復的な再構築方法である。画像品質測定の非限定的な実例は、画像鮮鋭度の測定であり得る。鮮鋭度は画像のコントラストに関連しているので、このため、コントラスト尺度を鮮鋭度又は「オートフォーカス」関数として使用することができる。そのような測定は、Ｇｒｏｅｎ， Ｆ．、Ｙｏｕｎｇ， Ｉ．、及びＬｉｇｔｈａｒｔ， Ｇ．、「Ａ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｄｉｆｆｅｒｅｎｔ ｆｏｃｕｓ ｆｕｎｃｔｉｏｎｓ ｆｏｒ ｕｓｅ ｉｎ ａｕｔｏｆｏｃｕｓ ａｌｇｏｒｉｔｈｍｓ」、Ｃｙｔｏｍｅｔｒｙ ６、８１～９１（１９８５）に定義されている。実例として、エリアａにおけるある画像に関するフォーカス尺度の勾配の二乗の値Φ（ａ）は、以下によって与えられる。
Φ（ａ）＝ΣΣΣ（ｆ（ｘ，ｙ，ｚ＋１）－ｆ（ｘ、ｙ，ｚ））＾２
対象領域は再構築立体物の概ね中央にあるはずなので、計算を中央の小さい矩形領域に限定するのは理屈が通っている。
いくつかの実施例では、このことは最適化問題として定式化することができ、最急降下法のような技術を使用して解決される。
姿勢の微調整は、以下の関数：
ｐｎ＋１＝ｐｎ＋α∇Ｆ（ｐｎ）、式中、Ｆは姿勢ｐｎが与えられたときの再構築関数を表す、を更新し、次いで鮮鋭度関数Φ（）の値を算出することによって行われる。
いくつかの実施例では、本発明は、いくつかの幾何学的制約を満足するようにカメラ姿勢を反復的に微調整することによって出力画像化品質を改善する、反復的な姿勢整合方法である。そのような制約の非限定的な実例は、複数のフレーム内に見えている物体の同じ特徴点であり得、したがって必然的に、その物体と各カメラの焦点とを結ぶ光線の交差点内にある（図１４を参照）。
初期には、姿勢推定の不正確さのために、及び更に（例えば呼吸による）物体の変位に起因して、ほとんどの場合そのようにはならない。光線交差制約を満足するようにカメラの姿勢を修正することによって、姿勢決定誤差及び画像化された対象領域の移動が局所的に補償されることになり、より良好な再構築画像の品質がもたらされる。そのような特徴点の実例は、患者内の機器の先端部、又は機器上の不透過マーカ、等であり得る。
いくつかの実施例では、このプロセスは最適化問題として定式化することができ、最急降下法などの方法を使用して解決され得る。この方法について図１６を参照されたい。費用関数は、物体の特徴点と各光線上の最も近い点との間の距離の二乗として定めることができる（図１５を参照）。
Figure 2023520618000002
フルオロスコープ・デバイス配置ガイダンス
いくつかの実施例では、各フルオロスコープは最初に使用する前に較正される。いくつかの実施例では、較正プロセスは、実際のフルオロスコープの回転角度の算出、術前及び術中撮像モダリティの登録、並びに術中画像上での対象の表示を含む。
いくつかの実施例では、Ｃアームの回転が開始される前にフルオロスコープが、術前画像から投影された対象がＣアームの一回転を通して画像の中央に留まるように配置される。
いくつかの実施例では、対象がフルオロスコープ画像の中央にくるようにフルオロスコープを配置することは、フルオロスコープの高さが非常に重要であるためにそれ自体では十分ではなく、一方で、回転の中心は常に画像の中央にある訳ではなく、Ｃアームの回転中に画像エリア外への対象の望まれないシフトを引き起こす。
いくつかの実施例では、対象位置は基準系に対して既知であるので、Ｃアームの最適な３Ｄ場所が計算される。いくつかの実施例では、Ｃアームの３Ｄ場所を最適化することは、Ｃアームの回転中に画像中心からの対象の最大距離を最小にすることを意味する。
いくつかの実施例では、Ｃアームの３Ｄ場所を最適化するために、使用者は最初に、フルオロスコープでのスナップショットを１枚撮影する。いくつかの実施例では計算に基づき、上下、（患者に対して）左右、及び（患者に対して）頭足の３軸でフルオロスコープを移動させるように、使用者に指示が与えられる。いくつかの実施例では、この指示はフルオロスコープをその最適な位置に向けて案内する。いくつかの実施例では、使用者はフルオロスコープを指示に従って移動させ、その後新しい位置に対する新しい指示を得るために、スナップショットをもう１枚撮影する。図２０は、上記に従い使用者に提供され得る例示的なガイダンスを示す。
いくつかの実施例では、画像中央に位置付けられた小円であるＲＯＩ内に病巣が完全に収まっている掃引（ＡＰから＋／－３０度と仮定）のパーセンテージを算出することによって、スナップショットごとに位置品質が算出される。
いくつかの実施例では、命令を伝えるための代替の方式は、画像上に静的パターン及び類似の動的パターンを表示することであり、その場合静的パターンは所望の位置を表し、動的パターンは現在の対象を表す。そのような実施例では、使用者は連続的なフルオロスコープ・ビデオを使用し、動的パターンはフルオロスコープの移動に従って移動する。いくつかの実施例では、動的パターンは左右軸及び頭足軸へのフルオロスコープの移動に従ってｘ及びｙ軸に沿って移動し、動的パターンのスケールは垂直軸に沿ったフルオロスコープ・デバイスの移動に従って変化する。いくつかの実施例では、動的パターンと静的パターンを位置合わせすることによって、使用者はフルオロスコープ・デバイスを適正に配置する。図２１は上で検討したような例示的な静的及び動的パターンを示す。
教師なし深層学習を用いた改善された角度限定Ｘ線－ＣＴ再構築の実例。
物体の２Ｄ画像のセットをあらゆる画像についてのカメラ姿勢と共に入力として受信し物体の３Ｄ再構築を計算する、２Ｄ画像からの３Ｄ画像再構築には、様々なアルゴリズムが存在する。これらのアルゴリズムは、情報の喪失に起因して２Ｄ画像が限定された角度（Ｘ線に関して１８０度未満の角度範囲）からのものとなっている場合に、得られる結果の品質がより低くなる。提案されている方法は、限定された角度の２Ｄ画像から３Ｄ画像を再構築する他の方法と比較して、３Ｄ画像品質のかなりの改善をもたらす。
いくつかの実施例では、本発明は以下を含む、教師なし深層学習モデルを用いた改善された角度限定ｘ線－ＣＴ再構築を行う方法である：
既存の方法を用いてＸ線画像からの低品質ＣＴの再構築の方法を適用することと、
ドメインＡからドメインＣへの画像変換アルゴリズムを適用することと、
ドメインＣからドメインＢへの画像変換アルゴリズムを適用すること。
更なる検討のために、ドメインＡ、Ｂ、及びＣを使用する。ドメインＡは「低品質トモグラフィ再構築」ドメインと定義され、ドメインＢはＣＴスキャン・ドメインと定義され、ドメインＣは手技前のＣＴデータから生成される「シミュレーションされた低品質トモグラフィ再構築」と定義される。
いくつかの実施例では、セクション１は全ての画像について姿勢を計算することができ、次いで、例えば上記した「目標物を使用してトモグラフィ中の姿勢を推定する」方法を用いて低品質３Ｄ再構築を再構築するために、この方法は、ドメインＡ内で２Ｄ画像を低品質ＣＴ画像に変換する。
直前の段落から続けると、シミュレーションされた低品質再構築は、選択されたＣＴ軸に沿った強度積分を計算するＦＰ（ｆｏｒｗａｒｄ ｐｒｏｊｅｃｔｉｏｎ：順投影）アルゴリズムを所与のＣＴに適用することによって達成され得、その結果シミュレーションされた一連の２ＤのＸ線画像を得ることができ、続くステップでは、低品質３Ｄ立体物を再構築するために上記した方法１を適用しているが、これは例えば、再構築結果の初期推定から開始し、ＦＰを反復的に適用し現在の再構築結果を２Ｄ画像からのそのＦＰ差だけ変更することによって立体物を反復的に再構築する、ＳＩＲＴ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｉｔｅｒａｔｉｖｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ：同時逐次再構成法）アルゴリズムによって行われる（ｈｔｔｐｓ：／／ｔｏｍｒｏｅｌａｎｄｔｓ．ｃｏｍ／ａｒｔｉｃｌｅｓ／ｔｈｅ－ｓｉｒｔ－ａｌｇｏｒｉｔｈｍ）。
いくつかの実施例では、再構築をドメインＡからＣへと変換するために使用されるドメイン変換モデルは、教師あり型とすることができない（シミュレーションがＣＴに位置合わせされ、２Ｄ画像については位置合わせされるＣＴが存在しないため）。シミュレーションされたデータは上記した方法によって得ることができる。要求されるモデルを訓練するために、再構築をその位置合わせされたシミュレーションに変換する、サイクル整合性のある敵対的ネットワーク（Ｃｙｃｌｅ Ｇａｎ：Ｃｙｃｌｅ－Ｃｏｎｓｉｓｔｅｎｔ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）を使用することが可能である。Ｃｙｃｌｅ Ｇａｎの訓練は敵対性損失、サイクル損失、及び同一性損失を組み合わせることによって行われ（Ｊｕｎ－Ｙａｎ Ｚｈｕ、Ｔａｅｓｕｎｇ Ｐａｒｋ、Ｐｈｉｌｌｉｐ Ｉｓｏｌａ、及びＡｌｅｘｅｉ Ａ Ｅｆｒｏｓ、２０１７、Ｕｎｐａｉｒｅｄ ｉｍａｇｅ－ｔｏ－ｉｍａｇｅ ｔｒａｎｓｌａｔｉｏｎ ｕｓｉｎｇ ｃｙｃｌｅ－ｃｏｎｓｉｓｔｅｎｔ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ、２２２３～２２３２、に記載されている）、このことにより図１８に示されているように、位置合わせされていない画像を使用して訓練を行うことが可能になる。
なおいくつかの実施例では、ドメインＣからドメインＢへの変換モデルを教師あり型とすることができるが、その理由は、あるＣＴを所与とするシミュレーションの生成はそのプロセスの定義通り、そのＣＴに位置合わせされるからである。例えば、図１９に示すように、そのようなモデルを訓練するために、知覚損失（Ｊｕｓｔｉｎ Ｊｏｈｎｓｏｎ、Ａｌｅｘａｎｄｒｅ Ａｌａｈｉ、及びＬｉ Ｆｅｉ－Ｆｅｉ、Ｐｅｒｃｅｐｔｕａｌ ｌｏｓｓｅｓ ｆｏｒ ｒｅａｌ－ｔｉｍｅ ｓｔｙｌｅ ｔｒａｎｓｆｅｒ ａｎｄ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ． Ｉｎ ＥＣＣＶ、２０１６、に記載されている）、及びＬ２距離損失を用いる、ｉ ＣＮＮベースのニューラル・ネットワークを使用することができる。
いくつかの実施例では、上記した全ての方法の組合せが図１７に示されており、そこには一連の２Ｄ画像から開始され３Ｄ画像再構築が受け取られるプロセスが記載されている。
等価物
本発明はとりわけ、軽度から中度の急性痛及び／又は炎症を治療するための、新規の方法及び組成物を提供する。主題の発明の具体的な実施例について検討してきたが、上記の明細書は例示的なものであって制限的なものではない。当業者には本明細書を精査することで本発明の多くの変形が明らかになるであろう。本発明の全範囲は、特許請求の範囲をそれらの等価物の全範囲と併せて、及び明細書をそのような変形と併せて参照して、決定されるべきである。
参照による組み込み
本明細書で言及する全ての刊行物、特許、及び配列データベースのエントリは、個々の各刊行物又は特許が参照により組み込まれるものと特定的且つ個別に示されているかのように、参照によりそれらの全体が本明細書に組み込まれる。
本発明のいくつかの実施例について記載してきたが、これらの実施例は例示的なものに過ぎず制限的ではないこと、及び、当業者には多くの変更が明らかになり得ることが、理解される。また更に、様々なステップを任意の所望の順序で実行してもよい（また、任意の所望のステップを追加してもよく、且つ／又は、任意の所望のステップを削除してもよい）。

Claims (19)

  1. 医療画像化デバイスが回転によって回転される間に前記医療画像化デバイスによって撮影された一連の医療画像を受信することであって、前記一連の医療画像は複数の目標物を含む対象領域を示す、受信することと、
    前記複数の目標物が見えている前記一連の医療画像のサブセットの各々の姿勢を決定することと、
    前記一連の医療画像の前記サブセットの前記決定された姿勢及び前記画像化デバイスの軌道制約に基づいて、前記医療画像化デバイスの移動の軌道を推定することと、
    前記複数の目標物が少なくとも部分的に見えていない前記医療画像のうちの少なくとも１つの姿勢を、前記医療画像化デバイスの移動が継続するとの仮定に基づく外挿によって決定することと、
    少なくとも（ａ）前記複数の目標物が見えている前記一連の医療画像の前記サブセットの前記姿勢のうちの少なくともいくつか、及び（ｂ）前記複数の目標物が少なくとも部分的に見えていない前記医療画像のうちの前記少なくとも１つの前記姿勢のうちの少なくとも１つ、に基づいて、前記対象領域に関する立体的再構築を決定することと、
    を含む、方法。
  2. 前記一連の医療画像の前記サブセットの各々の姿勢は、前記一連の医療画像の前記サブセットにおいて見られる前記複数の目標物の３Ｄ場所と前記複数の目標物の２Ｄ場所の間の２Ｄ－３Ｄ対応関係に基づいて決定される、請求項１に記載の方法。
  3. 前記複数の目標物の前記３Ｄ場所は少なくとも１つの術前画像に基づいて決定される、請求項２に記載の方法。
  4. 前記複数の目標物の前記３Ｄ場所はストラクチャ・フロム・モーション技術を適用することによって決定される、請求項２に記載の方法。
  5. Ｃアームに付設された画像化デバイスを使用して、制約された軌道を有する前記Ｃアームの動きによって医療画像化デバイスが回転される間に複数の医療画像を受信することであって、前記複数の医療画像のうちの少なくともいくつかは対象領域を含む、受信することと、
    前記複数の医療画像のサブセットの各々の姿勢を決定することと、
    複数の３Ｄ目標物の位置を、前記複数の医療画像の前記サブセットにおける前記３Ｄ目標物の２Ｄ位置に基づいて、及び前記複数の医療画像の前記サブセットの各々の前記決定された姿勢に基づいて、計算することと、
    少なくとも前記３Ｄ目標物の既知の３Ｄ－２Ｄ対応関係に基づいて画像化デバイスの場所及び画像化デバイスの向きを決定することによって、前記３Ｄ目標物のうちの少なくともいくつかが見えている前記複数の医療画像のうちの更なる１つの姿勢を決定することと、
    少なくとも前記複数の医療画像のうちの前記更なる１つ及び前記複数の医療画像のうちの前記更なる１つの前記姿勢に基づいて、前記対象領域の立体的再構築を計算することと、
    を含む、方法。
  6. 前記複数の医療画像の前記サブセットの各々の前記姿勢は、少なくとも前記複数の医療画像の前記サブセットにおいて見えている放射線不透過マーカのパターンに基づいて決定される、請求項５に記載の方法。
  7. 前記姿勢は前記制約された軌道に基づいて更に決定される、請求項６に記載の方法。
  8. 医療画像化デバイスが回転によって回転される間に前記医療画像化デバイスによって撮影された一連の医療画像を受信することであって、前記一連の医療画像は３Ｄ形状を有する目標物を含む対象領域を示す、受信することと、
    前記医療画像のうちの少なくともいくつかの各々の姿勢を、少なくとも前記医療画像のうちの前記少なくともいくつかの各々における前記目標物の２Ｄ投影の３Ｄ－２Ｄ対応関係に基づいて計算することと、
    前記対象領域の立体的再構築を、少なくとも前記医療画像のうちの前記少なくともいくつか及び前記医療画像のうちの前記少なくともいくつかの前記計算された姿勢に基づいて、計算することと、
    を含む、方法。
  9. 前記目標物は解剖学的目標物である、請求項８に記載の方法。
  10. 前記解剖学的目標物の前記３Ｄ形状は少なくとも、少なくとも１つの術前画像に基づいて決定される、請求項９に記載の方法。
  11. 前記目標物の前記３Ｄ形状は、少なくとも前記一連の医療画像のうちの少なくともいくつかにストラクチャ・フロム・モーション技術を適用することに基づいて決定される、請求項８に記載の方法。
  12. 前記ストラクチャ・フロム・モーション技術は前記一連の医療画像の全てに適用される、請求項１１に記載の方法。
  13. 前記姿勢は前記一連の医療画像の全てについて計算される、請求項８に記載の方法。
  14. 前記一連の画像には複数の放射線不透過マーカが示されていない、請求項８に記載の方法。
  15. 前記医療画像のうちの前記少なくともいくつかの各々の姿勢を前記計算することは、前記回転の既知の軌道に更に基づく、請求項８に記載の方法。
  16. 前記目標物の前記３Ｄ形状は、少なくとも１つの術前画像に基づいて、及び前記一連の医療画像のうちの少なくともいくつかにストラクチャ・フロム・モーション技術を適用することに更に基づいて、決定される、請求項８に記載の方法。
  17. 前記目標物は前記対象領域において患者の体内に配置された機器である、請求項８に記載の方法。
  18. 前記目標物は、患者の体に近接して前記患者の前記体の外側に配置された物体である、請求項８に記載の方法。
  19. 前記物体は前記患者の前記体に固定されている、請求項１８に記載の方法。
JP2022545135A 2020-01-24 2021-01-25 多視点姿勢推定を使用するための方法及びシステム Pending JP2023520618A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062965628P 2020-01-24 2020-01-24
US62/965,628 2020-01-24
PCT/IB2021/000027 WO2021148881A2 (en) 2020-01-24 2021-01-25 Methods and systems for using multi view pose estimation

Publications (1)

Publication Number Publication Date
JP2023520618A true JP2023520618A (ja) 2023-05-18

Family

ID=76993117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022545135A Pending JP2023520618A (ja) 2020-01-24 2021-01-25 多視点姿勢推定を使用するための方法及びシステム

Country Status (7)

Country Link
US (1) US20230030343A1 (ja)
EP (1) EP4094185A4 (ja)
JP (1) JP2023520618A (ja)
CN (1) CN115668281A (ja)
AU (1) AU2021211197A1 (ja)
CA (1) CA3168969A1 (ja)
WO (1) WO2021148881A2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023006563A (ja) * 2021-06-30 2023-01-18 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置、ｘ線診断方法、およびプログラム
US11816768B1 (en) 2022-12-06 2023-11-14 Body Vision Medical Ltd. System and method for medical imaging

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3495805A3 (en) * 2014-01-06 2019-08-14 Body Vision Medical Ltd. Surgical devices and methods of use thereof
US10064687B2 (en) * 2014-01-13 2018-09-04 Brainlab Ag Estimation and compensation of tracking inaccuracies
US10504231B2 (en) * 2014-05-21 2019-12-10 Millennium Three Technologies, Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof
US10702226B2 (en) * 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
WO2017023635A1 (en) * 2015-08-06 2017-02-09 Xiang Zhang A system for 3d object modeling and tracking in x-ray imaging
US20190000564A1 (en) * 2015-12-30 2019-01-03 The Johns Hopkins University System and method for medical imaging
AU2017231889A1 (en) * 2016-03-10 2018-09-27 Body Vision Medical Ltd. Methods and systems for using multi view pose estimation

Also Published As

Publication number Publication date
CA3168969A1 (en) 2021-07-29
WO2021148881A3 (en) 2021-09-02
EP4094185A4 (en) 2024-05-29
US20230030343A1 (en) 2023-02-02
AU2021211197A1 (en) 2022-08-18
CN115668281A (zh) 2023-01-31
EP4094185A2 (en) 2022-11-30
WO2021148881A2 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
US11350893B2 (en) Methods and systems for using multi view pose estimation
US20200046436A1 (en) Methods and systems for multi view pose estimation using digital computational tomography
JP7195279B2 (ja) 画像の三次元再構成及び改善された対象物定位のために、放射状気管支内超音波プローブを用いるための方法
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
CN110381841B (zh) 用于医疗成像的夹具及其使用方法
US8712129B2 (en) Method and a system for registering a 3D pre-acquired image coordinates system with a medical positioning system coordinate system and with a 2D image coordinate system
CN110301883B (zh) 用于导航管状网络的基于图像的向导
CN114886560A (zh) 使用标准荧光镜进行局部三维体积重建的系统和方法
US20230030343A1 (en) Methods and systems for using multi view pose estimation
JP6806655B2 (ja) 放射線撮像装置、画像データ処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240116