JP7213413B2 - Ｃ－ａｒｍベースの医用画像システム及び２Ｄ画像と３Ｄ空間の整合方法 - Google Patents

Ｃ－ａｒｍベースの医用画像システム及び２Ｄ画像と３Ｄ空間の整合方法 Download PDF

Info

Publication number
JP7213413B2
JP7213413B2 JP2021553134A JP2021553134A JP7213413B2 JP 7213413 B2 JP7213413 B2 JP 7213413B2 JP 2021553134 A JP2021553134 A JP 2021553134A JP 2021553134 A JP2021553134 A JP 2021553134A JP 7213413 B2 JP7213413 B2 JP 7213413B2
Authority
JP
Japan
Prior art keywords
image
plate
arm
ray
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021553134A
Other languages
English (en)
Other versions
JP2022523587A (ja
Inventor
チョイ、ジン・ヒョク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Curexo Inc
Original Assignee
Curexo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Curexo Inc filed Critical Curexo Inc
Publication of JP2022523587A publication Critical patent/JP2022523587A/ja
Application granted granted Critical
Publication of JP7213413B2 publication Critical patent/JP7213413B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/08—Auxiliary means for directing the radiation beam to a particular spot, e.g. using light beams
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A61B2090/3764—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT] with a rotating C-arm having a cone beam emitting source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明はＣ－ａｒｍベースの医用画像システム及び２Ｄ画像と３Ｄ空間の整合方法に関し、より具体的には、Ｃ－ａｒｍ画像のピクセル及びこれに対応する３Ｄ空間座標との間の整合関係及び／または任意の３Ｄ座標及びこれに対応するＣ－ａｒｍ画像のピクセルとの間の整合関係を生成する医用画像システム及び方法に関する。
Ｃ－ａｒｍベースの医用画像システムは、医師が治療状況をリアルタイムで確認できるようにすることで、治療の精度を高めるのに大きく寄与してきた。例えば、椎間板の治療法として知られている硬膜外注射、神経ブロック，神経形成術，高周波熱凝固法などを施術する際に、医師は脊椎神経周囲の病変に注射、カテーテルを挿入しながらＣ－ａｒｍ画像を肉眼で確認することにより、施術の安全性と正確性を担保する。
医師の施術を補助するための医療用ロボット、プランニングシステム、ナビゲーションシステムなどが開発されるに伴い、医療用ロボット、プランニングシステムなどに要求される高度な機能、例えば、Ｃ－ａｒｍスキャンオブジェクトの３Ｄ再構成と、被検体の３次元空間位置情報などが要求されているが、一般的なＣ－ａｒｍはこのような機能を提供していない。
図１に示すように、モバイルＣ－ａｒｍＸ－線装置は、一般的にＸ－線ソース１００と、これに対向するディテクター２００と、Ｃ字形状のフレーム３００と、フレーム３００を移動させる駆動部４００を含んで構成される。施術者は、駆動部４００を制御して、フレーム３００を回転または並進運動させながら所望の撮影位置にソース１００及びディテクター２００を位置させた後、Ｘ－線を照射して画像を取得する。施術者は、ソース１００及びディテクター２００の位置を変更しながら被検体５００についての多数のＸ－線画像を得ることができ、いわゆる「ｂａｃｋ－ｐｒｏｊｅｃｔｉｏｎ」を介して３Ｄボクセルを再構成することができる。
しかし、Ｃ－ａｒｍ装置の幾何学的構造は、正確な位置情報を提供していないので、正確なボクセルを再構成することができないだけでなく、その位置情報を提供することもできない。Ｃ－ａｒｍＸ－線ソース１００は、非常に重く、これによりたるみ現象が発生する場合が多く、フレーム３００の円周軌道に沿ってソース１００とディテクター２００を回転して移動させてもＣ－ａｒｍの幾何学的構造が一定に保持されなくて、従って「ｂａｃｋ－ｐｒｏｊｅｃｔｉｏｎ」によって、正確なボクセルを再構成するのは難しい。また、ディテクターの平面２０２、ｄがＣ－ａｒｍケースの内側２００に位置してディテクターの平面２０２、ｄの位置をメーカー以外には知ることができず、ソース機器１０２、Ｓもケースの内側１００に位置しており、正確な光源の位置を知ることができないので、Ｃ－ａｒｍ画像では合成された３Ｄモデルの実際の位置を特定することができない。
したがって、与えられたＣ－ａｒｍ幾何学的構造に関する情報のみを活用しても画像と空間の間の整合が可能な新しい医用画像システムに関する技術が求められている。
本発明は、前述した従来の問題を解決するために案出されたものであって、３Ｄボクセルを形成せずに所望のＣ－ａｒｍ画像のピクセルとこれに対応する医療空間座標を整合することができる医用画像システム及び整合方法を提供することを目的とする。また、本発明は、任意の医療空間座標を与えられたＣ－ａｒｍ画像上のあるピクセルに整合することができる医用画像システム及び整合方法を提供することを目的とする。
前記目的は、本発明の一態様に係る医用画像システムにおいて、Ｘ－線ソース及びディテクターを有するＣ型透視照影装置（以下、「Ｃ－ａｒｍ」という）と、前記Ｘ－線ソースと前記ディテクターとの間のＸ－線経路に設けられて、Ｘ－線不透過性の複数の第１ボールマーカーが備えられた第１透過面及び第１光学式マーカーを有する第１プレートと、前記Ｘ－線ソースと前記ディテクターとの間のＸ－線経路に設けられて、Ｘ－線不透過性の複数の第２ボールマーカーが備えられた第２透過面及び第２光学式マーカーを有する第２プレートと、３次元基準座標系を提供するための基準光学式マーカーと、前記第１及び第２光学式マーカー及び前記基準光学式マーカーの位置を認識する光学追跡装置と、前記ディテクターが互いに異なる第１位置及び第２位置で被検体について第１撮影画像及び第２撮影画像をそれぞれ取得し、前記第１及び第２撮影画像上の前記第１及び第２ボールマーカーの位置と前記光学追跡装置から得られた位置情報を基に、３次元基準座標系上の座標と、前記第１及び第２撮影画像上の位置との間の整合関係を算出する整合部を含むことを特徴とする医用画像システムによって達成することができる。
ここで、前記整合部は、前記第１及び第２撮影画像上の前記第１ボールマーカーの位置と、前記第１光学式マーカーを媒介として算出される前記第１プレート上の第１ボールマーカーの位置間の対応関係を基に、前記第１及び第２撮影画像を前記Ｘ－線経路に沿って前記第１プレート上にそれぞれ投影して、第１及び第２投影画像を求めることができ、前記第１及び第２投影画像上の前記第２ボールマーカーの位置と、前記第２光学式マーカーを媒介として算出される前記第２プレート上の第２ボールマーカーの位置間の対応関係を基に、前記第１及び第２撮影画像にそれぞれ対応する前記Ｘ－線ソースの第１及び第２ソースの位置を求めることができる。そして、前記整合部は、前記第１ソースの位置から照射される第１Ｘ－線の投影経路及び前記第２ソースの位置から照射される第２Ｘ－線の投影経路が重なる３次元照影空間を算出することができる。
前記医用画像システムは、前記第１及び第２撮影画像を表示するためのディスプレイと、施術者から前記第１及び第２撮影画像上に任意の位置情報の入力を受けるためのユーザーインターフェースをさらに含み、前記整合部は、前記施術者から入力された位置情報に対応する前記基準座標系上の空間座標を整合することができる。
前記医用画像システムは、第３光学式マーカーを有する医療用処置具をさらに含み、前記整合部は、前記光学追跡装置が前記第３光学式マーカーを媒介として取得した前記医療用処置具の位置座標を取得し、前記整合関係を基に、前記第１及び第２撮影画像上で前記医療用処置具の位置情報を算出することができる。
そして、前記第１プレートは、前記第１透過面が前記ディテクターの前面部に位置するように、前記Ｃ－ａｒｍに固定するための固定部材を含むことができ、前記第２プレートは、前記第１プレートと前記Ｘ－線ディテクターとの間に設けられることができる。
また、前記目的は、本発明の別の態様に係るＣ－ａｒｍの２Ｄ画像と３Ｄ空間の整合方法において、第１位置でＣ－ａｒｍディテクターが第１撮影画像を取得するステップと、前記第１撮影画像を前記第１位置に対応する第１Ｘ－線経路に沿って、第１プレート上に逆投影して第１投影画像を求めるステップであって、前記第１プレートは、前記第１Ｘ－線経路上に設けられ、医療空間座標系（以下、「基準座標系」）で位置の識別が可能な第１光学式マーカーを有するステップと、前記第１Ｘ－線経路上に設けられた第２プレートのボールマーカーの前記基準座標系上の位置と前記第１投影画像上の第２プレートのボールマーカーの位置の対応関係を基に、前記第１位置に対応するＣ－ａｒｍソースの位置である第１ソースの位置を算出するステップと、第２位置でＣ－ａｒｍディテクターが第２撮影画像を取得するステップと、前記第２撮影画像を前記第２位置に対応する第２Ｘ－線経路に沿って前記第２Ｘ－線経路上に設けられた第１プレート上に逆投影して、第２投影画像を求めるステップと、前記第２Ｘ－線経路上に設けられた前記第２プレートのボールマーカーの前記基準座標系上の位置と前記第１投影画像上の前記第２プレートのボールマーカーの位置の対応関係を基に、前記第２位置に対応する前記Ｃ－ａｒｍソースの位置である第２ソースの位置を算出するステップと、前記第１ソースの位置と前記第１投影画像上の第１ピクセルを結ぶ第１ラインと、前記第２ソースの位置と前記第２投影画像上の第２ピクセルを結ぶ第２ラインの交差点の座標を算出して、前記第１ピクセル及び前記第２ピクセルに対応する前記第１撮影画像及び前記第２撮影画像上のピクセルを前記交差点の座標に整合させるステップと、を含むことを特徴とするＣ－ａｒｍの２Ｄ画像と３Ｄ空間の整合方法によって達成することができる。
また、前記目的は、本発明の別の態様に係るＣ－ａｒｍの２Ｄ画像と３Ｄ空間の整合方法において、第１位置でＣ－ａｒｍディテクターが第１撮影画像を取得するステップと、前記第１撮影画像を前記第１位置に対応する第１Ｘ－線経路に沿って、第１プレート上に逆投影して、第１投影画像を求めるステップであって、前記第１プレートは、前記第１Ｘ－線経路上に設けられて基準座標系での位置の識別が可能な第１光学式マーカーを有するステップと、前記第１Ｘ－線経路上に設けられた第２プレートのボールマーカーの前記基準座標系上の位置と前記第１投影画像上の第２プレートのボールマーカーの位置の対応関係を基に、前記第１位置に対応するＣ－ａｒｍソースの位置である第１ソースの位置を算出するステップと、第２位置でＣ－ａｒｍディテクターが第２撮影画像を取得するステップと、前記第２撮影画像を前記第２位置に対応する第２Ｘ－線経路に沿って前記第２Ｘ－線経路上に設けられた第１プレート上に逆投影して、第２投影画像を求めるステップと、前記第２Ｘ－線経路上に設けられた前記第２プレートのボールマーカーの前記基準座標系上の位置と前記第１投影画像上の前記第２プレートのボールマーカーの位置の対応関係を基に、前記第２位置に対応する前記Ｃ－ａｒｍソースの位置である第２ソースの位置を算出するステップと、任意の空間座標が前記第１Ｘ－線経路に沿って前記第１投影画像に投影される第１ピクセルを算出し、前記任意の空間座標が前記第２Ｘ－線経路に沿って前記第２投影画像に投影される第２ピクセルを算出して、前記空間座標を前記第１ピクセル及び前記第２ピクセルに整合させるステップと、前記第１投影画像上の前記第１ピクセル及び前記第２投影画像上の前記第２ピクセルを逆ワーピング行列によって前記第１撮影画像及び前記第２撮影画像上のピクセルに整合させるステップと、を含むことを特徴とするＣ－ａｒｍの２Ｄ画像と３Ｄ空間の整合方法によって達成することができる。
ここで、前記第１プレート上で前記第１撮影画像の第１投影画像を求めるステップは、前記第１プレートのボールマーカーに対応する前記第１撮影画像上での位置及び前記基準座標系上の位置を基準に前記第１撮影画像をワーピングして前記第１投影画像を算出することを含むことができる。または、前記第１プレート上で前記第２撮影画像の第２投影画像を求めるステップは、前記第１プレートのボールマーカーに対応する前記第２撮影画像上での位置及び前記基準座標系上の位置を基準に前記第２撮影画像をワーピングして前記第２投影画像を算出することを含むことができる。
本発明は、最小個数のＣ－ａｒｍ画像つまり、少なくとも二つの任意の位置で取得したＣ－ａｒｍ画像の相互関係から画像のピクセル－空間座標間の整合関係を導出することができて、３Ｄボクセルを形成しないながらも位置に制限のない最小個数のＣ－ａｒｍ画像を用いて、空間座標に基づく手術計画のプランニング、ナビゲーション機能を実装することができる。
従来のＣ－ａｒｍ装置の概略的な構成図である。 本発明の実施形態に係るＣ－ａｒｍベースの医用画像システムの概略的な模式図である。 本発明の実施形態に係る２Ｄ画像のピクセルと３Ｄ空間座標との間の整合方法を示すフローチャートである。 本発明の実施形態に係る整合過程を説明するための模式図である。 本発明の実施形態に係る整合過程を説明するための模式図である。 本発明の実施形態に係る整合過程を説明するための模式図である。 本発明の実施形態に係る整合過程を説明するための模式図である。 本発明の実施形態に係る整合過程を説明するための模式図である。
以下、添付した図面を参照して、本発明の実施形態を説明する。
図２は、本発明の実施形態に係るＣ－ａｒｍベースの医用画像システムの概略的な模式図である。
図２を参照すると、本発明の実施形態に係るＣ－ａｒｍベースの医用画像システムは、Ｃ－ａｒｍ１０と、第１プレート２０と、第２プレート３０と、基準光学式マーカー４０と、光学追跡装置５０と、ディスプレイ６０と、ユーザーインターフェース部７０と、整合部８０と、を含んで構成される。
Ｃ－ａｒｍ１０は、フレーム１２の両端にＸ－線ソース１４及びディテクター１６が対向するように設けられ、フレーム１２を回転または並進させるための駆動部１８を含んで構成される。
第１プレート２０は、多数の第１ボールマーカーが第１パターンを描いて形成された第１透過面２１と、第１光学式マーカー２２を有する。ここで、第１透過面２１は、Ｃ－ａｒｍ１０のＸ－線ソース１４とディテクター１６との間のＸ－線経路と交差するように設けられ、第１ボールマーカーはＸ－線不透過性物質で構成される。第１光学式マーカー２２は、第１プレート２０の座標系を定義し、また、外部の光学追跡装置によって検出されるように設けられる。
第１プレート２０は、Ｃ－ａｒｍソース１４及びディテクター１６が第１位置で撮影する際に、第１Ｘ－線経路上に位置して、ソース１４及びディテクター１６の位置が第２位置に変更されて撮影する際に、第２Ｘ－線経路上に位置するようにＣ－ａｒｍ１０に固定されることができる。例えば、第１プレート２０は、ディテクター１６の前面に固着されるように固定部材（図示せず）を含むことができる。
第２プレート３０は、多数の第２ボールマーカーが第２パターンを描いて形成された第２透過面３１と第２光学式マーカー３２を有する。第２透過面３１は、Ｃ－ａｒｍ１０のＸ－線ソース１４とディテクター１６との間のＸ－線経路と交差するように設けられ、第２ボールマーカーはＸ－線不透過性物質で構成される。第２光学式マーカー３２は、第２プレート３０の座標系を定義し、また、外部の光学追跡装置によって検出されるように設けられる。
第２プレート３０は、第１プレート２０のように、第１及び第２位置に対応して、第１Ｘ－線経路及び第２Ｘ－線経路上にそれぞれ交差するように固定または半固定することができる。
基準光学式マーカー４０は、Ｃ－ａｒｍ１０が運営される医療空間の座標系を定義するための基準を提供するためのもので、外部の光学追跡装置に検出されるように設けられる。
光学追跡装置５０は、第１及び第２光学式マーカー２２、３２と基準光学式マーカー４０のように光学式マーカーを認識するためのもので、ＯＴＳ（Ｏｐｔｉｃａｌ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ）に実装されることができる。商用化された医療用ＯＴＳ（Ｏｐｔｉｃａｌ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ）は、光学式マーカーまでの距離、方位、高さの外にも、光学式マーカー座標系の間の変換機能も提供するので、商用化された医療用ＯＴＳで光学追跡装置５０を実装することができる。
ディスプレイ６０は、ディテクター１６で撮影したＸ－線画像を施術者に提供するためのもので、ユーザーインターフェース部７０例えば、タッチスクリーン、マウスなどを介して施術者が入力する位置情報を受けるためのものであり、入力された位置情報がディスプレイ６０を介してＸ－線画像に重畳表示されるようにすることができる。
整合部８０は、光学追跡装置５０で得られた第１及び第２光学式マーカー２２、３２の座標系、基準光学式マーカー４０の基準座標系及びディテクター１６で撮影した画像をもとに、画像のピクセルと３Ｄ空間座標との間の整合関係を算出する。整合部８０は、座標系をもとに画像処理プロセスを行うためのプロセッサ、メモリ、及びソフトウェアを介して実装されることができる。
図３は、本発明の実施形態に係る２Ｄ画像のピクセルと３Ｄ空間座標との間の整合方法を示すフローチャートであり、図４乃至図８は、本発明の実施形態に係る整合方法をステップ別に説明するための模式図である。
図３乃至図８を参照して、図２に示す医用画像システム及び整合部８０の動作を具体的に説明する。
まず、Ｃ－ａｒｍソース１４とディテクター１６が第１位置に置かれた状態で、ソース１４がＸ－線を患者の患部に照射して、ディテクター１６が第１撮影画像を取得する（Ｓ１）。ここで、第１位置は任意の位置に施術者によって選択されることができるが、手術のプロセス上ＡＰ（Ａｎｔｅｒｉｏｒ－Ｐｏｓｔｅｒｉｏｒ）画像とＬＬ（Ｌａｔｅｒａｌ－Ｌａｔｅｒａｌ）画像を用いるので、本実施形態においてはＡＰ画像を得ることができる位置に選択ようにする。ただし、本発明は、正確なＡＰ画像を要しないので、第１位置はＡＰ画像と近接した類似画像を得ることができる位置にして、ここで撮影した画像も総称してＡＰ画像と呼ぶことにする。第１位置に対応して、点源の形態のＸ－線ソース１４から照射されたＸ－線が第１Ｘ－線経路に沿って被検体を投射してディテクター１６に入射され、ディテクター１６が第１撮影画像のＡＰ画像を取得する。施術者は、正確なＡＰの位置を合わせるために、多数の画像を撮影する必要がないので、使用上の利便性が大幅に向上する。
整合部８０は、第１撮影画像をＸ－線の照射経路に沿って、第１プレート２０上に逆投影して、第１投影画像を求める（Ｓ２）。ここで、第１撮影画像上に位置する第１ボールマーカーと、第１プレート２０上の第１ボールマーカーを「基準点」にマッチングすることにより、第１投影画像を求めることができる。
点源形態のＸ－線ソース１４から照射された第１Ｘ－線経路は円錐状に拡散されるので、周知の画像ワーピング（ｗａｒｐｉｎｇ）アルゴリズムを第１撮影画像に適用して非線形な変換関係の第１投影画像を実装することができる。ここで、第１投影画像と等しい平面の第１プレート２０上の第１ボールマーカーの位置と第１撮影画像上に結ばれた第１ボールマーカーの位置を基準点として対応させて、第１撮影画像上の他のピクセルらは、線形または非線形の補間を介して第１投影画像を求めることができる。
例えば、図４に示すように、第１プレート２０の第１ボールマーカーを基準にｒｉｇｉｄ ｂｏｄｙ ｌａｎｄｍａｒｋ ｔｒａｎｓｆｏｒｍ（Ｊｏｕｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ．４：６２９～６４２に収録されたＢｅｒｔｈｏｌｄ ＫＰ Ｈｏｒｎ著書の「Ｃｌｏｓｅｄ －ｆｏｒｍ ｓｏｌｕｔｉｏｎ ｏｆ ａｂｓｏｌｕｔｅ ｏｒｉｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｕｎｉｔ ｑｕａｔｅｒｎｉｏｎｓ」を参照）を適用して変換行列を求め、「ｔｈｉｎ ｐｌａｔｅ ｓｐｌｉｎｅ ｔｒａｎｓｆｏｒｍ」（Ｊ．Ｄｕｃｈｏｎ著書の「Ｓｐｌｉｎｅｓ ｍｉｎｉｍｉｚｉｎｇ ｒｏｔａｔｉｏｎ ｉｎｖａｒｉａｎｔ ｓｅｍｉ－ｎｏｒｍｓ ｉｎ Ｓｏｂｏｌｅｖ ｓｐａｃｅｓ”－ｃｏｎｓｔｕｒｔｉｖｅ ｔｈｅｒｏｒｙ ｏｆ ｆｕｎｃｔｉｏｎｓ ｏｆ ｓｅｖｅｒａｌ ｖａｒｉａｂｌｅｓ、ｏｂｅｒｗｏｌｆａｃｈ １９７６参照）を適用してｓｐｌｉｎｅ曲線に基づくデータ補間及びスムージング（ｓｍｏｏｔｈｉｎｇ）することにより、第１撮影画像であるＡＰ画像を第１投影画像に変換することができる。
第１撮影画像と第１投影画像との間の変換関係を規定する変換行列を介して、第１撮影画像の任意のピクセルが第１投影画像のピクセルに変換され、第１投影画像のピクセルは、第１プレート２０の第１光学式マーカー２２を媒介として、医療空間の基準座標系上の座標に変換することができる。
その後、整合部８０は、第１投影画像に位置した第２ボールマーカーと、第２プレート３０上の第２ボールマーカーとの間の関係を介して前記第１撮影画像のついてのＣ－ａｒｍソース１４の位置（以下、「第１ソースの位置」）を求める（Ｓ３）。ここで、位置情報を知ることができない第１撮影画像の代わりをして、第１光学式マーカー２２を介して３Ｄ位置座標を知ることができる第１投影画像を基準する。
図５を参照すると、第１撮影画像上の第２ボールマーカーが第１投影画像上にワーピングされた後、第１投影画像上の第２ボールマーカーと第２プレート３０上の第２ボールマーカーの位置を結ぶことにより、延びた線らの交点で第１ソースの位置ＳＡＰを求めることができる。第１投影画像の位置情報及び第２プレート３０の位置情報が光学追跡装置５０によって取得されるので、第１ソースの位置ＳＡＰを算出することができる。
その後、Ｃ－ａｒｍソース１４とディテクター１６が第２位置に置かれた状態で、ソース１４がＸ－線を患者の患部に照射して、ディテクター１６が第２撮影画像を取得する（Ｓ４）。ここで、第２位置は任意の位置に施術者によって選択されることができるが、本実施形態においてはＬＬ画像を得ることができる位置に選択する。ただし、本発明は、正確なＬＬ画像を要しないので、第２位置はＬＬ画像と類似した画像を得ることができる位置にして、ここで撮影した画像も総称してＬＬ画像と呼ぶことにする。
整合部８０は、第２撮影画像を第２Ｘ－線経路に沿って、第１プレート２０上に逆投影して、第２投影画像を求める（Ｓ５）。ステップＳ２と等しい方式で第２撮影画像上に位置する複数の第１ボールマーカーと、第１プレート２０上の第１ボールマーカーを「基準点」にマッチングすることにより、第２投影画像を求めることができ、周知の画像ワーピング（ｗａｒｐｉｎｇ）アルゴリズムを適用して実装することができる。
整合部８０は、第２投影画像に位置する第２ボールマーカーと、第２プレート３０上の第２ボールマーカーとの間の位置の関係を介して第２位置に対応するＣ－ａｒｍソース１４の位置（以下、「第２ソースの位置」）を求める（Ｓ６）。
図６は、第１ソースの位置ＳＡＰで開始され第１プレート２０まで円錐状に拡散される第１Ｘ－線と、第２ソースの位置ＳＬＬで開始され第１プレート２０まで円錐状に拡散される第２Ｘ－線が重なる空間が形成されることを示す。この重なる空間（以下、「照影空間」）は、第１及び第２投影画像上の関心のピクセルが位置する空間又は被検体が位置する３次元の照影空間を概念的に示す。
その後、整合部８０は照影空間内の座標と撮影画像上のピクセルを整合する（Ｓ７）。
図７に示すように、照影空間内のある座標Ｐは、第１Ｘ－線によって第１投影画像に投影されて得られる第１ピクセルＰＡＰＶＤと、第２Ｘ－線によって第２投影画像に投影されて得られる第２ピクセルＰＬＬＶＤで整合され、再び第１及び第２投影画像上の第１及び第２ピクセルＰＡＰＶＤ、ＰＬＬＶＤは逆ワーピング行列ＴＡＰｗａｒｐ －１によって第１及び第２撮影画像上のピクセルＰＡＰｉｍｇ、ＰＬＬｉｍｇに整合されて、ディスプレイ６０に表示されることができる。
ここで、照影空間内のあるピクセルは、例えば、手術器具のチップの位置を示すことができる。光学追跡装置５０は、手術器具の第３光学式マーカーを認識しチップの位置情報である座標を得ることができ、整合部８０はチップの座標をもとに、第１及び第２撮影画像上のチップの位置を算出して、ディスプレイ６０を介して表示されることができる。これにより、施術者は、手術器具の位置をリアルタイムで与えられた二つの２Ｄ画像にリアルタイムで表示することができて、追跡機能とナビゲーション機能と一緒に用いることができる。
一方、図８は、第１撮影画像上の第１関心ピクセルＰＡＰｉｍｇと、これに対応する第２撮影画像上の第２関心ピクセルＰＬＬｉｍｇが第１及び第２投影画像上にワーピングされた後、逆投影されて照影空間内で交差点Ｐを形成するに伴い、照影空間内のある座標Ｐに整合されることを示す。
具体的にみると、第１撮影画像上の第１関心ピクセルＰＡＰｉｍｇに対応する第１投影画像上の第１ピクセルＰＡＰＶＤからソース１４に向かって第１Ｘ－線経路に沿って逆投影されるに伴い、照影空間と交差する第１ラインＰｉｎ２－Ｐｉｎ１が形成される。第１ラインＰｉｎ２－Ｐｉｎ１は、照影空間から第２投影画像上のＰｉｎ４－Ｐｉｎ３ラインに整合され、再び逆ワーピングＴＬＬｗａｒｐ －１第２撮影画像上で整合されてＰＬＬｉｍｇ１－ＰＬＬｉｍｇ２ラインで表現することができ、施術者が選択する第２撮影画像上に整合されたＰＬＬｉｍｇ１－ＰＬＬｉｍｇ２ラインのピクセルの中、第２関心ピクセルＰＬＬｉｍｇ３を選択することができる。第２関心ピクセルＰＬＬｉｍｇ３はワーピングされて、第２投影画像上のあるピクセルＰＬＬＶＤに整合され、これにより、結果的に第２関心ピクセルＰＬＬｉｍｇ３と、第１関心ピクセルＰＡＰｉｍｇの交差点Ｐに対応する照影空間内のある座標が整合された座標で算出される。
第１関心ピクセルＰＡＰｉｍｇと第２関心ピクセルＰＬＬｉｍｇ３は施術者によって被検体の等しい特徴点で確認された点で選択されることができる。したがって、施術者は、ユーザーインターフェース部７０を介して第１撮影画像及び第２撮影画像に所望の点を、第１関心ピクセルＰＡＰｉｍｇ及び第２関心ピクセルＰＬＬｉｍｇ３で選択でき、これは空間座標に変換されて、医療用ロボットなどの手術プランニング情報として提供されることを知ることができる。
今まで本発明の実施形態を説明したが、本発明が属する技術分野の通常の知識を有する者は、本発明の技術的思想を逸脱しない範囲内で、本発明の実施形態を変形したり置換することが可能であることを理解することができる。
例えば、第１プレート２０と第２プレート３０の固定位置は、Ｘ－線経路と交差する範囲内で変更が可能であり、第１及び第２プレート２０、３０上のマーカーの形態とパターンは等しい機能と目的を達成する範囲内で選択することができる。
また、図３に示すフローチャートの整合ステップは、論理的に前後関係が成立する場合を除いて、その前後関係を変更することが可能であり、本実施形態においては二つの画像を用いているが、より多くの画像をもとに整合をすることができる。
したがって、前述した本発明の実施形態は、例示的なもので理解されるべきであり、本発明の保護範囲は、特許請求の範囲に記載された技術的思想とその均等物に及ぶものでなければならならない。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
医用画像システムにおいて、
Ｘ－線ソース及びディテクターを有するＣ型透視照影装置（以下、「Ｃ－ａｒｍ」という）と、
前記Ｘ－線ソース及び前記ディテクターとの間のＸ－線経路に設けられて、Ｘ－線不透過性の複数の第１ボールマーカーが備えられた第１透過面及び第１光学式マーカーを有する第１プレートと、
前記Ｘ－線ソース及び前記ディテクターとの間のＸ－線経路に設けられて、Ｘ－線不透過性の複数の第２ボールマーカーが備えられた第２透過面及び第２光学式マーカーを有する第２プレートと、
３次元基準座標系を提供するための基準光学式マーカーと、
前記第１及び第２光学式マーカー及び前記基準光学式マーカーの位置を認識する光学追跡装置と、
前記ディテクターが互いに異なる第１位置及び第２位置で被検体について第１撮影画像及び第２撮影画像をそれぞれ取得し、前記第１及び第２撮影画像上の前記第１及び第２ボールマーカーの位置と前記光学追跡装置から得られた位置情報を基に、３次元基準座標系上の座標と、前記第１及び第２撮影画像上の位置との間の整合関係を算出する整合部を含むことを特徴とする医用画像システム。
［２］
前記整合部は、
前記第１及び第２撮影画像上の前記第１ボールマーカーの位置と、前記第１光学式マーカーを媒介として算出される前記第１プレート上の第１ボールマーカーの位置間の対応関係を基に、前記第１及び第２撮影画像を前記Ｘ－線経路に沿って前記第１プレート上にそれぞれ投影して、第１及び第２投影画像を求めることを特徴とする［１］に記載の医用画像システム。
［３］
前記整合部は、
前記第１及び第２投影画像上の前記第２ボールマーカーの位置と、前記第２光学式マーカーを媒介として算出される前記第２プレート上の第２ボールマーカーの位置間の対応関係を基に、前記第１及び第２撮影画像にそれぞれ対応する前記Ｘ－線ソースの第１及び第２ソースの位置を求めることを特徴とする［２］に記載の医用画像システム。
［４］
前記整合部は、前記第１ソースの位置及び前記第１投影画像の位置の関係から前記第１ソースの位置から照射される第１Ｘ－線の投影経路及び前記第２ソースの位置及び前記第２投影画像の位置の関係から前記第２ソースの位置から照射される第２Ｘ－線の投影経路が重なる３次元照影空間を算出することを特徴とする［３］に記載の医用画像システム。
［５］
前記第１及び第２撮影画像を表示するためのディスプレイと、
施術者から前記第１及び第２撮影画像上に任意の位置情報の入力を受けるためのユーザーインターフェースを含み、
前記整合部は、前記施術者から入力された位置情報に対応する前記基準座標系上の空間座標を算出することを特徴とする［１］乃至［４］の中のいずれか一項に記載の医用画像システム。
［６］
第３光学式マーカーを有する医療用処置具をさらに含み、
前記整合部は、前記光学追跡装置が前記第３光学式マーカーを媒介として取得した前記医療用処置具の位置座標を取得し、前記変換関係を基に、前記第１及び第２撮影画像上で前記医療用処置具の位置情報を算出することを特徴とする［１］乃至［４］の中のいずれか一項に記載の医用画像システム。
［７］
前記第１プレートは、前記第１透過面が前記ディテクターの前面部に位置するように、前記Ｃ－ａｒｍに固定するための固定部材を含むことを特徴とする［１］乃至［４］の中のいずれか一項に記載の医用画像システム。
［８］
前記第２プレートは、前記第１プレートと前記Ｘ－線ディテクターとの間に設けられることを特徴とする［１］乃至［４］の中のいずれか一項に記載の医用画像システム。
［９］
Ｃ－ａｒｍの２Ｄ画像と３Ｄ空間の整合方法において、
第１位置でＣ－ａｒｍディテクターが第１撮影画像を取得するステップと、
前記第１撮影画像を前記第１位置に対応する第１Ｘ－線経路に沿って、第１プレート上に逆投影して第１投影画像を求めるステップであって、前記第１プレートは、前記第１Ｘ－線経路上に設けられ、医療空間座標系（以下、「基準座標系」）で位置の識別が可能な第１光学式マーカーを有するステップと、
前記第１Ｘ－線経路上に設けられた第２プレートのボールマーカーの前記基準座標系上の位置と前記第１投影画像上の第２プレートのボールマーカーの位置の対応関係を基に、前記第１位置に対応するＣ－ａｒｍソースの位置である第１ソースの位置を算出するステップと、
第２位置でＣ－ａｒｍディテクターが第２撮影画像を取得するステップと、
前記第２撮影画像を前記第２位置に対応する第２Ｘ－線経路に沿って前記第２Ｘ－線経路上に設けられた第１プレート上に逆投影して、第２投影画像を求めるステップと、
前記第２Ｘ－線経路上に設けられた前記第２プレートのボールマーカーの前記基準座標系上の位置と前記第１投影画像上の前記第２プレートのボールマーカーの位置の対応関係を基に、前記第２位置に対応する前記Ｃ－ａｒｍソースの位置である第２ソースの位置を算出するステップと、
前記第１ソースの位置と前記第１投影画像上の第１ピクセルを結ぶ第１ラインと、前記第２ソースの位置と前記第２投影画像上の第２ピクセルを結ぶ第２ラインの交差点の座標を算出するステップと、を含むことを特徴とするＣ－ａｒｍの２Ｄ画像と３Ｄ空間の整合方法。
［１０］
Ｃ－ａｒｍの２Ｄ画像と３Ｄ空間の整合方法において、
第１位置でＣ－ａｒｍディテクターが第１撮影画像を取得するステップと、
前記第１撮影画像を前記第１位置に対応する第１Ｘ－線経路に沿って、第１プレート上に逆投影して、第１投影画像を求めるステップであって、前記第１プレートは、前記第１Ｘ－線経路上に設けられて基準座標系での位置の識別が可能な第１光学式マーカーを有するステップと、
前記第１Ｘ－線経路上に設けられた第２プレートのボールマーカーの前記基準座標系上の位置と前記第１投影画像上の第２プレートのボールマーカーの位置の対応関係を基に、前記第１位置に対応するＣ－ａｒｍソースの位置である第１ソースの位置を算出するステップと、
第２位置でＣ－ａｒｍディテクターが第２撮影画像を取得するステップと、
前記第２撮影画像を前記第２位置に対応する第２Ｘ－線経路に沿って前記第２Ｘ－線経路上に設けられた第１プレート上に逆投影して、第２投影画像を求めるステップと、
前記第２Ｘ－線経路上に設けられた前記第２プレートのボールマーカーの前記基準座標系上の位置と前記第１投影画像上の前記第２プレートのボールマーカーの位置の対応関係を基に、前記第２位置に対応する前記Ｃ－ａｒｍソースの位置である第２ソースの位置を算出するステップと、
任意の空間座標が前記第１Ｘ－線経路に沿って前記第１投影画像に投影される第１ピクセルを算出し、前記任意の空間座標が前記第２Ｘ－線経路に沿って前記第２投影画像に投影される第２ピクセルを算出するステップと、を含むことを特徴とするＣ－ａｒｍの２Ｄ画像と３Ｄ空間の整合方法。
［１１］
前記第１プレート上で前記第１撮影画像の第１投影画像を求めるステップは、前記第１プレートのボールマーカーに対応する前記第１撮影画像上での位置及び前記基準座標系上の位置を基準に前記第１撮影画像をワーピングして前記第１投影画像を算出することを含むことを特徴とする［９］または［１０］に記載のＣ－ａｒｍの２Ｄ画像と３Ｄ空間の整合方法。
［１２］
前記第１プレート上で前記第２撮影画像の第２投影画像を求めるステップは、前記第１プレートのボールマーカーに対応する前記第２撮影画像上での位置及び前記基準座標系上の位置を基準に前記第２撮影画像をワーピングして前記第２投影画像を算出することを含むことを特徴とする［９］または［１０］に記載のＣ－ａｒｍの２Ｄ画像と３Ｄ空間の整合方法。
１０：Ｃ－ａｒｍ
２０：第１プレート
３０：第２プレート
４０：基準光学式マーカー
５０：光学追跡装置
６０：ディスプレイ
７０：ユーザーインターフェース部
８０：整合部

Claims (12)

  1. 医用画像システムにおいて、
    Ｘ－線ソース及びディテクターを有するＣ型透視照影装置（以下、「Ｃ－ａｒｍ」という）と、
    前記Ｘ－線ソースと前記ディテクターとの間のＸ－線経路に設けられて、Ｘ－線不透過性の複数の第１ボールマーカーが備えられた第１透過面及び第１光学式マーカーを有する第１プレートと、
    前記Ｘ－線ソースと前記ディテクターとの間のＸ－線経路に設けられて、Ｘ－線不透過性の複数の第２ボールマーカーが備えられた第２透過面及び第２光学式マーカーを有する第２プレートと、
    ３次元基準座標系を提供するための基準光学式マーカーと、
    前記第１及び第２光学式マーカー及び前記基準光学式マーカーの位置を認識する光学追跡装置と、
    前記ディテクターが互いに異なる第１位置及び第２位置で被検体について第１撮影画像及び第２撮影画像をそれぞれ取得し、前記第１及び第２撮影画像上の前記第１及び第２ボールマーカーの位置と前記光学追跡装置から得られた位置情報を基に、３次元基準座標系上の座標と、前記第１及び第２撮影画像上の位置との間の整合関係を算出する整合部を含むことを特徴とする医用画像システム。
  2. 前記整合部は、
    前記第１及び第２撮影画像上の前記第１ボールマーカーの位置と、前記第１光学式マーカーを媒介として算出される前記第１プレート上の第１ボールマーカーの位置間の対応関係を基に、前記第１及び第２撮影画像を前記Ｘ－線経路に沿って前記第１プレート上にそれぞれ投影して、第１及び第２投影画像を求めることを特徴とする請求項１に記載の医用画像システム。
  3. 前記整合部は、
    前記第１及び第２投影画像上の前記第２ボールマーカーの位置と、前記第２光学式マーカーを媒介として算出される前記第２プレート上の第２ボールマーカーの位置間の対応関係を基に、前記第１及び第２撮影画像にそれぞれ対応する前記Ｘ－線ソースの第１及び第２ソースの位置を求めることを特徴とする請求項２に記載の医用画像システム。
  4. 前記整合部は、前記第１ソースの位置から照射される第１Ｘ－線の投影経路及び前記第２ソースの位置から照射される第２Ｘ－線の投影経路が重なる３次元照影空間を算出することを特徴とする請求項３に記載の医用画像システム。
  5. 前記第１及び第２撮影画像を表示するためのディスプレイと、
    施術者から前記第１及び第２撮影画像上に任意の位置情報の入力を受けるためのユーザーインターフェースを含み、
    前記整合部は、前記施術者から入力された位置情報に対応する前記基準座標系上の空間座標を算出することを特徴とする請求項１乃至請求項４の中のいずれか一項に記載の医用画像システム。
  6. 第３光学式マーカーを有する医療用処置具をさらに含み、
    前記整合部は、前記光学追跡装置が前記第３光学式マーカーを媒介として取得した前記医療用処置具の位置座標を取得し、前記整合関係を基に、前記第１及び第２撮影画像上で前記医療用処置具の位置情報を算出することを特徴とする請求項１乃至請求項４の中のいずれか一項に記載の医用画像システム。
  7. 前記第１プレートは、前記第１透過面が前記ディテクターの前面部に位置するように、前記Ｃ－ａｒｍに固定するための固定部材を含むことを特徴とする請求項１乃至請求項４の中のいずれか一項に記載の医用画像システム。
  8. 前記第２プレートは、前記第１プレートと前記Ｘ－線ディテクターとの間に設けられることを特徴とする請求項１乃至請求項４の中のいずれか一項に記載の医用画像システム。
  9. Ｃ－ａｒｍの２Ｄ画像と３Ｄ空間の整合方法において、
    第１位置でＣ－ａｒｍディテクターが第１撮影画像を取得するステップと、
    前記第１撮影画像を前記第１位置に対応する第１Ｘ－線経路に沿って、第１プレート上に逆投影して第１投影画像を求めるステップであって、前記第１プレートは、前記第１Ｘ－線経路上に設けられ、医療空間座標系（以下、「基準座標系」）で位置の識別が可能な第１光学式マーカーを有するステップと、
    前記第１Ｘ－線経路上に設けられた第２プレートのボールマーカーの前記基準座標系上の位置と前記第１投影画像上の第２プレートのボールマーカーの位置の対応関係を基に、前記第１位置に対応するＣ－ａｒｍソースの位置である第１ソースの位置を算出するステップと、
    第２位置でＣ－ａｒｍディテクターが第２撮影画像を取得するステップと、
    前記第２撮影画像を前記第２位置に対応する第２Ｘ－線経路に沿って前記第２Ｘ－線経路上に設けられた第１プレート上に逆投影して、第２投影画像を求めるステップと、
    前記第２Ｘ－線経路上に設けられた前記第２プレートのボールマーカーの前記基準座標系上の位置と前記第１投影画像上の前記第２プレートのボールマーカーの位置の対応関係を基に、前記第２位置に対応する前記Ｃ－ａｒｍソースの位置である第２ソースの位置を算出するステップと、
    前記第１ソースの位置と前記第１投影画像上の第１ピクセルを結ぶ第１ラインと、前記第２ソースの位置と前記第２投影画像上の第２ピクセルを結ぶ第２ラインの交差点の座標を算出して、前記第１ピクセル及び前記第２ピクセルに対応する前記第１撮影画像及び前記第２撮影画像上のピクセルを前記交差点の座標に整合させるステップと、を含むことを特徴とするＣ－ａｒｍの２Ｄ画像と３Ｄ空間の整合方法。
  10. Ｃ－ａｒｍの２Ｄ画像と３Ｄ空間の整合方法において、
    第１位置でＣ－ａｒｍディテクターが第１撮影画像を取得するステップと、
    前記第１撮影画像を前記第１位置に対応する第１Ｘ－線経路に沿って、第１プレート上に逆投影して、第１投影画像を求めるステップであって、前記第１プレートは、前記第１Ｘ－線経路上に設けられて基準座標系での位置の識別が可能な第１光学式マーカーを有するステップと、
    前記第１Ｘ－線経路上に設けられた第２プレートのボールマーカーの前記基準座標系上の位置と前記第１投影画像上の第２プレートのボールマーカーの位置の対応関係を基に、前記第１位置に対応するＣ－ａｒｍソースの位置である第１ソースの位置を算出するステップと、
    第２位置でＣ－ａｒｍディテクターが第２撮影画像を取得するステップと、
    前記第２撮影画像を前記第２位置に対応する第２Ｘ－線経路に沿って前記第２Ｘ－線経路上に設けられた第１プレート上に逆投影して、第２投影画像を求めるステップと、
    前記第２Ｘ－線経路上に設けられた前記第２プレートのボールマーカーの前記基準座標系上の位置と前記第１投影画像上の前記第２プレートのボールマーカーの位置の対応関係を基に、前記第２位置に対応する前記Ｃ－ａｒｍソースの位置である第２ソースの位置を算出するステップと、
    任意の空間座標が前記第１Ｘ－線経路に沿って前記第１投影画像に投影される第１ピクセルを算出し、前記任意の空間座標が前記第２Ｘ－線経路に沿って前記第２投影画像に投影される第２ピクセルを算出して、前記空間座標を前記第１ピクセル及び前記第２ピクセルに整合させるステップと、
    前記第１投影画像上の前記第１ピクセル及び前記第２投影画像上の前記第２ピクセルを逆ワーピング行列によって前記第１撮影画像及び前記第２撮影画像上のピクセルに整合させるステップと、を含むことを特徴とするＣ－ａｒｍの２Ｄ画像と３Ｄ空間の整合方法。
  11. 前記第１プレート上で前記第１撮影画像の第１投影画像を求めるステップは、前記第１プレートのボールマーカーに対応する前記第１撮影画像上での位置及び前記基準座標系上の位置を基準に前記第１撮影画像をワーピングして前記第１投影画像を算出することを含むことを特徴とする請求項９または請求項１０に記載のＣ－ａｒｍの２Ｄ画像と３Ｄ空間の整合方法。
  12. 前記第１プレート上で前記第２撮影画像の第２投影画像を求めるステップは、前記第１プレートのボールマーカーに対応する前記第２撮影画像上での位置及び前記基準座標系上の位置を基準に前記第２撮影画像をワーピングして前記第２投影画像を算出することを含むことを特徴とする請求項９または請求項１０に記載のＣ－ａｒｍの２Ｄ画像と３Ｄ空間の整合方法。
JP2021553134A 2019-03-13 2020-03-13 Ｃ－ａｒｍベースの医用画像システム及び２Ｄ画像と３Ｄ空間の整合方法 Active JP7213413B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0028592 2019-03-13
KR1020190028592A KR102203544B1 (ko) 2019-03-13 2019-03-13 C-arm 기반의 의료영상 시스템 및 2D 이미지와 3D 공간의 정합방법
PCT/KR2020/003564 WO2020185048A2 (ko) 2019-03-13 2020-03-13 C-arm 기반의 의료영상 시스템 및 2d 이미지와 3d 공간의 정합방법

Publications (2)

Publication Number Publication Date
JP2022523587A JP2022523587A (ja) 2022-04-25
JP7213413B2 true JP7213413B2 (ja) 2023-01-27

Family

ID=72426434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021553134A Active JP7213413B2 (ja) 2019-03-13 2020-03-13 Ｃ－ａｒｍベースの医用画像システム及び２Ｄ画像と３Ｄ空間の整合方法

Country Status (6)

Country Link
US (1) US11337763B2 (ja)
EP (1) EP3939509A4 (ja)
JP (1) JP7213413B2 (ja)
KR (1) KR102203544B1 (ja)
CN (1) CN113556977A (ja)
WO (1) WO2020185048A2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US11596369B2 (en) * 2016-05-03 2023-03-07 Daegu Gyeongbuk Institute Of Science And Technology Navigation system for vascular intervention and method for generating virtual x-ray image
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11931198B2 (en) 2019-02-15 2024-03-19 Koninklijke Philips N.V. X-ray calibration for display overlays onto X-ray images
WO2020165422A1 (en) 2019-02-15 2020-08-20 Koninklijke Philips N.V. X-ray ripple markers for x-ray calibration
US11918406B2 (en) 2019-02-15 2024-03-05 Koninklijke Philips N.V. Marker registration correction by virtual model manipulation
KR102166149B1 (ko) 2019-03-13 2020-10-15 큐렉소 주식회사 페디클 스크류 고정 플래닝 시스템 및 방법
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
KR102394901B1 (ko) 2020-04-06 2022-05-09 큐렉소 주식회사 2차원 의료영상 기반 척추 수술 플래닝 장치 및 방법
KR102615255B1 (ko) 2020-11-30 2023-12-19 동의대학교 산학협력단 의료용 이미지의 3차원 메쉬 생성을 위한 장치 및 방법
CN115211961A (zh) * 2021-04-17 2022-10-21 诺创智能医疗科技(杭州)有限公司 定位方法、装置、系统及计算机可读存储介质
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US11918304B2 (en) * 2021-12-20 2024-03-05 Globus Medical, Inc Flat panel registration fixture and method of using same
KR102443809B1 (ko) 2021-12-28 2022-09-19 주식회사 뉴비전네트웍스 2개 이상의 영상 이미지를 정합하는 영상처리 시스템 제공방법
KR102612603B1 (ko) 2022-11-02 2023-12-12 큐렉소 주식회사 2d-3d 이미지 정합 방법 및 이를 수행하는 수술용 로봇 시스템
CN115869072B (zh) * 2023-02-27 2023-05-30 武汉市第四医院 一种骨折复位机器人系统及其控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003180668A (ja) 2001-11-16 2003-07-02 Koninkl Philips Electronics Nv 重力に感応な画像捕捉装置を校正し、画像捕捉装置を用いて撮像する方法及び装置
JP2016539757A (ja) 2013-11-04 2016-12-22 サージヴィジオ 二次元ｘ線画像から三次元画像を再構築する方法
US20170319156A1 (en) 2016-05-03 2017-11-09 Daegu Gyeongbuk Institute Of Science And Technology Navigation system for vascular intervention and method for generating virtual x-ray image
JP2017535308A (ja) 2014-09-19 2017-11-30 コー・ヤング・テクノロジー・インコーポレーテッド オプティカルトラッキングシステム及びオプティカルトラッキングシステムの座標系整合方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2640394B1 (fr) * 1988-12-14 1991-02-15 Schlumberger Etienne Procede pour coordonner plusieurs images d'un meme objet et dispositif pour sa mise en oeuvre
US5963613A (en) 1997-12-31 1999-10-05 Siemens Corporate Research, Inc. C-arm calibration method for 3D reconstruction in an imaging system
US6206566B1 (en) * 1998-11-02 2001-03-27 Siemens Aktiengesellschaft X-ray apparatus for producing a 3D image from a set of 2D projections
CA2334495A1 (en) * 2001-02-06 2002-08-06 Surgical Navigation Specialists, Inc. Computer-aided positioning method and system
CA2393101A1 (en) * 2002-07-11 2004-01-11 Martin Cyr Apparatus, system and method of calibrating medical imaging systems
KR100726022B1 (ko) * 2005-10-26 2007-06-12 한양대학교 산학협력단 복수의 2차원 영상을 이용한 3차원 수술공간 계측 시스템및 그 방법
EP2245986B1 (de) * 2008-08-22 2013-10-16 BrainLAB AG Pyramidenförmige Röntgenmarkervorrichtung
TW201116259A (en) * 2009-11-04 2011-05-16 Accumis Inc Image calibration device integrated with optical locater
EP2593922A1 (en) * 2010-07-14 2013-05-22 BrainLAB AG Method and system for determining an imaging direction and calibration of an imaging apparatus
US10842461B2 (en) * 2012-06-21 2020-11-24 Globus Medical, Inc. Systems and methods of checking registrations for surgical systems
US9959631B2 (en) 2014-02-21 2018-05-01 Samsung Electronics Co., Ltd. Tomography apparatus and method for reconstructing tomography image thereof
KR20150099375A (ko) * 2014-02-21 2015-08-31 삼성전자주식회사 컴퓨터 단층 촬영 장치 및 그에 따른 ct 영상 복원 방법
KR102214637B1 (ko) * 2014-03-12 2021-02-10 주식회사바텍 의료용 영상 시스템 및 이의 구동 방법
KR101954868B1 (ko) * 2016-05-03 2019-03-08 재단법인대구경북과학기술원 혈관 중재 시술을 위한 내비게이션 시스템 및 가상의 엑스선 이미지 생성 방법
CN106890031B (zh) * 2017-04-11 2020-05-05 东北大学 一种标记物识别及标记点定位方法及手术导航系统
KR102285337B1 (ko) * 2017-04-25 2021-08-02 재단법인대구경북과학기술원 엑스선 장치의 캘리브레이션 방법 및 장치
CN107049488B (zh) * 2017-05-27 2022-01-07 北京航空航天大学 一种单平面手术定位方法及模型

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003180668A (ja) 2001-11-16 2003-07-02 Koninkl Philips Electronics Nv 重力に感応な画像捕捉装置を校正し、画像捕捉装置を用いて撮像する方法及び装置
JP2016539757A (ja) 2013-11-04 2016-12-22 サージヴィジオ 二次元ｘ線画像から三次元画像を再構築する方法
JP2017535308A (ja) 2014-09-19 2017-11-30 コー・ヤング・テクノロジー・インコーポレーテッド オプティカルトラッキングシステム及びオプティカルトラッキングシステムの座標系整合方法
US20170319156A1 (en) 2016-05-03 2017-11-09 Daegu Gyeongbuk Institute Of Science And Technology Navigation system for vascular intervention and method for generating virtual x-ray image

Also Published As

Publication number Publication date
KR20200109489A (ko) 2020-09-23
KR102203544B1 (ko) 2021-01-18
EP3939509A2 (en) 2022-01-19
WO2020185048A3 (ko) 2020-10-29
JP2022523587A (ja) 2022-04-25
WO2020185048A2 (ko) 2020-09-17
EP3939509A4 (en) 2022-12-07
CN113556977A (zh) 2021-10-26
US20220039874A1 (en) 2022-02-10
US11337763B2 (en) 2022-05-24

Similar Documents

Publication Publication Date Title
JP7213413B2 (ja) Ｃ－ａｒｍベースの医用画像システム及び２Ｄ画像と３Ｄ空間の整合方法
JP5425808B2 (ja) 追跡品質を保証する立体視撮像対における単一ｘ線画像の使用
US9724049B2 (en) Radiotherapy system
US20200275988A1 (en) Image to world registration for medical augmented reality applications using a world spatial map
US7697147B2 (en) Apparatus and method for the representation of an area on the surface of a patient's body
US6724922B1 (en) Verification of positions in camera images
JP7170705B2 (ja) 医療処置中のエフェクタの画像定位のためのシステム及び方法
US9715739B2 (en) Bone fragment tracking
US20130094742A1 (en) Method and system for determining an imaging direction and calibration of an imaging apparatus
TW201801682A (zh) 影像增強真實度之方法與應用該方法在可穿戴式眼鏡之手術導引
US8121380B2 (en) Computerized imaging method for a three-dimensional reconstruction from two-dimensional radiological images; implementation device
US20130066196A1 (en) Determining and verifying the coordinate transformation between an x-ray system and a surgery navigation system
JP2009022754A (ja) 放射線画像の位置揃えを補正する方法
US11948265B2 (en) Image data set alignment for an AR headset using anatomic structures and data fitting
JP2022532167A (ja) 手術中の３次元可視化
JPH11197259A (ja) 治療システムにおける患者の位置決め装置
US20090086912A1 (en) Image display apparatus and x-ray diagnostic apparatus
Albiol et al. Geometrical calibration of x-ray imaging with rgb cameras for 3d reconstruction
CN106175931A (zh) 荧光镜视场的标记
JP2023116743A (ja) 椎弓根スクリューの固定プランニングシステム及び方法
Chen et al. Video-guided calibration of an augmented reality mobile C-arm
KR101592444B1 (ko) 투명디스플레이를 이용한 의료용 영상증강 장치 및 구현 방법
Zhang et al. Catheter localization for vascular interventional robot with conventional single C-arm
Lin et al. Optimization model for the distribution of fiducial markers in liver intervention
TWI836492B (zh) 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221214

R150 Certificate of patent or registration of utility model

Ref document number: 7213413

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150