JP5830627B2 - 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、画像領域対応付け用プログラム - Google Patents

画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、画像領域対応付け用プログラム Download PDF

Info

Publication number
JP5830627B2
JP5830627B2 JP2015509921A JP2015509921A JP5830627B2 JP 5830627 B2 JP5830627 B2 JP 5830627B2 JP 2015509921 A JP2015509921 A JP 2015509921A JP 2015509921 A JP2015509921 A JP 2015509921A JP 5830627 B2 JP5830627 B2 JP 5830627B2
Authority
JP
Japan
Prior art keywords
image
ray
region
acquisition unit
absorption characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015509921A
Other languages
English (en)
Other versions
JPWO2014162741A1 (ja
Inventor
太一 佐藤
太一 佐藤
透 中田
透 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2015509921A priority Critical patent/JP5830627B2/ja
Application granted granted Critical
Publication of JP5830627B2 publication Critical patent/JP5830627B2/ja
Publication of JPWO2014162741A1 publication Critical patent/JPWO2014162741A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/481Diagnostic techniques involving the use of contrast agents
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/022Stereoscopic imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/547Control of apparatus or devices for radiation diagnosis involving tracking of position of the device or parts of the device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Vascular Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、2方向から撮影した血管のX線画像の複数の画像領域の対応付けを行う画像領域対応付け装置、画像領域対応付け装置を利用して3次元モデルを生成する3次元モデル生成装置、画像領域対応付け方法及び画像領域対応付け用プログラムに関する。
血管の狭窄又は閉塞による疾患を調べる検査として、カテーテル造影検査がある。カテーテル造影検査では、X線不透過物質である造影剤を使用する。造影剤を血管内に注入してX線撮影することにより、血管とそれ以外の部分とを明瞭に区別することができる。
1方向からX線撮影した場合、冠状動脈のように多数の分岐を有する血管について、人が血管の形状を把握することは困難である。
そこで、2方向からX線撮影した2枚のX線画像より、血管の3次元モデルを生成する技術が研究開発されている(例えば、特許文献1及び非特許文献1参照)。これにより、人は血管の形状を把握することが容易となる。
特開平8−131429号公報
吉田忠弘、見崎元秀、佐藤浩康、斎藤恒雄、「心血管造影像からの冠状動脈の3次元抽出」、電子情報通信学会論文誌 ‘89/3 Vol.J72−D−II No.3、P433−441
しかしながら、上記従来の技術では、血管の3次元モデルを生成するために十分ではなかった。
そこで、本開示の限定的でない例示的な実施形態は、2方向から撮影した血管のX線画像の複数の画像領域の対応付けを行う画像領域対応付け装置、画像領域対応付け装置を利用して血管の3次元モデルを生成する3次元モデル生成装置、画像領域対応付け方法及び画像領域対応付け用プログラムを提供する。
上記課題を解決するため、本発明の一態様によれば、血管の複数の画像領域の対応付けを行なう画像領域対応付け装置であって、
造影剤が通過する際の前記血管に、互いに異なる第1の撮影角度と第2の撮影角度とからX線を照射することにより、前記第1の撮影角度より得られる第1X線画像と前記第2の撮影角度より得られる第2X線画像とで構成されるX線画像セットを取得するX線画像取得部と、
前記第1X線画像における前記血管の部分に相当する第1の画像領域について、前記造影剤の輝度より前記第1の画像領域におけるX線の吸収量を吸収特性として取得する第1X線吸収特性取得部と、
前記第2X線画像における前記血管の部分に相当する画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記造影剤の輝度より前記複数の第2の画像領域におけるX線の吸収量を吸収特性としてそれぞれ取得する第2X線吸収特性取得部と、
前記第1X線吸収特性取得部より取得された前記X線の吸収量と、前記第2X線吸収特性取得部より取得された前記複数の前記X線の吸収量のそれぞれとの類似度を算出する類似度算出部と、
前記類似度算出部より算出された類似度に基づいて、前記第1の画像領域と対応する前記第2の画像領域を決定する対応領域決定部と、
を備える画像領域対応付け装置を提供する。
本開示の限定的でない例示的なある実施形態によれば、2方向から撮影した血管のX線画像の複数の画像領域の対応付けを行う画像領域対応付け装置及び方法及び画像領域対応付けようプログラム、及び、画像領域対応付け装置を利用して血管の3次元モデルを生成する3次元モデル生成装置が提供される。
本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形態に関連した次の記述から明らかになる。この図面においては、
図1は、血管の3次元モデルを生成する説明図、 図2は、対応点の候補点が1点の場合の図、 図3は、対応点の候補点が2点の場合の図、 図4は、本発明の基本原理の説明図、 図5は、第1実施形態における3次元モデル生成装置の機能構成を示すブロック図、 図6は、第1実施形態における3次元モデル生成装置の処理動作の一例を示すフローチャート、 図7は、第2実施形態における形状復元装置の機能構成を示すブロック図、 図8は、X線撮影システムの構成を示すブロック図、 図9は、第2実施形態における撮影部情報保持部のデータ構造を示す図、 図10は、第2実施形態におけるX線画像保持部のデータ構造を示す図、 図11は、第2実施形態における被撮像物領域取得部の構成を示す図、 図12は、第2実施形態における二値画像の一例を示す図、 図13は、第2実施形態における細線画像の一例を示す図、 図14は、第2実施形態における被撮像物領域取得部のフローチャート、 図15は、第2実施形態における被撮像物細線化画像保持部のデータ構造を示す図、 図16は、第2実施形態における対応付け部の構成を示す図、 図17は、第2実施形態における第二画像投影領域取得部のフローチャート、 図18は、第2実施形態におけるエピポーラ線L2を示す図、 図19は、第2実施形態におけるエピポーラ平面を示す図、 図20は、第2実施形態における第二画像投影領域Qk(k=1、2)を示す図、 図21は、第2実施形態における第二画像投影領域保持部が保持するデータの一例を示す図、 図22は、第2実施形態における第一画像投影領域保持部が保持するデータの一例を示す図、 図23は、第2実施形態におけるエピポーラ平面を示す図、 図24は、第2実施形態の変形例2におけるエピポーラ平面を示す図、 図25は、第2実施形態における第一画像投影点Pk、第二画像投影領域Qk_1〜Qk_2の吸収特性を示すグラフ、 図26は、第2実施形態における対応付け制御部のフローチャート、 図27は、第2実施形態における吸収特性保持部のデータ構造を示す図、 図28は、第2実施形態における第二画像投影領域Qk_1に対する評価値を示すグラフ、 図29は、第2実施形態における第二画像投影領域Qk_2に対する評価値を示すグラフ、 図30は、第2実施形態における第二画像投影領域保持部のデータ構造を示す図、 図31は、第2実施形態における三次元位置保持部のデータ構造を示す図、 図32は、第2実施形態における表示画面生成部が生成する表示画面を示す図、 図33は、第2実施形態における形状復元装置のフローチャート、 図34は、第2実施形態における三次元点J1に流れる造影剤の量を示すグラフ、 図35は、第2実施形態における三次元上の血管の一例を示す図、 図36は、第2実施形態における血管の断面を示す図、 図37は、第2実施形態における三次元上の血管を撮影したX線画像を示す図、 図38は、第2実施形態の変形例2におけるエピポーラ平面を示す図、 図39は、第2実施形態の変形例2におけるエピポーラ平面を示す図、 図40は、第2実施形態の変形例2におけるエピポーラ平面を示す図、 図41は、第2実施形態の変形例2におけるエピポーラ平面を示す図、 図42は、第3実施形態におけるエピポーラ平面を示す図、 図43は、第3実施形態における第一画像投影点Pk_1〜Pk_3、及び、第二画像投影領域Qk_1〜Qk_2の吸収特性を示すグラフ、 図44は、第3実施形態におけるエピポーラ平面を示す図、 図45は、第3実施形態におけるエピポーラ平面を示す図、 図46は、第3実施形態におけるエピポーラ平面を示す図、 図47は、第3実施形態におけるエピポーラ平面を示す図、 図48は、第3実施形態におけるエピポーラ平面を示す図、 図49は、第3実施形態における形状復元装置の構成を示す図、 図50は、第3実施形態における対応付け部の構成を示す図、 図51は、第3実施形態におけるグループ分け取得部が取得するグループ分けの一例を示す図、 図52は、第3実施形態におけるグループ分け取得部の構成を示す図、 図53は、第3実施形態における二グループ分け部が行うグループ分けの一例を示す図、 図54は、第3実施形態における二グループ分け部が行うグループ分けの結果を示す図、 図55は、第3実施形態におけるグループ分け部のフローチャート、 図56は、第3実施形態におけるグループ分け部が行うグループ分けの結果の一例を示す図、 図57は、第3実施形態におけるグループ分け評価部の構成を示す図、 図58は、第3実施形態における吸収特性取得部が行う処理のフローチャート、 図59は、第3実施形態における対応情報保持部に追加する対応情報の一例を示す図、 図60は、第3実施形態における対応情報保持部に追加する対応情報の一例を示す図、 図61は、第2実施形態における造影点Pk、対応候補点Qk_1〜Qk_2の輝度列を示すグラフである。
本発明の記述を続ける前に、添付図面において同じ部品については同じ参照符号を付している。
以下、図面を参照して本発明における実施形態を詳細に説明する前に、本発明の基礎となった知見について説明する。
(本発明の基礎となった知見)
図1に、血管の3次元モデルを生成する説明図を示す。
X線発生部202A及びX線発生部202Bより、2つの異なる方向から血管1201に向けてX線を照射することにより、第1X線画像1101及び第2X線画像1102を得る。
血管1201上の点Jkは、第1X線画像1101上において点Pkに相当する。
ここで、点Jkが、第2X線画像1102上において何れの箇所であるか特定できれば、三角測量の原理を用いて、点Jkの3次元位置を特定することができる。同様に、血管1201上の複数の点について、3次元位置をそれぞれ特定することにより、血管1201の3次元モデルを生成することができる。
点Jkに対応する第2X線画像1102上の点の求める方法について説明する。
始めに、第1X線画像1101の点Pkに対して、第2X線画像1102におけるエピポーラ線L2を求める。エピポーラ線L2とは、点Pkの対応点が第2X線画像1102上に出現し得る直線状の範囲である。エピポーラ線L2は、点Pkと、第1X線画像1101及び第2X線画像1102の幾何学的な位置関係より決定される。図1において、点Pkに対応する候補点は点Qkのみであるので、点Pkの対応点は点Qkとなる。
図2に、対応点の候補点が1点の場合の図を示す。
図2に示すように、第2X線画像1102において、血管1201の端点と、エピポーラ線L2との交点が1点である場合には、点Qkが点Pkの対応点と決定される。
しかし、図3に示すように、血管1201の端点と、エピポーラ線L2との交点が2点である場合には、点Qk_1又は点Qk_2のいずれを点Pkの対応点とすべきかを決定することができない。
そこで、本発明の第1態様によれば、血管の複数の画像領域の対応付けを行なう画像領域対応付け装置であって、
造影剤が通過する際の前記血管に、互いに異なる第1の撮影角度と第2の撮影角度とからX線を照射することにより、前記第1の撮影角度より得られる第1X線画像と前記第2の撮影角度より得られる第2X線画像とで構成されるX線画像セットを取得するX線画像取得部と、
前記第1X線画像における前記血管の部分に相当する第1の画像領域について、前記造影剤の輝度より前記第1の画像領域におけるX線の吸収量を吸収特性として取得する第1X線吸収特性取得部と、
前記第2X線画像における前記血管の部分に相当する画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記造影剤の輝度より前記複数の第2の画像領域におけるX線の吸収量を吸収特性としてそれぞれ取得する第2X線吸収特性取得部と、
前記第1X線吸収特性取得部より取得された前記X線の吸収量と、前記第2X線吸収特性取得部より取得された前記複数の前記X線の吸収量のそれぞれとの類似度を算出する類似度算出部と、
前記類似度算出部より算出された類似度に基づいて、前記第1の画像領域と対応する前記第2の画像領域を決定する対応領域決定部と、
を備える画像領域対応付け装置を提供する。
前記第1態様によれば、2方向から撮影した血管のX線画像の複数の画像領域の対応付けを適切に行うことができる。
本発明の第2態様によれば、さらに、前記画像領域対応付け装置は、
前記第1の撮影角度より前記血管を撮像する第1X線撮像装置の位置情報と前記第2の撮影角度より前記血管を撮像する第2X線撮像装置の位置情報との相対位置情報を取得する撮影部情報取得部と、
前記第1X線画像上における前記第1の画像領域の位置情報を取得する被撮像物領域取得部と、
前記撮影部情報取得部及び前記被撮像物領域取得部よりそれぞれ取得した各位置情報より、前記第1X線撮像装置、前記第2X線撮像装置、及び前記第1の画像領域から構成される平面であるエピポーラ平面を算出し、前記第2X線画像上について、算出された前記エピポーラ平面と前記第2X線画像との交線であるエピポーラ線を算出し、前記複数の第2の画像領域は、前記算出された前記エピポーラ線上にそれぞれ位置する位置情報を取得する第二画像投影領域取得部と、
をさらに備え、
前記第二画像投影領域取得部で取得した前記複数の第2の画像領域の位置情報の位置の吸収特性を前記第2X線吸収特性取得部で取得する
第1の態様に記載の画像領域対応付け装置を提供する。
前記第2態様によれば、撮影装置同士の相対位置関係によって取得した対応候補領域の中から吸収特性に基づいて複数の画像領域の対応付けを決定することができる。
本発明の第3態様によれば、前記第1X線吸収特性取得部は、前記第1の画像領域の画素数と前記第1X線撮像装置より照射されたX線の強度との対数の積と、前記第1の画像領域の各画素にて取得した前記第1X線撮像装置より照射されたX線の強度の対数和との差より、前記第1の画像領域におけるX線の吸収量を前記吸収特性として取得し、
前記第2X線吸収特性取得部は、前記複数の第2の画像領域それぞれについて、前記第2の画像領域の画素数と前記第2X線撮像装置より照射されたX線の強度との対数の積と、前記第2の画像領域の各画素にて取得した前記第2X線撮像装置より照射されたX線の強度の対数和との差より、前記第2の画像領域におけるX線の吸収量を前記吸収特性として取得する、
の態様に記載の画像領域対応付け装置を提供する。
前記第3態様によれば、X線撮影装置に撮影された画像領域のX線強度から画像領域の吸収特性を算出し、算出した吸収特性に基づいて複数の画像領域の対応付けを決定することができる。
本発明の第4態様によれば、前記第1X線吸収特性取得部は、前記第1の画像領域について、所定時間分の前記造影剤の輝度より前記第1の画像領域におけるX線の吸収量変化を前記吸収特性として取得し、
前記第2X線吸収特性取得部は、前記複数の第2の画像領域について、前記所定時間分の前記造影剤の輝度より前記第2の画像領域におけるX線の吸収量変化をそれぞれ前記吸収特性として取得し、
前記類似度算出部は、前記第1X線吸収特性取得部より取得された前記X線の吸収量変化と、前記第2X線吸収特性取得部より取得された複数の前記X線の吸収量変化のそれぞれとの類似度をそれぞれ算出する、
第1〜3のいずれか1つの態様に記載の画像領域対応付け装置を提供する。
前記第4態様によれば、X線撮影装置に撮影された時系列画像における吸収特性から、高精度に複数の画像領域の対応付けを決定することができる。
本発明の第5態様によれば、前記X線画像取得部は、互いに異なる第1の所定時刻及び第2の所定時刻について、前記第1X線画像及び前記第2X線画像で構成されるX線画像セットを取得し、
前記第1X線吸収特性取得部は、前記第1の所定時刻において前記第1の画像領域の各画素にて取得した前記第1X線撮像装置より照射されたX線の強度の対数和と、前記第2の所定時刻において前記第1の画像領域の各画素にて取得した前記第1X線撮像装置より照射されたX線の強度の対数和との差より、前記第1の画像領域におけるX線の吸収量を前記吸収特性として取得し、
前記第2X線吸収特性取得部は、前記複数の第2の画像領域それぞれについて、前記第1の所定時刻において前記第2の画像領域の各画素にて取得した前記第2X線撮像装置より照射されたX線の強度の対数和と、前記第2の所定時刻において前記第2の画像領域の各画素にて取得した前記第2X線撮像装置より照射されたX線の強度の対数和との差より、前記第2の画像領域におけるX線の吸収量を前記吸収特性として取得する、
の態様に記載の画像領域対応付け装置を提供する。
前記第5態様によれば、骨又は臓器と言った血管以外の物体が血管と一緒に撮影されるX線画像においても、吸収特性に基づいて血管についての複数の画像領域の対応付けを適切に行うことができる。
本発明の第6態様によれば、前記第1X線吸収特性取得部は、前記第1の画像領域の各画素にて取得した前記第1X線撮像装置より照射されたX線の強度同士の積を、前記第1X線撮像装置より照射されたX線の強度を前記第1の画像領域の画素数にて乗じた値にて割った値より、前記第1の画像領域におけるX線の吸収量を前記吸収特性として取得し、
前記第2X線吸収特性取得部は、前記複数の第2の画像領域それぞれについて、前記第2の画像領域の各画素にて取得した前記第2X線撮像装置より照射されたX線の強度同士の積を、前記第2X線撮像装置より照射されたX線の強度を前記第2の画像領域の画素数にて乗じた値にて割った値より、前記第2の画像領域におけるX線の吸収量を前記吸収特性として取得する、
第1又は2の態様に記載の画像領域対応付け装置を提供する。
前記第6態様によれば、単純な演算を用いて吸収量を算出し、画像領域の対応付けを行うことができる。
本発明の第7態様によれば、前記X線画像取得部は、互いに異なる第1の所定時刻及び第2の所定時刻について、前記第1X線画像及び前記第2X線画像で構成されるX線画像セットを取得し、
前記第1X線吸収特性取得部は、前記第1の所定時刻において前記第1の画像領域の各画素にて取得した前記第1X線撮像装置より照射されたX線の強度同士の積を、前記第2の所定時刻において前記第1の画像領域の各画素にて取得した前記第1X線撮像装置より照射されたX線の強度同士の積にて割った値より、前記第1の画像領域におけるX線の吸収量を前記吸収特性として取得し、
前記第2X線吸収特性取得部は、前記複数の第2の画像領域それぞれについて、前記第1の所定時刻において前記第2の画像領域の各画素にて取得した前記第2X線撮像装置より照射されたX線の強度同士の積を、前記第2の所定時刻において前記第2の画像領域の各画素にて取得した前記第2X線撮像装置より照射されたX線の強度同士の積にて割った値より、前記第2の画像領域におけるX線の吸収量を前記吸収特性として取得する、
の態様に記載の画像領域対応付け装置を提供する。
前記第7態様によれば、骨又は臓器と言った血管以外の物体が血管と一緒に撮影されるX線画像においても、吸収特性に基づいて血管の画像領域の対応付けを適切に行うことができる。
本発明の第8態様によれば、前記血管は、分岐部分を有する血管であり、当該血管の3次元モデルを生成する3次元モデル生成装置であって、
前記第2X線吸収特性取得部は、前記第2X線画像における前記血管の前記分岐部分に相当する画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記造影剤の輝度より前記複数の第2の画像領域におけるX線の吸収量を吸収特性としてそれぞれ取得する、第1〜7のいずれか1つの態様に記載の前記画像領域対応付け装置と、
前記画像領域対応付け装置により決定された情報を用いて、前記血管の3次元モデルを生成する3次元モデル生成部と、
を備える3次元モデル生成装置を提供する。
前記第8態様によれば、血管の複数の画像領域の対応付けを行うことにより、3次元モデルを生成することができる。特に、三角測量の原理を用いて3次元モデルを生成する際、対応点候補が複数ある場合においても適切な対応点を決定することができる。
本発明の第9態様によれば、血管の複数の画像領域の対応付けを行なう画像領域対応付け方法であって、
造影剤が通過する際の前記血管に、互いに異なる第1の撮影角度と第2の撮影角度とから同一強度のX線を照射することにより、前記第1の撮影角度より得られる第1X線画像と前記第2の撮影角度より得られる第2X線画像とで構成されるX線画像セットをX線画像取得部で取得し、
前記第1X線画像における前記血管の部分に相当する第1の画像領域について、前記造影剤の輝度より前記第1の画像領域におけるX線の吸収量を吸収特性として第1X線吸収特性取得部で取得し、
前記第2X線画像における前記血管の部分に相当する画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記造影剤の輝度より前記複数の第2の画像領域におけるX線の吸収量を吸収特性としてそれぞれ第2X線吸収特性取得部で取得し、
前記第1X線吸収特性取得部より取得された前記X線の吸収量と、前記第2X線吸収特性取得部より取得された複数の前記X線の吸収量のそれぞれとの類似度を類似度算出部で算出し、
前記類似度算出部より算出された類似度のうち、前記類似度が最も高い第2の画像領域を、前記第1の画像領域と対応する領域であると対応領域決定部で決定する、
画像領域対応付け方法を提供する。
前記第9態様によれば、2方向から撮影した血管のX線画像の複数の画像領域の対応付けを適切に行うことができる。
本発明の第10態様によれば、血管の複数の画像領域の対応付けを行なう画像領域対応付け用プログラムであって、
コンピュータを、
造影剤が通過する際の前記血管に、互いに異なる第1の撮影角度と第2の撮影角度とからX線を照射することにより、前記第1の撮影角度より得られる第1X線画像と前記第2の撮影角度より得られる第2X線画像とで構成されるX線画像セットを取得するX線画像取得部と、
前記第1X線画像における前記血管の部分に相当する第1の画像領域について、前記造影剤の輝度より前記第1の画像領域におけるX線の吸収量を吸収特性として取得する第1X線吸収特性取得部と、
前記第2X線画像における前記血管の部分に相当する画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記造影剤の輝度より前記複数の第2の画像領域におけるX線の吸収量を吸収特性としてそれぞれ取得する第2X線吸収特性取得部と、
前記第1X線吸収特性取得部より取得された前記X線の吸収量と、前記第2X線吸収特性取得部より取得された前記複数の前記X線の吸収量のそれぞれとの類似度を算出する類似度算出部と、
前記類似度算出部より算出された類似度に基づいて、前記第1の画像領域と対応する前記第2の画像領域を決定する対応領域決定部と、
として機能させるための画像領域対応付け用プログラムを提供する。
前記第10態様によれば、2方向から撮影した血管のX線画像の複数の画像領域の対応付けを適切に行うことができる。
(本発明の基本原理)
図4に、本発明の基本原理の説明図を示す。
図4に示すように、本明細書中においては、血管1201の断面形状は楕円形状である。なお、以下の説明において画像領域を対応付けるときに使用する血管1201の部分には、分岐部分が存在してもよいし、分岐部分が存在し無くてもよい。
第1X線画像(第1の投影画像)1101は、第1X線撮像装置(以下、X線発生部202Aとも言う)が第1の撮影角度より血管1201にX線を照射することにより得られる。第1の画像領域Pkは、第1X線画像1101上の領域であり、かつ、X線発生部202Aから血管1201に向けた方向より撮像した血管1201に相当する領域である。第1の画像領域Pkは、血管1201中の造影剤によりX線が吸収されるため、第1X線画像1101上において他の領域より輝度が低くなる。
第2X線画像(第2の投影画像)1102は、第2X線撮像装置(以下、X線発生部202Bとも言う)が第2の撮影角度より血管1201にX線を照射することにより得られる。第2の画像領域Qkは、第2X線画像1102上の領域であり、かつ、X線発生部202Bから血管1201に向けた方向より撮像した血管1201に相当する領域である。第2の画像領域Pkは、血管1201中の造影剤によりX線が吸収されるため、第2X線画像1102上において他の領域より輝度が低くなる。第1の撮影角度と第2の撮影角度とは、図示では一例として90度異ならせているが、これに限られるものではなく、角度が異なればよい。
ここで、X線発生部202A及びX線発生部202Bがそれぞれ照射するX線の強度が同一である場合、第1の画像領域Pkは、第2の画像領域Qk_2と比較して輝度が低くなる。これは、X線発生部202Aより照射されたX線が血管1201の幅d2を通過するのに対し、X線発生部202Bより照射されたX線が血管1201の幅d1(ただし、d1<d2)を通過するため、血管1201中の造影剤にて吸収されるX線の吸収量が少ないからである。
しかし、第1の画像領域Pkにおける輝度の総和と、第2の画像領域Qkにおける輝度の総和は等しい。換言すれば、X線発生部202Aより血管1201に照射されたX線が血管1201中の造影剤に吸収された吸収量と、X線発生部202Bより血管1201に照射されたX線が血管1201中の造影剤に吸収された吸収量とは等しい。なぜならば、X線の吸収量は造影剤の量に依存するため、血管1201のある部分におけるX線の吸収量は、X線の入射方向に関わらず一定となるからである。
以下、上記内容について数式を用いて説明する。
強度IのX線は、厚さdのX線吸収体を通過すると強度Iに減衰する。ここで、減衰の程度を示す線減弱係数をμとすると、式1が成立する。
Figure 0005830627
また、式1の両辺について対数をとると、式2となる。
Figure 0005830627
ここで、X線発生部202Aより発生するX線が血管1201中の造影剤に吸収される吸収量は、第1の画像領域Pkを構成する各画素の輝度、つまり、各画素におけるX線の強度を用いて求めることができる。具体的には、以下のように求められる。
第1の画像領域Pkを構成する各画素の強度Ipk_n(n=1,2,…,N)の総和は、式3より求められる。ただし、Nは2以上の整数であって、第1の画像領域Pkを構成する最大画素数である。
Figure 0005830627
なお、X線発生部202Aの方向から見た血管1201の厚さd2は、第1の画像領域Pkを構成する各画素において厚みが異なる。そのため、式3において、厚さd2は、厚さd2pk_n(n=1,2,…,N)としている。
式3より、X線発生部202Aより発生するX線が血管1201中の造影剤に吸収される吸収量は、式4のように示される。
Figure 0005830627
同様に、X線発生部202Bより発生するX線が血管1201中の造影剤に吸収される吸収量は、式5のように示される。
Figure 0005830627
なお、第2の画像領域Qkを構成する各画素の強度をIqk_m(m=1,2,…,M)とし、X線発生部202Bの方向から見た血管1201の厚さをd1qk_m(m=1,2,…,M)とする。ただし、Mは2以上の整数であって、第2の画像領域Qkを構成する最大画素数である。
したがって、前述の通り、X線発生部202Aより照射されたX線が血管1201中の造影剤に吸収された吸収量と、X線発生部202Bより照射されたX線が血管1201中の造影剤に吸収された吸収量とは等しいため、式4と式5とは等しくなる。
本発明は、上記原理を利用することにより、第1X線画像1101上の第1の領域と、第2X線画像1102上の第2の領域との対応関係を決定することができる。これにより、本発明は、血管1201の3次元モデルを生成できる。
(第1実施形態)
<装置構成>
図5に、本発明の第1実施形態における、画像領域対応付け装置9を有する3次元モデル生成装置10の機能ブロック図を示す。
3次元モデル生成装置10は、画像領域対応付け装置9と、3次元モデル生成部16とを備えて構成されている。
画像領域対応付け装置9は、X線画像取得部11と、第1X線吸収特性取得部の一例として機能する第1X線吸収量取得部12と、第2X線吸収特性取得部の一例として機能する第2X線吸収量取得部13と、類似度算出部14と、対応領域決定部15とを備える。
<X線画像取得部11>
X線画像取得部11は、造影剤が通過する際の血管1201を第1の撮影角度と第2の撮影角度とからX線をそれぞれ照射することにより、第1の撮影角度より得られる第1X線画像1101と第2の撮影角度より得られる第2X線画像1102とで構成されるX線画像セットを入力IF114で指示された撮影開始のタイミングから撮影終了のタイミングまで(例えば所定時間毎に)取得する。画像セットの取得は、入力IF114で指示されたタイミング1回だけでもよいし、入力IF114で指示された開始時刻から、指示された終了時間までであっても構わない。
<第1X線吸収量取得部12>
第1X線吸収量取得部12は、X線画像取得部11で取得した第1X線画像1101における血管1201部分の第1の画像領域Pkについて、第1の画像領域PkにおけるX線の吸収量を取得する。
なお、第1の画像領域Pkは、血管1201を含む領域である。
<第2X線吸収量取得部13>
第2X線吸収量取得部13は、X線画像取得部11で取得しかつ第1の画像領域Pkに対応する候補(対応点の候補点)の画像領域である複数の第2の画像領域Qk_n(n=1,2,…,N)について、第2の画像領域Qk_nにおけるX線の吸収量をそれぞれ取得する。
なお、第2の画像領域Qk_nは、血管1201を含む領域である。
<類似度算出部14>
類似度算出部14は、第1X線吸収量取得部12より取得されたX線の吸収量と、第2X線吸収量取得部13より取得された複数のX線の吸収量のそれぞれとの類似度を算出する。
<対応領域決定部15>
対応領域決定部15は、類似度算出部14より算出された複数の類似度のうち、最も高い類似度の第2の画像領域Qk_nを、第1の画像領域Pkと対応する領域であると決定する。又は、対応領域決定部15は、類似度が所定の閾値よりも高い第2の画像領域Qk_nを、第1の画像領域Pkと対応する領域であると決定する。もし、類似度が所定の閾値よりも高い第2の画像領域Qk_nがある場合には、一例として、最初に類似度が所定の閾値よりも高いと判定した第2の画像領域Qk_n、第1の画像領域Pkと対応する領域であると決定する。この決定により、第2の画像領域Qk_nと、第1の画像領域Pkとの対応付けを決定することができる。
<3次元モデル生成部16>
3次元モデル生成部16は、対応領域決定部15より決定された情報を用いて、血管1201の3次元モデルを生成する。
<装置動作>
図6に、第1実施形態における、画像領域対応付け装置9及び3次元モデル生成装置10の処理動作フローを示す。
始めに、X線画像取得部11は、造影剤が通過する際の血管1201を第1の撮影角度と第2の撮影角度とから同一強度のX線を照射することにより、第1の撮影角度より得られる第1X線画像1101と第2の撮影角度より得られる第2X線画像1102とで構成されるX線画像セットを取得する(ステップS10)。
次に、第1X線吸収量取得部12は、X線画像取得部11で取得した第1X線画像1101における血管1201の部分に相当する第1の画像領域Pkについて、造影剤の輝度より血管透過後のX線強度を算出することにより、第1の画像領域PkにおけるX線の吸収量を取得する(ステップS11)。
次に、第2X線吸収量取得部13は、X線画像取得部11で取得した第2X線画像1102における血管1201の部分に相当する画像領域であり、かつ、第1の画像領域Pkに対応する候補の画像領域である複数の第2の画像領域Qk_n(n=1,2,…,N)について、造影剤の輝度より血管透過後のX線強度をそれぞれ算出することにより、第2の画像領域Qk_nにおけるX線の吸収量をそれぞれ取得する(ステップS12)。なお、ステップS11とステップS12とは、同時に行ってもよい。
次に、類似度算出部14は、第1X線吸収量取得部12より取得されたX線の吸収量と、第2X線吸収量取得部13より取得された複数のX線の吸収量のそれぞれとの類似度を算出する(ステップS13)。
次に、対応領域決定部15は、類似度算出部14より算出された複数の類似度のうち、類似度が最も高い第2の画像領域Qk_nを、第1の画像領域Pkと対応する領域であると決定する(ステップS14)。ここまでが、画像領域対応付け装置9の処理動作である。
次に、3次元モデル生成部16は、対応領域決定部15より決定された情報を用いて、血管1201の3次元モデルを生成する(ステップS15)。
<第1実施形態の効果>
第1実施形態における画像領域対応付け装置9によれば、第1X線画像1101上の第1の領域に対して、複数の第2X線画像1102がある場合でも、
第1X線画像1101上の第1の領域と最適な第2X線画像1102上の第2の領域との対応関係を対応領域決定部15で決定することができる。この結果、3次元モデル生成装置10によれば、この画像領域対応付け装置9での画像領域対応付け結果を基に、血管1201の3次元モデルを生成することができる。
なお、ここでは造影剤が注入された血管1201の対応付けについて述べたが、血管以外の一般的な物体に対しても同様に対応付けを行なうことが出来る。
(第2実施形態)
図7は、本発明の第2実施形態の、画像領域対応付け装置9Bを有する3次元モデル生成装置1(以下、形状復元装置1とも言う)の構成を示す図である。形状復元装置1は、一例として、画像領域対応付け装置9Bと、3次元モデル生成部16Bと、表示部112とを備える。
さらに、画像領域対応付け装置9Bは、一例として、X線画像取得部113と、X線発生部202A及びX線発生部202Bに対応するX線撮影部101〜102と、撮影部情報保持部104と、入力IF(インターフェース)114と、X線画像保持部103と、被撮像物領域取得部105と、被撮像物細線化画像保持部106と、被撮像物領域画像保持部1132と、対応付け部107とを備える。X線画像取得部113は、第1実施形態のX線画像取得部11に対応する。対応付け部107は、第1実施形態の第1X線吸収量取得部12(第1X線吸収特性取得部の一例)と第2X線吸収量取得部13(第2X線吸収特性取得部の一例)と第1実施形態の類似度算出部14と対応領域決定部15との一例として対応する。
3次元モデル生成部16Bは、対応情報保持部108と、三次元位置取得部109と、三次元位置保持部110と、表示画面生成部111とを備えている。
X線撮影部101〜102は、それぞれ、異なる角度から被験者の撮影対象部位に対して放射線を照射して、撮影されたX線透視像、又は、造影剤を注入した際に撮影された血管造影像を取得する手段であり、例えばX線血管造影装置又はアンギオグラフィと称される。第2実施形態におけるX線撮影部101〜102は、被撮像物である血管を撮影する。X線撮影部101〜102は、それぞれ同一構成であり、代表例として、X線撮影部101について構成を説明する。
図8にX線撮影部101の構成を示す。X線撮影部101は、X線発生部202と、X線検出部203と、機構部206と、機構制御部205とで構成されている。
X線発生部202は、高電圧を用いてX線を発生するX線管と、X線の一部を遮蔽することによって照射野を制御するX線絞り器とを有しており、寝台201上の患者200にX線を照射する。
X線検出部203は、患者200を透過したX線を受けて画像情報を記録し、記録した画像情報を出力するカメラである。X線検出部203は、例えば、X線観応層を配置し、X線をデジタルデータに変換して出力するFPD(Flat Panel Detector)として構成されている。X線検出部203は、X線発生部202から患者200にX線が照射されると、照射されたX線画像を示す画像情報を画像取得部113へ出力する。
機構部206は、術者の操作指示を受け付けた機構制御部205の指示に基づいて、アーム204及び寝台201を移動する。
また、機構制御部205は、X線発生部202又はX線検出部203の位置を撮影部情報保持部104に出力する。
X線撮影部102についても、X線撮影部101と同様の各部を有する。ここでは、X線撮影部101のX線発生部202と、X線撮影部102のX線発生部202とを区別する場合には、前者をX線発生部202A、後者をX線発生部202Bとする。
X線画像取得部113は、X線撮影部101〜102よりX線画像(放射線画像)をそれぞれ取得し、取得したX線画像をX線画像保持部103にそれぞれ格納する部である。後述の入力IF114によって指示されたタイミングで、画像の取得を開始及び終了する。
X線画像取得部113は、具体的には、入力IF114の指示により画像の取得を開始し、例えばX線撮影部101より取得した画像をX線画像保持部115に格納する。以降、X線画像取得部113は、入力IF114より終了の指示があるまで、入力IF114で指示されたタイミングで(例えば所定時間毎に)X線撮影部101より画像を取得し、取得した画像をX線画像保持部115に格納する。X線画像取得部113は、X線撮影部102からも同様に、入力IF114で指示されたタイミングで(例えば所定時間毎に)画像を取得して、取得した画像をX線画像保持部103に格納する。
撮影部情報保持部104は、X線撮影部101、102に関する情報を保持する部である。具体的には、撮影部情報保持部104は、例えばCPUのレジスタ、キャッシュ、RAM、又は、ROM等の記憶装置によって実現する。以降、名称に保持部を有する部は、同様の方法で実現する。
撮影部情報保持部104は、具体的には、X線撮影部101、102の相対位置情報、及び、X線撮影部101、102のそれぞれのカメラの内部パラメータAを保持する。図9は、撮影部情報保持部104のデータ構造の例を示す図である。撮影部情報保持部104は、並進ベクトルTと、回転ベクトルRと、内部パラメータA1、A2とを保持する。
並進ベクトルTは、X線撮影部101の位置を基準にして、X線撮影部102がどこに存在するかを示すベクトルであり、X線撮影部101、102のそれぞれの位置情報(第1X線撮像装置の位置情報と第2X線撮像装置の位置情報と)の相対位置情報の一例である。回転ベクトルRは、X線撮影部101の撮影方向に対する、X線撮影部102の撮影方向の向きを示す。内部パラメータA1は、X線撮影部101のカメラが備える撮影レンズと撮像素子の撮像面との位置関係を表すパラメータであり、X線撮影部101では、X線発生部202とX線検出部203との位置関係を表すパラメータである。ここでは、説明を簡単にするため、X線発生部202に対するX線検出部203の位置は固定であるものとし、内部パラメータA1、A2の値は予め用意して撮影部情報保持部104に格納しておくものとする。
また、ここでは、X線撮影装置101に対するX線撮影装置102の相対位置は常に一定であるとし、並進ベクトルT及び回転ベクトルRも、撮影部情報保持部104に予め保持するものとする。なお、撮影部情報保持部104は、X線撮影装置101とX線撮影装置102との位置をそれぞれ取得し、取得した位置より、並進ベクトルT及び回転ベクトルRを算出する構成であっても構わない。
入力IF114は、操作者(術者)が、形状復元装置1に対して指示を入力する装置である。例えば、入力IF114は、ボタン、スイッチ、コンピュータのキーボード、又は、マウスなどによって実現する。ここでは、入力IF114は、X線画像取得部113に対して画像取得の開始、及び、終了の指示を与えるために用いる。
X線画像保持部103は、X線画像取得部113が取得した画像を保持する部である。図10は、X線画像保持部103のデータ構造を示す図である。X線画像取得部が画像取得を開始した時刻を時刻0とし、画像取得を終了した時刻を時刻ENDとし、画像取得から開始までの各時刻に、X線撮影部101〜102で撮影された画像をそれぞれ保持する。以降の説明では、X線撮影部101で時刻nに撮影された画像を画像1_nとし、X線撮影部102で時刻nに撮影された画像を画像2_nとする。また、時刻0に撮影された画像1_0、画像2_0を背景画像と呼ぶ。
被撮像物領域取得部105は、画像1_END、及び、画像2_ENDから、造影剤が投入された血管1201の領域を取得する部である。図11は、被撮像物領域取得部105の構成を示す図である。被撮像物領域取得部105は、差分画像生成部1504と、差分画像保持部1505と、二値化部1501と、細線化部1503とを有する。
差分画像生成部1504は、X線画像保持部103より、画像n_ENDと画像n_0(背景画像)とを取得し、差分画像を生成し、生成した差分画像を差分画像保持部1505に格納する(n=1、2)。
差分画像保持部1505は、差分画像生成部が生成した差分画像を保持する。
二値化部1501は、差分画像保持部1505より、差分画像を取得し、取得した差分画像を二値化し、被撮像物領域画像保持部1132に格納する。ここでは、血管の領域の画素値を「1」とし、それ以外の領域の画素値を「0」とする。
細線化部1503は、被撮像物領域画像保持部1132が保持する二値画像を細線化して被撮像物細線化画像保持部106に格納する。図12に示す二値画像を、細線化して得られる細線画像を図13に示す。
<被撮像物領域取得部105が行う処理の流れ>
図14は、被撮像物領域取得部105によって画像1_ENDの被撮像物領域を取得する処理のフローチャートを示す図である。
被撮像物領域取得部105は、ステップS801で処理を開始する。
次に、ステップS802で、差分画像生成部1504は、前述の差分画像生成部1504の処理を行う。すなわち、差分画像生成部1504は、X線画像保持部103より、画像1_0と、画像1_ENDとをそれぞれ取得し、取得した画像の各画素の差分を算出して生成し、生成した差分画像を、差分画像保持部1505に格納する。
次に、ステップS803で、二値化部1501は、前述の二値化部1501の処理を行う。すなわち、二値化部1501は、差分画像保持部1505より、差分画像を取得し、取得した差分画像を二値化し、被撮像物領域画像保持部1132に格納する。
次に、細線化部1503は、ステップS804で前述の細線化部1503の処理を行う。すなわち、細線化部1503は、被撮像物領域画像保持部1132が保持する二値画像を細線化して被撮像物細線化画像保持部106に格納する。
次に、被撮像物領域取得部105は、ステップS805で処理を終了する。
被撮像物領域取得部105は、X線撮影部102で撮影された画像2_ENDに対しても、同様の処理を行う。
被撮像物細線化画像保持部106は、被撮像物領域取得部105が取得した被撮像物領域を保持する部である。図15は、被撮像物細線化画像保持部106のデータ構造を示す図である。被撮像物細線化画像保持部106は、画像1_ENDより生成した第一被撮像物細線化画像1101Tと、画像2_ENDより生成した第二被撮像物細線化画像1102Tとを保持する。
被撮像物領域画像保持部1132は、被撮像物領域取得部105が取得した被撮像物領域画像を保持する部である。被撮像物領域画像保持部1132は、画像1_ENDより生成した第一被撮像物領域画像と、画像2_ENDより生成した第二被撮像物領域画像とを保持する。
対応付け部107は、被撮像物細線化画像保持部106が保持する第一被撮像物細線化画像1101Tの黒色の点に対して、第二被撮像物領域画像1102T上の対応点の位置を取得する。以降の説明では、第一被撮像物細線化画像1101Tの各点を第一画像投影点Pk(k=1,2,…,K。ただし、Kは第一被撮像物細線化画像1101Tにおける第一画像投影点の数。)と呼ぶ(図18参照)。
図16は、対応付け部107の構成を示す図である。対応付け部107は、被撮像物領域取得部の一例として機能する第一画像投影領域取得部1702Cと、第一画像投影領域保持部1703Cと、第二画像投影領域取得部1705と、第二画像投影領域保持部1706と、第1X線吸収特性取得部12及び第2X線吸収特性取得部13の一例として機能する吸収特性取得部1707と、吸収特性保持部1708と、類似度算出部の一例として機能する吸収特性評価部1709と、吸収特性評価保持部1710と、対応領域決定部1711と、対応付け制御部1701とを有する。
まず、第二画像投影領域取得部1705を説明するのに先立って、第二画像投影領域取得部1705で算出して取得されるエピポーラ線とエピポーラ平面とについて図18を用いて説明する。
図18において、1201は、血管である。X線撮影部101のX線発生部202Aで発生し、三次元点Jkを通過したX線は、X線検出部203A上の第一画像1101上の第一画像投影点Pkに投影される。
第一画像投影点Pkの位置のみからでは、三次元点Jkの位置を知ることは出来ないが、三次元点Jkは、X線発生部202Aと第一画像投影点Pkとを結ぶ直線1231上のどこかに存在することになる。
さて、この直線1231上の点は、第二画像1102上では、図18のエピポーラ線L2に投影される。三次元点Jkは直線1231上の点なので、三次元点Jkの投影点もこのエピポーラ線L2上のどこかに出現する。よって、三次元点Jkの対応点の候補は、このエピポーラ線L2上に存在する投影点に絞り混む事が出来る。
次に、X線撮影部102のX線発生部202Bと、X線発生部202Aと、第一画像投影点Pkとを通る平面について説明する。この平面は(第一画像投影点Pkに対する)エピポーラ平面と呼ばれる。
この平面上の三次元点はJkに限らず、第二画像1102上では、全てエピポーラ線L2上に投影される。X線発生部202Bと、三次元点を結ぶ直線は、全てエピポーラL2に投影されるためである。
また、この平面上の三次元点は、第一画像1101上では、全てエピポーラ線L1上に投影される。X線発生部202Aと、三次元点を結ぶ直線は、全てエピポーラL1に投影されるためである。
さて、図19は、エピポーラ平面を示す図である。先述の説明では、血管1201上の一点を三次元点Jkとして説明しているが、詳細には、血管1201のエピポーラ平面による断面は、図19のように楕円等の面積を有する形状となる。よって、以降の説明では、面積があることを利用する場合には、三次元領域Jkと述べる。また、三次元領域Jkの投影点である第一画像投影点Pk、第二画像投影点Qkは、実際には線分であり、長さを有する形状となる。よって、以降の説明では、長さがあることを利用する場合には、第一画像投影領域Pk、第二画像投影領域Qkと記述する。
第二画像投影領域取得部1705は、後述の対応付け制御部1701により指定された第一画像投影点Pkに対する、対応点の候補となる第二画像投影領域Qk_n(n=1,2,…,N:ただし、Nは第二画像投影領域の数)の位置を取得する。具体的な方法を、図17の被撮像物領域取得部105が行う処理のフローチャートを用いて説明する。
ステップS1001で、第二画像投影領域取得部1705は処理を開始する。
次に、ステップS1003で、第二画像投影領域取得部1705は、撮影部情報保持部104より、並進ベクトルTと、回転ベクトルRと、内部パラメータA1、A2とを取得する。
次に、ステップS1004で、第二画像投影領域取得部1705は、取得した第一画像投影領域に対応するエピポーラ線L2を算出する。エピポーラ線L2は、第一画像投影点Pkの対応点が第二画面上に出現しうる直線状の範囲であり、第一画像投影点Pkの位置と、X線撮影部101とX線撮影部102の幾何学的な位置関係とに基づいて決定される。
エピポーラ線L2は、X線撮影部101(X線発生部202A)の位置とX線撮影部102(X線発生部202B)の位置との相対位置情報(並進ベクトルT、回転ベクトルR)と、どのようなカメラで撮影しているかの情報(内部パラメータA1、A2)とで算出される。具体的には、第二画像投影領域取得部1705は、以下の式6、式7の計算を行ってエピポーラ線L2のパラメータl2を算出する。
Figure 0005830627
Figure 0005830627
式6において、Fはファンダメンタル行列と呼ばれる行列であり、A1−Tは、内部パラメータA1の逆行列の転置行列を示し、[T]は、並進ベクトルTの歪対称行列を示す。mは造影点Pkの位置座標を示す。
算出されたエピポーラ線L2のパラメータl2を(a,b,c)Tとしたとき、エピポーラ線L2は、ax+by+c=0となる。
次に、ステップS1005で、第二画像投影領域取得部1705は、被撮像物領域画像保持部1132より第二被撮像物領域画像7902を取得する。
次に、ステップS1006で、第二画像投影領域取得部1705は、第二被撮像物領域画像7902で、エピポーラ線L2と交点となる第二画像投影領域Qk_n(n=1,2,…,N。ただし、Nは第二画像投影領域の数)の位置を取得する。図20は、第二画像投影領域Qk(k=1、2)の一例を示す図である。図20において、8001はエピポーラ線L2を示す。図20の太線の領域は、X線撮影部102が撮影した画像2_ENDにおいて血管1201が撮影された被撮像物領域を示す。図20において、被撮像物領域(太線の領域)と、エピポーラ線L2とが交差するそれぞれの領域が、第二画像投影領域Qk_n(n=1、2)である。図20の場合では、点8011と点8012とを結ぶ線分上の領域が、第二画像投影領域Qk_1であり、点8012と点8013とを結ぶ線分上の領域が、第二画像投影領域Qk_2である。第二画像投影領域取得部1705は、それぞれの領域に属する点の座標を第二画像投影領域保持部106に格納する。
次に、ステップS1008で、第二画像投影領域取得部1705は、処理を終了する。
第二画像投影領域保持部1706は、第二画像投影領域取得部1705が取得した第二画像投影領域Qk_n(n=1,2,…,N)の座標を保持する部である。図20の場合では、第二画像投影領域Qk_1、Qk_2の座標をそれぞれ取得する。図21は、第二画像投影領域保持部1706が保持するデータの一例を示す図である。1行目には、点8011〜点8012までの点の座標をそれぞれ保持し、2行目には、点8013〜点8014までの点の座標をそれぞれ保持する。以降の説明では、第二画像投影領域Qk_nを構成する各画素をqk_n_an(an=1,2,…,An:ただし、Anは、第二画像投影領域Qk_nを構成する画素数)と呼ぶ。
第一画像投影領域取得部1702Cは、後述の対応付け制御部1701により指定された第一画像投影点Pkに対する、第一画像領域Pkの位置を取得する。
具体的な方法を説明する。まず、式8を用いてエピポーラ線L1のパラメータl1を算出する。
Figure 0005830627
式8において、Fは式6で算出したFであり、FはFの転置行列を示す。mは、第二画像投影領域保持部1706より取得した任意の第二投影領域Qk_nの一点の座標である。
算出されたエピポーラ線L1のパラメータl1を(a,b,c)Tとしたとき、エピポーラ線L1は、ax+by+c=0となる。算出したエピポーラ線L1と、第一被撮像物細線化画像1011Tとの交点の座標の取得の仕方は、第二画像投影領域取得部1705の場合と同様であり、説明を省略する。
第一画像投影領域保持部1703Cは、第一画像投影領域取得部1702Cが取得した第一画像投影領域Pkの座標を保持する部である。図22は、第一画像投影領域Pkの保持する座標の一例を図22に示す。以降の説明では、第一画像投影領域Pkを構成する各画素をpk_b(b=1,2,…,B:ただし、Bは、第一画像投影領域Pkを構成する画素数)と呼ぶ。
吸収特性取得部1707を説明するのに先立って吸収特性について説明する。
図19に示すエピポーラ平面において、第一画像投影点Pkの輝度と第二画像投影点Qk_2の輝度とは異なるため、輝度を用いて第一画像投影点Pkの対応点を決定することは出来ない。しかし、X線発生部202Aで発生して第一画像投影領域Pkに到達するX線が横切る三次元領域Jk_1の厚さの合計(図23における太線の長さの合計)と、X線発生部202Bで発生して第二画像投影領域Qk_2に到達するX線が横切る三次元領域Jkの厚さの合計(図24における太線の長さの合計)は等しくなる。また、X線発生部202Aで発生して第一画像投影領域Pkに到達するX線が横切る造影剤の量(X線を吸収する物質量)の合計(図24における太線上の造影剤の量の合計)と、X線発生部202Bで発生して第二画像投影領域Qk_2に到達するX線とが横切る造影剤の量(X線を吸収する物質量)の合計(図23における太線上の造影剤の量の合計)は等しくなる。本手法では、この関係を用いて、第一画像投影領域Pkの対応点を決定する。
まず、輝度による対応付けが出来ない理由を説明する。図19に示すエピポーラ平面において、X線発生部202Aを通過して三次元領域Jkを通過し、第一画像投影点Pkに到達するX線8201が、血管1201を通過する厚みは厚み8211である。一方、X線発生部202Bを通過して三次元領域Jkを通過し、第二画像投影点Qk_2に到達するX線8202が、血管1201を通過する厚みは厚み8212である。
厚み8211と、厚み8212とは、異なるので、第一画像投影点Pkの輝度と、第二画像投影点Qk_2の輝度は異なる値となる。よって、輝度によって、第一画像投影点Pkの対応点を決定することは困難である。
しかし、第一画像投領域Pkの範囲に到達するX線が、第二画像投領域Pkの範囲に到達するまでに横切る血管1201の面積と、第二画像投領域Qk_2に到達するX線が、第二画像投領域Qk_2の範囲に到達するまでに横切る血管1201の面積は等しい。
図23及び図24を用いてこの関係を説明する。図23は、第一画像投領域Pkの範囲に到達するX線が、第二画像投領域Pkの範囲に到達するまでに横切る血管1201の面積を示す図である。説明を分かりやすくするために、三次元領域Jkは、図19とは異なるサイズ及び位置に記載している。第一画像投領域Pkの範囲に到達するX線が、第二画像投領域Pkの範囲に到達するまでに横切る血管1201の面積は、図23中の太線の長さの合計で近似できる。
図24は、第二画像投領域Qk_2の範囲に到達するX線が、第二画像投領域Qk_2の範囲に到達するまでに横切る血管1201の面積を示す図である。第一画像投領域Pkの範囲に到達するX線が、第二画像投領域Pkの範囲に到達するまでに横切る血管1201の面積は、図24中の太線の長さの合計で近似値できる。これらの面積は図23の場合も、図24の場合も等しくなる。また、上記の太線上に存在する造影剤の量(X線を吸収する物質量)も、図23の場合と、図24の場合とで等しくなる。
本発明の第2実施形態では、X線画像における第一撮像物領域に属する点の輝度より、前記の面積、もしくは造影剤の量の推定を吸収特性取得部1707で行う。
以下、その原理を説明する。強度IのX線は厚さd[cm]の物体を通過すると、強度Iに減衰する。減弱の程度を示す線減弱係数をμ[cm−1]とすると、式9が成り立つ。
Figure 0005830627
第一画像投影領域Pkを構成する各画素pk_bに対しても、式8は成立する。画素pk_bが取得するX線の強度(画素pk_bの輝度)をI_bとし、画素pk_bに到達するX線が通過する三次元領域Jkの厚さをd_bとすると、式10が成立する。
Figure 0005830627
両辺の対数を取り、b=1,2,…,B(ただし、Bは、前記したように、第一画像投影領域Pkを構成する画素数)の合計を吸収特性取得部1707で算出すると、式11が成立する。
Figure 0005830627
式11を変形すると、式12が成立する。
Figure 0005830627
また、第二画像投影領域Qk_nを構成する各画素qk_n_anに対しても、式8は成立し、画素qk_n_anの強度をI_anとし、画素qk_n_anに到達するX線が通過する三次元領域Jkの厚さをd_anとすると、同様に、式13が成立する。
Figure 0005830627
式12において、Σd_bは、三次元領域Jkの断面積である。また、第二画像投影領域Qk_nが第一画像投影領域Pkの対応点であるとき、式13において、Σd_anも、三次元領域Jkの断面積となり、式12の値と式13の値とは等しくなる。三次元領域Jxは、エピポーラ平面と血管1201の断面における血管1201の領域を示すほぼ楕円、または楕円を複数並べたような領域である。
そこで、本発明の第2実施形態では、第二画像投影領域Qk_n(n=1,2,…,N)の中で、式13の値が式12の値に最も近い第二画像投影領域Qk_xを、第一画像投影領域Pkの対応点の対応点に、対応領域決定部1711で決定する。以降の説明では、式12の値を吸収特性λ_pkと呼び、式13の値を吸収特性λ_qk_nと呼ぶ。
なお、第2実施形態における吸収特性の一例としての第1の画像領域PkにおけるX線の吸収量は、投影領域(第1の画像領域Pk)の画素数と第1X線撮像装置のX線発生部より照射されたX線の強度との対数の積と、前記投影領域(第1の画像領域Pk)の各画素で取得したX線の強度の対数和との、差として、吸収特性取得部1707で算出する。また、第2実施形態における吸収特性の一例としての第2の画像領域QkにおけるX線の吸収量は、投影領域(第2の画像領域Qk)の画素数と第2X線撮像装置のX線発生部より照射されたX線の強度との対数の積と、前記投影領域(第2の画像領域Qk)の各画素で取得したX線の強度の対数和との、差として、吸収特性取得部1707で算出する。
なお、ここでは、三次元領域Jkの断面の、線減弱係数をμが一定の場合の説明を行っているが、断面内の微少領域毎に線減弱係数の値が異なる場合においても、線減弱係数の合計は、撮影方向によらず一定になるため、本手法によって対応付けを行うことが出来る。
吸収特性取得部1707は、対応付け制御部1701により指定された第一画像投影点Pkに対する吸収特性λ_Pkの各時刻における値を取得する。また、吸収特性取得部1707は、第二画像投影領域Qk_n(n=1,2,…,N)に対する吸収特性λ_Qk_nの各時刻の値を取得する。以降の説明では、時刻t(t=1,2,…,END)における吸収特性の値をそれぞれ、吸収特性λ_Pk_t、λ_Qk_n_tと記述する。
図25は、吸収特性取得部1707が取得する一例を示すグラフである。図25において太線2301、実線2302、点線2303は、それぞれ、第一画像投影領域Pkの吸収特性の変化、第二画像投影領域Qk_1の吸収特性の変化、第二画像投影領域Qk_2の吸収特性の変化を示す。グラフの横軸は時刻であり、1メモリは33msecである。グラフの縦軸は、吸収特性である。このグラフでは、血管1201に造影剤が注入されて、時間が経過するにつれて(言い換えれば、所定時間内で)血管1201に含まれる造影剤の濃度が増えている段階の吸収特性の変化を示している。
図27は、吸収特性保持部1708が保持する吸収特性のデータ構造を示す図である。吸収特性取得部1707が取得する吸収特性のデータは、第一画像投影点Pkの吸収特性λ_Pk_t(t=0,2,…,END)及び、第二画像投影領域Qk_nの吸収特性λ_Qk_n_t(n=1,2,…,N、t=0,1,…,END)を有する。言い換えれば、吸収特性取得部1707は、第1の画像領域Pkについて、所定時間分の造影剤の輝度より第1の画像領域PkにおけるX線の吸収量変化を吸収特性として取得するとともに、複数の第2の画像領域Qkについて、所定時間分の造影剤の輝度より第2の画像領域QkにおけるX線の吸収量変化をそれぞれ吸収特性として取得する。
吸収特性保持部1708は、吸収特性取得部1707が取得した吸収特性(吸収特性の変化)を保持する。図27は、第二画像投影領域Qk_nが2つある場合に、吸収特性保持部1708が保持する吸収特性(吸収特性の変化)を示す図である。
吸収特性評価部1709は、吸収特性保持部1708が保持する各第二画像投影領域Qk_n(n=1,2,…,N)の評価を行う部である。
吸収特性評価部1709は、吸収特性保持部1708が保持する第二画像投影領域Qk_n(n=1,2,…,N)の複数の吸収特性のそれぞれが、第一画像投影点Pの吸収特性と同じような変化をしているか、異なる変化をしているかの評価値を第1実施形態の類似度の一例として算出し、算出した評価値を吸収特性評価保持部1710に格納する。第2実施の形態では、式14に基づいてその評価を行う。言い換えれば、吸収特性評価部1709は、吸収特性保持部1708が保持する第二画像投影領域Qk_n(n=1,2,…,N)の複数の吸収特性の変化と、第一画像投影点Pの吸収特性の変化との類似度を評価値としてそれぞれ算出する。
Figure 0005830627
ここで記号|X|は、Xの絶対値を示す。よって、式14での第2実施形態における評価値H_nは、各時刻t(t=0からt=ENDまでの時刻)における、第一画像投影点Pkの吸収特性λ_Pkと、第二画像投影領域Qk_nの吸収特性λ_Qk_nとの差分の絶対値の合計である。
図28は、第二画像投影領域Qk_1に対する評価値を示すグラフである。図28において、太線2301、及び実線2302は、それぞれ、第一画像投影領域Pkの吸収特性及び第二画像投影領域Qk_1の吸収特性を示す。第二画像投影領域Qk_1に対する評価値は、図28中の太線2301と実線2302との間の斜線の領域の面積である。図29は、第二画像投影領域Qk_2に対する評価値を示すグラフである。図29において、太線2301及び点線2303は、それぞれ、第一画像投影領域Pkの吸収特性及び第二画像投影領域Qk_2の吸収特性を示す。第二画像投影領域Qk_2に対する評価値は、図29中の太線2301と点線2303との間の斜線の領域の面積である。
吸収特性評価保持部1710は、吸収特性評価部1709が算出して取得した各第二画像投影領域Qk_n(n=1,2,…,N)の吸収特性の評価値H_n(n=1,2,…,N)を保持する部である。
対応領域決定部1711は、吸収特性評価保持部1710が保持する評価値H_n(n=1,2,…,N)のうち、最も小さい評価値を選択する。選択した評価値がH_x(ただし、xは、n=1,2,…,Nのうち最も小さい評価値に該当する値。)のとき、第二画像投影領域Qk_n(ただし、このときのnは、n=x)を、第一画像投影領域Pkの対応領域Qkに決定する。評価値H_1、H_2が、それぞれ図28、図29で示される斜線の面積の場合には、面積が小さい方の第二画像投影領域Qk_1を第一画像投影領域Pkの対応点Qkに決定する。
対応付け制御部1701は、対応付け部107を構成する各部を用いて対応付けを行うように制御する部である。図26は、対応付け制御部1701が行う処理の流れを示すフローチャートである。
ステップS1401で、対応付け制御部1701は処理を開始する。
次に、ステップS1402で、対応付け制御部1701は、被撮像物細線化画像保持部106より第一被撮像物細線化画像1101Tを取得する。
次に、対応付け制御部1701は、ステップS1402で取得した第一被撮像物細線化画像1101Tで被撮像物領域の黒色の点に対して、ステップS1404からS1415の処理を行う。以下の説明では、黒色の点を第一画像投影点Pk(k=1,2,…,K:ただし、Kは黒色の点の数)と呼ぶ。
まず、ステップS1406で、対応付け制御部1701は、第二画像投影領域取得部1705を用いて、第一画像投影点Pkに対する第二画像投影領域Qk_n(n=1,2,…,N)を取得し、取得した第二画像投影領域Qk_n(n=1,2,…,N)の座標を第二画像投影領域保持部1706に格納する。
次に、ステップS14061で、対応付け制御部1701は、第一画像投影領域取得部1702Cを用いて、第一画像投影点Pkに対する第一画像投影領域Pkを取得し、取得した第一画像投影領域Pkの座標を第一画像投影領域保持部1703Cに格納する。
次に、ステップS1407で、対応付け制御部1701は、吸収特性取得部1707を用いて、第一画像投影領域Pkと第二画像投影領域Qk_n(n=1,2,…,N)との吸収特性をそれぞれ取得し、吸収特性保持部1708に格納する。
次に、ステップS1409で、対応付け制御部1701は、吸収特性評価部1709を用いて、第二画像投影領域Qk_n(n=1,2,…,N)の評価値(すなわち差合計)を取得し、吸収特性評価保持部1710に格納する。
次に、ステップS1410で、対応付け制御部1701は、対応領域決定部1711を用いて、第一画像投影領域Pkの対応領域Qkを決定する。すなわち、吸収特性評価保持部1710が保持する評価値H_nのうち、最も値が低い評価値となる第二画像投影領域Qk_xを選択する。また、最も低い評価値Hkを対応領域Qkの評価値とする。
次に、ステップS1411で、対応付け制御部1701は、第一画像投影点Pkの座標と、対応領域Qkの座標と、対応領域Qkの評価値Hkとを対応情報保持部108に格納して、ステップS1404から始まった処理を終了する。
次に、ステップS1499で、対応付け制御部1701は処理を終了する。
対応情報保持部108は、対応付け部107が取得した、第一画像投影領域Pk(k=1,2,…,K:Kは第一画像投影点の数)の重心の座標と、対応領域Qk(k=1,2,…,K)の重心の座標と、対応領域Qkの評価値Hk(k=1,2,…,K)とを格納する部である。図30は、対応情報保持部108のデータ構造を示す。初期状態では、対応情報保持部108が保持する組合せの数は0個であるが、対応付け制御部1701のステップS1411の処理が行われる度に、一行ずつデータが追加される。
三次元位置取得部109は、対応情報保持部108が保持するそれぞれの行の第一画像投影領域Pkの重心の座標と、それぞれの行の対応領域Qkの重心の座標とを用いて、三角測量の原理を用いて、三次元上の三次元点Jkの座標を算出し、算出した三次元点Jk(k=1,2,…,K)の座標を、三次元位置保持部110に格納する。
三次元位置保持部110は、三次元位置取得部109が復元した三次元点Jk(k=1,2,…,K)の座標を保持する。図31は、三次元位置保持部110のデータ構造を示す図である。K行目(k=K)には、(JK_X、JK_Y、JK_Z)を保持する。JK_X、JK_Y、JKは、それぞれ、三次元点JKのX座標、Y座標、Z座標を示す。
表示画面生成部111は、三次元位置保持部110が保持する三次元点Jk(k=1,2,…,K)を表示するCG(コンピュータグラフィックス)の画面を生成する。図32は、表示画面生成部111が生成する表示画面の一例を示す図である。なお、ここでの三次元表示は表示方法の一例として、各三次元点を球として表示する場合を示すが、他の表示方法であっても構わない。たとえば、前後する3次元点を円柱で繋いでポリゴンとして表示するなどであっても構わない。
表示部112は、表示画面生成部111が生成した画面を表示する。具体的には、ディスプレイ装置、又は、プロジェクター投影装置等の表示装置である。
<形状復元装置1の処理の流れ>
図33は、形状復元装置1が行う処理のフローチャートを示す。
まず、ステップS1901で、形状復元装置1は処理を開始する。
次に、ステップS1902で、X線画像取得部113は、前述のX線画像取得部113の処理を行う。すなわち、X線撮像部101〜102よりX線画像を取得し、X線画像保持部103に格納する。
次に、ステップS1903で、被撮像物領域取得部105は、前述した被撮像物領域取得部105の処理を行う。すなわち、被撮像物領域取得部105は、X線画像保持部103が保持する画像に基づいて、第一被撮像物細線化画像1101Tと、第二被撮像物細線化画像1102Tとを取得し、被撮像物細線化画像保持部106に格納する。
次に、ステップS1904で、対応付け部107は、前述の対応付け部107の処理を行う。すなわち、対応付け部107は、被撮像物細線化画像保持部106に保持された第一被撮像物細線化画像1101Tの各第一画像投影領域Pk(k=1,2,…,K)の対応領域Qkを決定し、対応情報保持部108に対応情報を格納する。
次に、ステップS1905で、三次元位置取得部109は、前述の三次元位置取得部109の処理を行う。すなわち、三次元位置取得部109は、対応情報保持部108より、第一被撮像物細線化画像1101Tの各第一画像投影領域Pk(k=1,2,…,K)に対して、三次元点Jkの三次元位置を算出し、三次元位置保持部110に格納する。
次に、ステップS1906で、表示画像生成部111は、三次元位置保持部110に保持された三次元点Jkの三次元位置を基に、各三次元点Jk(k=1,2,…,K)を表示するCGの画面を生成する。
次に、ステップS1907で、表示部112は、表示画像生成部111が生成した表示画面を表示する。その後、ステップS1908で一連の処理を終了する。
<形状復元装置1が行う処理の原理>
血管1201に造影剤を投入すると、血管1201上の三次元点Jkに存在する造影剤の量は、時間と共に変化する。そのとき、三次元点Jkを撮影した第一画像投影点Pk、及び、対応点Qkの輝度も変化する。形状復元装置1は、第一画像投影点Pkと、第二画像投影点Qk_n(n=1,2,…,N)との吸収特性の変化を吸収特性取得部1707で取得し、輝度変化の類似性(類似度)を評価値として吸収特性評価部1709で評価して、第二画像投影点Qk_nの中から対応点Qkを対応領域決定部1711で決定する装置である。
まず、血管1201上の三次元点Jkの造影剤の量の変化について説明する。ある三次元点Jkにおける造影剤の量の変化を図34に示す。造影剤を投入する前(時刻T2より前の時間)は、造影剤は流れていないが、時刻T2より徐々に造影剤が流れ始め、時刻T3で一定となり、時刻T4よりやがて徐々に減少していき、時刻T5で造影剤が流れていない状態になる。
このような、血管1201に含まれる造影剤の量の時間変化は、血管のどの部分かによって異なる。例えば、造影剤を噴出した地点から近い位置では、造影剤が流れ始める時刻T2での造影剤の量の時間変化は早いが、造影剤を噴出した地点から遠い位置では、造影剤が流れ始める時刻T2造影剤の量の時間変化は遅くなる。同様に、造影剤が減少する時刻T4での造影剤の量の時間変化も、血管のどの部分かによって異なる。
また、造影剤が流れ始める時刻T2から、一定となるまでの時刻T3での造影剤の量の時間変化も、血管のどの部分にかによって異なる。例えば、血液が、上向きに流れる部分では、重力に逆らって造影剤が流れるので、造影剤が濃くなるのに時間がかかる。よって、造影剤の濃度が一定となるまでにかかる時間(T3−T2)が長い。逆に、造影剤が下向きに流れる部分では、重力によって造影剤の速度が速くなる。よって、造影剤の濃度が一定となるまでの時間(T3−T2)は短い。また、狭い血管では血液は早く、一定となるまでの時間(T3−T2)は短く、逆に、広い血管では血液がゆっくり流れるため、一定となるまでの時間(T3−T2)は長い。以上のように、血管のある部分に流れている造影剤の量は時間によって変化するが、その変化の仕方は、血管の場所によって異なる。同様に、造影剤が減少を開始する時刻から減少が完了するまでにかかる時間(T5−T4)も、血管のどの部分かによって異なる。
次に、三次元点Jkの造影剤の濃度が変化したときの第一画像投影点Pkと、対応点Qkとの輝度に変化を説明する。三次元点JkのX線画像に投影した第一画像投影点Pkの輝度変化は、三次元点Jkにおける造影剤の濃度の変化と同じ傾向で変化する。三次元点Jkにおける造影剤の濃度が濃くなると、第一画像投影点Pkと対応点Qkとの輝度は暗くなり、三次元点Jkにおける造影剤の濃度が薄くなると、第一画像投影点Pkと対応点Qkとの輝度は明るくなるため、造影剤の濃度の変化と同じ傾向で変化するのは、当然の結果である。
図61は、ある三次元領域Jkを異なる2つの方向から撮影した際の第一画像領域Pk内部の一点である第一画像投影点Pkと、対応領域Qk内部の一点である対応点Qkの輝度列である。図61において太線6701は、三次元領域Jkの第一画像投影点Pkの輝度列であり、実線6702は、対応点Qkの輝度列である。また、点線6703は、三次元領域Jkとは別の三次元領域Jx(x≠k)を第二の方向から撮影した領域Qxの内部の一点である点Qxの輝度変化である。グラフの横軸は時刻であり、1メモリは33msecである。縦軸は差分画像の輝度である。このグラフでは、造影剤が注入されてから一定の濃度になるまでの途中の段階の輝度を示している。また、このグラフにおいて、第一画像投影点Pkと対応点Qkとの輝度列の輝度変化の増減の傾向は似ているが、第一画像投影点Pkと対応点Qxとの輝度列の輝度変化は似ていない。
しかし、図61に示したように、第一画像投影点Pkの輝度と対応点Qkの輝度とは、輝度そのものは一致しない。例えば、時刻13における第一画像投影点Pkの輝度は「56」であるのに対して、その対応点Qkの輝度は「46」となる。
このような輝度の差が発生する理由は、血管1201の断面形状と関連する。以下、図35〜図36を用いて、これを説明する。図35は血管1201の一例を示す図である。X線画像1211は、X線撮影部101で撮影したX線画像を示し、血管像1221は、X線画像1211における血管1201の像である。同様に、X線画像1212は、X線撮影部102で撮影したX線画像を示し、血管像1222は、X線画像1212における血管1201の像である。また、Jk、Pk、Qkはそれぞれ、三次元領域Jkと、三次元領域Jkの第一画像投影点Pkと、第一画像投影点Pkの対応点Qkを示す。図36は、三次元領域Jkと第一画像投影点Pkと対応点Qkを通る平面(エピポーラ平面)を、図35の+Y方向から−Y方向に見た図である。血管断面361は血管1201の断面形状であり、図36に示すように楕円形状である。(特別な場合を除き、血管1201の楕円形状は楕円となる)。厚さ3621は、第一画像投影点Pkに到達するX線が通過する血管1201の厚さであり、厚さ3622は、造影点Qkに到達するX線が通過する血管1201の厚さである。血管1201の断面形状が(円でなく)楕円であることより、この2つの厚さ3621と3622とは異なる厚さとなる。第一画像投影点Pkに到達するX線は、より厚い血管断面を通過するため、対応点Qkの輝度よりも暗い輝度(背景との輝度差は小さく)となる。このように、血管1201上の三次元点Jkを撮影した第一画像投影点Pk(又は対応点Qk)の輝度は、通過する血管1201の厚さが厚いほど暗い値になる。しかし、通過する血管1201の厚さは、血管1201を撮影する方向によって異なるため、同じ三次元点Jkを投影した点であっても、撮影方向によって異なる輝度となる。
このような撮影方向による輝度の差に影響されずに、対応付けを行うために本発明の第2実施形態では、吸収特性を用いる。吸収特性による対応付けは、単独の時間で行っても効果があるが、ノイズ等の影響を低減して、より精度を向上するために、第2実施形態では、ある単独の時間ではなく、時系列による吸収特性を比較して、対応点を決定している。(なお、吸収特性を単独の時間に対して用いる場合は変形例に示す。)
第2実施形態では、吸収特性同士の比較に、式3の差分合計の式を用いる。造影点Qkの吸収特性と対応点Qk吸収特性との変化の傾向が一致している場合、各時刻における吸収特性の値は等しい値になる。よって、それぞれの時刻における吸収特性の差の絶対値を対応付け部107の吸収特性評価部1709で算出し、その合計を算出すれば、理論的には0になる。そこで、第2実施形態では、式14の値を評価値とし、評価値の値が最も低い第二画像投影領域Qk_xを第一画像投影領域Pkの対応領域Qkと対応付け制御部1701により決定している。
<第2実施形態の効果>
本手法にかかる画像領域対応付け装置及び3次元モデル生成装置では、第一画像投影点Pkの対応点候補Qk_n(n=1,2,…,N)が、エピポーラ線E上に複数存在するときに、吸収特性に基づいて対応点を決定できる。
第一に、造影剤が注入された第一画像投影領域Pkのそれぞれに対して、対応領域を決定できる。非特許文献1の方法では、被撮像物領域の端点のみしか血管の対応付けを行うことが出来なかったのに対して、第2実施形態にかかる本手法にかかる画像領域対応付け装置及び3次元モデル生成装置ででは、端点以外の点に対しても対応付けが出来、より、細かい形状の復元を行うことが出来る。
本手法では、投影領域(第1の画像領域Pk)の画素数と第1X線撮像装置のX線発生部より照射されたX線の強度との対数の積と、前記投影領域(第1の画像領域Pk)の各画素数で取得したX線の強度の対数和との差として、吸収特性取得部1707で算出して、その差の合計を吸収特性評価部1709で評価値として取得している。このような評価値を用いれば、第一画像投影点Pkに対する対応点Qkの評価値は、(対応点以外の第二画像投影領域の評価値の値よりも)小さな値となるため、評価値に基づいて対応点を決定することが出来る。
第二に、血管1201の断面形状が楕円になるような場合でも、第一画像投影点Pkの対応付けができる。
図37の2つの図は、図35におけるX線画像1211〜1212をそれぞれ拡大して表示した図である。X線画像1211における血管像1221は、暗い部分3811(輝度が低い部分、すなわち、背景との輝度差が高い部分)と、明るい部分3821(輝度が高い部分、すなわち背景との輝度差が低い部分)となる。明るい部分3821は実際にはグラデーションになっており、上に向かって徐々に明るくなっている。血管1201に注入された造影剤は、周囲の血液と混ざるため、端に近づくに従ってこのように徐々に造影剤の濃度が薄くなる。すなわち、輝度が高く(明るく)なっている。血管端点3831は、血管像1221の端点である。X線画像1211において暗い部分3811として撮影される血管部分は、X線画像1212において明るい部分3812となる。これは、前述したように、X線画像1211とX線画像1212とで、血管像の輝度が異なるためである。また、X線画像1211において明るい部分3811として撮影される血管部分は、X線画像1212においてはより明るくなるので、抽出できなくなる(図37の右図の中で、点線で囲まれた範囲が抽出できない部分である。)。よって、血管像1222の端点は3832の位置となる。そのため、X線画像1211で抽出される端点3831と、X線画像1222で抽出される端点3832とは、三次元上の異なる点の投影点となる。このとき、端点3831に対するエピポーラ線3841上に対応点が存在しないため、端点同士の対応付けを行うことが出来ない。また、ここでは、血管1201が一本しかない場合を説明しているが、たまたま他の血管の端点がエピポーラ線3841の上にあった場合、その血管を誤対応させてしまう。本手法では、第一画像投影点Pk及び第二画像投影領域Qk_nの吸収特性を比較するため、第一画像投影点Pkと対応点Qkとの輝度が異なる場合においても、吸収特性を比較することで、正しく対応付けを行うことができる。また、特定の時刻で、第一画像投影点Pkと対応点Qx(x≠k)との輝度が、たまたま等しくなる場合においても、吸収特性を比較することで、正しく対応付けを行うことができる。
なお、第2実施形態では、吸収特性λ_Pk_t(t=1,2,…,END)と吸収特性λ_Qk_n_tとを時刻t毎に比較する構成を説明しているが、それぞれの吸収特性の最大値が1になり、最小値が0になるように正規化して、比較する構成としても構わない。そのような構成を用いれば、X線撮影部101とX線撮影部102とで、それぞれのX線発生部202が発生するX線の強度、又は、それぞれのX線検出部203の検出の特性に差があっても、吸収特性を比較することができる。
また、第2実施形態では、X線画像取得部113が処理を開始した後に造影剤の注入が開始される場合を説明しているが、造影剤の注入が既に開始されている段階で、X線画像取得部113が処理を開始しても構わない。
また、第2実施形態では、入力IF114によって、画像取得の終了の指示された後に、被撮像物領域取得部105は処理を行う場合を説明しているが、画像取得部113がX線画像を取得する度に、後続のステップS1903からステップS1907の処理を行う構成であっても構わない。このような構成を用いれば、血管1201に造影剤が広がる途中のタイミングにおいても、操作者(術者)は表示装置112を見ることで、血管1201の三次元構成を確認することが出来る。
また、第2実施形態では、第二画像投影領域Qk_n(n=1,2,…,N)のうち、最も評価値の良い第二画像投影領域Qk_nを表示画像生成部111で生成して表示部112で表示する構成を説明している。しかし、第一画像投影点Pkの対応点が必ず撮影されているとは限らない。例えばX線撮影部102では撮影されない位置に三次元点Jkが存在する場合、対応点は撮影されない。そこで、最も良い評価値が所定の閾値よりも悪い場合(ここでは、第二画像投影領域の評価値のうち、最も小さい値が所定の評価値よりも大きい場合)には、その第二画像投影領域Qk_nを表示部112で表示しない構成としても構わない。また、前記の所定の閾値を表示部111に入力する手段を設けても構わない。その場合、表示部111は、評価値の値が所定の閾値よりも小さい対応点のみを表示する。
また、第2実施形態では、並進ベクトルTと、回転ベクトルRと、内部パラメータA1、A2との撮影部情報を撮影部情報保持部104に予め保持する構成を示しているが、これらの情報を、X線撮影部101及びX線撮影部102の各X線発生部202と各X線検出部203との位置から、撮影部情報保持部104が随時取得して保持する構成であっても構わない。
また、第2実施形態における被撮像物領域取得部105は、画像1_END,画像2_ENDから、造影剤が投入された血管1201の領域を取得する構成を説明しているが、被撮像物領域取得部105は、各時刻で造影剤が投入された領域を取得し、その和となる領域を被撮像物領域としても構わない。このような構成を用いれば、時刻ENDで被撮像物領域として抽出しそこねた範囲があったとしても、他の時刻で被撮像物領域として抽出できれば、最終的には、その領域を含めて被撮像物領域として被撮像物領域取得部105で抽出することが出来る。
また、第2実施形態における吸収特性評価部1709は、第一画像投影点Pkと第二画像投影領域Qk_nとの吸収特性を比較し、吸収特性の差の合計を評価値としているが、吸収特性の差の最大値を評価値とする構成であっても構わない。
(第2実施形態の変形例1)
第2実施形態では、X線撮影部101が撮影した時系列画像と、X線撮影部102が撮影した時系列画像とにおいて吸収特性を比較し、対応領域を決定する構成を説明している。しかしながら、第2実施形態の変形例1として、X線撮影部101が撮影した1枚の画像と、X線撮影部が撮影した1枚の画像とにおける吸収特性を比較して、対応領域を決定する構成としても構わない。
その場合にかかる第2実施形態の変形例1と第2実施形態との差を説明する。
X線画像取得部113は、入力IF114で指示されたタイミングで、X線撮影部101より画像1_0、X線撮影部102より画像2_0を取得し、画像の取得を終了する。
吸収特性取得部1708は、吸収特性λ_Pk_0と、吸収特性λ_Qk_n_0(n=1,2,…,N)のみを取得し、吸収特性保持部1709に格納する。
以後の処理としては、吸収特性保持部1709に保持された吸収特性λ_Pk_0と吸収特性λ_Qk_n_0(n=1,2,…,N)とのみに基づき、第2実施形態と同様な処理を行う。このような構成を用いれば、少ない枚数で血管の三次元再構成を行なうことができる。例えば、脈動や、患者の移動によって血管が移動する場合にも、再構成を行なうことができる。
(第2実施形態の変形例2)
第2実施形態では、エピポーラ平面に血管1201のみが存在する場合を説明している。第2実施形態の変形例2では、血管以外にX線を吸収する物体がエピポーラ平面に存在する場合を説明する。図39及び図40は、被撮像物体Γが存在するエピポーラ平面を示す。図39は、造影剤が注入される前の状態であり、図40は造影剤が注入された後の状態を示す。
図39の第一画像投影領域Pkを構成する各画素pk_bにおいて、画素pk_bの強度をI_b_0とし、画素pk_bに到達するX線が通過する被撮像物体Γの厚さをdΓ_bとし、被撮像物体Γの線減弱係数をμΓ[cm−1]とすると、式15が成立する。
Figure 0005830627
両辺の対数を取り、b=1,2,…,Bの合計を吸収特性取得部1707で算出すると、式16が成立する。
Figure 0005830627
図40の第一画像投影領域Pkを構成する各画素pk_bにおいて、画素pk_bの強度をI_b_tとすると、式17が成立する。
Figure 0005830627
両辺の対数を取り、b=1,2,…,Bの合計を吸収特性取得部1707で算出すると、式18が成立する。
Figure 0005830627
式16を用いて、式18の右辺の第一項、第二項を置き換えて、式19が成立する。
Figure 0005830627
式19を変形して、式20が成立する。
Figure 0005830627
式20の左辺は、吸収特性の定義であり、式20を用いても吸収特性を吸収特性取得部1707で算出できることが分かる。右辺第一項は、第一画像投影領域Pkを構成する点の時刻0での輝度の対数の和として吸収特性取得部1707で算出する。第二画像投影領域Qkについても、同様に式21を用いて、吸収特性を吸収特性取得部1707で算出することが出来る。
Figure 0005830627
なお、ここでは、時刻0には、三次元領域Jkに造影剤がまったくない場合を説明しているが、造影剤がある場合においても、時刻0からの吸収特性の増加量を式20及び式21を用いて、吸収特性取得部1707で算出することが出来る。
なお、変形例2における吸収特性取得部1707は、第1の時刻に前記投影領域(第1の画像領域又は複数の第2の画像領域それぞれ)の各画素で取得したX線の強度の対数の値同士を加算した値(対数和)と、第1の時刻とは異なる第2の時刻に前記投影領域の各画素で取得したX線の強度の対数の値同士を加算した値(対数和)との、差を算出して、前記投影領域(第1の画像領域又は複数の第2の画像領域それぞれ)の前記吸収特性とする。変形例2の装置を用いれば、撮影画像中に骨などのX線画像中に輝度変化をもたらす物体が撮影される場合にも、血管を再構成することが出来る。
(第2実施形態の変形例3)
第2実施形態では、式12及び式13を吸収特性の定義としているが、第2実施形態の変形例3では、他の方法で吸収特性を定義する。
第2実施形態の式10の両辺を強度Iで割ると、式22が成り立つ。
Figure 0005830627
式22は、b=1,2,…,Bの場合にも成立し、左辺同士の積、右辺同士の積が等しくなることより、式23が成立する。
Figure 0005830627
更に式23を変形すると、式24が成立する。ここで、記号Πは、各要素の積を示す演算子である。
Figure 0005830627
また、第二画像投影領域Qk_nを構成する各画素qk_n_anに対しても式21は成立し、画素qk_n_anの強度をI_anとし、画素qk_n_anに到達するX線が通過する三次元領域Jkの厚さをd_anとすると、同様に式25が成立する。
Figure 0005830627
式24において、Σd_bは、三次元領域Jkの断面積である。また、第二画像投影領域Qk_nが第一画像投影領域Pkの対応点であるとき、式25において、Σd_anも、三次元領域Jxの断面積となり、式24の値と式25の値とは等しくなる。
変形例3では、式24の値を吸収特性λ_pkとし、式25の値をλ_qk_nとする。
吸収特性λ_pkは、第一投影画像領域Pkの各画素pk_b(b=1,2,…,B)における輝度I_bを強度Iで割った値の積として吸収特性取得部1707で算出する。
なお、変形例3における吸収特性取得部1707は、投影領域(第1の画像領域又は複数の第2の画像領域それぞれ)の各画素で取得したX線の強度同士の積を、第1又は第2X線発生装置が発生したX線の強度を当該投影領域の画素数で乗じた値で、割った値を算出し、前記投影領域(第1の画像領域又は複数の第2の画像領域それぞれ)の吸収特性とする。
(第2実施形態の変形例4)
第2実施形態の変形例4では、変形例2同様に、血管以外にX線を吸収する物体がエピポーラ平面に存在する場合を説明する。
図39の第一画像投影領域Pkを構成する各画素pk_bにおいて、画素pk_bの強度をI_b_0とし、画素pk_bに到達するX線が通過する被撮像物体Γの厚さをdΓ_bとし、被撮像物体Γの線減弱係数をμΓ[cm−1]とすると、式26が成立する。
Figure 0005830627
b=1,2,…,Bにおいて式26が成立し、左辺同士の積と、右辺同士の積を吸収特性取得部1707で算出すると、式27が成立する。
Figure 0005830627
吸収特性取得部1707において、図40の第一画像投影領域Pkを構成する各画素pk_bにおいて、画素pk_bの強度をI_b_tとすると、式14が成立し、両辺を強度Iで割り、b=1,2,…,Bにおいて式14が成立し、左辺同士の積と、右辺同士の積を算出すると、式28が成立する。
Figure 0005830627
式27及び式28より、式29が成立する。
Figure 0005830627
式29の右辺は、変形例2における吸収特性の定義であり、式29を用いても吸収特性を吸収特性取得部1707で算出できることが分かる。左辺は、第一画像領域Pkを構成する点pk_b(b=1,2,…,B)の「時刻tでの輝度を時刻0での輝度で割った値」の積として算出する。すなわち、吸収特性取得部は、第1の所定時刻において投影領域(第1の画像領域又は複数の第2の画像領域それぞれ)の各画素にて取得した第1又は第2X線撮像装置より照射されたX線の強度同士の積を、第2の所定時刻において当該投影領域(第1の画像領域又は複数の第2の画像領域それぞれ)の各画素にて取得した第1又は第2X線撮像装置より照射されたX線の強度同士の積にて割った値より、前記投影領域におけるX線の吸収量を吸収特性として取得することができる。
なお、ここでは、時刻0には、三次元領域Jkに造影剤がまったくない場合を説明しているが、造影剤がある場合においても、時刻0からの吸収特性の増加量を式20及び式21を用いて、吸収特性取得部1707で算出することが出来る。
なお、変形例4における吸収特性取得部1707は、第一の時刻に投影領域の各画素で取得したX線の強度の値同士の積を、第二の時刻に投影領域の各画素で取得したX線の強度の値同士の積で、割った値を算出し、吸収特性とする。変形例2の装置を用いれば、撮影画像中に骨などのX線画像中に輝度変化をもたらす物体が撮影される場合にも、血管を再構成することが出来る。
(第2実施形態の変形例5)
変形例2、及び4では、血管以外にX線を吸収する物体がエピポーラ平面に存在する場合に、造影剤が投入される前の時刻0の画像と、造影剤が投入された後の時刻tの画像を用いて、吸収特性を吸収特性取得部1707で算出する方法を説明している。ここでは、一枚の画像を用いて、吸収特性を吸収特性取得部1707で算出する方法を説明する。
図41では、被撮像物Γと、血管1201の領域である三次元領域Jkを同じ程度の大きさで記載しているが、実際には図41に示すように、血管1201の領域である三次元領域Jkは非常に小さく、臓器等の領域である被撮像物Γの領域は非常に大きい。図41において、点qq1、点qq2は、第二画像投影領域Qk_2から、例えば5画素離れた位置の点である。点qq1、点qq2に到達するX線は、被撮像物Γのほぼ同じ場所を透過してそれぞれの点に到達するので、輝度は、ほぼ等しい。また、三次元領域Jk_1に造影剤が流れていないときには、第二画像領域Qk_1の点の輝度も、点qq1、点qq2の輝度と、ほぼ等しい。そこで、点qq1の輝度(又は、点qq2の輝度、又は、点qq1と点qq2との輝度の平均)を式17におけるI_an_0(an=1,2,…,An)の近似値として用いて、吸収特性を吸収特性取得部1707で算出する。式16、式24、式25の場合も同様に、血管周辺の点の輝度を、I_an_0(an=1,2,…,An)、I_bn_0(bn=1,2,…,Bn)の近似値とする。
このような構成を用いれば、一枚の画像のみで吸収特性を吸収特性取得部1707で算出することができる。
(第3実施形態)
第3実施形態では、X線撮影部101(又はX線撮影部102)で撮影した画像において、複数本の血管1201が重なって1本に見える場合の血管1201の形状復元を行う形状復元装置1Cを説明する。
図39の第一画像投影領域Pkを構成する各画素pk_bにおいて、画素pk_bの強度をI_b_0とし、画素pk_bに到達するX線が通過する被撮像物体Γの厚さをdΓ_bとし、被撮像物体Γの線減弱係数をμΓ[cm−1]とすると、前述の式11が成立する。
X線撮影部102で撮影した画像において、2本の血管1201が重なって見える場合のエピポーラ断面を図42に示す。X線撮影部102のX線発生部202Bで発生し、血管1201の三次元点Jk_1を通過したX線は、更に、別の血管1201の三次元点Jk_2を通過して対応点Qk_1に到達する。X線撮影部102のX線発生部202Bで発生して三次元点Jk_3を通過したX線は、対応点Qk_2に到達する。一方、X線撮影部101のX線発生部202Aで発生し、三次元点Jk_1を通過したX線は、撮影画像上の第一画像投影点Pk_1に投影される。X線発生部202Aで発生し、三次元点Jk_2を通過したX線は、撮影画像上の第一画像投影点Pk_2に投影される。X線撮影部101のX線発生部202Aで発生し、三次元点Jk_3を通過したX線は、撮影画像上の第一画像投影点Pk_3に投影される。
図43は、図42の第一画像投影領域Pk_1、Pk_2、対応点Qk_1の吸収特性を示す図である。図43において、太線6201は第一画像投影領域Pk_1の吸収特性であり、点線6203は第一画像投影領域Pk_2の吸収特性であり、実線6202は対応点Qk_1の輝度変化である。血管1201が重なった事で、対応点Qk_1の吸収特性における増減の傾向は、第一画像投影領域Pk_1の吸収特性の増減の傾向と一致しない。また、対応点Qk_1の吸収特性における増減の傾向は、第一画像投影領域Pk_2の吸収特性の増減の傾向とも一致しない。
しかし、第一画像投影領域Pk_1の吸収特性と第一画像投影点Pk_2の吸収特性との合計の吸収特性に対応する一点鎖線6204と、第二画像投影領域Qk_1の吸収特性対応する実線6202とは、一致する。
そこで、第3実施形態における形状復元装置1Cでは、複数の第一画像投影領域の吸収特性の和の吸収特性と、第二画像投影領域の吸収特性とを吸収特性評価部1709で比較して対応付けを行う。図42の場合では、第一画像投影領域Pk_1と第一画像投影領域Pk_2との合計の吸収特性と、対応点Qk_1の吸収特性領域とを吸収特性評価部1709で比較する。図43において、一点鎖線6204は、第一画像投影領域Pk_1の吸収特性の値に第一画像投影領域Pk_2の吸収特性の値を加えた合計の吸収特性である。実線6202と同様の増減の傾向をしている。
なお、以降の説明では、記述を簡略化するために、吸収特性評価部1709において、第一画像投影領域Pk_xと第一画像投影領域Pk_yとの合計の吸収特性と、第二画像投影領域Qk_zの吸収特性とを比較対象とする場合、[{x、y}、{z}]をグループとして比較する、と記述する。
さて、図42で示した血管1201は、X線撮影部101で撮影した画像で、第一画像投影領域Pk_1〜Pk_3に投影され、X線撮影部102で撮影した画像では、第二画像投影領域Qk_1〜Qk_2に投影される。図42の場合以外にも、投影される位置が図42の場合と同じ位置になる血管が考えられる。具体的には、三次元点Jk_1〜Jk_3が図44〜図48の位置にある場合にも、同様の位置に第一画像投影領域及び第二画像投影領域が出現する。(実際には、これら以外の特殊な配置もありえるが、ここでは省略して考える。)形状復元装置1Cは、これらの血管の中から、形状復元対象となる血管の投影点の対応点の組合せを抽出し、血管の形状復元を正しく行うことができる。
<第3実施形態の構成>
図49は、第3実施形態における形状復元装置1Cの構成を示す図である。第2実施形態における対応付け部107の替わりに、対応付け部107Cを用いる。図50は、対応付け部107Cの構成を示す図である。
対応付け部107Cは,第二画像投影領域取得部1705と、第二画像投影領域保持部1706と、第一画像領域取得部1702と、第一画像領域保持部1703と、グループ分け取得部5203と、グループ分け保持部5204と、グループ分け評価部5207と、グループ分け評価保持部5208と、対応領域決定部5209とを有する。
第一画像領域取得部1702は、被撮像物細線化保持部106が保持する第一被撮像物細線化画像1101Tの第一画像投影点Pkを通るエピポーラ平面と、第一被撮像物細線化画像1102Tとの交線(エピポーラ線)の第一画像投影領域Pk_m(m=1,2,…,M)の位置を取得し、第一画像領域保持部1703に格納する。ただし、第一画像投影点Pk_0は、第一画像投影点Pkと同じとする。
具体的な方法を説明する。まず、式30を用いてエピポーラ線L1のパラメータl1を算出する。
Figure 0005830627
式30で、Fは式6で算出したファンダメンタル行列と呼ばれる行列であり、Fはファンダメンタル行列Fの転置行列を示す。mは、第二画像投影領域保持部1706より取得した任意の投影点Qk_nの座標である。
算出されたエピポーラ線L1のパラメータl1を(a,b,c)Tとしたとき、エピポーラ線L1は、ax+by+c=0となる。算出したエピポーラ線L1と、第一被撮像物細線化画像1011Tとの交点の座標の取得の仕方は、第二画像投影領域取得部1705の場合と同様であり、説明を省略する。
第一画像投影領域保持部1703は、第一画像投影領域取得部1702が取得した第一画像投影領域Pk_m(m=1,2,…,M)の座標を保持する部である。以降の説明では、第一画像投影領域Pk_mを構成する各画素をpk_b_bm(bm=1,2,…,Bm:ただし、Bmは、第一画像投影領域Pk_mを構成する画素数)と呼ぶ。
グループ分け取得部5203は、第一画像投影領域Pk_m(m=1,2,…,M)と第二画像投影領域Qk_n(n=1,2,…,N)とのグループ分けを生成する。例えば、m=3、n=2の場合は、図51の6通りのグループ分けを生成する。図51の1列目には、グループ分けの番号(n=1,2,…,N)、2列目にはグループ分けの結果、3列目には、対応するエピポーラ断面の図の番号を示す。
図52はグループ分け取得部5203の構成を示す図である。グループ分け取得部5203は、グループ分け制御部7201と、グループ分け本体部7202と、二グループ分け部7203とを有する。
二グループ分け7203は、グループ分け本体部7202により指定されたグループを、2つのグループに分ける組合せを生成して、グループ分け本体部7202に出力する。
具体例として、グループ分け本体部7202により、グループG={{F1、F2、F3}、{S1、S2}}が二グループ分け7203に与えられたときの二グループ分け動作について説明する。2つのグループ(グループG0とグループG1)に分ける組合せの表を図53に示す。図53の表の各行は1つの組合せを示す。各列には、集合の各要素がどのグループに属するかを示す数値を記載している。「0」の場合には、グループG0に割り当てられることを示し、「1」の場合にはグループG1に割り当てられることを示す。例えば1行目の組合せでは、S2はグループG1であり、それ以外の識別子F1〜S1はグループG0に割り当てられることを示す。なお、図53に示すように、集合Gの一つ目の要素に割り当てられるグループをグループG0とする。
要素の合計がN個のとき、グループ分けの組合せは、2^(N―1)−1となり、1番から2^(N−1)−1番までの番号の組合せが生成される。ここで、演算子「^」はべき乗演算を示す。図53の表で、右端からU列目の値は、(番号)%(2^U)となる。
図54は、グループ分けによって生じるグループをグループ0とグループ1とに分け、要素群毎に記載した例である。
グループ分け制御部7201は、第一画像領域保持部1703が保持する第一画像投影領域の数Mと、第二画像投影領域保持部1706が保持する投影領域の数Nとを取得し、第一要素群{1,2,…,M}と第二要素群{1,2,…,N}とを引数として、後述のグループ分け本体部7202を実行し、グループ分け本体部7202で取得したグループ分けをグループ分け保持部5204に格納する。
グループ分け本体部7202は、指定された第一要素群F{F_1,F_2,…,F_M}と第二要素群S{S_1,S_2,…,S_N}とをグループ分けする処理を行う。グループ分け本体部7202は、指定された要素を以下の条件を満たすグループに分ける。
条件1:一つの要素は、必ず一つのグループに属する。また、一つの要素は複数のグループに属さない。
条件2:一つのグループには、1つ以上の第一要素群の要素と、1つ以上の第二要素群の要素とを含む。
条件3:どのグループも、第一要素群の要素が一つであるか、又は、第二要素群の要素が一つである。
図55は、グループ分け本体部7202が行う処理の流れを示すフローチャートである。
まず、ステップS5401で、グループ分け本体部7202は、指定された第一要素群F{F_1,F_2,…,F_M}と第二要素群S{S_1,S_2,…,S_N}とに対してグループ分けの処理を開始する。
次に、ステップS5402で、グループ分け本体部7202は、第一要素群の要素の数Mの値が「0」であるか、又は、第二要素群の要素の数Nが「0」であるか否かを判定し、どちらか一方でも「0」であった場合には、ステップS5499に分岐して、処理を終了する。それ以外の場合にはステップS5403に分岐する。
次に、ステップS5403で、グループ分け本体部7202は、第一要素郡の要素の数Mの値が「1」であるか、又は、第二集合の要素の数Nが「1」であるか否かを判定し、どちらか一方でも「1」であった場合にはステップS5404に分岐し、それ以外の場合にはステップS5411に分岐する。
次に、ステップS5404で、グループ分け本体部7202は、第一要素群の全ての要素{F_1,F_2,…,F_M}と、第二要素群の全ての要素{S_1,S_2,…,S_N}とをグループとし、そのグループ[{F_1,F_2,…,F_M}と、{S_1,S_2,…,S_N}]とを、グループ分け本体部7202の処理結果として出力し、ステップS5499で処理を終了する。
例えば、第一要素群Fが{1,2}で、第二要素群Sが{1}のとき、グループ[{1,2}、{1}]を出力する。また、例えば、第一要素群Fが{1}で、第二要素群Sが{2}のとき、グループ[{1}、{2}]を出力する。
ステップS5411で、グループ分け本体部7202は、二グループ分け部7203の処理を実行する。具体的には、例えば、図54の二グループ分けの結果を取得する。
グループ分け本体部7202は、二グループ分け部7203を実行して得られたグループ分けの各結果に対して、ステップS5412からステップS5444のループ処理を実行する。図54の場合では、図54の各行のグループ分けに対して、ステップS5412からステップS5444までのループ処理を行う。
次に、ステップS5414で、グループ分け本体部7202は、二グループ分けによって生成したグループ0に対して、条件判定を行う。すなわち、以下の条件を満たすか否かをグループ分け本体部7202により判定する。
条件:第一要素群の要素数が「0」であるか、又は、第二要素群の要素数が「0」である。
ステップS5414の条件を満たすとグループ分け本体部7202で判定する場合は、ステップS5444に分岐し、ステップS5414の条件を満たさないとグループ分け本体部7202で判定する場合は、ステップS5415に分岐する。
図54の場合には、番号が、「3,7,11,15」のとき、グループ0に要素数が「0」の要素群があるため、ステップS5444に分岐する。
図54の場合には、番号が、「1,2,(3,),4,8,12」のとき、グループ1に要素数が「0」の要素群があるため、ステップS5444に分岐する。
それ以外の場合、すなわち、「5,6,9,10,13,14」の場合、ステップS5415に分岐する。
ステップS5415で、グループ分け本体部7202は、二グループ分けによって生成したグループ0に対して、条件判定を行う。すなわち、以下の条件を満たすか否かをグループ分け本体部7202で判定する。
条件:第一要素群の要素数が「1」であるか、又は、第二要素群の要素数が「1」である。
条件を満たすとグループ分け本体部7202で判定する場合は、ステップS5418に分岐し、条件を満たさないとグループ分け本体部7202で判定する場合は、ステップS5444に分岐する。
図54の場合には、番号が、「5,6,9,10,13,14」の全ての場合に、ステップS5418に分岐する。
ステップS5418で、グループ分け本体部7202は、二グループ分けによって生成したグループ0のグループ分けを生成し、グループ分け保持部5204に格納する。
図54の「5,6,9,10,13,14」の場合、ステップS5418で生成されるグループ分けを図56に示す。
以上が、グループ分け本体部7202の処理である。
グループ分け保持部5204は、グループ分け取得部5203が取得したグループ分けGw(w=1,2,…,W:ただし、Wはグループ分けの数)の組合せを保持する。グループ分け本体部7202のステップS5404又はステップS5418が実行される度に、グループ分けが一つ追加される。
グループ分け評価部5207は、グループ分け保持部5204が保持する各グループ分けGw(w=1,2,…,W)に対する評価値Hw(w=1,2,…,W)を取得し、取得した評価値をグループ分け評価保持部5208に格納する。図57は、グループ分け評価部5207の構成を示す図である。グループ分け評価部5207は、吸収特性取得部7601と、吸収特性保持部7602と、差合計取得部1709とを有する。差合計取得部1709は、第2実施形態の場合の吸収特性評価部1709と同様の差合計動作を行うので説明を省略する。
吸収特性取得部7601は、指定されたグループ分けGwに属する第一画像投影領域Pk_m(m=1,2,…,M)に属する全ての領域の吸収特性の合計の列と、第二画像投影領域保持部1706が保持する第二画像投影領域Qk_n(n=1,2,…,N)に属する全ての領域の吸収特性との合計の吸収特性の時系列を取得する。
吸収特性保持部7602は、吸収特性取得部7601が取得した吸収特性を保持する部である。吸収特性保持部7602で保持した吸収特性を基に、差合計取得部1709は、第2実施形態の場合の吸収特性評価部1709と同様の差合計動作を行い、評価値Hw(w=1,2,…,W)をグループ分け評価保持部5208に出力する。
グループ分け評価保持部5208は、グループ分け評価部5207が取得した評価値Hw(w=1,2,…,W)を保持する。
対応領域決定部5209は、グループ分け評価保持部5208が保持する評価値のうち最も小さな値となる評価値Hxを選択する。
対応付け制御部5210は、対応付け部107Cの各部を用いて対応付けを行うように制御する。図58は、対応付け制御部5210が行う処理の流れを示すフローチャートである。
まず、ステップS1401で、対応付け制御部5210は処理を開始する。
次に、ステップS1402で、対応付け制御部5210は、被撮像物細線化画像保持部106より第一被撮像物細線化画像1101Tを取得する。
対応付け制御部5210は、ステップS1402で取得した第一被撮像物細線化画像1101Tで被撮像物領域の黒色の点に対して、ステップS1404からステップS1415までの処理を行う。以下の説明では、黒色の点を第一画像投影点Pk(k=1,2,…,K:ただし、Kは黒色の点の数)とする。
次に、ステップS1406で、対応付け制御部5210は、第二画像投影領域取得部1705を用いて、第一画像投影点Pkに対する第二画像投影領域Qk_n(n=1,2,…,N)を取得し、取得した第二画像投影領域Qk_n(n=1,2,…,N)の座標を第二画像投影領域保持部1706に格納する。
次に、ステップS14061で、対応付け制御部5210は、第一画像領域取得部1702を用いて、第一画像投影点Pkと同一のエピポーラ平面に存在する第一画像投影領域Pk_m(m=1,2,…,M)を取得し、取得した第一画像投影点Pk_m(m=1,2,…,M)の座標を第一画像領域保持部1703に格納する。
次に、ステップS14062で、対応付け制御部5210は、グループ分け取得部5203の処理を行う。すなわち、第一画像投影点Pk_m(m=1,2,…,M)と、第二画像投影領域Qk_n(n=1,2,…,N)とのグループ分けGw(w=1,2,…,W)を生成する。
対応付け制御部5210は、ステップS14062で取得した各グループ分けGw(w=1,2,…,W)の結果に対して、ステップS14063からステップS1414までの処理を行う。
ステップS1407Cで、対応付け制御部5210は、吸収特性取得部7601の処理を行う。すなわち、グループ分けGwに属する第一画像投影点Pk_m(m=1,2,…,M)の吸収特性の合計の時系列である吸収特性と、グループ分けGwに属する第二画像投影領域Qk_n(n=1,2,…,N)の吸収特性の合計の時系列である吸収特性を取得し、吸収特性保持部7602に格納する。
次に、ステップS1409で、対応付け制御部5210は、差合計取得部1709の処理を行う。すなわち、第一画像投影領域Pk_mの合計の吸収特性と、第二画像投影領域Qk_nの合計の吸収特性の各時刻の差の和Hwを評価値として算出し、グループ分け評価保持部5208に格納して、ステップS1414を終了する。
次に、ステップS1410Cで、対応付け制御部5210は、対応領域決定部5209の処理を行う。すなわち、グループ分け評価保持部5208が保持する評価値Hw(w=1,2,…,W)のうち、最も値の小さい評価値Hαを対応領域決定部5209で取得する。ここで、αは選択された評価値のグループ分け番号である。
次に、ステップS1411Cで、対応付け制御部5210は、グループ分けGαに属する第一画像投影領域Pk_m(m=1,2,…,M)の重心の座標と、第二画像投影領域Qk_n(n=1,2,…,N)の重心の座標と、評価値Hαとを対応情報保持部108に格納して、ステップS1415を終了する。
グループ分けGαに第一画像投影領域Pk_mが複数ある場合に追加する対応情報を、図59に示す。図59に示すように、各第一画像領域Pk_m(m=1,2,…,M)の対応領域が第二画像領域Qk_1とする行を、対応情報保持部108に格納する。図59において、(Pk_m_X、Pk_m_Y)は、第一画像投影領域Pk_kの重心の座標である。また、(Qk_n_X、Qk_n_Y)は、第二画像投影領域Qk_kの重心の座標である。
グループ分けGαに第二画像投影領域Qk_nが複数ある場合に追加する対応情報を、図60に示す。図60に示すように、第一画像領域Pk_1の対応領域を各第二画像領域Qk_n(n=1,2,…,N)とする行を、対応情報保持部108に格納する。
ステップS1499で、対応付け制御部5210は処理を終了する。
<第3実施形態の効果>
第3実施形態では、第2実施形態と同様の効果が得られる。
(第4実施形態)
第2実施形態の説明では、処理の流れの一例を示しているが、順序の入れ替えや、複数の処理の並列化(同時並行処理)をして実行しても構わない。
形状復元装置1,1Cを構成する要素の一部又は全部は、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、及びマウスなどから構成されるコンピュータシステムで実現することができる。そのRAM又はハードディスクユニットには、コンピュータプログラムが記憶されている。つまり、マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各部は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
形状復元装置1,1Cを構成する要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、及びRAMなどを含んで構成されるコンピュータシステムである。そのRAMには、コンピュータプログラムが記憶されている。つまり、マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
形状復元装置1,1Cを構成する要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしてもよい。そのICカード又はモジュールは、マイクロプロセッサ、ROM、及びRAMなどから構成されるコンピュータシステムである。そのICカード又はモジュールは、前記の超多機能LSIを含むとしてもよい。つまり、マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、そのICカード又はモジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
形状復元装置1,1Cを構成する要素の一部又は全部は、管の形状を取得する方法としても実現される。また、本発明は、これらの方法によりコンピュータに管の形状を取得させるコンピュータプログラム、又は、コンピュータプログラムで構成されるディジタル信号としても実現される。
形状復元装置1,1Cを構成する要素の一部又は全部は、上述のコンピュータプログラム又はディジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、又は、半導体メモリなどに記録したものとしても実現される。また、これらの記録媒体に記録されているディジタル信号としても実現される。
形状復元装置1,1Cを構成する要素の一部又は全部は、電気通信回線、無線通信回線、有線通信回線、インターネットを代表とするネットワーク、又はデータ放送等を経由して伝送される、上述のコンピュータプログラム又はディジタル信号としても実現される。
形状復元装置1,1Cを構成する要素の一部又は全部は、マイクロプロセッサとメモリを備えたコンピュータシステムとしても実現される。この場合、そのメモリは、上述のコンピュータプログラムを記憶しており、マイクロプロセッサは、そのコンピュータプログラムにしたがって動作する。
また、そのコンピュータプログラム又はディジタル信号を記録媒体に記録して移送することにより、又はコンピュータプログラム又はディジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより本発明の処理を実施してもよい。
なお、上記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
本発明の一態様に係る画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、画像領域対応付け用プログラムは、2方向から撮影した血管のX線画像の複数の画像領域の対応付けを行うことができ、その結果を利用して、3次元モデルを生成することができるため、カテーテル治療の際などに有用である。
本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形又は修正は明白である。そのような変形又は修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。

Claims (10)

  1. 血管の複数の画像領域の対応付けを行なう画像領域対応付け装置であって、
    造影剤が通過する際の前記血管に、互いに異なる第1の撮影角度と第2の撮影角度とからX線を照射することにより、前記第1の撮影角度より得られる第1X線画像と前記第2の撮影角度より得られる第2X線画像とで構成されるX線画像セットを取得するX線画像取得部と、
    前記第1X線画像における前記血管の部分に相当する第1の画像領域について、前記造影剤の輝度より前記第1の画像領域におけるX線の吸収量を吸収特性として取得する第1X線吸収特性取得部と、
    前記第2X線画像における前記血管の部分に相当する画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記造影剤の輝度より前記複数の第2の画像領域におけるX線の吸収量を吸収特性としてそれぞれ取得する第2X線吸収特性取得部と、
    前記第1X線吸収特性取得部より取得された前記X線の吸収量と、前記第2X線吸収特性取得部より取得された前記複数の前記X線の吸収量のそれぞれとの類似度を算出する類似度算出部と、
    前記類似度算出部より算出された類似度に基づいて、前記第1の画像領域と対応する前記第2の画像領域を決定する対応領域決定部と、
    を備える画像領域対応付け装置。
  2. さらに、前記画像領域対応付け装置は、
    前記第1の撮影角度より前記血管を撮像する第1X線撮像装置の位置情報と前記第2の撮影角度より前記血管を撮像する第2X線撮像装置の位置情報との相対位置情報を取得する撮影部情報取得部と、
    前記第1X線画像上における前記第1の画像領域の位置情報を取得する被撮像物領域取得部と、
    前記撮影部情報取得部及び前記被撮像物領域取得部よりそれぞれ取得した各位置情報より、前記第1X線撮像装置、前記第2X線撮像装置、及び前記第1の画像領域から構成される平面であるエピポーラ平面を算出し、前記第2X線画像上について、算出された前記エピポーラ平面と前記第2X線画像との交線であるエピポーラ線を算出し、前記複数の第2の画像領域は、前記算出された前記エピポーラ線上にそれぞれ位置する位置情報を取得する第二画像投影領域取得部と、
    をさらに備え、
    前記第二画像投影領域取得部で取得した前記複数の第2の画像領域の位置情報の位置の吸収特性を前記第2X線吸収特性取得部で取得する
    請求項1に記載の画像領域対応付け装置。
  3. 前記第1X線吸収特性取得部は、前記第1の画像領域の画素数と前記第1X線撮像装置より照射されたX線の強度との対数の積と、前記第1の画像領域の各画素にて取得した前記第1X線撮像装置より照射されたX線の強度の対数和との差より、前記第1の画像領域におけるX線の吸収量を前記吸収特性として取得し、
    前記第2X線吸収特性取得部は、前記複数の第2の画像領域それぞれについて、前記第2の画像領域の画素数と前記第2X線撮像装置より照射されたX線の強度との対数の積と、前記第2の画像領域の各画素にて取得した前記第2X線撮像装置より照射されたX線の強度の対数和との差より、前記第2の画像領域におけるX線の吸収量を前記吸収特性として取得する、
    請求項2に記載の画像領域対応付け装置。
  4. 前記第1X線吸収特性取得部は、前記第1の画像領域について、所定時間分の前記造影剤の輝度より前記第1の画像領域におけるX線の吸収量変化を前記吸収特性として取得し、
    前記第2X線吸収特性取得部は、前記複数の第2の画像領域について、前記所定時間分の前記造影剤の輝度より前記第2の画像領域におけるX線の吸収量変化をそれぞれ前記吸収特性として取得し、
    前記類似度算出部は、前記第1X線吸収特性取得部より取得された前記X線の吸収量変化と、前記第2X線吸収特性取得部より取得された複数の前記X線の吸収量変化のそれぞれとの類似度をそれぞれ算出する、
    請求項1〜3のいずれか1つに記載の画像領域対応付け装置。
  5. 前記X線画像取得部は、互いに異なる第1の所定時刻及び第2の所定時刻について、前記第1X線画像及び前記第2X線画像で構成されるX線画像セットを取得し、
    前記第1X線吸収特性取得部は、前記第1の所定時刻において前記第1の画像領域の各画素にて取得した前記第1X線撮像装置より照射されたX線の強度の対数和と、前記第2の所定時刻において前記第1の画像領域の各画素にて取得した前記第1X線撮像装置より照射されたX線の強度の対数和との差より、前記第1の画像領域におけるX線の吸収量を前記吸収特性として取得し、
    前記第2X線吸収特性取得部は、前記複数の第2の画像領域それぞれについて、前記第1の所定時刻において前記第2の画像領域の各画素にて取得した前記第2X線撮像装置より照射されたX線の強度の対数和と、前記第2の所定時刻において前記第2の画像領域の各画素にて取得した前記第2X線撮像装置より照射されたX線の強度の対数和との差より、前記第2の画像領域におけるX線の吸収量を前記吸収特性として取得する、
    請求項2に記載の画像領域対応付け装置。
  6. 前記第1X線吸収特性取得部は、前記第1の画像領域の各画素にて取得した前記第1X線撮像装置より照射されたX線の強度同士の積を、前記第1X線撮像装置より照射されたX線の強度を前記第1の画像領域の画素数にて乗じた値にて割った値より、前記第1の画像領域におけるX線の吸収量を前記吸収特性として取得し、
    前記第2X線吸収特性取得部は、前記複数の第2の画像領域それぞれについて、前記第2の画像領域の各画素にて取得した前記第2X線撮像装置より照射されたX線の強度同士の積を、前記第2X線撮像装置より照射されたX線の強度を前記第2の画像領域の画素数にて乗じた値にて割った値より、前記第2の画像領域におけるX線の吸収量を前記吸収特性として取得する、
    請求項1又は2に記載の画像領域対応付け装置。
  7. 前記X線画像取得部は、互いに異なる第1の所定時刻及び第2の所定時刻について、前記第1X線画像及び前記第2X線画像で構成されるX線画像セットを取得し、
    前記第1X線吸収特性取得部は、前記第1の所定時刻において前記第1の画像領域の各画素にて取得した前記第1X線撮像装置より照射されたX線の強度同士の積を、前記第2の所定時刻において前記第1の画像領域の各画素にて取得した前記第1X線撮像装置より照射されたX線の強度同士の積にて割った値より、前記第1の画像領域におけるX線の吸収量を前記吸収特性として取得し、
    前記第2X線吸収特性取得部は、前記複数の第2の画像領域それぞれについて、前記第1の所定時刻において前記第2の画像領域の各画素にて取得した前記第2X線撮像装置より照射されたX線の強度同士の積を、前記第2の所定時刻において前記第2の画像領域の各画素にて取得した前記第2X線撮像装置より照射されたX線の強度同士の積にて割った値より、前記第2の画像領域におけるX線の吸収量を前記吸収特性として取得する、
    請求項2に記載の画像領域対応付け装置。
  8. 前記血管は、分岐部分を有する血管であり、当該血管の3次元モデルを生成する3次元モデル生成装置であって、
    前記第2X線吸収特性取得部は、前記第2X線画像における前記血管の前記分岐部分に相当する画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記造影剤の輝度より前記複数の第2の画像領域におけるX線の吸収量を吸収特性としてそれぞれ取得する、請求項1〜7のいずれか1つに記載の前記画像領域対応付け装置と、
    前記画像領域対応付け装置により決定された情報を用いて、前記血管の3次元モデルを生成する3次元モデル生成部と、
    を備える3次元モデル生成装置。
  9. 血管の複数の画像領域の対応付けを行なう画像領域対応付け方法であって、
    造影剤が通過する際の前記血管に、互いに異なる第1の撮影角度と第2の撮影角度とから同一強度のX線を照射することにより、前記第1の撮影角度より得られる第1X線画像と前記第2の撮影角度より得られる第2X線画像とで構成されるX線画像セットをX線画像取得部で取得し、
    前記第1X線画像における前記血管の部分に相当する第1の画像領域について、前記造影剤の輝度より前記第1の画像領域におけるX線の吸収量を吸収特性として第1X線吸収特性取得部で取得し、
    前記第2X線画像における前記血管の部分に相当する画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記造影剤の輝度より前記複数の第2の画像領域におけるX線の吸収量を吸収特性としてそれぞれ第2X線吸収特性取得部で取得し、
    前記第1X線吸収特性取得部より取得された前記X線の吸収量と、前記第2X線吸収特性取得部より取得された複数の前記X線の吸収量のそれぞれとの類似度を類似度算出部で算出し、
    前記類似度算出部より算出された類似度のうち、前記類似度が最も高い第2の画像領域を、前記第1の画像領域と対応する領域であると対応領域決定部で決定する、
    画像領域対応付け方法。
  10. 血管の複数の画像領域の対応付けを行なう画像領域対応付け用プログラムであって、
    コンピュータを、
    造影剤が通過する際の前記血管に、互いに異なる第1の撮影角度と第2の撮影角度とからX線を照射することにより、前記第1の撮影角度より得られる第1X線画像と前記第2の撮影角度より得られる第2X線画像とで構成されるX線画像セットを取得するX線画像取得部と、
    前記第1X線画像における前記血管の部分に相当する第1の画像領域について、前記造影剤の輝度より前記第1の画像領域におけるX線の吸収量を吸収特性として取得する第1X線吸収特性取得部と、
    前記第2X線画像における前記血管の部分に相当する画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記造影剤の輝度より前記複数の第2の画像領域におけるX線の吸収量を吸収特性としてそれぞれ取得する第2X線吸収特性取得部と、
    前記第1X線吸収特性取得部より取得された前記X線の吸収量と、前記第2X線吸収特性取得部より取得された前記複数の前記X線の吸収量のそれぞれとの類似度を算出する類似度算出部と、
    前記類似度算出部より算出された類似度に基づいて、前記第1の画像領域と対応する前記第2の画像領域を決定する対応領域決定部と、
    として機能させるための画像領域対応付け用プログラム。
JP2015509921A 2013-04-05 2014-04-02 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、画像領域対応付け用プログラム Active JP5830627B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015509921A JP5830627B2 (ja) 2013-04-05 2014-04-02 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、画像領域対応付け用プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013079218 2013-04-05
JP2013079218 2013-04-05
JP2015509921A JP5830627B2 (ja) 2013-04-05 2014-04-02 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、画像領域対応付け用プログラム
PCT/JP2014/001926 WO2014162741A1 (ja) 2013-04-05 2014-04-02 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、画像領域対応付け用プログラム

Publications (2)

Publication Number Publication Date
JP5830627B2 true JP5830627B2 (ja) 2015-12-09
JPWO2014162741A1 JPWO2014162741A1 (ja) 2017-02-16

Family

ID=51658049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015509921A Active JP5830627B2 (ja) 2013-04-05 2014-04-02 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、画像領域対応付け用プログラム

Country Status (3)

Country Link
US (1) US9750474B2 (ja)
JP (1) JP5830627B2 (ja)
WO (1) WO2014162741A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3206183A1 (en) 2016-02-11 2017-08-16 Pie Medical Imaging BV Method and apparatus for user guidance for the choice of a two-dimensional angiographic projection
US10733792B2 (en) 2016-02-11 2020-08-04 Pie Medical Imaging B.V. Method and apparatus for user guidance for the choice of a two-dimensional angiographic projection
US20230107110A1 (en) * 2017-04-10 2023-04-06 Eys3D Microelectronics, Co. Depth processing system and operational method thereof
CN107233106A (zh) * 2017-06-01 2017-10-10 上海交通大学 多角度造影下血管对应位置关系检索方法及系统
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
US11042778B2 (en) 2018-11-29 2021-06-22 International Business Machines Corporation Generating realistic organ x-ray angiography (XA) images for deep learning consumption
CA3126986A1 (en) * 2019-02-06 2020-08-13 William E. Butler Spatiotemporal reconstruction of a moving vascular pulse wave from a plurality of lower dimensional angiographic projections

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60220045A (ja) * 1984-04-13 1985-11-02 株式会社東芝 血管位置検出装置
JPH105203A (ja) * 1996-06-21 1998-01-13 Toshiba Corp 医用診断システム,医用診断情報生成方法及び3次元画像再構成方法
US6169917B1 (en) * 1997-12-30 2001-01-02 Leonardo Masotti Method and device for reconstructing three-dimensional images of blood vessels, particularly coronary arteries, or other three-dimensional structures
JP2003527700A (ja) * 2000-03-17 2003-09-16 イシス・イノベイション・リミテッド 2つのx線乳房造影図からの乳房の3次元再構成
JP2007502644A (ja) * 2003-08-21 2007-02-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元の血管モデルを生成する装置及び方法
JP2008006083A (ja) * 2006-06-29 2008-01-17 Toshiba Corp 3次元画像生成装置
JP2009504297A (ja) * 2005-08-17 2009-02-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動4d冠動脈モデリングおよび動きベクトル場推定のための方法および装置
JP2013501567A (ja) * 2009-08-12 2013-01-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オブジェクトデータの生成

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08131429A (ja) 1994-11-11 1996-05-28 Toshiba Corp 管状体像再生方法およびその装置
JP2004201730A (ja) 2002-12-24 2004-07-22 Hitachi Ltd 複数方向の投影映像を用いた3次元形状の生成方法
WO2006051831A1 (ja) 2004-11-10 2006-05-18 Hitachi Medical Corporation 画像生成方法及び画像生成装置
JP4745080B2 (ja) * 2006-02-20 2011-08-10 猛 中浦 X線診断装置、画像処理装置及びプログラム
US9072490B2 (en) * 2010-12-20 2015-07-07 Toshiba Medical Systems Corporation Image processing apparatus and image processing method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60220045A (ja) * 1984-04-13 1985-11-02 株式会社東芝 血管位置検出装置
JPH105203A (ja) * 1996-06-21 1998-01-13 Toshiba Corp 医用診断システム,医用診断情報生成方法及び3次元画像再構成方法
US6169917B1 (en) * 1997-12-30 2001-01-02 Leonardo Masotti Method and device for reconstructing three-dimensional images of blood vessels, particularly coronary arteries, or other three-dimensional structures
JP2003527700A (ja) * 2000-03-17 2003-09-16 イシス・イノベイション・リミテッド 2つのx線乳房造影図からの乳房の3次元再構成
JP2007502644A (ja) * 2003-08-21 2007-02-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元の血管モデルを生成する装置及び方法
JP2009504297A (ja) * 2005-08-17 2009-02-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動4d冠動脈モデリングおよび動きベクトル場推定のための方法および装置
JP2008006083A (ja) * 2006-06-29 2008-01-17 Toshiba Corp 3次元画像生成装置
JP2013501567A (ja) * 2009-08-12 2013-01-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オブジェクトデータの生成

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6014017956; G. Shechter et al.: 'Three-dimensional motion tracking of coronary arteries in biplane cineangiograms' IEEE Transactions on Medical Imaging Volume:22, Issue:4, 200304, pages:493-503 *

Also Published As

Publication number Publication date
US9750474B2 (en) 2017-09-05
US20150351713A1 (en) 2015-12-10
WO2014162741A1 (ja) 2014-10-09
JPWO2014162741A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
JP5830627B2 (ja) 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、画像領域対応付け用プログラム
JP5830626B2 (ja) 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム
US10383602B2 (en) Apparatus and method for visualizing anatomical elements in a medical image
JP2019055230A (ja) 医用画像における構造物をセグメンテーションする医用画像処理装置、医用画像をセグメンテーションするための方法及び医用画像をセグメンテーションするコンピュータプログラムを記憶する記憶媒体
US9471987B2 (en) Automatic planning for medical imaging
CN104783825B (zh) 用于产生血管系统的二维投影图像的方法和装置
US10448915B2 (en) System and method for characterizing anatomical features
Lossau et al. Motion estimation and correction in cardiac CT angiography images using convolutional neural networks
JP2007325928A (ja) 放射線医学的徴候の検出のためのトモシンセシスにおける放射線画像の処理方法
JP2020116378A (ja) 深層学習ベースの画像再構成のためのシステムおよび方法
US8831323B2 (en) Method and apparatus for measuring activity of a tracer
US20150206308A1 (en) Temporal anatomical target tagging in angiograms
US20230113721A1 (en) Functional measurements of vessels using a temporal feature
JP7084291B2 (ja) トモシンセシス撮影支援装置、方法およびプログラム
CN105761217A (zh) 图像重建方法及装置
JP2008519639A (ja) 医療画像レジストレーションに対する装置及び方法
JP2023553918A (ja) 医用画像内のアーチファクトの低減
US20180092608A1 (en) Reconstruction of Flow Data
CN109389577B (zh) X射线图像处理方法和系统及计算机存储介质
Chen et al. Virtual blood vessels in complex background using stereo x-ray images
CN112330640A (zh) 医学图像中结节区域的分割方法、装置及设备
JP2016159117A (ja) 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、及び、画像領域対応付け用プログラム
EP4191520A1 (en) A method and processor for analyzing the vasculature of a subject
JP6642048B2 (ja) 医療画像表示システム、医療画像表示プログラム及び医療画像表示方法
JP6034194B2 (ja) 医用画像処理装置の作動方法、医用画像処理装置及びコンピュータ可読ストレージ媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150916

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151026

R151 Written notification of patent or utility model registration

Ref document number: 5830627

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151