JP5830626B2 - 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム - Google Patents
画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム Download PDFInfo
- Publication number
- JP5830626B2 JP5830626B2 JP2015509920A JP2015509920A JP5830626B2 JP 5830626 B2 JP5830626 B2 JP 5830626B2 JP 2015509920 A JP2015509920 A JP 2015509920A JP 2015509920 A JP2015509920 A JP 2015509920A JP 5830626 B2 JP5830626 B2 JP 5830626B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- image
- unit
- acquisition unit
- luminance change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 71
- 235000019557 luminance Nutrition 0.000 claims description 732
- 230000008859 change Effects 0.000 claims description 274
- 210000004204 blood vessel Anatomy 0.000 claims description 256
- 238000003384 imaging method Methods 0.000 claims description 180
- 239000002872 contrast media Substances 0.000 claims description 148
- 238000004364 calculation method Methods 0.000 claims description 69
- 238000010606 normalization Methods 0.000 claims description 57
- 238000011156 evaluation Methods 0.000 description 97
- 238000010586 diagram Methods 0.000 description 91
- 238000012545 processing Methods 0.000 description 64
- 230000008569 process Effects 0.000 description 39
- 230000014509 gene expression Effects 0.000 description 17
- 230000007423 decrease Effects 0.000 description 16
- 238000004590 computer program Methods 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 13
- 230000000694 effects Effects 0.000 description 10
- 238000013519 translation Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 238000002583 angiography Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000004351 coronary vessel Anatomy 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/481—Diagnostic techniques involving the use of contrast agents
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
- G06T2207/30104—Vascular flow; Blood flow; Perfusion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Quality & Reliability (AREA)
- Dentistry (AREA)
- Vascular Medicine (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
本発明は、2方向から撮影した血管のX線画像の複数の画像領域の対応付けを行う画像領域対応付け装置、画像領域対応付け装置を利用して3次元モデルを生成する3次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラムに関する。
血管の狭窄又は閉塞による疾患を調べる検査として、カテーテル造影検査がある。カテーテル造影検査では、X線不透過物質である造影剤を使用する。造影剤を血管内に注入してX線撮影することにより、血管とそれ以外の部分とを明瞭に区別することができる。
1方向からX線撮影した場合、冠状動脈のように多数の分岐を有する血管について、人が血管の形状を把握することは困難である。
そこで、2方向からX線撮影した2枚のX線画像より、血管の3次元モデルを生成する技術が研究開発されている(例えば、特許文献1及び非特許文献1参照)。これにより、人は血管の形状を把握することが容易となる。
吉田忠弘、見崎元秀、佐藤浩康、斎藤恒雄、「心血管造影像からの冠状動脈の3次元抽出」、電子情報通信学会論文誌 ‘89/3 Vol.J72−D−II No.3、P433−441
しかしながら、上記従来の技術では、血管の3次元モデルを生成するために十分ではなかった。
そこで、本開示の限定的でない例示的なある実施形態は、2方向から撮影した血管のX線画像の複数の画像領域の対応付けを行う画像領域対応付け装置、画像領域対応付け装置を利用して血管の3次元モデルを生成する3次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラムを提供する。
上記課題を解決するため、本発明よれば、分岐を有する血管の複数の画像領域の対応付けを行なう画像領域対応付け装置であって、
造影剤が通過する際の前記血管を、互いに異なる第1の撮影角度と第2の撮影角度とからそれぞれ連続的に撮像することにより、前記第1の撮影角度より得られる第1の投影画像と前記第2の撮影角度より得られる第2の投影画像とで構成される画像セットを複数取得する投影画像取得部と、
前記投影画像取得部で取得した各画像セットのうちの第1の投影画像における前記分岐先の所定部分の第1の画像領域について、所定時間分の前記造影剤の輝度変化の情報を取得する第1輝度変化取得部と、
前記投影画像取得部で取得した各画像セットのうちの前記第2の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ取得する第2輝度変化取得部と、
前記第1輝度変化取得部より取得された前記輝度変化の情報と、前記第2輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を算出する類似度算出部と、
前記類似度算出部より算出された前記類似度に基づき、前記第1の画像領域と対応する第2の画像領域を決定する対応領域決定部と、
を備える画像領域対応付け装置を提供する。
これらの概括的かつ特定の態様は、システム、方法、コンピュータプログラム並びにシステム、方法及びコンピュータプログラムの任意の組み合わせにより実現してもよい。
造影剤が通過する際の前記血管を、互いに異なる第1の撮影角度と第2の撮影角度とからそれぞれ連続的に撮像することにより、前記第1の撮影角度より得られる第1の投影画像と前記第2の撮影角度より得られる第2の投影画像とで構成される画像セットを複数取得する投影画像取得部と、
前記投影画像取得部で取得した各画像セットのうちの第1の投影画像における前記分岐先の所定部分の第1の画像領域について、所定時間分の前記造影剤の輝度変化の情報を取得する第1輝度変化取得部と、
前記投影画像取得部で取得した各画像セットのうちの前記第2の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ取得する第2輝度変化取得部と、
前記第1輝度変化取得部より取得された前記輝度変化の情報と、前記第2輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を算出する類似度算出部と、
前記類似度算出部より算出された前記類似度に基づき、前記第1の画像領域と対応する第2の画像領域を決定する対応領域決定部と、
を備える画像領域対応付け装置を提供する。
これらの概括的かつ特定の態様は、システム、方法、コンピュータプログラム並びにシステム、方法及びコンピュータプログラムの任意の組み合わせにより実現してもよい。
本開示の限定的でない例示的なある実施形態によれば、2方向から撮影した血管のX線画像の複数の画像領域の対応付けを行う画像領域対応付け装置及び方法及び画像領域対応付け用プログラム、及び、画像領域対応付け装置を利用して血管の3次元モデルを生成する3次元モデル生成装置が提供される。
本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形態に関連した次の記述から明らかになる。この図面においては、
図1は、血管の3次元モデルを生成する説明図、
図2は、対応点の候補点が1点の場合の図、
図3は、対応点の候補点が2点の場合の図、
図4は、第1実施形態における3次元モデル生成装置の機能構成を示すブロック図、
図5は、第1輝度変化取得部が取得する情報の一例を示す図、
図6は、第1の画像領域の輝度変化の様子を示す図、
図7は、第2の画像領域を算出する方法の説明図、
図8は、第2輝度変化取得部が取得する情報の一例を示す図、
図9は、第2の画像領域の輝度変化の様子を示す図、
図10は、類似度算出部が算出する類似度の説明図、
図11は、第1実施形態における3次元モデル生成装置の処理動作の一例を示すフローチャート、
図12は、第1輝度変化取得部及び第2輝度変化取得部が取得する輝度変化のグラフ、
図13は、対応する領域同士で輝度の最大値が異なる理由の説明図、
図14は、第2実施形態における3次元モデル生成装置の機能構成を示すブロック図、
図15は、正規化された輝度変化のグラフ、
図16は、第1の画像領域及び一方の第2の画像領域について正規化された所定時間分の輝度変化の一例を示す図、
図17は、第1の画像領域及び他方の第2の画像領域について正規化された所定時間分の輝度変化の一例を示す図、
図18は、第1の画像領域及び一方の第2の画像領域について正規化された所定時間分の輝度変化の一例を示す図、
図19は、第1の画像領域及び他方の第2の画像領域について正規化された所定時間分の輝度変化の一例を示す図、
図20は、第2実施形態における3次元モデル生成装置の処理動作の一例を示すフローチャート、
図21は、第3実施形態における3次元モデル生成装置の機能構成を示すブロック図、
図22は、X線撮影システムの構成を示すブロック図、
図23は、第3実施形態における撮影部情報保持部のデータ構造の一例を示す図、
図24は、第3実施形態におけるX線画像保持部のデータ構造の一例を示す図、
図25は、第3実施形態における血管領域取得部の構成を示す図、
図26は、第3実施形態における二値画像の一例を示す図、
図27は、第3実施形態における細線画像(第一血管領域画像)の一例を示す図、
図28は、第3実施形態における血管領域取得部のフローチャート、
図29は、第3実施形態における血管領域保持部のデータ構造の一例を示す図、
図30は、第3実施形態における対応付け部の構成を示す図、
図31は、第3実施形態における対応候補領域取得部のフローチャート、
図32は、第3実施形態におけるエピポーラ線L2を示す図、
図33は、第3実施形態における造影点Pk、対応候補点Qk_1〜Qk_2の輝度列を示すグラフ、
図34は、第3実施形態における輝度列保持部のデータ構造の一例を示す図、
図35は、第3実施形態における輝度列評価部の構成を示す図、
図36は、第3実施形態における造影点Pk、対応点Qk、対応点Qxの正規化輝度列を示すグラフ、
図37は、第3実施形態における対応候補点Qk_1に対する評価値を示すグラフ、
図38は、第3実施形態における対応候補点Qk_2に対する評価値を示すグラフ、
図39は、第3実施形態における対応付け制御部のフローチャート、
図40は、第3実施形態における対応候補領域保持部のデータ構造の一例を示す図、
図41は、第3実施形態における三次元位置保持部のデータ構造の一例を示す図、
図42は、第3実施形態における表示画面生成部が生成する表示画面を示す図、
図43は、第3実施形態における形状復元装置のフローチャート、
図44は、第3実施形態における三次元点Jkに流れる造影剤の量を示すグラフ、
図45は、第3実施形態における三次元上の血管の一例を示す図、
図46は、第3実施形態における血管の断面を示す図、
図47は、第3実施形態における三次元上の血管を撮影したX線画像1211〜1212を示す図、
図48は、第4実施形態における所定比時刻を示すグラフ、
図49は、第4実施形態における形状復元装置の構成を示す図、
図50は、第4実施形態における対応付け部の構成を示す図、
図51は、第4実施形態における所定比時刻取得部のデータ構造の一例を示す図、
図52は、第4実施形態における対応付け部のフローチャート、
図53は、第5実施形態における形状復元装置の構成を示す図、
図54は、第5実施形態における対応付け部の構成を示す図、
図55は、第5実施形態における輝度列評価部の構成を示す図、
図56は、第5実施形態における輝度列保持部のデータ構造の一例を示す図、
図57は、第5実施形態における造影点Pk、対応候補点Qk_1〜Qk_2の微分輝度列を示すグラフ、
図58は、第5実施形態におけるピーク時刻保持部のデータ構成を示す図、
図59は、第5実施形態におけるピーク時刻保持部が保持するデータの一例を示す図、
図60は、第5実施形態における対応付け部のフローチャート、
図61は、第6実施形態におけるエピポーラ平面を示す図、
図62は、第6実施形態における造影点Pk_1〜Pk_3、及び、対応候補点Qk_1〜Qk_2の輝度列を示すグラフ、
図63は、第6実施形態におけるエピポーラ平面を示す図、
図64は、第6実施形態におけるエピポーラ平面を示す図、
図65は、第6実施形態におけるエピポーラ平面を示す図、
図66は、第6実施形態におけるエピポーラ平面を示す図、
図67は、第6実施形態におけるエピポーラ平面を示す図、
図68は、第6実施形態における形状復元装置の構成を示す図、
図69は、第6実施形態における対応付け部の構成を示す図、
図70は、第6実施形態におけるグループ分け取得部が取得するグループ分けの一例を示す図、
図71は、第6実施形態におけるグループ分け取得部の構成を示す図、
図72は、第6実施形態における二グループ分け部が行うグループ分けの一例を示す図、
図73は、第6実施形態における二グループ分け部が行うグループ分けの結果を示す図、
図74は、第6実施形態におけるグループ分け部のフローチャート、
図75は、第6実施形態におけるグループ分け部が行うグループ分けの結果の一例を示す図、
図76は、第6実施形態におけるグループ分け評価部の構成を示す図、
図77は、第6実施形態における輝度列取得部が行う処理のフローチャート、
図78は、第6実施形態における対応情報保持部に追加する対応情報の一例を示す図、
図79は、第6実施形態における対応情報保持部に追加する対応情報の一例を示す図、
図80は、図49の第4実施形態における形状復元装置の輝度列評価部の構成を示す図である。
本発明の記述を続ける前に、添付図面において同じ部品については同じ参照符号を付している。
以下、図面を参照して本発明における実施形態を詳細に説明する前に、本発明の基礎となった知見について説明する。
以下、図面を参照して本発明における実施形態を詳細に説明する前に、本発明の基礎となった知見について説明する。
(本発明の基礎となった知見)
図1に、血管の3次元モデルを生成する説明図を示す。
図1に、血管の3次元モデルを生成する説明図を示す。
X線発生部202A及びX線発生部202Bより、2つの異なる方向から血管1201に向けてX線を照射することにより、第1X線画像1101及び第2X線画像1102を得る。
血管1201上の点Jkは、第1X線画像1101上において点Pkに相当する。
ここで、点Jkが、第2X線画像1102上において何れの箇所であるか特定できれば、三角測量の原理を用いて、点Jkの3次元位置を特定することができる。同様に、血管1201上の複数の点について、3次元位置をそれぞれ特定することにより、血管1201の3次元モデルを生成することができる。
点Jkに対応する第2X線画像1102上の点の求める方法について説明する。
始めに、第1X線画像1101の点Pkに対して、第2X線画像1102におけるエピポーラ線L2を求める。エピポーラ線L2とは、点Pkの対応点が第2X線画像1102上に出現し得る直線状の範囲である。エピポーラ線L2は、点Pkと、第1X線画像1101及び第2X線画像1102の幾何学的な位置関係より決定される。図1において、点Pkに対応する候補点は点Qkのみであるので、点Pkの対応点は点Qkとなる。
図2に、対応点の候補点が1点の場合の図を示す。
図2に示すように、第2X線画像1102において、血管1201の端点と、エピポーラ線L2との交点が1点である場合には、点Qkが点Pkの対応点と決定される。
しかし、図3に示すように、血管1201の端点と、エピポーラ線L2との交点が2点である場合には、点Qk_1又は点Qk_2のいずれを点Pkの対応点とすべきかを決定することができない。
そこで、本開示の第1態様によれば、分岐を有する血管の複数の画像領域の対応付けを行なう画像領域対応付け装置であって、
造影剤が通過する際の前記血管を、互いに異なる第1の撮影角度と第2の撮影角度とからそれぞれ連続的に撮像することにより、前記第1の撮影角度より得られる第1の投影画像と前記第2の撮影角度より得られる第2の投影画像とで構成される画像セットを複数取得する投影画像取得部と、
前記投影画像取得部で取得した各画像セットのうちの第1の投影画像における前記分岐先の所定部分の第1の画像領域について、所定時間分の前記造影剤の輝度変化の情報を取得する第1輝度変化取得部と、
前記投影画像取得部で取得した各画像セットのうちの前記第2の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ取得する第2輝度変化取得部と、
前記第1輝度変化取得部より取得された前記輝度変化の情報と、前記第2輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を算出する類似度算出部と、
前記類似度算出部より算出された前記類似度に基づき、前記第1の画像領域と対応する第2の画像領域を決定する対応領域決定部と、
を備える画像領域対応付け装置を提供する。
造影剤が通過する際の前記血管を、互いに異なる第1の撮影角度と第2の撮影角度とからそれぞれ連続的に撮像することにより、前記第1の撮影角度より得られる第1の投影画像と前記第2の撮影角度より得られる第2の投影画像とで構成される画像セットを複数取得する投影画像取得部と、
前記投影画像取得部で取得した各画像セットのうちの第1の投影画像における前記分岐先の所定部分の第1の画像領域について、所定時間分の前記造影剤の輝度変化の情報を取得する第1輝度変化取得部と、
前記投影画像取得部で取得した各画像セットのうちの前記第2の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ取得する第2輝度変化取得部と、
前記第1輝度変化取得部より取得された前記輝度変化の情報と、前記第2輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を算出する類似度算出部と、
前記類似度算出部より算出された前記類似度に基づき、前記第1の画像領域と対応する第2の画像領域を決定する対応領域決定部と、
を備える画像領域対応付け装置を提供する。
前記第1態様によれば、2方向から撮影した血管のX線画像の複数の画像領域の対応付けを適切に行うことができる。
本開示の第2態様によれば、前記第1輝度変化取得部は、前記第1の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記複数の時刻それぞれの時刻の前記造影剤の輝度をそれぞれ前記所定時間分の前記造影剤の輝度変化の情報として取得する一方、
さらに、輝度の正規化を行う輝度正規化部をさらに備え、
前記輝度正規化部は、
前記血管が撮影されていないときの基準輝度と、前記第1輝度変化取得部より取得された前記輝度のそれぞれとの差分値を演算することにより正規化して、正規化された輝度変化の情報を取得し、
前記血管が撮影されていないときの基準輝度と、前記第2輝度変化取得部より取得されたそれぞれの前記輝度との差分値を演算することにより正規化して、正規化された輝度変化の情報を取得し、
前記類似度算出部は、
前記第1輝度変化取得部より取得され、かつ、前記輝度正規化部より前記正規化された輝度変化の情報と、
前記第2輝度変化取得部より取得され、かつ、前記輝度正規化部より前記正規化された複数の輝度変化の情報のそれぞれとの類似度を算出する、
第1の態様に記載の画像領域対応付け装置を提供する。
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記複数の時刻それぞれの時刻の前記造影剤の輝度をそれぞれ前記所定時間分の前記造影剤の輝度変化の情報として取得する一方、
さらに、輝度の正規化を行う輝度正規化部をさらに備え、
前記輝度正規化部は、
前記血管が撮影されていないときの基準輝度と、前記第1輝度変化取得部より取得された前記輝度のそれぞれとの差分値を演算することにより正規化して、正規化された輝度変化の情報を取得し、
前記血管が撮影されていないときの基準輝度と、前記第2輝度変化取得部より取得されたそれぞれの前記輝度との差分値を演算することにより正規化して、正規化された輝度変化の情報を取得し、
前記類似度算出部は、
前記第1輝度変化取得部より取得され、かつ、前記輝度正規化部より前記正規化された輝度変化の情報と、
前記第2輝度変化取得部より取得され、かつ、前記輝度正規化部より前記正規化された複数の輝度変化の情報のそれぞれとの類似度を算出する、
第1の態様に記載の画像領域対応付け装置を提供する。
前記第2態様によれば、第1の撮影角度から撮影した血管の輝度と、第2の撮影角度から撮影した血管の輝度とが異なる輝度となる場合においても、複数対応点候補の中から適切な対応点を決定することができる。
本開示の第3態様によれば、前記第1輝度変化取得部は、前記第1の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
前記輝度正規化部は、前記第1輝度変化取得部及び前記第2輝度変化取得部より取得された各時刻の輝度変化の情報をそれぞれ正規化して、正規化された輝度変化の情報をそれぞれ取得し、
前記類似度算出部は、前記第1輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化された各時刻の輝度について、前記第2輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化された複数の各時刻の輝度変化の情報のそれぞれとの差分を算出することにより、前記所定時間分における前記差分の絶対値の合計値をそれぞれ類似度として算出し、
前記対応領域決定部は、前記類似度として前記類似度算出部より算出された前記差分の絶対値の合計値が最も小さい第2の画像領域を、前記第1の画像領域と対応する領域であると決定する、
第2の態様に記載の画像領域対応付け装置を提供する。
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
前記輝度正規化部は、前記第1輝度変化取得部及び前記第2輝度変化取得部より取得された各時刻の輝度変化の情報をそれぞれ正規化して、正規化された輝度変化の情報をそれぞれ取得し、
前記類似度算出部は、前記第1輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化された各時刻の輝度について、前記第2輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化された複数の各時刻の輝度変化の情報のそれぞれとの差分を算出することにより、前記所定時間分における前記差分の絶対値の合計値をそれぞれ類似度として算出し、
前記対応領域決定部は、前記類似度として前記類似度算出部より算出された前記差分の絶対値の合計値が最も小さい第2の画像領域を、前記第1の画像領域と対応する領域であると決定する、
第2の態様に記載の画像領域対応付け装置を提供する。
前記第3態様によれば、第1の撮影角度から撮影した血管の輝度と、第2の撮影角度から撮影した血管の輝度とが異なる輝度となり、個々の撮影時間における輝度にノイズが含まれるような場合においても、複数対応点候補の中から適切な対応点を決定することができる。
本開示の第4態様によれば、前記第1輝度変化取得部は、前記第1の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
前記第1輝度変化取得部は、前記第1の画像領域について、前記造影剤の輝度を時系列順にプロットしたグラフを輝度変化の情報として取得し、
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記造影剤の輝度を時系列順にプロットしたグラフをそれぞれ輝度変化の情報として取得し、
前記輝度正規化部は、前記第1輝度変化取得部及び前記第2輝度変化取得部より取得されたグラフをそれぞれ正規化して、正規化されたグラフを取得し、
前記類似度算出部は、前記第1輝度変化取得部より取得され、かつ、前記輝度正規化部より取得された前記正規化されたグラフと、前記第2輝度変化取得部より取得され、かつ、前記輝度正規化部より前記正規化された複数のグラフのそれぞれとの形状の類似度をそれぞれ算出し、
前記対応領域決定部は、前記類似度算出部より算出された形状の類似度が最も高い第2の画像領域を、前記第1の画像領域と対応する領域であると決定する、
第2の態様に記載の画像領域対応付け装置を提供する。
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
前記第1輝度変化取得部は、前記第1の画像領域について、前記造影剤の輝度を時系列順にプロットしたグラフを輝度変化の情報として取得し、
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記造影剤の輝度を時系列順にプロットしたグラフをそれぞれ輝度変化の情報として取得し、
前記輝度正規化部は、前記第1輝度変化取得部及び前記第2輝度変化取得部より取得されたグラフをそれぞれ正規化して、正規化されたグラフを取得し、
前記類似度算出部は、前記第1輝度変化取得部より取得され、かつ、前記輝度正規化部より取得された前記正規化されたグラフと、前記第2輝度変化取得部より取得され、かつ、前記輝度正規化部より前記正規化された複数のグラフのそれぞれとの形状の類似度をそれぞれ算出し、
前記対応領域決定部は、前記類似度算出部より算出された形状の類似度が最も高い第2の画像領域を、前記第1の画像領域と対応する領域であると決定する、
第2の態様に記載の画像領域対応付け装置を提供する。
前記第4態様によれば、第1の撮影角度から撮影した血管の輝度と、第2の撮影角度から撮影した血管の輝度とが異なる輝度となる場合においても、複数対応点候補の中から適切な対応点を決定することができる。
本開示の第5態様によれば、前記類似度算出部は、前記第1輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化されたグラフの面積と、前記第2輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化された複数の前記グラフそれぞれの面積との差分を類似度として算出し、
前記対応領域決定部は、前記類似度として前記類似度算出部より算出された差分が最も小さいグラフに相当する第2の画像領域を、前記第1の画像領域と対応する領域であると決定する、
第4の態様に記載の画像領域対応付け装置を提供する。
前記対応領域決定部は、前記類似度として前記類似度算出部より算出された差分が最も小さいグラフに相当する第2の画像領域を、前記第1の画像領域と対応する領域であると決定する、
第4の態様に記載の画像領域対応付け装置を提供する。
前記第5態様によれば、第1の撮影角度から撮影した血管の輝度と、第2の撮影角度から撮影した血管の輝度とが異なる輝度となり、個々の撮影時間における輝度にノイズが含まれるような場合においても、複数対応点候補の中から適切な対応点を決定することができる。
本開示の第6態様によれば、前記第1輝度変化取得部は、前記第1の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
さらに、前記第1の画像領域及び前記第2の画像領域のそれぞれのある点の輝度が、その点の最大の輝度に対して所定比に到達する時刻である所定比時刻を取得する所定比時刻取得部を備え、
前記所定比時刻取得部は、前記第1の画像領域及び前記第2の画像領域のそれぞれにおいて、前記輝度正規化部により前記正規化された輝度変化の情報を輝度列とするとき、前記輝度列の値が所定比にそれぞれ到達する前記所定比時刻をそれぞれ取得し、
前記類似度算出部は、前記複数の前記第2画像領域のうち、前記第1画像領域の前記所定比時刻と類似度の高い前記所定比時刻を有する前記第2画像領域を前記第1画像領域の対応領域に決定する、
第2の態様に記載の画像領域対応付け装置を提供する。
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
さらに、前記第1の画像領域及び前記第2の画像領域のそれぞれのある点の輝度が、その点の最大の輝度に対して所定比に到達する時刻である所定比時刻を取得する所定比時刻取得部を備え、
前記所定比時刻取得部は、前記第1の画像領域及び前記第2の画像領域のそれぞれにおいて、前記輝度正規化部により前記正規化された輝度変化の情報を輝度列とするとき、前記輝度列の値が所定比にそれぞれ到達する前記所定比時刻をそれぞれ取得し、
前記類似度算出部は、前記複数の前記第2画像領域のうち、前記第1画像領域の前記所定比時刻と類似度の高い前記所定比時刻を有する前記第2画像領域を前記第1画像領域の対応領域に決定する、
第2の態様に記載の画像領域対応付け装置を提供する。
前記第6態様によれば、第1の撮影角度から撮影した血管の輝度と、第2の撮影角度から撮影した血管の輝度とが異なる輝度となる場合においても、複数対応点候補の中から適切な対応点を決定することができる。
本開示の第7態様によれば、前記第1輝度変化取得部は、前記第1の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
さらに、前記第1の画像領域及び前記第2の画像領域のそれぞれにおいて、前記輝度正規化部により前記正規化された輝度変化の情報を輝度列とするとき、前記輝度列を微分した微分輝度列のピーク時刻を取得するピーク時刻取得部を備え、
前記ピーク時刻取得部は、前記第1の画像領域及び前記第2の画像領域のそれぞれにおいて、前記輝度列を微分した前記微分輝度列の前記ピーク時刻を取得し、
前記類似度算出部は、前記複数の前記第2画像領域のうち、前記第1画像領域の前記ピーク時刻と類似度の高い前記ピーク時刻を有する前記第2画像領域を前記第1画像領域の対応領域に決定する、
第2の態様に記載の画像領域対応付け装置を提供する。
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
さらに、前記第1の画像領域及び前記第2の画像領域のそれぞれにおいて、前記輝度正規化部により前記正規化された輝度変化の情報を輝度列とするとき、前記輝度列を微分した微分輝度列のピーク時刻を取得するピーク時刻取得部を備え、
前記ピーク時刻取得部は、前記第1の画像領域及び前記第2の画像領域のそれぞれにおいて、前記輝度列を微分した前記微分輝度列の前記ピーク時刻を取得し、
前記類似度算出部は、前記複数の前記第2画像領域のうち、前記第1画像領域の前記ピーク時刻と類似度の高い前記ピーク時刻を有する前記第2画像領域を前記第1画像領域の対応領域に決定する、
第2の態様に記載の画像領域対応付け装置を提供する。
前記第7態様によれば、第1の撮影角度から撮影した血管の輝度と、第2の撮影角度から撮影した血管の輝度とが異なる輝度となる場合においても、複数対応点候補の中から適切な対応点を決定することができる。
本開示の第8態様によれば、前記第1の撮影角度より前記血管を撮像する第1X線撮像装置の位置情報と前記第2の撮影角度より前記血管を撮像する第2X線撮像装置の位置情報との相対位置情報を取得する撮影部情報取得部と、
前記第1投影画像上における前記第1の画像領域の位置情報を取得する血管領域取得部と、
前記撮影部情報取得部よりそれぞれ取得した各位置情報より、前記第1X線撮像装置、前記第2X線撮像装置、及び前記第1の画像領域から構成される平面であるエピポーラ平面を算出し、前記第2の投影画像上について、算出された前記エピポーラ平面と前記第2の投影画像との交線であるエピポーラ線を算出し、前記複数の第2の画像領域について、前記算出された前記エピポーラ線上にそれぞれ位置する位置情報を取得する対応候補領域取得部と、
をさらに備え、
前記対応候補領域取得部で取得した前記複数の第2の画像領域の位置情報の位置の輝度変化を第2輝度変化取得部で取得する
請求項1〜7のいずれか1つに記載の画像領域対応付け装置を提供する。
前記第1投影画像上における前記第1の画像領域の位置情報を取得する血管領域取得部と、
前記撮影部情報取得部よりそれぞれ取得した各位置情報より、前記第1X線撮像装置、前記第2X線撮像装置、及び前記第1の画像領域から構成される平面であるエピポーラ平面を算出し、前記第2の投影画像上について、算出された前記エピポーラ平面と前記第2の投影画像との交線であるエピポーラ線を算出し、前記複数の第2の画像領域について、前記算出された前記エピポーラ線上にそれぞれ位置する位置情報を取得する対応候補領域取得部と、
をさらに備え、
前記対応候補領域取得部で取得した前記複数の第2の画像領域の位置情報の位置の輝度変化を第2輝度変化取得部で取得する
請求項1〜7のいずれか1つに記載の画像領域対応付け装置を提供する。
前記第8態様によれば、エピポーラ線を算出することにより、第1の画像領域に対応する複数の第2の画像領域を決定することができる。
本開示の第9態様によれば、分岐を有する血管の3次元モデルを生成する3次元モデル生成方法であって、投影画像取得部が、造影剤が通過する際の前記血管を第1の撮影角度と第2の撮影角度とから連続的に撮像することにより、前記第1の撮影角度より得られる第1の投影画像と前記第2の撮影角度より得られる第2の投影画像とで構成される画像セットを複数取得し、第1輝度変化取得部が、前記第1の投影画像における前記分岐先の所定部分の第1の画像領域について、所定時間分の前記造影剤の輝度変化を取得し、第2輝度変化取得部が、前記第2の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記所定時間分の前記造影剤の輝度変化をそれぞれ取得し、類似度算出部が、前記第1輝度変化取得部より取得された前記輝度変化と、前記第2輝度変化取得部より取得された複数の前記輝度変化との類似度をそれぞれ算出し、対応領域決定部が、前記類似度算出部より算出された類似度が最も高い第2の画像領域を、前記第1の画像領域と対応する領域であると決定し、3次元モデル生成部が、前記対応領域決定部より決定された情報を用いて、前記血管の3次元モデルを生成する、3次元モデル生成方法を提供する。
本開示の第10態様によれば、分岐を有する血管の複数の画像領域の対応付けを行なう画像領域対応付け方法であって、
造影剤が通過する際の前記血管を、互いに異なる第1の撮影角度と第2の撮影角度とからそれぞれ連続的に撮像することにより、前記第1の撮影角度より得られる第1の投影画像と前記第2の撮影角度より得られる第2の投影画像とで構成される画像セットを投影画像取得部で複数取得し、
前記投影画像取得部で取得した各画像セットのうちの第1の投影画像における前記分岐先の所定部分の第1の画像領域について、所定時間分の前記造影剤の輝度変化の情報を第1輝度変化取得部で取得し、
前記投影画像取得部で取得した各画像セットのうちの前記第2の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ第2輝度変化取得部で取得し、
前記第1輝度変化取得部より取得された前記輝度変化の情報と、前記第2輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を類似度算出部で算出し、
前記類似度算出部より算出された前記類似度に基づき、前記第1の画像領域と対応する第2の画像領域を対応領域決定部で決定する、
画像領域対応付け方法を提供する。
前記態様によれば、2方向から撮影した血管のX線画像の複数の画像領域の対応付けを適切に行うことができる。
本開示の第11態様によれば、分岐を有する血管の複数の画像領域の対応付けを行なう画像領域対応付け用プログラムであって、
コンピュータを、
造影剤が通過する際の前記血管を、互いに異なる第1の撮影角度と第2の撮影角度とからそれぞれ連続的に撮像することにより、前記第1の撮影角度より得られる第1の投影画像と前記第2の撮影角度より得られる第2の投影画像とで構成される画像セットを複数取得する投影画像取得部と、
前記投影画像取得部で取得した各画像セットのうちの第1の投影画像における前記分岐先の所定部分の第1の画像領域について、所定時間分の前記造影剤の輝度変化の情報を取得する第1輝度変化取得部と、
前記投影画像取得部で取得した各画像セットのうちの前記第2の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ取得する第2輝度変化取得部と、
前記第1輝度変化取得部より取得された前記輝度変化の情報と、前記第2輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を算出する類似度算出部と、
前記類似度算出部より算出された前記類似度に基づき、前記第1の画像領域と対応する第2の画像領域を決定する対応領域決定部と、
として機能させるための画像領域対応付け用プログラムを提供する。
前記態様によれば、2方向から撮影した血管のX線画像の複数の画像領域の対応付けを適切に行うことができる。
造影剤が通過する際の前記血管を、互いに異なる第1の撮影角度と第2の撮影角度とからそれぞれ連続的に撮像することにより、前記第1の撮影角度より得られる第1の投影画像と前記第2の撮影角度より得られる第2の投影画像とで構成される画像セットを投影画像取得部で複数取得し、
前記投影画像取得部で取得した各画像セットのうちの第1の投影画像における前記分岐先の所定部分の第1の画像領域について、所定時間分の前記造影剤の輝度変化の情報を第1輝度変化取得部で取得し、
前記投影画像取得部で取得した各画像セットのうちの前記第2の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ第2輝度変化取得部で取得し、
前記第1輝度変化取得部より取得された前記輝度変化の情報と、前記第2輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を類似度算出部で算出し、
前記類似度算出部より算出された前記類似度に基づき、前記第1の画像領域と対応する第2の画像領域を対応領域決定部で決定する、
画像領域対応付け方法を提供する。
前記態様によれば、2方向から撮影した血管のX線画像の複数の画像領域の対応付けを適切に行うことができる。
本開示の第11態様によれば、分岐を有する血管の複数の画像領域の対応付けを行なう画像領域対応付け用プログラムであって、
コンピュータを、
造影剤が通過する際の前記血管を、互いに異なる第1の撮影角度と第2の撮影角度とからそれぞれ連続的に撮像することにより、前記第1の撮影角度より得られる第1の投影画像と前記第2の撮影角度より得られる第2の投影画像とで構成される画像セットを複数取得する投影画像取得部と、
前記投影画像取得部で取得した各画像セットのうちの第1の投影画像における前記分岐先の所定部分の第1の画像領域について、所定時間分の前記造影剤の輝度変化の情報を取得する第1輝度変化取得部と、
前記投影画像取得部で取得した各画像セットのうちの前記第2の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ取得する第2輝度変化取得部と、
前記第1輝度変化取得部より取得された前記輝度変化の情報と、前記第2輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を算出する類似度算出部と、
前記類似度算出部より算出された前記類似度に基づき、前記第1の画像領域と対応する第2の画像領域を決定する対応領域決定部と、
として機能させるための画像領域対応付け用プログラムを提供する。
前記態様によれば、2方向から撮影した血管のX線画像の複数の画像領域の対応付けを適切に行うことができる。
(第1実施形態)
<装置構成>
図4に、本発明の第1実施形態における、画像領域対応付け装置9を有する3次元モデル生成装置10の機能ブロック図を示す。
<装置構成>
図4に、本発明の第1実施形態における、画像領域対応付け装置9を有する3次元モデル生成装置10の機能ブロック図を示す。
3次元モデル生成装置10は、画像領域対応付け装置9と、3次元モデル生成部16とを備えて構成されている。
画像領域対応付け装置9は、投影画像取得部11と、第1輝度変化取得部12と、第2輝度変化取得部13と、類似度算出部14と、対応領域決定部15とを備える。
画像領域対応付け装置9は、投影画像取得部11と、第1輝度変化取得部12と、第2輝度変化取得部13と、類似度算出部14と、対応領域決定部15とを備える。
<投影画像取得部11>
投影画像取得部11は、造影剤が通過する際の血管1201を、第1の撮影角度と第2の撮影角度とからそれぞれ連続的に撮像することにより、第1の撮影角度より得られる第1X線画像(第1の投影画像)1101と、第2の撮影角度より得られる第2X線画像(第2の投影画像)1102とで構成される画像セットを複数個、入力IF114で指示されたタイミング(撮影開始のタイミングから撮影終了のタイミング)まで(例えば所定時間毎に)取得する。
投影画像取得部11は、造影剤が通過する際の血管1201を、第1の撮影角度と第2の撮影角度とからそれぞれ連続的に撮像することにより、第1の撮影角度より得られる第1X線画像(第1の投影画像)1101と、第2の撮影角度より得られる第2X線画像(第2の投影画像)1102とで構成される画像セットを複数個、入力IF114で指示されたタイミング(撮影開始のタイミングから撮影終了のタイミング)まで(例えば所定時間毎に)取得する。
<第1輝度変化取得部12>
第1輝度変化取得部12は、投影画像取得部11で取得した第1X線画像1101における血管1201の分岐先の所定部分の第1の画像領域(点、又は造影点)Pkについて、所定時間分の造影剤の輝度変化の情報を取得する。
第1輝度変化取得部12は、投影画像取得部11で取得した第1X線画像1101における血管1201の分岐先の所定部分の第1の画像領域(点、又は造影点)Pkについて、所定時間分の造影剤の輝度変化の情報を取得する。
図5に、第1輝度変化取得部12が取得する情報の一例を示す。
第1輝度変化取得部12は、投影画像取得部11より、時系列順に並んだ第1X線画像1101の列である第1X線画像列を取得する。なお、第1の画像領域Pkは、第1X線画像1101上の固定領域であり、第1X線画像列において位置変動しない。図5において、造影剤が第1の画像領域Pkに未だ到達していない場合、第1の画像領域Pk内の輝度は高くなり、造影剤が第1の画像領域Pkに到達した場合、第1の画像領域Pk内の輝度は低くなる。
第1輝度変化取得部12は、第1X線画像列より、第1の画像領域Pkの輝度に関する情報を取得する。第1輝度変化取得部12は、一例として、第1の画像領域Pkの輝度を時系列順に取得する。
第1の画像領域Pkは、血管1201の分岐先の一部分の領域であり、他の複数の血管1201を含む領域ではない。
なお、第1の画像領域Pkは、分岐先の血管1201を含む領域(例えば、血管1201の幅よりも第1の画像領域Pkの幅が太い領域)でも良いが、好ましくは、分岐先の血管1201に含まれる領域(例えば、血管1201の幅よりも第1の画像領域Pkの幅が狭い領域)である。これにより、造影剤の輝度のみを抽出することができ、血管1201以外の部分の輝度を排除することができる。
なお、第1の画像領域Pkは、第1X線画像1101上の血管が存在する可能性のある領域の任意の点であっても良い。
図6に、第1の画像領域Pkの輝度変化の様子を示す。
縦軸を基準輝度との差分値、横軸を時間とすると、第1の画像領域Pkの輝度変化の情報の一例としては、図6に示すようなグラフとなる。時間t1の区間は、第1の画像領域Pk中に造影剤が到達していないため、輝度の差分値が低い。時間t2の区間は、第1の画像領域Pk中に造影剤が到達し、徐々に第1の画像領域Pk中に造影剤が拡がっているため、輝度の差分値が徐々に高くなる。時間t3の区間は、第1の画像領域Pk中に造影剤が到達し切っているため、輝度の差分値が一定である。
なお、ここでは、縦軸を基準輝度との差分値としているが、縦軸を最大輝度と輝度との差としても構わない。
なお、ここでは、縦軸を基準輝度との差分値としているが、縦軸を最大輝度と輝度との差としても構わない。
<第2輝度変化取得部13>
第2輝度変化取得部13は、投影画像取得部11で取得した第2X線画像1102における分岐先の所定部分の画像領域であり、かつ、第1の画像領域Pkに対応する候補の画像領域である複数の第2の画像領域Qk_n(n=1,2,…,N)について、所定時間分の造影剤の輝度変化の情報をそれぞれ取得する。
第2輝度変化取得部13は、投影画像取得部11で取得した第2X線画像1102における分岐先の所定部分の画像領域であり、かつ、第1の画像領域Pkに対応する候補の画像領域である複数の第2の画像領域Qk_n(n=1,2,…,N)について、所定時間分の造影剤の輝度変化の情報をそれぞれ取得する。
第1の画像領域Pkに対応する候補の画像領域である複数の第2の画像領域Qk_nを、第2輝度変化取得部13により算出して取得する方法について説明する。
図7に、第2の画像領域Qk_nを算出する方法の説明図を示す。
血管1201上の点Jkは、X線発生部202Aと第1X線画像1101上の点Pkとを結ぶ直線K上に存在する。また、直線Kは、第2X線画像1102上においてエピポーラ線L2となる。つまり、直線K、すなわちエピポーラ線L2は、X線発生部202A及び202Bの位置情報と、第1X線画像1101及び第2X線画像1102を撮像する撮像装置の撮影情報とより第2輝度変化取得部13で算出できる。具体的には、式1及び式2より、エピポーラ線L2のパラメータl2を第2輝度変化取得部13で算出できる。なお、X線発生部202A及び202Bの位置情報は、並進ベクトルT及び回転ベクトルRとし、撮像装置の撮影情報は、内部パラメータA1及びA2とする。
式1において、Fはファンダメンタル行列、A1−Tは内部パラメータA1の逆行列の転置行列、[T]Xは並進ベクトルTの歪対称行列である。算出されたエピポーラ線L2のパラメータl2を(a,b,c)Tと表したとき、エピポーラ線L2は式3の関係式を満たす。
第2輝度変化取得部13は、第2輝度変化取得部13で算出されたエピポーラ線L2と、第2X画像1102上の造影剤の端点との交点を算出する。つまり、図7において、第2輝度変化取得部13は、第2の画像領域としてQk_1及びQk_2を算出する。
図8に、第2輝度変化取得部13が取得する情報の一例を示す。
第2輝度変化取得部13は、投影画像取得部11より、時系列順に並んだ第2X線画像1102の列である第2X線画像列を取得する。なお、第2の画像領域Qk_1及び第2の画像領域Qk_2は、第2X線画像1102上の固定領域であり、第2X線画像列においてそれぞれ位置変動しない。造影剤が第2の画像領域Qk_1及び第2の画像領域Qk_2に未だ到達していない場合、第2の画像領域Qk_1及び第2の画像領域Qk_2内の輝度はいずれも高くなる。造影剤が第2の画像領域Qk_1及び第2の画像領域Qk_2に到達した場合、第2の画像領域Qk_1及び第2の画像領域Qk_2内の輝度はいずれも低くなる。
第2輝度変化取得部13は、第2X線画像列より、第2の画像領域Qk_1及び第2の画像領域Qk_2のそれぞれの輝度に関する情報を取得する。第2輝度変化取得部13は、一例として、第2の画像領域Qk_1及び第2の画像領域Qk_2のそれぞれの輝度を時系列順に取得する。
第2の画像領域Qk_1及び第2の画像領域Qk_2は、それぞれ、血管1201の分岐先の互いに異なる一部分の領域であり、他の複数の血管1201を含む領域ではない。
なお、第2の画像領域Qk_1及び第2の画像領域Qk_2は、分岐先の血管1201を含む領域でも良いが、好ましくは、分岐先の血管1201に含まれる領域である。これにより、造影剤の輝度のみを抽出することができ、血管1201以外の部分の輝度を排除することができる。
なお、第2の画像領域Qk_1及び第2の画像領域Qk_2は、それぞれ、第2X線画像1102上の任意の点であっても良い。
一例として、図9に、第2の画像領域Qk_1及び第2の画像領域Qk_2の輝度変化の情報の様子を示す。
縦軸を基準輝度との差分値、横軸を時間とすると、第2の画像領域Qk_1及び第2の画像領域Qk_2の輝度変化の情報は、図9に示すようなグラフとなる。すなわち、第1輝度変化取得部12により、第1の画像領域について、造影剤の輝度を時系列順にプロットしたグラフを、輝度変化の情報として取得することができる。第2輝度変化取得部により、複数の第2の画像領域について、造影剤の輝度を時系列順にプロットしたグラフを、それぞれ輝度変化の情報として取得することができる。図9のグラフにおいて、時間t4の区間は、第2の画像領域Qk_2中に造影剤が到達していないため、輝度の差分値が低い。時間t5の区間は、第2の画像領域Qk_2中に造影剤が到達し、徐々に第2の画像領域Qk_2中に造影剤が拡がっているため、輝度の差分値が徐々に高くなる。時間t6の区間は、第2の画像領域Qk_2中に造影剤が到達し切っているため、輝度の差分値が一定である。時間t7の区間は、第2の画像領域Qk_1中に造影剤が到達していないため、輝度の差分値が低い。時間t8の区間は、第2の画像領域Qk_1中に造影剤が到達し、徐々に第2の画像領域Qk_1中に造影剤が拡がっているため、輝度の差分値が徐々に高くなる。時間t9の区間は、第2の画像領域Qk_1中に造影剤が到達し切っているため、輝度の差分値が一定である。
第2の画像領域Qk_1と、第2の画像領域Qk_2とでグラフの形状が異なるのは、以下の理由からである。
血管1201の分岐先が鉛直上向き方向に延びている場合、重力に逆らって流れるため、造影剤の流速は遅くなる。一方、血管1201の分岐先が鉛直下向き方向に延びている場合、造影剤の流速は速くなる。つまり、血管1201の分岐先が鉛直上向き又は下向き方向に延びているかにより、造影剤の流速が異なる。よって、第2の画像領域Qk_1及び第2の画像領域Qk_2のそれぞれについて、各時刻における造影剤の流量が異なるため、グラフの形状が異なる。
なお、血管1201の分岐先の血管の太さが異なる場合でも、造影剤の流速が異なるため、第2の画像領域Qk_1及び第2の画像領域Qk_2のグラフの形状は異なる。
<類似度算出部14>
類似度算出部14は、第1輝度変化取得部12より取得された輝度変化の情報と、第2輝度変化取得部13より取得された複数の輝度変化の情報のそれぞれとの類似度をそれぞれ算出する。
類似度算出部14は、第1輝度変化取得部12より取得された輝度変化の情報と、第2輝度変化取得部13より取得された複数の輝度変化の情報のそれぞれとの類似度をそれぞれ算出する。
図10に、類似度算出部14が算出する類似度の説明図の一例を示す。
図10は、第1の画像領域Pk、第2の画像領域Qk_1及び第2の画像領域Qk_2のそれぞれの輝度変化の情報を示すグラフである。第1の画像領域Pkの輝度変化の情報を示すグラフは、点線で表される。第2の画像領域Qk_1及び第2の画像領域Qk_2それぞれの輝度変化の情報を示すグラフは、実線で表される。
類似度算出部14は、第2の画像領域Qk_1のグラフ及び第2の画像領域Qk_2のグラフのそれぞれについて、第1の画像領域Pkのグラフとの類似度を算出する。類似度算出部14は、一例として、第2の画像領域Qk_1及び第2の画像領域Qk_2のそれぞれの各時刻における輝度について、第1の画像領域Pkの輝度との差の絶対値を算出し、所定時間分の差の絶対値の総和を算出する。類似度算出部14で算出した差の絶対値の総和が小さいほど、類似度は高い。たとえば、各時刻における輝度は、30分の1秒に一回の時間間隔で撮影される。
第2の画像領域Qk_1と第1の画像領域Pkとの形状が似ているとき、上記の類似度は高い値となる。類似度算出部14は、第2の画像領域Qk_1のグラフ及び第2の画像領域Qk_2のグラフのそれぞれについて、第1の画像領域Pkのグラフとの形状の類似度をパターンマッチングなどの手法で算出する形状類似度算出部14H(図4参照)としても構わない。また、形状類似度算出部14Hは、後述する、正規化された輝度変化の情報のグラフ同士の形状の類似度を算出するようにしてもよい。このときも、第2の画像領域Qk_1と第1の画像領域Pkとの形状が似ているとき、上記の類似度は高い値となる。
第2の画像領域Qk_1と第1の画像領域Pkとの形状が似ているとき、上記の類似度は高い値となる。類似度算出部14は、第2の画像領域Qk_1のグラフ及び第2の画像領域Qk_2のグラフのそれぞれについて、第1の画像領域Pkのグラフとの形状の類似度をパターンマッチングなどの手法で算出する形状類似度算出部14H(図4参照)としても構わない。また、形状類似度算出部14Hは、後述する、正規化された輝度変化の情報のグラフ同士の形状の類似度を算出するようにしてもよい。このときも、第2の画像領域Qk_1と第1の画像領域Pkとの形状が似ているとき、上記の類似度は高い値となる。
なお、類似度算出部14は、他の例として、第1の画像領域Pkのグラフに対して、第2の画像領域Qk_1のグラフ及び第2の画像領域Qk_2のグラフのそれぞれについて、所定時間分の面積値を算出する。そして、類似度算出部14は、第2の画像領域Qk_1及び第2の画像領域Qk_2のそれぞれの面積値について、第1の画像領域Pkの面積値との差を算出する。類似度算出部14で算出した面積値の差が小さいほど、類似度は高い。
なお、類似度算出部14が算出する類似度の算出方法は、上記に限られない。類似度算出部14は、それぞれのグラフについて、各画像領域の各時刻における輝度と基準輝度との差分値の増減傾向から類似度を算出しても良い。
<対応領域決定部15>
対応領域決定部15は、類似度算出部14より算出された複数の類似度のうち、最も高い類似度の第2の画像領域を、第1の画像領域Pkと対応する領域であると決定する。
対応領域決定部15は、類似度算出部14より算出された複数の類似度のうち、最も高い類似度の第2の画像領域を、第1の画像領域Pkと対応する領域であると決定する。
具体的には、対応領域決定部15は、類似度算出部14が第2の画像領域Qk_1及び第2の画像領域Qk_2のそれぞれの輝度変化の情報について、第1の画像領域Pkの輝度変化の情報との類似度を算出した結果を基に、第2の画像領域Qk_1又は第2の画像領域Qk_2のいずれ一方が第1の画像領域Pkと対応する領域であるかを決定する。このとき、対応領域決定部15は、類似度の高い方を、第1の画像領域Pkに対応する領域であると決定する。つまり、図10においては、第1の画像領域Pkに対応する領域は、第2の画像領域Qk_1である。
又は、対応領域決定部15は、類似度が所定の閾値よりも高い第2の画像領域Qk_nがある場合には、一例として、最初に類似度が所定の閾値よりも高いと判定した第2の画像領域Qk_nを、第1の画像領域Pkと対応する領域であると決定する。この決定により、第2の画像領域Qk_nと、第1の画像領域Pkとの対応付けを決定することができる。
又は、対応領域決定部15は、類似度が所定の閾値よりも高い第2の画像領域Qk_nがある場合には、一例として、最初に類似度が所定の閾値よりも高いと判定した第2の画像領域Qk_nを、第1の画像領域Pkと対応する領域であると決定する。この決定により、第2の画像領域Qk_nと、第1の画像領域Pkとの対応付けを決定することができる。
<3次元モデル生成部16>
3次元モデル生成部16は、対応領域決定部15より決定された情報を用いて、血管の3次元モデルを生成する。
3次元モデル生成部16は、対応領域決定部15より決定された情報を用いて、血管の3次元モデルを生成する。
3次元モデル生成部16は、対応領域決定部15より、第1の領域に対応する第2の領域が決定されれば、三角測量の原理を用いて、血管1201上の点Jkの3次元位置を特定することができる。同様に、血管1201上の複数の点について、3次元位置をそれぞれ特定することにより、3次元モデル生成部16は血管1201の3次元モデルを生成することができる。具体的には、3次元モデル生成部16は、対応領域決定部15より第1の画像領域Pkに対応する第2の画像領域Qk_2が決定されるため、図1において、血管1201上の点Jkの3次元位置が特定することができる。
<装置動作>
図11に、第1実施形態における、画像領域対応付け装置9及び3次元モデル生成装置10の処理動作フローを示す。
図11に、第1実施形態における、画像領域対応付け装置9及び3次元モデル生成装置10の処理動作フローを示す。
始めに、投影画像取得部11が、造影剤が通過する際の血管1201を、第1の撮影角度と第2の撮影角度とから連続的に撮像することにより、第1の撮影角度より得られる第1X線画像1101と、第2の撮影角度より得られる第2X線画像1102とで構成される画像セットを複数取得する(ステップS10)。
次に、第1輝度変化取得部12が、投影画像取得部11で取得した第1X画像1101における血管1201の分岐先の所定部分の第1の画像領域Pkについて、所定時間分の造影剤の輝度変化の情報を取得する(ステップS11)。
次に、第2輝度変化取得部13が、投影画像取得部11で取得した第2X線画像1102における血管1201の分岐先の所定部分の画像領域であり、かつ、第1の画像領域Pkに対応する候補の画像領域である複数の第2の画像領域Qk_n(n=1,2,…,N)のそれぞれについて、所定時間分の造影剤の輝度変化の情報を取得する(ステップS12)。なお、ステップS11とステップS12とは、同時に行ってもよい。
次に、類似度算出部14は、第1輝度変化取得部12より取得された輝度変化の情報と、第2輝度変化取得部13より取得された複数の輝度変化の情報のそれぞれとの類似度を算出する(ステップS13)。
次に、対応領域決定部15は、類似度算出部14より算出された複数の類似度のうち、類似度が最も高い第2の画像領域Qk_nを、第1の画像領域Pkと対応する領域であると決定する(ステップS14)。ここまでが、画像領域対応付け装置9の処理動作である。
次に、3次元モデル生成部16は、対応領域決定部15より決定された情報を用いて、血管1201の3次元モデルを生成する(ステップS15)。
<第1実施形態の効果>
第1実施形態における画像領域対応付け装置9によれば、第1X線画像1101上の第1の領域に対して、複数の第2X線画像1102がある場合でも、
第1X線画像1101上の第1の領域と最適な第2X線画像1102上の第2の領域との対応関係を対応領域決定部15で決定することができる。この結果、3次元モデル生成装置10によれば、この画像領域対応付け装置9での画像領域対応付け結果を基に、血管1201の3次元モデルを生成することができる。
第1実施形態における画像領域対応付け装置9によれば、第1X線画像1101上の第1の領域に対して、複数の第2X線画像1102がある場合でも、
第1X線画像1101上の第1の領域と最適な第2X線画像1102上の第2の領域との対応関係を対応領域決定部15で決定することができる。この結果、3次元モデル生成装置10によれば、この画像領域対応付け装置9での画像領域対応付け結果を基に、血管1201の3次元モデルを生成することができる。
(第2実施形態)
本発明の第2実施形態に係る、画像領域対応付け装置92を有する3次元モデル生成装置20では、第1輝度変化取得部12及び第2輝度変化取得部13より取得された輝度の最大値がそれぞれ一致しない場合でも、類似度算出部14が類似度を算出できるようにする。なお、他の実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
本発明の第2実施形態に係る、画像領域対応付け装置92を有する3次元モデル生成装置20では、第1輝度変化取得部12及び第2輝度変化取得部13より取得された輝度の最大値がそれぞれ一致しない場合でも、類似度算出部14が類似度を算出できるようにする。なお、他の実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
図12に、第1輝度変化取得部12及び第2輝度変化取得部13がそれぞれ取得する輝度変化の情報を示すグラフを示す。
図12おいて、第1輝度変化取得部12が取得する第1の画像領域Pkの輝度を太線で示す。第2輝度変化取得部13が取得する第2の画像領域Qk_1の輝度を細線で示す。第2輝度変化取得部13が取得する第2の画像領域Qk_2の輝度を点線で示す。図12において、輝度の差分値の最大値は、3つのグラフそれぞれ一致していない。これは、第1の画像領域Pkに対応する領域である第2の画像領域Qk_1又は第2の画像領域Qk_2の輝度の最大値が、いずれも第1の画像領域Pkの輝度の最大値と異なることを意味する。図13を用いて、異なる理由を説明する。
図13に、対応する領域同士で輝度の最大値が異なる理由の説明図を示す。
図13は、血管1201の断面が楕円状である場合について、図1をZ軸方向から見た図である。血管1201の断面が楕円状である場合、第1X線画像1101方向から見える血管1201の厚みd1と、第2X線画像1102方向から見える血管1201の厚みd2とは長さが異なる。ただし、d1<d2とする。
X線発生部202A及び202Bから照射されるX線は、血管1201の厚みが増すに従い、透過する量が減少する。つまり、図13において、X線発生部202A及びX線発生部202Bがそれぞれ照射するX線の強度が同一である場合、第1X線画像1101の輝度は、第2X線画像1102の輝度よりも低くなる。
これにより、第1の画像領域Pkの輝度の最大値と、第1の画像領域Pkに対応する第2の画像領域Qkの輝度の最大値とが一致しなくなる。
第2実施形態は、上記のような事情を鑑み、血管1201の断面が楕円状である場合においても、類似度算出部22が正確に類似度を算出できるようにすることを目的とする。
<装置構成>
図14に、本発明の第2実施形態における、画像領域対応付け装置92を有する3次元モデル生成装置20の機能ブロック図を示す。
図14に、本発明の第2実施形態における、画像領域対応付け装置92を有する3次元モデル生成装置20の機能ブロック図を示す。
3次元モデル生成装置20は、は、画像領域対応付け装置92と、3次元モデル生成部16とを備えて構成されている。
画像領域対応付け装置92は、投影画像取得部11と、第1輝度変化取得部12と、第2輝度変化取得部13と、輝度正規化部21と、類似度算出部22と、対応領域決定部15とを備える。なお、第1実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
画像領域対応付け装置92は、投影画像取得部11と、第1輝度変化取得部12と、第2輝度変化取得部13と、輝度正規化部21と、類似度算出部22と、対応領域決定部15とを備える。なお、第1実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
<輝度正規化部21>
輝度正規化部21は、血管が撮影されていないときの基準輝度(例えば255)から、第1輝度変化取得部12より取得された輝度を除算した差分値を演算により取得することにより正規化する。同様に、輝度正規化部21は、血管が撮影されていないときの基準輝度(例えば255)から、第2輝度変化取得部13より取得されたそれぞれの輝度を除算した差分値を演算により取得することにより正規化する。
輝度正規化部21は、血管が撮影されていないときの基準輝度(例えば255)から、第1輝度変化取得部12より取得された輝度を除算した差分値を演算により取得することにより正規化する。同様に、輝度正規化部21は、血管が撮影されていないときの基準輝度(例えば255)から、第2輝度変化取得部13より取得されたそれぞれの輝度を除算した差分値を演算により取得することにより正規化する。
具体的には、まず、輝度正規化部21は、第1輝度変化取得部12より取得された第1の画像領域Pkの所定時間分の輝度より、最大となる輝度、例えば、血管1201が撮影されていないときの基準輝度を決定する。その後、輝度正規化部21は、基準輝度から第1の画像領域Pkの各時刻における輝度を除算して差分値を求めることにより正規化を行なう。輝度正規化部21は、同様に、第2輝度変化取得部13より取得された第2の画像領域Qk_1及び第2の画像領域Qk_2についても、同様に、まず、最大となる輝度、例えば、血管1201が撮影されていないときの基準輝度を決定したのち、決定した基準輝度を用いて正規化を行なう。
図15に、正規化された輝度変化の情報のグラフの一例を示す。
図15に示すグラフは、図12に示すグラフを輝度正規化部21により正規化して、正規化されたグラフとしたものである。縦軸は輝度の比率を示し、横軸は時間を示す。図15に示すように、正規化した場合、第1の画像領域Pkの所定時間分の輝度と、第2の画像領域Qk_1及び第2の画像領域Qk_2のそれぞれの所定時間分の輝度との3つのグラフのそれぞれの縦軸の最大値(ここでは、輝度比率が1)が揃うこととなる。これにより、第2の画像領域Qk_1又は第2の画像領域Qk_2のいずれの輝度変化の情報が、第1の画像領域Pkの輝度変化の情報と類似するかを輝度正規化部21により比較することができる。
<類似度算出部22>
類似度算出部22は、第1輝度変化取得部12より取得され、かつ、輝度正規化部21より正規化された輝度変化の情報と、第2輝度変化取得部13より取得され、かつ、輝度正規化部21より正規化された複数の輝度変化の情報のそれぞれとの類似度を算出する。
類似度算出部22は、第1輝度変化取得部12より取得され、かつ、輝度正規化部21より正規化された輝度変化の情報と、第2輝度変化取得部13より取得され、かつ、輝度正規化部21より正規化された複数の輝度変化の情報のそれぞれとの類似度を算出する。
図16及び図17を用いて、類似度算出部22の類似度算出方法の一例について説明する。
図16に、第1の画像領域Pk及び第2の画像領域Qk_1について正規化された所定時間分の輝度変化のグラフを示す。図16において、第1の画像領域Pkの輝度変化のグラフは太線で表され、第2の画像領域Qk_1の輝度変化のグラフは細線で表される。
類似度算出部22は、図16に示す通り、第1の画像領域Pk及び第2の画像領域Qk_1の各時刻における輝度についての差を算出し、所定時間分の差の合計値を算出する。具体的には、類似度算出部22は、式4を用いて差の絶対値の合計値を類似度として算出する。
ここで、H_nは所定時間分の差の絶対値の合計値であり、L_Pk_tは各時刻における第1の画像領域Pkの正規化後の輝度の差分値であり、L_Qk_1_tは各時刻における第2の画像領域Qk_1の正規化後の輝度の差分値である。
図17に、第1の画像領域Pk及び第2の画像領域Qk_2について正規化された所定時間分の輝度変化の情報のグラフを示す。図17において、第1の画像領域Pkの輝度変化の情報のグラフは太線で表され、第2の画像領域Qk_2の輝度変化の情報のグラフは点線で表される。
類似度算出部22は、図17に示す通り、第1の画像領域Pk及び第2の画像領域Qk_2の各時刻における輝度について差を算出し、所定時間分の差の合計値を算出する。具体的には、類似度算出部22は、式5を用いて差の合計値を算出する。
ここで、H_nは所定時間分の差の絶対値の合計値であり、L_Pk_tは各時刻における第1の画像領域Pkの正規化後の輝度の差分値であり、L_Qk_2_tは各時刻における第2の画像領域Qk_2の正規化後の輝度の差分値である。
以上より、類似度算出部22は、式4及び式5を用いて、各時刻における輝度の差より類似度を算出する。
図18及び図19を用いて、類似度算出部22の類似度算出方法の他の一例について説明する。
図18に、第1の画像領域Pk及び第2の画像領域Qk_1について正規化された所定時間分の輝度変化の情報のグラフを示す。図18において、第1の画像領域Pkの輝度変化の情報のグラフは太線で表され、第2の画像領域Qk_1の輝度変化の情報のグラフは細線で表される。
類似度算出部22は、図18に示す通り、第1の画像領域Pkのグラフと第2の画像領域Qk_1のグラフとの面積値の差を算出する。具体的には、類似度算出部22は、式6を用いて面積値の差を算出する。
ここで、H_nは所定時間分の面積値の差の絶対値であり、S(Pk)は第1の画像領域Pkの所定時間分の面積値であり、S(Qk_1)は第2の画像領域Qk_1の所定時間分の面積値である。
図19に、第1の画像領域Pk及び第2の画像領域Qk_2について正規化された所定時間分の輝度変化の情報のグラフを示す。図19において、第1の画像領域Pkの輝度変化の情報のグラフは太線で表され、第2の画像領域Qk_2の輝度変化の情報のグラフは点線で表される。
類似度算出部22は、図19に示す通り、第1の画像領域Pkの正規化されたグラフの面積と第2の画像領域Qk_1の正規化されたグラフの面積との面積値の差を算出する。具体的には、類似度算出部22は、式7を用いて面積値の差を類似度として算出する。
ここで、H_nは所定時間分の面積値の差の絶対値であり、S(Pk)は第1の画像領域Pkの所定時間分の面積値であり、S(Qk_2)は第2の画像領域Qk_2の所定時間分の面積値である。
以上より、類似度算出部22は、式6及び式7を用いて、面積値の差より類似度を算出する。
<装置動作>
図20に、第2実施形態における、画像領域対応付け装置92及び3次元モデル生成装置20の処理動作フローを示す。なお、図20において、図11と同様のステップについては同一の符号を付し、説明を適宜省略する。
図20に、第2実施形態における、画像領域対応付け装置92及び3次元モデル生成装置20の処理動作フローを示す。なお、図20において、図11と同様のステップについては同一の符号を付し、説明を適宜省略する。
まず、ステップS10〜ステップS12は、図11と同様である。
次に、輝度正規化部21が、第1輝度変化取得部12より取得された輝度を、第1輝度変化取得部12より取得された最大の輝度(例えば、血管1201が撮影されていないときの基準輝度)にて除算することにより正規化する。また、(例えば、血管1201が撮影されていないときの基準輝度)第2輝度変化取得部13より取得されたそれぞれの輝度を、第2輝度変化取得部13より取得されたそれぞれの最大の輝度(例えば、血管1201が撮影されていないときの基準輝度)にて除算することにより正規化する(ステップS20)。
次に、輝度正規化部21が、第1輝度変化取得部12より取得された輝度を、第1輝度変化取得部12より取得された最大の輝度(例えば、血管1201が撮影されていないときの基準輝度)にて除算することにより正規化する。また、(例えば、血管1201が撮影されていないときの基準輝度)第2輝度変化取得部13より取得されたそれぞれの輝度を、第2輝度変化取得部13より取得されたそれぞれの最大の輝度(例えば、血管1201が撮影されていないときの基準輝度)にて除算することにより正規化する(ステップS20)。
次に、類似度算出部22が、第1輝度変化取得部12より取得され、かつ、輝度正規化部21より正規化された輝度変化の情報と、第2輝度変化取得部13より取得され、かつ、輝度正規化部21より正規化された複数の輝度変化の情報のそれぞれとの類似度を算出する(ステップS21)。
次に、ステップS14〜ステップS15は、図11と同様である。なお、ステップS14までが、画像領域対応付け装置92の処理動作である。
次に、ステップS14〜ステップS15は、図11と同様である。なお、ステップS14までが、画像領域対応付け装置92の処理動作である。
<第2実施形態の効果>
第2実施形態における画像領域対応付け装置92によれば、血管1201の断面が楕円状である場合においても、類似度算出部22が類似度を正確に算出することができる。
(第3実施形態)
本発明の第3実施形態では、第1実施形態及び第2実施形態に記載された3次元モデル生成装置10,20の別の態様について記載する。なお、他の実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
第2実施形態における画像領域対応付け装置92によれば、血管1201の断面が楕円状である場合においても、類似度算出部22が類似度を正確に算出することができる。
(第3実施形態)
本発明の第3実施形態では、第1実施形態及び第2実施形態に記載された3次元モデル生成装置10,20の別の態様について記載する。なお、他の実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
図21は、本発明の第3実施形態の、画像領域対応付け装置93を有する3次元モデル生成装置1(以下、形状復元装置1とも称する。)の構成を示す図である。形状復元装置1は、一例として、画像領域対応付け装置93と、3次元モデル生成部163と、表示部112とを備える。
さらに、画像領域対応付け装置93は、一例として、X線撮影部101〜102と、撮影部情報保持部104と、X線画像取得部113と、入力IF(インターフェース)114と、X線画像保持部103と、血管領域取得部105と、血管領域保持部106と、対応付け部107とを備える。X線画像取得部113は、第1実施形態の投影画像取得部11に対応する。対応付け部107は、第1実施形態の第1輝度変化取得部12と第2輝度変化取得部13と第1実施形態の類似度算出部14と対応領域決定部15との一例として対応する。
3次元モデル生成部163は、対応情報保持部108と、三次元位置取得部109と、三次元位置保持部110と、表示画面生成部111とを備える。
さらに、画像領域対応付け装置93は、一例として、X線撮影部101〜102と、撮影部情報保持部104と、X線画像取得部113と、入力IF(インターフェース)114と、X線画像保持部103と、血管領域取得部105と、血管領域保持部106と、対応付け部107とを備える。X線画像取得部113は、第1実施形態の投影画像取得部11に対応する。対応付け部107は、第1実施形態の第1輝度変化取得部12と第2輝度変化取得部13と第1実施形態の類似度算出部14と対応領域決定部15との一例として対応する。
3次元モデル生成部163は、対応情報保持部108と、三次元位置取得部109と、三次元位置保持部110と、表示画面生成部111とを備える。
X線撮影部101〜102は、それぞれ、異なる角度から被験者の撮影対象部位に対して放射線を照射して、撮影されたX線透視像、又は、造影剤を注入した際に撮影された血管造影像を取得する手段であり、例えばX線血管造影装置又はアンギオグラフィと称される。第3実施形態におけるX線撮影部101〜102は、被撮像物である血管を撮影する。X線撮影部101〜102は、それぞれ同一構成であり、代表例として、X線撮影部101について構成を説明する。
図22にX線撮影部101の構成を示す。X線撮影部101は、X線発生部202と、X線検出部203と、機構部206と、機構制御部205とで構成されている。
X線発生部202は、高電圧を用いてX線を発生するX線管と、X線の一部を遮蔽することによって照射野を制御するX線絞り器とを有しており、寝台201上の患者200にX線を照射する。
X線検出部203は、患者200を透過したX線を受けて画像情報を記録し、記録した画像情報を出力するカメラである。X線検出部203は、例えば、X線観応層を配置し、X線をデジタルデータに変換して出力するFPD(Flat Panel Detector)として構成されている。X線検出部203は、X線発生部202から患者200にX線が照射されると、照射されたX線画像を示す画像情報を画像取得部113へ出力する。
機構部206は、術者の操作指示を受け付けた機構制御部205の指示に基づいて、アーム204及び寝台201を移動する。
また、機構制御部205は、X線発生部202又はX線検出部203の位置を撮影部情報保持部104に出力する。
X線撮影部102についても、X線撮影部101と同様の各部を有する。ここでは、X線撮影部101のX線発生部202と、X線撮影部102のX線発生部202とを区別する場合には、前者をX線発生部202A、後者をX線発生部202Bとする。
X線発生部202は、高電圧を用いてX線を発生するX線管と、X線の一部を遮蔽することによって照射野を制御するX線絞り器とを有しており、寝台201上の患者200にX線を照射する。
X線検出部203は、患者200を透過したX線を受けて画像情報を記録し、記録した画像情報を出力するカメラである。X線検出部203は、例えば、X線観応層を配置し、X線をデジタルデータに変換して出力するFPD(Flat Panel Detector)として構成されている。X線検出部203は、X線発生部202から患者200にX線が照射されると、照射されたX線画像を示す画像情報を画像取得部113へ出力する。
機構部206は、術者の操作指示を受け付けた機構制御部205の指示に基づいて、アーム204及び寝台201を移動する。
また、機構制御部205は、X線発生部202又はX線検出部203の位置を撮影部情報保持部104に出力する。
X線撮影部102についても、X線撮影部101と同様の各部を有する。ここでは、X線撮影部101のX線発生部202と、X線撮影部102のX線発生部202とを区別する場合には、前者をX線発生部202A、後者をX線発生部202Bとする。
X線画像取得部113は、X線撮影部101〜102よりX線画像(放射線画像)をそれぞれ取得し、取得した画像をX線画像保持部103にそれぞれ格納する部である。後述の入力IF114によって指示されたタイミングで、画像の取得を開始及び終了する。
X線画像取得部113は、具体的には、入力IF114の指示により画像の取得を開始し、例えばX線撮影部101より取得した画像をX線画像保持部103に格納する。以降、X線画像取得部113は、入力IF114より終了の指示があるまで、入力IF114で指示されたタイミングで(例えば所定時間毎に)X線撮影部101より画像を取得し、取得した画像をX線画像保持部115に格納する。X線画像取得部113は、X線撮影部102からも同様に、入力IF114で指示されたタイミングで(例えば所定時間毎に)画像を取得して、取得した画像をX線画像保持部103に格納する。
撮影部情報保持部104は、X線撮影部101、102に関する情報を保持する部である。具体的には、撮影部情報保持部104は、例えばCPUのレジスタ、キャッシュ、RAM、又は、ROM等の記憶装置によって実現する。以降、名称に保持部を有する部は、同様の方法で実現する。
撮影部情報保持部104は、具体的には、X線撮影部101、102の相対位置情報、及び、X線撮影部101、102のそれぞれのカメラの内部パラメータAを保持する。図23は、撮影部情報保持部104のデータ構造の一例を示す図である。撮影部情報保持部104は、並進ベクトルTと、回転ベクトルRと、内部パラメータA1、A2とを保持する。
並進ベクトルTは、X線撮影部101の位置を基準にして、X線撮影部102がどこに存在するかを示すベクトルであり、X線撮影部101、102のそれぞれの位置情報(第1X線撮像装置の位置情報と第2X線撮像装置の位置情報と)の相対位置情報の一例である。回転ベクトルRは、X線撮影部101の撮影方向に対する、X線撮影部102の撮影方向の向きを示す。内部パラメータA1は、X線撮影部101のカメラが備える撮影レンズと撮像素子の撮像面との位置関係を表すパラメータであり、X線撮影部101では、X線発生部202とX線検出部203との位置関係を表すパラメータである。ここでは、説明を簡単にするため、X線発生部202に対するX線検出部203の位置は固定であるものとし、内部パラメータA1、A2の値は予め用意して撮影部情報保持部104に格納しておくものとする。
また、ここでは、X線撮影装置101に対するX線撮影装置102の相対位置は常に一定であるとし、並進ベクトルT及び回転ベクトルRも、撮影部情報保持部104に予め保持するものとする。なお、撮影部情報保持部104は、X線撮影装置101とX線撮影装置102との位置をそれぞれ取得し、取得した位置より、並進ベクトルT及び回転ベクトルRを算出する構成であっても構わない。
入力IF114は、操作者(術者)が、形状復元装置1に対して指示を入力する装置である。例えば、入力IF114は、ボタン、スイッチ、コンピュータのキーボード、又は、マウスなどによって実現する。ここでは、入力IF114は、X線画像取得部113に対して画像取得の開始、及び、終了の指示を与えるために用いる。
X線画像保持部103は、X線画像取得部113が取得した画像を保持する部である。図24は、X線画像保持部103のデータ構造の一例を示す図である。X線画像取得部が画像取得を開始した時刻を時刻0とし、画像取得を終了した時刻を時刻ENDとし、画像取得から開始までの各時刻に、X線撮影部101〜102で撮影された画像をそれぞれ保持する。以降の説明では、X線撮影部101で時刻nに撮影された画像を画像1_nとし、X線撮影部102で時刻nに撮影された画像を画像2_nとする。また、時刻0に撮影された画像1_0、画像2_0を背景画像と呼ぶ。
血管領域取得部105は、画像1_END、及び、画像2_ENDから、造影剤が投入された血管1201の領域を取得する部である。血管領域取得部105で取得した領域の点の位置は、血管1201の領域の位置であることより、血管領域取得部105は、血管領域の位置を取得している。図25は、血管領域取得部105の構成を示す図である。血管領域取得部105は、差分画像生成部1504と、差分画像保持部1505と、二値化部1501と、二値画像保持部1502と、細線化部1503とを有する。
差分画像生成部1504は、X線画像保持部103より、画像n_ENDと画像n_0(背景画像)とを取得し、差分画像を生成し、生成した差分画像を差分画像保持部1505に格納する(n=1、2)。
差分画像保持部1505は、差分画像生成部が生成した差分画像を保持する。
二値化部1501は、差分画像保持部1505より、差分画像を取得し、取得した差分画像を二値化し、二値画像保持部1502に格納する。ここでは、血管の領域の画素値を「1」とし、それ以外の領域の画素値を「0」とする。
二値画像保持部1502は、二値化部1501によって生成した二値画像を保持する。図26は二値画像の一例を示す。
細線化部1503は、二値画像保持部1502が保持する二値画像を細線化して血管領域保持部106に格納する。図26に示す二値画像を、細線化して得られる細線画像を図27に示す。
<血管領域取得部105が行う処理の流れ>
図28は、血管領域取得部105によって画像1_ENDの血管領域を取得する処理のフローチャートを示す図である。
図28は、血管領域取得部105によって画像1_ENDの血管領域を取得する処理のフローチャートを示す図である。
血管領域取得部105は、ステップS801で処理を開始する。
次に、ステップS802で、差分画像生成部1504は、前述の差分画像生成部1504の処理を行う。すなわち、差分画像生成部1504は、X線画像保持部103より、画像1_0と、画像1_ENDとを取得し、取得した画像の各画素の差分を算出して生成し、生成した差分画像を、差分画像保持部1505に格納する。差分画像生成部1504で取得した差分画像の点の位置は、血管1201の領域の位置であることより、差分画像生成部1504従って血管領域取得部105は、血管領域の位置を取得したことになる。
次に、ステップS803で、二値化部1501は、前述の二値化部1501の処理を行う。すなわち、二値化部1501は、差分画像保持部1505より、差分画像を取得し、取得した差分画像を二値化し、二値画像保持部1502に格納する。
次に、細線化部1503は、ステップS804で前述の細線化部1503の処理を行う。すなわち、細線化部1503は、二値画像保持部1502が保持する二値画像を細線化して血管領域保持部106に格納する。細線化部1503で取得した細線化画像の点の位置は、血管1201の領域の位置であることより、細線化部1503は、血管領域の位置を取得したことになる。
次に、血管領域取得部105は、ステップS805で処理を終了する。
血管領域取得部105は、X線撮影部102で撮影された画像2_ENDに対しても、同様の処理を行う。
血管領域保持部106は、血管領域取得部105が取得した血管領域を保持する部である。図29は、血管領域保持部106のデータ構造の一例を示す図である。血管領域保持部106は、画像1_ENDより生成した第一血管領域画像1101と、画像2_ENDより生成した第二血管領域画像1102とを保持する。
対応付け部107は、血管領域保持部106が保持する第一血管領域画像1101の各造影点Pk(k=1,2,…,K。ただし、Kは第一血管領域画像1101における造影点の数。)に対して、第二血管領域画像1102上の対応点の位置を取得する。
図30は、対応付け部107の構成を示す図である。対応付け部107は、対応候補領域取得部1705と、対応候補領域保持部1706と、輝度変化取得部の一例として機能する輝度列取得部1707と、輝度列保持部1708と、類似度算出部の一例として機能する輝度列評価部1709と、輝度列評価保持部1710と、対応領域決定部1711と、対応付け制御部1711とを有する。
図30は、対応付け部107の構成を示す図である。対応付け部107は、対応候補領域取得部1705と、対応候補領域保持部1706と、輝度変化取得部の一例として機能する輝度列取得部1707と、輝度列保持部1708と、類似度算出部の一例として機能する輝度列評価部1709と、輝度列評価保持部1710と、対応領域決定部1711と、対応付け制御部1711とを有する。
対応候補領域取得部1705は、後述の対応付け制御部1701により指定された造影点Pkに対する、対応点の候補となる対応候補点Qk_n(n=1,2,…,N:ただし、Nは対応候補点の数)の位置を取得する。言い換えれば、対応候補領域取得部1705は、造影点Pkの位置と、X線撮影部101とX線撮影部102との位置情報(撮影部情報取得部及び前記位置情報取得部よりそれぞれ取得した各位置情報)より、造影点Pkの位置と、X線撮影部101とX線撮影部102との位置から構成される平面であるエピポーラ平面を算出し、第2の投影画像上について、算出されたエピポーラ平面と第2の投影画像との交線であるエピポーラ線を算出し、複数の第2の画像領域について、算出されたエピポーラ線上にそれぞれ位置する位置情報を取得する。
以下、具体的な方法を、図31の血管領域取得部105が行う処理のフローチャートを用いて説明する。
以下、具体的な方法を、図31の血管領域取得部105が行う処理のフローチャートを用いて説明する。
ステップS1001で、対応候補領域取得部1705は処理を開始する。
次に、ステップS1003で、対応候補領域取得部1705は、撮影部情報保持部104より、並進ベクトルTと、回転ベクトルRと、内部パラメータA1、A2とを取得する。
次に、ステップS1004で、対応候補領域取得部1705は、取得した造影領域に対応するエピポーラ線L2を算出する。エピポーラ線L2は、造影点Pkの対応点が第二画面上に出現しうる直線状の範囲であり、造影点Pkの位置と、X線撮影部101とX線撮影部102との幾何学的な位置関係とに基づいて決定される。ここでは、造影点Pkの位置は、第一血管領域画像1101の血管領域の点であり、本実施形態では、血管領域保持部106が保持する画像上で血管1201を示す値が保持された点の位置である。
図32を用いてエピポーラ線L2の概要を説明する。細線化画像1_ENDにおける造影点Pkは、三次元上の点Jk(以下、三次元点Jk)の投影点である。図32において、202Aは、X線撮影部101のX線発生部202Aを示す。1201は、血管を示す。X線発生器202Aで発生したX線は、血管1201上の三次元点Jkを通過し、X線検出器203A上の一点に投影され、第一画像上では造影点Pkに投影される。
細線化画像1_ENDにおける造影点Pkの位置からのみでは、三次元点Jkの位置を知ることはできないが、X線検出器202Aと、造影点Pkとを結ぶ直線K上のどこかに三次元点Jkが存在することになる。
さて、この直線K上の点は、第二画像1102において、直線上に投影される。この第二画像エピポーラ線L2における直線は、エピポーラ線と呼ばれる。ここでは、エピポーラ線をL2とする。エピポーラ線L2は、X線撮影部102のX線発生部202Bと、X線発生器202Aと、造影点Pkとを通る平面と、第二画像1102の画像平面(又はX線検出部202B)とが交差する直線である。X線撮影部101の位置とX線撮影部102の位置との相対位置情報(並進ベクトルT、回転ベクトルR)と、どのようなカメラで撮影しているかの情報(内部パラメータA1、A2)とがあれば、算出できる。具体的には、対応候補領域取得部1705は、以下の式8、式9の計算を行ってエピポーラ線L2のパラメータl2を算出する。
さて、この直線K上の点は、第二画像1102において、直線上に投影される。この第二画像エピポーラ線L2における直線は、エピポーラ線と呼ばれる。ここでは、エピポーラ線をL2とする。エピポーラ線L2は、X線撮影部102のX線発生部202Bと、X線発生器202Aと、造影点Pkとを通る平面と、第二画像1102の画像平面(又はX線検出部202B)とが交差する直線である。X線撮影部101の位置とX線撮影部102の位置との相対位置情報(並進ベクトルT、回転ベクトルR)と、どのようなカメラで撮影しているかの情報(内部パラメータA1、A2)とがあれば、算出できる。具体的には、対応候補領域取得部1705は、以下の式8、式9の計算を行ってエピポーラ線L2のパラメータl2を算出する。
式8において、Fはファンダメンタル行列と呼ばれる行列であり、A1−Tは、内部パラメータA1の逆行列の転置行列を示し、[T]Xは、並進ベクトルTの歪対称行列を示す。
算出されたエピポーラ線L2のパラメータl2を(a,b,c)Tとしたとき、エピポーラ線L2は、ax+by+c=0となる。
なお、X線発生部202Bと、X線発生器202Aと、造影点Pkとを通る平面は、造影点Pkを通るエピポーラ平面と呼ばれる。
次に、ステップS1005で、対応候補領域取得部1705は、血管領域保持部106より第二血管領域画像1102を取得する。
次に、ステップS1006で、対応候補領域取得部1705は、第二血管領域画像1102で、エピポーラ線L2と交差する点の位置を取得する。以降の説明では、この点を対応候補点Qk_n(n=1,2,…,N。ただし、Nは点の数)と呼ぶ。図32の例では、対応点候補Qk_1とQk_2との座標を取得する。
次に、ステップS1007で、対応候補領域取得部1705は、取得した対応候補点Qk_n(n=1,2,…,N)の位置を、対応点候補保持部1706に格納する。
次に、ステップS1008で、対応候補領域取得部1705は、処理を終了する。
対応候補領域保持部1706は、対応候補領域取得部1705が取得した対応候補点Qk_n(n=1,2,…,N)の座標を保持する部である。図32の場合では、対応候補点Qk_1、Qk_2の座標をそれぞれ取得する。
輝度列取得部1707は、指定された造影点Pkと、対応候補領域保持部1706が保持する対応候補点Qk_n(n=1,2,…,N)に対して輝度列を取得し、輝度列保持部1708に格納する。
造影点Pkの輝度列は、血管1201に造影剤が注入される際に、造影点Pkと同じ位置の輝度がどのように変化するかを示す数値列である。
第3実施形態では、説明を簡単にするために、造影点Pk等の位置の輝度の値そのものを取得して格納する替わりに、造影点Pk等の位置の輝度と、その位置における背景画像の輝度との輝度差の列を輝度列として取得する場合を説明する。ここでは、簡単化のために、時刻0に撮影された画像を背景画像とするが、別途、背景画像のみを取得する構成としても構わない。
図33は、輝度列取得部1707が取得する一例を示すグラフである。図33において、太線2301、実線2302、点線2303は、それぞれ、造影点Pkの輝度列、造影点Pkの対応候補点Qk_1の輝度列、対応候補点Qk_2の輝度列を示すグラフである。グラフの横軸は時刻であり、1メモリは33msecである。グラフの縦軸は、輝度差である。このグラフでは、血管1201に造影剤が注入されて、血管1201に含まれる造影剤の濃度が増えている段階の輝度差を示している。
図34は、輝度列保持部1708が保持する輝度列のデータ構造の一例を示す図である。輝度列取得部1707が取得する輝度列のデータは、造影点Pkの輝度列L_Pk_t(t=0,1,…,END)及び、対応候補点Qk_nの輝度列L_Qk_n_t(n=1,2,…,N、t=0,1,…,END)を有する。
前述したように、輝度列取得部1707は、造影点Pkの位置の輝度l_Pk_t(t=0,1,…,END)と、その位置における背景画像の輝度l_Pk_0との輝度差の値、すなわち、L_Pk_t=l_Pk_t−l_Pk_0の値を取得し、造影点Pkの輝度列とする。なお、l_pk_tは、画像1_tの座標(x、y)の輝度である。
輝度列取得部1707は、対応候補点Qk_n(n=1,2,…,N)に対する輝度列も同様に取得して、輝度列保持部1708に格納する。
輝度列保持部1708は、輝度列取得部1707が取得した輝度列を保持する。図34は、造影点Pkの対応候補点Qk_nが2つある場合(n=1,2の場合)の輝度列保持部1708が保持する輝度列を示す図である。
輝度列評価部1709は、輝度列保持部1708が保持する各対応候補点Qk_n(n=1,2,…,N)の評価を行う部である。図35は、輝度列評価部1709の構成を示す図である。
輝度列評価部1709は、正規化輝度列取得部1721と、正規化輝度列保持部1722と、差合計取得部1720とで構成される。
正規化輝度列取得部1721は、輝度列保持部1708が保持する輝度列を正規化する部である。ここでは、輝度列保持部1708が保持する輝度列のうちの最大値を抽出し、輝度列のそれぞれの値を、抽出した最大値で割った値の列を、正規化輝度列として正規化輝度列保持部1722に格納する。
図33に示す輝度列を正規化した正規化輝度列のグラフを、図36に示す。図36において、太線2501、実線2502、点線2503は、それぞれ、造影点Pkの正規化輝度列、対応候補点Qk_1の正規化輝度列、対応候補点Qk_2の正規化輝度列のグラフをそれぞれ示す。
正規化輝度列保持部1722は、正規化輝度列取得部1721が生成した正規化輝度列を格納する部である。
差合計取得部1720は、正規化輝度列保持部1722が保持する対応候補点Qk_n(n=1,2,…,N)の正規化輝度列が、造影点Pkの正規化輝度列と同じような輝度変化をしているか、異なる輝度変化をしているかの評価値H_n(n=1,2,…,N)を算出し、輝度列評価保持部1710に格納する。第3実施形態では、式10に基づいてその評価を行う。
ここで記号|X|は、Xの絶対値を示す。第3実施形態における評価値H_nは、各時刻における、造影点Pkの正規化輝度と、対応候補点Qk_nの正規化輝度との差分の絶対値の合計である。
図37は、対応候補点Qk_1に対する評価値H_nを示すグラフである。図37において、太線2501、実線2502は、それぞれ、造影点Pkの正規化輝度列、対応候補点Qk_1の正規化輝度列のグラフを示す。対応候補点Qk_1に対する評価値H_nは、図37中の斜線の領域の面積である。
図38は、対応候補点Qk_2に対する評価値H_nを示すグラフである。図38において、太線2501、点線2503は、それぞれ、造影点Pkの正規化輝度列、対応候補点Qk_2の正規化輝度列のグラフを示す。対応候補点Qk_2に対する評価値H_nは、図38の斜線の領域の面積である。
図38は、対応候補点Qk_2に対する評価値H_nを示すグラフである。図38において、太線2501、点線2503は、それぞれ、造影点Pkの正規化輝度列、対応候補点Qk_2の正規化輝度列のグラフを示す。対応候補点Qk_2に対する評価値H_nは、図38の斜線の領域の面積である。
輝度列評価保持部1710は、輝度列保持部1708が取得した各対応候補点Qk_n(n=1,2,…,N)の輝度列の評価値(すなわち、差合計)H_n(n=1,2,…,N)を保持する部である。
対応領域決定部1711は、輝度列評価保持部1710が保持する評価値H_n(n=1,2,…,N)のうち、最も小さい評価値を選択する。対応領域決定部1711は、対応領域決定部1711が選択した評価値がH_nのとき、対応候補点Qk_nを、造影点Pkの対応点Qkに決定する。一例として、対応領域決定部1711は、評価値H_1及びH_2が、それぞれ図37及び図38で示される斜線の面積の場合には、面積が小さい方の対応候補点Qk_1を造影点Pkの対応点Qkに決定する。
対応付け制御部1701は、対応付け部107を構成する各部を用いて対応付けを行うように制御する部である。図39は、対応付け制御部1701が行う処理の流れを示すフローチャートである。
ステップS1401で、対応付け制御部1701は処理を開始する。
次に、ステップS1402で、対応付け制御部1701は、血管領域保持部106より第一血管領域画像1101を取得する。
次に、対応付け制御部1701は、ステップS1402で取得した第一血管領域画像1101で血管領域の黒色の点に対して、ステップS1404からステップS1415の処理を行う。以下の説明では、黒色の点を造影点Pk(k=1,2,…,K:ただし、Kは黒色の点の数)とする。
まず、ステップS1406で、対応付け制御部1701は、対応候補領域取得部1705に処理を指示する。対応候補領域取得部1705は、造影点Pkに対する対応候補点Qk_n(n=1,2,…,N:ただし、Nは対応候補点の数)を取得し、取得した対応候補点Qk_n(n=1,2,…,N)の座標を対応候補領域保持部1706に格納する。
次に、ステップS1407で、対応付け制御部1701は、輝度列取得部1707に処理を指示する。輝度列取得部1707は、造影点Pkと、対応候補領域保持部1706が保持する対応候補点Qk_n(n=1,2,…,N)の輝度列とをそれぞれ取得し、輝度列保持部1708に格納する。
次に、ステップS1408で、対応付け制御部1701は、正規化輝度列取得部1721に処理を指示する。正規化輝度列取得部1721は、輝度列保持部1708が保持する輝度列のうちの最大値を抽出し、輝度列のそれぞれの値を、抽出した最大値で割った値の列を、正規化輝度列として算出することにより、造影点Pkと、対応候補点Qk_n(n=1,2,…,N)の正規化輝度列とをそれぞれ取得し、正規化輝度列保持部1722に格納する。
次に、ステップS1409で、対応付け制御部1701は、差合計取得部1720に処理を指示する。差合計取得部1720は、正規化輝度列保持部1722が保持する対応候補点Qk_n(n=1,2,…,N)の正規化輝度列が、造影点Pkの正規化輝度列と同じような輝度変化をしているか、異なる輝度変化をしているかの評価値H_n(n=1,2,…,N)を算出して、対応候補点Qk_n(n=1,2,…,N)の評価値(すなわち、差合計)を取得し、輝度列評価保持部1710に格納する。
次に、ステップS1410で、対応付け制御部1701は、対応領域決定部1711に処理を指示する。対応領域決定部1711は、造影点Pkの対応点Qkを決定する。すなわち、対応領域決定部1711は、輝度列評価保持部1710が保持する評価値H_nのうち、最も値が低い評価値Hkとなる対応候補点Qk_x(ただし、xは、評価値がHkとなる対応候補点の識別子を示す)を選択する。また、対応領域決定部1711は、最も低い評価値Hkを対応点Qkの評価値とする。
次に、ステップS1411で、対応付け制御部1701の制御の下で、対応領域決定部1711は、造影点Pkの座標と、対応点Qkの座標と、対応点Qkの評価値Hkとを対応情報保持部108に格納して、ステップS1404から始まった処理を終了する。
次に、ステップS1499で、対応付け制御部1701は処理を終了する。
対応情報保持部108は、対応付け部107が取得した、造影点Pk(k=1,2,…,K:Kは造影点の数)の座標と、対応点Qk(k=1,2,…,K)の座標と、対応点Qkの評価値Hk(k=1,2,…,K)とを格納する部である。図40は、対応情報保持部108のデータ構造の一例を示す。初期状態では、対応情報保持部108が保持する組合せの数は0個であるが、対応付け制御部1701のステップS1411の処理が行われる度に、一行ずつデータが対応情報保持部108に追加される。
図21の三次元位置取得部109は、対応情報保持部108が保持するそれぞれの行の造影点Pkの座標と、それぞれの行の対応点Qkの座標を用いて、三角測量の原理を用いて、三次元上の三次元点Jkの座標を算出し、算出したJk(k=1,2,…,K)の座標を三次元位置保持部110に格納する。
三次元位置保持部110は、三次元位置取得部109が算出した三次元点Jk(k=1,2,…,K)の座標を保持する。図41は、三次元位置保持部110のデータ構造の一例を示す図である。K行目には、(JK_X、JK_Y、JK_Z)を保持する。JK_X、JK_Y、JK_Zは、それぞれ、三次元点JKのX座標、Y座標、Z座標を示す。
表示画面生成部111は、三次元位置保持部110が保持する三次元点Jk(k=1,2,…,K)を表示するCG(コンピュータグラフィックス)の画面を生成する。図42は、表示画面生成部111が生成する表示画面の一例を示す図である。なお、ここでの三次元表示は表示方法の一例として、各三次元点を球として表示する場合を示すが、他の表示方法であっても構わない。三次元表示は、たとえば、ポリゴン表示などであっても構わない。
表示部112は、表示画面生成部111が生成した画面を表示する。表示部112は、具体的には、ディスプレイ装置、又は、プロジェクター投影装置等の表示装置である。
<形状復元装置1の処理の流れ>
図43は、形状復元装置1が行う処理のフローチャートを示す。
図43は、形状復元装置1が行う処理のフローチャートを示す。
まず、ステップS1901で、形状復元装置1は処理を開始する。
次に、ステップS1902で、X線画像取得部113は、前述のX線画像取得部113の処理を行う。すなわち、X線撮像部101〜102よりX線画像を取得し、X線画像保持部103に格納する。
次に、ステップS1903で、血管領域取得部105は、前述した血管領域取得部105の処理を行う。すなわち、血管領域取得部105は、X線画像保持部103が保持する画像に基づいて、第一血管領域画像1101と、第二血管領域画像1102とをそれぞれ取得し、血管領域保持部106に格納する。
次に、ステップS1904で、対応付け部107は、前述の対応付け部107の処理を行う。すなわち、対応付け部107は、血管領域保持部106に保持された第一血管領域画像1101の各造影点Pk(k=1,2,…,K)の対応点Qkを決定し、対応情報保持部108に対応情報を格納する。
次に、ステップS1905で、三次元位置取得部109は、前述の三次元位置取得部109の処理を行う。すなわち、三次元位置取得部109は、対応情報保持部108より、第一血管領域画像1101の各造影点Pk(k=1,2,…,K)に対して、三次元点Jkの三次元位置を算出し、三次元位置保持部110に格納する。
次に、ステップS1906で、表示画像生成部111は、三次元位置保持部110に保持された三次元点Jkの三次元位置を基に、各三次元点Jk(k=1,2,…,K)を表示するCGの画面を生成する。
次に、ステップS1907で、表示部112は、表示画像生成部111が生成した表示画面を表示する。その後、ステップS1908で一連の処理を終了する。
<形状復元装置1が行う処理の原理>
血管1201に造影剤を投入すると、血管1201上の三次元点Jkに存在する造影剤の量は、時間と共に変化する。そのとき、三次元点Jkを撮影した造影点Pk、及び、対応点Qkの輝度も変化する。形状復元装置1は、造影点Pkと、複数の対応候補点Qk_n(n=1,2,…,N)との輝度の変化の情報をそれぞれ取得し、輝度変化の情報の類似度を評価して、対応候補点Qk_nの中から対応点Qkを対応領域決定部1711で決定する装置である。
血管1201に造影剤を投入すると、血管1201上の三次元点Jkに存在する造影剤の量は、時間と共に変化する。そのとき、三次元点Jkを撮影した造影点Pk、及び、対応点Qkの輝度も変化する。形状復元装置1は、造影点Pkと、複数の対応候補点Qk_n(n=1,2,…,N)との輝度の変化の情報をそれぞれ取得し、輝度変化の情報の類似度を評価して、対応候補点Qk_nの中から対応点Qkを対応領域決定部1711で決定する装置である。
まず、血管1201上の三次元点Jkの造影剤の量の変化について説明する。ある三次元点Jkにおける造影剤の量の変化を図44に示す。造影剤を投入する前(時刻T2より前の時間)は、造影剤は流れていないが、時刻T2より徐々に造影剤が流れ始め、時刻T3で一定となり、時刻T4よりやがて徐々に減少していき、時刻T5で造影剤が流れていない状態になる。
このような血管1201に含まれる造影剤の量の時間変化は、血管のどの部分かによって異なる。例えば、造影剤を噴出した地点から近い位置では、造影剤が流れ始める時刻T2での造影剤の量の時間変化は早いが、造影剤を噴出した地点から遠い位置では、造影剤が流れ始める時刻T2での造影剤の量の時間変化は遅くなる。同様に、造影剤が減少する時刻T4での造影剤の量の時間変化も、血管のどの部分かによって異なる。
また、造影剤が流れ始める時刻T2から、一定となるまでの時刻T3での造影剤の量の時間変化も、血管のどの部分かによって異なる。例えば、血液が、上向きに流れる部分では、重力に逆らって造影剤が流れるので、造影剤が濃くなるのに時間がかかる。よって、造影剤の濃度が一定となるまでにかかる時間(T3−T2)が長い。逆に、造影剤が下向きに流れる部分では、重力によって造影剤の速度が速くなる。よって、造影剤の濃度が一定となるまでの時間(T3−T2)は短い。また、狭い血管では血液は早く、一定となるまでの時間(T3−T2)は短く、逆に、広い血管では血液がゆっくり流れるため、一定となるまでの時間(T3−T2)は長い。以上のように、血管のある部分に流れている造影剤の量は時間によって変化するが、その変化の仕方は、血管の場所によって異なる。同様に、造影剤が減少を開始する時刻から減少が完了するまでにかかる時間(T5−T4)も、血管のどの部分かによって異なる。
次に、三次元点Jkの造影剤の濃度が変化したときの造影点Pkと、対応点Qkとの輝度の変化を説明する。三次元点JkのX線画像に投影した造影点Pkの輝度変化は、三次元点Jkにおける造影剤の濃度の変化と同じ傾向で変化する。三次元点Jkにおける造影剤の濃度が濃くなると、造影点Pkと、対応点Qkとの輝度は暗くなり、三次元点Jkにおける造影剤の濃度が薄くなると、造影点Pkと、対応点Qkとの輝度は明るくなるため、造影剤の濃度の変化と同じ傾向で変化するのは、当然の結果である。
図33は、ある三次元点Jkを異なる2つの方向から撮影した際の輝度列である。図33において太線2301は、三次元点Jkの造影点Pkの輝度列であり、実線2302は、造影点Pkの対応点Qkの輝度列である。また、点線2303は、三次元点Jkとは別の三次元点Jx(x≠k)を造影点Pkが撮影された画像が撮影された時とは別の方向から撮影した対応点Qxの輝度変化である。グラフの横軸は時刻であり、1メモリは33msecである。縦軸は差分画像の輝度である。このグラフでは、造影剤が注入されてから一定の濃度になるまでの途中の段階の輝度を示している。また、このグラフにおいて、造影点Pkと対応点Qkとの輝度列の輝度変化の増減の傾向は似ているが、造影点Pkと対応点Qxとの輝度列の輝度変化は似ていない。
しかし、図33に示したように、造影点Pkの輝度と対応点Qkの輝度とは、輝度そのものは一致しない。例えば、時刻13(図中0.4secの時刻)における造影点Pkの輝度は「56」であるのに対して、その対応点Qkの輝度は「46」となる。
このような輝度の差が発生する理由は、血管1201の断面形状と関連する。以下、図45と図46を用いてこれを説明する。図45は血管1201の一例を示す図である。X線画像1211は、X線撮影部101で撮影したX線画像を示し、血管像1221は、X線画像1211における血管1201の像である。同様に、X線画像1212は、X線撮影部102で撮影したX線画像を示し、血管像1222は、X線画像1212における血管1201の像である。また、Jk、Pk、Qkはそれぞれ、三次元点Jkと、三次元点Jkの造影点Pkと、造影点Pkの対応点Qkとを示す。図46は、三次元点Jkと造影点Pkと対応点Qkを通る平面(エピポーラ平面)を、図45の+Y方向から−Y方向に見た図である。血管断面361は血管1201の断面形状であり、図46に示すように楕円形状である。(特別な場合を除き、血管1201の楕円形状は楕円となる)。厚さ3621は、造影点Pkに到達するX線が通過する血管1201の厚さであり、厚さ3622は、造影点Qkに到達するX線が通過する血管1201の厚さである。血管1201の断面形状が(円でなく)楕円であることより、この2つの厚さ3621と3622とは異なる厚さとなる。造影点Pkに到達するX線は、より厚い血管断面を通過するため、対応点Qkの輝度よりも暗い輝度(背景との輝度差は小さく)となる。このように、血管1201上の三次元点Jkを撮影した造影点Pk(又は対応点Qk)の輝度は、通過する血管1201の厚さが厚いほど暗い値になる。しかし、通過する血管1201の厚さは、血管1201を撮影する方向によって異なるため、同じ三次元点Jkを投影した点であっても、撮影方向によって異なる輝度となる。
このような撮影方向による輝度の差をなくすために、第3実施形態では輝度列を正規化し、正規化輝度列同士を比較して対応点を決定している。
第3実施形態では、正規化輝度列同士の比較に、式10の差分合計の式を用いる。造影点Pkの正規化輝度列と対応点Qk正規化輝度列との変化の傾向が一致している場合、各時刻における正規化輝度の値は等しい値になる。よって、それぞれの時刻における正規化輝度の差の絶対値を輝度列評価部1709で算出し、その合計を算出すれば理論的には0になる。そこで、第3実施形態では、輝度列評価部1709において式10の値を評価値とし、評価値の値が最も低い対応候補点Qk_nを造影点Pkの対応点Qkと輝度列評価部1709で決定している。
<第3実施形態の効果>
本手法にかかる画像領域対応付け装置及び3次元モデル生成装置では、造影点Pkの対応点候補Qk_n(n=1,2,…,N)が、エピポーラ線L2上に複数存在するときに、正規化輝度列の変化に基づいて対応点を決定できる。
本手法にかかる画像領域対応付け装置及び3次元モデル生成装置では、造影点Pkの対応点候補Qk_n(n=1,2,…,N)が、エピポーラ線L2上に複数存在するときに、正規化輝度列の変化に基づいて対応点を決定できる。
第一に、造影剤が注入された造影点Pkのそれぞれに対して、対応点を決定できる。非特許文献1の方法では、血管領域の端点のみしか血管の対応付けを行うことが出来なかったのに対して、第3実施形態にかかる本手法にかかる画像領域対応付け装置及び3次元モデル生成装置では、端点以外の点に対しても対応付けが出来、より、細かい形状の復元を行うことが出来る。
本手法では、造影点Pkの正規化輝度と、造影点Pkの対応候補点Qk_nの正規化輝度との各時刻の差の和を評価値としている。このような評価値を用いれば、造影点Pkに対する対応点Qkの評価値は(対応点以外の対応候補点の評価値の値よりも)小さな値となるため、評価値に基づいて対応点を決定することが出来る。
第二に、血管1201の断面形状が楕円になるような場合でも、造影点Pkの対応付けができる。
図47の2つの図は、図45におけるX線画像1211〜1212をそれぞれ拡大して表示した図である。X線画像1211における血管像1221は、暗い部分3811(輝度が低い部分、すなわち、背景との輝度差が高い部分)と、明るい部分3821(輝度が高い部分、すなわち背景との輝度差が低い部分)となる。明るい部分3821は実際にはグラデーションになっており、上に向かって徐々に明るくなっている。血管1201に注入された造影剤は、周囲の血液と混ざるため、端に近づくに従ってこのように徐々に造影剤の濃度が薄くなる。すなわち、輝度が高く(明るく)なっている。血管端点3831は、血管像1221の端点である。X線画像1211において暗い部分3811として撮影される血管部分は、X線画像1212において明るい部分3812となる。これは、前述したように、X線画像1211とX線画像1212とで、血管像の輝度が異なるためである。また、X線画像1211において明るい部分3811として撮影される血管部分は、X線画像1212においてはより明るくなるので、抽出できなくなる(図47の右図中で、点線で囲まれた範囲が抽出できない部分である。)。よって、血管像1222の端点は3822の位置となる。そのため、X線画像1211で抽出される端点3831と、X線画像1212で抽出される端点3822とは、三次元上の異なる点の投影点となる。このとき、端点3831に対するエピポーラ線3841上に対応点が存在しないため、端点同士の対応付けを行うことが出来ない。また、ここでは、血管1201が一本しかない場合を説明しているが、たまたま他の血管の端点がエピポーラ線3841の上にあった場合、その血管を誤対応させてしまう。本手法では、造影点Pk及び対応候補点Qk_nの輝度変化を正規化して比較するため、造影点Pkと対応点Qkとの輝度が異なる場合においても、輝度列を比較することで、正しく対応付けを行うことができる。また、特定の時刻で、造影点Pkと対応点Qx(x≠k)との輝度が、たまたま等しくなる場合においても、輝度列を比較することで、正しく対応付けを行うことができる。
なお、第3実施形態では、対応候補点Qk_nの評価値を算出する際、一旦、正規化輝度列を生成して、正規化輝度列同士を比較する構成を説明しているが、X線撮影部101とX線撮影部102との方向が近い場合(あるいは180度差に近い場合)には、輝度列そのものを比較する構成であっても構わない。
なお、第3実施形態では、X線画像取得部113が処理を開始した後に造影剤の注入が開始される場合を説明しているが、造影剤の注入が既に開始されている段階で、X線画像取得部113が処理を開始しても構わない。
なお、第3実施形態では、入力IF114によって、画像取得の終了の指示された後に、血管領域取得部105は処理を行う場合を説明しているが、画像取得部113がX線画像を取得する度に、後続のステップS1903からステップS1907の処理を行う構成であっても構わない。このような構成を用いれば、血管1201に造影剤が広がる途中のタイミングにおいても、操作者(術者)は表示装置112を見ることで、血管1201の三次元構成を確認することが出来る。
なお、第3実施形態では、造影点Pkの対応候補点Qk_n(n=1,2,…,N)のうち、最も評価値の良い対応候補点Qk_nを表示画像生成部111で生成して表示部112で表示する構成を説明している。しかし、造影点Pkの対応点が必ず撮影されているとは限らない。例えばX線撮影部102では撮影されない位置に三次元点Jkが存在する場合、対応点は撮影されない。そこで、最も良い評価値が所定の閾値よりも悪い場合(ここでは、対応候補点の評価値のうち、最も小さい値が所定の評価値よりも大きい場合)には、その対応候補点Qk_nを表示部112で表示しない構成としても構わない。また、前記の所定の閾値を表示部112に入力する手段を設けても構わない。その場合、表示部111は、評価値の値が所定の閾値よりも小さい対応点のみを表示する。
なお、第3実施形態における輝度列取得部1707は、各時刻の輝度と、背景画像の輝度との差の輝度列を取得とする構成を示しているが、各時刻の輝度そのものの輝度列を取得する構成としてもよい。その場合は、正規化を行う際に、輝度列の最小値と、最大値を取得して、{(輝度)―(最小値)}/{(最大値)−(最小値)}の値の列を正規化輝度列とする。
なお、第3実施形態では、並進ベクトルTと、回転ベクトルRと、内部パラメータA1、A2との撮影部情報を撮影部情報保持部104に予め保持する構成を示ししているが、これらの情報を、X線撮影部101及びX線撮影部102の各X線発生部202と各X線検出部203との位置から、撮影部情報保持部104が随時取得して保持する構成であっても構わない。
なお、第3実施形態における血管領域取得部105は、画像1_END、画像2_ENDから、造影剤が投入された血管1201の領域を取得する構成を説明しているが、血管領域取得部105は、各時刻で造影剤が投入された領域を取得し、その和となる領域を血管領域としても構わない。このような構成を用いれば、時刻ENDで血管領域として抽出しそこねた範囲があったとしても、他の時刻で血管領域として抽出できれば、最終的には、その領域を含めて血管領域として血管領域取得部105で抽出することが出来る。
なお、第3実施の形態における血管領域取得部105の細線化部1503の処理は省略しても構わない。細線化部1503の処理は、対応付け部107で対応点を見つける対象となる造影点Pkの数を削減するための処理であり、細線化部1503の処理を省略すると、対応付け部107の処理時間が長くなる。
なお、第3実施形態における輝度列評価部1709は、造影点Pkと対応候補点Qk_nの正規化輝度列を比較し、輝度差の合計を評価値としているが、輝度差の最大値を評価値とする構成であっても構わない。
(第4実施形態)
本発明の第3実施形態では、造影点Pkに対する各対応候補点Qk_n(n=1,2,…,N)に対して式10で示される差合計を差合計取得部1720で取得し、差合計が最小となる対応候補点Qk_nを造影点Pkの対応点Qkに対応領域決定部1711で決定している。
これに対して、本発明の第4実施形態では、差合計を用いる替わりに、所定比時刻を用いる。所定比時刻とは、造影点Pk(又は対応候補点Qk_n)の輝度が、その点の最大の輝度に対して所定の比率(所定比)(例えば、80%又は50%)に到達する時刻のことである。図48を用いて所定比時刻を説明する。図48において、2501は造影点Pkの正規化輝度列のグラフ、2502は造影点Pkの対応点Qkの正規化輝度列のグラフ、2503は、X線撮影部102によって撮影された対応点Qk以外の対応点Qx(x≠k)の正規化輝度列のグラフを示す。2801〜2803は、所定比率(所定比)を0.8(80%)としたときの、造影点Pk,対応点Qk,対応点Qxのそれぞれの所定比時刻である。2811〜2813は、所定比率(所定比)を0.5(50%)としたときの、造影点Pk,対応点Qk,対応点Qxのそれぞれの所定比時刻である。
本発明の第3実施形態では、造影点Pkに対する各対応候補点Qk_n(n=1,2,…,N)に対して式10で示される差合計を差合計取得部1720で取得し、差合計が最小となる対応候補点Qk_nを造影点Pkの対応点Qkに対応領域決定部1711で決定している。
これに対して、本発明の第4実施形態では、差合計を用いる替わりに、所定比時刻を用いる。所定比時刻とは、造影点Pk(又は対応候補点Qk_n)の輝度が、その点の最大の輝度に対して所定の比率(所定比)(例えば、80%又は50%)に到達する時刻のことである。図48を用いて所定比時刻を説明する。図48において、2501は造影点Pkの正規化輝度列のグラフ、2502は造影点Pkの対応点Qkの正規化輝度列のグラフ、2503は、X線撮影部102によって撮影された対応点Qk以外の対応点Qx(x≠k)の正規化輝度列のグラフを示す。2801〜2803は、所定比率(所定比)を0.8(80%)としたときの、造影点Pk,対応点Qk,対応点Qxのそれぞれの所定比時刻である。2811〜2813は、所定比率(所定比)を0.5(50%)としたときの、造影点Pk,対応点Qk,対応点Qxのそれぞれの所定比時刻である。
図49は、第4実施形態における形状復元装置(3次元モデル生成装置)1Aの構成を示す図である。形状復元装置1Aは、一例として、画像領域対応付け装置9Aと、3次元モデル生成部16Aと、表示部112とを備える。
さらに、画像領域対応付け装置9Aは画像領域対応付け装置93と類似し、3次元モデル生成部16Aは3次元モデル生成部163と類似しているが、以下の点が異なる。
形状復元装置1Aでは、第3実施形態における対応付け部107の替わりに、対応付け部107Aを用いる。図50は、対応付け部107Aの構成を示す図である。対応付け部107Aは、輝度列評価部1709と対応付け制御部1701との替わりに、それぞれ、輝度列評価部1709Aと対応付け制御部1701Aとを用いる。輝度列評価部1709Aは、図80に示すように、正規化輝度列取得部1721と、正規化輝度列保持部1722と、所定比時刻取得部1731と、所定比時刻保持部1732と、所定比時刻差取得部1733とで構成される。このうち、正規化輝度列取得部1721と、正規化輝度列保持部1722とは、第3実施形態の正規化輝度列取得部1721と、正規化輝度列保持部1722と同様である。以下、第3実施形態と異なる点を中心に説明する。なお、他の実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
さらに、画像領域対応付け装置9Aは画像領域対応付け装置93と類似し、3次元モデル生成部16Aは3次元モデル生成部163と類似しているが、以下の点が異なる。
形状復元装置1Aでは、第3実施形態における対応付け部107の替わりに、対応付け部107Aを用いる。図50は、対応付け部107Aの構成を示す図である。対応付け部107Aは、輝度列評価部1709と対応付け制御部1701との替わりに、それぞれ、輝度列評価部1709Aと対応付け制御部1701Aとを用いる。輝度列評価部1709Aは、図80に示すように、正規化輝度列取得部1721と、正規化輝度列保持部1722と、所定比時刻取得部1731と、所定比時刻保持部1732と、所定比時刻差取得部1733とで構成される。このうち、正規化輝度列取得部1721と、正規化輝度列保持部1722とは、第3実施形態の正規化輝度列取得部1721と、正規化輝度列保持部1722と同様である。以下、第3実施形態と異なる点を中心に説明する。なお、他の実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
所定比時刻取得部1731は、正規化輝度列保持部1722が保持する各正規化輝度列より、造影点Pk(又は対応候補点Qk_n)の輝度が、その点の最大の輝度に対して所定の比率に到達する時刻を取得し、所定比時刻保持部1732に格納する。具体的には、所定比時刻取得部1731は、造影点Pkに対する正規化輝度列より、所定比率に到達する時刻を取得し、所定比時刻保持部1732に格納する。また、所定比時刻取得部1731は、造影点Pkの対応候補点Qk_n(n=1,2,…,N)に対する正規化輝度列より、所定比率になる時刻を取得し、所定比時刻保持部1732に格納する。ここでは、一例として、所定比率は、第一所定比率S_1=0.5と、第二所定比率S_2=0.8との二つとする。
以降の説明では、所定比時刻取得部1731は、において、対応候補点Qk_n(n=1,2,…,N)に対する第一所定比時刻をそれぞれ、Tk_n_1(n=1,2,…,N)とし、第二所定比時刻をTk_n_2(n=1,2,2,…,N)とする。また、造影点Pkに対する第一所定比時刻をTk_p_1とし、第二所定比時刻をTk_p_2とする。
所定比時刻取得部1731は、図48の場合では、2801〜2803の時刻(例えば、0.3、0.325、0.366)と、2811〜2813の時刻(例えば、0.25、0.275、0.325)とをそれぞれ取得する。
所定比時刻保持部1732は、所定比時刻取得部1731が取得した時刻を保持する部である。具体的には、所定比時刻保持部1732は、造影点Pに対する第一所定比時刻Tk_p_1と、第二所定比時刻Tk_p_2と、対応候補点Qk_n(n=1,2,…,N)に対する第一所定比時刻Tk_n_1(n=1,2,…,N)と、第二所定比時刻Tk_n_1(n=1,2,…,N)とをそれぞれ保持する。図51は、所定比時刻保持部1732が保持する所定比時刻のデータ構造の一例を示す図である。データのs行目は、造影点Pkと対応候補点Qk_n(n=1,2,…,N。ただし、ここではn=1、2の場合を示す。)の第s所定比時刻を保持する。(ここでは、s=1、2)。
所定比時刻差取得部1733は、所得比時刻保持部1732が保持する所定比時刻Tk_n_s(s=1,1.1,…,S。ただし、第4実施形態では、所定比時刻の数S=2。)に基づいて造影点Pkの対応候補点Qk_nの評価値を取得し、輝度列評価保持部1710に格納する。具体的には、所定比時刻差取得部1733は、各対応候補点Qk_n(n=1,2,…,N)に対して式11の評価値を算出し、算出した評価値を輝度列評価保持部1710に格納する。
第4実施形態では、S=2(所定比時刻を2つ)とし、式12とする。
式12は、造影点Pkの第一所定比時刻Tk_p_1と、対応候補点Qk_nの第一所定比時刻Tk_n_1との両者の時刻が近い程、両者の差は小さい値である。また、造影点Pkの第二所定比時刻Tk_p_2と、対応候補点Qk_nの第二所定比時刻Tk_n_2の時刻との両者の時刻が近い程、両者の差は小さい値である。第4実施形態では、式12の値を評価値H_nとすることで、対応候補点Qk_n(n=1,2,…,N)の中から、造影点Pkの輝度変化の情報と似ている対応候補点を対応領域決定部1711で選択する。
対応付け制御部1701Aは、対応付け部107Aを構成する各部を用いて対応付けを行う部である。図52は、対応付け制御部1701Aが行う処理の流れを示すフローチャートである。ステップS1409の替わりに、ステップS1409AとステップS14091とを実行する。他の処理は、第3実施形態と同様であるため、説明を省略する。
ステップS1408の次にステップS1409Aにおいて、対応付け制御部1701Aは、所定比時刻取得部1731に処理を指示する。所定比時刻取得部1731は、前述の所定比時刻取得部1731の処理を行う。すなわち、所定比時刻取得部1731は、造影点Pkと対応候補点Qk_n(n=1,2,…,N)とのそれぞれの所定比時刻を取得して、所定比時刻保持部1732に格納する。
次に、ステップS14091において、対応付け制御部1701Aは、所定比時刻差取得部1733に処理を指示する。所定比時刻差取得部1733は、所得比時刻保持部1732が保持する所定比時刻Tk_n_s(s=1,1.1,…,S。ただし、第4実施形態では、所定比時刻の数S=2。)に基づいて造影点Pkの対応候補点Qk_n(n=1,2,…,N)に対する評価値を取得し、輝度列評価保持部1710に格納する。その後、ステップS1410の処理を行う。
<形状復元装置1Aの処理の流れ>
図43のステップS1904において、対応付け部107Aは、前述の対応付け部107Aの処理を行う。すなわち、対応付け部107Aは、造影領域の各造影点Pkの対応点Qkを決定し、対応情報保持部108に対応情報を格納する。他は、第3実施形態の場合と同様である。
図43のステップS1904において、対応付け部107Aは、前述の対応付け部107Aの処理を行う。すなわち、対応付け部107Aは、造影領域の各造影点Pkの対応点Qkを決定し、対応情報保持部108に対応情報を格納する。他は、第3実施形態の場合と同様である。
なお、対応情報保持部108は、造影点Pkと対応点Qkとの位置に加えて、造影点Pk又は対応点Qkにおける第二所定比時刻と第一所定比時刻との差Skを格納する構成としても構わない。差Skは、血液の流れが早い所では小さな値となり、血液の流れ遅いところでは大きな値となる。よって、差Skを取得することで、造影点Pkにおける血液の速度の目安を取得することが出来る。また、表示画面生成部111は、この血液の速度に基づいて表示画面を生成する。具体的には、表示画面生成部111は、例えば、差Skが第一の所定の値よりも大きいところの血管は黄色で表示し、それ以外のところは赤で表示するように表示画面を生成することができる。このような表示を行えば、血管の速度が速い場所を提示することが出来る。更に、表示画面生成部111は、差Sが第二の所定の値よりも小さいところの血管を青色で表示するように表示画面を生成することができる。このような表示を行えば、血管の速度が遅い場所を提示することが出来る。
<第4実施形態の効果>
第4実施形態では、第3実施形態と同様の効果が得られる。
第4実施形態では、第3実施形態と同様の効果が得られる。
なお、ここでは、X線撮像装置造影剤の量が増加する様子を、X線撮影部101〜102で撮影する場合を説明しているが、造影剤が減少する様子をX線撮影部101〜102で撮影する構成としても構わない。その場合は、正規化輝度列が所定比を上回る最初の時刻を取得する替わりに、正規化輝度列が所定比を下回る最初の時刻を取得する。
(第5実施形態)
第3実施形態では、各対応候補点Qk_n(n=1,2,…,N)より、所定比時刻を取得し、対応候補点Qk_nの中から、造影点Pkと所定比時刻とが近い対応候補点Qk_xを対応点Qkに選択している。
これに対して、本発明の第5実施形態では、所定比時刻を取得する替わりに、微分輝度列のピーク時刻を取得する。微分輝度列は、輝度列を微分した値の列であり、ピーク時刻は、微分輝度列が最大になる時刻である。第5実施形態では、各対応候補点Qk_n(n=1,2,…,N)に対するピーク時刻を取得し、対応候補点Qk_nの中から、造影点Pkとピーク時刻が近いものを対応点Qkに選択する。
第3実施形態では、各対応候補点Qk_n(n=1,2,…,N)より、所定比時刻を取得し、対応候補点Qk_nの中から、造影点Pkと所定比時刻とが近い対応候補点Qk_xを対応点Qkに選択している。
これに対して、本発明の第5実施形態では、所定比時刻を取得する替わりに、微分輝度列のピーク時刻を取得する。微分輝度列は、輝度列を微分した値の列であり、ピーク時刻は、微分輝度列が最大になる時刻である。第5実施形態では、各対応候補点Qk_n(n=1,2,…,N)に対するピーク時刻を取得し、対応候補点Qk_nの中から、造影点Pkとピーク時刻が近いものを対応点Qkに選択する。
図53は、第5実施形態における形状復元装置(3次元モデル生成装置)1Bの構成を示す図である。形状復元装置1Bは、一例として、画像領域対応付け装置9Bと、3次元モデル生成部16Bと、表示部112とを備える。
さらに、画像領域対応付け装置9Bは図21の画像領域対応付け装置93と類似し、3次元モデル生成部16Bは図21の3次元モデル生成部163と類似しているが、以下の点が異なる。
形状復元装置1Bでは、第3実施形態における対応付け部107の替わりに対応付け部107Bを用いる。図54は、対応付け部107Bの構成を示す図である。対応付け部107Bでは、対応付け制御部1701と輝度列評価部1709との替わりに、対応付け制御部1701Bと輝度列評価部1709Bとを用いる。なお、他の実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
さらに、画像領域対応付け装置9Bは図21の画像領域対応付け装置93と類似し、3次元モデル生成部16Bは図21の3次元モデル生成部163と類似しているが、以下の点が異なる。
形状復元装置1Bでは、第3実施形態における対応付け部107の替わりに対応付け部107Bを用いる。図54は、対応付け部107Bの構成を示す図である。対応付け部107Bでは、対応付け制御部1701と輝度列評価部1709との替わりに、対応付け制御部1701Bと輝度列評価部1709Bとを用いる。なお、他の実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
輝度列評価部1709Bは、対応候補点Qk_n(n=1,2,…,N)の評価を行う。輝度列評価部1709Bの構成を図55に示す。輝度列評価部1709Bは、微分輝度列取得部1741と、微分輝度列保持部1742と、ピーク時刻取得部1743と、ピーク時刻保持部1744と、時刻差取得部1745とを有する。
微分輝度列取得部1741は、輝度列保持部1708が保持する輝度列を微分して微分輝度列を生成し、微分輝度列保持部1742に格納する。
ここでは、処理を簡単にするために、時刻0における微分輝度列の値を0とし、時刻tにおける微分輝度列の値をL_Pk_t−L_Pk_(t−1)とする。すなわち、時刻tにおける微分輝度列の値は、時刻tにおける輝度列の値と、時刻(t−1)における輝度列の値との差とする。輝度列の値が図24の値の場合の微分輝度列のデータ構造の一例を図56に示す。ただし、紙面の関係で、造影点Pkと対応候補点Qk_2との微分輝度列のみを記載している。図57は、図56の輝度列となる造影点Pk、対応点Qk,対応点Qx(x≠k)に対する微分輝度列を示すグラフである。図57において、太線4301、実線4302、点線4303は、それぞれ、造影点Pkの微分輝度列であり、造影点Pkの対応候補点Qk_1(造影点Pkの対応点Qk)の微分輝度列であり、造影点Pkの対応候補点Qk_2(造影点Px(x≠k)の対応点Qx)の微分輝度列である。
なお、微分輝度列取得部1741は、輝度列保持部1708が保持する輝度列を平滑化してから、微分輝度列を取得する構成であっても構わない。また、微分輝度列取得部1741は、取得した微分輝度列を平滑化して、微分輝度列保持部1742に格納する構成であっても構わない。
微分輝度列保持部1742は、微分輝度列取得部1741が生成した微分輝度列を保持する。微分輝度列保持部1742は、一例として、図56のデータ構造の微分輝度列を保持する。また、微分輝度列保持部1742は、例えば図57のグラフで示される微分輝度列を保持する。
ピーク時刻取得部1743は、微分輝度列保持部1742が保持する微分輝度列から、微分輝度が最大となるピーク時刻を取得し、ピーク時刻保持部1744に格納する。一例として、ピーク時刻取得部1743は、図57におけるピーク時刻4311〜4313を取得し、ピーク時刻保持部1744に格納する。
ピーク時刻保持部1744は、微分輝度列取得部1741が取得した微分輝度列のピーク時刻を保持する。図58は、ピーク時刻保持部1744のデータ構成を示す図である。ピーク時刻保持部1744は、造影点Pkのピーク時刻PEk_pと、造影点Pkの対応候補点Qk_n(n=1,2,…,N)のピーク時刻PEk_nとを保持する。図58はN=2の場合の構成である。図59は、ピーク時刻保持部1744が保持するデータの一例を示す図。図59は、微分輝度列が図57の場合に保持するピーク時刻を示す。
時刻差取得部1745は、ピーク時刻保持部1744が保持するピーク時刻に基づいて、対応候補点Qk_n(n=1,2,…,N)の評価値を算出する。評価値の算出は式13を用いる。
すなわち、時刻差取得部1745は、造影点Pkのピーク時刻PEk_pと、対応候補点Qk_n(n=1,2,…,N)のピーク時刻PEk_nの差を評価値とする。ピーク時刻が図59の場合には、H_1=|9−9|=0、H_2=|9−11|=2となる。
式13は、造影点Pkのピーク時刻PEk_pと、対応候補点Qk_nのピーク時刻PEk_nとが近いほど、評価値は小さい価である。第5実施形態では、式13を評価値に用いることで、対応候補点Qk_nの中から、造影点Pkの輝度変化と似ている対応候補点を選択する。
対応付け制御部1701Bは、対応付け部107Bを構成する各部を用いて対応付けを行う部である。図60は、対応付け制御部1701Bが行う処理の流れを示すフローチャートである。図39の第3実施形態における対応付け制御部1701が行う処理の、ステップS1408〜ステップS1409の替わりに、ステップS1408Bと、ステップS1409Bと、ステップS14091Bとを実行する。他の処理は第3実施形態と同様であるため、説明を省略する。
ステップS1407の次にステップS1408Bにおいて、微分輝度列取得部1741は、前述の微分輝度列取得部1741の処理を行う。すなわち、微分輝度列取得部1741は、輝度列保持部1708が保持する輝度列を微分して微分輝度列を生成することにより、造影点Pkと対応候補点Qk_nとの微分輝度列を取得し、微分輝度列保持部1742に格納する。
ステップS1409Bで、ピーク時刻取得部1743は、前述のピーク時刻取得部1743の処理を行う。すなわち、ピーク時刻取得部1743は、微分輝度列保持部1742が保持する微分輝度列から、微分輝度が最大となるピーク時刻PEk_p、PEk_n(n=1,2,…,N)を取得し、ピーク時刻保持部1744に格納する。
ステップS14091Bで、時刻差取得部1745は、前述の時刻差取得部1745の処理を行う。すなわち、時刻差取得部1745は、ピーク時刻保持部1744が保持するピーク時刻に基づいて、各対応候補点Qk_n(n=1,2,…,N)に対して、評価値H_nを算出する。その後、ステップS1410の処理を行う。
<形状復元装置1Bの処理の流れ>
図43のステップS1904において、対応付け部107Bは、前述の対応付け部107Bの処理を行う。すなわち、対応付け部107Bは、造影領域の各造影点Pkの対応点Qkを決定し、対応情報保持部108に対応情報を格納する。他は、第3実施形態の場合と同様である。
図43のステップS1904において、対応付け部107Bは、前述の対応付け部107Bの処理を行う。すなわち、対応付け部107Bは、造影領域の各造影点Pkの対応点Qkを決定し、対応情報保持部108に対応情報を格納する。他は、第3実施形態の場合と同様である。
<第5実施形態の効果>
第5実施形態では、第3実施形態と同様の効果が得られる。
第5実施形態では、第3実施形態と同様の効果が得られる。
なお、ここでは、X線撮像装置造影剤の量が増加する様子を、X線撮影部101〜102で撮影する場合を説明しているが、造影剤が減少する様子をX線撮影部101〜102で撮影する構成としても構わない。その場合は、微分輝度列が最大値となる時刻を取得する替わりに、最小値となる時刻を取得する。
(第6実施形態)
本発明の第6実施形態では、X線撮影部101(又はX線撮影部102)で撮影した画像において、複数本の血管が重なって1本に見える場合の血管の形状復元を行う形状復元装置(3次元モデル生成装置)1Cを説明する。
本発明の第6実施形態では、X線撮影部101(又はX線撮影部102)で撮影した画像において、複数本の血管が重なって1本に見える場合の血管の形状復元を行う形状復元装置(3次元モデル生成装置)1Cを説明する。
X線撮影部102で撮影した画像において、2本の血管1201が重なって見える場合のエピポーラ断面を図61に示す。X線撮影部102のX線発生部202Bで発生し、血管1201の三次元点Jk_1を通過したX線は、更に、別の血管1201の三次元点Jk_2を通過して対応点Qk_1に到達する。X線撮影部102のX線発生部202Bで発生して三次元点Jk_3を通過したX線は、対応点Qk_2に到達する。一方、X線撮影部101のX線発生部202Aで発生し、三次元点Jk_1を通過したX線は、撮影画像上の造影点Pk_1に投影される。X線発生部202Aで発生し、三次元点Jk_2を通過したX線は、撮影画像上の造影点Pk_2に投影される。X線撮影部101のX線発生部202Aで発生し、三次元点Jk_3を通過したX線は、撮影画像上の第一画像投影点Pk_3に投影される。
図62は、図61の造影点Pk_1、Pk_2、対応点Qk_1の輝度列を示す図である。図62において、太線6201は造影点Pk_1の輝度変化であり、点線6203は造影点Pk_2の輝度変化であり、実線6202は対応点Qk_1の輝度変化である。血管1201が重なった事で、対応点Qk_1の輝度列における増減の傾向は、造影点Pk_1の輝度列の増減の傾向と一致しない。また、対応点Qk_1の輝度列における増減の傾向は、造影点Pk_2の輝度列の増減の傾向とも一致しない。
しかし、図61の三次元点Jk_1の造影剤が増えたときに、造影点Pk_1と、対応点Qk_1とは暗くなり(輝度差は大きくなり)、三次元点Jk_2の造影剤が増えたときに、造影点Pk_2と、対応点Qk_1とは暗くなる(輝度差は大きくなる)。このように、対応点Qk_1の輝度変化は、造影点Pk_1と造影点Pk_2との輝度変化の両方と関係して変化する。
そこで、第6実施形態における形状復元装置1Cでは、複数の造影点の輝度の和の正規化輝度列と、対応候補点の正規化輝度列とを比較して対応付けを行う。図61の場合では、造影点Pk_1と、造影点Pk_2との合計の正規化輝度列と、対応点Qk_1の正規化輝度列とを比較する。図62において、一点鎖線6204は、造影点Pk_1の輝度の値に造影点Pk_2の輝度の値を加えた合計の輝度列である。実線6202と同様の増減の傾向をしている。
なお、以降の説明では、第一血管領域画像1102の投影点を、(特にどの点の対応点かを特定せずに)対応候補点と呼ぶ。また、記述を簡略化するために、造影点Pk_xと造影点Pk_yとの合計の正規化輝度列と、対応候補点Qk_zの正規化輝度列とを比較対象とする場合、[{x、y}、{z}]をグループとして比較する、と記述する。
さて、図61で示した血管1201は、X線撮影部101で撮影した画像で、造影点Pk_1〜Pk_3に投影され、X線撮影部102で撮影した画像では、対応候補点Qk_1〜Qk_2に投影される。図61の場合以外にも、投影される位置が図61の場合と同じ位置になる血管が考えられる。具体的には、三次元点Jk_1〜Jk_3が図63〜図67の位置にある場合にも、同様の位置に造影点及び対応候補点が出現する。(実際には、これら以外の特殊な配置もありえるが、ここでは省略して考える。)形状復元装置1Cは、これらの血管の中から、形状復元対象となる血管の投影点の対応点の組合せを抽出し、血管の形状復元を正しく行うことができる。
<第6実施形態の構成>
図68は、第6実施形態における形状復元装置1Cの構成を示す図である。形状復元装置1Cは、一例として、画像領域対応付け装置9Cと、3次元モデル生成部16Cと、表示部112とを備える。
さらに、画像領域対応付け装置9Cは図21の画像領域対応付け装置93と類似し、3次元モデル生成部16Cは図21の3次元モデル生成部163と類似しているが、以下の点が異なる。なお、他の実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
第3実施形態における対応付け部107の替わりに、対応付け部107Cを用いる。図69は、対応付け部107Cの構成を示す図である。
図68は、第6実施形態における形状復元装置1Cの構成を示す図である。形状復元装置1Cは、一例として、画像領域対応付け装置9Cと、3次元モデル生成部16Cと、表示部112とを備える。
さらに、画像領域対応付け装置9Cは図21の画像領域対応付け装置93と類似し、3次元モデル生成部16Cは図21の3次元モデル生成部163と類似しているが、以下の点が異なる。なお、他の実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
第3実施形態における対応付け部107の替わりに、対応付け部107Cを用いる。図69は、対応付け部107Cの構成を示す図である。
対応付け部107Cは,対応候補領域取得部1705と、対応候補領域保持部1706と、造影領域取得部5201と、造影領域保持部5202と、グループ分け取得部5203と、グループ分け保持部5204と、グループ分け評価部5207と、グループ分け評価保持部5208と、対応領域決定部5209ととを有する。
造影領域取得部5201は、後述の対応付け制御部5210に指定された造影点Pkを通るエピポーラ平面と、第一血管領域画像1102の血管領域とが交わる直線(エピポーラ線)上の造影点Pk_m(m=1,2,…,M)の位置を取得し、造影領域保持部5202に格納する。ただし、造影点Pk_0は、造影点Pkと同じとする。
具体的な方法を説明する。まず、式14を用いてエピポーラ線L1のパラメータl1を算出する。
式14で、Fは式8で算出したファンダメンタル行列と呼ばれる行列Fであり、FTはファンダメンタル行列Fの転置行列を示す。mは、対応候補領域保持部1706より取得した任意の投影点Qk_nの座標である。
算出されたエピポーラ線L1のパラメータl1を(a,b,c)Tとしたとき、エピポーラ線L1は、ax+by+c=0を満たす。算出したエピポーラ線L1と、第一血管領域画像1011との交点の座標の取得の仕方は、対応候補領域取得部1705の場合と同様であり、説明を省略する。
造影領域保持部5202は、造影領域取得部5201が取得した造影点Pk_m(m=1,2,…,M)の座標を保持する。
グループ分け取得部5203は、造影点Pk_m(m=1,2,…,M)と投影点Qk_n(n=1,2,…,N)とのグループ分けを生成する。例えば、m=3、n=2の場合は、図79の6通りのグループ分けを生成する。図79の1列目には、グループ分けの番号(n=1,2,…,N)、2列目にはグループ分けの結果、3列目には、対応するエピポーラ断面の図の番号を示す。
図70はグループ分け取得部5203の構成を示す図である。グループ分け取得部5203は、グループ分け制御部7201と、グループ分け本体部7202と、二グループ分け部7203とを有する。
二グループ分け部7203は、グループ分け本体部7202により指定されたグループを2つのグループに分ける組合せを生成して、グループ分け本体部7202に出力する。
具体例として、グループ分け本体部7202により、グループG={{F1、F2、F3}、{S1、S2}}が二グループ分け部7203に与えられたときの二グループ分け動作について説明する。2つのグループ(グループG0とグループG1)に分ける組合せの表を図71に示す。図71の表の各行は1つの組合せを示す。各列には、集合の各要素がどのグループに属するかを示す数値を記載している。「0」の場合には、グループG0に割り当てられることを示し、「1」の場合にはグループG1に割り当てられることを示す。例えば1行目の組合せでは、識別子L3はグループG1であり、それ以外の識別子F1〜S1はグループG0に割り当てられることを示す。なお、図71に示すように、集合Gの一つ目の要素に割り当てられるグループをグループG0とする。
なお、要素の合計がN個のとき、グループ分けの組合せは、2^(N―1)−1となり、1番から2^(N−1)−1番までの番号の組合せが生成される。ここで、演算子「^」はべき乗演算を示す。図71の表で、右端からU列目の値は、(番号)%(2^U)となる。
図72は、図71のグループ分けによって生じるグループをグループ0とグループ1とに分け、要素群毎に記載した例である。
グループ分け制御部7201は、造影領域保持部5202が保持する造影領域の数Mと、対応候補領域保持部1705が保持する対応候補領域の数Nとを取得し、第一要素群{1,2,…,M}と第二要素群{1,2,…,N}とを引数として、後述のグループ分け本体部7202を実行し、グループ分け本体部7202で取得したグループ分けをグループ分け保持部5204に格納する。
グループ分け本体部7202は、指定された第一要素群F{F_1,…,F_M}と第二要素群S{S_1,…,S_N}とをグループ分けする処理を行う。グループ分け本体部7202は、指定された要素を以下の条件を満たすグループに分ける。
条件1:一つの要素は、必ず一つのグループに属する。また、一つの要素は複数のグループに属さない。
条件2:一つのグループには、1つ以上の第一要素群の要素と、1つ以上の第二要素群の要素とを含む。
条件3:どのグループも、第一要素群の要素が一つであるか、又は、第二要素群の要素が一つである。
図73は、グループ分け本体部7202が行う処理の流れを示すフローチャートである。
図73は、グループ分け本体部7202が行う処理の流れを示すフローチャートである。
まず、ステップS5401で、グループ分け本体部7202は、指定された第一要素群F{F_1,…,F_M}と第二要素群S{S_1,…,S_N}とに対してグループ分けの処理を開始する。
次に、ステップS5402で、グループ分け本体部7202は、第一要素群の要素の数Mの値が「0」であるか、又は、第二要素群の要素の数Nが「0」であるか否かを判定し、どちらか一方でも「0」であった場合にはステップS5499に分岐して、処理を終了する。それ以外の場合にはステップS5403に分岐する。
次に、ステップS5403で、グループ分け本体部7202は、第一要素群の要素の数Mの値が「1」であるか、又は、第二集合の要素の数Nが「1」であるか否かを判定し、どちらか一方でも「1」であった場合にはステップS5404に分岐し、それ以外の場合にはステップS5411に分岐する。
次に、ステップS5404で、グループ分け本体部7202は、第一要素群の全ての要素{F_1,…,F_M}と、第二要素群の全ての要素{S_1,…,S_N}とをグループとし、そのグループ[{F_1,…,F_M}、{S_1,…,S_N}]とを、グループ分け本体部7202の処理結果として出力し、ステップS5499で処理を終了する。
例えば、第一要素群Fが{1,2}で、第二要素群Sが{1}のとき、グループ[{1,2}、{1}]を出力する。また、例えば、第一要素群Fが{1}で、第二要素群Sが{2}のとき、グループ[{1}、{2}]を出力する。
ステップS5411で、グループ分け本体部7202は、前述の二グループ分け部7203の実行を実行する。具体的には、例えば、図72の二グループ分けの結果を取得する。
グループ分け本体部7202は、二グループ分け部7203を実行して得られたグループ分けの各結果に対して、ステップS5412からステップS5444のループ処理を実行する。図72の場合では、図72の各行のグループ分けに対して、ステップS5412からステップS5444までのループ処理を行う。
次に、ステップS5414で、グループ分け本体部7202は、二グループ分けによって生成したグループ0に対して、条件判定を行う。すなわち、以下の条件を満たすか否かをグループ分け本体部7202により判定する。
条件:第一要素群の要素数が「0」であるか、又は、第二要素群の要素数が「0」である。
ステップS5414の条件を満たすとグループ分け本体部7202で判定する場合は、ステップS5444に分岐し、ステップS5414の条件を満たさないとグループ分け本体部7202で判定する場合は、ステップS5415に分岐する。
図72の場合には、「3、7、11、15」のとき、グループ0に要素数が「0」の要素群があるため、ステップS5444に分岐する。
図72の場合には、番号が、「1、2、(3、)、4、8、12」のとき、グループ1に要素数が「0」の要素群があるため、ステップS5444に分岐する。
それ以外の場合、すなわち、「5、6、9、10、13、14」の場合、ステップS5415に分岐する。
ステップS5415で、グループ分け本体部7202は、二グループ分けによって生成したグループ0に対して、条件判定を行う。すなわち、以下の条件を満たすか否かをグループ分け本体部7202で判定する。
条件:第一要素群の要素数が「1」であるか、又は、第二要素群の要素数が「1」である。
条件を満たすとグループ分け本体部7202で判定する場合は、ステップS5418に分岐し、条件を満たさないとグループ分け本体部7202で判定する場合は、ステップS5444に分岐する。
図72の場合には、番号が、「5、6、9、10、13、14」のすべての場合に、ステップS5418に分岐する。
ステップS5418で、グループ分け本体部7202は、二グループ分けによって生成したグループ0のグループ分けを生成し、グループ分け保持部5204に格納する。
図72の「5、6、9、10、13、14」の場合、ステップS5418で生成されるグループ分けを図74に示す。
以上が、グループ分け本体部7202の処理である。
グループ分け保持部5204は、グループ分け取得部5203が取得したグループ分けGw(w=1,2,…,W:ただし、Wはグループ分けの数)の組合せを保持する。グループ分け本体部7202のステップS5404、又はステップS5418が実行される度に、グループ分けが一つ追加される。
グループ分け評価部5207は、グループ分け保持部5204が保持する各グループ分けGw(w=1,2,…,W)に対する評価値Hw(w=1,2,…,W)を取得し、取得した評価値をグループ分け評価保持部5208に格納する。図75は、グループ分け評価部5207の構成を示す図である。グループ分け評価部5207は、輝度列取得部7601と、輝度列保持部7602と、正規化輝度列取得部1721と、正規化輝度列保持部1722と、差合計取得部1720とを有する。正規化輝度列取得部1721と、正規化輝度列保持部1722と、差合計取得部1720とは、第3実施形態の場合と同様であるので説明を省略する。
輝度列取得部7601は、指定されたグループ分けGwに属する造影点Pk_m(m=1,2,…,M)の合計の輝度列と、対応候補領域保持部1706が保持する対応候補点Qk_n(n=1,2,…,N)との合計の輝度列を取得する。
輝度列保持部7602は、輝度列取得部7601が取得した輝度列を保持する部である。輝度列保持部7602で保持した輝度列を基に、差合計取得部1720は、第3実施形態の場合の差合計取得部1720と同様の差合計動作を行い、評価値Hw(w=1,2,…,W)をグループ分け評価保持部5208に出力する。
グループ分け評価保持部5208は、グループ分け評価部5207が取得した評価値Hw(w=1,2,…,W)を保持する。
対応領域決定部5209は、グループ分け評価保持部5208が保持する評価値のうち最も小さな値となる評価値Hxを選択する。
対応付け制御部5210は、対応付け部107Cの各部を用いて対応付けを行うように制御する。図76は、対応付け制御部5210が行う処理の流れを示すフローチャートである。
まず、ステップS1401で、対応付け制御部5210は処理を開始する。
次に、ステップS1402で、対応付け制御部5210は血管領域保持部106より第一血管領域画像1101を取得する。
対応付け制御部5210は、ステップS1402で取得した第一血管領域画像1101で血管領域の黒色の点に対して、ステップS1404からステップS1415までの処理を行う。以下の説明では、黒色の点を造影点Pk(k=1,2,…,K:ただし、Kは黒色の点の数)とする。
次に、ステップS1406で、対応付け制御部5210は、対応候補領域取得部1705に処理を指示する。対応候補領域取得部1705は、造影点Pkに対する対応候補点Qk_n(n=1,2,…,N)を取得し、取得した対応候補点Qk_n(n=1,2,…,N)の座標を対応候補領域保持部1706に格納する。
次に、ステップS14061で、対応付け制御部5210は、造影領域取得部5201に処理を指示する。造影領域取得部5201は、造影点Pkと同一のエピポーラ平面に存在する造影点Pk_m(m=1,2,…,M)を取得し、取得した造影点Pk_m(m=1,2,…,M)の座標を造影領域保持部5202に格納する。
次に、ステップS14062で、対応付け制御部5210は、グループ分け取得部5203に処理を指示する。グループ分け取得部5203は、造影点Pk_m(m=1,2,…,M)と、対応候補点Qk_n(n=1,2,…,N)とのグループ分けGw(w=1,2,…,W)を生成する。
対応付け制御部5210は、ステップS14062で取得した各グループ分けGw(w=1,2,…,W)に対して、ステップS14063からステップS1414までの処理を行う。
まず、ステップS1407Cで、対応付け制御部5210は、輝度列取得部7601に処理を指示する。輝度列取得部7601は、グループ分けGwに属する造影点Pk_m(m=1,2,…,M)の輝度の合計の列である輝度列と、グループ分けGwに属する対応候補点Qk_n(n=1,2,…,N)の輝度の合計の列である輝度列を取得し、輝度列保持部7602に格納する。
次に、ステップS1408で、対応付け制御部5210は、正規化輝度列取得部1721に処理を指示する。正規化輝度列取得部1721は、輝度列保持部7602が保持する造影点Pk_mの合計の輝度列と、対応候補点Qk_nの合計の輝度列をそれぞれ正規化し、正規化輝度列保持部1722に格納する。
次に、ステップS1409で、対応付け制御部5210は、差合計取得部1720に処理を指示する。差合計取得部1720は、造影点Pk_mの合計の正規化輝度列と、対応候補点Qk_nの合計の正規化輝度列の各時刻の輝度差の和Hwを算出し、グループ分け評価保持部5208に格納して、ステップS1414を終了する。
次に、ステップS1410Cで、対応付け制御部5210は、対応領域決定部5209に処理を指示する。対応領域決定部5209は、グループ分け評価保持部5208が保持する評価値Hw(w=1,2,…,W)のうち、最も値の小さい評価値Hαを対応領域決定部5209で取得する。ここで、αは選択された評価値のグループ分けの番号である。図74の場合には(図61のグループ分けに相当する)α=2が選択されるものとする。
次に、ステップS1411Cで、対応付け制御部5210は、グループ分けGαに属する造影点Pk_m(m=1,2,…,M)の座標、グループ分けGαに属する対応候補点Qk_n(n=1,2,…,N)の座標と、評価値Hαとを対応情報保持部108に格納して、ステップS1415を終了する。
グループ分けGαに造影点Pk_mが複数ある場合に追加する対応情報を、図77に示す。図77に示すように、各造影点Pk_m(m=1,2,…,M)の対応点を対応候補点Qk_1とする行を、対応情報保持部108に格納する。また、グループ分けGαに対応候補点Qk_n(n=1,2,…,N)が複数ある場合に、追加する対応情報を図78に示す。図78に示すように、造影点Pk_1の対応点を各対応候補点Qk_n(n=1,2,…,N)とする行を、対応情報保持部108に格納する。
グループ分けGαに造影点Pk_mが複数ある場合に追加する対応情報を、図77に示す。図77に示すように、各造影点Pk_m(m=1,2,…,M)の対応点を対応候補点Qk_1とする行を、対応情報保持部108に格納する。また、グループ分けGαに対応候補点Qk_n(n=1,2,…,N)が複数ある場合に、追加する対応情報を図78に示す。図78に示すように、造影点Pk_1の対応点を各対応候補点Qk_n(n=1,2,…,N)とする行を、対応情報保持部108に格納する。
ステップS1499で、対応付け制御部5210は処理を終了する。
<第6実施形態の効果>
第6実施形態では、第3実施形態と同様の効果が得られる。
第6実施形態では、第3実施形態と同様の効果が得られる。
なお、ここでは、造影点と、対応候補点を2つのグループに分ける構成を示しているが、造影点Pk_1と違うグループに分けられた{造影点、対応候補点}を更にグループ分けして、それぞれのグループ分けし、それぞれのグループ分けに対する評価値の合計を新たな評価値の基準として用いる構成としても構わない。
(その他の実施形態)
第3実施形態の説明では、処理の流れの一例を示しているが、順序の入れ替えや、複数の処理の並列化(同時並行処理)をして実行しても構わない。
第3実施形態の説明では、処理の流れの一例を示しているが、順序の入れ替えや、複数の処理の並列化(同時並行処理)をして実行しても構わない。
形状復元装置10,20,1,1A,1B,1Cを構成する要素の一部又は全部は、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、及びマウスなどから構成されるコンピュータシステムで実現することができる。そのRAM又はハードディスクユニットには、コンピュータプログラムが記憶されている。つまり、マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各部は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
形状復元装置10,20,1,1A,1B,1Cを構成する要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、及びRAMなどを含んで構成されるコンピュータシステムである。そのRAMには、コンピュータプログラムが記憶されている。つまり、マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
形状復元装置10,20,1,1A,1B,1Cを構成する要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしてもよい。そのICカード又はモジュールは、マイクロプロセッサ、ROM、及びRAMなどから構成されるコンピュータシステムである。そのICカード又はモジュールは、前記の超多機能LSIを含むとしてもよい。つまり、マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、そのICカード又はモジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
形状復元装置10,20,1,1A,1B,1Cを構成する要素の一部又は全部は、管の形状を取得する方法としても実現される。また、本発明は、これらの方法によりコンピュータに管の形状を取得させるコンピュータプログラム、又は、コンピュータプログラムで構成されるディジタル信号としても実現される。
形状復元装置10,20,1,1A,1B,1Cを構成する要素の一部又は全部は、上述のコンピュータプログラム又はディジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、又は、半導体メモリなどに記録したものとしても実現される。また、これらの記録媒体に記録されているディジタル信号としても実現される。
形状復元装置10,20,1,1A,1B,1Cを構成する要素の一部又は全部は、電気通信回線、無線通信回線、有線通信回線、インターネットを代表とするネットワーク、又はデータ放送等を経由して伝送される、上述のコンピュータプログラム又はディジタル信号としても実現される。
形状復元装置10,20,1,1A,1B,1Cを構成する要素の一部又は全部は、マイクロプロセッサとメモリを備えたコンピュータシステムとしても実現される。この場合、そのメモリは、上述のコンピュータプログラムを記憶しており、マイクロプロセッサは、そのコンピュータプログラムにしたがって動作する。
また、そのコンピュータプログラム又はディジタル信号を記録媒体に記録して移送することにより、又はコンピュータプログラム又はディジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより本発明の処理を実施してもよい。
なお、上記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
なお、上記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
本発明の一態様に係る画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラムは、2方向から撮影した血管のX線画像の複数の画像領域の対応付けを行うことができ、その結果を利用して、血管の3次元モデルを生成することができるため、カテーテル治療などの際に有用である。
本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形又は修正は明白である。そのような変形又は修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。
本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形又は修正は明白である。そのような変形又は修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。
Claims (11)
- 分岐を有する血管の複数の画像領域の対応付けを行なう画像領域対応付け装置であって、
造影剤が通過する際の前記血管を、互いに異なる第1の撮影角度と第2の撮影角度とからそれぞれ連続的に撮像することにより、前記第1の撮影角度より得られる第1の投影画像と前記第2の撮影角度より得られる第2の投影画像とで構成される画像セットを複数取得する投影画像取得部と、
前記投影画像取得部で取得した各画像セットのうちの第1の投影画像における前記分岐先の所定部分の第1の画像領域について、所定時間分の前記造影剤の輝度変化の情報を取得する第1輝度変化取得部と、
前記投影画像取得部で取得した各画像セットのうちの前記第2の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ取得する第2輝度変化取得部と、
前記第1輝度変化取得部より取得された前記輝度変化の情報と、前記第2輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を算出する類似度算出部と、
前記類似度算出部より算出された前記類似度に基づき、前記第1の画像領域と対応する第2の画像領域を決定する対応領域決定部と、
を備える画像領域対応付け装置。 - 前記第1輝度変化取得部は、前記第1の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記複数の時刻それぞれの時刻の前記造影剤の輝度をそれぞれ前記所定時間分の前記造影剤の輝度変化の情報として取得する一方、
さらに、輝度の正規化を行う輝度正規化部をさらに備え、
前記輝度正規化部は、
前記血管が撮影されていないときの基準輝度と、前記第1輝度変化取得部より取得された前記輝度のそれぞれとの差分値を演算することにより正規化して、正規化された輝度変化の情報を取得し、
前記血管が撮影されていないときの基準輝度と、前記第2輝度変化取得部より取得されたそれぞれの前記輝度との差分値を演算することにより正規化して、正規化された輝度変化の情報を取得し、
前記類似度算出部は、
前記第1輝度変化取得部より取得され、かつ、前記輝度正規化部より前記正規化された輝度変化の情報と、
前記第2輝度変化取得部より取得され、かつ、前記輝度正規化部より前記正規化された複数の輝度変化の情報のそれぞれとの類似度を算出する、
請求項1に記載の画像領域対応付け装置。 - 前記第1輝度変化取得部は、前記第1の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
前記輝度正規化部は、前記第1輝度変化取得部及び前記第2輝度変化取得部より取得された各時刻の輝度変化の情報をそれぞれ正規化して、正規化された輝度変化の情報をそれぞれ取得し、
前記類似度算出部は、前記第1輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化された各時刻の輝度について、前記第2輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化された複数の各時刻の輝度変化の情報のそれぞれとの差分を算出することにより、前記所定時間分における前記差分の絶対値の合計値をそれぞれ類似度として算出し、
前記対応領域決定部は、前記類似度として前記類似度算出部より算出された前記差分の絶対値の合計値が最も小さい第2の画像領域を、前記第1の画像領域と対応する領域であると決定する、
請求項2に記載の画像領域対応付け装置。 - 前記第1輝度変化取得部は、前記第1の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
前記第1輝度変化取得部は、前記第1の画像領域について、前記造影剤の輝度を時系列順にプロットしたグラフを輝度変化の情報として取得し、
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記造影剤の輝度を時系列順にプロットしたグラフをそれぞれ輝度変化の情報として取得し、
前記輝度正規化部は、前記第1輝度変化取得部及び前記第2輝度変化取得部より取得されたグラフをそれぞれ正規化して、正規化されたグラフを取得し、
前記類似度算出部は、前記第1輝度変化取得部より取得され、かつ、前記輝度正規化部より取得された前記正規化されたグラフと、前記第2輝度変化取得部より取得され、かつ、前記輝度正規化部より前記正規化された複数のグラフのそれぞれとの形状の類似度をそれぞれ算出し、
前記対応領域決定部は、前記類似度算出部より算出された形状の類似度が最も高い第2の画像領域を、前記第1の画像領域と対応する領域であると決定する、
請求項2に記載の画像領域対応付け装置。 - 前記類似度算出部は、前記第1輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化されたグラフの面積と、前記第2輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化された複数の前記グラフそれぞれの面積との差分を類似度として算出し、
前記対応領域決定部は、前記類似度として前記類似度算出部より算出された差分が最も小さいグラフに相当する第2の画像領域を、前記第1の画像領域と対応する領域であると決定する、
請求項4に記載の画像領域対応付け装置。 - 前記第1輝度変化取得部は、前記第1の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
さらに、前記第1の画像領域及び前記第2の画像領域のそれぞれのある点の輝度が、その点の最大の輝度に対して所定比に到達する時刻である所定比時刻を取得する所定比時刻取得部を備え、
前記所定比時刻取得部は、前記第1の画像領域及び前記第2の画像領域のそれぞれにおいて、前記輝度正規化部により前記正規化された輝度変化の情報を輝度列とするとき、前記輝度列の値が所定比にそれぞれ到達する前記所定比時刻をそれぞれ取得し、
前記類似度算出部は、前記複数の前記第2画像領域のうち、前記第1画像領域の前記所定比時刻と類似度の高い前記所定比時刻を有する前記第2画像領域を前記第1画像領域の対応領域に決定する、
請求項2に記載の画像領域対応付け装置。 - 前記第1輝度変化取得部は、前記第1の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
前記第2輝度変化取得部は、前記複数の第2の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
さらに、前記第1の画像領域及び前記第2の画像領域のそれぞれにおいて、前記輝度正規化部により前記正規化された輝度変化の情報を輝度列とするとき、前記輝度列を微分した微分輝度列のピーク時刻を取得するピーク時刻取得部を備え、
前記ピーク時刻取得部は、前記第1の画像領域及び前記第2の画像領域のそれぞれにおいて、前記輝度列を微分した前記微分輝度列の前記ピーク時刻を取得し、
前記類似度算出部は、前記複数の前記第2画像領域のうち、前記第1画像領域の前記ピーク時刻と類似度の高い前記ピーク時刻を有する前記第2画像領域を前記第1画像領域の対応領域に決定する、
請求項2に記載の画像領域対応付け装置。 - 前記第1の撮影角度より前記血管を撮像する第1X線撮像装置の位置情報と前記第2の撮影角度より前記血管を撮像する第2X線撮像装置の位置情報との相対位置情報を取得する撮影部情報取得部と、
前記第1投影画像上における前記第1の画像領域の位置情報を取得する血管領域取得部と、
前記撮影部情報取得部よりそれぞれ取得した各位置情報より、前記第1X線撮像装置、前記第2X線撮像装置、及び前記第1の画像領域から構成される平面であるエピポーラ平面を算出し、前記第2の投影画像上について、算出された前記エピポーラ平面と前記第2の投影画像との交線であるエピポーラ線を算出し、前記複数の第2の画像領域について、前記算出された前記エピポーラ線上にそれぞれ位置する位置情報を取得する対応候補領域取得部と、
をさらに備え、
前記対応候補領域取得部で取得した前記複数の第2の画像領域の位置情報の位置の輝度変化を第2輝度変化取得部で取得する
請求項1〜7のいずれか1つに記載の画像領域対応付け装置。 - 前記分岐を有する血管の3次元モデルを生成する3次元モデル生成装置であって、
請求項1〜8のいずれか1つに記載の前記画像領域対応付け装置と、
前記画像領域対応付け装置により決定された情報を用いて、前記血管の3次元モデルを生成する3次元モデル生成部と、
を備える3次元モデル生成装置。 - 分岐を有する血管の複数の画像領域の対応付けを行なう画像領域対応付け方法であって、
造影剤が通過する際の前記血管を、互いに異なる第1の撮影角度と第2の撮影角度とからそれぞれ連続的に撮像することにより、前記第1の撮影角度より得られる第1の投影画像と前記第2の撮影角度より得られる第2の投影画像とで構成される画像セットを投影画像取得部で複数取得し、
前記投影画像取得部で取得した各画像セットのうちの第1の投影画像における前記分岐先の所定部分の第1の画像領域について、所定時間分の前記造影剤の輝度変化の情報を第1輝度変化取得部で取得し、
前記投影画像取得部で取得した各画像セットのうちの前記第2の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ第2輝度変化取得部で取得し、
前記第1輝度変化取得部より取得された前記輝度変化の情報と、前記第2輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を類似度算出部で算出し、
前記類似度算出部より算出された前記類似度に基づき、前記第1の画像領域と対応する第2の画像領域を対応領域決定部で決定する、
画像領域対応付け方法。 - 分岐を有する血管の複数の画像領域の対応付けを行なう画像領域対応付け用プログラムであって、
コンピュータを、
造影剤が通過する際の前記血管を、互いに異なる第1の撮影角度と第2の撮影角度とからそれぞれ連続的に撮像することにより、前記第1の撮影角度より得られる第1の投影画像と前記第2の撮影角度より得られる第2の投影画像とで構成される画像セットを複数取得する投影画像取得部と、
前記投影画像取得部で取得した各画像セットのうちの第1の投影画像における前記分岐先の所定部分の第1の画像領域について、所定時間分の前記造影剤の輝度変化の情報を取得する第1輝度変化取得部と、
前記投影画像取得部で取得した各画像セットのうちの前記第2の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ取得する第2輝度変化取得部と、
前記第1輝度変化取得部より取得された前記輝度変化の情報と、前記第2輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を算出する類似度算出部と、
前記類似度算出部より算出された前記類似度に基づき、前記第1の画像領域と対応する第2の画像領域を決定する対応領域決定部と、
として機能させるための画像領域対応付け用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015509920A JP5830626B2 (ja) | 2013-04-05 | 2014-04-02 | 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013079216 | 2013-04-05 | ||
JP2013079216 | 2013-04-05 | ||
JP2015509920A JP5830626B2 (ja) | 2013-04-05 | 2014-04-02 | 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム |
PCT/JP2014/001925 WO2014162740A1 (ja) | 2013-04-05 | 2014-04-02 | 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5830626B2 true JP5830626B2 (ja) | 2015-12-09 |
JPWO2014162740A1 JPWO2014162740A1 (ja) | 2017-02-16 |
Family
ID=51658048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015509920A Active JP5830626B2 (ja) | 2013-04-05 | 2014-04-02 | 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9607378B2 (ja) |
JP (1) | JP5830626B2 (ja) |
WO (1) | WO2014162740A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6419551B2 (ja) * | 2014-11-28 | 2018-11-07 | キヤノンメディカルシステムズ株式会社 | X線診断装置、画像処理装置及び画像処理プログラム |
JP2017074123A (ja) * | 2015-10-13 | 2017-04-20 | 東芝メディカルシステムズ株式会社 | 医用画像処理装置及びx線診断装置 |
DE102015224176A1 (de) * | 2015-12-03 | 2017-06-08 | Siemens Healthcare Gmbh | Tomografieanlage und Verfahren zum Erzeugen einer Abfolge von Volumenbildern eines Gefäßsystems |
JP6971598B2 (ja) * | 2017-03-13 | 2021-11-24 | キヤノンメディカルシステムズ株式会社 | X線診断装置、画像処理装置及び画像処理プログラム |
US20230107110A1 (en) * | 2017-04-10 | 2023-04-06 | Eys3D Microelectronics, Co. | Depth processing system and operational method thereof |
JP6885896B2 (ja) * | 2017-04-10 | 2021-06-16 | 富士フイルム株式会社 | 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム |
US10460512B2 (en) * | 2017-11-07 | 2019-10-29 | Microsoft Technology Licensing, Llc | 3D skeletonization using truncated epipolar lines |
CN112542163B (zh) * | 2019-09-04 | 2023-10-27 | 百度在线网络技术(北京)有限公司 | 智能语音交互方法、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03184531A (ja) * | 1989-10-27 | 1991-08-12 | Arch Dev Corp | 血流量測定装置 |
JPH105203A (ja) * | 1996-06-21 | 1998-01-13 | Toshiba Corp | 医用診断システム,医用診断情報生成方法及び3次元画像再構成方法 |
US6169917B1 (en) * | 1997-12-30 | 2001-01-02 | Leonardo Masotti | Method and device for reconstructing three-dimensional images of blood vessels, particularly coronary arteries, or other three-dimensional structures |
JP2008006083A (ja) * | 2006-06-29 | 2008-01-17 | Toshiba Corp | 3次元画像生成装置 |
JP2009504297A (ja) * | 2005-08-17 | 2009-02-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 自動4d冠動脈モデリングおよび動きベクトル場推定のための方法および装置 |
JP2013501567A (ja) * | 2009-08-12 | 2013-01-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オブジェクトデータの生成 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08131429A (ja) | 1994-11-11 | 1996-05-28 | Toshiba Corp | 管状体像再生方法およびその装置 |
JP2004201730A (ja) | 2002-12-24 | 2004-07-22 | Hitachi Ltd | 複数方向の投影映像を用いた3次元形状の生成方法 |
ATE500572T1 (de) * | 2003-08-21 | 2011-03-15 | Koninkl Philips Electronics Nv | Vorrichtung und verfahren zur erzeugung eines dreidimensionalen gefässmodelles |
WO2006051831A1 (ja) | 2004-11-10 | 2006-05-18 | Hitachi Medical Corporation | 画像生成方法及び画像生成装置 |
-
2014
- 2014-04-02 WO PCT/JP2014/001925 patent/WO2014162740A1/ja active Application Filing
- 2014-04-02 JP JP2015509920A patent/JP5830626B2/ja active Active
-
2015
- 2015-08-31 US US14/840,626 patent/US9607378B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03184531A (ja) * | 1989-10-27 | 1991-08-12 | Arch Dev Corp | 血流量測定装置 |
JPH105203A (ja) * | 1996-06-21 | 1998-01-13 | Toshiba Corp | 医用診断システム,医用診断情報生成方法及び3次元画像再構成方法 |
US6169917B1 (en) * | 1997-12-30 | 2001-01-02 | Leonardo Masotti | Method and device for reconstructing three-dimensional images of blood vessels, particularly coronary arteries, or other three-dimensional structures |
JP2009504297A (ja) * | 2005-08-17 | 2009-02-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 自動4d冠動脈モデリングおよび動きベクトル場推定のための方法および装置 |
JP2008006083A (ja) * | 2006-06-29 | 2008-01-17 | Toshiba Corp | 3次元画像生成装置 |
JP2013501567A (ja) * | 2009-08-12 | 2013-01-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オブジェクトデータの生成 |
Non-Patent Citations (1)
Title |
---|
JPN6014017956; G. Shechter et al.: 'Three-dimensional motion tracking of coronary arteries in biplane cineangiograms' IEEE Transactions on Medical Imaging Volume:22, Issue:4, 200304, pages:493-503 * |
Also Published As
Publication number | Publication date |
---|---|
US20150371381A1 (en) | 2015-12-24 |
JPWO2014162740A1 (ja) | 2017-02-16 |
WO2014162740A1 (ja) | 2014-10-09 |
US9607378B2 (en) | 2017-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5830626B2 (ja) | 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム | |
JP5830627B2 (ja) | 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、画像領域対応付け用プログラム | |
CN114170134B (zh) | 基于颅内dsa影像的狭窄评估方法及装置 | |
CN105249922B (zh) | 断层图像拍摄设备和断层图像拍摄方法 | |
JP2019055230A (ja) | 医用画像における構造物をセグメンテーションする医用画像処理装置、医用画像をセグメンテーションするための方法及び医用画像をセグメンテーションするコンピュータプログラムを記憶する記憶媒体 | |
CN110889896A (zh) | 获取血管狭窄病变区间及三维合成方法、装置和系统 | |
Xian et al. | Main coronary vessel segmentation using deep learning in smart medical | |
JP2018139693A (ja) | 画像分類装置、方法およびプログラム | |
TW201903708A (zh) | 數位減影血管攝影圖像的分析方法與系統 | |
KR20160049897A (ko) | 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법 | |
US8831323B2 (en) | Method and apparatus for measuring activity of a tracer | |
CN111145160B (zh) | 钙化区域所处冠脉分支的确定方法、装置、服务器及介质 | |
JP5626202B2 (ja) | 正中線決定装置およびプログラム | |
US20230113721A1 (en) | Functional measurements of vessels using a temporal feature | |
CN113889238B (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
JP2008519639A (ja) | 医療画像レジストレーションに対する装置及び方法 | |
Yoon et al. | AI-based dental caries and tooth number detection in intraoral photos: Model development and performance evaluation | |
Lu et al. | Adaboost-based detection and segmentation of bioresorbable vascular scaffolds struts in IVOCT images | |
Avram et al. | CathAI: fully automated interpretation of coronary angiograms using neural networks | |
Labrecque Langlais et al. | Evaluation of stenoses using AI video models applied to coronary angiography | |
Danilov et al. | Comparative study of deep learning models for automatic coronary stenosis detection in x-ray angiography | |
KR101852689B1 (ko) | 혈관대응최적화를 이용한 관상동맥 혈관 추출 장치 및 방법 | |
JP2016159117A (ja) | 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、及び、画像領域対応付け用プログラム | |
Kim et al. | Automatic CAC voxel classification with multi-scale CNN architecture | |
Avram et al. | Evaluation of Stenoses Using AI Video Models Applied to Coronary Angiographies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20150916 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151026 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5830626 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |