JP6611660B2 - 画像位置合わせ装置および方法並びにプログラム - Google Patents

画像位置合わせ装置および方法並びにプログラム Download PDF

Info

Publication number
JP6611660B2
JP6611660B2 JP2016079998A JP2016079998A JP6611660B2 JP 6611660 B2 JP6611660 B2 JP 6611660B2 JP 2016079998 A JP2016079998 A JP 2016079998A JP 2016079998 A JP2016079998 A JP 2016079998A JP 6611660 B2 JP6611660 B2 JP 6611660B2
Authority
JP
Japan
Prior art keywords
image
class
region
myocardial
classes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016079998A
Other languages
English (en)
Other versions
JP2017189337A (ja
Inventor
喬俊 狩野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016079998A priority Critical patent/JP6611660B2/ja
Priority to US15/481,939 priority patent/US10424073B2/en
Publication of JP2017189337A publication Critical patent/JP2017189337A/ja
Application granted granted Critical
Publication of JP6611660B2 publication Critical patent/JP6611660B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/503—Clinical applications involving diagnosis of heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/507—Clinical applications involving determination of haemodynamic parameters, e.g. perfusion CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10076—4D tomography; Time-sequential 3D tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Description

本発明は、複数の画像の位置合わせを行う画像位置合わせ装置および方法並びにプログラムに関するものである。
従来、心筋、脳、肝臓および膵臓などの血流量を計測する手法として、パフュージョン撮影が行われている。
パフュージョン撮影とは、被検体に造影剤を注入し、ＣＴ（Computed Tomography）装置などによって異なるタイミングで複数回撮影する撮影方法である。フェーズ（撮影のタイミング）によって、異なる解剖構造が造影された画像が得られる。具体的には、心臓の場合、初期のフェーズでは造影剤が静脈から注入されることによって、右心房および右心室が造影剤によって染まり、続いて左心室および左心房の順に造影剤が流れ、これにより心臓画像のコントラストが変化する。
パフュージョン撮影によって得られた画像は、パフュージョン解析に用いられる。パフュージョン撮影および解析の主な目的は、対象臓器の血流を解析し、その結果から病気を診断することである。たとえば心筋パフュージョン解析によって得られる血流量は心筋梗塞の診断に用いられる。
パフュージョン（血流）の定量的解析手法にはMaximum Slope法（たとえば非特許文献１参照)やDeconvolution法(たとえば非特許文献２参照)などがある。これらの定量的解析には「時間濃度曲線（Time Density Curve(以下、TDCという)）」が用いられる。TDCとは、臓器のある位置（領域）における画素値（ＣＴ値）の時間変化（造影剤濃度の時間変化）を表したものである。
精度の高い定量的解析を行うには、パフュージョン撮影した画像から正確にTDCを作成する必要がある。そのためには、複数フェーズの画像から、同じ解剖学的位置(領域)の画素値を参照してTDCを作成する必要がある。これには、フェーズ間での対象臓器の位置を正確に合わせる必要があり、画像位置合わせが行われる。
画像の位置合わせは、一方の画像IF(x)（Fixed Image）の点xと、他方の画像IM(x)（Moving Image）の点T(x)とが、解剖学的に一致するように幾何学的変換Tを求める問題である。幾何学的変換Tをパラメタμで記述した場合には、下式（１）に基づいて、最適解を求める問題となる。幾何学的変換Tには、剛体変換（平行移動および回転）、Affine変換および非剛体変換（B-SplineおよびDiffeomorphism）などがある。（たとえば非特許文献３参照）
なお、上式（１）におけるSは画像IF(x)と画像IM(T(・；x))の一致度を表す評価関数であり、ここでは、Sが小さくなるほど２画像間は一致している。一致度の評価指標としては、Sum of Squared Difference(SSD; ２画像間の同位置における画素値の差の二乗の合計)や相互情報量（画素値の間の統計的な依存関係を定量化する指標の１つ）などの種々の評価指標が知られている。
特開２０１１−１２５４３１号公報
"Measurement of tissue perfusion by dynamic computed tomography.", Miles KA, The British journal of radiology (1991), Vol.64, No. 761, pp409-412 "Deconvolution-based CT and MR brain perfusion measurement: theoretical model revisited and practical implementation details", Fieselmann, Andreas and Kowarschik, Markus and Ganguly, Arundhuti and Hornegger, Joachim and Fahrig, Rebecca, Journal of Biomedical Imaging(2011), Vol. 2011, pp14 "Survey of medical image registration", Mani, VRS and others, Journal of Biomedical Engineering and Technology(2013), Vol. 1, No. 2, pp.8-25
ここで、上述したような画像の位置合わせを行う場合、異なる解剖構造が造影された画像同士の位置合わせが問題となる。たとえば一方の画像では高い画素値を有する構造が、他方の画像では低い画素値を示している場合、同じ領域が有する画素値が異なっているから、その一致度が低く評価され、正確に位置合わせすることができない。
このような問題を解決する方法として、画像全体に画素値変換を行う方法が考えられる。具体的には、高い画素値を低い画素値に変換する方法が考えられる。
しかしながら、この手法の場合、位置合わせ対象臓器の内部の構造の情報を失う。たとえば心筋パフュージョンの画像の場合、２つの画像間のうち一方の画像は、右心房および右心室だけが造影剤によって高い画素値を示し（図２Ｉ参照）、他方の画像が右心房および右心室だけでなく左心房および左心室も高い画素値を示す（図２II参照）場合、画像全体に同じ画素値変換を施すと、一方の画像しか高い画素値を示さない左心房および左心室に関しては上述の問題が解決するので良いが、右心室および右心房はどちらも高い画素値を示しているので、位置合わせに用いることができる形状情報が失われてしまい、臓器内部の位置を合わせることができなくなる。
なお、特許文献１には、ＣＴ画像と超音波画像といった異なるモダリティで撮影された画像同士の位置合わせに関する技術が提案されているが、上述した問題を解決する方法については何も提案されていない。
本発明は、上記事情に鑑み、一方の画像では高い画素値を有する構造が、他方の画像では低い画素値を示している場合でも、画像間のコントラスト差を低減することができ、高精度に位置合わせを行うことができる画像位置合わせ装置および方法並びにプログラムを提供することを目的とするものである。
本発明の画像位置合わせ装置は、時系列に撮影された複数の画像を取得する画像取得部と、各画像の同一位置の画素値の変化を各画像の複数位置についてそれぞれ取得する画素値変化取得部と、各画像の複数位置についてそれぞれ取得された画素値の変化を複数のクラスにクラスタリングするクラスタリング部と、各画像の各画素のクラスの情報および画素値に基づいて、各画像を複数の領域に分割する領域分割部と、各画像の複数の領域の情報に基づいて、各画像に対して位置合わせ処理を施す位置合わせ処理部とを備える。
また、本発明の画像位置合わせ装置において、画像取得部は、位置合わせ処理対象として心臓画像を含む画像を取得し、クラスタリング部は、少なくとも心筋のクラス、右心房および右心室のクラス、並びに左心室および左心房のクラスにクラスタリングすることができる。
また、本発明の画像位置合わせ装置において、領域分割部は、右心房および右心室のクラスの画素値の統計値が、予め設定された閾値以下である場合には、右心房および右心室のクラスを心筋のクラスに置き換え、右心房および右心室のクラスに対応する領域と心筋のクラスに対応する領域を同一領域として分割することができる。
また、本発明の画像位置合わせ装置において、領域分割部は、左心房および左心室のクラスの画素値の統計値が、予め設定された閾値以下である場合には、左心房および左心室のクラスを心筋のクラスに置き換え、左心房および左心室のクラスに対応する領域と心筋のクラスに対応する領域を同一領域として分割することができる。
また、本発明の画像位置合わせ装置において、領域分割部は、各画像の各画素のクラスの情報および画素値を用いてグラフカットを行うことにより各画像を複数の領域に分割することができる。
また、本発明の画像位置合わせ装置において、位置合わせ処理部は、各画像の複数の領域の情報に基づいて、各画像の各領域の画素値を領域毎に異なる代表値に置き換え、その置き換えられた代表値に基づいて、位置合わせ処理を行うことができる。
また、本発明の画像位置合わせ装置において、領域分割部は、右心房および右心室のクラスの画素値の統計値が、予め設定された閾値以下である場合には、右心房および右心室のクラスを心筋のクラスに置き換え、右心房および右心室のクラスに対応する領域と心筋のクラスに対応する領域を同一領域として分割し、位置合わせ処理部は、位置合わせ処理を施す一方の画像の右心房および右心室のクラスに対応する領域が、心筋のクラスに対応する領域と同一領域として分割され、他方の画像の右心房および右心室のクラスに対応する領域と心筋のクラスに対応する領域とが別の領域として分割された場合には、他方の画像の右心房および右心室のクラスに対応する領域の画素値を心筋のクラスに対応する領域の代表値に置き換えることができる。
また、本発明の画像位置合わせ装置において、領域分割部は、左心房および左心室のクラスの画素値の統計値が、予め設定された閾値以下である場合には、左心房および左心室のクラスを心筋のクラスに置き換え、左心房および左心室のクラスに対応する領域と心筋のクラスに対応する領域を同一領域として分割し、位置合わせ処理部は、位置合わせ処理を施す一方の画像の左心房および左心室のクラスに対応する領域が、心筋のクラスに対応する領域と同一領域として分割され、他方の画像の左心房および左心室のクラスに対応する領域と心筋のクラスに対応する領域とが別の領域として分割された場合には、他方の画像の左心房および左心室のクラスに対応する領域の画素値を心筋のクラスに対応する領域の代表値に置き換えることができる。
また、本発明の画像位置合わせ装置において、クラスタリング部は、画素値の変化のピーク値およびそのピーク値となる時間の少なくとも１つに基づいて、クラスタリングを行うことができる。
本発明の画像位置合わせ方法は、時系列に撮影された複数の画像を取得し、各画像の同一位置の画素値の変化を各画像の複数位置についてそれぞれ取得し、各画像の複数位置についてそれぞれ取得された画素値の変化を複数のクラスにクラスタリングし、各画像の各画素のクラスの情報および画素値に基づいて、各画像を複数の領域に分割し、各画像の複数の領域の情報に基づいて、各画像に対して位置合わせ処理を施す。
本発明の画像位置合わせプログラムは、コンピュータを、時系列に撮影された複数の画像を取得する画像取得部と、各画像の同一位置の画素値の変化を各画像の複数位置についてそれぞれ取得する画素値変化取得部と、各画像の複数位置についてそれぞれ取得された画素値の変化を複数のクラスにクラスタリングするクラスタリング部と、各画像の各画素のクラスの情報および画素値に基づいて、各画像を複数の領域に分割する領域分割部と、各画像の複数の領域の情報に基づいて、各画像に対して位置合わせ処理を施す位置合わせ処理部として機能させる。
本発明の画像位置合わせ装置および方法並びにプログラムによれば、時系列に撮影された複数の画像を取得し、各画像の同一位置の画素値の変化を各画像の複数位置についてそれぞれ取得する。そして、各画像の複数位置についてそれぞれ取得された画素値の変化を複数のクラスにクラスタリングし、各画像の各画素のクラスの情報および画素値に基づいて、各画像を複数の領域に分割し、各画像の複数の領域の情報に基づいて、各画像に対して位置合わせ処理を施す。
このように各画像における各画素の画素値の変化をクラスタリングした結果を用いて各画像を複数の領域に分割し、その分割された領域の情報を用いて位置合わせ処理を行うことによって、一方の画像では高い画素値を有する構造が、他方の画像では低い画素値を示している場合でも、そのコントラスト差を低減することができ、高精度に位置合わせを行うことができる。
本発明の画像位置合わせ装置の一実施形態を用いた医用画像診断支援システムの概略構成を示すブロック図 心臓をパフュージョン撮影した画像の一例を示す図 複数の３次元画像の同一位置の画素値の変化の一例を示す模式図 右心房および右心室の領域の画素値変化ＲＶ、左心房および左心室の領域の画素値変化ＬＶ、および心筋の領域の画素値変化ＶＶの一例を示す模式図 パフュージョン解析の一例を説明するための図 本発明の画像位置合わせ装置の一実施形態を用いた医用画像診断支援システムの作用を説明するためのフローチャート
以下、本発明の画像位置合わせ装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の医用画像診断支援システムの概略構成を示すブロック図である。
本実施形態の医用画像診断支援システムは、心臓などを時系列に撮影した２以上の画像を取得し、これらの画像の位置合わせを行った後に、その２以上の画像を用いてパフュージョン解析を行うものである。
本実施形態の医用画像診断支援システムは、具体的には、図１に示すように、画像位置合わせ装置１と、医用画像保管サーバ２と、表示装置３と、入力装置４とを備えている。
画像位置合わせ装置１は、コンピュータに本実施形態の画像位置合わせプログラムをインストールしたものである。
画像位置合わせ装置１は、中央処理装置（ＣＰＵ（central processing unit））、半導体メモリ、およびハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスを備えている。ストレージデバイスには、本実施形態の画像位置合わせプログラムがインストールされており、この画像位置合わせプログラムが中央処理装置によって実行されることによって、図１に示す画像取得部１０、画素値変化取得部１１、クラスタリング部１２、領域分割部１３、位置合わせ処理部１４、パフュージョン解析部１５および表示制御部１６が動作する。
画像位置合わせプログラムは、ＤＶＤ（Digital Versatile Disc）およびＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、画像位置合わせプログラムは、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
画像取得部１０は、予め撮影された３次元画像６を取得するものである。３次元画像６は、たとえばＣＴ装置やＭＲＩ（Magnetic Resonance Imaging）装置などによって患者を撮影したものである。本実施形態の画像取得部１０は、いわゆるパフュージョン撮影によって撮影された３次元画像６を取得するものであり、造影剤が注入された心臓を時系列に撮影した２以上のフェーズの心臓画像を取得する。
より具体的には、画像取得部１０は、撮影間隔を１〜数心拍とし、３０回撮影を行った心臓画像を３次元画像６として取得する。この３０フェーズの心臓画像は、各心拍の収縮期において撮影されたものであることが望ましい。各心拍の収縮期において撮影された各心臓画像に含まれる心臓の形状に大きな違いはないが、１ｃｍ前後のずれがある。この１ｃｍ程度のずれが、後述する位置合わせ処理によって調整される。図２Ｉ〜IIIは、３０フェーズの心臓画像のうちの３フェーズの心臓画像の一例を示す図である。なお、本実施形態においては収縮期の心臓画像を取得するようにしたが、これに限らず、心臓の形状がほぼ一致するタイミングで取得された心臓画像であればその他のフェーズの心臓画像を取得するようにしてもよい。
本実施形態においては、造影剤が注入された心臓を撮影した３次元画像６を取得するようにしたが、撮影対象は心臓に限らず、造影剤が注入された肝臓、膵臓または脳などを撮影した画像を３次元画像６として取得するようにしてもよい。
また、３次元画像６としては、アキシャル断層画像、サジタル断層画像およびコロナル断層画像などの断層画像からなるボリュームデータを取得してもよいし、断層画像単体を取得するようにしてもよい。また、３次元画像に限らず、動画撮影によって時系列に撮影された２次元画像を取得するようにしてもよい。
３次元画像６は、医用画像保管サーバ２に患者の識別情報とともに予め保管されており、画像取得部１０は、入力装置４などを用いてユーザによって入力された患者の識別情報に基づいて、その識別情報を有する３次元画像６を医用画像保管サーバ２から読み出して一時記憶するものである。
画素値変化取得部１１は、画像取得部１０によって取得された３０フェーズの３次元画像６について、同一位置の画素値の変化を取得するものである。具体的には、図３に示すような画素値の時間変化を取得する。この画素値の時間変化は、３０次元のベクトルとして取得される。画素値の時間変化については、３次元画像の全ての画素位置について取得することが望ましいが、必ずしも全ての画素位置でなくてもよく、３次元画像内の一部の画素位置について取得するようにしてもよい。一部の画素位置の数としては、後述する画素値のクラスタリングに十分な数であればよい。また、一部の画素位置については予め設定するようにしてもよいし、ユーザが、表示装置３に表示された３次元画像６上において上述した一部の画素位置を入力装置４によって指定するようにしてもよい。
クラスタリング部１２は、画素値変化取得部１１によって取得された各画素位置の画素値の変化を複数のクラスにクラスタリングするものである。ここで、たとえば３次元画像６が、図２Ｉ〜図２IIIに示すような心臓のアキシャル断層画像である場合、画素値変化取得部１１によって取得される画素値変化としては、大まかに図４に示すような右心房および右心室の領域の画素値変化ＲＶと、左心房および左心室の領域の画素値変化ＬＶと、心筋の領域の画素値変化ＶＶとに分類される。なお、図２Ｉ〜図２IIIにおける領域Ｒ１が右心房の領域であり、領域Ｒ２が右心室の領域であり、領域Ｌ１が左心房の領域であり、領域Ｌ２が左心室の領域であり、領域Ｍが心筋の領域である。図２Ｉについては、左心室と心筋との境界が明確でないので、これらの領域の境界は図示省略している。
クラスタリング部１２は、各画素位置の画素値変化を心筋の領域のクラスと、右心房および右心室の領域のクラスと、左心房および左心室の領域のクラスと、その他の領域のクラスとにクラスタリングする。クラスタリング部１２は、各画素位置の画素値変化のピーク値とそのピーク値となる時間を用いてクラスタリングを行う。具体的には、マハラノビス距離を用いたk-means法を用いてクラスタリングを行う。なお、クラスタリングの方法としては、k-means法に限らず、その他の公知なクラスタリング手法を用いることができる。
なお、各３次元画像の全ての画素位置の画素値変化を取得することなく、一部の画素位置の画素値変化を取得するようにした場合には、その画素値変化をクラスタリングした結果を用いて、上記一部の画素位置以外の画素に対してクラス情報を付与するようにすればよい。
領域分割部１３は、各３次元画像６の各画素のクラスの情報および画素値に基づいて、各３次元画像６を複数の領域に分割するものである。具体的には、本実施形態の領域分割部１３は、各３次元画像６を右心房および右心室の領域と、左心房および左心室の領域と、心筋の領域とに分割する。領域の分割方法としては、たとえばグラフカット法を用いることができる。
グラフカット法を用いる場合には、たとえば右心房および右心室の領域とその他の領域と分割する場合には、右心房および右心室の領域とその他の領域とにノードＳとノードＴが設定され、隣接する画素間の画素値の差に基づいて隣接する画素を繋ぐｎ−ｌｉｎｋが設定され、クラスの情報に基づいて各画素とノードＳまたはノードＴとをつなぐｔ−ｌｉｎｋが設定される。なお、左心房および左心室の領域とその他の領域とを分割する場合、および心筋の領域とその他の領域とを分割する場合も同様である。また、多クラスのグラフカット法を用いて右心房および右心室の領域と、左心房および左心室の領域と、心筋の領域とを同時に抽出するようにしてもよい。
ここで、たとえば図２Ｉに示す３次元画像６のように左心房および左心室の領域と心筋の領域との境界が明確でない場合がある。このような場合、グラフカット法を用いて領域分割した場合、高精度な領域分割ができない場合がある。そこで、本実施形態の領域分割部１３は、たとえば左心房および左心室のクラスに分類された領域内の平均画素値を算出し、その平均画素値が予め設定された閾値（たとえば１００）以下である場合には、その左心房および左心室のクラスの情報を心筋のクラスの情報に置き換え、左心房および左心室のクラスに対応する領域と心筋のクラスに対応する領域を同一の心筋の領域として分割する。また、右心房および右心室の領域も同様に、右心房および右心室のクラスに分類された領域内の平均画素値を算出し、その平均画素値が予め設定された閾値（たとえば１００）以下である場合には、その右心房および右心室のクラスの情報を心筋のクラスの情報に置き換え、右心房および右心室のクラスに対応する領域と心筋のクラスに対応する領域を同一の心筋の領域として分割する。
上述したように領域分割した場合、右心房および右心室の構造情報または左心房および左心室の構造情報がなくなることになるが、グラフカット法によって誤って領域分割された場合と比較すると、位置合わせ処理の精度を高くすることができる。
位置合わせ処理部１４は、領域分割部１３によって分割された領域の情報に基づいて、各３次元画像６に対して位置合わせ処理を施すものである。具体的には、各３次元画像６の各画素値を、分割された領域毎に予め設定された定数の代表値に置き換える。たとえば各３次元画像６を右心房および右心室の領域と、左心房および左心室の領域と、心筋の領域とに分割した場合には、各３次元画像６の右心房および右心室の領域の画素値を代表値「０」に置き換え、左心房および左心室の領域の画素値を代表値「４００」に置き換え、心筋の領域の画素値を「７００」に置き換え、その他の領域の画素値を代表値「−１００」に置き換える。
そして、上記のように画素値を定数に置き換えた画像間で位置合わせ処理を行う。位置合わせ処理としては、剛体位置合わせ処理または非剛体位置合わせ処理が施される。剛体位置合わせ処理としては、たとえばＩＣＰ（Iterative Closest Point）法を用いた処理などを用いることができるが、その他の公知な手法を用いるようにしてもよい。また、非剛体位置合わせ処理としては、たとえばＦＦＤ（Free-Form Deformation）法を用いた処理やＴＰＳ（Thin-Plate Spline）法を用いた処理などを用いることができるが、その他の公知な手法を用いるようにしてもよい。また、剛体位置合わせ処理を行った後に、非剛体位置合わせ処理を行うようにしてもよい。
そして、画素値を定数に置き換えた画像間の位置合わせ処理の際に算出された変形ベクトルを、画素値を置き換える前の３次元画像６に適用して３次元画像６を変形することによって、位置合わせ処理後の３次元画像６を生成する。
なお、位置合わせ処理を施す一方の画像が、上述したように右心房および右心室と心筋との境界が明確でなく、領域分割部１３において、右心房および右心室の領域と心筋の領域とが同一の領域として分割され、他方の画像が、右心房および右心室の領域と心筋の領域とが別の領域として分割されている場合には、位置合わせ処理部５２は、他方の３次元画像６の右心房および右心室の領域の画素値を心筋の領域の代表値に置き換える。これにより高精度に位置合わせ処理を行うことができる。
また、位置合わせ処理を施す一方の画像が、左心房および左心室と心筋との境界が明確でなく、領域分割部１３において、左心房および左心室の領域と心筋の領域とが同一の領域として分割され、他方の画像が、左心房および左心室の領域と心筋の領域とが別の領域として分割されている場合にも、位置合わせ処理部５２は、他方の３次元画像６の左心房および左心室の領域の画素値を心筋の領域の代表値に置き換える。
パフュージョン解析部１５は、位置合わせ処理部１４によって位置合わせ処理の施された２以上の３次元画像６を用いて、パフュージョン解析を行うものである。パフュージョン解析の手法としては、上述したようなMaximum Slope法またはDeconvolution法が用いられる。具体的には、図５Ｉに示すように、ユーザによって表示装置３に表示された３次元画像６上において関心領域ＩＲが指定される。パフュージョン解析部１５は、位置合わせ処理の施された２以上の３次元画像６のそれぞれの関心領域ＩＲ内の画像の平均濃度値を算出し、図５IIに示すような時間濃度曲線（Time Density Curve）を算出し、この時間濃度曲線に基づいてパフュージョン解析を行う。
表示制御部１６は、液晶ディスプレイなどの表示デバイスを備えたものであり、パフュージョン解析部１５による解析結果を表示装置３に表示させるものである。また、表示制御部１６は、画像取得部１０によって取得された２以上の３次元画像６および位置合わせ処理後の２以上の３次元画像６などを表示装置３に表示させるものである。
入力装置４は、ユーザによる種々の設定入力を受け付けるものであり、キーボードやマウスなどの入力デバイスを備えたものである。入力装置４は、たとえば患者の識別情報の設定入力、上述した関心領域ＩＲの設定入力、および画素値変化を取得する画素位置の設定入力などを受け付けるものである。
なお、タッチパネルを用いることによって表示装置３と入力装置４と兼用するようにしてもよい。
次に、本実施形態の医用画像診断支援システムの作用について、図６に示すフローチャートを参照しながら説明する。
まず、ユーザによる患者の識別情報などの入力に基づいて、その患者の心臓をパフュージョン撮影した２以上の３次元画像６が画像取得部１０によって取得される（Ｓ１０）。
画像取得部１０によって取得された２以上の３次元画像６は画素値変化取得部１１に入力される。画素値変化取得部１１は、各３次元画像６の各画素について、画素値の時間変化を取得する（Ｓ１２）。
次に、各３次元画像６の各画素位置の画素値変化がクラスタリング部１２に入力され、クラスタリング部１２は、各画素位置の画素値変化を心筋の領域のクラスと、右心房および右心室の領域のクラスと、左心房および左心室の領域のクラスと、その他の領域のクラスとにクラスタリングする（Ｓ１４）。
そして、各３次元画像６の各画素のクラスの情報および画素値に基づいて、領域分割部１３によって各３次元画像６が複数の領域に分割される（Ｓ１６）。具体的には、各３次元画像６は、右心房および右心室の領域と、左心房および左心室の領域と、心筋の領域とに分割される。
次いで、位置合わせ処理部５２によって、各３次元画像６の各画素値が、分割された領域毎に予め設定された代表値に置き換えられ、その代表値に置き換えられた画像間で位置合わせ処理が施され、その変形ベクトルを用いて各３次元画像６を変形することによって、位置合わせ処理後の３次元画像６を生成する（Ｓ１８）。
位置合わせ処理の施された３次元画像６はパフュージョン解析部１５に入力され、パフュージョン解析部１５において、入力された３次元画像６を用いてパフュージョン解析が行われる（Ｓ２０）。
パフュージョン解析部１５によるパフュージョン解析結果は表示制御部１６に入力され、表示制御部１６は、入力されたパフュージョン解析結果を表示装置３に表示させる（Ｓ２２）。
上記実施形態の医用画像診断支援システムによれば、時系列に撮影された複数の画像を取得し、各画像の同一位置の画素値の変化を各画像の複数位置についてそれぞれ取得する。そして、各画像の複数位置についてそれぞれ取得された画素値の変化を複数のクラスにクラスタリングし、各画像の各画素のクラスの情報および画素値に基づいて、各画像を複数の領域に分割し、各画像の複数の領域の情報に基づいて、各画像に対して位置合わせ処理を施す。
このように各画像における各画素の画素値の変化をクラスタリングした結果を用いて各画像を複数の領域に分割し、その分割された領域の情報を用いて位置合わせ処理を行うことによって、一方の画像では高い画素値を有する構造が、他方の画像では低い画素値を示している場合でも、そのコントラスト差を低減することができ、高精度に位置合わせを行うことができる。
なお、上記実施形態においては、位置合わせ処理部５２において、各３次元画像６の画素値を領域毎の代表値に置き換えて位置合わせ処理を行うようにしたが、位置合わせ処理の方法としては、必ずしもこの手法に限らない。
たとえば領域分割部１３において、各領域に対してラベルを付与してラベル画像を生成する。具体的には、たとえば各３次元画像６の右心房および右心室の領域に対してラベル「１」を付与し、左心房および左心室の領域に対してラベル「２」を付与し、心筋の領域にラベル「３」を付与し、その他の領域にラベル「４」を付してラベル画像を生成し、そのラベル画像を領域分割部１３から位置合わせ処理部１４に出力させる。
そして、位置合わせ処理部１４は、下式（２）の評価関数を用いて一致度を算出する。
上式（２）におけるSは一致度の評価関数であり、Nは画像間(Fixed画像とMoving画像の間)で比較する画素の総数、xiは座標点、ＬF(xi)はFixed画像のxi におけるラベル、ＬM(xi)はMoving画像のxi におけるラベル、Tは座標点の幾何学的変換関数、μは幾何学的変換のパラメタである。
また、上式（２）における関数Ｃは、下式（３）である。関数Ｃは、ｌ１とｌ２のラベルが一致している場合には定数Ｋを出力し、不一致の場合には０（ゼロ）を出力する。関数Ｃをこのように定義した場合、Sが大きいほど一致していることになる。
位置合わせ処理部１４は、一致度Sが高くなるような変形パラメタμを求め、その変形パラメタμを用いて各３次元画像６を変形することによって、位置合わせ処理後の３次元画像６を生成する。
１ 画像位置合わせ装置
２ 医用画像保管サーバ
３ 表示装置
４ 入力装置
６ ３次元画像
１０ 画像取得部
１１ 画素値変化取得部
１２ クラスタリング部
１３ 領域分割部
１４ 位置合わせ処理部
１５ パフュージョン解析部
１６ 表示制御部
ＩＲ 関心領域
Ｌ１ 左心房の領域
Ｌ２ 左心室の領域
ＬＶ 左心房および左心室の領域の画素値変化
Ｍ 心筋の領域
Ｒ１ 右心房の領域
Ｒ２ 右心室の領域
ＲＶ 右心房および右心室の領域の画素値変化
ＶＶ 心筋の領域の画素値変化

Claims (10)

  1. 時系列に撮影された複数の心臓画像を含む画像を取得する画像取得部と、
    前記各画像の同一位置の画素値の変化を前記各画像の複数位置についてそれぞれ取得する画素値変化取得部と、
    前記各画像の複数位置についてそれぞれ取得された前記画素値の変化を少なくとも心筋のクラス、右心房および右心室のクラス、並びに左心室および左心房のクラスにクラスタリングするクラスタリング部と、
    前記各画像の各画素の前記クラスの情報および画素値に基づいて、前記各画像の心臓画像を複数の心臓の領域に分割する領域分割部と、
    前記各画像の前記複数の心臓の領域の情報に基づいて、該各画像に対して位置合わせ処理を施す位置合わせ処理部とを備えたことを特徴とする画像位置合わせ装置。
  2. 前記領域分割部が、前記右心房および右心室のクラスの画素値の統計値が、予め設定された閾値以下である場合には、該右心房および右心室のクラスを前記心筋のクラスに置き換え、前記右心房および右心室のクラスに対応する領域と前記心筋のクラスに対応する領域を同一領域として分割する請求項１に記載の画像位置合わせ装置。
  3. 前記領域分割部が、前記左心房および左心室のクラスの画素値の統計値が、予め設定された閾値以下である場合には、該左心房および左心室のクラスを前記心筋のクラスに置き換え、前記左心房および左心室のクラスに対応する領域と前記心筋のクラスに対応する領域を同一領域として分割する請求項１または２に記載の画像位置合わせ装置。
  4. 前記領域分割部が、前記各画像の各画素の前記クラスの情報および画素値を用いてグラフカットを行うことにより前記各画像を複数の領域に分割する請求項１から３いずれか１項に記載の画像位置合わせ装置。
  5. 前記位置合わせ処理部が、前記各画像の複数の領域の情報に基づいて、該各画像の各領域の画素値を領域毎に異なる代表値に置き換え、該置き換えられた代表値に基づいて、前記位置合わせ処理を行う請求項１から４いずれか１項に記載の画像位置合わせ装置。
  6. 前記領域分割部が、前記右心房および右心室のクラスの画素値の統計値が、予め設定された閾値以下である場合には、該右心房および右心室のクラスを前記心筋のクラスに置き換え、前記右心房および右心室のクラスに対応する領域と前記心筋のクラスに対応する領域を同一領域として分割し、
    前記位置合わせ処理部が、前記位置合わせ処理を施す一方の画像の前記右心房および右心室のクラスに対応する領域が、前記心筋のクラスに対応する領域と同一領域として分割され、他方の画像の前記右心房および右心室のクラスに対応する領域と前記心筋のクラスに対応する領域とが別の領域として分割された場合には、前記他方の画像の前記右心房および右心室のクラスに対応する領域の画素値を前記心筋のクラスに対応する領域の代表値に置き換える請求項５に記載の画像位置合わせ装置。
  7. 前記領域分割部が、前記左心房および左心室のクラスの画素値の統計値が、予め設定された閾値以下である場合には、該左心房および左心室のクラスを前記心筋のクラスに置き換え、前記左心房および左心室のクラスに対応する領域と前記心筋のクラスに対応する領域を同一領域として分割し、
    前記位置合わせ処理部が、前記位置合わせ処理を施す一方の画像の前記左心房および左心室のクラスに対応する領域が、前記心筋のクラスに対応する領域と同一領域として分割され、他方の画像の前記左心房および左心室のクラスに対応する領域と前記心筋のクラスに対応する領域とが別の領域として分割された場合には、前記他方の画像の前記左心房および左心室のクラスに対応する領域の画素値を前記心筋のクラスに対応する領域の代表値に置き換える請求項５または６に記載の画像位置合わせ装置。
  8. 前記クラスタリング部が、前記画素値の変化のピーク値および該ピーク値となる時間の少なくとも１つに基づいて、前記クラスタリングを行う請求項１から７いずれか１項に記載の画像位置合わせ装置。
  9. コンピュータが、
    時系列に撮影された複数の心臓画像を含む画像を取得し、
    前記各画像の同一位置の画素値の変化を前記各画像の複数位置についてそれぞれ取得し、
    前記各画像の複数位置についてそれぞれ取得された前記画素値の変化を少なくとも心筋のクラス、右心房および右心室のクラス、並びに左心室および左心房のクラスにクラスタリングし、
    前記各画像の各画素の前記クラスの情報および画素値に基づいて、前記各画像の心臓画像を複数の心臓の領域に分割し、
    前記各画像の前記複数の心臓の領域の情報に基づいて、該各画像に対して位置合わせ処理を施すことを特徴とする画像位置合わせ方法。
  10. コンピュータを、
    時系列に撮影された複数の心臓画像を含む画像を取得する画像取得部と、
    前記各画像の同一位置の画素値の変化を前記各画像の複数位置についてそれぞれ取得する画素値変化取得部と、
    前記各画像の複数位置についてそれぞれ取得された前記画素値の変化を少なくとも心筋のクラス、右心房および右心室のクラス、並びに左心室および左心房のクラスにクラスタリングするクラスタリング部と、
    前記各画像の各画素の前記クラスの情報および画素値に基づいて、前記各画像の心臓画像を複数の心臓の領域に分割する領域分割部と、
    前記各画像の前記複数の心臓の領域の情報に基づいて、該各画像に対して位置合わせ処理を施す位置合わせ処理部として機能させることを特徴とする画像位置合わせプログラム。
JP2016079998A 2016-04-13 2016-04-13 画像位置合わせ装置および方法並びにプログラム Active JP6611660B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016079998A JP6611660B2 (ja) 2016-04-13 2016-04-13 画像位置合わせ装置および方法並びにプログラム
US15/481,939 US10424073B2 (en) 2016-04-13 2017-04-07 Image registration device, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016079998A JP6611660B2 (ja) 2016-04-13 2016-04-13 画像位置合わせ装置および方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP2017189337A JP2017189337A (ja) 2017-10-19
JP6611660B2 true JP6611660B2 (ja) 2019-11-27

Family

ID=60038336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016079998A Active JP6611660B2 (ja) 2016-04-13 2016-04-13 画像位置合わせ装置および方法並びにプログラム

Country Status (2)

Country Link
US (1) US10424073B2 (ja)
JP (1) JP6611660B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11182914B2 (en) * 2018-05-21 2021-11-23 Facebook Technologies, Llc Dynamic structured light for depth sensing systems based on contrast in a local area
CN110638477B (zh) * 2018-06-26 2023-08-11 佳能医疗系统株式会社 医用图像诊断装置以及对位方法
JP6716765B1 (ja) * 2018-12-28 2020-07-01 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、プログラム
CN112770810B (zh) * 2019-07-18 2023-08-29 西安大医集团股份有限公司 肿瘤定位方法、装置及放射治疗系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8165361B2 (en) * 2008-01-14 2012-04-24 General Electric Company System and method for image based multiple-modality cardiac image alignment
WO2009090894A1 (ja) * 2008-01-15 2009-07-23 Konica Minolta Medical & Graphic, Inc. 動態画像診断支援システム
JP5478832B2 (ja) * 2008-03-21 2014-04-23 株式会社東芝 医用画像処理装置、及び医用画像処理プログラム
JP5580030B2 (ja) 2009-12-16 2014-08-27 株式会社日立製作所 画像処理装置、および画像位置合せ方法
US8315812B2 (en) * 2010-08-12 2012-11-20 Heartflow, Inc. Method and system for patient-specific modeling of blood flow
WO2012174495A2 (en) * 2011-06-17 2012-12-20 Carnegie Mellon University Physics based image processing and evaluation process of perfusion images from radiology imaging
CN102958440B (zh) * 2011-06-23 2015-12-02 株式会社东芝 图像处理装置以及x射线诊断装置
JP5742944B2 (ja) 2011-08-24 2015-07-01 株式会社村田製作所 アクチュエータ素子及び該アクチュエータ素子の製造方法
JP6139895B2 (ja) * 2012-02-02 2017-05-31 東芝メディカルシステムズ株式会社 医用画像処理装置，ｘ線ｃｔ装置及び医用画像処理方法
JP5836908B2 (ja) * 2012-09-27 2015-12-24 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP6195714B2 (ja) * 2013-01-16 2017-09-13 富士フイルム株式会社 医用画像処理装置および方法並びにプログラム
DE102015201984B4 (de) * 2014-02-06 2018-09-20 Amid S.R.L. Verfahren und Vorrichtung zur Analyse und Darstellung von Blutflussinformationen
JP6367102B2 (ja) * 2014-12-09 2018-08-01 株式会社キーエンス 監視システム

Also Published As

Publication number Publication date
US20170301100A1 (en) 2017-10-19
JP2017189337A (ja) 2017-10-19
US10424073B2 (en) 2019-09-24

Similar Documents

Publication Publication Date Title
JP6598452B2 (ja) 医用画像処理装置及び医用画像処理方法
JP2022025095A (ja) 機械学習を用いた医用イメージングの変換のためのシステムおよび方法
JP6316671B2 (ja) 医療画像処理装置および医用画像処理プログラム
US10803354B2 (en) Cross-modality image synthesis
Banerjee et al. A completely automated pipeline for 3D reconstruction of human heart from 2D cine magnetic resonance slices
US8682051B2 (en) Smoothing of dynamic data sets
JP6611660B2 (ja) 画像位置合わせ装置および方法並びにプログラム
JP5955199B2 (ja) 画像処理装置および画像処理方法、並びに、画像処理プログラム
Zhang et al. Fully automated left atrium segmentation from anatomical cine long-axis MRI sequences using deep convolutional neural network with unscented Kalman filter
JP6608110B2 (ja) 画像位置合わせ装置および方法並びにプログラム
CN110546685B (zh) 图像分割和分割预测
Queiros et al. Fast left ventricle tracking using localized anatomical affine optical flow
US20160292844A1 (en) Medical image registration apparatus, medical image registration method, and medical image registration program
Kim et al. Automatic segmentation of the left ventricle in echocardiographic images using convolutional neural networks
US20180064409A1 (en) Simultaneously displaying medical images
Medrano-Gracia et al. Large scale left ventricular shape atlas using automated model fitting to contours
Gupta et al. A hybrid framework for registration of carotid ultrasound images combining iconic and geometric features
Atehortúa et al. Fusion of 3D real-time echocardiography and cine MRI using a saliency analysis
Tobon-Gomez et al. A multimodal database for the 1 st cardiac motion analysis challenge
Woo et al. Geometric feature‐based multimodal image registration of contrast‐enhanced cardiac CT with gated myocardial perfusion SPECT
McLeod et al. A near-incompressible poly-affine motion model for cardiac function analysis
Jia et al. Stacom-slawt challenge: left atrial wall segmentation and thickness measurement using region growing and marker-controlled geodesic active contour
Yang et al. Automatic left ventricle segmentation based on multiatlas registration in 4D CT images
JP6807981B2 (ja) 画像位置合わせ装置および方法並びにプログラム
Kerfoot et al. Automated CNN-based reconstruction of short-axis cardiac MR sequence from real-time image data

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191029

R150 Certificate of patent or registration of utility model

Ref document number: 6611660

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250