JP7356330B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7356330B2 JP7356330B2 JP2019213082A JP2019213082A JP7356330B2 JP 7356330 B2 JP7356330 B2 JP 7356330B2 JP 2019213082 A JP2019213082 A JP 2019213082A JP 2019213082 A JP2019213082 A JP 2019213082A JP 7356330 B2 JP7356330 B2 JP 7356330B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- subspace
- pixel value
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
ンプルデータから構成される学習データであって、前記サンプルデータが学習用の画像の画素値情報と注目領域の形状情報とを含んで構成されている学習データを用いて生成された、前記複数のサンプルデータの分布を表す部分空間の情報を取得する部分空間情報取得手段と、前記部分空間の情報を用いた行列演算によって、前記第1の画像の画素値情報から前記第1の画像中の注目領域の形状情報を推定する推定手段と、を有することを特徴とする画像処理装置を提供する。
学的な)特徴を表す情報である。例えば、注目領域の輪郭情報(輪郭形状を表す情報)、注目領域上の特徴点の位置や特徴点同士の相対位置(間隔など)、注目領域の長さ・面積・体積、注目領域のかたち(円形、楕円形、三角形など)などを例示できる。なお、画像から直接得られる一次情報だけでなく、一次情報を用いて生成される二次情報(例えば、特徴点の位置の差、2つの時相の間での面積比など)も、形状情報に含まれる。
第1の実施形態に係る画像処理装置は、入力画像から注目領域である左心房の輪郭情報を自動的に抽出する機能を有している。ここで、本装置は、学習データから構築した部分空間(統計モデル)に基づいて、Back projection for lost pixels(BPLP)法を用いて注目領域の輪郭情報を推定する。この方法によれば、精度の高い輪郭抽出結果を、勾配法などの従来方法よりも低い計算コストでユーザに提供できる。
推定した注目領域の輪郭情報を容易に視認できるような表示形態で、表示部36の画像表示領域内に表示させる。
ステップS101において、ユーザが操作部35を介して画像の取得を指示すると、画像取得部51は、ユーザが指定した第1の画像をデータベース22から取得し、RAM33に格納する。またこのとき、表示処理部54は、第1の画像を表示部36の画像表示領域内に表示させてもよい。ここで、第1の画像の例を図3に示す。図3は、第1の画像が心臓の超音波画像における心尖部四腔像である例を示している。なお、以下の説明では、第1の画像を構成するx方向の画素数はNx、y方向の画素数はNyであるものとする。すなわち、第1の画像を構成する全画素数はNx×Nyである。
ステップS102において、部分空間情報取得部52は、第1の画像とは異なる複数の画像に関して、画像の画素値情報(例えば画像データ)と、該画像における注目領域の正解の輪郭情報を、データベース22から取得する。すなわち、部分空間情報取得部52は、部分空間の情報を算出するために用いる学習データを取得する。なお、学習データとして用いる複数の画像は、統計モデルのロバスト性を高めるために、異なる患者を撮影した画像で構成することが望ましい。ただし、同一患者を異なる時期に撮影した画像が含まれていても構わない。あるいは、画像の変形・加工などにより、データオーグメンテーション(学習データの水増し)を行ってもよい。
ステップS103において、輪郭情報推定部53は、ステップS101で取得した第1の画像と、ステップS102で取得した部分空間情報から、第1の画像中に写る注目領域の輪郭情報を推定する。より具体的には、輪郭情報推定部53は、Back projection for lost pixels(BPLP)法に基づいて第1の画像中に写る左心房領域の輪郭情報を推定し、その結果をRAM33に格納する。
成されるベクトルfを、以下の式により求める。以下の式に基づく演算は、繰り返し演算を含まないため、従来の勾配法に比べて計算コストの低い輪郭情報の推定処理が実現できる。また、この演算に関する計算時間のバラつきの観点で影響を与える要因は、入力の画素値情報と、推定対象の輪郭情報の次元数であることから、入力画像の大きさが決まれば、処理時間のバラつきは小さくなることが期待できる。
成分得点を算出すればよい。また、推定処理の対象として、輪郭情報b′などの値に関する推定処理を行った場合には、推定結果の輪郭情報は輪郭線上のxy座標にはなっていないので、推定した値から座標値への変換を行って、RAM33に格納すればよい。より具体的には、輪郭情報b′が学習データの輪郭情報に関する主成分得点である場合は、該主成分得点と、学習データの輪郭情報のみを用いて構築した部分空間情報に基づいて、逆投影の処理をすればよい。
ステップS104において、表示処理部54は、入力画像である第1の画像と輪郭情報推定部53により推定した注目領域の輪郭情報を画像表示領域内に表示させる。このとき、推定した輪郭情報と第1の画像を重畳して表示してもよい。重畳表示を行うことで、第1の画像に対して、推定した輪郭情報がどの程度合っているのかを容易に視認できる。本実施形態においては、注目領域の輪郭情報は、該領域の輪郭をサンプリングした離散的な点群であるため、スプライン補間などの既知の技術を用いて隣接点の間を補間した後に表示してもよい。
第1の実施形態では、入力画像や学習データとして扱う画像が2次元の超音波画像である例を示したが、これらの画像は、2次元画像の経時的なデータを繋げた画像(3次元の時空間画像)であってもよい。すなわち、2次元の超音波画像の動画像(2フレーム以上の2次元超音波画像)を入力画像として扱ってもよい。このとき、時間的に連続する複数フレームの画像の組ではなく、特定のフレーム(時相)の画像の組を用いて、3次元の時空間画像を構成してもよい。
tole)期)のフレームの画像と収縮期(収縮末期:ES(End-Systole)期)のフレームの画像の2つの時相の画像で構成される3次元画像を用いるとよい。この場合には、拡張期と収縮期の2つのフレームの画像の画素値情報と、該画像の夫々に対応する輪郭情報とに基づいて、第1の実施形態の方法を実施すればよい。第1の実施形態と同様の処理を実施することで、未知の3次元画像の入力に対して、該3次元画像の全てのフレームに対応する輪郭情報を同時に推定できる。なお、心臓の拡張期や収縮期のフレームの特定は、公知のいかなる方法を用いてもよい。例えば、動画像からユーザが手動で特定してもよく、動画像に対応する心電図等の情報からフレームの特定を自動で行ってもよい。
対する主成分分析を利用して算出した主成分得点を新たな輪郭情報として用いてもよい。
第1の実施形態、及び、変形例1では、入力画像の画素値情報を既知の情報として、入力画像に対応する注目領域の輪郭情報を未知の情報として設定し、BPLP法によって未知の情報を推定する例を示した。しかし、既知の情報と未知の情報は別の設定をしてもよい。
報の少なくとも一部が事前に分かっている場合には、該輪郭情報も既知の情報として設定し、それ以外の輪郭情報を未知の情報として設定してもよい。例えば、既知の特徴点抽出などの手法を用いて注目領域の弁輪位置を検出し、その位置を既知の情報として設定してもよい。また、操作部35を介して、画像上の弁輪位置をユーザが手動で設定してもよい。例えば、輪郭情報bにおける点p1が弁輪位置だとすると、(x1,y1)を既知の情報として与えることができる。すなわち、ステップS103において、輪郭情報推定部53は、式(6)のx1,y1に相当する要素に取得した弁輪位置の座標を与え、式(7)のx1,y1に相当する対角要素の値を1に変更したうえで、式(5)により、p2~p9の座標の推定を行う。
第2の実施形態に係る画像処理装置は、第1の実施形態と同様に、画像から注目領域の形状情報(例えば輪郭情報など)を自動的に推定する機能を有している。本実施形態の画像処理装置は、処理対象の第1の画像に応じて、学習データから構築した2つ以上の部分空間(統計モデル)のうちから適切な部分空間を選択し、選択した部分空間を用いて第1の画像の注目領域の形状情報を推定する。第1の実施形態と比較して、本実施形態は、形状情報の推定の前に、2つ以上の部分空間情報から推定に好適な部分空間情報を選択する機能を備えている点で異なる。本実施形態の方法によれば、第1の画像に応じて推定に用いる部分空間を適宜選択することで、より精度の高い推定結果をユーザに提供できる。
学習データを用いて2回以上の統計解析を行う。そして、部分空間情報取得部52は、該統計解析の結果から、2つ以上の部分空間情報(例えば、部分空間を構成する基底の情報)を算出する。このとき、部分空間情報取得部52は、学習データを2つ以上のデータセットに分け、異なるデータセットを用いて夫々の部分空間情報を生成する。すなわち、部分空間情報取得部52は、学習データのうちの異なるデータセットを用いて生成された2つ以上の部分空間の情報を取得する部分空間情報取得手段の一例に相当する。
ステップS201において、部分空間情報取得部52は、図2のステップS102と同様に、複数の学習データをデータベース22から取得する。
ーグメンテーション(学習データの水増し)を行って、2つ以上のデータセットを作成してもよい。より具体的には、平行移動や回転、拡大縮小などの複数通りの操作を行ったデータを生成して、該変形パラメータが同じ、または近いデータを同じ組にまとめることで、2つ以上のデータセットを作成してもよい。あるいは、画像に写る被検者の患者情報(例えば、身長や体重、または病歴)などに基づいて組分けしてもよい。あるいは、時相の違い(拡張期と収縮期)、断面方向の違い(四腔像と二腔像)、検査種別や撮影プロトコルの違い、モダリティの機種の違い、病院の違い、撮影者の違い等によって学習データの組分けを行ってもよい。また、これらの複数の条件を組み合わせて組分けを行ってもよい。また、これ以外にも、注目領域の形状や画質に影響を与えるいずれの分類を用いて組分けを行ってもよい。
ステップS202において、部分空間情報選択部55は、画像取得部51で取得した第1の画像と、部分空間情報取得部52で取得した2つ以上の部分空間情報とに基づいて、ある1つの部分空間情報を選択し、その結果をRAM33に格納する。すなわち、第1の画像における注目領域の輪郭情報を推定するためにより適した部分空間情報(第1の部分空間の情報)として、第1の画像に基づいて、2つ以上の部分空間情報の中から1つの部分空間情報を選択する。
値情報の再構築誤差が所定の閾値より小さいデータセットを全て選択するようにしてもよい。あるいは、再構築誤差が小さい上位の所定の数のデータセットを選択するようにしてもよい。複数のデータセットが選択された場合、ステップS103において、輪郭情報推定部53は、夫々のデータセットの部分空間情報を用いて輪郭情報の推定処理を実行して結果を統合してもよい。例えば、夫々の部分空間情報を用いて推定された輪郭情報の平均値や中央値を取得してもよい。
また、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インターフェイス機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、1つの機器からなる装置に適用しても良い。
51 画像取得部
52 部分空間情報取得部
53 輪郭情報推定部
54 表示処理部
55 部分空間情報選択部
Claims (19)
- 画像から注目領域の形状に関する情報である形状情報を推定する画像処理装置であって、
処理対象となる第1の画像を取得する画像取得手段と、
複数のサンプルデータから構成される学習データであって、前記サンプルデータが学習用の画像の画素値情報と注目領域の形状情報とを含んで構成されている学習データを用いて生成された、前記複数のサンプルデータの分布を表す部分空間の情報を取得する部分空間情報取得手段と、
前記部分空間の情報を用いた行列演算によって、前記第1の画像の画素値情報から前記第1の画像中の注目領域の形状情報を推定する推定手段と、
を有することを特徴とする画像処理装置。 - 前記部分空間の情報は、前記学習データに対し統計解析を行うことにより得られた情報である
ことを特徴とする請求項1に記載の画像処理装置。 - 前記統計解析は、主成分分析であり、
前記部分空間の情報は、主成分分析により得られた平均ベクトルと複数の固有ベクトルの情報を含む
ことを特徴とする請求項2に記載の画像処理装置。 - 前記推定手段は、前記第1の画像の画素値情報を既知の情報、前記第1の画像中の注目領域の形状情報を未知の情報として設定し、Back projection for lost pixels法を用いて、前記第1の画像の画素値情報と前記部分空間を表す行列とから前記第1の画像中の注目領域の形状情報を推定する
ことを特徴とする請求項1~3のうちいずれか1項に記載の画像処理装置。 - 前記推定手段は、既知の情報である前記第1の画像の画素値情報に対応する要素と、未知の情報である前記第1の画像中の注目領域の形状情報に対応する要素と、を含んで構成されるベクトルfを、
f=E(ETΣE)-1ETf′
f′:ベクトルfの要素のうち未知の情報である形状情報に対応する要素を0にしたベクトル
E:部分空間を表す行列
Σ:単位行列のうち形状情報に対応する要素を0にした行列
により求める
ことを特徴とする請求項1~3のうちいずれか1項に記載の画像処理装置。 - 前記部分空間情報取得手段は、予め生成された部分空間の情報を記憶する記憶装置から、前記推定手段による推定処理に用いる前記部分空間の情報を取得する
ことを特徴とする請求項1~5のうちいずれか1項に記載の画像処理装置。 - 前記部分空間情報取得手段は、E(ETΣE)-1ETの算出結果又はE(ETΣE)-1ETのうちの一部の算出結果を部分空間の情報として記憶する記憶装置から、前記推定手段による推定処理に用いる前記部分空間の情報を取得する
ことを特徴とする請求項5に記載の画像処理装置。 - 前記第1の画像は、異なる時相の複数の画像の組で構成された画像である
ことを特徴とする請求項1~7のうちいずれか1項に記載の画像処理装置。 - 前記推定手段は、前記異なる時相の複数の画像の画素値情報を連結したデータを前記第1の画像の画素値情報として用い、前記異なる時相の複数の画像夫々に対応する形状情報を連結したデータを前記第1の画像に対応する形状情報として用いる
ことを特徴とする請求項8に記載の画像処理装置。 - 前記第1の画像は、心臓の画像であり、
前記注目領域は、心房又は心室である
ことを特徴とする請求項1~9のうちいずれか1項に記載の画像処理装置。 - 前記第1の画像は、心臓の拡張期の画像と収縮期の画像の組で構成された画像である
ことを特徴とする請求項10に記載の画像処理装置。 - 前記画素値情報は、画像の画素値を並べたデータである
ことを特徴とする請求項1~11のうちいずれか1項に記載の画像処理装置。 - 前記画素値情報は、学習用の複数の画像を主成分分析して得られた部分空間に対し、画像を投影することにより得られる、当該画像の主成分得点を並べたデータである
ことを特徴とする請求項1~11のうちいずれか1項に記載の画像処理装置。 - 前記部分空間情報取得手段は、前記学習データのうちの異なるデータセットを用いて生成された2つ以上の部分空間の情報を取得するものであり、
前記画像処理装置は、前記第1の画像の画素値情報に基づいて、前記2つ以上の部分空間の情報から第1の部分空間の情報を選択する部分空間情報選択手段をさらに有し、
前記推定手段は、前記第1の部分空間の情報を用いて前記第1の画像中の注目領域の形状情報を推定する
ことを特徴とする請求項1~13のうちいずれか1項に記載の画像処理装置。 - 前記部分空間情報選択手段は、前記第1の画像の画素値情報と、各データセットに含まれるサンプルデータの画素値情報との類似性に基づいて、前記第1の画像と類似するサンプルデータが含まれるデータセットを特定し、前記特定されたデータセットから生成された部分空間の情報を前記第1の部分空間の情報として選択する
ことを特徴とする請求項14に記載の画像処理装置。 - 前記部分空間情報選択手段は、前記第1の画像の画素値情報を各データセットの画素値情報に関する部分空間へ投影・逆投影したときの再構築誤差に基づいて、前記第1の画像と各データセットとの類似性を評価する
ことを特徴とする請求項15に記載の画像処理装置。 - 前記形状情報は、前記注目領域の輪郭情報である
ことを特徴とする請求項1~16のうちいずれか1項に記載の画像処理装置。 - 画像から注目領域の形状に関する情報である形状情報を推定する画像処理方法であって、
処理対象となる第1の画像を取得するステップと、
複数のサンプルデータから構成される学習データであって、前記サンプルデータが学習用の画像の画素値情報と注目領域の形状情報とを含んで構成されている学習データを用いて生成された、前記複数のサンプルデータの分布を表す部分空間の情報を取得するステップと、
前記部分空間の情報を用いた行列演算によって、前記第1の画像の画素値情報から前記
第1の画像中の注目領域の形状情報を推定するステップと、
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1~17のうちいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019213082A JP7356330B2 (ja) | 2019-11-26 | 2019-11-26 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019213082A JP7356330B2 (ja) | 2019-11-26 | 2019-11-26 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021086260A JP2021086260A (ja) | 2021-06-03 |
JP7356330B2 true JP7356330B2 (ja) | 2023-10-04 |
Family
ID=76087748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019213082A Active JP7356330B2 (ja) | 2019-11-26 | 2019-11-26 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7356330B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011138388A (ja) | 2009-12-28 | 2011-07-14 | Canon Inc | データ補正装置及び方法 |
-
2019
- 2019-11-26 JP JP2019213082A patent/JP7356330B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011138388A (ja) | 2009-12-28 | 2011-07-14 | Canon Inc | データ補正装置及び方法 |
Non-Patent Citations (4)
Title |
---|
和迩秀信,"核医学における情報処理",情報処理,日本,社団法人情報処理学会,1989年03月15日,第30巻, 第3号,p.232-237 |
天野敏之, 外1名,"固有空間法を用いたBPLPによる画像補間",電子情報通信学会論文誌,日本,社団法人電子情報通信学会,2002年03月01日,第J85-D-II巻, 第3号,p.457-465 |
折居英章, 外3名,"エッジ特徴に基づくクラスター固有空間を用いた画像拡大法",電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2010年02月25日,第109巻, 第447号,p.141-144 |
東浦圭佑, 外9名,"正常部分空間の直交補空間を用いた臓器形状の疾患部分空間に基づく正常・疾患の識別",電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2012年05月10日,第112巻, 第37号,p.51-56 |
Also Published As
Publication number | Publication date |
---|---|
JP2021086260A (ja) | 2021-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7246866B2 (ja) | 医用画像処理装置 | |
Bai et al. | A bi-ventricular cardiac atlas built from 1000+ high resolution MR images of healthy subjects and an analysis of shape and motion | |
EP3206189B1 (en) | Image processing apparatus, image processing method, and program | |
Prakosa et al. | Generation of synthetic but visually realistic time series of cardiac images combining a biophysical model and clinical images | |
US10867423B2 (en) | Deformation field calculation apparatus, method, and computer readable storage medium | |
TW201725554A (zh) | 心臟醫學影像單一腔室地圖化系統及方法 | |
JP2016189946A (ja) | 医用画像位置合わせ装置および方法並びにプログラム | |
EP1851721B1 (en) | A method, a system and a computer program for segmenting a surface in a multidimensional dataset | |
US20220230346A1 (en) | Image processing apparatus, medical image capturing apparatus, image processing method, and storage medium | |
EP2498222A2 (en) | Method and system for regression-based 4D mitral valve segmentation from 2D+T magnetic resonance imaging slices | |
US20230394670A1 (en) | Anatomically-informed deep learning on contrast-enhanced cardiac mri for scar segmentation and clinical feature extraction | |
JP2022111705A (ja) | 学習装置、画像処理装置、医用画像撮像装置、学習方法およびプログラム | |
JP2021027982A (ja) | 画像処理装置及び画像処理方法 | |
JP2016041245A (ja) | 医用画像処理装置及び医用画像処理方法 | |
JP6995535B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6934734B2 (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
Guo et al. | Automatic segmentation of a fetal echocardiogram using modified active appearance models and sparse representation | |
JP7356330B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7419037B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
McLeod et al. | A near-incompressible poly-affine motion model for cardiac function analysis | |
US20220092745A1 (en) | Information processing apparatus, information processing method, and non-transitory recording medium | |
JP6734073B2 (ja) | 医用画像処理装置、超音波診断装置、及び医用画像処理プログラム | |
US11138736B2 (en) | Information processing apparatus and information processing method | |
Bugdol et al. | A novel model-based approach to left ventricle segmentation | |
KR20130079987A (ko) | 장기 변형모델을 추정하는 방법, 장치 및 의료영상시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221011 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230922 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7356330 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |