JP7412223B2 - 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置 - Google Patents
画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置 Download PDFInfo
- Publication number
- JP7412223B2 JP7412223B2 JP2020034949A JP2020034949A JP7412223B2 JP 7412223 B2 JP7412223 B2 JP 7412223B2 JP 2020034949 A JP2020034949 A JP 2020034949A JP 2020034949 A JP2020034949 A JP 2020034949A JP 7412223 B2 JP7412223 B2 JP 7412223B2
- Authority
- JP
- Japan
- Prior art keywords
- cross
- image
- sectional
- section
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 116
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000013179 statistical model Methods 0.000 claims description 104
- 238000000034 method Methods 0.000 claims description 50
- 238000003384 imaging method Methods 0.000 claims description 33
- 238000010606 normalization Methods 0.000 claims description 28
- 238000002604 ultrasonography Methods 0.000 claims description 24
- 238000000513 principal component analysis Methods 0.000 claims description 16
- 230000001186 cumulative effect Effects 0.000 claims description 14
- 239000000523 sample Substances 0.000 claims description 11
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 46
- 239000013598 vector Substances 0.000 description 25
- 230000006870 function Effects 0.000 description 20
- 238000003860 storage Methods 0.000 description 20
- 238000007619 statistical method Methods 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 10
- 210000005240 left ventricle Anatomy 0.000 description 8
- 210000005246 left atrium Anatomy 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 210000005241 right ventricle Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000002837 heart atrium Anatomy 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000002861 ventricular Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000005245 right atrium Anatomy 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
計モデルは、断面種別が同じ複数の断面画像の特徴を表す部分空間の情報であることを特徴とする画像処理装置を提供する。
であるかという観点による分類である。ここでは、画像処理装置を例にして説明するが、医用画像診断装置に本発明を適用してもよい。
第1の実施形態に係る画像処理装置は、入力画像の断面種別を識別する装置である。本実施形態では、入力画像および学習データとして心臓の2次元超音波画像を用い、入力画像が心尖部二腔像、心尖部三腔像、心尖部四腔像、および空中放置像の4種類のいずれであるかを識別する、というケースを例示する。心尖部二腔像は、左心房・左心室の2腔が写った画像であり、心尖部三腔像は、左心房・左心室・右心室の3腔が写った画像であり、心尖部四腔像は、左右心房・左右心室の計4腔が写った画像である。また、空中放置像は、プローブが被検体に接しておらずいずれの腔も写っていない画像である。なお、これらは断面種別の一例であり、その他の種別の画像についても、同様の処理で識別可能である。
画像処理装置10は、ネットワーク21を介して、データベース22が保持しているデータを取得することが可能である。
ステップS101において、統計モデル取得部52は、識別対象とする複数の断面種別にそれぞれ対応する複数の統計モデルを取得する。
して取得した複数の断面画像を、断面種別ごとにグループ分けする。本実施形態の場合は、心尖部二腔像・心尖部三腔像・心尖部四腔像・空中放置像という4つの画像群が生成される。以降のステップS402~S406の処理は、グループ分けされた画像群ごとに行われる。
ルに変換する。クロップ処理後の画像はNx×Ny個の画素で構成されている。ある画像Iの画素値情報の列ベクトルaは、画像左上を原点(0,0)として、画素位置(x,y)における画素値をI(x,y)で表すものとして、以下の通り定義される。
・四腔像における累積寄与率をもとに、L=10ないし20という単一の値を採用する。
ステップS102において、ユーザが操作部35を介して画像の取得を指示すると、画像取得部51は、ユーザが指定した入力画像をデータベース22から取得し、RAM33に格納する。このとき、表示処理部54は、入力画像を表示部36の画像表示領域内に表示させてもよい。
ステップS103において、識別部53は、ステップS101で取得した複数の統計モデルそれぞれの入力画像への当てはまりを評価することによって、入力画像の断面種別を識別する。本実施形態では、統計モデルとして、断面種別ごとの部分空間情報が用いられる。すなわち、識別すべき断面種別の数が4種類の場合、4つの部分空間情報が取得される。この場合、識別部53は、断面種別ごとに入力画像の特徴が部分空間に属する可能性を表すスコアを算出し、断面種別ごとのスコアに基づいて入力画像の断面種別を識別するとよい。スコアの算出方法は問わないが、例えば、入力画像の特徴を部分空間へ投影した
のち元の画像空間に逆投影することで得られる再構築画像を断面種別ごとに生成し、各再構築画像と入力画像の類似度に基づいて断面種別ごとのスコアを算出するとよい。再構築画像と入力画像の類似度が高いほど、すなわち、再構築画像と入力画像の差異が小さいほど、入力画像がその部分空間に属する可能性が高いと評価することができる。したがって、断面種別ごとのスコアを比較することにより、入力画像が属する部分空間、すなわち、入力画像の断面種別を推定することができる。なお、スコアは、再構築画像と入力画像の類似度と正の相関をもつスコアでもよいし、負の相関をもつスコアでもよい。例えば、再構築画像と入力画像のあいだの差異(再構築誤差と呼ぶ)は、類似度と負の相関をもつスコアの一例である。
ステップS104において、表示処理部54は、入力画像とその種別識別結果を、それらが容易に視認できるような表示形態で、表示部36の画像表示領域内に表示する。なお、断面種別の記録を目的とする場合には、本ステップの表示処理は必ずしも必要ではなく、識別した断面種別情報をデータベース22又は記憶部34に保存するだけの構成であってもよい。
アだけを表示し、ユーザに断面種別を判断させる構成であってもよい。
Information)といった、画素値分布の違いに不偏な類似度評価尺度を用いて再構築誤差を算出することが望ましい。
第1の実施形態では、部分空間を算出したり(ステップS101)、入力画像を投影・逆投影したり(ステップS103)する際、画像中の矩形領域を列ベクトルに変換していた。しかしながら、識別の対象がセクタ型プローブで撮像した2次元超音波画像の場合、その撮像領域は扇形であるため、範囲を矩形で定義すると、信号が存在しない撮像領域の外側を含むことになり、無駄が生じる。そこで、信号が存在する扇形の撮像領域のみを処理対象とするとよい。この方法によれば、統計モデルの表現能力を劣化させずに、統計モデルである部分空間情報の保持に必要なデータサイズを削減できる。本実施形態では、この方法を実現する具体的な方法を述べる。
は、ステップS801の説明で後述する。
ステップS801において、計算対象範囲取得部61は、学習データに含まれる夫々の画像の画素値情報(画像データ)をデータベース22から取得する。そして、学習データ内の複数の画像の画素値情報を用いて、以降のステップで計算対象とする空間的範囲(計算対象範囲)を決定する。
対象範囲を読み出すことで、計算対象範囲を取得する。
ステップS802において、統計モデル取得部52は、学習データに含まれる夫々の画像の画素値情報(画像データ)と該画像の断面種別情報(心尖部二腔像・心尖部三腔像・心尖部四腔像・空中放置像のいずれか)をデータベース22から取得する。また、統計モデル取得部52は、ステップS801で決定した計算対象範囲をRAM33又は記憶部34から取得する。第1の実施形態におけるステップS101で述べた通り、前記画素値情報は、統計解析によって部分空間の情報を算出するために用いる学習データである。統計モデル取得部52は、学習データを統計解析して、断面種別ごとに、統計モデルである部分空間情報を取得する。なお、学習処理が事前に行われている場合には、統計モデル取得部52は、ステップS802において、データベース22又は記憶部34から、学習済みの統計モデルである部分空間情報を取得すればよい。
ステップS804において、識別部53は、ステップS803で取得された入力画像と、ステップS802で取得した統計モデルを取得する。また、識別部53は、ステップS801で決定された計算対象範囲をRAM33又は記憶部34から読み込む。そして、識別部53は、断面種別ごとの統計モデルの入力画像への当てはまりを評価することによって、入力画像の断面種別を識別する。
以上、本発明の実施形態について説明したが、本発明はこれらに限定されるものではなく、請求項に記載された範囲内において、変更・変形することが可能である。
37 制御部
51 画像取得部
52 統計モデル取得部
53 識別部
Claims (21)
- 被検体の断面画像から当該断面画像の種別である断面種別を識別する画像処理装置であって、
処理対象となる入力画像を取得する画像取得部と、
断面種別が同じ断面画像を主成分分析することによって生成された、複数の断面種別に対応する複数の統計モデルを用いて、前記入力画像の断面種別を識別する識別部と、
を有し、
前記統計モデルは、断面種別が同じ複数の断面画像の特徴を表す部分空間の情報であることを特徴とする画像処理装置。 - 前記識別部は、前記複数の統計モデルのいずれが前記入力画像に当てはまるかを評価することによって、前記入力画像の断面種別を識別する
ことを特徴とする請求項1に記載の画像処理装置。 - 断面種別が同じ断面画像を主成分分析することによって、複数の断面種別に対応する前記複数の統計モデルを生成するモデル生成部を有する
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記部分空間の情報は、複数の固有ベクトルを含み、
前記複数の固有ベクトルの数は、前記複数の断面画像の累積寄与率が50%以上70%以下となるように設定される
ことを特徴とする請求項1~3のうちいずれか1項に記載の画像処理装置。 - 前記識別部は、断面種別ごとの統計モデルを用いて、断面種別ごとに前記入力画像の特徴が部分空間に属する可能性を表すスコアを算出し、断面種別ごとのスコアに基づいて前記入力画像の断面種別を識別する
ことを特徴とする請求項1~4のうちいずれか1項に記載の画像処理装置。 - 前記識別部は、前記入力画像の特徴を部分空間へ投影したのち元の画像空間に逆投影することで得られる再構築画像を断面種別ごとに生成し、断面種別ごとの再構築画像と前記入力画像との類似度に基づいて断面種別ごとのスコアを算出する
ことを特徴とする請求項5に記載の画像処理装置。 - 前記識別部は、前記複数の断面種別のそれぞれについて算出されたスコアが所定の条件を満たす場合に、前記入力画像が前記複数の断面種別のいずれにも該当しないと判定することを特徴とする請求項5又は6に記載の画像処理装置。
- 前記断面画像および前記入力画像は、心臓の2次元超音波画像である
ことを特徴とする請求項1~7のうちいずれか1項に記載の画像処理装置。 - 前記断面種別は、心尖部二腔像、心尖部三腔像、心尖部四腔像、短軸像、傍胸骨長軸像、および、プローブが被検体に接していない状態に取得される空中放置像のうちの、少なくとも2種類以上を含む
ことを特徴とする請求項1~8のうちいずれか1項に記載の画像処理装置。 - 前記統計モデルは、スケールを揃えるための空間的正規化が施された複数の断面画像を用いて生成される
ことを特徴とする請求項1~9のうちいずれか1項に記載の画像処理装置。 - 前記識別部は、前記入力画像に対し前記複数の断面画像と同じ空間的正規化を施したのちに、前記入力画像の断面種別の識別を行う
ことを特徴とする請求項10に記載の画像処理装置。 - 前記断面画像および前記入力画像は、2次元超音波画像であり、
前記空間的正規化は、2次元超音波画像の視野深度に対応する有効画像表示サイズが所定のピクセル数となるように画像を拡大又は縮小する処理を含む
ことを特徴とする請求項10又は11に記載の画像処理装置。 - 前記画像取得部は、超音波診断装置が前記入力画像を撮像した際の撮像パラメータの情報を前記入力画像とともに取得し、
前記識別部は、前記撮像パラメータの情報に含まれる前記入力画像の視野深度に関する情報に基づいて前記空間的正規化を行う
ことを特徴とする請求項12に記載の画像処理装置。 - 被検体の断面画像から当該断面画像の種別である断面種別を識別する医用画像診断装置であって、
処理対象となる医用画像を取得する画像取得部と、
断面種別が同じ断面画像を主成分分析することによって生成された、複数の断面種別に対応する複数の統計モデルを用いて、前記医用画像の断面種別を識別する識別部と、
を有し、
前記統計モデルは、断面種別が同じ複数の断面画像の特徴を表す部分空間の情報であることを特徴とする医用画像診断装置。 - 被検体の断面画像から当該断面画像の種別である断面種別を識別する画像処理方法であって、
処理対象となる入力画像を取得するステップと、
断面種別が同じ断面画像を主成分分析することによって生成された、複数の断面種別に対応する複数の統計モデルを用いて、前記入力画像の断面種別を識別するステップと、
を有し、
前記統計モデルは、断面種別が同じ複数の断面画像の特徴を表す部分空間の情報であることを特徴とする画像処理方法。 - 請求項15に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
- 被検体の断面画像から当該断面画像の種別である断面種別を識別する処理に用いられるモデルを学習するための学習装置であって、
複数の断面種別のそれぞれについて、複数の断面画像を学習データとして準備する学習データ準備部と、
断面種別が同じ断面画像を主成分分析することによって、複数の断面種別に対応する複数の統計モデルを生成するモデル生成部と、
を備え、
前記統計モデルは、断面種別が同じ複数の断面画像の特徴を表す部分空間の情報であることを特徴とする学習装置。 - 前記部分空間を表す情報は、複数の固有ベクトルを含み、
前記モデル生成部は、前記複数の固有ベクトルの数を、累積寄与率に基づいて決定することを特徴とする請求項17に記載の学習装置。 - 前記モデル生成部は、前記複数の固有ベクトルの数を、前記複数の断面画像の累積寄与率が50%以上70%以下となるように決定する
ことを特徴とする請求項18に記載の学習装置。 - 前記断面画像は、2次元超音波画像であり、
前記学習装置は、前記複数の断面画像に対し、2次元超音波画像の視野深度に対応する有効画像表示サイズが所定のピクセル数となるように画像を拡大又は縮小する処理を含む空間的正規化を施す前処理部を有する
ことを特徴とする請求項17~19のうちいずれか1項に記載の学習装置。 - 前記断面画像は、心臓の2次元超音波画像であり、
前記断面種別は、心尖部二腔像、心尖部三腔像、心尖部四腔像、短軸像、傍胸骨長軸像、および、プローブが被検体に接していない状態に取得される空中放置像のうちの、少なくとも2種類以上を含む
ことを特徴とする請求項17~20のうちいずれか1項に記載の学習装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020034949A JP7412223B2 (ja) | 2020-03-02 | 2020-03-02 | 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020034949A JP7412223B2 (ja) | 2020-03-02 | 2020-03-02 | 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021137115A JP2021137115A (ja) | 2021-09-16 |
JP7412223B2 true JP7412223B2 (ja) | 2024-01-12 |
Family
ID=77666835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020034949A Active JP7412223B2 (ja) | 2020-03-02 | 2020-03-02 | 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7412223B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009148041A1 (ja) | 2008-06-03 | 2009-12-10 | 株式会社 日立メディコ | 医用画像処理装置及び医用画像処理方法 |
US20100217123A1 (en) | 2009-02-23 | 2010-08-26 | Aharon Eran | Methods and systems of managing ultrasonographic diagnosis |
US20160038122A1 (en) | 2014-08-05 | 2016-02-11 | Samsung Medison Co., Ltd. | Ultrasound diagnosis apparatus |
JP2019024925A (ja) | 2017-07-28 | 2019-02-21 | 株式会社日立製作所 | 医用撮像装置及び画像処理方法 |
-
2020
- 2020-03-02 JP JP2020034949A patent/JP7412223B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009148041A1 (ja) | 2008-06-03 | 2009-12-10 | 株式会社 日立メディコ | 医用画像処理装置及び医用画像処理方法 |
US20100217123A1 (en) | 2009-02-23 | 2010-08-26 | Aharon Eran | Methods and systems of managing ultrasonographic diagnosis |
US20160038122A1 (en) | 2014-08-05 | 2016-02-11 | Samsung Medison Co., Ltd. | Ultrasound diagnosis apparatus |
JP2019024925A (ja) | 2017-07-28 | 2019-02-21 | 株式会社日立製作所 | 医用撮像装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021137115A (ja) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105719278B (zh) | 一种基于统计形变模型的医学图像分割方法 | |
EP2365471B1 (en) | Diagnosis assisting apparatus, coronary artery analyzing method and recording medium having a coronary artery analzying program stored therein | |
US7430309B2 (en) | Computation of a geometric parameter of a cardiac chamber from a cardiac tomography data set | |
KR101982149B1 (ko) | 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치 | |
US11941812B2 (en) | Diagnosis support apparatus and X-ray CT apparatus | |
JP5601378B2 (ja) | 医用画像処理装置 | |
EP3444781B1 (en) | Image processing apparatus and image processing method | |
WO2012064986A2 (en) | System and method of ultrasound image processing | |
JP7409624B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7516072B2 (ja) | 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置 | |
US9196049B2 (en) | Method and system for regression-based 4D mitral valve segmentation from 2D+t magnetic resonance imaging slices | |
JP2002140689A (ja) | 医用画像処理装置及びその方法 | |
CN110660044A (zh) | 骨组织结构形态异常的快速检测方法及电子装置 | |
JP7412223B2 (ja) | 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置 | |
JP6827786B2 (ja) | 輪郭抽出装置、輪郭抽出方法およびプログラム | |
WO2021137115A1 (en) | Method and apparatus for registering live medical image with anatomical model | |
JP7419037B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR20210068189A (ko) | 의료 영상을 이용한 병변 여부 판단 방법 | |
JP7356330B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
Udrea et al. | Nonlinear deterministic methods for computer aided diagnosis in case of kidney diseases | |
CN114300096B (zh) | 一种基于trus图像的前列腺活动表观模型建立方法 | |
DE102012213923B4 (de) | Vorrichtung und Verfahren zur Positionskorrelation in medizinischen Aufnahmen | |
JP2017080157A (ja) | 画像処理装置 | |
JP2022111706A (ja) | 画像処理装置および画像処理方法、医用撮像装置、プログラム | |
JP2022175748A (ja) | 画像処理装置、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7412223 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |