JP7412223B2 - 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置 - Google Patents

画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置 Download PDF

Info

Publication number
JP7412223B2
JP7412223B2 JP2020034949A JP2020034949A JP7412223B2 JP 7412223 B2 JP7412223 B2 JP 7412223B2 JP 2020034949 A JP2020034949 A JP 2020034949A JP 2020034949 A JP2020034949 A JP 2020034949A JP 7412223 B2 JP7412223 B2 JP 7412223B2
Authority
JP
Japan
Prior art keywords
cross
image
sectional
section
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020034949A
Other languages
English (en)
Other versions
JP2021137115A (ja
Inventor
格 音丸
啓太 中込
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Canon Medical Systems Corp
Original Assignee
Canon Inc
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc, Canon Medical Systems Corp filed Critical Canon Inc
Priority to JP2020034949A priority Critical patent/JP7412223B2/ja
Publication of JP2021137115A publication Critical patent/JP2021137115A/ja
Application granted granted Critical
Publication of JP7412223B2 publication Critical patent/JP7412223B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置に関する。
医用の分野では、種々の医用画像診断装置(モダリティ)によって取得される断面画像(断層像とも称す)を用いた診断が行われている。この診断の中では、断面画像の種別(被検体のどの断面を撮像した画像であるかによる分類。以下、断面種別と称す)を識別し、断面種別を表す情報を断面画像に関連づけて表示または保存することが行われている。また、識別した断面種別に応じた画像処理を当該断面画像に施すことや、識別した情報を利用した解析処理を実行することが行われている。この断面種別を識別する作業は一般に、人手で行う場合が多い。
特許文献1では、心臓を撮像した2次元超音波画像を対象として、その断面種別を自動的に識別する技術が開示されている。特許文献1では、一例として、心尖部アプローチ像の断面種別を左室長軸断面、四腔断面、五腔断面、二腔断面のなかから識別する例が記載されている。この技術では、各断面種別の代表例となる画像をテンプレートとして保持し、入力画像がどのテンプレートに近いかを算出することで断面種別を識別する。
国際公開第2007/058195号
しかしながら、特許文献1では単一の症例(断面画像)のみをテンプレートとして用いているため、断面画像の多様なバリエーションに対応するには不十分であるという課題がある。
例えば、被検体(患者)によって臓器等の形状が異なるため、同じ断面種別の画像であっても、実際の断面画像は被検体によって異なっている。また、医用画像診断装置の機種・性能や撮像パラメータ(撮像条件)によっても、得られる断面画像に違いがある。それゆえ、断面種別の高精度な識別を実現するためには、このような断面画像の多様なバリエーション(ばらつき)への十分な対応が重要となる。
本発明は上記課題に鑑みてなされたものであり、断面画像の種別を精度よく識別するための技術を提供することを目的とする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の1つとして位置付けることができる。
本発明の第一態様は、被検体の断面画像から当該断面画像の種別である断面種別を識別する画像処理装置であって、処理対象となる入力画像を取得する画像取得部と、断面種別が同じ断面画像を主成分分析することによって生成された、複数の断面種別に対応する複数の統計モデルを用いて、前記入力画像の断面種別を識別する識別部と、を有し、前記統
計モデルは、断面種別が同じ複数の断面画像の特徴を表す部分空間の情報であることを特徴とする画像処理装置を提供する。

本発明の第二態様は、被検体の断面画像から当該断面画像の種別である断面種別を識別する医用画像診断装置であって、処理対象となる医用画像を取得する画像取得部と、断面種別が同じ断面画像を主成分分析することによって生成された、複数の断面種別に対応する複数の統計モデルを用いて、前記医用画像の断面種別を識別する識別部と、を有し、前記統計モデルは、断面種別が同じ複数の断面画像の特徴を表す部分空間の情報であることを特徴とする医用画像診断装置を提供する。

本発明の第三態様は、被検体の断面画像から当該断面画像の種別である断面種別を識別する画像処理方法であって、処理対象となる入力画像を取得するステップと、断面種別が同じ断面画像を主成分分析することによって生成された、複数の断面種別に対応する複数の統計モデルを用いて、前記入力画像の断面種別を識別するステップと、を有し、前記統計モデルは、断面種別が同じ複数の断面画像の特徴を表す部分空間の情報であることを特徴とする画像処理方法を提供する。

本発明の第四態様は、上記画像処理方法の各ステップをコンピュータに実行させるためのプログラムを提供する。
本発明の第五態様は、被検体の断面画像から当該断面画像の種別である断面種別を識別する処理に用いられるモデルを学習するための学習装置であって、複数の断面種別のそれぞれについて、複数の断面画像を学習データとして準備する学習データ準備部と、断面種別が同じ断面画像を主成分分析することによって、複数の断面種別に対応する複数の統計モデルを生成するモデル生成部と、を備え、前記統計モデルは、断面種別が同じ複数の断面画像の特徴を表す部分空間の情報であることを特徴とする学習装置を提供する。
本発明によれば、断面画像の種別を精度よく識別することが可能となる。
第1の実施形態に係る画像処理システムの構成例を示す図。 第1の実施形態に係る画像処理装置の処理手順の例を示すフローチャート。 心尖部二腔像、心尖部三腔像、心尖部四腔像、空中放置像の例を示す図。 学習データから統計モデルを生成する学習処理の例を示すフローチャート。 固有ベクトルの数と累積寄与率の関係の例を示すグラフ。 断面種別の識別処理の例を示すフローチャート。 第2の実施形態に係る画像処理システムの構成例を示す図。 第2の実施形態に係る画像処理装置の処理手順の例を示すフローチャート。
以下、図面を参照して、本発明の実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
本発明の実施形態に係る画像処理装置は、被検体の断面画像から当該断面画像の種別である断面種別を推定ないし識別する機能を提供する。断面画像は、モダリティと呼ばれる撮像装置によって取得された、被検体(人体など)の内部の構造を表す医用画像であり、断層像、再構成画像などとも呼ばれる。例えば、超音波診断装置によって得られる超音波画像、X線CT装置によって得られるX線CT画像、MRI装置によって得られるMRI画像などが断面画像の典型例である。このような断面画像は、例えば、医用分野において、診断、検査、研究などに利用される。断面種別とは、被検体のどの断面を撮像した画像
であるかという観点による分類である。ここでは、画像処理装置を例にして説明するが、医用画像診断装置に本発明を適用してもよい。
本発明の実施形態に係る画像処理装置は、断面種別が既知の多数の断面画像(学習データ)を統計解析した結果に基づいて、処理対象となる入力画像(断面種別が未知の断面画像)の断面種別の推定ないし識別を行う点に特徴の一つを有する。具体的には、画像処理装置は、複数の断面種別にそれぞれ対応する複数の統計モデルを用い、複数の統計モデルのいずれが入力画像に良く当てはまるかを評価することによって入力画像の断面種別を識別する。例えば、夫々の統計モデルを用いて入力画像を再構築し、再構築された画像と入力画像の差異が最も小さい、言い換えると、入力画像を最も良く再現する統計モデルと対応付けられた断面種別を識別結果とする。
ここで、統計モデルとは、断面種別が同じ複数の断面画像を統計解析することによって生成されたモデルであり、その断面種別の画像の特徴の分布(統計的傾向)を表現するものである。統計モデルの生成(学習)は、例えば、学習装置によって、断面種別が同じ画像群を主成分分析し、その断面種別の画像群の特徴を表す部分空間を求めることにより行ってもよい。この場合、部分空間の情報が、当該断面種別に対応する統計モデルに該当する。なお、統計モデルは学習済モデルとも呼ばれる。
従来技術では、単一の症例(画像)のみから生成したテンプレートを用いていたため、被検体、撮像装置、撮像条件等による断面画像のばらつきに起因して、入力画像とテンプレートの間の特徴が乖離し、識別精度が低下するという課題があった。これに対し本発明の実施形態に係る画像処理装置では、複数の断面画像から生成した統計モデルを用いることで、多数症例の統計的傾向に基づく識別が可能であり、従来技術に比べて識別精度の向上を図ることができる。
<第1の実施形態>
第1の実施形態に係る画像処理装置は、入力画像の断面種別を識別する装置である。本実施形態では、入力画像および学習データとして心臓の2次元超音波画像を用い、入力画像が心尖部二腔像、心尖部三腔像、心尖部四腔像、および空中放置像の4種類のいずれであるかを識別する、というケースを例示する。心尖部二腔像は、左心房・左心室の2腔が写った画像であり、心尖部三腔像は、左心房・左心室・右心室の3腔が写った画像であり、心尖部四腔像は、左右心房・左右心室の計4腔が写った画像である。また、空中放置像は、プローブが被検体に接しておらずいずれの腔も写っていない画像である。なお、これらは断面種別の一例であり、その他の種別の画像についても、同様の処理で識別可能である。
以下、図1を用いて本実施形態の画像処理装置の構成および処理を説明する。図1は、本実施形態の画像処理装置を含む画像処理システム(医用画像処理システムともいう)の構成例を示すブロック図である。画像処理システムは、画像処理装置10およびデータベース22を備える。画像処理装置10は、ネットワーク21を介してデータベース22に通信可能な状態で接続されている。ネットワーク21は、例えばLAN(Local Area Network)やWAN(Wide Area Network)を含む。
データベース22は、多数の画像と各画像に関連付けられた情報とを保持し、管理する。データベース22に保持される画像は、断面種別が未知の画像と、断面種別が既知の画像とを含む。前者の画像は、画像処理装置10による断面種別の識別処理に供される。後者の画像は、少なくとも断面種別の情報(正解データ)が関連付けられており、統計モデルを生成するための学習データとして利用される。各画像には、超音波診断装置が当該画像を撮像した際の撮像パラメータ(撮像条件)などの情報が関連付けられていてもよい。
画像処理装置10は、ネットワーク21を介して、データベース22が保持しているデータを取得することが可能である。
画像処理装置10は、通信IF(Interface)31(通信部)、ROM(Read Only Memory)32、RAM(Random Access Memory)33、記憶部34、操作部35、表示部36、および制御部37を備える。
通信IF31(通信部)はLANカードなどにより構成され、外部装置(例えばデータベース22など)と画像処理装置10との通信を実現する。ROM32は、不揮発性のメモリなどにより構成され、各種プログラムや各種データを記憶する。RAM33は揮発性のメモリなどにより構成され、実行中のプログラムや作業中のデータを一時的に記憶する。記憶部34はHDD(Hard Disk Drive)などにより構成され、プログラムやデータを記憶する。操作部35は、キーボードやマウス、タッチパネルなどにより構成され、ユーザ(例えば医師や検査技師)からの指示を各種装置に入力する。
表示部36はディスプレイなどにより構成され、各種情報をユーザに提示する。制御部37は、CPU(Central Processing Unit)などにより構成され、画像処理装置10における処理を統括制御する。制御部37は、その機能的な構成として、画像取得部51、統計モデル取得部52、識別部53、表示処理部54を備える。制御部37は、GPU(Graphics Processing Unit)やDSP(Digital Signal Processor)やFPGA(Field-Programmable Gate Array)などを備えてもよい。
画像取得部51は、処理対象となる入力画像をデータベース22から取得する。入力画像は、モダリティにより撮像された被検体の断面画像である。なお、画像取得部51は、入力画像をモダリティから直接取得してもよい。この場合、画像処理装置10はモダリティに接続された装置であってもよいし、モダリティの中(例えばコンソール)に実装された機能であってもよい。
また、画像取得部51は、学習データをデータベース22から取得する。学習データは、入力画像とは異なる複数の断面画像(被検体画像)からなる画像群であり、識別対象とする断面種別の夫々に属する断面画像を複数枚含んでいる。学習データにおける夫々の画像は、その断面種別の情報(心尖部二腔像・心尖部三腔像・心尖部四腔像・空中放置像のいずれかを表す識別子)を既知の値(付帯情報)として保持している。なお、統計モデルのロバスト性を高めるために、学習データとして用いる複数の断面画像は、互いに異なる被検体(患者)の画像であることが望ましい。ただし、同一の被検体(患者)を異なる条件(時刻、時期、モダリティの機種、撮像パラメータ等)で撮影した画像が学習データに含まれていてもよい。また、1心拍周期にわたって撮像された2次元動画像の夫々のフレームを学習データとして用いてもよい。学習データとして用いる断面画像の数は少なくとも数十から数百程度あるとよい。なお、学習データにおける断面種別情報の保持の仕方は、夫々の断面画像に付帯情報として断面種別情報を保持させる方法以外の方法でもよい。例えば、断面画像の識別子(画像ID、ファイル名など)と断面種別とが対応付けられたリストを用いたり、断面種別ごとに断面画像を格納するフォルダを分けたり、断面画像のファイル名やプロパティに断面種別情報を埋め込むなど、いかなる方法でもよい。
本実施形態では入力画像および学習データが心臓領域を撮像した1枚の2次元超音波画像である場合を例に挙げて説明するが、他の種類(他の臓器、他の断面種別)の画像であってもよい。本発明は、複数の2次元画像(例えば、複数の時相の画像)や2次元の動画像に対しても適用可能である。また、モダリティの種類によらず適用可能である。
統計モデル取得部52は、画像取得部51が取得した学習データに含まれる断面画像の夫々について画素値情報と断面種別情報を取得し、断面種別が一致する画像群毎に(すなわち、夫々の断面種別毎に)統計解析を行う。すなわち、本実施形態では、統計モデル取得部52は、学習データに含まれる心尖部二腔像の画像群・心尖部三腔像の画像群・心尖部四腔像の画像群・空中放置像の画像群に対して、それぞれ統計解析を行う。そして、統計モデル取得部52は、該統計解析の結果から、夫々の断面種別の統計モデルとして、夫々の断面種別の部分空間情報(部分空間を構成する基底の情報)を取得する。なお、あらかじめ生成された統計モデルがデータベース22又は記憶部34に保持されている場合は、統計モデル取得部52は、データベース22又は記憶部34から統計モデルを取得してもよい。すなわち、統計モデル取得部52は、学習データから統計モデルを生成する学習装置として機能してもよいし、あらかじめ生成され記憶装置に格納されている統計モデルを読み込む機能であってもよいし、両方の機能を有していてもよい。
識別部53は、画像取得部51が取得した入力画像と、統計モデル取得部52で取得した統計モデルである部分空間情報に基づいて、入力画像の断面種別を識別する。表示処理部54は、入力画像と、該入力画像の断面種別の識別結果を、表示部36の画像表示領域内に表示させる。表示部36には、前記表示内容のほかにも、表示されている入力画像の縮尺情報や心電図の波形情報など、2次元超音波画像の観察に必要な種々の情報を表示することができる。
上記画像処理装置10の各構成要素は、コンピュータプログラムに従って機能する。例えば、制御部37(CPU)がRAM33を作業領域としてROM32又は記憶部34などに記憶されたコンピュータプログラムを読み込み、実行することで、各構成要素の機能が実現される。なお、画像処理装置10の構成要素の一部又はすべての機能が専用の回路を用いることで実現されてもよい。また、制御部37の構成要素の一部の機能が、クラウドコンピューティングを用いることで実現されてもよい。例えば、画像処理装置10とは異なる場所にある演算装置がネットワーク21を介して画像処理装置10と通信可能に接続され、画像処理装置10と演算装置がデータの送受信を行うことで、画像処理装置10又は制御部37の構成要素の機能が実現されてもよい。
次に、図2のフローチャートを用いて、図1の画像処理装置10の処理の例について説明する。
(ステップS101:統計モデルの取得)
ステップS101において、統計モデル取得部52は、識別対象とする複数の断面種別にそれぞれ対応する複数の統計モデルを取得する。
図3A~図3Dに、本実施形態において識別対象として例示する4種類の断面種別の断面画像を模式的に示す。図3Aが心尖部二腔像、図3Bが心尖部三腔像、図3Cが心尖部四腔像、そして図3Dが空中放置像をそれぞれ表している。心尖部二腔像には、左心室303と左心房304の2つの領域、心尖部三腔像には、左心室305と左心房306と右心室307の3つの領域、心尖部四腔像には、左心室310と左心房311と右心室308と右心房309の4つの領域が夫々写っている。空中放置像(図3D)はプローブが被検体に接していない状態の画像であるため、いずれの領域も写っていない。
図4に、統計モデル取得部52によって実行される、学習データから統計モデルを生成する処理(学習処理)の一例を示す。
ステップS401において、統計モデル取得部52は、画像取得部51を介してデータベース22から学習データを取得する。そして、統計モデル取得部52は、学習データと
して取得した複数の断面画像を、断面種別ごとにグループ分けする。本実施形態の場合は、心尖部二腔像・心尖部三腔像・心尖部四腔像・空中放置像という4つの画像群が生成される。以降のステップS402~S406の処理は、グループ分けされた画像群ごとに行われる。
ステップS402において、統計モデル取得部52は、画像群に含まれる各画像に対して空間的正規化を施す。空間的正規化は、画像同士のスケールを揃えるための処理である。学習データには、異なる機種で撮像された画像や、異なる撮像パラメータ(撮像条件)で撮像された画像などが混在している。それゆえ、画像内の撮像領域(画像において信号が存在する領域(図3A~図3Dの扇形の領域))の位置やサイズなどが、画像によって異なり得る。したがって、学習データとして集められた画像群をそのまま統計解析にかけると、撮像領域の位置やサイズのばらつきが統計モデルの表現力低下を招く可能性がある。そこで本実施形態では、統計解析に先立って空間的正規化を実行して、各画像における撮像領域の位置およびサイズを一致させる。
具体的には、まず統計モデル取得部52は、学習データの画像の夫々について、プローブ位置座標と有効画像表示サイズを、空間的正規化に用いる情報として取得する。プローブ位置座標は、扇形の撮像領域の頂点(図3Aの符号301)の画像座標であり、有効画像表示サイズは、扇形の撮像領域の半径(図3Aの符号302)のピクセル数である。有効画像表示サイズは、超音波画像の視野深度(デプス)に対応している。プローブ位置座標および有効画像表示サイズの情報は、例えば、学習データ内に保持されている既知の情報を読み込むことで取得できる。この既知の情報は、学習データを準備する者が作成した情報であってもよいし、画像を撮像したモダリティ(超音波診断装置)から得られた情報であってもよい。あるいは、統計モデル取得部52が、夫々の画像から画像処理で撮像領域(扇形の輪郭)を抽出することで、プローブ位置座標および有効画像表示サイズを取得してもよい。次に、統計モデル取得部52は、各画像の有効画像表示サイズが所定のピクセル数となるように、画像全体を拡大又は縮小する。所定のピクセル数、すなわち正規化処理後の有効画像表示サイズは、あらかじめ定義されている(例えば512ピクセル)。その後、統計モデル取得部52は、各画像のプローブ位置座標が全て一致するように画像を平行移動させる。
なお、空間的正規化処理は必須ではない。例えば、撮像領域の位置およびサイズのばらつきが十分に小さいことがあらかじめわかっている場合には、空間的正規化処理を省略してもよい。また、本実施形態では有効画像表示サイズを用いて画像のスケーリングを行う場合を例に挙げて説明したが、他の情報を用いてもよい。例えば、画像サイズ(画像全体のx方向およびy方向のピクセル数)が画像ごとに異なる場合に、画像サイズを一致させるように正規化してもよい。また、ピクセル数ではなく、1ピクセル当たりの物理サイズを考慮して、1ピクセル当たりの物理サイズが一致するように正規化してもよい。これによって、有効画像表示サイズの情報を取得できない場合であっても、正規化処理を実行することができる。
ステップS403において、統計モデル取得部52は、空間的正規化を施した各画像のピクセル数を一致させるため、クロップ処理を行う。具体的には、統計モデル取得部52は、扇形の撮像領域を包含する所定サイズの矩形領域を定義し、各画像から該矩形領域を切り出す。このとき、該矩形領域のx方向とy方向のピクセル数をそれぞれNx、Nyとする。なお、本実施形態では空間的正規化処理の後にクロップ処理を行ったが、最初に画像から撮像領域を切り出し、切り出された画像のサイズがNx×Nyとなるように拡大又は縮小することでも同様の結果を得ることができる。
ステップS404において、統計モデル取得部52は、各画像の画素値情報を列ベクト
ルに変換する。クロップ処理後の画像はNx×Ny個の画素で構成されている。ある画像Iの画素値情報の列ベクトルaは、画像左上を原点(0,0)として、画素位置(x,y)における画素値をI(x,y)で表すものとして、以下の通り定義される。
Figure 0007412223000001
なお、処理対象の画像が1枚の2次元画像ではなく複数枚の2次元画像の場合には、それらの画素値情報を直列に並べたものを列ベクトルaとすればよい。
ステップS405において、統計モデル取得部52は、画像群に含まれる全画像に対応する列ベクトル群を統計解析する。該統計解析には、主成分分析(PCA:Principal Component Analysis)などの既知の手法を用いればよく、Kernel PCAやWeighted PCAなどの手法を用いてもよい。また独立成分分析(ICA:Independent Component Analysis)といった主成分分析以外の統計解析手法を用いてもよい。以下、PCAを用いる場合を例に説明する。
PCAを用いることで、列ベクトル群の平均ベクトルと固有ベクトル、そして各固有ベクトルに対応する固有値が計算される。これらを用いることで、同じ断面種別の画像群の特徴を表す部分空間を下記式のように表現できる。dは部分空間内に存在する点である。
Figure 0007412223000002
ここで、aバーが平均ベクトル、eがi番目の基底における固有ベクトル、gが固有ベクトルeに対応する係数である。また、Lは計算に用いる固有ベクトルの数を表している。
Lの値について述べる。Lの値は、学習データを必要十分に表現できる数(例えば、累積寄与率が95%を超える数)よりも大幅に小さい値であることが望ましい。具体的には、学習データの累積寄与率が50%以上70%以下となるようにLの値を設定するとよい。本発明者らの実験では、累積寄与率が50%より小さい場合に、断面種別の識別率の低下が認められた。これは、累積寄与率が小さすぎる場合は、統計モデルの表現力が低すぎて、同じ断面種別内での画像の多様性に十分に対応できないからと考えられる。また、累積寄与率が70%より大きい場合にも、断面種別の識別率の低下が認められた。これは、累積寄与率が大きすぎる場合は、統計モデルの表現力が高すぎ、全ての断面種別の統計モデルの当てはまりが良くなってしまうために、結果として識別力が低下するからと考えられる。
また、累積寄与率が50%以上70%以内に収まるLの値の範囲が断面種別ごとに異なる場合であっても、Lの値を断面種別ごとに変化させるのではなく、同一の値に揃えることが望ましい。図5を例に挙げて説明する。図5は、固有ベクトルの数(Lの値)と累積寄与率の関係を示すグラフである。図5によると、空中放置像の方が他の種類(二腔像・三腔像・四腔像)に比べ、より小さい基底数で高い累積寄与率を示す。この例の場合、空中放置像のみLの値を他の3種類と比べて小さく設定するのではなく、すべての断面種別においてL=7~21と設定することが望ましい。なぜなら、発明者らの実験によると、後段のステップS604において再構築誤差を算出する際、他の種別よりもLの値が小さい種別は、目視で観察される違い以上に再構築誤差が大きく算出される場合があり、識別性能が低下する場合があるためである。このことから、本実施形態では、二腔像・三腔像
・四腔像における累積寄与率をもとに、L=10ないし20という単一の値を採用する。
ステップS406において、統計モデル取得部52は、統計解析の結果から、断面種別ごとに、統計モデルである部分空間情報(部分空間を構成する平均ベクトル(aバー)とL個の固有ベクトル(e~e))を生成して、RAM33に格納する。以上で、統計モデルの学習処理は終了である。
なお、統計モデル取得部52によるステップS401~S406の機能が本発明の「学習装置」の一例である。また、ステップS401の機能、ステップS402の機能、ステップS404~S406の機能がそれぞれ、本発明の「学習データ準備部」、「前処理部」、「モデル生成部」の一例である。
なお、ステップS401~S406における統計モデルの生成処理(学習処理)は、後述する入力画像の断面種別の識別処理とは独立したデータ処理である。そのため、統計モデルの生成処理を事前に実施し、生成された統計モデルをあらかじめデータベース22又は記憶部34に保存しておいてもよい。この場合、図2のステップS101では、統計モデル取得部52は、統計モデルをデータベース22又は記憶部34から読み込んでRAM33に格納すればよい。あらかじめ統計モデルを算出しておくことで、入力画像における断面種別の識別処理を行う際の処理時間を短縮できる効果がある。なお、統計モデルの生成処理は、画像処理装置10の統計モデル取得部52により行ってもよいし、画像処理装置10とは異なる他の学習装置で行ってもよい。他の学習装置で統計モデルを生成する場合の処理も、図4に示したものと同様である。
なお、空間的正規化処理(ステップS402)とクロップ処理(ステップS403)の間に、学習データ内の画像の水増し処理を行ってもよい。すなわち、学習データ内の各画像を例えば各軸方向に±10ピクセルずつ平行移動させ、そのように変位させた画像も学習データとして用いても良い。水増しは、平行移動だけでなく回転によって行ってもよい。また、両者を組み合わせてもよい。また、ステップS405で統計解析を行う際は、オリジナルの画像と水増しした画像をまとめて統計解析してもよいし、変位量(平行移動・回転量)が同一である画像ごとにグループ分けして、それぞれ統計解析を行ってもよい。変位量が同一である画像ごとにグループ分けして統計解析する場合、断面種別の数×変位量の組み合わせ数の統計モデルが生成されることになる。このようにすることで、入力画像の位置や角度のバリエーションに対する統計モデルの頑健性を向上させることができる。また、本実施形態では画素値情報として画素値そのものを利用したが、他の画像特徴(例えば、画像のテクスチャに関する特徴など)を画素値情報として利用してもよい。
(ステップS102:入力画像の取得)
ステップS102において、ユーザが操作部35を介して画像の取得を指示すると、画像取得部51は、ユーザが指定した入力画像をデータベース22から取得し、RAM33に格納する。このとき、表示処理部54は、入力画像を表示部36の画像表示領域内に表示させてもよい。
(ステップS103:断面種別の識別)
ステップS103において、識別部53は、ステップS101で取得した複数の統計モデルそれぞれの入力画像への当てはまりを評価することによって、入力画像の断面種別を識別する。本実施形態では、統計モデルとして、断面種別ごとの部分空間情報が用いられる。すなわち、識別すべき断面種別の数が4種類の場合、4つの部分空間情報が取得される。この場合、識別部53は、断面種別ごとに入力画像の特徴が部分空間に属する可能性を表すスコアを算出し、断面種別ごとのスコアに基づいて入力画像の断面種別を識別するとよい。スコアの算出方法は問わないが、例えば、入力画像の特徴を部分空間へ投影した
のち元の画像空間に逆投影することで得られる再構築画像を断面種別ごとに生成し、各再構築画像と入力画像の類似度に基づいて断面種別ごとのスコアを算出するとよい。再構築画像と入力画像の類似度が高いほど、すなわち、再構築画像と入力画像の差異が小さいほど、入力画像がその部分空間に属する可能性が高いと評価することができる。したがって、断面種別ごとのスコアを比較することにより、入力画像が属する部分空間、すなわち、入力画像の断面種別を推定することができる。なお、スコアは、再構築画像と入力画像の類似度と正の相関をもつスコアでもよいし、負の相関をもつスコアでもよい。例えば、再構築画像と入力画像のあいだの差異(再構築誤差と呼ぶ)は、類似度と負の相関をもつスコアの一例である。
図6に、識別部53によって実行される、断面種別の識別処理の具体例を示す。
ステップS601において、識別部53は、画像取得部51から入力画像の画素値情報を取得する。また、識別部53は、入力画像の空間的正規化に用いる情報として、プローブ位置情報、有効画像表示サイズ情報を取得する。これらの情報は、例えば、超音波診断装置が入力画像を撮像する際に用いた撮像パラメータを入力画像に付帯情報として保持させておき、既知の情報として入力画像と共に読み込むことで取得できる。あるいは、入力画像が当該情報を保持していない場合には、入力画像から撮像領域を画像処理で抽出することで取得してもよい。
ステップS602において、識別部53は、入力画像に対し、ステップS402、S403と同様の空間的正規化処理とクロップ処理を施すことで、入力画像のx方向とy方向のピクセル数を学習データと同じNx・Nyに揃える。そして、識別部53は、式(1)に従い、入力画像を列ベクトルaに変換する。
なお、入力画像に対する空間的正規化処理は、ステップS402において学習データに対して施した空間的正規化処理と同じ処理であることが望ましい。学習データと入力画像のスケールが揃っている方がより高い識別精度を期待できるからである。しかしながら、空間的正規化処理は必須ではなく、省略してもよい。また、有効画像表示サイズを基準とした正規化ではなく、画像サイズ(画像全体のx方向およびy方向のピクセル数)を基準とした正規化や、1ピクセル当たりの物理サイズを基準とした正規化を行ってもよい。なお、統計モデルである部分空間情報を算出するときは学習データに対し空間的正規化を行うが、入力画像に対しては空間的正規化を行わない、という構成にすることも可能である。この方法は、学習時はオフラインのマニュアル作業によって有効画像表示サイズを既知の情報として取得できるが、識別時は有効画像表示サイズが不明という場合に対応できる。あるいは、入力画像の有効画像表示サイズに合わせて学習データの空間的正規化を行うことで、入力画像の空間的正規化を省略してもよい。この方法は、入力画像の有効画像表示サイズが既知かつ固定の場合に特に有効である。
ステップS603において、識別部53は、入力画像を夫々の部分空間で再構築する。いま、夫々の部分空間について、すべての固有ベクトルe~eを並べた行列Eを以下の式で定義する。
Figure 0007412223000003
識別部53は、以下の式を用いて入力画像aの固有空間への投影点pを計算する。
Figure 0007412223000004
ここでEはEの転置行列を表す。次に、以下の式を用いて、固有空間への投影点pを今度は逆投影する。
Figure 0007412223000005
左辺(aハット)は、行列Eで表現される部分空間の表現力の範囲内で入力画像aを表現した、再構築画像である。識別部53は、この再構築画像を、断面種別ごとのEを用いてそれぞれ算出する。
ステップS604において、識別部53は、入力画像と、断面種別ごとに算出された再構築画像との差異(すなわち、再構築誤差)を表すスコアを算出し、断面種別ごとのスコアを比較することで断面種別を識別する。本実施形態では、公知の画像類似度評価指標であるSSD(Squared Sum Difference)を、入力画像の特徴を表す列ベクトルaと、各再構築画像を表す列ベクトルaハットの差異を示すスコアとして用いる。そして、スコアが最も小さい再構築画像をもたらす部分空間と対応付いた断面種別を識別結果とする。なお、再構築誤差の算出には、上記したSSD以外にも、どのような画像類似評価尺度を用いてもよい。
なお、部分空間夫々に対して入力画像のスコアを算出するものであれば、上記以外の手法を用いてもよい。例えば、式(4)の投影処理のみを行い、最も平均ベクトルに近い、すなわち投影点pのノルムが小さいものを識別結果としてもよい。あるいは、カーネル非線型部分空間法、相互部分空間法といった種々の公知の部分空間法を用いてもよい。
なお、識別部53は、夫々の断面種別について算出されたスコアが所定の条件を満たす場合に、「入力画像はいずれの断面種別にも該当しない」という判定を行ってもよい。所定の条件は、例えば、所定の閾値より小さいスコアが存在しない(すなわち、どの断面種別についても再構築誤差が大きい)、断面種別間のスコアの差が所定値より小さい(すなわち、どちらの断面種別であるか明確に識別できない)、などが考えられる。これにより、例えば心臓領域以外を撮像した(あるいは、識別対象でない断面種別の)2次元超音波画像が入力された場合に、誤った識別結果が表示されてユーザに混乱を生じさせる可能性を低減させることができる。
ステップS605において、識別部53は、ステップS604の識別結果をRAM33に格納する。また、識別部53は、データベース22に識別結果を出力し、データベース22が保持する入力画像の付帯情報として保存させるようにしてもよい。なお、1つの断面種別を特定することは行わずに、夫々の部分空間に対して算出されたスコアを識別結果としてRAM33に格納する構成でもよい。なお、前記スコアは、再構築誤差の値そのものでもよいし、例えば0.0~1.0の範囲内に収まるように正規化した値でもよい。
(ステップS104:識別結果の表示)
ステップS104において、表示処理部54は、入力画像とその種別識別結果を、それらが容易に視認できるような表示形態で、表示部36の画像表示領域内に表示する。なお、断面種別の記録を目的とする場合には、本ステップの表示処理は必ずしも必要ではなく、識別した断面種別情報をデータベース22又は記憶部34に保存するだけの構成であってもよい。
なお、表示処理部54は、断面種別だけでなく、ステップS103で算出されたスコアを表示してもよい。その場合、ユーザは、断面種別間のスコアの差を観察することで、どの程度識別結果が確からしいか、という判断をする材料を得ることができる。また、スコ
アだけを表示し、ユーザに断面種別を判断させる構成であってもよい。
なお、断面種別に応じた入力画像の解析や計測を目的とする場合には、本ステップのあと、画像処理装置10は、断面種別に応じた処理を実行する。例えば、入力画像の断面種別を心尖部四腔像と判定した場合に左心室・左心房・右心室・右心房の抽出処理を行い、心尖部二腔像と判定した場合に左心室と左心房の抽出処理を行うような分岐処理を行う。この場合、断面種別の保存や表示は必ずしも行わなくてよい。
なお、本実施形態では4種類(心尖部二腔像・心尖部三腔像・心尖部四腔像・空中放置像)の断面種別の識別を行う場合を例に挙げて説明したが、識別する断面種別の数が異なる場合であっても同様に処理を行うことができる。例えば、心尖部四腔像・心尖部二腔像の2種類を識別してもよいし、短軸像や傍胸骨長軸像を加えた5種類以上の識別を行ってもよい。すなわち、断面種別は、心尖部二腔像、心尖部三腔像、心尖部四腔像、短軸像、傍胸骨長軸像、および、空中放置像のうちの、少なくとも2種類以上を含んでいればよい。
なお、画像取得部51が取得する入力画像が動画像の各フレームの場合に、当該動画像の各フレームに対して、ステップS102、S103、S104の処理を逐次実施する構成であってもよい。
また、本実施形態では、入力画像と統計解析に用いる画像がともに2次元超音波画像である場合、すなわちモダリティが一致している場合を例に挙げて説明したが、両者のモダリティは異なっていてもよい。例えば、統計解析に用いる画像は3次元CT画像から切り出された2次元断面画像で入力画像は2次元超音波画像であってもよい。この場合、統計モデルで表現される画像と入力画像とでは、画素値分布や大小関係が異なる可能性がある。そのため、ステップS103では、正規化相関係数(NCC:Normalized Correlation Coefficient)や相互情報量(MI:Mutual
Information)といった、画素値分布の違いに不偏な類似度評価尺度を用いて再構築誤差を算出することが望ましい。
本実施形態によれば、学習データから抽出された統計的傾向に基づいて、画像の断面種別の識別をより高い精度で実行できるという効果がある。
<第2の実施形態>
第1の実施形態では、部分空間を算出したり(ステップS101)、入力画像を投影・逆投影したり(ステップS103)する際、画像中の矩形領域を列ベクトルに変換していた。しかしながら、識別の対象がセクタ型プローブで撮像した2次元超音波画像の場合、その撮像領域は扇形であるため、範囲を矩形で定義すると、信号が存在しない撮像領域の外側を含むことになり、無駄が生じる。そこで、信号が存在する扇形の撮像領域のみを処理対象とするとよい。この方法によれば、統計モデルの表現能力を劣化させずに、統計モデルである部分空間情報の保持に必要なデータサイズを削減できる。本実施形態では、この方法を実現する具体的な方法を述べる。
図7は第2の実施形態に係る画像処理システムの構成例を示している。本実施形態に係る画像処理装置10の構成は、第1の実施形態の構成(図1参照)と概ね同じである。ただし、機能的な構成として、制御部37に計算対象範囲取得部61が追加されており、統計モデル取得部52および識別部53にも機能が追加されている。
第2の実施形態において、計算対象範囲取得部61は、データベース22から取得した学習データに対して、部分空間の計算対象となる範囲(計算対象範囲)を取得する。詳細
は、ステップS801の説明で後述する。
統計モデル取得部52および識別部53は、計算対象範囲取得部61で定義された計算対象範囲のみを対象として、部分空間の算出や識別処理を行う。
本実施形態においても第1の実施形態と同様に、入力画像および学習データが、心臓を撮像した2次元超音波画像である場合を例に挙げて説明する。そして、本実施形態では、入力画像として与えられた2次元超音波画像が心尖部二腔像・心尖部三腔像・心尖部四腔像・空中放置像の4種類のいずれかであるかを識別する。ただし、その他の種別の画像についても、同様の処理で識別可能である。
次に、図8を用いて、本実施形態の画像処理装置10の処理の例について説明する。図8は第2の実施形態に係る画像処理装置10の処理手順の例を示すフローチャートである。このフローチャートで示したステップにおいて、ステップS803およびステップS805は、図2に示した第1の実施形態におけるステップS102およびステップS104と同様の処理を行う。以下、追加された処理と第1の実施形態との相違部分を主に説明する。
(ステップS801:計算対象範囲の取得)
ステップS801において、計算対象範囲取得部61は、学習データに含まれる夫々の画像の画素値情報(画像データ)をデータベース22から取得する。そして、学習データ内の複数の画像の画素値情報を用いて、以降のステップで計算対象とする空間的範囲(計算対象範囲)を決定する。
計算対象範囲の決定方法を具体的に述べる。2次元超音波画像では、図3A~図3Dで示しているとおり、矩形で表現された画像領域のうち、信号が存在するのは、扇形の撮像領域(以後、扇形領域と称す)だけである。そのため、以降のステップS802やS804を実行する際には、前記扇形領域のみを計算の対象とすればよいことが分かる。しかしながら、単純に、各画像における扇形領域をそれぞれ計算対象範囲とすることはできない。なぜなら、以降のステップS802やS804では、画像を列ベクトル化したときのベクトルの大きさ(式(1)のベクトルaの要素数)が、全ての学習データと入力画像の間で同一である必要があるからである。症例が異なったり、モダリティの機種・性能や撮像パラメータ(撮像条件)が異なったりすると、扇形領域の中心角の大きさが違うことがあるため、何らかの方法で、学習データと入力画像全てにおいて不変な計算対象範囲を定義する必要がある。
そこで本実施形態では、計算対象範囲取得部61は、全ての学習データの(空間的正規化後の)撮像領域を全てカバーする扇形領域を算出して、これを計算対象範囲として取得する。ここで、全ての画像の撮像領域をカバーすることは必須ではなく、所定の割合(例えば98%)の画像の撮像領域をカバーする領域を計算対象範囲としてもよい。なお、計算対象範囲の算出方法はこれに限らず、例えば、学習データの夫々から画像処理で心室・心房を抽出し、当該領域を全てカバーする扇形領域を計算対象範囲として取得してもよい。このとき、心室・心房の領域は、画像処理で算出した情報はなく、人手で与えた情報であってもよい。計算対象範囲取得部61は、決定した計算対象範囲を以降のステップで使用するために、RAM33および記憶部34に格納する。
なお、計算対象範囲は、操作者が手動で定義した範囲を用いるようにしてもよい。例えば、操作者が全学習データの心房・心室領域を包含する領域を目視で設定し、これを計算対象範囲としてデータベース22又は記憶部34に事前に保存しておいてもよい。この場合、計算対象範囲取得部61は、データベース22又は記憶部34に保存されている計算
対象範囲を読み出すことで、計算対象範囲を取得する。
また、計算対象範囲は、信号が存在する扇形領域の全てを包含する領域でなくともよい。例えば、画素値が一定値以上の領域を包含する扇形領域を計算対象範囲とすることにより、扇形領域辺縁の画素値が低い(暗い)領域を除外しても良い。また、計算対象範囲は扇形に限らず、円形・三角形を含む任意の形状を用いることができる。
定義された計算対象範囲は、具体的には、下式で示す通り、ピクセルの番号と座標値の対応関係を表した対応表(ルックアップテーブル)として表現される。
Figure 0007412223000006
ここで、例えばm[1]は計算対象範囲における1番目のピクセルを表す記号で、x1・y1はそれぞれ該ピクセルのx座標値・y座標値である。そして、Kは計算対象範囲を構成するピクセルの数を表す。
なお、計算対象範囲の定義の保持方法は上記の例に限られず、例えば、計算対象範囲のピクセルに1、それ以外のピクセルに0が設定されたNx×Nyピクセルのマスク画像を利用してもよい。ただし、本実施形態のように計算対象範囲を連番(1~K)と座標値の対応表として保持する方法は、上で述べた、マスク画像を用いる一般的な方法に比べて次のような利点がある。マスク画像を用いる方法では、計算対象範囲に限定して何らかの処理を行う場合、Nx×Nyピクセル全てに対して、該ピクセルが計算対象範囲に含まれているか否か検査する必要がある。すなわち、Nx×Ny個のピクセルを走査する必要がある。一方、本実施形態の保持方法であれば、計算対象範囲に含まれるK個(Nx×Ny個よりも少ない)のピクセルを走査すればよい。そのため、処理時間を短縮することが可能である。
(ステップS802:統計モデルの取得)
ステップS802において、統計モデル取得部52は、学習データに含まれる夫々の画像の画素値情報(画像データ)と該画像の断面種別情報(心尖部二腔像・心尖部三腔像・心尖部四腔像・空中放置像のいずれか)をデータベース22から取得する。また、統計モデル取得部52は、ステップS801で決定した計算対象範囲をRAM33又は記憶部34から取得する。第1の実施形態におけるステップS101で述べた通り、前記画素値情報は、統計解析によって部分空間の情報を算出するために用いる学習データである。統計モデル取得部52は、学習データを統計解析して、断面種別ごとに、統計モデルである部分空間情報を取得する。なお、学習処理が事前に行われている場合には、統計モデル取得部52は、ステップS802において、データベース22又は記憶部34から、学習済みの統計モデルである部分空間情報を取得すればよい。
本ステップにおいて統計モデルである部分空間情報を取得するための方法は、第1の実施形態におけるステップS101と同様である。ただし、各画像の画素値情報を列ベクトルに変換する際、計算対象範囲内の画素値情報のみを用いる点で異なる。本実施形態においてある画像Iの画素値情報の列ベクトルaは、以下の式で定義される。
Figure 0007412223000007
すなわち、第1の実施形態では列ベクトルaのサイズはNx×Nyであったのに対し、本実施形態ではK(K<Nx×Ny)である。これ以降の処理は、第1の実施形態におけるステップS101と同一である。
このようにして、統計モデル取得部52は、計算対象範囲に限定して統計解析を行う。そして、前記統計解析の結果から、断面種別ごとに、統計モデルである部分空間情報(部分空間を構成する固有ベクトルと平均ベクトルの情報)を取得して、RAM33に格納する。
(ステップS804:断面種別の識別)
ステップS804において、識別部53は、ステップS803で取得された入力画像と、ステップS802で取得した統計モデルを取得する。また、識別部53は、ステップS801で決定された計算対象範囲をRAM33又は記憶部34から読み込む。そして、識別部53は、断面種別ごとの統計モデルの入力画像への当てはまりを評価することによって、入力画像の断面種別を識別する。
本ステップにおいて断面種別を識別するための方法は、第1の実施形態におけるステップS103と同じである。ただし、入力画像を列ベクトルaに変換する際、計算対象範囲内の画素値情報のみを用いる点で異なる。これは、ステップS802における式(7)と同じである。したがって、入力画像と断面種別ごとに算出された再構築画像との間の差異(再構築誤差)を算出するときも、計算対象範囲に基づいて算出された、サイズKの列ベクトルを用いる。すなわち、入力画像を表す列ベクトルaと、各再構築画像を表す列ベクトルaハットの差異を求める。このようにすることで、サイズNx×Nyの列ベクトルを用いる第1の実施形態の方法よりも、計算コストを削減でき、処理を高速化することが可能である。
本実施形態によれば、断面種別識別に必要な統計モデル(部分空間情報)のデータサイズを削減し、識別処理に要する時間を短縮することができるという効果がある。
<その他>
以上、本発明の実施形態について説明したが、本発明はこれらに限定されるものではなく、請求項に記載された範囲内において、変更・変形することが可能である。
また、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インターフェイス機器、撮像装置、webアプリケーション等)から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
10 画像処理装置
37 制御部
51 画像取得部
52 統計モデル取得部
53 識別部

Claims (21)

  1. 被検体の断面画像から当該断面画像の種別である断面種別を識別する画像処理装置であって、
    処理対象となる入力画像を取得する画像取得部と、
    断面種別が同じ断面画像を主成分分析することによって生成された、複数の断面種別に対応する複数の統計モデルを用いて、前記入力画像の断面種別を識別する識別部と、
    を有し、
    前記統計モデルは、断面種別が同じ複数の断面画像の特徴を表す部分空間の情報であることを特徴とする画像処理装置。
  2. 前記識別部は、前記複数の統計モデルのいずれが前記入力画像に当てはまるかを評価することによって、前記入力画像の断面種別を識別する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 断面種別が同じ断面画像を主成分分析することによって、複数の断面種別に対応する前記複数の統計モデルを生成するモデル生成部を有する
    ことを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記部分空間の情報は、複数の固有ベクトルを含み、
    前記複数の固有ベクトルの数は、前記複数の断面画像の累積寄与率が50%以上70%以下となるように設定される
    ことを特徴とする請求項1~3のうちいずれか1項に記載の画像処理装置。
  5. 前記識別部は、断面種別ごとの統計モデルを用いて、断面種別ごとに前記入力画像の特徴が部分空間に属する可能性を表すスコアを算出し、断面種別ごとのスコアに基づいて前記入力画像の断面種別を識別する
    ことを特徴とする請求項1~4のうちいずれか1項に記載の画像処理装置。
  6. 前記識別部は、前記入力画像の特徴を部分空間へ投影したのち元の画像空間に逆投影することで得られる再構築画像を断面種別ごとに生成し、断面種別ごとの再構築画像と前記入力画像との類似度に基づいて断面種別ごとのスコアを算出する
    ことを特徴とする請求項に記載の画像処理装置。
  7. 前記識別部は、前記複数の断面種別のそれぞれについて算出されたスコアが所定の条件を満たす場合に、前記入力画像が前記複数の断面種別のいずれにも該当しないと判定することを特徴とする請求項又はに記載の画像処理装置。
  8. 前記断面画像および前記入力画像は、心臓の2次元超音波画像である
    ことを特徴とする請求項1~のうちいずれか1項に記載の画像処理装置。
  9. 前記断面種別は、心尖部二腔像、心尖部三腔像、心尖部四腔像、短軸像、傍胸骨長軸像、および、プローブが被検体に接していない状態に取得される空中放置像のうちの、少なくとも2種類以上を含む
    ことを特徴とする請求項1~8のうちいずれか1項に記載の画像処理装置。
  10. 前記統計モデルは、スケールを揃えるための空間的正規化が施された複数の断面画像を用いて生成される
    ことを特徴とする請求項1~のうちいずれか1項に記載の画像処理装置。
  11. 前記識別部は、前記入力画像に対し前記複数の断面画像と同じ空間的正規化を施したのちに、前記入力画像の断面種別の識別を行う
    ことを特徴とする請求項10に記載の画像処理装置。
  12. 前記断面画像および前記入力画像は、2次元超音波画像であり、
    前記空間的正規化は、2次元超音波画像の視野深度に対応する有効画像表示サイズが所定のピクセル数となるように画像を拡大又は縮小する処理を含む
    ことを特徴とする請求項10又は11に記載の画像処理装置。
  13. 前記画像取得部は、超音波診断装置が前記入力画像を撮像した際の撮像パラメータの情報を前記入力画像とともに取得し、
    前記識別部は、前記撮像パラメータの情報に含まれる前記入力画像の視野深度に関する情報に基づいて前記空間的正規化を行う
    ことを特徴とする請求項12に記載の画像処理装置。
  14. 被検体の断面画像から当該断面画像の種別である断面種別を識別する医用画像診断装置であって、
    処理対象となる医用画像を取得する画像取得部と、
    断面種別が同じ断面画像を主成分分析することによって生成された、複数の断面種別に対応する複数の統計モデルを用いて、前記医用画像の断面種別を識別する識別部と、
    を有し、
    前記統計モデルは、断面種別が同じ複数の断面画像の特徴を表す部分空間の情報であることを特徴とする医用画像診断装置。
  15. 被検体の断面画像から当該断面画像の種別である断面種別を識別する画像処理方法であって、
    処理対象となる入力画像を取得するステップと、
    断面種別が同じ断面画像を主成分分析することによって生成された、複数の断面種別に対応する複数の統計モデルを用いて、前記入力画像の断面種別を識別するステップと、
    を有し、
    前記統計モデルは、断面種別が同じ複数の断面画像の特徴を表す部分空間の情報であることを特徴とする画像処理方法。
  16. 請求項15に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
  17. 被検体の断面画像から当該断面画像の種別である断面種別を識別する処理に用いられるモデルを学習するための学習装置であって、
    複数の断面種別のそれぞれについて、複数の断面画像を学習データとして準備する学習データ準備部と、
    断面種別が同じ断面画像を主成分分析することによって、複数の断面種別に対応する複数の統計モデルを生成するモデル生成部と、
    を備え
    前記統計モデルは、断面種別が同じ複数の断面画像の特徴を表す部分空間の情報であることを特徴とする学習装置。
  18. 前記部分空間を表す情報は、複数の固有ベクトルを含み、
    前記モデル生成部は、前記複数の固有ベクトルの数を、累積寄与率に基づいて決定することを特徴とする請求項17に記載の学習装置。
  19. 前記モデル生成部は、前記複数の固有ベクトルの数を、前記複数の断面画像の累積寄与率が50%以上70%以下となるように決定する
    ことを特徴とする請求項18に記載の学習装置。
  20. 前記断面画像は、2次元超音波画像であり、
    前記学習装置は、前記複数の断面画像に対し、2次元超音波画像の視野深度に対応する有効画像表示サイズが所定のピクセル数となるように画像を拡大又は縮小する処理を含む空間的正規化を施す前処理部を有する
    ことを特徴とする請求項1719のうちいずれか1項に記載の学習装置。
  21. 前記断面画像は、心臓の2次元超音波画像であり、
    前記断面種別は、心尖部二腔像、心尖部三腔像、心尖部四腔像、短軸像、傍胸骨長軸像、および、プローブが被検体に接していない状態に取得される空中放置像のうちの、少なくとも2種類以上を含む
    ことを特徴とする請求項1720のうちいずれか1項に記載の学習装置。
JP2020034949A 2020-03-02 2020-03-02 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置 Active JP7412223B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020034949A JP7412223B2 (ja) 2020-03-02 2020-03-02 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020034949A JP7412223B2 (ja) 2020-03-02 2020-03-02 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置

Publications (2)

Publication Number Publication Date
JP2021137115A JP2021137115A (ja) 2021-09-16
JP7412223B2 true JP7412223B2 (ja) 2024-01-12

Family

ID=77666835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020034949A Active JP7412223B2 (ja) 2020-03-02 2020-03-02 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置

Country Status (1)

Country Link
JP (1) JP7412223B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009148041A1 (ja) 2008-06-03 2009-12-10 株式会社 日立メディコ 医用画像処理装置及び医用画像処理方法
US20100217123A1 (en) 2009-02-23 2010-08-26 Aharon Eran Methods and systems of managing ultrasonographic diagnosis
US20160038122A1 (en) 2014-08-05 2016-02-11 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus
JP2019024925A (ja) 2017-07-28 2019-02-21 株式会社日立製作所 医用撮像装置及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009148041A1 (ja) 2008-06-03 2009-12-10 株式会社 日立メディコ 医用画像処理装置及び医用画像処理方法
US20100217123A1 (en) 2009-02-23 2010-08-26 Aharon Eran Methods and systems of managing ultrasonographic diagnosis
US20160038122A1 (en) 2014-08-05 2016-02-11 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus
JP2019024925A (ja) 2017-07-28 2019-02-21 株式会社日立製作所 医用撮像装置及び画像処理方法

Also Published As

Publication number Publication date
JP2021137115A (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
CN105719278B (zh) 一种基于统计形变模型的医学图像分割方法
EP2365471B1 (en) Diagnosis assisting apparatus, coronary artery analyzing method and recording medium having a coronary artery analzying program stored therein
US7430309B2 (en) Computation of a geometric parameter of a cardiac chamber from a cardiac tomography data set
KR101982149B1 (ko) 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치
US11941812B2 (en) Diagnosis support apparatus and X-ray CT apparatus
JP5601378B2 (ja) 医用画像処理装置
EP3444781B1 (en) Image processing apparatus and image processing method
WO2012064986A2 (en) System and method of ultrasound image processing
JP7409624B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7516072B2 (ja) 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置
US9196049B2 (en) Method and system for regression-based 4D mitral valve segmentation from 2D+t magnetic resonance imaging slices
JP2002140689A (ja) 医用画像処理装置及びその方法
CN110660044A (zh) 骨组织结构形态异常的快速检测方法及电子装置
JP7412223B2 (ja) 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置
JP6827786B2 (ja) 輪郭抽出装置、輪郭抽出方法およびプログラム
WO2021137115A1 (en) Method and apparatus for registering live medical image with anatomical model
JP7419037B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR20210068189A (ko) 의료 영상을 이용한 병변 여부 판단 방법
JP7356330B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Udrea et al. Nonlinear deterministic methods for computer aided diagnosis in case of kidney diseases
CN114300096B (zh) 一种基于trus图像的前列腺活动表观模型建立方法
DE102012213923B4 (de) Vorrichtung und Verfahren zur Positionskorrelation in medizinischen Aufnahmen
JP2017080157A (ja) 画像処理装置
JP2022111706A (ja) 画像処理装置および画像処理方法、医用撮像装置、プログラム
JP2022175748A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231226

R150 Certificate of patent or registration of utility model

Ref document number: 7412223

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150