JP7494678B2 - 医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法 - Google Patents

医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法 Download PDF

Info

Publication number
JP7494678B2
JP7494678B2 JP2020156348A JP2020156348A JP7494678B2 JP 7494678 B2 JP7494678 B2 JP 7494678B2 JP 2020156348 A JP2020156348 A JP 2020156348A JP 2020156348 A JP2020156348 A JP 2020156348A JP 7494678 B2 JP7494678 B2 JP 7494678B2
Authority
JP
Japan
Prior art keywords
vertebral body
region
vertebral
image
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020156348A
Other languages
English (en)
Other versions
JP2022050004A (ja
Inventor
実由 武藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2020156348A priority Critical patent/JP7494678B2/ja
Priority to CN202111031897.0A priority patent/CN114266718A/zh
Publication of JP2022050004A publication Critical patent/JP2022050004A/ja
Application granted granted Critical
Publication of JP7494678B2 publication Critical patent/JP7494678B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

この発明は、医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法に関し、特に、X線画像から被写体の椎体を検出する医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法に関する。
従来、X線画像から被写体の椎体を検出する医用画像処理装置が知られている(たとえば、特許文献1参照)。
上記特許文献1には、機械学習によって学習された学習済み学習モデルによって、椎体が写るX線画像から椎体を検出する構成が開示されている。上記特許文献1において椎体の検出に用いられる学習済みモデルは、骨(椎体)の領域と、骨以外(椎体以外)の領域とを判別することにより、椎体の検出を行う。
特開2019-209028号公報
ここで、椎体の画像は、たとえば、骨粗鬆症の診断などに用いられる。骨粗鬆症の診断では、椎体の1つ1つについて、骨密度を測定する。したがって、椎体が写るX線画像から、個々の椎体を検出することが望まれる。しかしながら、上記特許文献1において椎体の検出に用いられる学習済みモデルのように、骨(椎体)の領域と、骨以外(椎体以外)の領域とを判別することにより、椎体の検出を行う構成では、複数の椎体の全てを1つの塊として検出するため、検出された画像において、複数の椎体を個々に検出することが困難であるという問題点がある。
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、複数の椎体を個々に判別可能な画像を生成することが可能な医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法を提供することである。
上記目的を達成するために、この発明の第1の局面による医用画像処理装置は、複数の椎体が写るX線画像を取得する画像取得部と、X線画像中の複数の椎体を個別に識別可能な椎体識別画像を生成する画像処理部と、を備え、画像処理部は、複数の椎体が写る教師用X線画像と、教師用X線画像の複数の椎体に、互いに異なるラベルが付与されたラベル画像とを教師データとして学習された学習済みモデルを用いて、X線画像から複数の椎体領域を個別に推定する椎体領域推定部と、椎体領域推定部によって推定された椎体領域に基づいて、椎体識別画像を生成する画像生成部と、を含み、椎体領域推定部は、学習済みモデルを用いてX線画像から複数の椎体候補領域を推定し、画像処理部は、学習済みモデルによって出力される複数の椎体候補領域の各々の椎体である可能性を示す推定精度と、複数の椎体候補領域の各々の位置とに基づいて、推定された複数の椎体候補領域のうち、椎体である可能性が高い椎体候補領域を椎体領域として決定する椎体領域決定部を含む。
また、上記目的を達成するために、この発明の第2の局面による医用画像処理方法は、X線画像から椎体を識別可能な椎体識別画像を生成する医用画像処理方法であって、複数の椎体が写るX線画像を取得するステップと、複数の椎体が写る教師用X線画像と、教師用X線画像に写る複数の椎体に、互いに異なるラベルが付与されたラベル画像とを教師データとして、教師用X線画像から複数の椎体領域を個別に推定するように学習された学習済みモデルを用いて、X線画像から複数の椎体領域を個別に推定するステップと、推定された複数の椎体領域に基づいて、複数の椎体を個別に識別可能な椎体識別画像を生成するステップと、を含み、複数の椎体領域を個別に推定するステップにおいて、学習済みモデルを用いてX線画像から複数の椎体候補領域を推定し、椎体識別画像を生成するステップにおいて、学習済みモデルによって出力される複数の椎体候補領域の各々の椎体である可能性を示す推定精度と、複数の椎体候補領域の各々の位置とに基づいて、推定された複数の椎体候補領域のうち、椎体である可能性が高い椎体候補領域を椎体領域として決定する。
上記第1の局面におけるX線画像撮影装置では、上記のように、複数の椎体が写る教師用X線画像と、教師用X線画像の複数の椎体に、互いに異なるラベルが付与されたラベル画像とを教師データとして学習された学習済みモデルを用いて、X線画像から複数の椎体領域を個別に推定する椎体領域推定部と、椎体領域推定部によって推定された椎体領域に基づいて、椎体識別画像を生成する画像生成部とを含む画像処理部を備える。また、椎体領域推定部は、学習済みモデルを用いてX線画像から複数の椎体候補領域を推定し、画像処理部は、学習済みモデルによって出力される複数の椎体候補領域の各々の椎体である可能性を示す推定精度と、複数の椎体候補領域の各々の位置とに基づいて、推定された複数の椎体候補領域のうち、椎体である可能性が高い椎体候補領域を椎体領域として決定する椎体領域決定部を含む。これにより、互いに異なるラベルが付与されたラベル画像を用いて学習された学習済みモデルを用いて個別に推定された椎体領域に基づいて椎体識別画像が生成されるので、椎体識別画像によって、複数の椎体を個別に識別することができる。その結果、複数の椎体を個々に判別可能な画像を生成することが可能な医用画像処理装置を提供することができる。
また、上記第2の局面における医用画像処理方法では、上記のように、複数の椎体が写る教師用X線画像と、教師用X線画像に写る複数の椎体に、互いに異なるラベルが付与されたラベル画像とを教師データとして、教師用X線画像から複数の椎体領域を個別に推定するように学習された学習済みモデルを用いて、X線画像から複数の椎体領域を個別に推定するステップと、推定された複数の椎体領域に基づいて、複数の椎体を個別に識別可能な椎体識別画像を生成するステップと、を含み、複数の椎体領域を個別に推定するステップにおいて、学習済みモデルによって出力される複数の椎体候補領域の各々の椎体である可能性を示す推定精度と、複数の椎体候補領域の各々の位置とに基づいて、学習済みモデルを用いてX線画像から複数の椎体候補領域を推定し、椎体識別画像を生成するステップにおいて、推定された複数の椎体候補領域のうち、椎体である可能性が高い椎体候補領域を椎体領域として決定する。これにより、上記第1の局面による医用画像処理装置と同様に、複数の椎体を個々に判別可能な画像を生成することが可能な医用画像処理方法を提供することができる。
一実施形態による医用画像処理装置の全体構成を示した模式図である。 X線画像撮影装置の構成を説明するための模式図である。 一実施形態による学習モデルの学習方法と、学習済みの学習モデルを用いて椎体領域を推定し、椎体識別画像を生成する方法とを説明するための模式図である。 複数の椎体が写るX線画像を説明するための模式図である。 一実施形態による学習済みモデルを生成する際に、教師用データとして用いるラベル画像を説明するための模式図である。 一実施形態による椎体領域推定部が、学習済みモデルを用いて推定した椎体候補領域が写る椎体推定画像を説明するための模式図である。 一実施形態による椎体領域決定部が、最も推定精度が高いものを椎体領域として決定する構成を説明するための模式図である。 一実施形態における椎体領域決定部が、決定済みの椎体領域と、椎体候補領域との相対位置に基づいて、椎体領域を決定する構成を説明するための模式図である。 一実施形態による椎体領域決定部が、椎体候補領域と決定済みの椎体領域との重なり度合いに基づいて、椎体領域であるか否かの判定を行う構成を説明するための模式図である。 一実施形態による椎体領域決定部が、椎体候補領域と決定済みの椎体領域との水平方向の位置に基づいて、椎体領域であるか否かの判定を行う構成を説明するための模式図である。 一実施形態における椎体領域決定部が決定した椎体領域を説明するための模式図である。 一実施形態による境界線取得部が、椎間候補点を取得する構成を説明するための模式図である。 一実施形態による境界線取得部が、椎間候補点を取得する構成を説明するためのグラフである。 一実施形態による境界線取得部が、境界線を取得する構成を説明するための模式図である。 一実施形態による境界線取得部が、椎体領域が重なっている場合に、椎間候補点を取得する構成を説明するための模式図である。 一実施形態による境界線取得部が、椎体領域が重なっている場合に、椎間候補点を取得する構成を説明するためのグラフである。 一実施形態による画像生成部が生成する椎体と境界線とが写る椎体識別画像を説明するための模式図である。 一実施形態による学習モデルを学習させる処理を説明するためのフローチャートである。 一実施形態による画像処理部が椎体識別画像を生成する処理を説明するためのフローチャートである。 一実施形態による椎体領域決定部が椎体領域を決定する処理を説明するためのフローチャートである。 一実施形態による境界線取得部が境界線を取得する処理を説明するためのフローチャートである。
以下、本発明を具体化した実施形態を図面に基づいて説明する。
図1および図2を参照して、一実施形態による医用画像処理装置100の構成について説明する。なお、医用画像処理装置100は、被検者80(図2参照)の骨粗鬆症の診断に用いることが可能な撮影装置である。
(医用画像処理装置の構成)
医用画像処理装置100は、図1に示すように、画像取得部1と、画像処理部2と、記憶部3とを備える。
画像取得部1は、複数の椎体40(図4参照)が写るX線画像10を取得するように構成されている。本実施形態では、画像取得部1は、たとえば、X線画像撮像装置200からX線画像10を取得するように構成されている。画像取得部1は、たとえば、入出力インターフェースを含む。
画像処理部2は、X線画像10中の複数の椎体40を個別に識別可能な椎体識別画像11を生成するように構成されている。画像処理部2は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、および、GPU(Graphics Processing Unit)などを含んで構成されたコンピュータである。また、ハードウェアとしてのCPUなどからなる画像処理部2は、ソフトウェア(プログラム)の機能ブロックとして、椎体領域推定部20と、画像生成部21と、椎体領域決定部22と、境界線取得部23とを含む。画像処理部2は、記憶部3に記憶されたプログラムを実行することにより、椎体領域推定部20、画像生成部21、椎体領域決定部22、および、境界線取得部23として機能する。画像処理部2の各機能ブロックの詳細については、後述する。
記憶部3は、複数の椎体40が写る教師用X線画像12(図3参照)と、教師用X線画像12の複数の椎体40に、互いに異なるラベルが付与されたラベル画像13(図3参照)とを教師データとして学習された学習済みモデル31を記憶するように構成されている。また、記憶部3は、画像処理部2が実行するプログラムが記憶されている。記憶部3は、たとえば、HDD(Hard Disk Drive)、または、不揮発性のメモリなどを含む。
(X線画像撮影装置の構成)
図2に示すように、X線画像撮像装置200は、X線源50と、X線検出部51と、撮像装置制御部52と、撮像装置画像処理部53と、を備える。撮像装置制御部52は、X線源50、および、撮像装置画像処理部53と、電気的に接続されている。また、X線検出部51は、撮像装置画像処理部53と電気的に接続している。X線画像撮像装置200は、被検者80を撮像することにより、複数の椎体40が写るX線画像10を生成する。また、X線画像撮像装置200は、生成したX線画像10を医用画像処理装置100へと送る。なお、図2に示す例では、電気的な接続を破線で図示し、情報の入出力を実線の矢印で図示している。
X線源50は、高電圧が印加されることにより、X線を発生させる。X線源50で発生されたX線は、X線検出部51が配置された方向に照射されるように構成されている。
X線検出部51は、X線源50から照射されたX線を検出するとともに、検出されたX線を電気信号に変換する。X線検出部51は、たとえば、FPD(Flat Panel Detector)である。X線検出部51の検出信号(画像信号)は、撮像装置画像処理部53へと送られる。
撮像装置制御部52は、X線画像撮像装置200を制御するように構成されている。撮像装置制御部52は、たとえば、CPU、ROMおよびRAMなどを含む。
撮像装置画像処理部53は、X線検出部51から送られた検出信号に基づいて、X線画像10を生成するように構成されている。撮像装置画像処理部53は、たとえば、GPU、または、画像処理用に構成されたFPGA(Field-Programmable Gate Array)などのプロセッサを含む。
撮像装置画像処理部53において生成されたX線画像10は、医用画像処理装置100へと送られる。
(画像処理方法)
次に、図3~15を参照して、本実施形態による画像処理方法によって、椎体識別画像11を生成するについて説明する。
図3は、本実施形態による画像処理の流れを示したブロック図である。図3に示すように、本実施形態では、画像処理方法は、大きく分けて、学習モデル30の学習方法101と、医用画像処理方法201と、を含む。
(学習モデル生成)
本実施形態による学習モデル30の学習方法101は、教師用X線画像12から椎体40を推定することを学習させる学習方法である。本実施形態による学習モデル30の学習方法101は、教師用X線画像12を取得するステップ110と、ラベル画像13を取得するステップ111と、教師用X線画像12とラベル画像13とを教師データとして教師用X線画像12から複数の椎体領域41(図11参照)を個別に推定するように、学習モデル30を学習させるステップ112と、を含む。学習モデル30は、たとえば、図3に示す畳み込みニューラルネットワーク(Convolutional neural network;CNN)であるか、畳み込みニューラルネットワークを一部に含む。学習モデル30の学習方法101の各ステップの詳細な処理については、後述する。なお、教師用X線画像12は、特許請求の範囲の「X線画像」の一例である。
また、本実施形態による医用画像処理方法201は、X線画像10から椎体40(図4参照)を識別可能な椎体識別画像11を生成する医用画像処理方法である。本実施形態による医用画像処理方法201は、X線画像10を取得するステップ210と、教師用X線画像12とラベル画像13とを教師データとして、教師用X線画像12から複数の椎体領域41を個別に推定するように学習された学習済みモデル31を用いて、X線画像10から複数の椎体領域41(図11参照)を個別に推定するステップ211と、推定された複数の椎体領域41に基づいて、複数の椎体40を個別に識別可能な椎体識別画像11を生成するステップ214と、を含む。学習済みモデル31は、椎体候補領域42が写る椎体推定画像14と、椎体候補領域42の各々の椎体40である可能性を示す推定精度32とを出力するように構成されている。画像生成部21は、学習済みモデル31によって出力された椎体推定画像14と推定精度32とに基づいて、椎体識別画像11を生成する。医用画像処理方法201の各ステップの詳細な処理については、後述する。
本実施形態では、図3に示すように、椎体領域推定部20は、複数の椎体40が写る教師用X線画像12と、教師用X線画像12の複数の椎体40に、互いに異なるラベルが付与されたラベル画像13とを教師データとして学習された学習済みモデル31を用いて、X線画像10から複数の椎体領域41を個別に推定するように構成されている。本実施形態では、椎体領域推定部20が、X線画像10から、椎体40を個別に推定することにより、椎体候補領域42を取得する。次に、椎体領域決定部22は、椎体領域推定部20が取得した椎体候補領域42に基づいて、椎体領域41を決定する。次に、境界線取得部23は、椎体領域決定部22が決定した椎体領域41の境界線43を取得する。そして、画像生成部21は、椎体領域決定部22が決定した椎体領域41と、境界線取得部23が取得した境界線43とに基づいて、椎体識別画像11を生成する。椎体領域推定部20、画像生成部21、椎体領域決定部22、および、境界線取得部23の構成の詳細については、後述する。
(X線画像およびラベル画像)
図4に示すように、X線画像10には、複数の椎体40が写る。図4に示すX線画像10は、被検者80の腰部を正面から撮像して得られる画像であり、椎体40として、腰椎が写る。図4に示す例では、X線画像10には、第1椎体40a、第2椎体40b、第3椎体40c、第4椎体40d、第5椎体40e、および、第6椎体40fが写る。本実施形態では、教師用X線画像12(図3参照)においても、X線画像10と同様に、複数の椎体40が写る。
図5に示すように、ラベル画像13は、複数の椎体40に、互いに異なるラベルが付与されることにより生成される。図5に示す例では、ラベルの違いを、異なるハッチングを付すことにより表している。ラベル画像13は、技師などが、各椎体40に個別にラベルを付すことにより生成される。
(椎体識別画像の生成)
次に、図6~図17を参照して、本実施形態による画像処理部2が、椎体識別画像11(図1参照)を生成する構成について説明する。
(椎体領域の決定)
まず、図6~図11を参照して、椎体領域推定部20および椎体領域決定部22が椎体領域41(図11参照)を決定する構成について説明する。
本実施形態では、椎体領域推定部20は、学習済みモデル31を用いてX線画像10からラベルの個数以上の複数の椎体候補領域42(図3参照)を推定する。具体的には、本実施形態では、ラベル画像13(図5参照)において、6個のラベルを用いているので、椎体領域推定部20は、6個以上の椎体候補領域42を推定する。
図6は、椎体領域推定部20が、9個の椎体候補領域42を推定した例を示している。なお、本実施形態では、椎体領域推定部20は、推定した1つの椎体候補領域42が写る椎体推定画像14を生成する。具体的には、椎体領域推定部20は、第1椎体推定画像14a、第2椎体推定画像14b、第3椎体推定画像14c、第4椎体推定画像14d、第5椎体推定画像14e、第6椎体推定画像14f、第7椎体推定画像14g、第8椎体推定画像14h、および、第9椎体推定画像14iを生成する。
第1椎体推定画像14aには、第1椎体候補領域42aが写る。第2椎体推定画像14bには、第2椎体候補領域42bが写る。第3椎体推定画像14cには、第3椎体候補領域42cが写る。第4椎体推定画像14dには、第4椎体候補領域42dが写る。第5椎体推定画像14eには、第5椎体候補領域42eが写る。第6椎体推定画像14fには、第6椎体候補領域42fが写る。第7椎体推定画像14gには、第7椎体候補領域42gが写る。第8椎体推定画像14hには、第8椎体候補領域42hが写る。第9椎体推定画像14iには、第9椎体候補領域42iが写る。
また、図6に示すように、学習済みモデル31は、複数の椎体候補領域42の各々の椎体40である可能性を示す推定精度32を出力する。図6に示す例では、第1椎体領域41aの推定精度32が最も高く、第2椎体領域41b~第9椎体候補領域42iの順番に推定精度32が低くなっている。
椎体領域決定部22は、推定された複数の椎体候補領域42(図3参照)のうち、椎体40である可能性が高い椎体候補領域42を椎体領域41として決定するように構成されている。具体的には、椎体領域決定部22は、学習済みモデル31によって出力される複数の椎体候補領域42の各々の椎体40である可能性を示す推定精度32と、複数の椎体候補領域42の各々の位置とに基づいて、椎体領域41を決定するように構成されている。
図7に示すように、本実施形態では、椎体領域決定部22は、複数の椎体候補領域42のうち、推定精度32が最も高い椎体候補領域42を椎体領域41に決定する。図7に示す例では、第1椎体候補領域42a~第9椎体候補領域42iのうち、第1椎体候補領域42aが最も推定精度32が高くなっている。したがって、椎体領域決定部22は、第1椎体候補領域42aを、第1椎体領域41aとして決定する。なお、本実施形態では、図7に示すように、椎体領域決定部22は、第1椎体領域41aが写る椎体領域画像15を生成する。
本実施形態では、椎体領域決定部22は、決定済みの椎体領域41と、複数の椎体候補領域42のうち、椎体領域41であるか否かの判定を行う椎体候補領域42との相対位置に基づき、椎体領域41を決定するように構成されている。
具体的には、図8に示すように、椎体領域決定部22は、決定済みの椎体領域41が写る椎体領域画像15において、次に椎体領域41であるか否かの判定を行う椎体候補領域42を位置合わせした状態において、椎体候補領域42が椎体領域41であるか否かの判定を行う。図8に示す椎体領域画像15では、第1椎体領域41aと第2椎体候補領域42bとを図示している。
本実施形態では、図8に示すように、椎体領域決定部22は、複数の椎体候補領域42のうち、いずれか2つの椎体候補領域42の上下方向における重なり度合いに基づいて、椎体領域41であるか否かを判定するように構成されている。具体的には、椎体領域決定部22は、重なり度合いが閾値以下であるか否かを判定することにより、椎体候補領域42が椎体領域41であるか否かの判定を行う。図8に示す例では、第1椎体領域41a(第1椎体候補領域42a)と、第2椎体候補領域42bとが重なっていない。すなわち、第1椎体領域41aと第2椎体候補領域42bとの重なり度合いが閾値以下であるため、椎体領域決定部22は、第2椎体候補領域42bを第2椎体領域41bとして決定する。なお、椎体領域41と椎体候補領域42とが重なるとは、椎体領域41と、椎体候補領域42とが、画像中における共通の画素を含む状態を意味する。
本実施形態では、椎体領域決定部22は、統計値を取得することにより重なり度合いを取得する。統計値としては、たとえば、IoU(Intersection over Union)、または、Simpson係数などを用いる。
図9に示す例は、第1椎体領域41aと第2椎体領域41bとが決定された後、第8椎体候補領域42hが椎体領域41であるか否かの判定を行う場合の椎体領域画像15である。
図9に示すように、第8椎体候補領域42hは、第1椎体領域41aおよび第2椎体領域41bに対して、重なった位置に推定された椎体候補領域42である。図9に示す例では、第8椎体候補領域42hは、第1椎体領域41aと重なる領域90、および、第2椎体領域41bと重なる領域91を含む。第8椎体候補領域42hと第1椎体領域41aとが重なる領域90の重なり度合い、および、第8椎体候補領域42hと第2椎体領域41bとが重なる領域91の重なり度合いの両方が、閾値よりも大きくなる場合を示している。このような場合には椎体領域決定部22は、椎体候補領域42(第8椎体候補領域42h)を、椎体領域41ではないと判定し、椎体候補領域42から除外する。
図10に示す例は、第1椎体領域41aが決定された後、第7椎体候補領域42gが椎体領域41であるか否かの判定を行う場合の椎体領域画像15である。第7椎体候補領域42gは、第1椎体領域41aと重なっていないため、重なり度合いは閾値以下である。しかしながら、第7椎体候補領域42gは、椎体領域画像15の上下方向において、第1椎体領域41aとオーバーラップしていない。すなわち、第7椎体候補領域42gは、人体の構造にそぐわない位置にあると考えられる。このような椎体候補領域42(第7椎体候補領域42g)を椎体領域41として決定した場合、人体の構造にそぐわない椎体40が写る椎体識別画像11が生成される。なお、上下方向においてオーバーラップするとは、椎体領域41と椎体候補領域42とが、椎体領域画像15の横方向において共通の位置座標を含むことを意味する。
そこで、本実施形態では、椎体領域決定部22は、椎体候補領域42のうち、重なり度合いが閾値以下の場合で、かつ、決定済みの椎体領域41に対するX線画像10の水平方向の位置が所定の範囲60内である場合に、椎体領域41であると決定するように構成されている。所定の範囲60は、椎体領域画像15の横方向における所定の長さ(閾値)にマージンを持たせた幅に設定される。所定の範囲60は、各椎体領域41を並べた際に、人体の構造に適する並びとなる範囲に設定される。なお、所定の長さ(閾値)は、一般的な椎体40の長さに基づいて設定される。
また、本実施形態では、椎体領域決定部22は、推定精度32が高い椎体候補領域42から順番に、複数の椎体候補領域42の各々について、椎体領域41であるか否かの判定を繰り返し行うように構成されている。すなわち、本実施形態では、椎体領域決定部22は、第1椎体候補領域42a~第9椎体候補領域42iについて椎体領域41であるか否かの判定を、1つずつ推定精度32が高い順に行い、図11に示すような椎体領域画像15を生成する。
図11に示す椎体領域画像15には、第1椎体候補領域42a~第9椎体候補領域42iのうち、椎体領域41であると決定された第1椎体領域41a、第2椎体領域41b、第3椎体領域41c、第4椎体領域41d、第5椎体領域41e、および、第6椎体領域41fが写る。図11に示す椎体領域画像15では、各椎体領域41が個別に写る。しかしながら、図11に示す第5椎体領域41eおよび第6椎体領域41fのように、上下方向における椎体領域41間の距離が小さい場合、医師などが一見して椎体領域41の境界を把握しづらい場合がある。また、隣り合う椎体領域41の間には通常、椎間板の領域が存在するが、個人差、被検者80の姿勢、被検者80に対するX線画像10の撮影角度などによっては、隣り合う椎体領域41が部分的に重なって写るようなケースも発生し得る。
そこで、本実施形態では、境界線取得部23は、椎体領域41間の境界線43(図14)を取得するように構成されている。
(境界線の取得)
図12に示すように、境界線取得部23は、X線画像10の上下方向において隣り合う2つの椎体領域41のうち、上側の椎体領域41(第1椎体領域41a)と下側の椎体領域41(第2椎体領域41b)とが、上下方向においてオーバーラップする領域である椎体重複領域61に基づいて、境界線43を取得するように構成されている。具体的には、境界線取得部23は、上側の椎体領域41(第1椎体領域41a)の下端部44aと下側の椎体領域41(第2椎体領域41b)の上端部44bとを取得し、下端部44aと上端部44bとの間に椎間候補点45を取得することにより、境界線43を取得するように構成されている。
図13は、椎体重複領域61のうち、所定の位置61aの上下方向における画素値の変化を示したグラフ70である。グラフ70は、横軸が画素値であり、縦軸が画素の位置である。
グラフ70は、椎体領域画像15を二値化することにより得られた二値化画像(図示せず)のうち、所定の位置61aの上下方向における画素値の変化を示すものである。椎体領域画像15の二値化は、学習済みモデル31によって出力される椎体領域画像15における椎体領域41らしさを表す数値に基づいて行う。具体的には、椎体領域41らしさの数値が、閾値以上であるか否かによって、椎体領域画像15の二値化が行われる。椎体領域41らしさの数値が閾値以上の領域の画素値を1とし、椎体領域41らしさの数値が閾値よりも小さい領域の画素値を0(ゼロ)とする。すなわち、グラフ70において、画素値が0(ゼロ)の位置は、椎体領域41以外の部分であり、画素値が1となる位置は、椎体領域41の部分である。図12に示す椎体領域画像15のように、上側の椎体領域41と下側の椎体領域41とが重なっていない場合には、境界線取得部23は、グラフ70の画素値が1から0に変化する位置のうち、上側の位置を、上側の椎体領域41(第1椎体領域41a)の下端部44aとして取得する。また、境界線取得部23は、図13に示すように、グラフ70の画素値が0から1に変化する位置のうち、下側の位置を、下側の椎体領域41(第2椎体領域41b)の上端部44bとして取得する。
境界線取得部23は、図14に示すように、椎体重複領域61内の水平方向において複数の椎間候補点45を取得し、取得した複数の椎間候補点45をつないだ線、または、取得した複数の椎間候補点45の近似線を境界線43をとして取得するように構成されている。なお、図14に示す例は、境界線取得部23は、取得した複数の椎間候補点45の近似線を境界線43をとして取得している。図14に示す例では、境界線取得部23は、直線近似を行うことにより、境界線43を取得している。また、図14に示す例では、境界線取得部23は、複数の椎間候補点45として、4つの椎間候補点45を取得しているが、椎間候補点45の数は4つ以外の個数でもよい。たとえば、椎体重複領域61の大きさが大きい場合には、たとえば、境界線取得部23は、20個の椎間候補点45を取得してもよい。
また、境界線取得部23は、図15に示すように、第1椎体領域41aおよび第2椎体領域41bが上下方向において重なっている場合においても、第1椎体領域41aおよび第2椎体領域41bの間の境界線43を取得する。
上下方向において重なっている第1椎体領域41aおよび第2椎体領域41bの間の境界線43を取得する場合、境界線取得部23は、上側の第1椎体領域41aの下端部44aと、下側の第2椎体領域41bの上端部44bとを、個別に取得し、個別に取得した上側の第1椎体領域41aの下端部44aと、下側の第2椎体領域41bの上端部44bとの間に、椎間候補点45を設定する。
図16に示すグラフ71は、上下方向において重なっている第1椎体領域41aおよび第2椎体領域41bの椎体重複領域61のうち、所定の位置61bの上下方向における第1椎体領域41aの画素値の変化を示したグラフである。また、グラフ72は、上下方向において重なっている第1椎体領域41aおよび第2椎体領域41bの椎体重複領域61のうち、所定の位置61bの上下方向における第2椎体領域41bの画素値の変化を示したグラフである。グラフ71およびグラフ72は、横軸が画素値であり、縦軸が画素の位置である。なお、図16に示す例では、グラフ72の線の太さを、グラフ71の線の太さよりも太くすることにより、グラフ71とグラフ72とを識別可能に表示している。
境界線取得部23は、グラフ71およびグラフ72を個別に取得した後、図16に示すように、グラフ71およびグラフ72を重ねて表示することにより、椎体重複領域61のうち、所定の位置61bの上下方向における第1椎体領域41aの下端部44aの位置と、第2椎体領域41bの上端部44bの位置とを取得する。したがって、境界線取得部23は、第1椎体領域41aの下端部44aと第2椎体領域41bの上端部44bとの中間点を椎間候補点45として取得する。
本実施形態では、画像生成部21は、椎体領域推定部20によって推定された椎体領域41に基づいて、椎体識別画像11を生成するように構成されている。具体的には、図17に示すように、画像生成部21は、決定された椎体領域41と、境界線取得部23によって取得された境界線43とが写る画像を、椎体識別画像11として生成するように構成されている。
次に、図18を参照して、本実施形態による学習モデル30の学習方法101について説明する。学習モデル30の学習方法101は、教師用X線画像12を取得するステップ110と、ラベル画像13を取得するステップ111と、学習モデル30を学習させるステップ112とを含む。
ステップ110では、複数の椎体40が写るX線画像10を教師用X線画像12として取得する。
ステップ111では、X線画像10(教師用X線画像12)中の複数の椎体40に、互いに異なるラベルが付与されたラベル画像13を取得する。
ステップ112では、X線画像10(教師用X線画像12)とラベル画像13とを教師データとしてX線画像10から複数の椎体領域41を個別に推定するように、学習モデル30を学習させる。
ステップ110~ステップ112の処理を繰り返し行うことにより、学習モデル30を学習させ、学習済みモデル31を生成する。
次に、図19を参照して、本実施形態による医用画像処理方法201について説明する。図19に示すように、医用画像処理方法201は、X線画像10を取得するステップ210と、学習済みモデル31を用いて、X線画像10から複数の椎体領域41を個別に推定するステップ211と、椎体領域41を決定するステップ212と、境界線43を取得するステップ213と、椎体識別画像11を生成するステップ214と、を含む。
ステップ210において、画像取得部1は、複数の椎体40が写るX線画像10を取得する。
ステップ211において、椎体領域推定部20(画像処理部2)は、学習済みモデル31を用いて、X線画像10から複数の椎体領域41を個別に推定する。学習済みモデル31は、複数の椎体40が写る教師用X線画像12と、教師用X線画像12に写る複数の椎体40に、互いに異なるラベルが付与されたラベル画像13とを教師データとして、教師用X線画像12から複数の椎体領域41を個別に推定するように学習されることにより取得される。
ステップ212において、椎体領域決定部22(画像処理部2)は、複数の椎体候補領域42から椎体領域41を決定する。
ステップ213において、境界線取得部23(画像処理部2)は、椎体領域41間の境界線43を取得する。
ステップ214において、画像生成部21(画像処理部2)は、推定された複数の椎体領域41に基づいて、複数の椎体40を個別に識別可能な椎体識別画像11を生成する。なお、ステップ214の処理では、画像生成部21は、決定された椎体領域41と、境界線取得部23によって取得された境界線43とが写る画像を、椎体識別画像11として生成する。
本実施形態における医用画像処理方法201は、ステップ210~ステップ214の処理を行うことにより、椎体識別画像11を生成する。
次に、図20を参照して、椎体領域決定部22(画像処理部2)が椎体領域41を決定する処理について説明する。
ステップ212aにおいて、椎体領域決定部22(画像処理部2)は、椎体領域推定部20によって推定された複数の椎体候補領域42を取得する。
ステップ212bにおいて、椎体領域決定部22(画像処理部2)は、推定精度32が高い椎体候補領域42を椎体領域41に決定する。
ステップ212cにおいて、椎体領域決定部22(画像処理部2)は、椎体候補領域42を選択する。具体的には、椎体領域決定部22(画像処理部2)は、椎体候補領域42のうち、推定精度32が最も高いものを選択する。
ステップ212dにおいて、椎体領域決定部22(画像処理部2)は、選択された椎体候補領域42を椎体領域41に当てはめる。具体的には、椎体領域決定部22は、椎体領域画像15に対して、椎体領域41であるか否かの判定を行う椎体候補領域42を位置合わせすることにより、椎体候補領域42を椎体領域41に当てはめる。
ステップ212eにおいて、椎体領域決定部22(画像処理部2)は、椎体領域41と椎体候補領域42との重なり度合いを取得する。
ステップ212fにおいて、椎体領域決定部22(画像処理部2)は、取得した重なり度合いが、閾値以下であるか否かの判定を行う。重なり度合いが閾値以下の場合、処理は、ステップ212gへ進む。重なり度合いが閾値よりも大きい場合、処理は、ステップ212iへ進む。
ステップ212gにおいて、椎体領域決定部22(画像処理部2)は、椎体候補領域42の水平方向の位置が、所定の範囲60内か否かを判定する。椎体候補領域42の水平方向の位置が、所定の範囲60内の場合、処理は、ステップ212hへ進む。椎体候補領域42の水平方向の位置が、所定の範囲60内でない場合、処理は、ステップ212iへ進む。
ステップ212hにおいて、椎体領域決定部22(画像処理部2)は、椎体候補領域42を椎体領域41に決定する。
ステップ212iにおいて、椎体領域決定部22(画像処理部2)は、全ての椎体候補領域42について、椎体領域41であるか否かの判定を行ったか否かを判定する。全ての椎体候補領域42について、椎体領域41であるか否かの判定を行っていた場合、処理は、終了する。椎体領域41であるか否かの判定を行ってない場合、処理は、ステップ212cへ進む。
次に、図21を参照して、境界線取得部23(画像処理部2)が境界線43を取得する処理について説明する。
ステップ213aにおいて、境界線取得部23(画像処理部2)は、椎体重複領域61を取得する。
ステップ213bにおいて、境界線取得部23(画像処理部2)は、上側の椎体領域41の下端部44aと、下側の椎体領域41の上端部44bとを取得する。なお、ステップ213bの処理では、境界線取得部23(画像処理部2)は、椎体重複領域61内の複数の箇所で、上側の椎体領域41の下端部44aと、下側の椎体領域41の上端部44bとを取得する。
ステップ213cにおいて、境界線取得部23(画像処理部2)は、上側の椎体領域41の下端部44aと、下側の椎体領域41の上端部44bとに基づいて、椎間候補点45を取得する。具体的には、境界線取得部23(画像処理部2)は、上側の椎体領域41の下端部44aと、下側の椎体領域41の上端部44bとの中間点を椎間候補点45として取得する。また、ステップ213cの処理では、境界線取得部23(画像処理部2)は、複数の椎間候補点45を取得する。
ステップ213dにおいて、境界線取得部23(画像処理部2)は、複数の椎間候補点45に基づいて、境界線43を取得する。本実施形態では、境界線取得部23(画像処理部2)は、複数の椎間候補点45の近似線を、境界線43として取得する。
ステップ213eにおいて、境界線取得部23(画像処理部2)は、全ての椎体領域41間において境界線43を取得したか否かを判定する。全ての椎体領域41間において境界線43を取得した場合、処理は、終了する。全ての椎体領域41間において境界線43を取得していない場合、処理は、ステップ213aへ進む。
(本実施形態の効果)
本実施形態では、以下のような効果を得ることができる。
本実施形態では、上記のように、医用画像処理装置100は、複数の椎体40が写るX線画像10を取得する画像取得部1と、X線画像10中の複数の椎体40を個別に識別可能な椎体識別画像11を生成する画像処理部2と、を備え、画像処理部2は、複数の椎体40が写る教師用X線画像12と、教師用X線画像12の複数の椎体40に、互いに異なるラベルが付与されたラベル画像13とを教師データとして学習された学習済みモデル31を用いて、X線画像10から複数の椎体領域41を個別に推定する椎体領域推定部20と、椎体領域推定部20によって推定された椎体領域41に基づいて、椎体識別画像11を生成する画像生成部21と、を含む。これにより、互いに異なるラベルが付与されたラベル画像13を用いて学習された学習済みモデル31を用いて個別に推定された椎体領域41に基づいて椎体識別画像11が生成されるので、椎体識別画像11によって、複数の椎体40を個別に識別することができる。その結果、複数の椎体40を個々に判別可能な画像(椎体識別画像11)を生成することが可能な医用画像処理装置100を提供することができる。
また、本実施形態では、上記のように、医用画像処理方法201は、X線画像10から椎体40を識別可能な椎体識別画像11を生成する医用画像処理方法であって、複数の椎体40が写るX線画像10を取得するステップ210と、複数の椎体40が写る教師用X線画像12と、教師用X線画像12に写る複数の椎体40に、互いに異なるラベルが付与されたラベル画像13とを教師データとして、教師用X線画像12から複数の椎体領域41を個別に推定するように学習された学習済みモデル31を用いて、X線画像10から複数の椎体領域41を個別に推定するステップ211と、推定された複数の椎体領域41に基づいて、複数の椎体40を個別に識別可能な椎体識別画像11を生成するステップ214と、を含む。これにより、上記実施形態による医用画像処理装置100と同様に、複数の椎体40を個々に判別可能な画像(椎体識別画像11)を生成することが可能な医用画像処理方法を提供することができる。
また、本実施形態では、上記のように、学習モデル30の学習方法101は、教師用X線画像12から椎体40を推定する学習モデル30の学習方法であって、複数の椎体40が写る教師用X線画像12を取得するステップ110と、教師用X線画像12中の複数の椎体40に、互いに異なるラベルが付与されたラベル画像13を取得するステップ111と、教師用X線画像12とラベル画像13とを教師データとしてX線画像10から複数の椎体領域41を個別に推定するように、学習モデル30を学習させるステップ112と、を含む。これにより、複数の椎体40に互いに異なるラベルが付与されたラベル画像13を教師データとして学習させることにより、複数の椎体40が写る教師用X線画像12において、個々の椎体40をラベルごとに区別して学習させることができる。その結果、上記学習方法によって学習された学習済みモデル31を用いることにより、複数の椎体40が写るX線画像10から、個々の椎体40を推定することができる。
また、上記実施形態では、以下のように構成したことによって、下記のような更なる効果が得られる。
すなわち、本実施形態では、上記のように、椎体領域推定部20は、学習済みモデル31を用いてX線画像10からラベルの個数以上の複数の椎体候補領域42を推定し、画像処理部2は、推定された複数の椎体候補領域42のうち、椎体40である可能性が高い椎体候補領域42を椎体領域41として決定する椎体領域決定部22を含む。これにより、少なくとも、ラベルの個数以上の椎体候補領域42から椎体領域41が推定されるので、複数の椎体候補領域42のうち、椎体40の可能性が高い椎体候補領域42を椎体領域41として決定した場合でも、ラベルの個数よりも少ない数の領域が椎体領域41として決定されることを抑制することができる。その結果、決定された椎体領域41の個数が少なく、人体の構造にそぐわない領域を椎体領域41として決定することを抑制することができる。
また、本実施形態では、上記のように、椎体領域決定部22は、学習済みモデル31によって出力される複数の椎体候補領域42の各々の椎体40である可能性を示す推定精度32と、複数の椎体候補領域42の各々の位置とに基づいて、椎体領域41を決定するように構成されている。これにより、人体の構造にそぐわない位置にあるが、推定精度32が高い椎体候補領域42を、椎体領域41として決定することを抑制することができる。その結果、推定精度32のみによって椎体領域41を決定する構成と比較して、人体の構造にそぐわない位置にある椎体候補領域42を椎体領域41として決定することを抑制することが可能となるので、椎体領域41の決定精度を向上させることができる。
また、本実施形態では、上記のように、椎体領域決定部22は、複数の椎体候補領域42のうち、推定精度32が最も高い椎体候補領域42を椎体領域41に決定し、決定済みの椎体領域41と、複数の椎体候補領域42のうち、椎体領域41であるか否かの判定を行う椎体候補領域42との相対位置に基づき、椎体領域41を決定するように構成されている。これにより、最も推定精度32が高い椎体候補領域42を決定済みの椎体領域41とすることにより、最も推定精度32が高い椎体候補領域42を基準として、残りの椎体候補領域42が椎体領域41であるか否かの判定を行うことができる。その結果、推定精度32とともに、椎体候補領域42の位置にも基づいて椎体領域41を決定する際に、推定精度32が高い椎体候補領域42の位置を基準として椎体領域41を決定することが可能となるので、椎体領域41を位置精度よく決定することができる。
また、本実施形態では、上記のように、椎体領域決定部22は、推定精度32が高い椎体候補領域42から順番に、複数の椎体候補領域42の各々について、椎体領域41であるか否かの判定を繰り返し行うように構成されている。これにより、推定精度32が高い椎体候補領域42から順番に椎体領域41であるか否かの判定が行われるので、より椎体領域41らしい椎体候補領域42から順に椎体領域41であるか否かの判定を行うことができる。その結果、推定精度32が低い椎体候補領域42から順番に椎体領域41を決定する構成と比較して、椎体領域41を決定する処理に誤りが生じることを抑制することができる。
また、本実施形態では、上記のように、椎体領域決定部22は、複数の椎体候補領域42のうち、いずれか2つの椎体候補領域42の上下方向における重なり度合いに基づいて、椎体領域41であるか否かを判定するように構成されている。これにより、たとえば、椎体40のくびれなどに起因して、椎体40と椎体40との間の領域が椎体候補領域42であると誤って推定された場合は、重なり度合いが大きくなるので、椎体領域41ではないと容易に判定することができる。
また、本実施形態では、上記のように、椎体領域決定部22は、椎体候補領域42のうち、重なり度合いが閾値以下の場合で、かつ、決定済みの椎体領域41に対するX線画像10の水平方向の位置が所定の範囲60内である場合に、椎体領域41であると決定するように構成されている。これにより、重なり度合いが閾値以下であれば、椎体領域41として決定されるので、たとえば、椎間板がない場合など、椎体40同士が重なる場合でも、椎体領域41を決定することができる。また、重なり度合いのみならず、椎体候補領域42の水平方向における位置にも基づいて椎体領域41を決定することが可能となるので、椎体領域41の決定精度をより向上させることができる。
また、本実施形態では、上記のように、画像処理部2は、椎体領域41間の境界線43を取得する境界線取得部23を含み、画像生成部21は、決定された椎体領域41と、境界線取得部23によって取得された境界線43とが写る画像を、椎体識別画像11として生成するように構成されている。これにより、椎体識別画像11において、椎体領域41とともに、境界線43が写るので、椎体識別画像11を確認する際に、ユーザが各椎体40を容易に識別することができる。
また、本実施形態では、上記のように、境界線取得部23は、X線画像10の上下方向において隣り合う2つの椎体領域41のうち、上側の椎体領域41と下側の椎体領域41とが、上下方向においてオーバーラップする領域である椎体重複領域61に基づいて、境界線43を取得するように構成されている。これにより、椎体重複領域61以外の椎体領域41同士が重ならない領域に起因して、曲がった状態の線を境界線43として取得することを抑制することができる。その結果、境界線43を精度よく取得することができる。
また、本実施形態では、上記のように、境界線取得部23は、上側の椎体領域41の下端部44aと下側の椎体領域41の上端部44bとを取得し、下端部44aと上端部44bとの間に椎間候補点45を取得することにより、境界線43を取得するように構成されている。これにより、上側の椎体領域41の下端部44aと、下側の椎体領域41の上端部44bとが個別に取得されるので、たとえば、上側の椎体領域41と下側の椎体領域41とが、上下方向において重なっている場合でも、椎間候補点45を取得することができる。その結果、上側の椎体領域41と下側の椎体領域41とが、上下方向において重なっている場合でも、取得した椎間候補点45に基づいて、境界線43を取得することができる。
また、本実施形態では、上記のように、境界線取得部23は、椎体重複領域61内の水平方向において複数の椎間候補点45を取得し、取得した複数の椎間候補点45をつないだ線、または、取得した複数の椎間候補点45の近似線を境界線43をとして取得するように構成されている。これにより、たとえば、椎体重複領域61が大きい場合には、複数の椎間候補点45をつないだ線を境界線43として取得することにより、境界線43を精度よく取得することができる。また、椎体重複領域61が小さい場合には、複数の椎間候補点45の近似線を境界線43として取得することにより、椎体領域41同士が重ならない部分に起因して曲がった状態の線を境界線43として取得することを抑制することができる。これらの結果、椎体重複領域61内の大きさにかかわらず、境界線43を精度よく取得することができる。
[変形例]
今回開示された実施形態は、全ての点で例示であり制限的なものではないと考えられるべきである。本発明の範囲は上記実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内での全ての変更(変形例)が含まれる。
たとえば、上記実施形態では、互いに異なるラベルが付された複数の椎体40が写る画像をラベル画像13として用いる構成の例を示したが、本発明はこれに限られない。たとえば、互いに異なるラベルが付与された複数の椎体40のうち、いずれか1つの椎体40が写る画像をラベル画像として用いてもよい。ラベル画像として1つの椎体40が写る画像を用いる場合、ラベルの個数分のラベル画像を生成し、学習モデル30の学習に用いればよい。
また、上記実施形態では、椎体領域推定部20が、椎体推定画像14を生成する構成の例を示したが、本発明はこれに限られない。椎体領域推定部20は、椎体候補領域42を推定すればよく、必ずしも椎体推定画像14を生成しなくてもよい。
また、上記実施形態では、椎体領域決定部22が、椎体領域画像15を生成する構成の例を示したが、本発明はこれに限られない。椎体領域決定部22は、椎体領域41を決定すればよく、必ずしも椎体領域41を生成しなくてもよい。
また、上記実施形態では、画像生成部21が、決定された椎体領域41とともに、境界線43が写る画像を椎体識別画像11として生成する構成の例を示した、本発明はこれに限られない。たとえば、画像生成部21は、椎体40(椎体領域41)が個別に識別可能であれば、境界線43が写らない画像を椎体識別画像11として生成してもよい。しかしながら、境界線43が写る画像のほうが、一見して容易に椎体40を個別に識別することが可能となるので、画像生成部21は、椎体領域41とともに、境界線43が写る画像を椎体識別画像11として生成するように構成されていることが好ましい。
また、上記実施形態では、ラベル画像13として、6つのラベルが付された画像を用いる構成の例を示したが、本発明はこれに限られない。ラベルの数は、6個よりも多くてもよいし、6個よりも少なくてもよい。ラベルの数は、たとえば、5個でもよいし、7個でもよい。ラベルの数は、ユーザが所望する数であれば、どのような数でもよい。
また、上記実施形態では、椎体領域推定部20が、9個の椎体候補領域42を推定する構成の例を示したが、本発明はこれに限られない。ラベルの個数以上であれば、椎体領域推定部20が推定する椎体候補領域42の数は、いくつでもよい。
また、上記実施形態では、境界線取得部23が、複数の椎間候補点45の近似線を境界線43として取得する構成の例を示したが、本発明はこれに限られない。たとえば、境界線取得部23は、複数の椎間候補点45をつないだ線を、境界線43として取得してもよい。
また、上記実施形態では、医用画像処理装置100は、X線画像撮像装置200からX線画像10を取得する構成の例を示したが、本発明はこれに限られない。たとえば、医用画像処理装置100は、X線画像撮像装置200によって予め撮像され、サーバなどに記憶されたX線画像10を取得するように構成されていてもよい。
また、上記実施形態では、画像取得部1が、複数の椎体40が写るX線画像10として、複数の腰椎が写るX線画像10を取得する構成の例を示したが、本発明はこれに限られない。たとえば、画像取得部1は、複数の椎体として、胸椎、または、頚椎が写るX線画像を取得するように構成されていてもよい。
[態様]
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
(項目1)
複数の椎体が写るX線画像を取得する画像取得部と、
前記X線画像中の前記複数の椎体を個別に識別可能な椎体識別画像を生成する画像処理部と、を備え、
前記画像処理部は、
複数の椎体が写る教師用X線画像と、前記教師用X線画像の複数の椎体に、互いに異なるラベルが付与されたラベル画像とを教師データとして学習された学習済みモデルを用いて、前記X線画像から複数の椎体領域を個別に推定する椎体領域推定部と、
前記椎体領域推定部によって推定された前記椎体領域に基づいて、前記椎体識別画像を生成する画像生成部と、を含む、医用画像処理装置。
(項目2)
前記椎体領域推定部は、前記学習済みモデルを用いて前記X線画像から前記ラベルの個数以上の複数の椎体候補領域を推定し、
前記画像処理部は、推定された前記複数の椎体候補領域のうち、椎体である可能性が高い椎体候補領域を前記椎体領域として決定する椎体領域決定部を含む、項目1に記載の医用画像処理装置。
(項目3)
前記椎体領域決定部は、前記学習済みモデルによって出力される前記複数の椎体候補領域の各々の椎体である可能性を示す推定精度と、前記複数の椎体候補領域の各々の位置とに基づいて、前記椎体領域を決定するように構成されている、項目2に記載の医用画像処理装置。
(項目4)
前記椎体領域決定部は、前記複数の椎体候補領域のうち、前記推定精度が最も高い椎体候補領域を前記椎体領域に決定し、決定済みの前記椎体領域と、前記複数の椎体候補領域のうち、前記椎体領域であるか否かの判定を行う椎体候補領域との相対位置に基づき、前記椎体領域を決定するように構成されている、項目3に記載の医用画像処理装置。
(項目5)
前記椎体領域決定部は、前記推定精度が高い椎体候補領域から順番に、前記複数の椎体候補領域の各々について、前記椎体領域であるか否かの判定を繰り返し行うように構成されている、項目3または4に記載の医用画像処理装置。
(項目6)
前記椎体領域決定部は、前記複数の椎体候補領域のうち、いずれか2つの椎体候補領域の前記上下方向における重なり度合いに基づいて、前記椎体領域であるか否かを判定するように構成されている、項目2~4のいずれか1項に記載の医用画像処理装置。
(項目7)
前記椎体領域決定部は、前記椎体候補領域のうち、前記重なり度合いが閾値以下の場合で、かつ、決定済みの前記椎体領域に対する前記X線画像の水平方向の位置が所定の範囲内である場合に、前記椎体領域であると決定するように構成されている、項目6に記載の医用画像処理装置。
(項目8)
前記画像処理部は、前記椎体領域間の境界線を取得する境界線取得部を含み、
前記画像生成部は、決定された前記椎体領域と、前記境界線取得部によって取得された前記境界線とが写る画像を、前記椎体識別画像として生成するように構成されている、項目1~7のいずれか1項に記載の医用画像処理装置。
(項目9)
前記境界線取得部は、前記X線画像の上下方向において隣り合う2つの前記椎体領域のうち、上側の前記椎体領域と下側の前記椎体領域とが、前記上下方向においてオーバーラップする領域である椎体重複領域に基づいて、前記境界線を取得するように構成されている、項目8に記載の医用画像処理装置。
(項目10)
前記境界線取得部は、上側の前記椎体領域の下端部と下側の前記椎体領域の上端部とを取得し、前記下端部と前記上端部との間に椎間候補点を取得することにより、前記境界線を取得するように構成されている、項目9に記載の医用画像処理装置。
(項目11)
前記境界線取得部は、前記椎体重複領域内の水平方向において複数の前記椎間候補点を取得し、取得した複数の前記椎間候補点をつないだ線、または、取得した複数の前記椎間候補点の近似線を前記境界線をとして取得するように構成されている、項目10に記載の医用画像処理装置。
(項目12)
X線画像から椎体を識別可能な椎体識別画像を生成する医用画像処理方法であって、
複数の椎体が写る前記X線画像を取得するステップと、
複数の椎体が写る教師用X線画像と、前記教師用X線画像に写る複数の椎体に、互いに異なるラベルが付与されたラベル画像とを教師データとして、前記教師用X線画像から複数の椎体領域を個別に推定するように学習された学習済みモデルを用いて、前記X線画像から複数の椎体領域を個別に推定するステップと、
推定された前記複数の椎体領域に基づいて、前記複数の椎体を個別に識別可能な椎体識別画像を生成するステップと、を含む、医用画像処理方法。
(項目13)
X線画像から椎体を推定する学習モデルの学習方法であって、
複数の椎体が写る前記X線画像を取得するステップと、
前記X線画像中の前記複数の椎体に、互いに異なるラベルが付与されたラベル画像を取得するステップと、
前記X線画像と前記ラベル画像とを教師データとして前記X線画像から複数の椎体領域を個別に推定するように、学習モデルを学習させるステップと、を含む、学習モデルの学習方法。
1 画像取得部
2 画像処理部
10 X線画像
11 椎体識別画像
12 教師用X線画像
13 ラベル画像
20 椎体領域推定部
21 画像生成部
22 椎体領域決定部
23 境界線取得部
30 学習モデル
31 学習済みモデル
32 推定精度
40、40a、40b、40c、40d、40e、40f 椎体
41、41a、41b、41c、41d、41e、41f 椎体領域
42、42a、42b、42c、42d、42e、42f、42g、42h、42i 椎体候補領域
43 境界線
44a 上側の椎体領域の下端部
44b 下側の椎体領域の上端部
45 椎間候補点
60 X線画像の水平方向の位置の所定の範囲
61 椎体重複領域
100 医用画像処理装置

Claims (11)

  1. 複数の椎体が写るX線画像を取得する画像取得部と、
    前記X線画像中の前記複数の椎体を個別に識別可能な椎体識別画像を生成する画像処理部と、を備え、
    前記画像処理部は、
    複数の椎体が写る教師用X線画像と、前記教師用X線画像の複数の椎体に、互いに異なるラベルが付与されたラベル画像とを教師データとして学習された学習済みモデルを用いて、前記X線画像から複数の椎体領域を個別に推定する椎体領域推定部と、
    前記椎体領域推定部によって推定された前記椎体領域に基づいて、前記椎体識別画像を生成する画像生成部と、を含み、
    前記椎体領域推定部は、前記学習済みモデルを用いて前記X線画像から複数の椎体候補領域を推定し、
    前記画像処理部は、前記学習済みモデルによって出力される前記複数の椎体候補領域の各々の椎体である可能性を示す推定精度と、前記複数の椎体候補領域の各々の位置とに基づいて、推定された前記複数の椎体候補領域のうち、椎体である可能性が高い椎体候補領域を前記椎体領域として決定する椎体領域決定部を含む、医用画像処理装置。
  2. 前記椎体領域推定部は、前記学習済みモデルを用いて前記X線画像から前記ラベルの個数以上の前記複数の椎体候補領域を出力する、請求項1に記載の医用画像処理装置。
  3. 前記椎体領域決定部は、前記複数の椎体候補領域のうち、前記推定精度が最も高い椎体候補領域を前記椎体領域に決定し、決定済みの前記椎体領域と、前記複数の椎体候補領域のうち、前記椎体領域であるか否かの判定を行う椎体候補領域との相対位置に基づき、前記椎体領域を決定するように構成されている、請求項に記載の医用画像処理装置。
  4. 前記椎体領域決定部は、前記推定精度が高い椎体候補領域から順番に、前記複数の椎体候補領域の各々について、前記椎体領域であるか否かの判定を繰り返し行うように構成されている、請求項またはに記載の医用画像処理装置。
  5. 前記椎体領域決定部は、前記複数の椎体候補領域のうち、いずれか2つの椎体候補領域の上下方向における重なり度合いに基づいて、前記椎体領域であるか否かを判定するように構成されている、請求項2または3に記載の医用画像処理装置。
  6. 前記椎体領域決定部は、前記椎体候補領域のうち、前記重なり度合いが閾値以下の場合で、かつ、決定済みの前記椎体領域に対する前記X線画像の水平方向の位置が所定の範囲内である場合に、前記椎体領域であると決定するように構成されている、請求項に記載の医用画像処理装置。
  7. 前記画像処理部は、前記椎体領域間の境界線を取得する境界線取得部を含み、
    前記画像生成部は、決定された前記椎体領域と、前記境界線取得部によって取得された前記境界線とが写る画像を、前記椎体識別画像として生成するように構成されている、請求項1~のいずれか1項に記載の医用画像処理装置。
  8. 前記境界線取得部は、前記X線画像の上下方向において隣り合う2つの前記椎体領域のうち、上側の前記椎体領域と下側の前記椎体領域とが、前記上下方向においてオーバーラップする領域である椎体重複領域に基づいて、前記境界線を取得するように構成されている、請求項に記載の医用画像処理装置。
  9. 前記境界線取得部は、上側の前記椎体領域の下端部と下側の前記椎体領域の上端部とを取得し、前記下端部と前記上端部との間に椎間候補点を取得することにより、前記境界線を取得するように構成されている、請求項に記載の医用画像処理装置。
  10. 前記境界線取得部は、前記椎体重複領域内の水平方向において複数の前記椎間候補点を取得し、取得した複数の前記椎間候補点をつないだ線、または、取得した複数の前記椎間候補点の近似線を前記境界線をとして取得するように構成されている、請求項に記載の医用画像処理装置。
  11. X線画像から椎体を識別可能な椎体識別画像を生成する医用画像処理方法であって、
    複数の椎体が写る前記X線画像を取得するステップと、
    複数の椎体が写る教師用X線画像と、前記教師用X線画像に写る複数の椎体に、互いに異なるラベルが付与されたラベル画像とを教師データとして、前記教師用X線画像から複数の椎体領域を個別に推定するように学習された学習済みモデルを用いて、前記X線画像から複数の椎体領域を個別に推定するステップと、
    推定された前記複数の椎体領域に基づいて、前記複数の椎体を個別に識別可能な前記椎体識別画像を生成するステップと、を含み、
    前記複数の椎体領域を個別に推定するステップにおいて、前記学習済みモデルを用いて前記X線画像から複数の椎体候補領域を推定し、
    前記椎体識別画像を生成するステップにおいて、前記学習済みモデルによって出力される前記複数の椎体候補領域の各々の椎体である可能性を示す推定精度と、前記複数の椎体候補領域の各々の位置とに基づいて、推定された前記複数の椎体候補領域のうち、椎体である可能性が高い椎体候補領域を前記椎体領域として決定する、医用画像処理方法。
JP2020156348A 2020-09-17 2020-09-17 医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法 Active JP7494678B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020156348A JP7494678B2 (ja) 2020-09-17 2020-09-17 医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法
CN202111031897.0A CN114266718A (zh) 2020-09-17 2021-09-03 医用图像处理装置及方法、学习模型的学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020156348A JP7494678B2 (ja) 2020-09-17 2020-09-17 医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法

Publications (2)

Publication Number Publication Date
JP2022050004A JP2022050004A (ja) 2022-03-30
JP7494678B2 true JP7494678B2 (ja) 2024-06-04

Family

ID=80824778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020156348A Active JP7494678B2 (ja) 2020-09-17 2020-09-17 医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法

Country Status (2)

Country Link
JP (1) JP7494678B2 (ja)
CN (1) CN114266718A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195242A1 (ja) * 2022-04-04 2023-10-12 株式会社島津製作所 X線画像処理装置、x線画像処理方法、および、プログラム
JP2023154994A (ja) * 2022-04-08 2023-10-20 キヤノン株式会社 画像処理装置、画像処理装置の作動方法、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015114834A1 (ja) 2014-02-03 2015-08-06 株式会社島津製作所 画像処理方法
JP2019130275A (ja) 2018-01-31 2019-08-08 株式会社リコー 医用画像処理装置、医用画像処理方法、プログラム及び医用画像処理システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015114834A1 (ja) 2014-02-03 2015-08-06 株式会社島津製作所 画像処理方法
JP2019130275A (ja) 2018-01-31 2019-08-08 株式会社リコー 医用画像処理装置、医用画像処理方法、プログラム及び医用画像処理システム

Also Published As

Publication number Publication date
CN114266718A (zh) 2022-04-01
JP2022050004A (ja) 2022-03-30

Similar Documents

Publication Publication Date Title
US10846853B2 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JP6401083B2 (ja) 医用画像処理装置、方法およびプログラム
JP6257092B2 (ja) 画像処理装置及び脊柱管評価方法
US11074688B2 (en) Determination of a degree of deformity of at least one vertebral bone
JP7494678B2 (ja) 医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法
US8170306B2 (en) Automatic partitioning and recognition of human body regions from an arbitrary scan coverage image
US8509502B2 (en) Spine labeling
US8374410B2 (en) Medical image display device and image displaying method
JP6184926B2 (ja) 椎骨セグメンテーション装置、方法およびプログラム
US20130136322A1 (en) Image-Based Detection Using Hierarchical Learning
US6668083B1 (en) Deriving geometrical data of a structure from an image
KR102078876B1 (ko) 기흉 검출 방법 및 시스템
WO2020067005A1 (ja) セファロ画像における計測点の自動認識方法
US9679376B2 (en) Medical image processing apparatus, method, and recording medium
KR102602392B1 (ko) 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램
JP2002094772A (ja) 放射線画像処理方法および放射線画像処理装置
JP5001002B2 (ja) 画像診断支援装置及びその方法
KR20180061698A (ko) 의료영상 보정 방법, 이를 위한 장치, 및 이를 기록한 기록매체
Caesarendra et al. AutoSpine-Net: Spine detection using convolutional neural networks for Cobb angle classification in adolescent idiopathic scoliosis
US11139069B2 (en) Medical image diagnostic apparatus, image processing apparatus, and registration method
JP6129145B2 (ja) 医療用x線測定装置
CN113256625A (zh) 一种电子设备和识别装置
JP7309447B2 (ja) 医用画像診断装置、画像処理装置及び位置合わせ方法
US20220383493A1 (en) Method and device for quantifying size of tissue of interest of animal by using x-ray image of animal
KR102132564B1 (ko) 진단 장치 및 진단 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240506

R150 Certificate of patent or registration of utility model

Ref document number: 7494678

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150