JP7494678B2 - 医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法 - Google Patents
医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法 Download PDFInfo
- Publication number
- JP7494678B2 JP7494678B2 JP2020156348A JP2020156348A JP7494678B2 JP 7494678 B2 JP7494678 B2 JP 7494678B2 JP 2020156348 A JP2020156348 A JP 2020156348A JP 2020156348 A JP2020156348 A JP 2020156348A JP 7494678 B2 JP7494678 B2 JP 7494678B2
- Authority
- JP
- Japan
- Prior art keywords
- vertebral body
- region
- vertebral
- image
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 26
- 238000000034 method Methods 0.000 title description 34
- 210000000746 body region Anatomy 0.000 claims description 332
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 208000001132 Osteoporosis Diseases 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000037182 bone density Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 210000004705 lumbosacral region Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
医用画像処理装置100は、図1に示すように、画像取得部1と、画像処理部2と、記憶部3とを備える。
図2に示すように、X線画像撮像装置200は、X線源50と、X線検出部51と、撮像装置制御部52と、撮像装置画像処理部53と、を備える。撮像装置制御部52は、X線源50、および、撮像装置画像処理部53と、電気的に接続されている。また、X線検出部51は、撮像装置画像処理部53と電気的に接続している。X線画像撮像装置200は、被検者80を撮像することにより、複数の椎体40が写るX線画像10を生成する。また、X線画像撮像装置200は、生成したX線画像10を医用画像処理装置100へと送る。なお、図2に示す例では、電気的な接続を破線で図示し、情報の入出力を実線の矢印で図示している。
次に、図3~15を参照して、本実施形態による画像処理方法によって、椎体識別画像11を生成するについて説明する。
本実施形態による学習モデル30の学習方法101は、教師用X線画像12から椎体40を推定することを学習させる学習方法である。本実施形態による学習モデル30の学習方法101は、教師用X線画像12を取得するステップ110と、ラベル画像13を取得するステップ111と、教師用X線画像12とラベル画像13とを教師データとして教師用X線画像12から複数の椎体領域41(図11参照)を個別に推定するように、学習モデル30を学習させるステップ112と、を含む。学習モデル30は、たとえば、図3に示す畳み込みニューラルネットワーク(Convolutional neural network;CNN)であるか、畳み込みニューラルネットワークを一部に含む。学習モデル30の学習方法101の各ステップの詳細な処理については、後述する。なお、教師用X線画像12は、特許請求の範囲の「X線画像」の一例である。
図4に示すように、X線画像10には、複数の椎体40が写る。図4に示すX線画像10は、被検者80の腰部を正面から撮像して得られる画像であり、椎体40として、腰椎が写る。図4に示す例では、X線画像10には、第1椎体40a、第2椎体40b、第3椎体40c、第4椎体40d、第5椎体40e、および、第6椎体40fが写る。本実施形態では、教師用X線画像12(図3参照)においても、X線画像10と同様に、複数の椎体40が写る。
次に、図6~図17を参照して、本実施形態による画像処理部2が、椎体識別画像11(図1参照)を生成する構成について説明する。
まず、図6~図11を参照して、椎体領域推定部20および椎体領域決定部22が椎体領域41(図11参照)を決定する構成について説明する。
図12に示すように、境界線取得部23は、X線画像10の上下方向において隣り合う2つの椎体領域41のうち、上側の椎体領域41(第1椎体領域41a)と下側の椎体領域41(第2椎体領域41b)とが、上下方向においてオーバーラップする領域である椎体重複領域61に基づいて、境界線43を取得するように構成されている。具体的には、境界線取得部23は、上側の椎体領域41(第1椎体領域41a)の下端部44aと下側の椎体領域41(第2椎体領域41b)の上端部44bとを取得し、下端部44aと上端部44bとの間に椎間候補点45を取得することにより、境界線43を取得するように構成されている。
本実施形態では、以下のような効果を得ることができる。
今回開示された実施形態は、全ての点で例示であり制限的なものではないと考えられるべきである。本発明の範囲は上記実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内での全ての変更(変形例)が含まれる。
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
複数の椎体が写るX線画像を取得する画像取得部と、
前記X線画像中の前記複数の椎体を個別に識別可能な椎体識別画像を生成する画像処理部と、を備え、
前記画像処理部は、
複数の椎体が写る教師用X線画像と、前記教師用X線画像の複数の椎体に、互いに異なるラベルが付与されたラベル画像とを教師データとして学習された学習済みモデルを用いて、前記X線画像から複数の椎体領域を個別に推定する椎体領域推定部と、
前記椎体領域推定部によって推定された前記椎体領域に基づいて、前記椎体識別画像を生成する画像生成部と、を含む、医用画像処理装置。
前記椎体領域推定部は、前記学習済みモデルを用いて前記X線画像から前記ラベルの個数以上の複数の椎体候補領域を推定し、
前記画像処理部は、推定された前記複数の椎体候補領域のうち、椎体である可能性が高い椎体候補領域を前記椎体領域として決定する椎体領域決定部を含む、項目1に記載の医用画像処理装置。
前記椎体領域決定部は、前記学習済みモデルによって出力される前記複数の椎体候補領域の各々の椎体である可能性を示す推定精度と、前記複数の椎体候補領域の各々の位置とに基づいて、前記椎体領域を決定するように構成されている、項目2に記載の医用画像処理装置。
前記椎体領域決定部は、前記複数の椎体候補領域のうち、前記推定精度が最も高い椎体候補領域を前記椎体領域に決定し、決定済みの前記椎体領域と、前記複数の椎体候補領域のうち、前記椎体領域であるか否かの判定を行う椎体候補領域との相対位置に基づき、前記椎体領域を決定するように構成されている、項目3に記載の医用画像処理装置。
(項目5)
前記椎体領域決定部は、前記推定精度が高い椎体候補領域から順番に、前記複数の椎体候補領域の各々について、前記椎体領域であるか否かの判定を繰り返し行うように構成されている、項目3または4に記載の医用画像処理装置。
前記椎体領域決定部は、前記複数の椎体候補領域のうち、いずれか2つの椎体候補領域の前記上下方向における重なり度合いに基づいて、前記椎体領域であるか否かを判定するように構成されている、項目2~4のいずれか1項に記載の医用画像処理装置。
前記椎体領域決定部は、前記椎体候補領域のうち、前記重なり度合いが閾値以下の場合で、かつ、決定済みの前記椎体領域に対する前記X線画像の水平方向の位置が所定の範囲内である場合に、前記椎体領域であると決定するように構成されている、項目6に記載の医用画像処理装置。
前記画像処理部は、前記椎体領域間の境界線を取得する境界線取得部を含み、
前記画像生成部は、決定された前記椎体領域と、前記境界線取得部によって取得された前記境界線とが写る画像を、前記椎体識別画像として生成するように構成されている、項目1~7のいずれか1項に記載の医用画像処理装置。
前記境界線取得部は、前記X線画像の上下方向において隣り合う2つの前記椎体領域のうち、上側の前記椎体領域と下側の前記椎体領域とが、前記上下方向においてオーバーラップする領域である椎体重複領域に基づいて、前記境界線を取得するように構成されている、項目8に記載の医用画像処理装置。
前記境界線取得部は、上側の前記椎体領域の下端部と下側の前記椎体領域の上端部とを取得し、前記下端部と前記上端部との間に椎間候補点を取得することにより、前記境界線を取得するように構成されている、項目9に記載の医用画像処理装置。
前記境界線取得部は、前記椎体重複領域内の水平方向において複数の前記椎間候補点を取得し、取得した複数の前記椎間候補点をつないだ線、または、取得した複数の前記椎間候補点の近似線を前記境界線をとして取得するように構成されている、項目10に記載の医用画像処理装置。
X線画像から椎体を識別可能な椎体識別画像を生成する医用画像処理方法であって、
複数の椎体が写る前記X線画像を取得するステップと、
複数の椎体が写る教師用X線画像と、前記教師用X線画像に写る複数の椎体に、互いに異なるラベルが付与されたラベル画像とを教師データとして、前記教師用X線画像から複数の椎体領域を個別に推定するように学習された学習済みモデルを用いて、前記X線画像から複数の椎体領域を個別に推定するステップと、
推定された前記複数の椎体領域に基づいて、前記複数の椎体を個別に識別可能な椎体識別画像を生成するステップと、を含む、医用画像処理方法。
X線画像から椎体を推定する学習モデルの学習方法であって、
複数の椎体が写る前記X線画像を取得するステップと、
前記X線画像中の前記複数の椎体に、互いに異なるラベルが付与されたラベル画像を取得するステップと、
前記X線画像と前記ラベル画像とを教師データとして前記X線画像から複数の椎体領域を個別に推定するように、学習モデルを学習させるステップと、を含む、学習モデルの学習方法。
2 画像処理部
10 X線画像
11 椎体識別画像
12 教師用X線画像
13 ラベル画像
20 椎体領域推定部
21 画像生成部
22 椎体領域決定部
23 境界線取得部
30 学習モデル
31 学習済みモデル
32 推定精度
40、40a、40b、40c、40d、40e、40f 椎体
41、41a、41b、41c、41d、41e、41f 椎体領域
42、42a、42b、42c、42d、42e、42f、42g、42h、42i 椎体候補領域
43 境界線
44a 上側の椎体領域の下端部
44b 下側の椎体領域の上端部
45 椎間候補点
60 X線画像の水平方向の位置の所定の範囲
61 椎体重複領域
100 医用画像処理装置
Claims (11)
- 複数の椎体が写るX線画像を取得する画像取得部と、
前記X線画像中の前記複数の椎体を個別に識別可能な椎体識別画像を生成する画像処理部と、を備え、
前記画像処理部は、
複数の椎体が写る教師用X線画像と、前記教師用X線画像の複数の椎体に、互いに異なるラベルが付与されたラベル画像とを教師データとして学習された学習済みモデルを用いて、前記X線画像から複数の椎体領域を個別に推定する椎体領域推定部と、
前記椎体領域推定部によって推定された前記椎体領域に基づいて、前記椎体識別画像を生成する画像生成部と、を含み、
前記椎体領域推定部は、前記学習済みモデルを用いて前記X線画像から複数の椎体候補領域を推定し、
前記画像処理部は、前記学習済みモデルによって出力される前記複数の椎体候補領域の各々の椎体である可能性を示す推定精度と、前記複数の椎体候補領域の各々の位置とに基づいて、推定された前記複数の椎体候補領域のうち、椎体である可能性が高い椎体候補領域を前記椎体領域として決定する椎体領域決定部を含む、医用画像処理装置。 - 前記椎体領域推定部は、前記学習済みモデルを用いて前記X線画像から前記ラベルの個数以上の前記複数の椎体候補領域を出力する、請求項1に記載の医用画像処理装置。
- 前記椎体領域決定部は、前記複数の椎体候補領域のうち、前記推定精度が最も高い椎体候補領域を前記椎体領域に決定し、決定済みの前記椎体領域と、前記複数の椎体候補領域のうち、前記椎体領域であるか否かの判定を行う椎体候補領域との相対位置に基づき、前記椎体領域を決定するように構成されている、請求項2に記載の医用画像処理装置。
- 前記椎体領域決定部は、前記推定精度が高い椎体候補領域から順番に、前記複数の椎体候補領域の各々について、前記椎体領域であるか否かの判定を繰り返し行うように構成されている、請求項2または3に記載の医用画像処理装置。
- 前記椎体領域決定部は、前記複数の椎体候補領域のうち、いずれか2つの椎体候補領域の上下方向における重なり度合いに基づいて、前記椎体領域であるか否かを判定するように構成されている、請求項2または3に記載の医用画像処理装置。
- 前記椎体領域決定部は、前記椎体候補領域のうち、前記重なり度合いが閾値以下の場合で、かつ、決定済みの前記椎体領域に対する前記X線画像の水平方向の位置が所定の範囲内である場合に、前記椎体領域であると決定するように構成されている、請求項5に記載の医用画像処理装置。
- 前記画像処理部は、前記椎体領域間の境界線を取得する境界線取得部を含み、
前記画像生成部は、決定された前記椎体領域と、前記境界線取得部によって取得された前記境界線とが写る画像を、前記椎体識別画像として生成するように構成されている、請求項1~6のいずれか1項に記載の医用画像処理装置。 - 前記境界線取得部は、前記X線画像の上下方向において隣り合う2つの前記椎体領域のうち、上側の前記椎体領域と下側の前記椎体領域とが、前記上下方向においてオーバーラップする領域である椎体重複領域に基づいて、前記境界線を取得するように構成されている、請求項7に記載の医用画像処理装置。
- 前記境界線取得部は、上側の前記椎体領域の下端部と下側の前記椎体領域の上端部とを取得し、前記下端部と前記上端部との間に椎間候補点を取得することにより、前記境界線を取得するように構成されている、請求項8に記載の医用画像処理装置。
- 前記境界線取得部は、前記椎体重複領域内の水平方向において複数の前記椎間候補点を取得し、取得した複数の前記椎間候補点をつないだ線、または、取得した複数の前記椎間候補点の近似線を前記境界線をとして取得するように構成されている、請求項9に記載の医用画像処理装置。
- X線画像から椎体を識別可能な椎体識別画像を生成する医用画像処理方法であって、
複数の椎体が写る前記X線画像を取得するステップと、
複数の椎体が写る教師用X線画像と、前記教師用X線画像に写る複数の椎体に、互いに異なるラベルが付与されたラベル画像とを教師データとして、前記教師用X線画像から複数の椎体領域を個別に推定するように学習された学習済みモデルを用いて、前記X線画像から複数の椎体領域を個別に推定するステップと、
推定された前記複数の椎体領域に基づいて、前記複数の椎体を個別に識別可能な前記椎体識別画像を生成するステップと、を含み、
前記複数の椎体領域を個別に推定するステップにおいて、前記学習済みモデルを用いて前記X線画像から複数の椎体候補領域を推定し、
前記椎体識別画像を生成するステップにおいて、前記学習済みモデルによって出力される前記複数の椎体候補領域の各々の椎体である可能性を示す推定精度と、前記複数の椎体候補領域の各々の位置とに基づいて、推定された前記複数の椎体候補領域のうち、椎体である可能性が高い椎体候補領域を前記椎体領域として決定する、医用画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020156348A JP7494678B2 (ja) | 2020-09-17 | 2020-09-17 | 医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法 |
CN202111031897.0A CN114266718A (zh) | 2020-09-17 | 2021-09-03 | 医用图像处理装置及方法、学习模型的学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020156348A JP7494678B2 (ja) | 2020-09-17 | 2020-09-17 | 医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022050004A JP2022050004A (ja) | 2022-03-30 |
JP7494678B2 true JP7494678B2 (ja) | 2024-06-04 |
Family
ID=80824778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020156348A Active JP7494678B2 (ja) | 2020-09-17 | 2020-09-17 | 医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7494678B2 (ja) |
CN (1) | CN114266718A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023195242A1 (ja) * | 2022-04-04 | 2023-10-12 | 株式会社島津製作所 | X線画像処理装置、x線画像処理方法、および、プログラム |
JP2023154994A (ja) * | 2022-04-08 | 2023-10-20 | キヤノン株式会社 | 画像処理装置、画像処理装置の作動方法、およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015114834A1 (ja) | 2014-02-03 | 2015-08-06 | 株式会社島津製作所 | 画像処理方法 |
JP2019130275A (ja) | 2018-01-31 | 2019-08-08 | 株式会社リコー | 医用画像処理装置、医用画像処理方法、プログラム及び医用画像処理システム |
-
2020
- 2020-09-17 JP JP2020156348A patent/JP7494678B2/ja active Active
-
2021
- 2021-09-03 CN CN202111031897.0A patent/CN114266718A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015114834A1 (ja) | 2014-02-03 | 2015-08-06 | 株式会社島津製作所 | 画像処理方法 |
JP2019130275A (ja) | 2018-01-31 | 2019-08-08 | 株式会社リコー | 医用画像処理装置、医用画像処理方法、プログラム及び医用画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
CN114266718A (zh) | 2022-04-01 |
JP2022050004A (ja) | 2022-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10846853B2 (en) | Medical image processing apparatus, medical image processing method, and medical image processing program | |
JP6401083B2 (ja) | 医用画像処理装置、方法およびプログラム | |
JP6257092B2 (ja) | 画像処理装置及び脊柱管評価方法 | |
US11074688B2 (en) | Determination of a degree of deformity of at least one vertebral bone | |
JP7494678B2 (ja) | 医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法 | |
US8170306B2 (en) | Automatic partitioning and recognition of human body regions from an arbitrary scan coverage image | |
US8509502B2 (en) | Spine labeling | |
US8374410B2 (en) | Medical image display device and image displaying method | |
JP6184926B2 (ja) | 椎骨セグメンテーション装置、方法およびプログラム | |
US20130136322A1 (en) | Image-Based Detection Using Hierarchical Learning | |
US6668083B1 (en) | Deriving geometrical data of a structure from an image | |
KR102078876B1 (ko) | 기흉 검출 방법 및 시스템 | |
WO2020067005A1 (ja) | セファロ画像における計測点の自動認識方法 | |
US9679376B2 (en) | Medical image processing apparatus, method, and recording medium | |
KR102602392B1 (ko) | 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램 | |
JP2002094772A (ja) | 放射線画像処理方法および放射線画像処理装置 | |
JP5001002B2 (ja) | 画像診断支援装置及びその方法 | |
KR20180061698A (ko) | 의료영상 보정 방법, 이를 위한 장치, 및 이를 기록한 기록매체 | |
Caesarendra et al. | AutoSpine-Net: Spine detection using convolutional neural networks for Cobb angle classification in adolescent idiopathic scoliosis | |
US11139069B2 (en) | Medical image diagnostic apparatus, image processing apparatus, and registration method | |
JP6129145B2 (ja) | 医療用x線測定装置 | |
CN113256625A (zh) | 一种电子设备和识别装置 | |
JP7309447B2 (ja) | 医用画像診断装置、画像処理装置及び位置合わせ方法 | |
US20220383493A1 (en) | Method and device for quantifying size of tissue of interest of animal by using x-ray image of animal | |
KR102132564B1 (ko) | 진단 장치 및 진단 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240506 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7494678 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |