JP7226207B2 - 医用画像処理装置、x線画像処理システム、および、学習モデルの生成方法 - Google Patents

医用画像処理装置、x線画像処理システム、および、学習モデルの生成方法 Download PDF

Info

Publication number
JP7226207B2
JP7226207B2 JP2019167628A JP2019167628A JP7226207B2 JP 7226207 B2 JP7226207 B2 JP 7226207B2 JP 2019167628 A JP2019167628 A JP 2019167628A JP 2019167628 A JP2019167628 A JP 2019167628A JP 7226207 B2 JP7226207 B2 JP 7226207B2
Authority
JP
Japan
Prior art keywords
image
specific portion
ray
teacher
bone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019167628A
Other languages
English (en)
Other versions
JP2021041090A (ja
Inventor
翔太 押川
渉 ▲高▼橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2019167628A priority Critical patent/JP7226207B2/ja
Publication of JP2021041090A publication Critical patent/JP2021041090A/ja
Application granted granted Critical
Publication of JP7226207B2 publication Critical patent/JP7226207B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、医用画像処理装置、X線画像処理システム、および、学習モデルの生成方法に関する。
従来、被検者の特定部位を含むX線透視画像から特定部位の位置を検出し、特定部位に対して治療ビームを照射するために、特定部位の動きを追跡する放射線治療用追跡装置が知られている(たとえば、特許文献1参照)。
上記特許文献1には、DRR(Digitally Reconstructed Radiography)画像作成部と、識別器学習部と、特定部位領域検出部とを備える放射線治療用追跡装置が開示されている。DRR画像作成部は、治療計画時に作成された特定部位を含む領域のCT画像データに対して仮想的透視投影を行うことによって、特定部位を含むDRR画像を作成する。識別器学習部は、DRR画像を入力とし、特定部位の領域を示す教師ラベル画像を出力として、機械学習を実行することにより、特定部位の領域を認識するための識別器を学習する。特定部位領域検出部は、特定部位を含むX線透視画像に対して、学習された識別器を使用して識別を行うことによって、特定部位の領域を検出する。また、上記特許文献1に記載の放射線治療用追跡装置は、DRR画像とX線透視画像との違いを吸収し、特定部位をより確実に追跡するために、生成されたDRR画像全体に対してコントラストの変更を行う。上記の構成によって、予めDRR画像と教師ラベル画像とを機械学習することによって識別器を学習し、この識別器とX線透視画像とを利用して識別を実行することにより、特定部位の位置を検出する。そして、上記特許文献1に記載の放射線治療用追跡装置は、特定部位に対して治療ビームを照射するために、特定部位の動きを追跡する。
国際公開第2019/003434号
しかしながら、上記特許文献1に記載の放射線治療用追跡装置において、X線透視画像に含まれる骨部の画素値と骨部以外の部分の画素値との差(相対値)と、DRR画像に含まれる骨部の画素値と骨部以外の部分の画素値との差(相対値)と、が異なる値となる場合がある。つまり、X線透視画像では、たとえば、横隔膜および臓器などによって骨部の写り方が薄くなるのに対して、DRR画像では、CT値に基づいて生成された3次元データを2次元に投影するためX線透視画像に比べて骨部の写り方が明瞭になる場合がある。この場合、上記特許文献1に記載の放射線治療用追跡装置のように、DRR画像全体に対してコントラストの変更を行ったとしても、骨部以外のコントラストも変化するため、X線透視画像を正確に模擬することができないと考えられる。そのため、上記特許文献1に記載の放射線治療用追跡装置のように、コントラストの変更を全体に行ったDRR画像を入力とした機械学習によって生成された識別器(学習モデル)を用いて、X線透視画像を識別する際に、X線透視画像とDRR画像とにおいて骨部の写り方が異なる場合には、識別の精度が低下すると考えられる。このため、DRR画像(2次元投影画像)とX線透視画像(X線画像)とにおいて、骨部(特定部分)の写り方(画素値)が異なる場合にも、特定部位(抽出対象部分)の抽出または骨部(特定部分)の除去の精度が低下することを抑制することが可能な医用画像処理装置、X線画像処理システム、および、学習モデルの生成方法の開発が望まれている。
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、2次元投影画像とX線画像とにおいて、特定部分の写り方(画素値)が異なる場合にも、抽出対象部分の抽出または特定部分の除去の精度が低下することを抑制することが可能な医用画像処理装置、X線画像処理システム、および、学習モデルの生成方法を提供することである。
上記目的を達成するために、この発明の第1の局面における医用画像処理装置は、3次元における画素値データを有する3次元データに基づいて取得された被検体の特定部分を含む領域についての2次元投影画像に対して、特定部分の画素値が特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像と、入力教師画像と同じ領域における抽出対象部分を示す画像または特定部分を除く画像である出力教師画像と、を生成する学習画像生成部と、入力教師画像および出力教師画像を用いて、機械学習を行うことにより、抽出対象部分を抽出するか、または、特定部分を除去するための学習モデルを生成する学習モデル生成部と、学習済みの学習モデルに基づいて、X線撮影によって取得された被検体の特定部分を含むX線画像に対して、抽出対象部分を抽出する処理と、特定部分を除去する処理とのいずれか一方を行う画像処理部と、を備え、学習画像生成部は、特定部分と特定部分以外の部分とを含む2次元投影画像と、特定部分を除くように生成された2次元投影画像である合成用投影画像とを、2次元投影画像と合成用投影画像との画素値の割合を変更しながら合成することによって、特定部分の画素値が複数種類に変更された複数の入力教師画像を生成するように構成されている。なお、「X線画像」とは、X線透視画像およびX線撮影画像を含む。
この発明の第2の局面における、X線画像処理システムは、3次元における画素値データを有する3次元データに基づいて取得された被検体の特定部分を含む領域についての2次元投影画像に対して、特定部分の画素値が特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像と、入力教師画像と同じ領域における抽出対象部分を示す画像または特定部分を除く画像である出力教師画像と、を生成する学習画像生成部と、入力教師画像および出力教師画像を用いて、機械学習を行うことにより、抽出対象部分を抽出するか、または、特定部分を除去するための学習モデルを生成する学習モデル生成部と、X線撮影によって被検体の特定部分を含むX線画像を取得するX線撮影部と、学習済みの学習モデルに基づいて、X線撮影部によって撮影されたX線画像に対して、抽出対象部分を抽出する処理と、特定部分を除去する処理とのいずれか一方を行う画像処理部と、を備え、学習画像生成部は、特定部分と特定部分以外の部分とを含む2次元投影画像と、特定部分を除くように生成された2次元投影画像である合成用投影画像とを、2次元投影画像と合成用投影画像との画素値の割合を変更しながら合成することによって、特定部分の画素値が複数種類に変更された複数の入力教師画像を生成するように構成されている
この発明の第3の局面における、学習モデルの生成方法は、3次元における画素値データを有する3次元データに基づいて取得された被検体の特定部分を含む領域についての2次元投影画像に対して、特定部分の画素値が特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像を生成するステップと、入力教師画像と同じ領域における抽出対象部分を示す画像または特定部分を除く画像である出力教師画像を生成するステップと、入力教師画像および出力教師画像を用いて、機械学習を行うことにより、抽出対象部分を抽出するか、または、特定部分を除去するための学習モデルを生成するステップと、を備え、入力教師画像を生成するステップは、特定部分と特定部分以外の部分とを含む2次元投影画像と、特定部分を除くように生成された2次元投影画像である合成用投影画像とを、2次元投影画像と合成用投影画像との画素値の割合を変更しながら合成することによって、特定部分の画素値が複数種類に変更された複数の入力教師画像を生成するステップを含む
上記第1の局面における医用画像処理装置と、上記第2の局面におけるX線画像処理システムとでは、3次元における画素値データを有する3次元データに基づいて取得された被検体の特定部分を含む領域についての2次元投影画像に対して、特定部分の画素値が特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像と、入力教師画像と同じ領域における抽出対象部分を示す画像または特定部分を除く画像である出力教師画像と、を生成するように、学習画像生成部を構成する。そして、上記入力教師画像および出力教師画像を用いて、機械学習を行うことにより、抽出対象部分を抽出するか、または、特定部分を除去するための学習モデルを生成するように、学習モデル生成部を構成する。これにより、2次元投影画像の特定部分の画素値が特定部分以外の部分の画素値に対して相対的に変更されているため、X線画像における特定部分の写り方に対応させるように、2次元投影画像における特定部分の写り方のみを変更することができる。すなわち、X線画像における特定部分の写り方(画素値)を模擬した2次元投影画像を入力教師画像として機械学習を行うことによって、X線画像における特定部分の写り方に対応した学習モデルを生成することができる。その結果、2次元投影画像とX線画像とにおいて、特定部分の写り方(画素値)が異なる場合にも、抽出対象部分の抽出または特定部分の除去の精度が低下することを抑制することができる。
また、上記第3の局面における学習モデルの生成方法では、3次元における画素値データを有する3次元データに基づいて取得された被検体の特定部分を含む領域についての2次元投影画像に対して、特定部分の画素値が特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像を生成するステップと、入力教師画像と同じ領域における抽出対象部分を示す画像または特定領域を除く画像である出力教師画像を生成するステップと、を備える。これにより、2次元投影画像の特定部分の画素値が特定部分以外の部分の画素値に対して相対的に変更されているため、X線画像における特定部分の写り方に対応させるように、2次元投影画像における骨部の写り方を変更することができる。つまり、2次元投影画像における特定部分の写り方(画素値)とX線画像における特定部分の写り方(画素値)が異なる場合においても対応可能な学習モデルを生成することができる。すなわち、X線画像における特定部分の写り方(画素値)を疑似的に模擬した2次元投影画像を入力教師画像として、機械学習を行うことによって、X線画像における特定部分の写り方に対応するように学習することができる。その結果、2次元投影画像とX線画像とにおいて、特定部分の写り方(画素値)が異なる場合にも、抽出対象部分の抽出または特定部分の除去の精度が低下することを抑制することが可能な学習モデルを提供することができる。
第1実施形態によるX線画像処理システムの全体構成を説明するためのブロック図である。 第1実施形態による放射線治療時におけるX線画像処理システムの構成を説明するための図である。 第1実施形態によるCT画像データを説明するための図である。 第1実施形態による第1制御部および第2制御部の機能的構成を示すブロック図である。 第1実施形態における学習モデルによる抽出対象部分の抽出に関して説明するための図である。 DRR画像の生成について説明するための図である。 DRR画像とX線画像との骨部の写り方について説明するための図である。 DRR画像と合成用DRR画像とについて説明するための図である。 DRR画像と合成用DRR画像との合成について説明するための図である。 第1学習モデルの生成方法を説明するためのフローチャートである。 第1実施形態によるX線画像処理システムの制御を説明するためのフローチャートである。 第1実施形態によるX線画像処理システムの使用例を説明するためのフローチャートである。 参考例によるX線画像処理システムの全体構成を説明するためのブロック図である。 参考例による第1制御部および第2制御部の機能的構成を示すブロック図である。 参考例における学習モデルによる抽出対象部分の抽出に関して説明するための図である。 参考例によるX線画像処理システムの制御を説明するためのフローチャートである。 実施形態によるX線画像処理システムの全体構成を説明するためのブロック図である。 実施形態によるX線画像処理システムの構成を説明するための図である。 実施形態によるDRR画像を説明するための図である。 実施形態による第1制御部および第2制御部の機能的構成を示すためのブロック図である。 実施形態による入力教師画像と出力教師画像とを説明するための図である。 実施形態における学習モデルによる骨部の除去に関して説明するための図である。 実施形態によるX線画像処理システムの制御を説明するためのフローチャートである。 実施形態によるX線画像処理システムの構成を説明するための図である。 実施形態によるDRR画像を説明するための図である。 実施形態による第1制御部および第2制御部の機能的構成を示すためのブロック図である。 実施形態による入力教師画像と出力教師画像とを説明するための図である。 実施形態における学習モデルによる骨部の除去に関して説明するための図である。 実施形態による血管造影用X線画像の生成について説明するための図である。 実施形態によるX線画像処理システムの制御を説明するためのフローチャートである。 第1変形例による、マーカー抽出用学習モデルを用いたマーカーの抽出について説明するための図である。
以下、本発明を具体化した実施形態を図面に基づいて説明する。
[第1実施形態]
(X線画像処理システムの構成)
図1~図9を参照して、本発明の第1実施形態によるX線画像処理システム100の構成について説明する。
図1に示すように、X線画像処理システム100は、放射線治療装置1と、治療計画装置2と、学習装置3と、X線撮影部4と、X線画像処理装置5と、を備える。なお、学習装置3およびX線画像処理装置5は、特許請求の範囲の「医用画像処理装置」の一例である。
X線画像処理システム100は、放射線治療装置1によって、がんなどの腫瘍を含む抽出対象部分Qを治療する際に、被検体Pの呼吸などによって位置が変化する抽出対象部分Qを追跡する追跡装置として構成されている。
図2に示すように、放射線治療装置1は、天板11、ガントリー12、基台13、および、ヘッド14を備える。天板11は、放射線を照射される被検体Pが載置される。ガントリー12は、床面に配置されている基台13に対して移動可能に構成されている。ヘッド14は、ガントリー12に配置されており、被検体Pに対して治療ビームを照射する。そして、放射線治療装置1は、ガントリー12が基台13に対して回動することによって、ヘッド14から照射する治療ビームの被検体Pに対する照射方向を変更可能なように構成されている。
また、放射線治療装置1は、後述するX線画像処理装置5からの信号に基づいて、治療ビームを照射する位置および照射するタイミングを制御するように構成されている。具体的には、被検体Pの抽出対象部分Qに治療ビームを照射する際に、被検体Pの呼吸などによって、抽出対象部分Qの位置が変化する。放射線治療装置1は、X線画像処理装置5によって取得された抽出対象部分Qの位置に基づく信号によって、抽出対象部分Qに放射線(治療ビーム)を照射することが可能なように構成されている。
治療計画装置2は、医師が被検体Pに対する放射線治療の計画を行うための装置である。すなわち、図示しないCT(Computed Tomography:コンピュータ断層撮影)装置によって、抽出対象部分Qを含む領域についての3次元のCT画像データCが生成される。そして、治療計画装置2において、3次元のCT画像データCと被検体Pに関する診察情報とに基づいて、治療の計画が行われる。つまり、治療計画装置2は、3次元のCT画像データCと被検体Pに関する診察情報に基づいて、治療計画データを生成する。CT画像データCは、3次元における画素値データ(CT値)を有する3次元データである。CT値は、X線の透過しやすさを数値で表したものである。CT画像は、図3に示すように、被検体Pの体内についてのCT値の大小を濃淡で表した画像である。ここで、CT画像データCは、複数の2次元のCT画像に基づいて生成された3次元のボクセルデータである。また、治療計画装置2において、CT画像データC上の抽出対象部分Qに対応する画素部分(ボクセル)が、医師によって抽出対象部分Qとして指定される。そして、治療計画装置2は、指定された抽出対象部分Qについての情報を含んだ状態のCT画像データCを記憶する。なお、CT画像データCは、特許請求の範囲の「3次元データ」の一例である。
図1に示すように、学習装置3は、第1制御部30を含む。第1制御部30は、たとえば、CPU(Central Processing Unit)を有する。学習装置3は、ハードウェア的な構成として、たとえば、CPU、GPU(Graphics Processing Unit)、ROM(Read Only Memory)、および、RAM(Random Access Memory)などを有する。また、学習装置3は、記憶部として、HDD(Hard Disk Drive)または不揮発性のメモリなどを含んでいる。
図4に示すように、第1制御部30は、機能的な構成として、DRR画像生成部31、教師画像生成部32、および、学習モデル生成部33を含む。DRR画像生成部31、教師画像生成部32、および、学習モデル生成部33は、プログラム(ソフトウェア)として構成されている。すなわち、第1制御部30が、プログラム(ソフトウェア)を実行することによって、DRR画像生成部31、教師画像生成部32、および、学習モデル生成部33として機能するように構成されている。なお、DRR画像生成部31および教師画像生成部32は、特許請求の範囲の「学習画像生成部」の一例である。
また、第1制御部30は、図5に示すように、治療計画装置2によって取得されたCT画像データCに基づいて、入力教師画像T1および出力教師画像T2を生成する処理を行うとともに、機械学習を行うことによって、抽出対象部分Qを抽出するための学習モデルMを生成する処理を行う。なお、学習モデルMについての詳細は後述する。
X線撮影部4は、図2に示すように、X線撮影によって被検体Pの骨部Hおよび骨部Hとは異なる抽出対象部分Qを含むX線透視画像Aを取得する。X線撮影部4は、X線照射部41と、X線検出部42とを含む。X線照射部41は、第1X線管41a、第2X線管41b、第3X線管41c、および、第4X線管41dを有する。また、X線検出部42は、第1X線検出器42a、第2X線検出器42b、第3X線検出器42c、および、第4X線検出器42dを有する。第1~第4X線検出器42a~42dは、それぞれ、たとえば、FPD(Flat Panel Detector)を有する。第1X線検出器42aは、第1X線管41aより照射されたX線を検出する。第1X線管41aと第1X線検出器42aとは、第1X線撮影系を構成する。同様に、第2X線検出器42bは、第2X線管41bより照射されたX線を検出する。第2X線管41bと第2X線検出器42bとは、第2X線撮影系を構成する。同様に、第3X線検出器42cは、第3X線管41cより照射されたX線を検出する。第3X線管41cと第3X線検出器42cとは、第3X線撮影系を構成する。同様に、第4X線検出器42dは、第4X線管41dより照射されたX線を検出する。第4X線管41dと第4X線検出器42dとは、第4X線撮影系を構成する。なお、骨部Hは、特許請求の範囲の「特定部分」の一例である。また、X線透視画像Aは、特許請求の範囲の「X線画像」の一例である。
なお、放射線治療を行うために被検体Pの骨部Hおよび骨部Hとは異なる抽出対象部分Qを含む領域をX線撮影する際には、第1~第4X線撮影系の4つの撮影系のうちから2つの撮影系が選択されてX線撮影部4として使用される。
図1に示すように、X線画像処理装置5は、第2制御部50を含む。第2制御部50は、たとえば、CPUを有する。X線画像処理装置5は、ハードウェア的な構成として、たとえば、CPU、GPU、ROM、および、RAMなどを有する。また、X線画像処理装置5は、記憶部として、HDDまたは不揮発性のメモリなどを含んでいる。
図4に示すように、第2制御部50は、機能的な構成として、画像処理部51を含む。画像処理部51は、プログラム(ソフトウェア)によって構成されている。すなわち、第2制御部50は、プログラム(ソフトウェア)を実行することによって、画像処理部51として機能するように構成されている。
X線画像処理装置5は、図5に示すように、学習装置3によって生成された学習モデルMに基づいて、X線撮影部4によって撮影されたX線画像であるX線透視画像Aに対して、抽出対象部分Qを抽出する処理を行う。X線透視は、一般X線撮影に比べて少ない量のX線を連続的に照射することによって、被ばく量の増加を抑制しながら、被検体Pの体内の様子を動画像として取得する方法である。X線画像処理装置5は、X線撮影部4によって撮影されたX線透視画像Aを入力データとして、学習装置3において機械学習によって生成された学習モデルMを用いることによって、抽出対象部分Qの位置を追跡するための出力画像Aαを取得する。そして、X線画像処理装置5は、取得した抽出対象部分Qの位置に関する情報に基づいて、放射線治療装置1が治療ビームを照射する位置と、治療ビームを照射するタイミングとを制御するための信号を、放射線治療装置1に対して送信する。
画像処理部51は、学習済みの学習モデルMに基づいて、X線撮影によって取得された被検体Pの骨部Hおよび抽出対象部分Qを含むX線透視画像Aに対して、抽出対象部分Qを抽出する処理を行う。
(第1実施形態における第1学習モデルの生成に関して)
ここで、本実施形態では、DRR画像生成部31によって、CT画像データCに基づいて、被検体Pの骨部Hおよび骨部Hとは異なる抽出対象部分Qを含む領域についてのDRR画像Dが生成され取得される。そして、教師画像生成部32によって、取得されたDRR画像Dに対して、骨部Hの画素値が骨部H以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像T1が生成される。また、教師画像生成部32によって、入力教師画像T1と同じ領域における抽出対象部分Qを示す画像である出力教師画像T2が生成される。そして、学習モデル生成部33によって、入力教師画像T1および出力教師画像T2を用いて、機械学習を行うことにより、抽出対象部分Qを抽出するための学習モデルMを生成する。
〈DRR画像の生成に関して〉
DRR画像生成部31は、図6に示すように、コンピュータ断層撮影による3次元データであるCT画像データCに基づいて、デジタル再構成シミュレーションによって被検体Pの骨部Hおよび骨部Hとは異なる抽出対象部分Qを含む領域についてのDRR画像Dを生成する。なお、DRR画像Dは、特許請求の範囲における「2次元投影画像」の一例である。
DRR画像生成部31は、DRR画像Dを生成するにあたって、3次元仮想空間上において、仮想的なX線管41αと仮想的なX線検出器42αとを、CT画像データCに対してX線撮影を行うように配置することによって、仮想的なX線撮影系の3次元空間的配置(撮影ジオメトリ)を生成する。これらのCT画像データCと、CT画像データCに対する仮想的なX線撮像系の配置は、図2に示す実際の被検体PとX線照射部41とX線検出部42との配置と同一の撮影ジオメトリとなっている。ここで、撮影ジオメトリとは、被検体PとX線照射部41およびX線検出部42との3次元空間における幾何学的な配置関係を意味する。
そして、DRR画像生成部31は、仮想的なX線管41αから仮想的なX線検出器42αに対してX線を照射することによって、CT画像データCを仮想的にX線撮影する。このとき、DRR画像生成部31は、X線管41αから照射されたX線が仮想的なX線検出器42αに到達するまでに通過した画素部分(ボクセル)におけるCT値の合計を加算することによってDRR画像Dにおける各画素値を計算する。
上記のようにして、DRR画像生成部31は、3次元における画素値データであるCT画像データCに対して、X線撮影部4によって取得される被検体PのX線透視画像Aと同一領域を同一角度から撮影したものとなるように、仮想的にX線撮影が行われたものとして2次元に投影することによってDRR画像Dを生成する。
〈入力教師画像および出力教師画像の生成に関して〉
CT画像データCに基づいて生成されたDRR画像Dと、X線撮影部4によって撮影されたX線透視画像Aとでは、骨部Hの写り方が異なる場合がある。たとえば、図7に示すように、DRR画像Dに比べてX線透視画像Aでは骨部Hの写り方が薄くなる場合がある。第1制御部30は、こうしたDRR画像DとX線透視画像Aとにおける骨部Hの写り方の差異に対応可能な学習モデルMを生成する。すなわち、第1制御部30は、X線透視画像Aに対応させるように、骨部Hの写り方を多様に変更させた入力教師画像T1を生成する。
本実施形態では、図8に示すように、教師画像生成部32は、骨部Hを含むDRR画像Dと、骨部Hを除くように生成されたDRR画像Dである合成用DRR画像Eとに基づいて、骨部Hの画素値が骨部H以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像T1を生成する。また、DRR画像生成部31は、CT画像データCを構成する3次元画素部分(ボクセル)のうちから骨部Hに対応する3次元画素部分(ボクセル)を除去することによって合成用DRR画像Eを生成する。
CT画像データCを構成する画素部分(ボクセル)は、それぞれ、画素値データとしてCT値を有する。たとえば、CT値が100以上の値である3次元画素部分を骨部Hに対応する3次元画素部分であると指定することによって、CT画像データCを構成する3次元画素部分のうちから骨部Hに対応する3次元画素部分を特定する。DRR画像生成部31によってCT画像データCを仮想的にX線撮影する際に、骨部Hに対応する3次元画素部分であると特定されたものを除去した状態で投影することによって、骨部Hを除くように合成用DRR画像Eを生成する。また、合成用DRR画像Eを生成する際の撮影ジオメトリは、合成用DRR画像Eと合成するDRR画像Dとが同一の撮影ジオメトリとなるようにする。
また、本実施形態では、教師画像生成部32は、骨部Hの画素値がランダムな値に変更されている画像を含むように複数の入力教師画像T1を生成する。そして、図9に示すように、教師画像生成部32は、DRR画像Dと合成用DRR画像Eとを合成する際に、DRR画像Dと合成用DRR画像Eとを合成する際の画素値の割合を変更した状態で合成を行う。つまり、教師画像生成部32は、画素値の割合がランダムに変更されたDRR画像Dと合成用DRR画像Eとを合成することによって、複数の入力教師画像T1を生成する。
具体的には、教師画像生成部32は、複数の入力教師画像T1を生成するために、合成する割合をランダムにしながらアルファブレンディングを行うことによって、DRR画像Dと合成用DRR画像Eとを合成する。DRR画像Dの画素値をX、合成用DRR画像Eの画素値をX、合成する際の割合を示す係数をα(0≦α≦1)、合成後の入力教師画像T1の画素値をYとすると、アルファブレンディングの計算は式(1)のように表される。
Y=αX+(1-α)X・・・(1)
ここで、教師画像生成部32は、係数αの値をランダムな値とすることによって、ランダムな割合にDRR画像Dと合成用DRR画像Eとを合成する。そして、教師画像生成部32は、ランダムな割合にDRR画像Dと合成用DRR画像Eとを合成することによって、骨部Hの写り方が様々な複数の入力教師画像T1を生成する。なお、図9は、様々な割合において(様々なαの値を用いて)複数の入力教師画像T1を生成する例を示している。なお、画像の合成は、式(1)の計算方法に限らず、加算および乗算などを用いて計算してもよい。
図5に示すように、教師画像生成部32は、入力教師画像T1と同様に、DRR画像Dに基づいて出力教師画像T2を生成する。具体的には、CT画像データCのうちの医師によって登録された抽出対象部分Qに関する画素部分(ボクセル)についてのみのDRR画像Dを生成する。すなわち、CT画像データC全体ではなく、抽出対象部分Qのみに対して、仮想的なX線撮影を行う。その結果、得られた抽出対象部分QについてのDRR画像Dを、抽出対象部分Qを含む領域と抽出対象部分Qを含まない領域との2つの領域に区分して、2値化した出力教師画像T2を生成する。なお、複数のDRR画像Dに基づいて複数の入力教師画像T1を生成する場合には、複数の入力教師画像T1のそれぞれに対応する複数の出力教師画像T2を生成する。すなわち、複数の入力教師画像T1の各々における撮影ジオメトリと同一の撮影ジオメトリを用いて、出力教師画像T2を生成する。言い換えると、複数の入力教師画像T1の各々に対して、入力教師画像T1と同じ領域における抽出対象部分Qを示す画像を出力教師画像T2として生成する。
〈学習モデルの生成に関して〉
学習モデル生成部33は、図5に示すように、教師画像生成部32によって生成された入力教師画像T1を入力層として取得する。そして、学習モデル生成部33は、治療計画装置2において登録された抽出対象部分Qの領域を表すように教師画像生成部32によって生成された2チャンネルのラベル画像である出力教師画像T2を出力層として取得する。そして、学習モデル生成部33は、入力層および出力層を用いて、機械学習を行う。学習モデル生成部33は、学習モデルとして使用する畳み込み層を学習することによって、学習モデルMを生成する。そして、画像処理部51は、生成された学習モデルMを用いて、X線透視画像Aにおける抽出対象部分Qの領域を抽出する。X線透視画像Aを入力層として、学習モデル生成部33によって生成された学習モデルMを用いることにより、出力層として2チャンネルのラベル画像である出力画像Aαを生成する。
画像処理において、たとえば、画像内の各々の画素をクラスに分類する(ラベル付けする)手法であるセマンティック・セグメンテーションを用いて抽出対象部分Qを抽出する。セマンティック・セグメンテーションの手法として、FCN(Fully Convolutional Network:全層畳み込みネットワーク)が用いられる。FCNにおいて用いられる畳み込みニューラルネットワークは、たとえば、図5のような構成となる。そして、中間層は、畳み込み層のみで構成されており、機械学習によってパラメータが決定される。
上記のようにして生成された。学習モデルMに基づいて、抽出対象部分Qが抽出される。そして、抽出された抽出対象部分Qの位置に基づいて、放射線治療装置1に対して、放射線を照射する位置および放射線を照射するタイミングを制御するための信号が送られる。
(学習モデルの生成方法に関して)
次に、図10を参照して、学習装置3による学習モデルMの生成方法について説明する。
まず、ステップ101において、CT画像データCが取得される。
次に、ステップ102において、CT画像データCに基づいて取得された被検体Pの骨部Hおよび骨部Hとは異なる抽出対象部分Qを含む領域についてのDRR画像Dに対して、骨部Hの画素値が骨部H以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像T1が生成される。
次に、ステップ103において、CT画像データCに基づいて、上記DRR画像Dと同じ領域における抽出対象部分Qを示す画像である出力教師画像T2が生成される。
次に、ステップ104において、入力教師画像T1および、出力教師画像T2を用いて、機械学習を行うことにより、抽出対象部分Qを抽出するための学習モデルMが生成される。
(放射線治療時における抽出対象部分の抽出についての処理)
次に、図11を参照して、第1実施形態によるX線画像処理システム100による制御処理フローについて説明する。
まず、ステップ111において、学習装置3によって、治療計画装置2によって生成されたCT画像データCが取得される。
次に、ステップ112において、DRR画像生成部31によってDRR画像Dが生成される。
次に、ステップ113において、教師画像生成部32によって、入力教師画像T1および出力教師画像T2が生成される。
次に、ステップ114において、学習モデル生成部33によって、学習モデルMが生成される。
次に、ステップ115において、X線撮影部4によって、X線透視画像Aが撮影される。
次に、ステップ116において、X線透視画像Aと学習モデルMに基づいて、抽出対象部分Qが抽出される。
次に、ステップ117において、抽出された抽出対象部分Qの位置情報に基づいて、放射線治療装置1に対して、信号が送られる。
次に、ステップ118において、放射線治療装置1によって、放射線が照射される。
(X線画像処理システムの使用例)
次に、図12を参照して、第1実施形態におけるX線画像処理システム100の使用例について説明する。本発明の第1実施形態によるX線画像処理システム100が用いられる放射線治療は、がんなどの腫瘍に対して放射線(たとえば、高エネルギーのX線)を照射することによって、がんなどの腫瘍を治療する方法である。
はじめに、放射線治療を行うための、治療計画および事前準備が行われる。まず、ステップ121において、CT装置によって被検体PのCT画像データCが取得される。そして、ステップ122において、医師により、CT画像データCと、被検体Pの臨床検査および診察とに基づいて、治療計画装置2において治療の計画が行われる。そして、ステップ123において、学習装置3によって、取得されたCT画像データCに基づいて、X線透視画像Aにおける抽出対象部分Qを抽出するための学習モデルMが機械学習によって生成される。このようにして、治療計画および事前準備が行われる。
次に、実際に放射線治療を行う。まず、ステップ124において、放射線治療装置1に備え付けられた診察台の天板11に載置された被検体Pに対して、X線撮影部4によってX線撮影が行われ、X線透視画像Aが取得される。次に、ステップ125において、取得されたX線透視画像Aに対して前述の学習モデルMを用いることによって、X線画像処理装置5によって抽出対象部分Qが抽出される。そして、ステップ126において、抽出された抽出対象部分Qの位置に基づいて、放射線を照射することによって、放射線治療が行われる。
(第1実施形態の効果)
第1実施形態では、以下のような効果を得ることができる。
第1実施形態のX線画像処理システム100は、上記のように、3次元における画素値データを有する3次元データ(CT画像データC)に基づいて取得された被検体Pの特定部分(骨部H)を含む領域についての2次元投影画像(DRR画像D)に対して、骨部Hの画素値が骨部H以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像T1と、入力教師画像T1と同じ領域における被検体Pの抽出対象部分Qを示す画像である出力教師画像T2と、を生成する学習画像生成部(DRR画像生成部31および教師画像生成部32)を備える。そして、上記入力教師画像T1および出力教師画像T2を用いて、機械学習を行うことにより、抽出対象部分Qを抽出するための学習モデルMを生成する学習モデル生成部33を備える。これにより、DRR画像Dの骨部Hの画素値が骨部H以外の部分の画素値に対して相対的に変更されているため、X線画像(X線透視画像A)における骨部Hの写り方に対応させるように、DRR画像Dにおける骨部Hの写り方のみを変更することができる。すなわち、X線透視画像Aにおける骨部Hの写り方(画素値)を模擬したDRR画像Dを入力教師画像T1として機械学習を行うことによって、X線透視画像Aにおける骨部Hの写り方に対応した学習モデルMを生成することができる。その結果、DRR画像DとX線透視画像Aとにおいて、骨部Hの写り方(画素値)が異なる場合にも、抽出対象部分Qの抽出の精度が低下することを抑制することができる。
また、第1実施形態では、以下のように構成したことによって、更なる効果が得られる。
すなわち、第1実施形態では、学習画像生成部(DRR画像生成部31および教師画像生成部32)は、コンピュータ断層撮影による3次元データ(CT画像データC)に基づいて、デジタル再構成シミュレーションにより生成された2次元投影画像(DRR画像D)に対して、骨部H(特定部分)の画素値が骨部H以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像T1と、入力教師画像T1と同じ領域における抽出対象部分Qを示す画像である出力教師画像T2と、を生成するように構成されている。ここで、コンピュータ断層撮影(CT撮影)によって生成されたCT画像データCにおいて、骨部HのCT値は骨部H以外の部分のCT値よりも高い値となるため、たとえば、CT値に閾値を用いることによって骨部Hを容易に特定することができる。この点に着目して、第1実施形態のように、CT画像データCに基づいて生成されたDRR画像Dに対して、骨部Hの画素値が骨部H以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像T1を生成するように、教師画像生成部32を構成すれば、骨部Hと骨部H以外とを区別して骨部Hのみの画素値を変更する際に、骨部Hのみを容易に特定することができる。その結果、入力教師画像T1を生成する際に、DRR画像Dに対して骨部Hのみの画素値を骨部H以外の部分の画素値に対して相対的に変更する処理を容易に行うことができるため、DRR画像DとX線透視画像Aにおいて骨部Hの写り方(画素値)が異なる場合にも、骨部Hの写り方が異なることに対応可能な学習モデルMを容易に生成することができる。
また、第1実施形態では、学習画像生成部(DRR画像生成部31および教師画像生成部32)は、特定部分(骨部H)の画素値がランダムな値に変更されている画像を含むように複数の入力教師画像T1を生成するように構成されている。このように構成すれば、骨部Hの画素値がランダムな値に変更されている複数の入力教師画像T1を生成することができる。つまり、X線透視画像Aにおける骨部Hの画素値が、骨部H以外の部分の画素値に対して相対的に様々な値をとる場合にも、骨部Hの様々な画素値に対応可能な学習モデルMを生成することができる。その結果、骨部Hが様々な写り方(画素値)を有するX線透視画像Aに対して、抽出対象部分Qを精度よく抽出することができる。
また、第1実施形態では、学習画像生成部(DRR画像生成部31および教師画像生成部32)と学習モデル生成部33とを含む第1制御部30と、画像処理部51を含む第2制御部50と、をさらに備える。このように構成すれば、学習モデルMを生成する処理と、抽出対象部分Qを抽出する処理と、を別個の制御部(第1制御部30および第2制御部50)によって行うことができる。すなわち、第2制御部50による、被検体Pに対する抽出対象部分Qを抽出する処理と、第1制御部30による、被検体Pとは別個の被検体Pαについての学習モデルMαを生成する処理と、を同一のタイミングにおいて行うことができる。その結果、放射線治療に要する時間の増大を抑制することができる。
また、第1実施形態では、学習画像生成部(DRR画像生成部31および教師画像生成部32)は、特定部分(骨部H)を含む2次元投影画像(DRR画像D)と、骨部Hを除くように生成されたDRR画像Dである合成用投影画像(合成用DRR画像E)とに基づいて、骨部Hの画素値が骨部H以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像T1を生成するように構成されている。このように構成すれば、DRR画像Dと合成用DRR画像Eとを合成することよって入力教師画像T1を生成することができるので、入力教師画像T1における骨部Hの写り方(画素値)を容易に変更することができる。その結果、骨部Hの画素値が変更された複数の入力教師画像T1を容易に生成することができるので、X線透視画像Aにおける骨部Hの写り方(画素値)が、様々な形態である場合においても対応可能な学習モデルMを容易に生成することができる。
また、第1実施形態では、学習画像生成部(DRR画像生成部31および教師画像生成部32)は、3次元データ(CT画像データC)を構成する3次元画素部分のうちから特定部分(骨部H)に対応する3次元画素部分を除去することによって合成用投影画像(合成用DRR画像E)を生成するように構成されている。このように構成すれば、CT値に基づいて骨部Hに対応する3次元画素部分(ボクセル)を指定し、骨部Hであると指定された3次元画素部分を除外して2次元に投影することによって、骨部Hを除外したDRR画像Dを容易に生成することができる。
また、第1実施形態では、学習画像生成部(DRR画像生成部31および教師画像生成部32)は、2次元投影画像(DRR画像D)と合成用投影画像(合成用DRR画像E)とを合成する際の画素値の割合を変更して、合成する画素値の割合が変更されたDRR画像Dと合成用DRR画像Eとを合成することによって入力教師画像T1を生成するように構成されている。このように構成すれば、合成する際の画素値の割合を変更して、アルファブレンディングによってDRR画像Dと合成用DRR画像Eとを合成するため、DRR画像Dにおける骨部Hを透過させて合成することができる。その結果、DRR画像Dと合成用DRR画像Eとを合成する際に、骨部H以外の部分の画素値を変更せず、骨部Hの画素値のみを変更して合成することができる。その結果、X線透視画像Aにおける骨部Hの写り方を模擬することができるので、DRR画像DとX線透視画像Aとを比べた際に、骨部Hの写り方(画素値)が異なる場合においても、抽出対象部分Qの抽出の精度が低下することを抑制することができる。
参考例
図13~図15を参照して、参考例によるX線画像処理システム200の構成について説明する。この参考例は、DRR画像生成部31によって生成された2次元のDRR画像Dと2次元の合成用DRR画像Eとに基づいて、教師画像生成部32が入力教師画像T1を生成するように構成した第1実施形態とは異なり、教師画像生成部232によって3次元のCT画像データCを処理することによって、骨部Hの写り方が変更されるように投影された画像を入力教師画像T1とするように構成されている。なお、図中において、上記第1実施形態と同様の構成の部分には、同一の符号を付して図示するとともに説明を省略する。
参考例によるX線検査装置の構成)
図13に示すように、本発明の参考例によるX線画像処理システム200は、学習装置203を備えるように構成されている。学習装置203は、第1制御部230を含む。第1制御部230は、たとえば、CPUを有する。学習装置203は、ハードウェア的な構成として、たとえば、CPU、GPU、ROM、および、RAMなどを有する。また、学習装置203は、記憶部として、HDDまたは不揮発性のメモリなどを含んでいる。
図14に示すように、第1制御部230は、機能的な構成として、DRR画像生成部231、教師画像生成部232、および、学習モデル生成部233を含む。DRR画像生成部231、教師画像生成部232、および、学習モデル生成部233は、プログラム(ソフトウェア)によって構成されている。すなわち、第1制御部230は、プログラム(ソフトウェア)を実行することによって、DRR画像生成部231、教師画像生成部232、および、学習モデル生成部233として機能するように構成されている。
教師画像生成部232は、CT画像データCを構成する3次元画素部分のうちから、骨部Hに対応する3次元画素部分のCT値を、骨部H以外の部分に対応する3次元画素部分のCT値に対して相対的に変更する。具体的には、CT値が100以上の値である3次元画素部分を骨部Hに対応する3次元画素部分であると特定する。そして、骨部Hであると特定された3次元画素部分に対してのみ、CT値に処理を行う。すなわち、骨部H以外の部分に対応する3次元画素部分に対して相対的に、骨部Hに対応する3次元画素部分のCT値が小さくなるように処理を行う。なお、骨部Hに対応する3次元画素部分のCT値はランダムに変更される。
DRR画像生成部231は、図15に示すように、教師画像生成部232によって骨部Hに対応する3次元画素部分のCT値が変更された状態のCT画像データCに対して、第1実施形態と同様に、仮想的にX線撮影を行うことによって、2次元に投影されたDRR画像Dである入力教師画像T201を生成する。また、DRR画像生成部231は、第1実施形態と同様に、入力教師画像T201と同じ領域における抽出対象部分Qを示す画像である出力教師画像T2を生成する。
学習モデル生成部233は、第1実施形態と同様に、入力教師画像T201を入力層、出力教師画像T2を出力層として、機械学習を行い、学習モデルMを生成する。
なお、参考例のその他の構成については、第1実施形態と同様である。
参考例のX線画像処理システムによる制御処理)
次に、図16を参照して、参考例によるX線画像処理システム200によるX線撮影に関する制御処理フローについて説明する。
まず、ステップ111において、第1実施形態と同様に、学習装置3によって、治療計画装置2によって生成されたCT画像データCが取得される。
次に、ステップ212において、教師画像生成部232によって、CT画像データCにおける骨部Hに対応する3次元画素部分のCT値を変更する。
次に、ステップ213において、DRR画像生成部231によって、DRR画像Dが生成される。
なお、ステップ114~ステップ118において、第1実施形態と同様の処理が行われる。
参考例の効果)
参考例では、以下のような効果を得ることができる。
参考例では、学習画像生成部(DRR画像生成部231および教師画像生成部232)は、3次元データ(CT画像データC)を構成する3次元画素部分のうちから、特定部分(骨部H)に対応する3次元画素部分の画素値データ(CT値)を、骨部H以外の部分に対応する3次元画素部分の画素値データ(CT値)に対して相対的に変更した状態で2次元に投影することによって、入力教師画像T201を生成するように構成されている。このように構成すれば、3次元データであるCT画像データCにおいて、骨部Hに対応する3次元画素部分のCT値を変更するため、骨部HのCT値が変更されているCT画像データCに対して、デジタル再構成シミュレーションにより2次元に投影した入力教師画像T201を生成することができる。したがって、骨部H以外の部分については、画素値の変更が行われず、骨部Hのみの画素値が変更された入力教師画像T201を生成することができる。すなわち、骨部H以外の部分の画素値が変更されないので、骨部H以外の部分の写り方は変更されず、骨部Hの部分のみの写り方が変更されるように入力教師画像T201が生成される。その結果、X線透視画像Aにおいて、骨部H以外の部分に対する骨部Hの相対的な写り方が、DRR画像Dと異なる場合においても、抽出対象部分Qの抽出精度の低下を抑制することができる。
なお、参考例のその他の効果は、上記第1実施形態と同様である。
[第実施形態]
図17~図22を参照して、第実施形態によるX線画像処理システム300の構成について説明する。この第実施形態は、放射線治療において、抽出対象部分Qを抽出(追跡)するように構成した第1実施形態とは異なり、血管造影において、骨部Hである特定部分をX線画像上から除去して表示するように構成されている。なお、図中において、上記第1実施形態と同様の構成の部分には、同一の符号を付して図示するとともに説明を省略する。
(第実施形態によるX線画像処理システムの構成)
図17および図18に示すように、本発明の第実施形態によるX線画像処理システム300は、表示装置301、CT装置302、学習装置303、X線撮影部304、および、X線画像処理装置305を備える。図19に示すように、X線画像処理システム300は、血管造影の際に、DRR画像D301およびDRR画像D302を用いた機械学習によってX線画像A300から骨部Hを除去するように学習された学習モデルM300に基づいて、X線画像A300から骨部Hを除去するように構成されている。なお、X線画像A300は、X線撮影画像またはX線透視画像を含む。また、骨部Hは特許請求の範囲における「特定部分」の一例である。
表示装置301は、X線画像処理装置305によって生成された血管造影画像Kを表示するように構成されている。
CT装置302は、被検体PについてのCT画像を生成する。
図17に示すように、学習装置303は、第1制御部330を含む。第1制御部330は、たとえば、CPUを有する。学習装置303は、ハードウェア的な構成として、たとえば、CPU、GPU、ROM、および、RAMなどを有する。また、学習装置303は、記憶部として、HDDまたは不揮発性のメモリなどを含んでいる。学習装置303は、CT装置302によって生成された2次元のCT画像に基づいて3次元のCT画像データCを生成する。そして、学習装置303は、生成されたCT画像データCに基づいて、学習モデルM300を生成する。
図20に示すように、第1制御部330は、機能的な構成として、DRR画像生成部331、教師画像生成部332、および、学習モデル生成部333を含む。DRR画像生成部331、教師画像生成部332、および、学習モデル生成部333は、第1実施形態と同様に、プログラム(ソフトウェア)として構成されている。すなわち、第1制御部330が、プログラム(ソフトウェア)を実行することによって、DRR画像生成部331、教師画像生成部332、および、学習モデル生成部333として機能するように構成されている。なお、DRR画像生成部331および教師画像生成部332は、特許請求の範囲の「学習画像生成部」の一例である。
DRR画像生成部331は、図19に示すように、第1実施形態と同様にCT装置302において取得されたCT画像によって生成された3次元のCT画像データCに基づいて、デジタル再構成シミュレーションによりDRR画像D301を生成する。すなわち、血管造影を行う際に被検体Pに行われるX線撮影と同一の撮影ジオメトリによってCT画像データCに対して仮想的なX線撮影を行うことによって、DRR画像D301を生成する。また、DRR画像D301を生成した際と同一の撮影ジオメトリにおいて、CT画像データCを構成する画素部分(ボクセル)のうち骨部Hに対応する部分を除いた状態でDRR画像D302を生成する。たとえば、第1実施形態における合成用DRR画像Eの生成と同様に、DRR画像D302を生成する際に、CT値が100を超えるボクセルを骨部Hであるとして、骨部Hを除くようにDRR画像D302を生成する。
教師画像生成部332は、図21に示すように、第1実施形態と同様に、生成されたDRR画像D301に対して骨部Hの画素値が骨部H以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像T301を生成する。また、入力教師画像T301と同じ領域における骨部Hを除くように生成されたDRR画像D302である出力教師画像T302を生成する。つまり、DRR画像生成部331によって、同一の領域について、同一の撮影ジオメトリによって取得された生成されたDRR画像D301およびDRR画像D302に基づいて、教師画像生成部332は、入力教師画像T301および出力教師画像T302を生成する。
学習モデル生成部333は、図22に示すように、入力教師画像T301を入力層とするとともに、出力教師画像T302を出力層として、機械学習を行い、骨部Hを除去するための学習モデルM300を生成する。また、この際、学習モデル生成部333は、第1実施形態と同様に骨部Hの画素値がランダムな値に変更された複数の入力教師画像T301と、複数の出力教師画像T302によって機械学習を行う。
X線撮影部304は、図18に示すように、X線照射部341と、X線検出部342と、天板343と、を含む。X線照射部341は、天板343に載置されている被検体Pに対してX線を照射する。X線検出部342は、X線照射部341によって照射されたX線を検出する。X線検出部342は、FPDを有する。天板343は、X線撮影が行われる被検体Pが載置される。
図17に示すように、X線画像処理装置305は、第2制御部350を含む。第2制御部350は、たとえば、CPUを有する。X線画像処理装置305は、ハードウェア的な構成として、たとえば、CPU、GPU、ROM、および、RAMなどを有する。また、X線画像処理装置305は、記憶部として、HDDまたは不揮発性のメモリなどを含んでいる。
図20に示すように、第2制御部350は、機能的な構成として、画像処理部351を含む。画像処理部351は、プログラム(ソフトウェア)によって構成されている。すなわち、第2制御部350は、プログラム(ソフトウェア)を実行することによって、画像処理部351として機能するように構成されている。
X線画像処理装置305は、機械学習によって学習済みの学習モデルM300を学習装置303より取得する。そして、画像処理部351は、取得した学習モデルM300に基づいて、X線撮影部304によって撮影されたX線画像A300から骨部Hを除去した出力画像Aβ(図22参照)を生成するように構成されている。そして、X線画像処理装置305は、撮影された出力画像Aβを用いて、血管造影を行うことによって、骨部Hが除去された状態で血管造影を行うとともに、血管造影の結果である血管造影画像Kを表示装置301に表示させる。
なお、第実施形態のその他の構成については、第1実施形態と同様である。
(第実施形態のX線画像処理システムによる制御処理)
次に、図23を参照して、第実施形態によるX線画像処理システム300による制御処理フローについて説明する。
まず、ステップ311において、CT装置302よりCT画像が取得される。そして、DRR画像生成部331によって3次元のCT画像データCが生成される。
次に、ステップ312において、DRR画像生成部331によってDRR画像D301およびDRR画像D302が生成される。
次に、ステップ313において、入力教師画像T301および出力教師画像T302が生成される。
次に、ステップ314において、学習モデルM300が生成される。
次に、ステップ315において、X線撮影部304によって、X線画像A300が撮影される。
次に、ステップ316において、X線画像処理装置305によって、撮影されたX線画像A300において骨部Hが除去される。
次に、ステップ317において、骨部Hが除去されたX線画像A300を用いて血管造影が行われ、血管造影を行った結果である血管造影画像Kが表示装置301に表示される。
(第実施形態の効果)
実施形態では、以下のような効果を得ることができる。
実施形態では、上記のように、3次元における画素値データを有する3次元データ(CT画像データC)に基づいて取得された被検体Pの特定部分(骨部H)を含む領域についての2次元投影画像(DRR画像D)に対して、骨部Hの画素値が骨部H以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像T1と、入力教師画像T1と同じ領域における骨部Hを除く画像である出力教師画像T2と、を生成する学習画像生成部(DRR画像生成部331および教師画像生成部332)を備える。そして、上記入力教師画像T1および出力教師画像T2を用いて、機械学習を行うことにより、骨部Hを除去するための学習モデルM300を生成する学習モデル生成部333を備える。そして、学習済みの学習モデルM300に基づいて、X線撮影によって取得された被検体Pの骨部Hを含むX線画像A300に対して、骨部Hを除去する処理を行う画像処理部351を備える。これにより、DRR画像D301の骨部Hの画素値が骨部H以外の部分の画素値に対して相対的に変更されているため、X線画像A300における骨部Hの写り方に対応させるように、DRR画像D301における骨部Hの写り方のみを変更することができる。すなわち、X線画像A300における骨部Hの写り方(画素値)を模擬したDRR画像D301を入力教師画像T301として機械学習を行うことによって、X線画像A300における骨部Hの写り方に対応した学習モデルM300を生成することができる。その結果、DRR画像D301とX線画像A300とにおいて、骨部Hの写り方(画素値)が異なる場合にも、骨部Hの除去の精度が低下することを抑制することができる。
なお、第実施形態のその他の効果は、上記第1実施形態と同様である。
[第実施形態]
図24~図29を参照して、第実施形態によるX線画像処理システム400の構成について説明する。この第実施形態は、学習モデルを用いて、骨部HをX線画像上から除去するように構成された第実施形態とは異なり、学習モデルを用いて、骨部HをX線画像上から抽出するように構成されている。なお、図中において、上記第実施形態とは同様の構成の部分には、同一の符号を付して図示するとともに説明を省略する。
(第実施形態によるX線画像処理システムの構成)
図24に示すように、本発明の第実施形態によるX線画像処理システム400は、学習装置403、X線画像処理装置405を備える。図25に示すように、X線画像処理システム400は、血管造影の際に、DRR画像D401およびDRR画像D402を用いた機械学習によってX線画像A300から骨部H以外の部分を除去するように学習された学習モデルM400に基づいて、X線画像A300から骨部H以外の部分を除去するように構成されている。そして、この第実施形態によるX線画像処理システム400では、X線画像A300から骨部H以外の部分が除去された画像とX線画像A300とで差分をとることによって、X線画像A300から骨部Hを除いた画像が取得される。そして、骨部Hが除かれたX線画像A300を用いて血管造影を行うように構成されている。なお、X線画像A300は、X線撮影画像またはX線透視画像を含む。また、「骨部H以外の部分」は特許請求の範囲における「特定部分」の一例である。
図24に示すように、学習装置403は、第1制御部430を含む。第1制御部430は、たとえば、CPUを有する。学習装置403は、ハードウェア的な構成として、たとえば、CPU、GPU、ROM、および、RAMなどを有する。また、学習装置403は、記憶部として、HDDまたは不揮発性のメモリなどを含んでいる。学習装置403は、CT装置302によって生成された2次元のCT画像に基づいて3次元のCT画像データCを生成する。そして、学習装置403は、生成されたCT画像データCに基づいて、学習モデルM400を生成する。
図26に示すように、第1制御部430は、機能的な構成として、DRR画像生成部431、教師画像生成部432、および、学習モデル生成部433を含む。DRR画像生成部431、教師画像生成部432、および、学習モデル生成部433は、第1および第2実施形態と同様に、プログラム(ソフトウェア)として構成されている。すなわち、第1制御部430が、プログラム(ソフトウェア)を実行することによって、DRR画像生成部431、教師画像生成部432、および、学習モデル生成部433として機能するように構成されている。なお、DRR画像生成部431および教師画像生成部432は、特許請求の範囲の「学習画像生成部」の一例である。
DRR画像生成部431は、図25に示すように、第1および第2実施形態と同様にCT装置302において取得されたCT画像によって生成された3次元のCT画像データCに基づいて、デジタル再構成シミュレーションによりDRR画像D401を生成する。すなわち、血管造影を行う際に被検体Pに行われるX線撮影と同一の撮影ジオメトリによってCT画像データCに対して仮想的なX線撮影を行うことによって、DRR画像D401を生成する。また、DRR画像D401を生成した際と同一の撮影ジオメトリにおいて、CT画像データCを構成する画素部分(ボクセル)のうち骨部H以外の部分に対応する部分を除いた状態でDRR画像D402を生成する。たとえば、DRR画像D402を生成する際に、CT値が100よりも小さい値であるボクセルを骨部H以外の部分であると特定して、骨部H以外の部分を除くようにDRR画像D402を生成する。
教師画像生成部432は、図27に示すように、生成されたDRR画像D401に対して骨部H以外の部分の画素値が骨部Hの画素値に対して相対的に変更されている画像を含む入力教師画像T401を生成する。本実施形態では、特定部分は、骨部H以外の部分を含む。したがって、本実施形態における骨部Hは、特許請求の範囲における「特定部分以外の部分」の一例である。そして、教師画像生成部432は、骨部Hの画素値を変更することによって、骨部H以外の部分の画素値が骨部Hの画素値に対して相対的に変更されるようにして、入力教師画像T401を生成するように構成されている。また、入力教師画像T401と同じ領域における骨部H以外の部分を除くように生成されたDRR画像D402である出力教師画像T402を生成する。つまり、DRR画像生成部431によって、同一の領域について、同一の撮影ジオメトリによって取得された生成されたDRR画像D401およびDRR画像D402に基づいて、教師画像生成部432は、入力教師画像T401および出力教師画像T402を生成する。
学習モデル生成部433は、図28に示すように、入力教師画像T401を入力層とするとともに、出力教師画像T402を出力層として、機械学習を行い、骨部H以外の部分を除去するための学習モデルM400を生成する。また、この際、学習モデル生成部433は、第実施形態と同様に骨部Hの画素値がランダムな値に変更されることによって、相対的に骨部H以外の部分の画素値がランダムに変更される複数の入力教師画像T401と、複数の出力教師画像T402によって機械学習を行う。
図24に示すように、X線画像処理装置405は、第2制御部450を含む。第2制御部450は、たとえば、CPUを有する。X線画像処理装置405は、ハードウェア的な構成として、たとえば、CPU、GPU、ROM、および、RAMなどを有する。また、X線画像処理装置405は、記憶部として、HDDまたは不揮発性のメモリなどを含んでいる。
図26に示すように、第2制御部450は、機能的な構成として、画像処理部451を含む。画像処理部451は、プログラム(ソフトウェア)によって構成されている。すなわち、第2制御部450は、プログラム(ソフトウェア)を実行することによって、画像処理部451として機能するように構成されている。
X線画像処理装置405は、機械学習によって学習済みの学習モデルM400を学習装置403より取得する。そして、画像処理部451は、取得した学習モデルM400に基づいて、X線撮影部304によって撮影されたX線画像A300から骨部H以外の部分を除去した出力画像Aγ(図28参照)を生成するように構成されている。そして、X線画像処理装置305は、図29に示すように、取得された出力画像Aγと撮影されたX線画像A300とを用いて差分を取ることにより、骨部Hが除かれたX線画像A300である血管造影用X線画像Aδを生成する。そして、X線画像処理装置405は、血管造影用X線画像Aδを用いて、血管造影を行うことによって、骨部Hが除去された状態で血管造影を行うとともに、血管造影の結果である血管造影画像Kを表示装置301に表示させる。
なお、第実施形態のその他の構成については、第実施形態と同様である。
(第実施形態のX線画像処理システムによる制御処理)
次に、図30を参照して、第実施形態によるX線画像処理システム400による制御処理フローについて説明する。
まず、ステップ411において、CT装置302よりCT画像が取得される。そして、DRR画像生成部431によって3次元のCT画像データCが生成される。
次に、ステップ412において、DRR画像生成部431によってDRR画像D401およびDRR画像D402が生成される。
次に、ステップ413において、入力教師画像T401および出力教師画像T402が生成される。
次に、ステップ414において、学習モデルM400が生成される。
次に、ステップ415において、X線撮影部304によって、X線画像A300が撮影される。
次に、ステップ416において、X線画像処理装置405によって、撮影されたX線画像A300において骨部H以外の部分が除去され出力画像Aγが生成される。
次に、ステップ417において、出力画像AγとX線画像A300を用いて、差分をとることによって、骨部Hが除去されたX線画像A300である血管造影用X線画像Aδが生成される。
次に、ステップ418において、血管造影用X線画像Aδを用いて血管造影が行われ、血管造影を行った結果である血管造影画像Kが表示装置301に表示される。
(第実施形態の効果)
実施形態では、以下のような効果を得ることができる。
実施形態では、上記のように、特定部分は、骨部H以外の部分を含み、学習画像生成部(DRR画像生成部431および教師画像生成部432)は、コンピュータ断層撮影による3次元データ(CT画像データC)に基づいて、デジタル再構成シミュレーションにより生成された2次元投影画像(DRR画像D401)に対して、特定部分(骨部H以外の部分)の画素値が特定部分(骨部H以外の部分)以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像T401と、入力教師画像T401と同じ領域における骨部H以外の部分を除く画像である出力教師画像T402と、を生成するように構成されている。これにより、X線画像A300から骨部Hを抽出することによって、出力画像Aγを生成し、出力画像AγとX線画像A300との差分をとることによって、X線画像A300から骨部Hを除去した画像である血管造影用X線画像Aδを生成することができる。その結果、X線画像A300において、骨部H以外の部分には、画像処理がなされずに骨部Hの部分のみが画像処理をなされることになるため、骨部H以外の被検体Pの病変部位に対して画像処理が行われない。したがって、被検体Pの病変部位について正確に診察することができる。
なお、第実施形態のその他の効果は、上記第実施形態と同様である。
[変形例]
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
(第1変形例)
たとえば、上記第1実施形態では、学習モデルMに基づいて、被検体Pの抽出対象部分Qを直接的に抽出する例を示したが、本発明はこれに限られない。たとえば、抽出対象部分Qの位置を示すための印として、被検体Pの体内にマーカーRを留置するようにして、マーカーRの位置を抽出することによって抽出対象部分Qを抽出するようにしてもよい。
具体的には、図31に示すように、CT画像データCを取得する時点より前に、被検体Pの体内に穿刺などによってマーカーRを留置する。そして、CT画像データCを構成する3次元画素部分のうちからマーカーRに対応する3次元画素部分を特定した状態でDRR画像Dを生成する。生成されたDRR画像Dに基づいて、マーカーRを含む領域についての入力教師画像T1であるマーカー抽出用入力教師画像T11を生成する。また、生成されたDRR画像Dに基づいて、マーカーRを示すことによって抽出対象部分Qを示す画像であるマーカー抽出用出力教師画像T3を生成する。マーカー抽出用入力教師画像T11およびマーカー抽出用出力教師画像T3を用いて、マーカー抽出用学習モデルMβを生成する。そして、マーカー抽出用学習モデルMβに基づいて、X線透視画像Aに対してマーカーRを抽出することによって抽出対象部分Qを抽出する。
(その他の変形例)
また、上記第1および第2実施形態では、特定部分は骨部Hを含み、学習画像生成部(DRR画像生成部31、231、331および教師画像生成部32、232、332)を、コンピュータ断層撮影による3次元データ(CT画像データC)に基づいて、デジタル再構成シミュレーションにより生成された2次元投影画像(DRR画像D)に対して、骨部Hの画素値が骨部H以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像T1(T201、T301)と、入力教師画像T1(T201、T301)と同じ領域における抽出対象部分Qを示す画像または骨部Hを除く画像である出力教師画像T2(T302)と、を生成するように構成する例を示したが、本発明はこれに限られない。たとえば、骨部H以外の部分を特定部分とするようにしてもよい。すなわち、予め、骨部H以外の腫瘍部分に対応する3次元画素部分をCT画像データCにおいて指定することによって、腫瘍部分の画素値が変更されている画像を入力教師画像T1(T201、T301)として、学習モデルM(M300)を生成するように構成されていてもよい。
また、上記第1および第2実施形態では、学習画像生成部(DRR画像生成部31、231、331および教師画像生成部32、232、332)を、特定部分(骨部H)の画素値がランダムな値に変更されている画像を含むように複数の入力教師画像T1(T201、T301)を生成するように構成する例を示したが、本発明はこれに限られない。たとえば、ある一定の間隔の値で、骨部Hの画素値を変更するようにしてもよい。
また、上記第1~第実施形態では、学習画像生成部(DRR画像生成部31、231、331、431および教師画像生成部32、232、332、432)と学習モデル生成部33(233、333、433)とを含む第1制御部30(230、330、430)と、画像処理部51(351、451)を含む第2制御部50(350、450)と、をさらに備える例を示したが、本発明はこれに限られない。たとえば、1つの制御部が、学習画像生成部(DRR画像生成部31、231、331、431および教師画像生成部32、232、332、432)と、学習モデル生成部33(233、333、433)と、画像処理部51(351、451)とを備えるようにしてもよい。また、DRR画像生成部31(231、331、431)と、教師画像生成部32(232、332、432)と、学習モデル生成部33(233、333、433)と、画像処理部51(351、451)とが、それぞれ、別個の制御部(ハードウェア)によって構成されていてもよい。また、第1制御部30(230、330、430)および第2制御部50(350、450)が、DRR画像生成部31(231、331、431)を備えないようにしてもよい。たとえば、クラウド上に保存されているDRR画像D(D301、D401)を、ネットワークを介して取得するようにしてもよい。
また、上記第1実施形態では、学習画像生成部(DRR画像生成部31および教師画像生成部32)を、特定部分(骨部H)を含む2次元投影画像(DRR画像D)と、骨部Hを除くように生成されたDRR画像Dである合成用投影画像(合成用DRR画像E)とに基づいて、骨部Hの画素値が骨部H以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像T1を生成するように構成する例を示したが、本発明はこれに限られない。たとえば、DRR画像Dに含まれる画素(ピクセル)のうち、骨部Hに対応する部分を抽出するとともに、抽出された骨部Hに対応する画素の画素値を変更することによって入力教師画像T1を生成するようにしてもよい。
また、上記第1実施形態では、学習画像生成部(DRR画像生成部31および教師画像生成部32)を、3次元データ(CT画像データC)を構成する3次元画素部分のうちから特定部分(骨部H)に対応する3次元画素部分を除去することによって合成用投影画像(合成用DRR画像E)を生成するように構成する例を示したが、本発明はこれに限られない。たとえば、2次元に投影されたDRR画像Dに対して、画像処理を施すことによって、合成用投影画像Eを生成するようにしてもよい。また、骨部Hに対応する3次元画素部分のみを抽出した状態で、合成用DRR画像Eを生成するようにしてもよい。
また、上記第1実施形態では、学習画像生成部(DRR画像生成部31および教師画像生成部32)を、2次元投影画像(DRR画像D)と合成用投影画像(合成用DRR画像E)とを合成する際の画素値の割合を変更して、合成する画素値の割合が変更されたDRR画像Dと合成用DRR画像Eとを合成することによって入力教師画像T1を生成するように構成する例を示したが、本発明はこれに限られない。たとえば、DRR画像Dについては、画素値の割合を変更せずに、合成用DRR画像Eのみについて画素値を変更するようにしてもよい。また、アルファブレンディングを用いず、画素値を加算することによってDRR画像Dと合成用DRR画像Eとを合成するようにしてもよい。
また、上記参考例では、学習画像生成部(DRR画像生成部231および教師画像生成部232)を、3次元データ(CT画像データC)を構成する3次元画素部分のうちから、特定部分(骨部H)に対応する3次元画素部分の画素値データ(CT値)を、骨部H以外の部分に対応する3次元画素部分の画素値データ(CT値)に対して相対的に変更した状態で2次元に投影することによって、入力教師画像T201を生成するように構成する例を示したが、本発明の参考例はこれに限られない。たとえば、骨部Hに対応する3次元画素部分のうちから、一定の割合の3次元画素部分を除外した状態で、2次元に投影することによって入力教師画像T201を生成するようにしてもよい。
また、上記第実施形態では、特定部分は、骨部H以外の部分を含み、学習画像生成部(DRR画像生成部431および教師画像生成部432)を、コンピュータ断層撮影による3次元データ(CT画像データC)に基づいて、デジタル再構成シミュレーションにより生成された2次元投影画像(DRR画像D401)に対して、特定部分(骨部H以外の部分)の画素値が特定部分(骨部H以外の部分)以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像T401と、入力教師画像T401と同じ領域における特定部分(骨部H以外の部分)を除く画像である出力教師画像T402と、を生成するように構成する例を示したが、本発明はこれに限られない。たとえば、骨部H以外の部分の画素値を変更することによって入力教師画像T401を生成するように構成してもよい。
また、上記第1~第実施形態では、放射線治療または血管造影において、X線画像に対して抽出対象部分Qを抽出する処理または特定部分(骨部Hまたは骨部H以外の部分)を除去する処理を行う例を示したが、本発明はこれに限られない。たとえば、一般X線撮影によって取得されたX線撮影画像に対して、抽出対象部分Qを抽出する処理、または、特定部分を除く処理を行うようにしてもよい。
[態様]
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
(項目1)
3次元における画素値データを有する3次元データに基づいて取得された被検体の特定部分を含む領域についての2次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像と、前記入力教師画像と同じ領域における前記被検体の抽出対象部分を示す画像または前記特定部分を除く画像である出力教師画像と、を生成する学習画像生成部と、
前記入力教師画像および前記出力教師画像を用いて、機械学習を行うことにより、前記抽出対象部分を抽出するか、または、前記特定部分を除去するための学習モデルを生成する学習モデル生成部と、
学習済みの前記学習モデルに基づいて、X線撮影によって取得された前記被検体の前記特定部分を含むX線画像に対して、前記抽出対象部分を抽出する処理と、前記特定部分を除去する処理とのいずれか一方を行う画像処理部と、を備える、医用画像処理装置。
(項目2)
前記特定部分は骨部を含み、
前記学習画像生成部は、コンピュータ断層撮影による前記3次元データに基づいて、デジタル再構成シミュレーションにより生成された前記2次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む前記入力教師画像と、前記入力教師画像と同じ領域における前記抽出対象部分を示す画像または前記特定部分を除く画像である前記出力教師画像と、を生成するように構成されている、項目1に記載の医用画像処理装置。
(項目3)
前記学習画像生成部は、前記特定部分の画素値がランダムな値に変更されている画像を含むように複数の前記入力教師画像を生成するように構成されている、項目1または2に記載の医用画像処理装置。
(項目4)
前記学習画像生成部と前記学習モデル生成部とを含む第1制御部と、
前記画像処理部を含む第2制御部と、をさらに備える、項目1~3のいずれか1項に記載の医用画像処理装置。
(項目5)
前記学習画像生成部は、前記特定部分を含む前記2次元投影画像と、前記特定部分を除くように生成された前記2次元投影画像である合成用投影画像とに基づいて、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む前記入力教師画像を生成するように構成されている、項目1~4のいずれか1項に記載の医用画像処理装置。
(項目6)
前記学習画像生成部は、前記3次元データを構成する3次元画素部分のうちから前記特定部分に対応する前記3次元画素部分を除去することによって前記合成用投影画像を生成するように構成されている、項目5に記載の医用画像処理装置。
(項目7)
前記学習画像生成部は、前記2次元投影画像と前記合成用投影画像とを合成する際の画素値の割合を変更して、前記合成する画素値の割合が変更された前記2次元投影画像と前記合成用投影画像とを合成することによって前記入力教師画像を生成するように構成されている、項目5または6に記載の医用画像処理装置。
(項目8)
前記学習画像生成部は、前記3次元データを構成する3次元画素部分のうちから、前記特定部分に対応する前記3次元画素部分の前記画素値データを、前記特定部分以外の部分に対応する前記3次元画素部分の前記画素値データに対して相対的に変更した状態で2次元に投影することによって、前記入力教師画像を生成するように構成されている、項目1~4のいずれか1項に記載の医用画像処理装置。
(項目9)
前記特定部分は、骨部以外の部分を含み、
前記学習画像生成部は、コンピュータ断層撮影による前記3次元データに基づいて、デジタル再構成シミュレーションにより生成された前記2次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む前記入力教師画像と、前記入力教師画像と同じ領域における前記特定部分を除く画像である前記出力教師画像と、を生成するように構成されている、項目1に記載の医用画像処理装置。
(項目10)
3次元における画素値データを有する3次元データに基づいて取得された被検体の特定部分を含む領域についての2次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像と、前記入力教師画像と同じ領域における前記被検体の抽出対象部分を示す画像または前記特定部分を除く画像である出力教師画像と、を生成する学習画像生成部と、
前記入力教師画像および前記出力教師画像を用いて、機械学習を行うことにより、前記抽出対象部分を抽出するか、または、前記特定部分を除去するための学習モデルを生成する学習モデル生成部と、
X線撮影によって前記被検体の前記特定部分を含むX線画像を取得するX線撮影部と、
学習済みの前記学習モデルに基づいて、前記X線撮影部によって撮影された前記X線画像に対して、前記抽出対象部分を抽出する処理と、前記特定部分を除去する処理とのいずれか一方を行う画像処理部と、を備える、X線画像処理システム。
(項目11)
3次元における画素値データを有する3次元データに基づいて取得された被検体の特定部分を含む領域についての2次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像を生成するステップと、
前記入力教師画像と同じ領域における前記被検体の抽出対象部分を示す画像または前記特定部分を除く画像である出力教師画像を生成するステップと、
前記入力教師画像および前記出力教師画像を用いて、機械学習を行うことにより、前記抽出対象部分を抽出するか、または、前記特定部分を除去するための学習モデルを生成するステップと、を備える、学習モデルの生成方法。
100、200、300、400 X線画像処理システム
1 放射線照射装置
2 治療計画装置
3、203、303、403 学習装置(医用画像処理装置)
4、304 X線撮影部
5、205、305、405 X線画像処理装置(医用画像処理装置)
11、343 天板
30、230、330、430 第1制御部
31、231、331、431 DRR画像生成部(学習画像生成部)
32、232、332、432 教師画像生成部(学習画像生成部)
33、233、333、433 学習モデル生成部
50、350、450 第2制御部
51、351、451 画像処理部

Claims (8)

  1. 3次元における画素値データを有する3次元データに基づいて取得された被検体の特定部分を含む領域についての2次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像と、前記入力教師画像と同じ領域における抽出対象部分を示す画像または前記特定部分を除く画像である出力教師画像と、を生成する学習画像生成部と、
    前記入力教師画像および前記出力教師画像を用いて、機械学習を行うことにより、前記抽出対象部分を抽出するか、または、前記特定部分を除去するための学習モデルを生成する学習モデル生成部と、
    学習済みの前記学習モデルに基づいて、X線撮影によって取得された前記被検体の前記特定部分を含むX線画像に対して、前記抽出対象部分を抽出する処理と、前記特定部分を除去する処理とのいずれか一方を行う画像処理部と、を備え
    前記学習画像生成部は、前記特定部分と前記特定部分以外の部分とを含む前記2次元投影画像と、前記特定部分を除くように生成された前記2次元投影画像である合成用投影画像とを、前記2次元投影画像と前記合成用投影画像との画素値の割合を変更しながら合成することによって、前記特定部分の画素値が複数種類に変更された複数の前記入力教師画像を生成するように構成されている、医用画像処理装置。
  2. 前記特定部分は骨部を含み、
    前記学習画像生成部は、コンピュータ断層撮影による前記3次元データに基づいて、デジタル再構成シミュレーションにより生成された前記2次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む前記入力教師画像と、前記入力教師画像と同じ領域における前記抽出対象部分を示す画像または前記特定部分を除く画像である前記出力教師画像と、を生成するように構成されている、請求項1に記載の医用画像処理装置。
  3. 前記学習画像生成部は、前記特定部分の画素値がランダムな値に変更されている画像を含むように複数の前記入力教師画像を生成するように構成されている、請求項1または2に記載の医用画像処理装置。
  4. 前記学習画像生成部と前記学習モデル生成部とを含む第1制御部と、
    前記画像処理部を含む第2制御部と、をさらに備える、請求項1~3のいずれか1項に記載の医用画像処理装置。
  5. 前記学習画像生成部は、前記3次元データを構成する3次元画素部分のうちから前記特定部分に対応する前記3次元画素部分を除去することによって前記合成用投影画像を生成するように構成されている、請求項1~4のいずれか1項に記載の医用画像処理装置。
  6. 前記特定部分は、骨部以外の部分を含み、
    前記学習画像生成部は、コンピュータ断層撮影による前記3次元データに基づいて、デジタル再構成シミュレーションにより生成された前記2次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む前記入力教師画像と、前記入力教師画像と同じ領域における前記特定部分を除く画像である前記出力教師画像と、を生成するように構成されている、請求項1に記載の医用画像処理装置。
  7. 3次元における画素値データを有する3次元データに基づいて取得された被検体の特定部分を含む領域についての2次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像と、前記入力教師画像と同じ領域における抽出対象部分を示す画像または前記特定部分を除く画像である出力教師画像と、を生成する学習画像生成部と、
    前記入力教師画像および前記出力教師画像を用いて、機械学習を行うことにより、前記抽出対象部分を抽出するか、または、前記特定部分を除去するための学習モデルを生成する学習モデル生成部と、
    X線撮影によって前記被検体の前記特定部分を含むX線画像を取得するX線撮影部と、
    学習済みの前記学習モデルに基づいて、前記X線撮影部によって撮影された前記X線画像に対して、前記抽出対象部分を抽出する処理と、前記特定部分を除去する処理とのいずれか一方を行う画像処理部と、を備え
    前記学習画像生成部は、前記特定部分と前記特定部分以外の部分とを含む前記2次元投影画像と、前記特定部分を除くように生成された前記2次元投影画像である合成用投影画像とを、前記2次元投影画像と前記合成用投影画像との画素値の割合を変更しながら合成することによって、前記特定部分の画素値が複数種類に変更された複数の前記入力教師画像を生成するように構成されている、X線画像処理システム。
  8. 3次元における画素値データを有する3次元データに基づいて取得された被検体の特定部分を含む領域についての2次元投影画像に対して、前記特定部分の画素値が前記特定部分以外の部分の画素値に対して相対的に変更されている画像を含む入力教師画像を生成するステップと、
    前記入力教師画像と同じ領域における抽出対象部分を示す画像または前記特定部分を除く画像である出力教師画像を生成するステップと、
    前記入力教師画像および前記出力教師画像を用いて、機械学習を行うことにより、前記抽出対象部分を抽出するか、または、前記特定部分を除去するための学習モデルを生成するステップと、を備え
    前記入力教師画像を生成するステップは、前記特定部分と前記特定部分以外の部分とを含む前記2次元投影画像と、前記特定部分を除くように生成された前記2次元投影画像である合成用投影画像とを、前記2次元投影画像と前記合成用投影画像との画素値の割合を変更しながら合成することによって、前記特定部分の画素値が複数種類に変更された複数の前記入力教師画像を生成するステップを含む、学習モデルの生成方法。
JP2019167628A 2019-09-13 2019-09-13 医用画像処理装置、x線画像処理システム、および、学習モデルの生成方法 Active JP7226207B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019167628A JP7226207B2 (ja) 2019-09-13 2019-09-13 医用画像処理装置、x線画像処理システム、および、学習モデルの生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019167628A JP7226207B2 (ja) 2019-09-13 2019-09-13 医用画像処理装置、x線画像処理システム、および、学習モデルの生成方法

Publications (2)

Publication Number Publication Date
JP2021041090A JP2021041090A (ja) 2021-03-18
JP7226207B2 true JP7226207B2 (ja) 2023-02-21

Family

ID=74861818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019167628A Active JP7226207B2 (ja) 2019-09-13 2019-09-13 医用画像処理装置、x線画像処理システム、および、学習モデルの生成方法

Country Status (1)

Country Link
JP (1) JP7226207B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117615713A (zh) * 2021-07-20 2024-02-27 株式会社岛津制作所 X射线拍摄系统及图像处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018083844A1 (ja) 2016-11-02 2018-05-11 株式会社島津製作所 X線透視装置およびx線透視方法
WO2018159775A1 (ja) 2017-03-03 2018-09-07 国立大学法人筑波大学 対象追跡装置
WO2019003474A1 (ja) 2017-06-30 2019-01-03 株式会社島津製作所 放射線治療用追跡装置、位置検出装置および動体追跡方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6785485B2 (ja) * 2016-12-01 2020-11-18 株式会社島津製作所 X線透視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018083844A1 (ja) 2016-11-02 2018-05-11 株式会社島津製作所 X線透視装置およびx線透視方法
WO2018159775A1 (ja) 2017-03-03 2018-09-07 国立大学法人筑波大学 対象追跡装置
WO2019003474A1 (ja) 2017-06-30 2019-01-03 株式会社島津製作所 放射線治療用追跡装置、位置検出装置および動体追跡方法

Also Published As

Publication number Publication date
JP2021041090A (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
KR102070714B1 (ko) 오브젝트 위치 결정 장치, 오브젝트 위치 결정 방법, 오브젝트 위치 결정 프로그램, 및 방사선 치료 시스템
JP5345947B2 (ja) 対象物を撮像する撮像システム及び撮像方法
JP3896188B2 (ja) 放射線治療計画のための画像処理装置
KR102579039B1 (ko) 의료용 화상 처리 장치, 치료 시스템, 및 의료용 화상 처리 프로그램
US8126224B2 (en) Method and apparatus for instrument tracking on a scrolling series of 2D fluoroscopic images
US20120121064A1 (en) Procedure for processing patient radiological images
WO2021171394A1 (ja) 学習済みモデルの作成方法、画像生成方法および画像処理装置
TWI688373B (zh) 醫用畫像處理裝置、治療系統及醫用畫像處理程式
KR102283934B1 (ko) Pet 영상에 기반한 가상 ct 영상 및 감쇠보정 pet 영상 생성 방법 및 시스템
JP7226207B2 (ja) 医用画像処理装置、x線画像処理システム、および、学習モデルの生成方法
WO2020230642A1 (ja) 医用画像処理装置、医用画像処理プログラム、医用装置、および治療システム
JP7323128B2 (ja) 医用画像処理装置、医用装置、治療システム、医用画像処理方法、およびプログラム
US8358874B2 (en) Method for displaying computed-tomography scans, and a computed-tomography system or computed-tomography system assembly for carrying out this method
JP6797555B2 (ja) 医用情報処理装置
JP2023103359A (ja) 学習装置、x線画像処理システム、および、学習モデルの生成方法
WO2022190846A1 (ja) 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、および放射線治療装置
WO2024070093A1 (ja) 照射位置確認支援装置、照射位置確認支援方法、および照射位置確認支援プログラム
JP2019180799A (ja) 医用画像処理装置、医用画像処理方法、およびプログラム
WO2024117129A1 (ja) 医用画像処理装置、治療システム、医用画像処理方法、およびプログラム
JP6855173B2 (ja) X線ct装置
KR20230166023A (ko) Ar 영상 제공 방법 및 ar 영상 제공 장치
JP2021013741A (ja) アパーチャ制御を用いる低線量ct透視のシステムおよび方法
KR20230151364A (ko) 의료 영상 기반의 시술 시뮬레이션 제공 방법 및 장치
KR20220098740A (ko) X선 영상 획득 방법
JP2009050413A (ja) 記憶媒体及びx線ctシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230123

R151 Written notification of patent or utility model registration

Ref document number: 7226207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151