JP7238185B1 - 画像生成装置、医用装置、および記憶媒体 - Google Patents
画像生成装置、医用装置、および記憶媒体 Download PDFInfo
- Publication number
- JP7238185B1 JP7238185B1 JP2022039750A JP2022039750A JP7238185B1 JP 7238185 B1 JP7238185 B1 JP 7238185B1 JP 2022039750 A JP2022039750 A JP 2022039750A JP 2022039750 A JP2022039750 A JP 2022039750A JP 7238185 B1 JP7238185 B1 JP 7238185B1
- Authority
- JP
- Japan
- Prior art keywords
- ray image
- virtual monochromatic
- energy
- image
- monochromatic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 53
- 210000004872 soft tissue Anatomy 0.000 claims description 31
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000004519 manufacturing process Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims 1
- 230000006866 deterioration Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/037—Emission tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- High Energy & Nuclear Physics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】画質の劣化が低減された仮想単色X線画像を提供する。【解決手段】第1のエネルギー(50keV)の仮想単色X線画像(a1~az)のシリーズAと、第2のエネルギー(70keV)の仮想単色X線画像(b1~bz)のシリーズBを再構成すること、再構成された第2のエネルギー(70keV)の仮想単色X線画像(b1~bz)に基づいて作成された入力画像を学習済みモデル71に入力し、前記学習済みモデル71を用いて、第1のエネルギー(50keV)の仮想単色X線画像(c1~cz)のシリーズCを推論すること、前記再構成された第1のエネルギー(50(keV))の仮想単色X線画像(a1~az)のシリーズAと、前記推論された第1のエネルギー(50(keV))の仮想単色X線画像(c1~cz)のシリーズCとに基づいて、補正された第1のエネルギーの仮想単色X線画像(d1~dz)のシリーズDを生成する。【選択図】図4
Description
本発明は、撮影対象の仮想単色X線画像を生成する画像生成装置、当該画像生成装置を含む医用装置、および撮影対象の仮想単色X線画像を生成するための命令が記憶された記憶媒体に関する。
被検体を非侵襲的に撮影する医用装置としてCT装置が知られている。CT装置は、短いスキャン時間で被検体の断層画像を取得することができるので、病院などの医療施設に普及している。
CT装置は、X線管の陰極-陽極管に所定の電圧を印加し、X線を発生させる。発生したX線は被検体を透過して検出器で検出される。CT装置は、検出器で検出されたデータに基づいて、被検体のCT画像を再構成している。
CT装置の撮影技術として、SECT(Single Energy CT)が知られている。SECTは、X線管の陰極-陽極管に所定の電圧(例えば、120kVp)を印加し、X線を発生させ、被検体のCT画像を得る方法である。しかし、SECTでは、異なる物質であってもCT値が近い値になることがあり、異なる物質の同定が難しい場合がある。
そこで、DECT(Dual Energy CT)の技術が研究、開発されている。DECTは、異なるエネルギー領域のX線を利用して物質の弁別を行う技術であり、DECTに対応したCT装置も市販されている。DECTの技術は応用範囲が広く、例えば、各エネルギーの仮想単色X線画像を再構成する技術にも使用することができる。
一方、DECTに対応したCT装置を導入していない医療機関も多い。そこで、DECTに対応したCT装置を導入していない医療機関であっても、仮想単色X線画像を使用した診断を提供することができるように、深層学習を利用して、SECTにより取得された画像から仮想単色X線画像を推論する技術も研究、開発されている。
しかし、DECTの技術で再構成された仮想単色X線画像については、DECTの原理上、低いエネルギーの仮想単色X線画像を作成する際に画質が劣化する(例えば、ノイズが増加する、画像テクスチャが劣化する)という問題がある。
そこで、画質の劣化が低減された仮想単色X線画像を提供することができる技術が望まれている。
本発明の第1の観点は、撮影対象から収集されたデータに基づいて、第1のエネルギーの仮想単色X線画像と、第2のエネルギーの仮想単色X線画像を再構成すること、
前記再構成された第2のエネルギーの仮想単色X線画像に基づいて作成された入力画像を学習済みモデルに入力し、前記学習済みモデルを用いて、第1のエネルギーの仮想単色X線画像を推論すること、
前記再構成された第1のエネルギーの仮想単色X線画像と、前記推論された第1のエネルギーの仮想単色X線画像とに基づいて、補正された第1のエネルギーの仮想単色X線画像を生成すること、
を含む動作を実行する1つまたは複数のプロセッサを含む画像生成装置である。
前記再構成された第2のエネルギーの仮想単色X線画像に基づいて作成された入力画像を学習済みモデルに入力し、前記学習済みモデルを用いて、第1のエネルギーの仮想単色X線画像を推論すること、
前記再構成された第1のエネルギーの仮想単色X線画像と、前記推論された第1のエネルギーの仮想単色X線画像とに基づいて、補正された第1のエネルギーの仮想単色X線画像を生成すること、
を含む動作を実行する1つまたは複数のプロセッサを含む画像生成装置である。
また、本発明の第2の観点は、撮影対象から収集されたデータに基づいて、第1のエネルギーの仮想単色X線画像と、第2のエネルギーの仮想単色X線画像を再構成すること、
前記再構成された第2のエネルギーの仮想単色X線画像に基づいて作成された入力画像を学習済みモデルに入力し、前記学習済みモデルを用いて、第1のエネルギーの仮想単色X線画像を推論すること、
前記再構成された第1のエネルギーの仮想単色X線画像と、前記推論された第1のエネルギーの仮想単色X線画像とに基づいて、補正された第1のエネルギーの仮想単色X線画像を生成すること、
を含む動作を実行する1つまたは複数のプロセッサを含む医用装置である。
前記再構成された第2のエネルギーの仮想単色X線画像に基づいて作成された入力画像を学習済みモデルに入力し、前記学習済みモデルを用いて、第1のエネルギーの仮想単色X線画像を推論すること、
前記再構成された第1のエネルギーの仮想単色X線画像と、前記推論された第1のエネルギーの仮想単色X線画像とに基づいて、補正された第1のエネルギーの仮想単色X線画像を生成すること、
を含む動作を実行する1つまたは複数のプロセッサを含む医用装置である。
本発明の第3の観点は、1つ以上のプロセッサによって実行可能な1つ以上の命令が格納された、1つ以上の非一時的でコンピュータ読取可能な記録媒体であって、前記1つ以上の命令は、前記1つ以上のプロセッサに、
撮影対象から収集されたデータに基づいて、第1のエネルギーの仮想単色X線画像と、第2のエネルギーの仮想単色X線画像を再構成させること、
前記再構成された第2のエネルギーの仮想単色X線画像に基づいて入力画像を作成させること、
前記入力画像を学習済みモデルに入力し、前記学習済みモデルを用いて、第1のエネルギーの仮想単色X線画像を推論させること、
前記再構成された第1のエネルギーの仮想単色X線画像と、前記推論された第1のエネルギーの仮想単色X線画像とに基づいて、補正された第1のエネルギーの仮想単色X線画像を生成させること、
を含む動作を実行させる、記憶媒体である。
撮影対象から収集されたデータに基づいて、第1のエネルギーの仮想単色X線画像と、第2のエネルギーの仮想単色X線画像を再構成させること、
前記再構成された第2のエネルギーの仮想単色X線画像に基づいて入力画像を作成させること、
前記入力画像を学習済みモデルに入力し、前記学習済みモデルを用いて、第1のエネルギーの仮想単色X線画像を推論させること、
前記再構成された第1のエネルギーの仮想単色X線画像と、前記推論された第1のエネルギーの仮想単色X線画像とに基づいて、補正された第1のエネルギーの仮想単色X線画像を生成させること、
を含む動作を実行させる、記憶媒体である。
再構成された第2のエネルギーの仮想単色X線画像に基づいて、第1のエネルギーの仮想単色X線画像を推論する場合、推論された第1のエネルギーの仮想単色X線画像は、再構成された第2のエネルギーの仮想単色X線画像の画質を引き継ぐ傾向がある。したがって、再構成された第2のエネルギーの仮想単色X線画像として、再構成された第1のエネルギーの仮想単色X線画像よりも良好な画質を有する画像を使用することにより、推論された第1のエネルギーの仮想単色X線画像は、再構成された第2のエネルギーの仮想単色X線画像の良好な画質を引き継ぐことができる。このため、再構成された第2のエネルギーの仮想単色X線画像に基づいて、第1のエネルギーの仮想単色X線画像を推論することにより、再構成された第1のエネルギーの仮想単色X線画像では低画質であった領域の画質が改善された第1のエネルギーの仮想単色X線画像を推論することができる。
このように、本発明では、再構成された第1のエネルギーの仮想単色X線画像では低画質であった領域の画質が改善された第1のエネルギーの仮想単色X線画像を推論することができる。したがって、再構成された第1のエネルギーの仮想単色X線画像と、推論された第1のエネルギーの仮想単色X線画像とに基づいて、補正された第1のエネルギーの仮想単色X線画像を生成することにより、画質が改善された第1のエネルギーの仮想単色X線画像を得ることができる。
以下、発明を実施するための形態について説明するが、本発明は、以下の形態に限定されることはない。
図1は、第1の実施形態におけるCTシステム100の斜視図、図2は、本実施形態におけるCTシステム100のブロック図である。
CTシステム100は、ガントリ102を有している。ガントリ102は開口部を有しており、その開口部に撮影対象112が搬送され、撮影対象112をスキャンする。
ガントリ102には、X線管104、フィルタ部103、前置コリメータ105、および検出器アレイ108などが取り付けられている。
X線管104は、陰極-陽極管に所定の電圧が印加されることにより、X線を発生させるものである。第1の実施形態では、X線管104は、Rapid kV switching方式に対応したX線管である。
フィルタ部103は、例えば、平板フィルタおよび/又はボウタイフィルタを含んでいる。
前置コリメータ105は、不要な領域にX線が照射されないようにX線の照射範囲を絞り込むための部材である。
前置コリメータ105は、不要な領域にX線が照射されないようにX線の照射範囲を絞り込むための部材である。
検出器アレイ108は複数の検出器素子202を含んでいる。複数の検出器素子202は、X線管104から照射され、患者などの撮影対象112を通過するX線ビーム106を検出する。したがって、検出器アレイ108は、ビューごとに投影データを取得することができる。
検出器アレイ108により検出された投影データは、DAS214で収集される。DAS214は、収集した投影データに対して、サンプリング、デジタル変換などを含む所定の処理を実行する。処理された投影データは、コンピュータ216に送信される。コンピュータ216は、DAS214からのデータを記憶装置218に記憶する。記憶装置218は、プログラムや、プロセッサで実行される命令などを記憶する1つ以上の記憶媒体を含むものである。記憶媒体は、例えば、1つ以上の非一時的でコンピュータ読取可能な記録媒体とすることができる。記憶装置218は、例えば、ハードディスクドライブ、フロッピーディスクドライブ、コンパクトディスク読み出し/書き込み(CD-R/W)ドライブ、デジタル多用途ディスク(DVD)ドライブ、フラッシュドライブ、および/またはソリッドステート記憶ドライブを含むことができる。
コンピュータ216は1つ又は複数のプロセッサを含んでいる。コンピュータ216は、1つ又は複数のプロセッサを使用して、DAS214、X線コントローラ210、および/又はガントリモータコントローラ212に、コマンドおよびパラメータを出力し、データ取得および/または処理などのシステム動作を制御する。
コンピュータ216には、オペレータコンソール220が結合されている。オペレータは、オペレータコンソール220を操作することにより、CTシステム100の動作に関連する所定のオペレータ入力をコンピュータ216に入力することができる。コンピュータ216は、オペレータコンソール220を介して、コマンドおよび/またはスキャンパラメータを含むオペレータ入力を受信し、そのオペレータ入力に基づいてシステム動作を制御する。オペレータコンソール220は、オペレータがコマンドおよび/またはスキャンパラメータを指定するためのキーボード(図示せず)またはタッチスクリーンを含むことができる。
X線コントローラ210は、コンピュータ216からの制御信号に基づいてX線管104を制御する。第1の実施形態では、X線コントローラ210は、X線管104の陰極-陽極管に印加される電圧を第1の電圧と第2の電圧との間で高速で切り替えながら、X線管104からX線ビームが照射されるように、X線管104を制御することができる。また、ガントリモータコントローラ212は、コンピュータ216からの制御信号に基づいてガントリモータを制御する。
図2は、1つのオペレータコンソール220のみを示しているが、2つ以上のオペレータコンソールをコンピュータ216に結合してもよい。
また、CTシステム100は、例えば、有線ネットワークおよび/又は無線ネットワークを介して、遠隔に位置する複数のディスプレイ、プリンタ、ワークステーション、および/もしくは同様のデバイスが結合されるようにしてもよい。
一実施形態では、例えば、CTシステム100は、画像保管通信システム(PACS)224を含んでいてもよいし、PACS224に結合されていてもよい。例示的な実施態様では、PACS224は、放射線科情報システム、病院情報システム、および/または内部もしくは外部ネットワーク(図示せず)などの遠隔システムに結合されていてもよい。
コンピュータ216は、テーブルモータコントローラ118に、テーブル116を制御するためのコマンドを供給する。テーブルモータコントローラ118は、受け取ったコマンドに基づいてテーブル116を制御することができる。特に、テーブルモータコントローラ118は、ガントリ102の開口部内で撮影対象112が適切に位置決めされるように、テーブル116を移動することができる。
前述のように、DAS214は、検出器素子202によって取得された投影データをサンプリングしてデジタル変換する。その後、画像再構成器230が、サンプリングされデジタル変換されたデータを使用して画像を再構成する。画像再構成器230は1つ又は複数のプロセッサを含んでおり、このプロセッサが画像再構成の処理を実行することができる。図2では、画像再構成器230は、コンピュータ216とは別個の構成要素として示されているが、画像再構成器230は、コンピュータ216の一部を形成するものであってもよい。また、コンピュータ216が、画像再構成器230の1つまたは複数の機能を実施してもよい。さらに、画像再構成器230は、CTシステム100からから離れた位置に設けられ、有線ネットワークまたは無線ネットワークを使用してCTシステム100に動作可能に接続されるようにしてもよい。コンピュータ216および画像再構成器230は画像生成装置として機能する。
画像再構成器230は、再構成された画像を記憶装置218に記憶することができる。また、画像再構成器230は、再構成された画像をコンピュータ216に送信してもよい。コンピュータ216は、再構成された画像および/または患者情報を、コンピュータ216および/または画像再構成器230に通信可能に結合されたディスプレイ232に送信することができる。
本明細書で説明される様々な方法およびプロセスは、CTシステム100内の非一時的な記憶媒体に実行可能命令として記憶することができる。この実行可能命令は、1つの記憶媒体に記憶されていてもよいし、複数の記憶媒体に分散させて記憶されるようにしてもよい。CTシステム100に備えられる1つ以上のプロセッサは、記憶媒体に記憶された命令に従って、本明細書で説明される様々な方法、ステップ、およびプロセスを実行する。
CTシステム100は上記のように構成されている。
CTシステム100は上記のように構成されている。
CTシステム100は、DECTの技術を使用した撮影を行うことができる。本実施形態では、CTシステム100は、Rapid kV switching方式により、DECTイメージングを実行することができるように構成されている。DECTは、異なるエネルギー領域のX線を利用して物質の弁別を行う技術であり、応用範囲が広く、例えば、各エネルギーの仮想単色X線画像を再構成する技術にも使用することができる。仮想単色X線画像は、ビームハードニングアーチファクトを抑制することや金属アーチファクトを低減することできるなどのメリットがある。したがって、DECTの技術を搭載したCT装置を導入する医療機関が年々増加してきている。
しかし、DECTに対応したCT装置を導入していない医療機関も存在する。そこで、DECTに対応したCT装置を導入していない医療機関であっても、仮想単色X線画像を使用した診断を提供することができるように、深層学習を利用して、SECTにより取得された画像から仮想単色X線画像を推論する技術も研究、開発されている。
このように、DECT技術は、患者の診断をする上で非常に有用な技術である。一方で、DECTの技術は様々な問題も含んでいる。例えば、DECTの技術は、異なるエネルギーの仮想単色X線画像を再構成することができるが、DECTの原理上、低いエネルギーの仮想単色X線画像を再構成する際にノイズが増加するという問題がある。
そこで、本願発明者は、鋭意研究し、高品質の仮想単色X線画像を生成することを考え出した。以下に、本実施形態において、高品質の仮想単色X線画像を得るための基本的な考え方について説明する。
先に説明したように、DECTに対応したCT装置を導入していない医療機関であっても、仮想単色X線画像を使用した診断を提供することができるように、深層学習を利用して仮想単色X線画像を推論する技術が研究、開発されている。例えば、ニューラルネットワークに、DECTにより収集されたデータを学習させて、学習済みニューラルネットワークを作成し、この学習済みニューラルネットワークを用いて仮想単色X線画像を推論する技術が研究、開発されている。本願発明者らは、学習済みニューラルネットワークを用いて仮想単色X線画像を推論する技術を検討していく過程で、仮想単色X線画像の画質に、特徴的な傾向が見られることに気が付いた。
具体的には、本願発明者らは、学習済みニューラルネットワークにより推論された仮想単色X線画像が、学習済みニューラルネットワークに入力される入力画像の画質(例えば、画像のテクスチャ、画像のノイズ)の特徴を引き継ぐ傾向があるという知見を得た。本実施形態では、この知見を利用して、仮想単色X線画像の画質改善を実現している。以下に、画質が改善された仮想単色X線画像を取得するための手法の基本的な考え方について、図3を参照しながら説明する。
図3は、画質が改善された仮想単色X線画像を取得するための手法の基本的な考え方を説明するためのフロー図である。
ステップST1では、DECTの技術を利用して撮影対象をスキャンする。DECT技術を利用したスキャンとしては、例えば、Rapid kV switching 方式を用いたスキャンを実行することができる。
ステップST2では、ステップST1で取得したデータに基づいて、複数のエネルギーEi(i=1~n)の仮想単色X線画像を再構成する。ここでは、複数のエネルギーEi(i=1~n)の仮想単色X線画像として、i=1、すなわち、第1のエネルギーE1の仮想単色X線画像a1-azのシリーズAと、i=2、すなわち、第2のエネルギーE2の仮想単色X線画像b1―bzのシリーズBを再構成することを考える。第1のエネルギーE1は、例えば、50(keV)であり、第2のエネルギーE2は、例えば、70(keV)である。
第1のエネルギーE1の仮想単色X線画像a1-azのシリーズAは、低エネルギーの仮想単色X線画像であり、DECTの原理上、画質が劣化する傾向がある。一方、DECTの技術により再構成される複数のエネルギーEi(i=1~n)の仮想単色X線画像の中には、50(keV)などの低エネルギーの仮想単色X線画像よりも画質の劣化が少ない第2のエネルギーの仮想単色X線画像が存在する。例えば、第2のエネルギーE2が70(keV)の仮想単色X線画像は、第1のエネルギーE1が50(keV)の仮想単色X線画像よりも、良好な画質を有することが知られている。
一方、先に述べたように、本願発明者らは、学習済みニューラルネットワークにより推論された仮想単色X線画像が、学習済みニューラルネットワークに入力される入力画像の画質(例えば、画像のテクスチャ、画像のノイズ)の特徴を引き継ぐ傾向があることを見いだしている。したがって、深層学習の技術を利用して、画質の劣化が比較的少ない第2のエネルギーE2(70keV)の仮想単色X線画像b1―bzのシリーズBに基づいて、第1のエネルギーE1の仮想単色X線画像c1―czのシリーズCを推論した場合、推論された画像シリーズCは、画質の劣化が少ない画像シリーズBの画質を引き継ぐと考えられる。このため、再構成された第1のエネルギーE1の仮想単色X線画像a1-azのシリーズAでは低画質で描出された領域が、推論された第1のエネルギーE1の仮想単色X線画像c1―czのシリーズCでは画質が改善された領域として描出できると考えられる。
そこで、本実施形態では、ステップST3において、深層学習の技術を利用して、第2のエネルギーE2(70keV)の仮想単色X線画像b1―bzのシリーズBに基づいて、第1のエネルギーE1の仮想単色X線画像c1―czのシリーズCを推論する。
次に、ステップST4において、再構成された第1のエネルギーE1の仮想単色X線画像a1―azのシリーズAと、推論された第1のエネルギーE1の仮想単色X線画像c1-czのシリーズCに基づいて、補正された第1のエネルギーE1の仮想単色X線画像d1―dzのシリーズDを生成する。したがって、品質が改善された第1のエネルギーE1の仮想単色X線画像d1―dzのシリーズDを取得することができると考えられる。
本願発明者は、上記の原理に従って、品質が改善された第1のエネルギーの仮想単色X線画像を取得することを考えた。
以下に、上記の原理に従って、品質が改善された第1のエネルギーE1の仮想単色X線画像を取得するフローについて説明する。
図4は、品質が改善された第1のエネルギーE1の仮想単色X線画像を取得するフローを示す図である。
尚、図3を参照しながら説明したように、本実施形態では、第2のエネルギーE2の仮想単色X線画像から第1のエネルギーE1の仮想単色X線画像を推論するので、この推論を行うことができる学習済みモデルを事前に用意しておく必要がある。そこで、以下では、最初に、この学習済みモデルを生成する学習フェーズについて説明する。そして、学習フェーズを説明した後で、上記の原理に従って高品質な第1のエネルギーの仮想単色X線画像を取得するフローについて説明する。
尚、図3を参照しながら説明したように、本実施形態では、第2のエネルギーE2の仮想単色X線画像から第1のエネルギーE1の仮想単色X線画像を推論するので、この推論を行うことができる学習済みモデルを事前に用意しておく必要がある。そこで、以下では、最初に、この学習済みモデルを生成する学習フェーズについて説明する。そして、学習フェーズを説明した後で、上記の原理に従って高品質な第1のエネルギーの仮想単色X線画像を取得するフローについて説明する。
(学習フェーズについて)
学習フェーズでは、先ず、トレーニングデータを生成するための元になる原画像を用意する。
第1の実施形態では、原画像として、DECTにより取得された異なるエネルギーEi(i=1~n)の仮想単色X線画像を用意する。
学習フェーズでは、先ず、トレーニングデータを生成するための元になる原画像を用意する。
第1の実施形態では、原画像として、DECTにより取得された異なるエネルギーEi(i=1~n)の仮想単色X線画像を用意する。
本実施形態では、仮想単色X線画像のエネルギーEiとして、第1のエネルギーE1(i=1)と、第2のエネルギーE2(i=2)の2つのエネルギーを考えることにする。第1のエネルギーE1は50(keV)であり、第2のエネルギーE2は70(keV)である。したがって、原画像として、第1のエネルギーE1(=50(keV))の仮想単色X線画像のセットVと、第2のエネルギーE2(=70(keV))の仮想単色X線画像のセットWを用意する。尚、3種類に以上のエネルギーE1~En(n≧3)の仮想単色X線画像を原画像として用意してもよい。
次に、これらの仮想単色X線画像のセットVおよびWに対して、図4に示すように、前処理68を実行する。
前処理68には、例えば、画像を切り出しする処理、標準化処理、正規化処理、画像反転処理、画像回転処理、拡大率変更処理、画質変更処理などがある。原画像のセットVおよびWを前処理することにより、前処理された仮想単色X線画像のセットVAおよびWAを得ることができる。前処理された仮想単色X線画像のセットVAおよびWAが、学習済みモデルを作成するためのトレーニングデータ60として使用される。
次に、トレーニングデータ60をニューラルネットワーク70に学習させる。ニューラルネットワーク70は、例えば、畳み込みニューラルネットワークを使用することができる。本実施形態では、70(keV)のエネルギーの仮想単色X線画像に基づいて、50(keV)のエネルギーの仮想単色X線画像を出力するように、ニューラルネットワーク70を学習させ、学習済みモデル71を作成する。
学習済みモデル71を作成した後、学習済みモデル71の評価を行う。評価は、例えば、混同行列(Confusion Matrix)を使用することができる。評価を表す指標としては、例えば、正解度(accuracy)を使用することができる。
評価が良好であれば、上記の学習済みモデル71を、後述する推論(ステップST3)を実行するためのモデルとして使用する。評価が不良の場合、例えば、トレーニングデータを追加するなどして、学習フェーズを再度実行する。
この学習済みモデル71は、CTシステム100の記憶装置218に記憶される。尚、学習済みモデル71を、CTシステム100がアクセス可能な外部記憶装置に記憶してもよい。
本実施形態では、学習済みモデル71を使用して高品質の仮想単色X線画像を生成している。以下に、学習済みモデル71を使用して高品質の仮想単色X線画像を生成するフローについて、図4の右側のフローを参照しながら説明する。
ステップST1では、DECTの技術を利用して撮影対象をスキャンする。DECT技術を利用したスキャンとしては、例えば、Rapid kV switching 方式を用いたスキャンを実行することができる。
ステップST2では、ステップST1で取得したデータに基づいて、複数のエネルギーEi(i=1~n)の仮想単色X線画像を再構成する。
スキャンにより得られたデータは、DAS214(図2参照)で収集され、収集されたデータは、コンピュータ216又は画像再構成器230に送信される。コンピュータ216又は画像再構成器230では、プロセッサが、スキャンにより得られたデータに基づいて、異なるエネルギーの仮想単色X線画像を再構成する。第1の実施形態では、第1のエネルギーE1の仮想単色X線画像a1~azのシリーズAと、第2のエネルギーE2の仮想単色X線画像b1~bzのシリーズBを再構成する。ここでは、第1のエネルギーE1は50(keV)であり、第2のエネルギーE2は70(keV)とするが、他のエネルギー値であってもよい。これらの仮想単色X線画像のシリーズAおよびBを再構成した後、ステップST3に進む。
ステップST3では、コンピュータ216が、第2のエネルギーE2(=70keV)の仮想単色X線画像b1~bzのシリーズBに基づいて、第1のエネルギーE1(=50keV)の仮想単色X線画像c1~czのシリーズCを推論する推論フェーズを実行する。
推論フェーズでは、コンピュータ216が、第2のエネルギーE2(=70keV)の各仮想単色X線画像b1~bzを前処理して、学習済みモデル71に入力される入力画像を生成する。
次に、コンピュータ216は、入力画像を学習済みモデル71に入力し、学習済みモデル71を用いて、第1のエネルギーE1(=50keV)の仮想単色X線画像c1~czのシリーズCを推論する。画像シリーズCを推論した後、ステップST4に進む。
ステップST4では、コンピュータ216が、再構成された第1のエネルギーE1(=50keV)の仮想単色X線画像a1~azのシリーズAと、推論された第1のエネルギーE1(=50keV)の仮想単色X線画像c1~czのシリーズCに基づいて、補正された第1のエネルギーE1(=50keV)の仮想単色X線画像d1~dzのシリーズDを生成する。
この生成方法について、以下に、図5を参照しながら説明する。
この生成方法について、以下に、図5を参照しながら説明する。
図5は、ステップST4において、補正された第1のエネルギーE1(=50keV)の仮想単色X線画像d1~dzのシリーズDを生成する方法の説明図である。
ステップST41において、コンピュータ216は、再構成された第1のエネルギーE1(=50keV)の仮想単色X線画像a1~azのシリーズAの中から、1枚の仮想単色X線画像ajを取り出す。ここでは、j=1、すなわち、仮想単色X線画像a1を取り出すとする。仮想単色X線画像a1を取り出したら、ステップST42に進む。
ステップST42では、コンピュータ216が、仮想単色X線画像a1の中から、軟組織の可能性が高い領域を特定する。
図6は、ステップST42において、軟組織の可能性が高い領域を特定する方法の説明図である。
図6には、ピクセルのCT値が、軟組織のCT値であるか否かを判断する基準となる2つの閾値TH1およびTH2が示されている。閾値TH1は軟組織のCT値の下限値を表しており、閾値TH2は軟組織のCT値の上限値を表している。したがって、TH1≦v≦TH2の範囲G1は、軟組織のCT値が含まれる可能性が高い範囲を表しており、v<TH1又はTH2<vの範囲G2は、軟組織のCT値が含まれる可能性が低い範囲を表している。軟組織のCT値は、概ね-150(HU)~+150(HU)の範囲内に含まれていることが多い。したがって、TH1およびTH2は、例えば、TH1=-150(HU)、TH2=+150(HU)と定めることができる。
図6には、ピクセルのCT値が、軟組織のCT値であるか否かを判断する基準となる2つの閾値TH1およびTH2が示されている。閾値TH1は軟組織のCT値の下限値を表しており、閾値TH2は軟組織のCT値の上限値を表している。したがって、TH1≦v≦TH2の範囲G1は、軟組織のCT値が含まれる可能性が高い範囲を表しており、v<TH1又はTH2<vの範囲G2は、軟組織のCT値が含まれる可能性が低い範囲を表している。軟組織のCT値は、概ね-150(HU)~+150(HU)の範囲内に含まれていることが多い。したがって、TH1およびTH2は、例えば、TH1=-150(HU)、TH2=+150(HU)と定めることができる。
コンピュータ216は、仮想単色X線画像a1の各ピクセルのCT値vを、閾値TH1およびTH2と比較し、ピクセルごとに、CT値vが、TH1≦v≦TH2の範囲G1に含まれているのか、それとも、v<TH1又はTH2<vの範囲G2に含まれているのかを判定する。
ここでは、説明の便宜上、仮想単色X線画像a1の領域R1に含まれるピクセルP11~P1aのCT値vが、TH1≦v≦TH2であり、領域R2に含まれるピクセルP21~P2bのCT値vが、v<TH1又はTH2<vであるとする。
したがって、コンピュータ216は、仮想単色X線画像a1の中から、TH1≦v≦TH2の範囲G1に含まれるCT値vを有するピクセルP11~P1aを含む領域R1を、軟組織の可能性が高い第1の領域として特定する。一方、コンピュータ216は、仮想単色X線画像a1の中から、v<TH1又はTH2<vの範囲G2に含まれるCT値を有するピクセルP21~P2bを含む領域R2を、軟組織の可能性が低い第2の領域として特定する。
したがって、ステップST42の処理を実行することにより、仮想単色X線画像a1において、軟組織に属する可能性が高いピクセルP11~P1aと、軟組織に属する可能性が低いピクセルP21~P2bを特定することができる。
次に、コンピュータ216は、ステップST43において、推論された第1のエネルギーE1(=50keV)の仮想単色X線画像c1~czのシリーズCの中から、仮想単色X線画像a1と同じ断面の画像に対応する仮想単色X線画像c1を取り出す。仮想単色X線画像c1を取り出したら、ステップST44に進む。
ステップST44では、コンピュータ216は、仮想単色X線画像c1の中から、軟組織の可能性が高い領域を特定する。具体的には、コンピュータ216は、仮想単色X線画像c1の中から、ステップST42で特定された仮想単色X線画像a1の領域R1に対応する領域R3を、軟組織の可能性が高い第3の領域として特定する。更に、コンピュータ216は、仮想単色X線画像c1の中から、ステップST42で特定された仮想単色X線画像a1の領域R2に対応する領域R4を、軟組織の可能性が低い第4の領域として特定する。
したがって、ステップST44の処理を実行することにより、仮想単色X線画像c1において、軟組織に属する可能性が高いピクセルP31~P3aと、軟組織に属する可能性が低いピクセルP41~P4bを特定することができる。
次に、コンピュータ216は、ステップST45に進む。ステップST45では、再構成された第1のエネルギーE1(=50keV)の仮想単色X線画像a1と、推論された第1のエネルギーE1(=50keV)の仮想単色X線画像c1とに基づいて、補正された第1のエネルギーの仮想単色X線画像d1を生成する。以下に、ステップST45のフローの一例について説明する。
図7は、ステップST45の一例を示す図である。
ステップST45は、ステップST451、ST452、およびST453を有している。以下、各ステップについて順に説明する。
ステップST45は、ステップST451、ST452、およびST453を有している。以下、各ステップについて順に説明する。
ステップST451では、仮想単色X線画像a1およびc1の各ピクセルのCT値vの重付け係数を決定する。
図8は、重付け係数の決定方法の説明図である。
先ず、再構成された第1のエネルギーE1(=50keV)の仮想単色X線画像a1の領域R1の各ピクセルのCT値vの重付け係数W1と、推論された第1のエネルギーE1(=50keV)の仮想単色X線画像c1の領域R3の各ピクセルのCT値vの重付け係数W3について説明する。
先ず、再構成された第1のエネルギーE1(=50keV)の仮想単色X線画像a1の領域R1の各ピクセルのCT値vの重付け係数W1と、推論された第1のエネルギーE1(=50keV)の仮想単色X線画像c1の領域R3の各ピクセルのCT値vの重付け係数W3について説明する。
再構成された第1のエネルギーE1(=50keV)の仮想単色X線画像a1の領域R1内のピクセルP11~P1aは、CT値vがTH1≦v≦TH2に含まれるピクセルであるので、軟組織のピクセルに相当する可能性が高いと考えられる。低エネルギーの仮想単色X線画像a1では、軟組織の画質が劣化しやすい傾向があるので、領域R1は低画質で描出されている可能性が高いと考えられる。
一方、推論された第1のエネルギーE1(=50keV)の仮想単色X線画像c1は、第2のエネルギーE2(=70keV)の仮想単色X線画像b1(図4参照)の良好な画質を引き継いでいる。したがって、推論された第1のエネルギーE1(=50keV)の仮想単色X線画像c1の領域R3の画質は、再構成された第1のエネルギーE1(=50keV)の仮想単色X線画像a1の領域R1の画質よりも良好であると考えられる。
そこで、軟組織の領域の画質を改善するために、再構成された第1のエネルギーE1(=50keV)の仮想単色X線画像a1の領域R1内のピクセルP11~P1aは、低画質の可能性が高いことを考慮して、CT値の重み付けを低くするための重付け係数W1を割り当てる。一方、推論された第1のエネルギーE1(=50keV)の仮想単色X線画像c1の領域R3のピクセルP31~P3aは、仮想単色X線画像a1の領域R1の画質よりも良好であることを考慮して、CT値の重み付けを高くするための重付け係数W3を割り当てる。
したがって、推論された仮想単色X線画像c1の領域R3のピクセルP31~P3aの重付け係数W3は、再構成された仮想単色X線画像a1の領域R1のピクセルP11~P1aの重付け係数W1よりも大きい値が割り当てられる。具体的には、W1+W3=1を満たす条件下で、W3>W1となるように、W1およびW3の値を設定する。例えば、W1=0.3、W3=0.7である。尚、第1の実施形態では、W1+W3=1であるが、W1+W3の値は「1」からずれた値に設定することも可能である。
次に、再構成された第1のエネルギーE1(=50keV)の仮想単色X線画像a1の領域R2の各ピクセルのCT値vの重付け係数W2と、推論された第1のエネルギーE1(=50keV)の仮想単色X線画像c1の領域R4の各ピクセルのCT値vの重付け係数W4について説明する。
仮想単色X線画像a1の領域R2のCT値vは、v<TH1又はTH2<vの範囲に含まれているので、領域R2には空気、ガス、骨などが描出されていると考えられる。また、仮想単色X線画像c1の領域R4は、仮想単色X線画像a1の領域R2に対応しているので、仮想単色X線画像c1の領域R4にも、空気、ガス、骨などが描出されていると考えられる。一般に、空気、ガス、骨など、CT値vが水のCT値(ゼロ)から大きく離れた値CTになる領域では、DECTの技術により再構成された第1のエネルギーE1(=50keV)の仮想単色X線画像a1の方が、深層学習の技術により推論された第1のエネルギーE1(=50keV)の仮想単色X線画像c1よりも信頼性は高いと考えられる。そこで、再構成された仮想単色X線画像a1の領域R2のピクセルP21~P2bには、CT値の重み付けを高くするための重付け係数W2が割り当てられ、一方、推論された仮想単色X線画像c1の領域R4のピクセルP41~P4bには、CT値の重み付けを低くするための重付け係数W4が割り当てられる。例えば、W2=0.7、W4=0.3である。尚、第1の実施形態では、W2+W4=1に設定されているが、W2+W4の値は「1」からずれた値に設定することも可能である。
このようにして、重付け係数W1、W2、W3、およびW4を決定する。重付け係数を決定した後、ステップST452(図7参照)に進む。
ステップST452では、コンピュータ216は、再構成された第1のエネルギーE1(=50keV)の仮想単色X線画像a1のCT値vを重付け係数W1およびW2で重み付けし、推論された第1のエネルギーE1(=50keV)の仮想単色X線画像c1のCT値vを重付け係数W3およびW4で重み付けする。そして、ステップST453に進み、コンピュータ216は、重み付けされた仮想単色X線画像a1およびb1を加算する。このようにして、補正された第1のエネルギーE1(=50keV)の仮想単色X線画像d1を生成することができる。
以下同様に、他の仮想単色X線画像a2~azおよびc2~czについても重付け係数を求め、重付け係数に基づいて、補正された仮想単色X線画像を生成する。したがって、図4に示すように、品質が改善された第1のエネルギーE1の仮想単色X線画像d1~dzのシリーズDを生成することができる。
このようにして、図4に示すフローが終了する。
このようにして、図4に示すフローが終了する。
第1の実施形態では、ステップST2において、DECTの技術を用いて、第1のエネルギーE1の仮想単色X線画像a1-azのシリーズAと、第2のエネルギーE2の仮想単色X線画像b1-bzのシリーズBを再構成している。しかし、低エネルギーの仮想単色X線画像a1-azのシリーズAには、DECTの原理上、低画質の領域R1(図5参照)が現れる傾向がある。
そこで、第1の実施形態では、学習済みニューラルネットワークにより推論された仮想単色X線画像が、学習済みニューラルネットワークに入力される入力画像の画質(例えば、画像のテクスチャ、画像のノイズ)の特徴を引き継ぐ傾向があることを利用して、仮想単色X線画像を推論している。具体的には、ステップST3(図4参照)において、画質の劣化が比較的少ない第2のエネルギーE2(70keV)の仮想単色X線画像b1―bzのシリーズBに基づいて、第1のエネルギーE1の仮想単色X線画像c1―czのシリーズCを推論している。推論された第1のエネルギーE1の仮想単色X線画像c1-czのシリーズCは、第2のエネルギーE2(70keV)の仮想単色X線画像b1―bzのシリーズBの画質を引き継ぐ。その結果、推論された第1のエネルギーE1の仮想単色X線画像c1-czのシリーズCの領域R3(図8参照)は、再構成された第1のエネルギーE1の仮想単色X線画像a1-azの領域R1(図8参照)よりも良好な画質を有することができる。
推論後、ステップST4において、再構成された第1のエネルギーE1の仮想単色X線画像a1―azのシリーズAと、推論された第1のエネルギーE1の仮想単色X線画像c1-czのシリーズCに基づいて、補正された第1のエネルギーE1の仮想単色X線画像d1―dzのシリーズDを生成する。具体的には、再構成された第1のエネルギーE1の仮想単色X線画像a1―azのシリーズAに対して、領域R1のCT値は重み付けが小さいくなり、領域R2のCT値は重み付けが大きくなるように重付け係数W1およびW2が割り当てられる。一方、推論された第1のエネルギーE1の仮想単色X線画像c1-czのシリーズCに対して、領域R3のCT値は重み付けが大きくなり、領域R4のCT値は重み付けが小さくなるように重付け係数W3およびW4が割り当てられる。したがって、品質が改善された第1のエネルギーE1の仮想単色X線画像d1―dzのシリーズDを取得することができる。
そこで、第1の実施形態では、学習済みニューラルネットワークにより推論された仮想単色X線画像が、学習済みニューラルネットワークに入力される入力画像の画質(例えば、画像のテクスチャ、画像のノイズ)の特徴を引き継ぐ傾向があることを利用して、仮想単色X線画像を推論している。具体的には、ステップST3(図4参照)において、画質の劣化が比較的少ない第2のエネルギーE2(70keV)の仮想単色X線画像b1―bzのシリーズBに基づいて、第1のエネルギーE1の仮想単色X線画像c1―czのシリーズCを推論している。推論された第1のエネルギーE1の仮想単色X線画像c1-czのシリーズCは、第2のエネルギーE2(70keV)の仮想単色X線画像b1―bzのシリーズBの画質を引き継ぐ。その結果、推論された第1のエネルギーE1の仮想単色X線画像c1-czのシリーズCの領域R3(図8参照)は、再構成された第1のエネルギーE1の仮想単色X線画像a1-azの領域R1(図8参照)よりも良好な画質を有することができる。
推論後、ステップST4において、再構成された第1のエネルギーE1の仮想単色X線画像a1―azのシリーズAと、推論された第1のエネルギーE1の仮想単色X線画像c1-czのシリーズCに基づいて、補正された第1のエネルギーE1の仮想単色X線画像d1―dzのシリーズDを生成する。具体的には、再構成された第1のエネルギーE1の仮想単色X線画像a1―azのシリーズAに対して、領域R1のCT値は重み付けが小さいくなり、領域R2のCT値は重み付けが大きくなるように重付け係数W1およびW2が割り当てられる。一方、推論された第1のエネルギーE1の仮想単色X線画像c1-czのシリーズCに対して、領域R3のCT値は重み付けが大きくなり、領域R4のCT値は重み付けが小さくなるように重付け係数W3およびW4が割り当てられる。したがって、品質が改善された第1のエネルギーE1の仮想単色X線画像d1―dzのシリーズDを取得することができる。
尚、第1の実施形態では、ステップST42において、仮想単色X線画像a1の軟組織の可能性が高い領域R1および軟組織の可能性が低い領域R2を特定する。そして、ステップST42を実行した後で、ステップST44に進み、仮想単色X線画像c1の軟組織の可能性が高い領域R3および軟組織の可能性が低い領域R4を特定している。しかし、ステップST44を先に実行し、ステップST44を実行した後で、ステップST42を実行してもよい。この場合、ステップST44およびST42は、以下のように実行される。
ステップST44では、仮想単色X線画像c1の各ピクセルのCT値vを、2つの閾値TH1およびTH2と比較し、CT値vがTH1≦v≦TH2の範囲G1に含まれるのか、それともv<TH1又はTH2<vの範囲G2に含まれるのかを判断する。そして、この判断結果に基づいて、仮想単色X線画像c1に対して、軟組織の可能性が高い領域R3と、軟組織の可能性が低い領域R4を特定する。
ステップST42では、仮想単色X線画像a1の中から、仮想単色X線画像c1の領域R3に対応する領域R1を、軟組織の可能性が高い領域として特定する。更に、仮想単色X線画像a1の中から、仮想単色X線画像c1の領域R4に対応する領域R2を、軟組織の可能性が低い領域として特定する。
このように、仮想単色X線画像c1の領域R3およびR4を先に特定し、仮想単色X線画像c1の領域R3およびR4を基準にして、仮想単色X線画像a1の領域R1およびR2を特定してもよい。
ステップST44では、仮想単色X線画像c1の各ピクセルのCT値vを、2つの閾値TH1およびTH2と比較し、CT値vがTH1≦v≦TH2の範囲G1に含まれるのか、それともv<TH1又はTH2<vの範囲G2に含まれるのかを判断する。そして、この判断結果に基づいて、仮想単色X線画像c1に対して、軟組織の可能性が高い領域R3と、軟組織の可能性が低い領域R4を特定する。
ステップST42では、仮想単色X線画像a1の中から、仮想単色X線画像c1の領域R3に対応する領域R1を、軟組織の可能性が高い領域として特定する。更に、仮想単色X線画像a1の中から、仮想単色X線画像c1の領域R4に対応する領域R2を、軟組織の可能性が低い領域として特定する。
このように、仮想単色X線画像c1の領域R3およびR4を先に特定し、仮想単色X線画像c1の領域R3およびR4を基準にして、仮想単色X線画像a1の領域R1およびR2を特定してもよい。
また、第1の実施形態では、第1のエネルギーE1よりも大きい第2のエネルギーE2の仮想単色X線画像に基づいて、第1のエネルギーE1の仮想単色X線画像を推論している。しかし、良好な画質を有する第1のエネルギーE1の仮想単色X線画像を推論することができるのであれば、第1のエネルギーE1よりも小さい第2のエネルギーE2の仮想単色X線画像に基づいて、第1のエネルギーE1の仮想単色X線画像を推論することも可能である。
また、第1の実施形態では、閾値TH1およびTH2に基づいて、重付け係数W1~W4を決定している。しかし、別の方法で重付け係数W1~W4を決定してもよい。例えば、仮想単色線画像a1および/又はb1をフィルタ処理(ローパスフィルタ処理又はハイパスフィルタ処理)し、フィルタ処理された仮想単色X線画像に基づいて、重付け係数W1~W4を決定してもよい。
(2)第2の実施形態
第2の実施形態では、第1の実施形態とは別の方法で、補正された仮想単色X線画像を生成する例について説明する。
第2の実施形態では、第1の実施形態とは別の方法で、補正された仮想単色X線画像を生成する例について説明する。
尚、第2の実施形態では、ステップST45以外は、第1の実施形態と同じ手順で、補正された仮想単色X線画像が生成される。したがって、第2の実施形態については、ステップST45について主に説明する。
図9は、第2の実施形態におけるステップST45のフロー図である。
ステップST41において、コンピュータ216は、再構成された第1のエネルギーE1(=50keV)の仮想単色X線画像a1~azのシリーズAの中から、1枚の仮想単色X線画像ajを取り出す。ここでは、j=1、すなわち、仮想単色X線画像a1を取り出すとする。
ステップST41において、コンピュータ216は、再構成された第1のエネルギーE1(=50keV)の仮想単色X線画像a1~azのシリーズAの中から、1枚の仮想単色X線画像ajを取り出す。ここでは、j=1、すなわち、仮想単色X線画像a1を取り出すとする。
また、ステップST43において、コンピュータ216は、推論された第1のエネルギーE1(=50keV)の仮想単色X線画像c1~czのシリーズCの中から、仮想単色X線画像a1と同じ断面の画像に対応する仮想単色X線画像c1を取り出す。仮想単色X線画像c1を取り出したら、ステップST47に進む。
ステップST47では、コンピュータ216は、仮想単色X線画像a1とc1との差分画像s1を求める。
次に、コンピュータ216は、差分画像s1に含まれる複数のピクセルの中から、ピクセル値(差分値)が最も大きい値になるピクセルPsを特定する。
ステップST48では、コンピュータ216は、再構成された仮想単色X線画像a1に含まれる複数のピクセルのうち、ピクセルPsに対応するピクセルPsaを特定する。そして、その特定したピクセルPsaのCT値v(=va)を読み出す。
また、コンピュータ216は、推論された仮想単色X線画像c1に含まれる複数のピクセルのうち、ピクセルPsに対応するピクセルPscを特定する。そして、その特定したピクセルPscのCT値v(=vc)を読み出す。
次に、ステップST49において、コンピュータ216は、ピクセルPsaのCT値v(=va)とピクセルPscのCT値v(=vc)に基づいて、推論された仮想単色X線画像c1を補正する。補正方法としては、例えば、ガンマ補正を使用することができる。ガンマ補正に使用されるγは、ピクセルPsaのCT値vaとピクセルPscのCT値vcから求めることができる。このようにして、補正された仮想単色X線画像d1を生成することができる。
以下同様に、他の仮想単色X線画像a2~azおよびc2~czについても差分画像を生成し、差分画像に基づいて、補正された仮想単色X線画像を生成する。したがって、品質が改善された第1のエネルギーの仮想単色X線画像d1~dzのシリーズD(図4参照)を生成することができる。
第2の実施形態では、差分画像s1を求め、差分画像s1に基づいて、推論された仮想単色X線画像c1の各ピクセルのCT値を補正することにより、補正された仮想単色X線画像d1を生成している。したがって、推論された仮想単色X線画像c1と、再構成された仮想単色X線画像a1とのCT値の差分を考慮して、推論された仮想単色X線画像を補正することができる。
尚、第2の実施形態では、差分画像s1に基づいて、補正された仮想単色X線画像を生成しているが、推論された仮想単色X線画像c1から低周波成分を取り出すとともに、再構成された仮想単色X線画像a1から高周波成分を取り出し、取り出された周波数成分に基づいて、補正後の仮想単色X線画像d1を生成してもよい。
以下に、DECTにより再構成された仮想単色X線画像と、本発明の手法により生成された仮想単色X線画像について比較する。
図10は、DECTにより再構成された仮想単色X線画像と、本発明の手法により生成された仮想単色X線画像とを示す図である。
図10(a)は、DECTにより再構成された50(keV)の仮想単色X線画像を示ししており、図10(b)は、本発明の手法により生成された仮想単色X線画像を示している。両画像を比較すると、本発明の手法により生成された仮想単色X線画像の画質が改善されていることが分かる。
60 トレーニングデータ
68 前処理
70 ニューラルネットワーク
71 学習済みモデル
100 CTシステム
102 ガントリ
103 フィルタ部
104 X線管
105 前置コリメータ
106 X線ビーム
108 検出器アレイ
112 撮影対象
116 テーブル
118 テーブルモータコントローラ
202 検出器素子
210 X線コントローラ
212 ガントリモータコントローラ
214 DAS
216 コンピュータ
218 記憶装置
220 オペレータコンソール
224 画像保管通信システム(PACS)
230 画像再構成器
232 ディスプレイ
68 前処理
70 ニューラルネットワーク
71 学習済みモデル
100 CTシステム
102 ガントリ
103 フィルタ部
104 X線管
105 前置コリメータ
106 X線ビーム
108 検出器アレイ
112 撮影対象
116 テーブル
118 テーブルモータコントローラ
202 検出器素子
210 X線コントローラ
212 ガントリモータコントローラ
214 DAS
216 コンピュータ
218 記憶装置
220 オペレータコンソール
224 画像保管通信システム(PACS)
230 画像再構成器
232 ディスプレイ
Claims (15)
- 撮影対象から収集されたデータに基づいて、第1のエネルギーの仮想単色X線画像と、第2のエネルギーの仮想単色X線画像を再構成すること、
前記再構成された第2のエネルギーの仮想単色X線画像に基づいて作成された入力画像を学習済みモデルに入力し、前記学習済みモデルを用いて、第1のエネルギーの仮想単色X線画像を推論すること、
前記再構成された第1のエネルギーの仮想単色X線画像と、前記推論された第1のエネルギーの仮想単色X線画像とに基づいて、補正された第1のエネルギーの仮想単色X線画像を生成すること、
を含む動作を実行する1つまたは複数のプロセッサを含む画像生成装置。 - 前記補正された第1のエネルギーの仮想単色X線画像を生成することが、
前記再構成された第1のエネルギーの仮想単色X線画像の各ピクセルのCT値を重み付けすること、
前記推論された第1のエネルギーの仮想単色X線画像の各ピクセルのCT値を重み付けすること、
重み付けされた前記再構成された第1のエネルギーの仮想単色X線画像と、重み付けされた前記推論された第1のエネルギーの仮想単色X線画像とに基づいて、補正された第1のエネルギーの仮想単色X線画像を生成すること
を含む、請求項1に記載の画像生成装置。 - 前記1つまたは複数のプロセッサが、
前記再構成された仮想単色X線画像および前記推論された仮想単色X線画像のうちの一方の仮想単色X線画像の中から、第1の範囲に含まれるCT値を有するピクセルを含む第1の領域と、第2の範囲に含まれるCT値を有するピクセルを含む第2の領域を特定すること、
前記再構成された仮想単色X線画像および前記推論された仮想単色X線画像のうちの他方の仮想単色X線画像の中から、前記第1の領域に対応する第3の領域と、前記第2の領域に対応する第4の領域とを特定すること、
前記第1の領域のピクセルのCT値を重み付けするための第1の重付け係数、前記第2の領域のピクセルのCT値を重み付けするための第2の重付け係数、前記第3の領域のピクセルのCT値を重み付けするための第3の重付け係数、前記第4の領域のピクセルのCT値を重み付けするための第4の重付け係数を求めること、
前記一方の仮想単色X線画像を前記第1の重付け係数および前記第2の重付け係数で重み付けすること、
前記他方の仮想単色X線画像を前記第3の重付け係数および前記第4の重付け係数で重み付けすること、
前記第1の重付け係数と前記第2の重付け係数で重み付けされた前記一方の仮想単色X線画像と、前記第3の重付け係数と前記第4の重付け係数で重み付けされた前記他方の仮想単色X線画像とに基づいて、補正された第1のエネルギーの仮想単色X線画像を生成すること、
を含む動作を実行する、請求項2に記載の画像生成装置。 - 前記一方の仮想単色X線画像が、前記再構成された仮想単色X線画像であり、
前記他方の仮想単色X線画像が、前記推論された仮想単色X線画像である、請求項3に記載の画像生成装置。 - 前記第1の範囲は、軟組織のCT値が含まれる範囲を表す、請求項3に記載の画像生成装置。
- 前記第1の範囲は、軟組織のCT値の下限値を表す第1の閾値と、軟組織のCT値の上限値を表す第2の閾値との間の範囲である、請求項5に記載の画像生成装置。
- 前記第1の閾値は負の値であり、前記第2の閾値は正の値である、請求項6に記載の画像生成装置。
- 前記1つまたは複数のプロセッサが、
前記再構成された第1のエネルギーの仮想単色X線画像および/又は前記推論された第1のエネルギーの仮想単色X線画像をフィルタ処理すること、
フィルタ処理された仮想単色X線画像に基づいて、前記再構成された第1のエネルギーの仮想単色X線画像のピクセルのCT値を重み付けするための第1の重付け係数および第2の重付け係数と、前記推論された第1のエネルギーの仮想単色X線画像のピクセルのCT値を重み付けするための第3の重付け係数および第4の重付け係数を求めること
を含む動作を実行する、請求項2に記載の画像生成装置。 - 前記補正された第1のエネルギーの仮想単色X線画像を生成することが、
前記再構成された第1のエネルギーの仮想単色X線画像と、前記推論された第1のエネルギーの仮想単色X線画像との差分画像を生成すること、
前記差分画像に基づいて、前記補正された第1のエネルギーの仮想単色X線画像を生成すること、
を含む、請求項1に記載の画像生成装置。 - 前記差分画像に基づいて、前記補正された第1のエネルギーの仮想単色X線画像を生成することが、
前記差分画像に含まれる複数のピクセルの中から、差分値が最も大きいピクセルを特定すること、
前記再構成された第1のエネルギーの仮想単色X線画像に含まれる複数のピクセルのうち、前記特定されたピクセルに対応する第1のピクセルを特定すること、
前記推論された第1のエネルギーの仮想単色X線画像に含まれる複数のピクセルのうち、前記特定されたピクセルに対応する第2のピクセルを特定すること、
前記第1のピクセルのCT値と、前記第2のピクセルのCT値とに基づいて、前記推論された第1のエネルギーの仮想単色X線画像を補正すること、
を含む、請求項9に記載の画像生成装置。 - 前記推論された第1のエネルギーの仮想単色X線画像を補正することが、
前記第1のピクセルのCT値と、前記第2のピクセルのCT値とに基づいて、前記推論された第1のエネルギーの仮想単色X線画像をγ補正することを含む、請求項10に記載の画像生成装置。 - 前記学習済みモデルは、
第1のエネルギーの仮想単色X線画像を前処理することにより得られる画像と第2のエネルギーの仮想単色X線画像を前処理することにより得られる画像とを含むトレーニングデータを、ニューラルネットワークに学習させることにより作成される、請求項1に記載の画像生成装置。 - 前記第1のエネルギーは前記第2のエネルギーよりも低い、請求項1に記載の画像生成装置。
- 撮影対象から収集されたデータに基づいて、第1のエネルギーの仮想単色X線画像と、第2のエネルギーの仮想単色X線画像を再構成すること、
前記再構成された第2のエネルギーの仮想単色X線画像に基づいて作成された入力画像を学習済みモデルに入力し、前記学習済みモデルを用いて、第1のエネルギーの仮想単色X線画像を推論すること、
前記再構成された第1のエネルギーの仮想単色X線画像と、前記推論された第1のエネルギーの仮想単色X線画像とに基づいて、補正された第1のエネルギーの仮想単色X線画像を生成すること、
を含む動作を実行する1つまたは複数のプロセッサを含む医用装置。 - 1つ以上のプロセッサによって実行可能な1つ以上の命令が格納された、1つ以上の非一時的でコンピュータ読取可能な記録媒体であって、前記1つ以上の命令は、前記1つ以上のプロセッサに、
撮影対象から収集されたデータに基づいて、第1のエネルギーの仮想単色X線画像と、第2のエネルギーの仮想単色X線画像を再構成させること、
前記再構成された第2のエネルギーの仮想単色X線画像に基づいて入力画像を作成させること、
前記入力画像を学習済みモデルに入力し、前記学習済みモデルを用いて、第1のエネルギーの仮想単色X線画像を推論させること、
前記再構成された第1のエネルギーの仮想単色X線画像と、前記推論された第1のエネルギーの仮想単色X線画像とに基づいて、補正された第1のエネルギーの仮想単色X線画像を生成させること、
を含む動作を実行させる、記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022039750A JP7238185B1 (ja) | 2022-03-14 | 2022-03-14 | 画像生成装置、医用装置、および記憶媒体 |
CN202310220682.6A CN116746954A (zh) | 2022-03-14 | 2023-03-09 | 图像生成装置、医疗装置和存储介质 |
US18/182,911 US20230290022A1 (en) | 2022-03-14 | 2023-03-13 | Image generation device, medical device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022039750A JP7238185B1 (ja) | 2022-03-14 | 2022-03-14 | 画像生成装置、医用装置、および記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7238185B1 true JP7238185B1 (ja) | 2023-03-13 |
JP2023134296A JP2023134296A (ja) | 2023-09-27 |
Family
ID=85513826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022039750A Active JP7238185B1 (ja) | 2022-03-14 | 2022-03-14 | 画像生成装置、医用装置、および記憶媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230290022A1 (ja) |
JP (1) | JP7238185B1 (ja) |
CN (1) | CN116746954A (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008167949A (ja) | 2007-01-12 | 2008-07-24 | Fujifilm Corp | 放射線画像処理方法および装置ならびにプログラム |
JP2009153829A (ja) | 2007-12-27 | 2009-07-16 | Ge Medical Systems Global Technology Co Llc | 画像処理装置、プログラムおよびx線ct装置 |
US20190298288A1 (en) | 2018-03-29 | 2019-10-03 | Siemens Healthcare Gmbh | Analysis method and analysis unit for determining radiological result data |
JP2021010727A (ja) | 2019-07-08 | 2021-02-04 | キヤノンメディカルシステムズ株式会社 | X線ctシステム及び医用処理装置 |
US20210267563A1 (en) | 2018-06-15 | 2021-09-02 | Dalhousie University | Methods and apparatus for dual energy x-ray imaging |
JP2022013679A (ja) | 2020-06-30 | 2022-01-18 | キヤノンメディカルシステムズ株式会社 | 医用画像処理方法、医用画像処理装置及びx線ct装置 |
-
2022
- 2022-03-14 JP JP2022039750A patent/JP7238185B1/ja active Active
-
2023
- 2023-03-09 CN CN202310220682.6A patent/CN116746954A/zh active Pending
- 2023-03-13 US US18/182,911 patent/US20230290022A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008167949A (ja) | 2007-01-12 | 2008-07-24 | Fujifilm Corp | 放射線画像処理方法および装置ならびにプログラム |
JP2009153829A (ja) | 2007-12-27 | 2009-07-16 | Ge Medical Systems Global Technology Co Llc | 画像処理装置、プログラムおよびx線ct装置 |
US20190298288A1 (en) | 2018-03-29 | 2019-10-03 | Siemens Healthcare Gmbh | Analysis method and analysis unit for determining radiological result data |
US20210267563A1 (en) | 2018-06-15 | 2021-09-02 | Dalhousie University | Methods and apparatus for dual energy x-ray imaging |
JP2021010727A (ja) | 2019-07-08 | 2021-02-04 | キヤノンメディカルシステムズ株式会社 | X線ctシステム及び医用処理装置 |
JP2022013679A (ja) | 2020-06-30 | 2022-01-18 | キヤノンメディカルシステムズ株式会社 | 医用画像処理方法、医用画像処理装置及びx線ct装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2023134296A (ja) | 2023-09-27 |
CN116746954A (zh) | 2023-09-15 |
US20230290022A1 (en) | 2023-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102013089B (zh) | 用于噪声减少的迭代ct图像滤波器 | |
JP5028528B2 (ja) | X線ct装置 | |
JP6442243B2 (ja) | コンピュータ断層撮影画像再構成のアーチファクト低減の方法および装置 | |
US7983462B2 (en) | Methods and systems for improving quality of an image | |
CN102024251B (zh) | 用于双源ct的基于多图像虚拟非对比图像增强的系统和方法 | |
CN109785243A (zh) | 基于对抗生成网络未配准低剂量ct的去噪方法、计算机 | |
JPWO2002086821A1 (ja) | 画像処理方法及び画像処理装置 | |
JP2005533564A (ja) | プラークの成分を検出するための方法及びシステム | |
JP6044046B2 (ja) | 動き追従x線ct画像処理方法および動き追従x線ct画像処理装置 | |
JPWO2008075595A1 (ja) | X線ct装置 | |
KR102472464B1 (ko) | 영상처리방법 및 이를 이용한 영상처리장치 | |
JP7245740B2 (ja) | 画像処理装置、画像処理方法及びx線ct装置 | |
JP2003310600A (ja) | X線コンピュータ断層撮影装置 | |
CN112842370A (zh) | 用于x射线成像中的参数噪声调制的方法和系统 | |
JP5329204B2 (ja) | X線ct装置 | |
CN111938681A (zh) | 用于双能量成像中的自动管电势选择的系统和方法 | |
JP7238185B1 (ja) | 画像生成装置、医用装置、および記憶媒体 | |
JP4316335B2 (ja) | X線散乱線成分の補正方法及びそのプログラム並びにx線ct装置 | |
JP5317612B2 (ja) | 断層像処理装置、x線ct装置およびプログラム | |
EP3329851B1 (en) | Medical imaging apparatus and method of operating the same | |
US20050018889A1 (en) | Systems and methods for filtering images | |
CN112446840B (zh) | 一种基于深度学习的ct图像黑带伪影消除方法及系统 | |
JP2023156873A (ja) | X線ct装置、画像処理装置、及び、ct画像の動き補正画像再構成方法 | |
KR20200057463A (ko) | 진단 영상 변환 장치, 진단 영상 변환모듈 생성 장치, 진단 영상 촬영 장치, 진단 영상 변환 방법, 진단 영상 변환모듈 생성 방법, 진단 영상 촬영 방법, 및 컴퓨터 판독 가능한 기록매체 | |
US20230363724A1 (en) | X-ray ct apparatus and high-quality image generation device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7238185 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |