JP2024033627A - 仮想単色x線画像を推論する装置、ctシステム、学習済みニューラルネットワークの作成方法、および記憶媒体 - Google Patents

仮想単色x線画像を推論する装置、ctシステム、学習済みニューラルネットワークの作成方法、および記憶媒体 Download PDF

Info

Publication number
JP2024033627A
JP2024033627A JP2022137324A JP2022137324A JP2024033627A JP 2024033627 A JP2024033627 A JP 2024033627A JP 2022137324 A JP2022137324 A JP 2022137324A JP 2022137324 A JP2022137324 A JP 2022137324A JP 2024033627 A JP2024033627 A JP 2024033627A
Authority
JP
Japan
Prior art keywords
virtual monochromatic
neural network
ray
image
monochromatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022137324A
Other languages
English (en)
Other versions
JP7322262B1 (ja
Inventor
美代 服部
夕里 寺岡
絢子 松見
靖浩 今井
優平 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KANSAI MEDICAL UNIVERSITY EDUCATIONAL CORPORATION
Original Assignee
KANSAI MEDICAL UNIVERSITY EDUCATIONAL CORPORATION
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KANSAI MEDICAL UNIVERSITY EDUCATIONAL CORPORATION filed Critical KANSAI MEDICAL UNIVERSITY EDUCATIONAL CORPORATION
Priority to JP2022137324A priority Critical patent/JP7322262B1/ja
Application granted granted Critical
Publication of JP7322262B1 publication Critical patent/JP7322262B1/ja
Priority to US18/456,884 priority patent/US20240065645A1/en
Publication of JP2024033627A publication Critical patent/JP2024033627A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/42Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for detecting radiation specially adapted for radiation diagnosis
    • A61B6/4208Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/481Diagnostic techniques involving the use of contrast agents
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/482Diagnostic techniques involving multiple energy imaging

Abstract

【課題】シングルエネルギーCTのCTシステムであっても、エネルギーレベルが異なる複数の仮想単色X線画像を生成することができる技術を提供する。【解決手段】所定の管電圧(120(kVp))が印加されるX線管と1つ以上のプロセッサとを含むCTシステムであって、前記1つ以上のプロセッサが、被検体から収集されたシングルエネルギーCTのデータに基づいて生成されたCT画像11を学習済みニューラルネットワーク94に入力すること、およびCT画像11に基づいて、学習済みニューラルネットワーク94に、40(keV)、50(keV)、60(keV)、80(keV)、90(keV)、および100(keV)の仮想単色X線画像21、22、23、24、25、26を推論させることを含む動作を実行するCTシステム。【選択図】図4

Description

本発明は、仮想単色X線画像を推論する装置、仮想単色X線画像を推論するCTシステム、仮想単色X線画像を推論するための学習済みニューラルネットワークの作成方法、および仮想単色X線画像を推論するための命令が記憶された記憶媒体に関する。
被検体を非侵襲的に撮影する医用装置としてCTシステムが知られている。CTシステムは、短いスキャン時間で被検体の断層画像を取得することができるので、病院などの医療施設に普及している。
CTシステムは、X線管の陰極-陽極管に所定の電圧を印加し、X線を発生させる。発生したX線は被検体を透過して検出器で検出される。CTシステムは、検出器で検出されたデータに基づいて、被検体のCT画像を再構成している。
再表2015/064446号公報
CTシステムの撮影技術として、シングルエネルギーCT(Single Energy CT、SECT)が知られている。シングルエネルギーCTは、X線管の陰極-陽極管に所定の電圧(例えば、120(kVp))を印加し、X線を発生させ、被検体のCT画像を得る方法である。しかし、シングルエネルギーCTでは、異なる物質であってもCT値が近い値になることがあり、例えば病変の検出が難しい場合がある。
一方で、デュアルエネルギーCT(Dual Energy CT DECT)の技術が研究、開発されている。デュアルエネルギーCTは、異なるエネルギー領域のX線を利用して物質の弁別を行う技術であり、デュアルエネルギーCTに対応したCTシステムも市販されている。デュアルエネルギーCTの技術は応用範囲が広く、例えば、様々なエネルギーレベルの仮想単色X線画像を生成することができる。異なるエネルギーレベルの仮想単色X線画像を比較することにより、病変の検出精度を向上させることができるので、デュアルエネルギーCTを導入する医療機関も増えつつある。
しかし、デュアルエネルギーCTの装置は、一般的にはシングルエネルギーCTの装置よりも価格が高く、医療機関の中には、シングルエネルギーCTに対応したCTシステムは導入されているが、デュアルエネルギーCTに対応したCTシステムは導入していない医療機関も多い。そこで、シングルエネルギーCTのCTシステムであっても、エネルギーレベルが異なる複数の仮想単色X線画像を生成することができる技術が望まれている。
本発明の第1の観点は、被検体から収集されたシングルエネルギーCTのデータに基づいて生成されたCT画像を学習済みニューラルネットワークに入力することであって、
前記学習済みニューラルネットワークは、学習フェーズにおいて、ニューラルネットワークが学習データを用いた学習を実行することにより生成されるものであり、
前記学習データが、デュアルエネルギーCTのデータに基づいて生成され、且つエネルギーレベルが互いに異なる複数の仮想単色X線画像を含み、
前記複数の仮想単色X線画像が、シングルエネルギーCTのデータを収集するCTシステムの管電圧に相当するエネルギーレベルの第1の仮想単色X線画像と、エネルギーレベルが互いに異なる第1の2つ以上の仮想単色X線画像とを含み、
前記学習フェーズにおいて、前記ニューラルネットワークが、前記第1の仮想単色X線画像が前記ニューラルネットワークの入力として使用され、前記第1の2つ以上の仮想単色X線画像が前記ニューラルネットワークから出力されるように、前記学習データを用いた学習を実行する、
前記CT画像を学習済みニューラルネットワークに入力すること、および
入力された前記CT画像に基づいて、前記学習済みニューラルネットワークに、エネルギーレベルが異なる第2の2つ以上の複数の仮想単色X線画像を推論させること
を含む動作を実行する1つ以上のプロセッサを含む、装置である。
本発明の第2の観点は、シングルエネルギーCTのデータを収集するCTシステムであって、
所定の管電圧が印加されるX線管と、
1つ以上のプロセッサと
を含み、
前記1つ以上のプロセッサが、
被検体から収集されたシングルエネルギーCTのデータに基づいて、CT画像を生成すること、
前記CT画像を学習済みニューラルネットワークに入力することであって、
前記学習済みニューラルネットワークは、学習フェーズにおいて、ニューラルネットワークが学習データを用いた学習を実行することにより生成されるものであり、
前記学習データが、デュアルエネルギーCTのデータに基づいて生成され、且つエネルギーレベルが互いに異なる複数の仮想単色X線画像を含み、
前記複数の仮想単色X線画像が、前記所定の管電圧に相当するエネルギーレベルの第1の仮想単色X線画像と、エネルギーレベルが互いに異なる第1の2つ以上の仮想単色X線画像とを含み、
前記学習フェーズにおいて、前記ニューラルネットワークが、前記第1の仮想単色X線画像が前記ニューラルネットワークの入力として使用され、前記第1の2つ以上の仮想単色X線画像が前記ニューラルネットワークから出力されるように、前記学習データを用いた学習を実行する、
前記CT画像を学習済みニューラルネットワークに入力すること、および
入力された前記CT画像に基づいて、前記学習済みニューラルネットワークに、エネルギーレベルが異なる第2の2つ以上の仮想単色X線画像を推論させること
を含む動作を実行する、CTシステムである。
本発明の第3の観点は、学習済みニューラルネットワークの作成方法であって、
ニューラルネットワークが学習データを用いた学習を実行することであって、
前記学習データが、デュアルエネルギーCTのデータに基づいて生成され、且つエネルギーレベルが互いに異なる複数の仮想単色X線画像を含み、
前記複数の仮想単色X線画像が、シングルエネルギーCTのデータを収集するCTシステムの管電圧に相当するエネルギーレベルの第1の仮想単色X線画像と、エネルギーレベルが互いに異なる第1の2つ以上の仮想単色X線画像とを含み、
前記ニューラルネットワークが、前記第1の仮想単色X線画像が前記ニューラルネットワークの入力として使用され、前記第1の2つ以上の仮想単色X線画像が前記ニューラルネットワークから出力されるように、前記学習データを用いた学習を実行する、
ニューラルネットワークが学習データを用いた学習を実行すること
を含む、作成方法である。
本発明の第4の観点は、1つ以上のプロセッサによって実行可能な1つ以上の命令が格納された、1つ以上の非一時的でコンピュータ読取可能な記録媒体であって、前記1つ以上の命令は、前記1つ以上のプロセッサに、
被検体から収集されたシングルエネルギーCTのデータに基づいて生成されたCT画像を学習済みニューラルネットワークに入力することであって、
前記学習済みニューラルネットワークは、学習フェーズにおいて、ニューラルネットワークが学習データを用いた学習を実行することにより生成されるものであり、
前記学習データが、デュアルエネルギーCTのデータに基づいて生成され、且つエネルギーレベルが互いに異なる複数の仮想単色X線画像を含み、
前記複数の仮想単色X線画像が、シングルエネルギーCTのデータを収集するCTシステムの管電圧に相当するエネルギーレベルの第1の仮想単色X線画像と、エネルギーレベルが互いに異なる第1の2つ以上の仮想単色X線画像とを含み、
前記学習フェーズにおいて、前記ニューラルネットワークが、前記第1の仮想単色X線画像が前記ニューラルネットワークの入力として使用され、前記第1の2つ以上の仮想単色X線画像が前記ニューラルネットワークから出力されるように、前記学習データを用いた学習を実行する、
前記CT画像を学習済みニューラルネットワークに入力すること、および
入力された前記CT画像に基づいて、前記学習済みニューラルネットワークに、エネルギーレベルが異なる第2の2つ以上の複数の仮想単色X線画像を推論させること
を含む動作を実行させる、記憶媒体である。
本発明では、デュアルエネルギーCTのデータに基づいて生成された複数の仮想単色X線画像をニューラルネットワークに学習させて、学習済みニューラルネットワークを作成している。具体的には、シングルエネルギーCTのデータを収集するCTシステムの管電圧に相当するエネルギーレベルの第1の仮想単色X線画像をニューラルネットワークの入力とし、エネルギーレベルが互いに異なる第1の2つ以上の仮想単色X線画像がニューラルネットワークから出力されるように、ニューラルネットワークに学習データを学習させて、学習済みニューラルネットワークを作成している。
このように、本発明では、ニューラルネットワークの入力として使用される第1の仮想単色X線画像は、CTシステムの管電圧に相当するエネルギーレベルの仮想単色X線画像である。したがって、CTシステムにより得られたCT画像を学習済みニューラルネットワークに入力することにより、十分な品質の仮想単色X線画像を推論することができる。また、学習済みニューラルネットワークは、エネルギーレベルが異なる2つ以上の仮想単色X線画像を推論するので、シングルエネルギーCTのCTシステムしか導入されていない医療機関であっても、推論された2つ以上の仮想単色X線画像の中から、臨床目的に対応した最適なコントラストの仮想単色X線画像を得ることが可能となる。
第1の実施形態におけるCTシステム100の斜視図である。 CTシステム100のブロック図である。 第1の実施形態においてエネルギーレベルが異なる複数の仮想単色X線画像を生成する方法の基本的な考え方を説明するためのフロー図である。 CTシステム100を用いて被検体のスキャンを実行し複数の仮想単色X線画像を推論するフロー図である。 学習データの説明図である。 患者31から取得された仮想単色X線画像の説明図である。 ニューラルネットワーク93の学習方法の説明図である。 マルチタスクラーニングの手法を用いたニューラルネットワーク93の学習方法の説明図である。 被検体のスキャンの説明図である。 仮想単色X線画像ごとに学習済みニューラルネットワークを作成する方法の説明図である。 モード選択画面の一例を示す図である。 エネルギーレベル選択画面の一例を示す図である。 40(keV)および50(keV)の両方のエネルギーレベルが選択された画面を示す図である。 第3の実施形態で実行されるフローチャートである。 関心領域の一例を示す図である。 各仮想単色X線画像に対して計算されたCNRを示す図である。 実際に推論した仮想単色X線画像を示す図である。
以下、発明を実施するための形態について説明するが、本発明は、以下の形態に限定されることはない。
(1)第1の実施形態
図1は、第1の実施形態におけるCTシステム100の斜視図である。
CTシステム100は、ガントリ102を有している。ガントリ102は開口部107を有しており、その開口部107に被検体112が搬送され、被検体11をスキャンすることができる。
図2は、CTシステム100のブロック図である。
ガントリ102には、X線管104、フィルタ部103、前置コリメータ105、および検出器アレイ108などが取り付けられている。
X線管104は、陰極-陽極管に所定の電圧(例えば、120kVp)が印加されることにより、X線を発生させる。
フィルタ部103は、例えば、平板フィルタおよび/又はボウタイフィルタを含んでいる。
前置コリメータ105は、不要な領域にX線が照射されないようにX線の照射範囲を絞り込むための部材である。
検出器アレイ108は複数の検出器素子202を含んでいる。複数の検出器素子202は、X線管104から照射され、撮影対象である被検体112を通過するX線ビーム106を検出する。したがって、検出器アレイ108は、ビューごとに投影データを取得することができる。
X線検出器108により検出された投影データは、DAS214で収集される。DAS214は、収集した投影データに対して、サンプリング、デジタル変換などを含む所定の処理を実行する。処理された投影データは、コンピュータ216に送信される。コンピュータ216は、DAS214からのデータを記憶装置218に記憶する。記憶装置218は、プログラムや、プロセッサで実行される命令などを記憶する1つ以上の記憶媒体を含むものである。記憶媒体は、例えば、1つ以上の非一時的でコンピュータ読取可能な記録媒体とすることができる。記憶装置218は、例えば、ハードディスクドライブ、フロッピーディスクドライブ、コンパクトディスク読み出し/書き込み(CD-R/W)ドライブ、デジタル多用途ディスク(DVD)ドライブ、フラッシュドライブ、および/またはソリッドステート記憶ドライブを含むことができる。
コンピュータ216は1つ又は複数のプロセッサを含んでいる。コンピュータ216は、1つ又は複数のプロセッサを使用して、DAS214、X線コントローラ210、および/又はガントリモータコントローラ212に、コマンドおよびパラメータを出力し、データ取得および/または処理などのシステム動作を制御する。
コンピュータ216には、オペレータコンソール220が結合されている。オペレータは、オペレータコンソール220を操作することにより、CTシステム100の動作に関連する所定のオペレータ入力をコンピュータ216に入力することができる。コンピュータ216は、オペレータコンソール220を介して、コマンドおよび/またはスキャンパラメータを含むオペレータ入力を受信し、そのオペレータ入力に基づいてシステム動作を制御する。オペレータコンソール220は、オペレータがコマンドおよび/またはスキャンパラメータを指定するためのキーボード(図示せず)またはタッチスクリーンを含むことができる。
X線コントローラ210は、コンピュータ216からの信号に基づいてX線管104を制御する。また、ガントリモータコントローラ212は、コンピュータ216からの信号に基づいてガントリモータを制御する。
図2は、1つのオペレータコンソール220のみを示しているが、2つ以上のオペレータコンソールをコンピュータ216に結合してもよい。
また、CTシステム100は、例えば、有線ネットワークおよび/又は無線ネットワークを介して、遠隔に位置する複数のディスプレイ、プリンタ、ワークステーションなどのデバイスが結合されるようにしてもよい。
一実施形態では、例えば、CTシステム100は、画像保管通信システム(PACS)224を含んでいてもよいし、PACS224に結合されていてもよい。例示的な実施態様では、PACS224は、放射線科情報システム、病院情報システム、および/または内部もしくは外部ネットワーク(図示せず)などの遠隔システムに結合することができる。
コンピュータ216は、テーブルモータコントローラ118に、テーブル116を制御するためのコマンドを供給する。テーブルモータコントローラ118は、受け取ったコマンドに基づいてテーブル116を制御することができる。特に、テーブルモータコントローラ118は、ガントリ102の開口部107内で被検体112が適切に位置決めされるように、テーブル116を移動することができる。
前述のように、DAS214は、検出器素子202によって取得された投影データをサンプリングしてデジタル変換する。その後、画像再構成器230が、サンプリングされデジタル変換されたデータを使用して画像を再構成する。画像再構成器230は1つ又は複数のプロセッサを含んでおり、このプロセッサが画像再構成の処理を実行することができる。図2では、画像再構成器230は、コンピュータ216とは別個の構成要素として示されているが、画像再構成器230は、コンピュータ216の一部を形成するものであってもよい。また、コンピュータ216が、画像再構成器230の1つまたは複数の機能を実施してもよい。さらに、画像再構成器230は、CTシステム100からから離れた位置に設けられ、有線ネットワークまたは無線ネットワークを使用してCTシステム100に動作可能に接続されるようにしてもよい。
画像再構成器230は、再構成された画像を記憶装置218に記憶することができる。また、画像再構成器230は、再構成された画像をコンピュータ216に送信してもよい。コンピュータ216は、再構成された画像および/または患者情報を、コンピュータ216および/または画像再構成器230に通信可能に結合された表示部232に送信することができる。
コンピュータ216および/または画像再構成器230は、被検体のスキャンにより収集されたデータの処理を実行する装置、オペレータコンソール220から受け取ったデータに基づいて各種の処理を実行する装置、各種コントローラ(118、210、212など)から受け取ったデータに基づいて各種の処理を実行する装置を構成する。
尚、コンピュータ216および/または画像再構成器230が実行する処理の少なくとも一部を、CTシステム100とは別の外部装置で実行されるようにしてもよい。
本明細書で説明される様々な方法およびプロセスは、CTシステム100内の非一時的な記憶媒体に実行可能命令として記憶することができる。この実行可能命令は、1つの記憶媒体に記憶されていてもよいし、複数の記憶媒体に分散させて記憶されるようにしてもよい。CTシステム100に備えられる1つ以上のプロセッサは、記憶媒体に記憶された命令に従って、本明細書で説明される様々な方法、ステップ、およびプロセスを実行する。
CTシステム100は上記のように構成されている。
CTシステム100は、X線管の陰極-陽極管に所定の電圧(例えば、120(kVp))を印加し、X線を発生させ、被検体のCT画像を取得する装置である。したがって、CTシステム100は、シングルエネルギーCTのデータを収集する装置である。
一方で、デュアルエネルギーCT(Dual Energy CT、DECT)の技術が研究、開発されている。デュアルエネルギーCTは、異なるエネルギー領域のX線を利用して物質の弁別を行う技術であり、デュアルエネルギーCTに対応したCTシステムも市販されている。デュアルエネルギーCTの技術は応用範囲が広く、例えば、エネルギーレベルが異なる複数の仮想単色X線画像を生成することができる。エネルギーレベルが異なる複数の仮想単色X線画像を比較することにより、病変の検出精度を向上させることができるので、デュアルエネルギーCTを導入する医療機関も増えつつある。
しかし、デュアルエネルギーCTの装置は、一般的にはシングルエネルギーCTの装置よりも価格が高く、医療機関の中には、シングルエネルギーCTに対応したCTシステムは導入されているが、デュアルエネルギーCTに対応したCTシステムは導入していない医療機関も多い。そこで、シングルエネルギーCTしか導入していない医療機関であっても、エネルギーレベルが異なる複数の仮想単色X線画像を生成することができる技術が望まれている。
そこで、本願発明者は、鋭意研究し、シングルエネルギーCTのデータに基づいて、エネルギーレベルが異なる複数の仮想単色X線画像を生成する方法を考え出した。以下に、本実施形態において、シングルエネルギーCTのデータに基づいて、エネルギーレベルが異なる複数の仮想単色X線画像を生成するための基本的な考え方について、図3を参照しながら説明する。
図3は、第1の実施形態においてエネルギーレベルが異なる複数の仮想単色X線画像を生成する方法の基本的な考え方を説明するためのフロー図である。
ステップST1では、シングルエネルギーCTの撮影を実行するCTシステムを使用して被検体をスキャンする。第1の実施形態では、CTシステムの管電圧は120kVpである。
ステップST2では、管電圧が120kVpであるCTシステムを用いて被検体をスキャンすることにより取得したデータに基づいて、CT画像11を生成する。
ステップST3では、ステップST2で得られたCT画像11を学習済みニューラルネットワーク94に入力し、複数の仮想単色X線画像21~26のセット20を推論する。この複数の仮想単色X線画像は、エネルギーレベルが異なる複数の仮想単色X線画像である。図3では、複数の仮想単色X線画像の一例として、40(keV)の仮想単色X線画像21、50(keV)の仮想単色X線画像22、60(keV)の仮想単色X線画像23、80(keV)の仮想単色X線画像24、90(keV)の仮想単色X線画像25、および100(keV)の仮想単色X線画像26が示されている。
第1の実施形態では、シングルエネルギーCTの撮影により取得されたCT画像11が学習済みニューラルネットワーク94に入力される。学習済みニューラルネットワーク94は、CT画像11に基づいて、エネルギーレベルが互いに異なる複数の仮想単色X線画像21~26を推論する。したがって、シングルエネルギーCTのCTシステムしか導入されていない医療機関であっても、様々なエネルギーレベルの仮想単色X線画像を生成することができるので、推論された仮想単色X線画像21~26の中から、臨床目的に対応した最適なコントラストの仮想単色X線画像を得ることが可能となる。
以下に、上記の手法に従って、エネルギーレベルが異なる複数の仮想単色X線画像を取得する方法について、図4を参照しながら具体的に説明する。
図4は、CTシステム100を用いて被検体のスキャンを実行し複数の仮想単色X線画像を推論するフロー図である。第1の実施形態では、被検体のスキャンとして、被検体に造影剤を注入して被検体を撮影する造影CTスキャンが実行される例について説明する。
尚、図3を参照しながら説明したように、第1の実施形態では、シングルエネルギーCTのCT画像11に基づいて、エネルギーレベルが異なる複数の仮想単色X線画像を推論するので、この推論を行うことができる学習済みニューラルネットワーク94を事前に用意しておく必要がある。そこで、以下では、最初に、この学習済みニューラルネットワーク94を作成する学習フェーズについて説明する。そして、学習フェーズを説明した後で、シングルエネルギーCTのCT画像に基づいて、エネルギーレベルが異なる複数の仮想単色X線画像を推論するフローについて説明する。
(学習フェーズについて)
学習フェーズでは、先ず、ステップST90において、学習データを準備する。
図5は、学習データの説明図である。
学習データは、病院などの医療機関から入手することができる。例えば、医療機関で実際に患者をスキャンすることにより取得された仮想単色X線画像を学習データとして用意することができる。尚、上記のように、第1の実施形態では、被検体に造影CTスキャンを実行することを考えている。したがって、第1の実施形態では、病院などの医療機関で患者を造影CTスキャンすることにより取得された仮想単色X線画像を学習データとして用意する。図5には、病院などの医療機関で患者31~3Wに造影CTスキャンを実行することにより取得された仮想単色X線画像を学習データとして用意する例が示されている。これらの仮想単色X線画像は、デュアルエネルギーCTのデータに基づいて生成された画像である。先ず、患者31から取得された仮想単色X線画像について説明する。
図6は、患者31から取得された仮想単色X線画像の説明図である。
患者31から得られた仮想単色X線画像には、様々な時相で取得された仮想単色X線画像が含まれているが、ここでは、説明の便宜上、患者31から取得された仮想単色X線画像として、所定の時相(例えば、動脈相)で取得された複数の仮想単色X線画像A11~Af7を考えることにする。
スライスa1を参照すると、スライスa1では、複数の仮想単色X線画像A11~A17が取得されている。仮想単色X線画像A11~A17は、デュアルエネルギーCTのデータに基づいて生成されたものであり、エネルギーレベルが互いに異なる仮想単色X線画像である。
具体的には以下の通りである。
11:エネルギーレベルE1(=40(keV))の仮想単色X線画像
12:エネルギーレベルE2(=50(keV))の仮想単色X線画像
13:エネルギーレベルE3(=60(keV))の仮想単色X線画像
14:エネルギーレベルE4(=70(keV))の仮想単色X線画像
15:エネルギーレベルE5(=80(keV))の仮想単色X線画像
16:エネルギーレベルE6(=90(keV))の仮想単色X線画像
17:エネルギーレベルE7(=100(keV))の仮想単色X線画像
また、スライスa2を参照すると、スライスa2では、複数の仮想単色X線画像A21~A27が取得されている。仮想単色X線画像A21~A27は、デュアルエネルギーCTのデータに基づいて生成されたものであり、エネルギーレベルが互いに異なる仮想単色X線画像である。具体的には、以下の通りである。
21:エネルギーレベルE1(=40(keV))の仮想単色X線画像
22:エネルギーレベルE2(=50(keV))の仮想単色X線画像
23:エネルギーレベルE3(=60(keV))の仮想単色X線画像
24:エネルギーレベルE4(=70(keV))の仮想単色X線画像
25:エネルギーレベルE5(=80(keV))の仮想単色X線画像
26:エネルギーレベルE6(=90(keV))の仮想単色X線画像
27:エネルギーレベルE7(=100(keV))の仮想単色X線画像
以下同様に、他のスライスa3~afにおいても、エネルギーレベルE1~E7の複数の仮想単色X線画像が取得されている。したがって、患者31からは、複数の仮想単色X線画像A11~Af7が取得されている。
また、図5に示すように、他の患者32~3Wについても、患者31と同様に、複数の仮想単色X線画像が取得されている。例えば、患者32からは仮想単色X線画像B11~Bg7が得られており、患者3Wからは仮想単色X線画像W11~Wh7が得られている。
図4に戻って説明を続ける。
したがって、ステップST90では、患者31~3Wのから得られたエネルギーレベルE1~E7の仮想単色X線画像が学習データ91として用意される。尚、仮想単色X線画像のエネルギーレベルは、上記のエネルギーレベルE1~E7に限定されることはなく、エネルギーレベルE1~E7とは異なる値のエネルギーレベルとすることもできる。また、上記の例では、患者31~3Wから取得された実際の仮想単色X線画像を、学習データとして使用する場合について説明されている。しかし、患者31~3Wから取得された実際の仮想単色X線画像に対して所定の前処理を実行し、前処理が実行された後の仮想単色X線画像を、学習データとして使用してもよい。
学習データ91を用意した後、ステップ92に進む。
ステップST92では、学習装置(図示せず)が、学習データ91を用いてニューラルネットワーク93の学習を実行し、学習済みニューラルネットワーク94を作成する。以下に、ニューラルネットワーク93の学習方法について説明する。
図7は、ニューラルネットワーク93の学習方法の説明図である。
先ず、患者31のスライスa1から得られた複数の仮想単色X線画像A11~A17(図6参照)を用いた学習を実行する。
具体的には、70(keV)のエネルギーレベルの仮想単色X線画像A14を、ニューラルネットワーク93の入力として使用し、他のエネルギーレベル(40(keV)、50(keV)、60(keV)、80(keV)、90(keV)、および100(keV))の仮想単色X線画像A11、A12、A13、A15、A16、およびA17がニューラルネットワーク93から出力されるように、ニューラルネットワーク93の学習が実行される。尚、70(keV)のエネルギーレベルの仮想単色X線画像A14をニューラルネットワーク93の入力として使用する理由は、以下の通りである。
第1の実施形態では、図3を参照しながら説明したように、ステップST1において実際に被検体112をスキャンするために使用されるCTシステム100の管電圧は120kVpである。そして、120kVpの管電圧で被検体をスキャンすることにより得られたデータに基づいて、学習済みニューラルネットワーク94に入力されるCT画像11(図3参照)が生成される。したがって、学習フェーズでは、120kVpの管電圧のX線のエネルギーレベルに相当する仮想単色X線画像を、ニューラルネットワーク93の入力として使用することが望まれる。120kVpの管電圧に相当する仮想単色X線画像のエネルギーレベルは、例えば、E4=70(keV)である。このような理由から、第1の実施形態では、70(keV)の仮想単色X線画像A14を、ニューラルネットワーク93の入力として使用している。
したがって、複数の仮想単色X線画像A11~A17は、管電圧120kVpに相当するエネルギーレベルの仮想単色X線画像A14と、エネルギーレベルが互いに異なる6個の仮想単色X線画像A11、A12、A13、A15、A16、およびA17とを含んでいる。そして、仮想単色X線画像A14がニューラルネットワーク93の入力として使用され、6個の仮想単色X線画像A11、A12、A13、A15、A16、およびA17がニューラルネットワーク93から出力されるように、ニューラルネットワーク93が仮想単色X線画像A11~A17を用いた学習を実行する。
また、第1の実施形態では、学習装置は、マルチタスクラーニングの手法を用いてニューラルネットワーク93の学習を実行する(図8参照)。
図8は、マルチタスクラーニングの手法を用いたニューラルネットワーク93の学習方法の説明図である。
マルチタスクラーニングは、複数のタスクを同時に学習することができる学習方法である。
第1の実施形態では、ニューラルネットワーク93は、共有層と、複数のタスク固有層1~6とを有している。
共有層は、エネルギーレベルE1、E2、E3、E4、E5、E6、およびE7の仮想単色X線画像A11、A12、A13、A14、A15、A16、およびA17に含まれる各部位の特徴量を学習する層である。各部位の特徴量は、例えば、画像分解能、画像のダイナミックレンジ、エッジの鮮鋭度などである。
タスク固有層1~6は、エネルギーレベルE4の仮想単色X線画像A14のCT値に基づいて、他のエネルギーレベル(E1、E2、E3、E5、E6、E7)の仮想単色X線画像のCT値をどれだけ調整すればよいかを学習する層である。
タスク固有層1は、40(keV)の仮想単色X線画像A11に対応付けられている層である。タスク固有層1は、70(keV)の仮想単色X線画像A14のCT値に基づいて、タスク固有層1に対応付けられた40(keV)の仮想単色X線画像A11のCT値をどれだけ調整すればよいかを学習する層である。
タスク固有層2は、50(keV)の仮想単色X線画像A12に対応付けられている層である。タスク固有層2は、70(keV)の仮想単色X線画像A14のCT値に基づいて、タスク固有層2に対応付けられた50(keV)の仮想単色X線画像A12のCT値をどれだけ調整すればよいかを学習する層である。
タスク固有層3は、60(keV)の仮想単色X線画像A13に対応付けられている層である。タスク固有層3は、70(keV)の仮想単色X線画像A14のCT値に基づいて、タスク固有層3に対応付けられた60(keV)の仮想単色X線画像A13のCT値をどれだけ調整すればよいかを学習する層である。
タスク固有層4は、80(keV)の仮想単色X線画像A15に対応付けられている層である。タスク固有層4は、70(keV)の仮想単色X線画像A14のCT値に基づいて、タスク固有層4に対応付けられた80(keV)の仮想単色X線画像A15のCT値をどれだけ調整すればよいかを学習する層である。
タスク固有層5は、90(keV)の仮想単色X線画像A16に対応付けられている層である。タスク固有層6は、70(keV)の仮想単色X線画像A14のCT値に基づいて、タスク固有層5に対応付けられた90(keV)の仮想単色X線画像A16のCT値をどれだけ調整すればよいかを学習する層である。
タスク固有層6は、100(keV)の仮想単色X線画像A17に対応付けられている層である。タスク固有層6は、70(keV)の仮想単色X線画像A14のCT値に基づいて、タスク固有層6に対応付けられた100(keV)の仮想単色X線画像A17のCT値をどれだけ調整すればよいかを学習する層である。
このように、ニューラルネットワーク93では、共有層とタスク固有層1~6において、仮想単色X線画像A11~A17を用いた学習が実行される。
尚、図7および図8では、ニューラルネットワーク93において、仮想単色X線画像A11~A17を用いた学習が実行される場合について示されているが、他の仮想単色X線画像についても、同様に学習が実行される。
このように、ニューラルネットワーク93が学習データ91を用いた学習を実行することにより、学習済みニューラルネットワーク94が作成される。尚、学習フェーズでは、所定のCT値の範囲を、重点的に学習するようにしてもよい。例えば、造影剤を使用したスキャンでは、診断をする上で造影剤のCT値が重要であるので、造影剤のCT値の範囲を重点的に学習するようにしてもよい。このように集中的に学習するCT値の範囲を決めておくことにより、診断の目的に更に適合した画像を推論することができる学習済みニューラルネットワークを提供することが可能となる。
学習済みニューラルネットワーク94は、CTシステム100の記憶装置218(図2参照)に記憶される。尚、学習済みニューラルネットワーク94を、CTシステム100がアクセス可能な外部記憶装置に記憶してもよい。
第1の実施形態では、上記のように作成された学習済みニューラルネットワーク94を使用して、エネルギーレベルが異なる複数の仮想単色X線画像を推論している。以下に、学習済みニューラルネットワーク94を使用して複数の仮想単色X線画像を推論するフローについて、図4の右側のフローを参照しながら説明する。
ステップST1では、被検体のスキャンが実行される。具体的には、図9に示すように、被検体112に造影剤を注入し、CTシステム100を用いて被検体112の撮影部位の造影画像を取得するための造影CTスキャンを実行する。ここでは、被検体112の撮影部位に対して設定されたスライス41~4nの造影画像を取得するためのスキャンが実行されるとする。尚、スキャン時の管電圧は120kVpである。
スキャンにより得られたデータは、DAS214(図2参照)で収集され、収集されたデータは、コンピュータ216又は画像再構成器230に送信される。
図4に戻って説明を続ける。
ステップST2では、コンピュータ216又は画像再構成器230のプロセッサが、ステップST1において被検体から収集されたデータに基づいて、撮影部位のスライス41~4n(図9参照)のCT画像11~1n(CT画像のセット10)を生成する。図4では、CT画像11~1nのうち、CT画像11のみを拡大して示してある。CT画像11~1nを生成した後、ステップST3に進む。
ステップST3では、コンピュータ216のプロセッサが、各CT画像に基づいて、学習済みニューラルネットワーク94に、エネルギーレベルE1=40(keV)、E2=50(keV)、E3=60(keV)、E5=80(keV)、E6=90(keV)、およびE7=100(keV)の仮想単色X線画像を推論させる。
具体的には、ステップST3では、先ず、コンピュータ216のプロセッサが、CT画像11を入力画像として学習済みニューラルネットワーク94に入力し、学習済みニューラルネットワーク94を用いて、エネルギーレベルE1=40(keV)、E2=50(keV)、E3=60(keV)、E5=80(keV)、E6=90(keV)、およびE7=100(keV)の仮想単色X線画像21~26を推論する。したがって、CT画像11に対して、エネルギーレベルが異なる複数の仮想単色X線画像21~26を推論することができる。
以下同様に、コンピュータ216のプロセッサは、他のCT画像12~1nの各々を、入力画像として学習済みニューラルネットワーク94に入力し、入力画像ごとに、エネルギーレベルが異なる複数の仮想単色X線画像を推論する。
したがって、CT画像11~1nの各々に対して、エネルギーレベルが異なる複数の仮想単色X線画像を推論することができる。尚、図4では、説明の便宜上、CT画像11に対して推論された仮想単色X線画像21~26のみが示されており、他のCT画像12~1nに対して推論された仮想単色X線画像は図示省略されている。
オペレータは、推論された仮想単色X線画像を表示部に表示し、各画像を確認する。
このようにして、図4に示すフローを終了する。
第1の実施形態では、学習フェーズで学習済みニューラルネットワーク94を作成している。学習フェーズでは、デュアルエネルギーCTのデータに基づいて生成された複数の仮想単色X線画像を学習データとして用意し、その学習データをニューラルネットワーク93に学習させて、学習済みニューラルネットワーク94を作成している。具体的には、複数のエネルギーレベルE1~E7の仮想単色X線画像を用意し、エネルギーレベルE4(=70(keV))の仮想単色X線画像をニューラルネットワーク93の入力とし、その他のエネルギーレベルE1=40(keV)、E2=50(keV)、E3=60(keV)、E5=80(keV)、E6=90(keV)、およびE7=100(keV)の仮想単色X線画像がニューラルネットワーク93から出力されるように、ニューラルネットワーク93が学習を実行している。そして、ニューラルネットワーク93の入力として使用されるエネルギーレベルE4(=70(keV))の仮想単色X線画像は、実際に被検体112をスキャンするために使用されるシングルエネルギーCTのCTシステム100の管電圧120kVpに相当するエネルギーレベルの仮想単色X線画像である。したがって、シングルエネルギーCTにより得られたCT画像11を、学習済みニューラルネットワーク94に入力することにより、十分な品質を有する他のエネルギー(40(keV)、50(keV)、60(keV)、80(keV)、90(keV)、および100(keV))の仮想単色X線画像を推論することができる。このように、第1の実施形態では、シングルエネルギーCTのCTシステム100から生成されたCT画像11に基づいて様々なエネルギーレベルの仮想単色X線画像を推論することができる。したがって、シングルエネルギーCTのCTシステムしか導入されていない医療機関であっても、推論された複数の仮想単色X線画像の中から、臨床目的に対応した最適なコントラストの仮想単色X線画像を得ることが可能となる。
また、第1の実施形態では、ニューラルネットワーク93が、共有層で、仮想単色X線画像に含まれる部位の特徴量を学習し、複数のタスク固有層で、対応するエネルギーレベルの仮想単色X線画像のCT値をどれだけ調整すればよいかを学習することにより、複数の仮想単色X線画像を推論する学習済みニューラルネットワーク94が作成されている。これに対し、複数の仮想単色X線画像を推論する場合、第1の実施形態の方法とは別の方法として、推論したい仮想単色X線画像ごとに、個別に学習済みニューラルネットワークを作成する方法も考えられる。しかし、第1の実施形態における学習済みニューラルネットワーク94の作成方法は、推論したい仮想単色X線画像ごとに学習済みニューラルネットワークを作成する方法と比較して、複数の仮想単色X線画像の推論精度を高める効果が期待できる。以下に、この理由について説明する。尚、この理由の説明にあたっては、先ず、仮想単色X線画像ごとに学習済みニューラルネットワークを作成する方法の欠点を、図10を参照しながら説明する。そして、その欠点を明らかにした上で、第1の実施形態の学習済みニューラルネットワーク94の作成方法の利点について説明する。
図10は、仮想単色X線画像ごとに学習済みニューラルネットワークを作成する方法の説明図である。
この方法では、推論したい仮想単色X線画像ごとに、ニューラルネットワークの学習が行われる。図10では、ニューラルネットワーク81~86が示されている。ニューラルネットワーク81~86は、学習フェーズにおいて、以下の(a)-(f)のように学習を行う。
(a)ニューラルネットワーク81は、70(keV)の仮想単色X線画像A14に対して40(keV)の仮想単色X線画像A11が推論されるように学習を行う。
(b)ニューラルネットワーク82は、70(keV)の仮想単色X線画像A14に対して50(keV)の仮想単色X線画像A12が推論されるように学習を行う。
(c)ニューラルネットワーク83は、70(keV)の仮想単色X線画像A14に対して60(keV)の仮想単色X線画像A13が推論されるように学習を行う。
(d)ニューラルネットワーク84は、70(keV)の仮想単色X線画像A14に対して80(keV)の仮想単色X線画像A15が推論されるように学習を行う。
(e)ニューラルネットワーク85は、70(keV)の仮想単色X線画像A14に対して90(keV)の仮想単色X線画像A16が推論されるように学習を行う。
(f)ニューラルネットワーク86は、70(keV)の仮想単色X線画像A14に対して100(keV)の仮想単色X線画像A17が推論されるように学習を行う。
したがって、ニューラルネットワーク81~86は、それぞれが独立に70(keV)の仮想単色X線画像を学習する。このため、ニューラルネットワーク81~86の間で、70(keV)の仮想単色X線画像に対する学習結果に差異が生じることがある。また、ニューラルネットワーク81は、70(keV)の仮想単色X線画像A14および40(keV)の仮想単色X線画像A11、すなわち、2つのエネルギーレベルの仮想単色X線画像しか学習せず、他のエネルギーレベルの仮想単色X線画像は学習しない。同様に、他のニューラルネットワーク82~86も、2つのエネルギーレベルの仮想単色X線画像しか学習しない。したがって、ニューラルネットワーク81~86の各々は、40(keV)、50(keV)、60(keV)、70(keV)、80(keV)、90(keV)、および100(keV)の仮想単色X線画像のうち、2つの仮想単色X線画像しか学習しない。その結果、図10の方法では、推論結果にばらつきが生じてしまい、信頼性の高い仮想単色X線画像を推論することが難しいという恐れがある。
一方、第1の実施形態の方法では、ニューラルネットワーク93の共有層(図8参照)で、全てのエネルギーレベルの仮想単色X線画像に含まれる部位の特徴量を学習することができるので、各エネルギーレベルの仮想単色X線画像の学習結果に対して一貫性を持たせることができる。そして、タスク固有層1~6では、共有層から得られる一貫性のある学習結果に基づいて、仮想単色X線画像の学習を行う。したがって、仮想単色X線画像の推論精度を向上させることが可能となる。
また、第1の実施形態では、シングルエネルギーCTのCTシステム100で被検体112をスキャンしている。一般的に、シングルエネルギーCTによって取得したCT画像では、造影剤のCT値と軟組織のCT値との間に、大きな差異が現れにくいことがある。したがって、シングルエネルギーCTのCTシステム100で、薄い濃度の造影剤しか注入できない被検体(例えば、腎臓に疾患がある被検体)を造影撮影する場合、造影剤が十分に強調されたCT画像を取得することが難しく、読影に時間がかかったり、再撮影になってしまうという問題が生じ得る。これに対し、第1の実施形態では、シングルエネルギーCTのCTシステム100で得られたCT画像に基づいて、造影剤を強調して描出することができる低エネルギーレベルの仮想単色X線画像(例えば、40(keV)の仮想単色X線画像)を推論することができる。したがって、読影の時間が延長してしまったり、再撮影になってしまうという問題を回避することが可能となる。
尚、第1の実施形態では、学習フェーズにおいて、70(keV)のエネルギーレベルの仮想単色X線画像を、ニューラルネットワーク93の入力として使用している。しかし、70(keV)とは別のエネルギーレベルの仮想単色X線画像を、ニューラルネットワーク93の入力として使用してもよい。例えば、CTシステム100の管電圧が120kVpではなく、他の管電圧を使用する場合、70(keV)とは別のエネルギーレベルの仮想単色X線画像を、ニューラルネットワーク93の入力として使用し、学習を実行することができる。例えば、CTシステム100の管電圧が120kVpではなく140kVpの場合、140kVpは約75(keV)のエネルギーレベルに相当するので、75(keV)の仮想単色X線画像をニューラルネットワーク93の入力として使用することができる。したがって、CTシステム100の管電圧が140kVpの場合、学習データとして、例えば、40(keV)、50(keV)、60(keV)、70(keV)、75(keV)、80(keV)、90(keV)、および100(keV)のエネルギーレベルの仮想単色X線画像を用意することができる。ニューラルネットワーク93は、75(keV)のエネルギーレベルの仮想単色X線画像をニューラルネットワーク93の入力として使用し、他のエネルギーの仮想単色X線画像がニューラルネットワーク93から出力されるように、仮想単色X線画像を用いた学習を実行することができる。
また、シングルエネルギーCTのCTシステム100の管電圧が100kVpの場合、100kVpは約65(keV)のエネルギーレベルに相当するので、65(keV)の仮想単色X線画像をニューラルネットワーク93の入力として使用することができる。したがって、CTシステム100の管電圧が100kVpの場合、学習データとして、例えば、40(keV)、50(keV)、60(keV)、65(keV)、70(keV)、80(keV)、90(keV)、および100(keV)のエネルギーレベルの仮想単色X線画像を用意することができる。ニューラルネットワーク93は、65(keV)のエネルギーレベルの仮想単色X線画像をニューラルネットワーク93の入力として使用し、他のエネルギーの仮想単色X線画像がニューラルネットワーク93から出力されるように、仮想単色X線画像を用いた学習を実行することができる。
また、ステップST3(図4参照)において仮想単色X線画像21~26を推論した後、CT画像11に関心領域を設定し、仮想単色X線画像21~26のCT値に基づいて、関心領域に対応するスペクトラル曲線を作成してもよい。スペクトラル曲線を作成することにより、物質弁別を実行することが可能となる。
第1の実施形態では、造影CTスキャンにより得られた学習データに基づいて学習済みニューラルネットワーク94を作成している。しかし、本発明は、造影CTスキャンにより得られた学習データに基づいて学習済みニューラルネットワーク94を作成する例に限定されるものではなく、仮想単色X線画像を推論することができるのであれば、非造影スキャンにより得られた学習データに基づいて学習済みニューラルネットワークを作成してもよい。
(2)第2の実施形態
第1の実施形態では、40(keV)、50(keV)、60(keV)、80(keV)、90(keV)、および100(keV)のエネルギーレベルの仮想単色X線画像を推論したが、第2の実施形態では、推論される仮想単色X線画像をオペレータが選択できるようにする機能を備えた例について説明する。
オペレータは、先ず、モード選択画面を表示部232に表示させるために、オペレータコンソール220(図1参照)を操作する。オペレータコンソール220は、オペレータの操作に応答して、モード選択画面を表示部232に表示させるための信号をコンピュータ216に入力する。コンピュータ216のプロセッサは、オペレータコンソール220からの信号に応答して、表示部232にモード選択画面を表示させる(図11参照)。
図11は、モード選択画面の一例を示す図である。
表示部232には、標準モード(Standard mode)と、プリファレンスモード(Preference mode)が表示されている。
モード選択画面は、標準モードおよびプリファレンスモードのうちの一方のモードをオペレータに選択させるための画面である。
標準モードは、40(keV)、50(keV)、60(keV)、80(keV)、90(keV)、および100(keV)の仮想単色X線画像の全てを推論するモードである。一方、プリファレンスモードは、40(keV)、50(keV)、60(keV)、80(keV)、90(keV)、および100(keV)の仮想単色X線画像の中から、推論される仮想単色X線画像をオペレータが選択することができるモードである。
オペレータは、オペレータコンソール220を操作し、標準モード又はプリファレンスモードを選択することができる。オペレータが、標準モードが選択されるようにオペレータコンソール220を操作すると、オペレータコンソール220は、オペレータの操作に応答して、標準モードを選択する信号をコンピュータ216に入力する。コンピュータ216のプロセッサは、オペレータコンソール220からの信号に応答して、全てのエネルギーレベルの仮想単色X線画像、すなわち、40(keV)、50(keV)、60(keV)、80(keV)、90(keV)、および100(keV)の仮想単色X線画像の全てが推論されるように、推論条件を設定する。
一方、オペレータは、推論される仮想単色X線画像を選択したい場合、オペレータコンソール220を操作して、プリファレンスモードを選択することができる。オペレータが、プリファレンスモードが選択されるようにオペレータコンソール220を操作すると、オペレータコンソール220は、オペレータの操作に応答して、プリファレンスモードを選択する信号をコンピュータ216に入力する。コンピュータ216のプロセッサは、オペレータコンソール220からの信号に応答して、推論される仮想単色X線画像のエネルギーレベルをオペレータに選択させるためのエネルギーレベル選択画面が表示されるように、表示部232を制御する(図12参照)。
図12は、エネルギーレベル選択画面の一例を示す図である。
表示部232には、エネルギーレベルとして、40(keV)、50(keV)、60(keV)、80(keV)、90(keV)、および100(keV)が示されている。オペレータは、40(keV)、50(keV)、60(keV)、80(keV)、90(keV)、および100(keV)の中から、診断の目的などに応じて、どのエネルギーレベルの仮想単色X線画像を推論したいかを選択することができる。例えば、造影剤を用いた撮影を実行する場合、低エネルギーレベルの仮想単色X線画像は、高エネルギーレベルの仮想単色X線画像よりも造影剤を更に強調して描出させることができるので、オペレータは、低エネルギーレベルの仮想単色X線画像を取得したいと考える。この場合、オペレータは、低エネルギーレベルの仮想単色X線画像として、図12に示すように、例えば、40(keV)の仮想単色X線画像を選択することができる。40(keV)の仮想単色X線画像は、軟組織など、血管と比較して造影剤の流入量が少なくなる部位を観察したい場合に特に適した画像である。
一方、血管を流れる造影剤の量は多いので、40(keV)の仮想単色X線画像では、血管を流れる造影剤の輝度が明るく強調されすぎてしまい、オペレータによっては血管が視覚的に見にくくなっていると感じることがある。したがって、血管を視認しやすい画像を取得したい場合には、オペレータによっては、40(keV)の仮想単色X線画像よりもエネルギーレベルが高い50(keV)の仮想単色X線画像を好むことがある。
したがって、オペレータは、軟組織に流入した造影剤を強調させるという要求と、血管を視認しやすくするという要求の両方を満足させたい場合には、40(keV)の仮想単色X線画像と50(keV)の仮想単色X線画像を推論させることが望ましい。この場合、図13に示すように、オペレータは、40(keV)と50(keV)の両方を選択することができる。40(keV)の仮想単色X線画像と50(keV)の仮想単色X線画像を推論することにより、オペレータは、軟組織については40(keV)の仮想単色X線画像を優先的に参考にし、血管については50(keV)の仮想単色X線画像を優先的に参考にすることができるので、臨床の目的に応じた画像を取得することができる。また、診断に不要な60(keV)、80(keV)、90(keV)、および100(keV)の仮想単色X線画像は推論されないので、推論フェーズの時間を短縮することができる。
(3)第3の実施形態
第3の実施形態では、推論される40(keV)、50(keV)、60(keV)、80(keV)、90(keV)、および100(keV)の仮想単色X線画像の中から、最適なコントラストノイズ比CNR(Contrast to Noise Ratio)を持つ仮想単色X線画像をオペレータに提示する例について説明する。
図14は、第3の実施形態で実行されるフローチャートである。
学習フェーズおよびステップST1~ST3は、第1の実施形態のフローと同じであるので、詳細な説明は省略し、ステップST4~ST6について、主に説明する。
ステップST4では、オペレータがCT画像11上に関心領域を設定する。
図15は、関心領域の一例を示す図である。
オペレータは、オペレータコンソール220を操作し、CT画像11上に関心領域を設定するための信号を入力する。コンピュータ216のプロセッサは、オペレータコンソール220からの信号に応答して、CT画像11上に関心領域70を設定する。関心領域70を設定した後、ステップST5に進む。
ステップST5では、各仮想単色X線画像について、CNRを計算する。
図16は、各仮想単色X線画像に対して計算されたCNRを示す図である。
コンピュータ216のプロセッサは、推論された仮想単色X線画像21に対して、関心領域70に対応する領域71を特定する。そして、領域71内のピクセル値に基づいて、仮想単色X線画像21のCNR(=CNR1)を計算する。以下同様に、他の仮想単色X線画像22、23、24、25、26に対しても、関心領域70に対応する領域72、73、74、75、76を特定する。そして、領域72~76内のピクセル値に基づいて、仮想単色X線画像22~26のCNR2~CNR6を計算する。CNRを計算した後、ステップST6に進む。
ステップST6では、コンピュータ216のプロセッサは、計算されたCNR1~CNR6に基づいて、仮想単色X線画像21~26の中から、CNRが最大となる仮想単色X線画像を選択する。選択された仮想単色X線画像は表示部に表示される。このようにして、フローを終了する。
第3の実施形態では、CNRが最大となる仮想単色X線画像が表示される。したがって、推論された仮想単色X線画像の中から、関心領域の読影に適した画像を表示することが可能となる。
以上説明したように、第1~第3の実施形態によれば、シングルエネルギーCTにより得られたCT画像から、エネルギーレベルが異なる複数の仮想単色X線画像を推論することができる。
尚、本発明の手法で推論される仮想単色X線画像の品質を確認するために、本発明の手法で作成された学習済みニューラルネットワークを用いて、仮想単色X線画像を実際に推論した。以下に、実際に推論した仮想単色X線画像について説明する。
図17は、実際に推論した仮想単色X線画像を示す図である。
図17の上段には、比較のため、120kVpのシングルエネルギーCTにより生成された動脈相のCT画像51、静脈相のCT画像52、および遅延相のCT画像53が示されている。そして、図17の下段に、本発明の手法により推論された、動脈相の50(keV)の仮想単色X線画像61、静脈相の50(keV)の仮想単色X線画像62、および遅延相の50(keV)の仮想単色X線画像63が示されている。両画像を比較すると、本発明の手法により生成された仮想単色X線画像の造影剤が強調されていることがわかる。
1、2、3、4、5、6 タスク固有層
10 CT画像のセット
11~1n、51、52、53 CT画像
20 仮想単色X線画像のセット
21、22、23、24、25、26、61、62、63 仮想単色X線画像
31~3W 患者
41~4n スライス
70 関心領域
71、72、73、74、75、76 領域
81、82、83、84、85、86 ニューラルネットワーク
91 学習データ
93 ニューラルネットワーク
94 学習済みニューラルネットワーク
100 CTシステム
102 ガントリ
103 フィルタ部
104 X線管
105 前置コリメータ
106 X線ビーム
107 開口部
108 検出器アレイ
108 X線検出器
112 被検体
116 テーブル
118 テーブルモータコントローラ
202 検出器素子
210 X線コントローラ
212 ガントリモータコントローラ
214 DAS
216 コンピュータ
218 記憶装置
220 オペレータコンソール
230 画像再構成器
232 表示部
224 PACS

Claims (15)

  1. 被検体から収集されたシングルエネルギーCTのデータに基づいて生成されたCT画像を学習済みニューラルネットワークに入力することであって、
    前記学習済みニューラルネットワークは、学習フェーズにおいて、ニューラルネットワークが学習データを用いた学習を実行することにより生成されるものであり、
    前記学習データが、デュアルエネルギーCTのデータに基づいて生成され、且つエネルギーレベルが互いに異なる複数の仮想単色X線画像を含み、
    前記複数の仮想単色X線画像が、シングルエネルギーCTのデータを収集するCTシステムの管電圧に相当するエネルギーレベルの第1の仮想単色X線画像と、エネルギーレベルが互いに異なる第1の2つ以上の仮想単色X線画像とを含み、
    前記学習フェーズにおいて、前記ニューラルネットワークが、前記第1の仮想単色X線画像が前記ニューラルネットワークの入力として使用され、前記第1の2つ以上の仮想単色X線画像が前記ニューラルネットワークから出力されるように、前記学習データを用いた学習を実行する、
    前記CT画像を学習済みニューラルネットワークに入力すること、および
    入力された前記CT画像に基づいて、前記学習済みニューラルネットワークに、エネルギーレベルが異なる第2の2つ以上の複数の仮想単色X線画像を推論させること
    を含む動作を実行する1つ以上のプロセッサを含む、装置。
  2. 前記ニューラルネットワークが、マルチタスクラーニングの手法を用いて前記学習データを用いた学習を実行することにより、前記学習済みニューラルネットワークが作成される、請求項1に記載の装置。
  3. 前記ニューラルネットワークが、共有層と複数タスク固有層とを含み、
    前記共有層が、前記複数の仮想単色X線画像に含まれる各部位の特徴量を学習し、
    各タスク固有層は、前記複数の仮想単色X線画像のうちの前記第1の仮想単色X線画像とは異なるエネルギーレベルの仮想単色X線画像に対応付けられており、
    各タスク固有層が、前記第1の仮想単色X線画像のCT値に基づいて、前記各タスク固有層に対応付けられた仮想単色X線画像のCT値をどれだけ調整すればよいかを学習する、請求項1に記載の装置。
  4. 前記第1の2つ以上の仮想単色X線画像の各々が、患者をスキャンすることにより得られた実際の仮想単色X線画像、又は前記実際の仮想単色X線画像に対して所定の前処理を実行することにより得られた前処理後の仮想単色X線画像である、請求項1に記載の装置。
  5. 前記第1の2つ以上の仮想単色X線画像および前記CT画像の各々は、造影剤を用いたスキャンを実行することにより得られた画像である、請求項1に記載の装置。
  6. シングルエネルギーCTのデータを収集するCTシステムであって、
    所定の管電圧が印加されるX線管と、
    1つ以上のプロセッサと
    を含み、
    前記1つ以上のプロセッサが、
    被検体から収集されたシングルエネルギーCTのデータに基づいて、CT画像を生成すること、
    前記CT画像を学習済みニューラルネットワークに入力することであって、
    前記学習済みニューラルネットワークは、学習フェーズにおいて、ニューラルネットワークが学習データを用いた学習を実行することにより生成されるものであり、
    前記学習データが、デュアルエネルギーCTのデータに基づいて生成され、且つエネルギーレベルが互いに異なる複数の仮想単色X線画像を含み、
    前記複数の仮想単色X線画像が、前記所定の管電圧に相当するエネルギーレベルの第1の仮想単色X線画像と、エネルギーレベルが互いに異なる第1の2つ以上の仮想単色X線画像とを含み、
    前記学習フェーズにおいて、前記ニューラルネットワークが、前記第1の仮想単色X線画像が前記ニューラルネットワークの入力として使用され、前記第1の2つ以上の仮想単色X線画像が前記ニューラルネットワークから出力されるように、前記学習データを用いた学習を実行する、
    前記CT画像を学習済みニューラルネットワークに入力すること、および
    入力された前記CT画像に基づいて、前記学習済みニューラルネットワークに、エネルギーレベルが異なる第2の2つ以上の仮想単色X線画像を推論させること
    を含む動作を実行する、CTシステム。
  7. 前記ニューラルネットワークが、共有層と複数タスク固有層とを含み、
    前記共有層が、前記複数の仮想単色X線画像に含まれる各部位の特徴量を学習し、
    各タスク固有層は、前記複数の仮想単色X線画像のうちの前記第1の仮想単色X線画像とは異なるエネルギーレベルの仮想単色X線画像に対応付けられており、
    各タスク固有層が、前記第1の仮想単色X線画像のCT値に基づいて、前記各タスク固有層に対応付けられた仮想単色X線画像のCT値をどれだけ調整すればよいかを学習する、請求項6に記載のCTシステム。
  8. 前記第2の2つ以上の仮想単色X線画像の全てを推論する第1のモードと、
    前記第2の2つ以上の仮想単色X線画像の中から、推論される仮想単色X線画像をオペレータが選択することができる第2のモードと
    を実行することができるように構成されている、請求項6に記載のCTシステム。
  9. 表示部を含み、
    前記1つ以上のプロセッサが、
    前記第1のモードおよび前記第2のモードのうちの一方のモードをオペレータに選択させるためのモード選択画面を表示部に表示させる、請求項8に記載のCTシステム。
  10. オペレータコンソールと、
    前記オペレータコンソールおよび前記表示部に結合され、前記1つ以上のプロセッサを含むコンピュータと
    を含み、
    前記オペレータコンソールが、オペレータの操作に応答して、前記モード選択画面を前記表示部に表示させるための信号を前記コンピュータに入力し、
    前記コンピュータのプロセッサが、前記オペレータコンソールからの信号に応答して、前記表示部に前記モード選択画面を表示させる、請求項9に記載のCTシステム。
  11. 前記オペレータコンソールが、オペレータの操作に応答して、前記第2のモードを選択する信号を入力すると、前記コンピュータのプロセッサが、前記オペレータコンソールからの信号に応答して、推論させる仮想単色X線画像のエネルギーレベルをオペレータに選択させるための画面を前記表示部に表示させる、請求項10に記載のCTシステム。
  12. 前記1つ以上のプロセッサが、
    前記CT画像上に関心領域を設定すること、
    前記第2の2つ以上の仮想単色X線画像に含まれる各仮想単色X線画像に対して、前記関心領域に対応する領域を特定すること、
    前記各仮想単色X線画像に対して特定された領域内のピクセル値に基づいて、前記各仮想単色X線画像のCNRを計算すること、
    前記各仮想単色X線画像のCNRに基づいて、前記第2の2つ以上の仮想単色X線画像の中から、仮想単色X線画像を選択すること、および
    前記選択された仮想単色X線画像を前記表示部に表示させること
    を含む動作を実行する、請求項9に記載のCTシステム。
  13. 学習済みニューラルネットワークの作成方法であって、
    ニューラルネットワークが学習データを用いた学習を実行することであって、
    前記学習データが、デュアルエネルギーCTのデータに基づいて生成され、且つエネルギーレベルが互いに異なる複数の仮想単色X線画像を含み、
    前記複数の仮想単色X線画像が、シングルエネルギーCTのデータを収集するCTシステムの管電圧に相当するエネルギーレベルの第1の仮想単色X線画像と、エネルギーレベルが互いに異なる第1の2つ以上の仮想単色X線画像とを含み、
    前記ニューラルネットワークが、前記第1の仮想単色X線画像が前記ニューラルネットワークの入力として使用され、前記第1の2つ以上の仮想単色X線画像が前記ニューラルネットワークから出力されるように、前記学習データを用いた学習を実行する、
    ニューラルネットワークが学習データを用いた学習を実行すること
    を含む、作成方法。
  14. 前記ニューラルネットワークが、共有層と複数タスク固有層とを含み、
    前記共有層が、前記複数の仮想単色X線画像に含まれる各部位の特徴量を学習し、
    各タスク固有層は、前記複数の仮想単色X線画像のうちの前記第1の仮想単色X線画像とは異なるエネルギーレベルの仮想単色X線画像に対応付けられており、
    各タスク固有層が、前記第1の仮想単色X線画像のCT値に基づいて、前記各タスク固有層に対応付けられた仮想単色X線画像のCT値をどれだけ調整すればよいかを学習する、請求項13に記載の作成方法。
  15. 1つ以上のプロセッサによって実行可能な1つ以上の命令が格納された、1つ以上の非一時的でコンピュータ読取可能な記録媒体であって、前記1つ以上の命令は、前記1つ以上のプロセッサに、
    被検体から収集されたシングルエネルギーCTのデータに基づいて生成されたCT画像を学習済みニューラルネットワークに入力することであって、
    前記学習済みニューラルネットワークは、学習フェーズにおいて、ニューラルネットワークが学習データを用いた学習を実行することにより生成されるものであり、
    前記学習データが、デュアルエネルギーCTのデータに基づいて生成され、且つエネルギーレベルが互いに異なる複数の仮想単色X線画像を含み、
    前記複数の仮想単色X線画像が、シングルエネルギーCTのデータを収集するCTシステムの管電圧に相当するエネルギーレベルの第1の仮想単色X線画像と、エネルギーレベルが互いに異なる第1の2つ以上の仮想単色X線画像とを含み、
    前記学習フェーズにおいて、前記ニューラルネットワークが、前記第1の仮想単色X線画像が前記ニューラルネットワークの入力として使用され、前記第1の2つ以上の仮想単色X線画像が前記ニューラルネットワークから出力されるように、前記学習データを用いた学習を実行する、
    前記CT画像を学習済みニューラルネットワークに入力すること、および
    入力された前記CT画像に基づいて、前記学習済みニューラルネットワークに、エネルギーレベルが異なる第2の2つ以上の複数の仮想単色X線画像を推論させること
    を含む動作を実行させる、記憶媒体。
JP2022137324A 2022-08-30 2022-08-30 仮想単色x線画像を推論する装置、ctシステム、学習済みニューラルネットワークの作成方法、および記憶媒体 Active JP7322262B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022137324A JP7322262B1 (ja) 2022-08-30 2022-08-30 仮想単色x線画像を推論する装置、ctシステム、学習済みニューラルネットワークの作成方法、および記憶媒体
US18/456,884 US20240065645A1 (en) 2022-08-30 2023-08-28 Device for inferring virtual monochromatic x-ray image, ct system, method of creating trained neural network, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022137324A JP7322262B1 (ja) 2022-08-30 2022-08-30 仮想単色x線画像を推論する装置、ctシステム、学習済みニューラルネットワークの作成方法、および記憶媒体

Publications (2)

Publication Number Publication Date
JP7322262B1 JP7322262B1 (ja) 2023-08-07
JP2024033627A true JP2024033627A (ja) 2024-03-13

Family

ID=87519634

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022137324A Active JP7322262B1 (ja) 2022-08-30 2022-08-30 仮想単色x線画像を推論する装置、ctシステム、学習済みニューラルネットワークの作成方法、および記憶媒体

Country Status (2)

Country Link
US (1) US20240065645A1 (ja)
JP (1) JP7322262B1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4276753A3 (en) 2018-09-10 2024-02-07 Kyocera Corporation Estimation device, estimation system, and estimation program
KR102628041B1 (ko) 2018-11-23 2024-01-22 삼성전자주식회사 단층 영상 처리 장치, 방법, 및 컴퓨터 프로그램 제품
JP7195961B2 (ja) 2019-02-08 2022-12-26 キヤノンメディカルシステムズ株式会社 医用処理装置、x線ctシステム及び処理プログラム
US20200294288A1 (en) 2019-03-13 2020-09-17 The Uab Research Foundation Systems and methods of computed tomography image reconstruction
JP2021137189A (ja) 2020-03-03 2021-09-16 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用画像診断装置及び医用情報処理方法
JP2022122250A (ja) 2021-02-09 2022-08-22 昭弘 芳賀 人体の物質密度画像の再構成方法およびx線ct装置、並びに放射線治療装置

Also Published As

Publication number Publication date
US20240065645A1 (en) 2024-02-29
JP7322262B1 (ja) 2023-08-07

Similar Documents

Publication Publication Date Title
US11450001B2 (en) Medical image processing apparatus, medical image processing method, and x-ray CT apparatus
US7668290B2 (en) X-ray diagnostic system
JP5191787B2 (ja) X線ct装置
EP2875781B1 (en) Apparatus and method for processing a medical image of a body lumen
EP3300018B1 (en) Systems and methods for generating subtracted images
JP5053606B2 (ja) 医用画像診断装置及び医用画像処理装置
US20190287239A1 (en) System and method for automated angiography
JP5156863B2 (ja) X線ct装置
JP2003204961A (ja) X線ct装置
JP2007144139A (ja) X線コンピュータ断層撮影装置及び画像処理装置
CN111317493A (zh) 基于多能量x射线成像单独调整生成虚拟图像数据
US20090238412A1 (en) Local motion compensated reconstruction of stenosis
JP7322262B1 (ja) 仮想単色x線画像を推論する装置、ctシステム、学習済みニューラルネットワークの作成方法、および記憶媒体
JP5180593B2 (ja) X線コンピュータ断層撮影装置及び3次元画像処理装置
JP6873831B2 (ja) 医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
JP7383770B1 (ja) 物質密度画像を推論する装置、ctシステム、記憶媒体、および学習済みニューラルネットワークの作成方法
CN112545541B (zh) 医用图像处理装置以及医用图像处理方法
EP4311496A1 (en) Blood flow parameters
JP2005168948A (ja) X線ct装置
JP7167239B1 (ja) 学習済みモデルの生成方法、推論装置、医用装置、およびプログラム
US20200167977A1 (en) Tomographic image processing apparatus and method, and computer program product
CN115211882A (zh) 医学图像中的图像处理方法、图像显示方法及成像系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230726

R150 Certificate of patent or registration of utility model

Ref document number: 7322262

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150