JP7167239B1 - 学習済みモデルの生成方法、推論装置、医用装置、およびプログラム - Google Patents

Abstract

【課題】造影撮影を実行した場合、造影剤が取り込まれた領域と、造影剤が取り込まれていない領域とを高い精度で判別する技術を提供する。【解決手段】撮影対象者の胸部を含む非造影ＣＴ画像および前記撮影対象者の胸部を含む造影ＣＴ画像が入力されることにより、前記撮影対象者の胸部において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する学習済みモデル９１ａを生成する学習済みモデル生成方法であって、コンピュータが、ニューラルネットワーク９１に、人間の胸部を含む複数の非造影ＣＴ画像ＣＮ１～ＣＮｎ、人間の胸部を含む第１の時相の造影ＣＴ画像ＣＰ１～ＣＰｎ、第２の時相の造影ＣＴ画像ＣＱ１～ＣＱｎ、第３の時相の造影ＣＴ画像ＣＱ１～ＣＱｎ、および複数の正解データＧＰ１～ＧＰｎ、ＧＱ１～ＧＱｎ、およびＧＲ１～ＧＲｎを用いた学習を実行させることにより、学習済みモデル９１ａを生成する。【選択図】図８

Description

本発明は、学習済みモデルの生成方法、学習済みモデルを用いて推論を行う推論装置、当該推論装置を有する医用装置、および学習済みモデルを用いて推論を行うためのプログラムに関する。

被検体の体内の画像を非侵襲的に撮影する医用装置として、Ｘ線ＣＴ装置が知られている。Ｘ線ＣＴ装置は、撮影部位を短時間で撮影することができるので、病院等の医療施設に普及している。

Ｘ線ＣＴ装置を用いて被検体を撮影する場合、様々なスキャン条件で被検体をスキャンすることにより、臨床目的に応じた様々なＣＴ画像を取得することができる。読影医などの医師は、取得されたＣＴ画像の読影を行い、読影の結果に基づいて、診断を行うことができる。

特開２０１６－８７４６９号公報

ＣＴ装置を使用した撮影方法として、シングルエネルギーＣＴが知られている。シングルエネルギーＣＴは、１つの管電圧（通常１２０ｋＶｐ）で撮影を行いＣＴ値の情報を得る方法であるが、この方法は、Ｘ線高吸収物質（骨や金属、造影剤）に起因するアーチファクト（ビームハードニングアーチファクト）が発生しやすいなどの問題がある。この問題に対処する技術として、デュアルエネルギーＣＴの技術が研究、開発されており（特許文献１参照）、デュアルエネルギーＣＴは、シングルエネルギーＣＴの欠点を克服する撮影方法として期待されている。

例えば、造影撮影によって腫瘍の良性、悪性を鑑別する場合、組織に取り込まれた造影剤を定量的に評価することが重要であるが、デュアルエネルギーＣＴは、組織に取り込まれた造影剤の定量評価に適した手法である。したがって、デュアルエネルギーＣＴは、腫瘍の良性、悪性の鑑別の精度を向上させることが可能である。しかし、ＣＴ装置によってはデュアルエネルギーＣＴが使用できない装置がある。この問題に対処するため、ＤＮＮ（Deep Neural Network）がデュアルエネルギーＣＴのデータを用いた学習を行うことにより学習済みＤＮＮを生成し、この生成した学習済みＤＮＮにシングルエネルギーＣＴのデータを入力してデュアルエネルギー情報を推論する研究が行われている。しかし、この方法では、撮影部位内において、造影剤が取り込まれていないにも関わらず、他の組織よりも明るく描出される部分が現れることがある。例えば、撮影部位に、胃の中の食べ物や石灰化した部分が含まれている場合、食べ物や石灰化した部分が明るく描出されることがある。したがって、造影剤が取り込まれた領域と、造影剤が取り込まれていない領域とを判別することが難しい場合ある。

したがって、造影撮影を実行した場合、造影剤が取り込まれた領域と、造影剤が取り込まれていない領域とを高い精度で判別することができる技術が望まれている。

本発明の第１の観点は、撮影対象者の所定の部位を含む非造影ＣＴ画像および前記撮影対象者の所定の部位を含む造影ＣＴ画像が入力されることにより、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する学習済みモデルを生成する学習済みモデル生成方法であって、
コンピュータが、
（１）人間の前記所定の部位を含む複数の非造影ＣＴ画像、
（２）人間の前記所定の部位を含む複数の造影ＣＴ画像、および
（３）複数の正解データであって、各正解データが、前記複数の非造影ＣＴ画像のうちの一つの非造影ＣＴ画像と、前記複数の造影ＣＴ画像のうちの一つの造影ＣＴ画像との差分画像に基づいて生成されたものであり、各正解データが、前記一つの非造影ＣＴ画像と前記一つの造影ＣＴ画像とにラベリングされている、複数の正解データ、

を用いた学習を実行することにより前記学習済みモデルを生成する、学習済みモデル生成方法である。

本発明の第２の観点は、撮影対象者の所定の部位を含む非造影ＣＴ画像および前記撮影対象者の所定の部位を含む造影ＣＴ画像が入力されることにより、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する学習済みモデルを含む推論装置であって、
前記学習済みモデルは、コンピュータが、
（１）人間の前記所定の部位を含む複数の非造影ＣＴ画像、
（２）人間の前記所定の部位を含む複数の造影ＣＴ画像、および
（３）複数の正解データであって、各正解データが、前記複数の非造影ＣＴ画像のうちの一つの非造影ＣＴ画像と、前記複数の造影ＣＴ画像のうちの一つの造影ＣＴ画像との差分画像に基づいて生成されたものであり、各正解データが、前記一つの非造影ＣＴ画像と前記一つの造影ＣＴ画像とにラベリングされている、複数の正解データ、

を用いた学習を実行することにより生成されている、推論装置である。

本発明の第３の観点は、撮影対象者の所定の部位を含む非造影ＣＴ画像および前記撮影対象者の所定の部位を含む造影ＣＴ画像が入力されることにより、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する学習済みモデルを含む医用装置であって、
前記学習済みモデルは、コンピュータが、
（１）人間の前記所定の部位を含む複数の非造影ＣＴ画像、
（２）人間の前記所定の部位を含む複数の造影ＣＴ画像、および
（３）複数の正解データであって、各正解データが、前記複数の非造影ＣＴ画像のうちの一つの非造影ＣＴ画像と、前記複数の造影ＣＴ画像のうちの一つの造影ＣＴ画像との差分画像に基づいて生成されたものであり、各正解データが、前記一つの非造影ＣＴ画像と前記一つの造影ＣＴ画像とにラベリングされている、複数の正解データ、

を用いた学習を実行することにより生成されている、医用装置である。

本発明の第４の観点は、１つ以上のプロセッサに、
撮影対象者の所定の部位を含む非造影ＣＴ画像および前記撮影対象者の所定の部位を含む造影ＣＴ画像を学習済みモデルに入力し、前記学習済みモデルに、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行させること
を含む動作を実行させるプログラムであって、
前記学習済みモデルは、コンピュータが、
（１）人間の前記所定の部位を含む複数の非造影ＣＴ画像、
（２）人間の前記所定の部位を含む複数の造影ＣＴ画像、および
（３）複数の正解データであって、各正解データが、前記複数の非造影ＣＴ画像のうちの一つの非造影ＣＴ画像と、前記複数の造影ＣＴ画像のうちの一つの造影ＣＴ画像との差分画像に基づいて生成されたものであり、各正解データが、前記一つの非造影ＣＴ画像と前記一つの造影ＣＴ画像とにラベリングされている、複数の正解データ、

を用いた学習を実行することにより生成されている、プログラムである。

本発明の第５の観点は、撮影対象者の所定の部位を複数の時相で造影撮影することにより得られた複数の造影ＣＴ画像が入力されることにより、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する学習済みモデルを生成する学習済みモデル生成方法であって、
コンピュータが、
（１）人間の所定の部位を前記複数の時相で造影撮影することにより得られた複数の造影ＣＴ画像、および
（２）前記複数の造影ＣＴ画像にラベリングされた複数の正解データであって、各正解データが、前記複数の時相のうちの一つの時相で撮影された造影ＣＴ画像と、前記複数の時相のうちの他の時相で撮影された造影ＣＴ画像とを差分することにより生成された差分画像に基づいて生成されたものである、複数の正解データ、

を用いた学習を実行することにより生成される、学習済みモデル生成方法である。

撮影部位に腫瘍が含まれる場合、非造影ＣＴ画像に描出される腫瘍の明るさと、造影ＣＴ画像Ｃに描出される腫瘍の明るさには大きな違いがある。一方、胃の中の食べ物や石灰化した部分について着目すると、非造影ＣＴ画像に描出される食べ物や石灰化部分は、造影ＣＴ画像に描出される食べ物や石灰化部分と比較して、明るさにあまり大きな差が見られない。したがって、非造影ＣＴ画像と造影ＣＴ画像とを差分すると、腫瘍の領域（造影剤が取り込まれた領域）の差分値は比較的大きい値になるが、食べ物や石灰化部分の領域（造影剤が取り込まれていない領域）の差分値は比較的小さい値になる。このため、非造影ＣＴ画像と造影ＣＴ画像とを差分することにより、食べ物や石灰化部分など、造影剤が取り込まれていないにも拘らず明るく描出される領域と、腫瘍に造影剤が取り込まれることにより明るく描出される領域とをの違いが強調された差分画像を得ることができる。

本発明では、このような差分画像を使用して学習済みモデルを生成している。したがって、非造影ＣＴ画像および造影ＣＴ画像に、食べ物や石灰化部分など、造影剤が取り込まれていないにも拘らず明るく描出される領域が含まれていても、非造影ＣＴ画像および造影ＣＴ画像を学習済みモデルに入力することにより、造影剤が取り込まれた領域と、造影剤が取り込まれていない領域とを判別することができる。

本形態のＸ線ＣＴ装置の説明図である。 ガントリ２、テーブル４、および操作コンソール８の説明図である。 処理部８４の主な機能ブロックを示す図である。 学習フェーズのフローチャートを示す図である。 学習フェーズで使用されるＣＴ画像の説明図である。 非造影ＣＴ画像ＣＮｉ並びに造影ＣＴ画像ＣＰｉ、ＣＱｉ、およびＣＲｉの一例を概略的に示した図である。 正解データの作成方法の一例の説明図である。 ステップＳＴ２の説明図である。 造影検査フローを示す図である。 再構成画像の一例を示す図である。 推論フェーズの説明図である。 第２の形態における処理部８４の機能ブロックを示す図である。 第２の形態における造影検査フローを示す図である。 ステップＳＴ３０の説明図である。

以下、発明を実施するための形態について説明するが、本発明は、以下の形態に限定されることはない。

図１は、第１の形態のＸ線ＣＴ装置の一例の説明図である。
図１に示すように、Ｘ線ＣＴ装置１は、ガントリ（gantry）２、テーブル（table）４、カメラ（camera）６、及び操作コンソール（console）８を備えている。

スキャンルーム１００には、ガントリ２及びテーブル４が設置されている。スキャンルーム１００の天井１０１にはカメラ６が設置されている。操作ルーム２００には、操作コンソール８が設置されている。

次に、ガントリ２、テーブル４、および操作コンソール８について、図２を参照しながら説明する。

図２は、ガントリ２、テーブル４、および操作コンソール８の説明図である。
ガントリ２は、患者４０が移動可能な空間であるボア２１を画定する内壁を有している。

また、ガントリ２は、Ｘ線管２２、アパーチャ（aperture）２３、コリメータ２４、Ｘ線検出器２５、データ収集部（data acquisition system）２６、回転部２７、高電圧電源２８、アパーチャ駆動装置２９、回転部駆動装置３０、ＧＴ（Gantry Table）制御部３１などを有している。

Ｘ線管２２、アパーチャ２３、コリメータ２４、Ｘ線検出器２５、およびデータ収集部２６は、回転部２７に搭載されている。

Ｘ線管２２は患者４０にＸ線を照射する。Ｘ線検出器２５は、Ｘ線管２２から照射されたＸ線を検出する。Ｘ線検出器２５は、ボア２１に対してＸ線管２２とは反対側に設けられている。

アパーチャ２３は、Ｘ線管２２とボア２１との間に配置されている。アパーチャ２３は、Ｘ線管２２のＸ線焦点からＸ線検出器２５に向けて放射されるＸ線をファンビーム（fan beam）やコーンビーム（cone beam）に成形する。

Ｘ線検出器２５は、患者４０を透過したＸ線を検出する。
コリメータ２４は、Ｘ線検出器２５に対してＸ線入射側に配置されており、散乱Ｘ線を除去する。

高電圧電源２８は、Ｘ線管２２に高電圧及び電流を供給する。
アパーチャ駆動装置２９はアパーチャ２３を駆動しその開口を変形させる。
回転部駆動装置３０は回転部２７を回転駆動する。

テーブル４は、クレードル（cradle）４１、クレードル支持台４２、および駆動装置４３を有している。クレードル４１は撮影対象である患者４０を支持するものである。クレードル支持台４２は、クレードル４１をｙ方向およびｚ方向に移動可能に支持するものである。駆動装置４３は、クレードル４１およびクレードル支持台４２を駆動するものである。尚、ここでは、クレードル４１の長手方向をｚ方向、テーブル４の高さ方向をｙ方向、ｚ方向およびｙ方向に垂直な水平方向をｘ方向とする。

ＧＴ制御部３１は、ガントリ２内の各装置・各部、およびテーブル４の駆動装置４３等を制御する。

操作コンソール８は、入力部８１、表示部８２、記憶部８３、処理部８４、コンソール制御部８５などを有している。

入力部８１は、オペレータからの指示や情報の入力を受け付けたり、各種の操作を行うためのキーボード（keyboard）およびポインティングデバイス（pointing device）などを含んでいる。表示部８２は、スキャン条件を設定するための設定画面、ＣＴ画像などを表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイなどである。

記憶部８３は、プロセッサで各種処理を実行させるためのプログラムが記憶されている。また、記憶部８３は、各種データや各種ファイルなども記憶する。記憶部８３は、ＨＤＤ（Hard Disk Drive：ハードディスクドライブ）、ＳＳＤ（Solid State Drive：ソリッドステートドライブ）、ＤＲＡＭ（Dynamic Random Access Memory）、およびＲＯＭ（Read Only Memory）等を有している。また、記憶部８３は、ＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disk）などの可搬性の記憶媒体９０を含んでいてもよい。

処理部８４は、ガントリ２により取得された患者４０のデータ（data）に基づいて画像再構成処理を行ったり、その他の各種の演算を行う。処理部８４は一つ以上のプロセッサを有しており、一つ以上のプロセッサが、記憶部８３に記憶されているプログラムの各種処理を実行する。尚、処理部８４は、本発明の推論装置に相当する。

図３は、処理部８４の主な機能ブロックを示す図である。
処理部８４は再構成部８４１および推論部８４２を有している。

再構成部８４１は、スキャンにより得られた投影データに基づいて、ＣＴ画像（例えば、スカウト画像、非造影ＣＴ画像、および造影ＣＴ画像）を再構成する。

推論部８４２は、学習済みモデルにＣＴ画像を入力し、患者の撮影部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する。

また、記憶部８３には、1つ以上のプロセッサによる実行が可能な１つ以上の命令が格納されている。この一つ以上の命令は、1つ以上のプロセッサに、以下の動作（ａ１）および（ａ２）を実行させる。
（ａ１）投影データに基づいてＣＴ画像を再構成する（再構成部８４１）。
（ａ２）学習済みモデルにＣＴ画像を入力し、患者４０の撮影部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する（推論部８４２）。

操作コンソール８の処理部８４は、記憶部８３に格納されている命令を読み出し、上記の動作（ａ１）－（ａ２）を実行することができる。

コンソール制御部８５は、入力部８１からの入力に基づいて、表示部８２を制御したり、処理部８４を制御する。
Ｘ線ＣＴ装置１は上記のように構成されている。

近年、デュアルエネルギーＣＴを使って、腫瘍の良性、悪性の鑑別をすることが行われている。しかし、ＣＴ装置によってはデュアルエネルギーＣＴが使用できない装置がある。この問題に対処するため、ＤＮＮ（Deep Neural Network）にデュアルエネルギーＣＴのデータを用いた学習を行わせて学習済みのＤＮＮを生成し、この学習済みのＤＮＮにシングルエネルギーＣＴのデータを入力してデュアルエネルギー情報を推論する研究が行われている。しかし、この方法では、撮影部位内において、造影剤が取り込まれていないにも関わらず、他の組織よりも明るく描出される領域が現れることがある。例えば、撮影部位に、胃の中の食べ物や石灰化した部分が含まれている場合、食べ物や石灰化した部分が明るく描出されることがある。したがって、造影剤が取り込まれた領域と、造影剤が取り込まれていない領域とを判別することが難しい場合ある。

そこで、本形態では、この問題に対処するために、ＤＬ（深層学習）を利用して、造影剤が取り込まれた領域と、造影剤が取り込まれていない領域とを判別するための学習済みモデルを生成している。
以下に、この学習済みモデルの生成方法について、図４～図８を参照しながら説明する。

図４は学習フェーズのフローチャートを示す図である。
ステップＳＴ１では、学習フェーズで使用される複数のＣＴ画像を用意する。図５は、学習フェーズで使用されるＣＴ画像の説明図である。本形態では、学習フェーズで使用されるＣＴ画像は以下のとおりである。
（１）肝臓を含む胸部の非造影ＣＴ画像
（２）肝臓を含む胸部の造影ＣＴ画像

図５では、非造影ＣＴ画像は符号ＣＮｉ（１≦ｉ≦ｎ）で示されている。また、造影ＣＴ画像は、符号ＣＰｉ（１≦ｉ≦ｎ）、ＣＱｉ（１≦ｉ≦ｎ）、およびＣＲｉ（１≦ｉ≦ｎ）で示されている。造影ＣＴ画像ＣＰｉ、ＣＱｉ、およびＣＲｉは、マルチフェーズの造影撮影により得られた画像である。造影ＣＴ画像ＣＰｉは第１の時相の造影ＣＴ画像であり、造影ＣＴ画像ＣＱｉは第２の時相の造影ＣＴ画像であり、造影ＣＴ画像ＣＲｉは第３の時相の造影ＣＴ画像である。第１の時相、第２の時相、および第３の時相は、例えば、動脈相、実質相、および静脈相である。肝臓に腫瘍がある場合、造影撮影を行うと、腫瘍の種類によって腫瘍の染まり具合が時間とともに変化する。したがって、マルチフェーズのＣＴ画像は、腫瘍を鑑別するのに有益な画像となる。

図６は、図５に示す非造影ＣＴ画像ＣＮｉ並びに造影ＣＴ画像ＣＰｉ、ＣＱｉ、およびＣＲｉの一例を概略的に示した図である。
図６では、ｉ＝１の画像、すなわち、非造影ＣＴ画像ＣＮ１、造影ＣＴ画像ＣＰ１、ＣＱ１、およびＣＲ１が示されている。

図６では、説明の便宜上、各画像ＣＮ１、ＣＰ１、ＣＱ１、およびＣＲ１には、体内の肝臓、腫瘍、および胃の中の食べ物のみが簡略化されて示されている。

非造影ＣＴ画像ＣＮ１では、腫瘍に造影剤が取り込まれていないので、腫瘍は暗く描出される（画素値が小さい）。一方、造影ＣＴ画像ＣＰ１、ＣＱ１、およびＣＲ１では、腫瘍に造影剤が取り込まれているので、腫瘍は明るく描出される。一方、説明を簡略化するため、肝臓のうち腫瘍を除く領域は、画像ＣＮ１、ＣＰ１、ＣＱ１、およびＣＲ１の間で、同じ明るさで描出されているとする。図６では、肝臓のうち腫瘍を除く領域は、斜線で示してある。

胃の中の食べ物は、周囲の組織よりも明るく描出される。図６では、説明を簡略化するため、食べ物は、画像ＣＮ１、ＣＰ１、ＣＱ１、およびＣＲ１の間で、同じ明るさで描出されているとする。

尚、図６では、学習フェーズで使用される画像として、食べ物が描出された画像が示されている。しかし、食べ物以外で腫瘍と混同する恐れがあるもの（例えば、石灰化した部分）が描出された画像も、学習フェーズで使用される画像として用意することができる。また、学習フェーズで使用される画像は、人間の体動（例えば、呼吸による体動、心臓による体動）に起因した位置ずれが補正されていない画像でもよいし、体動に起因した位置ずれが補正された画像でもよい。

図５に戻って説明を続ける。
また、複数の正解データも用意する。正解データは符号ＧＰｉ（１≦ｉ≦ｎ）、符号ＧＱｉ（１≦ｉ≦ｎ）、および符号ＧＲｉ（１≦ｉ≦ｎ）で示されている。以下に、正解データの生成方法について説明する。

図７は、正解データの作成方法の一例の説明図である。
図７の上段には、図６に示したｉ＝１の画像、すなわち非造影ＣＴ画像ＣＮ１、並びに第１の時相の造影ＣＴ画像ＣＰ１、第２の時相の造影ＣＴ画像ＣＱ１、および第３の時相の造影ＣＴ画像ＣＲ１が再掲されている。

図７では、非造影ＣＴ画像ＣＮ１、第１の時相の造影ＣＴ画像ＣＰ１、第２の時相の造影ＣＴ画像ＣＱ１、および第３の時相の造影ＣＴ画像ＣＲ１から、正解データとして、差分画像ＧＰ１、ＧＱ１、およびＧＲ１を生成する例が示されている。

差分画像ＧＰ１は、非造影ＣＴ画像ＣＮ１と第１の時相の造影ＣＴ画像ＣＰ１との差分画像であり、差分画像ＧＱ１は、非造影ＣＴ画像ＣＮ１と第２の時相の造影ＣＴ画像ＣＱ１との差分画像であり、差分画像ＧＲ１は、非造影ＣＴ画像ＣＮ１と第３の時相の造影ＣＴ画像ＣＲ１との差分画像である。

先ず、差分画像ＧＰ１について説明する。
腫瘍について着目すると、非造影ＣＴ画像ＣＮ１の腫瘍は、第１の時相の造影ＣＴ画像ＣＰ１の腫瘍よりも暗く描出されている。したがって、非造影ＣＴ画像ＣＮ１と第１の時相の造影ＣＴ画像ＣＰ１とを比較すると、腫瘍の明るさに大きな差がある。一方、食べ物について着目すると、非造影ＣＴ画像ＣＮ１の食べ物は、第１の時相の造影ＣＴ画像ＣＰ１の食べ物と比較して、明るさにあまり大きな差が見られない。したがって、非造影ＣＴ画像ＣＮ１と、第１の時相の造影ＣＴ画像ＣＰ１とを差分すると、腫瘍の領域（造影剤が取り込まれた領域）の差分値は比較的大きい値になるが、食べ物の領域（造影剤が取り込まれていない領域）の差分値は比較的小さい値になる。このため、非造影ＣＴ画像ＣＮ１と、第１の時相の造影ＣＴ画像ＣＰ１とを差分することにより、食べ物と腫瘍との違いが強調された差分画像ＧＰ１を得ることができる。尚、
また、他の２つの差分画像ＧＱ１およびＧＲ１についても、差分画像ＧＰ１と同様に説明することができる。したがって、非造影ＣＴ画像ＣＮ１と、第２の時相の造影ＣＴ画像ＣＱ１とを差分することにより、食べ物と腫瘍との違いが強調された差分画像ＧＱ１を得ることができる。同様に、非造影ＣＴ画像ＣＮ１と、第３の時相の造影ＣＴ画像ＣＲ１とを差分することにより、食べ物と腫瘍との違いが強調された差分画像ＧＲ１を得ることができる。

上記のように、差分画像ＧＰ１、ＧＱ１、およびＧＲ１は、食べ物と腫瘍との違いが強調された画像であるので、これらの差分画像ＧＰ１、ＧＱ１、およびＧＲ１を、腫瘍と食べ物とを区別するための正解データとして使用することができる。

図７では、ｉ＝１の画像ＣＮ１、ＣＰ１、ＣＱ１、およびＣＲ１のセットから差分画像ＧＰ１、ＧＱ１、およびＧＲ１を生成する例について説明したが、ｉ≧２の画像についても、同様にして、差分画像を生成する。

上記のようにして、図５に示す正解データ、すなわち、差分画像ＧＰ１～ＧＰｎ、差分画像ＧＱ１～ＧＱｎ、および差分画像ＧＲ１～ＧＲｎを用意することができる。尚、差分画像ＧＰ１～ＧＰｎ、差分画像ＧＱ１～ＧＱｎ、および差分画像ＧＲ１～ＧＲｎに対して所定の画像処理を実行し、所定の画像処理が実行された後の差分画像ＧＰ１’～ＧＰｎ’、差分画像ＧＱ１’～ＧＱｎ’、および差分画像ＧＲ１’～ＧＲｎ’を、正解データとして用意してもよい。ここでは、説明を簡略にするため、差分画像ＧＰ１～ＧＰｎ、差分画像ＧＱ１～ＧＱｎ、および差分画像ＧＲ１～ＧＲｎが、正解データとして用意されたとする。

各差分画像（正解データ）は、非造影ＣＴ画像と造影ＣＴ画像とのセットにラベリングされている。具体的には、差分画像ＧＰｉは、非造影ＣＴ画像ＣＮｉと第１の時相の造影ＣＴ画像ＣＰｉとにラベリングされており、差分画像ＧＱｉは、非造影ＣＴ画像ＣＮｉと第２の時相の造影ＣＴ画像ＣＱｉとにラベリングされており、差分画像ＧＲｉは、非造影ＣＴ画像ＣＮｉと第３の時相の造影ＣＴ画像ＣＲｉとにラベリングされている。
これらのＣＴ画像および差分画像を用意したら、ステップＳＴ２に進む。

図８はステップＳＴ２の説明図である。
ステップＳＴ２では、ニューラルネットワーク（ＮＮ）９１が、非造影ＣＴ画像ＣＮｉ、造影ＣＴ画像ＣＰｉ、ＣＱｉ、ＣＲｉ、および差分画像（正解データ）ＧＰｉ、ＧＱｉ、およびＧＲｉを用いた学習を実行する。これによって、学習済みモデル９１ａを生成することができる。
このようにして生成された学習済みモデル９１ａは、ＣＴ装置の記憶部８３に記憶される。

上記の学習フェーズにより得られた学習済みモデル９１ａは、患者の造影検査において、造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を行うときに使用される。以下に、患者の造影検査フローについて説明する。

図９は、造影検査フローを示す図である。
ステップＳＴ１０では、オペレータが撮影対象者である患者４０をスキャンルームへと案内し、図１に示すように、患者４０をテーブル４に寝かせる。そして、患者４０の胸部の非造影スキャンを実行し、さらに、患者に造影剤を投与し、マルチフェーズの造影スキャンを実行する。

ステップＳＴ２０では、再構成部８４１が、ステップＳＴ１０のスキャンにより得られた投影データに基づいて、ＣＴ画像を再構成する。図１０は、再構成画像の一例を示す図である。

再構成部８４１（図３参照）は、非造影スキャンにより得られた投影データに基づいて、患者４０の胸部を含む非造影ＣＴ画像ＣＮ０を再構成する。また、再構成部８４１は、マルチフェーズの造影スキャンにより得られた投影データに基づいて、患者４０の胸部を含むマルチフェーズの造影ＣＴ画像ＣＰ０、ＣＱ０、およびＣＲ０を再構成する。

本形態では、マルチフェーズの造影スキャンは、３つの時相（第１の時相、第２の時相、第３の時相）のＣＴ画像を取得するためのスキャンであり、造影ＣＴ画像ＣＰ０、ＣＱ０、およびＣＲ０は、それぞれ、第１の時相、第２の時相、および第３の時相の造影ＣＴ画像を表している。

図１０では、説明の便宜上、図６と同様に、画像ＣＮ０、ＣＰ０、ＣＱ０、およびＣＲ０には、体内の肝臓、腫瘍、および胃の中の食べ物のみが簡略化されて示されている。
画像を再構成した後、ステップＳＴ３０に進む。

ステップＳＴ３０では、推論部８４２が、患者４０の胸部において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する。図１１は、推論フェーズの説明図である。

推論部８４２は、ステップＳＴ２０で再構成された非造影ＣＴ画像ＣＮ０、および造影ＣＴ画像ＣＰ０、ＣＱ０、およびＣＲ０を学習済みモデル９１ａに入力する。学習済みモデル９１ａは、入力されたこれらの画像ＣＮ０、ＣＰ０、ＣＱ０、およびＣＲ０に基づいて、患者４０の胸部において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を行い、判別結果を表す差分画像ＧＰ０、ＧＱ０、ＧＲ０を出力する。

図１１を参照すると、学習済みモデル９１ａに入力される造影ＣＴ画像ＣＰ０、ＣＱ０、およびＣＲ０は、造影剤を取り込んでいる腫瘍だけでなく、造影剤を取り込んでいない胃の中の食べ物も明るく描出されている。しかし、学習済みモデル９１ａが出力した結果では、胃の中の食べ物は暗く描出されており、腫瘍と食べ物とを識別できていることが分かる。これらの差分画像ＧＰ０、ＧＱ０、ＧＲ０には、造影剤が取り込まれた領域の位置を表す位置データと、造影剤が取り込まれていない領域の位置を表す位置データとが含まれている。したがって、患者４０の胸部において、造影剤が取り込まれた領域と、造影剤が取り込まれていない領域とを判別することができる。
このようにして、図９に示すフローが終了する。

本形態では、造影剤が取り込まれた領域（例えば、腫瘍）と、造影剤が取り込まれていない領域（例えば、胃の中の食べ物）とを判別するための学習済みモデル９１ａが生成されている。したがって、検査で得られた患者のＣＴ画像の中に、胃の中の食べ物など、造影剤が取り込まれていないにも関わらず明るく描出されてしまう領域が現れた場合であっても、学習済みモデル９１ａを使用することにより、造影剤が取り込まれた領域と、造影剤が取り込まれていない領域とを判別することができる。したがって、腫瘍の良性、悪性の鑑別精度を向上させることができる。

尚、第１の形態では、マルチフェーズの造影ＣＴ画像として、３つの時相を考えている。しかし、３つの時相の代わりに、２つの時相であってもよいし、４つ以上の時相であってもよい。また、マルチフェーズの造影ＣＴ画像の代わりに、単時相の造影ＣＴ画像とすることもできる。

尚、学習済みモデル９１ａに入力されるＣＴ画像ＣＮ０、ＣＰ０、ＣＱ０、およびＣＲ０（図１１参照）は、腫瘍だけでなく食べ物も明るく描出されているので、ＣＴ画像ＣＮ０、ＣＰ０、ＣＱ０、およびＣＲ０を見ただけでは、食べ物と腫瘍とを判別することは難しい。そこで、診断に適した画像を得るために、ステップＳＴ３０で推論結果を出力した後、以下のステップＡおよびステップＢを実行することができる。

ステップＡ：ステップＳＴ３０の推論結果に基づいて、造影剤が取り込まれていない領域の位置を特定するステップ。このステップＡは、処理部８４に、この特定を実行する特定部を設けることにより実行することができる。

ステップＢ：ステップＡで特定した位置と、ステップＳＴ１０のスキャンにより得られた投影データとに基づいて、造影剤が取り込まれていない領域は暗くなるように画像を再構成するステップ。このステップＢは、処理部８４の再構成部８４１（図３参照）で実行することができる。

上記のステップＡおよびＢを実行することにより、オペレータや読影医に、腫瘍の良性、悪性の鑑別に適したＣＴ画像を提供することができる。

（第２の形態）
第２の形態では、第１の形態で作成した学習済みモデルの出力結果を、デュアルエネルギー情報の信頼性向上に利用する例について説明する。

第２の形態では、処理部８４は、以下の機能ブロックを有している。
図１２は、第２の形態における処理部８４の機能ブロックを示す図である。
第２の形態の処理部８４は、主な機能ブロックとして、再構成部８４１、推論部８４２、および判定部８４３を有している。

再構成部８４１は、スキャンにより得られた投影データに基づいて、ＣＴ画像（例えば、スカウト画像、非造影ＣＴ画像、および造影ＣＴ画像）を再構成する。

推論部８４２は、第１の形態の学習済みモデル９１ａにＣＴ画像を入力し、患者４０の撮影部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する。また、推論部８４２は、後述する学習済みＤＮＮ９２ａ（図１４参照）にＣＴ画像を入力し、デュアルエネルギー情報を推論する。

判定部８４３は、第１の形態の学習済みモデル９１ａの推論結果に基づいて、学習済みＤＮＮ９２ａの推論結果が正しいか否かを判定する。

また、記憶部８３には、1つ以上のプロセッサによる実行が可能な１つ以上の命令が格納されている。この一つ以上の命令は、1つ以上のプロセッサに、以下の動作（ｂ１）－（ｂ４）を実行させる。

（ｂ１）投影データに基づいてＣＴ画像を再構成する（再構成部８４１）。
（ｂ２）学習済みモデル９１ａにＣＴ画像を入力し、患者４０の撮影部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する（推論部８４２）。
（ｂ３）学習済みＤＮＮ９２ａにＣＴ画像を入力し、デュアルエネルギー情報を推論する（推論部８４２）。
（ｂ４）学習済みモデル９１ａの推論結果に基づいて、学習済みＤＮＮ９２ａ（図１４参照）の推論結果が正しいか否かを判定する（判定部８４３）。

以下、第２の形態の造影検査フローについて、図１３および図１４を参照しながら説明する。

図１３は、第２の形態における造影検査フローを示す図である。
ステップＳＴ１０およびＳＴ２０は、第１の形態と同じであるので説明は省略する。画像再構成した後、ステップＳＴ３０に進む。

図１４は、ステップＳＴ３０の説明図である。
ステップＳＴ３０では、推論部８４２が、ステップＳＴ２０で得られた非造影ＣＴ画像ＣＮ０並びに造影ＣＴ画像ＣＰ０、ＣＱ０、およびＣＲ０を学習済みモデル９１ａに入力する。学習済みモデル９１ａは、第１の形態で説明したように、差分画像ＧＰ０、ＧＱ０、およびＧＲ０を出力する。

また、ステップＳＴ３０では、推論部８４２は、ステップＳＴ２０で得られたＣＴ画像ＣＮ０、ＣＰ０、ＣＱ０、およびＣＲ０を学習済みＤＮＮ９２ａにも入力する。学習済みＤＮＮ９２ａは、ニューラルネットワークがデュアルエネルギーデータを学習することにより生成された学習済みモデルであり、学習済みＤＮＮ９２ａは、シングルエネルギーデータが入力されると、造影剤が取り込まれた領域の位置情報を含むデュアルエネルギー情報ＤＩを推論するものである。

ＣＴ画像ＣＮ０、ＣＰ０、ＣＱ０、およびＣＲ０は、シングルエネルギーＣＴで得られた画像であるので、これらのＣＴ画像ＣＮ０、ＣＰ０、ＣＱ０、およびＣＲ０が学習済みＤＮＮ９２ａに入力されると、学習済みＤＮＮ９２ａは、造影剤が取り込まれた領域の位置情報を含むデュアルエネルギー情報ＤＩを出力する。

ステップＳＴ４０では、判定部８４３が、学習済みモデル９１ａにより推論された結果（差分画像ＧＰ０、ＧＱ０、およびＧＲ０）と、学習済みＤＮＮ９２ａにより推論された結果（デュアルエネルギー情報ＤＩ）とを比較する。判定部８４３は、この比較結果に基づいて、学習済みＤＮＮ９２ａにより造影剤が取り込まれたと推論された領域が、実際に造影剤が取り込まれた領域なのか、それとも、実際には造影剤が取り込まれていないのに造影剤が取り込まれたと誤って推論された領域なのかを判定する。
このようにしてフローが終了する。

第２の形態では、学習済みモデル９１ａの推定結果と、学習済みＤＮＮ９２ａの推定結果とを比較し、学習済みＤＮＮ９２ａによって造影剤が取り込まれたと推論された領域が、実際に造影剤が取り込まれた領域であるのか否かを判定することができる。したがって、学習済みモデル９１ａの推論結果を、学習済みＤＮＮ９２ａの推論精度を向上させるために使用することができる。

第１および第２の形態では、肝臓を撮影部位としているが、撮影部位は必ずしも肝臓に限定されることは無く、肝臓以外の臓器を含む部位を撮影部位としてもよい。

尚、第１および第２の形態では、非造影ＣＴ画像と造影ＣＴ画像とを用いて学習済みモデルを生成する例について説明した。しかし、非造影ＣＴ画像を使用せずに、マルチフェーズの造影ＣＴ画像のみを用いて学習済みモデルを生成してもよい。この学習済みモデルは、例えば、以下のステップ（１）－（４）を実行することにより生成することができる。

（１）人間の所定の部位を複数の時相で造影撮影することにより、複数の造影ＣＴ画像を用意する。

（２）複数の正解データを用意する。各正解データは、複数の時相のうちの一つの時相で撮影された造影ＣＴ画像と、複数の時相のうちの他の時相で撮影された造影ＣＴ画像とを差分することにより生成される。

（３）正解データを造影ＣＴ画像にラベリングする。

（４）コンピュータが、ニューラルネットワークに、複数の造影ＣＴ画像と複数の正解データとを用いた学習を実行させる
このようにして、学習済みモデルを生成する。この学習済みモデルは、造影ＣＴ画像が入力されることにより、患者の撮影部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する。

推論フェーズでは、複数の時相で撮影された患者の造影ＣＴ画像を、上記の学習済みモデルに入力し、造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する。この方法では、非造影ＣＴ画像を使わずに、腫瘍の鑑別をすることが可能となる。

尚、第１および第２の形態では、ＤＬ（深層学習）により学習済みモデルを作成したが、ＤＬ以外の他の機械学習により学習済みモデルを生成してもよい。

１ ＣＴ装置
４ テーブル
６ カメラ
８ 操作コンソール
２１ ボア
２２ Ｘ線管
２３ アパーチャ
２４ コリメータ
２５ Ｘ線検出器
２６ データ収集部
２７ 回転部
２８ 高電圧電源
２９ アパーチャ駆動装置
３０ 回転部駆動装置
３１ ＧＴ制御部
４０ 患者
４１ クレードル
４２ クレードル支持台
４３ 駆動装置
８１ 入力部
８２ 表示部
８３ 記憶部
８４ 処理部
８５ コンソール制御部
９０ 記憶媒体
９１ ニューラルネットワーク
９１ａ 学習済みモデル
９２ａ 学習済みＤＮＮ
１００ スキャンルーム
１０１ 天井
２００ 操作ルーム
８４１ 再構成部
８４２ 推論部
８４３ 判定部

Claims (8)

1. 撮影対象者の所定の部位を含む非造影ＣＴ画像および前記撮影対象者の所定の部位を含む造影ＣＴ画像が入力されることにより、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する学習済みモデルを含む医用装置であって、
   前記学習済みモデルは、コンピュータが、
   （１）人間の前記所定の部位を含む複数の非造影ＣＴ画像、
   （２）人間の前記所定の部位を含む複数の造影ＣＴ画像、および
   （３）複数の正解データであって、各正解データが、前記複数の非造影ＣＴ画像のうちの一つの非造影ＣＴ画像と、前記複数の造影ＣＴ画像のうちの一つの造影ＣＴ画像との差分画像に基づいて生成されたものであり、各正解データが、前記一つの非造影ＣＴ画像と前記一つの造影ＣＴ画像とにラベリングされている、複数の正解データ、
   を用いた学習を実行することにより生成されており、
   前記医用装置が、
   造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論結果に基づいて、造影剤が取り込まれていない領域の位置を特定すること、および
   造影剤が取り込まれていない領域の位置と、前記撮影対象者をスキャンすることにより得られた投影データとに基づいて、造影剤が取り込まれていない領域は暗くなるように画像を再構成すること
   を実行する、医用装置。
2. 前記複数の造影ＣＴ画像は、複数の時相で撮影された複数の造影ＣＴ画像を含む、請求項１に記載の医用装置。
3. 各正解データが、前記複数の非造影ＣＴ画像のうちの一つの非造影ＣＴ画像と、前記複数の造影ＣＴ画像のうちの一つの造影ＣＴ画像との差分画像に対して、所定の画像処理を実行することにより生成されたものである、請求項１又は２に記載の医用装置。
4. 前記学習済みモデルは、造影剤が取り込まれた領域の位置を表す位置データと、造影剤が取り込まれていない領域の位置を表す位置データとを含む差分画像を出力する、請求項１～３のうちのいずれか一項に記載の医用装置。
5. ＤＮＮがデュアルエネルギーＣＴのデータを用いた学習を行うことにより生成された学習済みＤＮＮであって、シングルエネルギーＣＴのデータから、造影剤が取り込まれた領域の位置情報を含むデュアルエネルギー情報を推論する学習済みＤＮＮと、
   前記学習済みモデルの推論結果に基づいて、前記学習済みＤＮＮの推論結果が正しいか否かを判定する判定部と
   を含む、請求項１～４のうちのいずれか一項に記載の医用装置。
6. 撮影対象者の所定の部位を複数の時相で造影撮影することにより得られた複数の造影ＣＴ画像が入力されることにより、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する学習済みモデルを含む医用装置であって、
   前記学習済みモデルは、コンピュータが、
   （１）人間の所定の部位を前記複数の時相で造影撮影することにより得られた複数の造影ＣＴ画像、および
   （２）前記複数の造影ＣＴ画像にラベリングされた複数の正解データであって、各正解データが、前記複数の時相のうちの一つの時相で撮影された造影ＣＴ画像と、前記複数の時相のうちの他の時相で撮影された造影ＣＴ画像とを差分することにより生成された差分画像である、複数の正解データ、
   を用いた学習を実行することにより生成されており、
   前記医用装置が、
   造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論結果に基づいて、造影剤が取り込まれていない領域の位置を特定すること、および
   造影剤が取り込まれていない領域の位置と、前記撮影対象者をスキャンすることにより得られた投影データとに基づいて、造影剤が取り込まれていない領域は暗くなるように画像を再構成すること
   を実行する、医用装置。
7. １つ以上のプロセッサに、
   撮影対象者の所定の部位を含む非造影ＣＴ画像および前記撮影対象者の所定の部位を含む造影ＣＴ画像を学習済みモデルに入力し、前記学習済みモデルに、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行させること
   を含む動作を実行させるプログラムであって、
   前記学習済みモデルは、コンピュータが、
   （１）人間の前記所定の部位を含む複数の非造影ＣＴ画像、
   （２）人間の前記所定の部位を含む複数の造影ＣＴ画像、および
   （３）複数の正解データであって、各正解データが、前記複数の非造影ＣＴ画像のうちの一つの非造影ＣＴ画像と、前記複数の造影ＣＴ画像のうちの一つの造影ＣＴ画像との差分画像に基づいて生成されたものであり、各正解データが、前記一つの非造影ＣＴ画像 と前記一つの造影ＣＴ画像とにラベリングされている、複数の正解データ、
   を用いた学習を実行することにより生成されており、
   前記１つ以上のプロセッサに、
   造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論結果に基づいて、造影剤が取り込まれていない領域の位置を特定すること、および
   造影剤が取り込まれていない領域の位置と、前記撮影対象者をスキャンすることにより得られた投影データとに基づいて、造影剤が取り込まれていない領域は暗くなるように画像を再構成すること
   を含む動作を実行させる、プログラム。
8. １つ以上のプロセッサに、
   撮影対象者の所定の部位を複数の時相で造影撮影することにより得られた複数の造影Ｃ Ｔ画像が入力されることにより、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行させることを含む動作を実行させるプログラムであって、
   前記学習済みモデルは、コンピュータが、
   （１）人間の所定の部位を前記複数の時相で造影撮影することにより得られた複数の造影ＣＴ画像、および
   （２）前記複数の造影ＣＴ画像にラベリングされた複数の正解データであって、各正解データが、前記複数の時相のうちの一つの時相で撮影された造影ＣＴ画像と、前記複数の時相のうちの他の時相で撮影された造影ＣＴ画像とを差分することにより生成された差分画像である、複数の正解データ、
   を用いた学習を実行することにより生成されており、
   前記１つ以上のプロセッサに、
   造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論結果に基づいて、造影剤が取り込まれていない領域の位置を特定すること、および
   造影剤が取り込まれていない領域の位置と、前記撮影対象者をスキャンすることにより得られた投影データとに基づいて、造影剤が取り込まれていない領域は暗くなるように画像を再構成すること
   を含む動作を実行させる、プログラム。

Images