JP7051595B2 - 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム - Google Patents

Description

本開示は、医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムに関する。

従来、時系列に並んだ複数フェーズのボリュームデータにおいてボクセル毎の最大値を合成し、合成ボリュームデータを生成する画像処理方法が知られている。この画像処理方法では、例えば、複数フェーズのボリュームデータに対して共通の仮想光線を投射し、共通の仮想光線上の最大値である１の点の値を取得し、共通の仮想光線上の最大値である１の点の値を用いて、１枚の画像の各画素の画素値を決定する（例えば、特許文献１参照）。

特開２００８－０３５８９５号公報

特許文献１で得られる１枚の画像の各画素の画素値は、ボリュームデータに対する各仮想光線の最大値となるので、この画像は、４ＤＭＩＰ（4D Maximum Intensity Projection）画像とも称される。４ＤＭＩＰ画像では、ボリュームデータに対する各仮想光線の最大値が画素値となるので、例えばボクセルの一部に高輝度ノイズが含まれる場合、この高輝度ノイズが最大値として画素値に反映され得る。

また、ＣＴ（Computed Tomography）装置等の医用画像撮像装置により被検体が撮像される場合、ランダムノイズ等のノイズが含まれる実空間において被検体が撮像されるので、高輝度ノイズが完全に除去された状態で被検体を撮像することは困難である。よって、医用画像撮像装置により得られたボリュームデータに基づく４ＤＭＩＰ画像では、高輝度ノイズが含まれることで、実際の信号の成分（実信号成分）に基づく画素値よりも画素値（輝度値）が高くなり、つまり画像が白くなり易い。

本開示は、上記事情に鑑みてなされたものであり、被検体の撮像時のノイズの影響を抑制して、複数フェーズの医用画像の画質を向上できる医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムを提供する。

本開示の一態様は、第１の被検体を時系列上で複数回撮像して得られた複数の医用画像を取得する取得部と、前記複数の医用画像のうちの一部の医用画像を基に前記複数の医用画像のうちの残りの医用画像に対応する予測画像を生成する予測器を用いて、複数の前記予測画像を生成する処理部と、を備え、前記処理部は、前記複数の医用画像のうちの一部を構成する少なくとも２つの医用画像を訓練データとし、前記複数の医用画像のうちの残りの医用画像を教師データとし、前記一部の医用画像の組み合わせ及び前記残りの医用画像を順次変更して、前記予測器を機械学習させ、前記複数の医用画像のうちの一部の医用画像を前記予測器に入力し、前記一部の医用画像の組み合わせを順次変更して、複数の前記予測画像を生成する。

本開示の一態様は、医用画像処理装置における医用画像処理方法であって、第１の被検体を時系列上で複数回撮像して得られた複数の医用画像を取得するステップと、前記複数の医用画像のうちの一部の医用画像を基に前記複数の医用画像のうちの残りの医用画像に対応する予測画像を生成する予測器を用いて、複数の前記予測画像を生成するステップと、を有し、前記予測画像を生成するステップは、前記複数の医用画像のうちの一部を構成する少なくとも２つの医用画像を訓練データとし、前記複数の医用画像のうちの残りの医用画像を教師データとし、前記一部の医用画像の組み合わせ及び前記残りの医用画像を順次変更して、前記予測器を機械学習させるステップと、前記複数の医用画像のうちの一部の医用画像を前記予測器に入力し、前記一部の医用画像の組み合わせを順次変更して、複数の前記予測画像を生成するステップと、を含む。

本開示の一態様は、上記医用画像処理方法の各ステップをコンピュータに実行させるための医用画像処理プログラムである。

本開示によれば、被検体の撮像時のノイズの影響を抑制して、複数フェーズの医用画像の画質を向上できる。

第１の実施形態における医用画像処理装置のハードウェア構成例を示すブロック図 第１の実施形態における医用画像処理装置の機能構成例を示すブロック図 各予測画像の生成例と出力ＭＩＰ画像の生成例とを説明するための図 予測器の学習フェーズ及び予測画像生成フェーズの一例を説明するための図 医用画像処理装置の動作例の概要を示すフローチャート 第１の実施形態における医用画像処理装置による予測器の機械学習及び予測画像生成に係る動作例を示すフローチャート ４ＤＭＩＰ合成で生成された出力ＭＰＲ画像とＤｅｅｐ ４ＤＭＩＰ合成で生成された出力ＭＰＲ画像との一例を示す図 ４ＤＭＩＰ合成で生成された出力レイキャスト画像とＤｅｅｐ ４ＤＭＩＰ合成で生成された出力レイキャスト画像との一例を示す図 複数フェーズのボリュームデータの合成方法別の適否情報の一例を示す図 複数フェーズのボリュームデータの合成方法別且つ被検体における部位別の画像例を示す図 複数フェーズのボリュームデータの合成方法別且つレンダリング方法別の画像例を示す図 被検体の頭部における部位別の各フェーズにおける画素値の変化例を示すグラフ 観察対象の被検体の単一フェーズのボリュームデータがレンダリングされた出力ＭＩＰ画像の一例を示す図 観察対象の被検体の単一フェーズのボリュームデータがレンダリングされた出力レイキャスト画像の一例を示す図 観察対象の被検体の複数フェーズのボリュームデータが４ＤＭＩＰ合成された合成ボリュームデータがレンダリングされた出力ＭＩＰ画像の一例を示す図 観察対象の被検体の複数フェーズのボリュームデータが４ＤＭＩＰ合成された合成ボリュームデータがレンダリングされた出力レイキャスト画像の一例を示す図 観察対象以外の被検体のボリュームデータを用いて予測器が機械学習した場合における観察対象の被検体の複数フェーズのボリュームデータがＤｅｅｐ ４ＤＭＩＰ合成された合成ボリュームデータがレンダリングされた出力ＭＩＰ画像の一例を示す図 観察対象以外の被検体のボリュームデータを用いて予測器が機械学習した場合における観察対象の被検体の複数フェーズのボリュームデータがＤｅｅｐ ４ＤＭＩＰ合成された合成ボリュームデータがレンダリングされた出力レイキャスト画像の一例を示す図 第２の実施形態における医用画像処理装置の機能構成例を示すブロック図 予測器及び識別器の機械学習の一例を説明するための図 予測対象と同一の被検体の実ボリュームデータと予測ボリュームデータと差分ボリュームデータとの一例を示す図 予測対象の被検体とは別の被検体の実ボリュームデータと予測ボリュームデータと差分ボリュームデータとの一例を示す図 フェーズ平均４ＤＭＩＰ合成された場合の出力レイキャスト画像の一例を示す図 フェーズ平均４ＤＭＩＰ合成された場合の出力ＭＰＲ画像と、出力ＭＰＲ画像における特定範囲の画素値と、の一例を示す図 Ｄｅｅｐ ＧＡＮ ４ＤＭＩＰ合成された場合の出力レイキャスト画像の一例を示す図 Ｄｅｅｐ ＧＡＮ ４ＤＭＩＰ合成された場合の出力ＭＰＲ画像と、出力ＭＰＲ画像における特定範囲の画素値と、の一例を示す図 フェーズ平均４ＤＭＩＰ合成された場合の脳の出力ＭＰＲ画像の一例を示す図 Ｄｅｅｐ ＧＡＮ ４ＤＭＩＰ合成された場合の脳の出力ＭＰＲ画像の一例を示す図 Ｄｅｅｐ ４ＤＭＩＰ合成された場合の実ボリュームデータと予測ボリュームデータと差分ボリュームデータとがレンダリングされた画像の一例を示す図 Ｄｅｅｐ ＧＡＮ ４ＤＭＩＰ合成された場合の実ボリュームデータと予測ボリュームデータと差分ボリュームデータとがレンダリングされた画像の一例を示す図 第２の実施形態における医用画像処理装置による予測器及び識別器の機械学習及び予測画像生成に係る動作例を示すフローチャート

以下、本開示の実施形態について、図面を用いて説明する。

（第１の実施形態）
図１は、第１の実施形態における医用画像処理装置１００の構成例を示すブロック図である。医用画像処理装置１００は、ポート１１０、ユーザインタフェース（ＵＩ：User Interface）１２０、ディスプレイ１３０、プロセッサ１４０、及びメモリ１５０を備える。

医用画像処理装置１００には、ＣＴ装置２００が接続される。医用画像処理装置１００は、ＣＴ装置２００からボリュームデータを取得し、取得されたボリュームデータに対して処理を行う。医用画像処理装置１００は、ＰＣ（Personal Computer）とＰＣに搭載されたソフトウェアにより構成されてもよい。

ＣＴ装置２００は、生体へＸ線を照射し、体内の組織によるＸ線の吸収の違いを利用して、画像（ＣＴ画像）を撮像する。生体としては人体等が挙げられる。生体は、被検体の一例である。

ＣＴ画像は、時系列に複数撮像されてもよい。ＣＴ装置２００は、生体内部の任意の箇所の情報を含むボリュームデータを生成する。生体内部の任意の箇所は、各種臓器（例えば脳、心臓、腎臓、大腸、小腸、肺、胸部、乳腺、前立腺、肺）を含んでもよい。ＣＴ画像が撮像されることにより、ＣＴ画像における各画素（ボクセル）の画素値（ＣＴ値、ボクセル値）が得られる。ＣＴ装置２００は、ＣＴ画像としてのボリュームデータを医用画像処理装置１００へ、有線回線又は無線回線を介して送信する。

具体的に、ＣＴ装置２００は、ガントリ（図示せず）及びコンソール（図示せず）を備える。ガントリは、Ｘ線発生器（図示せず）やＸ線検出器（図示せず）を含み、コンソールにより指示された所定のタイミングで撮像することで、人体を透過したＸ線を検出し、Ｘ線検出データを得る。Ｘ線発生器は、Ｘ線管（図示せず）を含む。コンソールは、医用画像処理装置１００に接続される。コンソールは、ガントリからＸ線検出データを複数取得し、Ｘ線検出データに基づいてボリュームデータを生成する。コンソールは、生成されたボリュームデータを、医用画像処理装置１００へ送信する。コンソールは、患者情報、ＣＴ撮像に関する撮像条件、造影剤の投与に関する造影条件、その他の情報を入力するための操作部（図示せず）を備えてよい。この操作部は、キーボードやマウスなどの入力デバイスを含んでよい。

ＣＴ装置２００は、連続的に撮像することで３次元のボリュームデータを複数取得し、動画を生成することも可能である。複数の３次元のボリュームデータによる動画のデータは、４Ｄ（４次元）データとも称される。

ＣＴ装置２００は、複数のタイミングの各々でＣＴ画像を撮像してよい。ＣＴ装置２００は、被検体が造影された状態で、ＣＴ画像を撮像してよい。ＣＴ装置２００は、被検体が造影されていない状態で、ＣＴ画像を撮像してよい。

医用画像処理装置１００内のポート１１０は、通信ポートや外部装置接続ポートを含み、ＣＴ画像から得られたボリュームデータを取得する。取得されたボリュームデータは、直ぐにプロセッサ１４０に送られて各種処理されてもよいし、メモリ１５０において保管された後、必要時にプロセッサ１４０へ送られて各種処理されてもよい。また、ボリュームデータは、記録媒体や記録メディアを介して取得されてもよい。

ＣＴ装置２００により撮像されたボリュームデータは、ＣＴ装置２００から画像データサーバ（ＰＡＣＳ：Picture Archiving and Communication Systems）（不図示）に送られ、保存されてよい。ポート１１０は、ＣＴ装置２００から取得する代わりに、この画像データサーバからボリュームデータを取得してよい。このように、ポート１１０は、ボリュームデータ等の各種データを取得する取得部として機能する。

ＵＩ１２０は、タッチパネル、ポインティングデバイス、キーボード、又はマイクロホンを含んでよい。ＵＩ１２０は、医用画像処理装置１００のユーザから、任意の入力操作を受け付ける。ユーザは、医師、放射線技師、又はその他医療従事者（Paramedic Staff）を含んでよい。

ＵＩ１２０は、ボリュームデータにおける関心領域（ＲＯＩ：Region of Interest）の指定や輝度条件の設定等の操作を受け付ける。関心領域は、各種組織（例えば、血管、気管支、臓器、骨、脳、心臓、足、首、血流）の領域を含んでよい。組織は、病変組織、正常組織、臓器、器官、など生体の組織を広く含んでよい。また、ＵＩ１２０は、ボリュームデータやボリュームデータに基づく画像（例えば後述する３次元画像、２次元画像）における関心領域の指定や輝度条件の設定等の操作を受け付けてもよい。

ディスプレイ１３０は、ＬＣＤ（Liquid Crystal Display）を含んでもよく、各種情報を表示する。各種情報は、ボリュームデータから得られる３次元画像や２次元画像を含んでよい。３次元画像は、ボリュームレンダリング画像、サーフェスレンダリング画像、仮想内視鏡画像（ＶＥ画像）、ＣＰＲ（Curved Planar Reconstruction）画像、等を含んでもよい。ボリュームレンダリング画像は、レイサム（RaySum）画像（単に「ＳＵＭ画像」とも称する）、ＭＩＰ(Maximum Intensity Projection)画像、ＭｉｎＩＰ(Minimum Intensity Projection)画像、平均値（Average）画像、又はレイキャスト（Raycast）画像を含んでもよい。２次元画像は、アキシャル（Axial）画像、サジタル（Sagittal）画像、コロナル（Coronal）画像、ＭＰＲ（Multi Planer Reconstruction）画像、等を含んでよい。

メモリ１５０は、各種ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）の一次記憶装置を含む。メモリ１５０は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）の二次記憶装置を含んでもよい。メモリ１５０は、ＵＳＢメモリやＳＤカードの三次記憶装置を含んでもよい。メモリ１５０は、各種情報やプログラムを記憶する。各種情報は、ポート１１０により取得されたボリュームデータ、プロセッサ１４０により生成された画像、プロセッサ１４０により設定された設定情報、各種プログラムを含んでもよい。メモリ１５０は、プログラムが記録される非一過性の記録媒体の一例である。

プロセッサ１４０は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、又はＧＰＵ（Graphics Processing Unit）を含んでもよい。プロセッサ１４０は、メモリ１５０に記憶された医用画像処理プログラムを実行することにより、各種処理や制御を行う処理部１６０として機能する。

図２は、処理部１６０の機能構成例を示すブロック図である。

処理部１６０は、領域抽出部１６１、画像生成部１６２、レジストレーション処理部１６３、予測処理部１６４、及び表示制御部１６６を備える。予測処理部１６４は、予測器（Predictor）１７１を有する。

処理部１６０は、医用画像処理装置１００の各部を統括する。なお、処理部１６０に含まれる各部は、１つのハードウェアにより異なる機能として実現されてもよいし、複数のハードウェアにより異なる機能として実現されてもよい。また、処理部１６０に含まれる各部は、専用のハードウェア部品により実現されてもよい。

領域抽出部１６１は、ボリュームデータにおいて、セグメンテーション処理を行ってよい。この場合、ＵＩ１２０がユーザからの指示を受け付け、指示の情報が領域抽出部１６１に送られる。領域抽出部１６１は、指示の情報に基づいて、公知の方法により、ボリュームデータから、セグメンテーション処理を行い、関心領域を抽出（ｓｅｇｍｅｎｔ）してもよい。また、ユーザからの詳細な指示により、手動で関心領域を設定（ｓｅｔ）してもよい。また、観察対象が予め定められている場合、領域抽出部１６１は、ユーザ指示なしでボリュームデータから、セグメンテーション処理を行い、観察対象を含む関心領域を抽出してもよい。抽出される領域には、各種組織（例えば、血管、気管支、臓器、骨、脳、心臓、足、首、血流、乳腺、胸部、腫瘍）の領域を含んでよい。

画像生成部１６２は、ポート１１０により取得された複数のボリュームデータ（例えば時系列に並ぶボリュームデータ）に基づいて、複数のボリュームデータを合成して１つのボリュームデータ（例えば合成ボリュームデータ）を生成してよい。画像生成部１６２は、ポート１１０等を介して取得された又は生成されたボリュームデータに基づいて、３次元画像や２次元画像を生成してよい。画像生成部１６２は、ポート１１０により取得された１つ以上のボリュームデータを基に、指定された領域や領域抽出部１６１により抽出された領域に基づいて、ボリュームデータ（例えば合成ボリュームデータ）や３次元画像や２次元画像を生成してよい。

画像生成部１６２は、レジストレーションされた複数フェーズのボリュームデータを基に、出力画像としてのボリュームデータ（例えば合成ボリュームデータ）を生成してよい。画像生成部１６２は、レジストレーションされた複数フェーズのボリュームデータを基に、出力画像としての３次元画像や２次元画像を生成してよい。画像生成部１６２は、レジストレーションされた複数フェーズの３次元画像を基に、出力画像としての３次元画像を生成してよい。画像生成部１６２は、レジストレーションされた複数フェーズの２次元画像を基に、出力画像としての２次元画像を生成してよい。なお、複数フェーズのデータや画像は、時系列に並ぶ複数のデータや画像でよい。

画像生成部１６２は、複数フェーズのボリュームデータにおいて各ボクセルの最大値を画素値として、１つの合成ボリュームデータを生成してよい。この合成方法を、４ＤＭＩＰ合成とも称する。なお、４ＤＭＩＰ合成の具体的な手法は、特許文献１に記載された方法を用いてよい。４ＤＭＩＰ合成では、画素値が大きくなり易い。

画像生成部１６２は、複数フェーズ（例えば８つのフェーズ）を複数のフェーズ群（例えば３つのフェーズ群）に区切り、複数のフェーズ群において各ボリュームデータにおける各ボクセルの画素値の平均値を算出し、各フェーズ群における各ボクセルの画素値の平均値のうちの最大値を画素値として、１つの合成ボリュームデータを生成してよい。この合成方法を、フェーズ平均４ＤＭＩＰ合成とも称する。

画像生成部１６２は、フェーズ平均４ＤＭＩＰ合成で得られたボリュームデータに対してガウシアンフィルタを施し、各ボクセルの画素値として、１つの合成ボリュームデータを生成してよい。この合成方法を、フィルタ付きフェーズ平均４ＤＭＩＰ合成とも称する。

画像生成部１６２は、複数フェーズのボリュームデータにおける各ボクセルの画素値を加算した値を画素値として、１つの合成ボリュームデータを生成してよい。この合成方法を、ＴＳＵＭ合成とも称する。ＴＳＵＭ合成では、ノイズ成分も実信号成分も削除され易い。

画像生成部１６２は、機械学習された予測器１７１により生成された複数フェーズの予測ボリュームデータにおいて各ボクセルの最大値を画素値として、１つの合成ボリュームデータを生成してよい。この合成方法を、Ｄｅｅｐ ４ＤＭＩＰ合成と称してよい。Ｄｅｅｐ ４ＤＭＩＰ合成では、複数フェーズの予測ボリュームデータにおける各ボクセルの最大値の導出に、４ＤＭＩＰ合成が実施する具体的な手法を適用してよい。

レジストレーション処理部１６３は、時系列で得られた複数のボリュームデータ（ＣＴ画像）を基に、ボリュームデータに含まれる各部の動きを検出し、動き情報を生成する。この場合、レジストレーション処理部１６３は、複数のフェーズのＣＴ画像を基に、複数フェーズ間でのＣＴ画像の変形に対して動き解析を行い、ＣＴ画像における動き情報を取得する。動き解析の具体的手法は、例えば参考特許文献１、参考特許文献２に記載されている。これらは、非剛体レジストレーションの例になるが、剛体レジストレーションであってもよい。
（参考特許文献１：米国特許８３１１３００号明細書）
（参考特許文献２：日本国特許第５４０８４９３号公報）

レジストレーション処理部１６３は、動き情報を用いた各点や観察部位の動き解析により、被検体内の任意の位置がどの位置に移動したかを認識する。レジストレーション処理部１６３は、動き解析の結果に基づいて、時系列に並ぶ複数フェーズのボリュームデータをレジストレーション（位置合わせ）する。

予測処理部１６４は、ＣＴ装置２００で撮像されたボリュームデータを基に、予測ボリュームデータを生成する予測器１７１を有する。ＣＴ装置２００で撮像されたボリュームデータは、実空間で撮像されたボリュームデータである。予測器１７１は、ハードウェアで構成されてもよいしソフトウェアで構成されてもよい。予測器１７１は、同一の被検体についての複数フェーズのボリュームデータのうちの一部のボリュームデータを基に、複数フェーズのボリュームデータのうちの残りのボリュームデータに対応する予測ボリュームデータを生成してよい。実空間で撮像されたボリュームデータは、ノイズ（例えばランダムノイズ）が重畳されたデータとなるが、予測ボリュームデータは、このノイズが抑制されたデータとなる。

予測処理部１６４は、訓練データと教師データとを用いて、予測器１７１を機械学習（Machine Learning）させる。機械学習は、ＤＮＮ（Deep neural network）つまりいわゆるディープラーニングを含んでよい。機械学習では、予測処理部１６４は、複数フェーズのボリュームデータのうちの一部のボリュームデータを訓練データとしてよい。予測処理部１６４は、複数フェーズのボリュームデータのうちの残りのボリュームデータを教師データとしてよい。そして、予測処理部１６４は、訓練データとなる上記一部のボリュームデータの組み合わせを順次変更し、これに合わせて教師データとなる上記残りのボリュームデータを順次変更して、予測器１７１に機械学習させてよい。機械学習の手法は、任意であり、ＣＮＮ（Convolutional Neural Network）、Random Forest、Structured SVM（Support Vector Machine）、ＮＮ(Nearest Neighbor)、等でよい。本実施形態では、主にＣＮＮについて説明する。

画像生成部１６２は、少なくとも１つの実空間で撮像されたボリュームデータと、予測器１７１により生成された少なくも１つの予測ボリュームデータと、に基づいて、出力画像（表示対象画像）としての３次元画像や２次元画像を生成してよい。画像生成部１６２は、少なくとも１つの実空間で撮像されたボリュームデータに基づく３次元画像又は２次元画像と、予測器１７１により生成された少なくも１つの予測ボリュームデータに基づく３次元画像又は２次元画像と、に基づいて、出力画像としての３次元画像又は２次元画像を生成してよい。

表示制御部１６６は、各種データ、情報、画像をディスプレイ１３０に表示させる。表示制御部１６６は、３次元空間で示されるボリュームデータ（出力ボリュームデータ、例えば合成ボリュームデータ）を可視化してよい。この場合、画像生成部１６２が、出力ボリュームデータを任意のレンダリング手法でレンダリングして３次元画像を生成してよい。また、画像生成部１６２は、出力ボリュームデータの任意の断面を抽出し、２次元画像を生成してよい。表示制御部１６６は、生成された３次元画像や２次元画像を表示させることで、出力ボリュームデータを可視化してよい。

なお、ボリュームデータ、３次元画像、２次元画像は、医用画像の一例である。以下では、主にボリュームデータを例示するが、他の医用画像に対しても適用可能である。

次に、予測器１７１の詳細な動作について説明する。
図３は、各予測画像の生成例と出力画像の生成例とを説明するための図である。なお、図３に示す「０」～「７」は、フェーズ番号を示す。

なお、予測画像は、予測器１７１により生成された画像であり、予測器１７１により生成されたボリュームデータ（予測ボリュームデータ）、予測器１７１により生成された３次元画像や２次元画像（予測３次元画像や予測２次元画像）、等でよい。出力画像は、出力される画像であり、ディスプレイ１３０等により出力（例えば表示）されるボリュームデータ（出力ボリュームデータ）、ディスプレイ１３０等により出力される３次元画像や２次元画像（出力３次元画像や出力２次元画像）、等でよい。ここでは、予測画像として予測ボリュームデータ、出力画像として出力ボリュームデータを用いることを主に例示する。

予測処理部１６４は、ｎ（ｎ：正の整数）（図３ではｎ＝８）フェーズの入力画像群を取得する。入力画像群に含まれる各入力画像は、予測器１７１に入力される。入力画像群に含まれる各入力画像は、ポート１１０を介して取得されたＣＴ装置２００からのボリュームデータであってよい。入力画像群に含まれる各入力画像は、予測器１７１に入力される。入力画像には、造影されていない非造影状態において撮像された非造影フェーズのボリュームデータが含まれてよいし、造影された造影状態において撮像された造影フェーズのボリュームデータが含まれてよい。

予測器１７１は、予測処理部１６４の制御に従って動作する。予測器１７１は、ｎフェーズのうちのｉフェーズ目のボリュームデータを、ｎフェーズのうちのｉフェーズ以外のフェーズのボリュームデータに基づいて予測し、予測画像ＹＧｉを生成する。予測画像ＹＧｉは、予測ボリュームデータであってよい。

例えば、図３では、予測器１７１は、８フェーズ（０フェーズ目～７フェーズ目）のうちの１フェーズ目（ｉ＝１）のボリュームデータを、８フェーズのうちの１フェーズ以外のフェーズ（０，２，３，４，５，６，７フェーズ目の７つのフェーズ）のボリュームデータに基づいて予測し、予測画像ＹＧ１を生成する。また、予測器１７１は、８フェーズのうちの２フェーズ目（ｉ＝２）のボリュームデータを、８フェーズのうちの２フェーズ以外のフェーズ、つまり０，１，３，４，５，６，７フェーズ目の７つのフェーズのボリュームデータに基づいて予測し、予測画像ＹＧ２を生成する。

予測器１７１は、ｉの値を順次変更してｉフェーズ目のボリュームデータに対応する予測画像ＹＧｉをそれぞれ生成する。図３は、予測器１７１は、８フェーズに対応する８つの予測画像ＹＧ０～ＹＧ７を生成する。この結果、ｎ個の予測画像ＹＧｉを含む予測画像群が得られる。

なお、予測器１７１は、ｎフェーズのうちのｉフェーズ目のボリュームデータを、ｎフェーズのうちのｉフェーズ以外の一部のフェーズのボリュームデータに基づいて予測し、予測画像ＹＧｉを生成してもよい。例えば、予測器１７１は、８フェーズ（０フェーズ目～７フェーズ目）のうちの１フェーズ目（ｉ＝１）のボリュームデータを、８フェーズのうちの１フェーズ以外の一部のフェーズ（０，２，４，６フェーズ目の４つのフェーズ）のボリュームデータに基づいて予測し、予測画像ＹＧ１を生成してもよい。

予測器１７１は、訓練データと教師データとを用いて、機械学習してよい。機械学習では、予測器１７１は、ｎフェーズのうちのｉフェーズ目のボリュームデータを教師データとしてよい。予測器１７１は、ｎフェーズのうちのｉフェーズ以外のフェーズのボリュームデータを訓練データとしてよい。また、予測器１７１は、ｎフェーズのうちのｉフェーズ以外のフェーズのうちの一部のフェーズのボリュームデータを訓練データとしてよい。予測器１７１は、訓練データを入力して、教師データを出力するよう、機械学習してよい。機械学習では、訓練データと教師データとの関係性は非線形でよい。

したがって、予測器１７１は、機械学習することで、訓練データとしてのｎフェーズのうちのｉフェーズ以外のフェーズのボリュームデータに依存せずに、ｎフェーズのうちのｉフェーズ目の所望のボリュームデータを導出できる。また、この場合、予測画像において、被検体の組織の構造を良好に残すことができると期待できる。

また、訓練データは、実空間で撮像された、ｉフェーズ以外のフェーズのボリュームデータでよい。また、教師データは、実空間で撮像されたｉフェーズのボリュームデータでよい。よって、様々なノイズが付された各フェーズのボリュームデータを基に、各フェーズのうちの１つのボリュームデータが得られるように機械学習する。したがって、医用画像処理装置１００は、機械学習の結果、様々なノイズが相殺して予測画像を生成するよう機械学習できる。よって、医用画像処理装置１００は、ｉフェーズの実空間で撮像されたボリュームデータからノイズが除去されたボリュームデータを予測ボリュームデータとして得ることができる。

また、予測器１７１は、機械学習時や予測画像生成時において、１度に入力する訓練データや入力データの量を、ボリュームデータの１画素（ボクセル）毎としてもよいし、ある程度の大きさ（パッチ）に含まれる画素群毎としてもよいし、ボリュームデータ内の全画素としてもよい。訓練データや入力データを画素毎とする場合、予測器１７１は、処理対象の１ボクセルのみ参照し、その周囲のボクセルを参照しないので、空間方向の情報の伝播が少なくなる。訓練データや入力データをパッチに含まれる画素群毎や全画素とする場合、処理対象のボクセルの他に、その周囲のボクセルを参照するので、予測器１７１は、空間方向の情報の伝播も加味でき、機械学習精度や予測精度を向上できる。

また、予測器１７１として、各フェーズの予測画像を生成するために共通の予測器１７１が１つ設けられてもよいし、フェーズ毎に異なる予測器１７１が設けられてもよい。予測器１７１が機械学習することや予測画像を生成することは、各フェーズにおいて同様であるためである。

また、複数フェーズの端部（例えば８フェーズ中の第０フェーズや第７フェーズ）のフェーズにおいて機械学習する場合や予測画像を生成する場合、その前後のフェーズのボリュームデータが不在となり得る。この場合、不在となるボリュームデータとして、ボリュームデータの全画素値が値０である黒色の画像となるボリュームデータを仮定したり、反対側の端部（例えば第７フェーズの場合には第０フェーズ、第０フェーズの場合には第７フェーズ）のボリュームデータが存在すると仮定したりしてよい。

また、予測器１７１における機械学習に用いる学習データ（例えば訓練データ及び教師データ）は、予めメモリ１５０等に保持されて用意されてよい。よって、学習データは、被検体における時系列に並ぶ複数フェーズのボリュームデータを含んでよい。

予測器１７１は、ＣＴ装置２００からの時系列上で並ぶ複数フェーズのボリュームデータを取得する都度、機械学習し、機械学習の結果（機械学習結果）を更新してメモリ１５０に保持させてもよい。予測器１７１は、予測画像の生成時などの学習データが必要なタイミングで、メモリ１５０に保持された機械学習結果を取得してよい。

画像生成部１６２は、予測画像群に含まれるｎ個の予測画像ＹＧｉを、いずれかの合成方法で合成し、出力ボリュームデータを生成する。例えば、画像生成部１６２は、Ｄｅｅｐ ４ＤＭＩＰ合成を行う場合、時間軸に沿って、同じ画素の画素値の最大値を導出する。

画像生成部１６２は、予測画像が予測ボリュームデータである場合、ｎ個の予測ボリュームデータに基づいて１つの出力ボリュームデータを出力画像として生成してよい。この場合、画像生成部１６２は、出力ボリュームデータをボリュームレンダリングして、出力３次元画像又は出力２次元画像を生成してよい。また、画像生成部１６２は、予測画像が予測３次元画像である場合、ｎ個の予測３次元画像に基づいて１つの出力３次元画像を出力画像として生成してよい。また、画像生成部１６２は、予測画像が予測２次元画像である場合、ｎ個の予測２次元画像に基づいて１つの出力２次元画像を出力画像として生成してよい。

画像生成部１６２は、各種のボリュームレンダリング法により出力ボリュームデータが可視化されてよい。例えば、出力ボリュームデータがＭＩＰ法により可視化される場合、この出力画像を出力ＭＩＰ画像とも称する。また、出力画像がレイキャスト法により可視化される場合、この出力画像を出力レイキャスト画像とも称する。また、出力画像がＭＰＲにより可視化される場合、この出力画像を出力ＭＰＲ画像とも称する。

レジストレーション処理部１６３は、ｎ個の予測画像ＹＧｉについてレジストレーション（位置合わせ）してよい。つまり、レジストレーション処理部１６３は、予測画像ＹＧｉの各画素と他の予測画像の各画素とが対応するように、予測画像同士を位置合わせしてよい。これにより、医用画像処理装置１００は、各予測画像の位置ずれを抑制でき、出力画像の各画素の画素値の精度を向上できる。また、レジストレーション処理部１６３は、ｎ個の入力画像群についてレジストレーション（位置合わせ）してよい。つまり、レジストレーション処理部１６３は、入力画像の各画素と他の入力画像の各画素とが対応するように、入力画像同士を位置合わせしてよい。これにより、医用画像処理装置１００は、各入力画像の位置ずれを抑制でき、各予測画像と出力画像の各画素の画素値の精度を向上できる。また、レジストレーション処理部１６３は、入力画像と予測画像とでレジストレーションしてもよい。

図４は、予測器１７１の学習フェーズ及び予測画像生成フェーズの一例を説明するための図である。学習フェーズは、予測器１７１が機械学習するフェーズである。予測画像生成フェーズは、機械学習された予測器１７１により予測画像を生成するフェーズである。

メモリ１５０は、予測器１７１により機械学習するための学習データ（例えば、スタディ）を蓄積する学習ＤＢ１５１を備えてよい。学習データは、観察対象の（予測画像の生成対象の）被検体についての学習データでもよいし、観察対象外の（予測画像の生成対象外の）被検体についての学習データでもよい。つまり、学習データに係る被検体と実際の予測画像に係る被検体とは、同一の被検体でもよいし、異なる被検体でもよい。学習ＤＢ１５１は、予測器１７１により機械学習するための多数の学習データを保持してよく、観察対象の被検体についての学習データ及び観察対象外の被検体についての学習データの少なくとも一方を含んでよい。また、学習ＤＢ１５１は学習結果を保持してもよい。

図４では、Ｖは、ボリュームデータを示す。ｉ，ｋは、フェーズ番号を示す。フェーズの異なる複数のボリュームデータは、レジストレーションされていてもよい。Ｖ’ｉは、フェーズｉ番目のボリュームデータに対応して生成される予測ボリュームデータである。

学習フェーズでは、機械学習用にポート１１０を介して取得された複数フェーズのボリュームデータのうち、Ｖｋ（ｋ≠ｉ）を訓練データとする。つまり、予測器１７１は、ｉ番目以外のフェーズのボリュームデータを訓練データとして入力する。訓練データは、学習ＤＢ１５１に保持された機械学習用の訓練データでもよい。予測器１７１は、ポート１１０を介して取得された複数フェーズのボリュームデータのうち、Ｖｉを教師データとする。教師データは、学習ＤＢ１５１に保持された機械学習用の教師データでもよい。予測器１７１は、訓練データであるＶｋ（ｋ≠ｉ）を入力した場合に、教師データであるＶｉを出力するように、機械学習する。この場合、予測器１７１は、実際にはＶ’ｉを出力するが、Ｖ’ｉがＶｉに近づくように機械学習する。予測器１７１は、機械学習の結果を、学習ＤＢ１５１に保持させる。予測処理部１６４は、訓練データと教師データとして、観察対象のデータを用いて予測器１７１を学習させてもよい。予測処理部１６４は、訓練データと教師データとして、観察対象以外のデータを用いて予測器１７１を学習させてもよい。また、予測処理部１６４は、訓練データと教師データとして、観察対象以外のデータを多数入れ替えることによって、段階的に予測器１７１を学習させてもよい。

また、予測器１７１は、過学習を抑制するために、正則化処理、ドロップアウト処理（ランダムにノードを非活性にして学習する）、ｋ分割交差検証、等の公知の過学習対策を施してよい。正則化処理では、モデルを学習する際に、複雑さが増すことに対するペナルティが設けられる。正則化は、ペナルティとして、学習モデルのパラメータの絶対値の総和を用いるＬ１正則化、学習モデルのパラメータの二乗の総和を用いるＬ２正則化、等を含んでよい。

予測画像生成フェーズでは、予測器１７１は、予測画像生成用にポート１１０を介して取得された観察対象の複数フェーズの（予測画像の生成対象の）ボリュームデータのうち、Ｖｋ（ｋ≠ｉ）を入力データとする。この入力データは、機械学習用に取得した訓練データと同じでもよい。予測器１７１は、学習ＤＢ１５１に蓄積された機械学習の結果を参照し、入力データであるＶｋ（ｋ≠ｉ）を基に、出力データであるＶ’ｉを算出する。この場合、機械学習された予測器１７１は、ポート１１０を介して取得されたｉフェーズのボリュームデータであるＶｉに値が近いＶ’ｉを導出できる。予測器１７１は、例えば、ｎ個（例えばｎ＝８）のフェーズである場合、ｉ＝０，１，・・・７とすると、出力データとしてＶ’０，Ｖ’１，・・・Ｖ’７，を生成する。この出力データが、予測ボリュームデータとなる。

画像生成部１６２は、ｉ＝０，１，・・・ｎ－１の各フェーズの予測ボリュームデータとしてのＶ’０，Ｖ’１，・・・Ｖ’７を取得し、各予測ボリュームデータを合成して、合成ボリュームデータを生成する。なお、レジストレーション処理部１６３は、各予測ボリュームデータを基に合成ボリュームデータが生成される前に、各予測ボリュームデータの位置合わせ（レジストレーション）を行ってよい。また、処理部１６０は、画像生成部１６２による合成ボリュームデータの生成とレジストレーションとを順番に反復してよい。これにより、医用画像処理装置１００は、一層ノイズを除去した画像処理が可能となる。

図５は、医用画像処理装置１００の動作例の概要を示すフローチャートである。

まず、ポート１１０は、時系列上に並んだ複数フェーズのボリュームデータをＣＴ装置２００から取得する（Ｓ１１）。レジストレーション処理部１６３は、取得された複数フェーズのボリュームデータを位置合わせする（Ｓ１２）。

予測処理部１６４は、複数フェーズのボリュームデータ（機械学習用のデータ）を基に、機械学習された予測器１７１を生成する（Ｓ１３）。なお、予測器１７１の具体的な機械学習の詳細については後述する。

予測処理部１６４は、複数フェーズのボリュームデータ（予測画像生成用のデータ）と予測器１７１とを用いて、各フェーズのボリュームデータに対応する複数の予測ボリュームデータを生成する。予測処理部１６４は、複数の予測ボリュームデータを基に、合成ボリュームデータを生成する（Ｓ１４）。

画像生成部１６２は、合成ボリュームデータをボリュームレンダリングし、ボリュームレンダリング画像（例えばＭＩＰ画像）を生成する（Ｓ１５）。

図５の処理によれば、医用画像処理装置１００は、機械学習された予測器１７１を用いて予測ボリュームデータを生成することで、予測ボリュームデータの生成精度を向上できる。また、医用画像処理装置１００は、各フェーズのボリュームデータを位置合わせすることで、各ボリュームデータにおける各ボクセルの位置ずれを抑制でき、ボクセル毎の画素値の統計精度を向上できる。よって、医用画像処理装置１００は、より正確な画素値を得ることができ、合成ボリュームデータを基に被検体の様子をより正確に描画できる。

図６は、医用画像処理装置１００による予測器１７１の機械学習及び予測画像生成に係る動作例を示すフローチャートである。なお、図６では、フェーズは、０～ｎまで存在するとする。

まず、ポート１１０は、時系列上に並んだ複数フェーズのボリュームデータＶ０～ＶｎをＣＴ装置２００から取得する（Ｓ２１）。レジストレーション処理部１６３は、取得された複数フェーズのボリュームデータＶ０～Ｖｎを位置合わせする（Ｓ２２）。

予測処理部１６４は、フェーズｉ＝０～ｎについて、ボリュームデータＶ０～Ｖｎ（Ｖｉを除く）を用いて、予測器１７１を機械学習させる（Ｓ２３）。この場合、予測処理部１６４は、Ｓ２１で取得されたボリュームデータＶ０～Ｖｎ（Ｖｉを除く）を機械学習用の訓練データとし、Ｓ２１で取得されたボリュームデータＶｉを機械学習用の教師データとする。

予測処理部１６４は、フェーズｉ＝０～ｎについて、ボリュームデータＶ０～Ｖｎ（Ｖｉを除く）を予測器１７１に入力し、予測ボリュームデータＶ’ｉを生成する（Ｓ２４）。したがって、予測ボリュームデータＶ’０～Ｖ’ｎが得られる。

画像生成部１６２は、予測ボリュームデータＶ’０～Ｖ’ｎについて、それぞれの対応するボクセルにおける画素値（ボクセル値）の最大値を算出し、最大値ボリュームデータＶｍａｘを生成する（Ｓ２５）。つまり、画像生成部１６２は、Ｄｅｅｐ ４ＤＭＩＰ合成により、最大値ボリュームデータＶｍａｘを生成する。

画像生成部１６２は、最大値ボリュームデータＶｍａｘを例えばＭＩＰ法で可視化する（Ｓ２６）。つまり、画像生成部１６２は、最大値ボリュームデータＶｍａｘを例えばＭＩＰ法でボリュームレンダリングし、出力画像（出力ＭＩＰ画像）を生成する。

図６の処理によれば、医用画像処理装置１００は、各フェーズのボリュームデータを可視化できる。例えば、医用画像処理装置１００は、観察対象に動きがあり、フェーズによってボリュームデータの各画素に表れたり消滅したりする時系列に変化する観察対象であっても、ユーザにより視認し易くできる。例えば、非検体を造影して観察する場合、造影剤の流れに伴い、フェーズによって造影剤により造影される被検体の部位が異なる。フェーズによっては例えば血管の一部だけが造影されることがあるが、各フェーズのボリュームデータを合成することで、１つのボリュームデータに各フェーズの観察対象に係る画素値が表現され得る。よって、動脈だけ造影されるフェーズや静脈だけ造影されるフェーズを観察する場合に、被検体内に造影剤を流し続けることなく、画像処理により時系列で変化する様子を１つのボリュームデータで可視化できる。よって、医用画像処理装置１００は、造影剤の注入時間を減らすことができ、被検体の腎臓への負担を軽減できる。また、医用画像処理装置１００は、予測器１７１の機械学習を実施することで、ノイズを抑制した予測ボリュームデータを生成でき、適度に明るい画像を可視化できる。

図７Ａは、４ＤＭＩＰ合成で生成された出力ＭＰＲ画像ｇｚｘ１とＤｅｅｐ ４ＤＭＩＰ合成で生成された出力ＭＰＲ画像ＧＺ１とを示す図である。図７Ｂは、４ＤＭＩＰ合成で生成された出力レイキャスト画像ｇｚｘ２とＤｅｅｐ ４ＤＭＩＰ合成で生成された出力レイキャスト画像ＧＺ２とを示す図である。出力ＭＰＲ画像ｇｚｘ１，ＧＺ１及び出力レイキャスト画像ｇｚｘ２，ＧＺ２では、それぞれ、同じ被検体の同じ部位が示されている。

図７Ａにおいて、４ＤＭＩＰ合成で生成された出力ＭＰＲ画像ｇｚｘ１では、最大値を適用することで高輝度ノイズが画素値に選択され易くなり、全体的に白くなっており、つまり全体的に輝度値（画素値）が高くなっている。これに対し、Ｄｅｅｐ ４ＤＭＩＰ合成で生成された出力ＭＰＲ画像ＧＺ１は、出力ＭＰＲ画像ｇｚｘ１と比べると、ノイズが抑制され、全体的な白さは低減しており、診断上意味のある場所が高い画素値となっていることを判別できる。よって、ユーザによる診断精度も向上し得る。

図７Ｂにおいて、４ＤＭＩＰ合成で生成された出力ＭＰＲ画像ｇｚｘ２では、実際の血管以外のノイズも映り込んでおり、実際の血管が見え難い状態となっている。これに対し、Ｄｅｅｐ ４ＤＭＩＰ合成で生成された出力ＭＰＲ画像ＧＺ２は、出力ＭＰＲ画像ｇｚｘ２と比べると、ノイズが抑制され、ノイズ成分の描画が少なくなっており、診断上意味のある血管等を判別し易くなっている。よって、ユーザによる診断精度も向上し得る。

つまり、４ＤＭＩＰ合成で生成された出力ＭＰＲ画像ｇｚｘ１では、複数フェーズのボリュームデータのボクセル毎に最大値を単純に用いることで合成ボリュームデータを作成するので、高輝度ノイズが可視化され易い。複数フェーズのボリュームデータにおいて、任意のフェーズのボリュームデータにおけるノイズは、そのフェーズの近傍のフェーズのボリュームデータのみを基に予測することが困難である。なお、ＣＴ装置２００により撮像して得られたボリュームデータの場合、同一フェーズにおける対象ピクセルの近傍に位置する近傍ピクセルを用いると、対象ピクセルにおけるノイズの状態を予測可能である。また、対象フェーズのボリュームデータにおけるノイズ以外の信号（例えば定常部分やＣＴ値が変化する血管）は、その前後のフェーズのボリュームデータにおけるノイズ以外の信号を基に予測可能である。ノイズ以外の信号については、連続するフェーズで、ある程度関連性があるためである。

したがって、医用画像処理装置１００は、ボリュームデータにおけるノイズ成分とボリュームデータにおけるノイズ以外の成分（例えば造影剤）とを区別可能であると仮定できる。

図８は、複数フェーズのボリュームデータの合成方法別の適否情報の一例を示す図である。合成方法には、４ＤＭＩＰ合成、フェーズ平均４ＤＭＩＰ合成、フィルタ付きフェーズ平均４ＤＭＩＰ合成、Ｄｅｅｐ ４ＤＭＩＰ合成、等が含まれてよい。なお、図８では、フェーズ平均４ＤＭＩＰ合成において、複数フェーズが３つのフェーズ群に区切られた場合を例示している（以降の図の説明でも同様）。

４ＤＭＩＰ合成により合成ボリュームデータが生成された場合、合成ボリュームデータにおけるノイズが多く、合成ボリュームデータにおける細血管（細い血管）が明るくなり（白っぽくなり）、図８の合成方法の中では最も（最大限）明るくなる。つまり、最も画素値が大きくなる。なお、細血管は、ＣＴ画像で表現可能な下限に近い太さの血管でよく、例えば０．５ｍｍ程度の太さの血管でよい。

フェーズ平均４ＤＭＩＰ合成により合成ボリュームデータが生成された場合、合成ボリュームデータにおけるノイズは中程度であり、合成ボリュームデータにおける細血管はやや暗くなる。

フィルタ付きフェーズ平均４ＤＭＩＰ合成により合成ボリュームデータが生成された場合、合成ボリュームデータにおけるノイズが少なく、合成ボリュームデータにおける細血管が暗くなる。

Ｄｅｅｐ ４ＤＭＩＰ合成により合成ボリュームデータが生成された場合、合成ボリュームデータにおけるノイズが少なく、合成ボリュームデータにおける細血管は明るいので、好ましい。よって、Ｄｅｅｐ ４ＤＭＩＰ合成では、他の合成方法と比較すると、ノイズが低減され得る。

図９は、複数フェーズのボリュームデータの合成方法別且つ被検体における部位別の画像例を示す図である。図９では、ボリュームデータの合成方法には、Ｄｅｅｐ ４ＤＭＩＰ合成、４ＤＭＩＰ合成、フェーズ平均４ＤＭＩＰ合成、ＴＳＵＭ合成、等が含まれてよい。

図９では、被検体における部位が３つ示されている。図９における最上段の各画像は部位ｂ１を示し、中段の各画像は部位ｂ２を示し、最下段の各画像は部位ｂ３を示す。なお、図９では、それぞれの合成方法で生成された合成ボリュームデータのＭＰＲ画像が、出力画像として示されている。

Ｄｅｅｐ ４ＤＭＩＰ合成された出力画像では、細血管が消えず、細血管が薄くならず（輝度が小さくならず）、ノイズが消える。例えば、最上段の部位ｂ１では、細血管が他の合成方法よりも見え易くなっている（図９の最左列且つ最上段の２つの矢印の先端近傍部分参照）。また、例えば、中段の部位ｂ２では、ノイズが他の合成方法よりも見え難くなっている（図９の最左列且つ中段の矢印の先端近傍部分参照）。つまり、予測器１７１の機械学習の結果、実信号成分が残存し、ノイズ成分が残存しないように、各予測ボリュームデータが生成されることが理解できる。

フェーズ平均４ＤＭＩＰ合成された出力画像では、細血管がやや消え、薄くなり、ノイズがやや消える。４ＤＭＩＰ合成された出力画像では、細血管が消えず、細血管がノイズに埋もれ気味であり、高輝度ノイズが増えている。つまり、単純な４ＤＭＩＰと比較すると、フェーズ平均された４ＤＭＩＰでは出力画像の画素値の全体が多少平滑化され、細血管やノイズの描画が少なめになる。

ＴＳＵＭ合成された出力画像では、細血管が消え、薄くなり、ノイズが消える。つまり、出力画像全体において高輝度値の影響を受け、出力画像を表示するための輝度値が調整されるので、必要な信号成分（実信号成分とも称する）もノイズ成分も同様に除去され易くなる。実信号成分は、例えば、血管、骨、等の複数フェーズにわたって物理的に実在する成分でよい。

図１０は、複数フェーズのボリュームデータの合成方法別且つレンダリング方法別の画像例を示す図である。図１０では、ボリュームデータの合成方法には、４ＤＭＩＰ合成、フィルタ付きフェーズ平均４ＤＭＩＰ合成、Ｄｅｅｐ ４ＤＭＩＰ合成、等が含まれてよい。レンダリング方法には、ＭＰＲ、レイキャスト、ＭＩＰ、等が含まれてよい。なお、図１０では、フィルタ付きフェーズ平均４ＤＭＩＰ合成された各出力画像では、輝度値を２倍にして示している。

４ＤＭＩＰ合成された出力画像では、ノイズが多く含まれ、画像全体が白っぽくなっている。また、出力レイキャスト画像及び出力ＭＩＰ画像では、血管の他にノイズ成分が多くなっており、血管の走行が不鮮明となっている。

フィルタ付きフェーズ平均４ＤＭＩＰ合成された出力画像では、ノイズが少なくなるが、実信号成分も平滑化されて少なくなっている。そのため、出力レイキャスト画像及び出力ＭＩＰ画像では、実際の血管よりも描画される血管が少なくなり、必要な情報が欠落している可能性がある。

Ｄｅｅｐ ４ＤＭＩＰ合成では、ノイズが少なくなり、実信号成分も削除されずに維持される。そのため、出力レイキャスト画像及び出力ＭＩＰ画像では、血管の走行が適切に描画され、ユーザにとって観察し易い状態となっている。

図１１は、被検体の頭部における部位別（組織別）の各フェーズにおける画素値の変化例を示すグラフである。つまり、図１１は、被検体の頭部における部位別（組織別）の時間方向の変位を示す。図１１では、被検体の頭部における部位として、脳（Brain, Brain 2～5）、比較的明るい血管（Bright Vessel）、比較的暗い脳（Dark Brain 1～3）、比較的暗い血管（Dark Vessel）、矢状静脈洞（Sagittal Sinus）、比較的細い血管（Thin Vessel, Thin Vessel 2）、等が示されている。図１１では、フェーズ０（ｔ＝０）において、必要に応じて造影剤が被検体に投与開始されるとする。図１１が示す画素値は、ＣＴ装置２００の撮像により得られたボリュームデータ（実ボリュームデータ）の画素値でよい。

脳及び比較的暗い脳では、各フェーズにおいて画素値の変化がほとんどない。これは、被検体に造影剤が投与されていない、又は被検体に造影剤が投与されたが、これらの脳の部位には造影剤が流入しないことを意味する。

比較的細い血管、矢状静脈洞、比較的暗い血管、及び比較的明るい血管では、各フェーズにおいて画素値がある程度以上変化する。具体的には、複数フェーズの序盤では、造影剤が各部位に順次到達して流入するために、順次画素値が大きくなっている。複数フェーズの終盤では、造影剤が各部位から流出するために、順次画素値が小さくなっている。なお、部位毎に造影剤が流れ込む時間が異なるため、画素値がピークとなるフェーズは部位毎に異なってよい。例えば、血管では、動脈に先に造影剤が流れこむために動脈の画素値が先に高くなり、静脈に後から造影剤が流れこむために静脈の画素値が後から高くなる。

次に、観察対象以外の被検体のボリュームデータを用いて学習した場合の観察対象についての出力画像について説明する。

図１２Ａは、観察対象の被検体の単一フェーズのボリュームデータがレンダリングされた出力ＭＩＰ画像の一例を示す図である。図１２Ｂは、観察対象の被検体の単一フェーズのボリュームデータがレンダリングされた出力レイキャスト画像の一例を示す図である。

図１２Ｃは、観察対象の被検体の複数フェーズのボリュームデータが４ＤＭＩＰ合成された合成ボリュームデータがレンダリングされた出力ＭＩＰ画像の一例を示す図である。図１２Ｄは、観察対象の被検体の複数フェーズのボリュームデータが４ＤＭＩＰ合成された合成ボリュームデータがレンダリングされた出力レイキャスト画像の一例を示す図である。

図１２Ｅは、観察対象以外の被検体のボリュームデータを用いて予測器１７１が機械学習した場合における観察対象の被検体の複数フェーズのボリュームデータがＤｅｅｐ ４ＤＭＩＰ合成された合成ボリュームデータがレンダリングされた出力ＭＩＰ画像の一例を示す図である。図１２Ｆは、観察対象以外の被検体のボリュームデータを用いて予測器１７１が機械学習した場合における観察対象の被検体の複数フェーズのボリュームデータがＤｅｅｐ ４ＤＭＩＰ合成された合成ボリュームデータがレンダリングされた出力レイキャスト画像の一例を示す図である。

図１２Ａ～図１２Ｆを参照すると、医用画像処理装置１００は、観察対象以外の被検体のボリュームデータを用いて機械学習した場合でも、観察対象の出力画像（例えば出力ＭＩＰ画像、出力レイキャスト画像）として、ノイズ成分が抑制され、実信号成分が抑制されない、鮮明な画像が得られることが理解できる。よって、ユーザは、レンダリングされた出力画像を確認することで、観察対象の様子を容易に鮮明に把握でき、高精度の診断を行うことが可能となる。また、予測器１７１は、観察対象の被検体と異なる被検体のボリュームデータを用いて機械学習することで、観察対象の患者固有のデータだけでなく、様々な患者に関するデータを用いて学習できるので、機械学習のバリエーションを増やすことができる。

このように、医用画像処理装置１００は、時系列上の複数のボリュームデータを取得し、画質の良いボリュームデータを生成できる。従来のDeep Learningでは、学習に用いたボリュームデータ自体の画質は改善しないが、医用画像処理装置１００は、時系列上のボリュームデータを用いることによって、その時系列データの画質を改善できる。また、観察対象の被検体以外のボリュームデータを用いる場合でも、同様の効果が得られる。また、医用画像処理装置１００は、画質を改善したい時系列データ自体を、予測器１７１が機械学習するための教師データとすることで、実空間では真のノイズの無いデータが存在しないところ、ノイズが抑制された時系列データやこの時系列データを用いた出力データ（例えば合成ボリュームデータや出力画像）を得ることができる。

なお、第１の実施形態では、予測器１７１は、同一の被検体についての複数フェーズのボリュームデータ（実ボリュームデータ）のうちの一部のボリュームデータを基に、複数フェーズのボリュームデータのうちの残りのボリュームデータに対応する予測ボリュームデータを生成することを例示した。この代わりに、予測器１７１は、予測ボリュームデータの生成の基となる複数フェーズのボリュームデータとして、全て実ボリュームデータを用いてもよいし、実ボリュームデータと予測ボリュームデータとを混在して用いてもよいし、全て実ボリュームデータを用いてもよい。つまり、予測器１７１により生成された任意のフェーズの予測ボリュームデータを含む複数のフェーズのボリュームデータを基に、他のフェーズの予測ボリュームデータを生成してもよい。

よって、予測器１７１は、予測器１７１により予測ボリュームデータを生成し、生成された予測ボリュームデータに基づいて次回の予測ボリュームデータを生成し、この処理を反復してよい。この場合、各回において複数フェーズのボリュームデータ（予測ボリュームデータや実ボリュームデータ含む）を位置合わせしてよい。これにより、医用画像処理装置１００は、各回の予測ボリュームデータの生成によってノイズが徐々に低減し、位置合わせ精度を向上でき、そのために合成ボリュームデータの画質を向上できる。

（第２の実施形態）
第１の実施形態では、予測器１７１を機械学習させて、複数フェーズのボリュームデータに基づく合成ボリュームデータを得ることを例示した。第２の実施形態では、予測器１７１とともに後述する識別器１７２を機械学習させて、複数フェーズのボリュームデータに基づく合成ボリュームデータを得ることを例示する。

第２の実施形態では、第１の実施形態と同様の構成、動作、処理等については、説明を省略又は簡略することもある。

第２の実施形態における医用画像処理装置１００Ａは、第１の実施形態と同様に、ポート１１０、ＵＩ１２０、ディスプレイ１３０、プロセッサ１４０、及びメモリ１５０を備える。本実施形態では、プロセッサ１４０は、メモリ１５０に記憶された医用画像処理プログラムを実行することにより、各種処理や制御を行う処理部１６０Ａとして機能する。

図１３は、第２の実施形態における医用画像処理装置１００Ａの機能構成例を示すブロック図である。処理部１６０Ａは、領域抽出部１６１、画像生成部１６２、レジストレーション処理部１６３、予測処理部１６４、識別処理部１６５、及び表示制御部１６６を備える。識別処理部１６５は、識別器（Discriminator）１７２を有する。なお、予測器１７１は、予測画像を生成する生成器（generator）とも言える。図１３の処理部１６０Ａにおいて、図２に示した処理部１６０と同様の機能構成については、同一の符号を付し、その説明を省略又は簡略化する。

領域抽出部１６１は、ボリュームデータ（例えば実ボリュームデータ又は予測ボリュームデータ）の一部を切り出して抽出する。領域抽出部１６１は、ボリュームデータにおける被検体の任意の部位や組織を抽出してよい。

識別処理部１６５は、複数フェーズのボリュームデータを基に、実空間で撮像された任意のフェーズｉの実ボリュームデータにおける任意の部位ｐと、任意のフェーズｊの予測ボリュームデータにおける任意の部位ｐと、の差分を示す差分ボリュームデータを生成してよい。対応するフェーズ（フェーズｉ）の実ボリュームデータと予測ボリュームデータとでは一致していることが好ましいが、実信号成分を含む場合には両ボリュームデータ間に実信号成分について差分が発生する。差分ボリュームデータは、理想的には実信号成分を含まないため、ノイズボリュームデータとも言える。なお、ここでは、フェーズｉとフェーズｊとは同じでも異なってもよい。識別処理部１６５は、実ボリュームデータにおける様々な部位ｐと、予測ボリュームデータにおける様々な部位ｐと、の差分を示す差分ボリュームデータを生成してよい。よって、識別処理部１６５は、様々な部位ｐに係る差分ボリュームデータを生成してよい。

識別処理部１６５は、抽出された部位の予測ボリュームデータと、生成された差分ボリュームデータと、の組み合わせ（データペア）を複数生成する。データペアでは、予測ボリュームデータと差分ボリュームデータとのフェーズが異なってよい。データペアでは、予測ボリュームデータと差分ボリュームデータとの被検体における部位は同じである。識別処理部１６５は、例えば、データペアとして、同じ部位の予測ボリュームデータと差分ボリュームデータとの組み合わせとするか、異なる部位の予測ボリュームデータと差分ボリュームデータとの組み合わせとするかを、決定してよい。例えば、同じ部位の組み合わせとなる確率と、異なる部位の組み合わせとなる確率を、それぞれ５０％ずつとしてよい。

識別処理部１６５は、データペアに含まれる差分ボリュームデータと予測ボリュームデータにおける部位ｐとが対応するか否かを識別する。予測器１７１により生成された予測ボリュームデータにおける部位ｐは、実ボリュームデータにおける部位ｐと完全に一致し、差分ボリュームデータに差分が表れないことが望ましいが、差分が表れている場合には、差分ボリュームデータが予測ボリュームデータにおけるどの部位に対応するかを識別するための示唆となる。よって、識別処理部１６５は、差分ボリュームデータに差分の成分を多く含む場合には、差分ボリュームデータと予測ボリュームデータにおける部位ｐとが対応するか否かを識別し易くなる。

識別処理部１６５は、差分ボリュームデータと予測ボリュームデータとが対応するか否かの識別結果（例えば識別に成功したか失敗したかを示す情報）を、予測処理部１６４の予測器１７１へ通知する。

識別処理部１６５は、訓練データと教師データとを用いて、識別器１７２を機械学習（Machine Learning）させる。この機械学習は、ＧＡＮ（Generative Adversarial Network）（例えばConditional GAN）を含んでよい。機械学習では、識別処理部１６５は、同じフェーズに対応する任意の部位の差分ボリュームデータと任意の部位の予測ボリュームデータとのデータペアを訓練データとしてよい。識別処理部１６５は、この任意の部位の差分ボリュームデータと任意の部位の予測ボリュームデータとが対応しているか否かを示す情報を教師データとしてよい。

識別処理部１６５は、訓練データと教師データとを用いて、差分ボリュームデータと予測ボリュームデータとが対応するか否かの識別が成功する（正解率が上がる）ように、機械学習する。つまり、識別処理部１６５は、任意の部位の差分ボリュームデータと任意の部位の予測ボリュームデータとが同じ部位のデータであるか否かの識別が成功するように、機械学習してよい。

予測処理部１６４は、識別結果の通知を受けて、識別器１７２により差分ボリュームデータと予測ボリュームデータとの対応関係を識別したか否かを認識可能である。予測器１７１は、識別器１７２により任意の部位の差分ボリュームデータと任意の部位の予測ボリュームデータとの対応関係を識別されないように、機械学習する。この機械学習は、ＧＡＮ（例えばConditional GAN、ＣＮＮを利用したＧＡＮ）を含んでよい。

画像生成部１６２は、識別器１７２とともに機械学習された予測器１７１により生成された複数フェーズの予測ボリュームデータにおいて各ボクセルの最大値を画素値として、１つの合成ボリュームデータを生成してよい。この合成方法を、Ｄｅｅｐ ＧＡＮ ４ＤＭＩＰ合成と称してよい。Ｄｅｅｐ ＧＡＮ ４ＤＭＩＰ合成では、複数フェーズの予測ボリュームデータにおける各ボクセルの最大値の導出に、４ＤＭＩＰ合成が実施する具体的な手法を適用してよい。

次に、予測器１７１及び識別器１７２の役割について説明する。

なお、ここでは、ｉは、フェーズ番号でよい。Ｖｉは、予測を希望するフェーズのボリュームデータでよい。ｐ，ｑは、ボリュームデータにおける部位を識別するための部位識別情報を示す。

予測器１７１は、前述のように、予測ボリュームデータＶ’ｉを生成する。ノイズは予測できないため、予測ボリュームデータＶ’ｉにはノイズ成分は含まれない。一方、予測器１７１は、ノイズ成分とともに、機械学習のＬ１ロスの性質上、実信号成分のうち微小構造（例えば骨や血管の微細構造）も削除し易い。そこで、予測器１７１が微小構造を削除した場合、ペナルティを受けるようにする。

予測器１７１は、差分ボリュームデータ（Ｖ’ｉ－Ｖｉ）を生成する。差分ボリュームデータでは、各画素値が一様なノイズ成分（Ａ）となることが望ましい。実際には、予測器１７１の性能により、差分ボリュームデータには、ノイズ成分（Ａ）とともに、微小なエッジ成分として微小構造成分（Ｂ）が残存し得る。微小構造成分（Ｂ）は、実信号成分の一例である。よって、差分ボリュームデータには、（Ａ＋Ｂ）の成分が残存し得る。

差分ボリュームデータ（Ｖ’ｐ－Ｖｐ）と予測ボリュームデータＶ’ｑとを比較した場合に、ｐ＝ｑであるかｐ≠ｑであるかを識別できないことが望ましく、したがって、差分ボリュームデータ（Ｖ’ｐ－Ｖｐ）に微小構造成分（Ｂ）が含まれないことが望ましい。

なお、差分ボリュームデータ（Ｖ’ｐ－Ｖｐ）と予測ボリュームデータＶ’ｑとは、被検体における異なる部位のデータである。差分ボリュームデータ（Ｖ’ｐ－Ｖｐ）と予測ボリュームデータＶ’ｑとは、同じフェーズのデータであってもよいし、異なるフェーズのデータであってもよい。

上記の識別を行うために、識別器１７２が定義可能である。識別器１７２は、差分ボリュームデータ（Ｖ’ｐ－Ｖｐ）と予測ボリュームデータＶ’ｑとを任意の組み合わせのデータペアを取得する。識別器１７２は、例えば、ｐ＝ｑであると識別した場合に値０を出力し、ｐ≠ｑであると識別した場合に値１を出力する。この出力結果（識別結果）の成否が評価され、予測器１７１による以降の予測に反映される。

なお、予測器１７１に関する損失（Generator Loss）は、再構成誤差つまり実ボリュームデータに対する予測ボリュームデータの差分（予測誤差）と、識別器１７２による識別成功と、を含む。識別器１７２に関する損失（Discriminator Loss）は、誤識別つまり識別器１７２による識別失敗を含む。

次に、予測器１７１及び識別器１７２の機械学習について説明する。

図１４は、予測器１７１及び識別器１７２の機械学習の一例を説明するための図である。図１４では、Ｖは、ボリュームデータを示す。ｉ，ｋは、フェーズ番号を示す。フェーズの異なる複数のボリュームデータは、レジストレーションされていることが好ましいが、必須ではない。

また、図１４では、ｐ，ｑは、ボリュームデータにおける部位識別情報を示す。部位識別情報は、被検体における様々な部位（任意の臓器、血管、骨、組織、病変、等）を識別するための情報を示す。Ｖｐは、ボリュームデータの一部であり、被検体における部位番号ｐで識別される部位のボリュームデータを示す。

予測器１７１は、第１の実施形態と同様に、訓練データであるＶｋ（ｋ≠ｉ）を入力した場合に、教師データであるＶｉを出力するように、機械学習する。この場合、予測器１７１は、実際にはＶ’ｉを出力するが、Ｖ’ｉがＶｉに近づくように機械学習する。

識別処理部１６５は、複数フェーズのうちの、予測器１７１で生成された予測ボリュームデータに対応するフェーズｉについて、被検体の任意の部位ｐの差分ボリュームデータ（Ｖ’ｐ－Ｖｐ）を生成する。識別処理部１６５は、複数フェーズのうちの、予測器１７１で生成された予測ボリュームデータに対応するフェーズｉについて、被検体の任意の部位ｑの予測ボリュームデータＶ’ｑを生成する。ここでの部位ｐ，ｑは、パッチに相当する範囲であってよい。

識別処理部１６５は、差分ボリュームデータ（Ｖ’ｐ－Ｖｐ）と予測ボリュームデータＶ’ｑとのデータペアを、識別器１７２に入力する。この場合、識別処理部１６５は、差分ボリュームデータ（Ｖ’ｐ－Ｖｐ）と予測ボリュームデータＶ’ｑとを任意に組み合わせて、識別器１７２への入力対象のデータペアを生成する。任意の組み合わせには、それぞれ同じ部位（ｑ＝ｐ）のデータの組み合わせと、異なる部位（ｑ≠ｐ）のデータを組み合わせと、が含まれてよい。

同じ部位（例えば血管と血管）の予測ボリュームデータと差分ボリュームデータとのデータペアは、同じ部位つまり対応する部位のデータであるので、対応ペア（対応パターン）とも称する。異なる部位（例えば血管と骨）の予測ボリュームデータと差分ボリュームデータとのペアは、異なる部位つまり対応しない部位のデータであるので、非対応ペア（非対応パターン）とも称する。よって、識別処理部１６５は、対応ペア（Ｖ’ｐ－Ｖｐ，Ｖ’ｑ）（ｑ＝ｐ）又は非対応ペア（Ｖ’ｐ－Ｖｐ，Ｖ’ｑ）（ｑ≠ｐ）を、訓練データとして、識別器１７２に入力する。

識別処理部１６５は、差分ボリュームデータ（Ｖ’ｐ－Ｖｐ）と予測ボリュームデータＶ’ｑとのペアを生成する際に、この差分ボリュームデータ（Ｖ’ｐ－Ｖｐ）と予測ボリュームデータＶ’ｑとが対応するか否かの成否（真偽つまりＲｅａｌ／Ｆａｋｅ）を予め認識している。この成否の情報は、例えばメモリ１５０に保持されていてよい。識別処理部１６５は、訓練データに対応する成否を示すデータ（例えばＲｅａｌ／Ｆａｋｅ、値０や値１）を、教師データとして、識別器１７２に入力する。

識別器１７２は、訓練データを入力して、教師データを出力するよう、機械学習する。具体的には、識別器１７２は、差分ボリュームデータ（Ｖ’ｐ－Ｖｐ）と予測ボリュームデータＶ’ｑとが対応するか否か、つまり対応ペアであるか非対応ペアであるかの識別結果が正解となるよう機械学習してよい。

識別処理部１６５は、識別器１７２による機械学習において対応／非対応の識別結果の成否の情報を、予測処理部１６４の予測器１７１へ通知する。

予測処理部１６４は、１７１は、識別器１７２による識別結果の成否の情報を、予測器１７１による機械学習のための１つのパラメータとして追加する。予測器１７１は、識別器１７２による識別結果が不正解となるよう機械学習する。つまり、予測器１７１は、識別器１７２により差分ボリュームデータ（Ｖ’ｐ－Ｖｐ）と予測ボリュームデータＶ’ｑとを識別できない予測ボリュームデータＶ’ｑに対応する予測ボリュームデータＶ’ｉを生成するよう、機械学習してよい。このように、予測器１７１は、識別器１７２が識別に成功した場合、ペナルティを受ける。

このように、医用画像処理装置１００Ａは、予測器１７１による予測のために、識別器１７２による識別結果の成否を加味することで、予測器１７１が単独で機械学習する場合よりも、予測器１７１の機械学習と識別器１７２の機械学習との双方を実施することで、予測器１７１による予測精度（予測ボリュームデータの生成精度）を向上できる。

例えば、予測器１７１が理想的であれば、同じフェーズｉの実ボリュームデータＶｉと予測ボリュームデータＶ’ｉとはノイズ成分以外の実信号成分が同一となるので、差分ボリュームデータはノイズ成分のみを含むノイズボリュームデータとなる。この場合、識別器１７２に入力されるペアは、差分ボリュームデータつまりノイズボリュームデータと予測ボリュームデータとのペアとなる。ノイズボリュームデータは、被検体の部位に依らずにノイズ成分のみとなるので、識別器１７２は、対応ペアであるか非対応ペアであるかを識別できない。一方、予測器１７１が理想的でない場合、ノイズ以外の構造（実信号成分）が差分ボリュームデータ内に残存する。この場合、識別器１７２は、差分ボリュームデータの実信号成分と予測ボリュームデータに含まれる実信号成分とを基に、対応ペアであるか非対応ペアであるかを識別し得る。したがって、予測器１７１は、識別器１７２により対応ペアであるか非対応ペアであるかが識別不能となるように機械学習することで、理想的な予測器１７１に近づくことができる。

図１５は、予測対象と同一の被検体の実ボリュームデータと予測ボリュームデータと差分ボリュームデータとの一例を示す図である。

図１５では、左列の３つの画像が、実ボリュームデータがボリュームレンダリングされた実画像を示す。真ん中列の３つの画像が、予測ボリュームデータがボリュームレンダリングされた予測画像を示す。右列の３つの画像が、差分ボリュームデータがボリュームレンダリングされた差分画像を示す。また、上段の３つの画像、中段の３つの画像、及び下段の３つの画像は、同じ被検体における異なる部位の画像を示す。各段の３つの画像は、同じ部位の画像を示す。具体的には、図１５における最上段の各画像は部位ｂ１１を示し、中段の各画像は部位ｂ１２を示し、最下段の各画像は部位ｂ１３を示す。なお、図１５の被検体は、予測器１７１による予測対象の被検体と同一である。

図１６は、予測対象の被検体とは異なる被検体の実ボリュームデータと予測ボリュームデータと差分ボリュームデータとの一例を示す図である。

図１６では、左列の３つの画像が、実ボリュームデータのＭＰＲ実画像を示す。真ん中列の３つの画像が、予測ボリュームデータがボリュームレンダリングされた予測画像を示す。右列の３つの画像が、差分ボリュームデータがボリュームレンダリングされた差分画像を示す。また、上段の３つの画像、中段の３つの画像、及び下段の３つの画像は、同じ被検体における異なる部位の画像を示す。各段の３つの画像は、同じ部位の画像を示す。具体的には、図１６における最上段の各画像は部位ｂ２１を示し、中段の各画像は部位ｂ２２を示し、最下段の各画像は部位ｂ２３を示す。なお、図１６の被検体は、予測器１７１による予測対象の被検体とは異なる被検体である。

例えば、図１６の中段において、予測ボリュームデータｖ１の部分ｐ１が差分ボリュームデータｖ３の部分ｐ３として表れていると推測される。つまり、実ボリュームデータｖ２の画素値と予測ボリュームデータｖ１の画素値との差が表れていると推測される。これは、予測器１７１による予測誤差に相当する。よって、識別器１７２は、予測誤差があると、予測ボリュームデータｖ１と差分ボリュームデータｖ３とが対応するか否かを識別し易くなる。

図１７Ａは、フェーズ平均４ＤＭＩＰ合成された場合の出力レイキャスト画像の一例を示す図である。図１７Ｂは、フェーズ平均４ＤＭＩＰ合成された場合の出力ＭＰＲ画像と、出力ＭＰＲ画像における特定範囲の画素値と、の一例を示す図である。図１７Ａ及び図１７Ｂにおける出力レイキャスト画像と出力ＭＰＲ画像とは、同じ被検体における同じ部位の画像である。

図１７Ｂでは、出力ＭＰＲ画像に、直線Ｌ１１上の画素値（ここでは単位：ＨＵ）を示したグラフｇ１１が重畳して示されている。グラフｇ１１では、直線Ｌ１１に存在する点ｐ１１において、直線Ｌ１１上の画素値のピーク値（約１５０）となっている。

図１７Ｃは、Ｄｅｅｐ ＧＡＮ ４ＤＭＩＰ合成された場合の出力レイキャスト画像の一例を示す図である。図１７Ｄは、Ｄｅｅｐ ＧＡＮ ４ＤＭＩＰ合成された場合の出力ＭＰＲ画像と、出力ＭＰＲ画像における特定範囲の画素値と、の一例を示す図である。

図１７Ｄでは、出力ＭＰＲ画像に、直線Ｌ１２上の画素値（ここでは単位：ＨＵ）を示したグラフｇ１２が重畳して示されている。グラフｇ１２では、直線Ｌ１２に存在する点ｐ１２において、直線Ｌ１２上の画素値のピーク値（約３３０）となっている。

図１７Ａ及び図１７Ｂと図１７Ｃ及び図１７Ｄとを比較すると、図１７Ａ及び図１７Ｂでは、ノイズが多く、出力レイキャスト画像では細血管の描画がやや明瞭であり、出力ＭＰＲ画像では細血管の描画が不明瞭（画素値のピーク値が約１５０）であることが理解できる。

一方、図１７Ｃ及び図１７Ｄでは、ノイズが少なく、出力レイキャスト画像では細血管の描画がかなり明瞭であり（図１７Ｃにおける２つの矢印の先端近傍部分参照）、出力ＭＰＲ画像では細血管の描画が明瞭（画素値のピーク値が約３３０）であることが理解できる。よって、ユーザは、Ｄｅｅｐ ＧＡＮ ４ＤＭＩＰ合成されたボリュームデータがレンダリングされた出力画像を確認することで、観察対象の様子を容易に鮮明に把握でき、高精度の診断を行うことが可能となる。

図１８Ａは、フェーズ平均４ＤＭＩＰ合成された場合の脳の出力ＭＰＲ画像の一例を示す図である。図１８Ｂは、Ｄｅｅｐ ＧＡＮ ４ＤＭＩＰ合成された場合の脳の出力ＭＰＲ画像の一例を示す図である。

図１８Ａ及び図１８Ｂを比較すると、図１８Ａでは、脳の肺白質と白質との境界が不明瞭であるが、図１８Ｂでは、脳の肺白質と白質との境界が明瞭であることが理解できる（図１８Ｂの矢印の先端近傍部分参照）。

図１９Ａは、Ｄｅｅｐ ４ＤＭＩＰ合成された場合の任意の部位の実ボリュームデータと予測ボリュームデータと差分ボリュームデータとがレンダリングされた画像の一例を示す図である。図１９Ｂは、Ｄｅｅｐ ＧＡＮ ４ＤＭＩＰ合成された場合の任意の部位の実ボリュームデータと予測ボリュームデータと差分ボリュームデータとの一例を示す図である。

図１９Ａ及び図１９Ｂを比較すると、図１９Ａでは、差分ボリュームデータにノイズ成分以外が少し含まれており、矢印の先端近傍部分に組織の存在を示す影が発生していることが理解できる。つまり、Ｄｅｅｐ ４ＤＭＩＰ合成では、予測ボリュームデータにおいて血管部分が少し削除されて血管部分の画素値が小さくなり、予測ボリュームデータの画素値＜実ボリュームデータの画素値となって、影が発生している。一方、図１９Ｂでは、差分ボリュームデータのノイズ成分以外が更に低減され、矢印の先端近傍部分の影が確認し難くなっていることが理解できる。つまり、Ｄｅｅｐ ＧＡＮ ４ＤＭＩＰ合成を行うことで、予測ボリュームデータの生成精度を向上できることが理解できる。

図２０は、医用画像処理装置１００Ａによる予測器１７１及び識別器１７２の機械学習及び予測画像生成に係る動作例を示すフローチャートである。なお、図２０では、フェーズは、０～ｎまで存在するとする。

まず、ポート１１０は、時系列上に並んだ複数フェーズのボリュームデータＶ０～ＶｎをＣＴ装置２００から取得する（Ｓ３１）。レジストレーション処理部１６３は、取得された複数フェーズのボリュームデータＶ０～Ｖｎを位置合わせする（Ｓ３２）。

予測処理部１６４は、フェーズｉ＝０～ｎについて、ボリュームデータＶ０～Ｖｎ（Ｖｉを除く）を用いて、予測器１７１を機械学習させる（Ｓ３３）。この場合、予測処理部１６４は、Ｓ３１で取得されたボリュームデータＶ０～Ｖｎ（Ｖｉを除く）を機械学習用の訓練データとし、Ｓ３１で取得されたボリュームデータＶｉを機械学習用の教師データとする。

予測処理部１６４は、フェーズｉ＝０～ｎについて、ボリュームデータＶ０～Ｖｎ（Ｖｉを除く）を予測器１７１に入力し、予測ボリュームデータＶ’ｉを生成する（Ｓ３４）。したがって、予測ボリュームデータＶ’０～Ｖ’ｎが得られる。

識別処理部１６５は、フェーズｉ＝０～ｎについて、差分ボリュームデータＮＶｉ＝｜Ｖ’ｉ－Ｖｉ｜を生成する（Ｓ３５）。つまり、差分ボリュームデータは、予測ボリュームデータの各画素の画素値と実ボリュームデータの各画素の画素値との差分の絶対値で示されてよい。

識別処理部１６５は、フェーズｉ＝０～ｎ、フェーズｊ＝０～ｎについて、差分ボリュームデータＮＶｉと予測ボリュームデータＶ’ｊとのデータペア［ＮＶｉ，Ｖ’ｊ］を用いて、識別器１７２に機械学習させる（Ｓ３６）。この場合、識別器１７２は、データペア［ＮＶｉ，Ｖ’ｊ］を訓練データとし、データペアが対応ペアであるか非対応ペアであるかを示す情報を教師データとして、機械学習する。識別器１７２は、例えば、訓練データが対応ペア（つまりｉ＝ｊ）であると識別すると、真（例えば値０）を出力し、訓練データが非対応ペア（つまりｉ≠ｊ）であると識別すると、偽（例えば値１）を出力する。この出力結果が評価される。

識別処理部１６５は、識別器１７２による識別結果の成否を、予測処理部１６４に通知（フィードバック）する。予測処理部１６４は、識別処理部１６５からの通知を基に、識別器１７２により正しく識別されないように、予測器１７１に機械学習させる（Ｓ３７）。

画像生成部１６２は、予測ボリュームデータＶ’０～Ｖ’ｎについて、それぞれの対応するボクセルにおける画素値（ボクセル値）の最大値を算出し、最大値ボリュームデータＶｍａｘを生成する（Ｓ３８）。つまり、画像生成部１６２は、Ｄｅｅｐ ＧＡＮ ４ＤＭＩＰ合成により、最大値ボリュームデータＶｍａｘを生成する。

画像生成部１６２は、最大値ボリュームデータＶｍａｘを例えばＭＩＰ法で可視化する（Ｓ３９）。つまり、画像生成部１６２は、最大値ボリュームデータＶｍａｘを例えばＭＩＰ法でボリュームレンダリングし、出力画像（出力ＭＩＰ画像）を生成する。

図２０の処理によれば、医用画像処理装置１００Ａは、予測器１７１により予測ボリュームデータの生成精度が上がるように機械学習できる。また、医用画像処理装置１００Ａは、識別器１７２により予測ボリュームデータと差分ボリュームデータとの対応関係を識別するための識別精度が上がるように機械学習できる。よって、予測器１７１は、識別器１７２に識別されないように予測ボリュームデータを生成でき、識別器１７２を用いない場合よりも高画質の予測ボリュームデータを生成できる。したがって、医用画像処理装置１００Ａは、被検体の撮像時のノイズの影響を抑制して、複数フェーズの医用画像が合成された合成画像の導出精度を一層向上できる。

なお、処理部１６０は、Ｓ３７の次にＳ３３に進むループを設けてもよい。つまり、予測器１７１及び識別器１７２の機械学習を反復して実施してよい。これにより、医用画像処理装置１００Ａは、予測器１７１及び識別器１７２を順次改良でき、予測器１７１による予測性能及び識別器１７２による識別性能を向上できる。処理部１６０は、ループ回数が閾値ｔｈ以上となった場合に、Ｓ３８の処理に進むようにしてもよい。

以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。

上記実施形態は、予測器１７１は、時系列の実ボリュームデータに基づいて機械学習や予測を行うことを例示した。また、識別器１７２は、時系列の実ボリュームデータ、予測ボリュームデータ、差分ボリュームデータに基づいて機械学習や識別を行うことを例示した。この代わりに、予測器１７１は、時系列の実ボリュームデータと実ボリュームデータに基づく情報（例えばperfusionデータ）に基づいて機械学習や予測を行ってもよい。また、識別器１７２は、時系列の実ボリュームデータ、予測ボリュームデータ、差分ボリュームデータとこれらのボリュームデータに関する情報（例えばperfusionデータ）に基づいて機械学習や識別を行ってもよい。これにより、医用画像処理装置１００，１００Ａは、一層機械学習精度や予測精度を向上し得る。

上記実施形態では、予測画像生成時（実際の予測時）や機械学習時に、３次元のボリュームデータが予測器１７１に入力され、３次元のボリュームデータ（予測ボリュームデータ）が予測器１７１から出力（生成）されることを例示した。なお、３次元のボリュームデータ以外の医用画像が、予測器１７１に入力され、予測器１７１から出力されてよい。例えば、予測画像生成時や機械学習時に、例えばＣＴ装置２００により得られた２次元のスライスデータが予測器１７１に入力され、２次元のスライスデータが予測器１７１から出力（生成）されてもよい。また、予測画像生成時や機械学習時に、ボリュームデータを基に生成された３次元画像又は２次元画像が予測器１７１に入力され、３次元画像や２次元画像が予測器１７１から出力（生成）されてよい。

上記実施形態では、３次元のボリュームデータのデータペアが、識別器１７２に入力され、対応ペアであるか非対応ペアであるかの識別結果が、識別器１７２から出力されることを例示した。なお、３次元のボリュームデータ以外の医用画像のペアが、識別器１７２に入力され、対応ペアであるか非対応ペアであるかの識別結果が、識別器１７２から出力されてよい。例えば、２次元のスライスデータが識別器１７２に入力され、対応ペアであるか非対応ペアであるかの識別結果が、識別器１７２から出力されてよい。また、ボリュームデータを基に生成された３次元画像又は２次元画像が識別器１７２に入力され、対応ペアであるか非対応ペアであるかの識別結果が、識別器１７２から出力されてよい。

上記実施形態では、時系列のボリュームデータは、例えば造影剤の推移を表す医用画像の一例であるが、これ以外のデータ（例えばＭＲＩの緩和(relaxation)画像）でもよい。なお、ボリュームデータは、既知の方法（例えばＭＩＰ，ＭｉｎＩＰ，ＲａｙＳＵＭ，ＭＰＲ）で可視化されてよい。また、予測器１７１により生成されるデータがスライスデータや２次元画像である場合、２次元画像により可視化されてよい。

例えば、画像生成部１６２は、複数フェーズのボリュームデータにおいて各ボクセルの最小値を画素値として、１つの合成ボリュームデータを生成してよい。この合成方法を、ＴｍｉｎＩＰ合成とも称する。ＴＭｉｎＩＰ合成では、画素値が小さくなり易い。画像生成部１６２は、ｎ個の予測画像ＹＧｉにおける対応する各画素の画素値のうち、最大値以外の統計値（例えば最小値（Ｍｉｎ））を画素値として、合成ボリュームデータを生成してもよい。医用画像処理装置１００，１００Ａは、ＴＭｉｎＩＰ合成することで、ＣＴ装置２００が被検体を造影状態で撮像する場合に、造影剤の種類によっては、合成ボリュームデータ（合成ボリュームデータがレンダリングされた画像）が観察し易くなり得る。

また、画像生成部１６２は、上記の統計値から平均値（Ａｖｅｒａｇｅ）を除外し、平均値を用いた合成ボリュームデータの生成を除外してよい。これにより、医用画像処理装置１００，１００Ａは、各予測画像ＹＧｉの各画素の画素値が平均化されることで、ノイズが抑制されるとともに、各予測画像ＹＧｉにおいて実際に必要な信号値も平滑化されることを防止できる。

また、画像生成部１６２は、ガウシアンフィルタを用いずに出力画像を生成してよい。これにより、出力画像内の画素値が平滑化され難くなり、例えば血管の末梢部が消えにくくなる。つまり、医用画像処理装置１００，１００Ａは、血管の末梢部の描画性能を維持できる。

上記実施形態では、画像生成部１６２は、複数フェーズのボリュームデータの合成方法として、４ＤＭＩＰによりＶｍａｘを生成することを例示したが、他の合成方法（例えば、平均値合成、中央値合成、最小値合成）を用いて複数のボリュームデータを合成してもよい。

上記実施形態では、画像生成部１６２は、複数フェーズのボリュームデータを４ＤＭＩＰ等により合成する前、合成する時、又は合成した後に、既知のノイズ除去処理や画像フィルタ処理（例えばガウスフィルタを用いた画像フィルタ処理）を実施してよい。

上記実施形態では、撮像されたＣＴ画像としてのボリュームデータは、ＣＴ装置２００から医用画像処理装置１００，１００Ａへ送信されることを例示した。この代わりに、ボリュームデータが一旦蓄積されるように、ネットワーク上のサーバ等へ送信され、サーバ等に保管されてもよい。この場合、必要時に医用画像処理装置１００，１００Ａのポート１１０が、ボリュームデータを、有線回線又は無線回線を介してサーバ等から取得してもよいし、任意の記憶媒体（不図示）を介して取得してもよい。

上記実施形態では、撮像されたＣＴ画像としてのボリュームデータは、ＣＴ装置２００から医用画像処理装置１００，１００Ａへポート１１０を経由して送信されることを例示した。これは、実質的にＣＴ装置２００と医用画像処理装置１００，１００Ａとを併せて一製品として成立している場合も含まれるものとする。また、医用画像処理装置１００，１００ＡがＣＴ装置２００のコンソールとして扱われている場合も含む。

上記実施形態では、ＣＴ装置２００により画像を撮像し、生体内部の情報を含むボリュームデータを生成することを例示したが、他の装置により画像を撮像し、ボリュームデータを生成してもよい。他の装置は、ＭＲＩ装置、ＰＥＴ（Positron Emission Tomography）装置、血管造影装置（Angiography装置）、又はその他のモダリティ装置を含む。また、ＰＥＴ装置は、他のモダリティ装置と組み合わせて用いられてもよい。

上記実施形態では、被検体として人体を例示したが、動物の体でもよい。

本開示は、上記実施形態の医用画像処理装置の機能を実現するプログラムを、ネットワーク又は各種記憶媒体を介して医用画像処理装置に供給し、医用画像処理装置内のコンピュータが読み出して実行するプログラムも適用範囲である。

以上のように、上記実施形態の医用画像処理装置１００では、取得部（例えばポート１１０）は、第１の被検体を時系列上で複数回撮像して得られた複数の医用画像（例えばボリュームデータ）を取得する。処理部１６０は、予測器１７１を用いて、複数の予測画像（例えば予測ボリュームデータ）を生成する。予測器１７１は、複数の医用画像のうちの一部の医用画像（例えばＶ１～Ｖ７）を基に複数の医用画像のうちの残りの医用画像（例えばＶ０）に対応する予測画像（例えばＶ’０）を生成する。処理部１６０は、複数の医用画像のうちの一部を構成する少なくとも２つの医用画像を訓練データとし、複数の医用画像のうちの残りの医用画像を教師データとし、一部の医用画像の組み合わせ及び残りの医用画像を順次変更して、予測器１７１を機械学習させる。処理部１６０は、複数の医用画像のうちの一部の医用画像を予測器１７１に入力し、一部の医用画像の組み合わせを順次変更して、複数の予測画像（例えばＶ’０～Ｖ’７）を生成する。

これにより、医用画像処理装置１００は、時系列に並ぶ複数フェーズのうちの一部の医用画像を用いて機械学習することで、複数フェーズのうちの残りの医用画像とそのフェーズに対応する予測画像との特徴が近づくように機械学習できる。つまり、医用画像処理装置１００は、複数フェーズのうちの予測されるフェーズ以外のフェーズの医用画像を訓練データとし、予測されるフェーズの医用画像を教師データとして、予測器１７１に機械学習させ、予測されるフェーズの医用画像の画質を改善（例えば医用画像に含まれるノイズを低減）できる。よって、医用画像処理装置１００は、残りの医用画像の撮像精度が低い場合（例えば残りの医用画像の撮像タイミングにおいて被検体の動きによりブレが生じた場合、医用画像撮像装置（例えばＣＴ装置２００）の不具合が発生した場合）でも、撮像精度が低いことによる影響を低減できる。

また、医用画像処理装置１００は、実際の医用画像にはノイズが含まれるが、予測画像を生成することで、各フェーズの医用画像を改善できる。また、ノイズが無いデータは実空間上で存在しないが、医用画像処理装置１００は、各フェーズの医用画像に対応する予測画像を生成することで、ノイズの無い理想的な画像を生成でき、複数フェーズの医用画像を理想的な４Ｄデータに近づけることができる。

このように、医用画像処理装置１００は、被検体の撮像時のノイズの影響を抑制して、複数フェーズの医用画像の画質を向上できる。

また、処理部１６０は、少なくとも第１の医用画像（例えばＶ０）及び第２の医用画像（例えばＶ１）を予測器１７１の訓練データとし、第３の医用画像（例えばＶ２）を予測器１７１の教師データとして、予測器１７１を機械学習させてよい。処理部１６０は、少なくとも第２の医用画像及び第３の医用画像を予測器１７１の訓練データとし、第１の医用画像を予測器１７１の教師データとして、予測器１７１を機械学習させてよい。処理部１６０は、少なくとも第３の医用画像及び第１の医用画像を予測器１７１の訓練データとし、第２の医用画像を予測器１７１の教師データとして、予測器１７１を機械学習させてよい。処理部１６０は、少なくとも第１の医用画像及び第２の医用画像を予測器１７１に入力して、第１の予測画像（例えばＶ’２）を生成してよい。処理部１６０は、少なくとも第２の医用画像及び第３の医用画像を予測器１７１に入力して、第２の予測画像（例えばＶ’０）を生成してよい。処理部１６０は、少なくとも第３の医用画像及び第１の医用画像を予測器１７１に入力して、第３の予測画像（例えばＶ’１）を生成してよい。処理部１６０は、少なくとも第１の予測画像、第２の予測画像、第３の予測画像を合成して、合成画像を得てよい。

これにより、医用画像処理装置１００は、時系列に並ぶ第１の医用画像と第２の医用画像と第３の医用画像とを用いて機械学習することで、第３の医用画像と第１の予測画像との特徴が近づくように学習できる。よって、医用画像処理装置１００は、第３の医用画像の撮像精度が低い場合（例えば第３の医用画像の撮像タイミングにおいて被検体の動きによりブレが生じた場合、医用画像撮像装置の不具合が発生した場合）でも、撮像精度が低いことによる影響を低減できる。

また、医用画像処理装置１００は、実際の医用画像にはノイズが含まれるが、予測画像を用いて合成画像を生成することで、ノイズが低減された合成画像としての４Ｄデータ（例えば動画）を得ることができる。また、ノイズが無いデータは実空間上で存在しないが、医用画像処理装置１００は、ノイズの無い理想的な画像を生成することで、理想的な４Ｄデータに近づけることができる。

このように、医用画像処理装置１００は、被検体の撮像時のノイズの影響を抑制して、複数フェーズの医用画像が合成された合成画像の導出精度を向上できる。

また、処理部１６０は、第１の医用画像、第２の医用画像、及び第３の医用画像を位置合わせしてから、予測器１７１を機械学習させてよい。

これにより、医用画像処理装置１００は、時系列で被検体の位置がずれると予測精度が劣化するが、時系列上の複数の医用画像の位置合わせを行うことで、予測精度の劣化を抑制できる。

また、処理部１６０は、第１の被検体とは異なる第２の被検体の時系列上の複数の医用画像を用いて、予測器１７１に機械学習させてよい。この場合、取得部は、第１の被検体とは異なる第２の被検体を時系列上で少なくとも３回撮像して得られた第４の医用画像、第５の医用画像、及び第６の医用画像を取得してよい。処理部１６０は、少なくとも第４の医用画像及び第５の医用画像を予測器１７１の訓練データとし、第６の医用画像を予測器１７１の教師データとして、予測器１７１を機械学習させてよい。処理部１６０は、少なくとも第５の医用画像及び第６の医用画像を予測器１７１の訓練データとし、第４の医用画像を予測器１７１の教師データとして、予測器１７１を機械学習させてよい。処理部１６０は、少なくとも第６の医用画像及び第４の医用画像を予測器１７１の訓練データとし、第５の医用画像を予測器１７１の教師データとして、予測器１７１を機械学習させてよい。

これにより、医用画像処理装置１００は、様々な被検体（患者）についての予測器１７１を共有できる。つまり、医用画像処理装置１００は、予測対象の被検体以外の被検体のボリュームデータと予測対象の被検体のボリュームデータとの両方を用いて、予測器１７１に機械学習させることができる。この場合、医用画像処理装置１００は、予測対象の被検体のみを用いて予測器１７１を機械学習させる場合と比較して、様々な被検体の状態や組織の構成を加味でき、機械学習の学習結果に局所的に収束することを抑制できる。よって、例えば予測器１７１を用いて多数の被検体の予測画像を生成する場合であっても、様々な被検体の状態や組織の構成を加味でき、予測精度を向上できる。

また、処理部１６０は、第３の医用画像から、第１の被検体における第１の部位（例えば部位ｐ）の医用画像（例えばＶｐ）と第１の部位とは異なる第２の部位（例えば部位ｑ）の医用画像（例えばＶｑ）とを取得してよい。処理部１６０は、第１の予測画像から、第１の被検体における第１の部位の予測画像（例えばＶ’ｐ）と第２の部位の予測画像（例えばＶ’ｑ）を取得してよい。処理部１６０は、第１の部位の医用画像と第１の部位の予測画像との差分を示す第１の差分画像（例えばＶ’ｐ－Ｖｐ）を生成してよい。処理部１６０は、第２の部位の医用画像と第２の部位の予測画像との差分を示す第２の差分画像を生成してよい。処理部が１６０は、第１の差分画像及び第２の差分画像のうちいずれかの差分画像（例えばＶ’ｐ－Ｖｐ）と第１の部位の予測画像及び第２の部位の予測画像のうちいずれかの部位の予測画像とのペア（例えばデータペア）を生成してよい。処理部１６０は、ペアにおけるいずれかの差分画像といずれかの部位の予測画像とが対応するか否かを識別する識別器１７２による識別が成功しないように、予測器１７１を機械学習させてよい。

識別器１７２により識別が失敗する場合、識別器１７２が差分画像と予測画像との対応付けができないことを意味し、つまり差分画像内に予測画像の実信号成分が含まれず、ノイズ成分のみ含まれていることを意味する。一方、識別器１７２により識別が成功する場合、識別器１７２が差分画像と予測画像との対応付けができることを意味し、つまり、差分画像内に予測画像の実信号成分（例えば微小構造）が残存していることを意味する。したがって、差分画像が実信号成分（微小構造としての血管等）を含んでおり、予測精度の向上の余地があることを意味する。医用画像処理装置１００Ａは、識別器１７２による識別が成功しないように、予測器１７１を機械学習させることで、予測器１７１によるノイズ成分を超えた微小構造等の削除を抑制でき、予測精度を向上できる。

つまり、予測器１７１は、予測画像内に元の構造物が残らないようにできる。そのため、識別器１７２による識別精度を低下させることができる。これは、差分画像と予測画像との区別がつけられないことを意味する。したがって、差分画像内に被検体の微小領域の残存が低下し、ノイズの成分が多くなるので、被検体における部位の判定精度も低下する。この識別結果を予測器１７１にフィードバックすることで、予測器１７１は、識別器１７２による識別精度が低くなるように、予測画像を生成できる。よって差分画像に微小領域の残存が低下することで、医用画像と予測画像との差が小さくなり、医用画像と予測画像とが近づく。よって、識別器１７２は、予測器１７１による予測画像の予測精度向上を補助できる。

また、処理部１６０は、第１の差分画像と第１の部位の予測画像とのペアを識別器１７２の訓練データとし、第１の差分画像と第１の部位の予測画像とが対応することを示す対応情報を教師データとして、識別器１７２を機械学習させてよい。処理部１６０は、第１の差分画像と第２の部位の予測画像とのペアを識別器１７２の訓練データとし、第１の差分画像と第２の部位の予測画像とが対応しないことを示す非対応情報を教師データとして、識別器１７２を機械学習させてよい。

これにより、医用画像処理装置１００Ａは、識別器１７２に入力した差分画像と任意の部位の予測画像とが対応するか否かを順次学習できる。よって、医用画像処理装置１００Ａは、識別器１７２が新規に入力した差分画像と任意の部位の予測画像とが対応するか否かを識別する識別精度を向上できる。これにより、予測器１７１は、識別器１７２に識別されないように機械学習を行うので、予測器１７１による予測画像の生成精度を向上できる。

処理部１６０は、時系列に並ぶ画像であり、Ｒａｙｃａｓｔ法、ＭＩＰ法、ＲａｙＳＵＭ法、又はＭｉｎＩＰ法でレンダリングして、合成画像を生成してよい。

これにより、医用画像処理装置１００，１００Ａは、様々なレンダリング方法で、合成画像を可視化できる。例えば、ＭＩＰ法に従って合成画像を可視化する場合、最大値をとることによって輝度（画素値）が過大に大きくなり易く、合成画像が観察し難くなり易いが、医用画像処理装置１００，１００Ａによれば、輝度値が過度に大きくなることを抑制でき、合成画像を観察し易くできる。

本開示は、被検体の撮像時のノイズの影響を抑制して、複数フェーズの医用画像の画質を向上できる医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム等に有用である。

１００ 医用画像処理装置
１１０ ポート
１２０ ユーザインタフェース（ＵＩ）
１３０ ディスプレイ
１４０ プロセッサ
１５０ メモリ
１５１ 学習ＤＢ
１６０ 処理部
１６１ 領域抽出部
１６２ 画像生成部
１６３ レジストレーション処理部
１６４ 予測処理部
１６５ 識別処理部
１６６ 表示制御部
１７１ 予測器
１７２ 識別器
２００ ＣＴ装置

Claims (9)

1. 第１の被検体を時系列上で複数回撮像して得られた複数の医用画像を取得する取得部と、
   前記複数の医用画像のうちの一部の医用画像を基に前記複数の医用画像のうちの残りの医用画像に対応する予測画像を生成する予測器を用いて、複数の前記予測画像を生成する処理部と、
   を備え、
   前記処理部は、
   前記複数の医用画像のうちの一部を構成する少なくとも２つの医用画像を訓練データとし、前記複数の医用画像のうちの残りの医用画像を教師データとし、前記一部の医用画像の組み合わせ及び前記残りの医用画像を順次変更して、前記予測器を機械学習させ、
   前記複数の医用画像のうちの一部の医用画像を前記予測器に入力し、前記一部の医用画像の組み合わせを順次変更して、複数の前記予測画像を生成する、
   医用画像処理装置。
2. 複数の前記医用画像は、第１の医用画像、第２の医用画像、及び第３の医用画像を含み、
   複数の前記予測画像は、第１の予測画像、第２の予測画像、及び第３の予測画像を含み、
   前記処理部は、
   少なくとも前記第１の医用画像及び前記第２の医用画像を前記予測器の訓練データとし、前記第３の医用画像を前記予測器の教師データとして、前記予測器を機械学習させ、
   少なくとも前記第２の医用画像及び前記第３の医用画像を前記予測器の訓練データとし、前記第１の医用画像を前記予測器の教師データとして、前記予測器を機械学習させ、
   少なくとも前記第３の医用画像及び前記第１の医用画像を前記予測器の訓練データとし、前記第２の医用画像を前記予測器の教師データとして、前記予測器を機械学習させ、
   少なくとも前記第１の医用画像及び前記第２の医用画像を前記予測器に入力して、前記第１の予測画像を生成し、
   少なくとも前記第２の医用画像及び前記第３の医用画像を前記予測器に入力して、前記第２の予測画像を生成し、
   少なくとも前記第３の医用画像及び前記第１の医用画像を前記予測器に入力して、前記第３の予測画像を生成し、
   少なくとも前記第１の予測画像、前記第２の予測画像、前記第３の予測画像を合成して、合成画像を得る、
   請求項１に記載の医用画像処理装置。
3. 前記処理部は、前記第１の医用画像、前記第２の医用画像、及び前記第３の医用画像を位置合わせしてから、前記予測器を前記機械学習させる、
   請求項２に記載の医用画像処理装置。
4. 前記取得部は、前記第１の被検体とは異なる第２の被検体を時系列上で少なくとも３回撮像して得られた第４の医用画像、第５の医用画像、及び第６の医用画像を取得し、
   前記処理部は、
   少なくとも前記第４の医用画像及び前記第５の医用画像を前記予測器の訓練データとし、前記第６の医用画像を前記予測器の教師データとして、前記予測器を機械学習させ、
   少なくとも前記第５の医用画像及び前記第６の医用画像を前記予測器の訓練データとし、前記第４の医用画像を前記予測器の教師データとして、前記予測器を機械学習させ、
   少なくとも前記第６の医用画像及び前記第４の医用画像を前記予測器の訓練データとし、前記第５の医用画像を前記予測器の教師データとして、前記予測器を機械学習させる、
   請求項２または３に記載の医用画像処理装置。
5. 前記処理部は、
   前記第３の医用画像から、前記第１の被検体における第１の部位の医用画像と前記第１の部位とは異なる第２の部位の医用画像とを取得し、
   前記第１の予測画像から、前記第１の被検体における前記第１の部位の予測画像と前記第２の部位の予測画像を取得し、
   前記第１の部位の医用画像と前記第１の部位の予測画像との差分を示す第１の差分画像を生成し、
   前記第２の部位の医用画像と前記第２の部位の予測画像との差分を示す第２の差分画像を生成し、
   前記第１の差分画像及び前記第２の差分画像のうちいずれかの差分画像と前記第１の部位の予測画像及び前記第２の部位の予測画像のうちいずれかの部位の予測画像とのペアを生成し、
   前記ペアにおける前記いずれかの差分画像と前記いずれかの部位の予測画像とが対応するか否かを識別する識別器による識別が成功しないように、前記予測器を機械学習させる、
   請求項２～４のいずれか１項に記載の医用画像処理装置。
6. 前記処理部は、
   前記第１の差分画像と前記第１の部位の予測画像とのペアを前記識別器の訓練データとし、前記第１の差分画像と前記第１の部位の予測画像とが対応することを示す対応情報を教師データとして、前記識別器を機械学習させ、
   前記第１の差分画像と前記第２の部位の予測画像とのペアを前記識別器の訓練データとし、前記第１の差分画像と前記第２の部位の予測画像とが対応しないことを示す非対応情報を教師データとして、前記識別器を機械学習させる
   請求項５に記載の医用画像処理装置。
7. 前記処理部は、Ｒａｙｃａｓｔ法、ＭＩＰ法、ＲａｙＳＵＭ法、又はＭｉｎＩＰ法に従って、前記合成画像を可視化する、
   請求項２～６のいずれか１項に記載の医用画像処理装置。
8. 医用画像処理装置における医用画像処理方法であって、
   第１の被検体を時系列上で複数回撮像して得られた複数の医用画像を取得するステップと、
   前記複数の医用画像のうちの一部の医用画像を基に前記複数の医用画像のうちの残りの医用画像に対応する予測画像を生成する予測器を用いて、複数の前記予測画像を生成するステップと、
   を有し、
   前記予測画像を生成するステップは、
   前記複数の医用画像のうちの一部を構成する少なくとも２つの医用画像を訓練データとし、前記複数の医用画像のうちの残りの医用画像を教師データとし、前記一部の医用画像の組み合わせ及び前記残りの医用画像を順次変更して、前記予測器を機械学習させるステップと、
   前記複数の医用画像のうちの一部の医用画像を前記予測器に入力し、前記一部の医用画像の組み合わせを順次変更して、複数の前記予測画像を生成するステップと、を含む、
   医用画像処理方法。
9. 請求項８に記載の医用画像処理方法をコンピュータに実行させるための医用画像処理プログラム。

Images