JP7258640B2 - 医用情報処理システム及び医用情報処理プログラム - Google Patents

Description

本発明の実施形態は、医用情報処理システム及び医用情報処理プログラムに関する。

乳癌検診において、マンモグラフィ画像と超音波画像とを総合的に読影することが試みられている。しかし、マンモグラフィ画像は乳房全体を撮像するものであるのに対し、超音波画像は乳房の一部の断層を撮像するものであることから、マンモグラフィ画像と超音波画像との間で、同じ位置の同じ病変に対する総合的な読影結果を出すことが難しい。このことは、マンモグラフィ画像とは異なるモダリティ画像と、超音波画像との間でも同様である。

特開２００３－５７５号公報

本発明が解決しようとする課題は、モダリティ画像及び超音波画像を総合的に読影して診断を支援することである。

実施形態に係る医用情報処理システムは、第１取得部、第２取得部、撮像位置取得部及び生成部を備えている。

前記第１取得部は、被検体の超音波画像を取得する。
前記第２取得部は、前記被検体の第１モダリティ画像であって、前記超音波画像とは異なる前記第１モダリティ画像を取得する。
前記撮像位置取得部は、前記超音波画像の撮像位置を取得する。
前記生成部は、前記超音波画像と当該超音波画像の撮像位置と前記第１モダリティ画像とに基づいて、前記被検体の診断支援情報を生成する。

図１は、第１の実施形態に係る医用情報処理システムの構成を示すブロック図である。 図２は、第１の実施形態におけるマンモグラフィ装置の構成を示すブロック図である。 図３は、第１の実施形態におけるマンモグラフィ装置の外観を示す斜視図である。 図４は、第１の実施形態における超音波診断装置の構成を示すブロック図である。 図５は、第１の実施形態におけるクライアントシステム内の情報処理装置の構成を示すブロック図である。 図６は、第１の実施形態における第１マンモグラフィ画像及び超音波画像の取得から診断支援情報の生成までの過程を示す模式図である。 図７は、第１の実施形態における被検体の乳房、ボディマーク及び第１マンモグラフィ画像内の位置を対応付けて説明するための模式図である。 図８は、第１の実施形態におけるサーバシステム内のサーバ装置の構成を示すブロック図である。 図９は、第１の実施形態における学習済みモデルを説明するための模式図である。 図１０は、第１の実施形態における学習済みモデルを説明するための模式図である。 図１１は、第１の実施形態における機械学習モデルの多層化ネットワークを説明するための模式図である。 図１２は、第１の実施形態における動作を説明するためのシーケンス図である。 図１３は、第１の実施形態の変形例における第１マンモグラフィ画像及び超音波画像の取得から診断支援情報の生成までの過程を示す模式図である。 図１４は、第１の実施形態の変形例における学習済みモデルを説明するための模式図である。 図１５は、第１の実施形態の変形例における学習済みモデルを説明するための模式図である。 図１６は、第１の実施形態の変形例における動作を説明するためのシーケンス図である。 図１７は、第２の実施形態における第１マンモグラフィ画像及び超音波画像の取得から診断支援情報の生成までの過程を示す模式図である。 図１８は、第２の実施形態におけるクライアントシステム内の情報処理装置の構成を示すブロック図である。 図１９は、第２の実施形態における学習済みモデルを説明するための模式図である。 図２０は、第２の実施形態における学習済みモデルを説明するための模式図である。 図２１は、第２の実施形態における動作を説明するためのシーケンス図である。 図２２は、第２の実施形態の変形例における第１マンモグラフィ画像及び超音波画像の取得から診断支援情報の生成までの過程を示す模式図である。 図２３は、第２の実施形態の変形例における学習済みモデルを説明するための模式図である。 図２４は、第２の実施形態の変形例における学習済みモデルを説明するための模式図である。 図２５は、第２の実施形態の変形例における動作を説明するためのシーケンス図である。 図２６は、第３の実施形態に係る医用情報処理システムの構成を示すブロック図である。 図２７は、第３の実施形態におけるクライアントシステム内の情報処理装置及びサーバ装置の構成を示すブロック図である。 図２８は、第３の実施形態における動作を説明するためのシーケンス図である。 図２９は、第３の実施形態の変形例における動作を説明するためのシーケンス図である。 図３０は、第３の実施形態の他の変形例における動作を説明するためのシーケンス図である。 図３１は、第３の実施形態のさらに他の変形例における動作を説明するためのシーケンス図である。 図３２は、第４の実施形態に係る医用情報処理システムの構成を示すブロック図である。 図３３は、第４の実施形態における動作を説明するためのシーケンス図である。 図３４は、第４の実施形態の変形例における動作を説明するためのシーケンス図である。 図３５は、第５の実施形態に係る医用情報処理システムの構成を示すブロック図である。 図３６は、第５の実施形態における動作を説明するためのシーケンス図である。 図３７は、第５の実施形態の変形例における動作を説明するためのシーケンス図である。 図３８は、第６の実施形態に係る医用情報処理システムの構成を示すブロック図である。 図３９は、第６の実施形態における動作を説明するためのシーケンス図である。 図４０は、第６の実施形態の変形例における動作を説明するためのシーケンス図である。 図４１は、第６の実施形態の他の変形例における動作を説明するためのシーケンス図である。 図４２は、第６の実施形態のさらに他の変形例における動作を説明するためのシーケンス図である。 図４３は、各実施形態及び各変形例に対する一変形例として、第１モダリティ画像及び超音波画像の取得から診断支援情報の生成までの過程を示す模式図である。 図４４は、各実施形態及び各変形例に対する一変形例として、第１モダリティ画像、第３モダリティ画像及び超音波画像の取得から診断支援情報の生成までの過程を示す模式図である。 図４５は、第２の実施形態の更なる変形例に対する一変形例として、第１モダリティ画像及び超音波画像の取得から診断支援情報の生成までの過程を示す模式図である。 図４６は、各実施形態及び各変形例に対する一変形例として、第１モダリティ画像及び超音波画像の取得から診断支援情報の生成までの過程を示す模式図である。 図４７は、各実施形態及び各変形例に対する一変形例として、第１モダリティ画像及び超音波画像の取得から診断支援情報の生成までの過程を示す模式図である。 図４８は、各実施形態及び各変形例に対する一変形例として、第１モダリティ画像及び超音波画像の取得から診断支援情報の生成までの過程を示す模式図である。 図４９は、各実施形態及び各変形例に対する一変形例として、第１モダリティ画像及び超音波画像の取得から診断支援情報の生成までの過程を示す模式図である。 図５０は、各実施形態及び各変形例に対する一変形例として、第１モダリティ画像及び超音波画像の取得から診断支援情報の生成までの過程を示す模式図である。

以下、各実施形態について図面を用いて説明する。
＜第１の実施形態＞
図１は、第１の実施形態に係る医用情報処理システムの構成を示すブロック図である。この医用情報処理システムは、クライアントシステムＣｌｓ１及びサーバシステムＳｖｓ１を備えている。これらクライアントシステムＣｌｓ１及びサーバシステムＳｖｓ１と、マンモグラフィ装置１及び超音波診断装置３０とはネットワークＮｗを介して通信可能となっている。ネットワークＮｗとしては、例えば院内ネットワークの如き、ＬＡＮ（Local Area Network）が使用可能となっている。クライアントシステムＣｌｓ１は、少なくとも一つの情報処理装置５０を含んでいる。サーバシステムＳｖｓ１は、少なくとも一つのサーバ装置６０を含んでいる。本実施形態では、クライアントシステムＣｌｓ１が一つの情報処理装置５０を含み、サーバシステムＳｖｓ１が一つのサーバ装置６０を含む場合を例に挙げて述べる。このように、本明細書中、「システム」の用語は、システムが複数の装置からなる場合に限らず、システムが単一の装置からなる場合を含む。この説明は、クライアントシステムが単一の装置からなる場合及びサーバシステムが単一の装置からなる場合に限らず、医用情報処理システムが単一の装置からなる場合を含むことを意味している。すなわち、モダリティ装置（例、マンモグラフィ装置１）及び超音波診断装置に対し、単一の装置からなる医用情報処理システムを通信可能に設けてもよい。ここで、モダリティ装置は、超音波診断装置とは異なる医用画像診断装置であり、例えば、マンモグラフィ装置、磁気共鳴イメージング（ＭＲＩ）装置、ポジトロン放出マンモグラフィ（ＰＥＭ）装置、ポジトロン断層法（ＰＥＴ）装置及びコンピュータ断層撮影（ＣＴ）装置などが適宜、使用可能となっている。以下の説明では、主に、マンモグラフィ装置１を当該モダリティ装置の例に挙げて述べる。また、医用情報処理システムをマンモグラフィ装置１又は超音波診断装置に一体的に設けてもよい。例えば、医用情報処理システムの各機能をマンモグラフィ装置１の処理回路２６又は超音波診断装置３０の処理回路４２が実現するように動作してもよい。また、クライアントシステムをマンモグラフィ装置１又は超音波診断装置３０に一体的に設けてもよい。例えば、クライアントシステムＣｌｓ１の情報処理装置５０における処理回路５５の各機能を、マンモグラフィ装置１の処理回路２６又は超音波診断装置３０の処理回路４２が実現するように動作してもよい。これは以下の各実施形態でも同様である。

ここで、マンモグラフィ装置１は、図２及び図３に示すように、Ｘ線撮像装置３及びコンピュータ装置５を備える。

Ｘ線撮像装置３は、基台部１０とＣアーム１１とを有する。Ｃアーム１１は、基台部１０に突設された軸部１２に取り付けられる。これによりＣアーム１１は、軸部１２の軸心を回転中心軸Ｘとして回動可能なように基台部１０に支持される。Ｃアーム１１を回転させることにより、頭尾方向（CranioCaudal projection：ＣＣ）、内外方向（MedioLateral projection：ＭＬ）、内外斜方向（MedioLateral Oblique projection：ＭＬＯ）等の撮影を行うことができる。

Ｃアーム１１は、アーム本体１４にＸ線発生装置１５、撮影台１６、及び圧迫ユニット１７を取り付けて構成される。Ｘ線発生装置１５及び撮影台１６は、アーム本体１４の両端部に配置される。圧迫ユニット１７は、Ｘ線発生装置１５と撮影台１６との中間に配置される。

Ｘ線発生装置１５は、Ｘ線管１８と高電圧発生器１９とを有する。Ｘ線管１８は、高電圧発生器１９から管電圧の印加、及びフィラメント電流の供給を受けて圧迫ユニットに向けて所定のＸ線継続時間Ｘ線を発生する。印加する管電圧とＸ線継続時間とは、撮影制御回路２４からの制御信号を受けて、撮影に適した値に調整される。

Ｘ線管１８は、陰極フィラメントと陽極とを備える。陽極は、Ｍｏ（モリブデン）を材質としたＭｏ陽極、Ｒｈ（ロジウム）を材質としたＲｈ陽極、ＭｏとＲｈとを混合してなるＭｏ・Ｒｈ陽極、Ｗ（タングステン）を材質としたＷ陽極等である。これら陽極は、撮影制御回路２４からの制御信号を受けて、随時切り替え可能である。

フィラメント電流の供給を受けた陰極フィラメントは加熱され、熱電子を発生する。発生された熱電子は、陰極フィラメントと陽極との間に印加された管電圧によって、陽極に衝突される。このように熱電子が陽極へ衝突することによりＸ線が発生される。陽極に衝突する熱電子によって、管電流が流れる。管電流は、フィラメント電流により調整される。撮影時におけるＸ線線量の調節は、撮影制御回路２４からの制御信号を受けて、管電流とＸ線継続時間との積である管電流時間積を調節することにより行なわれる。

Ｘ線管１８には、発生されたＸ線の線質を変更するための線質フィルタが取り付けられる。線質フィルタは、Ｍｏを材質としたＭｏフィルタや、Ｒｈを材質としたＲｈフィルタ、Ａｌ（アルミニウム）を材質としたＡｌフィルタ、Ａｇ（銀）を材質としたＡｇフィルタ或いはこれら材質を組み合わせてなるフィルタ等である。これら線質フィルタは、撮影制御回路２４からの制御信号を受けて、随時切り替え可能である。

圧迫ユニット１７は、撮影台１６の載置面１６ａに沿って接近／離反可能なようにＣアーム１１によって支持される圧迫板１７ａを有する。圧迫ユニット１７は、撮影制御回路２４からの制御信号を受けて、圧迫板１７ａを動作させることにより被検体の乳房を載置面１６ａに圧迫し、乳房厚を所定の状態にする。

撮影台１６は、乳房を透過したＸ線を検出するフラット・パネル・ディテクタ（ＦＰＤ）等のデジタル検出器を筐体内に収容したユニットである。撮影台１６は、載置面１６ａの面中心とＸ線管１８の焦点とを結ぶＺ軸に沿って、Ｘ線管１８に接近／離反可能なようにＣアーム１１によって支持される。ここで、Ｙ軸をＸ軸及びＺ軸に直交する軸に規定する。つまり、ＸＹＺ座標系は、Ｘ軸を回転中心軸とした回転座標系である。Ｚ軸は乳房の厚さ方向を規定する軸であり、ＸＹ平面は乳房の厚さ方向に垂直な広がり方向を規定する軸である。

また、圧迫ユニット１７が上側圧迫板と下側圧迫板とを備え、載置面１６ａと、上側圧迫板と下側圧迫板とで圧迫された乳房との距離を離間させて拡大撮影を行う場合は、撮影台１６の筐体を拡大撮影用のものに変更することで、拡大率を撮影に適した状態にする。

撮影台１６内のデジタル検出器は、入射Ｘ線を直接的に電気信号に変換する直接変換形又は入射Ｘ線を蛍光体で光に変換しその光を電気信号に変換する間接変換形の複数の半導体検出素子を有する。この複数の半導体検出素子は２次元格子状に配列される。また、デジタル検出器は、フォトダイオード等の半導体検出素子に加え、増幅回路及びＡ／Ｄ変換回路を含んでいる。これにより、Ｘ線入射に伴って複数の半導体検出素子で発生した信号電荷は増幅回路及びＡ／Ｄ変換回路を介してデジタル信号としてコンピュータ装置５に出力される。

コンピュータ装置５は、Ｘ線撮像装置３とともに、記憶回路２２、入力インタフェース２３、撮影制御回路２４、画像発生回路２５、処理回路２６、ディスプレイ２７及びシステム制御回路２８を備える。

記憶回路２２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hardware Disk Drive）及び画像メモリなど電気的情報を記録するメモリと、それらメモリに付随するメモリコントローラやメモリインタフェースなどの周辺回路から構成されている。記憶回路２２は、被検体の乳房の検査毎に、乳房を撮像した第１マンモグラフィ画像と、当該第１マンモグラフィ画像の撮像角度を示す少なくともＭＬＯ角度情報とを記憶する。記憶回路２２は、例えば、検査毎に、画像発生回路２５により発生された第１マンモグラフィ画像のデータに、撮影条件と、撮影時の撮影方向（撮影角度）を示すコードと、撮影した乳房の左右を示すコードとを関連付けて記憶してもよい。なお、第１マンモグラフィ画像は、第１モダリティ画像の一例である。第１モダリティ画像は、超音波画像とは異なるモダリティ画像であり、例えば、マンモグラフィ画像、磁気共鳴イメージング（ＭＲＩ）画像、ポジトロン放出マンモグラフィ（ＰＥＭ）画像、ポジトロン断層法（ＰＥＴ）画像及びコンピュータ断層撮影（ＣＴ）画像のうちのいずれかであってもよい。

入力インタフェース２３は、操作者からの各種指示・命令・情報・選択・設定をコンピュータ装置５に入力するためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、及び表示画面とタッチパッドとが一体化されたタッチパネルディスプレイ等によって実現される。入力インタフェース２３は、撮影制御回路２４及び処理回路２６等に接続されており、操作者から受け取った入力操作を電気信号へ変換し撮影制御回路２４又は処理回路２６へと出力する。なお、本明細書において入力インタフェース２３はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を撮影制御回路２４又は処理回路２６へ出力する電気信号の処理回路も入力インタフェース２３の例に含まれる。

入力インタフェース２３は、撮影条件（管電圧、管電流時間積、陽極の材質、線質フィルタの材質、乳房厚、Ｘ線焦点－Ｘ線検出器間距離、拡大率等）を撮影制御回路２４に設定するための操作パネルである。また、入力インタフェース２３は、撮影対象である乳房の左右いずれかを示すコードを撮影制御回路２４に設定する。また、入力インタフェース２３は、Ｃアーム１１を動作させるためのインタフェースを備えており、その操作に応じてＣアーム１１はＺ軸回りに回動され任意の位置に設定される。設定されたＣアーム１１の位置に応じて、撮影方向が決定される。

撮影制御回路２４は、図示しないプロセッサとメモリを備えている。撮影制御回路２４は、入力インタフェース２３を介して設定された撮影条件（管電圧、管電流時間積、陽極の材質、線質フィルタの材質、乳房厚、Ｘ線焦点－Ｘ線検出器間距離、拡大率等）に基づいてＸ線撮像装置３の各構成要素を制御する。これにより、撮影制御回路２４は、Ｘ線撮像装置３に設定に応じたＸ線撮影を行わせる。

画像発生回路２５は、撮影台１６からのデジタル信号に基づいて２次元画像のデータを発生する。通常、Ｘ線撮影によって得られた画像の生体領域には、乳房領域だけではなく大胸筋領域等の乳房領域外の領域を含む。

処理回路２６は、操作者により入力インタフェース２３を介してから入力された指示に基づいて、記憶回路２２に記憶された第１マンモグラフィ画像、角度情報及び制御プログラムを読み出し、これらに従ってコンピュータ装置５を制御する。例えば、処理回路２６は、記憶回路２２から読み出した制御プログラムに従って、既存の超音波診断支援機能に加え、超音波診断支援機能を補助する各機能を実現させるプロセッサである。ここで、各機能としては、例えば、提供機能２６ａがある。なお、既存の超音波診断支援機能は、第１マンモグラフィ画像から発見された関心領域の大体の位置を乳房のボディマーク（模式図）上に描画する機能である。具体的には、互いに撮影方向の異なる２枚の第１マンモグラフィ画像上の所望の位置に関心領域を設定（ポインティング）し、関心領域の位置を含んで各撮影方向に沿った２本の直線を乳房のボディマーク上に描画する。この超音波診断支援機能は、当該２本の直線の交点が乳房のボディマーク上で関心領域の大体の位置を示すことにより、超音波プローブ３１を用いた関心領域のスキャンを容易にする利点がある。但し、既存の超音波診断支援機能は、必須ではなく、省略してもよい。

提供機能２６ａは、他の装置からの要求に応じて、例えば、第１マンモグラフィ画像及び角度情報を要求元に提供（送信）する機能である。なお、角度情報は、撮影方向が固定の場合、提供を省略してもよい。また、既存の超音波診断支援機能を用いる場合、提供機能２６ａは、第１マンモグラフィ画像に加え、関心領域を描画したボディマークを要求元に提供する。要求元の他の装置としては、例えば、クライアントシステムＣｌｓ１の情報処理装置５０などがある。

ディスプレイ２７は、医用画像などを表示するディスプレイ本体と、ディスプレイ本体に表示用の信号を供給する内部回路、ディスプレイ本体と内部回路とをつなぐコネクタやケーブルなどの周辺回路から構成されている。ディスプレイ２７は、処理回路２６に制御され、画像発生回路２５で生成された第１マンモグラフィ画像及び処理回路２６で生成された模式図（ボディマークＢＭ）を表示する。

システム制御回路２８は、図示しないプロセッサとメモリを備え、マンモグラフィ装置１の中枢として、各構成要素を制御する。

ネットワークインタフェース２９は、コンピュータ装置５をネットワークＮｗに接続して超音波診断装置３０、情報処理装置５０及びサーバ装置６０といった他の装置と通信するための回路である。ネットワークインタフェース２９としては、例えば、ネットワークインタフェースカード（ＮＩＣ）が使用可能となっている。以下の説明では、他の装置との通信にネットワークインタフェース２９が介在する旨の記載を省略する。

なお、コンピュータ装置５とＸ線撮像装置３とは一体であるとしても良い。

一方、超音波診断装置３０は、図４に示すように、超音波プローブ３１、位置センサ３２、トランスミッタ３３及び装置本体３４を備えている。装置本体３４は、位置取得回路３５、送受信回路３６、画像生成回路３７、記憶回路３８、入力インタフェース３９、ディスプレイ４０、ネットワークインタフェース４１及び処理回路４２を備えている。装置本体３４の一部又は全てをコンピュータ装置としてもよい。例えば、装置本体３４の一部である記憶回路３８、入力インタフェース３９、ディスプレイ４０、ネットワークインタフェース４１及び処理回路４２をコンピュータ装置４３としてもよい。

超音波プローブ３１は、圧電セラミックス等の音響／電気可逆的変換素子としての圧電振動子を有する。複数の圧電振動子は並列され、超音波プローブ３１の先端に装備される。なお、一つの圧電振動子が一チャンネルを構成するものとして説明する。圧電振動子は、送受信回路３６から供給される駆動信号に応答して超音波を発生する。圧電振動子は、被検体の生体組織で反射された超音波の受信に応答して、受信エコー信号を発生する。超音波プローブとしては、１次元アレイを複数の振動子の配列方向と直交する方向に揺動させて３次元走査を実行するメカニカル４次元プローブとしてもよく、２次元アレイプローブとしてもよい。

位置センサ３２は、所定の基準位置を基準とした超音波プローブ３１の位置角度検出信号を取得する。位置角度検出信号は、所定の基準位置に対する超音波プローブ３１の位置と超音波プローブ３１の角度とに対応する検出信号である。超音波プローブ３１の角度とは、例えば、所定の基準方向に対する超音波プローブ３１の傾きである。所定の基準位置とは、例えば、超音波診断装置３０の位置である。所定の基準方向とは、例えば、予め設定された直交３軸である。位置センサ３２は、例えば、超音波プローブ３１に設けられる。位置センサ３２は、取得した位置角度検出信号を、位置取得回路３５に出力する。

位置センサ３２は、例えば、磁気センサ、赤外線センサ、角度センサまたは角速度センサ（例えばジャイロセンサ）などである。例えば、磁気センサの場合、トランスミッタ３３から送信された磁気を検出し、所定の基準位置を基準とした位置角度検出信号を取得する。また、赤外線センサの場合、トランスミッタ３３から送信された赤外線を検出し、所定の基準位置を基準とした位置角度検出信号を取得する。なお、赤外線の代わりにより一般的な電磁波を用いてもよい。なお、位置センサ３２が磁気センサの場合、基準位置は、トランスミッタ３３の位置であってもよい。また、位置センサ３２が赤外線センサの場合、基準位置は、トランスミッタ３３の位置であってもよい。また、基準位置は、入力インタフェース３９を介して入力された操作者の指示により、適宜調整可能である。なお、所定の基準位置は、被検体の体表面に初めに当接される位置であってもよい。

角度センサは、超音波プローブ３１の角度を検出する。角速度センサは、超音波プローブ３１の動きに応じた角速度を検出する。なお、超音波プローブ３１の角度は、超音波プローブ３１の側面に設けられた２つの磁気センサ、２つの赤外線センサ、または磁気センサと赤外線センサとの組み合わせなどから出力される２点の位置に基づいて、決定されてもよい。

トランスミッタ３３は、位置センサ３２に検出される基準信号を送信する送信器である。トランスミッタ３３としては、例えば、磁気を発生する磁気送信器、又は赤外線を発生する赤外線送信器などが適宜、使用可能となっている。

このような位置センサ３２及びトランスミッタ３３は、超音波診断装置３０のフュージョン機能に用いられる。例えば、位置センサ３２は超音波プローブ３１に取り付けられる。トランスミッタ３３は被検体近傍（又は装置本体３４）に配置される。後述する位置取得回路３５は、トランスミッタ３３及び位置センサ３２による送受信により取得した位置角度検出信号からトランスミッタ３３を基準とした位置センサ３２の位置（Ｘ，Ｙ，Ｚ）と角度とを計算する。これにより、フュージョン機能では、現在表示中の超音波画像に対応する超音波プローブ３１の位置と角度が得られる。しかる後、超音波画像と他のボリュームデータのＭＰＲ画像との同一断面（Ｚ）を表示し、同一断面の同一位置について位置角度情報を登録するように位置合わせ（Registration）が行われる。

位置取得回路３５は、位置センサ３２から出力された位置角度検出信号を用いて、所定の基準位置を基準とした超音波プローブ３１の位置および角度を算出する。具体的には、位置取得回路３５は、所定の基準位置を基準とした絶対座標系における超音波プローブ３１の位置及び角度を含む位置情報を取得する。以下、絶対座標系上における超音波プローブ３１の位置を、プローブ座標と呼ぶ。位置取得回路３５は、取得した位置情報を処理回路４２に送出する。このような位置取得回路３５は、超音波プローブ３１の位置情報を取得する機能を有している。超音波プローブ３１の位置情報は、超音波画像の撮像位置情報ともいう。

送受信回路３６は、処理回路４２による制御のもとで、超音波プローブ３１における複数の圧電振動子各々に駆動信号を供給する。送受信回路３６は、各圧電振動子によって発生された受信エコー信号に基づいて、受信信号を発生する。

画像生成回路３７は、図示していないＢモード処理ユニットとドプラ処理ユニットとを有する。Ｂモード処理ユニットは、送受信回路３６から出力された受信信号に対して包絡線検波及び対数変換を実行し、各走査線および各超音波送受信における深さごとの信号値（Ｂモードデータ）を発生する。

ドプラ処理ユニットは、送受信回路３６から出力された受信信号にミキサ及び低域通過フィルタの処理を施して、ドプラ偏移周波数ｆｄの成分を有するドプラ信号を発生する。なお、ドプラ処理ユニットは、ドプラ信号を発生するために、直交検波方式を用いてもよい。このとき、受信信号（ＲＦ信号）は、直交検波されＩＱ信号に変換される。ドプラ処理ユニットは、ＩＱ信号を複素フーリエ変換することにより、ドプラ偏移周波数ｆｄの成分を有するドプラ信号を発生する。ドプラ信号は、例えば、血流、組織、造影剤によるエコー成分である。また、ドプラ処理ユニットは、発生したドプラ信号にＭＴＩ（Moving Target Indicator）フィルタ及び自己相関演算器等の処理を施して、血流の平均速度値、分散値、ドプラ信号の反射強度等を算出し、算出結果に基づくカラードプラデータを発生する。以下、ドプラ信号とカラードプラデータとをまとめて、ドプラデータと呼ぶ。

また、ドプラデータとＢモードデータとをまとめてローデータ（Raw Data）と呼ぶ。ローデータは、エコー信号のうち、送信超音波の高調波成分によるＢモードデータ、および被検体内の生体組織に関する弾性データであってもよい。Ｂモード処理ユニットおよびドプラ処理ユニットは、発生したローデータを後述するディジタルスキャンコンバータ（Digital Scan Converter：以下ＤＳＣと呼ぶ）に出力する。Ｂモード処理ユニットおよびドプラ処理ユニットは、発生したローデータを図示していないシネメモリに出力することも可能である。

画像生成回路３７は、図示していないＤＳＣを有する。画像生成回路３７は、ＤＳＣに対して、座標変換処理（リサンプリング）を実行する。座標変換処理とは、例えば、ローデータからなる超音波スキャンの走査線信号列を、テレビなどに代表される一般的なビデオフォーマットの走査線信号列に変換することである。画像生成回路３７は、座標変換処理に続けて補間処理を、ＤＳＣに対して実行する。補間処理とは、隣り合う走査線信号列におけるローデータを用いて、走査線信号列間にデータを補間する処理である。

画像生成回路３７は、ローデータに対して座標変換処理と補間処理とを実行することにより、表示画像としての超音波画像（Ｂモード画像、ドプラ画像）を生成する。なお、画像生成回路３７は、生成した超音波画像に対応するデータを記憶する画像メモリを有していてもよい。画像生成回路３７は、生成された超音波画像に、種々のパラメータの文字情報および目盛等を合成する。

シネメモリは、例えばフリーズする直前の複数のフレームに対応する超音波画像を保存するメモリである。このシネメモリに記憶されている画像を連続表示（シネ表示）することで、超音波動画像を表示することも可能である。

記憶回路３８は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）及び画像メモリなど電気的情報を記録するメモリと、それらメモリに付随するメモリコントローラやメモリインタフェースなどの周辺回路から構成されている。記憶回路３８は、フォーカス深度の異なる複数の受信遅延パターン、本超音波診断装置の制御プログラム、診断プロトコル、送受信条件等の各種データ群、Ｂモードデータ、ドプラデータ、画像生成回路３７で生成された超音波画像（Ｂモード画像、ドプラ画像）などを記憶する。

入力インタフェース３９は、操作者からの各種指示・命令・情報・選択・設定を装置本体３４に入力するためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、及び表示画面とタッチパッドとが一体化されたタッチパネルディスプレイ等によって実現される。入力インタフェース３９は、処理回路４２に接続されており、操作者から受け取った入力操作を電気信号へ変換し処理回路４２へと出力する。なお、本明細書において入力インタフェース３９はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路４２へ出力する電気信号の処理回路も入力インタフェース３９の例に含まれる。

ディスプレイ４０は、医用画像などを表示するディスプレイ本体と、ディスプレイに表示用の信号を供給する内部回路、ディスプレイ本体と内部回路とをつなぐコネクタやケーブルなどの周辺回路から構成されている。ディスプレイ４０は、画像生成回路３７で生成された超音波画像を表示する。また、ディスプレイ４０は、画像生成回路３７で生成された超音波画像に対して、ブライトネス、コントラスト、ダイナミックレンジ、γ補正などの調整および、カラーマップの割り当てを実行してもよい。

ネットワークインタフェース４１は、超音波診断装置３０をネットワークＮｗに接続して他の装置と通信するための回路である。ネットワークインタフェース４１としては、例えば、ネットワークインタフェースカード（ＮＩＣ）が使用可能となっている。以下の説明では、他の装置との通信にネットワークインタフェース４１が介在する旨の記載を省略する。

処理回路４２は、操作者により入力インタフェース３９を介してから入力されたモード選択、受信遅延パターンリストの選択、送信開始・終了に基づいて、記憶回路３８に記憶された送受信条件と装置制御プログラムを読み出し、これらに従って本超音波診断装置の本体を制御する。例えば、処理回路４２は、記憶回路３８から読み出した制御プログラムに従って、送受信回路３６、位置取得回路３５及び画像生成回路３７などを制御する機能をもつプロセッサである。これに加え、処理回路４２は、画像生成回路３７により生成された超音波画像と、位置取得回路３５により取得した位置情報とをクライアントシステムＣｌｓ１の情報処理装置５０にリアルタイムに提供（送信）する機能を有している。リアルタイムとは、生成された超音波画像及び送出された位置情報の順次取得に並行して、当該超音波画像及び位置情報の提供（送信）が順次実行されることを意味する。

また一方、クライアントシステムＣｌｓ１の情報処理装置５０は、図５に示すように、記憶回路５１、入力インタフェース５２、ディスプレイ５３、ネットワークインタフェース５４及び処理回路５５を備えている。

ここで、記憶回路５１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hardware Disk Drive）及び画像メモリなど電気的情報を記録するメモリと、それらメモリに付随するメモリコントローラやメモリインタフェースなどの周辺回路から構成されている。記憶回路５１は、本情報処理装置の制御プログラム、第１マンモグラフィ画像、角度情報、ボディマーク、超音波画像、超音波画像の撮像位置情報等の各種データ群などを記憶する。なお、角度情報及びボディマークは提供されない場合もある。その場合、記憶回路５１は、角度情報及びボディマークを記憶しない。

入力インタフェース５２は、操作者からの各種指示・命令・情報・選択・設定を情報処理装置本体に入力するためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、及び表示画面とタッチパッドとが一体化されたタッチパネルディスプレイ等によって実現される。入力インタフェース５２は、処理回路５５に接続されており、操作者から受け取った入力操作を電気信号へ変換し処理回路５５へと出力する。なお、本明細書において入力インタフェース５２はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路５５へ出力する電気信号の処理回路も入力インタフェース５２の例に含まれる。

ディスプレイ５３は、医用画像などを表示するディスプレイと、ディスプレイに表示用の信号を供給する内部回路、ディスプレイと内部回路とをつなぐコネクタやケーブルなどの周辺回路から構成されている。ディスプレイ５３は、例えば、記憶回路５１内の第１マンモグラフィ画像と、処理回路５５により生成された模式図及び算出された所定範囲などを表示可能である。

ネットワークインタフェース５４は、情報処理装置５０をネットワークＮｗに接続して他の装置と通信するための回路である。ネットワークインタフェース５４としては、例えば、ネットワークインタフェースカード（ＮＩＣ）が使用可能となっている。以下の説明では、情報処理装置５０と他の装置との間の通信にネットワークインタフェース５４が介在する旨の記載を省略する。

処理回路５５は、操作者により入力インタフェース５２を介してから入力された指示に基づいて、記憶回路５１に記憶された制御プログラムを読み出し、これらに従って情報処理装置５０を制御する。例えば、処理回路５５は、記憶回路５１から読み出した制御プログラムに従って、各機能を実現させるプロセッサである。ここで、各機能としては、例えば、取得機能５５ａ、ＵＬ－ＣＡＤ機能５５ｂ、特定機能５５ｄ、ＭＧ２生成機能５５ｅ、送受信機能５５ｆなどがある。なお、ＭＧ２生成機能５５ｅは、任意の付加的事項であり、省略してもよい。

取得機能５５ａは、図６に示すように、被検体の超音波画像ＵＬを取得する第１取得機能と、当該被検体の第１マンモグラフィ画像ＭＧ１を取得する第２取得機能とを含んでいる。なお、第１取得機能は、超音波画像ＵＬを取得すると共に、超音波画像ＵＬの撮像位置情報（超音波プローブ３１の位置情報）を取得する。取得機能５５ａは、第１取得部及び撮像位置取得部の一例である。

ＵＬ－ＣＡＤ機能５５ｂは、取得機能５５ａに取得された超音波画像ＵＬに対して、超音波用のＣＡＤ（ＵＬ－ＣＡＤ）の処理を施す。なお、「ＣＡＤ」は、コンピュータ支援検出（Computer-Aided Detection）の略語である。「コンピュータ支援検出」は「コンピュータ支援検出処理」と呼んでもよい。「ＵＬ－ＣＡＤ」は、超音波画像に対するＣＡＤを意味する。この種のＵＬ－ＣＡＤとしては、例えば、人工知能（ＡＩ）が適用可能となっている。具体的には例えば、超音波画像ＵＬを入力として、ＵＬ－ＣＡＤ結果を生成する学習済みモデルが使用可能となっている。ＵＬ－ＣＡＤ結果は、例えば、カテゴリ５（有病）～カテゴリ１（無病）の５段階というように、有病から無病までを複数段階で示す情報である。なお、５段階は一例であり、５段階より多くても少なくてもよい。但し、カテゴリ２（有病）及びカテゴリ１（無病）というように、少なくとも２段階は必要である。ＵＬ－ＣＡＤ機能５５ｂは、ＵＬ－ＣＡＤ結果が有病を示す場合に、当該超音波画像ＵＬを記憶回路５１に保存し、特定機能５５ｄを起動する。

特定機能５５ｄは、ＵＬ－ＣＡＤ結果が有病を示す場合に、超音波画像ＵＬの撮像位置に対応する位置を第１マンモグラフィ画像ＭＧ１上で特定する。すなわち、特定機能５５ｄは、超音波画像ＵＬの撮像位置情報に基づいて、第１マンモグラフィ画像ＭＧ１における対応する位置を特定する。例えば、特定機能５５ｄは、超音波画像ＵＬの撮像位置を示すマークを被検体の乳房の模式図（ボディマーク）上に描画し、当該描画したマークの位置に対応する関心領域を第１マンモグラフィ画像（第１モダリティ画像）上で特定してもよい。具体的には、特定機能５５ｄは、図７に示すように、超音波画像ＵＬの撮像位置を示すマークｍｋを乳房のボディマークＢＭ上に描画してもよい。また、特定機能５５ｄは、当該マークｍｋの位置に対応する直線Ｌ＿ｍｋを中心とした帯状範囲の関心領域を第１マンモグラフィ画像ＭＧ１上で特定してもよい。特定機能５５ｄは、超音波画像の撮像位置情報に基づいて、第１モダリティ画像内で当該撮像位置に対応する位置を特定する特定部の一例である。

補足すると、特定機能５５ｄは、予め超音波検査の開始時に、図７に示すように、被検体ＰのニップルＮｐの位置に対応する超音波画像ＵＬの撮像位置情報（超音波プローブ３１の位置情報）を取得し、当該ニップルＮｐの位置をボディマークＢＭの座標の原点Ｏに関連付けておく。これに加え、超音波検査の開始時に、予め被検体Ｐの乳房の端部ｅ１，ｅ２の位置に対応する超音波画像ＵＬの撮像位置情報を取得し、当該乳房の端部ｅ１，ｅ２の位置をボディマークＢＭの端部ｅ１，ｅ２に対応する位置に関連付けておいてもよい。なお、原点Ｏは、ボディマークＢＭ中の縦軸をＺ軸とし、横軸をＹ軸としたときのＺＹ座標の原点であり、ボディマークＢＭ中でニップルＮｐの位置を示している。ボディマークＢＭの端部ｅ１，ｅ２に対応する位置は、原点Ｏを中心とした円周上において、被検体Ｐの乳房の端部ｅ１，ｅ２の位置に対応すると共に、第１マンモグラフィ画像ＭＧ１内の乳房の端部ｅ１，ｅ２にも対応する。図７中、第１マンモグラフィ画像ＭＧ１は、ＭＬＯの撮影角度θだけ傾けて図示している。すなわち、図７に例示した直線Ｌ_ｍｋは、第１マンモグラフィ画像ＭＧ１の撮影角度θに対応した直線であって、ボディマークＢＭ内で原点Ｏと端部ｅ２との間を分割するマークｍｋの位置に対応し、第１マンモグラフィ画像ＭＧ１内でニップルＮｐと端部ｅ２との間を分割する位置にある。例えば、ボディマークＢＭ内でマークｍｋが原点Ｏと端部ｅ２との間をａ：ｂの比で分割する位置にある場合、第１マンモグラフィ画像ＭＧ１内で直線Ｌ_ｍｋがニップルＮｐと端部ｅ２との間をａ：ｂの比で分割する位置にある。このように、予め乳房の特徴的な位置（Ｎｐ，ｅ１，ｅ２）に対応する超音波画像ＵＬの撮像位置情報をボディマークＢＭの特徴的な位置（Ｏ，ｅ１，ｅ２）に関連付けておくことにより、超音波画像ＵＬの撮像位置情報を示すｍｋをボディマークＢＭ上に描画することが可能となる。

また、ボディマークＢＭ内の原点Ｏ及び乳房の端部に対応する位置と、第１マンモグラフィ画像ＭＧ１内のニップルＮｐ及び端部ｅ１，ｅ２に対応する位置とは、例えば図７に示したように、対応している。なお、第１マンモグラフィ画像ＭＧ１内のニップルＮｐ及び端部ｅ１，ｅ２の位置は、例えば、第１マンモグラフィ画像ＭＧ１内の乳房の輪郭を複数の直線で近似したときの隣り合う各直線の交点に近い輪郭位置で近似してもよい。あるいは、第１マンモグラフィ画像ＭＧ１内のニップルＮｐ及び端部ｅ１，ｅ２の位置は、その他の一般的に知られた各種画像検出方法を用いて検出してもよい。

いずれにしても、ボディマークＢＭ内の位置と、第１マンモグラフィ画像ＭＧ１上の位置とは対応している。このため、ボディマークＢＭ内のマークｍｋの位置は、第１マンモグラフィ画像ＭＧ１内で撮影角度θに応じた直線Ｌ_ｍｋの位置として対応付けが可能である。また、第１マンモグラフィ画像ＭＧ１上で、マークｍｋの位置に対応する直線Ｌ_ｍｋを中心として帯状範囲の関心領域を特定してもよい。帯状範囲（幅）の大きさは、任意である。また、特定機能５５ｄは、当該特定した関心領域を示す特定情報を作成してもよい。ここで、特定情報は、超音波画像ＵＬの撮像位置を表す情報の一例である。また、超音波画像ＵＬの撮像位置を表す情報は、超音波画像ＵＬの撮像位置に基づいて得られる情報の一例である。

ここで、特定情報としては、例えば、関心領域に高い重み付けをするためのウエイトマップＷＭ、関心領域を抜き出すためのトリミング情報、又は、第１マンモグラフィ画像ＭＧ１から抜き出された関心領域の画像（部分画像）などが適宜、使用可能となっている。ウエイトマップＷＭは、例えば、第１マンモグラフィ画像ＭＧ１と同じサイズで同じ画素数を有するマスク画像であり、図６に斜線で示す関心領域と他の領域とが互いに異なる画素値をもっている。具体的には、関心領域が高い画素値“１”を有し、他の領域が関心領域よりも低い画素値“０．１”を有している。なお、この画素値は一例であり、他の数値であってもよい。例えば、関心領域の画素値を“１”とし、他の領域の画素値を“０”としてもよい。トリミング情報は、第１マンモグラフィ画像ＭＧ１上で関心領域の範囲を示す数値情報であり、例えば、座標又はサイズなどの数値が適宜、使用可能となっている。部分画像は、第１マンモグラフィ画像ＭＧ１から抜き出された関心領域の画像であり、関心領域と同じサイズで同じ画素数を有している。以下、特定情報がウエイトマップＷＭである場合を例に挙げて述べる。

また、特定機能５５ｄは、当該マークｍｋを描画したボディマークＢＭを、ＵＬ－ＣＡＤ機能５５ｂにより保存された超音波画像ＵＬに関連付けて記憶回路５１に保存する。

ＭＧ２生成機能５５ｅは、例えば、特定機能５５ｄにより特定された位置に基づく処理を第１マンモグラフィ画像ＭＧ１に施すことにより、第２マンモグラフィ画像ＭＧ２を生成する。具体的には例えば、特定情報であるウエイトマップＷＭの各画素値と、第１マンモグラフィ画像ＭＧ１の各画素値とを乗算処理することにより、第１マンモグラフィ画像ＭＧ１内の関心領域が強調された第２マンモグラフィ画像ＭＧ２を生成する。なお、第２マンモグラフィ画像ＭＧ２は、ＭＧ*ウエイトマップと呼んでもよい。あるいは、ＭＧ２生成機能５５ｅは、特定情報であるトリミング情報に基づいて、第１マンモグラフィ画像ＭＧ１内の関心領域を抜き出すトリミング処理を実行することにより、第２マンモグラフィ画像ＭＧ２を生成してもよい。トリミング処理により生成された第２マンモグラフィ画像ＭＧ２は、前述した部分画像に相当する。ＭＧ２生成機能５５ｅは、超音波画像の撮像位置に基づく処理を第１モダリティ画像に施して第２モダリティ画像を生成する画像生成部の一例である。

送受信機能５５ｆは、他の装置との間で送受信を実行する機能である。送受信機能５５ｆは、（特定機能５５ｄにより）特定された位置に基づく処理を（ＭＧ２生成機能５ｅにより）第１マンモグラフィ画像に施してなる第２マンモグラフィ画像ＭＧ２と超音波画像ＵＬとを含む第１入力データを送信し、又は、対応する位置に関する情報と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとを含む第２入力データを送信する。なお、後者の第２入力データについては第１の実施形態の変形例などにおいて説明し、第１の実施形態では、前者の第１入力データを送信する場合について述べる。第１入力データは、第１データの一例である。第２入力データは、第２データの一例である。送受信機能５５ｆは、超音波画像と当該超音波画像の撮像位置と第１モダリティ画像とを送信する第１送信部の一例である。

例えば、送受信機能５５ｆは、ＭＧ２生成機能５５ｅにより生成された第２マンモグラフィ画像ＭＧ２と、記憶回路５１内の超音波画像ＵＬとを含む第１入力データをサーバシステムＳｖｓ１内のサーバ装置６０に送信する。なお、第１入力データは、送信先のサーバ装置６０において、ＭＧ－ＵＬ総合判定ＣＡＤによって診断支援情報を生成する生成機能６３ｂに用いられる。また例えば、送受信機能５５ｆは、サーバ装置６０から診断支援情報を受信する。なお、ＭＧ－ＵＬ総合判定ＣＡＤは、単に「総合判定ＣＡＤ」と呼んでもよい。

また一方、サーバシステムＳｖｓ１は、クライアントシステムＣｌｓ１から第１入力データ又は第２入力データを受信すると、受信した第１入力データ又は第２入力データを入力として被検体の診断支援情報を生成し、診断支援情報を送信する。例えば、サーバシステムＳｖｓ１は、クライアントシステムＣｌｓ１から超音波画像と当該超音波画像の撮像位置と第１モダリティ画像とを受信すると、受信した超音波画像と当該超音波画像の撮像位置と第１モダリティ画像とに基づいて、被検体の診断支援情報を生成し、診断支援情報を送信する。具体的には、サーバシステムＳｖｓ１のサーバ装置６０は、図８乃至図１０に示すように、記憶回路６１、ネットワークインタフェース６２及び処理回路６３を備えている。

ここで、記憶回路６１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hardware Disk Drive）及び画像メモリなど電気的情報を記録するメモリと、それらメモリに付随するメモリコントローラやメモリインタフェースなどの周辺回路から構成されている。記憶回路６１は、本サーバ装置の制御プログラム、学習済みモデル６１ａ、モデル学習プログラム、第１入力データ等の各種データ群などを記憶する。第１入力データは、例えば、第２マンモグラフィ画像ＭＧ２及び超音波画像ＵＬを含み、更に、ＵＬ－ＣＡＤ結果を含んでもよい。学習済みモデル６１ａは、図９に示すように、第２マンモグラフィ画像ＭＧ２及び超音波画像ＵＬと、有病から無病までを複数段階で示す診断支援情報とを用いて学習されている。この場合、学習済みモデル６１ａ及び生成機能６３ｂは、第２モダリティ画像ＭＤ２と超音波画像ＵＬとの入力に基づいて被検体の診断支援情報を生成する生成処理部の一例である。学習済みモデル６１ａは、図１０に示すように、第２マンモグラフィ画像ＭＧ２、超音波画像ＵＬ及びＵＬ－ＣＡＤ結果と、有病から無病までを複数段階で示す診断支援情報とを用いて学習されていてもよい。また、学習時の診断支援情報は、読影医により作成されている。

ここで、学習済みモデル６１ａは、学習データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせることにより、得られた学習済みの機械学習モデルである。学習データは、第２マンモグラフィ画像ＭＧ２及び超音波画像ＵＬを含む入力データと、診断支援情報である出力データとを含んでいる。なお、学習データは、入力データとして、第２マンモグラフィ画像ＭＧ２及び超音波画像ＵＬに加え、ＵＬ－ＣＡＤ結果を含んでもよい。機械学習モデルは、第２マンモグラフィ画像ＭＧ２及び超音波画像ＵＬを入力として診断支援情報を出力する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る機械学習モデルは、上記の要請を満たす如何なるパラメータ付き合成関数であっても良いが、多層のネットワークモデル（以下、多層化ネットワークと呼ぶ）であるとする。この場合、学習済みモデル６１ａは、第２マンモグラフィ画像ＭＧ２及び超音波画像ＵＬを入力する入力層と、当該第２マンモグラフィ画像ＭＧ２及び超音波画像ＵＬを総合的に読影した結果に基づく診断支援情報を出力する出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層とを有する。なお、入力層には、複数の医用画像データに加え、各々の医用画像データの付帯情報やＣＡＤ結果などの関連情報を入力してもよい。当該学習済みモデル６１ａは、人工知能ソフトウエアの一部であるプログラムモジュールとしての利用が想定される。学習済みモデル６１ａは、処理回路６３にて用いられる。具体的には、処理回路６３が、記憶回路６１に記憶された学習済みモデル６１ａからの指令に従って、当該入力層に入力された第１入力データ又は第２入力データに対し、学習済みのパラメータに基づく演算を行い、当該出力層から診断支援情報を出力するように動作する。

本実施形態に係る多層化ネットワークの典型的な構成について、以下説明する。ここで、多層化ネットワークとは、層状に並べた隣接層間のみ結合した構造を持ち、情報が入力層側から出力層側に一方向に伝播するネットワークである。本実施形態に係る多層化ネットワークは、図１１に示す様に、入力層（ｌ＝１）、中間層（ｌ＝２，３，・・・，Ｌ－１）、出力層（ｌ＝Ｌ）のＬ個の層から構成されるものとする。なお、以下は例を説明するものであって、多層化ネットワークの構成は以下の説明に限定されない。

第ｌ層でのユニット数をＩ個とし、第ｌ層への入力ｕ^（ｌ）を式（１－１）、第ｌ層からの出力ｚ^（ｌ）を式（ｌ－２）の様にそれぞれ表記すると、第ｌ層への入力と第ｌ層からの出力との関係は、式（１－３）によって表すことができる。

ここで、右上の添字（ｌ）は層の番号を示す。また、式（１－３）におけるｆ（ｕ）は、活性化関数であり、ロジスティックシグモイド関数（ロジスティック関数）、双曲線正接関数、正規化線形関数（ReLU)、線形写像、恒等写像、マックスアウト関数等、目的に応じて種々の関数を選択することができる。「ＲｅＬＵ」は、「Rectified Liner Unit」の略語である。

第ｌ＋１層でのユニット数をＪ個とし、第ｌ層と第ｌ＋１層との間の重み付行列Ｗ^{（ｌ＋１）}を式（２－１）、第ｌ＋１層におけるバイアスｂ^{（ｌ＋１）}を式（２－２）の様にそれぞれ表記したとする。このとき、第ｌ＋１層への入力ｕ^{（ｌ＋１）}、第ｌ＋１層からの出力ｚ^{（ｌ＋１）}は、それぞれ式（２－３）、式（２－４）によって表すことができる。

本実施形態に係る多層化ネットワークにおいて、入力層（ｌ＝１）には、式（３－１）で表現される医用画像データ（及びＣＡＤ結果などの関連情報）が入力される。また、当該入力層においては、入力データｘがそのまま出力データｚ^（１）となるため、式（３－２）の関係が成立する。

ここで、入力層に入力される医用画像データ（及び関連情報）を「入力データｘ」と呼ぶことにすれば、入力データｘについては、以下の（１）又は（２）等のように、種々の形式を用いることができる。（１）入力データｘを複数の画像データ（及び関連情報）とし、各成分ｘ_ｐ（ｐ＝１，２，・・・，Ｎ）を当該複数の画像データ（及び関連情報）を構成する位置毎の値（ピクセル値或いはボクセル値）（及び関連情報の値）として規定する形式。（２）入力データｘを、畳み込み処理が施された画像データ（及び関連情報）として、（１）を採用する形式。

入力層に続く中間層（ｌ＝２，３，・・・，Ｌ－１）層においては、式（２－３）、式（２－４）に従う計算を順次実行することで、各層の出力ｚ^（２），・・・ｚ^（L-1）を計算することができる。

出力層（第Ｌ層）の出力ｚ^（Ｌ）を以下の式（４－１）の様に表記する。本実施形態に係る多層化ネットワークは、入力層に入力された画像データｘが、入力層側から出力層側に向かって隣接層間でのみ結合しながら伝播する順伝播型ネットワークである。この様な順伝播型ネットワークは、式（４－２）の様な合成関数として表現することができる。

式（４－２）に示す合成関数は、式（２－３）、式（２－４）より、重み付行列Ｗ^{（ｌ＋１）}を用いた各層間の線形関係、各層における活性化関数ｆ（ｕ^{（ｌ＋１）}）を用いた非線形関係（又は線形関係）、バイアスｂ^{（ｌ＋１）}の組み合わせとして定義される。特に、重み付行列Ｗ^{（ｌ＋１）}、バイアスｂ^{（ｌ＋１）}はネットワークのパラメータｐと呼ばれる。式（４－２）によって定義される合成関数は、パラメータｐをどのように選ぶかで、関数としての形を変える。従って、本実施形態に係る多層化ネットワークは、式（４－２）を構成するパラメータｐを適切に選ぶことで、出力層が好ましい結果ｙを出力することができる関数として、定義することができる。

パラメータｐを適切に選ぶためには、学習データと誤差関数を用いた学習を実行する。ここで、学習データとは、入力ｘ_ｎに対する望ましい出力（正解出力）をｄ_ｎとすると、式（５－１）のように表現される学習サンプル（ｘ_ｎ，ｄ_ｎ）の集合Ｄ（ｎ＝１，・・・，S）である。

また、誤差関数とは、ｘ_ｎを入力した多層化ネットワークからの出力と学習データｄ_ｎとの近さを表す関数である。誤差関数の代表例としては、二乗誤差関数、最尤度推定関数、交差エントロピー関数等を挙げることができる。どのような関数を誤差関数に選択するかは、多層化ネットワークが取り扱う問題（例えば、回帰問題、二値問題、多クラス分類問題等）に依存する。

誤差関数をＥ（ｐ）と表記し、一つの学習サンプル（ｘ_ｎ，ｄ_ｎ）のみを使用して計算される誤差関数をＥ_ｎ（ｐ）と表記する。現在のパラメータｐ^（ｔ）は、勾配降下法に従う場合には誤差関数Ｅ（ｐ）の勾配ベクトルを用いた式（６－１）、確率的勾配降下法に従う場合には誤差関数Ｅ_ｎ（ｐ）の勾配ベクトルを用いた式（６－３）によって、新たなパラメータｐ^{（ｔ＋１）}に更新される。

ここで、εはパラメータｐの更新量の大きさを定める学習係数である。

式（６－１）又は式（６－３）に従って、現在のｐを負の勾配方向に少し動かし、これを逐次繰り返すことで、誤差関数Ｅ（ｐ）を極小にするパラメータｐを決定することができる。

なお、式（６－１）又は式（６－３）を計算するためには、式（６－２）で示されるＥ（ｐ）の勾配ベクトル、又は式（６－４）で示されるＥ_ｎ（ｐ）の勾配ベクトルを計算する必要がある。誤差関数が二乗誤差関数である場合を例とすれば、式（７－１）に示される誤差関数について、各層の重み係数と各ユニットのバイアスとで微分する必要がある。

一方、最終出力ｙが式（４－２）で表される合成関数であることから、Ｅ（ｐ）又はＥ_ｎ（ｐ）の勾配ベクトルの計算は複雑であり、その計算量も膨大なものとなる。

この様な勾配計算における不具合は、誤差逆伝播法によって解決することができる。例えば、第ｌ－１層の第ｉユニットと第ｌ層の第ｊユニットとを繋ぐ重みｗ_ji ^(l)についての誤差関数の微分は、以下の式（８－１）の様に表すことができる。

ｌ層の第ｊユニットへの入力ｕ_ｊ ^（ｌ）がＥ_ｎに与える変化量は、当該第ｊユニットからの出力ｚ_ｊ ^（ｌ）を通じて第ｌ＋１層の各ユニットｋへの各入力ｕ_ｋ ^{（ｌ＋１）}を変化させることのみを介して生じるものである。このことから、式（８－１）の右辺第１項は、微分の連鎖則を用いて、次の式（９－１）の様に表すことができる。

ここで、式（９－１）の左辺をδ_ｊ ^（ｌ）とおくと、式（１０－１）、式（１０－２）の関係を使って、式（９－１）は式（１０－３）の様に書き直すことができる。

式（１０－３）より、左辺のδ_ｊ ^（ｌ）は、δ_ｋ ^{（ｌ＋１）}（ｋ＝１，２，・・・・）から計算できることがわかる。すなわち、一つ上位の出力層側に存在する第ｌ＋１層の第ｋユニットに関するδ_ｋ ^{（ｌ＋１）}が与えられれば、第ｌ層についてのδ_ｊ ^（ｌ）を計算することができる。さらに、第ｌ＋１層の第ｋユニットに関するδ_ｋ ^{（ｌ＋１）}についても、その一つ上位の出力層側に存在する第ｌ＋２層の第ｋユニットに関するδ_ｋ ^{（ｌ＋２）}が与えられれば、計算することができる。このことを逐次繰り返して最上位層である出力層まで辿ることができる。

最初に第Ｌ層である出力層の第ｋユニットに関するδ_ｋ ^（Ｌ）が取得されていれば、式（１０－３）を用いて下位側（すなわち入力層側）に向かって逐次計算を繰り返すことにより（逆伝播）、任意層におけるδ_ｋ ^{（ｌ＋１）}を計算することができる。

一方、式（８－１）の右辺第２項については、式（２－３）を第ｌ層について成分で表現した式（１１－１）を用いて、式（１１－２）の様に計算することができる。

従って、第ｌ－１層の第ｉユニットと第ｌ層の第ｊユニットとを繋ぐ重みｗ_ji ^(l)についての誤差関数の微分は、式（８－１）、式（１０－３）によるδ_ｊ ^（ｌ）、式（１１－２）を用いて、以下の式（１２－１）の様に表現することができる。

式（１２－１）から、第ｌ－１層の第ｉユニットと第ｌ層の第ｊユニットとを繋ぐ重みｗ_ji ^(l)についての誤差関数の微分は、第ｊユニットに関するδ_ｊ ^（ｌ）と、第ｉユニットからの出力であるｚ_ｉ ^{（ｌ－１）}との積で与えらえることがわかる。なお、δ_ｊ ^（ｌ）についての計算は、上述した様に、式（１０－３）を用いて逆伝播により求めることができ、また、逆伝播の最初の値、すなわち、第Ｌ層である出力層に関するδ_ｊ ^（Ｌ）は、以下の式（１３－１）の様に計算することができる。

以上の手順により、本実施形態に係る多層化ネットワークについて、ある学習サンプル（ｘ_ｎ，ｄ_ｎ）を用いた学習を実現することができる。なお、複数の学習サンプルに対する誤差の総和Ｅ＝Σ_ｎＥ_ｎに関する勾配ベクトルについては、上述した手順を学習サンプル（ｘ_ｎ，ｄ_ｎ）毎に並列的に繰り返し、以下の式（１４－１）に示す和を計算することで、取得することができる。

以上が本実施形態に係る多層化ネットワークに関する説明である。また、本実施形態に係る多層化ネットワークとしては、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）を用いている。ＤＮＮとしては、例えば、画像を対象とする畳込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network)）を用いてもよい。以上の当該多層化ネットワークに関する説明は、以下の各実施形態のうち、機械学習モデル及び学習済みモデル６１ａを用いる全ての実施形態にも該当する。

ネットワークインタフェース６２は、サーバ装置６０をネットワークＮｗに接続して他の装置と通信するための回路である。ネットワークインタフェース６２としては、例えば、ネットワークインタフェースカード（ＮＩＣ）が使用可能となっている。以下の説明では、サーバ装置６０と他の装置との間の通信にネットワークインタフェース６２が介在する旨の記載を省略する。

処理回路６３は、記憶回路６１に記憶された制御プログラムに基づいてサーバ装置６０を制御する。例えば、処理回路６３は、記憶回路６１から読み出した制御プログラムに従って、各機能を実現させるプロセッサである。ここで、各機能としては、例えば、送受信機能６３ａ、生成機能６３ｂなどがある。

送受信機能６３ａは、他の装置との間で送受信を実行する機能であり、例えば、情報処理装置５０から第２マンモグラフィ画像ＭＧ２と超音波画像ＵＬとを含む第１入力データを受信する。但し、送受信機能６３ａは、情報処理装置５０から第２入力データが送信された場合には、当該第２入力データを受信する。また例えば、送受信機能６３ａは、生成機能６３ｂにより生成された診断支援情報を送信する。送受信機能６３ａは、超音波画像と当該超音波画像の撮像位置と第１モダリティ画像とを受信する受信部と、診断支援情報を送信する第２送信部との一例である。

生成機能６３ｂは、送受信機能６３ａにより受信された第１入力データを入力として、被検体の診断支援情報を生成する。但し、生成機能６３ｂは、送受信機能６３ａにより第２入力データが送信された場合には、当該第２入力データを入力として、被検体の診断支援情報を生成する。診断支援情報は、例えば、カテゴリ５（有病）～カテゴリ１（無病）の５段階というように、有病から無病までを複数段階で示す情報である。なお、５段階は一例であり、５段階より多くても少なくてもよい。但し、カテゴリ２（有病）及びカテゴリ１（無病）というように、少なくとも２段階は必要である。生成機能６３ｂは、（受信された）超音波画像と当該超音波画像の撮像位置と第１モダリティ画像とに基づいて、被検体の診断支援情報を生成する生成部の一例である。また、生成機能６３ｂは、超音波画像と当該超音波画像の撮像位置と第１モダリティ画像との入力に基づいて、被検体の診断支援情報を生成する生成処理部を備えた生成部の一例でもある。

生成機能６３ｂは、例えば、学習済みモデル６１ａを用いることにより、第１入力データから診断支援情報を取得する。具体的には、生成機能６３ｂは、記憶回路６１に記憶された学習済みモデル６１ａからの指令に従って、学習済みモデル６１ａの入力層に入力された第１入力データに対し、学習済みのパラメータに基づく演算を行い、学習済みモデル６１ａの出力層から診断支援情報を出力するように動作する。このような生成機能６３ｂは、第２マンモグラフィ画像ＭＧ２及び超音波画像ＵＬから総合的に有病から無病までの複数段階を判定するＣＡＤとして動作することから、図６に示すように、「ＭＧ－ＵＬ総合判定ＣＡＤ」等と呼んでもよい。

次に、以上のように構成された医用情報処理システムの動作について図１２を用いて説明する。

いま、マンモグラフィ装置１の記憶回路２２は、被検体の乳房を撮像した第１マンモグラフィ画像ＭＧ１と、第１マンモグラフィ画像ＭＧ１の撮像角度を示す角度情報とを記憶しているとする。

このとき、ステップＳＴ１０において、マンモグラフィ装置１の処理回路２６は、情報処理装置５０からの要求に応じて、第１マンモグラフィ画像ＭＧ１を情報処理装置５０に送信する。

ステップＳＴ１０の後、ステップＳＴ２０において、情報処理装置５０の処理回路５５は、被検体の第１マンモグラフィ画像ＭＧ１を取得すると、当該第１マンモグラフィ画像ＭＧ１を記憶回路５１に保存する。

ステップＳＴ２０の後、ステップＳＴ３０において、超音波診断装置３０は、操作者の操作に応じて、被検体の乳房を超音波プローブ３１でスキャンし、生成された超音波画像と、超音波画像の撮像位置情報とを情報処理装置５０に送信する。

ステップＳＴ３０の後、ステップＳＴ４０において、情報処理装置５０の処理回路５５は、被検体の超音波画像及び超音波画像の撮像位置情報を取得すると共に、当該超音波画像に対して、ＵＬ－ＣＡＤの処理を施し、ＵＬ－ＣＡＤ結果を生成する。

ステップＳＴ４０の後、ステップＳＴ５０において、処理回路５５は、ＵＬ－ＣＡＤ結果が有病を示すか否かを判定し、否の場合には、超音波検査の終了まで当該判定を繰り返し実行する。一方、処理回路５５は、ＵＬ－ＣＡＤ結果が有病を示す場合には、当該超音波画像ＵＬを記憶回路５１に保存する。

ステップＳＴ５０の後、ステップＳＴ６０～ＳＴ７０において、処理回路５５は、超音波画像ＵＬの撮像位置情報に基づいて、第１マンモグラフィ画像ＭＧ１における対応する位置を特定する。例えばステップＳＴ６０において、処理回路５５は、超音波画像ＵＬの撮像位置を示すマークｍｋを乳房のボディマークＢＭ上に描画する。また、処理回路５５は、当該マークｍｋを描画したボディマークＢＭを、当該保存した超音波画像ＵＬに関連付けて記憶回路５１に保存する。

ステップＳＴ６０の後、ステップＳＴ７０において、処理回路５５は、マークｍｋの位置を中心とした帯状の範囲の関心領域を第１マンモグラフィ画像ＭＧ１上で特定し、当該関心領域に高い重み付けをするためのウエイトマップＷＭを作成する。

ステップＳＴ７０の後、ステップＳＴ８０において、処理回路５５は、ステップＳＴ７０で特定された位置に基づく処理を第１マンモグラフィ画像ＭＧ１に施すことにより、第２マンモグラフィ画像ＭＧ２を生成する。この例では、ウエイトマップＷＭの各画素値と、第１マンモグラフィ画像ＭＧ１の各画素値とを乗算処理することにより、第１マンモグラフィ画像ＭＧ１内の関心領域が強調された第２マンモグラフィ画像ＭＧ２を生成する。

ステップＳＴ８０の後、ステップＳＴ１００において、処理回路５５は、生成した第２マンモグラフィ画像ＭＧ２と、記憶回路５１内の超音波画像ＵＬとを含む第１入力データをサーバ装置６０に送信する。

ステップＳＴ１００の後、ステップＳＴ１１０において、サーバ装置６０の処理回路６３は、第１入力データを受信すると、当該第１入力データを入力として、被検体の診断支援情報を生成する。この例では、処理回路６３は、記憶回路６１に記憶された学習済みモデル６１ａを用いることにより、第１入力データから診断支援情報を取得する。具体的には、処理回路６３は、学習済みモデル６１ａからの指令に従い、学習済みモデル６１ａの入力層に入力された第１入力データに対し、学習済みのパラメータに基づく演算を行い、学習済みモデル６１ａの出力層から診断支援情報を出力するように動作する。

ステップＳＴ１１０の後、ステップＳＴ１２０において、処理回路６３は、生成した診断支援情報を情報処理装置５０に送信する。

ステップＳＴ１２０の後、ステップＳＴ１３０において、情報処理装置５０の処理回路５５は、診断支援情報を受信すると、当該診断支援情報を記憶回路５１に保存する。処理回路５５は、操作者（読影医）の操作に応じて、記憶回路５１内の診断支援情報、第１マンモグラフィ画像ＭＧ１及び超音波画像ＵＬを表示するように、ディスプレイ５３を制御する。これにより、読影医による診断業務を支援する。

上述したように第１の実施形態によれば、少なくとも一つの情報処理装置を含むクライアントシステムと、少なくとも一つのサーバ装置を含むサーバシステムと、を備える医用情報処理システムを用いている。クライアントシステムは、被検体の超音波画像を取得し、被検体の第１マンモグラフィ画像を取得し、超音波画像の撮像位置情報に基づいて、第１マンモグラフィ画像における対応する位置を特定する。また、クライアントシステムは、当該対応する位置に基づく処理を第１マンモグラフィ画像に施してなる第２マンモグラフィ画像と超音波画像とを含む第１入力データを送信する。当該サーバシステムは、第１入力データを受信し、当該受信された第１入力データを入力として、被検体の診断支援情報を生成し、診断支援情報を送信する。

このように、第２マンモグラフィ画像と超音波画像とを含む第１入力データを入力として、生成した診断支援情報を送信する構成により、マンモグラフィ画像及び超音波画像を総合的に読影して診断を支援することができる。例えば、互いに同じ位置の同じ病変を撮像したマンモグラフィ画像及び超音波画像を読影して診断を支援することができる。

補足すると、第１の実施形態によれば、超音波画像で描出している乳房の位置に対応したマンモグラフィ画像の箇所に対してＣＡＤ（ＭＧ－ＵＬ総合判定ＣＡＤ）を実行できる。これにより、超音波画像とマンモグラフィ画像との双方の画像において、乳房内の同じ領域を対象にＣＡＤを実行することができる。

これに加え、超音波画像に対するコンピュータ支援検出の結果が有病を示す場合に、対応する位置を特定するので、有病を示す超音波画像を含む第１入力データを入力として、診断支援情報を生成できる。これにより、乳癌検診の効率向上を図ることができる。具体的には、超音波画像の位置を示したボディマークＢＭに応じて、第１マンモグラフィ画像ＭＧ１を加工し、加工後の第２マンモグラフィ画像ＭＧ２と超音波画像ＵＬとを入力として、ＣＡＤにより診断支援情報を生成できる。ここで、超音波画像ＵＬの収集の際に、ＵＬ－ＣＡＤ結果に応じて超音波画像の保存及びボディマークＢＭの作成を自動化でき、乳癌検診のスループットを高めることができる。

［第１の実施形態の変形例］
次に、第１の実施形態の変形例について説明するが、第１の実施形態と重複した部分の説明を省略し、主に、異なる部分について述べる。このことは、以下の各実施形態及び各変形例についても同様である。
第１の実施形態の変形例は、診断支援情報を生成するための入力として、第１の実施形態の第２マンモグラフィ画像ＭＧ２に代えて、図１３に示すように、第１マンモグラフィ画像ＭＧ１及びウエイトマップＷＭを用いる形態である。

これに伴い、情報処理装置５０の処理回路５５では、ＭＧ２生成機能５５ｅが省略され、送受信機能５５ｆが若干変更されている。

すなわち、送受信機能５５ｆは、（特定機能５５ｄにより）特定された対応する位置に関する情報と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとを含む第２入力データを送信する。ここで、対応する位置に関する情報は、特定した関心領域を示す特定情報である。特定情報の一例として、ウエイトマップＷＭを用いている。送受信機能５５ｆは、超音波画像と第１モダリティ画像と超音波画像の撮像位置を表す情報とを送信する第１送信部の一例である。

また、サーバ装置６０の処理回路６３では、学習済みモデル６１ａ、送受信機能６３ａ及び生成機能６３ｂが若干変更されている。

学習済みモデル６１ａは、図１４に示すように、学習データが、対応する位置に関する情報（ＷＭ）と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとを含む入力データと、診断支援情報である出力データとを含んでいる。この場合、学習済みモデル６１ａ及び生成機能６３ｂは、超音波画像と当該超音波画像の撮像位置と第１モダリティ画像とに基づいて、被検体の診断支援情報を生成する生成部の一例である。また、学習済みモデル６１ａ及び生成機能６３ｂは、超音波画像と当該超音波画像の撮像位置と第１モダリティ画像との入力に基づいて、被検体の診断支援情報を生成する生成処理部を備えた生成部の一例でもある。なお、学習データは、図１５に示すように、入力データとして、対応する位置に関する情報（ＷＭ）と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとに加え、ＵＬ－ＣＡＤ結果を含んでもよい。すなわち、学習済みモデル６１ａは、このような学習データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせることにより、得られた学習済みの機械学習モデルである。

送受信機能６３ａは、情報処理装置５０から送信された第２入力データを受信する。送受信機能６３ａは、超音波画像と第１モダリティ画像と超音波画像の撮像位置を表す情報とを受信する受信部と、診断支援情報を送信する第２送信部との一例である。

生成機能６３ｂは、送受信機能６３ａにより受信された第２入力データを入力として、被検体の診断支援情報を生成する。生成機能６３ｂは、超音波画像の撮像位置を表す情報と第１モダリティ画像と超音波画像とを含む第２データに基づいて、被検体の診断支援情報を生成する生成部の一例である。

他の構成は、第１の実施形態と同様である。

以上のように構成された変形例によれば、例えば、図１６に示すように、前述同様のＳＴ１０～ＳＴ７０の後、前述したステップＳＴ８０が省略される。このため、ステップＳＴ７０の後、ステップＳＴ１００において、情報処理装置５０の処理回路５５は、対応する位置に関する情報（ＷＭ）と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとを含む第２入力データをサーバ装置６０に送信する。

ステップＳＴ１００の後、ステップＳＴ１１０において、サーバ装置６０の処理回路６３は、第２入力データを受信すると、当該第２入力データを入力として、被検体の診断支援情報を生成する。この例では、処理回路６３は、記憶回路６１に記憶された学習済みモデル６１ａを用いることにより、第２入力データから診断支援情報を取得する。具体的には、処理回路６３は、学習済みモデル６１ａからの指令に従い、学習済みモデル６１ａの入力層に入力された第２入力データに対し、学習済みのパラメータに基づく演算を行い、学習済みモデル６１ａの出力層から診断支援情報を出力するように動作する。

以下、前述同様にステップＳＴ１２０以降の処理が実行される。

このように変形例によれば、対応する位置に関する情報と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとを含む第２入力データを入力として、生成した診断支援情報を送信する。従って、第１の実施形態と同様に、マンモグラフィ画像及び超音波画像を総合的に読影して診断を支援することができる。これに加え、第１の実施形態とは異なり、第２マンモグラフィ画像ＭＧ２を生成する演算処理を省略することができる。

＜第２の実施形態＞
次に、第２の実施形態に係る医用情報処理システムについて説明する。

第２の実施形態は、第１の実施形態に比べ、図１７に示すように、診断支援情報を生成するための入力として、第１マンモグラフィ画像ＭＧ１に対するコンピュータ支援検出の結果（ＭＧ－ＣＡＤ結果）を更に含む形態である。

これに伴い、情報処理装置５０の処理回路５５では、図１８に示すように、ＭＧ－ＣＡＤ機能５５ｇが追加されている。なお、「ＭＧ－ＣＡＤ機能」は、マンモグラフィ画像以外のモダリティ画像にコンピュータ支援検出処理を施すように変形する場合を考慮し、「ＭＤ－ＣＡＤ機能」と呼んでもよい。

ＭＧ－ＣＡＤ機能５５ｇは、取得機能５５ａに取得された第１マンモグラフィ画像ＭＧ１に対して、マンモグラフィ用のＣＡＤ（ＭＧ－ＣＡＤ）の処理を施す。なお、ＭＧ－ＣＡＤの処理を施すタイミングとしては、第１マンモグラフィ画像ＭＧ１の取得後と、ＭＧ－ＣＡＤ結果を含む入力データの送信前との間であればよい。この種のＭＧ－ＣＡＤとしては、例えば、人工知能（ＡＩ）が適用可能となっている。具体的には例えば、第１マンモグラフィ画像ＭＧ１を入力として、ＭＧ－ＣＡＤ結果を生成する学習済みモデルが使用可能となっている。ＭＧ－ＣＡＤ結果は、例えば、カテゴリ５（有病）～カテゴリ１（無病）の５段階というように、有病から無病までを複数段階で示す情報である。なお、５段階は一例であり、５段階より多くても少なくてもよい。但し、カテゴリ２（有病）及びカテゴリ１（無病）というように、少なくとも２段階は必要である。ＭＧ－ＣＡＤ機能５５ｇは、得られたＭＧ－ＣＡＤ結果を記憶回路５１に保存する。

ＵＬ－ＣＡＤ機能５５ｂは、前述した機能に比べ、ＵＬ－ＣＡＤ結果が有病でない場合でも処理を終了しない。これは、超音波画像ＵＬから検出されず、第１マンモグラフィ画像ＭＧ１のみで検出された病変候補について、診断支援情報を得るためである。

送受信機能５５ｆは、前述した第２マンモグラフィ画像ＭＧ２及び超音波画像ＵＬに加え、ＭＧ－ＣＡＤ結果を更に含む第１入力データをサーバシステムＳｖｓ１内のサーバ装置６０に送信する。

また、サーバ装置６０の処理回路６３では、学習済みモデル６１ａ及び生成機能６３ｂが若干変更されている。

学習済みモデル６１ａは、図１９に示すように、学習データが、ＭＧ－ＣＡＤ結果と超音波画像ＵＬと第２マンモグラフィ画像ＭＧ２とを含む入力データと、診断支援情報である出力データとを含んでいる。なお、学習データは、図２０に示すように、入力データとして、ＭＧ－ＣＡＤ結果と超音波画像ＵＬと第２マンモグラフィ画像ＭＧ２とに加え、ＵＬ－ＣＡＤ結果を含んでもよい。すなわち、学習済みモデル６１ａは、このような学習データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせることにより、得られた学習済みの機械学習モデルである。

生成機能６３ｂは、送受信機能６３ａにより受信された第１入力データを入力として、被検体の診断支援情報を生成する。生成機能６３ｂは、撮像位置に基づく処理を第１モダリティ画像に施した第２モダリティ画像と超音波画像とを含む第１データに基づいて、被検体の診断支援情報を生成する生成部の一例である。

他の構成は、第１の実施形態と同様である。

以上のように構成された第２の実施形態によれば、例えば、図２１に示すように、前述同様のＳＴ１０～ＳＴ５０の後、ＵＬ－ＣＡＤ結果が有病を示すか否かによって処理が分岐する。

ステップＳＴ５０の判定により、ＵＬ－ＣＡＤ結果が有病を示さない場合（ＳＴ５０：Ｎ）には、超音波検査を終了しないのであれば（ＳＴ５１：Ｎ）、ステップＳＴ５０の処理を継続する。また、超音波検査を終了する場合には（ＳＴ５１：Ｙ）、処理回路５５は、第１マンモグラフィ画像ＭＧ１にＭＧ－ＣＡＤの処理を施し、ＭＧ－ＣＡＤ結果を生成する（ステップＳＴ５２）。

ステップＳＴ５２の後、ステップＳＴ５３において、処理回路５５は、ＭＧ－ＣＡＤ結果が有病を示すか否かを判定し、否の場合には処理を終了する。また、処理回路５５は、ＭＧ－ＣＡＤ結果が有病を示す場合には、ステップＳＴ５４において、第１マンモグラフィ画像ＭＧ１内で有病を示す位置を中心とした帯状の関心領域を抜き出すトリミング処理の実行により、第２マンモグラフィ画像ＭＧ２を生成する。

また、処理回路５５は、第１マンモグラフィ画像ＭＧ１内で有病を示す大体の位置を超音波診断装置３０に送信する。例えば、処理回路５５は、既存の超音波診断支援機能により、当該有病を示す大体の位置を描画したボディマークＢＭを生成し、当該ボディマークＢＭを超音波診断装置３０に送信してもよい。超音波診断装置３０は、超音波プローブ３１の操作により、当該有病を示す大体の位置に対応する超音波画像ＵＬを情報処理装置５０に送信する。これにより、情報処理装置５０の処理回路５５は、当該有病を示す大体の位置に対応する超音波画像ＵＬを取得する。当該取得した超音波画像ＵＬは、後段の処理で第１入力データに含められる。ステップＳＴ５４の後、処理回路５５は、ステップＳＴ１００に移行する。

一方、ステップＳＴ５０の判定により、ＵＬ－ＣＡＤ結果が有病を示す場合（ＳＴ５０：Ｙ）、処理回路５５は、前述同様のステップＳＴ６０～ＳＴ８０を実行する。ステップＳＴ８０の後、追加したステップＳＴ９０において、処理回路５５は、第１マンモグラフィ画像ＭＧ１にＭＧ－ＣＡＤの処理を施し、ＭＧ－ＣＡＤ結果を生成する。ステップＳＴ９０の後、ステップＳＴ１００において、情報処理装置５０の処理回路５５は、ＭＧ－ＣＡＤ結果と第２マンモグラフィ画像ＭＧ２と超音波画像ＵＬとを含む第１入力データをサーバ装置６０に送信する。

ステップＳＴ１００の後、ステップＳＴ１１０において、サーバ装置６０の処理回路６３は、第１入力データを受信すると、当該第１入力データを入力として、被検体の診断支援情報を生成する。この例では、処理回路６３は、記憶回路６１に記憶された学習済みモデル６１ａを用いることにより、第１入力データから診断支援情報を取得する。具体的には、処理回路６３は、学習済みモデル６１ａからの指令に従い、学習済みモデル６１ａの入力層に入力された第１入力データに対し、学習済みのパラメータに基づく演算を行い、学習済みモデル６１ａの出力層から診断支援情報を出力するように動作する。

以下、前述同様にステップＳＴ１２０以降の処理が実行される。

このように第２の実施形態によれば、ＭＧ－ＣＡＤ結果と第２マンモグラフィ画像ＭＧ２と超音波画像ＵＬとを含む第１入力データを入力として、生成した診断支援情報を送信する。従って、第１の実施形態と同様に、マンモグラフィ画像及び超音波画像を総合的に読影して診断を支援することができる。

これに加え、第２の実施形態によれば、第１の実施形態とは異なり、ＭＧ－ＣＡＤ結果を用いるので、超音波画像ＵＬのＣＡＤで検出されず、第１マンモグラフィ画像ＭＧ１のＣＡＤのみで検出された病変候補についても、診断支援情報に反映できる。補足すると、第１の実施形態の場合、超音波画像ＵＬのＣＡＤ結果に基づく第２マンモグラフィ画像ＭＧ２を用いるので、超音波画像ＵＬのＣＡＤで検出されない病変候補が漏れる懸念がある。これに対し、第２の実施形態では、診断支援情報を生成するための入力データとして、第１マンモグラフィ画像ＭＧ１に対するＭＧ－ＣＡＤ結果を含めるので、そのような懸念がない。

［第２の実施形態の変形例］
第２の実施形態の変形例は、診断支援情報を生成するための入力として、第２の実施形態の第２マンモグラフィ画像ＭＧ２に代えて、図２２に示すように、第１マンモグラフィ画像ＭＧ１及びウエイトマップＷＭを用いる形態である。なお、第２の実施形態の変形例は、第１の実施形態の変形例に比べた場合、第２入力データとして、ＭＧ－ＣＡＤ結果を更に含む形態となっている。

これに伴い、第２の実施形態の変形例において、情報処理装置５０の処理回路５５では、ＭＧ２生成機能５５ｅが省略され、送受信機能５５ｆが若干変更されている。

すなわち、送受信機能５５ｆは、（特定機能５５ｄにより）特定された対応する位置に関する情報と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとＭＧ－ＣＡＤ結果とを含む第２入力データを送信する。ここで、対応する位置に関する情報は、特定した関心領域を示す特定情報である。特定情報の一例として、ウエイトマップＷＭを用いている。

また、サーバ装置６０の処理回路６３では、学習済みモデル６１ａ、送受信機能６３ａ及び生成機能６３ｂが若干変更されている。

学習済みモデル６１ａは、図２３に示すように、学習データが、対応する位置に関する情報（ＷＭ）と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとＭＧ－ＣＡＤ結果とを含む入力データと、診断支援情報である出力データとを含んでいる。なお、学習データは、図２４に示すように、入力データとして、対応する位置に関する情報（ＷＭ）と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとＭＧ－ＣＡＤ結果とに加え、ＵＬ－ＣＡＤ結果を含んでもよい。この場合、学習済みモデル６１ａは、超音波画像ＵＬに対して行われたコンピュータ支援検出の結果と、第１モダリティ画像ＭＤ１に対して行われたコンピュータ支援検出の結果と、超音波画像ＵＬの撮像位置と、超音波画像ＵＬと、第１モダリティ画像ＭＤ１との入力に基づいて、被検体の診断支援情報を生成する生成処理部の一例である。図２４に示す場合、第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとを省略し、入力データとして、対応する位置に関する情報（ＷＭ）とＭＧ－ＣＡＤ結果とＵＬ－ＣＡＤ結果とを含むように変形してもよい。この省略した場合、学習済みモデル６１ａは、超音波画像ＵＬに対して行われたコンピュータ支援検出の結果と、第１モダリティ画像ＭＤ１に対して行われたコンピュータ支援検出の結果と、超音波画像ＵＬの撮像位置との入力に基づいて、被検体の診断支援情報を生成する生成処理部の一例である。いずれにしても、学習済みモデル６１ａは、このような学習データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせることにより、得られた学習済みの機械学習モデルである。

送受信機能６３ａは、情報処理装置５０から送信された第２入力データを受信する。

生成機能６３ｂは、送受信機能６３ａにより受信された第２入力データを入力として、被検体の診断支援情報を生成する。

他の構成は、第２の実施形態と同様である。

以上のように構成された変形例によれば、例えば、図２５に示すように、前述同様のＳＴ１０～ＳＴ７０の後、前述したステップＳＴ８０が省略され、前述したステップＳＴ９０によりＭＧ－ＣＡＤ結果が生成される。このため、ステップＳＴ９０の後、ステップＳＴ１００において、情報処理装置５０の処理回路５５は、対応する位置に関する情報（ＷＭ）と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとＭＧ－ＣＡＤ結果とを含む第２入力データをサーバ装置６０に送信する。

ステップＳＴ１００の後、ステップＳＴ１１０において、サーバ装置６０の処理回路６３は、第２入力データを受信すると、当該第２入力データを入力として、被検体の診断支援情報を生成する。

以下、前述同様にステップＳＴ１２０以降の処理が実行される。

このように第２の実施形態の変形例によれば、対応する位置に関する情報と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとＭＧ－ＣＡＤ結果とを含む第２入力データを入力として、生成した診断支援情報を送信する。従って、第２の実施形態の効果に加え、第２マンモグラフィ画像ＭＧ２を生成する演算処理を省略することができる。

＜第３の実施形態＞
次に、第３の実施形態に係る医用情報処理システムについて説明する。

第３の実施形態は、第１の実施形態の変形例であり、クライアントシステムが複数の情報処理装置を含む形態である。

図２６に示す例では、クライアントシステムＣｌｓ２は、第１情報処理装置５０Ａ及び第２情報処理装置５０Ｂを備えている。

ここで、第１情報処理装置５０Ａ及び第２情報処理装置５０Ｂは、前述した情報処理装置５０の機能を分散配置したものである。このため、第１情報処理装置５０Ａ及び第２情報処理装置５０Ｂは、互いの装置間の送受信に関する機能を除き、前述した情報処理装置５０と同様に機能する。すなわち、クライアントシステムＣｌｓ２の送受信内容は、前述したクライアントシステムＣｌｓ１の送受信内容と同様である。

すなわち、第１情報処理装置５０Ａは、構成要素として、記憶回路５１Ａ、入力インタフェース５２Ａ、ディスプレイ５３Ａ、ネットワークインタフェース５４Ａ及び処理回路５５Ａを備えている。処理回路５５Ａは、取得機能５５Ａａ及び送受信機能５５Ａｆを実現する。第１情報処理装置５０Ａの構成要素（５１Ａ～５５Ａ、５５Ａａ、５５Ａｆ）は、前述した情報処理装置５０の構成要素（５１～５５、５５ａ、５５ｆ）に符号Ａを加えたものであり、情報処理装置５０の構成要素と同様に機能する。

第２情報処理装置５０Ｂは、構成要素として、記憶回路５１Ｂ、入力インタフェース５２Ｂ、ディスプレイ５３Ｂ、ネットワークインタフェース５４Ｂ及び処理回路５５Ｂを備えている。処理回路５５Ｂは、取得機能５５Ｂａ、ＵＬ－ＣＡＤ機能５５Ｂｂ、特定機能５５Ｂｄ、ＭＧ２生成機能５５Ｂｅ及びＭＧ－ＣＡＤ機能５５Ｂｇを実現する。第２情報処理装置５０Ｂの構成要素（５１Ｂ～５５Ｂ、５５Ｂａ～５５Ｂｅ、５５Ｂｇ）は、前述した情報処理装置５０の構成要素（５１～５５、５５ａ～５５ｅ、５５ｇ）に符号Ｂを加えたものであり、情報処理装置５０の構成要素と同様に機能する。

他の構成は、第１の実施形態と同様である。

以上のような構成によれば、例えば、図２８に示すように、前述同様のＳＴ１０～ＳＴ２０の後、ステップＳＴ２１において、第１情報処理装置５０Ａは、第１マンモグラフィ画像ＭＧ１を第２情報処理装置５０Ｂに送信する。また、ステップＳＴ２１、ＳＴ３０の後、ステップＳＴ３１において、第１情報処理装置５０Ａは、超音波画像ＵＬ及び超音波画像ＵＬの撮像位置情報を第２情報処理装置５０Ｂに送信する。

ステップＳＴ３１の後、第２情報処理装置５０Ｂは、前述同様にＳＴ４０～ＳＴ５０を実行した後、ＵＬ－ＣＡＤが有病を示す場合には、当該超音波画像ＵＬを第１情報処理装置５０Ａに送信する（ステップＳＴ５６）。

ステップＳＴ５６の後、ステップＳＴ５７において、第１情報処理装置５０Ａは、受信した超音波画像ＵＬを記憶回路５１Ａに保存する。

一方、第２情報処理装置５０Ｂでは、ステップＳＴ５６の後、前述同様にステップＳＴ６０～ＳＴ８０が実行され、ステップＳＴ８１において、第２マンモグラフィ画像ＭＧ２が第１情報処理装置５０Ａに送信される。

ステップＳＴ８１の後、ステップＳＴ１００において、第１情報処理装置５０Ａの処理回路５５Ａは、受信した第２マンモグラフィ画像ＭＧ２と、記憶回路５１Ａ内の超音波画像ＵＬとを含む第１入力データをサーバ装置６０に送信する。

以下、前述同様に、ステップＳＴ１１０以降の処理が実行される。

上述したように第３の実施形態によれば、第１の実施形態の情報処理装置５０の機能を、２台の情報処理装置（５０Ａ，５０Ｂ）に分散配置した構成としても、第１の実施形態と同様の効果を得ることができる。補足すると、第３の実施形態によれば、サーバ装置６０に対する第１入力データ及び診断支援情報が第１の実施形態における第１入力データ及び診断支援情報と同様であるため、第１の実施形態と同様の効果を得ることができる。

また、第３の実施形態における２台の情報処理装置（５０Ａ，５０Ｂ）に分散配置した構成は、図２９に示すように、第２入力データを用いる第１の実施形態の変形例にも適用できる。この場合、第１の実施形態の変形例と同様の効果を得ることができる。

同様に、第３の実施形態における２台の情報処理装置（５０Ａ，５０Ｂ）に分散配置した構成は、図３０に示すように、ＭＧ－ＣＡＤ結果を含む第１入力データを用いる第２の実施形態にも適用できる。この場合、第２の実施形態と同様の効果を得ることができる。

また同様に、第３の実施形態における２台の情報処理装置（５０Ａ，５０Ｂ）に分散配置した構成は、図３１に示すように、ＭＧ－ＣＡＤ結果を含む第２入力データを用いる第２の実施形態の変形例にも適用できる。この場合、第２の実施形態の変形例と同様の効果を得ることができる。

＜第４の実施形態＞
次に、第４の実施形態に係る医用情報処理システムについて説明する。

第４の実施形態は、第１の実施形態の変形例であり、クライアントシステムが画像の取得と送受信を実行し、サーバシステムがＵＬ－ＣＡＤの処理から診断支援情報の生成までを実行する形態である。

図３２に示す例では、クライアントシステムＣｌｓ３は、少なくとも一つの情報処理装置として、情報処理装置５０Ｃを備えている。サーバシステムＳｖｓ２は、少なくとも一つのサーバ装置として、サーバ装置６０Ｃを備えている。

ここで、情報処理装置５０Ｃは、図５に示した構成に比べ、処理回路５５が実現する機能５５ａ～５５ｆのうち、ＵＬ－ＣＡＤ機能５５ｂ、特定機能５５ｄ及びＭＧ２生成機能５５ｅが省略された構成である。すなわち、本実施形態に係る処理回路５５は、記憶回路５１内の制御プログラムの実行により、取得機能５５ａ及び送受信機能５５ｆを実現する。但し、送受信機能５５ｆは、若干変更されている。

取得機能５５ａは、被検体の超音波画像ＵＬを取得する第１取得機能と、当該被検体の第１マンモグラフィ画像ＭＧ１を取得する第２取得機能とを含んでいる。なお、第１取得機能は、超音波画像ＵＬを取得すると共に、超音波画像ＵＬの撮像位置情報（超音波プローブ３１の位置情報）をリアルタイムに取得してもよい。第２取得機能は、被検体の第１モダリティ画像であって、超音波画像とは異なる当該第１モダリティ画像を取得する第２取得部の一例である。

送受信機能５５ｆは、他の装置との間で送受信を実行する機能である。例えば、送受信機能５５ｆは、取得機能５５ａにより取得した第１マンモグラフィ画像ＭＧ１をサーバ装置６０Ｃに送信する。また、送受信機能５５ｆは、取得機能５５ａにより取得された超音波画像ＵＬ及び超音波画像の撮像位置情報をサーバ装置６０Ｃに送信する。また、送受信機能５５ｆは、サーバ装置６０から診断支援情報を受信する。

一方、サーバ装置６０Ｃは、図８に示した構成に比べ、処理回路６３が実現する機能６３ａ，６３ｂに加え、ＵＬ－ＣＡＤ機能６３ｃ、特定機能６３ｅ及びＭＧ２生成機能６３ｆが付加された構成である。すなわち、本実施形態に係る処理回路６３は、記憶回路６１内の制御プログラムの実行により、送受信機能６３ａ、生成機能６３ｂ、ＵＬ－ＣＡＤ機能６３ｃ、特定機能６３ｅ及びＭＧ２生成機能６３ｆを実現する。但し、送受信機能６３ａ及び生成機能６３ｂは、若干変更されている。また、付加されたＵＬ－ＣＡＤ機能６３ｃ、特定機能６３ｅ及びＭＧ２生成機能６３ｆは、前述したＵＬ－ＣＡＤ機能５５ｂ、特定機能５５ｄ及びＭＧ２生成機能５５ｅをサーバ装置６０Ｃに配置したものである。これに伴い、画像の入手先などが若干異なる。

送受信機能６３ａは、他の装置との間で送受信を実行する機能であり、例えば、情報処理装置５０Ｃから第１マンモグラフィ画像ＭＧ１、超音波画像ＵＬ、超音波画像ＵＬの撮像位置情報を受信する。また、送受信機能６３ａは、生成機能６３ｂにより生成された診断支援情報を送信する。

生成機能６３ｂは、ＭＧ２生成機能６３ｆにより生成された第２マンモグラフィ画像ＭＧ２、送受信機能６３ａにより受信された超音波画像ＵＬを含む第１入力データを入力として、又は、送受信機能６３ａにより受信された第１マンモグラフィ画像ＭＧ１及び超音波画像ＵＬを含む第２入力データを入力として、被検体の診断支援情報を生成する。なお、第４の実施形態では、前者の第１入力データを入力とする場合について説明する。後者の第２入力データを入力する場合については、第４の実施形態の変形例で述べる。診断支援情報は、前述同様である。また、生成機能６３ｂは、前述同様に、学習済みモデル６１ａを用いることにより、診断支援情報を生成する。生成機能６３ｂは、超音波画像の撮像位置に基づく処理を第１モダリティ画像に施した第２モダリティ画像と超音波画像とを含む第１データ、又は、超音波画像の撮像位置を表す情報と第１モダリティ画像と超音波画像とを含む第２データに基づいて、被検体の診断支援情報を生成する生成部の一例である。

ＵＬ－ＣＡＤ機能６３ｃは、送受信機能６３ａに受信された超音波画像ＵＬに対して、前述同様に、超音波用のＣＡＤ（ＵＬ－ＣＡＤ）の処理を施す。また同様に、ＵＬ－ＣＡＤ機能６３ｃは、ＵＬ－ＣＡＤ結果が有病を示す場合に、当該超音波画像ＵＬを記憶回路６１に保存し、特定機能６３ｅを起動する。

特定機能６３ｅは、超音波画像ＵＬの撮像位置情報に基づいて、第１マンモグラフィ画像ＭＧ１における対応する位置を特定する。具体的には例えば、超音波画像ＵＬの撮像位置情報に基づいて、超音波画像ＵＬの撮像位置を示すマークｍｋを乳房のボディマークＢＭ上に描画する。また、特定機能６３ｅは、当該マークｍｋの位置を中心とした帯状の範囲の関心領域を第１マンモグラフィ画像ＭＧ１上で特定し、当該特定した関心領域を示す特定情報を作成する。特定情報としては、前述した通り、例えば、ウエイトマップＷＭ、又はトリミング情報などが適宜、使用可能となっている。また、特定機能６３ｅは、マークｍｋを描画したボディマークＢＭを、ＵＬ－ＣＡＤ機能５５ｂにより保存された超音波画像ＵＬに関連付けて記憶回路５１に保存する。特定機能６３ｅは、超音波画像の撮像位置を表す情報に基づいて、第１モダリティ画像内で当該撮像位置に対応する位置を特定する特定部の一例である。

ＭＧ２生成機能６３ｆは、例えば、特定機能６３ｅにより特定された位置に基づく処理を第１マンモグラフィ画像ＭＧ１に施すことにより、第２マンモグラフィ画像ＭＧ２を生成する。具体的には例えば、前述した通り、ウエイトマップＷＭの各画素値と、第１マンモグラフィ画像ＭＧ１の各画素値とを乗算処理することにより、第２マンモグラフィ画像ＭＧ２を生成してもよい。また同様に、ＭＧ２生成機能６３ｆは、トリミング情報に基づいて、第１マンモグラフィ画像ＭＧ１に対してトリミング処理を実行することにより、第２マンモグラフィ画像ＭＧ２を生成してもよい。ＭＧ２生成機能６３ｆは、超音波画像の撮像位置に基づく処理を第１モダリティ画像に施して第２モダリティ画像を生成する画像生成部の一例である。

次に、以上のように構成された医用情報処理システムの動作について図３３を用いて説明する。

いま、前述同様に、ステップＳＴ１０～ＳＴ２０が実行される。ステップＳＴ２０の後、ステップＳＴ２１において、情報処理装置５０の処理回路５５は、第１マンモグラフィ画像ＭＧ１をサーバ装置６０に送信する。サーバ装置６０は、第１マンモグラフィ画像ＭＧ１を受信する。

ステップＳＴ２１の後、前述同様に、ステップＳＴ３０が実行される。

ステップＳＴ３０の後、ステップＳＴ３１において、情報処理装置５０の処理回路５５は、超音波画像ＵＬ及び超音波画像ＵＬの撮像位置情報をサーバ装置６０に送信する。サーバ装置６０は、超音波画像ＵＬ及び超音波画像ＵＬの撮像位置情報を受信する。

ステップＳＴ３１の後、ステップＳＴ４０において、サーバ装置６０の処理回路６３は、受信した超音波画像に対して、ＵＬ－ＣＡＤの処理を施し、ＵＬ－ＣＡＤ結果を生成する。

ステップＳＴ４０の後、ステップＳＴ５０において、処理回路６３は、ＵＬ－ＣＡＤ結果が有病を示すか否かを判定し、否の場合には、超音波検査の終了まで当該判定を繰り返し実行する。一方、処理回路６３は、ＵＬ－ＣＡＤ結果が有病を示す場合には、当該超音波画像ＵＬを記憶回路６１に保存する。ＵＬ－ＣＡＤが有病を示す場合には、当該超音波画像ＵＬを第１情報処理装置５０Ａに送信する（ステップＳＴ５６）。

ステップＳＴ５６の後、ステップＳＴ５７において、情報処理装置５０は、受信した超音波画像ＵＬを記憶回路５１に保存する。

一方、サーバ装置６０では、ステップＳＴ５６の後、ステップＳＴ６０～ＳＴ７０において、処理回路６３は、超音波画像ＵＬの撮像位置情報に基づいて、第１マンモグラフィ画像ＭＧ１における対応する位置を特定する。例えばステップＳＴ６０において、超音波画像ＵＬの撮像位置を示すマークｍｋを乳房のボディマークＢＭ上に描画する。また、処理回路６３は、当該マークｍｋを描画したボディマークＢＭを、当該保存した超音波画像ＵＬに関連付けて記憶回路６１に保存する。

また、ステップＳＴ７０において、処理回路６３は、マークｍｋの位置を中心とした帯状の範囲の関心領域を第１マンモグラフィ画像ＭＧ１上で特定する。また、処理回路６３は、前述同様に、当該特定した関心領域に高い重み付けをするためのウエイトマップＷＭを作成する。

ステップＳＴ７０の後、ステップＳＴ８０において、処理回路６３は、ステップＳＴ７０で特定された位置に基づく処理を第１マンモグラフィ画像ＭＧ１に施すことにより、第２マンモグラフィ画像ＭＧ２を生成する。この例では、ウエイトマップＷＭの各画素値と、第１マンモグラフィ画像ＭＧ１の各画素値とを乗算処理することにより、第１マンモグラフィ画像ＭＧ１内の関心領域が強調された第２マンモグラフィ画像ＭＧ２を生成する。

ステップＳＴ８０の後、ステップＳＴ１１０において、処理回路６３は、生成した第２マンモグラフィ画像ＭＧ２と、記憶回路６１内の超音波画像ＵＬとを含む第１入力データを入力として、被検体の診断支援情報を生成する。この例では、処理回路６３は、前述同様に、記憶回路６１に記憶された学習済みモデル６１ａを用いる。

ステップＳＴ１１０の後、ステップＳＴ１２０において、処理回路６３は、生成した診断支援情報を情報処理装置５０に送信する。

ステップＳＴ１２０の後、ステップＳＴ１３０において、情報処理装置５０の処理回路５５は、診断支援情報を受信すると、当該診断支援情報を記憶回路５１に保存する。処理回路５５は、操作者（読影医）の操作に応じて、記憶回路５１内の診断支援情報、第１マンモグラフィ画像ＭＧ１及び超音波画像を表示するように、ディスプレイ５３を制御する。これにより、読影医による診断業務を支援する。

上述したように第４の実施形態によれば、少なくとも一つの情報処理装置を含むクライアントシステムと、少なくとも一つのサーバ装置を含むサーバシステムと、を備える医用情報処理システムを用いている。クライアントシステムは、被検体の超音波画像を取得し、被検体の第１マンモグラフィ画像を取得し、超音波画像と第１マンモグラフィ画像と超音波画像の撮像位置情報とを送信する。サーバシステムは、超音波画像と第１マンモグラフィ画像と超音波画像の撮像位置情報とを受信し、撮像位置情報に基づいて、第１マンモグラフィ画像における対応する位置を特定する。また、サーバシステムは、対応する位置に基づく処理を第１マンモグラフィ画像に施してなる第２マンモグラフィ画像と超音波画像とを含む第１入力データを入力として、被検体の診断支援情報を生成し、診断支援情報を送信する。

このように、第２マンモグラフィ画像と超音波画像とを含む第１入力データを入力として、生成した診断支援情報を送信する構成により、マンモグラフィ画像及び超音波画像を総合的に読影して診断を支援することができる。

［第４の実施形態の変形例］
第４の実施形態の変形例は、前述した第１の実施形態の変形例に第４の実施形態を適用したものである。第４の実施形態の変形例は、診断支援情報を生成するための入力として、第４の実施形態の第２マンモグラフィ画像ＭＧ２に代えて、第１マンモグラフィ画像ＭＧ１及びウエイトマップＷＭを用いる形態である。

これに伴い、サーバ装置６０の処理回路６３では、ＭＧ２生成機能６３ｆが省略され、学習済みモデル６１ａ及び生成機能６３ｂが若干変更されている。

学習済みモデル６１ａは、学習データが、対応する位置に関する情報（ＷＭ）と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとを含む入力データと、診断支援情報である出力データとを含んでいる。なお、学習データは、入力データとして、対応する位置に関する情報（ＷＭ）と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとに加え、ＵＬ－ＣＡＤ結果を含んでもよい。すなわち、学習済みモデル６１ａは、このような学習データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせることにより、得られた学習済みの機械学習モデルである。

生成機能６３ｂは、対応する位置に関する情報（ＷＭ）と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとを含む第２入力データを入力として、被検体の診断支援情報を生成する。

他の構成は、第４の実施形態と同様である。

以上のように構成された変形例によれば、例えば、図３４に示すように、前述同様のＳＴ１０～ＳＴ７０の後、前述したステップＳＴ８０が省略される。このため、ステップＳＴ７０の後、ステップＳＴ１１０において、サーバ装置６０の処理回路６３は、対応する位置に関する情報（ＷＭ）と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとを含む第２入力データを入力として、被検体の診断支援情報を生成する。この例では、処理回路６３は、前述同様に、記憶回路６１に記憶された学習済みモデル６１ａを用いることにより、第２入力データから診断支援情報を生成する。

以下、前述同様にステップＳＴ１２０以降の処理が実行される。

このように変形例によれば、対応する位置に関する情報と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとを含む第２入力データを入力として、生成した診断支援情報を送信する。従って、第４の実施形態と同様に、マンモグラフィ画像及び超音波画像を総合的に読影して診断を支援することができる。これに加え、第４の実施形態とは異なり、第２マンモグラフィ画像ＭＧ２を生成する演算処理を省略することができる。

＜第５の実施形態＞
次に、第５の実施形態に係る医用情報処理システムについて説明する。

第５の実施形態は、前述した第２の実施形態に第４の実施形態を適用したものである。第５の実施形態は、第４の実施形態に比べ、診断支援情報を生成するための入力として、第１マンモグラフィ画像ＭＧ１のＣＡＤ結果（ＭＧ－ＣＡＤ結果）を追加した形態である。

これに伴い、サーバ装置６０の処理回路６３では、図３５に示すように、ＭＧ－ＣＡＤ機能６３ｇが追加されている。

ＭＧ－ＣＡＤ機能６３ｇは、ＵＬ－ＣＡＤ結果が有病を示す場合に、送受信機能６３ａに受信された第１マンモグラフィ画像ＭＧ１に対して、マンモグラフィ用のＣＡＤ（ＭＧ－ＣＡＤ）の処理を施す。なお、ＭＧ－ＣＡＤの処理を施すタイミングとしては、ＵＬ－ＣＡＤ機能６３ｃの実行後と生成機能６３ｂの実行前との間であればよい。この種のＭＧ－ＣＡＤとしては、前述同様に、例えば、人工知能（ＡＩ）が適用可能となっており、第１マンモグラフィ画像ＭＧ１を入力として、ＭＧ－ＣＡＤ結果を生成する学習済みモデルが使用可能となっている。ＭＧ－ＣＡＤ結果は、前述した通りである。ＭＧ－ＣＡＤ機能６３ｇは、得られたＭＧ－ＣＡＤ結果を記憶回路５１に保存する。

また、サーバ装置６０の処理回路６３では、学習済みモデル６１ａ及び生成機能６３ｂが若干変更されている。

学習済みモデル６１ａは、学習データが、ＭＧ－ＣＡＤ結果と超音波画像ＵＬと第２マンモグラフィ画像ＭＧ２とを含む入力データと、診断支援情報である出力データとを含んでいる。なお、学習データは、入力データとして、ＭＧ－ＣＡＤ結果と超音波画像ＵＬと第２マンモグラフィ画像ＭＧ２とに加え、ＵＬ－ＣＡＤ結果を含んでもよい。すなわち、学習済みモデル６１ａは、このような学習データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせることにより、得られた学習済みの機械学習モデルである。

生成機能６３ｂは、前述した第２マンモグラフィ画像ＭＧ２及び超音波画像ＵＬに加え、ＭＧ－ＣＡＤ結果を更に含む第１入力データを入力として、被検体の診断支援情報を生成する。

他の構成は、第４の実施形態と同様である。

以上のように構成された変形例によれば、例えば、図３６に示すように、前述同様のＳＴ１０～ＳＴ８０の後、追加したステップＳＴ９０において、サーバ装置６０の処理回路６３は、第１マンモグラフィ画像ＭＧ１にＭＧ－ＣＡＤの処理を施し、ＭＧ－ＣＡＤ結果を生成する。ステップＳＴ９０の後、ステップＳＴ１１０において、処理回路６３は、ＭＧ－ＣＡＤ結果と第２マンモグラフィ画像ＭＧ２と超音波画像ＵＬとを含む第１入力データを入力として、被検体の診断支援情報を生成する。

以下、前述同様にステップＳＴ１２０以降の処理が実行される。

このように第５の実施形態によれば、ＭＧ－ＣＡＤ結果と第２マンモグラフィ画像ＭＧ２と超音波画像ＵＬとを含む第１入力データを入力として、生成した診断支援情報を送信する。従って、第４の実施形態と同様に、マンモグラフィ画像及び超音波画像を総合的に読影して診断を支援することができる。

これに加え、第５の実施形態によれば、第４の実施形態とは異なり、ＭＧ－ＣＡＤ結果を用いるので、超音波画像ＵＬのＣＡＤで検出されず、第１マンモグラフィ画像ＭＧ１のＣＡＤのみで検出された病変候補についても、診断支援情報に反映できる。

［第５の実施形態の変形例］
第５の実施形態の変形例は、前述した第２の実施形態の変形例に第５の実施形態を適用したものである。すなわち、第５の実施形態の変形例は、診断支援情報を生成するための入力として、第５の実施形態の第２マンモグラフィ画像ＭＧ２に代えて、第１マンモグラフィ画像ＭＧ１及びウエイトマップＷＭを用いる形態である。なお、第５の実施形態の変形例は、第４の実施形態の変形例に比べた場合、第２入力データとして、ＭＧ－ＣＡＤ結果を追加した形態となっている。

これに伴い、第５の実施形態の変形例において、サーバ装置６０の処理回路６３では、ＭＧ２生成機能６３ｆが省略され、学習済みモデル６１ａ及び生成機能６３ｂが若干変更されている。

学習済みモデル６１ａは、学習データが、対応する位置に関する情報（ＷＭ）と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとＭＧ－ＣＡＤ結果とを含む入力データと、診断支援情報である出力データとを含んでいる。なお、学習データは、入力データとして、対応する位置に関する情報（ＷＭ）と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとＭＧ－ＣＡＤ結果とに加え、ＵＬ－ＣＡＤ結果を含んでもよい。すなわち、学習済みモデル６１ａは、このような学習データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせることにより、得られた学習済みの機械学習モデルである。

生成機能６３ｂは、対応する位置に関する情報（ＷＭ）と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとＭＧ－ＣＡＤ結果とを含む第２入力データを入力として、被検体の診断支援情報を生成する。

他の構成は、第５の実施形態と同様である。

以上のように構成された変形例によれば、例えば、図３７に示すように、前述同様のＳＴ１０～ＳＴ７０の後、前述したステップＳＴ８０が省略され、前述したステップＳＴ９０によりＭＧ－ＣＡＤ結果が生成される。このため、ステップＳＴ９０の後、ステップＳＴ１１０において、サーバ装置６０の処理回路６３は、対応する位置に関する情報（ＷＭ）と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとＭＧ－ＣＡＤ結果とを含む第２入力データを入力として、被検体の診断支援情報を生成する。

以下、前述同様にステップＳＴ１２０以降の処理が実行される。

このように第５の実施形態の変形例によれば、対応する位置に関する情報と第１マンモグラフィ画像ＭＧ１と超音波画像ＵＬとＭＧ－ＣＡＤ結果とを含む第２入力データを入力として、生成した診断支援情報を送信する。従って、第５の実施形態の効果に加え、第２マンモグラフィ画像ＭＧ２を生成する演算処理を省略することができる。

＜第６の実施形態＞
次に、第６の実施形態に係る医用情報処理システムについて説明する。

第６の実施形態は、第１及び第２の実施形態の変形例であり、図３８に示すように、サーバシステムＳｖｓ３内のクラウド７０がインターネットＮｗ_ｉを介して、クライアントシステムＣｌｓ４内の情報処理装置５０Ｄに通信可能となっている。インターネットＮｗ_ｉは、図示しないルータやファイアウォール等を介して、前述したネットワークＮｗに接続されている。前述したネットワークＮｗは、前述したマンモグラフィ装置１及び超音波診断装置３０に接続されている。

ここで、情報処理装置５０Ｄは、通常のコンピュータ装置であり、インターネットＮｗ_ｉを介してクラウド７０に通信可能となっている。

クラウド７０は、ストレージ７１、送受信部７２、取得部７３、ＵＬ－ＣＡＤ部７４、特定部７６、ＭＧ２生成部７７、ＭＧ－ＣＡＤ部７８、生成部７９を含んで構成されている。すなわち、クラウド７０は、マンモグラフィ装置１及び超音波診断装置３０からの第１マンモグラフィ画像ＭＧ１及び超音波画像ＵＬ等の取得から、診断支援情報の送信までの処理を実行可能なシステムである。なお、クラウド７０は、ストレージ７１、送受信部７２、取得部７３、ＵＬ－ＣＡＤ部７４、特定部７６、ＭＧ２生成部７７、ＭＧ－ＣＡＤ部７８、生成部７９を、単一のサーバ装置に備えてもよく、複数のサーバ装置に分散配置してもよい。送受信部７２、取得部７３、ＵＬ－ＣＡＤ部７４、特定部７６、ＭＧ２生成部７７、ＭＧ－ＣＡＤ部７８及び生成部７９は、図示しない単一又は複数のサーバ装置内の処理回路が制御プログラムを実行することにより実現される処理部である。この制御プログラムは、例えば、医用情報処理システムのコンピュータに、以下の各機能（ａ）～（ｄ）を実現させるための医用情報処理プログラムとしてもよい。（ａ）被検体の超音波画像をストレージに取得する機能。（ｂ）被検体の第１マンモグラフィ画像をストレージに取得する機能。（ｃ）ストレージに記憶された超音波画像の撮像位置情報に基づいて、ストレージに記憶された第１マンモグラフィ画像における対応する位置を特定する機能。（ｄ）対応する位置に基づく処理を第１マンモグラフィ画像に施してなる第２マンモグラフィ画像と超音波画像とを含む第１入力データを入力として、又は、対応する位置に関する情報と第１マンモグラフィ画像と超音波画像とを含む第２入力データを入力として、被検体の診断支援情報を生成する機能。また、このような医用情報処理プログラムを記憶する非一時的な記憶媒体Ｍｄを用い、当該記憶媒体Ｍｄ内の医用情報処理プログラムを医用情報処理システムのコンピュータにインストールすることにより、当該コンピュータに各機能（ａ）～（ｄ）を実現させてもよい。なお。上記（ｂ）の機能は、被検体の第１モダリティ画像であって、超音波画像とは異なる当該第１モダリティ画像をストレージに取得する機能の一例である。上記（ｃ）の機能は、省略してもよい。上記（ｄ）の機能は、ストレージに記憶された超音波画像の撮像位置に基づく処理を第１モダリティ画像に施した第２モダリティ画像と超音波画像とを含む第１データ、又は、超音波画像の撮像位置を表す情報と第１モダリティ画像と超音波画像とを含む第２データに基づいて、被検体の診断支援情報を生成する機能の一例である。あるいは、この制御プログラムは、例えば、医用情報処理システムのコンピュータに、以下の各機能（ａ）（ｂ）（ｅ）（ｆ）を実現させるための医用情報処理プログラムとしてもよい。上記（ａ）、（ｂ）の機能は、前述した通りである。（ｅ）被検体の超音波画像の撮像位置をストレージに取得する機能。（ｆ）ストレージに記憶された超音波画像と当該超音波画像の撮像位置と第１モダリティ画像とに基づいて、被検体の診断支援情報を生成する機能。

ここで、ストレージ７１は、クラウド７０の制御プログラム、第１マンモグラフィ画像ＭＧ１、角度情報、ボディマーク、超音波画像ＵＬ、超音波画像ＵＬの撮像位置情報等の各種データ群などを記憶する。なお、角度情報及びボディマークは提供されない場合もある。その場合、ストレージ７１は、角度情報及びボディマークを記憶しない。

送受信部７２は、他の装置との間で通信を実行する処理部である。

取得部７３、ＵＬ－ＣＡＤ部７４、特定部７６、ＭＧ２生成部７７、ＭＧ－ＣＡＤ部７８及び生成部７９は、それぞれ前述した取得機能５５ａ、ＵＬ－ＣＡＤ機能５５ｂ，６３ｃ、特定機能５５ｄ，６３ｅ、ＭＧ２生成機能５５ｅ，６３ｆ、ＭＧ－ＣＡＤ機能５５ｇ，６３ｇ及び生成機能６３ｂと同様の処理を実行する処理部である。但し、第１マンモグラフィ画像ＭＧ１及び超音波画像ＵＬを取得部７３が取得することに伴い、若干、変更されている。例えば、生成部７９は、ＭＧ２生成部７７により生成された第２マンモグラフィ画像ＭＧ２、取得部７３により取得された超音波画像ＵＬを含む第１入力データを入力として、又は、取得部７３により取得された第１マンモグラフィ画像ＭＧ１及び超音波画像ＵＬを含む第２入力データを入力として、被検体の診断支援情報を生成する。なお、第６の実施形態では、前者の第１入力データを入力とする場合について説明する。後者の第２入力データを入力する場合については、第６の実施形態の変形例で述べる。診断支援情報は、前述同様である。また、生成部７９は、前述同様に、学習済みモデルを用いることにより、診断支援情報を生成する。

次に、以上のように構成された医用情報処理システムの動作について図３９を用いて説明する。

いま、マンモグラフィ装置１の記憶回路２２は、被検体の乳房を撮像した第１マンモグラフィ画像ＭＧ１と、第１マンモグラフィ画像ＭＧ１の撮像角度を示す角度情報とを記憶しているとする。

このとき、ステップＳＴ１０において、マンモグラフィ装置１の処理回路２６は、クラウド７０からの要求に応じて、第１マンモグラフィ画像ＭＧ１をクラウド７０に送信する。

ステップＳＴ１０の後、ステップＳＴ２０において、クラウド７０の取得部７３は、被検体の第１マンモグラフィ画像ＭＧ１を取得すると、当該第１マンモグラフィ画像ＭＧ１をストレージ７１に保存する。

ステップＳＴ２０の後、ステップＳＴ３０において、超音波診断装置３０は、操作者の操作に応じて、被検体の乳房を超音波プローブ３１でスキャンし、生成された超音波画像ＵＬと、超音波画像ＵＬの撮像位置情報とをクラウド７０に送信する。

ステップＳＴ３０の後、ステップＳＴ４０において、取得部７３が被検体の超音波画像ＵＬ及び超音波画像ＵＬの撮像位置情報を取得すると共に、ＵＬ－ＣＡＤ部７４が当該超音波画像ＵＬに対して、ＵＬ－ＣＡＤの処理を施し、ＵＬ－ＣＡＤ結果を生成する。

ステップＳＴ４０の後、ステップＳＴ５０において、ＵＬ－ＣＡＤ部７４は、ＵＬ－ＣＡＤ結果が有病を示すか否かを判定し、否の場合には、超音波検査の終了まで当該判定を繰り返し実行する。一方、ＵＬ－ＣＡＤ部７４は、ＵＬ－ＣＡＤ結果が有病を示す場合には、当該超音波画像ＵＬをストレージ７１に保存する。

ステップＳＴ５０の後、ステップＳＴ６０～ＳＴ７０において、特定部７６は、超音波画像ＵＬの撮像位置情報に基づいて、第１マンモグラフィ画像ＭＧ１における対応する位置を特定する。例えば、超音波画像ＵＬの撮像位置を示すマークｍｋを乳房のボディマークＢＭ上に描画する。また、特定部７６は、当該マークｍｋを描画したボディマークＢＭを、当該保存した超音波画像ＵＬに関連付けてストレージ７１に保存する。

また、ステップＳＴ７０において、特定部７６は、マークｍｋの位置に対応する直線を中心とした帯状の範囲の関心領域を第１マンモグラフィ画像ＭＧ１上で特定し、当該関心領域に高い重み付けをするためのウエイトマップＷＭを作成する。

ステップＳＴ７０の後、ステップＳＴ８０において、ＭＧ２生成部７７は、ステップＳＴ７０で特定された位置に基づく処理を第１マンモグラフィ画像ＭＧ１に施すことにより、第２マンモグラフィ画像ＭＧ２を生成する。この例では、ウエイトマップＷＭの各画素値と、第１マンモグラフィ画像ＭＧ１の各画素値とを乗算処理することにより、第１マンモグラフィ画像ＭＧ１内の関心領域が強調された第２マンモグラフィ画像ＭＧ２を生成する。

ステップＳＴ８０の後、ステップＳＴ１１０において、生成部７９は、生成した第２マンモグラフィ画像ＭＧ２と、記憶回路５１内の超音波画像ＵＬとを含む第１入力データを入力として、被検体の診断支援情報を生成する。この例では、生成部７９は、ストレージ７１に記憶された学習済みモデルを用いることにより、第１入力データから診断支援情報を取得する。

ステップＳＴ１１０の後、ステップＳＴ１２１において、送受信部７２は、生成した診断支援情報、第１マンモグラフィ画像ＭＧ１及び超音波画像ＵＬを情報処理装置５０Ｄに送信する。

ステップＳＴ１２１の後、ステップＳＴ１３１において、情報処理装置５０Ｄの処理回路（図示せず）は、診断支援情報、第１マンモグラフィ画像ＭＧ１及び超音波画像ＵＬを受信すると、当該診断支援情報を記憶回路（図示せず）に保存する。情報処理装置５０Ｄは、操作者（読影医）の操作に応じて、記憶回路内の診断支援情報、第１マンモグラフィ画像ＭＧ１及び超音波画像を表示する。これにより、読影医による診断業務を支援する。

上述したように第６の実施形態によれば、被検体の超音波画像を取得し、被検体の第１マンモグラフィ画像を取得し、超音波画像の撮像位置情報に基づいて、第１マンモグラフィ画像における対応する位置を特定する。また、対応する位置に基づく処理を第１マンモグラフィ画像に施してなる第２マンモグラフィ画像と超音波画像とを含む第１入力データを入力として、被検体の診断支援情報を生成する。

このように、操作者が操作する情報処理装置を用いずに、医用情報処理システムが画像取得から診断支援情報の生成までの処理を実行するので、第１の実施形態の効果に加え、操作者の負荷を軽減させることができる。

また、第６の実施形態における医用情報処理システムが画像取得から診断支援情報の生成までの処理を実行する構成は、図４０に示すように、第２入力データを用いる第１の実施形態の変形例にも適用できる。この場合、第１の実施形態の変形例の効果に加え、操作者の負荷を軽減できる。

同様に、第６の実施形態における医用情報処理システムが画像取得から診断支援情報の生成までの処理を実行する構成は、図４１に示すように、ＭＧ－ＣＡＤ結果を含む第１入力データを用いる第２の実施形態にも適用できる。この場合、第２の実施形態の効果に加え、操作者の負荷を軽減できる。

また同様に、第６の実施形態における医用情報処理システムが画像取得から診断支援情報の生成までの処理を実行する構成は、図４２に示すように、ＭＧ－ＣＡＤ結果を含む第２入力データを用いる第２の実施形態の変形例にも適用できる。この場合、第２の実施形態の変形例の効果に加え、操作者の負荷を軽減できる。

さらに、第６の実施形態における医用情報処理システムは、クラウド７０の各機能及び情報処理装置５０Ｄの各機能を備えた単一の装置として設け、マンモグラフィ装置１及び超音波診断装置３０に通信可能に接続してもよい。この場合、単一の装置である医用情報処理システムは、例えば第１の実施形態及びその変形例、第２の実施形態及びその変形例に個別に適用できる。

始めに、単一の装置である医用情報処理システムを第１の実施形態に適用する場合について述べる。この場合、医用情報処理システムは、例えば図６及び図３９に示したように、被検体の超音波画像を取得し、被検体の第１マンモグラフィ画像を取得し、超音波画像の撮像位置情報に基づいて、第１マンモグラフィ画像における対応する位置を特定する。また、対応する位置に基づく処理を第１マンモグラフィ画像に施してなる第２マンモグラフィ画像と超音波画像とを含む第１入力データを入力として、被検体の診断支援情報を生成する。また、操作者（読影医）の操作に応じて、診断支援情報、第１マンモグラフィ画像及び超音波画像を表示するときには、読影医による診断業務を支援する。

また、単一の装置である医用情報処理システムを第１の実施形態の変形例に適用する場合について述べる。この場合、医用情報処理システムは、例えば図１３及び図４０に示したように、第１実施形態に用いた第１入力データに代えて、対応する位置に関する情報と第１マンモグラフィ画像と超音波画像とを含む第２入力データを用いている。

また、単一の装置である医用情報処理システムを第２の実施形態に適用する場合について述べる。この場合、医用情報処理システムは、例えば図１７及び図４１に示したように、第１実施形態に比べ、診断支援情報を生成するための第１入力として、第１マンモグラフィ画像に対するコンピュータ支援検出の結果を更に含んでいる。

また同様に、単一の装置である医用情報処理システムを第２の実施形態の変形例に適用する場合について述べる。この場合、医用情報処理システムは、例えば図２２及び図４２に示したように、第１実施形態の変形例に比べ、診断支援情報を生成するための第２入力として、第１マンモグラフィ画像に対するコンピュータ支援検出の結果を更に含んでいる。

このように、単一の装置である医用情報処理システムは、例えば第１の実施形態及びその変形例、第２の実施形態及びその変形例に個別に適用できると共に、適用した実施形態及びその変形例と同様の効果を得ることができる。

また、以上の各実施形態及び各変形例は、マンモグラフィ装置１に代えて、磁気共鳴イメージング（ＭＲＩ）装置、ポジトロン放出マンモグラフィ（ＰＥＭ）装置、ポジトロン断層法（ＰＥＴ）装置及びコンピュータ断層撮影（ＣＴ）装置などのモダリティ装置を用いてもよい。なお、このようなモダリティ装置としては、ホールボディのＰＥＴ装置を用いてもよく、ＰＥＴ－ＣＴ装置を用いてもよい。同様に、各実施形態及び各変形例は、第１マンモグラフィ画像ＭＧ１及び第２マンモグラフィ画像ＭＧ２等のマンモグラフィ画像に代えて、ＭＲＩ画像、ＰＥＭ画像、ＰＥＴ画像及びＣＴ画像のうちのいずれかのモダリティ画像を用いてもよい。

これにより、例えば、マンモグラフィ装置１及びマンモグラフィ画像に代えて、ＭＲＩ装置及びＭＲＩ画像を用いる場合には、確度の高い診断を得ることが可能である。補足すると、ＭＲＩ画像は、健康診断で悪性を疑われた部位に対して良悪性を判別する精密検査や、術前に切除範囲を決定する検査のために、用いられる。一般的には、ＭＲＩ画像は、健康診断におけるマンモグラフィ検査及び超音波検査を補佐するために用いられる。なお、乳癌を撮像する際、造影剤を用いてＭＲＩ撮像が行われ、造影剤により乳癌にコントラストのついたＭＲＩ画像が得られる。しかしながら、ＭＲＩ画像には乳腺も高輝度に描出されてしまうため、ＭＲＩ画像単独の読影結果では、病変を診断できない場合がある。そのような場合、超音波画像とＭＲＩ画像を総合して読影することで、確度の高い診断を得ることができる。例えば、図６を変形した図４３に示すように、超音波検査で得られたボディーマークＢＭに基づき、ニップルを中心とした座標系において、超音波画像ＵＬの関心領域の特定情報を取得する。また、ＭＲＩ装置としての第１モダリティ装置８１で得られた第１モダリティ画像ＭＤ１（例、３ＤのＭＲＩ画像（ボリュームデータ））においてニップルを検出する。また、超音波画像ＵＬの特定情報に対応する第２モダリティ画像ＭＤ２（スライス画像）を第１モダリティ画像ＭＤ１から取得する。しかる後、超音波画像ＵＬ及び第２モダリティ画像ＭＤ２（例、ＭＲＩのスライス画像）を生成機能６３ｂへ入力し、診断支援情報を得ることができる。図４３に述べた例によれば、精密検査における読影を支援することができる。なお、図６を変形した例に限らず、各実施形態及び各変形例についても、第１モダリティ画像として、マンモグラフィ画像に代えて、ＭＲＩ画像などのモダリティ画像を用いることが可能である。同様に、第１モダリティ装置８１として、マンモグラフィ装置１に代えて、ＭＲＩ装置などのモダリティ装置を用いることが可能である。

また例えば、超音波画像の他に用いるモダリティ画像は、１つに限らず、２つ以上でもよい。例えば、図６を変形した図４４に示すように、超音波検査で得られたボディーマークＢＭに基づき、ニップルを中心とした座標系において、超音波画像ＵＬの関心領域の特定情報を取得する。また、ＭＲＩ装置としての第１モダリティ装置８１で得られた第１モダリティ画像ＭＤ１（例、３ＤのＭＲＩ画像（ボリュームデータ））においてニップルを検出する。また、超音波画像ＵＬの特定情報に対応する第２モダリティ画像ＭＤ２（スライス画像）を第１モダリティ画像ＭＤ１から取得する。同様に、ＰＥＭ装置としての第３モダリティ装置８２で得られた第３モダリティ画像ＭＤ３（例、ＰＥＭ画像）においてニップルを検出する。また、超音波画像ＵＬの特定情報に対応する第４モダリティ画像ＭＤ４（スライス画像）を第３モダリティ画像ＭＤ３から取得する。なお、ＰＥＭは、ＭＲＩと同程度の感度と、ＭＲＩより高い特異度とを有するため、精密検査に用いることにより偽陽性を削減可能である。ここで、感度は、有病を見逃さない割合を示す指標である。特異度は、有病でない部位を有病であると判定しない割合を示す指標である。この種のＰＥＭ装置としては、乳房を２つの検出器で挟むタイプでもよく、うつぶせで下垂させた乳房を３つ以上の検出器で囲むタイプでもよい。いずれにしても、超音波画像ＵＬ、第２モダリティ画像ＭＤ２（例、ＭＲＩのスライス画像）、第４モダリティ画像ＭＤ４（例、ＰＥＭのスライス画像）を生成機能６３ｂへ入力し、診断支援情報を得ることができる。図４４に述べた例によれば、精密検査における読影を支援することができる。なお、図６を変形した例に限らず、各実施形態及び各変形例についても、超音波画像に加え、複数のモダリティ画像を用いることが可能である。また、複数のモダリティ画像は、図４４に述べたＭＲＩ画像及びＰＥＭ画像に限定されない。例えば、ＰＥＴ－ＣＴ装置から取得されたＰＥＴ画像及びＣＴ画像を複数のモダリティ画像として用いてもよい。

なお、超音波画像及びモダリティ画像といった画像は、必ずしも総合判定ＣＡＤに用いなくてもよい。例えば、図１７又は図２２を変形した図４５に示すように、生成機能６３ｂが、超音波画像ＵＬ及び第１モダリティ画像ＭＤ１を用いずに、診断支援情報を生成する構成としてもよい。図４５中、生成機能６３ｂは、ＵＬ－ＣＡＤ機能５５ｂ（第１結果取得部）による超音波画像ＵＬに対するコンピュータ支援検出の第１結果、ＭＤ－ＣＡＤ機能５５ｇ（第２結果取得部）による第１モダリティ画像ＭＤ１に対するコンピュータ支援検出の第２結果、及びウェイトマップＷＭ（特定情報）に基づいて、診断支援情報を生成する。この場合、生成機能６３ｂは、超音波画像ＵＬに対して行われたコンピュータ支援検出の結果と、第１モダリティ画像ＭＤ１に対して行われたコンピュータ支援検出の結果と、超音波画像ＵＬの撮像位置との入力に基づいて、被検体の診断支援情報を生成する生成処理部の一例である。なお、このＵＬ－ＣＡＤ機能５５ｂは、被検体の超音波画像に対するコンピュータ支援検出の第１結果を取得する第１結果取得部の一例である。ＵＬ－ＣＡＤ機能５５ｂは、超音波画像に対してコンピュータ支援検出を施すことにより当該第１結果を取得してもよい。「第１結果」は、単に「結果」と呼んでもよい。ＭＤ－ＣＡＤ機能５５ｇは、被検体の第１モダリティ画像であって、超音波画像とは異なる当該第１モダリティ画像に対するコンピュータ支援検出の第２結果を取得する第２結果取得部の一例である。ＭＤ－ＣＡＤ機能５５ｇは、第１モダリティ画像に対してコンピュータ支援検出を施すことにより第２結果を取得してもよい。「第２結果」は、単に「結果」と呼んでもよい。このようにしても、モダリティ画像及び超音波画像を総合的に読影して診断を支援することができる。

また、各実施形態及び各変形例について、例えば、図４６に示すように、超音波画像ＵＬに対してコンピュータ支援検出を行うＵＬ－ＣＡＤ機能５５ｂ（第１の検出処理部）を備えた場合、生成機能６３ｂは、次のように動作してもよい。

すなわち、生成機能６３ｂは、超音波画像に対してＵＬ－ＣＡＤ機能５５ｂが行ったコンピュータ支援検出の結果と、超音波画像ＵＬの撮像位置を表す情報（例、ウェイトマップＷＭ）と第１モダリティ画像ＭＤ１と超音波画像ＵＬとに基づいて、被検体の診断支援情報を生成してもよい。

また例えば、図４７に示すように、超音波画像ＵＬに対してコンピュータ支援検出を行うＵＬ－ＣＡＤ機能５５ｈ（第１の検出処理部）と、第１モダリティ画像ＭＤ１に対してコンピュータ支援検出を行うＭＤ－ＣＡＤ機能５５ｇ（第２の検出処理部）とを備えた場合、生成機能６３ｂ（生成処理部）は、次のように動作してもよい。

すなわち、生成機能６３ｂは、超音波画像ＵＬに対して行われたコンピュータ支援検出の結果と、第１モダリティ画像ＭＤ１に対して行われたコンピュータ支援検出の結果と、超音波画像ＵＬの撮像位置との入力に基づいて、被検体の診断支援情報を生成してもよい。また、生成機能６３ｂは、超音波画像ＵＬに対して行われたコンピュータ支援検出の結果と、第１モダリティ画像ＭＤ１に対して行われたコンピュータ支援検出の結果と、超音波画像ＵＬの撮像位置と、超音波画像ＵＬと、第１モダリティ画像ＭＤ１との入力に基づいて、被検体の診断支援情報を生成してもよい。これらの場合、ＵＬ－ＣＡＤ機能５５ｂ、ＭＤ－ＣＡＤ機能５５ｈ及び生成機能６３ｂは、第１の検出処理部、第２の検出処理部及び生成処理部を備えた生成部の一例である。

また例えば、図４８に示すように、超音波画像ＵＬの撮像位置に基づく処理を第１モダリティ画像ＭＤ１に施して第２モダリティ画像ＭＤ２を生成するＭＤ２生成機能５５ｊ（画像生成部）、超音波画像ＵＬに対してコンピュータ支援検出を行うＵＬ－ＣＡＤ機能５５ｂ（第１の検出処理部）と、第２モダリティ画像ＭＤ２に対してコンピュータ支援検出を行うＭＤ－ＣＡＤ機能５５ｈ（第２の検出処理部）とを備えた場合、生成機能６３ｂ（生成処理部）は、次のように動作してもよい。

すなわち、生成機能６３ｂは、図４９に示すように、超音波画像ＵＬに対して行われたコンピュータ支援検出の結果と、第２モダリティ画像ＭＤ２に対して行われたコンピュータ支援検出の結果との入力に基づいて、被検体の診断支援情報を生成してもよい。また、生成機能６３ｂは、図５０に示すように、超音波画像ＵＬに対して行われたコンピュータ支援検出の結果と、第２モダリティ画像ＭＤ２に対して行われたコンピュータ支援検出の結果と、超音波画像ＵＬと、第２モダリティ画像ＭＤ２との入力に基づいて、被検体の診断支援情報を生成してもよい。これらの場合、ＭＤ２生成機能５５ｊ、ＵＬ－ＣＡＤ機能５５ｂ、ＭＤ－ＣＡＤ機能５５ｈ及び生成機能６３ｂは、画像生成部、第１の検出処理部、第２の検出処理部及び生成処理部を備えた生成部の一例である。

以上説明した少なくとも一つの実施形態によれば、被検体の超音波画像を取得し、被検体の第１モダリティ画像を取得し、超音波画像の撮像位置を取得し、超音波画像と当該超音波画像の撮像位置と第１モダリティ画像とに基づいて、被検体の診断支援情報を生成する。

従って、モダリティ画像及び超音波画像を総合的に読影して診断を支援することができる。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（central processing unit）、ＧＰＵ(Graphics Processing Unit)、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ））、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図２、図４、図１８における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ マンモグラフィ装置
３ Ｘ線撮像装置
５，４３ コンピュータ装置
１０ 基台部
１１ Ｃアーム
１２ 軸部
１５ Ｘ線発生装置
１６ 撮影台
１７ 圧迫ユニット
１７ａ 圧迫板
１８ Ｘ線管
１９ 高電圧発生器
２２，３８，５１，６１ 記憶回路
２３，３９，５２ 入力インタフェース
２４ 撮影制御回路
２５ 画像発生回路
２６，４２，５５，６３ 処理回路
２６ａ 提供機能
２７，４０，５３ ディスプレイ
２８ システム制御回路
２９，４１，５４，６２ ネットワークインタフェース
３０ 超音波診断装置
３１ 超音波プローブ
３２ 位置センサ
３３ トランスミッタ
３４ 装置本体
３５ 位置取得回路
３６ 送受信回路
３７ 画像生成回路
５０，５０Ａ～５０Ｄ 情報処理装置
５５ａ 取得機能
５５ｂ，６３ｃ ＵＬ－ＣＡＤ機能
５５ｄ，６３ｅ 特定機能
５５ｅ，６３ｆ ＭＧ２生成機能
５５ｆ，６３ａ 送受信機能
５５ｇ，６３ｇ ＭＧ－ＣＡＤ機能
６０，６０Ｃ サーバ装置
６１ａ 学習済みモデル
６３ｂ 生成機能
７０ クラウド
７１ ストレージ
７２ 送受信部
７３ 取得部
７４ ＵＬ－ＣＡＤ部
７６ 特定部
７７ ＭＧ２生成部
７８ ＭＧ－ＣＡＤ部
７９ 生成部
８１ 第１モダリティ装置
８２ 第３モダリティ装置
Ｃｌｓ１～Ｃｌｓ４ クライアントシステム
Ｓｖｓ１～Ｓｖｓ３ サーバシステム
Ｎｗ…ネットワーク。

Claims (13)

1. 被検体の超音波画像を取得する第１取得部と、
   前記被検体の第１モダリティ画像であって、前記超音波画像とは異なる前記第１モダリティ画像を取得する第２取得部と、
   前記超音波画像の撮像位置を取得する撮像位置取得部と、
   前記超音波画像と当該超音波画像の撮像位置と前記第１モダリティ画像とに基づいて、前記被検体の診断支援情報を生成する生成部と、
   前記超音波画像の撮像位置情報に基づいて、前記第１モダリティ画像内で前記撮像位置に対応する位置を特定する特定部と
   を備え、
   前記特定部は、前記超音波画像に対するコンピュータ支援検出の結果が有病を示す場合に、前記超音波画像の撮像位置を示すマークを前記被検体の乳房の模式図上に描画し、当該描画したマークの位置に対応する関心領域を前記第１モダリティ画像上で特定する、医用情報処理システム。
2. 前記生成部は、前記超音波画像と前記第１モダリティ画像と前記超音波画像の撮像位置との入力に基づいて前記被検体の診断支援情報を生成する生成処理部をさらに備える、
   請求項１に記載の医用情報処理システム。
3. 前記生成部は、
   前記超音波画像に対してコンピュータ支援検出を行う第１の検出処理部と、
   前記第１モダリティ画像に対してコンピュータ支援検出を行う第２の検出処理部と、
   前記超音波画像に対して行われたコンピュータ支援検出の結果と、前記第１モダリティ画像に対して行われたコンピュータ支援検出の結果と、前記超音波画像の撮像位置との入力に基づいて、前記被検体の診断支援情報を生成する生成処理部と、
   を備える、請求項１に記載の医用情報処理システム。
4. 前記生成処理部は、前記超音波画像に対して行われたコンピュータ支援検出の結果と、前記第１モダリティ画像に対して行われたコンピュータ支援検出の結果と、前記超音波画像の撮像位置と、前記超音波画像と、前記第１モダリティ画像との入力に基づいて、前記被検体の診断支援情報を生成する、
   請求項３に記載の医用情報処理システム。
5. 前記生成部は、
   前記超音波画像の撮像位置に基づく処理を前記第１モダリティ画像に施して第２モダリティ画像を生成する画像生成部と、
   当該第２モダリティ画像と前記超音波画像との入力に基づいて前記被検体の診断支援情報を生成する生成処理部と、
   を備える、請求項１に記載の医用情報処理システム。
6. 前記生成部は、
   前記超音波画像の撮像位置に基づく処理を前記第１モダリティ画像に施して第２モダリティ画像を生成する画像生成部と、
   前記超音波画像に対してコンピュータ支援検出を行う第１の検出処理部と、
   前記第２モダリティ画像に対してコンピュータ支援検出を行う第２の検出処理部と、
   前記超音波画像に対して行われたコンピュータ支援検出の結果と、前記第２モダリティ画像に対して行われたコンピュータ支援検出の結果との入力に基づいて、前記被検体の診断支援情報を生成する生成処理部と、
   を備える、請求項１に記載の医用情報処理システム。
7. 前記生成処理部は、前記超音波画像に対して行われたコンピュータ支援検出の結果と、前記第２モダリティ画像に対して行われたコンピュータ支援検出の結果と、前記超音波画像と、前記第２モダリティ画像との入力に基づいて、前記被検体の診断支援情報を生成する、
   請求項６に記載の医用情報処理システム。
8. 前記第１モダリティ画像は、マンモグラフィ画像、磁気共鳴イメージング（ＭＲＩ）画像、ポジトロン放出マンモグラフィ（ＰＥＭ）画像、ポジトロン断層法（ＰＥＴ）画像及びコンピュータ断層撮影（ＣＴ）画像のうちのいずれかである、
   請求項１に記載の医用情報処理システム。
9. 被検体の超音波画像に対するコンピュータ支援検出の第１結果を取得する第１結果取得部と、
   前記被検体の第１モダリティ画像であって、前記超音波画像とは異なる前記第１モダリティ画像に対するコンピュータ支援検出の第２結果を取得する第２結果取得部と、
   前記第１結果と、前記第２結果と、前記超音波画像の撮像位置を表す情報とに基づいて、前記被検体の診断支援情報を生成する生成部と、
   前記超音波画像の撮像位置情報に基づいて、前記第１モダリティ画像内で前記撮像位置に対応する位置を特定する特定部と
   を備え、
   前記特定部は、前記超音波画像に対するコンピュータ支援検出の結果が有病を示す場合に、前記超音波画像の撮像位置を示すマークを前記被検体の乳房の模式図上に描画し、当該描画したマークの位置に対応する関心領域を前記第１モダリティ画像上で特定する、医用情報処理システム。
10. 前記第１結果取得部は、前記超音波画像に対してコンピュータ支援検出を施すことにより前記第１結果を取得し、
    前記第２結果取得部は、前記第１モダリティ画像に対してコンピュータ支援検出を施すことにより前記第２結果を取得する、
    請求項９に記載の医用情報処理システム。
11. 少なくとも一つの情報処理装置を含むクライアントシステムと、少なくとも一つのサーバ装置を含むサーバシステムと、を備える医用情報処理システムであって、
    前記クライアントシステムは、
    被検体の超音波画像を取得する第１取得部と、
    前記被検体の第１モダリティ画像であって、前記超音波画像とは異なる前記第１モダリティ画像を取得する第２取得部と、
    前記超音波画像の撮像位置を取得する撮像位置取得部と、
    前記超音波画像と当該超音波画像の撮像位置と前記第１モダリティ画像とを送信する第１送信部と、
    前記超音波画像の撮像位置情報に基づいて、前記第１モダリティ画像内で前記撮像位置に対応する位置を特定する特定部と
    を備え、
    前記特定部は、前記超音波画像に対するコンピュータ支援検出の結果が有病を示す場合に、前記超音波画像の撮像位置を示すマークを前記被検体の乳房の模式図上に描画し、当該描画したマークの位置に対応する関心領域を前記第１モダリティ画像上で特定し、
    前記サーバシステムは、
    前記超音波画像と当該超音波画像の撮像位置と前記第１モダリティ画像とを受信する受信部と、
    前記受信された前記超音波画像と当該超音波画像の撮像位置と前記第１モダリティ画像とに基づいて、前記被検体の診断支援情報を生成する生成部と、
    前記診断支援情報を送信する第２送信部と
    を備えた医用情報処理システム。
12. 少なくとも一つのサーバ装置を含むサーバシステムに通信可能で、少なくとも一つの情報処理装置を含む医用情報処理システムであって、
    被検体の超音波画像を取得する第１取得部と、
    前記被検体の第１モダリティ画像であって、前記超音波画像とは異なる前記第１モダリティ画像を取得する第２取得部と、
    前記超音波画像の撮像位置を取得する撮像位置取得部と、
    前記超音波画像と当該超音波画像の撮像位置と前記第１モダリティ画像とを送信する送信部と、
    前記超音波画像の撮像位置情報に基づいて、前記第１モダリティ画像内で前記撮像位置に対応する位置を特定する特定部と
    を備え、
    前記特定部は、前記超音波画像に対するコンピュータ支援検出の結果が有病を示す場合に、前記超音波画像の撮像位置を示すマークを前記被検体の乳房の模式図上に描画し、当該描画したマークの位置に対応する関心領域を前記第１モダリティ画像上で特定し、
    前記サーバシステムは、前記超音波画像と当該超音波画像の撮像位置と前記第１モダリティ画像とを受信すると、前記受信した前記超音波画像と当該超音波画像の撮像位置と前記第１モダリティ画像とに基づいて、前記被検体の診断支援情報を生成し、前記診断支援情報を送信する、
    医用情報処理システム。
13. 医用情報処理システムのコンピュータに、
    被検体の超音波画像をストレージに取得する機能、
    前記被検体の第１モダリティ画像であって、前記超音波画像とは異なる前記第１モダリティ画像を前記ストレージに取得する機能、
    前記超音波画像の撮像位置を前記ストレージに取得する機能、
    前記ストレージに記憶された前記超音波画像と当該超音波画像の撮像位置と前記第１モダリティ画像とに基づいて、前記被検体の診断支援情報を生成する機能、
    前記超音波画像の撮像位置情報に基づいて、前記第１モダリティ画像内で前記撮像位置に対応する位置を特定する機能、
    を実現させ、
    前記特定する機能は、前記超音波画像に対するコンピュータ支援検出の結果が有病を示す場合に、前記超音波画像の撮像位置を示すマークを前記被検体の乳房の模式図上に描画し、当該描画したマークの位置に対応する関心領域を前記第１モダリティ画像上で特定する、医用情報処理プログラム。

Images