JP7275961B2 - 教師画像生成プログラム、教師画像生成方法、および教師画像生成システム - Google Patents

Description

本発明は、教師画像生成プログラム、教師画像生成方法、および教師画像生成システムに関する。

従来、医療分野において、検査技師と呼ばれる医療従事者が、モダリティ装置を利用し、被験者のいずれかの部位の医用画像を撮像することがある。医用画像は、例えば、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像やＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）画像などである。その後、医師が、撮像された医用画像を確認し、被験者の健康状態や病状などを診断する診断作業を実施することがある。

先行技術としては、例えば、脳の立体模型を利用して、被験者の脳画像データの取得条件と同一の条件および異なる条件のそれぞれにより撮像した画像間の差分をＰｉｘｅｌごとに計算して求めた変換係数により、被験者の脳画像データを補正するものがある。また、例えば、重ねた映像のサイズより拡張されたテンプレート映像を各映像にサブトラクトさせテンプレート映像の外のピクセルを除去し、オブジェクトの中で最も多いピクセルで構成されたオブジェクトだけを認識して抽出する技術がある。

特開２００３－１０７１６１号公報 特開２００３－１８０６７９号公報

ここで、医用画像に映る腫瘍の陰影を自動検出し、医師による診断作業を支援することが望まれるが、従来技術では、医用画像に映る腫瘍の陰影を自動検出する検出モデルの検出精度を向上させることが難しい。例えば、肺癌単独で罹患中の被験者の医用画像に加えて、肺癌を含む合併症を罹患中の被験者の医用画像を、教師画像として用意しなければ、医用画像に映る肺癌による腫瘍の陰影を自動検出する検出モデルの検出精度を向上させることができない。

１つの側面では、本発明は、医用画像に映る腫瘍の陰影を自動検出する検出モデルの検出精度を向上させることを目的とする。

１つの実施態様によれば、第１疾患により気腔を生じた肺の断面を撮像した第１画像上の気腔領域を検出し、前記第１画像と、前記第１疾患と合併症を形成し得る第２疾患による腫瘍の陰影を示す第２画像とに基づいて、前記第１画像上に前記第２画像を配置した際に、前記腫瘍の陰影のうち、検出した前記気腔領域と重複する部分を非表示として、前記第１画像に前記第２画像を合成した第３画像を生成し、生成した前記第３画像を出力する教師画像生成プログラム、教師画像生成方法、および教師画像生成システムが提案される。

一態様によれば、医用画像に映る腫瘍の陰影を自動検出する検出モデルの検出精度を向上させることが可能になる。

図１は、実施の形態にかかる教師画像生成方法の一実施例を示す説明図である。 図２は、医用画像処理システム２００の一例を示す説明図である。 図３は、教師画像生成装置１００のハードウェア構成例を示すブロック図である。 図４は、画像ＤＢ２０３の記憶内容の一例を示す説明図である。 図５は、腫瘍ＤＢ２０４の記憶内容の一例を示す説明図である。 図６は、モダリティ装置２０１のハードウェア構成例を示すブロック図である。 図７は、医師用端末２０２のハードウェア構成例を示すブロック図である。 図８は、教師画像生成装置１００の機能的構成例を示すブロック図である。 図９は、実施例１における各機能部の動作の流れの一例を示す説明図である。 図１０は、肺気腫の肺画像に肺癌の腫瘍画像を合成する一例を示す説明図である。 図１１は、間質性肺炎の肺画像に肺癌の腫瘍画像を合成する一例を示す説明図である。 図１２は、実施例２における各機能部の動作の流れの一例を示す説明図である。 図１３は、肺画像に腫瘍画像を重ねて合成する合成例１を示す説明図（その１）である。 図１４は、肺画像に腫瘍画像を重ねて合成する合成例１を示す説明図（その２）である。 図１５は、肺画像に腫瘍画像を重ねて合成する合成例２を示す説明図である。 図１６は、肺画像に腫瘍画像を重ねて合成する合成例３を示す説明図である。 図１７は、画像グループごとに生成された検出モデルの検出精度を評価する一例を示す説明図である。 図１８は、実施例３における各機能部の動作の流れの一例を示す説明図である。 図１９は、合成例１における合成処理手順の一例を示すフローチャートである。 図２０は、合成例２における合成処理手順の一例を示すフローチャートである。 図２１は、合成例３における合成処理手順の一例を示すフローチャートである。 図２２は、モデル生成処理手順の一例を示すフローチャートである。

以下に、図面を参照して、本発明にかかる教師画像生成プログラム、教師画像生成方法、および教師画像生成システムの実施の形態を詳細に説明する。

（実施の形態にかかる教師画像生成方法の一実施例）
図１は、実施の形態にかかる教師画像生成方法の一実施例を示す説明図である。図１において、教師画像生成装置１００は、医療分野において、被験者のいずれかの部位の医用画像に基づく医師による被験者に対する診断作業を支援するためのコンピュータである。

医用画像は、被験者の健康状態や病状などを診断するための医療用の画像である。医用画像は、例えば、ＣＴ画像やＭＲＩ画像などである。医用画像は、例えば、検査技師と呼ばれる医療従事者によってモダリティ装置を利用して撮像される。医用画像は、例えば、被験者のいずれかの部位の断面を撮像して得られた断面画像である。

医師は、被験者のいずれかの部位の医用画像を確認し、被験者の健康状態や病状などを診断する診断作業を実施する。部位は、例えば、肺である。医師は、例えば、被験者の肺の断面を撮像した医用画像を確認し、当該医用画像に映る腫瘍の陰影を発見し、被験者の健康状態や病状などを診断する診断作業を実施する。腫瘍は、例えば、肺癌により生じる病変である。

この際、医師が、被験者の医用画像に基づいて、被験者の健康状態や病状などを診断することが難しい場合があるという第１の問題がある。

ここで、例えば、肺癌の腫瘍は、単中心性であり、肺癌の腫瘍の周辺が正常な肺組織であれば、球状に発育する性質を有する。このため、肺癌単独で罹患中の被験者の医用画像では、肺癌の腫瘍の陰影に、単中心性であり球状に発育するという肺癌の腫瘍が有する性質に基づく、典型的な画像特徴が現れる傾向がある。

一方で、例えば、肺癌の腫瘍は、肺癌の腫瘍の周辺に、肺気腫の気腔がある場合には、肺気腫の気腔の中には発育せず、肺気腫の気腔の壁に沿って発育する性質を有する。このため、肺気腫と肺癌との合併症を罹患中の被験者の医用画像では、肺癌の腫瘍の陰影に、典型的な画像特徴が現れにくくなる傾向がある。

これらの性質から、被験者が、肺気腫と肺癌との合併症を罹患中である場合には、医師は、肺気腫と肺癌との合併症を罹患中の被験者の医用画像を確認しても、医用画像に映る肺癌の腫瘍の陰影を発見することが難しくなる。このため、医師は、被験者が肺癌であるか否かを診断することが難しい。かかる第１の問題については、例えば、下記参考文献１～４を参照することができる。

参考文献１：斉藤彰俊， 小澤克良， ａｎｄ 宮澤正久． “肺線維症に重なる浸潤影のＣＴ像を呈した肺扁平上皮癌の１例．” 肺癌 ４４．７ （２００４）： ７８５－７８９．

参考文献２：Ｙｏｓｈｉｄａ， Ｒｉｋａ， Ｈｉｒｏａｋｉ Ａｒａｋａｗａ， ａｎｄ Ｙａｓｕｓｈｉ Ｋａｊｉ． “Ｌｕｎｇ ｃａｎｃｅｒ ｉｎ ｃｈｒｏｎｉｃ ｉｎｔｅｒｓｔｉｔｉａｌ ｐｎｅｕｍｏｎｉａ： ｅａｒｌｙ ｍａｎｉｆｅｓｔａｔｉｏｎ ｆｒｏｍ ｓｅｒｉａｌ ＣＴ ｏｂｓｅｒｖａｔｉｏｎｓ．” Ａｍｅｒｉｃａｎ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｅｎｔｇｅｎｏｌｏｇｙ １９９．１ （２０１２）： ８５－９０．

参考文献３：宮本篤， “肺癌診断のピットフォール：呼吸器疾患合併肺癌”， 第４２回肺癌診断会講演資料 （２０１６年）

参考文献４：“画像診断まとめ”、［ｏｎｌｉｎｅ］、［令和１年７月５日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／遠隔画像診断．ｊｐ／ａｒｃｈｉｖｅｓ／１９３７１＞

また、医師が、肺癌単独で罹患中の被験者の医用画像と、肺気腫と肺癌との合併症を罹患中の被験者の医用画像とのいずれを確認する場合でも、医師のスキルに依存して、医用画像に映る肺癌の腫瘍の陰影を見落とすことがあり得るという第２の問題がある。

また、近年、被験者に対する１回の撮像作業において、モダリティ装置を利用して撮像される被験者の医用画像の数が膨大になる傾向があり、被験者に対する診断作業を実施する際にかかる医師の作業負担は、増大する傾向があるという第３の問題がある。例えば、ＣＴ画像やＭＲＩ画像は、数ｍｍ間隔で人体の断面を撮像するため、被験者の医用画像の数が膨大になりやすい。具体的には、被験者の医用画像の数は、数千枚になる。

また、医師が人手不足になりやすいという第４の問題がある。

これらの問題に対し、医用画像に映る腫瘍の陰影を自動検出し、医師による診断作業を支援し、被験者の健康状態や病状などを診断しやすくし、被験者に対する診断作業を実施する際にかかる医師の作業負担を低減することが望まれる。このため、医用画像に映る腫瘍の陰影を自動検出する検出モデルを生成することが望まれ、かかる検出モデルの検出精度を向上させることが望まれる。

また、肺癌の死亡率は他の癌と比べて高い傾向があり、肺癌の発見が遅れるほど肺癌の死亡率は高くなる傾向がある。例えば、肺癌のステージ１では５年生存率は８０％であるが、肺癌のステージ４では５年生存率は５％未満となる。また、肺癌単独の発症リスクに比べて肺気腫や間質性肺炎などと合併する合併肺癌の発症リスクは高くなる傾向がある。例えば、肺気腫と合併する合併肺癌の発症リスクは、肺癌単独の発症リスクの２～４倍になり、間質性肺炎と合併する合併肺癌の発症リスクは、肺癌単独の発症リスクの７～１４倍になる。発症リスクについては、例えば、下記参考文献５を参照することができる。

参考文献５：ｄｅ Ｔｏｒｒｅｓ， Ｊｕａｎ Ｐ．， ｅｔ ａｌ． “Ａｓｓｅｓｓｉｎｇ ｔｈｅ ｒｅｌａｔｉｏｎｓｈｉｐ ｂｅｔｗｅｅｎ ｌｕｎｇ ｃａｎｃｅｒ ｒｉｓｋ ａｎｄ ｅｍｐｈｙｓｅｍａ ｄｅｔｅｃｔｅｄ ｏｎ ｌｏｗ－ｄｏｓｅ ＣＴ ｏｆ ｔｈｅ ｃｈｅｓｔ．” Ｃｈｅｓｔ １３２．６ （２００７）： １９３２－１９３８．

このように、被験者の生命を守る観点からも、医用画像に映る腫瘍の陰影を自動検出する検出モデルを用意することは好ましく、かかる検出モデルの検出精度を向上させることは好ましいと考えられる。特に、医用画像に映る肺癌の腫瘍の陰影を自動検出する検出モデルを用意することが好ましいと考えられる。

しかしながら、従来では、医用画像に映る腫瘍の陰影には様々な画像特徴が現れるため、機械学習により腫瘍の陰影を自動検出する検出モデルの検出精度を向上させることが難しい。例えば、肺癌単独で罹患中の被験者の医用画像に加えて、肺癌を含む合併症を罹患中の被験者の医用画像を、教師画像として大量に用意しなければ、医用画像に映る肺癌による腫瘍の陰影を自動検出する検出モデルの検出精度を向上させることができない。

これに対し、腫瘍の陰影を示す画像を、そのまま、腫瘍の陰影が映っていない被験者の肺の断面を撮像した医用画像に貼り付けることにより、人工の教師画像を生成し、検出モデルの検出精度を向上させようとする手法が考えられる。この手法では、腫瘍の陰影を示す画像を、そのまま、腫瘍の陰影が映っていない被験者の肺の断面を撮像した医用画像に貼り付けるため、腫瘍の陰影が、実際にあり得る態様にならず、検出モデルの検出精度を向上させにくいという問題がある。この手法については、例えば、下記参考文献６を参照することができる。

参考文献６：安倍和弥， ｅｔ ａｌ． “人工症例画像の ＣＡＤ 開発への有効性検証と客観的評価基準としての活用の提案．” Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ ３５．２ （２０１７）： １１０－１２０．

そこで、本実施の形態では、合併症を罹患中にあり得る態様で、腫瘍の陰影が映る人工の医用画像を、教師画像として生成することにより、医用画像に映る腫瘍の陰影を自動検出する検出モデルの検出精度を向上させる教師画像生成方法について説明する。

図１において、教師画像生成装置１００は、第１画像を記憶する。第１画像は、第１疾患により気腔を生じた肺の断面を撮像した医用画像である。第１画像は、例えば、ＣＴ画像である。図１の例では、第１画像は、医用画像１０１である。第１疾患は、気腔を生じる疾患である。気腔は、空気を含む空間である。第１疾患は、例えば、呼吸器疾患である。第１疾患は、具体的には、肺気腫や間質性肺炎などである。

また、教師画像生成装置１００は、第２画像を記憶する。第２画像は、第１疾患と合併症を形成し得る第２疾患による腫瘍の陰影を示す画像である。第２画像は、例えば、第２疾患による腫瘍の陰影が映る医用画像から切り出された、第２疾患による腫瘍の陰影が映る部分画像である。第２画像は、例えば、ＣＴ画像である。図１の例では、第２画像は、医用画像１０３から切り出された部分画像１０２である。第２疾患は、腫瘍を生じる疾患である。第２疾患は、例えば、肺癌である。

（１－１）教師画像生成装置１００は、第１疾患により気腔を生じた肺の断面を撮像した第１画像上の気腔領域を検出する。教師画像生成装置１００は、例えば、第１画像の各画素のＣＴ値に基づいて、空気に対応するＣＴ値である気腔領域を検出する。図１の例では、教師画像生成装置１００は、医用画像１０１上の気腔領域を検出する。

（１－２）教師画像生成装置１００は、第１画像と第２画像とに基づいて、第１画像上に第２画像を配置した際に、腫瘍の陰影のうち、検出した気腔領域と重複する部分を非表示として、第１画像に第２画像を合成した第３画像を生成する。第３画像は、例えば、腫瘍が、腫瘍の周辺に気腔がある場合には、気腔の中には発育せず、気腔の壁に沿って発育する性質が反映された、合併症を罹患中にあり得る態様で腫瘍の陰影が映る医用画像になる。図１の例では、教師画像生成装置１００は、医用画像１０１に部分画像１０２を合成した人工の医用画像１０４を生成する。

（１－３）教師画像生成装置１００は、生成した第３画像を出力する。これにより、教師画像生成装置１００は、人工の教師画像として、合併症を罹患中にあり得る態様で腫瘍の陰影が映る第３画像を得ることができる。そして、教師画像生成装置１００は、第３画像を、医用画像に映る腫瘍の陰影を自動検出する検出モデルを生成する際に利用可能にし、検出モデルを生成する際に利用可能な教師画像の数を増大させることができる。図１の例では、教師画像生成装置１００は、人工の医用画像１０４を出力する。

結果として、教師画像生成装置１００は、第３画像を利用して、検出モデルの検出精度を向上可能にすることができる。教師画像生成装置１００は、例えば、医療従事者が、合併症を罹患中にあり得る態様で腫瘍の陰影が映る医用画像を用意することが難しい場合でも、第３画像を利用して、検出モデルの検出精度を向上可能にすることができる。

（１－４）教師画像生成装置１００は、少なくとも第３画像に基づいて、検出モデルを生成する。教師画像生成装置１００は、例えば、医療従事者が用意した実際の医用画像と、生成した第３画像とに基づいて、検出モデルを生成する。図１の例では、教師画像生成装置１００は、人工の医用画像１０４と、実際の医用画像１０５とに基づいて、検出モデルを生成する。これにより、教師画像生成装置１００は、被験者の医用画像に映る腫瘍の陰影を精度よく検出可能な検出モデルを得ることができ、医師による診断作業に利用可能にすることができる。

ここで、例えば、気腔領域に関わらず、第１の画像に第２の画像をそのまま合成した人工の医用画像１０６と、実際の医用画像１０５とに基づいて、検出モデルを生成する従来装置が考えられるが、従来装置では、検出モデルの検出精度を向上させることが難しい。具体的には、従来装置では、人工の医用画像１０６に映る腫瘍の陰影が実際にあり得る態様ではないため、検出モデルの検出精度を向上させることが難しい。これに対し、教師画像生成装置１００は、実際にあり得る態様で腫瘍の陰影が映る医用画像１０４に基づき、検出モデルの検出精度を向上させることができる。

このため、教師画像生成装置１００は、医師による診断作業を支援することができ、診断作業にかかる医師の作業負担の低減化を図ることができ、医師が、被験者の健康状態や病状などを正しく診断しやすくすることができる。教師画像生成装置１００は、例えば、医師が、被験者の医用画像に映る肺癌の腫瘍の陰影を発見しやすくし、被験者が、肺癌であるか否かを診断しやすくすることができる。

また、教師画像生成装置１００は、医用画像に映る肺癌の腫瘍の陰影を発見成功する確率の、医師のスキルへの依存度合いの低減化を図ることができる。教師画像生成装置１００は、医師のスキルに依存せずに、医師が、医用画像に映る肺癌の腫瘍の陰影を見落とさずに発見しやすくすることができる。また、教師画像生成装置１００は、被験者が肺癌であることを比較的早期に発見しやすくすることができ、被験者の肺癌を治療しやすくすることができ、被験者の生命を守りやすくすることができる。

ここでは、教師画像生成装置１００が、生成した第３画像に基づいて、検出モデルを生成する場合について説明したが、これに限らない。例えば、教師画像生成装置１００が、検出モデルを生成する他のコンピュータに、生成した第３画像を送信する場合があってもよい。

（医用画像処理システム２００の一例）
次に、図２を用いて、図１に示した教師画像生成装置１００を適用した、医用画像処理システム２００の一例について説明する。

図２は、医用画像処理システム２００の一例を示す説明図である。図２において、医用画像処理システム２００は、教師画像生成装置１００と、モダリティ装置２０１と、１以上の医師用端末２０２とを含む。

医用画像処理システム２００において、教師画像生成装置１００とモダリティ装置２０１とは、有線または無線により直接接続される。また、教師画像生成装置１００とモダリティ装置２０１とは、有線または無線のネットワーク２１０を介して接続されてもよい。また、教師画像生成装置１００と医師用端末２０２とは、有線または無線のネットワーク２１０を介して接続される。ネットワーク２１０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどである。

教師画像生成装置１００は、画像ＤＢ（ＤａｔａＢａｓｅ）２０３と腫瘍ＤＢ２０４とを有する。画像ＤＢ２０３は、症例画像となる医用画像を記憶する。画像ＤＢ２０３の記憶内容の一例については、例えば、図４を用いて後述する。腫瘍ＤＢ２０４は、腫瘍の陰影の医用画像上の位置を特定する情報を記憶する。腫瘍ＤＢ２０４の記憶内容の一例については、例えば、図５を用いて後述する。

教師画像生成装置１００は、例えば、被験者のいずれかの部位の断面を撮像した医用画像を、モダリティ装置２０１から受信し、症例画像として画像ＤＢ２０３を用いて記憶する。教師画像生成装置１００は、腫瘍の陰影の医用画像上の位置が既知である場合には、医用画像に対応付けて、腫瘍の陰影の医用画像上の位置を特定する情報を、腫瘍ＤＢ２０４を用いて記憶する。

教師画像生成装置１００は、例えば、画像ＤＢ２０３に記憶された医用画像に、腫瘍の陰影を示す腫瘍画像を合成した合成画像を、人工の症例画像として生成し、画像ＤＢ２０３を用いて記憶する。教師画像生成装置１００は、生成した合成画像に対応付けて、腫瘍の陰影の合成画像上の位置を特定する情報を、腫瘍ＤＢ２０４を用いて記憶する。

教師画像生成装置１００は、画像ＤＢ２０３に記憶された症例画像に基づいて、検出モデルを生成する。検出モデルは、例えば、ニューラルネットワークにより表現される。検出モデルは、例えば、数式または木構造などにより表現される場合があってもよい。

教師画像生成装置１００は、医師用端末２０２と通信し、検出モデルを利用して、いずれかの医用画像に映る腫瘍の陰影を検出し、検出モデルによる検出結果を、医師用端末２０２に送信する。教師画像生成装置１００は、例えば、サーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などである。教師画像生成装置１００は、例えば、ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍｓ）を実現する。

モダリティ装置２０１は、主に検査技師に用いられるコンピュータである。検査技師は、例えば、診療科の医師からの検査指示に応じて、モダリティ装置２０１を利用し、被験者のいずれかの部位の断面を撮像する検査作業を実施する。モダリティ装置２０１は、例えば、検査技師の操作入力に応じて、被験者のいずれかの部位の断面を撮像した医用画像を、教師画像生成装置１００に送信する。モダリティ装置２０１は、例えば、ＣＲ、ＣＴ、ＭＲＩ、ＲＩなどに関する画像機器である。

医師用端末２０２は、主に医師に用いられるコンピュータである。医師は、例えば、医師用端末２０２を利用し、教師画像生成装置１００にアクセスし、検出モデルを利用し、被験者の医用画像に基づいて、被験者の健康状態や病状などを診断し、被験者の所見を作成する。

医師用端末２０２は、例えば、医師の操作入力に応じて、教師画像生成装置１００にアクセスし、いずれかの医用画像についての検出モデルによる検出結果を取得し、ディスプレイに表示する。医師用端末２０２は、例えば、医師の操作入力に応じて、表示した検出結果に基づく被験者の所見を作成する。医師用端末２０２は、例えば、ＰＣなどである。

ここでは、教師画像生成装置１００が、画像ＤＢ２０３を有する場合について説明したが、これに限らない。例えば、教師画像生成装置１００と通信可能な他のコンピュータが、画像ＤＢ２０３を有し、教師画像生成装置１００が、被験者のいずれかの部位の断面を撮像した医用画像を、他のコンピュータから取得する場合があってもよい。また、教師画像生成装置１００が、生成した合成画像を、教師画像生成装置１００と通信可能な他のコンピュータに送信し、他のコンピュータが、受信した合成画像を、画像ＤＢ２０３を用いて記憶する場合があってもよい。

ここでは、教師画像生成装置１００が、腫瘍ＤＢ２０４を用いて、腫瘍の陰影の医用画像上の位置を特定する情報を記憶する場合について説明したが、これに限らない。例えば、教師画像生成装置１００が、腫瘍ＤＢ２０４を有さず、医用画像に対応付けて、当該医用画像上に腫瘍の陰影が映っているか否かを記憶する場合があってもよい。

ここでは、教師画像生成装置１００が、検出モデルを生成する場合について説明したが、これに限らない。例えば、教師画像生成装置１００と通信可能な他のコンピュータが、検出モデルを生成する場合があってもよい。

ここでは、教師画像生成装置１００と、モダリティ装置２０１とが別の装置である場合について説明したが、これに限らない。例えば、教師画像生成装置１００と、モダリティ装置２０１とが一体である場合があってもよい。また、ここでは、教師画像生成装置１００と、医師用端末２０２とが別の装置である場合について説明したが、これに限らない。例えば、教師画像生成装置１００と、医師用端末２０２とが一体である場合があってもよい。

（教師画像生成装置１００のハードウェア構成例）
次に、図３を用いて、教師画像生成装置１００のハードウェア構成例について説明する。

図３は、教師画像生成装置１００のハードウェア構成例を示すブロック図である。図３において、教師画像生成装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、メモリ３０２と、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５とを有する。また、各構成部は、バス３００によってそれぞれ接続される。

ここで、ＣＰＵ３０１は、教師画像生成装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることで、コーディングされている処理をＣＰＵ３０１に実行させる。

通信Ｉ／Ｆ３０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、通信Ｉ／Ｆ３０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。また、通信Ｉ／Ｆ３０３は、有線または無線により、他のコンピュータに直接接続され、他のコンピュータと内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する場合があってもよい。通信Ｉ／Ｆ３０３は、例えば、モデムやＬＡＮアダプタなどである。

記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御に従って記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ３０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどである。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体３０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体３０５は、教師画像生成装置１００から着脱可能であってもよい。

教師画像生成装置１００は、上述した構成部のほか、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、教師画像生成装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を複数有していてもよい。また、教師画像生成装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を有していなくてもよい。

（画像ＤＢ２０３の記憶内容）
次に、図４を用いて、画像ＤＢ２０３の記憶内容の一例について説明する。画像ＤＢ２０３は、例えば、図３に示した教師画像生成装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。

図４は、画像ＤＢ２０３の記憶内容の一例を示す説明図である。図４に示すように、画像ＤＢ２０３は、画像Ｎｏ．と、画像データとのフィールドを有する。画像ＤＢ２０３は、症例画像ごとに各フィールドに情報を設定することにより、症例画像情報がレコード４００－ａとして記憶される。ａは、任意の整数である。図４の例では、ａは、１である。

画像Ｎｏ．のフィールドには、症例画像を識別する画像Ｎｏ．が設定される。画像データのフィールドには、画像Ｎｏ．によって識別される症例画像が設定される。

（腫瘍ＤＢ２０４の記憶内容）
次に、図５を用いて、腫瘍ＤＢ２０４の記憶内容の一例について説明する。腫瘍ＤＢ２０４は、例えば、図３に示した教師画像生成装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。

図５は、腫瘍ＤＢ２０４の記憶内容の一例を示す説明図である。図５に示すように、腫瘍ＤＢ２０４は、画像Ｎｏ．と、Ｘ座標と、Ｙ座標と、幅と、高さとのフィールドを有する。腫瘍ＤＢ２０４は、症例画像ごとに各フィールドに情報を設定することにより、腫瘍位置情報がレコード５００－ｂとして記憶される。ｂは、任意の整数である。図５の例では、ｂは、１である。

画像Ｎｏ．のフィールドには、症例画像を識別する画像Ｎｏ．が設定される。Ｘ座標のフィールドには、腫瘍の陰影の、画像Ｎｏ．によって識別される症例画像上の位置を特定する情報として、腫瘍の陰影を囲む矩形のいずれかの頂点のＸ座標の値が設定される。Ｙ座標のフィールドには、腫瘍の陰影の、画像Ｎｏ．によって識別される症例画像上の位置を特定する情報として、腫瘍の陰影を囲む矩形のいずれかの頂点のＹ座標の値が設定される。

幅のフィールドには、腫瘍の陰影の、画像Ｎｏ．によって識別される症例画像上の位置を特定する情報として、腫瘍の陰影を囲む矩形の幅が設定される。高さのフィールドには、腫瘍の陰影の、画像Ｎｏ．によって識別される症例画像上の位置を特定する情報として、腫瘍の陰影を囲む矩形の高さが設定される。

（モダリティ装置２０１のハードウェア構成例）
次に、図６を用いて、図２に示した医用画像処理システム２００に含まれるモダリティ装置２０１のハードウェア構成例について説明する。

図６は、モダリティ装置２０１のハードウェア構成例を示すブロック図である。図６において、モダリティ装置２０１は、ＣＰＵ６０１と、メモリ６０２と、通信Ｉ／Ｆ６０３と、記録媒体Ｉ／Ｆ６０４と、記録媒体６０５と、撮像装置６０６と、入力装置６０７とを有する。また、各構成部は、バス６００によってそれぞれ接続される。

ここで、ＣＰＵ６０１は、モダリティ装置２０１の全体の制御を司る。メモリ６０２は、例えば、ＲＯＭ、ＲＡＭおよびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ６０１のワークエリアとして使用される。メモリ６０２に記憶されるプログラムは、ＣＰＵ６０１にロードされることで、コーディングされている処理をＣＰＵ６０１に実行させる。

通信Ｉ／Ｆ６０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、通信Ｉ／Ｆ６０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。通信Ｉ／Ｆ６０３は、有線または無線により、他のコンピュータに直接接続され、他のコンピュータと内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する場合があってもよい。通信Ｉ／Ｆ６０３は、例えば、モデムやＬＡＮアダプタなどである。

記録媒体Ｉ／Ｆ６０４は、ＣＰＵ６０１の制御に従って記録媒体６０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ６０４は、例えば、ディスクドライブ、ＳＳＤ、ＵＳＢポートなどである。記録媒体６０５は、記録媒体Ｉ／Ｆ６０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体６０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体６０５は、モダリティ装置２０１から着脱可能であってもよい。

撮像装置６０６は、被験者の医用画像を撮像する。撮像装置６０６は、例えば、ＣＴ、ＭＲＩ、ＣＲ（Ｃｏｍｐｕｔｅｄ Ｒａｄｉｏｇｒａｐｈｙ）、ＲＩ（Ｒａｄｉｏｉｓｏｔｏｐｅ）などに関する画像機器である。入力装置６０７は、文字、数字、各種指示などの入力のためのキーを有し、データの入力を行う。入力装置６０７は、キーボードやマウスなどであってもよく、また、タッチパネル式の入力パッドやテンキーなどであってもよい。

モダリティ装置２０１は、上述した構成部のほか、例えば、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、モダリティ装置２０１は、記録媒体Ｉ／Ｆ６０４や記録媒体６０５を複数有していてもよい。また、モダリティ装置２０１は、記録媒体Ｉ／Ｆ６０４や記録媒体６０５を有していなくてもよい。

（医師用端末２０２のハードウェア構成例）
次に、図７を用いて、図２に示した医用画像処理システム２００に含まれる医師用端末２０２のハードウェア構成例について説明する。

図７は、医師用端末２０２のハードウェア構成例を示すブロック図である。図７において、医師用端末２０２は、ＣＰＵ７０１と、メモリ７０２と、通信Ｉ／Ｆ７０３と、記録媒体Ｉ／Ｆ７０４と、記録媒体７０５と、ディスプレイ７０６と、入力装置７０７とを有する。また、各構成部は、バス７００によってそれぞれ接続される。

ここで、ＣＰＵ７０１は、医師用端末２０２の全体の制御を司る。メモリ７０２は、例えば、ＲＯＭ、ＲＡＭおよびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ７０１のワークエリアとして使用される。メモリ７０２に記憶されるプログラムは、ＣＰＵ７０１にロードされることで、コーディングされている処理をＣＰＵ７０１に実行させる。

通信Ｉ／Ｆ７０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、通信Ｉ／Ｆ７０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。通信Ｉ／Ｆ７０３は、例えば、モデムやＬＡＮアダプタなどである。

記録媒体Ｉ／Ｆ７０４は、ＣＰＵ７０１の制御に従って記録媒体７０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ７０４は、例えば、ディスクドライブ、ＳＳＤ、ＵＳＢポートなどである。記録媒体７０５は、記録媒体Ｉ／Ｆ７０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体７０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体７０５は、医師用端末２０２から着脱可能であってもよい。

ディスプレイ７０６は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ７０６は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。入力装置７０７は、文字、数字、各種指示などの入力のためのキーを有し、データの入力を行う。入力装置７０７は、キーボードやマウスなどであってもよく、また、タッチパネル式の入力パッドやテンキーなどであってもよい。

医師用端末２０２は、上述した構成部のほか、例えば、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、医師用端末２０２は、記録媒体Ｉ／Ｆ７０４や記録媒体７０５を複数有していてもよい。また、医師用端末２０２は、記録媒体Ｉ／Ｆ７０４や記録媒体７０５を有していなくてもよい。

（教師画像生成装置１００の機能的構成例）
次に、図８を用いて、教師画像生成装置１００の機能的構成例について説明する。

図８は、教師画像生成装置１００の機能的構成例を示すブロック図である。教師画像生成装置１００は、記憶部８００と、取得部８０１と、気腔検出部８０２と、マスク処理部８０３と、合成処理部８０４と、画像格納部８０５と、機械学習部８０６と、自動検出部８０７と、出力部８０８とを含む。

記憶部８００は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域によって実現される。以下では、記憶部８００が、教師画像生成装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部８００が、教師画像生成装置１００とは異なる装置に含まれ、記憶部８００の記憶内容が教師画像生成装置１００から参照可能である場合があってもよい。

取得部８０１～出力部８０８は、制御部の一例として機能する。取得部８０１～出力部８０８は、具体的には、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、通信Ｉ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶される。

記憶部８００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部８００は、医用画像を記憶する。医用画像は、例えば、症例画像となる。医用画像は、例えば、被験者のいずれかの部位の断面を撮像した断面画像である。

記憶部８００は、例えば、第１画像を記憶する。第１画像は、過去の被験者に関する医用画像である。第１画像は、例えば、第１疾患により気腔を生じた肺の断面を撮像した医用画像である。第１画像は、具体的には、ＣＴ画像である。第１疾患は、気腔を生じる疾患である。気腔は、空気を含む空間である。第１疾患は、例えば、呼吸器疾患である。第１疾患は、具体的には、肺気腫や間質性肺炎などである。記憶部８００は、具体的には、第１画像を、画像ＤＢ２０３を用いて記憶する。

記憶部８００は、例えば、第２画像を記憶する。第２画像は、第２疾患による腫瘍の陰影を示す画像である。第２画像は、例えば、第２疾患による腫瘍の陰影が映る医用画像から切り出された、第２疾患による腫瘍の陰影が映る部分画像である。第２画像は、例えば、ＣＴ画像である。第２画像は、第１画像よりも小さいことが好ましい。第２疾患は、第１疾患と合併症を形成し得る。ここで、第２疾患は、第１疾患と併発すれば、第１疾患と合併症を形成し得るものとして扱ってもよい。第２疾患は、腫瘍を生じる疾患である。第２疾患は、例えば、肺癌である。記憶部８００は、例えば、肺癌以外の腫瘍の陰影が映る医用画像を、肺癌の腫瘍の陰影が映る第２画像として流用して記憶してもよい。記憶部８００は、具体的には、第２画像を、画像ＤＢ２０３を用いて記憶する。

記憶部８００は、例えば、人工の症例画像となる、第１画像と第２画像とを合成して得られた第３画像を記憶する。第３画像は、例えば、合成処理部８０４によって生成される。記憶部８００は、具体的には、第３画像を、画像ＤＢ２０３を用いて記憶する。

記憶部８００は、例えば、第４画像を記憶する。第４画像は、今回の被験者に関する医用画像である。今回の被験者は、例えば、医用画像に基づく医師による診断作業の対象となる被験者である。第４画像は、例えば、第１疾患により気腔を生じた肺の断面を撮像した医用画像である。第４画像は、具体的には、ＣＴ画像である。記憶部８００は、具体的には、第４画像を、画像ＤＢ２０３を用いて記憶する。

記憶部８００は、例えば、人工の症例画像となる、第４画像と第２画像とを合成した第５画像を記憶する。第５画像は、例えば、合成処理部８０４によって生成される。記憶部８００は、具体的には、第５画像を、画像ＤＢ２０３を用いて記憶する。

記憶部８００は、例えば、実際の症例画像となる、腫瘍の陰影が映る肺の断面を撮像した第６画像を記憶する。記憶部８００は、具体的には、第６画像を、画像ＤＢ２０３を用いて記憶する。

記憶部８００は、例えば、第１画像に対応付けて、腫瘍の陰影が映る第１画像上の位置を特定する情報を記憶する。記憶部８００は、具体的には、第１画像に対応付けて、腫瘍の陰影が映る第１画像上の位置を特定する情報を、腫瘍ＤＢ２０４を用いて記憶する。

記憶部８００は、例えば、第３画像に対応付けて、腫瘍の陰影が映る第３画像上の位置を特定する情報を記憶する。記憶部８００は、具体的には、第３画像に対応付けて、腫瘍の陰影が映る第３画像上の位置を特定する情報を、腫瘍ＤＢ２０４を用いて記憶する。

記憶部８００は、例えば、第５画像に対応付けて、腫瘍の陰影が映る第５画像上の位置を特定する情報を記憶する。記憶部８００は、具体的には、第５画像に対応付けて、腫瘍の陰影が映る第５画像上の位置を特定する情報を、腫瘍ＤＢ２０４を用いて記憶する。

記憶部８００は、例えば、第６画像に対応付けて、腫瘍の陰影が映る第６画像上の位置を特定する情報を記憶する。記憶部８００は、具体的には、第６画像に対応付けて、腫瘍の陰影が映る第６画像上の位置を特定する情報を、腫瘍ＤＢ２０４を用いて記憶する。

記憶部８００は、検出モデルを記憶する。検出モデルは、入力された被験者の肺の断面を撮像した症例画像に映る腫瘍の陰影を検出した結果を出力する。検出モデルは、例えば、症例画像に映る腫瘍の陰影を検出し、検出した腫瘍の陰影の症例画像上の位置を特定する情報を、検出した結果として出力してもよい。また、検出モデルは、症例画像に、腫瘍の陰影が映っているか否かを示す情報を、検出した結果として出力してもよい。検出モデルは、例えば、機械学習部８０６によって生成される。

取得部８０１は、各機能部の処理に用いられる各種情報を取得する。取得部８０１は、取得した各種情報を、記憶部８００に記憶し、または、各機能部に出力する。また、取得部８０１は、記憶部８００に記憶しておいた各種情報を、各機能部に出力してもよい。取得部８０１は、例えば、ユーザの操作入力に基づき、各種情報を取得する。取得部８０１は、例えば、教師画像生成装置１００とは異なる装置から、各種情報を受信してもよい。

取得部８０１は、例えば、第１画像を取得する。取得部８０１は、具体的には、第１画像を、モダリティ装置２０１から受信することにより取得する。取得部８０１は、例えば、第２画像を取得する。取得部８０１は、具体的には、ユーザの操作入力に基づき、第２画像の入力を受け付けることにより、第２画像を取得する。取得部８０１は、具体的には、第２画像を、いずれかの医用画像から切り出すことにより取得してもよい。

取得部８０１は、例えば、第４画像を取得する。取得部８０１は、具体的には、第４画像を、モダリティ装置２０１から受信することにより取得する。取得部８０１は、例えば、実際の症例画像となる第６画像を取得する。取得部８０１は、具体的には、第６画像を、モダリティ装置２０１から受信することにより取得する。

取得部８０１は、例えば、第２画像を合成する第１画像上の位置の指定を受け付ける。取得部８０１は、例えば、第２画像を合成する第４画像上の位置の指定を受け付ける。

取得部８０１は、いずれかの機能部の処理を開始する開始トリガーを受け付ける。開始トリガーは、例えば、ユーザによる所定の操作入力があったことである。開始トリガーは、例えば、他のコンピュータから、所定の情報を受信したことであってもよい。所定の情報は、例えば、所定の医用画像である。

取得部８０１は、例えば、気腔検出部８０２の処理を開始する生成トリガーを受け付け、気腔検出部８０２に出力する。取得部８０１は、具体的には、第１画像や第４画像などの医用画像をモダリティ装置２０１から受信したことを、生成トリガーとして受け付け、気腔検出部８０２に出力する。取得部８０１は、具体的には、ユーザによる所定の操作入力に基づき、生成指示の入力を受け付けたことを、学習トリガーとして受け付け、機械学習部８０６に出力する。

取得部８０１は、例えば、機械学習部８０６の処理を開始する学習トリガーを受け付け、機械学習部８０６に出力する。取得部８０１は、具体的には、ユーザによる所定の操作入力に基づき、学習指示の入力を受け付けたことを、学習トリガーとして受け付け、機械学習部８０６に出力する。

取得部８０１は、例えば、自動検出部８０７の処理を開始する検出トリガーを受け付け、自動検出部８０７に出力する。取得部８０１は、具体的には、自動検出部８０７の処理対象となり得る第４画像をモダリティ装置２０１から受信したことを、検出トリガーとして受け付け、自動検出部８０７に出力する。取得部８０１は、具体的には、ユーザによる所定の操作入力に基づき、検出指示の入力を受け付けたことを、学習トリガーとして受け付け、機械学習部８０６に出力する。

気腔検出部８０２は、医用画像上の気腔領域を検出する。気腔検出部８０２は、例えば、第１画像上の気腔領域を検出する。気腔検出部８０２は、具体的には、第１画像の各画素のＣＴ値に基づいて、第１画像上にある、空気に対応するＣＴ値である画素の集まりである気腔領域を検出する。これにより、気腔検出部８０２は、腫瘍が発育しない領域を特定することができ、合成処理部８０４が、合併症を罹患中にあり得る態様で腫瘍の陰影が映る人工の症例画像を生成しやすくすることができる。

気腔検出部８０２は、例えば、第４画像上の気腔領域を検出する。気腔検出部８０２は、具体的には、第４画像の各画素のＣＴ値に基づいて、第４画像上にある、空気に対応するＣＴ値である画素の集まりである気腔領域を検出する。これにより、気腔検出部８０２は、腫瘍が発育しない領域を特定することができ、合成処理部８０４が、合併症を罹患中にあり得る態様で腫瘍の陰影が映る人工の症例画像を生成しやすくすることができる。

気腔検出部８０２は、マスク画像を生成する。気腔検出部８０２は、例えば、第１画像上の気腔領域を特定するマスク画像を生成する。気腔検出部８０２は、具体的には、第１画像と同じ大きさで、第１画像上の気腔領域を抜き出したマスク画像を生成する。以下の説明では、抜き出した気腔領域を「マスク領域」と表記する場合がある。これにより、気腔検出部８０２は、第１画像と第２画像とを合成する前処理を実施することができる。

気腔検出部８０２は、例えば、第４画像上の気腔領域を特定するマスク画像を生成する。気腔検出部８０２は、具体的には、第４画像と同じ大きさで、第４画像上の気腔領域を抜き出したマスク画像を生成する。以下の説明では、抜き出した気腔領域を「マスク領域」と表記する場合がある。これにより、気腔検出部８０２は、第４画像と第２画像とを合成する前処理を実施することができる。

マスク処理部８０３は、第２画像に、第１画像上の気腔領域を特定するマスク画像を重ねて、第２画像のうち、第１画像上の気腔領域と重複しない部分を抽出する。マスク処理部８０３は、第２画像に、第１画像上の気腔領域を特定するマスク画像を重ねて加工することにより、第２画像のうち第１画像上の気腔領域と重複しない部分を抽出してもよい。

マスク処理部８０３は、例えば、第１画像上に第２画像を配置した際に、腫瘍の陰影のうち、検出した気腔領域と重複する部分が非表示となるように、第２画像に、第１画像上の気腔領域を特定するマスク画像を重ねて加工する。これにより、マスク処理部８０３は、第１画像と第２画像とを合成する前処理を実施することができ、第１画像に第２画像を合成する際に利用可能な、マスク画像を重ねて加工した第２画像を得ることができる。

マスク処理部８０３は、例えば、指定された第１画像上の位置に第２画像を配置した際に、腫瘍の陰影のうち、検出した気腔領域と重複する部分が非表示となるように、第２画像に、第１画像上の気腔領域を特定するマスク画像を重ねて加工する。これにより、マスク処理部８０３は、第１画像と第２画像とを合成する前処理を実施することができ、指定された第１画像上の位置に第２画像を合成する際に利用可能な、マスク画像を重ねて加工した第２画像を得ることができる。

マスク処理部８０３は、例えば、第１画像上の検出した気腔領域の近傍に第２画像を配置した際に、腫瘍の陰影のうち、検出した気腔領域と重複する部分が非表示となるように、第２画像に、第１画像上の気腔領域を特定するマスク画像を重ねて加工する。これにより、マスク処理部８０３は、第１画像と第２画像とを合成する前処理を実施することができ、第１画像上の検出した気腔領域の近傍に第２画像を合成する際に利用可能な、マスク画像を重ねて加工した第２画像を得ることができる。

マスク処理部８０３は、例えば、腫瘍の陰影を拡大または縮小する。そして、マスク処理部８０３は、第１画像上に第２画像を配置した際に、拡大または縮小した腫瘍の陰影のうち、検出した気腔領域と重複する部分が非表示となるように、第２画像に、第１画像上の気腔領域を特定するマスク画像を重ねて加工する。

マスク処理部８０３は、具体的には、第２画像を拡大または縮小することにより、腫瘍の陰影を拡大または縮小する。そして、マスク処理部８０３は、第１画像上に第２画像を配置した際に、拡大または縮小した腫瘍の陰影のうち、検出した気腔領域と重複する部分が非表示となるように、第２画像に、第１画像上の気腔領域を特定するマスク画像を重ねて加工する。これにより、マスク処理部８０３は、第１画像と第２画像とを合成する前処理を実施することができ、腫瘍の陰影を拡大または縮小して第２画像を第１画像に合成する際に利用可能な、マスク画像を重ねて加工した第２画像を得ることができる。

マスク処理部８０３は、例えば、腫瘍の陰影の透過率を変更する。そして、マスク処理部８０３は、第１画像上に第２画像を配置した際に、透過率を変更した腫瘍の陰影のうち、検出した気腔領域と重複する部分が非表示となるように、第２画像に、第１画像上の気腔領域を特定するマスク画像を重ねて加工する。

マスク処理部８０３は、具体的には、第２画像の透過率を変更することにより、腫瘍の陰影の透過率を変更する。そして、マスク処理部８０３は、第１画像上に第２画像を配置した際に、透過率を変更した腫瘍の陰影のうち、検出した気腔領域と重複する部分が非表示となるように、第２画像に、第１画像上の気腔領域を特定するマスク画像を重ねて加工する。これにより、マスク処理部８０３は、第１画像と第２画像とを合成する前処理を実施することができ、腫瘍の陰影の透過率を変更して第２画像を第１画像に合成する際に利用可能な、マスク画像を重ねて加工した第２画像を得ることができる。

マスク処理部８０３は、第２画像に、第４画像上の気腔領域を特定するマスク画像を重ねて、第２画像のうち、第４画像上の気腔領域と重複しない部分を抽出する。マスク処理部８０３は、第２画像に、第４画像上の気腔領域を特定するマスク画像を重ねて加工することにより、第２画像のうち、第４画像上の気腔領域と重複しない部分を抽出してもよい。

マスク処理部８０３は、例えば、第４画像上に第２画像を配置した際に、腫瘍の陰影のうち、検出した第４画像上の気腔領域と重複する部分が非表示となるように、第２画像に、第４画像上の気腔領域を特定するマスク画像を重ねて加工する。これにより、マスク処理部８０３は、第４画像と第２画像とを合成する前処理を実施することができ、第４画像に第２画像を合成する際に利用可能な、マスク画像を重ねて加工した第２画像を得ることができる。

マスク処理部８０３は、例えば、指定された第４画像上の位置に第２画像を配置した際に、腫瘍の陰影のうち、検出した気腔領域と重複する部分が非表示となるように、第２画像に、第４画像上の気腔領域を特定するマスク画像を重ねて加工する。これにより、マスク処理部８０３は、第４画像と第２画像とを合成する前処理を実施することができ、指定された第４画像上の位置に第２画像を合成する際に利用可能な、マスク画像を重ねて加工した第２画像を得ることができる。

マスク処理部８０３は、例えば、第４画像上の検出した気腔領域の近傍に第２画像を配置した際に、腫瘍の陰影のうち、検出した気腔領域と重複する部分が非表示となるように、第２画像に、第４画像上の気腔領域を特定するマスク画像を重ねて加工する。これにより、マスク処理部８０３は、第４画像と第２画像とを合成する前処理を実施することができ、第４画像上の検出した気腔領域の近傍に第２画像を合成する際に利用可能な、マスク画像を重ねて加工した第２画像を得ることができる。

マスク処理部８０３は、例えば、腫瘍の陰影を拡大または縮小する。そして、マスク処理部８０３は、第４画像上に第２画像を配置した際に、拡大または縮小した腫瘍の陰影のうち、検出した気腔領域と重複する部分が非表示となるように、第２画像に、第４画像上の気腔領域を特定するマスク画像を重ねて加工する。

マスク処理部８０３は、具体的には、第２画像を拡大または縮小することにより、腫瘍の陰影を拡大または縮小する。そして、マスク処理部８０３は、第４画像上に第２画像を配置した際に、拡大または縮小した腫瘍の陰影のうち、検出した気腔領域と重複する部分が非表示となるように、第２画像に、第４画像上の気腔領域を特定するマスク画像を重ねて加工する。これにより、マスク処理部８０３は、第４画像と第２画像とを合成する前処理を実施することができ、腫瘍の陰影を拡大または縮小して第２画像を第４画像に合成する際に利用可能な、マスク画像を重ねて加工した第２画像を得ることができる。

マスク処理部８０３は、例えば、腫瘍の陰影の透過率を変更する。そして、マスク処理部８０３は、第４画像上に第２画像を配置した際に、透過率を変更した腫瘍の陰影のうち、検出した気腔領域と重複する部分が非表示となるように、第２画像に、第４画像上の気腔領域を特定するマスク画像を重ねて加工する。

マスク処理部８０３は、具体的には、第２画像の透過率を変更することにより、腫瘍の陰影の透過率を変更する。そして、マスク処理部８０３は、第４画像上に第２画像を配置した際に、透過率を変更した腫瘍の陰影のうち、検出した気腔領域と重複する部分が非表示となるように、第２画像に、第４画像上の気腔領域を特定するマスク画像を重ねて加工する。これにより、マスク処理部８０３は、第４画像と第２画像とを合成する前処理を実施することができ、腫瘍の陰影の透過率を変更して第２画像を第４画像に合成する際に利用可能な、マスク画像を重ねて加工した第２画像を得ることができる。

合成処理部８０４は、第１画像に第２画像を合成することにより、第１画像に第２画像を合成した第３画像を生成する。合成処理部８０４は、第１画像に第２画像を複数合成することにより、第１画像に第２画像を複数合成した第３画像を生成してもよい。

合成処理部８０４は、例えば、第１画像と第２画像とに基づいて、第１画像上に第２画像を配置した際に、腫瘍の陰影のうち、検出した気腔領域と重複する部分を非表示として、第３画像を生成する。合成処理部８０４は、具体的には、第１画像に第２画像を合成する際に利用可能な、マスク画像を重ねて加工した第２画像を、第１画像に重ねて合成することにより、第３画像を生成する。

第１画像に第２画像を合成する一例については、具体的には、図９～図１１を用いて後述する。これにより、合成処理部８０４は、合併症を罹患中にあり得る態様で腫瘍の陰影が映る人工の症例画像を生成することができる。

合成処理部８０４は、指定された第１画像上の位置に第２画像を合成した第３画像を生成する。合成処理部８０４は、例えば、指定された第１画像上の位置に第２画像を配置した際に、腫瘍の陰影のうち、検出した気腔領域と重複する部分を非表示として、第３画像を生成する。合成処理部８０４は、具体的には、指定された第１画像上の位置に第２画像を合成する際に利用可能な、マスク画像を重ねて加工した第２画像を、第１画像に重ねて合成することにより、第３画像を生成する。

指定された第１画像上の位置に第２画像を合成する一例については、具体的には、図１２および図１４を用いて後述する。これにより、合成処理部８０４は、合併症を罹患中にあり得る態様で腫瘍の陰影が映る人工の症例画像を生成することができる。

合成処理部８０４は、第１画像上の検出した気腔領域の近傍に第２画像を合成した第３画像を生成する。合成処理部８０４は、例えば、第１画像上の検出した気腔領域の近傍に第２画像を配置した際に、腫瘍の陰影のうち、検出した気腔領域と重複する部分を非表示として、第３画像を生成する。合成処理部８０４は、具体的には、第１画像上の検出した気腔領域の近傍に第２画像を合成する際に利用可能な、マスク画像を重ねて加工した第２画像を、第１画像に重ねて合成することにより、第３画像を生成する。

第１画像上の検出した気腔領域の近傍に第２画像を合成する一例については、具体的には、図１２および図１３を用いて後述する。これにより、合成処理部８０４は、合併症を罹患中にあり得る態様で腫瘍の陰影が映る人工の症例画像を生成することができる。

合成処理部８０４は、腫瘍の陰影を拡大または縮小して第２画像を第１画像に合成した第３画像を生成する。合成処理部８０４は、例えば、第１画像上に第２画像を配置した際に、拡大または縮小した腫瘍の陰影のうち、検出した気腔領域と重複する部分を非表示として、第３画像を生成する。合成処理部８０４は、具体的には、腫瘍の陰影を拡大または縮小して第２画像を第１画像に合成する際に利用可能な、マスク画像を重ねて加工した第２画像を、第１画像に重ねて合成することにより、第３画像を生成する。

腫瘍の陰影を拡大または縮小して第２画像を第１画像に合成する一例については、具体的には、図１２および図１５を用いて後述する。これにより、合成処理部８０４は、合併症を罹患中にあり得る態様で腫瘍の陰影が映る人工の症例画像を生成することができる。

合成処理部８０４は、腫瘍の陰影の透過率を変更して第２画像を第１画像に合成した第３画像を生成する。合成処理部８０４は、例えば、第１画像上に第２画像を配置した際に、透過率を変更した腫瘍の陰影のうち、検出した気腔領域と重複する部分を非表示として、第３画像を生成する。合成処理部８０４は、具体的には、腫瘍の陰影の透過率を変更して第２画像を第１画像に合成する際に利用可能な、マスク画像を重ねて加工した第２画像を、第１画像に重ねて合成することにより、第３画像を生成する。

腫瘍の陰影の透過率を変更して第２画像を第１画像に合成する一例については、具体的には、図１２および図１６を用いて後述する。これにより、合成処理部８０４は、合併症を罹患中にあり得る態様で腫瘍の陰影が映る人工の症例画像を生成することができる。

合成処理部８０４は、第４画像に第２画像を合成することにより、第４画像に第２画像を合成した第５画像を生成する。合成処理部８０４は、第４画像に第２画像を複数合成することにより、第４画像に第２画像を複数合成した第５画像を生成してもよい。

合成処理部８０４は、例えば、第４画像と第２画像とに基づいて、第４画像上に第２画像を配置した際に、腫瘍の陰影のうち、検出した気腔領域と重複する部分を非表示として、第５画像を生成する。合成処理部８０４は、具体的には、第４画像に第２画像を合成する際に利用可能な、マスク画像を重ねて加工した第２画像を、第４画像に重ねて合成することにより、第５画像を生成する。

第４画像に第２画像を合成する一例については、具体的には、図１８を用いて後述する。これにより、合成処理部８０４は、合併症を罹患中にあり得る態様で腫瘍の陰影が映る人工の症例画像を生成することができる。

合成処理部８０４は、指定された第４画像上の位置に第２画像を合成した第５画像を生成する。合成処理部８０４は、例えば、指定された第４画像上の位置に第２画像を配置した際に、腫瘍の陰影のうち、検出した気腔領域と重複する部分を非表示として、第５画像を生成する。合成処理部８０４は、具体的には、指定された第４画像上の位置に第２画像を合成する際に利用可能な、マスク画像を重ねて加工した第２画像を、第４画像に重ねて合成することにより、第５画像を生成する。これにより、合成処理部８０４は、合併症を罹患中にあり得る態様で腫瘍の陰影が映る人工の症例画像を生成することができる。

合成処理部８０４は、第４画像上の検出した気腔領域の近傍に第２画像を合成した第５画像を生成する。合成処理部８０４は、例えば、第４画像上の検出した気腔領域の近傍に第２画像を配置した際に、腫瘍の陰影のうち、検出した気腔領域と重複する部分を非表示として、第５画像を生成する。合成処理部８０４は、具体的には、第４画像上の検出した気腔領域の近傍に第２画像を合成する際に利用可能な、マスク画像を重ねて加工した第２画像を、第４画像に重ねて合成することにより、第５画像を生成する。これにより、合成処理部８０４は、合併症を罹患中にあり得る態様で腫瘍の陰影が映る人工の症例画像を生成することができる。

合成処理部８０４は、腫瘍の陰影を拡大または縮小して第２画像を第４画像に合成した第５画像を生成する。合成処理部８０４は、例えば、第４画像上に第２画像を配置した際に、拡大または縮小した腫瘍の陰影のうち、検出した気腔領域と重複する部分を非表示として、第５画像を生成する。合成処理部８０４は、具体的には、腫瘍の陰影を拡大または縮小して第２画像を第４画像に合成する際に利用可能な、マスク画像を重ねて加工した第２画像を、第４画像に重ねて合成することにより、第５画像を生成する。これにより、合成処理部８０４は、合併症を罹患中にあり得る態様で腫瘍の陰影が映る人工の症例画像を生成することができる。

合成処理部８０４は、腫瘍の陰影の透過率を変更して第２画像を第４画像に合成した第５画像を生成する。合成処理部８０４は、例えば、第４画像上に第２画像を配置した際に、透過率を変更した腫瘍の陰影のうち、検出した気腔領域と重複する部分を非表示として、第５画像を生成する。合成処理部８０４は、具体的には、腫瘍の陰影の透過率を変更して第２画像を第４画像に合成する際に利用可能な、マスク画像を重ねて加工した第２画像を、第４画像に重ねて合成することにより、第５画像を生成する。これにより、合成処理部８０４は、合併症を罹患中にあり得る態様で腫瘍の陰影が映る人工の症例画像を生成することができる。

画像格納部８０５は、生成した第３画像を記憶部８００に格納する。画像格納部８０５は、例えば、第３画像を、腫瘍の陰影の第３画像上の位置を特定する情報と対応付けて記憶部８００に格納する。第３画像は、例えば、学習データを形成する入力データに対応する。腫瘍の陰影の位置を特定する情報は、例えば、学習データを形成する正解データに対応する。画像格納部８０５は、具体的には、第３画像を、腫瘍の陰影の第３画像上の位置を特定する情報と対応付けて、腫瘍ＤＢ２０４に格納する。これにより、画像格納部８０５は、検出モデルの生成に利用可能に、学習データを格納しておくことができる。

画像格納部８０５は、例えば、第３画像を、腫瘍の陰影が映っていることを示す情報と対応付けて記憶部８００に格納する。画像格納部８０５は、具体的には、第３画像を、腫瘍の陰影が映っていることを示す情報と対応付けて、腫瘍ＤＢ２０４に格納する。腫瘍の陰影が映っていることを示す情報は、例えば、学習データを形成する正解データに対応する。これにより、画像格納部８０５は、検出モデルの生成に利用可能に、学習データを格納しておくことができる。

機械学習部８０６は、人工の症例画像と、実際の症例画像との少なくとも人工の症例画像に基づいて、検出モデルを生成する。機械学習部８０６は、例えば、人工の症例画像となる第３画像に基づいて、検出モデルを生成する。これにより、機械学習部８０６は、検出モデルを利用し、医用画像に映る腫瘍の陰影を検出可能にすることができる。

機械学習部８０６は、例えば、人工の症例画像となる第３画像と、人工の症例画像となる第５画像とに基づいて、検出モデルを生成する。これにより、機械学習部８０６は、被験者に適合する検出モデルを生成することができる。機械学習部８０６は、例えば、当該被験者に関する医用画像に映る腫瘍の陰影を検出しやすい検出モデルを生成することができる。

機械学習部８０６は、人工の症例画像を１以上含み、かつ、実際の症例画像を１以上含む画像グループを複数生成し、生成した画像グループごとに、当該画像グループに基づいて、検出モデルを生成し、検出モデルの検出精度を評価してもよい。

機械学習部８０６は、例えば、人工の症例画像となる第３画像を１以上含み、かつ、実際の症例画像となる第６画像を１以上含む画像グループを複数生成し、生成した画像グループごとに、当該画像グループに基づいて、検出モデルを生成する。そして、機械学習部８０６は、画像グループごとに生成した検出モデルについて、入力された被験者の肺の断面を撮像した画像に映る腫瘍の陰影を検出する検出精度を評価する。

機械学習部８０６は、具体的には、画像グループを複数生成し、生成した画像グループごとに、当該画像グループに基づいて、検出モデルを生成する。そして、機械学習部８０６は、画像グループごとに生成した検出モデルについて、検出精度の評価値を算出する。検出モデルの検出精度を評価する一例については、具体的には、図１２および図１７を用いて後述する。これにより、機械学習部８０６は、複数の検出モデルのそれぞれの検出モデルを評価し、いずれの検出モデルが好ましいかを判断可能にすることができる。

自動検出部８０７は、検出モデルを利用し、医用画像に映る腫瘍の陰影を検出する。自動検出部８０７は、例えば、検出モデルに第４画像を入力することにより、検出モデルが出力する第４画像に映る腫瘍の陰影を検出した結果を取得する。これにより、自動検出部８０７は、医用画像に映る腫瘍の陰影を、ユーザが把握可能にすることができる。

自動検出部８０７は、検出精度を評価した結果に基づいて、いずれかの検出モデルを選択し、選択した検出モデルを利用し、医用画像に映る腫瘍の陰影を検出してもよい。自動検出部８０７は、例えば、評価値が最大の検出モデルを選択し、選択した検出モデルに第４画像を入力することにより、選択した検出モデルが出力する第４画像に映る腫瘍の陰影を検出した結果を取得する。これにより、自動検出部８０７は、医用画像に映る腫瘍の陰影を、ユーザが把握可能にすることができる。

出力部８０８は、いずれかの機能部の処理結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、通信Ｉ／Ｆ３０３による外部装置への送信、または、メモリ３０２や記録媒体３０５などの記憶領域への記憶である。これにより、出力部８０８は、いずれかの機能部の処理結果をユーザに通知可能にし、教師画像生成装置１００の利便性の向上を図ることができる。

出力部８０８は、生成した第３画像を出力する。出力部８０８は、例えば、第３画像を、腫瘍の陰影の第３画像上の位置を特定する情報と対応付けて、他のコンピュータに送信する。また、出力部８０８は、例えば、第３画像を、腫瘍の陰影が映っていることを示す情報と対応付けて、他のコンピュータに送信してもよい。これにより、出力部８０８は、他のコンピュータで、検出モデルの検出精度を向上可能にすることができる。

出力部８０８は、生成した第５画像を出力する。出力部８０８は、例えば、第５画像を、腫瘍の陰影の第５画像上の位置を特定する情報と対応付けて、他のコンピュータに送信する。また、出力部８０８は、例えば、第５画像を、腫瘍の陰影が映っていることを示す情報と対応付けて、他のコンピュータに送信してもよい。これにより、出力部８０８は、他のコンピュータで、検出モデルの検出精度を向上可能にすることができる。

出力部８０８は、生成した検出モデルを出力する。出力部８０８は、例えば、検出モデルを、他のコンピュータに送信する。これにより、出力部８０８は、他のコンピュータで、検出モデルを利用可能にすることができ、医用画像に映る腫瘍の陰影を検出可能にすることができる。

出力部８０８は、検出精度を評価した結果に基づいて、いずれかの検出モデルを選択し、選択した検出モデルを出力してもよい。出力部８０８は、例えば、評価値が最大の検出モデルを選択し、選択した検出モデルを、他のコンピュータに送信する。これにより、出力部８０８は、他のコンピュータで、検出モデルを利用可能にすることができ、医用画像に映る腫瘍の陰影を検出可能にすることができる。

ここでは、気腔検出部８０２が、マスク画像を生成し、マスク処理部８０３が、マスク画像を重ねて第２画像を加工し、合成処理部８０４が、第１画像や第４画像に、加工した第２画像を合成する場合について説明したが、これに限らない。合成処理部８０４が、第３画像や第５画像を生成可能であれば、気腔検出部８０２が、マスク画像を生成せず、マスク処理部８０３が、第２画像を加工しない場合があってもよい。例えば、合成処理部８０４が、第２画像に基づき、第１画像上の腫瘍の陰影を合成する合成先の領域が透過するように、第１画像を加工し、第２画像に、加工した第１画像を重ねて合成することにより、第３画像を生成する場合があってもよい。

ここでは、教師画像生成装置１００が、画像格納部８０５～自動検出部８０７を有し、検出モデルを生成し、検出モデルを利用して医用画像に映る腫瘍の陰影を検出する場合について説明したが、これに限らない。例えば、教師画像生成装置１００が、画像格納部８０５～自動検出部８０７を有さない場合があってもよい。この場合、教師画像生成装置１００が、合成処理部８０４により生成した第３画像などを、画像格納部８０５～自動検出部８０７を有する他のコンピュータに送信し、検出モデルを生成させ、検出モデルを利用して医用画像に映る腫瘍の陰影を検出させる。

教師画像生成装置１００が、検出モデルを生成せず、検出モデルを利用して医用画像に映る腫瘍の陰影を検出しない場合については、図９～図１１を用いて後述する実施例１に対応する。一方で、教師画像生成装置１００が、検出モデルを生成し、検出モデルを利用して医用画像に映る腫瘍の陰影を検出する場合については、図１２～図１７を用いて後述する実施例２、および、図１８を用いて後述する実施例３に対応する。

（医用画像処理システム２００の実施例１）
次に、図９～図１１を用いて、医用画像処理システム２００の実施例１について説明する。実施例１は、教師画像生成装置１００が、検出モデルを生成せず、検出モデルを利用して医用画像に映る腫瘍の陰影を検出しない場合に対応する。まず、図９を用いて、実施例１における各機能部の動作の流れの一例について説明する。

図９は、実施例１における各機能部の動作の流れの一例を示す説明図である。図９において、呼吸器疾患の肺画像群９０１は、気腔検出部８０２と合成処理部８０４とに入力される。肺癌の腫瘍画像群９０２は、マスク処理部８０３に入力される。

気腔検出部８０２は、肺画像群９０１のそれぞれの肺画像上の気腔領域を検出する。気腔検出部８０２は、それぞれの肺画像について、当該肺画像上の気腔領域をマスク領域として示す、当該肺画像に対応するマスク画像を生成する。気腔検出部８０２は、それぞれの肺画像に対応するマスク画像を集めたマスク画像群９１０を、マスク処理部８０３に出力する。

マスク処理部８０３は、マスク画像群９１０のマスク画像と、腫瘍画像群９０２の腫瘍画像との組み合わせごとに、当該腫瘍画像に当該マスク画像を重ねて合成し、当該腫瘍画像のうち当該マスク画像のマスク領域と重複しない部分にある画素の画素値を抽出する。マスク処理部８０３は、例えば、腫瘍画像とマスク画像のいずれかの位置とが重なるように、腫瘍画像にマスク画像を重ねて合成することにより、当該腫瘍画像のうち当該マスク画像のマスク領域と重複しない部分にある画素の画素値を抽出する。

合成処理部８０４は、それぞれの肺画像について、当該肺画像に対応するマスク画像を合成した腫瘍画像を重ねて合成し、腫瘍画像の画素値を、当該肺画像の画素値に合成し、人工の合併肺癌画像を生成する。合成処理部８０４は、生成した合併肺癌画像を集めた合併肺癌画像群９２０を出力する。次に、図１０を用いて、肺気腫の肺画像に肺癌の腫瘍画像を合成する一例について説明する。

図１０は、肺気腫の肺画像に肺癌の腫瘍画像を合成する一例を示す説明図である。図１０において、気腔検出部８０２は、肺気腫の肺画像１００１上の気腔領域を検出する。ここで、肺画像１００１上で同じ黒色の部分でも、ＣＴ値は異なる場合がある。気腔検出部８０２は、肺画像１００１と同じ大きさで、検出した肺画像１００１上の気腔領域を抜き出したマスク画像１００２を生成する。マスク処理部８０３は、腫瘍画像１００３にマスク画像１００２を重ねて合成する。合成処理部８０４は、肺画像１００１上に、マスク画像１００２を合成した腫瘍画像１００３を重ねて合成し、合併肺癌画像１０１０を生成する。

これにより、教師画像生成装置１００は、合併肺癌の腫瘍が、肺気腫による蜂巣肺の気腔内には発育せず、気腔の壁に沿って発育する傾向があることを反映した、合併肺癌画像１０１０を得ることができる。また、教師画像生成装置１００は、合併肺癌画像１０１０を、他のコンピュータに出力することができる。このため、教師画像生成装置１００は、他のコンピュータで、検出モデルの検出精度を向上可能にすることができ、医用画像に映る腫瘍の陰影を精度よく検出可能な検出モデルを生成可能にすることができる。

結果として、教師画像生成装置１００は、医師が用意可能な、実際の合併肺癌画像の数が比較的少なくても、人工の合併肺癌画像を利用して、他のコンピュータで、医用画像に映る腫瘍の陰影を精度よく検出可能な検出モデルを生成可能にすることができる。そして、教師画像生成装置１００は、検出モデルにより医用画像に映る腫瘍の陰影を自動で検出可能であるため、医師の作業負担の低減化を図ることができ、医師が腫瘍の陰影の見落とすことを防止し、被験者の生存率の向上を図ることができる。

ここで、教師画像生成装置１００は、合併肺癌画像１０１０に合併肺癌の状況を反映するため、肺画像１００１に合成する肺癌の腫瘍に関する各種パラメータを、自動または手動で調整可能であってもよい。パラメータは、例えば、腫瘍の位置、大きさ、配合率、数などである。例えば、教師画像生成装置１００は、図１３および図１４を用いて後述する合成例１、図１５を用いて後述する合成例２、または、図１６を用いて後述する合成例３のように、合併肺癌画像１０１０を生成する。次に、図１１を用いて、間質性肺炎の肺画像に肺癌の腫瘍画像を合成する一例について説明する。

図１１は、間質性肺炎の肺画像に肺癌の腫瘍画像を合成する一例を示す説明図である。図１１において、気腔検出部８０２は、間質性肺炎の肺画像１１０１上の気腔領域を検出する。ここで、肺画像１１０１上で同じ黒色の部分でも、ＣＴ値は異なる場合がある。気腔検出部８０２は、肺画像１１０１と同じ大きさで、検出した肺画像１１０１上の気腔領域を抜き出したマスク画像１１０２を生成する。マスク処理部８０３は、腫瘍画像１１０３にマスク画像１１０２を重ねて合成する。合成処理部８０４は、肺画像１１０１上に、マスク画像１１０２を合成した腫瘍画像１１０３を重ねて合成し、合併肺癌画像１１１０を生成する。

これにより、教師画像生成装置１００は、合併肺癌の腫瘍が、間質性肺炎による蜂巣肺の気腔内には発育せず、気腔の壁に沿って発育する傾向があることを反映した、合併肺癌画像１１１０を得ることができる。教師画像生成装置１００は、合併肺癌画像１１１０を、他のコンピュータに出力することができる。このため、教師画像生成装置１００は、他のコンピュータで、検出モデルの検出精度を向上可能にすることができ、医用画像に映る腫瘍の陰影を精度よく検出可能にすることができる。

結果として、教師画像生成装置１００は、医師が用意可能な、実際の合併肺癌画像の数が比較的少なくても、人工の合併肺癌画像を利用して、他のコンピュータで、医用画像に映る腫瘍の陰影を精度よく検出可能な検出モデルを生成可能にすることができる。そして、教師画像生成装置１００は、検出モデルにより医用画像に映る腫瘍の陰影を自動で検出可能であるため、医師の作業負担の低減化を図ることができ、医師が腫瘍の陰影の見落とすことを防止し、被験者の生存率の向上を図ることができる。

ここで、教師画像生成装置１００は、合併肺癌画像１１１０に合併肺癌の状況を反映するため、肺画像１１０１に合成する肺癌の腫瘍に関する各種パラメータを、自動または手動で調整可能であってもよい。パラメータは、例えば、腫瘍の位置、大きさ、配合率、数などである。例えば、教師画像生成装置１００は、図１３および図１４を用いて後述する合成例１、図１５を用いて後述する合成例２、または、図１６を用いて後述する合成例３のように、合併肺癌画像１１１０を生成する。

（医用画像処理システム２００の実施例２）
次に、図１２～図１７を用いて、医用画像処理システム２００の実施例２について説明する。実施例２は、教師画像生成装置１００が、検出モデルを生成し、検出モデルを利用して医用画像に映る腫瘍の陰影を検出する場合に対応する。まず、図１２を用いて、実施例２における各機能部の動作の流れの一例について説明する。

図１２は、実施例２における各機能部の動作の流れの一例を示す説明図である。図１２において、呼吸器疾患の肺画像群１２０１は、気腔検出部８０２と合成処理部８０４とに入力される。肺癌の腫瘍画像群１２０２は、マスク処理部８０３に入力される。実際の合併肺癌画像群１２０３は、画像格納部８０５に入力される。検出対象の症例画像１２０４は、自動検出部８０７に入力される。

気腔検出部８０２は、肺画像群１２０１のそれぞれの肺画像上の気腔領域を検出する。気腔検出部８０２は、それぞれの肺画像について、当該肺画像上の気腔領域をマスク領域として示す、当該肺画像に対応するマスク画像を生成する。気腔検出部８０２は、それぞれの肺画像に対応するマスク画像を集めたマスク画像群１２１０を、マスク処理部８０３に出力する。

マスク処理部８０３は、マスク画像群１２１０のマスク画像と腫瘍画像群１２０２の腫瘍画像との組み合わせごとに、当該腫瘍画像に当該マスク画像を重ねて合成し、当該腫瘍画像のうち当該マスク画像のマスク領域と重複しない部分にある画素の画素値を抽出する。マスク処理部８０３は、例えば、腫瘍画像とマスク画像のいずれかの位置とが重なるように、腫瘍画像にマスク画像を重ねて合成することにより、当該腫瘍画像のうち当該マスク画像のマスク領域と重複しない部分にある画素の画素値を抽出する。

合成処理部８０４は、それぞれの肺画像について、当該肺画像に対応するマスク画像を合成した腫瘍画像を重ねて合成し、腫瘍画像の画素値を、当該肺画像の画素値に合成し、人工の合併肺癌画像を生成する。合成処理部８０４は、生成した合併肺癌画像を集めた人工の合併肺癌画像群１２２０を、画像格納部８０５に出力する。マスク処理部８０３および合成処理部８０４は、具体的には、図１３および図１４を用いて後述する合成例１、図１５を用いて後述する合成例２、または、図１６を用いて後述する合成例３のように、人工の合併肺癌画像を生成する。

画像格納部８０５は、実際の合併肺癌画像群１２０３の実際の合併肺癌画像と、人工の合併肺癌画像群１２２０の人工の合併肺癌画像とを組み合わせた画像グループを１以上生成し、機械学習部８０６に出力する。機械学習部８０６は、受信した画像グループごとに、当該画像グループに基づいて、医用画像に映る腫瘍の陰影を検出する検出モデルを生成する。機械学習部８０６は、画像グループごとに、当該画像グループに基づいて、当該画像グループに対応する検出モデルの検出精度を評価した評価値を算出する。機械学習部８０６は、評価値が最大である検出モデルを、自動検出部８０７に出力する。

自動検出部８０７は、受信した検出モデルを利用して、検出対象の症例画像１２０４に映る腫瘍の陰影を検出し、検出した腫瘍の陰影の位置を特定する腫瘍位置情報１２３０を出力する。次に、図１３および図１４を用いて、教師画像生成装置１００が、肺画像に腫瘍画像を重ねて合成する合成例１について説明する。合成例１は、教師画像生成装置１００が、腫瘍画像を合成する肺画像上の位置の指定を受け付ける場合に対応する。

図１３および図１４は、肺画像に腫瘍画像を重ねて合成する合成例１を示す説明図である。図１３において、教師画像生成装置１００は、区画分けした肺画像１３００をディスプレイに表示する。教師画像生成装置１００は、ユーザの操作入力に基づき、肺画像１３００上で、腫瘍画像を合成する領域１３０２の指定を受け付ける。教師画像生成装置１００は、指定の領域１３０２のうち、マスク領域１３０１が存在する区画を除いた残余の領域を、合成領域１３０３として特定する。図１３の例では、合成領域１３０３を、右下がりの斜め線によるハッチで示す。

教師画像生成装置１００は、合成領域１３０３のいずれかの区画を、腫瘍画像を合成する位置に決定する。教師画像生成装置１００は、肺画像１３００上の決定した位置に、腫瘍画像を合成する。これにより、教師画像生成装置１００は、ユーザの所望の位置に、腫瘍画像を合成し、ユーザの意図を反映した人工の合併肺癌画像を生成することができる。次に、図１４の説明に移行する。

図１４において、教師画像生成装置１００は、区画分けした肺画像１４００をディスプレイに表示する。教師画像生成装置１００は、ユーザの操作入力に基づき、肺画像１４００上で、腫瘍画像を合成する領域１４０２の指定を受け付ける。教師画像生成装置１００は、指定の領域１４０２のうち、マスク領域１４０１が存在する区画を除いた残余の領域を、合成領域１４０３として特定する。図１４の例では、合成領域１４０３を、右下がりの斜め線によるハッチで示す。

教師画像生成装置１００は、合成領域１４０３のそれぞれの区画を、マスク領域１４０１に近い区画ほど、選択される確率が高いように設定した上で、合成領域のいずれかの区画を選択し、腫瘍画像を合成する位置に決定する。図１４の例では、選択される確率が比較的高い区画を、クロスのハッチで示し、選択される確率が比較的低い区画を、右下がりの斜め線によるハッチで示す。教師画像生成装置１００は、肺画像１４００上の決定した位置に、腫瘍画像を合成する。

これにより、教師画像生成装置１００は、ユーザの所望の位置に、腫瘍画像を合成し、ユーザの意図を反映した人工の合併肺癌画像を生成することができる。また、教師画像生成装置１００は、腫瘍が発育しやすいマスク領域１４０１に近い位置に、腫瘍画像を合成し、実態に合った合併肺癌画像を生成することができ、検出モデルの検出精度を向上させやすくすることができる。次に、図１５を用いて、教師画像生成装置１００が、肺画像に腫瘍画像を重ねて合成する合成例２について説明する。合成例２は、教師画像生成装置１００が、腫瘍画像を拡大または縮小してから肺画像に合成する場合に対応する。

図１５は、肺画像に腫瘍画像を重ねて合成する合成例２を示す説明図である。図１５において、教師画像生成装置１００は、図１３と同様に、肺画像１５００上の合成領域を特定し、合成領域のいずれかの区画を、腫瘍画像を合成する位置に決定する。教師画像生成装置１００は、腫瘍画像から切り出した腫瘍抽出画像１５１０を、複数の倍率でリスケールする。倍率は、例えば、０．８のｎ乗倍である。ｎは、例えば、－１０～１０の整数である。教師画像生成装置１００は、肺画像１５００上の決定した位置に、リスケールした腫瘍抽出画像それぞれを合成した、人工の合併肺癌画像を生成する。

教師画像生成装置１００は、例えば、肺画像１５００上の決定した位置に、リスケールした腫瘍抽出画像１５１１を配置した状態１５２０において、腫瘍抽出画像１５１１のうち、合成領域からはみ出た部分を特定する。そして、教師画像生成装置１００は、肺画像１５００上の決定した位置に、はみ出た部分を削除した状態の腫瘍抽出画像１５１１を合成した、人工の合併肺癌画像１５３０を生成する。

これにより、教師画像生成装置１００は、肺癌のステージにより腫瘍の大きさが異なる場合があることを反映した、人工の合併肺癌画像を生成することができ、検出モデルの検出精度を向上させやすくすることができる。次に、図１６を用いて、教師画像生成装置１００が、肺画像に腫瘍画像を重ねて合成する合成例３について説明する。合成例３は、教師画像生成装置１００が、透過率を変更して腫瘍画像を肺画像に合成する場合に対応する。

図１６は、肺画像に腫瘍画像を重ねて合成する合成例３を示す説明図である。図１６において、教師画像生成装置１００は、図１３と同様に、肺画像１６００上の合成領域を特定し、合成領域のいずれかの区画を、腫瘍画像を合成する位置に決定する。教師画像生成装置１００は、腫瘍画像から切り出した腫瘍抽出画像を、複数の透過率に設定する。この際、教師画像生成装置１００は、例えば、アルファブレンディングを利用する。

透過率は、例えば、０％～９０％の１０％刻みである。図１６の例では、説明の便宜上、０％～９０％のそれぞれの透過率に設定した腫瘍抽出画像を、黒い背景色である領域１６１０に重ねて例示している。例えば、透過率を５０％に設定した腫瘍抽出画像１６１１や透過率を０％に設定した腫瘍抽出画像１６１２などを例示している。

教師画像生成装置１００は、肺画像１６００上の決定した位置に、透過率を設定した腫瘍抽出画像それぞれを合成した、人工の合併肺癌画像を生成する。教師画像生成装置１００は、例えば、肺画像１６００上の決定した位置に、透過率を５０％に設定した腫瘍抽出画像１６１１を合成した、人工の合併肺癌画像１６２０を生成する。また、教師画像生成装置１００は、例えば、肺画像１６００上の決定した位置に、透過率を０％に設定した腫瘍抽出画像１６１２を合成した、人工の合併肺癌画像１６３０を生成する。

これにより、教師画像生成装置１００は、肺癌のステージにより腫瘍の浸潤度に応じた映り具合が異なる場合があることを反映した、人工の合併肺癌画像を生成することができ、検出モデルの検出精度を向上させやすくすることができる。次に、図１７を用いて、教師画像生成装置１００が、画像グループごとに生成された検出モデルの検出精度を評価する一例について説明する。

図１７は、画像グループごとに生成された検出モデルの検出精度を評価する一例を示す説明図である。図１７において、複数の画像グループのそれぞれの画像グループに基づいて検出モデルを生成し、生成した検出モデルの検出精度を評価した評価値を算出する。複数の画像グループは、例えば、それぞれ、１００枚ごとの異なる枚数の人工の合併肺癌画像を含み、同じ枚数の実際の合併肺癌画像を含む。

教師画像生成装置１００は、例えば、人工の合併肺癌画像を含まず、実際の合併肺癌画像を１０００枚含む画像グループ１７０１について検出モデルを生成し、生成した検出モデルの検出精度を評価した評価値を算出する。また、教師画像生成装置１００は、例えば、人工の合併肺癌画像を２０００枚含み、かつ、実際の合併肺癌画像を１０００枚含む画像グループ１７０２について検出モデルを生成し、生成した検出モデルの検出精度を評価した評価値を算出する。

そして、教師画像生成装置１００は、グラフ１７００上で、実際の合併肺癌画像の枚数に対する人工の合併肺癌画像の枚数の割合の変化に応じた、評価値の変化を示す特性曲線１７１０を特定し、評価値が最大である検出モデルを特定する。教師画像生成装置１００は、特定した検出モデルを出力する。また、教師画像生成装置１００は、評価値が最大となる、実際の合併肺癌画像の枚数に対する人工の合併肺癌画像の枚数の割合を記憶し、次回の検出モデルを生成する際に参照し、次回の検出モデルを生成する際に用いる画像グループを生成してもよい。これにより、教師画像生成装置１００は、検出モデルの検出精度の向上を図ることができる。

ここでは、教師画像生成装置１００が、複数の画像グループを用意してから、それぞれの画像グループに基づいて検出モデルを生成し、生成した検出モデルの検出精度を評価した評価値を算出する場合について説明したが、これに限らない。例えば、教師画像生成装置１００が、人工の合併肺癌画像を１００枚生成する都度、生成済みの人工の合併肺癌画像を含む画像グループを生成し、画像グループに基づいて生成した検出モデルの検出精度を評価した評価値を算出する場合があってもよい。そして、教師画像生成装置１００は、算出した評価値に基づいて、いずれかのタイミングで人工の合併肺癌画像を生成することを停止し、いずれかの検出モデルを出力するようにしてもよい。

教師画像生成装置１００は、例えば、評価値が閾値を超えたタイミングで、人工の合併肺癌画像を生成することを停止し、評価値が閾値を超えた検出モデルを出力する。これにより、教師画像生成装置１００は、処理量の低減化を図ることができる。教師画像生成装置１００は、例えば、図１７のように予め２０００枚の人工の合併肺癌画像を用意しなくても、検出モデルを出力することができる。

教師画像生成装置１００は、例えば、今回生成した検出モデルの評価値が、直前に生成した検出モデルの評価値より小さくなったタイミングで、人工の合併肺癌画像を生成することを停止し、直前に生成した検出モデルを出力する。これにより、教師画像生成装置１００は、処理量の低減化を図ることができる。教師画像生成装置１００は、例えば、図１７のように予め２０００枚の人工の合併肺癌画像を用意しなくても、検出モデルを出力することができる。

（医用画像処理システム２００の実施例３）
次に、図１８を用いて、医用画像処理システム２００の実施例３について説明する。実施例３は、教師画像生成装置１００が、検出モデルを生成する際に、検出対象の症例画像を利用する場合に対応する。まず、図１８を用いて、実施例３における各機能部の動作の流れの一例について説明する。

図１８は、実施例３における各機能部の動作の流れの一例を示す説明図である。図１８において、呼吸器疾患の肺画像群１８０１は、気腔検出部８０２と合成処理部８０４とに入力される。肺癌の腫瘍画像群１８０２は、マスク処理部８０３に入力される。実際の合併肺癌画像群１８０３は、画像格納部８０５に入力される。検出対象の症例画像１８０４は、気腔検出部８０２と合成処理部８０４と自動検出部８０７とに入力される。

気腔検出部８０２は、肺画像群１８０１のそれぞれの肺画像上の気腔領域を検出する。気腔検出部８０２は、それぞれの肺画像について、当該肺画像上の気腔領域をマスク領域として示す、当該肺画像に対応するマスク画像を生成する。

気腔検出部８０２は、症例画像１８０４上の気腔領域を検出する。気腔検出部８０２は、症例画像１８０４について、当該症例画像１８０４上の気腔領域をマスク領域として示す、当該症例画像１８０４に対応するマスク画像を生成する。気腔検出部８０２は、それぞれの肺画像に対応するマスク画像、および、症例画像１８０４に対応するマスク画像を集めたマスク画像群１８１０を、マスク処理部８０３に出力する。

マスク処理部８０３は、マスク画像群１８１０のマスク画像と腫瘍画像群１８０２の腫瘍画像との組み合わせごとに、当該腫瘍画像に当該マスク画像を重ねて合成し、当該腫瘍画像のうち当該マスク画像のマスク領域と重複しない部分にある画素の画素値を抽出する。マスク処理部８０３は、例えば、腫瘍画像とマスク画像のいずれかの位置とが重なるように、腫瘍画像にマスク画像を重ねて合成することにより、当該腫瘍画像のうち当該マスク画像のマスク領域と重複しない部分にある画素の画素値を抽出する。

合成処理部８０４は、それぞれの肺画像について、当該肺画像に対応するマスク画像を合成した腫瘍画像を重ねて合成し、腫瘍画像の画素値を、当該肺画像の画素値に合成し、人工の合併肺癌画像を生成する。合成処理部８０４は、生成した合併肺癌画像を集めた人工の合併肺癌画像群１８２０を、画像格納部８０５に出力する。マスク処理部８０３および合成処理部８０４は、合成例１、合成例２、または、合成例３のように、人工の合併肺癌画像を生成する。

マスク処理部８０３は、マスク画像群１８１０のマスク画像と腫瘍画像群１８０２の腫瘍画像との組み合わせごとに、当該腫瘍画像に当該マスク画像を重ねて合成し、当該腫瘍画像のうち当該マスク画像のマスク領域と重複しない部分にある画素の画素値を抽出する。マスク処理部８０３は、例えば、腫瘍画像とマスク画像のいずれかの位置とが重なるように、腫瘍画像にマスク画像を重ねて合成することにより、当該腫瘍画像のうち当該マスク画像のマスク領域と重複しない部分にある画素の画素値を抽出する。

合成処理部８０４は、それぞれの症例画像１８０４について、当該症例画像１８０４に対応するマスク画像を合成した腫瘍画像を重ねて合成し、腫瘍画像の画素値を、当該症例画像１８０４の画素値に合成し、人工の合併肺癌画像を生成する。合成処理部８０４は、生成した合併肺癌画像を集めた人工の合併肺癌画像群１８２０を、画像格納部８０５に出力する。

画像格納部８０５は、実際の合併肺癌画像群１８０３の実際の合併肺癌画像と、人工の合併肺癌画像群１８２０の人工の合併肺癌画像とを組み合わせた画像グループを１以上生成し、機械学習部８０６に出力する。機械学習部８０６は、受信した画像グループごとに、当該画像グループに基づいて、医用画像に映る腫瘍の陰影を検出する検出モデルを生成する。機械学習部８０６は、画像グループごとに、当該画像グループに基づいて、当該画像グループに対応する検出モデルの検出精度を評価した評価値を算出する。機械学習部８０６は、評価値が最大である検出モデルを、自動検出部８０７に出力する。

自動検出部８０７は、受信した検出モデルを利用して、検出対象の症例画像１８０４に映る腫瘍の陰影を検出し、検出した腫瘍の陰影の位置を特定する腫瘍位置情報１８３０を出力する。これにより、教師画像生成装置１００は、いずれかの被験者の症例画像１８０４に基づき、当該被験者の今後の症例画像に映る腫瘍の陰影を検出することに適した検出モデルを得ることができる。このため、教師画像生成装置１００は、症例画像１８０４、または、同じ被験者の今後の症例画像に映る腫瘍の陰影を精度よく検出可能にすることができる。

（合成例１における合成処理手順）
次に、図１９を用いて、教師画像生成装置１００が実行する、合成例１における合成処理手順の一例について説明する。合成処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。

図１９は、合成例１における合成処理手順の一例を示すフローチャートである。図１９において、教師画像生成装置１００は、背景画像となる呼吸器疾患画像を表示する（ステップＳ１９０１）。そして、教師画像生成装置１００は、ユーザの操作入力に基づき、腫瘍の陰影を示す腫瘍画像を合成する領域の指定を受け付ける（ステップＳ１９０２）。

次に、教師画像生成装置１００は、指定の領域から気腔部分に対応するマスク領域を除外した合成領域を生成する（ステップＳ１９０３）。そして、教師画像生成装置１００は、合成領域に基づいて、腫瘍の陰影を示す腫瘍画像を合成する位置を決定する（ステップＳ１９０４）。

次に、教師画像生成装置１００は、決定した位置に基づいて、腫瘍画像からマスク領域以外の画素値を抽出し、呼吸器疾患画像に合成することにより、人工症例画像を取得する（ステップＳ１９０５）。この際、教師画像生成装置１００は、腫瘍画像のうち、合成領域からはみ出した部分は除去する。そして、教師画像生成装置１００は、合成処理を終了する。これにより、教師画像生成装置１００は、合併症にあり得る態様で腫瘍の陰影が映る人工症例画像を取得することができ、検出モデルの検出精度を向上させやすくすることができる。

（合成例２における合成処理手順）
次に、図２０を用いて、教師画像生成装置１００が実行する、合成例２における合成処理手順の一例について説明する。合成処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。

図２０は、合成例２における合成処理手順の一例を示すフローチャートである。図２０において、教師画像生成装置１００は、背景画像となる呼吸器疾患画像を表示する（ステップＳ２００１）。そして、教師画像生成装置１００は、ユーザの操作入力に基づき、腫瘍の陰影を示す腫瘍画像を合成する領域の指定を受け付ける（ステップＳ２００２）。

次に、教師画像生成装置１００は、指定の領域から気腔部分に対応するマスク領域を除外した合成領域を生成する（ステップＳ２００３）。そして、教師画像生成装置１００は、合成領域に基づいて、腫瘍の陰影を示す腫瘍画像を合成する位置を決定する（ステップＳ２００４）。

次に、教師画像生成装置１００は、腫瘍画像を複数の比率でリスケールし、サイズの異なるｎ枚の腫瘍画像を生成する（ステップＳ２００５）。そして、教師画像生成装置１００は、ｉ枚目の腫瘍画像を選択する（ステップＳ２００６）。ｉの初期値は、１である。

次に、教師画像生成装置１００は、決定した位置に基づいて、ｉ枚目の腫瘍画像からマスク領域以外の画素値を抽出し、呼吸器疾患画像に合成することにより、人工症例画像を取得する（ステップＳ２００７）。そして、教師画像生成装置１００は、ｉをインクリメントする（ステップＳ２００８）。

次に、教師画像生成装置１００は、ｉ＞ｎであるか否かを判定する（ステップＳ２００９）。ここで、ｉ＞ｎではない場合（ステップＳ２００９：Ｎｏ）、教師画像生成装置１００は、ステップＳ２００６の処理に戻る。

一方で、ｉ＞ｎである場合（ステップＳ２００９：Ｙｅｓ）、教師画像生成装置１００は、合成処理を終了する。これにより、教師画像生成装置１００は、肺癌のステージにより腫瘍の大きさが異なることを反映した、合併症にあり得る態様で腫瘍の陰影が映る人工症例画像を取得することができ、検出モデルの検出精度を向上させやすくすることができる。

（合成例３における合成処理手順）
次に、図２１を用いて、教師画像生成装置１００が実行する、合成例３における合成処理手順の一例について説明する。合成処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。

図２１は、合成例３における合成処理手順の一例を示すフローチャートである。図２１において、教師画像生成装置１００は、背景画像となる呼吸器疾患画像を表示する（ステップＳ２１０１）。そして、教師画像生成装置１００は、ユーザの操作入力に基づき、腫瘍の陰影を示す腫瘍画像を合成する領域の指定を受け付ける（ステップＳ２１０２）。

次に、教師画像生成装置１００は、指定の領域から気腔部分に対応するマスク領域を除外した合成領域を生成する（ステップＳ２１０３）。そして、教師画像生成装置１００は、合成領域に基づいて、腫瘍の陰影を示す腫瘍画像を合成する位置を決定する（ステップＳ２１０４）。

次に、教師画像生成装置１００は、腫瘍画像の透過率を調整し、透過率の異なるｍ枚の腫瘍画像を生成する（ステップＳ２１０５）。そして、教師画像生成装置１００は、ｉ枚目の腫瘍画像を選択する（ステップＳ２１０６）。ｉの初期値は、１である。

次に、教師画像生成装置１００は、決定した位置に基づいて、ｉ枚目の腫瘍画像からマスク領域以外の画素値を抽出し、呼吸器疾患画像に合成することにより、人工症例画像を取得する（ステップＳ２１０７）。そして、教師画像生成装置１００は、ｉをインクリメントする（ステップＳ２１０８）。

次に、教師画像生成装置１００は、ｉ＞ｍであるか否かを判定する（ステップＳ２１０９）。ここで、ｉ＞ｍではない場合（ステップＳ２１０９：Ｎｏ）、教師画像生成装置１００は、ステップＳ２１０６の処理に戻る。

一方で、ｉ＞ｍである場合（ステップＳ２１０９：Ｙｅｓ）、教師画像生成装置１００は、合成処理を終了する。これにより、教師画像生成装置１００は、肺癌のステージにより腫瘍の映り度合いが異なることを反映した、合併症にあり得る態様で腫瘍の陰影が映る人工症例画像を取得することができ、検出モデルの検出精度を向上させやすくすることができる。

（モデル生成処理手順）
次に、図２２を用いて、教師画像生成装置１００が実行する、モデル生成処理手順の一例について説明する。モデル生成処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。

図２２は、モデル生成処理手順の一例を示すフローチャートである。図２２において、教師画像生成装置１００は、人工症例画像を異なる枚数含む、ｌ個の画像グループを生成する（ステップＳ２２０１）。

次に、教師画像生成装置１００は、ｘ番目の画像グループを選択する（ステップＳ２２０２）。そして、教師画像生成装置１００は、選択した画像グループのＮｌ枚の人工症例画像に、Ｎ枚の実症例画像を組み合わせて、モデルＭｌを生成する（ステップＳ２２０３）。

次に、教師画像生成装置１００は、モデルＭｌの精度Ｐｌを算出する（ステップＳ２２０４）。そして、教師画像生成装置１００は、ｘをインクリメントする（ステップＳ２２０５）。ｘの初期値は、１である。

次に、教師画像生成装置１００は、ｘ＞ｌであるか否かを判定する（ステップＳ２２０６）。ここで、ｘ＞ｌではない場合（ステップＳ２２０６：Ｎｏ）、教師画像生成装置１００は、ステップＳ２２０２の処理に戻る。一方で、ｘ＞ｌである場合（ステップＳ２２０６：Ｙｅｓ）、教師画像生成装置１００は、精度Ｐｌが最大であるモデルＭｌを出力する（ステップＳ２２０７）。そして、教師画像生成装置１００は、モデル生成処理を終了する。これにより、教師画像生成装置１００は、特定の被験者に関する医用画像に映る腫瘍の陰影を検出しやすい検出モデルを生成することができる。

ここで、教師画像生成装置１００は、図１９～図２２の各フローチャートの一部ステップの処理を省略してもよい。例えば、教師画像生成装置１００が、腫瘍画像を合成する領域の指定を受け付けず、自動で腫瘍画像を合成する領域を選択する場合には、ステップＳ２００２，Ｓ２１０２の処理などは省略可能である。

以上説明したように、教師画像生成装置１００によれば、第１画像上の気腔領域を検出することができる。教師画像生成装置１００によれば、第１画像と第２画像とに基づいて、第１画像上に第２画像を配置した際に、腫瘍の陰影のうち、検出した気腔領域と重複する部分を非表示として、第３画像を生成して出力することができる。これにより、教師画像生成装置１００は、合併症時にあり得る態様で、肺癌の腫瘍の陰影が映る人工の症例画像を生成することができ、検出モデルの検出精度を向上しやすくすることができる。また、教師画像生成装置１００は、医用画像処理システム２００の利便性を向上させることができる。

教師画像生成装置１００によれば、肺気腫または間質性肺炎に関する第１画像と、肺癌に関する第２画像とを利用することができる。これにより、教師画像生成装置１００は、肺気腫または間質性肺炎と、肺癌との合併症時にあり得る態様で、肺癌の腫瘍の陰影が映る人工の症例画像を生成することができ、検出モデルの検出精度を向上しやすくすることができる。

教師画像生成装置１００によれば、第３画像を、腫瘍の陰影の第３画像上の位置を特定する情報と対応付けて出力することができる。これにより、教師画像生成装置１００は、検出モデルの生成に利用する学習データの形式で、第３画像を出力することができる。

教師画像生成装置１００によれば、第２画像を合成する第１画像上の位置の指定を受け付けることができる。教師画像生成装置１００によれば、指定された第１画像上の位置に第２画像を配置した際に、腫瘍の陰影のうち、検出した気腔領域と重複する部分を非表示として、第３画像を生成することができる。これにより、教師画像生成装置１００は、ユーザの意図を反映した人工の症例画像を生成することができる。

教師画像生成装置１００によれば、第１画像上の検出した気腔領域の近傍に第２画像を配置した際に、腫瘍の陰影のうち、検出した気腔領域と重複する部分を非表示として、第３画像を生成することができる。これにより、教師画像生成装置１００は、気腔領域の近傍に、腫瘍が発育しやすいことを反映した、人工の症例画像を生成することができる。

教師画像生成装置１００によれば、腫瘍の陰影を拡大または縮小し、第１画像上に第２画像を配置した際に、拡大または縮小した腫瘍の陰影のうち、検出した気腔領域と重複する部分を非表示として、第３画像を生成することができる。これにより、教師画像生成装置１００は、肺癌のステージにより腫瘍の大きさが異なる場合があることを反映した、人工の合併肺癌画像を生成することができ、検出モデルの検出精度を向上させやすくすることができる。

教師画像生成装置１００によれば、腫瘍の陰影の透過率を変更し、第１画像上に第２画像を配置した際に、透過率を変更した腫瘍の陰影のうち、検出した気腔領域と重複する部分を非表示として、第３画像を生成することができる。これにより、教師画像生成装置１００は、肺癌のステージにより腫瘍の映り具合が異なる場合があることを反映した、人工の合併肺癌画像を生成することができ、検出モデルの検出精度を向上させやすくすることができる。

教師画像生成装置１００によれば、第１画像に第２画像を複数合成することができる。これにより、教師画像生成装置１００は、肺癌の腫瘍が複数発育する場合があることを反映した、人工の合併肺癌画像を生成することができ、検出モデルの検出精度を向上させやすくすることができる。

教師画像生成装置１００によれば、第３画像に基づいて、入力された被験者の肺の断面を撮像した画像に映る腫瘍の陰影を検出した結果を出力する検出モデルを生成することができる。これにより、教師画像生成装置１００は、腫瘍の陰影を検出可能にすることができる。

教師画像生成装置１００によれば、被験者の肺の断面を撮像した第４画像上の気腔領域を検出することができる。教師画像生成装置１００によれば、第４画像と第２画像とに基づいて、第４画像上に第２画像を配置した際に、腫瘍の陰影のうち、検出した第４画像上の気腔領域と重複する部分を非表示として、第５画像を生成することができる。教師画像生成装置１００によれば、第３画像と、生成した第５画像とに基づいて、入力された被験者の肺の断面を撮像した画像に映る腫瘍の陰影を検出した結果を出力する検出モデルを生成することができる。これにより、教師画像生成装置１００は、特定の被験者に適した検出モデルを生成することができる。

教師画像生成装置１００によれば、第３画像を１以上含み、かつ、腫瘍の陰影が映る肺の断面を撮像した第６画像を１以上含む画像グループを複数生成することができる。教師画像生成装置１００によれば、生成した画像グループごとに、当該画像グループに基づいて、入力された被験者の肺の断面を撮像した画像に映る腫瘍の陰影を検出した結果を出力する検出モデルを生成することができる。教師画像生成装置１００によれば、画像グループごとに生成した検出モデルについて、入力された被験者の肺の断面を撮像した画像に映る腫瘍の陰影を検出する検出精度を評価した結果を出力することができる。これにより、教師画像生成装置１００は、検出精度が比較的高い検出モデルを生成することができる。

教師画像生成装置１００によれば、第３画像を、腫瘍の陰影が第３画像に映っていることを示す情報と対応付けて出力することができる。これにより、教師画像生成装置１００は、検出モデルの生成に利用する学習データの形式で第３画像を出力することができる。

なお、本実施の形態で説明した教師画像生成方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本実施の形態で説明した教師画像生成プログラムは、ハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本実施の形態で説明した教師画像生成プログラムは、インターネット等のネットワークを介して配布してもよい。

上述した実施の形態に関し、さらに以下の付記を開示する。

（付記１）第１疾患により気腔を生じた肺の断面を撮像した第１画像上の気腔領域を検出し、
前記第１画像と、前記第１疾患と合併症を形成し得る第２疾患による腫瘍の陰影を示す第２画像とに基づいて、前記第１画像上に前記第２画像を配置した際に、前記腫瘍の陰影のうち、検出した前記気腔領域と重複する部分を非表示として、前記第１画像に前記第２画像を合成した第３画像を生成し、
生成した前記第３画像を出力する、
処理をコンピュータに実行させることを特徴とする教師画像生成プログラム。

（付記２）前記第１疾患は、肺気腫または間質性肺炎であり、
前記第２疾患は、肺癌である、ことを特徴とする付記１に記載の教師画像生成プログラム。

（付記３）前記出力する処理は、
前記第３画像を、前記腫瘍の陰影の前記第３画像上の位置を特定する情報と対応付けて出力する、ことを特徴とする付記１または２に記載の教師画像生成プログラム。

（付記４）前記第２画像を合成する前記第１画像上の位置の指定を受け付ける、
処理を前記コンピュータに実行させ、
前記生成する処理は、
指定された前記第１画像上の位置に前記第２画像を配置した際に、前記腫瘍の陰影のうち、検出した前記気腔領域と重複する部分を非表示として、前記第１画像に前記第２画像を合成した前記第３画像を生成する、ことを特徴とする付記１～３のいずれか一つに記載の教師画像生成プログラム。

（付記５）前記生成する処理は、
前記第１画像上の検出した前記気腔領域の近傍に前記第２画像を配置した際に、前記腫瘍の陰影のうち、検出した前記気腔領域と重複する部分を非表示として、前記第１画像に前記第２画像を合成した前記第３画像を生成する、ことを特徴とする付記１～４のいずれか一つに記載の教師画像生成プログラム。

（付記６）前記生成する処理は、
前記腫瘍の陰影を拡大または縮小し、前記第１画像上に前記第２画像を配置した際に、拡大または縮小した前記腫瘍の陰影のうち、検出した前記気腔領域と重複する部分を非表示として、前記第１画像に前記第２画像を合成した前記第３画像を生成する、ことを特徴とする付記１～５のいずれか一つに記載の教師画像生成プログラム。

（付記７）前記生成する処理は、
前記腫瘍の陰影の透過率を変更し、前記第１画像上に前記第２画像を配置した際に、透過率を変更した前記腫瘍の陰影のうち、検出した前記気腔領域と重複する部分を非表示として、前記第１画像に前記第２画像を合成した前記第３画像を生成する、ことを特徴とする付記１～６のいずれか一つに記載の教師画像生成プログラム。

（付記８）前記生成する処理は、
前記第１画像に前記第２画像を複数合成する、ことを特徴とする付記１～７のいずれか一つに記載の教師画像生成プログラム。

（付記９）前記第３画像に基づいて、入力された被験者の肺の断面を撮像した画像に映る腫瘍の陰影を検出した結果を出力するモデルを生成する、
処理を前記コンピュータに実行させることを特徴とする付記１～８のいずれか一つに記載の教師画像生成プログラム。

（付記１０）被験者の肺の断面を撮像した第４画像上の気腔領域を検出し、
前記第４画像と前記第２画像とに基づいて、前記第４画像上に前記第２画像を配置した際に、前記腫瘍の陰影のうち、検出した前記第４画像上の気腔領域と重複する部分を非表示として、前記第４画像に前記第２画像を合成した第５画像を生成し、
前記第３画像と、生成した前記第５画像とに基づいて、入力された前記被験者の肺の断面を撮像した画像に映る腫瘍の陰影を検出した結果を出力するモデルを生成する、
処理を前記コンピュータに実行させることを特徴とする付記１～９のいずれか一つに記載の教師画像生成プログラム。

（付記１１）前記第３画像を１以上含み、かつ、腫瘍の陰影が映る肺の断面を撮像した第６画像を１以上含む画像グループを複数生成し、
生成した前記画像グループごとに、当該画像グループに基づいて、入力された被験者の肺の断面を撮像した画像に映る腫瘍の陰影を検出した結果を出力するモデルを生成し、
前記画像グループごとに生成した前記モデルについて、入力された被験者の肺の断面を撮像した画像に映る腫瘍の陰影を検出する検出精度を評価した結果を出力する、
処理を前記コンピュータに実行させることを特徴とする付記１～１０のいずれか一つに記載の教師画像生成プログラム。

（付記１２）前記出力する処理は、
前記第３画像を、前記腫瘍の陰影が前記第３画像に映っていることを示す情報と対応付けて出力する、ことを特徴とする付記１～１１のいずれか一つに記載の教師画像生成プログラム。

（付記１３）第１疾患により気腔を生じた肺の断面を撮像した第１画像上の気腔領域を検出し、
前記第１画像と、前記第１疾患と合併症を形成し得る第２疾患による腫瘍の陰影を示す第２画像とに基づいて、前記第１画像上に前記第２画像を配置した際に、前記腫瘍の陰影のうち、検出した前記気腔領域と重複する部分を非表示として、前記第１画像に前記第２画像を合成した第３画像を生成し、
生成した前記第３画像を出力する、
処理をコンピュータが実行することを特徴とする教師画像生成方法。

（付記１４）第１疾患により気腔を生じた肺の断面を撮像した第１画像上の気腔領域を検出し、
前記第１画像と、前記第１疾患と合併症を形成し得る第２疾患による腫瘍の陰影を示す第２画像とに基づいて、前記第１画像上に前記第２画像を配置した際に、前記腫瘍の陰影のうち、検出した前記気腔領域と重複する部分を非表示として、前記第１画像に前記第２画像を合成した第３画像を生成し、
生成した前記第３画像を出力する、
ことを特徴とする教師画像生成システム。

１００ 教師画像生成装置
１０１，１０３～１０６ 医用画像
１０２ 部分画像
２００ 医用画像処理システム
２０１ モダリティ装置
２０２ 医師用端末
２０３ 画像ＤＢ
２０４ 腫瘍ＤＢ
２１０ ネットワーク
３００，６００，７００ バス
３０１，６０１，７０１ ＣＰＵ
３０２，６０２，７０２ メモリ
３０３，６０３，７０３ 通信Ｉ／Ｆ
３０４，６０４，７０４ 記録媒体Ｉ／Ｆ
３０５，６０５，７０５ 記録媒体
６０６ 撮像装置
６０７，７０７ 入力装置
７０６ ディスプレイ
８００ 記憶部
８０１ 取得部
８０２ 気腔検出部
８０３ マスク処理部
８０４ 合成処理部
８０５ 画像格納部
８０６ 機械学習部
８０７ 自動検出部
８０８ 出力部
９０１，１２０１，１８０１ 肺画像群
９０２，１２０２，１８０２ 腫瘍画像群
９１０，１２１０，１８１０ マスク画像群
９２０，１２０３，１２２０，１８０３，１８２０ 合併肺癌画像群
１００１，１１０１，１３００，１４００，１５００，１６００ 肺画像
１００２，１１０２ マスク画像
１００３，１１０３ 腫瘍画像
１０１０，１１１０，１５３０，１６２０，１６３０ 合併肺癌画像
１２０４，１８０４ 症例画像
１３０１，１４０１ マスク領域
１３０２，１４０２ 領域
１５１０，１５１１，１６１１，１６１２ 腫瘍抽出画像
１５２０ 状態
１７０１，１７０２ 画像グループ
１７１０ 特性曲線

Claims (13)

1. 第１疾患により気腔を生じた肺の断面を撮像した第１画像上の気腔領域を検出し、
   前記第１画像と、前記第１疾患と合併症を形成し得る第２疾患による腫瘍の陰影を示す第２画像とに基づいて、前記第２画像が示す前記腫瘍の陰影を前記第１画像上のいずれかの位置に合成する際に前記第１画像上の前記いずれかの位置において前記第２画像が示す前記腫瘍の陰影のうち検出した前記気腔領域と重複しない部分のみを前記第１画像上の前記いずれかの位置に合成した第３画像を生成し、
   生成した前記第３画像を出力する、
   処理をコンピュータに実行させることを特徴とする教師画像生成プログラム。
2. 前記第１疾患は、肺気腫または間質性肺炎であり、
   前記第２疾患は、肺癌である、ことを特徴とする請求項１に記載の教師画像生成プログラム。
3. 前記出力する処理は、
   前記第３画像を、前記腫瘍の陰影の前記第３画像上の位置を特定する情報と対応付けて出力する、ことを特徴とする請求項１または２に記載の教師画像生成プログラム。
4. 前記第１画像上で、前記第２画像が示す前記腫瘍の陰影を合成する位置の指定を受け付ける、
   処理を前記コンピュータに実行させ、
   前記生成する処理は、
   前記第２画像が示す前記腫瘍の陰影を前記第１画像上の前記指定を受け付けた位置に合成する際に前記第１画像上の前記指定を受け付けた位置において前記第２画像が示す前記腫瘍の陰影のうち検出した前記気腔領域と重複しない部分のみを前記第１画像上の前記指定を受け付けた位置に合成した前記第３画像を生成する、ことを特徴とする請求項１～３のいずれか一つに記載の教師画像生成プログラム。
5. 前記生成する処理は、
   前記第２画像が示す前記腫瘍の陰影を前記第１画像上の検出した前記気腔領域の近傍の位置に合成する際に前記第１画像上の前記近傍の位置において前記第２画像が示す前記腫瘍の陰影のうち検出した前記気腔領域と重複しない部分のみを前記第１画像上の前記近傍の位置に合成した前記第３画像を生成する、ことを特徴とする請求項１～４のいずれか一つに記載の教師画像生成プログラム。
6. 前記生成する処理は、
   前記第２画像が示す前記腫瘍の陰影を拡大または縮小し、拡大または縮小した前記腫瘍の陰影を前記第１画像上のいずれかの位置に合成する際に前記第１画像上の前記いずれかの位置において拡大または縮小した前記腫瘍の陰影のうち検出した前記気腔領域と重複しない部分のみを前記第１画像上の前記いずれかの位置に合成した前記第３画像を生成する、ことを特徴とする請求項１～５のいずれか一つに記載の教師画像生成プログラム。
7. 前記生成する処理は、
   前記第２画像が示す前記腫瘍の陰影の透過率を変更し、透過率を変更した前記腫瘍の陰影を前記第１画像上のいずれかの位置に合成する際に前記第１画像上の前記いずれかの位置において透過率を変更した前記腫瘍の陰影のうち検出した前記気腔領域と重複しない部分のみを前記第１画像上の前記いずれかの位置に合成した前記第３画像を生成する、ことを特徴とする請求項１～６のいずれか一つに記載の教師画像生成プログラム。
8. 前記生成する処理は、
   前記第１画像に前記第２画像が示す前記腫瘍の陰影を複数合成する、ことを特徴とする請求項１～７のいずれか一つに記載の教師画像生成プログラム。
9. 前記第３画像に基づいて、入力された被験者の肺の断面を撮像した画像に映る腫瘍の陰影を検出した結果を出力するモデルを生成する、
   処理を前記コンピュータに実行させることを特徴とする請求項１～８のいずれか一つに記載の教師画像生成プログラム。
10. 被験者の肺の断面を撮像した第４画像上の気腔領域を検出し、
    前記第４画像と前記第２画像とに基づいて、前記第２画像が示す前記腫瘍の陰影を前記第４画像上のいずれかの位置に合成する際に前記第４画像上の前記いずれかの位置において前記第２画像が示す前記腫瘍の陰影のうち検出した前記気腔領域と重複しない部分のみを前記第４画像上の前記いずれかの位置に合成した第５画像を生成し、
    前記第３画像と、生成した前記第５画像とに基づいて、入力された前記被験者の肺の断面を撮像した画像に映る腫瘍の陰影を検出した結果を出力するモデルを生成する、
    処理を前記コンピュータに実行させることを特徴とする請求項１～９のいずれか一つに記載の教師画像生成プログラム。
11. 前記第３画像を１以上含み、かつ、腫瘍の陰影が映る肺の断面を撮像した第６画像を１以上含む画像グループを複数生成し、
    生成した前記画像グループごとに、当該画像グループに基づいて、入力された被験者の肺の断面を撮像した画像に映る腫瘍の陰影を検出した結果を出力するモデルを生成し、
    前記画像グループごとに生成した前記モデルについて、入力された被験者の肺の断面を撮像した画像に映る腫瘍の陰影を検出する検出精度を評価した結果を出力する、
    処理を前記コンピュータに実行させることを特徴とする請求項１～１０のいずれか一つに記載の教師画像生成プログラム。
12. 第１疾患により気腔を生じた肺の断面を撮像した第１画像上の気腔領域を検出し、
    前記第１画像と、前記第１疾患と合併症を形成し得る第２疾患による腫瘍の陰影を示す第２画像とに基づいて、前記第２画像が示す前記腫瘍の陰影を前記第１画像上のいずれかの位置に合成する際に前記第１画像上の前記いずれかの位置において前記第２画像が示す前記腫瘍の陰影のうち検出した前記気腔領域と重複しない部分のみを前記第１画像上の前記いずれかの位置に合成した第３画像を生成し、
    生成した前記第３画像を出力する、
    処理をコンピュータが実行することを特徴とする教師画像生成方法。
13. 第１疾患により気腔を生じた肺の断面を撮像した第１画像上の気腔領域を検出し、
    前記第１画像と、前記第１疾患と合併症を形成し得る第２疾患による腫瘍の陰影を示す第２画像とに基づいて、前記第２画像が示す前記腫瘍の陰影を前記第１画像上のいずれかの位置に合成する際に前記第１画像上の前記いずれかの位置において前記第２画像が示す前記腫瘍の陰影のうち検出した前記気腔領域と重複しない部分のみを前記第１画像上の前記いずれかの位置に合成した第３画像を生成し、
    生成した前記第３画像を出力する、
    ことを特徴とする教師画像生成システム。

Images