JP7322562B2 - 判定プログラム、判定方法、および判定システム - Google Patents

判定プログラム、判定方法、および判定システム Download PDF

Info

Publication number
JP7322562B2
JP7322562B2 JP2019131685A JP2019131685A JP7322562B2 JP 7322562 B2 JP7322562 B2 JP 7322562B2 JP 2019131685 A JP2019131685 A JP 2019131685A JP 2019131685 A JP2019131685 A JP 2019131685A JP 7322562 B2 JP7322562 B2 JP 7322562B2
Authority
JP
Japan
Prior art keywords
cross
shadow
sectional
sectional images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019131685A
Other languages
English (en)
Other versions
JP2021016410A (ja
Inventor
信浩 宮▲崎▼
浩明 武部
康貴 森脇
正樹 石原
明燮 鄭
孝之 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019131685A priority Critical patent/JP7322562B2/ja
Publication of JP2021016410A publication Critical patent/JP2021016410A/ja
Application granted granted Critical
Publication of JP7322562B2 publication Critical patent/JP7322562B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Description

本発明は、判定プログラム、判定方法、および判定システムに関する。
従来、医療分野において、検査技師と呼ばれる医療従事者が、モダリティ装置を利用し、被験者の断面画像を撮像することがある。断面画像は、例えば、CT(Computed Tomography)画像やMRI(Magnetic Resonance Imaging)画像などである。その後、医師が、被験者の健康状態や病状などを診断する際に、撮像された断面画像を確認する。
先行技術としては、例えば、読影レポートに記録された第1の病変特徴と、読影レポートに対応する画像データから取得した第2の病変特徴とが一致すると判定した場合に、読影レポートに対応する画像データを正解データとして登録するものがある。また、例えば、医用画像における病変領域候補を識別し、識別された病変領域候補が血管領域であるか否かを識別し、血管領域であると識別されなかった病変候補領域を、病変領域として検出する技術がある。
特開2019-8349号公報 特開2018-175343号公報
しかしながら、従来技術では、断面画像に粒状影が含まれるか否かを精度よく判別することが難しい。例えば、肺疾患の診断時、被験者の断面画像において、粒状影と血管影とは、共に白い円形の影として映ることがあり、断面画像に映る白い円形の影が、粒状影であるか否かを精度よく判定することが難しい。
1つの側面では、本発明は、断面画像に粒状影が含まれるか否かを判別する精度の向上を目的とする。
1つの実施態様によれば、断面画像群のいずれかの断面画像に映る粒状影の候補を検出し、前記候補を検出した際に、前記断面画像群のうち、前記いずれかの断面画像に対応する複数の断面画像に基づいて、前記候補が粒状物体の断面の形状の傾向を示す場合には、検出した前記候補が粒状影であると判定し、前記候補が粒状物体の断面の形状の傾向を示さない場合には、検出した前記候補が粒状影ではないと判定する判定プログラム、判定方法、および判定システムが提案される。
一態様によれば、断面画像に粒状影が含まれるか否かを判別する精度の向上が可能になる。
図1は、実施の形態にかかる判定方法の一実施例を示す説明図である。 図2は、医療システム200の一例を示す説明図である。 図3は、判定装置100のハードウェア構成例を示すブロック図である。 図4は、モダリティ装置201のハードウェア構成例を示すブロック図である。 図5は、医師用端末202のハードウェア構成例を示すブロック図である。 図6は、判定装置100の機能的構成例を示すブロック図である。 図7は、合成枚数と合成方法とのペアを選択する一例を示す説明図(その1)である。 図8は、合成枚数と合成方法とのペアを選択する一例を示す説明図(その2)である。 図9は、合成枚数と合成方法とのペアを選択する一例を示す説明図(その3)である。 図10は、合成枚数と合成方法とのペアを選択する一例を示す説明図(その4)である。 図11は、評価値Vを算出する一例を示す説明図である。 図12は、粒状影が映っているか否かを判別する一例を示す説明図である。 図13は、医療システム200を利用する一例を示す説明図である。 図14は、全体処理手順の一例を示すフローチャートである。 図15は、画像生成処理手順の一例を示すフローチャートである。 図16は、類似度算出処理手順の一例を示すフローチャートである。 図17は、評価値算出処理手順の一例を示すフローチャートである。 図18は、方式決定処理手順の一例を示すフローチャートである。 図19は、粒状影判別処理手順の一例を示すフローチャートである。
以下に、図面を参照して、本発明にかかる判定プログラム、判定方法、および判定システムの実施の形態を詳細に説明する。
(実施の形態にかかる判定方法の一実施例)
図1は、実施の形態にかかる判定方法の一実施例を示す説明図である。図1において、判定装置100は、医療分野において、被験者のいずれかの部位の断面画像に基づく、医師による被験者に対する診断作業を支援するためのコンピュータである。
診断作業は、例えば、被験者の健康状態や病状などを診断する作業である。被験者の断面画像は、被験者の健康状態や病状などを診断するための医療用の画像である。被験者の断面画像は、例えば、CT画像やMRI画像などである。被験者の断面画像は、例えば、検査技師によってモダリティ装置を利用して撮像される。医師は、被験者の断面画像を確認し、被験者の健康状態や病状などを診断する診断作業を実施する。
ここで、近年、被験者に対する1回の検査において、モダリティ装置を利用して撮像される被験者の断面画像の数が膨大になる傾向がある。例えば、CT画像やMRI画像は、数mm間隔で人体の断面を撮像するため、被験者の断面画像の数が膨大になりやすい。具体的には、被験者の断面画像の数は、数千枚になる。また、医師の人手不足の問題がある。結果として、被験者の断面画像を確認し、被験者に対する診断作業を実施する際にかかる医師の作業負担は、増大する傾向がある。
このため、診断作業を効率化し、医師の作業負担を低減することが望まれる。これに対し、医師が、被験者の症例に類似する過去の症例を参照可能にすることにより、診断作業の効率化を図り、医師の作業負担の低減化を図ることが考えられる。例えば、医師が、被験者の症例に類似する過去の症例を参照可能にするにあたり、機械学習により、被験者の断面画像に基づき、被験者の症例の特徴を特定し、被験者の症例の特徴から、過去の症例を検索することが考えられる。
具体的には、びまん性肺疾患の診断では、病変部位が空間的に広範囲に存在し、断面画像を確認する際にかかる時間が増大する傾向があるため、被験者の断面画像に基づき、被験者の症例の特徴を特定し、特定した特徴と類似する特徴を有する過去の症例を検索することが考えられる。この際、断面画像において、血管に対応する陰影と画像特徴が類似する、病変部位に対応する粒状影と呼ばれる陰影を、血管に対応する陰影と区別し、被験者の症例の特徴として、被験者の肺における病変部位の分布を特定することが好ましい。粒状影とは、病変部位に対応する円形の陰影である。例えば、直径3mm未満の血管に対応する陰影は、粒状影と画像特徴が類似する傾向がある。
しかしながら、断面画像に映る血管に対応する陰影と区別して、断面画像に粒状影が映っているか否かを精度よく判別することは難しい。これに対し、パッチサイズを検討して、入力された1枚の断面画像に粒状影が映っているか否かを判別しようとする判別手法が考えられるが、1枚の断面画像を基に、共に白い円形の陰影として映る傾向がある粒状影と血管に対応する陰影とを区別することは難しい。結果として、入力された1枚の断面画像に映る白い円形の影が、粒状影であるか否かを精度よく判定することは難しく、断面画像に粒状影が映っているか否かを精度よく判別することは難しい。上記判別手法は、例えば、下記参考文献1を参照することができる。
参考文献1:Monkam, Patrice, et al. “CNN models discriminating between pulmonary micro-nodules and non-nodules from CT images.” Biomedical engineering online 17.1 (2018): 96.
そこで、本実施の形態では、断面画像群のうち、粒状影の候補が映るいずれかの断面画像に対応する複数の断面画像に基づいて、粒状影の候補が、粒状影であるか否かを判定することができる判定方法について説明する。
図1において、判定装置100は、対象物の断面画像群を記憶する。対象物は、被験者の1以上の部位である。断面画像群は、例えば、互いに略平行である。略平行は、断面画像同士が重ならないことを示す。以下では、説明の簡略化のため、断面画像群は、互いに平行であるとし、断面画像群に含まれる複数の断面画像も、互いに平行であるとする。
判定装置100は、例えば、被験者のいずれかの部位の互いに平行な断面群のそれぞれの断面を撮像して得られた、被験者のいずれかの部位に関する互いに平行な断面画像群を記憶する。いずれかの部位は、例えば、被験者の肺である。図1の例では、断面画像群は、具体的には、断面画像110や断面画像120などを含む。
図1に示すように、断面画像110は、病変部位130の断面を表す粒状影が、白い円形の陰影111として映る。また、断面画像120は、血管140の断面を表す血管影が、白い円形の陰影121として映る。図1に示すように、陰影111,121は、画像特徴が類似する。
(1-1)判定装置100は、断面画像群のいずれかの断面画像に映る粒状影の候補を検出する。判定装置100は、例えば、断面画像群のいずれかの断面画像に映る白い円形の陰影を、粒状影の候補として検出する。
判定装置100は、具体的には、断面画像110を処理対象とすれば、断面画像110に映る白い円形の陰影111を、粒状影の候補として検出する。また、判定装置100は、具体的には、断面画像120を処理対象とすれば、断面画像120に映る白い円形の陰影121を、粒状影の候補として検出する。従って、検出した粒状影の候補は、実際にも粒状影である場合と、実際には血管影である場合とがあり得る。
(1-2)判定装置100は、粒状影の候補を検出した際に、断面画像群のうち、いずれかの断面画像に対応する互いに平行な複数の断面画像を取得する。複数の断面画像は、例えば、いずれかの断面画像の近傍に、いずれかの断面画像に対して平行に存在する断面画像を少なくとも含む。複数の断面画像は、例えば、いずれかの断面画像そのものをさらに含んでもよい。
複数の断面画像は、例えば、いずれかの断面画像に対して平行に連続して存在する2以上の断面画像を含んでもよい。複数の断面画像は、例えば、いずれかの断面画像に対して平行に不連続に存在する2以上の断面画像を含んでもよい。不連続に存在する断面画像は、例えば、断面画像群から1つ飛ばしで選んだ断面画像である。複数の断面画像は、具体的には、いずれかの断面画像そのものと、いずれかの断面画像に対して平行に存在する断面画像とを含む、予め設定された枚数分の断面画像である。
ここで、病変部位130は、粒状であり、空間的な広がりが小さい傾向があるため、断面画像110と、断面画像110に対して平行に存在する他の断面画像とは、病変部位130の断面を表す粒状影を、同様の位置に含むという性質がある。粒状とは、例えば、球体であることを意味する。また、粒状とは、例えば、球体に比較的近い形状であることを意味してもよく、楕円形であってもよい。
一方で、血管140は、空間的な広がりが大きい傾向があり、枝分かれすることもあるため、断面画像120と、断面画像120に対して平行に存在する他の断面画像とは、血管140の断面を表す血管影を、同様の位置に含むとは限らないという性質がある。
判定装置100は、これらの性質を利用して、複数の断面画像に基づいて、粒状影の候補が粒状物体の断面の形状の傾向を示す場合には、粒状影の候補が粒状影であると判定し、粒状影の候補が粒状物体の断面の形状の傾向を示さない場合には、粒状影の候補が粒状影ではないと判定する。粒状物体は、例えば、球体である。粒状物体は、例えば、球体に比較的近い物体であってもよく、楕円形物体であってもよい。
判定装置100は、例えば、複数の断面画像を合成した合成画像に映る影が円形である場合には、粒状影の候補が粒状影であると判定し、複数の断面画像を合成した合成画像に映る影が円形ではない場合には、粒状影の候補が粒状影ではないと判定する。合成画像は、例えば、z軸方向の投影図に対応し、z軸方向からの陰影の見え方を表すことがある。
判定装置100は、具体的には、断面画像110に対応する複数の断面画像を合成した合成画像150に映る陰影151が円形であるため、粒状影の候補として検出した陰影111が、粒状影であると判定する。また、判定装置100は、具体的には、断面画像120に対応する複数の断面画像を合成した合成画像160に映る陰影161が円形ではないため、粒状影の候補として検出した陰影121が、粒状影ではないと判定する。
これにより、判定装置100は、血管影と区別して、断面画像に粒状影が映っているか否かを精度よく判別することができる。このため、判定装置100は、血管影と区別された粒状影に基づいて、被験者の症例の特徴を精度よく特定することができ、他の被験者の過去の症例を検索しやすくすることができる。判定装置100は、例えば、びまん性肺疾患の診断において、被験者の症例の特徴を精度よく特定することができる。
結果として、判定装置100は、被験者の断面画像を確認し、被験者に対する診断作業を実施する際にかかる医師の作業負担の低減化を図ることができる。また、判定装置100は、医師が、被験者の健康状態や病状などを正しく診断しやすくすることができる。
ここでは、判定装置100が、複数の断面画像を合成した合成画像に基づいて、検出した粒状影の候補が、粒状影であるか否かを判定する場合について説明したが、これに限らない。例えば、判定装置100が、複数の断面画像を合成せず、複数の断面画像に基づいて、検出した粒状影の候補が、粒状影であるか否かを判定する場合があってもよい。具体的には、判定装置100が、複数の断面画像が入力されると複数の断面画像のいずれかの断面画像に粒状影が映っているか否かを判別した結果が出力されるモデルを利用して、検出した粒状影の候補が、粒状影であるか否かを判定する場合があってもよい。
(医療システム200の一例)
次に、図2を用いて、図1に示した判定装置100を適用した、医療システム200の一例について説明する。
図2は、医療システム200の一例を示す説明図である。図2において、医療システム200は、判定装置100と、モダリティ装置201と、1以上の医師用端末202とを含む。
医療システム200において、判定装置100とモダリティ装置201とは、有線または無線により直接接続される。また、判定装置100とモダリティ装置201とは、有線または無線のネットワーク210を介して接続されてもよい。また、判定装置100と医師用端末202とは、有線または無線のネットワーク210を介して接続される。ネットワーク210は、例えば、LAN(Local Area Network)、WAN(Wide Area Network)、インターネットなどである。
判定装置100は、画像DB(DataBase)203と特徴DB204とを有する。判定装置100は、例えば、被験者のいずれかの部位に関する互いに平行な断面画像群を、モダリティ装置201から受信し、画像DB203を用いて記憶する。
判定装置100は、例えば、過去の被験者の症例の特徴を、特徴DB204を用いて記憶する。過去の被験者の症例の特徴は、例えば、過去の被験者の肺における病変部位の分布の特徴である。また、特徴DB204は、過去の被験者の症例についての各種情報を記憶してもよい。各種情報は、例えば、過去の被験者の肺の断面画像、過去の被験者のカルテなどである。
判定装置100は、例えば、断面画像群のうち、所定の合成枚数分の複数の断面画像を、所定の合成方法により合成した合成画像に基づいて、複数の断面画像のいずれかの断面画像に映る粒状影の候補が、粒状影であるか否かを判定し、粒状影が映っているか否かを判別する。
そして、判定装置100は、少なくともいずれかの断面画像に粒状影が映っているか否かの判別結果を、医師用端末202に送信する。また、判定装置100は、少なくともいずれかの断面画像に粒状影が映っているか否かの判別結果に基づいて、被験者の症例の特徴を特定し、当該特徴と類似する特徴を有する過去の被験者の症例を、特徴DB204から検索し、医師用端末202に送信する場合があってもよい。
また、判定装置100は、粒状影または血管影が映る断面画像を含むことが確定した断面画像群に基づいて、合成枚数と合成方法との複数のペアのそれぞれのペアが、粒状影が映っているか否かの判別にどの程度好ましいかを検査する場合があってもよい。そして、判定装置100は、合成枚数と合成方法との複数のペアのうち、粒状影が映っているか否かの判別に利用することが好ましいペアを選択し、粒状影が映っているか否かの判別に利用するようにする場合があってもよい。判定装置100は、例えば、サーバやPC(Personal Computer)などである。判定装置100は、例えば、PACS(Picture Archiving and Communication Systems)を実現する。
モダリティ装置201は、主に検査技師に用いられるコンピュータである。検査技師は、例えば、診療科の医師からの検査指示に応じて、モダリティ装置201を利用し、被験者のいずれかの部位に関する互いに平行な断面画像群を撮像する検査を実施する。モダリティ装置201は、例えば、検査技師の操作入力に応じて、被験者のいずれかの部位に関する互いに平行な断面画像群を撮像し、判定装置100に送信する。
モダリティ装置201は、例えば、検査技師の操作入力に応じて、被験者のいずれかの部位に関する互いに平行な断面画像群を、断面画像の順序の編集、断面画像の削除や加工などを実施した後に、判定装置100に送信する場合があってもよい。モダリティ装置201は、例えば、CR、CT、MRI、RIなどに関する画像機器である。
医師用端末202は、主に医師に用いられるコンピュータである。医師は、例えば、医師用端末202を利用し、判定装置100にアクセスし、少なくともいずれかの断面画像に粒状影が映っているか否かの判別結果に基づき、被験者の健康状態や病状などを診断し、被験者の所見を作成する。
医師用端末202は、例えば、医師の操作入力に応じて、判定装置100にアクセスし、少なくともいずれかの断面画像に粒状影が映っているか否かの判別結果を取得し、ディスプレイに表示する。医師用端末202は、例えば、医師の操作入力に応じて、表示した少なくともいずれかの断面画像に粒状影が映っているか否かの判別結果に基づく被験者の所見を作成する。医師用端末202は、例えば、PCなどである。
ここでは、判定装置100が、合成方法と合成枚数との複数のペアのうち、粒状影が映っているか否かの判別に利用することが好ましいペアを選択し、粒状影が映っているか否かの判別に利用するようにする場合について説明したが、これに限らない。例えば、判定装置100が、予め設定された合成枚数と合成方法とのペアを、常に粒状影が映っているか否かの判別に利用するようにする場合があってもよい。
ここでは、判定装置100が、粒状影が映っているか否かを判別する場合について説明したが、これに限らない。例えば、判定装置100が、合成方法と合成枚数との複数のペアのうち、粒状影が映っているか否かの判別に利用することが好ましいペアを選択し、粒状影が映っているか否かを判別するコンピュータに設定する場合があってもよい。具体的には、医師用端末202が、粒状影が映っているか否かを判別する場合があってもよい。
ここでは、判定装置100が、被験者のいずれかの部位に関する互いに平行な断面画像群を、画像DB203を用いて記憶する場合について説明したが、これに限らない。例えば、判定装置100が通信可能なコンピュータが、画像DB203を有し、被験者のいずれかの部位に関する互いに平行な断面画像群を、画像DB203を用いて記憶する場合があってもよい。
ここでは、モダリティ装置201が、検査技師の操作入力に応じて、被験者のいずれかの部位に関する互いに平行な断面画像群に対して、断面画像の順序の編集、断面画像の削除や加工などを実施する場合について説明したが、これに限らない。例えば、医療システム200が、被験者のいずれかの部位に関する互いに平行な断面画像群をモダリティ装置201から受信して断面画像の順序の編集、断面画像の削除や加工などを実施した後に判定装置100に転送するコンピュータを含む場合があってもよい。
(判定装置100のハードウェア構成例)
次に、図3を用いて、判定装置100のハードウェア構成例について説明する。
図3は、判定装置100のハードウェア構成例を示すブロック図である。図3において、判定装置100は、CPU(Central Processing Unit)301と、メモリ302と、通信I/F(Interface)303と、記録媒体I/F304と、記録媒体305とを有する。また、各構成部は、バス300によってそれぞれ接続される。
ここで、CPU301は、判定装置100の全体の制御を司る。メモリ302は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)およびフラッシュROMなどを有する。具体的には、例えば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU301のワークエリアとして使用される。メモリ302に記憶されるプログラムは、CPU301にロードされることで、コーディングされている処理をCPU301に実行させる。
通信I/F303は、通信回線を通じてネットワーク210に接続され、ネットワーク210を介して他のコンピュータに接続される。そして、通信I/F303は、ネットワーク210と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。また、通信I/F303は、有線または無線により、他のコンピュータに直接接続され、他のコンピュータと内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する場合があってもよい。通信I/F303は、例えば、モデムやLANアダプタなどである。
記録媒体I/F304は、CPU301の制御に従って記録媒体305に対するデータのリード/ライトを制御する。記録媒体I/F304は、例えば、ディスクドライブ、SSD(Solid State Drive)、USB(Universal Serial Bus)ポートなどである。記録媒体305は、記録媒体I/F304の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体305は、例えば、ディスク、半導体メモリ、USBメモリなどである。記録媒体305は、判定装置100から着脱可能であってもよい。
判定装置100は、上述した構成部のほか、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、判定装置100は、記録媒体I/F304や記録媒体305を複数有していてもよい。また、判定装置100は、記録媒体I/F304や記録媒体305を有していなくてもよい。
(モダリティ装置201のハードウェア構成例)
次に、図4を用いて、図2に示した医療システム200に含まれるモダリティ装置201のハードウェア構成例について説明する。
図4は、モダリティ装置201のハードウェア構成例を示すブロック図である。図4において、モダリティ装置201は、CPU401と、メモリ402と、通信I/F403と、記録媒体I/F404と、記録媒体405と、撮像装置406と、入力装置407とを有する。また、各構成部は、バス400によってそれぞれ接続される。
ここで、CPU401は、モダリティ装置201の全体の制御を司る。メモリ402は、例えば、ROM、RAMおよびフラッシュROMなどを有する。具体的には、例えば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU401のワークエリアとして使用される。メモリ402に記憶されるプログラムは、CPU401にロードされることで、コーディングされている処理をCPU401に実行させる。
通信I/F403は、通信回線を通じてネットワーク210に接続され、ネットワーク210を介して他のコンピュータに接続される。そして、通信I/F403は、ネットワーク210と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。通信I/F403は、有線または無線により、他のコンピュータに直接接続され、他のコンピュータと内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する場合があってもよい。通信I/F403は、例えば、モデムやLANアダプタなどである。
記録媒体I/F404は、CPU401の制御に従って記録媒体405に対するデータのリード/ライトを制御する。記録媒体I/F404は、例えば、ディスクドライブ、SSD、USBポートなどである。記録媒体405は、記録媒体I/F404の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体405は、例えば、ディスク、半導体メモリ、USBメモリなどである。記録媒体405は、モダリティ装置201から着脱可能であってもよい。
撮像装置406は、被験者の断面画像を撮像する。撮像装置406は、例えば、CT、MRI、CR(Computed Radiography)、RI(Radio Isotope)などに関する画像機器である。入力装置407は、文字、数字、各種指示などの入力のためのキーを有し、データの入力を行う。入力装置407は、キーボードやマウスなどであってもよく、また、タッチパネル式の入力パッドやテンキーなどであってもよい。
モダリティ装置201は、上述した構成部のほか、例えば、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、モダリティ装置201は、記録媒体I/F404や記録媒体405を複数有していてもよい。また、モダリティ装置201は、記録媒体I/F404や記録媒体405を有していなくてもよい。
(医師用端末202のハードウェア構成例)
次に、図5を用いて、図2に示した医療システム200に含まれる医師用端末202のハードウェア構成例について説明する。
図5は、医師用端末202のハードウェア構成例を示すブロック図である。図5において、医師用端末202は、CPU501と、メモリ502と、通信I/F503と、記録媒体I/F504と、記録媒体505と、ディスプレイ506と、入力装置507とを有する。また、各構成部は、バス500によってそれぞれ接続される。
ここで、CPU501は、医師用端末202の全体の制御を司る。メモリ502は、例えば、ROM、RAMおよびフラッシュROMなどを有する。具体的には、例えば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU501のワークエリアとして使用される。メモリ502に記憶されるプログラムは、CPU501にロードされることで、コーディングされている処理をCPU501に実行させる。
通信I/F503は、通信回線を通じてネットワーク210に接続され、ネットワーク210を介して他のコンピュータに接続される。そして、通信I/F503は、ネットワーク210と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。通信I/F503は、例えば、モデムやLANアダプタなどである。
記録媒体I/F504は、CPU501の制御に従って記録媒体505に対するデータのリード/ライトを制御する。記録媒体I/F504は、例えば、ディスクドライブ、SSD、USBポートなどである。記録媒体505は、記録媒体I/F504の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体505は、例えば、ディスク、半導体メモリ、USBメモリなどである。記録媒体505は、医師用端末202から着脱可能であってもよい。
ディスプレイ506は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ506は、例えば、CRT(Cathode Ray Tube)、液晶ディスプレイ、有機EL(Electroluminescence)ディスプレイなどである。入力装置507は、文字、数字、各種指示などの入力のためのキーを有し、データの入力を行う。入力装置507は、キーボードやマウスなどであってもよく、また、タッチパネル式の入力パッドやテンキーなどであってもよい。
医師用端末202は、上述した構成部のほか、例えば、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、医師用端末202は、記録媒体I/F504や記録媒体505を複数有していてもよい。また、医師用端末202は、記録媒体I/F504や記録媒体505を有していなくてもよい。
(判定装置100の機能的構成例)
次に、図6を用いて、判定装置100の機能的構成例について説明する。
図6は、判定装置100の機能的構成例を示すブロック図である。図6において、判定装置100は、記憶部600と、取得部601と、生成部602と、算出部603と、選択部604と、学習部605と、検出部606と、判定部607と、出力部608とを含む。
記憶部600は、例えば、図3に示したメモリ302や記録媒体305などの記憶領域によって実現される。以下では、記憶部600が、判定装置100に含まれる場合について説明するが、これに限らない。例えば、記憶部600が、判定装置100とは異なる装置に含まれ、記憶部600の記憶内容が判定装置100から参照可能である場合があってもよい。
取得部601~出力部608は、制御部の一例として機能する。取得部601~出力部608は、具体的には、例えば、図3に示したメモリ302や記録媒体305などの記憶領域に記憶されたプログラムをCPU301に実行させることにより、または、通信I/F303により、その機能を実現する。各機能部の処理結果は、例えば、図3に示したメモリ302や記録媒体305などの記憶領域に記憶される。
記憶部600は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部600は、被験者のいずれかの部位に関する断面画像群を記憶する。この断面画像群は、例えば、略平行である。以下では、この断面画像群は、互いに平行であるとする。いずれかの部位は、例えば、肺である。記憶部600は、例えば、被験者のいずれかの部位の互いに平行な断面群のそれぞれの断面を撮像して得られた、被験者のいずれかの部位に関する互いに平行な断面画像群を記憶する。記憶部600は、具体的には、断面画像に粒状影が映っているか否かを判別する処理対象となる、被験者のいずれかの部位に関する互いに平行な断面画像群を、画像DB203を用いて記憶する。
記憶部600は、粒状影に関する学習データとなる、被験者のいずれかの部位に関する断面画像群を記憶する。この断面画像群は、例えば、略平行である。以下では、この断面画像群は、互いに平行であるとする。記憶部600は、例えば、粒状影が映る第1の断面画像に対応する互いに平行な第1の断面画像群を記憶する。第1の断面画像群は、例えば、粒状影が映る第1の断面画像の近傍に存在する他の断面画像を少なくとも含む。第1の断面画像群は、例えば、粒状影が映る第1の断面画像そのものを含んでもよい。
記憶部600は、具体的には、粒状影が映る第1の断面画像を含むと判断された、被験者のいずれかの部位に関する互いに平行な第1の断面画像群を、ラベルとして粒状影を示す正解データに対応付けて、画像DB203を用いて記憶する。正解データは、例えば、第1の断面画像群が粒状影に関することを示し、第1の断面画像群の少なくとも第1の断面画像に粒状影が映っていることを示し、粒状影が映る第1の断面画像を特定可能にする情報である。
記憶部600は、血管影に関する学習データとなる、被験者のいずれかの部位に関する断面画像群を記憶する。この断面画像群は、例えば、略平行である。以下では、この断面画像群は、互いに平行であるとする。記憶部600は、例えば、血管影が映る第2の断面画像に対応する互いに平行な第2の断面画像群を記憶する。第2の断面画像群は、例えば、血管影が映る第2の断面画像の近傍に存在する他の断面画像を少なくとも含む。第2の断面画像群は、例えば、血管影が映る第2の断面画像そのものを含んでもよい。
記憶部600は、具体的には、血管影が映る第2の断面画像を含むと判断された、被験者のいずれかの部位に関する互いに平行な第2の断面画像群を、ラベルとして血管影を示す正解データに対応付けて、画像DB203を用いて記憶する。正解データは、例えば、第2の断面画像群が血管影に関することを示し、第2の断面画像群の少なくとも第2の断面画像に血管影が映っていることを示し、血管影が映る第2の断面画像を特定可能にする情報である。
記憶部600は、粒状影が映っているか否かを判別する際に利用可能な、合成枚数と合成方法との複数のペアを記憶する。合成枚数は、粒状影の判定に利用する断面画像の枚数である。合成方法は、複数の断面画像を合成した合成画像の各座標にある画素の画素値が、当該複数の断面画像のそれぞれの断面画像の当該座標にある画素の画素値の統計値となるように、当該複数の断面画像を合成する方法である。統計値は、例えば、平均値、最大値、最小値、最頻値、または、中央値などである。
取得部601は、各機能部の処理に用いられる各種情報を取得する。取得部601は、取得した各種情報を、記憶部600に記憶し、または、各機能部に出力する。また、取得部601は、記憶部600に記憶しておいた各種情報を、各機能部に出力してもよい。取得部601は、例えば、利用者の操作入力に基づき、各種情報を取得する。取得部601は、例えば、判定装置100とは異なる装置から、各種情報を受信してもよい。
取得部601は、断面画像に粒状影が映っているか否かを判別する処理対象となる、被験者のいずれかの部位に関する互いに平行な断面画像群を取得する。取得部601は、例えば、断面画像に粒状影が映っているか否かを判別する処理対象となる、被験者のいずれかの部位に関する互いに平行な断面画像群を、モダリティ装置201から受信することにより取得する。
取得部601は、粒状影に関する学習データとなる、被験者のいずれかの部位に関する互いに平行な断面画像群を取得する。取得部601は、例えば、粒状影が映る第1の断面画像に対応する互いに平行な第1の断面画像群を取得する。取得部601は、具体的には、利用者の操作入力に基づき、ラベルとして粒状影を示す正解データに対応付けられた、粒状影が映る第1の断面画像を含むと判断された、被験者のいずれかの部位に関する互いに平行な第1の断面画像群を取得する。
取得部601は、血管影に関する学習データとなる、被験者のいずれかの部位に関する互いに平行な断面画像群を取得する。取得部601は、例えば、血管影が映る第2の断面画像に対応する互いに平行な第2の断面画像群を取得する。取得部601は、具体的には、利用者の操作入力に基づき、ラベルとして血管影を示す正解データに対応付けられた、血管影が映る第2の断面画像を含むと判断された、被験者のいずれかの部位に関する互いに平行な第2の断面画像群を取得する。
取得部601は、断面画像に粒状影が映っているか否かを判別する処理を開始する判別トリガーを受け付ける。判別トリガーは、例えば、利用者の操作入力である。判別トリガーは、例えば、断面画像に粒状影が映っているか否かを判別する処理対象となる、被験者のいずれかの部位に関する互いに平行な断面画像群を受信したことであってもよい。
取得部601は、合成枚数と合成方法との複数のペアのいずれかのペアを選択する処理を開始する選択トリガーを受け付ける。選択トリガーは、例えば、利用者の操作入力である。選択トリガーは、例えば、正解データに対応付けられた、被験者のいずれかの部位に関する互いに平行な第1の断面画像群または第2の断面画像群の少なくともいずれかを取得したことであってもよい。
生成部602は、複数の断面画像を合成した合成画像を生成する。生成部602は、例えば、複数のペアのそれぞれのペアについて、取得した第1の断面画像群のうち、当該ペアの合成枚数分の複数の断面画像を、当該ペアの合成方法により合成した第1の合成画像を生成する。生成部602は、具体的には、第1の合成画像の各座標の画素の画素値が、複数の断面画像のそれぞれの断面画像の当該座標の画素の画素値の統計値になるように、第1の合成画像を生成する。これにより、生成部602は、第1の断面画像の比較対象である第1の合成画像を、算出部603が参照可能にすることができる。
生成部602は、例えば、複数のペアのそれぞれのペアについて、取得した第2の断面画像群のうち、当該ペアの合成枚数分の複数の断面画像を、当該ペアの合成方法により合成した第2の合成画像を生成する。生成部602は、具体的には、第2の合成画像の各座標の画素の画素値が、複数の断面画像のそれぞれの断面画像の当該座標の画素の画素値の統計値になるように、第2の合成画像を生成する。これにより、生成部602は、第2の断面画像の比較対象である第2の合成画像を、算出部603が参照可能にすることができる。
算出部603は、複数の断面画像を合成した合成画像と、複数の断面画像のいずれかの断面画像との類似度を算出する。算出部603は、例えば、第1の合成画像と、第1の断面画像との第1の類似度を算出する。これにより、算出部603は、それぞれのペアが、粒状影が映っているか否かの判別にどの程度好ましいかを示す指標となり得る第1の類似度を得ることができる。例えば、第1の断面画像には、粒状影が映っているため、第1の類似度が大きいペアの方が、粒状影が映っているか否かの判別に好ましいペアであることを示す。
算出部603は、例えば、第2の合成画像と、第2の断面画像との第2の類似度を算出する。これにより、算出部603は、それぞれのペアが、粒状影が映っているか否かの判別にどの程度好ましいかを示す指標となり得る第2の類似度を得ることができる。例えば、第2の断面画像には、粒状影が映っておらず、血管影が映っているため、第2の類似度が小さいペアの方が、粒状影が映っているか否かの判別に好ましいペアであることを示す。
選択部604は、合成枚数と合成方法との複数のペアのいずれかのペアを選択する。選択部604は、例えば、算出した第1の類似度に基づいて、複数のペアのいずれかのペアを選択する。選択部604は、具体的には、算出した第1の類似度が最大であるペアを選択する。選択部604は、具体的には、算出した第1の類似度が一定以上であるペアを選択してもよい。これにより、選択部604は、粒状影が映っているか否かの判別に好ましいペアを選択することができる。選択部604は、例えば、粒状影の候補が、粒状影であることを精度よく判定可能になると判断されるペアを選択することができる。
選択部604は、例えば、算出した第2の類似度に基づいて、複数のペアのいずれかのペアを選択する。選択部604は、具体的には、算出した第2の類似度が最小であるペアを選択する。選択部604は、具体的には、算出した第2の類似度が一定未満であるペアを選択してもよい。これにより、選択部604は、粒状影が映っているか否かの判別に好ましいペアを選択することができる。選択部604は、例えば、粒状影の候補が、粒状影ではないことを精度よく判定可能になると判断されるペアを選択することができる。
選択部604は、例えば、算出した第1の類似度と第2の類似度とに基づいて、複数のペアのいずれかのペアを選択する。選択部604は、具体的には、算出した第1の類似度と第2の類似度との差分が最大になるペアを選択する。これにより、選択部604は、粒状影が映っているか否かの判別に好ましいペアを選択することができる。選択部604は、例えば、粒状影の候補が、粒状影であることを精度よく判定可能、かつ、粒状影ではないことを精度よく判定可能になると判断されるペアを選択することができる。
学習部605は、学習データを生成する。学習データは、断面画像に粒状影が映っているか否かを判別した結果を出力するモデルを学習可能にするためのデータである。モデルは、例えば、選択したペアの合成枚数分の、粒状影の候補が映る断面画像に対応する互いに平行な複数の断面画像を、選択したペアの合成方法により合成した合成画像を、入力として受け付ける。モデルは、例えば、選択したペアの合成枚数分の、粒状影の候補が映る断面画像に対応する互いに平行な複数の断面画像を、入力として受け付ける場合があってもよい。モデルは、例えば、受け付けた入力に応じて、複数の断面画像のいずれかの断面画像に粒状影が映っているか否かを判別した結果を出力する。モデルは、例えば、ニューラルネットワークである。モデルは、例えば、数式または木構造などにより表現される場合があってもよい。
学習部605は、例えば、ラベルとして粒状影を示す正解データに対応付けられた、粒状影が映る断面画像に対応する互いに平行な断面画像群に基づいて、学習データを生成する。学習部605は、具体的には、断面画像群のうち、選択した合成枚数分の複数の断面画像を、選択した合成方法により合成した合成画像を入力データとして、ラベルとして粒状影を示す正解データに対応付けた学習データを生成する。学習部605は、具体的には、断面画像群のうち、選択した合成枚数分の複数の断面画像を入力データとして、ラベルとして粒状影を示す正解データに対応付けた学習データを生成する。これにより、学習部605は、モデルを学習可能にすることができる。
学習部605は、例えば、ラベルとして血管影を示す正解データに対応付けられた、血管影が映る断面画像に対応する互いに平行な複数の断面画像に基づいて、学習データを生成する。学習部605は、具体的には、断面画像群のうち、選択した合成枚数分の複数の断面画像を、選択した合成方法により合成した合成画像を入力データとして、ラベルとして血管影を示す正解データに対応付けた学習データを生成する。学習部605は、具体的には、断面画像群のうち、選択した合成枚数分の複数の断面画像を入力データとして、ラベルとして血管影を示す正解データに対応付けた学習データを生成する。これにより、学習部605は、モデルを学習可能にすることができる。
学習部605は、モデルを学習する。学習部605は、例えば、ニューラルネットワークの入力層に、入力データを入力し、ニューラルネットワークの出力データと正解データとの出力誤差に基づいて、ニューラルネットワークを学習する。これにより、学習部605は、断面画像に粒状影が映っているか否かを判別可能なモデルを学習することができる。
検出部606は、断面画像に粒状影が映っているか否かを判別する処理対象となる、被験者のいずれかの部位に関する互いに平行な断面画像群のうち、いずれかの断面画像に映る粒状影の候補を検出する。検出部606は、例えば、断面画像に映る白い円形の陰影を、粒状影の候補として検出する。検出部606は、断面画像群のそれぞれの断面画像に映る粒状影の候補を検出してもよい。以下の説明では、候補を検出した断面画像を「第3の断面画像」と表記する場合がある。
判定部607は、候補を検出した際に、処理対象となる断面画像群のうち、第3の断面画像に対応する互いに平行な複数の断面画像に基づいて、候補が粒状影であるか否かを判定する。複数の断面画像は、第3の断面画像の付近に存在する他の断面画像を少なくとも含む。複数の断面画像は、例えば、第3の断面画像をさらに含んでもよい。これにより、判定部607は、第3の断面画像に粒状影が映っているか否かを判別することができる。
判定部607は、例えば、複数の断面画像を合成した合成画像に映る影が円形である場合には、検出した候補が粒状影であると判定し、合成画像に映る影が円形ではない場合には、検出した候補が粒状影ではないと判定する。判定部607は、具体的には、合成画像と第3の断面画像との類似度が閾値以上である場合には、合成画像に映る影が円形であり、検出した候補が粒状影であると判定する。一方で、判定部607は、具体的には、合成画像と第3の断面画像との類似度が閾値未満である場合には、合成画像に映る影が円形ではなく、検出した候補が粒状影ではないと判定する。
判定部607は、より具体的には、選択したペアの合成枚数分の複数の断面画像を、選択したペアの合成方法により合成した合成画像を生成する。そして、判定部607は、より具体的には、合成画像と第3の断面画像との類似度が閾値以上である場合には、合成画像に映る影が円形であり、検出した候補が粒状影であると判定する。一方で、判定部607は、より具体的には、合成画像と第3の断面画像との類似度が閾値未満である場合には、合成画像に映る影が円形ではなく、検出した候補が粒状影ではないと判定する。これにより、判定部607は、第3の断面画像に粒状影が映っているか否かを精度よく判別することができる。
判定部607は、具体的には、生成したモデルに、複数の断面画像を合成した合成画像を入力し、候補が粒状影であるか否かを示す出力を、モデルから取得し、候補が粒状影であるか否かを判定してもよい。これにより、判定部607は、第3の断面画像に粒状影が映っているか否かを精度よく判別することができる。
判定部607は、例えば、複数の断面画像に基づいて、候補が粒状物体の断面の形状の傾向を示す場合には、候補が粒状影であると判定し、候補が粒状物体の断面の形状の傾向を示さない場合には、候補が粒状影ではないと判定する。判定部607は、具体的には、生成したモデルに、複数の断面画像を入力し、候補が粒状物体の断面の形状の傾向を示すため、候補が粒状影であること、または、候補が粒状物体の断面の形状の傾向を示さないため、候補が粒状影ではないことを示す出力を、モデルから取得する。これにより、判定部607は、第3の断面画像に粒状影が映っているか否かを精度よく判別することができる。
判定部607は、具体的には、合成画像を画像解析し、合成画像に映る影が円形である場合には、検出した候補が粒状影であると判定し、合成画像に映る影が円形ではない場合には、検出した候補が粒状影ではないと判定してもよい。これにより、判定部607は、第3の断面画像に粒状影が映っているか否かを精度よく判別することができる。また、判定部607は、第3の断面画像に粒状影が映っているか否かの判別結果に基づいて、第3の断面画像において粒状影が映っている位置を特定してもよい。
出力部608は、いずれかの機能部の処理結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、通信I/F303による外部装置への送信、または、メモリ302や記録媒体305などの記憶領域への記憶である。これにより、出力部608は、いずれかの機能部の処理結果を利用者に通知可能にすることができ、判定装置100の利便性の向上を図ることができる。
出力部608は、例えば、選択したペアを出力する。これにより、出力部608は、選択したペアを、他のコンピュータで参照可能にすることができる。出力部608は、例えば、学習したモデルを出力する。これにより、出力部608は、学習したモデルを、他のコンピュータで利用可能にすることができ、断面画像に粒状影が映っているか否かを判別可能にすることができる。
出力部608は、例えば、断面画像に粒状影が映っているか否かの判別結果を出力する。また、出力部608は、例えば、断面画像において粒状影が映っている位置を出力してもよい。これにより、出力部608は、断面画像に粒状影が映っているか否かの判別結果を、他のコンピュータで参照可能にすることができ、医師が被験者を診断しやすくすることができる。また、出力部608は、断面画像に粒状影が映っているか否かの判別結果に基づき、被験者の症例の特徴を特定しやすくすることができ、過去の被験者の症例を参照しやすくすることができ、医師が被験者を診断しやすくすることができる。
ここでは、判定装置100が、判定部607を含む場合について説明したが、これに限らない。例えば、判定装置100が、選択したペアを、判定部607の機能を有する他のコンピュータに送信し、当該コンピュータに、断面画像に粒状影が映っているか否かを判別させる場合があってもよい。
ここでは、学習部605が、モデルを学習する場合について説明したが、これに限らない。例えば、判定装置100が、学習データを生成して、他のコンピュータに送信し、当該コンピュータに、学習データに基づいてモデルを学習させる場合があってもよい。
(判定装置100の動作例)
次に、図7~図12を用いて、判定装置100の動作例について説明する。まず、図7~図10を用いて、判定装置100が、合成枚数と合成方法との複数のペアのうち、いずれかのペアを選択する一例について説明する。
図7~図10は、合成枚数と合成方法とのペアを選択する一例を示す説明図である。図7において、病変部位701を切断する1枚の断面画像710、および、病変部位701または病変部位701の近傍を切断する複数の断面画像を合成した合成画像720,730に関する性質について説明する。
例えば、病変部位701を切断する1枚の断面画像710は、粒状影の候補となる白い円形の陰影711が映るという性質を有する。ここで、病変部位701を切断するn枚の断面画像を合成する場合、同様の位置に白い円形の陰影が映るn枚の断面画像が重畳されることになる。このため、n枚の断面画像を合成した合成画像720は、断面画像710に映る白い円形の陰影711と類似の、白い円形の陰影721が映る傾向があり、断面画像710と類似する傾向があるという性質を有する。
一方で、病変部位701または病変部位701の近傍を切断するm枚の断面画像を合成する場合、同様の位置に白い円形の陰影が映る2以上の断面画像に加えて、白い円形の陰影が映らない1以上の断面画像も重畳されることになる。このため、m枚の断面画像を合成した合成画像730は、断面画像710に映る白い円形の陰影711とは異なる、白くない陰影731が映る傾向があり、断面画像710と類似しなくなる傾向があるという性質を有する。また、合成画像730は、陰影731が映らないこともあり、断面画像710と類似しなくなる傾向があるという性質を有する。
また、血管702を切断する1枚の断面画像740、および、血管702を切断する複数の断面画像を合成した合成画像750,760に関する性質について説明する。
例えば、血管702を切断する1枚の断面画像740は、粒状影の候補となる白い円形の陰影741が映るという性質を有する。ここで、血管702を切断するn枚の断面画像を合成する場合、異なる位置に白い円形の陰影が映るn枚の断面画像が重畳されることになる。このため、n枚の断面画像を合成した合成画像750は、断面画像740に映る白い円形の陰影741とは異なる、比較的広がりのある陰影751が映る傾向があり、断面画像740と類似しなくなる傾向があるという性質を有する。
そして、血管702を切断するm枚の断面画像を合成する場合、合成画像750に比べて、さらに多くの異なる位置に白い円形の陰影が映るm枚の断面画像が重畳されることになる。このため、m枚の断面画像を合成した合成画像760は、断面画像740に映る白い円形の陰影741とは異なる、比較的広がりのある陰影761が映る傾向があり、合成画像750に比べて、断面画像740とさらに類似しなくなる傾向があるという性質を有する。
このように、病変部位701を切断する複数の断面画像を合成した場合と、血管702を切断する複数の断面画像を合成した場合とでは、合成画像が異なる性質を有し、合成画像と1枚の断面画像との類似度に差異が発生することがある。このため、合成画像と1枚の断面画像との類似度が、粒状影の候補が粒状影であるか否かを判定する指標として利用可能であると考えられる。例えば、合成画像と1枚の断面画像との類似度が、比較的大きいと、粒状影の候補が粒状影であると判定し、比較的小さいと、粒状影の候補が粒状影ではないと判定することが考えられる。
ここで、血管702を切断する複数の断面画像を合成する場合には、合成枚数が多いほど、合成画像に比較的広がりのある陰影が現れやすく、合成画像と1枚の断面画像との類似度が小さくなり、粒状影の候補が粒状影ではないことを判断しやすくなる。そして、この場合には、合成枚数が少ないほど、合成画像と1枚の断面画像との類似度が大きくなり、粒状影の候補が粒状影ではないことを判断しにくくなる。従って、粒状影の候補が粒状影ではないと精度よく判定するためには、合成枚数を多くすることが好ましい。
しかしながら、病変部位701を切断する複数の断面画像を合成する場合には、合成枚数が多いほど、血管702を切断する複数の断面画像を合成する場合と同様に、合成画像と1枚の断面画像との類似度が小さくなってしまう。結果として、粒状影の候補が粒状影ではないと誤って判断しやすくなる。また、この場合には、合成枚数が少ないほど、合成画像と1枚の断面画像との類似度が大きくなり、粒状影の候補が粒状影であることを判断しやすくなる。従って、粒状影の候補が粒状影であると精度よく判定するためには、合成枚数を一定以下に抑制することが好ましい。
これらのことから、粒状影の候補が粒状影であるか否かを精度よく判定するためには、合成枚数と合成方法とを調整することが好ましい。このため、判定装置100は、合成枚数と合成方法との複数のペアのうち、粒状影の候補が粒状影であるか否かを精度よく判定可能にするペアを選択することが望ましい。次に、図8の説明に移行する。
図8において、判定装置100は、合成枚数と合成方法との複数のペアのうち、粒状影の候補が粒状影であるか否かを精度よく判定可能にする、合成枚数と合成方法とのペアを選択する。判定装置100は、例えば、粒状影が映ると判明済みの断面画像を含む断面画像群と、血管影が映ると判明済みの断面画像を含む断面画像群とに基づいて、合成枚数と合成方法とのペアを選択する。
以下の説明では、粒状影が映ると判明済みの断面画像を含む断面画像群を「粒状影に関する断面画像群」と表記する場合がある。また、以下の説明では、血管影が映ると判明済みの断面画像を含む断面画像群を「血管影に関する断面画像群」と表記する場合がある。
ここで、合成枚数の変化に応じて、粒状影に関する断面画像群のうち、合成枚数分の複数の断面画像を合成した合成画像と、粒状影が映ると判明済みの断面画像との類似度がどのように変化するのかを、グラフ800に示す。以下の説明では、合成画像と、粒状影が映ると判明済みの断面画像との類似度を「粒状影に関する類似度」と表記する場合がある。グラフ800上に、合成枚数の変化に応じた、粒状影に関する類似度の変化を示す特性曲線801を示す。
また、合成枚数の変化に応じて、血管影に関する断面画像群のうち、合成枚数分の複数の断面画像を合成した合成画像と、血管影が映ると判明済みの断面画像との類似度がどのように変化するのかを、グラフ800に示す。以下の説明では、合成画像と、血管影が映ると判明済みの断面画像との類似度を「血管影に関する類似度」と表記する場合がある。グラフ800上に、合成枚数の変化に応じた、血管影に関する類似度の変化を示す特性曲線802を示す。
図7に示した性質により、粒状影に関する類似度を範囲810内にし、かつ、血管影に関する類似度を範囲820内にする合成枚数が、粒状影の候補が粒状影であるか否かを精度よく判定可能にすると考えられる。このため、判定装置100は、合成枚数と合成方法との複数のペアのそれぞれのペアについて、粒状影に関する類似度と血管影に関する類似度とを算出すれば、いずれかのペアを選択可能になる。次に、図9の説明に移行する。
図9において、判定装置100は、合成枚数と合成方法との複数のペアのそれぞれのペアについて、粒状影に関する類似度simmicと、血管影に関する類似度simnonとを算出する。そして、判定装置100は、それぞれのペアについて、粒状影に関する類似度simmicと、血管影に関する類似度simnonとに基づいて、評価値を算出し、算出した評価値に基づいてペアを選択する。評価値は、例えば、グラフ800上の、粒状影に関する類似度simmicの点901と、血管影に関する類似度simnonの点902との差分910を利用可能である。
図9の例では、判定装置100は、N個の粒状影に関する断面画像群と、M個の血管影に関する断面画像群とを有するとする。判定装置100は、それぞれのペアについて、粒状影に関する断面画像群ごとに、当該ペアの合成枚数分の断面画像を抽出し、当該ペアの合成方法により合成した合成画像と、粒状影が映る断面画像との類似度simi micを算出する。i=1~Nの自然数である。
また、判定装置100は、それぞれのペアについて、血管影に関する断面画像群ごとに、当該ペアの合成枚数分の断面画像を抽出し、当該ペアの合成方法により合成した合成画像と、血管影が映る断面画像との類似度simj nonを算出する。j=1~Mの自然数である。そして、判定装置100は、それぞれのペアについて、粒状影に関する類似度simi micと、血管影に関する類似度simj nonとに基づいて、評価値V=(1/N×Σi=1 Nsimi mic)-(1/M×ΣJ=1 Msimj non)を算出する。次に、図10の説明に移行し、それぞれのペアの評価値Vの算出結果について説明する。
図10において、表1000は、最小値、最大値、または、平均値を利用する3種類の合成方法と、3枚、5枚、10枚の3種類の合成枚数とを組み合わせた、複数のペアのそれぞれのペアの評価値Vの算出結果を示す。図10の例では、判定装置100は、評価値Vが最大である、最大値を利用する合成方法と、5枚の合成枚数とのペアを選択する。これにより、判定装置100は、選択したペアにより、粒状影の候補が粒状影であるか否かを精度よく判定可能にすることができる。ここで、図11を用いて、判定装置100が、評価値Vを算出する一例について、具体的に説明する。
図11は、評価値Vを算出する一例を示す説明図である。図11において、判定装置100は、N個の粒状影に関する断面画像群と、M個の血管影に関する断面画像群とを有するとする。N個の粒状影に関する断面画像群は、例えば、粒状影が映る断面画像1100を含む断面画像群1101を含む。M個の血管影に関する断面画像群は、例えば、血管影が映る断面画像1110を含む断面画像群1111を含む。ここで、判定装置100は、評価値Vを算出する処理対象として、複数のペアのいずれかのペアを選択する。
判定装置100は、粒状影に関する断面画像群1101のうち、選択したペアの合成枚数分の複数の断面画像1102を抽出する。判定装置100は、抽出した複数の断面画像1102のそれぞれの断面画像を、元画像Oに設定し、S(x,y)=operation(O(x,y))の算出式に従って、合成画像Sを生成する。S(x,y)は、合成画像Sの座標(x,y)の画素の画素値である。O(x,y)は、元画像Oの座標(x,y)の画素の画素値である。
operation(O(x,y))は、合成方法を表す。operation(O(x,y))は、例えば、平均値を利用する合成方法として、1/Num×Σi=0 Num-1(O(x,y,i))を表す。O(x,y,i)のiは、元画像Oの番号である。
また、operation(O(x,y))は、例えば、最小値を利用する合成方法として、min(O(x,y,0),O(x,y,1),O(x,y,2),・・・,O(x,y,Num-1))を表してもよい。また、operation(O(x,y))は、例えば、最大値を利用する合成方法として、max(O(x,y,0),O(x,y,1),O(x,y,2),・・・,O(x,y,Num-1))を表してもよい。
図11の例では、判定装置100は、合成画像Sとして合成画像1103を生成する。判定装置100は、粒状影が映る断面画像1100を、元画像Oに設定し、元画像Oと合成画像Sとの類似度simmicを算出する。simは、正規化相互相関関数により算出される。例えば、sim=(Σy=0 ymax-1Σx=0 xmax-1(O(x,y)×S(x,y)))/(√(Σy=0 ymax-1Σx=0 xmax-1(O(x,y)^2)×Σy=0 ymax-1Σx=0 xmax-1(S(x,y)^2)))である。xmaxは、画像幅の最大値である。ymaxは、画像高さの最大値である。simは、正規化相互相関関数以外により算出されてもよい。判定装置100は、同様に、選択したペアについて、N個の粒状影に関する断面画像群のそれぞれの断面画像群に基づき、粒状影に関する類似度simi micを算出する。
また、判定装置100は、血管影に関する断面画像群1111のうち、選択したペアの合成枚数分の複数の断面画像1112を抽出する。判定装置100は、抽出した複数の断面画像1112のそれぞれの断面画像を、元画像Oに設定し、S(x,y)=operation(O(x,y))の算出式に従って、合成画像Sを生成する。
図11の例では、判定装置100は、合成画像Sとして合成画像1113を生成する。判定装置100は、血管影が映る断面画像1110を、元画像Oに設定し、元画像Oと合成画像Sとの類似度simnonを算出する。判定装置100は、同様に、選択したペアについて、M個の血管影に関する断面画像群のそれぞれの断面画像群に基づき、血管影に関する類似度simj nonを算出する。
次に、判定装置100は、選択したペアについて、粒状影に関する類似度simi micの総和Σi=1 Nsimi micを算出する。また、判定装置100は、選択したペアについて、血管影に関する類似度simj nonの総和ΣJ=1 Msimj nonを算出する。そして、判定装置100は、評価値V=(1/N×Σi=1 Nsimi mic)-(1/M×ΣJ=1 Msimj non)を算出する。判定装置100は、同様に、それぞれのペアについて評価値Vを算出する。これにより、判定装置100は、いずれかのペアを選択する際の指標として、それぞれのペアの評価値Vを参照可能にすることができる。
以上により、判定装置100は、合成枚数と合成方法との複数のペアのうち、粒状影の候補が粒状影であるか否かを精度よく判定可能にするペアを選択することができる。このため、判定装置100は、選択したペアを利用して、粒状影が映っているか否かを精度よく判別することができる。粒状影が映っているか否かを判別する一例については、図12を用いて後述する。また、判定装置100は、選択したペアを利用して、学習データを生成することにより、粒状影が映っているか否かを精度よく判別可能なモデルを学習することができる。
(粒状影が映っているか否かを判別する一例)
次に、図12を用いて、判定装置100が、粒状影が映っているか否かを判別する一例について説明する。
図12は、粒状影が映っているか否かを判別する一例を示す説明図である。図12において、判定装置100は、断面画像群1200を、モダリティ装置201から受信する。判定装置100は、受信した断面画像群1200のそれぞれの断面画像から、粒状影の候補を検出する。図12の例では、判定装置100は、断面画像1210から、粒状影の候補となる白い円形の陰影1211を検出する。
次に、判定装置100は、受信した断面画像群1200のうち、選択したペアの合成枚数分の複数の断面画像1220を抽出する。そして、判定装置100は、抽出した複数の断面画像1220を、選択したペアの合成方法により合成した合成画像1230を生成する。合成画像1230は、例えば、図11と同様に、operation()を利用して生成される。
次に、判定装置100は、断面画像1210と合成画像1230との類似度を算出する。類似度は、例えば、図11と同様に、正規化相互相関関数により算出される。ここで、判定装置100は、類似度が第1閾値以上であれば、粒状影の候補が、粒状影であると判定する。この際、判定装置100は、粒状影の候補が、粒状影であることを示す情報を出力してもよい。
一方で、判定装置100は、類似度が第2閾値未満であれば、粒状影の候補が、粒状影ではないと判定する。この際、判定装置100は、粒状影の候補が、粒状影ではないことを示す情報を出力してもよい。また、判定装置100は、粒状影の候補が、粒状影ではなく血管影であることを示す情報を出力してもよい。第1閾値と第2閾値とは、例えば、同一である。第1閾値と第2閾値とは、例えば、異なってもよい。
これにより、判定装置100は、選択したペアを利用して、断面画像1210に映る粒状影の候補が、粒状影であるか否かを精度よく判定することができ、断面画像1210に粒状影が映っているか否かを精度よく判別することができる。判定装置100は、例えば、血管影と区別して、断面画像に粒状影が映っているか否かを精度よく判別することができる。
このため、判定装置100は、血管影と区別された粒状影に基づいて、被験者の症例の特徴を精度よく特定することができ、他の被験者の過去の症例を検索しやすくすることができる。判定装置100は、例えば、びまん性肺疾患の診断において、被験者の症例の特徴を精度よく特定することができる。
結果として、判定装置100は、被験者の断面画像を確認し、被験者に対する診断作業を実施する際にかかる医師の作業負担の低減化を図ることができる。また、判定装置100は、医師が、被験者の健康状態や病状などを正しく診断しやすくすることができる。
ここでは、判定装置100が、粒状影の候補が、粒状影ではないと判定すると、粒状影の候補が、粒状影ではなく血管影であることを示す情報を出力する場合について説明したが、これに限らない。例えば、判定装置100が、粒状影の候補が、粒状影ではないと判定した際、さらに、粒状影の候補が、血管影であるか否かを判定する場合があってもよい。この場合、判定装置100は、粒状影の候補が、血管影であるか否かを示す情報を出力してもよい。
以上では、判定装置100が、複数の断面画像を平面的に合成した合成画像に基づいて、粒状影の候補が、粒状影であるか否かを判定する場合について説明したが、これに限らない。例えば、判定装置100が、複数の断面画像を立体的に合成した立体画像に基づいて、粒状影の候補が、粒状影であるか否かを判定する場合があってもよい。
(医療システム200を利用する一例)
次に、図13を用いて、医師が、びまん性肺疾患の診断に、医療システム200を利用する一例について説明する。
図13は、医療システム200を利用する一例を示す説明図である。判定装置100は、図12と同様に、画像DB203に記憶された、被験者の肺に関する断面画像群のそれぞれの断面画像に粒状影が映っているか否かを判別する。次に、判定装置100は、粒状影が映っているか否かの判別結果に基づいて、被験者の肺における病変部位の分布1301を特定する。
そして、判定装置100は、被験者の肺における病変部位の分布1301に基づいて、被験者の症例の特徴として、被験者の肺における病変部位の分布1301の特徴1302を生成する。特徴1302は、被験者の左肺の末梢および中枢と、被験者の右肺の末梢および中枢との病変部位の個数の分布を、特徴1302として特定する。
次に、判定装置100は、特徴DB204を参照して、特定した特徴1302と類似する特徴を有する過去の他の被験者の症例についての各種情報を特定する。各種情報は、例えば、過去の他の被験者の肺の断面画像、過去の他の被験者のカルテなどである。そして、判定装置100は、特定した各種情報を、医師用端末202に送信して、ディスプレイ506に表示させる。
これにより、医療システム200は、医師が、びまん性肺疾患の診断において、今回の被験者の症例に類似する、過去の他の被験者の症例を参照しやすくすることができる。結果として、医師は、被験者の断面画像を確認し、被験者に対する診断作業を実施する際にかかる作業負担の低減化を図ることができる。また、医師は、被験者の健康状態や病状などを正しく診断しやすくすることができる。
(全体処理手順)
次に、図14を用いて、判定装置100が実行する、全体処理手順の一例について説明する。全体処理は、例えば、図3に示したCPU301と、メモリ302や記録媒体305などの記憶領域と、通信I/F303とによって実現される。
図14は、全体処理手順の一例を示すフローチャートである。図14において、まず、判定装置100は、1以上の元画像群を取得し、記憶部600に記憶する(ステップS1401)。次に、判定装置100は、図15に後述する画像生成処理を実行する(ステップS1402)。そして、判定装置100は、図16に後述する類似度算出処理を実行する(ステップS1403)。
次に、判定装置100は、図17に後述する評価値算出処理を実行する(ステップS1404)。そして、判定装置100は、図18に後述する方式決定処理を実行する(ステップS1405)。次に、判定装置100は、処理結果を出力する(ステップS1406)。そして、判定装置100は、全体処理を続行するか否かを判定する(ステップS1407)。
ここで、全体処理を続行する場合(ステップS1407:Yes)、判定装置100は、ステップS1401の処理に戻る。一方で、全体処理を続行しない場合(ステップS1407:No)、判定装置100は、全体処理を終了する。これにより、判定装置100は、元画像に映る粒状影の候補が、粒状影であるか否かを精度よく判定可能にするための、合成枚数と合成方法との組み合わせを出力することができる。
(画像生成処理手順)
次に、図15を用いて、判定装置100が実行する、画像生成処理手順の一例について説明する。画像生成処理は、例えば、図3に示したCPU301と、メモリ302や記録媒体305などの記憶領域と、通信I/F303とによって実現される。
図15は、画像生成処理手順の一例を示すフローチャートである。図15において、まず、判定装置100は、記憶部600の1以上の元画像群のうち、未処理の元画像群を選択する(ステップS1501)。そして、判定装置100は、ステップS1502の処理に移行する。
ステップS1502では、判定装置100は、記憶部600の複数の合成枚数のうち、未処理の合成枚数を選択する(ステップS1502)。そして、判定装置100は、ステップS1503の処理に移行する。
ステップS1503では、判定装置100は、記憶部600の複数の合成方法のうち、未処理の合成方法を選択する(ステップS1503)。次に、判定装置100は、選択した合成枚数と合成方法とにより、選択した元画像群に含まれる複数の画像を合成した合成画像を生成し、記憶部600に記憶する(ステップS1504)。
そして、判定装置100は、記憶部600の複数の合成方法のうち、未処理の合成方法が存在するか否かを判定する(ステップS1505)。ここで、未処理の合成方法が存在する場合(ステップS1505:Yes)、判定装置100は、ステップS1503の処理に戻る。一方で、未処理の合成方法が存在しない場合(ステップS1505:No)、判定装置100は、ステップS1506の処理に移行する。
ステップS1506では、判定装置100は、記憶部600の複数の合成枚数のうち、未処理の合成枚数が存在するか否かを判定する(ステップS1506)。ここで、未処理の合成枚数が存在する場合(ステップS1506:Yes)、判定装置100は、ステップS1502の処理に戻る。一方で、未処理の合成枚数が存在しない場合(ステップS1506:No)、判定装置100は、ステップS1507の処理に移行する。
ステップS1507では、判定装置100は、記憶部600の1以上の元画像群のうち、未処理の元画像群が存在するか否かを判定する(ステップS1507)。ここで、未処理の元画像群が存在する場合(ステップS1507:Yes)、判定装置100は、ステップS1501の処理に戻る。一方で、未処理の元画像群が存在しない場合(ステップS1507:No)、判定装置100は、画像生成処理を終了する。これにより、判定装置100は、合成枚数と合成方法との組み合わせを評価するために、合成画像を参照可能にすることができる。
(類似度算出処理手順)
次に、図16を用いて、判定装置100が実行する、類似度算出処理手順の一例について説明する。類似度算出処理は、例えば、図3に示したCPU301と、メモリ302や記録媒体305などの記憶領域と、通信I/F303とによって実現される。
図16は、類似度算出処理手順の一例を示すフローチャートである。図16において、まず、判定装置100は、記憶部600の1以上の元画像群のうち、未処理の元画像群を選択する(ステップS1601)。次に、判定装置100は、選択した元画像群に対応付けられた正解データを取得する(ステップS1602)。そして、判定装置100は、ステップS1603の処理に移行する。
ステップS1603では、判定装置100は、記憶部600の複数の合成枚数のうち、未処理の合成枚数を選択する(ステップS1603)。そして、判定装置100は、ステップS1604の処理に移行する。
ステップS1604では、判定装置100は、記憶部600の複数の合成方法のうち、未処理の合成方法を選択する(ステップS1604)。次に、判定装置100は、選択した合成枚数と合成方法とにより、選択した元画像群から生成された合成画像を取得する(ステップS1605)。そして、判定装置100は、選択した元画像群のいずれかの元画像と、取得した合成画像との類似度を算出する(ステップS1606)。
次に、判定装置100は、算出した類似度に基づいて、取得した正解データと、選択した合成枚数と、選択した合成方法との組み合わせに対応付けて記憶部600に記憶された、類似度の総和を更新する(ステップS1607)。
そして、判定装置100は、記憶部600の複数の合成方法のうち、未処理の合成方法が存在するか否かを判定する(ステップS1608)。ここで、未処理の合成方法が存在する場合(ステップS1608:Yes)、判定装置100は、ステップS1604の処理に戻る。一方で、未処理の合成方法が存在しない場合(ステップS1608:No)、判定装置100は、ステップS1609の処理に移行する。
ステップS1609では、判定装置100は、記憶部600の複数の合成枚数のうち、未処理の合成枚数が存在するか否かを判定する(ステップS1609)。ここで、未処理の合成枚数が存在する場合(ステップS1609:Yes)、判定装置100は、ステップS1603の処理に戻る。一方で、未処理の合成枚数が存在しない場合(ステップS1609:No)、判定装置100は、ステップS1610の処理に移行する。
ステップS1610では、判定装置100は、記憶部600の1以上の元画像群のうち、未処理の元画像群が存在するか否かを判定する(ステップS1610)。ここで、未処理の元画像群が存在する場合(ステップS1610:Yes)、判定装置100は、ステップS1601の処理に戻る。一方で、未処理の元画像群が存在しない場合(ステップS1610:No)、判定装置100は、類似度算出処理を終了する。これにより、判定装置100は、合成枚数と合成方法との組み合わせを評価する指標となり得る、いずれかの元画像と合成画像との類似度を参照可能にすることができる。
(評価値算出処理手順)
次に、図17を用いて、判定装置100が実行する、評価値算出処理手順の一例について説明する。評価値算出処理は、例えば、図3に示したCPU301と、メモリ302や記録媒体305などの記憶領域と、通信I/F303とによって実現される。
図17は、評価値算出処理手順の一例を示すフローチャートである。図17において、まず、判定装置100は、記憶部600の複数の合成枚数のうち、未処理の合成枚数を選択する(ステップS1701)。そして、判定装置100は、ステップS1702の処理に移行する。
ステップS1702では、判定装置100は、記憶部600の複数の合成方法のうち、未処理の合成方法を選択する(ステップS1702)。そして、判定装置100は、選択した合成枚数と合成方法との組み合わせに対応付けて記憶部600に記憶された、粒状影を示す正解データに対応する類似度の総和と、血管影を示す正解データに対応する類似度の総和とを取得する(ステップS1703)。
次に、判定装置100は、取得した粒状影を示す正解データに対応する類似度の総和と、血管影を示す正解データに対応する類似度の総和との差分を算出する(ステップS1704)。そして、判定装置100は、選択した合成枚数と合成方法との組み合わせに対応付けて、算出した差分を記憶部600に記憶する(ステップS1705)。
次に、判定装置100は、記憶部600の複数の合成方法のうち、未処理の合成方法が存在するか否かを判定する(ステップS1706)。ここで、未処理の合成方法が存在する場合(ステップS1706:Yes)、判定装置100は、ステップS1702の処理に戻る。一方で、未処理の合成方法が存在しない場合(ステップS1706:No)、判定装置100は、ステップS1707の処理に移行する。
ステップS1707では、判定装置100は、記憶部600の複数の合成枚数のうち、未処理の合成枚数が存在するか否かを判定する(ステップS1707)。ここで、未処理の合成枚数が存在する場合(ステップS1707:Yes)、判定装置100は、ステップS1701の処理に戻る。一方で、未処理の合成枚数が存在しない場合(ステップS1707:No)、判定装置100は、評価値算出処理を終了する。これにより、判定装置100は、合成枚数と合成方法との組み合わせを評価することができる。
(方式決定処理手順)
次に、図18を用いて、判定装置100が実行する、方式決定処理手順の一例について説明する。方式決定処理は、例えば、図3に示したCPU301と、メモリ302や記録媒体305などの記憶領域と、通信I/F303とによって実現される。
図18は、方式決定処理手順の一例を示すフローチャートである。図18において、まず、判定装置100は、合成枚数と合成方法との組み合わせごとの差分を、記憶部600から読み出す(ステップS1801)。
次に、判定装置100は、差分が最大である合成枚数と合成方法との組み合わせを特定する(ステップS1802)。そして、判定装置100は、特定した合成枚数と合成方法との組み合わせを、記憶部600に記憶する(ステップS1803)。その後、判定装置100は、方式決定処理を終了する。これにより、判定装置100は、元画像に映る粒状影の候補が、粒状影であるか否かを精度よく判定可能な、合成枚数と合成方法との組み合わせを特定することができる。
(粒状影判別処理手順)
次に、図19を用いて、判定装置100が実行する、粒状影判別処理手順の一例について説明する。粒状影判別処理は、例えば、図3に示したCPU301と、メモリ302や記録媒体305などの記憶領域と、通信I/F303とによって実現される。
図19は、粒状影判別処理手順の一例を示すフローチャートである。図19において、まず、判定装置100は、粒状影判別処理の対象とする、元画像群を取得し、記憶部600に記憶する(ステップS1901)。
次に、判定装置100は、元画像群のいずれかの画像に映る粒状影の候補を検出する(ステップS1902)。そして、判定装置100は、方式決定処理により特定された合成枚数と合成方法との組み合わせを利用して、元画像群に含まれる複数の画像を合成した合成画像を生成する(ステップS1903)。
次に、判定装置100は、粒状影の候補を検出した画像と、生成した合成画像との類似度を算出する(ステップS1904)。そして、判定装置100は、類似度が閾値以上であるか否かを判定する(ステップS1905)。ここで、類似度が閾値以上である場合(ステップS1905:Yes)、判定装置100は、ステップS1906の処理に移行する。一方で、類似度が閾値未満である場合(ステップS1905:No)、判定装置100は、ステップS1907の処理に移行する。
ステップS1906では、判定装置100は、検出した粒状影の候補が、粒状影であることを示す情報を出力する(ステップS1906)。そして、判定装置100は、粒状影判別処理を終了する。
ステップS1907では、判定装置100は、検出した粒状影の候補が、粒状影ではないことを示す情報を出力する(ステップS1907)。そして、判定装置100は、粒状影判別処理を終了する。これにより、判定装置100は、元画像に映る粒状影の候補が、粒状影であるか否かを精度よく判定することができる。
ここで、判定装置100は、図14~図19に示した各フローチャートの一部ステップの処理の順序を入れ替えて実行してもよい。例えば、元画像群に含まれる複数の画像を合成した合成画像を生成した後に、複数の画像のいずれかの画像に映る粒状影の候補を検出するとすれば、ステップS1902,S1903の処理の順序は入れ替え可能である。
また、判定装置100は、図14~図19に示した各フローチャートの一部ステップの処理を省略してもよい。例えば、合成方法の選択肢が1つであれば、ステップS1503,S1505,S1604,S1608,S1702,S1706の処理は省略可能である。
以上説明したように、判定装置100によれば、いずれかの断面画像に映る粒状影の候補を検出することができる。判定装置100によれば、候補を検出した際に、いずれかの断面画像に対応する互いに平行な複数の断面画像に基づいて、候補が粒状物体の断面の形状の傾向を示す場合には、検出した候補が粒状影であると判定することができる。判定装置100によれば、候補を検出した際に、いずれかの断面画像に対応する互いに平行な複数の断面画像に基づいて、候補が粒状物体の断面の形状の傾向を示さない場合には、検出した候補が粒状影ではないと判定することができる。これにより、判定装置100は、血管影と区別して、断面画像に粒状影が映っているか否かを判別することができる。
判定装置100によれば、候補を検出した際に、複数の断面画像を合成した合成画像に映る影が円形である場合には、検出した候補が粒状影であると判定し、合成画像に映る影が円形ではない場合には、検出した候補が粒状影ではないと判定することができる。これにより、判定装置100は、合成画像の特徴に基づいて、血管影と区別して、断面画像に粒状影が映っているか否かを精度よく判別することができる。
判定装置100によれば、候補を検出した際に、合成画像といずれかの断面画像との類似度が閾値以上である場合には、合成画像に映る影が円形であり、検出した候補が粒状影であると判定することができる。判定装置100によれば、候補を検出した際に、合成画像といずれかの断面画像との類似度が閾値未満である場合には、合成画像に映る影が円形ではなく、検出した候補が粒状影ではないと判定することができる。これにより、判定装置100は、類似度に基づいて、合成画像に映る影が円形であるか否かを容易に判定可能になり、血管影と区別して、断面画像に粒状影が映っているか否かを精度よく判別することができる。
判定装置100によれば、合成枚数と合成方法との複数のペアを取得することができる。判定装置100によれば、粒状影が映る第1の断面画像に対応する互いに平行な第1の断面画像群を取得することができる。判定装置100によれば、複数のペアのそれぞれのペアについて、取得した第1の断面画像群のうち、当該ペアの合成枚数分の複数の断面画像を、当該ペアの合成方法により合成した第1の合成画像と、第1の断面画像との第1の類似度を算出することができる。判定装置100によれば、算出した第1の類似度に基づいて、複数のペアのいずれかのペアを選択することができる。これにより、判定装置100は、粒状影が映っているか否かの判別に好ましいペアを選択することができる。判定装置100は、例えば、粒状影の候補が、粒状影であることを精度よく判定可能になると判断されるペアを選択することができる。
判定装置100によれば、合成枚数と合成方法との複数のペアを取得することができる。判定装置100によれば、血管影が映る第2の断面画像に対応する互いに平行な第2の断面画像群を取得することができる。判定装置100によれば、複数のペアのそれぞれのペアについて、取得した第2の断面画像群のうち、当該ペアの合成枚数分の複数の断面画像を、当該ペアの合成方法により合成した第2の合成画像と、第2の断面画像との第2の類似度を算出することができる。判定装置100によれば、算出した第2の類似度に基づいて、複数のペアのいずれかのペアを選択することができる。これにより、判定装置100は、粒状影が映っているか否かの判別に好ましいペアを選択することができる。判定装置100は、例えば、粒状影の候補が、粒状影ではないことを精度よく判定可能になると判断されるペアを選択することができる。
判定装置100によれば、候補を検出した際に、選択したペアの合成枚数分の、いずれかの断面画像に対応する互いに平行な複数の断面画像を、選択したペアの合成方法により合成した合成画像と、いずれかの断面画像との類似度を算出することができる。これにより、判定装置100は、選択したペアにより、粒状影の候補が、粒状影であるか否かを精度よく判定することができる。
判定装置100によれば、選択したペアの合成枚数分の、粒状影の候補が映る断面画像に対応する互いに平行な複数の断面画像を、選択したペアの合成方法により合成した合成画像が入力可能なモデルを学習する学習データを生成することができる。モデルは、入力に応じて、複数の断面画像のいずれかの断面画像に粒状影が映っているか否かを判別した結果を出力する。これにより、判定装置100は、粒状影の候補が粒状影であるか否かを精度よく判定可能なモデルを得ることができる。
判定装置100によれば、選択したペアの合成枚数分の、粒状影の候補が映る断面画像に対応する互いに平行な複数の断面画像が入力可能なモデルを学習する学習データを生成することができる。モデルは、入力に応じて、複数の断面画像のいずれかの断面画像に粒状影が映っているか否かを判別した結果を出力する。これにより、判定装置100は、粒状影の候補が粒状影であるか否かを精度よく判定可能なモデルを得ることができる。
判定装置100によれば、複数の断面画像は、粒状影の候補を検出したいずれかの断面画像と、いずれかの断面画像の付近に存在する断面画像とを含むことができる。これにより、判定装置100は、粒状影の候補が、粒状影であるか否かを精度よく判定可能にする、複数の断面画像を利用することができる。
判定装置100によれば、複数の断面画像を合成した合成画像の各座標にある画素の画素値が、当該複数の断面画像のそれぞれの断面画像の当該座標にある画素の画素値の統計値となるように、当該複数の断面画像を合成する合成方法を利用することができる。これにより、判定装置100は、合成画像を生成可能にすることができる。
なお、本実施の形態で説明した判定方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本実施の形態で説明した判定プログラムは、ハードディスク、フレキシブルディスク、CD-ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本実施の形態で説明した判定プログラムは、インターネット等のネットワークを介して配布してもよい。
上述した実施の形態に関し、さらに以下の付記を開示する。
(付記1)断面画像群のいずれかの断面画像に映る粒状影の候補を検出し、
前記候補を検出した際に、前記断面画像群のうち、前記いずれかの断面画像に対応する複数の断面画像に基づいて、前記候補が粒状物体の断面の形状の傾向を示す場合には、検出した前記候補が粒状影であると判定し、前記候補が粒状物体の断面の形状の傾向を示さない場合には、検出した前記候補が粒状影ではないと判定する、
処理をコンピュータに実行させることを特徴とする判定プログラム。
(付記2)前記判定する処理は、
前記候補を検出した際に、前記複数の断面画像を合成した合成画像に映る影が円形である場合には、検出した前記候補が粒状影であると判定し、前記合成画像に映る影が円形ではない場合には、検出した前記候補が粒状影ではないと判定する、ことを特徴とする付記1に記載の判定プログラム。
(付記3)前記判定する処理は、
前記候補を検出した際に、前記合成画像と前記いずれかの断面画像との類似度が閾値以上である場合には、前記合成画像に映る影が円形であり、検出した前記候補が粒状影であると判定し、前記合成画像と前記いずれかの断面画像との類似度が閾値未満である場合には、前記合成画像に映る影が円形ではなく、検出した前記候補が粒状影ではないと判定する、ことを特徴とする付記2に記載の判定プログラム。
(付記4)合成枚数と合成方法との複数のペアを取得し、
粒状影が映る第1の断面画像に対応する第1の断面画像群を取得し、
前記複数のペアのそれぞれのペアについて、取得した前記第1の断面画像群のうち、当該ペアの合成枚数分の複数の断面画像を、当該ペアの合成方法により合成した第1の合成画像と、前記第1の断面画像との第1の類似度を算出し、
算出した前記第1の類似度に基づいて、前記複数のペアのいずれかのペアを選択する、
処理を前記コンピュータに実行させることを特徴とする付記1~3のいずれか一つに記載の判定プログラム。
(付記5)合成枚数と合成方法との複数のペアを取得し、
血管影が映る第2の断面画像に対応する第2の断面画像群を取得し、
前記複数のペアのそれぞれのペアについて、取得した前記第2の断面画像群のうち、当該ペアの合成枚数分の複数の断面画像を、当該ペアの合成方法により合成した第2の合成画像と、前記第2の断面画像との第2の類似度を算出し、
算出した前記第2の類似度に基づいて、前記複数のペアのいずれかのペアを選択する、
処理を前記コンピュータに実行させることを特徴とする付記1~4のいずれか一つに記載の判定プログラム。
(付記6)前記判定する処理は、
前記候補を検出した際に、前記断面画像群のうち、選択した前記ペアの合成枚数分の、前記いずれかの断面画像に対応する複数の断面画像を、選択した前記ペアの合成方法により合成した合成画像と、前記いずれかの断面画像との類似度が閾値以上である場合には、前記合成画像に映る影が円形であり、検出した前記候補が粒状影であると判定し、前記合成画像と前記いずれかの断面画像との類似度が閾値未満である場合には、前記合成画像に映る影が円形ではなく、検出した前記候補が粒状影ではないと判定する、ことを特徴とする付記4または5に記載の判定プログラム。
(付記7)選択した前記ペアの合成枚数分の、粒状影の候補が映る断面画像に対応する複数の断面画像を、選択した前記ペアの合成方法により合成した合成画像が入力されたことに応じて、当該複数の断面画像のいずれかの断面画像に映る粒状影を判別した結果が出力されるモデルを学習可能にする学習データを生成する、
処理を前記コンピュータに実行させることを特徴とする付記4~6のいずれか一つに記載の判定プログラム。
(付記8)選択した前記ペアの合成枚数分の、粒状影の候補が映る断面画像に対応する複数の断面画像が入力されたことに応じて、当該複数の断面画像のいずれかの断面画像に映る粒状影を判別した結果が出力されるモデルを学習可能にする学習データを生成する、
処理を前記コンピュータに実行させることを特徴とする付記4~7のいずれか一つに記載の判定プログラム。
(付記9)前記複数の断面画像は、前記いずれかの断面画像と、前記いずれかの断面画像の付近に存在する断面画像とを含む、ことを特徴とする付記1~3のいずれか一つに記載の判定プログラム。
(付記10)前記合成方法は、複数の断面画像を合成した合成画像の各座標にある画素の画素値が、当該複数の断面画像のそれぞれの断面画像の当該座標にある画素の画素値の統計値となるように、当該複数の断面画像を合成する、ことを特徴とする付記4~8のいずれか一つに記載の判定プログラム。
(付記11)断面画像群のいずれかの断面画像に映る粒状影の候補を検出し、
前記候補を検出した際に、前記断面画像群のうち、前記いずれかの断面画像に対応する複数の断面画像に基づいて、前記候補が粒状物体の断面の形状の傾向を示す場合には、検出した前記候補が粒状影であると判定し、前記候補が粒状物体の断面の形状の傾向を示さない場合には、検出した前記候補が粒状影ではないと判定する、
処理をコンピュータが実行することを特徴とする判定方法。
(付記12)断面画像群のいずれかの断面画像に映る粒状影の候補を検出し、
前記候補を検出した際に、前記断面画像群のうち、前記いずれかの断面画像に対応する複数の断面画像に基づいて、前記候補が粒状物体の断面の形状の傾向を示す場合には、検出した前記候補が粒状影であると判定し、前記候補が粒状物体の断面の形状の傾向を示さない場合には、検出した前記候補が粒状影ではないと判定する、
ことを特徴とする判定システム。
100 判定装置
110,120,710,740,1100,1102,1110,1112,1210,1220 断面画像
111,121,151,161,711,721,731,741,751,761,1211 陰影
130,701 病変部位
140,702 血管
150,160,720,730,750,760,1103,1113,1230 合成画像
200 医療システム
201 モダリティ装置
202 医師用端末
203 画像DB
204 特徴DB
210 ネットワーク
300,400,500 バス
301,401,501 CPU
302,402,502 メモリ
303,403,503 通信I/F
304,404,504 記録媒体I/F
305,405,505 記録媒体
406 撮像装置
407,507 入力装置
506 ディスプレイ
600 記憶部
601 取得部
602 生成部
603 算出部
604 選択部
605 学習部
606 検出部
607 判定部
608 出力部
800 グラフ
801,802 特性曲線
901,902 点
910 差分
1000 表
1101,1111,1200 断面画像群
1301 分布
1302 特徴

Claims (8)

  1. 断面画像群のいずれかの断面画像に映る粒状影の候補を検出し、
    前記候補を検出した際に、前記断面画像群のうち、前記いずれかの断面画像に対応する複数の断面画像を合成した合成画像と前記いずれかの断面画像との類似度が閾値以上である場合には、検出した前記候補が粒状影であると判定し、前記合成画像と前記いずれかの断面画像との類似度が閾値未満である場合には、検出した前記候補が粒状影ではないと判定する、
    処理をコンピュータに実行させることを特徴とする判定プログラム。
  2. 合成枚数と合成方法との複数のペアを取得し、
    粒状影が映る第1の断面画像に対応する第1の断面画像群を取得し、
    前記複数のペアのそれぞれのペアについて、取得した前記第1の断面画像群のうち、当該ペアの合成枚数分の複数の断面画像を、当該ペアの合成方法により合成した第1の合成画像と、前記第1の断面画像との第1の類似度を算出し、
    算出した前記第1の類似度に基づいて、前記複数のペアのいずれかのペアを選択する、
    処理を前記コンピュータに実行させることを特徴とする請求項1に記載の判定プログラム。
  3. 合成枚数と合成方法との複数のペアを取得し、
    血管影が映る第2の断面画像に対応する第2の断面画像群を取得し、
    前記複数のペアのそれぞれのペアについて、取得した前記第2の断面画像群のうち、当該ペアの合成枚数分の複数の断面画像を、当該ペアの合成方法により合成した第2の合成画像と、前記第2の断面画像との第2の類似度を算出し、
    算出した前記第2の類似度に基づいて、前記複数のペアのいずれかのペアを選択する、
    処理を前記コンピュータに実行させることを特徴とする請求項1または2に記載の判定プログラム。
  4. 前記判定する処理は、
    前記候補を検出した際に、前記断面画像群のうち、選択した前記ペアの合成枚数分の、前記いずれかの断面画像に対応する複数の断面画像を、選択した前記ペアの合成方法により合成した合成画像と、前記いずれかの断面画像との類似度が閾値以上である場合には、前記合成画像に映る影が円形であり、検出した前記候補が粒状影であると判定し、前記合成画像と前記いずれかの断面画像との類似度が閾値未満である場合には、前記合成画像に映る影が円形ではなく、検出した前記候補が粒状影ではないと判定する、ことを特徴とする請求項2または3に記載の判定プログラム。
  5. 選択した前記ペアの合成枚数分の、粒状影の候補が映る断面画像に対応する複数の断面画像を、選択した前記ペアの合成方法により合成した合成画像が入力されたことに応じて、当該複数の断面画像のいずれかの断面画像に映る粒状影を判別した結果が出力されるモデルを学習可能にする学習データを生成する、
    処理を前記コンピュータに実行させることを特徴とする請求項2~4のいずれか一つに記載の判定プログラム。
  6. 選択した前記ペアの合成枚数分の、粒状影の候補が映る断面画像に対応する複数の断面画像が入力されたことに応じて、当該複数の断面画像のいずれかの断面画像に映る粒状影を判別した結果が出力されるモデルを学習可能にする学習データを生成する、
    処理を前記コンピュータに実行させることを特徴とする請求項2~5のいずれか一つに記載の判定プログラム。
  7. 断面画像群のいずれかの断面画像に映る粒状影の候補を検出し、
    前記候補を検出した際に、前記断面画像群のうち、前記いずれかの断面画像に対応する複数の断面画像を合成した合成画像と前記いずれかの断面画像との類似度が閾値以上である場合には、検出した前記候補が粒状影であると判定し、前記合成画像と前記いずれかの断面画像との類似度が閾値未満である場合には、検出した前記候補が粒状影ではないと判定する、
    処理をコンピュータが実行することを特徴とする判定方法。
  8. 断面画像群のいずれかの断面画像に映る粒状影の候補を検出し、
    前記候補を検出した際に、前記断面画像群のうち、前記いずれかの断面画像に対応する複数の断面画像を合成した合成画像と前記いずれかの断面画像との類似度が閾値以上である場合には、検出した前記候補が粒状影であると判定し、前記合成画像と前記いずれかの断面画像との類似度が閾値未満である場合には、検出した前記候補が粒状影ではないと判定する、
    ことを特徴とする判定システム。
JP2019131685A 2019-07-17 2019-07-17 判定プログラム、判定方法、および判定システム Active JP7322562B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019131685A JP7322562B2 (ja) 2019-07-17 2019-07-17 判定プログラム、判定方法、および判定システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019131685A JP7322562B2 (ja) 2019-07-17 2019-07-17 判定プログラム、判定方法、および判定システム

Publications (2)

Publication Number Publication Date
JP2021016410A JP2021016410A (ja) 2021-02-15
JP7322562B2 true JP7322562B2 (ja) 2023-08-08

Family

ID=74563341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019131685A Active JP7322562B2 (ja) 2019-07-17 2019-07-17 判定プログラム、判定方法、および判定システム

Country Status (1)

Country Link
JP (1) JP7322562B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002325761A (ja) 2000-06-30 2002-11-12 Hitachi Medical Corp 画像診断支援装置
JP2004135867A (ja) 2002-10-17 2004-05-13 Fuji Photo Film Co Ltd 異常陰影候補検出方法及び異常陰影候補検出装置
JP2015144632A (ja) 2014-01-31 2015-08-13 国立大学法人 熊本大学 画像処理方法、画像処理装置及びプログラム
JP2018175343A (ja) 2017-04-12 2018-11-15 富士フイルム株式会社 医用画像処理装置および方法並びにプログラム
US20190164642A1 (en) 2017-11-24 2019-05-30 Siemens Healthcare Gmbh Computer-based diagnostic system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4253055B2 (ja) * 1998-04-27 2009-04-08 東芝医用システムエンジニアリング株式会社 コンピュータ支援診断装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002325761A (ja) 2000-06-30 2002-11-12 Hitachi Medical Corp 画像診断支援装置
JP2004135867A (ja) 2002-10-17 2004-05-13 Fuji Photo Film Co Ltd 異常陰影候補検出方法及び異常陰影候補検出装置
JP2015144632A (ja) 2014-01-31 2015-08-13 国立大学法人 熊本大学 画像処理方法、画像処理装置及びプログラム
JP2018175343A (ja) 2017-04-12 2018-11-15 富士フイルム株式会社 医用画像処理装置および方法並びにプログラム
US20190164642A1 (en) 2017-11-24 2019-05-30 Siemens Healthcare Gmbh Computer-based diagnostic system

Also Published As

Publication number Publication date
JP2021016410A (ja) 2021-02-15

Similar Documents

Publication Publication Date Title
US11850021B2 (en) Dynamic self-learning medical image method and system
US10937164B2 (en) Medical evaluation machine learning workflows and processes
KR102289277B1 (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
US9125622B2 (en) Diagnosis assisting apparatus, coronary artery analyzing method and recording medium having a coronary artery analyzing program stored therein
CN109074869B (zh) 医疗诊断支持装置、信息处理方法以及医疗诊断支持系统
US20110245632A1 (en) Medical Diagnosis Using Biometric Sensor Protocols Based on Medical Examination Attributes and Monitored Data
KR102676569B1 (ko) 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법
CN111563523A (zh) 利用机器训练的异常检测的copd分类
RU2699416C2 (ru) Идентификация аннотаций к описанию изображения
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
US11900252B2 (en) System and method for evaluating the performance of a user in capturing an ultrasound image of an anatomical region
US11996182B2 (en) Apparatus and method for medical image reading assistant providing representative image based on medical use artificial neural network
US20220392619A1 (en) Information processing apparatus, method, and program
US11837346B2 (en) Document creation support apparatus, method, and program
KR102360615B1 (ko) 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
JP7525248B2 (ja) 医用情報処理装置及び医用情報処理プログラム
JP2013052245A (ja) 情報処理装置および情報処理方法
CN111226287A (zh) 用于分析医学成像数据集的方法、用于分析医学成像数据集的系统、计算机程序产品以及计算机可读介质
JP2009128053A (ja) 医療画像表示装置
JP7322562B2 (ja) 判定プログラム、判定方法、および判定システム
US20220391599A1 (en) Information saving apparatus, method, and program and analysis record generation apparatus, method, and program
JP2021019677A (ja) 教師画像生成プログラム、教師画像生成方法、および教師画像生成システム
JP7387457B2 (ja) 医用画像処理装置、プログラム、および医用画像処理システム
JP6316325B2 (ja) 情報処理装置、情報処理装置の作動方法及び情報処理システム
Valente et al. A deep learning method for kidney segmentation in 2D ultrasound images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220407

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230710

R150 Certificate of patent or registration of utility model

Ref document number: 7322562

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150