JP7236974B2 - 診療支援装置、診療支援方法、及び診療支援プログラム - Google Patents

診療支援装置、診療支援方法、及び診療支援プログラム Download PDF

Info

Publication number
JP7236974B2
JP7236974B2 JP2019182722A JP2019182722A JP7236974B2 JP 7236974 B2 JP7236974 B2 JP 7236974B2 JP 2019182722 A JP2019182722 A JP 2019182722A JP 2019182722 A JP2019182722 A JP 2019182722A JP 7236974 B2 JP7236974 B2 JP 7236974B2
Authority
JP
Japan
Prior art keywords
information
medical
subject
calcification
age
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019182722A
Other languages
English (en)
Other versions
JP2021058270A (ja
Inventor
威 福田
晴康 中津川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2019182722A priority Critical patent/JP7236974B2/ja
Priority to US17/060,091 priority patent/US11494913B2/en
Publication of JP2021058270A publication Critical patent/JP2021058270A/ja
Application granted granted Critical
Publication of JP7236974B2 publication Critical patent/JP7236974B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Description

本開示は、診療支援装置、診療支援方法、及び診療支援プログラムに関する。
一般に、年齢に応じて肺が石灰化することが知られている。そのため、被検体の肺の石灰化に基づいて肺の疾患の診療を行う場合、被検体の年齢が考慮される。例えば、特許文献1には、患者の医用画像から検出された肺の石灰化から、患者の年齢を考慮して肺疾患を検出する技術が開示されている。
特開2004-609号公報
ところで、医用画像から肺の石灰化について判別し難い場合がある。特許文献1に記載の技術では、医用画像から肺の石灰化を適切に検出できない場合があると、肺疾患の検出が適切に行えない場合があった。そのため、特許文献1に記載の技術では、診療を効果的に支援することができない場合があった。
本開示は、以上の事情を鑑みて成されたものであり、被検体の肺の石灰化に基づく診療を効果的に支援することができる、診療支援装置、診療支援方法、及び診療支援プログラムを提供することを目的とする。
上記目的を達成するために、本開示の第1の態様の診療支援装置は、被検体の肺を撮影した医用画像を表す医用画像データ、被検体の品種を表す品種情報、及び医用画像を撮影したときの被検体の年齢を表す年齢情報を含む医用情報を取得する取得部と、取得部により取得された医用情報と、肺の石灰化部分にラベルを付与した医用画像を表す医用画像データ、品種情報、及び年齢情報を含む学習用医用情報を複数用いて予め学習された学習済みモデルとに基づいて、被検体の肺の石灰化の度合いを導出する導出部と、を備える。
本開示の第2の態様の診療支援装置は、第1の態様の診療支援装置において、品種と年齢と肺の石灰化の度合いとの対応関係を表す対応関係情報を記憶する記憶部に記憶されている対応関係情報に基づいて、被検体の品種及び年齢に応じた肺の石灰化の度合いよりも、導出部が導出した被検体の肺の石灰化の度合いが大きい場合、警告情報を出力する警告情報出力部をさらに備える。
本開示の第3の態様の診療支援装置は、第1の態様の診療支援装置において、医用情報は、被検体の年齢が異なる時期に撮影された複数の医用画像データを含み、導出部は、被検体の年齢毎に導出した石灰化の度合いから石灰化の変化の度合いをさらに導出し、品種と年齢と肺の石灰化の度合いとの対応関係を表す対応関係情報を記憶する記憶部に記憶されている対応関係情報に基づいて、被検体の品種及び年齢に応じた肺の石灰化の変化の度合いよりも、導出部が導出した石灰化の変化の度合いが大きい場合、警告情報を出力する警告情報出力部をさらに備える。
本開示の第4の態様の診療支援装置は、第2の態様または第3の態様の診療支援装置において、警告情報出力部は、警告情報を出力する場合、被検体に対する予め定められた検査項目を表す検査項目情報をさらに出力する。
本開示の第5の態様の診療支援装置は、第1の態様から第4の態様のいずれか1態様の診療支援装置において、学習済みモデルの学習には、肺の腫瘍部分にラベルを付与した医用画像を表す医用画像データ、品種情報、及び年齢情報を含む複数の学習用医用情報がさらに用いられ、導出部は、取得部により取得された医用情報と、学習済みモデルとに基づいて、被検体の肺における腫瘍の有無をさらに導出する。
本開示の第6の態様の診療支援装置は、第5の態様の診療支援装置において、学習済みモデルの学習には、肺の石灰化及び腫瘍についての判定不能部分にラベルを付与した医用画像を表す医用画像データ、品種情報、及び年齢情報を含む複数の学習用医用情報がさらに用いられ、導出部は、取得部により取得された医用情報と、学習済みモデルとに基づいて、被検体の肺における判定不能部分の有無をさらに導出する。
本開示の第7の態様の診療支援装置は、第6の態様の診療支援装置において、導出部が、判定不能部分が有ることを導出した場合、経過観察の指示を出力する指示出力部をさらに備える。
本開示の第8の態様の診療支援装置は、第1の態様から第7の態様のいずれか1態様の診療支援装置において、導出部は、取得部が被検体の品種情報に代わり、被検体の体型に関する種類を表す体型情報を取得した場合、取得部により取得された医用情報と、肺の石灰化部分にラベルを付与した医用画像データ、体型情報、及び年齢情報を含む学習用医用情報を複数用いて予め学習された学習済みモデルとに基づいて、被検体の肺の石灰化の度合いを導出する。
本開示の第9の態様の診療支援装置は、第8の態様の診療支援装置において、体型に関する種類は、大型、中型、または小型である。
本開示の第10の態様の診療支援装置は、第8の態様の診療支援装置において、被検体は、犬であり、体型に関する種類は、短頭種、中頭種、または長頭種である。
また、上記目的を達成するために、本開示の第11の態様の診療支援方法は、被検体の肺を撮影した医用画像を表す医用画像データ、被検体の品種を表す品種情報、及び医用画像を撮影したときの被検体の年齢を表す年齢情報を含む医用情報を取得し、取得された医用情報と、肺の石灰化部分にラベルを付与した医用画像データ、品種情報、及び年齢情報を含む学習用医用情報を複数用いて予め学習された学習済みモデルとに基づいて、被検体の肺の石灰化の度合いを導出する、処理をコンピュータが実行する方法である。
また、上記目的を達成するために、本開示の第12の態様の診療支援プログラムは、被検体の肺を撮影した医用画像を表す医用画像データ、被検体の品種を表す品種情報、及び医用画像を撮影したときの被検体の年齢を表す年齢情報を含む医用情報を取得し、取得された医用情報と、肺の石灰化部分にラベルを付与した医用画像データ、品種情報、及び年齢情報を含む学習用医用情報を複数用いて予め学習された学習済みモデルとに基づいて、被検体の肺の石灰化の度合いを導出する、処理をコンピュータに実行させるためのものである。
また、本開示の診療支援装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサと、を備え、プロセッサは、被検体の肺を撮影した医用画像を表す医用画像データ、被検体の品種を表す品種情報、及び医用画像を撮影したときの被検体の年齢を表す年齢情報を含む医用情報を取得し、取得された医用情報と、肺の石灰化部分にラベルを付与した医用画像データ、品種情報、及び年齢情報を含む学習用医用情報を複数用いて予め学習された学習済みモデルとに基づいて、被検体の肺の石灰化の度合いを導出する。
本開示によれば、被検体の肺の石灰化に基づく診療を効果的に支援することができる。
第1実施形態の診療支援システムの構成の一例を示すブロック図である。 第1実施形態の診療支援装置のハードウェア構成の一例を示すブロック図である。 第1実施形態の学習用医用情報の一例を説明するための図である。 肺に肺ラベルが付与された医用画像の一例を示す図である。 肺に肺ラベルが付与され、石灰化した変異部に石灰化ラベルが付与された医用画像の一例を示す図である。 肺に肺ラベルが付与された医用画像の他の例を示す図である。 第1実施形態の学習済みモデルを説明するための図である。 品種(犬種)と、年齢と、肺の石灰化の度合いとの対応関係を表す対応関係情報の一例を示す図である。 第1実施形態の診療支援装置の学習フェーズにおける機能的な構成の一例を示すブロック図である。 第1実施形態の学習済みモデルの入出力を説明するための図である。 第1実施形態の診療支援装置で実行される学習処理の一例を示すフローチャートである。 第1実施形態の診療支援装置の運用フェーズにおける機能的な構成の一例を示すブロック図である。 第1実施形態の診療支援装置で実行される診療支援処理の一例を示すフローチャートである。 第1実施形態の診療支援装置における犬種と年齢との組み合わせに応じた学習済みモデルを用いた石灰化の度合いの導出を説明するための図である。 第2実施形態の学習用医用情報の一例を説明するための図である。 肺に肺ラベルが付与され、腫瘍に腫瘍ラベルが付与された医用画像の一例を示す図である。 肺に肺ラベルが付与され、腫瘍に腫瘍ラベルが付与された医用画像の一例を示す図である。 肺に肺ラベルが付与され、判定不能部分に判定不能ラベルが付与された医用画像の一例を示す図である。 第2実施形態の学習済みモデルを説明するための図である。 第2実施形態の学習済みモデルの入出力を説明するための図である。 第2実施形態の診療支援装置の運用フェーズにおける機能的な構成の一例を示すブロック図である。 第2実施形態の診療支援装置で実行される診療支援処理の一例を示すフローチャートである。 第2実施形態の診療支援装置における犬種と年齢との組み合わせに応じた学習済みモデルを用いた肺に関する情報を説明するための図である。 第3実施形態の診療支援装置の記憶部に記憶される学習用医用情報の一例を示す図である。 第3実施形態の学習用医用情報の一例を説明するための図である。 第3実施形態の学習済みモデルを説明するための図である。 体型と、年齢と、肺の石灰化の度合いとの対応関係を表す対応関係情報の一例を示す図である。 第3実施形態の学習済みモデルの入出力を説明するための図である。 第3実施形態の診療支援装置の運用フェーズにおける機能的な構成の一例を示すブロック図である。 第3実施形態の診療支援装置における体型と年齢との組み合わせに応じた学習済みモデルを用いた石灰化の度合いの導出を説明するための図である。 体型の変形例である頭種を説明するための図である。 変形例の学習用医用情報の一例を説明するための図である。 変形例の学習済みモデルを説明するための図である。 変形例の学習済みモデルの入出力を説明するための図である。 変形例の診療支援装置における体型と年齢との組み合わせに応じた学習済みモデルを用いた石灰化の度合いの導出を説明するための図である。 第4実施形態の診療支援装置の運用フェーズにおける機能的な構成の一例を示すブロック図である。 第4実施形態の診療支援装置で実行される診療支援処理の一例を示すフローチャートである。
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。なお、以下の形態例では、被検体として「犬」を適用した場合について説明する。
[第1実施形態]
まず、図1を参照して、本実施形態の診療支援システム1について説明する。図1には、本実施形態の診療支援システム1の構成の一例を表すブロック図が示されている。図1に示すように、本実施形態の診療支援システム1は、診療支援装置10及び複数(図1では、一例として3台)の端末装置12を備える。診療支援装置10及び複数の端末装置12は、それぞれネットワークNに接続され、ネットワークNを介して互いに通信が可能とされている。
診療支援装置10は、例えば、動物病院に設置される。診療支援装置10の例としては、サーバコンピュータ等が挙げられる。なお、診療支援装置10は、クラウドサーバであってもよい。端末装置12は、例えば、動物病院に設置され、獣医師等のユーザにより使用される。端末装置12の例としては、パーソナルコンピュータ及びタブレットコンピュータ等が挙げられる。
次に、図2を参照して、本実施形態の診療支援装置10のハードウェア構成の一例を説明する。図2に示すように診療支援装置10は、CPU(Central Processing Unit)20、一時記憶領域としてのメモリ21、及び不揮発性の記憶部22を含む。また、診療支援装置10は、液晶ディスプレイ等の表示部24、キーボードやマウス等の入力部26、及びネットワークNに接続されるネットワークI/F(InterFace)28を含む。なお、表示部24及び入力部26はタッチパネルディスプレイとして一体化されていてもよい。CPU20、メモリ21、記憶部22、表示部24、入力部26、及びネットワークI/F28は、バス29に互いに通信が可能に接続されている。
記憶部22は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、及びフラッシュメモリ等によって実現される。記憶媒体としての記憶部22には、学習プログラム23Aが記憶される。CPU20は、記憶部22から学習プログラム23Aを読み出してからメモリ21に展開し、展開した学習プログラム23Aを実行する。また、記憶部22には、診療支援プログラム23Bが記憶される。CPU20は、記憶部22から診療支援プログラム23Bを読み出してからメモリ21に展開し、展開した診療支援プログラム23Bを実行する。
また、本実施形態の記憶部22には、学習用医用情報30と、学習用医用情報30を用いて学習された学習済みモデル38とが記憶される。
図2及び図3に示すように、一例として本実施形態の学習用医用情報30は、学習用の医用画像データ32、品種情報34、及び年齢情報36を含む。
医用画像データ32は、被検体である犬の肺を含む部位を医用画像撮影装置によって撮影して得られた医用画像に対して肺及び石灰化の各々にラベル(詳細後述)が付与された医用画像33を表す画像データである。なお、本実施形態では、医用画像として、被検体の犬に対して放射線を照射し、犬を透過した放射線を検出する放射線検出器により検出された放射線量に応じた放射線画像を適用した形態例を説明する。なお、医用画像は、MRI(Magnetic Resonance Imaging)画像及びCT(Computed Tomography)画像等であってもよい。
本実施形態の医用画像33の例を図4A~図4Cを参照して説明する。図4A及び図4Bに示す医用画像33(33A及び33B)は、犬の肺を側面方向(いわゆる、Lateral)に撮影して得られた医用画像である。
図4Aには、肺にラベル(以下、「肺ラベル」という)70が付与された医用画像33Aが示されている。医用画像33Aは、石灰化が生じていない状態の肺が撮影された医用画像であり、医用画像33Aに写る肺には、石灰化による陰影がみられない。なお、本実施形態では、石灰化の陰影がみられない状態を「正常」という。
図4Bには、肺に肺ラベル70が付与され、また石灰化にラベル(以下、「石灰化ラベル」という)72が付与された医用画像33Bが示されている。医用画像33Bは、石灰化が生じている状態の肺が撮影された医用画像であり、石灰化の陰影に石灰化ラベル72が付与されている。石灰化とは、血液中のカルシウムが組織に沈着することをいい、肺結核等の古い炎症性の瘢痕や、加齢により生じる。石灰化は、すりガラス状陰影や、直径3mm以下の粒状影として医用画像に現れる傾向がある。そのため、医用画像におけるすりガラス状陰影、及び直径3mm以下の粒状影に対しては、石灰化の所見が得られる。石灰化ラベル72は、石灰化の所見が得られる陰影(変異部)に対して施されるラベルである。
なお、医用画像は、例えば、図4Cに示すように、腹側から背中側に向けた方向(いわゆる、Ventral-Dorsal)に撮影して得られた医用画像33Aであってもよい。図4Cに示した医用画像33Aは、肺ラベル70が付与された正常な肺の医用画像である。なお、学習用医用情報30として用いられる複数の医用画像データ32が、撮影方向が異なる医用画像33による医用画像データ32を含む場合、医用画像データ32に、撮影方向を表す情報を付与することが好ましい。
このように、本実施形態の医用画像データ32は、肺ラベル70のみが付与された正常な医用画像33を表す医用画像データ32Aと、肺ラベル70及び石灰化ラベル72が付与された医用画像33を表す医用画像データ32Bとを各々、複数含む。
品種情報34は、被検体である犬の品種を表す品種情報であり、医用画像データ32に付加されている。具体的には、品種情報34とは、被検体が犬であるため、犬種を表す情報である。なお、本実施形態において「品種」とは、「犬種」等の品種の他、「犬」及び「猫」等の種族の概念も含む。
年齢情報36は、被検体である犬の年齢を表す年齢情報であり、医用画像データ32に付加されている。年齢情報36とは、被検体の出生からの経過時間を表す情報である。なお、本実施形態では、便宜上、年齢と称しているが、出生からの年単位の経過時間ではなく、月単位の経過時間、即ち月齢を採用している。例えば、犬等のように成長が比較的速い場合、年単位とした年齢では石灰化の進行に対応しきれないことがある。そのため、本実施形態では、このように年齢情報36として月齢を表す情報を採用している。このように、年齢情報36によって表される被検体の出生からの経過時間は、被検体の品種等に応じて定めることが好ましく、年齢、月齢に限らず、例えば日齢であってもよい。
学習済みモデル38は、学習用医用情報30を用いて予め学習されたモデルである。本実施形態では、一例として図5に示すように、学習用医用情報30を用いた機械学習によって学習済みモデル38が生成される。例えば、図5に示すように、品種情報34が表す犬種が「柴犬」の場合、年齢情報36が表す年齢が「1ヶ月」の医用画像データ32A及び32Bからは、犬種が柴犬で年齢が1ヶ月用の学習済みモデル38が生成される。また、年齢情報36が表す年齢が「2ヶ月」の医用画像データ32A及び32Bからは、犬種が柴犬で年齢が2ヶ月用の学習済みモデル38が生成される。また、年齢情報36が表す年齢が「3ヶ月」の医用画像データ32A及び32Bからは、犬種が柴犬で年齢が3ヶ月用の学習済みモデル38が生成される。
また例えば、図5に示すように、品種情報34が表す犬種が「ゴールデンレトリバー」の場合、年齢情報36が表す年齢が「1ヶ月」の医用画像データ32A及び32Bからは、犬種がゴールデンレトリバーで年齢が1ヶ月用の学習済みモデル38が生成される。また、年齢情報36が表す年齢が「2ヶ月」の医用画像データ32A及び32Bからは、犬種がゴールデンレトリバーで年齢が2ヶ月用の学習済みモデル38が生成される。年齢情報36が表す年齢が「3ヶ月」の医用画像データ32A及び32Bからは、犬種がゴールデンレトリバーで年齢が3ヶ月用の学習済みモデル38が生成される。学習済みモデル38の例としては、ニューラルネットワークモデルが挙げられる。
なお、図5では、犬種として「柴犬」及び「ゴールデンレトリバー」、年齢として「1ヶ月」~「3ヶ月」の場合の学習済みモデル38~38について示しているが、犬種及び年齢はこれらに限定されるものではない。なお、学習済みモデル38~38について各々を区別せずに総称する場合、個々を区別する「1」~「6」の符号を省略して「学習済みモデル38」という。
また、図2に示したように、本実施形態の記憶部22には、対応関係情報40が記憶される。対応関係情報40は、品種(犬種)と、年齢と、肺の石灰化の度合いとの対応関係を表す情報である。ここで「石灰化の度合い」とは、例えば、医用画像に写る肺の部分の面積に対する、石灰化の陰影を総合した面積の割合が挙げられる。具体的には、医用画像33B(図4B参照)における、肺ラベル70の面積に対する全ての石灰化ラベル72の面積の割合(石灰化ラベル72の面積の総合値÷肺ラベル70の面積)を「石灰化の度合い」とすることが挙げられる。また例えば、肺の部分の面積に対する、石灰化の陰影を総合した面積の割合を複数段階に分類した場合の各段階や、肺全体に対する石灰化の数や石灰化の大きさ等を複数段階に分類した場合の各段階等を度合いとして採用してもよい。
一般的に、石灰化は加齢により進行する傾向があることが知られている。対応関係情報40は、犬種毎の加齢による石灰化の程度を表す情報であり、加齢による石灰化の進行状態を表す情報である。図6に示す対応関係情報40には、石灰化し易い犬種A、ある年齢から急に石灰化し易くなる犬種B、及び石灰化し難い犬種C各々についての、年齢と肺の石灰化の度合いとの対応関係が示されている。なお、本実施形態では、対応関係情報40が表す、犬種毎の年齢に応じた肺の石灰化の度合いを「基準石灰化度合」という。すなわち、基準石灰化度合とは、その犬種における年齢相応の石灰化の度合いのことをいう。
さらに、本実施形態の記憶部22には、検査項目情報42が記憶される。検査項目情報42は、肺の石灰化の度合いが大きい場合等に、被検体に対して行うことが推奨される検査項目を表す情報である。例えば、被検体の肺の石灰化の度合いが、基準石灰化度合よりも大きい場合、加齢による石灰化以上の石灰化が生じていることになる。このような場合、被検体が何らかの病気に罹患していることに起因して石灰化が生じている可能性がある。そのため、本実施形態の診療支援装置10では、石灰化を伴う病気等についての検査項目を推奨する。石灰化が進行する病気としては、肺に関する疾患に限定されず、例えば、上皮小体機能亢進症等が挙げられる。上皮小体機能亢進症に対する検査項目としては、例えば、血液検査等が挙げられる。
次に、図7を参照して、本実施形態の診療支援装置10の学習フェーズにおける機能的な構成について説明する。図7に示すように、診療支援装置10は、取得部50及び学習部52を含む。CPU20が学習プログラム23Aを実行することで、取得部50及び学習部52として機能する。
取得部50は、学習用医用情報30を記憶部22から取得する。
学習部52は、取得部50により取得された学習用医用情報30を学習用のデータ(教師データとも称される)として学習させることによって、学習用医用情報30に基づいて肺の石灰化に関する情報を出力する学習済みモデル38を生成する。具体的には、学習部52は、品種情報34が表す犬種と年齢情報36が表す年齢との組み合わせ毎に、医用画像データ32を入力とし、医用画像データ32が表す医用画像33における肺の石灰化の度合い表す情報を出力とした、品種及び年齢の組み合わせに応じた複数の学習済みモデル38を機械学習によって生成する。
より具体的には、学習部52は、品種情報34が表す犬種として「柴犬」、及び年齢情報36が表す年齢として「1ヶ月」が付加された医用画像データ32が入力された場合は、石灰化の度合いを表す情報が出力されるようにモデルを学習させる。本学習により、犬種が柴犬で年齢が1ヶ月用の学習済みモデル38が生成される。
同様に、学習部52は、品種情報34が表す犬種として「柴犬」、及び年齢情報36が表す年齢として「2ヶ月」が付加された医用画像データ32が入力された場合は、石灰化の度合いを表す情報が出力されるようにモデルを学習させる。本学習により、犬種が柴犬で年齢が2ヶ月用の学習済みモデル38が生成される。
同様に、学習部52は、品種情報34が表す犬種として「ゴールデンレトリバー」、及び年齢情報36が表す年齢として「1ヶ月」が付加された医用画像データ32が入力された場合は、石灰化の度合いを表す情報が出力されるようにモデルを学習させる。本学習により、犬種がゴールデンレトリバーで年齢が1ヶ月用の学習済みモデル38が生成される。
以上の学習部52による学習のアルゴリズムとしては、例えば、誤差逆伝播法を適用することができる。以上の学習部52による学習によって、一例として図8に示すように、品種(犬種)及び年齢の組み合わせ毎に、医用画像データ62、品種情報64、及び年齢情報66を入力とし、入力の医用画像データ62が表す医用画像に写る被検体の肺の石灰化について、石灰化の度合いを表す情報を出力とする学習済みモデル38が生成される。そして、学習部52は、生成した学習済みモデル38を記憶部22に記憶する。なお、本実施形態では、医用画像データ62、品種情報64、及び年齢情報66を総称する場合、「医用情報」という。
次に、図9を参照して、本実施形態の診療支援装置10の学習フェーズにおける作用を説明する。CPU20が学習プログラム23Aを実行することによって、図9に示す学習処理が実行される。
図9のステップS100で取得部50は、学習用医用情報30を記憶部22から取得する。
次のステップS102で学習部52は、上述したように、ステップS100で取得された学習用医用情報30を学習用のデータとして犬種及び年齢の組み合わせ毎にモデルを学習させる。この学習により、学習部52は、医用画像データ62、品種情報64、及び年齢情報66に基づいて、被検体の石灰化の度合いを表す情報を出力する学習済みモデル38を生成する。そして、学習部52は、生成した学習済みモデル38を記憶部22に記憶する。ステップS102の処理が終了すると本学習処理が終了する。
次に、図10を参照して、本実施形態の診療支援装置10の運用フェーズにおける機能的な構成について説明する。図10に示すように、本実施形態の診療支援装置10は、取得部54、導出部56、及び出力部57を含む。CPU20が診療支援プログラム23Bを実行することで、取得部54、導出部56、及び出力部57として機能する。取得部54が本開示の取得部の一例であり、導出部56が本開示の導出部の一例である。なお、診療支援装置10は、学習フェーズと運用フェーズとで同じ装置であってもよいし、異なる装置であってもよい。
取得部54は、獣医師等のユーザによる診療対象である被検体の動物を医用画像撮影装置によって撮影して得られた医用画像を表す医用画像データ62と、その被検体の犬種を表す品種情報64と、その被検体の年齢を表す年齢情報66とを医用情報として取得する。品種情報64及び年齢情報66の各々は、医用画像データ62に付加されていてもよいし、ユーザにより端末装置12の操作部(図示省略)を介して入力されてもよい。
導出部56は、取得部54により取得された医用情報(医用画像データ62、品種情報64、及び年齢情報66)と、学習用医用情報30によって予め学習された学習済みモデル38とに基づいて、被検体の石灰化の度合いを導出する。具体的には、導出部56は、取得部54によって取得された医用画像データ62を、取得部54により取得された品種情報64が表す犬種及び年齢情報66が表す年齢の組み合わせに応じた学習済みモデル38に入力する。学習済みモデル38は、入力された医用情報に応じて、被検体の石灰化の度合いを表す情報を出力する。
また、導出部56は、学習済みモデル38から出力された石灰化の度合いを表す情報に基づき、被検体の肺が正常であるか否か、具体的には被検体の肺に石灰化が生じているか否かを判定する。一例として本実施形態の導出部56では、被検体の石灰化の度合いが「0(ゼロ)」である場合、正常であると判定する。換言すると、導出部56は、石灰化の度合いについて「0(ゼロ)」を閾値として、被検体の肺に石灰化が生じているか否かを判定する。なお、被検体の肺に石灰化が生じていない(正常)と判定するための閾値は、本実施形態に限定されず、誤差等も含め、石灰化が生じていないとみなせる程度の値ならばよい。
導出部56は、被検体の肺が正常であると判定した場合、導出した石灰化の度合いに代えて、被検体の肺が正常である旨の導出結果を出力部57に出力する。また、導出部56は、被検体の肺が正常ではないと判定した場合、導出した石灰化の度合いを表す情報を導出結果として出力部57に出力する。
出力部57は、被検体の肺が正常である旨の情報が入力された場合、正常であるとした導出結果を出力する。具体的には、本実施形態の出力部57は、導出部56から被検体の肺が正常である旨の導出結果が入力された場合、被検体の肺が正常であるとした導出結果を端末装置12に出力することによって端末装置12の表示部(図示省略)に導出結果を表示する。ユーザは、端末装置12の表示部に表示された導出結果を参考に医用画像データ62が表す医用画像を読影し、被検体の肺の石灰化に基づく診療を行う。
また、本実施形態の出力部57は、警告情報出力部59を含む。本実施形態の警告情報出力部59が本開示の警告情報出力部の一例である。警告情報出力部59は、被検体の石灰化の度合いが基準石灰化度合よりも大きい場合、警告を表す警告情報を出力する。またこの場合、警告情報出力部59は、検査項目情報42から取得した検査項目を表す情報を出力する。具体的には、警告情報出力部59は、対応関係情報40を参照し、導出部56から入力された石灰化の度合いが基準石灰化度合よりも大きいと判定された場合、予め定められた警告情報及び検査項目を表す情報を端末装置12に出力することによって端末装置12の表示部(図示省略)に警告情報及び検査項目を表示する。ユーザは、端末装置12の表示部に表示された警告情報及び検査項目を参考に医用画像データ62が表す医用画像を読影し、被検体の肺の石灰化に基づく診療を行う。なお、警告情報出力部59は、警告情報及び検査項目を表す情報に加えて、石灰の度合いについても、端末装置12の表示部に表示させてもよい。
また、警告情報出力部59は、導出部56から入力された石灰化の度合いが基準石灰化度合以下の場合、石灰化が生じている(石灰化有)とした導出結果を端末装置12に出力することによって端末装置12の表示部(図示省略)に導出結果を表示する。なお、この場合、石灰化の度合いや、年齢相応の石灰化以下であることについても出力してもよい。ユーザは、端末装置12の表示部に表示された導出結果を参考に医用画像データ62が表す医用画像を読影し、被検体の肺の石灰化に基づく診療を行う。
次に、図11を参照して、本実施形態の診療支援装置10の運用フェーズにおける作用を説明する。CPU20が診療支援プログラム23Bを実行することによって、図11に示す診療支援処理が実行される。
図11のステップS200で取得部54は、被検体である犬の医用情報を取得し、導出部56に出力する。具体的には、取得部54は、ユーザによる診療対象である被検体の犬を医用画像撮影装置によって撮影して得られた医用画像を表す医用画像データ62と、その被検体の品種を表す品種情報64と、その被検体の年齢を表す年齢情報66とを取得する。
次のステップS202で導出部56は、上述したように、取得部54から入力された医用情報と、学習済みモデル38とに基づいて、被検体の肺の石灰化の度合いを導出する。具体的には、導出部56は、入力された医用情報における品種情報64と年齢情報66との組み合わせに応じて選択した学習済みモデル38に医用画像データ62を入力させ、学習済みモデル38から出力された肺の石灰化の度合いを表す情報を取得する。
例えば、図12に示すように、医療情報における品種情報64の表す犬種が「柴犬」であり、年齢情報66の表す情報が「3ヶ月」の場合、導出部56は、医用画像データ62を犬種が柴犬であり年齢が3ヶ月用の学習済みモデル38に入力させる。学習済みモデル38からは、被検体の石灰化の度合いを表す情報が出力される。
次のステップS204で導出部56は、上述したように被検体の肺が正常で有るか否かを判定する。学習済みモデル38が出力した石灰化を表す情報に基づき、被検体の石灰化の度合いと上記閾値とを比較した比較結果に基づき、導出部56が被検体の肺が正常であると判定した場合、ステップS204の判定が肯定判定となり、ステップS206へ移行する。ステップS206で出力部57は、上述したように、被検体の肺が正常であるとした導出結果を出力する。ステップS206の処理が終了すると、本診療支援処理が終了する。
一方、導出部56が被検体の肺が正常ではないと判定した場合、ステップS204の判定が否定判定となり、ステップS208へ移行する。ステップS208で警告情報出力部59は、上述したように対応関係情報40を参照し、被検体の石灰化の度合いが、基準石灰化度合よりも大きい(基準石灰化度合<被検体の石灰化度合)か否かを判定する。被検体の石灰化の度合いが基準石灰化度合よりも大きい場合、ステップS208の判定が肯定判定となり、ステップS210へ移行する。ステップS210で警告情報出力部59は、上述したように警告情報及び検査項目を表す情報を出力する。ステップS210の処理が終了すると、本診療支援処理が終了する。
一方、被検体の石灰化の度合いが基準石灰化度合以下の場合、ステップS208の判定が否定判定となり、ステップS212へ移行する。ステップS212で警告情報出力部59は、上述したように、石灰化が有るとした導出結果を出力する。ステップS212の処理が終了すると、本診療支援処理が終了する。
このように、本実施形態の診療支援装置10によれば、医用画像データ62、品種情報64、及び年齢情報66を含む医用情報と、学習済みモデル38とに基づいて、被検体の石灰化の度合いが導出される。
上述したように、一般的に加齢により肺の石灰化が進行するが、被検体が罹患した病気等に起因してその進行具合が速くなる場合がある。肺の石灰化は、症状として表れ難いため、石灰化の度合いを知ることは被検体に対する診療において重要なことである。また、被検体の石灰化の度合いを提示することにより、例えば、ユーザが医用画像において石灰化と腫瘍とを区別するのを支援することができる。従って、本実施形態の診療支援装置10によれば、被検体の肺の石灰化に基づく診療を効果的に支援することができる。
[第2実施形態]
以下、第2実施形態について詳細に説明する。
本実施形態では、診療支援装置10が、被検体の肺について、石灰化の度合いに加えて、腫瘍の有無を導出する形態について説明する。
本実施形態の診療支援システム1の構成は、第1実施形態の診療支援システム1の構成(図1参照)と同様であるため、説明を省略する。
一方、本実施形態の診療支援装置10では、学習済みモデル38の学習に用いる学習用医用情報30に含まれる医用画像データ32が第1実施形態と異なる。そのため、本実施形態の医用画像データ32について図13及び図14A~14Cを参照して詳細に説明する。
図13に示すように、本実施形態の学習用医用情報30における医用画像データ32は、医用画像データ32A、医用画像データ32B、医用画像データ32C、及び医用画像データ32Dを含む。上述したように、医用画像データ32Aは、肺ラベル70が付与された医用画像33Aを表す医用画像データである。また、医用画像データ32Bは、肺ラベル70及び石灰化ラベル72が付与された医用画像33Bを表す医用画像データである。
一方、医用画像データ32Cは、肺ラベル70及び腫瘍にラベル(以下、「腫瘍ラベル」という)74が付与された、医用画像33C(図14A及び図14B参照)を表す医用画像データである。また、医用画像データ32Dは、肺ラベル70及び判定不能な陰影にラベル(以下、「判定不能ラベル」という)76が付与された、医用画像33D(図14C参照)を表す医用画像データである。
図14A及び図14Bには、肺に肺ラベル70が付与され、また腫瘍ラベル74が付与された医用画像33Cが示されている。また、図14Cには、肺に肺ラベル70が付与され、また判定不能な陰影に判定不能ラベル76が付与された医用画像33Dが示されている。
肺の医用画像に見られる陰影には、上述した石灰化に起因するものの他、腫瘍に起因するもの等がある。上述したように、石灰化は、すりガラス状陰影や、直径3mm以下の粒状影として医用画像に現れる傾向がある。一方、腫瘍は、石灰化に比べて、大きな陰影として医用画像に現れる傾向がある。しかしながら、腫瘍の初期状態、特に粟粒性の腫瘍の初期状態では、比較的小さな粒状の陰影として腫瘍が写る。そのため、例えば、直径3mm前後の粒状の陰影については、石灰化によるものか、腫瘍によるものかの判定が不能となることがある。本実施形態では、このような石灰化及び腫瘍のいずれによるものかの判定が不能な陰影(変異部)に対して、図14Cに示した医用画像33Dのように、判定不能ラベル76が付与される。なお、本実施形態において「正常」とは、石灰化に加え、腫瘍及び判定不能な部分のいずれの陰影もみられない状態をいう。
図15に示すように、上記本実施形態の学習用医用情報30を用いた機械学習により本実施形態の学習済みモデル38が生成される。例えば、図15に示すように、品種情報34が表す犬種が「柴犬」の場合、年齢情報36が表す年齢が「1ヶ月」の医用画像データ32A~32Dからは、犬種が柴犬で年齢が1ヶ月用の学習済みモデル38が生成される。また、年齢情報36が表す年齢が「2ヶ月」の医用画像データ32A~32Dからは、犬種が柴犬で年齢が2ヶ月用の学習済みモデル38が生成される。また、年齢情報36が表す年齢が「3ヶ月」の医用画像データ32A~32Dからは、犬種が柴犬で年齢が3ヶ月用の学習済みモデル38が生成される。
また例えば、図15に示すように、品種情報34が表す犬種が「ゴールデンレトリバー」の場合、年齢情報36が表す年齢が「1ヶ月」の医用画像データ32A~32Dからは、犬種がゴールデンレトリバーで年齢が1ヶ月用の学習済みモデル3810が生成される。また、年齢情報36が表す年齢が「2ヶ月」の医用画像データ32A~32Dからは、犬種がゴールデンレトリバーで年齢が2ヶ月用の学習済みモデル3811が生成される。また、年齢情報36が表す年齢が「3ヶ月」の医用画像データ32A~32Dからは、犬種がゴールデンレトリバーで年齢が3ヶ月用の学習済みモデル3812が生成される。上述したように学習済みモデル38の例としては、ニューラルネットワークモデルが挙げられる。
なお、図15では、6つの学習済みモデル38~3812について示しているが、生成される学習済みモデル38の数は6つに限定されるものではない。なお、学習済みモデル38~3812について各々を区別せずに総称する場合、個々を区別する「7」~「12」の符号を省略して「学習済みモデル38」という。
次に、本実施形態の診療支援装置10の学習フェーズにおける機能的な構成について説明する。本実施形態の診療支援装置10の学習フェーズにおける全体的な構成は、第1実施形態の診療支援装置10(図7参照)と同様である。一方、本実施形態の診療支援装置10における学習部52は、学習用医用情報30に基づいて学習済みモデル38を生成する具体的な動作が異なるため、学習部52の具体的な動作について説明する。
本実施形態の学習部52は、品種情報34が表す犬種と年齢情報36が表す年齢との組み合わせ毎に、医用画像データ32を入力とし、医用画像データ32が表す医用画像33における石灰化の度合いを表す情報、腫瘍が有ることを表す情報、及び判定不能部分が有ることを表す情報のいずれかを出力とした、品種及び年齢の組み合わせに応じた複数の学習済みモデル38を機械学習によって生成する。
より具体的には、学習部52は、品種情報34が表す犬種として「柴犬」、及び年齢情報36が表す年齢として「1ヶ月」が付加された医用画像データ32のうち、医用画像データ32A及び医用画像データ32Bが入力された場合は、石灰化の度合いを表す情報が出力されるようにモデルを学習させる。また、品種情報34が表す犬種として「柴犬」、及び年齢情報36が表す年齢として「1ヶ月」が付加された医用画像データ32のうち、医用画像データ32Cが入力された場合は、腫瘍があることを表す情報が出力されるようにモデルを学習させる。また、品種情報34が表す犬種として「柴犬」、及び年齢情報36が表す情報として「1ヶ月」が付加された医用画像データ32のうち、医用画像データ32Dが入力された場合は、判定不能部分があることを表す情報が出力されるようにモデルを学習させる。この学習により、犬種が柴犬で年齢が1ヶ月用の学習済みモデル38が生成される。
同様に、学習部52は、品種情報34が表す犬種として「柴犬」、及び年齢情報36が表す年齢として「2ヶ月」が付加された医用画像データ32のうち、医用画像データ32A及び医用画像データ32Bが入力された場合は、石灰化の度合いを表す情報が出力されるようにモデルを学習させる。また、品種情報34が表す犬種として「柴犬」、及び年齢情報36が表す年齢として「2ヶ月」が付加された医用画像データ32のうち、医用画像データ32Cが入力された場合は、腫瘍があることを表す情報が出力されるようにモデルを学習させる。また、品種情報34が表す犬種として「柴犬」、及び年齢情報36が表す情報として「2ヶ月」が付加された医用画像データ32のうち、医用画像データ32Dが入力された場合は、判定不能部分があることを表す情報が出力されるようにモデルを学習させる。この学習により、犬種が柴犬で年齢が2ヶ月用の学習済みモデル38が生成される。
同様に、学習部52は、品種情報34が表す犬種として「ゴールデンレトリバー」、及び年齢情報36が表す年齢として「1ヶ月」が付加された医用画像データ32のうち、医用画像データ32A及び医用画像データ32Bが入力された場合は、石灰化の度合いを表す情報が出力されるようにモデルを学習させる。また、品種情報34が表す犬種として「ゴールデンレトリバー」、及び年齢情報36が表す年齢として「1ヶ月」が付加された医用画像データ32のうち、医用画像データ32Cが入力された場合は、腫瘍があることを表す情報が出力されるようにモデルを学習させる。また、品種情報34が表す犬種として「ゴールデンレトリバー」、及び年齢情報36が表す情報として「1ヶ月」が付加された医用画像データ32のうち、医用画像データ32Dが入力された場合は、判定不能部分があることを表す情報が出力されるようにモデルを学習させる。この学習により、犬種がゴールデンレトリバーで年齢が1ヶ月用の学習済みモデル3810が生成される。
以上の学習部52による学習のアルゴリズムとしては、上述したように例えば、誤差逆伝播法を適用することができる。以上の学習部52による学習によって、一例として図16に示すように、犬種及び年齢の組み合わせ毎に、医用画像データ62、品種情報64、及び年齢情報66を入力とし、入力の医用画像データ62が表す医用画像に写る被検体の肺について、石灰化の度合い、腫瘍があるか、及び判定不能部分があるかのいずれかを表す情報を出力とする学習済みモデル38が生成される。そして、学習部52は、生成した学習済みモデル38を記憶部22に記憶する。なお、学習済みモデル38から出力される、被検体の肺について、石灰化の度合い、腫瘍があるか、及び判定不能部分があるかのいずれかを表す情報について総称する場合は、「肺に関する情報」という。
本実施形態の診療支援装置10の学習フェーズにおける作用、すなわち、診療支援装置10が実行する学習処理は、第1実施形態の診療支援装置10において実行される学習処理(図8参照)と同様であるため、説明を省略する。
次に、図17を参照して、本実施形態の診療支援装置10の運用フェーズにおける機能的な構成を説明する。
本実施形態の診療支援装置10は、導出部56の具体的な動作が第1実施形態の診療支援装置10における導出部56(図10参照)と異なるため、導出部56の具体的な動作について説明する。
導出部56は、取得部54により取得された医用情報(医用画像データ62、品種情報64、及び年齢情報66)と、学習用医用情報30によって予め学習された学習済みモデル38とに基づいて、被検体の石灰化の度合い、腫瘍の有無、及び判定不能部分の有無のいずれかを導出する。以下では、導出部56が導出する、被検体の石灰化の度合い、腫瘍の有無、及び判定不能部分の有無のいずれかについて、「肺に関する異常」という場合がある。
具体的には、導出部56は、取得部54によって取得された医用画像データ62を、取得部54により取得された品種情報64が表す犬種及び年齢情報66が表す年齢の組み合わせに応じた学習済みモデル38に入力する。学習済みモデル38は、入力された医用情報に応じて、被検体の肺に関する情報を出力する。
学習済みモデル38が被検体の肺に関する情報として、石灰化の度合いを表す情報を出力した場合、導出部56は、第1実施形態と同様に、被検体の肺が正常であるか否かを判定する。導出部56は、被検体の肺が正常であると判定した場合、導出した石灰化の度合いに代えて、被検体の肺が正常である旨の導出結果を出力部57に出力する。また、導出部56は、被検体の肺が正常ではないと判定した場合、導出した石灰化の度合いを表す情報を出力部57に出力する。
また、学習済みモデル38が被検体の肺に関する情報として、腫瘍があることを表す情報を出力した場合、導出部56は、腫瘍があるとした導出結果を出力部57に出力する。また、学習済みモデル38が被検体の肺に関する情報として、判定不能部分があることを表す情報を出力した場合、導出部56は、判定不能部分があるとした導出結果を出力部57に出力する。
また、図17に示すように本実施形態の診療支援装置10は、出力部57が、指示出力部58をさらに含む点で、第1実施形態の診療支援装置10の出力部57(図10参照)と異なっている。
上述したように出力部57は、被検体の肺が正常であるとした導出結果が導出部56から入力された場合、正常であるとした導出結果を出力する。また、出力部57の警告情報出力部59は、石灰化の度合いが導出部56から入力された場合、石灰化の度合いが基準石灰化度合よりも大きい場合には、警告を表す警告情報及び検査項目を表す情報を出力し、石灰化の度合いが基準石灰化度合以下の場合には、石灰化があるとした導出結果を出力する。
また、本実施形態の出力部57は、腫瘍があるとした導出結果が導出部56から入力された場合、腫瘍があるとした導出結果を出力する。
また、本実施形態の出力部57の指示出力部58は、判定不能部分があるとした導出結果が導出部56から入力された場合、経過観察を指示する情報を出力する。上述したように、本実施形態における判定不能部分とは、石灰化及び腫瘍のいずれであるかの判定が不能な陰影に対応する。本陰影が、腫瘍によるものである場合、時間経過により成長し、サイズが大きくなったり、形状が変化したりする。少なくとも腫瘍は、石灰化に比べて、時間経過による成長速度が速い。そのため、判定不能部分、具体的には、医用画像33における判定不能部分とされる陰影の経過観察を行うことにより、腫瘍によるものか、石灰化によるものかの判定できる。そのため、本実施形態の指示出力部58は、経過観察を指示する情報を出力し、端末装置12の表示部(図示省略)に経過観察の指示を表示する。ユーザは、端末装置12の表示部に表示された経過観察の指示を参考に医用画像データ62が表す医用画像を読影し、被検体の肺の石灰化に基づく診療を行う。また、ユーザは、被検体である犬の飼い主であるオーナに、再来院すべき旨と、その時期を伝える。なお、指示出力部58は、経過観察を指示する情報に加えて、判定不能部分があるとした導出結果についても、端末装置12の表示部に表示させてもよい。
次に、本実施形態の診療支援装置10の運用フェーズにおける作用を説明する。図18には、本実施形態の診療支援装置10で実行される診療支援処理の一例を表すフローチャートを示す。図18に示すように、本実施形態の診療支援処理は、ステップS202に代わりステップS201及びステップS203が設けられ、また、ステップS214~S218の処理をさらに含む点が、第1実施形態の診療支援処理(図11参照)と異なっている。
ステップS201で導出部56は、上述したように、取得部54から入力された医用情報と、学習済みモデル38とに基づいて、被検体の肺に関する異常を導出する。具体的には導出部56は、入力された医用情報における品種情報64と年齢情報66との組み合わせに応じて選択された学習済みモデル38に医用画像データ62を入力させ、学習済みモデル38から出力された被検体の肺に関する情報を取得する。
例えば、図19に示すように、医療情報における品種情報64が表す犬種が「柴犬」であり、年齢情報66の表す情報が「3ヶ月」の場合、導出部56は、医用画像データ62を犬種が柴犬であり年齢が3ヶ月用の学習済みモデル38に入力させる。学習済みモデル38からは、被検体の肺に関する情報が出力される。
次のステップS203で導出部56は、取得した被検体の肺に関する情報が、石灰化の度合いを表す情報であるか否かを判定する。取得した被検体の肺に関する情報が石灰化の度合いを表す情報である場合、ステップS203の判定が肯定判定となり、上記ステップS204へ移行する。一方、取得した被検体の肺に関する情報が石灰化の度合いを表す情報ではない場合、ステップS203の判定が否定判定となり、ステップS214へ移行する。
ステップS214で導出部56は、取得した被検体の肺に関する情報が、腫瘍があることを表す情報であるか否かを判定する。取得した被検体の肺に関する情報が、腫瘍があることを表す情報である場合、ステップS214の判定が肯定判定となり、ステップS216へ移行する。
ステップS216で出力部57は、上述したように、被検体の肺に腫瘍があるとした導出結果を出力する。ステップS216の処理が終了すると、本診療支援処理が終了する。
一方、取得した被検体の肺に関する情報が、腫瘍があることを表す情報ではない場合、ステップS214の判定が否定判定となり、ステップS218へ移行する。この場合は、取得した被検体の肺に関する情報が、判定不能部分があることを表す情報である場合である。そのため、ステップS218で出力部57は、上述したように、経過観察を指示する情報を出力する。ステップS218の処理が終了すると、本診療支援処理が終了する。
このように、本実施形態の診療支援装置10によれば、被検体の肺について、石灰化の度合いの他、腫瘍があるか、または判定不能部分があるかについて導出される。従って、本実施形態の診療支援装置10によれば、被検体の肺に関する診療をより支援することができる。
なお、本実施形態に用いられる学習済みモデル38は、上述した、犬種及び年齢の組み合わせ毎の学習済みモデル38に限定されず、例えば、石灰化の度合いの導出用の学習済みモデル38、腫瘍の有無の導出用の学習済みモデル38、及び判定不能部分の有無の導出用の学習済みモデル38を備える形態であってもよい。
また、医用画像に、石灰化の陰影、腫瘍の陰影、及び判定不能部分の陰影のうちの2つ以上が混在する場合については、各々の陰影に対応するラベル(石灰化ラベル72、腫瘍ラベル74、または判定不能ラベル76)を付与した医用画像の医用画像データ32を用いて学習済みモデル38を学習させればよい。
[第3実施形態]
以下、第3実施形態について詳細に説明する。
被検体の肺の石灰化に影響を与える要因として、被検体の体型が挙げられる。そこで、本実施形態では、診療支援装置10により、被検体の体型を含む医用情報を用いて被検体の肺の石灰化に基づく診療を支援する形態について説明する。
本実施形態の診療支援システム1の構成は、第1実施形態の診療支援システム1の構成(図1参照)と同様であるため、説明を省略する。
一方、本実施形態の診療支援装置10では、診療に用いる被検体の医用情報の内容が第1実施形態と異なり、また、学習済みモデル38の学習に用いる学習用医用情報30の内容が第1実施形態と異なる。そのため、本実施形態の診療支援装置10の構成は、記憶部22に記憶される学習用医用情報30に含まれる情報が、第1実施形態の記憶部22に記憶される学習用医用情報30に含まれる情報(図2及び図3参照)と異なる。図20及び図21には、本実施形態の学習用医用情報30の一例を示す。図20及び図21に示すように、本実施形態の学習用医用情報30は、第1実施形態の学習用医用情報30に含まれていた品種情報34(図2及び図3参照)に代わり、体型情報37を含んでいる。
体型情報37とは、被検体の体型を表す情報である。具体的には、被検体の体の大きさを表す情報であり、一例として本実施形態では、被検体の体の大きさを2段階に表す情報であり、具体的には小型及び大型のいずれであるかを表す情報である。なお、本実施形態に限定されず、体型情報37が、体の大きさを、小型、中型、及び大型等、3段階以上に表す情報であってもよい。
なお、体型情報37を得る方法は特に限定されない。例えば、医用画像データ32が表す医用画像を読影したユーザが、端末装置12の操作部(図示省略)から体型を入力する形態としてもよい。また例えば、犬種と体型との対応関係を表すテーブルを予め用意しておき、電子カルテ等から被検体の犬種を取得し、予め用意されたテーブルから、取得した犬種に対応する体型を取得する形態としてもよい。また例えば、診察台上の被検体をカメラ等により撮影して得られた撮影画像に基づき、診察台と被検体との大きさを比較した比較結果から、被検体の体型を自動的に取得する形態としてもよい。
図22に示すように、上記本実施形態の学習用医用情報30を用いた機械学習により本実施形態の学習済みモデル38が生成される。例えば、図22に示すように、体型情報37が表す体型が「小型」の場合、年齢情報36が表す年齢が「1ヶ月」の医用画像データ32A及び32Bからは、体型が小型で年齢が1ヶ月用の学習済みモデル3813が生成される。また、年齢情報36が表す年齢が「2ヶ月」の医用画像データ32A及び32Bからは、体型が小型で年齢が2ヶ月用の学習済みモデル3814が生成される。また、年齢情報36が表す年齢が「3ヶ月」の医用画像データ32A及び32Bからは、体型が小型で年齢が3ヶ月用の学習済みモデル3815が生成される。
また例えば、図22に示すように、体型情報37が表す体型が「大型」の場合、年齢情報36が表す年齢が「1ヶ月」の医用画像データ32A及び32Bからは、体型が大型で年齢が1ヶ月用の学習済みモデル3816が生成される。また、年齢情報36が表す年齢が「2ヶ月」の医用画像データ32A及び32Bからは、体型が大型で年齢が2ヶ月用の学習済みモデル3817が生成される。また、年齢情報36が表す年齢が「3ヶ月」の医用画像データ32A及び32Bからは、体型が大型で年齢が3ヶ月用の学習済みモデル3818が生成される。上述したように学習済みモデル38の例としては、ニューラルネットワークモデルが挙げられる。
なお、図22では、6つの学習済みモデル3813~3818について示しているが、生成される学習済みモデル38の数は6つに限定されるものではない。なお、学習済みモデル3813~3818について各々を区別せずに総称する場合、個々を区別する「13」~「18」の符号を省略して「学習済みモデル38」という。
また、本実施形態の記憶部22には、第1実施形態の対応関係情報41(図2及び図6参照)に代わり、図23に一例を示す、対応関係情報41が記憶される点が異なっている。対応関係情報41は、体型と、年齢と、肺の石灰化の度合いとの対応関係を表す情報である。図23に示した体型Aは、大型及び小型の一方であり、体型Bは、大型及び小型の他方である。図23に示す対応関係情報41では、石灰化し易い体型A、及び石灰化し難い体型B各々についての、年齢と肺の石灰化の度合いとの対応関係が示されている。なお、本実施形態についても、対応関係情報41が表す、体型毎の年齢に応じた肺の石灰化の度合いを「基準石灰化度合」という。すなわち、基準石灰化度合とは、その体型における年齢相応の石灰化の度合いのことをいう。
次に、本実施形態の診療支援装置10の学習フェーズにおける機能的な構成について説明する。本実施形態の診療支援装置10の学習フェーズにおける全体的な構成は、第1実施形態の診療支援装置10(図7参照)と同様である。一方、本実施形態の診療支援装置10における学習部52は、学習用医用情報30に基づいて学習済みモデル38を生成する具体的な動作が異なるため、学習部52の具体的な動作について説明する。
本実施形態の学習部52は、体型情報37が表す被検体の体型と年齢情報36が表す被検体の年齢との組み合わせ毎に、医用画像データ32を入力とし、医用画像データ32が表す医用画像33における石灰化の度合いを表す情報を出力とした、体型及び年齢の組み合わせに応じた複数の学習済みモデル38を機械学習によって生成する。
より具体的には、学習部52は、体型情報37が表す体型として「小型」、及び年齢情報36が表す年齢として「1ヶ月」が付加された医用画像データ32が入力された場合は、石灰化の度合いを表す情報が出力されるようにモデルを学習させる。本学習により、体型が小型で年齢が1ヶ月用の学習済みモデル3813が生成される。
同様に、学習部52は、体型情報37が表す体型として「小型」、及び年齢情報36が表す年齢として「2ヶ月」が付加された医用画像データ32が入力された場合は、石灰化の度合いを表す情報が出力されるようにモデルを学習させる。本学習により、体型が小型で年齢が2ヶ月用の学習済みモデル3814が生成される。
同様に、学習部52は、体型情報37が表す体型として「大型」、及び年齢情報36が表す年齢として「1ヶ月」が付加された医用画像データ32が入力された場合は、石灰化の度合いを表す情報が出力されるようにモデルを学習させる。本学習により、体型が大型で年齢が1ヶ月用の学習済みモデル3816が生成される。
以上の学習部52による学習のアルゴリズムとしては、上述したように例えば、誤差逆伝播法を適用することができる。以上の学習部52による学習によって、一例として図24に示すように、体型及び年齢の組み合わせ毎に、医用画像データ62、体型情報67、及び年齢情報66を入力とし、入力の医用画像データ62が表す医用画像に写る被検体の肺の石灰化について、石灰化の度合いを表す情報を出力とする学習済みモデル38が生成される。そして、学習部52は、生成した学習済みモデル38を記憶部22に記憶する。
本実施形態の診療支援装置10の学習フェーズにおける作用、すなわち、診療支援装置10が実行する学習処理は、第1実施形態の診療支援装置10において実行される学習処理(図8参照)と同様であるため、説明を省略する。
次に、図25を参照して、本実施形態の診療支援装置10の運用フェーズにおける機能的な構成を説明する。本実施形態の診療支援装置10は、取得部54及び導出部56の具体的な動作が第1実施形態の診療支援装置10(図10参照)と異なるため、取得部54及び導出部56の具体的な動作について説明する。
取得部54は、被検体が撮影された医用画像を表す医用画像データ62と、その被検体の体型を表す体型情報67と、その被検体の年齢を表す年齢情報66とを医用情報として取得する。体型情報67及び年齢情報66の各々は、医用画像データ62に付加されていてもよいし、ユーザにより端末装置12の操作部(図示省略)を介して入力されてもよい。
導出部56は、取得部54により取得された医用情報(医用画像データ62、体型情報67、及び年齢情報66)と、学習用医用情報30によって予め学習された学習済みモデル38とに基づいて、被検体の石灰化の度合いを導出する。具体的には、導出部56は、取得部54によって取得された医用画像データ62を、取得部54により取得された体型情報67が表す体型及び年齢情報66が表す年齢の組み合わせに応じた学習済みモデル38に入力する。学習済みモデル38は、入力された医用情報に応じて、被検体の石灰化の度合いを表す情報を出力する。
次に、本実施形態の診療支援装置10の運用フェーズにおける作用を説明する。なお、診療支援処理の全体的な流れは第1実施形態の図11に示した診療支援処理と同様であるため、図11を参照して説明する。
ステップS200で取得部54は、被検体である犬の医用情報を取得し、導出部56に出力する。具体的には、取得部54は、ユーザによる診療対象である被検体の犬を医用画像撮影装置によって撮影して得られた医用画像を表す医用画像データ62と、その被検体の体型を表す体型情報67と、その被検体の年齢を表す年齢情報66とを取得する。
次のステップS202で導出部56は、上述したように、取得部54から入力された医用情報と、学習済みモデル38とに基づいて、被検体の石灰化の度合いを導出する。具体的には、導出部56は、入力された医用情報における体型情報67と年齢情報66との組み合わせに応じて選択した学習済みモデル38に医用画像データ62を入力させ、学習済みモデル38から出力された被検体の石灰化の度合いを表す情報を取得する。
例えば、図26に示すように、医療情報における体型情報67の表す体型が「小型」であり、年齢情報66の表す情報が「3ヶ月」の場合、導出部56は、医用画像データ62を体型が小型であり年齢が3ヶ月用の学習済みモデル3815に入力させる。学習済みモデル3815からは、被検体の石灰化の度合いを表す情報が出力される。
次のステップS204で導出部56は、上述したように被検体の肺が正常であるか否かを判定する。被検体の肺が正常である場合、ステップS204の判定が肯定判定となり、次のステップS206で出力部57は、上述したように、被検体の肺が正常であるとした導出結果を出力した後、本診療支援処理を終了する。
一方、被検体の肺が正常ではない場合、ステップS204の判定が否定判定となり、次のステップS208で警告情報出力部59は、上述したように対応関係情報41を参照し、被検体の石灰化の度合いが、基準石灰化度合よりも大きい(基準石灰化度合<被検体の石灰化度合)か否かを判定する。
被検体の石灰化の度合いが基準石灰化度合よりも大きい場合、ステップS208の判定が肯定判定となり、次のステップS210で警告情報出力部59が、上述したように警告情報及び検査項目を表す情報を出力した後、本診療支援処理が終了する。一方、被検体の石灰化の度合いが基準石灰化度合以下の場合、ステップS210の判定が否定判定となり、次のステップS212で警告情報出力部59が、上述したように石灰化が有るとした導出結果を出力した後、本診療支援処理が終了する。
[変形例]
上記では、体型情報37が表す体型が、小型犬及び大型犬である場合について説明したが、「体型」とは、本形態に限定されない。本変形例では、「体型」の一例として、犬の頭種を体型として用いる形態について説明する。
犬において「頭種」とは、鼻の長さと、頭蓋骨の長さとに応じて定まる種類である。本変形例では、「頭種」の一例として、短頭種、中頭種、または長頭種である形態について説明する。図27に示すように、本実施形態の短頭種とは、鼻の長さL1が頭蓋骨の長さL2よりも短い犬のことを意味する。また、長頭種とは、鼻の長さL1が頭蓋骨の長さL2よりも長い犬のことを意味する。また、中頭種とは、鼻の長さL1と頭蓋骨の長さL2とが同じである犬のことを意味する。なお、鼻の長さL1と頭蓋骨の長さL2とが完全に同じでなくても、鼻の長さL1と頭蓋骨の長さL2との差が、許容誤差の範囲内の場合は中頭種としてもよい。なお、「頭種」は、本変形例に限定されず、例えば、短頭種または長頭種の2種類でもよいし、4種類以上でもよい。
図28に示すように、本変形例の学習用医用情報30における、上記形態の学習用医用情報30に含まれている体型情報37は、体型として頭種を表す情報であり、具体的には、短頭種、中頭種、及び長頭種のいずれであるかを表す情報である。
図29に示すように、上記本実施形態の学習用医用情報30を用いた機械学習により本実施形態の学習済みモデル38が生成される。例えば、図29に示すように、体型情報37が表す体型が「短頭種」の場合、年齢情報36が表す年齢が「1ヶ月」の医用画像データ32A及び32Bからは、体型が短頭種で年齢が1ヶ月用の学習済みモデル3819が生成される。また、年齢情報36が表す年齢が「2ヶ月」の医用画像データ32A及び32Bからは、体型が短頭種で年齢が2ヶ月用の学習済みモデル3820が生成される。また、年齢情報36が表す年齢が「3ヶ月」の医用画像データ32A及び32Bからは、体型が短頭種で年齢が3ヶ月用の学習済みモデル3821が生成される。
また例えば、図29に示すように、体型情報37が表す体型が「中頭種」の場合、年齢情報36が表す年齢が「1ヶ月」の医用画像データ32A及び32Bからは、体型が中頭種で年齢が1ヶ月用の学習済みモデル3822が生成される。また、年齢情報36が表す年齢が「2ヶ月」の医用画像データ32A及び32Bからは、体型が中頭種で年齢が2ヶ月用の学習済みモデル3823が生成される。また、年齢情報36が表す年齢が「3ヶ月」の医用画像データ32A及び32Bからは、体型が中頭種で年齢が3ヶ月用の学習済みモデル3824が生成される。
また例えば、図29に示すように、体型情報37が表す体型が「長頭種」の場合、年齢情報36が表す年齢が「1ヶ月」の医用画像データ32A及び32Bからは、体型が長頭種で年齢が1ヶ月用の学習済みモデル3825が生成される。また、年齢情報36が表す年齢が「2ヶ月」の医用画像データ32A及び32Bからは、体型が長頭種で年齢が2ヶ月用の学習済みモデル3826が生成される。また、年齢情報36が表す年齢が「3ヶ月」の医用画像データ32A及び32Bからは、体型が長頭種で年齢が3ヶ月用の学習済みモデル3827が生成される。
なお、図29では、9つの学習済みモデル3819~3827について示しているが、生成される学習済みモデル38の数は9つに限定されるものではない。なお、学習済みモデル3819~3827について各々を区別せずに総称する場合、個々を区別する「19」~「27」の符号を省略して「学習済みモデル38」という。
なお、本変形例の診療支援装置10の記憶部22に記憶される対応関係情報41は、上述した対応関係情報41と同様に、体型と、年齢と、肺の石灰化の度合いとの対応関係を表す情報である。具体的には、対応関係情報41は、短頭種、中頭種、及び長頭種の各々における、年齢に応じた肺の石灰化の度合いが示された情報である。
また、本変形例の診療支援装置10における学習部52の、学習用医用情報30に基づいて学習済みモデル38を生成する具体的な動作は、以下のようになる。
学習部52は、体型情報37が表す体型として「短頭種」、及び年齢情報36が表す年齢として「1ヶ月」が付加された医用画像データ32が入力された場合は、石灰化の度合いを表す情報が出力されるようにモデルを学習させる。本学習により、体型が短頭種で年齢が1ヶ月用の学習済みモデル3819が生成される。
同様に、学習部52は、体型情報37が表す体型として「短頭種」、及び年齢情報36が表す年齢として「2ヶ月」が付加された医用画像データ32が入力された場合は、石灰化の度合いを表す情報が出力されるようにモデルを学習させる。本学習により、体型が短頭種で年齢が2ヶ月用の学習済みモデル3820が生成される。
同様に、学習部52は、体型情報37が表す体型として「中頭種」、及び年齢情報36が表す年齢として「1ヶ月」が付加された医用画像データ32が入力された場合は、石灰化の度合いを表す情報が出力されるようにモデルを学習させる。本学習により、体型が中頭種で年齢が1ヶ月用の学習済みモデル3822が生成される。
また同様に、学習部52は、体型情報37が表す体型として「長頭種」、及び年齢情報36が表す年齢として「1ヶ月」が付加された医用画像データ32が入力された場合は、石灰化の度合いを表す情報が出力されるようにモデルを学習させる。本学習により、体型が長頭種で年齢が1ヶ月用の学習済みモデル3825が生成される。
以上の学習部52による学習によって、一例として図30に示すように、体型及び年齢の組み合わせ毎に、医用画像データ62、体型情報67、及び年齢情報66を入力とし、入力の医用画像データ62が表す医用画像に写る被検体の肺の石灰化について、石灰化の度合いを表す情報を出力とする学習済みモデル38が生成される。そして、学習部52は、生成した学習済みモデル38を記憶部22に記憶する。
本変形例における診療支援装置10の運用フェーズにおける機能的な構成は上記形態と同様である。また、診療支援装置10の運用フェーズにおける作用も、導出部56が、被検体の石灰化の度合いを導出する場合に、入力された医用情報における体型情報67と年齢情報66との組み合わせに応じて選択する学習済みモデル38が異なる他は上記形態と同様である。具体的には、例えば、図31に示すように、医療情報における体型情報67の表す体型が「短頭種」であり、年齢情報66の表す情報が「3ヶ月」の場合、導出部56は、医用画像データ62を体型が短頭種であり年齢が3ヶ月用の学習済みモデル3821に入力させる。学習済みモデル3821からは、被検体の石灰化の度合いを表す情報が出力される。
このように、本実施形態の診療支援装置10によれば、医用画像データ62、体型情報67、及び年齢情報66を含む医用情報と、学習済みモデル38とに基づいて、被検体の石灰化の度合いが導出される。被検体の肺の石灰化の度合いに影響を与える要因として、被検体の体型が挙げられる。
本実施形態の診療支援装置10によれば、肺の石灰化に影響を与える要因である被検体の体型を考慮して学習された学習済みモデル38を用いて被検体の石灰化の度合いを導出するため、被検体の肺の石灰化に基づく診療を効果的に支援することができる。
また、本実施形態の診療支援装置10によれば、被検体がいわゆるミックス犬等の雑種である場合や、犬種が不明な場合等でも、被検体の体型を考慮して被検体の肺の石灰化の度合いを導出することができるため、より診療を交換的に支援することができる。
[第4実施形態]
以下、第4実施形態について詳細に説明する。
本実施形態の診療支援システム1の構成は、第1実施形態の診療支援システム1の構成(図1参照)と同様であるため、説明を省略する。また、本実施形態の診療支援装置10の構成は、第1実施形態の診療支援装置10の構成(図2参照)と同様であるため、説明を省略する。また、本実施形態における学習済みモデル38、及び学習フェーズの機能的な構成及び作用についても第1実施形態の学習済みモデル38(図5参照)、及び学習フェーズの機能的な構成及び作用(図7~図9参照)と同様であるため、説明を省略する。
一方、図32に示すように、本実施形態の診療支援装置10は、運用フェーズにおける機能的な構成において、取得部54、導出部56、及び警告情報出力部59の具体的な動作が第1実施形態の診療支援装置10(図10参照)と異なるため、取得部54、導出部56、及び警告情報出力部59の具体的な動作について説明する。
取得部54は、被検体の年齢が異なる時期に撮影された2組の医用情報を取得する。具体的には、取得部54は、被検体が撮影された医用画像を表す医用画像データ62と、その被検体の犬種を表す品種情報64と、医用画像データ62が表す医用画像を撮影したときの被検体の年齢を表す年齢情報66とを医用情報として取得する。また、取得部54は、医用画像データ62が表す医用画像を撮影した時期と異なる時期に被検体が撮影された医用画像を表す医用画像データ62と、その被検体の犬種を表す品種情報64と、医用画像データ62が表す医用画像を撮影したときの被検体の年齢を表す年齢情報66とを医用情報として取得する。なお、品種情報64及び品種情報64は、共通であるため、いずれか一方のみを取得する形態としてもよい。
導出部56は、取得部54により取得された2組の医用情報の各々毎に、学習用医用情報30によって予め学習された学習済みモデル38に基づいて、被検体の石灰化の度合いを導出する。具体的には、導出部56は、取得部54によって取得された医用画像データ62を、取得部54により取得された品種情報64が表す犬種及び年齢情報66が表す年齢の組み合わせに応じた学習済みモデル38に入力する。また、導出部56は、取得部54によって取得された医用画像データ62を、取得部54により取得された品種情報64が表す犬種及び年齢情報66が表す年齢の組み合わせに応じた学習済みモデル38に入力する。各々の学習済みモデル38は、入力された医用情報に応じて、被検体の石灰化の度合いを表す情報を出力する。
警告情報出力部59は、被検体の石灰化の度合いの変化率が基準石灰化変化率よりも大きい場合、警告を表す警告情報、及び検査項目を表す情報を出力する。
次に、本実施形態の診療支援装置10の運用フェーズにおける作用を説明する。図33には、本実施形態の診療支援装置10で実行される診療支援処理の一例を表すフローチャートを示す。図33に示すように、本実施形態の診療支援処理は、ステップS200及びS202に代わりステップS200A及びステップS202Aが設けられ、また、ステップS208とステップS212との間にステップS211A~S211Cの処理をさらに含む点が、第1実施形態の診療支援処理(図11参照)と異なっている。
図33に示すステップS200Aで取得部54は、上述したように、被検体である犬の2組の医用情報を取得し、導出部56に出力する。具体的には、取得部54は、被検体の医用画像を表す医用画像データ62、その被検体の品種を表す品種情報64、及びその被検体の年齢を表す年齢情報66と、被検体の医用画像を表す医用画像データ62、その被検体の品種を表す品種情報64、及びその被検体の年齢を表す年齢情報66と、を取得し、導出部56に出力する。
次のステップS202Aで導出部56は、上述したように、取得部54から入力された2組の医用情報各々について、学習済みモデル38に基づいて、被検体の肺の石灰化の度合いを導出する。具体的には、導出部56は、入力された医用情報における品種情報64と年齢情報66との組み合わせに応じて選択した学習済みモデル38に医用画像データ62を入力させ、学習済みモデル38から出力された肺の石灰化の度合いを表す情報を取得する。また、導出部56は、入力された医用情報における品種情報64と年齢情報66との組み合わせに応じて選択した学習済みモデル38に医用画像データ62を入力させ、学習済みモデル38から出力された肺の石灰化の度合いを表す情報を取得する。このようにステップS202Aの処理により、被検体の年齢が異なる時期における被検体の肺の石灰化の度合いが導出される。
また、S208で警告情報出力部59が、被検体の石灰化の度合いが基準石灰化度合以下と判定した場合、ステップS211Aに移行する。ステップS211Aで警告情報出力部59は、対応関係情報40に基づいて、基準石灰化変化率を導出する。具体的には、S200Aで取得した2組の医用情報の各々における年齢情報36が表す年齢毎の基準石灰化度合を対応関係情報40から取得する。また、取得した2つの基準石灰化度合における石灰化の度合いの変化率を、基準石灰化変化率として導出する。すなわち、警告情報出力部59は、2組の医用情報の各々に含まれる年齢情報36、36によって表される年齢相応の、加齢による石灰化の変化率を導出する。
次のステップS211Bで警告情報出力部59は、上記ステップS202Aで導出した2つの石灰化の度合いに基づいて、被検体の石灰化の度合いの変化率を、被検体石灰化変化率として導出する。すなわち、警告情報出力部59は、2組の医用情報の各々に含まれる年齢情報36、36によって表される2つの年齢間における、実際の石灰化の度合いの変化率を導出する。
次のステップS211Cで警告情報出力部59は、上述したように、被検体石灰化変化率が基準石灰化変化率よりも大きい(基準石灰化変化率<被検体石灰化変化率)か否かを判定する。被検体石灰化変化率が基準石灰化変化率よりも大きい場合、ステップS211Cの判定が肯定判定となり、ステップS210へ移行する。一方、被検体石灰化変化率が基準石灰化変化率以下の場合、ステップS211Cの判定が否定判定となり、ステップS212へ移行する。
このように、本実施形態の診療支援装置10によれば、2組の医用情報に基づいて、被検体石灰化変化率が導出され、被検体石灰化変化率が基準石灰化変化率よりも大きい場合、警告情報及び検査項目が出力される。被検体の石灰化の度合いが、基準石灰化度合以下の場合であっても、被検体石灰化変化率が基準石灰化変化率よりも大きい場合、加齢による変化異常の変化が生じており、石灰化の進行率が基準よりも速いことになる。
本実施形態の診療支援装置10によれば、石灰化の進行率が基準よりも速い場合、警告情報を出力するため、被検体の肺の石灰化に基づく診療をより効果的に支援することができる。
以上説明したように、上記各実施形態の診療支援装置10は、取得部54と、導出部56と、を備える。取得部54は、被検体の肺を撮影した医用画像を表す医用画像データ62、被検体の品種を表す品種情報64、及び医用画像を撮影したときの被検体の年齢を表す年齢情報66を含む医用情報を取得する。導出部56は、取得部54により取得された医用情報と、肺の石灰化部分に石灰化ラベル72を付与した医用画像33Aの医用画像データ32A、品種情報34、及び年齢情報36を含む学習用医用情報30を複数用いて予め学習された学習済みモデル38とに基づいて、被検体の肺の石灰化の度合いを導出する。
上記各実施形態の診療支援装置10によれば、医用画像データ62、品種情報64、及び年齢情報66を含む医用情報と、学習済みモデル38とに基づいて、被検体の肺の石灰化の度合いが導出される。従って、本実施形態の診療支援装置10によれば、被検体の肺の石灰化に基づく診療を効果的に支援することができる。
なお、学習済みモデル38を生成するために用いられる学習用医用情報30が含む各種情報は、上記各実施形態に限定されない。例えば、上記各実施形態における学習用医用情報30を組み合わせてもよい。また例えば、学習用医用情報30は、右の上葉、中葉、下葉、及び左の上葉、下葉等、肺の部位を表す情報を含んでいてもよい。
また、警告情報出力部59が、上述した肺の部位毎に、石灰化の変化の度合いや、変化率を導出し、基準石灰化度合や基準石灰化変化率と比較する形態としてもよく、肺の部位毎に、比較結果を出力することが好ましい。この場合、肺の局所的な石灰化の進行状態をユーザに提示することができるため、より、被検体の肺の石灰化に基づく診療をより効果的に支援することができる。
また、上記各実施形態では、被検体として犬を適用した形態について説明したが、被検体はこれに限定されない。例えば、被検体として、人間を適用してもよいし、猫等の犬以外の動物を適用する形態であってもよい。
また、上記各実施形態における診療支援装置10の各機能部等の各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)を用いることができる。
また、上記実施形態では、学習プログラム23A及び診療支援プログラム23Bが記憶部22に予め記憶(インストール)されている態様を説明したが、これに限定されない。学習プログラム23A及び診療支援プログラム23Bの各々は、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、学習プログラム23A及び診療支援プログラム23Bの各々は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
上記の実施形態に関し、さらに以下の付記を開示する。
(付記1)
被検体の肺を撮影し、かつ肺の石灰化部分にラベルを付与した医用画像を表す医用画像データ、前記被検体の品種を表す品種情報、及び前記医用画像を撮影したときの前記被検体の年齢を表す年齢情報を含む学習用医用情報を取得する取得部と
前記学習用医用情報を学習用のデータとして学習させることによって、被検体の肺を撮影した医用画像を表す医用画像データ、及び前記年齢情報に基づいて前記被検体の肺の石灰化の度合いを表す情報を出力する学習済みモデルを生成する学習部と
を備えた診療装置。
1 診療支援システム
10 診療支援装置
12 端末装置
20 CPU
21 メモリ
22 記憶部
23A 学習プログラム、23B 診療支援プログラム
24 表示部
26 入力部
28 ネットワークI/F
29 バス
30 学習用医用情報
32、32A~32D、62、62、62 医用画像データ
33、33A~33D 医用画像
34、64、64、64 品種情報
36、66、66、66 年齢情報
37、67 体型情報
38、38~3827 学習済みモデル
39、69 行動情報
40、41 対応関係情報
42 検査項目情報
50、54 取得部
52 学習部
56 導出部
57 出力部
58 指示出力部
59 警告情報出力部
70 肺ラベル
72 石灰化ラベル
74 腫瘍ラベル
76 判定不能ラベル
L1 鼻の長さ
L2 頭蓋骨の長さ
N ネットワーク

Claims (12)

  1. 被検体の肺を撮影した医用画像を表す医用画像データ、前記被検体の品種を表す品種情報、及び前記医用画像を撮影したときの前記被検体の年齢を表す年齢情報を含む医用情報を取得する取得部と、
    前記取得部により取得された前記医用情報と、肺の石灰化部分にラベルを付与した医用画像を表す医用画像データ、前記品種情報、及び前記年齢情報を含む学習用医用情報を複数用いて予め学習された学習済みモデルとに基づいて、前記被検体の肺の石灰化の度合いを導出する導出部と、
    を備えた診療支援装置。
  2. 品種と年齢と肺の石灰化の度合いとの対応関係を表す対応関係情報を記憶する記憶部に記憶されている前記対応関係情報に基づいて、前記被検体の品種及び年齢に応じた肺の石灰化の度合いよりも、前記導出部が導出した前記被検体の肺の石灰化の度合いが大きい場合、警告情報を出力する警告情報出力部をさらに備えた、
    請求項1に記載の診療支援装置。
  3. 前記医用情報は、前記被検体の年齢が異なる時期に撮影された複数の前記医用画像データを含み、
    前記導出部は、前記被検体の年齢毎に導出した前記石灰化の度合いから前記石灰化の変化の度合いをさらに導出し、
    品種と年齢と肺の石灰化の度合いとの対応関係を表す対応関係情報を記憶する記憶部に記憶されている前記対応関係情報に基づいて、前記被検体の品種及び年齢に応じた肺の石灰化の変化の度合いよりも、前記導出部が導出した前記石灰化の変化の度合いが大きい場合、警告情報を出力する警告情報出力部をさらに備えた、
    請求項1に記載の診療支援装置。
  4. 前記警告情報出力部は、前記警告情報を出力する場合、前記被検体に対する予め定められた検査項目を表す検査項目情報をさらに出力する、
    請求項2または請求項3に記載の診療支援装置。
  5. 前記学習済みモデルの学習には、肺の腫瘍部分にラベルを付与した医用画像を表す医用画像データ、前記品種情報、及び前記年齢情報を含む複数の学習用医用情報がさらに用いられ、
    前記導出部は、前記取得部により取得された前記医用情報と、前記学習済みモデルとに基づいて、前記被検体の肺における腫瘍の有無をさらに導出する、
    請求項1から請求項4のいずれか1項に記載の診療支援装置。
  6. 前記学習済みモデルの学習には、肺の石灰化及び腫瘍についての判定不能部分にラベルを付与した医用画像を表す医用画像データ、前記品種情報、及び前記年齢情報を含む複数の学習用医用情報がさらに用いられ、
    前記導出部は、前記取得部により取得された前記医用情報と、前記学習済みモデルとに基づいて、前記被検体の肺における前記判定不能部分の有無をさらに導出する、
    請求項5に記載の診療支援装置。
  7. 前記導出部が、前記判定不能部分が有ることを導出した場合、経過観察の指示を出力する指示出力部をさらに備える、
    請求項6に記載の診療支援装置。
  8. 前記導出部は、前記取得部が前記被検体の品種情報に代わり、前記被検体の体型に関する種類を表す体型情報を取得した場合、前記取得部により取得された前記医用情報と、肺の石灰化部分にラベルを付与した前記医用画像データ、前記体型情報、及び前記年齢情報を含む学習用医用情報を複数用いて予め学習された学習済みモデルとに基づいて、前記被検体の肺の石灰化の度合いを導出する、
    請求項1から請求項7のいずれか1項に記載の診療支援装置。
  9. 前記体型に関する種類は、大型、中型、または小型である、
    請求項8に記載の診療支援装置。
  10. 前記被検体は、犬であり、
    前記体型に関する種類は、短頭種、中頭種、または長頭種である、
    請求項8に記載の診療支援装置。
  11. 被検体の肺を撮影した医用画像を表す医用画像データ、前記被検体の品種を表す品種情報、及び前記医用画像を撮影したときの前記被検体の年齢を表す年齢情報を含む医用情報を取得し、
    取得された前記医用情報と、肺の石灰化部分にラベルを付与した前記医用画像データ、前記品種情報、及び前記年齢情報を含む学習用医用情報を複数用いて予め学習された学習済みモデルとに基づいて、前記被検体の肺の石灰化の度合いを導出する、
    処理をコンピュータが実行する診療支援方法。
  12. 被検体の肺を撮影した医用画像を表す医用画像データ、前記被検体の品種を表す品種情報、及び前記医用画像を撮影したときの前記被検体の年齢を表す年齢情報を含む医用情報を取得し、
    取得された前記医用情報と、肺の石灰化部分にラベルを付与した前記医用画像データ、前記品種情報、及び前記年齢情報を含む学習用医用情報を複数用いて予め学習された学習済みモデルとに基づいて、前記被検体の肺の石灰化の度合いを導出する、
    処理をコンピュータに実行させるための診療支援プログラム。
JP2019182722A 2019-10-03 2019-10-03 診療支援装置、診療支援方法、及び診療支援プログラム Active JP7236974B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019182722A JP7236974B2 (ja) 2019-10-03 2019-10-03 診療支援装置、診療支援方法、及び診療支援プログラム
US17/060,091 US11494913B2 (en) 2019-10-03 2020-10-01 Medical care support device, medical care support method, and medical care support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019182722A JP7236974B2 (ja) 2019-10-03 2019-10-03 診療支援装置、診療支援方法、及び診療支援プログラム

Publications (2)

Publication Number Publication Date
JP2021058270A JP2021058270A (ja) 2021-04-15
JP7236974B2 true JP7236974B2 (ja) 2023-03-10

Family

ID=75275198

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019182722A Active JP7236974B2 (ja) 2019-10-03 2019-10-03 診療支援装置、診療支援方法、及び診療支援プログラム

Country Status (2)

Country Link
US (1) US11494913B2 (ja)
JP (1) JP7236974B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7412279B2 (ja) * 2020-06-03 2024-01-12 株式会社日立ハイテク 画像診断方法、画像診断支援装置、及び計算機システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003523176A (ja) 1999-10-15 2003-08-05 ダブリュー. ジーン ドッヅ, 動物健康診断
JP2006215967A (ja) 2005-02-07 2006-08-17 Naoki Sasaki 獣医師連携システム
JP2011524754A (ja) 2008-02-13 2011-09-08 キットウェア インク 細胞の損傷および疾患のリスクを測定する方法およびシステム
JP2013544559A (ja) 2010-10-19 2013-12-19 コーニンクレッカ フィリップス エヌ ヴェ 医用画像システム
JP2019146935A (ja) 2018-02-28 2019-09-05 富士フイルム株式会社 学習用データ作成支援装置、学習用データ作成支援方法、および学習用データ作成支援プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7263214B2 (en) 2002-05-15 2007-08-28 Ge Medical Systems Global Technology Company Llc Computer aided diagnosis from multiple energy images
CN102164543B (zh) * 2009-03-31 2013-03-20 富士胶片株式会社 图像处理装置和方法、以及程序
US8755570B2 (en) * 2011-04-27 2014-06-17 Steve Gomas Apparatus and method for estimation of livestock weight
JP6080248B2 (ja) * 2012-09-13 2017-02-15 富士フイルム株式会社 3次元画像表示装置および方法並びにプログラム
US9642586B2 (en) * 2014-08-18 2017-05-09 Siemens Aktiengesellschaft Computer-aided analysis of medical images
JP7113798B2 (ja) * 2019-09-11 2022-08-05 富士フイルム株式会社 診療支援装置、診療支援方法、及び診療支援プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003523176A (ja) 1999-10-15 2003-08-05 ダブリュー. ジーン ドッヅ, 動物健康診断
JP2006215967A (ja) 2005-02-07 2006-08-17 Naoki Sasaki 獣医師連携システム
JP2011524754A (ja) 2008-02-13 2011-09-08 キットウェア インク 細胞の損傷および疾患のリスクを測定する方法およびシステム
JP2013544559A (ja) 2010-10-19 2013-12-19 コーニンクレッカ フィリップス エヌ ヴェ 医用画像システム
JP2019146935A (ja) 2018-02-28 2019-09-05 富士フイルム株式会社 学習用データ作成支援装置、学習用データ作成支援方法、および学習用データ作成支援プログラム

Also Published As

Publication number Publication date
US20210104042A1 (en) 2021-04-08
JP2021058270A (ja) 2021-04-15
US11494913B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
US20210358126A1 (en) Trained model, learning method, learning program, medical information acquisition device, medical information acquisition method, and medical information acquisition program
US20230298759A1 (en) Information processing apparatus, information processing method, and program
JP7236974B2 (ja) 診療支援装置、診療支援方法、及び診療支援プログラム
US11769250B2 (en) Medical care support device, medical care support method, and medical care support program
JP6843785B2 (ja) 診断支援システム、診断支援方法、及びプログラム
US11334990B2 (en) Information processing apparatus, information processing method, and program
KR20230118054A (ko) 의료 영상으로부터 바이오마커 발현을 예측하는 방법및 시스템
JP7084357B2 (ja) 診断支援装置、診断支援方法、及び診断支援プログラム
US20230005601A1 (en) Document creation support apparatus, method, and program
US20220277448A1 (en) Information processing system, information processing method, and information processing program
JP7179707B2 (ja) 診療支援装置、診療支援方法、及び診療支援プログラム
JP7144370B2 (ja) 診断支援装置、診断支援方法、及び診断支援プログラム
JP6968298B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Küçükçiloğlu et al. Prediction of osteoporosis using MRI and CT scans with unimodal and multimodal deep-learning models
US20240037739A1 (en) Image processing apparatus, image processing method, and image processing program
JP7361930B2 (ja) 医用画像処理装置、方法およびプログラム
US20230197253A1 (en) Medical image processing apparatus, method, and program
US20240037738A1 (en) Image processing apparatus, image processing method, and image processing program
Jeon et al. Deep Learning-based Assessment of Facial Asymmetry Using U-Net Deep Convolutional Neural Network Algorithm

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230228

R150 Certificate of patent or registration of utility model

Ref document number: 7236974

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150