JP2024070317A - 処理装置、処理プログラム、処理方法及び処理システム - Google Patents

処理装置、処理プログラム、処理方法及び処理システム Download PDF

Info

Publication number
JP2024070317A
JP2024070317A JP2022180714A JP2022180714A JP2024070317A JP 2024070317 A JP2024070317 A JP 2024070317A JP 2022180714 A JP2022180714 A JP 2022180714A JP 2022180714 A JP2022180714 A JP 2022180714A JP 2024070317 A JP2024070317 A JP 2024070317A
Authority
JP
Japan
Prior art keywords
information
output information
output
images
measurement data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022180714A
Other languages
English (en)
Inventor
直己 岡田
Naoki Okada
周祐 井上
Shusuke Inoue
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fcuro Inc
Original Assignee
Fcuro Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fcuro Inc filed Critical Fcuro Inc
Priority to JP2022180714A priority Critical patent/JP2024070317A/ja
Publication of JP2024070317A publication Critical patent/JP2024070317A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】 ヒトの身体の測定データに基づいてより有用な医用情報を出力する。【解決手段】 少なくとも一つのプロセッサを具備する処理装置であって、前記少なくとも一つのプロセッサは、ヒトの身体の状態を測定した測定データに含まれるデータを取得し、第1の学習済み解析モデルに前記測定データに含まれるデータを入力することで出力される前記身体の状態に関する第1の出力情報を取得し、前記第1の学習済み解析モデルとは異なる第2の学習済み解析モデルに前記測定データに含まれるデータを入力することで出力される、前記第1の出力情報とは異なる前記身体の状態に関する第2の出力情報を取得し、前記第1の出力情報と前記第2の出力情報の少なくともいずれかに基づいて医用情報を出力する処理装置が提供される。【選択図】 図7B

Description

本開示は、ヒトの身体の測定データを処理するための処理装置、処理プログラム、処理方法及び処理システムに関する。
従来より、ヒトの身体の測定データを処理して取得された測定データを出力することが可能な処理システムが知られていた。特許文献1は、紫外線を照射する紫外光源と、検査室における前記紫外線の照射対象物に対する前記紫外光源の位置を相対的に移動させ、前記照射対象物に対する前記紫外線の照射を制御する照射制御部と、被検体の医用画像を撮像する撮像部とを備える、医用画像診断装置であって、撮影された医用画像や、医用画像の解析結果などを表示するディスプレイを有する医用画像診断装置が記載されている。
特開2022-014262号公報
そこで、上記のような技術を踏まえ、本開示では、様々な実施形態により、ヒトの身体の測定データに基づいてより有用な医用情報を出力することが可能な処理装置、処理プログラム、処理方法及び処理システムを提供することを目的とする。
本開示の一態様によれば、「少なくとも一つのプロセッサを具備する処理装置であって、前記少なくとも一つのプロセッサは、ヒトの身体の状態を測定した測定データに含まれるデータを取得し、第1の学習済み解析モデルに前記測定データを入力することで出力される前記身体の状態に関する第1の出力情報を取得し、前記第1の学習済み解析モデルとは異なる第2の学習済み解析モデルに前記測定データに含まれるデータを入力することで出力される、前記第1の出力情報とは異なる前記身体の状態に関する第2の出力情報を取得し、前記第1の出力情報と前記第2の出力情報の少なくともいずれかに基づいて医用情報を出力する、処理装置」が提供される。
本開示の一態様によれば、「少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサを、ヒトの身体の状態を測定した測定データに含まれるデータを取得し、第1の学習済み解析モデルに前記測定データに含まれるデータを入力することで出力される前記身体の状態に関する第1の出力情報を取得し、前記第1の学習済み解析モデルとは異なる第2の学習済み解析モデルに前記測定データに含まれるデータを入力することで出力される、前記第1の出力情報とは異なる前記身体の状態に関する第2の出力情報を取得し、前記第1の出力情報と前記第2の出力情報の少なくともいずれかに基づいて医用情報を出力するように機能させる処理プログラム」が提供される。
本開示の一態様によれば、「少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサにより実行される処理方法であって、ヒトの身体の状態を測定した測定データに含まれるデータを取得する段階と、第1の学習済み解析モデルに前記測定データに含まれるデータを入力することで出力される前記身体の状態に関する第1の出力情報を取得する段階と、前記第1の学習済み解析モデルとは異なる第2の学習済み解析モデルに前記測定データに含まれるデータを入力することで出力される、前記第1の出力情報とは異なる前記身体の状態に関する第2の出力情報を取得する段階と、前記第1の出力情報と前記第2の出力情報の少なくともいずれかに基づいて医用情報を出力する段階と、を含む処理方法」が提供される。
本開示の一態様によれば、「上記記載の処理装置と、記処理装置から出力された医用情報を表示するためのディスプレイ装置と、を含む処理システム」が提供される。
本開示によれば、ヒトの身体の測定データに基づいてより有用な医用情報を出力することが可能な処理装置、処理プログラム、処理方法及び処理システムを提供することができる。
なお、上記効果は説明の便宜のための例示的なものであるにすぎず、限定的なものではない。上記効果に加えて、又は上記効果に代えて、本開示中に記載されたいかなる効果や当業者であれば明らかな効果を奏することも可能である。
図1は、本開示の一実施形態に係る処理システム1の構成を示すブロック図である。 図2は、本開示の一実施形態に係る処理装置100の構成を示すブロック図である。 図3は、本開示の一実施形態に係る処理装置100に記憶される対象者管理テーブルを概念的に示す図である。 図4は、本開示の一実施形態に係る処理装置100において実行される処理フローを示す図である。 図5は、本開示の一実施形態に係る第1のモデル生成装置300-1において実行される処理フローを示す図である。 図6は、本開示の一実施形態に係る第2のモデル生成装置300-2において実行される処理フローを示す図である。 図7Aは、本開示の一実施形態に係る測定データの一例を概念的に示す図である。 図7Bは、本開示の一実施形態に係る測定データが処理されることによって医用情報が生成される過程の一例を概念的に示す図である。 図8は、本開示の一実施形態に係る処理装置100において出力される医用情報の一例を示す図である。 図9は、本開示の一実施形態に係る処理装置100において出力される医用情報の一例を示す図である。 図10は、本開示の一実施形態に係る処理装置100において出力される医用情報の一例を示す図である。 図11は、本開示の一実施形態に係る処理装置100において出力される医用情報の一例を示す図である。
1.処理システム1の概要
本開示に係る処理システム1は、測定装置によって取得された測定データを測定装置から取得し、取得した測定データから医用情報を出力するために用いられる。特に、処理システム1は、ヒトを対象者として複数の部位(例えば、全身)にわたって取得された測定データを処理するために用いられる。このような測定データは、典型的には、ヒトの身体の状態を測定したものであって、ヒトの身体の内部を撮影したCT画像(コンピュータ断層撮影画像)が用いられる。このようなCT画像は、処理装置100によって処理されることによって医用情報としてディスプレイ等に出力される。これによって、処理システム1は、対象者の疾患や症状の診断又はその診断の補助をすることが可能となる。
図1は、本開示の一実施形態に係る処理システム1の構成を示すブロック図である。図1によれば、処理システム1は、測定装置400によって取得された測定データを処理して医用情報を出力するための処理装置100と、医用情報を表示するためのディスプレイ装置200とを少なくとも含む。また、当該処理システム1は、測定データを取得するための測定装置400や、処理装置100によって医用情報を出力するときに用いられる第1の学習済み解析モデル及び第2の学習済み解析モデルを生成するための第1のモデル生成装置300-1及び第2のモデル生成装置300-2を含んでもよい。処理装置100、ディスプレイ装置200、第1のモデル生成装置300-1、第2のモデル生成装置300-2及び測定装置400は、無線ネットワーク及び有線ネットワークの少なくともいずれかによって互いに通信可能に接続される。
なお、本開示において、「測定装置400」は、測定データを取得するために用いられる装置であればいずれでもよく、特定のものに限定されるわけではない。このような測定装置の典型としてはCT装置が挙げられるが、ほかにはMRI装置、レントゲン装置、心電計装置、超音波診断装置、内視鏡装置、血圧計装置又はこれらの組み合わせなどが挙げられる。このような測定装置400は、医療機関で用いられる場合に限らず、対象者の自宅や学校、職場など、その使用場所はいずれでもよい。なお、CT装置は、救急搬送されてきた対象者に対して少なくとも複数の部位に跨がって断層画像データを取得するために用いられ、疾患部位の特定やその重症度の判定をするために有益な情報を提供することが可能である。そのため、測定データを解析して医用情報を生成可能な本開示の処理システム1においては、測定装置400としてCT装置が特に好ましい。以下の例では、主にCT装置を測定装置として用いる場合について説明するが、当然これのみに限定されるわけではない。
また、本開示において、「測定データ」は、測定装置400によって測定されたデータであればいずれでもよく、特定のものに限定されるわけではない。このような測定データの典型としてはCT画像が挙げられるが、ほかにはMRI画像、三次元計測データ、レントゲン画像データ、心電データ、エコー検査データ、内視鏡画像データ、血圧測定データ、採血データ、呼吸機能データ、その他の検査データ又はこれらの組み合わせなどが挙げられる。CT画像は、対象者の所定の範囲(例えば、複数の部位や全身)にまたがって、対象者の複数の断層面の状態を評価するために用いられる。したがって、特定の断層面の状態だけではなく、空間的に連続する複数の断層面の状態を評価することが可能である。そのため、医用情報を得るための測定データとしては、CT画像が特に好ましい。
なお、測定データとして用いることができるのは、上記のとおり「空間的に連続して測定された測定データ」である必要は必ずしもない。例えば、血圧測定データからは、ある時点の血圧測定データと、ある一定の期間にわたって時間的に連続して測定された血圧測定データとをそれぞれ取得することが可能である。このように、「時間的に連続して測定された測定データ」であっても、好適に本開示の測定データとして利用することが可能である。また、測定データは第1の学習済み解析モデル及び第2の学習済み解析モデルに入力されるが、これらに入力されるデータは、測定データの全てである必要はなく、そのうちの少なくとも一部であればよい。また、測定データのうち第1の学習済み解析モデル及び第2の学習済み解析モデルに入力されるデータは、それぞれ別々のデータであってもよいし、同一のデータであってもよい。以下の例では、主にCT画像を測定データとして用いる場合について説明するが、当然これのみに限定されるわけではない。
また、本開示において、「対象者」は、測定データの測定の対象となる者であればいずれでもよく、特定の属性を有する者のみに限定されるわけではない。したがって、このような対象者としては、患者、被検者、診断対象者、健常者など、あらゆるヒトを含みうる。加えて、本開示において、「操作者」は、少なくとも処理装置100を操作するか、処理装置100によって出力された医用情報を参照する者であればいずれでもよく、特定の属性を有する者のみに限定されるわけではない。したがって、このような操作者としては、医師、看護師、検査技師などの医療従事者に限らず、対象者自身などあらゆるヒトを含みうる。
また、本開示において、所定の疾患や症状に対して、「判定」や「診断」等の用語を用いるが、これらは医師による確定的な判定や診断を必ずしも意味するものではない。例えば、これらの用語は、本開示の処理システム1を対象者自らが使用したり、医師以外の操作者が使用したりして、処理システム1に含まれる処理装置100によって判定又は診断されることも当然に含む。また、これらの用語は、医師等が確定的な判定や診断をするためにその補助をすることも含む。
また、本開示において、「第1の入力情報」や「第2の入力情報」等の記載があるが、これらは入力情報を互いに識別するためにつけた呼称であるに過ぎず、特定の個数及び順番に限定することを意味するものではない。また、特に具体的に言及する場合を除いて、「第1」や「第2」が付された各呼称は、それぞれ異なる意味を有する場合のみならず同じ意味を有する場合であってもよい。
2.処理装置100の構成
図2は、本開示の一実施形態に係る処理装置100の構成を示すブロック図である。図2によると、処理装置100は、プロセッサ111、メモリ112、入力インターフェイス113、出力インターフェイス114及び通信インターフェイス115を含む。これらの各構成要素は、互いに、制御ライン及びデータラインを介して互いに電気的に接続される。なお、処理装置100は、図2に示す構成要素のすべてを備える必要はなく、一部を省略して構成することも可能であるし、他の構成要素を加えることも可能である。例えば、処理装置100は、各構成要素を駆動するためのバッテリ等を含むことが可能である。
このような処理装置100としては、ラップトップパソコン、デスクトップパソコン、スマートフォン、タブレット端末など、本開示に係る処理を実行可能な装置であればいずれでも好適に適用することが可能である。また、処理装置100は、少なくとも一部の処理をクラウド上のサーバ装置で行うことも可能である。したがって、処理装置100には、当該サーバ装置、又は操作者が操作するラップトップパソコン等の装置と当該サーバ装置との組み合わせも含む。
処理装置100において、プロセッサ111は、メモリ112に記憶されたプログラムに基づいて処理装置100又は処理システム1の他の構成要素の制御を行う制御部として機能する。具体的には、プロセッサ111は、「ヒトの身体の状態を測定した測定データに含まれるデータを、通信インターフェイス115を介して測定装置400から取得する処理」、「第1の学習済み解析モデルに測定データに含まれるデータを入力することで出力される身体の状態に関する第1の出力情報を取得する処理」、「第1の学習済み解析モデルとは異なる第2の学習済み解析モデルに測定データに含まれるデータを入力することで出力される、第1の出力情報とは異なる身体の状態に関する第2の出力情報を取得する処理」、「第1の出力情報と第2の出力情報の少なくともいずれかに基づいて医用情報を出力する処理」等を、メモリ112に記憶されたプログラムに基づいて実行する。プロセッサ111は、主に一又は複数のCPUにより構成されるが、適宜GPUやFPGAなどを組み合わせてもよい。
メモリ112は、RAM、ROM、不揮発性メモリ、HDD等から構成され、記憶部として機能する。メモリ112は、本実施形態に係る処理システム1の様々な制御のための指示命令をプログラムとして記憶する。具体的には、メモリ112は、「ヒトの身体の状態を測定した測定データに含まれるデータを、通信インターフェイス115を介して測定装置400から取得する処理」、「第1の学習済み解析モデルに測定データに含まれるデータを入力することで出力される身体の状態に関する第1の出力情報を取得する処理」、「第1の学習済み解析モデルとは異なる第2の学習済み解析モデルに測定データに含まれるデータを入力することで出力される、第1の出力情報とは異なる身体の状態に関する第2の出力情報を取得する処理」、「第1の出力情報と第2の出力情報の少なくともいずれかに基づいて医用情報を出力する処理」等、プロセッサ111が実行するためのプログラムを記憶する。また、メモリ112は、当該プログラムのほかに、対象者の対象者情報、測定データ、第1の入力情報、第2の入力情報、第1の出力情報、第2の出力情報、医用情報等を記憶する。
入力インターフェイス113は、処理装置100に対する操作者の指示入力を受け付ける入力部として機能する。入力インターフェイス113の一例としては、キーボード、マウス等の各種ハードキーや、ディスプレイ装置200のディスプレイに重畳して設けられ、ディスプレイの表示座標系に対応する入力座標系を有するタッチパネルが挙げられる。タッチパネルの場合、ディスプレイに入力したいコマンドに対応したアイコンが表示され、当該タッチパネルを介して操作者が指示入力を行うことで、各アイコンに対する選択が行われる。タッチパネルによる対象者の指示入力の検出方式は、静電容量式、抵抗膜式などいかなる方式であってもよい。入力インターフェイス113は、常に処理装置100に物理的に備えられる必要はなく、有線や無線ネットワークを介して必要に応じて接続されてもよい。
出力インターフェイス114は、処理装置100によって解析の結果得られた第1の出力情報、第2の出力情報、医用情報等の情報を出力するための出力部として機能する。出力インターフェイス114の一例としては、液晶パネル、有機ELディスプレイ又はプラズマディスプレイ等から構成されるディスプレイ装置200等の外部装置又は外部機器と接続するためのインターフェイスが挙げられる。しかし、処理装置100そのものがディスプレイを有する場合には、当該ディスプレイが出力インターフェイスとして機能することが可能である。また、ディスプレイ装置200などに対して通信インターフェイス115を介して接続されている場合には、当該通信インターフェイス115が出力インターフェイス114として機能することも可能である。
通信インターフェイス115は、有線又は無線ネットワークを介して測定装置400、ディスプレイ装置200、第1のモデル生成装置300-1、第2のモデル生成装置300-2、他の処理装置、サーバ装置等との間で測定データや医用情報等を送受信するための通信部として機能する。通信インターフェイス115の一例としては、USB、SCSIなどの有線通信用コネクタや、無線LAN、Bluetooth(登録商標)、赤外線などの無線通信用送受信デバイスや、プリント実装基板やフレキシブル実装基板用の各種接続端子など、様々なものが挙げられる。
なお、ディスプレイ装置200の構成については特に具体的には説明しないが、上記のとおり液晶パネル、有機ELディスプレイ又はプラズマディスプレイ等から構成されるディスプレイ、処理装置100から各種情報の入力を受け付ける入力インターフェイス及び通信インターフェイスの少なくともいずれか、上記ディスプレイに受け付けられた各種情報を表示するための処理をするプロセッサ等を含む。
また、第1の学習済み解析モデルを生成するための第1のモデル生成装置300-1及び第2の学習済み解析モデルを生成するための第2のモデル生成装置300-2の構成については特に具体的には説明しないが、処理装置100と同様に、プロセッサ、メモリ、入力インターフェイス、出力インターフェイス及び通信インターフェイス等を含む。このような装置としては、ラップトップパソコン、デスクトップパソコン、スマートフォン、タブレット端末、サーバ装置又はこれらの組み合わせが用いられる。なお、本開示では、処理装置100、第1のモデル生成装置300-1及び第2のモデル生成装置300-2をそれぞれ別体として設けた。しかし、これに限らず、例えば処理装置100が第1のモデル生成装置300-1又は第2のモデル生成装置300-2として機能してもよいし、第1のモデル生成装置300-1が第2のモデル生成装置300-2として機能してもよい。
3.処理装置100のメモリ112に記憶される情報
図3は、本開示の一実施形態に係る処理装置100に記憶される対象者管理テーブルを概念的に示す図である。対象者管理テーブルに記憶される情報は、処理装置100のプロセッサ111の処理の進行に応じて随時更新して記憶される。
図3によれば、対象者管理テーブルには、対象者ID情報に対応付けて、属性情報、測定データ、第1の入力情報、第2の入力情報、第1の出力情報、第2の出力情報及び医用情報等が記憶される。「対象者ID情報」は、各対象者に固有の情報で各対象者を特定するための情報である。対象者ID情報は、操作者又は対象者自身によって新たな対象者が登録されるごとに生成される。属性情報は、各対象者の属性に関する情報である。このような属性情報の例としては、対象者名情報、生年月日情報、性別情報、住所情報などが挙げられる。
「測定データ」は、測定装置400において測定されたヒトの身体の状態を示すデータであり、測定装置400から通信インターフェイス115を介して受信される情報である。測定データとしてCT画像が用いられる場合は、所定の範囲(例えば、複数の部位や全身)にまたがって撮影された複数のCT画像のそれぞれ、又は複数のCT画像の全体のことを意味する。このようなCT画像は、静止画又は動画のいずれであってもよいし、その白黒画像、カラー画像などその画像形式はいずれであってもよい。このような測定データの具体例は図7A等において後述する。
「第1の入力情報」は、第1の出力情報を取得するために第1の学習済み解析モデルに入力される情報である。測定データとして複数のCT画像が用いられる場合、第1の入力情報には、典型的には、複数のCT画像のうちの特定の1又は複数個のCT画像が用いられる。「第2の入力情報」は、第2の出力情報を取得するために第2の学習済み解析モデルに入力される情報である。測定データとして複数のCT画像が用いられる場合、第2の入力情報には、典型的には、複数のCT画像のうちの全て又は複数個のCT画像であって、第1の入力情報よりも多い個数のCT画像が用いられる。このような複数のCT画像は、空間的に一定の間隔で取得されたものである。つまり、複数のCT画像に含まれる各CT画像は、その前後のCT画像と空間的に連続性又は関連性を有する。このような第1の入力情報及び第2の入力情報の具体例は図7B等において後述する。
「第1の出力情報」は、第1の学習済み解析モデルに第1の入力情報が入力されることによって取得された情報である。測定データとして複数のCT画像が用いられる場合、第1の出力情報には、典型的には、個々のCT画像ごとに検出される特定の疾患の有無、その存在位置、及びその確度を示す情報である。このような疾患の確度としては、特定の数値だけでなく、数値に基づいて分けられた分類(例えば、「該当あり」又は「該当なし」や、「レベル1」、「レベル2」、「レベル3」又は「レベル4」など、その分類の数はいずれでもよい)などが例として挙げられる。また、「第2の出力情報」は、第2の学習済み解析モデルに第2の入力情報が入力されることによって取得された情報である。測定データとして複数のCT画像が用いられる場合、第2の出力情報には、典型的には、空間的に連続性又は関連性を有する複数のCT画像から検出される特定の疾患の有無、その存在位置、及びその確度を示す情報である。このような確度としては、特定の数値だけでなく、数値に基づいて分けられた分類(例えば、「該当あり」又は「該当なし」や、「レベル1」、「レベル2」、「レベル3」又は「レベル4」や、「軽度」、「中度」又は「重度」など、その分類の数はいずれでもよい)などが例として挙げられる。このような第1の出力情報及び第2の出力情報の具体例は図7B等において後述する。
「医用情報」は、第1の出力情報及び第2の出力情報の少なくともいずれかに基づいて生成される情報である。当該医用情報は、出力インターフェイス114を介して、ディスプレイ装置200に出力され、ディスプレイ装置200に表示される。測定データとして複数のCT画像が用いられる場合、医用情報としては、典型的には、図8~図11に示す医用情報が挙げられる。また、これらの情報以外にも、例えば特定の疾患に対する対処法などを示した論文やWEBサイト、特定の疾患に有用な医薬品に関する情報、特定の疾患を専門とする医療機関に関する情報、特定の疾患に対する処置のための装置・機器等に関する情報なども、医用情報として利用することが可能である。このような医用情報の具体例は図8~図11等において後述する。
なお、図3において具体的に記載はしていないものの、対象者管理テーブルには、対象者ID情報に対応付けて、各対象者の問診情報や所見情報、他の測定装置で取得された他の測定データなど、種々の情報を対応付けて記憶することが可能である。
4.処理装置100で実行される処理フロー
図4Aは、本開示の一実施形態に係る処理装置100において実行される処理フローを示す図である。具体的には、図4は、測定装置400において測定データが取得されてから医用情報を出力するまでに、処理装置100のプロセッサ111によって実行される処理フローを示す図である。当該処理フローは、主に処理装置100のプロセッサ111がメモリ112に記憶されたプログラムを読み出して実行することにより行われる。
まず、特に図示はしていないものの、例えば対象者が医療機関に救急搬送されてくると、医療従事者によって測定装置400(例えば、CT装置)が操作され、対象者の全身のCT画像が撮影される。そして、撮影された全身のCT画像が測定データとして測定装置400に取得され、測定装置400の通信インターフェイスを介して、測定された対象者を特定するための対象者ID情報とともに、処理装置100に送信される。
処理装置100のプロセッサ111は、通信インターフェイス115を介して測定装置400から測定データを受信すると、対象者ID情報に対応付けて受信した測定データを対象者管理テーブルに記憶する(S111)。
次に、プロセッサ111は、入力インターフェイス113を介して、対象者管理テーブルに記憶されている複数の対象者の中から測定データの解析を行う所望の対象者ID情報を選択するために、操作者による操作入力を受け付ける。そして、プロセッサ111は、当該操作入力を受け付けると、対象者ID情報に対応付けられた測定データを対象者管理テーブルから読み出して、第1の解析処理を実行する(S112)。第1の解析処理は、一例としては、読み出された測定データを第1の学習済み解析モデルに入力することによって行われる。なお、第1の学習済み解析モデルの生成及び第1の解析処理の詳細については、図5及び図7Bにおいて後述する。
プロセッサ111は、第1の解析処理において第1の学習済み解析モデルから出力されることによって第1の出力情報を取得すると、取得した第1の出力情報を対象者ID情報に対応付けて対象者管理テーブルに記憶する(S113)。
次に、プロセッサ111は、S112において、入力インターフェイス113を介して、測定データの解析を行う所望の対象者ID情報を選択するため操作入力を受け付けると、対象者ID情報に対応付けられた測定データを対象者管理テーブルから読み出して、第2の解析処理を実行する(S114)。第2の解析処理は、一例としては、読み出された測定データを第2の学習済み解析モデルに入力することによって行われる。なお、第2の学習済み解析モデルの生成及び第2の解析処理の詳細については、図6及び図7Bにおいて後述する。また、ここでは、第1の解析処理と第2の解析処理は、いずれも同じ操作入力を検出することにより開始される場合について説明したが、これらは別々の操作入力を受け付けることにより開始されるようにしてもよいし、S111において測定データを受信したタイミングで、自動的に開始されるようにしてもよい。
プロセッサ111は、第2の解析処理において第2の学習済み解析モデルから出力されることによって第2の出力情報を取得すると、取得した第2の出力情報を対象者ID情報に対応付けて対象者管理テーブルに記憶する(S115)。
次に、プロセッサ111は、第1の出力情報及び第2の出力情報が取得されると、第1の出力情報及び第2の出力情報の少なくともいずれかに基づいて医用情報を生成する(S116)。医用情報の生成処理の一例としては、第1の出力情報と第2の出力情報のそれぞれに基づいて特定の疾患が存在する確度を示す情報を生成する処理が挙げられる(例えば、図8等)。また、その他の例としては、第1の出力情報を取得するために第1の入力情報として用いられた1個のCT画像をメモリ112から読み出して、当該CT画像を表示するための処理が挙がられる(例えば、図8等)。また、個々のCT画像ごとに取得された第1の出力情報に基づいて、特定の疾患に対する確度の空間的な遷移を示す情報を生成する処理が挙げられる(例えば、図9及び図10)。なお、医用情報の生成に係る処理については、図7Bにおいて後述する。
プロセッサ111は、S116において医用情報の生成がなされると、生成された医用情報を対象者ID情報に対応付けて対象者管理テーブルに記憶する。そして、プロセッサ111は、出力インターフェイス114を介して、生成された医用情報をディスプレイ装置200などに対して出力する(S117)。なお、出力される医用情報の詳細は、図8~図11において後述する。
これにより、プロセッサ111は、測定データが取得されてから医用情報を出力するまでの処理フローを終了する。
なお、特に図示はしないものの、医用情報を受信したディスプレイ装置200は、そのディスプレイに受信した医用情報を表示する。また、医用情報の出力先の一例としてディスプレイ装置200を挙げたが、例えば操作者や他の医療従事者が所持する端末装置や、医療機関内にある他の処理装置や他の医療機器など、その出力先はいずれであってもよい。
また、図4において、第1の出力情報及び第2の出力情報は、第1の学習済み解析モデル及び第2の学習済み解析モデルに第1の入力情報及び第2の入力情報を入力することによって取得される場合について説明した。しかし、各学習済み解析モデルを用いるのは単なる一例であって、当然他の方法を用いてもよい。例えば、各入力情報としてCT画像が用いられる場合には、疾患に対する罹患状態が解析された画像との一致度を比較する方法など、他の画像解析処理も用いることが可能である。
また、図4において、S112及びS113の処理と、S114及びS115の処理は、S114及びS115の処理を先に実行しS112及びS113の処理を後で実行してもよいし、両処理を並列して実行してもよい。さらに、S112及びS114の各解析処理においては、処理装置100のプロセッサ111がメモリ113に記憶された第1の学習済み解析モデル及び第2の学習済み解析モデルで測定データを処理することによって第1の出力情報及び第2の出力情報がそれぞれ出力される場合について説明した。しかし、これに限らず、プロセッサ111が例えばサーバ装置に測定データを送信し、当該サーバ装置のプロセッサが当該サーバ装置に記憶された第1の学習済み解析モデル及び第2の学習済み解析モデルで測定データを処理し、処理装置100に対して第1の出力情報及び第2の出力情報がそれぞれ出力されるようにしてもよい。
5.第1のモデル生成装置300-1及び第2のモデル生成装置300-2で実行される処理フロー
<第1の学習済み解析モデルの生成に係る処理>
図5は、本開示の一実施形態に係る第1のモデル生成装置300-1において実行される処理フローを示す図である。具体的には、図5は、図4のS112の第1の解析処理にいて用いられる第1の学習済み解析モデルの生成に係る処理フローを示す図である。当該処理フローは、主に第1のモデル生成装置300-1のプロセッサがメモリに記憶されたプログラムを読み出して実行することにより行われる。
図5によると、例えば測定装置400又は他の測定装置で測定された測定データを第1の学習用データとして取得するステップが実行され得る(S211)。例えば、測定装置400としてCT装置が用いられる場合には、測定データとして対象者の全身を撮影した複数のCT画像が用いられる。なお、第1の学習用データには、上記のような実際にCT装置を用いて撮影されたCT画像が用いられてもよいが、画像処理によるシミュレーションによって取得されたシミュレーション画像が用いられてもよい。以下では、学習用データとして複数のCT画像を用いる場合を説明する。
次に、取得された複数のCT画像のそれぞれに対して、各CT画像中に見られる身体部位の疾患に関する情報(例えば、特定の疾患の有無、その存在する位置(部位)及びその度合い)を疾患情報としてラベル付けする処理が実行される(S211)。当該ラベル付けは、医師などの医療従事者によって、外科的な身体部位の損傷の種類やその度合い、内科的な身体部位の病変や炎症の種類とその度合い(例えば、大きさ)、これらが所見として見られる身体部位の位置情報(例えば、肝臓、すい臓、脾臓など)などが入力されることによって行われる。なお、上記度合いには、例えば、疾患に対して「該当あり」又は「該当なし」や、「レベル1」、「レベル2」、「レベル3」又は「レベル4」や、「軽度」、「中度」又は「重度」などが例として挙げられる。また、これに代えて、又はこれに加えて、あらかじめ用意された外科的な身体部位の損傷が見られるCT画像や、内科的な身体部位の病変や炎症が見られるCT画像を用意し、これらの画像との一致度を画像解析処理によって算出し、この一致度に基づいてラベル付けが行われてもよい。
第1の学習用データとして複数のCT画像と、それに対応付けられたラベル情報がそれぞれ得られると、プロセッサによって、それらを用いて身体部位の疾患パターンの機械学習を行うステップが実行される(S213)。当該機械学習は、一例として、第1の学習用データとラベル情報の組を、ニューロンを組み合わせて構成されたニューラルネットワークに与え、ニューラルネットワークの出力がラベル情報と同じになるように、各ニューロンのパラメータを調整しながら学習を繰り返すことにより行われる。そして、第1の学習済み解析モデル(例えば、ニューラルネットワークとパラメータ)を取得するステップが実行される(S214)。これにより、プロセッサは第1の学習済み解析モデルの生成を終了する。なお、取得された第1の学習済み解析モデルは、通信インターフェイスを介して処理装置100に送信され、処理装置100のメモリ112に記憶されてもよい。また、第1のモデル生成装置300-1や他の処理装置、サーバ装置等のメモリに記憶されてもよい。
<第2の学習済み解析モデルの生成に係る処理>
図6は、本開示の一実施形態に係る第2のモデル生成装置300-2において実行される処理フローを示す図である。具体的には、図6は、図4のS114の第2の解析処理にいて用いられる第2の学習済み解析モデルの生成に係る処理フローを示す図である。当該処理フローは、主に第2のモデル生成装置300-2のプロセッサがメモリに記憶されたプログラムを読み出して実行することにより行われる。
図6によると、例えば測定装置400又は他の測定装置で測定された測定データを第2の学習用データとして取得するステップが実行され得る(S311)。例えば、測定装置400としてCT装置が用いられる場合には、測定データとして対象者の全身を撮影した複数のCT画像が用いられる。なお、第2の学習用データには、上記のような実際にCT装置を用いて撮影された複数のCT画像が用いられてもよいが、画像処理によるシミュレーションによって取得された複数のシミュレーション画像が用いられてもよい。以下では、学習用データとして複数のCT画像を用いる場合を説明する。
次に、取得された複数のCT画像をひとまとまりとして、身体部位の疾患に関する情報(例えば、特定の疾患の有無及びその存在する位置)を疾患情報としてラベル付けする処理が実行される(S411)、当該ラベル付けは、医師などの医療従事者によって外科的な身体部位の損傷の種類やその度合い、内科的な身体部位の病変や炎症の種類とその度合い(大きさ)、これらが所見として見られる身体部位の位置情報(例えば、肝臓、すい臓、脾臓など)などが入力されることによって行われる。なお、上記度合いには、例えば、疾患に対して「該当あり」又は「該当なし」や、「レベル1」、「レベル2」、「レベル3」又は「レベル4」や、「軽度」、「中度」又は「重度」などが例として挙げられる。また、これに代えて、又はこれに加えて、あらかじめ用意された外科的な損傷が見られる身体部位全体に跨る複数のCT画像や、内科的な病変や炎症が見られる身体部位全体に跨る複数のCT画像を用意し、これらの複数のCT画像との一致度を画像解析処理によって算出し、この一致度に基づいてラベル付けが行われてもよい。
第2の学習用データとして複数のCT画像と、それに対応付けられたラベル情報がそれぞれ得られると、プロセッサによって、それらを用いて身体部位の疾患パターンの機械学習を行うステップが実行される(S313)。当該機械学習は、一例として、第2の学習用データとラベル情報の組を、ニューロンを組み合わせて構成されたニューラルネットワークに与え、ニューラルネットワークの出力がラベル情報と同じになるように、各ニューロンのパラメータを調整しながら学習を繰り返すことにより行われる。そして、第2の学習済み解析モデル(例えば、ニューラルネットワークとパラメータ)を取得するステップが実行される(S314)。これにより、プロセッサは第2の学習済み解析モデルの生成を終了する。なお、取得された第2の学習済み解析モデルは、通信インターフェイスを介して処理装置100に送信され、処理装置100のメモリ112に記憶されてもよい。また、第2のモデル生成装置300-2や他の処理装置、サーバ装置等のメモリに記憶されてもよい。
6.測定データ
上記のとおり、測定装置400において測定されたヒトの身体の状態を示すデータであり、測定装置400から通信インターフェイス115を介して受信される情報である。図7Aは、本開示の一実施形態に係る測定データの一例を概念的に示す図である。図7Aによれば、測定データとして測定装置400(例えば、CT装置)で撮影された複数のCT画像が用いられる場合が示されている。
このようなCT画像は、典型的には、ヒトの身体において所定の範囲(少なくとも複数の部位(例えば、肝臓、すい臓、脾臓など)や全身)にわたって、空間的に一定の間隔(例えば、スライス間隔=5mm)で、身体の頭部から脚部に向かう方向に、厚さ方向の断面を撮影することによって取得される。図7Aでは、少なくとも測定データとしてCT画像Dm-7~CT画像Dm、及びCT画像Dn-7~CT画像Dnを少なくとも含む複数のCT画像が、空間的に一定の間隔(例えば、スライス間隔=5mm)で、部位A~部位Dの複数の部位(すなわち、全身)に跨って撮影されている。なお、図7Aに示す各部位は説明の便宜のための一例であって、必ずしもヒトの身体の特定の部位を正確に示したものではない。
このように取得された複数のCT画像は、上記のとおり一定の間隔で撮影されたものであるため、例えば、CT画像Dm-7~CT画像Dm等の連続する複数のCT画像を参照すると、各CT画像の含まれる部位に現れる疾患の様子を確認することが可能である。すなわち、個々のCT画像に着目すると、各CT画像における疾患の有無、その断面上の位置(部位)及びその度合いを検出することができる。さらに、前後の連続する複数個のCT画像に着目すると、疾患の有無、その断面上の位置、断面に垂直な方向における患部の大きさ、及びその度合いを検出することができる。本開示においては、第1の入力情報として、複数のCT画像の中から選択された特定の1個又は複数個(好ましくは1個)のCT画像を用いて第1の解析処理を行うことにより、主に個々のCT画像に含まれる疾患の有無、その位置(部位)及びその確度を第1の出力情報として取得することができる。また、第2の入力情報として、第1の入力情報よりも多い個数のCT画像であって、空間的に連続性又は関連性を有する複数のCT画像を用いて第2の解析処理を行うことにより、対象者の総合的な重症度が反映された、疾患の有無、その位置(部位)及びその確度を第2の出力情報として取得することができる。なお、「空間的に連続性又は関連性を有すること」とは、各CT画像が一定の間隔(例えば、スライス間隔=5mm)で撮影されたことのみならず、測定装置400を用いて同じ対象者に対してなされた一連の測定処理によって撮影されたことも含む。
ここで、CT画像は、救急医療の現場で疾患の有無の判断によく用いられる。しかし、このような場合、CT画像は少なくとも複数の部位(場合によっては全身)に跨って一定の間隔で撮影されるため、かなり多量のCT画像を医療従事者が一つずつ確認して疾患の有無を判断する必要がある。本開示に係る処理システム1では、取得された測定データである複数のCT画像を入力情報として、上記判断した結果を示す情報又は上記判断を補助する情報を医用情報として出力することが可能である。したがって、本開示に係る処理システム1は、特に救急医療における疾患の有無の判断において有益に用いることが可能である。ただし、当然に、救急医療における当該判断のみにその用途が限定されるわけではない。
7.医用情報の生成に係る処理
図7Aで説明したとおり測定装置400で撮影された測定データ(例えば、CT画像)が処理装置100に送信され、処理装置100のプロセッサ111によって処理されることによって医用情報が生成される。図7Bは、本開示の一実施形態に係る測定データが処理されることによって医用情報が生成される過程の一例を概念的に示す図である。
図7Bによると、図7Aで示したとおり、測定装置400で撮影されたCT画像であって、身体の所定の範囲(例えば、複数の部位や全身)に跨って撮影された複数のCT画像(CT画像D1-1~CT画像D1-n)が、測定データとして処理装置100において取得されたことを示している。
次に、図7Bによると、これらの複数のCT画像は、プロセッサ111の処理によって個々のCT画像(CT画像E1-1、CT画像E1-2~CT画像E1-n)ごとに選択され、第1の入力情報として第1の学習済み解析モデルに入力される(第1の解析処理)。なお、測定装置400において撮影され処理装置100において取得された全てのCT画像D1-1~CT画像D1-n(測定データ)が、第1の入力情報である個々のCT画像(CT画像E1-1、CT画像E1-2~CT画像E1-n)として取得されてもよい。また、全てのCT画像D1-1~CT画像D1-n(測定データ)から一定の間隔(例えば、5個ごと)で選択されたCT画像が、第1の入力情報である個々のCT画像(CT画像E1-1、CT画像E1-2~CT画像E1-n)として取得されてもよい。また、全てのCT画像D1-1~CT画像D1-n(測定データ)から操作者によって選択されたCT画像が、第1の入力情報である個々のCT画像(CT画像E1-1、CT画像E1-2~CT画像E1-n)として取得されてもよい。
上記のとおり、CT画像E1-1、CT画像E1-2~CT画像E1-nが第1の入力情報として取得され、第1の学習済み解析モデルに入力されることによって、第1の出力情報が生成される。すなわち、CT画像E1-1が入力されることによって当該画像に含まれる特定の疾患の有無、その存在位置(部位)、及びその確度が第1の出力情報として取得される。また、CT画像E1-2が入力されることによって当該画像に含まれる特定の疾患の有無、その存在位置(部位)、及びその確度が別の第1の出力情報として取得される。また、CT画像E1-nが入力されることによって当該画像に含まれる特定の疾患の有無、その存在位置(部位)、及びその確度がさらに別の第1の出力情報として取得される。このように第1の解析処理では、第1の入力情報として取得された個々のCT画像ごとに特定の疾患の有無、その存在位置(部位)、及びその確度が、第1の出力情報として取得される。そして、取得された特定の疾患の有無、その存在位置(部位)、及びその確度を示す情報は、対象者管理テーブルにおいて、第1の出力情報として個々のCT画像ごとに記憶される。
なお、上記では、第1の入力情報として1個のCT画像ごとに第1の学習済み解析モデルに入力される場合について説明したが、例えば3個などの数個単位で一まとまりのグループとしてCT画像を準備し、グループごとに第1の学習済み解析モデルに入力されるようにしてもよい。この場合、個々のCT画像ごとに取得された特定の疾患の有無、その存在位置(部位)、及びその確度の平均値や最大値、最小値などをグループごとに求め、これらを第1の出力情報としてもよい。
一方、図7Bによると、測定データとして取得された複数のCT画像(CT画像D1-1~CT画像D1-n)から、プロセッサ111の処理によって複数個のCT画像を含むCT画像群F1が選択され、第2の入力情報として第2の学習済み解析モデルに入力される(第2の解析処理)。当該CT画像群F1は、一定の間隔(例えば、スライス間隔=5mm)で撮影され、少なくとも空間的に連続性又は関連性を有する複数個のCT画像を含むことが好ましい。なお、測定装置400において撮影された全てのCT画像D1-1~CT画像D1-n(測定データ)が、第2の入力情報であるCT画像群F1として取得されてもよい。また、全てのCT画像D1-1~CT画像D1-n(測定データ)から一定の間隔(例えば、5個ごと)で選択された複数のCT画像が、第2の入力情報であるCT画像群F1として取得されてもよい。また、全てのCT画像D1-1~CT画像D1-n(測定データ)から操作者によって選択された区間に含まれる複数のCT画像が、第2の入力情報であるCT画像群F1として取得されてもよい。さらに、一つのCT画像群F1に含まれるCT画像の個数は、第1の入力情報として選択される個々のCT画像群よりも多い個数であればいずれでもよい。また、図7Bでは、第2の入力情報としてCT画像群F1の一つを用いる場合を示したが、当然複数のCT画像群を用いてもよい。
上記のとおり、CT画像群F1が第2の入力情報として取得され、第2の学習済み解析モデルに入力されることによって、第2の出力情報が生成される。すなわち、所定の範囲(例えば、複数の部位や全身)に跨って撮影されたCT画像群F1が入力されることによって、対象者の総合的な重症度を反映した、特定の疾患の有無、その存在位置(部位)、及びその確度やその変化する様子が第2の出力情報として取得される。そして、取得された特定の疾患の有無、その存在位置(部位)、及びその確度は、対象者管理テーブルにおいて、第2の出力情報として記憶される。
次に、図7Bによると、プロセッサ111の処理によって、それぞれ取得された第1の出力情報及び第2の出力情報の少なくともいずれかに基づいて、医用情報が生成される。
図7Aで示したとおり、単一のCT画像から得られる第1の出力情報と、空間的に連続性又は関連性を有する複数のCT画像から得られる第2の出力情報とは、特定の疾患の有無、その存在位置(部位)、及びその確度を示す情報であっても、捉える特徴が異なるものである。そのため、図7Bで示したように、第1の入力情報から得られた第1の出力情報と、第2の入力情報から得られた第2の出力情報を用いて医用情報を生成することによって、より多様な医用情報を提供することが可能となる。
8.出力される医用情報の例
図7Bで説明したとおり、第1の入力情報及び第2の入力情報から第1の出力情報及び第2の出力情報がそれぞれ取得されると、プロセッサ111の処理によって医用情報が生成される。そして、生成された医用情報は、メモリ112の対象者管理テーブルに記憶されるとともに、出力インターフェイス114を介して例えばディスプレイ装置200に出力される。
図8~図11は、本開示の一実施形態に係る処理装置100において出力される医用情報の一例を示す図である。このうち、図8は、それぞれ並列して出力された第1の出力情報と第2の出力情報に加えて、現在出力されている第1の出力情報に対応するCT画像が含まれる医用情報の例である。
図8の(a)によれば、当該医用情報には、第1の出力情報として取得された特定の疾患がその位置(部位)に存在する確度を示す棒グラフ12と、第2の出力情報として取得された対象者の総合的な特定の疾患が存在する確度を示す棒グラフ13が含まれる。なお、このような棒グラフ12及び棒グラフ13は、医用情報の一例に過ぎない。例えば、出力される医用情報としては、疾患の確度を示す具体的な数値であってもよいし、特定の疾患に対して「該当あり」又は「該当なし」や、「レベル1」、「レベル2」、「レベル3」又は「レベル4」や、「軽度」、「中度」又は「重度」などの分類を示す情報であってもよいし、疾患の確度が理解できればいずれでもよい。
また、図8の(a)によれば、当該医用情報には、特定のCT画像11が含まれる。当該CT画像11は、現時点で棒グラフ12として出力される第1の出力情報を取得するために、第1の学習済み解析モデルに入力されたCT画像を示す。すなわち、第1の出力情報は、個々のCT画像ごとに得られた解析結果であるが、その解析結果とその解析結果を得るために用いられたCT画像の両方を同時に確認することが可能である。これによって、操作者は、棒グラフ12として表示された第1の出力情報に基づいて疾患の有無の判断の目安とし、かつそのCT画像を参照するとことで確定的な判断を効率的にすることが可能となる。
また、図8の(a)によれば、当該医用情報には、棒グラフ12として表示される第1の出力情報を切り替える切り替えボタン14が含まれる。入力インターフェイス113を介して操作者の当該切り替えボタン14に対する操作入力を受け付けることによって、プロセッサ111は医用情報として出力する第1の出力情報を切り替えることが可能である。すなわち、切り替えボタン14が操作者によって所望の方向に移動されると、その移動先の位置に対応した第1の出力情報が棒グラフ12として表示されるとともに、当該第1の出力情報に対応するCT画像がCT画像11として表示される。
図8の(b)によれば、図8の(a)で切り替えボタン14が表示された位置よりも右側にスライドした位置に表示されている。つまり、第1の入力情報として第1の学習済み解析モデルに入力された個々のCT画像のうち、より後段で撮影されたCT画像を第1の入力情報として取得された第1の出力情報が選択されたことを示している。また、図8の(b)で選択された第1の出力情報は図8の(a)で示された第1の出力情報とは異なるため、棒グラフ12として表示される特定の疾患の確度やCT画像11も図8の(a)の内容から切り替えられている。他方、第2の出力情報は、上記のとおり、複数のCT画像を一まとまりとして入力することによって取得された情報であり、総合的な重症度を示す情報であるため、切り替えボタン14の操作とは無関係に表示される。このように、切り替えボタン14を操作することによって、より簡単に個々の第1の出力情報とそれに対応するCT画像11を切り替えて表示することができ、より利便性を向上させることができる。なお、切り替えボタン14は操作方法の一例であって、切り替えボタン14に代えて、個々のCT画像のサムネイル画像や縮小画像を表示してもよいし、画像送りボタンや画像戻りボタンを表示してもよいし、他の操作ボタンを表示してもよい。
次に、図9は、処理装置100において出力される医用情報の他の例を示す図である。図9によれば、当該医用情報には、第1の出力情報として取得された特定の疾患がその位置(部位)に存在する確度を示す棒グラフ16及び棒グラフ17と、第2の出力情報として取得された対象者の総合的な疾患の確度を示す棒グラフ18が含まれる。また、図8と同様に、当該医用情報には、棒グラフ16及び棒グラフ17として取得された第1の出力情報に対応するCT画像15、及び表示するCT画像を切り替えるための切り替えボタン22が含まれる。
また、図9によれば、これらに加えて、当該医用情報には、さらに第1の出力情報である特定の疾患がその位置(部位A)に存在する確度の空間的な遷移を示す曲線19、部位Bに存在する確度を示す曲線20及び部位Cに存在する確度を示す曲線21が含まれる。ここで、第1の入力情報である個々のCT画像ごとに、第1の出力情報である特定の疾患がその位置(部位)に存在する確度が取得される。そのため、プロセッサ111の処理によって、個々のCT画像が撮影された順、すなわち撮影された断面の順に特定の疾患がその位置(部位)に存在する確度が整列されることによって、その確度が空間的に遷移する様子を曲線として示すことが可能である。図9の例では、横軸に撮影された断面の位置が、縦軸に特定の疾患の有無の確度が示されている。これにより、操作者は、確認すべき断面の位置をより直感的に把握することが可能となる。
また、図9によれば、当該医用情報には、曲線19、曲線20及び曲線21の少なくともいずれかに対して重畳するように選択バー41が含まれている。入力インターフェイス113を介して操作者の当該選択バー41に対する操作入力を受け付けることによって、プロセッサ111は医用情報として出力する第1の出力情報を切り替えることが可能である。すなわち、選択バー41が操作者によって所望の方向に移動されると、その移動先の位置に対応した第1の出力情報が棒グラフ16及び棒グラフ17として表示されるとともに、当該第1の出力情報に対応するCT画像がCT画像15として表示される。したがって、操作者は、医用情報として出力するCT画像や第1の出力情報を、各曲線を参照しながら、より直感的に切り替えることが可能となる。
次に、図10は、処理装置100において出力される医用情報の他の例を示す図である。図10によれば、当該医用情報には、選択された特定の1枚のCT画像における疾患の確度を示す特定画像の疾患情報が棒グラフ24として含まれ、対象者の全身における総合的な疾患の確度を示す全身の疾患情報が棒グラフ25として含まれ、特定の一つの部位における総合的な疾患の確度を示す特定部位の疾患情報が棒グラフ26として含まれる。
このうち、特定画像の疾患情報は、
・(1A)選択された特定の1枚のCT画像(第1の入力情報)に基づいて取得された疾患の確度(第1の出力情報)を示す値
・(1B)全身のCT画像群(第2の入力情報)に基づいて取得された疾患の確度(第2の出力情報)から算出された値
・(1C)上記1Aの値を上記1Bの値で重み付けすることによって得られた値
の少なくともいずれかを用いることが可能である。表示される特定画像の疾患情報には、これらの各値から操作者の操作入力を受け付けて選択されてもよいし、第1の学習済み解析モデル及び第2の学習済み解析モデルの感度や特異度等のパラメータ値に基づいて選択されてもよいし、各値の平均値や最大値、最小値等が選択されてもよい。なお、上記1Bの値は、一例としては、全身のCT画像群にみられる身体部位の疾患に関する情報(その存在する位置(部位)情報や、疾患が存在する領域の体積情報から、全身のCT画像群のうちの特定の画像に対する重み付け係数を求め、その係数を第2の出力情報にかけ合わせることによって算出される。また、上記1Cの値は、一例としては、あらかじめ用意された上記1Bの値と重み付け係数とが対応付けられたテーブルに基づいて、算出された上記1Bから重み付け係数を求め、当該重み付け係数を上記1Aの値にかけ合わせることによって算出される。
また、全身の疾患情報は、
・(2A)個々のCT画像(第1の入力情報)から取得された個々の疾患の確度(第1の出力情報)から算出された値
・(2B)全身のCT画像群(第2の入力情報)に基づいて取得された疾患の確度(第2の出力情報)を示す値
・(2C)上記2Aの値を上記2Bの値で重み付けすることによって得られた値
の少なくともいずれかを用いることが可能である。表示される全身の疾患情報には、これらの各値から操作者の操作入力を受け付けて選択されてもよいし、第1の学習済み解析モデル及び第2の学習済み解析モデルの感度や特異度等のパラメータ値に基づいて選択されてもよいし、各値の平均値や最大値、最小値等が選択されてもよい。なお、上記2Aの値は、一例としては、個々のCT画像から取得される個々の疾患の確度を示す曲線により求められる積分値であったり、個々の疾患の確度を示す値の平均値などが用いられる。また、上記2Cの値は、上記1Cの値と同様に算出される。
また、特定部位の疾患情報は、
・(3A)個々のCT画像(第1の入力情報)から取得された個々の疾患の確度(第1の出力情報)から算出された値
・(3B)全身のCT画像群(第2の入力情報)に基づいて取得された疾患の確度(第2の出力情報)から算出された値
・(3C)上記3Aの値を上記3Bの値で重み付けすることによって得られた値
の少なくともいずれかを用いることが可能である。表示される特定部位の疾患情報には、これらの各値から操作者の操作入力を受け付けて選択されてもよいし、第1の学習済み解析モデル及び第2の学習済み解析モデルの感度や特異度等のパラメータ値に基づいて選択されてもよいし、各値の平均値や最大値、最小値等が選択されてもよい。なお、上記3Bの値は、一例としては、全身のCT画像群にみられる身体部位の疾患に関する情報(その存在する位置(部位)情報や、疾患が存在する領域の体積情報から、全身のCT画像群のうちの特定の画像に対する重み付け係数を求め、その係数を第2の出力情報にかけ合わせることによって算出される。また、上記3Cの値は、上記1Cの値と同様に算出される。
このように、図10によれば、医用情報として、第1の出力情報及び第2の出力情報に基づいて算出された特定画像の疾患情報、全身の疾患情報及び特定部位の疾患情報が表示される。そのため、特定の画像において特定の疾患が存在する確率だけでなく、ヒトの全身において特定の疾患が存在する確率や、特定の部位において特定の疾患が存在する確率などが表示されることで、操作者はより多様な情報を取得することが可能となる。
また、図10によれば、医用情報として、図9と同様に、特定画像の疾患情報の算出に用いられた第1の出力情報に対応するCT画像23、及び表示するCT画像23を切り替えるための切り替えボタン30が含まれる。また、図10によれば、医用情報として、図9と同様に、第1の出力情報である特定の疾患がその位置(部位A)に存在する確度を示す曲線27、部位Bに存在する確度を示す曲線28及び部位Cに存在する確度を示す曲線29が含まれる。そして、選択バー42に対する操作入力を受け付けることによって、表示される特定画像の疾患情報及びそれに対応するCT画像を切り替えることが可能である。
次に、図11は、処理装置100において出力される医用情報の他の例を示す図である。図11の(a)によれば、医用情報として、測定装置400において少なくとも複数の部位を跨いで撮影された複数のCT画像に基づいて再現されたヒトの立体モデル31が含まれる。また、医用情報として、第1の出力情報である特定の疾患の有無、その存在位置(部位)、及びその確度、並びに第2の出力情報である全身における特定の疾患の有無とその確度から、その疾患の存在位置とその確度を示すオブジェクト32及びオブジェクト33が含まれる。
そして、プロセッサ111の処理によって、入力インターフェイス113を介した操作者による操作入力を受け付けて、立体モデル31における注目領域の選択が行われると、医用情報として図11の(b)に示す情報が出力される。図11の(b)によれば、当該医用情報には、立体モデル31で選択された位置に対応する位置のCT画像を第1の入力情報として取得された第1の出力情報が、棒グラフ35として含まれる。また、当該医用情報には、第2の出力情報として取得された対象者の総合的な疾患の有無の確度を示す棒グラフ36が含まれる。さらに、当該医用情報には、第1の出力情報に対応するCT画像34が含まれる。
このように、操作者はヒトの立体モデル31から疾患の位置を把握して、把握された位置に対応する医用情報を得ることができるため、より直感的な操作が可能となる。
以上、本実施形態においては、ヒトの身体の測定データに基づいてより有用や医用情報を出力することが可能な処理装置、処理プログラム、処理方法及び処理システムを提供することができる。
9.変形例
上記実施形態においては、医用情報として特定の疾患の有無に対する確度を棒グラフや曲線で示した。しかし、これらは当該確度を示す情報の表現方法の一例であるに過ぎず、具体的な数値や、「該当あり」又は「該当なし」、「レベル1」、「レベル2」、「レベル3」又は「レベル4」、「軽度」、「中度」又は「重度」などの分類情報として示すようにしてもよい。
上記実施形態においては、第1の入力情報及び第2の入力情報として、測定装置400で測定されたCT画像を用いる場合について説明した。しかし、測定装置400で測定されたCT画像に対して、ハイパスフィルタやローパスフィルタを含むバンドパスフィルタ、平均化フィルタ、ガウシアンフィルタ、ガボールフィルタ、キャニーフィルタ、ソーベルフィルタ、ラプラシアンフィルタ、メディアンフィルタ、バイラテラルフィルタなどのフィルタ処理、ヘッセ行列等を用いた血管抽出処理、機械学習を用いた特定領域(例えば、疾患領域)のセグメンテーション処理、セグメンテーションされた領域に対するトリミング処理、曇り除去処理、超解像処理及びこれらの組み合わせから、高精細化、領域抽出、ノイズ除去、エッジ強調、画像補正、画像変換などの各種前処理を施した画像を第1の入力情報及び第2の入力情報として用いてもよい。
上記実施形態においては、測定装置400としてCT装置を、第1の入力情報及び第2の入力情報としてCT画像を用いる場合について説明した。しかし、これらに限らず、MRI装置、レントゲン装置、心電計装置、超音波診断装置、内視鏡装置、血圧計装置又はこれらの組み合わせを測定装置400として用い、MRI画像、三次元計測データ、レントゲン画像データ、心電データ、エコー検査データ、内視鏡画像データ、血圧測定データ、採血データ、呼吸機能データ、その他の検査データ又はこれらの組み合わせを第1の入力情報及び第2の入力情報として用いてもよい。例えば、血圧測定データを用いる場合、ある時点の局所的な血圧測定データを第1の入力情報として、所定の期間において経時的に変化する血圧測定データを第2の入力情報として用いることが可能である。
上記実施形態においては、測定装置400で測定された測定データに基づいて特定の疾患の有無、その存在位置、及びその確度を取得するようにした。しかし、測定装置400で測定された測定データに加えて、問診情報、所見情報、他の測定データ(MRI画像、三次元計測データ、レントゲン画像データ、心電データ、エコー検査データ、内視鏡画像データ、血圧測定データ、採血データ、呼吸機能データ、その他の検査データ又はこれらの組み合わせ)など用いて取得するようにしてもよい。
上記実施形態で説明した第1の学習済み解析モデル及び第2の学習済み解析モデルは、ニューラルネットワークや畳み込みニューラルネットワークを用いて生成した。しかし、これらに限らず、ニアレストネイバー法、決定木、回帰木、ランダムフォレスト等の機械学習を用いて生成することも可能である。
本明細書で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能である。具体的には、本明細書で説明された処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク、光ストレージ等の媒体に、当該処理に相当するロジックを実装することによって実現される。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、処理装置やサーバ装置を含む各種のコンピュータに実行させることが可能である。
本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理又は手順は、複数の装置、複数のソフトウェア、複数のコンポーネント、及び/又は、複数のモジュールによって実行されるものとすることができる。また、本明細書中で説明される各種情報が単一のメモリや記憶部に格納される旨が説明されたとしても、そのような情報は、単一の装置に備えられた複数のメモリ又は複数の装置に分散して配置された複数のメモリに分散して格納されるものとすることができる。さらに、本明細書において説明されるソフトウェア及びハードウェアの要素は、それらをより少ない構成要素に統合して、又は、より多い構成要素に分解することによって実現されるものとすることができる。
1 処理システム
100 処理装置
200 ディスプレイ装置
300-1 第1のモデル生成装置
300-2 第2のモデル生成装置
400 測定装置


Claims (10)

  1. 少なくとも一つのプロセッサを具備する処理装置であって、
    前記少なくとも一つのプロセッサは、
    ヒトの身体の状態を測定した測定データを取得し、
    第1の学習済み解析モデルに前記測定データに含まれるデータを入力することで出力される前記身体の状態に関する第1の出力情報を取得し、
    前記第1の学習済み解析モデルとは異なる第2の学習済み解析モデルに前記測定データに含まれるデータを入力することで出力される、前記第1の出力情報とは異なる前記身体の状態に関する第2の出力情報を取得し、
    前記第1の出力情報と前記第2の出力情報の少なくともいずれかに基づいて医用情報を出力する、
    処理装置。
  2. 前記測定データは測定装置によって撮像された複数個の画像である、請求項1に記載の処理装置。
  3. 前記第1の出力情報は、前記複数個の画像うち第1の個数の画像が前記第1の学習済み解析モデルに入力されることによって取得され、
    前記第2の出力情報は、前記複数個の画像のうち、前記第1の個数よりも多い個数の画像が前記第2の学習済み解析モデルに入力されることによって取得される、
    請求項2に記載の処理装置。
  4. 前記第2の出力情報は、前記ヒトの身体の少なくとも複数の部位において所定の間隔で撮影された複数個の画像が入力されることによって取得される、請求項3に記載の処理装置。
  5. 前記第1の出力情報は、前記ヒトの身体の少なくとも複数の部位において所定の間隔で撮影された複数個の画像のうち1個の画像が入力されることによって取得される、請求項3に記載の処理装置。
  6. 前記第1の出力情報及び前記第2の出力情報は、前記身体における特定の疾患の有無の確度を示す情報を含む、請求項1に記載の処理装置。
  7. 前記第1の出力情報は、前記ヒトの身体において所定の間隔で撮影された個々の画像ごとに取得された特定の疾患に対する確度を含み、
    前記医用情報は、個々の画像における前記確度の遷移を示す曲線を含む、
    請求項2に記載の処理装置。
  8. 少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサを、
    ヒトの身体の状態を測定した測定データに含まれるデータを取得し、
    第1の学習済み解析モデルに前記測定データに含まれるデータを入力することで出力される前記身体の状態に関する第1の出力情報を取得し、
    前記第1の学習済み解析モデルとは異なる第2の学習済み解析モデルに前記測定データに含まれるデータを入力することで出力される、前記第1の出力情報とは異なる前記身体の状態に関する第2の出力情報を取得し、
    前記第1の出力情報と前記第2の出力情報の少なくともいずれかに基づいて医用情報を出力する、
    ように機能させる処理プログラム。
  9. 少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサにより実行される処理方法であって、
    ヒトの身体の状態を測定した測定データに含まれるデータを取得する段階と、
    第1の学習済み解析モデルに前記測定データに含まれるデータを入力することで出力される前記身体の状態に関する第1の出力情報を取得する段階と、
    前記第1の学習済み解析モデルとは異なる第2の学習済み解析モデルに前記測定データに含まれるデータを入力することで出力される、前記第1の出力情報とは異なる前記身体の状態に関する第2の出力情報を取得する段階と、
    前記第1の出力情報と前記第2の出力情報の少なくともいずれかに基づいて医用情報を出力する段階と、
    を含む処理方法。
  10. 請求項1に記載の処理装置と、
    前記処理装置から出力された医用情報を表示するためのディスプレイ装置と、
    を含む処理システム。

JP2022180714A 2022-11-11 2022-11-11 処理装置、処理プログラム、処理方法及び処理システム Pending JP2024070317A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022180714A JP2024070317A (ja) 2022-11-11 2022-11-11 処理装置、処理プログラム、処理方法及び処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022180714A JP2024070317A (ja) 2022-11-11 2022-11-11 処理装置、処理プログラム、処理方法及び処理システム

Publications (1)

Publication Number Publication Date
JP2024070317A true JP2024070317A (ja) 2024-05-23

Family

ID=91128743

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022180714A Pending JP2024070317A (ja) 2022-11-11 2022-11-11 処理装置、処理プログラム、処理方法及び処理システム

Country Status (1)

Country Link
JP (1) JP2024070317A (ja)

Similar Documents

Publication Publication Date Title
JP6930283B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP7080932B2 (ja) ワークフロー管理のための方法およびシステム
US20120166211A1 (en) Method and apparatus for aiding imaging diagnosis using medical image, and image diagnosis aiding system for performing the method
US20120299818A1 (en) Medical information display apparatus, operation method of the same and medical information display program
KR20170096088A (ko) 영상처리장치, 영상처리방법 및 이를 기록한 기록매체
US20200020435A1 (en) Method and system for identification of cerebrovascular abnormalities
US12070356B2 (en) Medical imaging apparatus to automatically determine presence of an abnormality including a determination to transmit an assistance image and a classified abnormality stage
JP6897656B2 (ja) 画像表示制御システム、画像表示システム、画像解析装置、画像表示制御プログラム及び画像表示制御方法
KR101518804B1 (ko) 의료 데이터 관리 방법 및 장치
JP2024023936A (ja) 情報処理装置、医用画像表示装置及びプログラム
CN111226287B (zh) 用于分析医学成像数据集的方法、系统、程序产品和介质
JP7223539B2 (ja) 乳がん診断支援装置、乳がん診断支援システム、および乳がん診断支援方法
Pershin et al. Artificial intelligence for the analysis of workload-related changes in radiologists’ gaze patterns
US20220108801A1 (en) Diagnosis and treatment support system
EP3362925B1 (en) Systems and methods for generating correct radiological recommendations
CN111753831A (zh) 一种图像分析方法、装置、图像采集设备及存储介质
JP7330744B2 (ja) 医用情報処理装置、オーダリングシステム及びプログラム
JP2024070317A (ja) 処理装置、処理プログラム、処理方法及び処理システム
JP6711675B2 (ja) 読影支援装置
JP4617116B2 (ja) 即時医療映像自動的サーチ対照方法及びそのシステム
JP7474568B2 (ja) 医用情報表示装置、及び医用情報表示システム
JP2019162314A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6568375B2 (ja) 眼科情報処理システム、画像処理装置、および画像処理方法
US20180121813A1 (en) Non-leading computer aided detection of features of interest in imagery
JP2024126610A (ja) 処理装置、処理プログラム、処理方法及び処理システム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20240319

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20240401