JP7287151B2 - 医用情報処理装置及びプログラム - Google Patents
医用情報処理装置及びプログラム Download PDFInfo
- Publication number
- JP7287151B2 JP7287151B2 JP2019123307A JP2019123307A JP7287151B2 JP 7287151 B2 JP7287151 B2 JP 7287151B2 JP 2019123307 A JP2019123307 A JP 2019123307A JP 2019123307 A JP2019123307 A JP 2019123307A JP 7287151 B2 JP7287151 B2 JP 7287151B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- extracted
- extraction means
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 30
- 230000003902 lesion Effects 0.000 claims description 52
- 230000001575 pathological effect Effects 0.000 claims description 47
- 238000000605 extraction Methods 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 26
- 238000003745 diagnosis Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 13
- 238000002604 ultrasonography Methods 0.000 claims description 12
- 238000009607 mammography Methods 0.000 claims description 6
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 150000001413 amino acids Chemical class 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012252 genetic analysis Methods 0.000 claims description 2
- 230000001744 histochemical effect Effects 0.000 claims description 2
- 238000010186 staining Methods 0.000 claims description 2
- 239000000439 tumor marker Substances 0.000 claims description 2
- 238000001574 biopsy Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 17
- 206010028980 Neoplasm Diseases 0.000 description 10
- 238000010191 image analysis Methods 0.000 description 10
- 239000003147 molecular marker Substances 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 239000000523 sample Substances 0.000 description 7
- 240000004050 Pentaglottis sempervirens Species 0.000 description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 6
- 210000000481 breast Anatomy 0.000 description 5
- 201000011510 cancer Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000010827 pathological analysis Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000036210 malignancy Effects 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 230000003211 malignant effect Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 108091032973 (ribonucleotides)n+m Proteins 0.000 description 2
- 238000002583 angiography Methods 0.000 description 2
- 238000002512 chemotherapy Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000037361 pathway Effects 0.000 description 2
- 238000003752 polymerase chain reaction Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000001959 radiotherapy Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 102000040650 (ribonucleotides)n+m Human genes 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001973 epigenetic effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011337 individualized treatment Methods 0.000 description 1
- 230000002601 intratumoral effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010208 microarray analysis Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000013188 needle biopsy Methods 0.000 description 1
- 102000042567 non-coding RNA Human genes 0.000 description 1
- 108091027963 non-coding RNA Proteins 0.000 description 1
- 239000002773 nucleotide Substances 0.000 description 1
- 125000003729 nucleotide group Chemical group 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 229940126585 therapeutic drug Drugs 0.000 description 1
- 210000000779 thoracic wall Anatomy 0.000 description 1
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Description
本発明は、医用情報処理装置及びプログラムに関する。
臨床の現場でがん患者の個別化治療を推進していくためには、腫瘍の種類や進行期を診断した上で、外科的切除、化学療法、放射線療法等の治療法を決定する必要がある。治療法の決定のため、超音波ガイド下にて針を挿入して腫瘍検体の採取を行い、病理学的な解析が行われている。
穿刺作業をより容易にするために、超音波プローブに穿刺針を装着するためのアタッチメントや、穿刺専用の超音波プローブが実用化されている。これらを用いることで、超音波スキャン面の中で穿刺針が進入していく経路を特定し、進入予測経路をライン状のマーカーとして表示することが可能であるため、医師等の操作者は、超音波断層像でマーカー上に存在する組織等を観察し、そのマーカー上に血管等が存在していないこと及び穿刺針が病変部（採取ターゲット）に向かっていることを確認しながら、患者体表に対する超音波プローブの適用位置及び角度を探索することができる。
また、Ｘ線ＣＴやＭＲＩ等の画像収集装置で収集した３次元ボリュームデータから、操作者により任意に指定された仮想穿刺用超音波プローブの位置及び角度に応じた超音波スキャン面に対応する断面画像を穿刺断面及び情報生成装置で再構成し、モニターに表示することでより高精度な穿刺を実現するシステムも存在する（例えば、特許文献１参照）。
このように、穿刺生検をガイドするためのシステムは数多く存在し、狙った箇所の細胞・組織を採取するための技術は高度化してきている。
ここで、穿刺・針生検に基づく病理学的検査（生体検査）の課題の一つとして、腫瘍内不均一性が挙げられる。一つの腫瘍は多様な遺伝子変異を伴う、不均一な細胞集団から形成されていることが知られており、 Gerlinger らは、同一の腫瘍から良性および予後不良の複数の遺伝子発現パターンを検出したことを報告している(例えば、非特許文献１参照)。すなわち、診断を正確に行うには、腫瘍中の診断に適した箇所を狙って細胞・組織検体を採取する必要がある。
Gerlinger M et al., "Intratumor Heterogeneity and Branched Evolution Revealed by Multiregion Sequencing", N Engl J Med, 366: 883-92, 2012.
しかしながら、不均一な性質を持つ腫瘍のどの部分から検体を採取するのが適切かを正確に把握して診断に適した検体を採取することは非常に困難であり、一連の作業は医師の過去の知見や技術に大きく依存している。
また、一般的に、生体組織生検は超音波診断装置のガイド下にて行われているが、超音波診断装置ガイド下での生体検査はリアルタイム性に優れている一方、特に手動スキャンの場合には病変の全体像を瞬時に捉えにくいという課題がある。
本発明は、被検体に対して生体検査を行う際に、診断に適した検体を採取できるように支援することを目的とする。また、より高精細かつ、病変全体の俯瞰性が高い画像を第一画像として病変領域内において同じ病理学的特徴を有する領域の抽出を行い、その結果に基づいて、第二画像から第一画像において抽出された領域と病理学的に同じ特徴を有する領域を抽出することで、病変の全体像を瞬時に捉えやすくし、所見の見落とし防止、偽陽性や偽陰性の低減、及び検査時間の削減を図ることを目的とする。
上記課題を解決するため、本発明の医用情報処理装置は、
被検体を撮影することにより取得された第一画像を解析して、前記第一画像から、前記被検体に含まれる複数の病理学的な特徴を含む病変領域内を、病理学的に同じ特徴を有する領域を一つの領域として複数の領域に分割することにより、複数の領域を抽出する第一抽出手段と、
前記被検体を撮影することにより取得された前記第一画像とは異なる第二画像を解析して、前記第二画像から前記第一抽出手段により抽出された領域と病理学的に同じ特徴を有する領域を抽出する第二抽出手段と、
前記第二画像と、前記第二抽出手段により抽出された領域に関する情報とを対応付けて出力する出力手段と、
を備える。
被検体を撮影することにより取得された第一画像を解析して、前記第一画像から、前記被検体に含まれる複数の病理学的な特徴を含む病変領域内を、病理学的に同じ特徴を有する領域を一つの領域として複数の領域に分割することにより、複数の領域を抽出する第一抽出手段と、
前記被検体を撮影することにより取得された前記第一画像とは異なる第二画像を解析して、前記第二画像から前記第一抽出手段により抽出された領域と病理学的に同じ特徴を有する領域を抽出する第二抽出手段と、
前記第二画像と、前記第二抽出手段により抽出された領域に関する情報とを対応付けて出力する出力手段と、
を備える。
また、本発明のプログラムは、
コンピューターを、
被検体を撮影することにより取得された第一画像を解析して、前記第一画像から、前記被検体に含まれる複数の病理学的な特徴を含む病変領域内を、病理学的に同じ特徴を有する領域を一つの領域として複数の領域に分割することにより、複数の領域を抽出する第一抽出手段、
前記被検体を撮影することにより取得された前記第一画像とは異なる第二画像を解析して、前記第二画像から前記第一抽出手段により抽出された領域と病理学的に同じ特徴を有する領域を抽出する第二抽出手段、
前記第二画像と、前記第二抽出手段により抽出された領域に関する情報とを対応付けて出力する出力手段、
として機能させる。
コンピューターを、
被検体を撮影することにより取得された第一画像を解析して、前記第一画像から、前記被検体に含まれる複数の病理学的な特徴を含む病変領域内を、病理学的に同じ特徴を有する領域を一つの領域として複数の領域に分割することにより、複数の領域を抽出する第一抽出手段、
前記被検体を撮影することにより取得された前記第一画像とは異なる第二画像を解析して、前記第二画像から前記第一抽出手段により抽出された領域と病理学的に同じ特徴を有する領域を抽出する第二抽出手段、
前記第二画像と、前記第二抽出手段により抽出された領域に関する情報とを対応付けて出力する出力手段、
として機能させる。
本発明によれば、被検体に対して生体検査を行う際に、診断に適した検体を採取できるように支援することが可能となる。また、より高精細かつ、病変全体の俯瞰性が高い画像を第一画像として病変領域内において同じ病理学的特徴を有する領域の抽出を行い、その結果に基づいて、第二画像から第一画像において抽出された領域と病理学的に同じ特徴を有する領域を抽出することで、病変の全体像を瞬時に捉えやすくし、所見の見落とし防止、偽陽性や偽陰性の低減、及び検査時間の削減が可能となる。
以下、図面を参照して本発明の実施形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。
〔生体検査支援システム１００の構成〕
まず、構成を説明する。
図１に、本実施形態における生体検査支援システム１００の全体構成を示す。
図１に示すように、生体検査支援システム１００は、第一画像撮影装置１と、第二画像撮影装置２と、情報処理装置（医用情報処理装置）３とがＬＡＮ（Local Area Network）等の通信ネットワークＮを介して接続されて構成されている。生体検査支援システム１００を構成する各装置は、ＨＬ７（Health Level Seven）やＤＩＣＯＭ（Digital Image and Communications in Medicine）規格に準じており、各装置間の通信は、ＨＬ７やＤＩＣＯＭに則って行われる。
まず、構成を説明する。
図１に、本実施形態における生体検査支援システム１００の全体構成を示す。
図１に示すように、生体検査支援システム１００は、第一画像撮影装置１と、第二画像撮影装置２と、情報処理装置（医用情報処理装置）３とがＬＡＮ（Local Area Network）等の通信ネットワークＮを介して接続されて構成されている。生体検査支援システム１００を構成する各装置は、ＨＬ７（Health Level Seven）やＤＩＣＯＭ（Digital Image and Communications in Medicine）規格に準じており、各装置間の通信は、ＨＬ７やＤＩＣＯＭに則って行われる。
第一画像撮影装置１は、例えば、Ｘ線撮影装置（ＤＲ（トモシンセシス撮影が可能なものを含む）、ＣＲ、ＣＴ、透視装置、アンギオ装置等）、超音波診断装置（ＵＳ）、ＭＲＩ、ＰＥＴ、又はＰＥＴ－ＣＴ等のモダリティーであり、被検体を撮影して医用画像（第一画像と呼ぶ）を生成する。第一画像撮影装置１は、ＤＩＣＯＭ規格に則って、付帯情報（患者情報、検査情報、画像ＩＤ、スライス番号等）を医用画像の画像ファイルのヘッダーに書き込むことにより、第一画像に付帯情報を付帯させ、情報処理装置３に送信する。
本実施形態では、第一画像撮影装置１が乳房Ｘ線撮影装置であり、第一画像が、乳房全体を俯瞰的に観察することができるマンモグラフィー画像であることとして説明するが、これに限定されるものではない。
本実施形態では、第一画像撮影装置１が乳房Ｘ線撮影装置であり、第一画像が、乳房全体を俯瞰的に観察することができるマンモグラフィー画像であることとして説明するが、これに限定されるものではない。
第二画像撮影装置２は、例えば、Ｘ線撮影装置（ＤＲ（トモシンセシス撮影が可能なものを含む）、ＣＲ、ＣＴ、透視装置、アンギオ装置等）、超音波診断装置（ＵＳ）、ＭＲＩ、ＰＥＴ、ＰＥＴ－ＣＴ等のモダリティーであり、被検体を撮影して医用画像（第二画像と呼ぶ）を生成する。第二画像撮影装置２は、ＤＩＣＯＭ規格に則って、付帯情報（患者情報、検査情報、画像ＩＤ、スライス番号等）を医用画像の画像ファイルのヘッダーに書き込むことにより、第二画像に付帯情報を付帯させ、情報処理装置３に送信する。
本実施形態では、第二画像撮影装置２がハンドヘルド型の超音波診断装置であり、第二画像が乳房の超音波画像であることとして説明するが、これに限定されるものではない。
本実施形態では、第二画像撮影装置２がハンドヘルド型の超音波診断装置であり、第二画像が乳房の超音波画像であることとして説明するが、これに限定されるものではない。
情報処理装置３は、第一画像撮影装置１から送信された第一画像及び第二画像撮影装置２から送信された第二画像を解析し、生体検査を支援する支援情報として、病変領域内の領域情報を出力するコンピューター装置である。
図２に、情報処理装置３の機能的構成を示す。図２に示すように、情報処理装置３は、制御部３１、操作部３２、表示部３３、通信部３４、記憶部３５等を備えて構成されており、各部はバス３６により接続されている。
図２に、情報処理装置３の機能的構成を示す。図２に示すように、情報処理装置３は、制御部３１、操作部３２、表示部３３、通信部３４、記憶部３５等を備えて構成されており、各部はバス３６により接続されている。
制御部３１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成され、情報処理装置３の各部の処理動作を統括的に制御する。具体的には、ＣＰＵは、ＲＯＭに記憶されている各種処理プログラムを読み出してＲＡＭに展開し、当該プログラムとの協働により各種処理を行う。
制御部３１は、後述する領域情報取得処理を実行することにより、第一抽出手段、第二抽出手段、出力手段、特定手段、算出手段として機能する。また、表示部３３との協働により報知手段として機能する。
制御部３１は、後述する領域情報取得処理を実行することにより、第一抽出手段、第二抽出手段、出力手段、特定手段、算出手段として機能する。また、表示部３３との協働により報知手段として機能する。
操作部３２は、カーソルキー、文字・数字入力キー及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された操作信号を制御部３１に出力する。また、操作部３２が、表示部３３に積層されたタッチパネルにより構成される場合には、ユーザーの指等によるタッチ操作の位置に応じた操作信号を制御部３１に出力する。
表示部３３は、ＬＣＤ（Liquid Crystal Display）等のモニターを備えて構成されており、制御部３１から入力される表示信号の指示に従って、各種画面を表示する。モニターは、１台であっても複数台であってもよい。
通信部３４は、ネットワークインターフェース等により構成され、通信ネットワークＮを介して接続された外部機器との間でデータの送受信を行う。
記憶部５６は、ハードディスクや不揮発性の半導体メモリー等により構成され、各種データを記憶する。
〔生体検査支援システム１００を用いた生体検査の流れ〕
次に、生体検査支援システム１００を用いた生体検査の流れについて説明する。
本実施形態では、乳がんの生体検査を行う場合を例にとり説明する。
次に、生体検査支援システム１００を用いた生体検査の流れについて説明する。
本実施形態では、乳がんの生体検査を行う場合を例にとり説明する。
まず、第一画像撮影装置１にて被検体（被検者の乳房）のＸ線撮影を行い、第一画像としてのマンモグラフィー画像を生成し、情報処理装置３に送信する。
医師等の検査者（ユーザー）は、マンモグラフィー画像から病変領域の俯瞰的な位置情報を得て、病変領域を狙って超音波診断装置である第二画像撮影装置２で撮影を行って第二画像としての超音波画像を生成し、情報処理装置３に送信する。
情報処理装置３においては、入力された第一画像及び第二画像に基づいて、領域情報取得処理（図４参照）を実行し、第二画像において検出された病変領域内をさらに病理学的な特徴によって分割し、分割された各領域に関する領域情報（領域位置情報、領域特徴情報）を出力する。
医師等の検査者は、情報処理装置３から出力された第二画像及び領域情報に基づいて、病変領域内における穿刺すべき領域を特定して生体検査を行う。
医師等の検査者（ユーザー）は、マンモグラフィー画像から病変領域の俯瞰的な位置情報を得て、病変領域を狙って超音波診断装置である第二画像撮影装置２で撮影を行って第二画像としての超音波画像を生成し、情報処理装置３に送信する。
情報処理装置３においては、入力された第一画像及び第二画像に基づいて、領域情報取得処理（図４参照）を実行し、第二画像において検出された病変領域内をさらに病理学的な特徴によって分割し、分割された各領域に関する領域情報（領域位置情報、領域特徴情報）を出力する。
医師等の検査者は、情報処理装置３から出力された第二画像及び領域情報に基づいて、病変領域内における穿刺すべき領域を特定して生体検査を行う。
〔識別器の事前学習〕
ここで、領域情報取得処理では、第一画像と第二画像の病変領域内の画像特徴量から病変領域内の病理学的な特徴を推定するための事前学習済みの識別器を用いる。そこで、まず、事前学習済みの識別器を生成するための事前学習処理について説明する。
ここで、領域情報取得処理では、第一画像と第二画像の病変領域内の画像特徴量から病変領域内の病理学的な特徴を推定するための事前学習済みの識別器を用いる。そこで、まず、事前学習済みの識別器を生成するための事前学習処理について説明する。
図３は、事前学習処理の流れを示すフローチャートである。図３の事前学習処理は、制御部３１と記憶部３５に記憶されているプログラムとの協働により実行される。入力画像を第一画像として事前学習処理を実行することにより、第一画像の病変領域の画像特徴量から病変領域内の病理学的な特徴を推定するための識別器が生成される。入力画像を第二画像として事前学習処理を実行することにより、第二画像の病変領域の画像特徴量から病変領域内の病理学的な特徴を推定するための識別器を生成することができる。
なお、この事前学習処理は、外部のコンピューター装置等において行って、得られた識別器を記憶部３５に記憶しておくこととしてもよい。
なお、この事前学習処理は、外部のコンピューター装置等において行って、得られた識別器を記憶部３５に記憶しておくこととしてもよい。
まず、制御部３１は、複数の（多量の）入力画像の入力を受け付ける（ステップＳ１）。
次いで、制御部３１は、各入力画像について、ＲＯＩ（関心領域）を抽出する（ステップＳ２）。
本実施形態において、ＲＯＩは、病変の存在する病変領域である。ＲＯＩの抽出は、ＣＡＤ（Computer-Aided Diagnosis/Detection：コンピューター支援診断/検出）システムを用いて行うこととしてもよいし、ユーザーが表示部３３に表示された入力画像から操作部３２を用いて指定してもよい。
本実施形態において、ＲＯＩは、病変の存在する病変領域である。ＲＯＩの抽出は、ＣＡＤ（Computer-Aided Diagnosis/Detection：コンピューター支援診断/検出）システムを用いて行うこととしてもよいし、ユーザーが表示部３３に表示された入力画像から操作部３２を用いて指定してもよい。
次いで、制御部３１は、各入力画像から抽出された各ＲＯＩ内の画像特徴量を抽出する（ステップＳ３）。
ステップＳ３においては、例えば、画素ごとに、濃度、形状、テクスチャー、ウェーブレット変換に基づく多重解像度特徴等の画像特徴量を抽出する。画像特徴量は、一種類を抽出してもよいし、複数種類を抽出してもよい。
ステップＳ３においては、例えば、画素ごとに、濃度、形状、テクスチャー、ウェーブレット変換に基づく多重解像度特徴等の画像特徴量を抽出する。画像特徴量は、一種類を抽出してもよいし、複数種類を抽出してもよい。
次いで、制御部３１は、各入力画像の被写体である被検者の、各入力画像の各ＲＯＩに対応する位置から取り出した検体に対して行われた病理検査の結果を正解ラベルとして各ＲＯＩ内において抽出された画像特徴量に対応付けて記憶部３５に記憶させる（ステップＳ４）。
例えば、各入力画像を表示部３３に表示して、ユーザー操作に応じて各ＲＯＩに対する正解ラベルを入力させ、ＲＯＩから抽出された画像特徴量と入力された正解ラベルを対応付けて記憶部３５に記憶させる。
また、例えば、ＲＯＩに対応する位置から取り出された検体の病理画像から、画素ごとの特徴マップ(病理検査結果の値を示すマップ)を正解ラベルとして作成し、画素ごとに、ＲＯＩ内にて抽出される画像特徴量と対応付けて記憶部３５に記憶させることとしてもよい。
例えば、各入力画像を表示部３３に表示して、ユーザー操作に応じて各ＲＯＩに対する正解ラベルを入力させ、ＲＯＩから抽出された画像特徴量と入力された正解ラベルを対応付けて記憶部３５に記憶させる。
また、例えば、ＲＯＩに対応する位置から取り出された検体の病理画像から、画素ごとの特徴マップ(病理検査結果の値を示すマップ)を正解ラベルとして作成し、画素ごとに、ＲＯＩ内にて抽出される画像特徴量と対応付けて記憶部３５に記憶させることとしてもよい。
ここで、正解ラベルとなる病理検査の結果は、例えば、以下のいずれかが挙げられる。
・各種分子マーカー値（組織化学染色や、腫瘍マーカー分析、アミノ酸分析、遺伝子解析(例えば、マイクロアレイ分析、ポリメラーゼ連鎖反応(PCR)、遺伝子(DNA/RNA)配列解析などによって得られる遺伝子経路活性(gene pathway activation)、ノンコーディングRNA(noncoding RNA)、複数のＲＮＡ（multiple RNAs)、一塩基多型（single nucleotide polymorphism)、コピー数多型（copy number polymorphism)、エピジェネティック多型（epigenetic polymorphism)等)によって決定される病理検査結果の値）
・上述の分子マーカー値や形態学的診断によって決定される病理診断名
・上述の分子マーカー値や形態学的診断によって決定される良性か悪性かを示す情報
・上述の分子マーカー値や形態学的診断によって決定される病変の悪性度
・上述の分子マーカー値や形態学的診断によって決定されるステージ分類
・各種分子マーカー値（組織化学染色や、腫瘍マーカー分析、アミノ酸分析、遺伝子解析(例えば、マイクロアレイ分析、ポリメラーゼ連鎖反応(PCR)、遺伝子(DNA/RNA)配列解析などによって得られる遺伝子経路活性(gene pathway activation)、ノンコーディングRNA(noncoding RNA)、複数のＲＮＡ（multiple RNAs)、一塩基多型（single nucleotide polymorphism)、コピー数多型（copy number polymorphism)、エピジェネティック多型（epigenetic polymorphism)等)によって決定される病理検査結果の値）
・上述の分子マーカー値や形態学的診断によって決定される病理診断名
・上述の分子マーカー値や形態学的診断によって決定される良性か悪性かを示す情報
・上述の分子マーカー値や形態学的診断によって決定される病変の悪性度
・上述の分子マーカー値や形態学的診断によって決定されるステージ分類
なお、病理検査では、取り出した検体が病理学的に不均一な特徴を有している場合、検体内の位置によって異なる検査結果が得られる。よって、一つのＲＯＩに対しても、位置によって異なる正解ラベルが対応付けられることがある。
そして、制御部３１は、画像特徴量と正解ラベルを対応付けて機械学習により学習させて識別器を生成し（ステップＳ５）、事前学習処理を終了する。
機械学習のアルゴリズムとしては、例えば、ランダムフォレスト、 決定木、サポートベクタマシン、 ロジスティック回帰、k近傍法、トピックモデル、Deep Learningの各種ネットワークモデル(Alex Net、Google Net等)等を用いることができる。なお、Deep Learningの場合は、ステップＳ３における画像特徴量の抽出は自動的に行われるため、独立して行わない。
機械学習のアルゴリズムとしては、例えば、ランダムフォレスト、 決定木、サポートベクタマシン、 ロジスティック回帰、k近傍法、トピックモデル、Deep Learningの各種ネットワークモデル(Alex Net、Google Net等)等を用いることができる。なお、Deep Learningの場合は、ステップＳ３における画像特徴量の抽出は自動的に行われるため、独立して行わない。
以上の事前学習処理により、第一画像と第二画像のそれぞれの病変領域の画像特徴量から病理学的な特徴を推定するための識別器をそれぞれ生成することができる。
〔領域情報取得処理〕
以下、情報処理装置３において実行される領域情報取得処理について説明する。
図４は、領域情報取得処理の流れを示すフローチャートである。図４に示す領域情報取得処理は、制御部３１と記憶部３５に記憶されているプログラムとの協働により実行される。
以下、情報処理装置３において実行される領域情報取得処理について説明する。
図４は、領域情報取得処理の流れを示すフローチャートである。図４に示す領域情報取得処理は、制御部３１と記憶部３５に記憶されているプログラムとの協働により実行される。
まず、制御部３１は、第一画像の入力を受け付ける（ステップＳ１１）。
次いで、制御部３１は、第一画像を対象画像として画像解析処理を実行する（ステップＳ１２）。
次いで、制御部３１は、第一画像を対象画像として画像解析処理を実行する（ステップＳ１２）。
図５は、画像解析処理の流れを示すフローチャートである。画像解析処理は、制御部３１と記憶部３５に記憶されているプログラムとの協働により実行される。
まず、対象画像からＲＯＩを抽出する（ステップＳ１０１）。
ＲＯＩは、病変の存在する病変領域である。ＲＯＩの抽出は、ＣＡＤを用いて行うこととしてもよいし、ユーザーが表示部３３に表示された対象画像から操作部３２を用いて指定してもよい。
ＲＯＩは、病変の存在する病変領域である。ＲＯＩの抽出は、ＣＡＤを用いて行うこととしてもよいし、ユーザーが表示部３３に表示された対象画像から操作部３２を用いて指定してもよい。
なお、ＣＡＤによるＲＯＩ抽出でＲＯＩすなわち病変領域が抽出されなかった場合、制御部３１は、例えば、病変領域が抽出されなかった旨を表示部３３に表示して、ユーザーに処理を終了するか、手動でＲＯＩを指定するか、又は次の画像の解析に移行するか、を選択させる。処理を終了することが選択された場合、制御部３１は、画像解析処理を終了するとともに、領域情報取得処理を終了する。次の画像の解析に移行することが選択された場合、制御部３１は、次の対象画像の入力を待機して、次の対象画像に対してＲＯＩの抽出を行う。また、ユーザーが操作部３２を用いてＲＯＩを指定する場合においても、例えば、処理の終了を指示する終了ボタン、次の画像の解析への移行を指示するための移行ボタン等を設け、病変領域が存在しなかった場合に、処理を終了したり、次の画像についての解析に移行したりできるようにすることが好ましい。
次いで、制御部３１は、ＲＯＩ内の画像特徴量を抽出する（ステップＳ１０２）。
ステップＳ１０２においては、例えば、画素ごとに、濃度、形状、テクスチャー、ウェーブレット変換に基づく多重解像度特徴等の画像特徴量を抽出する。画像特徴量は、一種類を抽出してもよいし、複数種類を抽出してもよい。
ステップＳ１０２においては、例えば、画素ごとに、濃度、形状、テクスチャー、ウェーブレット変換に基づく多重解像度特徴等の画像特徴量を抽出する。画像特徴量は、一種類を抽出してもよいし、複数種類を抽出してもよい。
次いで、制御部３１は、事前学習済みの識別器を用いて、ＲＯＩに対して特徴量解析を行い、ＲＯＩ内の画素ごとに病理学的な特徴を示す情報を取得する（ステップＳ１０３）。
ステップＳ１０３で使用される識別器は、上述の事前学習処理によって生成された識別器である。病理学的な特徴を示す情報とは、上述の各種分子マーカー値、病理診断名、良性か悪性かを示す情報、悪性度、ステージ分類等である。
ステップＳ１０３で使用される識別器は、上述の事前学習処理によって生成された識別器である。病理学的な特徴を示す情報とは、上述の各種分子マーカー値、病理診断名、良性か悪性かを示す情報、悪性度、ステージ分類等である。
そして、制御部３１は、ＲＯＩ内の画素ごとの病理学的な特徴を示す情報を解析結果として出力し（ステップＳ１０４）、図４のステップＳ１３に移行する。
図４のステップＳ１３において、制御部３１は、画像解析処理の解析結果に基づいて、ＲＯＩ内から病理学的に同じ特徴を有する領域を一つの領域として、一又は複数の領域の領域抽出を行う（ステップＳ１３）。ＲＯＩ全体が病理学的に同じ特徴を有する単一の領域である場合はＲＯＩ全体を一の領域として抽出し、ＲＯＩ内に複数の病理学的特徴を有する領域が含まれている場合には複数の領域を抽出する。
ここで、「病理学的に同じ特徴を有する」とは、例えば、各種分子マーカー値が病理学的な特徴を示す情報として使用されている場合、値が完全に一致していることに限られず、値が病理学的に同じとみなせる範囲（例えば、診断名やステージ分類等が同じとなる範囲）であるものを含む。
ここで、「病理学的に同じ特徴を有する」とは、例えば、各種分子マーカー値が病理学的な特徴を示す情報として使用されている場合、値が完全に一致していることに限られず、値が病理学的に同じとみなせる範囲（例えば、診断名やステージ分類等が同じとなる範囲）であるものを含む。
次いで、制御部３１は、ＲＯＩ内から抽出された領域の領域情報を出力する（ステップＳ１４）。
例えば、第一画像及び第一画像のＲＯＩ内から抽出された各領域の領域情報（例えば、抽出された各領域の位置情報、各領域の病理学的な特徴を示す領域特徴情報（例えば、各種分子マーカー値、病理診断名、悪性度、ステージ分類等））を表示部３３に出力して表示させる。また、第一画像及び領域情報をプリンター等に出力して用紙に印刷させることとしてもよい。
例えば、第一画像及び第一画像のＲＯＩ内から抽出された各領域の領域情報（例えば、抽出された各領域の位置情報、各領域の病理学的な特徴を示す領域特徴情報（例えば、各種分子マーカー値、病理診断名、悪性度、ステージ分類等））を表示部３３に出力して表示させる。また、第一画像及び領域情報をプリンター等に出力して用紙に印刷させることとしてもよい。
図６に、ステップＳ１４において出力される第一画像及び領域情報の一例を示す。図６に示すように、ステップＳ１４においては、例えば、第一画像において抽出されたＲＯＩ（病変領域）を示すアノテーションＡ１が表示されるとともに、その近傍に、ＲＯＩ内から抽出された領域の領域情報が出力される。
ここで、ステップＳ１３においてＲＯＩ内から複数の領域が抽出された場合、制御部３１は、抽出された複数の領域の中から第二画像における領域抽出に用いる対象領域を特定してもよい。これにより、第二画像における領域抽出に用いる対象領域を重要なものに限定することができる。
例えば、以下の一以上に基づいて、対象領域を特定することができる。
・上述の各種分子マーカー値、病理診断名、病変の悪性度、ステージ分類(病期)、良性か悪性か等の病理学的特徴に対して予め設定された優先度（例えば、分子マーカー値が大きい領域ほど優先度が高い等）
・診断の有効性に基づく優先度(得られた病理学的特徴が治療に寄与するかどうか、例えば、治療薬があるか、化学療法や放射線治療の効果があるか等によって優先づけが行われる)
・上記以外の、ユーザーにより予め任意に設定された優先度
・操作部３２によるユーザーの領域指定
例えば、以下の一以上に基づいて、対象領域を特定することができる。
・上述の各種分子マーカー値、病理診断名、病変の悪性度、ステージ分類(病期)、良性か悪性か等の病理学的特徴に対して予め設定された優先度（例えば、分子マーカー値が大きい領域ほど優先度が高い等）
・診断の有効性に基づく優先度(得られた病理学的特徴が治療に寄与するかどうか、例えば、治療薬があるか、化学療法や放射線治療の効果があるか等によって優先づけが行われる)
・上記以外の、ユーザーにより予め任意に設定された優先度
・操作部３２によるユーザーの領域指定
次いで、制御部３１は、第二画像撮影装置２からの第二画像の入力を待機する。第二画像が入力されると（ステップＳ１５；ＹＥＳ）、制御部３１は、第二画像を対象画像として画像解析処理を実行する（ステップＳ１６）。
画像解析処理は、図５を用いて説明したものと同様であるので説明を援用する。
画像解析処理は、図５を用いて説明したものと同様であるので説明を援用する。
次いで、制御部３１は、画像解析処理の解析結果に基づいて、第二画像から、第一画像のＲＯＩから抽出された各領域と病理学的に同じ特徴を有する領域を抽出する（ステップＳ１７）。
ステップＳ１７においては、画像解析処理の解析結果に基づいて、第二画像のＲＯＩ内において病理学的に同じ特徴を有する領域を一つの領域として一又は複数の領域を抽出し、抽出された領域の領域特徴情報と、第一画像のＲＯＩ内において抽出された領域の領域特徴情報を比較又は照合し、第一画像から抽出された各領域と病理学的に同じ特徴を有する領域を抽出する。
ステップＳ１７においては、画像解析処理の解析結果に基づいて、第二画像のＲＯＩ内において病理学的に同じ特徴を有する領域を一つの領域として一又は複数の領域を抽出し、抽出された領域の領域特徴情報と、第一画像のＲＯＩ内において抽出された領域の領域特徴情報を比較又は照合し、第一画像から抽出された各領域と病理学的に同じ特徴を有する領域を抽出する。
なお、ステップＳ１７においてもステップＳ１４と同様に、制御部３１は、その後の処理（例えば、表示等）に用いる対象領域を特定してもよい。
また、ステップＳ１７において、第一画像のＲＯＩ内から抽出された各領域と病理学的に同じ特徴を有する領域が第二画像のＲＯＩ内から抽出されなかった場合、制御部３１は、その旨を表示部３３に表示する。
また、ステップＳ１７において、第一画像のＲＯＩ内から抽出された各領域と病理学的に同じ特徴を有する領域が第二画像のＲＯＩ内から抽出されなかった場合、制御部３１は、その旨を表示部３３に表示する。
次いで、制御部３１は、第二画像及び第二画像のＲＯＩ内から抽出された各領域の領域情報（領域位置情報、領域特徴情報）を対応付けて出力する（ステップＳ１８）。
ここでは、第二画像及び領域情報を対応付けて表示部３３に出力する。
ここでは、第二画像及び領域情報を対応付けて表示部３３に出力する。
次いで、制御部３１は、第二画像及び第二画像のＲＯＩ内から抽出された領域の領域情報を対応付けて表示部３３に表示させる（ステップＳ１９）。
図７（ａ）～（ｃ）は、ステップＳ１９において表示される第二画像及び領域情報の例を示す図である。
ステップＳ１９においては、例えば、図７（ａ）に示すように、第二画像３３１と領域情報３３２が並べて表示される。第二画像３３１においては、例えば、抽出されたＲＯＩ（病変領域）を示すアノテーションＡ２が表示される。領域情報３３２としては、例えば、第二画像においてアノテーションＡ２で示されたＲＯＩ内において抽出された、病理学的に同じ特徴を有する領域ごとの位置を示す領域位置情報３３２ａ、領域位置情報３３２ａで表示された各領域の病理学的な特徴を示す領域特徴情報３３２ｂ等が表示される。
または、図７（ｂ）に示すように、第二画像３３１上に領域情報３３２（例えば、領域位置情報３３２ａ）を重ねて表示してもよい。また、これとは別に、領域情報３３２を表示してもよい。
または、図７（ｃ）に示すように、第二画像３３１上に、ＲＯＩ内から抽出された領域のうち指定された領域の領域位置情報３３２ａのみを重ねて表示することとしてもよい。
または、図示しないが、領域情報３３２のみを単独で表示部３３に単独で表示してもよい。
ステップＳ１９においては、例えば、図７（ａ）に示すように、第二画像３３１と領域情報３３２が並べて表示される。第二画像３３１においては、例えば、抽出されたＲＯＩ（病変領域）を示すアノテーションＡ２が表示される。領域情報３３２としては、例えば、第二画像においてアノテーションＡ２で示されたＲＯＩ内において抽出された、病理学的に同じ特徴を有する領域ごとの位置を示す領域位置情報３３２ａ、領域位置情報３３２ａで表示された各領域の病理学的な特徴を示す領域特徴情報３３２ｂ等が表示される。
または、図７（ｂ）に示すように、第二画像３３１上に領域情報３３２（例えば、領域位置情報３３２ａ）を重ねて表示してもよい。また、これとは別に、領域情報３３２を表示してもよい。
または、図７（ｃ）に示すように、第二画像３３１上に、ＲＯＩ内から抽出された領域のうち指定された領域の領域位置情報３３２ａのみを重ねて表示することとしてもよい。
または、図示しないが、領域情報３３２のみを単独で表示部３３に単独で表示してもよい。
このように、第二画像の病変領域内における、第一画像の病変領域内を病理学的な特徴ごとに分割することにより得られた各領域と病理学的に同じ特徴を有する領域の位置や病理学的な特徴が表示されるので、ユーザーは、第二画像の病変領域内のどこに向けて針を差し入れれば、第一画像にて検出された病変領域について診断に適した検体を採取することができるのかをそのユーザーの知見や経験によらずに認識することが可能となる。その結果、診断に適した検体を採取することが可能となり、偽陽性や偽陰性を低減することができる。
または、第一画像の病変領域内の領域情報を併せて表示することとしてもよい。
例えば、図８（ａ）に示すように、第二画像３３１に並べて、第二画像の領域情報３３２及び第一画像の領域情報３３３を表示することとしてもよい。図８（ａ）においては領域情報３３３として領域特徴情報のみを図示しているが、領域位置情報を別途並べて表示することとしてもよい。
あるいは、図８（ｂ）に示すように、第一画像３３４に領域位置情報３３３ａを重ねたもの、第二画像３３１に領域位置情報３３２ａを重ねたもの、第二画像の領域情報３３２を並べて表示することとしてもよい。さらに第一画像３３４の領域情報３３３を併せて表示してもよい。
これにより、第一画像で抽出された病変領域内における病理的に重要な特徴を有する領域が第二画像でも見えているか、第一画像の病変領域内から抽出された各領域が第二画像のどこに対応するか等を確認することが可能となる。
例えば、図８（ａ）に示すように、第二画像３３１に並べて、第二画像の領域情報３３２及び第一画像の領域情報３３３を表示することとしてもよい。図８（ａ）においては領域情報３３３として領域特徴情報のみを図示しているが、領域位置情報を別途並べて表示することとしてもよい。
あるいは、図８（ｂ）に示すように、第一画像３３４に領域位置情報３３３ａを重ねたもの、第二画像３３１に領域位置情報３３２ａを重ねたもの、第二画像の領域情報３３２を並べて表示することとしてもよい。さらに第一画像３３４の領域情報３３３を併せて表示してもよい。
これにより、第一画像で抽出された病変領域内における病理的に重要な特徴を有する領域が第二画像でも見えているか、第一画像の病変領域内から抽出された各領域が第二画像のどこに対応するか等を確認することが可能となる。
次いで、制御部３１は、操作部３２により生体組織診断のための装置（穿刺装置と呼ぶ）の挿入経路（穿刺経路と呼ぶ）の表示が指示されたか否かを判断する（ステップＳ２０）。
穿刺経路の表示が指示されていないと判断した場合（ステップＳ２０；ＮＯ）、制御部３１は、ステップＳ２２に移行する。
穿刺経路の表示が指示されていないと判断した場合（ステップＳ２０；ＮＯ）、制御部３１は、ステップＳ２２に移行する。
穿刺経路の表示が指示されたと判断した場合（ステップＳ２０；ＹＥＳ）、制御部３１は、穿刺経路表示処理を実行する（ステップＳ２１）。
図９は、ステップＳ２１において実行される穿刺経路表示処理を示すフローチャートである。穿刺経路表示処理は、制御部３１と記憶部３５に記憶されているプログラムとの協働により実行される。
図９は、ステップＳ２１において実行される穿刺経路表示処理を示すフローチャートである。穿刺経路表示処理は、制御部３１と記憶部３５に記憶されているプログラムとの協働により実行される。
まず、制御部３１は、操作部３２により穿刺対象領域（生体組織診断を行う（組織を採取する）対象領域）の指定を受け付ける（ステップＳ２０１）。
例えば、ユーザーは、表示部３３に表示された領域情報３３２を見て、ＲＯＩ内から抽出された領域の中から穿刺対象領域を特定する。なお、上述のように、病理検査結果に対して予め設定された優先度、診断の有効性に基づく優先度、上記以外の、ユーザーにより予め任意に設定された優先度等に基づいて、ＲＯＩ内から抽出された領域の中から制御部３１が自動的に穿刺対象領域を指定してもよい。
例えば、ユーザーは、表示部３３に表示された領域情報３３２を見て、ＲＯＩ内から抽出された領域の中から穿刺対象領域を特定する。なお、上述のように、病理検査結果に対して予め設定された優先度、診断の有効性に基づく優先度、上記以外の、ユーザーにより予め任意に設定された優先度等に基づいて、ＲＯＩ内から抽出された領域の中から制御部３１が自動的に穿刺対象領域を指定してもよい。
次いで、制御部３１は、穿刺経路を算出する（ステップＳ２０２）。
例えば、乳房に対する穿刺であれば、図１０（ａ）に示すように、穿刺対象領域Ｒまでの穿刺経路が最短かつ胸壁となるべく平行かつ穿刺対象領域Ｒの長軸方向となるような経路を算出する。例えば、図１０（ｂ）に示すように、第二画像における穿刺対象領域Ｒの中心Ｏ１とその体表（プローブ中心）Ｏ２との距離をｙ、体表Ｏ２と穿刺装置の挿入位置Ｏ３の距離をｘとすると、ｘとｙは既知であるから、ｘ、ｙから穿刺角度θ及び穿刺経路ｚを算出することができる。
例えば、乳房に対する穿刺であれば、図１０（ａ）に示すように、穿刺対象領域Ｒまでの穿刺経路が最短かつ胸壁となるべく平行かつ穿刺対象領域Ｒの長軸方向となるような経路を算出する。例えば、図１０（ｂ）に示すように、第二画像における穿刺対象領域Ｒの中心Ｏ１とその体表（プローブ中心）Ｏ２との距離をｙ、体表Ｏ２と穿刺装置の挿入位置Ｏ３の距離をｘとすると、ｘとｙは既知であるから、ｘ、ｙから穿刺角度θ及び穿刺経路ｚを算出することができる。
次いで、制御部３１は、算出された穿刺経路の情報を表示部３３に表示する（ステップＳ２０３）。例えば、穿刺経路の情報を表示部３３に出力して第二画像上に表示する。これにより、ユーザーは、穿刺対象領域Ｒまでの穿刺経路を認識することができ、知見や経験によらずに、精度よく狙った穿刺対象領域に対して穿刺を行うことが可能となる。
穿刺経路の情報の表示が終了すると、制御部３１は、ステップＳ２２に移行する。
穿刺経路の情報の表示が終了すると、制御部３１は、ステップＳ２２に移行する。
ステップＳ２２において、制御部３１は、通信部３４により第二画像撮影装置２から第二画像が受信されたか否かを判断する(ステップＳ２２)。
第二画像が受信されたと判断した場合（ステップＳ２２；ＹＥＳ）、制御部３１は、ステップＳ１６に戻り、ステップＳ１６～Ｓ２２の処理を繰り返し実行する。
ステップＳ２２において、第二画像が受信されていないと判断した場合（ステップＳ２２；ＮＯ）、制御部３１は、第二画像の領域情報取得処理を終了する。
第二画像が受信されたと判断した場合（ステップＳ２２；ＹＥＳ）、制御部３１は、ステップＳ１６に戻り、ステップＳ１６～Ｓ２２の処理を繰り返し実行する。
ステップＳ２２において、第二画像が受信されていないと判断した場合（ステップＳ２２；ＮＯ）、制御部３１は、第二画像の領域情報取得処理を終了する。
以上説明したように、情報処理装置３によれば、制御部３１は、被検体を撮影することにより取得された第一画像を解析して、第一画像から被検体に含まれる病変領域内において病理学的に同じ特徴を有する領域を一つの領域として、一又は複数の領域を抽出する。また、制御部３１は、前記被検体を撮影することにより取得された第一画像とは異なる第二画像を解析して、第一画像から抽出された領域と病理学的に同じ特徴を有する領域を第二画像から抽出する。そして、第二画像と、第二画像の病変領域から抽出された領域に関する情報とを対応付けて出力する。
したがって、ユーザーは、第一画像において検出された病変領域内において病理的に重要な特徴を有する領域が第二画像のどこにあるかを容易に認識することができるので、第二画像の病変領域内のどこに向けて針を差し入れれば、第一画像にて検出された病変領域から診断に適した検体を採取することができるのかをそのユーザーの知見や経験によらずに認識することが可能となる。その結果、診断に適した検体を採取することが可能となり、偽陽性や偽陰性を低減することができる。
また、より高精細かつ、病変全体の俯瞰性が高く病変の全体像を瞬時に捉えやすい画像を第一画像として、第一画像において病変領域内において同じ病理学的特徴を有する領域の抽出を行い、その結果に基づいて、第二画像から第一画像において抽出された領域と病理学的に同じ特徴を有する領域を抽出することで、病変の全体像を瞬時に捉えやすくなり、所見の見落とし防止、偽陽性や偽陰性の低減、及び検査時間の削減が可能となる。
また、より高精細かつ、病変全体の俯瞰性が高く病変の全体像を瞬時に捉えやすい画像を第一画像として、第一画像において病変領域内において同じ病理学的特徴を有する領域の抽出を行い、その結果に基づいて、第二画像から第一画像において抽出された領域と病理学的に同じ特徴を有する領域を抽出することで、病変の全体像を瞬時に捉えやすくなり、所見の見落とし防止、偽陽性や偽陰性の低減、及び検査時間の削減が可能となる。
なお、上記実施形態における記述は、本発明に係る好適な生体検査支援システムの一例であり、これに限定されるものではない。
例えば、上記実施形態においては、第一画像がマンモグラフィー画像、第二画像が超音波画像である場合を例にとり説明したが、上述のように、第一画像と第二画像はこれらに限定されるものではない。第一画像としては、検査部位全体を俯瞰的に観察できる（検査部位全体が含まれる）画像であることが好ましく、例えば、マンモグラフィー画像、ＭＲＩ画像、超音波画像（特に、自動スキャン型の超音波診断装置により得られた超音波画像）、トモシンセシス画像等が好ましい。第二画像としては、生体検査とともに用いられる画像、例えば、超音波画像（特に、ハンドヘルド型の超音波画像により得られた超音波画像）が好ましい。
また、上記実施形態においては、第一画像と第二画像はモダリティーが異なる画像として説明したが、撮影時期が異なる画像としてもよい。例えば、過去の検査で撮影された過去画像を第一画像、現在の検査で撮影された現在画像を第二画像として上述の領域情報取得処理を実行すれば、過去画像において検出された病変領域内の所定の特徴をもつ領域と病理学的に同じ特徴を有する領域を現在画像から抽出し、抽出された領域の位置や病理学的な特徴の情報を出力することが可能となる。
また、上記実施形態においては、被検体を乳房として説明したが、これに限定されず、他の部位としてもよい。
また、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、ＣＤ-ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、生体検査支援システム１００を構成する各装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
１００ 生体検査支援システム
１ 第一画像撮影装置
２ 第二画像撮影装置
３ 情報処理装置
３１ 制御部
３２ 操作部
３３ 表示部
３４ 通信部
３５ 記憶部
３６ バス
１ 第一画像撮影装置
２ 第二画像撮影装置
３ 情報処理装置
３１ 制御部
３２ 操作部
３３ 表示部
３４ 通信部
３５ 記憶部
３６ バス
Claims (12)
- 被検体を撮影することにより取得された第一画像を解析して、前記第一画像から、前記被検体に含まれる複数の病理学的な特徴を含む病変領域内を、病理学的に同じ特徴を有する領域を一つの領域として複数の領域に分割することにより、複数の領域を抽出する第一抽出手段と、
前記被検体を撮影することにより取得された前記第一画像とは異なる第二画像を解析して、前記第二画像から前記第一抽出手段により抽出された領域と病理学的に同じ特徴を有する領域を抽出する第二抽出手段と、
前記第二画像と、前記第二抽出手段により抽出された領域に関する情報とを対応付けて出力する出力手段と、
を備える医用情報処理装置。 - 前記第一抽出手段は、組織化学染色、腫瘍マーカー分析、アミノ酸分析、又は遺伝子解析によって決定される病理検査結果と関連付けられた領域抽出処理によって前記第一画像の前記病変領域内から前記複数の領域を抽出する請求項１に記載の医用情報処理装置。
- 前記第一抽出手段は、画像特徴量と病理検査結果を対応付けて学習させた識別器を用いて前記第一画像の前記病変領域内から前記複数の領域を抽出する請求項２に記載の医用情報処理装置。
- 前記第二抽出手段は、前記第一抽出手段と同様の手法によって前記第二画像から領域の抽出を行い、前記第一画像から抽出された領域の病理学的な特徴と前記第二画像から抽出された領域の病理学的な特徴を比較又は照合することにより、前記第一抽出手段により抽出された領域と病理学的に同じ特徴を有する領域を抽出する請求項１～３のいずれか一項に記載の医用情報処理装置。
- 前記第一抽出手段により抽出された複数の領域の中から前記第二抽出手段による領域の抽出に用いる対象領域を特定する特定手段を備え、
前記第二抽出手段は、前記第二画像から前記第一抽出手段により抽出された領域のうち前記特定手段により特定された対象領域と病理学的に同じ特徴を有する領域を抽出する請求項１～４のいずれか一項に記載の医用情報処理装置。 - 前記特定手段は、ユーザーによる領域指定操作、病理検査結果に対して予め定められた優先度、診断の有効性に基づく優先度、及び／又はユーザーにより予め設定された優先度に基づいて前記対象領域を特定する請求項５に記載の医用情報処理装置。
- 表示手段を有し、
前記出力手段は、前記第二画像及び前記第二抽出手段により抽出された領域に関する情報を前記表示手段に出力し、
前記表示手段は、前記第二画像及び前記第二抽出手段により抽出された領域に関する情報を並べて又は重ねて表示する請求項１～６のいずれか一項に記載の医用情報処理装置。 - 前記出力手段は、前記第一画像及び／又は前記第一抽出手段により抽出された領域に関する情報をさらに前記表示手段に出力し、
前記表示手段は、前記第一抽出手段により抽出された領域に関する情報及び前記第二抽出手段により抽出された領域に関する情報を並べて表示するか、前記第一抽出手段により抽出された領域に関する情報を前記第一画像に重ねた画像及び前記第二抽出手段により抽出された領域に関する情報を前記第二画像に重ねた画像を並べて表示するか、又は、前記第二画像に重ねた前記第二抽出手段により抽出された領域に関する情報に、さらに前記第一抽出手段により抽出された領域に関する情報を重ねた画像を表示する請求項７に記載の医用情報処理装置。 - 前記第二抽出手段により抽出された領域の位置に基づいて、生体組織診断のための装置の挿入経路を算出する算出手段を備え、
前記出力手段は、前記算出手段により算出された挿入経路の情報を出力し、
前記表示手段は、出力された前記挿入経路の情報を表示する請求項７又は８に記載の医用情報処理装置。 - 前記第二抽出手段により領域が抽出されなかった場合に、領域が抽出されなかった旨を報知する報知手段を備える請求項１～９のいずれか一項に記載の医用情報処理装置。
- 前記第一画像は、マンモグラフィー画像、ＭＲＩ画像、超音波画像、又はトモシンセシス画像であり、
前記第二画像は、超音波画像である請求項１～１０のいずれか一項に記載の医用情報処理装置。 - コンピューターを、
被検体を撮影することにより取得された第一画像を解析して、前記第一画像から、前記被検体に含まれる複数の病理学的な特徴を含む病変領域内を、病理学的に同じ特徴を有する領域を一つの領域として複数の領域に分割することにより、複数の領域を抽出する第一抽出手段、
前記被検体を撮影することにより取得された前記第一画像とは異なる第二画像を解析して、前記第二画像から前記第一抽出手段により抽出された領域と病理学的に同じ特徴を有する領域を抽出する第二抽出手段、
前記第二画像と、前記第二抽出手段により抽出された領域に関する情報とを対応付けて出力する出力手段、
として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019123307A JP7287151B2 (ja) | 2019-07-02 | 2019-07-02 | 医用情報処理装置及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019123307A JP7287151B2 (ja) | 2019-07-02 | 2019-07-02 | 医用情報処理装置及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021007659A JP2021007659A (ja) | 2021-01-28 |
| JP7287151B2 true JP7287151B2 (ja) | 2023-06-06 |
Family
ID=74198769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019123307A Active JP7287151B2 (ja) | 2019-07-02 | 2019-07-02 | 医用情報処理装置及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7287151B2 (ja) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018516135A (ja) | 2015-06-04 | 2018-06-21 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | がん悪性度マップにより拡張された精密診断及び治療に対するシステム及び方法 |
| JP2018187384A (ja) | 2017-05-09 | 2018-11-29 | キヤノンメディカルシステムズ株式会社 | 医用情報処理システム及び医用情報処理装置 |
-
2019
- 2019-07-02 JP JP2019123307A patent/JP7287151B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018516135A (ja) | 2015-06-04 | 2018-06-21 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | がん悪性度マップにより拡張された精密診断及び治療に対するシステム及び方法 |
| JP2018187384A (ja) | 2017-05-09 | 2018-11-29 | キヤノンメディカルシステムズ株式会社 | 医用情報処理システム及び医用情報処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021007659A (ja) | 2021-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6106259B2 (ja) | 医用イメージングと生検データとを統合する臨床ワークステーション及びこれを使用する方法 | |
| EP3241176B1 (en) | System for cytopathological and genetic data based treatment protocol identification and tracking | |
| JP5263997B2 (ja) | 医用レポート作成装置、医用レポート作成方法および医用レポート作成プログラム | |
| EP2316341B1 (en) | Image processing apparatus and method and program | |
| US10916010B2 (en) | Learning data creation support apparatus, learning data creation support method, and learning data creation support program | |
| JP7000206B2 (ja) | 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム | |
| EP2828778B1 (en) | Clinical workstation integrating medical imaging and biopsy data and methods using same | |
| JP4755863B2 (ja) | 読影支援装置、読影支援方法、およびそのプログラム | |
| US9672625B2 (en) | Method and apparatus to automatically implement a selection procedure on image data to generate a selected image data set | |
| JP7287151B2 (ja) | 医用情報処理装置及びプログラム | |
| JP2016195655A (ja) | 医用画像システム及びプログラム | |
| JP5363962B2 (ja) | 診断支援システム、診断支援プログラムおよび診断支援方法 | |
| JP2015221141A (ja) | 医用画像診断支援装置、医用画像診断支援装置の作動方法、および医用画像診断支援プログラム | |
| Demetriou et al. | AI-enhanced digital pathology and radiogenomics in precision oncology | |
| JP7199839B2 (ja) | Ｘ線ｃｔ装置及び医用画像処理方法 | |
| US10813699B2 (en) | Medical image-processing apparatus, medical diagnostic-imaging apparatus, and medical image-processing method | |
| JP2024044921A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| JP2023047909A (ja) | 医用画像表示装置、方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230508 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7287151 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |