JPWO2020100660A1 - 情報処理方法および情報処理システム - Google Patents

情報処理方法および情報処理システム Download PDF

Info

Publication number
JPWO2020100660A1
JPWO2020100660A1 JP2020530404A JP2020530404A JPWO2020100660A1 JP WO2020100660 A1 JPWO2020100660 A1 JP WO2020100660A1 JP 2020530404 A JP2020530404 A JP 2020530404A JP 2020530404 A JP2020530404 A JP 2020530404A JP WO2020100660 A1 JPWO2020100660 A1 JP WO2020100660A1
Authority
JP
Japan
Prior art keywords
information
evaluation
evaluator
sample
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020530404A
Other languages
English (en)
Inventor
真司 渡辺
真司 渡辺
山根 健治
健治 山根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020100660A1 publication Critical patent/JPWO2020100660A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習することと、前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を記憶媒体に記憶することと、前記記憶媒体に記憶された前記評価設定情報を取得することと、取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現することと、を含む情報処理方法。

Description

本開示は、情報処理方法および情報処理システムに関する。
近年、ヒト等の生物から細胞又は血液等の標本を採取し、次いで標本に染色等の作用を適用した上で、顕微鏡により得られた標本画像を観察することで標本を評価することが、治療又は研究等の目的で広く行われている。そして、標本画像に基づく標本の評価をより適切に行うための技術が求められている。
例えば、下記特許文献1では、生体組織を染色して観察する際の染色のばらつきを画像処理により標準化することを目的として、標本画像の色素量分布が標準の標本画像の色素量に近似するように、標本画像を補正する技術が開示されている。
特開2009−14355号公報
近年では、標本画像に基づく標本の評価をより容易にするために、人工知能(AI)により機械的に評価を行うことが試みられている。AIの学習は、作用のパラメータ及び顕微鏡のパラメータ等の各種パラメータが共通する大量の標本画像を教師データとして行われることが多い。学習済みのAIを利用する場合、学習時と同一のパラメータを用いて得られた標本画像を対象として評価を行うことで、適切な評価結果を得ることができる。
特定の病院内で、特定の臓器を対象に特定の顕微鏡により特定のパラメータで撮像された標本画像を対象にAIが学習され且つ利用される等、AIの学習者と利用者とが同一である場合、上記条件は容易に満たされる。しかし、学習者と異なる利用者がAIを利用する場合には、上記条件が容易に満たされるとは言い難い。よって、学習者と異なる利用者がAIを利用する場合であっても、上記条件を満たすことを容易にする仕組み、又は上記条件が満たされずともAIにより適切な評価結果を得ることを容易にする仕組みが、提供されることが望ましい。
そこで、本開示では、標本画像に基づく標本のAIを利用した評価をより容易にする仕組みを提供する。
本開示によれば、第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習することと、前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を記憶媒体に記憶することと、前記記憶媒体に記憶された前記評価設定情報を取得することと、取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現することと、を含む情報処理方法が提供される。
また、本開示によれば、第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習することと、前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を記憶媒体に記憶することと、を含む情報処理方法が提供される。
また、本開示によれば、第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて学習された、前記第1の標本の評価を行う評価器の評価器パラメータ、及び前記評価器パラメータの学習環境を示す学習環境情報を含む、評価設定情報を記憶媒体から取得することと、取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現することと、を含む情報処理方法が提供される。
本開示の一実施形態に係る診断システムの構成の一例を示す図である。 本実施形態に係る診断システムの機能構成の一例を示す図である。 本実施形態に係る評価レシピ生成に関する情報の流れを示す図である。 本実施形態に係るUIの一例を示す図である。 本実施形態に係る病院サーバにおいて実行される評価レシピのアップロード処理の流れの一例を示すフローチャートである。 本実施形態に係る評価レシピサーバにおいて実行される評価レシピの記憶処理の流れの一例を示すフローチャートである。 本実施形態に係る病院サーバ及び端末装置において実行される第1の再現処理の流れの一例を示すフローチャートである。 本実施形態に係る病院サーバ及び端末装置において実行される第2の再現処理の流れの一例を示すフローチャートである。 本実施形態に係る評価器を用いた情報処理の一例を示す図である。 本実施形態に係る評価器を用いた情報処理の一例を示す図である。 本実施形態に係る評価器を用いた情報処理であって、評価時に補正を行う場合の情報処理の一例を示す図である。 本実施形態に係る評価器を用いた情報処理であって、学習時に補正を行う場合の情報処理の一例を示す図である。 本実施形態に係る生成部及び再現部において実行される再現処理の流れの一例を示す図である。 本実施形態に係る生成部及び再現部において実行される再現処理の流れの一例を示す図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.はじめに
2.構成例
3.再現処理の詳細
4.UI例
5.処理の流れ
6.適用例
7.他の実施形態
7.1.評価レシピの変形例
7.2.補正の種類
7.3.補正処理の概要
7.4.補正処理の種類
7.5.評価レシピの活用
7.5.1.学習時の補正に基づく情報処理
7.5.2.評価時の補正に基づく情報処理
7.6.標本属性情報の変形例
7.7.複合レシピの生成
7.8.構成の変形例
7.9.ユーザの表記
7.10.医療画像の表記
8.ハードウェア構成例
9.まとめ
<<1.はじめに>>
病理診断においては、切り取られた臓器の一部が標本とされる。病理診断における作用とは、標本化時に目的に応じて細胞を染色することを指す。例えば、形態評価が目的である場合にはHE(Hematoxylin-Eosin)染色が採用され、腫瘍免疫の評価が目的である場合にはIHC(Immunohistochemistry)染色が採用される。例えば乳癌の評価では、HER2、ER、PgR、Ki−67タンパクなど染めるIHC染色が行われる。
作用が適用された標本は、デジタル顕微鏡のステージにセットされて、撮像範囲を変化させながら連続的に撮像される。そして、連続的に撮像された撮像画像を繋ぎ合わせることで大きな一枚の標本画像(病理画像とも称される)が生成される。かかる標本画像は、WSI(whole slide imaging)とも称される。
近年では、WSI又はWSIの一部を切り取った画像(以下、これらをまとめて標本画像とも総称する)に基づく病理診断を支援するためのAIを学習し利用する技術が急速に広まっている。かかるAIの学習には、例えば、標本画像をデータとし、かかる標本画像のうち腫瘍領域を示す情報(アノテーション情報とも称される)をラベルとする、教師データが用いられる。この場合、学習済みのAIに標本画像を入力すると、標本画像のうち腫瘍領域を示すアノテーション情報が出力されることとなる。病理診断を支援するAIとしては、上述した腫瘍領域の検出の他にも、腫瘍のクラス分類(例えば、がんのグレーディング)、がん/非がんを判断するがん診断、又は治療予測のためのAIが挙げられる。
AIによる診断の精度を向上させるためには、学習時と診断時とで、作用のパラメータ及び顕微鏡のパラメータ等の各種パラメータを同一にすることが望ましい。例えば、顕微鏡の特性によって、同一の標本であっても標本画像の見え方が異なり得るためである。若しくは、パラメータが同一でなくとも、パラメータの相違を埋めるような画像処理が標本画像に適用されることが望ましい。これらいずれの場合であっても、AIを利用した診断の精度を向上させることが可能である。
しかしながら、従来では、学習時のパラメータは保持されていないので、診断時に同一のパラメータを再現することも、パラメータ間の相違を埋めることも困難であった。そこで、本開示では、学習時のパラメータを保持し、診断時にはパラメータを再現する、又はパラメータ間の相違の埋めるための処理を行う仕組みを提供する。
<<2.構成例>>
<2.1.システム構成例>
図1は、本開示の一実施形態に係る診断システムの構成の一例を示す図である。図1に示す診断システム1は、撮像装置10(10A及び10B)、病院サーバ20(20A及び20B)、評価レシピサーバ30、及び端末装置40(40A及び40B)を含む。
(1)装置構成
・撮像装置10
撮像装置10は、標本を撮像して標本画像を生成する装置である。撮像装置10は、例えば顕微鏡に撮像素子を取り付けた電子顕微鏡である。撮像装置10は、標本画像を生成し、生成した標本画像を端末装置40に出力する。
・病院サーバ20
病院サーバ20は、病院での診療サービスに関する各種情報を管理する情報処理装置である。とりわけ、病院サーバ20は、評価レシピの生成及びアップロード、又は評価レシピのダウンロードを行う。評価レシピの詳細については後述する。例えば、病院サーバ20は、撮像装置10により生成された標本画像に基づいて評価レシピを生成し、評価レシピサーバ30に送信する。また、病院サーバ20は、撮像装置10により生成された標本画像の評価のための評価レシピを評価レシピサーバ30から取得して、端末装置40に出力する。
・評価レシピサーバ30
評価レシピサーバ30は、評価レシピを管理する情報処理装置である。評価レシピサーバ30は、病院サーバ20から受信した評価レシピを記憶する。また、評価レシピサーバ30は、病院サーバ20から要求された評価レシピを当該病院サーバ20に送信する。
・端末装置40
端末装置40は、撮像装置10により生成された標本画像に基づく評価を行う情報処理装置である。端末装置40は、ユーザインタフェースを備え、病院の職員による情報の入力及び病院の職員への情報の出力を行う。
(2)各病院での処理
・第1の病院
撮像装置10A(第1の撮像装置に相当)、病院サーバ20A及び端末装置40Aは、第1の病院に配置される。第1の病院とは、評価レシピの生成が行われる病院である。
撮像装置10Aは、第1の作用が適用された第1の標本の第1の標本画像を生成し、端末装置40Aに出力する。端末装置40Aにおいて、第1の標本画像に基づく評価が行われる。例えば、第1の病院の職員による評価結果が、端末装置40Aに入力される。病院サーバ20Aは、第1の標本画像と当該第1の標本画像のメタ情報とを対応付けて記憶し、記憶した情報に基づいて評価レシピを生成する。その際、病院サーバ20Aは、メタ情報の少なくとも一部が共通する第1の標本画像に基づいて、評価レシピを生成する。メタ情報の詳細については、後に詳しく説明する。
評価レシピは、評価器を用いた標本画像の評価に関する設定を示す評価設定情報である。詳しくは、評価レシピは、評価器パラメータ、及び当該評価器パラメータの学習環境を示す学習環境情報を含む。評価器パラメータとは、入力された情報に基づいて評価結果情報を出力する、評価器を定義するパラメータである。例えば、評価器は、少なくとも標本画像が入力されて、標本画像の評価結果(例えば、病理診断結果)を出力する。評価器は、例えばニューラルネットワーク又はSVM(Support Vector Machine)等の任意のAIにより構成される。評価器がニューラルネットワークで構成される場合、評価器パラメータは、ニューラルネットワークを構成するノード同士の繋がりの強さを示す重みの集合である。学習環境とは、評価器パラメータの学習に用いられた標本画像に共通する特徴である。学習環境情報は、評価器パラメータの学習に用いられた標本画像に共通するメタ情報である。
評価レシピは、学習環境ごとに生成される。即ち、評価器パラメータは、学習環境ごとに学習される。例えば、男性の肝臓から採取されて、HE染色が適用された第1の標本の第1の標本画像が、複数の患者について収集されて評価器パラメータが学習されたものとする。その場合、学習された評価器パラメータと、”肝臓”、”HE染色”を示す学習環境情報と性別などの付随情報を含む、評価レシピが生成される。
病院サーバ20Aは、生成した評価レシピを評価レシピサーバ30に送信して、記憶させる。
・第2の病院
病院サーバ20B(第2の撮像装置に相当)、病院サーバ20B及び端末装置40Bは、第2の病院に配置される。第2の病院とは、評価レシピの利用が行われる病院である。
病院サーバ20Bは、評価レシピサーバ30から評価レシピを取得し、端末装置40Bに出力する。撮像装置10Bは、第2の作用が適用された第2の標本の第2の標本画像を生成し、端末装置40Bに出力する。その際、撮像装置10Bは、評価レシピサーバ30から取得された評価レシピに基づいて、第2の標本画像を生成してもよい。そして、端末装置40Bは、撮像装置10Bにより生成された第2の標本画像の評価を、病院サーバ20Bにより取得された評価レシピを用いて行う。
ここで、第2の病院では、学習環境と評価環境とが同等となる評価レシピが利用される。評価環境とは、評価器パラメータを利用する際の環境である。具体的には、評価環境とは、評価器パラメータを適用した評価器に入力される第2の標本画像のメタ情報の特徴である。
例えば、第2の病院において、男性の肝臓から採取されて、HE染色が適用された第2の標本の第2の標本画像を評価する場合、”肝臓”、”HE染色”を学習環境情報とする評価レシピが、評価レシピサーバ30からダウンロードされて利用される。これにより、学習環境と評価環境とが同等となるので、評価器を用いた第2の標本の評価精度を向上させることが可能となる。”男性”といった性別などの付随情報については、評価の類似性や患者数など統計的な情報として提示することが可能である。
(3)各種情報の説明
(3.1)メタ情報
標本画像のメタ情報は、画像パラメータ、作用情報、標本属性情報、及び評価結果情報の少なくともいずれかを含む。
・画像パラメータ
画像パラメータは、標本画像の生成に関するパラメータである。画像パラメータは、撮像パラメータ及び画像処理パラメータを含む。
−撮像パラメータ
撮像パラメータは、撮像装置10による標本画像の撮像に関するパラメータである。撮像パラメータは、撮像装置10の識別情報(例えば、撮像装置10の種類を示す型番)、オートフォーカスの設定、倍率、露光時間、及びガンマ補正値の少なくともいずれかを含み得る。
−画像処理パラメータ
画像処理パラメータは、撮像装置10により撮像された標本画像に対して適用された画像処理を示す情報である。画像処理は、色補正、又は拡縮の少なくともいずれかを含み得る。さらに、画像処理は、回転、又は輝度補正を含んでいてもよい。
・作用情報
作用情報は、標本画像に映る標本に適用された作用に関するパラメータである。病理診断においては、作用情報は、標本に施した染色の情報を含む。作用情報は、HE染色又はIHC染色等の染色の種別を示す染色情報、及びHER2、ER、PgR、又はKi−67等の染色に用いられる抗体の種別を示す抗体情報を含み得る。また、作用情報は、IHC−HER2、IHC−ER、IHC−PgR、及びIHC−Ki−67等の、染色種別と抗体種別との組み合わせを示す情報を含み得る。その他、作用として、薬剤の投与、及び/又は光刺激の付与が適用されてもよく、作用情報は、これらの作用に関する情報を含んでいてもよい。
・標本属性情報
標本属性情報は、標本画像に映る標本の属性を示す情報である。標本属性情報は、どの臓器のどういった標本なのか(生検材料なのか手術材料なのか)を示す情報、及び標本の採取元に関する情報を含む。具体的には、標本属性情報は、患者の年齢、性別、検査時年齢、標本の採取元の臓器の種別、採取法、検査日、病理診断結果、病理所見、標本のサムネイル画像、及び標本のゲノム情報を含み得る。また、標本属性情報は、標本に含まれる細胞の形状、形態、及び面積を含み得る。なお、これらの標本属性情報は、診断支援のためだけでなく、治療支援にも使用され得る。例えば、標本属性情報は、薬、化学療法又は放射線療法等の治療効果予測にも使用され得る。とりわけ、ゲノム情報は、診断支援だけでなく治療支援にも利用され得る有力な情報のひとつである。例えば、ゲノム情報は、患者個別の医療(例えば、コンパニオン診断薬)を提供するために有用である。
・評価結果情報
評価結果情報とは、標本画像に基づく評価結果を示す情報である。病理診断においては、評価結果情報は、病理診断結果(即ち、確定診断)である。例えば、評価結果情報は、腫瘍領域を示すアノテーション情報、がん/非がんの判定結果、及び腫瘍のクラス分類結果を含む。また、評価結果情報は、腫瘍の領域の形状、形態、及び面積を含み得る。
以上、メタ情報に含まれる情報の一例を説明した。なお、第1の標本画像に関する情報には、「第1の」が付され、第2の標本画像に関する情報には、「第2の」が付される場合がある。例えば、第1の標本画像の画像パラメータは第1の画像パラメータとも称され、第2の標本画像の標本属性情報は第2の標本属性情報とも称される。
(3.2)学習環境情報
学習環境情報は、評価器パラメータの学習環境を示す情報である。上述したように、評価レシピは、評価器パラメータ及び当該評価器パラメータの学習環境を示す学習環境情報を含む。学習環境情報は、評価器パラメータの学習の際に用いられた第1の標本画像に共通するメタ情報を含む。例えば、学習環境情報は、第1の標本画像の生成に関する第1の画像パラメータ、及び当該第1の標本画像に映る第1の標本に適用された第1の作用を示す第1の作用情報を含む。さらに、学習環境情報は、当該第1の標本の標本属性情報である第1の標本属性情報を含んでいてもよい。
<2.2.機能構成例>
以下では、図2及び図3を参照しながら、本実施形態に係る診断システム1の機能構成例を説明する。
図2は、本実施形態に係る診断システム1の機能構成の一例を示す図である。図2に示すように、病院サーバ20Aは、第1の取得部21、学習部22、及び生成部23を含む。評価レシピサーバ30は、記憶制御部31及び記憶部32を含む。病院サーバ20Bは、第2の取得部24を含む。端末装置40Bは、入力部41、再現部42、評価部43及び出力部44を含む。
図3は、本実施形態に係る評価レシピ生成に関する情報の流れを示す図である。図3に示すように、第1の標本属性情報、第1の評価結果情報、及び第1の標本画像が学習部22に入力され、評価器パラメータが生成される。また、第1の画像パラメータ、第1の作用情報、及び第1の標本属性情報、並びに評価器パラメータが生成部23に入力されて、評価レシピが生成される。
<2.2.1.病院サーバ20Aの機能構成例>
(1)第1の取得部21
第1の取得部21は、評価レシピ生成のための各種情報を取得する機能を有する。詳しくは、第1の取得部21は、第1の標本画像、及び第1の標本画像のメタ情報を取得する。取得される第1の標本画像のメタ情報は、第1の画像パラメータ、第1の作用情報、第1の標本属性情報、及び第1の評価結果情報である。これらの情報は、例えば、撮像装置10A、端末装置40A、又は第1の病院内の情報システムから取得される。
(2)学習部22
学習部22は、評価器の学習を行う機能を有する。詳しくは、学習部22は、撮像装置10Aにより撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、第1の標本の評価を行う評価器の評価器パラメータを学習する。例えば、学習部22は、第1の標本画像をデータとし、第1の評価結果情報をラベルとする教師データに基づいて、評価器パラメータを学習する。この場合、標本画像を入力とし、評価結果情報を出力する評価器が学習される。他にも、学習部22は、第1の標本画像及び第1の標本属性情報の少なくとも一部をデータとし、第1の評価結果情報をラベルとする教師データに基づいて、評価器パラメータを学習してもよい。この場合、標本画像及び標本属性情報の少なくとも一部を入力とし、評価結果情報を出力する評価器が学習される。例えば、標本画像及び当該標本画像に映る標本の採取元の患者の年齢及び性別等を入力とし、腫瘍領域を示すアノテーション情報を出力する評価器が学習される。
学習部22は、学習環境ごとに評価器パラメータを学習する。即ち、学習部22は、学習環境が共通する(即ち、同一の)第1の標本画像に基づいて評価器パラメータを学習する。詳しくは、学習部22は、第1の画像パラメータ、第1の作用情報、及び第1の標本属性情報の少なくとも一部が共通である教師データに基づいて、評価器パラメータを学習する。例えば、学習部22は、撮像装置10Aの識別情報及び倍率の設定が共通する複数の第1の標本画像に基づいて、評価器パラメータを学習する。また、例えば、学習部22は、ゲノム情報における遺伝子の発現傾向が共通する複数の患者の第1の標本画像に基づいて、評価器パラメータを学習する。これらの場合、評価環境において、評価環境と同等の(例えば、同一の)学習環境において学習された評価器パラメータを利用することで、評価精度を向上させることが可能となる。
ここで、画像認識により、HE及びIHC等の染色の分類を、比較的容易に識別することができる。他方、画像認識では、抗体の種類を識別することは困難である。そこで、抗体の種類ごとに評価器パラメータを学習しておき、使用される抗体の種類が評価環境と同一である学習環境において学習された評価器パラメータが評価時に利用されることで、評価精度を向上させることが可能となる。
学習の際には、同じ第1の標本を対象として、異なる画像パラメータで第1の標本画像が生成され、学習に用いられることが望ましい。例えば、同じ第1の標本を、複数の異なる撮像装置10Aで撮像したり、撮像された画像に対し複数通りの画像処理(色補正及び/又は拡縮等)を適用したりすることが望ましい。これにより、同じ第1の標本に基づいて、複数の異なる学習環境で評価器パラメータを学習することが可能となる。
なお、同一の教師データから異なる評価器レシピが学習されてもよい。例えば、ニューラルネットワークの層数が異なる複数の評価器レシピが、同一の教師データから学習されてもよい。
(3)生成部23
生成部23は、評価レシピを生成する機能を有する。生成部23は、学習部22により学習された評価器パラメータ、及び当該評価器パラメータの学習環境を示す学習環境情報を対応付けることで、評価レシピを生成する。生成部23は、評価レシピを評価レシピサーバ30に送信して、評価レシピサーバ30に記憶させる。
評価レシピには、学習環境情報以外の情報が付随していてもよい。付随情報の一例として、教師データとして使用された第1の標本画像に関する情報が挙げられる。例えば、評価レシピは、学習に用いられた複数の第1の標本画像のメタ情報の各々を、付属情報として含んでいてもよい。なお、評価レシピは、学習に用いられた第1の標本画像に映る第1の標本の採取元である患者の、名前等の個人情報を含まないことが望ましい。
生成される評価レシピの一例を、表1に示す。表1に示すように、評価レシピは、学習環境情報と、評価器パラメータと、付随情報とを含む。例えば、レシピAは、HE染色が適用された肝臓から採取された第1の標本を、「装置A」の撮像装置10Aにより「20倍」の倍率で撮像することで得られた第1の標本画像に基づいて学習された評価器パラメータを含む。
Figure 2020100660
<2.2.2.評価レシピサーバ30の機能構成例>
(1)記憶制御部31
記憶制御部31は、記憶部32への情報の記憶、及び記憶部32に記憶された情報の管理を行う機能を有する。例えば、記憶制御部31は、病院サーバ20Aから受信した評価レシピを記憶部32に記憶させる。また、記憶制御部31は、病院サーバ20Bからのリクエストに対応する評価レシピを記憶部32から検索し、病院サーバ20Bに送信する。例えば、記憶制御部31は、病院サーバ20Bから評価環境を示す情報を受信し、評価環境と同等の学習環境において学習された評価器パラメータを含む評価レシピを病院サーバ20Bに送信する。
(2)記憶部32
記憶部32は、各種情報を記憶する記憶媒体である。記憶部32は、病院サーバ20Aから取得された評価レシピを記憶する。例えば、記憶部32は、表1に示した評価レシピを記憶する。
<2.2.3.病院サーバ20B及び端末装置40Bの機能構成例>
(1)第2の取得部24
第2の取得部24は、評価レシピサーバ30に記憶された評価レシピを取得する。第2の取得部24は、第2の標本画像の評価環境に基づいて、評価レシピを取得する。第2の取得部24による評価レシピの取得については、後に詳しく説明する。
(2)入力部41
入力部41は、各種情報の入力を受け付ける機能を有する。例えば、入力部41は、第2の病院の職員による、評価レシピの選択操作等を受け付ける。
(3)再現部42
再現部42は、第2の取得部24により取得された評価レシピに基づいて、第2の標本の評価のための評価環境として、学習環境と同等の環境を再現する機能を有する。例えば、再現部42は、第1の作用情報が示す第1の作用と同一の第2の作用の第2の標本への適用、及び/又は第1の画像パラメータと同等の第2の画像パラメータでの第2の標本画像の生成を行う。なお、再現部42による学習環境と同等の評価環境の再現に関しては、後に詳しく説明する。
(4)評価部43
評価部43は、評価レシピに含まれる評価器パラメータを適用した評価器を用いて、第2の標本画像の評価を行う。例えば、がんの病理診断に関しては、評価部43は、第2の標本におけるがん細胞の有無を判定し得る。また、評価部43は、第2の標本画像においてがん細胞が発現した領域を特定し得る。また、評価部43は、がん細胞の悪性度を判定し得る。さらに、評価部43は、がん細胞の治療のための薬を特定し得る。
(5)出力部44
出力部44は、各種情報を出力する機能を有する。例えば、入力部41は、評価部43による評価結果を示す情報を出力する。
<<3.再現処理の詳細>>
<3.1.第1の再現処理>
第1の再現処理は、第2の撮像画像が未だ撮像されていない状態で評価レシピを取得して、学習環境と同等の評価環境を再現する処理である。なお、評価レシピ取得時に第2の作用は適用済みであってもよいし、未適用であってもよい。
第1の再現処理においては、評価対象である第2の標本が存在するので、少なくとも第2の標本属性情報は確定している。他方、第2の撮像画像が未だ撮像されていないから第2の画像パラメータは未定であり、第2の作用が適用済みでない場合は第2の作用情報も未定である。これらの未定のパラメータは、学習環境と同等の評価環境を再現するために制御される。
(1)評価レシピのダウンロード
まず、第2の取得部24は、学習環境と同等の評価環境を再現することが可能な評価レシピを取得する。ここでの同等とは、必ずしも同一(完全一致)を意味するものではない。例えば、画像パラメータが相違する場合であっても、画像処理によりその相違を疑似的に埋めることが可能であれば、学習環境と評価環境とは同等であるものと捉えられる。
・第1の画像パラメータの参照
第2の取得部24は、評価レシピサーバ30に記憶された評価レシピの第1の画像パラメータを参照し、第1の画像パラメータと同等の第2の画像パラメータを再現可能である評価レシピを取得する。例えば、第2の取得部24は、撮像装置10Aと撮像装置10Bとが同型である評価レシピを取得する。また、第2の取得部24は、撮像装置10Aと撮像装置10Bとが異なる型であっても、画像処理により型の相違を埋めることが可能な評価レシピを取得する。例えば、第2の取得部24は、撮像装置10Aと撮像装置10Bとの型が相違し色の見え方及び/又は倍率が異なるものの、色補正及び/又は拡縮すれば同等の色の見え方及び倍率を再現可能な場合、撮像装置10Aの評価レシピを取得する。
・第1の標本属性情報の参照
第2の取得部24は、評価レシピサーバ30に記憶された評価レシピの第1の標本属性情報を参照し、第1の標本属性情報と第2の標本属性情報とが同一である評価レシピを取得する。例えば、第2の取得部24は、第2の標本と同一の臓器から採取された第1の標本について学習された評価器パラメータを含む評価レシピを取得する。これにより、標本属性情報に関し学習環境と同一の評価環境を再現することが可能となる。なお、第2の取得部24は、第1の標本属性情報と第2の標本属性情報とが全ての項目で一致せずとも、一部が一致する評価レシピを取得してもよい。その場合、標本属性情報が第2の標本と類似する第1の標本についての学習環境と同一の評価環境を再現することが可能となる。
・第1の作用情報の参照
−評価レシピ取得時に作用が適用済みである場合
第2の取得部24は、評価レシピサーバ30に記憶された評価レシピの第1の作用情報を参照し、第1の作用情報と第2の作用情報とが同一である評価レシピを取得する。例えば、第2の取得部24は、第2の作用と同一である第1の作用が適用された第1の標本画像に基づいて学習された評価器パラメータを含む評価レシピを取得する。これにより、作用に関し学習環境と同一の評価環境を再現することが可能となる。
−評価レシピ取得時に作用が未適用である場合
第2の取得部24は、評価レシピサーバ30に記憶された評価レシピの第1の作用情報を参照し、第2の作用情報として採用可能な第1の作用情報を含む評価レシピを取得する。例えば、第2の取得部24は、第2の病院において適用可能な(例えば、染色のための機材を所有している等)作用が適用された第1の標本画像に基づいて学習された評価器パラメータを含む評価レシピを取得する。これにより、第2の病院においてそもそも再現困難な評価レシピを避けることが可能となる。
(2)学習環境と同等の評価環境の再現
再現部42は、第2の標本の評価のための評価環境として、評価レシピが示す学習環境に対応する環境を再現する。
・第1の作用情報の再現
−評価レシピ取得時に作用が適用済みである場合
再現部42は、作用に関しては特に処理しない。
−評価レシピ取得時に作用が未適用である場合
再現部42は、第1の作用と同一の第2の作用を第2の標本に適用するための支援を行う。例えば、再現部42は、第1の作用情報を出力部44により出力させ、第2の病院の職員が第1の作用と同一の第2の作用を第2の標本に適用する作用を支援する。これにより、第1の作用と同一の第2の作用を第2の標本に適用させることが可能となる。第2の病院において、細胞に自動で刺激を加える等することが可能な設備が整っている場合、再現部42は、かかる設備を制御して第2の作用を第2の標本に適用してもよい。この場合、第2の病院において、第2の標本を準備した状態で評価レシピをダウンロードすると、作用から評価に至るまでの工程が自動的に実行され評価結果が出力される、全自動の評価システムを構築することもできる。
・画像パラメータの再現
再現部42は、第1の画像パラメータと同等の第2の画像パラメータを再現する。より簡易には、第1の標本画像と同じ見え方の第2の標本画像を生成する。これにより、第2の標本画像の見え方を、第1の標本画像の見え方と同様にすることが可能となる。
−撮像装置が同型である場合
撮像装置10Aが撮像装置10Bと同型である場合、再現部42は、第2の画像パラメータを、評価レシピに含まれる第1の画像パラメータと同一にする。詳しくは、再現部42は、評価レシピに含まれる第1の撮像パラメータと同一の第2の撮像パラメータを撮像装置10Bに設定する。例えば、再現部42は、第1の撮像パラメータが示すオートフォーカスの設定、倍率、露光時間及びガンマ補正値を、撮像装置10Bに設定する。そして、再現部42は、撮像装置10Bにより撮像された第2の標本画像に対し、第1の画像処理パラメータが示す第1の画像処理と同一の第2の画像処理を適用する。
具体例を、下記の表2を参照しながら説明する。表2に示すように、撮像装置10Aと撮像装置10Bとが同じく「装置A」である場合、再現部42は、第1の撮像パラメータと同じ「設定A」を撮像装置10Bに設定し、第1の画像処理と同じく特に画像処理を適用しない。また、撮像装置10Aと撮像装置10Bとが同じく「装置B」である場合、再現部42は、第1の撮像パラメータと同じ「設定B」を撮像装置10Bに設定し、第1の画像処理と同じ「色補正B」を第2の標本画像に適用する。
Figure 2020100660
−撮像装置が同型でない場合
撮像装置10Aが撮像装置10Bと同型でない場合、再現部42は、撮像装置10Aの第1の撮像パラメータと、撮像装置10Bの第2の撮像パラメータとの相違を埋めるための画像処理を、第2の標本画像に適用する。かかる画像処理は、例えば色補正又は拡縮の少なくともいずれかを含み得る。例えば、撮像装置10Aと撮像装置10Bとの型の相違を色補正により埋めることが可能な場合、再現部42は、型の相違を埋めるための色補正を第2の標本画像に適用する。
具体例を、下記の表3を参照しながら説明する。表3に示すように、撮像装置10Aが「装置A」であり撮像装置10Bが「装置B」である場合、再現部42は、第1の撮像パラメータと同じ「設定A」を撮像装置10Bに設定し、第1の画像処理「なし」と異なる第2の画像処理「色補正B」を第2の標本画像に適用する。また、撮像装置10Aが「装置C」であり撮像装置10Bが「装置D」である場合、再現部42は、第1の撮像パラメータと同じ「設定A」を撮像装置10Bに設定し、第1の画像処理「色補正C」と異なる第2の画像処理「色補正D」を第2の標本画像に適用する。また、撮像装置10Aが「装置E」であり撮像装置10Bが「装置F」である場合、再現部42は、第1の撮像パラメータと同じ「設定A」を撮像装置10Bに設定し、第1の画像処理「色補正E」と異なる第2の画像処理「なし」を第2の標本画像に適用する。
Figure 2020100660
(3)評価
評価部43は、学習環境に対応する環境として再現された評価環境において撮像装置10Bにより撮像された、第2の標本の第2の標本画像を、評価レシピに含まれる評価器パラメータが適用された評価器により評価する。つまり、評価部43は、評価レシピに含まれる評価器パラメータを評価器に適用し、再現部42が上述の再現処理を行うことによって得られた第2の標本画像をかかる評価器に入力することで、評価結果を得る。
<3.2.第2の再現処理>
第2の再現処理は、第2の作用が適用済みであり、第2の標本画像が撮像済みである状態において、学習環境と同等の評価環境を再現する処理である。
第2の再現処理においては、評価対象である第2の標本が存在し、第2の作用が適用済みであり、第2の標本画像が撮像済みであるので、少なくとも、第2の標本属性情報、第2の作用情報、及び第2の撮像パラメータは確定している。他方、第2の標本画像に対する画像処理は可能であるから、第2の画像処理パラメータは未定である。この未定のパラメータは、学習環境と同等の評価環境を再現するために制御され得る。
(1)評価レシピのダウンロード
まず、第2の取得部24は、学習環境が評価環境と同等である評価レシピを取得する。例えば、第2の取得部24は、第2の標本画像の評価環境と同等の学習環境において学習された評価器パラメータを含む評価レシピを取得する。ここでの同等とは、必ずしも同一(完全一致)を意味するものではない。例えば、画像パラメータが相違する場合であっても、画像処理によりその相違を疑似的に埋めることが可能であれば、学習環境と評価環境とは同等であるものと捉えられる。
・第1の画像パラメータの参照
第2の取得部24は、評価レシピサーバ30に記憶された評価レシピの第1の画像パラメータを参照し、第1の画像パラメータと第2の画像パラメータとが同等である評価レシピを取得する。例えば、第2の取得部24は、撮像装置10Aと撮像装置10Bとが同型である評価レシピを取得する。また、第2の取得部24は、撮像装置10Aと撮像装置10Bとが異なる型であっても、画像処理により型の相違を埋めることが可能な評価レシピを取得する。例えば、第2の取得部24は、撮像装置10Aと撮像装置10Bとの型が相違し色の見え方及び/又は倍率が異なるものの、色補正及び/又は拡縮すれば同等の色の見え方及び倍率を再現可能な場合、撮像装置10Aの評価レシピを取得する。
・第1の標本属性情報の参照
第2の取得部24は、評価レシピサーバ30に記憶された評価レシピの第1の標本属性情報を参照し、第1の標本属性情報と第2の標本属性情報とが同一である評価レシピを取得する。例えば、第2の取得部24は、第2の標本と同一の臓器から採取された第1の標本について学習された評価器パラメータを含む評価レシピを取得する。これにより、標本属性情報に関し学習環境と同一の評価環境を再現することが可能となる。なお、第2の取得部24は、第1の標本属性情報と第2の標本属性情報とが全ての項目で一致せずとも、一部が一致する評価レシピを取得してもよい。その場合、標本属性情報が第2の標本と類似する第1の標本についての学習環境と同一の評価環境を再現することが可能となる。
・第1の作用情報の参照
第2の取得部24は、評価レシピサーバ30に記憶された評価レシピの第1の作用情報を参照し、第1の作用情報と第2の作用情報とが同一である評価レシピを取得する。例えば、第2の取得部24は、第2の作用と同一である第1の作用が適用された第1の標本画像に基づいて学習された評価器パラメータを含む評価レシピを取得する。これにより、作用に関し学習環境と同一の評価環境を再現することが可能となる。
(2)学習環境と同等の評価環境の再現
再現部42は、第2の標本の評価のための評価環境として、評価レシピが示す学習環境に対応する環境を再現する。ここで、第2の再現処理は、第2の作用が適用済みであり、第2の撮像パラメータの設定及び第2の撮像画像が撮像済みである状態で行われる。そのため、基本的には、評価レシピを取得した時点で、学習環境と同等の評価環境がすでに再現されている。
しかし、撮像装置10Aと撮像装置10Bとが異なる型である等、撮像パラメータが異なる場合がある。その場合、再現部42は、撮像装置10Aの第1の撮像パラメータと、撮像装置10Bの第2の撮像パラメータとの相違を埋めるための画像処理を、第2の標本画像に適用する。かかる画像処理は、例えば色補正又は拡縮の少なくともいずれかを含み得る。他にも、かかる画像処理は、輝度補正、回転、及び/又は2値化等の任意の処理を含んでいてもよい。これにより、第2の標本画像の見え方を、第1の標本画像の見え方と同様にすることが可能となり、第2の標本の評価精度を向上させることが可能となる。
(3)評価
評価部43は、撮像装置10Bにより撮像された、第2の作用が適用された第2の標本の第2の標本画像を、評価環境と同等の学習環境において学習された評価器パラメータが適用された評価器により評価する。つまり、評価部43は、評価レシピに含まれる評価器パラメータを評価器に適用し、再現部42が上述の再現処理を行うことによって得られた第2の標本画像をかかる評価器に入力することで、評価結果を得る。
<<4.UI例>>
以下、図4を参照しながら、出力部44により出力される、評価部43による評価結果を含む出力情報の一例を説明する。
図4は、本実施形態に係るUI(User Interface)の一例を示す図である。図4に示すUI100は、出力部44により画像として出力される。レシピ選択欄101では、選択された(即ち、ダウンロードされた)評価レシピの識別情報が表示される。類似症例表示欄102では、評価対象となった第2の標本の症例と類似する症例の情報が表示される。AI選択欄103では、評価レシピに含まれる複数の評価器パラメータの識別情報が表示され、評価器に適用する評価器パラメータの選択操作が受け付けられる。図4に示した例では、「AI−A」及び「AI−B」が選択されたものとする。病理医診断結果欄104では、評価対象となった第2の標本の病理医による診断結果が表示される。AI判定結果欄105では、AI選択欄103において選択された評価器パラメータが適用された評価器による第2の標本の評価結果を示す情報が表示される。AI判定結果詳細表示欄106(106A及び106B)では、AI選択欄103において選択された評価器パラメータが適用された評価器による第2の標本の評価結果を示す情報が、第2の標本画像107(107A及び107B)に重畳して表示される。例えば、評価器パラメータの識別情報108(108A及び108B)、腫瘍領域の範囲を示すアノテーション情報109(109A及び109B)、腫瘍の内容を示す情報110(110A及び110B)が、重畳して表示される。
このようなUI100により、第2の病院の職員は、評価レシピや評価器パラメータを切り替えたり、異なる評価器パラメータによる評価結果を同時に表示させて見比べたりすることができる。これにより、第2の病院の職員は、適切な評価レシピ及び評価器パラメータを容易に選択することが可能となる。
<<5.処理の流れ>>
以下、図5〜図8を参照して、本実施形態に係る診断システム1において実行される処理の流れの一例を説明する。
(1)評価レシピのアップロード処理
図5は、本実施形態に係る病院サーバ20Aにおいて実行される評価レシピのアップロード処理の流れの一例を示すフローチャートである。図5に示すように、まず、第1の取得部21は、第1の画像パラメータ、第1の作用情報、第1の標本属性情報、第1の評価結果情報、及び第1の標本画像を取得する(ステップS102)。次いで、学習部22は、第1の標本画像をデータとし、第1の評価結果情報をラベルとする教師データに基づいて、学習環境ごとに評価器パラメータを学習する(ステップS104)。次に、生成部23は、評価器パラメータ、及び学習環境を示す情報(例えば、教師データに共通する、第1の画像パラメータ、第1の作用情報、及び/又は第1の標本属性情報)を対応付けて、評価レシピを生成する(ステップS106)。そして、生成部23は、生成した評価レシピを評価レシピサーバ30に送信する(ステップS108)。
(2)評価レシピの記憶処理
図6は、本実施形態に係る評価レシピサーバ30において実行される評価レシピの記憶処理の流れの一例を示すフローチャートである。図6に示すように、まず、記憶制御部31は、評価レシピを受信する(ステップS202)。次いで、記憶部32は、受信された評価レシピを記憶する(ステップS204)。
(3)第1の再現処理
図7は、本実施形態に係る病院サーバ20B及び端末装置40Bにおいて実行される第1の再現処理の流れの一例を示すフローチャートである。図7に示すように、まず、第2の取得部24は、学習環境と同等の評価環境を再現することが可能な評価レシピを取得する(ステップS302)。例えば、第2の取得部24は、評価レシピサーバ30に記憶された評価レシピに含まれる第1の画像パラメータ、第1の標本属性情報、及び第1の作用情報を参照し、同等の第2の画像パラメータ、第2の標本属性情報及び第2の作用情報を再現可能な評価レシピを取得する。次いで、再現部42は、取得された評価レシピに含まれる第1の作用情報が示す第1の作用と同一の第2の作用を第2の標本に適用するための支援を行う(ステップS304)。次に、再現部42は、取得された評価レシピに含まれる第1の画像パラメータと同等の第2の画像パラメータを再現する(ステップS306)。これにより、学習環境と同等の評価環境において生成された第2の標本画像が得られる。そして、評価部43は、評価レシピに含まれる評価器パラメータが適用された評価器に第2の標本画像を入力し、第2の標本を評価する(ステップS308)。
(4)第2の再現処理
図8は、本実施形態に係る病院サーバ20B及び端末装置40Bにおいて実行される第2の再現処理の流れの一例を示すフローチャートである。なお、本フローが実行されるよりも前に、第2の標本に第2の作用が適用され、第2の標本画像が撮像されている。図8に示すように、まず、第2の取得部24は、学習環境が評価環境と同等である評価レシピを取得する(ステップS402)。例えば、第2の取得部24は、評価レシピサーバ30に記憶された評価レシピに含まれる第1の画像パラメータ、第1の標本属性情報、及び第1の作用情報を参照し、これらが第2の画像パラメータ、第2の標本属性情報、及び第2の作用情報と同等である評価レシピを取得する。次いで、再現部42は、評価レシピに含まれる第1の撮像パラメータと第2の撮像パラメータとの相違を埋めるための画像処理を、第2の標本画像に適用する(ステップS404)。次に、評価部43は、評価レシピに含まれる評価器パラメータが適用された評価器に第2の標本画像を入力し、第2の標本を評価する(ステップS406)。
<<6.適用例>>
上記では、本技術ががんの病理診断に適用される例を挙げて説明したが、本技術の適用先はかかる例に限定されない。以下、上述した本技術の適用例を説明する。
(1)薬剤評価
本技術は、薬剤評価に適用可能である。
薬剤評価では、薬剤を与えた後の細胞の状態が観察される。薬剤評価における作用とは、薬剤の投与である。薬剤評価では、同一の試験を繰り返すことで薬剤による効果が立証される。例えば、心筋細胞を使った薬剤評価では、薬剤による効果が心筋細胞の拍動解析により評価される。その際、拍動の時間間隔及び振幅の大きさなどに基づいて、薬剤の効果が評価される。
薬剤評価における評価器は、例えば、拍動の時間間隔及び振幅の大きさに基づいて薬剤の効果を出力する。薬剤評価における評価レシピは、学習環境を示す情報として薬剤情報を含み、さらに当該評価器の評価器パラメータを含む。
(2)iPS細胞の培養時の品質評価
本技術は、iPS細胞の培養時の品質評価に適用可能である。
iPS細胞の培養時の品質評価では、目的の組織又は臓器への分化能が評価される。iPS細胞の培養時の品質評価における作用とは、遺伝子及びタンパク質導入又は薬剤処理である。iPS細胞の培養時の品質評価では、ゲノム損傷又は未分化細胞による腫瘍形成の有無が評価される。また、細胞の培養過程において、iPS細胞とNon−iPS細胞とが画像で判断される。目的の細胞を見つけるために、画像認識のための評価器が利用される場合がある。iPS細胞の場合は、長期間のモニタリングも必要になるため、画像を使った品質予測技術などの発展も考えられる。
iPS細胞の培養時の品質評価における評価器は、培養時の画像に基づいて、ゲノム損傷又は未分化細胞による腫瘍形成の有無の有無、iPS細胞又はNon−iPS細胞、及び/又は将来的な品質を評価する。iPS細胞の培養時の品質評価における評価レシピは、学習環境を示す情報として遺伝子及びタンパク質導入又は薬剤処理の情報を含み、さらに当該評価器の評価器パラメータを含む。
(3)移植判定
本技術は、再生医療における細胞の移植判定に適用可能である。この場合、評価器は、細胞の画像に基づいて移植可否を評価する。
<<7.他の実施形態>>
<7.1.評価レシピの変形例>
上述した例では、評価レシピは、評価器パラメータ、及び当該評価器パラメータの学習環境を示す学習環境情報を含む。しかし、評価レシピはこの例に限られない。例えば、評価レシピは、症例情報と、評価結果情報とが含まれてもよい。症例情報は、病気の症状に関する情報や、病名に関する情報を示す。例えば、症例情報は、前立腺がん、大腸がん、乳がん、肺がんといった症例や病名に関する情報を示す。評価結果情報は、評価器によって評価される診断の種類や内容を示す。なお、症例情報と評価結果情報とが含まれる評価レシピを、上述してきた評価レシピと区別するために「診断レシピ」と表記する場合がある。ただし、診断レシピは評価レシピに含まれる概念である。
評価結果情報の一例を下記に示す。例えば、評価結果情報とは、「がん」または「非がん」を判定する判定結果に関する情報である。具体的には、評価結果情報とは、がんであるか否かを「1(がん)」または「0(非がん)」で判定する判定結果に関する情報である。この場合、がんの有無の判定結果を示す情報が、評価器による出力情報となる。このような評価器を用いた場合には、がんの有無の判定のスクリーニングに利用することができる。例えば、評価結果情報とは、腫瘍領域を示すアノテーション結果に関する情報である。この場合、腫瘍領域を示すアノテーション結果を示す情報が、評価器による出力情報となる。このような評価器を用いた場合には、腫瘍領域の確認や再確認に利用することができる。例えば、評価結果情報とは、腫瘍のクラス分類の結果に関する情報である。この場合、腫瘍のクラス分類の結果を示す情報が、評価器による出力情報となる。このような評価器を用いた場合には、腫瘍のクラス分類の確認や再確認に利用することができる。例えば、評価結果情報とは、腫瘍の形状、形態、面積、及び細胞や組織の位置に関する情報である。この場合、腫瘍の形状、形態、面積を示す情報、又は、細胞や組織の位置に関する情報が、評価器による出力情報となる。このような評価器を用いた場合には、診断の補助情報として利用することができる。このような評価器を用いた場合には、がんゲノム診断の補助ツールに利用することができる。
すなわち、診断レシピの一例としては、「前立腺がんの診断レシピ1」=「症例情報:前立腺がん」+「評価結果情報:がん/非がん判定」といった情報が挙げられる。また、診断レシピの他の例としては、「大腸がんの診断レシピ2」=「症例情報:大腸がん」+「評価結果情報:腫瘍領域を示すアノテーション結果」といった情報が挙げられる。
<7.2.補正の種類>
上記実施形態では、評価レシピに含まれる学習環境情報の例をいくつか説明した。しかし、評価レシピに含まれる学習環境情報は、上記例に限られない。例えば、上記実施形態では、撮像装置に関する装置情報の一例として撮像パラメータが評価レシピに含まれる例を示した。この撮像パラメータとしては、上述した倍率等の他に、画像の色に関する色情報や、画像の解像度に関する情報が含まれてもよい。また、評価レシピには、装置情報の色情報のみでなく、標本の染色情報や、標本属性情報の一例である臓器情報の色情報が含まれてもよい。これは、装置に限らず、標本の染色や臓器に応じて、画像の色が異なる可能性があるからである。また、撮像装置、染色、臓器に応じて、画像の倍率や色や解像度などが異なることを、以下、適宜、バラツキがあるとする。以下、画像の倍率や色や解像度を補正することによって、バラツキを抑える方法を説明する。
<7.3.補正処理の概要>
上記実施形態では、第2の病院側が、第1の病院側の学習環境に合わせた評価環境にて評価処理を行う例を示した。例えば、第1の病院側の病院サーバ20Aは、評価レシピを生成して、評価レシピサーバ30へアップロードする。そして、第2の病院側の病院サーバ20Bは、評価レシピサーバ30から病院サーバ20Aによって生成された評価レシピを取得する。そして、上記実施形態では、第2の病院側が、評価レシピに基づいて、第1の病院側の学習環境に合わせて評価を行う例を示した。例えば、上記実施形態では、撮像装置10Bが評価レシピに基づいて第2の標本画像を生成する例や、再現部42が評価レシピに基づいて学習環境と同等の環境を再現する例や、評価部43が評価レシピに含まれる評価器パラメータを用いて評価を行う例を示した。
しかし、学習環境と評価環境を合わせる手法は上記実施形態に限られない。この点について、上記実施形態に示した例も含めて、学習環境と評価環境を合わせる手法のパターンを図9〜図12を用いて説明する。図9〜図12では、解像度を補正する場合を例に挙げて説明する。なお、図9〜図12では、解像度を補正する場合を例に挙げて説明するが、倍率や色を補正する場合も、同様である。
以下、図9〜図12では、学習時に生成された評価器を、「評価器H1」と表記する。また、以下、図9〜図12では、評価器を用いて評価する際の評価器を、「評価器H2」と表記する。
<7.4.補正処理の種類>
図9は、撮像装置10Aで撮像された第1の標本画像に基づいて生成された評価器を用いて、撮像装置10Bで撮像された第2の標本画像を評価する場合を示す。この場合、撮像装置10Aと撮像装置10Bとは異なる装置であるため、標本画像の解像度が異なり、第2の標本画像を適切に評価することができない可能性がある。これは、撮像装置間で、装置の性能や撮像条件などが異なるため、撮像装置10Aと撮像装置10Bとで撮像された標本画像にも、撮像装置間で解像度にばらつきが生じるからである。例えば、同一の標本を、撮像装置10Aと撮像装置10Bとで撮像したとしても、第1の標本画像と第2の標本画像とは、解像度が異なる可能性がある。すなわち、撮像装置10Aで撮像された第1の標本画像に基づいて生成された評価器は、撮像装置10Aで撮像された第1の標本画像を正解情報とするため、撮像装置10Aと異なる撮像装置10Bで撮像された第2の標本画像に適用したとしても、標本画像にも撮像装置間でばらつきが生じる可能性があるため、適切に評価することができない可能性がある。すなわち、撮像装置10Aで撮像された第1の標本画像に基づいて生成された評価器は、撮像装置10Aで撮像された第1の標本画像を適切に評価するものであって、必ずしも、撮像装置10Bで撮像された第2の標本画像を適切に評価するものではない。このため、撮像装置10Aで撮像された第1の標本画像に基づいて生成された評価器を用いて、撮像装置10Bで撮像された第2の標本画像が、病変に関する情報を含むか否かを推定すると、推定結果に誤差が生じる可能性がある。なお、適切に評価するとは、例えば、高精度に評価することである。以下、誤差を是正するために、撮像装置間で標本画像を補正する場合を説明する。図10乃至12は、標本画像の解像度を補正する場合を示す。
図10は、複数の撮像装置で撮像された標本画像に基づいて評価器を生成する場合を示す。図10では、各撮像装置に対応した評価器を個々に生成する。具体的には、図10では、撮像装置10Aで撮像された第1の標本画像に基づいて撮像装置10A用の評価器と、撮像装置10Bで撮像された第2の標本画像に基づいて撮像装置10B用の評価器と、撮像装置10Cで撮像された標本画像(以下、適宜、「第3の標本画像」とする。)に基づいて撮像装置10C用の評価器とを生成する。例えば、撮像装置10Aで撮像された第1の標本画像を評価する場合は、撮像装置10A用の評価器を用い、撮像装置10Bで撮像された第2の標本画像を評価する場合は、撮像装置10B用の評価器を用い、撮像装置10Cで撮像された第3の標本画像を評価する場合は、撮像装置10C用の評価器を用いるなど、各々の撮像装置用の評価器を用いることにより、高精度に評価することができる。
また、図10では、各々の撮像装置に対応する評価器を生成するのではなく、全ての撮像装置に対応した評価器を生成してもよい。具体的には、撮像装置10Aで撮像された第1の標本画像と、撮像装置10Bで撮像された第2の標本画像と、撮像装置10Cで撮像された第3の標本画像とに基づいて、第1の標本画像と、第2の標本画像と、第3の標本画像とのいずれにも対応する評価器を生成してもよい。この場合、撮像装置10Aで撮像された第1の標本画像を評価する場合であっても、撮像装置10Bで撮像された第2の標本画像を評価する場合であっても、撮像装置10Cで撮像された第3の標本画像を評価する場合であっても、全ての撮像装置に対応した評価器を用いることによって、適切に評価することができる。
図11は、評価時に、所定の基準の解像度に補正する場合を示す。図11は、上記実施形態のように、学習環境に合わせる場合を示す。図11では、撮像装置10Aで撮像された第1の標本画像に基づいて生成された評価器を用いて、第2の標本画像を評価する。具体的には、撮像装置10Bで撮像された第2の標本画像を、所定の基準の解像度に補正した補正後の第2の標本画像を、撮像装置10Aで撮像された第1の標本画像に基づいて生成された評価器に入力する。より具体的には、撮像装置10Bで撮像された第2の標本画像を、撮像装置10Aで撮像された第1の標本画像に基づいて生成された評価器で評価するために、撮像装置10Bで撮像された第2の標本画像を、第1の標本画像に対応する所定の基準に補正する。これにより、撮像装置10Bで撮像された第2の標本画像を、誤差なく評価し得るため、より適切に、第2の標本画像を評価することができる。しかしながら、基準の解像度に補正してから評価器に入力するため、評価に時間を要する可能性がある。以上、学習環境に合わせる場合を示した。
上記実施形態に限られず、評価環境に合わせて学習を行ってもよい。言い換えれば、第1の病院側において、第2の標本の評価のための評価環境と同等の学習環境を再現して、再現した学習環境により学習を行ってもよい。以下、図12は、評価環境に合わせて学習を行う場合を示す。
図12は、評価器の生成時に、所定の基準の解像度に補正する場合を示す。図12では、撮像装置10Aで撮像された第1の標本画像を、所定の基準の解像度に補正した補正後の第1の標本画像に基づいて評価器を生成する。具体的には、撮像装置10Bで撮像された第2の標本画像を評価するための評価器を生成するために、撮像装置10Aで撮像された第1の標本画像を、第2の標本画像に対応する所定の基準に補正する。これにより、撮像装置10Bで撮像された第2の標本画像を、誤差なく評価し得るため、より適切に、第2の標本画像を評価することができる。しかしながら、基準の解像度に補正してから評価器を生成するため、評価器の生成に時間を要する可能性がある。
以上、解像度を補正する場合を例に挙げて説明したが、解像度に限られず、画像の倍率や色を補正する場合も同様の処理を行ってもよい。
<7.5.評価レシピの活用>
上記実施形態では、生成部23は、評価器パラメータと、学習環境情報とを含む評価レシピを生成する場合を示したが、これらの例に限られなくてもよい。例えば、生成部23は、症例情報と評価結果情報とが含まれる評価レシピである診断レシピを生成してもよい。
以下、図12に示すような、学習時に補正を行う場合に、評価器を生成する処理について説明する。生成部23は、診断レシピに含まれる評価結果情報を、病変の判定のための正解情報として、評価器を生成する。例えば、生成部23は、診断レシピに含まれる評価結果情報のうち、がんであるか否かを示す判定の判定結果や、腫瘍領域を示すアノテーション結果などの結果情報を正解情報として、評価器を生成する。なお、この場合、生成部23は、診断レシピに含まれる評価結果情報のうち、がん/悲がんの判定や、腫瘍領域を示すアノテーションなどの、評価内容に関する情報を、評価器パラメータとして、評価器を生成する。また、生成部23は、装置、染色、臓器などの情報に基づいて補正された情報を、評価器パラメータとして、評価器を生成する。例えば、生成部23は、装置、染色、臓器などの情報に基づいて、所定の基準となるように、倍率、色、解像度などを補正した情報を、評価器パラメータとして、評価器を生成する。以下、図13及び14を用いて、評価レシピを用いた情報処理のフローを説明する。
評価レシピを用いた情報処理には2つの場合がある。具体的には、評価器の生成時に補正する場合と、評価時に補正する場合とがある。また、再現部42は、評価レシピサーバ30に記憶された評価レシピを用いて処理を行う場合と、評価レシピサーバ30に記憶されていない情報を用いて処理を行う場合とがある。図13及び14では、再現部42が評価レシピサーバ30に記憶された評価レシピを用いて処理を行う場合を示す。以下、図13を用いて、学習時に補正する場合の情報処理を説明する。
<7.5.1.学習時の補正に基づく情報処理>
図13は、生成部23によって記憶された情報を学習時に補正する場合の情報処理の手順の一例を示す図である。以下、図13を用いて、生成部23によって記憶された情報を学習時に補正する場合の情報処理の手順の一例を説明する。生成部23は、患者情報を取得する。例えば、生成部23は、病理医が入力した患者情報を取得する。例えば、生成部23は、臓器情報を取得する。なお、生成部23は、患者の生体に関する情報であれば、臓器情報に限らず、どのような情報を患者情報として取得してもよい。例えば、生成部23は、患者の年齢、身長、性別などの属性情報を取得してもよい。
生成部23は、病理スライドに関する情報を取得する。生成部23は、取得した患者情報に対応する病理スライドに関する情報を取得する。例えば、生成部23は、薄切や染色がされた病理スライドに関する情報を取得する。例えば、生成部23は、染色(作用)情報を取得する。なお、染色の対象は、生体に関するものであればどのようなものであってもよい。例えば、染色の対象は、細胞や血液などであってもよい。
生成部23は、標本画像に関する情報を取得する。例えば、生成部23は、病理スライドの標本画像に関する情報を取得する。例えば、生成部23は、染色された対象の標本画像に関する情報を取得する。例えば、生成部23は、標本画像を撮像した撮像装置の装置情報を取得する。
生成部23は、診断結果に関する情報を取得する。例えば、生成部23は、撮像された標本画像に基づく診断結果に関する情報を取得する。例えば、生成部23は、症例情報を取得する。例えば、生成部23は、アノテーション情報を取得する。なお、図13に示す診断には、観察と記録とが含まれる。例えば、生成部23は、記録されたアノテーション情報を取得する。
生成部23は、取得した標本画像に関する情報を記憶する。例えば、生成部23は、標本画像を所定の記憶部に記憶する。例えば、生成部23は、アノテーション情報を記憶する。
生成部23は、患者情報と、病理スライドに関する情報と、病理画像に関する情報とに基づいて、補正する。例えば、生成部23は、臓器情報と、染色情報と、装置情報とに基づいて、補正する。例えば、生成部23は、臓器情報に基づいて補正することによって、臓器によるばらつきを低減することができる。例えば、生成部23は、染色情報に基づいて補正することによって、染色によるばらつきを低減することができる。例えば、生成部23は、装置情報に基づいて補正することによって、装置によるばらつきを低減することができる。また、臓器のばらつきによって、色に誤差が生じる可能性がある。生成部23は、臓器の色と、所定の基準の色とに応じて、補正する。また、染色のばらつきによって、色に誤差が生じる可能性がある。生成部23は、染色の色と、所定の基準の色とに応じて、補正する。また、装置のばらつきによって、色、倍率、解像度のうち少なくともいずれか一つに誤差が生じる可能性がある。生成部23は、所定の基準の色、所定の基準の倍率、所定の基準の解像度のうち少なくともいずれか一つに応じて、補正する。これにより、生成部23は、評価の精度を向上させることができる。これにより、生成部23は、色、倍率、解像度のうち少なくともいずれか一つを補正することによって、評価の精度を向上させることができる。
また、生成部23は、臓器情報を、補正のための補助情報としてもよい。すなわち、生成部23は、臓器情報を用いて、標本画像を補正する。例えば、生成部23は、細胞核の検出の場合などにおいて、染色(例えば、HE染色)によって臓器の組織や細胞核の色が変化する場合には、臓器情報を、補正のための補助情報として用いてもよい。また、生成部23は、細胞核の検出の場合などにおいて、粘膜や造血器系や唾液腺などの情報を、補正のための補助情報としてもよい。
生成部23は、機械学習による学習を行う。例えば、生成部23は、ディープラーニングなどのニューラルネットワークに基づいて学習を行う。生成部23は、補正後の患者情報、補正後の病理スライドに関する情報、補正後の標本画像に関する情報に基づいて評価器を生成する。例えば、生成部23は、評価結果情報の結果情報を正解情報として評価器を生成してもよい。なお、実施形態に係る学習は、ディープラーニングなどのニューラルネットワークに基づく学習に限らず、機械学習による学習であれば、どのような学習であってもよい。例えば、実施形態に係る学習は、ランダムフォレストに基づく学習であってもよい。
生成部23は、評価器と評価レシピとを記憶する。
再現部42は、生成部23と同様の処理に基づいて、臓器情報と、染色情報と、装置情報とを取得する。再現部42は、取得した情報と対応する評価器を生成部23に要求する。再現部42は、生成部23から送信された評価器に基づいて、病理対象を特定する。このように、再現部42は、生成部23により生成された評価器を用いて、診断を行う。
<7.5.2.評価時の補正に基づく情報処理>
図14は、再現部42で取得された情報を評価時に補正する場合の情報処理の手順の一例を示す図である。以下、図14を用いて、再現部42で取得された情報を評価時に補正する場合の情報処理の手順の一例を説明する。以下、図13と同様の処理については説明を適宜省略する。生成部23は、図13と同様の処理に基づいて、患者情報と、病理スライドに関する情報と、標本画像に関する情報と、診断結果に関する情報とを取得する。また、生成部23は、標本画像に関する情報やアノテーション情報を記憶する。
生成部23は、取得した情報を用いて機械学習を行う。生成部23は、患者情報と、病理スライドに関する情報と、標本画像に関する情報とに基づいて学習を行う。生成部23は、評価器と評価レシピとを記憶する。
再現部42は、図13と同様の処理に基づいて、臓器情報と、染色情報と、装置情報とを取得する。再現部42は、取得した臓器情報と、染色情報と、装置情報とを補正する。例えば、再現部42は、所定の基準に基づいて、臓器情報と、染色情報と、装置情報とを補正する。
再現部42は、補正した情報と対応する評価器を生成部23に要求する。再現部42は、生成部23から送信された評価器に基づいて、病理対象を特定する。
以上、評価レシピを用いた情報処理を説明した。なお、図13及び14では、学習時又は評価時のどちらか一方で補正を行う場合を示したが、学習時と評価時との両方で補正を行ってもよい。また、図13及び14では、生成部23が、評価器を再現部42へ提供する場合を示したが、生成部23は、評価器を用いて出力された推定結果を再現部42へ提供してもよい。この場合、再現部42は、提供された推定結果に基づいて、病理対象を特定してもよい。
<7.6.標本属性情報の変形例>
上記実施形態では、標本属性情報は、患者の年齢、性別、検査時年齢、標本の採取元の臓器の種別、採取法、検査日、病理診断結果、病理所見、標本のサムネイル画像、及び標本のゲノム情報などを含む。しかし、標本属性情報はこの例に限られない。標本属性情報は、患者の国籍や人種などの民族性に関する情報が含まれてもよい。この場合、生成部23は、患者の国籍や人種などの情報を患者情報として評価レシピを生成してもよい。また、標本属性情報は、患者を診断した病院や国などの診断場所に関する情報が含まれてもよい。この場合、生成部23は、患者を診断した病院や国などの情報を患者情報として評価レシピを生成してもよい。
生成部23は、標本属性情報に応じて異なる評価レシピを生成してもよい。例えば、生成部23は、患者の国籍や人種ごとに異なる評価レシピを生成してもよい。例えば、生成部23は、患者の国籍や人種ごとに異なる患者情報に基づいて評価レシピを生成してもよい。
生成部23は、標本属性情報に応じて異なる評価器を生成してもよい。例えば、生成部23は、患者の国籍や人種ごとに異なる評価器を生成してもよい。例えば、生成部23は、患者の国籍や人種ごとに異なる患者情報に基づいて評価器を生成してもよい。例えば、生成部23は、患者の国籍や人種ごとに異なる評価レシピに基づいて評価器を生成してもよい。
生成部23は、評価対象である患者の国籍や人種などの民族性、若しくは、患者を診断した病院や国などの診断場所、に対応する標本属性情報に応じて、対応する評価器を再現部42へ送信してもよい。
<7.7.複合レシピの生成>
上記実施形態では、予め定められた評価レシピを用いて評価器を生成する場合を示したが、この例に限られない。生成部23は、評価レシピを組み合わせたレシピである複合レシピを生成してもよい。そして、生成部23は、生成された複合レシピを用いて評価器を生成して、診断のために利用してもよい。例えば、生成部23は、標本画像が複数の病理対象を含む場合、複合レシピを生成してもよい。また、生成部23は、生成された複合レシピを新たな評価レシピとして、上述した情報処理に基づいて、診断を行ってもよい。例えば、生成部23は、生成された複合レシピに応じて、対応する評価器を再現部42へ送信してもよい。
<7.8.構成の変形例>
実施形態に係る診断システム1は、図1に示す例に限らず、各構成要素が複数であってもよい。具体的には、診断システム1には、複数台の撮像装置10(複数台の10A及び複数台の10B)と、複数台の病院サーバ20(複数台の20A及び複数台の20B)と、複数台の評価レシピサーバ30と、及び複数台の端末装置40(複数台の40A及び複数台の40B)とが含まれてもよい。また、実施形態に係る診断システム1は、図2に示す例に限らず、各構成要素に含まれる各機能(例えば、各処理部)が複数であってもよい。例えば、病院サーバ20は、複数の学習部22や複数の生成部23など、を含んでもよい。また、実施形態に係る情報処理システムは、複数の診断システム1によって実現されてもよい。
上記実施形態では、病院サーバ20は、第1の取得部21、学習部22、生成部23、第2の取得部24とを含む場合を示したが、この例に限られない。病院サーバ20は、評価器を提供する提供部25を有してもよい。例えば、提供部25は、生成部23によって生成された評価器を提供する。例えば、提供部25は、第2の取得部24によって、取得された評価器を提供する。例えば、提供部25は、各種情報を端末装置40へ送信する。例えば、提供部25は、評価器を用いて出力された推定結果を提供する。
<7.9.ユーザの表記>
上記実施形態では、病理医の診断のための、診断の補助を行う場合を示したが、診断を行うものは、病理医に限らず、どのようなものであってもよい。例えば、診断を行うものは、医師や技師などの病院に関する者であってもよい。以下、診断を行うものを、適宜、「ユーザ」と表記する。
<7.10.医療画像の表記>
上記実施形態では、病理診断の補助を行う場合を示したが、病理診断に限らず、医療であれば、どのような医療に関する医療診断であってもよい。また、上記実施形態では、標本画像を取得する場合を示したが、医療に関する医療画像であれば、標本画像に限らず、どのような医療画像を取得してもよい。この場合、上記実施形態では、医療画像に応じた評価レシピに基づいて評価器を生成してもよい。
<<8.ハードウェア構成例>>
最後に、図15を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図15は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図15に示す情報処理装置900は、例えば、図2に示す病院サーバ20A、病院サーバ20B、評価レシピサーバ30、又は端末装置40Bを実現し得る。本実施形態に係る病院サーバ20A、病院サーバ20B、評価レシピサーバ30、又は端末装置40Bによる情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図15に示すように、情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置900は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911及び通信装置913を備える。情報処理装置900は、CPU901に代えて、又はこれとともに、電気回路、DSP若しくはASIC等の処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、図2に示す第1の取得部21、学習部22、及び生成部23を形成し得る。また、CPU901は、例えば、図2に示す記憶制御部31を形成し得る。また、CPU901は、例えば、図2に示す第2の取得部24を形成し得る。また、CPU901は、例えば、図2に示す再現部42及び評価部43を形成し得る。
CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。情報処理装置900のユーザは、この入力装置906を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置906は、例えば、図2に示す入力部41を形成し得る。
出力装置907は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置、レーザープロジェクタ、LEDプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置907は、例えば、図2に示す出力部44を形成し得る。
ストレージ装置908は、情報処理装置900の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置908は、例えば、図2に示す記憶部32を形成し得る。
ドライブ909は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。
通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置913は、例えば、図2に示す各装置間で信号を送受信し得る。
なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
以上、本実施形態に係る情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
<<9.まとめ>>
以上、図1〜図15を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る病院サーバ20Aは、撮像装置10Aにより撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、第1の標本の評価を行う評価器の評価器パラメータを学習する。そして、病院サーバ20Aは、評価器パラメータ及び評価器パラメータの学習環境を示す学習環境情報を含む評価レシピを生成し、評価レシピサーバ30に記憶させる。一方、本実施形態に係る病院サーバ20Bは、評価レシピサーバ30に記憶された評価レシピを取得する。そして、端末装置40Bは、病院サーバ20Bにより取得された評価レシピに基づいて、撮像装置10Aとは異なる撮像装置10Bにより撮像される第2の標本の評価のための評価環境として、当該評価レシピの学習環境情報が示す学習環境と同等の環境を再現する。これにより、第2の標本の評価環境と同等の学習環境において学習された評価器パラメータを評価器に適用して第2の標本の評価を行うことが可能となるので、第2の標本の評価精度を向上させることが可能となる。
第1の再現処理では、第2の撮像画像が未だ撮像されていない状態で評価レシピが取得され、学習環境と同等の評価環境が再現される。そして、端末装置40Bは、再現された評価環境において撮像装置10Bにより撮像された、第2の標本の第2の標本画像を、評価レシピに含まれる評価器パラメータが適用された評価器により評価する。他方、第2の再現処理では、第2の作用が適用済みであり、第2の標本画像が撮像済みである状態において、学習環境と同等の評価環境が再現される。そして、端末装置40Bは、撮像装置10Bにより撮像された、第2の作用が適用された第2の標本の第2の標本画像を、評価環境と同等の学習環境において学習された評価器パラメータが適用された評価器により評価する。いずれにしろ、学習環境と評価環境とが同等となるので、評価器による評価精度を向上させることが可能となる。
なお、評価環境における撮像装置10Bへの撮像パラメータの設定、及び第2の作用の適用等は、プロトコルが用意されているものの、人間により手動で実施される場合が多い。この点、本実施形態によれば、評価レシピに基づく再現処理において、少なくとも一部を機械的に実施することが可能となる。従って、人間の作業負担が軽減されると共に、人為的なミスを低減し、評価精度を向上させることが可能となる。
その他、評価レシピの活用により、論文の追試を簡単にしたり、実験を正確に再現したり、高い精度で細胞を培養したりすることが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、病院サーバ20A、評価レシピサーバ30、病院サーバ20B及び端末装置40Bに、図2に示すように各構成要素がマッピングされる例を説明したが、本技術は係る例に限定されない。例えば、端末装置40Bに第2の取得部24が含まれていてもよいし、他の任意のマッピングが許容される。
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習することと、
前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を記憶媒体に記憶することと、
前記記憶媒体に記憶された前記評価設定情報を取得することと、
取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現することと、
を含む情報処理方法。
(2)
前記学習することは、前記学習環境ごとに前記評価器パラメータを学習することを含む、前記(1)に記載の情報処理方法。
(3)
前記学習環境情報は、前記第1の標本画像の生成に関する第1の画像パラメータ、前記第1の作用を示す作用情報、及び前記第1の標本の属性を示す第1の属性情報を含む、前記(1)に記載の情報処理方法。
(4)
前記第1の画像パラメータは、前記第1の撮像装置の第1の撮像パラメータ、及び前記第1の標本画像に対して適用された画像処理を示す第1の画像処理情報を含む、前記(3)に記載の情報処理方法。
(5)
前記作用情報は、染色の種別を示す情報、及び染色に用いられる抗体の種別を示す情報を含む、前記(3)又は(4)に記載の情報処理方法。
(6)
前記第1の属性情報は、前記第1の標本の採取元の臓器の種別を含む、前記(3)〜(5)のいずれか一項に記載の情報処理方法。
(7)
前記第1の属性情報は、前記第1の標本のゲノム情報を含む、前記(3)〜(6)のいずれか一項に記載の情報処理方法。
(8)
前記情報処理方法は、
再現された前記評価環境において前記第2の撮像装置により撮像された、前記第2の標本の第2の標本画像を、前記評価設定情報に含まれる前記評価器パラメータが適用された前記評価器により評価することをさらに含む、前記(3)〜(7)のいずれか一項に記載の情報処理方法。
(9)
前記再現することは、前記第2の標本画像の生成に関する第2の画像パラメータを前記学習環境情報に含まれる第1の画像パラメータと同一にすることを含む、前記(8)に記載の情報処理方法。
(10)
前記再現することは、前記第1の撮像装置の第1の撮像パラメータと前記第2の撮像装置の第2の撮像パラメータとの相違を埋めるための画像処理を前記第2の標本画像に適用することを含む、前記(8)に記載の情報処理方法。
(11)
前記再現することは、前記第1の作用と同一の第2の作用を前記第2の標本に適用するための支援を行うことを含む、前記(8)〜(10)のいずれか一項に記載の情報処理方法。
(12)
前記取得することは、前記学習環境と同等の前記評価環境を再現することが可能な前記評価設定情報を取得することを含む、前記(8)〜(11)のいずれか一項に記載の情報処理方法。
(13)
前記情報処理方法は、
前記第2の撮像装置により撮像された、第2の作用が適用された前記第2の標本の第2の標本画像を、前記評価環境と同等の前記学習環境において学習された前記評価器パラメータが適用された前記評価器により評価することをさらに含む、前記(3)〜(7)のいずれか一項に記載の情報処理方法。
(14)
前記取得することは、前記第1の撮像装置と前記第2の撮像装置とが同型であり、前記第1の標本の前記第1の属性情報と前記第2の標本の第2の属性情報が同一であり、前記第1の作用と前記第2の作用とが同一である、前記評価設定情報を取得することを含む、前記(13)に記載の情報処理方法。
(15)
前記評価することは、前記第1の撮像装置の第1の撮像パラメータと前記第2の撮像装置の第2の撮像パラメータとの相違を埋めるための画像処理を前記第2の標本画像に適用することを含む、前記(13)又は(14)に記載の情報処理方法。
(16)
前記画像処理は、色補正又は拡縮の少なくともいずれかを含む、前記(15)に記載の情報処理方法。
(17)
前記情報処理方法は、
前記評価設定情報の識別情報、前記評価器パラメータの識別情報、及び前記第2の標本の評価結果を示す情報を出力することを含む、前記(1)〜(16)のいずれか一項に記載の情報処理方法。
(18)
前記評価することは、前記第2の標本におけるがん細胞の有無を判定すること、前記第2の標本の第2の標本画像においてがん細胞が発現した領域を特定すること、がん細胞の悪性度を判定すること、及びがん細胞の治療のための薬を特定すること、を含む、前記(1)〜(17)のいずれか一項に記載の情報処理方法。
(19)
第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習することと、
前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を記憶媒体に記憶することと、
を含む情報処理方法。
(20)
第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて学習された、前記第1の標本の評価を行う評価器の評価器パラメータ、及び前記評価器パラメータの学習環境を示す学習環境情報を含む、評価設定情報を記憶媒体から取得することと、
取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現することと、
を含む情報処理方法。
(21)
第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習する学習部、並びに、前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を生成する生成部、を含む第1の情報処理装置と、
前記評価設定情報を記憶する記憶媒体を含む第2の情報処理装置と、
前記記憶媒体に記憶された前記評価設定情報を取得する取得部、並びに、取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現する再現部、を含む第3の情報処理装置と、
を備える情報処理システム。
(22)
第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習する学習部と、
前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を生成する生成部と、
を備える情報処理装置。
(23)
第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて学習された、前記第1の標本の評価を行う評価器の評価器パラメータ、及び前記評価器パラメータの学習環境を示す学習環境情報を含む、評価設定情報を記憶媒体から取得する取得部と、
取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現する再現部と、
を備える情報処理装置。
(24)
情報処理システムであって、
病理医による操作に応じて当該病理医が利用する端末装置から送信される情報であって、病理診断のために撮像された標本画像に関する情報を取得する取得部と、
前記取得部によって取得された標本画像に関する情報に応じて補正された補正後の、当該標本画像の評価に関する設定を示す評価設定情報である評価レシピに基づいて評価器を生成する生成部と、
前記生成部によって生成された評価器であって、前記標本画像を評価するための評価器に関する情報を前記端末装置へ提供する提供部と、
を含む情報処理システム。
(25)
情報処理システムであって、
病理医による操作に応じて当該病理医が利用する端末装置から送信される情報であって、病理診断のために撮像された標本画像に関する情報を取得する取得部と、
前記取得部によって取得された標本画像に関する情報に応じた、当該標本画像の評価に関する設定を示す評価設定情報である評価レシピに基づいて評価器を生成する生成部と、
前記生成部によって生成された評価器であって、当該評価器に応じて補正された補正後の前記標本画像を評価するための評価器に関する情報を前記端末装置へ提供する提供部と、
を含む情報処理システム。
(26)
情報処理システムであって、
ユーザによる操作に応じて当該ユーザが利用する端末装置から送信される情報であって、診断のために撮像された医療画像に関する情報を取得する取得部と、
前記取得部によって取得された医療画像に関する情報に応じて補正された補正後の、当該医療画像の評価に関する設定を示す評価設定情報である評価レシピに基づいて評価器を生成する生成部と、
前記生成部によって生成された評価器であって、前記医療画像を評価するための評価器に関する情報を前記端末装置へ提供する提供部と、
を含む情報処理システム。
(27)
情報処理システムであって、
ユーザによる操作に応じて当該ユーザが利用する端末装置から送信される情報であって、診断のために撮像された医療画像に関する情報を取得する取得部と、
前記取得部によって取得された医療画像に関する情報に応じた、当該医療画像の評価に関する設定を示す評価設定情報である評価レシピに基づいて評価器を生成する生成部と、
前記生成部によって生成された評価器であって、当該評価器に応じて補正された補正後の前記医療画像を評価するための評価器に関する情報を前記端末装置へ提供する提供部と、
を含む情報処理システム。
1 診断システム
10 撮像装置
20 病院サーバ
21 第1の取得部
22 学習部
23 生成部
24 第2の取得部
30 評価レシピサーバ
31 記憶制御部
32 記憶部
40 端末装置
41 入力部
42 再現部
43 評価部
44 出力部

Claims (24)

  1. 第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習することと、
    前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を記憶媒体に記憶することと、
    前記記憶媒体に記憶された前記評価設定情報を取得することと、
    取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現することと、
    を含む情報処理方法。
  2. 前記学習することは、前記学習環境ごとに前記評価器パラメータを学習することを含む、請求項1に記載の情報処理方法。
  3. 前記学習環境情報は、前記第1の標本画像の生成に関する第1の画像パラメータ、前記第1の作用を示す作用情報、及び前記第1の標本の属性を示す第1の属性情報を含む、請求項1に記載の情報処理方法。
  4. 前記第1の画像パラメータは、前記第1の撮像装置の第1の撮像パラメータ、及び前記第1の標本画像に対して適用された画像処理を示す第1の画像処理情報を含む、請求項3に記載の情報処理方法。
  5. 前記作用情報は、染色の種別を示す情報、及び染色に用いられる抗体の種別を示す情報を含む、請求項3に記載の情報処理方法。
  6. 前記第1の属性情報は、前記第1の標本の採取元の臓器の種別を含む、請求項3に記載の情報処理方法。
  7. 前記第1の属性情報は、前記第1の標本のゲノム情報を含む、請求項3に記載の情報処理方法。
  8. 前記情報処理方法は、
    再現された前記評価環境において前記第2の撮像装置により撮像された、前記第2の標本の第2の標本画像を、前記評価設定情報に含まれる前記評価器パラメータが適用された前記評価器により評価することをさらに含む、請求項3に記載の情報処理方法。
  9. 前記再現することは、前記第2の標本画像の生成に関する第2の画像パラメータを前記学習環境情報に含まれる第1の画像パラメータと同一にすることを含む、請求項8に記載の情報処理方法。
  10. 前記再現することは、前記第1の撮像装置の第1の撮像パラメータと前記第2の撮像装置の第2の撮像パラメータとの相違を埋めるための画像処理を前記第2の標本画像に適用することを含む、請求項8に記載の情報処理方法。
  11. 前記再現することは、前記第1の作用と同一の第2の作用を前記第2の標本に適用するための支援を行うことを含む、請求項8に記載の情報処理方法。
  12. 前記取得することは、前記学習環境と同等の前記評価環境を再現することが可能な前記評価設定情報を取得することを含む、請求項8に記載の情報処理方法。
  13. 前記情報処理方法は、
    前記第2の撮像装置により撮像された、第2の作用が適用された前記第2の標本の第2の標本画像を、前記評価環境と同等の前記学習環境において学習された前記評価器パラメータが適用された前記評価器により評価することをさらに含む、請求項3に記載の情報処理方法。
  14. 前記取得することは、前記第1の撮像装置と前記第2の撮像装置とが同型であり、前記第1の標本の前記第1の属性情報と前記第2の標本の第2の属性情報が同一であり、前記第1の作用と前記第2の作用とが同一である、前記評価設定情報を取得することを含む、請求項13に記載の情報処理方法。
  15. 前記評価することは、前記第1の撮像装置の第1の撮像パラメータと前記第2の撮像装置の第2の撮像パラメータとの相違を埋めるための画像処理を前記第2の標本画像に適用することを含む、請求項13に記載の情報処理方法。
  16. 前記画像処理は、色補正又は拡縮の少なくともいずれかを含む、請求項15に記載の情報処理方法。
  17. 前記情報処理方法は、
    前記評価設定情報の識別情報、前記評価器パラメータの識別情報、及び前記第2の標本の評価結果を示す情報を出力することを含む、請求項1に記載の情報処理方法。
  18. 前記評価することは、前記第2の標本におけるがん細胞の有無を判定すること、前記第2の標本の第2の標本画像においてがん細胞が発現した領域を特定すること、がん細胞の悪性度を判定すること、及びがん細胞の治療のための薬を特定すること、を含む、請求項1に記載の情報処理方法。
  19. 第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて、前記第1の標本の評価を行う評価器の評価器パラメータを学習することと、
    前記評価器パラメータ及び前記評価器パラメータの学習環境を示す学習環境情報を含む評価設定情報を記憶媒体に記憶することと、
    を含む情報処理方法。
  20. 第1の撮像装置により撮像された、第1の作用が適用された第1の標本の第1の標本画像に基づいて学習された、前記第1の標本の評価を行う評価器の評価器パラメータ、及び前記評価器パラメータの学習環境を示す学習環境情報を含む、評価設定情報を記憶媒体から取得することと、
    取得された前記評価設定情報に基づいて、前記第1の撮像装置とは異なる第2の撮像装置により撮像される第2の標本の評価のための評価環境として、前記学習環境と同等の環境を再現することと、
    を含む情報処理方法。
  21. 情報処理システムであって、
    病理医による操作に応じて当該病理医が利用する端末装置から送信される情報であって、病理診断のために撮像された標本画像に関する情報を取得する取得部と、
    前記取得部によって取得された標本画像に関する情報に応じて補正された補正後の、当該標本画像の評価に関する設定を示す評価設定情報である評価レシピに基づいて評価器を生成する生成部と、
    前記生成部によって生成された評価器であって、前記標本画像を評価するための評価器に関する情報を前記端末装置へ提供する提供部と、
    を含む情報処理システム。
  22. 情報処理システムであって、
    病理医による操作に応じて当該病理医が利用する端末装置から送信される情報であって、病理診断のために撮像された標本画像に関する情報を取得する取得部と、
    前記取得部によって取得された標本画像に関する情報に応じた、当該標本画像の評価に関する設定を示す評価設定情報である評価レシピに基づいて評価器を生成する生成部と、
    前記生成部によって生成された評価器であって、当該評価器に応じて補正された補正後の前記標本画像を評価するための評価器に関する情報を前記端末装置へ提供する提供部と、
    を含む情報処理システム。
  23. 情報処理システムであって、
    ユーザによる操作に応じて当該ユーザが利用する端末装置から送信される情報であって、診断のために撮像された医療画像に関する情報を取得する取得部と、
    前記取得部によって取得された医療画像に関する情報に応じて補正された補正後の、当該医療画像の評価に関する設定を示す評価設定情報である評価レシピに基づいて評価器を生成する生成部と、
    前記生成部によって生成された評価器であって、前記医療画像を評価するための評価器に関する情報を前記端末装置へ提供する提供部と、
    を含む情報処理システム。
  24. 情報処理システムであって、
    ユーザによる操作に応じて当該ユーザが利用する端末装置から送信される情報であって、診断のために撮像された医療画像に関する情報を取得する取得部と、
    前記取得部によって取得された医療画像に関する情報に応じた、当該医療画像の評価に関する設定を示す評価設定情報である評価レシピに基づいて評価器を生成する生成部と、
    前記生成部によって生成された評価器であって、当該評価器に応じて補正された補正後の前記医療画像を評価するための評価器に関する情報を前記端末装置へ提供する提供部と、
    を含む情報処理システム。
JP2020530404A 2018-11-12 2019-11-05 情報処理方法および情報処理システム Pending JPWO2020100660A1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018212136 2018-11-12
JP2018212136 2018-11-12
JP2019194798 2019-10-25
JP2019194798 2019-10-25
PCT/JP2019/043338 WO2020100660A1 (ja) 2018-11-12 2019-11-05 情報処理方法および情報処理システム

Publications (1)

Publication Number Publication Date
JPWO2020100660A1 true JPWO2020100660A1 (ja) 2021-09-24

Family

ID=70731581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020530404A Pending JPWO2020100660A1 (ja) 2018-11-12 2019-11-05 情報処理方法および情報処理システム

Country Status (5)

Country Link
US (1) US20220005188A1 (ja)
EP (1) EP3723040A4 (ja)
JP (1) JPWO2020100660A1 (ja)
CN (1) CN111542857A (ja)
WO (1) WO2020100660A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102441907B1 (ko) * 2021-07-08 2022-09-08 가톨릭대학교 산학협력단 암 진단을 위한 이미지 분류 장치 및 이미지 분류 방법
CN117813510A (zh) * 2021-09-09 2024-04-02 株式会社岛津制作所 数据解析装置以及数据解析方法
WO2024181592A1 (ko) * 2023-02-27 2024-09-06 가톨릭대학교 산학협력단 유전자 변이를 식별하기 위한 복수의 이미지 분류 장치 및 그 분류 방법
CN116664013B (zh) * 2023-07-24 2023-09-22 西南林业大学 协作学习模式的效果评估方法、泛在智慧学习系统及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5137481B2 (ja) 2007-06-29 2013-02-06 オリンパス株式会社 画像処理装置、画像処理プログラム、および画像処理方法
JP5185151B2 (ja) * 2009-02-09 2013-04-17 オリンパス株式会社 顕微鏡観察システム
JP5557091B2 (ja) * 2010-03-30 2014-07-23 日本電気株式会社 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム
JP2014191685A (ja) * 2013-03-28 2014-10-06 Nissan Motor Co Ltd 画像処理装置および画像処理方法
JP6979278B2 (ja) * 2017-04-07 2021-12-08 株式会社日立ハイテク 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法

Also Published As

Publication number Publication date
EP3723040A4 (en) 2021-11-24
WO2020100660A1 (ja) 2020-05-22
CN111542857A (zh) 2020-08-14
US20220005188A1 (en) 2022-01-06
EP3723040A1 (en) 2020-10-14

Similar Documents

Publication Publication Date Title
JPWO2020100660A1 (ja) 情報処理方法および情報処理システム
Zarella et al. A practical guide to whole slide imaging: a white paper from the digital pathology association
JP7355924B2 (ja) 画像認識モデルのトレーニング方法、画像認識方法及び装置
TW202112299A (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
US20190051215A1 (en) Training and testing system for advanced image processing
JP2021513075A (ja) 光学組織像の分析及び遠隔読影のためのシステム及び方法
JP2021516373A (ja) 病理顕微鏡並びに、その表示モジュール、制御方法、装置及びコンピュータプログラム
JP5547597B2 (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
CN112424588A (zh) 从样本的自体荧光分离出荧光试剂的荧光的信息处理装置及显微镜
US11373422B2 (en) Evaluation assistance method, evaluation assistance system, and computer-readable medium
Rashid et al. Narrative online guides for the interpretation of digital-pathology images and tissue-atlas data
KR102222509B1 (ko) 의료 영상에 관한 판단을 보조하는 방법 및 이를 이용한 장치
JP2022146822A (ja) 画像診断システム及び画像診断方法
Kulak et al. Smart glasses as a surgical pathology grossing tool
JPWO2019146358A1 (ja) 学習システム、方法及びプログラム
Lebre et al. Collaborative framework for a whole-slide image viewer
Sendra-Balcells et al. Generalisability of fetal ultrasound deep learning models to low-resource imaging settings in five African countries
Winetraub et al. OCT2Hist: non-invasive virtual biopsy using optical coherence tomography
US11830622B2 (en) Processing multimodal images of tissue for medical evaluation
Rashid et al. Interpretative guides for interacting with tissue atlas and digital pathology data using the Minerva browser
JP2023526412A (ja) 情報処理方法、電子装置、及びコンピュータ記憶媒体
CN108765413B (zh) 用于图像分类的方法、装置及计算机可读介质
WO2021157397A1 (ja) 情報処理装置及び情報処理システム
JP2010128865A (ja) 画像作成装置、画像表示装置、画像作成方法、及び画像表示方法
Tomioka et al. Development of a novel artificial intelligence system for laparoscopic hepatectomy