JP2023525465A - 病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法及び装置 - Google Patents

Abstract

【課題】少なくとも一つのコンピュータ装置により遂行される、病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法が提供される。【解決手段】この方法は、病理スライドイメージでの一つ以上の関心領域に対する免疫表現型と関連付けられた情報を獲得するステップと、一つ以上の関心領域に対する免疫表現型と関連付けられた情報に基づいて、免疫表現型と関連付けられた情報を示すイメージを生成するステップと、免疫表現型と関連付けられた情報を示すイメージを出力するステップとを含むことができる。【選択図】図１

Description

本開示は、病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法及び装置に関し、より具体的には、病理スライドイメージでの一つ以上の関心領域に対する免疫表現型（ｉｍｍｕｎｅ ｐｈｅｎｏｔｙｐｅ）と関連付けられた情報を示すイメージを生成して出力する方法及び装置に関する。

最近、癌治療に対する第３世代の抗癌剤として、患者の体内の兔疫系を活用する免疫抗癌剤に対する関心が寄せられている。免疫抗癌剤は、癌細胞が人体の兔疫系を回避できないようにしたり、免疫細胞が癌細胞をよく認識して攻撃するようにしたりする任意の薬物を称することができる。人体の兔疫系を介して作用するため、抗癌剤の副作用がほとんどなくて、他の抗癌剤よりも癌患者の生存期間をさらに長くすることができる。しかしながら、このような免疫抗癌剤は、全ての癌患者に効果があるものではない。したがって、現在の癌患者に対して免疫抗癌剤の効果を予測するためには、免疫抗癌剤の反応性を予測することが重要である。

一方、ユーザ（例えば、医者や患者など）には、免疫抗癌剤の反応性を予測するために、患者の組織に対する病理スライドイメージを通して生成された免疫反応情報を提供できる。従来の技術によれば、ユーザ（例えば、医者や患者など）には、免疫抗癌剤の反応性を予測するために、病理スライドイメージに含まれた複数のパッチの各々に対する免疫反応情報（例えば、免疫細胞発現情報など）を提供できる。このとき、ユーザは、病理スライドイメージに含まれた数多くのパッチの各々に対する免疫反応情報を直観的に認識するのに困難があり得る。また、複数のパッチのうち、免疫抗癌剤の反応性を予測するのに実質的に不要なパッチに対しても、免疫反応情報を生成してしまうことがある。

本開示は、前記のような問題点を解決するための病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法及び装置を提供する。

本開示は、方法、装置（システム）又は命令語を保存するコンピュータ読み取り可能な保存媒体、コンピュータプログラムを含む多様な方式により具現化され得る。

本開示の一実施例に係る少なくとも一つのコンピュータ装置により遂行される、病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法は、病理スライドイメージでの一つ以上の関心領域に対する免疫表現型（ｉｍｍｕｎｅ ｐｈｅｎｏｔｙｐｅ）と関連付けられた情報を獲得するステップと、一つ以上の関心領域に対する免疫表現型と関連付けられた情報に基づいて、免疫表現型と関連付けられた情報を示すイメージを生成するステップと、免疫表現型と関連付けられた情報を示すイメージを出力するステップとを含む。

本開示の一実施例において、一つ以上の関心領域は、病理スライドイメージに対する一つ以上の対象アイテムの検出結果に基づいて決定される。

本開示の一実施例において、一つ以上の関心領域は、病理スライドイメージのうち、一つ以上の対象アイテムと関連付けられた条件を満たす少なくとも一部領域を含む。

本開示の一実施例において、一つ以上の関心領域は、病理スライドイメージに対する一つ以上の対象アイテムの検出結果又は病理スライドイメージが関心領域抽出モデルに入力されることにより出力される領域であり、関心領域抽出モデルは、参照病理スライドイメージに対する一つ以上の対象アイテムの検出結果又は参照病理スライドイメージが入力されることで、参照関心領域を出力するように学習される。

本開示の一実施例において、獲得するステップは、一つ以上の関心領域の免疫表現型を獲得するステップを含み、生成するステップは、一つ以上の関心領域の免疫表現型に対応する視覚的な標識を含むイメージを生成するステップを含み、免疫表現型は免疫活性、免疫排除又は免疫欠乏の少なくとも一つを含む。

本開示の一実施例において、獲得するステップは、一つ以上の関心領域に対する一つ以上の免疫表現型スコアを獲得するステップを含み、生成するステップは、一つ以上の免疫表現型スコアに対応する視覚的な標識を含むイメージを生成するステップを含み、一つ以上の免疫表現型スコアは、免疫活性に対するスコア、免疫排除に対するスコア又は免疫欠乏に対するスコアの少なくとも一つを含む。

本開示の一実施例において、獲得するステップは、一つ以上の関心領域に対する一つ以上の免疫表現型と関連付けられたフィーチャ（ｆｅａｔｕｒｅ）を獲得するステップを含み、生成するステップは、一つ以上の免疫表現型と関連付けられたフィーチャに対応する視覚的な標識を含むイメージを生成するステップを含み、一つ以上の免疫表現型と関連付けられたフィーチャは、免疫表現型と関連付けられた統計的な値又はベクトルの少なくとも一つを含む。

本開示の一実施例において、出力するステップは、病理スライドイメージでの一つ以上の関心領域及び視覚的な標識を含むイメージを共に出力するステップを含む。

本開示の一実施例において、出力するステップは、病理スライドイメージでの一つ以上の関心領域に視覚的な標識を含むイメージをオーバーレイ（ｏｖｅｒｌａｙ）するステップを含む。

本開示の一実施例において、病理スライドイメージから一つ以上の対象アイテムの検出結果を獲得するステップと、一つ以上の対象アイテムの検出結果を示すイメージを生成するステップと、一つ以上の対象アイテムの検出結果を示すイメージを出力するステップとをさらに含む。

本開示の一実施例に係る前述した病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法をコンピュータで実行するために、コンピュータ読み取り可能な記録媒体に保存されたコンピュータプログラムが提供される。

本開示の一実施例に係るコンピュータ装置は、一つ以上のインストラクション（ｉｎｓｔｒｕｃｔｉｏｎ）を保存するメモリと、保存された一つ以上のインストラクションを実行することで、病理スライドイメージでの一つ以上の関心領域に対する免疫表現型と関連付けられた情報を獲得し、一つ以上の関心領域に対する免疫表現型と関連付けられた情報に基づいて、免疫表現型と関連付けられた情報を示すイメージを生成し、免疫表現型と関連付けられた情報を示すイメージを出力するように構成されたプロセッサとを含む。

本開示の一部の実施例によれば、免疫表現型と関連付けられた情報を視覚的に示すイメージをユーザに提供することで、ユーザは各領域に対する免疫表現型と関連付けられた情報を直観的に認知できる。また、免疫表現型と関連付けられた情報を示す視覚的な標識を、病理スライドイメージにおいて対応する関心領域にオーバーレイして提供することで、ユーザは当該視覚的な標識に関する情報が病理スライドイメージのどの領域に関する情報に該当するか一目でわかる。

本開示の一部の実施例によれば、病理スライドイメージのうち、免疫表現型判定及び／又は免疫抗癌剤の反応可否の決定のために、実質的に分析が必要な関心領域を決定できる。すなわち、情報処理システム及び／又はユーザ端末は、全体の病理スライドイメージではなく、不要な領域を除いた関心領域だけに対して処理（例えば、免疫表現型判定及び／又は免疫表現型スコア算出など）を遂行できるため、コンピュータリソースや処理費用などを最小化できる。

本開示の一部の実施例によれば、免疫表現型判定及び／又は免疫抗癌剤の反応可否の決定において、有意味な領域だけに対して処理（例えば、免疫表現型判定及び／又は免疫表現型スコア算出など）を遂行することで、より正確な結果を提供できる。

本開示の効果は、これに制限されず、言及されない他の効果等は、特許請求の範囲の記載から本開示が属する技術分野における通常の知識を有する者（以下、「通常の技術者」という）に明確に理解されるべきである。

本開示の実施例等は、以下の添付図面に基づいて説明される。ここで、類似の参照番号は類似の要素を示すが、これに限定されるものではない。
本開示の一実施例に係る情報処理システムが病理スライドイメージに対する免疫表現型と関連付けられた情報を提供するシステムを示す例示的構成図である。 本開示の一実施例に係る情報処理システムの内部構成を示すブロック図である。 本開示の一実施例に係るユーザ端末の内部構成を示すブロック図である。 本開示の一実施例に係る病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法を示すフローチャートである。 本開示の一実施例に係る病理スライドイメージ内において一つ以上の関心領域を決定する例を示す図である。 本開示の一実施例に係る免疫表現型判定結果を生成する例を示す図である。 本開示の一実施例に係る免疫表現型判定結果を出力する例を示す図である。 本開示の他の実施例に係る免疫表現型判定結果を出力する例を示す図である。 本開示の一実施例に係る人工神経網モデルの例を示す図である。 本開示の一実施例に係る病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する例示的なコンピュータ装置（例えば、ユーザ端末）の構成図である。 本開示の一実施例に係る対象アイテム検出結果を出力する例を示す図である。 本開示の一実施例に係る対象アイテム検出結果及び免疫表現型判定結果を出力する例を示す図である。

以下、本開示の実施のための具体的な内容を添付図面に基づいて詳細に説明する。ただし、以下の説明では、本開示の要旨を不要に不明瞭にする恐れがある場合、公知の機能や構成に関する具体的な説明は省略する。

添付図面において、同一又は対応する構成要素には同一の参照符号が付与される。また、以下の実施例の説明において、同一又は対応する構成要素の重複記述は省略され得る。しかしながら、構成要素に関する記述が省略されても、そのような構成要素が、ある実施例に含まれないものと意図してはならない。

開示の実施例の利点及び特徴、そしてそれらを達成する方法は、添付図面に基づいて後述する実施例を参照すれば明確になる。しかしながら、本開示は、以下で開示される実施例に限定されず、互いに異なる多様な形態で具現化され得る。但し、本実施例は、本開示が完全になるようにし、本開示が通常の技術者に発明のカテゴリを正確に認識させるために提供されるだけである。

本明細書で使用される用語について簡略に説明し、開示の実施例について具体的に説明する。本明細書で使用される用語は、本開示での機能を考慮しつつ、可能な限り現在広く使用される一般的な用語を選択したが、これは関連分野に従事する技術者の意図又は判例、新技術の出現などにより変化し得る。また、特定の場合は出願人が任意で選定した用語もあり得るが、これらの意味は当該発明の説明の部分において詳細に記載する。よって、本開示で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と本開示の全般にわたった内容に基づいて定義されるべきである。

本明細書では、文脈上において明確に特定しない限り、単数の表現は複数の表現を含み、複数の表現は単数の表現を含むことができる。明細書の全般に渡り、ある部分がある構成要素を「含む」とする際、これは特に反対の記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含むこともできることを意味する。

また、明細書で使用される「モジュール」又は「部」という用語は、ソフトウェアやハードウェア構成要素を意味し、「モジュール」又は「部」はある役割を遂行する。しかしながら、「モジュール」又は「部」はソフトウェアやハードウェアに限定される意味ではない。「モジュール」又は「部」は、アドレッシング可能な保存媒体にあるように構成してもよく、一つ又はそれ以上のプロセッサを再生させるように構成してもよい。したがって、一例として、「モジュール」又は「部」は、ソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素、タスク構成要素のような構成要素、並びに、プロセス、関数、属性、プロシーザー、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ又は変数のうちで少なくとも一つを含むことができる。構成要素と「モジュール」又は「部」は、内部で提供される機能はさらに小さい数の構成要素及び「モジュール」又は「部」で結合されたり、追加的な構成要素と「モジュール」又は「部」にさらに分離されたりできる。

本開示の一実施例によれば、「モジュール」又は「部」はプロセッサ及びメモリで具現化され得る。「プロセッサ」は汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、制御器、マイクロ制御器、状態マシンなどを含むように広く解釈されるべきである。いくつかの環境では、「プロセッサ」は特定用途向け半導体（ＡＳＩＣ）、プログラム可能なロジックデバイス（ＰＬＤ）、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）等を称することもできる。「プロセッサ」は、例えば、ＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサの組合せ、ＤＳＰコアと結合した一つ以上のマイクロプロセッサの組合せ、若しくは、任意の他のそのような構成等の組合せのような処理デバイスの組合せを称することもできる。また、「メモリ」は電子情報を保存可能な任意の電子コンポーネントを含むように広く解釈されるべきである。「メモリ」は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＮＶＲＡＭ（Ｎｏｎ－Ｖｏｌａｔｉｌｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅｄａ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、磁気又は光学データ保存装置、レジスタなどのようなプロセッサ－読み取り可能な媒体の多様な類型を称することもできる。プロセッサがメモリから情報を読み取り／読み取ったりメモリに情報を記録できる場合、メモリはプロセッサと電子通信状態にあると言われる。プロセッサに集積されたメモリはプロセッサと電子通信状態にある。

本開示において、「システム」は、サーバ装置及びクラウド装置の少なくとも一つを含むことができるが、これに限定されるものではない。例えば、システムは一つ以上のサーバ装置からなることができる。他の例として、システムは一つ以上のクラウド装置からなることができる。また他の例として、システムはサーバ装置及びクラウド装置の全部からなって動作されることもできる。

本開示において、「目的データ」は、機械学習モデルの学習に使用され得る任意のデータ又はデータアイテムを称することができ、例えば、イメージを示すデータ、音声又は音声の特徴を示すデータなどを含むが、これに限定されるものではない。本開示では、目的データとして病理スライドイメージの全体及び／又は病理スライドイメージに含まれた少なくとも一つのパッチ（又は領域）を利用して説明しているが、これに限定されず、機械学習モデルの学習に使用され得る任意のデータが目的データに該当できる。また、目的データは、アノテーション（ａｎｎｏｔａｔｉｏｎ）作業によりラベル情報がタグ付けされる。

本開示において、「病理スライドイメージ」は、人体から取り出した組織などを顕微鏡で観察するために、一連の化学的処理過程により固定及び染色された病理スライドの撮影イメージを称する。例えば、病理スライドイメージは、顕微鏡で撮影したデジタルイメージを称することができ、人体内の細胞（ｃｅｌｌ）、組織（ｔｉｓｓｕｅ）及び／又はストラクチャー（ｓｔｒｕｃｔｕｒｅ）に関する情報を含むことができる。また、病理スライドイメージは一つ以上のパッチを含むことができ、一つ以上のパッチにはアノテーション作業によりラベル情報（例えば、免疫表現型に関する情報）がタグ付けされる。例えば、「病理スライドイメージ」は、Ｈ＆Ｅ染色された組織スライド及び／又はＩＨＣ染色された組織スライドを含むことのできるが、これに限定されず、多様な染色方式（例えば、ＣＩＳＨ（Ｃｈｒｏｍｏｇｅｎｉｃ ｉｎ ｓｉｔｕ ｈｙｂｒｉｄｉｚａｔｉｏｎ）、ＦＩＳＨ（Ｆｌｕｏｒｅｓｃｅｎｔ ｉｎ ｓｉｔｕ ｈｙｂｒｉｄｉｚａｔｉｏｎ）、Ｍｕｌｔｉｐｌｅｘ ＩＨＣなど）が適用された組織スライド又は非染色（ｕｎｓｔａｉｎｅｄ）の組織スライドも含むことができる。他の例として、「病理スライドイメージ」は、免疫抗癌剤の反応を予測するために生成された患者の組織スライドであって、免疫抗癌剤治療前の患者の組織スライド及び／又は免疫抗癌剤治療後の患者の組織スライドを含むことができる。

本開示において、「バイオマーカー」は、正常又は病理的な状態、薬物に対する反応程度などを客観的な見方から測定できる指標として定義できる。例えば、バイオマーカーは、免疫抗癌剤とバイオマーカーとしてＰＤ－Ｌ１を含むことのできるが、これに限定されず、ＴＭＢ（Ｔｕｍｏｒ Ｍｕｔａｔｉｏｎ Ｂｕｒｄｅｎ）数値、ＭＳＩ（Ｍｉｃｒｏｓａｔｅｌｌｉｔｅ ｉｎｓｔａｂｉｌｉｔｙ）数値、ＨＲＤ（Ｈｏｍｏｌｏｇｏｕｓ Ｒｅｃｏｍｂｉｎａｔｉｏｎ Ｄｅｆｉｃｉｅｎｃｙ）値、ＣＤ３、ＣＤ８、ＣＤ６８、ＦＯＸＰ３、ＣＤ２０、ＣＤ４、ＣＤ４５、ＣＤ１６３、以外に免疫細胞と関連付けられた多様なバイオマーカーを含むことができる。

本開示において、「パッチ」は、病理スライドイメージ内の小領域を称することができる。例えば、パッチは、病理スライドイメージに対し、セグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）を遂行することにより抽出された意味論的オブジェクトに対応する領域を含むことができる。また他の例として、パッチは、病理スライドイメージを分析することにより生成されたラベル情報と関連付けられたピクセル等の組合せを称することができる。

本開示において、「関心領域」は、病理スライドイメージ内の分析対象となる少なくとも一部領域を称することができる。例えば、関心領域は、病理スライドイメージのうち、対象アイテムが含まれた少なくとも一部領域を称することができる。他の例として、関心領域は、病理スライドイメージを分割することにより生成された複数のパッチの少なくとも一部を称することができる。

本開示において、「機械学習モデル」及び／又は「人工神経網モデル」は、与えられた入力に対する解答（ａｎｓｗｅｒ）を推論するのに使用する任意のモデルを含むことができる。一実施例によれば、機械学習モデルは、入力層（ｌａｙｅｒ）、複数個の隠れ層及び出力層を含む人工神経網モデルを含むことができる。ここで、各層は複数のノードを含むことができる。例えば、機械学習モデルは、病理スライドイメージ及び／又は病理スライドに含まれた少なくとも一つのパッチに対してラベル情報を推論するように学習できる。このとき、アノテーション作業により生成されたラベル情報が機械学習モデルを学習させるのに利用される。また、機械学習モデルは、機械学習モデルに含まれた複数のノードと関連付けられた加重値を含むことができる。ここで、加重値は、機械学習モデルと関連付けられた任意のパラメータを含むことができる。

本開示において、「学習」は、少なくとも一つのパッチ及びラベル情報を利用して、機械学習モデルと関連付けられた加重値を変更する任意の過程を称することができる。一実施例によれば、学習は、少なくとも一つのパッチ及びラベル情報を利用して、機械学習モデルを１回以上の順方向伝搬（ｆｏｒｗａｒｄ ｐｒｏｐａｇａｔｉｏｎ）及び逆方向伝搬（ｂａｃｋｗａｒｄ ｐｒｏｐａｇａｔｉｏｎ）により機械学習モデルと関連付けられた加重値を変更又はアップデートする過程を称することができる。

本開示において、「ラベル情報（ｌａｂｅｌ ｉｎｆｏｒｍａｔｉｏｎ）」は、データサンプルの正答情報であって、アノテーション作業の結果として獲得された情報である。ラベル又はラベル情報は、当該技術分野においてアノテーションやタグなどの用語と混用されることができる。本開示において、「アノテーション（ａｎｎｏｔａｔｉｏｎ）」は、アノテーション作業及び／又はアノテーション作業の遂行によって決定されたアノテーション情報（例えば、ラベル情報など）を称することができる。本開示において、「アノテーション情報」は、アノテーション作業のための情報及び／又はアノテーション作業で生成された情報（例えば、ラベル情報）を称することができる。

本開示において、「対象アイテム」は、病理スライドイメージ内において検出対象となるデータ／情報、イメージ領域及びオブジェクトなどを称することができる。一実施例によれば、対象アイテムは、疾病（例えば、癌）の診断、治療及び予防などのために、病理スライドイメージから検出しようとする対象を含むことができる。例えば、「対象アイテム」は、細胞単位の対象アイテム及び領域単位の対象アイテムを含むことができる。

本開示において、「複数のＡ各々」及び／又は「複数のＡの各々」は、複数のＡに含まれた全ての構成要素の各々を称したり、複数のＡに含まれた一部の構成要素の各々を称したりできる。例えば、複数の関心領域の各々は、複数の関心領域に含まれた全ての関心領域の各々を称したり、複数の関心領域に含まれた一部の関心領域の各々を称したりできる。

本開示において、「インストラクション（ｉｎｓｔｒｕｃｔｉｏｎ）」は、機能に基づいて組み合わせた一つ以上の命令語であって、コンピュータプログラムの構成要素であると同時に、プロセッサにより実行されるものを称することができる。

本開示において、「ユーザ」は、ユーザ端末を利用する者を称することができる。例えば、ユーザは、アノテーション作業を遂行するユーザ（ａｎｎｏｔａｔｏｒ）を含むことができる。他の例として、ユーザは、免疫表現型と関連付けられた情報及び／又は免疫抗癌剤に対する反応予測結果（例えば、患者が免疫抗癌剤に反応するか否かに対する予測結果）が提供される医者や患者などを含むことができる。また、ユーザはユーザ端末を称することができ、反対に、ユーザ端末はユーザを称することができる。すなわち、ユーザ及びユーザ端末は本明細書で混用されることができる。

図１は、本開示の一実施例に係る情報処理システム１００が病理スライドイメージに対する免疫表現型（ｉｍｍｕｎｅ ｐｈｅｎｏｔｙｐｅ）と関連付けられた情報を提供するシステムを示す例示的構成図である。図に示すように、病理スライドイメージに対する免疫表現型と関連付けられた情報を提供するシステムは、情報処理システム１００、ユーザ端末１１０及び保存システム１２０を含むことができる。ここで、情報処理システム１００は、ユーザ端末１１０及び保存システム１２０の各々と連結されて通信可能であるように構成できる。 図１では、一つのユーザ端末１１０を示しているが、これに限定されず、複数のユーザ端末１１０が情報処理システム１００と連結されて通信するように構成できる。また、図１では、情報処理システム１００を一つのコンピュータ装置として示しているが、これに限定されず、情報処理システム１００は、複数のコンピュータ装置を介して情報及び／又はデータを分散処理するように構成できる。また、図１では、保存システム１２０を一つの装置として示しているが、これに限定されず、複数の保存装置として構成されたり、クラウド（ｃｌｏｕｄ）を支援するシステムとして構成されたりできる。また、図１では、病理スライドイメージに対する免疫表現型と関連付けられた情報を提供するシステムの各々の構成要素は、機能的に区分される機能要素を示すもので、複数の構成要素が実際の物理的環境において互いに統合される形態で具現化され得る。

情報処理システム１００及びユーザ端末１１０は、病理スライドイメージに対する免疫表現型と関連付けられた情報を生成して提供するのに利用される任意のコンピュータ装置である。ここで、コンピュータ装置は、コンピュータの機能が具備された任意の種類の装置を称することができ、例えば、ノートブック、デスクトップ（ｄｅｓｋｔｏｐ）、ラップトップ（ｌａｐｔｏｐ）、サーバ、クラウドシステムなどになり得るが、これに限定されるものではない。

情報処理システム１００は病理スライドイメージを受信できる。例えば、情報処理システム１００は、保存システム１２０及び／又はユーザ端末１１０から病理スライドイメージを受信できる。情報処理システム１００は、病理スライドイメージに対する免疫表現型と関連付けられた情報を生成して、ユーザ端末１１０を介してユーザ１３０に提供できる。一実施例において、情報処理システム１００は、病理スライドイメージ内において一つ以上の関心領域を決定し、一つ以上の関心領域に対する免疫表現型と関連付けられた情報を生成できる。ここで、免疫表現型と関連付けられた情報は、一つ以上の関心領域の免疫表現型、一つ以上の関心領域の免疫表現型スコア及び一つ以上の関心領域の免疫表現型と関連付けられたフィーチャ（ｆｅａｔｕｒｅ）の少なくとも一つを含むことができる。

一実施例において、情報処理システム１００は、病理スライドイメージに対する一つ以上の対象アイテムの検出結果に基づいて、一つ以上の関心領域を決定できる。例えば、情報処理システム１００は、病理スライドイメージのうち、一つ以上の対象アイテムと関連付けられた条件を満たす少なくとも一部領域を含む一つ以上の関心領域を決定できる。付加的又は代替的に、情報処理システム１００は、病理スライドイメージに対する一つ以上の対象アイテムの検出結果（例えば、対象アイテム検出結果を含む病理スライドイメージ）が関心領域抽出モデルに入力されることで、出力される領域を一つ以上の関心領域として決定できる。ここで、関心領域抽出モデルは、参照病理スライドイメージに対する一つ以上の対象アイテムの検出結果（例えば、対象アイテム検出結果を含む参照病理スライドイメージ）が入力されることで、参照関心領域を出力するように学習されたモデルに該当できる。

ユーザ端末１１０は、情報処理システム１００から病理スライドイメージでの一つ以上の関心領域に対する免疫表現型と関連付けられた情報を獲得できる。例えば、一つ以上の関心領域に対する免疫表現型と関連付けられた情報は、一つ以上の関心領域に対する免疫表現型（例えば、免疫活性（ｉｍｍｕｎｅ ｉｎｆｌａｍｅｄ）、免疫排除（ｉｍｍｕｎｅ ｅｘｃｌｕｄｅｄ）又は免疫欠乏（ｉｍｍｕｎｅ ｄｅｓｅｒｔ）の少なくとも一つ）を含むことができる。付加的又は代替的に、一つ以上の関心領域に対する免疫表現型と関連付けられた情報は、一つ以上の関心領域に対する一つ以上の免疫表現型スコア（例えば、免疫表現型スコアは免疫活性に対するスコア、免疫排除に対するスコア又は免疫欠乏に対するスコアの少なくとも一つ）を含むことができる。付加的又は代替的に、一つ以上の関心領域に対する免疫表現型と関連付けられた情報は、一つ以上の関心領域に対する一つ以上の免疫表現型と関連付けられたフィーチャ（例えば、免疫表現型と関連付けられた統計的な値又はベクトルの少なくとも一つ）を含むことができる。

その後、ユーザ端末１１０は、一つ以上の関心領域に対する免疫表現型と関連付けられた情報に基づいて、免疫表現型と関連付けられた情報を示すイメージを生成できる。一実施例において、ユーザ端末１１０は、一つ以上の関心領域の免疫表現型に対応する視覚的な標識を含むイメージを生成できる。他の実施例において、ユーザ端末１１０は、一つ以上の免疫表現型スコアに対応する視覚的な標識を含むイメージを生成できる。例えば、視覚的な標識は、色彩（例えば、カラー、明度、彩度など）、テキスト、イメージ、マーク、図形などを含むことができる。

ユーザ端末１１０は、生成された免疫表現型と関連付けられた情報を示すイメージを出力できる。一実施例において、ユーザ端末１１０は、病理スライドイメージでの一つ以上の関心領域及び視覚的な標識を含むイメージを共に出力できる。すなわち、病理スライドイメージでの一つ以上の関心領域及び視覚的な標識を含むイメージは、ユーザ端末１１０と関連付けられたディスプレイ装置に共に表示され得る。他の実施例において、ユーザ端末１１０は、病理スライドイメージでの一つ以上の関心領域に視覚的な標識を含むイメージをオーバーレイできる。すなわち、視覚的な標識を含むイメージがオーバーレイされた病理スライドイメージでの一つ以上の関心領域が、ユーザ端末１１０と関連付けられたディスプレイ装置に表示され得る。これにより、ユーザ１３０（例えば、医者や患者など）には、ユーザ端末１１０を介して免疫表現型と関連付けられた情報を示すイメージを提供できる。

保存システム１２０は、病理スライドイメージに対する免疫表現型と関連付けられた情報を提供するための、対象患者と関連付けられた病理スライドイメージ、機械学習モデルと関連付けられた各種データを保存して管理する装置又はクラウドシステムである。データを効率よく管理するために、保存システム１２０は、データベースを用いて各種データを保存して管理できる。ここで、各種データは、機械学習モデルと関連付けられた任意のデータを含むことができ、例えば、目的データのファイル、目的データのメタ情報、アノテーション作業結果である目的データに関するラベル情報、アノテーション作業に関するデータ、機械学習モデル（例：人工神経網モデル）などを含むことのできるが、これに限定されるものではない。図１では、情報処理システム１００及び保存システム１２０が別途のシステムとして示したが、これに限定されず、一つのシステムとして統合されて構成され得る。

本開示の一部の実施例によれば、ユーザ１３０に免疫表現型と関連付けられた情報を視覚的に示すイメージを提供することで、ユーザ１３０は各領域に対する免疫表現型と関連付けられた情報を直観的に認知できる。また、本開示の一部の実施例によれば、病理スライドイメージのうち、免疫表現型判定及び／又は免疫抗癌剤の反応可否の決定のために、実質的に分析が必要な関心領域を決定できる。すなわち、情報処理システム１００及び／又はユーザ端末１１０は、全体の病理スライドイメージではなく、不要な領域を除いた関心領域だけに対して処理（例えば、免疫表現型判定及び／又は免疫表現型スコア算出など）を遂行できるので、コンピュータリソースや処理費用などを最小化できる。また、免疫表現型判定及び／又は免疫抗癌剤の反応可否の決定において、有意味な領域だけに対して処理（例えば、免疫表現型判定及び／又は免疫表現型スコア算出など）を遂行することで、より正確な予測結果を提供できる。

図２は、本開示の一実施例に係る情報処理システム１００の内部構成を示すブロック図である。病理スライドイメージに対する免疫表現型と関連付けられた情報を提供するために、情報処理システム１００は、病理スライドイメージに対する免疫表現型と関連付けられた情報を生成できる。一実施例によれば、図に示すように、情報処理システム１００は、対象アイテム検出部２１０、関心領域決定部２２０及び免疫表現型判定部２３０を含むことができる。図２では、情報処理システム１００の各々の構成要素は、機能的に区分される機能要素を示すもので、複数の構成要素が実際の物理的環境において互いに統合される形態で具現化できる。

対象アイテム検出部２１０は、病理スライドイメージ（例えば、Ｈ＆Ｅ染色された病理スライドイメージ、ＩＨＣ染色された病理スライドイメージなど）を受信し、受信された病理スライドイメージ内において一つ以上の対象アイテムを検出できる。一実施例において、対象アイテム検出部２１０は、人工神経網対象アイテム検出モデルを利用して、病理スライドイメージ内において一つ以上の対象アイテムを検出できる。ここで、人工神経網対象アイテム検出モデルは、参照病理スライドイメージから一つ以上の参照対象アイテムを検出するように学習されたモデルに該当できる。例えば、対象アイテム検出部２１０は、病理スライドイメージ内において、細胞単位の対象アイテム及び／又は領域単位の対象アイテムを検出できる。すなわち、対象アイテム検出部２１０は、病理スライドイメージ内において、腫瘍細胞（ｔｕｍｏｒ ｃｅｌｌ）、リンパ球（ｌｙｍｐｈｏｃｙｔｅ）、マクロファージ（ｍａｃｒｏｐｈａｇｅ）、樹状細胞（ｄｅｎｄｒｉｔｉｃ ｃｅｌｌ）、線維芽細胞（ｆｉｂｒｏｂｌａｓｔ）、内皮細胞（ｅｎｄｏｔｈｅｌｉａｌ ｃｅｌｌ）、血管（ｂｌｏｏｄ ｖｅｓｓｅｌ）、癌ストロマ（ｃａｎｃｅｒ ｓｔｒｏｍａ）、癌上皮（ｃａｎｃｅｒ ｅｐｉｔｈｅｌｉｕｍ）、癌領域（ｃａｎｃｅｒ ａｒｅａ）、正常領域（ｎｏｒｍａｌ ａｒｅａ）（例えば、正常リンパ構造（ｎｏｒｍａｌ ｌｙｍｐｈ ｎｏｄｅ ａｒｃｈｉｔｅｃｔｕｒｅ）領域）などを対象アイテムとして検出できる。

関心領域決定部２２０は、病理スライドイメージ内において一つ以上の関心領域を決定できる。ここで、関心領域は、病理スライドイメージ内において一つ以上の対象アイテムが検出された領域を含むことができる。例えば、関心領域決定部２２０は、病理スライドイメージを構成する複数のパッチのうち、一つ以上の対象アイテムを含むパッチを関心領域として決定できる。一実施例において、関心領域決定部２２０は、病理スライドイメージに対する一つ以上の対象アイテムの検出結果に基づいて、一つ以上の関心領域を決定できる。例えば、関心領域決定部２２０は、病理スライドイメージのうち、一つ以上の対象アイテムと関連付けられた条件を満たす少なくとも一部領域を含む一つ以上の関心領域を決定できる。付加的又は代替的に、関心領域決定部２２０は、病理スライドイメージに対する一つ以上の対象アイテムの検出結果及び／又は病理スライドイメージが関心領域抽出モデルに入力されることで、出力される領域を一つ以上の関心領域として決定できる。

免疫表現型判定部２３０は、病理スライドイメージでの一つ以上の関心領域の免疫表現型と関連付けられた情報を生成できる。一実施例において、免疫表現型判定部２３０は、一つ以上の対象アイテムに対する検出結果に基づいて、一つ以上の関心領域の免疫表現型を判定できる。例えば、免疫表現型判定部２３０は、一つ以上の対象アイテムに対する検出結果に基づいて、一つ以上の関心領域の免疫表現型が、免疫活性であるか、免疫排除であるか又は免疫欠乏であるかを判定できる。他の実施例において、免疫表現型判定部２３０は、一つ以上の対象アイテムに対する検出結果に基づいて、一つ以上の関心領域の免疫表現型スコアを算出できる。例えば、免疫表現型判定部２３０は、一つ以上の対象アイテムに対する検出結果に基づいて、一つ以上の関心領域の免疫活性に対するスコア、免疫排除に対するスコア及び／又は免疫欠乏に対するスコアを算出できる。このために、免疫表現型判定部２３０は、一つ以上の関心領域の免疫表現型が、免疫活性である確率などを示すスコア、免疫排除である確率などを示すスコア及び／又は免疫欠乏である確率などを示すスコアを算出できる。

また他の実施例において、免疫表現型判定部２３０は、一つ以上の関心領域に対する一つ以上の免疫表現型と関連付けられたフィーチャを生成できる。ここで、一つ以上の免疫表現型と関連付けられたフィーチャは、免疫表現型と関連付けられた統計的な値又はベクトルの少なくとも一つを含むことができる。例えば、一つ以上の免疫表現型と関連付けられたフィーチャは、人工神経網モデルや機械学習モデルから出力される免疫表現型と関連付けられたスコア値を含むことができる。すなわち、一つ以上の関心領域に対する免疫表現型を決定する過程で出力されるスコア値を含むことができる。他の例として、一つ以上の免疫表現型と関連付けられたフィーチャは、免疫表現型に対する閾値（又は、カットオフ（ｃｕｔ－ｏｆｆ））に該当する免疫細胞の密度値、個数、各種統計値又は免疫細胞の分布を示すベクトル値などを含むことができる。

また他の例として、一つ以上の免疫表現型と関連付けられたフィーチャは、免疫細胞又は癌細胞及び特定細胞（例えば、癌細胞、免疫細胞、Ｆｉｂｒｏｂｌａｓｔ、Ｌｙｍｐｈｏｃｙｔｅ、ｐｌａｓｍａ ｃｅｌｌ、Ｍａｃｒｏｐｈａｇｅ、Ｅｎｄｏｔｈｅｌｉａｌ ｃｅｌｌなど）間の相対的な関係（例えば、方向及び距離を考慮したヒストグラムベクトルやグラフ表現ベクトルなど）や、相対的な統計値（例えば、特定細胞数対免疫細胞数の比率など）を含むスカラー値やベクトル値などを含むことができる。また他の例として、一つ以上の免疫表現型と関連付けられたフィーチャは、特定領域（癌領域、癌ストロマ領域、Ｔｅｒｔｉａｒｙ ｌｙｍｐｈｏｉｄ ｓｔｒｕｃｔｕｒｅ、Ｎｏｒｍａｌ ｒｅｇｉｏｎ、Ｎｅｃｒｏｓｉｓ、Ｆａｔ、Ｂｌｏｏｄ ｖｅｓｓｅｌ、Ｈｉｇｈ ｅｎｄｏｔｈｅｌｉａｌ ｖｅｎｕｌｅ、Ｌｙｍｐｈａｔｉｃ ｖｅｓｓｅｌ、Ｎｅｒｖｅなど）での免疫細胞又は癌細胞の統計値（例えば、癌ストロマ領域対免疫細胞数の比率など）や、分布（例えば、ヒストグラムベクトルやグラフ表現ベクトルなど）を含むスカラー値やベクトル値などを含むことができる。

また他の例として、一つ以上の免疫表現型と関連付けられたフィーチャは、バイオマーカーの発現量による陽性（ｐｏｓｉｔｉｖｅ）／陰性（ｎｅｇａｔｉｖｅ）細胞及び特定細胞（例えば、癌細胞、免疫細胞、Ｆｉｂｒｏｂｌａｓｔ、Ｌｙｍｐｈｏｃｙｔｅ、ｐｌａｓｍａ ｃｅｌｌ、Ｍａｃｒｏｐｈａｇｅ、Ｅｎｄｏｔｈｅｌｉａｌ ｃｅｌｌなど）間の相対的な関係（例えば、方向及び距離を考慮したヒストグラムベクトルやグラフ表現ベクトルなど）や、相対的な統計値（例えば、特定細胞数対免疫細胞数の比率など）を含むスカラー値やベクトル値などを含むことができる。また他の例として、一つ以上の免疫表現型と関連付けられたフィーチャは、特定領域（癌領域、癌ストロマ領域、Ｔｅｒｔｉａｒｙ ｌｙｍｐｈｏｉｄ ｓｔｒｕｃｔｕｒｅ、Ｎｏｒｍａｌ ｒｅｇｉｏｎ、Ｎｅｃｒｏｓｉｓ、Ｆａｔ、Ｂｌｏｏｄ ｖｅｓｓｅｌ、Ｈｉｇｈ ｅｎｄｏｔｈｅｌｉａｌ ｖｅｎｕｌｅ、Ｌｙｍｐｈａｔｉｃ ｖｅｓｓｅｌ、Ｎｅｒｖｅなど）でのバイオマーカーの発現量による陽性／陰性細胞の統計値（例えば、癌ストロマ領域対免疫細胞数の比率など）や、分布（例えば、ヒストグラムベクトルやグラフ表現ベクトルなど）を含むスカラー値やベクトル値などを含むことができる。

図２において、情報処理システム１００は、対象アイテム検出部２１０、関心領域決定部２２０及び免疫表現型判定部２３０からなるが、これに限定されず、一部の構成を省略したり他の構成を追加したりできる。一実施例において、情報処理システム１００は、免疫抗癌剤の反応予測部（図示せず）をさらに含むことができ、免疫抗癌剤の反応予測部は、免疫表現型と関連付けられた情報に基づいて、患者が免疫抗癌剤に反応するか否かに対する予測結果を生成できる。他の実施例において、情報処理システム１００は、出力部（図示せず）をさらに含み、出力部は、一つ以上の対象アイテムに対する検出結果、一つ以上の関心領域の免疫表現型、患者が免疫抗癌剤に反応するか否かに対する予測結果又は一つ以上の関心領域内の免疫細胞の密度の少なくとも一つを出力できる。

図３は、本開示の一実施例に係るユーザ端末１１０の内部構成を示すブロック図である。一実施例によれば、図に示すように、ユーザ端末１１０は、イメージ生成部３１０及びイメージ出力部３２０を含むことができる。図３では、ユーザ端末１１０の各々の構成要素は、機能的に区分される機能要素を示すもので、複数の構成要素が実際の物理的環境において互いに統合される形態で具現化できる。

イメージ生成部３１０は、病理スライドイメージでの一つ以上の関心領域に対する免疫表現型と関連付けられた情報を獲得できる。例えば、イメージ生成部３１０は、情報処理システムで生成された一つ以上の関心領域に対する免疫表現型と関連付けられた情報を受信できる。付加的又は代替的に、ユーザ端末１１０が一つ以上の関心領域に対する免疫表現型と関連付けられた情報を生成することで、イメージ生成部３１０は、一つ以上の関心領域に対する免疫表現型と関連付けられた情報を獲得できる。付加的又は代替的に、イメージ生成部３１０は、ユーザ端末１１０の内部及び／又は外部の装置に保存された一つ以上の関心領域に対する免疫表現型と関連付けられた情報を受信できる。

イメージ生成部３１０は、一つ以上の関心領域に対する免疫表現型と関連付けられた情報に基づいて、免疫表現型と関連付けられた情報を示すイメージを生成できる。一実施例において、一つ以上の関心領域の免疫表現型を獲得する場合、イメージ生成部３１０は、一つ以上の関心領域の免疫表現型に対応する視覚的な標識を含むイメージを生成できる。他の実施例において、一つ以上の関心領域に対する一つ以上の免疫表現型スコアを受信する場合、イメージ生成部３１０は、一つ以上の免疫表現型スコアに対応する視覚的な標識を含むイメージを生成できる。

また他の実施例において、イメージ生成部３１０は、一つ以上の免疫表現型と関連付けられたフィーチャ（例えば、フィーチャの値）に対応する視覚的な標識を含むイメージを生成できる。例えば、バイオマーカーの発現率によるヒートマップ（ｈｅａｔｍａｐ）、特定閾値（例えば、カットオフ（ｃｕｔ－ｏｆｆ））に基づいて分類された分類マップ（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｍａｐ）などを含むイメージを生成できる。ここで、分類マップは、ＰＤ－Ｌ１の発現と関連付けられた情報であるＴＰＳ（Ｔｕｍｏｒ Ｐｒｏｐｏｒｔｉｏｎ Ｓｃｏｒｅ）及び／又はＣＰＳ（Ｃｏｍｂｉｎｅｄ Ｐｒｏｐｏｒｔｉｏｎ Ｓｃｏｒｅ）を特定閾値に基づいて分類した結果を視覚化したマップを含むことができる。

イメージ出力部３２０は、免疫表現型と関連付けられた情報を示すイメージをディスプレイ装置により出力できる。一実施例において、イメージ出力部３２０は、病理スライドイメージでの一つ以上の関心領域及び視覚的な標識を含むイメージをディスプレイ装置により出力できる。代替的に、イメージ出力部３２０は、病理スライドイメージでの一つ以上の関心領域に視覚的な標識を含むイメージをオーバーレイ（ｏｖｅｒｌａｙ）できる。

図３では、イメージ生成部３１０がユーザ端末１１０に含まれるものと示したが、これに限定されず、イメージ生成部３１０はユーザ端末１１０と有線及び／又は無線で通信可能な任意の外部装置（例えば、情報処理システム１００など）に含まれることもできる。このような構成によれば、ユーザ端末１１０のイメージ出力部３２０は、外部装置から生成されたイメージを受信し、受信されたイメージをユーザ端末１１０が有線及び／又は無線で連結されたディスプレイ装置に表示できる。

また、図２及び図３では、対象アイテム検出部２１０、関心領域決定部２２０、免疫表現型判定部２３０、イメージ生成部３１０及びイメージ出力部３２０が、情報処理システム１００及びユーザ端末１１０に分けて実行されるものと示したが、これに限定されず、このような構成要素等は一つの装置により実行されることもできる。他の実施例において、このような構成要素等は、複数の任意の装置（例えば、情報処理システム１００やユーザ端末１１０など）により任意の組合せに分散されて処理されることもできる。

図４は、本開示の一実施例に係る病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法４００を示すフローチャートである。一実施例において、病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法４００は、プロセッサ（例えば、ユーザ端末の少なくとも一つのプロセッサ及び／又は情報処理システムの少なくとも一つのプロセッサ）により遂行できる。病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法４００は、プロセッサが病理スライドイメージでの一つ以上の関心領域に対する免疫表現型と関連付けられた情報を獲得することにより開始することができる（Ｓ４１０）。ここで、一つ以上の関心領域に対する免疫表現型と関連付けられた情報は、一つ以上の関心領域に対する免疫表現型（例えば、免疫活性、免疫排除又は免疫欠乏の少なくとも一つ）及び／又は一つ以上の関心領域に対する免疫表現型スコア（例えば、免疫活性に対するスコア、免疫排除に対するスコア又は免疫欠乏に対するスコアの少なくとも一つ）を含むことができる。付加的又は代替的に、一つ以上の関心領域に対する免疫表現型と関連付けられた情報は、一つ以上の関心領域に対する一つ以上の免疫表現型と関連付けられたフィーチャ（例えば、免疫表現型と関連付けられた統計的な値又はベクトル）を含むことができる。

一実施例において、一つ以上の関心領域は、病理スライドイメージに対する一つ以上の対象アイテムの検出結果に基づいて決定できる。例えば、一つ以上の関心領域は、病理スライドイメージのうち、一つ以上の対象アイテムと関連付けられた条件を満たす少なくとも一部領域を含むことができる。他の例として、一つ以上の関心領域は、病理スライドイメージに対する一つ以上の対象アイテムの検出結果及び／又は病理スライドイメージが関心領域抽出モデルに入力されることにより出力される領域であり得る。このとき、関心領域抽出モデルは、参照病理スライドイメージに対する一つ以上の対象アイテムの検出結果（例えば、対象アイテム検出結果を含む参照病理スライドイメージ）及び／又は参照病理スライドイメージが入力されることで、参照関心領域を出力するように学習されたモデルに該当できる。

プロセッサは、一つ以上の関心領域に対する免疫表現型と関連付けられた情報に基づいて、免疫表現型と関連付けられた情報を示すイメージを生成できる（Ｓ４２０）。一実施例において、プロセッサは、一つ以上の関心領域の免疫表現型に対応する視覚的な標識を含むイメージを生成できる。他の実施例において、プロセッサは、一つ以上の免疫表現型スコアに対応する視覚的な標識を含むイメージを生成できる。例えば、プロセッサは、免疫活性に対するスコアに対応する視覚的な標識を含むイメージを生成できる。他の例として、プロセッサは、免疫排除に対するスコアに対応する視覚的な標識を含むイメージを生成できる。また他の例として、プロセッサは、免疫欠乏に対するスコアに対応する視覚的な標識を含むイメージを生成できる。また他の実施例において、プロセッサは、一つ以上の免疫表現型と関連付けられたフィーチャに対応する視覚的な標識を含むイメージを生成できる。例えば、プロセッサは、一つ以上の免疫表現型と関連付けられたフィーチャの値に対応する視覚的な標識を含むイメージを生成できる。

続いて、プロセッサは、免疫表現型と関連付けられた情報を示すイメージを出力できる（Ｓ４３０）。一実施例において、プロセッサは、病理スライドイメージでの一つ以上の関心領域及び視覚的な標識を含むイメージを共に出力できる。他の実施例において、プロセッサは、病理スライドイメージでの一つ以上の関心領域に視覚的な標識を含むイメージをオーバーレイ（ｏｖｅｒｌａｙ）できる。

一実施例において、プロセッサは、病理スライドイメージから一つ以上の対象アイテムの検出結果を獲得し、一つ以上の対象アイテムの検出結果を示すイメージを生成できる。その後、プロセッサは、一つ以上の対象アイテムの検出結果を示すイメージを出力できる。

図５は、本開示の一実施例に係る病理スライドイメージ５１０内において一つ以上の関心領域５２２＿１、５２２＿２、５２２＿３、５２２＿４、５２４、５２６を決定する例を示す図である。患者が免疫抗癌剤に反応するか否かに対して予測するために、ユーザ（例えば、医者や研究員など）は、患者の組織（例えば、治療直前の組織又は免疫抗癌剤治療後の組織など）を獲得し、一つ以上の病理スライドイメージを生成できる。例えば、ユーザは、獲得された患者の組織に対してＨ＆Ｅ染色し、Ｈ＆Ｅ染色された組織スライドをスキャナーによりデジタル化することで、病理スライドイメージを生成できる。他の例として、ユーザは、獲得された患者の組織に対してＩＨＣ染色し、ＩＨＣ染色された組織スライドをスキャナーによりデジタル化することで、病理スライドイメージを生成できる。

情報処理システムの関心領域決定部２２０は、病理スライドイメージ内において一つ以上の関心領域を決定できる。ここで、関心領域は、円形、正四角形、直四角形、多角形及びコンター（ｃｏｎｔｏｕｒ）などのような多様な形態の領域に該当できる。一実施例において、関心領域決定部２２０は、病理スライドイメージに対する一つ以上の対象アイテムの検出結果に基づいて、一つ以上の関心領域を決定できる。例えば、関心領域決定部２２０は、病理スライドイメージがＮ ｇｒｉｄｓ（ここで、Ｎは任意の自然数）に分割されることにより生成された複数のパッチ（例えば、１ｍｍ^２の大きさのパッチ）のうち、一つ以上の対象アイテム（例えば、癌と関連付けられたアイテム及び／又は免疫細胞）が検出されたパッチを関心領域として決定できる。

一実施例において、関心領域決定部２２０は、病理スライドイメージのうち、一つ以上の対象アイテムと関連付けられた条件を満たす少なくとも一部領域を含むように一つ以上の関心領域を決定できる。例えば、関心領域決定部２２０は、病理スライドイメージ内において、対象アイテム（例えば、腫瘍細胞、免疫細胞、癌領域（Ｃａｎｃｅｒ Ａｒｅａ）、癌ストロマ（Ｃａｎｃｅｒ Ｓｔｒｏｍａ）など）の数及び／又は広さが基準値以上である領域を関心領域として決定できる。付加的又は代替的に、関心領域決定部２２０は、病理スライドイメージ内において、対象アイテムの比率や密度などの数値が基準値以上である領域を関心領域として決定できる。ここで、対象アイテムは、免疫表現型を判定するために検出された細胞及び／又は領域に該当できる。また、基準値は、統計的に有意味な免疫表現型及び／又は臨床的に有意味な免疫表現型を定義できるように設定された対象アイテムに対する数値を称することができる。

このとき、関心領域決定部２２０は、病理スライドイメージのうち、任意の広さの領域を関心領域として決定できる。例えば、関心領域の広さは、前述した一つ以上の対象アイテムと関連付けられた条件を満たすように動的に決定できる。すなわち、関心領域の広さは、固定的に予め決定されず、関心領域決定部２２０が対象アイテムの数、広さ、比率及び／又は密度などの数値が基準値以上になるようにする領域を関心領域として決定することで、動的に決定できる。代替的に、関心領域決定部２２０は、関心領域の広さが静的に予め決定された値を有するように一つ以上の関心領域を決定できる。

他の実施例において、関心領域決定部２２０は、病理スライドイメージに対する一つ以上の対象アイテムの検出結果及び／又は病理スライドイメージが関心領域抽出モデルに入力されることで、出力される領域を一つ以上の関心領域として決定できる。ここで、関心領域抽出モデルは、参照病理スライドイメージに対する一つ以上の対象アイテムの検出結果及び／又は参照病理スライドイメージが入力されることで、参照関心領域を出力するように学習された機械学習モデル（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）（例えば、Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ、ＳＶＭなど）に該当できる。このような場合にも、関心領域の広さは動的に及び／又は静的に決定できる。

一実施例において、病理スライドイメージに対して複数の関心領域が決定される場合、関心領域決定部２２０は、複数の関心領域の少なくとも一部の関心領域が互いにオーバーラップされるように複数の関心領域を決定できる。例えば、関心領域決定部２２０が病理スライドイメージに対して第１の関心領域及び第２の関心領域を決定する場合、第１の関心領域の少なくとも一部領域と第２の関心領域の少なくとも一部領域とは、互いにオーバーラップされる領域であり得る。他の実施例において、一つの病理スライドイメージに対して複数の関心領域を決定する場合、関心領域決定部２２０は、複数の関心領域の少なくとも一部の関心領域が互いにオーバーラップされないように複数の関心領域を決定できる。

図に示すように、関心領域決定部２２０は、病理スライドイメージ（例えば、対象アイテムに対する検出結果を含む病理スライドイメージ）５１０を受信して、病理スライドイメージでの一つ以上の関心領域５２２＿１、５２２＿２、５２２＿３、５２２＿４、５２４、５２６を決定できる。例えば、関心領域決定部２２０は、対象アイテムと関連付けられた条件を満たす特定の広さ（例えば、既定の広さとして１ｍｍ^２）の領域５２２＿１、５２２＿２、５２２＿３、５２２＿４を関心領域として決定できる。他の例として、関心領域決定部２２０は、対象アイテムと関連付けられた条件を満たす領域５２４を関心領域として決定でき、関心領域の広さは動的に決定できる。また他の例として、関心領域決定部２２０は、対象アイテムと関連付けられた条件を満たす楕円形の領域５２６を関心領域として決定できる。

図６は、本開示の一実施例に係る免疫表現型判定結果６２０を生成する例を示す図である。一実施例において、免疫表現型判定部２３０は、一つ以上の関心領域での一つ以上の対象アイテム（例えば、癌と関連付けられたアイテム及び／又は免疫細胞）の検出結果に基づいて、一つ以上の関心領域の免疫表現型判定結果６２０を生成できる。例えば、免疫表現型判定部２３０は、一つ以上の関心領域での一つ以上の対象アイテムの検出結果に基づいて、当該関心領域の免疫表現型を免疫活性、免疫排除又は免疫欠乏の少なくとも一つとして判定できる。

他の実施例において、免疫表現型判定部２３０は、一つ以上の関心領域での一つ以上の対象アイテムの検出結果に基づいて、一つ以上の関心領域に対する免疫表現型スコアを算出できる。例えば、免疫表現型判定部２３０は、一つ以上の関心領域での一つ以上の対象アイテムの検出結果に基づいて、当該関心領域の免疫活性に対するスコア、免疫排除に対するスコア又は免疫欠乏に対するスコアの少なくとも一つを算出できる。このとき、免疫表現型判定部２３０は、一つ以上の関心領域の免疫活性に対するスコア、免疫排除に対するスコア又は免疫欠乏に対するスコアの少なくとも一つに基づいて、当該関心領域の免疫表現型を判定できる。例えば、特定の関心領域の免疫活性に対するスコアが閾値以上である場合、免疫表現型判定部２３０は、当該関心領域の免疫表現型を免疫活性として判定できる。

一実施例において、免疫表現型判定部２３０は、一つ以上の関心領域内において、免疫細胞の数、分布又は密度の少なくとも一つを算出し、算出された免疫細胞の数、分布又は密度の少なくとも一つに基づいて、一つ以上の関心領域の免疫表現型及び／又は免疫表現型スコアを判定できる。例えば、免疫表現型判定部２３０は、一つ以上の関心領域内において、癌領域内の免疫細胞（Ｌｙｍｐｈｏｃｙｔｅｓ ｉｎ Ｃａｎｃｅｒ ａｒｅａ）の密度及び癌ストロマ内の免疫細胞（Ｌｙｍｐｈｏｃｙｔｅｓ ｉｎ Ｃａｎｃｅｒ Ｓｔｒｏｍａ ａｒｅａ）の密度を算出し、癌領域内の免疫細胞の密度又は癌ストロマ内の免疫細胞の密度の少なくとも一つに基づいて、一つ以上の関心領域の免疫表現型を判定できる。付加的又は代替的に、免疫表現型判定部２３０は、癌領域内の特定領域内に含まれた免疫細胞の数を参考にして、一つ以上の関心領域の免疫表現型を免疫活性、免疫排除又は免疫欠乏の一つとして判定できる。

例えば、免疫表現型判定部２３０は、癌領域内の免疫細胞の密度が第１の閾密度以上である場合、第１の関心領域６１２の免疫表現型を免疫活性として判定できる。また、免疫表現型判定部２３０は、癌領域内の免疫細胞の密度が第１の閾密度未満であると同時に、癌ストロマ内の免疫細胞の密度が第２の閾密度以上である場合、第２の関心領域６１４の免疫表現型を免疫排除として判定できる。また、免疫表現型判定部２３０は、癌領域内の免疫細胞の密度が第１の閾密度未満であると同時に、癌ストロマ内の免疫細胞の密度が第２の閾密度未満である場合、第３の関心領域６１６の免疫表現型を免疫欠乏として判定できる。ここで、第１の閾密度は、複数の病理スライドイメージ内の複数の関心領域の各々において、癌領域内の免疫細胞の密度の分布に基づいて決定できる。これとは類似に、第２の閾密度は、複数の病理スライドイメージ内の複数の関心領域の各々において、癌ストロマ内の免疫細胞の密度の分布に基づいて決定できる。

他の実施例において、免疫表現型判定部２３０は、人工神経網免疫表現型分類モデルに一つ以上の関心領域の各々に対するフィーチャを入力することで、一つ以上の関心領域の各々の免疫表現型及び／又は免疫表現型スコアを判定できる。ここで、人工神経網免疫表現型分類モデルは、参照関心領域に対するフィーチャが入力されることで、参照関心領域の免疫表現型を免疫活性、免疫排除又は免疫欠乏の一つとして判定するように学習された分流器に該当できる。また、ここで、一つ以上の関心領域の各々に対するフィーチャは、一つ以上の関心領域の各々での一つ以上の対象アイテムに対する統計的なフィーチャ（例：関心領域での特定の対象アイテムの密度や数など）、一つ以上の対象アイテムに対する幾何学的なフィーチャ（例：特定の対象アイテム等間の相対的な位置情報を含むフィーチャなど）及び／又は一つ以上の関心領域の各々に対応するイメージフィーチャ（例：関心領域に含まれた複数のピクセルから抽出されたフィーチャ、関心領域に対応するイメージベクトルなど）などを含むことができる。付加的又は代替的に、一つ以上の関心領域の各々に対するフィーチャは、一つ以上の関心領域の各々での一つ以上の対象アイテムに対する統計的なフィーチャ、一つ以上の対象アイテムに対する幾何学的なフィーチャ又は一つ以上の関心領域の各々に対応するイメージフィーチャのうち、２つ以上のフィーチャを連結したフィーチャを含むことができる。

図に示すように、免疫表現型判定部２３０は、一つ以上の関心領域６１２、６１４、６１６を受信して、免疫表現型判定結果６２０を生成できる。ここで、一つ以上の関心領域６１２、６１４、６１６は、当該関心領域に対する対象アイテム検出結果を含むことができる。したがって、免疫表現型判定部２３０は、対象アイテム検出結果を含む関心領域に対し、免疫表現型判定結果６２０を生成できる。例えば、免疫表現型判定部２３０は、当該関心領域の免疫表現型及び／又は当該関心領域に対する免疫表現型スコアを含む免疫表現型判定結果６２０を生成できる。このように生成された免疫表現型判定結果６２０及び／又は一つ以上の関心領域６１２、６１４、６１６は、ユーザ端末に提供できる。

図７は、本開示の一実施例に係る免疫表現型判定結果を出力する例を示す図である。情報処理システム（例えば、情報処理システムの少なくとも一つのプロセッサ）が病理スライドイメージでの一つ以上の関心領域に対する免疫表現型と関連付けられた情報をユーザ端末に提供することで、ユーザ端末は受信された情報が出力装置を介して出力されることによりユーザに提供できる。ここで、一つ以上の関心領域に対する免疫表現型と関連付けられた情報は、一つ以上の関心領域に対する免疫表現型スコアを含むことができる。ユーザ端末（例えば、ユーザ端末の少なくとも一つのプロセッサ）は、一つ以上の関心領域に対する免疫表現型と関連付けられた情報を示すイメージを出力できる。

このために、ユーザ端末は、一つ以上の関心領域に対する一つ以上の免疫表現型スコアに対応する視覚的な標識を含むイメージを生成できる。例えば、ユーザ端末は、一つ以上の関心領域に対応する領域において、当該関心領域に対する一つ以上の免疫表現型スコアに対応する視覚的な標識を含むイメージを生成できる。ここで、一つ以上の免疫表現型スコアは、免疫活性に対するスコア、免疫排除に対するスコア又は免疫欠乏に対するスコアの少なくとも一つを含むことができる。また、視覚的な標識は、色彩（例えば、カラー、明度、彩度など）、テキスト、イメージ、マーク、図形などを含むことができる。

例えば、免疫活性に対するスコア（すなわち、免疫活性スコア）に対し、ユーザ端末は、免疫活性スコアが高い関心領域に対応する領域であるほど彩度が高い色彩を、低い関心領域に対応する領域であるほど彩度が低い色彩を、含むイメージを生成できる。他の例として、免疫活性に対するスコアに対し、ユーザ端末は、免疫活性スコアが第１のスコア区間に該当する関心領域に対応する領域において第１の視覚的な標識を含み、免疫活性スコアが第２のスコア区間に該当する関心領域に対応する領域において第２の視覚的な標識を含み、免疫活性スコアが第３のスコア区間に該当する関心領域に対応する領域において第３の視覚的な標識を含む、イメージを生成できる。ここで、第１の視覚的な標識、第２の視覚的な標識及び第３の視覚的な標識は互いに異なることができる。

一実施例において、ユーザ端末は、病理スライドイメージでの一つ以上の関心領域及び視覚的な標識を含むイメージを共に出力できる。例えば、ユーザ端末は、前述した通り生成されたイメージ（例えば、視覚的な標識を含むイメージ）及び病理スライドイメージの少なくとも一部領域（例えば、生成されたイメージと対応する領域）をディスプレイ装置に同時に表示できる。他の実施例において、ユーザ端末は、病理スライドイメージでの一つ以上の関心領域に視覚的な標識を含むイメージをオーバーレイできる。例えば、ユーザ端末は、前述した通り生成されたイメージ（例えば、視覚的な標識を含むイメージ）を、病理スライドイメージの少なくとも一部領域（例えば、生成されたイメージと対応する領域）にオーバーラップしてディスプレイ装置に表示できる。

例えば、ユーザ端末は、図に示すように、免疫活性スコアが第１のスコア区間に含まれる関心領域に対応する領域は白色に、免疫活性スコアが第２のスコア区間に含まれる関心領域に対応する領域は薄い灰色に、免疫活性スコアが第３のスコア区間に含まれる関心領域に対応する領域は濃い灰色に、関心領域の以外の領域は黒色に、表示されるイメージ７１０を生成できる。その後、ユーザ端末は、視覚的な標識を含むイメージ７１０と、病理スライドイメージのうち、生成されたイメージ７１０に対応する領域７２０とを並列的に配列して、ユーザインタフェース上に共に表示できる。

付加的又は代替的に、ユーザ端末は、免疫表現型と関連付けられた情報として、「Ｔｏｔａｌ Ｔｉｓｓｕｅ Ｒｅｇｉｏｎ」（例えば、病理スライドイメージでの組織領域）、「Ｃａｎｃｅｒ Ｒｅｇｉｏｎ」（例えば、病理スライドイメージでの癌領域）、「Ａｎａｌｙｚａｂｌｅ Ｒｅｇｉｏｎ」（例えば、病理スライドイメージでの関心領域）、「Ｉｍｍｕｎｅ Ｐｈｅｎｏｔｙｐｅ Ｐｒｏｐｏｒｔｉｏｎ」（例えば、免疫表現型比率）に対するテキスト、数値、グラフなどをユーザインタフェース上にさらに表示できる。付加的又は代替的に、病理スライドイメージのうち、ディスプレイ装置に表示される領域は、当該領域に対する一つ以上の対象アイテム検出結果を含むことができる。すなわち、病理スライドイメージの少なくとも一部領域のイメージを出力する場合、ユーザ端末は、一つ以上の対象アイテムに対する検出結果が表示された少なくとも一部領域のイメージをディスプレイ装置により出力できる。

図８は、本開示の他の実施例に係る免疫表現型判定結果を出力する例を示す図である。一実施例において、ユーザ端末（例えば、ユーザ端末の少なくとも一つのプロセッサ）が獲得する一つ以上の関心領域に対する免疫表現型と関連付けられた情報は、一つ以上の関心領域の免疫表現型を含むことができる。例えば、ユーザ端末は、一つ以上の関心領域に対する免疫表現型と関連付けられた情報を示すイメージを出力できる。

このために、ユーザ端末は、一つ以上の関心領域の免疫表現型に対応する視覚的な標識を含むイメージを生成できる。例えば、ユーザ端末は、一つ以上の関心領域に対応する領域において、当該関心領域の免疫表現型に対応する視覚的な標識を含むイメージを生成できる。すなわち、免疫表現型が免疫活性である関心領域に対応する領域において第１の視覚的な標識を含み、免疫表現型が免疫排除である関心領域に対応する領域において第２の視覚的な標識を含み、免疫表現型が免疫欠乏である関心領域に対応する領域において第３の視覚的な標識を含む、イメージを生成できる。このとき、視覚的な標識は、各免疫表現型を区別できるようにする色彩（例えば、カラー、明度、彩度など）、テキスト、イメージ、マーク、図形などを含むことができる。例えば、免疫活性を示す第１の視覚的な標識は赤色、免疫排除を示す第２の視覚的な標識は緑色、免疫欠乏を示す第３の視覚的な標識は青色であり得る。付加的又は代替的に、免疫活性を示す第１の視覚的な標識は円形マーク、免疫排除を示す第２の視覚的な標識は三角マーク、免疫欠乏を示す第３の視覚的な標識はＸマークであり得る。

一実施例において、ユーザ端末は、病理スライドイメージでの一つ以上の関心領域及び視覚的な標識を含むイメージを共に出力できる。例えば、ユーザ端末は、前述した通り生成されたイメージ（例えば、視覚的な標識を含むイメージ）を、病理スライドイメージの少なくとも一部領域（例えば、生成されたイメージと対応する領域）と共にディスプレイ装置に表示できる。他の実施例において、ユーザ端末は、病理スライドイメージでの一つ以上の関心領域に視覚的な標識を含むイメージをオーバーレイできる。例えば、ユーザ端末は、前述した通り生成されたイメージ（例えば、視覚的な標識を含むイメージ）を、病理スライドイメージの少なくとも一部領域（例えば、生成されたイメージと対応する領域）に透明、半透明又は不透明にオーバーラップしてディスプレイ装置に表示できる。

例えば、ユーザ端末は、図に示すように、免疫表現型が免疫活性である関心領域に対応する領域において対角線の標識を含み、免疫表現型が免疫排除である関心領域に対応する領域において縦線の標識を含み、免疫表現型が免疫欠乏である関心領域に対応する領域において横線の標識を含む、イメージを生成できる。その後、ユーザ端末は、視覚的な標識を含むイメージを、病理スライドイメージのうちの対応する領域にオーバーレイしたイメージ８１０がユーザインタフェース上に表示される。さらに、ユーザ端末は、病理スライドイメージの少なくとも一部領域（例えば、視覚的な標識を含むイメージと対応する領域及び／又は病理スライドイメージの全体）のイメージ８２０を別途に（例えば、ミニマップ形態に）ユーザインタフェース上に共に表示できる。

付加的又は代替的に、ユーザ端末は、免疫表現型と関連付けられた情報として、「ＡＮＡＬＹＳＩＳ ＳＵＭＭＡＲＹ」、「Ｂｉｏｍａｋｅｒ Ｆｉｎｄｉｎｇｓ」、「Ｓｃｏｒｅ」（例えば、免疫活性スコアなど）、「Ｃｕｔｏｆｆ」（例えば、免疫表現型判定で使用された基準値など）、「Ｔｏｔａｌ Ｔｉｓｓｕｅ Ｒｅｇｉｏｎ」、「Ｃａｎｃｅｒ Ｒｅｇｉｏｎ」 、「Ａｎａｌｙｚａｂｌｅ Ｒｅｇｉｏｎ」、「Ｉｍｍｕｎｅ Ｐｈｅｎｏｔｙｐｅ Ｐｒｏｐｏｒｔｉｏｎ」、「Ｔｕｍｏｒ Ｉｎｆｉｌｔｒａｔｉｎｇ Ｌｙｍｐｈｏｃｙｔｅ Ｄｅｎｓｉｔｙ」（例えば、癌領域内での免疫細胞の密度、癌ストロマ領域内での免疫細胞の密度など）に対するテキスト、数値、グラフなどをユーザインタフェース上に表示できる。付加的又は代替的に、病理スライドイメージのうち、ディスプレイ装置に表示される領域は、当該領域に対する一つ以上の対象アイテム検出結果を含むことができる。すなわち、病理スライドイメージの少なくとも一部領域のイメージを出力する場合、ユーザ端末は、一つ以上の対象アイテムに対する検出結果が表示された少なくとも一部領域のイメージをディスプレイ装置により出力できる。

図９は、本開示の一実施例に係る人工神経網モデル９００の例を示す図である。人工神経網モデル９００は、機械学習モデルの一例として、機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）技術及び認知科学において、生物学的神経網の構造に基づいて具現化された統計学的な学習アルゴリズム又はそのアルゴリズムを実行する構造である。

一実施例によれば、人工神経網モデル９００は、生物学的神経網のように、シナプスの結合によりネットワークを形成した人工ニューロンであるノード（Ｎｏｄｅ）等がシナプスの加重値を繰り返して調整して、特定の入力に対応した正常出力及び推論出力間の誤差が減少するように学習することで、問題解決能力を有する機械学習モデルを示すことができる。例えば、人工神経網モデル９００は、機械学習やディープラーニングなどの人工知能学習法に使用される任意の確率モデル、ニューラルネットワークモデルなどを含むことができる。

一実施例によれば、人工神経網モデル９００は、入力される病理スライドイメージから一つ以上の対象アイテムを検出するように構成された人工神経網モデルを含むことができる。付加的又は代替的に、人工神経網モデル９００は、入力される病理スライドイメージから一つ以上の関心領域を決定するように構成された人工神経網モデルを含むことができる。

人工神経網モデル９００は、多層のノード等及びこれら間の連結により構成された多層パーセプトロン（ＭＬＰ：ｍｕｌｔｉｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ）として具現化される。本実施例に係る人工神経網モデル９００は、ＭＬＰを含む多様な人工神経網モデル構造の一つを利用して具現化され得る。図９に示すように、人工神経網モデル９００は、外部から入力信号又はデータ９１０を受信する入力層９２０と、入力データに対応した出力信号又はデータ９５０を出力する出力層９４０と、入力層９２０及び出力層９４０間に位置し、入力層９２０から信号を受け付けて特性を抽出して出力層９４０に伝達するｎ個（ここで、ｎは正の整数）の隠れ層９３０＿１乃至９３０＿ｎとからなる。ここで、出力層９４０は、隠れ層９３０＿１乃至９３０＿ｎから信号を受け付けて外部に出力する。

人工神経網モデル９００の学習方法には、教師信号（正解）の入力に応じて問題の解決に最適化するように学習する教師学習（Ｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ）方法と、教師信号を必要としない教師なし学習（Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ）方法とがある。一実施例において、情報処理システムは、病理スライドイメージから一つ以上の対象アイテムを検出するように、人工神経網モデル９００を教師学習及び／又は教師なし学習により学習させることができる。例えば、情報処理システムは、参照病理スライドイメージ及び一つ以上の参照対象アイテムに関するラベル情報を利用して、病理スライドイメージから一つ以上の対象アイテムを検出するように、人工神経網モデル９００を教師学習により学習させることができる。

他の実施例において、情報処理システムは、病理スライドイメージから一つ以上の関心領域を決定するように、人工神経網モデル９００を教師学習及び／又は教師なし学習により学習させることができる。例えば、情報処理システムは、参照病理スライドイメージ及び／又は参照病理スライドイメージに対する一つ以上の対象アイテムの検出結果（例えば、対象アイテム検出結果を含む参照病理スライドイメージ）及び参照関心領域に対するラベル情報を利用して、病理スライドイメージから一つ以上の関心領域を決定するように人工神経網モデル９００を教師学習により学習させることができる。ここで、関心領域及び／又は参照関心領域は、病理スライドイメージ及び／又は参照病理スライドイメージのうち、一つ以上の対象アイテムと関連付けられた条件を満たす少なくとも一部領域を含むことができる。

このように学習された人工神経網モデル９００は、情報処理システムのメモリ（図示せず）に保存でき、通信モジュール及び／又はメモリから受信された病理スライドイメージに対する入力に応じて、病理スライドイメージ内において一つ以上の対象アイテムを検出できる。付加的又は代替的に、人工神経網モデル９００は、病理スライドイメージに対する一つ以上の対象アイテムの検出結果及び／又は病理スライドイメージに対する入力に応じて、病理スライドイメージから一つ以上の関心領域を決定できる。

一実施例によれば、対象アイテムを検出する人工神経網モデルの入力変数は、一つ以上の病理スライドイメージ（例えば、Ｈ＆Ｅ染色された病理スライドイメージ、ＩＨＣ染色された病理スライドイメージ）であり得る。例えば、人工神経網モデル９００の入力層９２０に入力される入力変数は、一つ以上の病理スライドイメージを一つのベクトルデータ要素として構成した、イメージベクトル９１０になり得る。イメージの入力に応じて、人工神経網モデル９００の出力層９４０で出力される出力変数は、病理スライドイメージから検出された一つ以上の対象アイテムを表したり特徴化したりするベクトル９５０になり得る。すなわち、人工神経網モデル９００の出力層９４０は、病理スライドイメージから検出された一つ以上の対象アイテムを表したり特徴化したりするベクトルを出力するように構成できる。本開示において、人工神経網モデル９００の出力変数は、以上で説明された類型に限定されず、病理スライドイメージから検出された一つ以上の対象アイテムを示す任意の情報／データを含むことができる。さらには、人工神経網モデル９００の出力層９４０は、出力された対象アイテム検出結果などに対する信頼度及び／又は正確度を示すベクトルを出力するように構成できる。

他の実施例において、関心領域を決定する機械学習モデル、すなわち、人工神経網モデル９００の入力変数は、病理スライドイメージに対する一つ以上の対象アイテムの検出結果（例えば、病理スライドイメージでの対象アイテムに対する検出データ）及び／又は病理スライドイメージであり得る。例えば、人工神経網モデル９００の入力層９２０に入力される入力変数は、病理スライドイメージに対する一つ以上の対象アイテムの検出結果及び／又は病理スライドイメージを一つのベクトルデータ要素として構成した、イメージベクトル９１０になり得る。病理スライドイメージに対する一つ以上の対象アイテムの検出結果及び／又は病理スライドイメージに対する入力に応じて、人工神経網モデル９００の出力層９４０で出力される出力変数は、一つ以上の関心領域を表したり特徴化したりするベクトル９５０になり得る。本開示において、人工神経網モデル９００の出力変数は、以上で説明された類型に限定されず、一つ以上の関心領域を示す任意の情報／データを含むことができる。

このように、人工神経網モデル９００の入力層９２０及び出力層９４０に複数の入力変数と対応する複数の出力変数が各々マッチングされ、入力層９２０、隠れ層９３０＿１乃至９３０＿ｎ及び出力層９４０に含まれたノード等間のシナプス値が調整されることで、特定の入力に対応した正常出力が抽出されるように学習できる。このような学習過程により、人工神経網モデル９００の入力変数に隠されている特性を把握でき、入力変数に基づいて計算された出力変数及び目標出力間の誤差が低下するように、人工神経網モデル９００のノード等間のシナプス値（又は加重値）を調整できる。このように学習された人工神経網モデル９００を利用して、入力された病理スライドイメージに応じて、対象アイテム検出結果を出力できる。付加的又は代替的に、人工神経網モデル９００を利用して、入力された病理スライドイメージ及び／又は病理スライドイメージに対する一つ以上の対象アイテムの検出結果（例えば、対象アイテム検出結果を含む病理スライドイメージ）に応じて、一つ以上の関心領域を出力できる。

図１０は、本開示の一実施例に係る病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する例示的なコンピュータ装置（例えば、ユーザ端末）１０００の構成図である。図に示すように、コンピュータ装置１０００は、一つ以上のプロセッサ１０１０、バス１０３０、通信インタフェース１０４０、プロセッサ１０１０により遂行されるコンピュータプログラム１０６０をロード（ｌｏａｄ）するメモリ１０２０及びコンピュータプログラム１０６０を保存する保存モジュール１０５０を含むことができる。ただし、図１０には本開示の実施例と関連付けられた構成要素だけが示されている。よって、本開示が属する技術分野における通常の技術者であれば、図１０に示す構成要素の以外に他の汎用的な構成要素等がさらに含まれることできることが分かる。

プロセッサ１０１０は、コンピュータ装置１０００の各構成の全般の動作を制御する。プロセッサ１０１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又は当分野の公知の任意の形態のプロセッサを含んで構成できる。また、プロセッサ１０１０は、本開示の実施例等に係る方法を実行するための少なくとも一つのアプリケーション又はプログラムに対する演算を遂行できる。コンピュータ装置１０００は一つ以上のプロセッサを具備できる。

メモリ１０２０は、各種データ、命令及び／又は情報を保存できる。メモリ１０２０は、本開示の多様な実施例に係る方法／動作を実行するために、保存モジュール１０５０から一つ以上のコンピュータプログラム１０６０をロードできる。メモリ１０２０は、ＲＡＭのような揮発性メモリで具現化され得るが、本開示の技術的範囲はこれに限定されるものではない。

バス１０３０は、コンピュータ装置１０００の構成要素間の通信機能を提供できる。バス１０３０は、住所バス（Ａｄｄｒｅｓｓ Ｂｕｓ）、データバス（Ｄａｔａ Ｂｕｓ）及び制御バス（Ｃｏｎｔｒｏｌ Ｂｕｓ）等のような多様な形態のバスで具現化され得る。

通信インタフェース１０４０は、コンピュータ装置１０００の有無線インターネット通信を支援できる。また、通信インタフェース１０４０は、インターネット通信の以外の多様な通信方式を支援することもできる。このために、通信インタフェース１０４０は、当分野の公知の通信モジュールを含んで構成できる。

保存モジュール１０５０は、一つ以上のコンピュータプログラム１０６０を非一時的に保存できる。保存モジュール１０５０は、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュメモリのような不揮発性メモリ、ハードディスク、取り外し可能形ディスク又は当分野の公知の任意の形態のコンピュータ読み取り可能な記録媒体を含んで構成できる。

コンピュータプログラム１０６０は、メモリ１０２０にロードされるとき、プロセッサ１０１０が本開示の多様な実施例に係る動作／方法を遂行するようにする一つ以上のインストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）を含むことができる。すなわち、プロセッサ１０１０は、一つ以上のインストラクションを実行することで、本開示の多様な実施例に係る動作／方法を遂行できる。

例えば、コンピュータプログラム１０６０は、病理スライドイメージでの一つ以上の関心領域に対する免疫表現型と関連付けられた情報を獲得する動作、及び、一つ以上の関心領域に対する免疫表現型と関連付けられた情報に基づいて、免疫表現型と関連付けられた情報を示すイメージを生成する動作、及び、免疫表現型と関連付けられた情報を示すイメージを出力する動作などを遂行するようにする一つ以上のインストラクションを含むことができる。このような場合、コンピュータ装置１０００を介して、本開示のいくつかの実施例に係る免疫抗癌剤に対する反応予測システムが具現化され得る。

図１１は、本開示の一実施例に係る対象アイテム検出結果を出力する例を示す図である。プロセッサ（例えば、ユーザ端末の少なくとも一つのプロセッサ）は、病理スライドイメージから一つ以上の対象アイテムの検出結果を獲得できる。例えば、情報処理システムは、対象アイテム検出モデルを利用して、病理スライドイメージから一つ以上の対象アイテムを検出して、対象アイテム検出結果をユーザ端末に提供できる。ここで、対象アイテム検出モデルは、参照病理スライドイメージから一つ以上の参照対象アイテムを検出するように学習されたモデルを含むことができる。

プロセッサは、一つ以上の対象アイテムの検出結果を示すイメージを生成し、生成された一つ以上の対象アイテムの検出結果を示すイメージを出力できる。一実施例において、プロセッサは、病理スライドイメージからの一つ以上の対象アイテム検出結果に基づいて、各々の対象アイテムを区別できる視覚的な標識を含むイメージを生成して出力できる。例えば、プロセッサは、免疫表現型を決定する際に、考慮可能な対象アイテム等（例えば、癌領域、癌気質領域、血管、癌細胞、免疫細胞、バイオマーカーの発現量による陽性／陰性細胞など）各々を示す視覚的な標識を含むイメージを生成できる。付加的又は代替的に、プロセッサは、一つ以上の対象アイテム検出結果に基づいて、領域単位の対象アイテムに対するセグメンテーションマップ（ｓｅｇｍｅｎｔａｔｉｏｎ ｍａｐ）、特定の構造を有する対象アイテム（例えば、血管など）に対するコンター（ｃｏｎｔｏｕｒ）、細胞単位の対象アイテムの中心点（ｐｏｉｎｔ）又は細胞単位の対象アイテムの形態を示すコンターなどを含むイメージを生成できる。

一実施例において、プロセッサは、病理スライドイメージでの一つ以上の関心領域と、一つ以上の関心領域に対する一つ以上の対象アイテムの検出結果を示すイメージとを出力できる。例えば、プロセッサは、前述した通り生成されたイメージ（例えば、視覚的な標識を含むイメージ）及び病理スライドイメージの少なくとも一部領域（例えば、生成されたイメージと対応する領域）を共に出力できる。他の例として、プロセッサは、病理スライドイメージでの一つ以上の関心領域に、一つ以上の対象アイテムの検出結果を示すイメージ（例えば、視覚的な標識を含むイメージ）をオーバーレイできる。すなわち、ユーザ端末は、前述した通り生成されたイメージ（例えば、視覚的な標識を含むイメージ）を、病理スライドイメージの少なくとも一部領域（例えば、生成されたイメージと対応する領域）にオーバーラップして、ユーザ端末と連結されたディスプレイ装置に表示できる。

例えば、プロセッサは、図に示すように、対象アイテムの以外の領域（ｂａｃｋｇｒｏｕｎｄ）を示す第１の色彩、癌上皮領域を示す第２の色彩、癌ストロマ領域を示す第３の色彩、免疫細胞（例えば、免疫細胞の中心点）を示す第４の色彩及び癌細胞（例えば、癌細胞の中心点）を示す第５の色彩を、病理スライドイメージのうちの対応する領域に表示したイメージ１１１０がユーザインタフェース上に表示される。ここで、イメージ１１１０は、一つ以上の対象アイテムの検出結果を示すイメージを、病理スライドイメージのうちの対応する領域にオーバーレイ（又は併合）したイメージに該当できる。また、第１の色彩、第２の色彩、第３の色彩、第４の色彩及び／又は第５の色彩は、互いに区別可能な異なる色彩に該当できる。

付加的又は代替的に、ユーザ端末は、免疫表現型と関連付けられた情報として、各対象アイテムに対応する視覚的な標識等（例えば、各対象アイテムに対応する色彩の情報など）、「ＡＮＡＬＹＳＩＳ ＳＵＭＭＡＲＹ」に対するテキスト、数値、標識、グラフなどをユーザインタフェース上に表示できる。付加的又は代替的に、ユーザ端末は、病理スライドイメージのうち、対応する領域に視覚的な標識を表示する対象アイテムをユーザが選択できる、ユーザインタフェースを出力できる。図１１では、免疫表現型と関連付けられた情報を示す視覚的な標識の例として色彩が使用されているが、これに限定されるものではない。

図１２は、本開示の一実施例に係る対象アイテム検出結果及び免疫表現型判定結果を出力する例を示す図である。プロセッサ（例えば、ユーザ端末の少なくとも一つのプロセッサ）は、一つ以上の関心領域に対する免疫表現型と関連付けられた情報（例えば、免疫表現型マップ）を示すイメージを出力できる。さらに、プロセッサは、一つ以上の対象アイテムの検出結果を示すイメージを出力できる。一実施例において、プロセッサは、一つ以上の関心領域に対する免疫表現型と関連付けられた情報及び／又は一つ以上の対象アイテムの検出結果を示すイメージを、病理スライドイメージのうちの対応する領域にオーバーレイ（又は併合）して出力できる。

例えば、プロセッサは、図に示すように、免疫欠乏（ｉｍｍｕｎｅ ｄｅｓｅｒｔ）を示す第１の色彩、免疫排除（ｉｍｍｕｎｅ ｅｘｃｌｕｄｅｄ）を示す第２の色彩、免疫活性（ｉｍｍｕｎｅ ｉｎｆｌａｍｅｄ）を示す第３の色彩、癌上皮領域を示す第４の色彩、癌ストロマ領域を示す第５の色彩、免疫細胞（例えば、免疫細胞の中心点）を示す第６の色彩及び癌細胞（例えば、癌細胞の中心点）を示す第７の色彩を、病理スライドイメージのうちの対応する領域に表示したイメージ１２１０がユーザインタフェース上に表示される。ここで、イメージ１２１０は、一つ以上の関心領域に対する免疫表現型と関連付けられた情報を示すイメージ（例えば、免疫表現型マップ）及び一つ以上の対象アイテムの検出結果を示すイメージを、病理スライドイメージのうちの対応する領域にオーバーレイ（又は併合）したイメージに該当できる。また、第１の色彩、第２の色彩、第３の色彩、第４の色彩、第５の色彩、第６の色彩及び／又は第７の色彩は、互いに区別可能な異なる色彩に該当できる。

付加的又は代替的に、プロセッサは、病理スライドイメージの少なくとも一部領域（例えば、視覚的な標識を含むイメージと対応する領域及び／又は病理スライドイメージの全体）のイメージ１２２０を別途に（例えば、ミニマップ形態に）ユーザインタフェース上に共に表示できる。付加的又は代替的に、プロセッサは、免疫表現型と関連付けられた情報として、各対象アイテムに対応する視覚的な標識等（例えば、各対象アイテムに対応する色彩情報など）、「ＡＮＡＬＹＳＩＳ ＳＵＭＭＡＲＹ」に対するテキスト、数値、グラフなどをユーザインタフェース上に表示できる。付加的又は代替的に、病理スライドイメージのうちの対応する領域に視覚的な標識を表示する対象アイテム及び／又は免疫表現型と関連付けられた情報をユーザが選択できる、ユーザインタフェースを出力できる。図１２では、免疫表現型と関連付けられた情報及び／又は対象アイテムを示す視覚的な標識の例として色彩が使用されているが、これに限定されるものではない。

本開示の前述した説明は、通常の技術者が本開示を遂行又は利用できるようにするために提供される。本開示の多様な修正例が通常の技術者にとって自明であり、本願に定義された一般の原理等は、本開示の趣旨又は範囲から逸脱しないと同時に、多様な変形例に適用することもできる。したがって、本開示は、本願に説明された例等に制限されるように意図したものではなく、本願に開示された原理及び新規な特徴等が一貫する最広義の範囲が付与されるように意図する。

例示的な具現例等が一つ以上の独立型コンピュータシステムの脈絡から現在開示された主題の様態を活用するのを言及することもできるが、本主題はそのように制限されず、ネットワークや分散コンピューティング環境のような任意のコンピューティング環境と連携して具現化され得る。さらに、現在開示された主題の様態は、複数のプロセシングチップやデバイス又はこれらに亘って具現化されることもでき、ストレージは複数のデバイスに亘って類似に影響を受けることもできる。このようなデバイスなどは、ＰＣ、ネットワークサーバ及びハンドヘルドデバイスを含むこともできる。

本明細書では、本開示が一部の実施例と関連付けられて説明されたが、本発明が属する技術分野における通常の技術者が理解できる本開示の範囲から逸脱しない範囲内で多様な変形及び変更が可能であることが分かる。また、そのような変形及び変更は、本明細書で添付された特許請求の範囲に属するものと理解しなければならない。

Claims (29)

1. 少なくとも一つのコンピュータ装置により遂行される、病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法において、
   病理スライドイメージでの一つ以上の関心領域に対する免疫表現型と関連付けられた情報を獲得するステップと、
   前記一つ以上の関心領域に対する免疫表現型と関連付けられた情報に基づいて、前記免疫表現型と関連付けられた情報を示すイメージを生成するステップと、
   前記免疫表現型と関連付けられた情報を示すイメージを出力するステップとを含む、病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法。
2. 前記一つ以上の関心領域は、前記病理スライドイメージに対する一つ以上の対象アイテムの検出結果に基づいて決定される、請求項１に記載の病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法。
3. 前記一つ以上の関心領域は、前記病理スライドイメージのうち、前記一つ以上の対象アイテムと関連付けられた条件を満たす少なくとも一部領域を含む、請求項２に記載の病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法。
4. 前記一つ以上の関心領域は、前記病理スライドイメージに対する一つ以上の対象アイテムの検出結果又は前記病理スライドイメージが関心領域抽出モデルに入力されることにより出力される領域であり、
   前記関心領域抽出モデルは、参照病理スライドイメージに対する一つ以上の対象アイテムの検出結果又は前記参照病理スライドイメージが入力されることで、参照関心領域を出力するように学習される、請求項２に記載の病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法。
5. 前記獲得するステップは、
   前記一つ以上の関心領域の免疫表現型を獲得するステップを含み、
   前記生成するステップは、
   前記一つ以上の関心領域の免疫表現型に対応する視覚的な標識を含むイメージを生成するステップを含み、
   前記免疫表現型は、免疫活性、免疫排除又は免疫欠乏の少なくとも一つを含む、請求項１に記載の病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法。
6. 前記出力するステップは、
   前記病理スライドイメージでの前記一つ以上の関心領域及び前記視覚的な標識を含むイメージを共に出力するステップを含む、請求項５に記載の病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法。
7. 前記出力するステップは、
   前記病理スライドイメージでの前記一つ以上の関心領域に前記視覚的な標識を含むイメージをオーバーレイするステップを含む、請求項５に記載の病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法。
8. 前記獲得するステップは、
   前記一つ以上の関心領域に対する一つ以上の免疫表現型スコアを獲得するステップを含み、
   前記生成するステップは、
   前記一つ以上の免疫表現型スコアに対応する視覚的な標識を含むイメージを生成するステップを含み、
   前記一つ以上の免疫表現型スコアは、免疫活性に対するスコア、免疫排除に対するスコア又は免疫欠乏に対するスコアの少なくとも一つを含む、請求項１に記載の病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法。
9. 前記出力するステップは、
   前記病理スライドイメージでの前記一つ以上の関心領域及び前記視覚的な標識を含むイメージを共に出力するステップを含む、請求項８に記載の病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法。
10. 前記出力するステップは、
    前記病理スライドイメージでの前記一つ以上の関心領域に前記視覚的な標識を含むイメージをオーバーレイするステップを含む、請求項８に記載の病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法。
11. 前記獲得するステップは、
    前記一つ以上の関心領域に対する一つ以上の免疫表現型と関連付けられたフィーチャを獲得するステップを含み、
    前記生成するステップは、
    前記一つ以上の免疫表現型と関連付けられたフィーチャに対応する視覚的な標識を含むイメージを生成するステップを含み、
    前記一つ以上の免疫表現型と関連付けられたフィーチャは、免疫表現型と関連付けられた統計的な値又はベクトルの少なくとも一つを含む、請求項１に記載の病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法。
12. 前記出力するステップは、
    前記病理スライドイメージでの前記一つ以上の関心領域及び前記視覚的な標識を含むイメージを共に出力するステップを含む、請求項１１に記載の病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法。
13. 前記出力するステップは、
    前記病理スライドイメージでの前記一つ以上の関心領域に前記視覚的な標識を含むイメージをオーバーレイするステップを含む、請求項１１に記載の病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法。
14. 前記病理スライドイメージから一つ以上の対象アイテムの検出結果を獲得するステップと、
    前記一つ以上の対象アイテムの検出結果を示すイメージを生成するステップと、
    前記一つ以上の対象アイテムの検出結果を示すイメージを出力するステップとをさらに含む、請求項１に記載の病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法。
15. 請求項１乃至１４のいずれか一項に記載の病理スライドイメージに対する免疫表現型と関連付けられた情報を提供する方法をコンピュータで実行するために、コンピュータ読み取り可能な記録媒体に保存されたコンピュータプログラム。
16. コンピュータ装置であって、
    一つ以上のインストラクションを保存するメモリと、
    前記保存された一つ以上のインストラクションを実行することで、
    病理スライドイメージでの一つ以上の関心領域に対する免疫表現型と関連付けられた情報を獲得し、
    前記一つ以上の関心領域に対する免疫表現型と関連付けられた情報に基づいて、前記免疫表現型と関連付けられた情報を示すイメージを生成し、
    前記免疫表現型と関連付けられた情報を示すイメージを出力するように構成されたプロセッサとを含む、コンピュータ装置。
17. 前記一つ以上の関心領域は、前記病理スライドイメージに対する一つ以上の対象アイテムの検出結果に基づいて決定される、請求項１６に記載のコンピュータ装置。
18. 前記一つ以上の関心領域は、前記病理スライドイメージのうち、前記一つ以上の対象アイテムと関連付けられた条件を満たす少なくとも一部領域を含む、請求項１７に記載のコンピュータ装置。
19. 前記一つ以上の関心領域は、前記病理スライドイメージに対する一つ以上の対象アイテムの検出結果又は前記病理スライドイメージが関心領域抽出モデルに入力されることにより出力される領域であり、
    前記関心領域抽出モデルは、参照病理スライドイメージに対する一つ以上の対象アイテムの検出結果又は前記参照病理スライドイメージが入力されることで、参照関心領域を出力するように学習される、請求項１７に記載のコンピュータ装置。
20. 前記プロセッサは、
    前記一つ以上の関心領域の免疫表現型を獲得し、
    前記一つ以上の関心領域の免疫表現型に対応する視覚的な標識を含むイメージを生成するようにさらに構成され、
    前記免疫表現型は、免疫活性、免疫排除又は免疫欠乏の少なくとも一つを含む、請求項１６に記載のコンピュータ装置。
21. 前記プロセッサは、
    前記病理スライドイメージでの前記一つ以上の関心領域及び前記視覚的な標識を含むイメージを共に出力するようにさらに構成される、請求項２０に記載のコンピュータ装置。
22. 前記プロセッサは、
    前記病理スライドイメージでの前記一つ以上の関心領域に前記視覚的な標識を含むイメージをオーバーレイするようにさらに構成される、請求項２０に記載のコンピュータ装置。
23. 前記プロセッサは、
    前記一つ以上の関心領域に対する一つ以上の免疫表現型スコアを獲得し、
    前記一つ以上の免疫表現型スコアに対応する視覚的な標識を含むイメージを生成するようにさらに構成され、
    前記一つ以上の免疫表現型スコアは、免疫活性に対するスコア、免疫排除に対するスコア又は免疫欠乏に対するスコアの少なくとも一つを含む、請求項１６に記載のコンピュータ装置。
24. 前記プロセッサは、
    前記病理スライドイメージでの前記一つ以上の関心領域及び前記視覚的な標識を含むイメージを共に出力するようにさらに構成される、請求項２３に記載のコンピュータ装置。
25. 前記プロセッサは、
    前記病理スライドイメージでの前記一つ以上の関心領域に前記視覚的な標識を含むイメージをオーバーレイするようにさらに構成される、請求項２３に記載のコンピュータ装置。
26. 前記プロセッサは、
    前記一つ以上の関心領域に対する一つ以上の免疫表現型と関連付けられたフィーチャを獲得し、
    前記一つ以上の免疫表現型と関連付けられたフィーチャに対応する視覚的な標識を含むイメージを生成するようにさらに構成され、
    前記一つ以上の免疫表現型と関連付けられたフィーチャは、免疫表現型と関連付けられた統計的な値又はベクトルの少なくとも一つを含む、請求項１６に記載のコンピュータ装置。
27. 前記プロセッサは、
    前記病理スライドイメージでの前記一つ以上の関心領域及び前記視覚的な標識を含むイメージを共に出力するようにさらに構成される、請求項２６に記載のコンピュータ装置。
28. 前記プロセッサは、
    前記病理スライドイメージでの前記一つ以上の関心領域に前記視覚的な標識を含むイメージをオーバーレイするようにさらに構成される、請求項２６に記載のコンピュータ装置。
29. 前記プロセッサは、
    前記病理スライドイメージから一つ以上の対象アイテムの検出結果を獲得し、
    前記一つ以上の対象アイテムの検出結果を示すイメージを生成し、
    前記一つ以上の対象アイテムの検出結果を示すイメージを出力するようにさらに構成される、請求項２６に記載のコンピュータ装置。

Images