JP6187989B2 - 生物組織に共局在するバイオマーカーを解析するためのシステム及び方法 - Google Patents

生物組織に共局在するバイオマーカーを解析するためのシステム及び方法 Download PDF

Info

Publication number
JP6187989B2
JP6187989B2 JP2015509389A JP2015509389A JP6187989B2 JP 6187989 B2 JP6187989 B2 JP 6187989B2 JP 2015509389 A JP2015509389 A JP 2015509389A JP 2015509389 A JP2015509389 A JP 2015509389A JP 6187989 B2 JP6187989 B2 JP 6187989B2
Authority
JP
Japan
Prior art keywords
biomarker
expression level
user interface
image
biological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015509389A
Other languages
English (en)
Other versions
JP2015526771A (ja
Inventor
カマス,ヴィディヤ・プンダリック
パン,チェンユ
サラチャン,ブリオン・ダリル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/459,958 external-priority patent/US20130286038A1/en
Priority claimed from US13/460,018 external-priority patent/US20130286043A1/en
Priority claimed from US13/459,999 external-priority patent/US8737709B2/en
Priority claimed from US13/460,100 external-priority patent/US20150032671A9/en
Priority claimed from US13/460,081 external-priority patent/US9036888B2/en
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2015526771A publication Critical patent/JP2015526771A/ja
Application granted granted Critical
Publication of JP6187989B2 publication Critical patent/JP6187989B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B20/00ICT specially adapted for functional genomics or proteomics, e.g. genotype-phenotype associations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B45/00ICT specially adapted for bioinformatics-related data visualisation, e.g. displaying of maps or networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biotechnology (AREA)
  • Biophysics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Genetics & Genomics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Description

本発明は、生物組織に共局在するバイオマーカーを解析するためのシステム及び方法に関する。
バイオマーカーの発現を明らかにするために処理される組織標本の検査は、生物学的調査及び臨床試験のためのルツールとして知られている。1つのこのような処理は、一般に蛋白のような、対象となるバイオマーカーに特有の、抗体断片のような、抗体又は抗体サロゲートの使用を含む。このような抗体又は抗体サロゲートは、適切な条件下で信号を発生させることが可能な部分を示すように直接又は間接的にラベリングできる。例えば、蛍光部分は、抗体に付着し、蛍光に関して、処理された組織を調べることができる。取得された信号は、一般にバイオマーカーの存在及び存在するバイオマーカーの量の双方を示す。
組織の処理及び検査技術は、特定の細胞中の所定のバイオマーカーの発現のレベル或いは核、細胞質又は膜のような所定の細胞の区画中の所定のバイオマーカーの発現のレベルでさえ、定量的に決定できるように洗練されている。これらの区画又は細胞全体の境界は、既知の組織染色を用いて位置付けられる。一般に、処理された組織はデジタル画像により検査され、異なるバイオマーカーから発出される異なる信号のレベルを結果的に容易に定量化できる。
さらに、多数のバイオマーカーの発現について所定の組織標本の検査を可能にする技術も開発されている。一般的に、この技術は、蛍光でラベリングされたプローブで標本を染色して、1つ以上のプローブ結合バイオマーカーに対する信号を発生させ、これらの信号を化学的に漂白し、さらにいくつかのバイオマーカーに対する信号を発生させるために標本を再染色することを含む。化学的に漂白するステップは、限られた数のバイオマーカーのみが特定のステップで検査され得るように、互いに容易に区別できる限られた数の信号のみが存在するため、利便性が高い。漂白により、組織検体を再プローブしてもよく、複数のステップについて再評価してもよい。このサイクリング方法は、ホルマリン固定パラフィン包埋組織(FFPE)検体及び細胞において使用されてもよい。標本のデジタル画像は各染色ステップの後に収集される。このような標本の連続画像は、DAPI染色された細胞核のような形態学的特徴を使用して、レジストリ中に便宜的にキープでき、その信号は、化学的な漂白方法により修正されない。
別のアプローチは、凍結組織標本を繰り返し染色し、次の組の染色を適用する前に以前の染色ステップのラベルを光漂白することにより、凍結組織標本を検査することである。その後、評価された各バイオマーカーに関係する蛍光信号の強度が、適切な画像から抽出される。
生物検体を解析するための1つの従来の技術は、フローサイメトリーである。フローサイメトリーでは、流体の流れに浮いている生物粒子が、粒子の1つ以上の特性(例えば、バイオマーカー発現レベル)を検出するように構成されている検出システムによりフローする。フローサイメトリーは、表現型に基づいて、生物検体における異なる集団の粒子の識別を有利に促進できる。したがって、フローサイメトリーは、癌のような健康状態を診断する助けとなるよう定期的に使用される。別の一般的な適用は、フローサイメトリーを使用して、例えば、対象の集団を隔離するために、検出された特性に基づいて粒子を解析し、物理的にソートすることである。
この利点にもかかわらず、生物検体を解析することに関して、フローサイメトリーには多数の制限がある。このような1つの制限は、フローサイメトリーは、解析のために生物検体を個別の生物粒子に分解するために、本来の生物検体の破壊を必要とすることである。別の関連する制限は、その破壊的な性質のために、フローサイメトリーは、物理的近位性のような、本来の生物検体で反映されているような粒子間の形態学的特性を検出又は解析できないことである。本開示の実施形態は、利便性の高いフローサイメトリーの多くの利点をこのような制限なく有利に提供する。
米国特許公開第2011/091081号明細書
本開示のシステム及び方法は、生物検体に対する視界を選択し、それぞれが選択された視界の多重化されたバイオマーカー画像中に対応する画像を有する第1及び第2のバイオマーカーを選択し、第1及び第2のバイオマーカーのそれぞれに対する発現レベル基準を自動的に解析し、選択された視界の対応する画像をオーバーレイ方法でグラフィックユーザインターフェース上にレンダリングし、第1及び第2のバイオマーカーの双方に対するバイオマーカー発現レベル基準を満たす生物組織中の第1の組の生物学的単位を強調するためのシステム及び方法に有利に関する。異なる画像におけるバイオマーカー発現レベルの共同解析が可能になるように画像をオーバーレイ/多重化するための能力は、特に利益がある。特に、オーバーレイにより、1つ以上のレイヤを他のレイヤとは関係なく操作することが可能になる。さらに、オーバーレイは、レイヤ間の共通性及び差異の識別/強調を促進する。
例示的な実施形態にしたがって、生物組織中の2つ以上のバイオマーカーの発現レベルを表示するためのコンピュータ実現方法が提示される。方法は、視覚的ディスプレイデバイス上にグラフィックユーザインターフェースをレンダリングすることを含んでもよい。生物組織の複数の視界における複数のバイオマーカーの発現を捕捉する登録された多重化されたバイオマーカー画像を含む、組織プロファイルデータを含むデータセットから、ユーザが視界を選択できるようになる視界選択コンポーネントがグラフィックユーザインターフェース上にレンダリングされてもよい。データセット中で複数の視界における個別の生物学的単位が線引きされる。方法は、グラフィックユーザインターフェースの視界選択コンポーネントにおいて、生物組織に対応する視界を選択するユーザ入力を受信することを含んでもよい。ユーザが、選択された視界の多重化されたバイオマーカー画像において対応する画像を有する複数のバイオマーカーの中から、第1のバイオマーカー及び第2のバイオマーカーを選択できるようになるバイオマーカー選択コンポーネントがグラフィックユーザインターフェース上にさらにレンダリングされてもよい。ユーザが、選択された第1のバイオマーカーに対する第1のバイオマーカー発現レベル基準と、選択された第2のバイオマーカーに対する第2のバイオマーカー発現レベル基準とを選択できるようになるバイオマーカー発現レベル選択コンポーネントがグラフィックユーザインターフェース上にレンダリングされてもよい。方法は、グラフィックユーザインターフェースにおいて、第1のバイオマーカー、第1のバイオマーカー発現レベル基準、第2のバイオマーカー及び第2のバイオマーカー発現レベル基準を選択するユーザ入力を受信することを含んでもよい。
方法はさらに、選択された視界における選択された第1のバイオマーカーの発現レベル及び選択された第2のバイオマーカーの発現レベルを自動的に解析することを含んでもよい。方法はさらに、選択された視界の画像を、オーバーレイ方法でグラフィックユーザインターフェース上にレンダリングし、選択された第1のバイオマーカーに対する第1のバイオマーカー発現レベル基準と、選択された第2のバイオマーカーに対する第2のバイオマーカー発現レベル基準の双方を満たす、生物組織中の第1の組の生物学的単位を強調することを含んでもよい。
いくつかの実施形態では、第1のバイオマーカー発現レベル基準は、第1の特定の閾値を超える又は下回る選択された第1のバイオマーカーの発現レベルを含んでもよく、第2のバイオマーカー発現レベル基準は、第2の特定の閾値を超える又は下回る選択された第2のバイオマーカーの発現レベルを含んでもよい。
例示的な実施形態では、選択された視界の対応する画像を、オーバーレイ方法でグラフィックユーザインターフェース上にレンダリングすることは、選択された第1のバイオマーカーに対応する第1の画像の少なくとも一部を第1のカラーで表示することと、選択された第2のバイオマーカーに対応する第2の画像の少なくとも一部を第2のカラーで表示することとを含む。したがって、いくつかの実施形態では、生物組織中の第1の組の生物学的単位は、第1の画像中の第1の組の生物学的単位のみを第1のカラーでレンダリングし、第2の画像中の第1の組の生物学的単位のみを第2のカラーでレンダリングすることにより強調されてもよい。他の実施形態では、生物組織中の第1の組の生物学的単位は、第1の画像中の第1の組の生物学的単位を第1のカラーで、第1の画像の残りを第1のカラーのさらに透過度の高いバージョンで、第2の画像中の第1の組の生物学的単位を第2のカラーで、第2の画像の残りを第2のカラーのさらに透過度の高いバージョンでレンダリングすることにより強調されてもよい。さらない別の実施形態では、生物組織中の第1の組の生物学的単位は、第1の組の生物学的単位を第3のカラーでレンダリングすることにより強調されてもよい。
例示的な実施形態では、選択された第1のバイオマーカーに対する第1のバイオマーカー発現レベル基準及び選択された第2のバイオマーカーに対する第2のバイオマーカー発現レベル基準の双方を満たす生物学的単位は、生物学的転帰に、例えば、生物学的単位に影響を与える疾患の転帰に対する相関のために解析されてもよい。いくつかの実施形態では、生物学的単位は細胞であってもよい。他の実施形態では、生物学的単位は、細胞の細胞下成分であってもよい。
例示的な実施形態では、ユーザが、選択された視界の登録された多重化されたバイオマーカー画像から背景画像を選択できるようになる背景画像選択コンポーネントがグラフィックユーザインターフェース上にレンダリングされてもよい。背景画像は、選択された視界の対応する画像に対するアンダーレイとしてレンダリングされてもよい。いくつかの実施形態では、生物組織に対応する選択された視界の5つより多い画像は、オーバーレイ方法で、グラフィックユーザインターフェース上にレンダリングされてもよい。各画像はバイオマーカーの発現レベルを異なるカラーで表してもよい。いくつかの実施形態では、ユーザが、選択された視界の解析結果を、例えば、クエリを表示する画像を選択できるようになる画像解析選択コンポーネントがグラフィックユーザインターフェース上にレンダリングされてもよい。解析の結果を表す選択された画像は、選択された視界の画像のスタックのうちの1つとしてレンダリングされてもよい。
例示的な実施形態では、先述の方法のいずれかは、第1のバイオマーカー発現レベル基準に関係する第1の特定の閾値と、第2のバイオマーカー発現レベル基準に関係する第2の特定の閾値とを含む、選択された生物組織の選択された第1及び第2のバイオマーカーの発現レベルの散布図を同時にレンダリングすることをさらに含んでもよい。いくつかの実施形態では、散布図は、第1のバイオマーカー発現レベル基準に関係する第1の特定の閾値と、第2のバイオマーカー発現レベル基準に関係する第2の特定の閾値とを含む、コホート中の生物学的単位により、選択された第1及び第2のバイオマーカーの発現レベルをレンダリングしたものであってもよい。他の実施形態では、第1の組の生物学的単位を強調することは、選択された視界の対応する画像と、散布図の双方において、第1の組の生物学的単位を第1のカラーでレンダリングすることを含んでもよい。
例示的な実施形態では、ユーザが、選択された視界の多重化されたバイオマーカー画像において対応する画像を有する第3のバイオマーカーを選択できるようになるバイオマーカー選択コンポーネントがグラフィックユーザインターフェース上にレンダリングされてもよい。選択された視界における選択された第3のバイオマーカーの発現レベルは、自動的に解析されてもよく、第2のバイオマーカー及び第3のバイオマーカーに対応する選択された視界の画像はオーバーレイ方法でグラフィックユーザインターフェース上にレンダリングされてもよい。いくつかの実施形態では、選択された第2のバイオマーカーに対する第2のバイオマーカー発現レベル基準と、選択された第3のバイオマーカーに対する第3のバイオマーカー発現レベル基準の双方を満たす、生物組織中の第2の組の生物学的単位が強調されてもよい。
ここで開示する別の実施形態は、生物組織中の2つ以上のバイオマーカーの発現レベルを表示するためのシステムである。システムは、プロセッサ、ディスプレイ及びコンピュータ読取可能命令を記憶する一時的でない記憶媒体を含む。プロセッサは、記憶媒体上に記憶されたコンピュータ読取可能命令を実行する。コンピュータ読取可能命令は、他の何らかの先述の方法を実行するための命令を含んでもよい。
例示的な実施形態の先の目的、態様、特徴及び利点並びに他の目的、態様、特徴及び利点は、添付図面に関連してなされる以下の説明を参照することにより明らかとなり、より良く理解できるであろう。
例示的なコンピューティングデバイスのブロック図である。 例示的なネットワーク環境のブロック図である。 生物組織に対応するデータソースを選択するために使用されてもよい例示的なユーザインターフェースを示す。 画像のソースに関する情報及び/又は統計的な情報を含む構成ファイルを選択するために使用されてもよい例示的なユーザインターフェースを示す。 表示するためのスライド及びスポットを選択するために使用されてもよい例示的なユーザインターフェースを示す。 表示するためのバイオマーカーを選択するために使用されてもよい例示的なユーザインターフェースを示す。 表示するための解析結果を選択するために使用されてもよい例示的なユーザインターフェースを示す。 マーカーの発現及びDNA配列を表示するための例示的なユーザインターフェースを示す。 生物組織のコンピュータ生成画像を示す例示的なユーザインターフェースを示しており、組織から取得される1つ以上の画像は新規のカラースペースにマッピングされ、例えば、H&Eタイプ画像を生成させる。 オーバーレイ表示のための4つのバイオマーカーの選択を示す例示的なユーザインターフェースを示す。 バイオマーカー発現レベルのジェネリックヒートマップを示す例示的なユーザインターフェースを示す。 バイオマーカー発現レベルの2トーンヒートマップを示す例示的なユーザインターフェースを示す。 バイオマーカー発現レベルの連続的ヒートマップを示す例示的なユーザインターフェースを示す。 バイオマーカー発現レベルを表示するための例示的な方法のフローチャートである。 バイオマーカー及びDNA配列を表示するための例のフローチャートである。 オーバーレイ表示のための2つのDNA配列及び核マーカーの選択を示す例示的なユーザインターフェースを示す。 本開示にしたがった、生物検体の統計表現における生物粒子の集団の例示的な選択を示す。 生物粒子の選択された集団を反映している、図17の生物検体の例示的な形態学的表現を示す。 生物検体の形態学的表現及び統計表現の双方を含む例示的なグラフィックユーザインターフェースを示す。 マーカー及び臨床転帰の選択を可能にする例示的なユーザインターフェースを示す。 生物学的単位及び臨床転帰の選択を可能にする例示的なユーザインターフェースを示す。 画像における領域及び臨床転帰の選択を可能にする例示的なユーザインターフェースを示す。 生物学的単位の形態学的特性及び臨床転帰の選択を可能にする例示的なユーザインターフェースを示す。 臨床転帰と、生物組織の視界に基づく選択における1つ以上の特徴との間の正又は負の相関関係を判断する方法のフローチャートである。 臨床転帰と生物組織の視界に基づく選択の特性であるコホートデータセットにおける1つ以上の特徴との間の正又は負の相関関係を判断する方法のフローチャートである。 ユーザが品質スコアを提供することを可能にする例示的なユーザインターフェースを示す。 背景画像上にオーバーレイされた例示的な画像セグメンテーション結果を示す。 背景画像上にオーバーレイされた例示的な画像セグメンテーション結果を示す。 オーバーラップのないセグメンテーションマスクを示す例示的なユーザインターフェースを示す。 オーバーレイセグメンテーションマスクを示す例示的なユーザインターフェースを示す。 ユーザが品質スコアデータを保存するための位置を選択することが可能になる例示的なユーザインターフェースを示す。 ユーザから品質スコアを受信するための例示的な方法のフローチャートである。 データレイヤ、論理レイヤ及びユーザインターフェースレイヤを提供する例示的なサービスベースのアーキテクチャを示すブロック図である。 例示的なデータレイヤを示すブロック図である。 例示的な論理レイヤを示すブロック図である。 細胞を表すために規定された例示的なオブジェクト指向型クラスを示すブロック図である。 生物組織中の対象となる生物学的単位の表現を選択的に表示するための例示的な方法のフローチャートである。 生物組織中の2つ以上のバイオマーカーの発現レベルを表示するための他の例示的な方法のフローチャートである。 バイオマーカーの発現レベルを表示するための例示的な方法のフローチャートである。 統計表現を含む例示的なグラフィックユーザインターフェースを示す。 統計表現を含む例示的なグラフィックユーザインターフェースを示す。 統計表現を含む例示的なグラフィックユーザインターフェースを示す。 グラフィックユーザインターフェースの形態学的特徴の選択コンポーネントの例示的な実現を示す。 グレースケール値のヒストグラムにおける「ウィンドウ幅」及び「ウィンドウレベル」を示すグラフである。
ここで開示する実施形態は、生物組織の特徴を選択的に表示し、組織を解析し、及び/又は、多重化されたバイオマーカー画像データに基づいた組織の解析を提示するための方法、システム及びデバイスを含む。例示的な実施形態により、病理医が客観性の高い反復可能な診断並びに疾患又は状態モデルに到達することが可能になる、選択的な特徴及び/又は解析の、構造化されているが、柔軟性があり、ユーザに優しい表示が可能になる。
ここで教示される実施形態は、染色-漂白-再染色技術のような、既知の技術により生成される多重化されたバイオマーカー画像をレンダリングする。画像は、細胞のより大きな組織検体内の個別の細胞ごとにバイオマーカーの発現を示す。個別の細胞は、より大きな組織検体の一部である。組織検体は、細胞培養からの細胞のグループであってもよく、或いは、臓器、腫瘍又は病変の検体であってもよい。組織検体はまた、コホートとして知られる異なる被験者からの同様の組織の標本のグループの一部であってもよい。これらのグループの組織検体は、1つ以上の疾患、状態モデル、疾患又は状態モデル内の異なる病期、或いは、疾患又は状態の治療に対する1つ以上の反応を表してもよい。
各染色された視界の画像は、適切な顕微鏡に結合されたデジタルカメラ及び適切な品質制御ルーチンのような、既知の技術により生成される。自動化された画像登録及び解析を使用して、個別の線引きされた細胞或いは核、細胞質及び膜のような細胞下区画のバイオマーカー濃度レベルを定量化してもよい。多重化した結果生じるデータ値及び細胞の画像解析は、単独で、又は、さらなる解析の結果とともに記憶されてもよい。データベースは、組織を含むバイオマーカー発現の強度の測定及びそれが取られた組織内の位置の識別を保存してもよい。位置は、特定の測定が取られた特定の細胞及び/又は組織を示してもよく、測定に関係する区画、核、細胞質又は膜も含んでもよい。情報はデータベース中に記憶されてもよく、記憶デバイス中又はネットワークデバイス中に保持されてもよい。
図面を参照して、以下に例示的な実施形態を記述する。当業者は、例示的な実施形態は、説明される実施形態に限定されないこと、例示的なシステムのコンポーネント、デバイス及び方法は、以下に記述される実施に限定されないことを認識するだろう。
例示的なコンピュータアーキテクチャ
ここで開示するシステム及び方法は、1つ以上のコンピュータ読取可能媒体、RAM、ROM、ハードドライブ、及び/又はハードウェア上で保持される実行可能な命令に関係している1つ以上のプログラム可能な処理ユニットを含んでもよい。例示的な実施形態では、ハードウェア、ファームウェア及び/又は実行可能なコードは、例えば、既存のインフラストラクチャ(例えば、既存のデバイス/処理ユニット)と共に使用するためのアップグレードモジュールとして提供されてもよい。例えば、ハードウェアは、ここで教示する実施形態をコンピューティングプロセスとして実行するコンポーネント及び/又は論理回路であってもよい。
本開示にしたがって、例えば、ディスプレイ及び/又は他のフィードバック手段は、グラフィックユーザインターフェースをレンダリングするためのものを含んでもよい。ディスプレイ及び/又は他のフィードバック手段は、スタンドアローン型機器であってもよく、又は、処理ユニットの1つ以上のコンポーネント/モジュールとして含まれてもよい。例示的な実施形態では、ディスプレイ及び/又は他のフィードバック手段を使用して、生物組織検体の視界の形態学的表現及び統計表現の双方を同時に記述してもよい。
本実施形態のうちのいくつかを実現するために使用されてもよい実際のソフトウェアコード又は制御ハードウェアは、このような実施形態の範囲を制限することを意図していない。例えば、ここで記述する本実施形態のある態様は、例えば、従来のプログラミング技術又はオブジェクト指向プログラミング技術を使用して、例えば、アセンブリコード、C、C#又はC++のような何らかの適切なプログラミング言語タイプを使用したコードで実現されてもよい。このようなコードは、例えば、磁気記憶媒体又は光記憶媒体のような任意のタイプの適切な一時的でないコンピュータ読取可能媒体(media or medium)上で記憶又は保持されてもよい。
ここで使用されるように、例えば、「プロセッサ」、「処理ユニット」、「コンピュータ」又は「コンピュータシステム」は、ワイヤレス又はワイヤラインの多様なマイクロコンピュータ、ミニコンピュータ、サーバ、メインフレーム、ラップトップ、パーソナルデータアシスタント(PDA)、ワイヤレスeメールデバイス(例えば、「BlackBerry(登録商標)、「Android」(登録商標)」又は「Apple」(登録商標)のような登録商標のついたデバイス)、携帯電話機、ページャ、プロセッサ、FAX機、スキャナ、或いは、ネットワークを通してデータを送受信するように構成された他の何らかのプログラム可能デバイスであってもよい。ここで開示するコンピュータシステムは、データを取得、処理及び通信するのに使用されるあるソフトウェアアプリケーションを記憶するためのメモリを含んでもよい。このようなメモリは、開示する実施形態の内部又は外部にあってもよいことが理解できる。メモリはまた、ソフトウェアを記憶する一時的でない記憶媒体を含んでもよく、ハードディスク、光ディスク、フロッピー(登録商標)ディスク、ROM(リードオンリーメモリ)、RAM(ランダムアクセスメモリ)、PROM(プログラム可能ROM)、EEPROM(電気的消去可能なPROM)、フラッシュメモリ記憶デバイス又はこれらに類するものを含んでもよい。
図1は、ここで開示するシステム及び方法を実現するのに使用されてもよい例示的なコンピューティングデバイス100を表すブロック図を示す。コンピューティングデバイス100は、ワークステーション、デスクトップコンピュータ、サーバ、ラップトップ、ハンドヘルドコンピュータ、タブレットコンピュータ(例えば、iPad(登録商標)タブレットコンピュータ)、モバイルコンピューティング又は通信デバイス(例えば、iPhone(登録商標)モバイル通信デバイス、Android(登録商標)モバイル通信デバイス及びこれらに類するもの)、或いは、通信可能であり、ここで開示する動作を実施するのに十分なプロセッサのパワー及びメモリ容量を有する他の形態のコンピューティング又はテレコミュニケーションデバイスのような、任意のコンピュータシステムであってもよい。例示的な実施形態では、複数のこのようなコンピューティングデバイスを含む分散型計算システムが提供されてもよい。
コンピューティングデバイス100は、ここで記述する例示的な方法を実現するための、その上でエンコードされる1つ以上のコンピュータ実行可能な命令又はソフトウェアを有する1つ以上の一時的でないコンピュータ読取可能媒体を含む。一時的でないコンピュータ読取可能媒体は、1つ以上のタイプのハードウェアメモリ及び他のタンジブルデバイス(例えば、1つ以上の磁気記憶ディスク、1つ以上の光ディスク、1つ以上のUSBフラッシュデバイス)並びにこれらに類するものを含んでもよいが、これらに限定されない。例えば、コンピューティングデバイス100に含まれるメモリ106は、ここで記述するようなグラフィックユーザインターフェースを実現するためのコンピュータ読取可能並びにコンピュータ実行可能な命令又はソフトウェアを記憶してもよい。コンピューティングデバイス100はまた、プロセッサ102及び関係するコア104を含んでもよく、いくつかの実施形態では(例えば、複数のプロセッサ/コアを有するコンピュータシステムのケースでは)、メモリ106に記憶されたコンピュータ読取可能並びにコンピュータ実行可能な命令又はソフトウェアを実行するための1つ以上の追加のプロセッサ102’及び関係するコア104’並びにシステムハードウェアを制御するための他のプログラムを含んでもよい。プロセッサ102及びプロセッサ102’は、それぞれ、シングルコアプロセッサ又はマルティプルコア(104及び104’)プロセッサであってもよい。
インフラストラクチャ及びコンピューティングデバイスにおけるリソースを動的に共有できるように、コンピューティングデバイス100で仮想化が採用されてもよい。仮想マシン114は、プロセスが、複数のコンピューティングリソースではなく、1つのコンピューティングリソースのみを使用しているように見えるように、複数のプロセッサ上でのプロセス実行を取り扱うために提供されてもよい。さらに、複数の仮想マシンを1つのプロセッサとともに使用してもよい。
メモリ106は、DRAM、SRAM、EDO RAM及びこれらに類するもののような、コンピュータシステムメモリ又はランダムアクセスメモリを含んでもよい。メモリ106は、他のタイプのメモリも含んでもよく、或いは、それらの組み合わせを含んでもよい。
ユーザは、スクリーン又はモニタのような、視覚的ディスプレイデバイス118により、コンピューティングデバイス100と対話してもよく、これらのデバイスは、ここで記述する例示的な実施形態にしたがって提供される1つ以上のグラフィックユーザインターフェース120を表示してもよい。視覚的ディスプレイデバイス118はまた、例示的な実施形態に関係する他の態様、要素並びに/或いは情報又はデータを表示してもよい。コンピューティングデバイス100は、例えば、キーボード又は何らかの適切なマルチポイントタッチインターフェース108、ポインティングデバイス110(例えば、マウス、ユーザの指が直接ディスプレイデバイスとインターフェースする等)のような、ユーザからの入力を受信するための他のI/Oデバイスを含んでもよい。キーボード108及びポインティングデバイス110は、視覚的ディスプレイデバイス118に結合されてもよい。コンピューティングデバイス100は、他の適切な従来のI/O周辺機器を含んでもよい。I/Oデバイスは、1つ以上のグラフィックユーザインターフェース120の実現を促進し、ここで記述する例示的な実施形態のためのグラフィックユーザインターフェースの1つ以上の選択コンポーネント(例えば、視界選択コンポーネント、バイオマーカー選択コンポーネント、バイオマーカー発現レベル基準選択コンポーネント、形態学的特徴選択コンポーネント等)を実現してもよい。
コンピューティングデバイス100は、デュアラブルディスク記憶装置(何らかの適切な光又は磁気デュアラブル記憶デバイス、例えば、RAM、ROM、フラッシュ(登録商標)、USBドライブ、又は、他の半導体ベースの記憶媒体)、ハードドライブ、CD−ROM、又は、データ並びにここで教示するような例示的な実施形態を実現するコンピュータ読取可能命令及び/又はソフトウェアを記憶するための他のコンピュータ読取可能媒体のような、1つ以上の記憶デバイス124を含んでもよい。例示的な実施形態では、1つ以上の記憶デバイス124は、本開示のシステム及び方法により生成されてもよいデータのための記憶装置を提供してもよい。例えば、記憶デバイス124は、多重化されたバイオマーカー画像データのための記憶装置126、データ解析のための記憶装置128(例えば、画像セグメンテーション結果と臨床転帰との相関のような、ここで記述する画像又は統計解析のいずれかに関するパラメータの結果の記憶装置)、品質レビューデータのための記憶装置130(例えば、バイオマーカー品質及び画像セグメンテーション品質のようなここで記述する画像又は統計解析の結果のいずれかに関連する品質インジケータ及び有効性情報)及び/又はディスプレイ設定(例えば、カラー、透過度等に関するユーザの嗜好)のための記憶装置132を提供してもよい。1つ以上の記憶デバイス124は、さらに、ここで記述するような1つ以上の方法に関連するコンピュータ読取可能命令のための記憶装置、例えば、ユーザインターフェースの生成に関連するコンピュータ読取可能命令のための記憶装置134及びデータ解析に関連するコンピュータ読取可能命令のための記憶装置136を提供してもよい。1つ以上の記憶デバイス124は、コンピューティングデバイス100上に提供されてもよく、及び/又は、コンピューティングデバイス100とは別に又はコンピューティングデバイス100とは遠隔で提供されてもよい。
コンピューティングデバイス100は、これらに限定されないが、標準的な電話線、ローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN)リンク(例えば、802.11、T1、T3、56kb、X.25)、ブロードバンド接続(例えば、ISDN、フレームリレー、ATM)、ワイヤレス接続、コントローラエリアネットワーク(CAN)或いは上記のいずれか又は全ての何らかの組み合わせを含む様々な接続を通じて、1つ以上のネットワークデバイス122を通して1つ以上のネットワークと、例えば、LAN、WAN又はインターネットと、インターフェースするように構成されているネットワークインターフェース112を含んでもよい。ネットワークインターフェース112は、ビルトインネットワークアダプタ、ネットワーク・インターフェース・カード、PCMCIAネットワークカード、カード・バス・ネットワークアダプタ、ワイヤレスネットワークアダプタ、USBネットワークアダプタ、モデム、又は、コンピューティングデバイス100を任意のタイプの通信可能なネットワークにインターフェースさせて、ここで記述する動作を実施するのに適した他の何らかのデバイスを含んでもよい。ネットワークデバイス122は、これらに限定されないが、1つ以上の受信機、1つ以上の送信機、1つ以上のトランシーバ、1つ以上のアンテナ及びこれらに類するものを含む、ネットワークを通して通信を受信及び送信するための1つ以上の適切なデバイスを含んでもよい。
コンピューティングデバイス100は、Microsoft(登録商標)、Windows(登録商標)オペレーティングシステム、異なるリリースのUnix(登録商標)及びLinux(登録商標)のオペレーティングシステム、Macintosh(登録商標)用の任意のバージョンのMacOS(登録商標)、任意の組み込みオペレーティングシステム、任意のリアルタイムオペレーティングシステム、任意のオープンソースオペレーティングシステム、任意のプロプライエタリオペレーティングシステム、モバイルコンピューティングデバイス用の任意のオペレーティングシステム、又は、コンピューティングデバイス上で動作可能であり、ここで記述する動作を実施可能な他の何らかのオペレーティングシステムのような、任意のオペレーティングシステム116を実行してもよい。例示的な実施形態では、オペレーティングシステム116は、ネイティブモード又はエミュレーションモードで実行されてもよい。例示的な実施形態では、オペレーティングシステム116は、1つ以上のクラウドマシンインスタンス上で実行されてもよい。
図2は、協働が可能であり、協働を推進する方法で、ここで記述する実施形態を実現するに適した例示的なネットワーク環境200を示す。ネットワーク環境200は、通信ネットワーク210を通じて1つ以上のクライアント206及び208に結合された1つ以上のサーバ202及び204を含んでもよい。とりわけ、1つ以上のサーバ202及び204並びに1つ以上のクライアント206及び208のそれぞれは、図1に関して記述したようなコンピューティングデバイス100として実現されてもよい。したがって、1つ以上のサーバ202及び204並びに1つ以上のクライアント206及び208のそれぞれは、通信ネットワーク210を通じてサーバ202及び204がクライアント206及び208と通信可能であるネットワークインターフェース112及びネットワークデバイス122を含んでもよい。通信ネットワーク210は、インターネット、イントラネット、LAN(ローカルエリアネットワーク)、WAN(ワイドエリアネットワーク)、MAN(メトロポリタンエリアネットワーク)、ワイヤレスネットワーク、光ネットワーク及びこれらに類するものを含んでもよいが、これらに限定されない。通信ネットワーク210により提供される通信設備は、ここで開示する協働的な解析及び研究努力を支持することが可能である。
例示的な実施形態では、協働エンティティは、1つ以上のクライアント206、208を利用して、1つ以上の202、204に遠隔でアクセスしてもよい。サーバ202及び204は、本開示のシステム及び方法に関連するデータを記憶、アクセス、共有及び解析する(例えば、有効性検証する)ためのクライド環境を有利に提供してもよい。ここで記述するように、1つ以上のサーバ206、208はまた、例えば、ユーザインターフェース及び/又はデータ解析の生成に関連する1つ以上のモジュールを実現するためのコンピュータ読取可能命令により特徴付けられる1つ以上のアプリケーションと有利に関係してもよい。1つ以上のクライアント206及び208上で1つ以上の適用に有利にアクセスしてもよく、1つ以上のクライアント206及び208上で1つ以上の適用を遠隔で実行してもよい。例示的な実施形態では、1つ以上の適用の分散は、ライセンス合意のような特定の状況を前提としてもよい。
生物組織の多重化された画像の例示的な選択及び表示
例示的な実施形態は、生物組織の1つ以上の視界に関連する画像及び/又はテキストデータをユーザが選択的に表示し、操作できる1つ以上のグラフィックユーザインターフェースを提供してもよい。例示的な生物組織画像は、組織の形態学的特徴の画像、組織におけるバイオマーカーの発現レベル、組織におけるDNA配列の発現及び非発現及びこれらに類するものを含んでもよい。例示的なグラフィックユーザインターフェースは、複数の患者に対応する複雑な画像及び解析データ、複数の組織の視界及び/又は複数のバイオマーカーデータを、構造化されているが、柔軟性があり、ユーザに優しい方法でユーザがレビューすることを可能にする。例示的な実施形態はまた、表示及び解析のためにデータを検索する時間的に効率がよく、能率化された方法を提供する。
例示的な実施形態は、ユーザが、ユーザインターフェース上で直接、ユーザインターフェース上で表示するための生物組織の視界を選択することを可能にする。ユーザインターフェース上で提供されるツールを使用して、特定の試験/実験、スライド、スポット及びバイオマーカーを選択する能力により、ユーザが、試験/実験、スライド、スポット及びバイオマーカーに関連するファイルの位置を覚える必要はなくなり、ユーザが、直感的で、時間的に効率がよく、ユーザに優しい方法でデータソースを選択することが可能になる。
例示的な実施形態はまた、ユーザが、ユーザインターフェース上で直接、ユーザインターフェース上でその発現レベルが表示されることになる1つ以上のバイオマーカー及びバイオマーカーに関する1つ以上の対応するカラーを選択することを可能にする。応答して、ユーザインターフェースは、選択された生物組織の視界に対してオーバーレイ方法で、選択されたバイオマーカーの発現レベルを表示し、これにより、各バイオマーカーの発現レベルが、対応する選択されたカラーの明度レベルとして表示される。選択された視界の画像において任意の数のバイオマーカーの発現レベルをオーバーレイ方法で並行して表示するために、任意の数のバイオマーカーが選択されてもよい。バイオマーカーの選択可能な数は、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19及び20を含むが、これらに限定されない。同じ視界の表示において複数のバイオマーカーの発現レベルが表示されることにより、ユーザが、生物組織の構造アスペクト及び機能アスペクトの完全な画像を取得することが可能になり、ユーザが、生物組織中の異なるバイオマーカーの共局在を評価することが可能になる。
同様に、例示的な実施形態はまた、ユーザが、その発現及び非発現がユーザインターフェース上で表示されることになる1つ以上のDNA配列、並びに、DNA配列に関する1つ以上の対応するカラーを選択することが可能になる。応答して、ユーザは、生物組織の選択された視界に対して、オーバーレイ方法で、選択されたDNA配列の発現及び非発現を表示し、これにより、各DNA配列の発現及び非発現が、1つ以上の対応する選択されたカラーで表示される。例示的な視界の画像では、1つ以上のDNA配列の発現及び1つ以上のバイオマーカーの発現レベルはオーバーレイ方法で表示されてもよい。選択された視界の画像において任意の数のDNA配列の発現及び非発現をオーバーレイ方法で並行して表示するために、任意の数のDNA配列が選択されてもよい。DNA配列の選択可能な数は、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19及び20を含むが、これらに限定されない。
図3〜図13は、例示的なグラフィックユーザインターフェースを示すが、他の適切なユーザインターフェースが使用されてもよい。図3に示すように、例示的なユーザインターフェース300は、ユーザがセッション開始時に、ユーザインターフェースを終了して、閉じることが可能になる終了コンポーネント302を表示してもよい。例示的な実施形態では、終了コンポーネント302は、セッションが続く間、ユーザインターフェース上で表示され続けてもよい。ユーザインターフェース300は、ユーザが、ユーザインターフェース上で表示するための画像及び/又はテキストデータの1つ以上のソースを直接選択することが可能になるデータソース選択コンポーネント304を並行して表示してもよい。データソース選択コンポーネント304により、ユーザが特定の試験又は実験を選択することが可能になる。例示的な実施形態では、ファイル構造ブラウザ306により、ユーザが、データファイルがその中で組織化されているファイル構造をビューすることが可能になってもよい。ファイル構造ブラウザ306により、ユーザが、試験に対応する画像及び/又はテキストデータの全てを含む1つ以上の一番上のレベルディレクトリを選択することが可能になってもよい。例示的な実施形態では、デフォルトデータは、ユーザが選択に失敗した場合に自動的に選択されてもよい。
図4に示すように、試験又は実験の選択時に、ユーザインターフェースは、ユーザが、ユーザインターフェースで表示されることになるデータのソース及びタイプを構成するためのオプションを含む構成ファイルを選択することが可能になる構成選択コンポーネント402を表示してもよい。例えば、例示的な構成ファイルを使用して、生物学的画像及び/又は統計データ、ユーザ規定の入力(例えば、結果、解析方法、クラスタリングオプション、バイオマーカー、スライド/視界及びユーザインターフェース上でビューされるこれらに類するもの)並びにこれに類するものを含むフォルダ又はファイルへのパス名を指定してもよい。ユーザインターフェースは、ユーザが、特定の構成ファイルを選択する必要なく、デフォルト構成ファイルによりコンティニューすることを可能にするコンティニューコンポーネント404を並行して表示してもよい。
図5に示すように、構成ファイルの選択時に、ユーザインターフェースは、ディスプレイパネル502を提供してもよく、そこで、生物組織の視界に関連する画像及び/又はテキストデータをレンダリングしてもよい。ユーザインターフェースはさらに、選択された試験又は実験においてユーザが1つ以上のスライド及び1つ以上のスポットに対応するデータを選択できるようになるスライド−スポット選択コンポーネント504を表示してもよい。スライド−スポット選択コンポーネント504は、選択された試験又は実験におけるスライド−スポットをリスト化するスライド−スポットブラウザツール508を含んでもよい。ユーザは、1つ以上のスライド−スポットの組み合わせをスライド−スポット選択コンポーネント508で直接選択し、選択した組み合わせを選択したスライド−スポットツール510に追加してもよい。例示的な実施形態では、ユーザは、ポインティングデバイス、例えば、マウスを使用して、1つ以上のスライド−スポットの組み合わせをクリックしてもよく、或いは、キーボードのショートカット、例えば、「シフト」又は「コントロール」キーの長押し(holding down)を使用して、一度に複数の組み合わせを選択してもよい。
スライド−スポットブラウザツール508と選択されたスライド−スポットツール510の組み合わせにより、ユーザが容易にスライド−スポット選択を改訂できるようになる。例えば、「選択されたスライド−スポット」ツール512により、ユーザがスライド−スポットブラウザツール508中の1つ以上の選択されたスライド−スポットの組み合わせを、選択されたスライド−スポットツール510に追加することが可能になってもよい。「全てのスライド−スポットを追加」ツール514により、ユーザがスライド−スポットブラウザツール508中のスライド−スポットの組み合わせの全てを、選択されたスライド−スポットツール510に追加することが可能になってもよい。「選択されたスライド−スポットを削除」ツール516により、ユーザが、1つ以上のスライド−スポットの組み合わせを、選択されたスライド−スポットツール510から削除することが可能になってもよい。「全てのスライド−スポットを削除」ツール518により、ユーザが、スライド−スポットの組み合わせの全てを、選択されたスライド−スポットツール510から削除することが可能になってもよい。
図6に示すように、ユーザインターフェースは、ユーザが、選択されたスライド−スポットの画像において発現レベルがレンダリングされる1つ以上のマーカーを選択できるようになるマーカー選択コンポーネント602を提供してもよい。マーカー選択コンポーネント602は、その発現レベルがスライド−スポット中で表されてもよいマーカーをリスト化するブラウザツール604を含んでもよい。ユーザは、1つ以上のマーカーをマーカー選択コンポーネント604で直接選択し、選択されたマーカーを選択マーカーツール606に追加してもよい。例示的な実施形態では、ユーザはポインティングデバイス、例えば、マウスを使用して、1つ以上のスライド−スポットの組み合わせをクリックしてもよく、或いは、キーボードのショートカット、例えば、「シフト」又は「コントロール」キーの長押し(holding down)を使用して、一度に複数の組み合わせを選択してもよい。
マーカーブラウザツール604と選択されたマーカーツール606との組み合わせにより、ユーザが容易にマーカー選択を改訂できるようになる。例えば、「選択されたマーカー」ツール608により、ユーザがマーカーブラウザツール604中の1つ以上の選択されたマーカーを、選択されたマーカーツール606に追加することが可能になってもよい。「全てのマーカーを追加」ツール610により、ユーザがマーカーブラウザツール604中のマーカーの全てを、選択されたマーカーツール606に追加することが可能になってもよい。「選択されたマーカーを削除」ツール612により、ユーザが、1つ以上のマーカーを、選択されたマーカーツール606から削除することが可能になってもよい。「全てのマーカーを削除」ツール614により、ユーザが、マーカーの全てを、選択されたマーカーツール606から削除することが可能になってもよい。
1つ以上のマーカーの選択に応答して、ユーザインターフェースは、ディスプレイパネル502に、選択された試験又は実験の選択されたスライド−スポットにおいて選択されたマーカーの発現レベルをレンダリングしてもよい。例示的な実施形態では、マーカーの発現レベルは、連続的な範囲のユーザ選択カラーの明度として表されてもよい。別の例示的な実施形態では、マーカーの発現レベルは、連続的な範囲の2つ以上のユーザ選択カラーとして表されてもよい。別の例示的な実施形態では、マーカーの発現レベルは、高い発現レベル(すなわち、予め規定されたユーザ選択レベルを上回る発現レベル)に対しては第1のユーザ選択カラーとして、低い発現レベル(すなわち、予め規定されたユーザ選択レベルを下回る発現レベル)に対しては第2のユーザ選択カラーとして表されてもよい。
異なるマーカーの発現レベルは、異なるカラー又は異なるカラーの組み合わせで表されてもよい。ディスプレイパネル502において表示のために2つ以上のマーカーが選択されるとき、例示的な実施形態は、異なるマーカーの発現レベルを表すカラーがブレンドされた合成オーバーレイ画像を生成させてもよく、このため、各マーカーの発現レベルはブレンドされたカラーに寄与する。例示的な実施形態では、合成オーバーレイ画像中の各ピクセルは、選択されたマーカーの発現レベルの寄与を表すブレンドされたカラーを有していてもよい。別の例示的な実施形態では、各生物学的単位(例えば、細胞)は、選択したマーカーの発現レベルの寄与を表すブレンドされたカラーを有していてもよい。例示的な実施形態では、各選択したマーカーは、例えば、各マーカーの発現レベルが同様又は同一の輝度を示すように、合成オーバーレイ画像において等しく寄与していてもよい。例示的な実施形態により、ユーザが、例えば、マーカーの寄与を低下させるためにマーカーに関連するカラーの輝度を下げることにより、合成オーバーレイ画像における1つ以上の選択されたマーカーの寄与を構成し、調整することが可能になってもよい。
ユーザインターフェース中のデータソース選択コンポーネント、スライド−スポットブラウザツール及びマーカー選択コンポーネントを使用してデータを選択する能力により、直感的で、時間的に効率が良く、ユーザに優しいデータソースの選択が可能になる。特に、データ選択コンポーネントにおいて提供されているツールを使用して、特定の試験/実験、スライド、スポット及びバイオマーカーを選択する能力により、ユーザが、試験/実験、スライド、スポット及びバイオマーカーに関連するファイルの位置を覚える必要がなくなる。逆に、生物組織データを表示する従来のあるシステムは、表示するためのデータソースを選択するのにユーザがファイル構造をナビゲートすることを必要とする。
図7に示すように、ユーザインターフェースは、ユーザが、表示するための1つ以上の解析方法の結果を選択できるようになる解析選択コンポーネント702を表示してもよい。例示的な解析方法は、画像セグメンテーション704(生物学的単位を線引きする)、ヒートマップ710(細胞ベースでマーカーの発現レベル又は統計解析結果を表示する)、細胞除外720(1つ以上の選択された形態学的特性を有する細胞を示す)及びこれらに類するものを含むが、これらに限定されない。
図8に示すように、選択されたスライド−スポットに対応する画像及び/又はテキストデータをディスプレイパネル502で表示している間に、ユーザインターフェースが並行して、ディスプレイパネル502に隣接する選択パネル802を表示させ、ユーザがディスプレイパネル中の表示を調整できるようにしてもよい。例示的な実施形態では、「次のスライド」コンポーネント804により、ユーザが、次のスライドの第1のスポットに、現在選択されているバイオマーカーの発現レベルを表示することが可能になってもよい。「次のスポット」コンポーネント806により、ユーザが、現在選択されているスライドの次のスポットに、現在選択されているバイオマーカーの発現レベルを表示することが可能になってもよい。「スライド/スポット選択」コンポーネント808により、ユーザが、選択された試験又は実験に利用可能な特定のスライド−スポットの組み合わせを選択できるようになってもよい。
選択パネル802は、現在表示されているマーカーとは異なる、同一スライド及びスポット中のマーカーの発現レベルを表示するための1つ以上のオプションを含んでもよい。例えば、ユーザは、バイオマーカーであるNaKATPの発現レベルのビューイングから同じ視界の画像中のバイオマーカーであるサイトケラチンの発現レベルに移行することを選択してもよい。例示的な実施形態では、「次のマーカー」コンポーネント810により、ユーザが、ディスプレイパネル502で表示されている同じスライド及びスポット中の異なるバイオマーカーの発現レベルを表示できるようになってもよい。「マーカー選択」コンポーネント812により、ユーザが、特定のマーカー、例えば、サイトケラチンを選択して、ディスプレイパネル502中で、選択されたマーカーの発現レベルを表示できるようになってもよい。
選択パネル802は、拡大、輝度、コントラスト及びこれらに類するものを含む、ディスプレイパネル502中の表示のアスペクトを操作するための1つ以上のオプションを含んでもよいが、これらに限定されない。複数のマーカーのオーバーレイ画像中の特定のマーカーの寄与は、画像中のマーカーの発現レベルの寄与を増加又は減少させるために調整されてもよい。例えば、「かすれた(dim)」マーカーで表されている発現レベルを向上させるために、又は、画像中の「露出過度な」領域を抑制するために、コントラスト及び輝度が調整されてもよい。複数の画像がオーバーレイしているときに、ブレンドされた合成画像を生成させる際、調整されたコントラスト及び輝度レベル(オリジナルレベルではない)を使用してもよい。
選択パネル802は、ディスプレイパネル502で表示されている画像のコントラスト及び輝度を設定及び変更することが可能であってもよい。コントラスト及び輝度を変更する能力により、ユーザが、解釈を促進するために、画像中のある特徴を向上させることが可能になる。コントラスト及び輝度を変更する能力により、選択されたディスプレイデバイス上での画像の適切な表示も可能になる。例えば、画像のグレースケールの動的範囲(すなわち、画像中の最小ピクセル値と最大ピクセル値との間の範囲)が、選択されたディスプレイデバイスで取り扱うことのできる範囲よりも大きい場合、画像のグレースケールの範囲は、デバイスが画像を正しく表示できるように適切な方法でダウンスケールされてもよい。別の例では、例示的な実施形態の多重化されたマーカー画像において、画像は、12〜16ビットの情報で表されてもよい一方で、典型的なディスプレイデバイスは、8ビットの情報のみを取り扱うことができる。このケースでは、(画像値の最大値と最小値の間の)小さな「ウィンドウ」の画像値のみがデバイスにより表示されてもよい。
「ウィンドウレベル」はウィンドウの中央値であるグレースケールとして規定され、「ウィンドウ幅」は、ディスプレイに含まれることになるウィンドウレベル付近のグレースケール値の範囲として規定される。典型的に、「ウィンドウ幅」は、ウィンドウ幅の半分が選択されたウィンドウレベルの左側に生じ、ウィンドウ幅のもう半分が右側に生じるような、線形の範囲を表す。図40は、グレースケール値のヒストグラムにおける「ウィンドウ幅」及び「ウィンドウレベル」を示すグラフである。「ウィンドウ幅」の値を構成するときに、表示される画像に対する新規の最小及び最大グレースケール値が、ウィンドウにより再規定される。例示的な実施形態では、新規の最小グレースケール値と最大グレースケール値との間にあるグレースケール値は、8ビットの範囲におさまるように修正される。すなわち、新規の最小値がゼロに設定され、新規の最大値が255に設定されると、これらの間の全ての値は、線形補間のような特定の関数にしたがって分布される。
例示的な実施形態では、選択パネル802は、ユーザがディスプレイパネル502中の表示のコントラストを設定できるようになるための「ウィンドウ幅」コンポーネント814を含んでもよい。表示のコントラストは、ウィンドウ幅が減少するにつれて増加し、ウィンドウ幅が増加するにつれて減少する。「ウィンドウ幅」コンポーネント814は、コントラストをデフォルトレベルに自動的に設定する「自動ウィンドウ幅」ツールを含んでもよい。「ウィンドウ幅」コンポーネント814は、ユーザが特定のレベルのコントラストを入力できるようになる「ウィンドウ幅入力」ツールを含んでもよい。「ウィンドウ幅」コンポーネント814は、ユーザが、スライダーを使用して相対的なレベルのコントラストを選択できるようになる「ウィンドウ幅スライダー」を含んでもよい。「ウィンドウ幅」コンポーネント814は、ユーザがコントラストレベルをデフォルトレベルにリセットできるようになる「ウィンドウ幅リセット」ツールを含んでもよい。
例示的な実施形態では、選択パネル802は、ユーザがディスプレイパネル502中の表示の輝度を設定できるようになるための「ウィンドウレベル」コンポーネント816を含んでもよい。表示の輝度は、ウィンドウレベルが画像における最大グレースケール値に向かうにつれて増加し、ウィンドウレベルが画像における最小グレースケール値に向かうにつれて減少する。「ウィンドウレベル」コンポーネント816は、輝度をデフォルトレベルに自動的に設定する「自動ウィンドウレベル」ツールを含んでもよい。「ウィンドウレベル」コンポーネント816は、ユーザが特定のレベルの輝度を入力できるようになる「ウィンドウレベル入力」ツールを含んでもよい。「ウィンドウレベル」コンポーネント816は、ユーザが、スライダーを使用して相対的なレベルの輝度を選択できるようになる「ウィンドウレベルスライダー」を含んでもよい。「ウィンドウレベル」コンポーネント816は、ユーザが輝度レベルをデフォルトレベルにリセットできるようになる「ウィンドウレベルリセット」ツールを含んでもよい。
「ウィンドウレベル」コンポーネント816により、ユーザが、高すぎるグレースケール値、すなわち、超輝度ピクセルを破棄することが可能になることから、これにより、典型的に超輝度であるノイズ及び/又はダストにより生成されたピクセルをフィルタリングアウトすることが可能になる。このケースでは、ノイズ及び/又はダストに関係する輝度ピクセル値が、選択されたウィンドウレベルの右側になり、それにより、調整された画像から除外されるように、ウィンドウレベルが選択されてもよい。
例示的な実施形態では、選択パネル802は、ユーザが、スライダーを使用して、特定のレベルのズーム又は相対的なレベルのズームを入力できるようになる「ズーム入力」ツール818を含んでもよい。ズームレベルはデフォルトレベルにリセットされてもよい。いくつかの例示的な実施形態では、ユーザインターフェースにより、ポインティングデバイスを使用して、例えば、マウスの右ボタンをクリックすることにより、ズームイン及びズームアウトが可能になってもよい。いくつかの例示的な実施形態では、ユーザインターフェースにより、キーボードのショートカットを使用して、ズームイン及びズームアウトが可能になってもよく、例えば、「コントロール」キーと「+」キーとの組み合わせを使用することによりズームインし、「コントロール」キーと「−」キーとの組み合わせを使用することによりズームアウトできるようになってもよい。
例示的な実施形態では、選択パネル802は、ユーザが、スライダーを使用して、ディスプレイパネル502に、x軸又はy軸で制約される特定レベルのパニングを入力できるようになるための、或いは、x軸又はy軸で制約される相対的なレベルのパニングを入力できるようにするための、「パン入力」ツール820を含んでもよい。パン設定は、ディスプレイパネル502に当初表示される視界を表示するようにリセットされてもよい。いくつかの例示的な実施形態では、ユーザインターフェースにより、ポインティングデバイスを使用して、例えば、マウスの左ボタンをクリックすることにより、パニングが可能になってもよい。いくつかの実施形態では、ユーザインターフェースにより、キーボードのショートカットを使用して、パニングが可能になってもよい。
例示的な実施形態では、選択パネル802は、ユーザが、ディスプレイパネル502で、1つ以上の基準を満たす1組の生物学的単位を選択的に表示できるようにするための「生物学的単位クエリ」コンポーネント822を含んでもよい。例示的な生物学的単位は、細胞、細胞のクラスター、核及びこれらに類するものを含むが、これらに限定されない。「生物学的単位クエリ」を使用して選択可能な例示的な基準は、1つ以上のマーカーの最大及び/又は最小の発現レベル、1つ以上のDNA配列の発現又は非発現、形態学的特性(例えば、最大及び/又は最小の細胞サイズ、最大及び/又は最小の核サイズ)並びにこれらに類するものを含むが、これらに限定されない。1つ以上の基準の選択は、基準を満たすこれらの生物学的単位のみをディスプレイパネル502で表示又は強調させてもよい。反対に、1つ以上の基準の選択は、基準を満たさないこれらの生物学的単位をディスプレイパネル502で表示又は強調させてもよい。
例示的な実施形態では、選択パネル802は、選択時に、選択した視界の生物組織のコンピュータ生成画像を表示する「VHE」コンポーネント824を含んでもよく、例えば、組織から取得された1つ以上の画像は新規のカラースペースにマッピングされ、ヘマトキシリン及びエオシン(H&E)タイプの画像が生成される。例示的な実施形態では、他のマーカー、DNA配列及び形態学的特性に関してオーバーレイ、比較及び/又は評価される生物組織のベースライン画像としてVHE画像が使用されてもよい。図9は、選択された視界の生物組織の例示的なVHE画像を表示する、例示的な別のディスプレイパネル902を示す。H&Eタイプの画像のコンピュータによる生成は、2011年3月31日に公表された米国特許出願第2011−0074944である「System and Methods for Generating a Brightfield Image using Fluorescent Images」にて記述されている。
選択パネル802は、ユーザが、ディスプレイパネル502で表示される画像をデータベース又は記憶デバイスに保存できるようにするための「画像を保存」コンポーネント826を含んでもよい。保存される画像の例示的なフォーマットは、jpgファイル、pngファイル及びこれらに類するものを含むが、これらに限定されない。
選択パネル802は、ユーザが、ディスプレイパネル502に、レンダリングの1つ以上の画像のオーバーレイを作成できるようにする「オーバーレイを作成」コンポーネント828を含んでもよい。1つの例として、オーバーレイは、特定のマーカーの発現レベルが特定のカラーの明度で表される生物組織の視界のレンダリングであってもよい。別の例として、オーバーレイは、特定のDNA配列の発現又は非発現がそれぞれ2つのカラーで表される生物組織の視界のレンダリングであってもよい。DNA配列の発現又は非発現に対応する画像データは、蛍光in situハイブリダイゼーション(FISH)を使用して取得されてもよい。
このような複数のレンダリングをオーバーレイすることにより、ディスプレイパネル502において、ブレンドされた合成画像の生成が可能になり、ユーザが、マーカー、DNA配列及びこれらの類するものの間での共局在及び相関を評価できるようになる。例示的な実施形態では、ブレンドされた合成画像は、異なるオーバーレイ画像のカラーが統合された単一のレイヤとして生成されてもよい。ブレンドされた合成画像における各バイオマーカー又はDNA配列の寄与は、バイオマーカー又はDNA配列が最終的なカラー画像に寄与する程度を決定するために調整されてもよい。
選択された視界の画像において任意の数のバイオマーカーの発現レベルをオーバーレイ方法で並行して表示するために、任意の数のバイオマーカーが選択されてもよい。バイオマーカーの選択可能な数は、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19及び20を含むが、これらに限定されない。例示的な実施形態では、異なるカラーの明度を使用して、異なるバイオマーカーの発現レベルが表されてもよい。
図10に示すように、「オーバーレイを作成」コンポーネント828の選択時に、ユーザインターフェースは、ユーザが、それらの発現がディスプレイパネル502でオーバーレイされることになる1つ以上のバイオマーカー及び/又は1つ以上のDNA配列を選択できるようにするための、別の「オーバーレイ選択」パネル1002を表示してもよい。図10に示すように、「オーバーレイ選択」パネル1002は、選択されている各バイオマーカー又はDNAに対する別々のコンポーネントを含んでもよい。例えば、コンポーネント1004、1006、1008及び1010は、バイオマーカーであるサイトケラチン、DAPI、NaKATP及びS6をそれぞれ選択するために提供されてもよい。
各コンポーネントは、ユーザが、それらの発現がディスプレイパネルでレンダリングされることになる特定のマーカー又はDNA配列を選択できるようにするための「マーカー/DNA選択」ツール1012を含んでもよい。各コンポーネントは、ユーザがそれぞれのコンポーネントを表示又は非表示にできるようにするための「表示/非表示」ツールを含んでもよい。
各コンポーネント1004、1006、1008及び1010は、ユーザが、それを使用して、マーカー又はDNA配列の発現がディスプレイパネルで表示されることになるカラーを選択できるようになる「カラー選択」ツール1014を含んでもよい。例えば、ユーザは、マーカーであるサイトケラチン、DAPI、NaKATP及びS6の発現レベルを、赤、緑、青、ピンクでそれぞれレンダリングするよう選んでもよい。「コントラスト/輝度選択」ツール及び「カラー選択」ツールは、ユーザがディスプレイパネル中のオーバーレイ表示を制御及びカスタマイズできるようにすることにより、ユーザエクスペリエンスを向上させる。
各コンポーネント1004、1006、1008及び1010は、ユーザが、ディスプレイパネルでレンダリングされたオーバーレイ画像全体に対して、各マーカー又はDNA配列の寄与を選択できるようにするための、「カラー選択」ツールに関係する「寄与選択」ツール(例えば、スライダー)1015を含んでもよい。例示的な実施形態では、合成オーバーレイ画像中の各ピクセルは、選択したマーカーの発現レベルの寄与を表す、ブレンドされたカラーを有していてもよい。別の例示的な実施形態では、各生物学的単位(例えば、細胞)は、選択したマーカーの発現レベルの寄与を表す、ブレンドされたカラーを有していてもよい。例示的な実施形態により、例えば、マーカーに関係するカラーの輝度を下げて、マーカーの寄与を減少させることにより、ユーザが、合成オーバーレイ画像における1つ以上の選択したマーカーの寄与を構成及び調整できるようになってもよい。
各コンポーネント1004、1006、1008及び1010は、ユーザがディスプレイパネル中の表示のコントラストを設定できるようになるための「ウィンドウ幅」コンポーネント1016を含んでもよい。表示のコントラストは、ウィンドウ幅が減少するにつれて増加し、ウィンドウ幅が増加するにつれて減少する。「ウィンドウ幅」コンポーネント1016は、コントラストをデフォルトレベルに自動的に設定する「自動ウィンドウ幅」ツールを含んでもよい。「ウィンドウ幅」コンポーネント1016は、ユーザが特定のレベルのコントラストを入力できるようになる「ウィンドウ幅入力」ツールを含んでもよい。「ウィンドウ幅」コンポーネント1016は、ユーザが、スライダーを使用して相対的なレベルのコントラストを選択できるようになる「ウィンドウ幅スライダー」を含んでもよい。「ウィンドウ幅」コンポーネント1016はさらに、ユーザがコントラストレベルをデフォルトレベルにリセットできるようになる「ウィンドウ幅リセット」ツールを含んでもよい。
各コンポーネント1004、1006、1008及び1010は、ユーザがディスプレイパネル中の表示の輝度を設定できるようになるための「ウィンドウレベル」コンポーネント1018を含んでもよい。表示の輝度は、ウィンドウレベルが画像における最大グレースケール値に向かうにつれて増加し、ウィンドウレベルが画像における最小グレースケール値に向かうにつれて減少する。「ウィンドウレベル」コンポーネント1018は、輝度をデフォルトレベルに自動的に設定する「自動ウィンドウレベル」ツールを含んでもよい。「ウィンドウレベル」コンポーネント1018は、ユーザが特定のレベルの輝度を入力できるようになる「ウィンドウレベル入力」ツールを含んでもよい。「ウィンドウレベル」コンポーネント1018は、ユーザが、スライダーを使用して相対的なレベルの輝度を選択できるようになる「ウィンドウレベルスライダー」を含んでもよい。「ウィンドウレベル」コンポーネント1018は、ユーザが輝度レベルをデフォルトレベルにリセットできるようになる「ウィンドウレベルリセット」ツールを含んでもよい。
「ウィンドウレベル」コンポーネントにより、ユーザが、高すぎるグレースケール値、すなわち、超輝度ピクセルを破棄することが可能になることから、これにより、典型的に超輝度であるノイズ及び/又はダストにより生成されたピクセルをフィルタリングアウトすることが可能になる。このケースでは、ノイズ及び/又はダストに関係する輝度ピクセル値が、選択されたウィンドウレベルの右側になり、それにより、調整された画像から除外されるように、ウィンドウレベルが選択されてもよい。
「オーバーレイ選択」パネル1002は、異なるバイオマーカー又はDNA配列画像を別々に表示するための、1つ以上のディスプレイパネル1020、1022、1024及び1026を含んでもよい。「オーバーレイ選択」パネル1002はさらに、選択したマーカー及び/又はDNA配列のオーバーレイされた発現のプレビューを示すプレビューパネル1028を含んでもよい。プレビューパネル1028により、ユーザが、設定をディスプレイパネル502に適用する前に、コントラスト/輝度及びカラー設定の適切性を評価できるようになる。
「オーバーレイ選択」パネル1002はさらに、ユーザにより提供され、選択したマーカー及び/又はDNA配列を表すための輝度/コントラスト及びカラー設定に対応する、マーカー及び/又はDNA配列の選択を保存するための、「オーバーレイ設定を保存」ツールを含んでもよい。「オーバーレイ設定を保存」ツールの選択は、「オーバーレイ選択」パネル1002で提供された設定をデータベース又は記憶デバイスに保存するための命令をユーザインターフェースにより送信させてもよい。例示的な実施形態では、ディスプレイパネル502で表示される視界を形成する特定のスライド−スポットと関係する設定を保存してもよい。例示的な実施形態では、設定を提供したユーザの識別と関係する設定を保存してもよい。
例示的な実施形態では、ユーザインターフェース中で視界がリロードされたとき、又は、ユーザインターフェースが同じ視界で再度開かれたとき、選択したマーカー及び/又はDNA配列の発現が、保存したコントラスト/輝度設定及びカラーで自動的にレンダリングされてもよい。例示的な実施形態では、特定のユーザが特定の組の設定を保存したときに、この特定のユーザのみが設定にアクセスできる。別の例示的な実施形態では、後続するユーザが、以前のユーザにより保存された設定にアクセスできることもある。結果として、ユーザは、1度のセッションで、1組のマーカーに対してコントラスト/輝度設定及びカラーを選択してもよく、ユーザインターフェースが、選択した同じコントラスト/輝度設定及びカラーでマーカーの発現を自動的に提示する後続するセッションを有してもよい。これにより、ユーザインターフェースが使用されるたびに、マーカーに対するカラー及びコントラスト/輝度設定を再設定する時間及び手間を著しく節約できる。
「オーバーレイ選択」パネル1002は、ユーザが、プレビューで表示されたオーバーレイ画像をデータベース又は記憶デバイスに保存できるようにするための「オーバーレイを保存」ツールを含んでもよい。保存される画像の例示的なフォーマットは、jpgファイル、pngファイル及びこれらに類するものを含むが、これらに限定されない。
図11に示すように、いったん1つ以上のオーバーレイがディスプレイパネル502での表示のために選択されると、ユーザは、選択パネル802で提供される「細胞解析」コンポーネント1102を使用して、選択されたオーバーレイ中のマーカーに対応する解析方法の結果を視覚的に表示できる。「細胞解析」コンポーネント1102により、ユーザが、ディスプレイパネル502で表示されたオーバーレイ中の各マーカーに対応する解析方法の結果を表示できるようになる。例示的な実施形態では、「細胞解析」コンポーネント1102により、ユーザが、以下のオプションのうちの1つを選択可能になる:「オーバーレイをクリア」ツール1104、「ジェネリックヒートマップ」ツール1106、「2トーン又はバイナリヒートマップ」ツール1108、「連続的ヒートマップ」ツール1110及び「統計結果」ツール1112。「オーバーレイをクリア」ツール1104は、選択時に、マーカーの発現レベルを表示できないことがある。
ヒートマップは、細胞ごとのベースで、1つ以上のマーカーの発現レベルを1つ以上の擬似カラーで表示してもよい。複数のマーカーの発現レベルは、選択したマーカーの発現レベルを示す背景画像の上へのカラーオーバーレイとして、同じ視界で表示されてもよい。例示的な実施形態では、生物学的単位ベースで発現レベルが示されてもよい。例えば、発現レベルは、第1の発現レベルを有する第1の細胞が第1のカラーで示され、第2の発現レベルを有する第2の細胞が第2のカラーで示されるように、細胞ごとのベースで示されてもよい。別の例示的な実施形態では、発現レベルは、ピクセルベースで示されてもよい。例えば、第1の発現レベルを有する組織領域を表す第1のピクセルが第1のカラーで示され、第2の発現レベルを有する組織領域を表す第2のピクセルが第2のカラーで示されるように、ピクセルごとのベースで示されてもよい。2つ以上のマーカーの合成オーバーレイ画像では、各マーカーの寄与は、例えば、マーカーのコントラスト/輝度設定を構成することにより、構成及び調整されてもよい。さらに、例えば、コンバージェントマップ、ディバージェントマップ、クールマップ、ホットマップ及びこれらに類するもののような、他のタイプのカラーマップが表示されてもよい。
「ジェネリックヒートマップ」ツール1106は、マーカーに対して選択されたときに、擬似カラー設定を使用して、ピクセルごと又は細胞ごとのベースで、マーカーの発現レベルを表示してもよい。例示的な実施形態では、ジェネリックヒートマップは、連続的ヒートマップ又はバイナリヒートマップであってもよい。図11のディスプレイパネルはジェネリックヒートマップを示す。
「2トーンヒートマップ」ツール1108は、マーカーに対して選択されたときに、バイナリヒートマップを表示してもよく、バイナリヒートマップでは、低い発現レベルのマーカー(すなわち、予め規定されたユーザ選択レベルを下回る発現レベル)が、第1のユーザ選択された擬似カラーで、細胞ごとのベースで表され、高い発現レベルのマーカー(すなわち、予め規定されたユーザ選択レベルを上回る発現レベル)が、第2のユーザ選択された擬似カラーで表される。画像ヒートマップは、カラーと根底にある発現値との間の特定のマッピングを使用して、カラーを画像中の各ピクセル(グレースケール値)に割り当てることにより作成されてもよい。一般に、最終的な画像中の明度レベル又は値の数は予め規定されていてもよい。バイナリヒートマップのケースでは、明度レベル又は値の数は2である。このケースでは、1つ以上の予め規定された基準に基づいて、グレースケール値に、2つの値のうち1つを割り当ててもよい。例えば、細胞におけるマーカーの発現レベルが予め規定された閾値を上回る場合、対応するグレースケール値は「オン」又は「高い」値(例えば、赤のカラー)であってもよい。反対に、細胞におけるマーカーの発現レベルが予め規定された閾値を下回る場合、対応するグレースケール値は「オフ」又は「低い」値(例えば、緑のカラー)であってもよい。図12のディスプレイパネルは2トーンヒートマップを示す。
「連続的ヒートマップ」ツール1110は、マーカーに対して選択されたときに、細胞ごとのベースで、マーカーの発現レベルを、連続的な範囲のユーザ選択の擬似カラーで表示してもよい。連続的ヒートマップは、レインボーカラーのマップを使用してもよく、ここで画像中の各ピクセルはレインボーのスペクトル内のカラーに割り当てられてもよい。典型的なレインボーカラーマップは、190〜256の固有のカラーを含んでもよい。メインカラーはレインボーの7つのカラーであってもよく(VIBGYOR)、残りの値はこれらのメインカラーの間を均等に補間する。いくつかの実施形態では、グレースケール画像におけるオリジナルレベルは256又は190レベルに減少してもよい。この方法では、グレースケールレベル又は値のそれぞれが、カラーマップ中のカラーのうちの1つに割り当てられてもよい。それゆえ、最終的な画像は、各ピクセルが、マーカー又はDNAの発現を表すグレースケール値に依存したカラーに割り当てられたカラー画像のように見えることがある。例えば、特定のバイオマーカーの発現レベルは、紫のカラー(最低の発現レベル)と赤のカラー(最高の発現レベル)との間の範囲に沿って表示されてもよい。図13のディスプレイパネルは連続的ヒートマップを示す。
別の例では、単一細胞ヒートマップが表示されてもよい。画像中の各ピクセルをカラーに割り当てるのではなく、単一の細胞のセグメンテーション結果を使用して、マーカー及び/又はDNAの発現の解析から決定された1つ以上の細胞レベルのメトリックに基づいて、細胞全体にカラーを付けてもよい。「細胞」としてセグメント化されなかった画像の領域は、カラーを付けられなくてもよい。連続的ヒートマップでは、画像中のレベルの総数がカラーマップスケールに変換されてもよく、各細胞がそのメトリックに基づいて、固有のカラーに割り当てられてもよい。バイナリヒートマップでは、各細胞が2つのカラーのうちの1つに割り当てられてもよいことを除いて、同じ技法が適用されてもよい。
「統計結果」ツール1112は、マーカーに対して選択されたときに、マーカー発現データ上で実行された1つ以上の統計解析方法の結果を表示してもよい。コホートに関する発現データ上で実行された任意の適切な統計解析の結果が表示されてもよく、データを高発現値と低発現値とに分けること(細胞ごとのベース又はピクセルごとのベース)、異なるタイプのヒートマップを生成させること、同様又は共通の特性に基づいて細胞をクラスタリングすること並びにこれらに類することを含むが、これらに限定されない。「統計結果」ツール1112は、統計解析の結果が、単一又はオーバーレイバイオマーカー画像の上にあるカラーマスクとして読み込まれ、表示されることを可能にする。この統計解析結果のオーバーレイ表示は、ユーザが、バイオマーカー画像中でビュー可能な、下にある細胞情報のコンテキストで、統計解析結果の品質を評価することを可能にする。
ツールは、ユーザが、各バイオマーカーの発現レベルがディスプレイパネル502で表示される透過度レベルを選択できるようにするための「透過度選択」ツール1114と関係していてもよい。ディスプレイパネル502中の画像の透過度レベルを増加させると、下にある画像がより透明に見えるようになり、ディスプレイパネル502中の画像の透過度レベルを減少させると、下にある画像がより透明に見えなくなるようになる。
選択パネル1102は、ユーザが、ランタイム時にディスプレイパネル502に新規のオーバーレイをロードできるようにするための、「マップをリフレッシュ」ツール1116を含んでもよい。1つの例では、「マップをリフレッシュ」ツール1116の選択により、ユーザが、外部のインターフェース、プログラム(例えば、Rプログラミング言語で書かれたプログラム)、デバイス及びこれらに類するものから、1つ以上の新規のオーバーレイをロードできるようになってもよい。
図14は、生物組織の視界における1つ以上のバイオマーカーの発現レベルを表示するための例示的なコンピュータ実現方法を示すフローチャートである。
ステップ1402では、グラフィックユーザインターフェースが視覚的ディスプレイデバイス上にレンダリングされる。
ステップ1404では、視界選択コンポーネントが、グラフィックユーザインターフェース上にレンダリングされてもよい。視界選択コンポーネントにより、ユーザが、組織プロファイルデータを含むコホートのデータセットから生物組織の視界を選択できるようになる。データセット中の組織プロファイルデータは、生物組織の複数の視界における1つ以上のバイオマーカーの発現を捕捉する多重化されたバイオマーカー画像を含んでもよい。
ステップ1406では、ユーザインターフェースは、視界選択コンポーネントにおいて、生物組織の視界を選択するユーザ入力を受信してもよい。
ステップ1408では、ユーザインターフェースは、第1のバイオマーカー及び第2のバイオマーカーを選択するユーザ入力を受信してもよい。ユーザインターフェースはまた、第1のバイオマーカーの発現レベルを表すための第1のカラーと、第2のバイオマーカーの発現レベルを表すための第2のカラーとを選択するユーザ入力を受信してもよい。当業者は、ユーザインターフェースが、単一のバイオマーカーと、選択したバイオマーカーの発現レベルを表す単一のカラーとを選択するユーザ入力を受信してもよいことを認識するだろう。同様に、当業者は、ユーザインターフェースが、3つ以上のバイオマーカーと、選択したバイオマーカーの発現レベルを表す3つ以上のカラーとを選択するユーザ入力を受信してもよいことを認識するだろう。
ステップ1410では、ユーザ入力に応答して、ユーザインターフェースは、オーバーレイ方法で、第1のバイオマーカーの発現レベルが第1のカラーの1つ以上の明度として表された生物組織の選択された視界の第1の画像と、第2のバイオマーカーの発現レベルが第2のカラーの1つ以上の明度として表された生物組織に対応する選択された視界の第2の画像とをレンダリングしてもよい。
ステップ1412では、第1のバイオマーカーの発現レベルが第1のカラーで表されることを示す、第1のバイオマーカーに関係する、選択された第1のカラーを、記憶デバイスに記憶するための1つ以上の命令が送信されてもよく、これにより、第1のバイオマーカーを選択するユーザ入力を受信したのに応答して第1のカラーが自動的に選択される。同様に、第2のバイオマーカーの発現レベルが第2の選択されたカラーで表されることを示す、第2のバイオマーカーに関係する、選択された第2のカラー設定を、記憶デバイスに記憶するための1つ以上の命令が送信されてもよく、これにより、第2のバイオマーカーを選択するユーザ入力を受信したのに応答して第2のカラーが自動的に選択される。
ステップ1414では、ユーザインターフェース又は生物組織の選択された視界のために表示された画像が閉じられてもよい。ステップ1416では、ユーザは、ユーザインターフェースを再度開いて、以前に選択した生物組織の視界、以前に選択した第1のバイオマーカー及び以前に選択した第2のバイオマーカーを選択してもよい。
ステップ1418では、ユーザインターフェースは、オーバーレイ方法で、第1のバイオマーカーの発現レベルが第1のカラーの1つ以上の明度として自動的に表される生物組織の視界の選択された視界の第1の画像と、第2のバイオマーカーの発現レベルが第2のカラーの1つ以上の明度として自動的に表される生物組織に対応する選択した視界の第2の選択された画像とをレンダリングしてもよい。
図15は、生物組織の視界における1つ以上のDNA配列の発現及び非発現を表示するための例示的なコンピュータ実現方法を示すフローチャートである。
ステップ1502では、グラフィックユーザインターフェースが視覚的ディスプレイデバイス上にレンダリングされる。
ステップ1504では、視界選択コンポーネントが、グラフィックユーザインターフェース上にレンダリングされてもよい。視界選択コンポーネントにより、ユーザが、組織プロファイルデータを含むコホートのデータセットから生物組織の視界を選択できるようになる。データセット中の組織プロファイルデータは、生物組織の複数の視界における1つ以上のバイオマーカーの発現を捕捉する多重化されたバイオマーカー画像を含んでもよい。
ステップ1506では、ユーザインターフェースは、視界選択コンポーネントにおいて、生物組織の視界を選択するユーザ入力を受信してもよい。
ステップ1508では、ユーザインターフェースは、第1のバイオマーカー、第1のバイオマーカーの発現レベルを表すための第1のカラー、第1のDNA配列及び第2のバイオマーカーの発現レベルを表すための第2のカラーを選択するユーザ入力を受信してもよい。選択された視界の画像において任意の数のDNA配列の発現及び非発現をオーバーレイ方法で並行して表示するために、任意の数のバイオマーカー及び任意の数のDNA配列が選択されてもよい。バイオマーカーの選択可能な数は、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19及び20を含むが、これらに限定されない。DNA配列の選択可能な数は、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19及び20を含むが、これらに限定されない。例示的な実施形態では、DNA配列の発現又は非発現に対応する画像データは、蛍光in situハイブリダイゼーション(FISH)を使用して取得されてもよい。ステップ1510では、ユーザ入力に応答して、ユーザインターフェースは、オーバーレイ方法で、第1のバイオマーカーの発現レベルが第1のカラーの1つ以上の明度として表された生物組織の選択された視界の第1の画像と、第1のDNA配列の発現及び非発現が第2のカラーの1つ以上の明度として表された生物組織に対応する選択された視界の第2の画像とをレンダリングしてもよい。別の例示的な実施形態では、第1のDNA配列の発現が第2のカラーで表されてもよく、第1のDNA配列の非発現が第3のカラーで表されてもよい。
ステップ1512では、第1のバイオマーカーの発現レベルが第1のカラーで表されることを示すために、第1のバイオマーカーに関係する、選択された第1のカラーを、記憶デバイスに記憶するための1つ以上の命令が送信されてもよく、これにより、第1のバイオマーカーを選択するユーザ入力を受信したのに応答して第1のカラーが自動的に選択される。第1のDNA配列の各発現が第2の選択されたカラーで表されることを示すために、第1のDNA配列に関係する、選択された第2のカラー設定を、記憶デバイスに記憶するための1つ以上の命令が送信されてもよく、これにより、第1のDNA配列を選択するユーザ入力を受信したのに応答して第2のカラーが自動的に選択される。別の例示的な実施形態では、DNA配列の発現が第2のカラーを使用して表されることを示すために、第1のDNA配列に関係する、選択された第2のカラー設定を、記憶デバイスに記憶するための1つ以上の命令が送信されてもよい。さらに、DNA配列の非発現が第3のカラーを使用して表されることを示すために、第1のDNA配列に関係する、選択された第3のカラー設定を記憶するための1つ以上の命令が送信されてもよい。
ステップ1514では、ユーザインターフェース又は生物組織の選択された視界のために表示された画像が閉じられてもよい。ステップ1516では、ユーザは、ユーザインターフェースを再度開いて、以前に選択した生物組織の視界、以前に選択した第1のバイオマーカー及び以前に選択した第1のDNA配列を選択してもよい。
ステップ1518では、ユーザインターフェースは、オーバーレイ方法で、第1のバイオマーカーの発現レベルが第1のカラーの1つ以上の明度として自動的に表される生物組織の選択された視界の第1の画像と、第1のDNA配列の発現が第2のカラーの1つ以上の明度により自動的に表される生物組織に対応する選択された視界の第2の選択された画像とをレンダリングしてもよい。別の例示的な実施形態では、第1のDNA配列の発現が第2のカラーで自動的に表されてもよく、第1のDNA配列の非発現が第3のカラーで自動的に表されてもよい。
例示的な実施形態は、オーバーレイ方法で、1つ以上のDNA配列及び1つ以上の蛋白バイオマーカーの発現を同じディスプレイパネルに表示してもよい。細胞ごとのベースでのDNA配列の発現及び非発現は、蛍光in situハイブリダイゼーション(FISH)に基づいて決定されてもよい。FISHは、特定のDNA配列或いは染色体の存在又は不在を検出して位置付けるのに使用される技法である。FISHは、細胞レベルでDNAプローブのハイブリダイゼーションを検出するために、多重化のために使用されるのと同様の方法で使用される。プローブは、暗い背景において小さな明るいドットのように見えてもよく、各ドット遺伝子の1つのコピーにおけるプローブを表す。スポットが明るくなればなるほど、ドットは、遺伝子のオーパーラップしたコピーを表す可能性が高くなる。この技法の1つの目的は、組織における特定の遺伝子/遺伝子配列のコピーの数を検出することであり、これは、画像中のドットの数を数える(ドットの輝度を説明する)ことにより達成される。典型的に、これは、別のユビキタスな遺伝子のコンテキストで行われる。したがって、2つ以上のDNA発現のオーバーレイ画像を提供することにより、DNA配列に関するスポットを同時に数えることが容易になる。核マーカー(例えばDAPI)もまた、組織の形態に関する情報を提供するために含まれてもよい。
図16は、生物組織の視界における第1のDNA配列の発現及び非発現を示す第1のディスプレイパネル1602と、第2のDNA配列の発現及び非発現を示す第2のディスプレイパネル1604と、核マーカーの発現レベルを示す第3のディスプレイパネル1606とを表示する例示的なユーザインターフェース1600を示す。ユーザインターフェース1600は、3つを超える画像表示をオーバーレイ方法で共に表示する第4のディスプレイパネル1608を含む。オーバーレイされた画像表示では、第1のDNA配列の発現と、第2のDNA配列の発現と、核マーカーの発現レベルとが、1つのブレンドされた画像で共に表される。ブレンドされた画像では、第1のDNA配列の発現と、第2のDNA配列の発現と、核マーカーとが、異なるカラーの可変の明度レベルで表される。オーバーレイ画像は、DNA配列及び核マーカーを表す異なるカラーのブレンドを使用して作成されてもよい。オーバーレイ画像のコントラスト及び/又は輝度は、最良の視覚化を得るために、自動的に又はユーザ選択により調整されてもよい。オーバーレイ合成画像に対するDNA配列の発現及び核マーカーの寄与は、DNAスポットが数えやすくなるように調整されてもよい。
ユーザインターフェース1600は、パネル1602、1604、1606及び1608での表示のために選択された各マーカー及びDNA配列のための選択コンポーネントを含んでもよい。選択コンポーネントは、図10の選択コンポーネント1004、1006、1008及び1010と同様のものであってもよい。
当業者は、図16が、第1のDNA配列、第2のDNA配列及び核マーカーの発現を示すブレンドされた例示的な画像を示していることを認識するだろう。ブレンドされた画像は、任意の数のDNA配列及び/又はバイオマーカー並びにDNA配列及び/又はバイオマーカーの組み合わせの発現を表すために、例示的な実施形態にしたがって生成されてもよい。
形態学的特徴選択及び共局在の例示的な実現
本開示は、生物検体における、相対的なポジションのような粒子間の特性と、粒子の方向性及びアラインメントと、粒子のサイズ及び形のような、粒子内の特性を共同で提示及び/又は解析するための、改善されたシステム及び方法の必要性に対処する。特に、ここでは、個別の粒子のバイオマーカー発現レベルに関連する生物検体の粒子間の形態学的特性を提示及び/又は解析するためのシステム及び方法が開示される。ここで使用されるように、用語である「粒子」又は「生物粒子」は、用語である「生物学的単位」と同義である。
例示的な実施形態では、本開示のシステム及び方法は、生物検体の形態学的表現及び統計表現を同時にレンダリングする。とりわけ、生物検体の形態学的表現及び統計表現は、相互依存的であってもよく、例えば、ここで、それぞれの表現に関する粒子の集団の選択が、もう一方に自動的に適用される。形態学的表現及び統計表現の同時レンダリングにより、ユーザが、異なる2つの観点から同じ組のデータを有利に解析することができるようになる。
図19を参照して記述するように、本開示のシステム及び方法は、グラフィックユーザインターフェース、例えば、粒子間の形態学的特性のような粒子間の特性と、バイオマーカー発現レベルのような粒子内の特性とに関連したデータの提示及び/又は解析を促進するためのグラフィックユーザインターフェース1900を含んでもよい。グラフィックユーザインターフェースは、例えば、生物検体の選択された視界の1つ以上の表現をリアルタイムにレンダリングするのに有利に使用されてもよい。グラフィックユーザインターフェース1900は、視界選択コンポーネント1930及びバイオマーカー選択コンポーネント1940を含んでもよく、これらはそれぞれ上述したコンポーネントと同様のものであってもよい。グラフィックユーザインターフェース1900はさらに、発現レベル基準選択コンポーネント1950及び形態学的特徴選択コンポーネント1960を含んでもよく、これらはそれぞれ上述したコンポーネントと同様のものであってもよい。
図19に示すような例示的な実施形態では、選択された視界の1つ以上の表現は、異なるバイオマーカーの発現レベルを捕捉した複数の画像から導出された、多重化され、登録された画像に基づく、視界の形態学的表現1910を含んでもよい。いくつかの実施形態では、形態学的表現1910は、バイオマーカー発現レベルの複数の画像のオーバーレイを含んでもよい。形態学的表現1910は、5つの画像のオーバーレイを含んでもよく、例えば、それぞれが、対応するバイオマーカーに対するバイオマーカー発現レベルを異なるカラーで表す。形態学的表現1910はまた、画像中の個別の生物粒子の線引きを含んでもよい。したがって、形態学的表現1910は、生物検体における個別の生物粒子を識別する、例えば、輪郭を描く背景画像を含んでもよい。例示的な実施形態では、個別の生物粒子を識別する画像は、バイオマーカー発現レベルの画像のうちの1つであってもよく、又は、バイオマーカー発現レベルの画像のうちの1つから導出されてもよい。
例示的な実施形態では、形態学的表現1910は、視界選択コンポーネント1930を通じて選択された生物検体の視界をレンダリングしてもよい。例示的な実施形態では、形態学的表現1910は、例えば、選択した粒子の特性又は選択した粒子の特性のグループに基づいて、生物検体における生物粒子の1つ以上の集団を識別してもよい。1つ以上の集団は、カラー、透過度、コントラスト及び/又は輝度によって識別されてもよい。
例示的な実施形態では、グラフィックユーザインターフェース1900のバイオマーカー選択コンポーネント1940により、ユーザが、対象となる複数のバイオマーカーを選択することが可能になる。いくつかの実施形態では、複数のバイオマーカーの選択が、例えば、形態学的表現1910でリアルタイムに反映される。形態学的表現1910は、例えば、選択されたバイオマーカーに対応する画像のみを含めることにより、選択したバイオマーカーのみを示すように更新されてもよい。代替的に、形態学的表現1910は、例えば、選択されたバイオマーカー、選択されていないバイオマーカー、又はその双方に対応する画像を調整することにより、選択されたバイオマーカーを他のバイオマーカーから区別するように更新されてもよい。例えば、任意の画像のカラー、透過度、コントラスト及び/又は輝度が調整されてもよい。例示的な実施形態では、形態学的表現1910は、1つ以上の選択したバイオマーカーに関する視覚的なフィードバックを有利に提供してもよい。例えば、形態学的表現1910は、ターゲットとなる粒子の形態学的に関連した集団を隔離する際に、バイオマーカー選択の有効性を有効性検証/評価することを有利に促進してもよい。他の実施形態では、形態学的表現1910は、ターゲットとなる粒子の形態学的に関連した集団を隔離するのに有効な1つ以上のバイオマーカーを識別することを促進してもよい。
例示的な実施形態では、グラフィックユーザインターフェース1900の発現レベル基準選択コンポーネント1950は、ユーザが、選択したバイオマーカーのそれぞれに対する発現レベル基準を選択できるようにする。例えば、基準は、発現レベルがある閾値を上回るか、ある閾値を下回るか、又は、2つの閾値の間にあるかということであってもよい。いくつかの実施形態では、発現レベル基準選択コンポーネント1950は、上限及び/又は下限の閾値を設定するためのスライダーとして実現されてもよい。さらに、又は、代替的に、発現レベル基準選択コンポーネント1950は、上限及び/又は下限の閾値を入力するための1つ以上のボックスとして実現されてもよい。
発現レベル基準の選択は、形態学的表現1910でリアルタイムに反映されてもよい。例えば、形態学的表現1910は、選択した基準を満たすバイオマーカー発現レベルを持つ粒子の集団のみを示すように更新されてもよい。これは、例えば、バイオマーカー発現レベルの画像の一部をフィルタリングアウトすることにより達成されてもよい。代替的に、形態学的表現1910は、選択した基準を満たすバイオマーカー発現レベルを持つ粒子の集団を区別するように更新されてもよい。例えば、カラー、透過度、コントラスト及び/又は輝度が、粒子の集団を区別するために使用されてもよい。
例示的な実施形態では、多重化された画像は、1つ以上のバイオマーカーに対する選択された発現レベル基準に関する視覚的なフィードバックを有利に提供してもよい。例えば、形態学的表現1910は、ターゲットとなる粒子の形態学的に関連した集団を隔離するためにバイオマーカー選択の有効性を有効性検証/評価することを有利に促進してもよい。他の実施形態では、多重化された画像は、ターゲットとなる粒子の形態学的に関連した集団を隔離するための適切な発現レベルを識別することを促進してもよい。スライダーにより発現レベル基準選択を実現する実施形態は、ターゲットとなる粒子の形態学的に関連した集団を隔離するための基準を最適化するように発現レベル基準をチューニング/調整するのに有用であってもよい。
例示的な実施形態では、選択発現レベル基準は、そうでなければ、フローサイトメーターにより行われるような、後続する解析のために、又は、1つ以上の生物検体における生物粒子のソートのために使用されてもよい。例えば、生物検体は最初に、検体における生物粒子の特定の集団を特徴付ける1つ以上のバイオマーカーに関する1組の発現レベル基準を決定するために、上述したようなグラフィックユーザインターフェース1900を使用して解析されてもよい。その後、生物検体は、フローサイトメーターを通過し、ここで、個別の生物粒子は、決定された組の発現レベル基準に基づいて識別又はソートされる。
上述したように、生物粒子の集団は、複数の対応するバイオマーカーに対する発現レベル選択基準に基づいて選択されてもよい。その後、選択された生物粒子の集団は、形態学的表現1910において識別されてもよい。例えば、形態学的表現1910は、バイオマーカー発現レベル基準のそれぞれを満たす生物検体において生物粒子の集団を区別してもよい。これは、対応するバイオマーカー発現レベルの個別の画像のそれぞれにおけるバイオマーカー発現レベル基準を満たす生物粒子の集団を区別することにより実現されてもよい。例示的な実施形態では、バイオマーカー発現レベル基準の全てを満たす生物粒子の集団は、個別の画像のそれぞれにおいて異なるカラーで強調されてもよい。代替的に、バイオマーカー発現レベル基準の全てを満たす生物粒子の集団は、個別の画像のそれぞれにおいて同じカラーで強調されてもよい。
いくつかの実施形態では、複数のバイオマーカー発現レベル基準のうちの1つを満たす生物粒子の集団は、発現レベル基準が満たされたバイオマーカーに対して、個別の画像において強調されてもよい。このような粒子の集団は、バイオマーカー発現レベル基準の全てを満たす生物粒子の集団とは異なるカラー及び/又は透過度で強調されてもよい。いくつかの実施形態では、個別のバイオマーカー発現レベル基準を満たす生物粒子の集団と、バイオマーカー発現レベル基準の全てを満たす生物粒子の集団とが、それぞれ異なるカラーで強調されてもよい。他の実施形態では、生物粒子の集団は、選択されたバイオマーカーに対するバイオマーカー発現レベルのオーバーレイされた個別画像にわたって、選択された発現レベル基準と一致するバイオマーカー発現レベルの共在に基づいて識別できる。
例示的な実施形態では、バイオマーカー発現レベル基準の全てを満たす生物粒子の集団の識別は、さらなる実験/試験のために保存されてもよい。例えば、集団は、選択されたバイオマーカー及び対応する発現レベル基準と生物学的転帰との相関を促進するために解析されてもよい。したがって、例示的な実施形態では、複数のバイオマーカー及び対応する発現レベル選択基準は、複数の粒子集団を識別するために使用されてもよく、ここで、各集団は、その後、対応する生物学的転帰に相関される。とりわけ、異なる粒子集団に対する相関試験は、協働で、例えば、図2に関してここで詳細に記述したようなネットワークインフラストラクチャを通じて実現されてもよい。
例示的な実施形態では、バイオマーカー選択コンポーネント1940及び/又は発現レベル基準選択コンポーネント1950により、ユーザが、生物検体の形態学的表現1910で、直接、複数の生物粒子を選択することが可能になる。これは、例えば、ユーザがポインティングデバイスを用いて複数の個別の生物粒子を形態学的表現1910で識別し、選択できるようになることによって実現されてもよい。その後、選択された粒子の組から、ユーザ選択された粒子を他の粒子と区別する1つ以上のバイオマーカー及び対応する発現レベル基準を識別するために、教師あり学習アルゴリズムが適用されてもよい。
例示的な実施形態では、グラフィックユーザインターフェース1900の形態学的特徴選択コンポーネント1960により、さらに、又は、代替的に、ユーザが生物粒子の集団を選択することが可能になる。いくつかの実施形態では、生物粒子の集団は、近位性又はアラインメントのような、1つ以上の粒子間の形態学的特性に基づいて、選択されてもよい。他の実施形態では、生物粒子の集団は、粒子のサイズ、粒子の方向性、長軸及び/又は短軸の長さ、二次運動量、極シグネチャー、テンプレート、境界の長さ、オイラー数、ボックス化した方形(boxing rectangles)、緊密性、二次モーメント、最小慣性軸、極シグネチャー、細胞骨格又は任意の数の生物粒子の内部特徴のような、細胞内の形態学的特性に基づいて、選択されてもよい。例示的な実施形態では、形態学的特徴選択コンポーネントは、共通の特徴を共有する生物粒子の集団の選択を有利に選択してもよい。例示的な実施形態では、形態学的特徴選択コンポーネント1960により、ユーザが、視界における1つ以上の対象となる空間領域を規定することが可能になる。例えば、形態学的特徴選択コンポーネント1960により、ユーザが、対象となる領域の周囲にボックス又は他の形を描くことが可能になってもよい。
例示的な実施形態では、形態学的特徴選択コンポーネント1960は、形態学的表現1910又はその一部のクラスター解析を開始して、同様の形態学的特徴により特徴付けられる、そこにある生物粒子を識別してもよい。例示的な実施形態では、ユーザは解析のためにRスクリプトを提供できる。グラフィックユーザインターフェースは、例えば、選択したクラスターを強調することにより、生物粒子の選択したクラスターを識別するように適合されてもよい。
いくつかの実施形態では、形態学的特徴選択コンポーネント1960により、ユーザが、粒子間の形態学的特徴と、下限閾値、上限閾値、又は2つの閾値のような、特徴に対する対応する選択基準とを選択することが可能になってもよい。このようないくつかの実施形態では、形態学的特徴選択コンポーネント1960により、ユーザが、複数の粒子間の形態学的特徴と、特徴のそれぞれに対する対応する選択基準とを選択することが可能になってもよい。その後、粒子の集団を識別するために、選択基準が適用されてもよい。
例示的な実施形態では、形態学的特徴選択コンポーネント1960により、ユーザが、形態学的表現1910で、直接、解析に含まれる及び/又は解析から除外される1つ以上の生物粒子を選択することが可能になってもよい。これは、例えば、ユーザがポインティングデバイスを用いて複数の個別の生物粒子を形態学的表現1910で識別し、選択できるようになることによって実現されてもよい。その後、選択された粒子の組から、ユーザ選択された粒子を他の粒子と区別する1つ以上の形態学的特徴及び対応する特性を識別するために、教師あり学習アルゴリズムが適用されてもよい。例示的な実施形態では、形態学的特徴選択コンポーネント1960により、ユーザは、教師あり学習アルゴリズムが特性の区別をいつ識別するかを判断するための、1つ以上の形態学的特徴を選択することが可能になってもよい。他の実施形態では、教師あり学習アルゴリズムは、どの形態学的特性が類似度の相関に最良であるかを決定するために、ユーザが識別した1つ以上の粒子を解析してもよい。また、形態学的特徴選択コンポーネントは1960により、ユーザが、学習アルゴリズムの結果を改良することが可能になってもよい。例えば、形態学的特徴選択コンポーネント1960により、ユーザが、オリジナルの組に含まれるはずではなかった1つ以上の粒子を排除すること、及び/又は、オリジナルの組に含まれるはずであった1つ以上の粒子を選択することも可能になってもよい。
例示的な実施形態では、生物粒子の集団は、生態学的特徴及び/又はバイオマーカー発現特性に基づいて、さらなる解析のために含まれるか、又は、除外されるように選択されてもよい。いくつかの実施形態では、形態学的特徴選択コンポーネントは、さらなる解析に含まれる生物粒子の集団を選択するために使用されてもよい。他の実施形態では、形態学的特徴選択コンポーネントは、さらなる解析から除外される生物粒子の集団を選択するために使用されてもよい
例示的な実施形態では、本開示のシステム及び方法は、形態学的特徴選択コンポーネントを使用して、生物細胞の集団の選択に基づいて、バイオマーカー及び/又はバイオマーカー発現基準を自動的に選択してもよい。例えば、本開示のシステム及び方法は、多重化された画像の選択された領域中で生物粒子と最良に相関する、例えば、選択された領域外の生物粒子と、選択された領域内の生物粒子とを最良に区別するこれらのバイオマーカー及び/又は発現レベル基準を有利に識別してもよい。したがって、本開示のシステム及び方法は、生物検体の生物学的特徴を検出するための1つ以上のバイオマーカー及び/又は発現レベル基準を決定するために有利に利用されてもよい。例示的な実施形態では、形態学的特徴選択コンポーネントは、例えば、多重化された画像の選択された領域中の生物粒子と最良に相関するこれらのバイオマーカー及び/又はバイオマーカー発現基準を推奨又は自動的に選択することにより、バイオマーカー選択コンポーネント及び/又はバイオマーカー発現レベル基準選択コンポーネントとして、補完又は機能してもよい。
例示的な実施形態では、バイオマーカー選択コンポーネント、バイオマーカー発現レベル基準選択コンポーネント及び/又は形態学的特徴選択コンポーネントは、細胞の集団をモデリングするために機械学習を使用して実現されてもよい。特に、機械学習は、バイオマーカー発現レベル特性及び/又は形態学的特徴に基づいて、細胞の集団をモデリングするために(例えば、第2の細胞の集団と第1の細胞の集団とを区別するために)、利用されてもよい。その後、モデルは、バイオマーカー、バイオマーカー発現レベル特性及び/又は形態学的特徴を選択するためのベースとして使用されてもよい。
図39は、さらなる解析から除外する生物粒子(すなわち、細胞)の集団を選択するための例示的な形態学的特徴選択コンポーネント3910の実現を示す。図39で示される例示的な形態学的特徴選択コンポーネント3910が、細胞除外に向けられている間、同様の実現が細胞を含めるために使用されてもよいことに留意されたい。形態学的特徴選択コンポーネント3910は、選択した特徴に基づいて、生物粒子を除外する(含める)ための、例えば、最小閾値及び/又は最大閾値のような、対応する基準を選択するためのフィールド3914とともに、形態学的特徴を選択するためのフィールド3912も含んでもよい。形態学的特徴選択コンポーネント3910は、生物検体の形態学的表現3904に関してマスクオーバーレイ3902として有利に実現されてもよい。したがって、形態学的特徴選択コンポーネント3910は、オーバーレイの透過度を選択及び/又は調整するための、スライダー3916のような、透過度選択コンポーネントを含んでもよい。形態学的特徴選択コンポーネント3910は、さらに、例えば、.txtファイルのような、選択した設定を保存するためのコントロール3920とともに、オーバーレイに適用するためのコントロール3918を含んでもよい。
図19に示したような例示的な実施形態では、グラフィックユーザインターフェース1900は、1つ以上のバイオマーカーに対するバイオマーカー発現レベルのような、1つ以上の細胞間の特性に関する生物検体における生物粒子の分布を記述するための統計表現1920を含んでもよい。いくつかの実施形態では、統計表現1920は、1つ以上の次元を有する散布図であってもよく、ここで散布図の各次元は、特定のバイオマーカーに対する発現レベルのような、細胞内の特性を表す。例示的な実施形態では、統計表現は、1つ以上のバイオマーカーを選択するためのバイオマーカー選択コンポーネントに関係してもよい。したがって、例示的な実施形態では、バイオマーカー選択コンポーネント1940は、統計表現に対して、対象となる細胞間の特性を選択するために使用されてもよい。
例えば、バイオマーカー選択コンポーネント1940は、散布図に対する1つ以上の次元を選択するために使用されてもよい。いくつかの実施形態では、バイオマーカー選択コンポーネント1940は、形態学的表現1910に関して上述した同じバイオマーカー選択コンポーネントであってもよい。代替的に、バイオマーカー選択コンポーネント1940は、統計表現1920と専用の関係を有する異なるバイオマーカー選択コンポーネントであってもよい。
例示的な実施形態では、統計表現1920は、同様の細胞内の特性、例えば、1つ以上のバイオマーカーに対する同様のバイオマーカー発現レベルを有する生物粒子の1つ以上の集団の識別を有利に促進してもよい。例示的な実施形態では、ユーザは、統計表現1920において、対象となる領域を規定することにより、同様の細胞内の特性を有する生物粒子の集団を識別及び/又は選択してもよい。例えば、統計表現1920により、ユーザが、図17に示したように、対象となる領域の周囲にボックス又は他の形を描くことが可能になってもよい。代替的に、統計表現1920により、ユーザが、図17に示した2つの閾値により規定された4つの領域のうちの1つを選択することにより、対象となる領域を選択することが可能になってもよい。その後、統計表現1920において選択された、対象となる領域中の粒子は、形態学的表現1910で識別されてもよい。例えば、図18で示したように、粒子は、(例えば、カラーラベルを通じて)形態学的表現1910において強調されてもよい。
他の実施形態では、クラスター解析は、同様の細胞内の特性を有する生物粒子の1つ以上の集団を自動的に識別及び/又は選択するために使用されてもよい。例示的な実施形態では、バイオマーカー発現レベル基準選択コンポーネントは、例えば、クラスター解析を通じて、手動又は自動で、統計表現において生物粒子の1つ以上の集団を選択することにより、実現されてもよい(例えば、ここで、1つ以上のバイオマーカーに対して選択された発現レベル基準が、統計表現において選択される領域を規定する)。
例示的な実施形態では、グラフィックユーザインターフェースは、所望の視界に対して、選択された同じ生物粒子の集団を反映する、形態学的表現1910及び統計表現1920を同時に表示するように構成されていてもよい。形態学的表現1910及び統計表現1920は、同じ組のデータの同じ解析及び/又は操作において異なる観点を提供してもよい。さらに、形態学的表現1910又は統計表現1920での表示のために選択された情報の任意の修正は、双方の表現で表示される情報に影響を与えてもよい。例えば、バイオマーカー及び/又は発現レベル基準の選択は、およそ同じ時間に形態学的表現1910と統計表現1920の双方に影響を与えてもよい。さらに、生物粒子の集団の任意の選択は、形態学的表現1910と統計表現1920の双方で同時に識別されてもよい。したがって、本開示のシステム及び方法は、生物検体の特性の形態学的及び統計的な同時での調査を有利に促進する。したがって、グラフィックユーザインターフェース1900により、図17に示したように、ユーザが、統計表現1920中のクラスターにより、生物粒子の集団を選択することが可能になり、その後、図18に示したように、ユーザが、選択された集団における生物粒子が形態学的表現1910においてどのように相関されるかを見ることができるようになってもよい。そのため、形態学的表現1910により、ユーザは、選択された生物粒子と形態学的特徴との可能性ある相関を探索できるようになる。さらに、又は、代替的に、グラフィックユーザインターフェース1900により、ユーザは、形態学的表現1910におけるクラスタリングに基づいて、生物粒子の集団を選択することが可能になり、その後、ユーザは、選択された集団における生物粒子が統計表現1910においてどのように相関するかを見ることができるようになってもよい。そのため、統計表現1920により、ユーザは、選択された生物粒子と統計的特徴との可能性ある相関を探索できるようになる。
図38A〜図38Cは、生物検体の形態学的表現及び統計表現を同時に表示する例示的なグラフィックユーザインターフェース3800を示す。上述したように、例示的な形態学的表現は、生物検体の背景画像の上にあるバイオマーカー発現レベルに基づいて、1つ以上のマスクオーバーレイをオーバーレイする多重化された画像であってもよく、例示的な統計表現は、散布図であってもよい。グラフィックユーザインターフェース3800は、生物検体の背景画像を選択するための背景画像選択コンポーネント3810と、対象となる1つ以上のバイオマーカーを選択するためのバイオマーカー選択コンポーネント3820と、選択したバイオマーカーのそれぞれに対する発現レベル基準(例えば、閾値)を選択するためのバイオマーカー発現レベル基準選択コンポーネント3830とを含んでもよい。背景画像選択コンポーネント3810と、バイオマーカー選択コンポーネント3820とバイオマーカー発現レベル基準選択コンポーネント3830のそれぞれは、上述したコンポーネントと同様のものであってもよい。バイオマーカー選択コンポーネント3810は、生物検体の表示された統計表現3840に対する次元として、1つ以上のバイオマーカーを選択するために使用されてもよい。その後、バイオマーカー発現レベル基準選択コンポーネント3820は、各選択したバイオマーカーに対する基準を選択するために使用されてもよい。選択基準は、統計表現及び形態学的表現の双方に同時に反映されてもよい。したがって、グラフィックユーザインターフェース3800は、統計表現3840に関する選択された基準3842をオーバーレイすることと、各バイオマーカーに対する選択基準に基づいて粒子の集団を(例えば、色により)区別する、そのバイオマーカーに対する、生物検体の形態学的表現3850を表示することの双方を行ってもよい。
いくつかの実施形態では、バイオマーカー対する選択されたバイオマーカー発現レベル基準は、それらの統計的及び/又は形態学的実現に基づいて、調整されてもよい。したがって、例えば、バイオマーカーに対するバイオマーカー発現レベル基準は、そのバイオマーカーに対する形態学的表現3850において反映されたような、形態学的に有意な粒子の集団を区別するように調整されてもよい。代替的に、バイオマーカーに対するバイオマーカー発現レベル基準は、統計表現3840において反映されたような、統計的に有意な粒子のクラスターを区別するように調整されてもよい。いったん、バイオマーカーのそれぞれに対して確立されたバイオマーカー発現レベル基準が満たされると、クエリコントロール3860は、確立されたバイオマーカー発現レベル基準に基づいて、生物検体のクエリを生成させてもよい。
図38Bで示したように、クエリコントロール3860は、クエリを表すカラーを選択するためのカラー選択コンポーネント3862と、クエリに対するクエリパラメータを選択するためのクエリパラメータコントロール3864と、クエリを確認するためのフィールド3866とを含んでもよい。特に、クエリパラメータコントロールは、各バイオマーカーに対して、そのバイオマーカーに対する発現レベル基準を満たす粒子を、クエリに含める又はクエリから除外するかどうかを確立するために使用されてもよい。クエリパラメータコントロールはまた、クエリが、選択したクエリパラメータに対する「AND」クエリ及び/又は「OR」クエリであるかを確立するために使用されてもよい。したがって、クエリは、クエリパラメータの全てと一致する生物粒子の集団又はクエリパラメータのいずれかと一致する生物粒子の集団を戻すように有利に構成されていてもよい。
図38Cに示すように、クエリコントロール3860により確立されたクエリに対する結果は、形態学的表現3870とともに統計表現3840にも反映されてもよい。例示的な実施形態では、クエリは、生物検体の形態学的表現3870に関するマスクオーバーレイとして実現されてもよい。例えば、スライダー3872のような、透過度コントロールは、オーバーレイされた細胞クエリマスクの透過度を調整するために使用されてもよい。
図35は、生物組織において対象となる生物学的単位の表現を選択的に表示するための例示的なコンピュータ実現方法3500を示すフローチャートである。
ステップ3502では、グラフィックユーザインターフェースが視覚的ディスプレイデバイス上にレンダリングされる。
ステップ3504では、生物組織の複数の視界における複数のバイオマーカーの発現を捕捉する登録された多重化されたバイオマーカー画像を含む、組織プロファイルデータを含むデータセットから、ユーザが視界を選択できるようになる視界選択コンポーネントが、グラフィックユーザインターフェース上にレンダリングされてもよい。有利なことに、複数の視界において個別の生物学的単位が線引きされてもよい。
ステップ3506では、視界選択コンポーネントにおいて生物組織に対応する視界を選択するユーザ入力に応答して、グラフィックユーザインターフェース上で、生物組織に対応する選択された視界の第1の画像をレンダリングし、第1の画像は、第1のバイオマーカーの発現レベルを表し、生物組織中の個別の生物学的単位の表現を含む。
ステップ3508では、形態学的特徴選択コンポーネントは、グラフィックユーザインターフェース上にレンダリングされ、これにより、ユーザが、少なくとも1つの第1の形態学的特徴基準を満たす第1の形態学的特徴を、線引きされた個別の生物学的単位から選択できるようになる。
ステップ3510では、少なくとも1つの第1の形態学的特徴基準を満たす第1の形態学的特徴を選択するユーザ入力に応答して、第1の画像で表された第1の組の生物学的単位が識別され、この生物学的単位は、さらなる解析に含まれる又は除外される生物学的単位として、選択した視界の第1の画像において少なくとも1つの第1の形態学的特徴基準を満たす。
図36を参照して、生物組織において2つ以上のバイオマーカーの発現レベルを表示するための例示的なコンピュータ実現方法3600を提示する。
ステップ3602では、グラフィックユーザインターフェースが視覚的ディスプレイデバイス上にレンダリングされる。
ステップ3604では、視界選択コンポーネントが、グラフィックユーザインターフェース上にレンダリングされ、これにより、生物組織の複数の視界における複数のバイオマーカーの発現を捕捉する登録された多重化されたバイオマーカー画像を含む、組織プロファイルデータを含むデータセットから、ユーザが視界を選択できるようになり、ここで、複数の視界における個別の生物学的単位が線引きされる。
ステップ3606では、グラフィックユーザインターフェースの視界選択コンポーネントにおいてユーザ入力が受信され、生物組織に対応する視界が選択される。
ステップ3608では、ユーザが、選択された視界の多重化されたバイオマーカー画像において対応する画像を有する複数のバイオマーカーから、第1のバイオマーカー及び第2のバイオマーカーを選択できるようになるバイオマーカー選択コンポーネントがグラフィックユーザインターフェース上にレンダリングされてもよい。
ステップ3610では、ユーザが、選択された第1のバイオマーカーに対する第1のバイオマーカー発現レベル基準と、選択された第2のバイオマーカーに対する第2のバイオマーカー発現レベル基準とを選択できるようになるバイオマーカー発現レベル選択コンポーネントがグラフィックユーザインターフェース上にレンダリングされてもよい。
ステップ3612では、グラフィックユーザインターフェースにおいて、第1のバイオマーカー、第1のバイオマーカー発現レベル基準、第2のバイオマーカー及び第2のバイオマーカー発現レベル基準を選択するユーザ入力が受信される。
ステップ3614では、選択された視界における選択された第1のバイオマーカー発現レベル及び選択された第2のバイオマーカー発現レベルが自動的に解析される。
ステップ3616では、選択された視界の対応する画像が、オーバーレイ方法でグラフィックユーザインターフェース上にレンダリングされ、選択された第1のバイオマーカーに対する第1のバイオマーカー発現レベル基準と、選択された第2のバイオマーカーに対する第2のバイオマーカー発現レベル基準の双方を満たす、生物組織中の第1の組の生物学的単位が強調される。
図37を参照して、生物組織において2つ以上のバイオマーカーの発現レベルを表示するための例示的なコンピュータ実現方法を提示する。
ステップ3702では、グラフィックユーザインターフェースが視覚的ディスプレイデバイス上にレンダリングされる。
ステップ3704では、視界選択コンポーネントが、グラフィックユーザインターフェース上にレンダリングされ、これにより、生物組織の複数の視界における複数のバイオマーカーの発現を捕捉する登録された多重化されたバイオマーカー画像を含む、組織プロファイルデータを含むデータセットから、ユーザが視界を選択できるようになり、ここで、複数の視界における個別の生物学的単位が線引きされる。
ステップ3706では、グラフィックユーザインターフェースの視界選択コンポーネントにおいてユーザ入力が受信され、生物組織に対応する視界が選択される。
ステップ3708では、バイオマーカー選択コンポーネントがグラフィックユーザインターフェース上にレンダリングされ、これにより、ユーザが、選択された視界の多重化されたバイオマーカー画像において対応する画像を有する複数のバイオマーカーから、第1のバイオマーカー及び第2のバイオマーカーを選択できるようになる。
ステップ3710では、バイオマーカー発現レベル選択コンポーネントがグラフィックユーザインターフェース上にレンダリングされ、これにより、ユーザは、選択された第1のバイオマーカーに対する第1のバイオマーカー発現レベル基準を選択できるようになる。
ステップ3712では、グラフィックユーザインターフェースにおいてユーザ入力が受信され、第1のバイオマーカー、第1のバイオマーカー発現レベル基準及び第2のバイオマーカーが選択される。
ステップ3714では、選択された視界における選択された第1のバイオマーカー発現レベルが自動的に解析される。
ステップ3716では、選択された視界の対応する画像が、オーバーレイ方法でグラフィックユーザインターフェース上にレンダリングされ、選択された第1のバイオマーカーに対する第1のバイオマーカー発現レベル基準を満たす、生物組織中の第1の組の生物学的単位が強調される。
臨床転帰と組織特性との例示的な相関
例示的な実施形態は、ユーザが、臨床転帰とユーザインターフェース上に表示されている生物組織の視界のユーザ選択可能なアスペクトとの相関を決定できるように、ユーザインターフェースを提供又は構成してもよい。例示的なユーザ選択可能な臨床転帰は、疾患又は組織状態の陽性診断、疾患又は組織状態の陰性診断、疾患の予後、薬物反応の予測、臨床的に関連のあるグループへの階層化或いはこれらに類するものを含むが、これらに限定されない。例示的な生物組織の視界のユーザ選択可能なアスペクトは、1つ以上の細胞、細胞の1つ以上の細胞下成分、複数の細胞の1つ以上の集合、視界の1つ以上の領域、視界における生物学的単位の1つ以上の特性、1つ以上のバイオマーカーの発現レベル及びこれらに類するものを含むが、これらに限定されない。
生物組織の視界の1つ以上のアスペクトのユーザ選択時に、例示的な実施形態は、選択された視界が属するコホートに対応する生物組織データにアクセスしてもよい。例えば、ユーザ選択された視界が、乳癌を有する第1の患者の第1の生物組織検体に対応する場合、例示的な実施形態は、乳癌を有する第1の患者及び1人以上の他の患者を含む患者コホートに対応する複数の生物組織検体に対応するデータにアクセスしてもよい。例示的な実施形態は、視界のユーザ選択されたアスペクトの1つ以上の特徴特性に対応するコホートに対するデータを検索してもよい。その後、例示的な実施形態は、選択された臨床転帰とコホートの1つ以上の特徴との間で相関解析を自動的に実行してもよい。相関解析は、選択された臨床転帰とコホートに対する1つ以上の特徴との間に、正の相関又は負の相関が存在するかを決定するために使用されてもよい。
例示的な実施形態は、例えば、患者コホートの生物組織における特定のバイオマーカーの高い発現レベルが疾患診断と相関することを決定してもよい。これにより、特定の臨床転帰と臨床的に関連する1つ以上のバイオマーカーの自動決定が可能になり、臨床転帰の病理に対するさらなる調査に関する道筋が開かれるかもしれない。さらに、相関の決定により、予測モデルの作成が可能になってもよい。例えば、臨床転帰が、患者コホートの生物組織における特定のバイオマーカーの高い発現レベルと正の相関があると決定された場合、バイオマーカーの高い発現レベルの後続する検出は、生物組織における臨床転帰の可能性を示してもよい。
図20〜23に例示的なユーザインターフェースを示す。図20は、ユーザが、臨床転帰と、コホートの生物組織における1つ以上のバイオマーカーの発現レベルとの間の正又は負の相関を決定することが可能になる例示的なユーザインターフェース2000を示す。例示的なユーザインターフェース2000により、ユーザが、ユーザインターフェース上で直接、ユーザインターフェース上で表示するための生物組織の視界を選択することが可能になってもよい。ユーザインターフェース上で提供されるツールを使用して、特定の試験/実験、スライド、スポット及びバイオマーカーを選択する能力により、ユーザが、試験/実験、スライド、スポット及びバイオマーカーに関連するファイルの位置を覚える必要はなくなり、ユーザが、直感的で、時間的に効率がよく、ユーザに優しい方法でデータソースを選択することが可能になる。
ユーザインターフェース2000は、生物組織の1つ以上の視界を表示するためのディスプレイパネル2002を含んでもよい。図20の例では、ディスプレイパネル2002は、個別にオーバーレイ又は表示される生物組織の3つの例示的な視界を表示する。視界のそれぞれは、1つ以上のバイオマーカーの発現レベルを表示してもよい。異なる視界は、同じスライド上の異なるスポット又は異なるスライド上のスポットに対応してもよい。
ユーザインターフェース2000は、その発現レベルがディスプレイパネル2002上で表示される1つ以上のマーカーを選択することが可能になるマーカー選択コンポーネント2006を有する選択パネル2004を含んでもよい。さらに、又は、代替的に、例示的な実施形態により、ユーザが、臨床転帰との相関の可能性の解析において使用することになるバイオマーカー並びに高い閾値及び/又は低い閾値を選択することが可能になってもよい。例えば、ユーザは、臨床転帰と、1つ以上のバイオマーカーの高い発現レベル及び/又は1つ以上のバイオマーカーの低い発現レベルとの間の相関解析を実行してもよい。
1つ以上のマーカーの選択に応答して、例示的な実施形態では、ユーザインターフェースは、ディスプレイパネル2002において選択されたマーカーを表示又は強調してもよい。例示的な実施形態では、ユーザインターフェースは、選択されたマーカーを除く全てのマーカーの発現レベルの表示を除去してもよい。別の例示的な実施形態では、ユーザインターフェースは、例えば、より高い明度を使用して、又は、特定のカラーを使用して、それらの発現レベルを表すことにより、選択されたマーカーの発現レベルを強調してもよい。
選択パネル2004はまた、ユーザが、ディスプレイパネル2002において表示された生物組織に関係するかもしれない1つ以上の臨床転帰を選択することが可能になる臨床転帰選択コンポーネント2008を含んでもよい。例示的な実施形態では、1つ以上の臨床転帰の選択に応答して、ユーザインターフェース2000は、ディスプレイパネル2002中のどの視界が選択された臨床転帰と関係するかを、例えば、データベース中に表示してもよい。例えば、乳癌の臨床転帰の選択に応答して、ユーザインターフェース2000は、乳癌を有するコホート中の患者に対応する乳房の組織の視界を表示してもよい。当業者は、例示的な実施形態において、疾患の同じ病期にある患者のコホート、同じ疾患の転帰を有する患者のコホート及びこれらに類するものを含むが、これらに限定されない任意の適切な患者コホートが使用されてもよい。
1つ以上のマーカー及び臨床転帰の選択に応答して、例示的な実施形態は、臨床転帰と患者のコホートに対する生物組織におけるマーカーの発現レベルとの相関解析を自動的に実行してもよい。例示的な実施形態では、マーカーを表示するユーザインターフェースを生成及び管理するモジュールではなく、別のコンピューティング又は処理モジュールにより、自動相関が実行されてもよい。例示的な実施形態は、選択された視界が属するコホートに対応する生物組織データにアクセスしてもよい。例えば、ユーザ選択された視界が、乳癌を有する第1の患者の第1の生物組織検体に対応する場合、例示的な実施形態は、乳癌を有する第1の患者及び1人以上の他の患者を含む患者コホートに対応する複数の生物組織検体に対応するデータにアクセスしてもよい。例示的な実施形態は、選択されたバイオマーカーに対応するコホートに対するバイオマーカー発現データを検索してもよい。その後、例示的な実施形態は、選択された臨床転帰とコホートに対するバイオマーカー発現データとの相関解析を自動的に実行してもよい。相関解析は、選択された臨床転帰とコホートに対する選択されたバイオマーカーとの間に、正の相関又は負の相関が存在するかを決定するために使用されてもよい。
例えば、例示的な実施形態は、1つ以上のバイオマーカーの高い発現レベル又は低い発現レベルが臨床転帰と相関するかを決定してもよい。1つの例では、扁平上皮癌の陽性の診断(臨床転帰として)及びバイオマーカーであるSLC7A5、TRIM29及びCK5/6(視界のアスペクトとして)の選択時に、例示的な実施形態は、臨床転帰がバイオマーカーの高い発現レベルと正の相関があるかを自動的に決定してもよい。別の例では、腺癌の陽性の診断(臨床転帰として)及びバイオマーカーであるCEACAM5及びMUC1(視界のアスペクトとして)の選択時に、例示的な実施形態は、臨床転帰がバイオマーカーの高い発現レベルと正の相関があるかを自動的に決定してもよい。別の例では、扁平上皮癌(臨床転帰として)及びバイオマーカーであるSLC7A5、TRIM29、CK5/6、CEACAM5及びMUC1(視界のアスペクトとして)の選択時に、例示的な実施形態は、高い発現レベルが同じ細胞内に共在しているときにのみ、臨床転帰が全てのバイオマーカーの高い発現レベルと正の相関があるかを自動的に決定してもよい。
例示的な実施形態は、選択された臨床転帰と、選択された視界に関係するコホートにおける1つ以上の選択されたバイオマーカーの発現レベルとの間の相関解析の結果を、データベース中又は記憶デバイス中に記憶し、ユーザインターフェース中で表示してもよい。
別の例示的な実施形態では、臨床転帰と、1つ以上のユーザ選択された生物学的単位(例えば、細胞)の1つ以上の特徴特性との間で相関解析が実行されてもよい。例示的な実施形態では、ある形態学的特性に基づいて、バイオマーカー発現レベルに基づいて、及びこれらに類するものに基づいて、1つ以上の生物学的単位がランダムに選択されてもよい。1つの例では、例示的な実施形態は、あるタイプのユーザ選択された細胞が疾患の診断と相関するかを決定してもよい。別の例では、例示的な実施形態は、あるバイオマーカーの高い発現レベル又は低い発現レベルを有する細胞が疾患診断と相関することを決定してもよい。別の例では、例示的な実施形態は、生物組織の選択された領域に位置する細胞が疾患診断と相関するかを決定してもよい。別の例では、例示的な実施形態は、ある形態学的特性を有する細胞が疾患診断と相関するかを決定してもよい。別の例示的な実施形態では、生物学的知識に基づいて生成された仮説に基づいて、相関解析を実行するために、1つ以上の生物学的単位が選択されてもよい。
図21は、ユーザが、臨床転帰と、コホートの生物組織における1つ以上の生物学的単位の1つ以上の特徴特性との間の正の相関又は負の相関を決定することが可能になる例示的なユーザインターフェース2100を示す。例示的なユーザインターフェース2100により、ユーザが、ユーザインターフェース上で直接、ユーザインターフェース上で表示するための生物組織の視界を選択することが可能になってもよい。ユーザインターフェース上で提供されるツールを使用して、特定の試験/実験、スライド、スポット及びバイオマーカーを選択する能力により、ユーザが、試験/実験、スライド、スポット及びバイオマーカーに関連するファイルの位置を覚える必要はなくなり、ユーザが、直感的で、時間的に効率がよく、ユーザに優しい方法でデータソースを選択することが可能になる。
ユーザインターフェース2100は、生物組織の1つ以上の視界を表示するためのディスプレイパネル2102を含んでもよい。ディスプレイパネル2102にレンダリングされる視界は、選択可能な生物学的単位及び生物学的単位における1つ以上のバイオマーカーの発現レベルを表示してもよい。ユーザは、1つ以上の生物学的単位(例えば、細胞2108)をディスプレイパネル2102において直接選択してもよい。例示的な実施形態では、ユーザは、ポインティングデバイス、例えば、マウスを使用して、個別の生物学的単位をクリック及び選択してもよく、ディスプレイパネル2102上にエリアを描き、そのエリア内の生物学的単位の全てを選択してもよく、並びに、これらに類することを行ってもよい。例示的な実施形態では、ユーザは、例えば、生物組織のドロップダウンリストから単位を選択することにより、1つ以上の形態学的特性に基づいて生物学的単位をフィルタリングすることでそれらを選択することにより、及びこれらに類することにより、異なる選択オプションを使用して、生物学的単位を選択してもよい。例示的な実施形態では、1つ以上の生物学的単位の選択に応答して、例示的な実施形態では、ユーザインターフェースは、ディスプレイパネル2102において選択された生物学的単位を選択的に表示又は強調してもよい。
選択パネル2104はまた、ユーザが、ディスプレイパネル2102において表示された生物組織に関係するかもしれない1つ以上の臨床転帰を選択することが可能になる臨床転帰選択コンポーネント2106を含んでもよい。例示的な実施形態では、1つ以上の臨床転帰の選択に応答して、ユーザインターフェース2100は、ディスプレイパネル2102中のどの視界が選択された臨床転帰に関係するかを、例えば、データベース中に表示してもよい。例えば、乳癌の臨床転帰の選択に応答して、ユーザインターフェース2100は、乳癌を有するコホート中の患者に対応する乳房の組織の視界を表示してもよい。
1つ以上の生物学的単位及び臨床転帰の選択に応答して、例示的な実施形態は、臨床転帰と患者のコホートに対する生物組織における選択された単位の1つ以上の特徴特性との相関解析を自動的に実行してもよい。例示的な実施形態は、選択された視界が属するコホートに対応する生物組織データにアクセスしてもよい。例えば、ユーザ選択された視界が、乳癌を有する第1の患者の第1の生物組織検体に対応する場合、例示的な実施形態は、乳癌を有する第1の患者及び1人以上の他の患者を含む患者コホートに対応する複数の生物組織検体に対応するデータにアクセスしてもよい。
例示的な実施形態は、選択された生物学的単位の特徴特性に対応するコホートに対するバイオマーカー発現データを検索してもよい。生物学的単位の特性は、1つ以上の形態学的特性、1つ以上の機能特性、1つ以上のバイオマーカー発現レベル、生物組織における1つ以上の位置、1つ以上のタイプの細胞及びこれらに類するものを含んでもよいが、これらに限定されない。例えば、ユーザ選択された生物学的単位が、異常に大きなサイズを有する細胞である場合、例示的な実施形態は、コホートの生物組織の細胞サイズを示す、コホートに対するデータを検索してもよい。その後、例示的な実施形態は、選択された臨床転帰と選択された生物学的単位の特徴特性に対応するコホートに対するデータとの間で相関解析を自動的に実行してもよい。相関解析は、選択された臨床転帰とコホートに対する選択された生物学的単位の特徴特性との間に、正の相関又は負の相関が存在するかを決定するために使用されてもよい。
例示的な実施形態は、選択された臨床転帰と、コホートに対する1つ以上の選択された生物学的単位の1つ以上の特徴特性との間の相関解析の結果を、データベース中又は記憶デバイス中に記憶し、ユーザインターフェース中で表示してもよい。1つの例示的な実施形態は、相関解析の結果を、データベース中又は記憶デバイス中に計算及び記憶し、ユーザインターフェース中で表示してもよい。
別の例示的な実施形態では、臨床転帰と、生物組織の視界の1つ以上のユーザ選択された領域にレンダリングされた生物学的単位(例えば、細胞)の1つ以上の特徴特性との間で、相関解析が実行されてもよい。ユーザは、生物組織の視界の1つ以上の領域を選択してもよい。選択された領域にレンダリングされた生物学的単位の1つ以上の特徴特性は、例示的な実施形態により自動的に解析されてもよい。解析された例示的な特性は、1つ以上の形態学的特性、1つ以上の機能特性、1つ以上のバイオマーカー発現レベル、生物組織における1つ以上の位置、1つ以上のタイプの細胞及びこれらに類するものを含んでもよいが、これらに限定されない。
図22は、ユーザが、臨床転帰と、視界の1つ以上のユーザ選択された領域内にある生物学的単位の1つ以上の特徴特性との間の正又は負の相関を決定することが可能になる例示的なユーザインターフェース2200を示す。例示的なユーザインターフェース2200により、ユーザが、ユーザインターフェース上で直接、ユーザインターフェース上で表示するための生物組織の視界を選択することが可能になってもよい。ユーザインターフェース上で提供されるツールを使用して、特定の試験/実験、スライド、スポット及びバイオマーカーを選択する能力により、ユーザが、試験/実験、スライド、スポット及びバイオマーカーに関連するファイルの位置を覚える必要はなくなり、ユーザが、直感的で、時間的に効率がよく、ユーザに優しい方法でデータソースを選択することが可能になる。
ユーザインターフェース2200は、生物組織の1つ以上の視界を表示するためのディスプレイパネル2202を含んでもよい。ディスプレイパネル2202にレンダリングされる視界は、生物学的単位及び生物学的単位における1つ以上のバイオマーカーの発現レベルを表示してもよい。ユーザは、1つ以上の領域(例えば、領域2204)をディスプレイパネル2202において直接選択してもよい。例示的な実施形態では、ユーザは、ポインティングデバイス、例えば、マウスを使用して、ディスプレイパネル2202上にエリアを描き、そのエリア内の生物学的単位の全てを選択してもよく、並びに、これらに類することを行ってもよい。例示的な実施形態では、ユーザは、例えば、入力テキストボックスにおいて視界の座標を選択することにより、異なる選択オプションを使用して、生物学的単位を選択してもよい。例示的な実施形態では、視界における1つ以上の領域の選択に応答して、ユーザインターフェースは、ディスプレイパネル2202において選択された領域内にある生物学的単位を選択的に表示又は強調してもよい。
選択パネル2206はまた、ユーザが、ディスプレイパネル2202において表示された生物組織に関係するかもしれない1つ以上の臨床転帰を選択することが可能になる臨床転帰選択コンポーネント2208を含んでもよい。例示的な実施形態では、1つ以上の臨床転帰の選択に応答して、ユーザインターフェース2200は、ディスプレイパネル2202中のどの視界が選択された臨床転帰に関係するかを、例えば、データベース中に表示してもよい。例えば、乳癌の臨床転帰の選択に応答して、ユーザインターフェース2200は、乳癌を有するコホート中の患者に対応する乳房の組織の視界を表示してもよい。
視界における1つ以上の領域及び臨床転帰の選択に応答して、例示的な実施形態は、臨床転帰と患者のコホートに対する選択された領域内にある生物学的単位の1つ以上の特徴特性との相関解析を自動的に実行してもよい。例示的な実施形態は、選択された視界が属するコホートに対応する生物組織データにアクセスしてもよい。例えば、ユーザ選択された視界が、乳癌を有する第1の患者の第1の生物組織検体に対応する場合、例示的な実施形態は、乳癌を有する第1の患者及び1人以上の他の患者を含む患者コホートに対応する複数の生物組織検体に対応するデータにアクセスしてもよい。
例示的な実施形態は、視界のユーザ選択された領域内にある生物学的単位の特徴特性に対応するコホートに対するデータを検索してもよい。生物学的単位の特性は、1つ以上の形態学的特性、1つ以上の機能特性、1つ以上のバイオマーカー発現レベル、生物組織における1つ以上の位置、1つ以上のタイプの細胞及びこれらに類するものを含んでもよいが、これらに限定されない。例えば、ユーザ選択された領域中の生物学的単位が、異常に大きなサイズを有する細胞である場合、例示的な実施形態は、コホートの生物組織の細胞サイズを示す、コホートに対するデータを検索してもよい。その後、例示的な実施形態は、選択された臨床転帰と生物学的単位の特徴特性に対応するコホートに対するデータとの間で相関解析を自動的に実行してもよい。相関解析は、選択された臨床転帰とコホートに対する生物学的単位の特徴特性との間に、正の相関又は負の相関が存在するかを決定するために使用されてもよい。
例示的な実施形態は、選択された臨床転帰と、コホートに対する1つ以上の生物学的単位の1つ以上の特徴特性との間の相関解析の結果を、データベース中又は記憶デバイス中に記憶し、ユーザインターフェース中で表示してもよい。1つの例示的な実施形態は、相関解析の結果を、データベース中又は記憶デバイス中に計算及び記憶し、ユーザインターフェース中で表示してもよい。
別の例示的な実施形態では、相関解析は、臨床転帰と、生物学的単位(例えば、細胞)の1つ以上の選択された形態学的特性との間で実行されてもよい。例示的な形態学的特性は、細胞のサイズ、核のサイズ、細胞の風変わりな点及びこれらに類するものを含んでもよいが、これらに限定されない。
図23は、ユーザが、臨床転帰と、コホートの生物組織における選択された形態学的特性との間の正又は負の相関を決定することが可能になる例示的なユーザインターフェース2300を示す。例示的なユーザインターフェース2300により、ユーザが、ユーザインターフェース上で直接、ユーザインターフェース上で表示するための生物組織の視界を選択することが可能になってもよい。ユーザインターフェース上で提供されるツールを使用して、特定の試験/実験、スライド、スポット及びバイオマーカーを選択する能力により、ユーザが、試験/実験、スライド、スポット及びバイオマーカーに関連するファイルの位置を覚える必要はなくなり、ユーザが、直感的で、時間的に効率がよく、ユーザに優しい方法でデータソースを選択することが可能になる。
ユーザインターフェース2300は、生物組織の1つ以上の視界を表示するためのディスプレイパネル2302を含んでもよい。選択パネル2304は、ユーザが、ディスプレイパネル2302において少なくとも1つの視界で表示される生物学的単位の1つ以上の形態学的特性を選択することが可能になる形態学的特性選択コンポーネント2306を含んでもよい。
選択パネル2304はまた、ユーザが、ディスプレイパネル2302において表示された生物組織に関係するかもしれない1つ以上の臨床転帰を選択することが可能になる臨床転帰選択コンポーネント2308を含んでもよい。例示的な実施形態では、1つ以上の臨床転帰の選択に応答して、ユーザインターフェース2300は、ディスプレイパネル2302中のどの視界が選択された臨床転帰に関係するかを、例えば、データベース中に表示してもよい。例えば、乳癌の臨床転帰の選択に応答して、ユーザインターフェース2300は、乳癌を有するコホート中の患者に対応する乳房の組織の視界を表示してもよい。
1つ以上の形態学的特性及び臨床転帰の選択に応答して、例示的な実施形態は、臨床転帰と患者のコホートに対する形態学的特性との相関解析を自動的に実行してもよい。例示的な実施形態は、コホートに対応する生物組織データにアクセスしてもよい。
例示的な実施形態は、ユーザ選択された形態学的特性に対応するコホートに対するデータを検索してもよい。例えば、ユーザ選択された形態学的特性が、異常に大きなサイズの細胞である場合、例示的な実施形態は、コホートの生物組織の細胞サイズを示す、コホートに対するデータを検索してもよい。その後、例示的な実施形態は、選択された臨床転帰と、ユーザ選択された形態学的特性に対応するコホートに対するデータとの間で相関解析を自動的に実行してもよい。相関解析は、選択された臨床転帰と、コホートに対する選択された生物学的単位のユーザ選択された形態学的特性との間に、正の相関又は負の相関が存在するかを決定するために使用されてもよい。
例示的な実施形態は、選択された臨床転帰と、形態学的特性との間の相関解析の結果を、データベース中又は記憶デバイス中に記憶し、ユーザインターフェース中で表示してもよい。1つの例示的な実施形態は、相関解析の結果を、データベース中又は記憶デバイス中に計算及び記憶し、ユーザインターフェース中で表示してもよい。
当業者は、臨床転帰との相関を決定する際に、視界の複数のアスペクトの任意の組み合わせを使用してもよいことを認識するだろう。
図24Aは、臨床転帰と、生物組織の視界の選択における1つ以上の特徴との間の正の相関又は負の相関を決定するための方法のフローチャートである。
ステップ2402では、グラフィックユーザインターフェースが視覚的ディスプレイデバイス上にレンダリングされる。
ステップ2404では、視界選択コンポーネントが、グラフィックユーザインターフェース上にレンダリングされてもよい。視界選択コンポーネントにより、ユーザが、組織プロファイルデータを含むデータセットから生物組織の視界を選択できるようになる。データセット中の組織プロファイルデータは、生物組織の1つ以上の視界においてオーバーレイ方法で表示される1つ以上のバイオマーカーの発現を捕捉する多重化されたバイオマーカー画像を含んでもよい。任意の数のバイオマーカー発現オーバーレイが、同じ視界で表示されてもよく、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19及び20を含むが、これらに限定されない。異なるオーバーレイにおける異なるオーバーレイの発現レベルは、混乱を避けるために、及び、バイオマーカーレベルを互いに視覚的に区別できるようにするために、異なるカラーで表示されてもよい。
ステップ2406では、ユーザが、ユーザインターフェースにおいて表示された生物組織に関係するかもしれない臨床転帰を選択することが可能になる臨床転帰選択コンポーネントが、グラフィックユーザインターフェース上にレンダリングされてもよい。
ステップ2408では、ユーザインターフェースは、視界選択コンポーネントにおいて、生物組織の視界を選択するユーザ入力を受信してもよい。ユーザインターフェースはまた、その発現レベルが生物組織の選択された視界において表示されることになる1つ以上のバイオマーカーを選択するユーザ入力を受信してもよい。
ステップ2410では、ユーザ入力に応答して、ユーザインターフェースは、選択された1つ以上のバイオマーカーの発現レベルが1つ以上の対応するカラーの明度として示されている、生物組織の選択された視界の画像をレンダリングしてもよい。
ステップ2412では、ユーザインターフェースは、臨床転帰選択コンポーネントにおいて、臨床転帰、例えば、疾患又は組織状態の陽性診断、疾患又は組織状態の陰性診断、疾患の予後、薬物反応の予測、臨床的に関連のあるグループへの階層化並びにこれらに類するものを選択するユーザ入力を受信してもよい。
ステップ2414では、例示的な実施形態では、ユーザインターフェースは、ユーザインターフェースにおいて表示される視界の1つ以上のアスペクトを選択するユーザ入力を受信してもよい。例示的な視界の選択可能なアスペクトは、1つ以上の生物学的単位、視界における1つ以上の領域、1つ以上の形態学的特性、1つ以上の機能特性、1つ以上のバイオマーカー、1つ以上のDNA配列及びこれらに類するものを含んでもよいが、これらに限定されない。
別の例示的な実施形態では、視界のアスペクトは、例えば、1つ以上の一時的でないコンピュータ読取可能媒体上でエンコードされ、アスペクトをクラスタリングするコンピュータ実行可能命令として実現されるクラスタリング方法又はアルゴリズムにより、自動的に選択されてもよい。例えば、クラスタリング方法は、1つ以上の共通の特徴に基づいてクラスタリングされる1つ以上の生物学的単位(例えば、細胞、細胞下成分等)を自動的に選択してもよい。これらの共通の特徴は、1つ以上のバイオマーカーの同様の発現レベル、生物学的単位の同様又は同一の形態学的特性、生物学的単位の同様又は同一の機能的特性、前述した特徴のいずれかの組み合わせ、生物組織のある共通の領域、並びにこれらに類するものを含んでもよいが、これらに限定されない。
ステップ2416では、例示的な実施形態では、視界のアスペクトの選択は、1つ以上の一時的でないコンピュータ読取可能媒体上でエンコードされ、コンピュータ実行可能命令として実現される教師あり学習方法又はアルゴリズムを使用して、自動的に拡大されてもよい。教師あり学習方法は、1つ以上の追加のアスペクトを、1つ以上の同様の特徴を有する同じデータコホートに含めることにより、視界のアスペクトの選択を拡大してもよい。例えば、ユーザが、1つ以上の生物学的単位を選択する場合、例示的な実施形態は、ユーザ選択された生物学的単位として、1つ以上の同様の特徴を有するコホートにおける1つ以上の追加の生物学的単位により、選択を拡大してもよい。
ステップ2418では、ユーザインターフェースは、ステップ2414で選択された視界のアスペクト又はステップ2416の拡大された選択を、選択的に表示又は強調してもよい。例示的な実施形態では、1組の生物学的単位(例えば、細胞)が選択される場合、ユーザインターフェースは、例えば、選択された細胞においてバイオマーカー発現レベルを表すさらに高いカラー明度を使用して、選択された細胞を強調してもよい。
ステップ2420では、例示的な実施形態は、選択された臨床転帰と、視界の選択されたアスペクトに対応する、患者のコホートに対するデータとの間で相関解析を自動的に実行してもよい。例示的な実施形態では、1組の生物学的単位(例えば、細胞)が選択される場合、例示的な実施形態は、選択された臨床転帰が、コホートに対するデータにおける生物学的単位の1つ以上の特徴特性と相関があるかを決定してもよい。
ステップ2422では、例示的な実施形態は、視覚的ディスプレイデバイス上にレンダリングされたユーザインターフェース上で、相関解析の結果を表示してもよい。
ステップ2424では、例示的な実施形態は、相関解析の結果を、データベース中又は記憶デバイス中に記憶してもよい。
図24Bは、臨床転帰と、生物組織の視界において実行された選択の特性であるコホートデータセットにおける1つ以上の特徴との間の正の相関又は負の相関を決定するための方法のフローチャートである。
ステップ2452では、グラフィックユーザインターフェースが視覚的ディスプレイデバイス上にレンダリングされる。
ステップ2454では、視界選択コンポーネントが、グラフィックユーザインターフェース上にレンダリングされてもよい。視界選択コンポーネントにより、ユーザが、組織プロファイルデータを含むコホートのデータセットから生物組織の視界を選択できるようになる。データセット中の組織プロファイルデータは、生物組織の1つ以上の視界においてオーバーレイ方法で表示される1つ以上のバイオマーカーの発現を捕捉する多重化されたバイオマーカー画像を含んでもよい。任意の数のバイオマーカー発現オーバーレイが、同じ視界で表示されてもよく、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19及び20を含むが、これらに限定されない。異なるオーバーレイにおける異なるオーバーレイの発現レベルは、混乱を避けるために、及び、バイオマーカーレベルを互いに視覚的に区別できるようにするために、異なるカラーで表示されてもよい。
ステップ2456では、ユーザが、ユーザインターフェースにおいて表示された生物組織に関係するかもしれない臨床転帰を選択することが可能になる臨床転帰選択コンポーネントが、グラフィックユーザインターフェース上にレンダリングされてもよい。
ステップ2458では、ユーザインターフェースは、視界選択コンポーネントにおいて、生物組織の視界を選択するユーザ入力を受信してもよい。ユーザインターフェースはまた、その発現レベルが生物組織の選択された視界において表示されることになる1つ以上のバイオマーカーを選択するユーザ入力を受信してもよい。
ステップ2460では、ユーザ入力に応答して、ユーザインターフェースは、選択された1つ以上のバイオマーカーの発現レベルが1つ以上の対応するカラーの明度として示されている、生物組織の選択された視界の画像をレンダリングしてもよい。
ステップ2462では、ユーザインターフェースは、臨床転帰選択コンポーネントにおいて、臨床転帰、例えば、疾患又は組織状態の陽性診断、疾患又は組織状態の陰性診断、疾患の予後、薬物反応の予測、臨床的に関連のあるグループへの階層化並びにこれらに類するものを選択するユーザ入力を受信してもよい。
ステップ2464では、例示的な実施形態では、ユーザインターフェースは、ユーザインターフェースにおいて表示される視界の1つ以上のアスペクトを選択するユーザ入力を受信してもよい。例示的な視界の選択可能なアスペクトは、1つ以上の生物学的単位、視界における1つ以上の領域、1つ以上の形態学的特性、1つ以上の機能特性、1つ以上のバイオマーカー、1つ以上のDNA配列及びこれらに類するものを含んでもよいが、これらに限定されない。
別の例示的な実施形態では、視界のアスペクトは、例えば、1つ以上の一時的でないコンピュータ読取可能媒体上でエンコードされ、アスペクトをクラスタリングするコンピュータ実行可能命令として実現されるクラスタリング方法又はアルゴリズムにより、自動的に選択されてもよい。例えば、クラスタリング方法は、1つ以上の共通の特徴に基づいてクラスタリングされる1つ以上の生物学的単位(例えば、細胞、細胞下成分等)を自動的に選択してもよい。これらの共通の特徴は、1つ以上のバイオマーカーの同様の発現レベル、生物学的単位の同様又は同一の形態学的特性、生物学的単位の同様又は同一の機能的特性、前述した特徴のいずれかの組み合わせ、生物組織のある共通の領域、並びにこれらに類するものを含んでもよいが、これらに限定されない。
ステップ2466では、例示的な実施形態では、視界のアスペクトの選択は、1つ以上の一時的でないコンピュータ読取可能媒体上でエンコードされ、コンピュータ実行可能命令として実現される教師あり学習方法又はアルゴリズムを使用して、自動的に拡大されてもよい。教師あり学習方法は、1つ以上の追加のアスペクトを、1つ以上の同様の特徴を有する同じデータコホートに含めることにより、視界のアスペクトの選択を拡大してもよい。例えば、ユーザが、1つ以上の生物学的単位を選択する場合、例示的な実施形態は、ユーザ選択された生物学的単位として、1つ以上の同様の特徴を有するコホートにおける1つ以上の追加の生物学的単位により、選択を拡大してもよい。
ステップ2468では、ユーザインターフェースは、ステップ2464で選択された視界のアスペクト又はステップ2466の拡大された選択を、選択的に表示又は強調してもよい。例示的な実施形態では、1組の生物学的単位(例えば、細胞)が選択される場合、ユーザインターフェースは、例えば、選択された細胞においてバイオマーカー発現レベルを表すさらに高いカラー明度を使用して、選択された細胞を強調してもよい。
ステップ2470では、臨床転帰及び視界の1つ以上のアスペクト(例えば、細胞のタイプ)の選択時に、例示的な実施形態は、選択された臨床転帰と、患者のコホート全体に対する選択された細胞のタイプに関するデータとの間で相関解析を自動的に実行してもよい。例えば、細胞のタイプが第1の患者に対応する視界において選択される場合、相関解析は、第1の患者が属する患者のコホート全体に対する選択された細胞のタイプに関するデータに対して実行されてもよい。
ステップ2472では、例示的な実施形態は、視覚的ディスプレイデバイス上にレンダリングされたユーザインターフェース上で、相関解析の結果を表示してもよい。
ステップ2474では、例示的な実施形態は、相関解析の結果を、データベース中又は記憶デバイス中に記憶してもよい。
画像解析の例示的な品質スコアリング
例示的な実施形態は、ユーザが、生物組織の1つ以上の画像上で実行される画像の品質レビュー又は統計解析を実行できるように、ユーザインターフェースを提供又は構成してもよい。例示的なユーザインターフェースは、生物組織の画像上でオーバーレイ方法で実行される画像解析方法の結果を表示する。例示的なユーザインターフェースにより、ユーザが、画像上で実行される画像解析の品質のユーザ評価を示す1つ以上の品質レビュースコアを、ユーザインターフェース上で直接提供することが可能になる。例示的な実施形態は、画像解析方法及び生物組織の画像に関係して、ユーザにより提供される品質レビュースコアを記憶してもよい。
例示的な実施形態では、生物組織の選択された視界の1つ以上の画像がユーザインターフェース上にレンダリングされてもよい。例示的な実施形態では、ユーザインターフェースは、選択された視界の画像上に、表示された画像上で実行された画像セグメンテーション方法の1つ以上の結果をオーバーレイしてもよい。画像セグメンテーションは、デジタル画像を複数のセグメントに区分するプロセスであり、典型的に、画像中のオブジェクト及び境界を位置付けるために使用される。画像セグメンテーション方法は、生物組織の視界に対応する多重化されたバイオマーカー画像データを処理して、対象となる1つ以上の生物学的単位(例えば、細胞、細胞下の成分、細胞の集合)を線引きする1つ以上のセグメントの組を生成させてもよい。画像セグメンテーション方法の結果を、選択された視界の画像上にオーバーレイすることにより、ユーザインターフェースにより、ユーザが、画像の結果を評価し、品質スコアを提供することが可能になる。
例示的な画像セグメンテーション方法は、オーバーラップセグメンテーション方法又はオーバーラップのないセグメンテーション方法を含んでもよい。図27は、生物組織の画像上で実行されるオーバーラップのないセグメンテーション方法の結果が、生物組織の画像上にオーバーレイされるユーザインターフェースを示す。図28は、生物組織の画像上で実行されるセグメンテーション方法の結果が、生物組織の画像上にオーバーレイされるユーザインターフェースを示す。
図25は、生物組織の1つ以上の画像並びに/或いは形態学的解析又は統計解析の1つ以上の結果を表示するためのディスプレイパネル502と、選択パネル702とを含む例示的なユーザインターフェースを示す。選択パネル702は、図7に関連して記述され、ユーザが、ディスプレイパネル502において方法の結果を表示するために、1つ以上の画像解析方法を選択することが可能になってもよい。選択パネル702は、選択された解析方法の結果を表す1つ以上のカラーを選択するためのカラー選択ツールを提供してもよい。例えば、ユーザは、画像セグメンテーション方法により識別される細胞が、ディスプレイパネル502上で青の単位として表示されることを指定してもよい。別の例では、ユーザは、画像セグメンテーション方法により識別された細胞膜がディスプレイパネル502上で青の線として表示されることを指定してもよい。
選択パネル702は、選択された形態学的解析の結果を表す1つ以上の透過度を選択するための透過度選択ツール(例えば、0%の透過度と100%の透過度の間でスライド可能なスライドバー)を提供してもよい。画像レイヤの透過度は、下にあるレイヤが部分的に可視になるように、光がレイヤを通過する程度である。下にあるレイヤの可視性の程度は、透過度レベルにより制御される。例えば、ユーザは、第1の形態学的解析の結果が、ディスプレイパネル502中の画像上で、50%の透過度の線及びカラーにより表されることを指定してもよい。図26Aは、透過度0%又は不透明度100%でのバイオマーカー画像の上のオーバーレイされるセグメンテーション結果マスクを示す。図26Bは、透過度60%又は不透明度40%でオーバーレイされるセグメンテーション結果マスクを示し、下にあるバイオマーカー画像は、セグメンテーションマスクを通して可視である。
例示的な実施形態では、選択パネル702はまた、選択された解析方法の結果のオーバーレイのコントラスト及び/又は輝度を選択並びに調整するオプションを提供してもよい。
選択パネル702はまた、ユーザが、1つ以上の品質スコアを提供できるようになるための品質レビュー選択コンポーネント2504を含んでもよい。例示的な実施形態では、品質レビュー選択コンポーネント2504は、ユーザが、画像セグメンテーション方法のパフォーマンスの評価を示す1つ以上の品質選択コンポーネント2506を提供できるようになるセグメンテーション品質選択コンポーネント2506を含んでもよい。例えば、ユーザは、画像上の位置が個別の細胞を含むことを決定したが、画像セグメンテーション方法の結果がその位置に細胞膜を示さない場合に、ユーザは、画像セグメンテーション方法が細胞をその位置に位置付けることに失敗したと決定してもよい。これは、ユーザインターフェース上の品質レビュー選択コンポーネントにおいて、ユーザにより提供されるセグメンテーション品質スコアに影響を与えるかもしれない。例示的な実施形態では、ユーザインターフェースにより、ユーザが、画像上の画像セグメンテーション方法により正しく識別されない1つ以上の生物学的単位を直接識別することが可能になってもよい。これは、画像セグメンテーション方法の結果及びパフォーマンスの後続するレビューを可能にしてもよい。
例示的な実施形態は、特定のタイプの生物組織の1つ以上の画像上で実行される特定の画像セグメンテーション方法に対応して、1つ以上のセグメンテーション品質スコアが、予め規定された品質閾値を下回るかを自動的に決定してもよい。セグメンテーション品質スコアのうちの1つ以上が、品質閾値を下回る場合に、例示的な実施形態は、特定の画像セグメンテーション方法が、そのタイプの生物組織を処理するのに適さないことを自動的に決定してもよい。このケースでは、画像セグメンテーション方法が、そのタイプの生物組織の画像の処理に適さないという表示が提供されてもよく、改良及び/又は置換が必要とされる。
品質レビュー選択コンポーネント2504は、ユーザが、生物組織の画像を捕捉する前に生物組織を処理するのに使用されるマーカーの品質の評価を示す1つ以上のマーカーを提供できるようになるマーカー品質選択コンポーネント2508を含んでもよい。例えば、画像セグメンテーション方法が、あるタイプの生物組織に非常適していると決定されたが、画像セグメンテーション方法の結果が、特定の画像のそのタイプの生物組織と一致しない場合に、ユーザは、生物組織を処理するのに使用されるバイオマーカーが適していないことを決定してもよい。これは、ユーザインターフェース上の品質レビュー選択コンポーネントにおいてユーザにより提供されるマーカー品質スコアに影響を与えるかもしれない。
例示的な実施形態は、特定のマーカーを使用して生物組織を処理することにより取得される1つ以上の画像に対応して、1つ以上のマーカー品質スコアが、予め規定された品質閾値を下回るかを自動的に決定してもよい。マーカー品質スコアのうちの1つ以上が品質閾値を下回る場合に、例示的な実施形態は、特定のマーカーが、そのタイプの生物組織を処理するのに適さないことを決定してもよい。したがって、マーカーが、不良の複数のマーカー品質スコアに関係する場合に、これは、マーカーが、生物組織を処理するのに適さないことを示してもよい。このケースでは、マーカーがそのタイプの生物組織を処理するのに適さないという表示が提供されてもよく、置換される必要がある。
品質レビュー選択コンポーネント2504は、ユーザが、品質レビュー選択コンポーネントを使用して提供される1つ以上の品質レビュースコアを保存できるようになる「レビューを保存」ツール2510を含んでもよい。応答して、ユーザインターフェースは、品質レビュースコアを記憶デバイスに記憶するための命令を送ってもよい。例示的な実施形態では、品質レビュースコアは、生物組織に対応する視界に対応するデータに関係して、及び、選択された形態学的解析に関係して、記憶されてもよい。例示的な実施形態では、命令は、品質レビュースコアが、品質レビュースコアを提供したユーザの識別に関係して記憶されることになることを示してもよい。この実施形態では、品質レビュースコアは、品質レビュースコアを提供したユーザの識別に関係して記憶されてもよい。
図29に示すように、「レビューを保存」ツールの選択時に、ユーザが、品質レビュースコアを保存するためのデータベース中の位置又はファイル構造を選択できるようになるファイル位置選択コンポーネント2902がユーザインターフェース上で表示されてもよい。ユーザが、ファイル位置選択コンポーネント2902中の位置の選択に失敗した場合に、品質レビュースコアは、デフォルト位置に保存されてもよい。
品質レビュー選択コンポーネント2504は、ユーザが、ディスプレイパネル502に表示される画像を生物組織の異なる視界の画像と置換することが可能になる「次のスポット」ツール2512を含んでもよい。さらに、解析方法が選択された場合に、新規に選択された視界の画像上で実行される選択された解析の結果が、ディスプレイパネル502上に自動的にオーバーレイされてもよい。それにより、「次のスポット」オプション2512は、ユーザが、ユーザインターフェースを使用する単一のセッション中で、生物組織の複数の視界に対する品質レビュースコアを評価し、提供することが可能になる。
品質レビュー選択コンポーネント2504により、ユーザが、以前に画像に提供された1つ以上の品質レビュースコアを調整するために、以前に表示された画像をロードすることも可能になる。これは、ユーザが、同じ画像を再評価し、再評価に基づいて、品質レビュースコアを調整する柔軟性を可能にする。
品質レビュー選択コンポーネント2504は、ユーザが、ディスプレイパネル502において表示される第1の画像を、第1の画像の取得に使用されたバイオマーカーとは異なるバイオマーカーにより生物組織を処理することにより取得される生物組織の同じ視界の異なる画像と置換することが可能になる「次のマーカー」ツール2514を含んでもよい。ユーザ入力に応答して、ユーザインターフェースは、形態学的解析の結果の表現により第2の画像がオーバーレイされるように、選択された形態学的解析の表現をレンダリングし続けている間に、生物組織の選択された視界の第2の異なる画像をレンダリングしてもよい。例示的な実施形態では、第2の画像は、ユーザインターフェース上で第1の画像と置換してもよい。別の例示的な実施形態では、第2の画像の結果は、ユーザインターフェース上で第1の画像にオーバーレイされてもよい。
図30は、ユーザから画像解析方法の結果の品質レビューを実行することを可能にするための例示的な実施形態で実行される例示的なコンピュータ実現方法を示すフローチャートである。
ステップ3002では、グラフィックユーザインターフェースは、視覚的ディスプレイデバイス上にレンダリングされる。
ステップ3004では、視界選択コンポーネントが、グラフィックユーザインターフェース上にレンダリングされてもよい。視界選択コンポーネントにより、ユーザが、組織プロファイルデータを含むデータセットから生物組織の視界を選択できるようになる。データセット中の組織プロファイルデータは、生物組織の複数の視界において1つ以上のバイオマーカーの発現を捕捉する多重化されたバイオマーカー画像を含んでもよい。
ステップ3006では、ユーザが、画像解析方法を選択できるようになるための解析選択コンポーネントが、グラフィックユーザインターフェース上にレンダリングされてもよい。
ステップ3008では、ユーザが、ユーザインターフェース上に表示されるような選択された解析の結果の品質の自身の評価を示すことができるようになるための品質レビュー選択コンポーネントが、グラフィックユーザインターフェース上にレンダリングされてもよい。
ステップ3010では、ユーザインターフェースは、視界選択コンポーネントにおいて、生物組織の視界を選択するユーザ入力を受信してもよい。ステップ3012では、ユーザ入力に応答して、ユーザインターフェースは、生物組織の選択され得た視界の画像をレンダリングしてもよい。
ステップ3014では、ユーザインターフェースは、解析選択コンポーネントにおいて、解析方法を、例えば、画像セグメンテーションを、選択するユーザ入力を受信してもよい。ステップ3016では、ユーザ入力に応答して、ユーザインターフェースは、生物組織の視界の画像上に、選択された解析方法の結果をオーバーレイしてもよい。
ステップ3018では、例示的な実施形態では、ユーザインターフェースは、品質レビュー選択コンポーネントにおいて、ユーザが、選択された解析方法の結果の品質の自身の評価を示すことにより提供される1つ以上の品質レビュースコアを受信してもよい。
ステップ3020では、例示的な実施形態では、ユーザインターフェースは、品質レビュースコアを記憶デバイス上に記憶するための命令を送ってもよい。
ステップ3022では、例示的な実施形態は、品質レビュースコアをデータべース上又は記憶デバイス上に記憶してもよい。
例示的なサービスアーキテクチャ及びオブジェクト指向型実現
図31に示すように、例示的な実施形態は、サービスベースアーキテクチャを使用して実現されてもよい。例示的なサービスベースアーキテクチャは、生物組織の多重化された画像に関係する画像及び/又はテキストデータを記憶するためのデータレイヤ3102と、視覚的ディスプレイデバイス上で画像及び/又はテキストデータを表示するためのユーザインターフェース(UI)レイヤ3106と、生のデータ及び/又は処理されたデータを、UIレイヤを使用して表示できるように、データレイヤに記憶されたデータへのアクセスを実行し、操作を処理するための論理レイヤ3104とを含んでもよい。当業者は、図31に示すサービスアーキテクチャが、例示的なアーキテクチャであり、他の適切なサービスベースアーキテクチャを使用して例示的な実施形態を実現してもよいことを認識するだろう。
データレイヤは、複数の試験、複数の患者並びに複数のスライド及びスポットに対応する大容量の複合データを記憶するように、構造化及び構成されていてもよい。データレイヤは、何らかのユーザ選択されたデータが、ユーザに優しく、時間的に効率がよく、構造化されているが、柔軟な方法でアクセス可能であるように、組織されてもよい。データレイヤは、論理レイヤ及び/又はUIレイヤから1つ以上のデータアクセス要求を受信してもよい。応答して、データレイヤは、適切なデータベース中の要求されたデータにアクセスし、要求されたデータを、要求を行ったレイヤに送信してもよい。データレイヤはまた、書き込み、更新、削除、総計、フィルタリング及びこれらに類するものを含むが、これらに限定されない1つ以上のデータの手動操作を実行してもよい。例示的なデータレイヤは、1つ以上のデータ記憶デバイス及び構造を、例えば、オブジェクト指向型データベース、関係データベース、テキストファイルの集合、画像ファイルの集合及びこれらに類するもののようなデータベースを含んでもよい。
論理レイヤは、データレイヤからのデータにアクセスし、データレイヤから受信したデータを処理するためのコンピュータ実行可能な命令、プログラム又はソフトウェアである1つ以上のサービスを含んでもよい。論理レイヤにより実行されてもよい例示的なデータ処理操作は、生物組織の選択された視界に対応する画像オーバーレイの生成、生物学的単位の視覚化の生成、バイオマーカー発現レベルの視覚化の生成、DNA配列の視覚化の生成及びこれらに類するものを含んでもよいが、これらに限定されない。論理レイヤは、1つ以上のデータアクセスを受信し、及び/又は、UIレイヤからの要求を処理してもよく、必要なデータにアクセスするためにデータレイヤに照会(query)してもよい。要求されたデータをデータレイヤから受信したときに、論理レイヤは、データに関する操作を処理する1つ以上の適切なデータを実行してもよい。その後、論理レイヤは、処理されたデータをUIレイヤに送信してもよい。いくつかの例示的な実施形態では、論理レイヤにおけるあるサービスは、データソースからの複数のデータアクセスを実行するために、データアクセスが信頼できる方法で維持されるように、データレイヤにおいてデータソースを位置付け、データソースに結合されてもよい。
UIレイヤは、人が見ることのできる入力及び出力を含む、視覚ディスプレイデバイス上にレンダリングされる1つ以上のユーザインターフェースを提供及び管理するための、コンピュータ実行可能な命令、プログラム又はソフトウェアである1つ以上のサービスを含んでもよい。UIレイヤにより、ユーザインターフェースが、ユーザインターフェース上で表示されることになるデータのパラメータを指定する、ユーザからの入力を受信することが可能になってもよい。1つの例では、ユーザは、自身が、特定の試験、特定のスライド、特定のスポット及びこれらに類するものに対応するデータのビューを希望していることを指定してもよい。別の例では、ユーザは、自身が、1つ以上のバイオマーカーの発現レベルのビューを希望していることを指定してもよい。別の例では、ユーザは、自身が、1つ以上のDNA配列の発現及び非発現のビューを希望していることを指定してもよい。別の例では、ユーザは、自身が、ある特性を満たす生物学的単位のビューを希望していることを指定してもよい。別の例では、ユーザは、自身が、画像セグメンテーションの結果のビューを希望していることを指定してもよい。
UIレイヤは、ユーザ入力を受信してもよく、UIレイヤにおいて表示されるデータに対するデータレイヤを直接要求してもよい。例示的な実施形態では、UIレイヤは、処理されたデータの論理レイヤを要求してもよい。論理レイヤが、要求された処理データを戻すときに、UIレイヤは、ユーザに優しい方法で、1つ以上のユーザインターフェース上にデータを選択的に表示してもよい。いくかの例示的な実施形態では、UIレイヤにおけるあるサービスは、論理レイヤにより提供されるサービスを位置付け、結合してもよい。
アーキテクチャにおいて規定されたデータレイヤ、論理レイヤ及びUIレイヤの間の通信は、各サービスに一体化されたネットワーク通信プロトコル3108により達成されてもよい。ネットワーク接続プロトコルにより、任意のレイヤが、他の何らかのレイヤにより提供される操作及び機能を呼び出すことが可能になってもよい。TCP/IP、HOP、HTTP及びこれらに類するものを含むが、これらに限定されない任意の適切なネットワーク接続プロトコルが使用されてもよい。
いくつかの例示的な実施形態では、データレイヤ、論理レイヤ並びにUIレイヤの構造、機能及び操作は、適切なオブジェクト指向型プログラミング言語で、例えば、Java(登録商標)で実現されてもよい。
図32は、データレイヤ3102の例示的なオブジェクト指向型実現を示すブロック図である。例示的なデータレイヤは、適用のためのメタデータを読み込み、記憶するようにクラスのデザインを定めるインターフェースクラスである「PathMetaData」3202という名のクラスを含んでもよい。クラスは、取り扱う画像のタイプ、画像のファイル名及び/又は統計データファイル、画像の数、並びにこれらに類するもののような、適用のための全てのメタデータを管理してもよい。クラスに対する例示的な入力は、フラットファイル、データベース接続及びこれらに類するもののような、メタデータのソースを含んでもよいが、これに限定されない。
例示的なデータレイヤはまた、データアクセスのための適用をセットアップするクラスのデザインを定めるインターフェースクラスである「PathData」3204という名のクラスを含んでもよい。クラスは、異なるタイプの画像及び/又は統計データ、ブックキーピング変数(例えば、スライド/スポットの数、マーカーの数、統計リスト)並びにこれらに類するものに対するファイルアクセスパスを管理してもよい。クラスに対する例示的な入力は、PathMetaDataインターフェースクラスから導出されるクラスを含んでもよいが、これに限定されない。試験に対するファイルアクセスパスの受信に応答して、「PathData」クラスは、選択された試験/スライド/スポットに対応する全ての画像及び/又はテキストデータを検索し、検索したデータを収容する1つ以上の適切なデータ構造を作成してもよい。例示的な実施形態では、「PathData」クラスにより検索された特定の試験/スライド/スポットに対応するデータは、識別子により、例えば、異なるスライドに対する識別子、異なるスポットに対する識別子、バイオマーカー又はDNA配列に対する識別子並びにこれらに類するものによりインデックス付けされた構造化アレイに記憶されてもよい。試験/スライド/スポットに対応するデータのアレイ組織における記憶及びデータのインデックス付けにより、特定に試験に対応する選択されたデータの容易で時間的に効率のよい検索が可能になる。
例示的なデータレイヤは、必要であれば、画像を読み込み、指定された次数で画像のリストを埋める(populating)ためのクラスのデザインを定めるインターフェースクラスである「PathImageData」3206という名のクラスを含んでもよい。クラスは、ファイル及び/又は画像をデータベース中に、データアクセス操作中に一時データ及び/又は変数を記憶するように割り振られているメモリ中に、並びにこれらに類するものに読み込むために、1つ以上のファイルストリームを管理してもよい。クラスに対する例示的な入力は、PathDataインターフェースクラスから導出されるクラス、読み込まれる特定の画像に関する情報、及びこれらに類するものを含んでもよいが、これらに限定されない。データのタイプ又は位置を指定する入力を受信したことに応答して、「PathImageData」クラスは、「PathData」クラスにより生成されたデータ構造に照会し、入力中で指定されたデータを選択的に検索してもよい。例示的な実施形態では、「PathImageData」クラスは、「PathData」クラスから要求されたデータのみをロードしてもよく、これにより、データの時間的に効率のよい検索及び処理が可能になる。「PathData」クラス中の要求されたデータにアクセスした後、「PathImageData」クラスは、論理レイヤ及び/又はUIレイヤにデータを送信してもよい。「PathImageData」クラスは、例えば、データの集合ブロック、ストリーミングデータ及びこれらに類するもののような、何らかの適切なフォーマットでデータを送信してもよい。
当業者は、1つ以上の追加クラス又は図32で示すものよりも少ないクラスが、データレイヤに含まれてもよいことを認識するだろう。
図33は、論理レイヤ3104の例示的なオブジェクト指向型実現を示すブロック図である。例示的な論理レイヤは、指定された画像ビューアを実現又は使用するためのクラスのデザインを定めるインターフェースクラスである「PathImageRender」3302という名のクラスを含んでもよい。例示的な実施形態では、「PathImageRender」クラスは、UIレイヤから要求及び入力を受信してもよく、データレイヤの「PathImageData」クラスからの要求されたデータを要求してもよい。次に、「PathImageRender」クラスは、受信したデータを処理し、UIレイヤを使用して表示するための生のデータ及び/又は処理されたデータを送信してもよい。「PathImageRender」クラスの例示的な操作は、UIレイヤにレンダリングするための生物組織の画像及びマップの作成、バイオマーカー及び/又はDNA配列の発現のオーバーレイの作成、画像及びマップのカラー、コントラスト/輝度及び/又は透過度の設定及び/又は変更並びにこれらに類するものを含むが、これらに限定されない。
「PathImageRender」クラスは、オーバーレイの管理、ウィンドウ−レベル及びウィンドウ幅の変数の管理、ズーム及びパンの変数の管理、直近で生成されたカラーオーバーレイの管理、オーバーレイのクリア並びにこれらに類するものを含むが、これらに限定されない、画像ビューアを実現又は使用するのに必要とされる全てのアスペクトを管理してもよい。
例示的な論理レイヤは、カラーオーバーレイを生成するのに使用される任意のクラスに対するデザインを定めるインターフェースクラスである「PathColorOverlays」3304という名のクラスを含んでもよい。クラスに対する例示的な入力は、1つ以上の画像、カラー表示に対するユーザ指定されたパラメータ及びこれらに類するものを含むが、これらに限定されない。クラスは、オーバーレイで使用されるカラー、表示されるマップのインデックス、入力画像及び他のユーザ指定されたパラメータのような、カラーオーバーレイの全てのアスペクトを管理してもよい。
例示的な論理レイヤは、統計データに読み込むのに使用される任意のクラスに対するデザインを定めるインターフェースクラスである「PathStats」3306という名のクラスを含んでもよい。例示的な実施形態では、「PathStats」クラスは、UIレイヤとインターフェースして、要求を受信してもよく、統計解析に対する入力アクセスとして受信してもよい。例示的な実施形態では、「PathStats」クラスは、統計データの視覚化に関係する1つ以上の操作を実行してもよい。「PathStats」クラスで生成される、又は、読み込まれる統計解析及び/又は視覚化は、1つ以上のユーザインターフェース上で表示するためにUIレイヤに送信されてもよい。クラスは、細胞ID(例えば、単一細胞解析)、使用された統計のタイプ、個別の統計値及びこれらに類するものを含むが、これらに限定されない、指定された統計解析の全てのアスペクトを管理してもよい。
例示的な論理レイヤは、指定された画像フォーマットを読み込むのに使用される任意のクラスに対するデザインを定めるインターフェースクラスである「GenericImageReaders」3308という名のクラスを含んでもよい。クラスに対する例示的な入力は、1つ以上のファイルストリーム並びに/或いは画像又は画像フォーマットに対する1つ以上のファイル名を含んでもよいが、これらに限定されない。クラスは、指定された画像フォーマットに対する全てのアスペクトを管理してもよい。
例示的な実施形態では、論理レイヤは、例示的な実施形態において、1つ以上の同様又は同一の特性を有する単位のクラスターを識別するための、複数の生物学的単位における1つ以上のクラスタリング方法或いはアルゴリズム実行する(示されていない)「PathCluster」という名のクラスを含んでもよい。例示的な特性は、形態学的特性、機能的特性、バイオマーカー発現レベル及びこれらに類するものを含むが、これらに限定されない。例えば、クラスタリング方法は、第1のバイオマーカーの高い発現レベルを有する第1のクラスターの細胞、第2のバイオマーカーの高い発現レベルを有する第2のクラスターの細胞、閾値サイズより大きい第3のクラスターの細胞及びこれらに類するものを識別してもよい。「PathCluster」クラスにより識別された生物学的単位のクラスターに基づいて、「PathImageRender」は、ユーザインターフェース上で表示するための異なる対応するカラーで識別されたクラスターの視覚化を生成してもよい。
例示的な実施形態では、論理レイヤは、例示的な実施形態において、1つ以上の選択基準を満たす単位を選択するために生物学的単位上でクエリを実行する(示されていない)「PathQueries」という名のクラスを含んでもよい。例示的な選択基準は、1つ以上の形態学的特性、1つ以上のバイオマーカー発現レベル、1つ以上の機能的特性及びこれらに類するものを含んでもよいが、これらに限定されない。選択基準を満たす1つ以上の生物学的単位の「PathQueries」クラスによる識別に基づいて、「PathImageRender」は、ユーザインターフェース上で表示するために、識別された生物学的単位の視覚化を異なるカラーで生成させてもよい。
当業者は、1つ以上の追加クラス又は図33で示すものよりも少ないクラスが、論理レイヤに含まれてもよいことを認識するだろう。
UIレイヤは、視覚的ディスプレイデバイス上に1つ以上のユーザインターフェースをレンダリングするための1つ以上のクラス及び/又は1つ以上の方法を規定並びに実現してもよい。例示的なユーザインターフェースは、データレイヤから、ユーザ選択及びデータを受信してもよい。応答して、ユーザインターフェースは、ユーザにより要求された画像及び/又はテキストデータをレンダリング或いは表示してもよい。
例示的な実施形態では、ユーザインターフェースは、ユーザにより行われた選択を記録するためにブックキーピングを実行してもよい。ユーザインターフェースは、ユーザにより選択される1つ以上のオーバーレイマスクにロードしてもよく、ユーザが、オーバーレイマスクを表示するためのカラー並びにコントラスト/輝度レベルを設定及び変更することが可能になってもよい。1つの例では、オーバーレイマスクは、ユーザ選択されたマーカーの発現レベルを表示してもよい。別の例では、オーバーレイマスクは、ユーザ選択されたDNA配列の発現又は非発現を表示してもよい。DNA配列の発現又は非発現に対応する画像データは、蛍光in situハイブリダイゼーション(FISH)を使用して取得されてもよい。例示的な実施形態では、ユーザインターフェースは、ユーザ選択されたオーバーレイマスクと、ユーザ選択されたオーバーレイマスクを表示するためのユーザ選択されたカラー並びにコントラスト/輝度を記録及び記憶するためにブックキーピングを実行してもよい。
データレイヤ、論理レイヤ及びUIレイヤは、例示的な実施形態にしたがって、ユーザインターフェース上にレンダリングされる異なるタイプの生物学的単位に対するクラスを規定してもよい。例えば、「BiologicalUnit」クラスは、例えば、核、細胞、組織、膜及びこれらに類するもののような、生物学的単位を全般的に規定するために提供されてもよい。生物学的単位の各タイプに対して、例えば、核を規定するための「Nucleus」クラス、細胞を規定するための「Cell」クラス及びこれらに類するもののような、1つ以上のクラスが規定されてもよい。例示的な実施形態では、「BiologicalUnit」クラスは、特定の「Cell」、「Nuclei」等のクラスにより実現されるインターフェースであってもよい。1つ以上のサブクラスは、例えば、筋細胞を規定するための「Myocyte」クラスのような、細胞の特定のタイプを規定するために、「Cell」クラスに基づいて規定されてもよい。
クラスは、ゼロ、クラスオブジェクトの性質又は特性に関係する1つ以上の属性の表示を含んでもよい。属性値は、クラスがインスタンス生成されたときに特定のクラスオブジェクトに対して指定されてもよい。クラスはまた、ゼロ、プログラムランタイムにおいてクラスオブジェクトにより示されるふるまいに関係した1つ以上の方法を含んでもよい。方法は、クラスオブジェクトに記憶されたデータへのアクセスを有していてもよく、クラスオブジェクトの属性を制御又は設定することが可能であってもよい。各クラスに対して、1つ以上のインスタンスが生成されてもよく、例えば、細胞オブジェクトは、「Cell」クラスからインスタンス生成されてもよく、核オブジェクトは、「Nuclei」クラスからインスタンス生成されてもよく、これらに類することが行われてもよい。オブジェクトインスタンス生成は、オブジェクトの状態は現在のセッション中に保存され、将来のセッションに対してメモリからリロードすることができるように、持続的なものであってもよい。
図34は、生物組織において細胞を規定するための例示的な「Cell」クラス3400のブロック図である。当業者は、任意の適切なクラス構造及びクラスコンポーネントは、細胞を規定するために使用されてもよく、このような構造及びコンポーネントは図34の例示的な実施形態に限定されない。
クラス3400は、UIレイヤにおいて1つ以上のユーザインターフェースで表示されてもよい細胞に関係する1つ以上の属性3402を含んでもよい。属性は、細胞に対する固有の識別子、検体を識別する検体、細胞が識別されたテスト、スライド及びスポット識別子、細胞がその一部である組織を識別する組織識別子、並びにこれらに類するものを含んでもよいが、これらに限定されない。属性は、細胞に対応する1つ以上のタイプ(例えば、赤血球のような構造的タイプ、オーバーサイズのような形態学的タイプ、疾患のような診断タイプ、及びこれらに類するもの)、細胞のサイズ、細胞の境界(例えば、生物組織の画像上の細胞の境界)、細胞の位置(例えば、生物組織の画像上の細胞の位置)及びこれらに類するものを含んでもよいが、これらに限定されない。属性はまた、細胞に関係する1つ以上の発現レベル(例えば、1つ以上のバイオマーカーの発現レベル、1つ以上のDNA配列の発現)及びこれらに類するものを含んでもよいが、これらに限定されない。
クラス3400は、1つ以上の方法3404を含んでもよく、例示的な実施形態は、方法に関係するコードを生成させるコード生成モジュールを提供してもよい。コードは、方法にカプセル化された機能を実行するために、ランタイムにおいて実行されてもよい。
例示的な実施形態では、クラスは、クラスオブジェクトの1つ以上の属性の値を取得するための1つ以上の「get」方法と、クラスオブジェクトの1つ以上の値を設定するための1つ以上の「set」方法とを含んでもよい。例示的な実施形態では、「getIdentifier」方法及び「setIdentifier」方法により、細胞の固有の識別子を指定する「Identifier」属性の値を、それぞれ取得及び設定することが可能になってもよい。「getSmpleIdentifier」方法及び「setSampleIdentifer」方法により、細胞が識別された検体、検査、スライド、スポットを指定する「SampleIdentifier」属性の値をそれぞれ取得及び設定することが可能になってもよい。「getTissueIdentifier」方法及び「setTissueIdentifier」方法により、細胞がその一部である組織を指定する「TissueIdentifier」属性の値をそれぞれ取得及び設定することが可能になってもよい。「getType」方法及び「setType」方法により、細胞の1つ以上のタイプカテゴリ化をそれぞれ取得及び設定することが可能になってもよい。「getSize」方法及び「setSize」方法により、細胞のサイズをそれぞれ取得及び設定することが可能になってもよい。「getBoundaries」方法及び「setBoundaries」方法により、細胞の境界をそれぞれ取得及び設定することが可能になってもよい。
「getExpressionLevel」方法及び「setExpressionLevel」方法により、1つ以上のバイオマーカー及び/又は1つ以上のDNA配列の細胞における発現をそれぞれ取得及び設定することが可能になってもよい。複数の「getExpressionLevel」方法及び「setExpressionLevel」方法が提供されてもよく、各get及びset方法のペアは、その発現が細胞に対してレンダリングされてもよいバイオマーカー又はDNA配列に対応する。
「renderCell」方法は、ユーザインターフェース上で細胞の表現を視覚的にレンダリングするために提供されてもよい。例示的な実施形態では、「renderCell」方法は、細胞に対応する属性値を取得するために「get」方法を使用してもよく、細胞の表現をレンダリングする際に属性値を使用してもよい。
例示的な実施形態では、「Size」属性の値を、例えば、細胞の表現の相対的なサイズとして、ユーザインターフェース上にレンダリングしてもよい。例示的な実施形態では、「Boundaries」属性の値は、例えば、細胞の表現の境界を表すユーザインターフェース上のピクセルとして、ユーザインターフェース上にレンダリングされてもよい。例示的な実施形態では、「Location」属性の値は、例えば、囲まれた生物学的単位の表現の位置に対する、細胞の表現のユーザインターフェース上の位置を、ユーザインターフェース上にレンダリングしてもよい。例示的な実施形態では、「ExpressionLevel」属性の値は、例えば、細胞を表すカラーの明度として、ユーザインターフェース上にレンダリングされてもよい。
例示的な実施形態を記述する際に、明確さのために特定の用語が使用されてもよい。記述の目的のために、各特定の用語は、同様の目的を達成するために同様の方法で動作する技術的及び機能的均等物を少なくとも含むように意図されている。さらに、特定の例示的な実施形態が複数のシステムエレメント又は方法ステップを含むいくつかのインスタンスでは、これらのエレメント又はステップは、単一のエレメント又はステップと置換されてもよい。同様に、単一のエレメント又はステップは、同じ目的を果たす複数のエレメント又はステップと置換されてもよい。さらに、ここで、例示的な実施形態に対して様々な性質に対するパラメータが指定される場合に、これらのパラメータは、特に指定されない限り、1/20、1/10、1/5、1/3、1/2及びこれらに類するものにより上又は下に調整されてもよく、或いは、これらの近似値に丸み付けしてもよい。さらに、これらの特定の実施形態を参照して、例示的な実施形態が示され、記述されているが、当業者は、本発明の範囲を逸脱しないならば、形及び詳細における様々な代替及び変更がここで行われてもよいことを理解するだろう。またさらに、他の態様、機能及び利点も本発明の範囲内にある。
ここでは、例示的な目的及び非現適的な方法の例のために例示的なフローチャートが提供される。当業者は、例示的な方法が、例示的なフローチャートで示したものより多くのステップ又はより少ないステップを含んでもよいこと、並びに、例示的なフローチャートにおけるステップが、示されたのとは異なる順序で実行されてもよいことを認識するだろう。
100 コンピューティングデバイス
102 プロセッサ
102’ プロセッサ
104 コア
104’ コア
106 メモリ
108 キーボード、マルチポイントタッチインターフェース
110 ポインティングデバイス
112 ネットワークインターフェース
114 仮想マシン
116 オペレーティングシステム
118 視覚的ディスプレイデバイス
120 グラフィックユーザインターフェース
122 ネットワークデバイス
124 記憶デバイス
126 記憶装置
128 記憶装置
130 記憶装置
132 記憶装置
134 記憶装置
136 記憶装置
200 ネットワーク環境
202 サーバ
206 サーバ、クライアント
208 サーバ、クライアント
210 通信ネットワーク
300 ユーザインターフェース
302 終了コンポーネント
304 データソース選択コンポーネント
306 ファイル構造ブラウザ
402 構成選択コンポーネント
404 コンティニューコンポーネント
502 ディスプレイパネル
504 スポット選択コンポーネント
508 スポット選択コンポーネント、スポットブラウザツール
510 選択されたスライド−スポットツール
512 「選択されたスライド−スポット」ツール
514 「全てのスライド−スポットを追加」ツール
516 「選択されたスライド−スポットを削除」ツール
518 「全てのスライド−スポットを削除」ツール
602 マーカー選択コンポーネント
604 マーカーブラウザツール、ブラウザツール、マーカー選択コンポーネント
606 選択マーカーツール、マーカーツール
608 「選択されたマーカー」ツール
610 「全てのマーカーを追加」ツール
612 「選択されたマーカーを削除」ツール
614 「全てのマーカーを削除」ツール
702 選択パネル、解析選択コンポーネント
704 画像セグメンテーション
710 ヒートマップ
720 細胞除外
802 選択パネル
804 「次のスライド」コンポーネント
806 「次のスポット」コンポーネント
808 「スライド/スポット選択」コンポーネント
810 「次のマーカー」コンポーネント
812 「マーカー選択」コンポーネント
814 「ウィンドウ幅」コンポーネント
816 「ウィンドウレベル」コンポーネント
818 「ズーム入力」ツール
820 「パン入力」ツール
822 「生物学的単位クエリ」コンポーネント
824 「VHE」コンポーネント
826 「画像を保存」コンポーネント
828 「オーバーレイを作成」コンポーネント
902 ディスプレイパネル
1002 「オーバーレイ選択」パネル
1004 コンポーネント、選択コンポーネント
1006 コンポーネント、選択コンポーネント
1008 コンポーネント、選択コンポーネント
1012 「マーカー/DNA選択」ツール
1014 「カラー選択」ツール
1016 「ウィンドウ幅」コンポーネント
1018 「ウィンドウレベル」コンポーネント
1020 ディスプレイパネル
1022 ディスプレイパネル
1024 ディスプレイパネル
1028 プレビューパネル
1102 「細胞解析」コンポーネント、選択パネル
1104 「オーバーレイをクリア」ツール
1106 「ジェネリックヒートマップ」ツール
1108 「2トーン又はバイナリヒートマップ」ツール
1110 「連続的ヒートマップ」ツール
1112 「統計結果」ツール
1114 「透過度選択」ツール
1116 「マップをリフレッシュ」ツール
1402 ステップ
1404 ステップ
1406 ステップ
1408 ステップ
1410 ステップ
1412 ステップ
1414 ステップ
1416 ステップ
1418 ステップ
1502 ステップ
1504 ステップ
1506 ステップ
1508 ステップ
1510 ステップ
1512 ステップ
1514 ステップ
1516 ステップ
1518 ステップ
1600 ユーザインターフェース
1602 パネル、第1のディスプレイパネル
1604 パネル、第2のディスプレイパネル
1606 第3のディスプレイパネル、パネル
1608 第4のディスプレイパネル
1900 グラフィックユーザインターフェース
1910 形態学的表現、統計表現
1920 統計表現
1930 視界選択コンポーネント
1940 バイオマーカー選択コンポーネント
1950 発現レベル基準選択コンポーネント
1960 形態学的特徴選択コンポーネント
2000 ディスプレイパネル
2000 ユーザインターフェース
2002 ディスプレイパネル
2004 選択パネル
2006 マーカー選択コンポーネント
2006 選択パネル
2008 臨床転帰選択コンポーネント
2100 ユーザインターフェース
2102 ディスプレイパネル
2104 選択パネル
2106 臨床転帰選択コンポーネント
2108 細胞
2200 ユーザインターフェース
2202 ディスプレイパネル
2204 領域
2208 臨床転帰選択コンポーネント
2300 ユーザインターフェース
2302 ディスプレイパネル
2304 選択パネル
2306 形態学的特性選択コンポーネント
2308 臨床転帰選択コンポーネント
2402 ステップ
2404 ステップ
2406 ステップ
2408 ステップ
2410 ステップ
2412 ステップ
2414 ステップ
2416 ステップ
2418 ステップ
2420 ステップ
2422 ステップ
2424 ステップ
2452 ステップ
2454 ステップ
2456 ステップ
2458 ステップ
2460 ステップ
2462 ステップ
2464 ステップ
2466 ステップ
2468 ステップ
2470 ステップ
2472 ステップ
2474 ステップ
2504 品質レビュー選択コンポーネント
2506 品質選択コンポーネント、セグメンテーション品質選択コンポーネント
2508 マーカー品質選択コンポーネント
2510 「レビューを保存」ツール
2512 「次のスポット」ツール、「次のスポット」オプション
2514 「次のマーカー」ツール
2902 ファイル位置選択コンポーネント
3002 ステップ
3004 ステップ
3006 ステップ
3008 ステップ
3010 ステップ
3012 ステップ
3014 ステップ
3016 ステップ
3018 ステップ
3020 ステップ
3022 ステップ
3102 データレイヤ
3104 論理レイヤ
3106 ユーザインターフェース(UI)レイヤ
3108 ネットワーク通信プロトコル
3400 クラス
3402 属性
3500 コンピュータ実現方法
3502 ステップ
3504 ステップ
3506 ステップ
3508 ステップ
3510 ステップ
3600 コンピュータ実現方法
3602 ステップ
3604 ステップ
3606 ステップ
3608 ステップ
3610 ステップ
3612 ステップ
3614 ステップ
3616 ステップ
3702 ステップ
3704 ステップ
3706 ステップ
3708 ステップ
3710 ステップ
3712 ステップ
3714 ステップ
3716 ステップ
3800 グラフィックユーザインターフェース
3810 背景画像選択コンポーネント
3820 バイオマーカー選択コンポーネント
3830 バイオマーカー発現レベル基準選択コンポーネント
3840 統計表現
3850 形態学的表現
3860 クエリコントロール
3862 カラー選択コンポーネント
3864 クエリパラメータコントロール
3866 クエリを確認するためのフィールド
3870 形態学的表現
3872 スライダー
3902 マスクオーバーレイ
3904 形態学的表現
3910 形態学的特徴選択コンポーネント
3912 形態学的特徴を選択するためのフィールド
3914 対応する基準を選択するためのフィールド
3916 スライダー
3918 コントロール
3920 コントロール

Claims (24)

  1. 生物組織中の2つ以上のバイオマーカーの発現レベルを表示するためのコンピュータ実現方法であって、当該方法が、
    視覚的ディスプレイデバイス(118)上にグラフィックユーザインターフェース(120、1900、3800)をレンダリングするステップと、
    生物組織の複数の視界における複数のバイオマーカーの発現を捕捉する登録された多重化されたバイオマーカー画像を含む、組織プロファイルデータを含むデータセットから、ユーザが視界を選択できるようになる視界選択コンポーネント(1930)をグラフィックユーザインターフェース(120、1900、3800)上にレンダリングするステップと、
    グラフィックユーザインターフェース(120、1900、3800)の視界選択コンポーネント(1930)において、生物組織に対応する視界を選択するユーザ入力を受信するステップと、
    ユーザが、選択された視界の多重化されたバイオマーカー画像において対応する画像を有する複数のバイオマーカーから、第1のバイオマーカー及び第2のバイオマーカーを選択できるようになるバイオマーカー選択コンポーネント(1940、3820)をグラフィックユーザインターフェース(120、1900、3800)上にレンダリングするステップと、
    ユーザが、選択された第1のバイオマーカーに対する第1のバイオマーカー発現レベル基準と、選択された第2のバイオマーカーに対する第2のバイオマーカー発現レベル基準とを選択できるようになるバイオマーカー発現レベル選択コンポーネントをグラフィックユーザインターフェース(120、1900、3800)上にレンダリングするステップと、
    グラフィックユーザインターフェース(120、1900、3800)において、第1のバイオマーカー、第1のバイオマーカー発現レベル基準、第2のバイオマーカー及び第2のバイオマーカー発現レベル基準を選択するユーザ入力を受信するステップと、
    ユーザ入力に応答して、選択された視界における選択された第1のバイオマーカーの発現レベル及び選択された第2のバイオマーカーの発現レベルを自動的に解析するステップと、
    選択された視界の対応する画像を、オーバーレイ方法でグラフィックユーザインターフェース(120、1900、3800)上にレンダリングするステップと、選択された第1のバイオマーカーに対する第1のバイオマーカー発現レベル基準と、選択された第2のバイオマーカーに対する第2のバイオマーカー発現レベル基準の双方を満たす、生物組織中の第1の組の生物学的単位を強調するステップと
    を含んでおり、複数の視界において個別の生物学的単位が線引きされる方法。
  2. 第1のバイオマーカー発現レベル基準は、第1の特定の閾値を超える選択された第1のバイオマーカーの発現レベルを含み、第2のバイオマーカー発現レベル基準は、第2の特定の閾値を超える選択された第2のバイオマーカーの発現レベルを含む、請求項1記載の方法。
  3. 第1のバイオマーカー発現レベル基準は、第1の特定の閾値を下回る選択された第1のバイオマーカーの発現レベルを含み、第2のバイオマーカー発現レベル基準は、第2の特定の閾値を下回る選択された第2のバイオマーカーの発現レベルを含む、請求項1記載の方法。
  4. 第1のバイオマーカー発現レベル基準は、第1の特定の閾値を超える選択された第1のバイオマーカーの発現レベルを含み、第2のバイオマーカー発現レベル基準は、第2の特定の閾値を下回る選択された第2のバイオマーカーの発現レベルを含む、請求項1記載の方法。
  5. 第1のバイオマーカー発現レベル基準は、第1の特定の閾値を下回る選択された第1のバイオマーカーの発現レベルを含み、第2のバイオマーカー発現レベル基準は、第2の特定の閾値を超える選択された第2のバイオマーカーの発現レベルを含む、請求項1記載の方法。
  6. 選択された視界の対応する画像を、オーバーレイ方法でグラフィックユーザインターフェース(120、1900、3800)上にレンダリングするステップは、選択された第1のバイオマーカーに対応する第1の画像の少なくとも一部を第1のカラーで表示するステップと、選択された第2のバイオマーカーに対応する第2の画像の少なくとも一部を第2のカラーで表示するステップとを含む、請求項1記載の方法。
  7. 生物組織中の第1の組の生物学的単位を強調するステップは、第1の画像中の第1の組の生物学的単位のみを第1のカラーでレンダリングするステップと、第2の画像中の第1の組の生物学的単位のみを第2のカラーでレンダリングするステップとを含む、請求項6記載の方法。
  8. 生物組織中の第1の組の生物学的単位を強調するステップは、第1の画像中の第1の組の生物学的単位を第1のカラーでレンダリングし、第1の画像の残りを第1のカラーのさらに透過度の高いバージョンでレンダリングし、第2の画像中の第1の組の生物学的単位を第2のカラーでレンダリングし、第2の画像の残りを第2のカラーのさらに透過度の高いバージョンでレンダリングするステップを含む、請求項6記載の方法。
  9. 生物組織中の第1の組の生物学的単位を強調するステップは、第1の組の生物学的単位を第3のカラーでレンダリングするステップを含む、請求項6記載の方法。
  10. 生物学的単位は細胞である、請求項1記載の方法。
  11. 生物学的単位は、細胞の細胞下成分である、請求項1記載の方法。
  12. 生物学的転帰と、選択された第1のバイオマーカーに対する第1のバイオマーカー発現レベル基準及び選択された第2のバイオマーカーに対する第2のバイオマーカー発現レベル基準の双方を満たす、コホート中の生物学的単位との相関の解析結果を報告するステップをさらに含む、請求項1記載の方法。
  13. 生物学的転帰は、コホート中の生物組織に影響を与える疾患の転帰である、請求項12記載の方法。
  14. ユーザが、選択された視界の登録された多重化されたバイオマーカー画像から背景画像を選択できるようになる背景画像選択コンポーネント(3810)をグラフィックユーザインターフェース(120、1900、3800)上にレンダリングするステップと、
    グラフィックユーザインターフェース(120、1900、3800)の背景画像選択コンポーネント(3810)において、背景画像を選択するユーザ入力を受信するステップと、
    ユーザ入力に応答して、背景画像を、選択された視界の対応する画像に対するアンダーレイとしてレンダリングするステップとをさらに含む、請求項1記載の方法。
  15. 生物組織に対応する選択された視界の5つより多い画像は、オーバーレイ方法で、グラフィックユーザインターフェース(120、1900、3800)上にレンダリングされ、各画像はバイオマーカーの発現レベルを異なるカラーで表す、請求項1記載の方法。
  16. ユーザが、選択された視界の解析結果を表示する画像を選択できるようになる画像解析選択コンポーネントをグラフィックユーザインターフェース(120、1900、3800)上にレンダリングするステップと、
    グラフィックユーザインターフェース(120、1900、3800)の画像解析選択コンポーネントにおいて、解析表示画像を選択するユーザ入力を受信するステップと、
    ユーザ入力に応答して、解析表示画像を、視界の画像のスタックのうちの1つとしてレンダリングするステップとをさらに含む、請求項1記載の方法。
  17. 選択された視界の対応する画像を、グラフィックユーザインターフェース(120、1900、3800)上にレンダリングするステップは、第1のバイオマーカー発現レベル基準に関係する第1の特定の閾値と、第2のバイオマーカー発現レベル基準に関係する第2の特定の閾値とを含む、視界中の生物学的単位の選択された第1及び第2のバイオマーカーの発現レベルの散布図を同時にレンダリングするステップをさらに含む、請求項1記載の方法。
  18. 選択された第1のバイオマーカーに対する第1のバイオマーカー発現レベル基準と、選択された第2のバイオマーカーに対する第2のバイオマーカー発現レベル基準の双方を満たす、生物組織中の第1の組の生物学的単位を強調するステップは、選択された視界の対応する画像と、視界中の生物学的単位の選択された第1及び第2のバイオマーカーの発現レベルの散布図の双方において、第1の組の生物学的単位を第1のカラーでレンダリングするステップをさらに含む、請求項17記載の方法。
  19. 選択された視界の対応する画像を、グラフィックユーザインターフェース上にレンダリングするステップは、第1のバイオマーカー発現レベル基準に関係する第1の特定の閾値と、第2のバイオマーカー発現レベル基準に関係する第2の特定の閾値とを含む、コホート中の生物学的単位により、選択された第1及び第2のバイオマーカーの発現レベルの散布図を同時にレンダリングするステップをさらに含む、請求項17記載の方法。
  20. 選択された第1のバイオマーカーに対する第1のバイオマーカー発現レベル基準と、選択された第2のバイオマーカーに対する第2のバイオマーカー発現レベル基準の双方を満たす、生物組織中の第1の組の生物学的単位を強調するステップは、選択された視界の対応する画像と、コホート中の生物学的単位の選択された第1及び第2のバイオマーカーの発現レベルの散布図の双方において、第1の組の生物学的単位を第1のカラーでレンダリングするステップをさらに含む、請求項19記載の方法。
  21. ユーザが、選択された視界の多重化されたバイオマーカー画像において対応する画像を有する第3のバイオマーカーを選択できるようになるバイオマーカー選択コンポーネント(1940、3820)をグラフィックユーザインターフェース(120、1900、3800)上にレンダリングするステップと、
    ユーザが、選択された第3のバイオマーカーに対する第3のバイオマーカー発現レベル基準を選択できるようになるバイオマーカー発現レベル選択コンポーネントをグラフィックユーザインターフェース(120、1900、3800)上にレンダリングするステップと、
    グラフィックユーザインターフェース(120、1900、3800)において、第3のバイオマーカー及び第3のバイオマーカー発現レベル基準を選択するユーザ入力を受信するステップと、
    ユーザ入力に応答して、選択された視界における選択された第3のバイオマーカーの発現レベルを自動的に解析するステップと、
    第2のバイオマーカー及び第3のバイオマーカーに対応する選択された視界の画像をオーバーレイ方法でグラフィックユーザインターフェース(120、1900、3800)上にレンダリングするステップと、選択された第2のバイオマーカーに対する第2のバイオマーカー発現レベル基準と、選択された第3のバイオマーカーに対する第3のバイオマーカー発現レベル基準の双方を満たす、生物組織中の第2の組の生物学的単位を強調するステップとをさらに含む、請求項1記載の方法。
  22. 生物組織中の2つ以上のバイオマーカーの発現レベルを表示するためのシステムであって、当該システムが、
    一時的でないコンピュータ読取可能記憶媒体上に記憶されたコンピュータ読取可能命令を実行するためのプロセッサと、
    ディスプレイと、
    以下のステップを実行するためのコンピュータ読取可能命令を記憶する一時的でない記憶媒体と
    を備えており、コンピュータ読取可能命令が、
    視覚的ディスプレイデバイス(118)上にグラフィックユーザインターフェース(120、1900、3800)をレンダリングするステップと、
    生物組織の複数の視界における複数のバイオマーカーの発現を捕捉する登録された多重化されたバイオマーカー画像を含む、組織プロファイルデータを含むデータセットから、ユーザが視界を選択できるようになる視界選択コンポーネント(1930)をグラフィックユーザインターフェース(120、1900、3800)上にレンダリングするステップと、
    グラフィックユーザインターフェースの視界選択コンポーネント(1930)において、生物組織に対応する視界を選択するユーザ入力を受信するステップと、
    ユーザが、選択された視界の多重化されたバイオマーカー画像において対応する画像を有する複数のバイオマーカーから、第1のバイオマーカー及び第2のバイオマーカーを選択できるようになるバイオマーカー選択コンポーネント(1940、3820)をグラフィックユーザインターフェース上にレンダリングするステップと、
    ユーザが、選択された第1のバイオマーカーに対する第1のバイオマーカー発現レベル基準とを選択できるようになるバイオマーカー発現レベル選択コンポーネントをグラフィックユーザインターフェース上にレンダリングするステップと、
    グラフィックユーザインターフェースにおいて、第1のバイオマーカー、第1のバイオマーカー発現レベル基準及び第2のバイオマーカーを選択するユーザ入力を受信するステップと、
    ユーザ入力に応答して、選択された視界における選択された第1のバイオマーカーの発現レベルを自動的に解析するステップと、
    選択された視界の対応する画像を、オーバーレイ方法でグラフィックユーザインターフェース上にレンダリングするステップと、選択された第1のバイオマーカーに対する第1のバイオマーカー発現レベル基準を満たす、生物組織中の第1の組の生物学的単位を強調するステップとを含み、
    複数の視界において個別の生物学的単位が線引きされるシステム。
  23. 第1のバイオマーカー発現レベル基準は、第1の特定の閾値と第2の特定の閾値との間にある選択された第1のバイオマーカーの発現レベルを含む、請求項1記載の方法。
  24. 第2のバイオマーカー発現レベル基準は、第1の特定の閾値と第2の特定の閾値との間にある選択された第1のバイオマーカーの発現レベルを含む、請求項1記載の方法。
JP2015509389A 2012-04-30 2013-04-26 生物組織に共局在するバイオマーカーを解析するためのシステム及び方法 Active JP6187989B2 (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US13/460,081 2012-04-30
US13/460,018 2012-04-30
US13/459,958 US20130286038A1 (en) 2012-04-30 2012-04-30 Systems and methods for selection and display of multiplexed images of biological tissue
US13/459,999 2012-04-30
US13/460,018 US20130286043A1 (en) 2012-04-30 2012-04-30 Systems and methods for analyzing biomarker co-localization in a biological tissue
US13/459,958 2012-04-30
US13/459,999 US8737709B2 (en) 2012-04-30 2012-04-30 Systems and methods for performing correlation analysis on clinical outcome and characteristics of biological tissue
US13/460,100 US20150032671A9 (en) 2010-07-23 2012-04-30 Systems and methods for selecting and analyzing particles in a biological tissue
US13/460,100 2012-04-30
US13/460,081 US9036888B2 (en) 2012-04-30 2012-04-30 Systems and methods for performing quality review scoring of biomarkers and image analysis methods for biological tissue
PCT/EP2013/058789 WO2013164280A1 (en) 2012-04-30 2013-04-26 Systems and methods for analyzing biomarker co-localization in a biological tissue

Publications (2)

Publication Number Publication Date
JP2015526771A JP2015526771A (ja) 2015-09-10
JP6187989B2 true JP6187989B2 (ja) 2017-08-30

Family

ID=48190980

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015509388A Active JP6317732B2 (ja) 2012-04-30 2013-04-26 生物組織に対するバイオマーカーの品質レビュースコアリング及び画像解析方法を実行するためのシステム並びに方法
JP2015509389A Active JP6187989B2 (ja) 2012-04-30 2013-04-26 生物組織に共局在するバイオマーカーを解析するためのシステム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015509388A Active JP6317732B2 (ja) 2012-04-30 2013-04-26 生物組織に対するバイオマーカーの品質レビュースコアリング及び画像解析方法を実行するためのシステム並びに方法

Country Status (4)

Country Link
EP (3) EP2845137B1 (ja)
JP (2) JP6317732B2 (ja)
AU (1) AU2013255961B2 (ja)
WO (5) WO2013164277A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022172852A1 (ja) 2021-02-12 2022-08-18 株式会社Screenホールディングス 閾値決定方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5953195B2 (ja) * 2012-09-21 2016-07-20 株式会社キーエンス 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
US9891804B2 (en) * 2012-12-06 2018-02-13 Ge Healthcare Bio-Sciences Corp. Selection and display of biomarker expressions
US20170183648A1 (en) * 2015-08-12 2017-06-29 Quick Biology, Inc. Method, kit and array for functional validation of results derived from high throughput studies
EP3371730A4 (en) * 2015-11-04 2019-06-19 Metabolon, Inc. AUTOMATED SAMPLE QUALITY ASSESSMENT
JP2021500539A (ja) * 2017-10-18 2021-01-07 ヴェン バイオサイエンシズ コーポレーション 診断及び治療モニタリングのための生体パラメータの同定及び使用
EP4097737A1 (en) * 2020-01-28 2022-12-07 PAIGE.AI, Inc. Systems and methods for delivery of digital biomarkers and genomic panels
US11475251B2 (en) 2020-01-31 2022-10-18 The Toronto-Dominion Bank System and method for validating data
JP2021124861A (ja) * 2020-02-04 2021-08-30 ソニーグループ株式会社 解析装置、解析方法、解析プログラム及び診断支援システム
US11783083B2 (en) 2021-03-19 2023-10-10 International Business Machines Corporation Computing trade-offs between privacy and accuracy of data analysis
WO2024090265A1 (ja) * 2022-10-28 2024-05-02 株式会社biomy 情報処理装置、情報処理方法及びプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5235522A (en) * 1990-10-10 1993-08-10 Cell Analysis Systems, Inc. Method and apparatus for automated analysis of biological specimens
JPH1198372A (ja) * 1997-09-18 1999-04-09 Olympus Optical Co Ltd 色調整方法
US6642716B1 (en) * 2002-05-15 2003-11-04 Koninklijke Philips Electronics, N.V. Diffusion tensor magnetic resonance imaging including fiber rendering using hyperstreamlines
WO2004088574A1 (en) * 2003-04-02 2004-10-14 Amersham Biosciences Uk Limited Method of, and computer software for, classification of cells into subpopulations
US20060031187A1 (en) * 2004-08-04 2006-02-09 Advizor Solutions, Inc. Systems and methods for enterprise-wide visualization of multi-dimensional data
US20060063190A1 (en) * 2004-09-22 2006-03-23 Tripath Imaging, Inc Methods and compositions for evaluating breast cancer prognosis
JP4518281B2 (ja) * 2005-06-09 2010-08-04 株式会社日立メディコ 疾患判定支援システム
US20070168154A1 (en) * 2005-12-23 2007-07-19 Ericson Richard E User interface for statistical data analysis
US8131476B2 (en) * 2006-08-07 2012-03-06 General Electric Company System and method for co-registering multi-channel images of a tissue micro array
US20090327906A1 (en) * 2008-06-30 2009-12-31 Microsoft Corporation Supporting brand assets in a social networking service
US8861810B2 (en) * 2009-01-06 2014-10-14 Vala Sciences, Inc. Automated image analysis with GUI management and control of a pipeline workflow
US20100177942A1 (en) * 2009-01-14 2010-07-15 Applied Spectral Imaging Ltd. Method and apparatus for analyzing imagery data
US8269827B2 (en) 2009-09-29 2012-09-18 General Electric Company System and methods for mapping fluorescent images into a bright field color space
US8706184B2 (en) * 2009-10-07 2014-04-22 Intuitive Surgical Operations, Inc. Methods and apparatus for displaying enhanced imaging data on a clinical image
US20110091081A1 (en) * 2009-10-16 2011-04-21 General Electric Company Method and system for analyzing the expression of biomarkers in cells in situ in their tissue of origin
US8320655B2 (en) * 2009-10-16 2012-11-27 General Electric Company Process and system for analyzing the expression of biomarkers in cells
US20110202624A1 (en) * 2010-02-11 2011-08-18 Virtual Gestures, LLC. Techniques for sharing content
US8693743B1 (en) * 2010-02-19 2014-04-08 Olive Tree Media, LLC Analysis and display of multiple biomarker co-expression in cells and tissues
US8565503B2 (en) * 2010-06-04 2013-10-22 Leica Biosystems Imaging, Inc. System and method to determine slide quality of a digitized microscope slide
PT2779089T (pt) * 2010-07-30 2019-02-19 Fund D Anna Sommer Champalimaud E Dr Carlos Montez Champalimaud Sistemas e métodos para segmentação e processamento de imagens de tecidos e extração de características dos mesmos para tratar, diagnosticar ou prever condições médicas
US8766803B2 (en) * 2011-05-13 2014-07-01 Roche Diagnostics Operations, Inc. Dynamic data collection
US9740912B2 (en) * 2011-12-20 2017-08-22 Definiens Ag Evaluation of co-registered images of differently stained tissue slices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022172852A1 (ja) 2021-02-12 2022-08-18 株式会社Screenホールディングス 閾値決定方法

Also Published As

Publication number Publication date
WO2013164279A1 (en) 2013-11-07
WO2013164281A3 (en) 2013-12-27
EP2845137B1 (en) 2021-01-20
JP2015527622A (ja) 2015-09-17
WO2013164280A1 (en) 2013-11-07
JP6317732B2 (ja) 2018-04-25
EP2845139A2 (en) 2015-03-11
WO2013164278A1 (en) 2013-11-07
AU2013255961A1 (en) 2014-10-23
WO2013164277A3 (en) 2013-12-27
WO2013164277A2 (en) 2013-11-07
WO2013164281A2 (en) 2013-11-07
JP2015526771A (ja) 2015-09-10
EP2845137A1 (en) 2015-03-11
AU2013255961B2 (en) 2017-12-07
EP2845138A1 (en) 2015-03-11

Similar Documents

Publication Publication Date Title
US9036888B2 (en) Systems and methods for performing quality review scoring of biomarkers and image analysis methods for biological tissue
JP6187989B2 (ja) 生物組織に共局在するバイオマーカーを解析するためのシステム及び方法
US20130290225A1 (en) Systems and methods for selecting and analyzing particles in a biological tissue
US8737709B2 (en) Systems and methods for performing correlation analysis on clinical outcome and characteristics of biological tissue
US20130286038A1 (en) Systems and methods for selection and display of multiplexed images of biological tissue
CN109791693B (zh) 用于提供可视化全切片图像分析的数字病理学系统及相关工作流程
US9891804B2 (en) Selection and display of biomarker expressions
US9836865B2 (en) Systems and methods for split screen display of biological specimen and for capturing records thereof
US10573001B2 (en) Quality control of automated whole-slide analyses
Molin et al. Scale Stain: Multi-resolution feature enhancement in pathology visualization
US20130286043A1 (en) Systems and methods for analyzing biomarker co-localization in a biological tissue
JP2023530070A (ja) 電子画像を処理して組織マップ可視化を生成するシステム及び方法
WO2022256458A1 (en) Whole slide image search

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170725

R150 Certificate of patent or registration of utility model

Ref document number: 6187989

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250