JP7346603B2 - 生物学関連のデータを処理するためのシステムおよび方法ならびに顕微鏡 - Google Patents

生物学関連のデータを処理するためのシステムおよび方法ならびに顕微鏡 Download PDF

Info

Publication number
JP7346603B2
JP7346603B2 JP2021572432A JP2021572432A JP7346603B2 JP 7346603 B2 JP7346603 B2 JP 7346603B2 JP 2021572432 A JP2021572432 A JP 2021572432A JP 2021572432 A JP2021572432 A JP 2021572432A JP 7346603 B2 JP7346603 B2 JP 7346603B2
Authority
JP
Japan
Prior art keywords
dimensional representation
biologically
machine learning
input data
based input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021572432A
Other languages
English (en)
Other versions
JP2022542753A (ja
Inventor
カッペル コンスタンティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Microsystems CMS GmbH
Original Assignee
Leica Microsystems CMS GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Microsystems CMS GmbH filed Critical Leica Microsystems CMS GmbH
Publication of JP2022542753A publication Critical patent/JP2022542753A/ja
Application granted granted Critical
Publication of JP7346603B2 publication Critical patent/JP7346603B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification

Description

各例は、生物学関連のデータの処理に関する。
多くの生物学的用途において、膨大な量のデータが生成される。例えば、莫大な量の生物学的構造から画像が撮影され、データベース内に格納される。生物学的データを手動で分析するのは、非常に時間および費用がかかる。
したがって、生物学関連のデータを処理するための改善されたコンセプトが必要とされている。
この要求は、請求項の主題によって満たすことができる。
いくつかの実施形態は、１つまたは複数のストレージデバイスに結合された１つまたは複数のプロセッサを含むシステムに関する。当該システムは、生物学関連の画像ベースの入力データを取得し、１つまたは複数のプロセッサによって実行されるトレーニングされた視覚認識機械学習アルゴリズムによって、生物学関連の画像ベースの入力データの高次元表現を生成するように構成されている。高次元表現は、それぞれ異なる値を有する少なくとも３つのエントリを含む。さらに、当該システムは、１つまたは複数のストレージデバイスによって、生物学関連の画像ベースの入力データの高次元表現を、生物学関連の画像ベースの入力データと共に格納するように、かつ／または高次元表現に対応する生物学関連の言語ベースの出力データを出力するように構成されている。
視覚認識機械学習アルゴリズムを使用することによって、画像を高次元表現にマッピングすることができる。高次元表現が（ワンホットエンコーディングされた表現とは対照的に）種々の異なる値を有するエントリを有することを可能にすることによって、意味論的に類似したコンテンツを有する画像を、類似した高次元表現にマッピングすることができる。これらの高次元表現を、画像の注釈またはタグとして格納または出力することができ、かつ／またはこれらの高次元表現を、画像のコンテンツを記述するテキスト情報にマッピングしてもよい。このようにして、既存のデータベース内の画像および／または実行中の実験の画像に対して、たとえこれらの画像が事前にラベル付けされていなかったとしても、注釈付けまたはタグ付けすることができる。データベース内の画像または実行中の実験の画像が、対応する高次元表現によってタグ付けされると、これらの画像を、テキスト・ツー・イメージ検索（例えば、テキスト検索用語が入力されて、データベース内に格納されている１つまたは複数の対応する画像が出力される）またはイメージ・ツー・イメージ検索（例えば、検索画像が入力されて、データベース内に格納されている１つまたは複数の類似の画像が出力される）によって検索することが可能となり得る。
以下では、装置および／または方法のいくつかの例を、単なる例として、添付の図面を参照しながら説明する。
生物学関連の画像ベースの入力データを処理するためのシステムの概略図である。 生物学関連の画像ベースの入力データにタグ付けするためのシステムの概略図である。 顕微鏡を含む、生物学関連のデータを処理するためのシステムの概略図である。 生物学関連の画像ベースの入力データを処理するための方法のフローチャートである。
次に、いくつかの例が示されている添付の図面を参照しながら、種々の例をより完全に説明する。図面において、線、層および／または領域の厚さは、見やすくするために誇張されている場合がある。
したがって、さらなる例によって種々の修正形態および代替形態を実現することが可能であるが、そのうちのいくつかの特定の例が図面に示されており、続いて詳細に説明される。しかしながら、この詳細な説明は、さらなる例を、説明されている特定の形態に限定するものではない。さらなる例は、本開示の範囲内に含まれる全ての修正形態、均等形態および代替形態を網羅することができる。同一または同様の参照符号は、図面の説明全体にわたり同様または類似の要素を指しており、それらの要素を、互いに比較したとき、同一または類似の機能を提供しながら、同一または変更された形態で実現することができる。
ある要素が別の要素と「接続されている」または「結合されている」と記載されている場合、これらの要素は、直接的に接続または結合されていてもよいし、または１つまたは複数の介在要素を介して接続または結合されていてもよいと理解される。２つの要素ＡおよびＢが「または」を使用して組み合わされている場合、このことは、明示的または暗示的に別様に定義されていない限り、全ての可能な組み合わせ、すなわちＡのみ、ＢのみならびにＡおよびＢが開示されているものと理解されたい。同じ組み合わせについての代替的な表現は、「ＡおよびＢのうちの少なくとも１つ」または「Ａおよび／またはＢ」である。同じことは、必要な変更を加えて、３つ以上の要素の組み合わせにも当てはまる。
特定の例を説明する目的で本明細書において用いられる用語は、さらなる例を限定することを意図するものではない。“a”，“an”および“the”のような単数形が用いられ、単一の要素のみを用いることが必須であると明示的または暗示的に定義されていないときはいつでも、さらなる例が、複数の要素を用いて同じ機能を実現してもよい。同様に、ある機能が複数の要素を用いて実装されるものとして後で説明されている場合、さらなる例が、単一の要素または処理エンティティを用いて同じ機能を実現してもよい。さらに、“comprises（含む）”、“comprising（含んでいる）”、“includes（含む）”および／または“including（含んでいる）”という用語は、使用される場合、記載された特徴、整数、ステップ、操作、プロセス、動作、要素および／または構成要素の存在を指定するが、１つまたは複数の他の特徴、整数、ステップ、操作、プロセス、動作、要素、構成要素および／またはそれらの任意のグループの存在または追加を排除しないと理解される。
別様に定義されていない限り、全ての用語（技術用語および科学用語を含む）は、本明細書において、各例が属する分野の通常の意味で使用されている。
図１は、１つの実施形態による、生物学関連の画像ベースの入力データを処理するためのシステムの概略図を示す。システム１００は、１つまたは複数のストレージデバイス１２０に結合された１つまたは複数のプロセッサ１１０を含む。システム１００は、（第１の）生物学関連の画像ベースの入力データ１０７を取得し、１つまたは複数のプロセッサ１１０によって実行される（第１の）トレーニングされた視覚認識機械学習アルゴリズムによって、生物学関連の画像ベースの入力データ１０７の（第１の）高次元表現を生成するように構成されている。高次元表現は、それぞれ異なる値を有する少なくとも３つのエントリ（または互いに異なる値を有する少なくとも２０個のエントリ、少なくとも５０個のエントリ、または少なくとも１００個のエントリ）を含む。さらに、システム１００は、１つまたは複数のストレージデバイス１２０によって、生物学関連の画像ベースの入力データ１０７の高次元表現を、生物学関連の画像ベースの入力データ１０７と共に格納するように、かつ／または高次元表現に対応する（第１の）生物学関連の言語ベースの出力データ１０９を出力および／または格納するように構成されている。
生物学関連の画像ベースの入力データ１０７は、ヌクレオチドもしくはヌクレオチド配列を含む生物学的構造、タンパク質もしくはタンパク質配列を含む生物学的構造、生物学的分子、生物学的組織、特定の挙動を有する生物学的構造および／または特定の生物学的機能もしくは特定の生物学的活動を有する生物学的構造の画像の画像データ（例えば、画像のピクセルデータ）であってもよい。生物学的構造は、分子、ウイロイドもしくはウイルス、人工もしくは天然の膜で包囲された小胞、（細胞小器官のような）細胞内構造、細胞、スフェロイド、オルガノイド、三次元細胞培養、生物学的組織、臓器スライス、または生体内もしくは生体外の臓器の一部であってもよい。例えば、生物学的構造の画像は、細胞内または組織内のタンパク質の位置の画像であってもよいし、または標識されたヌクレオチドプローブが結合する内因性ヌクレオチド（例えば、ＤＮＡ）を有する細胞または組織の画像（例えば、ｉｎ ｓｉｔｕハイブリダイゼーション）であってもよい。画像データは、画像のそれぞれの色次元（例えば、ＲＧＢ表現の場合には３つの色次元）について、画像のそれぞれのピクセルに対するピクセル値を含むことができる。例えば、画像診断法に応じて、励起波長または発光波長、蛍光寿命、偏光、三空間次元でのステージ位置、種々異なる撮像角度に関連して、他のチャネルを適用してもよい。生物学関連の画像ベースの入力データセットは、ＸＹピクセルマップ、体積測定データ（ＸＹＺ）、時系列データ（ＸＹ＋Ｔ）、またはそれらの組み合わせ（ＸＹＺＴ）であってもよい。さらに、画像ソースの種類に応じて、チャネル（例えば、スペクトル発光帯）、励起波長、ステージ位置、マルチウェルプレートまたはマルチポジショニング実験および／またはミラーでのような論理的位置および／またはライトシート撮像でのような対物レンズ位置のような、追加的な次元を含むことができる。例えば、生物学関連の画像ベースの入力データ１０７は、（例えば、１つまたは複数のストレージデバイスによって格納されている）データベースから取得されてもよいし、または実行中の実験中に撮像装置（例えば、顕微鏡、カメラ）によって取得されてもよい。例えば、システム１００は、生物学的標本の画像を撮影することによって生物学関連の画像ベースの入力データ１０７を取得するように構成された顕微鏡を含むことができる。
高次元表現は、隠れ表現、潜在ベクトル、埋め込み、意味論的埋め込みおよび／またはトークン埋め込みであってもよく、かつ／または隠れ表現、潜在ベクトル、埋め込み、意味論的埋め込みおよび／またはトークン埋め込みとも称され得る。
高次元表現は、（例えば、数値のみを含む）数値表現であってもよい。高次元表現は、１００を超える次元（または３００もしくは５００を超える次元）を含むことができ、かつ／または１００００未満の次元（または３０００未満もしくは１０００未満の次元）を含むことができる。高次元表現のそれぞれのエントリは、高次元表現の１つの次元であってもよい（例えば、１００次元を有する高次元表現は、１００個のエントリを含む）。例えば、３００を超えて１０００未満の次元を有する高次元表現を使用することにより、意味論的相関を有する生物学関連のデータのために適した表現が可能となり得る。高次元表現は、ベクトルであってもよい。高次元表現のエントリのためにベクトル表現が使用される場合には、効率的な比較および／または他の計算（例えば、正規化）を実施することができるが、他の表現（例えば、行列として）も可能であり得る。例えば、高次元表現は、正規化されたベクトルであってもよい。高次元表現は、トレーニングされた視覚認識機械学習アルゴリズムによって生成可能であり、このトレーニングされた視覚認識機械学習アルゴリズムは、損失関数によってトレーニングされたものであってもよく、この損失関数は、トレーニングされた視覚認識機械学習アルゴリズムに、正規化された高次元表現を出力させる。しかしながら、高次元表現の正規化のための他のアプローチを適用することも可能であり得る。
例えば、高次元表現は、ワンホットエンコーディングされた表現とは対照的に、０に等しくない値を有する複数の異なるエントリ（少なくとも３つ）を含むことができる。０に等しくない値を有する複数の異なるエントリを有することができる高次元表現を使用することにより、高次元表現同士の間の意味論的な関係性に関する情報を再現することができる。例えば、高次元表現のエントリの値の５０％超（または７０％超もしくは９０％超）は、０に等しくなくてもよい。ワンホットエンコーディングされた表現が、０に等しくない２つ以上のエントリを有することも時にはあるが、高い値を有するエントリは１つだけであり、その他の全てのエントリは、ノイズレベル（例えば、その１つの高い値の１０％未満）の値を有する。対照的に、高次元表現の５つを超えるエントリ（または２０を超えるエントリもしくは５０を超えるエントリ）の値を、例えば、高次元表現のエントリの最大絶対値の１０％よりも大きく（または２０％よりも大きく、もしくは３０％よりも大きく）することができる。例えば、高次元表現のそれぞれのエントリは、－１～１の間の値を含むことができる。
トレーニングされたパラメータのセットを有するトレーニングされた視覚認識機械学習アルゴリズムの少なくとも一部（例えば、エンコーダ）を生物学関連の画像ベースの入力データ１０７に適用することによって、高次元表現を決定することができる。例えば、トレーニングされた視覚認識機械学習アルゴリズムによって高次元表現を生成することは、トレーニングされた視覚認識機械学習アルゴリズムのエンコーダによって高次元表現を生成することを意味していてもよい。トレーニングされた視覚認識機械学習アルゴリズムの、トレーニングされたパラメータのセットは、以下に説明するように、視覚認識機械学習アルゴリズムのトレーニング中に取得可能である。
高次元表現の１つまたは複数のエントリの値は、特定の生物学的機能または特定の生物学的活動が存在する尤度に比例することができる。入力データセットの意味論的な類似性を維持する高次元表現を生成するマッピングを使用することにより、意味論的に類似した高次元表現同士は、意味論的に類似性の低い高次元表現同士よりも互いにより近い距離を有することができる。さらに、２つの高次元表現が、同じまたは類似した特定の生物学的機能または特定の生物学的活動を有する入力データセットを表現している場合には、これらの２つの高次元表現の１つまたは複数のエントリは、同じまたは類似した値を有することができる。意味論の維持により、高次元表現の１つまたは複数のエントリは、特定の生物学的機能または特定の生物学的活動の発生または存在を示すことができる。例えば、高次元表現の１つまたは複数のエントリの値が高くなればなるほど、これらの１つまたは複数のエントリと相関する生物学的機能または生物学的活動が存在する尤度がより高くなり得る。
トレーニングされた視覚認識機械学習アルゴリズムは、画像認識モデルまたは視覚モデルとも称され得る。トレーニングされた視覚認識機械学習アルゴリズムは、トレーニングされた視覚認識ニューラルネットワークであってもよいし、またはトレーニングされた視覚認識ニューラルネットワークを含んでいてもよい。トレーニングされた視覚認識ニューラルネットワークは、２０を超える層（または４０もしくは８０を超える層）および／または４００未満の層（または２００もしくは１５０未満の層）を含むことができる。トレーニングされた視覚認識ニューラルネットワークは、畳み込みニューラルネットワークまたはカプセルネットワークであってもよい。畳み込みニューラルネットワークまたはカプセルネットワークを使用することにより、生物学関連の画像ベースのデータのための高精度のトレーニングされた視覚認識機械学習アルゴリズムを提供することができる。しかしながら、他の視覚認識アルゴリズムを適用することも可能であり得る。例えば、トレーニングされた視覚認識ニューラルネットワークは、複数の畳み込み層および複数のプーリング層を含むことができる。しかしながら、カプセルネットワークが使用される場合、かつ／または例えば、畳み込みのためにストライド＝１の代わりにストライド＝２が使用される場合には、プーリング層を回避することができる。トレーニングされた視覚認識ニューラルネットワークは、正規化線形ユニット活性化関数を使用することができる。正規化線形ユニット活性化関数を使用することにより、生物学関連の画像ベースの入力データのための高精度のトレーニングされた視覚認識機械学習アルゴリズムを提供することができるが、他の活性化関数（例えば、ハードタン活性化関数、シグモイド活性化関数、またはタン活性化関数）を適用することも可能であり得る。例えば、トレーニングされた視覚認識ニューラルネットワークは、畳み込みニューラルネットワークを含んでいてもよく、かつ／または入力画像のサイズに応じた深さのＲｅｓＮｅｔまたはＤｅｎｓｅＮｅｔであってもよい。
システム１００は、生物学関連の画像ベースの入力データ１０７の高次元表現を、生物学関連の画像ベースの入力データ１０７と共に（例えば、１つまたは複数のストレージデバイスによって格納されている）データベース内に格納することができる。データベースは、複数の画像を、それぞれ対応する高次元表現と共に格納することができる。高次元表現は、生物学関連の画像ベースの入力データ１０７のための注釈、タグ、またはラベルとして使用可能である。データベース内の画像を、対応する高次元表現を介して検索することが可能となり得る。
択一的または付加的に、システム１００は、高次元表現に対応する生物学関連の言語ベースの出力データ１０９を、生物学関連の画像ベースの入力データ１０７と共に（例えば、ディスプレイ、スクリーンを介して）ユーザに、かつ／または生物学関連の言語ベースの出力データ１０９を格納するためのストレージデバイスに出力することができる。生物学関連の言語ベースの出力データ１０９は、高次元表現が生成されたときにその対象となった、画像内に表示されている生物学的構造の、生物学的構造、生物学的機能、生物学的挙動、または生物学的活動に関連するテキスト出力であってもよい。例えば、生物学関連の言語ベースの出力データ１０９は、ヌクレオチド配列、タンパク質配列、生物学的分子もしくは生物学的構造の記述、生物学的分子もしくは生物学的構造の挙動の記述および／または生物学的機能もしくは生物学的活動の記述であってもよい。テキスト出力は、実験またはデータセットの文脈での、生物学的分子（例えば、多糖類、ポリ／オリゴヌクレオチド、タンパク質、または脂質）またはその挙動を記述する自然言語であってもよい。例えば、生物学関連の言語ベースの出力データ１０９は、ヌクレオチド配列、タンパク質配列、または生物学的用語のグループのうちの粗視化された検索用語であってもよい。
生物学的用語のグループは、同じ生物学的トピックに属する複数の粗視化された検索用語（またはいわゆる分子生物学的主題の見出し用語）を含むことができる。生物学的用語のグループは、触媒活性（例えば、抽出物および生成物を表す単語を使用する何らかの反応方程式として）、触媒経路（例えば、どの経路が関与しているか、例えば、糖分解）、触媒部位および／または触媒領域（例えば、結合部位、活性部位、ヌクレオチド結合部位）であってもよく、ＧＯ（遺伝子オントロジー）（例えば、分子機能、例えば、ニコチンアミドアデニンジヌクレオチドＮＡＤ結合、微小管結合）、ＧＯ生物学的機能（例えば、アポトーシス、グルコネオゲネシス）、酵素および／または経路データベース（例えば、ＢＲＥＮＤＡ／ＥＣ番号またはＵｎｉＰａｔｈｗａｙｓにおける、例えば、ｓｉｃ機能のための一意の識別子）であってもよく、細胞内局在（例えば、サイトゾル、核、細胞骨格）、ファミリーおよび／またはドメイン（例えば、翻訳後修飾のための、例えば、結合部位、モチーフ）であってもよく、オープンリーディングフレーム、一塩基多型、制限部位（例えば、制限酵素によって認識されるオリゴヌクレオチド）および／または生合成経路（例えば、脂質、多糖類、ヌクレオチド、またはタンパク質の生合成）であってもよい。例えば、生物学的用語のグループは、細胞内局在のグループであってもよく、粗視化された検索用語は、細胞質ゾル、核および細胞骨格であってもよい。
生物学関連の言語ベースの出力データ１０９は、画像のコンテンツに関するテキスト情報であってもよく、このテキスト情報は、高次元表現に対応する。生物学関連の言語ベースの出力データ１０９は、高次元表現に基づいて（例えば、トレーニングされた言語認識機械学習アルゴリズムを使用することによって）決定可能である。例えば、システム１００は、１つまたは複数のプロセッサ１１０によって実行されるトレーニングされた言語認識機械学習アルゴリズムのデコーダによって、高次元表現に基づいて、生物学関連の言語ベースの出力データ１０９を決定するように構成可能である。
トレーニングされた言語認識機械学習アルゴリズムは、テクスチュアルモデル、テキストモデル、または言語モデルとも称され得る。言語認識機械学習アルゴリズムは、トレーニングされた言語認識ニューラルネットワークであってもよいし、またはトレーニングされた言語認識ニューラルネットワークを含んでいてもよい。トレーニングされた言語認識ニューラルネットワークは、３０を超える層（または５０もしくは８０を超える層）および／または５００未満の層（または３００もしくは２００未満の層）を含むことができる。トレーニングされた言語認識ニューラルネットワークは、リカレントニューラルネットワーク、例えば長短期記憶ネットワークであってもよい。リカレントニューラルネットワーク、例えば長短期記憶ネットワークを使用することにより、生物学関連の言語ベースのデータのための高精度の言語認識機械学習アルゴリズムを提供することができる。しかしながら、他の言語認識アルゴリズムを適用することも可能であり得る。例えば、トレーニングされた言語認識機械学習アルゴリズムは、可変長の出力データを扱うことができるアルゴリズムであってもよい。例えば、第１の生物学関連の言語ベースの出力データの長さは、第２の生物学関連の言語ベースの出力データの長さとは異なっていてもよい。例えば、タンパク質配列は、典型的に、数十から数百のアミノ酸の長さである（１つのアミノ酸は、タンパク質配列における１文字として表現される）。「意味論」、例えば（生物学ではポリペプチド、モチーフ、またはドメインと称される）配列からの部分文字列の生物学的機能は、長さに関して種々異なり得る。したがって、可変長の出力を提供することができるアーキテクチャを使用することができる。トレーニングされた言語認識機械学習アルゴリズムのデコーダは、トレーニングされた言語認識機械学習アルゴリズムの一部であってもよく、このトレーニングされた言語認識機械学習アルゴリズムの一部を使用して、言語認識機械学習アルゴリズムのトレーニング中に、隠れベクトル（高次元表現）に基づいて予測を生成することができる。
生物学関連の言語ベースの出力データ１０９は、アルファベット文字のシーケンス（例えば、ヌクレオチド配列またはタンパク質配列）であってもよいし、または言語認識機械学習アルゴリズムがトレーニングされたときにその対象となったテキストであってもよい。例えば、生物学関連の言語ベースの出力データ１０９は、画像が撮影された生物学的構造に含まれていたヌクレオチド配列またはタンパク質配列であってもよい。択一的または付加的に、生物学関連の言語ベースの出力データ１０９は、トレーニングされた言語認識機械学習アルゴリズムによってトレーニングされた語彙のエントリ（例えば、粗視化された検索用語）であってもよい。
システム１００は、多数の画像に対して高次元表現を生成することができる。生物学関連の画像ベースの入力データ１０７は、データベース内に格納された、または実行中の実験によって生成された複数の生物学関連の画像ベースのデータセットのうちの１つの生物学関連の画像ベースのデータセットであってもよい。例えば、システム１００は、複数の生物学関連の画像ベースのデータセットを取得し、トレーニングされた視覚認識機械学習アルゴリズムによって、複数の生物学関連の画像ベースのデータセットのうちのそれぞれの生物学関連の画像ベースの入力データセットごとに個々の高次元表現を生成することができる。さらに、システム１００は、個々の高次元表現を、それぞれ対応する生物学関連の画像ベースの入力データセットと共に格納することができ、かつ／または個々の高次元表現に対応する生物学関連の言語ベースの出力データセットを出力することができる。このようにして、多数の画像に自動的に注釈付けすることができる。
画像のための注釈を高次元表現の形態で生成することに加えて、システム１００は、注釈付けされた画像の中から１つまたは複数の画像を検索するように構成可能である。例えば、システム１００は、生物学関連の言語ベースの検索データを受信し、トレーニングされた言語認識機械学習アルゴリズムによって、生物学関連の言語ベースの検索データの高次元表現を生成することができる。生物学関連の言語ベースの検索データは、入力インターフェース（例えば、キーボード）を介してユーザによって入力可能である。生物学関連の言語ベースの検索データは、データベースが検索されるべきときにその対象となったコンテンツを表示している画像の画像データであってもよいし（例えば、類似の画像を検出するため；イメージ・ツー・イメージ検索）、またはデータベースが検索されるべきときにその対象となった検索用語のテキスト入力であってもよい（例えば、検索用語に対応する画像を検出するため；テキスト・ツー・イメージ検索）。トレーニングされた言語認識機械学習アルゴリズムは、生物学関連の言語ベースの出力データを生成するために使用されるものと同じ言語認識機械学習アルゴリズムであってもよいが、高次元表現を生成するために、デコーダの代わりに、トレーニングされた言語認識機械学習アルゴリズムのエンコーダを使用してもよい。
さらに、システム１００は、生物学関連の言語ベースの検索データの高次元表現を、複数の生物学関連の画像ベースのデータセットのうちの個々の高次元表現と比較することができる。２つの高次元表現の間の距離を計算することによって、生物学関連の言語ベースの検索データの高次元表現を、生物学関連の画像ベースのデータセットのうちの個々の高次元表現と比較することができる。２つの高次元表現がベクトル（例えば、正規化されたベクトル）によって表現されている場合には、２つの高次元表現の間の距離（例えば、ユークリッド距離またはアースムーバー距離）を、わずかな労力で計算することができる。複数の生物学関連の画像ベースのデータセットのうちのそれぞれの個々の高次元表現ごとに、距離の計算を繰り返すことができる。計算された距離に基づいて、システム１００は、選択基準（例えば、最も近い距離を有するか、または距離しきい値の範囲内にある１つまたは複数の個々の高次元表現）に基づいて、複数の生物学関連の画像ベースのデータセットのうちの１つまたは複数の個々の高次元表現を選択することができる。例えば、システム１００は、比較に基づいて、複数の生物学関連の画像ベースのデータセットのうち、生物学関連の言語ベースの検索データの高次元表現に最も近い個々の高次元表現を選択するように構成可能である。システム１００は、比較に基づいて、複数の生物学関連の画像ベースのデータセットのうちの１つの生物学関連の画像ベースのデータセットを出力または格納することができる。例えば、システム１００は、生物学関連の言語ベースの検索データの高次元表現に最も近い個々の高次元表現に対応する生物学関連の画像ベースのデータセットを出力および／または格納することができる。
上述のように、生物学関連の画像ベースの入力データ１０７は、種々異なる種類のもの（例えば、ヌクレオチド配列もしくはタンパク質配列を含む生物学的構造の画像、または生物学的用語のグループのうちの粗視化された検索用語を表現する生物学的構造の画像）であってもよい。単一の視覚認識機械学習アルゴリズムは、１つの種類の入力のみを扱うようにトレーニング可能である。したがって、システム１００は、生物学関連の画像ベースの入力データ１０７に基づいて、複数のトレーニングされた視覚認識機械学習アルゴリズムから、視覚言語認識機械学習アルゴリズムを選択するように構成可能である。例えば、複数のトレーニングされた視覚認識機械学習アルゴリズムは、１つまたは複数のストレージデバイス１２０によって格納可能であり、システム１００は、生物学関連の画像ベースの入力データ１０７として受信した入力の種類に応じて、複数のトレーニングされた視覚認識機械学習アルゴリズムのうちの１つを選択することができる。例えば、トレーニングされた視覚認識機械学習アルゴリズムは、生物学関連の画像ベースの入力データ１０７を分類するように構成された分類アルゴリズム（例えば、視覚認識機械学習アルゴリズム）によって、複数のトレーニングされた視覚認識機械学習アルゴリズムから選択可能である。
システム１００は、同じ１つの画像に対して、複数の異なるトレーニングされた視覚認識機械学習アルゴリズムによって複数の注釈を決定することができる。例えば、システム１００は、複数のトレーニングされた視覚認識機械学習アルゴリズムから、第１の高次元表現を生成するための第１のトレーニングされた視覚認識機械学習アルゴリズムを選択し、複数のトレーニングされた視覚認識機械学習アルゴリズムから、第２のトレーニングされた視覚認識機械学習アルゴリズムを選択することができる。さらに、システム１００は、第２のトレーニングされた視覚認識機械学習アルゴリズムによって、生物学関連の画像ベースの入力データ１０７の第２の高次元表現を生成することができる。第２の高次元表現は、それぞれ異なる値を有する少なくとも３つのエントリ（または互いに異なる値を有する少なくとも２０個のエントリ、少なくとも５０個のエントリ、または少なくとも１００個のエントリ）を含むことができる。複数のトレーニングされた視覚認識機械学習アルゴリズムのうちのそれぞれのトレーニングされた視覚認識機械学習アルゴリズムは、それぞれ異なる種類の注釈（例えば、ヌクレオチド配列、タンパク質配列、または粗視化された探索用語）に対してトレーニング可能であり、対応する高次元表現を生成することが可能であり得る。さらに、システム１００は、１つまたは複数のストレージデバイス１２０によって、生物学関連の画像ベースの入力データ１０７の第２の高次元表現を、第１の高次元表現および生物学関連の画像ベースの入力データ１０７と共に格納することができ、かつ／または第２の高次元表現に対応する、第１の生物学関連の言語ベースの出力データと第２の生物学関連の言語ベースの出力データとを出力することができる。第２の生物学関連の言語ベースの出力データは、第２の視覚認識機械学習アルゴリズムと同じ種類の注釈に対してトレーニングされた、第２のトレーニングされた言語認識機械学習アルゴリズムによって決定可能である。例えば、生物学関連の画像ベースの入力データが、ヌクレオチド配列を含む生物学的構造の画像の画像データであってもよい場合には、第１の生物学関連の言語ベースの出力データ１０９は、テキストとしてのヌクレオチド配列（例えば、ＧＡＴＴＡＣＡ）であってもよく、第２の生物学関連の言語ベースの出力データは、生物学的構造の生物学的機能または生物学的活性の記述であってもよい。
システム１００は、顕微鏡の動作を制御するように構成可能である。例えば、システム１００は、標本のうち、システム１００によって注釈付けされるべき画像が撮影されるべき位置への、顕微鏡の動きを制御することができる。
システム１００のさらなる詳細および態様は、提案されているコンセプトおよび／または上記または下記（例えば、図２～図４）の１つまたは複数の例に関連して言及される。システム１００は、提案されているコンセプトおよび／または上記または下記の１つまたは複数の例の１つまたは複数の態様に対応する１つまたは複数の追加的なオプションの特徴を含むことができる。
図２は、１つの実施形態による、生物学関連の画像ベースの入力データにタグ付けするためのシステムの概略図である。システム２００は、図１に関連して説明したシステムと同様に実装可能である。リポジトリ２０１内に格納されている画像は、事前にトレーニングされた視覚モデル２２０（トレーニングされた視覚認識機械学習アルゴリズム）を通過することができる。任意の数のこのようなモデル２４０、すなわち、画像注釈（またはタグ）のそれぞれの種類につき１つのモデル２４０を設けることができる。画像注釈の種類は、生物学的配列、自然言語、または上述の粗視化された探索用語のいずれかであってもよい。したがって、適切なモデル２１０を選択するためのメカニズムを適所に設けることができる。このメカニズムは、可能性のあるコンテンツと、このコンテンツのために利用可能な画像注釈と、を認識するルックアップテーブル、ユーザ提供リスト、または第１の事前にトレーニングされた視覚モデル自体であってもよい。例えば、第１のモデル２１０は、標識されたタンパク質または蛍光ｉｎ－ｓｉｔｕハイブリダイゼーション（例えば、標識されたヌクレオチド）を画像が含んでいるかどうかを認識し、タンパク質またはヌクレオチド配列に適した機能的注釈を選択することができる。次いで、事前にトレーニングされた視覚モデル２２０，２４０によって計算された意味論的埋め込み２３０（高次元表現）をデータベース２６０内に格納することができ、ここで、これらの意味論的埋め込み２３０（高次元表現）は、将来の検索（例えば、テキスト・ツー・イメージ検索および／またはイメージ・ツー・テキスト検索）のために役立つことができる。最後のデータベース２６０は、第１のリポジトリ２０１と同等であってもよい（ただし、必須ではない）。埋め込みを対人可読なものにする目的で、以下に説明するような視覚モデルをトレーニングするための埋め込みを作成するために使用された同じそれぞれのテキストモデル２５０によって、これらの埋め込みを、テキストまたは粗視化された探索用語に変換することができ、データベース２６０に書き込むことができる。
データベースに注釈を書き込むことに代えて、新たなクラスに対する機能的注釈の予測を、実行中の実験中にユーザに出力して、ユーザが現場で意思決定をするためのコンテキストを提供することができる。
図２は、将来の検索クエリのためのスマートタグ付けのためのシステムを示すことができる。
システム２００のさらなる詳細および態様は、提案されているコンセプトおよび／または上記または下記（例えば、図１または図３～図４）の１つまたは複数の例に関連して言及される。システム２００は、提案されているコンセプトおよび／または上記または下記の１つまたは複数の例の１つまたは複数の態様に対応する１つまたは複数の追加的なオプションの特徴を含むことができる。
図１～図２のうちの１つに関連して説明したシステムは、コンピュータデバイス内に配置されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるコンピュータデバイス（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、または携帯電話）であってもよいし、またはこれを含んでいてもよい。あるいは、システムは、分散コンピューティングシステム（例えば、ローカルクライアントおよび１つまたは複数のリモートサーバファームおよび／またはデータセンター等の様々な場所に分散されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム）であってもよい。システムは、システムの種々の構成要素を結合するためのシステムバスを含むデータ処理システムを含むことができる。システムバスは、システムの種々の構成要素間の通信リンクを提供することができ、シングルバスとして、複数のバスの組み合わせとして、または任意の他の適切な手法で実装可能である。システムバスには、電子アセンブリを結合することができる。電子アセンブリは、任意の回路または回路の組み合わせを含んでいてもよい。１つの実施形態では、電子アセンブリは、任意の種類のものとすることができる、プロセッサを含んでいる。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品（例えば、カメラ）のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。電子アセンブリに含まれ得る他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳｌＣ）等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される１つまたは複数の回路（通信回路等）である。システムは、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子を含み得る１つまたは複数のストレージデバイス、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいる。システムは、ディスプレイ装置、１つまたは複数のスピーカおよびキーボードおよび／またはマウス、トラックボール、タッチスクリーン、音声認識装置を含み得るコントローラ、またはシステムのユーザがシステムに情報を入力することおよびシステムから情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。
さらに、システムは、コンピュータデバイスまたは分散コンピューティングシステムに接続された顕微鏡を含むことができる。顕微鏡は、１つまたは複数の標本から画像を撮影することによって生物学関連の画像ベースの入力データセットを生成するように構成可能である。
顕微鏡は、光学顕微鏡（例えば、超解像顕微鏡またはナノ顕微鏡のような、回折限界顕微鏡またはサブ回折限界顕微鏡）であってもよい。顕微鏡は、スタンドアロン顕微鏡であってもよいし、または付属の構成要素（例えば、共焦点スキャナ、追加的なカメラ、レーザ、気候室、自動装填機構、液体搬送システム、付属の光学構成要素、例えば、追加的な多光子光路、光ピンセットなど）を有する顕微鏡システムであってもよい。例えば、生物学的配列（例えば、タンパク質、核酸、脂質）または他の標本に関連するオブジェクトの画像を撮影することができる限り、他の画像ソースを使用することも可能である。例えば、上記または下記の実施形態による顕微鏡により、深部を発見する顕微鏡法が可能となり得る。
システムのさらなる詳細および態様は、提案されているコンセプトおよび／または上記または下記（例えば、図１～図４）の１つまたは複数の例に関連して言及される。システムは、提案されているコンセプトおよび／または上記または下記の１つまたは複数の例の１つまたは複数の態様に対応する１つまたは複数の追加的なオプションの特徴を含むことができる。
いくつかの実施形態は、図１～図２のうちの１つまたは複数に関連して説明したようなシステムを含む顕微鏡に関する。択一的に、顕微鏡は、図１～図２のうちの１つまたは複数に関連して説明したようなシステムの一部であってもよいし、またはこれに接続されていてもよい。図３は、１つの実施形態による、データを処理するためのシステム３００の概略図を示す。１つまたは複数の生物学的標本の画像を撮影するように構成された顕微鏡３１０は、生物学関連のデータを処理するように構成されたコンピュータデバイス３２０（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、または携帯電話）に接続されている。顕微鏡３１０およびコンピュータデバイス３２０は、図１～図２のうちの１つまたは複数に関連して説明したように実装可能である。
図４は、１つの実施形態による、生物学関連の画像ベースの入力データを処理するための方法のフローチャートである。方法４００は、生物学関連の画像ベースの入力データを取得すること４１０と、トレーニングされた視覚認識機械学習アルゴリズムによって、生物学関連の画像ベースの入力データの高次元表現を生成すること４２０と、を含む。高次元表現は、それぞれ異なる値を有する少なくとも３つのエントリを含む。さらに、方法４００は、生物学関連の画像ベースの入力データの高次元表現を、生物学関連の画像ベースの入力データと共に格納すること４３０および／または高次元表現に対応する生物学関連の言語ベースの出力データを出力すること４３０を含む。
視覚認識機械学習アルゴリズムを使用することによって、画像を高次元表現にマッピングすることができる。高次元表現が（ワンホットエンコーディングされた表現とは対照的に）種々の異なる値を有するエントリを有することを可能にすることによって、意味論的に類似したコンテンツを有する画像を、類似した高次元表現にマッピングすることができる。これらの高次元表現を、画像の注釈またはタグとして格納または出力することができ、かつ／またはこれらの高次元表現を、画像のコンテンツを記述するテキスト情報にマッピングしてもよい。このようにして、既存のデータベース内の画像および／または実行中の実験の画像に対して、たとえこれらの画像が事前にラベル付けされていなかったとしても、注釈付けまたはタグ付けすることができる。データベース内の画像または実行中の実験の画像が、対応する高次元表現によってタグ付けされると、これらの画像を、テキスト・ツー・イメージ検索（例えば、テキスト検索用語が入力されて、データベース内に格納されている対応する画像が出力される）またはイメージ・ツー・イメージ検索（例えば、検索画像が入力されて、データベース内に格納されている類似の画像が出力される）によって検索することが可能となり得る。
方法４００のさらなる詳細および態様は、提案されているコンセプトおよび／または上記または下記（例えば、図１～図３）の１つまたは複数の例に関連して言及される。方法４００は、提案されているコンセプトおよび／または上記または下記の１つまたは複数の例の１つまたは複数の態様に対応する１つまたは複数の追加的なオプションの特徴を含むことができる。
以下では、（例えば図１～図４のうちの１つまたは複数に関連して）上記の実施形態のうちの１つまたは複数に関する用途および／または実装の詳細のいくつかの例について説明する。
１つの態様によれば、上記または下記のような画像からの意味論的埋め込みを予測するようにトレーニングされた視覚モデルは、データリポジトリ内の画像に、または実行中の顕微鏡実験中に生成された画像に、自動的に注釈付け（「タグ付け」）するために利用可能である。その場合、これらの画像を、テキストクエリ（例えば、生物学的配列、粗視化された検索用語）を使用することによって検索することが可能となり得る。このことは、これまで見たことのないオブジェクトのクラスに対しても機能することができる（「ゼロショット学習」）。
上記および／または下記のスマートタグ付け機能は、事前に注釈付けされていない画像をデータベース内で検索可能にすることによって、値を生成することができる。顕微鏡のユーザは、自身のデータに能動的にラベル付けすることを目指してもよいが、どのような他のデータが後々の分析にとって重要となり得るかは、実験の時点では分からないことがよくある。さらに、生物学的発見のペースが高速であるということは、実験の時点では知られていなかった生物学的分子の新しい機能が、将来的に発見される可能性があるということを意味する。提案されているコンセプトのスマートタグ付け機能により、古い作業からのデータ、大規模な作業グループ、機関のリポジトリ内に、または公共のデータベース内に格納されているデータに対して、遡及的に注釈付けすることが可能となる。このようにして、データマイニング技術、機械学習および関連する分析の形態を用いて構築されたモデルにより、より高速な検索クエリ、検索クエリでのより具体的なフィルタ、より正確な予測が可能となり得る。このような分析の出力を用いて、顕微鏡の実行中のワークフローに関する決定および変更を行うことができる。
（例えば、ワンホットエンコーディングされたベクトルの場合のような）目立たないラベルに依存する代わりに、提案されているコンセプトは、潜在ベクトルである意味論的埋め込みを出力することができる。したがって、タグは、たとえ完全には正確に予測されていなくても、正確なラベルに意味論的に近ければ依然として使用可能であり得る。出力としてワンホットエンコーディングされたカテゴリークラス変数を使用する他の技術であれば、一般的に、正しいかまたは間違っているかの予測を行い、間違っている場合には、通常、完全にオフにするだろう。後者は、ワンホットエンコーディングされたカテゴリークラス変数が、それぞれ異なるクラス同士を完全に無関係として扱うことに起因する可能性がある。
提案されているコンセプトによって作成された意味論的埋め込みは、生物学的機能のプロキシとして機能することができ、このことは、データ本体を機能的グループへとグループ化するために役立つことができ、その場合、これらの機能的グループは、（下記のような）生物学的配列に基づいて、または生物学的機能の記述を提供する自然言語に基づいてトレーニングされた言語モデルを使用して作成されたものであり得るので、生物学の研究者にとってより重要であろう。
１つの態様によるスマートタグ付けは、以下のステップに基づくことができる：
１．事前にトレーニングされた視覚モデルは、撮像装置またはデータベースから到来した画像の画像コンテンツを認識することができ、適切な第２のモデルを選択する。このモデル選択は、上述したように達成可能である。
２．第２の事前にトレーニングされた視覚モデルは、撮像装置またはデータベースから到来した一連の画像のそれぞれの埋め込みを生成することができる。
３．これらの意味論的埋め込みを、テキスト・ツー・イメージ検索またはイメージ・ツー・イメージ検索または他の検索のような将来の検索のためにデータベースに書き込むことができる。
４．オプションとして埋め込みを、適切なモデルによってテキストに、または（上記のような）粗視化された検索用語または他の対人可読形式に再変換することができる。
意味論的埋め込みを予測するためのモデルを、以下のようにしてトレーニングすることができるが、別の異なる手法でトレーニングすることも可能である。
ステップ１は、オプションであってもよい。タグ付けのための画像は、（同じまたは他の）撮像装置を用いた実験の結果であってもよい。タグ付けのための画像は、データベースから受信されてもよい（例えば、撮像装置または他の実験室装置による手動でのクエリまたは自動的なクエリ）。タグ付けのための画像は、撮像装置およびモデルによって生成された画像埋め込みの教師なしクラスタリングおよび／または算術的な組み合わせによって取得されてもよい。
提案されたコンセプトによって一般化を可能にすることができ、この一般化は、モデルがトレーニングされたときにその基礎となった同じクラス内のこれまで見たことのない入力に対して、正確な予測を行うためのモデルの能力を指すことができる。ゼロショット学習は、モデルがトレーニングされたときにその基礎となったクラス外のこれまで見たことのない入力に対して、正確な予測を行うためのモデルの能力を指すことができる。後者は、生物学の分野において新しい能力を開くことができる。
未知の画像がトレーニングセットに含まれていなかった場合、または必ずしもトレーニングクラスの一部ではなかった場合でさえも、提案されているコンセプトは、上述の粗視化された探索用語のような機能的注釈を予測することが可能となり得る。情報を、実行中の実験中にユーザに出力することができるか、または機能的注釈として画像データベースに書き込むことができる。後者は、事前に注釈付けまたはラベル付けされていない画像に関する有益な注釈を提供することができるスマートタグ付けメカニズムと同等であってもよい。
例えば、大規模なデータセットにつながるあらゆる実験に対して、データ記録と並行して自動的に注釈付けすることができる。提案されたコンセプトによって生成された自動的な注釈を、機器データ、試料の調製を記述するデータ、使用された実験および化学物質の運用に関するデータ、実験室管理および情報システムからのデータのような、利用可能なメタデータと組み合わせることができる。このような実験の例として、広範囲の「オミクス」規模のスクリーニング、薬物スクリーニングまたは標的検証および毒物学的スクリーニングを挙げることができる。
提案されているコンセプトは、手動で注釈付けするには過多である既存のデータ本体、または過度に異種遺伝子型である既存のデータ本体を、遡及的にタグ付けするためにも適用可能である。
例えば、知識は、構造化された形式で表現可能であることが多い。生物学的分子の文脈において、一般的なカテゴリは、上述のような粗視化された検索用語と呼ばれ得る。これらの一般的なカテゴリは、クエリ用語として使用可能であってもよく、事前にトレーニングされた（下記と同様の手法でトレーニングされた）言語モデルから取得されるような、各自のそれぞれの意味論的埋め込みとしても表現可能である。
トレーニングされた言語認識機械学習アルゴリズムおよび／またはトレーニングされた視覚認識機械学習アルゴリズムは、以下に説明するトレーニングによって取得可能である。生物学関連のデータを処理するための機械学習アルゴリズムをトレーニングするためのシステムは、１つまたは複数のプロセッサと、１つまたは複数のストレージデバイスと、を含むことができる。当該システムは、生物学関連の言語ベースの入力トレーニングデータを受信するように構成可能である。さらに、当該システムは、１つまたは複数のプロセッサによって実行される言語認識機械学習アルゴリズムによって、生物学関連の言語ベースの入力トレーニングデータの第１の高次元表現を生成するように構成可能である。第１の高次元表現は、それぞれ異なる値を有する少なくとも３つのエントリを含む。さらに、当該システムは、１つまたは複数のプロセッサによって実行される言語認識機械学習アルゴリズムによって、第１の高次元表現に基づいて、生物学関連の言語ベースの出力トレーニングデータを生成するように構成可能である。さらに、当該システムは、生物学関連の言語ベースの入力トレーニングデータと、生物学関連の言語ベースの出力トレーニングデータと、の比較に基づいて、言語認識機械学習アルゴリズムを調整するように構成可能である。さらに、当該システムは、生物学関連の言語ベースの入力トレーニングデータに関連付けられた生物学関連の画像ベースの入力トレーニングデータを受信するように構成可能である。さらに、当該システムは、１つまたは複数のプロセッサによって実行される視覚認識機械学習アルゴリズムによって、生物学関連の画像ベースの入力トレーニングデータの第２の高次元表現を生成するように構成可能である。第２の高次元表現は、それぞれ異なる値を有する少なくとも３つのエントリを含む。さらに、当該システムは、第１の高次元表現と第２の高次元表現との比較に基づいて、視覚認識機械学習アルゴリズムを調整するように構成可能である。
生物学関連の言語ベースの入力トレーニングデータは、生物学的構造、生物学的機能、生物学的挙動、または生物学的活動に関連するテキスト入力であってもよい。例えば、生物学関連の言語ベースの入力トレーニングデータは、ヌクレオチド配列、タンパク質配列、生物学的分子もしくは生物学的構造の記述、生物学的分子もしくは生物学的構造の挙動の記述および／または生物学的機能もしくは生物学的活動の記述であってもよい。生物学関連の言語ベースの入力トレーニングデータは、トレーニンググループのうちの第１の生物学関連の言語ベースの入力トレーニングデータセット（例えば、入力文字のシーケンス、例えば、ヌクレオチド配列またはタンパク質配列）であってもよい。トレーニンググループは、複数の生物学関連の言語ベースの入力トレーニングデータセットを含むことができる。
生物学関連の言語ベースの出力トレーニングデータは、オプションとして次の要素の予測を含む、生物学関連の言語ベースの入力トレーニングデータと同じ種類のものであってもよい。例えば、生物学関連の言語ベースの入力トレーニングデータは、生物学的配列（例えば、ヌクレオチド配列またはタンパク質配列）であってもよく、生物学関連の言語ベースの出力トレーニングデータも、生物学的配列（例えば、ヌクレオチド配列またはタンパク質配列）であってもよい。言語認識機械学習アルゴリズムは、生物学関連の言語ベースの出力トレーニングデータが、オプションとして生物学的配列の次の要素の予測を含む、生物学関連の言語ベースの入力トレーニングデータと等しくなるようにトレーニング可能である。別の例では、生物学関連の言語ベースの入力トレーニングデータは、粗視化された検索用語の生物学的クラスであってもよく、生物学関連の言語ベースの出力トレーニングデータも、粗視化された検索用語の生物学的クラスであってもよい。
生物学関連の画像ベースの入力トレーニングデータは、ヌクレオチドもしくはヌクレオチド配列を含む生物学的構造、タンパク質もしくはタンパク質配列を含む生物学的構造、生物学的分子、生物学的組織、特定の挙動を有する生物学的構造および／または特定の生物学的機能もしくは特定の生物学的活動を有する生物学的構造の画像の画像トレーニングデータ（例えば、トレーニング画像のピクセルデータ）であってもよい。生物学関連の画像ベースの入力トレーニングデータは、トレーニンググループのうちの第１の生物学関連の画像ベースの入力トレーニングデータセットであってもよい。トレーニンググループは、複数の生物学関連の画像ベースの入力トレーニングデータセットを含むことができる。
生物学関連の言語ベースの入力トレーニングデータは、トレーニンググループのうちの１つの生物学関連の言語ベースの入力トレーニングデータセット（例えば、入力文字のシーケンス、例えば、ヌクレオチド配列またはタンパク質配列）であってもよい。トレーニンググループは、複数の生物学関連の言語ベースの入力トレーニングデータセットを含むことができる。システムは、トレーニンググループのうちの複数の生物学関連の言語ベースの入力トレーニングデータセットの各々のために、第１の高次元表現を生成することを繰り返すことができる。さらに、システムは、それぞれの生成された第１の高次元表現ごとに、生物学関連の言語ベースの出力トレーニングデータを生成することができる。システムは、トレーニンググループのうちの複数の生物学関連の言語ベースの入力トレーニングデータセットの、生物学関連の言語ベースの入力トレーニングデータと、対応する生物学関連の言語ベースの出力トレーニングデータとのそれぞれの比較に基づいて、言語認識機械学習アルゴリズムを調整することができる。換言すれば、システムは、生物学関連の言語ベースの入力トレーニングデータセットのトレーニンググループのうちのそれぞれの生物学関連の言語ベースの入力トレーニングデータごとに、第１の高次元表現を生成することと、生物学関連の言語ベースの出力トレーニングデータを生成することと、言語認識機械学習アルゴリズムを調整することとを繰り返すように構成可能である。トレーニンググループは、トレーニング目標（例えば、しきい値を下回るように損失関数の出力を変化させること）を満たすことができるように十分な生物学関連の言語ベースの入力トレーニングデータセットを含むことができる。
言語認識機械学習アルゴリズムのトレーニング中に生成された複数の全ての第１の高次元表現は、潜在空間または意味論的空間と称され得る。
システムは、トレーニンググループのうちの複数の生物学関連の画像ベースの入力トレーニングデータセットの各々のために、第２の高次元表現を生成することを繰り返すことができる。さらに、システムは、第１の高次元表現と、対応する第２の高次元表現とのそれぞれの比較に基づいて、視覚認識機械学習アルゴリズムを調整することができる。換言すれば、システムは、生物学関連の画像ベースの入力トレーニングデータセットのトレーニンググループのうちのそれぞれの生物学関連の画像ベースの入力トレーニングデータごとに、第２の高次元表現を生成することと、視覚認識機械学習アルゴリズムを調整することとを繰り返すことができる。トレーニンググループは、トレーニング目標（例えば、しきい値を下回るように損失関数の出力を変化させること）を満たすことができるように十分な生物学関連の画像ベースの入力トレーニングデータセットを含むことができる。
例えば、システム１００は、言語認識機械学習アルゴリズムと、視覚認識機械学習アルゴリズム（例えば、視覚意味論的モデルとも称される）との組み合わせを使用する。言語認識機械学習アルゴリズムおよび／または視覚認識機械学習アルゴリズムは、深層学習アルゴリズムおよび／または人工知能アルゴリズムであってもよい。
言語認識機械学習アルゴリズムをトレーニングするために交差エントロピー損失関数を使用することにより、トレーニングを高速に収束させることができ、かつ／または生物学関連のデータのために十分にトレーニングされたアルゴリズムを提供することができるが、他の損失関数を使用することも可能である。
視覚認識機械学習アルゴリズムは、対応する入力トレーニングデータの、言語認識機械学習アルゴリズムによって生成された高次元表現と、視覚認識機械学習アルゴリズムによって生成された高次元表現と、の比較に基づいて、視覚認識機械学習アルゴリズムのパラメータを調整することによってトレーニング可能である。例えば、この比較に基づいて、視覚認識ニューラルネットワークのネットワーク重みを調整することができる。視覚認識機械学習アルゴリズムのパラメータ（例えば、ネットワーク重み）の調整は、損失関数を考慮して実施可能である。例えば、視覚認識機械学習アルゴリズムの調整のための、第１の高次元表現と第２の高次元表現との比較は、コサイン類似性損失関数に基づくことができる。視覚認識機械学習アルゴリズムをトレーニングするためにコサイン類似性損失関数を使用することにより、トレーニングを高速に収束させることができ、かつ／または生物学関連のデータのために十分にトレーニングされたアルゴリズムを提供することができるが、他の損失関数を使用することも可能である。
例えば、視覚モデルは、意味論的埋め込み空間において（例えば、ベクトルとして）どのようにして画像を表現すべきかを学習することができる。したがって、予測Ａ（第２の高次元表現）と、グラウンドトゥルースＢ（第１の高次元表現）とを表現することができる、２つのベクトルの距離に対する尺度を使用することができる。例えば、１つの尺度は、
Figure 0007346603000001
 の形態で定義されるようなコサイン類似性であり、予測ＡとグラウンドトゥルースＢとのドット積を、（例えば、Ｌ２－ノルムまたはユークリッドノルムのように）各自のそれぞれの絶対値のドット積で除算したものである。
機械学習アルゴリズムをトレーニングするためのシステムの非トレーニング特有の態様に関するさらなる詳細は、提案されているコンセプトおよび／または上記または下記（例えば、図１～図４）の１つまたは複数の例に関連して言及される。
実施形態は、機械学習モデルまたは機械学習アルゴリズムの使用に基づいていてもよい。機械学習は、モデルおよび推論に依存する代わりに、コンピュータシステムが、明示的な命令を使用することなく、特定のタスクを実行するために使用し得るアルゴリズムおよび統計モデルを参照してもよい。例えば、機械学習では、ルールに基づくデータ変換の代わりに、過去のデータおよび／またはトレーニングデータの分析から推論されるデータ変換が使用されてもよい。例えば、画像コンテンツは、機械学習モデルを用いて、または機械学習アルゴリズムを用いて分析されてもよい。機械学習モデルが画像コンテンツを分析するために、機械学習モデルは、入力としてのトレーニング画像と出力としてのトレーニングコンテンツ情報を用いてトレーニングされてもよい。多数のトレーニング画像および／またはトレーニングシーケンス（例えば単語または文）および関連するトレーニングコンテンツ情報（例えばラベルまたは注釈）によって機械学習モデルをトレーニングすることによって、機械学習モデルは、画像コンテンツを認識することを「学習」するので、トレーニングデータに含まれていない画像コンテンツが機械学習モデルを用いて認識可能になる。同じ原理が、同じように他の種類のセンサデータに対して使用されてもよい：トレーニングセンサデータと所望の出力を用いて機械学習モデルをトレーニングすることによって、機械学習モデルは、センサデータと出力との間の変換を「学習し」、これは、機械学習モデルに提供された非トレーニングセンサデータに基づいて出力を提供するために使用可能である。
機械学習モデルは、トレーニング入力データを用いてトレーニングされてもよい。上記の例は、「教師あり学習」と称されるトレーニング方法を使用する。教師あり学習では、機械学習モデルは、複数のトレーニングサンプルを用いてトレーニングされ、ここで各サンプルは複数の入力データ値と複数の所望の出力値を含んでいてもよく、すなわち各トレーニングサンプルは、所望の出力値と関連付けされている。トレーニングサンプルと所望の出力値の両方を指定することによって、機械学習モデルは、トレーニング中に、提供されたサンプルに類似する入力サンプルに基づいてどの出力値を提供するのかを「学習」する。教師あり学習の他に、半教師あり学習が使用されてもよい。半教師あり学習では、トレーニングサンプルの一部は、対応する所望の出力値を欠いている。教師あり学習は、教師あり学習アルゴリズム、例えば分類アルゴリズム、回帰アルゴリズムまたは類似度学習アルゴリズムに基づいていてもよい。出力が、値の限られたセットに制限される場合、すなわち入力が値の限られたセットのうちの１つに分類される場合、分類アルゴリズムが使用されてもよい。出力が（範囲内の）任意の数値を有していてもよい場合、回帰アルゴリズムが使用されてもよい。類似度学習アルゴリズムは、分類アルゴリズムと回帰アルゴリズムの両方に類似していてもよいが、２つのオブジェクトがどの程度類似しているかまたは関係しているかを測定する類似度関数を用いた例からの学習に基づいている。教師あり学習または半教師あり学習の他に、機械学習モデルをトレーニングするために教師なし学習が使用されてもよい。教師なし学習では、入力データ（だけ）が供給される可能性があり、教師なし学習アルゴリズムは、例えば、入力データをグループ化またはクラスタリングすること、データに共通性を見出すことによって入力データにおいて構造を見出すために使用されてもよい。クラスタリングは、複数の入力値を含んでいる入力データを複数のサブセット（クラスター）に割り当てることであるので、同じクラスター内の入力値は１つまたは複数の（事前に定められた）類似度判断基準に従って類似しているが、別のクラスターに含まれている入力値と類似していない。
強化学習は機械学習アルゴリズムの第３のグループである。換言すれば、強化学習は機械学習モデルをトレーニングするために使用されてもよい。強化学習では、１つまたは複数のソフトウェアアクター（「ソフトウェアエージェント」と称される）が、周囲において行動を取るようにトレーニングされる。取られた行動に基づいて、報酬が計算される。強化学習は、（報酬の増加によって明らかにされるように）累積報酬が増加し、与えられたタスクでより良くなるソフトウェアエージェントが得られるように行動を選択するように、１つまたは複数のソフトウェアエージェントをトレーニングすることに基づいている。
さらに、いくつかの技術が、機械学習アルゴリズムの一部に適用されてもよい。例えば、特徴表現学習が使用されてもよい。換言すれば、機械学習モデルは、少なくとも部分的に特徴表現学習を用いてトレーニングされてもよい、かつ／または機械学習アルゴリズムは、特徴表現学習構成要素を含んでいてもよい。表現学習アルゴリズムと称され得る特徴表現学習アルゴリズムは、自身の入力に情報を保存するだけでなく、多くの場合、分類または予測を実行する前の前処理ステップとして、有用にするように情報の変換も行ってもよい。特徴表現学習は、例えば、主成分分析またはクラスター分析に基づいていてもよい。
いくつかの例では、異常検知（すなわち、外れ値検知）が使用されてもよく、これは、入力またはトレーニングデータの大部分と著しく異なることによって疑念を引き起こしている入力値の識別を提供することを目的としている。換言すれば、機械学習モデルは、少なくとも部分的に異常検知を用いてトレーニングされてもよく、かつ／または機械学習アルゴリズムは、異常検知構成要素を含んでいてもよい。
いくつかの例では、機械学習アルゴリズムは、予測モデルとして決定木を使用してもよい。換言すれば、機械学習モデルは、決定木に基づいていてもよい。決定木において、項目（例えば、入力値のセット）に関する観察は、決定木のブランチによって表されてもよく、この項目に対応する出力値は、決定木のリーフによって表されてもよい。決定木は、出力値として離散値と連続値の両方をサポートしてもよい。離散値が使用される場合、決定木は、分類木として表されてもよく、連続値が使用される場合、決定木は、回帰木として表されてもよい。
相関ルールは、機械学習アルゴリズムにおいて使用され得る別の技術である。換言すれば、機械学習モデルは、１つまたは複数の相関ルールに基づいていてもよい。相関ルールは、大量のデータにおける変数間の関係を識別することによって作成される。機械学習アルゴリズムは、データから導出された知識を表す１つまたは複数の相関的なルールを識別してもよい、かつ／または利用してもよい。これらのルールは、例えば、知識を格納する、操作するまたは適用するために使用されてもよい。
機械学習アルゴリズムは通常、機械学習モデルに基づいている。換言すれば、用語「機械学習アルゴリズム」は、機械学習モデルを作成する、トレーニングするまたは使用するために使用され得る命令のセットを表していてもよい。用語「機械学習モデル」は、例えば、機械学習アルゴリズムによって実行されるトレーニングに基づいて学習した知識を表すデータ構造および／またはルールのセットを表していてもよい。実施形態では、機械学習アルゴリズムの用法は、基礎となる１つの機械学習モデル（または基礎となる複数の機械学習モデル）の用法を意味していてもよい。機械学習モデルの用法は、機械学習モデルおよび／または機械学習モデルであるデータ構造／ルールのセットが機械学習アルゴリズムによってトレーニングされることを意味していてもよい。
例えば、機械学習モデルは、人工ニューラルネットワーク（ＡＮＮ）であってもよい。ＡＮＮは、網膜または脳において見出されるような、生物学的ニューラルネットワークによって影響を与えられるシステムである。ＡＮＮは、相互接続された複数のノードと、ノード間の、複数の接合部分、いわゆるエッジを含んでいる。通常、３種類のノードが存在しており、すなわち入力値を受け取る入力ノード、他のノードに接続されている（だけの）隠れノードおよび出力値を提供する出力ノードが存在している。各ノードは、人工ニューロンを表していてもよい。各エッジは、１つのノードから別のノードに、情報を伝達してもよい。ノードの出力は、その入力の和の（非線形）関数として定義されてもよい。ノードの入力は、入力を提供するエッジまたはノードの「重み」に基づく関数において使用されてもよい。ノードおよび／またはエッジの重みは、学習過程において調整されてもよい。換言すれば、人工ニューラルネットワークのトレーニングは、与えられた入力に対して所望の出力を得るために、人工ニューラルネットワークのノードおよび／またはエッジの重みを調整することを含んでいてもよい。
択一的に、機械学習モデルは、サポートベクターマシン、ランダムフォレストモデルまたは勾配ブースティングモデルであってもよい。サポートベクターマシン（すなわち、サポートベクターネットワーク）は、例えば、分類または回帰分析においてデータを分析するために使用され得る、関連する学習アルゴリズムを伴う、教師あり学習モデルである。サポートベクターマシンは、２つのカテゴリのいずれかに属する複数のトレーニング入力値を伴う入力を提供することによってトレーニングされてもよい。サポートベクターマシンは、２つのカテゴリのいずれかに新しい入力値を割り当てるようにトレーニングされてもよい。択一的に、機械学習モデルは、確率有向非巡回グラフィカルモデルであるベイジアンネットワークであってもよい。ベイジアンネットワークは、有向非巡回グラフを用いて、確率変数とその条件付き依存性のセットを表していてもよい。択一的に、機械学習モデルは、検索アルゴリズムと自然淘汰の過程を模倣した発見的方法である遺伝的アルゴリズムに基づいていてもよい。
本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。
いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。
一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。
本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。
一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。例えば、コンピュータプログラムは、非一過性の記録媒体に格納されていてもよい。いくつかの実施形態は、実行されるときに提案されているコンセプトまたは上述した１つもしくは複数の例による方法を実施するための機械可読命令を含む、非一過性の記録媒体に関する。
別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。
したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体とを含んでいる、本明細書に記載されたような装置である。
したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。
別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。
別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。
本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。
いくつかの実施形態では、プログラマブルロジックデバイス（例えば、フィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。
１００ 生物学関連のデータを処理するためのシステム
１０７ 生物学関連の画像ベースの入力データ
１０９ 生物学関連の言語ベースの出力データ
１１０ １つまたは複数のプロセッサ
１２０ １つまたは複数のストレージデバイス
２００ 生物学関連のデータを処理するためのシステム
２０１ リポジトリ
２１０ 第１のモデル
２２０ 事前にトレーニングされた視覚モデル
２３０ 意味論的埋め込み；高次元表現
２４０ 事前にトレーニングされた視覚モデル；トレーニングされた視覚認識機械学習アルゴリズム
２５０ テキストモデル；トレーニングされた言語認識機械学習アルゴリズム
２６０ データベース
３００ 生物学関連のデータを処理するためのシステム
３１０ 顕微鏡
３２０ コンピュータデバイス
４００ 生物学関連の画像ベースの入力データを処理するための方法
４１０ 生物学関連の画像ベースの入力データを取得すること
４２０ 高次元表現を生成すること
４３０ 格納または出力のうちの少なくとも１つを実施すること

Claims (15)

  1. １つまたは複数のプロセッサ（１１０）と、１つまたは複数のストレージデバイス（１２０）と、を含むシステム（１００，２００）であって、前記システム（１００，２００）は、
    生物学関連の画像ベースの入力データ（１０７）を取得し、
    前記１つまたは複数のプロセッサ（１１０）によって実行されるトレーニングされた視覚認識機械学習アルゴリズム（２２０）によって、前記生物学関連の画像ベースの入力データ（１０７）の高次元表現（２３０）を生成し、前記高次元表現（２３０）は、それぞれ異なる値を有する少なくとも３つのエントリを含み、前記高次元表現（２３０）は、１００を超える次元を含み、前記高次元表現（２３０）は、ベクトルであり、
    前記１つまたは複数のストレージデバイス（１２０）によって、前記生物学関連の画像ベースの入力データ（１０７）の前記高次元表現（２３０）を、前記生物学関連の画像ベースの入力データ（１０７）と共に格納する、
    ように構成されており、
    前記システム（１００）は、前記１つまたは複数のプロセッサ（１１０）によって実行されるトレーニングされた言語認識機械学習アルゴリズム（２５０）のデコーダによって、前記高次元表現（２３０）に基づいて、前記生物学関連の言語ベースの出力データ（１０９）を決定するようにさらに構成されている、
    システム（１００，２００）。
  2. 前記生物学関連の言語ベースの出力データ（１０９）は、前記トレーニングされた言語認識機械学習アルゴリズム（２５０）によってトレーニングされた語彙のエントリである、
    請求項１記載のシステム。
  3. １つまたは複数のプロセッサ（１１０）と、１つまたは複数のストレージデバイス（１２０）と、を含むシステム（１００，２００）であって、前記システム（１００，２００）は、
    生物学関連の画像ベースの入力データ（１０７）を取得し、
    前記１つまたは複数のプロセッサ（１１０）によって実行されるトレーニングされた視覚認識機械学習アルゴリズム（２２０）によって、前記生物学関連の画像ベースの入力データ（１０７）の高次元表現（２３０）を生成し、前記高次元表現（２３０）は、それぞれ異なる値を有する少なくとも３つのエントリを含み、前記高次元表現（２３０）は、１００を超える次元を含み、前記高次元表現（２３０）は、ベクトルであり、
    前記１つまたは複数のストレージデバイス（１２０）によって、前記生物学関連の画像ベースの入力データ（１０７）の前記高次元表現（２３０）を、前記生物学関連の画像ベースの入力データ（１０７）と共に格納する、
    ように構成されており、
    前記システム（１００）は、
    複数のトレーニングされた視覚認識機械学習アルゴリズムから、第１の高次元表現（２３０）を生成するための第１のトレーニングされた視覚認識機械学習アルゴリズム（２２０）を選択し、
    前記複数のトレーニングされた視覚認識機械学習アルゴリズムから、第２のトレーニングされた視覚認識機械学習アルゴリズムを選択し、
    前記１つまたは複数のプロセッサ（１１０）によって実行される前記第２のトレーニングされた視覚認識機械学習アルゴリズムによって、前記生物学関連の画像ベースの入力データ（１０７）の第２の高次元表現を生成し、前記第２の高次元表現は、それぞれ異なる値を有する少なくとも３つのエントリを含み、
    前記１つまたは複数のストレージデバイス（１２０）によって、前記生物学関連の画像ベースの入力データ（１０７）の前記第２の高次元表現を、前記第１の高次元表現（２３０）および前記生物学関連の画像ベースの入力データ（１０７）と共に格納すること、または、前記第２の高次元表現に対応する、第１の生物学関連の言語ベースの出力データと第２の生物学関連の言語ベースの出力データとを出力すること、のうちの少なくとも１つを実施する、
    ようにさらに構成されている、
    システム（１００，２００）。
  4. 前記生物学関連の画像ベースの入力データ（１０７）は、ヌクレオチド配列を含む生物学的構造、タンパク質配列を含む生物学的構造、生物学的分子、生物学的組織、特定の挙動を有する生物学的構造、または、特定の生物学的機能もしくは特定の生物学的活動を有する生物学的構造のうちの少なくとも１つの画像の画像データである、
    請求項１から３までのいずれか１項記載のシステム。
  5. 前記高次元表現（２３０）の１つまたは複数のエントリの値は、特定の生物学的機能または特定の生物学的活動が存在する尤度に比例する、
    請求項１から４までのいずれか１項記載のシステム。
  6. 前記生物学関連の言語ベースの出力データ（１０９）は、ヌクレオチド配列、タンパク質配列、生物学的分子もしくは生物学的構造の記述、生物学的分子もしくは生物学的構造の挙動の記述、または、生物学的機能もしくは生物学的活動の記述のうちの少なくとも１つである、
    請求項１から５までのいずれか１項記載のシステム。
  7. 前記システムは、生物学的標本の画像を撮影することによって前記生物学関連の画像ベースの入力データ（１０７）を取得するように構成された顕微鏡をさらに含む、
    請求項１から６までのいずれか１項記載のシステム。
  8. 前記高次元表現（２３０）は、数値表現である、
    請求項１から７までのいずれか１項記載のシステム。
  9. 前記高次元表現（２３０）のエントリの値の５０％超は、０に等しくない、
    請求項１から８までのいずれか１項記載のシステム。
  10. 前記高次元表現（２３０）の５つを超えるエントリの値は、前記高次元表現（２３０）のエントリの最大絶対値の１０％よりも大きい、
    請求項１から９までのいずれか１項記載のシステム。
  11. 前記システム（１００）は、
    複数の生物学関連の画像ベースのデータセットを取得し、
    前記１つまたは複数のプロセッサ（１１０）によって実行される前記トレーニングされた視覚認識機械学習アルゴリズム（２２０）によって、前記複数の生物学関連の画像ベースのデータセットのうちのそれぞれの生物学関連の画像ベースの入力データセットごとに個々の高次元表現を生成し、
    前記１つまたは複数のストレージデバイス（１２０）によって、前記個々の高次元表現を、それぞれ対応する生物学関連の画像ベースの入力データセットと共に格納すること、または、前記個々の高次元表現に対応する生物学関連の言語ベースの出力データセットを出力すること、のうちの少なくとも１つを実施する、
    ように構成されている、
    請求項１から１０までのいずれか１項記載のシステム。
  12. 請求項１から１１までのいずれか１項記載のシステムを含む、顕微鏡。
  13. 生物学関連の画像ベースの入力データを処理するための方法（４００）であって、前記方法は、
    生物学関連の画像ベースの入力データを取得するステップ（４１０）と、
    トレーニングされた視覚認識機械学習アルゴリズムによって、前記生物学関連の画像ベースの入力データの高次元表現を生成するステップであって、前記高次元表現は、それぞれ異なる値を有する少なくとも３つのエントリを含み、前記高次元表現（２３０）は、１００を超える次元を含み、前記高次元表現（２３０）は、ベクトルであるステップ（４２０）と、
    前記生物学関連の画像ベースの入力データの前記高次元表現を、前記生物学関連の画像ベースの入力データと共に格納するステップと、
    トレーニングされた言語認識機械学習アルゴリズム（２５０）のデコーダによって、前記高次元表現（２３０）に基づいて、前記生物学関連の言語ベースの出力データ（１０９）を決定するステップと、
    を含む方法。
  14. 生物学関連の画像ベースの入力データを処理するための方法（４００）であって、前記方法は、
    生物学関連の画像ベースの入力データを取得するステップ（４１０）と、
    トレーニングされた視覚認識機械学習アルゴリズムによって、前記生物学関連の画像ベースの入力データの高次元表現を生成するステップであって、前記高次元表現は、それぞれ異なる値を有する少なくとも３つのエントリを含み、前記高次元表現（２３０）は、１００を超える次元を含み、前記高次元表現（２３０）は、ベクトルであるステップ（４２０）と、
    前記生物学関連の画像ベースの入力データの前記高次元表現を、前記生物学関連の画像ベースの入力データと共に格納するステップと、
    複数のトレーニングされた視覚認識機械学習アルゴリズムから、第１の高次元表現（２３０）を生成するための第１のトレーニングされた視覚認識機械学習アルゴリズム（２２０）を選択するステップと、
    前記複数のトレーニングされた視覚認識機械学習アルゴリズムから、第２のトレーニングされた視覚認識機械学習アルゴリズムを選択するステップと、
    前記第２のトレーニングされた視覚認識機械学習アルゴリズムによって、前記生物学関連の画像ベースの入力データ（１０７）の第２の高次元表現を生成するステップであって、前記第２の高次元表現は、それぞれ異なる値を有する少なくとも３つのエントリを含むステップと、
    前記生物学関連の画像ベースの入力データ（１０７）の前記第２の高次元表現を、前記第１の高次元表現（２３０）および前記生物学関連の画像ベースの入力データ（１０７）と共に格納するステップ、または、前記第２の高次元表現に対応する、第１の生物学関連の言語ベースの出力データと第２の生物学関連の言語ベースの出力データとを出力するステップのうちの少なくとも１つと、
    を含む方法。
  15. プロセッサによって実行されるときに請求項１３または１４記載の方法を実施するためのプログラムコードを有する、コンピュータプログラム。
JP2021572432A 2019-06-07 2019-06-07 生物学関連のデータを処理するためのシステムおよび方法ならびに顕微鏡 Active JP7346603B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/064971 WO2020244776A1 (en) 2019-06-07 2019-06-07 System and method for processing biology-related data and a microscope

Publications (2)

Publication Number Publication Date
JP2022542753A JP2022542753A (ja) 2022-10-07
JP7346603B2 true JP7346603B2 (ja) 2023-09-19

Family

ID=66857881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021572432A Active JP7346603B2 (ja) 2019-06-07 2019-06-07 生物学関連のデータを処理するためのシステムおよび方法ならびに顕微鏡

Country Status (5)

Country Link
US (1) US20220254177A1 (ja)
EP (1) EP3980920A1 (ja)
JP (1) JP7346603B2 (ja)
CN (1) CN114391162A (ja)
WO (1) WO2020244776A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063635A (zh) * 2022-06-23 2022-09-16 澜途集思生态科技集团有限公司 基于DetNAS算法的生态生物识别方法
CN115457548B (zh) * 2022-09-19 2023-06-16 清华大学 冷冻电镜中的高分辨率密度图配准方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013201909A (ja) 2012-03-27 2013-10-07 National Institute Of Advanced Industrial Science & Technology 細胞画像判定装置、方法、並びにプログラム
JP2016517115A (ja) 2013-04-17 2016-06-09 ゼネラル・エレクトリック・カンパニイ 連続的に染色した組織における、１つの細胞の分割を使用する多重化バイオマーカー定量用のシステム及び方法
US20170249548A1 (en) 2016-02-26 2017-08-31 Google Inc. Processing cell images using neural networks
JP2018125019A (ja) 2018-03-27 2018-08-09 エルピクセル株式会社 画像処理装置及び画像処理方法
US20180232400A1 (en) 2015-08-03 2018-08-16 Orand S.A. Sketch-based image searching system using cell-orientation histograms and outline extraction based on medium-level features

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10049450B2 (en) * 2015-12-03 2018-08-14 Case Western Reserve University High-throughput adaptive sampling for whole-slide histopathology image analysis
EP3432784B1 (en) * 2016-03-24 2020-09-23 The Regents of The University of California Deep-learning-based cancer classification using a hierarchical classification framework
WO2018091486A1 (en) * 2016-11-16 2018-05-24 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
US10573003B2 (en) * 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
US10769501B1 (en) * 2017-02-15 2020-09-08 Google Llc Analysis of perturbed subjects using semantic embeddings
US10282589B2 (en) * 2017-08-29 2019-05-07 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
US10846367B2 (en) * 2017-09-15 2020-11-24 Case Western Reserve University University Predicting recurrence in early stage non-small cell lung cancer (NSCLC) with integrated radiomic and pathomic features
US10496884B1 (en) * 2017-09-19 2019-12-03 Deepradiology Inc. Transformation of textbook information
WO2019133538A2 (en) * 2017-12-29 2019-07-04 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors
US10902591B2 (en) * 2018-02-09 2021-01-26 Case Western Reserve University Predicting pathological complete response to neoadjuvant chemotherapy from baseline breast dynamic contrast enhanced magnetic resonance imaging (DCE-MRI)
JP7126864B2 (ja) * 2018-05-25 2022-08-29 キヤノンメディカルシステムズ株式会社 医用信号処理装置及び学習プログラム
US11017896B2 (en) * 2018-06-28 2021-05-25 Case Western Reserve University Radiomic features of prostate bi-parametric magnetic resonance imaging (BPMRI) associate with decipher score
US11087864B2 (en) * 2018-07-17 2021-08-10 Petuum Inc. Systems and methods for automatically tagging concepts to, and generating text reports for, medical images based on machine learning
WO2020182710A1 (en) * 2019-03-12 2020-09-17 F. Hoffmann-La Roche Ag Multiple instance learner for prognostic tissue pattern identification
US20240054384A1 (en) * 2020-07-31 2024-02-15 Meta Platforms, Inc. Operation-based partitioning of a parallelizable machine learning model network on accelerator hardware

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013201909A (ja) 2012-03-27 2013-10-07 National Institute Of Advanced Industrial Science & Technology 細胞画像判定装置、方法、並びにプログラム
JP2016517115A (ja) 2013-04-17 2016-06-09 ゼネラル・エレクトリック・カンパニイ 連続的に染色した組織における、１つの細胞の分割を使用する多重化バイオマーカー定量用のシステム及び方法
US20180232400A1 (en) 2015-08-03 2018-08-16 Orand S.A. Sketch-based image searching system using cell-orientation histograms and outline extraction based on medium-level features
US20170249548A1 (en) 2016-02-26 2017-08-31 Google Inc. Processing cell images using neural networks
JP2018125019A (ja) 2018-03-27 2018-08-09 エルピクセル株式会社 画像処理装置及び画像処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Caleb VUNUNU et al.，A Deep Feature Learning Scheme for Counting the Cells in Microscopy Data，2018 IEEE International Conference on Electronics and Communication Engineering(ICECE)，IEEE，2018年，pp.22-26
村本尚生他，ヒントワードを活用した画像キャプションの自動生成，情報知識学会誌，日本，情報知識学会，2019年05月25日，第29巻 第2号，pp.153-158

Also Published As

Publication number Publication date
WO2020244776A1 (en) 2020-12-10
US20220254177A1 (en) 2022-08-11
CN114391162A (zh) 2022-04-22
EP3980920A1 (en) 2022-04-13
JP2022542753A (ja) 2022-10-07

Similar Documents

Publication Publication Date Title
JP7443401B2 (ja) 生物学関連のデータを処理するための機械学習アルゴリズムをトレーニングするためのシステムおよび方法、顕微鏡ならびにトレーニングされた機械学習アルゴリズム
Nguyen et al. GraphDTA: predicting drug–target binding affinity with graph neural networks
Jeckel et al. Advances and opportunities in image analysis of bacterial cells and communities
Villegas-Morcillo et al. Unsupervised protein embeddings outperform hand-crafted sequence and structure features at predicting molecular function
Sommer et al. Machine learning in cell biology–teaching computers to recognize phenotypes
Sekhon et al. DeepDiff: DEEP-learning for predicting DIFFerential gene expression from histone modifications
Oldenhof et al. ChemGrapher: optical graph recognition of chemical compounds by deep learning
Hong et al. DTranNER: biomedical named entity recognition with deep learning-based label-label transition model
Ieremie et al. TransformerGO: predicting protein–protein interactions by modelling the attention between sets of gene ontology terms
Arowolo et al. A survey of dimension reduction and classification methods for RNA-Seq data on malaria vector
US20220245188A1 (en) A system and method for processing biology-related data, a system and method for controlling a microscope and a microscope
JP7346603B2 (ja) 生物学関連のデータを処理するためのシステムおよび方法ならびに顕微鏡
Sanchez-Fernandez et al. CLOOME: contrastive learning unlocks bioimaging databases for queries with chemical structures
US11960518B2 (en) System and method for processing biology-related data, a system and method for controlling a microscope and a microscope
Ullah et al. PScL-DDCFPred: an ensemble deep learning-based approach for characterizing multiclass subcellular localization of human proteins from bioimage data
Yang et al. AnnoFly: annotating Drosophila embryonic images based on an attention-enhanced RNN model
George et al. Significance of global vectors representation in protein sequences analysis
Wemmert et al. Deep learning for histopathological image analysis
EP4116869A1 (en) A method and an apparatus for predicting a future state of a biological system, a system and a computer program
Eftekhar Prediction of protein subcellular localization using deep learning and data augmentation
Pan et al. Predicting protein subcellular location using learned distributed representations from a protein-protein network
EP3980938A1 (en) A system and method for generating a biology-related image-based output data set of a typical image of a biological structure and a system and method for training a generative adversarial network
Maddouri Deep learning on biological knowledge graphs
Szymborski et al. INTREPPPID-An Orthologue-Informed Quintuplet Network for Cross-Species Prediction of Protein-Protein Interaction
Silvestre Identifying negative results using biomedical relation extraction systems

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220607

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230906

R150 Certificate of patent or registration of utility model

Ref document number: 7346603

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150