JP2023516651A - 訓練データにおける欠落したアノテーションに対処するためのクラス別損失関数 - Google Patents

訓練データにおける欠落したアノテーションに対処するためのクラス別損失関数 Download PDF

Info

Publication number
JP2023516651A
JP2023516651A JP2022552420A JP2022552420A JP2023516651A JP 2023516651 A JP2023516651 A JP 2023516651A JP 2022552420 A JP2022552420 A JP 2022552420A JP 2022552420 A JP2022552420 A JP 2022552420A JP 2023516651 A JP2023516651 A JP 2023516651A
Authority
JP
Japan
Prior art keywords
interest
feature
definitions
model
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022552420A
Other languages
English (en)
Inventor
ジャスミン パティル，
Original Assignee
ジェネンテック， インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジェネンテック， インコーポレイテッド filed Critical ジェネンテック， インコーポレイテッド
Publication of JP2023516651A publication Critical patent/JP2023516651A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Abstract

入力データ要素と、それぞれが入力データ要素内の着目特徴を識別する１つまたは複数のラベルデータ部分定義とを含むデータセットを提供することができる。機械学習モデルは、入力データ要素内の予測着目特徴を識別するモデル識別部分定義を生成することができる。少なくとも１つの偽陰性（着目特徴が、対応する予測着目特徴なしで識別される）および少なくとも１つの偽陽性（予測着目特徴が、対応する着目特徴なしで識別される）を識別することができる。少なくとも一部の偽陽性よりも多くの偽陰性にペナルティを課すように構成されるクラス別損失関数を提供することができる。損失は、クラス別損失関数を使用して計算することができる。損失に基づいて、機械学習モデルのパラメータ値のセットを決定することができる。【選択図】図３

Description

関連出願の相互参照
本出願は、２０２０年３月６日に出願された米国仮特許出願第６２／９８６，１７６号の利益および優先権を主張するものであり、本仮特許出願は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
背景
深層学習の出現により、医用撮像におけるコンピュータ支援による検出および診断の向上が促進された。深層学習技術を利用する医用撮像ツールキットは、病変の検出および位置特定において放射線科医を大幅に支援することができる。過去１０年間にわたる医用撮像の性能および精度の進歩の少なくとも一部は、特に、畳み込みニューラルネットワークの使用に起因する可能性があり、この畳み込みニューラルネットワークは、肝臓における自動病変検出およびセグメンテーション、皮膚癌の分類、ならびに様々なタイプ（例えば、肝臓、肺、リンパ節、または腹部）の病変の教師なし分類を行うために使用されてきた。
現在、ＣＴスキャンは、典型的には、Ｒｅｓｐｏｎｓｅ Ｅｖａｌｕａｔｉｏｎ Ｃｒｉｔｅｒｉａ ｉｎ Ｓｏｌｉｄ Ｔｕｍｏｒｓ（ＲＥＣＩＳＴ）基準に基づいて手動でアノテートされている。ＲＥＣＩＳＴ基準は、１０ｍｍ未満の直径を有する病変は測定可能でない病変として分類され、１０ｍｍを超える病変は測定不能な病変として分類されると規定している。基準では、さらに、標的病変が選択されるべきであることが示されている。各標的病変は、測定可能な病変である。臓器当たり５個以下の病変およびスキャン当たり１０個以下の病変が標的病変として選択される。残りの各病変は、非標的病変（測定可能な病変であっても、測定不能な病変であってもよい）として分類される。
ＲＥＣＩＳＴ基準は放射線学界で一般的に使用されているが、この基準はコンピュータ支援検出ツールと共に使用するように設計されていない。病変の識別および／または輪郭描写は時間がかかり、複数の病変に手動でアノテートするために放射線科医を採用することは、費用がかかる可能性がある。さらに、基準のルールにより、結果として非標的病変がアノテートされない可能性がある。ＲＥＣＩＳＴ基準に基づいてアノテートされたデータを使用してニューラルネットワークを訓練する場合、これらのアノテーションが存在しないことで、結果として、アノテートされなかった真の病変の検出のためにネットワークに誤ってペナルティを課すことになる場合がある。
概要
本開示は、特徴（例えば、病変）の自動アノテーションのために、特定のタイプの損失関数（例えば、クラス別損失関数）を定義および利用するための技術を提示する。
クラス別損失関数は、入力データ要素（例えば、画像を含む）を処理し、１つまたは複数のモデル識別部分定義を識別する出力を生成するように構成される機械学習モデル（例えば、畳み込みニューラルネットワーク）を訓練するために使用される。１つまたは複数のモデル識別部分定義のそれぞれは、予測着目特徴を識別する。予測着目特徴は、機械学習モデルが予測する着目特徴（例えば病変）の少なくとも一部を表す（例えば描写する）入力データ要素の一部を指定することによって（例えば画素またはボクセルのセットを識別することによって）定義することができる。出力は、入力データ要素において表された着目特徴の複数のインスタンスが存在することを予測することができる。１つまたは複数のモデル識別部分定義のそれぞれは、予測着目特徴を表すと予測される領域に対応する位置データ（例えば、画素のセットまたはボクセルのセット）、および信頼度メトリックを含むことができる。例えば、モデル識別部分定義は、複数の病変のそれぞれについて、機械学習モデルが予測する入力画像のどの部分が病変の少なくとも一部を描写するかを示すことができる。高い信頼度メトリックは、低い信頼度メトリックと比較して、その部分が着目特徴を表している可能性がより高いとモデルが予測したことを示すことができる。
クラス別損失関数は、偽陽性よりも少なくとも一部の偽陰性にペナルティを課すように構成される。場合によっては、クラス別損失関数は、偽陽性の少なくとも一部にペナルティを課さない。クラス別損失関数は、信頼度メトリックに基づいて損失を決定するように構成することができる。より高い信頼度メトリクスに関連付けられた偽陽性は、より低い信頼度メトリクスに関連付けられた偽陽性よりもペナルティをより少なくすることができる。例えば、各信頼度メトリック（例えば、偽陽性インスタンスに関連付けられる）は、所定のしきい値と比較することができる。偽陽性に関連付けられた信頼度メトリックが所定のしきい値より大きい場合、クラス別損失関数は、インスタンスにペナルティを与えないことを示すことができる。
偽陽性よりも少なくとも一部の偽陰性にペナルティを課すクラス別損失関数を使用することは、訓練データが入力データ要素に表される全ての真の特徴の不完全なアノテーションを含む場合（例えば、多くのＣＴ画像データセットにおいて一般的である）、特に有利である可能性がある。クラス別損失関数は、訓練データセットにおいてアノテートされていない特徴の量がアノテートされた特徴の量を上回る場合、さらに有利である場合がある。このような場合、偽陽性および偽陰性に等しくペナルティを課した場合、機械学習モデルは、特徴の予測に対して誤って学習をすることがある。例えば、画像が４０個の真の特徴を含むが、２個のみがラベル付けされると仮定する。訓練中に、モデルが４０個の特徴のそれぞれを正しく識別した場合、ある種の損失関数は、ラベル付けされなかった３８個の真の特徴を予測するためのペナルティを導入する可能性がある。その結果、モデル学習が特徴を過小予測することになる可能性がある。対照的に、クラス別損失関数（偽陽性が高い信頼度メトリックに関連付けられている場合は、低減されたペナルティを使用するか、またはペナルティを課さない）を使用することは、この種の望ましくない学習を低減または回避することができる。したがって、クラス別損失関数は、不完全にアノテートされた訓練データセットを使用しながら、特徴を正確かつ確実に検出するようにモデルを訓練することを容易にすることができ、これにより、有用な訓練データセットを取得する際の時間および／またはコストを節約することができる。例えば、新しい完全なアノテーションを行うことを要求する代わりに、ＲＥＣＩＳＴ基準に従ってアノテートされた既存のデータセットを使用して、ニューラルネットワークを訓練することができる。さらに、個々の入力データ要素をアノテートすることに関連付けられた時間および／またはコストの節約により、追加のデータ要素の収集および／またはアノテーションをサポートすることができ、それによりより大きな訓練データセットを使用することができるようになる。より大きな訓練データセットは、画像特性のより多くの変動を含むことがあり、その結果、よりロバストなおよび／または多用途のモデルが得られる可能性がある。
一部の実施形態では、入力データ要素、およびそれぞれが前記入力データ要素内の着目特徴を識別する１つまたは複数のラベルデータ部分定義、を含むデータセットを提供することを含むコンピュータ実装方法が提供される。コンピュータ実装方法は、前記データセットを使用して動作のセットを実行することによって機械学習モデルを訓練することであり、前記動作のセットが、それぞれが前記入力データ要素内の予測着目特徴を識別する１つまたは複数のモデル識別部分定義を生成すること（前記１つまたは複数のモデル識別部分定義が前記機械学習モデルに基づいて生成される）、前記１つまたは複数のラベルデータ部分定義のうちの特定のラベルデータ部分定義によって識別された前記着目特徴を、前記特定のラベルデータ部分定義と前記１つまたは複数のモデル識別部分定義のそれぞれとの間の不一致を判定することによって偽陰性として分類すること、および前記１つまたは複数のモデル識別部分定義のうちの特定のモデル識別部分定義によって識別された前記予測着目特徴を、前記特定のモデル識別部分定義と前記１つまたは複数のラベルデータ部分定義のそれぞれとの間の不一致を判定することによって偽陽性として分類すること、をさらに含む。動作のセットは、少なくとも一部の偽陽性よりも多くの偽陰性にペナルティを課すように構成されるクラス別損失関数を提供すること、前記クラス別損失関数を使用して損失を計算することであり、前記計算が、前記予測着目特徴の偽陽性としての分類に割り当てられたいかなるペナルティよりも大きいペナルティを前記着目特徴の偽陰性としての分類に割り当てることを含む、計算すること、および前記損失に基づいて、前記機械学習モデルのパラメータ値のセットを決定すること、をさらに含む。
場合によっては、動作のセットは、前記パラメータ値のセットで構成されるように前記機械学習モデルを更新することをさらに含み、前記機械学習モデルを訓練することが前記動作のセットを複数回繰り返し実行することを含み、前記動作のセットの次の実行が前記データセットに含まれる少なくとも１つの他の入力データ要素を使用して前記機械学習モデルを訓練することをさらに含む。
場合によっては、コンピュータ実装方法は、前記特定のモデル識別部分定義について、存在する前記予測着目特徴の信頼度を表す信頼度メトリックを生成することをさらに含み、前記損失を計算することが、前記信頼度メトリックに基づいて、前記予測着目特徴の偽陽性としての分類に割り当てられたペナルティを計算することを含む。損失を計算することは、前記信頼度メトリックが所定のしきい値を超えたと判定することと、前記予測特徴の偽陽性としての分類に割り当てられた前記ペナルティを０に設定することと、を含む。
入力データ要素は画像を含むことができ、１つまたは複数のモデル識別部分定義のそれぞれは、画素のセットを識別する。機械学習モデルは、畳み込みニューラルネットワークおよび／またはディープニューラルネットワークを含むことができる。パラメータ値のセットは、重みのセットについての値を含むことができる。入力データ要素は、画像であってもよく、１つまたは複数のラベルデータ部分定義の各ラベルデータ部分定義について、ラベルデータ部分定義において識別される着目特徴は、腫瘍、病変、特定の細胞タイプ、または血管系であってもよい。
実装されるコンピュータは、前記データセットにおける着目特徴表現の推定数に基づいて、ペナルティ割り当てからドロップされるべき偽陽性分類の量を決定することをさらに含み、損失を計算することが、それぞれが偽陽性として分類された予測着目特徴を含む、偽陽性予測着目特徴のセットを識別することと、前記偽陽性予測着目特徴のセットのそれぞれについて、存在する前記予測着目特徴の信頼度を表す信頼度メトリックを生成することと、前記ドロップされるべき偽陽性分類の量および前記信頼度メトリックに基づいて、前記偽陽性の予測着目特徴のセットのサブセットを定義することと、前記サブセット内の偽陽性予測特徴のそれぞれにペナルティを割り当てることと、を含むことができる。
一部の実施形態では、訓練された機械学習モデルを使用して、特定の入力データ要素における任意の予測着目特徴を検出する要求を送信することを含む方法が提供される。訓練された機械学習モデルは、入力データ要素、およびそれぞれが前記入力データ要素内の着目特徴を識別する１つまたは複数のラベルデータ部分定義、を含むデータセットを提供すること、ならびに前記データセットを使用して、機械学習モデルを訓練することによって学習されたパラメータ値のセットで構成されてもよい。機械学習モデルを訓練することは、それぞれが前記入力データ要素内の予測着目特徴を識別する１つまたは複数のモデル識別部分定義を生成することであり、前記１つまたは複数のモデル識別部分定義が前記機械学習モデルに基づいて生成される、モデル識別部分定義を生成すること、前記１つまたは複数のラベルデータ部分定義のうちの特定のラベルデータ部分定義によって識別された前記着目特徴を、前記特定のラベルデータ部分定義と前記１つまたは複数のモデル識別部分定義のそれぞれとの間の不一致を判定することによって偽陰性として分類すること、および前記１つまたは複数のモデル識別部分定義のうちの特定のモデル識別部分定義によって識別された前記予測着目特徴を、前記特定のモデル識別部分定義と前記１つまたは複数のラベルデータ部分定義のそれぞれとの間の不一致を判定することによって偽陽性として分類すること、を含む。前記機械学習モデルを訓練することは、少なくとも一部の偽陽性よりも多くの偽陰性にペナルティを課すように構成されるクラス別損失関数を提供すること、前記クラス別損失関数を使用して損失を計算することであり、前記計算が、前記予測着目特徴の偽陽性としての分類に割り当てられたいかなるペナルティよりも大きいペナルティを前記着目特徴の偽陰性としての分類に割り当てることを含む、計算すること、および前記損失に基づいて、前記機械学習モデルのパラメータ値の前記セットを決定すること、をさらに含む。方法は、前記要求を送信することに応答して、１つまたは複数の特定のモデル識別部分定義を識別する結果を受信することであり、前記１つまたは複数の特定のモデル識別部分定義のそれぞれが、予測着目特徴に対応する前記特定の入力データ要素の部分を識別する、受信することをさらに含む。
方法は、前記１つまたは複数の特定のモデル識別部分定義に基づいて、前記特定の入力データ要素に対応する被験者の診断または処置を決定することと、前記診断または処置の識別を出力することと、をさらに含む。方法は、加えて、または代替として、コンピュータ断層撮影（ＣＴ）スキャナ、磁気共鳴撮像（ＭＲＩ）装置、または顕微鏡を使用して、特定の入力データ要素を収集することを含んでもよい。
一部の実施形態では、１つまたは複数のデータプロセッサと、前記１つまたは複数のデータプロセッサ上で実行されると、前記１つまたは複数のデータプロセッサにアクションのセットを実行させる命令を含む非一過性コンピュータ可読記憶媒体と、を備えるシステムが提供される。アクションのセットは、入力データ要素、およびそれぞれが前記入力データ要素内の着目特徴を識別する１つまたは複数のラベルデータ部分定義、を含むデータセットを提供することを含むことができる。アクションのセットは、データセットを使用して、機械学習モデルを訓練することを含むことができる。訓練は、それぞれが前記入力データ要素内の予測着目特徴を識別する１つまたは複数のモデル識別部分定義を生成することであり、前記１つまたは複数のモデル識別部分定義が前記機械学習モデルに基づいて生成される、モデル識別部分定義を生成すること、前記１つまたは複数のラベルデータ部分定義のうちの特定のラベルデータ部分定義によって識別された前記着目特徴を、前記特定のラベルデータ部分定義と前記１つまたは複数のモデル識別部分定義のそれぞれとの間の不一致を判定することによって偽陰性として分類すること、前記１つまたは複数のモデル識別部分定義のうちの特定のモデル識別部分定義によって識別された前記予測着目特徴を、前記特定のモデル識別部分定義と前記１つまたは複数のラベルデータ部分定義のそれぞれとの間の不一致を判定することによって偽陽性として分類すること、少なくとも一部の偽陽性よりも多くの偽陰性にペナルティを課すように構成されるクラス別損失関数を提供すること、前記クラス別損失関数を使用して損失を計算することであり、前記計算が、前記予測着目特徴の偽陽性としての分類に割り当てられたいかなるペナルティよりも大きいペナルティを前記着目特徴の偽陰性としての分類に割り当てることを含む、計算すること、および前記損失に基づいて、前記機械学習モデルのパラメータ値のセットを決定すること、を含む。
一部の実施形態では、コンピュータプログラム製品は、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部を実行させるように構成される命令を含む、非一過性機械可読記憶媒体内に有形に具現化される。
一部の実施形態では、１つまたは複数のデータプロセッサと、命令を含む非一過性コンピュータ可読記憶媒体であって、前記命令が、前記１つまたは複数のデータプロセッサ上で実行されると、前記１つまたは複数のデータプロセッサに、本明細書に開示される１つまたは複数の方法の一部または全部を実行させる、非一過性コンピュータ可読記憶媒体と、を含むシステムが提供される。
一部の実施形態では、非一過性機械可読記憶媒体において有形に具現化され、１つまたは複数のデータプロセッサに本明細書に開示された１つまたは複数の方法の一部または全部を実行させるように構成される命令を含む、コンピュータプログラム製品が提供される。
本開示の一部の実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。一部の実施形態では、システムは、命令を含む非一過性コンピュータ可読記憶媒体であって、命令が、１つまたは複数のデータプロセッサ上で実行されると、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部および／または１つまたは複数のプロセスの一部または全部を実行させる、非一過性コンピュータ可読記憶媒体を含む。本開示の一部の実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部および／または１つまたは複数のプロセスの一部または全部を実行させるように構成される命令を含む、非一過性機械可読記憶媒体において有形に具現化されるコンピュータプログラム製品を含む。
採用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示され、説明された特徴またはその一部の任意の均等物を除外する意図はないが、特許請求される本発明の範囲内で様々な修正が可能であることが認識される。したがって、特許請求される本発明は、実施形態および任意選択の特徴によって具体的に開示されているが、本明細書で開示される概念の修正および変形が当業者によって行われてもよく、そのような修正および変形は、添付の特許請求の範囲によって定義される本発明の範囲内であると考えられることを理解されたい。
本開示は、添付の図面と併せて説明される。
一部の実施形態による例示的な着目特徴検出ネットワークを示す図である。
ラベルデータ内で識別された病変の例示的なアノテーションと、機械学習モデルからの出力に基づいて別個に識別された病変の例示的なアノテーションとを示す図である。
一部の実施形態による、病変を検出するために機械学習モデルを訓練するための例示的なプロセスの流れ図である。
一部の実施形態による、医用画像を処理するための機械学習モデルを訓練するためにクラス別損失関数を使用するための例示的なプロセスの流れ図である。
訓練エポックにわたって、クラス別損失関数を使用して訓練された例示的なニューラルネットワークの性能、およびクラス別損失関数を使用せずに訓練された例示的なニューラルネットワークの性能を示す図である。
クラス別損失システムを使用して例示的なニューラルネットワークを訓練するために使用される訓練セットからの例示的な画像の線画であり、ニューラルネットワークは、人間のアノテータユーザよりも性能が優れていた。 クラス別損失システムを使用して例示的なニューラルネットワークを訓練するために使用される訓練セットからの例示的な画像の線画であり、ニューラルネットワークは、人間のアノテータユーザよりも性能が優れていた。 クラス別損失システムを使用して例示的なニューラルネットワークを訓練するために使用される訓練セットからの例示的な画像の線画であり、ニューラルネットワークは、人間のアノテータユーザよりも性能が優れていた。 クラス別損失システムを使用して例示的なニューラルネットワークを訓練するために使用される訓練セットからの例示的な画像の線画であり、ニューラルネットワークは、人間のアノテータユーザよりも性能が優れていた。 クラス別損失システムを使用して例示的なニューラルネットワークを訓練するために使用される訓練セットからの例示的な画像の線画であり、ニューラルネットワークは、人間のアノテータユーザよりも性能が優れていた。 クラス別損失システムを使用して例示的なニューラルネットワークを訓練するために使用される訓練セットからの例示的な画像の線画であり、ニューラルネットワークは、人間のアノテータユーザよりも性能が優れていた。
ドロップされた誤分類の数（ｋ）（ペナルティが導入されなかった）の関数としての例示的なニューラルネットワークの再現率性能を示す図である。
クラス別損失関数を使用して訓練された例示的なニューラルネットワークと、誤分類がドロップされたクラス別損失関数を使用して訓練された別の例示的なニューラルネットワークとのそれぞれについて、ドロップされた誤分類の数の関数としての再現率性能の比較を示す図である。
詳細な説明
Ｉ．概要
画像（例えば、２次元または３次元画像）は、撮像システムを使用して収集することができる。画像は、アノテータ装置（例えば、画像の一部にラベル付けするための任意の適切な装置であってもよい）に送信され、提示され得る。アノテータ装置において（手動で、またはコンピュータから自動的に、のいずれかで）受信した入力を使用して、画像のどの部分が特定の着目特徴（例えば、病変）に対応するかを識別することができる。例えば、入力は、１つまたは複数の病変のそれぞれのアウトラインに対応することができる。場合によっては、入力は、着目特徴に対応する画像内の単一または限られた数の部分のみを識別し、着目特徴にも対応する可能性がある任意の残りの部分を背景データとして無視することができる。画像の識別された部分の不完全なセットをラベルデータとして記憶する。このため、ラベルデータに含まれる部分は、「ラベルデータ部分」と呼ばれる。例えば、ラベルデータは、１つまたは複数の標的病変のそれぞれについて、どの画素またはボクセルが病変の外周、病変の面積、または病変の体積の一部であるかを示すことができ、ラベルデータ部分は、病変の面積または体積を識別するように定義することができる。別の例として、ラベルデータは、１つまたは複数の標的病変のそれぞれについて、病変を境界付けるバウンディングボックス（例えば、病変を描写しない画像の他の部分を大幅に省略するのに十分小さい２次元または３次元ボックスである）を識別することができ、ラベルデータ部分は、バウンディングボックスの面積または体積を識別するように定義することができる。
画像およびそれに対応するラベルデータは、自動画像アノテーションシステムに送達される。ラベルデータは、機械学習モデルの訓練を容易にするために、訓練、検証、または試験データとして使用することができる。機械学習モデルは、パラメータ（値が学習される）およびハイパーパラメータ（設定され、学習されない）のセットを用いて構成することができる。例えば、パラメータのセットは、訓練中に重みの値が学習されるように、重みのセットを含むことができる。機械学習モデルは、畳み込みニューラルネットワークおよび／またはディープニューラルネットワークなどの、ニューラルネットワークを含むことができる。機械学習モデルは、デジタル画像を含む入力データを受信し、入力画像のどの部分（もしあれば）が特徴（または特徴の一部）を描写すると予測されるかに関する予測を出力するように構成することができる。
訓練中、機械学習モデルは、クラス別損失関数を使用して、モデル出力がラベルにどの程度対応しているかに基づいてパラメータ値を繰り返し調整する。より具体的には、機械学習モデルは、画像を受信し、予測される着目特徴に対応する画像の各部分を識別するように構成される。したがって、これらの部分のそれぞれは、本明細書では「モデル識別部分」と呼ばれる。本明細書で使用される場合、「予測される着目特徴」は、機械学習モデルが予測する着目特徴が、入力データ要素において少なくとも部分的に表されている（例えば、少なくとも部分的に描写されている）ことに対応する。クラス別損失関数は、モデル識別部分がどの程度ラベルデータ部分に対応したかに基づいて損失を計算するように構成される。
より具体的には、予測ラベルデータ１２７は、ラベルデータ１１７に表されていない複数の特定のモデル識別部分を含むことができる。これらの複数の特定のモデル識別部分のそれぞれは、モデルの出力が、ラベルデータ内のいずれのラベル識別部分にも対応しないモデル識別部分（着目特徴の少なくとも一部を表すと予測される）を含む、偽陽性インスタンスとして特徴付けられてもよい。
偽陰性は、ラベルデータ内のラベル識別部分によって識別された着目特徴が、（入力データ要素に対応する任意のモデル識別部分によって表される）いかなる予測される着目特徴にも対応しないインスタンスに対応する。ある種の損失関数は、全ての偽陽性および全ての偽陰性に等しく無差別にペナルティを課す。しかしながら、アノテーションデータが不完全な場合、この種の損失関数は、モデルが（ラベル付けされていないが）真の着目特徴を検出したときにペナルティを課す可能性がある。したがって、損失関数は、精度、感度、および／または特異度が損なわれたモデルを生成することになる場合がある。これらの障害は、訓練データセットにクラスの不均衡が存在する場合（例えば、訓練データセットが病変描写よりも多くの非病変描写を含むとき）、さらに顕著になる。
別のアプローチは、偽陽性よりも偽陰性にペナルティを課す、偽陰性のみにペナルティを課す（偽陽性ではない）、偽陽性に差分ペナルティを課す（例えば、関連付けられた信頼度メトリックに基づいて）、および／または偽陽性のサブセット（例えば、所定のしきい値未満の信頼度メトリックに関連付けられたもの）のみにペナルティを課す損失関数（例えば、クラス別損失関数）を使用することである。例えば、損失関数は、所定の絶対信頼度または相対信頼度（例えば、画像に対する全ての予測される着目特徴にわたる上位３位の信頼度）を上回る信頼度メトリックに関連付けられた各予測着目特徴を選択し、各選択されたモデル識別部分に対するペナルティを０に設定することができる。したがって、機械学習モデルは、クラス別損失関数およびその変形を利用して、初期訓練データセットにおける誤分類に対するペナルティを低減することができ、これにより、訓練およびモデルの精度を向上させることができる。
ＩＩ．医用画像における着目特徴を検出するための例示的なネットワーク
図１は、一部の実施形態による例示的な着目特徴検出ネットワーク１００を示す。着目特徴検出ネットワーク１００は、入力データ要素（例えば、画像）内の着目特徴（例えば、病変）の描写を検出するために、機械学習モデルの訓練および使用をサポートするように構成される。例えば、着目特徴は、病変、特定の細胞タイプ、または血管系を含むことができる。本明細書で使用される場合、病変とは、疾患または外傷によって引き起こされる組織異常または組織損傷を指す。特定のタイプの病変は、腫瘍を含む。
着目特徴検出ネットワーク１００は、処理されるべき入力データ要素１０８の生バージョンを収集するデータ収集システム１０５を含む。入力データ要素１０８の各生バージョンは、被験者に対応するデータを含んでもよい。被験者は、特定の疾患と診断された、もしくは特定の疾患の可能性のあると診断された、および／または特定の疾患と一致する症状を有する人を含むことができる。特定の疾患は、癌または特定の種類の癌を含むことができる。データ収集システム１０５は、撮像データ、生物学的信号データ、時系列生理学的データなどを収集するように構成されてもよい。
データ収集システム１０５は、画像（例えば、被験者の身体の一部の１つまたは複数の画像）を収集するように構成される画像生成システムを含むことができる。データ収集システム１０５は、（例えば）コンピュータ断層撮影（ＣＴ）スキャナ、Ｘ線装置、または磁気共鳴撮像（ＭＲＩ）装置を含むことができる。データ収集システム１０５は、さらにまたは代替として、病院ＰＡＣＳシステムなどの画像およびアーカイブシステム（ＰＡＣＳ）システムを含んでもよい。各画像は、１つまたは複数の生物学的構造の少なくとも一部（例えば、１つもしくは複数の病変の少なくとも一部および／または１つもしくは複数の臓器の少なくとも一部）を描写することができる。
画像は、１つまたは複数の２次元画像および／または１つまたは複数の３次元画像を含む。画像は、（例えば）放射線画像、ＣＴ画像、Ｘ線画像またはＭＲＩ画像を含むことができる。画像は、造影剤が被験者に投与されることなく、または造影剤が被験者に投与された後に収集されてもよい。場合によっては、データ収集システム１０５は、最初に、２次元画像のセットを収集し、２次元画像を用いて３次元画像を生成することができる。
データ収集システム１０５は、（例えば）クラウドデータストアを含み得るデータストア１１０に入力データ要素１０８（例えば、画像）の生バージョンを記憶する。入力データ要素１０８の各生バージョンは、被験者の識別子および／または被験者に関連付けられた介護提供者の識別子などの１つまたは複数の識別子に関連付けて記憶されてもよい。入力データ要素１０８の各生バージョンはさらに、画像が収集された日付に関連付けて記憶されてもよい。
場合によっては、入力データ要素１０８の１つまたは複数の生バージョンは、ラベルデータ１１７の識別を容易にすることができるアノテーションシステム１１５にさらに利用される。アノテーションシステム１１５は、１つまたは複数の入力データ要素１０８の生バージョンの一部または全部をアノテータ装置１２０に提示し、各入力データ要素のどの部分が着目特徴に対応するかを指定するアノテータ装置１２０で受け取った入力を受け入れるコンポーネントを含むアノテーションインターフェースを制御および／または利用する。例えば、入力は、病変を描写する１つまたは複数の境界、バウンディングボックス、外周、面積、および／または体積を識別してもよい。アノテーションシステム１１５は、入力に基づいて位置決めされ、識別された境界に沿ってマーキングを生成することができる「鉛筆」または「ペン」ツールを含むことができる。アノテーションシステム１１５は、２次元または３次元のそれぞれにおいて伸長および／または短縮されて、着目特徴の表現の描写を境界付けることができる、「ボックス」、「矩形」、または「角柱」ツールを含むことができる。
アノテータ装置１２０は、着目特徴を検出するように訓練された人間のアノテータユーザによって操作されてもよく、人間のアノテータユーザは、各着目特徴（例えば病変）にアノテートするために、アノテーションシステム１１５によって利用されるツールと（アノテータ装置１２０を介して）対話することができる。
場合によっては、アノテーションシステム１１５は、線分内の小さな隙間が接続されるように、閉じた形状の識別を容易にする。場合によっては、アノテーションシステム１１５は、（例えば）強度および／またはコントラスト分析を実行することを介して潜在的な境界を識別することを容易にする。したがって、アノテーションシステム１１５は、半自動セグメンテーションの実行を容易にするツールをサポートすることができる。アノテーションシステム１１５は、ウェブサイトを介してインターフェースを利用することができるウェブサーバとすることができる。
アノテーションインターフェースは、人間のアノテータユーザに関連付けられ、所有され、使用され、および／または制御され得るアノテータ装置１２０に利用される。アノテータユーザは、（例えば）放射線医、病理医、または腫瘍医であってもよい。アノテータ装置１２０は、アノテータユーザから入力を受信し、アノテーションデータ（例えば、画素のセットの識別）をアノテーションシステム１１５に送信する。
アノテーションシステム１１５は、アノテーション装置１２０から受信した入力に基づいてラベルデータ１１７を生成することができる。ラベルデータ１１７は、各入力データ要素１０８について、アノテータ装置１２０から受信した入力に基づいて識別された１つまたは複数のラベルデータ部分定義１１８を含む。各ラベルデータ部分定義１１８は、着目特徴の少なくとも一部を描写する入力データ要素１０８の部分を識別する。ラベルデータ１１７は、１つまたは複数の画像内のどこに病変の少なくとも一部が描写されているかを示す１つまたは複数のラベルデータ部分定義１１８を含むことができる。アノテーションシステム１１５は、ラベルデータ１１７をデータストア１１０に記憶する。
各ラベルデータ部分定義１１８は、（例えば）着目特徴の境界、外周、面積、または体積の少なくとも一部を定義するものとして識別された、画素のセットおよび／またはボクセルのセットを含むことができる。境界は、（例えば、境界の角に対応する、または外周に沿った全ての画素に対応する）画素のセット、ボクセルのセット、線のセット、または１つまたは複数の２次元領域として識別されることがある。各ラベルデータ部分は、着目特徴の描写（例えば、時間的な時間窓、２次元画像の領域、または３次元画像の体積を描写する）を境界付ける１次元、２次元、または３次元のバウンディングボックス（例えば、矩形ボックスまたは角柱）の定義を含んでもよい。各ラベルデータ部分定義１１８は、対応する着目特徴（例えば、被験者ＡＢＣの病変４、または病変５８３９２０）の１つまたは複数の一意の識別子に関連付けてデータストア１１０に記憶されてもよい。
ラベルデータ１１７は、不完全なアノテーションを含むことがある。例えば、単一の画像または画像の集合（同じ被験者および画像収集日に関連付けられた）に関して、ラベルデータ部分定義１１８は、１つまたは複数の病変の描写の予測されたバウンディングボックス、外周、面積、または体積を識別することができるが、ラベルデータ１１７は、１つまたは複数の他の病変の予測されたバウンディングボックス、外周、面積、または体積を識別する追加のラベルデータ部分定義１１８を含まなくてもよい。
１つまたは複数のラベルデータ部分定義１１８のそれぞれは、Ｒｅｓｐｏｎｓｅ Ｅｖａｌｕａｔｉｏｎ Ｃｒｉｔｅｒｉａ ｉｎ Ｓｏｌｉｄ Ｔｕｍｏｒｓ（ＲＥＣＩＳＴ）基準に従って識別されていてもよい。ラベルデータ部分定義１１８に表される各「標的」病変は、１０ｍｍよりも大きい直径を有する「測定可能」病変を含むことができる。さらに、標的病変は、臓器当たり５個以下の病変を含むことができ、走査当たり１０個以下の病変が標的病変として選択される。一方、ＲＥＣＩＳＴ基準は、全ての病変がアノテートされることを必要とせず、ラベルデータ１１７が、１つ、複数、もしくは多くの測定可能な病変および／または１つ、複数、もしくは多くの測定不能な病変のそれぞれについてラベルデータ部分定義１１８を含むことができなくてもよいことを意味する。したがって、ラベルデータ１１７は、１つまたは複数の非標的病変のそれぞれについてバウンディングボックス、外周、面積、または体積を識別しない可能性がある。
入力データ処理システム１２５（例えば、リモートおよび／またはクラウドベースのコンピューティングシステムを含み得る）は、機械学習モデル１２６を訓練および／または使用して、１つまたは複数の入力データ要素１０８の生バージョンを受信し、１つまたは複数のモデル識別部分定義１２８および潜在的に対応する信頼度メトリック１２９を含む予測ラベルデータ１２７を生成するように構成される。各モデル識別部分定義１２８は、機械学習モデル１２６が予測する、着目特徴の少なくとも一部を描写する入力データ要素１０８の部分を識別することができる。例えば、機械学習モデル１２６は、医用画像を含む所与の入力データ要素１０８の生バージョンまたは前処理バージョンを受信および処理するように構成することができる。機械学習モデル１２６は、入力データ要素１０８のどの部分が病変の少なくとも一部を描写すると予測されるかを示す結果を出力することができる。例えば、出力は、画像内の各画素に対する数値を含んでもよく、０の値は、対応する画素が病変の少なくとも一部を描写しないことが予測されたことを示し、非０の値は、病変の識別子を表し、対応する画素がその病変の少なくとも一部を描写することが予測されたことを示す。各一意の病変識別子について、モデル識別部分定義１２８を、識別子に関連付けられた画素に基づいて（例えば、訓練コントローラ１４０および／または着目特徴検出器によって）生成することができる。
各モデル識別部分定義１２８は、部分の境界、面積、または体積を識別することができる。機械学習モデル１２６はさらに、予測着目特徴部分のそれぞれについて、識別された部分が着目特徴の少なくとも一部を真に描写したというモデルの信頼度を示す信頼度メトリック１２９を出力することができる。
入力データ処理システム１２５は、入力データ要素１０８の生バージョン（例えば、生画像）の前処理を開始および／または制御する前処理コントローラ１３０を含む。前処理は、（例えば）画像を所定のフォーマットに変換すること、画像を所定のサンプリングサイズにリサンプリングすること、画像全体にわたって強度値を正規化すること、画像を所定のサイズにトリミングすること、画像を所定の解像度を有するように修正すること、複数の画像を位置合わせすること、複数の２次元画像に基づいて３次元画像を生成すること、異なる（例えば、ターゲット）視点を有する１つまたは複数の画像を生成すること、強度値を調整する（例えば、標準化または正規化する）こと、および／または色値を調整することを含むことができる。
前処理コントローラ１３０は、機械学習モデル１２６を訓練するために使用される訓練データセット内の各入力データ要素１０８および／またはモデルが訓練された後に機械学習モデル１２６によって処理される各他の入力データ要素１０８を前処理することができる。前処理を定義するために使用されるパラメータは、学習および／または事前定義されてもよい。
損失関数コントローラ１３５は、入力データ要素１０８（例えば、入力データ要素１０８の生バージョンまたは入力データ要素の前処理バージョン）を処理するように構成される機械学習モデル１２６を訓練するために使用される損失関数を定義する。機械学習モデル１２６によって処理される入力データ要素１０８は、入力データ要素１０８の生のオリジナルバージョン（データ生成システムによって収集される）または入力データ要素１０８の前処理されたバージョンを含み得ることが理解されるであろう。機械学習モデル１２６は、モデルアーキテクチャ、１つまたは複数のハイパーパラメータ（例えば、学習率、バッチサイズなど）、および１つまたは複数のパラメータ（例えば、１つまたは複数の重み）によって定義することができ、これらを含むことができる。各パラメータは、訓練前に初期値に初期化されてもよく、訓練により、パラメータの新しい値を学習することができる。機械学習モデル１２６は、１つまたは複数の畳み込みニューラルネットワーク、ＲｅｓＮｅｔ、および／または特徴ピラミッドネットワークを含むことができる。したがって、機械学習モデル１２６は、畳み込みニューラルネットワーク、ＲｅｓＮｅｔ、または特徴ピラミッドネットワークのためのアーキテクチャを含むことができる。
場合によっては、損失関数コントローラ１３５によって使用される損失関数は、焦点損失（ＦＬ）であるか、またはそれに基づく損失を計算し、焦点損失は、以下のように定義される。
Figure 2023516651000002
 ここで、αｔは、一定の重み付けハイパーパラメータであり、ｐｔは、以下のように定義される絶対値信頼度メトリック１２９である。
Figure 2023516651000003
 ここで、ｙ∈｛±１｝はグラウンドトゥルースクラスを指定し、ｐ∈［０，１］はラベルｙ＝１を有するグラウンドトゥルースクラスの信頼メトリック１２９である。各グラウンドトゥルースクラスは、ラベルデータ１１７に基づいて決定される。本例では、ｙ＝１のラベルは、ラベルデータ部分定義１１８において定義された任意の着目特徴（例えば、標的病変）を指すために使用される。例えば、ｙ＝１のラベルは、入力画像においてアノテートされたラベル付けされた病変を指すために使用される。ｙの任意の他の値（例えば、１ではない）に対するラベルは、着目特徴を表す（例えば、描写する）とは見なされない入力データ要素１０８の部分を指す。
例えば、図２に示す図では、各ラベルデータ部分（ラベルデータアウトライン２０５ａ、２０５ｂによって輪郭が描かれている）は、人間のアノテータ（ｙ＝１）からの入力に基づいて識別されたラベルデータアノテーションに対応する。ラベルデータアウトライン２０５ａ、２０５ｂの外側の画像の各部分は、ラベルデータアノテーション（ｙ＝－１）内にない画像部分に対応する。各モデル識別部分（モデル識別アウトライン２１０ａ、２１０ｃによって輪郭が描かれている）は、機械学習モデル１２６が予測した領域に対応する。したがって、モデル識別アウトライン２０５ａおよびラベルデータアウトライン２１０ａは、真陽性インスタンスに対応し、ラベルデータアウトライン２０５ｂは、偽陰性インスタンスに対応し、モデル識別アウトライン２１０ｃは、偽陽性インスタンスに対応する。
場合によっては、損失関数は、クラス別損失関数１３８である。本明細書で使用される場合、「クラス別損失関数」は、少なくとも一部の偽陰性（例えば、対応するモデル識別アウトラインを有さなかったラベルデータアウトライン２０５ｂ）が偽陽性（例えば、対応するモデル識別アウトラインを有さなかったラベルデータアウトライン２１０ｃ）よりも実質的にペナルティを課されるように損失を計算する関数を指す。このアプローチは、訓練セットが不完全にラベル付けされている場合に特に有利であり得る。場合によっては、クラス別損失関数１３８は、偽陽性がペナルティを課されない一方で、偽陰性がペナルティを課されるように構成される。クラス別損失関数１３８は、少なくとも一部の偽陽性のそれぞれに課される損失が、予測された陽性に関連付けられた信頼度メトリック１２９に依存するように、焦点損失関数またはその修正バージョンを含むことができる。
クラス別損失関数１３８は、低信頼度メトリクス１２９に関連付けられた偽陽性が、高信頼度メトリクス１２９に関連付けられた偽陽性よりも大幅にペナルティを課されるように定義されてもよい（例えば、他の要因が類似している場合）。信頼度メトリック１２９とペナルティとの間の関係は、単調であってもよく、段階的であってもよい（例えば、所定のしきい値を使用して）。したがって、クラス別損失関数１３８は、損失と信頼度メトリック１２９が反相関するように定義され得る。
さらに別の例として、クラス別損失関数１３８は、ｄｒｏｐｍａｘ焦点損失関数を含むことができる。ｄｒｏｐｍａｘ焦点損失関数は、信頼度メトリック１２９が各モデル識別部分１２８に割り当てられ、信頼度メトリック１２９が最も高い特定の数ｋ個の着目特徴が識別され、ｋ個の着目特徴のいずれかが偽陽性であってもペナルティが課されないように構成されてもよい。したがって、ｄｒｏｐｍａｘ焦点損失関数は、以下のように定義することができる。
Figure 2023516651000004
 ここで、Ｐｔｈｒｅｓｈｏｌｄは、グラウンドトゥルース＝バックグラウンドであるアンカーボックス内の全てのｐｆｏｒｅｇｒｏｕｎｄのアレイ内のｋ番目に大きい要素である。
ｄｒｏｐｍａｘＦＬ関数のハイパーパラメータｋ（無視すべき背景誤分類の数）は、（例えば）事前定義することができ、または訓練データセット内の欠落アノテーションの頻度に基づいて選択することができる。例えば、ラベルデータ１１７内のラベル付けされていない着目特徴部分が多いほど、ｋの値を大きくすることができる。ｋ値は、入力データ要素１０８ごとの着目特徴検出の上限と見なされてもよく、（例えば）１、２、３、４、５、８、１０、１５、２０、少なくとも１、少なくとも２、少なくとも３、少なくとも４、少なくとも５、少なくとも８、または少なくとも１０であってもよい。
ｄｒｏｐｍａｘ焦点損失関数はまた、信頼度メトリックｐｔをさらに処理するために修正されてもよい。さらなる処理方法は、１つまたは複数の信頼度メトリック１２９のスケーリングおよび／または正規化を含むことができる。場合によっては、ｄｒｏｐｍａｘ焦点損失関数は、損失を決定するために１つまたは複数のしきい値をさらに定義することができる。例えば、第１のしきい値（例えば、Ｐｔｈｒｅｓｈｏｌｄに等しい）よりも大きい信頼度メトリック１２９に関連付けられたモデル識別部分定義１２８は、低減または無効化された損失（例えば、０）を与えられてもよく、一方、第１のしきい値未満であるが第２のしきい値よりも大きい（例えば、Ｐｔｈｒｅｓｈｏｌｄ未満であってもよい）信頼度メトリック１２９に関連付けられたモデル識別部分定義１２８は、より低い損失（例えば、０．２５、０．５、０．７５、または最大損失未満の他の値）で低減された損失を与えられてもよい。第２のしきい値未満の信頼度メトリック１２９に関連付けられたモデル識別部分定義１２８には、低減されていない損失が与えられてもよい（例えば、この特定の例については、損失は、クラス別損失関数１３８の観点で計算される）。場合によっては、（例えば、第４のしきい値、第５のしきい値などと共に）第３のしきい値が同様に定義されてもよい。場合によっては、信頼メトリック１２９に基づいてモデル識別部分定義の損失を計算するために、任意の適切な単調増加関数が（例えば、しきい値のセットと共に）使用されてもよい。
入力データ要素１０８に対応する所与の予測について、いくつの偽陽性、真陽性、偽陰性、および／または真陰性が存在するかを決定するために、同じ入力データ要素１０８に関連付けられたモデル識別部分定義１２８とラベルデータ部分定義１１８との間で比較を実行することができる。１つのアプローチは、同じ入力データ要素１０８に関連付けられた各モデル識別部分定義１２８および各ラベルデータ部分定義１１８について、定義された部分の真の境界、バウンディングボックス（例えば、１次元または２次元のバウンディングボックス）、面積、または体積の識別（例えば、画素、ボクセル、またはタイムスタンプ）を決定し、次いで、任意のラベルデータ部分の「予測された」持続時間、面積、または体積の境界、バウンディングボックス、画素、またはボクセルが、モデル識別部分のものと少なくともしきい値量だけ重複するかどうか（またはその逆）を決定することによって、重複基準が満たされるかどうかを決定することである。
重複基準は、ラベル付けされたデータとモデル識別された部分の時間ステップ、ピクセル、ボクセル、または他の単位の少なくとも（例えば）所定の絶対量が重複すること；モデル識別部分の時間ステップ、ピクセル、ボクセル、または他の単位の所定の量または部分が対応するラベルデータ部分のもと重複すること；（ラベルデータ１１７に示されるような）ラベルデータ部分の時間ステップ、ピクセル、ボクセル、または他の単位の所定の量または部分がモデル識別部分のものと重複することが検出されたときに満たされると定義されてもよい。
重複基準が満たされていると判定された場合、重複に関連付けられたモデル識別部分定義１２８は、真陽性インスタンスとして特徴付けることができる。所与のラベルデータ部分定義１１８を含む任意のペアワイズ分析について重複基準が満たされなかったと判定された場合、所与のラベルデータ部分定義は、偽陰性インスタンスとして特徴付けることができる。所与の入力データ要素１０８に関連付けられた全てのラベルデータ部分定義１１８について重複分析が完了した後に、所与の入力データ要素１０８に関連付けられた１つまたは複数のモデル識別部分定義が残っている場合（この残っているモデル識別部分定義に関して重複条件が満たされなかったと判定されたことを意味する）、各残っているモデル識別部分定義１２８は、偽陽性インスタンスとして特徴付けることができる。（重複基準が単一のモデル識別部分に基づいて複数のラベルデータ部分に関して満たされるように、所与のモデル識別部分が複数のラベルデータ部分と十分に重複すると判定され得ないように、制約が課せられてもよい。（重複基準が単一のモデル識別部分に基づいて複数のラベルデータ部分に関して満たされるように、所与のモデル識別部分が複数のラベルデータ部分と十分に重複すると判定され得ないように、制約が課せられてもよい。重複基準が単一のラベルデータ部分に基づいて複数のモデル識別部分に関して満たされるように、所与のラベルデータ部分が複数のモデル識別部分と十分に重複すると判定され得ないように、別の制約が課されてもよい。）
別のアプローチは、ラベルデータ１１７内で識別された各ラベルデータ部分定義１１８について、対応するラベルデータ部分の中心または重心点が、モデル識別部分定義１２８によって定義されたモデル識別部分の中心または重心点に十分に近いか否かを（例えば、所定の距離しきい値に基づいて）判定することである。次に、真陽性、偽陽性、および偽陰性のラベルの指定を、上で定義したのと同様に割り当てることができる。
訓練コントローラ１４０は、訓練データセットおよびクラス別損失関数１３８を使用して、機械学習モデル１２６を訓練し、着目特徴を検出することができる。訓練データセットは、（例えば）入力データ要素１０８（例えば、入力データ要素１０８の生のまたは前処理バージョン）およびラベルデータ１１７を含むことができる。機械学習モデル１２６は、着目特徴検出器１４５によって実行されるニューラルネットワークを含むことができる。したがって、訓練コントローラ１４０は、訓練データセット内の入力データ要素１０８（例えば、または前処理コントローラ１３０によって生成されたその前処理バージョン）を着目特徴検出器１４５に利用することができ、その結果、機械学習モデル１２６は、いくつの着目特徴が要素内で少なくとも部分的に表される（例えば、描かれる）かを予測する、および／または（例えば、着目特徴に対応する入力データ要素１０８の部分を識別することによって）検出される各着目特徴の位置を予測する出力を生成する。出力は、各予測着目特徴について、予測着目特徴が存在する信頼度、および／または予測着目特徴について識別されたバウンディングボックス、外周、面積、もしくは体積の位置の信頼度を識別する信頼度メトリック１２９をさらに含むことができる。
訓練コントローラ１４０は、機械学習モデル１２６からの出力（例えば、更新された重み）を使用して、ラベル付けされていない入力データ要素１０８（例えば、生の入力データ要素または前処理された入力データ要素）を処理することができる。訓練コントローラ１４０は、更新されたパラメータのセットを着目特徴検出器１４５に利用することができ、着目特徴検出器１４５は、更新されたパラメータのセットで機械学習モデル１２６を構成することができる。出力生成およびパラメータ更新は、訓練が完了するまで繰り返し行われてもよい。
図３は、着目特徴を検出するために機械学習モデル１２６を訓練するための例示的なプロセス３００の流れ図を示す。図３は、訓練コントローラ１４０によって部分的にまたは全体的に実行されてもよい。プロセス３００はブロック３０５で始まり、訓練コントローラ１４０は、所与の訓練入力データ要素１０８について１つまたは複数のモデル識別部分定義１２８を識別する。
訓練入力データ要素１０８は、対応するラベルデータ１１７と共に、データストア１１０から取り出されていてもよい。訓練入力データ要素１０８は、ＣＴ、Ｘ線、またはＭＲＩ画像などの医用画像を含むことができる。ブロック３０５で生成された各モデル識別部分定義１２８は、訓練入力データ要素１０８が特徴の表現を含むという予測に対応し、所与の予測着目特徴の予測位置（例えば、予測点位置、予測１次元範囲、予測２次元面積、または予測３次元体積）を識別する。各モデル識別部分定義１２８は、機械学習モデル１２６によって生成された出力によって、またはそれに基づいて生成されていてもよい。
モデル識別部分定義１２８を識別するために使用される機械学習モデル１２６は、（例えば、１つまたは複数の畳み込み層、１つまたは複数のプーリング層、１つまたは複数のＲｅｓＮｅｔｓ、１つまたは複数のＲｅｔｉｎａＮｅｔｓ、１つまたは複数の特徴ピラミッドネットワーク、および／あるいは１つまたは複数のＡｌｅｘＮｅｔｓを含む）１つまたは複数の畳み込みニューラルネットワークを含むことができる。例えば、機械学習モデル１２６は、ＲｅｔｉｎａＮｅｔアーキテクチャを有していてもよい。機械学習モデル１２６は、入力データ要素１０８内の予測着目特徴の少なくとも一部の各表現（例えば、描写）を識別し、各予測着目特徴についてモデル識別部分定義１２８を定義する（例えば）境界、バウンディングボックス（例えば、２次元または３次元バウンディングボックス）、外周（例えば、２次元または３次元外周）、２次元面積、または３次元体積を識別するように構成することができる。代替的または追加的に、機械学習モデル１２６は、分類器および／またはバウンディングボックス回帰器を含むように構成することができる。例えば、ＲｅｓＮｅｔおよび特徴ピラミッドネットワークアーキテクチャを有するニューラルネットワークの場合、画像（またはその一部）を含む所与の入力データ要素が病変を描写するか否かを予測するように構成される分類器に供給することができ、画像が病変の少なくとも一部を描写していると予測される場合、バウンディングボックス回帰器は、病変の描写を含む画像内のバウンディングボックスの面積または体積を予測することができる。
ブロック３１０～３４０は、各モデル識別部分定義１２８に対して実行される。ブロック３１０において、訓練コントローラ１４０は、モデル識別部分定義１２８に対する信頼度メトリック１２９を識別する（例えば、アクセスする）。信頼メトリック１２９は、モデル識別部分定義１２８が生成されたときに、（着目特徴検出器１４５によって、および／または機械学習モデル１２６を使用して）最初に生成されていてもよい。信頼度メトリック１２９は、スケール（例えば、０～１または０～１００のスケール）に沿った数値を含むことができ、より高い数値は、より高い信頼性を表す。
ブロック３１２（ブロック３１５～３３５を包含する）は、例示的なクラス別損失関数を利用することによって実行されるアクションに対応する。
ブロック３１５において、訓練コントローラ１４０は、ラベルデータ１１７を使用して、モデル識別部分定義１２８がラベルデータ部分定義１１８に対応するかどうかを判定する（モデル識別部分定義が実際の着目特徴に対応することを予測するように）。例えば、訓練コントローラ１４０は、ラベルデータ部分定義１１８およびモデル識別部分定義１２８に対応する面積または体積が十分に重複するとき、または部分定義の位置が十分に近いとき、モデル識別部分定義１２８がラベルデータ部分定義１１８に対応すると決定することができる。ラベルデータ部分定義１１８がモデル識別部分定義１２８に対応すると判定された場合、訓練コントローラ１４０は、モデル識別部分定義１２８を真陽性として識別し、ブロック３２０において、ペナルティは割り当てられない。
モデル識別部分定義１２８がいずれのラベルデータ部分定義１１８にも対応しないと判定された場合、訓練コントローラ１４０は、モデル予測部分定義１２８を偽陽性として識別し、ブロック３２５に進み、訓練コントローラ１４０は、予測着目特徴に関連付けられた信頼度メトリック１２９が所定のしきい値（例えば、１０％、２０％、３０％、４０％、５０％、６０％、７０％、８０％、または９０％）よりも大きいか否かを判定する。そうであれば、プロセス３００はブロック３３０に進み、ペナルティは割り当てられない。そうではなく、信頼度メトリック１２９がしきい値未満である場合、プロセス３００はブロック３３５に進み、非０ペナルティがモデル識別部分定義１２８に割り当てられる。非０ペナルティは、（例えば）０．５または１であってもよく、または信頼度メトリック１２９に反比例してスケーリングしてもよい。したがって、ブロック３２５～３３５は、モデル識別部分定義に対するペナルティが、モデル識別部分定義に関連付けられたメトリックに基づくことができる特定のアプローチを例示している。
ブロック３４０において、訓練コントローラ１４０は、所与の損失計算について評価するためのまだ追加のモデル識別部分定義１２８があるかどうかを判定する。そうであれば、プロセス３００はブロック３１０に戻って、次のモデル識別部分定義１２８を評価する。
そうでなければ、プロセス３００は、ブロック３４５に進み、各モデル識別部分１２８に対してラベルデータ部分定義１１８に対応する部分の重複が不十分であった各偽陰性インスタンスにペナルティが割り当てられる。ペナルティは、（例えば）１であってもよい。したがって、各偽陰性に割り当てられたペナルティは、（ブロック３３０において）しきい値を上回る信頼度メトリック１２９に関連付けられた各偽陽性に割り当てられた０ペナルティよりも大きくなり得る。潜在的に、各偽陰性に割り当てられたペナルティはまた、しきい値未満の信頼度メトリック１２９に関連付けられた各偽陽性に割り当てられたペナルティよりも大きい（ブロック３３５）。
ブロック３５０において、訓練コントローラ１４０は、ペナルティに基づいて訓練入力データ要素１０８の損失を計算する。例えば、ペナルティを合計し、場合によっては正規化することができる。例えば、ペナルティの合計をラベルデータ病変の量で割ることができる。ブロック３５５において、訓練コントローラ１４０は、損失に基づいて着目特徴検出器１４５によって使用される機械学習モデル１２６のパラメータのセットを更新する。
機械学習モデル１２６が訓練されると、着目特徴検出器１４５は、訓練された機械学習モデル１２６を使用して、非訓練入力データ要素（例えば、生の入力データ要素またはその前処理されたバージョン）を処理し、入力データ要素において表される着目特徴の量および／または予測される各着目特徴の位置を予測する出力を生成する（例えば、期間、持続時間、境界、バウンディングボックス、バウンディングボックスに対応する画素またはボクセル、期間、外周、面積、または体積を識別することによって）。出力は、ユーザ装置１５０に送信される。ユーザ装置１５０は、画像処理および病変保護の結果を受信することを許可された装置を含むことができる。ユーザ装置１５０は、撮像される被験者を処置および／または評価している医療専門家および／または介護提供者に関連付けられてもよい。
クラス別損失関数１３８を使用して機械学習モデル１２６を訓練することにより、入力データ要素において表される１つまたは複数のラベル付けされていない着目特徴がラベル付けされていないなど、訓練セットが不完全なラベルまたは不完全なアノテーションを含む場合であっても、機械学習モデル１２６が着目特徴をより確実かつより正確に検出することができることになる可能性がある。さらに、クラス別焦点損失関数１３８を使用して機械学習モデル１２６を訓練することにより、訓練データセットがクラス不均衡（例えば、病変の描写と比較して、非病変面積または体積のより多くの描写）を含む場合に、機械学習モデル１２６の精度がより高くなる可能性がある。
ユーザ装置１５０は、非訓練入力データ要素が、表現された各予測着目特徴を検出するために処理されることを要求した装置、および／または非訓練画像を入力データ処理システム１２５に利用した装置を含むことができる。ユーザ装置１５０は、入力データ要素の処理結果、ならびに／または着目特徴出現率および／もしくは位置の予測結果を受信することを許可されたデバイスを含むことができる。ユーザ装置１５０は、撮像されている被験者を処置および／または評価している医療専門家および／または介護提供者に関連付けられてもよい。場合によっては、入力データ処理システム１２５は、（着目特徴が検出されたかどうか、および／もしくはいくつの着目特徴が検出されたか、ならびに／または各予測着目特徴の予測位置を示す）出力をデータ収集システム１０５に返すことができる（例えば、データ収集システム１０５は、その後、出力またはその処理されたバージョンをユーザ装置に送信することができる）。
場合によっては、着目特徴検出器１４５は、機械学習モデル１２６からの出力を使用して、非訓練入力データ要素１０８のアノテートされたバージョンを生成する。例えば、モデル識別部分（機械学習モデル１２６によって、予測着目特徴の少なくとも一部の描写を含むものとして予測された）の外周は、非訓練画像上に（例えば、特定の色および／または線の太さで）オーバーレイされてもよい。非訓練画像のアノテートされたバージョンは、ユーザ装置１５０および／またはデータ収集システム１０５に利用されてもよい。
場合によっては、着目特徴検出器１４５は、ある時点に関連付けられたモデル識別部分定義１２８（例えば、予測ラベルデータ１２７において識別されるような）を、前の時点に関連付けられた対応するモデル識別部分定義１２８と比較する。例えば、着目特徴検出器１４５が検出する各予測着目特徴について、着目特徴検出器１４５は、予測着目特徴に識別子を割り当てることができる。同じ被験者について後の時点で後続の画像が収集される場合、着目特徴検出器１４５は、後続の画像内で検出された任意の予測着目特徴がラベルデータ着目特徴に対応するかどうかを予測することができる。この分析は、後続の画像において検出された予測着目特徴の位置（例えば、中心または重心）、面積、または体積に対応する１つまたは複数の画素またはボクセルを、（例えば、上述したような）以前の予測された着目特徴予測における病変の各位置、面積、または体積に対応する１つまたは複数の画素またはボクセルと比較することを含んでもよい。後続の画像に（少なくとも部分的に）描写された予測着目特徴が、前の画像に（少なくとも部分的に）描写された同じ予測着目特徴に対応すると判定された場合、後続の画像の予測着目特徴は、同じ識別子を割り当てられ、予測着目特徴のサイズ（例えば、スカラー面積または体積）の変化を推定するために使用され、または予測着目特徴の位置の変化を推定するために使用されてもよい。後続の画像に少なくとも部分的に描写された予測着目特徴が、前の画像に少なくとも部分的に描写されたいずれの予測着目特徴にも対応しないと予測された場合、後続の画像における予測着目特徴は、新しいものとしてフラグが立てられ、および／または新しい識別子が割り当てられてもよい。同様に、前の画像に少なくとも部分的に描写された所与の予測着目特徴が、後続の画像（または複数の後続の画像）に少なくとも部分的に描写されたいずれの予測着目特徴にも対応しないと判定された場合、所与の予測着目特徴は、もはや存在しないと推論することができる。
着目特徴検出器１４５は、この評価を使用して、着目特徴の量が変化したかどうか、および／または着目特徴のサイズを特徴付けるメトリックが変化したかどうか（例えば、病変の平均、中央値、または合計サイズが変化したかどうか）を予測することができる。この変化評価は、被験者の疾患が進行しているかどうか、被験者の疾患が寛解しているかどうか、および／または現在もしくは過去の処置が被験者の疾患を効果的に処置していたかどうかを予測するのに有用である可能性がある。場合によっては、着目特徴検出器１４５自体が、１つまたは複数のそのような評価の予測を出力する。場合によっては、変化評価に対応するデータがユーザ装置１５０に送信され、次いで、ユーザは、データに基づいて疾患の進行または処置有効性を評価することができる。
また、本明細書に記載される技術は、画像を処理して、別のタイプの生物学的物体（病変ではない）の各描写を検出および／または位置特定するために使用され得ることも理解されるであろう。例えば、損傷した臓器組織、ほくろ、または出血の描写を検出および／または位置特定するために、技術が使用され得る。
ＩＩＩ．クラス別損失関数を使用して機械学習モデルを訓練し、病変の描写を検出するための例示的なプロセス
図４は、一部の実施形態による、クラス別損失関数１３８を使用して機械学習モデル１２６を訓練し、入力データ要素を処理するための例示的プロセス４００の流れ図を示す。特に、プロセス４００は、機械学習モデル１２６を訓練して、入力データ要素（例えば、医療画像）内の予測着目特徴（例えば、病変）の表現を検出することができる。プロセス４００は、入力データ処理システム１２５によって実行され得る。
プロセス４００は、ブロック４０５で始まり、（入力データ処理システム１２５の）訓練コントローラ１４０が、（例えば、データストア１１０、データ収集システム１０５、および／またはアノテーションシステム１１５からの）訓練データセットにアクセスする。訓練データセットは、データ要素のセットを含み、各データ要素は、入力データ要素１０８およびラベルデータ１１７を含む。ラベルデータ１１７は、ラベルデータ部分定義１１８のセットを含み、それぞれが着目特徴の少なくとも一部を表す（例えば、描写する）特定の入力データ要素１０８の特定の部分を識別する。ラベルデータ部分定義１１８は、範囲（例えば、タイムスタンプの）、境界バウンディングボックス、外周、面積、または体積を識別することができる。ラベルデータ１１７は、さらにまたは代替的に、入力データ要素１０８に少なくとも部分的に表されているいくつかの着目特徴を識別することができる。ラベルデータ１１７は、入力データ要素１０８に少なくとも部分的に表されている着目特徴の不完全なサブセットのそれぞれのみに対するラベルデータ部分定義１１８を含むことがあるという点で、不完全である場合がある。
ブロック４１０において、訓練コントローラ１４０は、クラス別損失関数１３８にアクセスする。クラス別損失関数１３８は、上記の式３に示される関数などのｄｒｏｐｍａｘ焦点損失関数を含むことができる。クラス別損失関数１３８は、少なくとも一部の偽陽性（例えば、全ての偽陽性、またはしきい値を上回る信頼度メトリック１２９に関連付けられた偽陽性）に対して、偽陰性よりも大幅にペナルティを課すように構成されてもよい。
ブロック４１５において、訓練コントローラ１４０は、訓練データセットの少なくとも一部を使用して機械学習モデル１２６を訓練する。訓練は、機械学習モデル１２６を使用して入力データ要素１０８を処理することによって、（着目特徴検出器１４５を使用して）１つまたは複数のモデル識別部分定義を生成することを含むことができる。
訓練は、クラス別損失関数１３８を使用して損失を計算することと、損失に基づいて機械学習モデル１２６のパラメータを更新することとを含むことができる。損失は、ラベルデータ部分の位置（ラベルデータ部分定義１１８によって識別される）をモデル識別部分の位置（モデル識別部分定義１２８によって識別される）と比較することに基づいて計算することができる。比較は、ラベルデータ部分およびモデル識別部分のどの対が少なくともしきい値程度重複するか（真陽性インスタンス）、どのラベルデータ部分が任意のモデル識別部分と少なくともしきい値程度重複しないか（偽陰性インスタンス）、および／またはどのモデル識別部分が任意のラベルデータ部分と少なくともしきい値程度重複しないか（偽陽性インスタンス）を決定することを含むことができる。
ブロック４１５で実行される訓練は、クラス別損失関数１３８を使用して、ならびに／または真陽性インスタンス、偽陰性インスタンス、および偽陽性インスタンスに基づいて、損失を計算することを含むことができる。ブロック４１５において実行される訓練は、計算された損失に基づいて機械学習モデル１２６の１つまたは複数のパラメータを更新することを含むことができる。ブロック４１５において実行される訓練は、図３に示されたプロセス３００に関連して識別されたアクションの一部または全部を含むことができる。
ブロック４２０において、着目特徴検出器１４５は、非訓練画像について訓練された機械学習モデル１２６を使用して、１つまたは複数のモデル識別部分定義１２８を識別する。より具体的には、訓練された機械学習モデル１２６は、非訓練画像を受信して処理し、非訓練画像のどの部分が予測着目特徴の少なくとも一部を描写するかを予測する出力を生成する。予測着目特徴の少なくとも一部を描写すると予測される各部分について、その部分を定義するモデル識別部分定義１２８が生成される。例えば、モデル識別部分定義１２８は、部分の境界、バウンディングボックス、面積、または体積を識別することができる。別の例として、モデル識別部分定義１２８は、モデル識別部分の中心位置、外周、境界、面積、または体積に対応する１つまたは複数の画素またはボクセルを識別することができる。着目特徴検出器１４５は、モデル識別部分の信頼度を表す信頼度メトリック１２９を（機械学習モデル１２６を使用することによって）さらに出力することができる。
ブロック４２５において、着目特徴検出器１４５は、モデル識別部分定義１２８の表現をユーザ装置１５０に出力する。表現は、（例えば）境界、バウンディングボックス、面積、または体積を含むか、または表すことができる。表現は、着目特徴を表すと予測される画像の１つまたは複数の部分を識別することができる。表現は、対応する入力データ要素と同時に出力されてもよい。例えば、ブロック４２５は、各オーバーレイが予測着目特徴に対応する１つまたは複数のオーバーレイを含む医用画像を出力することを含むことができる。出力は、ローカルに提示されてもよく、または（例えば、介護提供者に関連付けられた）別の装置に送信されてもよい。
ＩＶ．実施例
ＩＶ．Ａ．例示的なデータセット
１００人のユニークな被験者の１０００件の研究からの２５６８枚のＣＴスキャン画像で構成されるデータセットを収集して、機械学習モデルを訓練し、各画像に描写された病変の量を識別し、各描写された画像の位置を識別した。このデータセットを、訓練用に１５００枚、検証用に３００枚、および試験に提供するための７００枚の画像の比率にそれぞれ分割した。検証データを使用して、訓練を終了するかどうか、および／またはいつ終了するかを評価した。全ての性能測定基準は、試験データを使用して算出された。残りの６８枚の画像は未使用のままとした。各画像は、ＲＥＣＩＳＴ基準を使用してアノテータユーザによって識別されたアノテーションを含み、アノテートされた「標的」病変は、撮像セッションごとに、臓器あたり少なくとも１０ｍｍの直径を有する最大５個の病変、および臓器あたり少なくとも１０ｍｍの直径を有する最大１０個の病変を含むものとした。
ＩＶ．Ｂ．方法
ＩＶ．Ｂ．１．例示的なモデル構造
病変検出のこの場合の自動画像アノテーションシステムは、レティナネット（ｒｅｔｉｎａｎｅｔ）アーキテクチャを有する機械学習モデルを利用した。レティナネットアーキテクチャは、特徴ピラミッドネットワークと共にレスネットアーキテクチャで構成された。特徴ピラミッドネットワークの各層は、分類器およびバウンディングボックス回帰器に供給された。アーキテクチャの顕著な特徴は、クロスエントロピー損失関数の代わりに焦点損失関数を使用することであった。
クロスエントロピー損失関数は、以下の式４で定義される。
Figure 2023516651000005
 ここで、ｙ∈｛±１｝はグラウンドトゥルースクラスを指定し、ｐ∈［０，１］はラベルｙ＝１を有するグラウンドトゥルースクラスの信頼度メトリックである。グラウンドトゥルースクラスは、画像のデータセットのラベルデータに関連付けられた。本例では、画像内でアノテートされた任意の標的病変を指すためにｙ＝１のラベルが使用された。ｙの任意の他の値（例えば、１ではない）に対するラベルは、病変であると見なされなかった画像の部分を指す。
表記上の便宜のために、モデルについての信頼度メトリックｐは、式２によって定義されるｐｔに関しても参照され得る（上記に示されており、ｐｔは、ｙ＝１のときｐであり、ｙ≠１のとき１－ｐであると定義される）。この表記法を用いると、ＣＥ（ｐ，ｙ）はＣＥ（ｐｔ）に等しく、これは－ｌｏｇ（ｐｔ）に等しい。焦点損失ＦＬは、上に示した式１に示されるように定義することができる。
上記で説明したように、グラウンドトゥルース病変の不完全なラベリングを有する訓練データセットを用いて機械学習モデルを訓練すると、機械学習モデルが非病変ラベルを予測する方向に偏ってしまう可能性がある。
したがって、式１に従って計算された焦点損失から得られた結果を、式３で定義されたｄｒｏｐｍａｘ焦点損失を使用して得られた結果と比較した（上記に示され、ここで、損失は、ｐｔ＞Ｐｔｈｒｅｓｈｏｌｄである場合に式１からのＦＬ（ｐｔ）に等しく、そうでない場合は０である）。ここで、Ｐｔｈｒｅｓｈｏｌｄは、グラウンドトルース＝バックグラウンドであるアンカーボックス内の全てのＰｆｏｒｅｇｏｕｎｄの配列の中でｋ番目に大きな要素である。
この特定の例では、ｄｒｏｐｍａｘＦＬ関数のハイパーパラメータｋ（無視すべき背景誤分類の数）は、ｋと再現率の対の値を識別し、最も高い再現率に関連付けられたｋの値を選択することによって選択された。画像あたりの病変検出の上限を４に設定した。信頼度メトリックが０．０５未満の病変検出は抑制された。ｄｒｏｐｍａｘ焦点損失の有効性を、データセットサイズの関数として評価した。この分析の副産物として、病変検出を伴う問題に関してデータセットサイズが大きくなるにつれて予想され得る再現性の向上が定量化された。
ｄｒｏｐｍａｘ焦点損失関数は［ｋｅｒａｓ－ｒｅｔｉｎａｎｅｔ］に実装され、Ｎｖｉｄｉａ Ｐａｓｃａｌ ＧＰＵが訓練に使用された。
訓練データは不完全にラベル付けされていたため、ラベル付けされた病変のいくつかは訓練中にドロップされた。
ＩＶ．Ｃ．結果
図５は、各エポック後の試験データセットに対するネットワークの性能を示す。式４に示される焦点損失関数を使用して生成された結果は、「焦点損失」とラベル付けされ、式３に示されるｄｒｏｐｍａｘ焦点損失関数を使用して生成された結果は、「ｄｒｏｐｍａｘによる焦点損失」とラベル付けされている。
真陽性、偽陽性、真陰性、および偽陰性メトリックを決定するために、グラウンドトゥルースおよび予測されたバウンディングボックスの和集合の共通部分（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ：ＩｏＵ）を計算した。ＩｏＵが０．７５を超える場合、予測されたバウンディングボックスは真陽性であると考えられた。所与の予測されたバウンディングボックスが、任意のグラウンドトゥルースバウンディングボックスと（ＩｏＵしきい値に基づいて）十分に重複しなかった場合、それは偽陽性として特徴付けられた。所与の真陽性バウンディングボックスが、任意の予測バウンディングボックスと（ＩｏＵしきい値に基づいて）十分に重複しなかった場合、それは偽陰性として特徴付けられた。
式４に示される焦点損失関数を使用して生成された結果は、５４．５％の再現率（４の画像あたり最大検出において）および１６．４６％の精度を達成した。一方、式３に示されるｄｒｏｐｍａｘ焦点損失関数を使用して生成された結果は、５７．８％の再現率および１８．０６％の精度を達成した。しかしながら、ｄｒｏｐｍａｘネットワークは、学習速度が遅く、エポックごとに比較した場合、性能は純粋な焦点損失ネットワークの性能よりも劣っていた。この特定の例示的な分析では、ｄｒｏｐｍａｘネットワークは、３エポック後にピーク性能に達した。この学習速度の遅さは、ｄｒｏｐｍａｘ焦点損失関数から背景サンプルをドロップしたことが、勾配に著しく寄与したため、原因である可能性がある。しかしながら、損失関数から本例をドロップすることは、背景サンプルがデータセットに豊富にあるため、全体的な訓練に支障はなかった。
図６Ａ～図６Ｆは、ｄｒｏｐｍａｘ焦点損失関数を用いて訓練されたネットワークが人間のアノテータユーザよりも性能が優れていた（その後の人間のレビューに基づいて決定された）訓練セットからの画像の線画を示す。各破線ボックスは、ｄｒｏｐｍａｘ焦点損失関数を用いて訓練された機械学習モデルが腫瘍に対応すると予測した領域を識別する。各実線ボックスは、人間のアノテータユーザが腫瘍に対応するものとして示した領域を識別する。図６Ａ～図６Ｃのボックスは、ネットワークがアノテートされていない病変を検出することができたこと（その後の人間のレビューに基づいて決定される）を例示する。従来の焦点損失関数は、これらの検出に対してペナルティをもたらす。ｄｒｏｐｍａｘ焦点損失関数は、これらの検出に対してペナルティを導入しなかった。ｄｒｏｐｍａｘ焦点損失関数は、一部の偽陽性を許容しつつ、高再現率という主目的とうまく整合させることができる。バウンディングボックスが人間およびモデルの両方によって識別された後、モデルによって識別されたバウンディングボックスは、モデル性能を評価するために人間のアノテータに提示され、人間のアノテータは、モデルバウンディングボックスが人間によって識別されたものよりも正確であることを示した。
図６Ｄ～図６Ｆに示されるバウンディングボックスは、ｄｒｏｐｍａｘ焦点損失関数を用いて訓練されたネットワークが、人間のアノテータよりも簡潔なバウンディングボックスを生成することができたことを例示する（その後の人間のレビューに基づいて決定される）。場合によっては、所与の特徴のアウトラインは、アノテータによっては異なって定義されることがある。ある人間のアノテータは、各病変を正確にマークすることを選択することがあるが、一方、別の人間おアノテータは、複数の病変が近接して存在する場合、より大きいバウンディングボックスを作成することを選択することがある。図示する例では、ｄｒｏｐｍａｘ焦点損失関数で訓練されたモデルは、人間のアノテータが単一の腫瘍に対応すると識別した領域内に複数の腫瘍が存在することを予測した。ｄｒｏｐｍａｘ焦点損失関数は、結果として追加の腫瘍予測に対してペナルティを課さない可能性があるため、ｄｒｏｐｍａｘ焦点損失関数がアノテーションの主観性に対してあまり敏感でない可能性があることを示している。
図７は、ｄｒｏｐｍａｘ焦点損失関数で訓練された機械学習モデルについての例示的な性能データを示す。図は、ドロップされた誤分類の数（ｋ）に対する再現率値の関係である（ペナルティは導入されていない）。ｋ＝０では、ｄｒｏｐｍａｘによる焦点損失（すなわち、ｄｒｏｐｍａｘ焦点損失関数を使用して計算された損失）は、焦点損失と同一であった。ｄｒｏｐｍａｘ焦点損失関数によって達成される再現率の向上は、ｋ＝１の場合、すなわち、グラウンドトゥルース＝バックグラウンドのアンカーボックスを１つがドロップした場合に最も急激であった。再現率の向上は、ｋが１～６の場合でも堅固であって。これは、勾配に寄与する背景アンカーボックスが豊富にあり、いくつかをドロップしても学習に悪影響を与えないようにした結果であった可能性ある。しかしながら、ｋが増加するにつれて、性能が徐々に低下していくことが観察された。（およそｋ＝８では、真陽性からの損失をドロップすることの利点は、偽陽性からの損失をドロップすることの利点を上回る）。したがって、ｋは、画像ごとの欠落しているアノテーションの推定数に基づいて選択されてもよい。
図８は、様々なデータセットサイズに対して再現率値を関連付けるｄｒｏｐｍａｘ焦点損失関数を用いて訓練された機械学習モデルの性能データを示す。ｄｒｏｐｍａｘ焦点損失関数を使用することによって達成される性能の向上は、より小さいデータサイズに対しては顕著ではなかった。データセットサイズが増加するにつれて、ｄｒｏｐｍａｘ焦点損失関数で訓練された機械学習モデルは、性能が向上していくことを示した。ｄｒｏｐｍａｘ焦点損失関数は、性能向上のために欠落アノテーションの検出に依存していた。したがって、再現率データは、データセットサイズが大きくなるにつれて、機械学習モデルが正しくラベル付けされた画像から学習し、次いで、別の画像において類似の外観を有する特徴を検出するためである可能性がある。一方、データセットサイズが小さくなると、ある訓練画像からの学習を別の画像に適用させることができる機会が少なくなるように思われる。
ＩＶ．Ｄ．解釈
深層学習における検出および局所化の取り組みは、典型的には、１段検出器と多段検出器の２つのカテゴリに分けることができる。多段検出器は、最初に着目領域を識別し、次いで各領域を病変または背景として分類することができる。１段検出器は、画像領域と、病変または背景に対応する領域の分類との両方に対して単一ネットワークを使用する。本実施例は、領域を識別するためにニューラルネットワークを使用し、各領域が病変に対応するかどうかを予測するためにクラス別損失関数を使用する１段検出器の性能を評価した。
クラス別損失関数は、処理時間を早め、容易に分類されるクラスに対するペナルティを低減し、頻繁に誤分類されるクラスに対する損失を増加させることができる。これは、１段検出器において見られる背景物体と病変との間のクラス不均衡を低減した。
ｄｒｏｐｍａｘ焦点損失関数は、訓練データセットにおいてアノテーションが欠落しているにもかかわらず、機械学習モデルの正確な訓練を容易にすることが示された。ｄｒｏｐｍａｘ焦点損失関数は、再現率性能メトリックに優先順位を付け、一部の偽陽性を許容するのにさらに有用であった。ｄｒｏｐｍａｘ焦点損失関数を用いて２５００枚の画像のデータセットを使用して機械学習モデルを訓練したところ、ｄｒｏｐｍａｘ焦点損失関数を用いることで、画像ごとに最大４つの検出を許容した場合、再現率が３％、精度が１．６％向上した。ｄｒｏｐｍａｘ焦点損失関数は、広範囲のハイパーパラメータに対して安定しており、ｄｒｏｐｍａｘ焦点損失関数からの性能向上は、データセットサイズが大きくなるにつれて増加した。
Ｖ．例示的な実施形態
本開示の一部の実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。一部の実施形態では、システムは、命令を含む非一過性コンピュータ可読記憶媒体であって、命令が、１つまたは複数のデータプロセッサ上で実行されると、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部もしくは全部および／または１つもしくは複数のプロセスの一部もしくは全部を実行させる、非一過性コンピュータ可読記憶媒体を含む。本開示の一部の実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部もしくは全部および／あるいは１つまたは複数のプロセスの一部もしくは全部を実行させるように構成される命令を含む、非一過性機械可読記憶媒体において有形に具現化されるコンピュータプログラム製品を含む。
Ａ１． コンピュータ実装方法であって、
入力データ要素、および
それぞれが前記入力データ要素内の着目特徴を識別する１つまたは複数のラベルデータ部分定義、
を含むデータセットを提供することと、
前記データセットを使用して動作のセットを実行することによって機械学習モデルを訓練することであり、前記動作のセットが、
それぞれが前記入力データ要素内の予測着目特徴を識別する１つまたは複数のモデル識別部分定義を生成することであり、前記１つまたは複数のモデル識別部分定義が前記機械学習モデルに基づいて生成される、モデル識別部分定義を生成すること、
前記１つまたは複数のラベルデータ部分定義のうちの特定のラベルデータ部分定義によって識別された前記着目特徴を、前記特定のラベルデータ部分定義と前記１つまたは複数のモデル識別部分定義のそれぞれとの間の不一致を判定することによって偽陰性として分類すること、
前記１つまたは複数のモデル識別部分定義のうちの特定のモデル識別部分定義によって識別された前記予測着目特徴を、前記特定のモデル識別部分定義と前記１つまたは複数のラベルデータ部分定義のそれぞれとの間の不一致を判定することによって偽陽性として分類すること、
少なくとも一部の偽陽性よりも多くの偽陰性にペナルティを課すように構成されるクラス別損失関数を提供すること、
前記クラス別損失関数を使用して損失を計算することであり、前記計算が、前記予測着目特徴の偽陽性としての前記分類に割り当てられたいかなるペナルティよりも大きいペナルティを前記着目特徴の偽陰性としての前記分類に割り当てることを含む、計算すること、および
前記損失に基づいて、前記機械学習モデルのパラメータ値のセットを決定すること、を含む、
機械学習モデルを訓練することと、
を含むコンピュータ実装方法。
Ａ２． 前記動作のセットが前記パラメータ値のセットで構成されるように前記機械学習モデルを更新することをさらに含み、
前記機械学習モデルを訓練することが前記動作のセットを複数回繰り返し実行することを含む、
例示的な実施形態Ａ１に記載のコンピュータ実装方法。
Ａ３． 前記特定のモデル識別部分定義について、存在する前記予測着目特徴の信頼度を表す信頼度メトリックを生成することをさらに含み、
前記損失を計算することが、前記信頼度メトリックに基づいて、前記予測着目特徴の偽陽性としての前記分類に割り当てられたペナルティを計算することを含む、例示的な実施形態Ａ１またはＡ２に記載のコンピュータ実装方法。
Ａ４． 前記損失を計算することが、
前記信頼度メトリックが所定のしきい値を超えたと判定することと、
前記予測特徴の偽陽性としての前記分類に割り当てられた前記ペナルティを０に設定することと、
を含む、例示的な実施形態Ａ３に記載のコンピュータ実装方法。
Ａ５． 前記入力データ要素が画像を含み、前記１つまたは複数のモデル識別部分定義のそれぞれが画素のセットを識別する、例示的な実施形態Ａ１～Ａ４のいずれか一項に記載のコンピュータ実装方法。
Ａ６． 前記機械学習モデルが畳み込みニューラルネットワークおよび／またはディープニューラルネットワークを含む、例示的な実施形態Ａ１～Ａ５のいずれか一項に記載のコンピュータ実装方法。
Ａ７． 前記パラメータ値のセットが重みのセットに対する値を含む、例示的な実施形態Ａ１～Ａ６のいずれか一項に記載のコンピュータ実装方法。
Ａ８． 前記入力データ要素が画像を含み、前記１つまたは複数のラベルデータ部分定義の各ラベルデータ部分定義について、前記ラベルデータ部分定義において識別される前記着目特徴が腫瘍、病変、特定の細胞タイプ、または血管系である、例示的な実施形態Ａ１～Ａ７のいずれか一項に記載のコンピュータ実装方法。
Ａ９． 前記データセットにおける着目特徴表現の推定数に基づいて、ペナルティ割り当てからドロップされるべき偽陽性分類の量を決定することをさらに含み、
前記損失を計算することが、
それぞれが偽陽性として分類された予測着目特徴を含む、偽陽性予測着目特徴のセットを識別することと、
前記偽陽性予測着目特徴のセットのそれぞれについて、存在する前記予測着目特徴の信頼度を表す信頼度メトリックを生成することと、
ドロップされるべき前記偽陽性分類の量および前記信頼度メトリックに基づいて、前記偽陽性の予測着目特徴のセットのサブセットを定義することと、
前記サブセット内の偽陽性予測特徴のそれぞれにペナルティを割り当てることと、
を含む、
例示的な実施形態Ａ１～Ａ８のいずれか一項に記載のコンピュータ実装方法。
Ａ１０． 方法であって、
訓練された機械学習モデルを使用して、特定の入力データ要素における任意の予測着目特徴を検出する要求を送信することであり、訓練された前記機械学習モデルが、
入力データ要素、および
それぞれが前記入力データ要素内の着目特徴を識別する１つまたは複数のラベルデータ部分定義、
を含むデータセットを提供することと、
前記データセットを使用して、
それぞれが前記入力データ要素内の予測着目特徴を識別する１つまたは複数のモデル識別部分定義を生成することであり、前記１つまたは複数のモデル識別部分定義が前記機械学習モデルに基づいて生成される、モデル識別部分定義を生成すること、
前記１つまたは複数のラベルデータ部分定義のうちの特定のラベルデータ部分定義によって識別された前記着目特徴を、前記特定のラベルデータ部分定義と前記１つまたは複数のモデル識別部分定義のそれぞれとの間の不一致を判定することによって偽陰性として分類すること、
前記１つまたは複数のモデル識別部分定義のうちの特定のモデル識別部分定義によって識別された前記予測着目特徴を、前記特定のモデル識別部分定義と前記１つまたは複数のラベルデータ部分定義のそれぞれとの間の不一致を判定することによって偽陽性として分類すること、
少なくとも一部の偽陽性よりも多くの偽陰性にペナルティを課すように構成されるクラス別損失関数を提供すること、
前記クラス別損失関数を使用して損失を計算することであり、前記計算が、前記予測着目特徴の偽陽性としての分類に割り当てられたいかなるペナルティよりも大きいペナルティを前記着目特徴の偽陰性としての分類に割り当てることを含む、計算すること、および
前記損失に基づいて前記機械学習モデルのパラメータ値の前記セットを決定すること、
によって機械学習モデルを訓練することと、
によって学習されたパラメータ値のセットで構成される、
送信することと、
前記要求を送信することに応答して、１つまたは複数の特定のモデル識別部分定義を識別する結果を受信することであり、前記１つまたは複数の特定のモデル識別部分定義のそれぞれが予測着目特徴に対応する前記特定の入力データ要素の部分を識別する、受信することと、
を含む方法。
Ａ１１． 前記１つまたは複数の特定のモデル識別部分定義に基づいて、前記特定の入力データ要素に対応する被験者の診断または処置を決定することと、
前記診断または処置の識別を出力することと、
をさらに含む、例示的な実施形態Ａ１０に記載の方法。
Ａ１２． コンピュータ断層撮影（ＣＴ）スキャナ、磁気共鳴撮像（ＭＲＩ）装置、または顕微鏡を使用して、前記特定の入力データ要素を収集すること、
をさらに含む、例示的な実施形態Ａ１０またはＡ１１に記載の方法。
Ａ１３． システムであって、
１つまたは複数のデータプロセッサと
前記１つまたは複数のデータプロセッサ上で実行されると、前記１つまたは複数のデータプロセッサに、
入力データ要素、および
それぞれが前記入力データ要素内の着目特徴を識別する１つまたは複数のラベルデータ部分定義、
を含むデータセットを提供することと、
前記データセットを使用して、
それぞれが前記入力データ要素内の予測着目特徴を識別する１つまたは複数のモデル識別部分定義を生成することであり、前記１つまたは複数のモデル識別部分定義が前記機械学習モデルに基づいて生成される、モデル識別部分定義を生成すること、
前記１つまたは複数のラベルデータ部分定義のうちの特定のラベルデータ部分定義によって識別された前記着目特徴を、前記特定のラベルデータ部分定義と前記１つまたは複数のモデル識別部分定義のそれぞれとの間の不一致を判定することによって偽陰性として分類すること、
前記１つまたは複数のモデル識別部分定義のうちの特定のモデル識別部分定義によって識別された前記予測着目特徴を、前記特定のモデル識別部分定義と前記１つまたは複数のラベルデータ部分定義のそれぞれとの間の不一致を判定することによって偽陽性として分類すること、
少なくとも一部の偽陽性よりも多くの偽陰性にペナルティを課すように構成されるクラス別損失関数を提供すること、
前記クラス別損失関数を使用して損失を計算することであり、前記計算が、前記予測着目特徴の偽陽性としての分類に割り当てられたいかなるペナルティよりも大きいペナルティを前記着目特徴の偽陰性としての分類に割り当てることを含む、計算すること、および
前記損失に基づいて、前記機械学習モデルのパラメータ値のセットを決定すること、
によって機械学習モデルを訓練することと、
を含むアクションのセットを実行させる命令を含む非一過性コンピュータ可読記憶媒体と、
を備えるシステム。
Ａ１４． １つまたは複数のデータプロセッサに例示的な実施形態Ａ１～１０に記載の１つまたは複数の方法の一部または全部を実行させるように構成される命令を含む、非一過性機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品。
ＶＩ．さらなる考察
本開示の一部の実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。一部の実施形態では、システムは、命令を含む非一過性コンピュータ可読記憶媒体であって、命令が、１つまたは複数のデータプロセッサ上で実行されると、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部もしくは全部および／または１つもしくは複数のプロセスの一部もしくは全部を実行させる、非一過性コンピュータ可読記憶媒体を含む。本開示の一部の実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部もしくは全部および／あるいは１つまたは複数のプロセスの一部もしくは全部を実行させるように構成される命令を含む、非一過性機械可読記憶媒体において有形に具現化されるコンピュータプログラム製品を含む。
採用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示され、説明された特徴またはその一部の任意の均等物を除外する意図はないが、特許請求される本発明の範囲内で様々な修正が可能であることが認識される。したがって、特許請求される本発明は、実施形態および任意選択の特徴によって具体的に開示されているが、本明細書で開示される概念の修正および変形が当業者によって行われてもよく、そのような修正および変形は、添付の特許請求の範囲によって定義される本発明の範囲内であると考えられることを理解されたい。
説明は、好ましい例示的な実施形態のみを提供するものであり、本開示の範囲、適用可能性、または構成を限定することを意図していない。むしろ、好ましい例示的な実施形態の説明は、様々な実施形態を実施するための有効な説明を当業者に提供する。添付の特許請求の範囲に記載される趣旨および範囲から逸脱することなく、要素の機能および構成において様々な変更が行われ得ることが理解される。
説明では、実施形態の完全な理解を提供するために具体的な詳細が示されている。しかしながら、これらの具体的な詳細なしに実施形態を実施することができるが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、不必要な詳細で実施形態を不明瞭にしないために、ブロック図の形態の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術は、不必要な詳細なしに示されてもよい。

Claims (14)

  1. コンピュータ実装方法であって、
    入力データ要素、および
    それぞれが前記入力データ要素内の着目特徴を識別する１つまたは複数のラベルデータ部分定義、
    を含むデータセットを提供することと、
    前記データセットを使用して動作のセットを実行することによって機械学習モデルを訓練することであり、前記動作のセットが、
    それぞれが前記入力データ要素内の予測着目特徴を識別する１つまたは複数のモデル識別部分定義を生成することであり、前記１つまたは複数のモデル識別部分定義が前記機械学習モデルに基づいて生成される、モデル識別部分定義を生成すること、
    前記１つまたは複数のラベルデータ部分定義のうちの特定のラベルデータ部分定義によって識別された前記着目特徴を、前記特定のラベルデータ部分定義と前記１つまたは複数のモデル識別部分定義のそれぞれとの間の不一致を判定することによって偽陰性として分類すること、
    前記１つまたは複数のモデル識別部分定義のうちの特定のモデル識別部分定義によって識別された前記予測着目特徴を、前記特定のモデル識別部分定義と前記１つまたは複数のラベルデータ部分定義のそれぞれとの間の不一致を判定することによって偽陽性として分類すること、
    少なくとも一部の偽陽性よりも多くの偽陰性にペナルティを課すように構成されるクラス別損失関数を提供すること、
    前記クラス別損失関数を使用して損失を計算することであり、前記計算が、前記予測着目特徴の偽陽性としての前記分類に割り当てられたいかなるペナルティよりも大きいペナルティを前記着目特徴の偽陰性としての前記分類に割り当てることを含む、計算すること、および
    前記損失に基づいて、前記機械学習モデルのパラメータ値のセットを決定すること、を含む、
    機械学習モデルを訓練することと、
    を含むコンピュータ実装方法。
  2. 前記動作のセットが前記パラメータ値のセットで構成されるように前記機械学習モデルを更新することをさらに含み、
    前記機械学習モデルを訓練することが前記動作のセットを複数回繰り返し実行することを含み、前記動作のセットの次の実行が前記データセットに含まれる少なくとも１つの他の入力データ要素を使用して前記機械学習モデルを訓練することを含む、
    請求項１に記載のコンピュータ実装方法。
  3. 前記特定のモデル識別部分定義について、存在する前記予測着目特徴の信頼度を表す信頼度メトリックを生成することをさらに含み、
    前記損失を計算することが、前記信頼度メトリックに基づいて、前記予測着目特徴の偽陽性としての前記分類に割り当てられたペナルティを計算することを含む、
    請求項１に記載のコンピュータ実装方法。
  4. 前記損失を計算することが、
    前記信頼度メトリックが所定のしきい値を超えたと判定することと、
    前記予測特徴の偽陽性としての前記分類に割り当てられた前記ペナルティを０に設定することと、
    を含む、請求項３に記載のコンピュータ実装方法。
  5. 前記入力データ要素が画像を含み、前記１つまたは複数のモデル識別部分定義のそれぞれが画素のセットを識別する、請求項１に記載のコンピュータ実装方法。
  6. 前記機械学習モデルが畳み込みニューラルネットワークおよび／またはディープニューラルネットワークを含む、請求項１に記載のコンピュータ実装方法。
  7. 前記パラメータ値のセットが重みのセットに対する値を含む、請求項１に記載のコンピュータ実装方法。
  8. 前記入力データ要素が画像を含み、前記１つまたは複数のラベルデータ部分定義の各ラベルデータ部分定義について、前記ラベルデータ部分定義において識別される前記着目特徴が、腫瘍、病変、特定の細胞タイプ、または血管系である、請求項１に記載のコンピュータ実装方法。
  9. 前記データセットにおける着目特徴表現の推定数に基づいて、ペナルティ割り当てからドロップされるべき偽陽性分類の量を決定することをさらに含み、
    前記損失を計算することが、
    それぞれが偽陽性として分類された予測着目特徴を含む、偽陽性予測着目特徴のセットを識別することと、
    前記偽陽性予測着目特徴のセットのそれぞれについて、存在する前記予測着目特徴の信頼度を表す信頼度メトリックを生成することと、
    ドロップされるべき前記偽陽性分類の量および前記信頼度メトリックに基づいて、前記偽陽性の予測着目特徴のセットのサブセットを定義することと、
    前記サブセット内の偽陽性予測特徴のそれぞれにペナルティを割り当てることと、
    を含む、
    請求項１に記載のコンピュータ実装方法。
  10. 方法であって、
    訓練された機械学習モデルを使用して、特定の入力データ要素における任意の予測着目特徴を検出する要求を送信することであり、訓練された前記機械学習モデルが、
    入力データ要素、および
    それぞれが前記入力データ要素内の着目特徴を識別する１つまたは複数のラベルデータ部分定義、
    を含むデータセットを提供すること、ならびに
    前記データセットを使用して、
    それぞれが前記入力データ要素内の予測着目特徴を識別する１つまたは複数のモデル識別部分定義を生成することであり、前記１つまたは複数のモデル識別部分定義が前記機械学習モデルに基づいて生成される、モデル識別部分定義を生成すること、
    前記１つまたは複数のラベルデータ部分定義のうちの特定のラベルデータ部分定義によって識別された前記着目特徴を、前記特定のラベルデータ部分定義と前記１つまたは複数のモデル識別部分定義のそれぞれとの間の不一致を判定することによって偽陰性として分類すること、
    前記１つまたは複数のモデル識別部分定義のうちの特定のモデル識別部分定義によって識別された前記予測着目特徴を、前記特定のモデル識別部分定義と前記１つまたは複数のラベルデータ部分定義のそれぞれとの間の不一致を判定することによって偽陽性として分類すること、
    少なくとも一部の偽陽性よりも多くの偽陰性にペナルティを課すように構成されるクラス別損失関数を提供すること、
    前記クラス別損失関数を使用して損失を計算することであり、前記計算が、前記予測着目特徴の偽陽性としての前記分類に割り当てられたいかなるペナルティよりも大きいペナルティを前記着目特徴の偽陰性としての前記分類に割り当てることを含む、計算すること、および
    前記損失に基づいて前記機械学習モデルのパラメータ値の前記セットを決定すること、
    によって機械学習モデルを訓練することと、
    によって学習されたパラメータ値のセットで構成される、
    送信することと、
    前記要求を送信することに応答して、１つまたは複数の特定のモデル識別部分定義を識別する結果を受信することであり、前記１つまたは複数の特定のモデル識別部分定義のそれぞれが予測着目特徴に対応する前記特定の入力データ要素の部分を識別する、受信することと、
    を含む方法。
  11. 前記１つまたは複数の特定のモデル識別部分定義に基づいて、前記特定の入力データ要素に対応する被験者の診断または処置を決定することと、
    前記診断または処置の識別を出力することと、
    をさらに含む、請求項１０に記載の方法。
  12. コンピュータ断層撮影（ＣＴ）スキャナ、磁気共鳴撮像（ＭＲＩ）装置、または顕微鏡を使用して前記特定の入力データ要素を収集することをさらに含む、請求項１０に記載の方法。
  13. システムであって、
    １つまたは複数のデータプロセッサと、
    前記１つまたは複数のデータプロセッサ上で実行されると、前記１つまたは複数のデータプロセッサに、
    入力データ要素、および
    それぞれが前記入力データ要素内の着目特徴を識別する１つまたは複数のラベルデータ部分定義
    を含むデータセットを提供することと、
    前記データセットを使用して、
    それぞれが前記入力データ要素内の予測着目特徴を識別する１つまたは複数のモデル識別部分定義を生成することであり、前記１つまたは複数のモデル識別部分定義が機械学習モデルに基づいて生成される、モデル識別部分定義を生成すること、
    前記１つまたは複数のラベルデータ部分定義のうちの特定のラベルデータ部分定義によって識別された前記着目特徴を、前記特定のラベルデータ部分定義と前記１つまたは複数のモデル識別部分定義のそれぞれとの間の不一致を判定することによって偽陰性として分類すること、
    前記１つまたは複数のモデル識別部分定義のうちの特定のモデル識別部分定義によって識別された前記予測着目特徴を、前記特定のモデル識別部分定義と前記１つまたは複数のラベルデータ部分定義のそれぞれとの間の不一致を判定することによって偽陽性として分類すること、
    少なくとも一部の偽陽性よりも多くの偽陰性にペナルティを課すように構成されるクラス別損失関数を提供すること、
    前記クラス別損失関数を使用して損失を計算することであり、前記計算が、前記予測着目特徴の偽陽性としての前記分類に割り当てられたいかなるペナルティよりも大きいペナルティを前記着目特徴の偽陰性としての前記分類に割り当てることを含む、計算すること、および
    前記損失に基づいて、前記機械学習モデルのパラメータ値のセットを決定すること、
    によって前記機械学習モデルを訓練することと、
    を含むアクションのセットを実行させる命令を含む非一過性コンピュータ可読記憶媒体と、
    を備えるシステム。
  14. １つまたは複数のデータプロセッサに請求項１～１０のいずれか一項に記載の１つまたは複数の方法の一部または全部を実行させるように構成される命令を含む、非一過性機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品。
JP2022552420A 2020-03-06 2021-03-04 訓練データにおける欠落したアノテーションに対処するためのクラス別損失関数 Pending JP2023516651A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062986176P 2020-03-06 2020-03-06
US62/986,176 2020-03-06
PCT/US2021/020901 WO2021178685A1 (en) 2020-03-06 2021-03-04 Class-disparate loss function to address missing annotations in training data

Publications (1)

Publication Number Publication Date
JP2023516651A true JP2023516651A (ja) 2023-04-20

Family

ID=75539895

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022552420A Pending JP2023516651A (ja) 2020-03-06 2021-03-04 訓練データにおける欠落したアノテーションに対処するためのクラス別損失関数

Country Status (6)

Country Link
US (1) US20220383621A1 (ja)
EP (1) EP4115331A1 (ja)
JP (1) JP2023516651A (ja)
KR (1) KR20220151170A (ja)
CN (1) CN115210755A (ja)
WO (1) WO2021178685A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114912549B (zh) * 2022-07-11 2022-12-13 支付宝(杭州)信息技术有限公司 风险交易识别模型的训练方法、风险交易识别方法和装置
CN115018852B (zh) * 2022-08-10 2022-12-06 四川大学 一种基于半监督学习的腹部淋巴结检测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4361947A2 (en) * 2018-03-23 2024-05-01 Memorial Sloan-Kettering Cancer Center Systems and methods for multiple instance learning for classification and localization in biomedical imagining

Also Published As

Publication number Publication date
WO2021178685A1 (en) 2021-09-10
EP4115331A1 (en) 2023-01-11
CN115210755A (zh) 2022-10-18
US20220383621A1 (en) 2022-12-01
KR20220151170A (ko) 2022-11-14

Similar Documents

Publication Publication Date Title
US10691980B1 (en) Multi-task learning for chest X-ray abnormality classification
Messay et al. Segmentation of pulmonary nodules in computed tomography using a regression neural network approach and its application to the lung image database consortium and image database resource initiative dataset
US20200085382A1 (en) Automated lesion detection, segmentation, and longitudinal identification
WO2019103912A2 (en) Content based image retrieval for lesion analysis
Blanc et al. Artificial intelligence solution to classify pulmonary nodules on CT
JP2023507109A (ja) 医用画像による自動化された腫瘍識別およびセグメンテーション
Kahaki et al. Deep convolutional neural network designed for age assessment based on orthopantomography data
US11361868B2 (en) Abnormal tissue detection via modal upstream data fusion
Helaly et al. Toward deep mri segmentation for alzheimer’s disease detection
US20220383621A1 (en) Class-disparate loss function to address missing annotations in training data
Wang et al. Residual feedback network for breast lesion segmentation in ultrasound image
Dodia et al. Recent advancements in deep learning based lung cancer detection: A systematic review
Szankin et al. Can AI see bias in X-ray images?
Sirjani et al. Automatic cardiac evaluations using a deep video object segmentation network
US20220076829A1 (en) Method and apparatus for analyzing medical image data in a latent space representation
Albahli et al. AI-CenterNet CXR: An artificial intelligence (AI) enabled system for localization and classification of chest X-ray disease
Alicja et al. Can AI see bias in X-ray images
Cerekci et al. Quantitative evaluation of Saliency-Based Explainable artificial intelligence (XAI) methods in Deep Learning-Based mammogram analysis
Xu et al. Accurate and efficient separation of left and right lungs from 3D CT scans: a generic hysteresis approach
Savitha et al. Study for Assessing the Advancement of Imaging Techniques in Chest Radiographic Images
Saggu et al. Innovation in Healthcare for Improved Pneumonia Diagnosis with Gradient-Weighted Class Activation Map Visualization
US11508065B2 (en) Methods and systems for detecting acquisition errors in medical images
Manikandan et al. Automated classification of emphysema using data augmentation and effective pixel location estimation with multi-scale residual network
Nawaz et al. CXray-EffDet: Chest Disease Detection and Classification from X-ray Images Using the EfficientDet Model. Diagnostics 2023, 13, 248
WO2021197176A1 (en) Systems and methods for tumor characterization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240227