JP7350582B2 - モデル学習用のシステム、装置、及び学習方法 - Google Patents

モデル学習用のシステム、装置、及び学習方法 Download PDF

Info

Publication number
JP7350582B2
JP7350582B2 JP2019165417A JP2019165417A JP7350582B2 JP 7350582 B2 JP7350582 B2 JP 7350582B2 JP 2019165417 A JP2019165417 A JP 2019165417A JP 2019165417 A JP2019165417 A JP 2019165417A JP 7350582 B2 JP7350582 B2 JP 7350582B2
Authority
JP
Japan
Prior art keywords
data
training
model
learning
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019165417A
Other languages
English (en)
Other versions
JP2020166809A (ja
Inventor
プール イアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to EP20155084.5A priority Critical patent/EP3716157A1/en
Publication of JP2020166809A publication Critical patent/JP2020166809A/ja
Application granted granted Critical
Publication of JP7350582B2 publication Critical patent/JP7350582B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Description

本発明の実施形態は、モデル学習用のシステム、装置、及び学習方法に関する。
患者の身体部分の、又はその他の被検体の少なくとも一部分をスキャンするために医用撮像スキャナを使用することにより、医用画像データを取得することができる。例えば、コンピュータ断層撮影（Computerized Tomography：ＣＴ）スキャナ、磁気共鳴（Magnetic Resonance：ＭＲ）スキャナ、又は任意のその他の医用撮像モダリティにおけるスキャナを使用することができる。医用画像データは、二次元（プラナー）、又は三次元（ボリューメトリック）とすることができる。医用画像データのセットは、医用画像を表すことができるし、又は、例えば、表示用の医用画像等を提供するために処理することもできる。
医用画像の処理と、医用画像データの処理とを区別せずに呼ぶのは、よくあることである。例えば、実際には医用画像を表す医用画像データについて処理が実行される場合に、この処理を、「医用画像のセグメンテーション」、又は「医用画像におけるエッジ検出」と呼ぶこともある。下記の説明において、医用画像の処理についての言及は、対応する医用画像データの処理を含むものと考えてよい。
医用的に関連する情報を取得するために、医用画像を解析することが知られている。例えば、医用画像は、表示された一つ、又は複数の臓器のセグメンテーションを取得するために解析され得る。また、医用画像は、病変領域を検出するために解析され得る。また、医用画像は、長期間にわたる患者の転帰を予測するために解析され得る。
多くのケースにおいて、医用画像は、例えば放射線科医等の臨床医により、手動で解析される。なお、医用画像は、自動で解析されるケースもある。
システムは、例えば、医用画像データ等の画像データにおけるパターンを認識するように、学習させることができる。パターン認識には、例えば、画像からの被検体の取得が含まれる。また、パターン認識には、任意の適切な回帰、検出、又はその他のパターンの認識処理も含まれ得る。
システムは、「学習データ」とも呼ばれる、画像データのセットを使用して学習させることができる。学習データは、所望の出力を取得するよう手動で既に解析された画像データのセットを含んでもよい。例えば、セグメンテーションを実行するよう学習させる予定のシステムの場合、各学習データセットは、対応する画像を手動でセグメンテーションした画像データを含んでいてもよい。手動のセグメンテーションは、グラウンドトゥルースとして使用される。
一般的に、パターン認識に対する従来的なアプローチは、パターン認識を実行するシステムを学習させるために、比較的少量の学習データを使用する。そのような従来的なアプローチでは、データを正規化し、かつ学習データから意味のある特徴量（feature）を考案するために、特定分野の専門家からの相当な専門的知識を要することが一般的である。従来的なパターン認識方法論は、理想的なフィットとはならない場合もある、固定された正規化と特徴量抽出アルゴリズムとを含むため、扱いにくい場合がある。従来的なアプローチにおいて、これらの扱いにくいアルゴリズムは、製品に実装され、複雑でコンピュータ的な費用がかかる解決策となっている。
図１は、従来的なパターン認識アプローチを使用して、分類子の学習法の概略を描くフローチャートである。学習システムは、プライマリ学習データ１０の複数のセットを受け取る。図１の例において、プライマリ学習データ１０の複数のセットのそれぞれは、個別の医用画像を表す医用画像データの個別のセットを含む。
プライマリ学習データの複数のセットのそれぞれは、既に分類されている。例えば、プライマリ学習データの複数のセットは、一人又は複数人の臨床医により、手動で分類されてもよい。その分類に基づいて、個別のラベルが、プライマリ学習データの各セットと関連付けられる。ラベルは、「プライマリグラウンドトゥルースラベル」又は「プライマリＧＴラベル」と呼ぶことがある。ラベルは、関心の任意の特性（characteristic）に関連する場合がある。例えば、ラベルは、病変の有無を示すことができる。
ステージ１２で、特定分野の専門家２（ロダンの彫刻、「考える人」の絵で描かれる）は、無関係の変化を除去するために、プライマリ学習データの正規化を実行する。例えば、特定分野の専門家２は、画像の全てが実質的に同じ方位を有するように、画像のうちの少なくともいくつかを回転することがある。特定分野の専門家２は、ライティングコンディションの影響を除去するために、画像を正規化する。例えば、特定分野の専門家２は、画像が同様の平均的な輝度、又は輝度の範囲を有するように、画像を正規化する。ステージ１２の正規化ステップは、例えば空間的スケール、輝度バイアス、又は陰影（画像にわたる輝度変化）等、データ収集の変化（「アーチファクト」と呼ばれる）の除去と特に関連している。
ステージ１４で、特定分野の専門家２は、医用画像データセット（「ローデータ」とも称される）から計算される予定の、複数の特徴量を選択する。特徴量は、学習されている分類子に関する、重大な変化を捉えるように設計される。特定分野の専門家２は、その特定分野の経験に基づいて、特徴量を選択する。例えば、特定分野の専門家２は、特徴量が所望の分類と相関しそうであるということを、経験上知っている。
例えば、特定分野の専門家２は、例えば、輝度、又は輝度勾配の統計的モーメント（例えば、平均、及び／又は標準偏差）等、一つ、又は複数の輝度特徴量を含む、特徴量のセットを選択する。統計的モーメントには、いくつかの自動的なセグメンテーション（例えば、閾化による）がよく含まれる。特徴量のセットは、例えばエリア、ペリメータ、真円度、及び／又は凸包エリア（又はそれらの３Ｄアナログ）等、セグメントされた被検体の特徴量を含んでもよい。
学習システムは、学習データセットのそれぞれにおける、選択された特徴量のそれぞれに対する値を計算する。
ステージ１６で、学習システムは、ステージ１４で取得された、計算された特徴量に対する値を受け取る。学習システムは、プライマリ学習データ１０の複数のセットのそれぞれに対するプライマリグラウンドトゥルースラベル１８を受け取る。学習システムは、選択された特徴量に対する計算された値に基づいてクラスラベルを予測するよう、分類子を学習させる。
図１に図示されるアプローチは、特定分野の専門家２からの大量の入力を使用する。特定分野の専門家２は、正規化を実行し、かつ分類子の学習において使用される予定の特徴量を選択する。
自動化されたパターン認識に対する代わりのアプローチは、深層学習により提供することができる。一般的に、深層学習ニューラルネットワークのアプローチは、明白な正規化、又は特徴量測定が必要となるのを回避する。深層学習ニューラルネットワークアプローチは、近年大きな成功を収めている。しかし、深層学習ニューラルネットワークは、上手く汎化させるつもりならば、大量の学習データを一般的に必要とする。
図２は、深層学習アプローチを使用する、分類子の学習法の概要を描くフローチャートである。大量のプライマリロー学習データ２０が、ニューラルネットワーク２２へと提供される。係るプライマリロー学習データ２０は、多くの医用画像データセットを含む。プライマリロー学習データ２０は、プライマリロー学習データ２０が正規化されていることなく、又は特徴量がプライマリロー学習データ２０から抽出されていることなく、ニューラルネットワーク２２へと提供される。
ニューラルネットワーク２２は、プライマリロー学習データ２０のセットのそれぞれに対する、プライマリグラウンドトゥルースラベル２４も受け取る。プライマリグラウンドトゥルースラベル２４は、例えば臨床医による手動の分類等、医用画像データセットのそれぞれの先行分類により取得されている。
システムは、医用画像データセット（「ローデータ」とも称される）から直接的に予測を実行するよう、ニューラルネットワーク２２を学習させる。ニューラルネットワーク２２は、明白な正規化又は特徴量測定なしで、医用画像データセットに対するラベルを予測するデータを分類するよう学習される。
深層学習は、十分な同調（チューニング）データが利用可能な場合には、上手く機能することが実証されている。しかし、学習データが不足している場合、一般的にはあまり上手く機能しない。
特開２００７－３０７３５８号公報
発明が解決しようとする課題は、モデルを効率的に学習させることが可能なモデル学習用のシステム、装置、及び学習方法を提供することである。
特定の実施形態は、学習法を実行し、入力データから少なくとも１つの予測出力を出力するようにモデルを学習させる処理装置を備える。前記学習法は、複数の学習データセットを受け取り、前記学習データセットの第１の特性を前記予測出力の予測に関係する正の特性として識別し、前記学習データセットの第２の特性を前記予測出力の予測と関係が薄い又は無関係である負の特性として識別し、前記モデルを学習させる。前記モデルの前記学習は、前記モデルが前記正の特性を使用して学習されるように、前記正の特性を使用して前記モデルを教示し、前記モデルが前記負の特性を考慮しないで学習されるように、前記負の特性を使用して前記モデルを教示する。
図１は、従来的なパターン認識アプローチを使用して、分類子の学習法の概要を描くフローチャートである。 図２は、深層学習アプローチを使用して、分類子の学習法の概要を描くフローチャートである。 図３は、実施形態に係る装置の概略図である。 図４は、ニューラルネットワークの学習法の概要を描くフローチャートである。 図５は、実施形態に係るニューラルネットワークの学習法の概要を描くフローチャートである。 図６は、実施形態に係る学習済みニューラルネットワークの展開の概要を描くフローチャートである。 図７は、実施形態に係るニューラルネットワークの学習及び展開の方法の概要を描くフローチャートである。 図８は、仮定空間Ｈの概略図である。 図９は、仮定空間Ｈの更なる概略図である。 図１０は、実施形態に係るニューラルネットワーク学習法の概要を描くフローチャートである。 図１１は、実施形態の方法の概要を描くフローチャートである。
以下、実施の形態について、図面を参照して説明する。
図３は、実施形態に係る画像データ処理装置３０の概略的な構成例を表すブロック図である。図３の実施形態において、装置３０は、出力を予測するためにニューラルネットワークを学習させ、初見のデータについて出力を予測するために学習させたニューラルネットワークを使用する。その他の実施形態において、第一の装置は、ニューラルネットワークを学習させるために使用され、第二の、異なる装置は、出力を予測するために学習させたニューラルネットワークを使用されるようにしてもよい。また更なる実施形態において、任意の装置又は複数の装置の任意の組み合わせが使用されてもよい。
更なる実施形態において、装置３０は、例えば任意の適当な機械学習、又は人工知能モデル等、任意の適当なタイプのモデルを学習させてもよい。いくつかの実施形態において、モデルは、ニューラルネットワークを有しない。
画像データ処理装置３０は、この場合パーソナルコンピュータ（ＰＣ）又はワークステーションである計算装置３２を備える。係る計算装置３２は、スキャナ３４と、一つ又は複数の表示スクリーン３６と、コンピュータキーボード、マウス、又はトラックボール等の入力デバイス又は複数の入力デバイス３８と、に接続される。
スキャナ３４は、医用撮像を実行する任意のスキャナであってよい。係るスキャナ３４は、患者、又はその他の被検体の少なくとも一つの解剖学的領域を表す、画像データを生成する。スキャナは、任意の撮像モダリティにおいて、二次元の、又は三次元の画像データを取得してもよい。例えば、スキャナ３４は、磁気共鳴（ＭＲ）スキャナ、コンピュータ断層撮影（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ：ＣＴ）スキャナ、コーンビームＣＴスキャナ、Ｘ線スキャナ、超音波スキャナ、陽電子放出断層撮影（ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ：ＰＥＴ）スキャナ、又は単光子放出コンピュータ断層撮影（ｓｉｎｇｌｅ ｐｈｏｔｏｎ ｅｍｉｓｓｉｏｎ ｃｏｍｐｕｔｅｄ ｔｏｍｐｇｒａｐｈｙ：ＳＰＥＣＴ）スキャナを含み得る。更なる実施形態において、スキャナは、医用画像データでない任意のタイプの画像データを生成してもよい。
本実施形態において、スキャナ３４によって取得される画像データセットは、データ格納４０に格納され、後に計算装置３２へと提供される。代わりの実施形態において、画像データセットは、画像管理システム（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：ＰＡＣＳ）の一部を形成し得る、遠隔メモリ（図示せず）から提供される。データ格納４０又は遠隔データ格納は、メモリストレージの任意の適切なフォームを含み得る。
更なる実施形態において、任意の適切なタイプのデータは、モデルを学習させるために使用され得る。データは、スキャナを備える場合もあるししない場合もある任意の適切なデータ収集デバイスから取得されてもよい。データは、任意の適切なデータ格納から読み出されてもよい。いくつかの実施形態において、学習データは、画像データを含み、かつ／又は、学習済みモデルが適用され、画像データでないデータを含む。
計算装置３２は、本実施形態において画像データを含むデータを処理するための処理装置４２を備える。処理装置４２は、中央処理装置（ＣＰＵ）とグラフィカル処理装置（ＧＰＵ）とを備える。
本実施形態において、処理装置４２は、画像データセットを自動的に、又は半自動的に処理するための処理リソースを提供する。分かりやすくするため、下記では医用画像の処理について言及するものとする。しかしながら、実際には、以下に説明される操作は、医用画像を表す画像データの任意の適切なセットに実行されてもよい。画像データは、任意の対応する画像が表示されることなく、処理装置４２により内部的に処理されることもある。
処理装置４２は、出力を予測するためにモデルを学習させる学習回路４４と、出力を予測するために学習済みモデルを使用する予測回路４６とを含む。いくつかの実施形態で、処理装置４２は、更に増大回路４８を備える。
本実施形態において、回路４４、４６、４８は、実施形態の方法を実行することが実行可能なコンピュータ読み取り可能命令を有するコンピュータプログラムの方法で、ＣＰＵ及び／又はＧＰＵにおいてそれぞれ実行される。しかし、その他の実施形態において、様々な回路は、一つ以上のＡＳＩＣ（Application Specific Integrated Circuits：特定用途向け集積回路）、又はＦＰＧＡ（Field Programmable Gate Arrays：フィールドプログラマブルゲートアレイ）として、実装することもできる。
計算装置３２は、ハードドライブや、ＲＡＭ、ＲＯＭを含むＰＣのその他構成要素、データバス、様々なデバイスドライバを含むオペレーティングシステム、グラフィックス・カードを含むハードウェアデバイスも包括する。このような構成要素は、明確にするために図３には図示されていない。
実施形態は、図５から図１１までを参照し以下に説明される。
図４は、従来のパターン認識と深層学習の組み合わせを用いたニューラルネットワーク５６の学習法の例の概要を描くフローチャートである。図４の方法はその後、専門家の入力がニューラルネットワークの学習において使用される、図５から図１１までの実施形態と比較される。
図４の方法において、学習システムは、正規化し、その後特徴量を計算する。特徴量は、深層学習ニューラルネットワークとも呼ばれるニューラルネットワークに対する付加的な入力として提供される。
学習システムは、プライマリ学習データ５０の複数のセットと、プライマリ学習データに対するプライマリＧＴラベル５８とを受け取る。プライマリＧＴラベルは、学習に先立ち取得されている。例えば、プライマリ学習データ５０の複数のセットは、プライマリＧＴラベルを取得するために、手動で分類されてもよい。プライマリＧＴラベルは、例えば病変の有無等、学習データの任意の適切な特性についての情報を提供し得る。
ステーション５２で、特定分野の専門家２は、プライマリ学習データ５０の正規化を実行する。ステージ５２からの出力である正規化されたプライマリ学習データは、ニューラルネットワーク５６へと提供される。
ステージ５２からの出力である正規化されたプライマリ学習データは、ステージ５４に対する入力としても使用される。ステージ５４で、特定分野の専門家２は、複数の特徴量を選択する。係る選択された特徴量に対する値は、学習システムにより、正規化された学習データの各セットに対して計算される。係る特徴量に対して計算された値は、ニューラルネットワーク５６へと提供される。
プライマリＧＴラベル５８も、ニューラルネットワーク５６へと提供される。ニューラルネットワーク５６は、ニューラルネットワーク５６が正規化された学習データと、特徴量に対して計算された値とに基づいてラベルを予測するために学習する、という学習処理を受ける。
学習処理は、学習済みニューラルネットワークを備える学習済み分類子という結果になる。係る学習済み分類子は、入力としてターゲットデータセットを受け取り、かつターゲットデータセットに対する予測されたラベルを出力する、よう学習される。例えば、出力は、病変を含むものとして、又はその病変を含まないものとしての、ターゲットデータセットの分類を備えてよい。
図４に示される方法の例では、データの正規化ステップと特徴量計算ステップとは、与えられた分類子にも含まれる。ターゲットデータセットに対するラベルを予測するよう学習済みニューラルネットワークを使用するために、ターゲットデータセットは、正規化され、正規化されたターゲットデータセットは、学習済みニューラルネットワークへと提供される。特徴量は、正規化されたデータセットから計算され、学習済みニューラルネットワークへと提供される。学習済みニューラルネットワークは、正規化されたターゲットデータセット、及び計算された特徴量に基づいて、ターゲットデータセットに対するラベルを予測する。
図４の方法において、計算された特徴量は、専ら特定分野の専門家２により決定される。計算された特徴量は、変化しにくいものとみなしても構わない。計算された特徴量は、深層学習と共に発展できない。例えば、ニューラルネットワークは、ラベルの予測性を向上させるような、更なる特徴量を選択することはできない。
対照的に、図５から図１１までを参照し下記に説明される実施形態において、ニューラルネットワークは、ターゲットデータセットを入力として受け取り、予測（例えば、予測されたラベル）を出力するよう構成された学習済みニューラルネットワークとなるように、学習される。ニューラルネットワークが一旦学習されれば、付加的な正規化ステップ、又は特徴量計算ステップは、一切使用されない。ニューラルネットワークのみを有する、予測器（例えば、分類子）を、取得することができる。係る予測器は、「純粋なニューラルネットワーク（pure neural network）」と呼ばれる。
下記に説明される学習法の実施形態は、ＧＰＵに効果的に走らせることができる、純粋なニューラルネットワークを生み出し得る。
学習回路４４は、図５のフローチャートに概要が描かれた、学習法を実行する。図５に示される方法において、特定分野の専門家の入力は、深層エキスパート学習エンジンとも称される、ニューラルネットワーク６２に対する教示（supervision）を提供するために使用される。
学習回路４４は、学習データ６０の複数のセットを受け取る。本実施形態において、学習データ６０の各セットは、医用撮像データの個別のセット、例えば、ピクセル、又はボクセル位置のアレイに対するピクセル、又はボクセルの輝度のセットを有する。学習データ６０の複数のセットのそれぞれは、学習データの複数のセットのそれぞれに対するグラウンドトゥルースラベルを取得するために、手動で分類されている。
学習データの複数のセットのうちの少なくともいくつかは、画像データ、及びグラウンドトゥルースラベルに加え、更なる特性に対する値も有する。更なる特性に対する値は、ニューラルネットワークの学習において使用される、更なる情報を提供する。学習データの複数のセットのうちの異なるいずれかは、更なる特性のうちの異なる特性に対する値を有してもよい。
本実施形態において、学習データ６０の複数のセットのうちの少なくともいくつかは、例えばＤＩＣＯＭデータのような画像収集に関するデータを有する。例えば、画像収集に関するデータは、画像を収集するために使用されたスキャナ、モダリティ、及び／又はプロトコル、画像が収集された施設、又は地理的位置、及び／又は画像が収集された日付についての詳細を有し得る。学習データ６０の複数のセットのうちの少なくともいくつかは、画像データを手動処理、又は自動処理することで取得されたデータも有し得る。例えば、学習データの複数のセットのうちのいくつかは、臓器セグメンテーション又はボリューム、測定された形状又はテクスチャ、生理学的測定、又は臨床的スコアを有し得る。学習データの複数のセットのうちの少なくともいくつかは、例えば、実験結果等の非撮像臨床データも有し得る。学習データの複数のセットのうちの少なくともいくつかは、患者に関する情報、例えば患者の年齢、性別、身長、又は体重を有し得る。
学習データの複数のセットのうちの少なくともいくつかの部分を形成する付加的な情報は、大まかに三つのカテゴリのうちの一つに分類し得る。付加的な情報の第一カテゴリは、データセットの一部としてよく既に利用可能な情報（例えば、モダリティ、施設、スケール、性別）を有する。いくつかの状況では、第一カテゴリに分類される情報は、学習データ６０の複数のセットのうちの全てに対して提供され得る。
付加的な情報の第二カテゴリは、補助的なグラウンドトゥルース（例えば、推定されたボリューム）として手動で提供され得るデータを有する。いくつかの状況では、第二カテゴリのデータは、学習データ６０の複数のセットのうちのいくつかに対してのみ利用可能となり得る。異なるデータは、学習データ６０の異なる複数のセットに対して利用可能となり得る。例えば、異なる測定が、学習データ６０の異なる複数のセットに対して実行されていても構わない。
付加的な情報の第三カテゴリは、予め存在するアルゴリズムにより計算されるデータを有する。例えば、臓器セグメンテーションは、既知のアルゴリズムを複数の学習データセットへ適用することにより取得し得る。いくつかの状況では、予め存在するアルゴリズム（例えば、臓器セグメンテーションアルゴリズム）は、学習データのうちのいくつかのセットへと適用されてもよいが、学習データのその他の複数のセットへ適用されなくてもよい。いくつかの状況では、予め存在するアルゴリズムを、学習データのいくつかのセットへ適用することのみ、可能としてもよい。例えば、予め存在するアルゴリズムが学習データのいくつかのセットにのみ利用可能な付加的な入力を必要としたり、又は予め存在するアルゴリズムが特定のモダリティ、又は収集のタイプに対してのみ適用され得るとしたりする。
学習データ６０は、異成分から成る（heterogeneous）と扱われ得る。学習データ６０は、学習データの異なる複数のセットに対して利用可能な複数の異なるタイプの情報において、異成分から成り得る。例えば、学習データのいくつかのセットは、その他の学習データの複数のセットがその他の特性に対する複数の値、例えばセグメンテーション、測定、及び／又はその他の付加的な情報も有する一方で、画像データのみを有してもよい。学習データ６０は、学習データ６０が異なるモダリティの画像、及び／又は画像収集におけるその他の違いを有するという意味では、付加的に又は選択的に異成分を含み得る。
学習回路４４は、プライマリ学習データ６０の複数のセットを、ニューラルネットワーク６２へと提供する。
ニューラルネットワークのプライマリ入力は、学習回路４４により定義される。プライマリ入力は、学習済みニューラルネットワークに対する入力として結局は使用されることになるデータアイテム、又は複数のデータアイテムを有する。本実施形態において、プライマリ入力は、画像データを有する。
プライマリ入力は、学習データ７０のコーホートにおける全てのデータセットに対して利用可能なデータのタイプを有する。プライマリ入力は、学習に対して使用される全てのデータセットと、学習済みニューラルネットワークが展開する全てのデータセットと、の一部を形成する。プライマリ入力は、予測を取得するために展開される解決法により使用される入力である。
いくつかの実施形態において、プライマリ入力は、特定分野の専門家２により定義される。例えば、特定分野の専門家２は、グラフィカルユーザインタフェースを用いて、学習データ６０についての情報を提供することができる。学習データの全てに対して共通なデータタイプは、グラフィカルユーザインタフェースにおいてハイライトすることができる。
ニューラルネットワークのプライマリ出力は、学習回路４４により定義される。いくつかの実施形態において、プライマリ出力は、例えば上述のとおりグラフィカルユーザインタフェースを用いて特定分野の専門家２により定義することができる。本実施形態において、係るニューラルネットワークは、分類を実行するよう学習され、係るプライマリ出力は、ラベルである。その他の実施形態において、ニューラルネットワークは、任意の適切な出力を提供することができる。例えば、出力は、セグメンテーションを有していてもよい。係るセグメンテーションは、全てのピクセル、又はボクセルで、個別の分類を提供するとしてもよい。
本実施形態において、プライマリ出力に対するグラウンドトゥルースデータは、学習データのコーホート全体に対して利用可能である必要はない。例えば、グラウンドトゥルースラベルは、学習データのいくつかのセットに対してのみ、利用可能であってもよい。本実施形態において、ニューラルネットワークは、関心の病変の有無を予測するように学習される。
図５のステージ６３で、特定分野の専門家２は、関心の病変に関連があると自身が考える、学習データ６０における複数の特徴量６４を選択する。特徴量６４は、「正の特性」と称しても構わない。特徴量６４は、値が学習データセットのうちの少なくともいくつかにおいて利用可能な特性のセットから選ばれる。
特定分野の専門家２による特徴量６４の選択は、特定分野の専門家の経験や知識に基づく。例えば、特定分野の専門家２は、冠動脈の位置が、利用可能であれば、病変が存在するか否かを決定する際に有益であると知っていてもよい。
ステージ６３で特定分野の専門家２により選択された特徴量６４の例は、次を含むことができる。すなわち、臓器セグメンテーション又はボリューム、測定された形状又は関心の病変と相関関係があるとして公知（例えば、文献から）のテクスチャ、又は計算されたパフュージョンパラメータ等の生理学的な測定である。特徴量６４は、画像データの少なくとも一部を形成するものであってもよいし、画像データの一部を形成しないもの、例えば、臨床データであってもよい。
選択された特徴量は、データが学習データ６０のいくつかのセットでは利用可能であるが、学習データ６０の全てのセットでは利用可能ではない特徴量であってもよい。例えば、冠動脈の位置は、学習データ６０の複数のセットの第一のサブセットを形成すると扱われ得る、学習データ６０のいくつかのセットに対して手動で定義されてもよい。その他の一つの特徴量に対する値は、学習データ６０の複数のセットの第二の、異なるサブセットにおいてのみ利用可能であってもよい。すなわち、複数の学習データセットの所定のサブセットは、正の特性に関わる学習データセットを有する。
選択された特徴量は、学習データの少なくともいくつかのセットから認識できる任意の適切な特性を有しても構わない。任意の適切な特性は、例えば、対する値が学習データの少なくともいくつかのセットに含まれる特性、又は対する値が学習データの少なくともいくつかのセットから導出され得る特性である。
選択された特徴量は、上述の三つのカテゴリのうちの一つ、又は複数へ分類され得る。すなわち、学習データの部分として利用可能な第一カテゴリ、補助的なグラウンドトゥルースとして手動で提供される第二カテゴリ、及び予め存在するアルゴリズムにより計算される第三カテゴリである。
これらの特徴量は、学習コーホートの部分のみに対して利用可能であり得るが、製品展開では使用されない。
学習回路４４、及び／又は特定分野の専門家２は、学習データの少なくともいくつかのセットにおける特徴量６４のそれぞれに対する値を取得する。選択された特徴量６４に対する値は、任意の適切な方法で取得し得る。例えば、選択された特徴量６４に対する値は、学習データから計算されても構わない。また、選択された特徴量６４に対する値は、学習データから抽出されても構わない。更に、選択された特徴量６４に対する値は、特定分野の専門家２により、又は更なる専門家により、手動で定義されても構わない。例えば、選択された特徴量６４のうちの一つがセグメンテーションである場合、特定分野の専門家２は、例えば、学習データのセットを使用して生成された画像に注釈をつけることにより、学習データの複数のセットのうちの一つを手動でセグメントしてもよい。
ステージ６５で、選択された特徴量６４に対する値は、教示において使用される予定の、ニューラルネットワーク６２へ提供される。選択された特徴量６４を使用して実行される教示は、「正の教示」と称しても構わない。正の教示は、図６を参考に下記で更に説明される。概要において、正の教示は、選択された特徴量６４が、ニューラルネットワークが学習させられている分類と関連することを、ニューラルネットワークに示すことを有する。
図５のステージ６６で、特定分野の専門家２は、関心の病変とは関係が無いと自身が考える学習データ６０における複数のノーマライザー６７を選択する。係るノーマライザーは、「負の特性」と称しても構わない。ノーマライザー６７は、対する値が複数の学習データセットのうちの少なくともいくつかにおいて利用可能な、特性のセットから選択される。
特定分野の専門家２によるノーマライザーの選択は、自身の経験・知識に基づく。例えば、特定分野の専門家２は、不純なデータ収集の結果となると知られるために関心の病変に関係が無い特性を、ノーマライザーとして選択してもよい。
ステージ６６で特定分野の専門家２により選択されたノーマライザー６７の例は、スキャナ製造者、又は収集命令を含み得る。また、ノーマライザー６７の例は、画像モダリティ、又は列挙プロトコル変化を含み得る。また、ノーマライザー６７の例は、画像スケール、輝度、又は収集方向（例えば、プラナーＸ線において、収集が前後方向か、後前方向か）を含み得る。また、ノーマライザー６７の例は、撮像アーチファクトの存在を含み得る。ノーマライザー６７は、画像データの少なくとも一部を形成するものであってもよいし、画像データの一部を形成しないもの、例えば、臨床データであってもよい。
選択されたノーマライザー６７は、対するデータが学習データ６０のいくつかのセットでは利用可能であるが、学習データ６０の全てのセットでは利用可能でない特性であってもよい。例えば、第一のノーマライザー６７に対する値は、学習データ６０の複数のセットの第三のサブセットにおいてのみ利用可能であってもよい。第二のノーマライザー６７に対する値は、学習データ６０の複数のセットの第四のサブセットにおいてのみ利用可能であってもよい。すなわち、複数の学習データセットの所定のサブセットは、負の特性に関わる学習データセットを有する。
選択されたノーマライザー６７は、学習データの少なくともいくつかのセットから認識できる、任意の適切な特性を有してもよい。任意の適切な特性は、例えば、対する値が学習データの少なくともいくつかのセットに含まれる特性、又は対する値が学習データの少なくともいくつかのセットから導出され得る特性である。選択されたノーマライザー６７は、上述の三つのカテゴリのうちの一つ、又は複数へと分類され得る。すなわち、学習データの部分として利用可能な第一カテゴリ、補助的なグラウンドトゥルースとして提供される第二カテゴリ、予め存在するアルゴリズムにより計算される第三カテゴリである。
ノーマライザー６７に対する値は、学習コーホートの部分のみに対して利用可能な場合がある。係るノーマライザー６７に対する値は、製品展開では使用されない。
学習回路４４、及び／又は特定分野の専門家２は、学習データの少なくともいくつかのセットにおけるノーマライザー６７のそれぞれに対する値を取得する。選択されたノーマライザー６７に対する値は、任意の適切な方法で取得し得る。例えば、選択されたノーマライザー６７に対する値は、学習データから計算されても構わない。また、選択されたノーマライザー６７に対する値は、学習データから抽出されても構わない。更に、選択されたノーマライザー６７に対する値は、特定分野の専門家２により、又は更なる専門家により、手動で定義されても構わない。
ステージ６８で、学習回路４４は、ノーマライザー６７に対して計算された値を、教示において使用される予定の、ニューラルネットワーク６２へ提供する。ノーマライザー６７を使用して実行される教示は、「負の教示」と称しても構わない。負の教示は、図６を参考に下記で更に説明することができる。概要において、負の教示は、選択されたノーマライザー６７が、ニューラルネットワークが学習させられている分類と無関係であることを、ニューラルネットワークに示すことを有する。その他の実施形態において、ノーマライザーは、その他のパラメータと比べて関連が低いと考えられるパラメータ、例えば最低限の関連だと考えられるパラメータを有してもよい。
学習回路４４は、学習データ６０の少なくともいくつかのセットに対するプライマリグラウンドトゥルースラベル６９も、ニューラルネットワーク６２に提供する。
プライマリＧＴラベル６９、及びプライマリ学習データ６０を使用して、学習回路４４は、プライマリ入力データからラベルを予測するために分類処理を実行するよう学習される。本実施形態において、プライマリ入力データは、画像データを有する。正の教示は、選択された特徴量６４に対して敏感なニューラルネットワーク６２を学習するために使用される。正の教示では、例えば、選択された特徴量に正の重みが割り当てられる。負の教示は、選択されたノーマライザー６７に対して敏感でないニューラルネットワーク６２を学習するために使用される。負の教示では、例えば、選択されたノーマライザーの値を考慮しないように学習される。
図５の方法において、正規化、及び特徴量測定は、深層教示の付加を経てニューラルネットワークアプローチに組み込まれる。正規化は、負の教示とみなされ、敵対的学習を通じて実行される。特徴量測定は、深層教師ありネットワークと類似すると扱い得るニューラルネットワークの中間レベルでの補助的な正の教示とみなされる。しかし、計算される中間特徴量を使用する場合、特徴量測定は、手動ＧＴとして提供されるか、又は撮像メタデータから抽出される。
図６は、図５の方法に従って学習させられた学習済みニューラルネットワーク７２の展開の概要を描く。図６の実施形態において、学習済みニューラルネットワーク７２は、データストア４０に、又は代わりのデータストアに格納される。使用する際、メモリからインストールされ、予測回路４６へと読み出される。その他の実施形態において、学習済みモデルは、例えば少なくとも一つのＡＳＩＣ、又はＦＰＧＡ等を使用する予測回路にプリセットされてもよい。
予測回路４６は、プライマリ入力データ７０を、学習済みニューラルネットワーク７２へと提供する。プライマリ入力データ７０に含まれるデータのタイプは、ニューラルネットワーク７２の学習時に定義されたものである。本実施形態において、プライマリ入力データ７０は、画像データのセットを有する。その他の実施形態において、プライマリ入力データ７０は、任意の適切なデータのタイプを有してもよい。
予測回路４６は、正規化、又は特徴量測定を実行するために、プライマリ入力データ７０を前処理しない。
ニューラルネットワーク７２（「深層エキスパートデリバリエンジン」とも称され得る）は、プライマリ出力７４を出力する。プライマリ出力７４は、「予測出力」と称しても構わない。本実施形態において、ニューラルネットワーク７２は、図５の方法を使用してクラスラベルを予測するように学習されており、クラスラベルを出力する。その他の実施形態において、係るプライマリ出力は、例えば任意の適切な回帰、検出、スコア、セグメンテーション等、任意の適切な予測された出力、又は複数の出力を有しても構わない。
プライマリ出力に加えて、ニューラルネットワーク７２は、一つ、又は複数の更なる出力７６も出力してもよい。係る更なる出力７６は、複数の特徴量の出力を有してもよい。これらの複数の特徴量は、学習の間に提供されたものである。いくつかの状況では、特定分野の専門家が関係ありと考えた特徴量に対する値を提供することは、どのようにしてニューラルネットワークが特定の結果へと到達したのかを臨床医に対して説明する際の助けとなり得る。
図５、及び図６の実施形態において、深層エキスパートのコンセプトは、入力としてプライマリデータのみを必要とする、合理化された（streamlined）純粋なニューラルネットワークを作り出す。
正規化、及び特徴量抽出は、負、及び正の深層教示とそれぞれみなされ、少量の学習データセットの影響を軽減し得る制約を付け足す正則項（regularizers）としての役割を果たす。データのどの特性がスプリアス変化（spurious variation）を表し、負の教示（正規化）として取り扱うべきか、そして、どの描写変化が手動の分類タスクに対して重要であり、正の教示（特徴量）として取り扱うべきか、を決定するのは、特定分野の専門家のタスクである。深層教示、及び敵対的学習のアイディアは、これらのコンセプトをどのように深層ニューラルネットワークフレームにおいて実行させるかを示すために適応される。この方法論は、正規化、又は特徴量抽出のための前処理を伴わずに、分類子を純粋なニューラルネットワークとして生み出す。
図５は学習段階のシンプルな図解を提供し、図６は製品における展開のシンプルな図解を提供する。図５は、学習時の深層エキスパートコンセプトの外部ブラックボックスビューを提供すると考え得る。
図５、及び図６の学習、及びデリバリエンジンを実行可能な、ジェネリックニューラルネットワークが図７に示される。図７は、深層教示を通じて正規化、及び特徴量測定を描くニューラルネットワークを示す。キー１０８は、図７で使用されるシンボルを示す。
画像データ８０は、ニューラルネットワークへ提供される。図７に示されるように、ネットワークの上部で、特定分野の専門家２は、正の教示のために使用される予定の複数の特徴量を選択する。図７に示される実施形態において、選択された特徴量は、ボクセル特徴量８２、画像特徴量８４、及び画像特徴量８６である。特徴量測定は、ネットワークの上半分でモデル化されると扱い得る。有用な性質は、計算されていようと手動で提供されてようと、これらの性質（特徴量）が明白であるとの表現の出現を促すために使用される。
図７に示されるようにネットワークの下半分で、特定分野の専門家２は、負の教示のために使用される予定の複数のノーマライザーを選択する。図７に示される実施形態において、選択されたノーマライザーは、ボクセルノーマライザー８８、画像ノーマライザー９０、及び画像ノーマライザー９２である。
特徴量８２、８４、８６とノーマライザー８８、９０、９２とは、個別の損失関数９４へ提供される。
ネットワークの上部（特徴量）と下半分（ノーマライザー）との違いは、勾配逆転ステージ９６がノーマライザーに適用されることである。逆転勾配は、ノーマライザー８８、９０、９２により識別される正規化予定の特性が認識されない旨の表現を促す。
様々な畳み込み層９８、完全結合層１００、及び契約層１０２が図７に示される。その他の実施形態において、層の任意の適切な組み合わせを用いてもよい。図７は、複数のホットベクター１０４も表す。図７のネットワークは、予測されたラベル１１２を出力する。
学習の後に展開される図７のネットワークの部分は、ネットワーク１１０として図７に示される。使用の際には、特徴量８２、８４、８６、又はノーマライザー８８、９０、９２を計算せずに予測ラベル１１２を出力するネットワーク１１０へ、画像８０が提供される。テスト時間、即ち最終プロダクトでは、ネットワーク１１０のみ必要とされる。テスト時における学習ネットワーク１１０のみの使用は、合理化され、効果的にもたらされたソリューションになり得る。
図５、図６、及び図７の方法は、正規化ステップと特徴量測定ステップとを含むように最終的に学習された分類子無しで、正規化、及び特徴量測定の恩恵を組み込むと言い得る。図５、図６、及び図７の方法において、正規化、及び特徴量測定は、深層負の教示、及び深層正の教示の付加を通じて組み込まれる。正規化は、負の教示として見られ得る。特徴量測定は、正の教示として見られ得る。
深層教示特性は、負（正規化）であろうと正（特徴量測定）であろうと、学習時にのみ必要とされる。深層教示特性は、従来的な特徴量測定での場合のように等差級数的にデータから計算することができるし、又は手動グラウンドトゥルースとして提供することもできる。モダリティ、施設、及び画像スケールのようないくつかの特性は、撮像メタデータから自明に抽出されてもよい。多くの場合、特定分野の専門家のタスクは、どの特性が正の教示を表し、どの特性が負の教示を表すかを単に決めることであってもよい。
利用可能な学習データは、利用可能な情報に関して、非常に変化しやすい場合がある。例えば、学習データの異なるセットは、異なるデータタイプを含むことがある。学習データの異なるセットは、異なるモダリティを使用して収集することがある。医用データ解析用の学習アルゴリズムのコーホート、例えば、画像解析と臨床決定支援システムとに対するアルゴリズムが小さい場合、臨床領域の専門家からの関与が無いと、汎化に乏しいものに繋がることがある。いくつかの状況では、利用可能なデータは、異成分を含むことに同意していないサブセット（例えば、セーフヘイブンから）から集められる必要がある。異成分を含むことに同意していないサブセットは、利用可能なデータ、及びグラウンドトゥルースのパッチワークを形成すると考え得る。利用可能なデータ、及びグラウンドトゥルースは、直接的な深層学習にとって場合によっては不適切なことがある。図５から図７までの実施形態において、深層学習法と専門家（典型的に臨床の）のドメイン知識とを組み合わせることで、ソリューションが生成される。特定分野の専門家の知識は、プログラマー、及び機械学習の専門家からの最小限での支援を用いて、特定分野の専門家の持つ知恵を示すことが許されるような方法において、可能な限り効果的に使用することができる。
学習データの情報が、学習時とテスト時とで必要とされるデータ入力としてみなされる従来のアプローチ（従来的なパターン認識であろうと、深層学習であろうと）の場合に、欠落データの問題が、困難を引き起こすことがある。上記実施形態において、異種性のどんな問題も、学習時にのみ影響する場合がある。統計的勾配降下により学習された深層ニューラルネットワークのコンテキストにおいて、合理的なアプローチは、学習サンプルのサブセットから、専門とする学習バッチを構成することであってよい。学習サンプルのサブセットにおいて、ラベルＹはネットワークブランチを学習させるために利用可能である。
各ネットワークブランチの学習は、均衡を取ることができる。ネットワークにおける各分岐点（ブランチポイント）で、逆伝播勾配の寄与を重み付けるために、ファクタを使用することができる。
図５から図７の実施形態においては、一般的な正則化技法を追い求めるというよりも、専門家のドメイン知識がシステマチックに組み込まれる。機械学習の中心問題は、限られた数の学習サンプルのみが与えられて、仮定された関数Ｈの大きな空間（非常に大きいことが多い）から予言的な関数ｆ（）を一つ選び取るということだと考えられ得る。深層学習は、非常に大きな仮定空間を提供してもよく、そのため、学習データを正しく予測する、仮定された関数Ｈの空間の大きなサブセットが存在してもよい。より広い母集団でよく機能する、仮定された関数Ｈの空間のサブセットは、ずっと小さくてもよい。
図８は、大きな複数の仮定を有する、仮定空間Ｈ１２０の概略図である。小さな学習セットに対する容認可能な計算ミスリスクを与える仮定のサブセットは、ＨＳ１２２で示される。大きな学習セットに対する容認可能な計算ミスリスクを与える仮定のサブセットは、ＨＬ１２４で示される。全体の母集団で容認可能となるようなサブセットは、ＨＷ１２６で示される。
小さな学習セットＨＳが、所望のＨＷに比べてずっと大きいという状態により、学習されたソリューションはＨＷの外側となる可能性が高く、そのため実行に乏しくなる。小さな学習セットを用いると、仮定の選択が制約不十分となる場合がある。
図５、図６、及び図７を参照に上記で説明された本実施形態において、専門家のドメイン知識は、Ｈの上手くいく可能性の高い領域を含め、また失敗となる可能性が高い領域を除外するために使用される。
従来的なパターン認識方法論の専門用語に関して、成功する可能性が高い包含領域は、特徴量測定と関連するとしてもよい。成功しない可能性が高い除外領域は、正規化と関連するとしてもよい。
図９は、図８に示された仮定空間Ｈ１２０の更なる概略図である。図９は、小さな学習セットにより提供される仮定のサブセットＨＳ１２２と、また全体の母集団において容認可能となるようなサブセットＨＷ１２６とを示す。図９は、正規化、及び特徴量測定により提供された仮定空間に関する制約も表す。仮定空間のサブセット１３０は、専門家により提供される特徴量測定制約に基づいた、容認可能な計算ミスリスクを与える。仮定空間のサブセット１３２は、専門家により提供される正規化制約に基づいた、容認可能な計算ミスリスクを与える。サブセット１２２、１３０、１３２の交わり１３４は、学習データだけにより提供されるであろうサブセットＨＷに対して、より近いフィットであることが見て取れる。正規化、及び特徴量測定として表された専門家の知識の組み合わせは、学習セットからの経験的な情報と組み合わせられて、ＨＷの周りによりタイトに拘束された交わり１３４という結果になる。
上記に説明された実施形態において、学習データの異種の複数のセットは、ニューラルネットワークを学習するのに使用される。学習データの複数のセットは、異なるモダリティを使用して収集された画像データを有してもよい。学習データの異なる複数のセットは、異なるデータタイプを有する付加的なデータも有してよい。利用可能な学習データのセット数は、比較的少なくてもよい。
更なる実施形態において、データ増大、及び／又はデータ合成は、ニューラルネットワークを学習させるための、付加的で、つくりものの学習データの複数のセットを人工的に生成するために使用される。
データ増大は、データ収集処理の理解が与えられて、学習データが妥当な方法で複製され、かつ変更されることになる処理を有してもよい。代わりに、又は加えて、データは、パラメータ化されたモデルから合成的に生成されてもよい。例えば、画像並進、回転、等方性スケール、及び明るさ／コントラストが変更されて生成されてもよい。学習データの単一のセットは、さらに複数の学習データのセットを取得するために、様々な方法で変更することができる。
データ増大（又は合成）は、学習データが供給不足の場合に、汎化を改善し得る。
データ増大は、分類タスクに関係があると考えられる特性に影響を与えることなく、データ収集処理の理解が与えられて、利用可能な学習データが妥当な方法で複製され、かつ、変更されることになる処理である。データ増大は、よく知られ、かつ、学習データの欠乏に対する補償によく利用される方法である。データ増大は、変化が表れているモードを理解するために、ドメイン知識を使用する。
合成学習データの使用も広く知られている。データ合成は、現実の画像収集物から現実のデータセットを使用する、又は変更する代わりに、人工的なデータセットの構築を有することができる。データ合成は、関心のクラスを表す妥当な例（例えば画像）を生成可能な手作りのモデルをいくつか必要としてもよい。
敵対的ドメインの適応は、現実のデータと合成データとが混合されたデータがネットワークを学習させるのに使用されたときに適用してもよい。敵対的ドメインの適応は、現実のデータ又は合成データに対して盲目的な特徴量を見つけ出すようネットワークを促す。
現実と合成とは、異なるドメインとして取り扱っても構わない。ネットワークのブランチは、現実と合成との違いを敵対的に見分けようとしてもよく、結果的に現実の場合と合成の場合との違いに対して実質的に不変な、中間的な表現となっている。
データ増大と合成とは、一緒に扱っても構わない。データ増大、及び合成の両方は、妥当な例の生成のために変更されるパラメータ化を伴う計算的なモデルを暗示し得る。
特に、増大は、従来的なパターン認識における正規化と似たような役割を果たす、正則化の形式として見なすことができる。パラメータ空間は、かなり広く、多くの次元を有する。ボリューム撮像の場合に、例えば並進（三次元）、回転（三次元）、等方性スケール（一次元）、明るさ／コントラスト（二次元）、バイアスフィールド（数次元）等を含む、パラメータを変更したいと考えてもよい。いくつかの場合では、画像は、例えば水平軸、又は垂直軸を反転させることで、フリップされてもよい。サンプルされる予定の１０個程度のパラメータが存在し得る。軸毎に三つの例のみを用いてこの空間をカバーしようとしても、３１０≒５９，０００の増大を要する。このような数字は、学習を圧倒するようになる。
増大、又は合成データ生成についての従来的なアプローチでは、何が重要で何が重要でないか、すなわち、何の変化がスプリアスで何が顕著であるか、を明らかにするため、例を生成し、ＭＬアルゴリズム（例えば、ニューラルネットワーク）をそのままにしている。図１０を参照に下記で説明される方法において、増大された（又は合成された）パラメータのパラメータ化は既に知っているので、ネットワークを直接見分けることができると考えられる。増大の場合、増大のサンプリングパラメータは、深層負の教示変数としてニューラルネットワークへ渡され、これにより、これらのファクタの変更に関わらず不変の表現を探すようにネットワークを明白に促す。
合成データ生成の場合、パラメータのうちのいくつかは、（増大と同様に深層負の教示として扱われる予定の）スプリアス変化を表し得る。一方で、その他のパラメータは、処理中の識別タスクに直接的に関連付いており、深層正の教示として提供されるべきである。直ちに利用可能な、この付加的な情報が提供されたとき、ネットワークは、増大されたデータ、又は合成データがネットワークに教示しようとしていることを、より確実に、かつずっと少ない例を用いて、学習することができるようになるはずである。
図１０は、実施形態に従ってニューラルネットワークを学習する方法の概略を描いているフローチャートである。増大回路４８は、学習データ１４０の複数のセットを受け取る。上述の実施形態と同様に、学習データは、異成分を含む。学習データのセット数は、比較的少ないものと扱って構わない。データのうちのいくつかのタイプ（例えば、セグメンテーション、又はラベル）は、学習データの全てではないが、いくつかに対してのみ利用可能であってもよい。
増大回路４８は、増大パラメータ１４２のセットも受け取る。係る増大パラメータ１４２は、学習データの更なるセットを取得するために、変更される予定の、増大パラメータである。
増大パラメータ１４２は、負の教示に係るスプリアス変化を表し得るパラメータである。増大パラメータ１４２は、ニューラルネットワークの所望の出力にとって重要でないパラメータとなるように選択される。例えば、学習データセットにおける画像の分類は、画像の回転の程度と同程度に無関係であるべきと期待される。
実施形態において、増大パラメータ１４２は、例えば、並進、回転、等方性スケール、明るさ、及びコントラストを有する。また、増大パラメータ１４２は、例えば、臨床データにおけるタイムスタンプの値を有する。
ステージ１４４で、増大回路４８は、学習データの複数のセットのそれぞれを変更し、学習データのさらに複数の合成セットを取得する。学習データの各セットに対して増大回路４８は、増大パラメータのうちの少なくとも一つの値を変更することで、学習データの少なくとも一つの更なる合成セットを作成する。いくつかの実施形態において、学習データの各セットに対して増大回路４８は、増大パラメータ１４２のうちの複数の値を変更することにより、及び／又は、異なる量で増大パラメータ１４２のうちの一つの値を変更することにより、学習データの更なる複数の合成セットを生成する。いくつかの実施形態では、学習データの複数の合成セットの作成を利用して、学習データのセット数を、学習データのオリジナルのセット数の２倍から、学習データのオリジナルセット数の１０倍まで増やすようにしてもよい。パラメータの変更は、ランダム、セミランダム、又は疑似ランダムなやり方で、実行されてもよい。各パラメータに対して定義された制限内でのパラメータ空間のランダムサンプリングは、パラメータ空間の正常なサンプリング、例えばグリッドベースのサンプリングに比べて、より優れた結果を提供し得る。
増大回路４８は、学習データの複数のセットと、学習データの更なる複数の合成セットとを、ニューラルネットワーク１４６を学習する学習回路４４へ渡す。ニューラルネットワーク１４６は、「深層エキスパート学習エンジン」とも称し得る。
増大回路４８は、増大パラメータ１４２を負の教示として、ニューラルネットワーク１４６へ渡す。増大パラメータ１４２を負の教示としてニューラルネットワーク１４６へ明白に渡すことが、増大パラメータ１４２が原因の変化がスプリアス変化であることをニューラルネットワーク１４６に教える助けとなってもよい。増大は、どうやってスプリアス変化をより上手く正規化して消し去るかをニューラルネットワーク１４６に教えるために使用されてもよい。ニューラルネットワーク１４６は、増大パラメータ１４２についての値における変化が無関係であることを明白に見分けられることは、ニューラルネットワーク１４６が増大パラメータ１４２の値に対して不変の特徴量を見つけることを促す。
ニューラルネットワーク１４６の正の教示は、図５、及び図７の方法を参照し、上記で説明されたように実行され得る。
より効果的なデータ増大は、学習エンジンに変更されたパラメータを通知することにより、達成されてもよい。
図１１は、実施形態の方法の概要を表すフローチャートである。実施形態は、ドメイン知識を表すために、インタラクティブなシステムを提供する。混合したデータのコーホートへアクセスする特定分野の専門家２は、自身のドメイン知識の表現と、ＧＰＵが備えられたマシンで効果的に展開するアルゴリズムの作成とが認められる。
ステージ１５０で、特定分野の専門家２は、学習パラメータのセットを定義する。学習パラメータは、プライマリ入力、プライマリ出力、負の教示アイテム、正の教示アイテム、及びデータ増大法を有する。
正の教示特性、及び負の教示特性の選択を通じ、特定分野の専門家２は、彼／彼女の知識、及び理解を伝える。学習パラメータの特定分野の専門家２による選択は、正規化、及び特徴量抽出アルゴリズムの明白なコーディングに比べて、より効果的となり得る。
専門家２により使用されるコンピュータシステムは、利用可能な複数のデータセットのコーホートをブラウズする。例えば、専門家２は、どのタイプのデータが、学習における使用のために利用可能である各データセットに対して利用可能であるかを見られても構わない。
コンピュータシステムは、さらに、利用可能な複数のデータセットのコーホートにおいて利用可能なデータアイテムのサマリを観察する。各データアイテムに対して、サマリはカウントを与える。例えば、サマリは、いくつのコーホートがセグメンテーションデータ、又はラベリングデータを含むのかをカウントしてもよい。サマリは、各データアイテムについてのシンプルな分布も提供してもよい。サマリは、統計値、例えば平均、標準偏差、中央値、及び／又は四分位数を提供してもよい。サマリは、内包的な分布を提供してもよい。内包的な分布は、それた分類のデータアイテム、例えば病気の状況、の値を条件とする分布を有してもよい。サマリは、臨床的な情報、及び例えばＤＩＣＯＭヘッダから選択されたメタ情報を含んでもよい。
次にパラメータの各学習について検討する。
専門家２は、アルゴリズムに対するプライマリ入力、又は複数のプライマリ入力となる予定の、データアイテム、又は複数のデータアイテムを選択する。プライマリ入力、又は複数のプライマリ入力は、学習のために使用される予定の、複数のデータセットのコーホートにおける全てのデータセットに対して利用可能なデータアイテムとなるように選ばれる。コンピュータシステムは、データがコーホートにおける全てのデータセットに対して利用可能であるデータアイテムをハイライトすることで、専門家２をアシストしてもよい。
専門家２は、作成されたソリューションのプライマリ出力となる予定のデータアイテム、又は複数のデータアイテムを選択する。このデータアイテム、又は複数のデータアイテムは、「プライマリグラウンドトゥルース」と表されてもよい。本実施形態において、プライマリ出力は、全てのコーホートに対して利用可能である必要はない。
専門家２は、専門家がスプリアス変化を表すと判断する、データアイテム（例えば、フィールド、又は特性）を選択することで、負の教示アイテムを選択する。スプリアス変化は、処理中の分類タスクを混乱させる変化であってもよい。本実施形態において、負の教示アイテムは、画像収集のパラメータと、寄与する組織とを含む。負の教示アイテムは、データの正規化を促す負の教示としてシステムにより使用される。負の教示データアイテムは、全てのコーホートに対して利用可能である必要はない。
専門家２は、プライマリ分類の目的に有益と判断されるデータアイテムを選択することにより、正の教示アイテムを選択する。正の教示アイテムは、データアイテムに対する値が既知の場合、データアイテムに対する値が分類タスクを手伝うデータアイテムを含む。正の教示アイテムは、文献から公知の方法で取得された、体系化された結果を含んでも構わない。例えば、正の教示アイテムは、リスクスコアを含んでもよい。正の教示データアイテムは、全てのコーホートに対して利用可能である必要はない。
専門家２は、データ増大法を選択する。例えば、専門家２は、オプションのメニューからデータ増大法を選択してもよい。専門家２は、データ増大で使用されるようになる増大パラメータを選択してもよい。専門家２は、合成の方法を選択してもよい。
学習パラメータは、ニューラルネットワークモデル１５２へ提供される。複数の学習データセットも、ニューラルネットワークモデル１５２へ提供される。複数の学習データセットは、情報が専門家２へ提供された複数のデータセットのコーホートから取得される。
ステージ１５４で、ニューラルネットワークモデルは、深層エキスパート学習を実行する。深層エキスパート学習は、何時間もかかることがある。深層エキスパート学習ステージ１５４の出力は、学習されたニューラルネットワークである。
ステージ１５６で、学習されたニューラルネットワークが検証される。例えば、学習されたニューラルネットワークは、コーホートに含まれる、ニューラルネットワークの学習で使用されなかったさらなる複数のデータセットによりテストされてもよい。テストが完了すると、交差検証に基づいたパフォーマンス結果が出力される。
専門家２は、検証結果を評価する。判定ポイント１５８で、専門家２は、学習済みニューラルネットワークにより出力された結果が満足行くものかを判断する。答えが「いいえ」ならば、図１１のフローチャートはステージ１５０へと戻る。専門家２は、ニューラルネットワークを学習するための、異なる学習パラメータを選択してもよい。例えば、専門家２は、異なる正の教示アイテム、及び／又は異なる負の教示アイテムを選択してもよい。
ステージ１５８での答えが「はい」ならば、図１１のフローチャートはステージ１６０へと進む。ステージ１６０で、展開可能なモデルがエクスポートされる。学習済みニューラルネットワークモデルの表示が出力される。学習済みニューラルネットワークモデルの表示は、現在のシステムについて、又はその他の互換性のあるシステムについて、インストールされて利用可能になっている。学習済みニューラルネットワークの表示は、定義されたプライマリ入力から、定義されたプライマリ出力を迅速に予測するために使用されてもよい。
次に、上述のように例示した学習法と学習済みニューラルネットワークとの実施例について検討する。本実施例では、学習法、及び学習済みニューラルネットワークは、脳卒中が疑われる事例に対して使用される。学習法、及び学習済みニューラルネットワークは、虚血の検出、及び／又はＡＳＰＥＣＴスコア（Alberta Stroke Program Early CT Score）の決定に使用され得る。急性脳卒中のような、迅速な対応が求められる現場では、素早い実行が期待される製品が求められている。
ＮＣＣＴ（Non-contrast Computed Tomography：非コントラストコンピュータ断層撮影）とＣＴＡ（Computed Tomography Angiography：コンピュータ断層撮影血管造影）との両方において効果的な方法の提供が望まれている。係る方法は、厚いスライス撮像と薄いスライス撮像との両方において使用される予定である。係る方法は、製造者、及び再構成法（例えば、ＡＩＤＲ３Ｄ、ＦＩＲＳＴ）が異なる場合であっても正常に動作することが望まれている。
そのような方法の対策は、貧弱な教師あり問題であると考え得る。
我々は、臨床ＡＳＰＥＣＴスコアが利用可能である、利用可能な少数のデータセット（１００程度）を有している。更なるデータセット（２００程度）も利用可能であるが、これらについてはＡＳＰＥＣＴスコアは利用可能でない。当該更なるデータセットは、通常のデータセットと異常なデータセットとの混合である。
様々な臨床データ（例えば、発病経過時間、及び影響を受けた脳左右差）は、いくつかのデータセットにおいて利用可能である。しかし、臨床データの利用の可能性は混在している。例えば、発病経過時間は、データセットのうちの一つのサブセットにおいて利用可能な場合がある。影響を受けた脳左右差は、データセットのうちの更なる、異なるサブセットに対して利用可能な場合がある。
手動虚血セグメンテーションＧＴは、大半のデータセットにおいて利用可能であるが、全てのデータセットにではない。いくつかのデータセットにおいて、我々は、血栓のための付加的なセグメンテーションＧＴを有している。高密度の血管兆候は、虚血とよく関連付けられる。臨床的に評価されたＡＳＰＥＣＴＳスコア（１から１０までのスコア）は、いくつかのデータセットにおいて利用可能である。臨床的な兆候の側性（左又は右）は、いくつかのデータセットにおいて利用可能である。
神経放射線科医の限られたサービスを通じ、影響を受けた血管領域のグラウンドトゥルースは、いくつかのデータセットのために、記録されている。神経放射線科医は、依頼されれば、データセットのサブセットに、その他の情報を記録することが可能な場合もある。
データセットは、本質的に異なるソースに由来してもよく、かつ／又は、異なるマーカーを有してもよいため、利用可能な情報の異種性という結果になる。
脳卒中患者の中には、頭部を通常の姿勢に維持することができない患者がいるため、データセットは、Ｓ－Ｉ（superior-inferior）軸について最大で２５度まで時々回転される。
専門家は、ニューラルネットワークの学習で使用される知識、又は情報を提供する。不変性もいくつか知られている。使用される撮像モダリティ（ＮＣＣＴ又はＣＴＡに関わらず）は、病変に関係無いことが知られている。スライス厚さも、病変に関係無い。スキャナ製造者、再構成法、画像収集スケール、及びデータセットが収集された施設も、病変には関係無い。一方、脳卒中撮像は発病経過時間に依存することを表すが、発病経過時間が脳卒中の重症度に関係無いことは明らかである。
上記不変性を述べる際に、データセットの総母集団を考える（開発セットにおける、１００＋２００の学習データセットの少数のサンプルだけでなく）。例えば少数のサンプルのランダム性が原因で、学習データセットがいくつかのバイアスを持つ場合がある。場合によって、バイアスは、例えば、一つの施設の撮像がその他の施設の撮像に比べてより標準的である等、より多くのシステマチックな理由に起因することがある。しかし、そのようなバイアスは間違いだと知られている。
ＡＳＰＥＣＴＳは、脳の左側と右側とのそれぞれにおいて、標準的な血管領域のそれぞれにおける、虚血の有無に大いに関係があることが知られている。
対側性（contra-lateral）比較が重要なことが知られている。特に、虚血領域は、対側性領域に比べて、わずかにより低い平均輝度（例えば、ハンスフィールドユニットにおける輝度）を典型的に有する。例えば、虚血が脳の左側にある場合に、脳の左側の画像は、その右側の対応する画像に比べて、わずかにより低い平均輝度を有することがある。
血管領域に関する理解が、ＡＳＰＥＣＴＳ決定にとって重要なことが知られている。
対側性比較（脳の左側と右側との比較）を実行するために、我々は、脳の正中線（面）について知識がもちろん必要である。
症状の側性が、虚血領域の側性に関連するのは公知のことである。
虚血は、血栓（血の塊）により典型的に発生し、高密度の血管兆候として撮像で目に見える場合があることも公知である。
１００のデータセットは、貧弱な教師あり問題、特にＡＳＰＥＣＴスコアリングのような難しいものに取り組む従来のディープラーニングに対しては、不十分だと考えられる。本実施例において、複数のデータセットのコーホートは、異なるサブモダリティ、スキャナ製造者、収集パラメータ等を有し、制御が不完全となり得る。このことは、１００のデータセットが学習に対して不十分であるという更なる指摘となり得る。
従来的なパターン認識、及び画像解析の方針に沿った方法を検討することも可能であろう。収集問題を正規化するための、例えば再スケーリング、及び再スライシングによる、ステップを取ることができるだろう。ＮＣＣＴ、及びＣＴＡに対する、個別のアルゴリズムの発展を検討することもできるだろうが、そのためには既に制限されている学習データを分けることになるだろう。脳の正中線を検出することが可能なアルゴリズムが利用可能であり、血管領域をセグメントすることが可能な更なるアルゴリズムも利用可能である場合があってもよい。その後、明白に対側性ＨＵ差を計算し、血管領域を少量の虚血領域ＧＴと関連付けることができ、それによりＡＳＰＥＣＴＳを取得することもできるだろう。しかし、そのような方法は、非常に複雑なことがあり、かつロバスト性に欠けることもある。
利用可能な情報及びＧＴについての大きな異種性は、更なる複雑なファクタであると考えられ、欠落する情報に対処可能な分類子の使用を要する。
そのような異種性は、同意していない患者データについてのアルゴリズムの学習を、注意深くキュレートされたリサーチコーホートからではなく、サーチヘイブンにおいて模索するように、生命の益々一般的な事実となり得る見込みがあることに留意されたい。
分類に対する従来的なアプローチは、作成されたソリューションに組み込まれる必要がある、アルゴリズムの複雑な組み合わせを有する場合があり、このことはランタイムに負の影響を及ぼす。
図５から図７までを参考に上記で説明された方法論は、開発フェーズから複雑さをすっかり除去する訳ではないが、もたらされた分類子から複雑さを除去すると考えることができ、そして利用可能な情報の異種性を確かに解消する。
複数の学習データセットを使用するニューラルネットワークの学習へと戻る。プライマリ入力は、ＮＣＣＴボリュームであり、プライマリ出力は、虚血領域セグメンテーションである。正の教示アイテムは、高密度血管、ＡＳＰＥＣＴＳスコア、及び脳左右差を含む。正の教示アイテムは、虚血領域セグメンテーションに関係があると知られている。反対に負の教示アイテムは、施設、スキャナモデル、スライス厚を含む。負の教示アイテムは、虚血領域セグメンテーションには無関係として知られている。
図１０を参照して上記で説明されたような負の教示を使用して、データを増大させることができる。例えば、データセットは、データセット回転角度を変えることにより、増大させることができる。データセット回転角度は、負の教示アイテムとしてニューラルネットワークへ提供されてもよい。
最終学習済みニューラルネットワークは、ＮＣＣＴボリュームのみを入力として必要とするようになる。
専門家の事前知識、又は付加的な教示情報は、制約された学習データの存在下で深層学習ソリューションの有効性を改善するために活用される。このような方法は、構造上の簡潔さ、及びＧＰＵ展開の有効性を実現しながら、結果として生じるソリューションが純粋なニューラルネットワークを維持するように実行される。
特定の実施形態は、異種の複数のデータセットから、特定分野の専門家、又はユーザがアルゴリズムを学習させることを許容する医用撮像システムを提供する。異種の複数のデータセットとは、すなわち、各利用可能なデータセットが異なる撮像モダリティ、及び／又は関連付けられた特性－「情報アイテム」を有する。
以上のように、方法は、学習セットを形成する複数のデータセットを選択すること、展開時にアルゴリズムにより入力として必要とされる第１情報アイテムを識別すること、データについて価値のある特性の発見を促す、付加的で選択的な第２情報アイテムを識別すること、データについて不要な特性の正規化を促す、付加的で選択的な第３情報アイテムを識別すること、第１及び第２情報アイテムが、従来的な正の教示で取り扱われ、第３情報アイテムが勾配逆転を使用して負の教示により取り扱われるニューラルネットワークを学習すること、前処理のない純粋なニューラルネットワークであるアルゴリズムの効果的で展開可能な実行状態を作成し、入力として第１情報アイテムのみを必要とし、展開時には第２及び第３情報アイテムを必要としないことを含む。
その上、データ増大は、学習増大パラメータの負の教示を使用して適用して構わない。
上記に説明された方法は、任意の適当な人、又は動物の生体構造へ適用されてもよい。また方法は、例えば任意の適当なモダリティ、シーケンス、収集タイプ、又は処理技法等、撮像手段の任意の適当なタイプを使用して取得された、医用画像データの処理へ適用されてもよい。医用は、獣医学を含んでもよい。
画像について実行されているとして上記に説明された処理は、実際には画像を表す画像データのセットに実行されてもよい。例えば、ピクセル位置、又はボクセル位置と、関係する輝度とのセットを有するデータについて、処理を実行してもよい。多くの場合、対応する画像が表示されることなく、画像データに関する処理が実行される。
その他の実施形態において、上記で説明されたような方法は、医用画像かもしれないし、そうではないかもしれない任意の画像に関して、実行されてもよい。更なる実施形態において、上記に説明されたような方法は、画像データを有する場合もあるし、有しない場合もある、任意の適切なデータを使用して実行されてもよい。任意の適切なプライマリ入力、プライマリ出力、特徴量、及びノーマライザーが選択されてもよい。モデルは、特徴量及びノーマライザーが無い場合であっても、プライマリ入力からプライマリ出力を予測するよう、特徴量、及びノーマライザーを使用して学習されてもよい。
上記の実施形態は、画像（又は画像ボリューム）であるプライマリ入力を有するが、上記に説明された方法は、例えば高次元の任意の入力等、入力の任意の適切なタイプに適用させてもよい。例えば、入力は、文書テキストを含む場合がある。入力は、任意の適切な患者記録データを有する場合もある。
いくつかの実施形態において、入力はゲノムデータを有する。ゲノムデータ入力は、ローヌクレオチドシーケンスとしてシステムへ呈示されてもよい。またゲノムデータ入力は、変異コール（variant calls）としてシステムへ呈示されてもよい。変異コールは、被検体のゲノムと参照ゲノムとの差のサマリを有してもよい。参照ゲノムは、「マップ」と称されてもよい。
いくつかの実施形態において、入力は、例えば実験データ、又は生命兆候データ等のタイムシリーズデータを有してもよい。
いくつかの実施形態において、ターゲットデータセットに選択された正の特性に対する値、及び選択された負の特性に対する値がない場合であっても、学習されたモデルが、学習データセットに含まれる画像データから少なくとも一つの予測出力を出力するように、モデルが学習させられてもよい。
本明細書では特定の回路が説明されたが、代替的な実施形態においては、これらの回路の一つ以上の機能性が単一の処理リソースまたはその他構成要素によって提供されることも可能であり、あるいは単一の回路によって提供される機能性が二つ以上の処理リソースまたはその他の構成要素の組み合わせで提供されることも可能である。単一回路への言及は、多数の構成要素が互いに離れているか否かにかかわらず、単一の回路の機能性を提供する多数の構成要素を包含し、複数回路への言及は、複数の回路の機能性を提供する単一の構成要素を包含する。
特定の実施形態が説明されたが、これらの実施形態は単に一例として提示されているだけであり、本発明の範囲を限定することを意図としていない。実際、本明細書に説明された新規の方法およびシステムは、他の様々な形態で実施されてもよい。さらに、本明細書に記載される方法およびシステムの形態において、様々な省略、置換、および変さらが本発明の趣旨から逸脱することなく行われてもよい。添付の特許請求の範囲およびその均等物は、本発明の範囲内に入るそのような形態および修正形態を含むように意図されている。
上記実施形態は、例えば、以下の付記のように記載され得る。
［１］ 学習法を実行し、入力データから少なくとも１つの予測出力を出力するようにモデルを学習させる処理装置を具備し、
前記学習法は、
複数の学習データセットを受け取り、
前記学習データセットの第１の特性の識別を、前記予測出力の予測に関係する正の特性としてユーザから受け取り、
前記学習データセットの第２の特性の識別を、前記予測出力の予測と関係が薄い又は無関係である負の特性としてユーザから受け取り、
前記モデルを学習させ、
前記モデルの前記学習は、
前記モデルが前記正の特性に対する値を使用して学習されるように、前記正の特性を使用して前記モデルを教示し、
前記モデルが前記負の特性に対する値を考慮しないで学習されるように、前記負の特性を使用して前記モデルを教示するシステム。
［２］ 前記モデルは、ニューラルネットワークを有する、［１］に記載のシステム。
［３］ 前記複数の学習データセットのそれぞれは、画像データを有し、
前記モデルの前記学習は、前記モデルが前記画像データを使用して学習されるように、前記画像データを使用して前記モデルを教示する、［１］又は［２］に記載のシステム。
［４］ 前記正の特性は、前記画像データの一部を形成せず、かつ／又は、前記負の特性は、前記画像データの一部を形成しない、［３］に記載のシステム。
［５］ 前記処理装置は、ターゲットデータセットを受け取り、前記学習されたモデルに前記ターゲットデータセットを入力することで、前記ターゲットデータセットに対する少なくとも１つの予測出力を出力する、［１］乃至［４］のいずれかに記載のシステム。
［６］ 前記複数の学習データセットの第１のサブセットは、前記正の特性に対する値を含む学習データセットを有し、前記学習データセットの第２のサブセットは、前記負の特性に対する値を含む学習データセットを有する、［１］乃至［５］のいずれかに記載のシステム。
［７］ 前記モデルの前記学習は、前記正の特性に対する値、及び前記負の特性に対する値がない場合、前記学習されたモデルが、ターゲットデータセットから、前記画像データから少なくとも一つの予測出力を出力するように前記モデルを学習させる、［３］に記載のシステム。
［８］ 前記負の特性を使用する前記モデルの前記教示は、勾配逆転を用いて実行される、［１］乃至［７］のいずれかに記載のシステム。
［９］ 前記正の特性は、臓器セグメンテーション、臓器ボリューム、測定された形状、測定されたテクスチャ、生理学的測定、及び関心の病変に関連するデータタイプのうちの少なくとも１つを含む、［１］乃至［８］のいずれかに記載のシステム。
［１０］ 前記正の特性は、前記学習データセットから抽出された特徴量、前記学習データセットから計算された特徴量、手動で定義された特徴量、前記学習データセットに含まれる画像データから抽出された特徴量、及び前記画像データから計算された特徴量のうちの少なくとも１つを含む、［１］乃至［１０］のいずれかに記載のシステム。
［１１］ 前記負の特性は、スキャナ製造者、収集命令、画像モダリティ、列挙プロトコル変化、画像スケール、輝度、収集方向、画像アーチファクトの存在、及び関心の病状とは無関係のデータタイプのうちの少なくとも１つを含む、［１］乃至［１０］のいずれかに記載のシステム。
［１２］ 前記負の特性は、前記学習データセットから抽出された特徴量、前記学習データセットから計算された特徴量、手動で定義された特徴量、前記学習データセットに含まれる画像データから抽出された特徴量、及び前記画像データから計算された特徴量のうちの少なくとも１つを含む、［１］乃至［１１］のいずれかに記載のシステム。
［１３］ 前記少なくとも１つの予測出力は、分類、回帰、検出、スコア、及びセグメンテーションのうちの少なくとも１つを含む、［１］乃至［１２］のいずれかに記載のシステム。
［１４］ 前記処理装置は、さらなるデータセットを人工的に生成し、
前記モデルの前記学習は、前記複数の学習データセット及び前記生成されたさらなるデータセットを使用する、［１］乃至［１３］のいずれかに記載のシステム。
［１５］ 前記処理装置は、前記複数の学習データセットのうちの少なくともいくつかを増大することで、前記さらなるデータセットを人工的に生成し、
各データセットの前記増大は、前記学習データセットの少なくとも１つの増大パラメータの調整を含み、
前記モデルの前記学習は、前記少なくとも１つの予測出力の予測において、前記モデルが、前記人工的に生成したデータセット対する値を考慮しないで学習されるように、前記少なくとも一つの増大パラメータを使用して前記モデルを教示する、［１４］に記載のシステム。
［１６］ 前記少なくとも１つの増大パラメータは、並進、回転、輝度、コントラスト、明るさ、スケール、バイアスフィールド、上下反転、左右反転、のうちの少なくとも１つを含む、［１５］に記載のシステム。
［１７］ 前記処理装置は、データ合成により前記さらなるデータセットを人工的に生成する、［１４］に記載のシステム。
［１８］ 前記入力データ、及び前記学習データセットは、ドキュメントデータ、テキストデータ、ゲノムデータ、タイムシリーズデータ、実験データ、及びバイタルサインデータのうちの少なくとも１つを有する、［１］乃至［１７］のいずれかに記載のシステム。
［１９］ 少なくとも１つの予測出力を入力データから出力するようにモデルを学習させる学習方法であって、
前記学習方法は、
複数の学習データセットを受け取り、
前記学習データセットの第１の特性の識別を、前記予測出力の予測に関係する正の特性としてユーザから受け取り、
前記学習データセットの第２の特性の識別を、前記予測出力の予測と関係が薄い又は無関係である負の特性としてユーザから受け取り、
前記モデルを学習させ、
前記モデルの前記学習は、
前記モデルが前記正の特性に対する値を使用して学習されるように、前記正の特性を使用してニューラルネットワークを教示し、
前記モデルが前記負の特性に対する値を考慮しないで学習されるように、前記負の特性を使用して前記ニューラルネットワークを教示する学習方法。
［２０］ ターゲットデータセットを受け取り、
入力データから少なくとも１つの予測出力を出力するよう学習されたニューラルネットワークを使用し、前記ターゲットデータセットを前記ニューラルネットワークに入力する、
処理回路を具備し、
前記ニューラルネットワークは、
複数の学習データセットを受け取り、
前記学習データセットの第１の特性の識別を、前記予測出力の予測に関係する正の特性としてユーザから受け取り、
前記学習データセットの第２の特性の識別を、前記予測出力の予測と関係が薄い又は無関係である負の特性としてユーザから受け取り、
前記正の特性に対する値を使用して学習されるように、前記正の特性を使用して教示され、
前記負の特性に対する値を考慮しないで学習されるように、前記負の特性を使用して教示されるシステム。
３０…画像データ処理装置
３２…計算装置
３４…スキャナ
３６…表示スクリーン
３８…入力デバイス
４０…データストア
４２…処理装置
４４…学習回路
４６…予測回路
４８…増大回路

Claims (23)

  1. 学習法を実行し、入力データから少なくとも１つの予測出力を出力するようにモデルを学習させる処理装置を具備し、
    前記学習法は、
    複数の学習データセットを受け取り、
    前記学習データセットの第１の特性を前記予測出力の予測に関係する正の特性として識別し、
    前記学習データセットの第２の特性を前記予測出力の予測と関係が薄い又は無関係である負の特性として識別し、
    前記モデルを学習させ、
    前記モデルの前記学習は、
    前記モデルが前記正の特性を使用して学習されるように、前記正の特性を使用して前記モデルを教示し、
    前記モデルが前記負の特性を考慮しないで学習されるように、前記負の特性を使用して前記モデルを教示するシステム。
  2. 前記モデルは、ニューラルネットワークを有する請求項１記載のシステム。
  3. 前記複数の学習データセットのそれぞれは、画像データを有し、
    前記モデルの前記学習は、前記モデルが前記画像データを使用して学習されるように、前記画像データを使用して前記モデルを教示する請求項１又は２に記載のシステム。
  4. 前記正の特性は、前記画像データの一部を形成せず、かつ／又は、前記負の特性は、前記画像データの一部を形成しない、請求項３記載のシステム。
  5. 前記処理装置は、ターゲットデータセットを受け取り、前記学習されたモデルに前記ターゲットデータセットを入力することで、前記ターゲットデータセットに対する少なくとも１つの予測出力を出力する請求項１乃至４のいずれかに記載のシステム。
  6. 前記複数の学習データセットの第１のサブセットは、前記正の特性に関わる学習データセットを有し、前記学習データセットの第２のサブセットは、前記負の特性に関わる学習データセットを有する請求項１乃至５のいずれかに記載のシステム。
  7. 前記モデルの前記学習は、前記正の特性に対する値、及び前記負の特性に対する値がない場合、前記学習されたモデルが、ターゲットデータセットから、前記画像データから少なくとも一つの予測出力を出力するように、前記モデルを学習させる請求項３記載のシステム。
  8. 前記負の特性を使用する前記モデルの前記教示は、勾配逆転を用いて実行される請求項１乃至７のいずれかに記載のシステム。
  9. 前記正の特性は、臓器セグメンテーション、臓器ボリューム、測定された形状、測定されたテクスチャ、生理学的測定、及び関心の病変に関連するデータタイプのうちの少なくとも１つを含む請求項１乃至８のいずれかに記載のシステム。
  10. 前記正の特性は、前記学習データセットから抽出された特徴量、前記学習データセットから計算された特徴量、手動で定義された特徴量、前記学習データセットに含まれる画像データから抽出された特徴量、及び前記画像データから計算された特徴量のうちの少なくとも１つを含む請求項１乃至９のいずれかに記載のシステム。
  11. 前記負の特性は、不純なデータ収集の結果となるために関心の病変に関係が無い特性である請求項１乃至１０のいずれかに記載のシステム。
  12. 前記負の特性は、スキャナ製造者、収集命令、画像モダリティ、列挙プロトコル変化、画像スケール、輝度、収集方向、画像アーチファクトの存在、及び関心の病状とは無関係のデータタイプのうちの少なくとも１つを含む請求項１乃至１１のいずれかに記載のシステム。
  13. 前記負の特性は、前記学習データセットから抽出された特徴量、前記学習データセットから計算された特徴量、手動で定義された特徴量、前記学習データセットに含まれる画像データから抽出された特徴量、及び前記画像データから計算された特徴量のうちの少なくとも１つを含む請求項１乃至１２のいずれかに記載のシステム。
  14. 前記少なくとも１つの予測出力は、分類、回帰、検出、スコア、及びセグメンテーションのうちの少なくとも１つを含む請求項１乃至１３のいずれかに記載のシステム。
  15. 前記処理装置は、さらなるデータセットを人工的に生成し、
    前記モデルの前記学習は、前記複数の学習データセット及び前記生成されたさらなるデータセットを使用する請求項１乃至１４のいずれかに記載のシステム。
  16. 前記処理装置は、前記複数の学習データセットのうちの少なくともいくつかを増大することで、前記さらなるデータセットを人工的に生成し、
    各データセットの前記増大は、前記学習データセットの少なくとも１つの増大パラメータの調整を含み、
    前記モデルの前記学習は、前記少なくとも１つの予測出力の予測において、前記モデルが、前記人工的に生成したデータセットを考慮しないで学習されるように、前記少なくとも一つの増大パラメータを使用して前記モデルを教示する請求項１５記載のシステム。
  17. 前記増大パラメータは、スプリアス変化を表し得るパラメータである請求項１６記載のシステム。
  18. 前記少なくとも１つの増大パラメータは、並進、回転、輝度、コントラスト、明るさ、スケール、バイアスフィールド、上下反転、左右反転、タイムスタンプのうちの少なくとも１つを含む請求項１６又は１７記載のシステム。
  19. 前記処理装置は、データ合成により前記さらなるデータセットを人工的に生成する請求項１５記載のシステム。
  20. 前記入力データ、及び前記学習データセットは、ドキュメントデータ、テキストデータ、ゲノムデータ、タイムシリーズデータ、実験データ、及びバイタルサインデータのうちの少なくとも１つを有する請求項１乃至１９のいずれかに記載のシステム。
  21. 少なくとも１つの予測出力を入力データから出力するようにモデルを学習させる学習方法であって、
    前記学習方法は、
    複数の学習データセットを受け取り、
    前記学習データセットの第１の特性を前記予測出力の予測に関係する正の特性として識別し、
    前記学習データセットの第２の特性を前記予測出力の予測と関係が薄い又は無関係である負の特性として識別し、
    前記モデルを学習させ、
    前記モデルの前記学習は、
    前記モデルが前記正の特性を使用して学習されるように、前記正の特性を使用してニューラルネットワークを教示し、
    前記モデルが前記負の特性を考慮しないで学習されるように、前記負の特性を使用して前記ニューラルネットワークを教示する学習方法。
  22. ターゲットデータセットを受け取り、
    入力データから少なくとも１つの予測出力を出力するよう学習されたニューラルネットワークを使用し、前記ターゲットデータセットを前記ニューラルネットワークに入力する、
    処理回路を具備し、
    前記ニューラルネットワークは、
    複数の学習データセットを受け取り、
    前記学習データセットの第１の特性を前記予測出力の予測に関係する正の特性として識別し、
    前記学習データセットの第２の特性を前記予測出力の予測と関係が薄い又は無関係である負の特性として識別し、
    前記正の特性を使用して学習されるように、前記正の特性を使用して教示され、
    前記負の特性を考慮しないで学習されるように、前記負の特性を使用して教示されるシステム。
  23. 学習法を実行し、入力データから少なくとも１つの予測出力を出力するようにモデルを学習させる信号処理装置において、
    前記学習法は、
    複数の学習データセットを受け取り、
    前記学習データセットの第１の特性を前記予測出力の予測に関係する正の特性として識別し、
    前記学習データセットの第２の特性を前記予測出力の予測と関係が薄い又は無関係である負の特性として識別し、
    前記モデルを学習させ、
    前記モデルの前記学習は、
    前記モデルが前記正の特性を使用して学習されるように、前記正の特性を使用して前記モデルを教示し、
    前記モデルが前記負の特性を考慮しないで学習されるように、前記負の特性を使用して前記モデルを教示する信号処理装置。
JP2019165417A 2019-03-28 2019-09-11 モデル学習用のシステム、装置、及び学習方法 Active JP7350582B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP20155084.5A EP3716157A1 (en) 2019-03-28 2020-02-03 Apparatus and method for training models

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/367,955 2019-03-28
US16/367,955 US11373298B2 (en) 2019-03-28 2019-03-28 Apparatus and method for training neural networks using small, heterogeneous cohorts of training data

Publications (2)

Publication Number Publication Date
JP2020166809A JP2020166809A (ja) 2020-10-08
JP7350582B2 true JP7350582B2 (ja) 2023-09-26

Family

ID=72606123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019165417A Active JP7350582B2 (ja) 2019-03-28 2019-09-11 モデル学習用のシステム、装置、及び学習方法

Country Status (2)

Country Link
US (1) US11373298B2 (ja)
JP (1) JP7350582B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10997495B2 (en) 2019-08-06 2021-05-04 Capital One Services, Llc Systems and methods for classifying data sets using corresponding neural networks
US11568174B2 (en) * 2020-02-18 2023-01-31 Ping An Technology (Shenzhen) Co., Ltd. Co-heterogeneous and adaptive 3D pathological abdominal organ segmentation using multi-source and multi-phase clinical image datasets
KR102165840B1 (ko) * 2020-05-21 2020-10-16 주식회사 휴런 인공지능 기반 뇌졸중 진단 장치 및 방법
JPWO2022168969A1 (ja) * 2021-02-05 2022-08-11
CN112905891B (zh) * 2021-03-05 2021-12-10 中国科学院计算机网络信息中心 基于图神经网络的科研知识图谱人才推荐方法及装置
EP4300427A1 (en) * 2022-07-01 2024-01-03 Peek Health, S.A. Standardizing images of anatomical structures for analysis by machine learning systems

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309535A (ja) 2004-04-16 2005-11-04 Hitachi High-Technologies Corp 画像自動分類方法
US20080177680A1 (en) 2007-01-19 2008-07-24 Microsoft Corporation Resilient classification of data
JP2012226607A (ja) 2011-04-20 2012-11-15 Canon Inc 特徴選択方法及び装置、パターン識別方法及び装置
US20160174902A1 (en) 2013-10-17 2016-06-23 Siemens Aktiengesellschaft Method and System for Anatomical Object Detection Using Marginal Space Deep Neural Networks
JP2016133895A (ja) 2015-01-16 2016-07-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016173682A (ja) 2015-03-16 2016-09-29 シャープ株式会社 異常判定装置および異常判定方法
JP2018013887A (ja) 2016-07-19 2018-01-25 日本電信電話株式会社 特徴選択装置、タグ関連領域抽出装置、方法、及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009527063A (ja) 2006-02-14 2009-07-23 インテリサイエンス コーポレーション 仮想環境において見本及びデータを使用及び統合するシステム及びその方法
JP4999163B2 (ja) 2006-04-17 2012-08-15 富士フイルム株式会社 画像処理方法および装置ならびにプログラム
JP5640773B2 (ja) * 2011-01-28 2014-12-17 富士通株式会社 情報照合装置、情報照合方法および情報照合プログラム
US9235781B2 (en) 2013-08-09 2016-01-12 Kabushiki Kaisha Toshiba Method of, and apparatus for, landmark location
US9922272B2 (en) * 2014-09-25 2018-03-20 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
US10410096B2 (en) 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
JP6271085B2 (ja) * 2015-10-30 2018-01-31 株式会社モルフォ 学習システム、学習装置、学習方法、学習プログラム、教師データ作成装置、教師データ作成方法、教師データ作成プログラム、端末装置及び閾値変更装置
GB2547712A (en) * 2016-02-29 2017-08-30 Fujitsu Ltd Method and apparatus for generating time series data sets for predictive analysis
GB2566369B (en) * 2016-03-17 2021-08-25 Avigilon Corp System and method for training object classifier by machine learning
US11132529B2 (en) 2016-11-16 2021-09-28 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
WO2018148493A1 (en) * 2017-02-09 2018-08-16 Painted Dog, Inc. Methods and apparatus for detecting, filtering, and identifying objects in streaming video
US10679753B2 (en) * 2017-02-20 2020-06-09 General Electric Company Methods and systems for hierarchical machine learning models for medical imaging
US20190005547A1 (en) * 2017-06-30 2019-01-03 Facebook, Inc. Advertiser prediction system
CN114820494B (zh) * 2017-08-30 2023-08-29 威里利生命科学有限责任公司 用于可视化流动的使用机器学习的散斑对比度分析
US10209974B1 (en) * 2017-12-04 2019-02-19 Banjo, Inc Automated model management methods
US11263185B2 (en) * 2018-03-19 2022-03-01 Perkinelmer Informatics, Inc. Methods and systems for automating clinical data mapping and transformation
US20190325861A1 (en) * 2018-04-18 2019-10-24 Maneesh Kumar Singh Systems and Methods for Automatic Speech Recognition Using Domain Adaptation Techniques

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309535A (ja) 2004-04-16 2005-11-04 Hitachi High-Technologies Corp 画像自動分類方法
US20080177680A1 (en) 2007-01-19 2008-07-24 Microsoft Corporation Resilient classification of data
JP2012226607A (ja) 2011-04-20 2012-11-15 Canon Inc 特徴選択方法及び装置、パターン識別方法及び装置
US20160174902A1 (en) 2013-10-17 2016-06-23 Siemens Aktiengesellschaft Method and System for Anatomical Object Detection Using Marginal Space Deep Neural Networks
JP2016133895A (ja) 2015-01-16 2016-07-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016173682A (ja) 2015-03-16 2016-09-29 シャープ株式会社 異常判定装置および異常判定方法
JP2018013887A (ja) 2016-07-19 2018-01-25 日本電信電話株式会社 特徴選択装置、タグ関連領域抽出装置、方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
武井 翔一，識別性能の予測評価に基づく選択的特徴量を用いた物体認識，ＳＳＩＩ２０１４ 第２０回画像センシングシンポジウム 講演論文集 ［ＣＤ－ＲＯＭ］，日本，画像センシング技術研究会，2014年06月11日，IS2-06，P. IS2-06-1 ～ IS2-06-6

Also Published As

Publication number Publication date
JP2020166809A (ja) 2020-10-08
US11373298B2 (en) 2022-06-28
US20200311911A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
JP7350582B2 (ja) モデル学習用のシステム、装置、及び学習方法
Greenspan et al. Guest editorial deep learning in medical imaging: Overview and future promise of an exciting new technique
US10496884B1 (en) Transformation of textbook information
EP3806745B1 (en) Second reader
US20200401854A1 (en) Method and system for image segmentation and identification
EP3716157A1 (en) Apparatus and method for training models
Zhao et al. Automatic spondylolisthesis grading from MRIs across modalities using faster adversarial recognition network
Aamir et al. Brain tumor classification utilizing deep features derived from high-quality regions in MRI images
Wang et al. Label cleaning multiple instance learning: Refining coarse annotations on single whole-slide images
Peña-Solórzano et al. Findings from machine learning in clinical medical imaging applications–Lessons for translation to the forensic setting
GB2579244A (en) Second reader
Iqbal et al. Hybrid Parallel Fuzzy CNN Paradigm: Unmasking Intricacies for Accurate Brain MRI Insights
Vallathan et al. An Analysis and Study of Brain Cancer with RNN Algorithm based AI Technique
CN116129184A (zh) 多期相病灶分类方法、装置、设备及可读存储介质
Iqbal et al. AMIAC: adaptive medical image analyzes and classification, a robust self-learning framework
Li et al. Context Label Learning: Improving Background Class Representations in Semantic Segmentation
Xi et al. Computer-aided detection of abnormality in mammography using deep object detectors
Riva Breast arterial calcifications: detection, visualization and quantification through a convolutional neural network
Ramkumar et al. Histopathological Image Analysis for Breast Cancer Identification Using Gradient Boosting Classifier
Akpan et al. XAI for medical image segmentation in medical decision support systems
Shakir Early detection of lung cancer
Ramos Analysis of medical images to support decision-making in the musculoskeletal field
Sweetline et al. A Comprehensive Survey on Deep Learning-Based Pulmonary Nodule Identification on CT Images
Riva Breast Arterial Calcifications: detection, visualization and quantification
Christina Sweetline et al. A Comprehensive Survey on Deep Learning-Based Pulmonary Nodule Identification on CT Images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220720

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230913

R150 Certificate of patent or registration of utility model

Ref document number: 7350582

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150