JP7246898B2 - データ解析処理装置及びデータ解析処理プログラム - Google Patents

データ解析処理装置及びデータ解析処理プログラム Download PDF

Info

Publication number
JP7246898B2
JP7246898B2 JP2018214594A JP2018214594A JP7246898B2 JP 7246898 B2 JP7246898 B2 JP 7246898B2 JP 2018214594 A JP2018214594 A JP 2018214594A JP 2018214594 A JP2018214594 A JP 2018214594A JP 7246898 B2 JP7246898 B2 JP 7246898B2
Authority
JP
Japan
Prior art keywords
subset
data
classifier
reference data
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018214594A
Other languages
English (en)
Other versions
JP2019091454A (ja
Inventor
リソフスカ アネタ
ディリス ヴィスマンタス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of JP2019091454A publication Critical patent/JP2019091454A/ja
Application granted granted Critical
Publication of JP7246898B2 publication Critical patent/JP7246898B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Description

本実施形態は、データ解析処理装置及びデータ解析処理プログラムに関する。
肺組織疾患の検出及び診断は、損傷した組織の早期での治療介入及び治療のための機会を臨床医に提供することが出来る。なお、組織疾患には、間質性肺結節疾患(interstitial lung nodule disease)を含むが、この限りではない。間質性肺結節疾患では、不均衡な修復応答により肺胞組織の肥厚や貧弱な酸素の拡散特性をもたらす。
一般的に、コンピュータ断層撮影は、疾患状態の決定における支援をするために用いられる。インタラクティブなセグメンテーションツールは、画像から関心のある領域を選択し、且つ係る選択した領域や画像とラベル付けられた健常サンプル及び疾患組織サンプルのデータベースと比較するための能力を、臨床医に提供する。簡潔に記述される一方で、これらのツールは、分類用に今後のクエリ画像と相互参照することが出来るような、静的埋め込みのネットワークを構築しながら、何千もの組織サンプル例のデータベースについて訓練される、マッチングアルゴリズムを必要とする。これらのツールは、特定の状況には効果的である一方、柔軟性に欠け、時間のかかることが多く、或いは一般的に適用可能とするには特定の疾患状態に対して専門的に特化し過ぎている。
近年、マッチングアルゴリズムは、数が非常に限られた訓練サンプルからの新たなコンセプトの学習を狙いとした機械学習パラダイムである、1ショット学習に基づいた発達を遂げてきている。例えば、1ショット分類に関するニューラルネットワーク構造は、次のタイトルの論文にて提案された画像マッチングに依存している。“Matching networks for one shot learning”、Vinyals et al.著、Advances in Neural Information Processing Systems出版、3630-3638、2016年。当該論文は、深層ニューラル特徴に基づいたメトリック学習からのアイデアを使う能力と、新たなクラスタイプに対し適応させる微調整の必要性を未然に防ぎつつ、小さなラベル付けられたサポートセット及びラベル付けされていない例をそのラベルへとマップするネットワークを学習するために外部メモリを用いてニューラルネットワークを増強させる進歩とについて説明している。
特開2015-170317号公報
しかしながら、従来の方法は、根本的なアルゴリズムの詳細な又は専門的知識を持たないユーザにより使用されるのに、十分に直感的、十分に柔軟、又は十分に実行可能でない場合がある。
本実施形態は、根本的なアルゴリズムの詳細な又は専門的知識を持たないユーザであっても、従来に比して直感的、柔軟的に操作可能なデータ解析処理装置及びデータ解析処理プログラムを提供することを目的とする。
実施形態に係るデータ解析処理装置は、参照データのセットから、各要素が第一の分類カテゴリに属する第一のサブセットを取得し、前記参照データのセットから、各要素が第二の分類カテゴリに属する第二のサブセットを取得し、前記第一のサブセット及び前記第二のサブセットを用いて分類器を訓練し、前記訓練された分類器を用いて前記参照データの前記第一のサブセット及び前記第二のサブセットを分類し、前記分類の評価に基づいて、前記参照データのセットから後続の第一のサブセット及び第二のサブセットを取得し、前記後続の第一のサブセット及び前記後続の第二のサブセットを用いて、前記分類器を更に訓練する、処理部を具備するものである。
本開示のデータ解析処理装置である。 データ分類法の包括的な実施形態の形式における、本開示のデータ解析についての方法のフローチャートである。 データ分類法の形式における、本開示のデータ解析についての方法の、包括的な、ユーザが誘導されるタイプの実施形態のフローチャートである。 データ分類法の形式における、本開示のデータ解析についての方法の、例示的な、ユーザが誘導されるタイプの実施形態のフローチャートである。 類似性探索法の形式における、本開示のデータ解析についての方法の実施形態の図解である。 パッチ選択における観察者間での変動性を決定するよう構成されたユーザインターフェースの図解である。 パターン類似性マッチングにおける観察者間での変動性を表形式で表している。 埋め込み関数が図2で用いる訓練パッチセットから全パターンクラスについて学習した、完全な教師ありマッチングネットワークを表す図解である。 図7の完全な教師ありマッチングネットワークによって決定された、真ラベルについての予想ラベルの精度を描いているマトリクスである。 完全な教師無し訓練設定によって決定された、真ラベルについての予想ラベルの精度を描いているマトリクスである。 真ラベルに関して、完全な教師あり訓練マッチングネットワーク及び完全な教師無し訓練設定(変分オートエンコーダ)の、ヒトによる観察(human observation)精度を表形式で表している。 初見(unseen)クラスの分類の予測における、部分的に教師ありマッチングネットワークの実行を表形式で表している。 訓練サンプルの圧縮されたベクトルによって表された、初見の二症例(健常・小結節)の状況で、埋め込み実行をグラフ形式で表している。 訓練サンプルの圧縮されたベクトルによって表された、初見の二症例(線維症・小結節)の状況で、埋め込み実行をグラフ形式で表している。 初見の二症例についてテストされた場合に、マッチングネットワークの実行に関するサポートセットサイズの効果を表形式で表している。
本実施形態は、限られた参照セットから特性を特定するために、処理の訓練を通して、データ解析に関する方法に一般的に向けられている。1ショット学習アルゴリズムに基づき、係る方法は、マッチングネットワークとも呼ばれるが、参照データのサブセットの選択且つ当該選択されたデータを用いた分類器の訓練に関するものである。この参照データの小さなサブセットは、方法の所望の出力に従って、データの分類を強化するために、逐次的に調整することが出来る。当該参照データの調整は、ユーザインターフェースを通してユーザによって実行され、且つ係るユーザインターフェースを通して係るユーザへと表された分類の視覚的な描写に基づくことがある。例示的な実施形態において、係る方法は医用画像へと更に適用される。
本実施形態に係るデータ解析処理装置10が、図1に概略的に描かれている。本実施形態において、データ解析処理装置10は、医用撮像データを解析するよう構成されている。その他の実施形態において、データ解析処理装置10は、任意の適当なデータを解析するよう構成されている。
データ解析処理装置10は、今回の場合パーソナルコンピュータ(PC:personal computer)又はワークステーションである、計算装置12を具備する。当該計算装置12は、ディスプレイ16とコンピュータキーボードやマウス等の一つ又は複数の入力装置18との形式で、ユーザインターフェース14に接続されている。代わりの実施形態において、係るユーザインターフェース14は、ディスプレイ16及び入力装置18としての役目をするタッチスクリーンとすることが出来る。幾つかの実施形態において、係る計算装置12は、例えばスマートフォン又はタブレットコンピュータ等のモバイル機器とすることが出来る。また幾つかの実施形態において、係る計算装置12は、例えば有線又は無線通信で互いにコミュニケーションをするよう構成されている場合のある、二つ以上の計算機器を具備する。
計算装置12は、データ格納部20からデータを受け取る。代わりの実施形態において、データ解析処理装置10は、データ格納部20の代わりに又はそれに加えて、一つ又は複数の更なるデータ格納部(図示せず)からデータを受け取る。例えば、データ解析処理装置10は、医用画像保管通信システム(Picture Archiving andCommunication System:PACS)の一部を形成する場合がある、一つ又は複数の遠隔データ格納部(図示せず)からデータを受け取ることもある。
計算装置12は、中央演算処理装置(CPU:central processing unit)22の形式で、自動的に又は半自動的にデータを処理するための処理リソース又は処理回路を提供する。
係るCPU22は、ディスプレイ16上に撮像データを表示するよう構成された表示部24と、ユーザがカテゴリを定義する又は選択することを許可するよう構成されたカテゴリ選択部26と、ユーザが表示された撮像データの関心の領域を選択することを許可するよう構成された領域選択部28と、学習アルゴリズム処理部30と、を含む。
本実施形態において、回路24、26、28、30は、CPUによって実行された場合に、データ解析処理装置10に実施形態に係る方法を実行するよう生じさせるコンピュータ読み取り可能命令を含むコンピュータプログラムの方法により、計算装置12内でそれぞれ実行される。しかし、その他の実施形態で、回路24、26、28、30は、一つ又は複数の特定用途向け集積回路(application specific integrated circuits:ASIC)又はフィールドプログラマブルゲートアレイ(field programmable gate arrays:FPGA)として実施することも出来る。
計算装置12は、ハードドライブや、RAM、ROM、データバスを含むPCのその他の構成要素や、様々な機器ドライバを含むオペレーティングシステムや、グラフィックスカードを含むハードウェア機器、も含む。この様な構成要素は、図を見やすくする為に図1には示されていない。
図1のデータ解析処理装置10は、図2のフローチャートにおける概観で一般的に図示されている通り、類似する画像をマッチさせるために、教師ありの方法での訓練されたマッチングネットワークを使用して実行されたデータ分類用の方法又はアルゴリズムの形式で、データ解析のための方法を実行するよう構成されている。図2に示されている通り、データの第一の、対象分類カテゴリは、例えばユーザインターフェース14、表示部24、カテゴリ選択部26を通してユーザによって選択された、100である。なお、分類カテゴリとは、例えば、一つの画像データ(部分的な画像であってもフルサイズの画像であってもよい)が小結節を表す画像であるのか、背景を表す画像であるのかといった分類を表す指標である。
次に、参照データの短いシリーズは、例えばユーザインターフェース14、表示部24、領域選択部28を通してユーザによる、未知のクエリデータ(例えば、クエリ画像)へと適用される予定の分類器105の訓練のために選択される。学習アルゴリズム処理部30は、前もって訓練された1ショット学習アルゴリズム105’を、係る参照データの短いシリーズと組み合わせて実行する。1ショット学習アルゴリズム105’は、任意の問題に関する少量のデータを活用することで、係る問題に対しアルゴリズム自体を適応させるよう特に設計された深層学習法を用いる。その様な適応の後、例えば任意の量のデータについて分類を実行するために、任意の所望量のデータへとアルゴリズムを適用することが出来る。具体的には、学習アルゴリズム処理部30は、105で参照データの短いシリーズを使用しながら分類器を訓練し、そして表示部24は、参照データの分類における訓練された分類器の有効性を明らかにするために、110で参照データの短いシリーズの分類結果を、ディスプレイ16上の二次元又は三次元空間へと投影(又はマッピング)する。当該投影において、グラフの象限における位置について参照データのより良い分離がより良い分類器に対応する。マッチングネットワークの実行をリアルタイムで評価することにより、変形(つまり、追加/削除等を行う編集処理)が参照データに対してリアルタイムで作ることが出来る。実際の分類結果は、例えばディスプレイ16を通してユーザにより、115で前もって定めた相互関係しきい値と比較される。分類結果が、前もって定めた相互関係しきい値に達することで参照データの効果的な分類を実証する場合に、学習アルゴリズム処理部30は、更なる訓練をすることなく、訓練された分類器を125で未知のクエリデータの大きなライブラリへと広く適用することが出来る。或いは、分類結果が参照データ110の分類が不十分であることを実証する場合に、更新された参照データは、新たな分類器のために、例えばユーザインターフェース14、表示部24、そして領域選択部28を通してユーザにより、120で選択される。結果として生じる分類が効果的又は精確であると115で判断された場合に、学習アルゴリズム処理部30は、更なる訓練をすることなく、新たな訓練された分類器を125で未知のクエリデータの大きなライブラリへと広く適用する。しかし、新たな訓練された分類器の実行がやはり不十分又は不適切であると115で決定された場合に、分類器の実行が十分又は適切になるまで、逐次的に訓練が進む。
上述のアルゴリズム開発からの結果及び教示は、図3から5にかけて展開されている。
図3は、データ分類法の形式における、データ解析法の包括的な、ユーザが誘導されるタイプの実施形態のフローチャートである。具体的には、図3は、図1のデータ解析処理装置10を使用する医用画像データの、ユーザインタラクティブな分類の方法に関する。まずユーザは、1000で関心のある、組織タイプ又は分類カテゴリを、ユーザインターフェース14、表示部24、そしてカテゴリ選択部26を通して選択する。ここで係る組織タイプは、健常組織、病気組織、そして背景を具備する。これらの組織タイプは、肺組織、心臓組織、血管組織、そして骨格筋組織、その上に様々なその他の柔組織及び硬組織を含むが、この限りではない。次に、ユーザは、例えばユーザインターフェース14、表示部24、そして領域選択部28を通して、未知のクエリ画像に適用される予定である分類器の訓練用の一連の訓練画像を、1005で選択する。訓練画像は、コンピュータ断層撮影、X線、磁気共鳴撮像、陽電子放射断層撮影、そして超音波を含む、幅広い医用撮像モダリティから導出することが出来るが、この限りではない。学習アルゴリズム処理部30は、分類器を訓練するために、前もって訓練された1ショット学習アルゴリズム1005‘の形式で一連の訓練画像をニューラルネットワークと組み合わせる。学習アルゴリズム処理部30は、1005で訓練された分類器を訓練画像へと適用し、且つ表示部24は、組織タイプを特定する際に訓練された分類器の有効性を明らかにするため、1010で結果をディスプレイ16上の二次元空間に投影する。この分類器の実行のグラフィカルな投影により、訓練画像に変更がリアルタイムでなされることを許可し、ここでユーザは、ディスプレイ16上に表示されたグラフの象限における画像のグラフィカルな視覚化を通して、画像の相関関係を決定する。結果が組織タイプの効果的な分類を実証する(つまり、ターゲット分類が、グラフ上の画像の訓練画像の分類と視覚的に相関関係にあること)と1015で決定された場合に、学習アルゴリズム処理部30は、訓練された分類器を1025で未知のクエリ画像1025の大きなライブラリへと広く適用する。代わりに、1015で、結果が組織タイプの分類が不十分であると実証で決定された場合に、ユーザは訓練画像(例えば、更なる訓練画像を付け足す及び/又は以前に選択された訓練画像のうちの幾つかを削除する)を更新するためにユーザインターフェース14を通して入力1020を提供することが出来、そして学習アルゴリズム処理部30は、1020で分類器を再訓練する。1015で再訓練された分類器が選択された組織タイプの分類において効果的であると決定された場合に、学習アルゴリズム処理部30は、再訓練された分類器を1025で未知のクエリ画像の大きなライブラリへと広く適用する。
図4は、データ分類法の形式で、データ解析法の例示的な実施形態の実例となるフローチャートである。図4の例示的な実施形態において、完全な教師ありマッチングネットワーク法は、医用画像に対する分類器のユーザ指向の訓練に対して展開されている。まずユーザインターフェース14のディスプレイ16は、ユーザに参照画像セット1100’の例を表示する。次に1100で、係るユーザは、ユーザインターフェース14を通して関心の第一及び第二の分類カテゴリ(つまり、小結節や背景)を選択する。分類器を訓練するために、係るユーザは、参照データのセットから、参照データの第一のサブセットを選択する。この参照データの第一のサブセットの各要素は、第一の分類カテゴリに属する。また係るユーザは、参照データのセットから、参照データの第二のサブセットを更に選択する。この参照データの第二のサブセットの各要素は、第二の分類カテゴリに属する。具体的には、ユーザは関心の第一に選ばれた分類カテゴリ(即ち小結節1105)を表す小数の参照画像を、且つ関心の第二に選ばれた分類カテゴリ(即ち背景1105’)を表す小数の参照画像を、ユーザインターフェース14を通して、最初にそれぞれ選択する。より具体的には、ユーザは、ユーザインターフェース14を通して、関心の第一に選ばれた分類カテゴリ(即ち小結節1105)を表す参照画像セット1100’の関心の一つ又は複数の領域を最初に選択し、且つ領域選択部28は、関心の選択された領域のそれぞれと関連付けられた撮像データを、参照データの第一のサブセットの対応する要素に割り当てる。その上、ユーザは、ユーザインターフェース14を通して、関心の第二に選ばれた分類カテゴリ(即ち背景1105’)を表す参照画像セット1100’の関心の一つ又は複数の領域を最初に選択し、且つ領域選択部28は、関心の選択された領域のそれぞれと関連付けられた撮像データを、参照データの第二のサブセットの対応する要素に割り当てる。
学習アルゴリズム処理部30は、分類器を訓練するために、前もって訓練された1ショット学習アルゴリズムと組み合わせて、選択された参照画像を最初に使用する。学習アルゴリズム処理部30は、参照データの第一及び第二のサブセットを分類するために訓練された分類器を使用し、且つ表示部24は、参照データの第一及び第二のサブセットの要素を、ディスプレイ16上の二次元の類似性空間又は相関関係1110のグラフィカルな描写へと投影する。そこでは、データのより類似する要素がより近くに一緒に、そしてデータのより類似しない要素が離れて、それぞれ表示される。例えば、表示部24は、参照データの第一及び第二のサブセットの要素を、ディスプレイ16上に二次元の類似性空間又は相関関係1110のグラフィカルな描写へと投影するために、多次元スケーリング(Multi-dimensional Scaling:MDS)を使用することが出来る。多次元スケーリング(MDS)は、次のものに説明されており、参照することでその全体をここに組み込むものとする。“An Introduction to MDS”, Florian Wickelmaier, Sound Quality Research Unit, Aalborg University, Denmark, May 4, 2003。代わりに、表示部24は、参照データの第一及び第二のサブセットの要素を、ディスプレイ16上の二次元の類似性空間又は相関関係1110のグラフィカルな描写へと投影するために、t-分布SNR(t-Distributed SNE:t-SNE)等の確率論的隣接埋め込み(Stochastic Neighbor Embedding:SNE)を使用することが出来る。確率論的隣接埋め込み(SNE)、特にt-Distributed SNE (t-SNE)については、次で説明されている。“Visualizing Data using t-SNE”, Laurens van der Maaten and Geoffrey Hinton, Journal of Machine Learning Research,1,(2008)1-48。
表示部24は、ユーザがマッチングネットワークの実行を視覚的に評価することを許可するために、即ちユーザが参照データの第一及び第二のサブセットの視覚的な分類を評価するために、直行軸のセットの形式で相関関係の視覚的な指示も、ディスプレイ16上の二次元の類似性空間へと投影する。具体的には、ユーザは、参照データの第一及び第二のサブセットの分類の視覚的な描写を直行軸と比較することにより、マッチングネットワークの実行を評価することが出来る。MDS及びt-SNE及びその他の似た様な技法は、高次元のオリジナルの特徴空間で利用可能な構造を維持しようとする一方で、多次元特徴ベクトルを二次元又は三次元空間へとマップするために使用することが出来る。この二次元又は三次元へのマッピングにより、ヒトが高次元特徴空間を把握出来るようにする(ヒトは三次元を超えると把握が出来なくなるから)。マッピングの視覚的な描写は、視覚的に且つ主観的にのみ、判断することが出来る。原則として、しきい値との比較も二次元又は三次元空間で実行することが出来るだろうが、相関関係の視覚的な表現を評価するのに、ユーザは大抵自らの判断を使用するものである。
図9に示された例示的な実施形態において、初期に選択された参照画像は、グラフ1110で直行軸により定義された異なる象限について同じ分類の初期に選択された画像の配列ミスにより反映されている通り、初期に選択された参照画像を正しく分けるよう分類器を訓練するには、不十分又は不適切である。1115に応じて、ユーザは、参照データのセットから、分類器を改善するためにユーザインターフェース14を通して、参照画像を調整することにより(つまり、係るユーザが付加的な参照画像を提供する及び/又は参照画像を削除することにより、更新された参照画像1120を提供する)、参照データの後続のサブセットを選択する。当該実施形態において、ユーザは、ユーザインターフェース14を通して、小結節を含む組織を表す付加的な参照画像1120’を選択する。学習アルゴリズム処理部30は、その後分類器を再訓練するために参照データの後続のサブセットを使用する。具体的には、学習アルゴリズム処理部30は、分類器を再訓練するために更新された参照画像1120を使用する。学習アルゴリズム処理部30は、続いて再訓練された分類器を、第一の分類カテゴリに属する参照画像のうちの全てがグラフ1110’の一象限に現れ、且つ第二の分類カテゴリに属する参照画像のうちの全てがグラフ1110’の異なる一象限に現れるという結果とともに、再訓練された分類器が参照画像を選択された第一及び第二の分類カテゴリへと精確に分類したということを示しつつ、参照画像へと適用する。
学習アルゴリズム処理部30は、その後再訓練された分類器を、参照データのセットの一つ又は複数の更なる要素へ、又は参照データの更なるセットの一つ又は複数の要素へ、と適用することが出来、それにより参照データのセットの一つ又は複数の更なる要素、又は参照データの更なるセットの一つ又は複数の要素を分類する。より具体的には、学習アルゴリズム処理部30は、再訓練された分類器を、1125での未知のクエリ画像及び関心の大きなデータセットの分類に対して、1115’でより広く適用することが出来る。
図5は、既知の参照画像のデータベースにおけるクエリ画像の類似例を見つけ出すための類似性探索法の形式での、データ解析法の実例である。一般的に、図10の方法において、参照データの第一のサブセットの各要素は、参照データの第一のサブセットの各要素がクエリデータ要素と類似するかどうかに従って、第一の分類カテゴリに属するようにして選択される。そして参照データの第二のサブセットの各要素は、参照データの第二のサブセットの各要素がクエリデータ要素と非類似か、且つ参照データの第一及び第二のサブセットが分類器を訓練するために使用されるかどうかに従って、第二の分類カテゴリに属するようにして選択される。訓練された分類器は、更なるクエリデータ要素と類似する、参照データのセットにおける一つ又は複数の更なる要素、又は参照データの更なるセットにおける一つ又は複数の要素、を見つけ出すために更なるクエリデータ要素に基づいて、参照データのセットの、又は参照データの更なるセットの、類似性探索を実行するためにその後使用される。
より具体的には、図5の方法において、まず学習アルゴリズム処理部30は、各候補画像に対して、例えば、既知の参照画像のデータベースからユーザにより選択された候補画像に対する静的な埋め込みを作り出す。次に、係る静的な埋め込みは、例えばユーザ入力に基づいてダイナミックな埋め込みを作り出すために、その後一緒に適応される。ユーザは、一例で、ユーザインターフェース14を通して、候補画像のセットからのユーザ選択を具備することがある。係るユーザ選択は、クエリ画像に似ていると考えられる候補画像と似ていないと考えられる候補画像とを選択することである。学習アルゴリズム処理部30は、その後例えばユーザの類似性の認知に従って適応される、合わせて作られた類似性探索に対するダイナミックな埋め込みを決定又は修正するために、選択された類似する及び類似しない候補画像を使用する場合がある。学習アルゴリズム処理部30はその後、例えば更なるクエリ画像と類似する既知の参照画像のデータベースにおける一つ又は複数の類似する画像を見つけ出すために、既知の参照画像のデータベースの合わせて作られた類似性探索を実行するために、使用する場合がある。その後、(1)表示部24はディスプレイ16を通して二次元の類似性空間に類似する画像を表示する、又は(2)学習アルゴリズム処理部30は類似する画像を分類する、即ち、類似する画像を更なるクエリ画像と関連付けた既知の又はラベル付けられた分類とマッチさせる、どちらかである。
図2から5までの実施形態の方法を実施するために、任意の適切な学習アルゴリズム又はマッチングネットワークアルゴリズムを使用することが出来る。更なる記述が、図6から13を参照して、完全な教師ありマッチングネットワークアルゴリズムの開発及び検証に関連付けつつ、これから提供される。当然ながら、任意の適切なマッチングネットワークアルゴリズムを使用することが出来、また実施形態は図6から13に関連して説明、開発、又は言及されるアルゴリズムのユーザに拘泥されない。図6から13に関する記述は、臨床医に対して提供されたグラウンドトゥルースに訓練された病変パッチをマッチさせるために、類似性対マッチングネットワークの観察者の判定における、観察者間の変動性を考察するものである。また、本実施形態では、完全な(フルサイズの)医用画像から切り取られた一部又は部分的な画像(パッチ、又は画像パッチ)を参照画像のデータ(参照データ)として用いた例としている。しかしながら、当該例に拘泥されず、複数の部分的な医用画像、複数の完全な医用画像、複数の部分的な医用画像と複数の完全な医用画像との組み合わせを参照データとすることもできる。
四つの異なる病気の肺の様子と一つの健常な肺の様子との画像例又は画像パッチ例は、二つの公的に利用可能な間質性肺疾患データベースから抽出される。線維症、すりガラス陰影、小結節、肺気腫及び健常な組織を含む、ラベル付けられたパッチが抽出される。アルゴリズム開発に先立ち、各クラスにおける患者数の釣り合いが大体とれるように、データはランダムに訓練セットと検証セットとに二分される。20×20ミリメートル、重複が80%での後続の画像パッチは、1mm/ピクセル解像度で抽出されたものである。パッチサイズ、重複、そして解像度は、非限定であり、且つここでは開示の特定の実施形態として評価されている。パッチは、ラベル付けられたグラウンドトゥルース領域において完全に含まれる。
最初に、ヒトによる類似性の認知が評価される。パッチ検証セットからの百のパッチは、ヒトの非専門家が完全な教師ありマッチングネットワーク法と比較して如何に上手くカテゴリのラベルにマッチさせたのか、を評価するために使用された。各参加者は、パターンカテゴリ毎の10の画像を、5つの選択されたパターンカテゴリのサブセットからの画像のうちの一つへとマッチさせた。パッチの同じ組み合わせは、全ての参加者へと示された。図6Aにおける実験的な設定は、どの様に上段に表示された画像パッチに最も近くマッチする画像を下段から選択するよう各観察者が尋ねられたか、を表している。これらの画像を精確に相互に関連付ける能力は、図6Bに観察者間の相関値の表形式で反映されている。図6Bにおいて、P1からP4までは、観察者であり、相関値は、観察者間の一致も単一の観察者と真のカテゴリのラベルとの間の一致も反映する。
本開示のマッチングネットワークの開発において、マッチングネットワークは、対象パッチを五つの分類のうちの一つからのパッチとマップするために、一万の訓練セットについて完全な教師ありの方法で訓練されたものである。各訓練セットは、各クラス及び対象クラスからの五つの例で成り立っている。埋め込み関数は、特徴を抽出するよう訓練されたものであり、また同時に、回帰型ニューラルネットワークは、マッチングパッチを選択するよう学習されている。この完全な教師ありネットワークは、Advances in Neural Information Processing Systems出版、Vinyals et al.著、3630-3638、2016年の図1から適応されて、図7に描かれている。マッチングネットワーク307は、各訓練セットが少数の訓練例から成る、多重訓練セット305について訓練される。埋め込み関数は、訓練セットから全てのパターンクラスについて学習されている。訓練に続いて、クエリ画像306は、マッチされ310に分類することが出来る。訓練されたマッチングネットワークは、ヒトの認知の評価に対して使用された小さなデータサブセットについて評価されたものである。図8は、真のカテゴリのラベルと比較された、訓練されたマッチングネットワークの精度を描いているマトリクスで、濃い青は、予想ラベルと真ラベルとの相関関係がより高いことを示している。肺気腫及び小結節が、最も容易に見抜けたようである。
比較として、完全な教師無し訓練設定を使用して生成された埋め込み関数は、ヒトの認知及び完全な教師ありマッチングネットワークと比較された。完全な教師無し訓練設定に対して、訓練された変分オートエンコーダ(variational autoencoder:vae)のエンコーディングアスペクトは、画像を圧縮された特徴空間へと埋め込むために使用された。回帰型ニューラルネットワークは、画像のマッチングに対しては使用されていない。代わりに、候補画像とクエリ画像との圧縮されたベクトル間の簡単なユークリッド距離が、クエリパッチを最も類似するパッチへとマッチさせるために使用された。図9は、真のカテゴリのラベルと比較された、完全な教師無し設定の精度を描いているマトリクスで、濃い青は、予想ラベルと真ラベルとの相関関係がより高いことを示している。肺気腫が最も容易に見抜けたようである。
図10は、各マッチングモダリティ、つまり、ヒトの認知(P1-P4)、教師ありマッチングネットワーク(matching network:MN)、そして教師無し訓練設定(Vae)、の実行の表形式、である。教師ありマッチングネットワーク(MN)は、クエリ画像の正しくラベル付けられた画像(Labels)との予想マッチングにおいて、優れた実行を見せる。
更なる実験において、教師ありマッチングネットワークは、埋め込みが初見の画像パッチカテゴリの類似性マッチングに対して有用であるかの程度を評価するために、三つのパッチカテゴリについて訓練され、且つ二つの以前に見たことのない画像パッチカテゴリの類似性マッチングを用いて、テストされたものである。一万の訓練例及び六百の検証例が使用された。テスト時に、教師ありマッチングネットワークは、クエリ画像を二つの初見の画像パッチカテゴリのうちの一つへとマッチさせるよう要求され、且つ教師ありマッチングネットワークは、各クラスから単一でランダムに選択された例画像パッチ(つまり、サポートセットサイズは1ということ)を用いて提供される。図11は、初見のクラスの分類を予測する際、部分的に教師あり訓練マッチングネットワークの実行の表形式を提供する。初見のクラスの分類とは、emph、he、nod、fib、そしてggが、肺気腫、健常、小結節、線維症、そしてすりガラス陰影にそれぞれ対応する。変動性は、マッチングネットワークの有効性に表れており、大部分が訓練として選択されたパッチパターンに依存する。テストパターンは、肺気腫、線維症、すりガラス陰影の例が訓練に対して使用された場合にはマッチング一致が高い一方で、肺気腫、健常、そしてすりガラス陰影の例の場合には一致が乏しいことを実証する。
ベスト・ワースト実行設定間の差をより良く理解するために、結果は、圧縮されたベクトルとして表示され、視覚化のために二次元(2D)の類似性空間へと投影される。訓練クラスは、埋め込み関数を通して与えられ、出力された圧縮ベクトルは、多次元スケーリング(MDS)を使用して2Dの類似性空間へと投影された。図12Aは、最適な訓練配置からの訓練例の圧縮された描写の、結果として生じる二次元グラフィカル投影であり、ここで0は肺気腫に、1は線維症に、2はすりガラス陰影にそれぞれ等しい。図12Bは、最も不十分な訓練配置から訓練例の圧縮された描写の、結果として生じる二次元グラフィカル投影であり、ここで0は肺気腫に、1は健常に、2はすりガラス陰影にそれぞれ等しい。
図13は、マッチングネットワークの実行についてサポートセットサイズの効果に対する調査の表形式である。当該調査において、マッチングネットワークは、三つの画像パッチクラスについて訓練されたものであり、クエリ画像パッチを三つの画像パッチクラスのうちの一つから単一の画像パッチクラスへとマップすることを学習している。テストの間、マッチングネットワークは、クエリ画像パッチを五つの画像パッチクラスのうちの一つへとマッチさせるよう要求されるが、これら五つの画像パッチクラスのうち二つは以前に見たことのないものである。これを終わらせるために、一つのパッチ例は、サポートセットが1の場合に各クラスから提供されたものである一方、五つのパッチ例は、サポートセットが5の場合に各クラスから提供されたものである。一万の訓練例及び六百のテスト例が評価された。各パッチクラスからのパッチ例は、ランダムに選択されたものである。図9に示された厳密な値のサイズは、サポートセットサイズが増えるにつれて、マッチングネットワークパフォーマンスが改善したということを実証している。
本実施形態によると、対象分類カテゴリを選択すること;参照データのセットから、参照データの第一のサブセットを選択すること、前記参照データの第一のサブセットの各要素は前記選択された分類カテゴリに属する;前記参照データの第一のサブセットを使用する分類器を訓練すること;前記訓練された分類器を使用して前記参照データの第一のサブセットを分類すること;前記参照データのセットから、前記参照データの第一のサブセットの前記分類の評価に基づいた参照データの後続のサブセットを選択すること;前記参照データの後続のサブセットを使用して前記分類器を訓練すること、を具備する方法が提供されている。
前記方法は、前記選択された分類カテゴリと前記参照データの第一のサブセットの前記分類との間の相関関係に基づいた前記評価を取得するために、前記参照データの第一のサブセットの前記分類を評価することを更に具備することが出来る。
第一の訓練ステップは、前記選択された分類カテゴリと前記参照データの第一のサブセットの前記分類との前記相関関係が前もって定めた相関関係しきい値に到達するまで、前記分類器を逐次的に訓練することを具備することが出来る。
各訓練ステップは、前もって訓練された1ショット学習アルゴリズムを使用しての前記分類器の訓練を具備することが出来る。
前記方法は、別の対象分類カテゴリを選択すること;前記参照データのセットから、参照データの第二のサブセットを選択すること、前記参照データの第二のサブセットの各要素は前記別の対象分類カテゴリに属する;前記参照データの第一及び第二のサブセットを使用して前記分類器を訓練すること、を更に具備することが出来る。
前記方法は、前記参照データとして、部分的な医用画像、完全な医用画像、又はそれら二つの組み合わせを取得することを更に具備することが出来る。
前記方法は、前もって定めたデータベースを使用して、クエリデータを前記訓練された分類器へと適用することにより、類似性探索を実行することを更に具備することが出来る。
本実施形態によると、複数の参照データを格納するメモリと、処理回路と、を具備する装置が提供されている。前記処理回路は、対象分類カテゴリを選択し;参照データのセットから、参照データの第一のサブセットを選択し、前記参照データの第一のサブセットの各要素は前記選択された分類カテゴリに属する;前記参照データの第一のサブセットを使用して分類器を訓練し;前記訓練された分類器を使用して前記参照データの第一のサブセットを分類し;前記参照データのセットから、前記参照データの第一のサブセットの前記分類の評価に基づいた参照データの後続のサブセットを選択し;前記参照データの後続のサブセットを使用して前記分類器を訓練する、よう構成されている。
前記処理回路は、前記選択された分類カテゴリと前記参照データの第一のサブセットの前記分類との間の相関関係に基づいた前記評価を取得するために、前記参照データの第一のサブセットの前記分類を評価するよう更に構成することが出来る。
前記処理回路は、前記選択された分類カテゴリと前記参照データの第一のサブセットの前記分類との前記相関関係が前もって定めた相関関係しきい値に到達するまで、前記分類器を逐次的に訓練するよう更に構成することが出来る。
前記処理回路は、前もって訓練された1ショット学習アルゴリズムを使用して前記分類器を訓練するよう更に構成することが出来る。
前記処理回路は、別の対象分類カテゴリを選択し;前記参照データのセットから、参照データの第二のサブセットを選択すること、前記参照データの第二のサブセットの各要素は前記別の対象分類カテゴリに属する;前記参照データの第一及び第二のサブセットを使用して前記分類器を訓練する、よう更に構成することが出来る。
前記処理回路は、前記参照データとして、部分的な医用画像、完全な医用画像、又はそれら二つの組み合わせを取得するよう更に構成することが出来る。
前記処理回路は、前もって定めたデータベースを使用して、クエリデータを前記訓練された分類器へと適用することにより、類似性探索を実行するよう更に構成することが出来る。
前記処理回路は、当該ユーザから、前記参照データの第一のサブセットの選択と前記参照データの後続のサブセットの選択とを受信し、ディスプレイに、ユーザインターフェースを表示させ;前記複数の参照データを受信且つ表示する、よう更に構成することが出来る。
本実施形態によると、命令のセットを具備する非一時的コンピュータ読み取り可能媒体が提供されている。前記命令のセットは、処理回路により実行される場合に、対象分類カテゴリを選択すること;参照データのセットから、参照データの第一のサブセットを選択すること、前記参照データの第一のサブセットの各要素は前記選択された分類カテゴリに属する;前記参照データの第一のサブセットを使用する分類器を訓練すること;前記訓練された分類器を使用して前記参照データの第一のサブセットを分類すること;前記参照データのセットから、前記参照データの第一のサブセットの前記分類の評価に基づいた参照データの後続のサブセットを選択すること;前記参照データの後続のサブセットを使用して前記分類器を訓練すること、を具備する方法を実行するよう前記回路に生じさせる。
前記方法は、前記選択された分類カテゴリと前記参照データの第一のサブセットの前記分類との間の相関関係に基づいた前記評価を取得するために、前記参照データの第一のサブセットの前記分類を評価することを更に具備することが出来る。
前記方法は、前記選択された分類カテゴリと前記参照データの第一のサブセットの前記分類との前記相関関係が前もって定めた相関関係しきい値に到達するまで、前記分類器を逐次的に訓練することを更に具備することが出来る。
前記方法は、前もって訓練された1ショット学習アルゴリズムを使用しての前記分類器の訓練を更に具備することが出来る。
前記方法は、別の対象分類カテゴリを選択すること;前記参照データのセットから、参照データの第二のサブセットを選択すること、前記参照データの第二のサブセットの各要素は前記)別の対象分類カテゴリに属する;前記参照データの第一及び第二のサブセットを使用して前記分類器を訓練すること、を更に具備することが出来る。
本実施形態によると、医用データの解析用の方法が提供されている。前記方法は、ユーザに医用データを視覚的に表すこと;前記ユーザが前記医用データの複数のサンプルを選択するよう許可すること、前記複数のサンプルは、前記医用データの二つ以上のクラスに属し、且つ各サンプルは、前記医用データの前記二つ以上のクラスのうちの一つを例示する;前記選択された複数のサンプルから前記二つ以上のクラスを区別するよう分類器を訓練すること;前記分類器の性質について前記ユーザに対してフィードバックを表示すること;前記ユーザが前記複数のサンプルを編集するよう許可すること;前記編集された複数のサンプルを使用して前記分類器を再訓練すること;前記訓練された分類器の前記性質について前記ユーザに対してフィードバックを表示すること、を具備する。
前記方法は、前記医用データ又は更なる医用データを分類するために、前記分類器を前記医用データ又は前記更なる医用データに適用することを具備することが出来る。前記方法は、前記医用データ又は前記更なる医用データをセグメントするために、前記分類器を前記医用データ又は前記更なる医用データに適用することを具備することが出来る。前記方法は、状態、特徴、病気のうちの少なくとも一つを検出又は特定するために、前記分類器を前記医用データ又は前記更なる医用データに適用することを具備することが出来る。
前記方法は、類似性探索を実行するために前記分類器を適用することを分類することが出来る。前記方法は、前記分類器の、前記医用データ又は前記更なる医用データに対する前記適用の結果を表示することを具備することが出来る。前記方法は、1ショットアプローチを用いて前記分類器の訓練を具備することが出来る。前記分類器の前記性質について前記ユーザに対して表示された前記フィードバックは、前記クラスのうちの分離の二次元又は三次元投影とすることが出来る。前記医用データは、非撮像データを具備することが出来る。前記医用データは、撮像データを具備することが出来る。前記ユーザに前記医用データの複数のサンプルを選択するよう許可することは、前記ユーザに前記撮像データの関心の領域を特定することを許可し、且つ前記特定された関心の領域に従って、前記複数のサンプルを選択すること、を具備することが出来る。前記関心の領域は、前記撮像データの輪郭、画像パッチ、全体のボリュームのうちの少なくとも一つを具備する、又は一つにより定義することが出来る。前記方法は、患者に係る、例えば前記患者の特定に従って及び/又は患者特定により、前記複数のサンプルを選択することを具備することが出来る。前記方法は、前記複数のサンプルを編集するために、前記ユーザが前記表示されたフィードバックと相互作用するよう許可することを具備することが出来る。前記方法は、前記複数のサンプルのうちの一つ又は複数を除去するために、前記ユーザが前記表示されたフィードバックと相互作用するよう許可することを具備することが出来る。前記方法は、関連する既存のデータベースから前記医用データを提供することを具備することが出来る。
本実施形態によると、分類結果と関連付けられた複数の教師ありデータを格納するためのメモリと処理回路とを具備する医用画像処理装置が提供されている。前記処理回路は、分類対象データを収集し、前記分類対象データに対する分類順序に基づいた前記分類結果を含む、前記教師ありデータのうちの少なくとも一部分を表示し、ユーザにより前記教師ありデータの順序の追加又は削除等の編集処理に応じることで、前記分類対象に関する分類器を更新し、前記更新された分類器に基づいて前記分類対象データの前記分類に関する処理を実行する、よう構成されている。
前記処理回路は、前記更新された分類器に基づいて更新された教師ありデータの分類結果を更に表示することが出来る。
(第一の実施形態)
本実施形態によると、身体部位の情報に関連付けられた、複数の教師あり画像を格納するためのメモリと、前記教師あり画像は、医用画像の部分的なエリア画像であり、ユーザ入力により複数の被検体の身体部位に関連する情報を収集し、前記複数の被検体の身体部位に関連する前記情報に基づいて関連した身体部位情報を有する前記複数の教師あり画像を表示し、前記表示された複数の教師あり画像に対して前記教師あり画像の順序の追加又は削除等の編集処理に応じることで、前記身体部位に関する前記教師あり画像の分類器を更新する、よう構成された処理回路と、を具備する医用画像処理装置が提供されている。
前記処理回路は、前記被検体の医用画像を収集し、前記更新された分類器に基づいた前記部位のそれぞれにおいて前記収集された画像データに対してセグメンテーション手順を処理する、よう更に構成することが出来る。
本実施形態によると、部位情報に関連付けられた、複数の教師あり画像を格納するためのメモリと、前記教師あり画像は、医用画像の部分的なエリア画像であり、ユーザ入力により被検体のクエリ画像を収集し、前記クエリ画像に基づいて関連した部位情報を有する前記複数の教師あり画像を表示し、前記表示された複数の教師あり画像に対して前記教師あり画像の順序の追加又は削除に応じることで、前記クエリ画像に関する前記教師あり画像の分類器を更新する、よう構成された処理回路と、を具備する医用画像処理装置が提供されている。
前記処理回路は、前記被検体の部位に従って又は前記更新された分類器に基づいたケースに従って、前記クエリ画像を分類するよう更に構成することが出来る。
前記処理回路は、前記更新された分類器に基づいて、前記クエリ画像の類似性を計算するよう更に構成することが出来る。
上記の教示に照らし合わせると、多くの修正や変更が可能なことは当業者にとって明らかである。従って、添付の特許請求項の範囲において、発明はここでの具体的な記述の以外にも実施することが出来ることを理解されたい。
前述の議論は、本発明の例示的な実施形態を開示説明しているに過ぎない。当業者に理解される通り、本発明は、その趣旨又は本質的特徴から乖離することなく、その他の具体的な態様で実施されてよい。従って、本発明の開示は、例証的であることを意図しているが、その他の請求項を含む、発明の範囲を制限するものではない。本開示は、ここにおける教示からの如何なる容易に認識可能な変形も含め、前述の請求項中の用語の範囲を、発明の主題を公衆の自由に供することなく、一部分において定義するものである。
10…データ解析処理装置、12…計算装置、14…ユーザインターフェース、16…ディスプレイ、18…入力装置、20…データ格納部、22…CPU、24…表示部、26…カテゴリ選択部、28…領域選択部、30…学習アルゴリズム処理部、105…分類器、305…多重訓練セット、306…クエリ画像、307…マッチングネットワーク、1025…クエリ画像、1100’…参照画像セット、1105’…背景、1120、1120’…参照画像

Claims (13)

  1. 参照データのセットから、各要素が第一の分類カテゴリに属する第一のサブセットを取得し、
    前記参照データのセットから、各要素が第二の分類カテゴリに属する第二のサブセットを取得し、
    前記第一のサブセット及び前記第二のサブセットを用いて分類器を訓練し、
    前記訓練された分類器を用いて前記参照データの前記第一のサブセット及び前記第二のサブセットを分類し、
    前記分類の評価に基づいて、前記参照データのセットから後続の第一のサブセット及び第二のサブセットを取得し、
    前記後続の第一のサブセット及び前記後続の第二のサブセットを用いて、前記分類器を更に訓練する、処理部を具備し、
    前記第一のサブセットの各要素は、クエリデータ要素と類似するかどうかによって選択され、
    前記第二のサブセットの各要素は、クエリデータと非類似かつ前記第一のサブセットおよび前記第二のサブセットが前記分類器を訓練するために使用されるか否かに従って選択される、
    データ解析処理装置。
  2. 前記後続の第一のサブセットの各要素及び前記後続の第二のサブセットの各要素は、前記第一の分類カテゴリ又は前記第二の分類カテゴリに属することを特徴とする請求項1記載のデータ解析処理装置。
  3. 前記処理部は、1ショット学習アルゴリズムを使用して前記分類器を訓練する請求項1又は2記載のデータ解析処理装置。
  4. a)ユーザからの前記第一の分類カテゴリ及び前記第二の分類カテゴリの選択又は定義を受け取る、
    b)ユーザからの前記第一のサブセット、前記第二のサブセット、前記後続の第一のサブセット、前記後続の第二のサブセットのうちの少なくとも一つの取得を受け取る、
    c)ユーザからの前記第一のサブセット及び前記第二のサブセットのうちの少なくとも一方の分類の評価に関する指示を受け取る、
    a)、b)、c)、のうちの少なくとも一つを実行するユーザインターフェースをさらに具備する請求項1乃至3のうちいずれか一項記載のデータ解析処理装置。
  5. 前記ユーザインターフェースは、医用撮像の少なくとも一部分を表示し、ユーザに前記医用撮像上の少なくとも一つの領域を選択することで、前記参照データのセットを取得することを特徴とする請求項4記載のデータ解析処理装置。
  6. 前記処理部は、前記第一のサブセットの各要素及び第二のサブセットの各要素を、より類似する要素がより近くに位置するように、且つより類似しない要素が互いに離れて位置するようにマッピングされた二次元空間又は三次元空間を示す視覚的表現を生成し、
    前記視覚的表現を表示する表示部をさらに具備すること、
    を特徴とする請求項1乃至5のうちいずれか一項記載のデータ解析処理装置。
  7. 前記処理部は、多次元スケーリング(Multi-dimensional Scaling:MDS)、確率論的隣接埋め込み(Stochastic Neighbor Embedding:SNE)、t-分布SNR(t-Distributed SNE:t-SNE)のうちの少なくとも一つを用いて、前記視覚的表現を生成する請求項6記載のデータ解析処理装置。
  8. 前記処理部は、前記参照データとして、複数の部分的な医用画像、複数の完全な医用画像、複数の部分的な医用画像と複数の完全な医用画像との組み合わせを取得する請求項1乃至7のうちいずれか一項記載のデータ解析処理装置。
  9. 前記処理部は、類似する画像を分類するように訓練された分類器にクエリデータを入力することで、類似性探索を実行する、請求項1記載のデータ解析処理装置。
  10. 前記処理部は、前記第一の分類カテゴリと前記第一のサブセットの前記分類との間の相関関係に基づいて、前記第一のサブセットの分類の前記評価を実行する請求項1乃至9のうちいずれか一項記載のデータ解析処理装置。
  11. 前記処理部は、前記相関関係が所定のしきい値に到達するまで、前記分類器を逐次的に訓練するよう請求項10記載のデータ解析処理装置。
  12. 前記処理部は、前記第一のサブセット、前記第二のサブセット、前記後続の第一のサブセット、前記後続の第二のサブセットのうちの少なくとも一つに含まれる少なくとも一つの要素を、ユーザからの入力に応答して編集する請求項1乃至11のうちいずれか一項記載のデータ解析処理装置。
  13. コンピュータに、
    参照データのセットから、各要素が第一の分類カテゴリに属する第一のサブセットを取得させ
    前記参照データのセットから、各要素が第二の分類カテゴリに属する第二のサブセットを取得させ、
    前記第一のサブセット及び前記第二のサブセットを用いて分類器を訓練させ、
    前記訓練された分類器を用いて前記参照データの前記第一のサブセット及び前記第二のサブセットを分類させ、
    前記分類の評価に基づいて、前記参照データのセットから後続の第一のサブセット及び第二のサブセットを取得させ、
    前記後続の第一のサブセット及び前記後続の第二のサブセットを用いて、前記分類器を更に訓練させる機能を実現させ、
    前記第一のサブセットの各要素は、クエリデータ要素と類似するかどうかによって選択され、
    前記第二のサブセットの各要素は、クエリデータと非類似かつ前記第一のサブセットおよび前記第二のサブセットが前記分類器を訓練するために使用されるか否かに従って選択される、
    データ解析処理プログラム。
JP2018214594A 2017-11-15 2018-11-15 データ解析処理装置及びデータ解析処理プログラム Active JP7246898B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762586574P 2017-11-15 2017-11-15
US62/586,574 2017-11-15
US16/161,226 US11625597B2 (en) 2017-11-15 2018-10-16 Matching network for medical image analysis
US16/161,226 2018-10-16

Publications (2)

Publication Number Publication Date
JP2019091454A JP2019091454A (ja) 2019-06-13
JP7246898B2 true JP7246898B2 (ja) 2023-03-28

Family

ID=66432198

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018214594A Active JP7246898B2 (ja) 2017-11-15 2018-11-15 データ解析処理装置及びデータ解析処理プログラム

Country Status (2)

Country Link
US (2) US11625597B2 (ja)
JP (1) JP7246898B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113015977A (zh) * 2018-06-29 2021-06-22 人工智能技术公司 使用自然语言处理的对疾病和病症的基于深度学习的诊断和转诊
JP7049974B2 (ja) * 2018-10-29 2022-04-07 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
US20200250538A1 (en) * 2019-02-01 2020-08-06 Google Llc Training image and text embedding models
US11640539B2 (en) 2019-07-08 2023-05-02 Vianai Systems, Inc. Techniques for visualizing the operation of neural networks using samples of training data
US10990848B1 (en) 2019-12-27 2021-04-27 Sap Se Self-paced adversarial training for multimodal and 3D model few-shot learning
US11080560B2 (en) 2019-12-27 2021-08-03 Sap Se Low-shot learning from imaginary 3D model
US11748932B2 (en) * 2020-04-27 2023-09-05 Microsoft Technology Licensing, Llc Controllable image generation
WO2021250056A1 (en) 2020-06-10 2021-12-16 Koninklijke Philips N.V. Methods and systems for utilizing an ecg database
EP3944256A1 (en) * 2020-07-22 2022-01-26 Koninklijke Philips N.V. Methods and systems for utilizing an ecg database
US11481460B2 (en) * 2020-07-01 2022-10-25 International Business Machines Corporation Selecting items of interest
CN112215366B (zh) * 2020-12-07 2021-03-02 成都数联铭品科技有限公司 基于结果画像的模型解释方法、系统、计算及存储设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015185149A (ja) 2014-03-26 2015-10-22 日本電気株式会社 機械学習装置、機械学習方法、及びプログラム
JP2016099734A (ja) 2014-11-19 2016-05-30 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP2016133895A (ja) 2015-01-16 2016-07-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US20160260023A1 (en) 2015-03-02 2016-09-08 Northrop Grumman Systems Corporation Digital object library management system for machine learning applications

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8751530B1 (en) * 2012-08-02 2014-06-10 Google Inc. Visual restrictions for image searches
US9122950B2 (en) 2013-03-01 2015-09-01 Impac Medical Systems, Inc. Method and apparatus for learning-enhanced atlas-based auto-segmentation
JP6244996B2 (ja) 2014-03-10 2017-12-13 富士通株式会社 識別関数特定装置、識別関数特定プログラム、識別関数特定方法および生体認証装置
US10219767B2 (en) * 2014-10-13 2019-03-05 Koninklijke Philips N.V. Classification of a health state of tissue of interest based on longitudinal features
US10835210B2 (en) 2015-03-30 2020-11-17 Siemens Medical Solutions Usa, Inc. Three-dimensional volume of interest in ultrasound imaging
US10810494B2 (en) * 2016-08-08 2020-10-20 EyeEm Mobile GmbH Systems, methods, and computer program products for extending, augmenting and enhancing searching and sorting capabilities by learning and adding concepts on the fly
US10037601B1 (en) * 2017-02-02 2018-07-31 International Business Machines Corporation Systems and methods for automatic detection of architectural distortion in two dimensional mammographic images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015185149A (ja) 2014-03-26 2015-10-22 日本電気株式会社 機械学習装置、機械学習方法、及びプログラム
JP2016099734A (ja) 2014-11-19 2016-05-30 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP2016133895A (ja) 2015-01-16 2016-07-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US20160260023A1 (en) 2015-03-02 2016-09-08 Northrop Grumman Systems Corporation Digital object library management system for machine learning applications

Also Published As

Publication number Publication date
US11954598B2 (en) 2024-04-09
US20230133353A1 (en) 2023-05-04
US20190147334A1 (en) 2019-05-16
US11625597B2 (en) 2023-04-11
JP2019091454A (ja) 2019-06-13

Similar Documents

Publication Publication Date Title
JP7246898B2 (ja) データ解析処理装置及びデータ解析処理プログラム
Khosravan et al. A collaborative computer aided diagnosis (C-CAD) system with eye-tracking, sparse attentional model, and deep learning
US11850021B2 (en) Dynamic self-learning medical image method and system
JP7279015B2 (ja) マンモグラフィにおける密度の評価
Islam et al. Abnormality detection and localization in chest x-rays using deep convolutional neural networks
US10691980B1 (en) Multi-task learning for chest X-ray abnormality classification
EP3675130A1 (en) Systems and methods to determine disease progression from artificial intelligence detection output
KR101874348B1 (ko) 피검체의 흉부 pa 영상의 판독을 지원하는 방법 및 이를 이용한 장치
JP7366583B2 (ja) 医用情報処理装置、方法及びプログラム
JP2008520317A (ja) 医療画像データ内の腫瘍境界を自動的に検出及び区分するシステム及び方法
JP2021002338A (ja) 画像セグメンテーション及び識別のための方法及びシステム
JP2022505205A (ja) 腸の病理学のための画像スコアリング
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
CN107688815A (zh) 医学图像的分析方法和分析系统以及存储介质
US20210202072A1 (en) Medical image diagnosis assistance apparatus and method for providing user-preferred style based on medical artificial neural network
JP7170000B2 (ja) 学習システム、方法及びプログラム
JP2023516651A (ja) 訓練データにおける欠落したアノテーションに対処するためのクラス別損失関数
CN114360695B (zh) 乳腺超声扫查分析辅助系统、介质及设备
Iakovidis et al. Image analysis framework for infection monitoring
EP4109463A1 (en) Providing a second result dataset
JP7387457B2 (ja) 医用画像処理装置、プログラム、および医用画像処理システム
Sridhar et al. Lung Segment Anything Model (LuSAM): A Prompt-integrated Framework for Automated Lung Segmentation on ICU Chest X-Ray Images
Lensink et al. Segmentation of pulmonary opacification in chest ct scans of covid-19 patients
Keshavamurthy et al. Weakly supervised pneumonia localization in chest X‐rays using generative adversarial networks
Kumar et al. Understanding Anatomy Classification Through Attentive Response Maps

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221019

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230315

R150 Certificate of patent or registration of utility model

Ref document number: 7246898

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150