JP6636678B2 - 画像内物体の注釈付けの学習 - Google Patents

Description

本発明は、画像内物体の注釈付けを学習するためのシステム及びコンピュータで実施化される方法に関する。本発明は、更に、斯かるシステムを有するワークステーション及び撮像装置に、並びにプロセッサシステムに該方法を実行させるための命令を有するコンピュータ読取可能な媒体に関する。

デジタル病理学においては、コンピュータビジョンアルゴリズムを用いて、特に機械学習アルゴリズムを用いて自動的細胞及び組織型検出を実行することが知られている。このような機械学習アルゴリズムの訓練は、人による（手動）組織又は細胞注釈付けを必要とする。しかしながら、異なる型の組織又は細胞を特徴付けるための病理学画像の手動注釈付けは、時間のかかる仕事である。信頼性のある注釈付けは病理学者を必要とし、このことは注釈付けを費用の掛かる処理にさせる。加えて、病理学画像の手動注釈付けは、退屈な作業であると共に、訓練された病理学者にとってさえもエラーを生じ易い仕事であり得る。

上述した問題は、デジタル病理学以外の領域でも生じる。このように、ユーザにとり機械学習アルゴリズムを訓練する労力を低減することが望ましい。

文献CN104537676は、オンライン学習に基づく段階的画像分割方法を記載している。該段階的画像分割方法は以下のステップを有する。即ち、入力画像に対して多層分解が実行され、該画像の多層表現が得られる。対話型分割がユーザラベルに基づいて実行され、分割モデルが訓練及び更新され、画像は反復ループにより徐々に正確に分割される。対話型分割過程において、誤って分割された領域の一部はユーザラベルにより補正され、訓練サンプルがユーザラベルから抽出され、該サンプルはサンプル拡張戦略により拡張される。拡張により得られた訓練サンプルは分割モデルを訓練及び更新するために利用され、分割予測が入力画像に対して実行される。

文献CN104537676は、このように、ユーザに訓練の前に大量の画像を手動で注釈付けさせるというより、分割モデルが対話的に、即ち、ユーザが分割過程の間に分割結果を補正することにより訓練及び更新される。当該訓練は、このように、段階的に実行される。

不利なことに、文献CN104537676では誤った分割結果の全てを補正するためにはユーザの相当の量の努力を依然として必要とするであろう。

Int J Comput Vis, 2011, vol. 93, no. 3のDhruv Batra他による“Interactively Co-segmentating Topically Related Images with Intelligent Scribble Guidance”なる名称の文献は、一群の関連画像からの前景物体の対話型共分割（co-segmentation）のためのアルゴリズムを記載している。ユーザが次に何処に走り書きすべきかを知的に推奨する自動推奨システムが記載されている。ユーザから一連の初期走り書きが与えられた場合、当該群内の各画像に対して推奨マップが計算される。より多くの走り書きを受けるために、最高の推奨点数を持つ画像（及び領域）がユーザに提示される。推奨点数として、複数の“手掛かり”が組み合わされる。

ユーザが機械学習アルゴリズムの訓練のためのフィードバックを一層選択的に供給することを可能にするシステム及び方法を得ることが有利であろう。

本発明の第１態様は画像内の物体（対象）の注釈付け（アノテーション）を学習するシステムを提供し、該システムは、
− 画像の多重縮尺（マルチスケール）表現を表す画像データにアクセスするよう構成された画像データインターフェースであって、該画像の多重縮尺表現が前記画像を異なる空間解像度で表す複数の縮尺（スケール）を有する画像データインターフェースと、
− 一群の命令を表す命令データを有するメモリと、
− 前記画像データインターフェース及び前記メモリと通信すると共に、前記一群の命令を実行するように構成されたプロセッサであって、該一群の命令が、該プロセッサにより実行された場合に、該プロセッサに機械学習アルゴリズムを使用して、前記多重縮尺画像の１以上の縮尺における物体の学習された注釈付けを得るようにさせるプロセッサと、
− ユーザインターフェースサブシステムであって、
ｉ）前記多重縮尺画像を見るためにディスプレイ上に視野窓を形成（確立）するよう構成された表示プロセッサであって、前記視野窓が、前記複数の縮尺のうちの何れが該視野窓内に示されるべきかを決定する倍率及び該縮尺の何の部分が示されるべきかを定める空間オフセットパラメータに基づいて設定（構成）可能である表示プロセッサ、及び
ii）ユーザによる前記視野窓内の物体の手動注釈付けを示すユーザ入力データを入力するユーザ入力インターフェース、
を有するユーザインターフェースサブシステムと、
を有し、
前記一群の命令は、前記プロセッサにより実行された場合に、該プロセッサに、
− 前記ユーザによる前記物体の手動注釈付けを、前記機械学習アルゴリズムの学習入力として使用させ、
− 前記ユーザ入力データを入力する前に、前記視野窓のための前記倍率及び前記空間オフセットパラメータを、前記多重縮尺画像の何処で前記ユーザによる前記物体の手動注釈付けが前記機械学習アルゴリズムによる学習された物体の注釈付けにおいて変化基準を満たすような変化を生じるかを識別することにより決定させる。

本発明の他の態様は、前記システムを有するワークステーション又は撮像装置を提供する。

本発明の他の態様は画像内の物体の注釈付けを学習するコンピュータで実施される方法を提供し、該方法は、
− 画像の多重縮尺表現を表す画像データにアクセスするステップであって、該画像の多重縮尺表現が前記画像を異なる空間解像度で表す複数の縮尺を有する、アクセスするステップと、
− 機械学習アルゴリズムを使用して、前記多重縮尺画像の１以上の縮尺における物体の学習された注釈付けを得るステップと、
− 前記多重縮尺画像を見るためにディスプレイ上に視野窓を形成（確立）するステップであって、前記視野窓が、前記複数の縮尺のうちの何れが該視野窓内に示されるべきかを決定する倍率及び該縮尺の何の部分が示されるべきかを定める空間オフセットパラメータに基づいて設定（構成）可能である、形成（確立）するステップと、
− ユーザによる前記視野窓内の物体の手動注釈付けを示すユーザ入力データを入力するステップと、
を有し、
当該方法は、更に、
− 前記ユーザによる前記物体の手動注釈付けを、前記機械学習アルゴリズムの学習における訓練フィードバックとして使用するステップと、
− 前記ユーザ入力データを入力する前に、前記視野窓のための前記倍率及び前記空間オフセットパラメータを、前記多重縮尺画像の何処で前記ユーザによる前記物体の手動注釈付けが前記機械学習アルゴリズムによる学習された物体の注釈付けにおいて変化基準を満たすような変化を生じるかを識別することにより決定するステップ、
を有する。

本発明の他の態様は、プロセッサシステムに前記方法を実行させるように構成された命令を表す一時的又は非一時的データを有するコンピュータ読取可能な媒体を提供する。

上述した方策は、画像の多重縮尺表現の注釈付けを伴う。このような多重縮尺表現自体は既知である。限定するものでない例は、画像のピラミッド表現である。例えばデジタル病理学において、画像は、典型的に、ｎ番目の画像レベルが（ｎ−１）番目の画像レベルと比較して２倍低い解像度を有する多重解像度画像ピラミッドとして記憶される。他の限定するものでない例は、画像のスケール空間表現である。一般的に、このような多重縮尺表現は、同一の画像内容を異なる空間的詳細レベルで表す複数の縮尺（スケール）を有し又は提供する。

前述した方策は、更に、ユーザが多重縮尺画像をディスプレイ上の視野窓（ビューイングウインドウ）内で見ることを可能にする。該視野窓は、複数の画像縮尺のうちの何れが示されるかを決定する倍率（拡大縮小係数）により設定可能である。典型的に、選択される画像縮尺は視野窓より大きいので、該視野窓は１以上の設定可能な空間オフセットパラメータ（例えば、水平及び垂直オフセット）を有する。このような空間オフセットは、視野窓内での画像内容のパンニングを可能にすることができる。この段落で説明される機能は、それ自体、例えば医療用ワークステーションから既知であることに注意されたい。

前記方策は、更に、前記多重縮尺画像の１以上の縮尺における物体の注釈付けを形成するために機械学習アルゴリズムを用いることを伴う。このような機械学習アルゴリズムの限定するものでない例は、強化学習アルゴリズム又は畳み込みニューラルネットワークである。得られた注釈付けは、“学習された注釈付け”とも称する。当該機械学習アルゴリズムは、更に、ユーザによる当該物体の注釈付けを訓練フィードバックとして使用する。手動注釈付けは、ユーザにより、前記視野窓を用いて、例えば該視野窓内で輪郭を描くことにより又は画像注釈付けの分野においてそれ自体既知の何らかの他の方法で供給することができる。該手動注釈付けは、学習された注釈付けの補正を含むこともできる。例えば、手動注釈付けは、ユーザが注釈付けされた物体のラベルを補正することを含むことができる。特定の例において、手動注釈付けは、文献CN104537676と同一の又は同様の態様で訓練フィードバックとして使用することができる。この点に関し、注釈付けは分割又は輪郭描写を有することができるのみならず、既に分割された物体にラベルを割り当て又はラベルを変更することも含むことができることに注意されたい。

前記方策は、更に、前記視野窓のための倍率及び空間オフセットパラメータを自動的に決定するステップを伴う。即ち、該方策は前記多重縮尺画像の何処でユーザによる物体の手動注釈付けが当該機械学習アルゴリズムによる多重縮尺画像内の学習された物体の注釈付けに十分な変化を生じるかを識別する。ここで、“何処で”なる用語は、或る画像縮尺及び該画像縮尺内の空間位置を示すことができる。当該画像縮尺を識別することにより、視野窓のための倍率を識別することができる。該画像縮尺における空間位置を識別することにより、視野窓のための空間オフセットパラメータを決定することができる。次いで、該視野窓は、該倍率及び空間オフセットパラメータで自動的に設定（構成）することができる。代わりに、斯かる倍率及び空間オフセットパラメータはユーザに対して、例えば図形指示情報又はテキストの形で示され、ユーザが視野窓をそれに従って手動で設定することを可能にすることができる。

前記方策は、ユーザが前記多重縮尺画像における、該ユーザのフィードバックが当該機械学習アルゴリズムによる該多重縮尺画像内の学習された物体の注釈付けを十分に変化させると考えられる位置に向けられるという効果を有する。ここで、“十分に変化させる”なる用語は、変化基準を満たす変化であると技術的に理解されるべきである。例えば、該変化基準は絶対又は相対閾値であり得る。他の例は、該変化基準が最大の得られ得る変化を識別することができるというものである。このような変化は種々の尺度により定量化することができることが理解される。限定するものでない例は、或る尺度が、当該手動注釈付けを訓練フィードバックとして使用する前及び後の学習された注釈付けの間の差を決定することができるというものである。特定の例において、学習された注釈付けがピクセル単位のラベル付けを生じる場合、ピクセル単位のラベル付けの差を当該多重縮尺画像の全ピクセルにわたって総和して、当該変化の定量化を得ることができる。

当該多重縮尺画像の何処でユーザによる物体の手動注釈付けが当該機械学習アルゴリズムによる全体の学習された物体の注釈付けを十分に変化させるかを識別することにより、ユーザは自身のフィードバックが大きな貢献をもたらす場所に向かって誘導されるであろう。訓練フィードバックとして使用される場合に学習された注釈付けを大きく変化させない手動注釈付けは余分であると考えることができることが理解される。かくして、このようなタイプの手動注釈付けは回避することができる。有利にも、学習された注釈付けに対して殆ど影響を有さない手動注釈付けを回避することができることにより、ユーザは機械学習アルゴリズムの訓練の間において入力を一層選択的に供給することができる。

本発明の分野において、“手動注釈付けをシミュレーションする”とは、注釈付けが“自動的に”、即ちユーザを巻き込まないで、実行されると理解されることが分かる。このような自動的注釈付けは、通常、通常は手動注釈付けに基づくものであるグラウンドトゥルース／参照、及び手動注釈付けを訓練入力として使用する略全ての学習ベースの自動注釈付け技術に従う人の注釈者をシミュレーションしようとするものである。かくして、“手動注釈付けをシミュレーションする”という概念は、ユーザによるというより、プロセッサ／方法による自動的注釈付けを示す。

前記一群の命令は、前記プロセッサにより実行された場合に、該プロセッサに前記多重縮尺画像における何処で、前記ユーザによる前記物体の手動注釈付けが当該機械学習アルゴリズムによる前記学習された物体の注釈付けの最大変化又は絶対若しくは相対閾値を超える変化を生じるかを識別させることができる。このように、ユーザは、自身のフィードバックが当該機械学習アルゴリズムの訓練に対して最大の貢献又は閾値を超えることにより十分な貢献をもたらす場所に向かって誘導され得る。

例えば、前記一群の命令は、前記プロセッサにより実行された場合に、該プロセッサに、
− 前記多重縮尺画像の異なる縮尺における及び／又は各縮尺の異なる部分における物体の手動注釈付けをシミュレーションし、
− シミュレーションされた前記手動注釈付けを、前記機械学習アルゴリズムにおける異なる学習入力として使用し、
− 結果としての異なる学習された物体の注釈付けの変化を定量化して、前記機械学習アルゴリズムによる学習された物体の注釈付けにおける最大の変化をもたらすシミュレーションされた手動注釈付けを識別し、及び
− 前記視野窓のための前記倍率及び前記空間オフセットパラメータを識別された前記シミュレーションされた手動注釈付けに基づいて選択する、
ことにより、前記視野窓のための前記倍率及び前記空間オフセットパラメータを決定させることができる。

上記方策は、異なる手動注釈付けをシミュレーションすると共に、シミュレーションされた手動注釈付けの各々に関して結果的変化を定量化するステップを含む。このことは、当該機械学習アルゴリズムによる学習された物体の注釈付けにおいて最大の変化をもたらすシミュレーションされた手動注釈付けを識別することを可能にする。ユーザを該シミュレーションされた手動注釈付けが位置する画像縮尺及び位置に向かって誘導することにより、該ユーザは、自身のフィードバックが当該機械学習アルゴリズムの訓練に対して最大に貢献する場所に向かって誘導され得る。この点に関し、該シミュレーションされる手動注釈付けは、ユーザの手動注釈付けとは実際に相違しそうであることに注意されたい。例えば、該シミュレーションされる手動注釈付けは粗いもの、例えば局部ベースというより領域ベースでラベルを割り当てることを含むもの、であり得る。それにも拘わらず、該シミュレーションされる手動注釈付けは、ユーザによる後の手動注釈付けに対する最大の影響度の領域を識別することを可能にし得る。

オプションとして、前記一群の命令は、前記プロセッサにより実行された場合に、該プロセッサに、
− 各縮尺の前記多重縮尺画像を画像部分に分割させ、及び
− 前記物体の手動注釈付けを、前記画像部分の少なくとも１つに物体ラベルを割り当て又は該少なくとも１つの以前に割り当てられた物体ラベルを変更することによりシミュレーションさせる。

当該手動注釈付けは、例えば手動注釈付けの変化の影響を画像部分毎に定量化することにより、相対的に粗いレベルでシミュレーションすることができる。例えば、これら画像部分は、例えば８×８又は１６×１６ピクセルのブロックとすることができる。このことは、多重縮尺画像における何処でユーザによる物体の手動注釈付けが最大の変化を生じるかを識別する計算的複雑さを制限することを可能にする。代わりに、これら画像部分は、例えば分割アルゴリズムを用いて自動的に分割された物体とすることもできる。

オプションとして、前記プロセッサは、各画像部分における前記手動注釈付けにより影響を受ける変化の度合いのマップを発生するように構成することができ、前記ユーザインターフェースサブシステムは該マップを前記表示される多重縮尺画像に重ね合わせるように構成することができる。例えば、上記変化の度合いは、当該カラーの輝度、彩度又は色調が該変化の度合いに従って変化されるカラーコーティングを用いて視覚化することができる。

オプションとして、前記ユーザインターフェースサブシステムは、前記プロセッサにより決定された前記倍率及び前記空間オフセットパラメータを前記視野窓に自動的に適用するように構成される。このように、ユーザは注釈付けされるべき画像領域に向かって直接誘導される。

オプションとして、
− 前記ユーザインターフェースサブシステムは、ユーザにより選択される画像領域を決定するために、前記ユーザが、画像を見る間に前記視野窓のための前記倍率及び前記空間オフセットパラメータを手動で選択することを可能にするように構成され、
− 前記一群の命令は、前記プロセッサにより実行された場合に、該プロセッサに前記機械学習アルゴリズムを使用して前記ユーザにより選択された画像領域における学習された物体の注釈付けを取得させ、
− 前記ユーザインターフェースサブシステムは、前記視野窓において前記学習された物体の注釈付けを視覚化するように構成される。

このように、ユーザには、当該機械学習アルゴリズムにより提供される学習された注釈付けについてのフィードバックが提供される。かくして、ユーザによる手動注釈付けは、当該多重縮尺画像における現在の状態の学習された注釈付けを考慮に入れることができる。更に、当該手動注釈付けが学習された注釈付けの補正を伴う場合、ユーザは、これが視野窓内で見えるので、前記学習された注釈付けを容易に補正することができる。後者の目的で、前記ユーザインターフェースサブシステムは、オプションとして、前記ユーザが前記視野窓において前記学習された物体の注釈付けを手動で補正することを可能にするように構成することができ、前記一群の命令は、前記プロセッサにより実行された場合に、オプションとして該プロセッサに前記補正された注釈付けを前記機械学習アルゴリズムにおける訓練フィードバックとして使用させることができる。

オプションとして、前記一群の命令は、前記プロセッサにより実行された場合に、該プロセッサに前記機械学習アルゴリズムを前記多重縮尺画像の各縮尺に適用させ、これにより、各々が各縮尺における学習された物体の注釈付けを表す複数の注釈付けマップを得る。オプションとして、前記一群の命令は、前記プロセッサにより実行された場合に、該プロセッサに前記複数の注釈付けマップを組み合わせる又は重ね合わせることにより前記多重縮尺画像の意味記述を発生させる。異なる縮尺上での同時的注釈付けは、当該多重縮尺画像の意味的理解を提供する。例えば、一層精細な縮尺上では、異なる細胞型を検出することができる一方、一層粗い画像縮尺上では異なる組織型を検出することができる。前記複数の注釈付けマップを組み合わせ又は重ね合わせることにより、意味記述を、例えば、或る画像領域に関する意味記述を画像縮尺にまたがる同一の画像領域における注釈付けの関数として提供する規則セットに基づいて、自動的に発生することができる。

当業者によれば、上述した本発明の実施態様、構成例及び／又はオプション的態様の２以上は、有効と思われる如何なる方法で組み合わせることもできると理解されるであろう。

当該システムの上述した変更例及び変形例に対応するワークステーション、撮像装置、コンピュータで実施される方法及び／又はコンピュータプログラム製品の変更例及び変形例は、当業者により本説明に基づいて実施することができるものである。

当業者であれば、当該システム及び方法は、これらに限られるものではないが、標準的Ｘ線撮像、コンピュータトモグラフィ（ＣＴ）、磁気共鳴撮像（ＭＲＩ）、超音波（ＵＳ）、陽電子放射トモグラフィ（ＰＥＴ）、単一光子放射コンピュータトモグラフィ（ＳＰＥＣＴ）及び核医学（ＮＭ）等の種々の取得方式により取得される画像データに適用することができると理解するであろう。しかしながら、非医療的使用も考えられる。当該画像データは、非医療的画像データとすることもできる。

本発明の上記及び他の態様は、以下の記載において添付図面を参照して例示として説明される実施態様から明らかとなり、斯かる実施態様を参照して解説される。

図１は、物体の注釈付けを学習するためのシステムを示す。 図２は、多重縮尺画像を画像ピラミッドの形で示す。 図３は、ユーザが多重縮尺画像を見ることを可能にするために当該システムによりディスプレイ上で形成することができる視野窓を示す。 図４は、視野窓が学習される注釈付けに対し最大の影響力を有する画像領域を示すために当該システムにより自動的に設定されることを示す。 図５は、当該システムがユーザに当該影響力を視覚的に示すために視野窓内の画像コンテンツ上にオーバーレイを供給することを示す。 図６は、物体の注釈付けを学習するための方法を示す。 図７は、プロセッサシステムに当該方法を実行させるための命令を有するコンピュータ読取可能な媒体を示す。

各図は純粋に概略的なものであって寸法通りには描かれていないことに注意すべきである。各図において、既に説明された要素に対応する要素は、同一の符号を有し得る。

図１は、画像内の物体（対象）の注釈付けを学習するためのシステム１００を示す。システム１００は、画像の多重縮尺（マルチスケール）表現を表す画像データ０３０にデータ通信部０２２を介してアクセスするよう構成された画像データインターフェース１２０を有するように図示されている。当該画像の多重縮尺表現は、該画像を異なる空間解像度で表す複数の縮尺を有することができる。図１の例において、画像データインターフェース１２０は、当該多重縮尺画像の画像データ０３０を有する外部画像貯蔵部０２０に接続されるように図示されている。例えば、該画像貯蔵部０２０は、当該システム１００が接続され若しくは含まれ得る病院情報システム（ＨＩＳ）の画像保管通信システム（ＰＡＣＳ）により構成され又は該画像保管通信システムの一部とすることができる。従って、システム１００は上記ＨＩＳを介して多重縮尺画像の画像データ０３０にアクセスすることができる。代わりに、該多重縮尺画像の画像データ０３０は、システム１００の内部データ記憶部からアクセスすることができる。一般的に、画像データインターフェース１２０は、ローカルエリア若しくは広域ネットワーク（例えば、インターネット）に対するネットワークインターフェース、内部若しくは外部記憶部に対する記憶インターフェース等の種々の形態をとることができる。

システム１００は、更に、データ通信部１２２を介して画像データインターフェース１２０と内部的に通信するように構成されたプロセッサ１４０、該プロセッサ１４０によりデータ通信部１４２を介してアクセスすることが可能なメモリ１６０、並びに表示プロセッサ１８２及びユーザ入力インターフェース１８４を備え、データ通信部１４４を介してプロセッサ１４０と内部的に通信するように構成されたユーザインターフェースサブシステム１８０を有するように図示されている。

ユーザインターフェースサブシステム１８０は、当該システム１００の動作中において、ユーザが当該多重縮尺画像における物体を手動で注釈付けすることを可能にするよう構成することができる。この目的のために、表示プロセッサ１８２は、ディスプレイ０６０用の表示データ０６２を発生して、該ディスプレイ０６０上に多重縮尺画像を見るための視野窓（ビューイングウインドウ）を形成するように構成することができる。例えば、該視野窓は表示プロセッサ１８２により発生されるグラフィックユーザインターフェースの一部とすることができる。ユーザ入力インターフェース１８４は、ユーザにより操作可能なユーザ装置０８０からユーザ入力データ０８２を受信して該ユーザが手動注釈付けを示すことを可能にすると共に、恐らく一般的には前記グラフィックユーザインターフェースと対話することを可能にするよう構成される。

図１では外部ディスプレイであるとして図示されているが、ディスプレイ０６０は内部ディスプレイとすることもできる。当該視野窓は、表示プロセッサ１８２によりアクセス可能なメモリ（例えば、メモリ１６０又は当該システム１００の他のメモリである）にデータとして記憶された一連のインターフェース命令により表すことができる。ユーザ入力装置０８０は、これらに限られるものではないが、コンピュータマウス、タッチスクリーン、キーボード、マイクロフォン等の種々の形態をとることができる。図１は、該ユーザ入力装置がコンピュータマウス０８０であることを示している。一般的に、ユーザ入力インターフェース１８４は、ユーザ入力装置０８０のタイプに対応するタイプのものである。即ち、該インターフェースは、それに対応するユーザ装置インターフェースである。

プロセッサ１４０は、当該システム１００の動作の間において、前記多重縮尺画像の１以上の縮尺における物体の学習された注釈付けを得るために機械学習アルゴリズムを使用するように構成することができる。該機械学習アルゴリズムは、メモリ１６０にデータとして記憶された一連の命令により表すことができる。機械学習アルゴリズムの例は、これらに限られるものではないが、ディープラーニングアルゴリズム、例えば畳み込みニューラルネットワークを含む。このようなアルゴリズム自体は、機械学習及びコンピュータビジョンの分野で既知である。

図１には示されていないが、当該ディスプレイ上に形成される視野窓は、前記複数の縮尺のうちの何れが該視野窓内に示されるべきかを決定する倍率及び該縮尺の何の部分が該視野窓内に示されるべきかを定める空間オフセットパラメータに基づいて設定（構成）可能なものとすることができる。プロセッサ１４０は、当該システム１００の動作の間において、当該視野窓のための倍率及び空間オフセットパラメータを、当該多重縮尺画像における何処で、ユーザによる当該物体の手動注釈付けが物体の学習された注釈付けに変化を生じさせるかを、変化評価基準を満たす当該機械学習アルゴリズムにより識別することにより決定するよう構成することができる。かくして、当該手動注釈付けを、プロセッサ１４０により識別された多重縮尺画像における所望の領域で実行することができる。

システム１００の動作を、該システムの種々のオプション的側面を含み、更に図２〜図５を参照して説明する。

一般的に、図１のシステムは、ワークステーション又は撮像装置等の装置若しくは機器として（又は、内に）具現化することができる。該装置若しくは機器は、適切なソフトウェアを実行する１以上の（マイクロ）プロセッサを有することができる。当該システムの前記プロセッサ及び表示プロセッサは、各々、これら（マイクロ）プロセッサの１以上により、又は同じ（マイクロ）プロセッサにより具現化することができる。例えば当該システムの機械学習アルゴリズム、視野窓若しくは該視野窓を有するグラフィックユーザインターフェース及び／又は他の機能を実施化するソフトウェアは、対応するメモリ又は複数のメモリに（例えば、ＲＡＭ等の揮発性メモリに又はフラッシュ等の不揮発性メモリに）ダウンロードされた及び／又は記憶されたものとすることができる。他の例として、当該システムのプロセッサ及び表示プロセッサは、上記機器若しくは装置内に、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックの形態で実施化することもできる。前記画像データインターフェース及びユーザ入力インターフェースは、斯かる機器若しくは装置の各インターフェースにより実施化することができる。一般的に、当該システムの各ユニットは、回路の形態で実施化することができる。当該システムは分散された（例えば、異なる機器若しくは装置を含む）態様で実施化することもできることに注意されたい。例えば、当該システムの分散は、例えば、サーバ及びシンクライアントＰＡＣＳワークステーションを用いるクライアント／サーバモデルに則ったものとすることができる。

図２は、図１のシステム１００により入力として使用することができる多重縮尺画像２００を、画像の多重縮尺表現の一例である画像ピラミッドの形態で示す。図２に見られるように、該多重縮尺画像２００は複数の画像縮尺（図２は、明瞭化の理由で、限られた数の縮尺のみを示す）を含むことができる。例示として、図２の多重縮尺画像はデジタル病理画像とすることができる。このようなデジタル病理画像は典型的に多重解像度画像ピラミッドとして記憶され、その場合において、ｎ番目の画像レベルは（ｎ−）番目の画像レベルと比較して２倍低い解像度を有する。図２の例において、画像縮尺“0”２０８は“生の”病理画像（例えば、本来の撮像解像度に対応する）に対応することができる一方、一層高い画像縮尺（例えば、縮尺“５”２０６、縮尺“６”２０４及び縮尺“８”２０２）は３２、６４及び２５６倍、各々、減少された解像度を有することができる。このような縮尺は“レベル”とも称することができることに注意されたい。

各画像縮尺の一定のサイズの部分（例えばＸ×Ｙピクセルの窓）を見るユーザにとり、画像内容及び前後関係は各画像縮尺において非常に異なって出現し得る。例えば、ユーザは、画像縮尺“０”２０８においては個々の細胞２２０を知覚することができる一方、画像縮尺“５”２０６及びそれ以上では微少臓器及び異なる組織２１０を見ることになる。

図３は、ユーザが多重縮尺画像を見ることを可能にするために当該システムによりディスプレイ上に形成することができる視野窓（ビューイングウインドウ）３００を示す。このような視野窓３００は、選択された各画像縮尺の上述した一定サイズの部分を表示することができる。図３の例において、該視野窓は、組織２１０を示す画像縮尺において（例えば、画像縮尺５又は６において）当該多重縮尺画像を表示するように図示されている。ユーザは該視野窓を用いて当該多重縮尺画像をズームイン又はズームアウトすることができ、これにより、当該システムを他の画像縮尺を表示するようにさせることができる。この目的のために、ユーザは倍率を表すスライダ３１０等のＵＩエレメントを使用することができる。同様に、選択された画像縮尺をパン（平行移動）するために、ユーザは水平及び／又は垂直空間オフセットを選択するためのスライダ３２０，３３０等のＵＩエレメントを使用し、これにより当該画像内容を該視野窓内でパンすることができる。

図１を参照して簡単に説明したように、図３の視野窓はユーザにより訓練フィードバックを供給するために（即ち、物体を手動で注釈付けすることにより）使用することができる。例えば、ユーザは、物体の輪郭を描き、画像部分に物体のラベルを割り当て、又は当該機械学習アルゴリズムにより割り当てられた物体ラベルを変更することができる。

細胞及び組織等の物体の手動注釈付けのために図３に示されたような視野窓を使用すること自体は既知である。しかしながら、病理画像の例においては細胞機能が前後関係に依存することが理解されるであろう。当該細胞が何の組織／臓器内に位置するかが分かる場合、該細胞の型を区別することは一層容易になる。即ち、細胞は、このような前後関係に依存して異なる細胞型及び機能に帰属し得る。病理学者は、典型的に、特定の組織／細胞型を注釈付け／検出するために異なる倍率レベル上の画像前後関係を暗黙的に使用している。即ち、前後関係から個々の細胞を分類するよりも特定の細胞／組織の組み合わせを悪性又は健康として分類するほうが容易であり得る。更に、異なる分類を用いて、幾つかの細胞／組織型を同時に、一貫した方法で、注釈付け及び分類することが一層容易であり得る。

注釈付けの観点から、注釈付けされる／分割される物体の前後関係は、特定の視野窓内で見えると共に特定の解像度でサンプリングされた複数の全ての他の物体と考えることができる。ユーザがズームイン／アウトする場合、当該物体の前後関係は、量（例えば、見える物体の数）及び質（例えば、特定の解像度における物体のピクセル表現は相違する）の両方において変化し得る。例えば、ズームインされた画像の場合、或る細胞の前後関係は複数の隣接する細胞であり得る一方、ズームアウトされた画像の場合、前後関係は複数の周囲の組織であり得る。

多重縮尺画像を注釈付けする従来の方法において、画像の注釈付けは、通常、正確な倍率値についての情報が維持されないような特定の倍率で実施されている。注釈付けのために選択される倍率は、注釈付け速度、正確さ及び一貫性の間の妥協であり得る。このように、高いズーム率において、注釈付けは正確になり得るが、視野窓内の物体しか直接的に比較することができず、周囲の細胞構造及び組織の前後関係は該視野窓の境界を超えるものとなるので、低速で余り一貫性のなりものとなり得る。低いズーム率の場合、注釈付けは一層速くなるが、個々の細胞は殆ど見えないので余り正確ではない。

図４は、学習される注釈付けに対して最大の影響を有する画像領域を自動的に示すように構成された図１のシステムの結果を示す。即ち、視野窓３００は異なる画像縮尺、即ち個々の細胞２２０が示される図２の画像縮尺“０”を示すことが分かる。更に、最大影響度の特定の画像領域を示す水平及び垂直空間オフセットパラメータが選択されたものであり得る。ここで、“最大影響度の画像領域”なる用語は、ユーザによる手動注釈付けが機械学習アルゴリズムにより学習される注釈付けの曖昧さを最大に解決すると見なされる画像縮尺及び画像位置と理解される。上記最大影響度は、当該多重縮尺画像における学習された注釈付けの、手動注釈付けが適用される画像領域の関数としての変化の程度を決定すると共に、最大の変化に関連する画像領域を選択することにより計算することができる。他の例として、上記画像領域は、学習された注釈付けの変化が相当のものである（例えば、絶対又は相対閾値を超えることにより）ことに基づいて識別することもできる。かくして、“最大影響度”なる参照は、“十分な影響度”にも当てはまり得る。

最大影響度の画像領域を識別するために、当該システムのプロセッサは、シミュレーションされた手動注釈付けの結果の変化の程度を定量化することにより、視野窓（これにより画像領域）のための倍率及び空間オフセットパラメータを決定するように（適切な命令により）構成することができる。例えば、該プロセッサは、物体の手動注釈付けを異なる縮尺で及び／又は多重縮尺画像の各縮尺の異なる部分においてシミュレーションし、該シミュレーションされた手動注釈付けを当該機械学習アルゴリズムへの異なる学習入力として使用し、結果としての物体の異なる学習された注釈付けの変化を定量化して、当該機械学習アルゴリズムによる物体の学習された注釈付けの最大変化をもたらすようなシミュレーションされた手動注釈付けを識別し、該識別されたシミュレーションされた手動注釈付けに基づいて視野窓のための倍率及び空間オフセットパラメータを選択することができる。

他の例において、当該システムは該システムにより反復的に実行することが可能な以下の擬似コードを実行することができる：
Ａ．ユーザ又はシステムは倍率及び空間オフセットを選択する
Ｂ．多重縮尺画像の全画像部分に対して、以下を実行する：
ａ．ラベルを選択する
ｂ．（教師なし）分割方法を選択する
ｃ．教師なしアルゴリズムを使用して画像部分をクラスタに分割する
ｄ．ラベルを割り当て／消去することにより分割マップを編集する
ｅ．機械学習アルゴリズムを更新する
ｆ．上記ステップによりもたらされた変化を定量化する
Ｃ．ユーザによる注釈付けが自動注釈付けマップに最大に影響を与える画像部分を提供する倍率及び空間オフセットを検索する（これは、当該システムによりステップＡに戻る場合に選択することができる）。ステップａ〜ｂは注釈付けマップの最初の再計算以降に対してオプションとすることができることに注意されたい。

ユーザによる手動注釈付けをシミュレーションするために画像内容をクラスタに分割する代わりに、画像内容の規則的仕切り（regular partitioning）を用いることができる。例えば、画像内容を、ユーザによる特定のブロックの手動注釈付けをシミュレーションするために当該ラベルが変更され得るようなブロックに仕切ることができる。特定の例において、当該システムは該システムにより反復的に実行することができる下記の擬似コードを実行することができる。最初に、当該多重縮尺画像は、例えば８×８ピクセルのブロックに分割することができる。次いで、各又は一群のブロックの“影響度”を：
ａ）ブロックのラベルを変更する
ｂ）ラベルが変更されたブロックを手動注釈付けと見なす
ｃ）機械学習アルゴリズムを更新する
ｄ）異なって注釈付けされたピクセルの数を計数する（このピクセル数は当該ブロックの“影響度”と見なすことができる）
により計算することができる。

ブロック又は他の画像部分が識別されたなら、倍率及び空間オフセットパラメータ（又は複数のパラメータ）は当該特定のブロック又は画像部分を有する画像領域を示すために選択することができることに注意されたい。例えば、該倍率及び空間オフセットパラメータ（又は複数のパラメータ）は、当該特定のブロック又は画像部分に中心が合い得る。

一般的に、当該プロセッサは各縮尺の多重縮尺画像を分割又は仕切りにより画像部分に分割すると共に、当該物体の手動注釈付けを、斯かる画像部分の少なくとも１つに物体ラベルを割り当て又は該少なくとも１つに以前に割り当てられた物体ラベルを変更することによりシミュレーションすることができる。特定の画像部分の影響度は、該特定の画像部分がラベルを変更するとして、ラベルを変更する画像部分のサイズとして計算することができる。ここで、“ラベルを変更する”なる用語は、細胞型等の物体の型の変更を含むことができるのみならず、注釈付けの間において割り当てることができる如何なる他の種類のラベル付けも含む。

図５は、当該システムが、ユーザに当該画像部分を視覚的に示すために視野窓内に示された画像領域上にオーバーレイ３５０を供給している場合を示す。該オーバーレイ３５０は、当該画像領域における何処でユーザによる手動注釈付けが学習される注釈付けに最大に影響を与えると考えられるかを示すことができる。オーバーレイ３５０を発生するために、当該システムは、決定されたシミュレーションされた手動注釈付けの影響度を利用することができる。オーバーレイ３５０は当該画像縮尺上の透明なカラーオーバーレイとすることができ、その場合において、透明度、輝度、色調、彩度又は他の視覚的特性をシステムにより当該画像部分における手動注釈付けの影響度に比例して選択することができる。図５の例において、一層暗い陰影は一層少ない影響度を示す一方、一層明るい陰影は一層高い影響度を示す。

一般的に、当該システムにより異なる倍率レベルで取得された注釈付けマップは、画像前後関係の意味記述を提供するために組み合わせることができる。当該システムは該意味記述を、ａ）画像注釈付けと首尾一貫したものとなる（例えば、該意味記述が手動注釈付けと一致する）、ｂ）画像内容と首尾一貫したものとなる（例えば、該画像内容の同様のピクセルに同様の意味記述が割り当てられる）ように自動的に作成／改善することができる。この目的のために、当該システムは各画像縮尺に関して得られた注釈付けマップを組み合わせ又は重畳することができる。例えば、一層精細な解像度レイヤ上のセグメント上の或る注釈付けマップが個々の細胞を区分けする一方、一層粗い解像度レイヤ上の他の注釈付けマップが“血管”と“筋細胞”との間を区別する場合、これらの注釈付けマップを組み合わせることにより、“血管細胞”及び“筋細胞”を識別することができる。規則に基づくシステム、ルックアップテーブル又は同様の技術を、意味記述を得るために用いることができる。例えば、規則に基づくシステムは、特定の空間位置が与えられたとして、細胞が精細な解像度レイヤにおいて識別され、筋組織が粗い解像度レイヤにおいて識別された場合、当該意味記述は“筋細胞”であると決定することができる。

当該システムは、以下の特定の前後関係で有利に使用することができることが分かる。画像注釈付け処理の間において、病理学者が当該多重縮尺画像を閲覧及びズームする間に、当該システムは現視野窓内の画像内容を自動的に分析して自動注釈付けマップ（又は複数のマップ）を提案することができる。該病理学者は、これらの注釈付けマップを、誤って分類されたラベル（例えば、細胞又は組織型）を排除することにより見直すことができる。該病理学者は自身の新たな分割又は新たなラベルを指定することにより新たな注釈付けを供給することもできる。これら注釈付けマップは、画像縮尺（例えば、解像度レベル）固有のものであると考えられ、従って、限られた範囲の隣接する画像縮尺内でのみ見えるように定義され得るものである。しかしながら、該限られた範囲の画像縮尺内で、斯かる注釈付けマップは見えるように伝搬させることもできる。

更に、当該機械学習アルゴリズムは画像縮尺の各々において併行して訓練することもできることが分かる。該機械学習アルゴリズムは、現画像座標において利用可能な全ての手動注釈付けの重ね合わせに依存するコスト関数を有することができる。該機械学習アルゴリズムはディープラーニングアルゴリズムとすることができる。

図６は、画像内の物体の注釈付けを学習するためのコンピュータで実施される方法４００を示す。方法４００は、必要ではないが、図１等を参照して説明したシステム１００の動作に対応し得る。

方法４００は、“ACCESSING IMAGE DATA”なる名称の処理において、画像の多重縮尺表現を表す画像データにアクセスするステップ４１０を有する。方法４００は、更に、“OBTAINING LEARNED ANNOTATION OF OBJCTS”なる名称の処理において、前記多重縮尺画像の１以上の縮尺における物体の学習された注釈付けを得るために機械学習アルゴリズムを使用するステップ４２０を有する。該方法４００は、更に、“ESTABLISHING VIEWING WINDOW”なる名称の処理において、多重縮尺画像を見るためにディスプレイ上に視野窓を形成（確立）するステップ４３０を有する。該方法４００は、更に、“IDENTIFYING IMAGE AREA OF INFLUENCE”なる名称の処理において、当該多重縮尺画像における何処で、ユーザによる物体の手動注釈付けが当該機械学習アルゴリズムにより学習された物体の注釈付けの変化基準を満たす変化を生じるかを識別するステップ４４０を有する。該方法４００は、更に、“CONFIGURING VIEWING WINDOW”なる名称の処理において、当該視野窓のための倍率及び空間オフセットパラメータを決定するステップ４５０を有する。該方法４００は、更に、“RECEIVING MANUAL ANNOTATION”なる名称の処理において、ユーザによる当該視野窓内の物体の手動注釈付けを示すユーザ入力データを入力するステップ４６０を有する。該方法４００は、更に、“USING MANUAL ANNOTATION AS TRAINING FEEDBACK”なる名称の処理において、ユーザによる当該物体の手動注釈付けを当該機械学習アルゴリズムの学習における訓練フィードバックとして使用するステップ４７０を有する。

上述した処理は、適用可能な場合において特定の順序が例えば入力／出力の関係により必要とされるなら、例えば連続的に、同時に又はこれらの組み合わせ等のように、如何なる適切な順序で実行することもできることが理解される。

方法４００は、コンピュータ上でコンピュータにより実施される方法として、専用のハードウェアとして、又は両者の組み合わせとして実施化することができる。図７にも示された通り、斯かるコンピュータのための命令（例えば、実行可能なコード）は、コンピュータ読取可能な媒体５００上に、例えばマシン読取可能な物理的マークの系列５１０、及び／又は異なる電気的、磁気的又は光学的特性若しくは値の系列の形態で記憶することができる。上記実行可能なコードは一時的又は非一時的態様で記憶することができる。コンピュータ読取可能な媒体の例は、メモリ装置、光学記憶装置、集積回路、サーバ、オンラインソフトウェア等を含む。図７は光ディスク５００を示す。

制限するものでないと示されるか否かに拘わらず、例、実施態様又はオプションとしてのフィーチャは、請求項に記載された発明を限定する如くに理解されてはならない。

本発明は、本発明を実施させるように構成されたコンピュータプログラム、特に担体上又は内のコンピュータプログラムにも当てはまることが理解される。斯かるプログラムは、ソースコード、オブジェクトコード、部分的にコンパイルされた形態における等のソースコード及びオブジェクトコードの中間のコード、又は本発明による方法の実施に使用するのに適した何らかの他の形態等の形態とすることができる。このようなプログラムは多くの異なるアーキテクチャ設計を有することができることも理解される。例えば、本発明による方法又はシステムの機能を実施化するプログラムコードは、１以上のサブルーチンに分割することができる。これらのサブルーチンの間に当該機能を分散させる多くの異なる方法が、当業者にとり明らかであろう。斯かるサブルーチンは、自己充足型プログラムを形成するために１つの実行可能なファイルに一緒に記憶することができる。このような実行可能なファイルは、コンピュータ実行可能な命令、例えばプロセッサ命令及び／又はインタープリタ命令（例えば、ジャバインタプリタ命令）を有することができる。他の例として、前記サブルーチンの１以上又は全ては、少なくとも１つの外部ライブラリファイルに記憶され、主プログラムと静的に又は動的に（例えば、実行時に）リンクされるようにすることができる。該主プログラムは、前記サブルーチンの少なくとも１つに対する呼び出し（コール）を含む。これらサブルーチンは、互いに対する機能呼び出しを有することもできる。コンピュータプログラム製品に関する実施態様は、ここに記載される方法の少なくとも１つの各処理段に対応するコンピュータ実行可能な命令を有する。これらの命令は、サブルーチンに分割することができ、及び／又は静的若しくは動的にリンクされ得る１以上のファイルに記憶することができる。コンピュータプログラム製品に関する他の実施態様は、ここに記載されるシステム及び／又は製品の少なくとも１つの各手段に対応するコンピュータ実行可能な命令を有する。これらの命令は、サブルーチンに分割することができ、及び／又は静的若しくは動的にリンクされ得る１以上のファイルに記憶することができる。

コンピュータプログラムの担体は、当該プログラムを担持することができる如何なる主体又は装置とすることもできる。例えば、該担体は、ＲＯＭ（例えば、ＣＤ ＲＯＭ）又は半導体ＲＯＭ等のデータ記憶部、又は磁気記録媒体（例えば、ハードディスク）を含むことができる。更に、該担体は、電気若しくは光ケーブルを介して又は他の手段により伝送することができる電気若しくは光信号等の伝送可能な担体とすることができる。当該プログラムが斯様な信号において具現化される場合、当該担体は斯様なケーブル又は他の装置若しくは手段により構成され得る。他の例として、当該担体は当該プログラムが内蔵された集積回路とすることができ、該集積回路は関連する方法を実行するように構成され又は該方法の実行に使用される。

上述した実施態様は本発明を限定するというよりも解説するものであり、当業者であれば、多くの代替実施態様を添付請求項の範囲から逸脱することなく設計することができることに注意すべきである。尚、請求項において、括弧内に記載された如何なる符号も当該請求項を限定するものと見なしてはならない。また、単数形の要素は複数の斯様な要素の存在を排除するものではない。また、本発明は、幾つかの別個の要素を有するハードウェアにより、及び適切にプログラムされたコンピュータにより実施化することができる。また、幾つかの手段を列挙する装置の請求項において、これら手段の幾つかは１つの同一のハードウェア品目により具現化することができる。また、特定の手段が互いに異なる従属請求項に記載されているという単なる事実は、これら手段の組み合わせを有利に使用することができないということを示すものではない。

符号の以下のリストは、図面の解釈を容易にするために提供されるもので、請求項を限定するものと見なしてはならない。
０２０ 画像貯蔵部
０２２ データ通信部
０３０ 画像データ
０６０ ディスプレイ
０６２ 表示データ
０８０ ユーザ入力装置
０８２ ユーザ入力データ
１００ 物体の注釈付けを学習するシステム
１２０ 画像データインターフェース
１２２ 内部データ通信部
１４０ プロセッサ
１４２，１４４ 内部データ通信部
１６０ メモリ
１８０ ユーザインターフェースサブシステム
１８２ 表示プロセッサ
１８４ ユーザ入力インターフェース
２００ 画像の多重縮尺表現
２０２〜２０８ 画像縮尺
２１０ 組織
２２０ 細胞
３００ 視野窓（ビューイングウインドウ）
３１０，３１２ 倍率のためのＵＩエレメント
３２０，３２２ 水平オフセットのためのＵＩエレメント
３３０，３３２ 垂直オフセットのためのＵＩエレメント
３５０ 影響のある画像領域を示すオーバーレイ
４００ 物体の注釈付けを学習する方法
４１０ 画像データにアクセスするステップ
４２０ 学習された物体の注釈付けを得るステップ
４３０ 視野窓を形成するステップ
４４０ 影響のある画像領域を識別するステップ
４５０ 視野窓を設定するステップ
４６０ 手動注釈付けを入力するステップ
４７０ 手動注釈付けを訓練フィードバックとして使用するステップ
５００ コンピュータ読取可能な媒体
５１０ 命令を表す非一時的データ

Claims (14)

1. 画像内の物体の注釈付けを学習するシステムであって、前記システムは、
   画像の多重縮尺表現を表す画像データにアクセスする画像データインターフェースであって、該画像の多重縮尺表現が前記画像を異なる空間解像度で表す複数の縮尺を有する画像データインターフェースと、
   一群の命令を表す命令データを有するメモリと、
   前記画像データインターフェース及び前記メモリと通信し、前記一群の命令を実行するプロセッサであって、該一群の命令が、該プロセッサにより実行された場合に、該プロセッサに機械学習アルゴリズムを使用して、前記多重縮尺画像の１以上の縮尺における物体の学習された注釈付けを得るようにさせるプロセッサと、
   ｉ）前記多重縮尺画像を見るためにディスプレイ上に視野窓を形成する表示プロセッサであって、前記視野窓が、前記複数の縮尺のうちの何れが該視野窓内に示されるべきかを決定する倍率及び該縮尺の何の部分が示されるべきかを定める空間オフセットパラメータに基づいて設定可能である表示プロセッサ、及び
   ii）ユーザによる前記視野窓内の物体の手動注釈付けを示すユーザ入力データを入力するユーザ入力インターフェース、
   を有するユーザインターフェースサブシステムと、
   を有し、
   前記一群の命令は、前記プロセッサにより実行された場合に、該プロセッサに、
   前記多重縮尺画像の異なる縮尺における及び／又は各縮尺の異なる部分における物体の手動注釈付けをシミュレーションさせ、
   シミュレーションされた前記手動注釈付けを、前記機械学習アルゴリズムにおいて異なる学習入力として使用させ、
   結果としての異なる学習された物体の注釈付けの変化を定量化して、前記機械学習アルゴリズムによる学習された物体の注釈付けにおける最大の変化又は絶対若しくは相対閾値を超える変化をもたらすシミュレーションされた手動注釈付けを識別させ、
   前記視野窓のための前記倍率及び前記空間オフセットパラメータを識別された前記シミュレーションされた手動注釈付けに基づいて選択させ、及び
   前記ユーザ入力データを入力した後に、前記ユーザによる前記物体の手動注釈付けを前記機械学習アルゴリズムの学習入力として使用させる、
   システム。
2. 前記一群の命令が、前記プロセッサにより実行された場合に、該プロセッサに、
   各縮尺の前記多重縮尺画像を画像部分に分割させ、及び
   前記物体の手動注釈付けを、前記画像部分の少なくとも１つに物体ラベルを割り当て又は該少なくとも１つの以前に割り当てられた物体ラベルを変更することによりシミュレーションさせる、
   請求項１に記載のシステム。
3. 前記一群の命令は、前記プロセッサにより実行された場合に、該プロセッサに各画像部分における前記手動注釈付けにより影響を受ける変化の度合いのマップを発生させ、前記ユーザインターフェースサブシステムが前記視野窓に前記マップを重ね合わせる、請求項２に記載のシステム。
4. 前記ユーザインターフェースサブシステムが、前記プロセッサにより決定された前記倍率及び前記空間オフセットパラメータを前記視野窓に自動的に適用する、請求項１ないし３の何れか一項に記載のシステム。
5. 前記ユーザインターフェースサブシステムは、ユーザにより選択される画像領域を決定するために、前記ユーザが、画像を見る間に前記視野窓のための前記倍率及び前記空間オフセットパラメータを手動で選択することを可能にし、
   前記一群の命令は、前記プロセッサにより実行された場合に、該プロセッサに前記機械学習アルゴリズムを使用して前記ユーザにより選択された画像領域における学習された物体の注釈付けを取得させ、
   前記ユーザインターフェースサブシステムが、前記視野窓において前記学習された物体の注釈付けを視覚化する、
   請求項１ないし４の何れか一項に記載のシステム。
6. 前記ユーザインターフェースサブシステムは、前記ユーザが前記視野窓において前記学習された物体の注釈付けを手動で補正することを可能にし、
   前記一群の命令は、前記プロセッサにより実行された場合に、該プロセッサに前記補正された注釈付けを前記機械学習アルゴリズムにおける学習入力として使用させる、請求項５に記載のシステム。
7. 前記一群の命令が、前記プロセッサにより実行された場合に、該プロセッサに前記機械学習アルゴリズムを前記多重縮尺画像の各縮尺に適用させ、これにより、各々が各縮尺における学習された物体の注釈付けを表す複数の注釈付けマップを得る、請求項１ないし６の何れか一項に記載のシステム。
8. 前記一群の命令が、前記プロセッサにより実行された場合に、該プロセッサに前記複数の注釈付けマップを組み合わせる又は重ね合わせることにより前記多重縮尺画像の意味記述を発生させる、請求項７に記載のシステム。
9. 前記機械学習アルゴリズムが畳み込みニューラルネットワークを有する、請求項１ないし８の何れか一項に記載のシステム。
10. 請求項１ないし９の何れか一項に記載のシステムを有する、ワークステーション。
11. 請求項１ないし９の何れか一項に記載のシステムを有する、撮像装置。
12. 請求項１ないし９の何れか一項に記載のシステムを用いて訓練される機械学習アルゴリズムを表す一時的又は非一時的データを有する、コンピュータ読取可能な媒体。
13. 画像内の物体の注釈付けを学習するコンピュータで実施される方法であって、前記方法は、
    画像の多重縮尺表現を表す画像データにアクセスするステップであって、該画像の多重縮尺表現が前記画像を異なる空間解像度で表す複数の縮尺を有する、アクセスするステップと、
    機械学習アルゴリズムを使用して、前記多重縮尺画像の１以上の縮尺における物体の学習された注釈付けを得るステップと、
    前記多重縮尺画像を見るためにディスプレイ上に視野窓を形成するステップであって、前記視野窓が、前記複数の縮尺のうちの何れが該視野窓内に示されるべきかを決定する倍率及び該縮尺の何の部分が示されるべきかを定める空間オフセットパラメータに基づいて設定可能である、形成するステップと、
    ユーザによる前記視野窓内の物体の手動注釈付けを示すユーザ入力データを入力するステップと、
    を有し、
    当該方法が、更に、
    前記多重縮尺画像の異なる縮尺における及び／又は各縮尺の異なる部分における物体の手動注釈付けをシミュレーションするステップと、
    シミュレーションされた前記手動注釈付けを、前記機械学習アルゴリズムにおいて異なる学習入力として使用するステップと、
    結果としての異なる学習された物体の注釈付けの変化を定量化して、前記機械学習アルゴリズムによる学習された物体の注釈付けにおける最大の変化又は絶対若しくは相対閾値を超える変化をもたらすシミュレーションされた手動注釈付けを識別するステップと、
    前記視野窓のための前記倍率及び前記空間オフセットパラメータを識別された前記シミュレーションされた手動注釈付けに基づいて選択するステップと、
    前記ユーザ入力データを入力した後に、前記ユーザによる前記物体の手動注釈付けを前記機械学習アルゴリズムの学習入力として使用するステップと、
    を有する、方法。
14. プロセッサシステムに請求項１３に記載の方法を実行させる命令を表す一時的又は非一時的データを有する、コンピュータ読取可能な媒体。

Images