JP6014059B2 - 医療データの知的リンキング方法及びシステム - Google Patents

Description

本発明は、医療データの知的リンキング（リンク付け）方法及びシステムに関する。

例えば放射線医や癌専門医などの医師が診断に使用する情報の量は、患者を最適に治療するために、ますます増大している。例えば、癌を持つ患者は、頻繁に撮像検査を受け、時間とともにたくさんの検査結果を自身の医療記録に有することになる。医師は新たな検査結果を読み取る度に、以前に特定した病変の進行を決定するため、且つ／或いは新たな病変を発見するために、現在の検査結果を過去のものと比較する必要がある。この作業は、画像及びレポートの双方で、所見を読み取り、比較し、解釈し、そして相関付けることを医師に要求する。これらの活動は、ワークフローの観点から時間のかかるものであるとともに、臨床の観点からチャレンジングなものである。

乳癌治療の分野において、マンモグラフィは、低線量のＸ線（例えば、約０．７ｍＳｖ）を用い、診断・スクリーニングツールと連携して人間の胸部を検査するプロセスである。マンモグラフィの目的は、典型的には特徴的な塊、病変及び／又は微小石灰化の検出を通じての、乳癌の早期発見である。マンモグラフィは、乳癌による死亡率を低下させるものと信じられている。それ以外の撮像技術でリスクを低下させることを示しているものはないが、それ以外の胸部変化認識及び医師検査も通常の胸部治療の必須部分であると考えられる。

従って、正確且つ一貫性をもって病変に注釈付けすることが、臨床決定を支援する上で非常に重要である。

注釈を含む関心領域の画像からコンテキスト情報を抽出する抽出モジュールと、抽出されたコンテキスト情報と前記注釈とを用いて現在の特徴ベクトルを構築する特徴選択モジュールと、現在の特徴ベクトルと過去画像の過去の特徴ベクトルとの間の類似性スコアを計算する参照エンジンと、を有するシステムが開示される。

さらに、抽出モジュールにより、注釈を含む関心領域の画像からコンテキスト情報を抽出するステップと、特徴選択モジュールにより、抽出されたコンテキスト情報と前記注釈とを用いて現在の特徴ベクトルを構築するステップと、参照エンジンにより、現在の特徴ベクトルと過去画像の過去の特徴ベクトルとの間の類似性スコアを計算するステップと、を有する方法が開示される。

さらに、プロセッサによって実行可能な命令セットを格納した持続的なコンピュータ読み取り可能記憶媒体が開示され、該命令セットは少なくとも、注釈を含む関心領域の画像からコンテキスト情報を抽出し、抽出されたコンテキスト情報と前記注釈とを用いて現在の特徴ベクトルを構築し、且つ現在の特徴ベクトルと過去画像の過去の特徴ベクトルとの間の類似性スコアを計算するよう作用する。

典型的な一実施形態に従った、注釈付けツールを用いてユーザ記述される医用画像の典型的なスクリーン画面を示す図である。 典型的な一実施形態に従った、複数の異なるモダリティから受信した医学的データを知的にリンク付けるデータリンキングツールを示す図である。 典型的な一実施形態に従った、複数の異なるモダリティから受信した注釈をマッチングする典型的なスクリーン画面を示す図である。 典型的な一実施形態に従った、複数の異なるモダリティから受信した医学的データを知的にリンク付ける典型的な方法を示す図である。

以下の典型的な実施形態の説明及び関連する添付図面を参照することで、典型的な実施形態が更に理解され得る。図面において、同様の要素には同一の参照符号を付する。これらの典型的な実施形態は、例えば超音波（“ＵＳ”）データ、磁気共鳴撮像（“ＭＲＩ”）データ、及びマンモグラフィ（“ＭＧ”）データなど、複数の異なるモダリティから受信される医学的所見を知的に組み合わせるシステム及び方法に関する。更に詳細に後述するように、これらの典型的な実施形態は、医師（例えば、放射線医、癌専門医など）が効率的に、モダリティにまたがる患者の現在の医用画像及び記録の全てを、その患者の過去の医用画像及び記録と比較することを可能にする。故に、医師は、患者の１つ以上の病変からの複数の所見に関して利用可能な全ての情報を提供されて、それらの病変の進行を容易に調べることができる。

医師がこのような比較作業を行うことを助けるソリューションが提案される。例えば、ＢＩ−ＲＡＤＳ（Breast Imaging-Reporting and Data System）は、乳癌検査結果を標準化された語彙を用いて構造的に文書化するように設計された品質保証ツールである。具体的には、このシステムは、放射線医が画像上の病変に注釈を付け、その注釈をデータベースに保存することを可能にする。ＢＩ−ＲＡＤＳは、数多くの健康推進団体の協働努力の賜であり、ＢＩ−ＲＡＤＳ Ａｔｌａｓという形で米国放射線医学会（“ＡＲＣ”）によって刊行及び商標登録されている。このＡｔｌａｓは、具体的にはマンモグラフィデータ、超音波データ、及びＭＲＩデータという、３つの刊行物に分割されている。撮像結果はしばしば、“ＢＩ−ＲＡＤＳスコア”と呼ばれることが多いＢＩ−ＲＡＤＳ判定カテゴリーの観点で表現される。そのカテゴリーは：０＝保留、１＝異常なし、２＝良性、３＝不確定、４＝悪性の疑いあり、５＝悪性が強く示唆される、６＝既知の生検により確定診断された悪性、を含んでいる。

現在の検査結果上で作成される注釈は、医師が容易に注釈の一貫性を検証し且つ何らかの合間の進展を評価するために、過去の検査結果で作成された注釈にリンク付けられる必要がある。上述のように、医師にとっての現在の課題は、複数の異なるモダリティにまたがって、現在の検査結果と過去の検査結果とをリンク付け（リンキング）することにある。例えば、乳癌を持つ患者は超音波検査結果、ＭＲＩ検査結果及びマンモグラフィ検査結果を有し得るが、これらのモダリティにまたがって医学的所見をリンク付けするのは難しいことである。典型的なシステム及び方法において、それらの所見をリンク付けして結合することは、医師による明確な解釈及びマッチング（合致する）所見の選択という、時間がかかり且つ誤りを生じやすい作業を必要とし得る。故に、典型的なデータリンキングツール及び対応する方法は、医師が容易にそれらの医学的所見を、限られた干渉で、リンク付けすることを可能にし得る。

本開示全体を通じて、例示の実施形態は、乳癌及び例えば病変などの関心領域に関する医学的データの知的リンク付けに関するものである。しかしながら、ここに記載される典型的なシステム及び方法は、乳癌データに限定されるものではなく、如何なる種類の標準化されたデータ収集にも適用され得るものである。例えば、本開示は、様々な種類の癌に関するデータ、様々な種類の医学的データ、様々な形態の撮像・記録データなどを、収集し、比較し、レポート作成することに適用され得る。

図１は、典型的な一実施形態に従った、注釈付けツールを用いてユーザ記述される医用画像の典型的なスクリーン画面１００を示している。例えば、スクリーン画面１００は、乳癌検査結果を標準化された語彙を用いて構造的に文書化するように設計されたＢＩ−ＲＡＤＳ画像の画面（ビュー）とし得る。このスクリーン画面１００は、ユーザが、画像内に描写された例えば病変などの関心領域に注釈を付け、その注釈をデータベースに保存することを可能にする。このスクリーン画面に例示されるように、注釈データはまた、病変の解剖学的位置（anatomical position of lesion）、塊の特徴（mass characteristics）（例えば、形状、マージン、エンハンスメントパターンなど）、運動学的記述（kinetic descriptions）（例えば、初期摂取、遅延相など）、安定性（stability）、測定（measurements）、及び数多くのその他の所見を含み得る。これらの典型的な実施形態によれば、現在の検査結果内で医師によって作成される注釈の各々が、過去の検査結果内で作成された過去の注釈にリンク付けされ得る。なお、用語“ユーザ”は、ここに記載されるシステム及び方法の如何なるオペレータを意味してもよく、以下に限られないが、医師、放射線医、癌専門医などを含む。

図２は、典型的な一実施形態に従った、複数の異なるモダリティから受信した医学的データを知的にリンク付けるデータリンキングツール２１０を示す図である。データリンキングツール（又は単に、ツール）２１０は、例えば画像ベースのコンテキスト抽出モジュール２２０、特徴選択モジュール２３０、参照エンジン２４０、提示エンジン２５０、及び統計モデルのデータベース２６０などの様々なコンポーネントを含んでおり、これらのコンポーネントのうちの一部は、プロセッサによって実行可能なソフトウェア命令として実装され得る。また、典型的なデータリンキングツール２１０は、プロセッサと、例えばメモリなどの持続的なコンピュータ読み取り可能記憶媒体とを含む。従って、メモリが、プロセッサによって実行可能なソフトウェア命令セットを含み得る。なお、ツール２１０のコンポーネント２２０−２５０の各々が個々のプロセッサとメモリと対応する命令とを含むことで、ツール２１０のマルチプロセッサアーキテクチャを作り出してもよい。

典型的な実施形態のうちの１つによれば、データリンキングツール２１０は、画像及びレポートの双方で医師が医学的データを読み取り、作成し、増補し、解釈し、比較し、そして相関付けることを可能にするために通信サービスを利用するネットワークベースのソフトウェアツールである。

典型的に、医師は、モダリティごと、検査ごとを基本にして、病変の画像について注釈を作成する。まさに同じ病変を、超音波、ＭＲＩ及びマンモグラフィの組合せを通して、何度も精査することができる。再発患者に関しては、現在の撮像検査に加えて、過去の画像検査を参照点として用いて病変を精査する必要がある。故に、データリンキングツール２１０の時間節減の側面は、医師が様々なモダリティにおける同じ病変の様々な注釈をリンク付けて、その病変によって為された進行の要約を作成することを可能にし得る。

現在の画像検査において、医師は、例えばスクリーン画面１００に示した画像などの画像上で病変を輪郭描写する。そして、医師は、例えばＢＩ−ＲＡＤＳツールなどの注釈付けツールを用いて、標準化された用語で病変を記述する。例えば、ＢＩ−ＲＡＤＳツールを用いて作成される注釈は、拡張マークアップ言語（“ＸＭＬ”）にて、
（外１）

のようにコード化され得る。

ここに記載の典型的な実施形態によれば、病変は医師によって注釈を付されるものの、画像ベースのコンテキスト抽出モジュール２２０が、輪郭描写された病変の記述的な医学的所見すなわち“コンテキスト情報”（例えば、ランドマークに対する病変の位置）を抽出する。コンテキスト情報は典型的に、ＢＩ−ＲＡＤＳツールの部分にはない病変の定量的側面を記述する。例えば、病変の位置は、ＢＩ−ＲＡＤＳにおいては、左右（laterality）、時計的位置（clock-position）及び深さ（depth）によって特徴付けられる。一方、病変のコンテキストは、乳頭、皮膚表面、及び近傍のその他の病変に対する、病変の距離を記述する。このようなコンテキスト情報は、群がった複数の病変を識別するために必要とされ得る。例えば、抽出される病変の画像ベースのコンテキスト記述は、ＸＭＬにて、
(外２)

のようにコード化され得る。

特徴選択モジュール２３０は、注釈の記述と、注釈からの抽出されたコンテキスト情報と、を含むマルチモーダル特徴ベクトルを構築する。特徴の選択は、データベース２６０に格納された統計モデルに基づく。また、選択された特徴の各々の重要性すなわち重みも、データベース２６０から取り出され得る。

ＢＩ−ＲＡＤＳツールを用いて、医師は同じ病変を異なるＢＩ−ＲＡＤＳ用語を用いて注釈付けすることがある。また、個人間の合意は記述子ごとに様々である。データベース２６０の統計モデルは、記述子ごとの個人間の合意の程度を記述してもよい。その数値が高いほど、その記述子は参照エンジン２４０に対して大きな重要性を有する。例えば、或るモデルは、“モダリティ（Modality）”、“左右（Laterality）”、“深さ（Depth）”、“タイプ（Type）”、“乳頭までの距離（DistanceToNipple）”、及び“形状（Shape）”を選択して、特徴ベクトルを、

のように構築し得る。

参照エンジン２４０は、典型的に複数の異なるモダリティ又は同じ検査における複数の撮像プロトコルからの、同じ病変の複数の注釈をリンク付けする。２つの注釈が同一の病変を参照している可能性を決定するため、参照エンジン２４０は、経験則によるルールを用いて、関連性スコアを定量的に計算し得る。

ここに記載の典型的な実施形態によれば、参照エンジン２４０は、現在の注釈の特徴ベクトルと過去の注釈若しくは参照注釈の特徴ベクトルとの間の類似度（例えば、関連性スコア又は重要性スコア）を計算する。例えば、これら２つのベクトルの間の類似度は、２つのベクトル間の距離（Ｄ）としてモデル化され得る。具体的には、Ｄは：

のように、要素特徴の距離の加重和として定義され得る。

さらに、各特徴に関して、距離関数ｄ_ｉは：

のように計算され得る。ただし、ａ_ｉ及びｂ_ｉは注釈特徴であり、ａ’_ｉ及びｂ’_ｉは、それぞれ、注釈特徴ａ_ｉ及びｂ_ｉに対応する画像ベースコンテキスト特徴である。画像特徴ａ’_ｉが対応する注釈特徴を有しないとき、ａ_ｉの値はエンプティであると仮定することができ、その逆もまた然りである。

また、減算操作により、２つの任意の特徴値の間の差が計算される。例えば、記述子（例えば、モダリティ（Modality））の値に応じて、それは例えば：

などのブール演算とし得る。

数値を有する記述子（乳頭までの距離（DistanceToNipple））の場合には、この減算操作は、値の減算として定義される。時計的な位置に関しては、この減算操作は：

のように定義され得る。

例えば塊（Mass）又は形状（Shape）のコンテキスト注釈などの複合記述子の場合、この減算操作は、要素記述子の減算の和として定義される。なお、これらの式は、複数の特徴ベクトル間の関連性スコア又は重要性スコアを計算するために使用され得るものであるが、これらの式は単に、これらのスコアがどのように計算され得るかの一例を提供するものである。従って、特徴ベクトルの比較及び類似性スコアの計算には、その他の式が使用されてもよい。

最終的に、データリンキングツール２１０の提示エンジン２５０が、参照エンジン２４０によって計算された類似度に基づいて、合致（マッチ）する注釈の表示をユーザに提示する。典型的な一実施形態によれば、提示エンジン２５０は、ユーザにデータが表示され且つユーザから入力が受信されるグラフィカルユーザインタフェース（“ＧＵＩ”）とインタラクトする。この表示から、ユーザは、図３に示すように、合致する注釈をリストから選択し得る。

図３は、典型的な一実施形態に従った、複数の異なるモダリティから受信した注釈をマッチングする典型的なスクリーン画面３００を示している。上述のように、スクリーン画面３００の表示はインタラクティブ（対話的）なＧＵＩとすることができ、ユーザは、例えば画像選択や、より詳細な情報の要求などの入力をデータリンキングツール２１０に提供する。

スクリーン画面３００は“画像”セクションを含んでおり、ユーザは該セクション内で、例えば超音波画像、マンモグラフィ画像及びＭＲＩ画像などの異なるモダリティからの画像を選択し得る。スクリーン画面３００はまた“レポート”セクションを含んでおり、ユーザは該セクション内で、合致する病変のリストから様々な病変を選択し得る。スクリーン画面３００は更に“注釈付け”セクションを含んでおり、ユーザは該セクション内で、選択された画像に関する様々な詳細な注釈を入力し得る。これら詳細な注釈は、新たな塊を追加すること、塊でないものを追加すること、注目領域を追加することなどを含む。更なる詳細な注釈は、以下に限られないが、病変の解剖学的位置、塊の特徴（例えば、形状、マージン、エンハンスメントパターンなど）、運動学的記述（例えば、初期摂取、遅延相など）、安定性、測定などを含み得る。

これらの注釈に加え、スクリーン画面３００は“評価”セクションを含んでおり、ユーザは該セクション内で、評価と、この特定の所見に関する医療ノートとを入力し得る。ユーザがスクリーン画面３００のＧＵＩ内で入力を提供あるいは調整するとき常に、ユーザは検査結果をツール２１０のデータベース２６０に保存し得る。他の例では、ユーザはまた、もはや必要でなくなったときに、データベース２６０から所見を削除したり、検査結果を削除したりすることができる。

図４は、典型的な一実施形態に従った、作業順序の割当て及びプロセスの追跡のワークフローを自動化する典型的な一方法４００を示している。なお、以下では、図２のデータリンキングツール２１０及びシステムコンポーネントを参照して方法４００を説明する。先に詳述したように、データリンキングツール２１０は、進行の要約がユーザによって効果的且つ効率的に取得されるよう、ユーザが同一の病変の様々なモダリティを結合することを可能にする。

ステップ４１０で始めて、データリンキングツール２１０がユーザから医学的データを受信する。上述のように、ユーザは、注釈付けツールを用いて、画像について例えば病変などの医学的データを記述し得る。例えば、ユーザは、ＢＩ−ＲＡＤＳツールなどの標準化された注釈付けツールを用いて、現在画像に注釈を与え得る。ＢＩ−ＲＡＤＳ注釈は、ＸＭＬでコード化されて、処理のために参照エンジン２４０に伝送され得る。

ステップ４２０にて、ツール２１０の画像ベース抽出モジュール２２０が、ユーザによって提供された注釈付き画像からコンテキスト情報を抽出する。上述のように、コンテキストデータは、前記注釈付けツールによっては利用可能でない情報を含み得る。このコンテキスト情報は、記述的データ、ランドマーク（例えば、乳頭、皮膚表面など）までの相対距離、病理学的所見（例えば、近傍内の別の病変）などを含み得る。ＢＩ−ＲＡＤＳ注釈と同様に、コンテキストデータは、ＸＭＬでコード化されて、処理のために参照エンジン２４０に伝送され得る。

ステップ４３０にて、ツール２１０の特徴選択モジュール２３０が、抽出されたコンテキストデータとユーザからの注釈とを用いて、マルチモーダル特徴ベクトルを構築する。上述のように、特徴の選択はデータベース２６０に格納された統計モデルに基づき、また、選択された特徴の重み因子（例えば、関連性スコア）が取り出されてマルチモーダル特徴ベクトルに組み込まれ得る。

ステップ４４０にて、参照モジュール２４０が、現在の注釈の特徴ベクトルと過去の注釈の参照特徴ベクトルとの間の類似度を計算する。具体的には、参照モジュール２４０は、これら２つのベクトルの全ての要素の各々間の距離の加重和を計算する。換言すれば、現在の特徴ベクトルからの注釈特徴の各々に関して、過去の特徴ベクトル（例えば、参照ベクトル）に対しての関連性スコアが計算される。従って、参照モジュール２４０は、関連する注釈をソートし、最も関連する注釈スコアのリストを提示モジュール２５０に提供する。

ステップ４５０にて、提示モジュール２５０が、現在の特徴ベクトルと参照特徴ベクトルとの間で合致する注釈を、ＧＵＩを介してユーザに表示する。典型的なＧＵＩは、ネットワーク上で一人以上の医師にアクセス可能にされたウェブベースのポータルとし得る。

ステップ４６０にて、データリンキングツール２１０が、例えば画像の選択や、より詳細な情報の要求などの、更なる入力をユーザから受信する。従って、提示モジュール２５０は、受信されたユーザからの更なる入力に基づいて、ＧＵＩ上の表示を調整する。

データリンキングツール２１０を介して注釈同士がリンク付けされると、各病変の進行（例えば、体積、形状、マージンなどの変化）の要約が生成され得る。従って、この要約が、例えばＣｌｉｎｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｏｌｕｔｉｏｎの“Ｃａｎｃｅｒ Ｃａｒｅ Ｃｏｍｐａｎｉｏｎ”及び“Ｉｎｔｅｇｒａｌ Ｂｒｅａｓｔ”などの乳癌検査報告サービスやオランダのコーニンクレッカフィリップスＮＶ社からの“ＭａｍｍｏＴｒａｃｋ”製品に適用され得る。

当業者に理解されるように、上述の典型的な実施形態は、別個のソフトウェアモジュールとして、ハードウェアとソフトウェアとの組合せとして、等々を含む数多くの手法で実装され得る。例えば、データリンキングツール２１０は、持続的なコンピュータ読み取り可能記憶媒体に格納された、コンパイルされてプロセッサ上で実行され得るコードラインを含んだプログラムとし得る。

なお、請求項は、参照符号を含んでいることがあるが、参照符号に対応する実施形態に限定されるものと見なされるべきではない。

当業者に明らかになるように、本発明には、発明の精神又は範囲を逸脱することなく、様々な変更が為され得る。故に、意図されることには、本発明は、添付の請求項の範囲及びその均等範囲に含まれる限り、本発明の変更及び変形にも及ぶものである。

Claims (18)

1. 注釈を含む関心領域の画像からコンテキスト情報を抽出する抽出モジュール；
   前記抽出されたコンテキスト情報と前記注釈とを用いて現在の特徴ベクトルを構築する特徴選択モジュール；及び
   前記現在の特徴ベクトルと過去画像の過去の特徴ベクトルとの間の類似性スコアを計算する参照エンジンであり、該類似性スコア（Ｄ）は、前記現在の特徴ベクトル及び前記過去の特徴ベクトルの各要素（ｍ_ｉ）間の距離（ｄ_ｉ）の加重和として：
   

   

   と計算され、注釈（ａ_ｉ）と（ｂ_ｉ）との距離（ｄ_ｉ）は：
   

   

   として計算される、参照エンジン；
   を有するシステム。
2. 前記画像と前記過去画像との間の合致する注釈を表示する提示エンジン、
   を更に有する請求項１に記載のシステム。
3. 前記提示エンジンは、ユーザインタフェースを介してユーザから入力を受信し、且つ該入力に基づいて前記画像を調整する、請求項２に記載のシステム。
4. 前記ユーザから受信される前記入力は、画像の選択、調整される細部、評価、及び更なる情報の要求、のうちの少なくとも１つを含む、請求項３に記載のシステム。
5. 前記注釈は、画像モダリティ読み取り、左右読み取り、深さ読み取り、位置読み取り、タイプ読み取り、形状読み取り、及び測定読み取り、のうちの少なくとも１つを含む、請求項１に記載のシステム。
6. 前記コンテキスト情報は、乳頭までの相対距離、皮膚表面までの相対距離、病変までの相対距離、体積見積もり、タイプ見込み、及び形状見込み、のうちの少なくとも１つを含む、請求項１に記載のシステム。
7. 前記関心領域は乳癌患者の病変である、請求項１に記載のシステム。
8. 前記画像及び前記過去画像は、相異なる撮像プロトコルを用いた同じ関心領域のものであり、前記撮像プロトコルは、超音波撮像、磁気共鳴撮像（ＭＲＩ）、及びマンモグラフィ（ＭＧ）撮像、のうちの少なくとも１つを含む、請求項１に記載のシステム。
9. 医療データのリンク付けシステムの作動方法であって、
   抽出モジュールにより、注釈を含む関心領域の画像からコンテキスト情報を抽出するステップ；
   特徴選択モジュールにより、前記抽出されたコンテキスト情報と前記注釈とを用いて現在の特徴ベクトルを構築するステップ；及び
   参照エンジンにより、前記現在の特徴ベクトルと過去画像の過去の特徴ベクトルとの間の類似性スコアを計算するステップであり、該類似性スコア（Ｄ）は、前記現在の特徴ベクトル及び前記過去の特徴ベクトルの各要素（ｍ_ｉ）間の距離（ｄ_ｉ）の加重和として：
   

   

   と計算され、注釈（ａ_ｉ）と（ｂ_ｉ）との距離（ｄ_ｉ）は：
   

   

   として計算される、ステップ；
   を有する作動方法。
10. 提示エンジンにより、前記画像と前記過去画像との間の合致する注釈を表示するステップ、
    を更に有する請求項９に記載の作動方法。
11. ユーザインタフェースを介してユーザからの入力を受信するステップ；及び
    該入力に基づいて前記画像を調整するステップ；
    を更に有する請求項９に記載の作動方法。
12. 受信される前記ユーザからの入力は、画像の選択、調整される細部、評価、及び更なる情報の要求、のうちの少なくとも１つを含む、請求項１１に記載の作動方法。
13. 前記注釈は、画像モダリティ読み取り、左右読み取り、深さ読み取り、位置読み取り、タイプ読み取り、形状読み取り、及び測定読み取り、のうちの少なくとも１つを含む、請求項９に記載の作動方法。
14. 前記コンテキスト情報は、乳頭までの相対距離、皮膚表面までの相対距離、病変までの相対距離、体積見積もり、タイプ見込み、及び形状見込み、のうちの少なくとも１つを含む、請求項９に記載の作動方法。
15. 前記関心領域は乳癌患者の病変である、請求項９に記載の作動方法。
16. 前記画像及び前記過去画像は、相異なる撮像プロトコルを用いた同じ関心領域のものであり、前記撮像プロトコルは、超音波撮像、磁気共鳴撮像（ＭＲＩ）、及びマンモグラフィ（ＭＧ）撮像、のうちの少なくとも１つを含む、請求項９に記載の作動方法。
17. プロセッサによって実行可能な命令セットを格納したコンピュータ読み取り可能記憶媒体であって、該命令セットは少なくとも：
    注釈を含む関心領域の画像からコンテキスト情報を抽出し；
    前記抽出されたコンテキスト情報と前記注釈とを用いて現在の特徴ベクトルを構築し；且つ
    前記現在の特徴ベクトルと過去画像の過去の特徴ベクトルとの間の類似性スコアを計算する；
    よう作用し、
    前記類似性スコア（Ｄ）は、前記現在の特徴ベクトル及び前記過去の特徴ベクトルの各要素（ｍ_ｉ）間の距離（ｄ_ｉ）の加重和として：
    

    

    と計算され、注釈（ａ_ｉ）と（ｂ_ｉ）との距離（ｄ_ｉ）は：
    

    

    として計算される、
    コンピュータ読み取り可能記憶媒体。
18. 前記命令セットは更に：
    前記画像と前記過去画像との間の合致する注釈を表示し；
    ユーザインタフェースを介してユーザから入力を受信し；且つ
    該入力に基づいて前記画像を調整する；
    よう作用する、請求項１７に記載のコンピュータ読み取り可能記憶媒体。

Images