JP7174710B2

JP7174710B2 - 合成乳房組織画像を生成するための標的オブジェクト増強のためのシステムおよび方法

Info

Publication number: JP7174710B2
Application number: JP2019553353A
Authority: JP
Inventors: ハイリチュイ，; リヤンウェイ，; ジュンゲ，; ニコラオスカナトシオス，
Original assignee: Hologic Inc
Current assignee: Hologic Inc
Priority date: 2017-03-30
Filing date: 2018-03-28
Publication date: 2022-11-17
Anticipated expiration: 2038-03-28
Also published as: US20230082494A1; US20210100518A1; EP3600052A1; JP2020515335A; WO2018183550A1; US11445993B2; JP2023015213A; CN110662489A

Description

本開示の発明は、概して、トモシンセシス等の乳房撮像技法に関し、より具体的には、乳房撮像データセットまたはそのサブセットを取得、処理、合成、記憶、および表示するためのシステムおよび方法に関する。特に、本開示は、１つ以上の標的オブジェクト認識／合成モジュールを実装し、トモシンセシススタック内の個別のオブジェクトを識別し、１つ以上の標的オブジェクト認識／合成モジュールからの結果を組み合わせ、１つ以上の合成された画像内に表示するためのオブジェクトを生成するステップに関する。

マンモグラフィは、長い間、乳癌および他の異常をスクリーニングするために使用されている。従来、マンモグラムは、Ｘ線フィルム上に形成されていた。より最近では、フラットパネルデジタル撮像機が、マンモグラムをデジタル形態において取得し、それによって、取得された画像データの分析および記憶を促進し、また、他の利点を提供するように導入されている。さらに、著しい注目および技術的発展が、胸部トモシンセシス等の方法を使用して、胸部の３次元画像を取得することに向けられている。旧来のマンモグラフィシステムによって生成される２Ｄ画像とは対照的に、胸部トモシンセシスシステムは、一連の２Ｄ投影画像から３Ｄ画像ボリュームを構成し、各投影画像は、Ｘ線源が検出器にわたって走査されるにつれて、画像検出器に対してＸ線源の異なる角変位で取得される。構成された３Ｄ画像ボリュームは、典型的には、画像データの複数のスライスとして提示され、スライスは、典型的には、撮像検出器と平行な平面上に数学的に再構成される。再構成されたトモシンセシススライスは、ユーザ（例えば、放射線技師または他の医療従事者）が、画像スライスを通してスクロールし、そのスライス内の構造のみを視認することを可能にすることによって、単一スライスの２次元マンモグラフィ撮像に存在する組織重複および構造雑音によって生じる問題を低減または排除する。

トモシンセシスシステム等の撮像システムは、最近、乳癌スクリーニングおよび診断のために開発された。特に、Ｈｏｌｏｇｉｃ，Ｉｎｃ．（ｗｗｗ．ｈｏｌｏｇｉｃ．ｃｏｍ）は、胸部が固定されたままである間または胸部の異なる圧縮下にある間のいずれかにおいて、マンモグラムおよびトモシンセシス画像の一方または両方のタイプを取得する、融合型マルチモードマンモグラフィ／トモシンセシスシステムを開発している。他の企業は、トモシンセシス撮像を含む、システムを導入している。例えば、同一圧縮下でマンモグラムを取得する能力も含むものではない。

随意に、トモシンセシス技術への移行を促進するために、既存の医療専門知識を活用する、システムおよび方法の実施例は、米国特許第７，７６０，９２４号（参照することによってその全体として本明細書に組み込まれる）に説明されている。特に、米国特許第７，７６０，９２４号は、スクリーニングおよび診断を補助するために、随意に、トモシンセシス投影または再構成画像とともに表示され得る、合成２Ｄ画像を生成する方法を説明している。

２Ｄの合成された画像は、異常病変および正常乳房構造等の任意の臨床上重要かつ有意義な情報を含む、３Ｄ再構成スライスの簡潔な表現を提供する一方、関連部分では、従来の２Ｄ画像を表すように設計される。多くの異なるタイプの病変および乳房構造が存在し、これは、異なる特性を有する、異なるタイプの画像オブジェクトとして画定され得る。３Ｄボリュームデータ内で可視の任意の所与の画像オブジェクトに関して、２Ｄの合成された画像上に可能な限り多くの画像特性（例えば、微細石灰化、構造的歪曲等）を維持し、増強させることが重要である。標的画像オブジェクトの増強を達成するために、３Ｄトモシンセシスデータ内に存在する画像オブジェクトを正確に識別し、表すことが不可欠である。

米国特許第７，７６０，９２４号明細書

本開示の発明の一実施形態では、乳房組織画像データを処理するための方法は、患者の乳房組織の画像データを取得し、画像データを処理し、画像スライスのセットを生成するステップであって、画像スライスは、患者の乳房組織を集合的に描写する、ステップと、複数のオブジェクト認識モジュールのそれぞれを通して、セットの画像スライスをフィードするステップであって、オブジェクト認識モジュールはそれぞれ、画像スライス内に存在し得る、個別のタイプのオブジェクトを認識するように構成される、ステップと、個別のオブジェクト認識モジュールによって認識されるオブジェクトを組み合わせ、患者の乳房組織の合成された画像を生成するステップと、合成された画像を表示するステップとを含む。
本発明は、例えば、以下を提供する。
（項目１）
乳房組織画像データを処理するための方法であって、
患者の乳房組織の画像データを処理し、前記患者の乳房組織を集合的に描写する画像スライスのセットを生成することと、
複数のオブジェクト認識モジュールのそれぞれを通して、前記セットの画像スライスをフィードすることであって、前記オブジェクト認識モジュールはそれぞれ、前記画像スライス内に存在し得るオブジェクトの個別のタイプを認識するように構成される、ことと、
個別のオブジェクト認識モジュールによって認識されるオブジェクトを組み合わせ、前記患者の乳房組織の合成された画像を生成することと、
前記合成された画像を表示することと
を含む、方法。
（項目２）
前記画像スライスは、前記個別のオブジェクト認識モジュールにシーケンスでフィードされる、項目１に記載の方法。
（項目３）
個別の加重を前記オブジェクト認識モジュールのそれぞれに割り当てることをさらに含み、前記割り当てられた加重は、前記特定のオブジェクト認識モジュールによって認識されるオブジェクトのタイプの有意性に対応し、前記オブジェクト認識モジュールに割り当てられた個別の加重は、それを通して前記画像スライスがフィードされる前記オブジェクト認識モジュールの順序を決定する、項目２に記載の方法。
（項目４）
前記画像スライスは、前記第１の加重より高い第２の加重を有する第２のオブジェクト認識モジュールを通してフィードされる前に、第１の加重を有する第１のオブジェクト認識モジュールを通してフィードされる、項目３に記載の方法。
（項目５）
前記第１のオブジェクト認識モジュールによって認識される第１のオブジェクトタイプのオブジェクトおよび前記第２のオブジェクト認識モジュールによって認識される第２のタイプのオブジェクトが、前記表示される合成された画像上で重複する可能性が高いかどうかを決定することをさらに含む、項目４に記載の方法。
（項目６）
前記認識される前記第１のオブジェクトタイプのオブジェクトおよび前記認識される前記第２のオブジェクトタイプのオブジェクトが、重複する可能性が高いことが決定される場合、前記認識される前記第２のオブジェクトタイプのオブジェクトのみを表示することをさらに含む、項目５に記載の方法。
（項目７）
前記認識される前記第１のオブジェクトタイプのオブジェクトおよび前記認識される前記第２のオブジェクトタイプのオブジェクトが、重複する可能性が高いことが決定される場合、前記表示される合成された画像内で前記認識される前記第２のオブジェクトタイプのオブジェクトを前記認識される前記第１のオブジェクトタイプのオブジェクトに対して強調することをさらに含む、項目５に記載の方法。
（項目８）
前記オブジェクト認識モジュールは、前記画像スライス上で並行して適用される、項目１に記載の方法。
（項目９）
前記第１のオブジェクト認識モジュールによって認識される第１のオブジェクトタイプのオブジェクトおよび前記第２のオブジェクト認識モジュールによって認識される第２のタイプのオブジェクトが、前記表示される合成された画像上で重複する可能性が高いかどうかを決定することをさらに含む、項目８に記載の方法。
（項目１０）
前記認識される前記第１のオブジェクトタイプのオブジェクトおよび前記認識される前記第２のオブジェクトタイプのオブジェクトが、重複する可能性が高いことが決定される場合、前記認識される前記第１のオブジェクトタイプのオブジェクトおよび前記認識される前記第２のオブジェクトタイプのオブジェクトのそれぞれの少なくとも一部が、増強され、前記表示される合成された画像内に含まれるように、前記認識される前記第１のオブジェクトタイプのオブジェクトと前記認識される前記第２のオブジェクトタイプのオブジェクトを融合することをさらに含む、項目９に記載の方法。
（項目１１）
前記認識される前記第１のオブジェクトタイプのオブジェクトは、線形組み合わせ技法を使用して、前記認識される前記第２のオブジェクトタイプのオブジェクトと融合される、項目１０に記載の方法。
（項目１２）
前記認識される前記第１のオブジェクトタイプのオブジェクトは、非線形組み合わせ技法を使用して、前記認識される前記第２のオブジェクトタイプのオブジェクトと融合される、項目１０に記載の方法。
（項目１３）
第１のオブジェクト認識モジュールのサブセットは、第１のオブジェクトタイプのサブセットを認識するために、前記画像スライス上に連続して適用され、第２のオブジェクト認識モジュールのサブセットは、第２のオブジェクトタイプのサブセットを認識するために、前記画像スライス上に並行して適用される、項目１に記載の方法。
（項目１４）
前記第１のオブジェクトタイプのサブセットは、異常乳房組織悪性腫瘍を含み、前記第２のオブジェクトタイプのサブセットは、正常乳房組織構造または所定の画像パターンを含む、項目１３に記載の方法。
（項目１５）
前記画像スライス内で認識される１つ以上の標的オブジェクトタイプをグラフィカルユーザインターフェース上に表示することをさらに含む、項目１－１４のいずれかに記載の方法。
（項目１６）
前記グラフィカルユーザインターフェースは、エンドユーザが、前記表示される合成された画像内で処理および増強されるべき１つ以上の標的オブジェクトタイプを選択するためのオプションを提供する、項目１５に記載の方法。
（項目１７）
前記グラフィカルユーザインターフェースは、エンドユーザが、前記合成された画像内で前記選択された標的オブジェクトタイプを表示するために、重要性の順序を入力することを可能にするためのオプションを提供する、項目１６に記載の方法。
（項目１８）
前記グラフィカルユーザインターフェースは、エンドユーザが、１つ以上の標的オブジェクトタイプ毎に、加重係数を入力することを可能にするためのオプションを提供し、ユーザ入力加重係数は、ユーザ選択された標的オブジェクトタイプを生成し、前記合成された画像内に表示するために考慮される、項目１６に記載の方法。
（項目１９）
エンドユーザが、１つ以上の標的オブジェクトタイプ毎に、加重係数を入力することを可能にするための前記オプションは、前記患者の年齢、性別、民族性、人種、または遺伝子特性のうちの１つ以上のものに応答して少なくとも部分的に基づく、項目１８に記載の方法。
（項目２０）
項目１－１９のいずれかに記載の方法を実施するように構成される画像処理システムであって、前記システムは、オブジェクトのさらなるタイプを認識および表示するために、さらなるオブジェクト認識モジュールを前記複数に追加することを可能にするように構成される、システム。

本開示の発明のこれらおよび他の側面および実施形態は、付随の図と併せて、以下により詳細に説明される。

図面は、本開示の発明の実施形態の設計および有用性を図示するものであって、類似要素は、共通参照番号によって参照される。これらの図面は、必ずしも、正確な縮尺で描かれていない。前述および他の利点および目的がどのように得られたかをより理解するために、付随の図面に図示される実施形態のより具体的説明が、与えられる。これらの図面は、本開示の発明の典型的実施形態のみを描写し、したがって、その範囲を限定するものと見なされるものではない。

図１は、本開示の発明の実施形態による、例示的乳房画像入手および処理システムを通したデータのフローを図示する、ブロック図である。

図２は、本開示の発明の実施形態による、複数の標的オブジェクト認識／増強モジュールを利用して、画像スタック内の個別のオブジェクトを識別する、２Ｄシンセサイザを通したデータのフローを図示する、ブロック図である。

図３は、標的オブジェクト認識／増強モジュールを画像スタック上で適用し、個別のオブジェクトを認識し、オブジェクトを２Ｄの合成された画像上に低減させるステップの一実施形態を図示する。

図４は、単一標的オブジェクト認識／増強モジュールを画像スタック上で適用するときのデータのフローを図示する。

図５は、複数の標的オブジェクト認識／増強モジュールを画像スタックで適用するときのデータのフローを図示する。

図６Ａおよび６Ｂは、複数の標的オブジェクト合成モジュールからのデータを組み合わせる、順次組み合わせ技法を図示する。図６Ａおよび６Ｂは、複数の標的オブジェクト合成モジュールからのデータを組み合わせる、順次組み合わせ技法を図示する。

図７Ａおよび７Ｂは、複数の標的オブジェクト合成モジュールからのデータを組み合わせる、並行組み合わせ技法を図示する。図７Ａおよび７Ｂは、複数の標的オブジェクト合成モジュールからのデータを組み合わせる、並行組み合わせ技法を図示する。

図８Ａおよび８Ｂは、それぞれ、順次組み合わせおよび並行組み合わせ技法を使用して２Ｄの合成された画像を生成するステップの２つの例示的フロー図を図示する。図８Ａおよび８Ｂは、それぞれ、順次組み合わせおよび並行組み合わせ技法を使用して２Ｄの合成された画像を生成するステップの２つの例示的フロー図を図示する。

全ての数値は、本明細書では、明示的に示されるかどうかにかかわらず、用語「約」または「およそ」によって修飾されるものと仮定され、用語「約」および「およそ」は、概して、当業者が列挙される値と均等物である（すなわち、同一機能または結果を有する）と見なすであろう、数の範囲を指す。いくつかの事例では、用語「約」および「およそ」は、最近傍有効数字に丸められる数を含んでもよい。端点による数値範囲の列挙は、その範囲内の全数字を含む（例えば、１～５は、１、１．５、２、２．７５、３、３．８０、４、および５を含む）。

本明細書および添付の請求項において使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に文脈によって明確に示されない限り、複数参照も含む。本明細書および添付の請求項に使用されるように、用語「ｏｒ（または）」は、概して、別様に文脈によって明確に示されない限り、「ａｎｄ／ｏｒ（および／または）」を含む意味で採用される。付随の図において図示される本開示の発明の描写される実施形態を説明する際、具体的専門用語が、説明の明確化および容易化のために採用される。しかしながら、本特許明細書の開示は、そのように選択される具体的専門用語に限定されることを意図せず、各具体的要素は、同様に動作する全ての技術的均等物を含むことを理解されたい。さらに、異なる例証的実施形態の種々の要素および／または特徴は、本開示の範囲および添付の請求項内で可能である場合、相互に組み合わせる、および／または相互に代用され得ることを理解されたい。

本開示の発明の種々の実施形態は、図を参照して以下に説明される。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して類似参照番号によって表されることに留意されたい。また、図は、実施形態の説明を促進するためだけに意図されることに留意されたい。それらは、本発明の包括的説明または本開示の発明の範囲の限定として意図されるものではなく、添付の請求項およびその均等物によってのみ定義される。加えて、本開示の発明の図示される実施形態は、示される全側面または利点を有する必要はない。例えば、本開示の発明の特定の実施形態と併せて説明される側面または利点は、必ずしも、その実施形態に限定されず、図示されない場合でも、任意の他の実施形態において実践されることができる。

以下に定義される用語および略語に関して、これらの定義は、異なる定義が請求項または本明細書のいずれかに与えられない限り、本特許明細書および付随の請求項全体を通して適用されるものとする。

「入手画像」は、患者の組織を可視化する際に生成された画像を指す。取得画像は、従来のマンモグラムにおけるように、患者の組織の両側に配置される放射線検出器に衝突する、放射線源からの放射線によって生成されることができる。

「再構成画像」は、複数の取得画像から導出されたデータから生成される画像を指す。再構成画像は、複数の取得画像内に含まれない取得画像をシミュレートする。

「合成画像」は、複数の取得および／または再構成画像から導出されたデータから生成される人工的画像を指す。合成画像は、取得および／または再構成画像からの要素（例えば、オブジェクトおよび領域）を含むが、必ずしも、可視化の間に取得され得る画像に対応しない。合成画像は、構成された分析ツールである。

「Ｍｐ」画像は、胸部の２次元（２Ｄ）投影画像であって、フラットパネル検出器または別の撮像デバイスによって取得されるようなデジタル画像と、表示（例えば、医療従事者に）、記憶（例えば、病院のＰＡＣＳシステムに）、および／または他の使用のためにそれを準備するための従来の処理後の画像との両方を包含する、従来のマンモグラムまたは造影増強マンモグラムである。

「Ｔｐ」画像は、同様に、２次元（２Ｄ）であるが、胸部と撮像Ｘ線の原点（典型的には、Ｘ線管の焦点）との間の個別のトモシンセシス角度において取得され、取得されたままの画像と、表示、記憶、および／または他の使用のために処理された後の画像データを包含する、画像である。

「Ｔｒ」画像は、例えば、米国特許第７，５７７，２８２号、第７，６０６，８０１号、第７，７６０，９２４号、および第８，５７１，２８９号（それらの開示は、参照することによって全体として本明細書に完全に組み込まれる）のうちの１つ以上のものに説明される様式において、トモシンセシス投影画像Ｔｐから再構成される再構成画像のタイプ（またはサブセット）であって、Ｔｒ画像は、ＴｐまたはＭｐ画像を取得するために使用される角度においてのみのではなく、任意の所望の角度における、スライスの投影Ｘ線画像に現れるであろうような胸部のスライスを表す。

「Ｍｓ」画像は、合成画像のタイプ（またはサブセット）であって、特に、頭尾方向（ＣＣ）または内外斜位方向（ＭＬＯ）画像等のマンモグラフィ画像をシミュレートする、合成２Ｄ投影画像を指し、トモシンセシス投影画像Ｔｐ、トモシンセシス再構成画像Ｔｒ、またはそれらの組み合わせを使用して構成される。Ｍｓ画像は、医療従事者への表示のために、または病院または別の施設のＰＡＣＳシステムにおける記憶のために提供されてもよい。Ｍｓ画像を生成するために使用され得る方法の実施例は、上記に組み込まれる米国特許第７，７６０，９２４号および第８，５７１，２８９号に説明されている。

Ｔｐ、Ｔｒ、Ｍｓ、およびＭｐ画像データは、表示、さらなる処理、または記憶のために、個別の画像を記述するために十分な何らかの形態における情報を包含することを理解されたい。個別のＭｐ、Ｍｓ、Ｔｐ、およびＴｒ画像は、典型的には、表示に先立って、デジタル形態で提供され、各画像は、画素の２次元アレイにおいて各画素の特性を識別する情報によって定義される。画素値は、典型的には、胸部内の対応するボリュームのＸ線に対する個別の測定、推定、または計算された応答、すなわち、組織のボクセルまたはカラムに関する。好ましい実施形態では、トモシンセシス画像（ＴｒおよびＴｐ）およびマンモグラフィ画像（ＭｓおよびＭｐ）の幾何学形状は、米国特許第７，７０２，１４２号（本開示は、参照することによって全体として本明細書に組み込まれる）に説明されるように、共通座標系に整合される。別様に規定されない限り、そのような座標系整合は、本特許明細書の続く詳細な説明において説明される実施形態に関して実装されると仮定される。

用語「画像の生成」および「画像の伝送」とはそれぞれ、表示のための画像を説明するために十分な情報を生成および伝送することを指す。生成および伝送される情報は、典型的には、デジタル情報である。

エンドユーザに表示される合成された２Ｄ画像（例えば、Ｍｓ画像）が、最も臨床上関連する情報を含むことを確実にするために、乳房組織内の悪性乳房塊状物、腫瘍等の３次元（３Ｄ）オブジェクトを検出および識別することが必要である。本目的を達成するために、本開示の発明の実施形態によると、３Ｄオブジェクトは、複数の標的オブジェクト認識／合成モジュールを使用して識別されてもよく、各標的認識／合成モジュールは、特定のタイプのオブジェクトを識別および再構成するように構成されてもよい。これらの複数の標的合成モジュールは、１つ以上の合成された２Ｄ画像を生成する再構成プロセスの間、個別のオブジェクトに関する情報を組み合わせる際、ともに協働し、各オブジェクトが正確に表されることを確実にし、臨床上有意な情報をエンドユーザに表示される２Ｄの合成された画像上に保存してもよい。

図１は、合成された画像生成、オブジェクト識別、およびディスプレイ技術のそれぞれを組み込む、例示的画像生成およびディスプレイシステム１００内のデータのフローを図示する。図１は、特定の連続順序で、または並行して生じる、あるプロセスを伴う、フロー図の特定の実施形態を図示するが、請求項および本明細書に説明される種々の他の実施形態は、そのように規定されない限り、任意の特定の順序における画像処理ステップの実施に限定されないことを理解されたい。

より具体的には、画像生成およびディスプレイシステム１００は、現在利用可能なシステムのいずれかの個別の３次元および／またはトモシンセシス入手方法を使用して、患者の乳房のＴｐ画像を生成するためのトモシンセシス画像データを入手する、画像入手システム１０１を含む。入手システムが、組み合わせられたトモシンセシス／マンモグラフィシステムである場合、Ｍｐ画像もまた、生成されてもよい。いくつかの専用トモシンセシスシステムまたは組み合わせられたトモシンセシス／マンモグラフィシステムは、旧来のマンモグラム画像（図１では、破線および凡例「Ｍｐ_{ｌｅｇａｃｙ}」によって示される）を受け取り、好ましくは、ＤＩＣＯＭ準拠写真アーカイブおよび通信システム（ＰＡＣＳ）記憶デバイスである、記憶デバイス１０２内に記憶するように適合されてもよい。入手に続いて、トモシンセシス投影画像Ｔｐもまた、記憶デバイス１０２に伝送されてもよい（図１に示されるように）。記憶デバイス１０２はさらに、エンドユーザに対して有意な３Ｄ画像パターンを識別するために使用され得る、既知の３Ｄオブジェクトのライブラリを記憶してもよい。他の実施形態では、別個の専用記憶デバイス（図示せず）が、３Ｄ画像パターンまたはオブジェクトを識別する、既知の３Ｄオブジェクトのライブラリを記憶するために使用されてもよい。

Ｔｐ画像は、上記に組み込まれる特許および出願に開示されるように、入手システム１０１または記憶デバイス１０２のいずれかまたは両方から、Ｔｐ画像を、選択された厚さの選択された配向における、乳房スライスを表す、再構成された画像「スライス」Ｔｒに再構成する、再構成エンジン１０３として構成される、コンピュータシステムに伝送される。

モードフィルタ１０７が、画像入手と画像ディスプレイとの間に配置される。フィルタ１０７は、加えて、個別の画像タイプのある側面を識別およびハイライトするように配列される、画像のタイプ（すなわち、Ｔｐ、Ｍｐ、およびＴｒ画像）毎に、カスタマイズされたフィルタを含んでもよい。このように、各撮像モードは、具体的目的のために、最適方法において調整または構成されることができる。例えば、種々の２Ｄ画像スライスを横断してオブジェクトを認識するためにプログラムされるフィルタが、特定の高次元オブジェクトに属し得る画像パターンを検出するために、適用されてもよい。調整または構成は、画像のタイプに基づいて、自動であってもよい、または、例えば、ディスプレイに結合されるユーザインターフェースを通して、手動入力によって定義されてもよい。図１の図示される実施形態では、モードフィルタ１０７は、個別の撮像モードで最良に表示される、画像の特定の特性をハイライトするように選択される、例えば、オブジェクトを識別する、塊状物または石灰化をハイライトする、３Ｄオブジェクトに構成され得る、ある画像パターンを識別する、または２Ｄの合成された画像（下記に説明される）を作成するために適合される。図１は、１つのみのモードフィルタ１０７を図示するが、任意の数のモードフィルタが、乳房組織内の着目構造を識別するために利用されてもよいことを理解されたい。

撮像およびディスプレイシステム１００はさらに、１つ以上のＴｐ、Ｍｐ、および／またはＴｒ画像の組み合わせを使用して、２Ｄの合成された画像を生成するための再構成エンジン１０３と実質的に並行して動作する、２Ｄ画像シンセサイザ１０４を含む。２Ｄ画像シンセサイザ１０４は、入力画像（例えば、Ｍｐ、Ｔｒ、および／またはＴｐ画像）のセットを取り込み、最も関連する特徴のセットを入力画像のそれぞれから決定し、１つ以上の合成された２Ｄ画像を出力する。合成された２Ｄ画像は、種々のスライスの有意な部分を１つの画像上に集約する、統合され、合成された画像を表す。これは、エンドユーザ（例えば、医療人員、放射線科医等）に、最も臨床上関連する画像データを効率的様式で提供し、有意なデータを有していない場合がある、他の画像上で費やされる時間を短縮する。

合成された２Ｄ画像内でハイライトするための関連画像データのあるタイプは、１つ以上のＭｐ、Ｔｒ、および／またはＴｐ画像を横断して見出される、関連オブジェクトであろう。単に、２Ｄ画像スライスのそれぞれ内の着目画像パターンを査定するのではなく、着目２Ｄ画像パターンのいずれかがより大きい高次元構造に属するかどうかを決定し、該当する場合、識別された２Ｄ画像パターンをより高い次元構造に組み合わせることが有用であり得る。本アプローチは、いくつかの利点を有するが、特に、乳房組織の種々のスライス／深度を横断して高次元構造を識別することによって、エンドユーザは、乳房の種々の２Ｄスライス内で容易に可視ではない場合がある、潜在的に有意な構造の存在に関してより詳しく知らされ得る。

さらに、２つの２Ｄスライス内の類似画像パターン（おそらく、相互に隣接する）を識別し、２Ｄスライスの一方または両方からの画像データをハイライトするかどうかを決定する代わりに、同一高次元構造に属するものとして画像パターンの両方を識別することは、システムが、構造の性質に関するより正確な査定を行い、その結果、有意により貴重である情報をエンドユーザに提供することを可能にし得る。また、高次元構造を識別することによって、構造は、合成された２Ｄ画像上でより正確に描写されることができる。乳房組織の種々の捕捉された２Ｄスライス内の高次元構造を識別するさらに別の利点は、識別されたより高い次元の構造の可能性として考えられるサイズ／範囲を識別するステップに関する。例えば、いったん構造が識別されると、高次元構造に幾分近接する、以前に顕著ではなかった画像パターンが、今度は、同一構造に属するものとして識別され得る。これは、エンドユーザに、高次元構造のサイズ／範囲が増加したことのインジケーションを提供し得る。

この目的を達成するために、２Ｄ画像シンセサイザ１０４は、異なるタイプのオブジェクトを識別および再構成するように構成される、複数の標的オブジェクト認識／増強モジュール（標的オブジェクト合成モジュールとも称される）を採用する。各標的画像認識／合成モジュールは、患者の乳房組織の２Ｄ画像スライスのスタック（例えば、トモシンセシス画像スタック）上で適用（または「起動」）され、協働し、乳房組織内にあり得る、特定のタイプのオブジェクトを識別し、そのようなオブジェクトが臨床上有意な様式でエンドユーザに提示される結果として生じる２Ｄの合成された画像内に表されることを確実にしてもよい。例えば、第１の標的画像合成モジュールは、乳房組織内の石灰化を識別するように構成されてもよい。別の標的画像合成モジュールは、乳房組織内の有棘病変を識別および再構成するように構成されてもよい。さらに別の標的画像合成モジュールは、乳房組織内の球状塊状物を識別および再構成するように構成されてもよい。１つ以上の実施形態では、複数の標的画像合成モジュールは、画像スライスデータを処理し、個別のオブジェクトを、乳房組織内に存在する個別の高次元構造（例えば、３Ｄオブジェクト）を備える、高次元グリッド（例えば、３Ｄグリッド）内に取り込む。本高次元グリッドは、次いで、２Ｄの合成された画像内の種々の構造を正確に描写するために利用されてもよい。

高次元オブジェクトは、少なくとも３以上の次元（例えば、３Ｄまたはより高次元のオブジェクト、３Ｄオブジェクトおよび時間次元等）を備える、任意のオブジェクトを指し得る。そのようなオブジェクトまたは構造の実施例は、限定ではないが、石灰化、有棘病変、良性腫瘍、不規則的塊状物、高密度オブジェクト等を含む。画像オブジェクトは、画像データ内に存在する、あるタイプの画像パターンとして画定されてもよい。オブジェクトは、３Ｄ空間内の単純丸形オブジェクトおよび２Ｄ空間内の対応する平坦丸形オブジェクトであってもよい。これは、複雑なパターンおよび複雑な形状を伴うオブジェクトであることができ、任意のサイズまたは次元であることができる。オブジェクトの概念は、局所的に境界された幾何学的オブジェクトを超えて拡張し得る。むしろ、画像オブジェクトは、任意の次元形状内に存在し得る、抽象的パターンまたは構造を指し得る。本明細書に開示される本発明は、３Ｄオブジェクトおよび／または構造に限定されず、より高い次元構造を含んでもよいことを理解されたい。標的画像合成モジュールはそれぞれ、個別のタイプのオブジェクトを識別および再構成するために構成されることを理解されたい。これらの「オブジェクト」は、２Ｄ形状、２Ｄ画像パターン、３Ｄオブジェクト、または任意の他の高次元オブジェクトを指し得るが、いずれの場合も、本明細書では、便宜上、全て「オブジェクト」または「３Ｄオブジェクト」と称されるであろうが、本例証的使用は、そうでなければ、請求項の範囲を限定するものとして読まれるべきではない。

図示される実施形態では、２Ｄシンセサイザ１０４は、複数の標的オブジェクト認識／増強モジュール（例えば、１１０ａ、１１０ｂ…１１０ｎ）を備え、それぞれ、特定のタイプのオブジェクトを認識および増強させるために構成される。標的オブジェクト認識／増強モジュール１１０はそれぞれ、２Ｄ画像スタック（例えば、Ｔｒ画像スタック）上で起動され、その中の個別のオブジェクト（いずれかが存在するかどうか）を識別するように構成されてもよい。２Ｄ画像スタック内の割り当てられたオブジェクトを識別することによって、各標的オブジェクト認識／増強モジュール１１０は、個別のオブジェクトが、エンドユーザに提示される結果として生じる２Ｄの合成された画像内で保存され、正確に描写されることを確実にするように作用する。

いくつかの実施形態では、階層式モデルが、標的オブジェクト認識／増強モジュールに割り当てられた加重または優先順位に基づいて、２Ｄの合成された画像内で強調または強調解除するためのオブジェクトを決定する際に利用されてもよい。他の実施形態では、下記にさらに詳細に議論されるであろうように、全てのオブジェクトは、等しく取り扱われてもよく、異なるオブジェクトは、ｚ方向に重複が存在する場合、ともに融合されてもよい。これらの再構成技法は、臨床上有意な情報を備える、２Ｄの合成された画像の作成を可能にする一方、不必要または視覚的に混乱する情報を排除または低減させる。

合成された２Ｄ画像は、ディスプレイシステム１０５において視認されてもよい。再構成エンジン１０３および２Ｄ画像シンセサイザ１０４は、好ましくは、高速伝送リンクを介して、ディスプレイシステム１０５に接続される。ディスプレイシステム１０５は、標準的入手ワークステーション（例えば、入手システム１０１）または入手システム１０１から物理的に遠隔の標準的（マルチディスプレイ）精査ステーション（図示せず）の一部であってもよい。いくつかの実施形態では、通信ネットワークを介して接続されるディスプレイ、例えば、パーソナルコンピュータ、または、いわゆるタブレット、スマートフォン、もしく他のハンドヘルドデバイスのディスプレイが、使用されてもよい。いずれの場合も、システムのディスプレイ１０５は、好ましくは、並行して、例えば、精査ワークステーションの別個の隣り合わせのモニタ内に個別のＭｓ、Ｍｐ、Ｔｒ、および／またはＴｐ画像を表示可能であるが、本発明は、依然として、画像間をトグルすることによって、単一ディスプレイモニタとともに実装されてもよい。

したがって、限定ではなく、例証目的のために説明される、撮像およびディスプレイシステム１００は、トモシンセシス投影画像Ｔｐ、トモシンセシス再構成画像Ｔｒ、合成されたマンモグラム画像Ｍｓ、および／またはマンモグラム（コントラストマンモグラムを含む）画像Ｍｐ、またはこれらの画像タイプの任意の１つまたは副次的組み合わせを受信し、選択的に表示することが可能である。システム１００は、トモシンセシス画像Ｔｐを画像Ｔｒに変換する（すなわち、再構成する）ためのソフトウェアと、マンモグラム画像Ｍｓを合成するためのソフトウェアと、３Ｄオブジェクトを分解するためのソフトウェアと、特徴マップおよびオブジェクトマップを作成するためのソフトウェアとを採用する。ソース画像内の着目オブジェクトまたは特徴は、１つ以上のアルゴリズムおよび／またはヒューリスティックとともに、オブジェクトマップの適用に基づく、２Ｄの合成された画像内への含有のための「最も関連する」特徴と見なされ得、アルゴリズムは、数値、加重、または閾値を、個別の領域内または特徴間の識別された／検出された着目オブジェクトおよび特徴に基づいて、個別のソース画像のピクセルまたは領域に割り当てる。着目オブジェクトおよび特徴は、例えば、有棘病変、石灰化、および同等物を含んでもよい。

図２は、２Ｄ画像シンセサイザ１０４をさらに詳細に図示する。上記に議論されるように、トモシンセシスデータセット（または「スタック」）２０２（例えば、患者の乳房組織のフィルタ処理および／またはフィルタ未処理Ｍｐ、Ｔｒ、および／またはＴｐ画像）の種々の画像スライス２１８が、２Ｄ画像シンセサイザ１０４に入力され、これは、次いで、処理され、ディスプレイ１０５上に表示されるであろう合成された２Ｄ画像内でハイライトするための画像の部分を決定する。画像スライス２１８は、患者の乳房組織の連続して捕捉された断面であってもよい。または、画像スライス２１８は、既知の間隔で捕捉された患者の乳房組織の断面画像であってもよい。画像スライス２１８を備える、トモシンセシス画像スタック２０２は、２Ｄ画像シンセサイザ１０４に転送されてもよく、これは、（１）１つ以上の２Ｄの合成された画像内への可能性として考えられる含有のために、種々のタイプのオブジェクト（Ｔｒ）を識別すること、および／または（２）識別されたオブジェクトを含有する画像内の個別のピクセル領域を識別することのために、ソース画像のそれぞれを評価する。

図示される実施形態に示されるように、トモシンセシススタック２０２は、患者の乳房組織の種々の深度／断面で撮影された複数の画像２１８を備える。トモシンセシススタック２０２内の画像２１８のいくつかは、２Ｄ画像パターンを備える。したがって、トモシンセシススタック２０２は、スタックの画像内に種々の画像パターンを含有する、多数の入力画像を備える。

より具体的には、図２に示されるように、３つの標的オブジェクト認識／増強モジュール２１０ａ、２１０ｂ、および２１０ｃが、トモシンセシススタック２０２上で起動されるように構成され、標的オブジェクト認識および増強モジュール２１０はそれぞれ、特定のオブジェクトと、トモシンセシススタック２０２によって描写される乳房組織内に存在し得る他のオブジェクトの中からその特定のオブジェクトを識別する方法とを画定する、プログラム／ルールおよびパラメータの個別のセットに対応する。例えば、フィルタ処理／画像認識技法および種々のアルゴリズム／ヒューリスティックが、特定の標的オブジェクト認識／増強モジュール２１０に割り当てられたオブジェクトを識別するために、トモシンセシススタック２０２上で起動されてもよい。画像操作／フィルタ処理技法の組み合わせを使用してオブジェクトを認識するために、多くの方法が存在することを理解されたい。

例証目的のために、標的オブジェクト認識／増強モジュール２１０はそれぞれ、少なくとも１つの個別のオブジェクトを識別すると仮定されるであろうが、多くの場合、いずれのオブジェクトも識別されないであろうことを理解されたい。しかしながら、健康な乳房組織さえ、１つ以上の疑わしいオブジェクトまたは構造を有し得、標的オブジェクト認識／増強モジュールは、乳房背景オブジェクトを不注意に識別し得る。例えば、全ての乳房線形組織および密度組織構造は、乳房背景オブジェクトとして表示され得る。他の実施形態では、球状形状、卵形形状等の「健康な」オブジェクトは、単に、標的オブジェクト認識／増強モジュール２１０のうちの１つ以上のものによって識別され得る。識別された３Ｄオブジェクトは、次いで、２Ｄの合成された画像２０６上に表示されてもよい。当然ながら、下記にさらに詳細に議論されるであろうように、全ての識別された２Ｄオブジェクトから、より臨床上有意なオブジェクトが、個別のオブジェクトを２Ｄの合成された画像上に表示するとき、優先／増強されてもよい。

図示される実施形態では、第１の標的オブジェクト認識／増強モジュール２１０ａは、トモシンセシススタック２０２の画像２１８（例えば、Ｔｒ、Ｔｐ、Ｍｐ等）内の円形および／または球状形状を認識するように構成される。第２の標的オブジェクト合成モジュール２１０ｂは、分葉形状を認識するように構成される。第３の標的オブジェクト合成モジュール２１０ｃは、石灰化パターンを認識するように構成される。特に、標的オブジェクト合成モジュール２１０ａ、２１０ｂ、および２１０ｃはそれぞれ、Ｔｒ画像スタック２０２上で起動され、特徴／オブジェクトのセットが、個別の標的オブジェクト合成モジュールによって認識される。

例えば、標的オブジェクト認識／増強モジュール２１０ａは、１つ以上の円形形状を認識し、これらを「認識されたオブジェクト」２２０ａとして記憶してもよい。スタック２０２の複数の画像スライス２１８は、円形形状を含有し得、これらの形状は、同一球状オブジェクトと関連付けられ得る、または異なる球状オブジェクトに属し得ることを理解されたい。図示される実施形態では、少なくとも２つの明確に異なる円形オブジェクトは、標的オブジェクト認識／増強モジュール２１０ａによって認識される。

同様に、標的オブジェクト認識／増強モジュール２１０ｂは、１つ以上の分葉形状を認識し、これらを認識されたオブジェクト２２０ｂとして記憶してもよい。図示される実施形態では、１つの分葉オブジェクトが、トモシンセシススタック２０２内で標的オブジェクト認識／増強モジュール２１０ｂによって認識されている。図から分かるように、トモシンセシススタック２０２内の２つの異なる画像スライス２１８は、分葉オブジェクトの一部を描写するが、個別の部分は、認識／増強モジュール２１０ｂによって単一分葉オブジェクトに属するものとして認識され、単一の認識されたオブジェクト２２０ｂとして記憶される。

最後に、標的オブジェクト認識／増強モジュール２１０ｃは、１つ以上の石灰化形状を認識し、これらを認識されたオブジェクト２２０ｃとして記憶してもよい。図示される実施形態では、（単一）石灰化クラスタが、標的オブジェクト認識／増強モジュール２１０ｃによって認識され、認識されたオブジェクト２２０ｃとして記憶されている。認識されたオブジェクト２２０ａ、２２０ｂ、および２２０ｃは、個別の標的オブジェクト認識／増強モジュール２１０ａ、２１０ｂ、および２１０ｃに対応する、記憶設備に、または代替として、標的オブジェクト認識／増強モジュールのそれぞれによってアクセスされ得る、別個の（すなわち、単一）記憶設備に、記憶されてもよい。

ここで図３を参照すると、標的オブジェクト認識／増強モジュール２１０はそれぞれ、１つ以上の２Ｄの合成された画像上に表示されるための個別の３Ｄオブジェクトを識別および合成する（例えば、２Ｄに低減させるため）ように構成されてもよい。言い換えると、いったん３Ｄオブジェクトが、個別の標的オブジェクト認識／増強モジュール２１０ａ、２１０ｂ、または２１０ｃによって認識されると、標的オブジェクト認識／増強モジュールは、その後、認識されたオブジェクトが２Ｄの合成された画像上に表示され得るように、認識された３Ｄオブジェクトを２Ｄフォーマットに変換する。図示される実施形態では、標的オブジェクト認識／増強モジュール２１０ａ、２１ｂ、および２１０ｃは、個別のオブジェクトを認識し、認識されたオブジェクトを個別の２Ｄフォーマットに変換する。変換プロセスの一部として、認識されたオブジェクトのあるものは、下記にさらに詳細に議論されるであろうように、表示される画像に関して、より大きな程度またはより小さい程度まで増強されてもよい。全３つの標的オブジェクト認識／増強モジュール２１０ａ、２１０ｂ、および２１０ｃが、２Ｄ画像シンセサイザ１０４に等しく重要であると見なされると仮定すると、全ての認識されたオブジェクト（例えば、２つの球状オブジェクト、１つの分葉オブジェクト、および１つの石灰化塊状物）の個別の２Ｄフォーマットが、２Ｄの合成された画像３０２上に描写される。

図４は、単一の標的オブジェクト認識／増強モジュール２１０が、トモシンセシススタック上で起動され、２Ｄの合成された画像の一部を生成し得る方法を図示する。図示される実施形態では、画像スライス４０２は、単一の標的オブジェクト認識／増強モジュール４０４を通してフィードされ、これは、画像４０２のスタック内の星形オブジェクトを認識するように構成される。その結果、単一の標的オブジェクト合成モジュールは、画像スライスの種々の深度から得られた認識される星形に関する情報を単一の２Ｄの合成された画像４０６に低減させる。

図５は、複数の標的オブジェクト認識／増強モジュールを協働させ、２Ｄの合成された画像を生産するための例示的実施形態を図示する。図示される実施形態では、（個別のスタックの）画像スライス５０２が、円形および／または球状形状を認識および再構成するように構成される、第１の標的オブジェクト認識／増強モジュール５０４ａと、星形形状を認識および再構成するように構成される、第２の標的オブジェクト認識／増強モジュール５０４ｂと、石灰化構造を認識および再構成するように構成される、第３の標的オブジェクト認識／増強モジュール５０４ｃとを通してフィードされる。任意の数の標的オブジェクト認識／増強モジュールが、任意の数のオブジェクトタイプのためにプログラムされてもよいことを理解されたい。

標的オブジェクト認識／増強モジュール５０４ａ、５０４ｂ、および５０４ｃはそれぞれ、これらのプログラムが、個別のオブジェクトを正常に認識し、認識されたオブジェクトを２Ｄフォーマットに低減させることを可能にする、種々の所定のルールおよび属性で構成される、個別のアルゴリズムに対応する。全３つの標的オブジェクト認識／合成モジュール５０４ａ、５０４ｂ、および５０４ｃを画像スライス５０２に適用することによって、２Ｄの合成された画像５０６が、生成される。特に、単に、単一のタイプのオブジェクトを表示するのではなく、２Ｄの合成された画像５０６は、３つの標的オブジェクト認識／増強モジュール５０４ａ、５０４ｂ、および５０４ｃによって認識および合成される、全３つのオブジェクトタイプを備え、認識されたオブジェクトはそれぞれ、等しく強調される。これは、全てのオブジェクトタイプが、等しい有意性である場合、望ましくあり得るが、その加重／優先順位に基づいて、異なるオブジェクトタイプを可変程度まで増強させる／強調することが有用であり得る。本技法は、エンドユーザに、潜在的に重要なオブジェクトをアラートする一方、より低い重要性のオブジェクトを強調解除する際、より効果的であり得る。

ここで図６Ａを参照すると、複数の標的オブジェクト認識／増強モジュールからのデータを組み合わせるための階層式順次アプローチが、図示される。特に、順次組み合わせ技法は、種々のオブジェクトタイプが、それらと関連付けられた明確に画定された階層を有する場合、適用されてもよい。例えば、あるタイプのオブジェクト（例えば、有棘病変）は、別のタイプのオブジェクト（例えば、乳房組織内の球状塊状物）より臨床上有意であると見なされ得る。本タイプのオブジェクト（および対応する標的オブジェクトモジュール）は、特定の高加重／優先順位を割り当てられてもよい。そのような場合では、２つのオブジェクトが、２Ｄの合成された画像上で空間に関して競合している場合、より高い優先順位と関連付けられたオブジェクトタイプは、２Ｄの合成された画像上で強調／表示され得、他のオブジェクトタイプは、強調解除される、または全く表示されなくてもよい。同様に、そのようなアプローチでは、標的オブジェクト認識／増強モジュールはそれぞれ、個別の有意性に基づいて、個別の加重を割り当てられてもよい。

図示される実施形態では、画像スライス６０２は、３つの異なる標的オブジェクト認識／増強モジュール（６０４、６０６、および６０８）を通して連続してフィードされ、２Ｄの合成された画像６１０を生成し、標的オブジェクト合成モジュールはそれぞれ、特定のタイプのオブジェクトを認識および再構成するように構成される。第１の標的オブジェクト認識／増強モジュール６０４（正方形形状のオブジェクトと関連付けられる）が、最初に、再構成画像スライス６０２上で起動された後、第２の標的オブジェクト認識／増強モジュール６０６（菱形形状のオブジェクトと関連付けられる）が続き、次いで、第３の標的オブジェクト認識／増強モジュール６０８（円形形状のオブジェクトと関連付けられる）が続く。標的オブジェクト認識／増強モジュールは、連続して適用（または「起動」）されるため、第２の標的オブジェクト認識／増強モジュール６０６は、第１の標的オブジェクト認識／増強モジュール６０４と比較して、より高い優先順位オブジェクトと見なされ得、第３の標的オブジェクト認識／増強モジュール６０８は、第２の標的オブジェクト認識／増強モジュール６０６と比較して、より高い優先順位を有すると見なされ得ることを理解されたい。したがって、第３のオブジェクトタイプは、第２のオブジェクトタイプより優先（または強調）され得、第２のオブジェクトタイプは、第１のオブジェクトタイプより優先（または強調）され得る。

図６Ｂは、種々のオブジェクトタイプを連続して組み合わせるための本階層式アプローチを図示する。特に、トモシンセシス画像スタック６５２は、種々の画像スライス内で認識され得る、オブジェクト６５６、６５８、および６６０を含む。図示されるように、オブジェクト６５８および６６０は、幾分、ｚ方向に重複し、これは、それらが、２Ｄの合成された画像６５４内における表現のために競合する可能性が高いことを意味する。図６Ａの順次アプローチを使用して、複数の標的オブジェクト認識／増強モジュール６０４、６０６、および６０８からのデータを組み合わせるとき、プログラムされた階層は、保存される。したがって、円形形状のオブジェクトを認識および再構成するように構成される、標的オブジェクト認識／増強モジュール６０８は、正方形形状のオブジェクトを認識および再構成するように構成される、標的オブジェクト認識／増強モジュール６０４と比較して、より高い優先順位を有するため、２つのオブジェクト間の重複の場合（図６Ｂにおける場合のように）、円形形状のオブジェクト６５８は、２Ｄの合成された画像６５４内で正方形形状のオブジェクト６６０に優先する。当然ながら、菱形形状のオブジェクト６５６は、他の２つのオブジェクトとｚ方向に重複しないため、菱形形状のオブジェクト６５６もまた、２Ｄの合成された画像６５４に表示されることを理解されたい。他の実施形態では、より低優先順位のオブジェクトに完全に優先させる代わりに、高優先順位を伴うオブジェクトは、より低優先順位オブジェクトに対して強調されてもよい（ディスプレイから省略されるのではなく）。

複数の標的オブジェクト合成モジュールを画像スライスのセット上で起動する別のアプローチは、図７Ａに図示される。図から分かるように、最後に起動された標的オブジェクト合成モジュールが最高優先順位を有する、複数の標的オブジェクト認識／増強モジュールを連続して起動するのではなく、全ての標的オブジェクト認識／増強モジュールが、並行して適用されてもよい。特に、１つ以上の増強または融合モジュール７１２は、種々のオブジェクトが２Ｄの合成された画像上で適切に組み合わせられることを確実にするために利用されてもよい。本アプローチは、階層式アプローチに従わなくてもよく、オブジェクトは全て、等しい加重を与えられてもよい。

画像スライス７０２は、３つの異なる標的オブジェクト認識／増強モジュール、７０４、７０６、および７０８を通して、並行してフィードされる。第１の標的オブジェクト認識／増強モジュール６０４（正方形形状のオブジェクトと関連付けられる）、第２の標的オブジェクト認識／増強モジュール６０６（菱形形状のオブジェクトと関連付けられる）、および第３の標的オブジェクト認識／増強モジュール６０８（円形形状のオブジェクトと関連付けられる）は全て、画像スライス７０２上で並行して起動される。いくつかの実施形態では、増強および融合モジュール７１２は、複数のオブジェクト間の重複の場合、異なるオブジェクトがともに適切に融合されることを確実にするために利用されてもよい。並行して起動される、標的オブジェクト認識／増強モジュール７０４、７０６、および７０８は、２Ｄの合成された画像７１０を生成してもよい。

種々のオブジェクトタイプを並行して組み合わせる本アプローチは、図７Ｂに図示される。特に、トモシンセシススタック７５２は、種々の画像スライスにおける図６Ｂと同一オブジェクト（例えば、オブジェクト７５６、７５８、および７６０）を描写する。図示されるように、オブジェクト７５８および７６０は、幾分、ｚ方向に重複し、これは、それらが、２Ｄの合成された画像７５４内での表現および／または重複のために競合する可能性が高いことを意味する。ここでは、複数の標的オブジェクト認識／増強モジュールが、１つのオブジェクトタイプが、図６Ｂにおける場合のように、別のオブジェクトタイプに優先するのではなく、並行して起動されるため、正方形オブジェクト７６０および円形オブジェクト７５８は両方とも、２Ｄの合成された画像７５４内でともに融合される。したがって、本アプローチは、オブジェクト間の本来の優先順位／階層を仮定せず、全てのオブジェクトは、２Ｄの合成された画像７５４内でともに適切に融合されてもよい。

図８Ａは、図６Ａおよび６Ｂと併せて上記で概略された順次組み合わせアプローチに従って行われる画像マージプロセスにおいて実施され得る例示的ステップを図示する、フロー図８００を描写する。ステップ８０２では、画像データセットが、入手される。画像データセットは、トモシンセシス入手システム、組み合わせトモシンセシス／マンモグラフィシステムによって、または画像ディスプレイデバイスに対してローカルまたは遠隔で位置するかどうかにかかわらず、記憶デバイスから既存の画像データを読み出すことによって、入手されてもよい。ステップ８０４および８０６では、２Ｄ画像の範囲（例えば、Ｔｒスタック）に関して、第１の標的オブジェクト認識／増強モジュールが、第１の標的オブジェクト認識／増強モジュールと関連付けられた第１のオブジェクトを認識するために起動される。任意の認識されたオブジェクトは、第１の標的オブジェクト認識／増強モジュールと関連付けられた記憶モジュール内に記憶されてもよい。ステップ８０８では、第２の標的オブジェクト認識／増強モジュールが、第２の標的オブジェクト認識／増強モジュールと関連付けられた第２のオブジェクトを認識するために起動される。ステップ８１０では、第１の認識されたオブジェクトおよび第２の認識されたオブジェクトが相互にｚ方向に重複するかどうか決定されてもよい。２つのオブジェクトが重複することが決定される場合、第２のオブジェクトのみが、ステップ８１２において、２Ｄの合成された画像上に表示（または別様に第１のオブジェクトより強調）されてもよい。一方、２つのオブジェクトが重複しないことが決定される場合、両オブジェクトが、ステップ８１４において、２Ｄの合成された画像上に表示される。

図８Ｂは、図７Ａおよび７Ｂと併せて上記に概略された並行組み合わせアプローチに従って行われる画像合成プロセスにおいて実施され得る例示的ステップを図示する、フロー図８５０を描写する。ステップ８５２では、画像データセットが、入手される。画像データセットは、トモシンセシス入手システム、組み合わせトモシンセシス／マンモグラフィシステムによって、または画像ディスプレイデバイスに対してローカルまたは遠隔で位置するかどうかにかかわらず、記憶デバイスから既存の画像データを読み出すことによって、入手されてもよい。ステップ８５４および８５６では、２Ｄ画像の範囲（例えば、Ｔｒスタック）に関して、全てのプログラムされた標的オブジェクト認識／増強モジュールが、Ｔｒ画像スタック内の個別のオブジェクトを認識するために起動される。ステップ８５８では、１つ以上の増強モジュールはまた、融合プロセスが生じる必要があるかどうかを決定するために起動されてもよい。ステップ８６０では、任意の認識されたオブジェクトがｚ方向に重複するかどうか決定されてもよい。任意の２つ（以上の）オブジェクトが重複することが決定される場合、重複するオブジェクトは、ステップ８６２において、ともに融合されてもよい。一方、オブジェクトが重複しないことが決定される場合、全てのオブジェクトは、ステップ８１４において、２Ｄの合成された画像上にそのまま表示される。

例示的実施形態が説明されたが、前述され、付随の図に描写される実施例は、例証にすぎず、他の実施形態および実施例もまた、添付の請求項の範囲内に包含されることを理解されたい。例えば、付随の図に提供される流れ図は、例示的ステップの例証であるが、全体的画像マージプロセスは、当技術分野において公知の他のデータマージ方法を使用して、種々の様式で達成されてもよい。システムブロック図も同様に、機能的境界を図示する、代表にすぎず、本開示の発明の要件の限定として見なされるものではない。また、種々の変更および修正が、以下の請求項およびその均等物によってのみ定義されるものとする、本開示の発明の範囲から逸脱することなく、描写および／または説明される実施形態（例えば、種々の部品の次元）に行われてもよいことが、当業者に理解されるであろう。故に、明細書および図面は、制限的意味ではなく、例証として見なされるものとする。

Claims

乳房組織画像データを処理するための方法であって、
患者の乳房組織の画像データを処理し、前記患者の乳房組織を集合的に描写する画像スライスのセットを生成することであって、前記画像スライスのセットのうちの少なくとも２つの画像スライスは、少なくとも、第１のオブジェクトタイプの第１のオブジェクトおよび第２のオブジェクトタイプの第２のオブジェクトを含む、ことと、
複数のオブジェクト認識モジュールのそれぞれを通して、前記セットの画像スライスをフィードすることであって、前記オブジェクト認識モジュールはそれぞれ、前記画像スライス内に存在し得るオブジェクトの個別のタイプを認識するように構成される、ことと、
前記複数のオブジェクト認識モジュールのうちの第１のオブジェクト認識モジュールおよび第２のオブジェクト認識モジュールによって、それぞれ、前記少なくとも２つの画像スライス内の前記第１のオブジェクトタイプの前記第１のオブジェクトおよび前記第２のオブジェクトタイプの前記第２のオブジェクトを認識することと、
前記第１のオブジェクトタイプの前記第１のオブジェクトおよび前記第２のオブジェクトタイプの前記第２のオブジェクトが、前記患者の乳房組織の合成された画像において重複する可能性が高いかどうかを決定することと、
前記決定することに応答して、少なくとも前記少なくとも２つの画像スライスに基づいて、前記合成された画像を生成することであって、前記合成された画像を生成することは、前記第１のオブジェクトタイプの前記第１のオブジェクトおよび前記第２のオブジェクトタイプの前記第２のオブジェクトを融合することを含む、ことと、
前記合成された画像を表示することと
を含む、方法。
前記画像スライスは、個別のオブジェクト認識モジュールにシーケンスでフィードされる、請求項１に記載の方法。
個別の加重を前記オブジェクト認識モジュールのそれぞれに割り当てることをさらに含み、前記割り当てられた加重は、前記オブジェクト認識モジュールのそれぞれによって認識されるオブジェクトのタイプの有意性に対応し、前記オブジェクト認識モジュールのそれぞれに割り当てられた個別の加重は、それを通して前記画像スライスがフィードされる前記オブジェクト認識モジュールの順序を決定する、請求項１～２のいずれかに記載の方法。
前記画像スライスは、第１の加重より高い第２の加重を有する前記第２のオブジェクト認識モジュールを通してフィードされる前に、前記第１の加重を有する前記第１のオブジェクト認識モジュールを通してフィードされる、請求項１～３のいずれかに記載の方法。
前記複数のオブジェクト認識モジュールのうちの第３のオブジェクト認識モジュールによって認識される第３のオブジェクトタイプの第３のオブジェクトが、前記合成された画像上で前記第１のオブジェクトタイプの前記第１のオブジェクトおよび／または前記第２のオブジェクトタイプの前記第２のオブジェクトと重複する可能性が高いかどうかを決定することをさらに含む、請求項１～４のいずれかに記載の方法。
前記第１のオブジェクトタイプの前記第１のオブジェクトおよび前記第２のオブジェクトタイプの前記第２のオブジェクトが、重複する可能性が高いことが決定される場合、前記第２のオブジェクトタイプの前記第２のオブジェクトのみを表示することをさらに含む、請求項１～５のいずれかに記載の方法。
前記第１のオブジェクトタイプの前記第１のオブジェクトおよび前記第２のオブジェクトタイプの前記第２のオブジェクトが、重複する可能性が高いことが決定される場合、前記表示される合成された画像内で前記第２のオブジェクトタイプの前記第２のオブジェクトを前記第１のオブジェクトタイプの前記第１のオブジェクトに対して強調することをさらに含む、請求項１～６のいずれかに記載の方法。
前記オブジェクト認識モジュールは、前記画像スライス上で並行して適用される、請求項１に記載の方法。
前記第１のオブジェクトタイプの前記第１のオブジェクトおよび前記第２のオブジェクトタイプの前記第２のオブジェクトが、重複する可能性が高いことが決定される場合、前記第１のオブジェクトタイプの前記第１のオブジェクトおよび前記第２のオブジェクトタイプの前記第２のオブジェクトのそれぞれの少なくとも一部が、増強され、前記表示される合成された画像内に含まれるように、前記第１のオブジェクトタイプの前記第１のオブジェクトと前記第２のオブジェクトタイプの前記第２のオブジェクトを融合することをさらに含む、請求項８に記載の方法。
モードフィルタを通して前記画像データをフィードすることをさらに含み、前記モードフィルタは、前記表示される合成された画像内で１つ以上の標的オブジェクトをハイライトするために、グラフィカルユーザインターフェースを介して受信された手動入力に基づいて選択されるように構成される、請求項１～９のいずれかに記載の方法。