JP4657561B2 - 医学的ドキュメント化のための生体乳房生検位置の視覚化強化 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、広くは、超音波及びＸ線撮影による医療用画像化に関し、更に詳しくは、三次元的な超音波マンモグラフィ（Ｘ線乳房撮影）及び胸部組織生検技術に関する。
【０００２】
【従来の技術】
現在では、胸部疾患を管理する標準的なケアには、疑わしい病変を確実に診断するための胸部生検が含まれる。最近は、定位的に誘導される（stereotactically guided）胸部生検技術が導入されており、この技術によると、生検器具のより正確な誘導が可能となることで、組織のサンプリングの精度を向上させることができる。組織サンプリングを正確に記録し疑われている病変やそれ以外の病理学的な構造との関係におけるそれぞれの組織試料の位置をドキュメント化する恒久的で保管可能な画像を提供することが、科学的、医学的及び法的に望まれている。この課題が特に困難であるのは、組織や病変は三次元構造であるのに対し、誘導に用いられるほとんどの画像は二次元的であるからである。
【０００３】
定位生検をドキュメント化する伝統的な方法は、針が病変の中に既に挿入されているが組織サンプルが実際に採取されていない時点で、定位画像を撮影するという方法である。微細石灰化（microcalcification）が存在する場合には、標準的なケアでは、組織サンプルのＸ線画像が撮影されなければならず、それらのサンプルの中に存在する微細石灰化の数は元のスクリーニング乳房Ｘ線写真においてカウントされた数と等しくなければならないことが特定される。フリーハンドの生検では、通常、針と病変との位置を示す単一のＸ線画像が含まれる。事後及び事前には、画像は提供されないのが一般的である。
【０００４】
生検をドキュメント化するＸ線画像の解釈は複雑であるが、というのは、部分的には、サンプリングされた病変が三次元的なものであるのに対して、他方では、画像は二次元的な１又は複数の平面への射影であるからである。更に、乳房は、画像化と生検との間でいくぶん動いたり、いくぶん変形したりする場合がある。別の短所として、組織を複数回Ｘ線撮影する必要があるという点があり、それによって、患者は、イオン化作用のある放射に露出される。このような方法は、また、それ自体で不便である。というのは、乳房Ｘ線写真が直ちに入手可能であるとは限らないからである。患者は、検証を与える乳房Ｘ線写真が作成されるまで待たなければならないし、生検後の乳房Ｘ線写真が意図した目標を逃したことを示している場合には、追加的な針の挿入が必要となる。
【０００５】
いくつかの生検誘導方法では、挿入の間に生検器具を誘導する画像化媒体として超音波が用いられる。例えば、Shmulewitzへの米国特許第５，８３３，６２７号（１９９８年）には、病変部分の中に挿入する際に生検針又は生検装置のカニューレを誘導する方法及び装置が記載されている。この装置では、超音波検査法をリアルタイムで用いて、生検装置を超音波画像と整合するのに役立てる。同様に、Crosby他への米国特許第５，８２０，５５２号（１９９８年）には、典型的には超音波検査法などのリアルタイムの画像化を用いることによって胸部生検器具の軌跡を誘導して器具の位置決めの精度と容易性とを向上させることができるような装置及び方法が記載されている。
【０００６】
しかし、超音波検査法は、ある種の組織を画像化する能力において制限があり、それによって、上述の方法は制限を受ける。超音波画像化の解像度はＸ線と比較して低いために、Ｘ線の場合であればより可視的である胸部組織における硬質の微細石灰化などの微細な特徴を識別することが困難又は不可能である。小さな石灰化の画像化は特に重要であるが、その理由は、そのような石灰化が乳ガンの検出において決定的な役割を演じるからである。石灰化は、しばしば、乳ガンの唯一の検出可能な初期の徴候である。微細石灰化は、通常、サイズ、形状及び分布を含む複数のファクタに基づいて、良性、おそらく良性、悪性を暗示のいずれかに分類される。良性の石灰化には悪性を連想させる石灰化と区別できないものもあるが、多くは、パターンと分布とによって、そのような区別が可能である。多くの場合、これらの石灰化は、生検を行うことが好ましい程度に疑わしい部位を示す徴候である。
【０００７】
Ｘ線乳房撮影は、微細石灰化を画像化する能力の点で優れており、生検を誘導するのに用いられてきた。例えば、Ｘ線誘導技術が、Levene and Hadaromへの米国特許第５，２０９，２３２号（１９９３）に記載されている。この米国特許には、複数の角度から撮影されるデジタルＸ線透視画像を用いて生検針をその目標まで誘導するシステムが開示されている。しかし、この方法には、少なくとも１つの明らかな短所が存在する。すなわち、この方法に適したデジタルＸ線透視装置は、非常に高価で大型であるということである。更に、透視画像は、非診断的である（生検を導くことは可能であるが、スクリーニング又は微細石灰化を見るのに十分な解像度は有していない）。
【０００８】
Ｘ線乳房撮影は、更に、これ以外の短所を有している。この技術は、十分に区別された物質（骨やそれ以外の石灰化した組織）に関する詳細な画像情報を提供するが、密度と構造とにおいて僅かな差異しか有していない柔らかい組織の間で区別をするのは得意でない。ある女性が、より脂肪の多い乳房と比較すると、Ｘ線乳房撮影的には高密度な乳房を有しているという場合がありうる。そのような乳房からの画像は、一般に、臨床的には有用でない。検査のためにＸ線を用いるということの不可避的な結果として、患者をイオン化作用のある放射に露出させることになるが、これは、広く知られているとおりリスクを伴う。また、この技術は、三次元的な構造を二次元平面上に射影しており、従って、関心対象物の高度又は深度（放射の伝搬方向に沿った位置）を直接的に把握することができないという点で、限度がある。
【０００９】
これ以外に知られている生検位置決め方法及び装置として、Siczek他への米国特許第５，８０３，９１２号（１９９８）と、Veselyへの米国特許第５，８６８，６７３号（１９９９）とがある（腫瘍又はそれ以外の身体的アノマリの手術、生検及び切除を実行するシステム）。Veselyの方法では、超音波基準トランスデューサの注入が必要となり、これは、少なくとも２つのＸ線乳房画像に基づいて位置決めされなければならない。この方法は、小さな微細石灰化（又は、そのクラスタ）ではなく肉眼で見えるサイズの腫瘍に最も適していることは明らかである。
【００１０】
上述した方法及び装置は的確な生検試料を得るのに役に立つが（生検の間に器具を誘導することによって）、これらの従来のアプローチは、どれも、生検が意図した部位から正確に採取されたことを容易に確認するために用いる、価格が手頃で保管可能であって容易に見ることができる生検後の画像を提供するとはいえない。
【００１１】
【発明の概要】
画像処理システム及び方法が、生検前及び生検後の画像を処理することによって、生検試料がそこから採取された生体内の位置を視覚的にドキュメント化し表示する。生検前画像と生検後画像との間の差異を視覚的に強調する合成画像が作成される。好ましくは、三次元デジタル化画像であって様々な射影において表示可能なものが、保管目的でコンピュータ可読な媒体に記憶される。
【００１２】
生検前画像と生検後画像とを適切に関連付けるために、画像プロセッサが、好ましくは、これらの画像の間に所定の相関度を生じる変換を見つけ、それに従って一方の画像を調整することによって、光相関器を用いてこれらの画像を正確に登録する。次に、これらの画像は、体積要素（ボクセル（voxel））ごとに比較され、生検前画像と生検後画像との間の差が検出される。合成画像が、総合的な色、総合的なアイコン又は可能性のある生体内生検位置を強調するそれ以外の視覚的ヒントと共に表示される。
【００１３】
【発明の実施の形態】
図１は、本発明による装置であって、生検を確認する本発明の方法を実行するのに適している装置を示している。超音波画像化システム２０（又は、それと同等のシステム）が、患者の乳房２２を画像化する。ここで、乳房２２は、生検装置２３によるアクセスが可能であるように適切に位置決めされているものとする。画像化システム２０は、デジタル画像データを入力チャネル２６を介して画像プロセッサ２４に提供する。光相関器３０が、好ましくは、画像プロセッサ２４とのインターフェースを有し、画像プロセッサ２４によって制御されて、予め処理された画像データの高速画像処理（相関）を提供する。ユーザ入力装置３２（典型的には、キーボード及び／又はマウスなどのグラフィカル・ポインティング装置）が、画像プロセッサ２４とのインターフェースを有し、それによって、画像プロセッサ２４のユーザ制御が可能となっている。グラフィック出力は、画像プロセッサ２４によって、好ましくはカラー表示が可能なビデオ・ディスプレイであるディスプレイ３４の上に表示される。プリンタ３６が、好ましくは画像プロセッサ２４とのインターフェースを有し、最も好ましくはマルチカラーの高解像度グラフィクスを用いて生検を記録する「ハード・コピー」のプリントアウトを作成する。また、好ましくは、ＣＤ−ＲＯＭライタ、デジタル・テープ・ストレージ、ＤＶＤ又は類似のデジタル・ストレージ装置などの記憶装置３８が、画像プロセッサ２４とのインターフェースを有していて、保管のためにデジタル・データ・フォーマットで生検の結果を記録及び記憶する。オプションであるが、この装置全体は、データ・ネットワーク３９とのインターフェースを有し、遠隔地のユーザとの間でのデータの交換が可能であるか、又は、他の画像データ源へのアクセスが可能となっている。
【００１４】
画像プロセッサ２４は、好ましくは、シリコン・グラフィクス社製のＯ２などの６４ビット・ワークステーションである。ただし、速度又は解像度は犠牲になるが、それほど高性能ではないプロセッサを用いることも可能である。超音波画像化システム２０は、好ましくは、掃引走査を行って、三次元データ・セットに合成される画像の複数のスライスを提供することができる。超音波画像化システム２０と一体の専用プロセッサを用いてそのような合成を行うか、又は、画像プロセッサ２４を用いてそのような合成を実行することができる。
【００１５】
図２ａ及び２ｂは、生検を確認しドキュメント化する本発明による方法のサマリ・レベルの流れ図を示している。準備段階として、これらの図による方法を適用する前に、乳房を超音波を用いて走査するか、及び／又は、入手可能な過去の画像の中で最良のものを参照して、疑われている腫瘍の最良の推測位置と生検のための最も適切な侵入位置及び角度とを決定する。オペレータの準備段階での位置及び角度の推測位置に基づいて、ステップ５０において、生検器具が乳房の適切な位置に挿入される。次に（ステップ５２）、好ましくは超音波画像化ヘッドを乳房の全体に対して直線的に掃引することによって三次元画像掃引が行われ、それによって、複数の画像スライスを得る。これらの複数の画像スライスは、三次元画像に合成することができる。結果として得られた画像は、記憶される（やはり、ステップ５２）。画像プロセッサ２４は、次に、オペレータによって、三次元画像を操作して生検器具を所望の目標へ誘導するのを助ける有用な１又は複数の射影を導くように命令される（ステップ５４）。様々な射影を用いることができるが、オペレータの好みに従って、透視図又は単純な平面図、立面の定位射影（拡大されたもの、又は拡大されていないもの）などが含まれる。スレショルディング、エッジ検出又はそれ以外の既知の画像強化技術を、オプションとして、このステップの一部として用いることもできる。
【００１６】
次に、オペレータは、生検器具の位置決めが生検の目標のサンプルを取得するのに適切かどうかに関する予備的な決定をする（判断ボックス５６）。適切ではない場合には、この位置は調整され（ステップ５８）、三次元画像掃引が反復される（ステップ５２）。超音波測定法は、画像を迅速に取得できるため走査をリアルタイムでほぼ連続的に行えるという点で優れている。オペレータが希望するように生検器具が適切な位置にあるということがいったん示されると、生検サンプルが取り出される（ステップ６０）。生検器具が生検「ガン（銃）」である場合には、スプリングが装着されている器具が迅速に収縮して、組織のコアを取得する。そうではなく、真空支援式装置が用いられている場合には、真空が針状のプローブに与えられ、プローブを介して組織の小さな領域がサンプリング容器の中に吸い込まれるという過程が生じる。
【００１７】
次に図２ｂを参照すると、サンプルが採取された（図２ａのステップ６０）後に、別の三次元画像掃引が実行され記憶される（ステップ６２）。画像プロセッサは、次に（ステップ６４）、生検前の画像（ステップ５２で記憶されたもの）と生検後の画像（ステップ６２で記憶されたもの）とを好ましくは光相関器を用いて登録し、図５ａ、５ｂ及び６との関係で後で詳述するように、適切な座標変換を見つける。生検による組織取得のために、生検前の画像と生検後の画像とは、若干異なる。そして、適切に登録されている生検前の画像と生検後の画像とが、好ましくは、対応するボクセル位置においてボクセルごとに比較される（ステップ６６）。ここで、「ボクセル」（voxel）とは、三次元空間における小さな体積要素を定義するグラフィック情報の単位である。これは、二次元空間における面積要素を定義する「ピクセル」の三次元的なアナロジである。例えば、正規化された生検前及び生検後の画像は、ボクセルごとに減算的に（substractively）比較され、生検前の画像と生検後の画像との間の差を表す三次元差画像が得られる。
【００１８】
上述の比較によると、複数の差異を検出することができる。第１に、生検針が辿った経路は、一般に、生検後の画像においては、僅かな低密度の跡（トレール）として現れる。第２に、生検試料を取り除いた後では、組織を除去した位置は、空隙又は低密度領域として検出が可能である。これらの変化は共に、両方の画像が登録されているために対応するボクセルが比較されるのであれば、ボクセルごとに三次元画像を比較することによって容易に検出される。
【００１９】
生検前画像と生検後画像とを比較した後で、強化された合成画像（composite image）（好ましくは、三次元）が統合されるが（ステップ７０）、これは、画像の差異を強調するものである。強化された合成画像は、例えば、差異が検出された領域を強調するように、カラー・コード化することができる。例えば、生検前には存在していたが生検後には存在しない画像データは、彩度（intensity）が密度に依存するようにピンクでコード化することができる。このようにして、生検された組織（そして生検針又は器具）は、（例えばピンクで）強調することができる。生検後に存在するが生検前には存在していなかった画像情報は、別の色を用いて強調することができる。両方の画像に共通する画像情報は、グレイスケールで示すことができる。このようにして、合成画像が統合されるが、これには、生検前及び生検後の走査からの情報が含まれ、差異が視覚的に強調されている。これは、生検前の画像においては曖昧であった（例えば、生検器具又は上に重複している腫瘍によって隠されている）領域を強調する１つの方法として有用である。
【００２０】
次に、この合成画像は、オペレータによる検査のために表示され（ステップ７２）、保管のために、好ましくは、磁気テープ・メモリや書込可能なＣＤ−ＲＯＭなどの高密度で長期持続性の媒体に記録される（ステップ７４）。好ましくは、三次元の体積画像が記憶されるが、記憶空間を節約するために、オペレータによって選択された射影を（オペレータの制御下にある画像プロセッサ２４によって）導いて二次元画像として記憶することができる。しかし、ストレージはより多く必要であるが、三次元画像の方が好ましい。というのは、他の画像との比較がより容易であるからである（従来の履歴又は事後の展開のために）。三次元画像は、回転、スケーリング、並進などによってデジタル的に操作することが可能であり、任意の視野での比較もできるように射影することができる。２次元画像では、情報を失うことなく又は結果として得られる画像において曖昧さが持ち込まれることなく上述の操作を実行するのに十分な情報を与えてくれない。画像における生検の位置は、好ましくは、識別用のデータと関連付けることによってタグを付け、将来の参照のために、実際の組織サンプルの試料番号と相互リンクしておくべきである。
【００２１】
生検前画像と生検後画像との間の差異を強調することの代わりに、又は、それに加えて、実際の生検サンプルを近似している理想化された幾何学的形状を表す三次元アイコンを、組織が取り出された位置（上述の比較ステップ６６の前後に決定された）における三次元画像の中に（画像プロセッサ２４によって）デジタル的に挿入することができる。例えば、ある種の生検器具は、円柱状のコアを取り出すように設計されている。小さな円柱状のアイコンをデジタル的に統合して、サンプル組織が取り出されたと判断される位置における合成された画像に挿入することができる。
【００２２】
この方法を反復して、複数の生検を、生検器具を除去する又は除去することなく（真空支援式の生検装置の場合）サンプリング及び記録することができる。１又は複数の合成された画像を、保管のために記憶子、生検手順をドキュメント化することができる。複数の個別的な生検位置を、対応する識別用データ・コードと関連付けることによってタグ付けすることにより、実際の組織試料をそれぞれの取り出した位置と相互リンクすることが可能となる。
【００２３】
カラー・コード化及びアイコンの配置とは別に、他のタイプの視覚的な強調を用いて、生検前と生検後との間の画像の差異を強調することができる。例えば、所定の程度の変化を示しているデータ点（画像領域）を強調するためにフリッカ又はブリンクを伴うように表示し、それほどの変化を示していないそれ以外の画像領域はディスプレイの上で静止した状態に表示することができる。視覚的ディスプレイを変形及び組み合わせるという方法が多く可能である。
【００２４】
上述の手順の精度及び正確性は、部分的には、比較の前に生検前及び生検後の画像を登録する（図２ａのステップ６４）精度に依存している。乳房組織又は走査装置の僅かな動きや変形が、生検前走査と生検後走査と（図２ａのステップ５２及び６２）の間で存在することが予測される。この動きには、並進、任意の軸を中心とする回転、若干の収縮や膨張（組織の採取に加えて）などが含まれる。従って、ステップ６４において画像を適切に登録するには、計算論的に実際的であり高速の登録方法が好ましい。好ましい登録方法は、光相関器の特定の計算論的な能力（図９との関係で後で論じられる）を利用する。（図２ａのステップ６４において用いるのに適している）この好適な方法は、視覚化を助けるために、特定の座標系の例を参照することによって、最もよく説明される。
【００２５】
図３は、超音波又は放射線乳房画像がどのようにして特定の有用な座標系に対して向けられるのかを示している。このシステムは、直線状の垂直の軸であるｘ軸、ｙ軸及びｚ軸を有するデカルト直交座標計において図解されている。しかし、本発明は、そのような座標系に限定されるということはない。患者の乳房２２は、超音波画像化システム２０（明瞭にするために図解されていないが、図１には示されている）によって超音波を用いて走査される。患者が画像化システムに向かって座っている場合には、患者の乳房８２は圧力板８３（上側）及び８４（下側）の間で僅かに圧縮され、先行する情報（Ｘ線画像など）を最大限利用できるような態様になっている。圧力板の間で乳房を位置決めする際には、圧力板のエッジは乳房の上下の位置で患者の胸部に接触する。画像を取得する間における画像化システム内の患者の乳房の若干の動きのために、生検後の画像の座標軸は、一般的な場合には、生検前の画像のｘ軸、ｙ軸及びｚ軸とは厳密に対応することはなく、座標変換分だけ異なりうる。例えば、ｘ軸、ｙ軸又はｚ軸方向の並進と、任意の軸を中心とする回転の分だけ異なる。ｚ軸を中心とする回転が、特に生じやすいといえる。
【００２６】
乳房８２が静止している状態で、超音波走査が好ましくは複数の平面（又は表面）において実行されるが、この平面は、一般に、図３のｙ−ｚ平面とは平行ではない。図４には、走査ヘッド９０がｙ軸と平行に整列している超音波トランスデューサの直線状アレイを有している典型的な幾何学的配置が示されている。走査ヘッド９０は、超音波パルスを、ｘ’−ｙ’平面に垂直でｚ’−ｙ’平面に平行な平行線９６の方向に送出する。走査ヘッド９０におけるトランスデューサ９０のアレイは、音響インピーダンスの不連続又は組織内の反射表面によって生じる超音波パルスの帰還（リターン）を検出することによって、（ほぼ）ライン９６の上に存在する下側の組織を調べる。パルスの送信と帰還の受信との間の遅延時間は、帰還を生じさせる不連続又は表面の深さを示す。帰還の大きさ、位相又は周波数などの特性はデジタル化され、深さ（ｚ’軸）に対してプロットされ、複数のトランスデューサ（ｙ’軸方向に分散されている）からの情報が組み合わされて、ｙ−ｚ平面に平行なスライス９８の中にあり走査ヘッド９０の下側にある組織の断面図を表すアレイを構成する。
【００２７】
複数のスライスは、複数の走査ヘッドや二次元走査ヘッド・アレイを設ける、又は、例えば図４のｘ’の方向に走査ヘッドを乳房の領域全体で移動させることによって、走査することができる。複数のスライス、特にスライス９８、１００及び１０２の中のほんの僅かなものの平面が、示されている。実際には、よりよい解像度を得るためには、スライスは多い方が望ましい。そのようなスライスの全体が走査されて、乳房から選択された少なくともいくつかの関心領域（region of interest = ROI）に対する三次元情報の組が形成され、これは、三次元画像を表すデータ構造（三次元アレイなど）に記憶される。
【００２８】
超音波測定装置は、上述のような超音波画像化システム２０として用いることができるものが市販されている。超音波測定データの二次元アレイを本発明によって用いることも可能であるが、その場合には、結果的な表示における有用な情報の量は少なくなる。
【００２９】
図３の例示的な座標系を念頭に置くと、生検前画像と生検後画像とを登録する（ステップ６４）のに適した方法が、図５ａ（及び、それに続く図５ｂ）の流れ図に示されている。この手順によって、画像プロセッサ２４は、生検前及び生検後の画像を整合させるスケール、位置及び回転に関する適切な座標変換を決定する。画像プロセッサ２４は、超音波画像化システム２０からの記憶されている超音波画像にアクセスし（ステップ１０２）、三次元超音波データを１つの平面の上に射影する又は「折り畳む（collapse）」ことによって、二次元表現を取り出す。このための方法の１つとして、「累積的射影」による方法がある。これは、射影平面に垂直なベクトルに沿ってデータ・エントリを加算することによって、二次元平面の上に設定された三次元データ・セットの射影である。このようなベクトルの１つであるベクトル１０６が、図４に図解されている。ボクセル１１０などのボクセル（三次元的な離散的体積セル）と関連付けられた密度値が、ベクトル１０６に沿って加算される。これらの密度値を加算すると、そのベクトルに沿った組織密度の和を示すスカラー値が得られる。このスカラー値は、ベクトル１０６とｘ−ｙ平面との交点におけるピクセル１１２と関連付けられる。このような加算を複数の平行なベクトルについて反復すると、結果的に、三次元超音波画像のｘ−ｙ平面への射影を定義する値の組が得られる。この射影は、好ましくは、生検前画像と生検後画像との両方に適用される。このようにして、図５ａを再び参照すると、両方の三次元データ・セットが、それぞれの二次元画像の上に射影され記憶される（ステップ１１４）。
【００３０】
射影された画像は、オプションであるが、更なる処理がなされる（ステップ１１６）。前処理１１６には、コントラスト修正、スムージング、幾何学的変換、スレショルディング、関心領域の選択など（限定列挙ではない）を含む様々な既知の画像処理技術の任意のものを含めることができる。用いている光相関器のタイプに依存して、後述するように、このステップは、バンダーラグト（Vanderlugt）光相関器におけるこれ以降の光学的相関の準備をするためのデジタル化されたＸ線画像の二次元フーリエ変換を含むこともある。
【００３１】
次に、画像プロセッサ２４は、２つの画像の相対的なスケールを調節して（ステップ１１８）、これらがスケールの点でよりよく対応するようにすることができる。これは、様々な方法によって行うことができる。例えば、１つの方法として、両方の画像における外側の輪郭と胸壁との間で、乳房領域の断面の全面積を一致させるというものがある。この方法では、画像は、最初に、コントラストが低い形状を除去するように処理し、乳房と胸壁との容易に見ることができる輪郭だけを残さなければならない。次に、二次元画像におけるこれらの形状の間の面積が、例えば、画像プロセッサ２４によって数値積分を用いて測定される。この面積は、両方の画像において対応するはずである。これらの面積が対応しない場合には、圧縮の度合いを変更することにより、乳房を圧縮又は拡張することができる。何らかのスケーリング訂正ファクタが次にステップ１１８において適用され、可能な限りの近似を行う訂正がなされる。他方で、多くの場合に、相対的に一定の圧縮を維持することが可能である。このような場合には、僅かな再スケーリングしか必要でないか、又は、スケーリングは全く不要である。
【００３２】
スケールの訂正の後で、画像プロセッサ２４は、画像の整合に必要な回転及び並進を、好ましくは、図５ａの命令ループ１２２の中にまとめられている複数のステップを対話的に実行することによって、決定する。第１に、２つの変数が初期化される（ステップ１２８）。すなわち、命令ループの実行を制御するカウンタｊと、関連する回転角α_jとである。次に、２つの画像の相互相関が計算される（ステップ１３０）。好ましくは、このステップは、光相関器３０を用いて画像プロセッサ２４の制御の下で実際の相関計算を実行することによって達成される。光相関器の詳細は、図５及び６との関係で後述する。この相互相関（ステップ１３０）は、画像の相互相関の程度を示す二次元の相関出力画像を生じ（ステップ１３０）、これは、関連する回転角α_jと共に記憶される（ステップ１３２）。画像プロセッサ２４は、次に、カウンタ変数をチェックして（ステップ１３４）、命令ループ１２２の予め定められた反復の回数を完了したかどうかを確認する。
【００３３】
次に、カウンタ変数ｊがｊｍａｘに達していない場合には、画像プロセッサ２４は動作を継続し、いくらかの角度インクリメントの分だけ２つの画像の一方を他方に対して回転させる。これは例えば、生検前の画像を、フレームの中心にありｚ軸と平行な軸を中心にして１度回転させることによる。カウンタはインクリメントされ（ステップ１３８）、手順は、ループをたどってステップ１３０に戻り、別の相互相関を実行するが、今回は、画像がインクリメント分だけ回転される。この手順は、回転の異なる相関が何らかの回数（ｊｍａｘ）だけ実行されるまで反復される。パラメータｊｍａｘは、関連する角度α_jが予測される最大回転範囲に及ぶ程度に十分大きいように選択されるべきである。図３及び４に示されているような幾何学的配置における乳房検査のためには、ほとんどの場合、１０度未満の範囲が適切である。
【００３４】
カウンタｊがｊｍａｘに到達すると、画像プロセッサ２４は、命令ループ１２２の外に出る。手順は、図５ｂに示されているように継続する。ステップ１３２の様々な反復に先に記憶されている相関出力画像は、相互に比較され、最大の相関を有する相関出力画像とそれと関連する回転角α_jとが求められる。値α_m（最大相関を与える回転角）は記憶され、生検前又は生検後のいずれかの画像がα_mだけ回転されて、それに対応する画像と同じ方向を向くようにされる。
【００３５】
正確なスケールと回転角とを見つけることに加えて、上述の手順における相互相関（ステップ１３０）によって２つの画像を最もよく整合させる正確な並進（位置シフト）を与える出力画像が得られることも理解すべきである。相互相関動作（好ましくは二次元的）の結果に含まれる並進情報は、次のように定義される。ただし、ｆ及びｇは２変数の関数（画像）であり、ｘ及びｙはこれら二次元画像の空間変数であり、α及びβは積分のダミー変数であり、積分は画像全体にわたるものとする。
【００３６】
【数１】

【００３７】
ｆとｇとがｘ及びｙにおける位置的なオフセット分だけ異なる場合には、Ｈ（ｘ，ｙ）は、位置ｘｐ，ｙｐにおいて急峻なピークを有するが、この位置は、ｆとｇとの間のオフセットに対応する変位の分だけ中心的な相関整合位置（典型的には、ｘ＝０、ｙ＝０として定義される）から変位している。この広く知られた結果は、あるテンプレートを参照することによりあるフィールドで当初は未知である位置の特徴を認識して見つけるのに用いられてきた。例えば、Russ, John C., The Image Processing Handbook (CRC Press, 1992), pp. 218-24を参照のこと。簡略化された例は、図６ａないし６ｃに示されている。入力画像である図６ａに示されているオフセット位置における星印１４６は、図６ｂに示されている芯出しされた星印テンプレート１４７から導かれたフィルタと相関される。図６ｃに示されている結果として得られる相関出力は、入力画像とフィルタ・テンプレートとの間のオフセットに対応する位置ｘｐ，ｙｐにおいてピーク１４８を有する。画像を、位置ｘｐ，ｙｐにおける相関ピークと整合させるには、画像の一方をオフセットｘｐ，ｙｐに等しい変位だけ並進させるだけで十分である。
【００３８】
図５ｂに戻ると、画像プロセッサ２４は、次に、相関出力画像を分析して、相関ピークの整合された相関位置からの位置的なオフセットを見つけ（ステップ１５４）、次に、これらの画像をよりよく整合させるのに必要な限度で一方の画像を他方の画像に対して並進させる（ステップ１５６）。回転とスケーリングと並進との最適な組合せを見つけて生検前画像と生検後画像とを整合させた後で、画像プロセッサ２４は、好ましくは、変換された画像と変換パラメータとを関連するメモリに記憶し（ステップ１５８）、好ましくは、変換された画像をディスプレイ装置３４に出力する（ステップ１６０）。視覚的な出力は、様々な形式で表示することができ、様々な表示フォーマットを用いることによって、両方のデータ・セットの適切に並列させて同時に表示することができる。例えば、オーバレイ、カラー・コード化、様々な平面への射影、形態的な疑似三次元表示フォーマットなどを、様々な組合せで用いることができる。
【００３９】
ある実施例では、本発明は、画像を更に相関させてｚ方向（深さ）を整合させることによって、対象となる身体に関する追加的な三次元情報を用いる。これを達成するには、まず、超音波画像が、画像プロセッサ２４によって、図７に示されているスライス１６４のような便宜的に定義されたスライスに分割される。それぞれのスライスには、三次元超音波画像データの１又は複数の層が含まれる。これらのスライスは、画像プロセッサ２４によって、例えば、１６５などの垂直方向のベクトルに沿ったデータ点を加算し複数の薄い層をより暑いスライスに折り畳む（「部分的な累積的射影」）ことによって定義される。図７には、例えば、超音波画像の複数の薄い層１６６（図７では明瞭にするために部分的にだけ示されている）が、底部のスライス１６４とそのすぐ上に重畳しているスライス１６７との間に位置している。部分的な累積的射影は、ベクトル１６５などのベクトルに沿った複数の点における超音波画像値を加算し、その結果を、ベクトル１６５がスライス１６４と交差する点１６８に累積することによって、点ごとになされる。スライス１６４上のそれぞれの画定された点における累積されたデータ値が、集合的に、スライスを定義する。
【００４０】
典型的な応用例では、厚さが５ミリメートル以下のスライスが適当である。平面状のスライスが図解の目的のためには便利であるが、応用例によっては、スライスは、平面状ではない輪郭に沿って作成されるのが便利であることもある。そのようなスライスもまた、本発明の範囲に含まれる。より薄いスライスが、薄い形状を有するよりよい深さの画定のために望ましい。
【００４１】
生検前画像と生検後画像とを最良に整合させるには、それぞれにおける対応するスライスが個別的に相関され、例えば上述の方法によって、その最良の登録が見つけられる。この技術のある変形例では、スライスは、Ｘ’Ｙ’平面に平行に定義される。別の変形例では、スライスは、別の平面（例えば、走査ヘッドの下にありＺ’Ｙ’平面と平行なスライス）において定義され、上述の方法によって登録された後で再度合成される。それぞれのスライスを登録することによって、三次元画像を整合させて、圧力の変化による乳房の変形によって生じる可能性がある生検前及び生検後の手順の間における剪断又はトルクの変動に対応することができる。
【００４２】
生検前画像と生検後画像とは、その最良の登録のために調整された後で、ボクセルごとに加算することによって合成したり、ボクセルごとに減算することによって比較することができる。生検前と生検後との間の差異は、これら２つの生検画像の間で大きな変動を示すボクセルにおける色を変化させることによって、容易に強調することができる。図８は、典型的な合成された画像の表示方法の例を示している。乳房２２の輪郭が、超音波測定によって明らかにされている生検領域２００（図解のために簡略化された疑わしい領域）と共に示されている。他の可視的な密度領域２０２及び２０３が示されており、これは、中性的な色又はグレイ・スケールで適切に表示される。生検針３００（又は、同等の器具）の軌跡は表示のためにカラー・コード化される（例えば、緑）のが好ましく、他方で、組織が取り出された領域２００は、別の色でコード化されているのが好ましい（例えば、ピンク）。この三次元画像は、容易にデジタル化されコンピュータ可読な媒体に保管されるが、生検手順の容易に読み取ることができるドキュメント化を提供し、意図された目標となる組織が本当にサンプリングされたことを証明するために検索することができる。画像プロセッサ２４は、また、想像上の平面３０２によって切り取られたスライスを取り出して、詳細に調べるために二次元的な断面としてそのスライスを表示することができる。好ましくは、プロセッサは、ユーザによる入力に応答して任意のスライスを表示のために選択することができるようにプログラムできるし、又は、ユーザは、複数のスライスを掃引して関心対象の詳細を見ることができる。
【００４３】
図５ａ及び５ｂに示された手順では、相関動作（演算）が光相関器によって実行されるのが極めて好ましい。好適実施例では、画像プロセッサ２４は、２つの画像を光相関器３０に電子的に書き込む。光相関器３０は、好ましくは、相関動作を実行し、結果として得られた相関画像を画像プロセッサ２４に返却する。
【００４４】
光相関器は、波動光学装置を用いて、最初に、本質的に二次元空間のフーリエ変換を二次元ソース画像に対して実行することによって、画像を二次元的に相関させる。この方法は、フーリエ変換の広く知られた数学的性質を利用している。すなわち、相関を含む多くの動作（演算）は、元の空間領域においてよりも、フーリエ変換領域においての方が、容易に計算されるという性質である。特に、二次元の相関動作は、上述の数式１の方程式によって定義され、この式では、ｆ（ｘ，ｙ）及びｇ（ｘ，ｙ）は相互相関される二次元の関数又は画像であり、α及びβは、積分のダミー変数である。この動作は、数値的な手法を用いてそれぞれの点ｘ及びｙに対してデジタル的に実行することができるが、１回の画像相関だけであっても、非常に多数の計算が必要となる。そのような動作をデジタル的に実行するのには非常に時間がかかり、どのような最速のデジタル・コンピュータを用いたしても、不都合なほど長い時間を要する。
【００４５】
従来型のデジタル・コンピュータとは異なり、光相関器は、（１）ソース画像を光学的にフーリエ変換し、（２）フーリエ変換領域においてソース画像とフィルタ画像とを比較し、（３）逆フーリエ変換を実行して空間表現で相関パターンを生じさせることによって、相関動作を非常に高速に実行し、ソース画像とフィルタ画像とを相関させることができる。光相関器は、このような動作をデジタル・コンピュータよりもはるかに高速に達成することができる。その理由は、光学的なフーリエ変換は、波動光学の固有の性質を用いて二次元のフーリエ変換を行うことによって、ソース画像におけるすべての点に対して同時に演算を行うことができるからである。この装置の速度は、実際的な目的に関しては、相関器へのデータ転送の利用可能な書込み及び読出し速度によってのみ制限される。実際の光学的なプロセスは、典型的な光相関器では、１ナノ秒の数分の１で行われる。
【００４６】
光相関器の原理は、既知であり、例えば、Lucas他への米国特許第５，３１１，３５９号に記載されている。本発明において用いるのに適しているコンパクトな光相関器は、米国カリフォルニア州Agoura Hills所在のLitton Data Systems, Inc.などから市販されている。Kirsch他への米国特許第５，６５０，８５５号、Taksue他への米国特許第５，２１６，５４１号、Hornerへの米国特許第５，４３８，６３２号などに記載されている共変換相関器などそれ以外のタイプの光相関器を本発明と共に用いることもできる。
【００４７】
本発明を説明するためには、光相関器３０は、機能的には、図９に示されているような３つの（電子的）ポートを有する電子光装置として考えることができる。これらの３つのポートは、（１）相関のために入力画像を符号化する電子信号を受け取る画像入力ポート２１０と、（２）第２の画像を符号化する第２の電子信号を受け取るフィルタ入力ポート２１２、すなわち、相関のための「フィルタ」と、（３）相関画像を出力のために電気信号に変換する、典型的には電荷結合素子（ＣＣＤ）イメジャからの出力ポート２１４とを含む。更に、この装置は、計算のために用いられる媒体を提供する典型的にはレーザである好ましくは固有の電磁気放射源を必要とする。
【００４８】
画像入力ポート２１０とフィルタ入力ポート２１２とは、アドレシングが可能な画像ピクセル（典型的には、通常のロー及びコラムのパターンに配列された）を用いて、二次元の画像マトリクスとして構成される二次元空間光変調器（ＳＬＭ）として実現される。従って、入力画像は、このマトリクスに適合するようにフォーマットされなければならず（適切には、画像プロセッサ２４によって）、データのそれぞれのピクセルは、画像プロセッサ２４の制御の下に、ＳＬＭ上の空間的に対応するピクセルにアドレシングされる。例えば、本発明のある実施例では、画像入力ポートとフィルタ入力ポートとは、２５６ｘ２５６のピクセル化されたマトリクスとして実現される。従って、この実施例では、画像プロセッサ２４は、前処理のステップ１１６（図５ａ）の一部として、超音波画像を、光相関器３０への出力のために２５６ｘ２５６のマトリクスの上にマップする。本発明の典型的な実施例では、バンダーラグト（Vanderlugt）型の光相関器が用いられる。そのような相関器では、「フィルタ」画像は、二次元のフーリエ変換による前処理がなされなければならない。そのような実施例では、「フィルタ」ポートに書き込まれた画像は、好ましくは、画像プロセッサ２４によって（例えば、前処理のステップ１１６において）二次元フーリエ変換がなされて、周波数領域のパターンが提供される。別の実施例では、共変換（joint transform）相関器を、光相関器３０として用いることができる。これによって、フィルタ画像のデジタル・フーリエ変換が不要となるが、その理由は、この変換が、共変換相関器によって光学的に実行されるからである。
【００４９】
従来の実際的な高速光相関器では、ＳＬＭと光検出器マトリクスとは、連続的に変調可能な表面ではなく離散的なピクセルによって構成されていたことに注意してほしい。従って、フーリエ変換と相関演算とは、離散的な相互相関（上述の数１の方程式によって与えられる）を近似することしかできないのである。しかし、得られた近似は、ほとんどの応用例については、画像処理に十分である。
【００５０】
入力及びフィルタ画像が入力及びフィルタ・ポート２１０及び２１２に書き込まれると、光相関器は、折り畳まれた音波画像と放射線画像との間の最大の相関の位置における光学的な１又は複数のピークを有する二次元出力相関パターンである出力画像を生じる。相関の程度は、出力信号の強度によって示される。相関器の出力ＣＣＤの二次元マトリクス上の出力ピークの位置は、複数の画像相互間の並進又はシフトを示している。出力画像は、出力光検出器（ＣＣＤ）２１４から、画像プロセッサ２４によって通常の態様で、ＣＣＤ電圧値をシーケンシャルにロー（又は、コラムについて）についてシフトして出力レベルをデジタル化することによって、読み出される。
【００５１】
本発明は、並進、回転及びスケール乗算など、座標の線形変換の用語を用いて説明されているが、本発明は、線形変換に限定されない。いくつかの応用例では、座標系の非線形変換を用いることができる。例えば、超音波測定情報が、対象物の位置の変化によって又は機具の圧力によって乳房が異なる態様に変形している場合にも、得られる。非線形であるのが一般的な数学的変換を適用することによって、変形している対象となる乳房の元の対象である乳房へのよりよいマッピングを得ることができる。同様にして、走査技術によっては、非線形の変換を用いて処理される曲線的で非デカルト的な座標系に関係する場合がある。
【００５２】
本発明の実施例を以上で説明してきたが、本発明から離れることなく、多くの変更、修正及び追加的な実施例を実現することが可能であることは、この技術分野の当業者には明らかなはずである。例えば、超音波画像化システムの構成又は幾何学的配置及び用いられている座標系を変更することができる。データ記憶、伝送又は処理のための様々な手段を用いることができる。画像プロセッサから光相関器に送られる画像の解像度やタイプを変更することも可能である。三次元の相互相関も可能である（しかし、計算論的には複雑となる）。そのような演算を複数の平面的な演算に分解することができる限度であれば、上述の光相関器を用いることによって、計算を加速することができる。従って、本発明は、冒頭の特許請求の範囲によってのみ範囲が決定されるものである。
【図面の簡単な説明】
【図１】 本発明による装置のシステム・レベルでのブロック図である。
【図２】 図２ａ及び図２ｂから構成される。図２ａは、生検試料がそこから採取された位置をドキュメント化する本発明による方法の流れ図である。図２ｂは、図２ａの方法の継続部分を示す流れ図である。
【図３】 本発明によって用いられる人の乳房の超音波画像を取得するのに用いることができる幾何学的配置の全体図である。
【図４】 図３の構成の全体図であり、人の乳房から三次元画像を取得する走査方式の更なる詳細を示している。
【図５】 図５ａ及び図５ｂから構成される。図５ａは、図２の登録ステップにおいて用いるのに適した、生検前画像を生検後画像と登録する方法の初期ステップを示す流れ図である。図５ｂは、図５ａから継続する流れ図であり、この方法の更なるステップを示している。
【図６】 図６ａ、図６ｂ及び図６ｃから構成され、相関された画像の位置的なオフセットを発見する相互相関操作の例における、入力画像、フィルタ・テンプレート及び結果的な相関出力画像の単純化された例をそれぞれ示している。
【図７】 本発明による三次元乳房画像の画像処理のために選択されうる乳房の平面スライスの構成の全体図である。
【図８】 本発明によって針生検をドキュメント化するために作成された合成画像の典型的な視覚的表示を表す全体図である。
【図９】 本発明の変形例によってオプションとして用いられ、二次元的な相関動作を高速で実行することにより生検前画像及び生検後画像の登録に役立つ光相関器のシンボリックな図解である。

Claims (11)

1. 生検試料が取り出される前に得られた生検目標組織の画像である生検前画像と、前記生検標本が取り出された後に得られた生検目標組織の画像である生検後画像とを関連付けることによって身体組織の画像を強化するシステムであって、
   （ａ）前記生検前画像及び前記生検後画像を受け取り、（ｂ）光相関器を制御して前記生検前画像と前記生検後画像との間の相関の位置を見つけることによって、前記生検前画像及び前記生検後画像を登録し、（ｃ）前記生検前画像及び前記生検後画像から合成画像を誘導するようにプログラムされている画像プロセッサ（２４）と、
   前記画像プロセッサに結合されており、前記生検前画像と前記生検後画像とを相関させ、前記処理された画像の相関の位置を示す相互相関画像を前記画像プロセッサに出力するように構成された光相関器（３０）と、
   を備えていることを特徴とするシステム。
2. 請求項１記載のシステムにおいて、前記画像プロセッサは、更に、前記生検前画像と前記生検後画像との間の差を計算し前記合成画像における前記差を強調するようにプログラムされていることを特徴とするシステム。
3. 請求項１記載のシステムにおいて、該システムは更に、前記画像プロセッサに結合されており、前記画像プロセッサから前記合成画像を受け取り、ユーザが前記合成画像を見ることを可能にする視覚的ディスプレイ（３４）を備えていることを特徴とするシステム。
4. 請求項１記載のシステムにおいて、該システムは更に、超音波画像データを前記画像プロセッサに通信して前記生検前画像及び前記生検後画像の少なくとも一方を提供するように構成された超音波画像化システム（２０）を備えていることを特徴とするシステム。
5. 請求項１記載のシステムにおいて、該システムは更に、前記合成画像を記憶する記憶媒体を備えていることを特徴とするシステム。
6. 請求項１記載のシステムにおいて、前記生検前画像及び前記生検後画像の少なくとも一方は、３次元画像モデルであることを特徴とするシステム。
7. 請求項１記載のシステムにおいて、前記画像プロセッサ及び前記光相関器は、前記生検前画像及び前記生検後画像の少なくとも一方を空間的に調整して、空間的に記憶するよう構成されていることを特徴とするシステム。
8. 請求項７記載のシステムにおいて、前記生検前画像及び前記生検後画像を空間的に記憶するために、前記画像プロセッサ及び前記光相関器は、
   前記生検前画像及び前記生検後画像の間の相関の所定の程度を生成する座標変換を決定し、
   前記生検前画像及び前記生検後画像の少なくとも一方に前記座標変換を適用する
   よう構成されていることを特徴とするシステム。
9. 請求項８記載のシステムにおいて、前記座標変換を決定するために、前記画像プロセッサ及び光相関器は、
   前記生検前画像及び前記生検後画像の少なくとも一方に複数の座標変換を適用して、複数の対応する調整された画像を生成し、
   前記調整された画像と前記生検前画像及び前記生検後画像の一方と相互相関して、相関出力を生成し、
   対応する調整された画像から画定された相関出力を生成する座標変換を選択する
   よう構成されていることを特徴とするシステム。
10. 請求項２記載のシステムにおいて、前記画像プロセッサは、前記生検前画像及び前記生検後画像の間の相違に基づいて、合成色で前記合成画像の複数の領域を表すことにより、前記合成画像における相違を明確化するよう構成されていることを特徴とするシステム。
11. 請求項２記載のシステムにおいて、前記画像プロセッサは、生検組織標本の位置を示すために、前記合成画像における複数の領域に合成アイコンでタグ付けすることにより、前記合成画像における相違を明確化するよう構成されていることを特徴とするシステム。

Images