JP5802264B2 - 標本画像処理システム、方法、及びコンピュータプログラム - Google Patents

標本画像処理システム、方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP5802264B2
JP5802264B2 JP2013510709A JP2013510709A JP5802264B2 JP 5802264 B2 JP5802264 B2 JP 5802264B2 JP 2013510709 A JP2013510709 A JP 2013510709A JP 2013510709 A JP2013510709 A JP 2013510709A JP 5802264 B2 JP5802264 B2 JP 5802264B2
Authority
JP
Japan
Prior art keywords
image
specimen
alignment
anatomical site
outer edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013510709A
Other languages
English (en)
Other versions
JP2013532001A (ja
Inventor
キルステン メーツ
キルステン メーツ
トマス ブエロー
トマス ブエロー
イングウェル クルト カールセン
イングウェル クルト カールセン
マルティン ベルフトホルト
マルティン ベルフトホルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2013532001A publication Critical patent/JP2013532001A/ja
Application granted granted Critical
Publication of JP5802264B2 publication Critical patent/JP5802264B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Description

本発明は標本画像処理に関する。
新しいスキャン技術は早期乳がんの検出を改良した。これは非浸潤性乳管がん(DCIS)などのがん組織の解剖を含む、実行される外科手術の数の増加を生じる。DCISの解剖は手腕を問われる作業である。がんのないマージンを含む完全なDCISのしこりが解剖されたことを確実にするために、次のステップが行われ得る。しこりのサイズと位置を評価するために、マンモグラムに基づく術前計画が慎重に実行される。しこりの位置はガイドワイヤを用いてマークされる。乳腺腫瘤摘出術中、例えば解剖組織のx線イメージングを用いて、そのマージンにがんがないかどうかを評価するために解剖組織が検査される。解剖標本ががんのない組織の不十分なマージンを持つことがわかる場合、外科医はさらに組織を解剖する。
触覚フィードバックと超音波情報はDCISを示さない。代わりに、乳房外科医は完全なしこりを解剖したかどうかをチェックするためにx線を用いて得られる標本x線像を頼りにする。さらなる乳房組織の切除が必要である場合、乳房外科医は乳房のどの追加部分が切除されなければならないかを識別する。このために、乳房外科医は乳頭の方向、腋窩の方向、及び胸部の外側部と内側部の方向を示すために切除された組織上にマーカをセットし得る。しかしながら、どの追加部分を切除すべきかの決定は、麻酔のかかった患者がまだ手術台の上に横たわっている間に相当な時間的制約の下で実行される、間違いを起こしやすく時間のかかる作業である。
標本画像を処理するための改良されたシステムを持つことが有利であり得る。この課題によりよく対処するために、本発明の第1の態様は以下を有するシステムを提供する:
生体の少なくとも一部をあらわす身体画像と生体の解剖部位をあらわす標本画像を受信するように構成される画像入力、及び
標本画像及び/又は身体画像の画像内容に基づいて、身体画像との標本画像の位置合わせを計算するように構成される位置合わせユニット。
位置合わせはユーザが標本画像に基づく所見を体内の位置と関連付けるのに役立つ。これは臨床診断を引き出す若しくはさらなる処置を必要とする身体部位を識別するのに役立ち得る。
システムは解剖部位の外縁の少なくとも一部を検出するように構成される境界検出器を有し得る。解剖部位の外縁は標本画像の処理をより効率的にする。例えば、解剖部位の外縁は関心領域(ROI)を画定するために使用され得る。かかる関心領域は関連情報を含まない標本画像の部分を考慮することを避けるために位置合わせユニットによって使用され得る。
位置合わせユニットは解剖部位の外縁にも基づいて位置合わせを計算するように構成され得る。例えば、位置合わせユニットは位置合わせプロセスにおいて解剖部位の外縁を除くいかなる画像部分も無視するように構成され得る。これは位置合わせ結果を改良する。
システムは外縁に隣接する標本のマージンにおいて所定の組織型を識別するための境界解析器を有し得る。外科医の目的が所定組織型を除去することであるとき、外科医は所定組織型のない組織の安全マージンを解剖したいと思うかもしれない。境界解析器は外科医が安全マージンの解剖に成功したかどうか、及び境界のどの部分が所定組織型を含むかを決定し得る。
境界解析器は解剖部位内にあらわれる所定組織型と解剖部位の外縁の間の距離を測定するように構成される距離測定器を有し得る。これは所定組織型のないマージンの厚さを決定することを可能にする。
位置合わせユニットは所定組織型を有するマージンの部分に対応する身体画像の部分を識別するために構成され得る。これはユーザが、身体のどの部位がさらなる切除を必要とし得るかを見ることができるようにする。
システムはユーザが身体画像において解剖されるべき組織のしこりの境界を特定することを可能にするためのしこり境界画定器を有し、位置合わせユニットはさらに解剖されるべき組織のしこりの境界に基づいて位置合わせを計算するように構成される。この身体画像は同じ身体画像若しくは同じ患者に関する別の身体画像であり得る。この特徴は、解剖されるべき組織のしこりの外縁及び/又は実際に解剖された部位の外縁の位置及び/又は形状を用いて位置及び/又は方向が位置合わせされることができるので、標本画像を身体画像と位置合わせするのに役立つ。
位置合わせユニットは標本画像において見えているマーカにも依存して位置合わせを計算するように構成され得る。これは位置合わせの精度及び/又は効率を改良するのに役立つ。マーカは身体画像においても見えている場合があり、この場合位置合わせはよりいっそう正確になり得る。
マーカは身体に対する標本の方向を示し得る。例えば、マーカは解剖部位の腋窩側、乳頭側、外側部若しくは内側部を示し得る。これは身体及び/又は身体画像に対する標本の正確な方向を見つけるのに役立つ。
システムは乳頭、腋窩、及び胸部の外側部と内側部など、身体画像によって描かれる解剖構造の識別のための画像解析サブシステムを有し得る。解析サブシステムは識別された解剖構造に対するしこり及び/又は固有マーカの方向を計算することができる。これはこのような識別された解剖構造の方向を示す標本内のマーカを用いてなされ得る。これは位置合わせを改良する。
システムは例えば解剖によって若しくは標本のイメージングによって誘導される標本の変形をモデル化する変形モデルを有し得る。これは位置合わせの精度を改良するのに役立つ。例えば、切削力に起因する及びイメージングシステムにおける標本の配置に起因する標本の変形がモデル化され得る。加えて、体液喪失のような生体外効果に起因する形態学的変化がモデル化され得る。
システムは異なる画像モダリティによって若しくは異なるイメージングプロトコルを適用することによって描かれる組織型の外観をモデル化する外観モデルを有し得る。これは異なる組織型を識別するのに役立ち得るか、又は、特に標本画像と身体画像が異なる画像モダリティで取得されたときに、異なる画像モダリティによって取得される画像の位置合わせの精度を改良し得る。
システムは、身体に対する解剖部位の少なくとも一部の位置及び/又は方向を示すように、位置合わせの視覚化を生成するための視覚化サブシステムを有し得る。これは位置合わせによって提供される情報をユーザへ伝える。
位置合わせユニットは身体画像及び/又は標本画像に存在する微小石灰化若しくは解剖構造のパターンなど、強度パターンに基づく計算を実行するように構成され得る。かかる標本画像に存在するパターンは術前画像にも存在し得る。その結果、パターンは標本画像を術前画像と位置合わせするために使用されることができる。
本発明の別の態様は身体画像及び/又は標本画像を取得するための検出器、及び上記システムを有する画像取得装置を提供する。かかる組み合わせは画像取得と位置合わせの機能を単一装置に統合することを可能にする。
本発明の別の態様は上記システム、及び位置合わせを表示するために視覚化サブシステムに動作可能に結合するディスプレイを有する医療ワークステーションを提供する。これはシステムを実現し使用するための便利なワークステーションを提供する。
本発明の別の態様は以下のステップを有する標本画像を処理する方法を提供する:
生体の少なくとも一部をあらわす身体画像と生体の解剖部位をあらわす標本画像を受信するステップ、及び
標本画像及び/又は身体画像の画像内容に基づいて身体画像との標本画像の位置合わせを計算するステップ。
本発明の別の態様はプロセッサシステムに上記方法を実行させるための命令を有するコンピュータプログラム製品を提供する。
本発明の上述の実施形態、実施例、及び/又は態様の2つ以上は有用と見なされる任意の方法で組み合わされ得ることが当業者によって理解される。
記載されたシステムの修正と変更に対応する、画像取得装置、ワークステーション、方法、及び/又はコンピュータプログラム製品の修正と変更は、本記載に基づいて当業者によって実行されることができる。
当業者は、限定されないがX線イメージング、マンモグラフィ、トモシンセシス、コンピュータ断層撮影(CT)、磁気共鳴イメージング(MRI)、超音波(US)、陽電子放出断層撮影(PET)、単光子放出コンピュータ断層撮影(SPECT)、及び核医学(NM)などの様々な取得モダリティによって取得される、例えば2次元(2‐D)、3次元(3‐D)、若しくは4次元(4‐D)画像などの多次元画像データに方法が適用され得ることを理解する。
本発明のこれらの及び他の態様は以下に記載の実施形態から明らかであり、それらを参照して解明される。
標本画像を処理するためのシステムの態様を示すブロック図である。 標本画像を処理する方法の態様を示すフローチャートである。 マーカと標本のスケッチを示す。 身体x線像を示す。 図4Aに図示の身体から標本のx線像を示す。 身体x線像と標本x線像及び境界ボックスを示す。 図5Aに図示の標本x線像を示す。 3つの回転軸の図である。
この記載は、とりわけ、標本画像を処理するためのシステムと方法を記載する。この記載は乳房標本イメージングの応用例に焦点を合わせる。しかしながら、記載の技術は人若しくは動物の体の他の部位、例えば肺、若しくは別の臓器、若しくは四肢の一部の標本画像にも適用され得る。
かかるシステムのブロック図が図1に示される。図は生体の少なくとも一部をあらわす身体画像と生体の解剖部位をあらわす標本画像を受信するように構成される画像入力1を示す。かかる画像入力1は画像リポジトリへの接続、及び/又はマンモグラフィx線ユニットなどの画像取得装置への直接接続を有し得る。この画像入力1は、ユーザがどの画像が身体画像でどの画像が標本画像であるかを特定し得るユーザインターフェース要素をさらに有し得る。また、画像入力1は例えば身体画像若しくは標本画像を取得するために最適化された取得プロトコルを実行するように、画像取得装置を制御するための制御要素を有し得る。かかる取得プロトコルは例えば使用されるx線線量若しくは視野に関して最適化され得る。身体画像は生体の一部の画像であり得る。例えば、身体画像は乳房を示し得る。身体画像はマンモグラムであり得る。身体画像は代替的に身体の別の部位、例えば肺若しくは心臓などの別の臓器を示し得る。標本画像は、身体画像中に示される身体の部位と比較して比較的薄く小さくなり得る、解剖組織片を示す。
システムは身体画像との標本画像の位置合わせを計算するように構成される位置合わせユニット2をさらに有し得る。この位置合わせは標本画像及び/又は身体画像の画像内容に基づき得る。どのように位置合わせが行われ得るかの実施例が以下により詳細に記載される。
システムは位置合わせユニット2に動作可能に接続される境界検出器3を有し得る。境界検出器3は標本画像中の解剖部位の外縁の少なくとも一部を検出するように構成される。これは自動的に、画像処理技術を用いて、標本と標本の周囲(例えば空気)の間の移行部を検出することによってなされ得る。
位置合わせユニット2は解剖部位の外縁に基づいても位置合わせを計算するように構成され得る。例えば、位置合わせユニット2は関心ボリュームの境界として外縁を使用し得る。関心ボリュームの外側の画像要素は位置合わせプロセスにおいて切り捨てられ得る。
システムは所定組織型を有する外縁の部分を識別するための境界解析器4を有し得る。例えば、所定組織型の画像特性に基づいて、所定幅のマージンを有する境界が所定組織型の存在をスキャンされ得る。この所定組織型はがん組織であり得る。これは標本の境界ががんのないマージンを含むかどうか、及び外縁のどの特定部分ががんを含むかを決定するために使用されることができる。
境界解析器4は解剖部位内の所定組織型と解剖部位の外縁の間の距離を測定するように構成される距離測定器5を有し得る。これは所定組織型のないマージンの厚さを測定することを可能にする。
位置合わせユニット2は所定組織型を有する外縁の部分に対応する身体画像の部分を識別するために構成され得る。これはユーザが、身体のどの部位がまだ所定組織型を含む可能性があるかを、ユーザがそれを解剖し得るように、見つけることができるようにする。
システムは、ユーザが身体画像において解剖されるべき組織のしこりの境界を特定することを可能にするためのしこり境界画定器6を有し得る。ユーザは例えば解剖計画中にこれを行うことができる。位置合わせユニット2はさらに解剖されるべき組織のしこりの境界に基づいて位置合わせを計算するために構成され得る。例えば、標本画像は輪郭が最も一致するように平行移動、拡大縮小、回転、及び/又は変形によって位置合わせされ得る。
位置合わせユニット2は標本画像において見えているマーカにも基づいて位置合わせを計算するために構成され得る。例えば、マーカは解剖前に標本に挿入され、標本イメージング中に標本に存在し得る。身体画像もマーカを示すことがあり、この場合画像は両画像のマーカが一致するように位置合わせされ得る。
システムは変形モデル7を有し得る。変形モデル7は解剖部位の変形をモデル化し得る。例えば、かかる変形モデルは解剖の行為のために生じる変形を考慮し得る。また、変形は出血によって若しくは標本の処理によって、例えば標本画像の取得中に生じ得る。
システムは外観モデル8を有し得る。外観モデル8は異なる画像モダリティによって、若しくは異なるイメージングプロトコルを適用することによって描かれる組織型の外観をモデル化し得る。このように、身体画像の特徴が標本画像の特徴に変換され、逆もまた同様である。これは標本画像及び身体画像中の対応する画像特徴を認識することを可能にし、この対応する特徴は2つの画像を位置合わせするために使用され得る。
システムは位置合わせの視覚化を生成するための視覚化サブシステム9を有し得る。視覚化は身体に対する解剖部位の少なくとも一部の位置及び/又は方向の指標を提供し得る。例えば、標本画像は身体画像の上に位置合わせされたオーバレイとして示され得る。代替的に、標本の位置が身体画像中に示され得る。代替的に、標本の外縁が身体に対する標本の位置及び/又は方向及び/又はサイズを示すために身体画像中で視覚化され得る。身体画像中の所定組織型を含む境界マージンの部分を示すことも可能である。
システムは身体画像を取得するための検出器10及び/又は標本画像を取得するための検出器11を有する画像取得装置に組み込まれ得る。これらの検出器10及び11は同じ検出器でもあり得る。検出器10及び11は画像入力1に接続され得る。例えば検出器10はマンモグラフィユニットであり、検出器11はx線ユニットであり得る。
システムは医療ワークステーションに組み込まれ得る。かかる医療ワークステーションは位置合わせを表示するために視覚化サブシステムに動作可能に結合するディスプレイを有し得る。さらに、マウス入力若しくはキーボードなどのユーザ制御が提供され得る。
図2は標本画像を処理する方法を示す。方法は生体の少なくとも一部をあらわす身体画像と生体の解剖部位をあらわす標本画像を受信するステップ201を有する。方法は標本画像及び/又は身体画像の画像内容に基づいて身体画像との標本画像の位置合わせを計算するステップ202をさらに有する。方法はコンピュータプログラム製品として実施され得る。かかるコンピュータプログラム製品は例えば上記の医療ワークステーション上で実行されるために構成され得る。
本明細書に記載のシステムと方法は、とりわけ、患者の術前画像と標本画像を自動的に位置合わせするように構成され得る。位置合わせされた標本x線像は術前画像と標本画像の比較を改良し得る異なるビューモードで提示され得る。インタラクティブモードにおいて、ユーザは自動的に実行された位置合わせを修正することができる。
しかしながら、術前画像との標本x線像の位置合わせは画像の方向及び/又は拡大縮小の差を考慮し得る。加えて、解剖組織は外科手術及び/又はイメージング手順のために変形し得る。患者の術前画像との標本x線像の位置合わせは自動的に実行され得る。位置合わせされた標本x線像は術前画像との比較を促進し得る異なるビューモードで表示され得る。加えて、外科医は任意の自動的に実行された位置合わせをインタラクティブに修正することができる。
術前画像の代わりに、患者の術中画像が使用され得る。この記載では生体の少なくとも一部をあらわす画像を指すために"身体画像"という表現が使用される。身体のこの"部分"は、画像が取得されるときにこの部分が身体から解剖されていないという意味で身体の一体部分である。"標本画像"は画像が取得されるときに身体から解剖されている組織の画像を指す。
術前画像のROIとの標本x線像の位置合わせは、両画像のグレー値特性、テクスチャベース情報、例えば微小石灰化及び/又は解剖構造のパターン、人工マーカによって与えられる標本x線像(腋窩及び乳頭)の方向、固有マーカとしてのガイドワイヤの、1つ若しくは組み合わせに基づき得る。ガイドワイヤは特にガイドワイヤが両画像に示される場合、位置合わせに役立ち得る。
位置合わせは例えばマンモグラム及び標本x線像である2D x線画像間で実行され得る。代替的に、位置合わせは異なるモダリティによって取得される画像、例えば術前乳房磁気共鳴(MR)画像と標本x線像に対して実行され得る。外観モデルは撮像された標本のモダリティに特異的な特徴を身体画像のモダリティに特異的な特徴に変換するために使用され得る。例えば、身体画像と標本画像に使用される画像タイプに依存して、2Dから3D若しくは3Dから4Dの位置合わせが実行され得る。
位置合わせの結果は異なるビューモードの任意の1つ若しくは組み合わせで提示され得る。例えば、身体画像と標本画像は並んで表示され得る。さらに、体内の標本の元の位置及び/又は方向が、例えば1つ以上の矢印を用いて、又は身体画像中の標本オブジェクトに対応する境界ボックス若しくは輪郭を用いて、身体画像中に示され得る。身体画像と標本画像の境界ボックスは並んで配置され得る。身体画像は標本画像と重ね合わされ得る。特に身体画像が3次元であるとき、標本画像は身体画像に投影され得る。付加的に、若しくは代替的に、体内の標本の元の方向が例えば絵文字を用いて示され得る。かかる絵文字の例が図6に示される。
ユーザは身体画像との標本画像の位置合わせを修正することができる。この修正は、例えば身体画像に対する標本画像の方向及び/又は拡大縮小を変更することを含み得る。例えば、ユーザは身体画像の上に重ね合わされる境界ボックスを、例えば境界ボックスを回転及び/又はリサイズすることによって、操作することができる。別の実施例において、ユーザは方向を示す絵文字を操作することができる。別の実施例において、ユーザは方向と倍率を文字通り修正することができる。インタラクティブに実行される修正は直ちに表示され得る。
本明細書に記載の技術は、イメージングシステムのコンソール、乳房ワークステーション、又は、インターベンション計画、外科手術計画、ガイダンス及び/又は制御のための専用コンピュータシステムの一部として実現され得る。
図3は切除された標本301のスケッチを示す。図は、標本が体内の元の方向を決定するためのマーカ303,304を含むことを示す。標本はガードワイヤ302を含む。このガードワイヤは身体画像と標本画像の両方において見えるので、標本画像を身体画像と位置合わせするためのマーカとして使用されることができる。さらに、マーカ303は乳頭の方向を示し、マーカ304は腋窩の方向を示す。これらのマーカは身体に対する標本の方向を決定するために使用され得る。その結果、これらのマーカは標本画像を身体画像と位置合わせするために、特に身体画像に対する乳頭及び/又は腋窩の位置が分かる場合、自動位置合わせユニットによって使用され得る。
図4Aは、組織の解剖前の乳房を示すマンモグラムである。図4Bはガイドワイヤ401と402を持つ拡大された標本x線像を示す。両画像において、矢印は非浸潤性乳管がん(DCIS)を示す微小石灰化を指し示す。ガイドワイヤ401と402は標本x線像を位置合わせするために使用されることができる。
図5AはMLOビューにおける解剖前のDCISを示す術前マンモグラムである。図5Bは解剖された標本を示す拡大された標本x線像である。術前マンモグラムにおいて、解剖組織の領域は長方形501でマークされる。
図6はどのように解剖組織の方向が示されることができるかを図示する。x,y及びz軸周りの回転が絵文字601,602及び603に示される。これらの絵文字はユーザが、例えばドラッグアンドドロップ動作を用いて、解剖組織の自動的に計算された方向をインタラクティブに修正することを可能にするためにも使用されることができる。
本明細書に記載のシステムと方法は生体から組織を解剖するときの補助として使用され得る。例えば、システムと方法は、固形腫瘍、例えば浸潤性乳管がんを含む異なる型の乳がん、又は肝臓がん若しくは肺がんなど他の臓器のがんといったがん組織を解剖するときに使用されることができる。図1に関して上記した'所定組織型'はかかるがん型であり得る。
病理学検査を計画するとき、及び病理学結果の報告中に、本明細書に記載の技術が適用され得る。標本画像に基づいて病理学手術が計画されることができる。かかる計画は精密検査を実行する場所を示し得る。さらに、病理所見の局在診断は標本x線像を用いることによって改良されることができる。これは病理学者と乳房外科医の間のコミュニケーションを改良する。これは患者が手術室内にいて、外科医が切除が必要かどうか決定するために病理学結果を待っている間に実行される病理学検査にとって特に重要である。
モデルは身体及び標本画像の位置合わせを改良するために使用され得る。第一に、組織の解剖と標本のイメージングによって誘導される影響をモデル化するために変形モデルが実施され得る。第二に、体液喪失のような生体外効果をモデル化するために生体外モデルが使用され得る。第三に、異なる画像モダリティによって及び/又は異なる取得プロトコルを適用することによって描かれる脂肪組織、線維性組織、嚢胞、腫瘍組織のような異なる組織型の外観をモデル化するために外観モデルが使用され得る。
例示的な身体画像は例えば頭尾方向CC及び/又はMLO(内外側斜方向)ビューでの2Dマンモグラム、超音波画像、磁気共鳴画像、トモシンセシス画像である。身体画像は例えば術前画像であり得る。代替的に、解剖によって作られる空洞を示す術中画像が使用され得る。例えばx線画像若しくはトモシンセシス画像など、同じモダリティが標本画像のために使用され得る。
位置合わせは例えば以下のステップを実行することによって実行され得る。標本の境界(若しくはマージン)が標本画像において決定され得る。標本画像は最初に身体画像においておおよそ位置特定され得る。この位置特定は位置を決定するための身体画像と標本画像におけるガイドワイヤの識別を有し得る。また、例えばガイドワイヤと推定サイズに基づいて、若しくはユーザ入力を用いて、身体画像において関心領域が画定され得る。関心領域は標本画像においても画定され得、そして2つの関心領域は標本画像を身体画像に対して位置付けるために使用され得る。この位置付けは組織特性と組織の解剖によって誘導される力に依存する標本の変形をあらわすモデルに基づき得る。
次に、身体画像に対する標本画像のおおよその方向が決定され得る。この方向は身体画像と標本画像におけるガイドワイヤの識別とそれらの回転配列に基づき得る。さらに、方向は、術前画像中の腋窩と乳頭及び乳房の外側/内側部など、標本の外側の少なくとも1つの解剖学的マーカ、並びに乳頭、腋窩及び乳房の外側部の方向を示す標本画像に見える外科的マーカの識別と位置合わせに基づいて決定され得る。
上記のおおよその位置合わせは以下の通り精緻化され得る。まず、標本の外側及び外縁上の標本画像の部分が処理から除外され得る。相互情報量に基づいてレジストレーションが実行され得る。かかる相互情報量技術は異なるモダリティによって取得される画像を処理し得る。このように、異なる画像モダリティが使用される場合であっても、身体画像と標本画像の両方で使用可能な情報が使用される。他の種類のレジストレーションもまた使用され得る。異なるイメージングモダリティが使用されるとき、随意にこれらの異なる画像モダリティと、それらの身体(乳房)イメージングと標本イメージングへの適用によって与えられる情報のマッピングがモデル化される。"マッピング"モデルは画像レジストレーションのために使用され得る。
身体画像が3次元であり標本画像がx線像などの1つ以上の投影像のセット、例えば2つの正射影を有する場合、レジストレーションは3D‐2D問題に適応し得る。
再切削が必要な身体画像の部分の位置特定のために、標本画像のマージンが身体画像と位置合わせされ得る。このために、解剖されるべき乳房の部位が最初に身体画像中で識別され得る。このステップは術前画像に基づく手術計画中に外科医によって実行され得る。このステップは画像処理ツール(セグメンテーションツール)によって補助され、手動で若しくは半自動で実行され得る。解剖されるべき乳房の部位の輪郭は記憶され得る。
乳頭、腋窩及び乳房の外側部に関する上記輪郭の方向が決定され得る。このために、乳頭、腋窩、及び胸筋が自動的にセグメント化され得る。
標本画像からの標本のがん部の識別が(セグメンテーションツールの補助により手動で若しくは半自動で)実行され得る。それらの標本のマージンへの距離が決定され得る。1つ以上の断端陽性部位が識別され得る。これらの断端陽性部位はがんを含む(より一般的に、所定組織型を含む)部位である。
位置合わせは標本のマージン(外縁)と解剖されるべき乳房の部位の輪郭に基づき得る。これは例えば境界と輪郭の形状、1つ以上のガードワイヤ、標本上に置かれ標本画像によって描かれる外科的マーカに基づいてなされ得る。
そして所定組織型を有するマージンの部分が、指示位置におけるさらなる解剖を外科医が行うことができるように、身体画像中で視覚化され得る。視覚化は術前身体画像若しくは外科的空洞を示す術中身体画像において実行され得る。
位置合わせは術前身体画像若しくは外科的空洞を示す術中身体画像を用いても実行され得る。後者の場合、空洞は解剖されたしこりの境界を得るために自動的にセグメント化され得る。そしてこの境界は標本画像中の標本の境界と位置合わせされ得る。
本発明はコンピュータプログラムに、特に本発明を実現するのに適したキャリア上若しくは中のコンピュータプログラムにも適用されることが理解される。プログラムはソースコード、オブジェクトコード、部分的にコンパイルされた形式などのコード中間ソース・オブジェクトコードの形式、若しくは本発明にかかる方法の実現における使用に適した任意の他の形式であり得る。かかるプログラムは多くの異なるアーキテクチャ設計をとり得ることもまた理解される。例えば、本発明にかかる方法若しくはシステムの機能を実現するプログラムコードは1つ以上のサブルーチンに細分化され得る。これらのサブルーチンに機能を分配する多くの異なる方法が当業者に明らかである。サブルーチンは内蔵プログラムを作成するために1つの実行ファイルに一緒に記憶され得る。かかる実行ファイルはコンピュータ実行可能命令、例えばプロセッサ命令及び/又はインタプリタ命令(例えばJavaインタプリタ命令)を有し得る。代替的に、サブルーチンの1つ以上若しくは全部が少なくとも1つの外部ライブラリファイルに記憶され、静的に若しくは動的に、例えばランタイムにおいてメインプログラムとリンクされ得る。メインプログラムはサブルーチンの少なくとも1つへの少なくとも1つのコールを含む。サブルーチンは相互へのファンクションコールも有し得る。コンピュータプログラム製品に関する一実施形態は本明細書に記載の方法の少なくとも1つの各処理ステップに対応するコンピュータ実行可能命令を有する。これらの命令はサブルーチンに細分化され得るか、及び/又は静的に若しくは動的にリンクされ得る1つ以上のファイルに記憶され得る。コンピュータプログラム製品に関する別の実施形態は本明細書に記載のシステム及び/又は製品の少なくとも1つの各手段に対応するコンピュータ実行可能命令を有する。これらの命令はサブルーチンに細分化され得るか、及び/又は静的に若しくは動的にリンクされ得る1つ以上のファイルに記憶され得る。
コンピュータプログラムのキャリアはプログラムを保持することができる任意のエンティティ若しくはデバイスであり得る。例えば、キャリアはROM、例えばCD ROM若しくは半導体ROM、又は磁気記録媒体、例えばフロッピーディスク若しくはハードディスクなどの記憶媒体を含み得る。さらに、キャリアは電気若しくは光ケーブルを介して又は無線若しくは他の手段によって伝達され得る、電気若しくは光学信号などの伝送可能キャリアであり得る。プログラムがかかる信号で具現化されるとき、キャリアはかかるケーブル若しくは他のデバイス若しくは手段によって構成され得る。代替的に、キャリアはプログラムが中に組み込まれる集積回路であり得、集積回路は関連方法を実行する、若しくはその実行において使用されるように構成される。
上述の実施形態は本発明を限定するのではなく例示するものであり、当業者は添付のクレームの範囲から逸脱することなく多くの代替的な実施形態を設計することができることが留意されるべきである。クレームにおいて、括弧の間に置かれる任意の参照符号はクレームを限定するものと解釈されてはならない。"有する"という動詞とその活用の使用はクレームに列挙した以外の要素若しくはステップの存在を除外しない。ある要素に先行する冠詞"a"若しくは"an"はかかる要素の複数の存在を除外しない。本発明は複数の個別要素を有するハードウェアを用いて、及び適切にプログラムされたコンピュータを用いて実現され得る。複数の手段を列挙する装置クレームにおいて、これら手段のいくつかはハードウェアの1つの同じ項目によって具体化され得る。特定の手段が相互に異なる従属クレームに列挙されるという単なる事実はこれらの手段の組み合わせが有利に使用されることができないことを示すものではない。

Claims (12)

  1. 標本画像を処理するためのシステムであって、
    生体の少なくとも一部をあらわす身体画像と前記生体の解剖部位をあらわす標本画像を受信する画像入力と、
    前記標本画像及び/又は前記身体画像の画像内容に基づいて、前記身体画像との前記標本画像の位置合わせを計算する位置合わせユニットと
    前記位置合わせユニットに動作可能に接続され、前記標本画像中の前記解剖部位の外縁の少なくとも一部を検出する、境界検出器と、
    前記外縁に隣接する前記解剖部位のマージンにおける所定組織型を識別するための境界解析器とを有し、
    前記位置合わせユニットが前記所定組織型を有するマージンの部分に対応する前記身体画像の部分を識別する、システム。
  2. 前記位置合わせユニットが前記解剖部位の外縁にも基づいて前記位置合わせを計算する、請求項に記載のシステム。
  3. 前記境界解析器が、前記解剖部位における所定組織型と前記解剖部位の外縁との間の距離を測定する距離測定器を有する、請求項に記載のシステム。
  4. ユーザが身体画像において解剖されるべき組織のしこりの境界を特定することを可能にする、しこり境界画定器をさらに有し、前記位置合わせユニットがさらに前記解剖されるべき組織のしこりの境界に基づいて前記位置合わせを計算する、請求項1に記載のシステム。
  5. 前記位置合わせユニットが前記標本画像に見えているマーカにも依存して前記位置合わせを計算する、請求項1に記載のシステム。
  6. 前記解剖部位の変形をモデル化する変形モデルを有する請求項1に記載のシステム。
  7. 異なる画像モダリティによって若しくは異なるイメージングプロトコルを適用することによって描かれる組織型の外観をモデル化する外観モデルを有する、請求項1に記載のシステム。
  8. 身体に対する前記解剖部位の少なくとも一部の位置及び/又は方向を示すように、前記位置合わせの視覚化を生成するための視覚化サブシステムを有する請求項1に記載のシステム。
  9. 前記身体画像及び/又は前記標本画像を取得するための検出器と、請求項1に記載のシステムとを有する画像取得装置。
  10. 請求項1に記載のシステムと、前記位置合わせを表示するための視覚化サブシステムに動作可能に結合するディスプレイとを有する医療ワークステーション。
  11. 標本画像を処理する方法であって、
    生体の少なくとも一部をあらわす身体画像と前記生体の解剖部位をあらわす標本画像を受信するステップと、
    前記標本画像及び/又は前記身体画像の画像内容に基づいて、前記身体画像との前記標本画像の位置合わせを計算するステップと
    前記標本画像中の前記解剖部位の外縁の少なくとも一部を検出するステップと、
    前記外縁に隣接する前記解剖部位のマージンにおける所定組織型を識別するステップと、
    前記所定組織型を有するマージンの部分に対応する前記身体画像の部分を識別するステップとを有する方法。
  12. プロセッサシステムに請求項11に記載の方法を実行させるための命令を有するコンピュータプログラム
JP2013510709A 2010-05-19 2011-05-16 標本画像処理システム、方法、及びコンピュータプログラム Active JP5802264B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10163262 2010-05-19
EP10163262.8 2010-05-19
PCT/IB2011/052129 WO2011145037A1 (en) 2010-05-19 2011-05-16 Handling a specimen image

Publications (2)

Publication Number Publication Date
JP2013532001A JP2013532001A (ja) 2013-08-15
JP5802264B2 true JP5802264B2 (ja) 2015-10-28

Family

ID=44487018

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013510709A Active JP5802264B2 (ja) 2010-05-19 2011-05-16 標本画像処理システム、方法、及びコンピュータプログラム

Country Status (6)

Country Link
US (1) US20130064437A1 (ja)
EP (1) EP2572333B1 (ja)
JP (1) JP5802264B2 (ja)
CN (1) CN102906784B (ja)
BR (1) BR112012029144A2 (ja)
WO (1) WO2011145037A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5559642B2 (ja) * 2010-08-30 2014-07-23 富士フイルム株式会社 手術支援装置、手術支援方法および手術支援プログラム
US10204415B2 (en) 2012-01-16 2019-02-12 Koninklijke Philips N.V. Imaging apparatus
US9642581B2 (en) 2013-11-12 2017-05-09 KUB Technologies, Inc. Specimen radiography with tomosynthesis in a cabinet
WO2016046289A1 (en) 2014-09-24 2016-03-31 Koninklijke Philips N.V. Surgical guide-wire placement planning
US10357216B2 (en) 2015-12-21 2019-07-23 Toshiba Medical Systems Corporation Mammography apparatus
US10068330B2 (en) * 2016-02-26 2018-09-04 Niramai Health Analytix Pvt Ltd Automatic segmentation of breast tissue in a thermographic image
CN110223774B (zh) * 2019-07-05 2022-12-13 扬州大学附属医院 一种实体肿瘤三维病理诊断图像与三维影像诊断图像融合方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2132138C (en) * 1993-09-29 2004-01-06 Shih-Ping Wang Computer-aided diagnosis system and method
EP1259155B1 (en) * 2000-02-18 2010-12-08 Fogarty, Thomas J. Improved device for accurately marking tissue
US7228165B1 (en) * 2000-06-26 2007-06-05 Boston Scientific Scimed, Inc. Apparatus and method for performing a tissue resection procedure
WO2002041752A2 (en) * 2000-11-24 2002-05-30 U-Systems, Inc. Method and system for instant biopsy specimen analysis
JP4193201B2 (ja) * 2002-05-24 2008-12-10 株式会社日立メディコ 臓器の切除領域抽出表示装置
JP2004041490A (ja) * 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像診断支援装置
US20050135707A1 (en) * 2003-12-18 2005-06-23 Turek Matthew W. Method and apparatus for registration of lung image data
US7904145B2 (en) * 2004-03-23 2011-03-08 Dune Medical Devices Ltd. Clean margin assessment tool
JP4541988B2 (ja) * 2005-07-28 2010-09-08 富士フイルム株式会社 位置合せ装置、位置合せ方法、およびそのプログラム
US20060229529A1 (en) * 2006-03-30 2006-10-12 Wright Robert C System, apparatus, and method for marking orientation of a tissue sample
US7907768B2 (en) * 2006-12-19 2011-03-15 Fujifilm Corporation Method and apparatus for probabilistic atlas based on shape modeling technique
JP4970201B2 (ja) * 2007-09-05 2012-07-04 株式会社東芝 医用画像診断装置
US20100331782A1 (en) * 2008-03-03 2010-12-30 Koninklijke Philips Electronics N.V. Biopsy guidance by image-based x-ray guidance system and photonic needle
US8542903B2 (en) * 2008-08-27 2013-09-24 General Electric Company Method and system for delineation of vasculature
US8386015B2 (en) * 2008-10-27 2013-02-26 Siemens Aktiengesellschaft Integration of micro and macro information for biomedical imaging
US20100121172A1 (en) * 2008-11-12 2010-05-13 Siemens Corporate Research, Inc. Microscopic and macroscopic data fusion for biomedical imaging
US8183530B2 (en) * 2009-01-09 2012-05-22 Jefferson Science Associates, Llc Positron emission tomography and optical tissue imaging
CN102422335B (zh) * 2009-05-12 2016-03-02 美国医软科技公司 用于交互式术前评估的系统、方法和装置
US8948474B2 (en) * 2010-01-25 2015-02-03 Amcad Biomed Corporation Quantification method of the feature of a tumor and an imaging method of the same

Also Published As

Publication number Publication date
CN102906784A (zh) 2013-01-30
EP2572333A1 (en) 2013-03-27
EP2572333B1 (en) 2015-09-09
CN102906784B (zh) 2016-05-11
JP2013532001A (ja) 2013-08-15
US20130064437A1 (en) 2013-03-14
BR112012029144A2 (pt) 2016-08-09
WO2011145037A1 (en) 2011-11-24

Similar Documents

Publication Publication Date Title
JP5802264B2 (ja) 標本画像処理システム、方法、及びコンピュータプログラム
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
Cash et al. Concepts and preliminary data toward the realization of image-guided liver surgery
EP2951779B1 (en) Three-dimensional image segmentation based on a two-dimensional image information
US20140073907A1 (en) System and method for image guided medical procedures
US20130257910A1 (en) Apparatus and method for lesion diagnosis
WO2013141974A1 (en) System and method for using medical image fusion
JP6290780B2 (ja) 標本をスライスするスライシングスキームを生成するシステム、画像取得装置、ワークステーション、方法及びコンピュータプログラム
JP2020096795A (ja) デバイス対画像レジストレーションアルゴリズムからの結果の可視化及び操作
Fei et al. A molecular image-directed, 3D ultrasound-guided biopsy system for the prostate
JP6637781B2 (ja) 放射線撮像装置及び画像処理プログラム
JP5073484B2 (ja) 画像処理をするための方法、コンピュータプログラム、装置及びイメージングシステム
EP3110335B1 (en) Zone visualization for ultrasound-guided procedures
Nimmagadda et al. Patient-specific, touch-based registration during robotic, image-guided partial nephrectomy
Esslinger et al. A novel finite element model–based navigation system–supported workflow for breast tumor excision
Georgii et al. Simulation and visualization to support breast surgery planning
US20230138666A1 (en) Intraoperative 2d/3d imaging platform
Conley et al. Image to physical space registration of supine breast MRI for image guided breast surgery
Alpers et al. CT-Based Navigation Guidance for Liver Tumor Ablation.
Scherer et al. New preoperative images, surgical planning, and navigation
Alfano et al. Tumor localization using prone to supine surface based registration for breast cancer surgical planning
Alfano et al. Breast Tumor Localization by Prone to Supine Landmark Driven Registration for Surgical Planning
He et al. A minimally invasive multimodality image-guided (MIMIG) molecular imaging system for peripheral lung cancer intervention and diagnosis
Alameddine et al. Image Fusion Principles: Theory
Shtern et al. Report of the working group on digital mammography: Computer-aided diagnosis and 3D image analysis and display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150828

R150 Certificate of patent or registration of utility model

Ref document number: 5802264

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250