JP5067398B2 - 超音波映像とｃｔ映像の整合システム - Google Patents

Description

本発明は超音波診断分野に関し、特に超音波映像とＣＴ映像の整合システム及び方法に関する。

医療技術が発達するに連れて直接切開せず、人体の最小部位にのみ穴をあけた後、映像を見ながら病変のある部位にアブレータ（Ａｂｌａｔｏｒ）、バイオプシ（Ｂｉｏｐｓｙ）などの医療用針を挿入して治療や検査をする技術が用いられている。このような方法は医学映像装備で人体内部を観察しながら施術を行うため、「映像を用いる施術法」または「カテーテル施術」という。即ち、カテーテル施術は、放射線科で用いる映像装備のＣＴ（ｃｏｍｐｕｔｅｒｉｚｅｄ ｔｏｍｏｇｒａｐｈｙ）などから得た映像を施術中に見ながら皮膚を通じて医療用針を検査を望む部位または治療を望む病変に直接到達させて診断や治療をする施術である。このカテーテル施術法は、一般に切開が必要な外科治療と比較すると、全身麻酔が必要なく、患者の身体的負担が少なく、痛みや苦痛も少なく、入院期間も短縮され、日常への復帰が早くなり、医療費用と効果面でも多くの利得がある。

しかし、ＣＴはリアルタイムで映像を得るのが難しく、特にＣＴを用いてカテーテル施術をする場合、施術者と患者がともに長時間放射線に露出される危険がある。これに比べて、超音波診断システムの場合、リアルタイムで映像を得ることができ、人体にほぼ無害である。しかし、超音波診断装置のみ用いる場合、患者の全ての病変の映像を得るのが難しく、各病変に対しても全体でなく該当病変の一部分のみの映像を得ることができるだけでなく、病変とその周囲の映像を共に得ることができず、病変に至る経路を効果的に探し難く、映像の信号対雑音比が低いために施術計画を樹立するには適しない。

特開２００９−０７１８２１号公報

ＣＴ（ｃｏｍｐｕｔｅｒｉｚｅｄ ｔｏｍｏｇｒａｐｈｙ）映像を超音波映像に整合するための整合システム及び方法を提供する。

前記の課題を解決するために、ＣＴ映像を超音波映像に整合するための整合システムは、第１の所定周期の間に対象体の複数の第１の超音波映像を順次形成する超音波映像形成部と、前記第１の所定周期の中いずれか一時点で前記対象体のＣＴ映像を形成するＣＴ映像形成部と、前記ＣＴ映像を前記第１の超音波映像それぞれと整合して超音波−ＣＴ整合映像を形成するための整合部と、前記超音波−ＣＴ整合映像を格納する格納部を備え、前記超音波映像形成部は、第２の所定周期の間に前記対象体の複数の第２の超音波映像を順次形成し、前記整合部は、前記第１の超音波映像と前記第２の超音波映像の類似度を判断し、前記複数の第１の超音波映像中、前記第２の超音波映像と最も大きな類似度を有する第１の超音波映像に対応する超音波−ＣＴ整合映像を前記格納部から検索し、前記検索された超音波−ＣＴ整合映像を前記第２の超音波映像と共にディスプレイするディスプレイ部をさらに備える。

本発明によるＣＴ映像を超音波映像に整合するための整合方法は、ａ）第１の所定周期の間に対象体の複数の第１の超音波映像を順次形成する段階と、ｂ）前記第１の所定周期中いずれか一時点で前記対象体のＣＴ映像を形成する段階と、ｃ）前記ＣＴ映像を前記第１の超音波映像と整合して超音波−ＣＴ整合映像を形成する段階と、ｄ）前記超音波−ＣＴ整合映像を格納する段階と、ｅ）第２の所定周期の間に前記対象体の複数の第２の超音波映像を順次形成する段階と、ｆ）前記第１の超音波映像と前記第２の超音波映像の類似度を判断し、前記複数の第１の超音波映像の中で、前記第２の超音波映像と最も大きな類似度を有する第１の超音波映像に対応する超音波−ＣＴ整合映像を前記格納部から検索する段階と、ｇ）前記検索された超音波−ＣＴ整合映像を前記第２の超音波映像と共にディスプレイする段階を備える。

本発明は、施術過程で同一の呼吸周期に対応する３Ｄ超音波映像とＣＴ映像の整合映像を提供することができる。

本発明の実施例によってＣＴ映像を超音波映像に整合するシステムの構成を示すブロック図である。 施術前の超音波プローブの位置を示す概略図である。 整合関数形成過程を示す順序図である。 整合過程を概略的に示す例示図である。 局部変換関数の獲得過程を示す順序図である。 施術の前過程と施術過程の超音波プローブの位置関係を示す概略図である。 リアルタイム超音波映像とそれに対応する超音波−ＣＴ整合映像を示す例示図である。

本発明の実施例による超音波映像とＣＴ映像の整合システム及び方法は、施術の前過程（ｐｒｅｏｐｅｒａｔｉｖｅ ｓｔａｇｅ）と施術過程（ｉｎｔｒａｏｐｅｒａｔｉｖｅ ｓｔａｇｅ）に分けて進行される。施術の前過程で対象体、例えば患部上の第１の位置にプローブを固定した状態で吐き出し息から吸い込み息までの呼吸周期における一定間隔で超音波映像と最大吸い込み息におけるＣＴ映像を形成し、最大吸い込み息のＣＴ映像を各超音波映像に整合して超音波−ＣＴ整合映像を形成する。それぞれの超音波映像に対応させて超音波−ＣＴ整合映像を格納する。施術過程ではプローブを第１の位置周辺の第２の位置に移動させ、第１の位置と第２の位置との差による補正のために剛体動き（ｒｉｇｉｄ ｍｏｔｉｏｎ）補正関数を形成する。施術の前過程で一定間隔で得た超音波映像とそれにそれぞれ整合されたＣＴ映像に補正関数を加えてプローブ位置が補正された超音波映像と超音波−ＣＴ整合映像を形成する。施術過程でリアルタイムに超音波映像（以下、リアルタイム超音波映像という）を形成し、プローブ位置が補正された超音波映像の中でリアルタイム超音波映像と最も類似の超音波映像を選択する。選択された超音波映像に対応する超音波−ＣＴ整合映像を検索し、リアルタイム超音波映像と検索された超音波−ＣＴ整合映像を共にディスプレイする。

以下、添付した図面を参照して本発明の実施例による超音波映像とＣＴ映像の整合システム及び方法を説明する。本発明の実施例によれば、超音波映像は３Ｄ（ｄｉｍｅｎｓｉｏｎａｌ）超音波映像を備える。

図１は、本発明の実施例によってＣＴ映像を超音波映像に整合するシステムの構成を示すブロック図である。図１を参照すれば、本発明による整合システム１００は、超音波映像形成部１１０及びＣＴ映像形成部１２０を備える。超音波映像形成部１１０は超音波信号を送受信するためのプローブ（図示せず）を備えることができる。

本発明の実施例で、超音波映像形成部１１０は吐き出し息から吸い込み息までの呼吸周期における一定間隔で超音波映像を順次形成することができる。ＣＴ映像形成部１２０は最大吐き出し息におけるＣＴ映像Ｉ_ＣＴを形成することができる。

本発明による整合システム１００は、ＣＴ映像を各超音波映像に整合して超音波−ＣＴ整合映像を形成するための整合部１３０を備えることができる。超音波−ＣＴ整合映像は格納部１４０に格納できる。

本発明による整合システム１００は、プローブの動きを補正するための剛体補正関数を獲得するための補正部１５０をさらに備える。剛体補正関数は、超音波−ＣＴ整合映像に適用できる。

施術の前過程で、超音波映像形成部１１０は吸い込み息から吐き出し息までの呼吸周期における一定間隔で超音波映像Ｉ_ＵＳ（ｔ_ｉ）（１≦ｉ≦Ｎ）を形成することができる。それぞれの超音波映像Ｉ_ＵＳ（ｔ_ｉ）は、Ｂモード（Ｂｒｉｇｈｔｎｅｓｓ−ｍｏｄｅ）超音波映像であってもよい。施術の前過程における一定間隔で形成した超音波映像Ｉ_ＵＳ（ｔ_ｉ）は図２に示される通り患者（Ｐ）の対象体上にプローブ（ＰＢ）が固定された状態で吸い込み息から吐き出し息まで、即ち、１／２呼吸周期の間に獲得された映像である。望ましくは、本発明は肝臓（ｌｉｖｅｒ）のように呼吸によって動きの変化が示される対象体に適用することができる。人の平均的な１／２呼吸周期（約２ｓ）間の肝臓の動きは約３０ｍｍであり、観測許容誤差が２ｍｍであるとき、必要なボリュームレート（ｖｏｌｕｍｅ ｒａｔｅ）は１／｛２ｍｍ＊（２ｓ／３０ｍｍ）｝≒８ Ｖｏｌ／ｓである。従って、１／２呼吸周期の間に得られるボリューム数、即ち呼吸周期で得られる超音波映像Ｉ_ＵＳ（ｔ_ｉ）の数は１６が望ましい。

図３及び図４を参照して本発明の実施例による整合部１３０の動作について詳細に説明する。図３及び４を参照すれば、前述したように超音波映像形成部１１０が一定間隔でＮ個の超音波映像Ｉ_ＵＳ（ｔ_ｉ）を形成して、ＣＴ映像形成部１２０がＣＴ映像Ｉ_ＣＴを形成すれば（段階３１０〜３３０）、 Ｎ個の超音波映像Ｉ_ＵＳ（ｔ_ｉ）とＣＴ映像の初期変換を初期化する（段階３４０）。段階３４０で以前（ｔ_ｉ−１）の超音波−ＣＴ映像の整合結果Ｔ（ｔ_ｉ−１）を現在の超音波映像（Ｉ_ＵＳ（ｔ_ｉ））を整合するための初期変換（ｔｒａｎｓｆｏｒｍ）Ｔ_{ｉｎｉｔｉａｌ}（ｔ_ｉ）として用いる。即ち、現在の初期条件を以前の呼吸状態の整合結果として用いる。互いに隣接した呼吸状態の変換は互いに類似するため、以前の超音波映像（Ｉ_ＵＳ（ｔ_ｉ−１））とＣＴ映像（Ｉ_ＣＴ）との整合結果を現在の超音波映像（Ｉ_ＵＳ（ｔ_ｉ））の初期変換として用いれば最終変換を求めるにおいて精度と速度の側面でいずれも有利である。続いて、一定間隔でアフィン整合（Ａｆｆｉｎｅ ｒｅｇｉｓｔｒａｔｉｏｎ）（段階３５０）を実施する。アフィン整合のために超音波映像とＣＴ映像で共通の特徴点集合を抽出し、特徴点集合を用いてＩＣＰ（ｉｎｔｅｒａｔｅｄ ｃｌｏｓｅｔ ｐｏｉｎｔ）アルゴリズムでアフィン変換関数Ｔ_{ａｆｆｉｎｅ}を獲得する。再び図３を参照すれば、アフィン整合（段階３５０）を遂行した後、アフィン変換で予測できない局部動作（ｌｏｃａｌ ｍｏｔｉｏｎ）を予測するために局部整合（ｌｏｃａｌ ｒｅｇｉｓｔｒａｔｉｏｎ）（段階３６０）を実施する。呼吸周期における一定間隔で形成された超音波映像に対するＣＴ映像の局部整合は、図５に示した通り、ＣＴ映像で横隔膜抽出及び血管分割を行い（段階４０１及び４０２）、抽出及び分割によって得られた情報に基づいて境界領域選択のためのマスキング（ｍａｓｋｉｎｇ）を行う（段階４０３）。マスキングされたＣＴ映像及び超音波映像でそれぞれグラデーションベクトル（ｇｒａｄｉｅｎｔ ｖｅｃｔｏｒ）を抽出する（段階４０４及び段階４０５）。各映像から得られたグラデーションベクトルと明るさ値から類似度を判断して局部整合を行い（段階４０６）、局部変換関数Ｔ_{ｌｏｃａｌ}を獲得する。局部変換Ｔ_{ｌｏｃａｌ}はＢスプライン（Ｂ−ｓｐｌｉｎｅ）ＦＦＤ（Ｆｒｅｅ−ｆｏｒｍ ｄｅｆｏｒｍａｔｉｏｎ）を用いて定義する。金属薄板の曲げエネルギー（ｂｅｎｄｉｎｇ ｅｎｅｒｇｙ ｏｆ ｔｈｉｎ−ｐｌａｔｅ ｏｆ ｍｅｔａｌ）を用いた平坦拘束（ｓｍｏｏｔｈｎｅｓｓ ｃｏｎｓｔｒａｉｎｔ）を適用して局部変換が平坦になるようにすることができる。

再び図３を参照すれば、局部整合（段階３６０）を実施した後、アフィン変換関数（Ｔ_{ａｆｆｉｎｅ}）と局部変換関数（Ｔ_{ｌｏｃａｌ}）を合せて変換関数Ｔ（ｔ_ｉ）を獲得する（段階３７０）。この変換関数Ｔ（ｔ_ｉ）でＣＴ映像を変換（ｔｒａｎｓｆｏｒｍ）し、Ｎ個の超音波映像のそれぞれに整合されたＣＴ映像（超音波−ＣＴ整合映像）を得、Ｎ個の超音波映像に対応させて超音波−ＣＴ整合映像を格納する。施術の前過程で形成した全ての超音波映像に対して前述した段階３２０〜３７０を繰り返す。

施術過程で図６に示した通り、 施術の前過程で第１の位置（Ａ）に固定されたプローブが第１の位置（Ａ）周辺の第２の位置（Ｂ）に移動する場合、第１の位置（Ａ）と第２の位置（Ｂ）の差による補正のために、補正部１５０は剛体動き補正関数Ｔ_{ｒｉｇｉｄ}を形成する。本発明の実施例によれば、施術過程で最大吸い込み息の状態の基準超音波映像を獲得し、補正部１５０は施術の前過程で得たそれぞれの超音波映像と基準超音波映像の類似度を判断し、施術の前過程で得た超音波映像の中で類似度の大きさ順によって第１の候補映像と第２の候補映像を選択する。基準超音波映像、第１及び第２の候補映像を用いて類似度が最大になる剛体変換変数（ｒｉｇｉｄ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｐａｒａｍｅｔｅｒ）を選定して補正関数Ｔ_{ｒｉｇｉｄ}を形成することができる。

補正部１５０は、施術の前過程で得たそれぞれの超音波映像と超音波−ＣＴ整合映像に補正関数Ｔ_{ｒｉｇｉｄ}を加えてプローブ位置の補正を行う。

施術過程でリアルタイム超音波映像Ｉ_{ＵＳ−ＲＥＡＬ}（ｔ）を獲得し、プローブ位置補正された超音波映像の中で各リアルタイム超音波映像と最も類似の超音波映像を選択する。選択された超音波映像に対応する超音波−ＣＴ整合映像を検索する。図７に示した通り、リアルタイム超音波映像と検索された超音波−ＣＴ整合映像を共にディスプレイ部１６０にディスプレイする。この時、リアルタイム超音波映像と超音波−ＣＴ整合映像を重畳（ｓｕｐｅｒｉｍｐｏｓｅ）または合成（ｆｕｓｉｏｎ）してディスプレイすることができる。

前述した本発明の実施例で施術の前過程と施術過程でプローブの位置が変更されるのを考慮し、施術の前過程で得られた超音波映像と超音波−ＣＴ整合映像に剛体動き補正関数を加えたが、施術の前過程と施術過程でプローブの位置が同一であれば剛体動き補正関数の適用段階は省略できる。

本発明の他の実施例では、前述した一定間隔で得た超音波映像の中で類似度の大きさ順によって複数の超音波映像を選択し、選択された超音波映像に対応して格納された超音波−ＣＴ整合映像を検索し、検索された複数の超音波−ＣＴ整合映像を用いた補間を実施して補間された超音波−ＣＴ整合映像を形成する。選択された超音波映像、補間された超音波−ＣＴ整合映像は施術段階で得られたリアルタイム超音波映像と共にディスプレイできる。

本明細書では、本発明が一部実施例と関連して説明されたが、本発明の属する技術分野の当業者が理解できる本発明の精神及び範囲を逸脱しない範囲で多様な変形及び変更がなされるという点は当然分かるであろう。また、そのような変形及び変更は、本明細書に添付された特許請求の範囲内に属するものと思料しなければならない。

１１０ 超音波映像形成部
１２０ ＣＴ映像形成部
１３０ 整合部
１４０ 格納部
１５０ 補正部
１６０ ディスプレイ部

Claims (10)

1. ＣＴ（ｃｏｍｐｕｔｅｒｉｚｅｄ ｔｏｍｏｇｒａｐｈｙ）映像を超音波映像に整合するための整合システムであって、
   施術前の所定周期の間に対象体の複数の第１の超音波映像を順次形成する超音波映像形成部と、
   前記施術前の所定周期の中いずれか一時点で前記対象体のＣＴ映像を形成するＣＴ映像形成部と、
   前記ＣＴ映像を前記第１の超音波映像それぞれと整合して超音波−ＣＴ整合映像を形成する整合部と、
   前記超音波−ＣＴ整合映像を格納する格納部を備え、
   前記超音波映像形成部は、施術時の所定周期の間に前記対象体の複数の第２の超音波映像を順次形成し、
   前記整合部は、前記第１の超音波映像と前記第２の超音波映像の類似度を判断し、前記複数の第１の超音波映像中、前記第２の超音波映像と最も大きな類似度を有する第１の超音波映像に対応する超音波−ＣＴ整合映像を前記格納部から検索し、
   前記検索された超音波−ＣＴ整合映像を前記第２の超音波映像と共にディスプレイするディスプレイ部をさらに備えることを特徴とする整合システム。
2. 前記施術前の所定周期及び前記施術時の所定周期は、呼吸周期であり、前記第１の超音波映像は呼吸周期における一定間隔で形成された超音波映像であり、前記ＣＴ映像は最大吸い込み息の呼吸周期で形成されたＣＴ映像であることを特徴とする請求項１に記載の整合システム。
3. 前記整合部は、
   前記第１の超音波映像それぞれと前記ＣＴ映像のアフィン整合を行い、アフィン変換関数を獲得し、前記第１の超音波映像それぞれと前記ＣＴ映像の局部整合を行い、前記局部変換関数を獲得し、前記第１の超音波映像それぞれの前記アフィン変換関数と前記局部変換関数を合せて変換関数を獲得し、前記第１の超音波映像それぞれと前記変換関数で前記ＣＴ映像を変換して前記超音波−ＣＴ整合映像を形成することを特徴とする請求項２に記載の整合システム。
4. 前記整合部は、前記アフィン整合を行ってアフィン変換関数を獲得し、前記第１の超音波映像それぞれと前記ＣＴ映像の共通の特徴点集合を抽出し、前記特徴点集合を用いてＩＣＰ（ｉｎｔｅｇｒａｔｅｄ ｃｌｏｓｅｔ ｐｏｉｎｔ）アルゴリズムで前記アフィン変換関数を獲得することを特徴とする請求項３に記載の整合システム。
5. 前記整合部は、前記ＣＴ映像で横隔膜抽出及び血管分割を行い、前記横隔膜抽出及び血管分割の遂行結果を用いて前記ＣＴ映像に境界領域選択のためのマスキングを行い、前記マスキングされたＣＴ映像及び前記第１の超音波映像それぞれから明るさ値及びグラデーションベクトルを抽出し、前記マスキングされた映像と前記第１の超音波映像それぞれから得られたグラデーションベクトルと前記明るさ値から類似度を判断して前記局部整合を行い、前記局部変換関数を獲得することを特徴とする請求項４に記載の整合システム。
6. 前記整合部は類似度順に前記第１の超音波映像から２個以上の第１の超音波映像を選択し、選択された第１の超音波映像それぞれに対応する超音波−ＣＴ整合映像を検索し、前記検索された超音波−ＣＴ整合映像を用いた補間を実施して補間された超音波−ＣＴ整合映像を形成することを特徴とする請求項１に記載の整合システム。
7. 前記超音波映像形成部は、超音波信号を送受信するためのプローブを備え、前記整合システムは前記プローブの動きに基づいて補正関数を獲得するための補正部をさらに備え、前記補正部は前記補正関数を前記第１の超音波映像それぞれと前記超音波−ＣＴ整合映像に適用して補正された第１の超音波映像と補正された超音波−ＣＴ整合映像を得ることを特徴とする請求項１に記載の整合システム。
8. 前記超音波映像形成部は、前記プローブが第１の位置にある時に前記第１の超音波映像を形成し、前記プローブが第２の位置にある時に前記第２の超音波映像を形成し、前記補正部は前記第１の超音波映像及び第２の超音波映像の間の差に基づいて前記補正関数を獲得することを特徴とする請求項７に記載の整合システム。
9. 前記超音波映像形成部は、前記施術時の所定周期の間にリアルタイムで複数の第３の超音波映像を形成し、前記整合部は前記第１の超音波映像と前記第３の超音波映像の類似度を判断し、類似度順に第１の超音波映像から２個以上の第１の超音波映像を選択し、前記選択された第１の超音波映像に対応する超音波−ＣＴ映像を検索し、前記検索された超音波−ＣＴ映像を補間して補間された超音波−ＣＴ整合映像を形成することを特徴とする請求項８に記載の整合システム。
10. 前記ディスプレイ部は、前記検索された超音波−ＣＴ整合映像と前記第３の超音波映像を共にディスプレイすることを特徴とする請求項９に記載の整合システム。

Images