JP5579527B2

JP5579527B2 - ２次元超音波映像に対応する２次元ｃｔ映像を提供するシステムおよび方法

Info

Publication number: JP5579527B2
Application number: JP2010172675A
Authority: JP
Inventors: ドンギュヒョン，; ジョンボムナ，; トクウンイ，; ウヒョンナム，
Original assignee: Korea Advanced Institute of Science and Technology KAIST; Samsung Medison Co Ltd
Current assignee: Korea Advanced Institute of Science and Technology KAIST; Samsung Medison Co Ltd
Priority date: 2009-08-03
Filing date: 2010-07-30
Publication date: 2014-08-27
Anticipated expiration: 2030-07-30
Also published as: KR20110013738A; EP2293244B1; US8447383B2; US9186062B2; JP2011031045A; KR101121353B1; US20110028844A1; US20130231559A1; EP2293244A1

Description

本発明は、映像整合に関し、特に、３次元超音波映像と３次元ＣＴ（ｃｏｍｐｕｔｅｒｉｚｅｄｔｏｍｏｇｒａｐｈｙ）映像との間に映像整合を行って２次元超音波映像に対応する２次元ＣＴ映像を提供するシステムおよび方法に関する。

超音波システムは、無侵襲および非破壊特性を有しており、対象体内部の情報を得るために医療分野で広く用いられている。超音波システムは、対象体を直接切開して観察する外科手術の必要がなく、対象体の内部組織を高解像度の映像で医師に提供できるので、医療分野で非常に重要なものとして用いられている。

超音波映像は、信号対雑音比が低いため、これを補完するためにＣＴ映像と超音波映像との間に映像整合を行ってＣＴ映像と超音波映像を提供している。

従来には、センサーを用いてＣＴ映像と超音波映像との間に映像整合を行っていた。これには、センサーが必ず必要とされ、呼吸などのような対象体の動きにより対象体内部の臓器の変形が起こった場合、誤差が発生する問題がある。

一方、従来には、超音波プローブを異なる位置に移動させて２次元超音波映像を取得する場合、２次元超音波映像が３次元超音波映像内に含まれる超音波映像であるかを検出するために、または、３次元超音波映像に映像整合された３次元ＣＴ映像から２次元超音波映像に対応する２次元ＣＴ映像を抽出するためには、必ずセンサーが必要となる問題がある。

特開２００９−０７１８２１号公報特開２００９−２９１６１８号公報

本発明の課題は、センサーを用いず、３次元超音波映像と３次元ＣＴ（ｃｏｍｐｕｔｅｒｉｚｅｄｔｏｍｏｇｒａｐｈｙ）映像との間に映像整合を行い、３次元超音波映像に整合された３次元ＣＴ映像から２次元超音波映像に対応する２次元ＣＴ映像を抽出して提供するシステムおよび方法を提供することにある。

本発明における超音波システムは、対象体内の関心物体に対する３次元ＣＴ映像を形成するＣＴ映像形成部と、前記関心物体に対する３次元超音波映像および２次元超音波映像を形成する超音波映像形成部と、前記３次元超音波映像に剛体変換（ｒｉｇｉｄ−ｂｏｄｙｔｒａｎｓｆｏｒｍ）を行うための複数の変換パラメータを格納する格納部と、前記３次元超音波映像と前記３次元ＣＴ映像との間に映像整合を行い、前記３次元超音波映像に基準断面を含む３次元直交座標系を設定し、前記変換パラメータを用いて前記３次元超音波映像に前記剛体変換を行いながら前記基準断面に対応する基準断面映像と前記２次元超音波映像との間で類似度を測定して、前記測定された類似度を用いて前記２次元超音波映像に対応する２次元ＣＴ映像を抽出するプロセッサとを備える。

また、本発明における映像提供方法は、ａ）対象体内の関心物体に対する３次元ＣＴ映像を形成する段階と、ｂ）前記関心物体に対する３次元超音波映像を形成する段階と、ｃ）前記３次元超音波映像と前記３次元ＣＴ映像との間に映像整合を行う段階と、ｄ）前記関心物体に対する２次元超音波映像を形成する段階と、ｅ）前記３次元超音波映像に基準断面を含む３次元直交座標系を設定する段階と、ｆ）前記３次元超音波映像に剛体変換（ｒｉｇｉｄ−ｂｏｄｙｔｒａｎｓｆｏｒｍ）を行うための複数の変換パラメータを用いて前記３次元超音波映像に前記剛体変換を行いながら前記基準断面に対応する基準断面映像と前記２次元超音波映像との間で類似度を測定する段階と、ｇ）前記測定された類似度を用いて前記２次元超音波映像に対応する２次元ＣＴ映像を抽出する段階とを備える。

本発明は、センサーを用いず、３次元超音波映像に整合された３次元ＣＴ映像から３次元超音波映像内の２次元超音波映像に対応する２次元ＣＴ映像を提供することができる。

本発明の実施例における映像提供システムの構成を示すブロック図である。本発明の実施例における超音波映像形成部の構成を示すブロック図である。本発明の実施例におけるプロセッサの構成を示すブロック図である。方向に応じたへシアンマトリクスの固有値を示す例示図である。本発明の実施例によって３次元超音波映像と３次元ＣＴ映像との間に映像整合を行って２次元超音波映像に対応する２次元ＣＴ映像を提供する手続を示すフローチャートである。本発明の実施例における３次元超音波映像、２次元超音波映像、３次元直交座標および基準断面を示す例示図である。本発明の実施例における３次元超音波映像に剛体変換を行った例を示す例示図である。

以下、添付した図面を参照して本発明の実施例を説明する。本実施例で用いられた用語「関心物体」は、対象体内の肝などを含む。

図１は、本発明の実施例における映像提供システムの構成を示すブロック図である。映像提供システム１００は、ＣＴ（ｃｏｍｐｕｔｅｒｉｚｅｄｔｏｍｏｇｒａｐｈｙ）映像形成部１１０、超音波映像形成部１２０、格納部１３０、プロセッサ１４０およびディスプレイ部１５０を備える。また、映像提供システム１００は、使用者の入力情報を受信する使用者入力部（図示せず）を更に備えることができる。

ＣＴ映像形成部１１０は、対象体内の関心物体に対する３次元ＣＴ映像を形成する。３次元ＣＴ映像は、複数の２次元ＣＴ映像からなる。

超音波映像形成部１２０は、超音波信号を対象体に送信し、対象体から反射される超音波信号（すなわち、超音波エコー信号）を受信して対象体内の関心物体に対する３次元超音波映像を形成する。また、超音波映像形成部１２０は、超音波信号を対象体に送信し、対象体から反射される超音波エコー信号を受信して対象体内の関心物体に対する２次元超音波映像を形成する。

図２は、本発明の実施例における超音波映像形成部の構成を示すブロック図である。超音波映像形成部１２０は、送信信号形成部１２１、複数の変換素子（Ｔｒａｎｓｄｕｃｅｒｅｌｅｍｅｎｔ）（図示せず）を含む超音波プローブ１２２、ビームフォーマ１２３、超音波データ形成部１２４および映像形成部１２５を備える。

送信信号形成部１２１は、変換素子の位置および集束点を考慮して複数のフレームの夫々を得るための第１の送信信号を形成する。また、送信信号形成部１２１は、変換素子の位置および集束点を考慮してフレームを得るための第２の送信信号を形成する。フレームは、Ｂモード（ｂｒｉｇｈｔｎｅｓｓｍｏｄｅ）映像を含むことができる。

超音波プローブ１２２は、送信信号形成部１２１から第１の送信信号が提供されると、第１の送信信号を超音波信号に変換して対象体に送信し、対象体から反射される超音波エコー信号を受信して第１の受信信号を形成する。超音波プローブ１２２は、送信信号形成部１２１から第２の送信信号が提供されると、第２の送信信号を超音波信号に変換して対象体に送信し、対象体から反射される超音波エコー信号を受信して第２の受信信号を形成する。

ビームフォーマ１２３は、超音波プローブ１２２から第１の受信信号が提供されると、第１の受信信号をアナログデジタル変換して第１のデジタル信号を形成する。ビームフォーマ１２３は、変換素子の位置および集束点を考慮して第１のデジタル信号を受信集束させて第１の受信集束信号を形成する。また、ビームフォーマ１２３は、超音波プローブ１２２から第２の受信信号が提供されると、第２の受信信号をアナログデジタル変換して第２のデジタル信号を形成する。ビームフォーマ１２３は、変換素子の位置および集束点を考慮して第２のデジタル信号を受信集束させて第２の受信集束信号を形成する。

超音波データ形成部１２４は、ビームフォーマ１２３から第１の受信集束信号が提供されると、第１の受信集束信号を用いて第１の超音波データを形成する。また、超音波データ形成部１２４は、ビームフォーマ１２３から第２の受信集束信号が提供されると、第２の受信集束信号を用いて第２の超音波データを形成する。超音波データ形成部１２４は、超音波データを形成するのに必要な様々な信号処理（例えば、利得（ｇａｉｎ）調節、フィルタリング処理など）を受信集束信号に行っても良い。

映像形成部１２５は、超音波データ形成部１２４から第１の超音波データが提供されると、第１の超音波データを用いて３次元超音波映像を形成する。映像形成部１２５は、超音波データ形成部１２４から第２の超音波データが提供されると、第２の超音波データを用いて２次元超音波映像を形成する。

再び図１を参照すると、格納部１３０は、３次元超音波映像を一定の間隔で移動および一定の角度で回転させるための変換パラメータを格納する。一例として、格納部１３０は、３次元直交座標上で３次元超音波映像に対して、Ｘ軸、Ｙ軸およびＺ軸に一定の間隔で移動および一定の角度で回転させる剛体変換を行うための複数の変換パラメータを表１のように格納する。しかし、変換パラメータは、これに限定されない。

プロセッサ１４０は、ＣＴ映像形成部１１０から提供される３次元ＣＴ映像と、超音波映像形成部１２０から提供される３次元超音波映像との間に映像整合を行う。また、プロセッサ１４０は、超音波映像形成部１２０から提供される２次元超音波映像に対応する２次元ＣＴ映像を３次元超音波映像に整合された３次元ＣＴ映像から抽出する。

図３は、本発明の実施例におけるプロセッサの構成を示すブロック図である。プロセッサ１４０は、横隔膜抽出部１４１、血管抽出部１４２、横隔膜リファイニング（ｒｅｆｉｎｉｎｇ）部１４３、整合部１４４、類似度測定部１４５およびＣＴ映像抽出部１４６を備える。

横隔膜抽出部１４１は、超音波映像形成部１２０から提供される３次元超音波映像から横隔膜を抽出する。また、横隔膜抽出部１４１は、ＣＴ映像形成部１１０から提供される３次元ＣＴ映像から横隔膜を抽出する。

一実施例で、横隔膜抽出部１４１は、ヘシアンマトリクス（Ｈｅｓｓｉａｎｍａｔｒｉｘ）に基づいて平坦度テストを３次元ＣＴ映像および３次元超音波映像に実施して横隔膜を抽出することができる。すなわち、横隔膜抽出部１４１は、横隔膜が３次元ＣＴ映像および３次元超音波映像で曲面であることを考慮して、表面に垂直な方向のボクセル値（ｖｏｘｅｌｉｎｔｅｎｓｉｔｙ）の変化が表面と水平方向のボクセル値の変化より大きい領域を横隔膜として抽出する。図４は、方向に応じたへシアンマトリクス固有値（ｅｉｇｅｎｖａｌｕｅ）λ_１、λ_２、λ_３を示す。

詳しくは、横隔膜抽出部１４１は、横隔膜を抽出するために基準値より平坦度が高いボクセル（ｖｏｘｅｌ）を選択する。平坦度（μ（ｖ））は、次の式１のように定義される。

-----（式1）

式１のφ_１（ν）、φ_２（ν）およびφ_３（ν）は、次の式２のように表現される。

------（式２）

前述したλ_１（ν）、λ_２（ν）およびλ_３（ν）は、ボクセルの位置によるへシアンマトリクスの固有値を示す。

平坦度μ（ν）は、０〜１の間の値を有するように正規化される。横隔膜抽出部１４１は、式１および２によって得られた平坦度を用いて平坦マップを形成し、相対的に平坦度が高いボクセルを選択する。本実施例で、横隔膜抽出部１４１は、平坦度が０．１以上であるボクセルを選択する。

横隔膜抽出部１４１は、選択された各ボクセルを対象としてモロフォロジカルオープニング（ｍｏｒｐｈｏｌｏｇｉｃａｌｏｐｅｎｉｎｇ）を行って小さいクラッター（ｃｌｕｔｔｅｒ）を除去する（ｍｏｒｐｈｏｌｏｇｉｃａｌｆｉｌｔｅｒｉｎｇ）。モロフォロジカルオープニングは、収縮（ｅｒｏｓｉｏｎ）と膨張（ｄｉｌａｔｉｏｎ）とを順次に行うことを意味する。横隔膜抽出部１４１は、形態学的にボクセル値が存在する領域の境界において一定のボクセルだけ除去して該領域を収縮（浸食）させた後、再びその領域を一定のボクセルだけ膨張（拡張）させる。本発明の実施例で、横隔膜抽出部１４１は、１ボクセルの大きさで収縮および膨張を実施する。

３次元ＣＴ映像および３次元超音波映像において、横隔膜は、最大表面を有するので、ボクセルのＣＣＡ（ｉｎｔｅｎｓｉｔｙ−ｂａｓｅｄｃｏｎｎｅｃｔｅｄｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓ）により取得された候補（ｃａｎｄｉｄａｔｅｓ）の中から最大表面が選択されて横隔膜として見なされる。ボクセル値基盤のＣＣＡは、二進化された映像にボクセル値が存在する領域同士を集める（ｇｒｏｕｐｉｎｇ）方法のうちの１つである。例えば、横隔膜抽出部１４１は、１ボクセルを中心に周辺ボクセル（例えば２６個のボクセル）のボクセル値を参照してボクセル間の連結テスト（ｃｏｎｎｅｃｔｉｖｉｔｙｔｅｓｔ）を通じて該当ボクセルを中心に連結するボクセルの数を計算し、連結ボクセル数が一定数以上であるボクセルを候補グループとして選定する。横隔膜が３次元ＣＴ映像および３次元超音波映像の関心領域内で最も広く存在する曲面であるという特性を用い、横隔膜抽出部１４１は、候補グループの中で最多の連結ボクセル数を有するグループを横隔膜として抽出する。その後、横隔膜抽出部１４１は、横隔膜表面を平らにする（ｓｍｏｏｔｈｅｎ）。

他の実施例で、横隔膜抽出部１４１は、３次元超音波映像に前述したような過程を行って横隔膜を抽出する。また、横隔膜抽出部１４１は、使用者入力部から提供される入力情報（すなわち、横隔膜領域設定情報）によって３次元ＣＴ映像から横隔膜を抽出する。詳しくは、３次元ＣＴ映像は、一般的な超音波映像に比べて肝の境界が明確であるため、横隔膜抽出部１４１は、肝領域の抽出のための常用プログラムまたはＳＲＧセグメンテーション法(ｓｅｅｄｅｄｒｅｇｉｏｎｇｒｏｗｉｎｇｓｅｇｍｅｎｔａｔｉｏｎｍｅｔｈｏｄ)などの方法を用いて横隔膜を抽出することができる。

血管抽出部１４２は、３次元超音波映像から血管抽出（ｖｅｓｓｅｌｅｘｔｒａｃｔｉｏｎ）を行う。また、血管抽出部１４２は、３次元ＣＴ映像から血管抽出を行う。血管抽出部１４２は、マスキング、血管分割（ｓｅｇｍｅｎｔａｔｉｏｎ）および分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）の順で血管抽出を行うことができる。

一実施例で、血管抽出部１４２は、鏡虚像（ｍｉｒｒｏｒａｒｔｉｆａｃｔｓ）による血管抽出エラーの発生を避けるために、横隔膜を多項曲面（ｐｏｌｙｎｏｍｉａｌｃｕｒｖｅｄｓｕｒｆａｃｅ）でモデリングして、３次元ＣＴ映像および３次元超音波映像にＲＯＩ（ｒｅｇｉｏｎｏｆｉｎｔｅｒｅｓｔ）マスクを設定する。血管抽出部１４２は、ＲＯＩマスクを用いて３次元ＣＴ映像および３次元超音波映像で横隔膜の下の領域を除去する。この時、血管抽出部１４２は、ＬＭＳ（Ｌｅａｓｔｍｅａｎｓｑｕａｒｅ）を用いて横隔膜を多項曲面でモデリングすることができる。しかし、モデリングされた多項曲面の下の領域を全て除去する場合、多項曲面のエラーによって一部領域では意味のある血管情報を失う場合が生じ得る。血管抽出部１４２は、血管情報の損失を防止するために、ＲＯＩマスクの下端で１０ボクセル程度の余分ボクセル（ｍａｒｇｉｎａｌｄｉｓｔａｎｃｅ）を適用し、それ以下の部分を除去する。

血管抽出部１４２は、血管領域と非血管領域とを分割する（ｓｅｇｍｅｎｔ）。血管抽出部１４２は、横隔膜または血管壁のように強度の大きい非血管領域（ｎｏｎ−ｖｅｓｓｅｌｒｅｇｉｏｎ）を除去するために、ＲＯＩマスキングされた領域で基準境界値より小さい低強度境界（ｌｏｗｉｎｔｅｎｓｉｔｙｂｏｕｎｄ）を推定し、前記基準境界値より強度の大きいボクセルを除去する。血管抽出部１４２は、適応臨界方法（ａｄａｐｔｉｖｅｔｈｒｅｓｈｏｌｄｓｃｈｅｍｅ）を適用して残った領域を二進化する（ｂｉｎａｒｉｚｅ）。二進化された領域は、血管候補（ｖｅｓｓｅｌｃａｎｄｉｄａｔｅｓ）となる。

血管抽出部１４２は、非血管類型クラッター（ｎｏｎ−ｖｅｓｓｅｌ−ｔｙｐｅｃｌｕｔｔｅｒｓ）を除去して血管候補の中から実際の血管を分類する。血管分類過程は、小さいクラッターを除去するための大きさテスト（ｓｉｚｅｔｅｓｔ）、ＧＯＦ（ｇｏｏｄｎｅｓｓｏｆｆｉｔ）を円筒管として見積もり（ｅｖａｌｕａｔｅ）非血管類型を除去する構造基盤血管テスト（ｓｔｒｕｃｔｕｒｅ−ｂａｓｅｄｖｅｓｓｅｌｔｅｓｔ）、すなわち初期血管テスト（ｉｎｉｔｉａｌｖｅｓｓｅｌｔｅｓｔ）、グラジアント大きさ分析（Ｇｒａｄｉｅｎｔｍａｇｎｉｔｕｄｅａｎａｌｙｓｉｓ）、クラッターを完全に除去するための最終血管テスト（ｆｉｎａｌｖｅｓｓｅｌｔｅｓｔ）を含む。構造基盤血管テストで一部クラッターが除去されなくても、全ての血管が含まれるように初期臨界値（Ｃ_{ｉｎｉｔｉａｌ}）が最小限界に設定される。本実施例で、初期臨界値は０．６である。血管抽出部１４２は、最終血管テストにより、ボクセル値の変化率、すなわちグラジアント大きさ（ｇｒａｄｉｅｎｔｍａｇｎｉｔｕｄｅ）を考慮し、グラジアント大きさが小さい陰影虚像（ｓｈａｄｉｎｇａｒｔｉｆａｃｔｓ）に起因して形成されるクラッターを完全に除去して血管を抽出する。本実施例で、最終血管テストの臨界値は０．４である。

他の実施例で、血管抽出部１４２は、３次元超音波映像に前述したような過程を行って血管を抽出する。また、血管抽出部１４２は、使用者入力部１３０から提供される入力情報によって３次元ＣＴ映像から血管を抽出する。ここで、入力情報は、３次元ＣＴ映像に血管領域を設定する第２の入力情報を含む。詳しくは、血管造影された３次元ＣＴ映像では、肝領域の組織に比べて血管がさらに明るい画素値を有する特性を用い、血管抽出部１４２は、画素値が第１のしきい値Ｔ_１と第２のしきい値Ｔ_２との間に存在する画素のみに２５５値を設定し、残りの画素に０と設定する。この過程を二つの臨界値を用いた明るさ臨界化(ｉｎｔｅｎｓｉｔｙｔｈｒｅｓｈｏｌｄｉｎｇ)という。この過程の結果として、関心対象である血管以外に肋骨、腎臓などの明るい画素値を有する他の領域等もともに示す。このような血管ではない領域を無くすために、血管の連結性を用いる。一般的に肝領域の血管は、肝門脈(ｐｏｒｔａｌｖｅｉｎ)と肝静脈(ｈｅｐａｔｉｃｖｅｉｎ)からなる。したがって、血管抽出部１４２は、各血管に対応する２つの特定位置を種点として入力することによって、その種点を開始点としてＳＲＧ法(ｓｅｅｄｅｄｒｅｇｉｏｎｇｒｏｗｉｎｇｍｅｔｈｏｄ)を行って血管のみを抽出する。

横隔膜リファイニング部１４３は、血管抽出部１４２から抽出された血管を用いて、３次元超音波映像で横隔膜のリファインメントを行う。詳しくは、横隔膜リファイニング部１４３は、血管抽出部１４２から抽出された血管を用いて横隔膜のリファインメントを行ってクラッターを除去する。抽出された横隔膜において、クラッターは主に血管壁に位置する。特に、下大静脈（ｉｎｆｅｒｉｏｒｖｅｎａｃａｖａ、ＩＶＣ）は、横隔膜に連結してクラッターを誘発する。このようなクラッターが特徴として抽出されて映像整合に用いられる場合、そのクラッターは映像整合の正確度を低下させ得るので、横隔膜リファイニング部１４３は、クラッターを除去して横隔膜を改善する。横隔膜リファイニング部１４３は、３次元超音波映像から血管領域を抽出し、抽出された血管領域を膨張（ｄｉｌａｔｉｏｎ）させ、膨張された血管領域から血が流れる血管を除去して血管壁を推定する（ｅｓｔｉｍａｔｅ）。横隔膜リファイニング部１４３は、ＣＣＡおよび大きさテストをもう一度適用して横隔膜を抽出する。

整合部１４４は、３次元超音波映像と３次元ＣＴ映像との間に映像整合を行う。本実施例において、整合部１４４は、３次元超音波映像と３次元ＣＴ映像から抽出された特徴のうち、血管領域および横隔膜領域で夫々サンプルポイントを抽出する。整合部１４４は、抽出されたサンプルポイントを用いてＩＣＰ（ＩｔｅｒａｔｉｖｅＣｌｏｓｅｓｔＰｏｉｎｔ）基盤の整合を行う。

類似度測定部１４５は、格納部１３０に格納された変換パラメータを用いて３次元超音波映像に剛体を行いながら２次元超音波映像との類似度を測定する。

ＣＴ映像選択部１４６は、類似度測定部１４５で測定された類似度を用いて３次元超音波映像に整合されたＣＴ映像から２次元超音波映像に対応する２次元ＣＴ映像を抽出する。

再び図１を参照すると、ディスプレイ部１５０は、２次元超音波映像と２次元ＣＴ映像を表示する。本実施例では、２次元超音波映像と２次元ＣＴ映像とは、重畳して表示されることができる。他の実施例では、２次元超音波映像と２次元ＣＴ映像とは、同じ画面に上下または左右に表示されることができる。

以下、添付された図面を参照して３次元超音波映像と３次元ＣＴ映像との間に映像整合を行って２次元超音波映像に対応する２次元ＣＴ映像を提供する手続を説明する。

図５を参照すると、ＣＴ映像形成部１１０は、対象体内の関心領域に対する３次元ＣＴ映像を形成し（Ｓ１０２）、超音波映像形成部１２０は、超音波信号を対象体に送信し、対象体から反射される超音波エコー信号を受信して対象体内の関心物体に対する３次元超音波映像を形成する（Ｓ１０４）。

プロセッサ１４０は、ＣＴ映像形成部１１０から提供される３次元ＣＴ映像と、超音波映像形成部１２０から提供される３次元超音波映像との間に映像整合を行って３次元超音波映像の３次元ＣＴ映像に対する相対位置を検出する（Ｓ１０６）。

超音波映像形成部１２０は、超音波信号を対象体に送信し、対象体から反射される超音波エコー信号を受信して図６に示すように、対象体内の関心物体に対する２次元超音波映像２３０を形成する（Ｓ１０８）。

プロセッサ１４０は、３次元超音波映像に剛体変換を行いながら２次元超音波映像との類似度を測定する（Ｓ１１０〜Ｓ１２２）。

詳しくは、プロセッサ１４０の類似度測定部１４５は、図６に示すように、３次元超音波映像２１０に基準断面２２０を含む３次元直交座標系を設定する（Ｓ１１０）。ここで、基準断面２２０は、図６に示すように、３次元直交座標系上で一定の位置に固定された断面を表す。したがって、３次元超音波映像が３次元直交座標系上で移動または回転されても、基準断面２２０は、３次元直交座標系上に固定される。

類似度測定部１４５は、格納部１３０から第１変換パラメータ（例えば、x_０, y_０, z_０, θ_x０, θ_y０, θ_z０）を抽出して、抽出された第１変換パラメータを用いて、図７に示すように、３次元超音波映像２１０に剛体変換を行う（Ｓ１１２）。類似度測定部１４５は、剛体変換された３次元超音波映像２４０から基準断面２２０に対応する基準断面映像を抽出する（Ｓ１１４）。

類似度測定部１４５は、２次元超音波映像２３０と基準断面映像との間に類似度を測定する（Ｓ１１６）。類似度は、相互相関（ｃｒｏｓｓｃｏｒｒｅｌａｉｏｎ）法、相互情報（ｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎ）法、ＳＳＩＤ（ｓｕｍｏｆｓｑｕａｒｅｄｉｎｔｅｎｓｉｔｙｄｉｆｆｅｒｅｎｃｅ）法などを用いて検出されることができる。本実施例では、類似度測定部１４５は、正規化相互情報（ｎｏｒｍａｌｉｚｅｄｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎ）法を用いて算出された類似度が０〜２に存在するようにすることができる。

類似度測定部１４５は、格納部１３０に格納された変換パラメータ全てを用いて３次元超音波映像２１０に剛体変換を行ったか否かを判断して（Ｓ１１８）、全ての変換パラメータが用いられなかったと判断されると、段階Ｓ１１２に戻る。一方、全ての変換パラメータが用いられたと判断されると、類似度測定部１４５は、測定された類似度と予め定められた臨界値とを比較して臨界値以上の類似度が存在するか、すなわち、２次元超音波映像２３０が３次元超音波映像２１０に含まれる映像であるか否かを判断する（Ｓ１２０）。段階Ｓ１２０において、臨界値以上の類似度が少なくとも１つ存在すると判断されると、類似度測定部１４５は、臨界値以上である少なくとも１つの類似度から最大類似度を検出する（Ｓ１２２）。一方、段階Ｓ１２０において、臨界値以上の類似度が存在しないと判断されると、すなわち、２次元超音波映像２３０が３次元超音波映像２１０に含まれない映像であると判断されると、段階Ｓ１０４に戻る。

類似度測定部１４５は、検出された最大類似度に対応する変換パラメータを用いて２次元超音波映像の３次元超音波映像に対する相対位置を検出する（Ｓ１２４）。一例として、類似度測定部１４５は、最大類似度に対応する変換パラメータx, y, z, θ_x, θ_y, θ_zを用いて２次元超音波映像の３次元超音波映像に対する相対位置−x_０, −y_０, −z_０, −θ_x０, −θ_y０, −θ_z０を検出する。

プロセッサ１４０のＣＴ映像抽出部１４６は、段階Ｓ１０６で検出された３次元超音波映像の３次元ＣＴ映像に対する相対位置および２次元超音波映像の３次元超音波映像に対する相対位置に基づいて、２次元超音波映像に対応する２次元ＣＴ映像を３次元ＣＴ映像から抽出する（Ｓ１２６）。

ディスプレイ部１５０は、２次元超音波映像と２次元ＣＴ映像を表示する（Ｓ１２８）。２次元超音波映像と２次元ＣＴ映像とは、重畳して表示されることができる。また、２次元超音波映像と２次元ＣＴ映像とは、同じ画面に上下または左右に表示されることができる。

本発明は望ましい実施例によって説明および例示をしたが、当業者であれば添付した特許請求の範囲の事項および範疇を逸脱することなく様々な変形および変更が可能である。

１００：映像提供システム
１１０：ＣＴ映像形成部
１２０：超音波映像形成部
１２１：送信信号形成部
１２２：超音波プローブ
１２３：ビームフォーマ
１２４：超音波データ形成部
１２５：映像形成部
１３０：格納部
１４０：プロセッサ
１４１：横隔膜抽出部
１４２：血管抽出部
１４３：横隔膜リファイニング
１４４：整合部
１４５：類似度測定部
１４６：ＣＴ映像抽出部
１５０：ディスプレイ部
２１０：３次元超音波映像
２２０：基準断面
２３０：２次元超音波映像
２４０：３次元超音波映像

Claims

対象体内の関心物体に対する３次元ＣＴ映像を形成するＣＴ映像形成部と、
前記関心物体に対する３次元超音波映像および２次元超音波映像を形成する超音波映像形成部と、
前記３次元超音波映像に剛体変換（ｒｉｇｉｄ−ｂｏｄｙｔｒａｎｓｆｏｒｍ）を行うための複数の変換パラメータを格納する格納部と、
前記３次元超音波映像と前記３次元ＣＴ映像との間に映像整合を行い、前記３次元超音波映像に基準断面を含む３次元直交座標系を設定し、前記変換パラメータを用いて前記３次元超音波映像に前記剛体変換を行いながら、前記基準断面に対応する基準断面映像と前記２次元超音波映像との間で類似度を測定して、前記測定された類似度を用いて前記２次元超音波映像に対応する２次元ＣＴ映像を抽出するプロセッサと
を備えることを特徴とする映像提供システム。
前記プロセッサは、
前記３次元超音波映像および前記３次元ＣＴ映像から横隔膜領域を抽出する横隔膜抽出部と、
前記３次元超音波映像および前記３次元ＣＴ映像から血管領域を抽出する血管抽出部と、
前記３次元超音波映像に対して前記血管領域に基づいて前記横隔膜領域からクラッターを除去する横隔膜リファイニング部と、
前記３次元超音波映像および前記３次元ＣＴ映像に対して前記血管領域および前記横隔膜領域からサンプルポイントを抽出して、前記抽出されたサンプルポイントを用いて前記３次元超音波映像と前記３次元ＣＴ映像との間に映像整合を行って、前記３次元超音波映像の前記３次元ＣＴ映像に対する第１の相対位置を検出する整合部と、
前記３次元超音波映像に前記基準断面を含む前記３次元直交座標系を設定し、前記変換パラメータを用いて前記３次元超音波映像に前記剛体変換を行いながら、前記基準断面に対応する前記基準断面映像と前記２次元超音波映像との間で前記類似度を測定して、前記２次元超音波映像の前記３次元超音波映像に対する第２の相対位置を検出する類似度測定部と、
前記第１の相対位置を用いて前記３次元超音波映像に整合された前記３次元ＣＴ映像から前記第２の相対位置に対応する前記２次元ＣＴ映像を抽出するＣＴ映像抽出部と
を備えることを特徴とする請求項１に記載の映像提供システム。
前記横隔膜抽出部は、前記３次元超音波映像および前記３次元ＣＴ映像のボクセルから平坦度を取得して、平坦マップを形成し、該平坦マップを用いて基準値より前記平坦度が高いボクセルを選択して、形態学的にボクセル値が存在する領域の境界における一定のボクセルだけ除去して前記領域を収縮させ、該収縮させた領域を前記一定のボクセルだけ拡張させてクラッターを除去し、前記クラッターが除去されたボクセルのボクセル値に基づいて前記クラッターが除去されたボクセルから複数の候補表面を取得し、前記複数の候補表面の中から最大表面を選択して前記横隔膜を抽出することを特徴とする請求項２に記載の映像提供システム。
前記血管抽出部は、前記３次元超音波映像および前記３次元ＣＴ映像から前記血管領域を抽出し、前記横隔膜を多項曲面（ｐｏｌｙｍｉａｌｃｕｒｖｅｄｓｕｒｆａｃｅ）でモデリングして前記３次元超音波映像および前記３次元ＣＴ映像に対して、関心領域に対応するマスクを適用して、基準境界値より大きい強度値を有するボクセルを除去して血管候補を選択し、前記選択された血管候補から非血管類型クラッターを除去して実際の血管を分類することを特徴とする請求項２または３に記載の映像提供システム。
使用者の入力情報を受信する使用者入力部を更に備えることを特徴とする請求項２に記載の映像提供システム。
前記入力情報は、前記３次元ＣＴ映像に前記横隔膜領域を設定する第１の入力情報と、前記３次元ＣＴ映像に前記血管領域を設定する第２の入力情報とを含むことを特徴とする請求項５に記載の映像提供システム。
前記横隔膜抽出部は、
前記第１の入力情報によって前記３次元ＣＴ映像から前記横隔膜を抽出し、
前記３次元超音波映像のボクセルから平坦度を取得して、平坦マップを形成し、
該平坦マップを用いて基準値より前記平坦度が高いボクセルを選択し、
形態学的にボクセル値が存在する領域の境界において一定のボクセルだけ除去して前記領域を収縮させ、
該収縮させた領域を前記一定のボクセルだけ拡張させてクラッターを除去し、
前記クラッターが除去されたボクセルのボクセル値に基づいて前記クラッターが除去されたボクセルから複数の候補表面を取得し、
前記複数の候補表面の中から最大表面を選択して、前記３次元超音波映像から前記横隔膜を抽出することを特徴とする請求項６に記載の映像提供システム。
前記血管抽出部は、
前記第２の入力情報によって前記３次元ＣＴ映像から前記血管を抽出し、
前記３次元超音波映像から前記血管を抽出し、
前記横隔膜を多項曲面でモデリングして前記３次元超音波映像に対して、関心領域に対応するマスクを適用し、
基準境界値より大きい強度値を有するボクセルを除去して血管候補を選択し、
前記選択された血管候補から非血管類型クラッターを除去して、前記３次元超音波映像から実際の血管を分類することを特徴とする請求項６または７に記載の映像提供システム。
前記血管抽出部は、前記非血管類型クラッターを除去するために、前記選択された血管候補から初期臨界値以下のクラッターを除去する初期血管テスト（ｉｎｉｔｉａｌｖｅｓｓｅｌｔｅｓｔ）、前記選択された血管候補のボクセル値の変化比率であるグラジアント大きさの分析（ｇｒａｄｉｅｎｔｍａｇｎｉｔｕｄｅａｎａｌｙｓｉｓ）および前記選択された血管候補から前記初期臨界値より小さい最終臨界値以下のクラッターを除去する最終血管テスト（ｆｉｎａｌｖｅｓｓｅｌｔｓｔ）のうちの少なくともいずれか一つを更に行うことを特徴とする請求項４または８に記載の映像提供システム。
前記類似度測定部は、
前記格納部から前記変換パラメータを抽出し、
前記抽出された変換パラメータを用いて前記３次元超音波映像に前記剛体変換を行い、
前記剛体変換された３次元超音波映像から前記基準断面に対応する前記基準断面映像を抽出し、
前記２次元超音波映像と前記基準断面映像との間に前記類似度を測定し、
前記測定された類似度と予め定められた臨界値とを比較して前記臨界値以上の類似度が少なくとも１つ存在すると判断されると、前記測定された類似度から最大の類似度に対応する前記変換パラメータを用いて前記第２の相対位置を検出することを特徴とする請求項２ないし９のいずれかに記載の映像提供システム。
前記基準断面は、前記３次元直交座標系上で一定の位置に固定された断面を含むことを特徴とする請求項１ないし１０のいずれかに記載の映像提供システム。
前記類似度測定部は、相互相関（ｃｒｏｓｓｃｏｒｒｅｌａｔｉｏｎ）法、相互情報（ｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎ）法およびＳＳＩＤ（ｓｕｍｏｆｓｑｕａｒｅｄｉｎｔｅｎｓｉｔｙｄｉｆｆｅｒｅｎｃｅ）法のうちいずれか一つを用いて前記類似度を測定することを特徴とする請求項２に記載の映像提供システム。
前記プロセッサが前記格納部に格納された前記変換パラメータ全てに対して前記剛体変換を行って、前記臨界値以上の前記類似度が存在しないと判断されると、
前記超音波映像形成部は、前記関心物体に対する３次元超音波映像および２次元超音波映像を新しく形成し、
前記プロセッサは、前記新しく形成された３次元超音波映像と前記３次元ＣＴ映像との間に映像整合を行い、前記新しく形成された３次元超音波映像に前記基準断面を含む前記３次元直交座標系を設定し、前記変換パラメータを用いて前記新しく形成された３次元超音波映像に前記剛体変換を行いながら、前記基準断面に対応する前記基準断面映像と前記２次元超音波映像との間で前記類似度を検出し、前記検出された類似度を用いて前記２次元超音波映像に対応する前記２次元ＣＴ映像を抽出することを特徴とする請求項１０に記載の映像提供システム。
前記関心物体は、肝を含むことを特徴とする請求項１ないし１３のいずれかに記載の映像提供システム。
前記２次元超音波映像および前記２次元ＣＴ映像を表示するディスプレイ部を更に備えることを特徴とする請求項１〜１４のいずれかに記載の映像提供システム。
ａ）対象体内の関心物体に対する３次元ＣＴ映像を形成する段階と、
ｂ）前記関心物体に対する３次元超音波映像を形成する段階と、
ｃ）前記３次元超音波映像と前記３次元ＣＴ映像との間に映像整合を行う段階と、
ｄ）前記関心物体に対する２次元超音波映像を形成する段階と、
ｅ）前記３次元超音波映像に基準断面を含む３次元直交座標系を設定する段階と、
ｆ）前記３次元超音波映像に剛体変換（ｒｉｇｉｄ−ｂｏｄｙｔｒａｎｓｆｏｒｍ）を行うための複数の変換パラメータを用いて前記３次元超音波映像に前記剛体変換を行いながら、前記基準断面に対応する基準断面映像と前記２次元超音波映像との間で類似度を測定する段階と、
ｇ）前記測定された類似度を用いて前記２次元超音波映像に対応する２次元ＣＴ映像を抽出する段階と
を備えることを特徴とする映像提供方法。
前記段階ｃ）は、
ｃ１）前記３次元超音波映像および前記３次元ＣＴ映像から横隔膜を抽出する段階と、
ｃ２）前記３次元超音波映像および前記３次元ＣＴ映像から血管を抽出する段階と、
ｃ３）前記３次元超音波映像に対して前記血管に基づいて前記横隔膜からクラッターを除去する段階と、
ｃ４）前記３次元超音波映像および前記３次元ＣＴ映像に対して前記血管および前記横隔膜からサンプルポイントを抽出する段階と、
ｃ５）前記抽出されたサンプルポイントを用いて前記３次元超音波映像と前記３次元ＣＴ映像との間に映像整合を行って前記３次元超音波映像の前記３次元ＣＴ映像に対する第１の相対位置を検出する段階と
を備えることを特徴とする請求項１６に記載の映像提供方法。
前記段階ｃ１）は、
前記３次元超音波映像および前記３次元ＣＴ映像のボクセルから平坦度を取得して平坦マップを形成する段階と、
該平坦マップを用いて基準値より前記平坦度が高いボクセルを選択する段階と、
形態学的にボクセル値が存在する領域の境界において一定のボクセルだけ除去して、前記領域を収縮させる段階と、
前記収縮させた領域を前記一定のボクセルだけ拡張させてクラッターを除去する段階と、
前記クラッターが除去されたボクセルのボクセル値に基づいて前記クラッターが除去されたボクセルから複数の候補表面を取得する段階と、
前記複数の候補表面の中で最大表面を選択して前記横隔膜を抽出する段階と
を備えることを特徴とする請求項１７に記載の映像提供方法。
前記段階ｃ２）は、
前記３次元超音波映像および前記３次元ＣＴ映像から前記血管を抽出する段階と、
前記横隔膜を多項曲面でモデリングして前記３次元超音波映像および前記３次元ＣＴ映像に対して、関心領域に対応するマスクを適用する段階と、
基準境界値より大きい強度値を有するボクセルを除去して血管候補を選択する段階と、
前記選択された血管候補から非血管類型クラッターを除去して実際の血管を分類する段階と
を備えることを特徴とする請求項１７または１８に記載の映像提供方法。
前記段階ｃ）以前に、
使用者の入力情報を受信する段階
を更に備えることを特徴とする請求項１７に記載の映像提供方法。
前記入力情報は、前記３次元ＣＴ映像に横隔膜領域を設定する第１の入力情報と、前記３次元ＣＴ映像に血管領域を設定する第２の入力情報とを含むことを特徴とする請求項２０に記載の映像提供方法。
前記段階ｃ１）は、
前記第１の入力情報によって前記３次元ＣＴ映像から前記横隔膜を抽出する段階と、
前記３次元超音波映像のボクセルから平坦度を取得して平坦マップを形成する段階と、
該平坦マップを用いて基準値より前記平坦度が高いボクセルを選択する段階と、
形態学的にボクセル値が存在する領域の境界において一定のボクセルだけ除去して、前記領域を収縮させる段階と、
前記収縮させた領域を前記一定のボクセルだけ拡張させてクラッターを除去する段階と、
前記クラッターが除去されたボクセルのボクセル値に基づいて前記クラッターが除去されたボクセルから複数の候補表面を取得する段階と、
前記複数の候補表面の中から最大表面を選択して前記３次元超音波映像から前記横隔膜を抽出する段階と
を備えることを特徴とする請求項２１に記載の映像提供方法。
前記段階ｃ２）は、
前記第２入力情報によって前記３次元ＣＴ映像から前記血管を抽出する段階と、
前記３次元超音波映像から前記血管を抽出する段階と、
前記横隔膜を多項曲面でモデリングして前記３次元超音波映像に対して、関心領域に対応するマスクを適用する段階と、
基準境界値より大きい強度値を有するボクセルを除去して血管候補を選択する段階と、
前記選択された血管候補から非血管類型クラッターを除去して前記３次元超音波映像から実際の血管を分類する段階と
を備えることを特徴とする請求項２１または２２に記載の映像提供方法。
前記段階ｃ２）は、
前記非血管類型クラッターを除去するために、前記選択された血管候補から初期臨界値以下のクラッターを除去する初期血管テスト（ｉｎｉｔｉａｌｖｅｓｓｅｌｔｅｓｔ）、前記選択された血管候補のボクセル値の変化比率であるグラジアント大きさの分析（ｇｒａｄｉｅｎｔｍａｇｎｉｔｕｄｅａｎａｌｙｓｉｓ）および前記選択された血管候補から前記初期臨界値より小さい最終臨界値以下のクラッターを除去する最終血管テストを行う段階を更に備えることを特徴とする請求項１９または２３に記載の映像提供方法。
前記段階ｅ）は、
ｅ１）前記変換パラメータを用いて前記３次元超音波映像に前記剛体変換を行って前記基準断面映像と前記２次元超音波映像との間に前記類似度を測定する段階と、
ｅ２）前記測定された類似度を用いて前記２次元超音波映像の前記３次元超音波映像に対する第２の相対位置を検出する段階と
を備えることを特徴とする請求項１７ないし２４のいずれかに記載の映像提供方法。
前記段階ｅ１）は、
ｅ１１）前記変換パラメータを用いて前記３次元超音波映像に前記剛体変換を行う段階と、
ｅ１２）前記剛体変換された３次元超音波映像から前記基準断面に対応する前記基準断面映像を抽出する段階と、
ｅ１３）前記基準断面映像と前記２次元超音波映像との間に前記類似度を測定する段階と、
ｅ１４）前記複数の変換パラメータ全てを用いて前記３次元超音波映像に前記剛体変換を行ったか否かを判断する段階と、
ｅ１５）前記段階ｅ１４）で前記複数の変換パラメータ全てが用いられたと判断されると、前記測定された類似度と予め定められた臨界値を比較して、前記臨界値以上の類似度が少なくとも１つ存在すると判断されると、最大の類似度に対応する変換パラメータを抽出する段階と、
ｅ１６）前記抽出された変換パラメータを用いて前記第２の相対位置を検出する段階と
を備えることを特徴とする請求項２５に記載の映像提供方法。
前記基準断面は、前記３次元直交座標系上で一定の位置に固定された断面を含むことを特徴とする請求項１６ないし２６のいずれかに記載の映像提供方法。
前記段階ｅ１３）は、
相互相関法、相互情報法およびＳＳＩＤ法のうちいずれか一つを用いて前記類似度を算出する段階を備えることを特徴とする請求項２６に記載の映像提供方法。
前記段階ｅ１５）で前記臨界値以上の前記類似度が存在しないと判断されると、
ｈ）前記関心物体に対する３次元超音波映像を新しく形成する段階と、
ｉ）前記新しく形成された３次元超音波映像と前記３次元ＣＴ映像との間に前記映像整合を行う段階と、
ｊ）前記関心物体に対する２次元超音波映像を形成する段階と、
ｋ）前記新しく形成された３次元超音波映像に前記基準断面を含む前記３次元直交座標系を設定する段階と、
ｌ）前記新しく形成された３次元超音波映像に前記剛体変換を行うための前記複数の変換パラメータを用いて前記新しく形成された３次元超音波映像に前記剛体変換を行いながら前記基準断面に対応する基準断面映像と前記２次元超音波映像との間に類似度を検出する段階と、
ｍ）前記検出された類似度を用いて前記２次元超音波映像に対応する２次元ＣＴ映像を抽出する段階と
を更に備えることを特徴とする請求項２６に記載の映像提供方法。
前記段階ｆ）は、
前記第１の相対位置を用いて前記３次元超音波映像に整合された前記３次元ＣＴ映像から前記第２の相対位置に対応する前記２次元ＣＴ映像を抽出する段階を備えることを特徴とする請求項２６または２９に記載の映像提供方法。
前記関心物体は、肝を含むことを特徴とする請求項１６ないし３０のいずれかに記載の映像提供方法。
ｎ）前記２次元超音波映像および前記２次元ＣＴ映像を表示する段階
を更に備えることを特徴とする請求項１６〜３１のいずれかに記載の映像提供方法。