JP5498299B2

JP5498299B2 - ２次元超音波映像に対応する２次元ｃｔ映像を提供するシステムおよび方法

Info

Publication number: JP5498299B2
Application number: JP2010167490A
Authority: JP
Inventors: ドンギュヒョン，; ジョンボムナ，; トクウンイ，; ウヒョンナム，
Original assignee: Korea Advanced Institute of Science and Technology KAIST; Samsung Medison Co Ltd
Current assignee: Korea Advanced Institute of Science and Technology KAIST; Samsung Medison Co Ltd
Priority date: 2009-07-31
Filing date: 2010-07-26
Publication date: 2014-05-21
Anticipated expiration: 2030-07-26
Also published as: US20110028843A1; KR20110013026A; EP2293245A1; KR101121396B1; JP2011031040A

Description

本発明は、映像整合に関し、特に３次元超音波映像と３次元ＣＴ映像との間に映像整合を行って２次元超音波映像に対応する２次元ＣＴ映像を提供するシステムおよび方法に関する。

超音波システムは、無侵襲および非破壊特性を有しており、対象体内部の情報を得るために医療分野で広く用いられている。超音波システムは、対象体を直接切開して観察する外科手術の必要がなく、対象体の内部組織を高解像度の映像で医師に提供できるので、医療分野で非常に重要なものとして用いられている。

超音波映像は、信号対雑音比が低いため、これを補完するためにＣＴ映像と超音波映像との間に映像整合を行ってＣＴ映像と超音波映像を提供している。

従来には、センサーを用いてＣＴ映像と超音波映像との間に映像整合を行っていた。これには、センサーが必ず必要とされ、呼吸などのような対象体の動きにより対象体内部の臓器の変形が起こった場合、誤差が発生する問題がある。

一方、従来には、超音波プローブを異なる位置に移動させて２次元超音波映像を取得する場合、２次元超音波映像が３次元超音波映像内に含まれる超音波映像であるかを検出するために、または、３次元超音波映像に映像整合された３次元ＣＴ映像に２次元超音波映像に対応する２次元ＣＴ映像を検出するためには、必ずセンサーが必要となる問題がある。

特開２００９−０７１８２１号公報特表２００５−５２８９７４号公報特開２００９−２９１６１４号公報

本発明の課題は、センサーを用いず、３次元超音波映像と３次元ＣＴ（ｃｏｍｐｕｔｅｒｉｚｅｄｔｏｍｏｇｒａｐｈｙ）映像との間に映像整合を行い、映像整合された３次元ＣＴ映像から２次元超音波映像に対応する２次元ＣＴ映像を選択して提供するシステムおよび方法を提供することにある。

本発明における映像提供システムは、対象体内の関心物体に対する複数の３次元ＣＴ映像を形成するＣＴ映像形成部と、前記関心物体に対する少なくとも１つの３次元超音波映像を形成する超音波映像形成部と、前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って第１の変換関数を取得するプロセッサと、使用者の入力情報を受信する使用者入力部とを備え、前記超音波映像形成部は、前記少なくとも１つの３次元超音波映像から前記入力情報に対応する２次元超音波映像を形成し、前記プロセッサは、前記入力情報および前記第１の変換関数を用いて前記複数の３次元ＣＴ映像から複数の２次元ＣＴ映像を取得し、前記２次元超音波映像と前記複数の２次元ＣＴ映像との間に複数の類似度を検出して前記２次元超音波映像に対応する２次元ＣＴ映像を選択する。

また、本発明における映像提供方法は、ａ）対象体内の関心物体に対する複数の３次元ＣＴ映像を形成する段階と、ｂ）前記関心物体に対する少なくとも１つの３次元超音波映像を形成する段階と、ｃ）前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って第１の変換関数を取得する段階と、ｄ）使用者の入力情報を受信する段階と、ｅ）前記少なくとも１つの３次元超音波映像から前記入力情報に対応する２次元超音波映像を形成する段階と、ｆ）前記入力情報および前記第１の変換関数を用いて前記複数の３次元ＣＴ映像から複数の２次元ＣＴ映像を取得する段階と、ｇ）前記２次元超音波映像と前記複数の２次元ＣＴ映像との間に複数の類似度を検出して前記２次元超音波映像に対応する２次元ＣＴ映像を選択する段階とを備える。

本発明は、センサーを用いず、３次元超音波映像に整合された３次元ＣＴ映像から３次元超音波映像内の２次元超音波映像に対応する２次元ＣＴ映像を提供することができる。

本発明の実施例における映像提供システムの構成を示すブロック図である。本発明の実施例における超音波映像形成部の構成を示すブロック図である。本発明の実施例における超音波プローブホルダと超音波プローブホルダに固定された超音波プローブを示す概略図である。本発明の実施例におけるプロセッサの構成を示すブロック図である。方向に応じたへシアンマトリクスの固有値を示す例示図である。本発明の実施例によって３次元超音波映像と３次元ＣＴ映像との間に映像整合を行って２次元超音波映像に対応する２次元ＣＴ映像を提供する手続を示すフローチャートである。

以下、添付した図面を参照して本発明の実施例を説明する。本実施例で用いられた用語「関心物体」は、対象体内の肝などを含む。

図１は、本発明の実施例における映像提供システムの構成を示すブロック図である。映像提供システム１００は、ＣＴ（ｃｏｍｐｕｔｅｒｉｚｅｄｔｏｍｏｇｒａｐｈｙ）映像形成部１１０、超音波映像形成部１２０、使用者入力部１３０、プロセッサ１４０およびディスプレイ部１５０を備える。

ＣＴ映像形成部１１０は、対象体内の関心物体に対する３次元ＣＴ映像を形成する。３次元ＣＴ映像は、複数の２次元ＣＴ映像からなる。本実施例で、ＣＴ映像形成部１１０は、息を吸い込み始めてから吐き出すまでの呼吸周期の間に一定間隔に３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｋ）を形成する。

超音波映像形成部１２０は、対象体内の関心物体に対する３次元超音波映像を形成する。本実施例で、超音波映像形成部１２０は、息を最大に吸い込んだ状態（以下、「最大吸い込み息」という。）および息を最大に吐きを出した状態（以下、「最大吐き出し息」という。）で３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）を形成する。また、超音波映像形成部１２０は、対象体内の関心物体に対する２次元超音波映像を形成する。

前述した実施例では、最大吸い込み息および最大吐き出し息で３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）を形成すると説明したが、他の実施例では、最大吸い込み息および最大吐き出し息のうちいずれか一つで３次元超音波映像を形成することができる。以下、説明の便宜のために、超音波映像形成部１２０が最大吸い込み息および最大吐き出し息で３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）を形成するものとして説明する。

図２は、本発明の実施例における超音波映像形成部の構成を示すブロック図である。超音波映像形成部１２０は、送信信号形成部１２１、超音波プローブ１２２、ビームフォーマ１２３、超音波データ形成部１２４および映像形成部１２５を備える。超音波映像形成部１２０は、図３に示すように、超音波プローブ１２２を対象体Ｐの特定位置に固定させるための超音波プローブホルダ１２６をさらに備える。

送信信号形成部１２１は、複数のフレームのそれぞれを得るための第１の送信信号を形成する。本実施例で、第１の送信信号は、最大吸い込み息で複数のフレームのそれぞれを得るための送信信号および最大吐き出し息で複数のフレームのそれぞれを得るための送信信号のうち少なくとも１つを含む。また、送信信号形成部１２１は、フレームを得るための第２の送信信号を形成する。フレームは、Ｂモード（ｂｒｉｇｈｔｎｅｓｓｍｏｄｅ）映像を含む。

超音波プローブ１２２は、複数の変換素子（ｔｒａｎｓｄｕｃｅｒｅｌｅｍｅｎｔ）（図示せず）を含む。超音波プローブ１２２は、３次元プローブを含む。超音波プローブ１２２は、送信信号形成部１２１から提供される第１の送信信号を超音波信号に変換して対象体に送信し、対象体から反射される超音波エコー信号を受信して第１の受信信号を形成する。また、超音波プローブ１２２は、使用者により設定された位置に変換素子を移動させて送信信号形成部１２１から提供される第２の送信信号を超音波信号に変換して対象体に送信し、対象体から反射される超音波エコー信号を受信して第２の受信信号を形成する。

ビームフォーマ１２３は、超音波プローブ１２２から第１の受信信号が提供されると、第１の受信信号をアナログデジタル変換して第１のデジタル信号を形成する。ビームフォーマ１２３は、変換素子の位置および集束点を考慮して第１のデジタル信号を受信集束させて第１の受信集束信号を形成する。また、ビームフォーマ１２３は、超音波プローブ１２２から第２の受信信号が提供されると、第２の受信信号をアナログデジタル変換して第２のデジタル信号を形成する。ビームフォーマ１２３は、変換素子の位置および集束点を考慮して第２のデジタル信号を受信集束させて第２の受信集束信号を形成する。

超音波データ形成部１２４は、ビームフォーマ１２３から第１の受信集束信号が提供されると、第１の受信集束信号を用いて第１の超音波データを形成する。超音波データ形成部１２４は、ビームフォーマ１２３から第２の受信集束信号が提供されると、第２の受信集束信号を用いて第２の超音波データを形成する。また、超音波データ形成部１２４は、超音波データを形成するのに必要な信号処理（例えば、利得（ｇａｉｎ）調節、フィルタリング処理）などを第１および第２の受信集束信号に行うこともできる。

映像形成部１２５は、超音波データ形成部１２４から第１の超音波データが提供されると、第１の超音波データを用いて３次元超音波映像を形成する。本実施例で、３次元超音波映像は、最大吸い込み息における３次元超音波映像Ｉ_ＵＳ（ｔ_１）および最大吐き出し息における３次元超音波映像Ｉ_ＵＳ（ｔ_２）のうち少なくとも１つを含む。映像形成部１２５は、超音波データ形成部１２４から第２の超音波データが提供されると、第２の超音波データを用いて２次元超音波映像を形成する。

再び図１を参照すると、使用者入力部１３０は、使用者の入力情報を受信する。本実施例で入力情報は、２次元超音波映像を得るための断面位置を設定する断面位置設定情報、３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｋ）に横隔膜領域を設定する横隔膜領域設定情報および３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｋ）に血管領域を設定する血管領域設定情報を含む。一例として、断面位置設定情報は、超音波プローブ１２２、すなわち３次元プローブの変換素子がスイング（ｓｗｉｎｇ）することができる回転角度範囲（すなわち、−３５゜〜＋３５゜）のうちいずれか一つの回転角度を設定する断面位置設定情報を含んでもよい。従って、超音波映像形成部１２０は、断面位置設定情報に対応する２次元超音波映像を形成することができる。使用者入力部１３０は、ダイヤルボタンなどを含むコントロールパネル（ｃｏｎｔｒｏｌｐａｎを）、マウス（ｍｏｕｓｅ）、キーボード（ｋｅｙｂｏａｒｄ）などを含む。

プロセッサ１４０は、３次元ＣＴ映像と３次元超音波映像との間に映像整合を行って３次元ＣＴ映像と３次元超音波映像との間の変換関数（すなわち、超音波プローブ１２２の位置）Ｔ_{ｐｒｏｂｅ}を取得する。以下、説明の便宜のために３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）が最大吸い込み息における３次元超音波映像Ｉ_ＵＳ（ｔ_１）および最大吐き出し息における３次元超音波映像Ｉ_ＵＳ（ｔ_２）を含むものと説明するが、これに限定されない。また、プロセッサ１４０は、変換関数を用いて２次元超音波映像に対応する２次元ＣＴ映像を検出する。

図４は、本発明の実施例におけるプロセッサの構成を示すブロック図である。プロセッサ１４０は、補間部１４１、横隔膜抽出部１４２、血管抽出部１４３、横隔膜リファイニング（ｒｅｆｉｎｉｎｇ）部１４４、整合部１４５、変換部１４６、類似度検出部１４７およびＣＴ映像選択部１４８を備える。

補間部１４１は、ＣＴ映像形成部１１０から提供される３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）と３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ＋１）を補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）して３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）と３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ＋１）との間に少なくとも１つの３次元ＣＴ映像を形成する。一例として、補間部１４１は、ＣＴ映像形成部１１０から提供される３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｋ）間に補間を行ってＮ個の３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）を取得する。

横隔膜抽出部１４２は、補間部１４１から提供される３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）から横隔膜を抽出する。また、横隔膜抽出部１４２は、超音波映像形成部１２０から提供される３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）から横隔膜を抽出する。

一実施例で、横隔膜抽出部１４２は、へシアンマトリクス（Ｈｅｓｓｉａｎｍａｔｒｉｘ）に基づいて平坦度テスト（ｆｌａｔｎｅｓｓｔｅｓｔ）を３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）および３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）に実施して横隔膜を抽出する。すなわち、横隔膜抽出部１４２は、横隔膜が３次元ＣＴ映像および３次元超音波映像で曲面であることを考慮して、表面に垂直な方向のボクセル値（ｖｏｘｅｌｉｎｔｅｎｓｉｔｙ）の変化が表面と水平方向のボクセル値の変化より大きい領域を横隔膜として抽出する。図５は、方向に応じたへシアンマトリクス固有値（ｅｉｇｅｎｖａｌｕｅ）λ_１、λ_２、λ_３を示す。

さらに詳細に、横隔膜抽出部１４２は、３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）および３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）から横隔膜を抽出するために基準値より平坦度が高いボクセル（ｖｏｘｅｌ）を選択する。平坦度（μ（ｖ））は、次の式１のように定義される。

式１のφ_１（ν）、φ_２（ν）およびφ_３（ν）は、次の式２のように表現される。

------（式２）

前述したλ_１（ν）、λ_２（ν）およびλ_３（ν）は、ボクセルの位置によるへシアンマトリクスの固有値を示す。平坦度μ（ν）は、０〜１の間の値を有するように正規化される。横隔膜抽出部１４２は、式１および２によって得られた平坦度を用いて平坦マップを形成し、相対的に平坦度が高いボクセルを選択する。本実施例で、横隔膜抽出部１４２は、平坦度が０．１以上であるボクセルを選択する。

横隔膜抽出部１４２は、選択された各ボクセルを対象としてモロフォロジカルオープニング（ｍｏｒｐｈｏｌｏｇｉｃａｌｏｐｅｎｉｎｇ）を行って小さいクラッター（ｃｌｕｔｔｅｒ）を除去する（ｍｏｒｐｈｏｌｏｇｉｃａｌｆｉｌｔｅｒｉｎｇ）。モロフォロジカルオープニングは、収縮（ｅｒｏｓｉｏｎ）と膨張（ｄｉｌａｔｉｏｎ）とを順次に行うことを意味する。横隔膜抽出部１４２は、形態学的にボクセル値が存在する領域の境界を一定のボクセルだけ除去して収縮（浸食）させた後、再びその一定のボクセルだけ膨張（拡張）させる。本発明の実施例で、横隔膜抽出部１４２は、１ボクセルの大きさで収縮および膨張を実施する。

３次元ＣＴ映像および３次元超音波映像において、横隔膜は、最大表面を有するので、ボクセルのＣＣＡ（ｉｎｔｅｎｓｉｔｙ−ｂａｓｅｄｃｏｎｎｅｃｔｅｄｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓ）により取得された候補（ｃａｎｄｉｄａｔｅｓ）の中から最大表面が選択されて横隔膜として見なされる。ボクセル値基盤のＣＣＡは、二進化された映像にボクセル値が存在する領域同士を集める（ｇｒｏｕｐｉｎｇ）方法のうちの１つである。例えば、横隔膜抽出部１４２は、１ボクセルを中心に周辺ボクセル（例えば２６個のボクセル）のボクセル値を参照してボクセル間の連結テスト（ｃｏｎｎｅｃｔｉｖｉｔｙｔｅｓｔ）を通じて該当ボクセルを中心に連結するボクセルの数を計算し、連結ボクセル数が一定数以上であるボクセルを候補グループとして選定する。横隔膜が３次元ＣＴ映像および３次元超音波映像の関心領域内で最も広く存在する曲面であるという特性を用い、横隔膜抽出部１４２は、候補グループの中で最多の連結ボクセル数を有するグループを横隔膜として抽出する。以後、横隔膜抽出部１４２は、横隔膜表面を平らにする（ｓｍｏｏｔｈｅｎ）。

他の実施例で、横隔膜抽出部１４２は、３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）に前述したような過程を行って横隔膜を抽出する。また、横隔膜抽出部１４２は、使用者入力部１３０から提供される入力情報（すなわち、横隔膜領域設定情報）によって３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）から横隔膜を抽出する。さらに詳細に、３次元ＣＴ映像は、一般的な超音波映像に比べて肝の境界が明確であるため、横隔膜抽出部１４２は、肝領域の抽出のための常用プログラムまたはＳＲＧセグメンテーション法(ｓｅｅｄｅｄｒｅｇｉｏｎｇｒｏｗｉｎｇｓｅｇｍｅｎｔａｔｉｏｎｍｅｔｈｏｄ)などの方法を用いて横隔膜を抽出することができる。

血管抽出部１４３は、３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）から血管を抽出する。また、血管抽出部１４３は、３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）から血管を抽出する。

一実施例で、血管抽出部１４３は、マスキング、血管分割（ｓｅｇｍｅｎｔａｔｉｏｎ）および分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）の順で３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）および３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）から血管抽出を行うことができる。

さらに詳細に、血管抽出部１４３は、鏡虚像（ｍｉｒｒｏｒａｒｔｉｆａｃｔｓ）による血管抽出エラーの発生を避けるために、３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）および３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）に対して横隔膜を多項曲面（ｐｏｌｙｎｏｍｉａｌｃｕｒｖｅｄｓｕｒｆａｃｅ）でモデリングして、ＲＯＩ（ｒｅｇｉｏｎｏｆｉｎｔｅｒｅｓｔ）マスクを設定する。血管抽出部１４３は、ＲＯＩマスクを用いて３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）および３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）で横隔膜の下の領域を除去する。この時、血管抽出部１４３は、ＬＭＳ（Ｌｅａｓｔｍｅａｎｓｑｕａｒｅ）を用いて横隔膜を多項曲面でモデリングすることができる。しかし、モデリングされた多項曲面の下の領域を全て除去する場合、多項曲面のエラーによって一部領域では意味のある血管情報を失う場合が生じ得る。血管抽出部１４３は、血管情報の損失を防止するために、ＲＯＩマスクの下端で１０ボクセル程度の末端ボクセル（ｍａｒｇｉｎａｌｄｉｓｔａｎｃｅ）を適用し、それ以下の部分を除去する。

血管抽出部１４３は、血管領域と非血管領域とを分割する（ｓｅｇｍｅｎｔ）。血管抽出部１４３は、横隔膜または血管壁のように強度の大きい非血管領域（ｎｏｎ−ｖｅｓｓｅｌｒｅｇｉｏｎ）を除去するために、ＲＯＩマスキングされた領域で基準境界値より小さい低強度境界（ｌｏｗｉｎｔｅｎｓｉｔｙｂｏｕｎｄ）を推定し、前記基準境界値より強度の大きいボクセルを除去する。血管抽出部１４３は、適応臨界方法（ａｄａｐｔｉｖｅｔｈｒｅｓｈｏｌｄｓｃｈｅｍｅ）を適用して残った領域を二進化する（ｂｉｎａｒｉｚｅ）。二進化された領域は、血管候補（ｖｅｓｓｅｌｃａｎｄｉｄａｔｅｓ）となる。

血管抽出部１４３は、非血管類型クラッター（ｎｏｎ−ｖｅｓｓｅｌ−ｔｙｐｅｃｌｕｔｔｅｒｓ）を除去して血管候補の中から実際の血管を分類する。血管分類過程は、小さいクラッターを除去するための大きさテスト（ｓｉｚｅｔｅｓｔ）、ＧＯＦ（ｇｏｏｄｎｅｓｓｏｆｆｉｔ）を円筒管として見積もり（ｅｖａｌｕａｔｅ）非血管類型を除去する構造基盤血管テスト（ｓｔｒｕｃｔｕｒｅ−ｂａｓｅｄｖｅｓｓｅｌｔｅｓｔ）、すなわち初期血管テスト（ｉｎｉｔｉａｌｖｅｓｓｅｌｔｅｓｔ）、グラジアント大きさ分析（Ｇｒａｄｉｅｎｔｍａｇｎｉｔｕｄｅａｎａｌｙｓｉｓ）、クラッターを完全に除去するための最終血管テスト（ｆｉｎａｌｖｅｓｓｅｌｔｅｓｔ）を含む。構造基盤血管テストで一部クラッターが除去されなくても、全ての血管が含まれるように初期臨界値（Ｃ_{ｉｎｉｔｉａｌ}）が最小限界に設定される。本実施例で、初期臨界値は０．６である。血管抽出部１４３は、最終血管テストにより、ボクセル値の変化率、すなわちグラジアント大きさ（ｇｒａｄｉｅｎｔｍａｇｎｉｔｕｄｅ）を考慮し、グラジアント大きさが小さい陰影虚像（ｓｈａｄｉｎｇａｒｔｉｆａｃｔｓ）に起因して形成されるクラッターを完全に除去して血管を抽出する。本実施例で、最終血管テストの臨界値は０．４である。

他の実施例で、血管抽出部１４３は、３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）に前述したような過程を行って血管を抽出する。また、血管抽出部１４３は、使用者入力部１３０から提供される入力情報（すなわち、血管領域設定情報）によって３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）から血管を抽出する。

さらに詳細に、血管造影された３次元ＣＴ映像では、肝領域の組織に比べて血管がさらに明るい画素値を有する特性を用い、血管抽出部１４３は、画素値が第１のしきい値Ｔ_１と第２のしきい値Ｔ_２との間に存在する画素のみに２５５値を設定し、残りの画素に０と設定する。この過程を二つの臨界値を用いた明るさ臨界化(ｉｎｔｅｎｓｉｔｙｔｈｒｅｓｈｏｌｄｉｎｇ)という。この過程の結果として、関心対象の血管以外に肋骨、腎臓などの明るい画素値を有する他の領域等もともに示す。このような血管ではない領域を無くすために、血管の連結性を用いる。一般的に肝領域の血管は、肝門脈(ｐｏｒｔａｌｖｅｉｎ)と肝静脈(ｈｅｐａｔｉｃｖｅｉｎ)からなる。したがって、血管抽出部１４３は、各血管に対応する２つの特定位置を種点として入力することによって、その種点を開始点としてＳＲＧ法(ｓｅｅｄｅｄｒｅｇｉｏｎｇｒｏｗｉｎｇｍｅｔｈｏｄ)を行って血管のみを抽出する。

横隔膜リファイニング部１４４は、血管抽出部１４３で抽出された血管を用いて、３次元超音波映像（Ｉ_ＵＳ（ｔ_ｊ）１≦ｊ≦２）で横隔膜のリファインメント（ｒｅｆｉｎｅｍｅｎｔ）を行う。さらに詳細に、横隔膜リファイニング部１４４は、血管抽出部１４３で抽出された血管を用いて横隔膜のリファインメントを行ってクラッターを除去する。抽出された横隔膜において、クラッターは主に血管壁に位置する。特に、下大静脈（ｉｎｆｅｒｉｏｒｖｅｎａｃａｖａ、ＩＶＣ）は、横隔膜に連結してクラッターを誘発する。このようなクラッターが特徴として抽出されて映像整合に用いられる場合、そのクラッターは映像整合の正確度を低下させ得るので、横隔膜リファイニング部１４４は、クラッターを除去して横隔膜を改善する。横隔膜リファイニング部１４４は、３次元超音波映像（Ｉ_ＵＳ（ｔ_ｊ）１≦ｊ≦２）から血管領域を抽出し、抽出された血管領域を膨張（ｄｉｌａｔｉｏｎ）させ、膨張された血管領域から血が流れる血管を除去して血管壁を推定する（ｅｓｔｉｍａｔｅ）。横隔膜リファイニング部１４４は、ＣＣＡおよび大きさテストをもう一度適用して横隔膜を抽出する。

整合部１４５は、３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）と３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）に対して解剖学的特徴、すなわち血管領域および横隔膜領域でサンプルポイントを抽出する。そして、抽出されたサンプルポイントを用いて３次元ＣＴ映像と３次元超音波映像との間に映像整合を行い、３次元ＣＴ映像と３次元超音波映像との間の変換関数Ｔ_{ｐｒｏｂｅ}を取得する。ここで、変換関数Ｔ_{ｐｒｏｂｅ}は行列で表すことができる。本実施例で、変換関数Ｔ_{ｐｒｏｂｅ}は、式３を通じて取得されることができる。

−−−−−−−−（式３）

ここで、Ｄｉｓｔ関数は、３次元超音波映像と３次元ＣＴ映像との間に互いに対応する特定点の間の距離と定義される。

すなわち、整合部１４５は、最大吸い込み息における３次元超音波映像Ｉ_ＵＳ（ｔ_１）と最も誤差の少ない３次元ＣＴ映像Ｉ_ＣＴ（ｔｉ）との間のｄｉｓｔ値を第１の誤差と定義し、最大吐き出し息における３次元超音波映像Ｉ_ＵＳ（ｔ_２）と最も誤差が少ない３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）との間のｄｉｓｔ値を第２の誤差と定義し、第１の誤差と第２の誤差の和が最も小さいＸを計算して変換関数Ｔ_{ｐｒｏｂｅ}を取得する。

変換部１４６は、使用者入力部１３０から提供される入力情報および整合部１４５から提供される変換関数Ｔ_{ｐｒｏｂｅ}を用いて３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）を変換するための変換関数Ｔを算出し、算出された変換関数Ｔを３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）に適用して２次元ＣＴ映像（Ｉ_２ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）を取得する。

類似度検出部１４７は、２次元超音波映像と２次元ＣＴ映像Ｉ_２ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）との間に複数の類似度を検出する。本実施例で、類似度は、相互相関（ｃｒｏｓｓｃｏｒｒｅｌａｔｉｏｎ）法、相互情報（ｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎ）法、ＳＳＩＤ（ｓｕｍｏｆｓｑｕａｒｅｄｉｎｔｅｎｓｉｔｙｄｉｆｆｅｒｅｎｃｅ）法などを用いて検出され得る。

ＣＴ映像選択部１４８は、類似度検出部１４７で検出された複数の類似度を比較して類似度が最大である２次元ＣＴ映像Ｉ_２ＣＴ（ｔ_ｉ）を選択する。

再び図１を参照すると、ディスプレイ部１５０は、超音波映像形成部１２０から提供される２次元超音波映像とプロセッサ１４０から提供される２次元ＣＴ映像を表示する。一実施例で、２次元超音波映像と２次元ＣＴ映像とは、重畳して表示されることができる。他の実施例で、２次元超音波映像と２次元ＣＴ映像とは、同じ画面に上下または左右に表示されることができる。

以下、添付された図面を参照して３次元ＣＴ映像と３次元超音波映像との間に映像整合を行って２次元超音波映像に対応する２次元ＣＴ映像を提供する手続を説明する。説明の便宜のために、３次元ＣＴ映像から横隔膜および血管を自動で抽出するものと説明したが、これに限定されない。

図６を参照すると、ＣＴ映像形成部１１０は、吸い込み息から吐き出し息までの呼吸周期の間に一定間隔で対象体内の関心各体に対する３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｋ）を形成する（Ｓ１０２）。

プロセッサ１４０の補間部１４１は、ＣＴ映像形成部１１０から提供される３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｋ）間に補間を行って３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）を取得する（Ｓ１０４）。

超音波プローブ１２２が超音波プローブホルダ１２６に固定されると（Ｓ１０６）、超音波映像形成部１２０は、最大吸い込み息で対象体内の関心物体に対する３次元超音波映像Ｉ_ＵＳ（ｔ_１）を形成し、最大吐き出し息で対象体内の関心物体に対する３次元超音波映像Ｉ_ＵＳ（ｔ_２）を形成する（Ｓ１０８）。

プロセッサ１４０は、３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）および３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）で解剖学的特徴（例えば、横隔膜および血管）を抽出する（Ｓ１１０）。

プロセッサ１４０の整合部１４５は、３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）と３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）に対して解剖学的特徴、すなわち血管領域と横隔膜領域でサンプルポイントを抽出する。そして、抽出されたサンプルポイントを用いて３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）と３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）との間に映像整合を行い、３次元超音波映像と３次元ＣＴ映像との間の変換関数Ｔ_{ｐｒｏｂｅ}を取得する（Ｓ１１２）。

使用者入力部１３０を通じて入力情報（すなわち、断面位置設定情報）が受信されると（Ｓ１１４）、超音波映像形成部１２０は、入力情報に対応する断面の２次元超音波映像を形成する（Ｓ１１６）。

プロセッサ１４０の変換部１４６は、使用者入力部１３０から提供される入力情報（すなわち、断面位置設定情報）および整合部１４５から提供される変換関数Ｔ_{ｐｒｏｂｅ}を用いて３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）を変換するための変換関数Ｔ（第３の変換関数）を算出し、算出された変換関数Ｔを３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）に適用して２次元ＣＴ映像Ｉ_２ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）を取得する（Ｓ１１８）。

さらに詳細に、変換部１４６は、使用者入力部１３０から提供される入力情報を用いて３次元超音波映像Ｉ_ＵＳ（ｔ_ｊ）（１≦ｊ≦２）から２次元超音波映像の位置を表す変換関数、すなわち２次元超音波映像に対する超音波プローブ１２２の位置を表す変換関数Ｔ_{ｐｌａｎｅ}を取得する。ここで、変換関数Ｔ_{ｐｌａｎｅ}は行列で表すことができる。変換部１４６は、変換関数Ｔ_{ｐｒｏｂｅ}と変換関数Ｔ_{ｐｌａｎｅ}を用いて３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）を変換するための変換関数Ｔを算出する。本実施例で、変換部１４６は、変換関数Ｔ_{ｐｒｏｂｅ}と変換関数Ｔ_{ｐｌａｎｅ}とに行列乗算演算を行って変換関数Ｔを算出することができる。変換部１４６は、変換関数Ｔを各３次元ＣＴ映像Ｉ_ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）に適用して２次元ＣＴ映像Ｉ_２ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）を取得する。

プロセッサ１４０の類似度検出部１４７は、超音波映像形成部１２０から提供される２次元超音波映像と変換部１４６から提供される２次元ＣＴ映像Ｉ_２ＣＴ（ｔ_ｉ）（１≦ｉ≦Ｎ）との間に複数の類似度を検出する（Ｓ１２０）。

ＣＴ映像選択部１４８は、類似度検出部１４７で検出された複数の類似度を比較して類似度が最大である２次元ＣＴ映像Ｉ_２ＣＴ（ｔ_ｉ）を抽出する（Ｓ１２２）。ディスプレイ部１５０は、超音波映像形成部１２０から提供される２次元超音波映像とＣＴ映像抽出部１４８で抽出された２次元ＣＴ映像を表示する（Ｓ１２４）。

以上、本発明は望ましい実施例によって説明および例示をしたが、当業者であれば添付した特許請求の範囲の事項および範疇を逸脱することなく様々な変形および変更が可能である。

１００超音波システム
１１０ＣＴ映像形成部
１２０超音波映像形成部
１２１送信信号形成部
１２２超音波プローブ
１２３ビームフォーマ
１２４超音波データ形成部
１２５映像形成部
１２６超音波プローブホルダ
１３０使用者入力部
１４０プロセッサ
１４１補間部
１４２横隔膜抽出部
１４３血管抽出部
１４４横隔膜リファイニング（ｒｅｆｉｎｉｎｇ）部
１４５整合部
１４６変換部
１４７類似度検出部
１４８ＣＴ映像抽出部
１５０ディスプレイ部

Claims

対象体内の関心物体に対する複数の３次元ＣＴ映像を形成するＣＴ映像形成部と、
前記関心物体に対する少なくとも１つの３次元超音波映像を形成する超音波映像形成部と、
前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って第１の変換関数を取得するプロセッサと、
使用者の入力情報を受信する使用者入力部と
を備え、
前記超音波映像形成部は、前記少なくとも１つの３次元超音波映像から前記入力情報に対応する２次元超音波映像を形成し、
前記プロセッサは、前記入力情報および前記第１の変換関数を用いて前記複数の３次元ＣＴ映像から複数の２次元ＣＴ映像を取得し、前記２次元超音波映像と前記複数の２次元ＣＴ映像との間に複数の類似度を検出して前記２次元超音波映像に対応する２次元ＣＴ映像を選択することを特徴とする映像提供システム。
前記プロセッサは、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から横隔膜を抽出する横隔膜抽出部と、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から血管を抽出する血管抽出部と、
前記少なくとも１つの３次元超音波映像に対して前記血管に基づいて前記横隔膜からクラッターを除去して前記横隔膜をリファイニング（ｒｅｆｉｎｉｎｇ）する横隔膜リファイニング部と、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像に対して前記血管および前記横隔膜からサンプルポイントを抽出し、前記サンプルポイントを用いて前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って前記第１の変換関数を取得する整合部と、
前記入力情報および前記第１の変換関数を用いて前記複数の３次元ＣＴ映像から前記複数の２次元ＣＴ映像を取得する変換部と、
前記２次元超音波映像と前記複数の２次元ＣＴ映像との間に複数の類似度を検出する類似度検出部と、
前記検出された複数の類似度のうち類似度が最大である２次元ＣＴ映像を選択するＣＴ映像選択部と
を備えることを特徴とする請求項１に記載の映像提供システム。
前記横隔膜抽出部は、
前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像とのボクセルから平坦度を算出して、前記ボクセルの前記平坦度を含む平坦マップを取得し、
前記平坦マップを用いて基準値より前記平坦度の高いボクセルを選択し、前記選択されたボクセルを含む３次元領域を提供し、
前記選択されたボクセルから形態学的にボクセル値が存在する領域の境界における予め定められた数のボクセルだけ除去して、前記３次元領域を収縮させた後、前記収縮させた３次元領域を前記予め定められた数のボクセルだけ膨張させてクラッター（ｃｌｕｔｔｅｒ）を除去し、
ＣＣＡ（ｉｎｔｅｎｓｉｔｙ−ｂａｓｅｄｃｏｎｎｅｃｔｅｄｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓ）により前記３次元領域から複数の候補表面を取得し、
前記複数の候補表面の中から最大表面を選択して前記横隔膜を抽出することを特徴とする請求項２に記載の映像提供システム。
前記血管抽出部は、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像で前記血管を抽出し、
前記横隔膜を多項曲面（ｐｏｌｙｎｏｍｉａｌｃｕｒｖｅｄｓｕｒｆａｃｅ）でモデリングして、前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像にＲＯＩ（ｒｅｇｉｏｎｏｆｉｎｔｅｒｅｓｔ）マスキングを設定し、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から基準境界値より大きい強度値を有するボクセルを除去して血管候補を選択し、
前記選択された血管候補から非血管類型クラッターを除去して実際の血管を分類することを特徴とする請求項２または３に記載の映像提供システム。
前記入力情報は、前記複数の３次元ＣＴ映像に横隔膜領域を設定する横隔膜領域設定情報および前記複数の３次元ＣＴ映像に血管領域を設定する血管領域設定情報を更に含むことを特徴とする請求項２に記載の映像提供システム。
前記横隔膜抽出部は、
前記横隔膜領域設定情報によって前記複数の３次元ＣＴ映像から前記横隔膜を抽出し、
前記少なくとも１つの３次元超音波映像のボクセルから平坦度を算出して、前記ボクセルの前記平坦度を含む平坦マップを取得し、
前記平坦マップを用いて基準値より高い平坦度のボクセルを選択し、前記選択されたボクセルを含む３次元領域を提供し、
前記選択されたボクセルから形態学的にボクセル値が存在する領域の境界における予め定められた数のボクセルだけ除去して、前記３次元領域を収縮させた後、前記収縮させた３次元領域を前記予め定められた数のボクセルだけ膨張させてクラッターを除去し、
ＣＣＡにより前記３次元領域から複数の候補表面を取得し、
前記複数の候補表面の中から最大表面を選択して前記横隔膜を抽出することを特徴とする請求項５に記載の映像提供システム。
前記血管抽出部は、
前記血管設定情報によって前記複数の３次元ＣＴ映像から前記血管を抽出し、
前記少なくとも１つの３次元超音波映像から前記血管を抽出し、
前記横隔膜を多項曲面でモデリングして、前記少なくとも１つの３次元超音波映像にＲＯＩマスキングを設定し、
前記少なくとも１つの３次元超音波映像から基準境界値より大きい強度値を有するボクセルを除去して血管候補を選択し、
前記選択された血管候補から非血管類型クラッターを除去して実際の血管を分類することを特徴とする請求項５または６に記載の映像提供システム。
前記血管抽出部は、非血管類型クラッターを除去するための構造基盤血管テスト（ｓｔｒｕｃｔｕｒｅ−ｂａｓｅｄｖｅｓｓｅｌｔｅｓｔ）、グラジアント大きさ分析（ｇｒａｄｉｅｎｔｍａｇｎｉｔｕｄｅａｎａｌｙｓｉｓ）および最終血管テスト（ｆｉｎａｌｖｅｓｓｅｌｔｅｓｔ）のうちの少なくともいずれか一つを行うことを特徴とする請求項２ないし７のいずれかに記載の映像提供システム。
前記変換部は、
前記入力情報を用いて前記少なくとも１つの３次元超音波映像から前記２次元超音波映像の位置を示す第２の変換関数を算出し、
前記第１の変換関数および前記第２の変換関数を用いて前記複数の３次元ＣＴ映像を変換するための第３の変換関数を算出し、
前記第３の変換関数を前記複数の３次元ＣＴ映像に適用して前記複数の２次元ＣＴ映像を取得することを特徴とする請求項２ないし８のいずれかに記載の映像提供システム。
前記類似度検出部は、相互相関（ｃｒｏｓｓｃｏｒｒｅｌａｔｉｏｎ）法、相互情報（ｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎ）法およびＳＳＩＤ（ｓｕｍｏｆｓｑｕａｒｅｄｉｎｔｅｎｓｉｔｙｄｉｆｆｅｒｅｎｃｅ）法のうちいずれか一つを用いて前記類似度を算出することを特徴とする請求項２ないし９のいずれかに記載の映像提供システム。
前記プロセッサは、
前記複数の３次元ＣＴ映像間に補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行う補間部と
をさらに備えることを特徴とする請求項２ないし１０のいずれかに記載の映像提供システム。
前記入力情報は、前記２次元超音波映像を得るための前記少なくとも１つの３次元超音波映像内の断面位置を設定する断面位置設定情報を含むことを特徴とする請求項１ないし１１のいずれかに記載の映像提供システム。
前記ＣＴ映像形成部は、息を吸い込み始めてから吐き出すまでの呼吸周期の間に、前記複数の３次元ＣＴ映像を形成することを特徴とする請求項１ないし１２のいずれかに記載の映像提供システム。
前記少なくとも１つの３次元超音波映像は、前記息を最大に吸い込んだ状態における３次元超音波映像および最大に吐き出した状態における３次元超音波映像のうち少なくとも１つを含むことを特徴とする請求項１３に記載の映像提供システム。
前記２次元超音波映像および前記２次元ＣＴ映像を表示するディスプレイ部
を更に備えることを特徴とする請求項１〜１４のうちいずれか一項に記載の映像提供システム。
ａ）対象体内の関心物体に対する複数の３次元ＣＴ映像を形成する段階と、
ｂ）前記関心物体に対する少なくとも１つの３次元超音波映像を形成する段階と、
ｃ）前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って第１の変換関数を取得する段階と、
ｄ）使用者の入力情報を受信する段階と、
ｅ）前記少なくとも１つの３次元超音波映像から前記入力情報に対応する２次元超音波映像を形成する段階と、
ｆ）前記入力情報および前記第１の変換関数を用いて前記複数の３次元ＣＴ映像から複数の２次元ＣＴ映像を取得する段階と、
ｇ）前記２次元超音波映像と前記複数の２次元ＣＴ映像との間に複数の類似度を検出して前記２次元超音波映像に対応する２次元ＣＴ映像を選択する段階と
を備えることを特徴とする映像提供方法。
前記段階ｃ）は、
ｃ１）前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から横隔膜を抽出する段階と、
ｃ２）前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から血管を抽出する段階と、
ｃ３）前記少なくとも１つの３次元超音波映像に対して前記血管に基づいて前記横隔膜からクラッターを除去して前記横隔膜をリファイニングする段階と、
ｃ４）前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像に対して前記血管および前記横隔膜からサンプルポイントを抽出する段階と、
ｃ５）前記サンプルポイントを用いて前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像との間に映像整合を行って前記第１の変換関数を取得する段階と
を備えることを特徴とする請求項１６に記載の映像提供方法。
前記段階ｃ１）は、
前記複数の３次元ＣＴ映像と前記少なくとも１つの３次元超音波映像とのボクセルから平坦度を算出して、前記ボクセルの前記平坦度を含む平坦マップを取得する段階と、
前記平坦マップを用いて基準値より高い平坦度のボクセルを選択し、前記選択されたボクセルを含む３次元領域を提供する段階と、
前記選択されたボクセルから形態学的にボクセル値が存在する領域の境界における予め定められた数のボクセルだけ除去して、前記３次元領域を収縮させた後、前記収縮させた３次元領域を前記予め定められた数のボクセルだけ膨張させてクラッターを除去する段階と、
ＣＣＡにより前記３次元領域から複数の候補表面を取得する段階と、
前記複数の候補表面の中で最大表面を選択して前記横隔膜を抽出する段階と
を備えることを特徴とする請求項１７に記載の映像提供方法。
前記段階ｃ２）は、
前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像から前記血管を抽出する段階と、
前記横隔膜を多項曲面でモデリングして、前記複数の３次元ＣＴ映像および前記少なくとも１つの３次元超音波映像にＲＯＩマスキングを設定する段階と、
前記少なくとも１つの３次元超音波映像から基準境界値より大きい強度値を有するボクセルを除去して血管候補を選択する段階と、
前記選択された血管候補で非血管類型クラッターを除去して実際の血管を分類する段階と
を備えることを特徴とする請求項１７または１８に記載の映像提供方法。
前記段階ｃ）の以前に、
前記複数の３次元ＣＴ映像に横隔膜領域を設定する横隔膜領域設定情報および前記複数の３次元ＣＴ映像に血管領域を設定する血管領域設定情報を受信する段階
を更に備えることを特徴とする請求項１７に記載の映像提供方法。
前記段階ｃ１）は、
前記横隔膜領域設定情報によって前記複数の３次元ＣＴ映像から前記横隔膜を抽出する段階と、
前記少なくとも１つの３次元超音波映像のボクセルから平坦度を算出して、前記ボクセルの前記平坦度を含む平坦マップを取得する段階と、
前記平坦マップを用いて基準値より平坦度の高いボクセルを選択し、前記選択されたボクセルを含む３次元領域を提供する段階と、
前記選択されたボクセルから形態学的にボクセル値が存在する領域の境界における予め定められた数のボクセルだけ除去して、前記３次元領域を収縮させた後、前記収縮させた３次元領域を前記予め定められた数のボクセルだけ膨張させてクラッターを除去する段階と、
ＣＣＡにより前記３次元領域から複数の候補表面を取得する段階と、
記複数の候補表面の中から最大表面を選択して前記横隔膜を抽出する段階と
を備えることを特徴とする請求項２０に記載の映像提供方法。
前記段階ｃ２）は、
前記血管領域設定情報によって前記複数のＣＴ映像から前記血管を抽出する段階と、
前記少なくとも１つの３次元超音波映像から前記血管を抽出する段階と、
前記横隔膜を多項曲面でモデリングして、前記少なくとも１つの３次元超音波映像にＲＯＩマスキングを設定する段階と、
前記少なくとも１つの３次元超音波映像から基準境界値より大きい強度値を有するボクセルを除去して血管候補を選択する段階と、
前記選択された血管候補から非血管類型クラッターを除去して実際の血管を分類する段階と
を備えることを特徴とする請求項２０または２１に記載の映像提供方法。
前記段階ｃ）は、
非血管類型クラッターを除去するための構造基盤血管テスト（ｓｔｒｕｃｔｕｒｅ−ｂａｓｅｄｖｅｓｓｅｌｔｅｓｔ）、グラジアント大きさ分析（ｇｒａｄｉｅｎｔｍａｇｎｉｔｕｄｅａｎａｌｙｓｉｓ）および最終血管テスト（ｆｉｎａｌｖｅｓｓｅｌｔｅｓｔ）のいずれか一つを行う段階
を更に備えることを特徴とする請求項１６ないし２２のいずれかに記載の映像提供方法。
前記段階ｆ）は、
前記入力情報を用いて前記少なくとも１つの３次元超音波映像から前記２次元超音波映像の位置を表す第２の変換関数を算出する段階と、
前記第１の変換関数および前記第２の変換関数を用いて前記複数の３次元ＣＴ映像を変換するための第３の変換関数を算出する段階と、
前記第３の変換関数を前記複数の３次元ＣＴ映像に適用して前記複数の２次元ＣＴ映像を取得する段階と
を備えることを特徴とする請求項１６ないし２３のいずれかに記載の映像提供方法。
前記段階ｇ）は、
相互相関（ｃｒｏｓｓｃｏｒｒｅｌａｔｉｏｎ）法、相互情報（ｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎ）法およびＳＳＩＤ（ｓｕｍｏｆｓｑｕａｒｅｄｉｎｔｅｎｓｉｔｙｄｉｆｆｅｒｅｎｃｅ）法のうちいずれか一つを用いて前記複数の類似度を算出する段階と、
前記算出された複数の類似度を比較して類似度が最大である前記２次元ＣＴ映像を選択する段階と
を備えることを特徴とする請求項１６ないし２４のいずれかに記載の映像提供方法。
前記段階ａ）は、
前記複数の３次元ＣＴ映像間で補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行う段階
を更に備えることを特徴とする請求項１６ないし２５のいずれかに記載の映像提供方法。
前記入力情報は、前記２次元超音波映像を得るための前記少なくとも１つの３次元超音波映像内の断面位置を設定する断面位置設定情報を含むことを特徴とする請求項１６ないし２６のいずれかに記載の映像提供方法。
前記段階ａ）は、
息を吸い込み始めてから吐き出すまでの呼吸周期の間に前記複数の３次元ＣＴ映像を形成する段階
を更に備えることを特徴とする請求項１６ないし２７のいずれかに記載の映像提供方法。
前記少なくとも１つの３次元超音波映像は、前記息を最大に吸い込んだ状態における３次元超音波映像および最大に吐き出した状態における３次元超音波映像のうち少なくとも１つを含むことを特徴とする請求項２８に記載の映像提供方法。
ｈ）前記２次元超音波映像および前記２次元ＣＴ映像を表示する段階
を更に備えることを特徴とする請求項１６〜２９のうちいずれか一項に記載の映像提供方法。