JP4899068B2 - 医療画像観察支援装置 - Google Patents

Description

【技術分野】
【０００１】
本発明は、管腔臓器の外観の観察を支援する医療画像観察支援装置に関する。
【背景技術】
【０００２】
近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の様子を示す３次元画像データを得て、該３次元画像データを用いて目的の診断が行われるようになってきた。
【０００３】
ＣＴ装置では、Ｘ線照射器・検出器を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌｓｃａｎ）を行い、３次元領域の連続するスライスの断層像を積み重ねることによって３次元画像を作成することが行われる。
【０００４】
そのような３次元画像として、体幹部血管領域や肺の気管支領域の３次元像がある。血管領域の３次元像は、例えば大腸癌手術において、切除部位の決定に際し、どの範囲の血管を結紮（糸などで血管を縛ることをいう）すればよいか、等の３次元的構造を事前に正確に把握するために、管腔臓器の３次元像を表示する必要がある。また、肺癌の場合には、どの気管支付近に肺癌が存在するかを診断するために、気管支の樹状構造と肺癌の位置関係を分かりやすく表示する必要がある。
【０００５】
これまでに提案されている管腔臓器の画像表示方法、例えば特許文献１としての「特開２０００−１３５２１５号公報等」では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視鏡像を前記画像データに基づいて作成し、前記仮想的な内視鏡像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
【０００６】
しかし、内部を観察する上述のような従来技術の方法では、周辺の他臓器との位置関係を把握することは非常に困難である。他臓器との位置関係を含めた管腔構造の的確な把握は、画像診断、内視鏡検査・手術、開腹手術を問わず、基本的かつ重要なことであり、これを容易にする新しい支援装置が望まれる。
【０００７】
一方、被検体の３次元画像データに基づいて被検体内の管路の３次元像を作成するためには３次元領域の画像データより所望の臓器、例えば、前記気管支の管腔路領域情報を抽出する必要がある。そこで、例えば非特許文献１としての「T.Kitasaka, K.Mori, J.Hasegawa and J.Toriwaki: "A Method for Extraction of Bronchus Regions from 3D Chest X-ray CT Image by Analyzing Structural Features of the Bronchus", Forma 17, pp.321-338(2002)」等においては、被検体の３次元領域上に所定のボクセルよりなる所定の大きさのＶＯＩ（Volume Of Interest：注目体積領域）を設定し、このＶＯＩを体軸方向に分割（セグメンテーション）しながらＶＯＩ内の被検体の３次元領域の画像データより所望の臓器、例えば、前記気管支の管腔路領域情報を抽出する手法、いわゆるセグメンテーション処理が提案されている。
【特許文献１】
特開２０００−１３５２１５号公報
【非特許文献１】
T.Kitasaka, K.Mori, J.Hasegawa and J.Toriwaki:“A Method for Extraction of Bronchus Regions from 3D Chest X-ray CT Image by Analyzing Structural Features of the Bronchus,”Forma 17, pp.321-338(2002)
【特許文献２】
特開２００４−１８０９４０号公報
【特許文献３】
国際公開第２００４／０１０８５７号パンフレット
【特許文献４】
特開２００６− ６８３５１号公報
【特許文献５】
特開２００４−２３００８６号公報
【特許文献６】
特開２０００−１６３５５５号公報
【特許文献７】
特開２００３−２６５４０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、血管のように、多段階の分岐を有する複雑な構造を持った管路では、どの血管が病変部に関与しているか把握することが難しい、あるいは、非常に細い多数の血管に紛れて注目したい血管の判別が難しい、などの問題がある。上記特許文献１の装置では、所望する管腔臓器内部を所定の視点から観察した際の仮想的な内視鏡画像であるために、開腹手術等を行う際に管腔臓器の外観状況を把握する必要がある場合には使用できない。さらに、任意の視点から管腔臓器の外観を観察するシステムを仮に考えたとしても、血管などの管腔臓器は複雑に入り組んでいるため、細部を詳しく観察したり臓器構造を把握したりすることは困難である。
【０００９】
また、上記非特許文献１のセグメンテーション処理では、確かに被検体の３次元画像データから所望の管腔臓器の管腔路領域情報を抽出することが可能であるが、情報抽出する際には、従来は単一の閾値による閾値抽出処理、あるいは画像全体で共通した画像強調フィルタによるフィルタ抽出処理を行っているため、例えば木構造をなす管腔臓器の末梢部位、あるいは、特定の解剖学的部位において、基端部位と同じ閾値あるいは強調フィルタを用いて抽出すると、十分な抽出精度を得ることができないといった問題がある。
【００１０】
一方、前記特許文献２においては、被検体内の体腔路が分岐する全分岐点での３次元画像の複数の縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段が生成した前記縮小画像の前記３次元画像を回転させる画像回転手段と、前記画像回転手段が前記３次元画像を回転させた回転量データを前記３次元画像と関連付けて記憶する回転量データ記憶手段とを有する内視鏡装置が提案されている。しかしながら、前記特許文献２に提案の発明においては、前記３次元画像を回転させる画像回転手段は操作者である術者の手動操作に基づいて実行されなければならず、内視鏡の操作中にかかる操作を実行することは困難である。
【００１１】
また、前記特許文献３においては、被検体内の体腔路が分岐する全分岐点での前記３次元画像の縮小画像を、前記内視鏡により撮像された前記被検体内の体腔路の内視鏡画像と前記３次元画像とからなるナビゲーション画像に付加して前記ナビゲーション画像を生成するナビテーション画像生成手段を有することを特徴とする内視鏡装置が提案されている。しかしながら、前記特許文献３に提案の発明においては、前記縮小画像は単に前記分岐点での３次元画像を縮小したものにすぎない場合には、前記縮小画像どうしが類似するものであった場合に操作者に混乱をきたすおそれがある。
【００１２】
また、前記特許文献４においては、被検体の管状構造物の芯線点列データを求める医用画像処理方法が提案されているが、時間軸方向に複数有するボリュームデータ群に基づくものである。また、前記特許文献５においては、被検体の立体画像データ内の所望の管状構造物の領域を設定し、この領域設定手段により設定された管状構造物の芯線を設定する画像処理装置が提案されている。これら特許文献４および５に提案の発明においては、前記管状構造物が分岐を生じている場合についての言及がなく、かかる場合においてそのままの方法では芯線を設定することができない。
【００１３】
また、前記特許文献６においては、関心領域である分岐枝領域を含む領域中に分岐開始点と関心領域方向とを指定し、同一領域内では各点の濃度値はある濃度範囲に属するという条件（大域的変化の条件）および隣接点同士の濃度差は小さいという条件（局所的変化の条件）を用いて前記分岐開始点から前記関心領域方向へ領域拡張することにより分岐枝領域を抽出する領域抽出方法により、被検体の管状構造物の分岐部分を抽出する方法が提案されている。しかしながら、前記特許文献６の発明は、被検体の断層画像である２次元画像に対して実行するものであって、前記ヘリカルスキャン等によって得られる３次元画像にに対して実行することができない。
【００１４】
さらに、前記特許文献７においては、実内視鏡画像とデータベース内に記憶されたの仮想内視鏡画像と比較して、前記内視鏡画像と最も類似度が高い仮想内視鏡画像を決定し、決定された仮想内視鏡画像の情報から、軟性内視鏡先端部の位置と姿勢を決定する内視鏡誘導装置が提案されている。しかしながら、特許文献７の発明においては、内視鏡画像と仮想内視鏡画像との画像の比較において、画像全体の比較をするものであるため、その処理に要する時間が長くなるおそれがある。さらに、特許文献７に記載の内視鏡誘導装置は決定された内視鏡先端部の位置と姿勢情報をＭＲＩ画像またはＣＴ画像上に重畳表示するものとされているが、かかる重畳表示によっては術者に内視鏡の誘導のための充分な情報が与えられているとは言い難い。
【００１５】
なお、前記特許文献２においては、仮想内視鏡像において気管支経路名が重畳される旨の記載があるが、かかる方法を具体的に実現するための方法や手段については、前記特許文献２においては何ら言及されていない。
【００１６】
本発明は、上述した点に鑑みてなされたもので、容易、かつ適切に管腔臓器の外観観察および管腔臓器の構造把握を支援することのできる医療画像観察支援装置を提供することを目的としている。
課題を解決するための手段
【００１７】
かかる目的を達成するために、請求項１にかかる発明は、（ａ）被検体の３次元画像データに基づき、前記被検体内に延びる管腔臓器の一部を内含する体積領域を相互に連なるように順次設定する体積領域設定手段と、（ｂ）該体積領域設定手段により設定された体積領域毎に該体積領域内での前記管腔臓器を表す３次元画像データに基づき、該体積領域内の特定の管腔臓器の領域情報である管腔領域データを繰り返し算出する管腔臓器領域情報算出手段と、（ｃ）前記管腔臓器領域情報算出手段が算出した前記管腔領域データ毎に、前記体積領域での前記管腔臓器の構造情報である管腔構造データを算出する管腔臓器構造情報算出手段と、（ｄ）前記管腔構造データに基づいて、前記管腔臓器の長手方向に沿った仮想芯線を生成する仮想芯線生成手段と、（ｅ）前記仮想芯線に沿って前記管腔臓器の仮想画像を生成する仮想画像生成手段と、（ｆ）前記仮想画像を表示するための表示手段と、（ｇ）前記仮想画像を生成するための観察位置を、前記仮想芯線、前記管腔領域データおよび前記管腔構造データの少なくとも１つに基づき前記表示手段における前記管腔臓器の表示領域が所望の大きさとなるように定めるとともに、前記仮想芯線または前記管腔構造データに基づき前記管腔臓器長手方向に沿って前記観察位置を移動させる観察位置規定手段と、を備え、（ｈ）前記仮想画像生成手段は、前記解剖学的構造情報あるいは前記管腔構造データに基づき画像処理手法を変更することを特徴とする医療画像観察支援装置である。
【００１８】
請求項１に記載の医療画像観察支援装置によれば、前記体積領域設定手段により、被検体の３次元画像データに基づき、前記被検体内に延びる管腔臓器の一部を内含する体積領域が相互に連なるように順次設定され、前記管腔臓器領域情報算出手段により、前記３次元画像データに基づき、前記体積領域設定手段により設定される体積領域毎に該体積領域内の特定の管腔臓器の領域情報である管腔領域データが繰り返し算出され、前記管腔臓器構造情報算出手段により、前記管腔領域データ毎に前記体積領域での前記管腔臓器の構造情報である管腔構造データが算出され、前記仮想芯線生成手段により、前記管腔構造データに基づいて、前記管腔臓器の長手方向に沿った仮想芯線が生成され、前記仮想画像生成手段により、前記仮想芯線に沿って前記管腔臓器の仮想画像が生成され、前記観察位置規定手段により、前記仮想芯線、前記管腔領域データおよび前記管腔構造データの少なくとも１つに基づき前記表示手段における前記管腔臓器の表示領域が所望の大きさとなるように前記仮想画像を生成するための観察位置が定められるとともに、前記仮想芯線または前記管腔構造データに基づき前記管腔臓器長手方向に沿って前記観察位置が移動させられ、前記表示手段により前記仮想画像が表示されるので、前記３次元画像データから前記管腔臓器の構造情報を反映した仮想画像を得ることができるとともに、管腔臓器の注目する任意の位置から煩雑な視点変更操作なしに、確実に臓器構造に沿って観察することが可能となるという効果がある。特に、管腔臓器の長手方向に沿って観察位置を自動的に移動させることが可能となり、また、表示手段上での管腔臓器の表示領域を所望の大きさの領域に観察位置を算出することで、外観画像表示時における管腔臓器の表示倍率が自動的に調整されるので、観察者は非常に長い管腔臓器を管腔臓器走行方向に沿って観察することが容易となる効果がある。ここで所望の大きさとは、観察者が本装置の利用状況に応じて選択する大きさであり、例えば血管全体の走行状況を確認したい場合には比較的小さく表示し、血管表面の凹凸を観察する場合には比較的大きく表示する。さらに、前記仮想画像生成手段は、前記解剖学的構造情報あるいは前記管腔構造データに基づき画像処理手法を変更するので、管腔臓器の部位ごとに適切な画像処理手法を自動的にあるいは操作者によって変更することが可能となるため、精度よく管腔領域データを抽出できるという効果がある。
【００１９】
ここで好適には、前記医療画像観察支援装置は、（ａ）少なくとも解剖学的名称情報を含んだ解剖学的構造情報を格納する解剖学的構造情報格納手段を備え、（ｂ）前記解剖学的構造情報格納手段に格納された解剖学的名称情報を前記管腔構造データに関連付ける解剖学的名称関連付け手段とをさらに備えることを特徴とする。このようにすれば、前記管腔構造データに前記解剖学的構造情報が関連付けられるので、前記管腔構造データと関連付けられた前記解剖学的構造情報とは一対のものとして用いることが可能となる。
【００２０】
好適には、前記医療画像観察支援装置は、前記解剖学的名称関連付け手段による前記解剖学名称関連付けに基づき、前記表示手段上に表示された仮想画像上に前記管腔臓器の解剖学的名称を表示すること画像合成手段を有することを特徴とする。このようにすれば、前記画像合成手段によって、前記表示手段上に表示された前記仮想画像上に前記管腔臓器の解剖学的名称が表示されるので、管腔臓器の観察が容易となる。
【００２２】
また、好適には、前記医療画像観察支援装置は、（ａ）実際に前記被検体内に挿入された内視鏡の先端部の相対的な位置を検出するための内視鏡位置検出手段と（ｂ）該内視鏡位置検出手段によって検出された内視鏡の先端位置と前記管腔構造データとを比較することにより変換行列を算出するとともに、前記内視鏡の先端位置を該変換行列により変換することにより前記内視鏡の先端部の前記管腔臓器内における位置である実画像観察位置を推定する第一実画像観察位置推定手段とを有することを特徴とする。このようにすれば、前記内視鏡位置検出手段によって検出された内視鏡の先端部の相対的な位置が前記管腔構造データと比較され、実画像観察位置が推定されるので、実画像観察位置に対応する内視鏡の先端部の位置が一層正確に把握される。
【００２３】
好適には、前記医療画像観察支援装置は、（ａ）前記仮想画像生成手段によって生成された複数の仮想画像のうち、前記管腔臓器内における分岐部を含む仮想画像と、該仮想画像に対応する前記管腔構造データとを関連付けて記憶する仮想画像記憶手段を有し、（ｂ）実際に被検体内に挿入された内視鏡によって撮像された実内視鏡画像に現れる管腔構造データに対応する特徴を抽出し、該特徴を前記仮想画像記憶手段に記憶された管腔構造データと照合するとともに、該照合の結果一致した管腔構造データに対応する仮想画像の観察位置を前記実画像観察位置と推定する第二実画像観察位置推定手段を有することを特徴とする。このようにすれば、前記第二実画像観察位置推定手段によって、実内視鏡画像に現れる管腔構造データに対応する特徴を抽出し、該特徴を前記仮想画像記憶手段に記憶された管腔構造データと照合し、照合の結果一致した管腔構造データに対応する仮想画像の観察位置が前記実画像観察位置と推定されるので、実際の内視鏡の先端位置を検出することなく前記内視鏡の先端位置を推定することが可能となり、また、画像上に現れる前記管腔構造データに対応する特徴によって前記実内視鏡画像と前記仮想画像を照合するので、照合に要する時間を低減しつつ、精度の高い照合を実現できる。
【００２４】
好適には、前記画像合成手段は、前記表示手段に、前記実内視鏡画像と、該実内視鏡画像に対応し前記仮想画像生成手段によって生成された前記仮想画像とを対比可能に表示することを特徴とする。このようにすれば、前記表示手段において前記実内視鏡画像と前記仮想画像とが対比可能に表示される。
【００２５】
好適には、前記仮想画像生成手段は、前記観察位置を前記第一実画像観察位置推定手段によって推定された前記実画像観察位置とすることによって前記仮想画像を生成することを特徴とする。このようにすれば、前記仮想画像は、前記観察位置を前記第一実画像観察位置推定手段によって推定された前記実画像観察位置とすることによって得られる仮想画像であるので、前記実内視鏡画像の実画像観察位置と同じと推定される観察位置からの仮想画像が得られる。
【００２６】
好適には、前記仮想画像生成手段は、前記観察位置を前記第二実画像観察位置推定手段によって推定された前記実画像観察位置とすることによって前記仮想画像を生成することを特徴とする。このようにすれば、前記仮想画像は、前記観察位置を前記第二実画像観察位置推定手段によって推定された前記実画像観察位置とすることによって得られる仮想画像であるので、前記実内視鏡画像の実画像観察位置と同じと推定される観察位置からの仮想画像が得られる。
【００２７】
好適には、前記医療画像観察支援装置において、前記画像合成手段は、前記解剖学的名称関連付け手段による前記解剖学名称関連付けに基づき、前記表示手段に表示された実内視鏡画像上に前記管腔臓器の解剖学的名称を表示することを特徴とする。このようにすれば、前記表示手段に表示された実内視鏡画像上の管腔臓器には、前記解剖学的名称関連付け手段によって関連付けられた解剖学的名称が表示されるので、実内視鏡画像においても画像中に表示された管腔臓器が何れの部位であるかを把握できる。
【００２８】
好適には、前記医療画像観察支援装置において、前記仮想画像及び前記実内視鏡画像は、画像上における管腔状の構造物の個数、位置、および該管腔状の構造物内における明度の少なくとも１つを前記管腔構造データに対応する画像上の特徴とすることを特徴とする。このようにすれば、前記仮想画像および前記実内視鏡画像の有する、画像上における前記管腔構造データに対応する特徴である管腔状の構造物の個数、位置、および該管腔状の構造物内における明度の少なくとも１つに基づいて、前記実内視鏡画像と前記仮想画像とが照合されるので、画像全体を照合する必要がない。
【００２９】
好適には、前記医療画像観察支援装置において、前記第二実画像観察位置推定手段は、前記照合の結果に基づいて前記仮想画像記憶手段に記憶された内容を学習補正する仮想画像学習手段を有することを特徴とする。このようにすれば、前記第二実画像観察位置推定手段は、前記仮想画像学習手段によって前記照合の結果に基づいて前記仮想画像記憶手段に記憶された内容を学習補正するので、前記照合を繰り返す毎に一層正確な照合を実行できる。
【００３０】
また、好適には、（ａ）前記医療画像観察支援装置は、前記内視鏡を前記管腔臓器における目的部位に挿入するための挿入部位から前記目的部位までの経路を画像上で案内するためのナビゲーション手段を有し、（ｂ）前記ナビゲーション手段は、前記表示手段に表示された実内視鏡画像上に示された前記管腔臓器の分岐部に開口する複数の枝管のうちの前記内視鏡を挿入すべき１つの枝管を示す表示をすることを特徴とする。このようにすれば、前記ナビゲーション手段によって、前記表示手段に表示された実内視鏡画像上に示された前記管腔臓器の分岐部に開口する複数の枝管のうちの前記内視鏡を挿入すべき１つの枝管を示す表示がされるので、操作者は前記内視鏡を前記管腔臓器における目的部位まで容易に挿入する際に前記管腔臓器の分岐部においても挿入すべき枝管を認識することができる。
【００３１】
好適には、（ａ）前記医療画像観察支援装置は、前記内視鏡を前記管腔臓器における目的部位に挿入するための挿入部位から前記目的部位までの経路を画像上で案内するためのナビゲーション手段を有し、（ｂ）前記ナビゲーション手段は、前記経路を自動的に生成するとともに、前記経路を構成する管腔臓器の各部位に対し前記解剖学的名称関連付け手段によってそれぞれ関連付けられた複数の解剖学的名称を、前記挿入部位から前記目的部位までの経路の順で列挙することを特徴とする。このようにすれば、前記ナビゲーション手段によって、前記経路が自動的に生成される一方、前記経路を構成する管腔臓器の各部位に関連付けられた複数の解剖学的名称が、前記挿入部位から前記目的部位までの経路の順で列挙されるので、前記内視鏡を前記管腔臓器における目的部位まで挿入するまでの経路を予め解剖学的名称によって認識することができる。
【００３２】
また、好適には、（ａ）前記医療画像支援装置は、前記３次元画像データに基づいて、前記被検体内における前記管腔臓器の外に存在する管腔外組織の構造に関する情報である管腔外組織構造情報を抽出する管腔外組織抽出手段を有し、（ｂ）前記仮想画像生成手段は、前記管腔臓器の仮想画像と前記管腔外組織の仮想画像とを同一の画像内に実際の位置関係を保持したまま同一の尺度で表示するものである。このようにすれば、前記３次元画像データに基づいて、前記管腔臓器の外に存在する管腔外組織についての構造についても前記仮想画像上でその位置や大きさを把握することができる。
【００３３】
好適には、（ａ）前記解剖学的構造情報格納手段は、前記管腔臓器については少なくとも解剖学的名称情報を、前記管腔外組織については少なくとも解剖学的番号をそれぞれ含んだ解剖学的構造情報を格納し、（ｂ）前記解剖学的名称関連付け手段は、前記管腔臓器に対しては前記解剖学的構造情報格納手段に格納された解剖学的名称情報を前記管腔構造データに関連付け、前記管腔外組織については前記解剖学的構造情報格納手段に格納された解剖学的番号を前記管腔外組織構造情報に関連付けるものである。このようにすれば、前記解剖学的名称関連付け手段は、前記管腔臓器に解剖学的名称を関連付けるのと同様に、前記管腔外組織に解剖学的番号を関連付けることができる。
【００３４】
好適には、前記医療画像観察支援装置は、前記解剖学的名称関連付け手段による前記解剖学的名称あるいは前記解剖学的番号の関連付けに基づき、前記表示手段上に表示された仮想画像上に前記管腔臓器の解剖学的名称および前記管腔外組織の解剖学的番号を表示する画像合成手段を有することを特徴とする。このようにすれば、前記画像合成手段によって、前記表示手段上に表示された前記仮想画像上に前記管腔臓器の解剖学的名称および前記管腔外組織の解剖学的番号が表示されるので、管腔臓器の観察が容易となる。
【００３５】
好適には、前記医療画像観察支援装置において、前記仮想画像生成手段は、前記解剖学的構造情報あるいは前記管腔構造データ、前記管腔外組織構造情報の少なくとも１つに基づき画像処理手法を変更することを特徴とする。このようにすれば、管腔臓器の部位あるいは管腔外組織ごとに適切な画像処理手法を自動的にあるいは操作者によって変更することが可能となるため、精度よく管腔領域データを抽出できるという効果がある。
【００３６】
また好適には、前記ナビゲーション手段は、前記管腔外組織を目的部位として設定した場合に、該管腔外組織に近接した前記管腔臓器における前記内視鏡を挿入可能な部位を、実際の目的部位とすることを特徴とする。このようにすれば、操作者は目的とする管腔外組織を目的部位として設定するだけで、該管腔外組織に近接した前記管腔臓器における前記内視鏡を挿入可能な部位まで内視鏡を挿入するための支援を受けることができる。
【００３７】
好適には、前記管腔外組織とはリンパ節であり、前記管腔臓器とは血管であることを特徴とする。このようにすれば、前記管腔外組織としてのリンパ節に直接通ずるリンパ管に対しては直接内視鏡を挿入することが困難である場合に、前記リンパ節に近接した前記内視鏡を挿入可能な血管の部位を目的部位とすることにより、内視鏡を前記リンパ節の近傍まで前記血管を通して挿入することができる。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施例１に係る医療画像観察支援装置の機能の概要を表す機能ブロック図である。
【図２】図１の情報抽出部の機能構成を示すブロック図である。
【図３】図１の解剖学的情報データベースに格納される情報を説明する図である。
【図４】管腔臓器の各枝部位とその各部位ごとに付される枝シリアル番号との関係の例をモデルを用いて説明する図である。
【図５】図１の情報抽出部による臓器構造情報、臓器構造情報及び各枝部位名称の抽出処理の流れを示すフローチャートである。
【図６】３次元画像としてのＣＴ画像データに基づく断層画像の例である。
【図７】３次元画像としてのＭＰＲ（多断面再構築画像）の例である。
【図８】ＶＯＩ設定部によるＶＯＩの設定を説明する図である。
【図９】臓器領域情報抽出部による臓器領域情報の抽出を説明する図である。
【図１０】ＶＯＩ下面における臓器領域情報の抽出を説明する図である。
【図１１】臓器構造情報抽出部による臓器構造情報の抽出を説明する図である。
【図１２】情報抽出部によるＶＯＩの伸長を説明する図である。
【図１３】伸長されたＶＯＩに対する臓器領域情報の抽出を説明する図である。
【図１４】伸長されたＶＯＩ下面における臓器領域情報の抽出を説明する図である。
【図１５】情報抽出部によるＶＯＩのさらなる伸長を説明する図であって、図１２に対応するものである。
【図１６】更に伸長されたＶＯＩに対する臓器領域情報の抽出を説明する図であって、図１３に対応するものである。
【図１７】更に伸長されたＶＯＩ下面における臓器領域情報の抽出を説明する図であって、図１４に対応するものである。
【図１８】更に伸長されたＶＯＩに対する臓器構造情報抽出部による臓器構造情報の抽出を説明する図であって、図１１に対応するものである。
【図１９】ＶＯＩが管腔臓器とずれた様子を示す図である。
【図２０】ＶＯＩが管腔臓器とずれた様子を示すＶＯＩの底面を示す図である。
【図２１】ＶＯＩの方向修正処理を説明する図である。
【図２２】ＶＯＩの方向修正処理を説明する図である。
【図２３】管腔臓器の分岐を検出した場合のＶＯＩの例を示す図である。
【図２４】管腔臓器の分岐を検出した場合のＶＯＩの例を示す図である。
【図２５】ＶＯＩ設定部による子ＶＯＩの設定を説明する図である。
【図２６】孫ＶＯＩの設定を説明する図である。
【図２７】生成された臓器構造情報の一例を示す図である。
【図２８】表示手段に表示された臓器構造情報の一例を表す図である。
【図２９】複数の管腔臓器の臓器構造情報が関連付けられた概念を説明する図である。
【図３０】動脈の３次元画像と動脈の臓器構造情報とを重畳表示した図である。
【図３１】図３０に更に静脈の３次元画像を重畳表示した図である。
【図３２】図１の管腔臓器観察支援装置の観察支援処理作用を説明するフローチャートである。
【図３３】図１の管腔臓器観察支援装置の管腔臓器の観察支援処理の流れを示すフローチャートである。
【図３４】入力部を構成するマウスの例を示す図である。
【図３５】注視点、視点、および視線の関係の一例を表す図である。
【図３６】視点が変更される例を説明する図である。
【図３７】複数の視点の位置と生成される管腔外観画像を説明する図である。
【図３８】視点の移動を説明する図である。
【図３９】実施例２における機器の構成を示す図である。
【図４０】実施例２における変換行列Ｔの算出手順を説明するフローチャートである。
【図４１】図４０における変換行列算出ルーチンを説明する図である。
【図４２】計測された内視鏡先端位置と仮想芯線の関係を説明する図である。
【図４３】計測された内視鏡先端位置と、変換後の位置およびその距離を説明する図である。
【図４４】変換の概念を説明する図である。
【図４５】実施例２における医療画像観察支援装置の機能の概要を説明する機能ブロック線図である。
【図４６】実施例２における医療画像観察支援装置のうち、仮想画像記憶手段に対応する作動の概要を説明するフローチャートである。
【図４７】実施例２における医療画像観察支援装置のうち、第二実画像観察位置推定手段１１４に対応する作動の概要を説明するフローチャートである。
【図４８】図４７における学習ルーチンを説明する図である。
【図４９】臓器構造情報に対応する画像上の特徴を説明する図である。
【図５０】実施例４における医療画像観察装置の機能の概要を表す機能ブロック図である。
【図５１】実施例４における医療画像観察装置の作動の概要を表すフローチャートである。
【図５２】実施例４におけるモニタ２の表示の一例を表す図である。
【図５３】実施例４におけるモニタ２の表示の一例を表す図である。
【図５４】実施例４におけるモニタ２の表示の一例を表す図である。
【図５５】実施例４におけるモニタ２の表示の一例を表す図である。
【図５６】実施例５における情報抽出部１２の機能の概要を表す図であって、図２に相当する図である。
【図５７】実施例５における医療画像観察装置の作動の概要を表すフローチャートである。
【図５８】実施例５におけるモニタ２の表示の一例を表す図である。
【符号の説明】
【００３９】
１：医療画像観察支援装置（コンピュータ）
２：表示手段（モニタ）
１２：情報抽出部（体積領域設定手段）
１２：情報抽出部（管腔臓器領域情報算出手段）
１２：情報抽出部（管腔臓器構造情報算出手段）
１２：情報抽出部（仮想芯線生成手段）
１２：情報抽出部（解剖学的名称関連付け手段）
１３：解剖学的構造情報格納手段（解剖学的情報データベース）
１４：視点位置／視線方向設定部（観察位置規定手段）
１５：管腔臓器画像生成部（仮想画像生成手段）
１８：画像合成表示部（画像合成手段）
３５：管腔領域データ（臓器領域情報）
３７：管腔構造データ（臓器構造情報）
７５：観察位置
８２：内視鏡位置検出部（内視鏡位置検出手段）
８４：内視鏡
１０２：仮想画像学習部（仮想画像学習手段）
１１０：仮想画像記憶部（仮想画像記憶手段）
１１２：第一実画像観察位置推定部（第一実画像観察位置推定手段）
１１４：第二実画像観察位置推定部（第二実画像観察位置推定手段）
１１６：ナビゲーション部（ナビゲーション手段）
１２ｈ：管腔外組織抽出部（管腔外組織抽出手段）
ＶＯＩ：体積領域
ｃ：仮想芯線
【発明を実施するための最良の形態】
【００４０】
以下、図面を参照しながら本発明の実施例について述べる。
【実施例１】
【００４１】
図１乃至図３８は本発明の実施例１に係わり、図１は医療画像観察支援装置の機能の構成の概要を示す機能ブロック図、図２は図１の情報抽出部１２の機能構成を示す機能ブロック図である。また、図３は図１の解剖学的情報ＤＢを説明する第１の図、図４は図１の解剖学的情報ＤＢ．を説明する第２の図である。
【００４２】
図５は図１の情報抽出部による臓器構造情報、臓器構造情報及び各枝部位名称の抽出処理の流れを示すフローチャートであり、図６乃至図３１はそれぞれ、図５のフローチャートの処理の様子を説明する図である。
【００４３】
また、図３２は図１の医療画像観察支援装置における管腔臓器の観察支援処理の流れを示すフローチャートであり、図３４乃至図３８はそれぞれ、図３３のフローチャートの処理の様子を説明する図である。
【００４４】
図１に示すように、本実施例の医療画像観察支援装置１は、予め記憶させられた情報を読み出し可能に格納するＲＯＭ、必要に応じて情報を読み書き可能に記憶するＲＡＭ、これらの情報を演算するＣＰＵ（中央演算装置）などによって構成される予め記憶されたプログラムに従って演算制御可能ないわゆるコンピュータなどによって構成される。この医療画像観察支援装置としてのコンピュータ１は、ＣＴ画像データに基づき、マウス等のポインティングデバイスを有する入力部３が指定した管腔臓器の領域情報及び構造情報を抽出し、仮想画像を生成するための視点位置・視線方向を制御する。具体的には、観察位置である視点位置は管腔臓器の長手方向に沿った仮想芯線に沿って移動し、視線方向は視点位置から仮想芯線上に置かれた注視点へ向かう方向として計算される。なお、注視点とは、観察の中心となる点を示し、仮想画像では、この注視点は画像中心に位置することになる。したがって、視点位置から注視点に向かう方向が視線方向となる。以下、仮想芯線上に注視点が置かれ視点位置と視線方向が制御される状態をロックオン状態と記す。そして、画像診断、開腹手術、内視鏡下手術前、あるいは内視鏡下手術中に管腔臓器の配置状況を、仮想画像により表示手段としてのモニタ２に表示し、画像診断、手術の支援を行う。
【００４５】
前記医療画像観察支援装置１は、ＣＴ画像データ取り込み部１０、ＣＴ画像データ格納部１１、体積領域設定手段、管腔臓器領域情報算出手段、管腔臓器構造情報算出手段、仮想芯線生成手段及び解剖学的名称関連付け手段としての情報抽出部１２、解剖学的構造情報格納手段としての解剖学的情報データベース（以下、ＤＢと略記する）１３、観察位置規定手段としての視点位置／視線方向設定部１４、仮想画像生成手段としての管腔臓器画像生成部１５、解剖学的名称情報発生部１６、開始点指定手段としての枝指定部１７、画像合成手段としての画像合成表示部１８及びする注目点移動制御手段としてのユーザインターフェイス（以下、Ｉ／Ｆと略記する）制御部１９を備えて構成される。
【００４６】
前記ＣＴ画像データ取り込み部１０は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌｄｉｓｃ）装置やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）装置等、可搬型の記憶媒体を介して取り込みを行う。
【００４７】
前記ＣＴ画像データ格納部１１は、ＣＴ画像データ取り込み部１０によって取り込まれたＣＴ画像データを格納する。
【００４８】
前記情報抽出部１２は、管腔臓器を後述する体積領域であるＶＯＩ（Volume Of Interest：注目体積領域＝以下、単にＶＯＩと記す）により分割して、ＶＯＩ内の管腔臓器の領域情報（管腔領域データ）及び構造情報（管腔構造データ）を抽出する。また、情報抽出部１２は、管腔臓器の領域情報及び構造情報を解剖学的情報ＤＢ１３に格納されている解剖学的情報と関連付けを行う。解剖学的情報と関連付けられたＶＯＩに連結させて管腔臓器の構造に基づき、新たなＶＯＩを生成し、この新たなＶＯＩ内の管腔臓器の領域情報及び構造情報を抽出する。また、解剖学的情報と関連付けられたＶＯＩ内の構造情報に名称を割り当てるための名称割当情報を解剖学的名称情報発生部１６に出力する。
【００４９】
前記視点位置／視線方向設定部１４は、情報抽出部１２が抽出した管腔臓器の構造情報に基づき、管腔臓器の仮想芯線上に注視点を設定して管腔臓器の外観を観察する視点位置及び視線方向を設定する。観察位置規定手段は、この視点位置／視線方向設定部１４により構成される。
【００５０】
前記管腔臓器画像生成部１５は、情報抽出部１２が抽出した管腔臓器の領域情報に基づき、ＣＴ画像データ格納部１１に格納されているＣＴ画像データを画像処理して、視点位置／視線方向設定部１４が指定した視点位置及び視線方向からの仮想的な管腔臓器の外観画像を生成する。仮想画像生成手段は、この管腔臓器画像生成部１５により構成される。
【００５１】
前記解剖学的名称情報発生部１６は、情報抽出部１２からの名称割当情報に基づき、文字画像データを生成する。
【００５２】
枝指定部１７は、木構造（分岐を有する構造）をなす前記管腔臓器の枝を入力部２が有するマウス等により指定する。
【００５３】
前記画像合成表示部１８は、前記管腔臓器画像生成部１５からの仮想的な管腔臓器の画像と前記解剖学的名称情報発生部１６からの文字画像データを合成してモニタ２に前記合成された画像を表示する。
【００５４】
ユーザＩ／Ｆ制御部１９は、前記視点位置／視線方向設定部１４の設定状態に応じて入力部３の入力を制御する。具体的には、前記視点位置／視線方向設定部１４において表示方法がロックオン状態のときは、入力部３が有するマウスの入力情報を画像の上下移動情報のみに利用するように制御する。詳細は後述する。なお、前記視点位置／視線方向設定部１４において表示方法がロックオン状態でないときは、入力部３が有するマウスの入力情報の制御は解除されるようになっている。
【００５５】
前記情報抽出部１２は、図２に示すように、臓器領域情報抽出部１２ａ、臓器構造情報抽出部１２ｂ、画像処理方法抽出部１２ｃ、部位名称割当情報抽出部１２ｄ、抽出情報関連付け部１２ｅ、抽出情報格納部１２ｆ及びＶＯＩ設定部１２ｇから構成される。各部の詳細は後述するが、管腔臓器領域情報算出手段は臓器領域情報抽出部１２ａにより構成され、管腔臓器構造情報算出手段は臓器構造情報抽出部１２ｂにより構成され、さらに、体積領域設定手段はＶＯＩ設定部１２ｇにより構成される。
【００５６】
解剖学的情報ＤＢ１３は、図３に例示するように、木構造をなす管腔臓器の枝構造単位で枝シリアル番号によりデータベース化されている。具体的には、解剖学的情報ＤＢ１３は、枝シリアル番号「ｎ（ｎ＝自然数）」毎に、以下の解剖学的構造情報としての解剖学的モデル情報（１）〜（６）を格納している。
【００５７】
（１）第ｎ枝の走行方向の平均値情報と分散情報
（２）第ｎ枝の長さの平均値情報と分散情報
（３）第ｎ枝がリンクしている枝のシリアル番号である枝リンク情報
（４）第ｎ枝の画素データの濃度値特徴（例、平均値情報、分散情報）
（５）第ｎ枝の直径及び円形度
（６）第ｎ枝に最適な画像処理手法情報
情報抽出部１２は、抽出しているＶＯＩがどの枝構造かを判断し、枝構造に応じて解剖学的情報ＤＢ１３の情報（１）〜（６）に関連付けて、管腔臓器の領域情報及び構造情報を抽出情報格納部１２ｆに格納する。
【００５８】
以下、管腔臓器として、図４に示すような気管支３０を例に、図５のフローチャートを用いて、本実施例の作用の１つである臓器領域情報、臓器構造情報及び各枝部位名称の抽出処理を説明する。
【００５９】
図４は解剖学的モデルの気管支３０を示しており、気管支３０は木構造をなし、各枝部位にはシリアル番号「ｎ」が付され（図４では「１」〜「２０」）が付され、このシリアル番号「ｎ」に基づき、解剖学的情報ＤＢ１３は、少なくとも気管支３０の各枝単位で上記の情報（１）〜（６）を格納している。
【００６０】
なお、管腔臓器としては、気管支３０に限らず、食道、血管、大腸、小腸、十二指腸、胃、胆管、膵管、または、リンパ管等、管腔臓器ならば本実施例が適用できる。
【００６１】
図５は、医療画像観察支援装置１の制御作動の要部を説明するフローチャートである。まず、枝指定部１７に対応するステップ（以下「ステップ」を省略する。）Ｓ１においては、マウス等のポインティングデバイスを有する入力部３からの、例えばモニタ２に表示されるＣＴ画像データに基づく断層画像（例えば図６参照）あるいはＭＰＲ画像（多断面再構築画像：例えば図７参照）上での、管腔臓器の領域情報及び構造情報の抽出を開始する開始点の入力が検出される。
【００６２】
Ｓ１において開始点の入力が検出されると、情報抽出部１２に対応するＳ２においては、開始点が設定された気管支３０（臓器領域）の全ての枝の解剖学的情報（１）〜（６）が解剖学的情報ＤＢ１３から抽出され、Ｓ３において抽出情報格納部１２ｆにこれらの解剖学的情報（１）〜（６）が格納される。
【００６３】
情報抽出部１２のＶＯＩ設定部１２ｇに対応するＳ４においては、図８に示すように、開始点３１を含む断面３２を上面に有するＶＯＩ３３が設定される。このときＶＯＩ３３の上面の大きさは断面３２の半径に基づいて設定される。例えば断面３２の半径がｒのとき、ＶＯＩ３３の上面の大きさは５ｒ×５ｒの正方形に設定される。
【００６４】
そして、情報抽出部１２の臓器領域情報抽出部１２ａに対応するＳ５においては、図９に示すように、ＶＯＩ３３内の臓器領域情報３５（管腔臓器の内壁及び外壁情報を含む）が抽出される。このとき、解剖学的情報ＤＢ１３に格納されている解剖学的構造情報に基づき画像処理手法が変更される。画像処理手法としては、例えば
・閾値処理
・鮮鋭化処理と閾値処理
・平滑化処理と閾値処理
・差分フィルタ処理と閾値処理
・ヘシアンフィルタ処理と閾値処理
等の手法がある。また、上述の処理における最適なパラメータ選択も画像処理手法の変更に含まれる。
【００６５】
また、Ｓ５においては、ＶＯＩ３３の下面である気管支３０の下断面３４についても臓器領域情報３５が抽出される。具体的には、図１０に示すように、この下断面３４の臓器領域情報３５の重心３６についても算出される。
【００６６】
情報抽出部１２の臓器構造情報抽出部１２ｂに対応するＳ６においては、図１１に示すように、臓器領域情報抽出部１２ａが算出した重心３６と開始点３２とを結ぶ線分が臓器構造情報３７として抽出される。
【００６７】
次に、情報抽出部１２の抽出情報関連付け部１２ｅに対応するＳ７においては、Ｓ５において算出された臓器領域情報３５及びＳ６において抽出された臓器構造情報３７が解剖学情報ＤＢ１３に格納された解剖学的情報（１）〜（６）と関連付けて抽出情報格納部１２ｆに格納される。これにより、例えば第ｎ枝の方向の平均値情報と分散情報である解剖学的情報（１）と関連付けることで、開始点３２、すなわちＶＯＩ３３が気管支３０のどの枝部位に属しているかが特定される。
【００６８】
そこで、Ｓ７においては、特定された枝部位のみの解剖学情報ＤＢ１３の解剖学的情報（１）〜（６）だけが残され、他の枝部位の解剖学的情報（１）〜（６）が抽出情報格納部１２ｆより消去される。
【００６９】
そして、情報抽出部１２に対応するＳ８においては、Ｓ２乃至Ｓ７による抽出処理が気管支３０の全領域において完了したかどうかが判定される。具体的には、例えばまず、ＶＯＩ３３の下面に気管支３０の下断面３４の臓器領域情報３５があるかどうかが判断され、ないと判断される場合には末梢と判断されると共に、続いて、全領域での抽出が完了したかどうかが判定される。
【００７０】
Ｓ８において気管支３０の全領域での抽出が未完了と判断される場合には、Ｓ９が実行される。情報抽出部１２に対応するＳ９においては、分岐の有無が検出されることにより、分岐に到達したかどうかが判断される。具体的には、例えばＶＯＩ３３の下面に気管支３０の下断面３４の臓器領域情報３５が複数検知されたことに基づいて分岐に到達したと判断される。
【００７１】
Ｓ９において分岐に到達していないと判断された場合には、情報抽出部１２に対応するＳ１０において、図１２に示すように、例えばＶＯＩ３３の下面が所定量Δｔだけ伸長させられる。その後、情報抽出部１２に対応するＳ１１において、必要に応じてＶＯＩ３３の方向修正が行われ、Ｓ５以降が再度実行される。なお、Ｓ１１におけるＶＯＩ３３の方向修正処理については後述する。
【００７２】
そして、情報抽出部１２の臓器領域情報抽出部１２ａに対応するＳ５においては、図１３に示すように、所定量Δｔだけ伸長させられたＶＯＩ３３ａに対して、ＶＯＩ３３ａ内の臓器領域情報３５ａが抽出される。このときも、Ｓ５においてＶＯＩ３３ａの下面である気管支３０の下断面３４ａの臓器領域情報３５ａも抽出され、図１４に示すように、この下断面３４ａの臓器領域情報３５ａの重心３６ａが算出される。
【００７３】
続くＳ６においては、重心３６と重心３６ａとを結ぶ線分が臓器構造情報３７ａとして抽出される。そしてＳ７においては、Ｓ５において算出された臓器領域情報３５ａ及びＳ６において抽出された臓器構造情報３７ａが解剖学情報ＤＢ１３の解剖学的情報（１）〜（６）と関連付けて抽出情報格納部１２ｆに格納される。
【００７４】
この図１３の状態では、全領域が未抽出かつ分岐に未到達なので、Ｓ８及びＳ９を経て、再び、Ｓ１０及びＳ１１の処理が実行されてＳ５に戻る。図１５ないし図１８は再度、ＶＯＩ３３の下面を所定量Δｔだけ伸長させた場合の、所定量Δｔだけ伸長させられたＶＯＩ３３ｂに対して、臓器領域情報３５ｂ及び臓器構造情報３７ｂの抽出状況を示している。なお、図１５ないし図１８にて符号３６ｂはＶＯＩ３３ｂの下断面３４ｂの臓器領域情報３５ｂの重心である。
【００７５】
このようにして、Ｓ５〜Ｓ１１の処理が繰り返されるが、ＶＯＩ３３が伸長されると、例えば図１９に示すように、ある程度の大きさに伸長されたＶＯＩ３３Ａにおいて、開始点から連結されたＶＯＩ３３Ａ内の臓器構造情報３７Ａの終端であるＶＯＩ３３Ａの下断面３４Ａの臓器領域情報３５Ａの重心３６Ａと、ＶＯＩ３３Ａの下断面３４Ａの中心がずれてくる場合がある。具体的には、例えば図２０に示すように、重心３６ＡとＶＯＩ３３Ａの中心とのずれ量ｄが所定の値εを超えると、上述したＳ１１においてＶＯＩ３３の方向修正処理が実行される。
【００７６】
具体的には、ＶＯＩ設定部１２ｇに対応するＳ１１においては、ずれ量ｄが所定の値εを超えると、図２１に示すように、気管支３０を内含した状態を保ちつつ、図２２に示すように重心３６ＡをＶＯＩ３３Ａの中心に近づくように方向修正を行ったＶＯＩ３３Ａ’が再設定される。これにより、少なくとも枝領域部分は、ＶＯＩ中心近傍に下断面３４Ａ’の臓器領域情報３５Ａ’の重心を位置させることができ、気管支３０のＶＯＩ３３Ａ’からのはみ出しが回避できる。
【００７７】
次に、Ｓ８にて分岐に到達したと判断された場合の処理について説明する。図２３に示すように、ＶＯＩ３３Ａの下断面が下断面３４ｎまで伸長させられる状態では分岐に未到達である一方、ＶＯＩ３３Ａがこの下断面３４ｎよりさらに所定量Δｔだけ伸長させられた際に、Ｓ９にてＶＯＩ３３Ａの下断面に図２４に示すように、例えば２つの分岐断面３２Ａ，３２Ｂが抽出される。このように分岐に到達したと判断されると、Ｓ１２が実行される。
【００７８】
臓器領域情報抽出部１２ａに対応するＳ１２では、この分岐断面３２Ａ，３２Ｂの臓器領域情報の重心３１ａ，３１ｂが算出される。そして、この重心３１ａ，３１ｂをＶＯＩ３３Ａに連結させる子ＶＯＩ３３（１）ａ，３３（１）ｂの開始点とし、再びＳ２以降が実行される。
【００７９】
この場合、Ｓ２では、ＶＯＩ３３Ａに連結される子ＶＯＩ３３（１）ａ、３３（１）ｂに内含させる気管支３０の枝部位の解剖学的情報（１）〜（６）が解剖学的情報ＤＢ１３より抽出され、Ｓ３においては、Ｓ２で抽出された当該枝部位の解剖学的情報（１）〜（６）が抽出情報格納部１２ｆに格納され、解剖学名称の関連付けが行われる。具体的には、情報抽出部１２で得られる管腔臓器の構造データを用いて計算される該当枝の走行方向および長さ、ならびに、これまでに求められた気管支枝、すなわち、該枝部位の親、ならびに、それより上位にある枝の解剖学的情報を用いて、解剖学的情報ＤＢ１３に格納されている気管支枝の中で最も類似した枝を求め、その枝にその解剖学的名称を関連付ける。このとき子ＶＯＩ３３（１）ａ、３３（１）ｂの上面の大きさは分岐断面３２Ａ、３２Ｂの半径に基づいて設定される。
【００８０】
そして、情報抽出部１２のＶＯＩ設定部１２ｇに対応するＳ４においては、図２５に示すように、開始点３１ａ，３１ｂを含む断面３２ａ，３２ｂを上面に有する２つの子ＶＯＩ３３（１）ａ，３３（１）ｂが設定される。このとき各子ＶＯＩ３３（１）ａ，３３（１）ｂの上面の大きさは断面３２ａ，３２ｂの半径に基づいて設定される。続いて、Ｓ５において臓器領域情報が算出され、Ｓ６において臓器構造情報が抽出される。なお、子ＶＯＩ３３（１）ａ、３３（１）ｂの設定前までに得られた臓器構造情報３７Ａは、開始点３１からＶＯＩ３３Ａの下断面３４ｎの重心までについてのものであるので、臓器構造情報３７Ａの下端である下断面３４ｎの重心と、このＳ６を実行して得られる各子ＶＯＩ３３（１）ａ，３３（１）ｂのの臓器構造情報の上端である各子ＶＯＩ３３（１）ａ，３３（１）ｂの断面３２Ａ，３２Ｂの重心とが連結させられて、臓器構造情報３７Ａに継続した線分である臓器構造情報として抽出情報格納部１２ｆに格納する。
【００８１】
このようにして設定された各子ＶＯＩ３３（１）ａ，３３（１）ｂそれぞれに対して、Ｓ５乃至Ｓ１１以降の処理を繰り返すことにより子ＶＯＩ３３（１）ａ，３３（１）ｂをそれぞれ伸長させていく。そして、子ＶＯＩの何れか一方である例えばＶＯＩ３３（１）ａが分岐に到達すると、Ｓ９の判断が肯定され、Ｓ１２以降の処理が実行され、上述した処理が繰り返される。この結果、図２６に示すように、子ＶＯＩ３３（１）ａに連結した孫ＶＯＩ３３（２）ａが設定される。
【００８２】
そして、情報抽出部１２に対応するステップＳ８において、全ての臓器領域の抽出が完了したと判断されると、本フローチャートの処理は終了させられる。
【００８３】
上記の処理作動により、図２７に示すように、情報抽出部１２は、気管支３０の全ての枝部位に対応して臓器構造情報３７Ａを抽出情報格納部１２ｆに格納する。図２７は上記処理結果を概念的に示したものであり、抽出情報格納部１２ｆには、臓器構造情報３７Ａと臓器領域情報３５Ａ及び各枝部位の解剖学的名称が関連付けられて格納される。図２８は実際のモニタ２に表示させた際の臓器構造情報３７Ａと解剖学的名称情報発生部１６から生成される各枝部位の解剖学的名称とを関連付けた表示画像の一例を示している。この図２８の上半面に記載された画像は、解剖学的名称情報発生部１６が情報抽出部１２からの名称割当情報に基づき、解剖学的名称を表す文字画像データを生成することで、画像合成表示部１８において臓器領域情報３５Ａ、臓器構造情報３７あるいは臓器領域情報３５Ａ、臓器構造情報３７に基づく仮想的な管腔外観画像データ上に管腔臓器を成す各枝の解剖学的名称が表示されたものである。また、図２８の下半面において破線の四角で囲まれた部分Ａは、上半面に記載されたモニタ２に表示される画像の部分Ａを理解のため拡大したものである。
【００８４】
なお、上述したように、管腔臓器としては、気管支３０に限らず、食道、血管、大腸、小腸、十二指腸、胃、胆管、膵管、または、リンパ管等でもよく、抽出情報格納部１２ｆには、図２９に示すように、気管支の臓器構造情報、血管の臓器構造情報、血管の臓器構造情報が、各臓器構造情報と各枝部位名称に関連付けられて格納される。
【００８５】
図３０は動脈の臓器構造情報と前記動脈の３次元画像とが重畳表示されたものであり、図３１は図３０に更に静脈の３次元画像を重畳表示させたものであって、いずれもモニタ２に表示された画像である。このように、例えば動脈においても気管支と同様に各種情報を抽出することができる。
【００８６】
このように抽出された臓器領域情報、臓器構造情報及び各枝部位名称を用いた、医療画像観察支援装置１による画像診断、開腹手術前、内視鏡下手術前、あるいは手術中の本実施例の観察支援処理作動について、図３２のフローチャートを用いて動脈を例に説明する。
【００８７】
まず支援開始に先立ち、管腔臓器画像生成部１５により、情報抽出部１２からの臓器領域情報、臓器構造情報及びＣＴ画像データ格納部からのＣＴ画像データに基づき図３３に示すような管腔外観画像５０が生成され、モニタ２に表示される。このとき、モニタ２に表示された管腔外観画像５０にはポインタ５１が重畳表示されている。
【００８８】
図３２において、ユーザＩ／Ｆ制御部１９に対応するＳ２１では、ポインタ５１に対する例えばマウス等から構成される入力部３からの操作によって開始点２７が選択されたことが検出される。このとき、入力部３の操作に連動して移動するポインタの移動方向は、臓器領域情報および臓器構造情報に基づき制御される。具体的には、ポインタの移動方向を仮想芯線に交差する方向に移動させる場合のポインタの交差方向移動感度と、ポインタの移動方向を仮想芯線の走行方向に沿って移動させる場合のポインタの走行方向移動感度とを設定し、かつ、走行方向移動感度を交差方向移動感度より高く設定することで、ポインタ移動制御を行う。例えば、管腔外観画面上において管腔臓器内にポインタが達した場合、大きな移動量を与えない限り管腔臓器外へポインタを出すことができず、また、管腔臓器走行方向に沿ってはポインタを容易に移動させることができるようになる。これによって観察者はポインタが管腔臓器に引き寄せられるような感触を得ることなり、容易に管腔臓器上の点を開始点として選択することが可能となる。
【００８９】
ユーザＩ／Ｆ制御部１９に対応するＳ２２においては、入力部３からの入力情報が制御される。具体的には例えば、図３４に示す入力部３を構成するマウスの左ボタン３Ｌが操作されると、管腔外観画像５０が下方向に移動させられる。また右ボタン３Ｒが操作されると、管腔外観画像５０が上方向に移動させられる。
【００９０】
続いて、視点位置／視線方向設定部１４に対応するＳ２３において、開始点２７の位置する枝が抽出される。さらに、視点位置／視線方向設定部１４に対応するＳ２４においては、Ｓ２３で抽出された枝に視点及び視線が設定される。そして、視点位置／視線方向設定部１４に対応するＳ２５においては、図３５に示すように、臓器構造情報３７Ａを動脈の芯線として、この芯線上の注視点に対して垂直で所定距離だけ離れた位置Ｄに視点７５が配置される。このとき前記視線は視点と注視点を結ぶ線分に対して上下左右に所定角度θだけ可変させることができる。
【００９１】
このＳ２５における視点７５の決定においては、モニタ２に表示される血管の大きさが部位によらず観察者の所望する大きさになるように観察位置である視点位置と注視点との間の距離Ｄが計算され、この距離Ｄに基づいて視点７５が決定される。そして、決定された視点７５の位置に関する情報である視点位置情報及び視線の方向に関する情報である視線方向情報が算出される。具体的には例えば、観察者によって、所望する血管の画面上での実寸（例えば「画面上での実寸10mm」）、あるいは，画面の幅に対する割合 (例えば「画面横幅に対して10% 」）が入力部３を構成するキーボードあるいはマウスを介して数値により入力されると、例えば臓器領域情報から得られる血管径を基に拡大率が自動的に計算され、前記距離Ｄが算出される。そして、管腔臓器画像生成部１５に対応するＳ２６において、Ｓ２５において算出された視点位置情報及び視線方向情報に基づいた管腔外観画像データが生成される。このとき、前記管腔外観画像データとともに、Ｓ２５において算出された視点位置情報および視線方向情報についての情報がモニタ２に出力されてもよい。
【００９２】
なお、Ｓ２５における前記距離Ｄの算出では、入力部３を構成するキーボードあるいはマウスである前記入力デバイスを介して観察者が所望とする大きさとなるように対話的に拡大縮小を行うことで、前記距離Ｄを調整できるようにしてもよい。この場合、キーボードのあるキー（例えばｚキー）などを押しながら、マウスポインタのボタンを押し、かつ、左右に動作させることで、この動作にあわせて血管外観画像が拡大縮小しながら表示され、ユーザは所望する拡大率を選択することができる。言い換えれば、Ｓ２４乃至Ｓ２６が所望の管腔外観画像が得られるまで反復される様にしてもよい。
【００９３】
そして、管腔臓器画像生成部１５に対応するＳ２７において、入力部３を構成するマウスの操作の有無が検出される。そして、マウスの操作があった場合にはＳ２７の判断が肯定され、Ｓ２８が実行される。Ｓ２８においては、図３６に示すように、Ｓ２７において検出されたマウスの操作に応じて、視点７５が注視点との距離Ｄを血管の太さに応じて変更されるとともに、例えば管腔外観画像５０に対して、管腔構造データに基づき管腔臓器長手方向に沿って観察位置（視点７５）が移動させられ、新たな視点からの仮想的な管腔臓器の外観画像データが生成される。これにより，注視点付近の血管は常に観察者の所望する大きさで表示される。
【００９４】
Ｓ２７においてマウス操作が検出されない場合やＳ２９にて支援の終了が検知されるまで、Ｓ２５からＳ２９の処理が繰り返される。図３７は、前記ロックオン状態において例えば図３８に示す様に視点７５（観察位置）を移動させた際の複数（この図では３点）の視点７５（観察位置）からの画像を示している。このとき、注視点は臓器構造情報３７Ａである芯線上に固定されている。このように、管腔臓器画像生成部１５に対応するＳ２６においては、例えば注視点が画像中心となるように仮想的な管腔外観画像が生成される。
【００９５】
このように、従来は臓器領域情報が抽出された後に、臓器構造情報を算出していたため、臓器構造情報と管腔臓器の芯線を一致させることが困難であったが、本実施例によれば、情報抽出部１２が臓器領域情報と同時に臓器構造情報を抽出するので、臓器構造情報を管腔臓器の芯線とほぼ一致させて抽出することができる。また、各枝の解剖学的情報ＤＢ１３に基づき、適切な画像処理手法を選択できるため精度よく、管腔臓器の領域および構造情報を抽出することができる。
【００９６】
さらに、本実施例では、抽出した臓器構造情報を管腔臓器の芯線として、表示される血管の大きさが部位によらず所望の大きさになるように視点位置と注視点との間の距離を計算し、注視点が画像中心となるように仮想的な管腔外観画像を生成・表示する。そのため、観察者は煩雑な視点位置・視線方向の変更操作なしに、確実に管腔臓器を所望の大きさで観察できる。したがって、観察者は画像診断、開腹手術、内視鏡下手術前あるいは手術中において簡単に管腔臓器の走行状態、形状の変化を把握できるようになる。こうしたことから実施例１に基づく本発明は、管腔臓器の外観観察を容易とするものといえる。
【００９７】
上記実施例によれば、前記ＶＯＩ設定部１２ｇにより、被検体の３次元画像データに基づき、前記被検体内に延びる管腔臓器の一部を内含する体積領域が設定され、前記臓器領域情報抽出部１２ａにより、前記３次元画像データに基づき、前記体積領域内の特定の管腔臓器の領域情報である臓器領域情報３５が繰り返し算出され、前記臓器構造情報抽出部１２ｂにより、前記臓器領域情報３５毎に前記体積領域での前記管腔臓器の構造情報である臓器構造情報３７が算出され、前記仮想芯線生成手段としての前記構造情報抽出部１２ｂにより、前記臓器構造情報３７に基づいて、前記管腔臓器の長手方向に沿った仮想芯線が生成され、前記管腔臓器画像生成部１５により、前記仮想芯線に沿って前記管腔臓器の仮想画像が生成され、前記視点位置／視線方向設定部１４により、前記仮想芯線、前記臓器領域情報３５および前記臓器構造情報３７の少なくとも１つに基づき前記モニタ２における前記管腔臓器の表示領域が所望の大きさとなるように前記仮想画像を生成するための観察位置が定められるとともに、前記仮想芯線または前記管腔構造データに基づき前記管腔臓器長手方向に沿って前記観察位置が移動させられ、前記表示手段により前記仮想画像が表示されるので、前記３次元画像データから前記管腔臓器の構造情報を反映した仮想画像を得ることができるとともに、管腔臓器の注目する任意の位置から煩雑な視点変更操作なしに、確実に臓器構造に沿って観察することが可能となるという効果がある。特に、管腔臓器の長手方向に沿って観察位置を自動的に移動させることが可能となり、また、表示手段上での管腔臓器の表示領域を所望の大きさの領域に観察位置を算出することで、外観画像表示時における管腔臓器の表示倍率が自動的に調整されるので、観察者は非常に長い管腔臓器を管腔臓器走行方向に沿って観察することが容易となる。
【００９８】
また、上述の実施例によれば、少なくとも解剖学的名称情報を含んだ解剖学的構造情報を格納する解剖学的情報データベース１３に格納された解剖学的名称情報が、情報抽出部１２において前記臓器構造情報３７に関連付けられるので、前記臓器構造情報３７と関連付けられた前記解剖学的構造情報とは一対のものとして用いることが可能となる。
【００９９】
また、上述の実施例によれば、前記画像合成表示部１８によって、前記モニタ２に表示された前記仮想画像上に前記管腔臓器の解剖学的名称が表示されるので、管腔臓器の観察が容易となる。
【０１００】
また、上述の実施例によれば、前記管腔臓器画像生成部１５は、前記解剖学的構造情報あるいは前記臓器構造情報３７に基づき画像処理手法を変更するので、管腔臓器の部位ごとに適切な画像処理手法を自動的にあるいは操作者によって変更することが可能となり、精度よく管腔領域データを抽出できるという効果がある。
【０１０１】
続いて、本発明の別の実施例について説明する。以下の説明において、実施例相互に共通する部分については、同一の符号を付して説明を省略する。
【実施例２】
【０１０２】
図３９は、本発明が適用される医療画像支援装置を説明するための概観図である。医療画像支援装置としてのコンピュータ１には、内視鏡位置検出手段としての内視鏡位置検出部１０６と第一実画像観察位置推定手段としての第一実画像観察位置推定部１１２が設けられている。また、図３９において、内視鏡８４の先端部には位置センサ８６が取り付けられている。この位置センサ８６としては例えば磁気位置センサが用いられる。また、内視鏡８４は内視鏡装置８８に接続され、内視鏡装置８８は内視鏡８４の先端に設けられた小型ビデオカメラからの画像を出力するなどの処理を行なう。一方、磁場発生コイル９０は位置検出装置８２の指示に基づいて所定の磁場を発生させ、前記位置センサ８６にその磁場に関する情報を検知させる。そして、位置検出装置８２は、前記磁場発生コイル９０が発生した磁場に関する情報と位置センサ８６が検知した磁場に関する情報とを収集し、内視鏡位置検出部１０６に収集した情報を送る。そして、内視鏡位置検出部１０６は、その送られた情報に基づいて前記磁場発生コイル９０と前記位置センサ８６との相対的な位置関係を検出する。このとき、内視鏡位置検出部１０６は、位置センサ８６の位置に関して、並進方向についての３自由度、回転方向について３自由度の検出が可能である。このような位置センサ８６としては、例えばＡｓｓｅｎｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｃ．社製ｍｉｃｒｏＢＩＲＤなどがある。また、位置センサ８６は非常に小型であって、内視鏡８４の先端部分に埋め込まれていることから、位置センサ８６について検出された位置はそのまま内視鏡の先端部の位置と見なすことができる。
【０１０３】
また、前記医療画像観察支援装置としての制御用コンピュータ１は、前記位置検出装置８２によって検出された内視鏡８４の先端位置と管腔臓器構造データに対応する臓器構造情報３７とを比較することにより、前記内視鏡８４の先端部の、前記管腔臓器としての気管支３０内における位置を推定する。
【０１０４】
図４０は、本実施例におけるコンピュータ１の制御作動の要部、すなわち実画像観察位置の推定を行なう作動を説明するフローチャートである。まず、ステップ（以下「ステップ」を省略する。）Ｓ３１においては、前記臓器領域情報抽出部１２ａおよび臓器構造情報抽出部１２ｂによって抽出され、抽出情報格納部１２ｆに格納された臓器領域情報３５および臓器構造情報３７が読み出される。
【０１０５】
続いて、内視鏡位置検出部１０６に対応するＳ３２においては、前記位置検出装置８２によって検出され例えば記憶装置４に記憶させられていた、内視鏡８４の先端部の位置ｐｊについての情報が、現在から過去ｌ回の検出分だけ取得される。このとき、読み出された前記臓器構造情報３７のうち、仮想芯線ｃと、前記内視鏡８４の先端部の位置ｐｊとの関係を表した図が図４２である。
【０１０６】
Ｓ３３乃至Ｓ３５は、前記第一実画像観察位置推定部１１２に対応する。このうち、Ｓ３３においては、図４１に示す変換行列Ｔの算出のサブルーチンが実行される。ここで、変換行列Ｔは、
ｑｊ＝Ｔ・ｐｊ
の関係を満たす行列である。すなわち、変換行列Ｔは、位置検出装置８２で検出される位置の座標系を、３次元画像の表現される座標系に変換する行列である。図４１のＳ４１においては、まず前記変換行列Ｔの初期値が決定される。そして、Ｓ４２において、変換行列Ｔにより前記先端部の位置ｐｊの座標が変換され、変換後の位置ｑｊが算出される。続いてＳ４３において、変換誤差ｅが算出される。まず、前記変換後の位置ｑｊと前記仮想芯線ｃとの距離ｄｊが算出される。このとき、前記距離ｄｊは、具体的には、前記先端部の位置ｑｊから仮想芯線ｃへ垂線を引いたときの、その垂線とその仮想芯線ｃとの交点から前記変換後の位置ｑｊまでの距離である。このときの様子を示したのが図４３である。続いて、算出された距離ｄｊに基づいて変換誤差ｅが算出される。この変換誤差ｅは次式
【数１】

で表されるものである。すなわち、前記距離ｄｊの重み付き二乗和となっている。ここで、ｗｊは前記距離ｄｊに対する重みであって、例えば過去に検出された先端部の位置ｐｊほど誤差ｅに及ぼす影響が小さくなる様に設定される。
【０１０７】
続くＳ４４においては、Ｓ４３において算出された変換誤差ｅが所定の許容範囲を満たすか否かが判断される。そして、本判断が肯定された場合には、続くＳ４５において、Ｓ４３が実行された際のＴの値を変換行列Ｔとして本ルーチンが終了させられる。一方、本判断が否定される場合にはＳ４６が実行される。
【０１０８】
Ｓ４６においては、前記Ｓ４３におけるＴの値が所定分だけ更新されて、再度Ｓ４２以降が実行される。ここで、所定分更新とは、Ｔの値を変換誤差ｅが小さくなる方向に変更することをいう。すなわち、Ｓ４２〜Ｓ４４およびＳ４６が反復して実行されることにより、前記変換誤差ｅを最小とする変換行列Ｔが決定されている。
【０１０９】
図４０に戻って、Ｓ３４においては、充分な回数だけ本フローチャートが実行されたかが判断され、充分な回数だけ実行された場合には本ステップの判断が肯定され、本フローチャートは終了する。一方、充分な回数だけ実行されていない場合には、続くＳ３６が実行される。ここで、充分な回数とは、例えば前記実内視鏡位置検出部１０６によって検出された全ての内視鏡位置について、第１実画像観察位置推定部１１２に対応するＳ３３乃至Ｓ３５が実行されたか等に基づいて判断される。
【０１１０】
Ｓ３５においては、内視鏡８４の先端位置ｐｊが更新される。具体的には例えば、新たに検出された位置情報が取り込まれる一方、最も過去に検出された位置情報が前記取り込まれた位置情報に対応する個数だけ削除される、などの処理によって更新がなされる。
【０１１１】
このようにして、前記内視鏡位置検出部１０６に対応するＳ３２によって検出された内視鏡８４の先端部の位置ｐｊは、前記第一実画像観察位置推定部１１２に対応するＳ３３乃至Ｓ３５において算出された変換行列Ｔによって前記臓器構造情報３７における管腔臓器の構造、すなわち３次元画像における座標上の点に変換される。この様子を示したのが図４４である。このように、変換行列Ｔを用いて内視鏡８４の先端部の位置ｐｊを３次元画像の座標上の点に変換することができるので、３次元画像生成のためのＣＴ撮像時と内視鏡挿入時とで検体における管腔臓器の位置が異なってしまう場合に対応することができる。
【０１１２】
上述の実施例によれば、医療画像観察支援装置１は、位置検出部１０６によって、実際に前記被検体内に挿入された内視鏡８４の先端部に設けられた位置センサ８６の相対的な位置ｐｊが検出され、第一実画像観察位置推定部１１２によって、検出された内視鏡の先端位置ｐｊと前記管腔構造データとしての臓器構造情報３７とを比較することにより前記内視鏡の先端部の前記管腔臓器内における位置である実画像観察位置としての観察位置７５が推定されるので、内視鏡の先端部の位置に対応する実画像観察位置が一層正確に把握される。
【０１１３】
上述の実施例によれば、前記第一実画像観察位置推定部１１２により、前記位置検出部１０６によって検出された内視鏡の先端部の相対的な位置と前記管腔構造データとが比較され、実画像観察位置が推定されるので、実画像観察位置に対応する内視鏡の先端部の位置が一層正確に把握される。
【実施例３】
【０１１４】
図４５は、本発明の別の実施例、すなわち仮想画像記憶手段検出手段と第二実画像観察位置推定手段とを有する医療画像観察支援装置であるコンピュータ１の機能の概要を表す機能ブロック線図である。本図において、仮想画像記憶手段としての仮想画像記憶部１１０は後述する分岐部特徴情報生成部９２、対応づけ部９４、仮想画像学習部１０２などによって構成され、第二実画像観察位置推定手段としての第二実画像観察位置推定部１１４は、後述する特徴抽出部９６、画像照合部９８、位置決定部１００などによって構成される。すなわち、図４５において、破線で囲まれた部分が仮想画像記憶部１１０に対応するものであり、一点鎖線で囲まれた部分が第二実画像観察位置推定部１１４に対応するものである。
【０１１５】
分岐部特徴情報生成手段としての分岐部特徴情報生成部９２は、前記情報抽出部１２（抽出情報格納部１２ｆ）に格納された臓器構造情報３７、特に仮想芯線ｃに関する情報に基づいて、前記管腔臓器が分岐する箇所（「分岐部」という。）を検出する。そして、検出された分岐部についての前記臓器構造情報３７に基づいて、前記分岐部を含む仮想画像において画像上に現れる特徴についての情報（「分岐部特徴情報」という。）を生成する。ここで、前記画像上に現れる特徴とは、画像において画面奥の方向へ続く管腔臓器が穴となって見えるその穴の画像の個数、穴の画像の位置、あるいは穴の画像における明度の少なくとも１つである。これらはいずれも、前記臓器構造情報３７における臓器の構造に基づいて算出可能な特徴である。なお、このうち穴の画像における明度とは、管腔臓器の長さなどに基づく特徴であり、例えば管腔臓器が直線上に長く続く場合には、明度の低いすなわち暗い穴状の画像となって現れることによるものである。この一例を図４９に示す。
【０１１６】
図４９においては、異なる４つの分岐部について、その仮想画像とそれから抽出される分岐部特徴情報とを表したものである。図において左側に記載された図が分岐部の仮想画像を表しており、右側に記載された図がそれらの分岐部特徴情報を表したものである。本図においては、分岐部特徴情報としては、穴の数、および穴の画像中における位置が示されているが、これに加え、図示しない穴の明度についても合わせて情報として加えられる。従って、図４９におけるｃａｓｅ１とｃａｓｅ２を比較すると、これらは穴の数および穴の画像中における位置は類似しているものの穴の明度が大きく異なっているため、区別される。
【０１１７】
対応づけ手段としての対応づけ部９４は、同一の分岐部について、前記管腔臓器画像生成部１５によって生成された仮想画像と前記分岐部特徴情報生成部９２によって生成された分岐部特徴情報とを対応づける。また、対応づけられた仮想画像と分岐部特徴情報とを記憶手段としての記憶部４に記憶させ、特徴情報付き仮想画像データベース１０４を生成する。
【０１１８】
特徴抽出手段としての特徴抽出部９６は、内視鏡８４の先端に取り付けられたビデオカメラによって撮像され、内視鏡装置８８によって処理された実内視鏡画像において、前記分岐部特徴情報に対応する特徴を抽出する。
【０１１９】
画像照合手段としての画像照合部９８は、前記特徴抽出部９６によって抽出された前記実内視鏡画像における分岐部特徴情報にもとづいて、前記特徴情報付き仮想画像データベース１０４に記憶させられた仮想画像についての分岐部特徴情報との比較および照合を行なう。そして、前記実内視鏡画像における分岐部特徴情報と照合する分岐部特徴情報と対応づけられた仮想画像を選択する。
【０１２０】
位置決定手段としての位置決定部１００は、前記画像照合部９８において選択された仮想画像の観察位置（視点）７５を、前記実内視鏡画像の撮像時の内視鏡の先端部の位置であると決定する。
【０１２１】
仮想画像学習手段としての仮想画像学習部１０２は、前記画像照合部９８において選択された仮想画像と、前記実内視鏡画像とを比較し、前記仮想画像における分岐部特徴情報が前記実内視鏡画像の分岐部特徴情報となる様に前記仮想画像を修正する。
【０１２２】
図４６乃至図４８は、本実施例における医療画像観察支援装置としてのコンピュータ１の作動の概要を表すフローチャートである。このうち、図４６のフローチャートは前記仮想画像記憶部１１０の作動に、図４７のフローチャートは前記第二実画像観察位置推定部１１４の作動にそれぞれ対応するものである。また、図４８のフローチャートは図４７のフローチャートで実行される学習ルーチンに対応するものである。
【０１２３】
まず、図４６のフローチャートにおいて、Ｓ５１およびＳ５２は分岐部特徴情報生成部９２に対応する。Ｓ５１においては、抽出情報格納部１２ｆに格納された臓器構造情報３７、特に仮想芯線ｃに関する情報が読み出され、仮想芯線が分岐する分岐部が特定される。そしてＳ５２においては、その分岐部を含む仮想画像が生成された場合に仮想画像上に現れる分岐部特徴情報が生成される。前述の様に前記分岐部特徴情報とは、画像において画面奥の方向へ続く管腔臓器が穴となって見えるその穴の画像の個数、穴の画像の位置、あるいは穴の画像における明度の少なくとも１つである。
【０１２４】
続いて管腔臓器画像生成部１５に対応するＳ５３において、前記分岐部を含む仮想画像が生成される。なお、予め管腔臓器画像生成部１５によって複数枚の仮想画像が生成され、記憶手段４などに記憶させられている場合には、それらの記憶された仮想画像のうちから前記分岐部を含む仮想画像が選択される様にしてもよい。
【０１２５】
対応付け部９４に対応するＳ５４においては、特定の分岐部に対してＳ５２において生成された分岐部特徴情報と、Ｓ５３において生成された前記特定の分岐部を含む仮想画像とが関連付けられて記憶されることにより、特徴情報付き仮想画像データベース１０４が生成される。
【０１２６】
Ｓ５５においては、Ｓ５２乃至Ｓ５４の処理を前記仮想芯線ｃにおける全ての分岐部について実行したかが判断される。そして、全ての分岐部について実行した場合には本判断が肯定され、本フローチャートは終了する。一方、全ての分岐部について実行していない場合には、Ｓ５６において実行する分岐部が変更される、すなわち、Ｓ５１において特定された分岐部のうち、未だＳ５２乃至Ｓ５４の処理を実行していない分岐部に着目し、Ｓ５２乃至Ｓ５４の処理が繰り返される。
【０１２７】
続いて図４７のフローチャートについて説明する。図４７のフローチャートは前記第二実画像観察位置推定部１１４に対応するものである。Ｓ６１においては、内視鏡８４の先端部に設けられたビデオカメラによって撮像され、内視鏡装置８８によって処理された実内視鏡画像が医療画像観察支援装置としてのコンピュータ１に取り込まれる。
【０１２８】
特徴抽出部９６に対応するＳ６２においては、Ｓ６１によって取り込まれた実内視鏡画像において、前記分岐部特徴画像に相当する特徴が抽出される。そして、続くＳ６３において、Ｓ６２において抽出された特徴が管腔臓器の分岐に対応するものであるかが判断される。すなわち、実内視鏡画像において管腔臓器の分岐に対応する画像上の特徴が現れていた場合には本ステップにおける判断が肯定され、続くＳ６４以降が実行される。一方、実内視鏡画像において管腔臓器の分岐に対応する画像上の特徴が現れていない場合、例えば画像上に特徴は存在するものの管腔臓器の分岐に対応するものでない場合や、画像上に前記Ｓ６２において検出しうる特徴が存在しなかった場合などには、本フローチャートはそのまま終了する。
【０１２９】
画像照合部９８に対応するＳ６４においては、前記実内視鏡画像と、前記特徴情報付き仮想画像データベース１０４に格納された仮想画像との比較・照合が行なわれる。このとき、Ｓ６２において抽出された前記実内視鏡画像における特徴と、特徴情報付き仮想画像データベース１０４に格納された各仮想画像に対応づけられた分岐部特徴情報とを比較することにより、実内視鏡画像と前記仮想画像との比較が実行される。そして、比較の結果前記実内視鏡画像と照合された前記仮想画像が選択される。なお、画像が照合されるとは、例えば、前記実内視鏡画像が予め定義された類似の範囲内にある関係をいう。
【０１３０】
位置決定部１００に対応するＳ６５においては、Ｓ６１において取り込まれた実内視鏡画像の撮像時の内視鏡８４の先端部の位置を、Ｓ６４において選択された仮想画像の観察位置（視点）７５であると決定する。
【０１３１】
仮想画像学習部１０２に対応するＳ６６においては、Ｓ６４における照合の結果を前記特徴情報付き仮想画像データベース１０４に反映させるべく、図４８に示す学習ルーチンを実行する。図４８のＳ７１においては、Ｓ６４において選択された仮想画像において、Ｓ６１において取り込まれた実内視鏡画像の画像上の特徴を有するように、例えば前記穴の位置や穴の明度などが修正される。
【０１３２】
そして、Ｓ７２においては、Ｓ７１において修正された仮想画像をそれまでの仮想画像に替えて特徴情報付き仮想画像データベース１０４に記憶させる。
【０１３３】
以上の実施例によれば、第二実画像観察位置推定部１１４によって、実内視鏡画像に現れる分岐部構造情報に対応する特徴を抽出し、その特徴を特徴情報付き仮想画像データベース１０４に記憶された管腔構造データから生成される分岐部特徴情報に基づいて照合し、照合の結果一致した分岐部特徴情報に対応づけられた仮想画像が選択され、その仮想画像の観察位置７５が前記実画像観察位置と推定されるので、実際の内視鏡の先端位置を検出することなく前記内視鏡の先端位置を推定することが可能となり、また、画像上に現れる前記管腔構造データに対応する特徴によって前記実内視鏡画像と前記仮想画像を照合するので、照合に要する時間を低減しつつ、精度の高い照合を実現できる。
【０１３４】
上述の実施例によれば、前記第二実画像観察位置推定部１１４によって、実内視鏡画像に現れる管腔構造データに対応する特徴を抽出し、該特徴を前記仮想画像記憶部１１０に記憶された臓器構造情報３７と照合し、照合の結果一致した臓器構造情報３７に対応する仮想画像の観察位置７５が前記実画像観察位置と推定されるので、実際の内視鏡８４の先端位置を検出することなく前記内視鏡８４の先端位置を推定することが可能となり、また、画像上に現れる前記臓器構造情報３７に対応する特徴によって前記実内視鏡画像と前記仮想画像を照合するので、照合に要する時間を低減しつつ、精度の高い照合を実現できる。
【０１３５】
また、上述の実施例によれば、前記仮想画像および前記実内視鏡画像の有する、画像上における前記管腔構造データに対応する特徴である管腔状の構造物の個数、位置、および該管腔状の構造物内における明度の少なくとも１つに基づいて、前記実内視鏡画像と前記仮想画像とが照合されるので、画像全体を照合する必要がない。
【０１３６】
また、上述の実施例によれば、前記第二実画像観察位置推定部１１４は、前記仮想画像学習部１０２によって前記照合の結果に基づいて前記仮想画像記憶部１１０に記憶された内容を学習補正するので、前記照合を繰り返す毎に一層正確な照合を実行できる。
【実施例４】
【０１３７】
図５０は、本発明の別の実施例、すなわち前記画像合成手段とナビゲーション手段とを有する医療画像観察支援装置であるコンピュータ１の機能の概要を表す機能ブロック線図である。
【０１３８】
本図５０において、画像合成手段としての画像合成表示部１８は、内視鏡８４の先端部に取り付けられたビデオカメラによって撮像され、内視鏡装置８８を介して得られた実内視鏡画像と、仮想画像生成手段としての管腔臓器画像生成部１５によって生成された仮想画像とを対比可能に表示手段としてのモニタ２に表示する。このとき、管腔臓器画像生成部１５は、第一実画像観察位置推定部１１２もしくは第二実画像観察位置推定部１１４によって推定された実画像観察位置を前記観察位置として仮想画像を生成する様にされるので、実内視鏡画像と同じ観察位置からの仮想画像、すなわち、表示の位置や尺度などが実画像と略等しい仮想画像が得られる。
【０１３９】
また、画像合成表示部１８は、解剖学的名称情報発生部１６によって、前記仮想画像もしくは前記実内視鏡画像に表示されている管腔臓器の部位と関連付けられた解剖学的名称を例えば文字により、前記仮想画像もしくは前記実内視鏡画像に重畳表示する。この様子を示したのが図５２である。
【０１４０】
一方、ナビゲーション手段としてのナビゲーション部１１６は、経路生成手段としての経路生成部１１８、挿入案内手段としての挿入案内部１２０、経路名称表示手段としての経路名称表示部１２２などからなり、３次元画像データにおいて指定した目的部位に到達するために経る管腔臓器中の経路を探索するとともに、前記画像合成表示部１８に対しその探索された経路に内視鏡が挿入されるために操作者の支援となる情報を表示させる。
【０１４１】
経路生成部１１８は、例えば、操作者が前記３次元画像データにおいて設定した目的部位、すなわち、操作者がこれから内視鏡を到達させようとする部位を指定した場合に、その目的部位に到達するために経る管腔臓器の経路を探索する。この経路の探索は、例えば、分岐部において、何れの経路に内視鏡を進めるべきか等についての情報を蓄積することにより行なわれる。
【０１４２】
挿入案内部１２０は、前記経路生成部１１８によって生成された管腔臓器の経路に従って、前記内視鏡８４が分岐部の直前に達した場合に、前記分岐部に開口する複数の枝管から前記内視鏡８４を挿入すべき１の枝管を示す表示を前記画像合成表示部１８に表示させる。具体的には、まず、前記実内視鏡画像において前記分岐部特徴情報が現れた場合や、前記第一実画像観察位置推定部１１２もしくは第二実画像観察位置推定部１１４によって実画像観察位置として推定された内視鏡８４の先端部の位置が前記臓器構造情報と照合された結果、分岐部の直前に達したと判断されたことにより、内視鏡８４が分岐部の手前に位置することが検知させる。そして、前記経路生成部１１８によって生成された経路に基づいて、その分岐において開口するいずれの枝管に内視鏡を進めるべきかを判断する。さらに、前記実内視鏡画像もしくは前記仮想画像あるいはその双方において表示されている分岐部の画像において、その進めるべき枝管を示す表示を前記画像合成表示部１８に対し表示させる。
【０１４３】
この一例を示したのが図５４である。図５４は、枝管１２４ａ、１２４ｂ、１２４ｃが存在する分岐部を示した画像である。この画像は前記実内視鏡画像であっても、前記仮想画像であってもよい。挿入案内手段１２０が、前記経路生成手段１１８が生成した経路に基づいて内視鏡８４を挿入すべき枝管を１２４ｃである判断した場合には、挿入案内部１２０は、前記画像合成表示部１８に対し、枝管１２４ｃが内視鏡を進めるべき枝管である旨の表示をさせる。この表示は例えば、図５４における矢印１２６ａのようなものでもよいし、文字表示１２６ｂのようなものでもよいし、それらの組み合わせであってもよい。
【０１４４】
経路名称表示部１２２は、前記経路生成部１１８によって生成された管腔臓器の経路を構成する管腔臓器の部位について、それらの部位に対応づけられ格納された解剖学的名称を前記抽出情報格納部１２ｆから読み出す。その結果、前記経路生成部１１８によって生成された経路を、前記解剖学的名称によって把握できるようになる。また、経路名称表示部１２２は、操作者の操作に応じて、前記画像合成表示部１８に対し、この解剖学的名称によって表現された経路についての情報をモニタ２に表示させる。
【０１４５】
このときのモニタ２の表示の一例を示したのが図５５である。図５５においては左半面に設けられた経路名称表示部１２８と右半面に設けられた画像表示部１３０によって画面が構成されている。経路名称表示部１２８においては、経路名称表示部１２２によって作成された、解剖学的名称によって表現された経路についての情報、すなわち前記経路を構成する管腔臓器の各部位の解剖学的名称が前記内視鏡の挿入部位もしくは現在位置から目的部位までの経路の順で列挙される様に表示されている。また画像表示部１３０においては、管腔臓器画像生成部１５によって生成された経路上に存在する分岐部の仮想画像が縮小されて表示されている。なお、画像表示部１３０の表示については、図５５のように分岐部の仮想画像を表示するほか、図５２のように実内視鏡画像と仮想画像とを対比可能に表示しても良いし、図５３のように挿入案内部１２０による挿入案内表示と前記実内視鏡画像もしくは前記仮想画像との重畳表示を行なっても良いし、あるいは、画像表示部１３０はなくてもよい。
【０１４６】
図５１は、本実施例における医療画像観察装置としてもコンピュータ１の作動の概要を示すフローチャートである。まずＳ８１においては、前記ＣＴ画像データ格納部１１（図１参照）から３次元画像データが取得される。続いてＳ８２において、取得された３次元画像データにおいて、内視鏡８４を挿入し到達させようとする部位である目的部位が設定される。この目的部位は、例えば前記入力部３を介して操作者によって入力される。
【０１４７】
続いて、Ｓ８３においては、前記情報抽出部１２（抽出情報格納部１２ｆ）に格納された臓器領域情報３５および臓器構造情報３７などが読み出される。また、Ｓ８４においては、前記Ｓ８３においてその臓器関連情報３５あるいは臓器構造情報３７が読み出された管腔臓器の各部位に対応づけられた解剖学的情報についても前記情報抽出部１２（抽出情報格納部１２ｆ）から読み出される。
【０１４８】
Ｓ８５およびＳ８６は経路生成部１１８に対応する。まず、Ｓ８５においては、ナビゲーションを開始する開始位置が設定される。この開始位置の設定は、前記内視鏡位置検出部１０６によってもよいし、前記内視鏡８４の実内視鏡画像から、前記第一実画像観察位置推定部１１２もしくは前記第二実画像観察位置推定部１１４によって推定されても良い。また、内視鏡の被検体への挿入前においては、挿入位置が用いられてもよい。
【０１４９】
続くＳ８６においては、Ｓ８５において設定された開始位置からＳ８２において設定された目的部位までの前記管腔臓器における経路が決定される。この経路の決定においては、前記管腔臓器の構造が分岐のみからなる場合には、前記開始位置と前記目的部位を設定することにより一意に定まる。一方、前記管腔臓器の構造が、分岐に加え合流を有する場合には、前記開始位置と前記目的部位とを設定した場合に、探索の結果、複数の経路が候補となる場合がある。このような場合には、例えばいずれの経路が最短であるかや、何れの経路が内視鏡８４を挿入するのに容易な構造であるかなどに基づいて候補となった複数の経路から一の経路を決定すればよい。
【０１５０】
経路名称表示部１２２に対応するＳ８７においては、前記Ｓ８６において決定された経路が、前記Ｓ８３によって読み出された解剖学的名称によって表現される。すなわち、前記Ｓ８３によって読み出された解剖学的名称から、前記Ｓ８６において決定された経路を構成する前記管腔臓器の各部位に対応づけられた解剖学的名称が選択される。そして、操作者の操作に応じて、前記解剖学的名称によって表現された前記経路、すなわち、前記経路を構成する管腔臓器の各部位に対応づけられた解剖学的名称を、前記開始位置から前記目的部位まで経路の順で列挙したものがモニタ２に表示される。
【０１５１】
Ｓ８８においては、前記内視鏡８４の先端部に取り付けられたビデオカメラによって撮像された実内視鏡画像が内視鏡装置８８を介して取り込まれる。そして、前記第一実画像観察位置推定部１１２または第二実画像観察位置推定部１１４のいずれかに対応するＳ８９においては、前記実内視鏡画像を撮像した際の前記ビデオカメラが取り付けられた内視鏡先端部の位置が推定される。
【０１５２】
続いて、管腔臓器画像生成部１５に対応するＳ９０においては、前記Ｓ８９において推定された実画像観察位置を観察位置７５として仮想画像が生成される。このとき、前記推定された実画像観察位置を観察位置７５として仮想画像を生成することから、生成された仮想画像は、前記実内視鏡画像の視点と略同一の位置から略同一の視線の方向で見た場合の画像となる。したがって、前記仮想画像と前記実内視鏡画像は容易に対比可能な画像となる。
【０１５３】
解剖学的名称情報発生部１６および挿入案内部１２０に対応するＳ９１においては、前記Ｓ８８において取り込まれた実内視鏡画像あるいは前記Ｓ９０において生成された仮想画像に重畳して表示されるための画像表示が作成される。具体的には、実内視鏡画像あるいは仮想画像に表示された管腔臓器の部位に対応づけられた解剖学的名称の文字からなる画像や、分岐部において内視鏡を挿入すべき枝管を示すための記号や文字（例えば図５４における矢印１２６ａや文字１２６ｂ）からなる画像が作成される。
【０１５４】
画像合成表示部１８に対応するＳ９２においては、操作者の操作に応じて、生成した画像データが適宜取捨選択され、選択された画像データが合成されて、モニタ２に表示される。例えば、図５２のように、Ｓ８８において取り込んだ実内視鏡画像と、Ｓ９０において生成した仮想画像とが対比可能に表示され、さらに前記実内視鏡画像と前記仮想画像の両方に適宜Ｓ９１において作成された解剖学的名称を表す文字画像が重畳表示されることができる。また図５３のように、図５２の表示に加えて、Ｓ８１において取り込まれた３次元画像データが表示されてもよいし、図５４のように、Ｓ８８において取り込まれた実内視鏡画像に、Ｓ９１において作成された分岐部において内視鏡を挿入すべき枝管を示すための記号などからなる画像と、同じくＳ９１において作成された観察部位の解剖学的名称を表す文字（例えば図５４の１２５）からなる画像とが重畳表示されることもできる。さらに、図５５のように、解剖学的名称が列挙されることで表現された経路が文字情報として表示されると共に、何らかの画像データが表示される様にすることもできる。そして、このような複数の表示形態は例えば操作者の操作に応じて適宜切換可能にされている。
【０１５５】
上述の実施例によれば、前記画像合成表示部１８は、前記モニタ２に、前記実内視鏡画像と、該実内視鏡画像に対応し前記仮想画像生成手段によって生成された前記仮想画像とを対比可能に表示する。
【０１５６】
上述の実施例によれば、前記管腔臓器画像生成部１５は、前記観察位置７５を前記第一実画像観察位置推定部１１２によって推定された前記実画像観察位置とすることによって前記仮想画像を生成するので、前記実内視鏡画像の実画像観察位置と同じと推定される観察位置からの仮想画像が得られる。
【０１５７】
上述の実施例によれば、前記管腔臓器画像生成部１５は、前記観察位置７５を前記第二実画像観察位置推定部１１４によって推定された前記実画像観察位置とすることによって前記仮想画像を生成するので、前記実内視鏡画像の実画像観察位置と同じと推定される観察位置からの仮想画像が得られる。
【０１５８】
上述の実施例によれば、前記医療画像観察支援装置１において、前記画像合成表示部１８は、前記情報抽出部１２による前記解剖学名称関連付けに基づき、前記モニタ２に表示された実内視鏡画像上に前記管腔臓器の解剖学的名称を表示するので、実内視鏡画像においても画像中に表示された管腔臓器が何れの部位であるかを把握できる。
【０１５９】
また、上述の実施例によれば、前記ナビゲーション部１１６によって、前記モニタ２に表示された実内視鏡画像上に示された前記管腔臓器の分岐部に開口する複数の枝管のうちの前記内視鏡８４を挿入すべき１つの枝管を示す表示がされるので、操作者は前記内視鏡８４を前記管腔臓器における目的部位まで容易に挿入する際に前記管腔臓器の分岐部においても挿入すべき枝管を認識することができる。
【０１６０】
上述の実施例によれば、前記ナビゲーション部１１６によって、前記経路が自動的に生成される一方、前記経路を構成する管腔臓器の各部位に関連付けられた複数の解剖学的名称が、前記挿入部位から前記目的部位までの経路の順で列挙されるので、前記内視鏡を前記管腔臓器における目的部位まで挿入するまでの経路を予め解剖学的名称によって認識することができる。
【実施例５】
【０１６１】
本実施例においては、医療画像観察支援装置としてのコンピュータ１は図１の構成図と同様の構成を有する。また、本図１における情報抽出部１２は、図５６に示すような構成を有し、管腔外組織抽出部１２ｈを有する点で図２における情報抽出部１２とは異なる。以下、図１および図２における機能との差異について説明する。
【０１６２】
管腔外組織抽出手段としての管腔外組織抽出部１２ｈは、前記３次元画像を解析することにより、管腔臓器の外に存在する管腔外組織の画像を抽出し、その大きさ、および前記３次元画像内における位置についての情報である管腔外組織構造情報１３２を生成する。
【０１６３】
また、抽出情報関連付け部１２ｅは、臓器領域情報３５及び臓器構造情報３７を解剖学的情報と関連付けて抽出情報格納部１２ｆに格納するのに加え、前記管腔外組織構造情報１３２と後述する解剖学的番号とを関連付けて抽出情報格納部に格納する。
【０１６４】
また、前記解剖学的情報ＤＢ１３は、図３に例示された解剖学的構造情報としての解剖学的モデル情報に加え、前記管腔外組織についての解剖学的構造情報である、解剖学的番号を格納している。具体的には解剖学的情報ＤＢ１３は、解剖学的番号「ｎ」ごとに、例えば以下（１）乃至（６）に示すような解剖学的構造情報としての解剖学的モデル情報を格納している。
（１）リンパ節番号
（２）径長および円形度
（３）３次元画像における濃度値の平均値情報と分散情報
（４）最も近くに存在する管腔臓器（例えば血管）の解剖学的名称情報
（５）主病巣からの距離情報
（６）最適な画像処理手法情報
情報抽出部１２は、前記管腔外組織抽出部１２ｈが抽出した管腔外組織について、前記解剖学的情報ＤＢ１３に格納された情報に基づいて、その解剖学的番号を判断する。そして前記管腔外組織と判断された解剖学的番号を関連付けて抽出情報格納部１２ｆに格納する。
【０１６５】
仮想画像生成手段としての前記管腔臓器画像生成部１５は、前記管腔臓器の仮想画像を生成するのに加えて、前記管腔外組織抽出部１２ｈが抽出した管腔外組織の構造情報に基づいて、ＣＴ画像データ格納部１１に格納されているＣＴ画像データを画像処理して、前記管腔臓器の仮想画像と同一の画像内に、前記管腔臓器と前記管腔外組織との位置および大きさの関係を保持しつつ、前記管腔外組織の画像を生成する。
【０１６６】
前記解剖学的名称情報発生部１６は、情報抽出部１２からの名称割当情報に基づき、文字画像データを生成するのに加え、前記管腔外組織に関連付けられた解剖学的番号の文字画像データについても生成する。
【０１６７】
図５７は、前記管腔臓器抽出部１２ｈの作動の概要を示したフローチャートである。まず、Ｓ１０１においては、３次元画像が取り込まれ、取り込まれた３次元画像に対し、管腔外組織の抽出のための前処理が実行される。この前処理としては、まず雑音除去のためのフィルタ処理が行なわれ、続いて画像上の不要な領域を削除するためのマスク処理が実行される。具体的には例えば、前記フィルタ処理としては、メディアン平滑化フィルタによる処理が実行され、前記マスク処理としては、体表面の外側にある背景領域を削除するとともに、体内において前記管腔外組織が存在しないことが、前記３次元画像における各画素に対応する組織の構造を表す数値に基づいて判断される領域を削除する処理が行なわれる。
【０１６８】
さらに具体的には、例えば、前記３次元画像としてＣＴ画像が用いられる場合であって、前記管腔外組織がリンパ節である場合を考える。このとき、前記３次元画像における各画素に対応する組織の構造を表す数値には組織のＸ線吸収の度合いを表すハウンスフィールド値（ＣＴ値）が用いられる。ところで、前記リンパ節は骨、血管、空気等として造影された領域内には存在し得ないことが予め解剖学的にわかっており、また、前記骨、血管、空気のＣＴ値と前記リンパ節のＣＴ値とは異なる範囲に存在することがわかっている。そのため、前記リンパ節の存在し得ないＣＴ値の範囲である−２５０（Ｈ．Ｕ．）以下および３００（Ｈ．Ｕ．）以上に該当するＣＴ値を有する画素からなる領域については、予めリンパ節を抽出する際の対象画像から除去すべくマスク処理される。
【０１６９】
続いてＳ１０２においては、Ｓ１０１において前処理の行なわれた３次元画像に対し、塊状構造に対応する領域の抽出処理が行なわれる。具体的には、本実施例では前記３次元画像であるＣＴ画像から前記リンパ節を抽出しようとしているところ、例えば、「清水昭伸ら、「３次元胸部ＣＴ像からの肺がん陰影検出のための３次元協調フィルタの性質評価」、（Ｍｅｄ． Ｉｍａｇ． Ｔｅｃｈ．， Ｖｏｌ．１３， Ｎｏ．６， １９９５）」に提案の３ＤＭｉｎＤＤ法および３Ｄ拡張ＭｉｎＤＤ法等が適用されることにより、前記ＣＴ画像から好適に前記リンパ節の候補となる領域を抽出しうる。
【０１７０】
なお、Ｓ１０２においては、抽出された領域のうち、抽出しようとする前記管腔外組織、例えばリンパ節の想定し得る大きさや形状に鑑みて、明らかに矛盾する領域が存在した場合には、候補として抽出された領域を変更する様にしてもよい。具体的には例えば、すなわち、画像において抽出された領域と領域外のコントラストが非常に低い場合には、必要以上に大きい領域を抽出してしまう可能性がある。このような場合に、リンパ節の想定し得る大きさに基づいて過抽出が行なわれた領域部分を削除し、領域を縮小する様な処理が行なわれる。
【０１７１】
続いてＳ１０３においては、前記Ｓ１０２において管腔外組織の候補とされた領域のうち、管腔臓器と重複する領域を削除する。具体的には、上述の通り、前記リンパ節は前記血管中には存在しないため、前記情報抽出部１２に格納された管腔臓器である血管の臓器領域情報に基づいて、血管の領域と前記リンパ節の候補とされた領域とが比較され、両領域が重複した場合には、重複したリンパ節の候補領域が削除される。なお、このとき血管の領域は前記３次元画像から抽出されてもよい。また、腹部について着目すると、大腸におけるひだ状組織である大腸ひだや、大腸における残渣に対して過抽出がされる傾向がある。そのため、これらの過抽出された領域についても削除する必要がある。しかしながら、前記大腸ひだや残渣はそのＣＴ値がリンパ節のＣＴ値と類似する場合があるため、前記大腸ひだや残渣についての過抽出領域を直接検出することはできない。そのため、例えば、大腸内部における大腸ひだおよび残渣以外の領域を構成する空気に相当する領域を検出し、その検出された領域を所定分だけ拡大することによって大腸全体の領域を設定し、これと重複する前記リンパ節の候補領域を削除する方法が行なわれる。
【０１７２】
更にＳ１０４においては、前記管腔外組織の大きさに基づいて、抽出された候補領域の削除が実行される。本実施例においては、リンパ節の候補領域のうち、所定のしきい値よりも小さい領域を削除する。具体的には、抽出の対象とするリンパ節の大きさ（例えば半径２．５ｍｍ以上など）に相当する画像上の領域よりも小さい候補領域は候補となりえず、そのため、前記検出の対象とするリンパ節の大きさなどに基づいて決定されるしきい値（例えば領域の体積）を下回る大きさの画像上の領域は削除される。
【０１７３】
また、Ｓ１０５においては、前記管腔外組織の形状に基づいて、抽出された候補領域の削除が実行される。これにより、前記Ｓ１０４までの処理で削除できなかった過抽出領域が削除される。本実施例においては、抽出の対象であるリンパ節の形状は楕円球状の形状を有するものであるから、前記候補領域のうち、明らかに楕円球状のものではない形状を有するものが削除される。具体的には例えば、次式で表される球形度ＤＯＳに基づいて形状が判断される。
ＤＯＳ＝Ｓ³ ／（３６×π×Ｖ² ）
ここで、Ｓは領域の表面積、Ｖは領域の体積である。この球形度ＤＯＳは、領域が球形の場合１となり、非球形になるに従って値が大きくなる。そこで、前記候補領域のそれぞれについて球形度ＤＯＳを算出するとともに、その値が所定のしきい値ｓ（例えば６）を超えた場合にはその候補領域が削除される。
【０１７４】
以上の処理後に残った候補領域をリンパ節を示す領域とする。そして、その領域の大きさおよび３次元画像中における位置などに関する情報を、管腔外組織構造情報として格納する。
【０１７５】
図５８は、上述の管腔外組織抽出手段１２ｈによって抽出された管腔外組織であるリンパ節と前記管腔臓器である血管とが表示された仮想画像の一例である。このように、前記管腔臓器画像生成部１５において前記リンパ節と前記血管とが同一の尺度で３次元画像における位置関係を保ったまま仮想画像が生成されるとともに、前記解剖学的名称発生部１６によって、前記血管の解剖学的名称と、前記リンパ節の解剖学的番号とが前記仮想画像に重畳して表示されている。
【０１７６】
上述の実施例によれば、前記管腔臓器抽出部１２ｈは、前記３次元画像データに基づいて、前記被検体内における前記管腔臓器の外に存在する管腔外組織の構造に関する情報である管腔外組織構造情報を抽出し、前記管腔臓器画像生成部１５は、前記管腔臓器の仮想画像と前記管腔外組織の仮想画像とを同一の画像内に実際の位置関係を保持したまま同一の尺度で表示するので、前記３次元画像データに基づいて、前記管腔臓器の外に存在する管腔外組織についての構造についても前記仮想画像上でその位置や大きさを把握することができる。
【０１７７】
また、上述の実施例によれば、前記解剖学的情報データベース１３は、前記管腔臓器については少なくとも解剖学的名称情報を、前記管腔外組織については少なくとも解剖学的番号をそれぞれ含んだ解剖学的構造情報を格納し、前記情報抽出部１２は、前記管腔臓器に対しては前記解剖学的情報データベース１３に格納された解剖学的名称情報を前記管腔構造データに関連付け、前記管腔外組織については前記解剖学的情報データベース１３に格納された解剖学的番号を前記管腔外組織構造情報に関連付けるので、前記情報抽出部１２は、前記管腔臓器に解剖学的名称を関連付けるのと同様に、前記管腔外組織に解剖学的番号を関連付けることができる。
【０１７８】
また、上述の実施例によれば、前記画像合成表示部１８は、前記情報抽出部１２（抽出情報関連付け部１２ｅ）による前記解剖学的名称あるいは前記解剖学的番号の関連付けに基づき、前記モニタ２に表示された仮想画像上に前記管腔臓器の解剖学的名称および前記管腔外組織の解剖学的番号を表示するので、管腔臓器の観察が容易となる。
【０１７９】
また、上述の実施例によれば、前記管腔臓器画像生成部１５は、前記解剖学的構造情報あるいは前記臓器構造情報３７、前記管腔外組織構造情報の少なくとも１つに基づき画像処理手法を変更するので、管腔臓器の部位あるいは管腔外組織ごとに適切な画像処理手法を自動的にあるいは操作者によって変更することが可能となるため、精度よく管腔領域データあるいは管腔外組織構造情報を抽出できる。
【０１８０】
また、上述の実施例によれば、前記ナビゲーション部１１６は、前記管腔外組織を目的部位として設定した場合に、該管腔外組織に近接した前記管腔臓器における前記内視鏡を挿入可能な部位を実際の目的部位とするので、操作者は目的とする管腔外組織を目的部位として設定するだけで、該管腔外組織に近接した前記管腔臓器における前記内視鏡を挿入可能な部位まで内視鏡を挿入するための支援を受けることができる。
【０１８１】
また、上述の実施例によれば、前記管腔外組織とはリンパ節であり、前記管腔臓器とは血管であるので、ＣＴ画像である３次元画像にその像が現れにくいリンパ節の管腔外組織情報を３次元画像から抽出できる。
【０１８２】
以上、本発明の実施例を図面に基づいて詳細に説明したが、本発明はその他の態様においても適用される。
【０１８３】
例えば、上述の実施例においては、位置センサ８６や内視鏡８４の先端部に設けられたビデオカメラは非常に小型であって、例えば第一実画像観察位置推定手段が推定した位置センサ８６の位置および姿勢をそのまま内視鏡８４の観察位置としたが、実際の位置関係に基づいてこれを補正しても良い。
【０１８４】
また、上述の実施例においては、前記ＣＴ画像データ取り込み部１０は、前記３次元画像データを例えばＭＯ装置やＤＶＤ装置等により取り込みを行うものとされたが、これに限られず、例えばＣＴ撮像装置とネットワークで接続されるなどにより、直接ＣＴ撮像装置によって撮像された３次元画像データを取り込んでもよい。
【０１８５】
また、図４０のステップＳ３３において変換行列Ｔを算出する際には、位置検出装置８２の座標系と３次元画像の座標系のみに着目して変換行列を算出したが、より正確には、位置検出装置８２の座標系、カメラ座標系、位置センサ８６の座標系、３次元画像における座標系および検体の存在する実座標系等をそれぞれ定義し、これら全て、あるいは適宜考慮して変換する様にしても良い。
【０１８６】
また、図４０においては、ステップＳ３４において必要な回数を実行することを終了条件とし、これを満たすことによって反復が終了させられるものとされたが、これに限られず、例えば、常に最新のｐｊに更新しつつ反復を継続させ、最新の、すなわち最後に算出された変換行列Ｔを用いる様にしてもよい。
【０１８７】
また、図４６においては、ステップＳ５２とＳ５３の順序は逆であっても良い。同様に図４７のＳ６５およびＳ６６の順序は逆であってもよく、また、図５７のＳ１０３はＳ１０２の前に実行されてもよい。このように、フローチャートで示された作動は、その作動が矛盾しない限り適宜順序を入れ替えて実行可能である。
【０１８８】
また、上述の実施例３においては、仮想画像学習部１０２は必須の構成要素ではなく、仮想画像学習部１０２がなくても一定の効果が得られる。
【０１８９】
また、上述の実施例４においては、ナビゲーション部１１６は、目的部位の設定は例えば操作者によって指定されるものとされたが、これに限られず、例えば別途設けられる画像診断手段などによって前記３次元画像データが解析され、前記３次元画像データ中に病巣部位が発見された場合には、その発見された病巣部位を目的部位に指定する様にしてもよい。このようにすれば、前記３次元画像データに基づいて病巣部位の発見とその病巣部位に至る管腔臓器内の経路の生成が自動的に実行される。
【０１９０】
また、上述の実施例４においては、ナビゲーション部１１６は、内視鏡の挿入する案内を表示手段としてのモニタ２上で行なったが、これに限られず、特に本発明においては、前記経路が管腔臓器の解剖学的名称によって表現されることが可能であることから、例えば前記解剖学的名称を機械的に発声させること等により音声による案内を行なうことも可能である。
【０１９１】
また、上述の実施例４においては、図５１において、Ｓ８７における経路名称の表示は必ずしも必要ではなく、操作者の操作に応じて実行されればよい。
【０１９２】
また、上述の実施例４においては、図５１において、Ｓ８８、Ｓ８９、Ｓ９０、Ｓ９２のみが実行されてもよく、この場合、単に実内視鏡画像と仮想画像を対比した表示が得られる。同様にＳ８８、Ｓ８９、Ｓ９０、Ｓ９１、Ｓ９２のみが実行されてもよく、この場合、単に実内視鏡画像と仮想画像を対比した表示に解剖学的名称が重畳された図５２のような表示が得られる。
【０１９３】
また、上述の実施例４においては、画像合成表示部１８は、図５２のように実内視鏡画像と仮想画像とを対比可能に表示したが、これに限られず、例えば図５３のように実内視鏡画像と仮想画像とを対比可能に表示するとともに、前記３次元画像をさらに表示してもよく、さらに図５３における該３次元画像において前記実内視鏡画像の実画像観察位置や仮想画像の観察位置７５を重畳表示してもよい。
【０１９４】
また、上述の実施例４においては、画像合成表示部１８によってなされる複数の表示形態は操作者の操作に応じて適宜切換可能とされたが、これに限られず、たとえば自動的に切り換えられる様にしてもよい。具体的には、実内視鏡画像が分岐部の画像となった場合にはナビゲーション部１１６による案内（すなわち表示１２６ａや表示１２６ｂ）を行なう様にするなど、状況に応じて自動的に切り換えられる様にしても良い。
【０１９５】
また、上述の実施例４において、ナビゲーション部１１６における目的部位は管腔臓器内にあるものとされたが、これに限られず、前記管腔外組織などの管腔外組織を目的部位としてもよい。この場合、前記ナビゲーション手段は設定された目的部位に近接した管腔臓器の内視鏡を挿入可能な部位を目的部位とした経路探索を実行する様にされる。このようにすれば、目的部位が管腔臓器の外に設定された場合であっても、前記目的部位に対し近接する管腔臓器の内視鏡を挿入可能な部位までの経路が探索されることから、操作者の内視鏡挿入操作が支援される。
【０１９６】
なお、上述したのはあくまでも一実施形態であり、本発明は当業者の知識に基づいて種々の変更、改良を加えた態様で実施することができる。

Claims (19)

1. 被検体の３次元画像データに基づき、前記被検体内に延びる管腔臓器の一部を内含する体積領域を相互に連なるように順次設定する体積領域設定手段と、
   該体積領域設定手段により設定された体積領域毎に該体積領域内での前記管腔臓器を表す３次元画像データに基づき、該体積領域内の特定の管腔臓器の領域情報である管腔領域データを繰り返し算出する管腔臓器領域情報算出手段と、
   前記管腔臓器領域情報算出手段が算出した前記管腔領域データ毎に、前記体積領域での前記管腔臓器の構造情報である管腔構造データを算出する管腔臓器構造情報算出手段と、
   前記管腔構造データに基づいて、前記管腔臓器の長手方向に沿った仮想芯線を生成する仮想芯線生成手段と、
   前記仮想芯線に沿って前記管腔臓器の仮想画像を生成する仮想画像生成手段と、
   前記仮想画像を表示するための表示手段と
   前記仮想画像を生成するための観察位置を、前記仮想芯線、前記管腔領域データおよび前記管腔構造データの少なくとも１つに基づき前記表示手段における前記管腔臓器の表示領域が所望の大きさとなるように定めるとともに、前記仮想芯線または前記管腔構造データに基づき前記管腔臓器長手方向に沿って前記観察位置を移動させる観察位置規定手段と、
   を備え、
   前記仮想画像生成手段は、前記解剖学的構造情報あるいは前記管腔構造データに基づき画像処理手法を変更すること
   を特徴とする医療画像観察支援装置。
2. 被検体の３次元画像データに基づき、前記被検体内に延びる管腔臓器の一部を内含する体積領域を相互に連なるように順次設定する体積領域設定手段と、
   該体積領域設定手段により設定された体積領域毎に該体積領域内での前記管腔臓器を表す３次元画像データに基づき、該体積領域内の特定の管腔臓器の領域情報である管腔領域データを繰り返し算出する管腔臓器領域情報算出手段と、
   前記管腔臓器領域情報算出手段が算出した前記管腔領域データ毎に、前記体積領域での前記管腔臓器の構造情報である管腔構造データを算出する管腔臓器構造情報算出手段と、
   前記管腔構造データに基づいて、前記管腔臓器の長手方向に沿った仮想芯線を生成する仮想芯線生成手段と、
   前記仮想芯線に沿って前記管腔臓器の仮想画像を生成する仮想画像生成手段と、
   前記仮想画像を表示するための表示手段と
   前記仮想画像を生成するための観察位置を、前記仮想芯線、前記管腔領域データおよび前記管腔構造データの少なくとも１つに基づき前記表示手段における前記管腔臓器の表示領域が所望の大きさとなるように定めるとともに、前記仮想芯線または前記管腔構造データに基づき前記管腔臓器長手方向に沿って前記観察位置を移動させる観察位置規定手段と、
   実際に前記被検体内に挿入された内視鏡の先端部の相対的な位置を検出するための内視鏡位置検出手段と
   該内視鏡位置検出手段によって検出された内視鏡の先端位置と前記管腔構造データとを比較することにより変換行列を算出するとともに、前記内視鏡の先端位置を該変換行列により変換することにより前記内視鏡の先端部の前記管腔臓器内における位置である実画像観察位置を推定する第一実画像観察位置推定手段と
   を備えることを特徴とする医療画像観察支援装置。
3. 少なくとも解剖学的名称情報を含んだ解剖学的構造情報を格納する解剖学的構造情報格納手段を備え、
   前記解剖学的構造情報格納手段に格納された解剖学的名称情報を前記管腔構造データに関連付ける解剖学的名称関連付け手段と
   をさらに備えることを特徴とする請求項１または２に記載の医療画像観察支援装置。
4. 前記解剖学的名称関連付け手段による前記解剖学的名称の関連付けに基づき、前記表示手段上に表示された仮想画像上に前記管腔臓器の解剖学的名称を表示する画像合成手段を有すること
   を特徴とする請求項１乃至３に記載の医療画像観察支援装置。
5. 前記仮想画像生成手段によって生成された複数の仮想画像のうち、前記管腔臓器内における分岐部を含む仮想画像と、該仮想画像に対応する前記管腔構造データとを関連付けて記憶する仮想画像記憶手段を有し、
   実際に被検体内に挿入された内視鏡によって撮像された実内視鏡画像に現れる管腔構造データに対応する特徴を抽出し、該特徴を前記仮想画像記憶手段に記憶された管腔構造データと照合するとともに、該照合の結果一致した管腔構造データに対応する仮想画像の観察位置を前記内視鏡の先端部の前記管腔臓器内における位置である実画像観察位置と推定する第二実画像観察位置推定手段を有すること
   を特徴とする請求項１、３、および４のいずれかに記載の医療画像観察支援装置。
6. 前記画像合成手段は、前記表示手段に、前記実内視鏡画像と、該実内視鏡画像に対応し前記仮想画像生成手段によって生成された前記仮想画像とを対比可能に表示すること
   を特徴とする請求項１乃至４のいずれかに記載の医療画像観察支援装置。
7. 前記仮想画像生成手段は、前記観察位置を前記第一実画像観察位置推定手段によって推定された前記実画像観察位置とすることによって前記仮想画像を生成すること
   を特徴とする請求項６に記載の医療画像観察支援装置。
8. 前記仮想画像生成手段は、前記観察位置を前記第二実画像観察位置推定手段によって推定された前記実画像観察位置とすることによって前記仮想画像を生成すること
   を特徴とする請求項６に記載の医療画像観察支援装置。
9. 前記画像合成手段は、前記解剖学的名称関連付け手段による前記解剖学名称関連付けに基づき、前記表示手段に表示された実内視鏡画像上に前記管腔臓器の解剖学的名称を表示すること
   を特徴とする請求項６乃至８のいずれかに記載の医療画像観察支援装置。
10. 前記仮想画像及び前記実内視鏡画像は、画像上における管腔状の構造物の個数、位置、および該管腔状の構造物内における明度の少なくとも１つを前記管腔構造データに対応する画像上の特徴とすること
    を特徴とする請求項５に記載の医療画像観察支援装置。
11. 前記第二実画像観察位置推定手段は、前記照合の結果に基づいて前記仮想画像記憶手段に記憶された内容を学習補正する仮想画像学習手段を有すること
    を特徴とする請求項５または６に記載の医療画像観察支援装置。
12. 前記内視鏡を前記管腔臓器における目的部位に挿入するための挿入部位から前記目的部位までの経路を画像上で案内するためのナビゲーション手段を有し、
    前記ナビゲーション手段は、前記表示手段に表示された画像上に示された前記管腔臓器の分岐部に開口する複数の枝管のうちの前記内視鏡を挿入すべき１つの枝管を示す表示をすること
    を特徴とする請求項６乃至１１のいずれかに記載の医療画像観察支援装置。
13. 前記内視鏡を前記管腔臓器における目的部位に挿入するための挿入部位から前記目的部位までの経路を画像上で案内するためのナビゲーション手段を有し、
    前記ナビゲーション手段は、前記経路を自動的に生成するとともに、前記経路を構成する管腔臓器の各部位に対し前記解剖学的名称関連付け手段によってそれぞれ関連付けられた複数の解剖学的名称を、前記挿入部位から前記目的部位までの経路の順で列挙すること
    を特徴とする請求項６乃至１１のいずれかに記載の医療画像観察支援装置。
14. 被検体の３次元画像データに基づき、前記被検体内に延びる管腔臓器の一部を内含する体積領域を相互に連なるように順次設定する体積領域設定手段と、
    該体積領域設定手段により設定された体積領域毎に該体積領域内での前記管腔臓器を表す３次元画像データに基づき、該体積領域内の特定の管腔臓器の領域情報である管腔領域データを繰り返し算出する管腔臓器領域情報算出手段と、
    前記管腔臓器領域情報算出手段が算出した前記管腔領域データ毎に、前記体積領域での前記管腔臓器の構造情報である管腔構造データを算出する管腔臓器構造情報算出手段と、
    前記管腔構造データに基づいて、前記管腔臓器の長手方向に沿った仮想芯線を生成する仮想芯線生成手段と、
    前記仮想芯線に沿って前記管腔臓器の仮想画像を生成する仮想画像生成手段と、
    前記仮想画像を表示するための表示手段と
    前記仮想画像を生成するための観察位置を、前記仮想芯線、前記管腔領域データおよび前記管腔構造データの少なくとも１つに基づき前記表示手段における前記管腔臓器の表示領域が所望の大きさとなるように定めるとともに、前記仮想芯線または前記管腔構造データに基づき前記管腔臓器長手方向に沿って前記観察位置を移動させる観察位置規定手段と、
    前記３次元画像データに基づいて、前記被検体内における前記管腔臓器の外に存在する管腔外組織の構造に関する情報である管腔外組織構造情報を抽出する管腔外組織抽出手段と、を有し、
    前記仮想画像生成手段は、前記管腔臓器の仮想画像と前記管腔外組織の仮想画像とを同一の画像内に実際の位置関係を保持したまま同一の尺度で表示するものであること
    を特徴とする医療画像観察支援装置。
15. 前記管腔臓器については少なくとも解剖学的名称情報を、前記管腔外組織についてはすくなくとも解剖学的番号をそれぞれ含んだ解剖学的構造情報を格納する解剖学的構造情報格納手段を備え、
    前記管腔臓器に対しては前記解剖学的構造情報格納手段に格納された解剖学的名称情報を前記管腔構造データに関連付け、前記管腔外組織については前記解剖学的構造情報格納手段に格納された解剖学的番号を前記管腔外組織構造情報に関連付ける解剖学的名称関連付け手段と
    をさらに備えることを特徴とする請求項１４に記載の医療画像観察支援装置。
16. 前記解剖学的名称関連付け手段による前記解剖学的名称あるいは前記解剖学的番号の関連付けに基づき、前記表示手段上に表示された仮想画像上に前記管腔臓器の解剖学的名称および前記管腔外組織の解剖学的番号を表示する画像合成手段を有すること
    を特徴とする請求項１５に記載の医療画像観察支援装置。
17. 前記仮想画像生成手段は、前記解剖学的構造情報あるいは前記管腔構造データ、前記管腔外組織構造情報の少なくとも１つに基づき画像処理手法を変更すること
    を特徴とする請求項１４乃至１６のいずれかに記載の医療画像観察支援装置。
18. 前記ナビゲーション手段は、前記管腔外組織を目的部位として設定した場合に、該管腔外組織に近接した前記管腔臓器における前記内視鏡を挿入可能な部位を、実際の目的部位とすること
    を特徴とする請求項１２または１３に記載の医療画像観察支援装置。
19. 前記管腔外組織とは、リンパ節であり、前記管腔臓器とは血管であること
    を特徴とする請求項１４乃至１７のいずれかに記載の医療画像観察支援装置。

Images