JP4822142B2 - 内視鏡挿入支援システム及び内視鏡挿入支援方法 - Google Patents

内視鏡挿入支援システム及び内視鏡挿入支援方法 Download PDF

Info

Publication number
JP4822142B2
JP4822142B2 JP2008514452A JP2008514452A JP4822142B2 JP 4822142 B2 JP4822142 B2 JP 4822142B2 JP 2008514452 A JP2008514452 A JP 2008514452A JP 2008514452 A JP2008514452 A JP 2008514452A JP 4822142 B2 JP4822142 B2 JP 4822142B2
Authority
JP
Japan
Prior art keywords
voi
region
volume region
volume
organ
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008514452A
Other languages
English (en)
Other versions
JPWO2007129616A1 (ja
Inventor
健策 森
孝幸 北坂
俊也 秋本
康平 江部
武士 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagoya University NUC
Olympus Medical Systems Corp
Tokai National Higher Education and Research System NUC
Original Assignee
Nagoya University NUC
Olympus Medical Systems Corp
Tokai National Higher Education and Research System NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nagoya University NUC, Olympus Medical Systems Corp, Tokai National Higher Education and Research System NUC filed Critical Nagoya University NUC
Priority to JP2008514452A priority Critical patent/JP4822142B2/ja
Publication of JPWO2007129616A1 publication Critical patent/JPWO2007129616A1/ja
Application granted granted Critical
Publication of JP4822142B2 publication Critical patent/JP4822142B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676Bronchoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/41Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/414Evaluating particular organs or parts of the immune or lymphatic systems
    • A61B5/418Evaluating particular organs or parts of the immune or lymphatic systems lymph vessels, ducts or nodes

Description

本発明は、管腔臓器の管腔路内への内視鏡の挿入を支援する内視鏡挿入支援システム及び内視鏡挿入支援方法に関するものである。
近年、画像による診断が広く行われるようになっており、例えばX線CT(Computed Tomography)装置等により被検体の断層像を撮像することにより被検体内に3次元画像データを得て、該3次元画像データを用いて目的の診断が行われるようになってきた。
CT装置では、X線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の3次元領域について螺旋状の連続スキャン(ヘリカルスキャン:helical scan)を行い、3次元領域の連続するスライスの断層像から、3次元画像を作成することが行われる。
そのような3次元画像の1つに、肺の気管支の3次元像がある。気管支の3次元像は、例えば肺癌等が疑われる異常部の位置を3次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル(sample)を採取することが行われる。
気管支のように、体内において多段階の分岐を有する管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることは難しい。
このために、例えば文献1としての「日本国特開2000−135215号公報等」では、(1)被検体の3次元領域の画像データに基づいて前記被検体内の管路の3次元像を作成し、(2)前記3次元像上で前記管路に沿って目的点までの経路を求め、(3)前記経路に沿った前記管路の仮想的な内視鏡像を前記画像データに基づいて作成し、(4)前記仮想的な内視鏡像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
また、被検体の3次元領域の画像データに基づいて被検体内の管路の3次元像を作成するためには3次元領域の画像データより所望の臓器、例えば、前記気管支の領域情報(気管支枝がどのように繋がり気管支全体を形成しているかを表す情報)を抽出する必要がある。
そこで、例えば文献2としての「T.Kitasaka,K.Mori,J.Hasegawa and J.Toriwaki:"A Method for Extraction of Bronchus Regions from 3D Chest X-ray CT Image by Analyzing Structural Features of the Bronchus", Forma 17, pp.321-338(2002)」等においては、被検体の3次元領域上に所定のボクセルよりなる所定の大きさのVOI(Volume Of Interest:注目体積領域)を設定し、このVOIを管腔臓器の走行方向に沿って設置しながらVOI内の被検体の3次元領域の画像データより所望の臓器、例えば、前記気管支の領域情報を抽出する手法、いわゆるセグメンテーション処理が提案されている。
しかしながら、上記文献2の技術においては、VOI内の被検体の3次元領域の画像データより前記気管支の領域情報を抽出する際には、VOIを伸長させたり、VOIの向きを変更しているが、気管支の分岐点先の気管支管腔が所定以上の曲率で曲がっている場合には、VOIの伸長や向きの変更といった処理では、VOI内に気管支管腔を収納させることができず、必ずしも全ての気管支管腔の領域情報を取得することができない虞れがある。
また、体腔内の木構造をなす管腔臓器は、上階層の管腔臓器の内径に対して下階層の管腔臓器の内径が狭くなると共に、管腔臓器の径路上に異形部(例えば狭窄部)がある場合、上記非特許文献1の技術では、新たなVOIを適切な大きさで設定できず、このような場合、最適な管腔臓器の領域情報を抽出することができないといった問題がある。
本発明は、上述した点に鑑みてなされたもので、例えば狭窄部等の異形部を有する管腔臓器に対して、VOI(Volume Of Interest:注目体積領域)を効果的に設定し、正しく管腔臓器の領域情報を抽出することのできる内視鏡挿入支援システム及び内視鏡挿入支援方法を提供することを目的としている。
本発明の請求項1に記載の内視鏡挿入支援システムは、
被検体の3次元画像データ内の管腔臓器の管腔路内に設定された開始点を有し、前記管腔臓器を内含するように所定の大きさを持つ体積領域を設定する体積領域設定手段と、
前記体積領域内の前記管腔臓器の3次元画像データに基づき、前記体積領域内の管腔領域情報を抽出し、管腔路形状を表すセグメンテーションデータを算出する臓器領域情報算出手段と、
前記体積領域設定手段によって設定された前記体積領域に前記管腔路が内含されているか否かを判定する内含状態判定手段と、
前記臓器領域情報算出結果に基づき、管腔路形状の異形状態を検出する異形状態検出手段と、
前記体積領域設定手段が設定した前記体積領域に階層的に連結させることで得られる階層体積領域を、前記内含状態判定手段の判定結果及び前記異形状態検出手段の検出結果に基づいた大きさに設定する階層体積領域設定手段と、
を備えることを特徴として構成される。
請求項1に記載の内視鏡挿入支援システムによれば、異形部を有する管腔臓器に対して、体積領域を効果的に設定し、正しく管腔臓器の領域情報を抽出することができるという効果がある。
請求項2に記載の内視鏡挿入支援システムは、
請求項1に記載の内視鏡挿入支援システムであって、
前記階層体積領域設定手段は、前記階層体積領域に対して、さらに階層的に連結する次段階層体積領域を設定し、
前記臓器領域情報算出手段は、前記次段階層体積領域における管腔路形状を表すセグメンテーションデータを算出し、
前記異形状態検出手段は、前記臓器領域情報算出結果に基づき、前記階層体積領域内の管腔路形状の異形状態を検出し、
前記階層体積領域制御手段は、検出された前記異形状態に基づき、前記次段階層体積領域の大きさを制御する
ことを特徴として構成される。
請求項2に記載の内視鏡挿入支援システムによれば、所定以上の曲率で曲がっている部位を有す管腔臓器に対して、体積領域を効果的に設定し、正しく管腔臓器の領域情報を抽出することができるという効果がある。
請求項3に記載の内視鏡挿入支援システムは、
請求項1または2に記載の内視鏡挿入支援システムであって、
前記体積領域の端面間の距離を伸縮させる体積領域変更手段を有する
ことを特徴として構成される。
請求項3に記載の内視鏡挿入支援システムによれば、管腔臓器の着目部分に対して、体積領域を効果的に設定し、正しく管腔臓器の領域情報を抽出することができるという効果がある。
請求項4に記載の内視鏡挿入支援システムは、
請求項3に記載の内視鏡挿入支援システムであって、
前記体積領域あるいは前記階層体領域の伸縮方向を判定する方向判定手段をさらに有し、
前記体積領域変更手段は、前記方向判定手段の判定結果に基づき、前記体積領域あるいは前記階層体積領域の端面間の距離を伸縮させる
ことを特徴として構成される。
請求項4に記載の内視鏡挿入支援システムによれば、体積領域あるいは前記階層体積領域の伸縮方向を管腔路の形状にあわせて適切に設定し、処理時間を短縮することができるという効果がある。
請求項5に記載の内視鏡挿入支援システムは、
請求項1ないし4のいずれか一つに記載の内視鏡挿入支援システムであって、
前記異形状態検出手段は、前記セグメンテーションデータの径、面積、周囲長の少なくともいずれか一に基づき、前記階層体積領域の端断面における前記管腔路の狭窄または拡張の状態を、少なくとも前記異形状態として検出する
ことを特徴として構成される。
請求項5に記載の内視鏡挿入支援システムによれば、セグメンテーションデータの径、面積、周囲長の少なくともいずれか一の関係で、階層体積領域の端断面における管腔路の狭窄または拡張の状態を、異形状態として検出するので、実際のシステムと同様に異形状態を検出できることになる。
請求項6に記載の内視鏡挿入支援システムは、
請求項1ないし5のいずれか一つに記載の内視鏡挿入支援システムであって、
前記内含状態判定手段は、前記体積領域あるいは前記階層体積領域の端面における前記管腔路の分岐穴の検出に基づき前記管腔路の内含状態を判定する
ことを特徴として構成される。
請求項6に記載の内視鏡挿入支援システムによれば、体積領域あるいは前記階層体積領域における管腔路の内包状態を適切に判定し、正しく管腔臓器の領域情報を抽出することができるという効果がある。
請求項7に記載の内視鏡挿入支援システムは、
請求項1ないし6のいずれか一つに記載の内視鏡挿入支援システムであって、
前記内含状態判定手段は、前記体積領域あるいは前記階層体積領域の側面における前記管腔臓器の検出に基づき前記管腔路臓器の内含状態を判定する
ことを特徴として構成される。
請求項7に記載の内視鏡挿入支援システムによれば、体積領域あるいは前記階層体積領域における管腔路の内包状態を適切に判定し、正しく管腔臓器の領域情報を抽出することができるという効果がある。
請求項8に記載の内視鏡挿入支援システムは、
請求項1ないし7のいずれか一つに記載の内視鏡挿入支援システムであって、
前記体積領域及び前記階層体積領域の、少なくとも端面近傍内の管腔路断面の重心点を結ぶ線を略中心線として内視鏡挿入支援ルートに設定するルート設定手段を
さらに有することを特徴として構成される。
請求項8に記載の内視鏡挿入支援システムによれば、ルートが管腔路断面の重心点を通ることにより、実際の内視鏡挿入時の内視鏡先端の軌跡と比べて遜色のないものになるという効果がある。
請求項9に記載の内視鏡挿入支援システムは、
請求項8に記載の内視鏡挿入支援システムであって、
前記管腔路挿入支援ルートは、前記略中心線を曲線補正して設定される
ことを特徴として構成される。
請求項9に記載の内視鏡挿入支援システムによれば、ルートが滑らかな曲線になることにより、実際の内視鏡挿入時の内視鏡先端の軌跡と比べて遜色のないものになるという効果がある。
請求項10に記載の内視鏡挿入支援システムは、
請求項1ないし9のいずれか一つに記載の内視鏡挿入支援システムであって、
前記被検体の前記3次元画像データに基づき前記被検体内の多断面再構築画像を生成する多断面再構築画像生成手段と、
生成された前記多断面再構築画像上において前記開始点を指定する開始点指定手段と、
をさらに有することを特徴として構成される。
請求項10に記載の内視鏡挿入支援システムによれば、開始点を多断面再構築画像上で指定させることにより、使用者が意図した位置を正確に取得することができるという効果がある。
請求項11に記載の内視鏡挿入支援システムは,
請求項1ないし10のいずれか一つに記載の内視鏡挿入支援システムであって、
前記開始点座標指定手段が指定する前記開始点の座標は、少なくとも前記体積領域あるいは前記階層体積領域の端面の近傍座標である
ことを特徴として構成される。
請求項11に記載の内視鏡挿入支援システムによれば、開始点近傍より臓器抽出を抽出し、臓器の意図しない範囲を抽出することを防ぎ、処理時間を短縮することができるという効果がある。
請求項12に記載の内視鏡挿入支援システムは、
請求項1ないし11のいずれか一つに記載の内視鏡挿入支援システムであって、
前記管腔臓器は、気管支、血管、大腸、小腸、または、リンパ管のいずれかである
ことを特徴として構成される。
請求項12に記載の内視鏡挿入支援システムによれば、少なくとも気管支、血管、大腸、小腸、胆管、膵管または、リンパ管のいずれかの臓器の管腔の情報を提示することにより的確な内視鏡による診断、治療をすることができるという効果がある。
本発明によれば、狭窄部を有する管腔臓器に対して、VOI(Volume Of Interest:注目体積領域)を効果的に設定し、管腔臓器の管腔路領域情報を抽出することができるという効果がある。
本発明の実施例1に係る気管支内視鏡挿入支援システムの構成を示す構成図 図1のVOI生成設定部の構成を示す機能ブロック図 図1の気管支内視鏡挿入支援システムの作用を説明するフローチャート 図3の処理で展開される患者情報選択画面を示す図 図1のMPR画像生成部が生成するMPR画面を示す図 図5のMPR画面上で設定される始点を模式的に示す気管支模式図 図5のMPR画面上で設定されるルートを模式的に示す気管支模式図 図3の気管支領域情報抽出処理の流れを示すフローチャート 図8の新規VOI配置・登録処理の流れを示すフローチャート 図8の気管支領域情報抽出処理を説明する第1の図 図8の気管支領域情報抽出処理を説明する第2の図 図8の気管支領域情報抽出処理を説明する第3の図 図8の気管支領域情報抽出処理を説明する第4の図 図8の気管支領域情報抽出処理を説明する第5の図 図8の気管支領域情報抽出処理を説明する第6の図 図8の気管支領域情報抽出処理を説明する第7の図 図8の気管支領域情報抽出処理を説明する第8の図 図8の気管支領域情報抽出処理を説明する第9の図 図8の気管支領域情報抽出処理を説明する第10の図 図8の気管支領域情報抽出処理を説明する第11の図 図8の気管支領域情報抽出処理を説明する第12の図 図8の気管支領域情報抽出処理を説明する第13の図 図8の気管支領域情報抽出処理を説明する第14の図 図8の気管支領域情報抽出処理を説明する第15の図 図8の気管支領域情報抽出処理を説明する第16の図 図8の気管支領域情報抽出処理を説明する第17の図 図9の新規VOI配置・登録処理を説明する第1の図 図9の新規VOI配置・登録処理を説明する第2の図 図9の新規VOI配置・登録処理を説明する第3の図 図9の新規VOI配置・登録処理を説明する第4の図 図8の分岐点抽出処理を説明する第1の図 図8の分岐点抽出処理を説明する第2の図 図8の気管支領域断面判定処理を説明する第1の図 図8の気管支領域断面判定処理を説明する第2の図 図8の気管支領域断面判定処理を説明する第3の図 図8の気管支領域断面判定処理を説明する第4の図 図8の気管支領域断面判定処理を説明する第5の図 図8の気管支領域情報抽出処理と対比される従来の気管支領域情報抽出処理の流れを示すフローチャート 図38の気管支領域情報抽出処理を説明する第1の図 図38の気管支領域情報抽出処理を説明する第2の図 図38の気管支領域情報抽出処理を説明する第3の図 図38の気管支領域情報抽出処理を説明する第4の図 図8の気管支領域情報抽出処理を説明する第18の図 図8の気管支領域情報抽出処理を説明する第19の図 図8の気管支領域情報抽出処理を説明する第20の図 図8の気管支領域情報抽出処理を説明する第21の図 図1のルート設定部のルート設定を説明する第1の図 図1のルート設定部のルート設定を説明する第2の図 図1のルート設定部のルート設定を説明する第3の図 図1のルート設定部のルート設定を説明する第4の図 図1のルート設定部によるルートの曲線化処理を説明する図 図51の曲線化処理されたルートを示す図 図1の内視鏡挿入支援装置により生成される挿入支援画面を示す図 図1のVOI生成設定部で生成されるVOIの変形例を示す図
以下、図面を参照しながら本発明の実施例について述べる。
(実施例1)
図1ないし図54は本発明の実施例1に係わり、図1は気管支内視鏡挿入支援システムの構成を示す構成図、図2は図1のVOI生成設定部の構成を示す機能ブロック図、図3は図1の気管支内視鏡挿入支援システムの作用を説明するフローチャート、図4は図3の処理で展開される患者情報選択画面を示す図、図5は図1のMPR画像生成部が生成するMPR画面を示す図、図6は図5のMPR(多断面再構築画像)画面上で設定される始点を模式的に示す気管支模式図、図7は図5のMPR画面上で設定されるルートを模式的に示す気管支模式図、図8は図3の気管支領域情報抽出処理の流れを示すフローチャート、図9は図8の新規VOI配置・登録処理の流れを示すフローチャート、図10は図8の気管支領域情報抽出処理を説明する第1の図である。
図11は図8の気管支領域情報抽出処理を説明する第2の図、図12は図8の気管支領域情報抽出処理を説明する第3の図、図13は図8の気管支領域情報抽出処理を説明する第4の図、図14は図8の気管支領域情報抽出処理を説明する第5の図、図15は図8の気管支領域情報抽出処理を説明する第6の図、図16は図8の気管支領域情報抽出処理を説明する第7の図、図17は図8の気管支領域情報抽出処理を説明する第8の図、図18は図8の気管支領域情報抽出処理を説明する第9の図、図19は図8の気管支領域情報抽出処理を説明する第10の図、図20は図8の気管支領域情報抽出処理を説明する第11の図である。
図21は図8の気管支領域情報抽出処理を説明する第12の図、図22は図8の気管支領域情報抽出処理を説明する第13の図、図23は図8の気管支領域情報抽出処理を説明する第14の図、図24は図8の気管支領域情報抽出処理を説明する第15の図、図25は図8の気管支領域情報抽出処理を説明する第16の図、図26は図8の気管支領域情報抽出処理を説明する第17の図、図27は図9の新規VOI配置・登録処理を説明する第1の図、図28は図9の新規VOI配置・登録処理を説明する第2の図、図29は図9の新規VOI配置・登録処理を説明する第3の図、図30は図9の新規VOI配置・登録処理を説明する第4の図である。
図31は図8の分岐点抽出処理を説明する第1の図、図32は図8の分岐点抽出処理を説明する第2の図、図33は図8の気管支領域断面判定処理を説明する第1の図、図34は図8の気管支領域断面判定処理を説明する第2の図、図35は図8の気管支領域断面判定処理を説明する第3の図、図36は図8の気管支領域断面判定処理を説明する第4の図、図37は図8の気管支領域断面判定処理を説明する第5の図、図38は図8の気管支領域情報抽出処理と対比される従来の気管支領域情報抽出処理の流れを示すフローチャート、図39は図38の気管支領域情報抽出処理を説明する第1の図、図40は図38の気管支領域情報抽出処理を説明する第2の図である。
図41は図38の気管支領域情報抽出処理を説明する第3の図、図42は図38の気管支領域情報抽出処理を説明する第4の図、図43は図8の気管支領域情報抽出処理を説明する第18の図、図44は図8の気管支領域情報抽出処理を説明する第19の図、図45は図8の気管支領域情報抽出処理を説明する第20の図、図46は図8の気管支領域情報抽出処理を説明する第21の図、図47は図1のルート設定部のルート設定を説明する第1の図、図48は図1のルート設定部のルート設定を説明する第2の図、図49は図1のルート設定部のルート設定を説明する第3の図、図50は図1のルート設定部のルート設定を説明する第4の図である。
図51は図1のルート設定部によるルートの曲線化処理を説明する図、図52は図51の曲線化処理されたルートを示す図、図53は図1の内視鏡挿入支援装置により生成される挿入支援画面を示す図、図54は図1のVOI生成設定部で生成されるVOIの変形例を示す図である。
実施例1:
図1に示すように、本実施例の内視鏡挿入支援システムとしての気管支内視鏡挿入支援システム1は、気管支内視鏡装置2と、気管支形状抽出装置としての内視鏡挿入支援装置6とから構成される。
内視鏡挿入支援装置6はCT画像データに基づき気管支形状を抽出し、気管支内部の仮想の内視鏡像(以下、VBS画像と記す)を生成する。そして、気管支内視鏡装置2により得られる内視鏡画像(以下、ライブ画像と記す)とVBS画像を合成して合成画像をモニタ5に表示し気管支内視鏡装置2の気管支への挿入支援を行う。
また、気管支内視鏡装置2は、図示はしないが、撮像手段を有する気管支内視鏡と、気管支内視鏡に照明光を供給する光源と、気管支内視鏡からの撮像信号を信号処理するカメラコントロールユニット等から構成される。そして、気管支内視鏡装置2は、気管支内視鏡を患者体内の気管支内に挿入し気管支内を撮像しながら目的組織を生検する。
また、内視鏡挿入支援装置6はライブ画像とVBS画像を合成して合成画像を操作モニタ7にも表示する。操作モニタ7にはタッチパネルからなる入力部8が設けられ、気管支内視鏡の挿入手技を行いながらタッチパネルからなる入力部8を容易に操作することが可能となっている。
内視鏡挿入支援装置6は、CT画像データ取り込み部10、CT画像データ格納部11、多断面再構築画像生成手段としてのMPR画像生成部12、体積領域設定手段及び階層体積領域設定手段としてのVOI(Volume Of Interest:注目体積領域=以下、単にVOIと記す)生成設定部13、臓器領域情報算出手段及び異形状態検出手段としての臓器領域抽出部14、ルート設定手段としてのルート設定部15、VBS画像生成部16、VBS画像格納部17、画像処理部18、画像表示制御部19及び設定情報入力部20とを備えて構成される。以下、上記各部を説明する。
CT画像データ取り込み部10は、患者のX線断層像を撮像する図示しない公知のCT装置で生成された3次元画像データを、例えばMO(Magnetic Optical disk)装置やDVD(Digital Versatile Disk)装置等、可搬型の記憶媒体を介して取り込みを行う。
CT画像データ格納部11は、CT画像データ取り込み部10によって取り込まれたCT画像データを格納する。
MPR画像生成部12は、CT画像データ格納部11に格納されているCT画像データに基づきMPR画像(多断面再構築画像)を生成する。
VOI生成設定部13は、設定情報入力部20によりMPR画像上で設定された始点等を含むCT画像データ格納部12に格納されているCT画像データ上に所定の大きさのVOIを設定する。なお、VOI生成設定部13は、後述するように、設定したVOIを伸長したり、回転させて向きを変更したり、あるいは新たな任意の位置を起点に新たなVOIを設定する機能を有する。詳細は後述する。
臓器領域抽出部14は、VOI生成設定部13が設定したVOI内のCT画像データより管腔臓器の管腔路領域情報(少なくとも管腔路内壁面を含む)を抽出する(以下、セグメンテーション処理と記す)。さらに、臓器領域抽出部14は、VOI生成設定部13が設定した複数のVOI毎に臓器構造をセグメンテーション処理して得られた前記管腔路領域情報をリンクさせ、気管支全体の管腔路領域情報の抽出処理を実行する。臓器領域抽出部14での具体的な処理は後述する。
ルート設定部15は、設定情報入力部20により挿入支援を開始する支援開始点と支援終点であるターゲットに至る気管支内の支援に最適な挿入ルートを臓器領域抽出部14が抽出した気管支全体の管腔路領域情報より設定する。
VBS画像生成部16は、CT画像データ格納部11に格納されているCT画像データに基づきルート設定部15によって設定されたルートにおける連続したVBS画像をフレーム単位で生成する。
VBS画像格納部17は、VBS画像生成部16が生成したVBS画像を格納する。
画像処理部18は、気管支内視鏡装置2からの撮像信号及び入力部8からの入力信号を入力し、ライブ画像、VBS画像及び複数のサムネイルVBS画像からなる合成画像である後述する内視鏡挿入支援画面を生成する。
画像表示制御部19は、ルート設定部15が生成したルート設定画面及び画像処理部18が生成した挿入支援画面をモニタ5に表示させる。
設定情報入力部20は、VOI生成設定部13及びルート設定部15に対して設定情報を入力するキーボード及びポインティングデバイス等から構成される。
気管支内視鏡装置2は、内視鏡挿入支援装置6の画像処理部18からVBS画像及びサムネイルVBS画像を受け取りライブ画像と合成した合成画像である挿入支援画像を操作モニタ7に表示すると共に、操作モニタ7のタッチセンサからなる入力部8からの入力情報が内視鏡挿入支援装置6の画像処理部18に出力するようになっている。
なお、CT画像データ格納部11及びVBS画像格納部17は、1つのハードディスクによって構成してもよく、また、MPR画像生成部12、VOI生成設定部13、臓器領域抽出部14、ルート設定部15、VBS画像生成部16及び画像処理部18は1つの演算処理回路で構成することができる。
また、CT画像データ取り込み部10はMOあるいはDVD等の可搬型の記憶媒体を介してCT画像データを取り込みとしたが、CT装置あるいはCT画像データを保存している院内サーバが院内LANに接続されている場合には、CT画像データ取り込み部10を該院内LANに接続可能なインターフェイス回路により構成し、院内LANを介してCT画像データを取り込むようにしてもよい。 VOI生成設定部13は、図2に示すように、設定点座標指定手段及び体積領域設定手段としてのVOI設定機能部13a、体積領域変更手段としてのVOI伸長機能部13b、方向判定手段としてのVOI方向判定機能部13c、VOI分岐判定機能部13d、設定点座標指定手段及び階層体積領域設定手段としてのVOI再設定機能部13e、VOI情報格納機能部13f、VOIサイズ判定機能部13g及びVOI分岐抽出機能部13hより構成される。これらの各機能部の詳細は後述する。
なお、設定点座標指定手段は、上記のVOI設定機能部13a及びVOI再設定機能部13eにより構成される。また、内含状態判定手段は、上記のVOI方向判定機能部13c、VOIサイズ判定機能部13g及びVOI分岐抽出機能部13hより構成される。
このように構成された本実施例の作用について説明する。
図3に示すように、気管支内視鏡装置2による観察・処置に先立ち、内視鏡挿入支援装置6は、ステップS1にてCT画像データ取り込み部10によりCT装置で生成された患者のCT画像データを取り込み、ステップS2にて取り込んだCT画像データをCT画像データ格納部11に格納する。
そして、ステップS3にて設定情報入力部20が操作されることにより、VOI生成設定部13は、画像処理部18を介して(図1参照)、モニタ5に図4に示すような患者情報選択画面22を表示させ、患者情報選択画面22にてユーザによる患者情報の選択を待つ。
ここで、ユーザが患者情報を選択し、患者情報選択画面22のVOI設定ボタン23を設定情報入力部20の操作でポインタ24により選択する。患者情報選択画面22による患者情報の選択は、例えば設定情報入力部20により患者を識別する患者IDを入力することで行われる。
ユーザによる選択操作が確認されると、ステップS4にて画像処理部18を介して(図1参照)MPR画像生成部12は、選択された患者の例えば3つの異なる多断面像からなるMPR画像を生成する。すなわち、MPR画像生成部12は、図5に示すようなアキシャル画像25a、サジタル画像25b、コロナル画像25cからなるMPR画像25とVOI情報を表示するVOI情報画面28とを有するMPR画面26を生成し、画像処理部18を介して(図1参照)モニタ5に表示する。
そして、内視鏡挿入支援装置6は、ステップS5にてユーザによるMPR画像25上での根VOIの設定位置である始点の設定を待つ。ここで、ユーザが設定情報入力部20を用いてポインタ24によりMPR画像25上での根VOIの設定位置である始点を指定すると、指定した位置に始点マーカ27がMPR画像25上に表示される。なお、この始点はトラキア等の体軸方向(頭と足を結ぶ方向:CT画像のスライス画像に直交する方向)と平行に走行する気管支内に指定される。
次に、ステップS6にて後述する気管支領域情報抽出処理において、VOI生成設定部13は、始点マーカ27に体積領域である根VOIを設定し、この根VOIを起点に複数のVOIを設定しつつ、臓器領域抽出部14がVOI内のセグメンテーション処理を実行する。なお、根VOIは、体軸方向と垂直で始点を含む、上面を有するように設定される。
この処理の詳細は後述するが、模式的には、図6に示すように、VOI生成設定部13が気管支50の所望の気管支枝内の位置に始点マーカ27を指定すると、VOI生成設定部13はさらに始点マーカ27を含む所定の大きさの根VOI102を設定し、VOI102を伸長したり、新たなVOIを再設定することで、臓器領域抽出部14が気管支50全体のセグメンテーション処理を行う。
そして、ステップS7にてルート設定部15が、図7に示すように、モニタ5に表示されている気管支50上で設定情報入力部20により設定された挿入支援開始点51から挿入支援終了点であるターゲット500に至るルート52を設定する。このルート52が設定されるとVBS画像生成部15は、設定したルート52の連続したVBS画像をフレーム単位で生成する。
なお、挿入支援開始点51は始点マーカ27とは必ずしも一致せず、ユーザが挿入支援の開始を必要とする位置に挿入支援開始点51が設定される。
次に、ステップS8にてVBS画像生成部15は、生成したVBS画像をVBS画像格納部16に格納し、ステップS9にて画像処理部18及び画像表示制御部19がVBS画像格納部16に格納されているVBS画像を気管支内視鏡装置2の挿入手技に応じてモニタ5及び操作モニタ7に表示可能な状態とする。
上記のステップS1〜S9の処理により、気管支内視鏡による観察・処置時の内視鏡挿入支援装置6による挿入支援の準備が完了する。
次に、上記ステップS6の気管支領域情報抽出処理の詳細を図8及び図9のフローチャートを用いて説明する。
気管支領域情報抽出処理は、図8に示すように、ステップS11にてユーザの指示によって設定情報入力部20により始点(設定点)が指定され、始点マーカ27が始点(設定点)に設定されると、ステップS12にて新規に根VOI102を配置・登録する。
ステップS12のVOI配置・登録処理の詳細は後述するが、ここではまず、具体的には、図10に示すように、VOI生成設定部13において、VOI設定機能部13aが気管支の第1階層気管支枝100の始点マーカ27が設定された上部断面101を含む、例えば四角柱形状の所定の大きさの根VOI102を設定する。そして、この根VOI102の設定情報である、根VOI102を構成する各ボクセルの座標データがVOI情報格納機能部13fに登録/格納される。
なお、上述したように、根VOI102は、体軸方向に垂直な始点を含む上面を有し、始点よりも足側に底面を有する。
次に、ステップS13にて臓器領域抽出部14は、VOI情報格納機能部13fに登録されている根VOI102の各ボクセルの座標データを取り出す。そして、ステップS14にて、図11に示すように、臓器領域抽出部14は、CT画像データ格納部11からのCT画像データに基づいて根VOI102に対してセグメーテション処理を実行して、根VOI102内の第1階層気管支枝100の管腔路領域情報を抽出し、この管腔路領域情報を臓器領域抽出部14内の記憶部(図示せず)に格納する。
続いて、ステップS15にて臓器領域抽出部14は、抽出した管腔路領域情報に基づき気管支領域の断面形状を判定し、この断面形状を臓器領域抽出部14内の記憶部(図示せず)に格納する。そして、ステップS16にてVOI分岐判定機能部13dが根VOI102の底面が気管支枝の分岐に到達したかどうか判定する。
ここで気管支枝の分岐に到達していない場合には、ステップS17にてVOIサイズ判定機能部13gが根VOI102の大きさが所定以下かどうか判断する。詳細は後述する。
次に、VOIサイズ判定機能部13gが根VOI102の大きさが所定以下と判定すると、ステップS18にてVOI方向判定機能部13cは、設定されている根VOI102の方向が第1階層気管支枝100が延びている方向(以下、第1階層枝延長方向と記す)110に対して適切な向きかどうかを判定する。
根VOI102の方向が第1階層枝延長方向110に向いていると判定されると、ステップS19にて図12に示すように、VOI伸長機能部13bが根VOI102を第1階層枝延長方向110に所定量Δtだけ伸長してステップS14に戻る。ステップS14にて臓器領域抽出部14がCT画像データに基づいて所定量Δt伸長した根VOI102に対してセグメーテション処理を実行して管腔路領域情報を抽出し、臓器領域抽出部14内の記憶部(図示せず)に格納する。
そして、ステップS14〜S19の処理を繰り返し、図13に示すように根VOI102の伸長がΔt×nに達し、ステップS16にてVOI分岐判定機能部13dが図14に示すように根VOI102の底面に、例えば2つの気管支枝の分岐断面111(1)、111(2)を検知し、第1階層気管支枝100が分岐に到達したと判断すると、ステップS12に戻る。すなわち、ステップS16にてVOI分岐判定機能部13dが根VOI102の底面において分岐に到達したと判断すると、ステップS12に戻る。
そして、ステップS12では、図15に示すように、VOI再設定機能部13eが、例えば第1階層枝延長方向110と分岐断面111(1)、111(2)の各重心C1,C2との交点との交点を新たな分岐始点(設定点)bとして、図16及び図17に示すように、それぞれの分岐に沿った新たなVOI102(1)、VOI102(2)を配置する。そして、VOI再設定機能部13eがVOI102(1)、VOI102(2)を構成する各ボクセルの座標データをVOI情報格納機能部13fに登録/格納する。
このVOI102(1)、VOI102(2)が、体積領域である根VOI102に対する階層体積領域となる。
このとき、VOI情報格納機能部13fでは、根VOI102を構成する各ボクセルの座標データと、VOI102(1)、VOI102(2)を構成する各ボクセルデータの座標データとがリンクされて、データベース化されて格納される。すなわち、根VOI102を構成する各ボクセルの座標データと、VOI102(1)、VOI102(2)を構成する各ボクセルの座標データとが連結された状態でデータが格納される。
ここで、少なくとも、VOI情報格納機能部13fは、図示しないメモリに3次元データ上で根VOI102の上面が位置する座標とどのVOIが接続されるかを登録する。また、VOI情報格納機能部13fは、始点マーカ27が示す始点と分岐始点bとを結ぶ線分と、分岐始点bと重心C1とを結ぶ線分と、分岐始点bと重心C2とを結ぶ線分とを根VOI102の略中心線であるVOI芯線として登録する。
なお、分岐始点bは分岐断面111(1)、111(2)の各重心C1,C2を通り、分岐断面111(1)を有する第2階層第1気管支枝100(1)の第2階層第1枝延長方向110(1)(=第2層第1気管支枝100(1)が延びている方向)と第1階層枝延長方向110との交点及び分岐断面111(2)を有する第2階層第2気管支枝100(2)の第2階層第2枝延長方向110(2)(=第2層第2気管支枝100(2)が延びている方向)と第1階層枝延長方向110との交点とにより決定される。
具体的には、例えば第2階層第1気管支枝100(1)に配置・登録される新たなVOI102(1)は、図16に示すように、第1階層気管支枝100上の分岐始点bを有し第2階層第1枝延長方向110(1)を法線とする断面101(1)を上面に含む所定の大きさ四角柱形状として設定される。
同様に、第2階層第2気管支枝100(2)に配置・登録される新たなVOI102(2)は、図17に示すように、第1階層気管支枝100上の分岐始点bを有し第2階層第2枝延長方向110(2)を法線とする断面101(2)を上面に含む所定の大きさ四角柱形状として設定される。
このように設定された新たなVOI(1)あるいはVOI102(2)においても、上述した図8のステップS14〜S19の処理を繰り返される。
すなわち、図16の第2層第1気管支枝100(1)に配置・登録される新たなVOI102(1)を例に説明すると、ステップS14にて臓器領域抽出部14は、CT画像データ格納部11からのCT画像データに基づいてVOI102(1)に対してセグメーテション抽出処理を実行しVOI102(1)内の第2層第1気管支枝100(1)の管腔路領域情報を抽出する。そして臓器領域抽出部14は、管腔路領域情報を臓器領域抽出部14内の記憶部(図示せず)に格納する。
そしてステップS15を経て、ステップS16にてVOI分岐判定機能部13dがVOI102(1)の底面が気管支枝の分岐に到達したかどうか判定する。
ここで気管支枝の分岐に到達していないと判定された場合には、ステップS17にてVOIサイズ判定機能部13gがVOI102(1)の大きさが所定以下かどうか判断する。詳細は後述する。
そして、ステップS18にてVOI方向判定機能部13cが、設定されているVOI102(1)の方向が第2層第1枝延長方向110(1)に対して適切な向きかどうかを判定する。
VOI102(1)の方向が第2層第1枝延長方向110(1)に向いていると判定されると、ステップS19にて図18に示すように、VOI伸長機能部13bがVOI102(1)を第2層第1枝延長方向110(1)に所定量伸長してステップS14に戻り、ステップS14にて臓器領域抽出部14がCT画像データに基づいて所定量伸長したVOI102(1)に対してセグメーテション処理を実行し、ステップS14〜S17の処理を繰り返す。
ステップS16にてVOI分岐判定機能部13dがVOI102(1)の底面が分岐に到達したと判断しステップS12に戻った場合には、ステップS12では、上述したVOI(1)及びVOI102(2)の配置の場合と同様な処理が行われる。すなわち、図19及び図20に示すように、VOI再設定機能部13eは、第2層第1枝延長方向110(1)と分岐断面111(11)、111(12)の各重心C3,C4との交点との交点を新たな分岐始点b1としてそれぞれの分岐に沿った新たなVOI102(11)(図19参照)、VOI102(12)(図20参照)を配置する。そして、VOI102(11)、VOI102(12)を構成する各ボクセルの座標データがVOI情報格納機能部13fに登録/格納される。
このVOI102(11)、VOI102(12)が、階層体積領域であるVOI102(1)に対する次段階層体積領域となる。
このとき、VOI情報格納機能部13fでは、根VOI102を構成する各ボクセルの座標データと、VOI102(1)を構成する各ボクセルの座標データと、VOI102(11)、VOI102(12)を構成する各ボクセルの座標データとがリンクされて、データベース化されて格納される。
ここで、少なくとも、VOI情報格納機能部13fは、図示しないメモリに3次元データ上でVOI102(1)の上面が位置する座標とどのVOIが接続されるかを登録する。また、VOI情報格納機能部13fは、VOI102(1)内の分岐始点bとVOI102(11)内の分岐始点b1を結ぶ線分と、VOI102(11)内の分岐始点b1と重心C3とを結ぶ線分と、分岐始点b1と重心C2とを結ぶ線分とをVOI102(1)の略中心線であるVOI芯線として登録する。
そして、ステップS13にて臓器領域抽出部14は、VOI情報格納機能部13fに登録されている新たなVOI102(11)あるいはVOI102(12)を取り出し、上述した図8のステップS14〜S19の処理が繰り返される。
すなわち、図19の第3層第1気管支枝100(11)に配置・登録される新たなVOI102(11)を例に説明すると、ステップS14にて臓器領域抽出部14は、CT画像データ格納部11からのCT画像データに基づいてVOI102(11)に対してセグメーテション処理を実行しVOI102(11)内の第3層第1気管支枝100(11)の管腔路領域情報を抽出する。そして臓器領域抽出部14は、管腔路領域情報を臓器領域抽出部14内の記憶部(図示せず)に格納する。
続いて、ステップS15を経て、ステップS16にてVOI分岐判定機能部13dがVOI102(11)の底面が気管支枝の分岐に到達したかどうか判定する。
ここで気管支枝の分岐に到達していないと判定された場合には、ステップS17にてVOI方向判定機能部13cが、設定されているVOI102(11)の方向が第3層第1枝延長方向110(11)(=第3層第1気管支枝100(11)が延びている方向)に対して適切な向きかどうかを判定する。
VOI102(11)の方向が第3層第1枝延長方向110(11)に向いていると判定されると、ステップS18を経て、ステップS19にて図21に示すように、VOI伸長機能部13bがVOI102(11)を第3層第1枝延長方向110(11)に所定量伸長してステップS14に戻り、ステップS14にて臓器領域抽出部14がCT画像データに基づいて所定量伸長したVOI102(11)においてセグメーテション処理を実行し、ステップS14〜S19の処理を繰り返す。
ステップS16にてVOI分岐判定機能部13dがVOI102(11)の底面が分岐ではなく、分岐点を超えたと判断すると、VOI分岐判定機能部13dはステップS20にて末梢かどうか判断し、図21に示すように、末梢に到達したと判断した場合には、図8に示したステップS22に進む。また、末梢に到達していないと判断するとステップS21に進み、ステップS21にて後述する分岐点抽出処理を実行しステップS12に戻る。
なお、ステップS20にてVOI分岐判定機能部13dは、図22に示すように、VOI102(11)の底面での気管支断面の数が0であると検知すると、末梢であると判定する。
ステップS22では、VOI生成設定部13が全VOIを構成するボクセルの座標データがVOI情報格納機能部13fにリンクして登録/格納する。また、VOI情報格納機能部13fは、VOI102(11)内の分岐始点b1とVOI102(11)の末梢点x1を結ぶ線分をVOI102(11)のVOI芯線として登録する。
さらに、ステップS22では、臓器領域抽出部14がCT画像データに基づいて全気管支領域でのセグメーテション処理が完了し、全気管支枝の管腔路領域情報を臓器領域抽出部14内の記憶部(図示せず)に格納したかどうか(抽出完了)を判断する。
VOI生成設定部13及び臓器領域抽出部14が全気管支枝の抽出完了していないと判断すると、ステップS13に戻り、VOI情報格納機能部13fに登録/格納されていて、管腔路領域情報が抽出されていない分岐を底面に有するVOIを取り出し、該VOIの分岐に対して上記ステップS13〜S22の処理を実行する。
また、ステップS22にてVOI生成設定部13及び臓器領域抽出部14が全気管支枝の抽出が完了したと判断すると、ステップS23に進む。
このステップS23では、抽出されなかった気管支枝への抽出領域を拡張するかどうかをユーザの判断によりVOI再設定機能部13eが確認する。抽出されなかった気管支枝への抽出領域をVOI再設定機能部13eが確認するとステップS11に戻り抽出されなかった気管支枝への抽出処理を行う。また、抽出されなかった気管支枝への抽出領域をVOI再設定機能部13eが確認しない場合には処理を終了する。
なお、抽出領域拡張判断のステップS23の処理の具体例の詳細は後述する。
また、図17の第2層第2気管支枝100(2)に配置・登録される新たなVOI102(2)を例に説明すると、ステップS14にて臓器領域抽出部14がCT画像データ格納部11からのCT画像データに基づいてVOI102(2)においてセグメーテション処理を実行しVOI102(2)内の第2層第2気管支枝100(2)の管腔路領域情報を抽出する。そして管腔路領域情報を臓器領域抽出部14内の記憶部(図示せず)に格納する。
続いて、ステップS15を経て、ステップS16にてVOI分岐判定機能部13dがVOI102(2)の底面が気管支枝の分岐に到達したかどうか判定する。
ここで気管支枝の分岐に到達していないと判定された場合には、ステップS17を経て、ステップS18にてVOI方向判定機能部13cが設定されているVOI102(2)の方向が第2層第2枝延長方向110(2)に対して適切な向きかどうかを判定する。
VOI102(2)の方向が第2層第2枝延長方向110(2)に向いていると判定されると、ステップS19にてVOI伸長機能部13bがVOI102(2)を第2層第2枝延長方向110(2)に所定量伸長してステップS14に戻り、ステップS14にて臓器領域抽出部14がCT画像データに基づいて所定量伸長したVOI102(2)に対してセグメーテション抽出処理を実行し、ステップS14〜S19の処理を繰り返す。
ここで、ステップS14〜S19の処理を繰り返し中に、図23に示すように、第2層第2気管支枝100(2)が途中から所定の角度(あるいは曲率)以上に湾曲していると、VOI102(2)を伸長した結果、図24に示すように、VOI102(2)において底面以外に側面側に第2層第2気管支枝100(2)の断面がはみ出すために、ステップS18にてVOI方向判定機能部13cが、設定されているVOI102(2)の方向が不適切と判断する。
VOI102(2)の方向が不適切と判断されると、VOI伸長機能部13bがVOI102(2)の伸長を1ステップ分だけ戻し、VOI102(2)の底面のみに第2層第2気管支枝100(2)の断面を位置させる。そして、図25に示すように、第2層第2気管支枝100(2)を複数の気管支枝に分割し、底面のみに第2層第2気管支枝100(2)の断面を位置させたVOI102(2)は第1レベルの第2層第2気管支枝100(2a)の管腔路領域情報の抽出に用いる。
なお、図26に示すように、第1レベルの第2層第2気管支枝100(2a)の上側は第1階層気管支枝100に連結しており、第1レベルの第2層第2気管支枝100(2a)の下側は第2レベルの第2層第2気管支枝100(2b)に連結している。
そして、ステップS18からステップS12に戻り、ステップS12にてVOI再設定機能部13eは、上面中心がVOI102(2)に含まれていることが判明している気管支断面101(2a)の重心g1であって、下面中心が第1レベルの第2層第2気管支枝100(2a)に含まれていることが判明している気管支断面101(2a1)の重心g2である新しいVOI102(2a)を配置する。そして、ステップS13にてVOI102(2a)を構成する各ボクセルの座標データがVOI情報格納機能部13fに登録/格納される。そして、ステップS14以降の処理を実行する。
なお、このステップS13の処理のときも、VOI情報格納機能部13fでは、根VOI102を構成する各ボクセルの座標データと、VOI102(2)を構成する各ボクセルの座標データと、VOI102(2a)を構成する各ボクセルの座標データとがリンクされて、データベース化されて格納される。
ここで、少なくとも、VOI情報格納機能部13fは、図示しないメモリに3次元データ上でVOI102(2)の上面が位置する座標とどのVOIが接続されるかを登録する。また、VOI情報格納機能部13fは、VOI102(2)内の重心g1とVOI102(2a)内の重心g2を結ぶ線分をVOI102(2a)のVOI芯線として登録する。
以下、第2層第2気管支枝100(2)の曲がりに応じて、ステップS16からステップS12に戻り、例えば図26に示すように、上述したようにVOI102(2a)に連結する新たなVOI102(2b)を第1レベルの第2層第2気管支枝100(2a)に連結する第2レベルの第2層第2気管支枝100(2b)に配置する。
なお、VOI方向判定機能部13cがVOIの方向を不適切と判断する条件として、上記では「底面以外に側面側に気管支枝の断面がはみ出した場合」としたが、これに限らず、例えば
(1)「VOIの側面に気管支枝が接触した場合」
あるいは、
(2)「VOIの底面の重心が気管支断面の重心と一致しない場合」
等を条件として、VOIの方向を不適切と判断するようにしてもよい。
次に、図9及び図27ないし図30を用いて、図8のステップS12の新規VOI配置・登録処理について説明する。
上記ステップS12の新規VOI配置・登録処理では、図9に示すように、ステップS12aにて、まず、VOI設定機能部13aが、設定点を含む、VOI断面及びステップS19にて伸長した伸長VOI断面、さらにステップS16での分岐点検出に基づく新規VOI断面、あるいはステップS17でのVOI大きさ判定に基づく新規VOI断面、またステップS18でのVOI方向判定に基づく新規VOI断面等における管腔臓器の断面形状を解析する。
そして、ステップS12bにて、VOI設定機能部13aが管腔臓器の断面形状に基づき、例えば図27に示すような管腔臓器の断面101を有するVOI開始断面を設定する。
次に、ステップS12cにて、VOI設定機能部13aが管腔臓器の断面形状に基づき、VOI開始断面内の管腔臓器の断面の重心及び半径rを算出し、さらに、VOI設定機能部13aはステップS12dにて管腔臓器の断面において体軸方向(頭から足に向かう軸方向)の法線ベクトル750(図27参照)を算出する。
そして、ステップS12eにて、VOI設定機能部13aが管腔臓器の断面形状に基づき、管腔臓器の断面101を上面に有する体積領域としてのVOI102(図27参照)を設定する。このVOI102の大きさは、例えば、縦=横=a(=5r)、長さ=b0(r<b0<a)に設定される。
次に、ステップS12fにて、VOI設定機能部13aが法線ベクトル750方向に伸長させる伸長量Δtを算出する。ここで、Δtは、例えばΔt=rに設定される。このΔt(=r)は、少なくともCT画像データの1画素長さ以上に設定される。
さらに、ステップS12gにて、VOI設定機能部13aがVOI開始断面座標、法線ベクトル750及び伸長量Δtを臓器領域抽出部14内の記憶部(図示せず)に格納し、登録して処理を終了する。
図28は図27に示した管腔臓器をVOI開始断面に垂直で、体軸に平行な面でスライスしたVOI102の断面を示し、図29は図28のVOI102を伸長させ、VOI102の大きさが、例えば、縦=横=a(=5r)、長さ=b0+4r(>a)となったVOI102の断面を示している。
図29のように、VOI102の長さ=b0+4r(>a)となると、VOIサイズ判定機能部13gがステップS17にてVOI102の大きさが所定の大きさを超えたと判断する。このステップS17では、VOIサイズ判定機能部13gがさらに伸長されたVOI102の伸長側端面上の管腔臓器の断面の重心位置と、法線ベクトル750が伸長側端面で交差する交点との差分Δrが所定値Lを超えたかどうか判断する。
VOI102の大きさが所定の大きさを超え、かつ差分Δrが所定値Lを超えた場合は、ステップS12に戻り、VOI設定機能部13aが、最終的に伸長されたVOI102の伸長側端面上の管腔臓器の断面の重心位置と、1ステップ伸長前のVOI102の伸長側端面上の管腔臓器の断面の重心位置とを結び、体軸方向(頭から足に向かう軸方向)に向かう新たな法線ベクトル750’(図29参照)を設定する。そして、VOI設定機能部13aがこの法線ベクトル750’と直交する点を有し、最終的に伸長されたVOI102の伸長側端面上の管腔臓器の断面をVOI開始断面として設定する。
そして、VOI設定機能部13aがステップS12にて新たなVOI開始断面有する下層体積領域としての新たなVOI102’(図29参照)を設定する。
なお、新たなVOI102’のVOI開始断面を単純にVOI102の最終断面の重心に連結させると、図29に示すように、新たなVOI102’のVOI開始断面とVOI102の最終断面との間にギャップが生じ、VOI102と新たなVOI102’内の管腔路領域情報が不連続となる虞れがある。そこで、図30のように、VOI設定機能部13aは管腔路領域情報の連続を保つようにギャップを修正して新たなVOI102’(図30参照)を設定する。
従来は画素単位で伸長量を設定していたため管腔路領域情報の算出に多大な時間を要していたが、上述の新規VOI配置・登録処理により、伸長量Δtを従来の画素単位伸長量も大きな、VOI開始断面内の管腔臓器の断面の半径rに設定するので、高速に管腔路領域情報を得ることができる。
なお、伸長量Δtを管腔臓器の断面の半径rに設定することで、気管支の場合、全気管支領域の管腔路領域情報の取得時間を、例えば1/6に短縮することが可能である。
次に、図8のステップS21における分岐点抽出処理について図31及び図32を用いて説明する。図8で説明したように、分岐点を超え(ステップS16)、かつ気管支末梢ではない(ステップS20)と判断されると、ステップS21の分岐点抽出処理が実行される。
この分岐点抽出処理では、図31及び図32に示すように、VOI分岐抽出機能部13hにより、r(=Δt)ピッチで伸長したVOI102の伸長側断面を以下の手順で進退させ、分岐点(=分岐穴が接する点)の抽出を行う。
(1)iを1にセット。
(2)VOI102の伸長側断面をr/(2×i)の長さ分だけ退行して移動させる。
(3)移動させたVOI102の伸長側断面上に分岐点があるかどうか判断し、分岐点があれば処理を終了する。
(4−1)退行させたVOI102の伸長側断面上に分岐点がなく、かつ分岐穴がないと判断すると、iをインクリメントしてVOI102の伸長側断面をr/(2×i)の長さ分だけ伸長し移動させ、上記(3)に戻る。
(4−2)退行させたVOI102の伸長側断面上に分岐点がなく、かつ分岐穴があると判断すると、iをインクリメントしてVOI102の伸長側断面をr/(2×i)の長さ分だけ退行し移動させ、上記(3)に戻る。
以上の(1)〜(4−2)の処理を繰り返すことで、従来は分岐点の位置にVOI102の伸長側断面を収束させることが困難であったが、本実施例の分岐点抽出処理では、簡単な処理により高速に分岐点の位置にVOI102の伸長側断面を収束させることができる。
次に、本発明の特徴部分である、図8のステップS15における臓器領域抽出部14による気管支領域断面処理について図33ないし図37を用いて説明する。
図33に示すように、気管支領域断面処理では、臓器領域抽出部14は、VOI102の伸長側断面の形状を抽出し、VOI102の伸長側断面に、例えば狭窄部1000が存在するかどうか判定する。
すなわち、狭窄部1000が生じていない場合は、図34に示すように、VOI102の伸長側断面は略円形となる。この場合、気管支領域断面処理では、臓器領域抽出部14は、伸長側断面の面積Sに対応する真円の周囲長(=2×(πS)1/2)と、伸長側断面の周囲長との差分がわずかであるため、伸長側断面の半径をr=(S/π)1/2として臓器領域抽出部14内の記憶部(図示せず)に格納する。
また、狭窄部1000での変形量が小さい場合は、図35に示すように、VOI102の伸長側断面は変形円形となる。この場合、気管支領域断面処理では、臓器領域抽出部14は、伸長側断面の面積Sに対応する真円の周囲長(=2×(πS)1/2)と、伸長側断面の周囲長との差分が所定差分を超えていないため、伸長側断面の半径をr=(S/π)1/2として臓器領域抽出部14内の記憶部(図示せず)に格納する。
さらに、狭窄部1000での変形量が大きい場合は、図36に示すように、VOI102の伸長側断面は円形とみなすことのできない形状となる。この場合、気管支領域断面処理では、臓器領域抽出部14は、伸長側断面の面積Sに対応する真円の周囲長(=2×(πS)1/2)と、伸長側断面の周囲長との差分が所定差分を超えているため、伸長側断面を狭窄発生部情報として臓器領域抽出部14内の記憶部(図示せず)に格納する。
すなわち、異形状態検出手段を構成する臓器領域抽出部14が、この狭窄発生部情報を気管支の断面形状の異形状態を示す情報として臓器領域抽出部14内の記憶部(図示せず)に格納する。
なお、図37に示すように、VOI102の伸長側断面が略楕円形状である場合、気管支領域断面処理では、臓器領域抽出部14は、伸長側断面の長軸長さaと短軸長さbの差分が所定差分を超えているときは、伸長側断面を狭窄発生部情報として臓器領域抽出部14内の記憶部(図示せず)に格納する。また、長軸長さaと短軸長さbの差分が所定差分を超えていないときは、臓器領域抽出部14は、略楕円形状の伸長側断面の面積をSとした場合、伸長側断面の半径をr=(S/π)1/2として臓器領域抽出部14内の記憶部(図示せず)に格納する。
なお、気管支領域断面処理は、狭窄部1000に限らず、例えばポリープ状の組織により断面が真円に対して異形と判断すると、異形状態検出手段である臓器領域抽出部14は、異形状態を示す情報を臓器領域抽出部14内の記憶部(図示せず)に格納する。
また、VOIを上述したように伸長して、気管支の断面形状の異形状態を示す情報である、例えば狭窄発生部情報を有する断面が、VOI再設定機能部13eによる新たなVOIの設定断面となる場合には、VOI再設定機能部13eは、直前の伸長前の気管支の断面形状が異形状態でない伸長側断面の半径(r=(S/π)1/2)を用いて新たなVOIの大きさを決定し、設定する。
従来のVOIによる気管支領域情報抽出処理に関しては、例えば文献2としての「T.Kitasaka,K.Mori,J.Hasegawa and J.Toriwaki:"A Method for Extraction of Bronchus Regions from 3D Chest X-ray CT Image by Analyzing Structural Features of the Bronchus",Forma 17, pp.321-338(2002)」では、図38に示すように、ステップS11〜S17までの処理は、本実施例と同じであるが、ステップS18の方向判定処理において、VOIの方向を不適切と判断した際の処理が異なる。
具体的には、図39に示すように、例えばVOI伸長機能部13bがVOI102(2)を伸長しつつ第2層第2気管支枝100(2)の管腔路領域情報を抽出する際に、VOI102(2)を伸長した結果、図40に示すように、第2層第2気管支枝100(2)の側面がVOI102(2)と接触すると、ステップS16の方向判定処理において、VOI方向判定機能部13cがVOIの方向を不適切と判断する。
このとき従来は、VOI生成設定部13において、図41に示すように、ステップS32にてVOI102(2)内に2層第2気管支枝100(2)が入るようにVOI102(2)の方向を修正する。しかしながら、図42に示すように、VOI102(2)内に2層第2気管支枝100(2)が収まらない場合が生じる。
VOI102(2)の方向を修正し、ステップS33にてVOI生成設定部13がVOI102(2)内に2層第2気管支枝100(2)が収まると判定すると、ステップS19でVOI102(2)を伸長させステップS14に戻り処理を繰り返す。
しかし、ステップS32にてVOI生成設定部13がVOI102(2)内に2層第2気管支枝100(2)が収まらないと判定するとステップS22に進み、抽出完了の判定に移行する。そして、ステップS22にてVOI生成設定部13及び臓器領域抽出部14が全気管支の抽出が完了したと判断するとステップS23を経て処理を終了し、全気管支枝の抽出完了していないと判断すると、ステップS13に戻り処理を繰り返す。
このように従来例では、VOIの方向を修正しVOIに気管支枝が収まらないと判定すると、該気管支枝の臓器領域情報の抽出が行われない。
本実施例では、このような場合、図26に示したように、VOI102(2a)に連結する新たなVOI102(2b)を第2レベルの第2層第2気管支枝100(2b)に配置し、このVOI102(2b)を用いて臓器領域抽出部14が管腔路領域情報の抽出を行う。したがって、本実施例では、確実に連続した全気管支枝の抽出を行うことが可能となる。
さらに、本実施例では、図8のステップS23の抽出領域拡張判断処理は、例えば図43に示すように、第3層第2気管支枝100(22)が末梢ではなく、閉塞している場合、第3層第2気管支枝100(22)の閉塞先に、さらなる気管支枝200が存在する。そこで、ステップS23では、抽出されなかった閉塞先の気管支200への抽出領域を拡張するかどうかをユーザの判断によりVOI再設定機能部13eが確認する。閉塞先の気管支200への抽出領域をVOI再設定機能部13eが確認するとステップS11に戻る。
そして、ステップS11にてユーザの指示によって設定情報入力部20により閉塞先の気管支200に始点が指定され、始点マーカ27aが設定される。これにより図44に示すように、ステップS12にて始点マーカ27aを有する閉塞先の気管支200の断面を含む上面201が設定され、さらに図45に示すように、閉塞先の気管支200を内蔵する新たなVOI202を配置・登録する。そして、ステップS13以降の処理により閉塞先の気管支200への抽出処理を行う。
なお、始点(設定点)は気管支の基端側ではなく、図46に示すように、気管支の末梢に設定し末梢側から体軸上部にVOIを配置・登録し、気管支200への抽出処理を行うようにしてもよい。
また、本実施例では、上述したように、始点から末梢に至る全ての気管支枝にVOIが配置・登録されると共に、各VOI102には略中心線であるVOI芯線が登録されている。
そこで、始点から末梢に至る全ての気管支の管腔路領域情報の抽出が完了すると、図3のステップS7にてルート設定部15が、モニタ5に表示されている気管支50上で設定情報入力部20により設定された支援開始点51から支援終了点であるターゲット500に至るルート52を設定する。
具体的には、図47に示すように、気管支内にターゲット500が指定されると、該ターゲット500のあるVOI芯線を有するVOIが選択される。図47ではまず、VOI102(211)がターゲットVOIとして選択され、このVOI102(211)に準じ連結されているVOI102(21)、VOI102(2)及びVOI102が自動的に抽出され、これらVOI102(211)、VOI102(21)、VOI102(2)及びVOI102のVOI芯線110(211)、110(21)、110(2)及び110がルート設定部15により支援開始点51から支援終了点であるターゲット500に至るルート52として設定される。
また、図48に示すように、気管支外にターゲット500が指定されると、該ターゲット500に最も近い距離ΔDにあるVOI芯線を有するVOIがターゲットVOIとして選択される。図48ではまず、VOI102(211)が選択され、このVOI102(211)に順次連結されているVOI102(21)、VOI102(2)及びVOI102が自動的に抽出され、これらVOI102(211)、VOI102(21)、VOI102(2)及びVOI102のVOI芯線110(211)、110(21)、110(2)及び110がルート設定部15により支援開始点51から支援終了点であるターゲット500に至るルート52として設定される。
図49及び図50に示すように、気管支外にターゲット500が指定された場合、該ターゲット500に最も近い距離ΔDにあるVOI芯線を有するVOIが複数選択される。図49ではまずVOI102(212)がターゲットVOIとして選択され、このVOI102(212)に順次連結されているVOI102(21)、VOI102(2)及びVOI102が自動的に抽出される。一方、図50ではまずVOI102(221)がターゲットVOIとして選択され、このVOI102(221)に順次連結されているVOI102(22)、VOI102(2)及びVOI102が自動的に抽出される。
この図49及び図50のような場合は、ルート設定部15は、支援開始点51から支援終了点であるターゲット500に至る連結された芯線の距離が短い方をルート52として設定する。図49及び図50の場合では、連結された芯線の距離が短い図49のVOI102(212)、VOI102(21)、VOI102(2)及びVOI102のVOI芯線110(212)、110(21)、110(2)及び110がルート設定部15により支援開始点51から支援終了点であるターゲット500に至るルート52として設定される。
また、ルート設定部15は、このように支援開始点51から支援終了点であるターゲット500に至る連結された芯線をルート52として設定した後、図51に示すように、観察に適したように、スプライン補間処理を実行し各点を微調整し、滑らかな曲線600に修正し、図52に示すように、この曲線600をルート52とする。
このようにしてルート設定がなされた内視鏡挿入支援装置6及び気管支内視鏡装置2による観察・処置時の挿入支援に用いられる挿入支援画面について説明を簡略化するため、ルート上の分岐点が10カ所の場合を例に説明する。
内視鏡挿入支援装置6による挿入支援下での気管支内視鏡検査を開始すると、モニタ5に図53に示すような挿入支援画面151を表示する。
この挿入支援画面151は、気管支内視鏡装置2からのライブ画像152aを表示する内視鏡ライブ画像表示エリア152と、VBS画像像153aを表示するVBS画像表示エリア153と、ルートの全ての分岐点でのVBS画像像153aを縮小して分岐サムネイルVBS画像154(a)〜154(j)として表示する分岐サムネイルVBS画像エリア154とからなり、VBS画像表示エリア153にはルートの最初の分岐点のVBS画像153aが表示され、分岐サムネイルVBS画像エリア154には全ての分岐点での分岐サムネイルVBS画像154(a)〜154(j)が表示される。
なお、VBS画像153aにはルートに進む経路穴にナビマーカ155を重畳して表示している。また、VBS画像表示エリア153に表示されるVBS画像153aと同じ分岐サムネイルVBS画像の枠が太枠あるいはカラー表示され、他の分岐サムネイルVBS画像と識別可能となっており、術者はVBS画像表示エリア153に表示されるVBS画像がどの分岐の画像かを容易に認識できるようになっている。最初の段階では分岐サムネイルVBS画像154(a)の枠が太枠あるいはカラー表示される。
このように本実施例では、根VOIの設定後に分岐点毎に新たなVOIを設定すると共に、VOIの伸長処理によりVOI内に気管支枝が収納しきれないと判断した場合にも新たなVOIを設定する。さらに、気管支枝が狭窄あるいは閉塞していた場合にも、狭窄部の断面情報を除外あるいは補正して新たなVOIを適切な大きさで設定すると共に、閉塞先の気管支枝に新たにVOIを適切な大きさで設定することができる。そして、適切な大きさで設定したVOIを伸長させ、セグメンテーション処理を実行するので、少なくとも、狭窄部に影響されることなく、確実に全ての気管支枝の管腔路領域情報が抽出できる。
また、挿入支援を行うルート設定においては、支援終了点であるターゲット500に対して最も近接あるいはターゲット500を有するターゲットVOIを選択して、ターゲットVOIに連結するVOIを辿って支援始点51に至るVOI芯線をルートとするので、ルート設定を容易かつ高速に行うことができる。
なお、VOIは四角柱形状として説明したが、これに限らず、図54に示すように円柱形状でもよく、気管支の断面を上下面に含むことができる断面形状の多角形柱形状でも良い。
また本実施例では体腔臓器挿入支援システムとして気管支挿入支援システム1を例に説明したが、大腸等の屈曲した体腔臓器内への挿入を支援する大腸挿入支援システム等にも適用でき、適切にVOIを設定することが可能である。
さらにまた、本実施例は、気管支や大腸に限らず、血管、小腸、胆管、膵管または、リンパ管といった木構造をなす体腔臓器にも適用できることはいうまでもない。
なお、従来は画素単位で伸長量を設定していたため管腔路領域情報の算出に多大な時間を要していたが、請求項14の管腔路挿入支援システムでは、上述の新規VOI配置・登録処理により、伸長量Δtを従来の画素単位伸長量も大きな、VOI開始断面内の管腔臓器の断面の半径rに設定するので、高速に管腔路領域情報を得ることができる(根拠図面:図27〜図30)。
また、従来は分岐点の位置にVOI102の伸長側断面を収束させることが困難であったが、請求項16の管腔路挿入支援システムの分岐点抽出処理では、簡単な処理により高速に分岐点の位置にVOI102の伸長側断面を収束させることができる(根拠図面:図31及び図32)。
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
本出願は、2006年5月2日に日本国に出願された特願2006−128682号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものである。

Claims (17)

  1. 被検体の3次元画像データ内の管腔臓器の管腔路内に設定された開始点を有し、前記管腔臓器を内含するように所定の大きさを持つ体積領域を設定する体積領域設定手段と、
    前記体積領域内の前記管腔臓器の3次元画像データに基づき、前記体積領域内の管腔領域情報を抽出し、管腔路形状を表すセグメンテーションデータを算出する臓器領域情報算出手段と、
    前記体積領域設定手段によって設定された前記体積領域に前記管腔路が内含されているか否かを判定する内含状態判定手段と、
    前記臓器領域情報算出結果に基づき、管腔路形状の異形状態を検出する異形状態検出手段と、
    前記体積領域設定手段が設定した前記体積領域に階層的に連結させることで得られる階層体積領域を、前記内含状態判定手段の判定結果及び前記異形状態検出手段の検出結果に基いた大きさに設定する階層体積領域設定手段と、
    を備えることを特徴とする内視鏡挿入支援システム。
  2. 前記階層体積領域設定手段は、前記階層体積領域に対して、さらに階層的に連結する次段階層体積領域を設定し、
    前記臓器領域情報算出手段は、前記次段階層体積領域における管腔路形状を表すセグメンテーションデータを算出し、
    前記異形状態検出手段は、前記臓器領域情報算出結果に基づき、前記階層体積領域内の管腔路形状の異形状態を検出し、
    前記階層体積領域制御手段は、検出された前記異形状態に基づき、前記次段階層体積領域の大きさを制御する
    ことを特徴とする請求項1に記載の内視鏡挿入支援システム。
  3. 前記体積領域の端面間の距離を伸縮させる体積領域変更手段を有する
    ことを特徴とする請求項1または2に記載の内視鏡挿入支援システム。
  4. 前記体積領域あるいは前記階層体領域の伸縮方向を判定する方向判定手段をさらに有し、
    前記体積領域変更手段は、前記方向判定手段の判定結果に基づき、前記体積領域あるいは前記階層体積領域の端面間の距離を伸縮させる
    ことを特徴とする請求項3に記載の内視鏡挿入支援システム。
  5. 前記異形状態検出手段は、前記セグメンテーションデータの径、面積、周囲長の少なくともいずれか一に基づき、前記階層体積領域の端断面における前記管腔路の狭窄または拡張の状態を、少なくとも前記異形状態として検出する
    ことを特徴とする請求項1ないし4のいずれか一つに記載の内視鏡挿入支援システム。
  6. 前記内含状態判定手段は、前記体積領域あるいは前記階層体積領域の端面における前記管腔路の分岐穴の検出に基づき前記管腔路の内含状態を判定する
    ことを特徴とする請求項1ないし5のいずれか一つに記載の内視鏡挿入支援システム。
  7. 前記内含状態判定手段は、前記体積領域あるいは前記階層体積領域の側面における前記管腔臓器の検出に基づき前記管腔路の内含状態を判定する
    ことを特徴とする請求項1ないし6のいずれか一つに記載の内視鏡挿入支援システム。
  8. 前記体積領域及び前記階層体積領域の、少なくとも端面近傍内の管腔路断面の重心点を結ぶ線を略中心線として内視鏡挿入支援ルートに設定するルート設定手段を
    さらに有することを特徴とする請求項1ないし7のいずれか一つに記載の内視鏡挿入支援システム。
  9. 前記管腔路挿入支援ルートは、前記略中心線を曲線補正して設定される
    ことを特徴とする請求項8に記載の内視鏡挿入支援システム。
  10. 前記被検体の前記3次元画像データに基づき前記被検体内の多断面再構築画像を生成する多断面再構築画像生成手段と、
    生成された前記多断面再構築画像上において前記開始点を指定する開始点指定手段と、をさらに有することを特徴とする請求項1ないし9のいずれか一つに記載の内視鏡挿入支援システム。
  11. 前記開始点座標指定手段が指定する前記開始点の座標は、少なくとも前記体積領域あるいは前記階層体積領域の端面の近傍座標である
    ことを特徴とする請求項1ないし10のいずれか一つに記載の内視鏡挿入支援システム。
  12. 前記管腔臓器は、気管支、血管、大腸、小腸、胆管、膵管または、リンパ管のいずれかである
    ことを特徴とする請求項1ないし11のいずれか一つに記載の内視鏡挿入支援システム。
  13. 被検体の3次元画像データ内の管腔臓器の管腔路内に設定された開始点を有し、前記管腔臓器を内含するように所定の大きさを持つ体積領域を設定する体積領域設定ステップと、
    前記体積領域内の前記管腔臓器の3次元画像データに基づき、前記体積領域内の管腔領域情報を抽出し、管腔路形状を表すセグメンテーションデータを算出する臓器領域情報算出ステップと、
    前記体積領域設定ステップによって設定された前記体積領域に前記管腔路が内含されているか否かを判定する内含状態判定ステップと、
    前記臓器領域情報算出結果に基づき、管腔路形状の異形状態を検出する異形状態検出ステップと、
    前記体積領域設定ステップが設定した前記体積領域に階層的に連結させることで得られる階層体積領域を、前記内含状態判定ステップの判定結果及び前記異形状態検出ステップの検出結果に基いた大きさに設定する階層体積領域設定ステップと、
    を備えることを特徴とする内視鏡挿入支援方法。
  14. 被検体の3次元領域の画像データに基づき前記被検体内の多断面再構築画像を生成する多断面再構築画像生成手段と、
    前記多断面再構築画像上において前記被検体内の木構造をなす管腔臓器の管腔路内に設定点の前記3次元領域の座標を指定する設定点座標指定手段と、
    前記設定点を有する、前記管腔臓器を内含する体積領域を設定する体積領域設定手段と、
    前記体積領域での前記管腔臓器の前記3次元領域の画像データに基づき、前記体積領域の管腔領域情報を分割して解析し、分割管腔路形状データであるセグメンテーションデータを算出する臓器領域情報算出手段と、
    前記体積領域設定手段による前記体積領域の前記管腔路の内含状態を判定する内含状態判定手段と、
    前記内含状態判定手段の判定結果に基づき、前記体積領域設定手段が設定した前記体積領域に階層的に連結させた、階層体積領域を設定する階層体積領域設定手段と
    を備え、
    前記臓器領域情報算出手段は、さらに前記階層体積領域の臓器構造データを分割して前記セグメンテーションデータを算出し、
    前記内含状態判定手段は、さらに前記体積領域の端面上の前記管腔路の断面積に基づき内含状態を判定し、
    前記階層体積領域設定手段は、さらに前記内含状態判定手段における前記管腔路の断面積に基づき、前記階層体積領域の断面を設定して、前記体積領域に階層的に連結させた、階層体積領域を設定する
    ことを特徴とする内視鏡挿入支援システム。
  15. 前記階層体積領域設定手段は、さらに、前記内含状態判定手段における前記管腔路の断面積に基づいた真円の半径を算出し、前記半径に基づき、前記階層体積領域の断面を設定して、前記体積領域に階層的に連結させた、階層体積領域を設定する
    ことを特徴とする請求項14に記載の内視鏡挿入支援システム。
  16. 前記階層体積領域設定手段は、さらに、前記管腔臓器の分岐点を抽出する分岐点抽出手段を有し、
    前記分岐点抽出手段は、前記半径に基づき、前記体積領域の端面を前記分岐点に収束させる
    ことを特徴とする請求項14または15に記載の内視鏡挿入支援システム。
  17. 被検体の3次元領域の画像データに基づき前記被検体内の多断面再構築画像を生成する多断面再構築画像生成ステップと、
    前記多断面再構築画像上において前記被検体内の木構造をなす管腔臓器の管腔路内に設定点の前記3次元領域の座標を指定する設定点座標指定ステップと、
    前記設定点を有する、前記管腔臓器を内含する体積領域を設定する体積領域設定ステップと、
    前記体積領域での前記管腔臓器の前記3次元領域の画像データに基づき、前記体積領域の管腔領域情報を分割して解析し、分割管腔路形状データであるセグメンテーションデータを算出する臓器領域情報算出ステップと、
    前記体積領域設定ステップによる前記体積領域の前記管腔路の内含状態を判定する内含状態判定ステップと、
    前記内含状態判定ステップの判定結果に基づき、前記体積領域設定ステップが設定した前記体積領域に階層的に連結させた、階層体積領域を設定する階層体積領域設定ステップと
    を備え、
    前記臓器領域情報算出ステップは、さらに前記階層体積領域の臓器構造データを分割して前記セグメンテーションデータを算出し、
    前記内含状態判定手段は、さらに前記体積領域の端面上の前記管腔路の断面積に基づき内含状態を判定し、
    前記階層体積領域設定ステップは、さらに前記内含状態判定ステップにおける前記管腔路の断面積に基づき、前記階層体積領域の断面を設定して、前記体積領域に階層的に連結させた、階層体積領域を設定する
    ことを特徴とする内視鏡挿入支援方法。
JP2008514452A 2006-05-02 2007-04-27 内視鏡挿入支援システム及び内視鏡挿入支援方法 Active JP4822142B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008514452A JP4822142B2 (ja) 2006-05-02 2007-04-27 内視鏡挿入支援システム及び内視鏡挿入支援方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006128682 2006-05-02
JP2006128682 2006-05-02
JP2008514452A JP4822142B2 (ja) 2006-05-02 2007-04-27 内視鏡挿入支援システム及び内視鏡挿入支援方法
PCT/JP2007/059208 WO2007129616A1 (ja) 2006-05-02 2007-04-27 内視鏡挿入支援システム及び内視鏡挿入支援方法

Publications (2)

Publication Number Publication Date
JPWO2007129616A1 JPWO2007129616A1 (ja) 2009-09-17
JP4822142B2 true JP4822142B2 (ja) 2011-11-24

Family

ID=38667725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008514452A Active JP4822142B2 (ja) 2006-05-02 2007-04-27 内視鏡挿入支援システム及び内視鏡挿入支援方法

Country Status (3)

Country Link
US (1) US8509877B2 (ja)
JP (1) JP4822142B2 (ja)
WO (1) WO2007129616A1 (ja)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5173718B2 (ja) * 2008-09-30 2013-04-03 株式会社東芝 X線撮影装置
JP5536664B2 (ja) * 2008-11-13 2014-07-02 株式会社日立メディコ 医用画像処理装置及び方法
EP2377095B1 (en) * 2008-12-10 2016-05-25 Koninklijke Philips N.V. Vessel analysis
US8595697B2 (en) * 2009-07-01 2013-11-26 International Business Machines Corporation Serializing a templated markup language representation of test artifacts
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
JP5932406B2 (ja) 2012-03-09 2016-06-08 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
US10154800B2 (en) * 2012-05-14 2018-12-18 Intuitive Surgical Operations, Inc. Systems and methods for registration of a medical device using a reduced search space
WO2014028394A1 (en) 2012-08-14 2014-02-20 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
JP5930539B2 (ja) 2012-09-12 2016-06-08 富士フイルム株式会社 医用画像表示装置および方法並びにプログラム
JP6139090B2 (ja) * 2012-10-09 2017-05-31 東芝メディカルシステムズ株式会社 医用画像処理装置、画像診断装置及び医用画像処理プログラム
US20140180063A1 (en) 2012-10-12 2014-06-26 Intuitive Surgical Operations, Inc. Determining position of medical device in branched anatomical structure
KR102087595B1 (ko) 2013-02-28 2020-03-12 삼성전자주식회사 내시경 시스템 및 그 제어방법
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
CA2946615A1 (en) 2014-07-02 2016-01-07 Covidien Lp System and method for detecting trachea
US9754367B2 (en) 2014-07-02 2017-09-05 Covidien Lp Trachea marking
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US20160000414A1 (en) 2014-07-02 2016-01-07 Covidien Lp Methods for marking biopsy location
WO2016004030A1 (en) 2014-07-02 2016-01-07 Covidien Lp System and method for segmentation of lung
US9770216B2 (en) 2014-07-02 2017-09-26 Covidien Lp System and method for navigating within the lung
WO2016004310A2 (en) 2014-07-02 2016-01-07 Covidien Lp Real-time automatic registration feedback
US11227427B2 (en) 2014-08-11 2022-01-18 Covidien Lp Treatment procedure planning system and method
US9727963B2 (en) 2015-09-18 2017-08-08 Auris Surgical Robotics, Inc. Navigation of tubular networks
US10986990B2 (en) 2015-09-24 2021-04-27 Covidien Lp Marker placement
JP2017074320A (ja) * 2015-10-16 2017-04-20 キヤノンマーケティングジャパン株式会社 医用画像処理装置、医用画像処理装置に搭載可能なプログラム、及び医用画像処理方法
US10709352B2 (en) 2015-10-27 2020-07-14 Covidien Lp Method of using lung airway carina locations to improve ENB registration
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
JP6780936B2 (ja) * 2016-01-13 2020-11-04 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
RU2741572C2 (ru) * 2016-06-16 2021-01-27 Конинклейке Филипс Н.В. Способ и устройство для отображения по меньшей мере части структуры на изображении по меньшей мере части тела субъекта
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
JP6702902B2 (ja) * 2017-02-24 2020-06-03 富士フイルム株式会社 マッピング画像表示制御装置および方法並びにプログラム
WO2018183727A1 (en) 2017-03-31 2018-10-04 Auris Health, Inc. Robotic systems for navigation of luminal networks that compensate for physiological noise
CN110769731B (zh) * 2017-06-15 2022-02-25 奥林巴斯株式会社 内窥镜系统、内窥镜用处理系统、图像处理方法
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
US11510736B2 (en) 2017-12-14 2022-11-29 Auris Health, Inc. System and method for estimating instrument location
CN110809453B (zh) 2017-12-18 2023-06-06 奥瑞斯健康公司 用于腔网络内的器械跟踪和导航的方法和系统
US11224392B2 (en) 2018-02-01 2022-01-18 Covidien Lp Mapping disease spread
EP3773304A4 (en) 2018-03-28 2021-12-22 Auris Health, Inc. SYSTEMS AND METHODS FOR DISPLAYING THE ESTIMATED POSITION OF AN INSTRUMENT
CN110891469B (zh) 2018-03-28 2023-01-13 奥瑞斯健康公司 用于定位传感器的配准的系统和方法
CN112105286A (zh) * 2018-05-17 2020-12-18 富士胶片株式会社 内窥镜装置、内窥镜操作方法及程序
US10905499B2 (en) 2018-05-30 2021-02-02 Auris Health, Inc. Systems and methods for location sensor-based branch prediction
MX2020012904A (es) * 2018-05-31 2021-02-26 Auris Health Inc Analisis y mapeo de vias respiratorias basados en imagen.
CN110831481B (zh) 2018-05-31 2022-08-30 奥瑞斯健康公司 管状网络的基于路径的导航
KR102567087B1 (ko) 2018-05-31 2023-08-17 아우리스 헬스, 인코포레이티드 생리학적 잡음을 검출하는 내강 네트워크의 내비게이션을 위한 로봇 시스템 및 방법
CN109448633B (zh) * 2019-01-07 2020-12-08 卡莱特(深圳)云科技有限公司 一种异形led显示屏显示实现控制方法及实现系统
WO2021038469A1 (en) 2019-08-30 2021-03-04 Auris Health, Inc. Systems and methods for weight-based registration of location sensors
WO2021038495A1 (en) 2019-08-30 2021-03-04 Auris Health, Inc. Instrument image reliability systems and methods
CN114901194A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 解剖特征识别和瞄准
CN114901192A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 用于经皮进入的对准技术
WO2021137108A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Alignment interfaces for percutaneous access

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004313736A (ja) * 2003-04-02 2004-11-11 Ziosoft Inc 医用画像処理装置、医用画像処理方法、および、プログラム
JP2004350791A (ja) * 2003-05-27 2004-12-16 Aloka Co Ltd 超音波画像処理装置及び三次元データ処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6343936B1 (en) * 1996-09-16 2002-02-05 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination, navigation and visualization
JP2000135215A (ja) 1998-10-30 2000-05-16 Ge Yokogawa Medical Systems Ltd 管路案内方法および装置並びに放射線断層撮影装置
US7639855B2 (en) 2003-04-02 2009-12-29 Ziosoft, Inc. Medical image processing apparatus, and medical image processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004313736A (ja) * 2003-04-02 2004-11-11 Ziosoft Inc 医用画像処理装置、医用画像処理方法、および、プログラム
JP2004350791A (ja) * 2003-05-27 2004-12-16 Aloka Co Ltd 超音波画像処理装置及び三次元データ処理方法

Also Published As

Publication number Publication date
WO2007129616A1 (ja) 2007-11-15
US20090054729A1 (en) 2009-02-26
JPWO2007129616A1 (ja) 2009-09-17
US8509877B2 (en) 2013-08-13

Similar Documents

Publication Publication Date Title
JP4822142B2 (ja) 内視鏡挿入支援システム及び内視鏡挿入支援方法
JP7375102B2 (ja) 血管内画像化システムの作動方法
JP4899068B2 (ja) 医療画像観察支援装置
CN108135488B (zh) 确定侧支的剖面视角的血管内成像系统和方法
JP3820244B2 (ja) 挿入支援システム
JP5918548B2 (ja) 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
CN107847135B (zh) 血管内成像系统界面和支架检测方法
JP2006246941A (ja) 画像処理装置及び管走行トラッキング方法
JP5947707B2 (ja) 仮想内視鏡画像表示装置および方法並びにプログラム
WO2006118100A1 (ja) 画像表示装置及びプログラム
JP2008253753A (ja) 心機能表示装置およびそのプログラム
JP2005137455A (ja) 挿入支援システム
JP4323288B2 (ja) 挿入支援システム
JP2010075549A (ja) 画像処理装置
JP2009165718A (ja) 医用画像表示装置
Perchet et al. Advanced navigation tools for virtual bronchoscopy
JP4022192B2 (ja) 挿入支援システム
JP4445792B2 (ja) 挿入支援システム
JP2009273644A (ja) 医用画像撮影装置、医用画像処理装置および医用画像処理プログラム
JP5047686B2 (ja) 血管画像表示方法と装置
JP2005131318A (ja) 挿入シミュレーション装置
JP4190454B2 (ja) 挿入支援装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110825

R150 Certificate of patent or registration of utility model

Ref document number: 4822142

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250