JP4365630B2 - 手術支援装置 - Google Patents
手術支援装置 Download PDFInfo
- Publication number
- JP4365630B2 JP4365630B2 JP2003189783A JP2003189783A JP4365630B2 JP 4365630 B2 JP4365630 B2 JP 4365630B2 JP 2003189783 A JP2003189783 A JP 2003189783A JP 2003189783 A JP2003189783 A JP 2003189783A JP 4365630 B2 JP4365630 B2 JP 4365630B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- treatment instrument
- endoscope
- inclination angle
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Robotics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像を用いて手術を支援する手術支援装置に関する。
【０００２】
【従来の技術】
近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的なバーチャル画像データを得て、該バーチャル画像データを用いて患部の診断が行われるようになってきた。
【０００３】
ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元なバーチャル画像を作成することが行われる。
【０００４】
そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。
【０００５】
気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
【０００６】
ところで、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の３次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。
【０００７】
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、デスク上で行われているが一般的である。
【０００８】
【特許文献１】
特開２０００−１３５２１５号公報
【０００９】
【発明が解決しようとする課題】
従来より、腹部領域の体内の被検体に対する手術を行う場合にも、体内の被検体の異常部の情報を、必要に応じて術者に対して迅速に提供することが望まれている。
【００１０】
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも術前のＣＴ画像からバーチャル画像を構築するため、術中の処置具のアプローチ状況は表示されない。
【００１１】
本発明は、上記事情に鑑みてなされたものであり、簡単でかつリアルタイムに、ライブの内視鏡画像に対応し、処置具のアプローチ状況が認識可能な仮想画像を提供することで手術を支援することのできる手術支援装置を提供することを目的としている。
【００１２】
【課題を解決するための手段】
本発明の手術支援装置は、視野方向を特定可能な内視鏡及び処置具を体腔内に刺入し該内視鏡により撮像された内視鏡画像による観察下で前記処置具により患部の処置が行われる手術を支援する手術支援装置において、前記体腔内の複数のＣＴ画像データを記憶するＣＴ画像記憶手段と、前記処置具の形状画像データを記憶する処置具形状画像記憶手段と、前記内視鏡の前記体腔内への挿入位置を入力する挿入位置入力手段と、前記患部が存在する位置に相当する内視鏡注目点の位置を入力する内視鏡注目点入力手段と、前記挿入位置入力手段において入力された挿入位置と、前記内視鏡注目点の位置とに基づいて前記内視鏡の視線方向を決定する視線方向決定手段と、前記内視鏡の挿入量を検出する挿入量検出手段と、前記内視鏡の挿入量に基づいて表示倍率を決定する表示倍率決定手段と、前記内視鏡の挿入傾斜角を検出する挿入傾斜角検出手段と、前記視線方向、前記表示倍率及び前記内視鏡の挿入傾斜角に基づき、前記複数のＣＴ画像データより前記内視鏡画像とリアルタイムに同期した仮想内視鏡像を構築する仮想内視鏡画像構築手段と、前記処置具の前記体腔内への挿入位置を入力する処置具挿入位置入力手段と、前記患部を処置する位置に相当する処置具注目点の位置を入力する処置具注目点入力手段と、前記処置具挿入位置入力手段において入力された挿入位置と、前記処置具注目点の位置とに基づいて前記処置具の挿入方向を決定する挿入方向決定手段と、前記処置具の挿入量を検出する処置具挿入量検出手段と、前記処置具の挿入量に基づいて挿入深さを決定する挿入深さ決定手段と、前記処置具の挿入傾斜角を検出する処置具挿入傾斜角検出手段と、前記挿入方向、前記挿入深さ及び前記処置具の挿入傾斜角に基づき、前記処置具の形状画像データより前記内視鏡画像とリアルタイムに同期した仮想処置具像を構築する仮想処置具画像構築手段と、前記仮想内視鏡像と前記仮想処置具像を合成し合成画像を生成する画像合成手段と、前記内視鏡画像と、前記合成画像とを表示手段に同時に表示させるように制御を行う表示制御手段と、を備えて構成される。
【００１３】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１４】
図１ないし図１４は本発明の第１の実施の形態に係わり、図１は手術支援装置の硬性を示す構成図、図２は図１の硬性鏡の使用状態を示す図、図３は図２の硬性鏡の構成を示す図、図４は図２の硬性鏡側のトラカールの要部の構成を示す図、図５は図２の処置具の構成を示す図、図６は図２の処置具側のトラカールの要部の構成を示す図、図７は図１の手術支援装置の処理の流れを示す第１のフローチャート、図８は図１の手術支援装置の処理の流れを示す第２のフローチャート、図９は図７及び図８の処理で構築・生成された合成画像を表示する合成画像表示画面を示す図、図１０は図１の内視鏡画像表示モニタに表示される内視鏡画像の第１の例を示す図、図１１は図１０の内視鏡画像に対応して表示される合成画像表示画面を示す図、図１２は図１の内視鏡画像表示モニタに表示される内視鏡画像の第２の例を示す図、図１３は図１２の内視鏡画像に対応して表示される合成画像表示画面を示す図、図１４は図１のＶＥ画像表示モニタに表示される合成画像表示画面の変形例を示す図である。
【００１５】
図１に示すように、本実施の形態の手術支援装置１は、硬性鏡２、ＶＥ画像生成装置３、システムコントローラ４、ＣＣＵ５、光源装置６、気腹器７、電気メス８，超音波処置装置９、ＶＴＲ１０等を手術室に配置して構成される。なお、電気メス８及び気腹器７には処置具８ａが接続されている。
【００１６】
硬性鏡２の撮像部１１で撮像された撮像信号はＣＣＵ５に伝送され画像処理された後に画像を録画するＶＴＲ１０及びシステムコントローラ４に出力される。
【００１７】
システムコントローラ４は、ＣＣＵ５、光源装置６、気腹器７、電気メス８、超音波処置装置９、ＶＴＲ１０の各装置と設定情報を送受する通信Ｉ／Ｆ部１２と、各種プログラムを格納しているメモリ１３と、ＣＣＵ５からの画像信号を内視鏡画像表示モニタ１４に表示させる表示Ｉ／Ｆ部１５と、これら各部を制御するＣＰＵ１６とから構成される。なお、ＣＰＵ１６には通信Ｉ／Ｆ部１２を介してリモコン１７が接続され、このリモコン１７により各種データの入力が可能となっている。
【００１８】
硬性鏡２には、後述するように、硬性鏡２の挿入量を検出する（内視鏡）挿入量検出部２１と、硬性鏡２の挿入傾斜角を検出する（内視鏡）傾斜角センサ２２とが設けられている。
【００１９】
処置具８ａは、体内に挿入するプローブ１８を有し、該プローブ１８には、後述するように、プローブ１８の挿入量を検出する（処置具）挿入量検出部２３と、プローブ１８の挿入傾斜角を検出する（処置具）傾斜角センサ２４とが設けられている。
【００２０】
ＶＥ画像生成装置３は、予めＣＴ装置（図示せず）により得られたＣＴ画像に基づき硬性鏡２が撮像した内視鏡画像にリアルタイムで且つ視線方向が一致した仮想的な画像であるバーチャルエンドスコピー画像（ＶＥ画像）を生成すると共に、処置具の仮想画像を生成し、ＶＥ画像に処置具仮想画像を重畳させた合成画像を生成する装置である。
【００２１】
具体的には、ＶＥ画像生成装置３は、複数のＣＴ画像より構築されたＣＴ画像ＤＢ（データベース）を格納している記録部３１と、各種処置具の形状画像より構築された処置具画像ＤＢ（データベース）を格納している記録部３２と、各種プログラムを格納しているメモリ３３と、（内視鏡）挿入量検出部２１、（内視鏡）傾斜角センサ２２、（処置具）挿入量検出部２３、（処置具）傾斜角センサ２４及びシステムコントローラ４の通信Ｉ／Ｆ部１２とデータの送受を行う通信Ｉ／Ｆ部３４と、通信Ｉ／Ｆ部３４により得られた（内視鏡）挿入量検出部２１、（内視鏡）傾斜角センサ２２からのデータ及びＣＴ画像ＤＢのＣＴ画像に基づきＶＥ画像を構築するＶＥ画像構築部３５と、通信Ｉ／Ｆ部３４により得られた（処置具）挿入量検出部２３、（処置具）傾斜角センサ２４からのデータ及び処置具画像ＤＢの処置具形状画像に基づき処置具画像を構築する処置具画像構築部３６と、ＶＥ画像構築部３４が構築したＶＥ画像に処置具画像構築部３６が構築した処置具画像を重畳した合成画像を生成する画像合成部３７と、画像合成部３７が生成した合成画像をＶＥ画像表示モニタ３８に表示させる表示Ｉ／Ｆ部３９と、これら各部を制御するＣＰＵ４０とから構成され、ＣＰＵ４０には各種データを入力するためのキーボード４１及びマウス４２が接続されている。
【００２２】
硬性鏡２は、図２に示すように、トラカール４３ａ，４３ｂを介して処置具８ａと共に患者１００の体内に挿入される。
【００２３】
硬性鏡２は、図３に示すように、挿入基端側にＴＶカメラ４４ａを備え、さらに挿入基端側の把持部４５ａには傾斜角センサ２２が設けられている。この傾斜角センサ２２はジャイロ等により硬性鏡２の挿入傾斜角を計測しＶＥ画像生成装置３に出力する。
【００２４】
また、図４に示すように、硬性鏡２の挿入部４６ａを患者１００の体内へと導くトラカール４３ａの基端側には挿入量検出部２１が設けられており、挿入量検出部２１は、挿入部４６ａの外周面と接触し挿入部４６の挿入に従って回転するローラ４７ａと、ローラ４７ａの回転量を検出し挿入部４６の挿入量としてＶＥ画像生成装置３に出力するロータリーエンコーダ４８ａとから構成される。
【００２５】
同様に、処置具８ａは、図５に示すように、プローブ１８の挿入基端側の操作部４５ｂに傾斜角センサ２３が設けられている。この傾斜角センサ２３はジャイロ等により処置具８ａのプローブ１８の挿入傾斜角を計測しＶＥ画像生成装置３に出力する。
【００２６】
また、図６に示すように、処置具８ａのプローブ１８の挿入部４６ｂを患者１００の体内へと導くトラカール４３ｂの基端側には挿入量検出部２４が設けられており、挿入量検出部２４は、挿入部４６ｂの外周面と接触し挿入部４６の挿入に従って回転するローラ４７ｂと、ローラ４７ｂの回転量を検出し挿入部４６の挿入量としてＶＥ画像生成装置３に出力するロータリーエンコーダ４８ｂとから構成される。
【００２７】
このように構成された本実施の形態の作用について説明する。図７及び図８に示すように、ステップＳ１においてキーボード４１を用いて硬性鏡３の患者３９の体内への挿入位置である内視鏡挿入点の座標を入力する。この座標系はＣＴ画像の座標系と一致している。
【００２８】
ステップＳ２において、キーボード４１を用いて患部が存在する位置である内視鏡注目点の座標を入力する。そして、ステップＳ３において内視鏡挿入点の座標データ及び内視鏡注目点の座標に基づきＶＥ画像の視線方向を決定する。
【００２９】
そして、硬性鏡２の挿入が開始されると、ステップＳ４において挿入量検出部２１により硬性鏡２の挿入量を測定し、ステップＳ５において挿入量に基づきＶＥ画像の表示倍率を決定する（距離に応じて臓器に近い場合は倍率を高く、遠い場合には倍率を低くする）。
【００３０】
このように視線方向及び表示倍率が決定されると、ステップＳ６においてＶＥ画像構築部３５により視線方向及び表示倍率に基づきＶＥ画像が生成される。このときのＶＥ画像はライブの内視鏡画像と同様な臓器光学像の仮想画像となっている。
【００３１】
次に、ステップＳ７においてキーボード４１を用いて処置具８ａの患者３９の体内への挿入位置である処置具挿入点の座標を入力する。
【００３２】
ステップＳ８において、キーボード４１を用いて患部を処置する位置である処置具注目点の座標を入力する。そして、ステップＳ９において処置具挿入点の座標データ及び処置具注目点の座標に基づき処置具の挿入方向を決定する。
【００３３】
そして、処置具８ａの挿入が開始されると、ステップＳ１０において挿入量検出部２３により処置具８ａの挿入量を測定し、ステップＳ１１において挿入量に基づき処置具８ａの挿入深さを決定し、ステップＳ１２において処置具画像を生成し、ステップＳ１３においてＶＥ画像に処置具画像を重畳した合成画像を生成してＶＥ画像表示モニタ３８に表示させる。
【００３４】
この合成画像を参照して術者がライブの内視鏡画像が合成画像と一致するように、硬性鏡２及び処置具８ａの挿入状態を調整した後に、ステップＳ１４においてキーボード４１を用いてトラッキング（ライブの内視鏡画像への追従）の開始が指示されると、ＶＥ画像はライブの内視鏡画像と同様な臓器光学像の仮想画像から例えば臓器部分を消した血管配置仮想画像となる。
【００３５】
そして、ステップＳ１５において傾斜角センサ２２により硬性鏡２の挿入傾斜角を計測し、ステップＳ１６において挿入傾斜角に基づき硬性鏡２が撮像する内視鏡画像の視線方向を決定する。さらに、ステップＳ１７において挿入量検出部２１により硬性鏡２の挿入量を測定し、ステップＳ１８において挿入量に基づきＶＥ画像の表示倍率を決定する。
【００３６】
このように視線方向及び表示倍率が決定されると、ステップＳ１９においてＶＥ画像構築部３５により視線方向及び表示倍率に基づきＶＥ画像が生成される。このときのＶＥ画像は臓器部分を消した血管配置仮想画像となっている。
【００３７】
次に、ステップＳ２０において傾斜角センサ２４により処置具８ａの挿入傾斜角を計測し、ステップＳ２１において挿入傾斜角に基づき処置具８ａの挿入方向を決定する。さらに、ステップＳ２２において挿入量検出部２３により処置具８ａの挿入量を測定し、ステップＳ２３において挿入量に基づき処置具８ａの挿入深さを決定し、ステップＳ２４において処置具画像を生成し、ステップＳ２５においてＶＥ画像（血管配置仮想画像）に処置具画像を重畳した合成画像を生成してＶＥ画像表示モニタ３８に表示させる。
【００３８】
次に、ＶＥ画像表示モニタ３８に表示される合成画像表示画面について説明する。ＶＥ表示画面１０１は、図９に示すように、画像合成部３７により生成された合成画像を表示する合成画像表示エリア１０２、ＶＥ画像に関連した複数の２次元ＣＴ画像を表示する２次元画像表示エリア１０３と、硬性鏡２の挿入点、処置具８ａのの挿入点を表示する挿入点表示欄１０４等より構成される。
【００３９】
例えば図１０に示すようなライブの内視鏡画像１４ａが内視鏡画像表示モニタ１４に表示される際は、ＶＥ表示画面１０１においては、このライブの内視鏡画像１４ａの視線方向と大きさ（倍率）一致したリアルタイムの、図１１に示すような処置具形状画像１０９が重畳された例えば臓器部分を消した血管配置仮想画像１０２ａ（＝合成画像）が合成画像表示エリア１０２に表示される。
【００４０】
また、図１０の状態から硬性鏡２を傾け、図１２に示すようなライブの内視鏡画像１４ｂが内視鏡画像表示モニタ１４に表示されると、これに追従（トラッキング）してライブの内視鏡画像１４ｂの視線方向と大きさ（倍率）一致したリアルタイムの、図１３に示すような処置具形状画像１０９が重畳された例えば臓器部分を消した血管配置仮想画像１０２ｂ（＝合成画像）が合成画像表示エリア１０２に表示される。
【００４１】
このように本実施の形態では、硬性鏡２及び処置具８ａの挿入傾斜角、挿入量を計測し、これらの挿入傾斜角、挿入量の各データに基づき、ライブの内視鏡画像の視線方向と大きさ（倍率）一致したリアルタイムのＶＥ画像に処置具形状画像１０９が重畳した合成画像を生成・表示するので、手技の際に必要な情報（例えば血管配置情報）をビジュアルで確認できると共に、処置具の患部へのアプローチを確認・サポートできるので、手技を安全且つ適切に支援することができる。
【００４２】
なお、本実施の形態においては、キーボード４１を用いることにより、図１４に示すように、合成画像に患部の位置を示すマーカー１５１を重畳させることができる。
【００４３】
図１５ないし図１９は本発明の第２の実施の形態に係わり、図１５は手術支援装置の硬性を示す構成図、図１６は図１５の手術支援装置の作用を説明するフローチャート、図１７は図１６の処理を説明する第１の図、図１８は図１６の処理を説明する第２の図、図１９は図１６の処理を説明する第３の図である。
【００４４】
第２の実施の形態は、第１の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【００４５】
図１５に示すように、本実施の形態では、ＶＥ画像生成装置３は、ＣＰＵ４０の制御により合成画像に対して気腹器７の気腹情報（腹腔圧データ）を展開させ、該気腹情報に基づき合成画像を修正・補正する気腹情報フィードバック部２０１を備えて構成される。その他の構成は第１の実施の形態と同じである。
【００４６】
本実施の形態では、図１６に示すように、第１の実施の形態で説明したステップＳ１８の後に、ステップＳ１０１においてＣＰＵ４０が気腹器７の気腹情報（腹腔圧データ）を入手し、ステップＳ１０２において気腹情報フィードバック部２０１がＶＥ画像構築部３５及び画像合成部３７を制御し、気腹情報をフィードバックさせた合成画像を生成してからステップＳ２０に進む。その他の作用は第１の実施の形態と同じである。
【００４７】
この処理のより、図１７ないし図１９に示すように、腹腔圧に応じて体腔内が膨らんだ状態のＶＥ画像による合成画像を表示することが可能となる。図１７及び図１８は腹腔圧が順次高まった際の合成画像表示画面を、また図１９は腹腔圧が設定圧になった際の合成画像表示画面をそれぞれ示している。
【００４８】
このように本実施の形態では、第１の実施の形態の効果に加え、気腹器による腹腔圧情報をフィードバックした合成画像とすることが出来るので、よりリアルな合成画像により手技を支援することが可能となる。
【００４９】
図２０ないし図２２は本発明の第３の実施の形態に係わり、図２０は手術支援装置の硬性を示す構成図、図２１は図２０の内視鏡画像表示モニタに表示される合成画像表示画面を示す図、図２２は図２０の手術支援装置の作用を説明するフローチャートである。
【００５０】
第３の実施の形態は、第２の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【００５１】
図２０に示すように、本実施の形態では、ＶＥ画像生成装置３は、ＣＰＵ４０の制御により硬性鏡２の挿入量及び挿入傾斜角、処置具８ａの挿入量及び挿入傾斜角、気腹器７の気腹情報を時系列に記録するログ記録部３０１と、ＣＰＵ４０の制御によりログ記録部３０１とが記録した硬性鏡２の挿入量及び挿入傾斜角、処置具８ａの挿入量及び挿入傾斜角、気腹器７の気腹情報を時系列で読み出すログ再生部３０２を有しており、ＣＰＵ４０は硬性鏡２の挿入量及び挿入傾斜角、処置具８ａの挿入量及び挿入傾斜角、気腹器７の気腹情報に基づきＶＥ画像構築部３５、処置具画像構築部３６、画像合成部３７及び気腹情報フィードバック部２０１を制御する。その他の構成は第２の実施の形態と同じである。
【００５２】
ログ記録部３０１へのデータの記録開始及び記録停止は、図２１に示すように、合成画像表示画面に設けられたスタート／ストップボタン３１１をマウスを用いてクリックすることで行われる。また、ログ再生部３０２からのデータの再生は、再生ボタン３１２をマウスを用いてクリックすることで行われる。
【００５３】
本実施の形態では、図２２に示すように、ステップＳ１５１においてスタート／ストップボタン３１１をマウスを用いてクリックすると、ステップＳ１５２においてログ記録部３０１への硬性鏡２の挿入量及び挿入傾斜角、処置具８ａの挿入量及び挿入傾斜角、気腹器７の気腹情報の各情報の時系列記録が開始され、ステップＳ１５３においてスタート／ストップボタン３１１をマウスを用いて再度クリックすることで記録が停止する。
【００５４】
そして、ステップＳ１５４において再生ボタン３１２をマウスを用いてクリックすると、ステップＳ１５５においてログ再生部３０２がログ記録部３０１に記録されている硬性鏡２の挿入量及び挿入傾斜角、処置具８ａの挿入量及び挿入傾斜角、気腹器７の気腹情報の各情報の時系列記録を読み出しＣＰＵ４０に出力する。
【００５５】
そして、ステップＳ１５６においてＣＰＵ４０がＶＥ画像構築部３５、処置具画像構築部３６、画像合成部３７及び気腹情報フィードバック部２０１を制御し、手技中の合成画像を再生する。
【００５６】
このように本実施の形態では、第２の実施の形態の効果に加え、手技が終了した後においても容易に手技中の合成画像が再生できるので、手技の確認等を容易に行うことが可能となる。
【００５７】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【００５８】
【発明の効果】
以上説明したように本発明によれば、簡単でかつリアルタイムに、ライブの内視鏡画像に対応し、処置具のアプローチ状況が認識可能な仮想画像を提供することで手術を支援することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る手術支援装置の硬性を示す構成図
【図２】図１の硬性鏡の使用状態を示す図
【図３】図２の硬性鏡の構成を示す図
【図４】図２の硬性鏡側のトラカールの要部の構成を示す図
【図５】図２の処置具の構成を示す図
【図６】図２の処置具側のトラカールの要部の構成を示す図
【図７】図１の手術支援装置の処理の流れを示す第１のフローチャート
【図８】図１の手術支援装置の処理の流れを示す第２のフローチャート
【図９】図７及び図８の処理で構築・生成された合成画像を表示する合成画像表示画面を示す図
【図１０】図１の内視鏡画像表示モニタに表示される内視鏡画像の第１の例を示す図
【図１１】図１０の内視鏡画像に対応して表示される合成画像表示画面を示す図
【図１２】図１の内視鏡画像表示モニタに表示される内視鏡画像の第２の例を示す図
【図１３】図１２の内視鏡画像に対応して表示される合成画像表示画面を示す図
【図１４】図１のＶＥ画像表示モニタに表示される合成画像表示画面の変形例を示す図
【図１５】本発明の第２の実施の形態に係る手術支援装置の硬性を示す構成図
【図１６】図１５の手術支援装置の作用を説明するフローチャート
【図１７】図１６の処理を説明する第１の図
【図１８】図１６の処理を説明する第２の図
【図１９】図１６の処理を説明する第３の図
【図２０】本発明の第３の実施の形態に係る手術支援装置の硬性を示す構成図
【図２１】図２０の内視鏡画像表示モニタに表示される合成画像表示画面を示す図
【図２２】図２０の手術支援装置の作用を説明するフローチャート
【符号の説明】
１…手術支援装置
２…硬性鏡
３…ＶＥ画像生成装置
４…システムコントローラ
５…ＣＣＵ
６…光源装置
７…気腹器
８…電気メス
９…超音波処置装置
１０…ＶＴＲ
１１…撮像部
２１…（内視鏡）挿入量検出部
２２…（内視鏡）傾斜角センサ
２３…（処置具）挿入量検出部
２４…（処置具）傾斜角センサ
３１…記録部（ＣＴ画像ＤＢ）
３２…記録部（処置具画像ＤＢ）
３３…メモリ
３４…通信Ｉ／Ｆ部
３５…ＶＥ画像構築部
３６…処置具画像構築部
３７…画像合成部
３８…ＶＥ画像表示モニタ
３９…表示Ｉ／Ｆ部
４０…ＣＰＵ
【発明の属する技術分野】
本発明は、画像を用いて手術を支援する手術支援装置に関する。
【０００２】
【従来の技術】
近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的なバーチャル画像データを得て、該バーチャル画像データを用いて患部の診断が行われるようになってきた。
【０００３】
ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元なバーチャル画像を作成することが行われる。
【０００４】
そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。
【０００５】
気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
【０００６】
ところで、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の３次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。
【０００７】
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、デスク上で行われているが一般的である。
【０００８】
【特許文献１】
特開２０００−１３５２１５号公報
【０００９】
【発明が解決しようとする課題】
従来より、腹部領域の体内の被検体に対する手術を行う場合にも、体内の被検体の異常部の情報を、必要に応じて術者に対して迅速に提供することが望まれている。
【００１０】
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも術前のＣＴ画像からバーチャル画像を構築するため、術中の処置具のアプローチ状況は表示されない。
【００１１】
本発明は、上記事情に鑑みてなされたものであり、簡単でかつリアルタイムに、ライブの内視鏡画像に対応し、処置具のアプローチ状況が認識可能な仮想画像を提供することで手術を支援することのできる手術支援装置を提供することを目的としている。
【００１２】
【課題を解決するための手段】
本発明の手術支援装置は、視野方向を特定可能な内視鏡及び処置具を体腔内に刺入し該内視鏡により撮像された内視鏡画像による観察下で前記処置具により患部の処置が行われる手術を支援する手術支援装置において、前記体腔内の複数のＣＴ画像データを記憶するＣＴ画像記憶手段と、前記処置具の形状画像データを記憶する処置具形状画像記憶手段と、前記内視鏡の前記体腔内への挿入位置を入力する挿入位置入力手段と、前記患部が存在する位置に相当する内視鏡注目点の位置を入力する内視鏡注目点入力手段と、前記挿入位置入力手段において入力された挿入位置と、前記内視鏡注目点の位置とに基づいて前記内視鏡の視線方向を決定する視線方向決定手段と、前記内視鏡の挿入量を検出する挿入量検出手段と、前記内視鏡の挿入量に基づいて表示倍率を決定する表示倍率決定手段と、前記内視鏡の挿入傾斜角を検出する挿入傾斜角検出手段と、前記視線方向、前記表示倍率及び前記内視鏡の挿入傾斜角に基づき、前記複数のＣＴ画像データより前記内視鏡画像とリアルタイムに同期した仮想内視鏡像を構築する仮想内視鏡画像構築手段と、前記処置具の前記体腔内への挿入位置を入力する処置具挿入位置入力手段と、前記患部を処置する位置に相当する処置具注目点の位置を入力する処置具注目点入力手段と、前記処置具挿入位置入力手段において入力された挿入位置と、前記処置具注目点の位置とに基づいて前記処置具の挿入方向を決定する挿入方向決定手段と、前記処置具の挿入量を検出する処置具挿入量検出手段と、前記処置具の挿入量に基づいて挿入深さを決定する挿入深さ決定手段と、前記処置具の挿入傾斜角を検出する処置具挿入傾斜角検出手段と、前記挿入方向、前記挿入深さ及び前記処置具の挿入傾斜角に基づき、前記処置具の形状画像データより前記内視鏡画像とリアルタイムに同期した仮想処置具像を構築する仮想処置具画像構築手段と、前記仮想内視鏡像と前記仮想処置具像を合成し合成画像を生成する画像合成手段と、前記内視鏡画像と、前記合成画像とを表示手段に同時に表示させるように制御を行う表示制御手段と、を備えて構成される。
【００１３】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１４】
図１ないし図１４は本発明の第１の実施の形態に係わり、図１は手術支援装置の硬性を示す構成図、図２は図１の硬性鏡の使用状態を示す図、図３は図２の硬性鏡の構成を示す図、図４は図２の硬性鏡側のトラカールの要部の構成を示す図、図５は図２の処置具の構成を示す図、図６は図２の処置具側のトラカールの要部の構成を示す図、図７は図１の手術支援装置の処理の流れを示す第１のフローチャート、図８は図１の手術支援装置の処理の流れを示す第２のフローチャート、図９は図７及び図８の処理で構築・生成された合成画像を表示する合成画像表示画面を示す図、図１０は図１の内視鏡画像表示モニタに表示される内視鏡画像の第１の例を示す図、図１１は図１０の内視鏡画像に対応して表示される合成画像表示画面を示す図、図１２は図１の内視鏡画像表示モニタに表示される内視鏡画像の第２の例を示す図、図１３は図１２の内視鏡画像に対応して表示される合成画像表示画面を示す図、図１４は図１のＶＥ画像表示モニタに表示される合成画像表示画面の変形例を示す図である。
【００１５】
図１に示すように、本実施の形態の手術支援装置１は、硬性鏡２、ＶＥ画像生成装置３、システムコントローラ４、ＣＣＵ５、光源装置６、気腹器７、電気メス８，超音波処置装置９、ＶＴＲ１０等を手術室に配置して構成される。なお、電気メス８及び気腹器７には処置具８ａが接続されている。
【００１６】
硬性鏡２の撮像部１１で撮像された撮像信号はＣＣＵ５に伝送され画像処理された後に画像を録画するＶＴＲ１０及びシステムコントローラ４に出力される。
【００１７】
システムコントローラ４は、ＣＣＵ５、光源装置６、気腹器７、電気メス８、超音波処置装置９、ＶＴＲ１０の各装置と設定情報を送受する通信Ｉ／Ｆ部１２と、各種プログラムを格納しているメモリ１３と、ＣＣＵ５からの画像信号を内視鏡画像表示モニタ１４に表示させる表示Ｉ／Ｆ部１５と、これら各部を制御するＣＰＵ１６とから構成される。なお、ＣＰＵ１６には通信Ｉ／Ｆ部１２を介してリモコン１７が接続され、このリモコン１７により各種データの入力が可能となっている。
【００１８】
硬性鏡２には、後述するように、硬性鏡２の挿入量を検出する（内視鏡）挿入量検出部２１と、硬性鏡２の挿入傾斜角を検出する（内視鏡）傾斜角センサ２２とが設けられている。
【００１９】
処置具８ａは、体内に挿入するプローブ１８を有し、該プローブ１８には、後述するように、プローブ１８の挿入量を検出する（処置具）挿入量検出部２３と、プローブ１８の挿入傾斜角を検出する（処置具）傾斜角センサ２４とが設けられている。
【００２０】
ＶＥ画像生成装置３は、予めＣＴ装置（図示せず）により得られたＣＴ画像に基づき硬性鏡２が撮像した内視鏡画像にリアルタイムで且つ視線方向が一致した仮想的な画像であるバーチャルエンドスコピー画像（ＶＥ画像）を生成すると共に、処置具の仮想画像を生成し、ＶＥ画像に処置具仮想画像を重畳させた合成画像を生成する装置である。
【００２１】
具体的には、ＶＥ画像生成装置３は、複数のＣＴ画像より構築されたＣＴ画像ＤＢ（データベース）を格納している記録部３１と、各種処置具の形状画像より構築された処置具画像ＤＢ（データベース）を格納している記録部３２と、各種プログラムを格納しているメモリ３３と、（内視鏡）挿入量検出部２１、（内視鏡）傾斜角センサ２２、（処置具）挿入量検出部２３、（処置具）傾斜角センサ２４及びシステムコントローラ４の通信Ｉ／Ｆ部１２とデータの送受を行う通信Ｉ／Ｆ部３４と、通信Ｉ／Ｆ部３４により得られた（内視鏡）挿入量検出部２１、（内視鏡）傾斜角センサ２２からのデータ及びＣＴ画像ＤＢのＣＴ画像に基づきＶＥ画像を構築するＶＥ画像構築部３５と、通信Ｉ／Ｆ部３４により得られた（処置具）挿入量検出部２３、（処置具）傾斜角センサ２４からのデータ及び処置具画像ＤＢの処置具形状画像に基づき処置具画像を構築する処置具画像構築部３６と、ＶＥ画像構築部３４が構築したＶＥ画像に処置具画像構築部３６が構築した処置具画像を重畳した合成画像を生成する画像合成部３７と、画像合成部３７が生成した合成画像をＶＥ画像表示モニタ３８に表示させる表示Ｉ／Ｆ部３９と、これら各部を制御するＣＰＵ４０とから構成され、ＣＰＵ４０には各種データを入力するためのキーボード４１及びマウス４２が接続されている。
【００２２】
硬性鏡２は、図２に示すように、トラカール４３ａ，４３ｂを介して処置具８ａと共に患者１００の体内に挿入される。
【００２３】
硬性鏡２は、図３に示すように、挿入基端側にＴＶカメラ４４ａを備え、さらに挿入基端側の把持部４５ａには傾斜角センサ２２が設けられている。この傾斜角センサ２２はジャイロ等により硬性鏡２の挿入傾斜角を計測しＶＥ画像生成装置３に出力する。
【００２４】
また、図４に示すように、硬性鏡２の挿入部４６ａを患者１００の体内へと導くトラカール４３ａの基端側には挿入量検出部２１が設けられており、挿入量検出部２１は、挿入部４６ａの外周面と接触し挿入部４６の挿入に従って回転するローラ４７ａと、ローラ４７ａの回転量を検出し挿入部４６の挿入量としてＶＥ画像生成装置３に出力するロータリーエンコーダ４８ａとから構成される。
【００２５】
同様に、処置具８ａは、図５に示すように、プローブ１８の挿入基端側の操作部４５ｂに傾斜角センサ２３が設けられている。この傾斜角センサ２３はジャイロ等により処置具８ａのプローブ１８の挿入傾斜角を計測しＶＥ画像生成装置３に出力する。
【００２６】
また、図６に示すように、処置具８ａのプローブ１８の挿入部４６ｂを患者１００の体内へと導くトラカール４３ｂの基端側には挿入量検出部２４が設けられており、挿入量検出部２４は、挿入部４６ｂの外周面と接触し挿入部４６の挿入に従って回転するローラ４７ｂと、ローラ４７ｂの回転量を検出し挿入部４６の挿入量としてＶＥ画像生成装置３に出力するロータリーエンコーダ４８ｂとから構成される。
【００２７】
このように構成された本実施の形態の作用について説明する。図７及び図８に示すように、ステップＳ１においてキーボード４１を用いて硬性鏡３の患者３９の体内への挿入位置である内視鏡挿入点の座標を入力する。この座標系はＣＴ画像の座標系と一致している。
【００２８】
ステップＳ２において、キーボード４１を用いて患部が存在する位置である内視鏡注目点の座標を入力する。そして、ステップＳ３において内視鏡挿入点の座標データ及び内視鏡注目点の座標に基づきＶＥ画像の視線方向を決定する。
【００２９】
そして、硬性鏡２の挿入が開始されると、ステップＳ４において挿入量検出部２１により硬性鏡２の挿入量を測定し、ステップＳ５において挿入量に基づきＶＥ画像の表示倍率を決定する（距離に応じて臓器に近い場合は倍率を高く、遠い場合には倍率を低くする）。
【００３０】
このように視線方向及び表示倍率が決定されると、ステップＳ６においてＶＥ画像構築部３５により視線方向及び表示倍率に基づきＶＥ画像が生成される。このときのＶＥ画像はライブの内視鏡画像と同様な臓器光学像の仮想画像となっている。
【００３１】
次に、ステップＳ７においてキーボード４１を用いて処置具８ａの患者３９の体内への挿入位置である処置具挿入点の座標を入力する。
【００３２】
ステップＳ８において、キーボード４１を用いて患部を処置する位置である処置具注目点の座標を入力する。そして、ステップＳ９において処置具挿入点の座標データ及び処置具注目点の座標に基づき処置具の挿入方向を決定する。
【００３３】
そして、処置具８ａの挿入が開始されると、ステップＳ１０において挿入量検出部２３により処置具８ａの挿入量を測定し、ステップＳ１１において挿入量に基づき処置具８ａの挿入深さを決定し、ステップＳ１２において処置具画像を生成し、ステップＳ１３においてＶＥ画像に処置具画像を重畳した合成画像を生成してＶＥ画像表示モニタ３８に表示させる。
【００３４】
この合成画像を参照して術者がライブの内視鏡画像が合成画像と一致するように、硬性鏡２及び処置具８ａの挿入状態を調整した後に、ステップＳ１４においてキーボード４１を用いてトラッキング（ライブの内視鏡画像への追従）の開始が指示されると、ＶＥ画像はライブの内視鏡画像と同様な臓器光学像の仮想画像から例えば臓器部分を消した血管配置仮想画像となる。
【００３５】
そして、ステップＳ１５において傾斜角センサ２２により硬性鏡２の挿入傾斜角を計測し、ステップＳ１６において挿入傾斜角に基づき硬性鏡２が撮像する内視鏡画像の視線方向を決定する。さらに、ステップＳ１７において挿入量検出部２１により硬性鏡２の挿入量を測定し、ステップＳ１８において挿入量に基づきＶＥ画像の表示倍率を決定する。
【００３６】
このように視線方向及び表示倍率が決定されると、ステップＳ１９においてＶＥ画像構築部３５により視線方向及び表示倍率に基づきＶＥ画像が生成される。このときのＶＥ画像は臓器部分を消した血管配置仮想画像となっている。
【００３７】
次に、ステップＳ２０において傾斜角センサ２４により処置具８ａの挿入傾斜角を計測し、ステップＳ２１において挿入傾斜角に基づき処置具８ａの挿入方向を決定する。さらに、ステップＳ２２において挿入量検出部２３により処置具８ａの挿入量を測定し、ステップＳ２３において挿入量に基づき処置具８ａの挿入深さを決定し、ステップＳ２４において処置具画像を生成し、ステップＳ２５においてＶＥ画像（血管配置仮想画像）に処置具画像を重畳した合成画像を生成してＶＥ画像表示モニタ３８に表示させる。
【００３８】
次に、ＶＥ画像表示モニタ３８に表示される合成画像表示画面について説明する。ＶＥ表示画面１０１は、図９に示すように、画像合成部３７により生成された合成画像を表示する合成画像表示エリア１０２、ＶＥ画像に関連した複数の２次元ＣＴ画像を表示する２次元画像表示エリア１０３と、硬性鏡２の挿入点、処置具８ａのの挿入点を表示する挿入点表示欄１０４等より構成される。
【００３９】
例えば図１０に示すようなライブの内視鏡画像１４ａが内視鏡画像表示モニタ１４に表示される際は、ＶＥ表示画面１０１においては、このライブの内視鏡画像１４ａの視線方向と大きさ（倍率）一致したリアルタイムの、図１１に示すような処置具形状画像１０９が重畳された例えば臓器部分を消した血管配置仮想画像１０２ａ（＝合成画像）が合成画像表示エリア１０２に表示される。
【００４０】
また、図１０の状態から硬性鏡２を傾け、図１２に示すようなライブの内視鏡画像１４ｂが内視鏡画像表示モニタ１４に表示されると、これに追従（トラッキング）してライブの内視鏡画像１４ｂの視線方向と大きさ（倍率）一致したリアルタイムの、図１３に示すような処置具形状画像１０９が重畳された例えば臓器部分を消した血管配置仮想画像１０２ｂ（＝合成画像）が合成画像表示エリア１０２に表示される。
【００４１】
このように本実施の形態では、硬性鏡２及び処置具８ａの挿入傾斜角、挿入量を計測し、これらの挿入傾斜角、挿入量の各データに基づき、ライブの内視鏡画像の視線方向と大きさ（倍率）一致したリアルタイムのＶＥ画像に処置具形状画像１０９が重畳した合成画像を生成・表示するので、手技の際に必要な情報（例えば血管配置情報）をビジュアルで確認できると共に、処置具の患部へのアプローチを確認・サポートできるので、手技を安全且つ適切に支援することができる。
【００４２】
なお、本実施の形態においては、キーボード４１を用いることにより、図１４に示すように、合成画像に患部の位置を示すマーカー１５１を重畳させることができる。
【００４３】
図１５ないし図１９は本発明の第２の実施の形態に係わり、図１５は手術支援装置の硬性を示す構成図、図１６は図１５の手術支援装置の作用を説明するフローチャート、図１７は図１６の処理を説明する第１の図、図１８は図１６の処理を説明する第２の図、図１９は図１６の処理を説明する第３の図である。
【００４４】
第２の実施の形態は、第１の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【００４５】
図１５に示すように、本実施の形態では、ＶＥ画像生成装置３は、ＣＰＵ４０の制御により合成画像に対して気腹器７の気腹情報（腹腔圧データ）を展開させ、該気腹情報に基づき合成画像を修正・補正する気腹情報フィードバック部２０１を備えて構成される。その他の構成は第１の実施の形態と同じである。
【００４６】
本実施の形態では、図１６に示すように、第１の実施の形態で説明したステップＳ１８の後に、ステップＳ１０１においてＣＰＵ４０が気腹器７の気腹情報（腹腔圧データ）を入手し、ステップＳ１０２において気腹情報フィードバック部２０１がＶＥ画像構築部３５及び画像合成部３７を制御し、気腹情報をフィードバックさせた合成画像を生成してからステップＳ２０に進む。その他の作用は第１の実施の形態と同じである。
【００４７】
この処理のより、図１７ないし図１９に示すように、腹腔圧に応じて体腔内が膨らんだ状態のＶＥ画像による合成画像を表示することが可能となる。図１７及び図１８は腹腔圧が順次高まった際の合成画像表示画面を、また図１９は腹腔圧が設定圧になった際の合成画像表示画面をそれぞれ示している。
【００４８】
このように本実施の形態では、第１の実施の形態の効果に加え、気腹器による腹腔圧情報をフィードバックした合成画像とすることが出来るので、よりリアルな合成画像により手技を支援することが可能となる。
【００４９】
図２０ないし図２２は本発明の第３の実施の形態に係わり、図２０は手術支援装置の硬性を示す構成図、図２１は図２０の内視鏡画像表示モニタに表示される合成画像表示画面を示す図、図２２は図２０の手術支援装置の作用を説明するフローチャートである。
【００５０】
第３の実施の形態は、第２の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【００５１】
図２０に示すように、本実施の形態では、ＶＥ画像生成装置３は、ＣＰＵ４０の制御により硬性鏡２の挿入量及び挿入傾斜角、処置具８ａの挿入量及び挿入傾斜角、気腹器７の気腹情報を時系列に記録するログ記録部３０１と、ＣＰＵ４０の制御によりログ記録部３０１とが記録した硬性鏡２の挿入量及び挿入傾斜角、処置具８ａの挿入量及び挿入傾斜角、気腹器７の気腹情報を時系列で読み出すログ再生部３０２を有しており、ＣＰＵ４０は硬性鏡２の挿入量及び挿入傾斜角、処置具８ａの挿入量及び挿入傾斜角、気腹器７の気腹情報に基づきＶＥ画像構築部３５、処置具画像構築部３６、画像合成部３７及び気腹情報フィードバック部２０１を制御する。その他の構成は第２の実施の形態と同じである。
【００５２】
ログ記録部３０１へのデータの記録開始及び記録停止は、図２１に示すように、合成画像表示画面に設けられたスタート／ストップボタン３１１をマウスを用いてクリックすることで行われる。また、ログ再生部３０２からのデータの再生は、再生ボタン３１２をマウスを用いてクリックすることで行われる。
【００５３】
本実施の形態では、図２２に示すように、ステップＳ１５１においてスタート／ストップボタン３１１をマウスを用いてクリックすると、ステップＳ１５２においてログ記録部３０１への硬性鏡２の挿入量及び挿入傾斜角、処置具８ａの挿入量及び挿入傾斜角、気腹器７の気腹情報の各情報の時系列記録が開始され、ステップＳ１５３においてスタート／ストップボタン３１１をマウスを用いて再度クリックすることで記録が停止する。
【００５４】
そして、ステップＳ１５４において再生ボタン３１２をマウスを用いてクリックすると、ステップＳ１５５においてログ再生部３０２がログ記録部３０１に記録されている硬性鏡２の挿入量及び挿入傾斜角、処置具８ａの挿入量及び挿入傾斜角、気腹器７の気腹情報の各情報の時系列記録を読み出しＣＰＵ４０に出力する。
【００５５】
そして、ステップＳ１５６においてＣＰＵ４０がＶＥ画像構築部３５、処置具画像構築部３６、画像合成部３７及び気腹情報フィードバック部２０１を制御し、手技中の合成画像を再生する。
【００５６】
このように本実施の形態では、第２の実施の形態の効果に加え、手技が終了した後においても容易に手技中の合成画像が再生できるので、手技の確認等を容易に行うことが可能となる。
【００５７】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【００５８】
【発明の効果】
以上説明したように本発明によれば、簡単でかつリアルタイムに、ライブの内視鏡画像に対応し、処置具のアプローチ状況が認識可能な仮想画像を提供することで手術を支援することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る手術支援装置の硬性を示す構成図
【図２】図１の硬性鏡の使用状態を示す図
【図３】図２の硬性鏡の構成を示す図
【図４】図２の硬性鏡側のトラカールの要部の構成を示す図
【図５】図２の処置具の構成を示す図
【図６】図２の処置具側のトラカールの要部の構成を示す図
【図７】図１の手術支援装置の処理の流れを示す第１のフローチャート
【図８】図１の手術支援装置の処理の流れを示す第２のフローチャート
【図９】図７及び図８の処理で構築・生成された合成画像を表示する合成画像表示画面を示す図
【図１０】図１の内視鏡画像表示モニタに表示される内視鏡画像の第１の例を示す図
【図１１】図１０の内視鏡画像に対応して表示される合成画像表示画面を示す図
【図１２】図１の内視鏡画像表示モニタに表示される内視鏡画像の第２の例を示す図
【図１３】図１２の内視鏡画像に対応して表示される合成画像表示画面を示す図
【図１４】図１のＶＥ画像表示モニタに表示される合成画像表示画面の変形例を示す図
【図１５】本発明の第２の実施の形態に係る手術支援装置の硬性を示す構成図
【図１６】図１５の手術支援装置の作用を説明するフローチャート
【図１７】図１６の処理を説明する第１の図
【図１８】図１６の処理を説明する第２の図
【図１９】図１６の処理を説明する第３の図
【図２０】本発明の第３の実施の形態に係る手術支援装置の硬性を示す構成図
【図２１】図２０の内視鏡画像表示モニタに表示される合成画像表示画面を示す図
【図２２】図２０の手術支援装置の作用を説明するフローチャート
【符号の説明】
１…手術支援装置
２…硬性鏡
３…ＶＥ画像生成装置
４…システムコントローラ
５…ＣＣＵ
６…光源装置
７…気腹器
８…電気メス
９…超音波処置装置
１０…ＶＴＲ
１１…撮像部
２１…（内視鏡）挿入量検出部
２２…（内視鏡）傾斜角センサ
２３…（処置具）挿入量検出部
２４…（処置具）傾斜角センサ
３１…記録部（ＣＴ画像ＤＢ）
３２…記録部（処置具画像ＤＢ）
３３…メモリ
３４…通信Ｉ／Ｆ部
３５…ＶＥ画像構築部
３６…処置具画像構築部
３７…画像合成部
３８…ＶＥ画像表示モニタ
３９…表示Ｉ／Ｆ部
４０…ＣＰＵ
Claims (2)
- 視野方向を特定可能な内視鏡及び処置具を体腔内に刺入し該内視鏡により撮像された内視鏡画像による観察下で前記処置具により患部の処置が行われる手術を支援する手術支援装置において、
前記体腔内の複数のＣＴ画像データを記憶するＣＴ画像記憶手段と、
前記処置具の形状画像データを記憶する処置具形状画像記憶手段と、
前記内視鏡の前記体腔内への挿入位置を入力する挿入位置入力手段と、
前記患部が存在する位置に相当する内視鏡注目点の位置を入力する内視鏡注目点入力手段と、
前記挿入位置入力手段において入力された挿入位置と、前記内視鏡注目点の位置とに基づいて前記内視鏡の視線方向を決定する視線方向決定手段と、
前記内視鏡の挿入量を検出する挿入量検出手段と、
前記内視鏡の挿入量に基づいて表示倍率を決定する表示倍率決定手段と、
前記内視鏡の挿入傾斜角を検出する挿入傾斜角検出手段と、
前記視線方向、前記表示倍率及び前記内視鏡の挿入傾斜角に基づき、前記複数のＣＴ画像データより前記内視鏡画像とリアルタイムに同期した仮想内視鏡像を構築する仮想内視鏡画像構築手段と、
前記処置具の前記体腔内への挿入位置を入力する処置具挿入位置入力手段と、
前記患部を処置する位置に相当する処置具注目点の位置を入力する処置具注目点入力手段と、
前記処置具挿入位置入力手段において入力された挿入位置と、前記処置具注目点の位置とに基づいて前記処置具の挿入方向を決定する挿入方向決定手段と、
前記処置具の挿入量を検出する処置具挿入量検出手段と、
前記処置具の挿入量に基づいて挿入深さを決定する挿入深さ決定手段と、
前記処置具の挿入傾斜角を検出する処置具挿入傾斜角検出手段と、
前記挿入方向、前記挿入深さ及び前記処置具の挿入傾斜角に基づき、前記処置具の形状画像データより前記内視鏡画像とリアルタイムに同期した仮想処置具像を構築する仮想処置具画像構築手段と、
前記仮想内視鏡像と前記仮想処置具像を合成し合成画像を生成する画像合成手段と、
前記内視鏡画像と、前記合成画像とを表示手段に同時に表示させるように制御を行う表示制御手段と、
を備えたことを特徴とする手術支援装置。 - 前記仮想内視鏡像は、前記内視鏡画像での血管配置を示す血管配置仮想画像である
ことを特徴とする請求項１に記載の手術支援装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003189783A JP4365630B2 (ja) | 2003-07-01 | 2003-07-01 | 手術支援装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003189783A JP4365630B2 (ja) | 2003-07-01 | 2003-07-01 | 手術支援装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005021353A JP2005021353A (ja) | 2005-01-27 |
| JP4365630B2 true JP4365630B2 (ja) | 2009-11-18 |
Family
ID=34187888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003189783A Expired - Fee Related JP4365630B2 (ja) | 2003-07-01 | 2003-07-01 | 手術支援装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4365630B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7841980B2 (en) * | 2006-05-11 | 2010-11-30 | Olympus Medical Systems Corp. | Treatment system, trocar, treatment method and calibration method |
| JP5372407B2 (ja) * | 2008-05-23 | 2013-12-18 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
| JP5421828B2 (ja) | 2010-03-17 | 2014-02-19 | 富士フイルム株式会社 | 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム |
| JP5551957B2 (ja) | 2010-03-31 | 2014-07-16 | 富士フイルム株式会社 | 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム |
| JP5380348B2 (ja) | 2010-03-31 | 2014-01-08 | 富士フイルム株式会社 | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
| JP5535725B2 (ja) | 2010-03-31 | 2014-07-02 | 富士フイルム株式会社 | 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム |
| US20150145953A1 (en) * | 2012-03-17 | 2015-05-28 | Waseda University | Image completion system for in-image cutoff region, image processing device, and program therefor |
| WO2014028394A1 (en) * | 2012-08-14 | 2014-02-20 | Intuitive Surgical Operations, Inc. | Systems and methods for registration of multiple vision systems |
| JP6150130B2 (ja) * | 2014-01-30 | 2017-06-21 | ソニー株式会社 | 内視鏡システム、内視鏡画像処理装置、画像処理方法、およびプログラム |
| JP6332524B2 (ja) * | 2017-05-23 | 2018-05-30 | ソニー株式会社 | 内視鏡システム、内視鏡画像処理装置、および画像処理方法 |
| WO2018220930A1 (ja) * | 2017-05-30 | 2018-12-06 | オリンパス株式会社 | 画像処理装置 |
| CN110769737B (zh) * | 2017-06-21 | 2022-03-29 | 奥林巴斯株式会社 | 插入辅助装置、工作方法和包括插入辅助装置的内窥镜装置 |
| US12048501B2 (en) | 2019-04-03 | 2024-07-30 | Canon Medical Systems Corporation | Medical image diagnosis apparatus, surgery assistance robot apparatus, surgery assistance robot controlling apparatus, and controlling method |
| JP7558057B2 (ja) | 2020-03-18 | 2024-09-30 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置、医療用観察システム、医療用画像処理装置の作動方法およびプログラム |
| CN113645396B (zh) * | 2020-04-27 | 2023-07-25 | 成都术通科技有限公司 | 图像叠加方法、装置、设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3856406B2 (ja) * | 1997-02-27 | 2006-12-13 | 株式会社東芝 | 画像処理装置 |
| JP2002045372A (ja) * | 2000-08-02 | 2002-02-12 | Olympus Optical Co Ltd | 手術ナビゲーション装置 |
| JP2002119507A (ja) * | 2000-10-17 | 2002-04-23 | Toshiba Corp | 医用装置および医用画像収集表示方法 |
| JP2002238844A (ja) * | 2001-02-16 | 2002-08-27 | Olympus Optical Co Ltd | 内視鏡装置 |
| JP2003153876A (ja) * | 2001-11-22 | 2003-05-27 | Ichiro Komada | 外科手術支援装置 |
-
2003
- 2003-07-01 JP JP2003189783A patent/JP4365630B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005021353A (ja) | 2005-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4698966B2 (ja) | 手技支援システム | |
| JP7443353B2 (ja) | 位置及び方向（ｐ＆ｄ）追跡支援の光学的視覚化を使用したコンピュータ断層撮影（ｃｔ）画像の補正 | |
| CN110741414B (zh) | 用于使用实时二维荧光镜检查数据识别、标记和导航到靶标的系统和方法 | |
| US7951070B2 (en) | Object observation system and method utilizing three dimensional imagery and real time imagery during a procedure | |
| JP4365630B2 (ja) | 手術支援装置 | |
| US9232982B2 (en) | System for orientation assistance and display of an instrument in an object under examination particularly for use in human body | |
| JP5328137B2 (ja) | 用具又は埋植物の表現を表示するユーザ・インタフェイス・システム | |
| JP5121401B2 (ja) | 埋植物距離測定のシステム | |
| JP2019162339A (ja) | 手術支援システムおよび表示方法 | |
| US20180286287A1 (en) | System and methods for training physicians to perform ablation procedures | |
| JP2007152114A (ja) | カテーテル施術のための超音波システム | |
| JP2001061861A (ja) | 画像撮影手段を備えたシステムおよび医用ワークステーション | |
| JP2006218129A (ja) | 手術支援システム | |
| JP2021030073A (ja) | 初期位置合わせのための透視ｃｔ撮像のシステムおよび方法 | |
| JP2002253480A (ja) | 医療処置補助装置 | |
| US20050234326A1 (en) | Medical procedure support system and method | |
| JP2006223374A (ja) | 手術支援装置、手術支援システム及び手術支援方法 | |
| JP2006198031A (ja) | 手術支援システム | |
| WO2015091226A1 (en) | Laparoscopic view extended with x-ray vision | |
| JP2006218239A (ja) | 手技支援システム | |
| JP4546043B2 (ja) | バーチャル画像表示装置 | |
| JP2005021355A (ja) | 手術支援装置 | |
| JP4615842B2 (ja) | 内視鏡システムおよび内視鏡画像処理装置 | |
| JP2005021354A (ja) | 遠隔手術支援装置 | |
| JP4533638B2 (ja) | バーチャル画像表示システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090701 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090728 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090821 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4365630 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |