JP5781135B2 - ３ｄナビゲーション映像生成装置 - Google Patents

Description

本発明は、手術用ロボット、手術用顕微鏡、３Ｄ内視鏡など、患部の立体映像を観察しながら行う手術のために、患部の立体映像に手術を幇助するナビゲーション映像を付加する３Ｄナビゲーション映像生成装置に関する。

手術を支援する手法として、手術対象となる患部に集まるインドシアニングリーンなどの蛍光発光物質を施して、患部を蛍光表示させて明示する方法がある。これにより処置すべき対象位置が明確になり、除去すべき患部の残存を防止する効果がある。しかし、患部を傷つけると発光物が散乱し、かえって処置対象位置の識別が困難になることもある。
また、術前に患部のＣＴもしくはレントゲン写真を取得して、その映像を患者の患部に投影して処理対象位置を明確にすることにより、開腹位置などをナビゲートする方法もある。しかし、この方法も、実体と投影映像の位置合わせの困難や、術時の患部の変動、映像と実体の識別の困難などにより、必ずしも有効とはいえない。

さらに、患者の手術を実施する前に、患部のＣＴ画像からボリュームレンダリング装置を用いて３ＤＣＧ化した立体映像を生成し、その映像をタブレット型表示装置にダウンロードして、術中は手術補助者が操作する表示装置を参照しながら施術する手法もある。しかし、施術者と手術補助者の意思の疎通が難しく施術の局面に適切な映像を表示させ難い問題がある。
また、患者の手術を実施する前に術前カンファランスを行い、患部の３ＤＣＧ化した立体映像を用いて手術計画を立ててから手術に臨む方法を採用することが多くなっているが、こうして得られた手術計画も術中は映像として参照することができず、術者の記憶に頼る他なかった。

なお、特許文献１には、術具誘導手術支援装置が開示されている。医療画像装置で得た３Ｄボリューム画像上に参照ポイントを登録しておいて、施術中に得る断面像の画像中の術具位置と参照ポイント位置のずれに対応して３Ｄボリューム画像の座標軸を修正することにより、３Ｄナビゲーションを被検体の動きに追随させることが記載されている。

特開２００９−２７９２０９号公報

そこで、本発明が解決しようとする課題は、術中に刻々変化する状況に合わせて、患部の立体映像（３Ｄ映像）と共に人手術前カンフェランスなどで立案した手術計画を容易に参照できるようにした３Ｄナビゲーション映像生成装置を提供することである。

本発明に係る３Ｄナビゲーション映像生成装置は、施術中の患部を表示する術野３Ｄ映像を取得する術野３Ｄ映像形成装置と、術前に生成した患部のボリュームレンダリング３ＤＣＧ映像に手術手順を指示するマーカを付与したナビゲーション３Ｄ映像を生成するナビゲーション３Ｄ映像生成装置と、術野３Ｄ映像の奥行きに対応するとともに表示範囲を対応させて形成したナビゲーション３Ｄ映像を術野３Ｄ映像の一部にはめ込んで表示する３Ｄｉｎ３Ｄ映像を生成する３Ｄｉｎ３Ｄ映像合成装置と、３Ｄ映像表示装置を備え、術野３Ｄ映像にナビゲーション３Ｄ映像をはめ込んだ映像を表示することを特徴とする。

本発明のＤナビゲーション映像生成装置は、３Ｄ顕微鏡や３Ｄ内視鏡を使った手術、あるいはダビンチ外科手術システム（商標名）などの手術支援ロボットなどにおける３Ｄ映像表示装置に適用するもので、術野３Ｄ映像の中にナビゲーション３Ｄ映像を同時に表示するので、術中の患部映像とナビゲーション映像の対応関係を容易に判断することができ、また、執刀医が施術中に術野の映像から目を離さずにナビゲーションを受けることができる。

また、ナビゲーション３Ｄ映像の表示位置や大きさあるいは表示領域を調整できるように構成することにより、ナビゲーション３Ｄ映像が術野３Ｄ映像の邪魔にならないように配置してより的確に施術を支援することができる。
さらに、ナビゲーション３Ｄ映像の奥行きを術野３Ｄ映像の奥行きに対応するように調整することにより、術者に対し違和感の少ないナビゲーションをすることができる。

また、３Ｄｉｎ３Ｄ映像をサイドバイサイド形式の視差３Ｄ映像信号で形成するようにすると、従来形式の映像表示装置やテレビジョン放送に使用する映像信号を適用することが可能になるため、従来形式の録画収録装置や放送装置を活用して、容易に録画再生や映像放送をすることができる。

本発明の３Ｄナビゲーション映像生成装置を利用することにより、事前のカンファレンス結果を記憶に頼って復元しながら施術する代わりに、ナビゲーション映像を参照しながら的確に施術することができる。したがって、患部の位置や執刀位置を的確に把握して計画に則った施術が可能になるので、術時間の短縮が図れ手術の成功率が向上する。ひいては、低侵襲を実現し、回復期間や入院期間の短縮に寄与することとなる。

さらに、本発明の３Ｄナビゲーション映像生成装置は、施術中の映像に基づいて状況に即応した手術手順を入力して表示させることも可能で、遠隔コーチングに利用することができる。
また、本発明の３Ｄナビゲーション映像生成装置は、録画収録機能を備えて、手術状況を再現表示する高度な教育映像を制作することができ、医療技術の底上げに貢献することができる。

本発明の１実施例に係る３Ｄナビゲーション映像生成装置の原理を示す構成図である。 本実施例に係る３Ｄナビゲーション映像生成装置により得られる立体映像の例を示す概念図である。 本実施例に係る３Ｄナビゲーション映像生成装置における立体映像構成手順を示す工程図である。 本実施例により構成された立体映像表示画像の例を示す写真である。

本発明の３Ｄナビゲーション映像生成装置は、顕微鏡、内視鏡など手術を支援する映像装置に表示される患部を撮影した術野３Ｄ映像にナビゲーション３Ｄ映像を挿入した３Ｄｉｎ３Ｄ映像を形成して表示するものである。ナビゲーション３Ｄ映像は、通常は術前に取得した患部の立体映像に手術手順にしたがって指標となる位置を指示した３Ｄ映像である。患部の立体映像として、たとえば、ＣＴ映像やＮＭＲ映像などの断面像から作成したボリュームレンダリング３ＤＣＧ映像などを使うことができる。

術野３Ｄ映像にナビゲーション３Ｄ映像をはめ込んで３Ｄｉｎ３Ｄ映像化するに当たって、計画された手術手順に従って取得すべき術野３Ｄ映像の予定を立てる。そして、予定された術野３Ｄ映像に対応して、同じ視野に表示するナビゲーション３Ｄ映像の範囲や大きさを決定し、画面中の表示位置を決定する。このとき、術野３Ｄ映像の奥行きに対応して、表示するナビゲーション３Ｄ映像の奥行きを調整することが好ましい。奥行きの調整は、左右視差の量を調整することにより行うことができる。

以下、図面を参照して、実施例に基づいて本発明の３Ｄナビゲーション映像生成装置を詳細に説明する。
図１は、本発明の１実施例に係る３Ｄナビゲーション映像生成装置の構成を説明する図面である。

本実施例の３Ｄナビゲーション映像生成装置は、術野３Ｄ映像形成装置３と、ボリュームレンダリング生成装置６と、３Ｄｉｎ３Ｄ映像合成装置９と、映像表示装置１１から構成される。術野３Ｄ映像形成装置３は、３Ｄ画像入力用の左目カメラ１および右目カメラ２が接続され、手術中の患部を撮影して立体映像化する。立体映像化された映像信号は入力モニター４に送られて術野３Ｄ映像として表示される。
術野３Ｄ映像信号は、また３Ｄｉｎ３Ｄ映像合成装置９に送られる。

ボリュームレンダリング生成装置６には、ＣＴ撮像装置５と操作卓７が接続されている。ＣＴ撮像装置５は、患部の断面像を形成して画像信号を出力する。ＣＴ撮像装置に代えて、ＮＭＲ（核磁気共鳴装置）などを使用することもできる。ＣＴ撮像装置５の画像出力はボリュームレンダリング生成装置６でボリュームレンダリングを受けて、３ＤＣＧ画像信号が生成され、操作用モニター８に立体画像として表示される。

ＣＴ撮像装置５は、術前に患者の患部に係るＸ線ＣＴ画像を取得して、ボリュームレンダリング生成装置６に送る。ボリュームレンダリング生成装置６では、Ｘ線ＣＴ画像から患部を３次元表示する３Ｄ映像に構成して、操作用モニター８にボリュームレンダリング像を表示させる。
なお、ボリュームレンダリング像は、術前に取得したＸ線ＣＴ画像などの断面像に基づいて、何度でも再構成することができる。また、表示形態の異なるいくつかのボリュームレンダリング映像から適宜なボリュームレンダリング像を選んで記憶しておき、必要に応じて表示することができる。

執刀医や手術補助医あるいは手術指導医などは、操作用モニター８に表示された患部のボリュームレンダリング像に基づいて、事前のシミュレーションやカンファランスをすることによって、適切な手術計画を策定することができる。

操作卓７は、タッチパネル、キーボード、パソコンコントローラ、ジョイスティック、などを利用し、操作用モニター８に表示されるボリュームレンダリング像に基づいて、映像表示範囲や大きさを指示したり、映像を回転させたり、患部のボリュームレンダリング像中に指標となるポインターを配置したり術具の位置や姿勢を指定したりするために使用される。また、左目用映像と右目用映像の視差量を操作することにより、映像の奥行き量を調整することもできる。

このようにして、ボリュームレンダリング像に適宜な指標を配置して施術方法や手術計画に則った執刀位置などを指示するナビゲーション３Ｄ映像が形成され、ボリュームレンダリング生成装置６に保存される。ナビゲーション３Ｄ映像は、必要に応じて引き出して操作用モニター８あるいは３Ｄｉｎ３Ｄ映像合成装置９に伝送することができる。

３Ｄｉｎ３Ｄ映像合成装置９は、リアルタイムで取得された術野３Ｄ映像信号と術前に形成されたナビゲーション３Ｄ映像信号を受信して、術野３Ｄ映像の一部にナビゲーション３Ｄ映像が上書き表示された３Ｄｉｎ３Ｄ映像を生成する。３Ｄｉｎ３Ｄ映像の映像信号は、３Ｄ映像表示装置１１に送信して３Ｄ映像として表示させることができる。

図２は、３Ｄｉｎ３Ｄ映像合成装置９が形成する３Ｄｉｎ３Ｄ映像の概念を示す図面である。３Ｄｉｎ３Ｄ映像は、術野３Ｄ映像の一部にナビゲーション３Ｄ映像が嵌め込まれている。
術野３Ｄ映像は、撮影位置や撮影方向、映像の拡大縮小などを調整して、手術を的確に支援できるような映像を取得するように制御することができる。

ナビゲーション３Ｄ映像の表示領域は、コントローラなどを操作することにより、大きさを変更したり、水平方向あるいは垂直方向に移動して位置決めしたりすることができる。したがって、術野３Ｄ映像に表示された対象部位を避けて、適宜の大きさのナビゲーション３Ｄ映像を適宜の位置に配置することができる。

また、ナビゲーション３Ｄ映像は、手動操作により任意に回転させたり画面のアスペクト比を維持したまま拡大縮小したりして、手術をナビゲーションするために適合した映像とすることができる。なお、ナビゲーション３Ｄ映像の奥行き量を術野３Ｄ映像の奥行き量と対応させることにより、両映像の対応する部分が同等の立体感覚を与えるようにして、円滑な施術を支援するようにすることが好ましい。

なお、ナビゲーション３Ｄ映像は、手術計画に即して予め表示する場面を時系列的に決めておくことができるが、さらに、コントローラなどの操作により、早送り、巻き戻し、停止などを選択して制御することができ、また、事前に付したマーカを選択してその位置にジャンプさせることができる。このようにして、術野に適したナビゲーションが可能になる。

図３は、３Ｄナビゲーション映像生成装置において、３Ｄｉｎ３Ｄ映像を構成するための手順を示す工程図である。
左目カメラ１で取得した左術野映像３１と右目カメラ２で取得した右術野映像３２は、それぞれ横方向に圧縮し、サイドバイサイドに配置して、ＴＶ映像信号として伝送できる術野３Ｄ映像３３に変成する。

また、対象領域の断面像からボリュームレンダリングにより生成された３Ｄ映像に各種指標を付与して形成されたナビゲーション３Ｄ映像に係る左ナビゲーション映像３４と右ナビゲーション映像３５は、術野３Ｄ映像中の一部に表示するためそれぞれ同量だけ画像圧縮し、サイドバイサイドに配置された術野３Ｄ映像中の左右の対応する位置に配置して、サイドバイサイドに配置されたナビゲーション３Ｄ映像３６とする。ナビゲーション３Ｄ映像における映像表示領域以外の部分は黒化して、術野３Ｄ映像と重ねたときにノイズが生じないようにすることが好ましい。

術野３Ｄ映像３３とナビゲーション３Ｄ映像３６は、同じ１面に重ねられて、３Ｄｉｎ３Ｄ映像３７となる。このとき、術野３Ｄ映像３３におけるナビゲーション３Ｄ映像３６の映像部分が填まる部分は黒化させて、ナビゲーション３Ｄ映像が見にくくなることを防止することが好ましい。
また、術野３Ｄ映像３３とナビゲーション３Ｄ映像３６の境界部分には、黒化などによる緩衝帯を配して立体視による目の疲労を抑制するようにすることが好ましい。

図４は、こうして構成された３Ｄｉｎ３Ｄ映像３７の１コマを例示する写真である。
３Ｄｉｎ３Ｄ映像３７は、３Ｄ映像表示装置１１において、左右分離されてそれぞれ左３Ｄ映像３８と右３Ｄ映像３９として表示され、それぞれ立体メガネなどの手段により人の左目と右目で視差像として観察され、立体映像として認識される。３Ｄ映像表示装置は、裸眼立体視ができるものであってもよい。

３Ｄ映像表示装置１１は、術者が観察できる場所に配置するばかりでなく、術者以外の者が観察するため教室やカンファレンスの場などに設置してもよい。なお、３Ｄ映像表示装置１１は、３Ｄメガネ式あるいは裸眼式の各種デスプレー装置に限らず、スクリーンに投影して３Ｄ表示し大勢で同時に観察できる表示装置であってもよい。

また、遠隔コーチング伝送装置１０を介して３Ｄｉｎ３Ｄ映像生成装置９を支配してナビゲーション３Ｄ映像を制御することにより、手術室外から遠隔で指示を与えることができるようにしてもよい。
さらに、３Ｄｉｎ３Ｄ映像３７の映像信号は、必要に応じて録画収録装置１２に送って記録し、編集や再生ができるようにしてもよい。

本実施例の３Ｄナビゲーション映像生成装置は、患部の立体映像を表す術野３Ｄ映像の視野内に、この術野３Ｄ映像が表現する奥行き情報に対応するナビゲーション３Ｄ映像を同時に表示することができるので、施術中の執刀医が患部の映像とナビゲーション映像を違和感を持たずに観察でき、またナビゲーション映像を参照するときにも術野から目を離さないようにすることができる。

また、ナビゲーション３Ｄ映像を適宜の位置に移動したり表示領域を拡大縮小したりして、患部の映像を妨げないようにすることができる。なお、術野３Ｄ映像が表現する奥行き情報に対して違和感のないナビゲーション３Ｄ映像を得るようにして、円滑な施術を支援することができる。
このため、手術を確実、安全に遂行するために大きく貢献し、手術時間を短縮させるとともに手術による侵襲を抑制して、手術の質を向上させることができる。

本実施例の３Ｄナビゲーション映像生成装置では、執刀医や手術補助医が操作卓を操作して、現在進行している術野に必要な、あるいは手術を進行させる上で必要とされるナビゲーション３Ｄ映像を選択して表示させることができるので、スムーズな施術が可能となる。
なお、手術計画に従って、予め、マーカポイントをナビゲーション３Ｄ映像に埋め込んでおき、執刀の進行に合わせてナビゲーション映像を展開推移させるようにすることもできる。

サイドバイサイド形式の３Ｄｉｎ３Ｄ映像は、遠隔への伝送が可能で、また、記録収録ができるので、施術中に遠隔地から手術を指導するリモートコーチングを可能とし、また手術の実態を表す教育教材として活用することもできる。
なお、３Ｄのナビゲーション映像が得られないときには、ナビゲーション映像が２Ｄ映像であっても、術野３Ｄ映像に埋め込むことで、従来と比較して格段の支援効果を生むことができることは、いうまでもない。

本発明は、３Ｄ表示した術野の映像に基づいて手術を行う場において、的確にナビゲーションやコーチングを行うことができる３Ｄナビゲーション映像生成装置を提供するもので、医療および医学に大きな貢献をもたらすものである。

１ 左目カメラ
２ 右目カメラ
３ 術野３Ｄ映像形成装置
４ 入力モニター
５ ＣＴ撮像装置
６ ボリュームレンダリング生成装置
７ 操作卓
８ 操作用モニター
９ ３Ｄｉｎ３Ｄ映像合成装置
１０ 遠隔コーチング伝送装置
１１ ３Ｄ映像表示装置
１２ 録画収録装置
３１ 左術野映像
３２ 右術野映像
３３ 術野３Ｄ映像
３４ 左ナビゲーション映像
３５ 右ナビゲーション映像
３６ ナビゲーション３Ｄ映像
３７ ３Ｄｉｎ３Ｄ映像
３８ 左３Ｄ映像
３９ 右３Ｄ映像

Claims (5)

1. 施術中の患部を表示する術野３Ｄ映像を取得する術野３Ｄ映像形成装置と、
   術前に生成した患部のボリュームレンダリング３ＤＣＧ映像に手術手順を指示するマーカを付与したナビゲーション３Ｄ映像を生成するナビゲーション３Ｄ映像生成装置と、
   前記ナビゲーション３Ｄ映像の範囲と大きさを前記術野３Ｄ映像と対応するように変成し、該ナビゲーション３Ｄ映像と前記術野３Ｄ映像の対応する部分の奥行き量が同等になるように調整し、該調整後のナビゲーション３Ｄ映像を前記術野３Ｄ映像の、表示された対象部位を避けた部分に嵌め込んで表示した３Ｄｉｎ３Ｄ映像を生成する３Ｄｉｎ３Ｄ映像合成装置と、
   前記３Ｄｉｎ３Ｄ映像を表示する３Ｄ映像表示装置を備えた、
   ３Ｄナビゲーション映像生成装置。
2. 前記３Ｄｉｎ３Ｄ映像はサイドバイサイド形式の２視差立体表示方式の３Ｄ映像信号により形成されることを特徴とする請求項１記載の３Ｄナビゲーション映像生成装置。
3. 前記３Ｄｉｎ３Ｄ映像合成装置には、さらに録画収録装置が接続され、該録画収録装置が前記３Ｄｉｎ３Ｄ映像の映像信号を記録して、必要なときに再生できることを特徴とする請求項１又は２記載の３Ｄナビゲーション映像生成装置。
4. 前記３Ｄｉｎ３Ｄ映像合成装置には、さらに遠隔コーチング伝送装置が接続され、必要なときに該遠隔コーチング伝送装置を介して前記３Ｄｉｎ３Ｄ映像を操作することができることを特徴とする請求項１から３のいずれか１項に記載の３Ｄナビゲーション映像生成装置。
5. 前記ナビゲーション３Ｄ映像生成装置には、さらに前記術野３Ｄ映像に嵌め込んだナビゲーション３Ｄ映像の表示領域の拡大縮小、水平方向の移動および位置決め、垂直方向の移動および位置決めを指示する操作卓が接続されることを特徴とする請求項１から４のいずれか１項に記載の３Ｄナビゲーション映像生成装置。