JP6413026B2 - プロジェクションマッピング装置 - Google Patents

Description

本発明は、医療機器が挿入されている被検体に画像を投影するプロジェクションマッピング装置に関する。

医療分野において、プロジェクタ装置を用いて患者に、臓器、筋肉、骨、関節、及び血管などの画像を投影（投射）する技術が知られている。特許文献１には、サーマルマーカを装着した患者を赤外線カメラで撮像し、この撮像により得られた赤外線画像を解析して患者（被検体）の位置及び姿勢を推定し、この推定結果に基づき患者の体内情報（臓器等）を患者の位置及び姿勢に合わせて投影する投影システムが開示されている。

特許文献２には、患者の体内に挿入された医療器具（外科用器具）の空間座標を検出し、この空間座標の検出結果に基づき、医療機器の位置及び方位等に関する幾何学的なパターンを患者に投影する装置が開示されている。この特許文献２に記載の装置では、患者に投影される幾何学パターンの位置が患者の体内での医療機器の位置（二次元位置）を示し、幾何学パターンの色が患者の体内での医療機器の深さ位置を示す。

特開２００７−１５１６８６号公報 特開２００２−１０２２５１号公報

しかしながら、特許文献１に記載の技術では、患者の位置や姿勢は推定可能であるが、体内情報（臓器等）が投影される患者の投影面（照射面）の形状までは判別できないので、患者の投影面に投影される投影画像（照射像）が歪むおそれがある。その結果、患者に投影される投影画像上で体内情報（臓器等）の形状や大きさを再現することができない。

特許文献２に記載の技術では、投影画像として前述の幾何学的パターンを患者に投影しているものの患者の位置を動かさないことが前提であり、幾何学的パターンが投影される患者の投影面（照射面）の形状を判別していない。このため、特許文献２に記載の技術では、患者を動かした場合に幾何学パターンの投影画像の位置がずれたり、上記特許文献１と同様に投影画像に歪みが発生したりするおそれがある。その結果、特許文献２に記載の投影画像では、少なくとも患者の体内に挿入されている医療器具の位置を再現できない場合がある。

本発明はこのような事情に鑑みてなされたものであり、被検体内に挿入されている医療機器の先端位置を示す投影画像を被検体の位置や姿勢の変化に合わせて投影可能なプロジェクションマッピング装置に関する。

本発明の目的を達成するためのプロジェクションマッピング装置は、測定光を被検体に対して照射する光源と、複数の受光素子が２次元状に配列された距離画像センサと、光源から出射され、被検体にて反射して距離画像センサに入射する測定光の受光信号を距離画像センサから取得し、取得した受光信号に基づいて距離画像を生成する距離画像生成部と、被検体内に挿入されている医療機器の先端位置を取得する位置情報取得部と、被検体内での医療機器の先端位置を表す先端位置画像を取得する先端位置画像取得部と、距離画像生成部が生成した距離画像から検出した被検体の形状と、位置情報取得部が取得した先端位置とに基づき、先端位置画像取得部が取得した先端位置画像から、先端位置に対応する被検体の対応部位の表面形状に対応した投影画像を生成する投影画像生成部と、投影画像生成部が生成した投影画像を表示する表示用光学素子と、表示用光学素子に投影光を入射させる投影光源と、表示用光学素子から出射される投影画像を対応部位に投影する投影レンズと、を含むプロジェクタ装置と、を備える。

このプロジェクションマッピング装置によれば、被検体の対応部位の表面形状に対応し且つ被検体内での医療機器の先端位置を表す投影画像を生成して、この投影画像を被検体の対応部位に投影することができる。

本発明の他の態様に係るプロジェクションマッピング装置において、先端位置画像取得部は、先端位置画像として、被検体の対応部位の透過画像を撮像する透過画像撮像装置から透過画像を取得する。これにより、この透過光画像を基に生成された投影画像を被検体の対応部位に投影することができるので、医師は被検体から視線を逸らすことなく（別途のモニタで透過光画像を確認することなく）医療機器の挿入を行うことができる。

本発明の他の態様に係るプロジェクションマッピング装置において、位置情報取得部が取得した先端位置と、被検体内の既知の内部構造とに基づき、先端位置画像を生成する先端位置画像生成部を備え、先端位置画像取得部は、先端位置画像生成部から先端位置画像を取得する。これにより、透過光画像の取得を行わなくとも被検体内での医療機器の先端位置を表す先端位置画像を取得することができる。

本発明の他の態様に係るプロジェクションマッピング装置において、位置情報取得部は、透過画像と、被検体内の既知の内部構造とに基づき、先端位置を取得する。これにより、現実に撮影された透過光画像から、被検体内での医療機器の正確な先端位置を取得することができる。

本発明の他の態様に係るプロジェクションマッピング装置において、医療機器は、被検体内の既知の経路に沿って挿入されるものであり、位置情報取得部は、被検体内への医療機器の挿入量を取得し、挿入量と既知の経路とを比較した結果に基づいて、先端位置を取得する。これにより、被検体内での医療機器の先端位置を簡単に取得することができる。

本発明の他の態様に係るプロジェクションマッピング装置において、医療機器の先端には、加速度センサ及びジャイロセンサが設けられており、位置情報取得部は、加速度センサ及びジャイロセンサの出力に基づいて、医療機器が被検体に挿入された挿入位置からの医療機器の先端の移動方向及び移動量を検出し、移動方向及び移動量の検出結果に基づいて先端位置を取得する。これにより、被検体内で医療機器の先端位置を自由に移動させた場合でも、被検体内で医療機器の先端位置を確実に取得することができる。

本発明の他の態様に係るプロジェクションマッピング装置において、医療機器の先端には、撮像部が設けられており、撮像部が撮像した撮像画像に基づいて被検体内での医療機器の先端の挿入経路を示す挿入経路情報を取得する挿入経路情報取得部を有し、位置情報取得部は、医療機器が被検体に挿入された挿入位置と、挿入経路情報取得部により取得された挿入経路情報とに基づいて、先端位置を取得する。これにより、被検体内で医療機器の先端位置を自由に移動させた場合でも、被検体内で医療機器の先端位置を確実に取得することができる。

本発明の他の態様に係るプロジェクションマッピング装置において、距離画像の生成前に、光源から被検体に照射される測定光の波長を切り替える切替制御部と、切替制御部による測定光の波長の切り替えによって距離画像センサが波長毎に受光した測定光の中で、最も強度が高くなる波長の測定光を光源から照射させる光源制御部と、を備え、距離画像生成部は、光源から被検体に最も強度が高くなる波長の測定光が照射された場合に、距離画像を生成する。これにより、距離画像に基づいた被検体までの距離の判定精度や被検体の形状判定精度を向上させることができる。

本発明の他の態様に係るプロジェクションマッピング装置において、光源は、異なる波長の測定光を被検体に照射する複数の光源ユニットを有しており、切替制御部は、測定光を照射する光源ユニットを切り替え、光源制御部は、最も強度が高くなる波長の測定光を照射する光源ユニットから被検体に測定光を照射させる。これにより、距離画像に基づいた被検体までの距離の判定精度や被検体の形状判定精度を向上させることができる。

本発明の他の態様に係るプロジェクションマッピング装置において、投影レンズの焦点距離と、距離画像生成部が生成した距離画像が示す被検体までの距離と、投影画像生成部が生成した投影画像とに基づき、被検体に投影される投影画像の投影範囲を取得する投影範囲取得部と、投影範囲取得部が取得した投影範囲に対応して、距離画像生成部が距離画像の生成を行う生成範囲を設定する距離画像生成制御部と、を備える。これにより、被検体の全範囲の距離画像を生成する必要がなくなるので、距離画像の生成処理に要する演算量を低減することができる。

本発明の他の態様に係るプロジェクションマッピング装置において、距離画像生成部は、光源から照射され、被検体にて反射して距離画像センサに入射する測定光の飛翔時間に対応する距離情報を示す受光信号を距離画像センサから取得し、距離情報に基づいて距離画像を生成する。

本発明の他の態様に係るプロジェクションマッピング装置において、投影画像生成部は、距離画像から検出した被検体の形状と、位置情報取得部が取得した先端位置とに基づき対応部位の表面形状を識別して、表面形状の識別結果に基づき、先端位置画像を対応部位に合わせた形状に変形して投影画像を生成する。これにより、被検体の対応部位の表面形状に対応した投影画像が生成される。

本発明の他の態様に係るプロジェクションマッピング装置において、投影画像生成部は、距離画像及び先端位置より判別されるプロジェクタ装置から対応部位までの距離と、投影レンズの焦点距離情報とに基づき、表示用光学素子に表示される投影画像の表示位置及び大きさを、投影画像が対応部位に重ねて投影される表示位置及び大きさに決定し、表示用光学素子は、投影画像生成部が決定した表示位置及び大きさで投影画像を表示する。これにより、投影画像を対応部位に重ねて投影することができる。

本発明のプロジェクションマッピング装置は、被検体内に挿入されている医療機器の先端位置を示す投影画像を被検体の位置や姿勢の変化に合わせて投影可能にする。

本発明のプロジェクションマッピング装置を含む手術支援システムの概略図である。 第１実施形態のプロジェクションマッピング装置の構成を示すブロック図である。 第１実施形態の制御部の機能ブロック図である。 第１実施形態の内部構造情報の一例を示した説明図である。 透過画像データの一例を示した説明図である。 第１実施形態の投影画像生成部による投影画像データの生成処理について説明するための説明図である。 投影画像データに基づく投影画像の患者への投影を説明するための説明図である。 投影画像データに基づく投影画像が患者に投影されている状態を説明するための説明図である。 投影画像生成部による投影画像データの生成処理の変形例について説明するための説明図である。 第１実施形態の手術支援システムのプロジェクションマッピング装置による投影画像の投影処理の流れを示すフローチャートである。 第２実施形態のプロジェクションマッピング装置の構成を示すブロック図である。 先端位置画像生成部による先端位置画像データの生成処理の一例を説明するための説明図である。 第２実施形態の手術支援システムのプロジェクションマッピング装置による投影画像の投影処理の流れを示すフローチャートである。 腹腔鏡を用いた腹腔鏡手術の一例を説明するための説明図である。 第３実施形態のプロジェクションマッピング装置の構成を示すブロック図である。 第３実施形態の位置情報取得部による患者の体内での腹腔鏡の先端位置の取得処理について説明するための説明図である。 第３実施形態の内部構造情報の一例を示した説明図である。 第３実施形態の先端位置画像生成部による先端位置画像データの生成処理を説明するための説明図である。 第３実施形態の投影画像データに基づく投影画像の患者への投影を説明するための説明図である。 第３実施形態の投影画像データに基づく投影画像が患者に投影されている状態を説明するための説明図である。 第４実施形態の手術支援システムのプロジェクションマッピング装置の構成を示すブロック図である。 第４実施形態の位置情報取得部による患者の体内での腹腔鏡の先端位置の取得処理について説明するための説明図である。 第５実施形態の手術支援システムのプロジェクションマッピング装置の構成を示すブロック図である。 距離画像データの生成用のパルス光を出射するＬＥＤ光源の決定処理の流れを示すフローチャートである。 第６実施形態の手術支援システムのプロジェクションマッピング装置の構成を示すブロック図である。 距離画像生成制御部による距離画像データの生成範囲の設定について説明するための説明図である。

［第１実施形態の手術支援システム（プロジェクションマッピング装置）］
図１は、本発明のプロジェクションマッピング装置を含む手術支援システム１０の概略図である。図１に示すように、手術支援システム１０は、本発明の被検体である患者９の体内に本発明の医療器具に相当するカテーテル１２を挿入した場合に、患者９の体内でのカテーテル１２の先端位置を示す画像を、この先端位置に対応する患者９の対応部位に投影する。ここでいう対応部位とは、患者９の体内においてカテーテル１２（医療機器）の先端位置が存在する部位である。

手術支援システム１０は、患者９を載置する載置台１５と、載置台１５の下側に配置されたＸ線管１６と、載置台１５の上側に配置されたＸ線平面検出器（FPD：Flat Panel Detector）１７と、透過画像生成部１８と、送り量センサ１９と、本発明のプロジェクションマッピング（Projection Mapping）装置２０と、を備える。以下、プロジェクションマッピング装置を、適宜「ＰＭ装置」と略す。

Ｘ線管１６及びＸ線平面検出器１７及び透過画像生成部１８は、本発明の透過画像を撮像する透過画像撮像装置に相当するものである。Ｘ線管１６は、載置台１５を通して患者９に向けてＸ線を照射する。なお、図中の符号ＡＸは、Ｘ線の照射範囲を示す。Ｘ線平面検出器１７は、載置台１５及び患者９を透過したＸ線を検出して、検出信号を透過画像生成部１８へ出力する。

透過画像生成部１８は、Ｘ線平面検出器１７から入力された検出信号に基づき、本発明の透過画像として、Ｘ線画像である透過画像データ２２（図５参照）を生成し、透過画像データ２２をＰＭ装置２０へ出力する。なお、Ｘ線管１６及びＸ線平面検出器１７及び透過画像生成部１８については公知技術であるので、詳細な説明は省略する。

また、Ｘ線管１６及びＸ線平面検出器１７と、載置台１５とは、図示しない相対移動機構により相対移動可能である。このため、Ｘ線管１６及びＸ線平面検出器１７と、載置台１５（患者９）とを相対移動させながら、Ｘ線管１６によるＸ線の照射と、Ｘ線平面検出器１７によるＸ線の検出と、透過画像生成部１８による透過画像データ２２（図５参照）の生成とを繰り返すことで、患者９の各部の透過画像データ２２が得られる。

本例では、カテーテル１２を挿入中に常に前述の対応部位の透過画像データ２２が得られるように、患者９の体内でのカテーテル１２の先端位置に応じて、Ｘ線管１６及びＸ線平面検出器１７と、載置台１５（患者９）とを相対移動させる。なお、相対移動機構による相対移動は医療スタッフ等が手動で行ってもよいし、或いは後述するように患者９の体内でのカテーテル１２の先端位置を取得した結果に基づき、この先端位置に応じた相対移動を相対移動機構に自動で行わせてもよい。

送り量センサ１９は、カテーテル１２の送り量を検出するセンサである。この送り量センサ１９の検出結果に基づき、患者９の体内へのカテーテル１２の挿入量を取得することができる。この送り量センサ１９は、カテーテル１２の送り量の検出結果をＰＭ装置２０へ出力する。

ＰＭ装置２０は、載置台１５上の患者９の距離画像データ２３（図６参照）を生成する機能と、患者９の体内でのカテーテル１２の先端位置を示し且つ前述の対応部位の表面形状に対応した投影画像データ２４（図６参照）を生成し、この投影画像データ２４に基づく投影画像を患者９の対応部位へ投影する機能と、を有している。図中の符号ＡＴは、距離画像データ２３の生成を行う生成範囲を示し、図中の符号ＡＰは、投影画像の投影範囲（照射範囲）を示す。

［第１実施形態のＰＭ装置の構成］
図２は、第１実施形態のＰＭ装置２０の構成を示すブロック図である。このＰＭ装置２０は、前述の距離画像データ２３の生成に係る距離画像取得装置２０Ａと、投影画像データ２４に基づく投影画像の投影を行うプロジェクタ装置２０Ｂと、制御部２６と、メモリ２７と、投影画像生成部２８と、入力Ｉ／Ｆ(interface)２９と、を備えている。

距離画像取得装置２０Ａは、パルス光検出方式の距離画像の取得を行うものであり、タイミングジェネレータ３１と、ＬＥＤ(Light Emitting Diode)光源３２と、光源ドライバ３３と、投影レンズ３５と、結像レンズ３６と、レンズドライバ３７と、距離画像センサ３８と、図中「Ａ／Ｄ」と表示しているＡＤ(Analog-to-Digital)変換器３９と、図中「Ｉ／Ｆ」と表示しているインターフェース(interface)回路４０と、を含む。

タイミングジェネレータ３１は、制御部２６の制御の下、ＬＥＤ光源３２と距離画像センサ３８とにそれぞれタイミング信号を出力する。

ＬＥＤ光源３２は、本発明の光源に相当するものであり、タイミングジェネレータ３１から入力されるタイミング信号に同期して一定のパルス幅のパルス光を発光する。このパルス光は、本発明の測定光に相当するものである。また、本例ではパルス光は近赤外光である。光源ドライバ３３は、制御部２６の制御の下、ＬＥＤ光源３２の駆動を制御する。なお、本発明の光源としてＬＥＤ以外の光源を使用可能であり、さらに本発明の測定光は近赤外光のパルス光に限定されるものではない。

投影レンズ３５は、ＬＥＤ光源３２から出射したパルス光を、載置台１５上の患者９に向けて照射する。結像レンズ３６は、患者９にパルス光が照射された場合、この患者９にて反射されたパルス光を距離画像センサ３８に結像させる。レンズドライバ３７は、図示しないレンズ駆動部を介して、結像レンズ３６のフォーカス制御等を行う。なお、本例ではＰＭ装置２０及び載置台１５の位置がほぼ固定であるので、載置台１５上の患者９に合わせて予めフォーカス調整等が行われている。

距離画像センサ３８は、垂直ドライバ及び水平ドライバ等を有するＣＭＯＳ(Complementary Metal-Oxide Semiconductor)ドライバ、及びタイミングジェネレータ３１により駆動されるＣＭＯＳ型のイメージセンサにより構成されている。なお、距離画像センサ３８は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ(Charge Coupled Device)型のイメージセンサでもよい。

距離画像センサ３８は、２次元状に複数の受光素子（フォトダイオード）が配列され、複数の受光素子の入射面側には、ＬＥＤ光源３２から発光される近赤外光のパルス光の波長帯域のみを通過させるバンドパスフィルタ、又は可視光を除去する可視光カットフィルタが設けられている。これにより、距離画像センサ３８の複数の受光素子は、近赤外光であるパルス光に対して感度をもった画素として機能する。

距離画像センサ３８は、タイミングジェネレータ３１から入力されるタイミング信号により、ＬＥＤ光源３２のパルス光の発光と同期して露光期間（露光時間及び露光タイミング）が制御される。距離画像センサ３８の各受光素子には、露光期間に入射するパルス光の光量に対応する電荷が蓄積される。このようにパルス光検出方式では、患者９までの距離（飛翔時間）が短いほど露光量が多くなり、逆に患者９までの距離（飛翔時間）が遠いほど露光量が少なくなるので、露光量の大きさに応じて患者９までの距離を測定することができる。なお、本例では被検体は患者９であり、手術支援システム１０の設置場所は病院内であるので、被検体の反射率の違いや外光の影響は考慮しないものとする。

距離画像センサ３８からは、患者９にて反射されたパルス光の入射光量に応じた受光信号（画素毎に蓄積された電荷に対応するアナログ信号であり画素信号ともいう）が読み出される。この受光信号は、患者９にて反射して距離画像センサ３８に入射するパルス光の飛翔時間に対応する距離情報を示す。

ＡＤ変換器３９は、距離画像センサ３８から読み出された受光信号をデジタル信号に変換してインターフェース回路４０へ出力する。なお、ＣＭＯＳ型のイメージセンサには、ＡＤ変換器を含むものがあり、この場合にはＡＤ変換器３９は省略することができる。インターフェース回路４０は、画像入力コントローラとして機能するものであり、ＡＤ変換器３９から入力されたデジタル信号を制御部２６へ出力する。これにより、詳しくは後述するが、制御部２６にて距離画像データ２３（図３参照）が生成される。

プロジェクタ装置２０Ｂは、所謂単板式の液晶プロジェクタであり、表示用光学素子（光変調素子ともいう）４２と、素子ドライバ４３と、ＬＥＤ光源４４と、光源ドライバ４５と、投影レンズ４６と、レンズドライバ４７と、を含む。

表示用光学素子４２は、複数色のカラーフィルタを備えた透過型の液晶パネル、或いはダイクロイックミラーとマイクロレンズアレイとモノクロの透過型の液晶パネルとを組み合わせたカラーフィルレス構造の素子等が用いられる。カラーフィルレス構造の素子は、例えば、Ｒ（Ｒｅｄ）光、Ｇ（Ｇｒｅｅｎ）光、Ｂ（Ｂｌｕｅ）光をそれぞれ反射する３種類のダイクロイックミラーにより白色光をＲＧＢの３色の光に分光し、３色の光を互いに異なった角度で液晶パネル上のマイクロレンズアレイに入射させる。そして、３色の光をマイクロレンズアレイにより液晶パネルのＲ用画素、Ｇ用画素、Ｂ用画素にそれぞれ入射させることによりカラー画像の表示が可能となる。

なお、プロジェクタ装置２０Ｂは、単板式の液晶プロジェクタに限定されるものでなく、色分離光学系及び複数の液晶パネルを備える公知の３板式の液晶プロジェクタであってもよい。また、プロジェクタ装置２０Ｂは、透過型液晶方式に限定されるものではなく、反射型液晶表示方式やＤＭＤ（Digital Mirror Device）等を用いた反射型表示方式等の他の各種方式を採用してもよい。

素子ドライバ４３は、制御部２６の制御の下、表示用光学素子４２を制御して、後述の投影画像生成部２８が生成した投影画像データ２４を表示させる。

ＬＥＤ光源４４は、本発明の投影光源に相当するものであり、表示用光学素子４２の背面側（投影レンズ４６に対向する面とは反対面側）から表示用光学素子４２に対して白色光（本発明の投影光）を入射させる。これにより、表示用光学素子４２から投影画像データ２４に基づく投影画像の像光が出射される。光源ドライバ４５は、制御部２６の制御の下、ＬＥＤ光源４４の駆動を制御する。なお、本発明の投影光源としてＬＥＤ以外の光源を使用可能である。また、ＤＭＤ等、Ｒ光、Ｂ光、Ｇ光を時分割で順次投影する表示用光学素子を用いる場合は、投影光源として、Ｒ光、Ｂ光、Ｇ光を時分割で表示用光学素子に順次照射させる光源を使用する。すなわち、本発明の投影光としては、Ｒ光、Ｂ光、Ｇ光などの白色光以外の光を用いることができる。

投影レンズ４６は、表示用光学素子４２から出射される投影画像の像光を患者９に投影する。レンズドライバ４７は、図示しないレンズ駆動部を介して、投影レンズ４６のフォーカス制御等を行う。なお、本例ではＰＭ装置２０及び載置台１５の位置がほぼ固定であるので、載置台１５上の患者９に合わせて予めフォーカス調整等が行われている。

制御部２６は、データバス４９を介して、タイミングジェネレータ３１、光源ドライバ３３、レンズドライバ３７、距離画像センサ３８、インターフェース回路４０、素子ドライバ４３、光源ドライバ４５、及びレンズドライバ４７等に接続している。この制御部２６は、例えばＣＰＵ（Central Processing Unit）を含む各種の演算部及び処理部及び記憶部により構成されたものであり、メモリ２７から読み出した制御用のプログラムやデータを実行することで、ＰＭ装置２０の全体の動作や処理を統括制御する。また、この制御部２６は、詳しくは後述するが、投影画像生成部２８による投影画像データ２４の生成に用いられるデータや情報の生成及び取得を行う（図３参照）。

メモリ２７は、制御部２６が処理を実行するための制御用のプログラムの他に、詳しくは後述するが、患者９の体内でのカテーテル１２の先端位置に関する情報の取得に用いられる内部構造情報５０（本発明の内部構造に相当）及び挿入経路情報５１（本発明の既知の経路に相当）を格納している（図３参照）。

投影画像生成部２８は、制御部２６の制御の下、詳しくは後述するが、制御部２６から入力されたデータや情報に基づいて本発明の投影画像である投影画像データ２４の生成を行う。

入力Ｉ／Ｆ２９は、前述の透過画像生成部１８や送り量センサ１９に有線接続又は無線接続する通信インターフェースである。この入力Ｉ／Ｆ２９は、透過画像生成部１８から透過画像データ２２を取得すると共に、送り量センサ１９から送り量の検出結果を取得して、透過画像データ２２及び送り量の検出結果を制御部２６へ出力する。

図３は、第１実施形態の制御部２６の機能ブロック図である。なお、図３中ではデータバス４９の図示は省略している。図３に示すように、制御部２６は、メモリ２７から読み出したプログラムやデータを実行することで、距離画像生成部５３、位置情報取得部５４、及び先端位置画像取得部５５として機能する。

距離画像生成部５３は、前述のインターフェース回路４０から入力されるデジタル信号に基づき、距離画像データ２３を生成する。前述の通り、距離画像センサ３８の各受光素子の受光量は患者９までの距離に応じて異なるため、距離画像データ２３は、通常の２次元画像データの色や濃淡の代わりに、画素毎に距離画像センサ３８から患者９までの距離情報をもったデータ、すなわち、患者９の表面の各点までの距離情報をもったデータであり、患者９までの距離及び患者９の表面形状を表している。距離画像生成部５３は、生成した距離画像データ２３を投影画像生成部２８へ出力する。

位置情報取得部５４は、患者９の体内に挿入されているカテーテル１２の先端位置を取得する。なお、ここでいう「先端位置」には、先端の向き（方位）に関する情報も含まれる。

本例の位置情報取得部５４は、入力Ｉ／Ｆ２９を介して取得した透過画像データ２２を用いてカテーテル１２の先端位置を取得する方法と、入力Ｉ／Ｆ２９を介して取得した送り量センサ１９からの送り量の検出結果を用いてカテーテル１２の先端位置を取得する方法とを選択可能である。なお、いずれの方法を選択するのかについては、ユーザが図示しない操作部等を操作して決定する。

位置情報取得部５４は、透過画像データ２２を用いてカテーテル１２の先端位置を取得する方法が選択された場合、この透過画像データ２２と、メモリ２７に予め格納されている内部構造情報５０とに基づいて、カテーテル１２の先端位置を取得する。

図４は内部構造情報５０の一例を示した説明図である。また、図５は透過画像データ２２の一例を示した説明図である。図４に示すように、患者９の体内の血管内にカテーテル１２を挿入する場合に用いられる内部構造情報５０は、患者９の体内の血管の構造を示す情報である。この内部構造情報５０は、患者９に対して事前にＭＲＩ（Magnetic Resonance Imaging）検査やＣＴ（Computed Tomography）検査を行うことで取得可能である。内部構造情報５０を参照することで、患者９の体内の血管の構造が得られる。

図５に示すように、患者９の対応部位の透過画像データ２２には、カテーテル１２の先端の像と、カテーテル１２の先端位置の周辺の血管の像とが含まれる。ここで、透過画像データ２２は、既述の通りＸ線画像であるため、患者９に対して事前にＸ線を通さない造影剤を投与することにより透過画像データ２２上で血管の像を映し出すことができる。

図３に戻って、位置情報取得部５４は、公知の手法（例えば特開２０１１−１６１０９１号公報参照）により透過画像データ２２から血管の像を抽出して、透過画像データ２２の血管の像と内部構造情報５０が示す患者９の血管構造とをパターンマッチング法により比較する。これにより、位置情報取得部５４は、透過画像データ２２内の血管が、患者９の体内のどの位置にある血管であるかを識別することができる。

また、透過画像データ２２からカテーテル１２の像を抽出する方法も公知である（例えば特開２００７−２２９４７３号公報の段落０００５参照）。従って、位置情報取得部５４は、血管の識別結果と透過画像データ２２内でのカテーテル１２の位置とに基づき、患者９の体内に挿入されているカテーテル１２の先端位置を取得することができる。

一方、位置情報取得部５４は、送り量センサ１９からの送り量の検出結果を用いてカテーテル１２の先端位置を取得する方法が選択された場合、この検出結果と、メモリ２７に予め格納されている挿入経路情報５１とに基づいて、カテーテル１２の先端位置を取得する。

患者９の体内の血管内にカテーテル１２を挿入する場合に用いられる挿入経路情報５１は、血管内へのカテーテル１２の挿入位置と、このカテーテル１２が目的位置に到達するまでに通る血管の経路とを示す情報である。この挿入経路情報５１は、前述の内部構造情報５０等に基づき医師が事前に決定してメモリ２７に格納させておく。

位置情報取得部５４は、送り量センサ１９からの送り量の検出結果と挿入経路情報５１とを比較することで、カテーテル１２の先端位置が挿入経路情報５１における血管の経路上のいずれにあるのかを識別できる。挿入経路情報５１における血管が患者９の体内のいずれに位置するのかは既知であるため、位置情報取得部５４は、前述の血管の経路上でのカテーテル１２の先端位置から、患者９の体内に挿入されているカテーテル１２の先端位置を取得することができる。

位置情報取得部５４は、前述のいずれかの方法により患者９の体内でのカテーテル１２の先端位置を取得した後、この先端位置を示す先端位置情報を投影画像生成部２８へ出力する。

先端位置画像取得部５５は、透過画像生成部１８から入力Ｉ／Ｆ２９を介して透過画像データ２２を取得し、この透過画像データ２２を投影画像生成部２８へ出力する。この透過画像データ２２は、既述の図５に示したように、カテーテル１２の先端の像とカテーテル１２の先端位置の周辺の血管の像とを含む画像であるので、患者９の体内でのカテーテル１２の先端位置を示す本発明の先端位置画像である。なお、本発明の先端位置画像としては、少なくとも先端位置における患者９の体内情報［臓器、筋肉、骨、関節、及び血管など］を含む、又は体内情報が表されている画像であることが好ましい。

図６は、第１実施形態の投影画像生成部２８による投影画像データ２４の生成処理について説明するための説明図である。図６に示すように、投影画像生成部２８は、先端位置画像取得部５５により入力された透過画像データ２２から、患者９に投影する投影画像データ２４であって既述の表示用光学素子４２に表示する投影画像データ２４を生成する。

具体的に、投影画像生成部２８は、距離画像生成部５３から入力された距離画像データ２３と、位置情報取得部５４から入力された先端位置情報とに基づき、カテーテル１２の先端位置がある患者９の対応部位（図中の点線枠内に含まれる患者９の部位）の表面形状を識別する。ここでいう対応部位の表面形状とは、ＰＭ装置２０側から見た患者９の対応部位の表面形状であり、例えばカテーテル１２の先端位置が移動していない場合であっても患者の位置や姿勢が変化すれば投影画像生成部２８により識別される対応部位の表面形状は変わる。これにより、患者のリアルタイムの位置や姿勢に応じた対応部位の表面形状が識別される。

次いで、投影画像生成部２８は、対応部位の表面形状の識別結果に基づき、透過画像データ２２を患者９の対応部位に合わせた形状に変形して投影画像データ２４を生成する。本例の投影画像生成部２８は、透過画像データ２２から濃度がほぼ一様な余白領域を検出することで、透過画像データ２２から患者９の対応部位に相当する領域を抽出し、抽出し領域の画像データを患者９の対応部位に合わせた形状に変形して投影画像データ２４を生成する。

この際に、本例ではＸ線平面検出器１７によるＸ線の撮像方向と、ＰＭ装置２０による距離画像データ２３の撮像方向とがほぼ同一であるため、透過画像データ２２を投影画像データ２４に変形する変形処理は拡大縮小処理が主になる。一方、Ｘ線平面検出器１７によるＸ線の撮像方向と、ＰＭ装置２０による距離画像データ２３の撮像方向とが異なる場合には、拡大縮小処理に加えて射影変換処理などを行う。

また、投影画像生成部２８は、距離画像データ２３及び先端位置情報から判別されるＰＭ装置２０（プロジェクタ装置２０Ｂ）から患者９の対応部位までの距離と、投影レンズ４６の焦点距離情報とに基づき、投影画像データ２４に基づく投影画像が患者９の対応部位に重ねて投影されるように、表示用光学素子４２上での投影画像データ２４の表示位置及び大きさを決定する。そして、投影画像生成部２８は、投影画像データ２４を前述の素子ドライバ４３へ出力する。これにより、素子ドライバ４３によって、投影画像生成部２８から入力された投影画像データ２４が、投影画像生成部２８が決定した位置及び大きさで表示用光学素子４２に表示される。

図７は、投影画像データ２４に基づく投影画像の患者９への投影を説明するための説明図である。図８は、投影画像データ２４に基づく投影画像が患者９に投影されている状態を説明するための説明図である。

図７に示すように、表示用光学素子４２により投影画像データ２４が表示されると、ＬＥＤ光源４４から出射された白色光が表示用光学素子４２により変調され、投影画像データ２４に基づく投影画像の像光が患者９の対応部位に投影される。これにより、図８に示すように、患者９の対応部位上に投影画像データ２４に基づく投影画像、すなわち、患者９の体内でのカテーテル１２の先端位置を示す画像が投影される。

この際に、投影画像内でのカテーテル１２の先端位置が実際の患者９の体内でのカテーテル１２の先端位置と一致するように、投影画像生成部２８による投影画像データ２４の生成と、表示用光学素子４２上での投影画像データ２４の表示位置及び大きさの決定とを行ってもよい。

図９は、投影画像生成部２８による投影画像データ２４の生成処理の変形例について説明するための説明図である。

図９に示すように、投影画像生成部２８は、前述の位置情報取得部５４が取得した先端位置情報と、距離画像データ２３と対比することで、距離画像データ２３上において患者９の体内に挿入されているカテーテル１２の先端位置（図中、十字で表示）を取得する。また、投影画像生成部２８は、透過画像データ２２からカテーテル１２の像を抽出することで、透過画像データ２２内でのカテーテル１２の先端位置を取得することができる。これにより、投影画像生成部２８は、透過画像データ２２内でのカテーテル１２の先端位置と患者９の体内でのカテーテル１２の先端位置とが一致するように、投影画像データ２４の生成と投影画像データ２４の表示位置及び大きさの決定とを行うことができる。

なお、距離画像生成部５３による距離画像データ２３の生成、位置情報取得部５４による先端位置情報の取得、及び先端位置画像取得部５５による透過画像データ２２の取得は繰り返し行われ、これに応じて投影画像生成部２８による新たな投影画像データ２４の生成も繰り返し行われる。その結果、患者９の対応部位に投影される投影画像が更新される。

［第１実施形態の手術支援システムの作用］
次に、図１０を用いて上記構成の手術支援システム１０の作用について説明を行う。図１０は、第１実施形態の手術支援システム１０のＰＭ装置２０による投影画像の投影処理の流れを示すフローチャートである。なお、患者９の内部構造情報５０や挿入経路情報５１は予め取得され、メモリ２７内に格納されているものとする。

医師による患者９の体内の血管内へのカテーテル１２の挿入開始前に手術支援システム１０の各部が起動され、その後、医師により患者９の血管内にカテーテル１２が挿入される。

手術支援システム１０の起動がなされると、Ｘ線管１６からの患者９の対応部位に対するＸ線の照射と、Ｘ線平面検出器１７による患者９を透過したＸ線の検出と、透過画像生成部１８による透過画像データ２２の生成とが行われる。透過画像生成部１８により生成された透過画像データ２２は、入力Ｉ／Ｆ２９を介してＰＭ装置２０の制御部２６に入力される。これにより、制御部２６の先端位置画像取得部５５は、患者９の体内でのカテーテル１２の先端位置を示す透過画像データ２２を取得し、この透過画像データ２２を投影画像生成部２８へ出力する（ステップＳ１）。

また、手術支援システム１０の起動がなされると、ＰＭ装置２０の制御部２６が光源ドライバ３３を制御してＬＥＤ光源３２の駆動を開始する。これにより、ＬＥＤ光源３２が、タイミングジェネレータ３１から入力されるタイミング信号に同期してパルス光を出射する。そして、ＬＥＤ光源３２から出射したパルス光は、投影レンズ３５により患者９に向けて照射される（ステップＳ２）。

患者９に向けて照射されたパルス光は、患者９の体表面にて反射されて結像レンズ３６に入射し、この結像レンズ３６により距離画像センサ３８に結像される。これにより、患者９にて反射されたパルス光が距離画像センサ３８で受光される（ステップＳ３）。そして、患者９にて反射されたパルス光の入射光量に応じた受光信号が距離画像センサ３８から読み出され、この受光信号はＡＤ変換器３９にてデジタル信号に変換された後、インターフェース回路４０を経て制御部２６に入力される。

制御部２６の距離画像生成部５３は、インターフェース回路４０から入力されたデジタル信号に基づき距離画像データ２３を生成し、この距離画像データ２３を投影画像生成部２８へ出力する（ステップＳ４）。なお、ステップＳ２からステップＳ４までの処理は、ステップＳ１の処理の前、或いはステップＳ１の処理と並行して行ってもよい。

また、位置情報取得部５４は、既述の透過画像データ２２を用いる方法と、既述の送り量センサ１９からの送り量の検出結果を用いる方法とのいずれかを用いて、患者９の体内に挿入されているカテーテル１２の先端位置を取得して、先端位置情報を投影画像生成部２８へ出力する（ステップＳ５）。前者の方法を用いた場合には、現実に撮影された透過画像データ２２からカテーテル１２の正確な先端位置を取得することができる。また、後者の方法を用いた場合にはカテーテル１２の先端位置を簡単に取得することができる。

次いで、投影画像生成部２８は、既述の図６に示したように、距離画像生成部５３から入力された距離画像データ２３と、位置情報取得部５４から入力される先端位置情報とに基づき、カテーテル１２の先端位置がある患者９の対応部位の表面形状を識別する。そして、投影画像生成部２８は、対応部位の表面形状の識別結果に基づき、透過画像データ２２を患者９の対応部位に合わせた形状に変形して投影画像データ２４を生成する（ステップＳ６）。

また、投影画像生成部２８は、投影画像データ２４に基づく投影画像が患者９の対応部位に重ねて投影されるように、距離画像データ２３及び先端位置情報から判別される患者９の対応部位までの距離と、投影レンズ４６の焦点距離情報とに基づき、表示用光学素子４２上での投影画像データ２４の表示位置及び大きさを決定する。そして、投影画像生成部２８は、投影画像データ２４を素子ドライバ４３へ出力する。

この際に、既述の図９で説明したように、透過画像データ２２内でのカテーテル１２の先端位置と患者９の体内でのカテーテル１２の先端位置とが一致するように、投影画像生成部２８による投影画像データ２４の生成、表示位置及び大きさの決定を行ってもよい。これにより、患者９に投影される投影画像上で、患者９の体内に挿入されているカテーテル１２の位置を忠実に再現することができる。

素子ドライバ４３は、投影画像生成部２８から入力された投影画像データ２４を、投影画像生成部２８が決定した位置及び大きさで表示用光学素子４２に表示させる。これにより、ＬＥＤ光源４４から出射された白色光が表示用光学素子４２により変調され、投影画像データ２４に基づく投影画像の像光が患者９の対応部位に投影される。その結果、既述の図８に示したように、患者９の対応部位上に投影画像データ２４に基づく投影画像が投影され、この投影画像により患者９の体内でのカテーテル１２の先端位置が示される（ステップＳ７）。

以下、投影画像の投影を継続する場合には、前述のステップＳ１からステップＳ７までの処理が繰り返し実行される（ステップＳ８）。その結果、患者９の血管内でのカテーテル１２の先端の移動に伴い、投影画像データ２４が更新されるともに、この投影画像データ２４に基づく投影画像が投影される患者９の対応部位も変化する。

［第１実施形態の効果］
以上のように、第１実施形態の手術支援システム１０では、患者９の距離画像データ２３と、患者９の体内でのカテーテル１２の先端位置を示す先端位置情報とに基づき、透過画像データ２２から患者９の対応部位の表面形状に対応した投影画像データ２４を生成して、この投影画像データ２４の像光を患者９の対応部位に投影するので、患者９を動かした場合でも患者のリアルタイムの位置や姿勢の変化に合わせて、患者９の体内でのカテーテル１２の先端位置を表す投影画像を患者９の対応部位に投影することができる。また、患者９の体内に挿入されているカテーテル１２の位置を、患者９の体表面上に再現することができる。

また、患者９の対応部位の透過画像データ２２から投影画像データ２４を生成して、この投影画像データ２４に基づく投影画像を患者９に投影しているので、医師は患者９から視線を反らすことなく（別途のモニタを確認することなく）、カテーテル１２の挿入を行うことができる。

［第２実施形態の手術支援システム］
次に、第２実施形態の手術支援システム（ＰＭ装置）について説明を行う。上記第１実施形態の手術支援システム１０では、透過画像データ２２を用いて投影画像データ２４を生成しているが、第２実施形態の手術支援システム（ＰＭ装置）では、既述の図４に示した内部構造情報５０を用いて投影画像データ２４の生成を行う。

第２実施形態の手術支援システムは、第１実施形態とは異なるＰＭ装置６０（図１１参照）を備える点を除けば、上記第１実施形態の手術支援システム１０と基本的に同じ構成である。このため、上記第１実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。なお、第２実施形態の手術支援システムでは、透過画像データ２２の取得に係る構成は必須ではない。

図１１は、第２実施形態のＰＭ装置６０の構成を示すブロック図である。図１１に示すように、第２実施形態のＰＭ装置６０は、制御部２６が既述の距離画像生成部５３及び位置情報取得部５４及び先端位置画像取得部５５の他に、先端位置画像生成部６２として機能する点を除けば、上記第１実施形態のＰＭ装置２０と基本的に同じ構成である。

なお、第２実施形態の位置情報取得部５４が、既述の透過画像データ２２を用いる方法により患者９の体内に挿入されているカテーテル１２の先端位置を取得する場合、位置情報取得部５４は、第１実施形態と同様に透過画像データ２２の入力を受ける。

先端位置画像生成部６２は、位置情報取得部５４から取得した先端位置情報と、メモリ２７に格納されている内部構造情報５０とに基づき、患者９の体内でのカテーテル１２の先端位置を表す本発明の先端位置画像である先端位置画像データ６４（図１２参照）を生成する。

図１２は、先端位置画像生成部６２による先端位置画像データ６４の生成処理の一例を説明するための説明図である。図１２に示すように、先端位置画像生成部６２は、位置情報取得部５４から取得した先端位置情報（図中の十字で表示）に基づき、メモリ２７に格納されている内部構造情報５０を参照して、患者９の対応部位（図中、点線枠で表示）における血管構造を内部構造情報５０から抽出する。そして、先端位置画像生成部６２は、抽出した患者９の対応部位の血管構造と、先端位置情報が示す血管内でのカテーテル１２とをモデル化したモデル画像（仮想画像）を構築することにより、先端位置画像データ６４を生成する。

先端位置画像データ６４は、カテーテル１２の先端のモデル画像とカテーテル１２の先端位置の周辺の血管のモデル画像とを含むので、患者９の体内でのカテーテル１２の先端位置を示す画像である。

図１１に戻って、第２実施形態の先端位置画像取得部５５は、先端位置画像生成部６２から先端位置画像データ６４を取得して、この先端位置画像データ６４を投影画像生成部２８へ出力する。

第２実施形態の投影画像生成部２８は、距離画像データ２３及び先端位置情報に基づき、先端位置画像取得部５５から入力された先端位置画像データ６４から投影画像データ２４を生成する。具体的な投影画像データ２４の生成方法は、既述の図６に示した第１実施形態と基本的に同じである。なお、これ以降の処理を行う構成は、第１実施形態と同じであるので説明は省略する。

［第２実施形態の手術支援システムの作用］
次に、図１３を用いて第２実施形態の手術支援システムの作用について説明を行う。図１０は、第２実施形態の手術支援システムのＰＭ装置６０による投影画像の投影処理の流れを示すフローチャートである。なお、第２実施形態では、既述の図１０に示した第１実施形態のような投影画像データ２４の生成を目的とした透過画像データ２２（図５参照）の取得は行わないものの、ステップＳ２からステップＳ５までの処理は第１実施形態と同じであるので、ここでは説明を省略する。

ステップＳ５の処理後、先端位置画像生成部６２は、位置情報取得部５４から取得した先端位置情報に基づき、メモリ２７に格納されている内部構造情報５０を参照して、患者９の対応部位における血管構造を内部構造情報５０から抽出する（ステップＳ５Ａ）。そして、先端位置画像生成部６２は、既述の図１２に示したように、抽出した患者９の対応部位の血管構造と、先端位置情報が示す血管内でのカテーテル１２とをモデル化したモデル画像を構築することにより、先端位置画像データ６４を生成する（ステップＳ５Ｂ）。これにより、第１実施形態のような透過画像データ２２を取得する構成を備えていなくとも、カテーテル１２の先端位置を示す先端位置画像データ６４を取得することができる。

先端位置画像生成部６２による先端位置画像データ６４の生成が行われると、先端位置画像取得部５５は、先端位置画像生成部６２から先端位置画像データ６４を取得して、この先端位置画像データ６４を投影画像生成部２８へ出力する。

投影画像生成部２８は、第１実施形態と基本的に同じ方法にて、距離画像データ２３及び先端位置情報とに基づき、先端位置画像取得部５５から入力された先端位置画像データ６４から投影画像データ２４を生成する（ステップＳ６Ａ）。

これ以降の処理は、既述の図１０に示した第１実施形態と同じであるので、具体的な説明は省略する。

［第２実施形態の効果］
以上のように、第２実施形態の手術支援システムにおいても、患者９の距離画像データ２３と、患者９の体内でのカテーテル１２の先端位置を示す先端位置情報とに基づき、先端位置画像データ６４から患者９の対応部位の表面形状に対応した投影画像データ２４を生成して、患者９の対応部位に投影画像データ２４の像光を投影するため、上記第１実施形態と同様の効果が得られる。

［第３実施形態の手術支援システム］
次に、第３実施形態の手術支援システムについて説明を行う。上記各実施形態では、患者９の体内に挿入される医療機器として体内の既知の経路（血管等）を通るカテーテル１２を例に挙げて説明したが、第３実施形態の手術支援システムでは腹腔鏡６５（本発明の医療機器に相当、図１４参照）を用いる場合について説明する。

図１４は、腹腔鏡６５を用いた腹腔鏡手術の一例を説明するための説明図である。図１４に示すように、腹腔鏡手術では、患者９の体壁に形成された処置孔にトラカール６７を挿置及び固定した状態で、医師がトラカール６７の挿入孔を通して患者９の体内（第３実施形態では体腔内）に腹腔鏡６５を挿入して腹腔鏡６５により体内の臓器の撮像を行う。そして、医師は、腹腔鏡６５により得られた臓器の撮像画像を確認しつつ、トラカール６７の挿入孔を通して患者９の体内に鉗子などの処置具６８を挿入して、処置具６８により臓器に対して各種の処置を行う。

第３実施形態の手術支援システムでは、患者９のリアルタイムの位置や姿勢に合わせて、患者９の体内での腹腔鏡６５の先端位置を表す投影画像を患者の対応部位に投影する。なお、腹腔鏡６５の代わり或いは腹腔鏡６５と同時に処置具６８の先端位置を表す投影画像を患者９の対応部位に投影してもよいが、本例では説明及び図面の煩雑化を防止するため、腹腔鏡６５の先端位置のみを表す投影画像を患者９の対応部位に投影する。

第３実施形態の手術支援システムは、上記各実施形態とは異なるＰＭ装置７０（図１５参照）を備え且つ送り量センサ１９を備えない点を除けば、上記各実施形態のうちの第２実施形態の手術支援システムと基本的に同じ構成である。このため、上記第２実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。

図１５は、第３実施形態のＰＭ装置７０の構成を示すブロック図である。図１５に示すように、第３実施形態のＰＭ装置７０は、制御部２６が既述の距離画像生成部５３及び先端位置画像取得部５５の他に、位置情報取得部７２及び先端位置画像生成部７３として機能する点を除けば、上記第２実施形態のＰＭ装置６０と基本的に同じ構成である。

位置情報取得部７２は、患者９の体内に挿入されている腹腔鏡６５の先端位置を取得する。この腹腔鏡６５の先端部には、撮像レンズ及び各種のイメージセンサを含む撮像部７５と、ジャイロセンサ７６と、加速度センサ７７とが内蔵されている。ジャイロセンサ７６は、腹腔鏡６５の先端に回転が生じた時に発生する角速度を測定し、その測定信号を入力Ｉ／Ｆ２９へ出力する。加速度センサ７７は、腹腔鏡６５の先端の加速度（例えばＸＹＺの３軸の加速度）を測定し、その測定信号を入力Ｉ／Ｆ２９へ出力する。

位置情報取得部７２は、入力Ｉ／Ｆ２９を介してジャイロセンサ７６及び加速度センサ７７の測定信号を一定時間間隔ごとに取得する。また、位置情報取得部７２は、患者９の体内への腹腔鏡６５の挿入位置ＰＳ（図１６参照）を取得する。この挿入位置ＰＳにおいて腹腔鏡６５の一部は患者９の体外にあるので、位置情報取得部７２は、例えば距離画像データ２３を解析して患者９の体外にある腹腔鏡６５（トラカール６７）を識別した識別結果に基づき、腹腔鏡６５の挿入位置ＰＳを取得することができる。また、腹腔鏡６５の挿入位置ＰＳが予め定められている場合には、後述の内部構造情報７９（図１７参照）上での挿入位置ＰＳを示す空間座標等をＰＭ装置７０に入力してもよい。

図１６は、第３実施形態の位置情報取得部７２による患者９の体内での腹腔鏡６５の先端位置の取得処理について説明するための説明図である。図１６に示すように、位置情報取得部７２は、入力Ｉ／Ｆ２９を介してジャイロセンサ７６及び加速度センサ７７から一定時間間隔ごとに入力される測定信号に基づき、患者９の体内への腹腔鏡６５の挿入位置ＰＳから、腹腔鏡６５の先端の移動方向及び移動量（どの方向にどれだけ移動したのか）を検出する。これにより、位置情報取得部７２は、患者９の体内に挿入されている腹腔鏡６５の先端位置を取得することができ、この先端位置を示す先端位置情報を先端位置画像生成部７３及び投影画像生成部２８へ出力する。

図１５に戻って、先端位置画像生成部７３は、位置情報取得部７２から取得した先端位置情報と、メモリ２７に格納されている内部構造情報７９とに基づき、患者９の体内での腹腔鏡６５の先端位置を表す本発明の先端位置画像である先端位置画像データ８１（図１８参照）を生成する。

図１７は、第３実施形態の内部構造情報７９の一例を示した説明図である。図１７に示すように、患者９の体内に腹腔鏡６５を挿入する場合の内部構造情報７９は、患者９の体内の臓器（肺、心臓、肝臓、膵臓、腎臓等）の配置構造を示す情報である。この内部構造情報７９は、上記第１実施形態で説明した内部構造情報５０（図４参照）と同様に、患者９に対して事前にＭＲＩ検査やＣＴ検査を行うことで取得可能である。内部構造情報７９を参照することで、患者９の体内の臓器の配置構造が得られる。

図１８は、第３実施形態の先端位置画像生成部７３による先端位置画像データ８１の生成処理を説明するための説明図である。図１８に示すように、先端位置画像生成部７３は、位置情報取得部７２から取得した先端位置情報（図中の十字で表示）に基づき、メモリ２７に格納されている内部構造情報７９を参照して、患者９の対応部位（図中、点線枠で表示）における臓器の種類を識別する。なお、第３実施形態における患者９の「対応部位」とは、患者９の体内において腹腔鏡６５の先端位置が存在する部位であり、図１８では先端位置が「肝臓」と「腸」とにそれぞれある場合を例示している。

そして、先端位置画像生成部７３は、患者９の対応部位における臓器の種類の識別結果に基づき、この対応部位の臓器をモデル化したモデル画像（仮想画像）を構築することにより、先端位置画像データ８１を生成する。この先端位置画像データ８１は、腹腔鏡６５の先端位置がある患者９の体内の臓器のモデル画像であるので、患者９の体内での腹腔鏡６５の先端位置を示す画像である。なお、位置情報取得部７２から取得した先端位置情報に基づき、患者９の体内にある腹腔鏡６５のモデル画像を生成し、このモデル画像を先端位置画像データ８１に合成表示させてもよい。

図１５に戻って、第３実施形態の先端位置画像取得部５５は、第２実施形態と基本的に同じであり、先端位置画像生成部７３から先端位置画像データ８１を取得して、この先端位置画像データ８１を投影画像生成部２８へ出力する。

第３実施形態の投影画像生成部２８は、既述の第１実施形態の図６で説明したように、距離画像データ２３及び先端位置情報に基づき、先端位置画像取得部５５から入力された先端位置画像データ８１から、患者９の対応部位の表面形状に対応する投影画像データ２４（図１９、図２０参照）を生成する。

また、第３実施形態の投影画像生成部２８は、上記第１実施形態と同様にして投影画像データ２４に基づく投影画像が患者９の対応部位に重ねて投影されるように、表示用光学素子４２上での投影画像データ２４の表示位置及び大きさを決定する。そして、投影画像生成部２８は、投影画像データ２４を前述の素子ドライバ４３へ出力する。

なお、先端位置画像データ８１に腹腔鏡６５のモデル画像を合成している場合には、既述の第１実施形態の図９で説明したように、投影画像内での腹腔鏡６５の先端位置が実際の患者９の体内での先端位置と一致するように、投影画像生成部２８による投影画像データ２４の生成と、表示用光学素子４２上での投影画像データ２４の表示位置及び大きさの決定とを行ってもよい。

図１９は、第３実施形態の投影画像データ２４に基づく投影画像の患者９への投影を説明するための説明図である。図２０（Ａ），（Ｂ）は、第３実施形態の投影画像データ２４に基づく投影画像が患者９に投影されている状態を説明するための説明図である。ここで、図２０（Ａ）は腹腔鏡６５の先端位置が「腸」にある場合を示し、図２０（Ｂ）は腹腔鏡６５の先端位置が「肝臓」にある場合を示す。

図１９に示すように、表示用光学素子４２により投影画像データ２４が表示されると、ＬＥＤ光源４４から出射された白色光が表示用光学素子４２により変調され、投影画像データ２４に基づく投影画像の像光が患者９の対応部位（図中、点線枠で表示）に投影される。これにより、図２０（Ａ），（Ｂ）に示すように、患者９の対応部位上に投影画像データ２４に基づく投影画像が投影され、この投影画像により患者９の体内での腹腔鏡６５の先端位置が示される。

距離画像生成部５３による距離画像データ２３の生成、位置情報取得部７２による先端位置情報の取得、先端位置画像生成部７３による先端位置画像データ８１の生成、及び先端位置画像取得部５５による先端位置画像データ８１の取得は繰り返し行われ、これらに応じて投影画像生成部２８による新たな投影画像データ２４の生成も繰り返し行われる。その結果、患者９の対応部位に投影される投影画像が更新される。これにより、例えば、腹腔鏡６５の先端位置が「腸」から「肝臓」に移動した場合、図２０（Ａ），（Ｂ）に示したように、患者９に投影される投影画像の位置が「腸」に対応する対応部位から「肝臓」に対応する対応部位に移動すると共に、投影画像も「腸」の画像から「肝臓」の画像に切り替わる。

［第３実施形態の手術支援システムの作用］
第３実施形態の手術支援システムの作用、すなわち、投影画像の投影処理の流れについては、既述の第２実施形態の図１３に示したフローと基本的に同じである。ただし、第３実施形態のステップＳ５の処理では、位置情報取得部７２は、腹腔鏡６５のジャイロセンサ７６及び加速度センサ７７の測定信号に基づき、患者９の体内に挿入されている腹腔鏡６５の先端位置を取得する。また、第３実施形態のステップＳ５Ａ，Ｓ５Ｂの処理では、先端位置画像生成部７３は、位置情報取得部７２から取得した先端位置情報に基づき、メモリ２７内の内部構造情報７９を参照して、先端位置画像データ８１を生成する。

［第３実施形態の効果］
以上のように、第３実施形態の手術支援システムにおいても、患者９の距離画像データ２３と、患者９の体内での腹腔鏡６５の先端位置を示す先端位置情報とに基づき、先端位置画像データ８１から患者９の対応部位の表面形状に対応した投影画像データ２４を生成して、患者９の対応部位に投影画像データ２４の像光を投影するので、上記各実施形態と同様の効果が得られる。

また、腹腔鏡６５のジャイロセンサ７６及び加速度センサ７７の測定信号に基づき、患者９の体内に挿入されている腹腔鏡６５の先端位置を取得するので、患者９の体内（体腔内）で腹腔鏡６５の先端位置を自由に移動させた場合でも、患者９の体内に挿入されている腹腔鏡６５の先端位置を取得することができる。

［第４実施形態の手術支援システム］
次に、第４実施形態の手術支援システムについて説明を行う。上記第３実施形態の手術支援システムのＰＭ装置７０の位置情報取得部７２は、腹腔鏡６５のジャイロセンサ７６及び加速度センサ７７の測定信号に基づき、患者９の体内に挿入されている腹腔鏡６５の先端位置を取得している。これに対して、第４実施形態では腹腔鏡６５により撮像された患者９の体内の撮像画像データ８３（図２１参照）を用いて、患者９の体内に挿入されている腹腔鏡６５の先端位置を取得する。

図２１は、第４実施形態の手術支援システムのＰＭ装置８５の構成を示すブロック図である。図２１に示すように、第４実施形態のＰＭ装置８５は、制御部２６が第３実施形態の位置情報取得部７２の代わりに位置情報取得部８６として機能する点を除けば、上記第３実施形態のＰＭ装置７０と基本的に同じ構成である。このため、上記第３実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。

位置情報取得部８６は、第３実施形態の位置情報取得部７２とは異なる方法で、患者９の体内（体腔内）に挿入されている腹腔鏡６５の先端位置を取得する。この位置情報取得部８６は、腹腔鏡６５の撮像部７５にて撮像された患者９の体内の撮像画像データ８３を、入力Ｉ／Ｆ２９を介して一定時間間隔ごとに取得する。また、位置情報取得部８６は、第３実施形態の位置情報取得部７２と同様の手法にて、患者９の体内への腹腔鏡６５の挿入位置ＰＳ（図２２参照）を取得する。

図２２は、第４実施形態の位置情報取得部８６による患者９の体内での腹腔鏡６５の先端位置の取得処理について説明するための説明図である。図２２に示すように、位置情報取得部８６は、入力Ｉ／Ｆ２９を介して撮像部７５から一定時間間隔ごとに入力される連続する撮像画像データ８３に基づき、挿入位置ＰＳからの腹腔鏡６５の先端の挿入経路（移動経路）を示す挿入経路情報８８を取得する。すなわち、第４実施形態の位置情報取得部８６は、本発明の挿入経路情報取得部８６ａとして機能する。

具体的に、挿入経路情報取得部８６ａは、公知のＳＬＡＭ(Simultaneous Localization and Mapping)技術を用いて、撮像部７５から入力される連続する撮像画像データ８３に基づいて、挿入位置ＰＳからの腹腔鏡６５の先端の挿入経路をマッピング処理する。例えば、挿入経路情報取得部８６ａは、連続する撮像画像データ８３から各々の特徴点（画像データ間の対応付けが取り易いコーナ点など）を抽出し、連続する撮像画像データ８３における各特徴点の軌跡を求めることで、腹腔鏡６５の先端の挿入経路をマッピング処理する。これにより、挿入位置ＰＳからの腹腔鏡６５の先端の挿入経路情報８８が取得される。

挿入経路情報８８は、腹腔鏡６５の先端が挿入位置ＰＳからの移動方向及び移動量（どの方向にどれだけ移動したのか）を示す情報となる。従って、位置情報取得部８６は、挿入経路情報取得部８６ａが取得した挿入経路情報８８に基づき、患者９の体内に挿入されている腹腔鏡６５の先端位置を取得することができ、この先端位置を示す先端位置情報を先端位置画像生成部７３及び投影画像生成部２８へ出力する。

なお、先端位置情報の取得以降の処理を行う構成は、上記第３実施形態のＰＭ装置７０と基本的に同じであるので、具体的な説明は省略する。

［第４実施形態の手術支援システムの作用］
第４実施形態の手術支援システムの作用、すなわち、投影画像の投影処理の流れについても、第３実施形態と同様に既述の第２実施形態の図１３に示したフローと基本的に同じである。ただし、第４実施形態のステップＳ５の処理では、位置情報取得部８６は、腹腔鏡６５の撮像部７５に撮像された撮像画像データ８３と、挿入経路情報取得部８６ａが取得した挿入経路情報８８とに基づいて、患者９の体内に挿入されている腹腔鏡６５の先端位置を取得する。

［第４実施形態の効果］
以上のように、第４実施形態の手術支援システムにおいても、患者９の距離画像データ２３と、患者９の体内での腹腔鏡６５の先端位置を示す先端位置情報とに基づき、先端位置画像データ８１から患者９の対応部位の表面形状に対応した投影画像データ２４を生成して、患者９の対応部位に投影画像データ２４の像光を投影するので、上記各実施形態と同様の効果が得られる。

また、腹腔鏡６５により連続撮像された撮像画像データ８３に基づき、挿入位置ＰＳからの挿入経路情報８８を求めることにより腹腔鏡６５の先端位置を取得するので、上記第３実施形態と同様に、患者９の体内（体腔内）で腹腔鏡６５の先端位置を自由に移動させた場合でも、患者９の体内に挿入されている腹腔鏡６５の先端位置を取得することができる。

［第５実施形態の手術支援システム（ＰＭ装置）］
次に、本発明の第５実施形態の手術支援システムについて説明を行う。上記各実施形態の手術支援システムのＰＭ装置は距離画像データ２３の取得用にＬＥＤ光源３２を備えている。これに対して、第５実施形態では異なる波長のパルス光（測定光）を照射する複数のＬＥＤ光源の中から、距離画像センサ３８で受光されるパルス光の強度（受光量）が高くなる方のＬＥＤ光源を用いて患者９にパルス光の照射を行う。

図２３は、第５実施形態の手術支援システムのＰＭ装置９０の構成を示すブロック図である。図２３に示すように、第５実施形態のＰＭ装置９０は、異なる波長のパルス光を照射するＬＥＤ光源３２Ａ，３２Ｂ（本発明の光源ユニットに相当）を備え、且つ制御部２６が距離画像生成部５３等の他に、光源制御部９１として機能する点を除けば上記各実施形態のＰＭ装置と基本的に同じ構成である。このため、上記各実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。

ＬＥＤ光源３２Ａ，３２Ｂは、上記各実施形態のＬＥＤ光源３２と同様に、光源ドライバ３３により駆動が制御され、タイミングジェネレータ３１から入力されるタイミング信号に同期して一定のパルス幅のパルス光を発光する。

光源制御部９１は、光源ドライバ３３を制御して、ＬＥＤ光源３２Ａ，３２Ｂからのパルス光の照射を制御する。この光源制御部９１は、切替制御部９２としても機能する。

切替制御部９２は、距離画像生成部５３による距離画像データ２３の生成前（例えば、ＰＭ装置９０の起動時など）に、ＬＥＤ光源３２Ａ，３２Ｂから１つずつ順番にパルス光を照射させることにより、患者９にパルス光を照射するＬＥＤ光源を切り替える。これにより、ＰＭ装置９０から患者９に照射されるパルス光の波長が切り替えられる。

このような患者９に照射されるパルス光の波長の切り替えにより、第５実施形態の距離画像センサ３８は、結像レンズ３６を介して、患者９にて反射されたパルス光を波長毎に受光する。ここで、患者９の体表面（照射面）がパルス光を反射する反射率は、患者９の着用している着衣の材質や色彩、患者９の肌の色、及び患者９に対するパルス光の入射角度などに応じて、パルス光の波長毎に異なる。このため、患者９にて反射されるパルス光の強度はその波長毎に異なる。

第５実施形態の距離画像センサ３８は、タイミングジェネレータ３１から入力されるタイミング信号により、ＬＥＤ光源３２Ａ，３２Ｂの個々のパルス光の発光と同期して、露光期間が制御される。既述の通り、距離画像センサ３８の各受光素子には、露光期間に入射するパルス光の光量に対応する電荷が蓄積される。従って、露光期間に入射するパルス光の入射光量、すわなち、患者９にて反射されるパルス光の強度が高いほど距離画像センサ３８の露光量が多くなる。この距離画像センサ３８から、患者９にて反射されたパルス光の入射光量（強度）に応じた受光信号がパルス光の波長毎に読み出され、波長毎の受光信号はＡＤ変換器３９にてデジタル信号に変換された後、インターフェース回路４０を介して光源制御部９１に入力される。

光源制御部９１は、パルス光の波長毎のデジタル信号に基づき、距離画像センサ３８が波長毎に受光したパルス光の強度を比較する。そして、光源制御部９１は、距離画像センサ３８が波長毎に受光したパルス光の中で、最も強度が高くなる波長のパルス光を出射するＬＥＤ光源がＬＥＤ光源３２Ａ，３２Ｂのいずれであるかを判定する。次いで、光源制御部９１は、最も強度が高くなる波長のパルス光を出射するＬＥＤ光源を、距離画像データ２３の生成用のパルス光を出射するＬＥＤ光源として決定し、光源ドライバ３３を制御して、決定したＬＥＤ光源からパルス光を出射させる。

第５実施形態の距離画像生成部５３は、光源制御部９１の制御の下、最も強度が高くなる波長のパルス光を出射するＬＥＤ光源から患者９に対してパルス光が照射された場合、距離画像センサ３８からＡＤ変換器３９及びインターフェース回路４０を介して入力されたデジタル信号に基づき、距離画像データ２３の生成を行う。

なお、距離画像データ２３の生成以降の処理を行う構成は、上記各実施形態のＰＭ装置と基本的に同じであるので、具体的な説明は省略する。

［第５実施形態の手術支援システムの作用］
次に、図２４を用いて第５実施形態の手術支援システムの作用、すなわち、ＬＥＤ光源の決定処理の流れについて説明する。図２４は、距離画像データ２３の生成用のパルス光を出射するＬＥＤ光源の決定処理の流れを示すフローチャートである。

ＰＭ装置９０の起動がなされると、制御部２６の光源制御部９１の切替制御部９２は、ＬＥＤ光源３２Ａ，３２Ｂの中から最初にパルス光を出射するＬＥＤ光源を選択する（ステップＳ１１）。ここではＬＥＤ光源３２Ａが選択されたものとする。次いで、光源制御部９１は、光源ドライバ３３を制御してＬＥＤ光源３２Ａの駆動を開始する。これにより、ＬＥＤ光源３２Ａが、タイミングジェネレータ３１から入力されるタイミング信号に同期してパルス光を出射する。そして、ＬＥＤ光源３２Ａから出射したパルス光は、投影レンズ３５により患者９に向けて照射される（ステップＳ１２）。

患者９に向けて照射されたパルス光は、患者９の体表面にて反射されて結像レンズ３６に入射し、この結像レンズ３６により距離画像センサ３８に結像される。これにより、患者９にて反射されたパルス光が距離画像センサ３８で受光される（ステップＳ１３）。そして、距離画像センサ３８から患者９にて反射されたパルス光の入射光量に応じた受光信号が読み出され、この受光信号はＡＤ変換器３９にてデジタル信号に変換された後、インターフェース回路４０を経て光源制御部９１に入力される。

次いで、光源制御部９１の切替制御部９２は、光源ドライバ３３を制御してＬＥＤ光源３２Ａの駆動を停止すると共に、ＬＥＤ光源３２Ｂの駆動を開始する。すなわち、切替制御部９２は、患者９にパルス光を照射するＬＥＤ光源をＬＥＤ光源３２ＡからＬＥＤ光源３２Ｂに切り替える（ステップＳ１４でＹＥＳ、ステップＳ１５）。

ＬＥＤ光源３２Ｂへの切替後、既述のステップＳ１２及びステップＳ１３の処理が繰り返し実行される。これにより、患者９に向けてＬＥＤ光源３２Ｂのパルス光が照射されると共に、患者９にて反射されたパルス光の入射光量に応じた受光信号が距離画像センサ３８から読み出される。そして、この受光信号はＡＤ変換器３９にてデジタル信号に変換された後、インターフェース回路４０を経て光源制御部９１に入力される。

本例では異なる波長のＬＥＤ光源３２Ａ，３２Ｂを用いるので、光源制御部９１は、パルス光の波長毎のデジタル信号に基づき、距離画像センサ３８が波長毎に受光したパルス光の強度を比較する（ステップＳ１４でＮＯ、ステップＳ１６）。そして、光源制御部９１は、距離画像センサ３８が波長毎に受光したパルス光の中で、最も強度が高くなる波長のパルス光を出射するＬＥＤ光源を判定し、このＬＥＤ光源を、距離画像データ２３の生成用のパルス光を出射するＬＥＤ光源として決定する（ステップＳ１７）。そして、光源制御部９１は、光源ドライバ３３を制御して、決定したＬＥＤ光源からパルス光を出射させる（ステップＳ１８）。

これ以降の処理は、既述の図１０又は図１３に示したステップＳ３以降の処理と基本的に同じであるので、ここでは具体的な説明は省略する。

［第５実施形態の効果］
以上のように、第５実施形態の手術支援システムのＰＭ装置９０では、異なる波長のパルス光を照射するＬＥＤ光源３２Ａ，３２Ｂの中から、距離画像センサ３８で受光されるパルス光の強度（受光量）が高くなる方を用いて患者９にパルス光の照射を行うので、距離画像データ２３に基づいた患者９までの距離の判定精度や患者９の形状判定精度を向上させることができる。

＜第５実施形態の変形例＞
上記第５実施形態のＰＭ装置９０には、異なる波長のパルス光を照射するＬＥＤ光源３２Ａ，３２Ｂが設けられているが、波長の異なる３以上のＬＥＤ光源が設けられていてもよい。この場合には、各ＬＥＤ光源の中から、距離画像センサ３８で受光されるパルス光の強度が最も高くなる方のＬＥＤ光源を用いて患者９にパルス光の照射を行う。

上記第５実施形態では、パルス光を照射するＬＥＤ光源を切り替えているが、例えば、ＬＥＤ光源から出射されるパルス光の光路上に、異なる波長の光を透過させる複数のフィルタを選択的に配置することにより、患者９に対して照射されるパルス光の波長を切り替えてもよい。

［第６実施形態の手術支援システム（ＰＭ装置）］
次に、本発明の第６実施形態の手術支援システムについて説明を行う。上記各実施形態のＰＭ装置では、距離画像生成部５３により患者９の全範囲（ほぼ全範囲を含む）の距離画像データ２３を生成しているが、第６実施形態の手術支援システムのＰＭ装置１００（図２５参照）では、患者９に投影される投影画像の投影範囲ＡＰに応じて、距離画像データ２３の生成範囲ＡＴの設定を行う（図２６参照）。

図２５は、第６実施形態の手術支援システムのＰＭ装置１００の構成を示すブロック図である。図２５に示すように、第６実施形態のＰＭ装置１００は、メモリ２７内に焦点距離情報１０２を格納すると共に、制御部２６が距離画像生成部５３等の他に、投影範囲取得部１０４と距離画像生成制御部１０５として機能する点を除けば上記第３実施形態のＰＭ装置７０と基本的に同じ構成である。このため、上記第３実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。

焦点距離情報１０２は、投影レンズ４６（図２参照）の焦点距離を示す情報である。本例では、ＰＭ装置１００と患者９との間の距離は基本的に一定（ほぼ一定を含む）であるので、投影レンズ４６の焦点距離についてもＰＭ装置１００と患者９との間の距離に応じて予め定められている。

投影範囲取得部１０４は、メモリ２７から読み出した焦点距離情報１０２と、距離画像生成部５３が先に生成した距離画像データ２３が示す患者９までの距離と、投影画像生成部２８が生成した投影画像データ２４（表示用光学素子４２上での投影画像データ２４の表示位置及び大きさを含む）と、に基づき、ＰＭ装置１００から患者９に投影される投影画像の投影範囲ＡＰ（図２６参照）を取得する。そして、投影範囲取得部１０４は、取得した投影範囲ＡＰを距離画像生成制御部１０５へ出力する。

距離画像生成制御部１０５は、距離画像生成部５３を制御して、距離画像生成部５３が距離画像データ２３の生成を行う生成範囲ＡＴ（図２６参照）を設定する。

図２６（Ａ），（Ｂ）は、距離画像生成制御部１０５による距離画像データ２３の生成範囲ＡＴの設定について説明するための説明図である。図２６（Ａ），（Ｂ）に示すように、距離画像生成制御部１０５は、投影範囲取得部１０４が取得した投影範囲ＡＰに対応して、距離画像データ２３の生成範囲ＡＴの設定を行う。この生成範囲ＡＴは、投影範囲ＡＰよりも予め定めた大きさだけ大きくなるように設定される。そして、距離画像生成制御部１０５は、設定した生成範囲ＡＴに関する情報を距離画像生成部５３へ出力する。

第６実施形態の距離画像生成部５３は、距離画像センサ３８から読み出され且つＡＤ変換器３９及びインターフェース回路４０等を介して距離画像生成部５３に入力されるデジタル信号の中で、生成範囲ＡＴに対応するデジタル信号に基づき距離画像データ２３の生成を行う。これにより、患者９の全範囲の距離画像データ２３を生成する必要がなくなるので、距離画像データ２３の生成処理に要する演算量を低減することができる。

なお、結像レンズ３６（図２参照）がズーム機能を有している場合に、距離画像データ２３の生成を行う際に、制御部２６によりレンズドライバ３７を制御して、画角を生成範囲ＡＴに合わせて変更するズーミング動作を行ってもよい。この場合、距離画像生成部５３は、距離画像センサ３８から読み出され且つＡＤ変換器３９及びインターフェース回路４０等を介して距離画像生成部５３に入力されるデジタル信号に基づき、距離画像データ２３の生成を行う。これにより、距離画像データ２３の解像度を上げることができ、患者９までの距離の検出精度や患者９の表面形状の凹凸の検出精度を上げることができる。

また、ズーミング動作を行う場合には、ＰＭ装置１００にパンチルト機構と、距離画像生成制御部１０５による生成範囲ＡＴの設定結果に基づき、ＰＭ装置１００（結像レンズ３６）を生成範囲ＡＴの方向に指向させるようにパンチルト機構を駆動するパンチルト制御部とを設けてもよい。

なお、距離画像データ２３の生成処理に係る構成以外は、上記第３実施形態のＰＭ装置７０と基本的に同じであるので、具体的な説明は省略する。

［第６実施形態の効果］
以上のように、第６実施形態の手術支援システムのＰＭ装置１００では、患者９に投影される投影画像の投影範囲ＡＰに対応して、距離画像生成部５３が距離画像データ２３の生成を行う生成範囲ＡＴを設定するので、患者９の全範囲の距離画像データ２３を生成する必要がなくなり、距離画像データ２３の生成処理に要する演算量を低減することができる。

なお、距離画像生成制御部１０５が生成範囲ＡＴを設定した際に、画角を生成範囲ＡＴに合わせて変更するズーミング動作を行った場合には、距離画像データ２３の解像度を上げることができるので、患者９までの距離の検出精度や患者９の表面形状の凹凸の検出精度を上げることができる。

＜第６実施形態の変形例＞
上記第６実施形態では、上記第３実施形態の構成に、患者９に投影される投影画像の投影範囲ＡＰに応じて距離画像データ２３の生成範囲ＡＴの設定を行う構成を組み合わせた例について説明したが、この生成範囲ＡＴの設定を行う構成を他の上記各実施形態の構成に組み合わせてもよい。

［その他］
上記第１実施形態では、透過画像データ２２としてＸ線画像データを例に挙げて説明を行ったが、ＭＲＩ画像データやＣＴ画像データ等の患者９の対応部位の各種透過画像を用いてもよい。

上記第１実施形態及び第２実施形態では、患者９の体内の既知の経路に沿って挿入される医療機器としてカテーテル１２を例に挙げて説明を行ったが、上部消化管内視鏡や下部消化管内視鏡を患者９の体内に挿入する場合にも本発明を適用することができる。また、上記第３実施形態以降では、医療機器として腹腔鏡６５を例に挙げて説明したが、患者９の体内に挿入される医療機器であれば特に限定はされない。

上記各実施形態のＰＭ装置では、患者９にて反射して距離画像センサ３８に入射するパルス光の飛翔時間に対応する距離情報を示す受光信号を距離画像センサ３８から読み出し、読み出した受光信号に基づき距離画像データ２３を生成する所謂ＴＯＦ(Time Of Flight)形式の距離画像データ２３の取得を行っているが、所謂パターン照射(Projector-Camera)方式の距離画像データ２３の取得を行ってもよい。

上記各実施形態では、投影画像生成部２８が制御部２６と別体に設けられているが、制御部２６を投影画像生成部２８として機能させてもよい。また、上記各実施形態では、距離画像生成機能と投影画像の投影機能とが一体化しているＰＭ装置を例に挙げて説明を行ったが、距離画像生成機能と投影機能とが別体化していてもよい。

上記各実施形態では、被検体として人間（患者９）を例に挙げて説明を行ったが、人間以外の動物などの各種被検体内に医療機器を挿入する場合にも本発明を適用することができる。

１０…手術支援システム，１２…カテーテル，１８…透過画像生成部，１９…送り量センサ，２０，６０，７０，８５，９０，１００…プロジェクションマッピング装置，２２…透過画像データ，２３…距離画像データ，２４…投影画像データ，２６…制御部，２８…投影画像生成部，３２…ＬＥＤ光源，３５…投影レンズ，３６…結像レンズ，３８…距離画像センサ，４２…表示用光学素子，４４…ＬＥＤ光源，４６…投影レンズ，５０，７９…内部構造情報，５１…挿入経路情報，５３…距離画像生成部，５４，７２，８６…位置情報取得部，５５…先端位置画像取得部，６２，７３…先端位置画像生成部，６４，８１…先端位置画像データ，６５…腹腔鏡，７５…撮像部，７６…ジャイロセンサ，７７…加速度センサ，８３…撮像画像データ，９１…光源制御部，９２…切替制御部，１０４…投影範囲取得部，１０５…距離画像生成制御部

Claims (11)

1. 測定光を被検体に対して照射する光源と、
   複数の受光素子が２次元状に配列された距離画像センサと、
   前記光源から出射され、前記被検体にて反射して前記距離画像センサに入射する前記測定光の受光信号を前記距離画像センサから取得し、前記取得した受光信号に基づいて距離画像を生成する距離画像生成部と、
   前記被検体内に挿入されている医療機器の先端位置を取得する位置情報取得部と、
   前記被検体内での前記医療機器の先端位置を表す先端位置画像として、前記被検体の対応部位の透過画像を撮像する透過画像撮像装置から前記透過画像を取得する先端位置画像取得部と、
   前記距離画像生成部が生成した前記距離画像から検出した前記被検体の表面形状の凹凸に前記透過画像を合わせた形状に変形して、当該先端位置に対応する前記被検体の対応部位の表面形状に対応した投影画像を生成する投影画像生成部と、
   前記投影画像生成部が生成した前記投影画像を表示する表示用光学素子と、前記表示用光学素子に投影光を入射させる投影光源と、前記表示用光学素子から出射される前記投影画像を前記対応部位に投影する投影レンズと、を含むプロジェクタ装置と、
   を備えるプロジェクションマッピング装置。
2. 前記位置情報取得部は、前記透過画像と、前記被検体内の既知の内部構造とに基づき、前記先端位置を取得する請求項１に記載のプロジェクションマッピング装置。
3. 前記医療機器は、前記被検体内の既知の経路に沿って挿入されるものであり、
   前記位置情報取得部は、前記被検体内への前記医療機器の挿入量を取得し、前記挿入量と前記既知の経路とを比較した結果に基づいて、前記先端位置を取得する請求項１または２に記載のプロジェクションマッピング装置。
4. 前記医療機器の先端には、加速度センサ及びジャイロセンサが設けられており、
   前記位置情報取得部は、前記加速度センサ及び前記ジャイロセンサの出力に基づいて、前記医療機器が前記被検体に挿入された挿入位置からの前記医療機器の先端の移動方向及び移動量を検出し、前記移動方向及び前記移動量の検出結果に基づいて前記先端位置を取得する請求項１または２に記載のプロジェクションマッピング装置。
5. 前記医療機器の先端には、撮像部が設けられており、
   前記撮像部が撮像した撮像画像に基づいて前記被検体内での前記医療機器の先端の挿入経路を示す挿入経路情報を取得する挿入経路情報取得部を有し、
   前記位置情報取得部は、前記医療機器が前記被検体に挿入された挿入位置と、前記挿入経路情報取得部により取得された前記挿入経路情報とに基づいて、前記先端位置を取得する請求項１または２に記載のプロジェクションマッピング装置。
6. 前記距離画像の生成前に、前記光源から前記被検体に照射される前記測定光の波長を切り替える切替制御部と、
   前記切替制御部による前記測定光の波長の切り替えによって前記距離画像センサが波長毎に受光した前記測定光の中で、最も強度が高くなる波長の前記測定光を前記光源から照射させる光源制御部と、を備え、
   前記距離画像生成部は、前記光源から前記被検体に前記最も強度が高くなる波長の前記測定光が照射された場合に、前記距離画像を生成する請求項１から５のいずれか１項に記載のプロジェクションマッピング装置。
7. 前記光源は、異なる波長の前記測定光を前記被検体に照射する複数の光源ユニットを有しており、
   前記切替制御部は、前記測定光を照射する前記光源ユニットを切り替え、
   前記光源制御部は、前記最も強度が高くなる波長の前記測定光を照射する前記光源ユニットから前記被検体に前記測定光を照射させる請求項６に記載のプロジェクションマッピング装置。
8. 前記投影レンズの焦点距離と、前記距離画像生成部が生成した前記距離画像が示す前記被検体までの距離と、前記投影画像生成部が生成した前記投影画像とに基づき、前記被検体に投影される前記投影画像の投影範囲を取得する投影範囲取得部と、
   前記投影範囲取得部が取得した前記投影範囲に対応して、前記距離画像生成部が前記距離画像の生成を行う生成範囲を設定する距離画像生成制御部と、を備える請求項１から７のいずれか１項に記載のプロジェクションマッピング装置。
9. 前記距離画像生成部は、前記光源から照射され、前記被検体にて反射して前記距離画像センサに入射する前記測定光の飛翔時間に対応する距離情報を示す前記受光信号を前記距離画像センサから取得し、前記距離情報に基づいて前記距離画像を生成する請求項１から８のいずれか１項に記載のプロジェクションマッピング装置。
10. 前記投影画像生成部は、前記距離画像から検出した前記被検体の形状と、前記位置情報取得部が取得した前記先端位置とに基づき前記対応部位の表面形状を識別して、前記表面形状の識別結果に基づき、前記先端位置画像を前記対応部位に合わせた形状に変形して前記投影画像を生成する請求項１から９のいずれか１項に記載のプロジェクションマッピング装置。
11. 前記投影画像生成部は、前記距離画像及び前記先端位置より判別される前記プロジェクタ装置から前記対応部位までの距離と、前記投影レンズの焦点距離情報とに基づき、前記表示用光学素子に表示される前記投影画像の表示位置及び大きさを、当該投影画像が当該対応部位に重ねて投影される表示位置及び大きさに決定し、
    前記表示用光学素子は、前記投影画像生成部が決定した前記表示位置及び大きさで前記投影画像を表示する請求項１から１０のいずれか１項に記載のプロジェクションマッピング装置。

Images