JPWO2015001807A1 - 投影システム - Google Patents

Abstract

手術支援システム２００は、光源１１と、撮像部１２と、制御部２と、メモリ４と、投影部３とを備える。光源１１は、所定の波長の励起光を照射する。撮像部１２は、術野１０１の患部１０３を撮像する。制御部２は、撮像部１２が撮像した撮像データに基づいて、投影用の画像データを生成する。投影部３は、投影用の画像データに基づく投影画像を、術野１０１に投影する。撮像部１２は、術野１０１上で、励起光に反応した蛍光発光領域の蛍光像とともに、投影画像を撮像する。制御部２は、撮像部１２により撮像された蛍光像と、投影画像との差分に応じて、蛍光像と投影画像とが一致するように投影用の画像データを補正する。

Description

本開示は、撮像した被写体の画像を、その被写体の表面に投影する投影システムに関する。

特許文献１は、外科手術を受ける生体の患部を示す画像データを蛍光像撮像装置から出力させ、画像投影装置により上記画像データによる画像を再生し、実際の患部上に表示させる外科手術支援システムを開示する。生体の患部には、所定の波長の光を照射することで蛍光を発する物質が、あらかじめ投与されている。つまり、このシステムは、患部が蛍光発光した蛍光画像を実際の患部に表示することで、病変部の確認の支援をしている。

特開平９−２４０５３号公報

本開示は、実際の被写体上に投影する被写体の画像において、ユーザが被写体の状態をより正確に認識できる画像を投影する投影システムを提供することを目的とする。

本開示にかかる投影システムは、光源と、撮像部と、制御部と、投影部とを備える。光源は、所定の波長の光を照射する。撮像部は、所定の波長の光が照射された被写体を撮像する。制御部は、撮像部が撮像した画像に基づいて、投影用の画像データを生成する。投影部は、投影用の画像データに基づく投影画像を、被写体上に投影する。撮像部は、被写体上で、所定の波長の光に反応した領域の画像とともに、投影画像を撮像する。記制御部は、所定の波長の光に反応した領域の画像と、投影画像との差分に応じて、所定の波長の光に反応した領域の画像と投影画像とが一致するように、投影用の画像データを補正する。

本開示における投影システムによれば、所定の波長の光に反応した領域からの投影画像のずれを低減することで、ユーザが被写体の状態をより正確に認識できる画像を投影することができる。

実施の形態１にかかる手術支援システムの構成を示す概略図 メモリに格納されるカテーテルの画像データの例を示す図 メモリに格納される鉗子の画像データの例を示す図 メモリに格納されるメルシーの画像データの例を示す図 鉗子のバリエーションの画像データの例を示す図 バルーンのバリエーションの画像データの例を示す図 手術中のバルーンの使用状態を説明するための患部の断面図 各種類の手術器具に関する特徴量データの一例を示す表 実施の形態１にかかる手術支援システムにおける投影画像の生成処理を説明するためのフローチャート 投影画像の生成処理における蛍光像の一例を示す図 投影画像の生成処理における投影画像の一例を示す図 実施の形態１にかかる手術支援システムにおける画像データ生成処理を説明するためのフローチャート 実施の形態１にかかる手術支援システムにおける器具の判定処理の一例を説明するためのフローチャート 実施の形態２にかかる手術支援システムの構成を示す概略図 実施の形態２にかかる投影画像の生成処理を説明するためのフローチャート 実施の形態２にかかる手術支援システムの投影画像の一例を示す図 実施の形態２の画像データ補正処理による投影画像の表示例を示す図 実施の形態２の画像データ補正処理における投影用の画像データの一例を示す図 実施の形態２の手術支援システムにおける投影用の画像データの補正の考え方を説明した図 実施の形態２の画像データ補正処理を説明するためのフローチャート 実施の形態２の手術支援システムにおいて移動する患部の例を示す図 実施の形態２の手術支援システムにおいて移動した患部の例を示す図 実施の形態２の手術支援システムにおいて補正した投影画像の例を示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜９を用いて、実施の形態１を説明する。

１−１．構成
１−１−１．手術支援システムの概要
図１は、実施の形態１にかかる手術支援システムの構成を示す概略図である。手術支援システムは、投影システムの一例である。

手術が行われる場合、チューブやカテーテルなどの医療機器が患者の体内に挿入される。通常、患者の体内に挿入された医療機器は、外部から目視で確認することができない。そこで、本実施の形態の手術支援システムは、医療機器が挿入された領域の表面に、その医療機器の形状を表す画像を投影する。これにより、本手術支援システムのユーザは、患者の体内に挿入された医療機器の位置などを確認することができる。

１−１−２．手術支援システムの構成
以下、手術支援システム１００の構成を詳細に説明する。

手術支援システム１００は、撮像装置１と、制御部２と、投影部３と、メモリ４とから構成されている。

図１に示すように、手術を受ける患者１０の術野１０１には、医療機器２０が挿入されている。撮像装置１は、光源１１と撮像部１２を含み、術野１０１を撮像する。制御部２は、手術支援システム１００の各部を制御する。制御部２は、撮像装置１が撮像した画像を示す画像データ（撮像データ）に対して後述の処理を行って、投影用の画像データを生成する。投影部３は、投影用の画像データに基づいて投影画像を生成して、術野１０１に投影する。メモリ４は、画像データベース４１と、特徴量データ４２とを格納する。画像データベース４１と、特徴量データ４２の詳細は後述する。

手術に使用される医療機器２０は、励起されると蛍光を発する光感受性物質が、表面に塗布され、または練り込まれている。光感受性物質は、例えば近赤外光を照射されると励起して蛍光を発する物質であり、例えばインドシアニングリーンである。光感受性物質は、人体もしくは動物に使用可能な薬剤である。医療機器２０は、撮像装置１の撮像の対象となる撮像対象物である。

撮像装置１の光源１１は、光感受性物質の励起波長領域内の波長を有する励起光を照射する。例えば、光源１１は、近赤外の波長帯の光を照射する。光源１１は、撮像部１２の周囲を取り囲むように配置されている。

撮像部１２は、例えば高感度のＣＣＤカメラ等で構成される。撮像部１２は、医療機器２０の光感受性物質の蛍光発光による蛍光像を撮像して、撮像データを生成する。撮像データは、蛍光発光した領域の蛍光像を示す画像データであり、制御部２に出力される。また、撮像部１２は、蛍光像とともに術野１０１の可視光像を撮像する。撮像部１２は、例えば可視光、蛍光、および励起光の内で一つまたは複数の種類の光を検出できるカメラを複数組み合わせたカメラ群から構成されることで、上記の全ての種類の光を検出できる。本実施の形態では、撮像部１２は、蛍光像を示す撮像データを生成する。なお、撮像部１２は、蛍光像と可視光像を含む撮像結果の画像全体のデータを制御部２に出力してもよく、その場合、制御部２が撮像結果の画像全体から蛍光像を抽出するようにしてもよい。

制御部２は、撮像装置１と投影部３の動作を制御する機能を有する。また、制御部２は、撮像装置１から撮像データを取得するとともに、メモリ４から形状情報（後述）を読み出して、後述の所定の処理を行う。これにより、制御部２は、投影部３から投影するための画像データを生成して、投影部３に出力する。制御部２は、例えばＣＰＵやＭＰＵで構成され、所定のプログラムを実行することによってその機能を実現する。なお、制御部２の機能は、専用に設計された電子回路により実現されてもよい。

投影部３は、制御部２からの画像データに基づいて投影画像を生成し、医療機器２０が挿入された患部などの表面上に、投影画像を投影する。投影部３は、例えばプロジェクタ等からなる。

メモリ４は、制御部２が形状情報を読み出して後述の処理を行えるように、制御部２に接続されている。形状情報は、医療機器の形状を示す画像データである。なお、形状情報は、医療機器の形状に限らず、所定の形状を有する物体の画像データであってもよい。メモリ４は、記憶部の一例である。メモリ４としては、例えば不揮発性メモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）が用いられる。

画像データベース４１は、複数の医療機器に関する形状情報を管理する。図２Ａ〜２Ｃは、画像データベース４１に含まれる複数種類の手術器具のそれぞれの形状情報の例を示す。図２Ａは、カテーテルの画像データ５１を示し、図２Ｂは、鉗子の画像データ５２を示し、図２Ｃは、メルシーリトリーバ（以下、メルシーという。）の画像データ５１を示す。各画像データ５１〜５３は、それぞれの手術器具の形状情報の一例である。

カテーテルは、患者１０の体内に挿入される管状の手術器具である。カテーテルの画像データ５１の特徴の１つは、長手方向５１ｂに沿って先端部５１ａまで一定の幅で延在することである。

鉗子は、患部や縫合糸を把持したり、牽引したりするために用いられる手術器具である。例えば、内視鏡用の鉗子は、患者１０の体内に挿入して用いられる。鉗子の画像データ５２の特徴の１つは、先端に設けられた二股形状の把持部５２ａである。

メルシーは、血栓を取り除くために血管等に挿入される手術器具であり、血栓を絡め取るためのループワイヤとフィラメントを有する。メルシーの画像データ５３の特徴の１つは、先端に設けられたらせん形状のループワイヤ５３ａである。なお、メルシーの画像データ５３は、糸状のフィラメント５３ｂを有するが、画像データベース４１は、フィラメント５３ｂを除いたメルシーの画像データ５３を有してもよい。

画像データベース４１は、図２Ａ〜２Ｃに示すように複数種類の手術器具の画像データを有するとともに、各手術器具のバリエーションの画像データも有する。バリエーションの画像データは、各種類の手術器具において異なる形状を示す画像データであり、例えば、手術器具の向きを変えた画像データや、手術器具を変形させた画像データや、同一の種類で別形状の手術器具の画像データである。

図３は、図２Ｂの鉗子のバリエーションの画像データの例を示す。鉗子の画像データ５２Ａ〜５２Ｃにおいて、把持部５２ａはそれぞれ異なる角度で開いている。画像データベース４１は、鉗子に関して、さらなるバリエーションの画像データを有してもよい。例えば、画像データベース４１は、画像データ５２Ａ〜５２Ｃのそれぞれに対して、鉗子の長手方向５２ｂを回転軸として回転させたバリエーションの画像データをさらに有する。

図４Ａは、バルーンのバリエーションの画像データの例を示す。バルーンは、患者１０の体内に挿入した先端部を膨らませて使用する手術器具であり、挿入箇所などに応じて、異なる形状を有する別のバルーンが使用される。画像データベース４１は、例えば図４Ａに示すような、楕円形状の先端部５４ａを有するバルーンの画像データ５４と、先端部５４ａよりも長手方向に扁平した楕円形状の先端部５４ｂを有するバルーンの画像データ５４’とを有する。図４Ｂに示すように、実際のバルーン２０４の先端部２０４ａは、例えば外付けのポンプなどにより、患者１０の体内で拡張するように変形する。これに応じて、画像データベース４１は、例えばバルーンの画像データ５４，５４’毎に、先端部５４ａ，５４ｂを変形させたバリエーションの画像データをさらに有する。

特徴量データ４２は、画像データベース４１が有する形状情報の各手術器具の特徴量を表すデータである。図５は、図２Ａ〜２Ｃの各種類の手術器具に関する特徴量データ４２の一例を示す。図５において、カテーテル、鉗子、メルシーの各手術器具に対して、特徴量ａ，ｂ，ｃが設定されている。

各手術器具の特徴量ａ，ｂ，ｃには、画像データベース４１における手術器具毎の代表的な形状の特徴を示す値が設定される。例えば、カテーテルの特徴量ａ１，ｂ１，ｃ１は、画像データ５１から抽出された値である。特徴量ａは、例えば各手術器具の形状と管状との類似度を表す量であり、各画像データにおいて一定の幅で延在している長手方向の長さによって規定される。また、特徴量ｂは、例えば各手術器具の先端部と二股形状との類似度を表す量であり、各画像データの先端部の開き具合によって規定される。

１−２．動作
以上のように構成された手術支援システム１００の動作を、以下説明する。

図６は、手術支援システム１００における投影画像の生成処理を説明するためのフローチャートである。

図１に示す手術支援システム１００において手術が行われる際、まず撮像装置１は、光源１１を駆動して、医療機器２０を含む術野１０１に励起光を照射する（ステップＳ１１０）。光源１１からの励起光は、患者１０の体内に挿入された医療機器２０にも到達する。そのため、医療機器２０の表面に塗布され、或いは医療機器２０に練り込まれた光感受性物質が、励起されて蛍光を発する。

次に、撮像装置１は、撮像部１２から術野１０１を撮像する（ステップＳ１２０）。このとき、撮像部１２は、患者１０の体内に挿入された医療機器２０からの蛍光発光を検出して、医療機器２０の蛍光像を示す撮像データを生成する。撮像データは、制御部２に出力される。

制御部２は、撮像データと、メモリ４に格納された形状情報に基づいて、画像データ生成処理を行う（ステップＳ１３０）。画像データ生成処理は、撮像データの蛍光像に対応する医療機器の画像が術野１０１に投影されるように、医療機器の画像を含む投影用の画像データを生成する処理である（詳細は後述）。制御部２は、生成した画像データを投影部３に出力する。

投影部３は、入力した画像データに基づいて投影画像を生成し、生成した投影画像を術野１０１の表面上に投影する（ステップＳ１４０）。これにより、術野１０１において医療機器２０が挿入されている位置に、医療機器２０の形状を示す画像が表示される。そのため、ユーザは、術野１０１において医療機器２０が挿入されている位置を視認できる。

以上の処理は、所定サイクル（例えば１／６０秒）で繰り返し実行される。これにより、例えば１／６０秒に１度撮像された画像が投影されることとなり、ユーザはリアルタイムの映像として医療機器２０が挿入されている位置を視認できる。

ここで、患者１０の体内に挿入された医療機器２０の蛍光発光を検出する際、撮像部１２は皮膚などを透過した光線を検出することになる。そのため、医療機器２０の蛍光像に基づいて医療機器２０の鮮明な形状を検出することは困難である。例えば、図７Ａに示す蛍光像３１は、医療機器２０の先端から発した蛍光が血管などの患部１０２内部で拡散することにより、患部１０２の表面上ではぼやけた像となる。このとき、投影部３が蛍光像３１と同一の画像を投影すると、医療機器２０が挿入された領域の形状が不鮮明に表示されてしまう。

さらに、複数種類の医療機器が同時に患者１０の体内に挿入されている場合、ユーザがそれぞれの医療機器を識別することは困難である。

そこで、本実施の形態の画像データ生成処理において、制御部２は、まず撮像データが示す医療機器２０の形状と、メモリ４に格納された医療機器群の各形状情報とを比較して、実際に使用されている医療機器を判定する。さらに、制御部２は、撮像データにおいて、蛍光像を、判定した医療機器の形状情報に置き換えることにより、投影画像の画像データを生成する。これにより、図７Ｂに示すように、投影画像３２によって血管などの患部１０２に挿入された医療機器２０の状態（例えば、形状や種類）を明瞭に表示することができる。また、蛍光像を複数の形状情報と比較することにより、複数種類の医療機器の識別を行うこともできる。

なお、制御部２は、判定した医療機器の形状情報に基づいて、撮像データに基づく医療機器２０の蛍光像の形状を補正し、補正後の画像データを投影用の画像データとして投影部３に入力してもよい。

１−２−１．画像データ生成処理
図８を用いて、図６の画像データ生成処理（ステップＳ１３０）を説明する。図８は、画像データ生成処理を説明するためのフローチャートである。ここでは、図６のステップＳ１２０において、図７Ａに示す蛍光像３１が撮像された後に、画像データ生成処理（ステップＳ１３０）が開始するとする。

図７Ａにおいて、患者１０の血管などの患部１０２に挿入された医療機器２０の蛍光像３１が、患部１０２の表面に映っている。図７Ａに破線で示すように、蛍光像３１の形状は不鮮明である。医療機器２０が挿入された深度によっては、励起された蛍光光線が皮下組織などで拡散してしまい、蛍光像３１の形状が不鮮明になる場合がある。

このような撮像データに対して、まず、制御部２は、ノイズフィルタ処理を行う（ステップＳ２１０）。ノイズフィルタ処理は、ガウシアンフィルタ処理などであり、撮像データの蛍光像に対するノイズを取り除く。

さらに、制御部２は、二値化処理を行い（ステップＳ２２０）、蛍光像のエッジを明瞭化する。二値化処理は、例えば各画素の輝度レベル０〜２５５に対して、所定値以上の輝度レベルを値２５５に書き換える一方、当該所定値未満の輝度レベルを値０に書き換えることで行う。

次に、制御部２は、二値化した蛍光像から、特徴量を抽出する（ステップＳ２３０）。例えば、制御部２は、まず二値化した蛍光像の長手方向を検出して、一定の幅で延在する長手方向の長さを測定することにより、特徴量ａの値を抽出する。さらに、制御部２は、検出した長手方向を基準にして、蛍光像の先端部の特徴量を抽出する。

制御部２は、抽出した特徴量に基づいて、器具の判定処理を行う（ステップＳ２４０）。器具の判定処理は、蛍光像から抽出した特徴量と、メモリ４の特徴量データ４２に格納された特徴量とを比較することにより、蛍光像が示す手術器具の種類を判定する処理である。器具の判定処理の詳細については、後述する。

制御部２は、器具の判定処理（ステップＳ２４０）において判定した手術器具に関する形状情報に基づいて、投影画像のための画像データを生成する（ステップＳ２５０）。

具体的には、制御部２は、蛍光像の特徴量と、各形状情報から抽出した特徴量との比較に基づいて、類似度を算出する。これにより、制御部２は、不鮮明な形状の蛍光像を有する撮像データと、判定した医療機器に関して画像データベース４１に格納された各形状情報との類似度を判定する。そして、制御部２は、メモリ４に格納されている形状情報のうち、類似度が最も高い形状情報を選択して、選択した形状情報が実際に手術に使用されている医療機器の状態を示す画像の形状情報であると判定する。制御部２は、撮像データの蛍光像を、類似度が最も高いと判定した形状情報の画像に置き換えて、投影用の画像データを生成する。

例えば、器具の判定処理（ステップＳ２４０）において蛍光像が示す手術器具が鉗子であると判定された場合、制御部２は蛍光像の形状と、図３に示す鉗子の画像データ５２Ａ〜５２Ｃとを比較して、鉗子の画像データ５２Ａ〜５２Ｃの中で形状が最も蛍光像に近い画像データを選択する。次に、制御部２は、撮像データにおける蛍光像を、選択した画像データの画像に置き換えて、投影用の画像データを生成する。

ここで、制御部２は、撮像データに基づいて、医療機器２０の大きさや向きなどの状態も検出する。例えば、患部１０２に挿入される医療機器２０の蛍光像は、略管状であって先端部に特徴を有することが多いため（図７Ａ参照）、蛍光像の長手方向を、向きの基準として検出してもよい。制御部２は、類似度が最も高いと判定した画像データに対して、検出した大きさや向きに合わせて、拡大または縮小の倍率および回転角度を調整する処理を行う。さらに、制御部２は、撮像データにおいて、患部の表面上の蛍光発光した領域である蛍光像の位置と、投影画像の位置とを合致させる。

制御部２は、投影用の画像データを生成すると、画像データ生成処理を終了する。

図８のステップＳ２４０の器具の判定処理について説明する。器具の判定処理において、制御部２は、メモリ４から特徴量データ４２を読み出して、特徴量データ４２の各手術器具の特徴量と、ステップＳ２３０の処理において抽出した蛍光像の特徴量とを比較することにより、撮像データの手術器具の種類を判定する。以下、図５，９を用いて説明する。

図９は、器具の判定処理の一例を説明するためのフローチャートである。なお、図９の例では、一例として制御部２は、図５の特徴量データ４２に基づいて、撮像データの手術器具が、カテーテルと、鉗子と、メルシーのいずれであるかを判断するとする。

制御部２は、蛍光像とカテーテルを比較するため、蛍光像が先端まで一定の幅で延在しているか否かを判定する（ステップＳ３１０）。この判定は、例えば特徴量ａが所定のしきい値を超えるか否かを判断することで実行される。蛍光像が先端まで一定の幅で延在している場合（ステップＳ３１０でＹＥＳ）、制御部２は、蛍光像の手術器具がカテーテルであると判定する（ステップＳ３１１）。

一方、蛍光像が先端まで一定の幅で延在していない場合（ステップＳ３２０でＹＥＳ）、制御部２は、蛍光像の先端形状の特徴量と、特徴量データ４２におけるカテーテル以外の手術器具の特徴量とを比較する。具体的には、蛍光像の先端が、二股の分岐と類似するか否かを判定する（ステップＳ３２０）。蛍光像の先端が二股の分岐と類似していれば（ステップＳ３２０でＹＥＳ）、制御部２は、手術器具がカテーテルであると判定する（ステップＳ３２１）。一方、蛍光像の先端が二股の分岐と類似していなければ（ステップＳ３２０でＮＯ）、制御部２は、手術器具がメルシーであると判定する（ステップＳ３２２）。

制御部２は、蛍光像の手術器具の種類を判定すると、器具の判定処理を終了する。なお、器具の判定処理において判定する手術器具の種類は、上記のカテーテルと、鉗子と、メルシーの組み合わせに限らない。例えば、蛍光像の先端の膨らみに関する特徴量を検出して、蛍光像がバルーンであるか否かを判定してもよい。

器具の判定処理により、あらかじめ特徴量データ４２に格納された特徴量に基づいて、蛍光像が示す手術器具の種類が判定できるので、制御部２の処理量を低減することができる。

以上の画像データ生成処理（ステップＳ１３０）により、図７Ｂに示すように、投影用の画像データに基づく投影画像３２が、投影部３から患部１０２の表面の蛍光発光した領域上に投影される（ステップＳ１４０）。上述の処理を行うことにより、医療機器２０の画像を鮮明に患部１０２上に表示することができる。

なお、本実施の形態では、撮像部１２が可視光と蛍光の両方を検出できる構成としたが、上述の各処理を行う場合、可視光のみを検出する撮像部と、蛍光のみの検出を行う撮像部を別々に備えた構成としてもよい。これにより、医療機器２０の蛍光像と投影部３からの投影画像とを分離して検出することができる。その結果、蛍光像のみとメモリ４に格納された形状情報とを比較して、類似度を判定することができる。したがって、撮像部を別々に設けることで、類似度の判定精度が向上する。

１−３．効果等
以上のように、本実施の形態において、手術支援システム１００は、光源１１と、撮像部１２と、制御部２と、メモリ４と、投影部３とを備える。光源１１は、所定の波長の励起光を照射する。撮像部１２は、励起光が照射された被写体である、術野１０１の医療機器２０を撮像する。制御部２は、撮像部１２が撮像した撮像データに基づいて、投影用の画像データを生成する。メモリ４は、医療機器の画像の形状を示す形状情報を複数有するデータ群を複数格納する。投影部３は、投影用の画像データに基づく投影画像を、術野１０１に投影する。制御部２は、メモリ４に格納された複数の形状情報の中から、撮像部１２により撮像された、励起光に反応して蛍光発光した領域の画像である蛍光像との類似度に基づいて形状情報を選択する。制御部２は、選択した形状情報が示す形状を有する画像が、術野１０１の蛍光発光した領域に投影されるように、投影用の画像データを生成する。

上述の構成により、手術支援システム１００は、患者の体内に挿入された医療機器２０の蛍光像が皮膚等の影響により不鮮明であった場合でも、蛍光像と医療機器群の形状情報とを比較することで、使用されている医療機器２０を判別できる。さらに、手術支援システム１００は、形状情報を用いて生成した投影用の画像データによって、明瞭で正確な位置、大きさ、及び向きの医療機器２０の映像を患部の表面に投影することができる。そのため、医師等が被写体の状態をより正確に認識できる画像を投影することができる。

このように、実施の形態１の手術支援システム１００により、実際の医療機器が挿入された患部上に投影する投影画像において、医療機器の種類や位置などの状態を、ユーザにとってわかり易くすることができる。

（実施の形態２）
以下、図１０〜１５Ｃを用いて、実施の形態２を説明する。実施の形態１では、患者の体内に挿入された医療機器の画像を投影したが、本実施の形態では、患者の病変した患部の画像を投影する。

２−１．構成
２−１−１．手術支援システムの概要
図１０は、実施の形態２にかかる手術支援システムの構成を示す概略図である。手術支援システムは、投影システムの一例である。

本実施の形態の手術支援システムは、術野における患部の蛍光像を撮像し、撮像した画像から患部の蛍光発光した領域を検出し、検出した領域に対応する被写体の領域に可視光で投影画像を投影する。これにより、本手術支援システムのユーザは、患者の患部の位置などを目視で確認することができる。

ここで、患部に投影した投影画像の領域と、術野における蛍光発光した患部の領域とがずれると、患部の位置が誤認されるという問題がある。そこで、本実施の形態の手術支援システムは、患部の蛍光像と、患部に投影された投影画像とを撮像して、その差分を検出して投影画像を補正することで、投影画像のずれを解消する。これにより、ユーザ（医師等）は患者の患部の領域を正しく確認することができる。

以下、実施の形態１に係る手術支援システム１００と同様の構成、動作の説明は適宜、省略して、手術支援システム２００を説明する。

２−１−２．手術支援システムの構成
図１０を用いて、手術支援システム２００の構成を詳細に説明する。

本実施の形態に係る手術支援システム２００は、実施の形態１に係る手術支援システム１００と同様に、撮像装置１と、制御部２と、投影部３とを備えるが、医療機器の形状情報を有するメモリ４を備えていない。

手術を受ける患者１０には、所定の波長の光（励起光）によって励起されると蛍光を発する光感受性物質が、あらかじめ血液やリンパ液等に投与されており、血液やリンパ液の流れが滞っている患部１０３に光感受性物質が蓄積される。光感受性物質は、例えば近赤外光を照射されると励起して蛍光を発する物質であり、例えばインドシアニングリーンである。光感受性物質が蓄積された患部１０３は、光源１１から励起光を照射されることで蛍光発光する。

本実施の形態において、撮像部１２は、術野１０１において、患部１０３の光感受性物質の蛍光発光による蛍光像と、可視光による可視光像とを撮像して、撮像データを生成する。すなわち、撮像データは、蛍光発光した領域の蛍光像だけでなく、可視光による可視光像をも含む画像データである。

２−２．動作
以上のように構成された手術支援システム２００の動作を、以下説明する。

図１１は、手術支援システム２００における投影画像の生成処理を説明するためのフローチャートである。

まず撮像装置１は、光源１１を駆動して、患部１０３を含む術野１０１に励起光を照射する（ステップＳ１１０）。光源１１からの励起光が、患者１０の患部１０３に蓄積された光感受性物質を励起することにより、患部１０３は蛍光発光する。

次に、撮像装置１は、撮像部１２から術野１０１を撮像する（ステップＳ１２０）。このとき、撮像部１２は、患部１０３に蓄積された光感受性物質による蛍光像とともに、術野１０１における可視光像を示す撮像データを生成する。撮像データは、制御部２に出力される。

制御部２は、撮像データに基づいて、投影用の画像データを生成する（ステップＳ１３０Ａ）。本実施の形態においては、制御部２は、撮像データから患部１０３の蛍光像を抽出して、抽出した蛍光像の形状を示す投影画像を可視光で表示するように投影用の画像データを生成する。制御部２は、投影用の画像データを投影部３に出力する。

投影部３は、術野１０１において、患部１０３表面の蛍光発光している領域に、患部１０３の形状を示す投影画像を投影する（ステップＳ１４０）。この投影画像によって、医師等は、術野１０１において患部１０３の位置や形状を明瞭に視認することができる。

さらに、制御部２は、画像データ補正処理を行う（ステップＳ１６０）。画像データ補正処理は、術野１０１に実際に投影された投影画像と蛍光像とを検出して、投影用の画像データを補正する処理である（詳細は後述）。制御部２によって補正された投影用の画像データは、再度、投影部３に出力される。投影部３は、補正された投影用の画像データに基づく投影画像を、術野１０１の患部１０３に投影する（ステップＳ１４０）。

以上の処理は、終了のための操作が行われるまで（ステップＳ１５０）に所定サイクル（例えば１／６０秒）で繰り返し実行される。これにより、例えば１／６０秒に１度撮像された画像が投影されることとなり、ユーザはリアルタイムの映像として患部１０３の位置や形状を視認できる。

２−２−１．画像データ補正処理
以下、画像データ補正処理（ステップＳ１６０）の詳細を説明する。

以上で説明した投影画像の生成処理においては、撮像装置１と投影部３の配置位置が異なることに起因して、実際の患部１０３の位置と、投影部３の投影画像が投影される位置との間にずれが生じることがある。また、患部１０３の表面形状や、患部１０３が移動することによっても、実際の患部１０３の位置と、投影画像が投影される位置との間にずれが生じる。

図１２Ａ〜１２Ｃは、撮像装置１と投影部３とが互いに異なる位置に配置された場合の手術支援システム２００による表示例を示す。図１２Ａ〜１２Ｃに示す例において、撮像装置１は、術野１０１の上方から患部１０３に対向して配置されている。一方、投影部３は、術野１０１に対して傾斜して、患部１０３に向いて配置されている。

図１２Ａ〜１２Ｃの例では、患部１０３の形状は円形であるとする。また、蛍光発光した患部１０３と投影画像３３とが重なった領域３３ａを黒塗りの領域で示す。この場合、撮像装置１は、円形の蛍光像を撮像する。制御部２は、円形の投影画像を示す投影用の画像データを生成する。図１２Ａは、制御部２が投影用の画像データを補正せずに投影部３に出力したときの状態を示す。すると、投影部３が術野１０１に対して傾いて配置されているため、実際に術野１０１に投影される投影画像３３は楕円形の画像となる。そのため、患部１０３と投影画像３３とが、図１２Ａに示すようにずれてしまう。

このような画像のずれを補正するため、本実施の形態の手術支援システム２００は、画像データ補正処理（ステップＳ１６０）を行う。具体的には、制御部２は、患部１０３の蛍光像と、投影画像３３との差分を検出して、差分に応じて投影用の画像データを補正する（図１２Ｃ参照）。例えば、手術支援システム２００は、図１２Ｂに示すように患部１０３と一致した投影画像の領域３３ａを表示したまま、患部１０３からはみ出した領域３３ｂを消去する。そのため、投影画像３３のずれを低減し、患部１０３の領域をより正確に示すことができる。また、検出した差分に応じて投影用の画像データを補正することにより、制御部２の処理量を低減することができる。

画像データ補正処理における補正の考え方を説明する。図１３は、投影用の画像データの補正の考え方を説明した図である。画像データ補正処理において、制御部２は、術野１０１において、蛍光発光している領域（以下、「蛍光発光領域」という。）と、投影画像が投影されている領域（以下、「投影領域」という。）との領域の重なりに基づいて、投影用の画像データを補正する。

制御部２は、蛍光発光領域と投影領域とが重なっている領域に対しては、投影用の画像データを変更せずに維持する（図１３（ａ）上段の左欄）。

また、投影領域と重ならない蛍光発光領域には、投影画像が追加表示されるように、制御部２は投影用の画像データを補正する（図１３（ａ）上段の右欄）。

また、蛍光発光領域と重ならない投影領域には、投影画像が消去されるように、制御部２は投影用の画像データを補正する（図１３（ａ）下段の左欄）。

また、蛍光発光領域でも投影領域でもない領域に対しては、制御部２は、投影用の画像データを変更しない（図１３（ａ）下段の右欄）。

例えば、投影領域と蛍光発光領域とが図１３（ｂ）に示すような状態にあるとき、以上のような処理を行うことによって、投影用の画像データは、図１３（ｃ）に示すように補正前の領域Ｄ３Ａから補正後の領域Ｄ３Ｂに補正される。

図１４は、画像データ補正処理（ステップＳ１６０）を説明するためのフローチャートである。図１４のフローチャートを参照して、画像データ補正処理をより具体的に説明する。以下では、術野１０１において、患部１０３が蛍光発光しているとともに、投影画像が投影されているとする。

まず、撮像装置１は、術野１０１における蛍光像とともに、投影部３からの投影画像を撮像する（ステップＳ４１０）。制御部２は、撮像装置１からの撮像データに基づいて、術野１０１における蛍光発光領域と、投影領域とを検出する（ステップＳ４２０）。具体的には、制御部２は、撮像データにおいて蛍光像と投影画像のそれぞれが占める領域を検出する。

制御部２は、撮像データにおいて、投影領域と重ならない蛍光発光領域があるか否かを判定する（ステップＳ４３０）。投影領域と重ならない蛍光発光領域がある場合（ステップＳ４３０でＹＥＳ）、制御部２は、そのような領域に投影画像を追加表示するように、投影用の画像データを補正する（ステップＳ４４０）具体的には、制御部２は、撮像データ上の投影領域と重ならない蛍光発光領域に対応する、投影用の画像データ上の領域に、画像を追加する。

次に、制御部２は、蛍光発光領域と重ならない投影領域があるか否かを判定する（ステップＳ４５０）。蛍光発光領域と重ならない投影領域がある場合（ステップＳ４５０でＹＥＳ）、制御部２は、そのような領域の投影画像を消去するように、投影用の画像データを補正する（ステップＳ４６０）
具体的には、撮像データ上の蛍光発光領域と重ならない投影領域に対応する、投影用の画像データ上の領域の投影画像を消去する。

図１２Ａ〜１２Ｃの例を用いて、上述の処理を具体的に説明する。図１２Ａに網掛けで示した領域３３ｂは、患部１０３ではないのに、投影画像３３がずれて表示されている領域である。図１２Ｂは、上述の処理によって補正された後の術野１０１の状態を示す。図１２Ｃは、補正後の投影用の画像データを示す。

上述の処理において、制御部２は、網掛けで示した領域３３ｂを蛍光発光領域と重ならない投影領域として判定し（ステップＳ４５０でＹＥＳ）、網掛けの領域３３ｂを消去するように投影用の画像データＤ３３を補正する（ステップＳ４６０）。具体的には、制御部２は、投影用の画像データＤ３３において、患部の画像における領域３３ｂに対応する領域Ｄ３３ｂの画像を消去する。

また、図１２Ａに示す投影画像３３の黒塗りの領域３３ａは、蛍光発光領域と投影領域が重なっている領域であるため、制御部２は、投影画像の領域３３ａを表示したままで維持する。具体的には、制御部２は、投影用の画像データＤ３３において、患部の画像における領域３３ａに対応する領域Ｄ３３ａの画像を維持する。

上述の処理により、投影用の画像データＤ３３において、補正前には円形であった患部の画像の形状が、領域Ｄ３３ａに示すような楕円状に変更される。そのため、投影用の画像データＤ３３の領域Ｄ３３ａの画像が、術野１０１に対して傾いて配置された投影部３から投影されることで、投影画像の形状が円形となる。

これにより、図１２Ｂに示すように、投影画像３３において、患部１０３からずれた領域に表示されていた領域３３ｂが消去され、患部１０３に一致した領域３３ａのみが維持される。このように、本実施の形態における画像データ補正処理によって、投影画像のずれが解消できる。

なお、本実施形態では、撮像部１２が可視光と蛍光の両方を検出できる構成としたが、上述のような処理を行う場合、可視光のみを検出する撮像部と、蛍光のみの検出を行う撮像部を別々に備えた構成としてもよい。このような構成により、蛍光像と投影像を独立した画像として処理できるため、蛍光発光領域と蛍光発光領域の外部、および、投影領域と投影領域の外部を区別する信号処理を高速、高精度に行うことができる。

以下、患部が時間経過とともに移動した場合における画像データ補正処理の適用例を、図１５Ａ〜１５Ｃを用いて説明する。

図１５Ａ〜１５Ｃに示す例において、撮像装置１と投影部３とは、術野１０１の上方において、隣接して並列に配置されている。図１５Ａは、投影部３からの投影画像３４の位置と患部１０３の位置とが一致して、投影画像３４が投影された状態を示す。

図１５Ｂは、図１５Ａに示す術野１０１の状態から、患部１０３が移動した状態を示す。患部１０３が移動することで、図１５Ｂに示すように移動後の患部１０３’の蛍光発光領域と、投影部３からの投影画像３４の投影領域との間に、ずれが発生する。これに対して、手術支援システム２００の制御部２は、以下のように上述の画像データ補正処理を行う。

まず、図１５Ｂにおいて斜線で示す領域１０３ａは、患部１０３の領域であって、かつ投影画像３４が表示されていない領域である。制御部２は、その領域１０３ａに投影画像の表示を行うように、投影用の画像データを補正する（ステップＳ４４０）。

また、図１５Ｂに網掛けで示す領域３４ａは、蛍光発光していない領域であって、かつ投影画像３４がずれて表示されている領域である。制御部２は、その領域３４ａにおいて投影画像３４の表示を止めるように、投影用の画像データを補正する（ステップＳ４６０）。

また、図１５Ｂに黒塗りで示す領域３４ｂの投影画像は、患部１０３に投影されている。制御部２は、投影用の画像データにおいて領域３４ｂに対応する領域の画像は変更せずに維持する（図１３（ａ）上段の左欄）。

以上の画像データ補正処理を行うことにより、図１５Ｃに示すように、移動後の患部１０３’と投影画像３４’とが一致し、投影部３による表示のずれを解消することができる。

以上のように、患部の蛍光像と投影部３の投影画像の差分を検出することで、患部の表面形状や動きによってずれが生じても、適正な位置に患部の画像を投影することができる。

２−３．効果等
以上のように、本実施の形態において、手術支援システム２００は、光源１１と、撮像部１２と、制御部２と、投影部３とを備える。光源１１は、所定の波長の励起光を照射する。撮像部１２は、励起光が照射された被写体である、術野１０１の患部１０３を撮像する。制御部２は、撮像部１２が撮像した撮像データに基づいて、投影用の画像データを生成する。投影部３は、投影用の画像データに基づく投影画像を、術野１０１に投影する。撮像部１２は、術野１０１上で、励起光に反応した蛍光発光領域の蛍光像とともに、投影画像を撮像する。制御部２は、撮像部１２により撮像された蛍光像と、投影画像との差分に応じて、投影用の画像データを補正する。

上述の構成により、手術支援システム２００は、投影画像のずれを低減し、患部１０３の領域をより正確に示すことができる。そのため、実際の被写体上に投影する被写体の画像において、医師等は正確な被写体の状態をより認識しやすくなる。また、検出した差分に応じて投影用の画像データを補正することにより、補正処理における制御部２の処理量を低減することができる。

また、制御部２は、投影画像が投影されている投影領域とは重ならない、所定の波長の光に反応した蛍光発光領域１０３ａに、投影画像を追加表示するように、投影用の画像データを補正する。また、制御部２は、蛍光発光領域と重ならない投影領域３４ａの投影画像を消去するように、投影用の画像データを補正する。このような処理により、補正処理における制御部２の処理量を低減できる。

本実施の形態において、撮像部１２による被写体は患者１０の患部１０３であったが、被写体は人体に限らず、例えば生物の体内に、所定の光の波長に反応する蛍光物質が投与された患部であってもよい。

なお、実施の形態２においては、撮像装置１と投影部３とが異なる位置に配置される場合、及び手術中に患部１０３が移動する場合に、ずれた投影画像を補正する例を説明した。しかし、本実施形態の画像データ補正処理は、患部１０３の表面形状によって投影画像がずれた場合にも、適用できる。患部の立体的な表面形状によって投影画像が歪み、蛍光発光領域と投影領域がずれる場合、本実施の形態における画像データ補正処理によって、投影画像の歪みを解消することができる。

本実施の形態における投影画像の生成処理におけるステップＳ１３０Ａの処理において、制御部２は、実施の形態１と同様に、術野１０１上で蛍光発光した領域に投影画像の大きさ及び／又は向きに合わせるように、投影用の画像データの拡大または縮小の倍率および回転角度を調整する処理を行ってもよい。また、制御部２は、撮像データの可視光像に基づいて、撮像データにおいて患部の蛍光発光領域の位置と、投影画像の位置とを合致させてもよい。

（実施の形態３）
以下、実施の形態３を説明する。実施の形態２では、患者の患部の画像を投影して、その投影用の画像データを補正したが、本実施の形態では、医療機器の画像を投影して、その投影用の画像データを補正する。

以下、実施の形態１，２に係る手術支援システム１００，２００と同様の構成、動作の説明は適宜、省略して、本実施の形態の手術支援システムを説明する。

本実施の形態の手術支援システムは、実施の形態２の手術支援システム２００と同様に構成される（図１０参照）。本実施の形態の手術支援システムは、実施の形態２と同様の投影画像の生成処理を、撮像装置１による撮像の対象、及び投影部３による投影の対象を医療機器として行う（図１１参照）。

本実施の形態における投影画像の生成処理において、制御部２は、医療機器の蛍光像を抽出して、抽出した蛍光像の形状を示す投影用の画像データを生成する（ステップＳ１３０Ａ）。なお、制御部２は、実施形態１の画像データ生成処理（ステップＳ１３０）と同様の処理によって、投影用の画像データを生成してもよい（図８参照）。この場合、本実施の形態の手術支援システムは、実施の形態１の手術支援システム１００と同様のメモリ４をさらに備える。

以上のように生成した医療機器の形状を示す投影用の画像データに対して、制御部２は、実施の形態２と同様の画像データ補正処理（ステップＳ１６０）を行う。このとき、制御部２は、医療機器の形状を示す投影画像と、医療機器２０の蛍光像との差分を検出し、差分に応じて投影用の画像データを補正する。

これにより、医療機器の形状を示す投影画像の位置と、医療機器によって蛍光発光した領域の位置とのずれが解消され、ユーザは医療機器の位置を、より正確に視認することができる。また、一度生成した投影用の画像データを繰り返し補正することにより、投影用の画像データを新たに生成する頻度を減らして、制御部２の処理量を低減することができる。

（その他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１〜３では、手術などの医療用途を例に挙げて説明したが、本発明はこれには限らない。例えば、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う必要がある場合、本発明を適用することができる。

具体的には、実施の形態１，３の医療機器に代えて、工事現場や採掘現場、建築現場、材料を加工する工場などにおける、目視では状態変化を確認できないような対象物に蛍光材料を塗布し、練りこみ、或いは流し込んで、撮像部１２による撮像の対象である撮像対象物とする。それとともに、上記対象物の形状に関する形状情報を、メモリ４に格納することにより、実施の形態１，３と同様に、本発明を適用することができる。

実施の形態１においては、メモリ４に格納した手術器具の画像データ５１〜５４を例示した。しかし、メモリ４は、手術器具を含む医療機器の画像データを格納してもよい。このとき、医療機器の画像データに関して、実施の形態１と同様に、画像データベース４１および特徴量データ４２を構成してもよい。これにより、手術器具に限らず医療機器の種類を判定することができる。

実施の形態１において、画像データベース４１は、フィラメント５３ｂを除いたメルシーの画像データ５３を有してもよい。これにより、メルシーのフィラメントには蛍光材料を含ませずに手術を行う際、その蛍光像との比較が行い易くなる。たとえば、撮像データの蛍光像と、ループワイヤのらせん状の形状との類似度を比較することにより、蛍光像がメルシーであるか否かの判定を容易に実行できる。また、メルシーのフィラメントにおける蛍光材料の有無にかかわらず、投影画像としてフィラメントのないメルシーの画像データを用いてもよい。このように、各医療機器の部分的な形状の画像データをメモリ４に格納してもよい。

また、メモリ４に格納する形状情報は、例えば、撮像装置１によって予め撮像した画像データであってもよい。これにより、より実際に使用する器具を示す画像データを投影することができる。

実施の形態１において、形状情報は、医療機器の形状を示す画像データであったが、形状情報は、医療機器に限らず、所定の形状を有する物体の画像データであってもよい。ここで、所定の形状を有する物体の画像データは、医療機器などの物体自体の画像データに限らない。形状情報は、当該物体を模式的に表す画像データであってもよく、例えば、当該物体を描いた図や、矢印などのマークであってもよい。

実施の形態１において、制御部２は、撮像データに基づいて、類似度が最も高いと判定した画像データに対して、倍率および回転角度を調整する処理を行った。しかし、投影画像の倍率及び／又は回転角度の調整方法はこれに限らない。例えば、制御部２は、撮像装置１が撮像した術野１０１の可視光像を基準に倍率や角度を調整してもよいし、予め術野１０１付近に蛍光マーカを設置して、この蛍光マーカを基準に倍率や角度を調整してもよい。また、制御部２は、このような基準による倍率及び／又は回転角度の調整を反映して、投影用の画像データを生成してもよいし、投影部３のレンズなどの光学系を制御してもよい。

実施の形態１〜３において、制御部２は、撮像データに基づいて、患部の表面上の蛍光像の位置と、投影画像の位置とが合致するように、投影用の画像データを生成した。しかし、これに限らず、制御部２は、被写体の表面上で蛍光発光した領域の位置と、投影画像の位置とが合致するように、投影位置を変更してもよい。例えば、制御部２は、投影画像の投影位置を変更するように、投影部３を制御してもよい。

実施の形態１〜３において、制御部２は、撮像データにおける医療機器の蛍光像を基準に、患部の表面上の蛍光像の位置と、投影画像の位置とを合致させた。しかし、投影画像の位置合わせの基準は、これに限らない。例えば、撮像装置１が撮像した術野１０１の可視光像を基準にしてもよいし、予め術野１０１付近に蛍光マーカを設置して、この蛍光マーカを基準にしてもよい。

実施の形態１において、１つの医療機器について投影画像を生成し、投影した。しかし、制御部２は、蛍光像を同時に複数の形状情報と比較してもよい。これにより、複数種類の手術器具が同時に患者１０の体内に挿入されている場合、それぞれの医療機器を識別することができる。

実施の形態１の画像データ生成処理において、制御部２は、撮像データの蛍光像を、類似すると判定した画像データの画像に置き換えて、投影用の画像データを生成した。しかし、制御部２は、判定した画像データを参照して、撮像データにおける不鮮明な蛍光像の形状を補正することで、投影用の画像データを生成してもよい。

実施の形態１において、制御部２は、メモリ４に格納される特徴量データ４２を用いて医療機器の種類を判定した。しかし、特徴量データ４２を用いて医療機器の種類を判定せずに、直接、画像データベース４１に格納される複数種類の医療機器の形状情報と、蛍光像との類似度を判定してもよい。このとき、メモリ４に特徴量データ４２を格納しなくてよいので、メモリ４に保持するデータ量を削減できる。また、特徴量データ４２として、医療機器の種類だけでなく、向きや形状の異なる医療機器の特徴量のデータを用いてもよい。これにより、画像データベース４１において、蛍光像の比較対象となる形状情報を、さらに絞り込むことができる。

実施の形態１〜３において、撮像部１２は、可視光、蛍光、および励起光の全ての種類の光を検出できるように構成されたが、少なくとも蛍光が検出できるように構成されればよい。例えば、撮像部１２は、可視光と蛍光のみを検出できるカメラを組み合わせて構成されてもよいし、蛍光のみを検出できるカメラによって構成されてもよい。

実施の形態１〜３においては、光感受性物質としてインドシアニングリーンを例示したが、他の光感受性物質を用いてもよい。例えば、ポルフィリン、ルシフェリン、アカルミネ（登録商標）などを用いてもよい。この場合、光源１１はそれぞれの光感受性物質の励起波長帯における励起光を照射し、撮像部１２はそれぞれの光感受性物質の蛍光発光の波長帯において蛍光像を検出する。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。

本開示における投影システムは、医療用途や、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う際に適用可能である。

１ 撮像装置
１１ 光源
１２ 撮像部
２ 制御部
３ 投影部
４ メモリ
１０ 患者
２０ 医療機器
１００，２００ 手術支援システム

本開示は、撮像した被写体の画像を、その被写体の表面に投影する投影システムに関する。

特許文献１は、外科手術を受ける生体の患部を示す画像データを蛍光像撮像装置から出力させ、画像投影装置により上記画像データによる画像を再生し、実際の患部上に表示させる外科手術支援システムを開示する。生体の患部には、所定の波長の光を照射することで蛍光を発する物質が、あらかじめ投与されている。つまり、このシステムは、患部が蛍光発光した蛍光画像を実際の患部に表示することで、病変部の確認の支援をしている。

特開平９−２４０５３号公報

本開示は、実際の被写体上に投影する被写体の画像において、ユーザが被写体の状態をより正確に認識できる画像を投影する投影システムを提供することを目的とする。

本開示にかかる投影システムは、光源と、撮像部と、制御部と、投影部とを備える。光源は、所定の波長の光を照射する。撮像部は、所定の波長の光が照射された被写体を撮像する。制御部は、撮像部が撮像した画像に基づいて、投影用の画像データを生成する。投影部は、投影用の画像データに基づく投影画像を、被写体上に投影する。撮像部は、被写体上で、所定の波長の光に反応した領域の画像とともに、投影画像を撮像する。記制御部は、所定の波長の光に反応した領域の画像と、投影画像との差分に応じて、所定の波長の光に反応した領域の画像と投影画像とが一致するように、投影用の画像データを補正する。

本開示における投影システムによれば、所定の波長の光に反応した領域からの投影画像のずれを低減することで、ユーザが被写体の状態をより正確に認識できる画像を投影することができる。

実施の形態１にかかる手術支援システムの構成を示す概略図 メモリに格納されるカテーテルの画像データの例を示す図 メモリに格納される鉗子の画像データの例を示す図 メモリに格納されるメルシーの画像データの例を示す図 鉗子のバリエーションの画像データの例を示す図 バルーンのバリエーションの画像データの例を示す図 手術中のバルーンの使用状態を説明するための患部の断面図 各種類の手術器具に関する特徴量データの一例を示す表 実施の形態１にかかる手術支援システムにおける投影画像の生成処理を説明するためのフローチャート 投影画像の生成処理における蛍光像の一例を示す図 投影画像の生成処理における投影画像の一例を示す図 実施の形態１にかかる手術支援システムにおける画像データ生成処理を説明するためのフローチャート 実施の形態１にかかる手術支援システムにおける器具の判定処理の一例を説明するためのフローチャート 実施の形態２にかかる手術支援システムの構成を示す概略図 実施の形態２にかかる投影画像の生成処理を説明するためのフローチャート 実施の形態２にかかる手術支援システムの投影画像の一例を示す図 実施の形態２の画像データ補正処理による投影画像の表示例を示す図 実施の形態２の画像データ補正処理における投影用の画像データの一例を示す図 実施の形態２の手術支援システムにおける投影用の画像データの補正の考え方を説明した図 実施の形態２の画像データ補正処理を説明するためのフローチャート 実施の形態２の手術支援システムにおいて移動する患部の例を示す図 実施の形態２の手術支援システムにおいて移動した患部の例を示す図 実施の形態２の手術支援システムにおいて補正した投影画像の例を示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜９を用いて、実施の形態１を説明する。

１−１．構成
１−１−１．手術支援システムの概要
図１は、実施の形態１にかかる手術支援システムの構成を示す概略図である。手術支援システムは、投影システムの一例である。

手術が行われる場合、チューブやカテーテルなどの医療機器が患者の体内に挿入される。通常、患者の体内に挿入された医療機器は、外部から目視で確認することができない。そこで、本実施の形態の手術支援システムは、医療機器が挿入された領域の表面に、その医療機器の形状を表す画像を投影する。これにより、本手術支援システムのユーザは、患者の体内に挿入された医療機器の位置などを確認することができる。

１−１−２．手術支援システムの構成
以下、手術支援システム１００の構成を詳細に説明する。

手術支援システム１００は、撮像装置１と、制御部２と、投影部３と、メモリ４とから構成されている。

図１に示すように、手術を受ける患者１０の術野１０１には、医療機器２０が挿入されている。撮像装置１は、光源１１と撮像部１２を含み、術野１０１を撮像する。制御部２は、手術支援システム１００の各部を制御する。制御部２は、撮像装置１が撮像した画像を示す画像データ（撮像データ）に対して後述の処理を行って、投影用の画像データを生成する。投影部３は、投影用の画像データに基づいて投影画像を生成して、術野１０１に投影する。メモリ４は、画像データベース４１と、特徴量データ４２とを格納する。画像データベース４１と、特徴量データ４２の詳細は後述する。

手術に使用される医療機器２０は、励起されると蛍光を発する光感受性物質が、表面に塗布され、または練り込まれている。光感受性物質は、例えば近赤外光を照射されると励起して蛍光を発する物質であり、例えばインドシアニングリーンである。光感受性物質は、人体もしくは動物に使用可能な薬剤である。医療機器２０は、撮像装置１の撮像の対象となる撮像対象物である。

撮像装置１の光源１１は、光感受性物質の励起波長領域内の波長を有する励起光を照射する。例えば、光源１１は、近赤外の波長帯の光を照射する。光源１１は、撮像部１２の周囲を取り囲むように配置されている。

撮像部１２は、例えば高感度のＣＣＤカメラ等で構成される。撮像部１２は、医療機器２０の光感受性物質の蛍光発光による蛍光像を撮像して、撮像データを生成する。撮像データは、蛍光発光した領域の蛍光像を示す画像データであり、制御部２に出力される。また、撮像部１２は、蛍光像とともに術野１０１の可視光像を撮像する。撮像部１２は、例えば可視光、蛍光、および励起光の内で一つまたは複数の種類の光を検出できるカメラを複数組み合わせたカメラ群から構成されることで、上記の全ての種類の光を検出できる。本実施の形態では、撮像部１２は、蛍光像を示す撮像データを生成する。なお、撮像部１２は、蛍光像と可視光像を含む撮像結果の画像全体のデータを制御部２に出力してもよく、その場合、制御部２が撮像結果の画像全体から蛍光像を抽出するようにしてもよい。

制御部２は、撮像装置１と投影部３の動作を制御する機能を有する。また、制御部２は、撮像装置１から撮像データを取得するとともに、メモリ４から形状情報（後述）を読み出して、後述の所定の処理を行う。これにより、制御部２は、投影部３から投影するための画像データを生成して、投影部３に出力する。制御部２は、例えばＣＰＵやＭＰＵで構成され、所定のプログラムを実行することによってその機能を実現する。なお、制御部２の機能は、専用に設計された電子回路により実現されてもよい。

投影部３は、制御部２からの画像データに基づいて投影画像を生成し、医療機器２０が挿入された患部などの表面上に、投影画像を投影する。投影部３は、例えばプロジェクタ等からなる。

メモリ４は、制御部２が形状情報を読み出して後述の処理を行えるように、制御部２に接続されている。形状情報は、医療機器の形状を示す画像データである。なお、形状情報は、医療機器の形状に限らず、所定の形状を有する物体の画像データであってもよい。メモリ４は、記憶部の一例である。メモリ４としては、例えば不揮発性メモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）が用いられる。

画像データベース４１は、複数の医療機器に関する形状情報を管理する。図２Ａ〜２Ｃは、画像データベース４１に含まれる複数種類の手術器具のそれぞれの形状情報の例を示す。図２Ａは、カテーテルの画像データ５１を示し、図２Ｂは、鉗子の画像データ５２を示し、図２Ｃは、メルシーリトリーバ（以下、メルシーという。）の画像データ５３を示す。各画像データ５１〜５３は、それぞれの手術器具の形状情報の一例である。

カテーテルは、患者１０の体内に挿入される管状の手術器具である。カテーテルの画像データ５１の特徴の１つは、長手方向５１ｂに沿って先端部５１ａまで一定の幅で延在することである。

鉗子は、患部や縫合糸を把持したり、牽引したりするために用いられる手術器具である。例えば、内視鏡用の鉗子は、患者１０の体内に挿入して用いられる。鉗子の画像データ５２の特徴の１つは、先端に設けられた二股形状の把持部５２ａである。

メルシーは、血栓を取り除くために血管等に挿入される手術器具であり、血栓を絡め取るためのループワイヤとフィラメントを有する。メルシーの画像データ５３の特徴の１つは、先端に設けられたらせん形状のループワイヤ５３ａである。なお、メルシーの画像データ５３は、糸状のフィラメント５３ｂを有するが、画像データベース４１は、フィラメント５３ｂを除いたメルシーの画像データ５３を有してもよい。

画像データベース４１は、図２Ａ〜２Ｃに示すように複数種類の手術器具の画像データを有するとともに、各手術器具のバリエーションの画像データも有する。バリエーションの画像データは、各種類の手術器具において異なる形状を示す画像データであり、例えば、手術器具の向きを変えた画像データや、手術器具を変形させた画像データや、同一の種類で別形状の手術器具の画像データである。

図３は、図２Ｂの鉗子のバリエーションの画像データの例を示す。鉗子の画像データ５２Ａ〜５２Ｃにおいて、把持部５２ａはそれぞれ異なる角度で開いている。画像データベース４１は、鉗子に関して、さらなるバリエーションの画像データを有してもよい。例えば、画像データベース４１は、画像データ５２Ａ〜５２Ｃのそれぞれに対して、鉗子の長手方向５２ｂを回転軸として回転させたバリエーションの画像データをさらに有する。

図４Ａは、バルーンのバリエーションの画像データの例を示す。バルーンは、患者１０の体内に挿入した先端部を膨らませて使用する手術器具であり、挿入箇所などに応じて、異なる形状を有する別のバルーンが使用される。画像データベース４１は、例えば図４Ａに示すような、楕円形状の先端部５４ａを有するバルーンの画像データ５４と、先端部５４ａよりも長手方向に扁平した楕円形状の先端部５４ｂを有するバルーンの画像データ５４’とを有する。図４Ｂに示すように、実際のバルーン２０４の先端部２０４ａは、例えば外付けのポンプなどにより、患者１０の体内で拡張するように変形する。これに応じて、画像データベース４１は、例えばバルーンの画像データ５４，５４’毎に、先端部５４ａ，５４ｂを変形させたバリエーションの画像データをさらに有する。

特徴量データ４２は、画像データベース４１が有する形状情報の各手術器具の特徴量を表すデータである。図５は、図２Ａ〜２Ｃの各種類の手術器具に関する特徴量データ４２の一例を示す。図５において、カテーテル、鉗子、メルシーの各手術器具に対して、特徴量ａ，ｂ，ｃが設定されている。

各手術器具の特徴量ａ，ｂ，ｃには、画像データベース４１における手術器具毎の代表的な形状の特徴を示す値が設定される。例えば、カテーテルの特徴量ａ１，ｂ１，ｃ１は、画像データ５１から抽出された値である。特徴量ａは、例えば各手術器具の形状と管状との類似度を表す量であり、各画像データにおいて一定の幅で延在している長手方向の長さによって規定される。また、特徴量ｂは、例えば各手術器具の先端部と二股形状との類似度を表す量であり、各画像データの先端部の開き具合によって規定される。

１−２．動作
以上のように構成された手術支援システム１００の動作を、以下説明する。

図６は、手術支援システム１００における投影画像の生成処理を説明するためのフローチャートである。

図１に示す手術支援システム１００において手術が行われる際、まず撮像装置１は、光源１１を駆動して、医療機器２０を含む術野１０１に励起光を照射する（ステップＳ１１０）。光源１１からの励起光は、患者１０の体内に挿入された医療機器２０にも到達する。そのため、医療機器２０の表面に塗布され、或いは医療機器２０に練り込まれた光感受性物質が、励起されて蛍光を発する。

次に、撮像装置１は、撮像部１２から術野１０１を撮像する（ステップＳ１２０）。このとき、撮像部１２は、患者１０の体内に挿入された医療機器２０からの蛍光発光を検出して、医療機器２０の蛍光像を示す撮像データを生成する。撮像データは、制御部２に出力される。

制御部２は、撮像データと、メモリ４に格納された形状情報に基づいて、画像データ生成処理を行う（ステップＳ１３０）。画像データ生成処理は、撮像データの蛍光像に対応する医療機器の画像が術野１０１に投影されるように、医療機器の画像を含む投影用の画像データを生成する処理である（詳細は後述）。制御部２は、生成した画像データを投影部３に出力する。

投影部３は、入力した画像データに基づいて投影画像を生成し、生成した投影画像を術野１０１の表面上に投影する（ステップＳ１４０）。これにより、術野１０１において医療機器２０が挿入されている位置に、医療機器２０の形状を示す画像が表示される。そのため、ユーザは、術野１０１において医療機器２０が挿入されている位置を視認できる。

以上の処理は、所定サイクル（例えば１／６０秒）で繰り返し実行される。これにより、例えば１／６０秒に１度撮像された画像が投影されることとなり、ユーザはリアルタイムの映像として医療機器２０が挿入されている位置を視認できる。

ここで、患者１０の体内に挿入された医療機器２０の蛍光発光を検出する際、撮像部１２は皮膚などを透過した光線を検出することになる。そのため、医療機器２０の蛍光像に基づいて医療機器２０の鮮明な形状を検出することは困難である。例えば、図７Ａに示す蛍光像３１は、医療機器２０の先端から発した蛍光が血管などの患部１０２内部で拡散することにより、患部１０２の表面上ではぼやけた像となる。このとき、投影部３が蛍光像３１と同一の画像を投影すると、医療機器２０が挿入された領域の形状が不鮮明に表示されてしまう。

さらに、複数種類の医療機器が同時に患者１０の体内に挿入されている場合、ユーザがそれぞれの医療機器を識別することは困難である。

そこで、本実施の形態の画像データ生成処理において、制御部２は、まず撮像データが示す医療機器２０の形状と、メモリ４に格納された医療機器群の各形状情報とを比較して、実際に使用されている医療機器を判定する。さらに、制御部２は、撮像データにおいて、蛍光像を、判定した医療機器の形状情報に置き換えることにより、投影画像の画像データを生成する。これにより、図７Ｂに示すように、投影画像３２によって血管などの患部１０２に挿入された医療機器２０の状態（例えば、形状や種類）を明瞭に表示することができる。また、蛍光像を複数の形状情報と比較することにより、複数種類の医療機器の識別を行うこともできる。

なお、制御部２は、判定した医療機器の形状情報に基づいて、撮像データに基づく医療機器２０の蛍光像の形状を補正し、補正後の画像データを投影用の画像データとして投影部３に入力してもよい。

１−２−１．画像データ生成処理
図８を用いて、図６の画像データ生成処理（ステップＳ１３０）を説明する。図８は、画像データ生成処理を説明するためのフローチャートである。ここでは、図６のステップＳ１２０において、図７Ａに示す蛍光像３１が撮像された後に、画像データ生成処理（ステップＳ１３０）が開始するとする。

図７Ａにおいて、患者１０の血管などの患部１０２に挿入された医療機器２０の蛍光像３１が、患部１０２の表面に映っている。図７Ａに破線で示すように、蛍光像３１の形状は不鮮明である。医療機器２０が挿入された深度によっては、励起された蛍光光線が皮下組織などで拡散してしまい、蛍光像３１の形状が不鮮明になる場合がある。

このような撮像データに対して、まず、制御部２は、ノイズフィルタ処理を行う（ステップＳ２１０）。ノイズフィルタ処理は、ガウシアンフィルタ処理などであり、撮像データの蛍光像に対するノイズを取り除く。

さらに、制御部２は、二値化処理を行い（ステップＳ２２０）、蛍光像のエッジを明瞭化する。二値化処理は、例えば各画素の輝度レベル０〜２５５に対して、所定値以上の輝度レベルを値２５５に書き換える一方、当該所定値未満の輝度レベルを値０に書き換えることで行う。

次に、制御部２は、二値化した蛍光像から、特徴量を抽出する（ステップＳ２３０）。例えば、制御部２は、まず二値化した蛍光像の長手方向を検出して、一定の幅で延在する長手方向の長さを測定することにより、特徴量ａの値を抽出する。さらに、制御部２は、検出した長手方向を基準にして、蛍光像の先端部の特徴量を抽出する。

制御部２は、抽出した特徴量に基づいて、器具の判定処理を行う（ステップＳ２４０）。器具の判定処理は、蛍光像から抽出した特徴量と、メモリ４の特徴量データ４２に格納された特徴量とを比較することにより、蛍光像が示す手術器具の種類を判定する処理である。器具の判定処理の詳細については、後述する。

制御部２は、器具の判定処理（ステップＳ２４０）において判定した手術器具に関する形状情報に基づいて、投影画像のための画像データを生成する（ステップＳ２５０）。

具体的には、制御部２は、蛍光像の特徴量と、各形状情報から抽出した特徴量との比較に基づいて、類似度を算出する。これにより、制御部２は、不鮮明な形状の蛍光像を有する撮像データと、判定した医療機器に関して画像データベース４１に格納された各形状情報との類似度を判定する。そして、制御部２は、メモリ４に格納されている形状情報のうち、類似度が最も高い形状情報を選択して、選択した形状情報が実際に手術に使用されている医療機器の状態を示す画像の形状情報であると判定する。制御部２は、撮像データの蛍光像を、類似度が最も高いと判定した形状情報の画像に置き換えて、投影用の画像データを生成する。

例えば、器具の判定処理（ステップＳ２４０）において蛍光像が示す手術器具が鉗子であると判定された場合、制御部２は蛍光像の形状と、図３に示す鉗子の画像データ５２Ａ〜５２Ｃとを比較して、鉗子の画像データ５２Ａ〜５２Ｃの中で形状が最も蛍光像に近い画像データを選択する。次に、制御部２は、撮像データにおける蛍光像を、選択した画像データの画像に置き換えて、投影用の画像データを生成する。

ここで、制御部２は、撮像データに基づいて、医療機器２０の大きさや向きなどの状態も検出する。例えば、患部１０２に挿入される医療機器２０の蛍光像は、略管状であって先端部に特徴を有することが多いため（図７Ａ参照）、蛍光像の長手方向を、向きの基準として検出してもよい。制御部２は、類似度が最も高いと判定した画像データに対して、検出した大きさや向きに合わせて、拡大または縮小の倍率および回転角度を調整する処理を行う。さらに、制御部２は、撮像データにおいて、患部の表面上の蛍光発光した領域である蛍光像の位置と、投影画像の位置とを合致させる。

制御部２は、投影用の画像データを生成すると、画像データ生成処理を終了する。

図８のステップＳ２４０の器具の判定処理について説明する。器具の判定処理において、制御部２は、メモリ４から特徴量データ４２を読み出して、特徴量データ４２の各手術器具の特徴量と、ステップＳ２３０の処理において抽出した蛍光像の特徴量とを比較することにより、撮像データの手術器具の種類を判定する。以下、図５，９を用いて説明する。

図９は、器具の判定処理の一例を説明するためのフローチャートである。なお、図９の例では、一例として制御部２は、図５の特徴量データ４２に基づいて、撮像データの手術器具が、カテーテルと、鉗子と、メルシーのいずれであるかを判断するとする。

制御部２は、蛍光像とカテーテルを比較するため、蛍光像が先端まで一定の幅で延在しているか否かを判定する（ステップＳ３１０）。この判定は、例えば特徴量ａが所定のしきい値を超えるか否かを判断することで実行される。蛍光像が先端まで一定の幅で延在している場合（ステップＳ３１０でＹＥＳ）、制御部２は、蛍光像の手術器具がカテーテルであると判定する（ステップＳ３１１）。

一方、蛍光像が先端まで一定の幅で延在していない場合（ステップＳ３２０でＹＥＳ）、制御部２は、蛍光像の先端形状の特徴量と、特徴量データ４２におけるカテーテル以外の手術器具の特徴量とを比較する。具体的には、蛍光像の先端が、二股の分岐と類似するか否かを判定する（ステップＳ３２０）。蛍光像の先端が二股の分岐と類似していれば（ステップＳ３２０でＹＥＳ）、制御部２は、手術器具が鉗子であると判定する（ステップＳ３２１）。一方、蛍光像の先端が二股の分岐と類似していなければ（ステップＳ３２０でＮＯ）、制御部２は、手術器具がメルシーであると判定する（ステップＳ３２２）。

制御部２は、蛍光像の手術器具の種類を判定すると、器具の判定処理を終了する。なお、器具の判定処理において判定する手術器具の種類は、上記のカテーテルと、鉗子と、メルシーの組み合わせに限らない。例えば、蛍光像の先端の膨らみに関する特徴量を検出して、蛍光像がバルーンであるか否かを判定してもよい。

器具の判定処理により、あらかじめ特徴量データ４２に格納された特徴量に基づいて、蛍光像が示す手術器具の種類が判定できるので、制御部２の処理量を低減することができる。

以上の画像データ生成処理（ステップＳ１３０）により、図７Ｂに示すように、投影用の画像データに基づく投影画像３２が、投影部３から患部１０２の表面の蛍光発光した領域上に投影される（ステップＳ１４０）。上述の処理を行うことにより、医療機器２０の画像を鮮明に患部１０２上に表示することができる。

なお、本実施の形態では、撮像部１２が可視光と蛍光の両方を検出できる構成としたが、上述の各処理を行う場合、可視光のみを検出する撮像部と、蛍光のみの検出を行う撮像部を別々に備えた構成としてもよい。これにより、医療機器２０の蛍光像と投影部３からの投影画像とを分離して検出することができる。その結果、蛍光像のみとメモリ４に格納された形状情報とを比較して、類似度を判定することができる。したがって、撮像部を別々に設けることで、類似度の判定精度が向上する。

１−３．効果等
以上のように、本実施の形態において、手術支援システム１００は、光源１１と、撮像部１２と、制御部２と、メモリ４と、投影部３とを備える。光源１１は、所定の波長の励起光を照射する。撮像部１２は、励起光が照射された被写体である、術野１０１の医療機器２０を撮像する。制御部２は、撮像部１２が撮像した撮像データに基づいて、投影用の画像データを生成する。メモリ４は、医療機器の画像の形状を示す形状情報を複数有するデータ群を複数格納する。投影部３は、投影用の画像データに基づく投影画像を、術野１０１に投影する。制御部２は、メモリ４に格納された複数の形状情報の中から、撮像部１２により撮像された、励起光に反応して蛍光発光した領域の画像である蛍光像との類似度に基づいて形状情報を選択する。制御部２は、選択した形状情報が示す形状を有する画像が、術野１０１の蛍光発光した領域に投影されるように、投影用の画像データを生成する。

上述の構成により、手術支援システム１００は、患者の体内に挿入された医療機器２０の蛍光像が皮膚等の影響により不鮮明であった場合でも、蛍光像と医療機器群の形状情報とを比較することで、使用されている医療機器２０を判別できる。さらに、手術支援システム１００は、形状情報を用いて生成した投影用の画像データによって、明瞭で正確な位置、大きさ、及び向きの医療機器２０の映像を患部の表面に投影することができる。そのため、医師等が被写体の状態をより正確に認識できる画像を投影することができる。

このように、実施の形態１の手術支援システム１００により、実際の医療機器が挿入された患部上に投影する投影画像において、医療機器の種類や位置などの状態を、ユーザにとってわかり易くすることができる。

（実施の形態２）
以下、図１０〜１５Ｃを用いて、実施の形態２を説明する。実施の形態１では、患者の体内に挿入された医療機器の画像を投影したが、本実施の形態では、患者の病変した患部の画像を投影する。

２−１．構成
２−１−１．手術支援システムの概要
図１０は、実施の形態２にかかる手術支援システムの構成を示す概略図である。手術支援システムは、投影システムの一例である。

本実施の形態の手術支援システムは、術野における患部の蛍光像を撮像し、撮像した画像から患部の蛍光発光した領域を検出し、検出した領域に対応する被写体の領域に可視光で投影画像を投影する。これにより、本手術支援システムのユーザは、患者の患部の位置などを目視で確認することができる。

ここで、患部に投影した投影画像の領域と、術野における蛍光発光した患部の領域とがずれると、患部の位置が誤認されるという問題がある。そこで、本実施の形態の手術支援システムは、患部の蛍光像と、患部に投影された投影画像とを撮像して、その差分を検出して投影画像を補正することで、投影画像のずれを解消する。これにより、ユーザ（医師等）は患者の患部の領域を正しく確認することができる。

以下、実施の形態１に係る手術支援システム１００と同様の構成、動作の説明は適宜、省略して、手術支援システム２００を説明する。

２−１−２．手術支援システムの構成
図１０を用いて、手術支援システム２００の構成を詳細に説明する。

本実施の形態に係る手術支援システム２００は、実施の形態１に係る手術支援システム１００と同様に、撮像装置１と、制御部２と、投影部３とを備えるが、医療機器の形状情報を有するメモリ４を備えていない。

手術を受ける患者１０には、所定の波長の光（励起光）によって励起されると蛍光を発する光感受性物質が、あらかじめ血液やリンパ液等に投与されており、血液やリンパ液の流れが滞っている患部１０３に光感受性物質が蓄積される。光感受性物質は、例えば近赤外光を照射されると励起して蛍光を発する物質であり、例えばインドシアニングリーンである。光感受性物質が蓄積された患部１０３は、光源１１から励起光を照射されることで蛍光発光する。

本実施の形態において、撮像部１２は、術野１０１において、患部１０３の光感受性物質の蛍光発光による蛍光像と、可視光による可視光像とを撮像して、撮像データを生成する。すなわち、撮像データは、蛍光発光した領域の蛍光像だけでなく、可視光による可視光像をも含む画像データである。

２−２．動作
以上のように構成された手術支援システム２００の動作を、以下説明する。

図１１は、手術支援システム２００における投影画像の生成処理を説明するためのフローチャートである。

まず撮像装置１は、光源１１を駆動して、患部１０３を含む術野１０１に励起光を照射する（ステップＳ１１０）。光源１１からの励起光が、患者１０の患部１０３に蓄積された光感受性物質を励起することにより、患部１０３は蛍光発光する。

次に、撮像装置１は、撮像部１２から術野１０１を撮像する（ステップＳ１２０）。このとき、撮像部１２は、患部１０３に蓄積された光感受性物質による蛍光像とともに、術野１０１における可視光像を示す撮像データを生成する。撮像データは、制御部２に出力される。

制御部２は、撮像データに基づいて、投影用の画像データを生成する（ステップＳ１３０Ａ）。本実施の形態においては、制御部２は、撮像データから患部１０３の蛍光像を抽出して、抽出した蛍光像の形状を示す投影画像を可視光で表示するように投影用の画像データを生成する。制御部２は、投影用の画像データを投影部３に出力する。

投影部３は、術野１０１において、患部１０３表面の蛍光発光している領域に、患部１０３の形状を示す投影画像を投影する（ステップＳ１４０）。この投影画像によって、医師等は、術野１０１において患部１０３の位置や形状を明瞭に視認することができる。

さらに、制御部２は、画像データ補正処理を行う（ステップＳ１６０）。画像データ補正処理は、術野１０１に実際に投影された投影画像と蛍光像とを検出して、投影用の画像データを補正する処理である（詳細は後述）。制御部２によって補正された投影用の画像データは、再度、投影部３に出力される。投影部３は、補正された投影用の画像データに基づく投影画像を、術野１０１の患部１０３に投影する（ステップＳ１４０）。

以上の処理は、終了のための操作が行われるまで（ステップＳ１５０）に所定サイクル（例えば１／６０秒）で繰り返し実行される。これにより、例えば１／６０秒に１度撮像された画像が投影されることとなり、ユーザはリアルタイムの映像として患部１０３の位置や形状を視認できる。

２−２−１．画像データ補正処理
以下、画像データ補正処理（ステップＳ１６０）の詳細を説明する。

以上で説明した投影画像の生成処理においては、撮像装置１と投影部３の配置位置が異なることに起因して、実際の患部１０３の位置と、投影部３の投影画像が投影される位置との間にずれが生じることがある。また、患部１０３の表面形状や、患部１０３が移動することによっても、実際の患部１０３の位置と、投影画像が投影される位置との間にずれが生じる。

図１２Ａ〜１２Ｃは、撮像装置１と投影部３とが互いに異なる位置に配置された場合の手術支援システム２００による表示例を示す。図１２Ａ〜１２Ｃに示す例において、撮像装置１は、術野１０１の上方から患部１０３に対向して配置されている。一方、投影部３は、術野１０１に対して傾斜して、患部１０３に向いて配置されている。

図１２Ａ〜１２Ｃの例では、患部１０３の形状は円形であるとする。また、蛍光発光した患部１０３と投影画像３３とが重なった領域３３ａを黒塗りの領域で示す。この場合、撮像装置１は、円形の蛍光像を撮像する。制御部２は、円形の投影画像を示す投影用の画像データを生成する。図１２Ａは、制御部２が投影用の画像データを補正せずに投影部３に出力したときの状態を示す。すると、投影部３が術野１０１に対して傾いて配置されているため、実際に術野１０１に投影される投影画像３３は楕円形の画像となる。そのため、患部１０３と投影画像３３とが、図１２Ａに示すようにずれてしまう。

このような画像のずれを補正するため、本実施の形態の手術支援システム２００は、画像データ補正処理（ステップＳ１６０）を行う。具体的には、制御部２は、患部１０３の蛍光像と、投影画像３３との差分を検出して、差分に応じて投影用の画像データを補正する（図１２Ｃ参照）。例えば、手術支援システム２００は、図１２Ｂに示すように患部１０３と一致した投影画像の領域３３ａを表示したまま、患部１０３からはみ出した領域３３ｂを消去する。そのため、投影画像３３のずれを低減し、患部１０３の領域をより正確に示すことができる。また、検出した差分に応じて投影用の画像データを補正することにより、制御部２の処理量を低減することができる。

画像データ補正処理における補正の考え方を説明する。図１３は、投影用の画像データの補正の考え方を説明した図である。画像データ補正処理において、制御部２は、術野１０１において、蛍光発光している領域（以下、「蛍光発光領域」という。）と、投影画像が投影されている領域（以下、「投影領域」という。）との領域の重なりに基づいて、投影用の画像データを補正する。

制御部２は、蛍光発光領域と投影領域とが重なっている領域に対しては、投影用の画像データを変更せずに維持する（図１３（ａ）上段の左欄）。

また、投影領域と重ならない蛍光発光領域には、投影画像が追加表示されるように、制御部２は投影用の画像データを補正する（図１３（ａ）上段の右欄）。

また、蛍光発光領域と重ならない投影領域には、投影画像が消去されるように、制御部２は投影用の画像データを補正する（図１３（ａ）下段の左欄）。

また、蛍光発光領域でも投影領域でもない領域に対しては、制御部２は、投影用の画像データを変更しない（図１３（ａ）下段の右欄）。

例えば、投影領域と蛍光発光領域とが図１３（ｂ）に示すような状態にあるとき、以上のような処理を行うことによって、投影用の画像データは、図１３（ｃ）に示すように補正前の領域Ｄ３Ａから補正後の領域Ｄ３Ｂに補正される。

図１４は、画像データ補正処理（ステップＳ１６０）を説明するためのフローチャートである。図１４のフローチャートを参照して、画像データ補正処理をより具体的に説明する。以下では、術野１０１において、患部１０３が蛍光発光しているとともに、投影画像が投影されているとする。

まず、撮像装置１は、術野１０１における蛍光像とともに、投影部３からの投影画像を撮像する（ステップＳ４１０）。制御部２は、撮像装置１からの撮像データに基づいて、術野１０１における蛍光発光領域と、投影領域とを検出する（ステップＳ４２０）。具体的には、制御部２は、撮像データにおいて蛍光像と投影画像のそれぞれが占める領域を検出する。

制御部２は、撮像データにおいて、投影領域と重ならない蛍光発光領域があるか否かを判定する（ステップＳ４３０）。投影領域と重ならない蛍光発光領域がある場合（ステップＳ４３０でＹＥＳ）、制御部２は、そのような領域に投影画像を追加表示するように、投影用の画像データを補正する（ステップＳ４４０）。具体的には、制御部２は、撮像データ上の投影領域と重ならない蛍光発光領域に対応する、投影用の画像データ上の領域に、画像を追加する。

次に、制御部２は、蛍光発光領域と重ならない投影領域があるか否かを判定する（ステップＳ４５０）。蛍光発光領域と重ならない投影領域がある場合（ステップＳ４５０でＹＥＳ）、制御部２は、そのような領域の投影画像を消去するように、投影用の画像データを補正する（ステップＳ４６０）。具体的には、撮像データ上の蛍光発光領域と重ならない投影領域に対応する、投影用の画像データ上の領域の投影画像を消去する。

図１２Ａ〜１２Ｃの例を用いて、上述の処理を具体的に説明する。図１２Ａに網掛けで示した領域３３ｂは、患部１０３ではないのに、投影画像３３がずれて表示されている領域である。図１２Ｂは、上述の処理によって補正された後の術野１０１の状態を示す。図１２Ｃは、補正後の投影用の画像データを示す。

上述の処理において、制御部２は、網掛けで示した領域３３ｂを蛍光発光領域と重ならない投影領域として判定し（ステップＳ４５０でＹＥＳ）、網掛けの領域３３ｂを消去するように投影用の画像データＤ３３を補正する（ステップＳ４６０）。具体的には、制御部２は、投影用の画像データＤ３３において、患部の画像における領域３３ｂに対応する領域Ｄ３３ｂの画像を消去する。

また、図１２Ａに示す投影画像３３の黒塗りの領域３３ａは、蛍光発光領域と投影領域が重なっている領域であるため、制御部２は、投影画像の領域３３ａを表示したままで維持する。具体的には、制御部２は、投影用の画像データＤ３３において、患部の画像における領域３３ａに対応する領域Ｄ３３ａの画像を維持する。

上述の処理により、投影用の画像データＤ３３において、補正前には円形であった患部の画像の形状が、領域Ｄ３３ａに示すような楕円状に変更される。そのため、投影用の画像データＤ３３の領域Ｄ３３ａの画像が、術野１０１に対して傾いて配置された投影部３から投影されることで、投影画像の形状が円形となる。

これにより、図１２Ｂに示すように、投影画像３３において、患部１０３からずれた領域に表示されていた領域３３ｂが消去され、患部１０３に一致した領域３３ａのみが維持される。このように、本実施の形態における画像データ補正処理によって、投影画像のずれが解消できる。

なお、本実施形態では、撮像部１２が可視光と蛍光の両方を検出できる構成としたが、上述のような処理を行う場合、可視光のみを検出する撮像部と、蛍光のみの検出を行う撮像部を別々に備えた構成としてもよい。このような構成により、蛍光像と投影像を独立した画像として処理できるため、蛍光発光領域と蛍光発光領域の外部、および、投影領域と投影領域の外部を区別する信号処理を高速、高精度に行うことができる。

以下、患部が時間経過とともに移動した場合における画像データ補正処理の適用例を、図１５Ａ〜１５Ｃを用いて説明する。

図１５Ａ〜１５Ｃに示す例において、撮像装置１と投影部３とは、術野１０１の上方において、隣接して並列に配置されている。図１５Ａは、投影部３からの投影画像３４の位置と患部１０３の位置とが一致して、投影画像３４が投影された状態を示す。

図１５Ｂは、図１５Ａに示す術野１０１の状態から、患部１０３が移動した状態を示す。患部１０３が移動することで、図１５Ｂに示すように移動後の患部１０３’の蛍光発光領域と、投影部３からの投影画像３４の投影領域との間に、ずれが発生する。これに対して、手術支援システム２００の制御部２は、以下のように上述の画像データ補正処理を行う。

まず、図１５Ｂにおいて斜線で示す領域１０３ａは、患部１０３の領域であって、かつ投影画像３４が表示されていない領域である。制御部２は、その領域１０３ａに投影画像の表示を行うように、投影用の画像データを補正する（ステップＳ４４０）。

また、図１５Ｂに網掛けで示す領域３４ａは、蛍光発光していない領域であって、かつ投影画像３４がずれて表示されている領域である。制御部２は、その領域３４ａにおいて投影画像３４の表示を止めるように、投影用の画像データを補正する（ステップＳ４６０）。

また、図１５Ｂに黒塗りで示す領域３４ｂの投影画像は、患部１０３に投影されている。制御部２は、投影用の画像データにおいて領域３４ｂに対応する領域の画像は変更せずに維持する（図１３（ａ）上段の左欄）。

以上の画像データ補正処理を行うことにより、図１５Ｃに示すように、移動後の患部１０３’と投影画像３４’とが一致し、投影部３による表示のずれを解消することができる。

以上のように、患部の蛍光像と投影部３の投影画像の差分を検出することで、患部の表面形状や動きによってずれが生じても、適正な位置に患部の画像を投影することができる。

２−３．効果等
以上のように、本実施の形態において、手術支援システム２００は、光源１１と、撮像部１２と、制御部２と、投影部３とを備える。光源１１は、所定の波長の励起光を照射する。撮像部１２は、励起光が照射された被写体である、術野１０１の患部１０３を撮像する。制御部２は、撮像部１２が撮像した撮像データに基づいて、投影用の画像データを生成する。投影部３は、投影用の画像データに基づく投影画像を、術野１０１に投影する。撮像部１２は、術野１０１上で、励起光に反応した蛍光発光領域の蛍光像とともに、投影画像を撮像する。制御部２は、撮像部１２により撮像された蛍光像と、投影画像との差分に応じて、投影用の画像データを補正する。

上述の構成により、手術支援システム２００は、投影画像のずれを低減し、患部１０３の領域をより正確に示すことができる。そのため、実際の被写体上に投影する被写体の画像において、医師等は正確な被写体の状態をより認識しやすくなる。また、検出した差分に応じて投影用の画像データを補正することにより、補正処理における制御部２の処理量を低減することができる。

また、制御部２は、投影画像が投影されている投影領域とは重ならない、所定の波長の光に反応した蛍光発光領域１０３ａに、投影画像を追加表示するように、投影用の画像データを補正する。また、制御部２は、蛍光発光領域と重ならない投影領域３４ａの投影画像を消去するように、投影用の画像データを補正する。このような処理により、補正処理における制御部２の処理量を低減できる。

本実施の形態において、撮像部１２による被写体は患者１０の患部１０３であったが、被写体は人体に限らず、例えば生物の体内に、所定の光の波長に反応する蛍光物質が投与された患部であってもよい。

なお、実施の形態２においては、撮像装置１と投影部３とが異なる位置に配置される場合、及び手術中に患部１０３が移動する場合に、ずれた投影画像を補正する例を説明した。しかし、本実施形態の画像データ補正処理は、患部１０３の表面形状によって投影画像がずれた場合にも、適用できる。患部の立体的な表面形状によって投影画像が歪み、蛍光発光領域と投影領域がずれる場合、本実施の形態における画像データ補正処理によって、投影画像の歪みを解消することができる。

本実施の形態における投影画像の生成処理におけるステップＳ１３０Ａの処理において、制御部２は、実施の形態１と同様に、術野１０１上で蛍光発光した領域に投影画像の大きさ及び／又は向きに合わせるように、投影用の画像データの拡大または縮小の倍率および回転角度を調整する処理を行ってもよい。また、制御部２は、撮像データの可視光像に基づいて、撮像データにおいて患部の蛍光発光領域の位置と、投影画像の位置とを合致させてもよい。

（実施の形態３）
以下、実施の形態３を説明する。実施の形態２では、患者の患部の画像を投影して、その投影用の画像データを補正したが、本実施の形態では、医療機器の画像を投影して、その投影用の画像データを補正する。

以下、実施の形態１，２に係る手術支援システム１００，２００と同様の構成、動作の説明は適宜、省略して、本実施の形態の手術支援システムを説明する。

本実施の形態の手術支援システムは、実施の形態２の手術支援システム２００と同様に構成される（図１０参照）。本実施の形態の手術支援システムは、実施の形態２と同様の投影画像の生成処理を、撮像装置１による撮像の対象、及び投影部３による投影の対象を医療機器として行う（図１１参照）。

本実施の形態における投影画像の生成処理において、制御部２は、医療機器の蛍光像を抽出して、抽出した蛍光像の形状を示す投影用の画像データを生成する（ステップＳ１３０Ａ）。なお、制御部２は、実施形態１の画像データ生成処理（ステップＳ１３０）と同様の処理によって、投影用の画像データを生成してもよい（図８参照）。この場合、本実施の形態の手術支援システムは、実施の形態１の手術支援システム１００と同様のメモリ４をさらに備える。

以上のように生成した医療機器の形状を示す投影用の画像データに対して、制御部２は、実施の形態２と同様の画像データ補正処理（ステップＳ１６０）を行う。このとき、制御部２は、医療機器の形状を示す投影画像と、医療機器２０の蛍光像との差分を検出し、差分に応じて投影用の画像データを補正する。

これにより、医療機器の形状を示す投影画像の位置と、医療機器によって蛍光発光した領域の位置とのずれが解消され、ユーザは医療機器の位置を、より正確に視認することができる。また、一度生成した投影用の画像データを繰り返し補正することにより、投影用の画像データを新たに生成する頻度を減らして、制御部２の処理量を低減することができる。

（その他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１〜３では、手術などの医療用途を例に挙げて説明したが、本発明はこれには限らない。例えば、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う必要がある場合、本発明を適用することができる。

具体的には、実施の形態１，３の医療機器に代えて、工事現場や採掘現場、建築現場、材料を加工する工場などにおける、目視では状態変化を確認できないような対象物に蛍光材料を塗布し、練りこみ、或いは流し込んで、撮像部１２による撮像の対象である撮像対象物とする。それとともに、上記対象物の形状に関する形状情報を、メモリ４に格納することにより、実施の形態１，３と同様に、本発明を適用することができる。

実施の形態１においては、メモリ４に格納した手術器具の画像データ５１〜５４を例示した。しかし、メモリ４は、手術器具を含む医療機器の画像データを格納してもよい。このとき、医療機器の画像データに関して、実施の形態１と同様に、画像データベース４１および特徴量データ４２を構成してもよい。これにより、手術器具に限らず医療機器の種類を判定することができる。

実施の形態１において、画像データベース４１は、フィラメント５３ｂを除いたメルシーの画像データ５３を有してもよい。これにより、メルシーのフィラメントには蛍光材料を含ませずに手術を行う際、その蛍光像との比較が行い易くなる。たとえば、撮像データの蛍光像と、ループワイヤのらせん状の形状との類似度を比較することにより、蛍光像がメルシーであるか否かの判定を容易に実行できる。また、メルシーのフィラメントにおける蛍光材料の有無にかかわらず、投影画像としてフィラメントのないメルシーの画像データを用いてもよい。このように、各医療機器の部分的な形状の画像データをメモリ４に格納してもよい。

また、メモリ４に格納する形状情報は、例えば、撮像装置１によって予め撮像した画像データであってもよい。これにより、より実際に使用する器具を示す画像データを投影することができる。

実施の形態１において、形状情報は、医療機器の形状を示す画像データであったが、形状情報は、医療機器に限らず、所定の形状を有する物体の画像データであってもよい。ここで、所定の形状を有する物体の画像データは、医療機器などの物体自体の画像データに限らない。形状情報は、当該物体を模式的に表す画像データであってもよく、例えば、当該物体を描いた図や、矢印などのマークであってもよい。

実施の形態１において、制御部２は、撮像データに基づいて、類似度が最も高いと判定した画像データに対して、倍率および回転角度を調整する処理を行った。しかし、投影画像の倍率及び／又は回転角度の調整方法はこれに限らない。例えば、制御部２は、撮像装置１が撮像した術野１０１の可視光像を基準に倍率や角度を調整してもよいし、予め術野１０１付近に蛍光マーカを設置して、この蛍光マーカを基準に倍率や角度を調整してもよい。また、制御部２は、このような基準による倍率及び／又は回転角度の調整を反映して、投影用の画像データを生成してもよいし、投影部３のレンズなどの光学系を制御してもよい。

実施の形態１〜３において、制御部２は、撮像データに基づいて、患部の表面上の蛍光像の位置と、投影画像の位置とが合致するように、投影用の画像データを生成した。しかし、これに限らず、制御部２は、被写体の表面上で蛍光発光した領域の位置と、投影画像の位置とが合致するように、投影位置を変更してもよい。例えば、制御部２は、投影画像の投影位置を変更するように、投影部３を制御してもよい。

実施の形態１〜３において、制御部２は、撮像データにおける医療機器の蛍光像を基準に、患部の表面上の蛍光像の位置と、投影画像の位置とを合致させた。しかし、投影画像の位置合わせの基準は、これに限らない。例えば、撮像装置１が撮像した術野１０１の可視光像を基準にしてもよいし、予め術野１０１付近に蛍光マーカを設置して、この蛍光マーカを基準にしてもよい。

実施の形態１において、１つの医療機器について投影画像を生成し、投影した。しかし、制御部２は、蛍光像を同時に複数の形状情報と比較してもよい。これにより、複数種類の手術器具が同時に患者１０の体内に挿入されている場合、それぞれの医療機器を識別することができる。

実施の形態１の画像データ生成処理において、制御部２は、撮像データの蛍光像を、類似すると判定した画像データの画像に置き換えて、投影用の画像データを生成した。しかし、制御部２は、判定した画像データを参照して、撮像データにおける不鮮明な蛍光像の形状を補正することで、投影用の画像データを生成してもよい。

実施の形態１において、制御部２は、メモリ４に格納される特徴量データ４２を用いて医療機器の種類を判定した。しかし、特徴量データ４２を用いて医療機器の種類を判定せずに、直接、画像データベース４１に格納される複数種類の医療機器の形状情報と、蛍光像との類似度を判定してもよい。このとき、メモリ４に特徴量データ４２を格納しなくてよいので、メモリ４に保持するデータ量を削減できる。また、特徴量データ４２として、医療機器の種類だけでなく、向きや形状の異なる医療機器の特徴量のデータを用いてもよい。これにより、画像データベース４１において、蛍光像の比較対象となる形状情報を、さらに絞り込むことができる。

実施の形態１〜３において、撮像部１２は、可視光、蛍光、および励起光の全ての種類の光を検出できるように構成されたが、少なくとも蛍光が検出できるように構成されればよい。例えば、撮像部１２は、可視光と蛍光のみを検出できるカメラを組み合わせて構成されてもよいし、蛍光のみを検出できるカメラによって構成されてもよい。

実施の形態１〜３においては、光感受性物質としてインドシアニングリーンを例示したが、他の光感受性物質を用いてもよい。例えば、ポルフィリン、ルシフェリン、アカルミネ（登録商標）などを用いてもよい。この場合、光源１１はそれぞれの光感受性物質の励起波長帯における励起光を照射し、撮像部１２はそれぞれの光感受性物質の蛍光発光の波長帯において蛍光像を検出する。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。

本開示における投影システムは、医療用途や、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う際に適用可能である。

１ 撮像装置
１１ 光源
１２ 撮像部
２ 制御部
３ 投影部
４ メモリ
１０ 患者
２０ 医療機器
１００，２００ 手術支援システム

Claims (6)

1. 所定の波長の光を照射する光源と、
   前記所定の波長の光が照射された被写体を撮像する撮像部と、
   前記撮像部が撮像した画像に基づいて、投影用の画像データを生成する制御部と、
   前記投影用の画像データに基づく投影画像を、前記被写体上に投影する投影部とを備え、
   前記撮像部は、前記被写体上で、前記所定の波長の光に反応した領域の画像とともに、前記投影画像を撮像し、
   前記制御部は、前記撮像部により撮像された前記所定の波長の光に反応した領域の画像と前記投影画像との差分に応じて、前記所定の波長の光に反応した領域の画像と前記投影画像とが一致するように、前記投影用の画像データを補正する、
   投影システム。
2. 前記制御部は、
   前記投影画像が投影されている領域とは重ならない、前記所定の波長の光に反応した領域に、前記投影画像を追加表示するように、前記投影用の画像データを補正し、
   前記所定の波長の光に反応した領域とは重ならない、前記投影画像が投影されている領域の前記投影画像を消去するように、前記投影用の画像データを補正する、
   請求項１に記載の投影システム。
3. 前記制御部により生成される投影用の画像データは、前記所定の波長の光に反応した領域を示す画像である
   請求項１または２に記載の投影システム。
4. 所定の形状を有する物体の画像データである形状情報を複数格納する記憶部をさらに備え、
   前記制御部は、
   前記記憶部に格納された複数の形状情報の中から、前記撮像部により撮像された前記所定の波長の光に反応した領域の画像との類似度に基づいて形状情報を選択して、
   前記選択した形状情報が示す形状を有する画像が、前記所定の波長の光に反応した領域に投影されるように、前記投影用の画像データを生成する、
   請求項１または２に記載の投影システム。
5. 前記被写体は、患者の患部、及び医療機器を含む、
   請求項１〜４のいずれか１つに記載の投影システム。
6. 前記被写体は、前記所定の光の波長に反応する蛍光材料が、塗布され、練りこまれ、或いは流し込まれた撮像対象物を含む
   請求項１〜５のいずれか１つに記載の投影システム。

Images