以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施の形態1)
1.手術支援システムの概要
本開示の投影システムの一例として、実施の形態1にかかる手術支援システムの概要を、図1を用いて説明する。図1は、実施の形態1にかかる手術支援システム100の構成を示す概略図である。
手術支援システム100は、手術室等において医師等が患者に対して行う手術を、投影画像を用いて視覚的にサポートするシステムである。手術支援システム100を使用する場合に、手術を受ける患者130には、光感受性物質が血液中などに投与される。
光感受性物質は、励起光に反応して蛍光を発する物質である。実施の形態1では、光感受性物質の一例として、インドシアニングリーン(以下、「ICG」と称する。)を用いた場合を説明する。ICGは、医療承認されており、人体への使用が可能な試薬である。ICGは、波長800nmを中心としてその前後の赤外励起光が照射されることにより、ピーク波長850nmを中心としてその前後の赤外蛍光を発する。ICGは、血液中に投与されると血液やリンパ液の流れが滞っている患部140に蓄積する。そのため、赤外蛍光を発する赤外蛍光領域を検出することにより、患部140の領域を特定することが可能となる。
ここで、患部140の領域が発する赤外蛍光は非可視光であるため、医師等は、術野135を目視しても、直接には患部140の領域を特定できない。そこで、手術支援システム100は、まず、ICGの赤外蛍光を発する領域を検出して、患部140の領域を特定する。そして、手術支援システム100は、特定した患部140の領域が人間に視認可能となるように、特定した患部140の領域に対して可視光を照射する。これにより、特定した患部140の領域を可視化する投影画像が投影され、手術を行う医師等による患部140の領域の特定をサポートすることができる。
2.手術支援システムの構成
以下、手術支援システム100の構成について、図1を用いて説明する。手術支援システム100は、病院の手術室内に配置されて使用される。手術支援システム100は、撮像照射装置200と、制御装置230と、メモリ240と、赤外励起光源250とを備える。また、図示していないが、手術支援システム100は、撮像照射装置200を配置する位置を変更するための機構を備える。その機構は、例えば、撮像照射装置200と機械的に接続された駆動アームや、手術支援システム100の一式を載置する台座のキャスターを備える。
撮像照射装置200は、撮像手段や照射手段を一体的に内包した装置である。撮像照射装置200は、赤外カメラ210と、ダイクロイックミラー211と、投影部220と、TOF(Time−of−Flight)センサ260とを備えている。投影部220は、可視光レーザ222と、MEMS(Micro Electoro Mechanical System)ミラー221とを備える。
制御装置230は、手術支援システム100を構成する各部を統括制御する。制御装置230は、赤外カメラ210、可視光レーザ222、MEMSミラー221、TOFセンサ260、メモリ240、及び赤外励起光源250に電気的に接続され、各部をそれぞれ制御するための制御信号を出力する。制御装置230は、例えばCPUやMPUで構成され、所定のプログラムを実行することによってその機能を実現する。なお、制御装置230の機能は、専用に設計された電子回路や再構成可能な電子回路(ASIC,FPGA等)により実現されてもよい。
メモリ240は、例えばROM(Read Only Memory)やRAM(Random Access Memory)で構成される。メモリ240は、制御装置230が種々の演算を実行する際に、適宜アクセスを行う記憶媒体である。
赤外励起光源250は、少なくともICGの励起波長800nmを中心としてその前後の波長帯成分を含むスペクトルを有する赤外励起光300を照射する光源である。赤外励起光源250は、制御装置230からの制御信号に従って、赤外励起光300の照射のON/OFFを切り替えることができる。なお、図1に示す例では、赤外励起光源250は、撮像照射装置200の外部に配置されているが、これに限定されない。すなわち、赤外励起光源250は、赤外励起光の照射口が適切に設けられれば、撮像照射装置200の内部に配置されてもよい。
次に、撮像照射装置200を構成する各部の構成について説明する。
赤外カメラ210は、赤外領域の受光感度が高い分光感度特性を有するカメラである。本実施形態にかかる手術支援システム100では、ICGからの波長850nmを中心としてその前後の赤外蛍光を検出する必要がある。そのため、少なくとも波長850nmを中心としてその前後の赤外領域の受光感度が高い分光感度特性を有する赤外カメラ210を用いる。なお、ICGからの赤外蛍光以外の光の受光を抑制するために、赤外カメラ210の撮像面の前方に波長850nm付近の波長を有する光のみを通過させるバンドパスフィルターを配置してもよい。赤外蛍光の波長スペクトルは、第1のスペクトルの一例である。赤外カメラ210は、撮像結果を示す撮像画像(赤外画像)を、制御装置230に伝送する。
投影部220において、可視光レーザ222は、可視光を照射するレーザ装置である。可視光レーザ222は、人間が視認できる可視光領域の光であれば、任意の波長のレーザ光源を使用してもよい。可視光レーザ222は、一色のレーザ光源のみにより構成してもよいし、制御装置230からの制御信号に従って、複数の色のレーザ光源を切り替え可能に構成してもよい。可視光レーザ222は、可視レーザ光320を、MEMSミラー221に向けて照射する。
MEMSミラー221は、多数の微小鏡面を平面に配列したミラーであり、例えばデジタルミラーデバイスで構成される。MEMSミラー221において、可視光レーザ222から照射された可視レーザ光320は各微小鏡面に入射する。MEMSミラー221は、微小鏡面の傾斜角度に応じた方向に可視光レーザ222を反射することにより、可視光の投影画像を生成する。
ここで、制御装置230は、MEMSミラー221の各微小鏡面の傾斜角度を、水平方向および垂直方向に制御する。これにより、制御装置230は、可視レーザ光320を垂直方向および水平方向の2次元的に走査して、投影部220に投影画像を生成させることができる。MEMSミラー221の微小鏡面で反射した可視レーザ光320は、ダイクロイックミラー211に到達する。
なお、本実施形態では、投影部220の構成要素としてMEMSミラー221を例示するが、これに限定されない。例えば、ガルバノミラーを用いてもよい。すなわち、水平方向の走査と垂直方向の走査を可能にする光学素子であれば、任意の光学素子を用いることができる。
ダイクロイックミラー211は、赤外カメラ210と、MEMSミラー221とのそれぞれに対向して配置される。ダイクロイックミラー211は、入射した光における特定の波長帯成分(波長850nmを含む)を透過する一方、その他の波長帯成分(可視光成分を含む)を反射する機能を備えた光学素子である。本実施形態においては、図1に示すように、ダイクロイックミラー211の水平方向にMEMSミラー221が配置される一方、ダイクロイックミラー211の鉛直方向上方に赤外カメラ210が配置される。ダイクロイックミラー211は、上記の光学特性により、可視光レーザ222から照射された可視レーザ光320を反射する一方、赤外カメラ210の撮像面に向かう赤外蛍光310を透過する。
また、図1に示すように、ダイクロイックミラー211、投影部220及び赤外カメラ210は、ダイクロイックミラー211で反射された可視レーザ光320の光路と、赤外カメラ210の撮像面に入射する赤外蛍光310の光路とが一致するように位置決めされている。これにより、赤外蛍光310の発する領域(患部140)に対する可視レーザ光320の照射精度を高めることができる。
TOFセンサ260は、赤外検出光330を放射して、対象物で反射した赤外検出光330を受光することにより、対象物までの距離を示す距離情報を検出するセンサである。赤外検出光330の波長スペクトルは、第2のスペクトルの一例である。TOFセンサ260は、波長帯850nm〜950nmの波長の赤外光を、赤外検出光330として用いる。第2のスペクトルは、第1のスペクトルの少なくとも一部と重畳し得る。TOFセンサ260は、赤外検出光330を放射してから対象物で反射した赤外検出光330が受光されるまでの遅延時間と、光の速度とに基づいて、対象物までの距離を測定する。或いは、TOFセンサ260は、照射したときの赤外検出光330の電圧値と、対象物で反射して受光したときの赤外検出光330の電圧値との差に基づいて、対象物までの距離を測定するようにしてもよい。TOFセンサ260は、測定した対象物までの距離に関する距離情報を、制御装置230に伝送する。
また、図1に示すように、手術室内には、手術支援システム100の他に、手術台110、無影灯120などが設置されている。手術台110は、患者130を載置する台である。無影灯120は、手術台110に載った患者130の患部140を照明する照明器具である。無影灯120は、医師の作業領域に影を作らないようにするため、高照度(3万〜10万ルクス)の光を照射する。
手術支援システム100は、手術台110に載った患者130の鉛直方向上方に、撮像照射装置200が位置するように配置される。本実施形態にかかる手術支援システム100では、赤外カメラ210による患部140の領域特定精度を担保するため、赤外カメラ210の光学系から定まる焦点距離に基づいて、使用する高さの許容範囲を規定している。本実施形態では、手術台110に載った患者130の体軸から、撮像照射装置200(TOFセンサ260)までの高さが1000mm±300mmが、使用する高さの許容範囲であることとする。高さの許容範囲について、詳細は後述する。
2.手術支援システムの基本動作
次に、手術支援システム100の基本的な動作である起動動作及び投影動作について説明する。
2−1.手術支援システムの起動動作
まず、手術支援システム100の起動動作について説明する。手術支援システム100において、電源(不図示)がOFFの状態からONの状態へと切替えられると、制御装置230が起動する。起動した制御装置230は、赤外カメラ210、可視光レーザ222、赤外励起光源250、TOFセンサ260など、手術支援システム100を構成する各部の起動動作を実行する。
可視光レーザ222は、起動動作が実行されると、可視レーザ光320の増幅動作を開始する。可視レーザ光320の出力が安定したタイミングで、撮像照射装置200は使用可能な状態となる。
2−2.手術支援システムの基本的な投影動作
次に、手術支援システム100の基本的な投影動作について、図1及び図2A,2Bを用いて説明する。図2A,2Bは、図1の手術支援システム100における術野135の状態を説明した図である。図2Aは、投影動作を行う前の手術支援システム100における術野135の状態を示す。図2Bは、図2Aの術野135に対して投影動作を行った状態を示す。
図2Aに示す状態において、まず、制御装置230は、赤外励起光源250を駆動して、患部140を含む術野135に赤外励起光300を照射する。すると、赤外励起光300が、術野135において患部140に堆積したICGを励起することにより、患部140は赤外蛍光310を発する。
次に、赤外カメラ210は、制御装置230の制御により、術野135の患部140を撮像する。このとき、撮像画像には赤外蛍光310を発光する赤外蛍光領域R310の画像が含まれる。赤外カメラ210は、撮像した撮像画像を制御装置230に伝送する。
制御装置230は、赤外カメラ210から伝送された撮像画像に基づいて、赤外蛍光領域R310を検出する。具体的には、制御装置230は、撮像画像の一頂点からのXY座標を算出することにより、撮像画像における赤外蛍光領域R310の座標を示す情報を取得する。
ここで、メモリ240には、赤外カメラ210からの撮像画像における座標と、MEMSミラー221で投影画像を生成するためのデータにおける座標との対応関係を示す情報が格納されている。制御装置230は、メモリ240に格納された対応関係を示す情報に基づいて、取得した座標に対応する座標に可視レーザ光320の照射を行うように、MEMSミラー221を制御する。なお、投影部220は、可視レーザ光320を走査して照射するように制御される。
上記の可視レーザ光320の照射により、図2Bに示すように、可視レーザ光320による投影画像G320が、術野135において赤外蛍光領域R310に投影される。このように、手術支援システム100において、赤外カメラ210の撮像画像に基づいて赤外蛍光領域R310を検出することで、不可視の赤外蛍光310を発する患部140の領域が特定される。さらに、投影部220によって適切に投影画像G320を投影することにより、術野において直接、視認できない患部140の領域を可視化することができる。なお、投影画像G320は、例えば可視光レーザ222による単色の均一な画像である。
以上の処理は、所定サイクル(例えば1/60秒)で繰り返し実行される。これにより、例えば1/60秒に1度撮像された画像が投影されることとなり、医師等は患部140の位置や形状のリアルタイムの状態を視認できる。
3.手術支援システムにおける投影ズレの調整方法
3−1.投影ズレの調整方法の概要
手術支援システム100は、上述のとおり、視認できないICGの赤外蛍光310を発する患部140を、赤外カメラ210を用いて検出し(図2A参照)、可視レーザ光320による投影画像を投影して、投影画像G320で患部140を可視化する(図2B参照)。ここで、手術支援システム100の使用時に、投影画像G320が患部140の赤外蛍光領域R310からずれて投影されると、術野135において患部140の位置等の誤認を生じてしまう。そのため、手術支援システム100の使用前に、赤外カメラ210の撮像画像に基づいて特定される位置と、投影画像の投影位置との関係を確認し、位置ズレがある場合には手術支援システム100を調整する必要がある。
位置ズレの確認及び調整作業は、手術支援システム100の使用前の様々な場面で行われる。例えば、調整作業は、製造段階において、可視光レーザ222が、赤外カメラ210により特定される領域に対して可視レーザ光320を照射するように、撮像照射装置200内の配置を決定する際に行われる。さらに、撮像照射装置200の組み立て段階でも、可視光レーザ222の照射位置と赤外カメラの撮像位置との間に、僅かながら誤差が発生するので、調整作業が行われる。さらに、組み立て後の外乱や、赤外カメラ210と投影部220との画角の違いなども位置ズレの要因になる。医療用途においては安全性の確保が重要であるため、手術支援システム100を使用する手術の開始前に逐次、位置ズレの確認を行う必要がある。
しかしながら、位置ズレの確認及び調整作業において、赤外カメラ210の撮像動作は非可視光(波長850nmを中心としてその前後の赤外領域)で行われるため、人間の眼で直接、位置ズレを視認できない。そのため、手術支援システム100における投影画像の位置ズレを調整することが簡単に行えないという問題があった。
そこで、本発明者は、簡単にズレ調整を行えるようにするため、手術支援システム100における位置ズレの光調整装置を発案した。光調整装置によれば、赤外カメラ210の撮像対象が簡単に可視化され、投影画像の位置ズレを視認することができる。光調整装置を用いた位置ズレの調整方法により、可視光レーザ222の照射位置と赤外カメラ210の撮像位置とのズレを容易に調整することが可能となった。
以下、光調整装置の構成および、光調整装置を用いたズレ調整方法について、順に説明する。
3−2.ズレ調整システム及び光調整装置の構成
光調整装置の構成について、図3,4A,4Bを用いて説明する。図3は、のズレを調整するズレ調整システム500の構成を示す概略図である。図4A,4Bは、光調整装置400の構成を説明するための図である。図4Aは、光調整装置400の外観を示す斜視図である。図4Bは、光調整装置400の構成を示す分解斜視図である。
ズレ調整システム500は、手術支援システム100と光調整装置(光源装置)400とを備える。ズレ調整システム500は投影システムの一例である。図3において、ズレ調整システム500における手術支援システム100に対する光調整装置400の配置状態を示す。光調整装置400は、図3に示すように、箱状の筐体401の一面に、手術支援システム100の撮像及び投影動作の対象となる投影面402を備えるとともに、筐体401内部に光源を備えた装置である。図4Aに示すように、光調整装置400の投影面402は、筐体401内部から出射するLED(Light Emitting Diode)光340の出射面でもある。図4Bは、光調整装置400の筐体401の内部構造を示す。図4Bに示すように、光調整装置400は、白色LED410と、拡散板420と、開口マスク430と、スクリーン材440と、保護ガラス450とを備える。光調整装置400の筐体401内部では、白色LED410と、拡散板420と、開口マスク430と、スクリーン材440と、保護ガラス450とが順に重ね合わされた構造を有する。
白色LED410は、白色のLED光340を発光する半導体発光素子である。白色LED410が発光する光の波長スペクトルは、可視光領域のみならず、非可視光領域(赤外領域を含む)も含む。本開示では、光調整装置400の光源として白色LED410を用いるが、これに限定されない。白色LED410に代えて、可視光成分および非可視光成分(赤外波長成分を含む)を含むスペクトルを有する光源を用いてもよい。例えば、単色LED等の可視光のみを発光する発光素子と赤外光のみを発光する発光素子との双方を筐体401の内部に配置して、光源を構成してもよい。また、可視光と赤外光とを同軸で出射可能な任意の光源を用いてもよい。
拡散板420は、例えばすりガラス状の粗面を有する樹脂板で構成される。拡散板420は、筐体401内部で白色LED410に対向して配置される。拡散板420は、白色LED410から出射する光の輝度ムラを低減して面発光させる。なお、光調整装置400は、拡散板420を備えなくてもよい。
開口マスク430は、遮光面470内に開口460が設けられた遮光部材である。開口マスク430は、光調整装置400の筐体401内部で、拡散板420を介して白色LED410に対向して配置される。開口460は、白色LED410と対向する所定サイズの孔であって、白色LED410から発光した光は開口460を通過する。遮光面470は、開口460を取り囲み、白色LED410から入射した光を遮光する。開口460のサイズや、開口マスク430における遮光面470上の場所は、測定の目的に応じて決定される。例えば、ズレが2mm以下であるか否かを確認するために、2mm以下のサイズの開口460を開口マスク430に形成する。
スクリーン材440は、光散乱性のシート状部材であり、一方の主面に投影面402を有する。スクリーン材440は、投影面402でない主面を開口マスク430に向けて、開口マスク430に対向して配置される。白色LED410から発光した光の少なくとも可視光成分は、スクリーン材440で散乱する。これにより、図4Aに示すように、白色LED410から発光した光が照射され、出射する領域である基準領域Raの視野角が拡がり、人間が視認し易くできる。白色LED410に照射される基準領域Raは、開口460の設定に応じたサイズで形成され、後述するズレ調整方法において位置ズレを視認するための基準となる。
スクリーン材440の材料は、例えば、紙である。紙の色は任意であり、照射するレーザ光の色に応じて視認が容易となる色(例えば補色)であってもよい。また、スクリーン材440の材料としては、紙に代えて布であってもよい。スクリーン材440の材料は、入射光の少なくとも一部の可視光成分を散乱し、赤外波長成分の散乱率が小さい任意の材料であってもよい。
保護ガラス450は、スクリーン材440をキズから保護するガラス部材である。なお、光調整装置400は、スクリーン材440及び保護ガラス450を備えなくてもよい。
3−3.光調整装置を用いたズレ調整方法
次に、光調整装置400を用いたズレ調整方法について、図3及び図5A〜5Eを用いて説明する。図5A〜5Eは、光調整装置400によるズレ調整を説明するための図である。図5Aは、ズレ調整中の光調整装置400の斜視図である。図5Bは、ズレ未調整時の投影面402の状態の一例を示す。図5Cは、図5Bの例における投影用の画像を示す。図5Dは、図5Cの画像をズレ調整した投影用の画像を示す。図5Eは、ズレ調整後の投影面402の状態の一例を示す。
本調整方法は、例えば、メーカーの調整作業者が、撮像照射装置200或いは手術支援システム100の製造段階における調整作業として行う。この場合、撮像照射装置200或いは手術支援システム100の出荷品は、すでに調整済みの状態である。また、本調整方法は、製造段階ですでに調整済みであっても、実際の手術の直前に、念のための確認作業として行うこともできる。
本調整方法を行う際に、図3に示すように、調整作業者は、光調整装置400を、撮像照射装置200の直下であって、赤外カメラ210の撮像面及び可視レーザ光320の照射口と対向した位置に配置する。このとき、例えば、撮像照射装置200と手術台110との間の距離(高さ)の許容範囲である高さ許容範囲を1000mm±300mmとした場合、撮像照射装置200の下面からの距離が1000mmの位置に光調整装置400が配置される。
光調整装置400を配置した後に、調整作業者は、白色LED410からLED光340を照射する。
LED光340は開口マスク430を介してスクリーン材440に入射し、投影面402における基準領域Raから出射する。スクリーン材440において、LED光340の可視光成分は散乱光を生じる。LED光340の可視光成分の散乱光は、投影面402上で基準領域Raを示す画像(以下、「基準領域画像」Raという)を形成する(図4A,図4B参照)。
白色LED410で発光したLED光340は、赤外領域の波長帯成分を含む。LED光340のうちの赤外領域の波長帯成分は、手術支援システム100のダイクロイックミラー211を透過する。
手術支援システム100は、光調整装置400の投影面402を撮像及び投影の対象として、上述した投影動作を行う。手術支援システム100において、赤外カメラ210は、ダイクロイックミラー211を透過した光を受光して投影面402の画像を撮像する。そのため、赤外カメラ210は、赤外領域の波長帯成分を含んで発光している基準領域Raの画像を撮像する。赤外カメラ210は、撮像画像を制御装置(調整部)230に伝送する。
制御装置230は、赤外カメラ210から伝送された撮像画像に基づいて、例えば撮像画像の一頂点からのXY座標を算出することにより、赤外領域の波長帯で発光している基準領域画像Raの座標を示す情報を取得する。制御装置230は、赤外カメラ210から伝送される撮像画像における座標と、可視レーザ光320を照射する走査座標とを、例えば画像データ上で1対1に対応付けて管理している。制御装置230は、取得した座標に対応する走査座標に可視レーザ光の照射を行うように、MEMSミラー221を制御する。
投影部220は、光調整装置400からの赤外発光に応じて光調整装置400に対して可視レーザ光320を照射することで、図5Aに示すように、投影面402上に投影画像Rbを投影する。その結果、光調整装置400の投影面402上には、撮像照射装置200の撮像対象となる基準領域画像Raと、撮像照射装置200による投影画像Rbとがそれぞれ可視光で映り、調整作業者は、両者を合わせて視認することができる。
ここで、LED光340による基準領域画像Raと、可視レーザ光320による投影画像Rbの投影領域とは本来一致するべきである。しかし、実際には組み立て誤差等により、両者の位置にズレが発生することがある。このような場合に、光調整装置400によると、図5Bに示すように、基準領域画像Raの位置と投影画像Rbの位置との間の位置ズレΔx、Δyを視認できる。
以下、図5Bに示すような位置ズレΔx、Δyに対する調整作業について、説明する。
最初、制御装置230は、ズレ未調整時の可視レーザ光320の照射位置(すなわち、MEMSミラー221の走査位置)を示す情報をメモリ240に記憶する。このとき、制御装置230は、図5Cに示すように、基準領域画像Raの撮像結果に基づく投影画像Rb1が配置された画像Dbを示す映像信号を生成する。この映像信号に基づき可視レーザ光320による投影画像Rbが投影面402に投影されるが、投影画像Rbは、図5Bに示すように基準領域画像Raからずれた位置に投影される。制御装置230は、ズレ未調整時の画像Db上の投影画像Rb1の位置P1をメモリ240に記憶する。この位置(走査位置)P1を、以下では「未調整位置」と呼ぶ。
調整作業者は、投影面402に映し出された基準領域画像Raと投影画像Rbとを目視しながら比較して、両者の位置が一致するように、操作部(不図示)等を用いて制御装置230にシフト量を入力する。具体的には、X軸上やY軸上で投影画像をシフトするための移動量に関する情報を制御装置230に入力する。
制御装置230は、入力された情報に基づいて可視レーザ光320の照射位置(MEMSミラー221による走査位置)を変更するように、投影部220を制御する。例えば、制御装置230は、移動量を示す入力情報に基づいて、図5Dに示すように画像Dbにおける照射位置を、未調整位置P1から入力情報が示す移動量Δxd,Δydだけシフトする。画像上の移動量Δxd,Δydは、投影面402上の実際の位置ズレ量Δx,Δyに対応した値である。このような調整により、図5Eに示すように、調整後の照射位置P2に対応する投影面402上の位置に投影画像Rb2が投影され、基準領域画像Raと一致するようになる。
以上の作業は、例えば、調整作業者が投影面402に映し出された基準領域画像Raと投影画像Rb2とが一致したと判断するまで行われる。
調整作業を完了する際に、制御装置230は、画像Db上の最終的な照射位置P2(すなわち、MEMSミラー221の走査位置)を、メモリ240に記憶する。この照射位置(走査位置)P2を、以下では「調整済位置」と呼ぶ。
制御装置230は、メモリ240に記憶した未調整位置P1と調整済位置P2とに基づいて、ズレ補正量を算出する。具体的には、未調整位置P1と調整済位置P2との差分をズレ補正量として算出する。図5B〜5Eの例では、移動量Δxd,Δydがズレ補正量としてメモリ240に記憶される。
以上のズレ調整を行った後、制御装置230は、可視レーザ光320の照射位置を、メモリ240に記憶されたズレ補正量に基づき補正して、投影画像を投影させる。これにより、投影対象上に精度よく投影画像が投影される。
3−4.光調整装置400の応用例
光調整装置400に映し出された基準領域画像と投影画像とから、位置ズレ量が許容誤差の範囲内であるか否かを確認できる。以下、この許容誤差の確認方法について、図6を用いて説明する。図6は、図3に示す配置で光調整装置400を使用した場合における投影面402の状態の一例を示す。
図6に示す円形の基準領域画像Raの直径Laは、手術支援システム100の仕様による所定の許容誤差と一致するように設定されているとする。直径Laは、開口マスク430の開口460の寸法によって設定される(図4A,図4B参照)。例えば、手術支援システム100の仕様が許容誤差2mmの投影精度を要求する場合、直径Laは2mmに設定される。また、図6に示す一例では、投影画像Rbの投影倍率の誤差はないとする。
図6に示すように、基準領域画像Raと投影画像Rbとが一部で重なる場合、基準領域画像Raと投影画像Rbとの位置ズレΔLは直径La以下となる。そのため、手術支援システム100の投影精度は、許容誤差の範囲内である。一方、基準領域画像Raと投影画像Rbとに重なる部分がない場合、位置ズレΔLは直径Laよりも大きいので、投影精度は許容誤差の範囲外であると判断できる。よって、光調整装置400の使用者は基準領域画像Raと投影画像Rbとの少なくとも一部が重なっているか否かを視認することにより、位置ズレが許容誤差の範囲内か否かを容易に確認することができる。位置ズレが許容誤差の範囲内であることが確認された場合、上述したズレ調整のための制御装置230の操作等を省略してもよい。
また、以上の説明において、基準領域画像Raの形状は円形としたが、基準領域画像Raの形状は特に限定されず、楕円形、三角形や四角形などの多角形、またはその他の形状であってもよい。また、1つの投影面402に複数の基準領域を形成するようにしてもよい。一例として、基準領域画像が四角形の場合におけるズレ調整方法について、図7A〜7Cを用いて説明する。
図7Aは、開口マスク430’の平面図である。図7Bは、開口マスク430’を用いて白色LED410による発光像を投影面402に映した状態を示す。図7Cは、図7Bに示す投影面402に対して、図3に示す配置で手術支援システム100の投影動作を行った状態を示す。
図7Aに示すように、四角形の開口460’を有する開口マスク430’を用いることにより、図7Bに示すように、投影面402において四角形の基準領域画像Ra’が映し出される。この場合、基準領域画像Ra’と投影画像Rb’との向きが異なるか否かを目視で確認できる。例えば、図7Cに示すように、基準領域画像Ra’と投影画像Rb’との一頂点を比較することにより、角度ズレΔθを視認できる。そのため、位置ズレΔx,Δyに対する調整と同様に、角度ズレΔθを視認しながら調整することができる。
3−5.効果等
以上のように、本実施形態において、ズレ調整システム500は、光調整装置400と、赤外カメラ250と、投影部220とを備える。光調整装置400は、基準領域Raを含む投影面402を有し、基準領域Raから非可視光と可視光を含むLED光340を照射する。赤外カメラ250は、非可視光を受光して投影面402を撮像する。投影部220は、赤外カメラ250が撮像した撮像画像に基づいて投影面402に可視光の投影画像Rbを投影する。
これにより、光調整装置400の投影面400に含まれる基準領域RaからLED光が可視光を含んで照射されるとともに、基準領域Raの撮像画像に基づく可視光の投影画像Rbが投影面402に投影される。そのため、投影面402における被写体である基準領域Raとその投影画像Rbとのズレが可視化され、被写体を撮像して投影画像を投影する投影システムにおける被写体とその投影画像とのズレを容易に調整できる。
また、ズレ調整方法は、手術支援システム100において、患部140に投影される投影画像G320を調整するための調整方法である。手術支援システム100は、赤外蛍光310を受光して患部140を撮像する赤外カメラ210と、患部140の撮像画像に基づいて可視光の投影画像G320を生成し、患部140上に投影する投影部220とを有する。ズレ調整方法は、手術支援システム100の撮像及び投影動作の対象となる投影面402における基準領域Raに、可視光成分及び赤外波長成分(波長850nmを含む)を含むスペクトルを有するLED光340を照射するステップを含む。ズレ調整方法は、赤外カメラ210によって、投影面402の基準領域Raを撮像するステップを含む。ズレ調整方法は、投影部220によって、撮像された投影面402の基準領域Raに基づく投影画像Rbを、投影面402に投影するステップを含む。ズレ調整方法は、投影面402において、基準領域Raと投影画像Rbとを比較するステップを含む。ズレ調整方法は、比較結果に基づいて、投影画像Rbの位置を調整するステップを含む。
また、本実施形態において、光調整装置400は、手術支援システム100において、患部140に投影される投影画像G320を調整するための調整装置である。光調整装置400は、白色LED410と、投影面402とを備える。白色LED410は、可視光成分及び赤外波長成分(波長850nmを含む)を含むスペクトルを有するLED光340を照射する。投影面402は、白色LED410から(白色)LED光340を照射される所定の基準領域Raを有し、手術支援システム100の撮像及び投影動作の対象となる。
これにより、実際の手術においてはICGの蛍光である赤外蛍光310を検出した領域に対して可視レーザ光320を照射するが、調整作業時には、光調整装置400の白色LED410に含まれる赤外光をICGの赤外蛍光に見立てて行う。これにより、可視光レーザ222の照射位置と赤外カメラ210の撮像位置とのズレが投影面402上で可視化され、ズレを容易に調整することができる。その結果、赤外カメラ210により検出され特定された患部140の領域に対して可視レーザ光320を的確に照射することが可能となる。
なお、上記の説明において、投影面402はスクリーン材440の主面であったが、これに限らず、例えば、スクリーン材440を備えない光調整装置において、開口マスク430の遮光面470を投影面としてもよい。この場合においても、開口460によってLED光340を出射する基準領域が形成される。
また、上記の説明において、基準領域Raは開口460によって形成されたが、これに限らず、反射鏡やレンズ等を用いてLED光340を導光して投影面402に入射することで、基準領域を形成してもよい。
また、上記の説明において、ズレ補正量に基づく信号処理で投影画像を調整した。しかし、本実施形態に係るズレ調整方法はこれに限らず、例えば、光調整装置400の投影面402を目視しながら、赤外カメラ210や可視光レーザ222等の物理的配置を調整してもよい。
また、上記の説明において、調査作業者が、操作部を操作することにより、基準領域Raと投影画像Rbとの位置合わせを行うようにしたが、これに限定されない。制御装置230が、投影面において基準領域Raと投影画像Rbとを比較し、その比較結果に基づいて、投影画像の位置を調整してもよい。可視光カメラにより投影面402を撮像して、基準領域Raおよび可視光領域Rbの位置を特定して、制御装置230が位置合わせを行うようにしてもよい。例えば、可視光カメラの撮像画像上のドット数を計数して補正量に換算してもよい。制御装置230がこのような処理を所定のプログラムを用いて実行してもよい。
また、上記の説明において、ズレ補正量として、ΔxdおよびΔydをメモリ240に記憶する場合を説明したが、これに限定されない。基準領域Raと投影画像Rbとの位置合わせにおいて、回転角度θを変更したり、投影倍率Zを変更したりした場合には、補正量ΔθdおよびΔZdをメモリ240に記憶してもよい。なお、投影倍率Z及びその補正量ΔZdは、投影画像を投影するためのズームレンズ等の光学系によるズーム値で設定されてもよいし、投影画像の信号処理におけるデジタル値で設定されてもよい。
例えば、補正量Δθdは、図7Aに示す角度ズレΔθに基づいて抽出できる。また、図7Aに示す基準領域Ra’と投影画像Rb’の2頂点間の距離等を比較することにより、補正量ΔZdを抽出できる。さらに、例えば光調整装置400の配置を替えて可視光カメラで撮像し、それぞれ基準領域画像Raと投影画像Rbとを比較することにより、投影画像の歪みを抽出して補正してもよい。
また、上記の説明において、1つの光調整装置400を利用してズレを調整しているが、複数の光調整装置400を用いて行ってもよい。これにより、光調整装置400の配置を替えることなくできるため、調整時間の短縮および調整の精度を向上させることができる。
また、上記の説明において、投影部220が可視光レーザ222を有し、レーザ照射を走査する場合においてズレ調整方法を説明したが、投影画像の投影方式はこれに限らず、他の方式で投影画像を投影する場合においても光調整装置400を用いたズレ調整方法を行うことができる。
4.レーザ走査式プロジェクションによる走査動作
4−1.走査動作の概要
手術支援システム100を用いた手術においては、無影灯120による照明や、医師の頭部に装着される照明など、高照度(3万〜10万ルクス)の照明装置が合わせて利用されることがある。通常のプロジェクタ装置に用いられる光源では、数百ルクス程度と照度が低く、高照度環境下では投影映像が目立たず視認できなくなってしまう。一方、高照度環境に合わせて単純に高い照度の光を投影映像に用いると、高照度の光が患部140の同じ領域に連続して当たり続け、損傷を起こす危険性がある。つまり、無影灯等の高照度環境下で患部等の投影対象に投影映像を投影する場合に、投影対象を損傷する危険性なく投影映像を視認し易くすることが困難であるという問題があった。
そこで、本発明者は、安全性を考慮しながらも、高照度環境下でも視認容易とするため、手術支援システム100において、可視光レーザ222とMEMSミラー221とを構える投影部220を用いたレーザ走査式プロジェクションを採用することを考案した。具体的には、可視光レーザ222により高照度の光を供給可能としながらも、MEMSミラー221により、赤外カメラ210で検出して特定した患部140の領域の内部又は境界のみに対して、可視レーザ光320を走査させる。これにより、安全性を考慮しながらも、高照度環境下でも、投影映像の視認を容易にすることができる。
4−2.走査動作の詳細
以下、可視光レーザ222およびMEMSミラー221による走査動作について、図1、図8A,8Bおよび図9を用いて説明する。図8A,8Bは、ズレ調整前後の赤外蛍光310と可視レーザ光320を説明するための図である。図9は、可視光レーザ222及びMEMSミラー221による走査パターンを説明するための図である。
図1に示すように、患者130を載せた手術台110は、撮像照射装置200の直下であって、赤外カメラ210の撮像面や、可視レーザ光320の照射口と対向した位置に配置される。このとき、赤外カメラ210の焦点距離に基づく許容範囲を、例えば1000mm±300mmとしたとき、撮像照射装置200の下面からの距離が1000mmになる位置に患者130の体軸が位置するように、撮像照射装置200の使用高さ或いは、手術台110の使用高さが調整される。
患者130の血液中にはICGが投与済みであり、ICGは患部140に蓄積されているとする。患者130は、患部140に対してメスを入れる体部を上面にして、手術台110の上に載っている状態で、手術支援システム100の動作を開始する。
まず、制御装置230は、赤外励起光源250を制御して、患者130の患部140付近の術野135に対して、ICGの励起波長800nmを中心としてその前後の赤外励起光300を照射させる。患部140に蓄積されたICGは、赤外励起光300により励起反応を起こし、ピーク波長850nm付近の赤外蛍光310を発光する。患部140に蓄積されたICGから発光した赤外蛍光310の一部は、ダイクロイックミラー211を透過する。赤外カメラ210は、ダイクロイックミラー211を透過した赤外蛍光310を受光して術野135を撮像する。そのため、赤外カメラ210によって撮像された画像には、赤外蛍光310を発光する赤外蛍光領域R310が写り込むことになる。赤外カメラ210は、撮像画像を制御装置230に伝送する。
制御装置230は、赤外カメラ210から伝送された撮像画像に基づいて、赤外蛍光310の発光領域の座標(例えば、撮像画像の一頂点からのXY座標)を特定する。このとき、制御装置230は、メモリ240に記憶されたズレ補正量であるΔx、Δyを読み出す。さらに、制御装置230は、赤外カメラ210から伝送された撮像画像に基づき特定した座標に対して、メモリ240から読み出したズレ補正量の分を補正した補正座標を演算する。制御装置230は、赤外カメラ210から伝送される撮像画像における座標の補正座標に対応する走査座標に予め設定されたレーザ走査パターンで可視レーザ光320を照射するように、MEMSミラー221を制御する。レーザ走査パターンについての詳細は後述する。
図8Aは、ズレ補正量に基づく補正をしなかった場合の、ICGの赤外蛍光310の赤外蛍光領域R310および、可視レーザ光320による投影領域R320’を示す。ズレ補正量の分を補正した補正座標を用いなかった場合には、可視レーザ光320は、ICGの赤外蛍光領域R310からΔx、Δyの分ズレた位置に照射されてしまうことになる。
一方、図8Bは、ズレ補正量に基づく補正をした場合の、ICGの赤外蛍光310の赤外蛍光領域R310および可視レーザ光320による投影領域R320を示す。ズレ補正量の分を補正した補正座標を用いた場合には、可視レーザ光320は、ICGの赤外蛍光領域R310に対して、的確に照射される。
以上のように、補正座標を用いることで、赤外蛍光310を発光する患部140の領域に対して、可視レーザ光320を的確に照射することが可能となる。
続いて、可視光レーザ222およびMEMSミラー221によるレーザ走査パターンについて説明する。図9において、手術支援システム100でレーザ走査パターンとして選択できるラスター走査および、ベクター走査を示す。
ラスター走査は、赤外蛍光310を発光する患部140の領域内部のみに対して、面を塗るようにして、可視レーザ光320の往復照射動作を行う走査パターンである。図9に示すラスター走査では、照度倍率は1倍に設定される。25ルーメンで発振したときにおいて、照射面照度は、照射面積が最大値(100mm四方時)を取るときに約0.25万ルクス、照射面積が最小値(10mm四方時)を取るときに約25万ルクスとなる。
ベクター走査は、赤外蛍光310を発光する患部140の領域の境界のみに対して、線を描くようにして、可視レーザ光320の照射動作を行う走査パターンである。図9に示すベクター走査では、照度倍率は20倍に設定される。25ルーメンで発振したときにおいて、照射面照度は、照射面積が最大値(100mm四方時)を取るときに約5万ルクス、照射面積が最小値(10mm四方時)を取るときに約500万ルクスとなる。
医師は、手術内容等に応じて、操作部(不図示)を操作することにより、ラスター走査による可視光レーザ照射を行うか、ベクター走査による可視光レーザ照射を行うかを切り替え設定することができる。
なお、図9では、走査パターンとして、ラスター走査および、ベクター走査を例示しているが、これに限定されない。例えば、ラスター走査の派生パターンとして、赤外蛍光310を発光する患部140の領域内部のみに対して走査するのであるが、適宜走査の間引きを行ったパターンを採用してもよい。或いは、ラスター走査或いはベクター走査の派生パターンとして、同じ部位に対して連続して複数回の走査を行ってから、他の部位へと照射位置をシフトさせるパターンを採用してもよい。
制御装置230は、投影部220に、設定された走査パターンに基づいて、赤外蛍光310を発光する患部140の領域に可視レーザ光320を照射して、投影映像を投影させる。このとき、制御装置230は、設定された走査パターンに基づいて、可視光レーザ照射を行うようにMEMSミラー221を制御する。制御装置230は、赤外蛍光310を発光する患部140の領域の面内或いは、境界に対する走査が一巡した後も連続して走査動作を継続する。
4−3.効果等
以上のように、本実施の形態において、手術支援システム100は、赤外カメラ210と、投影部220と、制御装置230とを備える。赤外カメラ210は、患部140を撮像する。投影部220は、赤外カメラ210によって撮像された撮像画像に基づいて、可視光の投影画像G320を生成して、患部140に投影する。制御装置230は、赤外カメラ210及び投影部220の動作を制御する。投影部220は、可視光のレーザ光線である可視レーザ光320を照射する可視光レーザ222を備える。制御装置230は、投影画像G320を投影する投影領域R320において、所定の走査パターンで可視レーザ光320を走査するように、投影部220を制御する。
手術支援システム100によると、照射光源として高照度なレーザ光源を用いるため、無影灯120などの他の照明装置による高照度環境下であっても、視認性を高めることができる。更に、所定の走査パターンで特定の領域の内部或いは境界のみに対して走査を行うため、広範な領域に対して照射することに比べて照度を得ることができ、視認性を高めることができる。また、高照度な可視レーザ光320を、同一箇所に照射し続けるのではなく、照射位置を走査させる。これにより、安全性を考慮しながらも、高照度環境下でも視認容易とする手術支援システム100を提供することができる。
走査パターンは、投影領域R320の内部で可視レーザ光320を走査するラスター走査であってもよい。また、走査パターンは、投影領域R320の境界に沿って可視レーザ光320を走査するベクター走査であってもよい。
投影部220は、可視レーザ光320を反射する複数の微小鏡面を有するMEMSミラー221をさらに備えてもよい。制御装置230は、MEMSミラー221の各微小鏡面の傾斜角度を変更して可視レーザ光320を走査するように、投影部220を制御してもよい。これにより、可視レーザ光320の走査における処理量を低減できる。
5.患部の検出に応じた切断補助線の投影動作
5−1.切断補助線の投影動作の概要
医師は、患部140の手術を開始するにあたって、メスを入れる切断位置を判断する必要がある。そのため、医師は、患部140とメスを入れる切断位置との関係を画像解析装置等により確認するという作業をしている。このとき、医師は、患部140に対して一定距離の余裕を見てメスを入れるよう切断位置の計画を立てる。そして、医師は、計画した切断位置を頭に記憶しておいて、手術に臨む。
しかしながら、手術の開始前に計画を立てた切断位置を正確に再現することは容易ではなく、医師に負担がかかっていた。また、手術開始にあたって時間を費やしてしまう原因になっていた。
そこで、発明者は、ICGを蓄積した患部140の領域を表示する可視光の投影画像G320の投影に加えて、メスを入れる切断位置の判断を支援する切断補助線321を投影することを発案するに至った。これにより、手術の開始前に計画を立てた切断位置の再現を支援することができ、医師の負担を軽減することが可能となる。また、手術開始にあたって費やしていた時間を短縮することができる。
5−2.切断補助線の投影動作の詳細
以下、患部140の検出に応じた切断補助線321の投影動作について、図10、図11A,11Bを用いて説明する。図10は、患部140の検出に応じた切断補助線321の投影動作を示すフローチャートである。図11A,11Bは、患部140の検出に応じた切断補助線321の投影動作を説明するための図である。
ここでは、医師が、手術支援システム100でサポートする手術を開始するに先立って、患部140に対して一定距離の余裕(以下、「切断余裕幅」と称する)を見てメスを入れるように切断位置の計画を立てたこととする。そして、医師は、計画した切断余裕幅を、操作部(不図示)を用いて、手術支援システム100に入力したこととする。例えば、計画した切断余裕幅が2センチメートルであれば、医師は、手術支援システム100に、切断余裕幅は2センチメートルであるという切断補助線の条件を示す情報を入力する。手術支援システム100の制御装置230は、入力された情報に基づいて、切断余裕幅をメモリ240に記憶させる。
図10に示すフローは、上記の切断補助線の条件を示す情報がメモリ240に記憶された状態で、手術支援システム100でサポートする手術を開始するときに開始される。
まず、制御装置230は、メモリ240に記憶された切断余裕幅等を読み出して、切断補助線の条件を取得する(S400)。
次に、制御装置230は、赤外カメラ210に、赤外励起光300に反応してICGから発光される赤外蛍光310の蛍光像を撮像させる(S401)。このとき、制御装置230は、赤外カメラ210から伝送される撮像画像から、赤外蛍光を発光している領域の座標を特定する。さらに、制御装置230は、ズレ補正量をメモリ240から読み出し、赤外カメラ210から伝送された撮像画像に基づき特定した座標に対して、ズレ補正量の分を補正した補正座標を演算する。このようにして、制御装置230は、患部140の赤外蛍光領域R310を検出する。
次に、制御装置230は、演算した補正座標に基づいて、可視レーザ光320の照射を開始する(S402)。このとき、制御装置230は、検出した赤外蛍光領域R310と、ステップS400において取得した切断余裕幅とに基づいて、切断補助線321を投影する位置を算出する。そして、制御装置230は、患部140であると特定した領域に対するレーザ走査を行うとともに、患部140であると特定した領域から切断余裕幅だけ離した位置に切断補助線321を照射するようMEMSミラー221を制御する。
また、ステップS402の処理において、制御装置230は、TOFセンサ260が検出している距離情報に基づいて、投影倍率を調整する。切断余裕幅を2センチメートルと設定していた場合には、制御装置230は、患部140であると特定した領域から2センチメートルだけ離した位置に切断補助線321を照射するようMEMSミラー221を制御する。これにより、患部140であると特定した領域の周囲には、患部140であると特定した領域に相似するよう2センチメートルだけ離れた位置に切断補助線321が投影される。切断補助線321の投影について、図11A,11Bを用いてより詳細に説明する。
図11Aは、第1の切断余裕幅W1が設定された場合における、患部140の検出に応じた切断補助線321の投影動作が行われた状態の術野135を示す。図11Bは、第2の切断余裕幅W2が設定された場合における、患部140の検出に応じた切断補助線321の投影動作が行われた状態の術野135を示す。第2の切断余裕幅W2は、第1の切断余裕幅W1とよりも大きい値に設定されたこととする。
図11A,11Bにおいて、可視光の投影画像G320は、撮像画像における赤外蛍光310の検出により、術野135において、赤外蛍光310を発光する患部140の赤外蛍光領域R310に投影されている。制御装置230は、投影画像G320の照射位置に加えて、TOFセンサ260によって検出された距離情報に基づいて、術野135において切断余裕幅W1,W2の間隔をあけて赤外蛍光領域R310を囲むように、切断補助線321を投影する可視レーザ光320の照射位置を設定する。そのため、図11A,11Bに示すように、手術支援システム100は、医師による切断位置の計画(切断余裕幅)に応じて、切断補助線321を照射する位置を変更することができる。
図10に戻り、制御装置230は、S401およびS402の処理を、医師等による操作部からの終了指示がなされるまで繰り返す(S403におけるNo)。終了指示がなされた場合(S403におけるYes)、制御装置230は、可視レーザ光320の照射動作を終了する。
以上の図10に示すフローの説明において、切断補助線321の条件は切断余裕幅W1,W2であった。切断補助線321の条件はこれに限らず、例えば赤外蛍光310の強度分布におけるしきい値であってもよい。この場合、制御装置230は、ステップS402の処理において、赤外カメラ210によって撮像された撮像画像と、切断補助線321の条件として設定されたしきい値に基づいて、撮像画像における強度分布の境界を抽出し、抽出した境界に切断補助線321を投影するように、投影部220を制御する。これにより、例えば、臓器の一部分(たとえば肝臓のクイノー分類の一区域)の摘出のために、摘出予定の部分が蛍光発光するように血流等を制限してICGが投与された場合に、医師等はその臓器の表面上で摘出予定の部分を摘出するための切断位置を視認できる。
また、切断補助線321の条件として、赤外蛍光の強度分布におけるしきい値と、切断余裕幅W1,W2との双方を用いて、撮像画像における強度分布の境界から、切断余裕幅W1,W2だけ間隔を空けた位置に切断補助線321を投影するようにしてもよい。また、赤外蛍光の強度分布の境界に切断補助線321を投影する場合、制御装置230は、特にTOFセンサ260の距離情報を用いずに、赤外カメラ210の撮像画像の画像解析によって照射位置を決定してもよい。
5−3.効果等
以上のように、本実施の形態において、手術支援システム100は、赤外カメラ210と、投影部220と、制御装置230とを備える。赤外カメラ210は、患部140を撮像する。投影部220は、可視光の投影画像G320を生成して、患部140に投影する。制御装置230は、赤外カメラ210によって撮像された撮像画像に基づいて、赤外蛍光310を発光する患部140の赤外蛍光領域R310を検出する。制御装置230は、検出した赤外蛍光領域R310を示す投影画像G320を投影するとともに、検出した赤外蛍光領域R310に対して所定の条件に該当する位置に補助線を示す投影画像である切断補助線321を投影するように、投影部220を制御する。
これにより、手術の開始に先立って医師が入力した切断余裕幅に基づいて、患部140であると特定した領域に対する照射に加えて、切断補助線321を照射することができる。これにより、手術の開始前に計画を立てた切断位置の再現を支援することができ、医師の負担を軽減することが可能となる。また、手術開始にあたって費やしていた時間を短縮することができる。
また、手術支援システム100によると、赤外蛍光310の発光に基づいて検出した患部140の赤外蛍光領域R310に応じて、切断補助線321が投影される。そのため、医師等は、術野135においてリアルタイムの患部140の位置に合致した補助線を視認することができる。
手術支援システム100において、切断補助線321を投影する位置は、撮像画像における赤外蛍光の強度分布に基づいて、強度分布の境界に設定されてもよい。
手術支援システム100において、所定の条件は、検出した赤外蛍光領域R310からの間隔を示す切断余裕幅W1,W2であってもよい。
手術支援システム100は、患部140までの距離を示す距離情報を検出するTOFセンサ260をさらに備えてよい。制御装置230は、TOFセンサ260によって検出された距離情報に基づいて、検出した赤外蛍光領域R310から切断余裕幅W1,W2の間隔をあけた位置に切断補助線321を投影してもよい。
なお、上記の説明では、所定の条件である切断余裕幅が2センチメートルと設定されていた場合に、患部140であると特定された領域に対して一律に2センチメートル離れた位置に切断補助線321を照射するようにしたが、これに限定されない。患部140であると特定された領域に対して切断補助線321を照射すべき位置は、位置に応じて変化させるようにしてもよい。
また、上記の説明において、患部140であると特定した領域に対して可視レーザ光320を照射している間、医師等の操作に応じて、切断補助線321の照射を適宜ON/OFFできるようにしてもよい。OFFした場合には、切断補助線321の照射はなされず、患部140であると特定した領域に対する可視レーザ光320の照射のみが行われることになる。
また、上記の説明では、手術の開始に先立って、切断補助線321の条件(切断余裕幅)を入力するようにしたが、これに限定されない。すなわち、手術中に、医師等の操作に応じて、切断補助線321の条件を変更できるようにしてもよい。
6.患部の周辺への手術補助情報の投影動作
6−1.手術補助情報の投影動作の概要
医師は、患者130のバイタルデータを適宜確認しながら、手術を行う。バイタルデータには、血圧、心拍数(脈拍数)、酸素濃度、心電図などがある。医師は、バイタルデータを確認することで、患者130の容態変化に応じた手術を行うことができる。また、医師は、患者130の検査画像を適宜確認しながら、手術を行う。検査画像には、MRI(Magnetic Resonance Imaging)、CT(Computed Tomography)、X線などによる画像がある。医師は、検査画像を確認することで、患者130の検査結果に応じた手術を行うことができる。また、医師は、必要に応じて、手術手順や、手術における注意事項などを記載したメモを確認しながら、手術を行う。
以上のように、医師は、バイタルデータ、検査画像、手術手順などの手術補助情報を適宜確認しながら、手術を行う。図12Aは、従来における手術の様子を示す図である。手術補助情報は、モニタ142に映し出される。医師141は、モニタ142に映し出される手術補助情報を確認しながら、患者130の手術を行う。このとき、医師141は、モニタ142と患者130とで視線移動させながら手術を行うため、医師141に負担がかかるとともに、確認時間を費やすことになっていた。
そこで、発明者は、患部140であると特定した領域に対する可視光の画像の投影に加えて、患部140の周辺に手術補助情報151を合わせて投影することを発案するに至った。これにより、医師等は、手術中における視線移動を低減させることができる。その結果、医師等の負担を低減し、確認時間を短縮することが可能となる。
6−2.手術補助情報の投影動作の詳細
以下、患部の周辺への手術補助情報の投影について、図12B、図13A,13Bを用いて説明する。図12Bは、患部140の周辺に対する手術補助情報151の投影を説明するための図である。図13A,13Bは、補助スクリーン材150上への手術補助情報151の投影を説明するための図である。
手術支援システム100の制御装置230は、各種のバイタルデータを取得する医療機器(不図示)と通信可能に接続されている。これにより、制御装置230は、通信可能に接続された医療機器から、手術に必要なバイタルデータをリアルタイムに取得する。
また、患者130の検査画像データおよび手術手順等のメモは、医師141による操作部の操作等により、手術を開始する前に予めメモリ240に記憶される。これにより、制御装置230は、手術に必要な検査画像データおよび、手術手順等のメモをメモリ240から読み出して取得する。
図12Bは、本実施形態にかかる手術補助情報151の投影の様子を示す図である。手術を開始するにあたって、医師141等は、図12Bに示すように、患者130の患部140の付近に、手術補助情報151を投影する補助スクリーン材150を配置する。補助スクリーン材150は、投影映像を表示可能な素材であれば、任意の素材を用いてもよい。また、補助スクリーン材150は、患部140の付近に配置できる寸法であれば、任意の形状、サイズのものを用いてもよい。図12Bに示す例では、医師141から見て患部140の右方に補助スクリーン材150を配置しているが、配置位置はこれに限定されない。手術支援システム100を使用する医師等の利き腕や、確認のし易さ、或いは手術内容に応じて、患部140の周辺の任意の場所に配置してもよい。
図13Aは、手術補助情報を投影されていない状態の補助スクリーン材150の上面図である。図13Aに示すように、補助スクリーン材150の上面には、マーカ152が付されている。マーカ152は、補助スクリーン材150上で手術補助情報151を表示する領域を示す基準として、補助スクリーン材150上で位置決めされている。
手術支援システム100の制御装置230には、カメラ(不図示)が接続されており、当該カメラは補助スクリーン材150上に付されたマーカ152を撮像する。当該カメラは、マーカ152の撮像画像を制御装置230に伝送する。当該カメラの撮像画像における撮像領域と、可視光レーザ222による手術補助情報の投影領域とは、予めお互いの座標の対応関係がメモリ240に記憶されている。制御装置230は、メモリ240に記憶された対応関係と、伝送されてきた撮像画像からマーカ152の位置の検出結果とから、手術補助情報151を投影する領域を特定する。そして、制御装置230は、特定した領域に対して手術補助情報151を投影するように、MEMSミラー221を制御する。これにより、図13Bに示すように、補助スクリーン材150の上面には、手術補助情報151を示す投影画像G151が投影される。
手術支援システム100は、補助スクリーン材150への手術補助情報151の投影画像G151を、患部140であると特定した赤外蛍光領域R310に対する投影画像G320(図2B参照)とともに投影する。これにより、医師は、手術中における視線移動を低減させることができる。その結果、医師141の負担を低減し、確認時間を短縮することが可能となり、手術を支援することができる。
なお、上記の説明では、手術補助情報151は、補助スクリーン材150上に投影するようにしたが、これに限定されない。補助スクリーン材150の上ではなく、手術補助情報151を患者130の体表に直接投影してもよい。このとき、患者130の体表にマーカ152を付与するようにしてもよい。
また、上記の説明では、マーカ152を撮像するためのカメラを用いたが、これに限定されず、例えば、赤外カメラ210でマーカ152を撮像してもよい。この場合、例えばマーカ152を、ICGを塗布し、練りこみ、或いは流し込んだ材料で構成する。これにより、赤外カメラ210のみで患部140とマーカ152とを撮像することができる。
また、上記の説明では、マーカ152により手術補助情報151を投影する領域を特定したが、これに限定されない。すなわち、マーカ152を用いずに手術補助情報151を投影する領域を特定してもよい。例えば、患部140に対して可視レーザ光320を照射する位置から、予め医師が設定した距離・方向に離れた位置に手術補助情報151を投影するようにしてもよい。
例えば、医師141から見て、患部140であると特定した領域の最右端から、右方に20センチメートルの位置に投影するように、予め設定されていたとする。このとき、制御装置230は、患部140であると特定した領域に対して、予め設定されている位置に手術補助情報151を投影するようMEMSミラー221を制御する。これにより、医師141にとって確認しやすい任意の場所に手術補助情報151を投影することができる。なお、制御装置230は、TOFセンサ260によって検出される距離情報に基づいて、術野135において手術補助情報151を投影する位置を算出してもよい。
6−3.効果等
以上のように、本実施の形態において、手術支援システム100は、赤外カメラ210と、投影部220と、制御装置230とを備える。赤外カメラ210は、患部104を撮像する。投影部220は、可視光の投影画像G320を生成して、患部140に投影する。制御装置230は、赤外カメラ210によって撮像された撮像画像に基づいて、投影部220の投影動作を制御する。投影部220は、撮像された患部140を示す投影画像G320を投影するとともに、患部104に対する手術に関する情報である手術補助情報151を示す投影画像G151を患部104の近傍に投影するように、投影部220を制御する。
これにより、患部104の近傍に投影画像G151が投影され、医師等が手術補助情報151を確認する際の患部140からの視線移動を減らして、手術中の医師等の負担を軽減することができる。
また、手術支援システム100は、患部140の近傍に配置され、マーカ152を有する補助スクリーン材150をさらに備えてもよい。この場合、制御装置230は、マーカ152の位置を基準として補助スクリーン材150上に投影画像G151を投影する。手術支援システム100は、マーカ152を撮像するカメラをさらに備えてもよいし、赤外カメラ210でマーカ152を撮像するようにしてもよい。
また、手術支援システム100は、手術補助情報151を記憶するメモリ240をさらに備えてもよい。また、制御装置230は、外部機器との通信により、手術補助情報151を取得してもよい。
また、手術支援システム100は、患部140までの距離を示す距離情報を検出するTOFセンサ260などの距離検出部をさらに備えてもよい。制御装置230は、検出された距離情報に基づいて、投影部220に、患部140から所定の距離だけ離れた位置に手術補助情報151を投影させてもよい。また、制御装置230は、検出された距離情報に基づいて、患部140の近傍における略平坦な領域に手術補助情報151を投影させてもよい。距離検出部は、例えば距離画像を距離情報として出力してもよい。
7.撮像照射装置の使用高さの監視
7−1.使用高さの監視動作の概要
図1に示す手術支援システム100においては、手術の開始時等に、例えば赤外カメラ210の焦点距離による高さ許容範囲1000mm±300mmに合わせて、撮像照射装置200の下面から距離1000mmに患者130の体軸が位置するように、撮像照射装置200及び手術台110の使用高さが調整される。しかしながら、手術を行っている間には、手術の内容に応じて患者130の向きを変えたり、施術者の入れ替わりに伴い撮像照射装置200の配置を変えたりするために、撮像照射装置200及び手術台110の使用高さが変更される。
撮像照射装置200の使用高さが1000mm±300mmの範囲を超えたときには、赤外カメラ210による撮像画像のフォーカス精度が保証できない。フォーカス精度が保証できない撮像画像では赤外蛍光310を発光する領域が正確に特定されず、可視レーザ光320の照射位置が保証できなくなってしまう。また、撮像照射装置200の高さ許容範囲は、赤外カメラ210の焦点距離だけでなく、赤外カメラ210と投影部220との画角の違いなどによる場合もある。この場合にも、患部140を撮像する撮像位置が変わることで、患部140に投影する投影画像が不正確になる恐れがあり、手術にあたって安全上の問題が発生する恐れがある。
そこで、本発明者は、撮像照射装置200に距離検出部を設けて、手術中に、撮像照射装置200の使用高さを監視することを発案するに至った。これにより、使用高さの許容範囲内で、手術内容に応じて、患者130の向きを変えたり、手術台の高さを調整したりすることができる。一方、使用高さが許容範囲外になったときには警告を報知することで、医師等の使用者の誤認を回避することができる。また、使用高さが許容範囲外になったときに投影画像を投影させないように制御することで、手術中の安全性を確保することができる。
また、本実施形態では、距離検出部として、波長850nm〜950nmの赤外検出光330を放射するTOFセンサ260を用いる。TOFセンサ260から放射された赤外検出光330は、患者130の体表等で反射した後、TOFセンサ260に戻って受光される。このとき、患者130の体表等で反射した赤外検出光330は、TOFセンサ260のみならず、赤外カメラ210にも到達する。
赤外カメラ210の撮像対象であるICGの赤外蛍光310の波長帯(850nm近傍)と、TOFセンサ260による赤外検出光330の波長帯(850nm〜950nm)とは重なっている。そのため、赤外カメラ210が赤外検出光330を受光すると、受光した光が赤外検出光330であるのにも関わらず、赤外蛍光310であると誤検出されることになる。すると、誤検出した赤外検出光330に基づいて、可視レーザ光320が照射されるという誤動作が生じてしまう。従って、手術支援システム100においては、誤動作を起こさずに患部104等の被写体までの距離を検出することが困難であるという問題があった。
そこで、本発明者は、赤外蛍光310の検出による手術支援を実現しながらも、安全な使用高さを監視するために、TOFセンサ260と、赤外励起光源250や可視光レーザ222とを相反制御することを発案するに至った。
7−2.使用高さの監視動作の詳細
以下、使用高さの監視動作の詳細について説明する。
7−2−1.処理の流れについて
まず、手術支援システム100における使用高さの監視動作における処理の流れについて、図14及び図15A,15Bを用いて説明する。図14は、使用高さの監視動作における処理の流れを示すフローチャートである。図15A,15Bは、使用高さの監視動作を説明するための図である。本フローは、手術支援システム100の制御装置230によって実行される(図1参照)。
図14に示すフローにおいて、まず、TOFセンサ260は、制御装置230の制御により、図15Aに示すように赤外検出光330を放射するとともにその反射波を受光して、患者130までの距離diを検出する(S200)。ステップS200において、TOFセンサ260は赤外検出光330を所定の期間T1だけ放射する(図16参照)。TOFセンサ260は、検出した距離情報を制御装置230に出力する。
次に、制御装置230は、TOFセンサ260からの距離情報に基づいて、検出した距離diが所定の第1の区間r1の範囲内か否かを判断する(S202)。第1の区間r1は、撮像照射装置200と患部140との間の距離の手術支援システム100が正常に動作可能な許容範囲を示す区間である。第1の区間r1は、本実施形態では、d0=1000mmを標準距離として、r1=1000±300mmとしている。
制御装置230は、図15Bに示すように、検出した距離di’が第1の区間r1内にないと判断した場合(S202でNO)、使用高さが異常であることを示す警告を行う(S214)。ステップS214における警告は、例えば、使用高さが「異常状態」である旨を示すメッセージや警告音を、スピーカ(不図示)から発生させて行う。なお、ステップS214においては、図15Bに示すように患部140に対して投影画像は投影されない。
次に、制御装置230は、期間T1経過後にTOFセンサ260を制御して、ステップS200の処理と同様に、患者130までの距離diを検出させる(S216)。
次に、制御装置230は、検出した距離diが所定の第2の区間r2の範囲内か否かを判断する(S218)。第2の区間r2は、手術支援システム100が異常状態から復帰可能な位置にあること示す区間である。第2の区間r2は第1の区間r1よりも短く、例えばr2=1000±200mmである。
制御装置230は、検出した距離diが第2の区間r2内にないと判断した場合(S218でNO)、ステップS216の処理を所定の周期で繰り返し行う。一方、制御装置230は、検出した距離diが第2の区間r2内にあると判断した場合(S218でYES)、ステップS204以降の処理を順次、行う。
制御装置230は、図15Aに示すように、検出した距離diが第1の区間r1内にあると判断した場合(S202でYES)、赤外励起光源250を制御して(図1参照)、術野135に赤外励起光300を照射させる(S204)。
赤外励起光300の照射中に、制御装置230は、赤外カメラ210を制御して、術野135の患部140を撮像させる(S206)。制御装置230は、ステップS206の処理において撮像された撮像画像に基づいて、投影部220に、可視光の投影画像G320を投影させる(S208)。ステップS202,204,206の処理は、上述した手術支援システム100における基本的な投影動作と同様に行われる(図2参照)。
次に、制御装置203は、ステップS204の赤外励起光300の照射を開始してから所定の期間T2が経過したか否かを判断する(S210)。制御装置203は、期間T2が経過するまで、ステップS206,S208の処理を所定周期(例えば1/60秒)で繰り返し実行する(S210でNO)。
制御装置203は、期間T2が経過した後(S210でYES)、赤外励起光源250に赤外励起光300の照射を停止させるとともに、投影部220に投影画像G320を消去させる(投影を停止する)(S212)。ステップS212の処理に続いて、制御装置230は、ステップS200の処理に戻る。
なお、TOFセンサ260は、赤外光を使って距離を検出しているため、距離検出に影響が出ないように、ステップS200に戻る前にステップS212において他の光源を停止させている。ただし、投影部220に関して、赤外光の成分がない光源であれば、距離検出の際に影響が出ないため、ステップS212において、赤外励起光源250に赤外励起光300の照射を停止させるのみとしてもよい。
以上の処理により、ステップS214の処理によって撮像照射装置200が使用高さの許容範囲内にない場合に警告が行われるので、医師等の使用者は撮像照射装置200が使用高さの許容範囲にないことを認識できる。また、ステップS212の処理の後にステップS200の距離検出処理を行い、TOFセンサ260と、投影部220等とを相反制御することにより、手術支援システム100の誤動作を起こすことなく距離検出を行える。
7−2−2.相反制御について
以下、図14〜図16を用いて、撮像照射装置の使用高さの監視における相反制御についての詳細を説明する。図16は、赤外励起光源250、TOFセンサ260および、可視光レーザ222の、高さ判定結果に応じた動作を説明するためのタイミングチャートである。図16の横軸は時間軸を表す。図16において、各チャートのローレベルは消灯状態を示し、ハイレベルは点灯状態を示す。
ここでは、「点灯状態」は、赤外励起光源250、TOFセンサ260および可視光レーザ222のそれぞれの電源のON状態を示す。一方、「消灯状態」は、赤外励起光源250、TOFセンサ260および可視光レーザ222のそれぞれの電源のOFF状態を示す。
手術支援システム100の動作中に、制御装置230は、TOFセンサ260による高さ(距離)判定を周期的に実行する。具体的には、図16に示すように、時間t1〜t2の期間T1、時間t3〜t4の期間T1、時間t5〜t6の期間T1、時間t7〜t8の期間T1、時間t9〜t10の期間T1、…において、図14のステップS200,S202又はステップS216,S218の判定処理を実行する。このとき、TOFセンサ260は、赤外検出光330を放射する点灯状態にある。TOFセンサ260が高さ判定を行う各期間T1中に、制御装置230は、赤外励起光源250および、可視光レーザ222を消灯状態に制御する。すなわち、赤外励起光源250および可視光レーザ222を、TOFセンサ260が点灯状態にあるとき消灯状態にする相反制御が行われる。時間t1〜t2の期間T1、時間t3〜t4の期間T1、時間t5〜t6の期間T1、時間t7−t8の期間T1、時間t9−t10の期間T1は、いずれも、例えば10msec〜100msecという短時間であるため、人間には知覚されにくい。従って、高さ判定期間において相反制御を行ったとしても、可視レーザ光320による投影画像は継続して表示されているように知覚させることができる。
ここで、時間t1〜t2の期間T1において、図15Aに示すように、TOFセンサ260の検出結果が示す距離diが、高さ許容範囲を示す第1の区間r1(=1000mm±300mm)内であるとする。このとき、制御装置230は、図14のステップS202の高さ判定結果として「通常状態」と判断する。すると、制御装置230は、続く時間t2〜t3の期間T2において、赤外励起光源250および可視光レーザ222を共に点灯状態とする。これにより、時間t2〜t3の期間T2において、通常通り投影画像G320を患部104に投影して、手術支援を正常に行うことができる。
次に、時間t3〜t4の期間T1において、図15Bに示すようにTOFセンサ260の検出結果が示す距離di’が、高さ許容範囲r1(=1000mm±300mm)の範囲外であるとする。このとき、制御装置230は、ステップS202の高さ判定結果として「異常状態」と判断する。この場合、投影画像が不正確に投影される恐れがあるので、安全性の観点から手術支援を継続しない方がよいと考えられる。そのため、制御装置230は、続く時間t4〜t5の期間T2になっても、赤外励起光源250および可視光レーザ222を共に消灯状態で維持する。これにより、時間t4〜t5の期間T2において、不正確な恐れがある投影画像が表示されず、安全性を優先して手術支援を停止させることができる。
続く時間t5〜t6の期間T1において、TOFセンサ260の検出結果が示す距離diが、第1の区間r1の一端の距離d1と第2の区間r2の一端の距離d2の間(例えば1250mm)であったとする。この場合には、撮像照射装置200は高さ許容範囲内にはあるが、高さ許容範囲の限界に近いため即座に高さ許容範囲外になる恐れもある。そこで、第1の区間r1よりも短い第2の区間r2でヒステリシス幅を設け、図14のステップS218の判定処理を行う、これにより、距離diが第1の距離d1と距離d2の間にある場合には「異常状態」と判断され、時間t6〜t7の期間T2においても、時間t4〜t5の期間T2と同様の動作を行って安全性確保を確保できる。
次に、時間t7−t8の期間T1において、TOFセンサ260の検出結果が示す距離diが、高さ許容範囲にヒステリシス幅を設けた第2の区間r2(=1000mm±200mm)内になったとする。このとき、制御装置230は、ステップS218の高さ判定結果として「通常状態」と判断する。すると、制御装置230は、続く時間t8〜t9の期間T2において、赤外励起光源250および可視光レーザ222を共に点灯状態とする。これにより、時間t8〜t9の期間T2において、通常通り投影画像G320を患部104に投影して、手術支援を再度行うことができる。
なお、時間t1,t3,t5,t7,t9,…の切替えタイミングにおいて、赤外励起光源250及び可視光レーザ222と、TOFセンサ260とが共に消灯状態になるマージン期間を設けてもよい。これにより、切り替わりタイミングにおいて赤外検出光330が誤検出されることを抑制できる。また、時間t2,t4,t6,t8,t10,…の切替えタイミングにおいても、マージン期間を設けてもよい。
7−3効果等
以上のように、本実施形態において、手術支援システム100は、赤外カメラ210と、投影部220と、TOFセンサ260と、制御装置230とを備える。赤外カメラ210は、患部140を撮像する。投影部220は、患部140の撮像画像に基づき投影画像G320を生成して患部140上に投影する。TOFセンサ260は、患部140までの距離を検出する。制御装置230は、赤外カメラ210及び投影部220の動作を制御する。制御装置230は、TOFセンサ260によって検出された距離が第1の区間r1内にあるか否かを判断する。制御装置230は、TOFセンサ260によって検出された距離が第1の区間r1内にあるとき、投影画像G320を生成して患部140上に投影させる。
以上の手術支援システム100によると、患部140の撮像位置を変えても、TOFセンサ260によって検出された距離が第1の区間r1内にあるときには投影画像G320を生成して患部140上に投影させるので、投影画像G320を投影する際の安全性を確保できる。
また、制御装置230は、TOFセンサ260によって検出された距離が第1の区間r1内にないとき、所定の警告を行う。
これにより、手術支援システム100が、患部140までの距離が第1の区間r1を越えていることを、医師等に気付かせ、手術支援システム100の使用中の安全性を確保できる。そのため、手術支援システム100を、医師等の使用者にとってより使いやすくすることができる。
また、TOFセンサ260によって検出された距離が第1の区間r1内にないとき、所定の警告に替えて、又はこれに加えて、投影画像G320を患部140上に投影させないようにしてもよい。これにより、手術支援システム100において、第1の区間r1を越えたために不正確な可能性がある投影画像G320の投影が停止され、手術中の安全性を向上できる。
また、赤外カメラ210は、第1のスペクトルを有する赤外蛍光310を受光して患部140を撮像してもよい。TOFセンサ260は、第2のスペクトルを有する赤外検出光330を放射して患部140までの距離を検出してもよい。この場合、TOFセンサ260は、第1の期間T1中に赤外検出光330を放射して、第1の期間T1とは異なる第2の期間T2中に赤外検出光330を放射しない。制御装置230は、第1の期間T1中に、投影画像G320を投影させず、第2の期間T2中に、投影画像G320を投影させる。これにより、手術支援システム100における誤動作を起こさずに患部104までの距離を検出することができる。
上記の説明においては、「異常状態」と判定したときに、赤外励起光源250および、可視光レーザ222をともに消灯状態としたが、これに限定されない。赤外励起光源250および、可視光レーザ222のいずれか一方を消灯とすればよい。赤外励起光源250を消灯状態とした場合は、ICG赤外蛍光310が発光されない。そのため、制御装置230は患部140の領域を特定できず、可視光レーザ222が点灯状態であったとしても、可視レーザ光320は照射されない。また、可視光レーザ222を消灯状態とした場合は、そもそも可視レーザ光320は照射されない。
また、上記の「異常状態」と判定したときに、制御装置230は、赤外励起光源250及び可視光レーザ222の制御に替えて、又はこれに加えて、赤外カメラ210が撮像しないように制御してもよい。また、MEMSミラー221が投影画像G320を生成しないように制御してもよい。つまり、制御装置230は、赤外カメラ210の撮像結果に基づく投影画像G320が投影されないように、手術支援システム100の構成要素のいずれを制御してもよい。
また、上記の説明においては、「異常状態」と判定したときに、使用高さが「異常状態」である旨を示すメッセージや警告音をスピーカから発生させる警告動作の例を説明したが、警告動作はこれに限定されない。警告は、患部104等の被写体までの距離が所定区間の範囲内にないことを示す情報を出力する動作であればよい。例えば、「異常状態」と判定したときに、医師等の使用者に「異常状態」であることを報知するようにしてもよい。「異常状態」の報知方法としては、可視光レーザ222を他の波長のものに切り替え、可視レーザ光320の色を変えて照射するようにしてもよい。また、「異常状態」を示すテキストメッセージなどを含む投影画像を投影することで、警告を行ってもよい。
また、上記の説明においては、警告を行う際に、赤外カメラ210の撮像結果に基づく投影画像G320を消去したが、これに限定されない。例えば、警告として、赤外カメラ210の撮像結果に基づく投影画像を用いてもよい。例えば、赤外カメラ210の撮像結果に基づく投影画像の色を変えて投影してもよいし、フラッシングさせて投影してもよい。
また、上記の説明では、TOFセンサ260は赤外蛍光310のスペクトルと重畳するスペクトルの赤外検出光330を用いたが、これに限定されない。例えば、TOFセンサ260は、赤外蛍光310のスペクトルと重畳しない検出光を放射して距離検出を行ってもよい。この場合、例えばTOFセンサ260の発光部に赤外蛍光310のスペクトルを遮断する波長フィルタを設けてもよい。ここで、波長850nm〜950nmの波長帯域は大気の透過率が高く、距離検出を行いやすい。そのため、波長フィルタを用いずに、上述した相反制御を行うことで、距離の検出効率を向上することができる。
また、上記の説明では、TOFセンサ260の距離検出によって使用高さを監視したが、これに限定されない。例えば、撮像照射装置200の向きが変わった場合にも、手術支援システム100が適切に動作できるように、TOFセンサ260の距離検出によって撮像照射装置200と患部104等の被写体との距離を監視してもよい。
また、上記の図16の説明では、赤外励起光源250および可視光レーザ222の状態遷移「点灯状態」「消灯状態」を光源の電源のON状態/OFF状態の切り替えとして説明したが、これに限定されない。「点灯状態」「消灯状態」は、光源の電源がON状態に維持されていたとしても、遮光手段による遮光のON状態/OFF状態の切り替えることにより実現してもよい。
(その他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
実施の形態1では、手術などの医療用途を例に挙げて説明したが、本発明はこれには限らない。例えば、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う必要がある場合、本発明を適用することができる。
具体的には、実施の形態1の医療機器に代えて、工事現場や採掘現場、建築現場、材料を加工する工場などにおける、目視では状態変化を確認できないような対象物に蛍光材料を塗布し、練りこみ、或いは流し込んで、赤外カメラ210による撮像の対象である撮像対象物としてもよい。発光ではなく、発熱箇所を熱センサで検出して、その部分だけ或いは、境界だけを走査するようにしてもよい。
実施の形態1では、レーザ光源を用いる場合を説明したが、切断補助線の投影や、手術補助情報の投影については、これに限定されない。すなわち、切断補助線の投影や、手術補助情報の投影については、レーザ光源以外の光源による投影を行ってもよい。
実施の形態1において、切断補助線の投影や、手術補助情報の投影は、患部であると特定した領域に対する投影の光源と同じ可視光レーザ222を用いる場合で説明したが、これに限定されない。切断補助線の投影や、手術補助情報の投影は、患部であると特定した領域に対する投影とは別の光源による投影を行ってもよい。但し、患部であると特定した領域に対する投影に対応した投影を行うよう制御することは言うまでもない。
実施の形態1において、距離検出部としてTOFセンサ260を用いたが、これに限定されない。例えば、ランダムドットパターンのように、既知のパターンを有する赤外検出光を放射して、その反射波のパターンのズレに基づいて距離を測定するセンサであってもよい。この場合、距離検出部は、二次元的な領域内の各ドットにおける距離を表す距離画像として距離情報を検出することができる。
また、実施の形態1において、可視光レーザ222による単色の均一な画像の投影画像G320を例示した。投影部が投影する投影画像はこれに限らず、濃淡のある投影画像やフルカラーの投影画像を投影してもよいし、任意の画像を投影してもよい。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。