以下、本発明を具体化した実施形態を図面に基づいて説明する。
図1~図14を参照して、一実施形態による治療支援装置100の構成について説明する。
(治療支援装置の構成)
治療支援装置100は、図1に示すように、蛍光撮像装置10と、画像処理部20とを備える。治療支援装置100は、患者である被写体1の治療の際に、蛍光撮像装置10により治療対象部位2を撮像するとともに、画像処理部20によって処理した画像を表示部30に表示させることによって、治療の支援を行う装置である。
治療支援装置100による治療支援は、具体的には、被写体1の体内に投与された蛍光剤3から生じる蛍光92を撮像して可視化(画像化)した画像を表示部30に表示することにより、外部から直接視認できない治療対象部位2の情報を医師などに提供することである。
被写体1(患者)は、たとえば、ヒトであるが、特に限定されない。治療対象部位2は、たとえば、胸部、腹部、背中、体内の臓器(たとえば消化管、肝臓、副腎など)などであるが、特に限定されない。
蛍光撮像装置10は、励起光91を照射することにより被写体1に投与された蛍光剤3から発せられる蛍光92を検出し、蛍光92に基づいて被写体1の治療対象部位2を可視化(画像化)する装置である。
画像処理部20は、蛍光撮像装置10により撮像された蛍光画像を画像処理して、後述する蛍光剤拡散画像85を生成する。画像処理部20は、表示部30に画像出力を行うように構成されている。画像処理部20は、画像データから蛍光剤拡散画像85を生成する情報処理を行うためのプロセッサ21および記憶部を備えたコンピュータにより構成されている。プロセッサ21は蛍光画像の画像処理を行う。画像処理部20は、たとえばPC(Personal Computer)である。
画像処理部20は、たとえば蛍光撮像装置10と電気的に接続され、蛍光撮像装置10から画像を取得する。画像処理部20は、たとえば表示部30と電気的に接続され、表示部30に画像を出力する。これらの機器間の接続は、有線および無線のいずれでもよい。
表示部30は、画像処理部20から出力される治療対象部位2の画像を表示するように構成されている。画像処理部20は、たとえば、液晶ディスプレイなどのモニタである。画像処理部20は、たとえば、被写体1の治療が行われる手術室等に備え付けられたモニタである。表示部30は、たとえば、画像処理部20または蛍光撮像装置10が備えるモニタであってもよい。
(蛍光撮像装置の構成)
図1および図2に示すように、蛍光撮像装置10は、撮像部11と、アーム機構12と、本体部13とを備える。
蛍光撮像装置10は、被写体1から離隔した位置に配置される撮像部11により、治療対象部位2を被写体1の外部から撮像する。アーム機構12(図2参照)は、本体部13に接続された第1端と、撮像部11に接続された第2端とを有し、可動範囲内で撮像部11を任意の位置および向きに保持可能に構成されている。
撮像部11は、少なくとも、励起光91により励起された蛍光92を検出して被写体1の蛍光画像81を撮像する蛍光撮像部111を含む。本実施形態では、撮像部11は、蛍光92に基づく蛍光画像81に加えて、可視光93に基づく可視光画像82を撮像するように構成されている。すなわち、撮像部11は、被写体1から反射した可視光93を検出して、被写体1の可視光画像82を撮像する可視光撮像部112を含む。
撮像部11は、動画像として、蛍光画像81および可視光画像82を撮像するように構成されている。撮像部11は、所定のフレームレートで、蛍光画像81および可視光画像82を時系列に沿って生成する。生成される個々の蛍光画像81や可視光画像82は、動画像の各フレームを構成するフレーム画像である。フレームレートは、たとえば、1fps(frames per second)以上であり、15fps以上が好ましく、より好ましくは30fps以上である。フレームレートは、たとえば、60fpsに設定されており、ユーザによる設定に応じて変更可能である。なお、蛍光撮像部111および可視光撮像部112は、被写体1の血流の脈動周期よりも短い時間間隔で蛍光画像81を生成するように構成されている。一般に、ヒトの心拍数は、成人で60~75回/分程度であり、換算すると1回/秒程度である。30fpsや60fpsは、被写体1の血流の脈動周期よりも十分に短い時間間隔となる。
(撮像部)
撮像部11は、より具体的には、受光部11aと、光学系11bと、撮像光源部11cとを備える。
受光部11aは、上記した蛍光撮像部111と可視光撮像部112とを含む。可視光撮像部112は、可視光93を検出するように構成されている。蛍光撮像部111は、蛍光92を検出するように構成されている。可視光撮像部112および蛍光撮像部111は、たとえば、CMOS(Complementary Netal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサなどのイメージセンサを含む。なお、可視光撮像部112は、可視光画像82をカラー画像として取得可能なものが使用される。
光学系11bは、ズームレンズ113と、プリズム114とを含む。光学系11bは、被写体1から反射された可視光93と、蛍光剤3から発せられる蛍光92との分離を行うように構成されている。光学系11bの詳しい構成は後述する。
撮像光源部11cは、被写体1に投与される蛍光剤3の励起光91を照射する励起光照射部115を含む。励起光照射部115は、励起光91を発生する励起光源116(図3参照)を有する。励起光照射部115は、蛍光剤3の光吸収特性に応じて、適した波長の励起光91を照射する。
一例として、蛍光剤3はインドシアニングリーン(ICG)である。ICGは、約750nm以上約800nm未満の波長領域に吸収ピークを有する。ICGは、励起されることにより、約800nm以上約850nm未満の波長領域にピークを有する蛍光92を発する。励起光照射部115は、たとえば約750nmにピークを有する励起光91を照射する。
また、撮像光源部11cは、可視波長領域の可視光93を照射する可視光照射部117を含む。可視光照射部117は、可視光93を発生する可視光源118(図3参照)を有する。励起光照射部115は、可視光93として、たとえば、白色光を被写体1に向けて照射する。白色光は、可視波長領域の略全体に亘る波長成分を含んでいる。励起光照射部115が照射する可視光93は、可視波長領域に発光強度のピークを有する。
なお、患者の治療が行われる手術室等には、無影灯などの可視光波長の照明設備が設置されている。照明設備が発生する光を可視光93として利用しうるため、撮像光源部11cは、可視光照射部117を備えていなくてもよい。
図3に示すように、撮像光源部11cは、撮像部11の端面において、光学系11bを取り囲むように環状に設けられている。図3の例では、合計12個の励起光源116、可視光源118が円環状に配列されている。これらの励起光源116および可視光源118は、たとえば発光ダイオード(LED)である。励起光源116および可視光源118は、半導体レーザなどのレーザ光源でもよい。
図4に示すように、蛍光撮像部111および可視光撮像部112は、共通の光学系11bを介して、蛍光92および可視光93をそれぞれ検出するように構成されている。そのため、撮像部11は、同じ撮像位置および同じ撮像視野で、蛍光画像81と可視光画像82とを取得する。
具体的には、蛍光92および可視光93は、光軸94に沿ってズームレンズ113に入射する。ズームレンズ113は、フォーカスを合わせるために、図示しないレンズ移動機構によって光軸94に沿った方向に移動される。撮像部11は、ズームレンズ113による可変範囲内の任意の倍率で、蛍光画像81および可視光画像82を取得可能である。
蛍光92および可視光93は、ズームレンズ113を透過した後、プリズム114に到達する。プリズム114は、被写体1から反射された可視光93と、蛍光剤3から発せられる蛍光92とを分離するように構成されている。
プリズム114に到達した蛍光92は、プリズム114を透過して蛍光撮像部111に到達する。プリズム114に到達した可視光93は、プリズム114により反射され、可視光撮像部112に到達する。なお、被写体1からの励起光91の反射光は、プリズム114により反射される。そのため、被写体1からの励起光91の反射光が蛍光撮像部111に到達されることが回避される。
(アーム機構)
図2に示すように、アーム機構12は、撮像部11を並進移動可能に支持する並進支持部121と、撮像部11を回動可能に支持する回動支持部122と、を含む。
並進支持部121は、回動支持部122を介して撮像部11を支持し、撮像部11の位置を保持するとともに、撮像部11を前後、左右、上下の各方向に並進移動させることが可能なように構成されている。回動支持部122は、撮像部11を左右および上下の各方向に回動させることが可能なように構成されている。
(本体部)
本体部13は、図2に示すように、筐体131と、筐体131に収容されたコンピュータとを備えている。筐体131は、たとえば、コンピュータを収容する箱状形状を有し、車輪により移動可能に構成された台車である。図1に示すように、本体部13は、制御部132と、画像生成部133と、本体記憶部134と、出力部135と、を含む。
制御部132は、たとえば、CPU(Central Processing Unit)などのプロセッサとメモリとを備えたコンピュータによって構成されている。コンピュータは、プロセッサがメモリに格納されたプログラムを実行することにより、蛍光撮像装置10の制御部132として機能する。制御部132は、撮像部11の制御(撮像の開始および停止など)、撮像光源部11cからの光(励起光91、可視光93)の照射、照射の停止などの制御を、図示しない操作部への入力操作に基づいて制御するように構成されている。
画像生成部133は、撮像部11(蛍光撮像部111および可視光撮像部112)の検出信号から、撮像部11により撮像された蛍光画像81(図4参照)の画像データ、可視光画像82(図4参照)の画像データをそれぞれ生成するように構成されている。画像生成部133は、たとえば、GPU(Graphics Processing Unit)、または画像処理用に構成されたFPGA(Field-Programmable Gate Array)などのプロセッサと、メモリとを含む。
また、本体記憶部134は、画像生成部133により生成された撮像画像や制御用のプログラムなどを記憶するように構成されている。本体記憶部134は、たとえば、不揮発性のメモリやHDD(Hard Disk Drive)などを含む。
出力部135は、画像生成部133により生成された撮像画像を含む映像信号を画像処理部20に出力するように構成されている。出力部135は、HDMI(登録商標)など映像出力インターフェースや、その他の外部機器接続用のインターフェースである。出力部135は、有線または無線により、撮像画像を出力可能に画像処理部20と接続される。
このような構成により、蛍光撮像装置10は、被写体1の蛍光画像81および可視光画像82を取得し、取得した蛍光画像81および可視光画像82を画像処理部20に出力する。蛍光撮像装置10は、動画像形式で画像処理部20に画像出力を行う。蛍光画像81および可視光画像82は、それぞれ動画像を構成するフレーム画像(静止画像)として、設定されたフレームレートに従って時系列で順次出力される。つまり、一定時間間隔で、蛍光画像81および可視光画像82が各1枚ずつ画像処理部20に出力される。
(画像処理部)
図5に示すように、画像処理部20は、プロセッサ21と、記憶部22と、入出力部23とを含んでいる。本実施形態では、プロセッサ21は、複数の時点で生成される蛍光画像81と、生成時点以前の蛍光画像81とを比較することにより、各時点において蛍光92が初めて検出された蛍光画像81中の領域(以下、蛍光開始領域84という)を検出するとともに、各時点における蛍光開始領域84を異なる態様で重畳することにより蛍光剤拡散画像85を生成し、生成した蛍光剤拡散画像85を表示部30に表示させるように構成されている。なお、蛍光開始領域84は、請求の範囲の「蛍光が初めて検出された蛍光画像中の領域」の一例である。以下、画像処理部20の構成について説明する。
プロセッサ21は、たとえばCPU、GPUまたは画像処理用に構成されたFPGAなどにより構成される。
記憶部22は、揮発性および/または不揮発性のメモリ、HDDなどの記憶装置を含む。記憶部22は、プロセッサ21が実行するプログラムを記憶する。記憶部22は、蛍光撮像装置10から得られた画像データ、画像処理部20において生成される蛍光剤拡散画像85などの各種画像データを記憶する。
入出力部23は、蛍光撮像装置10により生成された蛍光画像81および可視光画像82を含む映像信号の入力を受け付ける。入出力部23は、画像処理部20から表示部30に対する画像出力を行う。入出力部23は、HDMI(登録商標)など映像出力インターフェースや、その他の外部機器接続用のインターフェースである。入出力部23は、有線または無線により、蛍光撮像装置10(出力部135)および表示部30とそれぞれ接続されている。
また、画像処理部20は、可視光画像取得部211と、蛍光画像取得部212と、領域抽出部213と、脈動周期取得部214と、拡散画像生成部215と、画像合成部216とを、機能ブロックとして含んでいる。機能ブロックは、画像処理部20が備えるプロセッサ21が、プログラムを実行することによって実現される情報処理の機能のまとまりを意味する。これらの各機能ブロックは、それぞれ別個のハードウェア(プロセッサ)により構成されていてもよい。
〈可視光画像取得部〉
可視光画像取得部211(プロセッサ21)は、入出力部23を介して、蛍光撮像装置10の可視光撮像部112により撮像された可視光画像82を取得する。可視光画像取得部211は、取得した可視光画像82を画像合成部216に出力する。
〈蛍光画像取得部〉
蛍光画像取得部212(プロセッサ21)は、入出力部23を介して、蛍光撮像装置10の蛍光撮像部111により撮像された蛍光画像81を取得する。蛍光画像取得部212は、取得した蛍光画像81を領域抽出部213に出力する。
なお、蛍光画像81の撮影に際して、被写体1に対する撮像視野は一定で移動しないものとする。時系列で順次取得される個々の蛍光画像81は、フレーム番号によって特定される。蛍光画像81のフレーム番号は、撮影時点を表す。それぞれのフレーム番号の蛍光画像81は、被写体1の同一位置の画像であって、撮影時点の異なる画像である。本明細書において、各時点の蛍光画像81は、各フレーム番号の蛍光画像81と言い換えうる。
〈領域抽出部〉
領域抽出部213(プロセッサ21)は、蛍光撮像部111により時系列に生成される蛍光画像81において、蛍光開始領域84を抽出する。領域抽出部213(プロセッサ21)は、複数の時点で生成される蛍光画像81と、生成時点以前の蛍光画像81とを比較することにより、蛍光開始領域84を検出する。
図6に示すように、蛍光開始領域84は、撮像開始後の各時点で生成された蛍光画像81中において初めて蛍光92が検出された領域である。蛍光開始領域84は、たとえば、蛍光画像81に含まれる個々の画素である。つまり、領域抽出部213は、蛍光画像81中の蛍光開始領域84を1画素単位で抽出する。領域抽出部213は、複数画素のまとまりを蛍光開始領域84として抽出してもよい。
蛍光画像81は、蛍光剤3から発生した蛍光92を検出して画像化したものであり、蛍光画像81の画素値は、蛍光強度を表す。被写体1に蛍光剤3が投与されると、蛍光剤3は、血流によって、時間の経過に伴って拡散していく。蛍光画像81中のある位置を蛍光剤3が通過する際、その位置では、蛍光92が検出されていない状態(画素値がバックグラウンドレベルにある状態)の低い画素値から、蛍光92の検出により画素値が立ち上がる。その後蛍光剤3が流れ去ることによって画素値が立ち下がり、蛍光92が検出されていない状態に戻る。蛍光開始領域84は、画素値の時間変化において、画素値の立ち上がりが最初に検出された領域である。図6では、便宜的に、蛍光画像81のうち、画素値がある値よりも高い領域にハッチングを付し、画素値がある値以下の領域を無地で示している。また、個々の蛍光画像81から抽出される蛍光開始領域84にハッチングを付して示している。
蛍光画像81において抽出される蛍光開始領域84は、撮影開始後に初めて蛍光92が検出される領域であるため、同じ蛍光開始領域84が複数回抽出されることがない。
たとえば、あるフレーム番号(M1)の蛍光画像81で蛍光開始領域84aが抽出されるとする。次のフレーム番号(M2)の蛍光画像81では、蛍光剤3の拡散を反映して、フレーム番号(M1)の蛍光開始領域84aに隣接する周囲の領域で、蛍光開始領域84bが抽出される。蛍光開始領域84bは、フレーム番号(M1)の蛍光開始領域84aを含まない。さらに、次のフレーム番号(M3)の蛍光画像81では、フレーム番号(M2)の蛍光開始領域84bに隣接する周囲の領域で、蛍光開始領域84cが抽出される。
蛍光画像81中における蛍光開始領域84の抽出方法は、特に限定されないが、ここでは、図7~図9に示す3つの例を説明する。図7~図9は、蛍光画像81中のある1つの画素における時間強度曲線(time intensity curve:TIC)71を示したグラフである。グラフは、縦軸が画素値(すなわち、蛍光強度)を示し、横軸がフレーム番号(すなわち、経過時間)を示す。
第1の例では、図7に示すように、プロセッサ21(領域抽出部213)は、蛍光画像81の各画素のうち、画素値が所定の閾値72を超えたことに基づき、蛍光開始領域84を抽出する。領域抽出部213は、画素値が閾値72を越えた画素を、蛍光開始領域84として抽出する。閾値72は、画素値の立ち上がりよりも前の時点(領域71a)における画素値(バックグラウンドレベル)よりも高い所定値とされる。
第2の例では、図8に示すように、プロセッサ21(領域抽出部213)は、蛍光画像81の各画素の時間強度曲線71の傾きが、所定の閾値73を超えたことに基づき、蛍光開始領域84を抽出する。領域抽出部213は、時間強度曲線71の傾きが閾値73を越えた画素を、蛍光開始領域84として抽出する。便宜上、図8では模式的に図示しているが、時間強度曲線71の傾きは、たとえば隣接する2つのフレーム間の画素値の差分値(変化量)である。閾値73は、領域71aにおける傾きよりも大きい所定値とされる。
第3の例では、図9に示すように、プロセッサ21(領域抽出部213)は、蛍光画像81の各画素の時間強度曲線71の面積値が、所定の閾値74を超えたことに基づき、蛍光開始領域84を抽出する。領域抽出部213は、時間強度曲線71の面積値が閾値74を越えた画素を、蛍光開始領域84として抽出する。時間強度曲線71の面積値は、たとえば各フレームにおける、バックグラウンドレベルを超える画素値の積算値である。時間強度曲線71の面積値に代えて、時間強度曲線71の平均値(面積値をフレーム数で除算した値)としてもよい。
このように、プロセッサ21(領域抽出部213)は、時系列で取得される蛍光画像81のうち、どのフレーム番号(どの時点)の蛍光画像81で蛍光開始領域84が抽出されたかによって、蛍光92が初めて検出された位置および時点を特定することが可能である。いずれかのフレーム番号の蛍光画像81において抽出された蛍光開始領域84は、以降のフレーム番号の蛍光画像81で再度抽出されることはない。領域抽出部213は、抽出した蛍光開始領域84を特定する情報を拡散画像生成部215に出力する。
〈脈動周期取得部〉
図5に示すように、脈動周期取得部214は、被写体1の血流の脈動周期60を取得する。本実施形態では、プロセッサ21(脈動周期取得部214)は、蛍光開始領域84の数を、生成された蛍光画像81毎に積算し、時系列に生成される蛍光画像81毎の蛍光開始領域84の数に基づき、脈動周期60を検出するように構成されている。蛍光開始領域84が1画素単位で抽出される構成においては、蛍光画像81毎に積算される蛍光開始領域84の数は、1つの蛍光画像81内で蛍光開始領域84として抽出された画素の総数である。
ここで、蛍光剤3は、被写体1の血流によって運ばれて、動脈から、より細い血管へと分岐して、毛細血管および体組織内に拡散し、その後、毛細血管を介して静脈へと流れる。このように血液が体組織へと浸透するように流れることを灌流という。血液に含まれる蛍光剤3は、灌流によって撮影視野に含まれる体組織内を拡散する。灌流は、心臓の拍動に起因する血液の脈動によって生じるため、蛍光剤3の拡散も脈動に応じて周期的に変化する。図10において、心電計により検出される心拍の波形75と、脈波計により検出される脈拍の波形76とを示す。波形75および波形76のいずれも、横軸が時間を示し、縦軸が信号強度を示す。波形75におけるピークにおいて、心臓の収縮期血圧のピークが到来し、血圧ピークの伝搬の時間差によって、波形76におけるピークが時間差を伴って形成される。
このことから、本願発明者は、蛍光画像81において観察される蛍光剤が、心拍に由来する脈動に伴って周期的に拡散していくという知見を得た。そこで、本実施形態では、時系列で取得される蛍光画像81から脈動周期60毎の変化を可視化するようにした。
図11は、時間経過に伴う蛍光開始領域84の数の変化を示したグラフ65を示している。グラフ65の横軸は、経過時間(すなわち、フレーム数)を示し、縦軸は、蛍光開始領域84の数(フレーム画像に含まれる蛍光開始領域84の総数)を示す。蛍光開始領域84の数の変化に着目すると、図10に示した波形75におけるピーク、波形76におけるピークと対応して、蛍光開始領域84の数のピーク66が形成される。つまり、蛍光剤3は、心拍や脈拍のピークに対応したタイミングで血液と共に急激に拡散し、次のピークが到来するまでは、蛍光剤3の拡散速度が緩やかになる。そのため、心拍や脈拍のピークに対応したタイミングで蛍光開始領域84の数のピーク66が形成される。蛍光開始領域84の数のピーク66は、心臓の拍動に起因するため、1回の拍動(あるいは1回の脈動)の度に、1つ形成されることになる。
そこで、プロセッサ21(脈動周期取得部214)は、蛍光画像81毎の蛍光開始領域84の数の変化を取得し、蛍光開始領域84の数のピーク66に基づいて、脈動周期60を検出するように構成されている。グラフ65において、隣接する2つのピーク66の間の期間が、心臓の拍動に起因する血液の脈動周期60である。脈動周期取得部214は、たとえば隣接するピーク66の頂点間の時間間隔、隣接するピーク66の立ち上がり点または立ち下がり点の間の時間間隔、に基づいて、脈動周期60を検出する。
具体的には、脈動周期取得部214は、時系列に沿って順番に取得される各蛍光画像81のうち、いずれのフレーム番号の蛍光画像81において、蛍光開始領域84の数のピーク66が検出されたかを特定する。
脈動周期取得部214は、直前のピーク66のフレーム番号から、今回検出されたピーク66のフレーム番号までの間を、1つの脈動周期60として特定する。直前のピーク66がない場合、撮影開始時点から今回検出されたピーク66のフレーム番号までの間が、1つの脈動周期60として特定される。脈動周期60は、周期の開始点となる開始フレーム番号と、周期の終了点となる終了フレーム番号と、で特定されうる。開始フレーム番号以上、終了フレーム番号以下の範囲内のフレーム番号を有する蛍光画像81は、同一の脈動周期60に属する蛍光画像81である。
図11では、時間経過に伴って、フレーム番号(N1)で1回目のピーク66a、フレーム番号(N2)で2回目のピーク66b、フレーム番号(N3)で3回目のピーク66c、フレーム番号(N4)で4回目のピーク66d、フレーム番号(N5)で5回目のピーク66eが検出された例を示している。この場合、フレーム番号(1)からフレーム番号(N1)が周期1、フレーム番号(N1+1)からフレーム番号(N2)が周期2、フレーム番号(N2+1)からフレーム番号(N3)が周期3、フレーム番号(N3+1)からフレーム番号(N4)が周期4、フレーム番号(N4+1)からフレーム番号(N5)が周期5、となる。
〈拡散画像生成部〉
拡散画像生成部215(プロセッサ21、図5参照)は、各時点における蛍光開始領域84を異なる態様で重畳することにより、蛍光剤拡散画像85を生成する。本実施形態では、拡散画像生成部215(プロセッサ21、図5参照)は、領域抽出部213により抽出された蛍光開始領域84と、脈動周期取得部214により取得された脈動周期60とに基づいて、蛍光剤拡散画像85(図12参照)を生成する。蛍光剤拡散画像85は、抽出された蛍光開始領域84を、脈動周期60毎に互いに異なる態様で表示する画像である。
具体的には、図5に示すように、拡散画像生成部215は、領域抽出部213により抽出された蛍光開始領域84(図6参照)を、時系列に沿ってフレーム番号(1)から順番に取得する。また、拡散画像生成部215は、脈動周期取得部214により検出された脈動周期60を取得する。つまり、拡散画像生成部215は、蛍光開始領域84の数のピーク66が検出されたフレーム番号を取得する。
そして、拡散画像生成部215は、図12に示すように、同一の脈動周期60に属する蛍光画像81から抽出された蛍光開始領域84を、まとめて同じ態様で表示させる。拡散画像生成部215は、脈動周期60毎に、その脈動周期60に属する蛍光画像81から抽出された蛍光開始領域84の表示態様を異ならせる。これにより、拡散画像生成部215(プロセッサ21)は、脈動周期60毎の各時点における蛍光開始領域84を異なる態様で重畳した蛍光剤拡散画像85を生成する。
図12は、蛍光剤拡散画像85の生成処理の流れを示す。
まず、領域抽出部213により、フレーム番号(1)から順番に、蛍光開始領域84が取得される。拡散画像生成部215は、蛍光開始領域84の数のピーク66が検出されるまでの各蛍光画像81において抽出された蛍光開始領域84を、同じ態様86aで表示する蛍光剤拡散画像85を生成する。
たとえば図12の例では、脈動周期取得部214により、フレーム番号(1)からフレーム番号(N1)までが、1番目の脈動周期60(周期1)として検出される。拡散画像生成部215は、フレーム番号(1)からフレーム番号(N1)までの各蛍光画像81において抽出された蛍光開始領域84を、同じ態様86aで表示する蛍光剤拡散画像85を生成する。図12では便宜的に、表示態様の相違を、蛍光開始領域84に付与したハッチングの相違によって表現している。
脈動周期取得部214により、フレーム番号(N1+1)からフレーム番号(N2)までが、2番目の脈動周期60(周期2)として検出される。拡散画像生成部215は、周期2に属する各蛍光画像81において抽出された蛍光開始領域84を、同じ態様86bで表示する蛍光剤拡散画像85を生成する。態様86bは、態様86aとは異なる表示態様であり、ユーザは、態様86aで表示された蛍光開始領域84と態様86bで表示された蛍光開始領域84とを視覚的に区別可能である。
脈動周期取得部214により、フレーム番号(N2+1)からフレーム番号(N3)までが、3番目の脈動周期60(周期3)として検出される。拡散画像生成部215は、周期3に属する各蛍光画像81において抽出された蛍光開始領域84を、同じ態様86cで表示する蛍光剤拡散画像85を生成する。態様86cは、態様86aおよび態様86bとは異なる表示態様である。
周期3以降の脈動周期60についても、同様である。このようにして、プロセッサ21(拡散画像生成部215)は、抽出された蛍光開始領域84を、脈動周期60毎に互いに異なる態様で表示する蛍光剤拡散画像85を生成する。
〈同一脈動周期に属する蛍光開始領域の表示処理〉
なお、プロセッサ21(拡散画像生成部215)は、フレーム毎に蛍光剤拡散画像85を生成(更新)する。本実施形態では、プロセッサ21(拡散画像生成部215)は、脈動周期60内に含まれる蛍光画像81が生成されると、脈動周期60内に含まれる抽出済みの蛍光開始領域84に加えて、最新の蛍光画像81から抽出された蛍光開始領域84を蛍光剤拡散画像85に追加するように構成されている。
たとえば、図13に示すように、フレーム番号(1)の蛍光画像81で蛍光開始領域84aが抽出されるとする。拡散画像生成部215は、蛍光開始領域84aを含む蛍光剤拡散画像85を生成する。
次のフレーム番号(2)の蛍光画像81では、フレーム番号(1)の蛍光開始領域84aに隣接する周囲の領域で、蛍光開始領域84bが抽出される。拡散画像生成部215は、蛍光開始領域84aに、蛍光開始領域84bを追加した蛍光剤拡散画像85を生成する。
さらに、次のフレーム番号(3)の蛍光画像81では、フレーム番号(2)の蛍光開始領域84bに隣接する周囲の領域で、蛍光開始領域84cが抽出される。拡散画像生成部215は、フレーム番号(2)の蛍光剤拡散画像85に、蛍光開始領域84cを追加した蛍光剤拡散画像85を生成する。
このように、拡散画像生成部215は、脈動周期60の開始フレーム番号(1)から、終了フレーム番号(N1)までの間で、蛍光画像81が取得される度に、取得された蛍光画像81から抽出された蛍光開始領域84を蛍光剤拡散画像85に追加する。この結果、生成される蛍光剤拡散画像85は、図13に示したように、脈動周期60が次の周期に切り替わるまで、時間経過に伴って蛍光開始領域84が徐々に拡大していく動画像として生成される。脈動周期60の終了フレーム番号における蛍光剤拡散画像85では、その脈動周期60の期間内に抽出された全ての蛍光開始領域84が表示されることになる。
そして、図12に示したように、次の脈動周期60(たとえば周期2)になると、その脈動周期60に属する蛍光画像81が取得される度に、前の脈動周期60(たとえば周期1)とは異なる表示態様の蛍光開始領域84が徐々に拡大していく蛍光剤拡散画像85が生成される。
〈異なる脈動周期に属する蛍光開始領域の表示処理〉
また、本実施形態では、プロセッサ21(拡散画像生成部215)は、脈動周期60が経過する度に、過去の脈動周期60において抽出された蛍光開始領域84に加えて、最新の脈動周期60において抽出された蛍光開始領域84を蛍光剤拡散画像85に追加するように構成されている。
たとえば、図12に示したように、拡散画像生成部215は、1番目の脈動周期60(周期1)の間、態様86aの蛍光開始領域84を含む蛍光剤拡散画像85を生成する。拡散画像生成部215は、1番目の脈動周期60(周期1)が経過しても、態様86aの蛍光開始領域84を表示させたままにする。
次に、2番目の脈動周期60(周期2)の間、拡散画像生成部215は、態様86bの蛍光開始領域84を含む蛍光剤拡散画像85を生成する。このとき、拡散画像生成部215は、態様86aの蛍光開始領域84に追加して、態様86bの蛍光開始領域84を蛍光剤拡散画像85に表示させる。3番目の脈動周期60(周期3)では、拡散画像生成部215は、態様86aの蛍光開始領域84および態様86bの蛍光開始領域84に追加して、態様86cの蛍光開始領域84を蛍光剤拡散画像85に表示させる。
このように、拡散画像生成部215は、脈動周期60が経過する度に、蛍光開始領域84の表示態様を変更するとともに、その脈動周期60に属する蛍光開始領域84を蛍光剤拡散画像85に追加する。この結果、生成される蛍光剤拡散画像85は、図12に示したように、脈動周期60の経過に伴って蛍光開始領域84の表示態様が変更されつつ、表示される蛍光開始領域84が徐々に拡大していく動画像として生成される。蛍光剤拡散画像85には、脈動周期60が切り替わるタイミング(表示態様が切り替わるタイミング)に対応する境界線87が形成される。
境界線87は、隣り合う蛍光開始領域84の間の表示態様が異なること(隣り合う蛍光開始領域84が異なる脈動周期60に属すること)によって境界線として認識可能に表示されることになる。蛍光画像81の撮像が終了される時には、蛍光剤拡散画像85には、撮像終了までに経過した脈動周期60の数に相当する数の境界線87で区分された蛍光開始領域84が、表示される。したがって、蛍光剤拡散画像85は、脈動周期60が切り替わるタイミングを示す境界線87が、等値線状に形成された画像になる。
〈画像合成部〉
図5に示すように、画像合成部216(プロセッサ21)は、可視光画像取得部211により取得された可視光画像82と、拡散画像生成部215において生成された蛍光剤拡散画像85とを、合成する処理を行う。合成とは、複数の画像を重畳させる処理を含む。具体的には、図14に示すように、画像合成部216は、可視光画像82に、蛍光剤拡散画像85を重畳させることにより、重畳画像88を生成する。したがって、生成される重畳画像88では、ユーザが実際に視認可能な治療対象部位2が写る可視光画像82において、蛍光剤3が拡散する様子を示した蛍光剤拡散画像85が重なって表示された画像となる。
なお、上記の通り、蛍光撮像装置10により撮像される蛍光画像81と可視光画像82とは、同一視野の画像である。蛍光剤拡散画像85は、蛍光画像81から生成され、蛍光画像81と同一視野の画像である。そのため、可視光画像82と蛍光剤拡散画像85とは、同一視野を写した画像となる。可視光画像82と蛍光剤拡散画像85とが同一視野の画像となるため、重畳する画像同士の位置合わせ等を行うことなく、そのまま重畳するだけの簡単な処理で、重畳画像88を生成することが可能である。
図5に示すように、画像合成部216は、生成した重畳画像88を、入出力部23に出力する。入出力部23は、画像合成部216から取得した重畳画像88を、表示部30に出力して画面表示させる。これにより、プロセッサ21は、生成した蛍光剤拡散画像85を表示部30に表示させる。本実施形態では、プロセッサ21(画像合成部216)は、可視光画像82に、蛍光剤拡散画像85を重畳させて表示部30に表示させるように構成されている。プロセッサ21は、蛍光撮像装置10から最新のフレームのフレーム画像(蛍光画像81、可視光画像82)を取得する度に、そのフレームの蛍光剤拡散画像85を生成して、蛍光剤拡散画像85と可視光画像82とを重畳させた重畳画像88を生成する。プロセッサ21は、フレーム毎に生成した重畳画像88を表示部30に出力することにより、重畳画像88を動画像として表示させる。
(蛍光剤拡散画像の表示態様)
次に、蛍光剤拡散画像85(重畳画像88)の具体的な表示態様について説明する。
図15~図17は、蛍光剤拡散画像85を含む重畳画像88の具体例であって、皮弁術(皮膚移植)において移植される被写体1の皮弁(flap)を示している。皮弁とは、血流のある皮膚、皮下組織および深部組織のことである。図15~図17では、治療対象部位2の皮膚2aおよび皮下組織2bが写る可視光画像82に、蛍光剤拡散画像85が重畳された重畳画像88を示している。
本実施形態では、プロセッサ21(図5参照)は、(1)脈動周期60毎の蛍光開始領域84を、異なる階調で表示すること、(2)脈動周期60毎の蛍光開始領域84を示す線を、等値線図状に表示すること、の少なくともいずれかにより、脈動周期60毎の蛍光開始領域84を互いに異なる態様で表示する。
図15の例では、プロセッサ21は、脈動周期60毎の蛍光開始領域84を、異なる階調で表示する。ここで、階調は、画像において表現される色や明るさの段階(グラデーション)のことである。階調は、色の段階的変化、明るさの段階的変化を含む。たとえば蛍光剤拡散画像85がグレースケールの256階調で表現される場合、階調は、白(255)から灰色(126)を経て黒(0)までの明るさの段階的変化を含む。
たとえば周期1から周期KまでのK個の脈動周期60が検出された場合、画像処理部20は、最も古い脈動周期60(周期1)を白(255)とし、最新の周期Kに近付くにしたがって、黒(0)に近付くように階調値を段階的に減少させる。
また、蛍光剤拡散画像85がカラー画像であり、R(赤色、0~255)、G(緑色、0~255)、B(青色、0~255)の3色の階調値の組み合わせで色が表現される場合、階調は、赤色、黄色、緑色、青色といった所定順序で色を連続的に変化させる段階的変化を含む。
たとえば周期1から周期KまでのK個の脈動周期60が検出された場合、プロセッサ21は、最も古い脈動周期60(周期1)を赤色とし、最新の周期Kを青色とし、周期1から周期Kまでの間の各周期について、赤色から青色に近付くように色の階調を割り当てて段階的に変化させる。
図15は、階調の異なる領域を分かり易くするため、便宜的に境界線87を破線で示している。蛍光剤拡散画像85は、それぞれの脈動周期60において抽出された蛍光開始領域84を、階調の相違によって区別して認識可能なように表示する。
図16の例では、プロセッサ21は、脈動周期60毎の蛍光開始領域84を示す線を、等値線図状に表示する。等値線図とは、同じ値の地点を連ねた線を描いて、分布状況を表した図である。蛍光剤拡散画像85においては、図12に示したように、ある脈動周期60に属する蛍光開始領域84と、その次の脈動周期60に属する蛍光開始領域84との間に、境界線87が形成される。脈動周期60毎の蛍光開始領域84を示す線を、等値線図状に表示するとは、この境界線87を画像上で表示することである。蛍光剤3の拡散に伴って、時間的に新しい境界線87は、時間的に古い境界線87の外側に形成されるため、蛍光剤拡散画像85が等値線図状の画像となる。
プロセッサ21は、脈動周期60が経過する度に、境界線87を抽出して蛍光剤拡散画像85に境界線87を表示させる。その結果、図16に示す等値線図状の蛍光剤拡散画像85が生成される。蛍光剤拡散画像85は、それぞれの脈動周期60において抽出された蛍光開始領域84を、隣り合う2つの境界線87の間の領域として区別して認識可能なように表示する。
階調による表示態様と、線(等値線)による表示態様とを、組み合わせてもよい。図17では、プロセッサ21は、脈動周期60毎の蛍光開始領域84を、異なる階調で表示しつつ、最新の脈動周期60(周期K)の境界線87を、境界線で表示する。プロセッサ21は、脈動周期60が経過する度に、脈動周期60に属する蛍光開始領域84の階調を異ならせるとともに、脈動周期60の経過(次の脈動周期60への切り替わり)が検出される度に、最新の脈動周期60(周期K)の境界線87を付与し、前の脈動周期60(周期K-1)の境界線を消去する。プロセッサ21は、境界線87の表示態様を、脈動周期60毎の蛍光開始領域84の表示態様とは異ならせる。
なお、図15~図17に示した蛍光開始領域84の各表示態様のルールは、図5に示した記憶部22に記録されている。プロセッサ21は、たとえばユーザの操作入力により、表示態様の選択を受け付け可能に構成されている。プロセッサ21は、記憶部22に記憶された表示態様の設定情報に従って、ユーザが選択した表示態様で蛍光剤拡散画像85を生成する。
(治療支援装置の画像表示処理動作)
次に、図18を参照して、本実施形態の治療支援装置100が実行する画像表示処理について説明する。治療支援装置100は、本実施形態の治療支援方法を実施する。本実施形態の治療支援方法は、少なくとも以下のステップ(1)~(5)を含む。
ステップ(1):被写体に投与される蛍光剤の励起光91を照射する。
ステップ(2):励起光により励起された蛍光92を検出して被写体の蛍光画像81を撮像する。
ステップ(3):プロセッサ21が、複数の時点(フレーム番号)の各々で生成される蛍光画像81と、生成時点以前の蛍光画像81とを比較することにより、各時点において蛍光92が初めて検出された蛍光画像81中の領域(蛍光開始領域84)を検出する。
ステップ(4):プロセッサ21が、各時点における(蛍光開始領域84)を異なる態様で重畳することにより蛍光剤拡散画像85を生成する。
ステップ(5):生成した蛍光剤拡散画像85を表示部に表示させる。
ステップ(1)およびステップ(2)は、図18のステップ51に対応する。ステップ(3)は、図18のステップ52に対応する。ステップ(4)は、図18のステップ53に対応する。ステップ(5)は、図18のステップ54に対応する。また、図18の治療支援方法では、上記したステップ(1)~(5)に加えて、さらに付加的なステップを含んでいる。
治療支援装置100の画像表示処理は、医師などのユーザの操作入力に基づいて、蛍光撮像装置10による撮像が開始されることにより、開始される。
図18に示すように、ステップ51において、被写体1の蛍光画像81および可視光画像82が撮像される。すなわち、蛍光撮像装置10の励起光照射部115から励起光91が被写体1に照射され、励起光91により励起された蛍光92が蛍光撮像部111により検出される。また、可視光照射部117から可視光93が被写体1に照射され、可視光93の反射光が可視光撮像部112により検出される。これにより、1フレームに相当する蛍光画像81および可視光画像82が撮像される。撮像された蛍光画像81および可視光画像82は、画像処理部20に出力される。
ステップ52において、プロセッサ21(領域抽出部213)は、ステップ51で得られた蛍光画像81から蛍光開始領域84を抽出する。また、プロセッサ21(脈動周期取得部214)は、蛍光画像81内で抽出された蛍光開始領域84の数を積算する。撮影開始後、蛍光開始領域84の数の最初のピーク66が検出されるまでは、プロセッサ21(脈動周期取得部214)は、得られた蛍光画像81を最初の脈動周期60(周期1)に設定する。
ステップ53において、プロセッサ21(拡散画像生成部215)は、抽出された蛍光開始領域84と、脈動周期60とに基づいて、蛍光剤拡散画像85を生成する。プロセッサ21は、記憶部22に記憶された設定情報に従って、予め設定された表示態様で蛍光開始領域84を表示した蛍光剤拡散画像85を生成する。
ステップ54において、プロセッサ21(画像合成部216)は、可視光画像82に、蛍光剤拡散画像85を重畳させて重畳画像88を生成し、入出力部23を介して、生成した重畳画像88を表示部30(図1参照)に出力する。これにより、動画像を構成する1フレーム分の重畳画像88が表示部30に表示される。
ステップ55において、プロセッサ21(脈動周期取得部214)は、脈動周期60の経過タイミングか否かを判断する。すなわち、プロセッサ21(脈動周期取得部214)は、今回のフレーム番号の蛍光画像81から抽出された蛍光開始領域84の数を、図11に示したグラフ65にプロットし、蛍光開始領域84の数の変化のピーク66が検出されたか否かを判断する。ピーク66が検出されなければ、プロセッサ21は、処理をステップ56に進める。
ステップ56において、プロセッサ21は、撮像を終了するか否かを判断する。プロセッサ21は、たとえばユーザから撮像終了の操作入力を受け付けた場合や、予め設定された終了時刻に到達した場合に、撮像を終了すると判断する。撮像を終了する場合、蛍光撮像装置10は撮像を終了し、プロセッサ21は画像処理を停止して、図18の画像表示処理を終了する。撮像を終了しない場合、プロセッサ21は、処理をステップ51に戻して、次のフレームの画像(蛍光画像81および可視光画像82)を取得して、ステップ51~ステップ54の処理を行う。
ステップ51~ステップ56のループを繰り返し、フレーム画像の表示が繰り返されると、図11に示したように、あるフレーム番号で蛍光開始領域84の数の変化のピーク66が検出される。すなわち、ステップ55において、プロセッサ21(脈動周期取得部214)が、蛍光開始領域84の数の変化のピーク66を検出する。ピーク66を検出した場合、プロセッサ21は、処理をステップ57に進める。
ステップ57において、プロセッサ21は、次の脈動周期60に属する蛍光開始領域84の表示態様を決定する。すなわち、プロセッサ21は、記憶部22に記憶された表示態様の設定情報に従って、次のフレーム番号以降に抽出される蛍光開始領域84の表示態様を決定する。次に、プロセッサ21は、ステップ56で撮像を終了するか否かを判断し、終了しない場合にはステップ51で次のフレーム番号の蛍光画像81および可視光画像82に対する処理を行う。
この結果、ステップ57で表示態様を決定した後のフレームの蛍光画像81から抽出された蛍光開始領域84は、前の脈動周期60に属する蛍光開始領域84とは異なる態様で蛍光剤拡散画像85に表示される。ステップ57で決定された表示態様は、次に蛍光開始領域84の数の変化のピーク66が検出されるフレーム番号まで、適用される。これにより、蛍光剤拡散画像85では、各フレームの蛍光画像81から抽出された蛍光開始領域84が、脈動周期60毎に異なる態様で表示される。
以上のようにして、治療支援装置100による画像表示処理が行われる。医師等は、表示部30に表示された蛍光剤拡散画像85(重畳画像88)から、脈動周期60毎に蛍光剤3が拡散していく様子を観察することが可能である。
たとえば蛍光剤拡散画像85が等値線図状に表示される図16の例では、隣り合う境界線87の間隔が大きい程、1つの脈動周期60の間での蛍光剤3の移動量が大きく、隣り合う境界線87の間隔が小さい程、1つの脈動周期60の間での蛍光剤3の移動量が小さい、と考えることができる。つまり、蛍光剤拡散画像85における脈動周期60毎の蛍光開始領域84の粗密により、蛍光剤3の拡散の度合いや、拡散方向を評価できる。蛍光剤拡散画像85により、医師等が治療対象部位2における血液の灌流の良否を評価する際に、有用な情報を医師等に提供することが可能となる。
(本実施形態の効果)
本実施形態では、以下のような効果を得ることができる。
すなわち、本実施形態の治療支援装置100では、上記のように、被写体1に投与される蛍光剤3の励起光91を照射する励起光照射部115と、励起光91により励起された蛍光92を検出して被写体1の蛍光画像81を撮像する蛍光撮像部111と、画像処理を行うプロセッサ21を有し、表示部30に画像出力を行う画像処理部20と、を備え、プロセッサ21は、複数の時点で生成される蛍光画像81と、生成時点以前の蛍光画像81とを比較することにより、各時点において蛍光開始領域84を検出するとともに、各時点における蛍光開始領域84を異なる態様で重畳することにより蛍光剤拡散画像85を生成し、生成した蛍光剤拡散画像85を表示部30に表示させるように構成されている。
また、本実施形態の治療支援方法では、上記のように、被写体に投与される蛍光剤の励起光91を照射するステップと、励起光により励起された蛍光92を検出して被写体の蛍光画像81を撮像するステップと、プロセッサ21が、複数の時点(フレーム番号)の各々で生成される蛍光画像81と、生成時点以前の蛍光画像81とを比較することにより、各時点において蛍光92が初めて検出された蛍光画像81中の領域(蛍光開始領域84)を検出するステップと、プロセッサ21が、各時点における(蛍光開始領域84)を異なる態様で重畳することにより蛍光剤拡散画像85を生成するステップと、生成した蛍光剤拡散画像85を表示部に表示させるステップと、を備える。
上記の構成により、各時点において蛍光が初めて検出された領域(蛍光開始領域84)を、互いに異なる態様で表示される蛍光剤拡散画像85が生成される。蛍光開始領域84は、血流によって拡散する蛍光剤3が最初に検出された領域と考えられるから、蛍光剤拡散画像85は、時間経過に伴って蛍光剤3が拡散していく変化を時点毎に区別可能に表示したものである。したがって、蛍光剤拡散画像85によって、投与された蛍光剤3の拡散の様子を、時点毎に蛍光開始領域84が拡大する様子として表示することができる。これにより、被写体1に投与された蛍光剤3の拡散の様子を適切に表示することができる。
この結果、蛍光剤拡散画像85により、患者の治療を行う医師等に対して、治療の対象となる部位の体組織における血液の灌流の良否を評価するための有用な情報を提供することが可能となる。すなわち、治療を行う領域を特定したり、治療の結果を確認する領域を特定したりするために有用な蛍光剤拡散画像85を提供できる。
また、上記実施形態では、以下のように構成したことによって、更なる効果が得られる。
具体的には、上記実施形態の治療支援装置の第1の例(図7参照)では、プロセッサ21は、蛍光画像81の各画素のうち、画素値が所定の閾値72を超えたことに基づき、蛍光開始領域84を抽出する。このように構成すれば、蛍光画像81の各画素の画素値と閾値72とを比較するだけで、容易に、蛍光開始領域84を抽出することができる。
また、上記実施形態の治療支援装置の第2の例(図8参照)では、プロセッサ21は、蛍光画像81の各画素の時間強度曲線71の傾きが、所定の閾値72を超えたことに基づき、蛍光開始領域84を抽出する。このように構成すれば、各画素の時間強度曲線71の傾きから、容易に、蛍光開始領域84を抽出することができる。
また、上記実施形態の治療支援装置の第3の例(図9参照)では、プロセッサ21は、蛍光画像81の各画素の時間強度曲線71の面積値が、所定の閾値72を超えたことに基づき、蛍光開始領域84を抽出する。このように構成すれば、各画素の時間強度曲線71の面積値から、容易に、蛍光開始領域84を抽出することができる。なお、時間強度曲線71の面積値に代えて、時間強度曲線71の平均値を求めてもよい。この場合でも、容易に、蛍光開始領域84を抽出することができる。
また、上記実施形態の治療支援装置では、プロセッサ21は、被写体の脈動周期60を取得し、脈動周期60毎の各時点における蛍光開始領域84を異なる態様で重畳した蛍光剤拡散画像85を生成する。このように構成すれば、生成される蛍光剤拡散画像85は、心拍に由来する脈動に伴って蛍光剤3が拡散していく変化を脈動周期60毎に区別可能に表示したものとなる。したがって、蛍光剤拡散画像85によって、被写体に投与された蛍光剤3の拡散の様子を、脈動周期60毎に蛍光開始領域84が拡大する様子として、より一層適切に表示することができる。
また、上記実施形態の治療支援装置では、蛍光撮像部111は、脈動周期60よりも短い時間間隔で蛍光画像81を生成するように構成され、プロセッサ21は、蛍光開始領域84の数を、生成された蛍光画像81毎に積算し、時系列に生成される蛍光画像81毎の蛍光開始領域84の数に基づき、脈動周期60を検出するように構成されている。このように構成すれば、時系列で取得される蛍光画像81から、撮像している部位の脈動周期60を直接取得することができる。そのため、脈動周期60を取得するために、たとえば心電計や脈波計などの脈動を検出するための装置を別途設ける必要がないので、装置構成を簡素化できる。また、たとえば心電計により脈動を検出する場合、検出されるのはあくまでも心臓の拍動の周期であり、実際に撮像している部位の脈動周期60とは時間差が生じる。蛍光画像81から脈動周期60を検出する上記構成によれば、実際に撮像している部位の脈動周期60を直接検出できるので、脈動に伴う蛍光剤3の拡散の様子をより正確に可視化することができる。
また、上記実施形態の治療支援装置では、プロセッサ21は、蛍光画像81毎の蛍光開始領域84の数の変化を取得し、蛍光開始領域84の数のピーク66に基づいて、脈動周期60を検出するように構成されている。このように構成すれば、脈動周期60の度に、心臓の拍動(心室の収縮)に応じて、蛍光開始領域84の数が急激に増加するピーク66(すなわち、蛍光剤3の移動量のピーク66)を形成するので、このピーク66から、実際に撮像している部位の脈動周期60を精度よく検出できる。
また、上記実施形態の治療支援装置では、被写体1から反射した可視光93を検出して、被写体1の可視光画像82を撮像する可視光撮像部112をさらに備え、プロセッサ21は、可視光画像82に、蛍光剤拡散画像85を重畳させて表示部30に表示させるように構成されている。ここで、蛍光画像81および蛍光画像81に基づく蛍光剤拡散画像85は、蛍光剤3から生じた蛍光92を画像化したものであるため、可視光93によって認識できる撮像部位の形態の情報が含まれない。そのため、可視光画像82に蛍光剤拡散画像85を重畳させて表示させることによって、医師等の使用者が実際に視認している可視光画像82上において、蛍光剤3の拡散の様子を識別可能に表示させることができる。その結果、治療を行う領域や、治療の結果を確認する領域を特定することを、容易化することができる。
また、上記実施形態の治療支援装置では、プロセッサ21は、脈動周期60が経過する度に、過去の脈動周期60において抽出された蛍光開始領域84に加えて、最新の脈動周期60において抽出された蛍光開始領域84を蛍光剤拡散画像85に追加するように構成されている。このように構成すれば、過去の脈動周期60で抽出された蛍光開始領域84が画像から消去されることなく、脈動周期60が経過する度に蛍光開始領域84が追加表示されていくので、脈動に伴って蛍光剤3が拡散していく様子を識別しやすく表示することができる。
また、上記実施形態の治療支援装置では、プロセッサ21は、脈動周期60内に含まれる蛍光画像81が生成されると、脈動周期60内に含まれる抽出済みの蛍光開始領域84に加えて、最新の蛍光画像81から抽出された蛍光開始領域84を蛍光剤拡散画像85に追加するように構成されている。このように構成すれば、同じ脈動周期60内の蛍光画像81(フレーム画像)が取得される度に、最新の蛍光画像81から抽出された新たな蛍光開始領域84が追加されるので、脈動周期60内で蛍光剤3が徐々に拡散していく様子を画像化することができる。そして、時間経過に伴って次の脈動周期60になると、直前の脈動周期60とは異なる態様で、蛍光開始領域84が徐々に拡散していく様子が画像化される。この結果、治療時に、脈動周期60を単位とする蛍光剤3の拡散の様子だけでなく、脈動周期60内での蛍光剤3の拡散の様子をリアルタイムで把握可能な画像を表示することができる。
また、上記実施形態の治療支援装置では、プロセッサ21は、脈動周期60毎の蛍光開始領域84を、異なる階調で表示すること、脈動周期60毎の蛍光開始領域84を示す線を、等値線図状に表示すること、の少なくともいずれかにより、脈動周期60毎の蛍光開始領域84を互いに異なる態様で表示する。このように構成すれば、脈動周期60毎の蛍光開始領域84を、視覚的に容易に区別可能な態様で表示することができる。その結果、医師等のユーザにとっての利便性を向上させることができる。
[変形例]
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく、特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
たとえば、上記実施形態では、プロセッサ21が、蛍光開始領域84の数のピーク66(図11参照)に基づいて、脈動周期60を検出する例を示したが、本発明はこれに限られない。本発明では、プロセッサ21が、心電計により検出される心拍の波形75(図10参照)、または脈波計により検出される脈拍の波形76(図10参照)のいずれかに基づいて、脈動周期60を検出してもよい。
具体的には、図19に示す変形例では、治療支援装置100が、被写体1の心拍または脈拍の波形を取得する波形取得部40を備えている。波形取得部40は、たとえば心電計を含み、図10に示した心拍の波形75を検出する。あるいは、波形取得部40は、たとえば脈波計を含み、図10に示した脈拍の波形76を検出する。
この変形例では、プロセッサ21は、蛍光開始領域84の数のピーク66に代えて、心拍の波形75または脈拍の波形76に基づいて、脈動周期60を検出するように構成されている。プロセッサ21は、たとえば心拍の波形75のうち、たとえばQRS波を示すピーク75aなどの特徴点を検出し、特徴点間の時間間隔として脈動周期60を検出する。プロセッサ21は、たとえば脈拍の波形76のうち、心拍の波形75のQRS波に対応するピーク76aを特徴点として検出し、特徴点間の時間間隔として脈動周期60を検出する。
この変形例では、上記のように、被写体1の心拍または脈拍の波形を取得する波形取得部40を備え、プロセッサ21は、心拍または脈拍の波形(75または76)に基づいて、脈動周期60を検出するように構成されている。このように構成すれば、波形取得部40からの検出信号を取得するだけで、容易に、脈動周期60を検出することができる。
なお、心拍の波形75は、あくまでも心臓の拍動を検出したものであり、実際に蛍光画像81として撮像している治療対象部位2における血液の脈動とは時間差がある。同様に、脈拍の波形76は、脈波計による測定箇所と治療対象部位2との間の、血液の流通経路の長さによっては、治療対象部位2における血液の脈動とは時間差が生じる可能性がある。これに対して、プロセッサ21が、蛍光開始領域84の数のピーク66に基づいて脈動周期60を検出する上記実施形態の構成では、蛍光画像81から、実際に撮像している治療対象部位2における血液の脈動を直接検出することができるので、脈動に伴う蛍光剤3の拡散の様子を、より正確に捉えることが可能である。
また、上記実施形態では、画像処理部20が、蛍光撮像装置10とは別個に設けられたPCである例を示したが、本発明はこれに限られない。本発明では、画像処理部20が、蛍光撮像装置10と一体で設けられていてもよい。たとえば、図20に示す変形例では、画像処理部20が、蛍光撮像装置10の本体部13内に設けられている。この他、たとえば、本体部13の画像生成部133を構成するプロセッサが、画像処理部20のプロセッサ21としても機能するように構成されていてもよい。つまり、画像処理部20と画像生成部133とを一体的に設けてもよい。
また、上記実施形態では、蛍光画像81の画素値が所定の閾値72を超えたことに基づき蛍光開始領域84を抽出する例(図7参照)、時間強度曲線71の傾きが所定の閾値72を超えたことに基づき蛍光開始領域84を抽出する例(図8参照)、および、時間強度曲線71の面積値が所定の閾値72を超えたことに基づき蛍光開始領域84を抽出する例(図9参照)、を示したが、本発明はこれに限られない。本発明では、画素値、時間強度曲線71の傾き、時間強度曲線71の面積値以外の量に基づいて、蛍光開始領域84を抽出してもよい。
また、上記実施形態では、プロセッサ21が、蛍光画像81毎の蛍光開始領域84の数の変化を取得し、蛍光開始領域84の数のピーク66に基づいて、脈動周期60を検出するように構成した例を示したが、本発明はこれに限られない。本発明では、ピーク66と同様に、蛍光開始領域84の数の変化から周期的に生じるパターンを検出できれば、脈動周期60を検出できる。プロセッサ21が、蛍光開始領域84の数のピーク66以外の周期的に生じるパターンに基づいて脈動周期60を検出してもよい。
また、上記実施形態では、プロセッサ21は、可視光画像82に蛍光剤拡散画像85を重畳させた重畳画像88を表示部30に表示させる例を示したが、本発明はこれに限られない。本発明では、プロセッサ21は、可視光画像82に蛍光剤拡散画像85を重畳させずに、蛍光剤拡散画像85のみを単独で表示させてもよい。また、プロセッサ21は、可視光画像82と蛍光剤拡散画像85とを画面上で並べて表示させてもよい。
また、上記実施形態では、治療支援装置100が可視光撮像部112を備える例を示したが、本発明はこれに限られない。本発明では、治療支援装置100が可視光撮像部112を備えなくてもよい。
また、上記実施形態では、プロセッサ21は、(1)脈動周期60毎の蛍光開始領域84を、異なる階調で表示すること、(2)脈動周期60毎の蛍光開始領域84を示す線を、等値線図状に表示すること、の少なくともいずれかにより、脈動周期60毎の蛍光開始領域84を互いに異なる態様で表示する例を示したが、本発明はこれに限られない。本発明では、脈動周期60毎の蛍光開始領域84の表示態様が異なっていれば、プロセッサ21はどのような表示態様で蛍光開始領域84を表示させてもよい。
また、上記実施形態では、蛍光剤3として、ICGを例示したが、本発明はこれに限られない。本発明では、ICG以外の蛍光剤3が用いられてもよい。ICG以外の蛍光剤3としては、たとえば、5-ALA(5-アミノレブリン酸)、IR700などが挙げられる。なお、5-ALA自体は蛍光を示さないが、被写体1に投与される5-ALAの代謝物であるプロトポルフィリンIX(PPIX)が蛍光物質となるため、本明細書では、5-ALAのような物質も蛍光剤3に含まれるものとする。蛍光剤3は、これらの他、患者の蛍光診断などに用いられる蛍光物質であれば、どのようなものでもよい。
[態様]
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
(態様1)
被写体に投与される蛍光剤の励起光を照射する励起光照射部と、
励起光により励起された蛍光を検出して前記被写体の蛍光画像を撮像する蛍光撮像部と、
画像処理を行うプロセッサを有し、表示部に画像出力を行う画像処理部と、を備え、
前記プロセッサは、複数の時点で生成される蛍光画像と、生成時点以前の蛍光画像とを比較することにより、各時点において蛍光が初めて検出された蛍光画像中の領域を検出するとともに、各時点における前記領域を異なる態様で重畳することにより蛍光剤拡散画像を生成し、生成した前記蛍光剤拡散画像を表示部に表示させるように構成されている、治療支援装置。
(態様2)
前記プロセッサは、前記蛍光画像の各画素のうち、画素値が所定の閾値を超えたことに基づき、前記領域を抽出する、項目1に記載の治療支援装置。
(態様3)
前記プロセッサは、前記蛍光画像の各画素の時間強度曲線の傾きが、所定の閾値を超えたことに基づき、前記領域を抽出する、項目1に記載の治療支援装置。
(態様4)
前記プロセッサは、前記蛍光画像の各画素の時間強度曲線の面積値が、所定の閾値を超えたことに基づき、前記領域を抽出する、項目1に記載の治療支援装置。
(態様5)
前記プロセッサは、前記被写体の脈動周期を取得し、脈動周期毎の各時点における前記領域を異なる態様で重畳した前記蛍光剤拡散画像を生成する、項目1に記載の治療支援装置。
(態様6)
前記蛍光撮像部は、前記脈動周期よりも短い時間間隔で前記蛍光画像を生成するように構成され、
前記プロセッサは、
前記領域の数を、生成された前記蛍光画像毎に積算し、
時系列に生成される前記蛍光画像毎の前記領域の数に基づき、前記脈動周期を検出するように構成されている、項目5に記載の治療支援装置。
(態様7)
前記プロセッサは、前記蛍光画像毎の前記領域の数の変化を取得し、前記領域の数のピークに基づいて、前記脈動周期を検出するように構成されている、項目6に記載の治療支援装置。
(態様8)
前記被写体の心拍または脈拍の波形を取得する波形取得部をさらに備え、
前記プロセッサは、心拍または脈拍の前記波形に基づいて、前記脈動周期を検出するように構成されている、項目5に記載の治療支援装置。
(態様9)
前記被写体から反射した可視光を検出して、前記被写体の可視光画像を撮像する可視光撮像部をさらに備え、
前記プロセッサは、前記可視光画像に、前記蛍光剤拡散画像を重畳させて前記表示部に表示させるように構成されている、項目1に記載の治療支援装置。
(態様10)
前記プロセッサは、前記脈動周期が経過する度に、過去の前記脈動周期において抽出された前記領域に加えて、最新の前記脈動周期において抽出された前記領域を前記蛍光剤拡散画像に追加するように構成されている、項目5に記載の治療支援装置。
(態様11)
前記プロセッサは、前記脈動周期内に含まれる前記蛍光画像が生成されると、前記脈動周期内に含まれる抽出済みの前記領域に加えて、最新の前記蛍光画像から抽出された前記領域を前記蛍光剤拡散画像に追加するように構成されている、項目5に記載の治療支援装置。
(態様12)
前記プロセッサは、
前記脈動周期毎の前記領域を、異なる階調で表示すること、
前記脈動周期毎の前記領域を示す線を、等値線図状に表示すること、
の少なくともいずれかにより、前記脈動周期毎の前記領域を互いに異なる態様で表示する、項目5に記載の治療支援装置。
(態様13)
被写体に投与される蛍光剤の励起光を照射するステップと、
励起光により励起された蛍光を検出して前記被写体の蛍光画像を撮像するステップと、
プロセッサが、複数の時点の各々で生成される蛍光画像と、生成時点以前の蛍光画像とを比較することにより、各時点において蛍光が初めて検出された蛍光画像中の領域を検出するステップと、
プロセッサが、各時点における前記領域を異なる態様で重畳することにより蛍光剤拡散画像を生成するステップと、
生成した前記蛍光剤拡散画像を表示部に表示させるステップと、を備える、治療支援方法。