JP6734386B2 - 表示システム - Google Patents

Description

本開示は、表示画像を表示する表示システムに関する。

特許文献１は、医療分野などに用いられる蛍光観測装置を開示している。特許文献１は、観測光源及び撮像装置を用いて、励起光を照射して蛍光を生じさせた状態の画像と、励起光を照射しない状態の背景の画像との二種類のオリジナル画像を交互に撮像している。特許文献１の蛍光観測装置は、二種類のオリジナル画像間の差分画像を生成することにより、蛍光の画像成分を抽出している。特許文献１では、観測対象物における微弱な蛍光発光の時間変化等をリアルタイムに観測するために、撮像装置からのオリジナル画像上に、差分画像を二値化することによって得られる蛍光の強度分布などを表示している。

特許第５７９８４３０号公報

本開示の目的は、撮像画像に基づく表示画像を表示する表示システムにおいて、表示画像の調整を行い易くすることができる表示システムを提供する。

本開示における表示システムは、照射部と、撮像部と、画像生成部と、表示部と、調整部とを備える。照射部は、所定の波長の光を対象物に照射する。撮像部は、所定の波長の光により励起される光に基づく画像を撮像する。画像生成部は、撮像部が撮像した撮像画像に基づく表示画像を生成する。表示部は、表示画像を表示する。調整部は、ユーザの操作に基づき表示画像を調整する。表示部は、調整部による表示画像の調整時において、表示画像と撮像画像とが重なり合った重畳画像を表示する。

本開示における表示システムによると、表示画像と撮像画像とが重畳画像において重なり合って表示される。これにより、撮像画像に基づく表示画像を表示する表示システムにおいて、表示画像の調整を行い易くすることができる。

実施の形態１にかかる手術支援システムの構成を示す概略図 手術支援システムにおける撮像照射装置の構成を示すブロック図 手術支援システムにおける通常モードの動作を説明するためのフローチャート 手術支援システムにおける投影前の術野の状態を例示する図 手術支援システムにおける投影時の術野の状態を例示する図 手術支援システムにおける蛍光画像の画像データを例示する図 図５Ａの蛍光画像に基づく投影画像の画像データを例示する図 手術支援システムにおける調整モードの動作を説明するためのフローチャート 調整モードにおける投影画像の画像データを例示する図 調整モードにおける重畳画像の画像データを例示する図 調整モードにおける重畳画像の表示例を示す図 図７Ｃから更新された重畳画像の表示例を示す図 図８Ａによる調整後の投影画像の画像データを例示する図 階調の調整時における重畳画像の表示例を示す図 図９Ａによる調整後の投影画像の画像データを例示する図 境界線の調整時における重畳画像の第１の表示例を示す図 図１０Ａによる調整後の投影画像の画像データを例示する図 境界線の調整時における重畳画像の第２の表示例を示す図 図１１Ａによる調整後の投影画像の画像データを例示する図 重畳画像の表示調整における第１の表示例を示す図 重畳画像の表示調整における第２の表示例を示す図 モニタ表示の調整モードにおける対象物画像の画像データを例示する図 モニタ表示の調整モードにおける蛍光画像の画像データを例示する図 モニタ表示の調整モードにおける投影画像の画像データを例示する図 モニタ表示の調整モードにおける重畳画像の表示例を示す図 表示システムの変形例の構成を示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
本開示に係る表示システムの具体的な実施例として、手術支援システムを説明する。

１．構成
１−１．手術支援システムの概要
実施の形態１にかかる手術支援システムの概要を、図１を用いて説明する。図１は、実施の形態１にかかる手術支援システム１００の構成を示す概略図である。

手術支援システム１００は、カメラ２１０、プロジェクタ２２０及び励起光源２３０を備える。手術支援システム１００は、手術室等において医師等が患者に対して行う手術を、投影画像を用いて視覚的に支援するシステムである。手術支援システム１００を使用する場合に、手術を受ける患者１２０には、予め光感受性物質が投与される。

光感受性物質は、励起光に反応して蛍光を発する物質である。光感受性物質としては、例えばＩＣＧ（インドシアニングリーン）、５−ＡＬＡ（アミノレブリン酸）及びポリフェリンなどが用いられる。本実施形態では、光感受性物質の一例として、ＩＣＧを用いた場合を説明する。ＩＣＧは、波長７８０ｎｍ近傍の赤外領域の励起光が照射されることにより、波長８２０〜８６０ｎｍの赤外領域の蛍光を発する。

光感受性物質は、患者１２０に投与されると、血液又はリンパ液の流れが滞っている患部１３０に蓄積する。このため、励起光の照射に応じて蛍光発光する領域を検出することにより、患部１３０の領域を特定することが可能となる。

ここで、患部１３０が発する蛍光は微弱であったり、蛍光の波長帯が非可視領域又は非可視領域近傍であったりするため、医師等は、術野１３５を目視しても、患部１３０の領域を特定することが困難である。そこで、手術支援システム１００では、カメラ２１０を用いて蛍光３１０を発する患部１３０の領域を特定する。さらに、特定した患部１３０が人間に視認可能となるように、プロジェクタ２２０から患部１３０に可視光の投影光３２０を照射する。これにより、特定した患部１３０の領域を可視化する投影画像が投影され、手術を行う医師等による患部１３０の領域の特定を支援することができる。

１−２．手術支援システムの構成
以下、手術支援システム１００の構成について、図１を用いて説明する。手術支援システム１００は、病院の手術室内に配置されて使用される。手術支援システム１００は、撮像照射装置２００と、メモリ２４０と、投影制御装置２５０とを備える。

また、図示していないが、手術支援システム１００は、撮像照射装置２００の配置を変更するための機構、例えば、撮像照射装置２００と機械的に接続された駆動アーム、及び手術支援システム１００の一式を載置する台座のキャスターなどを備える。上記の機構により、撮像照射装置２００は、患者１２０が対置される手術台１１０の鉛直上方または鉛直からある角度を持った上方に配置される。また、手術台１１０は、高さ及び向きを変更可能な駆動機構を備えてもよい。

撮像照射装置２００は、カメラ２１０、プロジェクタ２２０、及び励起光源２３０が、光学部２０１と共に一体的に組み付けられた装置である。撮像照射装置２００の構成の詳細については後述する。

メモリ２４０は、投影制御装置２５０が種々の演算を実行する際に、適宜アクセスを行う記憶媒体である。メモリ２４０は、例えばＲＯＭ及びＲＡＭで構成される。メモリ２４０は、本実施形態における記憶部の一例である。

投影制御装置２５０は、手術支援システム１００を構成する各部を統括制御する。投影制御装置２５０は、カメラ２１０、プロジェクタ２２０、励起光源２３０、及びメモリ２４０に電気的に接続され、各部をそれぞれ制御するための制御信号を出力する。投影制御装置２５０は、例えばＣＰＵで構成され、所定のプログラムを実行することによってその機能を実現する。なお、投影制御装置２５０の機能は、専用に設計された電子回路や再構成可能な電子回路（ＦＰＧＡ、又はＡＳＩＣ等）により実現されてもよい。

投影制御装置２５０は、例えば、カメラ２１０による撮像画像に対して種々の画像処理を行って、投影画像を示す映像信号（画像データ）を生成する。投影制御装置２５０は、本開示における画像生成部の一例である。

また、本実施形態において、手術支援システム１００は、表示制御装置１５０と、モニタ１６０と、マウス１７０とを備える。

表示制御装置１５０は、例えばＰＣ（パーソナルコンピュータ）で構成され、投影制御装置２５０に接続されている。表示制御装置１５０は、例えばＣＰＵを備え、モニタ１６０に表示する画像を生成する画像処理等を行う。表示制御装置１５０は、本開示における画像生成部の一例である。また、表示制御装置１５０は、本開示における記憶部の一例である内部メモリ（ＲＯＭ，ＲＡＭなど）を備える。

モニタ１６０は、例えば液晶ディスプレイ又は有機ＥＬディスプレイで構成され、画像を表示する表示面を有する。モニタ１６０は、本開示における表示部の一例である。

マウス１７０は、表示制御装置１５０に対してユーザが操作を入力するために用いられる。マウス１７０は、本開示における調整部の一例である。手術支援システム１００は、マウス１７０に代えて、又はこれに加えて、種々の調整部を含んでもよく、例えば、キーボード、タッチパッド、タッチパネル、ボタン、スイッチなどを含んでもよい。

表示制御装置１５０の操作者１４０（ユーザ）は、例えば手術中に、カメラ２１０の撮像画像をモニタ１６０において確認することができる。また、操作者１４０は、投影画像の種々の設定（例えば蛍光の強度分布に対するしきい値）を調整することができる。

１−３．撮像照射装置の構成
次に、撮像照射装置２００の構成の詳細について、図２を用いて説明する。図２は、手術支援システムにおける撮像照射装置２００の構成を示すブロック図である。

励起光源２３０は、光感受性物質を蛍光発光させるための励起光３００を照射する光源装置である。本実施形態では、光感受性物質としてＩＣＧを用いることから、励起光源２３０は、ＩＣＧの励起波長を含む波長帯（例えば７８０ｎｍ近傍）を有する励起光３００を照射する。励起光源２３０は、本実施形態における照射部の一例である。励起光源２３０は、投影制御装置２５０からの制御信号に従って、励起光３００の照射のＯＮ／ＯＦＦを切り替える。なお、励起光源２３０は、撮像照射装置２００とは別体で構成されてもよい。

カメラ２１０は、患者１２０の術野１３５などを含む対象物を撮像して撮像画像を生成する。カメラ２１０は、生成した撮像画像を示す画像データを投影制御装置２５０に伝送する。本実施形態では、カメラ２１０として、可視光領域とともにＩＣＧの蛍光８２０ｎｍ〜８６０ｎｍの波長帯の光に基づき撮像可能なカメラを用いる。カメラ２１０は、本実施形態における撮像部の一例である。カメラ２１０は、図２に示すように、撮像素子２１１と、望遠レンズ２１２と、光学フィルタ２１３とを備える。

撮像素子２１１は、例えばＣＣＤイメージセンサ又はＣＭＯＳイメージセンサなどで構成される。撮像素子２１１は、望遠レンズ２１２から入射する光が結像する撮像面を有する。

望遠レンズ２１２は、カメラ２１０の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。望遠レンズ２１２は、カメラ２１０における撮像光学系の一例である。望遠レンズ２１２に代えて、標準レンズ、中望遠レンズ又は超望遠レンズが用いられてもよい。

光学フィルタ２１３は、図２に示すように、望遠レンズ２１２の入射面に配置される。光学フィルタ２１３は、入射する光のうちで、ＩＣＧなどの光感受性物質から蛍光が生じ得る波長帯成分（例えば８５０ｎｍ近傍）を透過し、他の波長帯成分を遮断するバンドパスフィルタを含む。これにより、カメラ２１０は、ＩＣＧなどの蛍光に基づく画像を撮像することができる。

カメラ２１０は、蛍光に基づく画像とは別に、可視光或いは励起光等に基づく画像を撮像する機能を有してもよい。この場合、光学フィルタ２１３は、さらに、上記の蛍光のための波長帯成分を遮断し、可視光或いは励起光の波長帯成分を透過するフィルタ、及び各フィルタの切替え機構を含んでもよい。フィルタの切替え機構は、例えば投影制御装置２５０からの制御信号に従い、望遠レンズ２１２への入射光に対する上記各フィルタの挿入／抜去を切り替える。カメラ２１０は、可視光或いは励起光等に基づき対象物を表す画像を撮像する対象物撮像部の一例である。

プロジェクタ２２０は、例えばＤＬＰ方式、３ＬＣＤ方式又はＬＣＯＳ方式などのプロジェクタである。プロジェクタ２２０は、投影制御装置２５０から入力される映像信号に基づく投影画像を可視光で投影するように、投影光３１５を出射する。プロジェクタ２２０は、本実施形態において投影画像を投影面に表示する表示部の一例である。プロジェクタ２２０は、図２に示すように、投影光源２２１と、画像形成部２２２と、投影光学系２２３とを備える。

投影光源２２１は、例えばＬＤ（半導体レーザ）、ＬＥＤ又はハロゲンランプなどで構成される。投影光源２２１は、可視光を画像形成部２２２に照射する。投影光源２２１は、プロジェクタ２２０の投影方式に応じて適宜、単色の光源素子のみを有してもよいし、ＲＧＢ等の複数色の光源素子、或いは白色の光源素子を有してもよい。

画像形成部２２２は、ＤＭＤ又はＬＣＤなどの空間光変調素子を備える。画像形成部２２２は、空間光変調素子における画像形成面に、投影制御装置２５０からの映像信号に基づく画像を形成する。投影光源２２１からの光が、画像形成部２２２に形成された画像に応じて空間的に変調されることにより、投影光３１５が生成される。

投影光学系２２３は、プロジェクタ２２０の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。また、投影光学系２２３には、各種のレンズ位置をシフトするレンズシフト機構が組み込まれていてもよい。

なお、プロジェクタ２２０は、例えば台形補正およびレンズシフト機能などのプロジェクタ２２０特有の機能を実現する投影制御回路を有してもよい。また、上記の各機能は、投影制御装置２５０において実現されてもよい。

また、プロジェクタ２２０は、レーザ走査式であってもよく、走査方向に駆動可能なＭＥＭＳミラー或いはガルバノミラーを備えて構成されてもよい。

光学部２０１は、例えば、入射する光のうちの特定の波長帯成分を透過する一方、その他の波長帯成分を反射する光学特性を有するダイクロイックミラーで構成される。例えば、光学部２０１は（ＩＣＧの蛍光を含む）６５０ｎｍを上回る波長帯成分の光を透過し、（可視光を含む）６５０ｎｍを下回る波長帯成分の光を反射する。

光学部２０１の光学特性は、使用する光感受性物質の蛍光特性に応じて適宜、設定可能である。また、カメラ２１０が可視光による画像を撮像する機能を有する場合、光学部２０１は、可視光の一部を透過可能に構成され得る。例えば、光学部２０１に、可視光領域の一部の波長帯成分を透過する光学特性が設定されてもよいし、可視光の透過率が反射率よりも低い範囲内で設定されてもよい。

図２に示すように、光学部２０１は、カメラ２１０と、プロジェクタ２２０とのそれぞれに対向して配置される。光学部２０１は、上記の光学特性により、カメラ２１０の撮像面に向かう蛍光３１０を透過する一方、プロジェクタ２２０から照射された投影光３１５を反射する。反射した投影光３２０は、術野１３５上に照射される。

本実施形態では、光学部２０１は、術野１３５からの蛍光３１０などのカメラ２１０に入射する入射光の光軸と、術野１３５上に投影画像を投影する投影光３２０の光軸とが、光軸Ｊ１において一致するように導光する。これにより、カメラ２１０の撮像画像に基づく投影画像の位置ずれを低減することができる。

なお、本開示における光軸の一致には、適宜、許容誤差が設定されてもよい。例えば、角度が±５度の範囲内、或いは光軸の間隔が１ｃｍの範囲内の許容誤差において、各光軸が一致してもよい。

２．動作
以下、本実施形態にかかる手術支援システム１００の動作について説明する。

２−１．通常モードの動作
手術支援システム１００の通常モードの動作について、図３，４Ａ，４Ｂを用いて説明する。通常モードは、手術支援システム１００において手術を支援するための基本的な投影動作を行う動作モードである。

図３は、手術支援システム１００における通常モードの動作を説明するためのフローチャートである。図４Ａは、通常モードによる投影動作を行う前の手術支援システム１００における術野１３５の状態を示す。図４Ｂは、図４Ａの術野１３５に対して投影動作を行った状態を示す。

図３のフローチャートは、投影制御装置２５０によって実行される。本フローチャートによる処理は、カメラ２１０の光学フィルタ２１３が可視光及び励起光を遮断し、且つ蛍光３１０を透過するように設定された状態で行われる。

図３のフローチャートにおいて、まず、投影制御装置２５０は、励起光源２３０を駆動して、図４Ａに示すように、励起光３００を術野１３５に照射する（Ｓ１）。励起光３００の照射により、術野１３５における患部１３０が蛍光発光し、患部１３０からの蛍光３１０が撮像照射装置２００に入射する。

撮像照射装置２００において、蛍光３１０は図２に示すように、光学部２０１を透過し、カメラ２１０の光学フィルタ２１３を透過する。これにより、カメラ２１０は、撮像素子２１１において蛍光３１０を受光する。

次に、投影制御装置２５０は、例えばカメラ２１０を制御して術野１３５を撮像させ、カメラ２１０から撮像画像を取得する（Ｓ２）。ステップＳ２で取得される撮像画像には、患部１３０が発した蛍光３１０の受光によって生成される蛍光像が含まれる。

次に、投影制御装置２５０は、取得した撮像画像に基づく投影画像を生成するための画像処理を行う（Ｓ３）。投影制御装置２５０は、撮像画像中の蛍光像に対応する画像を生成し、映像信号としてプロジェクタ２２０に出力する。

ステップＳ３の画像処理において、投影制御装置２５０は、例えば、撮像画像における受光強度の分布に対して所定のしきい値に基づき二値化を行い、撮像画像中で蛍光像の領域と考えられる領域を特定する。次いで、投影制御装置２５０は、メモリ２４０に格納された種々のパラメータを参照し、特定した領域を含む画像に対してシフト、回転、及び拡大／縮小などの座標変換、並びに画像の歪み等の補正などを行う。これにより、撮像画像中の蛍光像に応じた特定の領域を表す画像が生成される。

次に、投影制御装置２５０は、生成した映像信号に基づく投影画像を投影するように、プロジェクタ２２０を制御する（Ｓ４）。投影制御装置２５０の制御により、プロジェクタ２２０において、投影制御装置２５０からの映像信号に応じた画像が、画像形成部２２２の画像形成面上に形成される。プロジェクタ２２０は、可視光で画像形成面上の画像を表す投影光３１５を生成するように投影光源２２１を駆動し、投影光学系２２３を介して光学部２０１に投影光３１５を出射する（図２参照）。

光学部２０１は、図２に示すように、可視光である投影光３１５を反射し、光軸Ｊ１に沿って投影光３２０を出射する。これにより、図４Ｂに示すように、撮像照射装置２００は術野１３５に投影光３２０を照射し、投影画像Ｇ３２０が、術野１３５における患部１３０に投影される。投影画像Ｇ３２０は、例えば単色の画像である。

以上の処理は、所定の周期（例えば１／６０〜１／３０秒）で繰り返し実行される。

以上の処理により、投影制御装置２５０が、カメラ２１０の撮像画像に基づき蛍光発光する患部１３０の領域を特定し、プロジェクタ２２０から可視光の投影画像Ｇ３２０が患部１３０に投影される。これにより、手術支援システム１００において、目視では視認することが困難な患部１３０を可視化することができる。手術支援システム１００により、医師等は患部１３０のリアルタイムの状態を視認することができる。

以上の説明では、投影画像Ｇ３２０が単色の画像の例を説明した。投影制御装置２５０は、例えば複数のしきい値を用いて撮像画像中の蛍光像の領域を多段階で判定することにより、多階調の投影画像を生成してもよい。また、投影制御装置２５０は、撮像画像における受光強度の分布を連続的に再現するように、投影画像を生成してもよい。また、投影画像は、複数色あるいはフルカラーで生成されてもよい。このような投影画像の各種設定は、例えば通常モードの実行前に、ユーザによって調整される。

２−２．調整モードについて
以下、本実施形態に係る手術支援システム１００における調整モードについて説明する。調整モードは、通常モードの実行中の撮像画像に基づく投影画像に関する各種設定を調整するための動作モードである。

２−２−１．動作の概要
手術支援システム１００における調整モードの動作の概要を、図５Ａ，５Ｂを用いて説明する。

図５Ａは、手術支援システム１００における蛍光画像５の画像データを例示する。図５Ｂは、図５Ａの蛍光画像５に基づき生成された投影画像６の画像データを例示する。蛍光画像５は、カメラ２１０が蛍光以外の光（例えば可視光、励起光など）の受光を遮断した状態で、臓器１３（図７Ｃ参照）などの人体における蛍光発光に基づく蛍光像１３ａを撮像した撮像画像である。

通常モードの手術支援システム１００では、図５Ａに示すような蛍光画像５に対して、上述のようにノイズ除去のための二値化等を行って投影画像６（図５Ｂ）を生成し（図３のＳ３）、投影画像６が臓器１３等の人体上に投影される。二値化のしきい値などを調整する方法としては、例えば、投影画像６を人体上に投影しながら、投影画像６を生成する元となる蛍光画像５をモニタ１６０（図１）に表示する方法が考えられる。

しかしながら、上記の調整方法では、操作者１４０（ユーザ）は、人体上に投影された投影画像６と、モニタ１６０に表示された蛍光画像５とのそれぞれに視線を向けて、見比べながらしきい値等の調整を行うこととなる。つまり、投影画像６の調整の際に、人体上の投影箇所とモニタ１６０との間で視線移動が必要になってしまう。

そこで、本実施形態の調整モードにおいては、調整対象の投影画像６と、投影画像６を生成するための蛍光画像５とを同軸上に重ね合わせて表示する。これにより、投影画像６の調整の際に、投影画像６と蛍光画像５とを見比べるための視線移動を省略でき、投影画像６に関する調整を行い易くすることができる。

また、本実施形態では、調整モードにおいて重ね合わせる画像を透過させて表示したり、臓器１３などの撮像の対象物に重畳させたりすることにより（図７Ａ〜７Ｃ参照）、調整中の投影画像６と蛍光画像５或いは臓器１３との関係を確認しやすくする。以下、本実施形態の調整モードにおける手術支援システム１００の動作の詳細を説明する。

２−２−２．調整モードの動作
手術支援システム１００における調整モードの動作について、図６〜８Ｂを参照して説明する。図６は、手術支援システム１００における調整モードの動作を説明するためのフローチャートである。

図６のフローチャートは、例えば調整前の通常モードの画像処理（図３のＳ３）を実行するための各種パラメータが予めメモリ２４０に記憶された状態において、投影制御装置２５０によって実行される。本フローチャートによる処理は、例えばユーザがマウス１７０を介して調整モードの開始を示す操作を行ったときに開始される。

まず、投影制御装置２５０は、励起光源２３０及びカメラ２１０を通常モードと同様に制御して（図３のＳ１，Ｓ２）、例えば図５Ａの蛍光画像５の画像データをカメラ２１０から取得する（Ｓ１１）。図５Ａの蛍光画像５は、臓器１３の蛍光像１３ａにおいて蛍光発光の輝度分布を含む。蛍光画像５の撮像及び取得は、所定の周期（例えば１／６０〜１／３０秒）で繰り返し行われる。

次に、投影制御装置２５０は、取得した蛍光画像５に基づいて、通常モードと同様の投影画像を生成するための画像処理（図３のＳ３）を行う（Ｓ１２）。図７Ａに、ステップＳ１２で生成される投影画像６の画像データを例示する。

図７Ａの例の画像データは、図５Ａの蛍光画像５に基づき生成された投影画像６を示しており、単色の投影領域６０を含む。投影領域６０は、図５Ａの蛍光画像５において特定のしきい値以上の輝度を有する画素の領域に対応している。投影制御装置２５０は、例えば、メモリ２４０に予め記録されたしきい値と、蛍光画像５の画素毎の輝度とを比較し、二値化を行うことによって図７Ａの画像データを生成する。

次に、投影制御装置２５０は、取得した蛍光画像５と生成した投影画像６の画像データに基づいて、重畳画像の画像合成を行う（Ｓ１３）。重畳画像は、蛍光画像５と投影画像６とが、画像処理（Ｓ１２）の前後で対応する位置において重ね合わされた画像である。図７Ｂに、ステップＳ１３において合成される重畳画像７の画像データを例示する。

図７Ｂの重畳画像７の画像データは、図７Ａの投影画像６が図５Ａの蛍光画像５の上に重なる重なりの順序を有する。ここで、画像間の重なりの順序は、合成結果の重畳画像７上で合成前の各画像５，６が優先的に表示される順序を表す。例えば、上記の順序により、図７Ｂの重畳画像７において、投影領域６０の表示が蛍光画像５の対応する領域よりも優先される。

ステップＳ１３において、投影制御装置２５０は、例えばアルファブレンディング法により、蛍光画像５と投影画像６との重なりを透過させるように重畳画像７を合成する。画像間の透過率は種々の値を設定可能であり、例えば重なりの順序が上側の画像の透過率を５０％に設定することで、下側の順序の画像が５０％分、透過する。また、図７Ｂの重畳画像７における投影領域６０以外の領域のように、上側の順序の画像において無着色の領域（図７Ａ参照）に関しては、下側の画像が露出する。投影制御装置２５０は、予めメモリ２４０に記録された重なりの順序、及び透過率に基づいて、図７Ｂの重畳画像７を合成する。

図６に戻り、次に、投影制御装置２５０は、合成した重畳画像７の画像データに基づいて、プロジェクタ２２０に画像データを示す映像信号を出力し、重畳画像７を投影によって表示させる（Ｓ１４）。図７Ｃに、ステップＳ１４における投影によって臓器１３上に表示された重畳画像７の表示例を示す。

図７Ｃに示すように、重畳画像７は、プロジェクタ２２０からの投影により、実際の臓器１３上に投影される。その結果、蛍光画像５及び投影画像６が臓器１３より優先的に表示されることとなる。また、図７Ｃの重畳画像７における投影画像６は、蛍光画像５を透過している。このような重畳画像７の投影表示により、ユーザは、視線移動することなく、投影領域６０が重なっている蛍光画像５の輝度分布の範囲、及び臓器１３の様子などを一目で確認することができる。

手術支援システム１００の調整モードでは、例えば図７Ｃに示すように重畳画像７が表示された状態において（Ｓ１４）、ユーザの操作を受け付ける。例えば、ユーザは表示制御装置１５０（図１）のマウス１７０を用いて、表示中の重畳画像７に対して種々の調整を行うための操作を入力する。表示制御装置１５０は、入力された操作内容を示す指示を投影制御装置２５０に送信する。

投影制御装置２５０は、表示制御装置１５０からの指示に基づき、入力された操作が重畳画像７における調整のための操作であるか否かを判断する（Ｓ１５）。投影制御装置２５０は、入力された操作が調整のための操作であると判断すると（Ｓ１５でＹＥＳ）、操作内容に従って各種パラメータを調整し、調整したパラメータを用いてステップＳ１２以降の処理を行う。これにより、ステップＳ１４において表示される重畳画像７が更新される。図８Ａに、図７Ｃに示す重畳画像７から更新された重畳画像７’の表示例を示す。

図８Ａでは、図７Ａの投影画像６を生成するために用いたしきい値を変更する例を示している。例えば、ユーザがしきい値を引き上げる（又は引き下げる）操作を行うと、投影制御装置２５０は、ステップＳ１５において「ＹＥＳ」に進む。投影制御装置２５０は、続くステップＳ１２において引き上げた（又は引き下げた）しきい値を用いて二値化等の画像処理を行い、ステップＳ１４において、図８Ａに示すように新たな投影領域６１を含む重畳画像７’を表示する。

図８Ａにおける投影領域６１は、しきい値が引き上げられたことに応じて、図７Ｃの投影領域６０よりも小さくなっている。図７Ｃ，８Ａの重畳画像７，７’によると、ユーザは、調整中の投影領域６０，６１の範囲の変化と蛍光画像５及び臓器１３とを同時に見ながらしきい値を調整することができる。例えば、ユーザは、投影領域６１が所望の範囲に到るまでしきい値の調整を繰り返し（Ｓ１５でＹＥＳ）、適切なしきい値を見つけた場合に、調整の完了を示す操作を入力する。

図６に戻り、投影制御装置２５０は、調整完了の操作が入力された場合、入力された操作が調整のための操作ではないと判断し（Ｓ１５でＮＯ）、調整結果の記録を行う（Ｓ１６）。本処理は、調整モードにおいて調整された投影画像６’を通常モード時に再現するための設定保存を行う処理である（図８Ａ，Ｂ参照）。例えば、投影制御装置２５０は、表示中の重畳画像７’を生成するためにステップＳ１２の画像処理において用いた各種パラメータをメモリ２４０に記録する。

投影制御装置２５０は、ステップＳ１６において調整結果を記録することにより、本フローチャートによる処理を終了する。

以上の処理によると、手術支援システム１００の調整モード中に重畳画像７（図７Ｃ）において、蛍光画像５（図５Ａ）と、蛍光画像５に基づく投影画像６（図７Ａ）とが、同軸上で実際の臓器１３に重畳して表示される（Ｓ１４）。これにより、ユーザが、蛍光画像５及び臓器１３の様子を確認しながら投影画像６を調整しやすくすることができる。図８Ｂに、調整モードによる調整後の投影画像６’の画像データを例示する。

図８Ｂは、図８Ａの例の調整後に実行された通常モードにおける投影画像６’を示している。調整後の通常モードの実行時に、投影制御装置２５０は、図６のステップＳ１６においてメモリ２４０に記録された各種パラメータを用いて、投影画像６’を生成するための画像処理（図３のＳ３）を行う。これにより、図８Ｂに示すように、通常モードで投影される投影画像６’において、調整時の重畳画像７’（図８Ａ）に含まれる投影領域６１が再現される。このように、ユーザは、所望の調整を行った投影画像６’を通常モードにおいて使用することができる。

２−２−３．調整モードの動作例
以上の説明では、図８Ａ，８Ｂを用いて二値化のしきい値を調整する例を説明した。手術支援システム１００の調整モードでは、しきい値に限らず、種々の調整を行うことができる。以下、手術支援システム１００の調整モードにおける動作例を説明する。

（１）投影画像の調整について
手術支援システム１００の調整モードにおいては、投影画像６’における階調の調整が行われてもよい。図９Ａは、階調の調整時における重畳画像７’の表示例を示す。図９Ｂは、図９Ａによる調整後の投影画像６’の画像データを例示する。

図９Ａ，９Ｂにおいては、図８Ｂの投影画像６’から高階調化を行う例を示している。例えば、ユーザが４階調、８階調など所望の階調数を指定することにより（Ｓ１５でＹＥＳ）、投影制御装置２５０は、指定された階調数に応じた多値化（４値化、８値化など）を含む画像処理を行う（Ｓ１２）。これにより、重畳画像７’の表示が図８Ａから図９Ａに更新される（Ｓ１４）。図９Ａの重畳画像７’においては、投影領域６１が複数の階調を有する。調整モードでは、階調毎のしきい値の調整などが行われてもよい。

図９Ａの重畳画像７’による調整結果を保存することで（Ｓ１６）、その後の通常モードでは、図９Ｂに示すように、図９Ａの投影領域６１と同様の階調で着色された投影画像６’が投影される。このように、図８Ｂから図９Ｂへの投影画像６’の高階調化が為される。また、投影画像６’の低階調化についても、上記と同様に行うことができる。

また、調整モードにおいては、例えば外科手術の切断箇所を示す切断線として用いるために、投影画像６における境界線の調整が行われてもよい。図１０Ａは、境界線の調整時における重畳画像７’の第１の表示例を示す。図１０Ｂは、図１０Ａによる調整後の投影画像６’の画像データを例示する。

図１０Ａ，１０Ｂにおいては、図８Ｂの投影画像６’に境界線を追加する例を示している。この場合、投影制御装置２５０は、ステップＳ１２の画像処理において、二値化或いは多値化後の画像上で境界の抽出処理を行い、投影領域６１の周囲に境界線６２を描出する。これにより、続くステップＳ１４において、図１０Ａに示すように、図８Ａの重畳画像７に境界線６２が付加される。このような調整結果の保存（Ｓ１６）により、その後の通常モードでは、図１０Ｂに示すように、図８Ｂの投影画像６’に境界線６２が追加される。

上記の例（図１０Ａ，１０Ｂ）では、投影画像６’（図８Ｂ）に境界線６２を追加したが、境界線６２のみを通常モードで投影するように調整されてもよい。図１１Ａは、境界線の調整時における重畳画像７’の第２の表示例を示す。図１１Ｂは、図１１Ａによる調整後の投影画像６’の画像データを例示する。

例えば、投影制御装置２５０は、ステップＳ１２の画像処理において、ユーザの指定に基づき、投影領域６１内部の着色を省略する（図１１Ａ）。図１１Ａの調整結果により、その後の通常モードにおいて図１１Ｂに示すように境界線６２のみの投影画像６’が投影される。

また、投影画像６’における境界線６２の調整に関して、例えば、投影画像６’中の境界線６２の投影位置が、実際の境界の位置よりも所定間隔をあけた位置になるように調整されてもよい。

また、調整モードにおいては、テキスト情報、画像情報など種々の付加情報が通常モードにおいて投影されるように調整が行われてもよい。また、投影画像６の元となる蛍光画像５の感度の調整などが行われてもよい。また、投影画像６の光量、レベルなどの調整が行われてもよい。

（２）重畳画像の表示調整について
以上のような通常モードの投影画像６等に対する調整を行い易くするために、本実施形態に係る調整モードにおいては、重畳画像７自体の表示の調整が行われてもよい。以下、重畳画像７の表示調整の動作例について、図１２Ａ，図１２Ｂを用いて説明する。

図１２Ａは、表示調整された重畳画像７”の第１の表示例を示す。図１２Ｂは、表示調整された重畳画像７”の表示調整における第２の表示例を示す。

重畳画像７”の表示調整として、例えば、重畳画像７”中で重なり合う画像間の透過率の変更を行うことができる。例えば、ユーザがマウス１７０を介して所望の透過率を指定することにより（Ｓ１５でＹＥＳ）、投影制御装置２５０は、続くステップＳ１３の画像合成において、指定された透過率を用いて重畳画像７”を合成する。

図１２Ａは、図８Ａの重畳画像７’から投影画像６’（投影領域６１）の透過率を高くするように調整された場合の重畳画像７”を例示している。図１２Ａに示すように、高透過率に調整することで、重畳画像７”において投影領域６１の表示が薄くなり、対応する蛍光画像５の輝度分布の表示が濃くなる。これにより、投影領域６１内部における蛍光画像５の輝度分布などの状態が見易くなり、例えば二値化或いは多値化のしきい値等の調整を行い易くすることができる。

図１２Ｂは、図８Ａの重畳画像７’から投影画像６’の透過率を低くするように調整された場合を例示している。図１２Ｂに示すように、低透過率に調整することで、重畳画像７”における投影領域６１の表示を通常モードでの投影される状態に近づけることができる（図８Ｂ参照）。このため、例えば、投影画像６’の光量、レベルなどの調整を行い易くすることができる。

重畳画像７”における透過率は、例えば投影画像６’及び蛍光画像５のそれぞれに設定できる。それぞれの透過率は、０〜１００％の範囲内で適宜、変更されてもよい。また、投影画像６’の透過率が０％の場合には、投影領域６１に重なる蛍光画像５の表示が省略されてもよい。また、投影画像６’及び蛍光画像５全体の透過率を変更してもよい。

また、重畳画像７”の表示調整は、透過率の変更に限らず、例えば、重畳画像７”において画像を重ねる順序を切り替える調整が行われてもよい。例えば、ユーザがマウス１７０を介して順序を切り替える操作を行うことにより（Ｓ１５でＹＥＳ）、投影制御装置２５０は、続くステップＳ１３において、切り替えられた順序に従って重畳画像７”を合成する。これにより、蛍光画像５と投影画像６の対応関係を確認し易くすることができる。

２−２−４．モニタ表示による調整モードについて
上記の説明では、手術支援システム１００の調整モードにおいて、重畳画像７が、プロジェクタ２２０から投影されたが、モニタ１６０に表示されてもよい（図１参照）。モニタ表示による調整モードについて、図１３Ａ〜１３Ｄを参照して説明する。

図１３Ａは、モニタ表示による調整モードにおける対象物画像８の画像データの一例である。図１３Ｂは、蛍光画像５の画像データの一例である。図１３Ｃは、投影画像６の画像データの一例である。図１３Ｄは、モニタ１６０における重畳画像７０の表示例である。

モニタ表示による調整モードの実行時に、カメラ２１０（図１）は、例えば光学フィルタ２１３（図２）のフィルタ機構の切り替え制御によって蛍光画像５の撮像とは時分割で、可視光或いは励起光（赤外光）などによって対象物画像８を撮像する。なお、光学部２０１は、可視光の一部を透過可能に構成されている。対象物画像８は、手術支援システム１００における対象物の外形などを表す画像である。図１３Ａの対象物画像８は、臓器１３を対象物として（図５Ｂ参照）、臓器の画像１３ｂを含む。

モニタ表示による調整モードにおいては、例えば、表示制御装置１５０が、図６のフローチャートと同様の処理を実行する。図６のステップＳ１１において、表示制御装置１５０はカメラ２１０から、蛍光画像５（図１３Ｂ）を取得するとともに、対象物画像８（図１３Ａ）を取得する。

次に、表示制御装置１５０は、取得した蛍光画像５（図１３Ｂ）に基づいて、例えば投影制御装置２５０と同様の画像処理（Ｓ１２）を実行し、図１３Ｃに示すように投影画像６の画像データを生成する。次に、表示制御装置１５０は、対象物画像８、蛍光画像５および投影画像６の画像データに基づいて、重畳画像７０を合成し（Ｓ１３）、図１３Ｄに示すように合成した重畳画像７０をモニタ１６０に表示する（Ｓ１４）。

モニタ表示による調整モードでは、図１３Ｄに示すように、重畳画像７０において、対象物画像８（図１３Ａ）と蛍光画像５（図１３Ｂ）と投影画像６（図１３Ｂ）との三つの画像データが重ね合わされる。これにより、モニタ１６０上で、臓器の画像１３ｂと、投影領域６０との位置関係などを確認でき、各種調整を行い易くすることができる。なお、蛍光画像５と投影画像６とを確認することにより調整が行えるような場合には、モニタ１６０に表示する重畳画像７０において対象物画像８が省略されてもよい。

また、図１３Ｄの重畳画像７０では、画像間の重なりの順番は、例えば上から順に投影画像６（図１３Ｃ）、蛍光画像５（図１３Ｂ）、及び対象物画像８（図１３Ａ）の順番に設定される。これにより、蛍光画像５及び対象物画像８よりも投影画像６を優先的に表示できる。画像間の透過率及び重なりの順序は、上述のプロジェクタ２２０による調整モードの場合と同様に、ユーザの操作によって適宜、調整することができる。なお、最も下に表示される画像（図１３Ｄにおいては対象物画像８）の透過率を０％（透過させない）とし、他の画像の透過率を調整してもよい。

３．効果等
以上のように、本実施形態において、手術支援システム１００は、は、励起光源２３０と、カメラ２１０と、投影制御装置２５０と、プロジェクタ２２０と、マウス１７０とを備える。励起光源２３０は、所定の波長を有する励起光を臓器１３などの対象物に照射する。カメラ２１０は、励起光により励起される蛍光に基づく蛍光画像５を撮像する。投影制御装置２５０は、カメラ２１０が撮像した蛍光画像５に基づく投影画像６を生成する。プロジェクタ２２０は、投影画像６を表示する。マウス１７０は、ユーザの操作に基づき投影画像６を調整する。プロジェクタ２２０は、マウス１７０による投影画像６の調整時において、投影画像６と蛍光画像５とが重なり合った重畳画像７を表示する。

以上の手術支援システム１００によると、重畳画像７において投影画像６と蛍光画像５とが重なり合って表示される。これにより、手術支援システム１００で表示される投影画像６などの各種表示画像の調整を行い易くすることができる。

本実施形態において、投影制御装置２５０は、蛍光画像５と投影画像６との重なりを透過させるように、重畳画像７を生成する。これにより、重畳画像７中で蛍光画像５と投影画像６との重なりが可視化され、手術支援システム１００における各種調整を行い易くすることができる。

また、本実施形態において、マウス１７０は、ユーザの操作に基づき、重畳画像７中で重なり合う画像間の透過率を変更する。これにより、ユーザは所望の透過率に調整して重畳画像７中の画像間の重なりを見易くすることができる。

また、本実施形態において、プロジェクタ２２０が、重畳画像７を臓器１３などの対象物に投影する表示部を構成する。これにより、投影画像６及び蛍光画像５と、実際の対象物との位置関係を直接、確認することができる。

また、本実施形態において、モニタ１６０が、重畳画像７０を表示する表示面を有する表示部を構成してもよい。これにより、ユーザは、モニタ１６０から特に視線移動せずに、投影画像６等の調整を行うことができる。

また、本実施形態において、カメラ２１０は、蛍光画像５を撮像する撮像部として機能すると共に、さらに、対象物を表す対象物画像８を撮像する対象物撮像部としても機能する。モニタ１６０が表示する重畳画像７０は、対象物画像８と、蛍光画像５と、投影画像６とが重なり合った画像である。これにより、モニタ１６０上で、投影画像６及び蛍光画像５と、対象物との位置関係を確認することができる。

また、本実施形態において、プロジェクタ２２０或いはモニタ１６０による表示部は、重畳画像７，７０において、蛍光画像５よりも投影画像６を優先的に表示する。これにより、ユーザが調整対象の投影画像６を視認しやすくなる。

また、本実施形態において、マウス１７０は、ユーザの操作に基づき、重畳画像７中で重なり合う画像の間の順序を切り替える。これにより、重畳画像７中でユーザ所望の順序において優先的に画像表示をすることができる。

また、本実施形態において、マウス１７０は、ユーザの操作に基づき、蛍光画像５に基づき投影画像６を生成するためのしきい値、投影画像６の階調および境界線の内の少なくとも一つを調整する。このように、手術支援システム１００における投影画像６の種々の調整を行うことができる。

また、本実施形態において、手術支援システム１００は、マウス１７０から調整された表示画像の調整結果を記録するメモリ２４０をさらに備える。投影制御装置２５０は、メモリ２４０に記録された調整結果を参照して、蛍光画像５に基づく投影画像６を生成する。これにより、調整モードにおける調整結果を、通常モードにおいて再現することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記の実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

上記の実施形態１では、プロジェクタ２２０によって視覚支援を行う手術支援システム１００を説明したが、本開示に係る表示システムは、手術支援システム１００に限定されない。表示システムの変形例について、図１４を参照して説明する。

図１４は、表示システムの変形例である内視鏡システム１００Ａの構成を示す。内視鏡システム１００Ａは、図１４に示すように、内視鏡１０と、カメラ２１０と、励起光源２３０と、表示制御装置１５０と、モニタ１６０と、マウス１７０とを備える。上記の内視鏡システム１００Ａにおける内視鏡１０以外の各部は、図１の手術支援システム１００と同様に構成される。内視鏡システム１００Ａは、内視鏡１０が患者の体内に挿入された際に、体内の蛍光発光などに関する視覚支援をモニタ１６０の表示によって行うシステムである。

内視鏡システム１００Ａにおいて、例えば、カメラ２１０及び励起光源２３０にはそれぞれ、内視鏡１０を構成する光ファイバが接続される。カメラ２１０は、実施形態１と同様に、蛍光画像及び対象物画像を撮像する。対象物画像には、例えば内視鏡１０が挿入された体内の各部、及び患部が対象物として撮像される。

本システム１００Ａの通常モードにおいて、表示制御装置１５０は、カメラ２１０からの蛍光画像に基づき、実施形態１の通常モードの画像処理（図３のＳ１２）と同様の処理を行って加工画像を生成する。モニタ１６０は、例えば加工画像を表示したり、対象物画像に加工画像を重畳した画像を表示したりする。上記の各画像は、それぞれ本システム１００Ａにおける表示画像の一例である。

本システムの調整モードにおいて、表示制御装置１５０は、実施形態１と同様に、対象物画像、蛍光画像及び加工画像の三つの画像を重ね合わせて重畳画像を合成し、モニタ１６０において重畳画像を表示する（図１３Ａ〜１３Ｄ参照）。実施形態１の調整モードと同様に、ユーザは、マウス１７０を操作することにより、モニタ１６０に表示された重畳画像において種々の調整を行うことができる。

上記の各実施形態では、医療用途における表示システムの適用例を説明したが、本開示における表示システムはこれには限定されない。例えば、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う必要がある場合、本開示における表示システムを適用することができる。

具体的には、工事現場や採掘現場、建築現場、材料を加工する工場などにおける、目視では状態変化を確認できないような対象物に蛍光材料を塗布し、練りこみ、或いは流し込んで、カメラ２１０による撮像の対象としてもよい。発光ではなく、発熱箇所を熱センサで検出して、その部分だけ或いは、境界だけを走査するようにしてもよい。

また、上記の各実施形態では、カメラ２１０が撮像部且つ対象撮像部を構成する例について説明したが、これに限らず、撮像部と対象物撮像部とが別体のカメラで構成されもよい。この場合、蛍光画像を撮像するため受光特性と、対象物画像を撮像するための受光特性とをそれぞれのカメラに設定することができる。

また、上記の各実施形態では、一つのプロジェクタ２２０から蛍光画像５と投影画像６とを画像合成した重畳画像７を投影表示したが、これに限らない。例えば、表示部を構成する複数のプロジェクタを用いて、蛍光画像５と投影画像６とを別々のプロジェクタから同軸上に重ね合わせて投影することにより、重畳画像が表示されてもよい。

また、上記の各実施形態では、光感受性物質から生じる蛍光を透過する光学部２０１を用いて説明したが、これに限らず、本開示における光学部として、蛍光を反射又は屈折するダイクロイックミラー又はプリズムを用いてもよい。この場合、適宜、カメラ２１０及びプロジェクタ２２０の配置を入れ替えてもよい。また、本開示における光学部として、所定の偏光成分の光の進行方向を変更する偏光板などを用いてもよい。この場合、光の偏光成分に応じて、カメラ２１０又はプロジェクタ２２０に選択的に入射させることができる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。

本開示における表示システムは、医療用途、工事現場、採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認しづらいような対象物に対して作業を行う際に適用可能である。

Claims (5)

1. 非可視光領域の波長の光を対象物に照射する照射部と、
   前記対象物において前記非可視光領域の波長の光により励起される光に基づく非可視光画像と可視光領域の光に基づく可視光画像とを撮像する撮像部と、
   前記非可視光画像に基づく投影画像を生成する画像生成部と、
   前記投影画像を前記対象物に可視光にて投影する投影部と、
   前記対象物において前記撮像部の光軸と前記投影部の光軸を一致させる光学部と、
   前記可視光画像を表示せずに前記非可視光画像と前記投影画像とを同軸上に重畳して表示する表示部と、
   前記表示部上でユーザの操作に基づき前記投影画像を調整する調整部と、
   を備え、
   前記投影部は、前記調整部で調整した前記投影画像を投影する表示システム。
2. 前記調整部は、ユーザの操作に基づき、前記非可視光画像に基づき前記投影画像を生成するためのしきい値、前記投影画像の階調および境界線の内の少なくとも一つを調整し、
   前記投影部は、前記調整部で調整した前記投影画像を投影する請求項１に記載の表示システム。
3. 前記調整部は、ユーザの操作に基づき、前記投影画像の透過率を変更し、
   前記投影部は、前記調整部で変更した透過率に基づき前記投影画像を投影する請求項１に記載の表示システム。
4. 前記調整部は、ユーザの操作に基づき、前記非可視光画像の透過率を変更し、
   前記表示部は、前記調整部で変更した透過率に基づき前記非可視光画像を表示する請求項１に記載の表示システム。
5. 前記調整部による調整結果に応じて、前記非可視光画像と、当該非可視光画像に基づき生成される投影画像との間の対応関係を設定する第１の動作モードと、
   前記調整部によって設定された対応関係において前記撮像部が撮像した非可視光画像に対応する投影画像を前記投影部に投影させる第２の動作モードと
   を有する制御部をさらに備える請求項１に記載の表示システム。

Images