JP6921987B2 - 投影装置 - Google Patents

Description

本開示は、本開示は、被写体の撮像画像に基づく画像を投影する投影装置に関する。

特許文献１は、医療分野において用いられる光学撮像システムを開示している。特許文献１の光学撮像システムは、術野を撮像する電子撮像装置と、手術中の術野の撮像結果の可視光像を投影するプロジェクタと、電子撮像装置及びプロジェクタの光軸を同一の光軸に揃える光学素子とを備えている。光学撮像システムは、電子撮像装置において術野の蛍光像を撮像し、撮像結果の蛍光像を可視化するための投影画像をプロジェクタから投影している。

米国特許出願公開第２００８／０００４５３３号明細書

本開示の目的は、非可視光の撮像画像に基づく可視光の投影画像を投影する際に、可視光における撮像を精度良く行うことができる投影装置を提供することにある。

本開示における投影装置は、非可視撮像部と、投影部と、可視撮像部と、撮像光学系と、導光部と、遮光部とを備える。非可視撮像部は、非可視光における被写体の非可視光画像を撮像する。投影部は、非可視光画像に基づく投影画像を可視光で被写体に投影する。可視撮像部は、可視光において投影画像が投影された被写体を撮像する。撮像光学系は、非可視撮像部及び可視撮像部に集光する光量を調整する絞りを備える。導光部は、撮像光学系に入射する光を導光すると共に投影部から出射する光を導光する。遮光部は、導光部から空間をあけて配置される。撮像光学系の被写界深度の範囲内に被写体が配置された状態において、被写界深度の近点から撮像光学系までの光学距離と、遮光部から撮像光学系までの光学距離との間の距離差が、被写体の前方被写界深度よりも長くなるように、絞りの絞り値が設定されている。

本開示における投影装置によると、絞りの設定により、非可視光の撮像画像に基づく可視光の投影画像を投影する際に、可視光における撮像を精度良く行うことができる。

実施の形態１にかかる手術支援システムの構成を示す概略図 手術支援システムにおける撮像照射装置の構成を示すブロック図 手術支援システムにおける投影動作を説明するためのフローチャート 手術支援システムにおける投影前の術野の状態を例示する図 手術支援システムにおける投影時の術野の状態を例示する図 手術支援システムにおける可視光の光路を説明するための図 撮像照射装置に入射する光の光学距離を説明するための図 手術支援システムにおける多重像を説明するための図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
本開示に係る投影装置を備えた投影システムの具体的な実施例として、手術支援システムを説明する。

１．構成
１−１．手術支援システムの概要
実施の形態１にかかる手術支援システムの概要を、図１を用いて説明する。図１は、実施の形態１にかかる手術支援システム１００の構成を示す概略図である。

手術支援システム１００は、カメラ２１０、プロジェクタ２２０及び励起光源２３０を備える。手術支援システム１００は、手術室等において医師等が患者に対して行う手術を、投影画像を用いて視覚的に支援するシステムである。手術支援システム１００を使用する場合に、手術を受ける患者１２０には、予め光感受性物質が投与される。

光感受性物質は、励起光に反応して蛍光を発する物質である。光感受性物質としては、例えばＩＣＧ（インドシアニングリーン）などが用いられる。本実施形態では、光感受性物質の一例として、ＩＣＧを用いた場合を説明する。ＩＣＧは、波長７６０〜７８０ｎｍ近傍の赤外領域の励起光が照射されることにより、波長８００〜８６０ｎｍの赤外領域の蛍光を発する。

光感受性物質は、患者１２０に投与されると、血液又はリンパ液の流れが滞っている患部１３０に蓄積する。このため、励起光の照射に応じて蛍光発光する領域を検出することにより、患部１３０の領域を特定することが可能となる。

ここで、患部１３０が発する蛍光は微弱であったり、蛍光の波長帯が非可視領域又は非可視領域近傍であったりするため、医師等は、術野を目視しても、患部１３０の領域を特定することが困難である。そこで、手術支援システム１００では、カメラ２１０を用いて蛍光３１０を発する患部１３０の領域を特定する。さらに、特定した患部１３０が人間に視認可能となるように、プロジェクタ２２０から患部１３０に可視光の投影光３２０を照射する。これにより、特定した患部１３０の領域を可視化する投影画像が投影され、手術を行う医師等による患部１３０の領域の特定を支援することができる。

１−２．手術支援システムの構成
以下、手術支援システム１００の構成について、図１を用いて説明する。手術支援システム１００は、病院の手術室内に配置されて使用される。手術支援システム１００は、撮像照射装置２００と、メモリ２４０と、投影制御装置２５０とを備える。

また、図示していないが、手術支援システム１００は、撮像照射装置２００の配置を変更するための機構、例えば、撮像照射装置２００と機械的に接続された駆動アーム、及び手術支援システム１００の一式を載置する台座のキャスターなどを備える。上記の機構により、撮像照射装置２００は、患者１２０が載置される手術台１１０の鉛直上方または鉛直方向からある角度を持った上方に配置される。また、手術台１１０は、高さ及び向きを変更可能な駆動機構を備えてもよい。

撮像照射装置２００は、カメラ２１０、プロジェクタ２２０、及び励起光源２３０が、ダイクロイックミラー２０１と共に一体的に組み付けられた投影装置の一例である。撮像照射装置２００の構成の詳細については後述する。

メモリ２４０は、投影制御装置２５０が種々の演算を実行する際に、適宜アクセスを行う記憶媒体である。メモリ２４０は、例えばＲＯＭ及びＲＡＭで構成される。メモリ２４０は、本実施形態における記憶部の一例である。

投影制御装置２５０は、手術支援システム１００を構成する各部を統括制御する。投影制御装置２５０は、カメラ２１０、プロジェクタ２２０、励起光源２３０、及びメモリ２４０に電気的に接続され、各部をそれぞれ制御するための制御信号を出力する。投影制御装置２５０は、例えばＣＰＵで構成され、所定のプログラムを実行することによってその機能を実現する。なお、投影制御装置２５０の機能は、専用に設計された電子回路や再構成可能な電子回路（ＦＰＧＡ、又はＡＳＩＣ等）により実現されてもよい。

投影制御装置２５０は、例えば、カメラ２１０による撮像画像に対して種々の画像処理を行って、投影画像を示す映像信号（画像データ）を生成する。投影制御装置２５０は、本開示における画像生成部の一例である。

また、本実施形態において、手術支援システム１００は、表示制御装置１５０と、モニタ１６０と、マウス１７０とを備える。

表示制御装置１５０は、例えばＰＣ（パーソナルコンピュータ）で構成され、投影制御装置２５０に接続されている。表示制御装置１５０は、例えばＣＰＵを備え、モニタ１６０に表示する画像を生成する画像処理等を行う。表示制御装置１５０は、本開示における画像生成部の一例である。また、表示制御装置１５０は、本開示における記憶部の一例である内部メモリ（ＲＯＭ，ＲＡＭなど）を備える。

モニタ１６０は、例えば液晶ディスプレイ又は有機ＥＬディスプレイで構成され、画像を表示する表示面を有する。モニタ１６０は、本開示における表示部の一例である。

マウス１７０は、表示制御装置１５０に対してユーザが操作を入力するために用いられる。マウス１７０は、本開示における調整部の一例である。手術支援システム１００は、マウス１７０に代えて、又はこれに加えて、種々の調整部を含んでもよく、例えば、キーボード、タッチパッド、タッチパネル、ボタン、スイッチなどを含んでもよい。

表示制御装置１５０の操作者１４０（ユーザ）は、例えば手術中に、カメラ２１０の撮像画像をモニタ１６０において確認することができる。また、操作者１４０は、投影画像の種々の設定（例えば蛍光の強度分布に対するしきい値）を調整することができる。

１−３．撮像照射装置の構成
撮像照射装置２００の構成の詳細について、図２を用いて説明する。図２は、手術支援システムにおける撮像照射装置２００の構成を示すブロック図である。撮像照射装置２００は、励起光源２３０と、カメラ２１０と、ズームレンズ２１５と、光学フィルタ２１６と、プロジェクタ２２０と、テレコンバージョン（テレコン）レンズ２２１と、ダイクロイックミラー２０１と、遮光部２０２とを備える。撮像照射装置２００は、術野１３５等の被写体までの距離（高さ）が例えば１ｍ等の位置に配置される。

励起光源２３０は、光感受性物質を蛍光発光させるための励起光３００を照射する光源装置である。本実施形態では、光感受性物質としてＩＣＧを用いることから、励起光源２３０は、ＩＣＧの励起波長を含む波長帯（例えば７６０〜７８０ｎｍ近傍）を有する励起光３００を照射する。励起光源２３０は、本実施形態における照明部の一例である。励起光源２３０は、投影制御装置２５０からの制御信号に従って、励起光３００の照射のＯＮ／ＯＦＦを切り替える。なお、励起光源２３０は、撮像照射装置２００とは別体で構成されてもよい。

カメラ２１０は、患者１２０の術野１３５などを含む被写体を撮像して撮像画像を生成する。カメラ２１０は、生成した撮像画像を示す画像データを投影制御装置２５０に伝送する。本実施形態では、カメラ２１０は、図２に示すように、ＩＲセンサ２１１と、ＲＧＢセンサ２１２と、プリズム２１３とを備える。

ＩＲセンサ２１１は、ＩＣＧの蛍光８００ｎｍ〜８６０ｎｍの波長帯を含む赤外光（非可視光の一例）における撮像を行って、撮像画像として非可視光画像を生成する。ＩＲセンサ２１１は、例えばＣＭＯＳイメージセンサ又はＣＣＤイメージセンサなどで構成される。ＩＲセンサ２１１は、赤外光以外の光を遮断するフィルタ等を含む。ＩＲセンサ２１１は、本実施形態における非可視撮像部の一例である。

ＲＧＢセンサ２１２は、例えばＲＧＢのカラーフィルタが画素毎に設けられたＣＭＯＳイメージセンサ又はＣＣＤイメージセンサなどで構成される。ＲＧＢセンサ２１２は、可視光における撮像を行い、複数色（ＲＧＢ）の可視光画像を生成する。ＲＧＢセンサ２１２は、本実施形態における可視撮像部の一例である。可視撮像部は、ＲＧＢセンサ２１２に限らず、例えば、モノクロのイメージセンサであってもよい。

プリズム２１３は、入射する光において、可視光成分を透過し、赤外光成分を反射する。図２に示すように、プリズム２１３は、ズームレンズ２１５とＲＧＢセンサ２１２との間に配置される。また、プリズム２１３の反射面側には、ＩＲセンサ２１１が配置される。プリズム２１３は、カメラ２１０の内部に設けられる内部光学系の一例である。カメラ２１０の内部光学系はプリズム２１３に限らない。例えば、光路長の調整部材が、ＩＲセンサ２１１及び／又はＲＧＢセンサ２１２とプリズム２１３との間に配置されてもよい。

ズームレンズ２１５は、カメラ２１０に取り付けられ、外部からの光をカメラ２１０内部に集光する。ズームレンズ２１５は、カメラ２１０の画角（ズーム値）、被写界深度、及びフォーカス等を調整する。ズームレンズ２１５は、レンズ２１５ａを含む各種レンズ素子、および絞り２１４を備える。絞り２１４は、例えば開口絞りである。絞り２１４は、開口度合いを示す絞り値（例えばＦ値）に応じて、ズームレンズ２１５が集光する光の光量を調整する。

ズームレンズ２１５によるズーム値、及び絞り２１４の絞り値（Ｆ値）等は、例えば外部から設定可能である。ズームレンズ２１５は、本実施形態における撮像光学系の一例である。撮像光学系は、ズームレンズ２１５に限らず、例えばカメラ２１０の内部光学系や外部の各種光学素子を含めてもよいし、カメラ２１０に内部光学系として組み込まれてもよい。

光学フィルタ２１６は、例えば図２に示すように、ズームレンズ２１５の入射面に配置される。光学フィルタ２１６は、入射する光において、励起光の波長７６０〜７８０ｎｍを含む６８０〜８２５ｎｍの波長帯成分を遮断するバンドカットフィルタで構成される。

プロジェクタ２２０は、例えばＤＬＰ方式、３ＬＣＤ方式又はＬＣＯＳ方式などのプロジェクタである。プロジェクタ２２０は、投影制御装置２５０から入力される映像信号に基づく投影画像を可視光で投影するように、投影光３１５を出射する。プロジェクタ２２０は、本実施形態における投影部の一例である。プロジェクタ２２０は、例えば光源、画像形成部、及び内部光学系などを備える。

プロジェクタ２２０の光源は、例えばＬＤ（半導体レーザ）又はＬＥＤなどで構成される。プロジェクタ２２０の画像形成部は、ＤＭＤ又はＬＣＤなどの空間光変調素子を含み、空間光変調素子における画像形成面に、投影制御装置２５０からの映像信号に基づく画像を形成する。プロジェクタ２２０は、形成した画像に応じて光源からの光を空間変調して、投影光３１５を生成し、内部光学系から出射する。

プロジェクタ２２０は、例えば台形補正およびレンズシフト機能などのプロジェクタ２２０特有の機能を実現する投影制御回路を有してもよい。また、上記の各機能は、投影制御装置２５０において実現されてもよい。また、プロジェクタ２２０は、レーザ走査式であってもよく、走査方向に駆動可能なＭＥＭＳミラー或いはガルバノミラーを備えて構成されてもよい。

テレコンレンズ２２１は、プロジェクタ２２０の内部光学系に光学的に結合するように配置される。テレコンレンズ２２１は、プロジェクタ２２０の焦点距離を望遠側に延長する。テレコンレンズ２２１に加えて、又はこれに代えて、プロジェクタ２２０からダイクロイックミラー２０１までの光路に各種の光学素子が配置されてもよい。

ダイクロイックミラー２０１は、光の波長帯に応じて選択的に入射する光を透過または反射する光学特性を有する導光部の一例である。例えば、ダイクロイックミラー２０１は、許容誤差の範囲内で赤外光の透過率を１００％に設定され、反射率を０％に設定される。また、本実施形態において、ダイクロイックミラー２０１は、可視光の反射率よりも小さい範囲内で可視光を透過するように、可視光の反射率及び透過率を設定される。ダイクロイックミラー２０１の可視光の透過率は、５％以下が好ましく、例えば、ダイクロイックミラー２０１の可視光の反射率（以下「Ｒ１」とする）は９９％であり、可視光の透過率（以下「Ｔ１」とする）は１％である。

つまり、ダイクロイックミラー２０１により、ＲＧＢセンサ２１２が撮像できる可視光が５％以下となる。なお、５％以下にするためには、ダイクロイックミラー２０１のみではなく、撮像の光路上にある部材を組み合わせて実現してもよく、例えば、ダイクロイックミラー２０１の他に、光学フィルタ２１６、プリズム２１３等にフィルタを設けて、合わせて５％以下としてもよい。

ダイクロイックミラー２０１は、例えば５ｍｍ以下の厚さにおいて互いに対向する２つの主面を有する。図２に示すように、ダイクロイックミラー２０１は、プロジェクタ２２０側のテレコンレンズ２２１とカメラ２１０側のズームレンズ２１５とに各々の主面を向けるように、例えば筐体２０５の内部に固定される。筐体２０５には、プロジェクタ２２０に対する導光孔２０５ａと、カメラ２１０に対する導光孔２０５ｂと、外部に対する導光孔２０５ｃとが設けられている。ダイクロイックミラー２０１において、プロジェクタ２２０側とは反対側の主面には、例えばＡＲ（反射防止）コーティングが施されている（詳細は後述）。

図２に示すように、ダイクロイックミラー２０１は、上記の光学特性により、ズームレンズ２１５等を介してカメラ２１０に向かう蛍光３１０等を透過する一方、プロジェクタ２２０から照射された投影光３１５の大半（半分以上）を反射する。反射された投影光３２０は、術野１３５上に照射される。本実施形態では、ダイクロイックミラー２０１は、術野１３５からの蛍光３１０などのカメラ２１０に入射する入射光の光軸と、術野１３５上に投影画像を投影する投影光３２０の光軸とが、光軸Ｊ１において一致するように導光する。これにより、カメラ２１０の撮像画像に基づく投影画像の位置ずれを低減することができる。

なお、本開示における光軸の一致には、適宜、許容誤差が設定されてもよい。例えば、角度が±５度の範囲内、或いは光軸の間隔が１ｃｍの範囲内の許容誤差において、各光軸が一致してもよい。また、ダイクロイックミラー２０１の光学特性は、使用する光感受性物質の蛍光特性等に応じて適宜、設定可能である。

遮光部２０２は、筐体２０５の内壁において、ダイクロイックミラー２０１を介してプロジェクタ２２０に対向する側の内壁に設けられる。遮光部２０２は、筐体２０５においてダイクロイックミラー２０１の近傍に、空間をあけて配置される。遮光部２０２は、迷光などからダイクロイックミラー２０１を遮光する。

本実施形態において、遮光部２０２は、例えば可視光の反射率が３％以下（例えば０．５％）である黒色部材によって構成される。黒色部材は、例えば入射する光を吸収する光吸収膜、又は黒化処理皮膜などで構成される。遮光部２０２の黒色部材は、シート部材であってもよいし、塗料で構成されてもよい。

２．動作
以下、本実施形態にかかる手術支援システム１００の動作について説明する。

２−１．投影動作について
手術支援システム１００の基本的な投影動作について、図３，４Ａ，４Ｂを用いて説明する。

図３は、手術支援システム１００における投影動作を説明するためのフローチャートである。図４Ａは、通常モードによる投影動作を行う前の手術支援システム１００における術野１３５の状態を示す。図４Ｂは、図４Ａの術野１３５に対して投影動作を行った状態を示す。図３のフローチャートは、投影制御装置２５０によって実行される。

図３のフローチャートにおいて、まず、投影制御装置２５０は、励起光源２３０を駆動して、図４Ａに示すように、励起光３００を術野１３５に照射する（Ｓ１）。励起光３００の照射により、術野１３５における患部１３０が蛍光発光し、患部１３０からの蛍光３１０が撮像照射装置２００に入射する。

撮像照射装置２００において、蛍光３１０は図２に示すように、ダイクロイックミラー２０１を透過し、カメラ２１０の光学フィルタ２１６を透過する。これにより、カメラ２１０は、ＩＲセンサ２１１において蛍光３１０を受光する。この際、励起光３００の反射光３０５は、光学フィルタ２１６において遮断される。

次に、投影制御装置２５０は、例えばカメラ２１０を制御して術野１３５を撮像させ、カメラ２１０から撮像画像を取得する（Ｓ２）。ステップＳ２で取得される撮像画像には、患部１３０が発した蛍光３１０の受光によって生成される蛍光像が含まれる。

次に、投影制御装置２５０は、取得した撮像画像に基づく投影画像を生成するための画像処理を行う（Ｓ３）。投影制御装置２５０は、撮像画像中の蛍光像に対応する画像を生成し、映像信号としてプロジェクタ２２０に出力する。

ステップＳ３の画像処理において、投影制御装置２５０は、例えば、撮像画像における受光強度の分布に対して所定のしきい値に基づき二値化を行い、撮像画像中で蛍光像の領域と考えられる領域を特定する。次いで、投影制御装置２５０は、メモリ２４０に格納された種々のパラメータを参照し、特定した領域を含む画像に対してシフト、回転、及び拡大／縮小などの座標変換、並びに画像の歪み等の補正などを行う。これにより、撮像画像中の蛍光像に応じた特定の領域を表す画像が生成される。

次に、投影制御装置２５０は、生成した映像信号に基づく投影画像を投影するように、プロジェクタ２２０を制御する（Ｓ４）。プロジェクタ２２０は、投影制御装置２５０の制御により、投影制御装置２５０からの映像信号に応じた投影画像を表す投影光３１５を生成して、テレコンレンズ２２１を介してダイクロイックミラー２０１に投影光３１５を出射する（図２参照）。

ダイクロイックミラー２０１は、図２に示すように、可視光である投影光３１５（の大半）を反射し、光軸Ｊ１に沿って投影光３２０を出射する。これにより、図４Ｂに示すように、撮像照射装置２００は術野１３５に投影光３２０を照射し、投影画像Ｇ３２０が、術野１３５における患部１３０に投影される。投影画像Ｇ３２０は、例えば単色の画像である。

以上の処理は、所定の周期（例えば１／６０〜１／３０秒）で繰り返し実行される。

以上の処理により、投影制御装置２５０が、カメラ２１０の撮像画像に基づき蛍光発光する患部１３０の領域を特定し、プロジェクタ２２０から可視光の投影画像Ｇ３２０が患部１３０に投影される。これにより、手術支援システム１００において、目視では視認することが困難な患部１３０を可視化することができる。手術支援システム１００により、医師等は患部１３０のリアルタイムの状態を視認することができる。

以上の説明では、投影画像Ｇ３２０が単色の画像の例を説明した。投影制御装置２５０は、例えば複数のしきい値を用いて撮像画像中の蛍光像の領域を多段階で判定することにより、多階調の投影画像を生成してもよい。また、投影制御装置２５０は、撮像画像における受光強度の分布を連続的に再現するように、投影画像を生成してもよい。また、投影画像は、複数色あるいはフルカラーで生成されてもよい。

２−２．可視撮像機能について
本実施形態にかかる手術支援システム１００は、上記のような投影画像を生成するための蛍光像の撮像（図３のＳ２）に加えて、可視光において術野等の画像を撮像する。手術支援システム１００における可視撮像機能について、図５を用いて説明する。

図５は、手術支援システム１００における可視光の光路を説明するための図である。手術支援システム１００の撮像照射装置２００に入射する可視光３３０は、外光が術野等の被写体１３６上で反射した光や、投影光３２０の反射光などを含む。可視光３３０は、撮像照射装置２００において、ダイクロイックミラー２０１に入射する。

本実施形態のダイクロイックミラー２０１は、入射した可視光３３０の一部を透過し、光学フィルタ２１６を介してズームレンズ２１５に入射させる。本実施形態の光学フィルタ２１６は、入射した可視光３３０を所定の透過率で透過する。ズームレンズ２１５は、設定されたズーム値および絞り値に応じて入射した可視光３３０の光束を調整して、カメラ２１０に入射させる。

カメラ２１０において、プリズム２１３は、入射した可視光３３０を透過する。ＲＧＢセンサ２１２は、プリズム２１３を透過した可視光３３０を受光する。これにより、ＲＧＢセンサ２１２は、被写体１３６等からの可視光３３０の画像を撮像する。カメラ２１０は、ＲＧＢセンサ２１２の撮像結果の可視光画像を、例えば表示制御装置１５０及び／又は投影制御装置２５０等に出力する（図１参照）。

また、プリズム２１３は、蛍光３１０等の赤外光が入射すると（図２参照）、入射した赤外光を反射して、ＩＲセンサ２１１に導光する。カメラ２１０によると、ＩＲセンサ２１１における非可視光画像と、ＲＧＢセンサ２１２における可視光画像とを同時に撮像することができる。

上記の可視撮像機能は、例えば手術中の術野の状態の表示や記録に利用される。例えば、表示制御装置１５０（図１）が、可視光画像をモニタ１６０に表示したり、メモリ２４０等に記録したりする。また、可視光画像に非可視光画像を重畳する画像処理等を行うことにより、手術支援システム１００において多様な表示モードを設定可能である。また、可視撮像機能は、投影画像Ｇ３２０（図４Ｂ）の位置ずれの補正にも利用可能である。例えば、投影制御装置２５０が、可視光画像に映った投影画像の位置のずれ量を計算し、計算したずれ量に応じて投影画像の補正処理を行う。

本実施形態の手術支援システム１００では、上記の可視撮像機能が、可視撮像の光軸が、蛍光像の撮像および投影画像の光軸Ｊ１と一致するように組み込まれている。これにより、上記の可視光画像を用いた画像処理や補正処理の精度を良くする等、各種用途に可視光画像を利用し易くすることができる。

ここで、以上のように可視撮像機能を手術支援システム１００に組み込むと、当該機能を組み込んでいないシステムでは予期されない新たな課題が想定される。以下、可視撮像機能の追加による課題について説明する。

本実施形態のダイクロイックミラー２０１では、可視光の透過率Ｔ１が、可視光の反射率Ｒ１よりも小さいものの、０％よりも大きい必要がある。このことから、ダイクロイックミラー２０１においては、プロジェクタ２２０からの投影光３１５の光漏れが生じ得る。このような光漏れに起因した迷光の光路の一例を図５に示す。

図５に例示するように、プロジェクタ２２０からの投影光３１５は、ダイクロイックミラー２０１において被写体１３６側に反射される投影光３２０以外に、ダイクロイックミラー２０１を透過する迷光３２５を生じる。迷光３２５は、ダイクロイックミラー２０１から、プロジェクタ２２０とは反対側の筐体２０５の壁面に出射する。このような迷光３２５が、当該壁面において反射すると、プロジェクタ２２０とは反対側からダイクロイックミラー２０１に入射する。すると、ダイクロイックミラー２０１が入射した迷光３２５の少なくとも一部を反射し、迷光３２５がカメラ２１０に入射してしまう。

以上のような迷光３２５によると、可視撮像の撮像精度を劣化させてしまうという課題が想定される。そこで、本実施形態では、筐体２０５内部で可視光３３０等の光路に干渉しない位置に、遮光部２０２を設けている。遮光部２０２によると、筐体２０５内部で反射する迷光３２５の総量を低減できる。また、遮光部２０２を黒色部材で構成することにより、可視光画像のコントラストを向上できる。

ここで、例えば遮光部２０２等の筐体２０５の内壁に塵埃が付着したり、傷跡があったりする場合、塵埃などにおける迷光３２５の反射像が可視光画像中に映り込むという可視撮像の精度劣化を生じることが考えられる。そこで、本実施形態では、迷光３２５の反射像を飛ばす程度にまで、ズームレンズ２１５の絞り２１４を開放させる。以下、本実施形態における絞り２１４の絞り値の設定について説明する。

２−２−１．絞り値の設定について
本実施形態の絞り２１４の絞り値の設定について、図６を用いて説明する。

図６は、手術支援システム１００の撮像照射装置２００に入射する光の光学距離を説明するための図である。以下では説明の便宜上、ズームレンズ２１５の各種レンズ素子によるカメラ２１０の撮像光学系の詳細を図示する代わりに、当該光学系と光学的に等価なレンズ２１５ａを用いる。

図６は、レンズ２１５ａを用いて、手術支援システム１００（図５）の被写体１３６近傍から、カメラ２１０の焦点近傍までの範囲を模式的に示している。図６では、レンズ２１５ａを基準として、被写体距離ａおよび遮光部距離ｂを示している。また、レンズ２１５ａの有効径Ｄと、被写界深度ｄと、前方被写界深度ｃと、後方被写界深度ｅと、焦点距離ｆと、焦点深度２σと、許容錯乱円径εとを示している。

被写体距離ａは、被写体１３６（図５）の位置を示す被写体位置Ｐ１からレンズ２１５ａの主点Ｐ０までの光学距離である。本実施形態の手術支援システム１００では、被写体１３６を被写界深度ｄの範囲内に配置して使用することを想定している。これに対応して、被写体位置Ｐ１は、被写界深度ｄの中でレンズ２１５ａに最も近い近点Ｐ１０と最も遠い遠点Ｐ１１との間に位置する。

遮光部距離ｂは、遮光部２０２（図５）からレンズ２１５ａの主点Ｐ０までの光学距離である。図６では、説明の便宜上、被写体距離ａと同一直線上に、遮光部距離ｂを図示している。

前方被写界深度ｃは、被写界深度ｄの範囲内において、被写体位置Ｐ１から近点Ｐ１０までの部分である。後方被写界深度ｅは、被写界深度ｄの範囲内において、被写体位置Ｐ１から遠点Ｐ１１までの部分である。

手術支援システム１００（図５）において、筐体２０５中の塵埃などの遮光部距離ｂにある物体にフォーカスが合わないようにするためには、被写界深度ｄの近点Ｐ１０からレンズ２１５ａの主点Ｐ０までの距離が、遮光部距離ｂよりも遠いことが必要である。つまり、次式（１）を満たすことが必要である。
ａ−ｃ＞ｂ …（１）

本実施形態の手術支援システム１００では、遮光部距離ｂにおいてフォーカスを外すだけでなく、遮光部距離ｂにおける反射像が、可視光画像に映り込まないようにする必要がある。つまり、上式（１）よりも被写界深度ｄの近点Ｐ１０を充分に遠ざけることが必要になる。このことは、次式（２）のように表すことができる。
ａ−ｂ＞ｎ×ｃ …（２）

上式（２）において、ｎは１以上の数であり、２以上であることが好ましい。ｎ≧２のとき、被写界深度ｄの近点Ｐ１０までの距離（ａ−ｃ）と遮光部距離ｂとの間の距離差を、前方被写界深度ｃの長さ以上に確保することができる。

ここで、前方被写界深度ｃはＦ値の関数であることから、式（２）は、Ｆ値（絞り値）を用いて次式（３）のように表される。
Ｆ＜ｆ^２×（ａ−ｂ）／［ａ×ε×｛（ｎ−１）ａ＋ｂ｝］ …（３）

上式（３）によると、Ｆ値の上限値が規定される。絞り２１４は、Ｆ値が上式（３）の右辺で規定される上限値よりも小さくなるように、開放度合いを設定される。また、絞り２１４のＦ値の下限値については、下記の観点から規定される。

すなわち、手術支援システム１００における被写界深度ｄとしては、手術支援の用途に望ましい仕様値ｄ_０を確保することが要求される。被写界深度ｄの仕様値ｄ_０は、例えば５〜５０ｃｍである。被写界深度ｄの仕様値ｄ_０を確保する観点から、前方被写界深度ｃには次式（４）が課される。
ｃ＞ｄ_０／２ …（４）

上式（４）は、上述の式（２），（３）と同様に、次式（５）のようにＦ値の下限値を規定する。
Ｆ＞ｆ^２×ｄ_０／｛ａ×ε×（２ａ−ｄ）｝ …（５）

例えば、手術支援システム１００の実装として、被写体距離ａ＝１３００ｍｍ、遮光板距離ｂ＝３００ｍｍ、被写界深度ｄ（仕様値ｄ_０）＝１３０ｍｍ、許容錯乱円径ε＝０．０３ｍｍ、焦点距離ｆ＝２５．５ｍｍである場合が想定される。この場合、式（３）の右辺は１０．４であり、式（５）の右辺は０．９であることから、絞り２１４のＦ値の範囲は、１．０〜１０．０と考えられる。絞り２１４のＦ値は、２．０近傍であることが好ましい。

２−２−２．多重像について
上述した可視撮像機能の組込みによると、多重像の映り込みによって撮像精度が低下するという課題がある。この課題に対して、本実施形態に係る手術支援システム１００では、ダイクロイックミラー２０１の構成により、多重像の映り込みを低減可能である。本実施形態の多重像に対する対策について、図７を用いて説明する。

図７は、手術支援システム１００における多重像を説明するための図である。以下では、図７に示すダイクロイックミラー２０１の２つの主面２０１ａ，２０１ｂにおいて、より被写体１３６に近い側の主面２０１ａを「表面」とし、遠い側の主面２０１ｂを「裏面」とする。

本実施形態のダイクロイックミラー２０１は、表面２０１ａが、カメラ２１０よりもプロジェクタ２２０近傍に位置し、裏面２０１ｂが、プロジェクタ２２０よりもカメラ２１０近傍に位置するように配置される（図５参照）。

本実施形態では、可視撮像機能を実現するために、ダイクロイックミラー２０１における可視光の反射率Ｒ１と透過率Ｔ１との双方が０％よりも大きくなるように設定されている。このため、被写体１３６からの可視光が、ダイクロイックミラー２０１の内部反射により複数の光路に分岐して、多重像を生じ得る。図７では、二重像を生じ得る２つの光路３３１，３３２を例示している。

図７において、第１の光路３３１は、ダイクロイックミラー２０１を直線的に通過し、被写体１３６の本来の可視光像を形成する光路である。第２の光路３３２は、ダイクロイックミラー２０１内部で裏面２０１ｂ及び表面２０１ａにおいて反射して、ダイクロイックミラー２０１を通過する光路である。第２の光路３３２は、第１の光路３３１による可視光像からずれた可視光像、即ち二重像を生じさせる。

本実施形態では、第２の光路３３２等による多重像の映り込みを低減させるために、ダイクロイックミラー２０１の裏面２０１ｂにおける可視光の反射率Ｒ２が、ＡＲコート等により、ダイクロイックミラー２０１本体の反射率（或いは表面２０１ａの反射率）Ｒ１よりも小さく設定される。

第１の光路３３１によると、被写体１３６からの可視光Ｌ０は、表面２０１ａ側から透過率Ｔ１でダイクロイックミラー２０１の内部に入射し、特に反射することなく、裏面２０１ｂを透過率Ｔ２で出射する。よって、第１の光路３３１を通った可視光Ｌ１は、次式（６）のように表される。
Ｌ１＝Ｌ０×Ｔ１×Ｔ２ …（６）

一方、第２の光路３３２によると、被写体１３６からの可視光Ｌ０は、表面２０１ａ側から透過率Ｔ１でダイクロイックミラー２０１の内部に入射すると、裏面２０１ｂにおいて反射率Ｒ２で反射する。裏面２０１ｂにおける反射光は、さらに表面２０１ａにおいて反射率Ｒ１で反射して、裏面２０１ｂを透過率Ｔ２で出射する。よって、第２の光路３３２を通った可視光Ｌ２は、次式（７）のように表される。
Ｌ２＝Ｌ０×Ｔ１×Ｒ２×Ｒ１×Ｔ２ …（７）

上式（６），（７）によると、第２の光路３３２による二重像の光量は、第１の光路３３１による本来の可視光像の光量よりも倍率Ｒ２×Ｒ１分、小さくなる。よって、ダイクロイックミラー２０１（本体）の可視光の反射率Ｒ１が９５％以上であった場合でも、例えば裏面２０１ｂの反射率Ｒ２＝１％とすることで、二重像の光量を、本来の可視光の光量の１％未満にまで低減することができる。

ダイクロイックミラー２０１の裏面２０１ｂの反射率Ｒ２は、５％以下であってもよい。また、多重像を回避する観点からは、ダイクロイックミラー２０１の厚さが薄いことが望ましい（例えば５ｍｍ以下）。また、以上のようなダイクロイックミラー２０１の構成によると、プロジェクタ２２０からの投影光による多重像についても低減することができる。

３．まとめ
以上のように、本実施形態の手術支援システム１００における投影装置の一例の撮像照射装置２００は、ＩＲセンサ２１１と、プロジェクタ２２０と、ＲＧＢセンサ２１２と、ズームレンズ２１５と、ダイクロイックミラー２０１と、遮光部２０２とを備える。ＩＲセンサ２１１は、非可視光における被写体１３６の非可視光画像を撮像する非可視撮像部の一例である。プロジェクタ２２０は、非可視光画像に基づく投影画像Ｇ３２０を可視光で被写体１３６に投影する投影部の一例である。ＲＧＢセンサ２１２は、可視光において投影画像Ｇ３２０が投影された被写体１３６を撮像する可視撮像部の一例である。ズームレンズ２１５は、ＩＲセンサ２１１及びＲＧＢセンサ２１２に集光する光量を調整する絞り２１４を備える撮像光学系の一例である。ダイクロイックミラー２０１は、ズームレンズ２１５に入射する光を導光すると共にプロジェクタ２２０から出射する光を導光する導光部の一例である。遮光部２０２は、ダイクロイックミラー２０１から空間をあけて配置される。ズームレンズ２１５の被写界深度の範囲内に被写体１３６が配置された状態において、被写界深度の近点Ｐ１０からズームレンズ２１５までの光学距離（ａ−ｃ）と、遮光部２０２からズームレンズ２１５までの光学距離ｂとの間の距離差が、被写体１３６の前方被写界深度ｃよりも長くなるように、絞り２１４の絞り値が設定されている（式（２）参照）。

以上の投影装置によると、非可視光の撮像画像に基づく可視光の投影画像を投影する際に、遮光部２０２近傍における塵埃などの反射像を飛ばして、可視光における撮像を精度良く行うことができる。

本実施形態において、絞り２１４の絞り値は、上記の距離差が、特に被写体１３６の位置に依らず、ズームレンズ２１５の被写界深度ｄよりも長くなるように設定されていてもよい。遮光部距離ｂが被写界深度ｄの長さ以上、被写界深度ｄの近点Ｐ１０から離れていることにより、塵埃などの反射像を充分に飛ばすことができる。

また、本実施形態において、絞り２１４は、被写界深度ｄが所定長さ（仕様値ｄ_０）以上となる範囲内で絞られている（開放されている）（式（４）参照）。これにより、手術支援システム１００の扱い易さを確保しながら、可視光における撮像を精度良く行うことができる。

また、本実施形態において、絞り２１４の絞り値は、ズームレンズ２１５の焦点距離ｆと、被写界深度ｄと、許容錯乱円径εと、被写界深度ｄの範囲内に配置された被写体１３６とズームレンズ２１５間の光学距離ａと、遮光部２０２とズームレンズ２１５間の光学距離ｂと、２以上の数ｎとに基づき、式（３）及び（５）を満たすＦ値で規定されてもよい。これにより、手術支援システム１００の扱い易さを確保しながら、可視光における撮像を精度良く行うことができる。

また、本実施形態において、導光部は、可視光の反射率Ｒ１よりも小さい範囲内で可視光を透過する透過率Ｔ１を有するダイクロイックミラー２０１で構成される。ダイクロイックミラー２０１は、外部からの光を透過してズームレンズ２１５に導光すると共に、プロジェクタ２２０からの光を反射して外部に導光するように配置される。透過率Ｔ１は、５％以下であってもよい。

また、本実施形態において、ダイクロイックミラー２０１は、所定の厚さで対向する２つの主面２０１ａ，２０１ｂを有する。ダイクロイックミラー２０１は、２つの主面２０１ａ，２０１ｂにおいてプロジェクタ２２０よりもズームレンズ２１５に近い側の主面２０１ｂは、可視光が当該主面２０１ｂにおいて反射する反射率Ｒ２が、他方の主面２０１ａにおける反射率Ｒ１よりも小さくなるように構成される。これにより、ダイクロイックミラー２０１における多重像を抑制して、可視撮像の精度を良くすることができる。可視光がダイクロイックミラー２０１におけるズームレンズ２１５に近い側の主面２０１ｂにおいて反射する反射率は、５％以下であってもよい。

また、本実施形態において、遮光部２０２は、可視光の反射率が３％以下の黒色部材を含む。これにより、迷光３２５の総量を低減して、可視光画像のコントラストを良くすることができる。

また、本実施形態における投影装置は、被写体１３６に非可視光の蛍光３１０を発光させる励起光３００を照射する励起光源２３０をさらに備えてもよい。ＩＲセンサ２１１は、非可視光画像として蛍光を発光した被写体の画像を撮像する。投影装置は、励起光３００と同じ波長帯の光を遮断し、蛍光３１０と同じ波長帯の光および可視光を透過する光学フィルタ２１６をさらに備えてもよい。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記の実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

上記の実施形態１では、導光部の一例としてダイクロイックミラー２０１について説明した。本開示における導光部はダイクロイックミラー２０１に限らず、例えば偏光プリズムであってもよい。この場合、適宜、位相板（１／４λ板）や偏光板を組み合わせてもよい。また、導光部は、赤外光等の非可視光を反射し、可視光を主に透過するダイクロイックミラーであってもよい。この場合、プロジェクタ２２０とカメラ２１０との相対位置が、図１の場合とは入れ替えられる。

また、上記の各実施形態では、非可視光の一例として赤外光を説明したが、非可視光は赤外光に限らず、紫外光であってもよい。また、非可視光は、必ずしも非可視領域の波長帯を有する光に限らず、例えば青色領域の励起光に基づき発光する赤色領域の微弱な蛍光などを含んでもよい。この際、投影画像及び可視撮像の対象とする可視光は、緑色光等であってもよい。

また、上記の各実施形態では、医療用途における投影装置の適用例を説明したが、本開示における表示システムはこれには限定されない。例えば、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う必要がある場合、本開示における投影装置を適用することができる。

具体的には、工事現場や採掘現場、建築現場、材料を加工する工場などにおける、目視では状態変化を確認できないような対象物に蛍光材料を塗布し、練りこみ、或いは流し込んで、カメラ２１０による撮像の対象としてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。

本開示における投影装置は、医療用途、工事現場、採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認しづらいような被写体に対して作業を行う際に適用可能である。

Claims (10)

1. 非可視光における被写体の非可視光画像を撮像する非可視撮像部と、
   前記非可視光画像に基づく投影画像を可視光で前記被写体に投影する投影部と、
   可視光において前記投影画像が投影された前記被写体を撮像する可視撮像部と、
   前記非可視撮像部及び前記可視撮像部に集光する光量を調整する絞りを備える撮像光学系と、
   前記撮像光学系に入射する光を導光すると共に前記投影部から出射する光を導光する導光部と、
   前記導光部から空間をあけて配置された遮光部とを備え、
   前記撮像光学系の被写界深度の範囲内に前記被写体が配置された状態において、前記被写界深度の近点から前記撮像光学系までの光学距離と、前記遮光部から前記撮像光学系までの光学距離との間の距離差が、前記被写体の前方被写界深度よりも長くなるように、前記絞りの絞り値が設定された
   投影装置。
2. 前記絞り値は、前記距離差が、前記撮像光学系の被写界深度よりも長くなるように設定された
   請求項１に記載の投影装置。
3. 前記絞りは、前記被写界深度が所定長さ以上となる範囲内で絞られている
   請求項１に記載の投影装置。
4. 前記絞り値は、前記撮像光学系の焦点距離ｆと、被写界深度ｄと、許容錯乱円径εと、前記被写界深度ｄの範囲内に配置された被写体と前記撮像光学系間の光学距離ａと、前記遮光部と前記撮像光学系間の光学距離ｂと、２以上の数ｎとに基づき、式（１）及び（２）を満たすＦ値で規定される
   請求項１に記載の投影装置。
   Ｆ＜ｆ^２×（ａ−ｂ）／［ａ×ε×｛（ｎ−１）ａ＋ｂ｝］ （１）
   Ｆ＞ｆ^２×ｄ／｛ａ×ε×（２ａ−ｄ）｝ （２）
5. 前記導光部は、
   可視光の反射率よりも小さい範囲内で可視光を透過する透過率を有するダイクロイックミラーで構成され、
   外部からの光を透過して前記撮像光学系に導光すると共に、前記投影部からの光を反射して外部に導光するように配置される
   請求項１〜４のいずれか１項に記載の投影装置。
6. 前記透過率は、５％以下である
   請求項５に記載の投影装置。
7. 前記導光部は、所定の厚さで対向する２つの主面を有し、
   前記２つの主面において前記投影部よりも前記撮像光学系に近い側の主面は、可視光が当該主面において反射する反射率が、他方の主面における反射率よりも小さくなるように構成される
   請求項５又は６に記載の投影装置。
8. 可視光が前記導光部における前記撮像光学系に近い側の主面において反射する反射率は、５％以下である
   請求項７に記載の投影装置。
9. 前記遮光部は、可視光の反射率が３％以下の黒色部材を含む
   請求項１〜８のいずれか１項に記載の投影装置。
10. 前記被写体に非可視光の蛍光を発光させる励起光を照射する励起光源をさらに備え、
    前記非可視撮像部は、前記非可視光画像として前記蛍光を発光した被写体の画像を撮像する
    請求項１〜９のいずれか１項に記載の投影装置。

Images