JP7281632B2 - 投影システム - Google Patents

Description

本開示は、被写体の撮像画像に基づく投影画像を投影する投影システムに関する。

特許文献１は、医療分野において用いられる光学撮像システムを開示している。特許文献１の光学撮像システムは、術野を撮像する電子撮像装置と、手術中の術野の撮像結果の可視光像を投影するプロジェクタと、電子撮像装置及びプロジェクタの光軸を同一の光軸に揃える光学素子とを備える。特許文献１では、手術前に予めテストサンプルを配置して、テストサンプルの撮像画像を取得すると共に対応する投影画像を生成しながら、同一光軸上の撮像画像と投影画像との対応関係を調整することにより、手術時に投影画像を正確に投影するためのキャリブレーションを行っている。

米国特許出願公開第２００８／０００４５３３号明細書

本開示の目的は、撮像画像に基づく投影画像を投影する投影システムにおいて、撮像画像と投影画像との位置関係を調整し易くすることができる投影システムを提供することにある。

本開示における投影システムは、撮像部と、投影部と、制御部とを備える。撮像部は、被写体を撮像して第１の撮像画像を生成する。投影部は、第１の撮像画像に応じた投影画像を被写体に投影する。制御部は、第１の撮像画像に応じて投影画像を生成し投影部に投影させる第１の動作モード、及び第１の撮像画像における位置と投影画像における位置とを対応付ける位置関係を調整する第２の動作モードを有する。制御部は、第２の動作モードにおいて、投影部に、位置関係における基準を示すマーカを含むマーカ画像を投影させ、撮像部が投影されたマーカ画像を撮像して生成した第２の撮像画像を取得し、マーカ画像におけるマーカと第２の撮像画像におけるマーカとに基づいて、位置関係を調整する。

本開示における投影システムによると、撮像画像に基づく投影画像を投影する投影システムにおいて、撮像画像と投影画像との位置関係を調整し易くすることができる。

実施の形態１にかかる手術支援システムの構成を示す概略図 手術支援システムにおけるヘッド装置の構成を示すブロック図 手術支援システムにおける投影制御装置の通常モードを例示する機能ブロック図 手術支援システムにおける通常モードの動作を説明するためのフローチャート 手術支援システムにおける投影前の術野の状態を例示する図 手術支援システムにおける投影後の術野の状態を例示する図 手術支援システムにおける投影制御装置の位置調整モードを例示する機能ブロック図 手術支援システムにおける位置調整モードの動作を例示するフローチャート 位置調整モードにおけるマーカ画像の投影用の画像データを例示する図 位置調整モードの動作時における補正前の撮像画像を例示する図 位置調整モードの動作時における補正後の撮像画像を例示する図 位置調整モードにおけるモニタの表示例を示す図 位置調整モードにおける自動補正処理を例示するフローチャート 自動補正用のマーカ画像の投影用の画像データを例示する図 手術支援システムにて第１の位置調整の操作における表示例を示す図 手術支援システムにて第２の位置調整の操作における表示例を示す図 手術支援システムにて第３の位置調整の操作における表示例を示す図 手術支援システムにて第４の位置調整の操作における表示例を示す図 手術支援システムの通常モードにおける投影画像の補間方法を説明した図 手術支援システムにおける位置調整モードの変形例１を示す機能ブロック図 変形例２に係るマーカ画像の投影用の画像データを例示する図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
本開示に係る投影システムの具体的な実施例として、手術支援システムを説明する。

１．構成
１－１．手術支援システムの概要
実施の形態１にかかる手術支援システムの概要を、図１を用いて説明する。図１は、実施の形態１にかかる手術支援システム１００の構成を示す概略図である。

手術支援システム１００は、カメラ２１０、プロジェクタ２２０及び励起光源２３０を備える。手術支援システム１００は、手術室等において医師等が患者に対して行う手術を、投影画像を用いて視覚的に支援するシステムである。手術支援システム１００を使用する場合に、手術を受ける患者１２０には、予め光感受性物質が投与される。

光感受性物質は、励起光に反応して蛍光を発する物質である。光感受性物質としては、例えばＩＣＧ（インドシアニングリーン）などが用いられる。本実施の形態では、光感受性物質の一例として、ＩＣＧを用いた場合を説明する。ＩＣＧは、波長７６０～７８０ｎｍ近傍の赤外領域の励起光が照射されることにより、波長８００～８６０ｎｍの赤外領域の蛍光を発する。

光感受性物質は、患者１２０に投与されると、血液又はリンパ液の流れが滞っている患部１３０に蓄積する。このため、励起光３００の照射に応じて蛍光発光する領域を検出することにより、患部１３０の領域を特定することが可能となる。

ここで、患部１３０が発する蛍光は微弱であったり、蛍光の波長帯が非可視領域又は非可視領域近傍であったりするため、医師等は、術野を目視しても、患部１３０の領域を特定することが困難である。そこで、手術支援システム１００では、カメラ２１０を用いて蛍光３１０を発する患部１３０の領域を特定する。さらに、特定した患部１３０が人間に視認可能となるように、プロジェクタ２２０から患部１３０に可視光の投影光３２０を照射する。これにより、特定した患部１３０の領域を可視化する投影画像が投影され、手術を行う医師等による患部１３０の領域の特定を支援することができる。

１－２．手術支援システムの構成
以下、手術支援システム１００の構成について、図１を用いて説明する。手術支援システム１００は、病院の手術室内に配置されて使用される。手術支援システム１００は、ヘッド装置２００と、メモリ２４０と、投影制御装置２５０とを備える。

また、図示していないが、手術支援システム１００は、ヘッド装置２００の配置を変更するための機構、例えば、ヘッド装置２００と機械的に接続された駆動アーム、及び手術支援システム１００の一式を載置する台座のキャスターなどを備える。上記の機構により、ヘッド装置２００は、患者１２０が載置される手術台１１０の鉛直上方または鉛直方向からある角度を持った上方に配置される。また、手術台１１０は、高さ及び向きを変更可能な駆動機構を備えてもよい。

ヘッド装置２００は、カメラ２１０、プロジェクタ２２０、及び励起光源２３０が、ダイクロイックミラー２０１等の光学系と共に一体的に組み付けられた投影装置の一例である。ヘッド装置２００の構成の詳細については後述する。

メモリ２４０は、投影制御装置２５０が種々の演算を実行する際に、適宜アクセスを行う記憶媒体である。メモリ２４０は、例えばＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）で構成される。メモリ２４０は、記憶部の一例である。

投影制御装置２５０は、手術支援システム１００を構成する各部を統括制御する。投影制御装置２５０は、制御部の一例である。投影制御装置２５０は、カメラ２１０、プロジェクタ２２０、励起光源２３０、及びメモリ２４０に電気的に接続され、各部をそれぞれ制御するための制御信号を出力する。投影制御装置２５０は、例えばＣＰＵ（Central Processing Unit）で構成され、所定のプログラムを実行することによってその機能を実現する。なお、投影制御装置２５０の機能は、専用に設計された電子回路や再構成可能な電子回路（ＦＰＧＡ（Field Programmable Gate Array）、又はＡＳＩＣ（Application Specific IC）等）により実現されてもよい。

また、本実施の形態において、手術支援システム１００は、表示制御装置１５０と、モニタ１６０と、操作部１７０とを備える。

表示制御装置１５０は、例えばＰＣ（パーソナルコンピュータ）で構成され、投影制御装置２５０に接続されている。表示制御装置１５０は、例えばＣＰＵを備え、モニタ１６０に表示する画像を制御する画像処理等を行う。本システム１００の制御部は、表示制御装置１５０及び投影制御装置２５０を含んでもよい。また、表示制御装置１５０は、記憶部の一例である内部メモリ（ＲＯＭ，ＲＡＭなど）を備える。

モニタ１６０は、例えば液晶ディスプレイ又は有機ＥＬディスプレイで構成され、画像を表示する表示面を有する。モニタ１６０は、表示部の一例である。

操作部１７０は、ユーザ１４０から入力される種々のユーザ操作を受け付ける入力インタフェースである。操作部１７０は、例えば、方向指示キー、ボタン、スイッチ、キーボード、マウス、タッチパッド、タッチパネルなど種々の操作部材を含む。

ユーザ１４０は、例えば手術中に、カメラ２１０の撮像画像をモニタ１６０において確認することができる。また、ユーザ１４０は、投影画像の種々の設定を調整することができる。

１－３．ヘッド装置の構成
ヘッド装置２００の構成の詳細について、図２を用いて説明する。図２は、手術支援システム１００におけるヘッド装置２００の構成を示すブロック図である。ヘッド装置２００は、励起光源２３０と、カメラ２１０と、ズームレンズ２１５と、光学フィルタ２１６と、プロジェクタ２２０と、投影レンズ２２１と、ダイクロイックミラー２０１と、ミラー２０２とを備える。ヘッド装置２００は、術野１３５等の被写体までの距離（高さ）が例えば１ｍ等の位置に配置される。

励起光源２３０は、光感受性物質を蛍光発光させるための励起光３００を照射する光源装置である。本実施の形態では、光感受性物質としてＩＣＧを用いることから、励起光源２３０は、ＩＣＧの励起波長を含む波長帯（例えば７６０～７８０ｎｍ近傍）を有する励起光３００を照射する。励起光源２３０は、照明部の一例である。励起光源２３０は、投影制御装置２５０からの制御信号に従って、励起光３００の照射のＯＮ／ＯＦＦを切り替える。なお、励起光源２３０は、ヘッド装置２００とは別体で構成されてもよい。

カメラ２１０は、患者１２０の術野１３５などを含む被写体を撮像して撮像画像を生成する。カメラ２１０は、生成した撮像画像を示す画像データを投影制御装置２５０に伝送する。本実施の形態では、カメラ２１０は、図２に示すように、赤外光用の撮像センサ２１１と、可視光用の撮像センサ２１２と、プリズム２１３と、光学フィルタ２１４とを備える。各撮像センサ２１１，２１２は、例えばそれぞれＣＭＯＳイメージセンサ又はＣＣＤイメージセンサなどで構成される。

プリズム２１３は、例えば入射する光において、赤外領域の光成分を反射し、可視領域（或いは赤外領域外）の光成分を透過する光学特性を有する。プリズム２１３の反射面側には、赤外光用の撮像センサ２１１が配置される。また、プリズム２１３は、可視光用の撮像センサ２１２と、ズームレンズ２１５との間に配置される。

光学フィルタ２１４は、例えばバンドパスフィルタ又はローパスフィルタで構成され、可視領域の光を透過し、可視領域外（例えば紫外領域）の光を遮断する。光学フィルタ２１４は、可視光用の撮像センサ２１２とプリズム２１３との間に配置される。

赤外光用の撮像センサ２１１は、ＩＣＧの蛍光である８００ｎｍ～８６０ｎｍの波長帯を含む赤外光（非可視光の一例）における撮像を行って、撮像画像として非可視光画像を生成する。赤外光用の撮像センサ２１１は、赤外光以外の光を遮断するフィルタ等を含んでもよい。赤外光用の撮像センサ２１１は、非可視撮像部の一例である。

可視光用の撮像センサ２１２は、可視領域の一部または全体を含む可視光における撮像を行って、例えばモノクロの可視光画像を撮像画像として生成する。可視光用の撮像センサ２１２は、可視撮像部の一例である。可視撮像部は、モノクロに限らず、例えば、ＲＧＢの撮像画像を撮像可能に構成されてもよい。例えば、可視撮像部は、ＲＧＢのカラーフィルタが画素毎に設けられた１枚のＣＭＯＳセンサ等で構成されてもよいし、ＲＧＢの各色光を撮像するための３枚のＣＭＯＳセンサ等で構成されてもよい。

プリズム２１３及び光学フィルタ２１４は、カメラ２１０の内部に設けられる内部光学系の一例である。カメラ２１０の内部光学系は上記に限らない。例えば、光路長の調整部材が、各撮像センサ２１１，２１２とプリズム２１３との間に配置されてもよい。

又、プリズム２１３は、上述した光学特性の代わりに、赤外光等の非可視光を反射し、可視光を主に透過する光学特性を有してもよいし、双方の光を反射する光学特性を有してもよい。プリズム２１３の光学特性に応じて適宜、各撮像センサ２１１，２１２の配置が変更される。

ズームレンズ２１５は、カメラ２１０に取り付けられ、外部からの光をカメラ２１０内部に集光する。ズームレンズ２１５は、カメラ２１０の画角（ズーム値）、被写界深度、及びフォーカス等を調整する。ズームレンズ２１５は、各種レンズ素子、および絞りを備える。

ズームレンズ２１５によるズーム値、及び絞りのＦ値等は、例えば外部から設定可能である。ズームレンズ２１５は、撮像光学系の一例である。撮像光学系は、ズームレンズ２１５に限らず、例えばカメラ２１０の内部光学系や外部の各種光学素子を含めてもよいし、カメラ２１０に内部光学系として組み込まれてもよい。

光学フィルタ２１６は、例えば図２に示すように、ズームレンズ２１５の入射面に配置される。光学フィルタ２１６は、入射する光において、励起光の波長７６０～７８０ｎｍを含む６８０～８２５ｎｍの波長帯成分を遮断するバンドカットフィルタで構成される。

プロジェクタ２２０は、例えばＤＬＰ方式、３ＬＣＤ方式又はＬＣＯＳ方式などのプロジェクタである。プロジェクタ２２０は、投影制御装置２５０から入力される映像信号に基づく投影画像を可視光で投影するように、投影光３１５を出射する。プロジェクタ２２０は、投影部の一例である。プロジェクタ２２０は、例えば光源、画像形成部、及び内部光学系などを備える。

プロジェクタ２２０の光源は、例えばＬＤ（半導体レーザ）又はＬＥＤ（Light Emitting Diode）などで構成される。プロジェクタ２２０の画像形成部は、ＤＭＤ（Digital Micromirror Device）又はＬＣＤ（Liquid Crystal Display）などの空間光変調素子を含み、空間光変調素子における画像形成面に、投影制御装置２５０からの映像信号に基づく画像を形成する。プロジェクタ２２０は、形成した画像に応じて光源からの光を空間変調して、投影光３１５を生成し、内部光学系から出射する。

プロジェクタ２２０は、例えば台形補正およびレンズシフト機能などのプロジェクタ２２０特有の機能を実現する投影制御回路を有してもよい。また、上記の各機能は、投影制御装置２５０において実現されてもよい。また、プロジェクタ２２０は、レーザ走査式であってもよく、走査方向に駆動可能なＭＥＭＳミラー或いはガルバノミラーを備えて構成されてもよい。

投影レンズ２２１は、プロジェクタ２２０の内部光学系に光学的に結合するように配置される。投影レンズ２２１は、例えばテレコンバージョンで構成され、プロジェクタ２２０の焦点距離を望遠側に延長する。

ミラー２０２は、投影レンズ２２１とダイクロイックミラー２０１との間に配置される。ミラー２０２及び投影レンズ２２１に加えて、又はこれに代えて、プロジェクタ２２０からダイクロイックミラー２０１までの光路に各種の光学素子が配置されてもよい。

ダイクロイックミラー２０１は、光の波長帯に応じて選択的に入射する光を透過または反射する光学特性を有する導光部の一例である。例えば、ダイクロイックミラー２０１は、許容誤差の範囲内で赤外光の透過率を１００％に設定され、反射率を０％に設定される。また、本実施の形態において、ダイクロイックミラー２０１は、可視光の反射率よりも小さい範囲内で可視光を透過するように、可視光の反射率及び透過率を設定される。ダイクロイックミラー２０１の可視光の透過率は、５％以下が好ましく、例えば、ダイクロイックミラー２０１の可視光の反射率は９９％であり、可視光の透過率は１％である。

つまり、ダイクロイックミラー２０１により、可視光用の撮像センサ２１２が撮像できる可視光が５％以下となる。なお、５％以下にするためには、ダイクロイックミラー２０１のみではなく、撮像の光路上にある部材を組み合わせて実現してもよく、例えば、ダイクロイックミラー２０１の他に、光学フィルタ２１６、プリズム２１３等にフィルタを設けて、合わせて５％以下としてもよい。

図２に示すように、ダイクロイックミラー２０１は、上記の光学特性により、ズームレンズ２１５等を介してカメラ２１０に向かう蛍光３１０等を透過する一方、プロジェクタ２２０から照射された投影光３１５の大半（半分以上）を反射する。反射された投影光３２０は、術野１３５上に照射される。本実施の形態では、ダイクロイックミラー２０１は、術野１３５からの蛍光３１０などのカメラ２１０に入射する入射光の光軸と、術野１３５上に投影画像を投影する投影光３２０の光軸とが、光軸Ｊ１において一致するように導光する。これにより、カメラ２１０の撮像画像に基づく投影画像の位置ずれを低減することができる。

なお、本開示における光軸の一致には、適宜、許容誤差が設定されてもよい。例えば、角度が±５度の範囲内、或いは光軸の間隔が１ｃｍの範囲内の許容誤差において、各光軸が一致してもよい。また、ダイクロイックミラー２０１の光学特性は、使用する光感受性物質の蛍光特性等に応じて適宜、設定可能である。

１－４．投影制御装置の機能構成
図３は、投影制御装置２５０の通常モードを例示する機能ブロック図である。手術支援システム１００及び投影制御装置２５０は、第１の動作モードの一例である通常モードと、第２の動作モードの一例である位置調整モードとを有する。

投影制御装置２５０は、機能的構成として、非可視光画像についての位置補正部２５１、画像生成部２５２、可視光画像についての位置補正部２５３、画像重畳部２５４、マーカ生成部２５５、および補正演算部２５６を備える。

各位置補正部２５１，２５３は、カメラ２１０による撮像画像に、予め設定された補正情報に従って画像全体の位置を補正する処理を行う。補正情報は、撮像画像と投影画像の位置関係を示す情報の一例であり、種々の座標変換を規定する各種のパラメータを含む。

画像生成部２５２は、非可視光画像用の位置補正部２５１によって補正された撮像画像に種々の画像処理を行って、投影画像を示す画像データ（映像信号）を生成する。当該画像処理は、二値化あるいは多値化、及び色変換などを含む。

画像重畳部２５４は、撮像画像および投影画像などを重畳する画像合成を行って、表示制御装置１５０或いはモニタ１６０に出力する。

マーカ生成部２５５および補正演算部２５６は、位置調整モードにおいて動作する。投影制御装置２５０の各種動作モード及び諸機能については後述する。

２．動作
以下、本実施の形態にかかる手術支援システム１００の動作について説明する。

２－１．通常モードの動作
手術支援システム１００の通常モードの動作について、図４，５Ａ，５Ｂを用いて説明する。通常モードは、手術支援システム１００において手術を支援するための基本的な投影動作を行う動作モードである。

図４は、手術支援システム１００における通常モードの動作を説明するためのフローチャートである。図５Ａは、通常モードによる投影動作を行う前の手術支援システム１００における術野１３５の状態を示す。図５Ｂは、図５Ａの術野１３５に対して投影動作を行った状態を示す。図４のフローチャートに示す各処理は、投影制御装置２５０によって実行される。

図４のフローチャートにおいて、まず、投影制御装置２５０は、励起光源２３０を駆動して、図５Ａに示すように、励起光３００を術野１３５に照射する（Ｓ１）。励起光３００の照射により、術野１３５における患部１３０が蛍光発光し、患部１３０からの蛍光３１０がヘッド装置２００に入射する。

ヘッド装置２００において、蛍光３１０は図２に示すように、ダイクロイックミラー２０１を透過し、カメラ２１０の光学フィルタ２１６を透過する。これにより、カメラ２１０は、赤外光用の撮像センサ２１１において蛍光３１０を受光する。この際、励起光３００の反射光は、光学フィルタ２１６において遮断される。

次に、投影制御装置２５０は、例えばカメラ２１０を制御して術野１３５を撮像させ、カメラ２１０から撮像画像を取得する（Ｓ２）。ステップＳ２で取得される撮像画像には、患部１３０が発した蛍光３１０の受光によって生成される蛍光像が含まれる。

次に、投影制御装置２５０は、位置補正部２５１及び画像生成部２５２として機能し、取得した撮像画像に基づく投影画像を生成するための画像処理を行う（Ｓ３）。投影制御装置２５０は、撮像画像中の蛍光像に対応する画像を生成し、映像信号としてプロジェクタ２２０に出力する。

ステップＳ３の処理において、投影制御装置２５０は、まず位置補正部２５１として、メモリ２４０に格納して予め設定された補正情報を参照し、取得した撮像画像に対してシフト、回転、及び拡大／縮小などの座標変換を行う。これにより、画像の位置が補正される。投影制御装置２５０は、さらに画像の歪み等の補正を行ってもよい。

次いで、投影制御装置２５０は画像生成部２５２として、補正後の撮像画像における受光強度の分布に対して、所定のしきい値に基づき二値化を行い、撮像画像中で蛍光像の領域と考えられる領域を特定する。例えば、画像生成部２５２は、特定した領域の内部と外部に別々の色を設定して、撮像画像中の蛍光像に応じた特定の領域を表す画像を生成する（Ｓ３）。例えば、特定した領域の内部は青色などの有彩色に設定され、当該領域の外部は白色などの無彩色に設定される。

次に、投影制御装置２５０は、生成した映像信号に基づく投影画像を投影するように、プロジェクタ２２０を制御する（Ｓ４）。プロジェクタ２２０は、投影制御装置２５０の制御により、投影制御装置２５０からの映像信号に応じた投影画像を表す投影光３１５を生成して、投影レンズ２２１を介してダイクロイックミラー２０１に投影光３１５を出射する（図２参照）。

ダイクロイックミラー２０１は、図２に示すように、可視光である投影光３１５（の大半）を反射し、光軸Ｊ１に沿って投影光３２０を出射する。これにより、図５Ｂに示すように、ヘッド装置２００は術野１３５に投影光３２０を照射し、投影画像Ｇ３２０が、術野１３５における患部１３０に投影される。投影画像Ｇ３２０は、例えば単色の画像である。

以上の処理は、所定の周期（例えば１／６０～１／３０秒）で繰り返し実行される。

以上の処理により、投影制御装置２５０が、カメラ２１０の撮像画像に基づき蛍光発光する患部１３０の領域を特定し、プロジェクタ２２０から可視光の投影画像Ｇ３２０が患部１３０に投影される。これにより、手術支援システム１００において、目視では視認することが困難な患部１３０を可視化することができる。手術支援システム１００により、医師等は患部１３０のリアルタイムの状態を視認することができる。

以上の説明では、投影画像Ｇ３２０が単色の画像の例を説明した。投影制御装置２５０は、例えば複数のしきい値を用いて撮像画像中の蛍光像の領域を多段階で判定することにより、多階調の投影画像を生成してもよい。また、投影制御装置２５０は、撮像画像における受光強度の分布を連続的に再現するように、投影画像を生成してもよい。また、投影画像は、複数色あるいはフルカラーで生成されてもよい。

２－１－１．可視撮像機能について
本実施の形態にかかる手術支援システム１００は、上記のような投影画像を生成するための蛍光像の撮像（図４のＳ２）に加えて、可視光において術野等の画像を撮像する。手術支援システム１００における可視撮像機能について、図２を用いて説明する。

手術支援システム１００のヘッド装置２００に入射する可視光３３０は、外光が術野等の被写体上で反射した光や、投影光３２０の反射光などを含む。可視光３３０は、ヘッド装置２００において、ダイクロイックミラー２０１に入射する。

本実施の形態のダイクロイックミラー２０１は、入射した可視光３３０の一部を透過し、光学フィルタ２１６を介してズームレンズ２１５に入射させる。本実施の形態の光学フィルタ２１６は、入射した可視光３３０を所定の透過率で透過する。ズームレンズ２１５は、設定されたズーム値および絞り値に応じて入射した可視光３３０の光束を調整して、カメラ２１０に入射させる。

カメラ２１０において、プリズム２１３は、入射した可視光３３０を透過する。可視光用の撮像センサ２１２は、プリズム２１３を透過した可視光３３０を受光する。これにより、可視光用の撮像センサ２１２は、被写体等からの可視光３３０の画像を撮像する。カメラ２１０は、可視光用の撮像センサ２１２の撮像結果の可視光画像を、例えば表示制御装置１５０及び／又は投影制御装置２５０等に出力する（図１参照）。

また、プリズム２１３は、蛍光３１０等の赤外光が入射すると（図２参照）、入射した赤外光を反射して、赤外光用の撮像センサ２１１に導光する。カメラ２１０によると、赤外光用の撮像センサ２１１における非可視光画像と、可視光用の撮像センサ２１２における可視光画像とを同時に撮像することができる。

上記の可視撮像機能は、例えば手術中の術野の状態の表示や記録に利用される。例えば、表示制御装置１５０（図１）が、可視光画像をモニタ１６０に表示したり、メモリ２４０等に記録したりする。また、可視光画像に非可視光画像を重畳する画像処理等を行うことにより、手術支援システム１００において多様な表示モードを設定可能である。また、可視撮像機能は、投影画像Ｇ３２０（図５Ｂ）の位置ずれの補正にも利用可能である。

２－２．位置調整モードについて
本システム１００における位置調整モードの動作の概要を、図６を用いて説明する。図６は、本システム１００における投影制御装置２５０の位置調整モードを例示する機能ブロック図である。

手術支援システム１００は、上述のとおり、通常モードにおいてカメラ２１０の撮像画像に基づきプロジェクタ２２０から投影画像Ｇ３２０を投影することにより、手術中に目視では視認し難い患部１３０を可視化する（図５Ａ，５Ｂ参照）。本システム１００では、手術中のような通常モードの動作時に投影画像Ｇ３２０によって誤りなく患部１３０を可視化するために、予め、カメラ２１０の撮像画像とプロジェクタ２２０の投影画像との位置合わせを行う位置調整モードが提供される。位置調整モードによる位置合わせは、例えば手術の実施が予定される毎に逐次、行われる。

ここで、典型的な位置合わせ方法としては、例えば患部１３０の代わりにテスト用の各種サンプルを用意して、サンプルの撮像画像に基づき一旦、投影画像を生成してサンプル上に投影し、サンプルに対する投影画像のずれを最小化するようにフィードバックする方法がある。しかしながら、こうした方法によると、フィードバック後に再び生成される投影画像の、サンプルに対するずれが、収束し難くなる事態を招き、撮像画像と投影画像との位置関係を容易に調整可能にすることは困難である。

そこで、本実施の形態の位置調整モードでは、上述した通常モードからカメラ２１０及びプロジェクタ２２０の役割を変更するように、カメラ２１０とプロジェクタ２２０との動作順序を逆転させる。すなわち、まずプロジェクタ２２０が、図６に示すように、マーカ生成部２５５によって生成される所定のマーカ画像を、例えば白板で構成される白色チャート４００等に投影する。次に、カメラ２１０が、投影されたマーカ画像を撮像し、補正演算部２５６が、投影元のマーカ画像を基準として撮像画像中のマーカ画像の位置ずれに関する演算を行う。

こうした位置調整モードの動作によると、投影元のマーカ画像（或いは元となる投影用の画像データ）を基準として、投影画像と撮像画像との位置関係の調整を容易にすることができる。以下、本システム１００における位置調整モードの動作の詳細を説明する。

２－２－１．位置調整モードの動作
本実施の形態における位置調整モードの動作を、図７～１０を用いて説明する。

図７は、手術支援システム１００における位置調整モードの動作を例示するフローチャートである。本フローチャートは、例えば操作部１７０において、位置調整モードを開始するユーザ操作が入力されたときに開始する。本フローチャートに示す各処理は、例えば投影制御装置２５０によって実行される。

まず、投影制御装置２５０は、自動補正処理を行う（Ｓ１０）。自動補正処理は、マーカ画像による投影画像と撮像画像との位置関係の調整を自動的に実施し、撮像画像の位置ずれを所定の許容誤差の範囲内に収めるように位置補正部２５３及び位置補正部２５１を初期設定する処理である。自動補正処理の詳細については後述する。

次に、投影制御装置２５０は、マーカ生成部２５５として機能し、マーカ画像を投影するようにプロジェクタ２２０を制御する（Ｓ１１）。ステップＳ１１において、投影制御装置２５０は、メモリ２４０から、マーカ画像に対応する投影用の画像データを読み出して、読み出した画像データをプロジェクタ２２０に出力する。図８に、ステップＳ１１における投影用の画像データＤ１が示すマーカ画像Ｇ１を例示する。

画像データＤ１等の投影用の画像データは、図８に示すように、各々の投影画像における位置を規定する二次元座標である投影座標（Ｘｐ，Ｙｐ）を有する。画像データＤ１が規定するマーカ画像Ｇ１は、投影マーカＧ１０と、投影マーカＧ１０以外の領域とを含む。投影マーカＧ１０は、投影座標（Ｘｐ，Ｙｐ）における基準の位置に設定されるマーカの一例である。

次に、投影制御装置２５０は、カメラ２１０から、投影されたマーカ画像Ｇ１を撮像した撮像画像を取得し、位置補正部２５３としての処理を施す（Ｓ１２）。ステップＳ１２において、投影制御装置２５０は、位置補正部２５３としての処理により、例えば自動補正処理（Ｓ１０）による補正後の撮像画像を取得する。図９Ａ，９Ｂに、ステップＳ１２における補正前後の撮像画像Ｉｍ１を例示する。

図９Ａは、図８のマーカ画像Ｇ１の投影時にカメラ２１０が撮像した撮像画像Ｉｍ１を例示する。図９Ｂは、ステップＳ１０で初期設定された位置補正部２５３が、図９Ａの撮像画像Ｉｍ１を処理した状態を例示する。以下では、撮像画像Ｉｍ１に映った投影マーカＧ１０を「撮像マーカ」という。

ステップＳ１２において、位置補正部２５３の処理は、カメラ２１０の撮像時における撮像座標（Ｘｉ，Ｙｉ）から、予め設定された位置関係を示す情報に従う補正後の撮像座標（Ｘｃ，Ｙｃ）へ撮像画像Ｉｍ１を座標変換するように行われる。図９Ａ，９Ｂの例では、自動補正処理（Ｓ１０）で撮像座標（Ｘｉ，Ｙｉ）を補正しきれなかった分、補正後の撮像座標（Ｘｃ，Ｙｃ）上の撮像マーカＩｍ１０の位置が、図８の投影マーカＧ１０の位置からずれている。

図７に戻り、投影制御装置２５０は補正演算部２５６として、メモリ２４０の投影用の画像データＤ１を参照し、撮像座標（Ｘｃ，Ｙｃ）上の撮像マーカＩｍ１０と、投影座標（Ｘｐ，Ｙｐ）上の投影マーカＧ１０間の位置ずれを示すずれ量を算出する（Ｓ１３）。例えば、投影制御装置２５０は、撮像画像Ｉｍ１に画像解析を行って、撮像座標（Ｘｃ，Ｙｃ）上で、投影マーカＧ１０の基準位置に対応する撮像マーカＩｍ１０の特定の部分の位置即ちマーカ位置を検出する。投影制御装置２５０は、検出した１つ又は複数のマーカ位置の各々について、Ｘ成分のずれ量ΔＸ＝（Ｘｃ－Ｘｐ）及びＹ成分のずれ量ΔＹ＝（Ｙｃ－Ｙｐ）を算出する。

また、投影制御装置２５０は、画像重畳部２５４として投影用の画像データＤ１を参照し、投影マーカＧ１０を撮像画像Ｉｍ１上に重畳した重畳画像Ｉｍ２を生成し、例えば表示制御装置１５０との通信を介してモニタ１６０に重畳画像Ｉｍ２を表示させる（Ｓ１４）。ステップＳ１４におけるモニタ１６０の表示例を図１０に示す。

図１０の表示例は、図９Ｂの撮像画像Ｉｍ１に応じた重畳画像Ｉｍ２を例示する。画像重畳部２５４は、例えばモニタ１６０に表示するための座標（Ｘ，Ｙ）において、撮像画像Ｉｍ１を（Ｘ，Ｙ）＝（Ｘｃ，Ｙｃ）に配置し、投影マーカＧ１０を（Ｘ，Ｙ）＝（Ｘｐ，Ｙｐ）に配置して、撮像画像Ｉｍ１の上に投影マーカＧ１０を重畳する。又、投影制御装置２５０は、例えば本表示例のように、ステップＳ１４において重畳画像Ｉｍ２と共に、算出したずれ量（ΔＸ，ΔＹ）を表示させる。

図１０のような表示は、ユーザ１４０に、更なる補正の位置調整を行うかどうかを確認させるために行われる。ユーザ１４０は、位置調整を行うためのユーザ操作を、操作部１７０から適宜、入力できる。投影制御装置２５０は、操作部１７０から入力されたユーザ操作が位置調整の操作が入力されたか否かを判断する（Ｓ１５）。

位置調整の操作が入力されると（Ｓ１５でＹＥＳ）、投影制御装置２５０は、入力されたユーザ操作に従って位置補正部２５３及び位置補正部２５１に設定された情報を更新して（Ｓ１６）、ステップＳ１２以降の処理を再び実行する。この際、撮像画像Ｉｍ１の撮像座標（Ｘｃ，Ｙｃ）が更に補正され（Ｓ１２）、重畳画像Ｉｍ２等の表示が更新される（Ｓ１４）。ユーザ１４０は、例えば位置調整の操作を繰り返して所望の補正が得られると、位置調整モードを完了するための操作を操作部１７０に入力する。

投影制御装置２５０は、位置調整モードの完了操作が入力されると、入力されたユーザ操作が位置調整の操作でないと判断して（Ｓ１５でＮＯ）、調整結果を保存する（Ｓ１７）。この際、投影制御装置２５０は、可視光画像用の位置補正部２５３と非可視光画像用の位置補正部２５１とに関する諸情報をメモリ２４０に記録する。その後、本フローチャートによる処理は終了する。

以上の処理によると、プロジェクタ２２０から一定のマーカ画像Ｇ１を投影し続けながら、撮像座標（Ｘｃ，Ｙｃ）の補正を繰り返すというように、投影マーカＧ１０を基準として位置調整が行われる。例えば、ユーザ１４０は、モニタ１６０の重畳画像Ｉｍ２上で投影マーカＧ１０に撮像マーカＩｍ１０を近付けるように位置調整の操作を行うことで、所望の補正状態に容易に到ることができる。

また、以上の処理によると、ステップＳ１０～Ｓ１６において逐次、可視光画像用の位置補正部２５３と非可視光画像用の位置補正部２５１との間で同様に設定更新が為され、双方の位置補正部２５１，２５３に対する調整結果を同様にすることができる（Ｓ１７）。なお、上記の代わりに、投影制御装置２５０は、ステップＳ１０～Ｓ１６では一方の位置補正部２５３の設定を更新し、ステップＳ１７で双方の位置補正部２５１，２５３が最終的に同じとなるように、他方の位置補正部２５１に対する設定を行ってもよい。

２－２－２．自動補正処理
以上の位置調整モードにおける自動補正処理（Ｓ１０）の詳細を、図１１～図１２を用いて説明する。図１１は、位置調整モードにおける自動補正処理を例示するフローチャートである。

自動補正処理（Ｓ１０）において、投影制御装置２５０は、例えば図８のマーカ画像Ｇ１の代わりに自動補正用のマーカ画像を用いて、上述したステップＳ１１～Ｓ１３と同様の処理を行う（Ｓ２１～Ｓ２３）。図１２に、自動補正用のマーカ画像Ｇ１ａの画像データＤ１ａを例示する。

図１２に例示するマーカ画像Ｇ１ａは、投影マーカＧ１０ａとして、投影座標（Ｘｐ，Ｙｐ）における中央の位置（Ｘｐ，Ｙｐ）＝（ｘａ，ｙａ）のマーカ点Ｐ０と、四方のマーカ位置（Ｘｐ，Ｙｐ）＝（ｘａ±ｘｂ，ｙａ±ｙｂ）のマーカ点Ｐ１～Ｐ４とを含む。各マーカ点Ｐ１～Ｐ４の大きさは、１以上の画素に適宜、設定される。各マーカ点Ｐ１～Ｐ４の位置は、投影座標（Ｘｐ，Ｙｐ）における基準位置の一例である。

また、本例の投影マーカＧ１０ａは、マーカ画像Ｇ１ａにおいて投影マーカＧ１０ａ以外の領域よりも低い輝度に設定される。例えば、マーカ画像Ｇ１ａにおいて投影マーカＧ１０ａ以外の領域全体が白色（即ち最高の輝度）に設定され、投影マーカＧ１０ａは黒色（即ち最低の輝度）に設定される。これにより、マーカ画像Ｇ１ａが投影された際に投影マーカＧ１０ａとそれ以外の部分とのコントラストが最大化され、撮像画像においてマーカ位置を検出し易くすることができる（Ｓ２３）。

図１１に戻り、投影制御装置２５０は、まず、上記のような自動補正用のマーカ画像Ｇ１ａをプロジェクタ２２０に投影させる（Ｓ２１）。次に、投影制御装置２５０は、カメラ２１０の撮像時の撮像座標（Ｘｉ，Ｙｉ）においてマーカ画像Ｇ１ａの撮像画像を取得し（Ｓ２２）、撮像座標（Ｘｉ，Ｙｉ）上のマーカ位置のずれ量を算出する（Ｓ２３）。

次に、投影制御装置２５０は、算出したずれ量に基づいて、位置補正部２５３及び位置補正部２５１に初期の補正情報を設定する（Ｓ２４）。ステップＳ２４において、投影制御装置２５０は、位置補正部２５３及び位置補正部２５１による補正後の撮像座標（Ｘｉ，Ｙｉ）における撮像マーカＩｍ１０のずれ量が、許容誤差を示す上限値以下となるように、撮像座標（Ｘｉ，Ｙｉ）に対する補正情報を算出する。補正情報は、例えば撮像座標（Ｘｉ，Ｙｉ）に対する座標変換を表す各種パラメータで規定され、例えば並進、回転、および拡大／縮小のパラメータを含む。

投影制御装置２５０は、位置補正部２５３及び位置補正部２５１の初期設定（Ｓ２４）後、図７のステップＳ１０を終了し、ステップＳ１１に進む。

以上の自動補正処理によると、プロジェクタ２２０から投影される投影マーカＧ１０ａを基準とした撮像座標（Ｘｉ，Ｙｉ）の補正が自動的に行われ、手術支援システム１００における位置調整を容易にすることができる。

以上の自動補正処理は、図７のステップＳ１４と同様に、モニタ１６０に重畳画像を表示しながら実行されてもよい。この際、投影制御装置２５０は、図１０と同様に、ずれ量をモニタ１６０に表示させてもよい。また、ステップＳ２３，Ｓ２４において、投影制御装置２５０は補正情報の各種パラメータを徐々に変更しながら、位置補正部２５３及び位置補正部２５１の設定を行ってもよい。

２－２－３．マーカ画像と位置調整方法について
図７に例示した位置調整モードの動作時には、自動補正処理（Ｓ１０）後に、自動補正用のマーカ画像Ｇ１に代えて、ユーザ操作で位置調整を行うためのマーカ画像Ｇ１が投影される（Ｓ１１）。

ステップＳ１１のマーカ画像Ｇ１では、図８に例示するように、投影マーカＧ１０が、図１２と同様のマーカ点Ｐ０～Ｐ４に加えて、回転調整用のガイド線Ｇ１１、及び拡縮調整用のガイド線Ｇ１２をさらに含む。各ガイド線Ｇ１１，Ｇ１２は、例えばマーカ点Ｐ０～Ｐ４と同色に設定される。

回転調整用のガイド線Ｇ１１は、中央のマーカ点Ｐ０から放射状に設けられる。拡縮調整用のガイド線Ｇ１２は、四方のマーカ点Ｐ１～Ｐ４を四隅とする矩形状に設けられる。各ガイド線Ｇ１１，Ｇ１２は、それぞれ各マーカ点Ｐ０～Ｐ４から所定間隔をあけて設けられる。所定間隔は、例えば自動補正処理（Ｓ１０）における許容誤差を考慮して、投影マーカＧ１０の基準位置と撮像マーカＩｍ１０のマーカ位置間に想定されるずれ量の上限値よりも大きい範囲に設定される。

また、ステップＳ１４において投影マーカＧ１０を用いた重畳画像Ｉｍ２を表示する際、投影制御装置２５０は、例えば投影マーカＧ１０の色彩を、投影時（Ｓ１１）とは別の色に設定する（図１０参照）。例えば、投影マーカＧ１０は、ステップＳ１１では黒色であり、ステップＳ１４では水色に設定される。この場合、重畳画像Ｉｍ２において撮像マーカＩｍ１０は黒色に映り、投影マーカＧ１０と撮像マーカＩｍ１０との見分けを付け易くすることができる。こうした重畳画像Ｉｍ２における各マーカＧ１０，Ｉｍ１０を区別する表示方法としては、上記に限らず、例えば線種の変更、或いは点滅表示などを採用可能である。

以上のような投影マーカＧ１０を用いたユーザ操作による位置調整の方法の一例を、図１３Ａ～１３Ｄを用いて説明する。図１３Ａ～１３Ｄは、第１～第４の位置調整の操作における表示例を示す。以下では、ユーザ操作によってステップＳ１２～Ｓ１５の処理を繰り返すことで行われる位置調整方法の一例を説明する。

図１３Ａは、図１０に示す重畳表示の後に第１の位置調整の操作が行われた状態を例示する。本例では、まず第１の位置調整の操作として、Ｘ，Ｙ方向の位置合わせが行われる。この際、投影マーカＧ１０における中央のマーカ点Ｐ０を基準として、対応する撮像マーカＩｍ１０のマーカ位置が合致するように、撮像マーカＩｍ１０をＸ方向およびＹ方向にシフトすることにより、容易にＸ，Ｙ方向の位置合わせが行える。

次に、第２の位置調整の操作は、例えば図１３Ｂに示すように、合致させたマーカ点Ｐ０を中心として、撮像マーカＩｍ１０を回転させる。こうした調整は、マーカ点Ｐ０から放射状にある回転調整用のガイド線Ｇ１１に注目することにより、容易に行える。

さらに、例えば図１３Ｃ，１３Ｄに示すように、マーカ点Ｐ０の位置を固定しながら、撮像マーカＩｍ１０を拡大又は縮小させる、第３および第４の位置調整が行われる。こうした位置調整は、マーカ点Ｐ０を囲むように配置された拡縮調整用のガイド線Ｇ１２に注目することにより、容易に行える。又、拡大／縮小の調整は、Ｘ方向とＹ方向とにおいて別々に行われてもよい。又、Ｘ，Ｙ方向の双方を同時に拡大又は縮小させて一方向のガイド線まで合致させた後に、残りの方向を微調整してもよい。

以上のような位置調整方法は、ユーザ操作に限らず、投影制御装置２５０等により自動的に実行されてもよい。例えば、上記の位置調整方法が、自動補正処理（Ｓ１０）に適用されてもよい。

また、以上のような位置調整時には、図１０と同様に、ずれ量（ΔＸ，ΔＹ）が表示されてもよい。この場合、投影制御装置２５０は逐次、ずれ量を算出して（Ｓ１３）、表示されるずれ量を更新する。この際、投影制御装置２５０は、ずれ量の大きさに応じて表示の態様を変更してもよい。例えば、ずれ量が、所定のしきい値以上の場合には赤字で表示され、しきい値未満の場合には緑字で表示されてもよい。

２－３．位置調整に対する補間方法について
図１４は、手術支援システム１００の通常モードにおける投影画像Ｇ３の補間方法を説明した図である。

本実施の形態の通常モードでは、投影制御装置２５０の位置補正部２５１が、上記のような位置調整モードの設定に従って、撮像座標（Ｘｉ，Ｙｉ）から投影座標（Ｘｐ，Ｙｐ）に座標変換を行うことにより、撮像画像Ｉｍ１における各部の位置が、投影画像Ｇ３上で全体的にシフト等するような位置補正が為される。この際、図１４に示すように、投影座標（Ｘｐ，Ｙｐ）の領域全体の中で、撮像画像Ｉｍ１に対応しないブランク領域Ｇ３０が生じ得る。

そこで、本実施の形態の画像生成部２５２は、上記のようなブランク領域Ｇ３０を白色に設定して補間するように、投影画像Ｇ３を生成する。これにより、プロジェクタ２２０からの投影時に投影画像Ｇ３中のブランク領域Ｇ３０に応じて照射される投影光を、術野１３５等に対する照明として活用することができる。

また、画像生成部２５２は、投影画像Ｇ３において二値化等により患部１３０に対応すると特定した部分以外の領域についても、白色に設定する。これにより、投影光を活用した照明を確保し易くすることができる。

また、以上の説明では、位置調整モードの設定に従ってブランク領域Ｇ３０が生じた場合に白色等で補間を行う例を説明した。こうした補間は、位置調整モードの設定の代わりに、種々の目的において投影座標（Ｘｐ，Ｙｐ）上で画像データの位置を動かすことによってブランク領域Ｇ３０が生じた場合にも、適用可能である。

又、以上のような画像の生成においては、白色の代わりに、撮像画像に対応する領域より高い輝度を有する照明光として利用可能な程度の中間階調が適宜、用いられてもよい。

３．まとめ
以上のように、本実施の形態の手術支援システム１００は、撮像部の一例であるカメラ２１０と、投影部の一例であるプロジェクタ２２０と、制御部の一例である投影制御装置２５０とを備える。カメラ２１０は、患部１３０等の被写体を撮像して第１の撮像画像を生成する（Ｓ２）。プロジェクタ２２０は、第１の撮像画像に応じた投影画像Ｇ３２０を被写体に投影する（Ｓ４）。投影制御装置２５０は、通常モードおよび位置調整モードを有する。通常モードは、第１の撮像画像に応じて投影画像を生成する第１の動作モードの一例である。位置調整モードは、第１の撮像画像における位置と投影画像における位置とを対応付ける位置関係を調整する第２の動作モードの一例である。投影制御装置２５０は、位置調整モードにおいて、プロジェクタ２２０に、位置関係における基準を示すマーカの一例の投影マーカＧ１０を含むマーカ画像Ｇ１を投影させる（Ｓ１１）。投影制御装置２５０は、カメラ２１０から、投影されたマーカ画像Ｇ１を撮像した撮像画像Ｉｍ１（第２の撮像画像）を取得する（Ｓ１２）。投影制御装置２５０は、マーカ画像Ｇ１における投影マーカＧ１０と撮像画像Ｉｍ１におけるマーカ即ち撮像マーカＩｍ１０とに基づいて、上記の位置関係を調整する（Ｓ１５，Ｓ１６）。

以上の手術支援システム１００のような投影システムによると、プロジェクタ２２０から投影されるマーカ画像Ｇ１が基準として用いられ、通常モードにおける投影画像Ｇ３２０と撮像画像との位置関係を調整し易くすることができる。

本実施の形態において、投影制御装置２５０は、通常モードにおいて位置補正部２５１及び画像生成部２５２として動作し、位置調整モードで調整された位置関係を参照して、第１の撮像画像における位置と投影画像Ｇ３２０における位置とを対応付けるように当該投影画像Ｇ３２０を生成する（Ｓ３）。

本実施の形態において、手術支援システム１００は、画像を表示する表示部の一例であるモニタ１６０をさらに備える。投影制御装置２５０は、位置調整モードにおいて、マーカ画像Ｇ１における投影マーカＧ１０を撮像画像Ｉｍ１に重畳して表示するように、モニタ１６０を制御する（Ｓ１４）。これにより、ユーザ１４０はモニタ１６０上で投影マーカＧ１０を基準とする撮像マーカＩｍ１０の位置ずれを確認でき、位置調整をし易くすることができる。

本実施の形態において、手術支援システム１００は、ユーザ操作を入力する操作部１７０をさらに備える。投影制御装置２５０は、位置調整モードにおいて、操作部１７０から入力されたユーザ操作に従って、位置関係を調整する（Ｓ１５，Ｓ１６）。本システム１００によると、ユーザ１４０は所望の位置関係が得られるような位置調整を行いやすい。

本実施の形態において、投影制御装置２５０は、位置調整モードにおいて、マーカ画像Ｇ１における投影マーカＧ１０の位置と撮像画像Ｉｍ１における撮像マーカＩｍ１０の位置との間のずれ量を算出する（Ｓ１３）。本システム１００は、算出したずれ量をモニタ１６０に表示してもよいし、自動的な補正に用いてもよい。

本実施の形態において、カメラ２１０は、第１の波長帯を有する第１の光の一例である赤外光に基づき第１の撮像画像の一例である非可視光画像を撮像する。また、カメラ２１０は、第１の波長帯とは異なる第２の波長帯を有する第２の光の一例である可視光に基づき、第２の撮像画像の一例である可視光画像として撮像画像Ｉｍ１を撮像する。手術支援システム１００は、カメラ２１０による第１及び第２の撮像画像を用いて、各種の支援を実現することができる。

本実施の形態において、被写体は、患者などの生体であって、第１の波長帯において蛍光発光する患部１３０を含む。手術支援システム１００は、光源部の一例である励起光源２３０をさらに備える。励起光源２３０は、蛍光発光を励起する励起光３００を照射する。こうした手術支援システム１００によると、蛍光発光した患部１３０を投影画像Ｇ３２０により可視化して、手術等の支援を実現できる。

本実施の形態において、投影マーカＧ１０は、マーカ画像Ｇ１における投影マーカＧ１０以外の領域よりも低い輝度を有する。例えば、投影マーカＧ１０は黒色に設定される。こうした投影マーカＧ１０は、投影された位置を確認し易く、位置調整を容易化できる。

本実施の形態において、投影制御装置２５０は、例えば図１４に示すように、投影画像Ｇ３において、ブランク領域Ｇ３０などの撮像画像に対応しない位置の輝度を、撮像画像に対応する位置よりも高い輝度に設定する。例えば、投影制御装置２５０は、ブランク領域Ｇ３０の輝度を白色に設定する。こうした投影画像Ｇ３により、ブランク領域Ｇ３０の投影光を照明に活用することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記の実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

上記実施の形態１では、位置調整モードの動作時に自動補正処理（図７のＳ１０）が行われる例を説明したが、自動補正処理は省略されてもよい。本実施の形態における位置調整モードの動作は、逆にステップＳ１５以降のユーザ操作の受け付けを省略してもよく、自動補正処理の実行によって完了してもよい。これらによっても、投影マーカＧ１０，Ｇ１０ａを基準として、撮像画像と投影画像との位置関係を調整し易くすることができる。

また、上記実施の形態１では、位置調整モードに可視光画像を用いる例を説明したが、可視光画像の代わりに非可視光画像を用いて位置調整モードが実行されてもよい。変形例１について、図１５を用いて説明する。

図１５は、手術支援システム１００における位置調整モードの変形例１を示す機能ブロック図である。本変形例においては、例えば図６の白色チャート４００の代わりに、蛍光チャート４１０が被写体に採用される。蛍光チャート４１０は、例えば白色の投影光に含まれ得る８３０ｎｍの波長成分を全反射するような材料で構成される。また、本変形例においては、図６において、可視光画像用の位置補正部２５３の代わりに非可視光画像用の位置補正部２５１の補正結果に関してずれ量の算出などが行われる。

以上のような本変形例の位置調整モードと、実施の形態１の位置調整モードとが、併用されてもよい。これにより、非可視光画像用の位置補正部２５１と可視光画像用の位置補正部２５３間に補正情報の差分を設定することができる。こうした補正情報の差分により、可視光画像と非可視光画像間で、倍率色収差に対処することができる。補正情報の差分は、例えば工場出荷時に、本変形例の位置調整モードにより設定されてもよい。

以上のように、投影制御装置２５０は、位置調整モードにおいて、カメラ２１０で、プロジェクタ２２０から投影されたマーカ画像を、非可視光などの第１の光に基づき撮像した第３の撮像画像を取得してもよい。投影制御装置２５０は、取得した第３の撮像画像に基づいて、非可視光画像（第１の撮像画像）における位置と投影画像における位置とを対応付ける位置関係と、可視光画像（第２の撮像画像）における位置とマーカ画像における位置とを対応付ける位置関係との差分を設定してもよい。

また、上記実施の形態では、マーカ画像Ｇ１，Ｇ１ａの具体例を例示したが、マーカ画像Ｇ１，Ｇ１ａは上記の例に限らず、種々の形態を採用可能である。こうした変形例２について、図１６を用いて説明する。

図１６は、変形例２に係るマーカ画像Ｇ２の投影用の画像データＤ２を例示する。本変形例のマーカ画像Ｇ２は、投影マーカＧ２０として、グリッド状に配置された複数のマーカ点Ｐ２０を含む。例えば２０個×２０個などのマーカ点Ｐ２０が、投影座標（Ｘｐ，Ｙｐ）全体にわたり所定間隔に配置される。なお、投影マーカＧ２０の形態は、特に上記に限らず、例えば上記以外のマーカ点Ｐ２０の個数が設定されてもよいし、マーカ点Ｐ２０に代えて又はこれに加えて種々の形態のマーカが配置されてもよい。

本変形例の投影マーカＧ２０によると、例えば投影画像（又は撮像画像）に歪みが生じている場合に、投影マーカＧ２０と、対応する撮像マーカとを上記の実施の形態と同様に比較することで、歪量を計測することができる。この際、歪量は、マーカ点Ｐ２０が配置された投影座標（Ｘｐ，Ｙｐ）中の各所において計測可能である。

例えば、各種光学系におけるレンズの歪曲収差の影響によって、投影座標（Ｘｐ，Ｙｐ）上で中央部と周辺部とで異なる位置補正量の設定が必要な場合が考えられる。これに対して、本変形例の投影マーカＧ２０を投影し、例えば上記各実施の形態と同様の位置調整モードにおいて歪量を考慮することで、歪曲収差のような曲線的な補正が可能である。また、投影座標（Ｘｐ，Ｙｐ）全体に一律の位置補正（即ち平行移動、回転、拡大縮小）以外に、グリッド単位の局所的な位置補正が可能となる。

また、上記実施の形態では、非可視光の一例として赤外光を説明したが、非可視光は赤外光に限らず、紫外光であってもよい。また、非可視光は、必ずしも非可視領域の波長帯を有する光に限らず、例えば青色領域の励起光に基づき発光する赤色領域の微弱な蛍光などを含んでもよい。この際、投影画像及び可視撮像の対象とする可視光は、緑色光等であってもよい。

また、上記実施の形態では、通常モードの動作時と位置調整モードの動作時とが別々の場合について説明したが、必ずしも別々の動作時でなくてもよく、同時であってもよい。例えば、通常モードの撮像に用いる第１の光を赤外領域とし、位置調整モードの撮像に用いる第２の光を紫外領域とするように、本実施の形態の撮像部、投影部及び制御部が構成されてもよい。上記のように各動作モードに用いる光の波長帯を分けることにより、通常モード及び位置調整モードの同時実施を実現することができる。又、こうした同時実施により、例えば手術中にリアルタイムに調整される位置補正を行うことができる。

また、上記実施の形態では、医療用途における投影システムの適用例を説明したが、本開示における投影システムはこれには限定されない。例えば、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う必要がある場合、本開示における投影システムを適用することができる。

具体的には、工事現場や採掘現場、建築現場、材料を加工する工場などにおける、目視では状態変化を確認できないような対象物に蛍光材料を塗布し、練りこみ、或いは流し込んで、カメラ２１０による撮像の対象としてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において、種々の変更、置換、付加、省略などを行うことができる。

本開示における投影システムは、医療用途、工事現場、採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認しづらいような被写体に対して作業を行う際に適用可能である。

１００ 手術支援システム
１３０ 患部
１３５ 術野
１５０ 表示制御装置
１６０ モニタ
１７０ 操作部
２１０ カメラ
２２０ プロジェクタ
２３０ 励起光源
２５０ 投影制御装置
２５１，２５３ 位置補正部
２５２ 画像生成部
２５４ 画像重畳部
２５５ マーカ生成部
２５６ 補正演算部
３００ 励起光
３１０ 蛍光
３１５，３２０ 投影光
３３０ 可視光
Ｄ１，Ｄ１ａ，Ｄ２ 画像データ
Ｇ１，Ｇ１ａ，Ｇ２ マーカ画像
Ｇ３，Ｇ３２０ 投影画像
Ｇ１０，Ｇ１０ａ，Ｇ２０ 投影マーカ
Ｇ３０ ブランク領域
Ｉｍ１ 撮像画像
Ｉｍ２ 重畳画像
Ｉｍ１０ 撮像マーカ
Ｐ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ２０ マーカ点

Claims (8)

1. 被写体を撮像して第１の撮像画像を生成する撮像部と、
   前記第１の撮像画像に応じた投影画像を前記被写体に投影する投影部と、
   前記第１の撮像画像に応じて前記投影画像を生成し前記投影部に投影させる第１の動作モード、及び前記第１の撮像画像における位置と前記投影画像における位置とを対応付ける位置関係を調整する第２の動作モードを有する制御部とを備え、
   前記制御部は、前記第２の動作モードにおいて、
   前記投影部に、前記位置関係における基準を示すマーカを含むマーカ画像を投影させ、
   前記撮像部が投影された前記マーカ画像を撮像して生成した第２の撮像画像を、取得し、
   前記マーカ画像におけるマーカと前記第２の撮像画像におけるマーカとに基づいて、前記位置関係を調整し、
   前記投影画像において、前記第１の撮像画像に対応しない位置の輝度を、前記第１の撮像画像に対応する位置以上の輝度に設定する
   投影システム。
2. 前記制御部は、前記第１の動作モードにおいて、前記第２の動作モードで調整された位置関係を参照して、前記第１の撮像画像における位置と前記投影画像における位置とを対応付けるように当該投影画像を生成する
   請求項１に記載の投影システム。
3. 画像を表示する表示部をさらに備え、
   前記制御部は、前記第２の動作モードにおいて、前記マーカ画像におけるマーカを前記第２の撮像画像に重畳して表示するように、前記表示部を制御する
   請求項１又は２に記載の投影システム。
4. ユーザ操作を入力する操作部をさらに備え、
   前記制御部は、前記第２の動作モードにおいて、前記操作部から入力された前記ユーザ操作に従って、前記位置関係を調整する
   請求項１～３のいずれか１項に記載の投影システム。
5. 前記制御部は、前記第２の動作モードにおいて、前記マーカ画像におけるマーカの位置と前記第２の撮像画像におけるマーカの位置との間のずれ量を算出する
   請求項１～４のいずれか１項に記載の投影システム。
6. 前記撮像部は、
   第１の波長帯を有する第１の光に基づき前記被写体を撮像して前記第１の撮像画像を生成し、
   前記第１の波長帯とは異なる第２の波長帯を有する第２の光に基づき前記マーカ画像を撮像して前記第２の撮像画像を生成する
   請求項１～５のいずれか１項に記載の投影システム。
7. 励起光を照射する光源部をさらに備え、
   前記被写体は、前記励起光によって蛍光発光する領域を含む、
   請求項６に記載の投影システム。
8. 前記マーカは、前記マーカ画像における前記マーカ以外の領域よりも低い輝度を有する
   請求項１～７のいずれか１項に記載の投影システム。

Images