JPWO2018211885A1 - 画像取得システム、制御装置及び画像取得方法 - Google Patents

Abstract

【課題】術者や助手に対して医療具の情報を利用し適切な画像を提供することが可能な画像取得システム、制御装置及び画像取得方法を提供する。【解決手段】画像取得システムは、光源部と、撮像部と、医療具検出部と、画像処理部とを具備する。上記光源部は、励起光の照射により蛍光を発する医療具が存在する患部に対して、通常光及び上記励起光を照射する。上記撮像部は、上記励起光照射下及び上記通常光照射下の上記患部を撮像し、上記蛍光を撮像した第１の画像信号と、上記通常光を撮像した第２の画像信号とを取得する。上記医療具検出部は、上記第１の画像信号を基に、上記第１の画像信号より得られる第１の画像における上記医療具の存在領域を検出する。上記画像処理部は、上記存在領域の検出結果と上記第２の画像信号を利用して表示画像を生成する。【選択図】図２

Description

本技術は、医療用画像を取得するに際し、術者に最適な画像を提供できるようにした画像取得システム、制御装置及び画像取得方法に関する。

内視鏡システムにおいて、患部に配置される医療具に発光剤を含ませることにより、医療具の位置を視覚的に発見しやすくすることが提案されている（例えば特許文献１参照）。また、励起光の照射によって蛍光を発する蛍光材料からなるマークが設けられた処置具を用いて、内視鏡挿入部の先端と被観察部との間の距離情報を取得することが提案されている（例えば特許文献２参照）。

特開２０１２−１１５５３５号公報 特開２０１１−１３６００５号公報

特殊光照射下での撮像で得られる蛍光画像は、通常光照射下での撮像で得られる通常光画像よりも一般に全体的に暗い画像となり、患部を詳細に確認することが難しい場合がある。また、医療具が配置された患部の撮像画像に対して、例えば自動露出制御が行なわれる場合、医療具も含む撮像領域全体の明るさをもとにして自動露出制御が行われるので、全体的に暗い画像となり適切な画像が表示されない場合がある。

以上のような事情に鑑み、本技術の目的は、術者や助手に対して医療具の情報を利用し適切な画像を提供することが可能な画像取得システム、制御装置及び画像取得方法を提供することである。

上記目的を達成するため、本技術に係る画像取得システムは、光源部と、撮像部と、医療具検出部と、画像処理部とを具備する。
上記光源部は、励起光の照射により蛍光を発する医療具が存在する患部に対して、通常光及び上記励起光を照射する。
上記撮像部は、上記励起光の照射下及び上記通常光の照射下の上記患部を撮像し、上記蛍光を撮像した第１の画像信号と、上記通常光を撮像した第２の画像信号とを取得する。
上記医療具検出部は、上記第１の画像信号を基に、上記第１の画像信号より得られる第１の画像における上記医療具の存在領域を検出する。
上記画像処理部は、上記存在領域の検出結果と上記第２の画像信号を利用して表示画像を生成する。

このような構成によれば、励起光の照射下での撮像により得られる第１の画像信号を基に医療具が配置される領域が検出される。そして、この医療具の存在領域の検出結果を用いて、術者や助手に対して状況に応じた適切な表示画像を提供することができる。

上記画像処理部は、存在領域の検出結果を基に、上記第２の画像信号より得られる第２の画像における上記医療具の存在領域を設定し、上記第２の画像における上記医療具の存在領域又は上記第２の画像における上記医療具の存在領域以外の領域を画像処理して上記表示画像を生成してもよい。

このような構成によれば、医療具の存在領域の検出結果を基に、通常光の照射下での撮像により得られる第２の画像における医療具の存在領域が設定される。第２の画像における医療具の存在領域が設定されることにより、医療具の存在領域を、医療具の存在領域以外の領域の情報に影響されずに画像処理することが可能となる。また、第２の画像における医療具の存在領域以外の領域である患部を、医療具の存在領域の情報に影響されずに画像処理することが可能となる。これにより、術者や助手に対して適切な画像を提供することができる。

上記画像処理部は、上記第２の画像における上記医療具の存在領域の画像振れ又は上記第２の画像における上記医療具の存在領域以外の領域の画像振れを補正する画像処理をして上記表示画像を生成してもよい。

これにより、医療具の存在領域における画像振れの補正を医療具の存在領域以外の領域の情報に影響されず行うことができる。また、医療具の存在領域以外の領域の画像振れの補正を医療具の存在領域の情報に影響されず行うことができる。

上記撮像部に上記励起光及び上記通常光を集光するレンズ部と、上記レンズ部の駆動を制御する制御部とを更に具備し、上記画像処理部は、上記第２の画像における上記医療具の存在領域以外の領域で自動フォーカス検波値を算出し、上記制御部は、算出された上記自動フォーカス検波値を基に上記レンズ部の駆動を制御してもよい。

これにより、医療具の存在領域以外の領域を、医療具の存在領域の情報に影響されずにフォーカス制御することが可能となる。このようにフォーカス制御されて撮像が行われることにより、医療具の存在領域以外の領域となる患部にピントがあうように画像処理された表示画像を得ることができる。

上記撮像部に前記励起光及び前記通常光を集光するレンズ部と、前記レンズ部の駆動を制御する制御部を更に具備し、前記画像処理部は、前記第２の画像における前記医療具の存在領域以外の領域で自動露出検波値を算出し、前記制御部は、算出された前記自動露出検波値を基に前記レンズ部の駆動を制御してもよい。

これにより、医療具の存在領域以外の領域を、医療具の存在領域の情報に影響されずに露出制御することが可能となる。このように露出制御されて撮像が行われることにより、医療具の存在領域以外の領域となる患部が適正な明るさで画像表示されるように画像処理された表示画像を得ることができる。

上記画像処理部は、第２の画像における医療具の存在領域を色補正する画像処理をして上記表示画像を生成してもよい。
これにより、医療具の位置が視認しやすい表示画像を得ることができる。

上記画像処理部は、第２の画像における医療具の存在領域以外の領域を色補正する画像処理をして上記表示画像を生成してもよい。
これにより、医療具の存在領域の情報に影響されずに患部の色補正がなされた表示画像を得ることができる。

上記画像処理部は、上記第１の画像と、上記第２の画像とを重畳する画像処理をして上記表示画像を生成してもよい。
これにより、医療具が配置される領域において、第１の画像における情報と第２の画像における情報の両方が反映された表示画像を得ることができる。

本技術に係る制御装置は、医療具検出部と、画像処理部とを具備する。
上記医療具検出部は、励起光の照射により蛍光を発する医療具が存在する患部を上記励起光の照射下で撮像して取得される第１の画像信号を基に、上記第１の画像信号より得られる第１の画像における上記医療具の存在領域を検出する。
上記画像処理部は、上記存在領域の検出結果と、上記患部を通常光の照射下で撮像して取得される第２の画像信号とを利用して表示画像を生成する。

本技術に係る画像取得方法は、励起光の照射により蛍光を発する医療具が存在する患部を上記励起光の照射下で撮像して第１の画像信号を取得し、上記患部を通常光の照射下で撮像して第２の画像信号を取得し、上記第１の画像信号より得られる第１の画像における上記医療具の存在領域を検出し、上記存在領域の検出結果と上記第２の画像信号とを利用して表示画像を生成する。

以上のように、本技術によれば、医療具の存在領域の情報を利用して術者や助手に対して適切な画像を提供することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した内視鏡画像取得システムの概要を説明する図である。 図１の内視鏡画像取得システムの構成例を示す図である。 図１の内視鏡画像取得システムの部分ブロック図である。 図１の内視鏡画像取得システムにおける光源装置からの光を患部に対して照射して撮像する様子を示す模式図である。 蛍光画像と通常光画像を同時に取得するシステム例を説明する図である。 他の蛍光画像と通常光画像を同時に取得するシステム例を説明する図である。 更に他の蛍光画像と通常光画像を同時に取得するシステム例を説明する図である。 蛍光画像と通常光画像を同時に取得するシステムに用いられるカラーフィルタセンサ例の図である。 第１の実施形態における振れ補正の画像処理を行う内視鏡画像取得システムの部分ブロック図である。 図９に示す内視鏡画像取得システムの振れ制御部における処理の流れを説明する図である。 図１０に示す振れ制御部において、医療具補正モードをオン、オフそれぞれで設定した際の振れ制御方法を説明する図である。 第２の実施形態における内視鏡画像取得システムの部分ブロック図である。 図１２に示す内視鏡画像取得システムにおけるＡＦ／ＡＥ制御部及び駆動部を説明するブロック図である。 図１２に示す内視鏡画像取得システムにおけるＡＦ／ＡＥ制御処理を説明する図である。 第３の実施形態における色補正の画像処理を行う内視鏡画像取得システムを説明するブロック図である。 図１５に示す内視鏡画像取得システムにおける色補正処理を説明する図である。 第４の実施形態における重畳処理の画像処理を行う内視鏡画像取得システムを説明するブロック図である。 図１７に示す内視鏡画像取得システムにおける重畳処理を説明する図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜内視鏡画像取得システムの構成例＞
図１は、本技術を適用した画像取得システムとしての内視鏡画像取得システムの概要を説明する図である。図２は、内視鏡画像取得システムの構成例を示す図であり、図３は、その部分ブロック図である。この内視鏡画像取得システムは、近年、医療現場において従来の開腹手術に代わって行われる腹腔鏡下手術において利用される。

腹腔鏡下手術では、例えば腹部の手術を行う場合、従来行われていた腹壁１を切って開腹する代わりに、トロッカ２と称される開孔器具が腹壁１に数か所取り付けられ、トロッカ２に設けられている孔から腹腔鏡（以下、内視鏡装置と称する）１１と医療具３が体内に挿入される。そして、内視鏡装置１１によってビデオ撮像された患部（腫瘍等）４の画像を表示装置１３にてリアルタイムに見ながら、医療具３によって患部４を切除するなどの処置が行われる。直線棒状の内視鏡装置１１では、ヘッド部２４を術者、助手、スコピスト、またはロボットなどが保持している。

内視鏡画像取得システム１０は、内視鏡装置１１と、制御装置としてのカメラコントロールユニット（ＣＣＵ：Camera Control Unit）１２と、表示装置１３と、光源部としての光源装置１４とから構成される。

内視鏡装置１１やＣＣＵ１２は、ケーブルを介して接続する他、無線で接続してもよい。また、ＣＣＵ１２を手術室から離れた場所に配置し、構内ＬＡＮやインターネットなどのネットワークを介して接続するようにしてもよい。ＣＣＵ１２と表示装置１３の接続についても同様とする。

内視鏡装置１１は、直線棒状の鏡筒部２１とヘッド部２４から構成される。鏡筒部２１は、光学視管または硬性管とも称され、その長さが数１０センチ程度であり、体内に挿入される側の一端には対物レンズ２２が設けられており、他端はヘッド部２４に接続されている。鏡筒部２１の内部にはリレー光学系の光学レンズ部２３が設けられている。なお、鏡筒部２１の形状は、直線棒状に限定されるものではない。

ヘッド部２４は、撮像部２５と、レンズ部２６と、制御部２７と、駆動部２８とを有し、撮像装置の機能を備える。

レンズ部２６は、鏡筒部２１との接続部に設けられる光学系である。鏡筒部２１の先端から取り込まれた観察光は、ヘッド部２４まで導光され、レンズ部２６に入射する。レンズ部２６は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズ部２６は、撮像部２５の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部２５は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子であり、鏡筒部２１から入力される患部の光学像を所定のフレームレートで画像信号に変換する。ＣＭＯＳイメージセンサは、各画素が１つのフォトダイオードとＣＭＯＳトランジスタを使ったスイッチで構成される。

撮像素子は、被写体輝度を検出する、すなわち被写体光像の光量に応じて、Ｒ、Ｇ、Ｂ各成分の画像信号に光電変換するものである。典型的には、撮像素子は、例えばフォトダイオードを有して構成される複数の画素がマトリクス状に２次元配置され、各画素の受光面に、それぞれ分光特性の異なる例えばＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが１：２：１の比率で配設されてなるベイヤー配列のカラー撮影可能なカラーフィルタセンサが用いられる。撮像素子は、被写体の光像をＲ、Ｇ、Ｂ各色成分のアナログの電気信号（画像信号）に変換し、各色の画像信号を生成する。

制御部２７は、レンズ部２６の駆動を制御する。
駆動部２８は、制御部２７からの撮像画像の倍率及び焦点を指定する旨の情報を有する制御信号に基づいて、レンズ部２６のズームレンズ及びフォーカスレンズを適宜移動させる。

内視鏡装置１１においては、対物レンズ２２により集光される患部４の光学像が光学レンズ部２３を介してヘッド部２４の撮像部２５に入射され、撮像部２５によって所定のフレームレートの画像信号に変換されてＣＣＵ１２に出力される。

また、内視鏡装置１１には、光源装置１４が接続されている。内視鏡装置１１は、光源装置１４から出射される撮像に必要とされる光を、ライトガイド１５を介して、鏡筒部２１の先端から出射し、医療具３が存在する患部４に照射する。この際、光源装置１４は、さまざまな波長の光を切り替えて発することができ、通常光に加えて、患部４を特に識別できるような特殊光を発することもできる。したがって、撮像部２５は、励起光の照射下及び通常光の照射下の患部を撮像し、蛍光を撮像した第１の画像信号である蛍光画像信号と、通常光を撮像した第２の画像信号である通常光画像信号とを取得することが可能である。

医療具３には蛍光材料が塗布されている。或いは、蛍光材料を有する材料により医療具３を構成してもよい。このような蛍光材料を含む医療具３は、励起光の照射により発光する。例えば蛍光剤にはＩＣＧ（インドシアニングリーン）が用いられ、励起光としては７５０〜８００ｎｍ付近の光が用いられる。励起光の照射により蛍光剤を含む医療具３は、８０５〜８３０ｎｍ付近の蛍光を発する。

励起光が照射されることにより蛍光を発する医療具としては、電気メス、鉗子、カテーテルチューブ、ドレーンチューブ、糸、ガーゼ等の体内には存在しない人工物が挙げられる。尚、ここでは蛍光剤としてＩＣＧを例に挙げたがこれに限定されず、人体に影響のない既知の蛍光剤を用いることができ、特殊光（励起光）の照射により医療具３が発光するように構成することができる。

光源装置１４は、医療具３を蛍光させる特殊光である励起光及び通常光が出射可能に構成される。通常光は、例えば、白色光（可視光）である。
図４は、医療具３が存在する患部４に対して光源装置１４から光を照射して撮像装置であるヘッド部２４により撮像する様子を示す模式図である。図４に示すように、光源装置１４は、近赤外（ＮＩＲ：Near-infrared）バンドパスフィルタ１４２と光源１４１を有する。

光源１４１は、通常光（白色光）を出射する。光源１４１にはキセノンランプや白色ＬＥＤ（Light Emitting Diode）等を用いることができる。光源１４１と内視鏡装置１１の鏡筒部２１との間に配置されるＮＩＲバンドパスフィルタ１４２は、蛍光剤の励起波長を有する励起光を透過するフィルタであり、光源１４１から出射される光の光路上に配置可能に構成される。

例えば医療具３にＩＣＧが含まれる場合、ＩＣＧを励起する７５０〜８００ｎｍ付近の近赤外光が励起光として光源装置１４から照射されるように構成される。

被写体である医療具３が存在する患部４に励起光を照射する場合、ＮＩＲバンドパスフィルタ１４２は光路上に配置される。光源１４１から出射された通常光は、ＮＩＲバンドパスフィルタ１４２を通って励起光となり、鏡筒部２１に入射される。鏡筒部２１を通過した励起光１４６は、医療具３が存在する患部４に照射される。

照射された励起光１４６により患部４に存在する医療具３は蛍光を発する。その蛍光と患部４で反射した反射光からなる光１４７は鏡筒部２１に入射する。鏡筒部２１に入射された光１４７は、鏡筒部２１内に配置される励起光カットフィルタ２６１を通過して蛍光成分だけ抽出されて、撮像部２５に入射する。

医療具３が存在する患部４に白色光を照射する場合、ＮＩＲバンドパスフィルタ１４２は光路上に配置されないように構成される。光源１４１から出射された白色光５４６は、鏡筒部２１を通過して患部４を照射する。患部４に照射された白色光は患部４で反射し、この反射した光５４７は鏡筒部２１に入射される。鏡筒部２１に入射した光５４７は、鏡筒部２１内に配置される励起光カットフィルタ２６１を通過し、撮像部２５に入射する。

尚、光源装置１４は上述の構成に限定されない。例えば、上述では、１つの光源１４１から通常光と励起光を得ることが可能な構成としたが、通常光を出射する光源と励起光を出射する光源の２つの光源を用いる構成としてもよい。

図１〜図３に示すように、撮像部２５は、光電変換により、励起光照射で撮像された第１の画像信号としての蛍光画像信号（図３におけるＩＲ（infrared）信号に相当）と、白色光（通常光）で撮像された第２の画像信号としての通常光画像信号（図３におけるＷＬＩ（white light imaging）信号に相当）を取得する。撮像部２５により取得された通常光画像信号及び蛍光画像信号はＣＣＵ１２に出力される。

制御装置としてのＣＣＵ１２は、医療具検出部１２１と、画像処理部１２２とを具備する。ＣＣＵ１２は、ヘッド部２４との間で各種の情報を送受信する。ＣＣＵ１２には、撮像部２５によって光電変換された蛍光画像信号（ＩＲ信号）及び通常光画像信号（ＷＬＩ信号）が入力される。

医療具検出部１２１は、第１の画像信号を基に、第１の画像信号より得られる第１の画像である蛍光画像における医療具の存在領域を検出する。より具体的には、医療具検出部１２１は、蛍光画像信号を前処理し、この前処理された蛍光画像信号を基に、蛍光画像信号により得られる第１の画像である蛍光画像における医療具３が存在する領域を検出する。医療具検出については後述する。

画像処理部１２２は、医療具検出部１２１の医療具検出結果（医療具の存在領域の検出結果）と第２の画像信号とを利用して表示画像を生成する。

より具体的には、画像処理部１２２は、医療具の検出結果を基に、第２の画像信号より得られる第２の画像としての通常光画像における医療具の存在領域を設定する。そして、通常光画像における医療具の存在領域又は第２の画像における医療具の存在領域以外の領域を画像処理して表示画像を生成する。

画像処理された画像データは表示装置１３の表示部１３１に表示画像として表示される。画像処理としては、例えば、振れ補正処理、色補正処理、重畳処理等があげられる。また、画像処理部１２２は、自動フォーカス制御（ＡＦ）、自動露出制御（ＡＥ）処理を行うための、画像信号に対する検波処理を行う。

表示装置１３は、液晶又は有機ＥＬ（Electro Luminescence）からなる表示部１３１を有する。表示装置１３は、ＣＣＵ１２が生成した画像データを受信し、該画像データに対応する表示画像を表示する。

内視鏡画像取得システム１０においては、例えばＣＣＵ１２に設けられた各種の操作ボタン、タッチパネル、リモートコントローラ等で構成されたユーザインターフェース３０から術者や助手による操作入力が可能に構成される。

本技術に係る画像取得システムによる画像取得方法では、患部の蛍光画像（第１の画像）を取得し、患部の通常光画像（第２の画像）を取得し、蛍光画像における医療具の存在領域を検出し、この医療具の存在領域の検出結果と通常光画像とを利用して表示画像を生成する。

より詳細には、医療具の存在領域の検出結果を用いて通常光画像における医療具の存在領域を設定し、通常光画像における医療具の存在領域又は通常光画像における医療具の存在領域以外の領域を画像処理して表示画像を生成する。

本技術に係る内視鏡画像取得システムでは、励起光の照射下で取得される第１の画像としての蛍光画像と通常光の照射下で取得される第２の画像としての通常光画像とが同時に取得される。

そして、蛍光画像を基に蛍光画像内の医療具３が存在する領域が検出され、この医療具３の存在領域の検出結果を基に、通常光画像における医療具３の存在領域が設定される。この医療具３の存在領域における情報と通常光画像を利用して、術者や助手に対して適切な画像処理が施された表示画像が表示されるように構成される。

＜蛍光画像と通常光画像を同時に取得するシステム例＞
内視鏡画像取得システム１０では、蛍光画像と通常光画像を同時に取得するように構成される。以下、図５を用いて説明する。図５は、蛍光画像と通常光画像を同時に取得するシステムの一例を説明する図である。

ここでは、撮像部２５の撮像素子としてバイヤー配列されたカラーフィルタセンサ２２０が用いられる。図８（Ａ）はバイヤー配列されたカラーフィルタセンサ２２０の概略分解斜視図である。

図８（Ａ）に示すように、カラーフィルタセンサ２２０は、各画素の撮像素子２２０１の上部に色選択用フィルタ２２０２が形成されて構成される。色選択用フィルタ２２０２は、赤色フィルタ２２０２Ｒ、緑色フィルタ２２０２Ｇ、青色フィルタ２２０２Ｂから構成される。

図５に示すように、光源装置１４から出射し、赤外域カットフィルタ（ＩＲＣＦ）２７０を通過した可視光２４６は医療具３が存在する患部４に照射される。患部４からの反射光２４７はカラーフィルタセンサ２２０に入射される。これにより、カラーフィルタセンサ２２０は通常光画像信号を取得する。

図５に示すように、光源装置１４から出射した励起光２４８は、医療具３が存在する患部４に照射される。励起光２４８により医療具３から発する蛍光と患部４で反射した励起光とからなる光２４９は励起光カットフィルタ（励起光ＣＦ）２６１を通過することにより励起光成分がカットされて蛍光成分の光となる。この蛍光成分の光は、カラーフィルタセンサ２２０に入射される。これにより、カラーフィルタセンサ２２０は蛍光画像信号を取得する。

図５に示すシステムでは、可視光と励起光とがフレーム毎に切り替わってカラーフィルタセンサ２２０へ入射されるように構成され、高速にフレームを切り替えて蛍光画像、通常光画像を撮像する。このように時分割で高速でフレームを切り替えることにより、疑似的に蛍光画像と通常光画像を同時に取得することができる。また、可視光照射による患部４からの光と、励起光照射による患部４からの光を、同一のカラーフィルタセンサ２２０で受光しているので、システム構成が簡便化される。

図６は、他の蛍光画像と通常光画像を同時に取得するシステム例を説明する図である。図５に示すシステムと同様の構成については同様の符号を付している。図５に示すシステムでは、光源装置から可視光と励起光の２種類の光が出射可能な構成となっていたが、図６に示すシステムでは光源装置から可視光と励起光が混在した光が光源装置から出射される構成となっている。

図６に示すように、光源装置１４から可視光と励起光が混在した光３４６が、医療具３が存在する患部４に照射されると、励起光照射により医療具３は蛍光を発するので、患部４からは、可視光と励起光と蛍光とが混在した光３４７が戻ってくる。

この光３４７は、ビームスプリッタであるダイクロイックミラー３７１で、通常光画像用の光３４７１と、蛍光画像用の光３４７２に分割される。

分割された通常光画像用の光３４７１は、ＩＲカットフィルタ（ＩＲＣＦ）３７２を通過してＩＲ成分がカットされる。このＩＲ成分がカットされた光がカラーフィルタセンサ２２０に入射される。これにより、カラーフィルタセンサ２２０は通常光画像信号を取得する。

ダイクロイックミラー３７１により分割された蛍光画像用の光３４７２は、励起光カットフィルタ（励起光ＣＦ）２６１を通過して励起光成分がカットされる。この励起光成分がカットされた光がモノクロセンサ３３０に入射される。これにより、モノクロセンサ３３０は蛍光画像信号を取得する。モノクロセンサ３３０は、蛍光波長帯（本実施形態においては８０５〜８３０ｎｍ）を取得可能な、複数の撮像素子３３１を有するセンサである。

このように、図６に示すシステム構成では、蛍光画像用の励起光と通常光画像用の通常光を同時に取得することができるので、同時性を保った蛍光画像及び通常光画像を撮像することができる。

また、ここでは、カラーフィルタセンサとモノクロセンサの２つのセンサを用いた例を示したが、通常光画像取得で使用するセンサの個数を増やして、各色の解像度をより向上させる構成としてもよく、センサ個数は限定されない。

更に、ここではダイクロイックミラーで入射光を分割する構成としたが、これに限定されない。例えばダイクロイックミラー３７１を配置せず、カラーフィルタセンサ２２０の前にＩＲカットフィルタ及び励起光カットフィルタを配置し、モノクロセンサ３３０の前に可視光カットフィルタ及び励起光カットフィルタを配置し、カラーフィルタセンサ２２０及びモノクロセンサ３３０それぞれに、可視光と励起光と蛍光とが混在した光３４７が入射される構成としてもよい。

図７は、更に他の蛍光画像と通常光画像を同時に取得するシステム例を説明する図である。図５に示すシステムと同様の構成については同様の符号を付している。図５に示すシステムでは、光源装置から可視光と励起光の２種類の光が出射可能な構成となっていたが、図７に示すシステムでは光源装置から可視光と励起光が混在した光が光源装置から出射される構成となっている。

ここでは、撮像部の撮像素子として、４３０Ｒ、４３０Ｇ、４３０ＢのＲＧＢ画素に加えて蛍光波長帯（本実施形態においては８０５〜８３０ｎｍ）を取得可能なＩＲ画素４３０ＩＲを有する特殊センサであるＲＧＢ−ＩＲセンサ４３０が用いられる。

光源装置から可視光と励起光が混在した光４４６が患部４に照射されると、患部４からは、可視光と励起光と蛍光とが混在した光４４７が戻ってくる。この光４４７は、ＲＧＢ−ＩＲセンサ４３０に入射される。これにより、ＲＧＢ−ＩＲセンサ４３０は通常光画像信号及び蛍光画像信号の双方を同時に取得する。

このように、図７に示すシステム構成では、蛍光画像用の光と通常光画像用の光を同時に取得することができるので、同時性を保った蛍光画像及び通常光画像を撮像することができる。

また、図７に示すシステム構成例では、同一面にＲＧＢ画素及びＩＲ画素が配列されたセンサを例にあげて説明したが、図８（Ｂ）に示すように、ＲＧＢそれぞれのイメージセンサ５２０Ｒ、５２０Ｇ、５２０Ｂと蛍光波長帯（本実施形態においては８０５〜８３０ｎｍ）が取得可能なイメージセンサ５２０ＩＲを画素毎に４層積層してなる積層型センサ５２０を用いることもできる。積層型センサ５２０では、光の波長による透過の違いを利用して、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、ＩＲ（赤外域光）を分別する。

また、図５及び図６に示すシステムで用いたバイヤー配列のカラーフィルタセンサ２２０の代わりに、ＲＧＢそれぞれのイメージセンサを画素毎に３層積層してなる積層型センサを用いても良い。

尚、上述にいくつかあげた蛍光画像と通常光画像を同時に取得するシステム例では、通常光画像をカラー画像とすることを前提にして説明したが、これに限定されない。用途、目的によっては単色（グレースケール）、２チャンネル表現等で表示する場合もあり、本技術はモノクロ画像表示にも適用可能である。

＜医療具検出＞
医療具検出部１２１は、撮像部２５により取得される蛍光画像信号（ＩＲ信号）を前処理し、この前処理した蛍光画像信号を用いて、医療具の存在領域の検出を行う。前処理として、ノイズ成分除去処理及び強調処理が行われる。

一般に撮像素子で取得した画像にはノイズ成分があり、この画像を用いて正確に物体検出を行う場合、ノイズ成分を除去する必要がある。また、画像情報から物体を検出しやすくするために、コントラストやエッジを強調したり、色の情報を強調する強調処理が必要に応じて行われる。

特殊光が照射された条件下で撮像される蛍光画像は、通常光が照射された条件下で撮像される通常光画像と比較して暗くなる傾向にあり、ノイズ量もそれにあわせて増大する。従って、医療具検出部１２１による医療具検出を行う前に、適切な度合いでノイズ成分除去処理や画像強調処理を行うことにより、より正確に医療具３の検出を行うことができる。

ノイズ除去処理としては、時空間フィルタ処理、メディアンフィルタ処理等を用いることができる。

時空間フィルタ処理は、各画素の値を、周辺空間、時間的に連続する点の平均値に置き換える処理である。周辺空間の平均値に置き換えることにより、全体的にエッジがなまった画像が生成される。

メディアンフィルタ処理は、各画素の値を周辺画素の中央値に置き換える処理である。この処理は、時空間フィルタと比較して入力画像のエッジを損なわない画像が取得できる。

蛍光画像は通常光画像と比較して画像が暗くなる傾向にあるので、特殊光観察時で取得される蛍光画像信号に対しては、強めにノイズ除去を行う場合がある。例えば、時空間フィルタ処理の際に、時間方向への足しこみを増やしノイズ除去効果を強くすることができる。

医療具検出部１２１は、前処理された蛍光画像信号を用いて医療具３の検出を行う。具体的には、前処理されて得られる蛍光画像を輝度などで閾値処理を行う。すなわち、蛍光画像からある一定輝度以上の領域を抽出する処理を行う。そして、抽出された領域を医療具が存在する領域と判断する。閾値は予め設定した値を継続的に利用してもよいし、前処理の手法により増減させてもよい。撮像時の環境は逐次変化するので、時間的に閾値を変化させてもよい。

本実施形態では、医療具検出部１２１では蛍光画像信号を用いて医療具３の検出を行ったが、蛍光画像信号に加え、通常光画像信号を補助的に用いて医療具３の検出を行うこともできる。

＜内視鏡画像取得システムを用いた画像処理＞
以下、上述の内視鏡画像取得システム１０における画像処理について、第１〜第５の実施形態を例にあげ説明する。いずれの実施形態においても、上述した蛍光画像信号を基に医療具検出部１２１により出力された医療具検出結果（医療具の存在領域の検出結果）を利用して、画像処理を行っている。尚、上述で既に説明した構成については、同様の符号を付し、その説明を省略する。

（第１の実施形態）
上述の内視鏡画像取得システム１０を用いて、画像処理として振れ補正処理を行う場合について説明する。

本実施形態において、画像取得システムの画像処理部は、第２の画像における医療具の存在領域の画像振れ又は第２の画像における医療具の存在領域以外の領域の画像振れを補正する画像処理をして表示画像を生成する振れ制御部を有する。

図９は本実施形態に係る内視鏡画像取得システムの主要部分ブロック図である。図１０は本実施形態の内視鏡画像取得システムの振れ制御部における処理の流れを説明する図である。図１１は振れ制御部において、医療具補正モードをオン、オフそれぞれで設定したときの振れ制御方法を説明する図である。

ＣＣＵ１２に設けられた画像処理部１２２は、振れ制御部１６１を有する。本実施形態においては、振れ制御部１６１での振れ補正で医療具検出部１２１からの医療具検出結果を利用している。

内視鏡装置１１により撮像される画像には画像振れが生じ得るので、振れ制御部１６１は、その振れ補正するものである。振れ制御部１６１は、画像振れに基づく画像の乱れを補正する、いわゆる手ぶれ補正を実現するものである。本実施形態においては、術者や助手によって、患部４に存在する医療具３の存在領域以外の患部４の画像振れを補正するか、医療具３の画像振れを補正するかが選択可能となっている。

内視鏡装置１１では、ヘッド部２４を術者、助手、スコピスト、またはロボットなどが保持しているが、ヘッド部２４を保持する手などが振れた場合、その振れの動きが、トロッカ２を支点として対物レンズ２２に伝わるので、ヘッド部２４を保持する手の振れに起因する画像振れが発生し得る。この画像振れが、患部４の画像の画像振れとなる。

また、医療具３も、術者、助手、スコピスト、またはロボットなどが保持しており、医療具３を保持する手などが振れた場合、その振れの動きが、トロッカ２を支点として医療具３の先端に伝わるので、医療具３を保持する手の振れに起因する画像振れが発生し得る。この画像振れが、医療具３の画像振れとなる。

すなわち、ヘッド部２４と医療具３の両方に振れが生じている場合には、内視鏡装置１１のヘッド部２４に備えられる撮像部２５により取得される画像において、医療具３が存在する領域における画像振れは、ヘッド部２４の振れと医療具３の振れの双方が反映されたものとなる。一方、内視鏡装置１１のヘッド部２４に備えられる撮像部２５により取得される画像において、医療具３の存在領域以外の領域における画像振れはヘッド部２４の振れが反映されたものとなる。

本実施形態において、医療具３の存在領域以外の領域の患部４の画像振れを補正する場合には、蛍光画像により医療具３が存在する領域が検出され、この検出結果が用いられて通常光画像における医療具３の存在領域が設定され、この設定された医療具３の存在領域以外の領域の通常光画像の画像振れを補正するように構成される。

一方、医療具３の画像振れを補正する場合には、蛍光画像により医療具３が存在する領域が検出され、この検出結果が用いられて通常光画像における医療具３の存在領域が設定され、通常光画像内に設定された医療具３の存在領域の画像振れを補正するように構成される。

図１０に示すように、ユーザインターフェース３０を介して、術者や助手等により、医療具静止モードをオンとするかオフとするかが入力される（Ｓ１０１）。

医療具静止モードオンは、術者や助手が医療具３の画像振れを補正したいときに設定される。例えば、医療具３として鉗子や電気メス等を用いる際、鉗子や電気メスの患部４側に位置する先端の様子を確認したいときに医療具静止モードをオンとする。

医療具静止モードオフは、術者や助手が医療具３以外の患部４の画像振れを補正したいときに設定される。例えば、患部４の臓器等の様子を詳細に確認したいときに医療具静止モードをオフする。

振れ制御部１６１は、医療具静止モードがオンである情報を受け取ると、医療具検出結果を基に設定された通常光画像における医療具３の存在領域に対して画像振れ補正処理を行う。

すなわち、図１１に示すように、医療具検出部１２１により、蛍光画像４５内における医療具３が存在する領域が検出される。この医療具検出部１２１により検出された医療具検出結果を基に、振れ制御部１６１により、通常光画像における医療具３の存在領域が設定される。そして、通常光画像４６における医療具３の存在領域の特徴点５１が抽出される（Ｓ１０２）。

次に、抽出された特徴点５１から、動き検出（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）が行われる（Ｓ１０３）。動き検出の結果、動きベクトルが得られ、この動きベクトルにより動きの方向が決定される。そして、この動きベクトルを用いて全画面の振れを補正するように全画面振れ補正値が算出される（Ｓ１０４）。次に、補正強度制御部にて補正の強度が調節され（Ｓ１０５）、その強度に応じて振れ補正処理が行なわれる（Ｓ１０６）。
このように振れ補正処理が施された画像データは、表示装置１３に出力され、該画像データに対応する表示画像が表示部１３１に表示される。

一方、振れ制御部１６１は、医療具静止モードがオフである情報を受け取ると、医療具検出結果を基に設定された通常光画像４６の医療具３の存在領域以外の領域に対して画像振れ補正処理を行う。

すなわち、図１１に示すように、医療具検出部１２１により、蛍光画像４５内における医療具３の配置領域が検出される。この医療具検出結果を基に、振れ制御部１６１により、通常光画像４６における医療具３の存在領域が設定される。そして、通常光画像４６における医療具３の存在領域以外の領域の特徴点５２が抽出される（Ｓ１０２）。

その後、抽出された特徴点５２から、動き検出（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）が行われる（Ｓ１０３）。動き検出の結果、動きベクトルが得られ、これを基に全画面振れの補正値が算出される（Ｓ１０４）。次に、補正強度制御部にて補正の強度が調節され（Ｓ１０５）、その強度に応じて振れ補正処理が行なわれる（Ｓ１０６）。
このように振れ補正処理が施された画像データは、表示装置１３に出力され、該画像データに対応する表示画像が表示部１３１に表示される。

ここで、例えば、ヘッド部２４及び医療具３の双方が振れている場合、撮像部２５で取得される通常光画像において、医療具３の画像振れは、ヘッド部２４の振れと医療具の振れ３の両方が反映された振れとなる。これに対して、医療具３以外の画像領域の画像振れは、ヘッド部２４の振れのみが反映された振れとなる。

このように、ヘッド部２４及び医療具３の双方が振れている場合、医療具３の存在領域の画像振れと医療具３以外の画像領域の振れとは異なる。このような場合、例えば、医療具３が存在する領域を含む通常光画像の全領域で特徴点を抽出して、振れ補正処理を行うと、医療具３の存在領域においても医療具３以外の領域においても十分な振れ補正処理が行われていない画像となってしまう。

これに対し、本実施形態においては、医療具静止モードがオフの場合、通常光画像の医療具３の存在領域以外の画像領域のみの特徴点が抽出されて振れ補正処理が行われるので、医療具の存在領域の画像振れの情報に影響されず、ヘッド部２４の振れによる画像振れが補正された患部４の画像を得ることができる。これにより、術者や助手は、十分な振れ補正処理が行われた適切な患部の表示画像を見ながら、手術を行うことができる。

また、医療具静止モードがオンの場合、医療具３の医療具検出結果に基づいて、通常光画像の医療具３の存在領域のみの特徴点が抽出されて振れ補正処理が行われるので、医療具の存在領域以外の画像振れの情報に影響されず、ヘッド部２４の振れと医療具３の振れによる画像振れが補正された医療具３の表示画像を得ることができる。これにより、術者や助手は、表示画像で医療具３の先端を詳細に確認しながら手術を行うことができる。

以上のように、本実施形態においては、蛍光を含む医療具３を励起光により照射して取得される蛍光画像を基に医療具３が存在する領域の検出を行い、この医療具の存在領域の検出結果を用いて、振れ補正の画像処理を行うことにより、術者により適切な画像を提供することができる。

尚、ここでは、振れ補正をする領域を術者や助手によって選択可能としているが、例えば医療具３の存在領域以外の患部４の画像振れのみを補正するように構成してもよく、このような構成の場合は、術者や助手によって振れ補正をする領域を選択する必要がない。

このような構成の場合、画像取得システムにおいて、画像処理部は、医療具の存在領域の検出結果を基に、通常光画像信号（第２の画像信号）より得られる通常光画像（第２の画像）における医療具の存在領域を設定し、通常光画像（第２の画像）における医療具の存在領域以外の領域の画像振れを補正する画像処理をして表示画像を生成する振れ補正部を有する。

（第２の実施形態）
次に上述の内視鏡画像取得システム１０において、医療具検出結果（医療具の存在領域の情報）を用いて、画像処理部１２２が自動フォーカス制御（ＡＦ）、自動露出制御（ＡＥ）処理を行うための、画像信号に対する検波処理を行う場合について説明する。

図１２は本実施形態に係る内視鏡画像取得システムの部分ブロック図である。図１３は本実施形態の内視鏡画像取得システムのＡＦ／ＡＥ制御部及び駆動部のブロック図である。図１４は本実施形態におけるＡＦ／ＡＥ制御処理を説明するための図である。

ＣＣＵ１２に設けられる画像処理部１２２は、ＡＦ検波部１６３とＡＥ検波部１６４とを有する。本実施形態においては、ＡＦ検波部１６３及びＡＥ検波部１６４での検波に対し、医療具検出部１２１からの医療具検出結果を利用している。

ＡＦ検波部１６３とＡＥ検波部１６４では、図１４に示すように、通常光画像４６に対して検波枠４１が設定され、検波枠４１内で検波値が算出される。本実施形態においては、検波値算出にあたり、医療具検出部１２１により検出された医療具検出結果を利用し、医療具３が存在する領域は検波値の算出から除去される。尚、検波枠は予めいくつかのパターンのものが準備されている。

本実施形態においては、検波値算出時、通常光画像４６に対して検波枠４１が設定され、検波枠４１内であって、医療具検出部１２１により検出された医療具３の存在領域を除く領域で検波値が算出される。

検波枠４１は、ＡＦ検波、ＡＥ検波毎に任意の位置に設定可能となっている。
ＡＦ検波部１６３は、検波枠４１内のコントラストの最大値をＡＦ検波値として算出する。
ＡＥ検波部１６４は、検波枠４１内の輝度の平均を検波値として算出する。

図２及び図１２に示すように、ヘッド部２４は、撮像部２５と、レンズ部２６と、制御部２７と、駆動部２８を有する。制御部２７は、ＡＦ／ＡＥ制御部２７１を有する。駆動部２８は、レンズ駆動部２８２と、シャッタ駆動部２８３と、センサゲイン駆動部２８４とを有する。ＡＦ／ＡＥ制御部２７１は、レンズ制御部２７１１と、シャッタスピード制御部２７１２と、センサゲイン制御部２７１３とを有する。

図１２及び図１３に示すように、画像処理部１２２のＡＦ検波部１６３及びＡＥ検波部１６４より算出されたＡＦ検波値及びＡＥ検波値は、ＡＦ／ＡＥ制御部２７１に出力される。

ＡＦ／ＡＥ制御部２７１は、入力されたＡＦ検波値及びＡＥ検波値を基に、ヘッド部２４に設けられているレンズ、絞り、及び撮像のタイミングを制御するシャッタの駆動を制御する。ＡＥ検波値が高い場合は、シャッタスピードをあげたり、センサゲインをさげることで、撮像画像の全体の輝度を低下させる。ＡＥ検波値が低い場合は、シャッタスピードをさげたり、センサゲインをあげることで、撮像画像の全体の輝度をあげる。

撮像部２５の撮像素子に被写体像が入射すると、撮像素子は撮像範囲内の被写体像を撮像する。すなわち、撮像素子は、撮像面に結像された光学像を光電変換して、撮像画像を表すアナログ画像信号を出力する。

この撮像時に、レンズ制御部２７１１は、撮像画像におけるＡＦ検波枠内の画像信号（ＡＦ検波値）を処理することによって、撮像光学系の焦点がＡＦ検波枠内の特定の被写体に合焦するような焦点位置を計算し、レンズ制御情報をレンズ駆動部２８２に出力する。

レンズ駆動部２８２は、レンズ制御部２７１１の指示に基づき、フォーカスモータを駆動してレンズ部２６のフォーカスレンズを移動させることによって、撮像光学系の焦点を特定の被写体に自動的に合焦させる。

上記撮像時に、シャッタスピード制御部２７１２は、撮像画像におけるＡＥ検波枠内の画像信号（ＡＥ検波値）に基づいて、撮像中の撮像画像に適した露出量を計算し、シャッタスピード制御情報をシャッタ駆動部２８３に出力する。

シャッタ駆動部２８３は、シャッタスピード制御部２７１２の指示に基づいて、タイミング信号を撮像素子に供給し、このタイミングにより撮像素子におけるシャッタスピードが制御される。

また、ＡＦ検波値に基づいて、撮像中の撮像画像に適した露出量が計算され、撮像光学系の絞りの開度が調整されるように制御される。このように、シャッタスピード及び絞りが調整されることにより、撮像画像の明るさが適切となるように、撮像画像の露出が自動的に制御される。

センサゲイン制御部２７１３は、ＡＥ検波値に基づいてセンサゲインを計算し、センサゲイン制御情報をセンサゲイン駆動部２５４に出力する。センサゲイン駆動部２８４は、センサゲイン制御部２７１３の指示に基づき、センサゲインを設定する。

このように、本実施形態においては、ＡＦ／ＡＥ制御において、医療具３が存在する領域以外の領域を検波枠に設定し、ＡＦ検波及びＡＥ検波の算出を行っているので、医療具３の情報が入ることによるＡＦ／ＡＥの誤りがなくなり、患部４の観察に適したＡＦ／ＡＥ処理が施された患部の画像を得ることができる。術者や助手は、ＡＦ／ＡＥ処理が行われた、適切な画像を見ながら、手術を行うことができる。

（第３の実施形態）
次に上述の内視鏡画像取得システム１０において、画像処理として色補正処理を行う場合について説明する。
図１５は本実施形態に係る内視鏡画像取得システムの主要部分ブロック図である。図１６は本実施形態における色補正処理を説明する図である。

本実施形態の画像取得システムでは、画像処理部は、第２の画像における医療具の存在領域を色補正する画像処理をして表示画像を生成する。

また、本実施形態の画像取得システムでは、画像処理部は、第２の画像における医療具の存在領域以外の領域を色補正する画像処理をして表示画像を生成する。

まず、医療具の存在領域を色補正する画像処理をする場合について説明する。
図１５に示すように、ＣＣＵ１２に設けられた画像処理部１２２は、色補正部１６５を有する。色補正部１６５は予め設定された色補正パラメータに基づいて、医療具３の色補正処理を行う。色補正パラメータとしては、医療具が存在する領域を、例えば生体色にない固定色に変換するというパラメータと、通常光画像の色を参照して医療具の色を変換するというパラメータがある。本実施形態においては、固定色に変換するという色補正パラメータに基づいて色補正を行う例をあげて説明する。

本実施形態においては、医療具検出結果（医療具の存在領域の情報）を用いて通常光画像における医療具が存在する領域が設定され、この設定された医療具の存在領域が色補正パラメータに基づいて色補正処理されて表示画像が生成され、表示部１３１に表示される。

図１６に示すように、例えば、医療具３に血液３２が付着している場合、蛍光画像信号により得られる蛍光画像４５では医療具３の存在領域のみが検出され、血液は視認されない。

色補正部１６５は、医療具検出結果を用いて、通常光画像４６中の医療具３の存在領域を設定し、この通常光画像４６内の医療具３の存在領域に対して色補正パラメータに応じた色補正を施す。例えば、本実施形態では、医療具３を固定色である青色に変換する色補正が行われる。色補正処理が施された表示画像４７は表示部１３１に表示される。

このように医療具３の存在領域が生体色にない色により着色された表示画像が得られるので、術者や助手は、表示画像内の医療具３の位置を確認しやすい。これにより、体内にガーゼ等の医療具が遺残しても、発見が容易となる。

ここで、医療具として例えば蛍光材料を含まない一般的な白色のガーゼを用いた場合、ガーゼは血液を吸収すると赤色に変色し、患部の臓器との見分けがつきにくい。

これに対し、本実施形態においては、医療具が励起光により蛍光を発する蛍光材料を含むので、例えば白色のガーゼが血液を吸収しても、励起光照射による蛍光画像から医療具が存在する領域が検出されるよう構成されるので、術者や助手は患部内の医療具の位置を確認しやすくなる。

色補正パラメータとして、通常光画像４６の色を参照して医療具が存在する領域の色を変換するというパラメータを用いる場合について説明する。

例えば医療具３に血液３２が付着していた場合、通常光画像の医療具３においては、血液３２が付着している領域と付着していない領域とでは色が異なる。このような場合、通常光画像４６の色を参照して医療具が存在する領域の色を変換するというパラメータを用いて色補正処理が行われると、医療具３の血液３２が付着している部分と血液３２が付着していない部分が識別できるように医療具３の色が変換される。この際、医療具３の血液３２が付着していない領域と付着している領域とが、患部４との識別がしやすいように生体色にない色で互いに異なる色で着色された表示画像とすることができる。

このように、本実施形態においては、蛍光を含む医療具３を励起光により照射して取得される蛍光画像を基に医療具３が存在する領域の検出を行い、この医療具検出結果を用いて通常光画像の医療具の存在領域を設定する。そして、通常光画像に対して医療具の存在領域の色を変換する色補正処理を行うことにより、患部における医療具の位置を術者や助手が認識しやすい画像を得ることができる。

次に、医療具の存在領域以外の領域を色補正する場合について説明する。
ここでは、医療具が存在する領域の検出結果（医療具検出結果）を用いて通常光画像における医療具が存在する領域が設定され、この設定された医療具の存在領域以外の領域の患部を、術者や助手が確認しやすい色相、明度、色調となるように色補正されて表示画像が生成され、表示部１３１に表示される。

これにより医療具の情報に影響されずに、患部の色補正が行われることになるので、適切な画像が表示される。

ここで、医療具として例えば蛍光材料を含まない一般的な白色のガーゼを用いた場合、白色のガーゼが存在する患部を通常光照射下で撮像すると、撮像領域内に白色の被写体が入ることにより、その白色にあわせて色補正処理が行われて明るさが調整されると、表示画像が暗くなり、術者や助手が患部を確認しづらくなる場合がある。

これに対し、本技術においては、医療具検出結果により通常光画像における医療具の存在領域が設定することが可能であり、通常光画像内の医療具の存在領域以外の領域に対して色補正処理を施すように構成することができる。これにより、色補正処理の対象領域内には医療具が存在しないので、例えば白色のガーゼを医療具として用いたとしても、色補正処理されて得られる表示画像が暗くなることはなく、術者や助手は視野を失うことなく、患部を適切に確認することができる。

（第４の実施形態）
次に上述の内視鏡画像取得システム１０において、画像処理として重畳処理を行う場合について説明する。
図１７は本実施形態に係る内視鏡画像取得システムの主要部分ブロック図である。図１８は本実施形態における重畳処理を説明する図である。

本実施形態の画像取得システムにおいて、画像処理部は、第１の画像信号より得られる第１の画像と、第２の画像信号より得られる第２の画像とを重畳する画像処理をして表示画像を生成する重畳処理部を有する。

図１７に示すように、ＣＣＵ１２に設けられた画像処理部１２２は、重畳処理部１６６を有する。重畳処理部１６６は重畳パラメータに基づいて、蛍光画像と通常光画像とを重畳する重畳処理を行う。重畳パラメータは、蛍光画像と通常光画像との重畳比率を示すパラメータである。重畳パラメータは、蛍光画像の画素値の調整の割合を示す係数aと通常光画像の画像値の調整の割合を示す係数ｂとの和が１となるように設定される。例えば係数a、係数ｂをそれぞれ０．５とすることができる。

本実施形態においては、医療具が存在する領域が視認可能な蛍光画像と通常光画像を、重畳パラメータに基づいて重畳処理をして表示画像が生成され、表示部１３１に表示される。言い換えると、医療具検出結果を基に第２の画像である通常光画像における医療具の存在領域が設定され、この通常光画像における医療具の存在領域において蛍光画像と通常光画像とが重畳するように通常光画像が画像処理される。

図１８に示すように、蛍光画像４５では医療具３の画像のみが取得される。通常光画像信号により得られる通常光画像４６では医療具３を含む患部４の画像が取得される。

重畳処理部１６６は、医療具３が存在する領域が撮像された蛍光画像４５と、通常光画像４６とを、重畳パラメータに基づいて重畳し、表示画像４７を生成する。この際、例えば、通常光画像４６の医療具３に血液３２が付着している場合、血液３２が付着した医療具３が患部４に存在する表示画像４７が得られる。

このように、蛍光画像と通常光画像とを重畳することにより、患部における医療具が存在する領域を術者や助手が認識しやすい表示画像とすることができ、更に医療具の存在領域における表示が血液の付着等の通常光画像により得られる情報も加味された表示画像とすることができる。

なお、本技術は以下のような構成もとることができる。
（１） 励起光の照射により蛍光を発する医療具が存在する患部に対して、通常光及び前記励起光を照射する光源部と、
前記励起光照射下及び前記通常光照射下の前記患部を撮像し、前記蛍光を撮像した第１の画像信号と、前記通常光を撮像した第２の画像信号とを取得する撮像部と、
前記第１の画像信号を基に、前記第１の画像信号より得られる第１の画像における前記医療具の存在領域を検出する医療具検出部と、
前記存在領域の検出結果と前記第２の画像信号を利用して表示画像を生成する画像処理部と
を具備する画像取得システム。
（２） 上記（１）記載の画像取得システムであって、
前記画像処理部は、前記存在領域の検出結果を基に、前記第２の画像信号より得られる第２の画像における前記医療具の存在領域を設定し、前記第２の画像における前記医療具の存在領域又は前記第２の画像における前記医療具の存在領域以外の領域を画像処理して前記表示画像を生成する
画像取得システム。
（３） 上記（２）に記載の画像取得システムであって、
前記画像処理部は、前記第２の画像における前記医療具の存在領域の画像振れ又は前記第２の画像における前記医療具の存在領域以外の領域の画像振れを補正する画像処理をして前記表示画像を生成する
画像取得システム。
（４） 上記（２）又は（３）に記載の画像取得システムであって、
前記撮像部に前記励起光及び前記通常光を集光するレンズ部と、
前記レンズ部の駆動を制御する制御部と
を更に具備し、
前記画像処理部は、前記第２の画像における前記医療具の存在領域以外の領域で自動フォーカス検波値を算出し、
前記制御部は、算出された前記自動フォーカス検波値を基に前記レンズ部の駆動を制御する
画像取得システム。
（５） 上記（２）から（４）いずれかに記載の画像取得システムであって、
前記撮像部に前記励起光及び前記通常光を集光するレンズ部と、前記レンズ部の駆動を制御する制御部を更に具備し、
前記画像処理部は、前記第２の画像における前記医療具の存在領域以外の領域で自動露出検波値を算出し、
前記制御部は、算出された前記自動露出検波値を基に前記レンズ部の駆動を制御する
画像取得システム。
（６） 上記（２）から（５）いずれかに記載の画像取得システムであって、
前記画像処理部は、前記第２の画像における医療具の存在領域を色補正する画像処理をして前記表示画像を生成する
画像取得システム。
（７） 上記（２）から（６）いずれかに記載の画像取得システムであって、
前記画像処理部は、前記第２の画像における医療具の存在領域以外の領域を色補正する画像処理をして前記表示画像を生成する
画像取得システム。
（８） 上記（２）に記載の画像取得システムであって、
前記画像処理部は、前記第１の画像と、前記第２の画像とを重畳する画像処理をして前記表示画像を生成する
画像取得システム。
（９） 励起光の照射により蛍光を発する医療具が存在する患部を前記励起光照射下で撮像して取得される第１の画像信号を基に、前記第１の画像信号より得られる第１の画像における前記医療具の存在領域を検出する医療具検出部と、
前記存在領域の検出結果と、前記患部を通常光照射下で撮像して取得される第２の画像信号とを利用して表示画像を生成する画像処理部と
を具備する制御装置。
（１０） 励起光の照射により蛍光を発する医療具が存在する患部を前記励起光照射下で撮像して第１の画像信号を取得し、
前記患部を通常光照射下で撮像して第２の画像信号を取得し、
前記第１の画像信号より得られる第１の画像における前記医療具の存在領域を検出し、
前記存在領域の検出結果と前記第２の画像信号とを利用して表示画像を生成する
画像取得方法。

３…医療具
４…患部
１０…内視鏡画像取得システム（画像取得システム）
１２…ＣＣＵ（制御装置）
１４…光源装置（光学部）
２５…撮像部
２６…レンズ部
２７…制御部
４５…蛍光画像（第１の画像）
４６…通常光画像（第２の画像）
１２１…医療具検出部
１２２…画像処理部

Claims (10)

1. 励起光の照射により蛍光を発する医療具が存在する患部に対して、通常光及び前記励起光を照射する光源部と、
   前記励起光の照射下及び前記通常光の照射下の前記患部を撮像し、前記蛍光を撮像した第１の画像信号と、前記通常光を撮像した第２の画像信号とを取得する撮像部と、
   前記第１の画像信号を基に、前記第１の画像信号より得られる第１の画像における前記医療具の存在領域を検出する医療具検出部と、
   前記存在領域の検出結果と前記第２の画像信号を利用して表示画像を生成する画像処理部と
   を具備する画像取得システム。
2. 請求項１記載の画像取得システムであって、
   前記画像処理部は、前記存在領域の検出結果を基に、前記第２の画像信号より得られる第２の画像における前記医療具の存在領域を設定し、前記第２の画像における前記医療具の存在領域又は前記第２の画像における前記医療具の存在領域以外の領域を画像処理して前記表示画像を生成する
   画像取得システム。
3. 請求項２記載の画像取得システムであって、
   前記画像処理部は、前記第２の画像における前記医療具の存在領域の画像振れ又は前記第２の画像における前記医療具の存在領域以外の領域の画像振れを補正する画像処理をして前記表示画像を生成する
   画像取得システム。
4. 請求項２記載の画像取得システムであって、
   前記撮像部に前記励起光及び前記通常光を集光するレンズ部と、
   前記レンズ部の駆動を制御する制御部と
   を更に具備し、
   前記画像処理部は、前記第２の画像における前記医療具の存在領域以外の領域で自動フォーカス検波値を算出し、
   前記制御部は、算出された前記自動フォーカス検波値を基に前記レンズ部の駆動を制御する
   画像取得システム。
5. 請求項２記載の画像取得システムであって、
   前記撮像部に前記励起光及び前記通常光を集光するレンズ部と、前記レンズ部の駆動を制御する制御部を更に具備し、
   前記画像処理部は、前記第２の画像における前記医療具の存在領域以外の領域で自動露出検波値を算出し、
   前記制御部は、算出された前記自動露出検波値を基に前記レンズ部の駆動を制御する
   画像取得システム。
6. 請求項２記載の画像取得システムであって、
   前記画像処理部は、前記第２の画像における医療具の存在領域を色補正する画像処理をして前記表示画像を生成する
   画像取得システム。
7. 請求項２記載の画像取得システムであって、
   前記画像処理部は、前記第２の画像における医療具の存在領域以外の領域を色補正する画像処理をして前記表示画像を生成する
   画像取得システム。
8. 請求項２記載の画像取得システムであって、
   前記画像処理部は、前記第１の画像と、前記第２の画像とを重畳する画像処理をして前記表示画像を生成する
   画像取得システム。
9. 励起光の照射により蛍光を発する医療具が存在する患部を前記励起光の照射下で撮像して取得される第１の画像信号を基に、前記第１の画像信号より得られる第１の画像における前記医療具の存在領域を検出する医療具検出部と、
   前記存在領域の検出結果と、前記患部を通常光の照射下で撮像して取得される第２の画像信号とを利用して表示画像を生成する画像処理部と
   を具備する制御装置。
10. 励起光の照射により蛍光を発する医療具が存在する患部を前記励起光の照射下で撮像して第１の画像信号を取得し、
    前記患部を通常光の照射下で撮像して第２の画像信号を取得し、
    前記第１の画像信号より得られる第１の画像における前記医療具の存在領域を検出し、
    前記存在領域の検出結果と前記第２の画像信号とを利用して表示画像を生成する
    画像取得方法。