JP7272670B2 - カメラ装置、画像処理方法およびカメラシステム - Google Patents

Description

本開示は、例えば医療行為の際に撮像された画像を処理するカメラ装置、画像処理方法およびカメラシステムに関する。

手術用の顕微鏡を用いて微細な手術対象部位（例えば被検体内の患部）を観察しながら行う顕微鏡手術、あるいは、内視鏡を用いて被検体内の手術対象部位を観察しながら行う内視鏡手術では、手術対象部位の観察画像（例えば、通常の可視画像、ＩＲ励起光により励起される蛍光画像）を撮像してモニタに表示することが行われる。モニタ上に観察画像を表示することで、医者等は、手術対象部位の状況を詳細に確認でき、当該手術対象部位の状況をリアルタイムに把握可能となる。

特許文献１には、蛍光画像明るさ算出回路と参照光画像明るさ算出回路によりそれぞれ算出された蛍光画像および参照光画像の明るさを、係数格納メモリに格納された第１の係数および第２の係数をそれぞれ乗算して加算することで調光対象の明るさを算出し、ゲイン算出回路を経て調光目標値に設定するためのゲインを算出して調整する内視鏡装置が開示されている。

日本国特開２０１５－０５４０３８号公報

上述した顕微鏡手術あるいは内視鏡手術等の医療手術の際、手術あるいは処置等が行われる対象部位（例えば、手術前に予め注射等で被検体に対して蛍光薬剤が投与される部位）の鮮明な状況を判別可能とするため、観察画像を撮像するためのカメラシステムから視認性の良好な出力映像の表示が望まれる。モニタに表示される出力映像の視認性は、医者等が対象部位（例えば被検体内の患部）の状況の詳細を把握する上で重要である。このためには、例えば蛍光薬剤がＩＲ励起光により励起されて発生した蛍光が撮像された蛍光画像の画質が良好であることが求められる。

ところが、ＩＣＧ（インドシアニングリーン）等の蛍光薬剤がＩＲ励起光により励起されて発生した蛍光はＩＲ励起光に比べて光強度が弱いので、患部の状態を分かり易くするために蛍光画像中の蛍光部分を可視画像に重畳した時に、可視画像と蛍光部分との境界等の区別がつきにくく蛍光部分が見えづらいという課題があった。このため、医者等が患部の詳細を把握することが困難となり、手術あるいは処置等の際に不便であった。また、被検体（つまり患者）ごとに皮膚の厚さ等に個人差があるために、蛍光画像の見え方が必ずしも一様にならないことも不便さを招く原因となっていた。特許文献１においても、このような課題を想定した技術的対策は開示されておらず、依然として上述した課題を解決することは従来技術において考慮されていないと言える。

本開示は、上述した従来の事情に鑑みて案出され、蛍光画像の画質の劣化を抑制し、蛍光画像と通常の可視画像とを重畳した時に蛍光画像中の蛍光部分を見易くして、医者等のユーザが被検体の対象部位の鮮明な状況を判別可能な撮像映像の出力を支援するカメラ装置、画像処理方法およびカメラシステムを提供することを目的とする。

本開示は、蛍光薬剤が予め投与された被検体の対象部位からの医療用光学機器に入射した可視光に基づく撮像と、前記対象部位からの前記医療用光学機器に入射した蛍光に基づく撮像とを行うカメラヘッドと、前記カメラヘッドによる前記蛍光に基づく撮像により得られた蛍光画像に対して当該蛍光画像の黒色部分と白色部分を際立たせるための第１処理を実行して処理後蛍光画像を出力し、前記処理後蛍光画像に対して非線形変換処理を実行して非線形処理蛍光画像を出力し、前記可視光に基づく撮像により得られた可視画像と前記非線形処理蛍光画像とを重畳することにより出力部に出力されるための重畳画像を生成する画像処理部と、を備え、前記画像処理部は、前記第１処理として、前記蛍光画像の強度が、０以上かつ第１閾値未満の第１強度である場合に、前記蛍光画像の強度を０にした前記処理後蛍光画像を出力し、前記蛍光画像の強度が、前記第１閾値より大きい第２閾値以上の第２強度である場合に、前記蛍光画像の強度が、規定の表現可能なビット数で示すことができる最大の強度となるように前記蛍光画像の強度を補正した前記処理後蛍光画像を出力し、前記蛍光画像の強度が、前記第１閾値より大きくかつ前記第２閾値より小さい第３閾値より小さく、かつ前記第１閾値以上の第３強度である場合に、前記蛍光画像の強度が前記カメラヘッドから入力されたときよりも小さくかつ０よりも大きくなるように前記蛍光画像の強度を補正した前記処理後蛍光画像を出力し、前記蛍光画像の強度が、前記第３閾値よりも大きくかつ前記第２閾値よりも小さい第４強度である場合に、前記蛍光画像の強度が前記カメラヘッドから入力されたときよりも大きく、かつ、前記第１処理が行われない場合であって前記画像処理部に入力された蛍光画像の強度と前記画像処理部が出力する蛍光画像の強度とが同一である特性により示される蛍光画像の強度より大きく、かつ前記規定の表現可能なビット数で示すことができる最大の強度より小さくなるように前記蛍光画像の強度を補正した前記処理後蛍光画像を出力し、前記蛍光画像の強度が、前記第３閾値と等しい第５強度である場合に、前記蛍光画像の強度が前記第５強度である前記処理後蛍光画像を出力し、前記第３閾値は、前記第１処理が行われる場合における蛍光画像の強度を示す特性と、前記第１処理が行われない場合であって前記画像処理部に入力された蛍光画像の強度と前記画像処理部が出力する蛍光画像の強度とが同一である場合における蛍光画像の強度を示す特性との交点として示される蛍光画像の強度に相当する値である、カメラ装置を提供する。

また、本開示は、カメラヘッドと画像処理部とを含むカメラ装置における画像処理方法であって、蛍光薬剤が予め投与された被検体の対象部位からの医療用光学機器に入射した可視光に基づく撮像と、前記対象部位からの前記医療用光学機器に入射した蛍光に基づく撮像とを、前記カメラヘッドに実行させる撮像ステップと、前記カメラヘッドによる前記蛍光に基づく撮像により得られた蛍光画像に対して当該蛍光画像の黒色部分と白色部分を際立たせるための第１処理を実行して処理後蛍光画像を出力することと、前記処理後蛍光画像に対して非線形変換処理を実行して非線形処理蛍光画像を出力することと、前記可視光に基づく撮像により得られた可視画像と前記非線形処理蛍光画像とを重畳することにより出力部に出力されるための重畳画像を生成することとを、前記画像処理部に実行させる重畳画像生成ステップと、を有し、前記第１処理において、前記蛍光画像の強度が、０以上かつ第１閾値未満の第１強度である場合に前記蛍光画像の強度を０にした前記処理後蛍光画像を前記画像処理部に出力させ、前記蛍光画像の強度が、前記第１閾値より大きい第２閾値以上の第２強度である場合に前記蛍光画像の強度が、規定の表現可能なビット数で示すことができる最大の強度となるように前記蛍光画像の強度を補正した前記処理後蛍光画像を前記画像処理部に出力させ、前記蛍光画像の強度が、前記第１閾値より大きくかつ前記第２閾値より小さい第３閾値より小さく、かつ前記第１閾値以上の第３強度である場合に、前記蛍光画像の強度が前記カメラヘッドから入力されたときよりも小さくかつ０よりも大きくなるように前記蛍光画像の強度を補正した前記処理後蛍光画像を前記画像処理部に出力させ、前記蛍光画像の強度が、前記第３閾値よりも大きくかつ前記第２閾値よりも小さい第４強度である場合に、前記蛍光画像の強度が前記カメラヘッドから入力されたときよりも大きく、かつ、前記第１処理が行われない場合であって前記画像処理部に入力された蛍光画像の強度と前記画像処理部が出力する蛍光画像の強度とが同一であるにより示される蛍光画像の強度より大きく、かつ前記規定の表現可能なビット数で示すことができる最大の強度より小さくなるように前記蛍光画像の強度を補正した前記処理後蛍光画像を前記画像処理部に出力させ、前記蛍光画像の強度が、前記第３閾値と等しい第５強度である場合に、前記蛍光画像の強度が前記第５強度である前記処理後蛍光画像を前記画像処理部に出力させ、前記第３閾値は、前記第１処理が行われる場合における蛍光画像の強度を示す特性と、前記第１処理が行われない場合であって前記画像処理部に入力された蛍光画像の強度と前記画像処理部が出力する蛍光画像の強度とが同一である場合における蛍光画像の強度を示す特性との交点として示される蛍光画像の強度に相当する値である、画像処理方法を提供する。

また、本開示は、カメラ装置と出力部とを含むカメラシステムであって、前記カメラ装置は、蛍光薬剤が予め投与された被検体の対象部位からの医療用光学機器に入射した可視光に基づく撮像と、前記対象部位からの前記医療用光学機器に入射した蛍光に基づく撮像とを行い、前記蛍光に基づく撮像により得られた蛍光画像に対して当該蛍光画像の黒色部分と白色部分を際立たせるための第１処理を実行して処理後蛍光画像を出力し、前記処理後蛍光画像に対して非線形変換処理を実行して非線形処理蛍光画像を出力し、前記可視光に基づく撮像により得られた可視画像と前記非線形処理蛍光画像とを重畳することにより前記出力部に出力されるための重畳画像を生成し、前記出力部は、前記カメラ装置により生成された前記重畳画像を出力し、前記カメラ装置は、前記第１処理として、前記蛍光画像の強度が、０以上かつ第１閾値未満の第１強度である場合に、前記蛍光画像の強度を０にした前記処理後蛍光画像を出力し、前記蛍光画像の強度が、前記第１閾値より大きい第２閾値以上の第２強度である場合に、前記蛍光画像の強度が、規定の表現可能なビット数で示すことができる最大の強度となるように前記蛍光画像の強度を補正した前記処理後蛍光画像を出力し、前記蛍光画像の強度が、前記第１閾値より大きくかつ前記第２閾値より小さい第３閾値より小さく、かつ前記第１閾値以上の第３強度である場合に、前記蛍光画像の強度が前記カメラ装置から入力されたときよりも小さくかつ０よりも大きくなるように前記蛍光画像の強度を補正した前記処理後蛍光画像を出力し、前記蛍光画像の強度が、前記第３閾値よりも大きくかつ前記第２閾値よりも小さい第４強度である場合に、前記蛍光画像の強度が前記カメラ装置から入力されたときよりも大きく、かつ、前記第１処理が行われない場合であって前記カメラ装置に入力された蛍光画像の強度と前記カメラ装置が出力する蛍光画像の強度とが同一である特性により示される蛍光画像の強度より大きく、かつ前記規定の表現可能なビット数で示すことができる最大の強度より小さくなるように前記蛍光画像の強度を補正した前記処理後蛍光画像を出力し、前記蛍光画像の強度が、前記第３閾値と等しい第５強度である場合に、前記蛍光画像の強度が前記第５強度である前記処理後蛍光画像を出力し、前記第３閾値は、前記第１処理が行われる場合における蛍光画像の強度を示す特性と、前記第１処理が行われない場合であって前記カメラ装置に入力された蛍光画像の強度と前記カメラ装置が出力する蛍光画像の強度とが同一である場合における蛍光画像の強度を示す特性との交点として示される蛍光画像の強度に相当する値である、カメラシステムを提供する。

本開示によれば、蛍光画像の画質の劣化を抑制し、蛍光画像と通常の可視画像とを重畳した時に蛍光画像中の蛍光部分を見易くして、医者等のユーザが被検体の対象部位の鮮明な状況を判別可能な撮像映像の出力を支援できる。

実施の形態１，２に係るカメラ装置を含む医療用カメラシステムを手術顕微鏡システムに適用したシステム構成例を示す図 手術顕微鏡システムの外観例を示す図 実施の形態１に係るカメラ装置のハードウェア構成例を示すブロック図 可視映像／ＩＲ映像重畳処理部の詳細なハードウェア構成例を示すブロック図 閾値処理の説明図 非線形変換処理の第１例（２値化）の説明図 非線形変換処理の第２例（Ｎ値化）の説明図 実施の形態１に係るカメラ装置の動作手順の一例を示すフローチャート 閾値処理および非線形変換処理の前後におけるＩＲ映像の変化例を示す模式図 可視映像にＩＲ映像が重畳された重畳映像の一例を示す図 実施の形態２に係るカメラ装置のハードウェア構成例を示すブロック図 可視映像と重畳映像とが対比表示された表示例を示す図 ＩＲ映像と重畳映像とが対比表示された表示例を示す図 可視映像とＩＲ映像と重畳映像とが対比表示された表示例を示す図 実施の形態１，２に係るカメラ装置を含む医療用カメラシステムを手術内視鏡システムに適用したシステム構成例を示す図 手術内視鏡システムの外観例を示す図

以下、適宜図面を参照しながら、本開示に係るカメラ装置、画像処理方法およびカメラシステムを具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

また、以下の各実施の形態では、本開示に係るカメラ装置を含むカメラシステムの一例として、顕微鏡手術あるいは内視鏡手術等の医療手術の際に使用される医療用カメラシステムを説明する。ただし、カメラシステムは、医療用カメラシステムの例に限定されない。

（実施の形態１）
実施の形態１では、カメラ装置は、ＩＣＧ（インドシアニングリーン）等の蛍光薬剤が予め投与された被検体（例えば患者）の観察対象部位（例えば手術の対象部位である患部）からの医療用光学機器に入射した可視光に基づく撮像、および観察対象部位からの医療用光学機器に入射した蛍光に基づく撮像をそれぞれ行う。医療用光学機器は、例えば手術顕微鏡あるいは手術内視鏡である。カメラ装置は、蛍光に基づく撮像により得られた蛍光画像に対する非線形変換処理を少なくとも含む画像処理を施し、可視光に基づく撮像により得られた可視画像に画像処理後の蛍光画像を重畳し、出力部に出力されるための重畳画像を生成する。

図１は、実施の形態１，２に係るカメラ装置２０を含む医療用カメラシステムを手術顕微鏡システムに適用した構成例を示すシステム構成図である。手術顕微鏡システムは、医療用光学機器の一例としての手術顕微鏡１０と、カメラ装置２０と、出力部３０とを含む構成である。カメラ装置２０は、撮像光学系２３に入射した光を撮像部２４に集光することで、手術顕微鏡１０により得られた観察対象部位の観察映像を撮像するカメラヘッド２１を有する。カメラ装置２０は、カメラヘッド２１により撮像された観察映像を構成するそれぞれの観察画像のフレームに対して画像処理を施すＣＣＵ（カメラコントロールユニット：Camera Control Unit）２２を有する。カメラ装置２０では、カメラヘッド２１とＣＣＵ２２とが信号ケーブル２５により接続される。カメラヘッド２１は、手術顕微鏡１０のカメラ装着部１５に装着されて接続される。ＣＣＵ２２の出力端子には、ＣＣＵ２２により画像処理が施された結果としての観察映像を表示するための出力部３０（例えばモニタ等のディスプレイ装置）が接続される。

手術顕微鏡１０は、例えば双眼の顕微鏡であり、対物レンズ１１と、医者等の観察者の左右の眼に対応するように設けられた観察光学系１２と、接眼部１３と、カメラ撮像用光学系１４と、カメラ装着部１５とを有する構成である。観察光学系１２は、観察者の左右の眼に対応するように、ズーム光学系１０１Ｌ，１０１Ｒ、結像レンズ１０２Ｌ，１０２Ｒ、接眼レンズ１０３Ｌ，１０３Ｒを有する。ズーム光学系１０１Ｌ，１０１Ｒ、結像レンズ１０２Ｌ，１０２Ｒ、接眼レンズ１０３Ｌ，１０３Ｒは、対物レンズ１１の光軸を挟んでそれぞれ対称的に配置される。被検体４０からの光は、対物レンズ１１に入射した後、ズーム光学系１０１Ｌ，１０１Ｒ、結像レンズ１０２Ｌ，１０２Ｒ、接眼レンズ１０３Ｌ，１０３Ｒ、光学系１０４Ｌ、ビームスプリッタ１０４Ｒを介して得られた、視差を持つ左右の観察画像を接眼部１３に導く。観察者は、接眼部１３を両眼で覗くことで、被検体４０の観察対象部位の様子を立体的に視認可能となっている。

なお、上述した被検体４０からの光は、上述したＩＣＧ等の蛍光薬剤が注射等によって予め投与された被検体４０の観察対象部位に対し、光源装置３１（後述参照）から照射される白色光（例えば通常のＲＧＢの可視光）が観察対象部位により反射された反射光、あるいは、光源装置３１から照射されるＩＲ励起光が蛍光薬剤に照射されて励起された結果として発生する蛍光である。なお、手術顕微鏡１０において、例えば対物レンズ１１とそれぞれのズーム光学系１０１Ｌ，１０１Ｒとの間に、ＩＲ励起光の透過を遮断するためのバンドカットフィルタ（ＢＣＦ：Band Cut Filter）が形成されることが、蛍光の撮像に基づく蛍光画像の画質を劣化させない点で好ましい。

また、顕微鏡手術もしくは内視鏡手術では、例えば医者等が観察対象部位（つまり、被検体４０の患部）のリンパ節の状況を判別するために、観察対象部位である被検体４０の体内に蛍光薬剤であるＩＣＧ（インドシアニングリーン）がＩＲ励起光の照射前に予め投与されると、被写体である患部にＩＣＧ（インドシアニングリーン）が集積する。ＩＣＧ（インドシアニングリーン）は、ＩＲ励起光に基づいて励起されると、より高波長側（例えば８６０ｎｍ）の光で蛍光発光する。ＩＲ励起光の波長は、例えば７８０ｎｍもしくは８０８ｎｍである。この蛍光発光により生じた光（つまり、蛍光）が撮像されると、患部の状況が詳細に判別可能となる。

カメラ撮像用光学系１４は、光学系１０４Ｌ、ビームスプリッタ１０４Ｒ、ミラー１０５Ｒを有する。カメラ撮像用光学系１４は、ビームスプリッタ１０４Ｒによって観察光学系１２を通過する光を偏向して分離し、ミラー１０５Ｒによって反射してカメラ装着部１５に導く。

図２は、手術顕微鏡システムの外観例を示す図である。手術顕微鏡１０は、顕微鏡本体の上部に接眼部１３が設けられ、接眼部１３の基端部より側方にカメラ撮像用光学系１４の筐体が延出し、カメラ装着部１５が設けられる。カメラ装着部１５は、上方に向かって開口し、カメラヘッド２１の撮像光学系２３が装着可能に形成されている。撮像光学系２３は、カメラヘッド２１の本体に対して着脱して交換可能であり、用途に応じて異なる光学特性を持つ撮像光学系を使用できる構成となっている。カメラヘッド２１は、例えば被写体像をＲＧＢ（Red Green Blue）およびＩＲ（Infrared Radiation）の各周波数帯の光に分光する分光プリズムと、ＲＧＢおよびＩＲの各波長帯の光の被写体像をそれぞれ撮像する４つのイメージセンサとを有する４板式の撮像部により構成される。なお、ＲＧＢおよびＩＲの各画素が並べられた１つのイメージセンサを有する単板式の撮像部を撮像部２４として用いてもよい。また、可視光とＩＲ光（例えば蛍光）とを分離するプリズムと、可視光を撮像するイメージセンサとＩＲ光（例えば蛍光）を撮像するイメージセンサとからなる２つのイメージセンサとを有する２板式の撮像部を撮像部２４として用いてもよい。

手術顕微鏡システムは、対象部位を照明する光源装置３１、カメラ装置２０にて撮像した観察映像を記録するレコーダ３２、手術顕微鏡システムを操作するための操作ユニット３３、観察者が足で操作入力を行うフットスイッチ３７を含む構成である。操作ユニット３３、ＣＣＵ２２、光源装置３１およびレコーダ３２は、制御ユニット筐体３５に収納されている。制御ユニット筐体３５の近傍には、出力部３０（例えば液晶表示装置等のディスプレイ）が配置される。手術顕微鏡１０は、変位可能な支持アーム３４に取り付けられ、支持アーム３４を介して制御ユニット筐体３５に連結されている。

図３は、実施の形態１に係るカメラ装置２０のハードウェア構成例を示すブロック図である。図３に示すカメラ装置２０は、カメラヘッド２１，１２１と、ＣＣＵ２２，１２２とを含む構成である。カメラヘッド２１，１２１とＣＣＵ２２，１２２とは信号ケーブル２５を介して接続される。

カメラヘッド２１は、撮像光学系２３，１２３と、撮像部２４とを有する。カメラヘッド２１は、例えば顕微鏡手術の際に、手術顕微鏡１０のカメラ装着部１５に取り付けられる。カメラヘッド２１では、被検体４０からの光は、撮像光学系２３，１２３を通過して撮像部２４の可視撮像部２４１およびＩＲ撮像部２４２のそれぞれにより保持されるイメージセンサの撮像面にそれぞれ結像され、ＲＧＢの被写体像およびＩＲの被写体像がそれぞれ撮像される。

撮像光学系２３，１２３は、１または複数のレンズと、被検体４０からの光をＲＧＢおよびＩＲの各波長帯に分光するための分解プリズムとを有する。

撮像部２４は、可視撮像部２４１と、ＩＲ撮像部２４２とを有する。

可視撮像部２４１は、例えばＲＧＢの波長帯の光を撮像可能に配置された３板式のイメージセンサまたはＲＧＢの各画素が並べられた単板式のイメージセンサを用いて構成され、撮像光学系２３，１２３を通過したＲＧＢの各波長帯の光に基づいて、可視光の観察映像（以下、「可視映像」または「可視画像」とも称する）を生成する。

ＩＲ撮像部２４２は、例えばＩＲ、またはＩＲの波長帯に感度を有するＧ（グリーン）もしくはＲ（レッド）の光を撮像可能に配置された単板式のイメージセンサを用いて構成され、撮像光学系２３，１２３を通過したＩＲの波長帯（つまり、蛍光）の光に基づいて、蛍光の観察映像（以下、「ＩＲ映像」または「ＩＲ画像」とも称する）を生成する。

なお、イメージセンサは、ＣＣＤ（Charged-Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子により構成される。カメラヘッド２１にて撮像された被検体４０の観察対象部位（つまり、患部）の観察映像の信号は、信号ケーブル２５を介してＣＣＵ２２に伝送されて入力される。

画像処理装置の一例としてのＣＣＵ２２，１２２は、可視映像／ＩＲ映像分離部２２１と、可視映像処理部２２２と、ＩＲ映像処理部２２３と、可視映像／ＩＲ映像重畳処理部２２４とを含む構成である。ＣＣＵ２２，１２２またはその各部は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）またはＦＰＧＡ（Field Programmable Gate Array）を用いて構成され、プログラムによって回路構成および動作の設定、変更が可能となっている。

ＣＣＵ２２，１２２は、カメラヘッド２１にて撮像された観察映像（可視映像、ＩＲ映像）の信号を入力して、可視映像に対して可視映像用の所定の画像処理を施すとともに、ＩＲ映像に対してＩＲ映像用の所定の画像処理を施す。ＣＣＵ２２，１２２は、ＩＲ映像の画質を向上するための各種の画像処理をＩＲ映像に施し、その画像処理後のＩＲ映像を可視映像に重畳処理して重畳映像を生成して出力部３０に出力する。

可視映像／ＩＲ映像分離部２２１は、信号ケーブル２５を介してカメラヘッド２１から伝送された観察映像の信号を、可視映像の信号とＩＲ映像の信号とに分離し、可視映像の信号を可視映像処理部２２２に送り、ＩＲ映像の信号をＩＲ映像処理部２２３に送る。例えばカメラヘッド２１の撮像部２４において可視映像とＩＲ映像とが周期的に時分割撮像される場合、最初の一定期間では撮像された可視映像が入力され、次の一定期間では撮像されたＩＲ映像が入力される。この場合、可視映像／ＩＲ映像分離部２２１に入力される時点で既に可視映像とＩＲ映像とが分離されているので、可視映像／ＩＲ映像分離部２２１は、最初の一定期間では入力された可視映像だけを可視映像処理部２２２に送り、次の一定周期では入力されたＩＲ映像だけをＩＲ映像処理部２２３に送る。

また、例えばカメラヘッド２１の撮像部２４では、可視撮像部２４１とＩＲ撮像部２４２とが設けられるので、可視映像とＩＲ撮像との同時撮像が可能である。この場合、可視映像／ＩＲ映像分離部２２１には、例えば可視映像とＩＲ映像とが交互に入力されるので、例えばヘッダ領域を参照することで可視映像とＩＲ映像とをそれぞれ識別して分離することで、可視映像だけを可視映像処理部２２２に送り、ＩＲ映像だけをＩＲ映像処理部２２３に送る。なお、可視映像／ＩＲ映像分離部２２１には、可視映像とＩＲ映像とが同時に入力されてもよい。この場合には、信号ケーブル２５（図３参照）には、可視映像用の信号線とＩＲ映像用の信号線との両方が含まれるように構成される。

可視映像処理部２２２は、入力された可視映像に対する通常の画像処理（例えば線形補間処理、高解像度化処理等）を行い、その画像処理後の可視映像の信号を可視映像／ＩＲ映像重畳処理部２２４に送る。

ＩＲ映像処理部２２３は、入力されたＩＲ映像に対する通常の画像処理（例えば線形補間処理、高解像度化処理等）を行い、その画像処理後のＩＲ映像の信号を可視映像／ＩＲ映像重畳処理部２２４に送る。

可視映像／ＩＲ映像重畳処理部２２４は、ＩＲ映像処理部２２３から送られたＩＲ映像の信号に対して各種の画像処理を施し、その画像処理が施されたＩＲ映像の信号を、可視映像処理部２２２から送られた可視映像に重畳処理を行って、重畳映像（重畳画像）を生成して出力部３０に出力する。可視映像／ＩＲ映像重畳処理部２２４の動作の詳細については、図４を参照して後述する。なお、可視映像／ＩＲ映像重畳処理部２２４には、顕微鏡手術もしくは内視鏡手術の際に出力部３０（例えば液晶表示装置）に出力された重畳映像を視認した医者等の操作部（図示略）を用いた操作に基づく信号が入力されて、ＩＲ映像の信号に施される画像処理のパラメータ（後述参照）が適宜、変更されてもよい。

出力部３０は、例えば液晶表示装置（ＬＣＤ：Liquid Crystal Display）もしくは有機ＥＬ（Electroluminescence）を用いて構成された映像表示装置、または出力された出力映像（つまり、重畳映像（重畳画像））のデータを記録する記録装置である。記録装置は、例えばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）である。

図４は、可視映像／ＩＲ映像重畳処理部２２４の詳細なハードウェア構成例を示すブロック図である。可視映像／ＩＲ映像重畳処理部２２４は、閾値処理部２２４１と、変換前ゲイン処理部２２４２と、非線形変換部２２４３と、変換後ゲイン処理部２２４４と、重畳処理部２２４５とを含む構成である。なお、図４において、閾値処理部２２４１と非線形変換部２２４３とは同一の回路（例えば、非線形変換部２２４３）として構成されてもよい。これは、後述する閾値処理が非線形変換処理の一例と考えることができ、閾値処理部２２４１が使用する特性（図５Ａ参照）をルックアップテーブルで構成することで、非線形変換部２２４３が閾値処理を実現可能だからである。

閾値処理部２２４１は、入力されたＩＲ映像の信号の強度（例えばＩＲ映像を構成する画素ごとのＩＲ画像の明るさ、または、ｋ＊ｋ（ｋ：２以上の２の倍数の整数）個の画素からなるブロックごとのＩＲ画像の明るさ。以下同様。）が第１閾値ｔｈ１未満の場合にその強度を低下させ、その強度が第２閾値ｔｈ２（＞第１閾値ｔｈ１）以上の場合にその強度を増大させる強度補正処理を行う（図５Ａ参照）。閾値処理部２２４１は、強度補正処理が施されたＩＲ映像の信号を変換前ゲイン処理部２２４２に送る。

図５Ａは、閾値処理の説明図である。閾値処理とは、パラメータ（例えば、２種類の閾値である第１閾値ｔｈ１，第２閾値ｔｈ２）を用いて、入力されたＩＲ映像の信号の強度の強度を補正する強度補正処理（上述参照）である。図５Ａにおいて、横軸（ｘ軸）は入力されたＩＲ映像の信号の強度を示し、縦軸（ｙ軸）は閾値処理後に出力されるＩＲ映像の信号の強度を示す。特性Ｃｖ１は、閾値処理部２２４１における閾値処理の特性を示す。特性Ｃｖ０は、閾値処理部２２４１における閾値処理が行われない場合の特性を示し、これは入力と出力とが同一であることを示している（ｙ＝ｘ）。

ここで、閾値処理部２２４１に入力されるＩＲ映像の信号にはノイズ成分が含まれていることが少なくない。ノイズ成分が含まれると、ＩＲ映像における白色部分（言い換えると、蛍光発光した観察対象部位である患部）の一部が黒ずんで患部の詳細が分かりにくくなったり、ＩＲ映像における黒色部分（言い換えれば、患部でない背景部分）に多少白っぽくなったりするので、結果的にＩＲ映像の画質が劣化してしまう。

そこで、閾値処理部２２４１は、図５Ａに示すように、入力されたＩＲ映像の信号の強度が第１閾値ｔｈ１未満であれば、出力値が０（ゼロ）となるように強度を低下（言い換えると、抑圧）して０（ゼロ）にする。つまり、閾値処理部２２４１は、第１閾値ｔｈ１未満の強度が入力された画素もしくはブロックの強度を０（ゼロ）に補正し、ＩＲ映像における黒色部分を際立たせる。

また、閾値処理部２２４１は、図５Ａに示すように、入力されたＩＲ映像の信号の強度が第２閾値ｔｈ２以上であれば、出力値を既定の表現可能なビット数で示せる最大の出力値となるように強度を増大する。つまり、閾値処理部２２４１は、第２閾値ｔｈ２以上の強度が入力された画素もしくはブロックの強度を最大の出力値に補正し、ＩＲ映像における白色部分を際立たせる。

また、閾値処理部２２４１は、図５Ａに示すように、入力されたＩＲ信号の強度が、０以上かつ第１閾値ｔｈ１以下の強度（例えば、第１強度）である場合にＩＲ信号の強度を０にする。また、閾値処理部２２４１は、入力されたＩＲ信号の強度が、第１閾値ｔｈ１よりも大きい第２閾値ｔｈ２以上の強度（例えば、第２強度）である場合には、ＩＲ信号の強度が第２閾値ｔｈ２に等しい強度となるように補正する。第２閾値ｔｈ２に等しいＩＲ信号の強度とは、例えば、ＩＲ信号の出力値を既定の表現可能なビット数で示せる最大の出力値となる強度である。また、閾値処理部２２４１は、入力されたＩＲ信号の強度が、第１閾値ｔｈ１より大きくかつ第２閾値ｔｈ２より小さい第３閾値より小さく、かつ第１閾値ｔｈ１以上の強度（例えば、第３強度）である場合に、ＩＲ信号の強度が、カメラヘッド２１から入力されたときのＩＲ信号の強度より小さくかつ０より大きくなるように補正する。第３閾値とは、閾値処理部２２４１における閾値処理の特性Ｃｖ１と、閾値処理部２２４１における閾値処理が行われない場合の特性Ｃｖ０との交点として示されるＩＲ信号の強度に相当する値である。さらに、閾値処理部２２４１は、入力されたＩＲ信号の強度が、第３閾値より大きくかつ第２閾値ｔｈ２より小さい強度（例えば、第４強度）である場合に、ＩＲ信号の強度が、カメラヘッド２１から入力されたときのＩＲ信号の強度よりも大きくかつ第２閾値ｔｈ２よりも小さくなるように補正する。さらに、閾値処理部２２４１は、入力されたＩＲ信号の強度が、第３閾値と等しい強度（例えば、第５強度）である場合に、ＩＲ信号の強度を第３閾値と等しい強度のまま出力する。このように、本開示のカメラ装置２０は、入力されたＩＲ映像の信号の強度が第１閾値ｔｈ１より大きくかつ第２閾値より小さい強度である場合でも、図５Ａに示すようにＩＲ映像における黒っぽい部分をより黒くなるように補正し、かつＩＲ映像における白っぽい部分をより白くなるように補正するので、ＩＲ映像の階調を白黒に近づけることができる。この結果、本開示のカメラ装置２０は、可視映像に重畳された時に蛍光部分の区別をつきやすくできる。なお、第１閾値ｔｈ１および第２閾値ｔｈ２のうち少なくとも１つは、出力部３０に表示された重畳映像（重畳画像）を視認した医者等の操作部（図示略）を用いた操作に基づく信号の入力に基づいて、変更された値が閾値処理部２２４１に設定されてよい。

変換前ゲイン処理部２２４２は、予め設定された第１ゲイン値を保持する。なお、第１ゲイン値は、出力部３０に表示された重畳映像を視認した医者等の操作部を用いた操作に基づく信号に基づいて設定されてもよい。変換前ゲイン処理部２２４２は、第１ゲイン値を用いて、閾値処理部２２４１により強度補正処理されたＩＲ映像の信号を入力して増幅する。変換前ゲイン処理部２２４２は、増幅後のＩＲ映像の信号を非線形変換部２２４３に送る。これにより、カメラ装置２０は、後段の非線形変換部２２４３における非線形変換処理を行い易くするための増幅処理を行えるとともに、その他画像処理の利用に資することができるので、可視映像／ＩＲ映像重畳処理部２２４に汎用性を持たせることができる。

非線形変換部２２４３は、ルックアップテーブル（ＬＵＴ：Look Up Table）２２４３ｔを保持し、ルックアップテーブル２２４３ｔを用いた非線形処理を行う非線形処理回路を用いて構成される。非線形変換部２２４３は、ルックアップテーブル２２４３ｔに書き込まれた値群に基づいて、変換前ゲイン処理部２２４２から送られたＩＲ映像の信号に対して非線形変換処理を施す。非線形変換処理は、例えばＩＲ映像の信号の強度を２値化あるいはＮ値化することであり、ＩＲ映像の信号を２階調あるいはＮ階調で表現する処理を示す。Ｎは３以上の整数である。なお、非線形変換部２２４３が行う非線形変換処理の種類（例えば、２値化あるいはＮ値化）は、予め設定されてもよいし、出力部３０に表示された重畳映像を視認した医者等の操作部を用いた操作に基づく信号に基づいて設定されてもよい。

また、非線形変換部２２４３は、上述したルックアップテーブル２２４３ｔを用いて非線形変換処理を行う例に限らず、非線形関数のデータ（例えば、近似に使用される折れ線の各ポイントのデータ）を書き込んだＲＯＭ（Read Only Memory）を用い、ポイント間を折れ線でつなぐ処理を行う折れ線近似回路によって非線形変換処理を行ってもよい。ここで、ルックアップテーブルは、通常、入力信号が取り得る値（例えば８ビットなら０～２５５）のそれぞれに対応する出力値を有する構成であり、２５６個のデータからなる。このため、入力信号の取り得る値のビット数が多くなると、ルックアップテーブルが保持するデータ量が多くなる傾向にある。一方で、折れ線近似回路であれば、保持するデータは折れ線のポイント数だけで済むので、保持するべきデータ量を少なくできる。

ここで、ＩＲ映像（つまり、ＩＣＧ等の蛍光薬剤がＩＲ励起光により励起されて生じた蛍光が撮像された映像）は、通常の可視光に比べて光の強度が弱い上に、例えば１０ビット（つまり、２^１０＝１０２４階調）で表現されるように可視映像との階調差が大きくなると、ＩＲ映像が可視映像に重畳された時にはＩＲ映像のＩＲ部分（つまり、蛍光部分）の区別がつきにくく、見えづらいという課題があった。そこで、実施の形態１では、非線形変換部２２４３は、図５Ｂまたは図５Ｃに示すように、入力されるＩＲ映像の信号に対して非線形変換処理（例えば、２値化あるいはＮ値化）を施し、可視映像に重畳された場合に蛍光部分の区別がつきやすい（言い換えると、ＩＲＧＢの可視映像部分に埋もれにくい）ＩＲ映像の信号を生成する。

図５Ｂは、非線形変換処理の第１例（２値化）の説明図である。図５Ｃは、非線形変換処理の第２例（Ｎ値化）の説明図である。

図５Ｂにおいて、横軸（ｘ軸）はＩＲ映像の信号の強度を示し、縦軸（ｙ軸）は非線形変換処理後に出力されるＩＲ映像の信号の強度を示す。図５Ｂに示すように、非線形変換部２２４３は、入力されるＩＲ映像の信号の画素もしくはブロック（上述参照）における強度がルックアップテーブル２２４３ｔに保持されるＭ１未満である場合には、出力として０（ゼロ）に変換する。特性Ｃｖ２は、非線形変換部２２４３における非線形変換処理の一例を示す特性例であり、入力値がＭ１以下であれば出力値として０を出力し、入力値がＭ１より大きければ出力値として最大値（例えば１）を出力するための入力値および出力値の値群がルックアップテーブル２２４３ｔに書き込まれる。これにより、カメラ装置２０は、単純に入力値（つまり、入力されるＩＲ映像の信号の画素もしくはブロックごとの強度）がＭ１以下であるか否かに応じて、ＩＲ映像の信号を白黒の１ビットで表現できるので、可視映像に重畳された時に蛍光部分を分かり易く識別可能な重畳映像を生成できる。

図５Ｃにおいて、横軸（ｘ軸）はＩＲ映像の信号の強度を示し、縦軸（ｙ軸）は非線形変換処理後に出力されるＩＲ映像の信号の強度を示す。図５Ｃに示すように、非線形変換部２２４３は、入力されるＩＲ映像の信号の画素もしくはブロック（上述参照）における強度がルックアップテーブル２２４３ｔに保持されるＮ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５，Ｎ６，Ｎ７との大小関係に応じて、段階的に定められた出力値に変換する。特性Ｃｖ３は、非線形変換部２２４３における非線形変換処理の一例を示す特性例であり、入力値がＮ１以下であれば出力値として０を出力し、入力値がＮ７より大きければ出力値として最大値（例えば８）を出力するための入力値および出力値の値群がルックアップテーブル２２４３ｔに書き込まれる。入力値がＮ３より大きくＮ４より小さければ最大値の５０％の値が割り当てられる。つまり、図５Ｃでは、入力されたＩＲ映像の信号の画素もしくはブロックごとの強度と７種類の値Ｎ１～Ｎ７との比較結果に従って、図５Ｃに示す特性Ｃｖ３に従った出力が非線形変換処理の結果として割り当てられる。これにより、カメラ装置２０は、入力値（つまり、入力されるＩＲ映像の信号の画素もしくはブロックごとの強度）と７種類の値Ｎ１～Ｎ７とのそれぞれの大小関係に応じて、ＩＲ映像の信号を白黒の８ビットできめ細かに表現できるので、可視映像に重畳された時に蛍光部分を分かり易く識別可能な重畳映像を生成できる。

変換後ゲイン処理部２２４４は、予め設定された第２ゲイン値を保持する。なお、第２ゲイン値は、出力部３０に表示された重畳映像を視認した医者等の操作部を用いた操作に基づく信号に基づいて設定されてもよい。変換後ゲイン処理部２２４４は、第２ゲイン値を用いて、非線形変換部２２４３により非線形変換処理されたＩＲ映像の信号を入力して増幅する。変換後ゲイン処理部２２４４は、増幅後のＩＲ映像の信号を重畳処理部２２４５に送る。これにより、カメラ装置２０は、非線形変換処理されたＩＲ映像の信号の増幅により色が濃くなるので、後段の重畳処理部２２４５におけるＩＲ映像が可視映像に重畳された際に、そのＩＲ映像の蛍光部分のより識別可能となる増幅処理を行えるとともに、その他画像処理の利用に資することができるので、可視映像／ＩＲ映像重畳処理部２２４に汎用性を持たせることができる。

重畳処理部２２４５は、可視映像処理部２２２から送られた可視映像の信号と、変換後ゲイン処理部２２４４から送られたＩＲ映像の信号とを入力し、可視映像の信号にＩＲ映像の信号を重畳処理した重畳映像（重畳画像）を生成する（図８参照）。重畳処理部２２４５は、重畳映像の信号を出力映像として出力部３０（例えばモニタ）に出力する。

重畳処理部２２４５は、重畳処理の一例として、可視映像を構成する可視画像のｋ＊ｋ個のブロック（上述参照）ごとのＲＧＢの情報（画素値）に、対応するＩＲ映像の同一のブロック内のＧ（グリーン）の情報（画素値）を加算することで、ＩＲ映像の部分を可視映像に重ね合わせた上で、ＩＲ映像の部分を緑色に着色（色付け）した重畳映像を生成できる。なお、重畳処理部２２４５における重畳処理は、上述した例に限定されない。

図８は、可視映像にＩＲ映像が重畳された重畳映像Ｇ２ａｓの一例を示す図である。重畳映像Ｇ２ａｓは、可視映像にＩＲ映像が重畳される際に、ＩＲ映像の白色部分（つまり、背景部分ではない部分であって、ＩＣＧ等の蛍光薬剤が蛍光発光した患部ｔｇの部分）の様子が判別し易くするために、例えば緑色に着色されて示されている。医者等は、出力部３０（例えばモニタ）に出力（表示）される重畳映像Ｇ２ａｓを視認することにより、被検体４０の体内に投与された蛍光薬剤の発光分布等やその患部ｔｇの様子を視覚的に判別できる。

次に、実施の形態１に係るカメラ装置２０における動作手順の一例について、図６を参照して説明する。図６は、実施の形態１に係るカメラ装置２０の動作手順の一例を示すフローチャートである。図６に示す点線内の処理は、可視映像を構成する可視画像のフレーム、またはＩＲ映像を構成するＩＲ画像のフレームごとに実行される。

図６において、カメラ装置２０は、カメラヘッド２１において、被検体４０からの反射光（つまり、被検体４０により反射された可視光、蛍光）を撮像部２４に集光させ、撮像部２４において、可視映像およびＩＲ映像の撮像をそれぞれ行う（Ｓｔ１）。なお、実施の形態１では、上述したように被検体４０の体内に予め投与された蛍光薬剤を励起させるＩＲ励起光は、例えば対物レンズ１１とそれぞれのズーム光学系１０１Ｌ，１０１Ｒとの間に設けられたバンドカットフィルタにより透過が遮断されることが好ましい。これにより、カメラ装置２０のカメラヘッド２１にＩＲ励起光の反射光が入射されることが抑制されるので、蛍光の観察映像の信号の画質が良好となる。

カメラ装置２０は、信号ケーブル２５を介してカメラヘッド２１から伝送された観察映像の信号を、可視映像の信号とＩＲ映像の信号とに分離し、可視映像の信号を可視映像処理部２２２に送り、ＩＲ映像の信号をＩＲ映像処理部２２３に送る（Ｓｔ２）。

カメラ装置２０は、可視映像を構成する可視画像のフレームごとに、通常の画像処理（例えば線形補間処理、高解像度化処理等）を行う（Ｓｔ３Ａ）。

カメラ装置２０は、ＩＲ映像を構成するＩＲ画像のフレームごとに、通常の画像処理（例えば線形補間処理、高解像度化処理等）を行う（Ｓｔ３Ｂ１）。カメラ装置２０は、ステップＳｔ３Ｂ１において画像処理が施されたＩＲ画像のフレームごとに、そのフレームの強度（例えばＩＲ映像を構成する画素ごとのＩＲ画像の明るさ、または、ｋ＊ｋ個の画素からなるブロックごとのＩＲ画像の明るさ）が第１閾値ｔｈ１未満の場合にその強度を低下させ、その強度が第２閾値ｔｈ２（＞第１閾値ｔｈ１）以上の場合にその強度を増大させる強度補正処理を行う（Ｓｔ３Ｂ２）。

カメラ装置２０は、ステップＳｔ３Ｂ２において強度補正処理（閾値処理）が行われたフレームごとに、第１ゲイン値を用いて、その強度補正処理されたＩＲ映像の信号を増幅する（Ｓｔ３Ｂ３）。カメラ装置２０は、ステップＳｔ３Ｂ３において増幅されたＩＲ映像を構成するＩＲ画像のフレームごとに、ルックアップテーブル２２４３ｔに書き込まれた値群に基づいて非線形変換処理を施す（Ｓｔ３Ｂ４）。カメラ装置２０は、ステップＳｔ３Ｂ４において非線形変換処理が施されたＩＲ映像を構成するＩＲ画像のフレームごとに、第２ゲイン値を用いて、その非線形変換処理が施されたＩＲ映像の信号を増幅する（Ｓｔ３Ｂ５）。

カメラ装置２０は、ステップＳｔ３Ａにおいて画像処理が施された可視映像の信号と、ステップＳｔ３Ｂ５において増幅されたＩＲ映像の信号とを入力し、可視映像の信号にＩＲ映像の信号を重畳処理した重畳映像（重畳画像）を生成する（Ｓｔ４）。カメラ装置２０は、ステップＳｔ４において生成された重畳映像の信号を出力映像として出力部３０（例えばモニタ）に出力する（Ｓｔ５）。

図７は、閾値処理および非線形変換処理の前後におけるＩＲ映像の変化例を示す模式図である。図７において、ＩＲ映像Ｇ２は、閾値処理および非線形変換処理が行われる前のＩＲ映像である。図７に示すＩＲ映像Ｇ２では、患部ｔｇ以外の部分ＢＫＧ１（つまり、患部ｔｇの周囲や、患部ｔｇの部分を除く全体）に広くノイズ成分が強く現れており、黒から灰色に近い色合いとなっている。このため、医者等は、ＩＲ映像Ｇ２が可視映像と重畳された重畳映像を出力部３０（例えばモニタ）で視認した場合に、患部ｔｇの境界部分の詳細が分かりにくくなり、ＩＲ映像Ｇ２のどこまでが患部であるのか等、手術もしくは検査の際に誤判断を行ってしまう可能性がある。

一方、ＩＲ映像Ｇ２ａは、閾値処理および非線形変換処理が行われた後のＩＲ映像である。図７に示すＩＲ映像Ｇ２ａでは、ＩＲ映像Ｇ２において出現していた患部ｔｇ以外の部分ＢＫＧ１のノイズ成分が排除されて鮮明な画質となり、患部ｔｇ以外の部分ＢＫＧ２がほぼ黒に近い色合いとなって、ＩＲ映像Ｇ２ａの画質がＩＲ映像Ｇ２の画質に比べて向上している。このため、医者等は、ＩＲ映像Ｇ２ａが可視映像と重畳された重畳映像を出力部３０（例えばモニタ）で視認した場合に、患部ｔｇの輪郭やその内側の詳細を簡易かつ視覚的に把握し易くなり、手術もしくは検査の際にスムーズに行うことができる。

以上により、実施の形態１に係るカメラ装置２０は、ＩＣＧ（インドシアニングリーン）等の蛍光薬剤が予め投与された被検体（例えば患者）の観察対象部位（例えば手術の対象部位である患部）からの医療用光学機器に入射した可視光に基づく撮像、および観察対象部位からの医療用光学機器に入射した蛍光に基づく撮像をそれぞれ行う。医療用光学機器は、例えば手術顕微鏡あるいは手術内視鏡である。カメラ装置は、蛍光に基づく撮像により得られた蛍光画像に対する非線形変換処理を少なくとも含む画像処理を施し、可視光に基づく撮像により得られた可視画像に画像処理後の蛍光画像を重畳し、出力部に出力されるための重畳画像を生成する。

これにより、カメラ装置２０は、予め被検体４０の体内の患部に投与されたＩＣＧ等の蛍光薬剤の蛍光発光に基づく蛍光画像に対して非線形変換処理を行って、可視映像の色合いを規定するビット数に比べて低いビット数で蛍光画像の色合いを規定できるので、蛍光画像の画質の劣化を抑制できる。また、カメラ装置２０は、蛍光画像を鮮明な白黒の画像となるように非線形変換処理を行うので、蛍光画像と通常の可視画像とを重畳した時に蛍光画像中の蛍光部分を見易くして、医者等のユーザが被検体の対象部位の鮮明な状況を判別可能な撮像映像の出力を支援できる。

また、カメラ装置２０は、カメラヘッド２１から入力された蛍光画像の強度を増幅した後に、増幅された蛍光画像に対して非線形変換処理を実行する。これにより、カメラ装置２０は、後段の非線形変換部２２４３における非線形変換処理を行い易くするための増幅処理を行えるとともに、その他画像処理の利用に資することができるので、可視映像／ＩＲ映像重畳処理部２２４に汎用性を持たせることができる。

また、カメラ装置２０は、非線形変換処理後の蛍光画像の強度を増幅する。これにより、カメラ装置２０は、非線形変換処理されたＩＲ映像の信号の増幅により色が濃くなるので、後段の重畳処理部２２４５におけるＩＲ映像が可視映像に重畳された際に、そのＩＲ映像の蛍光部分のより識別可能となる増幅処理を行えるとともに、その他画像処理の利用に資することができるので、可視映像／ＩＲ映像重畳処理部２２４に汎用性を持たせることができる。

また、変換前ゲイン処理部２２４２または変換後ゲイン処理部２２４４における増幅に関する増幅率は、例えば医者等のユーザの操作により可変である。これにより、医者等は、出力部３０に出力された重畳映像（言い換えると、被検体４０の患部ｔｇ）の見易さを適切に調整できるので、顕微鏡手術もしくは内視鏡手術時に適正な判断を行える。

また、カメラ装置２０は、蛍光画像の強度が第１閾値ｔｈ１未満の場合に低下させ、蛍光画像の強度が第１閾値ｔｈ１より大きい第２閾値ｔｈ２以上の場合に増大させる強度補正処理を実行し、強度補正処理後の蛍光画像に対して非線形変換処理を実行する。これにより、カメラ装置２０は、撮像されたＩＲ映像にノイズ成分が含まれている場合でも、強度補正処理によってノイズ成分の影響を効果的に排除できるので、ＩＲ映像の階調をより白黒の２値に近づけることができ、可視映像に重畳された時に蛍光部分の区別をつきやすくできる。

また、強度補正処理（閾値処理）において、第１閾値ｔｈ１および第２閾値ｔｈ２は、医者等のユーザの操作により可変である。これにより、医者等は、出力部３０に出力された重畳映像中において被検体４０の患部ｔｇの境界が周囲の可視映像に埋もれて見えにくくなっているか否かを判断した上で、見えにくくなっている場合には適宜第１閾値ｔｈ１および第２閾値ｔｈ２を調整できるので、顕微鏡手術もしくは内視鏡手術時に適正な判断を行える。

また、カメラ装置２０は、医者等のユーザの操作により変更可能な値群を有するルックアップテーブル２２４３ｔを有し、ルックアップテーブル２２４３ｔに基づいて非線形変換処理を実行する。これにより、カメラ装置２０は、単純に入力値（つまり、入力されるＩＲ映像の信号の画素もしくはブロックごとの強度）がＭ１以下であるか否かに応じて、ＩＲ映像の信号を白黒の１ビットで表現できるので、可視映像に重畳された時に蛍光部分を分かり易く識別可能な重畳映像を生成できる。また、カメラ装置２０は、入力値（つまり、入力されるＩＲ映像の信号の画素もしくはブロックごとの強度）と７種類の値Ｎ１～Ｎ７とのそれぞれの大小関係に応じて、ＩＲ映像の信号を白黒の８ビットできめ細かに表現できるので、可視映像に重畳された時に蛍光部分を分かり易く識別可能な重畳映像を生成できる。このように、医者等は、出力部３０に出力された重畳映像（言い換えると、被検体４０の患部ｔｇ）の見易さを確認するために、ルックアップテーブル２２４３ｔを適宜選択等することで非線形変換部２２４３における非線形変換処理を選択できるので、適切な非線形変換処理をカメラ装置２０に実行させることができ、良好な画質の重畳映像を視認できる。

（実施の形態２）
実施の形態２では、カメラ装置は、上述した実施の形態１に係るカメラ装置の構成に加え、可視映像、画像処理が施された蛍光映像、および重畳画像のうち少なくとも１つを選択し、少なくとも１つの対応する出力部に出力する少なくとも１つの選択部をさらに備える。

図９は、実施の形態２に係るカメラ装置２０のハードウェア構成例を示すブロック図である。図９の説明において、図３の説明と重複する内容について同一の符号を付与して簡略化または省略し、異なる内容について説明する。

図９に示すカメラ装置２０は、カメラヘッド２１，１２１と、ＣＣＵ２２，１２２とを含む構成である。ＣＣＵ２２，１２２は、可視映像／ＩＲ映像分離部２２１と、可視映像処理部２２２と、ＩＲ映像処理部２２３と、可視映像／ＩＲ映像重畳処理部２２４と、選択部２２５１，２２５２，２２５３とを含む構成である。

選択部２２５１には、可視映像処理部２２２による画像処理が施された後の可視映像の信号と、ＩＲ映像処理部２２３による画像処理が施された後のＩＲ映像の信号と、可視映像／ＩＲ映像重畳処理ｂ２２４により生成された重畳映像の信号とがそれぞれ入力される。選択部２２５１は、医者等のユーザの操作に基づく信号の入力に応じて、可視映像、ＩＲ映像および重畳映像のうち少なくとも１つを選択して出力部３０１に出力する。

選択部２２５２には、可視映像処理部２２２による画像処理が施された後の可視映像の信号と、ＩＲ映像処理部２２３による画像処理が施された後のＩＲ映像の信号と、可視映像／ＩＲ映像重畳処理ｂ２２４により生成された重畳映像の信号とがそれぞれ入力される。選択部２２５２は、医者等のユーザの操作に基づく信号の入力に応じて、可視映像、ＩＲ映像および重畳映像のうち少なくとも１つを選択して出力部３０２に出力する。

選択部２２５３には、可視映像処理部２２２による画像処理が施された後の可視映像の信号と、ＩＲ映像処理部２２３による画像処理が施された後のＩＲ映像の信号と、可視映像／ＩＲ映像重畳処理ｂ２２４により生成された重畳映像の信号とがそれぞれ入力される。選択部２２５３は、医者等のユーザの操作に基づく信号の入力に応じて、可視映像、ＩＲ映像および重畳映像のうち少なくとも１つを選択して出力部３０３に出力する。

出力部３０１，３０２，３０３は、いずれも例えば液晶表示装置（ＬＣＤ：Liquid Crystal Display）もしくは有機ＥＬ（Electroluminescence）を用いて構成された映像表示装置、または出力された出力映像（つまり、重畳映像（重畳画像））のデータを記録する記録装置である。記録装置は、例えばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）である。

図１０は、可視映像Ｇ１と重畳映像Ｇ２ａｓとが対比表示された表示例を示す図である。図１１は、ＩＲ映像Ｇ２ａと重畳映像Ｇ２ａｓとが対比表示された表示例を示す図である。図１２は、可視映像Ｇ１とＩＲ映像Ｇ２ａと重畳映像Ｇ２ａｓとが対比表示された表示例を示す図である。

図１０に示すように、実施の形態２に係るカメラ装置２０は、例えば選択部２２５１において、可視映像Ｇ１と重畳映像Ｇ２ａｓとを選択して出力部３０１に出力することができる。つまり、実施の形態２に係るカメラ装置２０は、実施の形態１に係るカメラ装置２０が重畳映像Ｇ２ａｓを出力部３０に出力する例と比べて、複数種類の映像を選択して同一の画面内に対比的に表示可能である。これにより、医者等は、重畳映像Ｇ２ａｓと可視映像Ｇ１とを同一の出力部３０１で見比べながら、重畳映像Ｇ２ａｓにおける蛍光発光部分（つまり、患部ｔｇの映像）の重畳度合いが適切であるか否かを簡易に確認可能となり、必要に応じて、実施の形態１で説明したように、各種のパラメータを変更して重畳度合いを調整できる。

図１１に示すように、実施の形態２に係るカメラ装置２０は、例えば選択部２２５２において、ＩＲ映像Ｇ２ａと重畳映像Ｇ２ａｓとを選択して出力部３０２に出力することができる。つまり、実施の形態２に係るカメラ装置２０は、実施の形態１に係るカメラ装置２０が重畳映像Ｇ２ａｓを出力部３０に出力する例と比べて、複数種類の映像を選択して同一の画面内に対比的に表示可能である。これにより、医者等は、重畳映像Ｇ２ａｓとＩＲ映像Ｇ２ａとを同一の出力部３０２で見比べながら、ＩＲ映像Ｇ２ａからノイズ成分が適切に抑圧されているか否か、蛍光発光部分（つまり、患部ｔｇの映像）が重畳映像Ｇ２ａｓにおいて区別がつくように適正に強度補正されているか否かを簡易に確認可能となり、必要に応じて、実施の形態１で説明したように、各種のパラメータを変更してＩＲ映像Ｇ２ａの画質を補正できる。

図１２に示すように、実施の形態２に係るカメラ装置２０は、例えば選択部２２５３において、可視映像Ｇ１とＩＲ映像Ｇ２ａと重畳映像Ｇ２ａｓとを選択して出力部３０３に出力することができる。つまり、実施の形態２に係るカメラ装置２０は、実施の形態１に係るカメラ装置２０が重畳映像Ｇ２ａｓを出力部３０に出力する例と比べて、複数種類の映像を選択して同一の画面内に対比的に表示可能である。なお、図１２では、４画面に分割された表示態様が示され、重畳映像Ｇ２ａｓの表示面積が最も広く示されている例が示されているが、この例に限定されない。これにより、医者等は、可視映像Ｇ１とＩＲ映像Ｇ２ａと重畳映像Ｇ２ａｓとを同一の出力部３０３で見比べながら、重畳映像Ｇ２ａｓにおける蛍光発光部分（つまり、患部ｔｇの映像）の重畳度合いが適切であるか否かを簡易に確認可能となる。また、医者等は、ＩＲ映像Ｇ２ａからノイズ成分が適切に抑圧されているか否か、蛍光発光部分（つまり、患部ｔｇの映像）が重畳映像Ｇ２ａｓにおいて区別がつくように適正に強度補正されているか否かを簡易に確認可能となる。従って、医者等は、必要に応じて、実施の形態１で説明したように、各種のパラメータを変更してＩＲ映像Ｇ２ａの画質を補正できる。

なお、図１０，図１１，図１２では、それぞれ複数の映像が選択部２２５１，２２５２，２２５３により選択されて出力部３０１，３０２，３０３において表示される例が示されているが、選択部２２５１，２２５２，２２５３は、可視映像Ｇ１、ＩＲ映像Ｇ２ａおよび重畳映像Ｇ２ａｓのうち一つだけを選択して対応する出力部３０１，３０２，３０３に出力してもよい。これにより、カメラ装置２０等は、それぞれ出力部３０１，３０２，３０３の表示面積を最大限に利用して表示対象の映像を出力できるので、医者等にそれぞれの出力映像の詳細を視認させることができる。

図１３は、実施の形態１，２に係るカメラ装置２０を含む医療用カメラシステムを手術内視鏡システムに適用した構成例を示すシステム構成図である。手術内視鏡システムは、手術内視鏡１１０と、カメラ装置１２０と、出力部１３０（例えばモニタ等のディスプレイ装置）と、光源装置１３１とを有する。カメラ装置１２０は、図１～図４に示したカメラ装置２０と同様であり、カメラヘッド１２１とＣＣＵ１２２とを有して構成される。

手術内視鏡１１０は、細長の挿入部１１１に、対物レンズ２０１Ｌ、リレーレンズ２０２Ｌ、結像レンズ２０３Ｌを有して構成される。手術内視鏡１１０は、観察光学系の手元側に設けられたカメラ装着部１１５と、光源装着部１１７とを有し、光源装着部１１７から挿入部１１１の先端部にかけて照明光を導光するライトガイド２０４が設けられる。カメラ装着部１１５にカメラヘッド１２１の撮像光学系１２３を装着して撮像することにより、カメラ装置１２０において観察映像を取得可能となっている。光源装着部１１７には、ライトガイドケーブル１１６が接続され、ライトガイドケーブル１１６を介して光源装置１３１が接続される。

カメラヘッド１２１とＣＣＵ１２２とは信号ケーブル１２５により接続され、カメラヘッド１２１にて撮像した被検体４０の映像信号は、信号ケーブル１２５を介してＣＣＵ１２２に伝送される。ＣＣＵ１２２の出力端子には出力部１３０（例えばモニタ等のディスプレイ装置）が接続され、３Ｄ表示用の左右２つの映像出力１，２が出力されてよいし、２Ｄの観察映像（観察画像）が出力されてもよい。出力部１３０には、対象部位の観察映像として、２Ｋ画素の３Ｄ映像が表示されてよいし、２Ｄの観察映像（観察画像）が出力されてもよい。

図１４は、手術内視鏡システムの外観例を示す図である。手術内視鏡１１０は、挿入部１１１の手元側にカメラ装着部１１５が設けられ、カメラヘッド１２１の撮像光学系１２３が装着される。挿入部１１１の手元側部には光源装着部１１７が設けられ、ライトガイドケーブル１１６が接続される。カメラヘッド１２１には操作スイッチが設けられ、撮像する観察映像の操作（フリーズ、レリーズ、画像スキャン等）を使用者の手元において行うことが可能となっている。手術内視鏡システムは、カメラ装置１２０にて撮像した観察映像を記録するレコーダ１３２、手術内視鏡システムを操作するための操作ユニット１３３、観察者が足で操作入力を行うフットスイッチ１３７を有し、操作ユニット１３３、ＣＣＵ１２２、光源装置１３１、およびレコーダ１３２が制御ユニット筐体１３５に収納されている。制御ユニット筐体１３５の上部には、出力部１３０が配置される。

このように、図１３および図１４に示す手術内視鏡システムの構成では、前述した医療用カメラシステムの構成と同様に、手術内視鏡１１０により取得した観察対象部位の様子が鮮明に確認可能な重畳映像の出力が可能となる。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

なお、本出願は、２０１８年５月３１日出願の日本特許出願（特願２０１８－１０５３９７）に基づくものであり、その内容は本出願の中に参照として援用される。

本開示は、蛍光画像の画質の劣化を抑制し、蛍光画像と通常の可視画像とを重畳した時に蛍光画像中の蛍光部分を見易くして、医者等のユーザが被検体の対象部位の鮮明な状況を判別可能な撮像映像の出力を支援するカメラ装置、画像処理方法およびカメラシステムとして有用である。

１０ 手術顕微鏡
２０、１２０ カメラ装置
２１、１２１ カメラヘッド
２２、１２２ ＣＣＵ（カメラコントロールユニット）
２３、１２３ 撮像光学系
２４ 撮像部
２５、１２５ 信号ケーブル
３０、１３０、３０１、３０２、３０３ 出力部
４０ 被検体
１１０ 手術内視鏡
２２１ 可視映像／ＩＲ映像分離部
２２２ 可視映像処理部
２２３ ＩＲ映像処理部
２２４ 可視映像／ＩＲ映像重畳処理部
２２４１ 閾値処理部
２２４２ 変換前ゲイン処理部
２２４３ 非線形変換部
２２４４ 変換後ゲイン処理部
２２４５ 重畳処理部
２２５１、２２５２、２２５３ 選択部

Claims (8)

1. 蛍光薬剤が予め投与された被検体の対象部位からの医療用光学機器に入射した可視光に基づく撮像と、前記対象部位からの前記医療用光学機器に入射した蛍光に基づく撮像とを行うカメラヘッドと、
   前記カメラヘッドによる前記蛍光に基づく撮像により得られた蛍光画像に対して当該蛍光画像の黒色部分と白色部分を際立たせるための第１処理を実行して処理後蛍光画像を出力し、前記処理後蛍光画像に対して非線形変換処理を実行して非線形処理蛍光画像を出力し、前記可視光に基づく撮像により得られた可視画像と前記非線形処理蛍光画像とを重畳することにより出力部に出力されるための重畳画像を生成する画像処理部と、を備え、
   前記画像処理部は、前記第１処理として、
   前記蛍光画像の強度が、０以上かつ第１閾値未満の第１強度である場合に、前記蛍光画像の強度を０にした前記処理後蛍光画像を出力し、
   前記蛍光画像の強度が、前記第１閾値より大きい第２閾値以上の第２強度である場合に、前記蛍光画像の強度が、規定の表現可能なビット数で示すことができる最大の強度となるように前記蛍光画像の強度を補正した前記処理後蛍光画像を出力し、
   前記蛍光画像の強度が、前記第１閾値より大きくかつ前記第２閾値より小さい第３閾値より小さく、かつ前記第１閾値以上の第３強度である場合に、前記蛍光画像の強度が前記カメラヘッドから入力されたときよりも小さくかつ０よりも大きくなるように前記蛍光画像の強度を補正した前記処理後蛍光画像を出力し、
   前記蛍光画像の強度が、前記第３閾値よりも大きくかつ前記第２閾値よりも小さい第４強度である場合に、前記蛍光画像の強度が前記カメラヘッドから入力されたときよりも大きく、かつ、前記第１処理が行われない場合であって前記画像処理部に入力された蛍光画像の強度と前記画像処理部が出力する蛍光画像の強度とが同一である特性により示される蛍光画像の強度より大きく、かつ前記規定の表現可能なビット数で示すことができる最大の強度より小さくなるように前記蛍光画像の強度を補正した前記処理後蛍光画像を出力し、
   前記蛍光画像の強度が、前記第３閾値と等しい第５強度である場合に、前記蛍光画像の強度が前記第５強度である前記処理後蛍光画像を出力し、
   前記第３閾値は、前記第１処理が行われる場合における蛍光画像の強度を示す特性と、前記第１処理が行われない場合であって前記画像処理部に入力された蛍光画像の強度と前記画像処理部が出力する蛍光画像の強度とが同一である場合における蛍光画像の強度を示す特性との交点として示される蛍光画像の強度に相当する値である、
   カメラ装置。
2. 前記画像処理部は、前記非線形処理蛍光画像の強度を増幅する、
   請求項１に記載のカメラ装置。
3. 前記増幅に関する増幅率は、ユーザの操作により可変である、
   請求項２に記載のカメラ装置。
4. 前記第１閾値および前記第２閾値は、ユーザの操作により可変である、
   請求項１～３のうちいずれか一項に記載のカメラ装置。
5. 前記画像処理部は、ユーザの操作により変更可能な値群を有するルックアップテーブルを有し、前記ルックアップテーブルに基づいて前記非線形変換処理を実行する、
   請求項１～４のうちいずれか一項に記載のカメラ装置。
6. 前記可視画像、前記非線形処理蛍光画像、および前記重畳画像のうち少なくとも１つを選択し、少なくとも１つの対応する前記出力部に出力する少なくとも１つの選択部、をさらに備える、
   請求項１～５のうちいずれか一項に記載のカメラ装置。
7. カメラヘッドと画像処理部とを含むカメラ装置における画像処理方法であって、
   蛍光薬剤が予め投与された被検体の対象部位からの医療用光学機器に入射した可視光に基づく撮像と、前記対象部位からの前記医療用光学機器に入射した蛍光に基づく撮像とを、前記カメラヘッドに実行させる撮像ステップと、
   前記カメラヘッドによる前記蛍光に基づく撮像により得られた蛍光画像に対して当該蛍光画像の黒色部分と白色部分を際立たせるための第１処理を実行して処理後蛍光画像を出力することと、前記処理後蛍光画像に対して非線形変換処理を実行して非線形処理蛍光画像を出力することと、前記可視光に基づく撮像により得られた可視画像と前記非線形処理蛍光画像とを重畳することにより出力部に出力されるための重畳画像を生成することとを、前記画像処理部に実行させる重畳画像生成ステップと、を有し、
   前記第１処理において、
   前記蛍光画像の強度が、０以上かつ第１閾値未満の第１強度である場合に前記蛍光画像の強度を０にした前記処理後蛍光画像を前記画像処理部に出力させ、
   前記蛍光画像の強度が、前記第１閾値より大きい第２閾値以上の第２強度である場合に前記蛍光画像の強度が、規定の表現可能なビット数で示すことができる最大の強度となるように前記蛍光画像の強度を補正した前記処理後蛍光画像を前記画像処理部に出力させ、
   前記蛍光画像の強度が、前記第１閾値より大きくかつ前記第２閾値より小さい第３閾値より小さく、かつ前記第１閾値以上の第３強度である場合に、前記蛍光画像の強度が前記カメラヘッドから入力されたときよりも小さくかつ０よりも大きくなるように前記蛍光画像の強度を補正した前記処理後蛍光画像を前記画像処理部に出力させ、
   前記蛍光画像の強度が、前記第３閾値よりも大きくかつ前記第２閾値よりも小さい第４強度である場合に、前記蛍光画像の強度が前記カメラヘッドから入力されたときよりも大きく、かつ、前記第１処理が行われない場合であって前記画像処理部に入力された蛍光画像の強度と前記画像処理部が出力する蛍光画像の強度とが同一である特性により示される蛍光画像の強度より大きく、かつ前記規定の表現可能なビット数で示すことができる最大の強度より小さくなるように前記蛍光画像の強度を補正した前記処理後蛍光画像を前記画像処理部に出力させ、
   前記蛍光画像の強度が、前記第３閾値と等しい第５強度である場合に、前記蛍光画像の強度が前記第５強度である前記処理後蛍光画像を前記画像処理部に出力させ、
   前記第３閾値は、前記第１処理が行われる場合における蛍光画像の強度を示す特性と、前記第１処理が行われない場合であって前記画像処理部に入力された蛍光画像の強度と前記画像処理部が出力する蛍光画像の強度とが同一である場合における蛍光画像の強度を示す特性との交点として示される蛍光画像の強度に相当する値である、
   画像処理方法。
8. カメラ装置と出力部とを含むカメラシステムであって、
   前記カメラ装置は、
   蛍光薬剤が予め投与された被検体の対象部位からの医療用光学機器に入射した可視光に基づく撮像と、前記対象部位からの前記医療用光学機器に入射した蛍光に基づく撮像とを行い、
   前記蛍光に基づく撮像により得られた蛍光画像に対して当該蛍光画像の黒色部分と白色部分を際立たせるための第１処理を実行して処理後蛍光画像を出力し、
   前記処理後蛍光画像に対して非線形変換処理を実行して非線形処理蛍光画像を出力し、
   前記可視光に基づく撮像により得られた可視画像と前記非線形処理蛍光画像とを重畳することにより前記出力部に出力されるための重畳画像を生成し、
   前記出力部は、
   前記カメラ装置により生成された前記重畳画像を出力し、
   前記カメラ装置は、前記第１処理として、
   前記蛍光画像の強度が、０以上かつ第１閾値未満の第１強度である場合に、前記蛍光画像の強度を０にした前記処理後蛍光画像を出力し、
   前記蛍光画像の強度が、前記第１閾値より大きい第２閾値以上の第２強度である場合に、前記蛍光画像の強度が、規定の表現可能なビット数で示すことができる最大の強度となるように前記蛍光画像の強度を補正した前記処理後蛍光画像を出力し、
   前記蛍光画像の強度が、前記第１閾値より大きくかつ前記第２閾値より小さい第３閾値より小さく、かつ前記第１閾値以上の第３強度である場合に、前記蛍光画像の強度が前記カメラ装置から入力されたときよりも小さくかつ０よりも大きくなるように前記蛍光画像の強度を補正した前記処理後蛍光画像を出力し、
   前記蛍光画像の強度が、前記第３閾値よりも大きくかつ前記第２閾値よりも小さい第４強度である場合に、前記蛍光画像の強度が前記カメラ装置から入力されたときよりも大きく、かつ、前記第１処理が行われない場合であって前記カメラ装置に入力された蛍光画像の強度と前記カメラ装置が出力する蛍光画像の強度とが同一である特性により示される蛍光画像の強度より大きく、かつ前記規定の表現可能なビット数で示すことができる最大の強度より小さくなるように前記蛍光画像の強度を補正した前記処理後蛍光画像を出力し、
   前記蛍光画像の強度が、前記第３閾値と等しい第５強度である場合に、前記蛍光画像の強度が前記第５強度である前記処理後蛍光画像を出力し、
   前記第３閾値は、前記第１処理が行われる場合における蛍光画像の強度を示す特性と、前記第１処理が行われない場合であって前記カメラ装置に入力された蛍光画像の強度と前記カメラ装置が出力する蛍光画像の強度とが同一である場合における蛍光画像の強度を示す特性との交点として示される蛍光画像の強度に相当する値である、
   カメラシステム。

Images