JP7252023B2 - 画像処理装置及び医療用観察システム - Google Patents

Description

本発明は、被観察体の微小部位を観察する画像処理装置及び医療用観察システムに関する。

従来、被観察体である患者の脳や心臓等における微小部位の手術を行う際に該微小部位を観察するための医療用観察システムとして、複数のアーム部を有し、並進３自由度及び回転３自由度の計６自由度の動きを実現する支持部と、支持部の先端に設けられ、該微小部位を拡大する拡大光学系や撮像素子を有する顕微鏡部とを備えた光学式の顕微鏡システムが知られている。

手術時には、電子撮像式の医療用観察システムにおいて、被観察体である手術部位の明るさが頻繁に変わるため、観察画像に応じて輝度を制御する必要がある。よって、医療用観察システムでは、観察画像の輝度を測光して、輝度が適切になるように制御している（例えば、特許文献１を参照）。

特許文献１では、設定された術野エリアに対し、この術野エリア外に対し、輝度が高い領域の輝度を低減している。特許文献１では、術野エリア外において、高輝度領域を抽出し、抽出した領域に対して輝度を低減している。

特開２０１２－１４７２２１号公報

ところで、顕微鏡部を備える医療用観察システムは、撮像されたエリア全体（画像全体）が術野エリアに相当するため、特許文献１のような制御だと、術野エリア外が存在せず、高輝度領域の低減ができなくなる。また、設定によって術野エリアを決めると、被観察体と輝度差が大きい術者の手や手術用器具が術野エリア内に写り込んでも輝度調整ができず、明暗が大きい、観察には不適な画像となる。

本開示は、上記に鑑みてなされたものであって、画像中の高輝度領域に対して、柔軟に輝度調整を行うことができる画像処理装置及び医療用観察システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本開示にかかる画像処理装置は、観察対象を拡大して撮像可能とする撮像部の観察状態に基づいて、輝度調整モードを、予め設定された感度で輝度調整を行う第１輝度調整モード、及び前記輝度調整の感度が前記第１輝度調整モードの感度よりも低く、かつ高輝度領域の輝度を抑制する第２輝度調整モードのいずれかに切り替えるモード切替部と、前記モード切替部が切り替えた輝度調整モードに応じた輝度調整を行う輝度調整部と、前記輝度調整部による輝度調整後の画像を生成する画像処理部と、を備えることを特徴とする。

また、本開示にかかる画像処理装置は、上記開示において、前記撮像部による撮像視野の変動の有無を検出する観察状態検出部、をさらに備え、前記モード切替部は、前記観察状態検出部の検出結果に基づいて、前記輝度調整モードを、前記第１輝度調整モード及び前記第２輝度調整モードのいずれかに切り替えることを特徴とする。

また、本開示にかかる画像処理装置は、上記開示において、前記輝度調整部は、前記第２輝度調整モードにおいて、前記撮像部が撮像した画像を測光して、予め設定された画素領域ごとに輝度を算出し、予め設定された抽出用閾値と比較して高輝度領域を抽出することを特徴とする。

また、本開示にかかる画像処理装置は、上記開示において、前記輝度調整部は、前記第２輝度調整モードにおいて、前記撮像部が撮像した画像を測光して、予め設定された画素領域ごとに輝度を算出し、算出した輝度と、予め設定された第１閾値とを比較して高輝度領域を仮抽出し、仮抽出した画素領域の大きさに応じて第２閾値を設定し、算出した輝度と、前記第２閾値とを比較して高輝度領域を抽出することを特徴とする。

また、本開示にかかる画像処理装置は、上記開示において、前記第２閾値は、前記仮抽出した画素領域の大きさが大きくなるにしたがって低くなることを特徴とする。

また、本開示にかかる画像処理装置は、上記開示において、前記高輝度領域の抽出において、前記撮像部が撮像した画像における前記画素領域の大きさが部分的に異なることを特徴とする。

また、本開示にかかる医療用観察システムは、観察対象を拡大して撮像可能とする撮像部と、前記撮像部の観察状態に基づいて、輝度調整モードを、予め設定された感度で輝度調整を行う第１輝度調整モード、及び前記輝度調整の感度が前記第１輝度調整モードの感度よりも低く、かつ高輝度領域の輝度を抑制する第２輝度調整モードのいずれかに切り替えるモード切替部と、前記モード切替部が切り替えた輝度調整モードに応じた輝度調整を行う輝度調整部と、前記輝度調整部による輝度調整後の画像を生成する画像処理部と、を備えることを特徴とする。

本開示によれば、画像中の高輝度領域に対して、柔軟に輝度調整を行うことができるという効果を奏する。

図１は、一実施の形態に係る医療用観察システムの外観構成を示す斜視図である。 図２は、本発明の一実施の形態に係る医療用観察装置の顕微鏡部とその周辺の構成を示す拡大斜視図である。 図３は、一実施の形態に係る医療用観察システムの制御装置の構成を示すブロック図である。 図４は、一実施の形態に係る医療用観察システムの制御装置が行う処理の流れを示すフローチャートである。 図５は、高輝度領域の輝度抑制処理前の画像の一例を示す図である。 図６は、高輝度領域の抽出処理を説明する図である。 図７は、高輝度領域の輝度抑制処理後の画像の一例を示す図である。 図８は、実施の形態の変形例１に係る高輝度領域の抽出処理を説明する図である。 図９は、実施の形態の変形例２に係る医療用観察システムの制御装置が行う処理の流れを示すフローチャートである。 図１０は、変形例２における、高輝度領域の抽出処理に用いる閾値を説明する図である。

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。なお、図面はあくまで模式的なものであり、図面の相互間においても互いの寸法の関係や比率が異なる部分が含まれる場合がある。

（実施の形態）
図１は、一実施の形態に係る医療用観察システムの構成を示す図である。同図に示す医療用観察システム１は、被観察体の微細構造を拡大して撮像する顕微鏡としての機能を有する医療用観察装置（以下、観察装置という）２と、医療用観察システム１の動作を統括して制御する制御装置３と、観察装置２が撮像した画像を表示する表示装置４とを備える。

観察装置２は、床面上を移動可能なベース部５と、ベース部５に支持される支持部６と、支持部６の先端に設けられて被観察体の微小部位を拡大して撮像する柱状の顕微鏡部７と、を備える。また、観察装置２には、光ファイバ等によって構成されたライトガイド８１を介して観察装置２に照明光を供給する光源装置８が接続される。

観察装置２において、例えば、制御装置３と顕微鏡部７との間の信号伝送を行うための信号線を含む伝送ケーブルや、光源装置８から顕微鏡部７までの照明光の導光を行うためのライトガイドケーブル等を含むケーブル群が、ベース部５から顕微鏡部７にわたって配設されている。ケーブル群は、支持部６に沿って配設されている。

支持部６は、第１関節部１１、第１アーム部２１、第２関節部１２、第２アーム部２２、第３関節部１３、第３アーム部２３、第４関節部１４、第４アーム部２４、第５関節部１５、第５アーム部２５、および第６関節部１６を有する。

支持部６は、２つのアーム部および２つのアーム部の一方（先端側）を他方（基端側）に対して回動可能に連結する関節部からなる組を４組有する。この４組は、具体的には、（第１アーム部２１、第２関節部１２、第２アーム部２２）、（第２アーム部２２、第３関節部１３、第３アーム部２３）、（第３アーム部２３、第４関節部１４、第４アーム部２４）、（第４アーム部２４、第５関節部１５、第５アーム部２５）である。

第１関節部１１は、先端側で顕微鏡部７を回動可能に保持するとともに、基端側で第１アーム部２１の先端部に固定された状態で第１アーム部２１に保持される。第１関節部１１は円筒状をなし、高さ方向の中心軸である第１軸Ｏ₁のまわりに回動可能に顕微鏡部７を保持する。第１アーム部２１は、第１関節部１１の側面から第１軸Ｏ₁と直交する方向に延びる形状をなす。

第２関節部１２は、先端側で第１アーム部２１を回動可能に保持するとともに、基端側で第２アーム部２２の先端部に固定された状態で第２アーム部２２に保持される。第２関節部１２は円筒状をなしており、高さ方向の中心軸であって第１軸Ｏ₁と直交する軸である第２軸Ｏ₂のまわりに回動可能に第１アーム部２１を保持する。第２アーム部２２は略Ｌ字状をなし、Ｌ字の縦線部分の端部で第２関節部１２に連結する。

第３関節部１３は、先端側で第２アーム部２２のＬ字の横線部分を回動可能に保持するとともに、基端側で第３アーム部２３の先端部に固定された状態で第３アーム部２３に保持される。第３関節部１３は、円筒状をなしており、高さ方向の中心軸であって第２軸Ｏ₂と直交する軸であり、かつ第２アーム部２２が延びる方向と平行な軸である第３軸Ｏ₃のまわりに回動可能に第２アーム部２２を保持する。第３アーム部２３は先端側が円筒状をなしており、基端側に先端側の円筒の高さ方向と直交する方向に貫通する孔部が形成されている。第３関節部１３は、この孔部を介して第４関節部１４に回動可能に保持される。

第４関節部１４は、先端側で第３アーム部２３を回動可能に保持するとともに、基端側で第４アーム部２４に固定された状態で第４アーム部２４に保持される。第４関節部１４は円筒状をなしており、高さ方向の中心軸であって第３軸Ｏ₃と直交する軸である第４軸Ｏ₄のまわりに回動可能に第３アーム部２３を保持する。

第５関節部１５は、先端側で第４アーム部２４を回動可能に保持するとともに、基端側で第５アーム部２５に固定して取り付けられる。第５関節部１５は円筒状をなしており、高さ方向の中心軸であって第４軸Ｏ₄と平行な軸である第５軸Ｏ₅のまわりに第４アーム部２４を回動可能に保持する。第５アーム部２５は、Ｌ字状をなす部分と、Ｌ字の横線部分から下方へ延びる棒状の部分とからなる。第５関節部１５は、基端側で第５アーム部２５のＬ字の縦線部分の端部に取り付けられる。

第６関節部１６は、先端側で第５アーム部２５を回動可能に保持するとともに、基端側でベース部５の上面に固定して取り付けられる。第６関節部１６は円筒状をなしており、高さ方向の中心軸であって第５軸Ｏ₅と直交する軸である第６軸Ｏ₆のまわりに第５アーム部２５を回動可能に保持する。第６関節部１６の先端側には、第５アーム部２５の棒状の部分の基端部が取り付けられる。

以上説明した構成を有する支持部６は、顕微鏡部７における並進３自由度および回転３自由度の計６自由度の動きを実現する。

第１関節部１１～第６関節部１６は、顕微鏡部７および第１アーム部２１～第５アーム部２５の回動をそれぞれ禁止する電磁ブレーキを有する。各電磁ブレーキは、顕微鏡部７に設けられるアーム操作スイッチ７３（後述）が押下された状態で解除され、顕微鏡部７および第１アーム部２１～第５アーム部２５の回動を許容する。なお、電磁ブレーキの代わりにエアブレーキを適用してもよい。

各関節部には、上述した電磁ブレーキのほか、エンコーダ及びアクチュエータをそれぞれ搭載してもよい。エンコーダは、例えば、第１関節部１１に設けられている場合、第１軸Ｏ₁における回転角度を検出する。アクチュエータは、例えばサーボモータ等の電動モータによって構成され、制御装置３からの制御により駆動され、関節部における回転を所定の角度だけ生じさせる。関節部における回転角度は、例えば顕微鏡部７の移動の前後において観察点が変化しないように顕微鏡部７を移動させるために必要な値として、各回転軸（第１軸Ｏ₁～第６軸Ｏ₆）における回転角度に基づいて制御装置３によって設定される。このように、アクチュエータ等の能動的な駆動機構が設けられる関節部は、当該アクチュエータの駆動が制御されることにより能動的に回転する回転軸を構成する。

図２は、観察装置２の顕微鏡部７とその周辺の構成を示す拡大斜視図である。以下、図２を参照して、顕微鏡部７の構成を説明する。

顕微鏡部７は、円筒状をなす筒状部７１と、筒状部７１の中空部に設けられ、被観察体の像を拡大して撮像する撮像部７２と、第１関節部１１～第６関節部１６における電磁ブレーキを解除して各関節部の回動を許容する操作入力を受け付けるアーム操作スイッチ７３と、撮像部７２における拡大倍率および被観察体までの焦点距離を変更可能な十字レバー７４とを有する。
なお、顕微鏡部７には、撮像部７２の上部の周囲に形成され、第１関節部１１に嵌入される上カバー（図示せず）や、該上カバーから第１軸Ｏ₁に沿って延びる中空円筒状の軸部（図示せず）が設けられる。

筒状部７１は、第１関節部１１よりも径が小さい円筒状をなしており、下端部の開口面には、撮像部７２を保護するカバーガラスが設けられている（図示せず）。なお、筒状部７１の形状は円筒状に限られるわけではなく、例えば高さ方向と直交する断面が楕円または多角形であるような筒状をなしていてもよい。

撮像部７２は、光軸が第１軸Ｏ₁と一致するように配置される複数のレンズを有し、被観察体からの光を集光して結像する光学系７２１と、光学系７２１が集光した光を受光して光電変換することによって撮像信号を生成する撮像素子７２２とを有する。なお、図２では、光学系７２１が有する複数のレンズを収容する筒状の筐体のみを記載している。

光学系７２１は、十字レバー７４の操作に応じて被観察体像の拡大倍率および被観察体までの焦点距離を変更可能である。

撮像素子７２２は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いてそれぞれ構成される。撮像素子７２２は、２次元画像生成用の撮像信号を生成する。これらの撮像信号は、デジタル信号として撮像素子７２２から出力される。なお、二つの撮像素子を設けて、３次元画像生成用の撮像信号として、互いに視差を有する２つの撮像信号を生成するようにしてもよい。

アーム操作スイッチ７３は、押しボタン式のスイッチである。ユーザがアーム操作スイッチ７３を押下している間、第１関節部１１～第６関節部１６の電磁ブレーキが解除される。アーム操作スイッチ７３は、顕微鏡部７の操作時にユーザが向かい合う側面と反対側の側面、換言すると顕微鏡部７の操作時にユーザの死角となる側面に設けられる。アーム操作スイッチ７３は、観察装置２に対する操作入力を受け付ける操作入力部の一部をなす。

十字レバー７４は、筒状部７１の高さ方向および該高さ方向と直交する周方向に沿って操作可能である。十字レバー７４は、筒状部７１の側面であって筒状部７１の高さ方向に沿ってアーム操作スイッチ７３の下方の側面に設けられる。十字レバー７４も、アーム操作スイッチ７３と同様に、観察装置２に対する操作入力を受け付ける操作入力部の一部をなす。

図２に示す位置から筒状部７１の高さ方向に沿って十字レバー７４を操作すると拡大倍率が変更され、図２に示す位置から筒状部７１の周方向に沿って十字レバー７４を操作すると被観察体までの焦点距離が変更される。例えば、筒状部７１の高さ方向に沿って十字レバー７４を上方へ動かすと拡大倍率が大きくなり、筒状部７１の高さ方向に沿って十字レバー７４を下方へ動かすと拡大倍率が小さくなる。また、筒状部７１の周方向に沿って十字レバー７４を時計回りに動かすと被観察体までの焦点距離が遠くなり、筒状部７１の周方向に沿って十字レバー７４を反時計回りに動かすと被観察体までの焦点距離が近くなる。なお、十字レバー７４の移動方向と操作の割り当ては、ここで説明したものに限られるわけではない。

制御装置３は、観察装置２が出力した撮像信号を受信し、この撮像信号に所定の信号処理を施すことによって表示用の画像データを生成する。なお、制御装置３をベース部５の内部に設置して観察装置２と一体化してもよい。

図３は、一実施の形態に係る医療用観察システムの制御装置の構成を示すブロック図である。制御装置３は、輝度調整部３１と、観察状態検出部３２と、画像処理部３３と、モード切替部３４と、入力部３５と、出力部３６と、記憶部３７と、制御部３８とを備える。なお、制御装置３には、観察装置２及び制御装置３を駆動するための電源電圧を生成し、制御装置３の各部にそれぞれ供給するとともに、伝送ケーブルを介して観察装置２に供給する電源部（図示略）などが設けられていてもよい。実施の形態では、少なくとも、輝度調整部３１、画像処理部３３及びモード切替部３４を用いて画像処理装置を構成する。

輝度調整部３１は、設定される輝度調整モードに応じた輝度調整を行う。ここでいう輝度とは、ＲＧＢ成分を輝度（Ｙ）と色差（Ｃｂ、Ｃｒ）に変換して得られるＹの値である。
実施の形態では、取得した撮像信号を測光した輝度が適切になるように輝度調整を行う第１輝度調整モードと、第１輝度調整モードによる輝度調整を停止して、撮像信号に基づく撮像画像から、高輝度領域を抽出し、この抽出した領域において輝度の抑制処理を行う第２輝度調整モードとのいずれかが設定される。
輝度調整部３１は、第１輝度調整モードに設定されている場合、画像全体（各画素）の輝度から平均輝度や、最高輝度、最低輝度等を取得して、これらの輝度が予め設定された輝度範囲（感度）によって画像全体が適切な輝度となるように輝度を調整する。第１輝度調整モードでは、公知の自動輝度調整方法を採用することができる。
また、輝度調整部３１は、第２輝度調整モードに設定されている場合、第１輝度調整モードよりも輝度調整の感度を低くして、撮像画像から高輝度領域を抽出し、この抽出した領域における輝度の低減処理を実施し、撮像画像に対して低減処理後の高輝度領域の画像を合成し、撮像画像における高輝度領域の画像を、低減処理後の画像に置き換える。実施の形態では、第２輝度調整モードに設定されている場合、高輝度領域のみ輝度調整を行う例を説明する。

観察状態検出部３２は、アーム操作スイッチ７３が押下されたか否かを検出することによって、顕微鏡部７による撮像位置が移動し得る状態であるか、撮像位置が固定されている状態であるかを検出するとともに、十字レバー７４の操作によって、撮像範囲が変更され得る状態であるか、撮像範囲が固定されている状態であるかを検出する。観察状態検出部３２は、検出結果をモード切替部３４に出力する。

画像処理部３３は、顕微鏡部７が出力した撮像信号に対してノイズ除去や、必要に応じてＡ／Ｄ変換等の信号処理を行う。画像処理部３３は、信号処理後の撮像信号をもとに、表示装置４が表示する表示用の画像信号を生成する。画像処理部３３は、撮像信号に対して、所定の信号処理を実行して被写体画像を含む表示用の画像信号を生成する。ここで、画像処理部３３は、検波処理や、補間処理、色補正処理、色強調処理、及び輪郭強調処理等の各種画像処理等の公知の画像処理を行う。画像処理部３３は、生成した画像信号を表示装置４に出力する。

また、画像処理部３３が、入力されたフレームの撮像信号を基に、各フレームの所定のＡＦ用評価値を出力するＡＦ処理部、及び、ＡＦ処理部からの各フレームのＡＦ用評価値から、最も合焦位置として適したフレームまたはフォーカスレンズ位置等を選択するようなＡＦ演算処理を行うＡＦ演算部を有していてもよい。

モード切替部３４は、観察状態検出部３２の検出結果に基づいて、輝度調整モードを、第１輝度調整モード及び第２輝度調整モードのいずれかに設定する。具体的に、モード切替部３４は、装置起動時には、まず第１輝度調整モードに設定し、アーム操作スイッチ７３及び十字レバー７４が操作されていない、撮像位置及び撮像範囲がともに固定されている状態の場合に、輝度調整モードを、第２輝度調整モードに切り替える。また、第２輝度調整モード設定時において、撮像位置及び撮像範囲の少なくとも一方が変化し得る場合は、第１輝度調整モードに切り替える。

入力部３５は、キーボード、マウス、タッチパネル等のユーザインタフェースを用いて実現され、各種情報の入力を受け付ける。

出力部３６は、スピーカーやプリンタ、ディスプレイ等を用いて実現され、各種情報を出力する。

記憶部３７は、フラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて実現され、通信情報データ（例えば、通信用フォーマット情報など）が記録されている。なお、記憶部３７は、制御部３８が実行する各種プログラム等が記録されていてもよい。

制御部３８は、制御装置３及び観察蔵置２を含む各構成部の駆動制御、及び各構成部に対する情報の入出力制御などを行う。制御部３８は、記憶部３７に記録されている通信情報データ（例えば、通信用フォーマット情報など）を参照して制御信号を生成し、該生成した制御信号を顕微鏡部７へ送信する。

なお、制御部３８は、顕微鏡部７及び制御装置３の同期信号、及びクロックを生成する。顕微鏡部７への同期信号（例えば、撮像タイミングを指示する同期信号等）やクロック（例えばシリアル通信用のクロック）は、図示しないラインで顕微鏡部７に送られ、この同期信号やクロックを基に、顕微鏡部７が駆動する。

上述した輝度調整部３１、観察状態検出部３２、画像処理部３３、モード切替部３４及び制御部３８は、プログラムが記録された内部メモリ（図示略）を有するＣＰＵ（Central Processing Unit）等の汎用プロセッサやＡＳＩＣ（Application Specific Integrated Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて実現される。また、プログラマブル集積回路の一種であるＦＰＧＡ(Field Programmable Gate Array：図示略)を用いて構成するようにしてもよい。なお、ＦＰＧＡにより構成される場合は、コンフィグレーションデータを記憶するメモリを設け、メモリから読み出したコンフィグレーションデータにより、プログラマブル集積回路であるＦＰＧＡをコンフィグレーションしてもよい。

表示装置４は、制御装置３が生成した画像データを制御装置３から受信し、該画像データに対応する画像を表示する。このような表示装置４は、液晶または有機ＥＬ（Electro Luminescence）からなる表示パネルを備える。
なお、表示装置４のほか、スピーカーやプリンタ等を用いて情報を出力する出力装置を備えてもよい。

次に、以上の構成を有する医療用観察システム１を用いて行われる手術の概要を説明する。術者は、表示装置４が表示する画像を目視しながら、顕微鏡部７のアーム操作スイッチを押下した状態で顕微鏡部７を把持して所望の位置まで移動させ、顕微鏡部７の撮像視野を決定した後、アーム操作スイッチから指を離す。これにより、第１関節部１１～第６関節部１６では電磁ブレーキが動作し、顕微鏡部７の撮像視野が固定される。その後、術者は、拡大倍率および被観察体までの焦点距離の調整等を行う。表示装置４が画像を表示するため、術者は画像を通して術部を立体的に把握することができる。観察中は、予め設定されたフレームレートで撮像処理が実行され、表示装置４には、撮像された画像が順次表示（動画表示）される。

続いて、制御装置３が行う輝度調整処理について、図４～図７を参照して説明する。図４は、一実施の形態に係る医療用観察システムの制御装置が行う処理の流れを示すフローチャートである。図４に示すフローチャートは、制御装置３の起動後に開始される処理の例を示す。また、顕微鏡部７が生成した撮像信号は、順次制御装置３に送られ、制御装置３の画像処理部３３において画像処理が施された後、記憶部３７に記憶される。

制御装置３が起動されると、モード切替部３４は、輝度調整モードを、第１輝度調整モードに設定して、順次取得される撮像信号に対して輝度調整処理を実施する（ステップＳ１０１）。

観察状態検出部３２は、撮像位置、撮像範囲に変化がないか否かを判断する。観察状態検出部３２は、アーム操作スイッチ７３及び十字レバー７４が操作されていない、撮像位置及び撮像範囲がともに固定されている（変化がない）状態であるか否かを判断する。観察状態検出部３２は、アーム操作スイッチ７３が押下によって顕微鏡部７による撮像位置が移動し得る状態、十字レバー７４の操作によって撮像範囲が変更され得る状態の少なくとも一方の状態が成り立つ場合、撮像位置、撮像範囲に変化があると判断し（ステップＳ１０２：Ｎｏ）、ステップＳ１０１に戻って第１輝度調整モードによる輝度調整を実施する。一方、観察状態検出部３２は、撮像位置、撮像範囲に変化がないと判断した場合（ステップＳ１０２：Ｙｅｓ）、ステップＳ１０３に移行する。

ステップＳ１０３において、モード切替部３４は、輝度調整モードを第２輝度調整モードに切り替える。第２輝度調整モードに切り替わると、輝度調整部３１は、まず、第１輝度調整モードによる輝度調整処理を停止する。

ステップＳ１０３に続くステップＳ１０４において、輝度調整部３１は、記憶部３７に記憶されている最新の画像を読み出す。

そして、輝度調整部３１は、高輝度領域を抽出する（ステップＳ１０５）。
図５は、高輝度領域の輝度抑制処理前の画像の一例を示す図である。例えば、読み出した画像Ｇ₁に、照明光を反射する術者の手（像Ｈ₁）が写っている場合、この像Ｈ₁は、高輝度な像となる。輝度調整部３１は、画像Ｇ₁から、像Ｈ₁を含む最小の領域を高輝度領域として抽出する。

輝度調整部３１は、画像Ｇ₁を構成する複数の画素を、例えば３×３の画素からなる画素群Ｓ₁にグループ化し、画素群Ｓ₁ごとに輝度（代表値）を算出し、輝度が抽出用閾値よりも大きい画素群を抽出する。画素群の代表値は、例えば、最高値、平均値及び最頻値などである。抽出用閾値は、予め設定され、記憶部３７に記憶されている。

図６は、高輝度領域の抽出処理を説明する図である。図６に示す例では、像Ｈ₁を含む複数の画素群Ｓ₁が抽出される。輝度調整部３１は、これらの画素群Ｓ₁によって構成される高輝度領域Ｒ_Hを抽出する。

高輝度領域を抽出後、輝度調整部３１は、高輝度領域の輝度抑制処理を実施する（ステップＳ１０６）。輝度調整部３１は、高輝度領域の輝度を低減する。輝度調整部３１は、例えば、予め設定された割合で輝度を低減する。輝度調整部３１は、高輝度領域の輝度を低減した画像を、制御部３８を経て画像処理部３３に出力する。

その後、画像処理部３３が、輝度低減後の高輝度領域の画像と、対応する画像とを合成して、高輝度領域の輝度が低減された画像を生成する（ステップＳ１０７）。
図７は、高輝度領域の輝度抑制処理後の画像の一例を示す図である。画像処理部３３による合成処理によって、図７に示す画像Ｇ₃のような、高輝度領域Ｒ_Hの輝度が、高輝度領域の輝度抑制処理前の画像（図５参照）の輝度と比して低減された画像が得られる。
上述した合成後の画像が、表示装置４に表示され、術者によって観察される。この際、表示されている画像に輝度低減処理が施されている旨を表示画面中に表示してもよいし、出力部３６によって音又は光によって輝度低減処理が施されている旨を報知してもよい。

その後、制御部３８は、撮像処理を終了するか否かを判断する（ステップＳ１０８）。制御部３８は、例えば、動画撮影の停止指示が、入力部３５を介して入力されているか、又は、動画撮影が停止されていれば（ステップＳ１０８：Ｙｅｓ）、輝度調整処理を終了する。一方、制御部３８は、動画撮影が継続されている場合は（ステップＳ１０８：Ｎｏ）、ステップＳ１０２に戻り、輝度調整処理を繰り返す。

以上説明した実施の形態は、画像全体から高輝度の領域を抽出して、抽出した高輝度領域の輝度を低減するようにしたので、画像中に存在する高輝度領域に対して輝度を低減することができる。実施の形態によれば、関心領域等、画像中に設定される領域の有無によらず、画像中の高輝度領域に対して、柔軟に輝度調整を行うことができる。例えば、画像Ｇ₁（図５参照）において関心領域が設定され、関心領域内に、術者の手の像（像Ｈ₁）の一部が含まれる場合に、関心領域内の像Ｈ₁の輝度が低減され、関心領域内の高輝度な像の輝度が抑制される。

また、実施の形態では、輝度のみを用いて高輝度領域を抽出して、輝度低減処理を行うため、処理負荷が比較的軽い演算処理とすることができる。これにより、動画表示など、リアルタイムで画像を表示する場合において、フレームレートの低下を抑制して動画表示することができる。

なお、上述した実施の形態では、高輝度領域を、第１閾値で仮抽出した後、仮抽出した領域に応じて第２閾値を設定して、該第２閾値を用いて高輝度領域を抽出する例を説明したが、第１閾値によって抽出した領域を高輝度領域、すなわち、予め設定される第１閾値のみによって高輝度領域を抽出するようにしてもよい。

（変形例１）
次に、実施の形態の変形例１について、図８を参照して説明する。図８は、実施の形態の変形例１に係る高輝度領域の抽出処理を説明する図である。変形例１に係る医療用観察システムは、上述した実施の形態の医療用観察システム１と同じ構成であるため、説明を省略する。以下、実施の形態とは異なる処理について説明する。変形例１に係る輝度調整処理は、実施の形態（図４）と同じ流れである。変形例１では、高輝度抽出処理が実施の形態とは異なる。

変形例１では、高輝度領域の抽出処理（図４のステップＳ１０５）において、画像Ｇ₄の中央の領域Ｒ_Dと、領域Ｒ_Dの外側の領域との画素群の画素構成数を変える。具体的には、輝度調整部３１は、領域Ｒ_D外の画素を、例えば３×３の画素からなる画素群Ｓ₁にグループ化し、領域Ｒ_Dの画素を２×２からなる画素群Ｓ₂にグループ化する。これにより、画像Ｇ₄の中央では、詳細に高輝度領域の抽出が行われ、観察したい部位の輝度が低減されてしまうのを抑制できる。

なお、上述した変形例１では、画像Ｇ₄の中央の領域Ｒ_Dと、領域Ｒ_Dの外側の領域との画素群の画素構成数を変える例を説明したが、関心領域が設定される場合には、関心領域内を画素群の構成数を、関心領域外の画素群の構成数と比して少なくするようにしてもよい。これにより、設定される関心領域における高輝度領域の抽出処理を、高精度に実施することができる。

（変形例２）
次に、実施の形態の変形例２について、図９、１０を参照して説明する。変形例２に係る医療用観察システムは、上述した実施の形態の医療用観察システム１と同じ構成であるため、説明を省略する。以下、実施の形態とは異なる処理について説明する。

図９は、変形例２に係る医療用観察システムの制御装置が行う処理の流れを示すフローチャートである。図９に示すフローチャートは、実施の形態と同様に、制御装置３の起動後に開始される処理の例を示す。

制御装置３が起動されると、モード切替部３４は、輝度調整モードを、第１輝度調整モードに設定して、順次取得される撮像信号に対して輝度調整処理を実施する（ステップＳ２０１）。

観察状態検出部３２は、ステップＳ１０２と同様にして、撮像位置、撮像範囲に変化がないか否かを判断する。観察状態検出部３２は、撮像位置、撮像範囲に変化があると判断した場合（ステップＳ２０２：Ｎｏ）、ステップＳ２０１に戻って第１輝度調整モードによる輝度調整を実施する。一方、観察状態検出部３２は、撮像位置、撮像範囲に変化がないと判断した場合（ステップＳ２０２：Ｙｅｓ）、ステップＳ２０３に移行する。

ステップＳ２０３において、モード切替部３４は、輝度調整モードを第２輝度調整モードに切り替える。第２輝度調整モードに切り替わると、輝度調整部３１は、まず、第１輝度調整モードによる輝度調整処理を停止する。

ステップＳ２０３に続くステップＳ２０４において、輝度調整部３１は、記憶部３７に記憶されている最新の画像を読み出す。

そして、輝度調整部３１は、高輝度領域を抽出する（ステップＳ２０５～Ｓ２０７）。

輝度調整部３１は、画像Ｇ₁を構成する複数の画素を、例えば３×３の画素からなる画素群Ｓ₁にグループ化し、画素群Ｓ₁ごとに輝度（代表値）を算出し、輝度が第１閾値よりも大きい画素群を仮抽出する（ステップＳ２０５）。画素群の代表値は、例えば、最高値、平均値及び最頻値などである。第１閾値は、予め設定され、記憶部３７に記憶されている。

その後、輝度調整部３１は、仮抽出された画素群が画像Ｇ₂に対して占める領域の広さ（例えば画素数）を算出し、高輝度領域として本抽出するための第２閾値を決定する（ステップＳ２０６）。

図１０は、高輝度領域の抽出処理に用いる第２閾値を説明する図である。図１０に示すグラフは、仮抽出された画素群が画像に対して占める領域（仮抽出された領域の広さ）と、第２閾値との関係を示す。図１０に示す直線Ｌ₁は、仮抽出した領域が広いほど、第２閾値が小さくなる。輝度調整部３１は、仮抽出した領域の広さと直線Ｌ₁とに基づいて、第２閾値を決定する。
なお、第１閾値は、第２閾値の最低値よりも低い値に設定される。

輝度調整部３１は、画素群Ｓ₁ごとに輝度（代表値）が第２閾値よりも大きい画素群を抽出する（ステップＳ２０７）。

高輝度領域を抽出後、輝度調整部３１は、高輝度領域の輝度抑制処理を実施する（ステップＳ２０８）。輝度調整部３１は、高輝度領域の輝度を低減する。輝度調整部３１は、例えば、予め設定された割合で輝度を低減する。輝度調整部３１は、高輝度領域の輝度を低減した画像を、制御部３８を経て画像処理部３３に出力する。

その後、画像処理部３３が、輝度低減後の高輝度領域の画像と、対応する画像とを合成して、高輝度領域の輝度が低減された画像を生成する（ステップＳ２０９）。合成後の画像は表示装置４に表示され、術者によって観察される。

その後、制御部３８は、撮像処理を終了するか否かを判断する（ステップＳ２１０）。制御部３８は、例えば、動画撮影の停止指示が、入力部３５を介して入力されているか、又は、動画撮影が停止されていれば（ステップＳ２１０：Ｙｅｓ）、輝度調整処理を終了する。一方、制御部３８は、動画撮影が継続されている場合は（ステップＳ２１０：Ｎｏ）、ステップＳ２０２に戻り、輝度調整処理を繰り返す。

以上説明した変形例２は、実施の形態と同様に、画像全体から高輝度の領域を抽出して、抽出した高輝度領域の輝度を低減するようにしたので、画像中に存在する高輝度領域に対して輝度を低減することができる。実施の形態によれば、関心領域等、画像中に設定される領域の有無によらず、画像中の高輝度領域に対して、柔軟に輝度調整を行うことができる。

また、変形例２では、画像全体から高輝度の領域を仮抽出し、仮抽出した領域の大きさに応じて新たに閾値を設定後、高輝度領域を抽出するようにしたので、画像において高輝度領域が占める大きさに応じて、輝度低減対象の高輝度領域が抽出される。ここで、高輝度領域の大きさが大きいほど、観察の妨げになりやすいため、領域の大きさに応じて、高輝度として抽出する領域が広くなるような閾値（第２閾値）を設定し、仮抽出した領域が大きいほど、輝度を低減する領域を大きく抽出することによって、観察の妨げとなる高輝度領域を低減することができる。

なお、上述した変形例２では、グラフを用いて第２閾値を決定する例を説明したが、仮抽出された領域の広さと、第２閾値とが関連付いて、第２閾値が決定できればよく、例えば、関数や、ルックアップテーブルなどを用いて第２閾値を決定するようにしてもよい。

ここまで、本発明を実施するための形態を説明してきたが、本発明は、上述した実施の形態によってのみ限定されるべきものではない。例えば、支持部６は、２つのアーム部および該２つのアーム部の一方を他方に対して回動可能に連結する関節部からなる組を少なくとも１組有していればよい。

なお、実施の形態では、輝度調整部３１が、第２輝度調整モードに切り替えた際、第１輝度調整モードに応じた輝度調整処理を停止する例を説明したが、第２輝度調整モードの輝度調整の感度が、第１輝度調整モードの輝度調整の感度より低ければよく、例えば、徐々に第１輝度調整モードの処理の効果を鈍くしていくようにしてもよい。例えば、輝度調整部３１は、輝度調整の度合いを、フレームが進むごとに小さくすることによって、徐々に第１輝度調整モードによる輝度調整効果を小さくしていってもよい。

また、上述した輝度調整処理におけるモード切り替えは、設定によって有効及び無効を選択できるようにしてもよい。

また、上述した輝度調整処理では、輝度を低減する例を説明したが、高輝度領域の色を、低輝度の色に置き換えるようにしてもよい。また、輝度の低減と、高輝度領域の色の置き換えとを、設定によって選択できるようにしてもよい。

また、医療用観察装置を、設置場所の天井から吊り下げて配置する構成としてもよい。
また、上述した実施の形態では、手術用の顕微鏡システムである例を説明したが、上述した輝度調整に係る構成を、撮像部を備える硬性又は軟性の内視鏡装置に適用してもよい。

このように、本発明は、特許請求の範囲に記載した技術的思想を逸脱しない範囲内において、さまざまな実施の形態等を含み得るものである。

以上のように、本開示にかかる画像処理装置及び医療用観察システムは、画像中の高輝度領域に対して、柔軟に輝度調整を行うのに有用である。

１ 医療用観察システム
２ 医療用観察装置
３ 制御装置
４ 表示装置
５ ベース部
６ 支持部
７ 顕微鏡部
８ 光源装置
１１ 第１関節部
１２ 第２関節部
１３ 第３関節部
１４ 第４関節部
１５ 第５関節部
１６ 第６関節部
２１ 第１アーム部
２２ 第２アーム部
２３ 第３アーム部
２４ 第４アーム部
２５ 第５アーム部
３１ 輝度調整部
３２ 観察状態検出部
３３ 画像処理部
３４ モード切替部
３５ 入力部
３６ 出力部
３７ 記憶部
３８ 制御部

Claims (4)

1. 観察対象を拡大して撮像可能とする撮像部の観察状態に基づいて、輝度調整モードを、予め設定された感度で輝度調整を行う第１輝度調整モード、及び前記輝度調整の感度が前記第１輝度調整モードの感度よりも低く、かつ高輝度領域の輝度を抑制する第２輝度調整モードのいずれかに切り替えるモード切替部と、
   前記モード切替部が切り替えた輝度調整モードに応じた輝度調整を行う輝度調整部と、
   前記輝度調整部による輝度調整後の画像を生成する画像処理部と、
   を備え、
   前記輝度調整部は、前記第２輝度調整モードにおいて、
   前記撮像部が撮像した画像を測光して、予め設定された画素領域ごとに輝度を算出し、
   算出した輝度と、予め設定された第１閾値とを比較して高輝度領域を仮抽出し、
   仮抽出した画素領域の大きさに応じて第２閾値を設定し、
   算出した輝度と、前記第２閾値とを比較して高輝度領域を抽出し、
   前記第２閾値は、前記仮抽出した画素領域の大きさが大きくなるにしたがって低くなる、
   画像処理装置。
2. 前記撮像部による撮像視野の変動の有無を検出する観察状態検出部、
   をさらに備え、
   前記モード切替部は、前記観察状態検出部の検出結果に基づいて、前記輝度調整モードを、前記第１輝度調整モード及び前記第２輝度調整モードのいずれかに切り替える、
   請求項１に記載の画像処理装置。
3. 前記高輝度領域の抽出において、前記撮像部が撮像した画像における前記画素領域の大きさが部分的に異なる、
   請求項１に記載の画像処理装置。
4. 観察対象を拡大して撮像可能とする撮像部と、
   前記撮像部の観察状態に基づいて、輝度調整モードを、予め設定された感度で輝度調整を行う第１輝度調整モード、及び前記輝度調整の感度が前記第１輝度調整モードの感度よりも低く、かつ高輝度領域の輝度を抑制する第２輝度調整モードのいずれかに切り替えるモード切替部と、
   前記モード切替部が切り替えた輝度調整モードに応じた輝度調整を行う輝度調整部と、
   前記輝度調整部による輝度調整後の画像を生成する画像処理部と、
   を備え、
   前記輝度調整部は、前記第２輝度調整モードにおいて、
   前記撮像部が撮像した画像を測光して、予め設定された画素領域ごとに輝度を算出し、
   算出した輝度と、予め設定された第１閾値とを比較して高輝度領域を仮抽出し、
   仮抽出した画素領域の大きさに応じて第２閾値を設定し、
   算出した輝度と、前記第２閾値とを比較して高輝度領域を抽出し、
   前記第２閾値は、前記仮抽出した画素領域の大きさが大きくなるにしたがって低くなる、
   医療用観察システム。

Images