JPWO2019163470A1 - 内視鏡システム及びその作動方法 - Google Patents

Abstract

通常画像と演算画像とを同時に表示する際に、遅延および被写体の動きによる違和感が軽減された内視鏡システム及びその作動方法を提供する。内視鏡システム（１０、１００、２００）において、演算処理時間検出部（６６）による演算処理時間と、動き検出部（５０）による動き量に基いて、フレーム調整部（６８）が通常画像と演算画像との単位時間に表示されるフレーム数（フレームレート）を変更するフレーム調整を行う。表示制御部（５６）が、動き量に基いて通常画像および演算画像の表示方法を決定し、表示方法に従って通常画像および演算画像がモニタ（１８）に表示される。

Description

本発明は、通常画像と演算画像とを同時に表示する際に、演算画像の遅延および被写体の動きによる違和感を軽減して表示する内視鏡システム及びその作動方法を提供する。

医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。特に、通常、照明光として白色光を用いて観察対象を撮像し、観察対象を自然な色合いで観察可能な画像（以下、通常画像という）を取得及び表示するが、単に通常画像にて観察対象を撮像するだけでなく、観察対象に照射する照明光の波長を工夫したり、観察対象を撮像して得た画像信号に分光推定処理等の信号処理を施したりすることによって、血管や腺管構造等の特定の組織や構造を強調した観察画像を得る内視鏡システムが普及している。

また、近年においては、観察対象を撮像して得られる画像信号に基づいて、生体機能情報を計測し、この生体機能情報を診断時に利用することが検討されている。例えば、癌などの病変部は低酸素状態となることが知られているため、生体機能情報の中でも酸素飽和度を計測して診断に用いることで、病変部の検出が容易になる。

酸素飽和度などの生体機能情報の計測等は、画像信号を演算する画像処理により行われる。通常画像と、画像信号を演算して生体機能情報の計測結果等を示す演算画像との両者は、より確実な診断のために見比べられることが多い。このような通常画像と演算画像との表示に関して、以下のような技術が開示されている。

例えば、ネットワーク経由で高度な画像処理を行い、ローカル画像処理部で観察画像を生成する画像処理を行い、これらの処理結果を結合して表示画像を生成する内視鏡システムが開示されている（特許文献１）。また、通常光による撮像信号と、特殊光による撮像信号とを、それぞれ別の記憶手段に記憶させ、特定のタイミング信号に応じて、それぞれの記憶手段から各撮像信号を得て表示する電子内視鏡システムが開示されている（特許文献２）。また、電子内視鏡、プロセッサ、および画像処理装置とからなる電子内視鏡システムであって、画像処理装置が第１の画像処理時間に関する情報をプロセッサに出力し、プロセッサが上記画像処理時間に基づいて第２の映像信号の出力タイミングを制御する電子内視鏡システムが開示されている（特許文献３）。

特開２０１４−１２８４２３号公報 特開２００４−３２１２４４号公報 特開２０１１−３６４８８号公報

特許文献１〜３によれば、通常画像の表示を遅延させることにより演算画像と同期させて、通常画像と演算画像とが表示される。しかしながら、計算の負荷が高い演算では演算画像のフレームレートが低下することがある。この場合、特に被写体の動きが大きくなると、演算画像を通常画像とを同期させた表示では、被写体の動きに対してフレームレートが足りない場合があった。

本発明は、通常画像と演算画像とを同時に表示する際に、演算画像の遅延や被写体の動きによる違和感を軽減して表示する内視鏡システム及びその作動方法を提供することを目的とする。

本発明の内視鏡システムは、画像取得部と、演算画像生成部と、通常画像生成部と、演算処理時間検出部と、動き検出部と、フレーム調整部と、表示制御部と、表示部とを備える。画像取得部は、波長帯域が異なる複数の照明光を照射して被写体を撮像して得られる複数の画像を取得する。演算画像生成部は、複数の画像のうち、少なくとも１つの画像に対して、演算処理を行うことにより演算画像を生成する。通常画像生成部は、複数の画像のうち、少なくとも１つの画像に対して、演算処理を行わない通常画像を生成する。演算処理時間検出部は、演算画像の生成に要した演算処理時間を検出する。動き検出部は、被写体の相対的な動き量を検出する。フレーム調整部は、通常画像および／または演算画像に対し、単位時間に表示されるフレーム数を変更するフレーム調整を行う。表示制御部は、演算処理時間および動き量に基いて、フレーム調整が行われた演算画像と通常画像との表示方法を決定する。表示部は、表示方法に従って、通常画像および演算画像を表示する。

表示方法は、通常画像を演算処理時間分遅延させて表示する方法であることが好ましい。

フレーム調整は、通常画像に対し、単位時間に表示されるフレーム数を減少させる処理であることが好ましい。

フレーム調整は、演算画像に対し、単位時間に表示されるフレーム数を増加させる処理であることが好ましい。

フレーム調整は、演算画像を複製することにより、演算画像の単位時間に表示されるフレーム数を増加させる処理であることが好ましい。

フレーム調整は、演算画像の単位時間に表示されるフレーム数と、通常画像の単位時間に表示されるフレーム数との差を小さくする処理であることが好ましい。

動き検出部は、被写体の相対的な動きベクトルを検出し、フレーム調整は、動きベクトルに基いて、演算画像の補間フレームを生成する処理であることが好ましい。

演算画像生成部は、複数の画像のうち、少なくとも１つの画像を２回以上、演算処理に用いることにより演算画像を生成し、少なくとも２つの演算画像を生成することが好ましい。

表示方法は、動き量が閾値以上の場合は、通常画像が演算画像以上の表示面積で、通常画像と演算画像とを表示し、動き量が閾値未満の場合は、演算画像が通常画像以上の表示面積で、通常画像と演算画像とを表示する方法であることが好ましい。

表示部は、少なくとも１つのモニタであることが好ましい。

表示方法は、通常画像に、演算画像を重ねて表示する方法であることが好ましい。

表示部は、少なくとも２つのモニタであり、モニタは、観察者の視線を検知する視線検知装置を備え、視線検知装置は移動に要した視線移動時間を検出する視線移動検出部を備え、観察者の視線が、演算画像を表示する一方のモニタから通常画像を表示する他方のモニタへ移動した場合、表示制御部は、視線移動時間に基いて、演算画像と通常画像との表示方法を決定することが好ましい。

表示方法は、通常画像を視線移動時間分遅延させて表示する方法であることが好ましい。

演算処理は、酸素飽和度画像を生成するための演算処理であることが好ましい。

演算処理は血管強調表示画像を生成するための演算処理であることが好ましい。

本発明の内視鏡システムの作動方法は、画像取得部が、波長帯域が異なる複数の照明光を照射して被写体を撮像して得られる複数の画像を取得するステップと、演算画像生成部が、複数の画像のうち、少なくとも１つの画像に対して、演算処理を行うことにより演算画像を生成するステップと、通常画像生成部が、複数の画像のうち、少なくとも１つの画像に対して、演算処理を行わない通常画像を生成するステップと、演算処理時間検出部が、演算画像の生成に要した演算処理時間を検出するステップと、動き検出部が、被写体の相対的な動き量を検出するステップと、フレーム調整部が、通常画像および／または演算画像に対し、単位時間に表示されるフレーム数を変更するフレーム調整を行うステップと、表示制御部が、演算処理時間および動き量に基いて、フレーム調整が行われた演算画像と通常画像との表示方法を決定するステップと、表示部が、表示方法に基いて、通常画像および演算画像を表示するステップと、を備える。

本発明の内視鏡システムおよびその作動方法によれば、通常画像と演算画像とを同時に表示する際に、演算画像の遅延や被写体の動きによる違和感が軽減される。

内視鏡システムの外観図である。 第１実施形態の内視鏡システムの機能を示すブロック図である。 動き検出部の機能を示すブロック図である。 画像処理部の機能を示すブロック図である。 演算画像生成部の機能を示すブロック図である。 縦軸がＬｏｇ（Ｂ１／Ｇ２）、横軸がＬｏｇ（Ｒ２／Ｇ２）である第１特徴空間における酸素飽和度の等値線の位置を示すグラフである。 酸化ヘモグロビンと還元ヘモグロビンの吸光係数を示すグラフである。 酸素飽和度の算出方法を示す説明図である。 フレーム調整部の調整１および遅延処理の説明図である。 フレーム調整部の調整２および遅延処理の説明図である。 フレーム調整部の調整３および遅延処理の説明図である。 フレーム調整部の調整４および遅延処理の説明図である。 モニタにおける通常画像と演算画像との表示方法を説明する説明図である。 モニタにおける通常画像と演算画像との表示方法を説明する説明図である。 モニタにおける通常画像と演算画像との表示方法を説明する説明図である。 モニタにおける通常画像と演算画像との表示方法を説明する説明図である。 第２実施形態の内視鏡システムの機能を示すブロック図である。 回転フィルタの平面図である。 第３実施形態の内視鏡システムの機能を示すブロック図である。 広帯域光のスペクトルを示すグラフである。 青緑色レーザ光のスペクトルを示すグラフである。

［第１実施形態］
図１において、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続されるとともに、プロセッサ装置１６と電気的に接続される。内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。

なお、内視鏡システム１０は、表示される画像の種類が異なる、複数の観察モードを有する。観察モードには、通常モード、酸素飽和度モード、およびマルチ観察モードの３種類が設けられている。通常モードでは、照明光に白色光を用いて観察対象を撮像して得た自然な色合いの通常画像が、モニタ１８に表示される。酸素飽和度モードでは、それぞれ波長帯域が異なる第１画像と第２画像とにより、生体機能測定結果を示す酸素飽和度を測定した画像が、モニタ１８に表示される。これは、第１画像および第２画像と酸素飽和度との相関関係を用いて、観察対象の酸素飽和度を測定するとともに、測定した酸素飽和度を擬似カラーなどで画像化した画像（以下、酸素飽和度画像という）である。マルチ観察モードは、通常モードと酸素飽和度モードを自動的に切替える。即ち、マルチ観察モードでは、通常モードによる通常画像と、酸素飽和度モードによる酸素飽和度画像とが、手動で観察モードを切替えることなく表示される。なお、マルチ観察モードにおいては、酸素飽和度モードに代えて、血管強調画像をモニタ１８に表示する血管強調モードを行うようにしてもよい。この場合、通常モードと血管強調モードが自動的に切り替えられる。血管強調画像は、血管強調モード時に照明されるマルチフレーム照明により得られる複数の画像間の血管強調演算によって生成することが好ましい。ここで、酸素飽和度を測定する酸素飽和度演算や、血管強調演算など、主に複数フレームの画像間の演算を演算処理と称する。そして、演算処理により生成した画像を演算画像と称する。

内視鏡システム１０では、マルチ観察モード、通常モード、および酸素飽和度モードの他に、別の観察モードも使用可能である。観察モードの切替は、内視鏡の操作部１２ｂに設けられたスコープスイッチである、モード切替スイッチ（以下、モード切替ＳＷという）１２ｆにより行われる。モード切替ＳＷ１２ｆにより、複数の照明光を手動で切替えることができる。本実施形態における観察モードは、マルチ観察モードである。

プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続される。モニタ１８は、画像情報等を出力表示する。図１には、モニタ１８は１台のみ描かれているが、接続されるモニタ１８は１台にかぎらず、２台以上を接続してもよい。コンソール１９は、機能設定等の入力操作を受け付けるＵＩ（User Interface：ユーザーインターフェース）として機能する。なお、プロセッサ装置１６には、画像情報等を記録する外付けの記録部（図示せず）を接続してもよい。

図２に示すように、光源装置１４は、光源２０と、光源２０を制御する光源制御部２１とを備えている。光源２０は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源２０は、Ｖ−ＬＥＤ（Violet Light Emitting Diode）２０ａ、ＢＳ−ＬＥＤ（Blue Short -wavelength Light Emitting Diode）２０ｂ、ＢＬ−ＬＥＤ（Blue Long-wavelength Light Emitting Diode）２０ｃ、Ｇ−ＬＥＤ（Green Light Emitting Diode）２０ｄ、及びＲ−ＬＥＤ（Red Light Emitting Diode）２０ｅの５色のＬＥＤを有する。

Ｖ−ＬＥＤ２０ａは、波長帯域４０５±１０ｎｍの紫色光Ｖを発する。ＢＳ−ＬＥＤ２０ｂは、波長帯域４５０±１０ｎｍの第１青色光ＢＳを発する。ＢＬ−ＬＥＤ２０ｃは、波長帯域４７０±１０ｎｍの第２青色光ＢＬを発する。Ｇ−ＬＥＤ２０ｄは、波長帯域５４０±１０ｎｍの緑色光Ｇを発する。Ｒ−ＬＥＤ２０は、波長帯域６４０±２０ｎｍの赤色光Ｒを発する。なお、各ＬＥＤ２０ａ〜２０ｅにおける中心波長とピーク波長は、同じであってもよく、異なっても良い。

光源制御部２１は、各ＬＥＤ２０ａ〜２０ｅに対して独立に制御信号を入力することによって、各ＬＥＤ２０ａ〜２０ｅの点灯や消灯、点灯時の発光量などを独立に制御する。光源制御部２１における点灯又は消灯制御は、各モードによって異なっている。通常画像取得時は、ＢＳ−ＬＥＤ２０ｂ、Ｇ−ＬＥＤ２０ｄ、Ｒ−ＬＥＤ２０ｅを同時に点灯することによって、第１青色光ＢＳ、緑色光Ｇ、赤色光Ｒを同時に発光する。または、これらにＶ−ＬＥＤ２０ａを加えて同時に点灯することによって、紫色光Ｖを同時に発光してもよい。酸素飽和度画像取得時では、ＢＬ−ＬＥＤ２０ｃを点灯して、第２青色光ＢＬを発光する第１測定用発光モードと、ＢＳ−ＬＥＤ２０ｂ、Ｇ−ＬＥＤ２０ｄ、Ｒ−ＬＥＤ２０ｅを同時に点灯することによって、第１青色光ＢＳ、緑色光Ｇ、赤色光Ｒを同時に発光する第２測定用発光モードを切替える。したがって、通常画像と酸素飽和度画像とを自動的に取得するマルチ観察モードでは、酸素飽和度画像取得時の第２測定用発光モードと通常画像取得時の発光とが同一であるため、酸素飽和度用画像取得時における第１測定用発光モードと第２測定用発光モードとを交互に繰り返す。そして、酸素飽和度画像取得時の第２測定用発光モードにて撮像した画像を、通常画像のための画像としても使用する。

各ＬＥＤ２０ａ〜２０ｅが発する光は、ミラーやレンズなどで構成される光路結合部２３を介して、ライトガイド２５に入射される。ライトガイド２５は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１４及びプロセッサ装置１６を接続するコード）に内蔵されている。ライトガイド２５は、光路結合部２３からの光を、内視鏡１２の先端部１２ｄまで伝搬する。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３２を有しており、ライトガイド２５によって伝搬した照明光は照明レンズ３２を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ３４、撮像センサ３６を有している。照明光を照射したことによる観察対象からの光は、対物レンズ３４を介して撮像センサ３６に入射する。これにより、撮像センサ３６に観察対象の像が結像される。

撮像センサ３６は、照明光で照明中の観察対象を撮像するカラー撮像センサである。撮像センサ３６の各画素には、Ｂ（青色）カラーフィルタを有するＢ画素（青色画素）、Ｇ（緑色）カラーフィルタを有するＧ画素（緑色画素）、Ｒ（赤色）カラーフィルタを有するＲ画素（赤色画素）のいずれかが設けられている。Ｂカラーフィルタは、主として青色帯域の光、具体的には、波長帯域が３８０〜５６０ｎｍの光を透過させる。透過率が最大となるピーク波長は４６０〜４７０ｎｍ付近に存在する。Ｇカラーフィルタは、主として緑色帯域の光、具体的には、波長帯域が４５０〜６３０ｎｍの光を透過させる。Ｒカラーフィルタは、主として赤色帯域の光、具体的には５８０〜７６０ｎｍの光を透過させる。

撮像センサ３６としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサを利用可能である。また、原色の撮像センサ３６の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（グリーン）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力されるので、補色−原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ３６と同様のＲＧＢ各色の画像信号を得ることができる。

撮像センサ３６は、撮像制御部３８によって駆動制御される。撮像制御部３８における制御は、各モードによって異なっている。マルチ観察モードでは、通常モードと酸素飽和度モードとを繰り返す。ただし、上記したとおり、通常モードと、酸素飽和度モードの第１測定用発光モードとは、同じ画像を用いることができるため、実際には、酸素飽和度モードの第１測定用発光モードと第２測定用発光モードとを交互に繰り返して、通常画像用および酸素飽和度画像用の画像を取得する。

具体的には、酸素飽和度モードにおいて、撮像制御部３８は撮像センサ３６を制御して、第１測定用発光モードにおいて第２青色光ＢＬで照明中の観察対象を１フレーム分撮像する第１測定用撮像モードと、第２測定用発光モードにおいて第１青色光ＢＳ、緑色光Ｇ、赤色光Ｒで照明中の観察対象を１フレーム分撮像する第２測定用撮像モードとを順に切替える。これにより、第１測定用撮像モード時には、撮像センサ３６のＢ画素からＢ１画像信号が出力され、Ｇ画素からＧ１画像信号が出力され、Ｒ画素からＲ１画像信号が出力される。また、第２測定用撮像モード時には、撮像センサ３６のＢ画素からＢ２画像信号が出力され、Ｇ画素からＧ２画像信号が出力され、Ｒ画素からＲ２画像信号が出力される。そして、通常モードでは、第２測定用撮像モード時に出力された画像信号を使用する。

撮像センサ３６から出力される画像信号は、ＣＤＳ・ＡＧＣ回路４０に送信される。ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４０は、撮像センサ３６から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４０を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４２により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号がプロセッサ装置１６に入力される。

プロセッサ装置１６は、画像取得部４４と、ＤＳＰ（Digital Signal Processor）４６と、ノイズ低減部４８と、動き検出部５０と、画像処理部５２と、中央制御部５４と、表示制御部５６とを備えている。画像取得部４４は、内視鏡１２から入力される画像信号を受信し、受信した画像信号をＤＳＰ４６に送信する。

ＤＳＰ４６は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行う。欠陥補正処理では、撮像センサ３６の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲインを乗じることにより各画像信号の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるリニアマトリクス処理が施される。

その後、ガンマ変換処理によって、各画像信号の明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理（等方化処理，同時化処理とも言う）が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ＤＳＰ４６は、デモザイク処理後の各画像信号にＹＣ変換処理を施し、輝度信号Ｙと色差信号Ｃｂ及び色差信号Ｃｒをノイズ低減部４８に出力する。

ノイズ低減部４８は、ＤＳＰ４６でデモザイク処理等を施した画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した画像信号は、画像処理部５２に入力される。

動き検出部５０は、ＤＳＰ４６からの画像信号を解析して、観察部位の相対的な動き量を検出する。図３に示すように、動き検出部５０は、動き検出回路５８とＣＰＵ６０とを有する。動き検出回路５８は、ＤＳＰ４６からの画像信号を、撮像時刻の前後の２フレーム分格納するフレームメモリを有する。例えば、パターンマッチング法を用いて、２フレームの画像間で同一の観察部位に対応する画素を探索し、この画素の空間的距離および方向を動きベクトルとして検出する。なお、本明細書において、動きベクトルとは、動き量と動き方向とをあわせもった値である。動き検出回路５８は、検出した動きベクトルから観察部位の相対的な動き量をＣＰＵ６０に出力する。ＣＰＵ６０は、動き量について、予め設定されている閾値との比較を行い、その結果を画像処理部５２および表示制御部５６に送る。ここで、相対的な動き量とは、特定時間における相対的な動き量であり、ある時間に検出された動きベクトルの和から求めることができる。動き量の値が大きいと、被写体の相対的な動きが大きく、一方、動き量の値が小さいと、被写体の相対的な動きが小さい。

画像処理部５２は、図４に示すように、通常画像生成部６２と、演算画像生成部６４と、演算処理時間検出部６６と、フレーム調整部６８とを有する。画像処理部５２において、設定されているモードによって、ノイズ低減部４８からの画像信号は、通常画像生成部６２、演算画像生成部６４のいずれかに送られる。本実施形態では、上記したとおり、マルチ観察モードに設定されており、通常モードと酸素飽和度モードとを自動的に繰り返す。具体的には、酸素飽和度モードの場合、ノイズ低減部４８からの画像信号は演算画像生成部６４に入力される。また、本実施形態では、酸素飽和度モードのうち、第２測定用撮像モードの場合に、ノイズ低減部４８からの画像を、通常画像生成部６２と演算画像生成部６４とに入力することにより、通常モードにおける画像も生成する。

通常画像生成部６２は、入力した１フレーム分のＲ２画像信号、Ｇ２画像信号、Ｂ２画像信号に対して、さらに３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理を施す。そして、色変換処理済みのＲＧＢ画像データに対して、各種色彩強調処理を施す。この色彩強調処理済みのＲＧＢ画像データに対して、空間周波数強調等の構造強調処理を施す。構造強調処理を施したＲＧＢ画像データは、通常画像として表示制御部５６に送られる。なお、本明細書において、「画像データ」は「画像信号」と同じ意味で用いている。

演算画像生成部６４は、酸素飽和度モード時に得られる画像信号のうちＢ１画像信号、Ｇ２画像信号、Ｒ２画像信号と酸素飽和度との相関関係を用いて、酸素飽和度を算出する。酸素飽和度の算出方法については後述する。算出した酸素飽和度を疑似カラーなどで画像化した酸素飽和度画像を生成する。この酸素飽和度画像は、表示制御部５６に送られる。

演算処理時間検出部６６は、演算画像生成部６４に、演算される画像信号が入力されてから演算画像が生成されるまでの演算処理時間を検出する。検出された演算処理時間は、表示制御部５６に送られ、通常画像の表示方法決定のために用いられる。演算処理時間は、複数の画像の演算に要した時間の平均値でもよいし、サンプリングした一つの画像の演算に要した時間のような代表値でもよい。

上記したとおり、本実施形態では、演算画像は酸素飽和度画像である。図５に示すように、演算画像生成部６４は、信号比算出部７０と、相関関係記憶部７２と、酸素飽和度算出部７４と、画像生成部７６と、を備えている。信号比算出部７０は、酸素飽和度算出部７４で酸素飽和度の算出のために用いる信号比を算出する。具体的には、信号比算出部７０は、Ｂ１画像信号とＧ２画像信号の信号比Ｂ１／Ｇ２と、Ｒ２画像信号とＧ２画像信号の信号比Ｒ２／Ｇ２と、Ｇ２画像信号とＢ２画像信号の信号比Ｇ２／Ｂ２とをそれぞれ画素毎に算出する。

相関関係記憶部７２は、信号比算出部７０が算出する各信号比と、酸素飽和度との相関関係を、ＬＵＴ（Look Up Table）などの記憶手段に記憶している。この相関関係を、縦軸Ｌｏｇ（Ｂ１／Ｇ２）、横軸Ｌｏｇ（Ｒ２／Ｇ２）で形成される第１特徴空間上で表した場合、図６に示すように、第１特徴空間上において、酸素飽和度が同じ部分を繋ぎあわせた等値線が、ほぼ横軸方向に沿って、形成されている。また、等値線は、酸素飽和度が大きくなるほど、縦軸方向に対して、より下方側に位置している。例えば、酸素飽和度が１００％の等値線７８は、酸素飽和度が０％の等値線８０よりも下方に位置している。

なお、第１特徴空間における等値線の位置及び形状は、光散乱の物理的なシミュレーションによって予め得られる。また、相関関係記憶部７２では、信号比Ｂ１／Ｇ２、Ｒ２／Ｇ２と酸素飽和度との相関関係を記憶しているが、信号比Ｂ１／Ｇ２、Ｒ２／Ｇ２との相関関係に限らず、Ｂ１画像信号、Ｇ２画像信号、Ｒ２画像信号に基づく特定の演算（例えば、差分処理）を行って得られる第１演算値と酸素飽和度との相関関係を記憶するようにしてもよい。

上記相関関係は、図７に示す酸化ヘモグロビン（グラフ８２）や還元ヘモグロビン（グラフ８４）の吸光特性や光散乱特性と密接に関連し合っている。例えば、第２青色光ＢＬの波長帯域４７０±１０ｎｍのように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きい波長帯域では、ヘモグロビンの酸素飽和度によって吸光量が変化するため、酸素飽和度の情報を取り扱いやすい。したがって、中心波長４７０nm第２青色光ＢＬの光に対応するＢ１画像信号を含む信号比Ｂ１／Ｇ２を用いることで、酸素飽和度の算出が可能となる。しかしながら、信号比Ｂ１／Ｇ２は酸素飽和度だけでなく、血液量にも依存度が高い。そこで、信号比Ｂ１／Ｇ２に加えて、主として血液量に依存して変化する信号比Ｒ２／Ｇ２を用いることで、血液量に影響されることなく、酸素飽和度を正確に求めることができる。なお、Ｇ２画像信号に含まれる緑色光の波長帯域５４０±２０ｎｍは、ヘモグロビンの吸光係数が比較的高いため、血液量によって吸光量が変化しやすい波長帯域である。

酸素飽和度算出部７４は、相関関係記憶部７２に記憶した相関関係を参照し、信号比Ｂ１／Ｇ２，Ｒ２／Ｇ２に対応する酸素飽和度を画素毎に算出する。例えば、図８に示すように、相関関係記憶部７２に記憶した相関関係を参照した場合、特定画素の信号比Ｂ１^*／Ｇ２^*，Ｒ２^*／Ｇ２^*に対応する酸素飽和度は「４０％」である。したがって、酸素飽
和度算出部７４は、酸素飽和度を「４０％」と算出する。

なお、信号比Ｂ１／Ｇ２，Ｒ２／Ｇ２が極めて大きくなったり、極めて小さくなったりすることはほとんどない。すなわち、信号比Ｂ１／Ｇ２、Ｒ２／Ｇ２の各値の組み合わせが、酸素飽和度１００％の上限の等値線７８（図６参照）よりも下方に分布したり、反対に、酸素飽和度０％の下限の等値線８０（図６参照）よりも上方に分布したりすることはほとんどない。但し、上限の等値線７８より下方に分布する場合には酸素飽和度を１００％とし、下限の等値線８０より上方に分布する場合には酸素飽和度算出部７４は酸素飽和度を０％とする。また、信号比Ｂ１／Ｇ２，Ｒ２／Ｇ２に対応する点が上限の等値線７８と下限の等値線８０との間に分布しない場合には、その画素における酸素飽和度の信頼度が低いことが分かるように表示をしたり、酸素飽和度を算出しないようにしたりしても良い。

画像生成部７６は、酸素飽和度算出部７４で算出した酸素飽和度を用いて、酸素飽和度を画像化した酸素飽和度画像を生成する。具体的には、画像生成部７６は、Ｂ２画像信号，Ｇ２画像信号，及びＲ２画像信号を取得し、これらの画像信号に対して酸素飽和度に応じたゲインを画素毎に施す。そして、ゲインを施したＢ２画像信号，Ｇ２画像信号，及びＲ２画像信号を用いてＲＧＢ画像データを生成する。例えば、画像生成部７６は、酸素飽和度が６０％以上の画素ではＢ２画像信号，Ｇ２画像信号，及びＲ２画像信号のいずれにも同じゲイン「１」を乗じる。これに対して、酸素飽和度が６０％未満の画素では、Ｂ２画像信号に対して「１」未満のゲインを乗じ、Ｇ２画像信号及びＲ２画像信号に対しては「１」以上のゲインを乗じる。このゲイン処理後のＢ２画像信号，Ｇ２画像信号，及びＲ２画像信号を用いて生成したＲＧＢ画像データが酸素飽和度画像である。

画像生成部７６が生成した酸素飽和度画像では、高酸素の領域（酸素飽和度が６０〜１００％の領域）では、通常観察画像と同様の色で表される。一方、酸素飽和度が特定値を下回る低酸素の領域（酸素飽和度が０〜６０％の領域）は、通常観察画像とは異なる色（疑似カラー）で表される。

なお、本実施形態では、画像生成部７６は、低酸素の領域のみ疑似カラー化するゲインを乗じているが、高酸素領域でも酸素飽和度に応じたゲインを施し、酸素飽和度画像の全体を疑似カラー化しても良い。また、低酸素領域と高酸素領域を酸素飽和度６０％で分けているがこの境界も任意である。

フレーム調整部６８（図４参照）は、通常画像および／または酸素飽和度画像に対し、単位時間に表示されるフレーム数を変更して、フレームに関する種々の調整を行う。これにより、表示被写体の動きが大きい場合など、フレームレートが足りないことにより生じる問題が軽減される。フレーム調整部６８の詳細については、以下に詳述する。

表示制御部５６は、酸素飽和度画像の生成に要した演算処理時間および被写体の相対的な動き量に基いて、フレーム調整部６８から送られる通常画像および演算画像の表示方法を決定する。演算処理時間に基づく表示方法としては、通常画像を演算処理時間分遅延させて表示する方法が好ましい。これにより、通常画像と酸素飽和度画像との取得時刻のずれが解消されるため、通常画像と酸素飽和度画像との２種類の画像を表示して見る場合の違和感が軽減される。表示制御部５６の詳細については、以下に詳述する。

本実施形態において、表示部は、モニタ１８である。モニタ１８は、表示制御部５６が決定した表示方法に従って、通常画像および演算画像を表示する。

本実施形態について、以下に図を示して具体的に説明する。図９は、照明光の照射（図９（Ａ）照明光）、取得された画像（図９（Ｂ）画像、通常および演算）、フレーム調整（図９（Ｃ）フレーム調整１）、通常画像の遅延（図９（Ｄ）遅延）、表示制御部５６が決定する表示方法（図９（Ｅ）表示方法）、およびモニタ１８での表示（図９（Ｆ）表示）の様子を、時間軸ｔに沿って示している。図９では、ある期間に得られた画像ならびに時間の流れ等を模式的に示している。まず、照明光は、第２青色光ＢＬを発光する第１測定用発光モード（図９（Ａ）１）と第１青色光ＢＳ、緑色光Ｇ、赤色光Ｒを同時に発光する第２測定用発光モード（図９（Ａ）２）とが、特定の間隔で切り替わる（図９（Ａ）照明光）。これらの間隔は、一定である。第２測定用発光モードが発光された際の画像は、通常画像として、通常画像生成部６２に入力される。「通１」、「通２」、「通３」、「通４」は通常画像を表しており、「通１」は「通２」よりも前の時刻に取得したことを表す（図９（Ｂ）通常）。第１測定用発光モードが発光された際の第１画像と、第２測定用発光モードが発光された際の第２画像とは、演算画像生成部６４に入力され、酸素飽和度画像が生成される。「酸１」、「酸２」は、それぞれ第１測定用発光モードが発光された際の画像と、第２測定用発光モードが発光された際の画像とに基づいて生成された酸素飽和度画像であることを表している（図９（Ｂ）演算）。また、「酸１」は「酸２」よりも前の時刻に取得したことを表す。

フレーム調整部６８によるフレーム調整１は、通常画像に対し、単位時間に表示されるフレーム数を減少させる調整である。図９（Ｃ）のフレーム調整１（以下、調整１という）において、通常画像は、単位時間に表示されるフレーム数を少なくなるように変更され、約半分のフレームレートとされる。本実施形態では、演算画像生成部６４における酸素飽和度の演算により、酸素飽和度画像のフレームレートは、通常画像のフレームレートの約半分となる。そこで、フレーム調整部６８の調整１では、通常画像のフレームレートを半分にする（図９（Ｃ））。なお、本明細書では、フレームレートとは、単位時間に表示されるフレーム数を意味する。取得された通常画像のうち、調整１により選択された「通１」および「通３」が用いられ、これらが表示に供され、「通２」および「通４」は表示されない。通常画像のフレームレートを減少させる調整により、調整１では、単位時間に表示される通常画像のフレーム数と酸素飽和度画像のフレーム数との差が小さくなる状態に調整され、ほぼ同一となっている。以上が、調整１の内容である。調整１以外のフレーム調整の方法については、後述する。

演算処理時間検出部６６は、第１画像と第２画像とから、酸素飽和度演算により酸素飽和度画像「酸１」の生成に要した時間ｔ１を検出する。表示制御部５６は、演算処理時間ｔ１を利用し、「酸１」に利用した第２画像と同時刻に、同じ照明光において取得されている「通１」の表示時刻を、酸素飽和度画像「酸１」の生成に要した時間ｔ１分遅延させる処理（以下、遅延処理という）を行い、「通１*」とする。本実施形態では、演算処理時間検出部６６は、酸素飽和度画像の生成に要した時間を、その都度計測しているため、「通３」の表示時刻を、酸素飽和度画像「酸２」の生成に要した時間ｔ２分遅延させる処理を行い、「通３*」とする（図９（Ｄ）遅延）。そして、表示制御部５６は、酸素飽和度画像「酸１」と「通１*」とをほぼ同じ時刻に表示する表示方法（図９（Ｅ）表示方法）とする。なお、フレーム調整と遅延処理とは、本実施形態のように、フレーム調整を先に行い、遅延処理をその後に行ってもよいが、遅延処理を先に行い、フレーム調整をその後に行ってもよく、フレーム調整と遅延処理との順番は問わない。

表示制御部５６は、表示を遅延させた通常画像「通１*」および酸素飽和度画像「酸１」を、動き検出部５０の結果により表示方法を決定した後、これらの画像をモニタ１８上にフルカラーで表示可能な映像信号に変換する。動き検出部５０は、上記のとおり構成されており、被写体の相対的な動き量が、閾値より小さいか、閾値以上かの結果を検出する。なお、ここでの被写体の相対的な動き量は、酸素飽和度画像の生成に要した時間ｔ１における動きベクトルの和から求められる。閾値は、予め設定することができ、また、その場で変更することもできる。本実施形態では、時間ｔ１における動き量が閾値未満であったため、被写体が動いておらず、観察対象を詳細に観察していると判断し、表示制御部５６は、図９（Ｆ）に示すように、１つのモニタに、酸素飽和度画像「酸１」を大きな面積でメイン画像として表示し、表示を遅延させた通常画像「通１*」を小さな面積でサブ画像として、モニタ１８に表示する。なお、図９（Ｆ）には、酸素飽和度画像「酸１」と通常画像「通１*」とのペアを１組のみモニタ１８に表示しているが、同様の手順にしたがって、連続的に通常画像と酸素飽和度画像との別のペアが、モニタ１８に連続的に次々と表示される。したがって、「酸１」と「通１＊」とのペアが表示された後、「酸２」と「通３＊」とのペアが、時間ｔ２における動き量に従って表示される。なお、動き量にしたがって表示方法を決定する際には、動き量を算出する期間、算出の方法、閾値などを調整することにより、より見やすい表示方法に設定することができる。

フレーム調整部６８は、上記の調整１の他に、以下のフレーム調整２ないし４のフレーム調整を行ってもよい。

（１）フレーム調整２
フレーム調整部６８によるフレーム調整２（以下、調整２という）は、酸素飽和度画像に対し、単位時間に表示されるフレーム数を増加させる調整である。本実施形態では、演算画像は酸素飽和度画像であるため、１つの演算画像を生成するために２つの画像を使用する。調整２では、生成された１つの酸素飽和度画像を複製することにより２つの酸素飽和度画像とする調整が行われる。

具体的には、例えば、図１０に示すとおりである。図１０は、照明光の照射（図１０（Ａ）照明光）、取得された通常画像「通１」、「通２」、「通３」、「通４」と酸素飽和度画像「酸１」、「酸２」（図１０（Ｂ）画像、通常および演算）、フレーム調整部６８による調整２（図１０（Ｃ）フレーム調整２）、通常画像の遅延（図１０（Ｄ）遅延）、表示制御部５６により決定された表示方法（図１０（Ｅ）表示方法）、および表示（図１０（Ｆ）表示）の関連を、時間軸ｔに沿って示したものである。図１０では、ある期間に得られた画像ならびに時間の流れ等を模式的に示している。照明光については、上記の図９について説明したのと同様である。１つの酸素飽和度画像「酸１」を生成するために、第１測定用発光モードによる画像と第２測定用発光モードによる画像との２つの画像を使用する。調整２では、生成された１つの酸素飽和度画像「酸１」を複製して２つの酸素飽和度画像「酸１」を表示する処理を行う（図１０（Ｃ））。これにより、酸素飽和度画像は、フレーム数が増加されて、通常画像「通１」、「通２」とフレーム数が等しくなる。以上が、調整２の内容である。

演算処理時間検出部６６は、第１画像と第２画像とから、酸素飽和度演算により酸素飽和度画像「酸１」の生成に要した時間ｔ１を検出する。表示制御部５６は、演算処理時間ｔ１を利用し、「酸１」に利用した第２画像と同時刻に、同じ照明光において取得されている「通１」の表示時刻を、酸素飽和度画像「酸１」の生成に要した時間ｔ１分の遅延処理を行い、「通１*」とする。「通２」の表示時刻についても、上記の時間ｔ１分の遅延処理を行い、「通２*」とする。本実施形態では、演算処理時間検出部６６は、酸素飽和度画像の生成に要した時間を、その都度計測しているため、「通１」および「通２」の表示時刻を、酸素飽和度画像「酸１」の生成に要した時間ｔ１分遅延させる処理を行い、「通１*」および「通２*」とする（図１０（Ｄ）遅延）。

次に、表示制御部５６は、送られる通常画像、および演算画像生成部６４からの酸素飽和度画像を、動き検出部５０の結果により表示方法を変えて、モニタ１８上にフルカラーで表示可能な映像信号に変換する。動き検出部５０は、上記のとおり構成されており、被写体の相対的な動き量が、閾値より小さいか、閾値以上かの結果を検出し、表示制御部５６に送る。本実施形態では、動き量が閾値以上であったため、表示制御部５６は、図１０（Ｅ）に示すように、通常画像を大きい表示面積で、酸素飽和度画像を小さい表示面積で表示する方法とし、モニタ１８に表示される。なお、図１０（Ｆ）には、通常画像「通１*」と酸素飽和度画像「酸１」とのペアを１組のみモニタ１８に表示しているが、同様の手順にしたがって、連続的に通常画像と酸素飽和度画像との別のペアが、モニタ１８に連続的に次々と表示される。したがって、「通１＊」と「酸１」とのペアが表示された後、「通２＊」と「酸１」とのペアが、時間ｔ１における動き量に従って表示される。

例えば、酸素飽和度画像を生成する演算処理において、フレームレートが半分となる場合においては、調整２により、通常画像と酸素飽和度画像とのフレームレートがほぼ同一となり、通常画像のフレームレートを低下させない。したがって、通常画像のフレームレート低下による問題、例えば、特に被写体の相対的な動きが大きい場合に、画像の動きがスムーズでなく、内視鏡の位置を把握するのが難しい、といった問題が生じにくい。さらに、動きが大きい場合は、通常画像が大きい表示面積で表示されるため、内視鏡の位置を迅速に把握しやすくなる。

（２）フレーム調整３
フレーム調整部６８によるフレーム調整３（以下、調整３という）は、動き検出部５０により検出された、通常画像からの被写体の相対的な動きベクトルに基いて、演算画像の補間フレームを生成する調整である。本実施形態では、動き検出部５０は、上記したとおり、２フレーム間のある画素の空間的距離および方向を動きベクトルとして検出するため、特定期間の複数のフレームにおける上記の動きベクトルをたし合わせることにより、特定期間の被写体の相対的な動きベクトルが検出できる。この動きベクトルから求められる動き量が閾値以上である場合は、被写体の動きが大きいと判断し、酸素飽和度画像の補間フレームが作成される。補間フレームは、特定の酸素飽和度画像において、上記動きベクトルの分、移動した画像を作成する補完処理を行って、作成された画像である。一方、動きベクトルから求められる動き量が閾値より小さい場合は、被写体の動きは小さいと判断し、酸素飽和度画像の補間フレームは作成されない。閾値および補間フレームの作成枚数、すなわち、補間処理において、動き量と補間フレームの作成枚数との関係は、予め設定することもできるし、その場で変更することもできる。

具体的には、例えば、図１１に示すとおりである。図１１は、照明光の照射（図１１（Ａ）照明光）、取得された通常画像「通１」、「通２」、「通３」、「通４」と酸素飽和度画像「酸１」、「酸２」（図１１（Ｂ）画像、通常および演算）、フレーム調整部６８による調整３（図１１（Ｃ）フレーム調整３）、通常画像の遅延（図１１（Ｄ）遅延）、表示制御部５６により決定された表示方法（図１１（Ｅ）表示方法）、および表示（図１１（Ｆ）表示）の関連を、時間軸ｔに沿って示したものである。図１１では、ある期間に得られた画像ならびに時間の流れ等を模式的に示している。照明光については、上記の図９について説明したのと同様である。１つの酸素飽和度画像「酸１」を生成するために、第１測定用発光モードによる画像と第２測定用発光モードによる画像との２つの画像を使用する。調整３では、生成された１つの酸素飽和度画像「酸１」から、時間ｔ１における動きベクトルに基づいて、補間フレーム「酸１*」を生成して２つの酸素飽和度画像「酸１」および「酸１*」を表示する処理を行う（図１１（Ｃ））。以上が、調整３の内容である。

次に、表示制御部５６は、フレーム調整部６８から送られる通常画像、および演算画像生成部６４からの酸素飽和度画像を、動き検出部５０の結果により表示方法を変えて、モニタ１８上にフルカラーで表示可能な映像に変換する。演算処理時間検出部６６による遅延処理（図１１（Ｄ））、表示制御部５６による表示方法の決定（図１１（Ｅ））、およびモニタ１８による表示（図１１（Ｆ））については、上記した(１)フレーム調整２において説明したのと同様である。ただし、ここでは動き量が閾値未満の場合を示しており、表示制御部５６は、図１１（Ｆ）に示すように、酸素飽和度画像を大きい表示面積で、通常画像を小さい表示面積で表示する方法とし、モニタ１８に表示される。

処理３により、酸素飽和度画像「酸１」および「酸１*」が、通常画像「通１」、「通２」とフレーム数が等しくなる上に、「酸１」および「酸１*」の画像は、被写体の動きに従って、互いに異なる位置を示した画像となる。したがって、特に、被写体の動きが大きい場合に、通常画像のフレームレート低下による問題が生じにくいことに加えて、酸素飽和度画像のフレームレート低下による問題も生じにくい。したがって、通常画像に加え、酸素飽和度画像も動きがスムーズになり、両者を表示した場合に、違和感のない表示となる。

（３）フレーム調整４
フレーム調整部６８によるフレーム調整４（以下、調整４という）は、酸素飽和度画像の生成に要する画像のうちの１つに対して、少なくとも２回以上、演算処理に用いることにより、少なくとも２つの演算画像を生成するように演算画像生成部６４に指示する調整である。例えば、本実施形態では、演算画像は酸素飽和度画像であるため、１つの演算画像を生成するために、２種類の画像を１つずつ使用する。したがって、１種類の画像１つは、通常は一度使用される。本実施形態では、１種類の画像を、その前後に取得された他の種類の画像と使用して演算画像を生成する。これにより、演算画像の生成に要する時間が少なくなるため、通常画像と演算画像との両者の画像を見比べた場合の取得時間の差に関する違和感を少なくすることができる。

具体的には、例えば、図１２に示すとおりである。図１２は、照明光の照射（図１２（Ａ）照明光）、取得された通常画像と酸素飽和度画像（図１２（Ｂ）画像、通常および演算）、フレーム調整部６８による調整４（図１２（Ｃ）フレーム調整４）、通常画像の遅延（図１２（Ｄ）遅延）、表示方法（図１２（Ｅ）表示方法）、および表示（図１２(Ｆ）表示）の関連を、時間軸ｔに沿って説明した図である。照明光については、上記の図９について説明したのと同様である。通常画像は、第２測定用発光モードが発光された際の画像であり、通常画像生成部６２に入力される。画像「１」は、第１測定用発光モードが発光された際の画像「１」であり、演算画像生成部６４に入力され、本実施形態では、酸素飽和度が算出される（図４参照）。１つの酸素飽和度画像「酸１」を生成するために、２つの画像「１」と「２」とを使用する。次の酸素飽和度画像「酸２」を生成するために、２つの画像として、「３」と「４」ではなく、「２」と「３」とを使用する。このようにフレーム調整部６８により調整された、これらの酸素飽和度画像は、表示制御部５６（図２参照）に送られる。以上が、調整４の内容である。

演算処理時間検出部６６は、第１画像と第２画像とから、酸素飽和度演算により酸素飽和度画像「酸１」の生成に要した時間ｔ１を検出する。表示制御部５６は、演算処理時間ｔ１を利用し、「酸１」に利用した第２画像と同時刻に、同じ照明光において取得されている「通１」の表示時刻を、酸素飽和度画像「酸１」の生成に要した時間ｔ１の半分（ｔ１×１/２）の遅延処理を行い、「通１*」とする。「通２」は、「酸２」との取得時刻が近いと判断し、遅延処理を行わない。（図１２（Ｄ）遅延）。

次に、表示制御部５６は、フレーム調整部６８から送られる通常画像、および演算画像生成部６４からの酸素飽和度画像を、動き検出部５０の結果により表示方法を変えて、モニタ１８上にフルカラーで表示可能な映像に変換する。動き検出部５０は、上記のとおり構成されており、被写体の相対的な動き量が、閾値より小さいか、閾値以上かの結果を検出し、表示制御部５６に送る。本実施形態では、動き量が閾値以上であったたため、表示制御部５６は、図１２（Ｆ）に示すように、通常画像を大きく、酸素飽和度画像を小さく、表示する方法とし、モニタ１８に表示される。図１２（Ｆ）には、通常画像「通１*、２」と記載され、「通１*」および「通２」がモニタ１８に連続して表示されることを示す。同様に、酸素飽和度画像「酸１、２」と記載され、「酸１」および「酸２」がモニタ１８に連続して表示されることを示す。同様の手順にしたがって、連続的に通常画像と酸素飽和度画像との別のペアが、モニタ１８に連続的に次々と表示される。

フレーム調整部６８による調整４と、表示制御部５６による表示方法の決定により、通常画像と演算画像とにおけるフレームレートが異なることによる表示の違和感が解消し、表示方法が自動的に変更されるため、ユーザーは、内視鏡観察位置が把握しやすい上に、演算画像がより見やすくなる。

通常画像および酸素飽和度画像の表示方法としては、以下のような方法が好ましく用いることができる。図１３（Ａ）に示すように、表示制御部５６は、例えば、１つのモニタに通常画像８８と酸素飽和度画像８９との両者を表示する場合には、動き量が閾値以上の場合、通常画像８８を酸素飽和度画像８９より大きく、かつ、酸素飽和度画像８９を通常画像８８より小さく表示する表示方法とする。動き量が閾値以上の場合は、例えば、病変に注目しているのではなく、内視鏡が移動していると考え、より内視鏡の位置が把握しやすく、内視鏡を安全に移動し易い表示方法とする。

一方、図１３（Ｂ）に示すように、動き量が閾値より小さい場合、酸素飽和度画像８９を大きく、かつ、通常画像８８を酸素飽和度画像８９より小さく表示する表示方法とする。動き量が閾値より小さい場合は、例えば、被写体の一部分に存在する病変に注目していると考え、より酸素飽和度がひと目でわかりやすい表示方法とする。この場合は、内視鏡を多く移動することが少ないため、内視鏡の位置が把握しやすい通常画像８８が、酸素飽和度画像８９よりも小さく表示されていても、問題がない場合が多い。

なお、図１３（Ａ）と図１３（Ｂ）に示したような、通常画像８８と酸素飽和度画像８９とが異なる大きさでの表示は、動き検出部５０がリアルタイムで動き量を検出しているため、被写体の相対的な動き、例えば内視鏡の動きにより、自動的に切り替わる。なお、切替の頻度などは、予め設定により自由に調整可能である。また、モニタに表示される通常画像８８が、調整１によりフレームレートが小さくされている場合など、実際の内視鏡の位置とは異なった位置での通常画像が表示される場合があるが、元のフレームレートが十分に大きいため、フレームレートが半分とされても内視鏡操作に問題が生じるおそれは少ない。また、この実際の位置と表示の位置との差は、例えば、動き量が閾値より小さいときに解消されるので問題は少ない。また、例えば、マルチ観察モードを終了し、通常モードに切替えることが可能であるため、この差はこのようなユーザーの操作によっても解消することができる。

また、別の通常画像および酸素飽和度画像の表示方法としては、以下の方法も好ましい。例えば、通常画像と酸素飽和度画像とをそれぞれ１つのモニタに表示し、２つのモニタにより、通常画像と酸素飽和度画像とを見比べる場合に、図１４に示すように、動き検出部５０の結果により表示方法を変更する。図１４において、左側のモニタには、通常画像８８が表示され、右側のモニタには、酸素飽和度画像８９が表示される。それぞれのモニタ１８には、視線検知装置（一部図示なし）の一部であるカメラ８６が備えられている。視線検知装置は、カメラ８６により、人の目および視点Ｐを認識可能であるため、ユーザーが、右側と左側とのどちらのモニタ１８を見ているのかを検出可能である。また、視線検知装置は、視線移動検出部（図示なし）を備え、特定の視点Ｐの移動、例えば、右側のモニタ上の視点Ｐから左側のモニタ上の視点Ｐまでの視点Ｐの移動（図１４、Ｍ）に要した視線移動時間を検出することができる。

図１４に示すように、ユーザーの視点Ｐが、酸素飽和度画像８９を表示するモニタ１８から、通常画像８８を表示するモニタ１８に、移動（Ｍ）した場合、移動（Ｍ）の後、ユーザーが見る通常画像８８は、移動（Ｍ）にかかった時間ｔ３分、通常画像８８が時間的に進んだ画像のように感じる場合がある。特に、被写体の動き量が閾値以上である場合は、通常画像８８の進みは大きい。したがって、この場合は、通常画像は、遅延処理がされた画像を表示する。遅延処理については、上記したのと同様であり、通常画像を表示する際に、時間ｔ３の時間分、遅延処理を行う。図１４において、遅延処理が行われた通常画像９０を「通＊」と示す。一方、図１５に示すように、ユーザーの視点Ｐが、通常画像８８を表示するモニタ１８から、酸素飽和度画像８９を表示するモニタ１８に、移動（Ｍ）した場合は、上記のように、酸素飽和度画像８９が時間的に進んだ画像のように感じるおそれは少ないので、遅延処理は行わない。

また、別の通常画像および酸素飽和度画像の表示方法としては、以下の方法も好ましい
。表示制御部５６は、図１６に示すように、フレーム調整部６８が上記の調整１〜４のいずれか、またはこれらの組み合わせを行った後に、通常画像８８に酸素飽和度画像８９をオーバーレイしてモニタに表示する表示方法とすることができる。酸素飽和度画像８９は、図１６において網掛けにより示している。この表示方法では、動き量が閾値以上の場合は、演算画像が目立たない状態の表示方法とし、動き量が閾値より小さい場合は、演算画像を目立たせる状態とする。具体的には、例えば、動き量が閾値以上の場合は、オーバーレイされている演算画像の色の明度を高くして目立たない状態とする。一方、動き量が閾値より小さい場合は、演算画像の色の明度を低くして、より目立つ状態とする。なお、以上において、通常画像８８および酸素飽和度画像８９とは、それぞれフレーム調整が行われた後の画像であってもよいし、フレーム調整が行われない画像であってもよい。

以上のとおり、内視鏡システム１０は、演算処理時間検出部６６による演算処理時間および動き検出部５０による動き量に基づいて、フレーム調整部６８によりフレーム調整が行われることにより、また表示制御部５６により表示方法の決定が行われることにより、演算画像の遅延および被写体の動きによる違和感を軽減して表示することができる。したがって、通常画像と演算画像とを同時に表示しながらも、観察位置が把握しやすい内視鏡システムである。

［第２実施形態］
第２実施形態では、上記第１実施形態で示した５色のＬＥＤ２０ａ〜２０ｅの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーの撮像センサ３６に代えて、モノクロの撮像センサで観察対象の撮像を行う。観察モードは、通常モード、酸素飽和度モード、およびマルチ観察モードの３種類が設けられている。マルチ観察モードでは、通常モードおよび酸素飽和度モードを自動的に切替える。以下においては、主に第１実施形態と異なる部分のみ説明を行い、第１実施形態と同様の部分については説明を省略する。

図１７に示すように、第２実施形態の内視鏡システム１００では、光源装置１４において、５色のＬＥＤ２０ａ〜２０ｅに代えて、広帯域光源１０２、回転フィルタ１０４、フィルタ切替部１０５が設けられている。また、撮像光学系３０ｂには、カラーの撮像センサ３６の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ１０６が設けられている。

広帯域光源１０２はキセノンランプ、白色ＬＥＤなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ１０４は、最も内側に設けられた内側フィルタ１０８と、外側に設けられた外側フィルタ１０９とを備えている（図１８参照）。フィルタ切替部１０５は、回転フィルタ１０４を径方向に移動させるものである。モード切替ＳＷ１２ｆにより通常モードにセットしたときに、回転フィルタ１０４の内側フィルタ１０８を白色光の光路に挿入し、酸素飽和度モード、にセットしたときに、回転フィルタ１０４の外側フィルタ１０９を白色光の光路に挿入する。マルチ観察モードにセットしたときに、回転フィルタ１０４の外側フィルタ１０９を白色光の光路に挿入する。

図１８に示すように、内側フィルタ１０８には、周方向に沿って、白色光のうち第１青色光ＢＳを透過させるＢ１フィルタ１０８ａ、白色光のうち緑色光Ｇを透過させるＧフィルタ１０８ｂ、白色光のうち赤色光Ｒを透過させるＲフィルタ１０８ｃが設けられている。したがって、通常モード時には、回転フィルタ１０４が回転することで、第１青色光ＢＳ、緑色光Ｇ、赤色光Ｒが交互に観察対象に照射される。

外側フィルタ１０９には、周方向に沿って、白色光のうち第１青色光ＢＳを透過させるＢ１フィルタ１０９ａと、白色光のうち第２青色光ＢＬを透過させるＢ２フィルタ１０９ｂと、白色光のうち緑色光Ｇを透過させるＧフィルタ１０９ｃと、白色光のうち赤色光Ｒを透過させるＲフィルタ１０９ｄとが設けられている。したがって、酸素飽和度モード時には、回転フィルタ１０４が回転することで、第１青色光ＢＳ、第２青色光ＢＬ、緑色光Ｇ、赤色光Ｒが交互に観察対象に照射される。また、マルチ観察モード時には、回転フィルタ１０４が回転することで、第１青色光ＢＳ、第２青色光ＢＬ、緑色光Ｇ、赤色光Ｒが交互に観察対象に照射される。

内視鏡システム１００では、通常モード時には、第１青色光ＢＳ、緑色光Ｇ、赤色光Ｒで観察対象が照明される毎にモノクロの撮像センサ１０６で観察対象を撮像する。これにより、Ｂｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号が得られる。そして、それら３色の画像信号に基づいて、通常画像が生成される。

一方、酸素飽和度モード時には、第１青色光ＢＳ、第２青色光ＢＬ、緑色光Ｇ、赤色光Ｒで観察対象が照明される毎にモノクロの撮像センサ１０６で観察対象を撮像する。これにより、Ｂ２画像信号と、Ｂ１画像信号、Ｇ２画像信号、Ｒ２画像信号が得られる。これら４色の画像信号に基づいて、酸素飽和度画像の生成が行われる。また、マルチ観察モード時には、第１青色光ＢＳ、第２青色光ＢＬ、緑色光Ｇ、赤色光Ｒで観察対象が照明される毎にモノクロの撮像センサ１０６で観察対象を撮像する。これにより、Ｂ２画像信号と、Ｂ１画像信号、Ｇ２画像信号、Ｒ２画像信号が得られる。これらの４色の画像信号に基づいて、第１実施形態と同様の方法で、酸素飽和度画像の生成が行われる。また、これらのうち、Ｂ２画像信号、Ｇ２画像信号、Ｒ２画像信号にもとづいて、第１実施形態と同様の方法で、通常画像の生成が行われる。

［第３実施形態］
第３実施形態では、上記第１実施形態で示した５色のＬＥＤ２０ａ〜２０ｅの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。観察モードは、通常モード、酸素飽和度モード、およびマルチ観察モードの３種類が設けられている。マルチ観察モードでは、通常モードおよび酸素飽和度モードを自動的に切替える。以下においては、主に第１実施形態と異なる部分のみ説明を行い、第１実施形態と同様の部分については、説明を省略する。

図１９に示すように、第２実施形態の内視鏡システム２００では、光源装置１４の光源２０において、５色のＬＥＤ２０ａ〜２０ｅの代わりに、中心波長４４５±１０ｎｍの青色レーザ光を発する青色レーザ光源（「４４５ＬＤ」と表記。ＬＤは「Ｌａｓｅｒ Ｄｉｏｄｅ」を表す）２０４と、中心波長４７３±１０ｎｍの青緑色レーザ光を発する青緑色レーザ光源（「４７３ＬＤ」と表記）２０６とが設けられている。これら各光源２０４、２０６の半導体発光素子からの発光は、光源制御部２０８により個別に制御されている。

光源制御部２０８は、通常モードの場合には、青色レーザ光源２０４を点灯させる。これに対して、酸素飽和度モードの場合には、青色レーザ光源２０４と青緑色レーザ光源２０６を交互に点灯させる。マルチ観察モードの場合は、酸素飽和度モードと同様である。

なお、青色レーザ光又は青緑色レーザ光の半値幅は±１０ｎｍ程度にすることが好ましい。また、青色レーザ光源２０４及び青緑色レーザ光源２０６は、ブロードエリア型のＩｎＧａＮ系レーザダイオードが利用でき、また、ＩｎＧａＮＡｓ系レーザダイオードやＧａＮＡｓ系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。

照明光学系３０ａには、照明レンズ３２の他に、ライトガイド２５からの青色レーザ光又は青緑色レーザ光が入射する蛍光体２１０が設けられている。蛍光体２１０は、青色レーザ光によって励起され、蛍光を発する。また、青色レーザ光の一部は、蛍光体２１０を励起させることなく透過する。蛍光体２１０を出射した光は、照明レンズ３２を介して、観察対象の体内を照明する。

ここで、通常モードにおいては、主として青色レーザ光が蛍光体２１０に入射するため、図２０に示すような、青色レーザ光、及び青色レーザ光により蛍光体２１０から励起発光する蛍光を合波した広帯域光が、通常光として、観察対象に照明される。この通常光で照明された観察対象を撮像センサ３６で撮像することによって、Ｂｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号からなる通常画像が得られる。

一方、酸素飽和度モードおよびマルチ観察モードにおいては、青色レーザ光が蛍光体２１０に入射したときには、図２０に示す広帯域光が観察対象に照明される。一方、青緑色レーザ光が蛍光体２１０に入射したときには、青緑色レーザ光は蛍光体２１０にほとんど吸収されないため、図２１に示すように、青緑色レーザ光が観察対象にほぼそのまま照明される。

マルチ観察モードにおいては、青緑色レーザ光の照明中に撮像センサ３６のＢ画素から出力される信号が、上記第１実施形態のＢ１画像信号に対応する。また、広帯域光の照明中に撮像センサ３６のＢ画素から出力される信号が上記第１実施形態のＢ２画像信号に対応し、Ｇ画素から出力される信号が上記第１実施形態のＧ２画像信号に対応し、Ｒ画素から出力される信号が上記第１実施形態のＲ２画像信号に対応する。これらＢ１画像信号、Ｂ２画像信号、Ｇ２画像信号、Ｒ２画像信号に基づいて、酸素飽和度の算出が行われる。また、これらＢ２画像信号、Ｇ２画像信号、Ｒ２画像信号に基づいて、通常画像の生成行われる。

酸素飽和度モードにおいては、青緑色レーザ光の照明中に撮像センサ３６のＢ画素から出力される信号が、上記第１実施形態のＢ１画像信号に対応する。また、広帯域光の照明中に撮像センサ３６のＢ画素から出力される信号が上記第１実施形態のＢ２画像信号に対応し、Ｇ画素から出力される信号が上記第１実施形態のＧ２画像信号に対応し、Ｒ画素から出力される信号が上記第１実施形態のＲ２画像信号に対応する。これらＢ１画像信号、Ｂ２画像信号、Ｇ２画像信号、Ｒ２画像信号に基づいて、酸素飽和度の算出が行われる。

なお、蛍光体２１０は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体（例えばＹＫＧ系蛍光体、或いはＢＡＭ（ＢａＭｇＡｌ₁₀Ｏ₁₇）などの蛍光体）を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体２１０の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。

上記実施形態において、画像取得部４４、ＤＳＰ４６、ノイズ低減部４８、動き検出部５０、画像処理部５２、中央制御部５４，表示制御部５６など、プロセッサ装置１６に含まれる処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、ＧＰＵ（Graphical Processing Unit）各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡ、ＣＰＵとＦＰＧＡの組み合わせ、ＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

なお、本発明は、上記実施形態のような内視鏡システムに組み込まれるプロセッサ装置の他、カプセル型の内視鏡システムに組み込まれるプロセッサ装置、または各種の医用画像処理装置に対して適用することが可能である。

１０，１００，２００ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ モード切替ＳＷ
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ コンソール
２０ 光源
２０ａ Ｖ−ＬＥＤ
２０ｂ ＢＳ−ＬＥＤ
２０ｃ ＢＬ−ＬＥＤ
２０ｄ Ｇ−ＬＥＤ
２０ｅ Ｒ−ＬＥＤ
２１、２０８ 光源制御部
２３ 光路結合部
２５ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３２ 照明レンズ
３４ 対物レンズ
３６、１０６ 撮像センサ
３８ 撮像制御部
４０ ＣＤＳ・ＡＧＣ回路
４２ Ａ／Ｄコンバータ
４４ 画像取得部
４６ ＤＳＰ
４８ ノイズ低減部
５０ 動き検出部
５２ 画像処理部
５４ 中央制御部
５６ 表示制御部
５８ 動き検出回路
６０ ＣＰＵ
６２ 通常画像生成部
６４ 演算画像生成部
６６ 演算処理時間検出部
６８ フレーム調整部
７０ 信号比算出部
７２ 相関関係記憶部
７４ 酸素飽和度算出部
７６ 画像生成部
７８ 等値線
８０ 等値線
８２ グラフ
８４ グラフ
８６ カメラ
８８ 通常画像
８９ 酸素飽和度画像
９０ 遅延処理通常画像
１０２ 広帯域光源
１０４ 回転フィルタ
１０５ フィルタ切替部
１０８ 内側フィルタ
１０８ａ Ｂ１フィルタ
１０８ｂ Ｇフィルタ
１０８ｃ Ｒフィルタ
１０９ 外側フィルタ
１０９ａ Ｂ１フィルタ
１０９ｂ Ｂ２フィルタ
１０９ｃ Ｇフィルタ
１０９ｄ Ｒフィルタ
２０４ 青色レーザ光源
２０６ 青緑色レーザ光源
２１０ 蛍光体
Ｍ 視点の移動
Ｐ 視点
ｔ１、ｔ２、ｔ３ 時間

Claims (16)

1. 波長帯域が異なる複数の照明光を照射して被写体を撮像して得られる複数の画像を取得する画像取得部と、
   前記複数の画像のうち、少なくとも１つの画像に対して、演算処理を行うことにより演算画像を生成する演算画像生成部と、
   前記複数の画像のうち、少なくとも１つの画像に対して、前記演算処理を行わない通常画像を生成する通常画像生成部と、
   前記演算画像の生成に要した演算処理時間を検出する演算処理時間検出部と、
   前記被写体の相対的な動き量を検出する動き検出部と、
   前記通常画像および／または前記演算画像に対し、単位時間に表示されるフレーム数を変更するフレーム調整を行うフレーム調整部と、
   前記演算処理時間および前記動き量に基いて、前記フレーム調整が行われた前記通常画像と前記演算画像との表示方法を決定する表示制御部と、
   前記表示方法に従って、前記通常画像および前記演算画像を表示する表示部と、
   を備える内視鏡システム。
2. 前記表示方法は、前記通常画像を前記演算処理時間分遅延させて表示する方法である請求項１に記載の内視鏡システム。
3. 前記フレーム調整は、前記通常画像に対し、単位時間に表示されるフレーム数を減少させる処理である請求項１または２に記載の内視鏡システム。
4. 前記フレーム調整は、前記演算画像に対し、単位時間に表示されるフレーム数を増加させる処理である請求項１ないし３のいずれか１項に記載の内視鏡システム。
5. 前記フレーム調整は、前記演算画像を複製することにより、前記演算画像の単位時間に表示されるフレーム数を増加させる処理である請求項１ないし４のいずれか１項に記載の内視鏡システム。
6. 前記フレーム調整は、前記演算画像の単位時間に表示されるフレーム数と、前記通常画像の単位時間に表示されるフレーム数との差を小さくする処理である請求項１ないし５のいずれか１項に記載の内視鏡システム。
7. 前記動き検出部は、前記被写体の相対的な動きベクトルを検出し、
   前記フレーム調整は、前記動きベクトルに基いて、前記演算画像の補間フレームを生成する処理である請求項１ないし６のいずれか１項に記載の内視鏡システム。
8. 前記演算画像生成部は、前記複数の画像のうち、少なくとも１つの画像を２回以上、前記演算処理に用いることにより、少なくとも２つの前記演算画像を生成する請求項１ないし７のいずれか１項に記載の内視鏡システム。
9. 前記表示方法は、
   前記動き量が閾値以上の場合は、前記通常画像が前記演算画像以上の表示面積で、前記通常画像と前記演算画像とを表示し、
   前記動き量が前記閾値未満の場合は、前記演算画像が前記通常画像以上の表示面積で、前記通常画像と前記演算画像とを表示する方法である請求項１ないし８のいずれか１項に記載の内視鏡システム。
10. 前記表示部は、少なくとも１つのモニタである請求項１ないし９のいずれか１項に記載の内視鏡システム。
11. 前記表示方法は、前記通常画像に、前記演算画像を重ねて表示する方法である請求項１ないし１０のいずれか１項に記載の内視鏡システム。
12. 前記表示部は、少なくとも２つのモニタであり、
    前記モニタは、観察者の視線を検知する視線検知装置を備え、
    前記視線検知装置は、前記移動に要した視線移動時間を検出する視線移動検出部を備え、
    前記観察者の視線が、前記演算画像を表示する一方の前記モニタから前記通常画像を表示する他方の前記モニタへ移動した場合、
    前記表示制御部は、前記視線移動時間に基いて、前記演算画像と前記通常画像との表示方法を決定する請求項１ないし１１のいずれか１項に記載の内視鏡システム。
13. 前記表示方法は、前記通常画像を前記視線移動時間分遅延させて表示する方法である請求項１２に記載の内視鏡システム。
14. 前記演算処理は、酸素飽和度画像を生成するための演算処理である請求項１ないし１３のいずれか１項に記載の内視鏡システム。
15. 前記演算処理は、血管強調表示画像を生成するための演算処理である請求項１ないし１３のいずれか１項に記載の内視鏡システム。
16. 画像取得部が、波長帯域が異なる複数の照明光を照射して被写体を撮像して得られる複数の画像を取得するステップと、
    演算画像生成部が、前記複数の画像のうち、少なくとも１つの画像に対して、演算処理を行うことにより演算画像を生成するステップと、
    通常画像生成部が、前記複数の画像のうち、少なくとも１つの画像に対して、前記演算処理を行わない通常画像を生成するステップと、
    演算処理時間検出部が、前記演算画像の生成に要した演算処理時間を検出するステップと、
    動き検出部が、前記被写体の相対的な動き量を検出するステップと、
    フレーム調整部が、前記通常画像および／または前記演算画像に対し、単位時間に表示されるフレーム数を変更するフレーム調整を行うステップと、
    表示制御部が、前記演算処理時間および前記動き量に基いて、前記フレーム調整が行われた前記演算画像と前記通常画像との表示方法を決定するステップと、
    表示部が、前記表示方法に基いて、前記通常画像および前記演算画像を表示するステップと、
    を備える内視鏡システムの作動方法。

Images