JPWO2019093256A1 - 内視鏡システム及びその作動方法 - Google Patents

Abstract

複数種類の照明光により得られるブレ量の少ない画像を静止画として保存、表示することができる内視鏡システム及びその作動方法を提供する。画像処理部（６０）は、ブレ量算出部（７２）と、静止画保存制御部（７４）を有し、ブレ量算出部（７２）は、ブレ量算出処理部（７８）と、アルゴリズム切替部（８０）とを有する。アルゴリズム切替部（８０）は、画像毎に異なるアルゴリズムを適用し、ブレ量算出処理部（７８）において、ブレ量が少ない画像を選択する。ブレ量が少ない画像として選択された第１画像と第２画像とは、静止画保存部（７６）に保存される。表示制御部（６２）が、保存用静止画を表示する。

Description

本発明は、複数種類の照明光によるブレの少ない画像を効率的に表示することができる内視鏡システムに関する。

近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像素子で撮像して得られるＲＧＢ画像信号に基づいて、観察対象の画像をモニタ上に表示する。

また、内視鏡システムにおいては、診断目的に合わせて、観察対象に照射する照明光を切り替え、また、観察対象の画像に対する画像処理を切り替えることができるように、複数の観察モードが設けられている。これらの観察モードによる画像において、特に着目すべき部位などにおいては、静止画を取得することにより、診断のための資料などに用いられる。

これらの静止画を取得するにあたり、例えば、特許文献１では、通常観察画像、酸素飽和度画像及び血管強調画像などの観察モードの各静止画を、露光量をそれぞれ調節した上で取得する内視鏡システムが記載されている。また、特許文献２では、操作者がフリーズ指示を実行した時点の画像信号を、色ずれ最小の静止画像として出力させることができる画像フリーズ装置が記載されている。また、特許文献３では、内視鏡検査が終了した後、不足した静止画像を動画像データから補完できる内視鏡画像記録装置が開示されている。

特開２０１３−１８８３６４号公報 特開２００１−２１８２１７号公報 特開２０１２−７０９３８号公報

特許文献２に示すように、静止画を保存する場合には、色ずれやブレが少ない静止画を保存しておくことが求められる。また、複数の観察モードに対応した複数の観察モードの画像をそれぞれ静止画として保存しておく場合にも、各観察モードの画像について色ずれやブレ量を算出して、算出した色ずれ量が最も小さい画像を静止画として保存することが求められる。しかしながら、各観察モードで得られる画像は、それぞれ画像的特徴量が異なっている場合が多いことがあるため、各観察モードの画像に対して、同じような色ずれ算出処理やブレ算出処理を行う場合には、色ずれやブレ量を正確に算出することができない場合がある。

本発明は、複数の照明光を切り替えて照明し、各照明光に対応する画像を取得する場合において、各画像についてブレ量を正確に算出することによって、ブレ量が少ない画像を静止画として保存することができる内視鏡システム及びその作動方法を提供することを目的とする。

本発明の内視鏡システムは、複数の半導体光源と、光源制御部と、画像取得部と、静止画取得指示入力部と、ブレ量算出部と、静止画保存制御部とを備える。複数の半導体光源は、互いに異なる波長帯域の光を発光する。光源制御部は、複数の半導体光源のそれぞれが、第１の発光比率を有する第１照明光と、第１の発光比率と異なる第２の発光比率を有する第２照明光とを含む複数の照明光を、特定の発光順序及び発光期間により切替えて発光する制御を行う。画像取得部は、各照明光により照明された観察対象を撮像して複数の画像を取得する。複数の画像には第１照明光による第１画像及び第２照明光による第２画像が含まれる。静止画取得指示入力部は、各画像の保存用静止画を取得するための静止画取得指示を行う。ブレ量算出部は、静止画取得指示が行われたタイミングを含む特定の静止画取得指示期間に取得した複数の画像を対象としてブレ量を算出する。ブレ量を算出するためのブレ量算出処理は、画像毎に異なっている。静止画保存制御部は、ブレ量に関して特定の条件を満たす場合に、複数の画像を、保存用静止画として静止画保存部に保存する制御を行う。

各画像には複数色の分光画像が含まれ、ブレ量算出処理は、第１画像のうち第１色の分光画像から第１ブレ量を算出する第１ブレ量算出処理と、第２画像のうち第１色と異なる第２色の分光画像から第２ブレ量を算出する第２ブレ量算出処理とが含まれることが好ましい。

第１照明光は第２照明光よりも短波の光を多く含み、第１色は青色であり、第２色は緑色であることが好ましい。

特定の静止画取得指示期間においては、複数の画像は、画像セットとして取得され、静止画保存制御部は、特定の条件を満たす画像セットを、保存用静止画として保存することが好ましい。

特定の条件を満たす画像セットは、複数の画像セットのうち画像セットの各画像のブレ量を合計した代表ブレ量が最も小さい画像セットであることが好ましい。

静止画保存制御部は、特定の静止画取得指示期間に得られる複数の画像のうち、第１画像について最もブレ量が小さい第１画像と、第２画像について最もブレ量が小さい第２画像とを、それぞれ保存用静止画として保存することが好ましい。

複数の画像を、特定の表示順序及び／または表示時間を含む表示条件に従って、切り替えて表示部に表示する表示制御部を有し、静止画保存制御部は、保存用静止画に対して、表示条件を関連付けて保存することが好ましい。

また、本発明の内視鏡システムは、互いに異なる波長帯域の光を発光する複数の半導体光源と、複数の半導体光源のそれぞれが、第１の発光比率を有する第１照明光と、第１の発光比率と異なる第２の発光比率を有する第２照明光とを含む複数の照明光を、特定の発光順序及び発光期間により切替えて発光する制御を行う光源制御部と、各照明光により照明された観察対象を撮像して複数の画像を取得する画像取得部であり、複数の画像には第１照明光による第１画像及び第２照明光による第２画像が含まれる画像取得部と、特定期間に取得した複数の画像の動画を、一時保存動画として保存する動画保存部と、各画像の保存用静止画を取得するための静止画取得指示を行う静止画取得指示入力部と、静止画取得指示が行われたタイミングに取得された画像を含む一時保存動画を対象としてブレ量を算出するブレ量算出部であり、ブレ量を算出するためのブレ量算出処理は、画像毎に異なっているブレ量算出部と、ブレ量に関して特定の条件を満たす場合に、複数の画像を、保存用静止画として静止画保存部に保存する制御を行う静止画保存制御部と、を備える。

また、本発明の内視鏡システムは、互いに異なる波長帯域の光を発光する複数の半導体光源と、複数の半導体光源のそれぞれが、第１の発光比率を有する第１照明光と、第１の発光比率と異なる第２の発光比率を有する第２照明光とを含む複数の照明光を、特定の発光順序及び発光期間により切替えて発光する制御を行う光源制御部と、各照明光により照明された観察対象を撮像して複数の画像を取得する画像取得部であり、複数の画像には第１照明光による第１画像及び第２照明光による第２画像が含まれる画像取得部と、各画像の保存用静止画を取得するための静止画取得指示を行う静止画取得指示入力部と特定期間に取得した複数の画像を対象としてブレ量を算出するブレ量算出部であり、ブレ量を算出するためのブレ量算出処理は、画像毎に異なっているブレ量算出部と、ブレ量に関して特定の条件を満たす場合に、複数の画像を、一時保存用静止画として一時静止画保存部に保存する制御、及び、静止画取得指示に従い、一時保存用静止画を保存用静止画として静止画像保存部に保存する制御を行う静止画保存制御部と、を備える。

特定期間は、現時点から特定期間遡った時点までの期間であることが好ましい。

また、本発明の内視鏡システムの作動方法は、光源制御ステップと、画像取得ステップと、静止画取得指示ステップと、ブレ量算出ステップと、静止画保存ステップとを有する。光源制御ステップでは、光源制御部が、互いに異なる波長帯域の光を発光する複数の半導体光源のそれぞれが、第１の発光比率を有する第１照明光と、第１の発光比率と異なる第２の発光比率を有する第２照明光とを含む複数の照明光を、特定の発光順序及び発光期間により切替えて発光する制御を行。画像取得ステップは、画像取得部が、各照明光により照明された観察対象を撮像して複数の画像を取得するステップであり、複数の画像には第１照明光による第１画像及び第２照明光による第２画像が含まれる。静止画取得指示ステプでは、静止画取得指示入力部が、各画像の保存用静止画を取得するための静止画取得指示を行う。ブレ量算出ステップは、ブレ量算出部が、静止画取得指示が行われたタイミングを含む特定の静止画取得指示期間に取得した複数の画像を対象としてブレ量を算出するステップであり、ブレ量を算出するためのブレ量算出処理は、画像毎に異なっている。静止画保存ステップでは、静止画保存制御部が、ブレ量に関して特定の条件を満たす場合に、複数の画像を、保存用静止画として静止画保存部に保存する。

本発明によれば、複数の照明光を切り替えて照明し、各照明光に対応する画像を取得する場合において、各画像についてブレ量を正確に算出することによって、ブレ量が少ない画像を静止画として保存することができる。

内視鏡システムの外観図である。 内視鏡システムのブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの発光スペクトルを示すグラフである。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む第１照明光の発光スペクトルを示すグラフである。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む第２照明光の発光スペクトルを示すグラフである。 第１照明光の発光期間と第２照明光の発光期間を示す説明図である。 発光期間設定メニューを示す説明図である。 第１画像と第２画像との切替表示を示す説明図である。 静止画取得指示が行われた場合の情報の流れを示すブロック図である。 画像処理部と静止画保存部を示すブロック図である。 ブレ量算出部を示すブロック図である。 画像とブレ量算出のアルゴリズムとの関連を示す説明図である。 静止画取得指示とブレ量算出と静止画保存等との関連を示す説明図である。 画像処理部を示すブロック図である。 静止画取得指示とブレ量算出と静止画保存等との関連を示す説明図である。 ブレ量算出部を示すブロック図である。 静止画取得指示とブレ量算出と静止画保存等との関連を示す説明図である。

［第１実施形態］
図１に示すように、第１実施形態の内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、キーボード１９とを有する。内視鏡１２は光源装置１４と光学的に接続され、かつ、プロセッサ装置１６と電気的に接続される。内視鏡１２は、被検体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられる湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作に伴って、先端部１２ｄが所望の方向に向けられる。なお、キーボード１９は入力手段の一例であり、入力手段としては、図示したキーボードの他、マウスなど（図示せず）が含まれ、キーボード１９と同様、操作などの受け付け、変更、入力などを行う。

また、操作部１２ｂには、アングルノブ１２ｅの他、静止画取得指示ＳＷ１３ａ及びモード切替ＳＷ１３ｂが設けられている。静止画取得指示ＳＷ１３ａは、観察対象において注目領域などが存在した場合に、画像を静止画として保存するためのスコープスイッチであり、静止画取得指示入力部の一例である。

なお、画像を静止画として保存するための静止画取得指示入力部としては、静止画取得指示ＳＷ１３ａの他に、フットスイッチ（図示せず）を用いてもよい。また、本実施形態では、複数の照明光が自動的に切替えられるが、操作部１２ｂには、複数の照明光を手動で切替えるためのモード切替ＳＷ１３ｂが設けられている。ユーザーが診断に有効と思われる部位を検出した場合には、静止画取得指示ＳＷ１３ａとモード切替ＳＷ１３ｂを交互に操作することもできる。

本実施形態では、複数の照明光を用いた観察モードとして、マルチ観察モードが用いられる。マルチ観察モードは、互いに異なる波長帯域の2種類の照明光の発光に基づいて得られる第１画像と第２画像とを、自動的に切替えてモニタ１８に表示するモードである。第１画像は、表層血管（第１血管）を強調した画像である。第２画像は、深層血管（第２血管）を強調した画像である。これらの観察モードの他に、通常観察モードまたは他の観察モードも使用可能である。通常観察モードは、通常画像をモニタ１８上に表示するモードである。なお、観察モードの切替は、内視鏡の操作部１２ｂに設けられたモード切替ＳＷ１３ｂにより行われる。

プロセッサ装置１６は、モニタ１８及びキーボード１９と電気的に接続される。モニタ１８は、画像情報等を出力表示する。キーボード１９は、機能設定等の入力操作を受け付けるUI（User Interface：ユーザーインターフェース）として機能する。なお、プロセッサ装置１６には、画像情報等を記録する外付けの記録部（図示せず）を接続してもよい。

図２に示すように、光源装置１４は、光源部２０と、光源制御部２１と、発光期間設定部２２と、光路結合部２３とを有している。光源部２０は、互いに異なる複数の波長帯域の光の発光が可能となっている。なお、本明細書において、「互いに異なる複数の波長帯域の光」とは、複数の波長帯域が全く重ならないことを意味するものではなく、複数の波長帯域が一部重なっていてもよいことを意味する。光源部２０は、複数波長帯域の光を発するために、V-LED（Violet Light Emitting Diode）２０ａ、B-LED（Blue Light Emitting Diode）２０ｂ、G-LED（Green Light Emitting Diode）２０ｃ、R-LED（Red Light Emitting Diode）２０ｄを有している。なお、LEDの代わりに、LD（Laser Diode）を用いてもよい。

光源制御部２１は、ＬＥＤ２０ａ〜２０ｄの駆動を制御する。光路結合部２３は、４色のＬＥＤ２０ａ〜２０ｄから発せられる４色の光の光路を結合する。光路結合部２３で結合された光は、挿入部１２ａ内に挿通されたライトガイド４１及び照明レンズ４５を介して、被検体内に照射される。

図３に示すように、V-LED２０ａは、中心波長４０５±１０nm、波長範囲３８０〜４２０nmの紫色光Ｖを発生する。B-LED２０ｂは、中心波長４６０±１０nm、波長範囲４２０〜５００nmの青色光Ｂを発生する。G-LED２０ｃは、波長範囲が４８０〜６００nmに及ぶ緑色光Ｇを発生する。R-LED２０ｄは、中心波長６２０〜６３０nmで、波長範囲が６００〜６５０nmに及ぶ赤色光Ｒを発生する。

光源制御部２１は、いずれの観察モードにおいても、V-LED２０ａ、B-LED２０ｂ、G-LED２０ｃ、及びR-LED２０ｄを点灯する制御を行う。また、光源制御部２１は、通常観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる通常光を発光するように、各ＬＥＤ２０ａ〜２０ｄを制御する。なお、本明細書において、発光比率とは、各半導体光源の光強度比をいい、光強度比は０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、発光比率を有するものとする。

また、光源制御部２１は、マルチ観察モードにセットされている場合、表層血管を強調した第１血管を取得するために、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１となる第１照明光を発光する制御を行う。第１照明光は、表層血管を強調するために、４００ｎｍ以上４４０ｎｍ以下にピークを有することが好ましい。そのため、第１照明光は、図４に示すように、紫色光Ｖの光強度が、その他の青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光強度よりも大きくなるように、光強度比Ｖｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１が設定されている（Ｖｓ１＞Ｂｓ１、Ｇｓ１、Ｒｓ１）。また、第１照明光には、赤色光Ｒのような第１の赤色帯域を有しているため、粘膜の色を正確に再現することができる。さらに、第１照明光には、紫色光Ｖ、青色光Ｂ、緑色光Ｇのように第１の青色帯域及び第１の緑色帯域を有しているため、上記のような表層血管の他、腺管構造や凹凸など各種構造も強調することができる。

また、光源制御部２１は、マルチ観察モードの場合、深層血管を強調して第２画像を取得するために、第２観察モード時の発光比率としては、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２となる第２照明光を発光する制御を行う。第２照明光は、深層血管を強調するために、第１照明光に対して、４６０ｎｍ、５４０ｎｍ、または６３０ｎｍのうち少なくともいずれかの強度比を大きくすることが好ましい。

そのため、第２照明光は、図５に示すように、第１照明光における青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光量と比較して、緑色光Ｇ、または赤色光Ｒの光量が大きくなるように、光強度比Ｖｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２が設定されている。また、第２照明光には、赤色光Ｒのような第２の赤色帯域を有しているため、粘膜の色を正確に再現することができる。さらに、第２照明光には、紫色光Ｖ、青色光Ｂ、緑色光Ｇのように第２の青色帯域及び第２の緑色帯域を有しているため、上記のような深層血管の他、凹凸など各種構造も強調することができる。

光源制御部２１は、マルチ観察モードにセットされている場合、第１照明光と第２照明光とをそれぞれ２フレーム以上の発光期間にて発光し、かつ、第１照明光と第２照明光とを自動的に切り替えて発光する制御を行う。例えば、第１照明光の発光期間を２フレームとし、第２照明光の発光期間も２フレームとした場合には、図６に示すように、第１照明光が２フレーム続けて発光した後に、第２照明光も２フレーム続けて発光される。ここで、第１照明光の発光期間と第２照明光の発光期間は、少なくとも２フレーム以上の期間に設定されている。このように２フレーム以上の期間にするのは、光源装置１４における照明光の切替は直ぐに行われるものの、プロセッサ装置１６における画像処理の切替には少なくとも２フレーム以上を有するためである。加えて、照明光が切り替わることよって点滅が生ずる場合があるため、２フレーム以上の期間にすることによって、点滅による術者への負担を軽減する。なお、「フレーム」とは、観察対象を撮像する撮像センサ４８を制御するための単位をいい、例えば、「１フレーム」とは、観察対象からの光で撮像センサ４８を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間のことをいう。本実施形態においては、撮像の単位である「フレーム」に対応して発光期間が定められている。

第１照明光の発光期間と第２照明光の発光期間は、光源制御部２１に接続された発光期間設定部２４（図２参照）によって、適宜変更が可能である。キーボード１９の操作により、発光期間の変更操作を受け付けると、発光期間設定部２４は、図７に示す発光期間設定メニューをモニタ１８上に表示する。第１照明光の発光期間は、例えば、２フレームから１０フレームの間で変更可能である。各発光期間については、スライドバー２６ａ上に割り当てられている。

第１照明光の発光期間を変更する場合には、キーボード１９を操作して、スライドバー２６ａ上の変更したい発光期間を示す位置にスライダ２７ａを合わせることで、第１の照明光の発光期間が変更される。第２照明光の発光期間についても、キーボード１９を操作して、スライドバー２６ｂ（例えば、２フレームから１０フレームの発光期間が割り当てられている）上の変更したい発光期間を示す位置にスライダ２７ｂを合わせることで、第２の照明光の発光期間が変更される。複数の照明光の発光の順序は、照明光が２種類の場合は、第１照明光と第２照明光とが、交互に発光される。複数の照明光が３種類以上の場合は、各照明光の発光の順序は、任意に設定可能である。

図２に示すように、ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコード）内に内蔵されており、光路結合部２３で結合された光を内視鏡１２の先端部１２ｄまで伝搬する。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用することができる。

内視鏡１２の先端部１２ｄには、照明光学系３０aと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４５を有しており、この照明レンズ４５を介して、ライトガイド４１からの光が観察対象に照射される。撮像光学系３０ｂは、対物レンズ４６及び撮像センサ４８を有している。観察対象からの反射光は、対物レンズ４６を介して、撮像センサ４８に入射する。これにより、撮像センサ４８に観察対象の反射像が結像される。

撮像センサ４８はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ４８は、ＣＣＤ(Charge Coupled Device）撮像センサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）撮像センサ等であることが好ましい。本発明で用いられる撮像センサ４８は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３色のＲＧＢ画像信号を得るためのカラーの撮像センサ、即ち、Ｒフィルタが設けられたＲ画素、Ｇフィルタが設けられたＧ画素、Ｂフィルタが設けられたＢ画素を備えた、いわゆるＲＧＢ撮像センサである。

なお、撮像センサ４８としては、RGBのカラーの撮像センサの代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力されるため、補色−原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換する必要がある。また、撮像センサ４８はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部２１は青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。

撮像センサ４８から出力される画像信号は、ＣＤＳ・ＡＧＣ回路５０に送信される。ＣＤＳ・ＡＧＣ回路５０は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ・ＡＧＣ回路５０を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog /Digital）コンバータ）５２により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、プロセッサ装置１６に入力される。

プロセッサ装置１６は、内視鏡１２で得られた画像などの医用画像を処理する医用画像処理装置に対応している。このプロセッサ装置１６は、画像取得部５３と、ＤＳＰ（Digital Signal Processor）５６と、ノイズ除去部５８と、中央制御部６０と、画像処理部６２と、表示制御部６４とを備えている。画像取得部５３には、内視鏡１２からのデジタルのカラー画像信号が入力される。カラー画像信号は、撮像センサ４８のＲ画素から出力されるＲ画像信号と、撮像センサ４８のＧ画素から出力されるＧ画像信号と、撮像センサ４８のＢ画素から出力されるＢ画像信号とから構成されるＲＧＢ画像信号である。

ＤＳＰ５６は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、またはデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ４８の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたＲＧＢ画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後のＲＧＢ画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後のＲＧＢ画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のＲＧＢ画像信号には、デモザイク処理（等方化処理、同時化処理とも言う）が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。

ノイズ除去部５８は、ＤＳＰ５６でガンマ補正等が施されたＲＧＢ画像信号に対してノイズ除去処理（例えば移動平均法やメディアンフィルタ法等）を施すことによって、ＲＧＢ画像信号からノイズを除去する。ノイズが除去されたＲＧＢ画像信号は、画像処理部６０に送信される。

画像処理部６０は、ＲＧＢ画像信号に対して、各種の画像処理を行う。画像処理後のＲＧＢ画像信号は、表示制御部６２に送られる。画像処理部６０で行われる画像処理は、観察モード毎に異なっている。通常観察モードの場合には、通常観察モードに対応する通常観察モード用の画像処理がＲＧＢ画像信号に対して行われ、マルチ観察モードの場合には、マルチ観察モードに対応するマルチ観察モード用の画像処理がＲＧＢ画像信号に対して行われる。また、マルチ観察モードの場合には、静止画取得指示が行われた場合に、第１画像及び第２画像をセットで保存し、かつ、ブレ量に関して特定の条件を満たす場合に、第１画像及び第２画像を保存用静止画として保存するための処理が行われる。画像処理部６０の詳細、及び、マルチ観察モードにおける静止画取得指示時の処理については、後述する。

表示制御部６２は、画像処理が施されたＲＧＢ画像信号に基づいて、各観察モードに対応する画像をモニタ１８に表示する制御を行う。表示制御部６２は、通常観察モードの場合には、通常光の発光に基づいて得られる通常画像をモニタ１８に表示する制御を行う。表示制御部６２は、マルチ観察モードの場合には、第１照明光の発光に基づいて得られる第１画像と第２照明光の発光に基づいて得られる第２画像を、特定の表示順序または表示時間を含む表示条件に従って、切り替えてモニタ１８に表示する制御を行う。

例えば、特定の表示順序が「第１画像→第２画像」であり、特定の表示時間について、第１画像の表示時間が「２フレーム」、第２画像の表示時間が「２フレーム」である場合には、図８に示すように、２フレーム間隔で発光される第１照明光と第２照明光に合わせて、第１画像と第２画像とが２フレーム間隔で切り替えてモニタ１８に表示される。第１画像は、比較的細い表層血管が強調されて表示されており、第２画像は、比較的太い深層血管が強調されて表示されている。

中央制御部６８は、プロセッサ装置１６の各部の制御を行う。また、中央制御部６８は、内視鏡１２および光源装置１４からの情報を受信し、受信した情報に基いて、プロセッサ装置１６の各部の制御や、内視鏡１２または光源装置１４の制御を行う。また、キーボード１９からの指示などの情報も受信する。

例えば、図９に示すように、内視鏡１２において静止画取得指示ＳＷ１３ａが操作された場合には、静止画取得指示に関する情報が中央制御部６６に送信される。中央制御部６６は、画像処理部６０に静止画取得指示に関する情報を送る。画像処理部６０では、静止画取得指示に関する情報を用いて、静止画の保存制御を行う。本実施形態では、静止画取得指示に関する情報は、静止画取得指示が行われた時刻である。また、キーボード１９の操作によって設定される第１照明光と第２照明光の発光期間に関する情報は、プロセッサ装置１６内に入力され、かつ、プロセッサ装置１６を介して、光源装置１４に送られる。光源装置１４内の光源制御部は、プロセッサ装置１６からの発光期間に関する情報に基づいて光源制御を行う。

以下、画像処理部６０の詳細及びマルチ観察モードにおける静止画取得指示時の処理について説明する。図１０に示すように、画像処理部６０は、通常観察モード用画像処理部６８と、マルチ観察モード用画像処理部７０に加えて、ブレ量算出部７２と、静止画保存制御部７４を有する。通常観察モード用画像処理部６８は、ＲＧＢ画像信号に対して、通常観察モード用の画像処理を行う。この通常観察モード用の画像処理を行うことにより、通常画像が得られる。マルチ観察モード用画像処理部７０は、ＲＧＢ画像信号に対して、マルチ観察モード用の画像処理を行う。マルチ観察モード用の画像処理は、第１照明光の発光時に得られるＲＧＢ画像信号に対して行う第１照明光用の画像処理と、第２照明光の発光時に得られるＲＧＢ画像信号に対して行う第２照明光用の画像処理とを含む。第１照明光用の画像処理を行うことにより第１画像が得られ、第２照明光用の画像処理を行うことにより第２画像が得られる。なお、画像処理部６０で行う処理の負担を抑えるためには、通常観察モード用の画像処理、第１照明光用の画像処理、第２照明光用の画像処理は、色強調処理や構造強調処理などそれぞれ同じ種類の処理を行うことが好ましく、それらの処理で用いるパラメータ（色強調処理用のパラメータや構造強調処理用のパラメータ）のみを異なるようにすることが好ましい。

ブレ量算出部７２は、中央制御部６６から送られる静止画取得指示の信号に従い、ブレ量算出処理を行ってブレ量を算出する。静止画保存制御部７４は、また、ブレ量が特定の条件を満たす画像を保存用静止画として、静止画保存部７６に保存する制御を行う。なお、各種の画像処理では、観察モード毎に異なる条件で行われる画像処理の他、観察モードに関わらず同じ条件で行われる画像処理を行うこともできる。

図１１に示すように、ブレ量算出部７２は、ブレ量算出処理部７８とアルゴリズム切替部８０とを有する。ブレ量算出処理部７８は、静止画取得指示が行われた場合に、静止画取得指示のタイミングを含む特定の静止画取得指示期間Ｔｐに取得した複数の画像に対して、ブレ量を算出するブレ量算出処理を行う。本実施形態では、特定の静止画取得指示期間Ｔｐに得られる画像の全てに対して、ブレ量算出処理を行う。

なお、静止画取得指示期間Ｔｐ（図１３参照）は任意に設定できるが、一例として、本実施形態では、静止画取得指示のタイミングから、２フレーム分の第１画像と２フレーム分の第２画像の４フレーム分の画像セットを少なくとも４セット分、即ち１６フレーム分の画像を取得することができる期間とする。図１２に示すように、第１照明光による第１画像に対しては、第１ブレ量算出処理であるアルゴリズムＡ１によりブレ量算出処理が行われ、第２照明光による第２画像に対しては、第２ブレ量算出処理であるアルゴリズムＡ２によりブレ量算出処理が行われる。第１照明光による第１観察モードでの画像では、短波長の光で強調される対象である表層血管などが重要な構造物である。そこで、アルゴリズムＡ１は、第１画像のうち、短波長の光である紫色光Ｖや青色光Ｂの情報を多く含むＢ画像信号（青色の分光画像）を用いてブレ量算出を行うブレ量算出アルゴリズムとされている。また、第２照明光による第２観察モードでの画像では、中波長の光で強調される対象である深層血管などが重要な構造物である。そこで、アルゴリズムＡ２は、第２画像のうち、中波長の光である緑色光Ｇの情報を多く含むＧ画像信号（緑色の分光画像）を用いてブレ量算出を行うブレ量算出アルゴリズムとされている。したがって、それぞれの画像において重要な構造物が強調された色の分光画像についてブレ量算出を行うことにより、ブレ量を正確に算出することができる。

第１及び第２ブレ量算出処理は、用いる分光画像が異なる以外のアルゴリズムは、同じものとされている。ブレ量は、画像のブレの方向及び大きさを持つベクトル量であることが好ましい。算出したブレ量は画像と関連付けられ、ブレ量をもとに保存用静止画として保存される静止画が選択される。

なお、ブレ量の算出方法としては、主として、画像解析に基づく方法と撮像センサ４８に基づく方法があるが、本実施形態では、画像解析に基づく方法を採用している。画像解析に基づく方法としては、画像における複数の領域のそれぞれについて点拡がり関数（ＰＳＦ（Point Spread Function））を推定し、その点拡がり関数からブレの方向及び大きさを高精度に推定する方法がある（特許５４９９０５０号公報参照）。また、ブレの中でも、内視鏡１２を直線的に操作したときに生ずる手ぶれ画像については、周波数空間上でシンク関数を畳み込んだパワースペクトルとして表れることが知られている。このような手ぶれ画像が多く発生するような状況下では、画像信号を周波数領域の画像に変換し、その周波数領域の画像において手ぶれ方向に表れるシンク関数の影響の度合いに基づいてブレ量を検出することが好ましい（特開２００９−２３０５９８号公報参照）。また、画像信号から移動ベクトルを検出し、移動ベクトルを元に画像ブレ量を検出する方法がある（特開平３−１６４７０号公報参照）。また、コントラストを算出し、コントラストが大きいものをブレ量が少ないものとして検出する方法も好ましく用いられる。

アルゴリズム切替部８０は、画像が取得された際の観察モード毎に、ブレ量算出処理のアルゴリズムを切替える。つまり、ブレ量を算出する対象である画像が取得された際の観察モードにより、異なったブレ量算出処理を行う。

アルゴリズム切替部８０には、中央制御部６６から、発光期間設定部２２の発光期間に関する情報及び静止画取得指示が送られるため、静止画取得指示の時刻の情報も送られる。したがって、アルゴリズム切替部８０は、静止画取得指示が行われた場合、静止画取得指示の時刻（タイミング）を含む特定の静止画取得指示期間Ｔｐに取得した複数の画像が、どの観察モードによる取得された画像か、静止画取得指示の時刻と発光期間の情報とにより判別することができる。なお、取得した画像自体に、その画像が取得された時刻の情報を付加情報としてとして持たせた場合には、アルゴリズム切替部８０は、各画像から、その画像が取得された時刻を認識することもできる。

上記のように構成されているため、アルゴリズム切替部８０は、各画像が取得された観察モード毎にブレ量算出処理のアルゴリズムを正しく切替えることが可能である。即ち、アルゴリズム切替部８０は、静止画取得指示期間Ｔｐにおいて、第１画像の取得時にはブレ量算出処理をアルゴリズムＡ１に切り替え、第２画像の取得時にはブレ量算出処理をアルゴリズムＡ２に切り替える処理を行う。そして、ブレ量算出を行う場合、ブレ量算出部７２を含むプロセッサ装置１６が内視鏡１２及び光源装置１４を過度に制御することがなく、光源装置１４は光源装置１４自体のパラメータにより、また、ブレ量算出部７２もブレ量算出部７２自体のパラメータにより、それぞれ処理が可能である。したがって、システムへの負荷を抑えたブレ量算出が可能である。

静止画保存制御部７４は、本実施形態では、特定の静止画取得指示期間Ｔｐに得られる画像セットのうち画像毎にブレ量を算出し、算出した画像毎のブレ量を合計して代表ブレ量として算出する。そして、静止画保存制御部７４は、特定の静止画取得指示期間に得られる画像セットのうち、代表ブレ量が最も小さい画像セットを、特定の条件を満たす画像セットとして選択し、この選択した画像セットを保存用静止画として静止画保存部７６に保存する。また、保存用静止画を静止画保存部７６に保存する際には、静止画保存制御部７４は、保存用静止画を、表示順序や表示時間を含む表示条件と関連付けて静止画保存部７６に保存する。

これにより、内視鏡診断後に行う再生モードにおいて、静止画保存部７６に保存した保存用静止画を、診断中と同様の表示条件に従って、表示することが可能となる。例えば、表示条件が、第１画像と第２画像を２フレーム間隔で切り替えて表示する場合であれば、保存用静止画についても、第１画像と第２画像を２フレーム間隔で切り替えて表示することが可能となる。なお、再生モードへの切替はキーボード１９により行うことができる。また、静止画保存部７６に保存した保存用静止画と表示条件を、内視鏡システム１０とは別の医療用コンピューターに送信し、この医療用コンピューターにおいて、保存用静止画を表示条件に従って再生するようにしてもよい。この場合には、医療用コンピューターには、保存用静止画を再生するための内視鏡画像再生プログラムがインストールされている。なお、上記特定の条件は、任意に設定可能であり、例えば、あらかじめ閾値を設定しておき、ブレ量が閾値より小さいものをすべて保存してもよい。

静止画保存制御部７６による静止画の保存制御について、図１３を用いて説明する。静止画取得指示がタイミングＴ１で行われると、タイミングＴ１からタイミングＴｎ（ｎは２以上の自然数）までの期間Ｔｐが特定の静止画取得指示期間Ｔｐとして設定される。特定の静止画取得指示期間Ｔｐは、上記したように、４セット分の画像セット（１の画像セットは４フレーム分の画像からなる）、即ち１６フレーム分の画像を取得することができる期間である。したがって、特定の静止画取得指示期間Ｔｐは、タイミングＴ１からＴ１６までとなる。

特定の静止画取得指示期間Ｔｐにおいても、第１照明光Ｌ１と第２照明光Ｌ２とが、２フレーム間隔で、切り替えて発光される。また、２フレーム分の第１照明光の発光に合わせて、２フレーム分の第１画像Ｐ１が得られ、その第１照明光の後に発光される２フレーム分の第２照明光の発光に合わせて、２フレーム分の第２画像Ｐ２が得られる。これら２フレーム分の第１画像の取得と２フレーム分の第２画像の取得とは、交互に行われる。したがって、タイミングＴ１からＴ４においては、タイミングＴ１、Ｔ２に得られた第１画像Ｐ１とタイミングＴ３、Ｔ４に得られた第２画像Ｐ２とからなる画像セットＳ１が得られる。同様にして、タイミングＴ５からＴ８においては、タイミングＴ５、Ｔ６に得られた第１画像Ｐ１とタイミングＴ７、Ｔ８に得られた第２画像Ｐ２とからなる画像セットＳ２が得られる。また、タイミングＴ９、Ｔ１０に得られた第１画像Ｐ１とタイミングＴ１１、Ｔ１２に得られた第２画像Ｐ２とからなる画像セットＳ３が得られる。また、タイミングＴ１３、Ｔ１４に得られた第１画像Ｐ１とタイミングＴ１５、Ｔ１６に得られた第２画像Ｐ２とからなる画像セットＳ４が得られる。

そして、各画像セットの画像毎に対して、ブレ量算出処理が施される。このブレ量算出処理においては、第１画像に対してはアルゴリズムＡ１が適用され、第２画像に対してはアルゴリズムＡ２が適用される。画像セットＳ１の場合であれば、タイミングＴ１、Ｔ２の第１画像Ｐ１に対してはアルゴリズムＡ１が適用されて、タイミングＴ１、Ｔ２のブレ量Ｂｘ１、Ｂｘ２が算出される。一方、タイミングＴ３、Ｔ４の第２画像Ｐ２に対してはアルゴリズムＡ２が適用されて、タイミングＴ３、Ｔ４のブレ量Ｂｙ３、Ｂｙ４が算出される。同様にして、画像セットＳ２の画像毎に対してブレ量算出処理を行うことにより、ブレ量Ｂｘ５、Ｂｘ６、Ｂｙ７，Ｂｙ８が算出される。また、画像セットＳ３の画像に対してブレ量算出処理を行うことにより、ブレ量Ｂｘ９、Ｂｘ１０、Ｂｙ１１，Ｂｙ１２が算出される。また、画像セットＳ４の画像に対してブレ量算出処理を行うことにより、ブレ量Ｂｘ１３、Ｂｘ１４、Ｂｙ１５，Ｂｙ１６が算出される。

次に、画像セット毎に算出したブレ量を合計して、代表ブレ量を算出する。画像セットＳ１の場合であれば、ブレ量Ｂｘ１、Ｂｘ２、Ｂｙ３、Ｂｙ４を合計して、代表ブレ量ＢＴ１を得る。同様にして、画像セットＳ２の場合であれば、ブレ量Ｂｘ５、Ｂｘ６、Ｂｙ７、Ｂｙ８を合計して、代表ブレ量ＢＴ２を得る。また、画像セットＳ３の場合であれば、ブレ量Ｂｘ９、Ｂｘ１０、Ｂｙ１１、Ｂｙ１２を合計して、代表ブレ量ＢＴ３を得る。また、画像セットＳ４の場合であれば、ブレ量Ｂｘ１３、Ｂｘ１４、Ｂｙ１５、Ｂｙ１６を合計して、代表ブレ量ＢＴ４を得る。

そして、画像セットＳ１〜Ｓ４のうち、代表ブレ量が最も小さい画像セットを、保存用静止画として選択する。例えば、代表ブレ量ＢＴ２が最も小さい場合（ＢＴ２＜ＢＴ１、ＢＴ３、ＢＴ４）には、タイミングＴ５、Ｔ６の第１画像とタイミングＴ７、Ｔ８の第２画像からなる画像セットＳ２が、保存用静止画として選択される。

なお、本実施形態では、静止画保存制御部７４は、画像セット単位でブレ量（代表ブレ量）を算出し、代表ブレ量が最も小さい画像セットを保存用静止画として選択しているが、この方法には限られない。例えば、特定の静止画取得指示期間Ｔｐに得られる複数の画像のうち、第１画像について最もブレ量が小さい第１画像と、第２画像について最もブレ量が小さい第２画像とを、それぞれ保存用静止画として選択するようにしてもよい。

［第２実施形態］
第１実施形態では、静止画取得指示があった後に得られる画像を対象として、ブレ量算出及び保存用静止画の保存が行われたが、第２実施形態では、あらかじめ特定期間の間に得られた複数の画像の動画である一時保存動画を対象に、ブレ量算出及び保存用静止画の保存が行われる。すなわち、第１実施形態では、静止画取得指示があった後に得られる画像を、ブレ量算出及び保存用静止画の保存の対象とするが、第２実施形態では、静止画取得指示がある前に得られる画像を、ブレ量算出及び保存用静止画の保存の対象とする。第２実施形態は、上記以外については第１実施形態と同様であり、図１４及び図１５において、図１〜１３と同じ符号を付す装置等は、第１実施形態にて説明したとおりであるので説明を略す。

図１４に示すよう、本実施形態における画像処理部６０は、通常観察モード用画像処理部６８と、マルチ観察モード用画像処理部７０と、ブレ量算出部７２と、静止画保存制御部７４に加えて、動画一時保存部８２を有する。動画一時保存部８２は、設定に従い、常に現時点から遡った特定期間に得られた画像の動画を保存し、自動的に保存した動画を更新している。保存、更新の方法は、どのような方法も採用できるが、本実施形態では、特定の時間の間隔で、特定期間（動画一時保存期間Ｔｑ）の動画を一定の複数個保存し、新しい動画が保存されると、最も古い時刻から取得された動画を削除する方法としている。そして、静止画取得指示が行われると、その時刻を含む動画のうち最も新しい動画の１つを選択して、この動画に含まれる各フレームに対して、ブレ量算出を行う。したがって、本実施形態では、静止画取得指示の時刻を含む動画一時保存期間Ｔｑのうち、最新の時刻を含むものが、静止画取得指示期間となる。

本実施形態におけるブレ量算出の対象について、図１５を用いて説明する。静止画取得指示がタイミングＴ４０で行われると、タイミングＴ４０が含まれる動画一時保存期間Ｔｑに取得された一時保存動画が、ブレ量を算出する対象として設定される。特定期間である動画一時保存期間Ｔｑは、４セット分の画像セット（１の画像セットは４フレーム分の画像からなる）、即ち、タイミングＴ３９から遡って、１６フレーム分の画像を取得することができる期間である。したがって、特定期間である動画一時保存期間Ｔｑに含まれる画像取得のタイミングは、タイミングＴ３９からＴ２４までとなる。

第１実施形態と同様に、特定期間の動画一時保存期間Ｔｑにおいても、第１照明光Ｌ１と第２照明光Ｌ２とが、２フレーム間隔で、切り替えて発光される。また、２フレーム分の第１照明光の発光に合わせて、２フレーム分の第１画像Ｐ１が得られ、その第１照明光の後に発光される２フレーム分の第２照明光の発光に合わせて、２フレーム分の第２画像Ｐ２が得られる。これら２フレーム分の第１画像の取得と２フレーム分の第２画像の取得とは、交互に行われる。したがって、タイミングＴ３９からＴ３６においては、タイミングＴ３８、Ｔ３９に得られた第２画像Ｐ２とタイミングＴ３６、Ｔ３７に得られた第１画像Ｐ１とからなる画像セットＳ８が得られる。同様にして、タイミングＴ３５からＴ３２においては、タイミングＴ３４、Ｔ３５に得られた第２画像Ｐ２とタイミングＴ３２、Ｔ３３に得られた第１画像Ｐ１とからなる画像セットＳ７が得られる。また、タイミングＴ３０、Ｔ３１に得られた第２画像Ｐ２とタイミングＴ２８、Ｔ２９に得られた第１画像Ｐ１とからなる画像セットＳ６が得られる。また、タイミングＴ２６、Ｔ２７に得られた第２画像Ｐ２とタイミングＴ２４、Ｔ２５に得られた第１画像Ｐ１とからなる画像セットＳ５が得られる。

そして、各画像セットの画像毎に対して、ブレ量算出処理が施される。このブレ量算出処理においては、第１画像に対してはアルゴリズムＡ１が適用され、第２画像に対してはアルゴリズムＡ２が適用される。画像セットＳ８の場合であれば、タイミングＴ３８、Ｔ３９の第２画像Ｐ２に対してはアルゴリズムＡ２が適用されて、タイミングＴ３８、Ｔ３９のブレ量Ｂｙ２、Ｂｙ１が算出される。一方、タイミングＴ３６、Ｔ３７の第１画像Ｐ１に対してはアルゴリズムＡ１が適用されて、タイミングＴ３６、Ｔ３７のブレ量Ｂｘ４、Ｂｘ３が算出される。同様にして、画像セットＳ７の画像毎に対してブレ量算出処理を行うことにより、ブレ量Ｂｙ５、Ｂｙ６、Ｂｘ７，Ｂｘ８が算出される。また、画像セットＳ６の画像に対してブレ量算出処理を行うことにより、ブレ量Ｂｙ９、Ｂｙ１０、Ｂｘ１１，Ｂｘ１２が算出される。また、画像セットＳ５の画像に対してブレ量算出処理を行うことにより、ブレ量Ｂｙ１３、Ｂｙ１４、Ｂｘ１５，Ｂｘ１６が算出される。

次に、画像セット毎に算出したブレ量を合計して、代表ブレ量を算出する。画像セットＳ８の場合であれば、ブレ量Ｂｙ１、Ｂｙ２、Ｂｘ３、Ｂｘ４を合計して、代表ブレ量ＢＴ４を得る。同様にして、画像セットＳ７の場合であれば、ブレ量Ｂｙ５、Ｂｙ６、Ｂｘ７、Ｂｘ８を合計して、代表ブレ量ＢＴ３を得る。また、画像セットＳ６の場合であれば、ブレ量Ｂｙ９、Ｂｙ１０、Ｂｘ１１、Ｂｘ１２を合計して、代表ブレ量ＢＴ２を得る。また、画像セットＳ５の場合であれば、ブレ量Ｂｙ１３、Ｂｙ１４、Ｂｘ１５、Ｂｘ１６を合計して、代表ブレ量ＢＴ１を得る。

そして、画像セットＳ１〜Ｓ４のうち、代表ブレ量が最も小さい画像セットを、保存用静止画として選択する。例えば、代表ブレ量ＢＴ２が最も小さい場合（ＢＴ２＜ＢＴ１、ＢＴ３、ＢＴ４）には、タイミングＴ３０、Ｔ３１の第２画像とタイミングＴ２８、Ｔ２９の第１画像からなる画像セットＳ６が、保存用静止画として選択される。

なお、本実施形態では、静止画保存制御部７４は、画像セット単位でブレ量（代表ブレ量）を算出し、代表ブレ量が最も小さい画像セットを保存用静止画として選択しているが、この方法には限られない。例えば、特定の静止画取得指示期間に得られる複数の画像のうち、第１画像について最もブレ量が小さい第１画像と、第２画像について最もブレ量が小さい第２画像とを、それぞれ保存用静止画として選択するようにしてもよい。

本実施形態は、静止画取得指示を行った時刻から過去に取得された画像を対象として、保存用静止画を選択するように構成されているため、ユーザーが画像を実際に確認した直後に、遡った時点の静止画を取得することができる。したがって、ユーザーは、静止画を取得するために観察位置を戻る必要がないため、効率的である。

［第３実施形態］
第１実施形態及び第２実施形態では、静止画取得指示があった後にブレ量算出が始められたが、第３実施形態では、あらかじめ、特定期間に取得した複数画像を対象として、ブレ量を算出する。そして、ブレ量が少ない画像を一時保存用静止画として一時静止画保存部８４に保存しておき、静止画取得指示があった場合、一時保存用静止画のうち、静止画取得指示の時刻および最新の時刻を含む静止画取得指示期間Ｔｒに取得された一時保存用静止画を、保存用静止画として静止画保存部７６に送る。すなわち、第１実施形態及び第２実施形態では、静止画取得指示があった後にブレ量を算出したが、第３実施形態では、静止画取得指示がある前にブレ量を算出し、ブレ量の少ない画像を選択し、保存しておく。第３実施形態は、上記以外については第１実施形態と同様であり、図１６及び図１７において、図１〜１５と同じ符号を付す装置等は、第１実施形態にて説明したとおりであるので説明を略す。

図１６に示すように、本実施形態における画像処理部６０は、通常観察モード用画像処理部６８と、マルチ観察モード用画像処理部７０と、ブレ量算出部７２と、静止画保存制御部７４に加え、一時静止画保存部８４を有する。本実施形態においては、設定に従い、常に現時点から遡った特定期間に得られた画像に対して、ブレ量算出処理を行っている。ブレ量算出の方法については、第１実施形態または第２実施形態と同様である。したがって、上記特定期間に取得された画像を１グループとして、これらに対し、観察モード毎に異なるパラメータにより、ブレ量が算出され、算出されたブレ量が比較され、ブレ量が少ない画像のセットが、一時静止画保存部８４に保存されている。一時静止画保存部８４には、ブレ量が少ない画像セットである一時保存用静止画が、一定の複数個保存されており、自動的に保存した画像を更新している。保存、更新の方法は、どのような方法も採用できるが、本実施形態では、特定の時間の間隔で、上記特定期間に取得された一時保存用静止画を一定の複数個保存し、新しい一時保存用静止画が保存されると、最も古い時刻に取得された一時保存用静止画を削除する方法としている。そして、静止画取得指示が行われると、一時保存用静止画のうち、静止画取得指示の時刻および最新の時刻を含む静止画取得指示期間Ｔｒに取得された一時保存用静止画を選択して、これを保存用静止画として、静止画保存部７６に送る。

本実施形態におけるブレ量算出の対象について、図１７を用いて説明する。静止画取得指示がタイミングＴ６０で行われると、一時静止画保存部８４に保存されている一時保存用静止画のうち、静止画取得指示の時刻であるタイミングＴ６０および最新の時刻を含む静止画取得指示期間Ｔｒに取得された一時保存用静止画が選択される。タイミングＴ５９からタイミングＴｎ（ｎは２以上の自然数）までの期間が静止画取得指示期間Ｔｒである。静止画取得指示期間Ｔｒは、４セット分の画像セット（１の画像セットは４フレーム分の画像からなる）、即ち１６フレーム分の画像を取得することができる期間である。したがって、静止画取得指示期間Ｔｒは、タイミングＴ５９からＴ４４までとなる。

以下、第１実施形態と同様に、静止画取得指示期間Ｔｒにおいても、第１照明光Ｌ１と第２照明光Ｌ２とが、２フレーム間隔で、切り替えて発光される。また、２フレーム分の第１照明光の発光に合わせて、２フレーム分の第１画像Ｐ１が得られ、その第１照明光の後に発光される２フレーム分の第２照明光の発光に合わせて、２フレーム分の第２画像Ｐ２が得られる。これら２フレーム分の第１画像の取得と２フレーム分の第２画像の取得とは、交互に行われる。したがって、タイミングＴ５９からＴ５６においては、タイミングＴ５８、Ｔ５９に得られた第２画像Ｐ２とタイミングＴ５６、Ｔ５７に得られた第１画像Ｐ１とからなる画像セットＳ１２が得られる。同様にして、タイミングＴ５５からＴ５２においては、タイミングＴ５４、Ｔ５５に得られた第２画像Ｐ２とタイミングＴ５２、Ｔ５３に得られた第１画像Ｐ１とからなる画像セットＳ１１が得られる。また、タイミングＴ５０、Ｔ５１に得られた第２画像Ｐ２とタイミングＴ４８、Ｔ４９に得られた第１画像Ｐ１とからなる画像セットＳ１０が得られる。また、タイミングＴ４６、Ｔ４７に得られた第２画像Ｐ２とタイミングＴ４４、Ｔ４５に得られた第１画像Ｐ１とからなる画像セットＳ９が得られる。

そして、各画像セットの画像毎に対して、ブレ量算出処理が施される。このブレ量算出処理においては、第１画像に対してはアルゴリズムＡ１が適用され、第２画像に対してはアルゴリズムＡ２が適用される。画像セットＳ１２の場合であれば、タイミングＴ５８、Ｔ５９の第２画像Ｐ２に対してはアルゴリズムＡ２が適用されて、タイミングＴ５８、Ｔ５９のブレ量Ｂｙ１、Ｂｙ２が算出される。一方、タイミングＴ５６、Ｔ５７の第１画像Ｐ１に対してはアルゴリズムＡ１が適用されて、タイミングＴ５６、Ｔ５７のブレ量Ｂｘ３、Ｂｘ４が算出される。同様にして、画像セットＳ１１の画像毎に対してブレ量算出処理を行うことにより、ブレ量Ｂｙ５、Ｂｙ６、Ｂｘ７，Ｂｘ８が算出される。また、画像セットＳ１０の画像に対してブレ量算出処理を行うことにより、ブレ量Ｂｙ９、Ｂｙ１０、Ｂｘ１１，Ｂｘ１２が算出される。また、画像セットＳ９の画像に対してブレ量算出処理を行うことにより、ブレ量Ｂｙ１３、Ｂｙ１４、Ｂｘ１５，Ｂｘ１６が算出される。

次に、画像セット毎に算出したブレ量を合計して、代表ブレ量を算出する。画像セットＳ１２の場合であれば、ブレ量Ｂｙ１、Ｂｙ２、Ｂｘ３、Ｂｘ４を合計して、代表ブレ量ＢＴ４を得る。同様にして、画像セットＳ１１の場合であれば、ブレ量Ｂｙ５、Ｂｙ６、Ｂｘ７、Ｂｘ８を合計して、代表ブレ量ＢＴ３を得る。また、画像セットＳ１０の場合であれば、ブレ量Ｂｙ９、Ｂｙ１０、Ｂｘ１１、Ｂｘ１２を合計して、代表ブレ量ＢＴ２を得る。また、画像セットＳ９の場合であれば、ブレ量Ｂｙ１３、Ｂｙ１４、Ｂｘ１５、Ｂｘ１６を合計して、代表ブレ量ＢＴ１を得る。

そして、画像セットＳ９〜Ｓ１２のうち、代表ブレ量が最も小さい画像セットを、保存用静止画として選択する。例えば、代表ブレ量ＢＴ２が最も小さい場合（ＢＴ２＜ＢＴ１、ＢＴ３、ＢＴ４）には、タイミングＴ５０、Ｔ５１の第２画像とタイミングＴ４８、Ｔ４９の第１画像からなる画像セットＳ１０が、一時保存用静止画として保存されており、これが保存用静止画として選択される。

なお、本実施形態では、静止画保存制御部７４は、画像セット単位でブレ量（代表ブレ量）を算出し、代表ブレ量が最も小さい画像セットを保存用静止画として選択しているが、この方法には限られない。例えば、特定の静止画取得指示期間に得られる複数の画像のうち、第１画像について最もブレ量が小さい第１画像と、第２画像について最もブレ量が小さい第２画像とを、それぞれ保存用静止画として選択するようにしてもよい。

本実施形態は、常にブレ量が少ない静止画が一時的に保存されているため、設定によって、複数の静止画を保存することができ、さまざまに利用することができる。例えば、複数のブレ量の少ない静止画である一時保存用静止画を、連続して表示することにより、特定の構造物を強調させた画像を動画として表示させることが可能である。

なお、上記実施形態においては、マルチ観察モードにおいて、第１照明光と第２照明光とを、２フレーム間隔で、切り替えながら発光し、かつ、第１照明光に対応する第１観察画像と第２照明光に対応する第２観察画像とを、２フレーム間隔で、切り替えてモニタ１８に表示するようにしているが、互いに波長帯域が異なる３種類以上の照明光を、特定の発光順序及び発光期間に従って、切り替えながら発光し、かつ、各照明光に対応する３種類以上の観察画像を、特定の表示順序及び表示時間に従って、切り替えてモニタ１８に表示するようにしてもよい。

上記実施形態において、画像処理部６０、表示制御部６２など、プロセッサ装置１６に含まれる処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピューターに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

なお、本発明は、第１〜第３実施形態のような内視鏡システムの他、各種の医用画像処理装置に対して適用することが可能である。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ａ 静止画取得指示ＳＷ
１３ｂ モード切替ＳＷ
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ コンソール
２０ 光源部
２０ａ Ｖ−ＬＥＤ
２０ｂ Ｂ−ＬＥＤ
２０ｃ Ｇ−ＬＥＤ
２０ｄ Ｒ−ＬＥＤ
２１ 光源制御部
２２ 発光期間設定部
２３ 光路結合部
２６ａ、２６ｂ スライドバー
２７ａ、２７ｂ スライダ
３０ａ 照明光学系
３０ｂ 撮像光学系
４１ ライトガイド
４５ 照明レンズ
４６ 対物レンズ
４８ 撮像センサ
５０ ＣＤＳ・ＡＧＣ回路
５２ Ａ／Ｄ変換器
５３ 画像取得部
５６ ＤＳＰ
５８ ノイズ除去部
６０ 画像処理部
６２ 表示制御部
６６ 中央制御部
６８ 通常観察モード用画像処理部
７０ マルチ観察モード用画像処理部
７２ ブレ量算出部
７４ 静止画保存制御部
７６ 静止画保存部
７８ ブレ量算出処理部
８０ アルゴリズム切替部
８２ 動画一時保存部
８４ 一時静止画保存部

Claims (11)

1. 互いに異なる波長帯域の光を発光する複数の半導体光源と、
   前記複数の半導体光源のそれぞれが、第１の発光比率を有する第１照明光と、前記第１の発光比率と異なる第２の発光比率を有する第２照明光とを含む複数の照明光を、特定の発光順序及び発光期間により切替えて発光する制御を行う光源制御部と、
   各前記照明光により照明された観察対象を撮像して複数の画像を取得する画像取得部であり、前記複数の画像には前記第１照明光による第１画像及び前記第２照明光による第２画像とが含まれる画像取得部と、
   各前記画像の保存用静止画を取得するための静止画取得指示を行う静止画取得指示入力部と、
   前記静止画取得指示が行われたタイミングを含む特定の静止画取得指示期間に取得した前記複数の画像を対象としてブレ量を算出するブレ量算出部であり、前記ブレ量を算出するためのブレ量算出処理は、前記画像毎に異なっているブレ量算出部と、
   前記ブレ量に関して特定の条件を満たす場合に、前記複数の画像を、前記保存用静止画として静止画保存部に保存する制御を行う静止画保存制御部と、
   を備える内視鏡システム。
2. 各前記画像には複数色の分光画像が含まれ、
   前記ブレ量算出処理は、前記第１画像のうち第１色の分光画像から前記第１ブレ量を算出する第１ブレ量算出処理と、前記第２画像のうち前記第１色と異なる第２色の分光画像から前記第２ブレ量を算出する第２ブレ量算出処理とが含まれる請求項１に記載の内視鏡システム。
3. 前記第１照明光は前記第２照明光よりも短波の光を多く含み、
   前記第１色は青色であり、前記第２色は緑色である請求項２に記載の内視鏡システム。
4. 前記特定の静止画取得指示期間においては、前記複数の画像は、画像セットとして取得され、
   前記静止画保存制御部は、前記特定の条件を満たす画像セットを、前記保存用静止画として保存する請求項１ないし３いずれか１項記載の内視鏡システム。
5. 前記特定の条件を満たす画像セットは、前記複数の画像セットのうち前記画像セットの各画像のブレ量を合計した代表ブレ量が最も小さい画像セットである請求項４記載の内視鏡システム。
6. 前記静止画保存制御部は、前記特定の静止画取得指示期間に得られる前記複数の画像のうち、前記第１画像について最もブレ量が小さい第１画像と、第２画像について最もブレ量が小さい第２画像とを、それぞれ保存用静止画として保存する請求項１ないし３いずれか１項記載の内視鏡システム。
7. 前記複数の画像を、特定の表示順序及び／または表示時間を含む表示条件に従って、切り替えて表示部に表示する表示制御部を有し、
   前記静止画保存制御部は、前記保存用静止画に対して、前記表示条件を関連付けて保存する請求項１ないし６いずれか１項に記載の内視鏡システム。
8. 互いに異なる波長帯域の光を発光する複数の半導体光源と、
   前記複数の半導体光源のそれぞれが、第１の発光比率を有する第１照明光と、前記第１の発光比率と異なる第２の発光比率を有する第２照明光とを含む複数の照明光を、特定の発光順序及び発光期間により切替えて発光する制御を行う光源制御部と、
   各前記照明光により照明された観察対象を撮像して複数の画像を取得する画像取得部であり、前記複数の画像には前記第１照明光による第１画像及び前記第２照明光による第２画像とが含まれる画像取得部と、
   特定期間に取得した前記複数の画像の動画を、一時保存動画として保存する動画保存部と、
   各前記画像の保存用静止画を取得するための静止画取得指示を行う静止画取得指示入力部と、
   前記静止画取得指示が行われたタイミングに取得された前記画像を含む前記一時保存動画を対象としてブレ量を算出するブレ量算出部であり、前記ブレ量を算出するためのブレ量算出処理は、前記画像毎に異なっているブレ量算出部と、
   前記ブレ量に関して特定の条件を満たす場合に、複数の前記画像を、前記保存用静止画として静止画保存部に保存する制御を行う静止画保存制御部と、
   を備える内視鏡システム。
9. 互いに異なる波長帯域の光を発光する複数の半導体光源と、
   前記複数の半導体光源のそれぞれが、第１の発光比率を有する第１照明光と、前記第１の発光比率と異なる第２の発光比率を有する第２照明光とを含む複数の照明光を、特定の発光順序及び発光期間により切替えて発光する制御を行う光源制御部と、
   各前記照明光により照明された観察対象を撮像して複数の画像を取得する画像取得部であり、前記複数の画像には前記第１照明光による第１画像及び前記第２照明光による第２画像とが含まれる画像取得部と、
   各前記画像の保存用静止画を取得するための静止画取得指示を行う静止画取得指示入力部と
   特定期間に取得した前記複数の画像を対象としてブレ量を算出するブレ量算出部であり、前記ブレ量を算出するためのブレ量算出処理は、前記画像毎に異なっているブレ量算出部と、
   前記ブレ量に関して特定の条件を満たす場合に、前記複数の画像を、一時保存用静止画として一時静止画保存部に保存する制御、及び、前記静止画取得指示に従い、前記一時保存用静止画を保存用静止画として静止画像保存部に保存する制御を行う静止画保存制御部と、
   を備える内視鏡システム。
10. 前記特定期間は、現時点から前記特定期間遡った時点までの期間である請求項８または９に記載の内視鏡システム。
11. 光源制御部が、互いに異なる波長帯域の光を発光する複数の半導体光源のそれぞれが、第１の発光比率を有する第１照明光と、前記第１の発光比率と異なる第２の発光比率を有する第２照明光とを含む複数の照明光を、特定の発光順序及び発光期間により切替えて発光する制御を行う光源制御ステップと、
    画像取得部が、各前記照明光により照明された観察対象を撮像して複数の画像を取得するステップであり、前記複数の画像には前記第１照明光による第１画像及び前記第２照明光による第２画像とが含まれる画像取得ステップと、
    静止画取得指示入力部が、各前記画像の保存用静止画を取得するための静止画取得指示を行う静止画取得指示ステップと、
    ブレ量算出部が、前記静止画取得指示が行われたタイミングを含む特定の静止画取得指示期間に取得した前記複数の画像を対象としてブレ量を算出するステップであり、前記ブレ量を算出するためのブレ量算出処理は、前記画像毎に異なっているブレ量算出ステップと、
    静止画保存制御部が、前記ブレ量に関して特定の条件を満たす場合に、前記複数の画像を、前記保存用静止画として静止画保存部に保存する静止画保存ステップとを有する内視鏡システムの作動方法。

Images