JP7337190B2 - 内視鏡システム及びその作動方法 - Google Patents

Description

本発明は、発光スペクトルが異なる複数の照明光を切り替えて発光する内視鏡システム及びその作動方法に関する。

医療分野においては、医療画像を用いて診断することが広く行われている。例えば、医療画像を用いる装置として、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムがある。内視鏡システムでは、観察対象に対して照明光を照射し、照明光で照明された観察対象を撮像することにより、医療画像としての内視鏡画像を取得する。内視鏡画像は、モニタに表示され、診断に使用される。

また、近年の内視鏡システムにおいては、特定の波長帯域を有する光を観察対象に照明して、観察対象上の病変部の視認性を向上することによって、病変部の検出をし易くすることも行われている。ただし、特定の波長帯域を有する光により得られる特殊観察画像は、疑似カラーなど観察対象の色と異なる色で表示されるため、ユーザーにとっては、通常観察に用いられる通常観察画像と比較して、見慣れていない場合も多い。そこで、特許文献１では、特殊観察画像から病変領域を検出し、検出した病変領域を通常観察画像で強調表示することで、見慣れた通常観察画像上で病変領域を観察できるようにしている。

特開２０１１－１３５９８３号公報

近年では、観察対象の撮像に、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の撮像センサが用いられている。ＣＭＯＳ型の撮像センサでは、行方向と列方向に配列された複数の画素を有する場合において、行方向のライン単位で、列方向の順で順次信号読み出しを行うローリングシャッタ方式を採用している。ただし、ローリングシャッタ方式は、異なるライン間で露光時間に違いが生ずることが有り、この場合には、観察対象の画像の歪みが生じることがある。そのため、上記特許文献１のように、病変領域を検出する場合には、ローリングシャッタ方式による撮像で得られた画像については、画像の歪み等により、病変領域を正確に検出できない場合がある。そこで、ローリングシャッタ方式の撮像センサを使用する場合においても、病変検出などの解析処理を確実に実行することができ、且つ、それら解析結果を視認性の高い明るい画像上で表示できることが求められた。

本発明は、ローリングシャッタ方式の撮像センサを使用する場合においても、解析処理を確実に実行することができ、且つ、それら解析結果を視認性の高い明るい画像で表示できる内視鏡システム及びその作動方法を提供することを目的とする。

本発明は、互いに発光スペクトルが異なる第１照明光と第２照明光とを発する光源部と、第１照明光と第２照明光とを自動的に切り替えて発光する場合において、第１照明光を第１発光パターンで発光し、第２照明光を第２発光パターンで発光する光源用プロセッサと、複数の画素が行方向と列方向に配列された撮像センサと、行方向のライン単位で画素から列方向の順で信号読み出しを行う撮像用プロセッサとを備え、撮像用プロセッサは、第１照明光を発光する第１照明期間内において第１照明光を撮像センサに露光させた状態で、信号読み出しを行って、第１画像信号を出力させ、第２照明光を発光する第２照明期間において第２照明光を撮像センサに露光させた後に、第１照明光及び第２照明光を消灯する消灯期間で撮像センサに対して未露光にした状態で、信号読み出しを行って、第２画像信号を出力させ、第１照明期間は第２照明期間よりも長く、第１照明期間は２フレーム以上であり、撮像センサがグローバルリセットを有する場合において、光源用プロセッサは、第１照明期間後、且つ、撮像用プロセッサによるグローバルリセットの作動後に、第２照明期間に切り替える。

撮像センサがグローバルリセットを有する場合において、光源用プロセッサは、第１照明期間後、且つ、撮像用プロセッサによるグローバルリセットの作動後に、第２照明期間に切り替えることが好ましい。撮像センサがグローバルリセットを有しない場合において、光源用プロセッサは、第１照明期間後、消灯期間に切り替え、且つ、第１照明期間後の消灯期間において、撮像用プロセッサによる信号読み出しを行った後に、第２照明期間に切り替えることが好ましい。撮像センサがグローバルリセットを有しない場合において、光源用プロセッサは、消灯期間における第２照明光に関する信号読み出しを行った後、第１照明光及び第２照明光の消灯状態での撮像用プロセッサによる信号読み出しを行うために、消灯期間を継続し、且つ、消灯状態での信号読み出しを行った後に、第１照明期間に切り替えることが好ましい。

第１照明光は白色光が用いられ、第２照明光は、紫色光、青色光、緑色光、又は赤色光が用いられることが好ましい。第２照明期間では、紫色光、青色光、緑色光、又は赤色光のいずれかを発光し、又は、第２照明期間では、紫色光、青色光、緑色光、又は赤色光のうち少なくとも２つの光を特定の順番で切り替えて発光することが好ましい。第２照明光は、紫色光の光量が他の色の光の光量よりも大きい第１特殊光、又は、緑色光の光量が他の色の光の光量よりも大きい第２特殊光のいずれかであることが好ましい。

第１発光パターンは、第１照明期間のフレーム数が、それぞれの第１照明期間において同じである第１Ａ発光パターンと、第１照明期間のフレーム数が、それぞれの第１照明期間において異なっている第１Ｂ発光パターンとのうちのいずれかであることが好ましい。第２発光パターンは、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ａパターン、第２照明期間のフレーム数が、それぞれの前記第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｂパターン、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ｃパターン、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｄパターンのうちのいずれかであることが好ましい。

特定発光パターンでは、第１照明期間は第２照明期間よりも長いことが好ましい。光源用プロセッサは、第１照明期間は２フレーム以上であることが好ましい。第１画像信号に基づく表示用画像に対して、第２画像信号に基づく解析処理により得られた解析結果を表示する解析結果付き表示用画像を表示部に表示する表示制御部を備えることが好ましい。

本発明は、第１照明光と第２照明光とを発する光源部と、第１照明光と第２照明光とを自動的に切り替えて発光する場合において、第１照明光を第１発光パターンで発光し、第２照明光を第２発光パターンで発光する光源用プロセッサと、複数の画素が行方向と列方向に配列された撮像センサと、行方向のライン単位で画素から列方向の順で信号読み出しを行う撮像用プロセッサとを備える内視鏡システムの作動方法において、撮像用プロセッサは、第１照明光を発光する第１照明期間内において第１照明光を撮像センサに露光させた状態で、信号読み出しを行って、第１画像信号を出力させ、第２照明光を発光する第２照明期間において第２照明光を撮像センサに露光させた後に、第１照明光及び第２照明光を消灯する消灯期間で撮像センサに対して未露光にした状態で、信号読み出しを行って、第２画像信号を出力させるステップを有し、第１照明期間は第２照明期間よりも長く、第１照明期間は２フレーム以上であり、撮像センサがグローバルリセットを有する場合において、光源用プロセッサは、第１照明期間後、且つ、撮像用プロセッサによるグローバルリセットの作動後に、第２照明期間に切り替える。

本発明によれば、ローリングシャッタ方式の撮像センサを使用する場合においても、解析処理を確実に検出することができ、且つ、それら解析結果を視認性の高い明るい画像で表示できる。

内視鏡システムの外観図である。 第１実施形態の内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒのスペクトルを示すグラフである。 解析処理モード時の発光パターンである特定発光パターンを示す説明図である。 撮像センサの各カラーフィルタの分光透過率を示すグラフである。 撮像センサにおける画素の配列を示す説明図である。 ローリングシャッタを示す説明図である。 解析処理モードにおける照明制御、解析処理、及び画像表示を時系列順で示す説明図である。 撮像センサがグローバルリセットを有する場合における解析処理モード時の撮像制御を示す説明図である。 撮像センサがグローバルリセットを有しない場合における解析処理モード時の撮像制御を示す説明図である。 撮像センサがグローバルリセットを有しない場合であって図１０と異なる場合における解析処理モード時の撮像制御を示す説明図である。 解析処理モードの一連の流れを示すフローチャートである。 第１特殊光の発光スペクトルを示すグラフである。 第２特殊光の発光スペクトルを示すグラフである。

図１において、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、ユーザーインターフェース１９とを有する。内視鏡１２は、光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。

また、操作部１２ｂには、アングルノブ１２ｅの他、モードの切り替え操作に用いるモード切替ＳＷ（モード切替スイッチ）１２ｆと、観察対象の静止画の取得指示に用いられる静止画取得指示部１２ｇと、ズームレンズ４３（図２参照）の操作に用いられるズーム操作部１２ｈとが設けられている。

なお、内視鏡システム１０は、通常観察モード、特殊観察モード、解析処理モードの３つのモードを有している。通常観察モードでは、白色光を観察対象に照明して撮像することによって、自然な色合いの通常観察画像をモニタ１８に表示する。特殊観察モードでは、通常光と波長帯域が異なる特殊光を観察対象に照明して撮像することによって、特定の構造を強調した特殊観察画像をモニタ１８に表示する。解析処理モードでは、発光スペクトルが異なる第１照明光と第２照明光とを切り替えて発光し、且つ、第１照明光に基づく画像はモニタ１８に表示するための表示用画像とする処理を行う一方、第２照明光に基づく画像に対して、観察対象に関する指標値等を得る解析処理を行う。解析処理の結果は、表示用画像に重畳表示される。

プロセッサ装置１６は、モニタ１８及びユーザーインターフェース１９と電気的に接続される。モニタ１８は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。ユーザーインターフェース１９は、キーボード、マウス、タッチパッドなどを有し、機能設定などの入力操作を受け付ける機能を有する。なお、プロセッサ装置１６には、画像や画像情報などを記録する外付けの記録部（図示省略）を接続してもよい。

図２において、光源装置１４は、光源部２０と、光源部２０を制御する光源用プロセッサ２１とを備えている。光源部２０は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。

図３に示すように、Ｖ－ＬＥＤ２０ａは、中心波長４０５±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤ２０ｂは、中心波長４５０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤ２０ｃは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。

光源用プロセッサ２１は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを制御する。光源用プロセッサ２１は、各ＬＥＤ２０ａ～２０ｄをそれぞれ独立に制御することで、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、又は赤色光Ｒをそれぞれ独立に光量を変えて発光可能である。また、光源用プロセッサ２１は、通常観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる白色光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。なお、Ｖｃ、Ｂｃ、Ｇｃ、Ｒｃ＞０である。

また、光源用プロセッサ２１は、特殊観察モード時には、短波長の狭帯域光としての紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒとの光量比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。光量比Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓは、通常観察モード時に使用する光量比Ｖｃ：Ｂｃ：Ｇｃ：Ｒｃと異なっており、観察目的に応じて適宜定められる。例えば、表層血管を強調する場合には、Ｖｓを、他のＢｓ、Ｇｓ、Ｒｓよりも大きくすることが好ましく、中深層血管を強調する場合には、Ｇｓを、他のＶｓ、Ｇｓ、Ｒｓよりも大きくすることが好ましい。

また、光源用プロセッサ２１は、図４に示すように、解析処理モード時には、第１照明光と第２照明光とを自動的に切り替えて発光する場合において、第１照明光を第１発光パターンで発光し、第２照明光を第２発光パターンで発光する。具体的には、第１発光パターンは、第１照明期間のフレーム数が、それぞれの第１照明期間において同じである第１Ａ発光パターンと、第１照明期間のフレーム数が、それぞれの第１照明期間において異なっている第１Ｂ発光パターンとのうちのいずれかであることが好ましい。第２発光パターンは、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ａパターン、第２照明期間のフレーム数が、それぞれの前記第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｂパターン、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ｃパターン、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｄパターンのうちのいずれかであることが好ましい。なお、第１照明光の発光スペクトルは、それぞれの第１照明期間において同じであってもよく、異なってもよい。

また、特定発光パターンは、第１照明期間は第２照明期間よりも長くすることが好ましく、第１照明期間は２フレーム以上とすることが好ましい。図４では、第１発光パターンを第１Ａパターンとし、第２発光パターンを第２Ａパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：同じ）とする場合において、第１照明期間を２フレームとし、第２照明期間を１フレームとしている。第１照明光は、モニタ１８に表示する表示用画像の生成に用いられることから、第１照明光を観察対象に照明することによって、明るい画像が得られることが好ましい。

例えば、第１照明光は、白色光であることが好ましい。一方、第２照明光は、解析処理に用いることから、第２照明光を観察対象に照明することによって、解析処理に適した画像が得られることが好ましい。例えば、血管深さが異なる複数の血管の形状情報に基づいて、解析処理を行う場合には、第２照明光として、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒを用いることが好ましい。この場合、第２発光パターンを第２Ａパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：同じ）又は第２Ｃパターン（第２照明期間のフレーム数：異なる、第２照明光の発光スペクトル：同じ）とする場合には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒのうちのいずれか１つの光を用いることが好ましい。一方、第２発光パターンを第２Ｂパターン（第２照明期間の５数：同じ、第２照明光の発光スペクトル：異なる）又は第２Ｄパターン（第２照明期間のフレーム数：異なる、第２照明光の発光スペクトル：異なる）とする場合には、第２照明期間において、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒのうち少なくとも２つの光を特定の順番で切り替えて発光することが好ましい。後述の図８では、紫色光Ｖ、緑色光Ｇ、及び赤色光Ｒの３つの光を、その順番で順次発光している。

なお、第１照明期間と第２照明期間の切替パターンである第１、２発光パターンの詳細については、撮像用プロセッサ４５による撮像センサ４４の撮像制御に基づいて定められることから、後述する。また、フレームとは、撮像センサ４４において特定タイミングから信号読み出し完了までの間の期間を少なくとも含む期間の単位のことをいい、本実施形態では、ＣＭＯＳ型の撮像センサ４４を用いることから、信号読み出し開始から信号読み出し完了までの期間をいう。

例えば、粘膜表面からの深さが５０μｍの範囲内にある表層血管、粘膜表面からの深さが２００μｍの範囲内にある中層血管、及び、粘膜表面からの深さが６００μｍの範囲内にある深層血管に関する血管の形状情報を取得し、これら表層、中層、深層の血管の形状情報に基づいて解析処理を行う場合には、表層血管を強調する紫色光Ｖ、中層血管を強調する緑色光Ｇ、深層血管を強調する赤色光Ｒを用いることが好ましい。

なお、本明細書において、光量比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光量比を有するものとする。

図２に示すように、各ＬＥＤ２０ａ～２０ｄが発する光は、ミラーやレンズなどで構成される光路結合部２３を介して、ライトガイド２５に入射される。ライトガイド２５は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１４及びプロセッサ装置１６を接続するコード）に内蔵されている。ライトガイド２５は、光路結合部２３からの光を、内視鏡１２の先端部１２ｄまで伝搬する。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３２を有しており、ライトガイド２５によって伝搬した照明光は照明レンズ３２を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４２、撮像センサ４４を有している。照明光を照射したことによる観察対象からの光は、対物レンズ４２及びズームレンズ４３を介して撮像センサ４４に入射する。これにより、撮像センサ４４に観察対象の像が結像される。ズームレンズ４３は観察対象を拡大するためのレンズであり、ズーム操作部１２ｈを操作することによって、テレ端とワイド端と間を移動する。

撮像センサ４４は、原色系のカラーセンサであり、青色カラーフィルタを有するＢ画素（青色画素）、緑色カラーフィルタを有するＧ画素（緑色画素）、及び、赤色カラーフィルタを有するＲ画素（赤色画素）の３種類の画素を備える。図５に示すように、青色カラーフィルタＢＦは、主として青色帯域の光、具体的には波長帯域が３８０～５６０ｎｍの波長帯域の光を透過する。青色カラーフィルタＢＦの透過率は、波長４６０～４７０ｎｍ付近においてピークになる。緑色カラーフィルタはＧＦ、主として緑色帯域の光、具体的には、４６０～６２０ｎｍの波長帯域の光を透過する。赤色カラーフィルタＲＦは、主として赤色帯域の光、具体的には、５８０～７６０ｎｍの波長帯域の光を透過する。

また、撮像センサ４４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型であり、図６に示すように、行方向と列方向に配列された複数の画素Ｐｘを有している。複数の画素Ｐｘには、Ｂ画素、Ｇ画素、及びＲ画素が含まれる。撮像用プロセッサ４５は、ＣＭＯＳ型の撮像センサ４４を撮像制御する。具体的には、撮像用プロセッサ４５は、行方向のライン単位ＬＵで、画素Ｐｘから列方向の順で信号読み出しを行う。この信号読み出し方式は、ローリングシャッタと呼ばれている。撮像センサ４４が、列方向に対して、第１～第Ｎラインの画素Ｐｘを有する場合には、図７に示すように、第１ラインの画素群、第２ラインの画素群、・・・、第Ｎラインの画素群の時間順で、信号読み出しが行われる（Ｎは２以上の自然数）。図７の読み出し完了線ＦＬは、各ラインの画素群の読み出しが完了したタイミングを表している。読み出し完了線ＦＬ上のＴ１、Ｔ２、ＴＮは、第１、２、Ｎラインの画素群の読み出しが完了したタイミングを表しており、Ｔ１＜Ｔ２＜ＴＮとなっている。なお、解析処理モードにおける撮像制御の詳細については、後述する。

上記のように、撮像用プロセッサ４５により撮像センサ４４の信号読み出しを行うことによって、撮像センサ４４から画像信号が出力される。通常観察モードでは、白色光が撮像センサ４４に露光された状態で、撮像用プロセッサ４５が信号読み出しを行うことにより、撮像センサ４４のＢ画素からＢｃ画像信号が出力され、Ｇ画素からＧｃ画像信号が出力され、Ｒ画素からＲｃ画像信号が出力される。特殊観察モードでは、特殊光が撮像センサ４４に露光された状態で、撮像用プロセッサ４５が信号読み出しを行うことによって、撮像センサ４４のＢ画素からＢｓ画像信号が出力され、Ｇ画素からＧｓ画像信号が出力され、Ｒ画素からＲｓ画像信号が出力される。

解析処理モードでは、撮像用プロセッサ４５は、第１照明期間において第１照明光を撮像センサ４４に露光させた状態で、信号読み出しを行うことにより、撮像センサ４４から第１画像信号を出力させる（図９～図１１参照）。第１画像信号には、Ｂ画素から出力されるＢ１画像信号、Ｇ画素から出力されるＧ１画像信号、及び、Ｒ画素から出力されるＲ１画像信号が含まれる。また、撮像用プロセッサ４５は、第２照明期間において第２照明光を撮像センサ４４に露光させた後に、第１及び第２照明光を消灯する消灯期間で撮像センサ４４を未露光にした状態で、信号読み出しを行うことにより、撮像センサ４４から第２画像信号を出力させる（図９～図１１参照）。第２画像信号には、Ｂ画素から出力されるＢ２画像信号、Ｇ画素から出力されるＧ２画像信号、及び、Ｒ画素から出力されるＲ２画像信号が含まれる。

以上のように、照明光の露光中に信号読み出し（ローリングシャッタ）を行って得られる第１画像信号については、露光時間が十分に得られること（６０フレームであれば最長１／６０の露光時間がとれる）から、モニタ１８に表示する表示用画像として用いることが好ましい。このような表示用画像を動画で目視で見る限りでは、ローリングシャッタの使用によるローリング効果（画像歪み）により視認性が落ちることは無い。一方、照明光の露光後に未露光にして信号読み出しを行って得られる第２画像信号については、第１～第Ｎラインにおいて露光時間を同じにできることから、ローリングシャッタの使用によるローリング効果（画像歪み）の影響を受けない。そのため、第２画像信号は、観察対象の形状を正確に出力できるため、形状解析などの解析処理に適した画像信号となっている。解析処理モードにおける撮像制御の詳細については後述する。

図２に示すように、ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４６は、撮像センサ４４から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４６を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４８により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号がプロセッサ装置１６に入力される。

プロセッサ装置１６は、画像取得部５０と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５４と、画像処理切替部５６と、画像処理部５８と、表示制御部６０とを備えている。画像処理部５８は、通常観察画像生成部６２と、特殊観察画像生成部６４と、解析処理部６６とを備えている。

画像取得部５０は、内視鏡１２から入力されるカラー画像を取得する。カラー画像には、撮像センサ４４のＢ画素、Ｇ画素、Ｒ画素から出力される青色画像、緑色画像、赤色画像が含まれている。取得したカラー画像はＤＳＰ５２に送信される。ＤＳＰ５２は、受信したカラー画像に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行う。欠陥補正処理では、撮像センサ４４の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲインを乗じることによりカラー画像の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるマトリクス処理が施される。

その後、ガンマ変換処理によって、カラー画像の明るさや彩度が整えられる。マトリクス処理後のカラー画像には、デモザイク処理（等方化処理，同時化処理とも言う）が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ＤＳＰ５２は、デモザイク処理後のカラー画像にＹＣ変換処理を施し、輝度信号Ｙと色差信号Ｃｂ及び色差信号Ｃｒをノイズ低減部５４に出力する。

ノイズ低減部５４は、ＤＳＰ５６でデモザイク処理等を施したカラー画像に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減したカラー画像は、画像処理切替部５６に入力される。

画像処理切替部５６は、設定されているモードによって、ノイズ低減部５４からの画像信号の送信先を、通常観察画像生成部６２と、特殊観察画像生成部６４と、解析処理部６６のいずれかに切り替える。具体的には、通常観察モードにセットされている場合には、ノイズ低減部５４からの画像信号を通常観察画像生成部６２に入力する。特殊観察モードにセットされている場合には、ノイズ低減部５４からの画像信号を特殊観察画像生成部６４に入力する。解析処理モードにセットされている場合には、ノイズ低減部５４からの画像信号を解析処理部６６に入力する。

通常観察画像生成部６２は、入力した１フレーム分のＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号に対して、通常観察画像用画像処理を施す。通常観察画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。通常観察画像用画像処理が施されたＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号は、通常観察画像として表示制御部６０に入力される。

特殊観察画像生成部６４は、入力した１フレーム分のＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に対して、特殊観察画像用画像処理を施す。特殊観察画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。特殊観察画像用画像処理が施されたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号は、特殊観察画像として表示制御部６０に入力される。

解析処理部６６は、入力した１フレーム分のＲ１画像信号、Ｇ１画像信号、Ｂ１画像信号に対して、上述と同様の通常観察画像用画像処理を施す。通常観察画像信号用画像処理が施されたＲ１画像信号、Ｇ１画像信号、Ｂ１画像信号は、表示用画像として使用される。また、解析処理部６６は、入力した特定フレーム分のＲ２画像信号、Ｇ２画像信号、Ｂ２画像信号に対して、解析処理を行う。また、解析処理部６６は、解析処理の結果である解析結果を表示用画像に表示させる表示制御処理を行う。

例えば、第１発光パターンを第１Ａ発光パターンとし、第２発光パターンを第２Ｂパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：異なる）とする場合において、第１照明光として白色光Ｗを２フレーム分、第２照明光としての紫色光Ｖ、緑色光Ｇ、赤色光Ｒを、白色光Ｗの発光の間に、それぞれ１フレーム分だけ観察対象に照明する場合には、図８に示すように、紫色光Ｖの照明により得られるＲ２画像信号、Ｇ２画像信号、Ｂ２画像信号に対して解析処理を行って、解析結果Ｖを得る。同様にして、緑色光Ｇの照明により得られるＲ２画像信号、Ｇ２画像信号、Ｂ２画像信号に対して解析処理を行って、解析結果Ｇを得る。また、赤色光Ｒの照明により得られるＲ２画像信号、Ｇ２画像信号、Ｂ２画像信号に対して解析処理を行って、解析結果Ｒを得る。これら解析結果Ｖ、Ｇ、Ｒは、赤色光Ｒに関する解析処理が完了した後、一まとめにした解析結果Ｔとして、表示用画像に表示される。なお、解析結果Ｖ、Ｇ、Ｒは、それぞれ単独で表示用画像に表示してもよく、また、解析結果Ｖ、Ｇ、Ｒのうち少なくとも２つ組み合わせて得られる解析結果を、表示用画像に表示してもよい。

なお、解析処理としては、例えば、血管の形状情報を抽出する血管抽出処理、抽出した血管の形状情報に基づいて、血管に関する指標値を算出する指標値算出処理、及び、算出した指標値を表示用画像に重畳表示するための重畳表示制御処理が含まれる。解析処理の結果が表示された解析結果付き表示用画像は、表示制御部６０に入力される。

表示制御部６０は、画像処理部５８から出力される画像をモニタ１８に表示するための制御を行う。具体的には、表示制御部６０は、通常観察画像、特殊観察画像、又は、解析結果付き表示用画像を、モニタ１８においてフルカラーで表示可能にする映像信号に変換する。変換済みの映像信号はモニタ１８に入力される。これにより、モニタ１８には通常観察画像、特殊観察画像、又は、解析結果付き表示用画像が表示される。

次に、解析処理モードにおける光源制御及び撮像制御の詳細について説明する。ＣＭＯＳ型の撮像センサ４４が、画素Ｐｘに蓄積した電荷を信号読み出しせずに、一斉に排出することができるグローバルリセットを有する場合には、図９に示すように、撮像用プロセッサ４５は、第１照明期間において信号読み出しが完了した後に、グローバルリセットＧＲを作動させる。光源用プロセッサ２１は、グローバルリセットＧＲの作動後に、第２照明期間に切り替える。そして、光源用プロセッサ２１は、第２照明期間において信号読み出しが完了した後、消灯期間に切り替える。また、撮像用プロセッサ４５は、消灯期間の信号読み出しが完了した後は、グローバルリセットを作動させる。そして、光源用プロセッサ２１は、グローバルリセットＧＲの作動後に、第１照明期間に切り替える。

一方、ＣＭＯＳ型の撮像センサ４４がグローバルリセットを有しない場合には、図１０に示すように、光源用プロセッサ２１は、第１照明期間において信号読み出しが完了した後に、消灯期間に切り替える。撮像用プロセッサ４５は、消灯期間に信号読み出しを行う。この消灯期間の信号読み出しに得られた画像信号（空読み信号）は、第１照明期間において第１照明光を撮像センサ４４に露光して得られた電荷を含むものであることから、その後に発光される第２照明光の成分に第１照明光の成分が混ざることが無いようにするため、破棄される。光源用プロセッサ２１は、第１照明光の後の消灯期間において信号読み出しを行った後に、第２照明期間に切り替える。また、光源用プロセッサ２１は、第２照明期間において信号読み出しが完了した後に、第１照明期間に切り替える。

なお、図１０では、第２照明期間において、第２照明光に関する信号読み出しが完了した後、直ぐに、第１照明期間に切り替えているが、消灯期間であっても僅かな露光による電荷の蓄積が生ずる場合もあり得る。そのため、図１１に示すように、光源用プロセッサ２１は、第２照明光に関する信号読み出しが完了した後、第１照明光及び第２照明光の消灯状態での撮像用プロセッサ４５による信号読み出しを行うために、消灯期間を継続してもよい。そして、光源用プロセッサ２１は、消灯状態での信号読み出しが完了した後に、第１照明期間への切替えを行う。なお、消灯状態での信号読み出しにより得られた画像信号は、空読み信号として、破棄される。

次に、解析処理のモードの一連の流れについて、図１２に示すフローチャートに沿って説明する。モード切替ＳＷ１２ｆを操作して、解析処理モードに切り替える。解析処理モードに切り替えられると、第１照明光と発光する第１照明期間と、第２照明光と発光する第２照明期間とが特定発光パターンにて自動的に切り替えられる。このように特定発光パターンにて自動的に切り替えられる第１照明光と第２照明光とが、観察対象に対して照明される。

撮像用プロセッサ４５は、第１照明期間において第１照明光を撮像センサ４４に露光させた状態で、撮像センサ４４の行方向のライン単位で、画素から列方向の順で信号読み出しを行う。これにより、撮像センサ４４から第１画像信号が出力される。また、撮像用プロセッサ４５は、第２照明期間において第２照明光を撮像センサ４４に露光させた後に、第１照明光及び第２照明光を消灯する消灯期間で撮像センサ４４に対して未露光にした状態で、信号読み出しを行う。これにより、撮像センサ４４から第２画像信号が出力される。表示制御部６０は、第１画像信号に基づく表示用画像に対して、第２画像信号に基づく解析処理により得られた解析結果を表示する解析結果付き表示用画像をモニタ１８に表示する。

なお、上記実施形態においては、第２照明光として、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒを用いているが、その他の発光スペクトルの光を用いてもよい。例えば、図１３に示すように、第２照明光として、紫色光Ｖの光量を他の青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光量よりも大きくした第１特殊光を用いてもよい。また、図１４に示すように、第２照明光として、緑色光Ｇの光量を、他の紫色光Ｖ、青色光Ｂ、及び赤色光Ｒの光量よりも大きくした第２特殊光を用いてもよい。また、第２照明光として、第１特殊光と第２特殊光の両方を用い、第２発光パターンを第２Ｂパターン又は第２Ｄパターンとして、第１特殊光と第２特殊光を交互に発光するようにしてもよい。なお、第１特殊光を用いた場合には、第２画像信号に対して、観察対象に含まれる正常部と異常部（病変部など）との色の差を拡張する色差拡張処理を行ってもよい。色差拡張処理済みの第２画像信号に対して、解析処理を行ってもよい。

なお、上記実施形態においては、第１照明光に基づく第１画像信号は、表示用画像に用い、第２照明光に基づく第２画像信号は、解析処理にのみに用いて、モニタ１８への表示に用いていないが、第２画像信号についても、モニタ１８への表示に用いてもよい。この場合には、第１画像信号に基づく表示用画像と、第２画像信号に基づく表示用画像とを、モニタ１８に対して切り替えて表示することになる。第２画像信号に基づく画像のモニタ１８への表示又は非表示については、ユーザーインターフェース１９によって適宜設定できるようにすることが好ましい。

上記実施形態において、光源用プロセッサ２１、撮像用プロセッサ４５、画像処理部５８に含まれる通常観察画像生成部６２、特殊観察画像生成部６４、解析処理部６６といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ モード切替スイッチ
１２ｇ 静止画取得指示部
１２ｈ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ ユーザーインターフェース
２０ 光源部
２０ａ Ｖ－ＬＥＤ
２０ｂ Ｂ－ＬＥＤ
２０ｃ Ｇ－ＬＥＤ
２０ｄ Ｒ－ＬＥＤ
２１ 光源用プロセッサ
２３ 光路結合部
２５ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３２ 照明レンズ
４２ 対物レンズ
４３ ズームレンズ
４４ 撮像センサ
４５ 撮像用プロセッサ
４６ ＣＤＳ／ＡＧＣ回路
４８ Ａ／Ｄコンバータ
５０ 画像取得部
５２ ＤＳＰ
５４ ノイズ低減部
５６ 画像処理切替部
５８ 画像処理部
６０ 表示制御部
６２ 通常観察画像生成部
６４ 特殊観察画像生成部
６６ 解析処理部
Ｐｘ 画素

Claims (8)

1. 互いに発光スペクトルが異なる第１照明光と第２照明光とを発する光源部と、
   前記第１照明光と前記第２照明光とを自動的に切り替えて発光する場合において、前記第１照明光を第１発光パターンで発光し、前記第２照明光を第２発光パターンで発光する光源用プロセッサと、
   複数の画素が行方向と列方向に配列された撮像センサと、
   前記行方向のライン単位で前記画素から前記列方向の順で信号読み出しを行う撮像用プロセッサとを備え、
   前記撮像用プロセッサは、
   前記第１照明光を発光する第１照明期間内において前記第１照明光を前記撮像センサに露光させた状態で、前記信号読み出しを行って、第１画像信号を出力させ、
   前記第２照明光を発光する第２照明期間において前記第２照明光を前記撮像センサに露光させた後に、前記第１照明光及び前記第２照明光を消灯する消灯期間で前記撮像センサに対して未露光にした状態で、前記信号読み出しを行って、第２画像信号を出力させ、
   前記第１照明期間は前記第２照明期間よりも長く、
   前記第１照明期間は２フレーム以上であり、
   前記撮像センサがグローバルリセットを有する場合において、
   前記光源用プロセッサは、前記第１照明期間後、且つ、前記撮像用プロセッサによる前記グローバルリセットの作動後に、前記第２照明期間に切り替える内視鏡システム。
2. 前記第１照明光は白色光が用いられ、前記第２照明光は、紫色光、青色光、緑色光、又は赤色光が用いられる請求項１記載の内視鏡システム。
3. 前記第２照明期間では、前記紫色光、前記青色光、前記緑色光、又は前記赤色光のいずれかを発光し、又は、前記第２照明期間では、前記紫色光、前記青色光、前記緑色光、又は前記赤色光のうち少なくとも２つの光を特定の順番で切り替えて発光する請求項２記載の内視鏡システム。
4. 前記第２照明光は、紫色光の光量が他の色の光の光量よりも大きい第１特殊光、又は、緑色光の光量が他の色の光の光量よりも大きい第２特殊光のいずれかである請求項１ないし３いずれか１項記載の内視鏡システム。
5. 前記第１発光パターンは、前記第１照明期間のフレーム数が、それぞれの前記第１照明期間において同じである第１Ａ発光パターンと、前記第１照明期間のフレーム数が、それぞれの前記第１照明期間において異なっている第１Ｂ発光パターンとのうちのいずれかである請求項１ないし４いずれか１項記載の内視鏡システム。
6. 前記第２発光パターンは、
   前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において同じであり、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において同じである第２Ａパターン、
   前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において同じであり、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において異なっている第２Ｂパターン、
   前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において異なっており、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において同じである第２Ｃパターン、及び、
   前記第２照明期間のフレーム数が、それぞれの前記第２照明期間において異なっており、且つ、前記第２照明光の発光スペクトルが、それぞれの前記第２照明期間において異なっている第２Ｄパターンのうちのいずれかである請求項１ないし５いずれか１項記載の内視鏡システム。
7. 前記第１画像信号に基づく表示用画像に対して、前記第２画像信号に基づく解析処理により得られた解析結果を表示する解析結果付き表示用画像を表示部に表示する表示制御部を備える請求項１ないし６いずれか１項記載の内視鏡システム。
8. 第１照明光と第２照明光とを発する光源部と、前記第１照明光と前記第２照明光とを自動的に切り替えて発光する場合において、前記第１照明光を第１発光パターンで発光し、前記第２照明光を第２発光パターンで発光する光源用プロセッサと、複数の画素が行方向と列方向に配列された撮像センサと、前記行方向のライン単位で前記画素から前記列方向の順で信号読み出しを行う撮像用プロセッサとを備える内視鏡システムの作動方法において、
   前記撮像用プロセッサは、
   前記第１照明光を発光する第１照明期間内において前記第１照明光を前記撮像センサに露光させた状態で、前記信号読み出しを行って、
   第１画像信号を出力させ、前記第２照明光を発光する第２照明期間において前記第２照明光を前記撮像センサに露光させた後に、前記第１照明光及び前記第２照明光を消灯する消灯期間で前記撮像センサに対して未露光にした状態で、前記信号読み出しを行って、第２画像信号を出力させるステップを有し、
   前記第１照明期間は前記第２照明期間よりも長く、
   前記第１照明期間は２フレーム以上であり、
   前記撮像センサがグローバルリセットを有する場合において、
   前記光源用プロセッサは、前記第１照明期間後、且つ、前記撮像用プロセッサによる前記グローバルリセットの作動後に、前記第２照明期間に切り替える内視鏡システムの作動方法。

Images