JP6277138B2 - 内視鏡システム及びその作動方法 - Google Patents

Description

本発明は、内視鏡システム及びその作動方法に関する。

医療分野においては、内視鏡用光源装置（以下、光源装置という）、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。光源装置は、体腔の粘膜等の観察対象に照射する照明光を生成する装置である。内視鏡は、照明光が照射された観察対象を撮像する撮像素子を有している。

この内視鏡システムとしては、照明光として白色光を発する光源装置を用い、撮像素子として同時式のカラーセンサを用いるものが知られている。このカラーセンサには、原色系フィルタを有する原色型撮像素子と、補色系フィルタを有する補色型撮像素子とがある。補色型撮像素子は、原色型撮像素子に比べて高感度であるため、感度を重視する内視鏡システムで用いられている。

特許文献１には、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄色（Ｙｅ）、緑色（Ｇ）の４種の画素を有する補色型撮像素子が示されている。この補色型撮像素子は、奇数列を、Ｍｇ画素、Ｃｙ画素、Ｍｇ画素、Ｙｅ画素、・・・の順番、偶数列を、Ｇ画素、Ｙｅ画素、Ｇ画素、Ｃｙ画素、・・・の順番とするように、奇数行にＭｇ画素とＧ画素とを交互に配置し、偶数行にＣｙ画素とＹｅ画素とを交互に配置したものである。このカラーフィルタ配列は、補色市松色差線順次方式と呼ばれている。

特許第４００９６２６号公報

補色型撮像素子は、Ｍｇ画素、Ｃｙ画素、Ｙｅ画素が、赤色（Ｒ）光、緑色（Ｇ）光、青色（Ｂ）光のうちの２色の光に感度を有するので、原色型撮像素子に比べて高感度ではあるが、原色型撮像素子に比べて、Ｒ、Ｇ、Ｂに関する色分離性が劣る。

内視鏡システムにより観察する観察対象のうち大腸の粘膜等は、波長が短い光ほど反射率が小さいという特性を有する一方で、粘膜表層付近から得られる重要な情報は、波長の短い光の戻り光が支配的である。この粘膜表層には、短波光であるＢ光の吸収が強いヘモグロビンを含む毛細血管等の微細構造が含まれる。この微細構造の観察性能を高めるためには、撮像素子のＢ光に対する色分離性を高める必要がある。

また、近年では、白色光を用いて撮像した画像に対して画像処理を施し、正常部と病変部の境界領域を明瞭化するための色彩強調処理に注目が集まっている。この色彩強調処理を行う場合には、赤色画像についても、青色画像や緑色画像と同等の画質が得られることが好ましい。

このように、内視鏡システムでは、補色型撮像素子を有する内視鏡が用いられた場合においても、Ｒ、Ｇ、Ｂに関する色分離性を高めることが求められている。

本発明は、補色型撮像素子色分離性を、原色型撮像素子の色分離性と同等とすることを可能とする内視鏡システム及びその作動方法を提供することを目的とする。

上記目的を達成するために、本発明の内視鏡システムは、赤色光、緑色光、青色光をそれぞれ照明光として発する光源部と、光源部の発光タイミングを制御して、緑色光を、赤色光及び青色光とは別に発光させる光源制御部と、照明光が照射された観察対象からの戻り光を受光する補色型の撮像素子と、発光タイミングに合わせて撮像素子の撮像タイミングを制御して、緑色光と、赤色光及び青色光とをそれぞれ個別に受光させる撮像制御部とを備える。

撮像素子は、緑色光及び青色光を受光するシアン画素と、赤色光及び青色光を受光するマゼンタ画素と、赤色光及び緑色光を受光する黄色画素と、緑色光を受光する緑色画素とを有することが好ましい。

撮像素子は、シアン画素と黄色画素とが交互に配置された偶数画素行と、マゼンタ画素と緑色画素とが交互に配置された奇数画素行とを有することが好ましい。

撮像制御部は、緑色光の受光後に、撮像素子から奇数画素行を読み出させ、赤色光及び青色光の受光後に、撮像素子から偶数画素行を読み出させることが好ましい。

奇数画素行から読み出された緑色画素信号と、偶数画素行から読み出されたシアン画素信号及び黄色画素信号とを用いて観察画像を生成する信号処理部を備えることが好ましい。

撮像制御部は、緑色光の受光後に、撮像素子の全画素を読み出させ、赤色光及び青色光の受光後に、撮像素子の全画素を読み出させることも好ましい。

この場合、緑色光の受光後に撮像素子から読み出された緑色画素信号、シアン画素信号、及び黄色画素信号と、赤色光及び青色光の受光後に撮像素子から読み出されたマゼンタ画素信号、シアン画素信号、及び黄色画素信号とを用いて観察画像を生成する信号処理部を備えることが好ましい。

信号処理部は、赤色光及び青色光の受光後に撮像素子から読み出されたマゼンタ画素信号からシアン画素信号を減じることにより赤色画素信号を生成し、マゼンタ画素信号から黄色画素信号を減じることにより青色画素信号を生成することが好ましい。

本発明の内視鏡システムの作動方法は、赤色光、緑色光、青色光をそれぞれ照明光として発する光源部と、照明光が照射された観察対象からの戻り光を受光する補色型の撮像素子とを備える内視鏡システムの作動方法において、光源部の発光タイミングを制御して、緑色光を、赤色光及び青色光とは別に発光させ、発光タイミングに合わせて撮像素子の撮像タイミングを制御して、緑色光と、赤色光及び青色光とをそれぞれ個別に受光させる。

本発明によれば、光源部の発光タイミングを制御して、緑色光を、赤色光及び青色光とは別に発光させ、発光タイミングに合わせて撮像素子の撮像タイミングを制御して、緑色光と、赤色光及び青色光とをそれぞれ個別に受光させるので、補色型撮像素子色分離性を、原色型撮像素子の色分離性と同等とすることができる。

内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 撮像素子の構成を示す図である。 カラーフィルタの色配列を示す図である。 カラーフィルタの分光特性を示す図である。 撮像素子の画素の構成を示す図である。 発光及び撮像のタイミングを示す図である。 グローバルシャッタ方式の発光及び撮像のタイミングを示す図である。 第２実施形態の発光及び撮像のタイミングを示す図である。 カラーフィルタの色配列の第１変形例を示す図である。 カラーフィルタの色配列の第２変形例を示す図である。 カラーフィルタの色配列の第３変形例を示す図である。 高色分離モード及び高感度モードを有する内視鏡システムの動作を説明するフローチャートである。

［第１実施形態］
図１において、内視鏡システム１０は、内視鏡１２と、内視鏡用光源装置（以下、光源装置という）１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを備えている。内視鏡１２は、光源装置１４と光学的に接続されるとともに、プロセッサ装置１６と電気的に接続される。内視鏡１２は、体腔内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄを有している。

操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作によって、先端部１２ｄが所望の方向に向けられる。操作部１２ｂには、アングルノブ１２ｅの他、ズーム操作部１３等が設けられている。

光源装置１４は、照明光を発生し、内視鏡１２に供給する。内視鏡１２に供給された照明光は、先端部１２ｄに導かれ、先端部１２ｄから体腔内の観察対象に照射される。

プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続される。モニタ１８は、観察画像や、観察画像に付帯する画像情報等を出力表示する。コンソール１９は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置１６には、観察画像や画像情報等を記録する外付けの記録部（図示せず）が接続可能である。

図２に示すように、光源装置１４は、観察対象を照明するための照明光を発生する光源部２０と、光源部２０の発光タイミング及び発光強度を制御する光源制御部２１とを備えている。光源部２０は、駆動部２２と、第１〜第３光源２３ａ〜２３ｃと、光路統合部２４とを有する。駆動部２２は、光源制御部２１からの制御に基づいて、第１〜第３光源２３ａ〜２３ｃをそれぞれ駆動する。

第１光源２３ａは、赤色光ＬＲを発する赤色ＬＥＤ（Light-emitting diode）である。この赤色光ＬＲは、例えば、波長帯域が６１５ｎｍ〜６３５ｎｍであり、中心波長が６２０±１０ｎｍである。第２光源２３ｂは、緑色光ＬＧを発する緑色ＬＥＤである。この緑色光ＬＧは、例えば、波長帯域が５００ｎｍ〜６００ｎｍであり、中心波長が５２０±１０ｎｍである。第３光源２３ｃは、青色光ＬＢを発する青色ＬＥＤである。この青色光ＬＢは、例えば、波長帯域が４４０ｎｍ〜４７０ｎｍであり、中心波長が４５５±１０ｎｍである。

光路統合部２４は、ダイクロイックミラー等で構成され、第１〜第３光源２３ａ〜２３ｃから発せられる各光の光路を統合する。光路統合部２４から射出された光は、照明光として、挿入部１２ａ内に挿通されたライトガイド２５に供給される。

ライトガイド２５は、内視鏡１２内に内蔵されており、照明光を内視鏡１２の先端部１２ｄまで伝搬させる。なお、ライトガイド２５としては、マルチモードファイバを使用することができる。例えば、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルをライトガイド２５として使用可能である。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは、照明レンズ３１を有している。ライトガイド２５内を伝搬した照明光は、照明レンズ３１を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ３２、ズームレンズ３３、撮像素子３４を有している。観察対象からの戻り光は、対物レンズ３２及びズームレンズ３３を介して撮像素子３４に入射する。これにより、撮像素子３４の撮像面（図示せず）に観察対象の光像が結像される。なお、ズームレンズ３３は、ズーム操作部１３を操作することで、テレ端とワイド端の間で自在に移動され、撮像素子３４の撮像面に結像する観察対象の光像を拡大または縮小する。

撮像素子３４は、補色型の同時式カラーセンサであり、照明光が照射された観察対象からの戻り光を受光して画像信号を出力する。この撮像素子３４は、戻り光を、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄色（Ｙｅ）、緑色（Ｇ）の色ごとに分離して受光可能である。この撮像素子３４としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型撮像素子が用いられる。撮像素子３４は、画像信号として、Ｃｙ画素信号、Ｍｇ画素信号、Ｙｅ画素信号、Ｇ画素信号からなる画像信号を出力する。

プロセッサ装置１６は、撮像制御部４０と、受信部４１と、ＤＳＰ（Digital Signal Processor）４２と、ノイズ除去部４３と、観察画像生成部４４と、映像信号生成部４５とを備えている。ＤＳＰ４２、ノイズ除去部４３、及び観察画像生成部４４が、特許請求の範囲に記載の信号処理部に対応する。

撮像制御部４０は、撮像素子３４による観察対象の撮像タイミングを制御する。受信部４１は、内視鏡１２の撮像素子３４から出力されたデジタルの画像信号を受信する。ＤＳＰ４２は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。

欠陥補正処理では、撮像素子３４の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確なゼロレベルが設定される。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲイン値を乗じることにより信号レベルが整えられる。ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理（等方化処理、同時化処理とも称される）が施される。

ノイズ除去部４３は、ＤＳＰ４２でデモザイク処理等が施された画像信号に対してノイズ除去処理（移動平均法やメディアンフィルタ法等による処理）を施すことによってノイズを除去する。ノイズが除去された画像信号は、観察画像生成部４４に入力される。

観察画像生成部４４は、ノイズ除去部４３から入力された画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行うことにより、観察画像を生成する。色変換処理では、画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（ルックアップテーブル）処理などにより色変換処理を行う。色彩強調処理は、色変換処理済みの画像信号に対して行われる。構造強調処理は、表層血管やピットパターン等の観察対象の構造を強調する処理であり、色彩強調処理後の画像信号に対して行われる。

観察画像生成部４４が生成する観察画像は、映像信号生成部４５に入力される。映像信号生成部４５は、各画像をモニタ１８に表示するための映像信号に変換する。モニタ１８は、映像信号生成部４５から入力される映像信号に基づいて画像表示を行う。

図３において、撮像素子３４は、画素アレイ部５０と、読み出し走査回路５１と、リセット走査回路５２と、カラムＡＤＣ（Analog-to-digital converter）回路５３と、ラインメモリ５４と、列走査回路５５と、タイミングジェネレータ（ＴＧ：Timing generator）５６とを有する。ＴＧ５６は、プロセッサ装置１６の撮像制御部４０から入力される撮像制御信号に基づいてタイミング信号を発生し、各部を制御する。

画素アレイ部５０は、複数の画素５０ａが行方向（Ｘ方向）及び列方向（Ｙ方向）にマトリクス状に２次元配列されたものであり、撮像素子３４の撮像面に設けられている。画素アレイ部５０には、行方向に沿って、行選択線ＬＳ及び行リセット線ＬＲが配されており、列方向に沿って列信号線ＬＶが配されている。

行選択線ＬＳ及び行リセット線ＬＲは、１画素行毎に設けられている。列信号線ＬＶは、１画素列毎に設けられている。ここで、画素行とは、行方向に並んだ１行分の画素５０ａを指している。画素列とは、列方向に並んだ１列分の画素５０ａを指している。１画素行内の各画素５０ａは、行選択線ＬＳ及び行リセット線ＬＲに共通に接続されている。

画素アレイ部５０の光入射側には、図４に示すように、カラーフィルタアレイ６０が設けられている。カラーフィルタアレイ６０は、シアン（Ｃｙ）フィルタ６０ａ、マゼンタ（Ｍｇ）フィルタ６０ｂ、黄色（Ｙｅ）フィルタ６０ｃ、緑色（Ｇ）フィルタ６０ｄを有している。これらのフィルタのうちいずれか１つが各画素５０ａ上に配置されている。カラーフィルタアレイ６０の色配列は、いわゆる補色市松色差線順次方式である。

カラーフィルタアレイ６０は、図５に示す分光特性を有する。Ｃｙフィルタ６０ａは、ほぼ青色光ＬＢと緑色光ＬＧとを透過させる透過特性を有している。Ｍｇフィルタ６０ｂは、ほぼ青色光ＬＢと赤色光ＬＲとを透過させる透過特性を有している。Ｙｅフィルタ６０ｃは、ほぼ緑色光ＬＧと赤色光ＬＲとを透過させる透過特性を有している。Ｇフィルタ６０ｄは、緑色光ＬＧを透過させる透過特性を有している。

以下、Ｃｙフィルタ６０ａが配置された画素５０ａをＣｙ画素と称し、Ｍｇフィルタ６０ｂが配置された画素５０ａをＭｇ画素と称し、Ｙｅフィルタ６０ｃが配置された画素５０ａをＹｅ画素と称し、Ｇフィルタ６０ｄが配置された画素５０ａをＧ画素と称する。Ｃｙ画素は、緑色光ＬＧ及び青色光ＬＢを受光する。Ｍｇ画素は、赤色光ＬＲ及び青色光ＬＢを受光する。Ｙｅ画素は、赤色光ＬＲ及び緑色光ＬＧを受光する。Ｇ画素は、緑色光ＬＧを受光する。

偶数（０，２，４，・・・，Ｎ−１）の各画素行には、Ｃｙ画素とＹｅ画素とが交互に配置されている。奇数（１，３，５，・・・，Ｎ）の各画素行には、Ｍｇ画素とＧ画素とが交互に配置されている。

各画素５０ａは、図６に示すように、フォトダイオードＤ１と、アンプトランジスタＭ１と、画素選択トランジスタＭ２と、リセットトランジスタＭ３とを有する。フォトダイオードＤ１は、入射光を光電変換して入射光量に応じた信号電荷を生成し、これを蓄積する。アンプトランジスタＭ１は、フォトダイオードＤ１に蓄積された信号電荷を電圧値（画素信号）に変換する。画素選択トランジスタＭ２は、行選択線ＬＳにより制御され、アンプトランジスタＭ１により生成された画素信号を列信号線ＬＶに出力させる。リセットトランジスタＭ３は、行リセット線ＬＲにより制御され、フォトダイオードＤ１に蓄積された信号電荷を電源線に破棄（リセット）する。

読み出し走査回路５１は、ＴＧ５６から入力されるタイミング信号に基づいて、行選択信号を発生する。読み出し走査回路５１は、信号読み出し動作時に、行選択線ＬＳに行選択信号を与えることにより、行選択信号が与えられた行選択線ＬＳに接続された画素５０ａの画素信号を、列信号線ＬＶに出力させる。

リセット走査回路５２は、ＴＧ５６から入力されるタイミング信号に基づいて、リセット信号を発生する。リセット走査回路５２は、リセット動作時に、行リセット線ＬＲにリセット信号を与えることにより、リセット信号が与えられた行リセット線ＬＲに接続された画素５０ａをリセットする。

カラムＡＤＣ回路５３には、信号読み出し動作時に列信号線ＬＶに出力された画素信号が入力される。カラムＡＤＣ回路５３は、各列信号線ＬＶにＡＤＣが接続されてなり、各列信号線ＬＶから入力される画素信号を、時間とともに階段状に変化する参照信号（ランプ波）と比較することにより、デジタル信号に変換してラインメモリ５４に出力する。

ラインメモリ５４は、カラムＡＤＣ回路５３によりデジタル化された１行分の画素信号を保持する。列走査回路５５は、ＴＧ５６から入力されるタイミング信号に基づいて、ラインメモリ５４を走査することにより、画素信号を出力端子Ｖｏｕｔから順に出力させる。出力端子Ｖｏｕｔから出力される１フレーム分の画素信号が前述の画像信号である。

撮像素子３４は、信号読み出し方式として、「全画素読み出し方式」と「間引き出し方式」が実行可能である。全画素読み出し方式では、読み出し走査回路５１により、各画素行の行選択線ＬＳが順に選択されながら、選択された行選択線ＬＳに行選択信号が与えられる。これにより、画素アレイ部５０の全画素５０ａについて、先頭画素行「０」から最終画素行「Ｎ」まで、１画素行ずつ順に信号読み出しが行われる。

間引き出し方式では、画素アレイ部５０から偶数（０，２，４，・・・，Ｎ−１）の画素行（以下、偶数画素行という）または奇数（１，３，５，・・・，Ｎ）の画素行（以下、奇数画素行という）のみを選択的に読み出すことを可能とする。例えば、画素アレイ部５０から偶数画素行のみを読み出す場合には、読み出し走査回路５１により、偶数画素行の行選択線ＬＳのみが順に選択されながら、選択された行選択線ＬＳに行選択信号が与えられる。これにより、全画素行のうちの偶数画素行のみについて、１画素行ずつ順に信号読み出しが行われる。

この場合、ラインメモリ５４には、偶数画素行から読み出された画素信号（Ｃｙ画素信号及びＹｅ画素信号）が記憶される。列走査回路５５は、ラインメモリ５４に偶数画素行から１画素行分の画素信号（Ｃｙ画素信号及びＹｅ画素信号）が記憶されるたびに、ラインメモリ５４の走査を行う。

奇数画素行のみを読み出す場合も同様である。この場合には、ラインメモリ５４には、奇数画素行から読み出された画素信号（Ｍｇ画素信号及びＧ画素信号）が記憶される。列走査回路５５は、ラインメモリ５４に奇数画素行から１画素行分の画素信号（Ｍｇ画素信号及びＧ画素信号）が記憶されるたびに、ラインメモリ５４の走査を行う。

また、撮像素子３４は、リセット方式として、「順次リセット方式」及び「一括リセット方式」が実行可能である。順次リセット方式では、リセット走査回路５２により行リセット線ＬＲが順に選択されながら、選択された行リセット線ＬＲにリセット信号が与えられる。これにより、順次リセット方式では、先頭画素行「０」から最終画素行「Ｎ」まで、１画素行ずつ順にリセットが行われる。

一括リセット方式では、リセット走査回路５２により全ての行リセット線ＬＲが選択され、全ての行リセット線ＬＲに一括してリセット信号が与えられる。これにより、画素アレイ部５０の全画素行が一括して同時にリセットされる。

なお、図３には示していないが、撮像素子３４には、相関二重サンプリング（ＣＤＳ；Correlated Double Sampling）回路や、自動利得制御（ＡＧＣ；Automatic Gain Control）回路も適宜設けられる。ＣＤＳ回路は、画素５０ａから各列信号線ＬＶに出力される画素信号に相関二重サンプリング処理を行う。ＡＧＣ回路は、相関二重サンプリング処理が行われた画素信号に対してゲイン調整を行う。

光源制御部２１と撮像制御部４０とは互いに電気的に接続されている。撮像制御部４０は、光源制御部２１により制御される光源装置１４の照明光の発光タイミングに合わせて撮像素子３４の撮像タイミングを制御する。

次に、光源制御部２１及び撮像制御部４０により制御される発光タイミング及び撮像タイミングについて説明する。本実施形態では、補色型カラーセンサである撮像素子３４の色分離性を、原色型カラーセンサの色分離性と同等とすることを可能とする制御方法を用いる。

図７に示すように、光源制御部２１は、駆動部２２を制御して、第２光源２３ｂに、時刻ｔ０から、緑色光ＬＧの発光を開始させる。これにより、緑色光ＬＧが観察対象に照射される。そして、撮像制御部４０は、撮像素子３４を制御して、時刻ｔ０から順次リセット方式によりリセット動作を行わせる。これにより、全画素行が１画素行ずつ順にリセットされる。各画素行は、リセットにより画素５０ａの不要電荷が破棄されることにより、順に電荷蓄積状態（露光状態）となる。

そして、撮像制御部４０は、時刻ｔ０から第１の露光時間Ｔ_Ｅ１が経過した時点で、撮像素子３４を制御して、間引き出し方式により、奇数画素行（Ｍｇ画素及びＧ画素）のみの読み出し動作を行わせる。これにより、撮像素子３４からは、デジタル化されたＭｇ画素信号及びＧ画素信号が出力される。Ｍｇ画素及びＧ画素のうち、Ｇ画素のみが緑色光ＬＧに対して感度を有するので、前述のＤＳＰ４２にはＧ画素信号のみが入力される。

光源制御部２１は、駆動部２２を制御して、最終画素行Ｎの読み出しが行われる時刻ｔ１に、第２光源２３ｂの発光動作を停止させ、緑色光ＬＧの発光を終了させる。また、光源制御部２１は、緑色光ＬＧの発光を終了させるとともに、第１光源２３ａ及び第３光源２３ｃの発光動作を開始させ、赤色光ＬＲ及び青色光ＬＢの発光を開始させる。これにより、赤色光ＬＲ及び青色光ＬＢが混合されたマゼンタ光が観察対象に照射される。

そして、光源制御部２１は、時刻ｔ１から第２の露光時間Ｔ_Ｅ２が経過した時点で、撮像素子３４を制御して、間引き出し方式により、偶数画素行（Ｃｙ画素及びＹｅ画素）のみの読み出し動作を行わせる。これにより、撮像素子３４からは、デジタル化されたＣｙ画素信号及びＹｅ画素信号が出力される。Ｃｙ画素及びＹｅ画素のうち、Ｃｙ画素は青色光ＬＢに対して感度を有し、Ｙｅ画素は赤色光ＬＲに対して感度を有する。この後、光源制御部２１は、最終画素行Ｎの読み出しが行われる時刻ｔ２に、第１光源２３ａ及び第３光源２３ｃの発光動作を停止させ、赤色光ＬＲ及び青色光ＬＢの発光を終了させる。

時刻ｔ１から時刻ｔ２までの期間は、緑色光ＬＧの発光は行われず、赤色光ＬＲ及び青色光ＬＢが混合されたマゼンタ光の発光が行われる。このように、時刻ｔ１から時刻ｔ２までの期間には、Ｃｙ画素及びＹｅ画素は、緑色光ＬＧによる露光が行われないので、Ｃｙ画素信号は、原色型カラーセンサにおける青色（Ｂ）画素信号とみなすことができ、Ｙｅ画素信号は、原色型カラーセンサにおける赤色（Ｒ）画素信号とみなすことができる。したがって、前述のＤＳＰ４２には、Ｃｙ画素信号及びＹｅ画素信号が、Ｂ画素信号及びＲ画素信号として入力される。ＤＳＰ４２は、撮像素子３４から入力されるＧ画素信号、Ｂ画素信号、Ｒ画素信号を前述の画像信号として各種信号処理を施す。

このように、撮像素子３４の緑色光ＬＧに対する受光期間は、時刻ｔ０から時刻ｔ１までの期間であり、光源装置１４による緑色光ＬＧの発光期間と一致している。また、撮像素子３４の赤色光ＬＲ及び青色光ＬＢに対する受光期間は、時刻ｔ１から時刻ｔ２までの期間であり、光源装置１４による赤色光ＬＲ及び青色光ＬＢの発光期間と一致している。

以上のように、光源装置１４に、緑色光ＬＧを、赤色光ＬＲ及び青色光ＬＢとは別に発光させ、撮像素子３４に、緑色光ＬＧと、赤色光ＬＲ及び青色光ＬＢとをそれぞれ個別に受光させているので、信号処理によらず、撮像素子３４から、直接、Ｒ画素信号、Ｇ画素信号、及びＢ画素信号を取得することができる。このように、撮像素子３４の色分離性を、原色型カラーセンサの色分離性と同等とすることができる。この結果、短波光である青色光ＬＢにより画像化される毛細血管等の微細構造の視認性が向上し、かつ色彩強調処理により得られる画像の画質が向上する。

なお、光源制御部２１は、赤色光ＬＲの発光強度Ｉ_Ｒ、緑色光ＬＧの発光強度Ｉ_Ｇ、青色光ＬＢの発光強度Ｉ_Ｂをそれぞれ制御することができる。本実施形態では、Ｉ_Ｒ＝Ｉ_Ｇ＝Ｉ_Ｂとしているが、観察対象の分光反射特性等に応じて、発光強度Ｉ_Ｒ、Ｉ_Ｇ、Ｉ_Ｂの強度比を適宜変更しても良い。

以上のように構成された内視鏡システム１０の作用を説明する。まず、操作者により、体腔内に内視鏡１２の挿入部１２ａが挿入される。プロセッサ装置１６の操作パネル等が操作されて撮影開始指示がなされると、第２光源２３ｂから緑色光ＬＧの発光が開始される。撮像素子３４は、緑色光ＬＧの発光が開始されるとともに、順次リセット方式により全画素行が１画素行ずつ順にリセットされる。

そして、撮像素子３４は、発光開始時刻ｔ０から第１の露光時間Ｔ_Ｅ１が経過した後、間引き出し方式により、奇数画素行のみの読み出し動作を行い、デジタル化されたＭｇ画素信号及びＧ画素信号を出力する。このＭｇ画素信号及びＧ画素信号のうち、Ｇ画素信号が、プロセッサ装置１６のＤＳＰ４２に入力される。また、第２光源２３ｂは、撮像素子３４の読み出し動作の終了とともに、緑色光ＬＧの発光を停止する。

そして、第１光源２３ａ及び第３光源２３ｃが、緑色光ＬＧの発光停止時刻ｔ１から、赤色光ＬＲ及び青色光ＬＢの発光をそれぞれ開始するとともに、撮像素子３４が順次リセット方式により全画素行が１画素行ずつ順にリセットされる。この後、時刻ｔ１から第２の露光時間Ｔ_Ｅ２が経過した後、間引き出し方式により、偶数画素行のみの読み出し動作を行い、デジタル化されたＣｙ画素信号及びＹｅ画素信号を出力する。このＣｙ画素信号及びＹｅ画素信号は、Ｂ画素信号及びＲ画素信号としてプロセッサ装置１６のＤＳＰ４２に入力される。また、第１光源２３ａ及び第３光源２３ｃは、撮像素子３４の読み出し動作の終了とともに、赤色光ＬＲ及び青色光ＬＢの発光をそれぞれ停止する。

この後、ＤＳＰ４２は、撮像素子３４から入力されたＢ画素信号、Ｇ画素信号、Ｒ画素信号からなる画像信号に対して各種信号処理を施す。そして、ＤＳＰ４２により信号処理が行われた画像信号は、ノイズ除去部４３によりノイズ除去処理が行われた後、観察画像生成部４４に入力される。観察画像生成部４４は、入力された画像信号に基づいて観察画像を生成する。この観察画像は、映像信号生成部４５を介してモニタ１８に表示される。以上の動作は、操作者により撮影開始指示がなされるまで、繰り返し周期的に行われ、モニタ１８に表示される観察画像は順次更新される。

なお、上記実施形態では、図７に示すように、緑色光ＬＧを、青色光ＬＢ及び赤色光ＬＲ（すなわちマゼンタ光）より先に発光させているが、緑色光ＬＧと、青色光ＬＢ及び赤色光ＬＲとの発光順序は逆であっても良い。

また、上記実施形態では、図７に示すように、リセット方式として順次リセット方式を用いているが、これに代えて、図８に示すように、一括リセット方式を用いても良い。この場合には、撮像制御部４０は、第２光源２３ｂが緑色光ＬＧの発光を開始する時刻ｔ０に、一括リセット方式により、撮像素子３４の全画素行をリセットさせる。

光源制御部２１は、時刻ｔ０から第１の露光時間Ｔ_Ｅ１が経過した時刻ｔ１に、第２光源２３ｂに緑色光ＬＧの発光を停止させる。このとき、撮像制御部４０は、時刻ｔ１から間引き出し方式により、奇数画素行のみの読み出し動作を行わせる。そして、撮像制御部４０は、奇数画素行の読み出し動作が終了する時刻ｔ２に、一括リセット方式により、撮像素子３４の全画素行をリセットさせる。また、光源制御部２１は、時刻ｔ２から、第１光源２３ａ及び第３光源２３ｃに赤色光ＬＲ及び青色光ＬＢの発光をそれぞれ開始させる。

この後、光源制御部２１は、時刻ｔ２から第２の露光時間Ｔ_Ｅ２が経過した時刻ｔ３に、第１光源２３ａ及び第３光源２３ｃに赤色光ＬＲ及び青色光ＬＢの発光をそれぞれ停止させる。そして、撮像制御部４０は、時刻ｔ３から間引き読み出し方式により、偶数画素行の読み出し動作を行わせる。その他の動作は、上記実施形態と同一である。

このように、図８に示す方式では、一括リセットにより全画素行が受光（電荷蓄積）を開始するので、受光開始タイミングが同一であるとともに、各光の発光を停止してから読み出しを行うので、全画素行の受光終了タイミングが同一である。したがって、図８に示す方式は、いわゆるグローバルシャッタ方式であり、全画素行について受光期間が同一である。

これに対して、図７に示す方式は、ローリングシャッタ方式であって、受光期間が画素行ごとに異なる。図８に示す方式は、グローバルシャッタ方式であるので、全画素行の色ごとの受光期間が同一である（いわゆる同時性が得られる）。また、図８に示すグローバルシャッタ方式は、同時性が得られること以外に、ローリングシャッタ方式に比べて、第１及び第２の露光時間Ｔ_Ｅ１，Ｔ_Ｅ２が長くなり、露光量が増加するという利点がある。
［第２実施形態］
上記第１実施形態では、撮像素子３４の信号読み出し方式として、間引き出し方式を用いているが、第２実施形態では、間引き出し方式に代えて、全画素読み出し方式を用いる。

第２実施形態では、図９に示すように、撮像制御部４０は、緑色光ＬＧの発光終了に合わせて、全画素読み出し方式により、撮像素子３４に、全画素行（偶数画素行及び奇数画素行）を１画素行ずつ順に読み出させる。これにより、撮像素子３４からは、デジタル化されたＧ画素信号、Ｍｇ画素信号、Ｃｙ画素信号、及びＹｅ画素信号が出力される。Ｇ画素、Ｍｇ画素、Ｃｙ画素、Ｙｅ画素のうち、Ｍｇ画素以外のＧ画素、Ｃｙ画素、及びＹｅ画素は、緑色光ＬＧに感度を有する。このため、Ｃｙ画素信号及びＹｅ画素信号は、Ｇ画素信号と同等の信号成分を有し、Ｇ画素信号とみなすことができる。ＤＳＰ４２には、Ｇ画素からのＧ画素信号に加えて、Ｃｙ画素信号及びＹｅ画素信号がそれぞれＧ画素信号として入力される。

同様に、撮像制御部４０は、赤色光ＬＲ及び青色光ＬＢの発光終了に合わせて、全画素読み出し方式により、撮像素子３４に、全画素行を１画素行ずつ順に読み出させる。これにより、撮像素子３４からは、デジタル化されたＧ画素信号、Ｍｇ画素信号、Ｃｙ画素信号、及びＹｅ画素信号が出力される。Ｇ画素、Ｍｇ画素、Ｃｙ画素、Ｙｅ画素のうち、Ｃｙ画素は青色光ＬＢに対して感度を有し、Ｙｅ画素は赤色光ＬＲに対して感度を有し、Ｍｇ画素は青色光ＬＢ及び赤色光ＬＲに対して感度を有する。このため、第１実施形態と同様に、Ｃｙ画素信号はＢ画素信号とみなすことができ、Ｙｅ画素信号はＲ画素信号とみなすことができる。また、Ｍｇ画素信号は、Ｂ画素信号とＲ画素信号とが加算された信号である。ＤＳＰ４２には、Ｃｙ画素信号及びＹｅ画素信号が、Ｂ画素信号とＲ画素信号として入力されるとともに、Ｍｇ画素信号が入力される。

第２実施形態では、ＤＳＰ４２は、下式（１）に示すように、Ｍｇ画素信号からＣｙ画素信号（Ｂ画素信号）を減じることにより、Ｒ画素信号を生成する。また、ＤＳＰ４２は、下式（２）に示すように、Ｍｇ画素信号からＹｅ画素信号（Ｒ画素信号）を減じることにより、Ｂ画素信号を生成する。この際、Ｃｙ画素信号及びＹｅ画素信号は、Ｍｇ画素信号が取得されたＭｇ画素に隣接するＣｙ画素及びＹｅ画素の信号を用いる。

Ｒ＝Ｍｇ−Ｃｙ ・・・（１）
Ｂ＝Ｍｇ−Ｙｅ ・・・（２）
第２実施形態のその他の処理や動作は、上記第１実施形態と同一である。第２実施形態では、緑色光ＬＧの受光後の読み出し時と、青色光ＬＢ及び赤色光ＬＲの受光後の読み出し時のいずれにおいても、Ｇ画素信号、Ｍｇ画素信号、Ｃｙ画素信号、及びＹｅ画素信号のうちの３つの画素信号が画像生成に用いられるので、第１実施形態と同等の色分離性を保ったまま解像度を向上させることができる。なお、第２実施形態においても、ローリングシャッタ方式に代えてグローバルシャッタ方式を用いる等、第１実施形態と同様の変形が可能である。

なお、上記第２実施形態では、図４に示すように、偶数画素行にＣｙフィルタ６０ａとＹｅフィルタ６０ｃとが交互に配置され、奇数画素行にＭｇフィルタ６０ｂとＧフィルタ６０ｄとが交互に配置されたカラーフィルタアレイ６０を用いているが、このカラーフィルタアレイ６０に代えて、各フィルタの配列順序を変更したその他のカラーフィルタを用いても良い。

例えば、図１０に示すように、偶数画素行にＭｇフィルタ６０ｂとＧフィルタ６０ｄとが交互に配置され、奇数画素行にＣｙフィルタ６０ａとＹｅフィルタ６０ｃとが交互に配置されたカラーフィルタアレイ６１を用いても良い。また、図１１に示すように、偶数画素行にＣｙフィルタ６０ａとＧフィルタ６０ｄとが交互に配置され、奇数画素行にＭｇフィルタ６０ｂとＹｅフィルタ６０ｃとが交互に配置されたカラーフィルタアレイ６２を用いても良い。さらに、図１２に示すように、偶数画素行にＭｇフィルタ６０ｂとＹｅフィルタ６０ｃとが交互に配置され、奇数画素行にＣｙフィルタ６０ａとＧフィルタ６０ｄとが交互に配置されたカラーフィルタアレイ６３を用いても良い。

上記のように、第２実施形態では、緑色光ＬＧの受光後と、青色光ＬＢ及び赤色光ＬＲの受光後とのいずれの読み出し時にも、全画素読み出し方式によりに偶数画素行及び奇数画素行の読み出しが行われるので、カラーフィルタアレイ６０に代えて、カラーフィルタアレイ６１〜６３のいずれを用いたとしても、信号処理については第２実施形態と同様である。

これに対して、第１実施形態のように、緑色光ＬＧの受光後に奇数画素行のみを読み出し、青色光ＬＢ及び赤色光ＬＲの受光後に偶数画素行のみを読み出す場合には、図４に示すカラーフィルタアレイ６０を用いることが好ましい。これは、青色光ＬＢ及び赤色光ＬＲの露光に対して、偶数画素行のＣｙ画素が青色光ＬＢに感度を有し、Ｙｅ画素が赤色光ＬＲに感度を有することにより、青色光ＬＢと赤色光ＬＲとを色分離性良く受光することができるためである。

もし、第１実施形態において、図１０に示すカラーフィルタアレイ６１を用いた場合には、偶数画素行に配列されたＭｇ画素とＧ画素のうち、Ｍｇ画素は青色光ＬＢと赤色光ＬＲとの両方に感度を有し、Ｇ画素は青色光ＬＢと赤色光ＬＲとのいずれにも感度を有さないので、青色光ＬＢと赤色光ＬＲとを色分離性良く受光することはできない。

また、第１実施形態において、図１１に示すカラーフィルタアレイ６２を用いた場合には、偶数画素行に配列されたＣｙ画素とＧ画素のうち、Ｃｙ画素は青色光ＬＢに感度を有し、Ｇ画素は青色光ＬＢと赤色光ＬＲとのいずれにも感度を有さないので、青色光ＬＢと赤色光ＬＲとを色分離性良く受光することはできない。

また、第１実施形態において、図１２に示すカラーフィルタアレイ６３を用いた場合には、偶数画素行に配列されたＭｇ画素とＹｅ画素のうち、Ｍｇ画素は青色光ＬＢと赤色光ＬＲとの両方に感度を有し、Ｙｅ画素は赤色光ＬＲに感度を有する。この場合には、上式（２）のように、Ｍｇ画素信号からＹｅ画素信号を減算することで、Ｂ画素信号を生成することが可能である。また、この場合、奇数画素行に配置されたＣｙ画素とＧ画素とは共に緑色光ＬＧに感度を有するので、緑色光ＬＧに対して高分解能である。

また、上記各実施形態では、補色型の撮像素子３４が内蔵された内視鏡１２を有する内視鏡システム１０において、図７等に示す発光タイミング及び撮像タイミングを用いることにより撮像素子３４の色分離性を高めているが、従来の発光タイミング及び撮像タイミングを用いることにより、高感度な画像信号を得ることを可能としても良い。このために、例えば、プロセッサ装置１６の操作パネル等により、高色分離モードと高感度モードとを選択的に設定可能とする。

この場合、図１３に示すように、プロセッサ装置１６の操作パネル等が操作されて撮影開始指示がなされると、設定されている動作モードの判定が行われる。高色分離モードが設定されている場合には、上記各実施形態と同様に、緑色光ＬＧと、青色光ＬＢ及び赤色光ＬＲ（マゼンタ光）とが順次に観察対象に照射されるとともに、撮像素子３４による撮像動作が行われる。そして、信号処理等が行われた後、観察画像が生成され、モニタ１８に画像表示が行われる。

一方、高色分離モードでなく、高感度モードが設定されている場合には、緑色光ＬＧ、青色光ＬＢ、及び赤色光ＬＲが同時に発光され、これらが混合されてなる白色光が観察対象に照射されるとともに撮像素子３４による撮像動作が行われる。この撮像動作は、例えば、全画素読み出し方式で行われ、撮像素子３４からＣｙ画素信号、Ｍｇ画素信号、Ｙｅ画素信号、及びＧ画素信号が出力される。ＤＳＰ４２では、Ｃｙ画素信号、Ｍｇ画素信号、Ｙｅ画素信号、及びＧ画素信号に基づき、公知のマトリクス演算を行うことにより、Ｒ画素信号、Ｇ画素信号、及びＢ画素信号が生成される。そして、これらの画素信号に基づいて観察画像が生成され、モニタ１８に画像表示が行われる。

さらに、光源装置１４及びプロセッサ装置１６に、原色型の撮像素子が内蔵された内視鏡を接続可能とし、この内視鏡が接続された場合に、緑色光ＬＧ、青色光ＬＢ、及び赤色光ＬＲを同時発光させるように構成しても良い。

また、上記各実施形態では、図４，１０〜１２に示すように、画素アレイの先頭の画素行を「０」番目、すなわち偶数画素行と定義しているが、先頭の画素行を「１」番目、すなわち奇数画素行と定義しても良い。このように、偶数画素行と奇数画素行とは、可換である。すなわち、上記各実施形態において、偶数画素行を奇数画素行と読み替え、奇数画素行を偶数画素行と読み替えても良い。

上記各実施形態では、光源装置１４とプロセッサ装置１６とを別体構成としているが、光源装置とプロセッサ装置とを１つの装置で構成しても良い。

１０ 内視鏡システム
１４ 光源装置
１６ プロセッサ装置
２０ 光源部
２１ 光源制御部
２５ ライトガイド
３４ 撮像素子
４０ 撮像制御部

Claims (9)

1. 赤色光、緑色光、青色光をそれぞれ照明光として発する光源部と、
   前記光源部の発光タイミングを制御して、前記緑色光を、前記赤色光及び前記青色光とは別に発光させる光源制御部と、
   前記照明光が照射された観察対象からの戻り光を受光する補色型の撮像素子と、
   前記発光タイミングに合わせて前記撮像素子の撮像タイミングを制御して、前記緑色光と、前記赤色光及び前記青色光とをそれぞれ個別に受光させる撮像制御部と、
   を備える内視鏡システム。
2. 前記撮像素子は、前記緑色光及び前記青色光を受光するシアン画素と、前記赤色光及び前記青色光を受光するマゼンタ画素と、前記赤色光及び前記緑色光を受光する黄色画素と、前記緑色光を受光する緑色画素とを有する請求項１記載の内視鏡システム。
3. 前記撮像素子は、前記シアン画素と前記黄色画素とが交互に配置された偶数画素行と、前記マゼンタ画素と前記緑色画素とが交互に配置された奇数画素行とを有する請求項２記載の内視鏡システム。
4. 前記撮像制御部は、前記緑色光の受光後に、前記撮像素子から前記奇数画素行を読み出させ、前記赤色光及び前記青色光の受光後に、前記撮像素子から前記偶数画素行を読み出させる請求項３記載の内視鏡システム。
5. 前記奇数画素行から読み出された緑色画素信号と、前記偶数画素行から読み出されたシアン画素信号及び黄色画素信号とを用いて観察画像を生成する信号処理部を備える請求項４記載の内視鏡システム。
6. 前記撮像制御部は、前記緑色光の受光後に、前記撮像素子の全画素を読み出させ、前記赤色光及び前記青色光の受光後に、前記撮像素子の全画素を読み出させる請求項２または３記載の内視鏡システム。
7. 前記緑色光の受光後に前記撮像素子から読み出された緑色画素信号、シアン画素信号、及び黄色画素信号と、前記赤色光及び前記青色光の受光後に前記撮像素子から読み出されたマゼンタ画素信号、シアン画素信号、及び黄色画素信号とを用いて観察画像を生成する信号処理部を備える請求項６記載の内視鏡システム。
8. 前記信号処理部は、前記赤色光及び前記青色光の受光後に前記撮像素子から読み出された前記マゼンタ画素信号から前記シアン画素信号を減じることにより赤色画素信号を生成し、前記マゼンタ画素信号から前記黄色画素信号を減じることにより青色画素信号を生成する請求項７記載の内視鏡システム。
9. 赤色光、緑色光、青色光をそれぞれ照明光として発する光源部と、前記照明光が照射された観察対象からの戻り光を受光する補色型の撮像素子とを備える内視鏡システムの作動方法において、
   前記光源部の発光タイミングを制御して、前記緑色光を、前記赤色光及び前記青色光とは別に発光させ、
   前記発光タイミングに合わせて前記撮像素子の撮像タイミングを制御して、前記緑色光と、前記赤色光及び前記青色光とをそれぞれ個別に受光させる内視鏡システムの作動方法。

Images