JP6312254B2 - 内視鏡システム及びその作動方法 - Google Patents

Description

本発明は、内視鏡システム及びその作動方法に関する。

医療分野においては、内視鏡用光源装置（以下、光源装置という）、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。光源装置は、体腔の粘膜等の観察対象に照射する照明光を生成する装置である。内視鏡は、照明光が照射された観察対象を撮像する撮像素子を有している。

この内視鏡システムとしては、照明光として白色光を発する光源装置を用い、撮像素子として同時式のカラーセンサを用いるものが知られている。このカラーセンサは、観察対象から内視鏡に入射する入射光を青色（Ｂ）光、緑色（Ｇ）光、赤色（Ｒ）光に分光して撮像する。

光源装置から発せられる白色光は、光源の特性によってＢ光、Ｇ光、Ｒ光の各光量が異なることや、撮像素子の分光感度特性が色ごとに異なることから、色ごとの光量調整を可能とした光源装置が知られている（特許文献１参照）。この光源装置は、白色光に含まれるＢ光、Ｇ光、Ｒ光の各光量を調整可能とする。特許文献１では、Ｂ光の光量をＧ光の光量より大きくし、Ｇ光の光量をＲ光の光量より大きくすること（すなわち、Ｂ光＞Ｇ光＞Ｒ光）が好ましいとされている。

特開２０１２−１２５３９５号公報

観察対象のうち大腸の粘膜等は、波長が短い光ほど反射率が小さいという特性を有する一方で、粘膜表層付近から得られる重要な情報は、波長の短い光の戻り光が支配的である。この粘膜表層には、短波光であるＢ光の吸収が強いヘモグロビンを含む毛細血管等の微細構造が含まれるので、この微細構造を含めた画像を生成するためには、特許文献１に記載のように、光源装置が発する各色の光量を「Ｂ光＞Ｇ光＞Ｒ光」の関係とすることが好ましい。但し、このとき、撮像素子の撮像信号レベルが「Ｂ画素信号＞Ｇ画素信号＞Ｒ画素信号」の関係となり、Ｒ画素信号のレベルが低下する場合がある。

特許文献１には、Ｂ画素信号とＧ画素信号とを用いて特殊光観察画像を生成することが記載されている。このような特殊光観察では、画像生成にはＲ画素信号を用いないため、上記の光量の関係による画質低下の影響は少ない。しかしながら、近年では、白色光を用いて撮像した画像に対して画像処理を施し、正常部と病変部の境界領域を明瞭化するための色彩強調処理に注目が集まっている。このように、色彩強調処理を行う場合には、赤色画像についても、青色画像や緑色画像と同等の画質が得られることが好ましい。

また、内視鏡には、撮像素子として補色型のカラーセンサを用いたものがある。補色型のカラーセンサは、観察対象から内視鏡に入射する入射光を、シアン（Ｃｙ）光、マゼンタ（Ｍｇ）光、黄色（Ｙｅ）光、緑色（Ｇ）光に分光して撮像する。このような補色型の撮像素子は、原色型に比べて高感度ではあるが、Ｒ，Ｇ，Ｂに関する色分離性については劣る。このため、撮像素子として補色型のカラーセンサを用いた場合には、色彩強調処理により得られる赤色画像の画質は、より劣化してしまう。

本発明は、赤色画像の画質を向上させ、色彩強調処理により高画質な観察画像を得ることを可能とする内視鏡システム及びその作動方法を提供することを目的とする。

上記目的を達成するために、本発明の内視鏡システムは、色が異なる第１光、第２光、第３光をそれぞれ照明光として発する光源部と、照明光の発光タイミング及び発光強度を制御して、第２光と、第１光及び第３光とをそれぞれ個別に発光させ、かつ、第１光の発光時間を、第２光の発光時間及び第３光の発光時間よりも長くし、第１光、第２光、第３光の順に発光強度を大きくする光源制御部と、照明光が照射された観察対象からの戻り光を受光する補色型の撮像素子と、発光タイミングに合わせて撮像素子の撮像タイミングを制御して、第２光と、第１光及び第３光とをそれぞれ個別に受光させる撮像制御部とを備える。

第１光は赤色光であり、第２光は緑色光であり、第３光は青色光であり、撮像素子は、第２光及び第３光を受光するシアン画素と、第１光及び第３光を受光するマゼンタ画素と、第１光及び第２光を受光する黄色画素と、第２光を受光する緑色画素とを有することが好ましい。

撮像素子は、シアン画素と黄色画素とが交互に配置された偶数画素行と、マゼンタ画素と緑色画素とが交互に配置された奇数画素行とを有することが好ましい。

撮像制御部は、第２光の受光後に、撮像素子から奇数画素行を読み出させ、第１光及び第３光の受光後に、撮像素子から偶数画素行を読み出させることが好ましい。この場合には、奇数画素行から読み出された緑色画素信号と、偶数画素行から読み出されたシアン画素信号及び黄色画素信号とを用いて観察画像を生成する信号処理部を備えることが好ましい。

撮像制御部は、第２光の受光後に、撮像素子の全画素を読み出させ、第１光及び第３光の受光後に、撮像素子の全画素を読み出させることも好ましい。この場合には、第２光の受光後に撮像素子から読み出された緑色画素信号、シアン画素信号、及び黄色画素信号と、第１光及び第３光の受光後に撮像素子から読み出されたマゼンタ画素信号、シアン画素信号、及び黄色画素信号とを用いて観察画像を生成する信号処理部を備えることが好ましい。

信号処理部は、第１光及び第３光の受光後に撮像素子から読み出されたマゼンタ画素信号からシアン画素信号を減じることにより赤色画素信号を生成し、マゼンタ画素信号から黄色画素信号を減じることにより青色画素信号を生成することが好ましい。

本発明の内視鏡システムの作動方法は、色が異なる第１光、第２光、第３光をそれぞれ照明光として発する光源部と、照明光が照射された観察対象からの戻り光を受光する補色型の撮像素子とを備える内視鏡システムの作動方法において、照明光の発光タイミング及び発光強度を制御して、第２光と、第１光及び第３光とをそれぞれ個別に発光させ、かつ、第１光の発光時間を、第２光の発光時間及び第３光の発光時間よりも長くし、第１光、第２光、第３光の順に発光強度を大きくし、撮像素子を制御して、第２光と、第１光及び第３光とをそれぞれ個別に受光させる。

本発明によれば、第２光と、第１光及び第３光とをそれぞれ個別に発光させ、かつ、第１光の発光時間を、第２光の発光時間及び第３光の発光時間よりも長くし、第１光、第２光、第３光の順に発光強度を大きくし、撮像素子を制御して、第２光と、第１光及び第３光とをそれぞれ個別に受光させるので、赤色画像の画質を向上させ、色彩強調処理により高画質な観察画像を得ることを可能とすることができる。

内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 撮像素子の構成を示す図である。 カラーフィルタの色配列を示す図である。 カラーフィルタの分光特性を示す図である。 撮像素子の画素の構成を示す図である。 発光及び撮像のタイミングを示す図である。 粘膜の分光反射率を示すグラフである。 グローバルシャッタ方式の発光及び撮像のタイミングを示す図である。 第２実施形態の発光及び撮像のタイミングを示す図である。 カラーフィルタの色配列の第１変形例を示す図である。 カラーフィルタの色配列の第２変形例を示す図である。 カラーフィルタの色配列の第３変形例を示す図である。

［第１実施形態］
図１において、内視鏡システム１０は、内視鏡１２と、内視鏡用光源装置（以下、光源装置という）１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを備えている。内視鏡１２は、光源装置１４と光学的に接続されるとともに、プロセッサ装置１６と電気的に接続される。内視鏡１２は、体腔内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄを有している。

操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作によって、先端部１２ｄが所望の方向に向けられる。操作部１２ｂには、アングルノブ１２ｅの他、ズーム操作部１３等が設けられている。

光源装置１４は、照明光を発生し、内視鏡１２に供給する。内視鏡１２に供給された照明光は、先端部１２ｄに導かれ、先端部１２ｄから体腔内の観察対象に照射される。

プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続される。モニタ１８は、観察画像や、観察画像に付帯する画像情報等を出力表示する。コンソール１９は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置１６には、観察画像や画像情報等を記録する外付けの記録部（図示せず）が接続可能である。

図２に示すように、光源装置１４は、観察対象を照明するための照明光を発生する光源部２０と、光源部２０の発光タイミング及び発光強度を制御する光源制御部２１とを備えている。光源部２０は、駆動部２２と、第１〜第３光源２３ａ〜２３ｃと、光路統合部２４とを有する。駆動部２２は、光源制御部２１からの制御に基づいて、第１〜第３光源２３ａ〜２３ｃをそれぞれ駆動する。

第１光源２３ａは、赤色光（第１光）ＬＲを発する赤色ＬＥＤ（Light-emitting diode）である。この赤色光ＬＲは、例えば、波長帯域が６１５ｎｍ〜６３５ｎｍであり、中心波長が６２０±１０ｎｍである。第２光源２３ｂは、緑色光（第２光）ＬＧを発する緑色ＬＥＤである。この緑色光ＬＧは、例えば、波長帯域が５００ｎｍ〜６００ｎｍであり、中心波長が５２０±１０ｎｍである。第３光源２３ｃは、青色光（第３光）ＬＢを発する青色ＬＥＤである。この青色光ＬＢは、例えば、波長帯域が４４０ｎｍ〜４７０ｎｍであり、中心波長が４５５±１０ｎｍである。赤色光ＬＲ、緑色光ＬＧ、青色光ＬＢは、光源制御部２１の制御により、それぞれ個別に発光される。

光路統合部２４は、ダイクロイックミラー等で構成され、第１〜第３光源２３ａ〜２３ｃから発せられる各光の光路を統合する。光路統合部２４から射出された光は、照明光として、挿入部１２ａ内に挿通されたライトガイド２５に供給される。

ライトガイド２５は、内視鏡１２内に内蔵されており、照明光を内視鏡１２の先端部１２ｄまで伝搬させる。なお、ライトガイド２５としては、マルチモードファイバを使用することができる。例えば、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルをライトガイド２５として使用可能である。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは、照明レンズ３１を有している。ライトガイド２５内を伝搬した照明光は、照明レンズ３１を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ３２、ズームレンズ３３、撮像素子３４を有している。観察対象からの戻り光は、対物レンズ３２及びズームレンズ３３を介して撮像素子３４に入射する。これにより、撮像素子３４の撮像面（図示せず）に観察対象の光像が結像される。なお、ズームレンズ３３は、ズーム操作部１３を操作することで、テレ端とワイド端の間で自在に移動され、撮像素子３４の撮像面に結像する観察対象の光像を拡大または縮小する。

撮像素子３４は、同時式の補色型カラーセンサであり、照明光が照射された観察対象からの戻り光を受光して画像信号を出力する。この撮像素子３４は、戻り光を、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄色（Ｙｅ）、緑色（Ｇ）の色ごとに分離して受光可能である。この撮像素子３４としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型撮像素子が用いられる。撮像素子３４は、画像信号として、Ｃｙ画素信号、Ｍｇ画素信号、Ｙｅ画素信号、Ｇ画素信号からなる画像信号を出力する。

プロセッサ装置１６は、撮像制御部４０と、受信部４１と、ＤＳＰ（Digital Signal Processor）４２と、ノイズ除去部４３と、観察画像生成部４４と、映像信号生成部４５とを備えている。ＤＳＰ４２、ノイズ除去部４３、及び観察画像生成部４４が、特許請求の範囲に記載の信号処理部に対応する。

撮像制御部４０は、撮像素子３４による観察対象の撮像タイミングを制御する。受信部４１は、内視鏡１２の撮像素子３４から出力されたデジタルの画像信号を受信する。ＤＳＰ４２は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。

欠陥補正処理では、撮像素子３４の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確なゼロレベルが設定される。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲイン値を乗じることにより信号レベルが整えられる。ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理（等方化処理、同時化処理とも称される）が施される。

ノイズ除去部４３は、ＤＳＰ４２でデモザイク処理等が施された画像信号に対してノイズ除去処理（移動平均法やメディアンフィルタ法等による処理）を施すことによってノイズを除去する。ノイズが除去された画像信号は、観察画像生成部４４に入力される。

観察画像生成部４４は、ノイズ除去部４３から入力された画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行うことにより、観察画像を生成する。色変換処理では、画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（ルックアップテーブル）処理などにより色変換処理を行う。色彩強調処理は、色変換処理済みの画像信号に対して行われる。構造強調処理は、表層血管やピットパターン等の観察対象の構造を強調する処理であり、色彩強調処理後の画像信号に対して行われる。

観察画像生成部４４が生成する観察画像は、映像信号生成部４５に入力される。映像信号生成部４５は、各画像をモニタ１８に表示するための映像信号に変換する。モニタ１８は、映像信号生成部４５から入力される映像信号に基づいて画像表示を行う。

図３において、撮像素子３４は、画素アレイ部５０と、読み出し走査回路５１と、リセット走査回路５２と、カラムＡＤＣ（Analog-to-digital converter）回路５３と、ラインメモリ５４と、列走査回路５５と、タイミングジェネレータ（ＴＧ：Timing generator）５６とを有する。ＴＧ５６は、プロセッサ装置１６の撮像制御部４０から入力される撮像制御信号に基づいてタイミング信号を発生し、各部を制御する。

画素アレイ部５０は、複数の画素５０ａが行方向（Ｘ方向）及び列方向（Ｙ方向）にマトリクス状に２次元配列されたものであり、撮像素子３４の撮像面に設けられている。画素アレイ部５０には、行方向に沿って、行選択線ＬＳ及び行リセット線ＬＲが配されており、列方向に沿って列信号線ＬＶが配されている。

行選択線ＬＳ及び行リセット線ＬＲは、１画素行毎に設けられている。列信号線ＬＶは、１画素列毎に設けられている。ここで、画素行とは、行方向に並んだ１行分の画素５０ａを指している。画素列とは、列方向に並んだ１列分の画素５０ａを指している。１画素行内の各画素５０ａは、行選択線ＬＳ及び行リセット線ＬＲに共通に接続されている。

画素アレイ部５０の光入射側には、図４に示すように、カラーフィルタアレイ６０が設けられている。カラーフィルタアレイ６０は、シアン（Ｃｙ）フィルタ６０ａ、マゼンタ（Ｍｇ）フィルタ６０ｂ、黄色（Ｙｅ）フィルタ６０ｃ、緑色（Ｇ）フィルタ６０ｄを有している。これらのフィルタのうちいずれか１つが各画素５０ａ上に配置されている。カラーフィルタアレイ６０の色配列は、いわゆる補色市松色差線順次方式である。

カラーフィルタアレイ６０は、図５に示す分光特性を有する。Ｃｙフィルタ６０ａは、ほぼ青色光ＬＢと緑色光ＬＧとを透過させる透過特性を有している。Ｍｇフィルタ６０ｂは、ほぼ青色光ＬＢと赤色光ＬＲとを透過させる透過特性を有している。Ｙｅフィルタ６０ｃは、ほぼ緑色光ＬＧと赤色光ＬＲとを透過させる透過特性を有している。Ｇフィルタ６０ｄは、緑色光ＬＧを透過させる透過特性を有している。

以下、Ｃｙフィルタ６０ａが配置された画素５０ａをＣｙ画素と称し、Ｍｇフィルタ６０ｂが配置された画素５０ａをＭｇ画素と称し、Ｙｅフィルタ６０ｃが配置された画素５０ａをＹｅ画素と称し、Ｇフィルタ６０ｄが配置された画素５０ａをＧ画素と称する。偶数（０，２，４，・・・，Ｎ−１）の各画素行には、Ｃｙ画素とＹｅ画素とが交互に配置されている。奇数（１，３，５，・・・，Ｎ）の各画素行には、Ｍｇ画素とＧ画素とが交互に配置されている。

各画素５０ａは、図６に示すように、フォトダイオードＤ１と、アンプトランジスタＭ１と、画素選択トランジスタＭ２と、リセットトランジスタＭ３とを有する。フォトダイオードＤ１は、入射光を光電変換して入射光量に応じた信号電荷を生成し、これを蓄積する。アンプトランジスタＭ１は、フォトダイオードＤ１に蓄積された信号電荷を電圧値（画素信号）に変換する。画素選択トランジスタＭ２は、行選択線ＬＳにより制御され、アンプトランジスタＭ１により生成された画素信号を列信号線ＬＶに出力させる。リセットトランジスタＭ３は、行リセット線ＬＲにより制御され、フォトダイオードＤ１に蓄積された信号電荷を電源線に破棄（リセット）する。

読み出し走査回路５１は、ＴＧ５６から入力されるタイミング信号に基づいて、行選択信号を発生する。読み出し走査回路５１は、信号読み出し動作時に、行選択線ＬＳに行選択信号を与えることにより、行選択信号が与えられた行選択線ＬＳに接続された画素５０ａの画素信号を、列信号線ＬＶに出力させる。

リセット走査回路５２は、ＴＧ５６から入力されるタイミング信号に基づいて、リセット信号を発生する。リセット走査回路５２は、リセット動作時に、行リセット線ＬＲにリセット信号を与えることにより、リセット信号が与えられた行リセット線ＬＲに接続された画素５０ａをリセットする。

カラムＡＤＣ回路５３には、信号読み出し動作時に列信号線ＬＶに出力された画素信号が入力される。カラムＡＤＣ回路５３は、各列信号線ＬＶにＡＤＣが接続されてなり、各列信号線ＬＶから入力される画素信号を、時間とともに階段状に変化する参照信号（ランプ波）と比較することにより、デジタル信号に変換してラインメモリ５４に出力する。

ラインメモリ５４は、カラムＡＤＣ回路５３によりデジタル化された１行分の画素信号を保持する。列走査回路５５は、ＴＧ５６から入力されるタイミング信号に基づいて、ラインメモリ５４を走査することにより、画素信号を出力端子Ｖｏｕｔから順に出力させる。出力端子Ｖｏｕｔから出力される１フレーム分の画素信号が前述の画像信号である。

撮像素子３４は、信号読み出し方式として、「全画素読み出し方式」と「間引き出し方式」が実行可能である。全画素読み出し方式では、読み出し走査回路５１により、各画素行の行選択線ＬＳが順に選択されながら、選択された行選択線ＬＳに行選択信号が与えられる。これにより、画素アレイ部５０の全画素５０ａについて、先頭画素行「０」から最終画素行「Ｎ」まで、１画素行ずつ順に信号読み出しが行われる。

間引き出し方式では、画素アレイ部５０から偶数（０，２，４，・・・，Ｎ−１）の画素行（以下、偶数画素行という）または奇数（１，３，５，・・・，Ｎ）の画素行（以下、奇数画素行という）のみを選択的に読み出すことを可能とする。例えば、画素アレイ部５０から偶数画素行のみを読み出す場合には、読み出し走査回路５１により、偶数画素行の行選択線ＬＳのみが順に選択されながら、選択された行選択線ＬＳに行選択信号が与えられる。これにより、全画素行のうちの偶数画素行のみについて、１画素行ずつ順に信号読み出しが行われる。

この場合、ラインメモリ５４には、偶数画素行から読み出された画素信号（Ｃｙ画素信号及びＹｅ画素信号）が記憶される。列走査回路５５は、ラインメモリ５４に偶数画素行から１画素行分の画素信号（Ｃｙ画素信号及びＹｅ画素信号）が記憶されるたびに、ラインメモリ５４の走査を行う。

奇数画素行のみを読み出す場合も同様である。この場合には、ラインメモリ５４には、奇数画素行から読み出された画素信号（Ｍｇ画素信号及びＧ画素信号）が記憶される。列走査回路５５は、ラインメモリ５４に奇数画素行から１画素行分の画素信号（Ｍｇ画素信号及びＧ画素信号）が記憶されるたびに、ラインメモリ５４の走査を行う。

また、撮像素子３４は、リセット方式として、「順次リセット方式」及び「一括リセット方式」が実行可能である。順次リセット方式では、リセット走査回路５２により行リセット線ＬＲが順に選択されながら、選択された行リセット線ＬＲにリセット信号が与えられる。これにより、順次リセット方式では、先頭画素行「０」から最終画素行「Ｎ」まで、１画素行ずつ順にリセットが行われる。

一括リセット方式では、リセット走査回路５２により全ての行リセット線ＬＲが選択され、全ての行リセット線ＬＲに一括してリセット信号が与えられる。これにより、画素アレイ部５０の全画素行が一括して同時にリセットされる。

なお、図３には示していないが、撮像素子３４には、相関二重サンプリング（ＣＤＳ；Correlated Double Sampling）回路や、自動利得制御（ＡＧＣ；Automatic Gain Control）回路も適宜設けられる。ＣＤＳ回路は、画素５０ａから各列信号線ＬＶに出力される画素信号に相関二重サンプリング処理を行う。ＡＧＣ回路は、相関二重サンプリング処理が行われた画素信号に対してゲイン調整を行う。

光源制御部２１と撮像制御部４０とは互いに電気的に接続されている。撮像制御部４０は、光源制御部２１により制御される光源装置１４の照明光の発光タイミングに合わせて撮像素子３４の撮像タイミングを制御する。

次に、光源制御部２１及び撮像制御部４０により制御される発光タイミング及び撮像タイミングについて説明する。補色型カラーセンサである撮像素子３４は、Ｃｙ画素、Ｍｇ画素、及びＹｅ画素が、青色光ＬＢ、緑色光ＬＧ、赤色光ＬＲのうちの２つの光を受光するものであるので、原色型カラーセンサに比べて高感度ではあるが、Ｒ，Ｇ，Ｂに関する色分離性については劣る。前述の色彩強調処理は、Ｒ，Ｇ，Ｂに関して色分離性の高い撮像素子で得られた画像信号に関して行うことが好ましいため、本実施形態では、補色型カラーセンサである撮像素子３４の色分離性を、原色型カラーセンサの色分離性と同等することを可能とする制御方法を用いる。

図７に示すように、光源制御部２１は、駆動部２２を制御して、第２光源２３ｂに、時刻ｔ０から、緑色光ＬＧの発光を開始させる。このとき、撮像制御部４０は、撮像素子３４を制御して、時刻ｔ０から順次リセット方式によりリセット動作を行わせる。これにより、全画素行が１画素行ずつ順にリセットされる。各画素行は、リセットにより画素５０ａの不要電荷が破棄されることにより、順に電荷蓄積状態（露光状態）となる。

そして、撮像制御部４０は、時刻ｔ０から第１の露光時間Ｔ_Ｅ１が経過した時点で、撮像素子３４を制御して、間引き出し方式により、奇数画素行（Ｍｇ画素及びＧ画素）のみの読み出し動作を行わせる。これにより、撮像素子３４からは、デジタル化されたＭｇ画素信号及びＧ画素信号が出力される。Ｍｇ画素及びＧ画素のうち、Ｇ画素のみが緑色光ＬＧに対して感度を有するので、前述のＤＳＰ４２にはＧ画素信号のみが入力される。

光源制御部２１は、駆動部２２を制御して、最終画素行Ｎの読み出しが行われる時刻ｔ１に、第２光源２３ｂの発光動作を停止させ、緑色光ＬＧの発光を終了させる。また、光源制御部２１は、緑色光ＬＧの発光を終了させるとともに、第３光源２３ｃに青色光ＬＢの発光を開始させる。そして、光源制御部２１は、時刻ｔ１から一定時間経過後の時刻ｔ２において第３光源２３ｃの発光動作を停止させて青色光ＬＢの発光を終了させるとともに、第１光源２３ａに赤色光ＬＲの発光を開始させる。

この後、撮像制御部４０は、時刻ｔ１から第２の露光時間Ｔ_Ｅ２が経過した時点で、撮像素子３４を制御して、間引き出し方式により、偶数画素行（Ｃｙ画素及びＹｅ画素）のみの読み出し動作を行わせる。光源制御部２１は、最終画素行Ｎの読み出しが行われる時刻ｔ３に、第１光源２３ａの発光動作を停止させ、赤色光ＬＲの発光を終了させる。これにより、撮像素子３４からは、デジタル化されたＣｙ画素信号及びＹｅ画素信号が出力される。Ｃｙ画素及びＹｅ画素のうち、Ｃｙ画素は青色光ＬＢに対して感度を有し、Ｙｅ画素は赤色光ＬＲに対して感度を有する。

第２の露光時間Ｔ_Ｅ２には、緑色光ＬＧの発光は行われておらず、Ｃｙ画素及びＹｅ画素は、緑色光ＬＧによる露光が行われていない。このため、Ｃｙ画素信号は、原色型カラーセンサにおける青色（Ｂ）画素信号とみなすことができ、Ｙｅ画素信号は、原色型カラーセンサにおける赤色（Ｒ）画素信号とみなすことができる。したがって、前述のＤＳＰ４２には、Ｃｙ画素信号及びＹｅ画素信号が、Ｂ画素信号及びＲ画素信号として入力される。ＤＳＰ４２は、撮像素子３４から入力されるＧ画素信号、Ｂ画素信号、Ｒ画素信号を前述の画像信号として各種信号処理を施す。

このように、撮像素子３４の緑色光ＬＧに対する受光期間は、時刻ｔ０から時刻ｔ１までの期間であり、光源装置１４による緑色光ＬＧの発光期間と一致している。また、撮像素子３４の青色光ＬＢ及び赤色光ＬＲに対する受光期間は、時刻ｔ１から時刻ｔ３までの期間であり、光源装置１４による青色光ＬＢ及び赤色光ＬＲの発光期間と一致している。

なお、光源制御部２１は、青色光ＬＢの発光強度Ｉ_Ｂを緑色光ＬＧの発光強度Ｉ_Ｇより大きくし、緑色光ＬＧの発光強度Ｉ_Ｇを赤色光ＬＲの発光強度Ｉ_Ｒより大きくしている（すなわち、Ｉ_Ｂ＞Ｉ_Ｇ＞Ｉ_Ｒ）。これは、観察対象のうち大腸の粘膜等は、図８に示すように、波長が短い光ほど反射率が小さいという特性を有する一方で、粘膜表層付近から得られる重要な情報は、波長が短い光の戻り光が支配的であるためである。この粘膜表層には、短波光である青色光ＬＢの吸収が強いヘモグロビンを含む毛細血管等の微細構造が含まれるので、この微細構造を含めた画像を生成するために、Ｉ_Ｂ＞Ｉ_Ｇ＞Ｉ_Ｒの関係としている。

また、光源制御部２１は、赤色光ＬＲの発光時間を、青色光ＬＢの発光時間及び緑色光ＬＧの発光時間より長くしている。これは、観察対象からの戻り光のうち、青色光ＬＢ及び緑色光ＬＧは、粘膜の表層部や中層部の構造に関する画像情報（高周波成分）を多く含み、ブレ（被写体ブレや操作者の手ブレ等）の影響を受けやすいが、赤色光ＬＲは、粘膜の深層部に関する画像情報（低周波成分）を多く含み、ブレの影響が少ないためである。このように、赤色光ＬＲの発光時間を、青色光ＬＢ及び緑色光ＬＧの発光時間より長くして、撮像素子３４の赤色光ＬＲに対する露光量を増加させることにより、赤色光ＬＲに対する感度アップ（Ｓ／Ｎの向上）を図っている。これにより、Ｒ画像の画質が向上し、観察画像生成部４４における色彩強調処理により高画質な観察画像が得られる。

また、前述の発光及び撮像方式により、信号処理を行うことなく、補色型カラーセンサである撮像素子３４から、直接、Ｇ画素信号、Ｂ画素信号、Ｒ画素信号が取得されるので、撮像素子３４の色分離性を、原色型カラーセンサの色分離性と同等することができる。これにより、色彩強調処理により得られる画像の画質が向上する。

以上のように構成された内視鏡システム１０の作用を説明する。まず、操作者により、体腔内に内視鏡１２の挿入部１２ａが挿入される。プロセッサ装置１６の操作パネル等が操作されて撮影開始指示がなされると、第２光源２３ｂから緑色光ＬＧの発光が開始される。撮像素子３４は、緑色光ＬＧの発光が開始されるとともに、順次リセット方式により全画素行が１画素行ずつ順にリセットされる。

そして、撮像素子３４は、発光開始時刻ｔ０から第１の露光時間Ｔ_Ｅ１が経過した後、間引き出し方式により、奇数画素行のみの読み出し動作を行い、デジタル化されたＭｇ画素信号及びＧ画素信号を出力する。このＭｇ画素信号及びＧ画素信号のうち、Ｇ画素信号が、プロセッサ装置１６のＤＳＰ４２に入力される。また、第２光源２３ｂは、撮像素子３４の読み出し動作の終了とともに、緑色光ＬＧの発光を停止する。

そして、第３光源２３ｃが、緑色光ＬＧの発光停止時刻ｔ１から、青色光ＬＢの発光を開始するとともに、撮像素子３４が順次リセット方式により全画素行が１画素行ずつ順にリセットされる。この後、時刻ｔ１から一定時間経過後の時刻ｔ２に、第２光源２３ｂが青色光ＬＢの発光を停止するとともに、第１光源２３ａが赤色光ＬＲの発光を開始する。

撮像素子３４は、時刻ｔ１から第２の露光時間Ｔ_Ｅ２が経過した後、間引き出し方式により、偶数画素行のみの読み出し動作を行い、デジタル化されたＣｙ画素信号及びＹｅ画素信号を出力する。このＣｙ画素信号及びＹｅ画素信号は、Ｂ画素信号及びＲ画素信号としてプロセッサ装置１６のＤＳＰ４２に入力される。また、第１光源２３ａは、撮像素子３４の読み出し動作の終了とともに、赤色光ＬＲの発光を停止する。

この後、ＤＳＰ４２は、撮像素子３４から入力されたＢ画素信号、Ｇ画素信号、Ｒ画素信号からなる画像信号に対して各種信号処理を施す。そして、ＤＳＰ４２により信号処理が行われた画像信号は、ノイズ除去部４３によりノイズ除去処理が行われた後、観察画像生成部４４に入力される。観察画像生成部４４は、入力された画像信号に基づいて観察画像を生成する。この観察画像は、映像信号生成部４５を介してモニタ１８に表示される。以上の動作は、操作者により撮影開始指示がなされるまで、繰り返し周期的に行われ、モニタ１８に表示される観察画像は順次更新される。

なお、上記実施形態では、図７に示すように、青色光ＬＢを赤色光ＬＲより先に発光させているが、青色光ＬＢと赤色光ＬＲとの発光順序は逆であっても良い。また、上記実施形態では、緑色光ＬＧを、青色光ＬＢ及び赤色光ＬＲより先に発光させているが、緑色光ＬＧと、青色光ＬＢ及び赤色光ＬＲとの発光順序は逆であっても良い。

また、上記実施形態では、図７に示すように、青色光ＬＢの発光時間と緑色光ＬＧの発光時間とを同一としているが、緑色光ＬＧの発光時間を、青色光ＬＢの発光時間より長くしても良い。

また、上記実施形態では、図７に示すように、リセット方式として順次リセット方式を用いているが、これに代えて、図９に示すように、一括リセット方式を用いても良い。この場合には、撮像制御部４０は、第２光源２３ｂが緑色光ＬＧの発光を開始する時刻ｔ０に、一括リセット方式により、撮像素子３４の全画素行をリセットさせる。

光源制御部２１は、時刻ｔ０から第１の露光時間Ｔ_Ｅ１が経過した時刻ｔ１に、第２光源２３ｂに緑色光ＬＧの発光を停止させる。このとき、撮像制御部４０は、時刻ｔ１から間引き出し方式により、奇数画素行のみの読み出し動作を行わせる。そして、撮像制御部４０は、奇数画素行の読み出し動作が終了する時刻ｔ２に、一括リセット方式により、撮像素子３４の全画素行をリセットさせる。また、光源制御部２１は、時刻ｔ２から、第３光源２３ｃに青色光ＬＢの発光を開始させる。

この後、光源制御部２１は、時刻ｔ２から一定時間経過後の時刻ｔ３に、第３光源２３ｃに青色光ＬＢの発光を停止させるとともに、第１光源２３ａに赤色光ＬＲの発光を開始させる。そして、光源制御部２１は、第２の露光時間Ｔ_Ｅ２が経過した時刻ｔ４に、第１光源２３ａに赤色光ＬＲの発光を停止させる。このとき、撮像制御部４０は、時刻ｔ４から部分読み出し方式により、偶数画素行の読み出し動作を行わせる。その他の動作は、上記実施形態と同一である。

このように、図９に示す方式では、一括リセットにより全画素行が受光（電荷蓄積）を開始するので、受光開始タイミングが同一であるとともに、各光の発光を停止してから読み出しを行うので、全画素行の受光終了タイミングが同一である。したがって、図９に示す方式は、いわゆるグローバルシャッタ方式であり、全画素行について受光期間が同一である。

これに対して、図７に示す方式は、ローリングシャッタ方式であって、受光期間が画素行ごとに異なる。図９に示す方式は、グローバルシャッタ方式であるので、全画素行の色ごとの受光期間が同一である（いわゆる同時性が得られる）。また、図９に示すグローバルシャッタ方式は、同時性が得られること以外に、ローリングシャッタ方式に比べて、第１及び第２の露光時間Ｔ_Ｅ１，Ｔ_Ｅ２が長くなり、露光量が増加するという利点がある。

［第２実施形態］
上記第１実施形態では、撮像素子３４の信号読み出し方式として、間引き出し方式を用いているが、第２実施形態では、間引き出し方式に代えて、全画素読み出し方式を用いる。

第２実施形態では、図１０に示すように、撮像制御部４０は、緑色光ＬＧの発光終了に合わせて、全画素読み出し方式により、撮像素子３４に、全画素行（偶数画素行及び奇数画素行）を１画素行ずつ順に読み出させる。これにより、撮像素子３４からは、デジタル化されたＧ画素信号、Ｍｇ画素信号、Ｃｙ画素信号、及びＹｅ画素信号が出力される。Ｇ画素、Ｍｇ画素、Ｃｙ画素、Ｙｅ画素のうち、Ｍｇ画素以外のＧ画素、Ｃｙ画素及びＹｅ画素は、緑色光ＬＧに感度を有する。このため、Ｃｙ画素信号及びＹｅ画素信号は、Ｇ画素信号と同等の信号成分を有し、Ｇ画素信号とみなすことができる。ＤＳＰ４２には、Ｇ画素からのＧ画素信号に加えて、Ｃｙ画素信号及びＹｅ画素信号がそれぞれＧ画素信号として入力される。

同様に、撮像制御部４０は、赤色光ＬＲの発光終了に合わせて、全画素読み出し方式により、撮像素子３４に、全画素行を１画素行ずつ順に読み出させる。これにより、撮像素子３４からは、デジタル化されたＧ画素信号、Ｍｇ画素信号、Ｃｙ画素信号、及びＹｅ画素信号が出力される。Ｇ画素、Ｍｇ画素、Ｃｙ画素、Ｙｅ画素のうち、Ｃｙ画素は青色光ＬＢに対して感度を有し、Ｙｅ画素は赤色光ＬＲに対して感度を有し、Ｍｇ画素は青色光ＬＢ及び赤色光ＬＲに対して感度を有する。このため、第１実施形態と同様に、Ｃｙ画素信号はＢ画素信号とみなすことができ、Ｙｅ画素信号はＲ画素信号とみなすことができる。また、Ｍｇ画素信号は、Ｂ画素信号とＲ画素信号とが加算された信号である。ＤＳＰ４２には、Ｃｙ画素信号及びＹｅ画素信号が、Ｂ画素信号とＲ画素信号として入力されるとともに、Ｍｇ画素信号が入力される。

第２実施形態では、ＤＳＰ４２は、下式（１）に示すように、Ｍｇ画素信号からＣｙ画素信号（Ｂ画素信号）を減じることにより、Ｒ画素信号を生成する。また、ＤＳＰ４２は、下式（２）に示すように、Ｍｇ画素信号からＹｅ画素信号（Ｒ画素信号）を減じることにより、Ｂ画素信号を生成する。この際、Ｃｙ画素信号及びＹｅ画素信号は、Ｍｇ画素信号が取得されたＭｇ画素に隣接するＣｙ画素及びＹｅ画素の信号を用いる。

Ｒ＝Ｍｇ−Ｃｙ ・・・（１）
Ｂ＝Ｍｇ−Ｙｅ ・・・（２）

第２実施形態のその他の処理や動作は、上記第１実施形態と同一である。第２実施形態では、緑色光ＬＧの受光後の読み出し時と、青色光ＬＢ及び赤色光ＬＲの受光後の読み出し時のいずれにおいても、Ｇ画素信号、Ｍｇ画素信号、Ｃｙ画素信号、及びＹｅ画素信号のうちの３つの画素信号が画像生成に用いられるので、第１実施形態と同等の色分離性を保ったまま解像度を向上させることができる。なお、第２実施形態においても、第１実施形態と同様の変形が可能である。

なお、上記第２実施形態では、図４に示すように、偶数画素行にＣｙフィルタ６０ａとＹｅフィルタ６０ｃとが交互に配置され、奇数画素行にＭｇフィルタ６０ｂとＧフィルタ６０ｄとが交互に配置されたカラーフィルタアレイ６０を用いているが、このカラーフィルタアレイ６０に代えて、各フィルタの配列順序を変更したその他のカラーフィルタを用いても良い。

例えば、図１１に示すように、偶数画素行にＭｇフィルタ６０ｂとＧフィルタ６０ｄとが交互に配置され、奇数画素行にＣｙフィルタ６０ａとＹｅフィルタ６０ｃとが交互に配置されたカラーフィルタアレイ６１を用いても良い。また、図１２に示すように、偶数画素行にＣｙフィルタ６０ａとＧフィルタ６０ｄとが交互に配置され、奇数画素行にＭｇフィルタ６０ｂとＹｅフィルタ６０ｃとが交互に配置されたカラーフィルタアレイ６２を用いても良い。さらに、図１３に示すように、偶数画素行にＭｇフィルタ６０ｂとＹｅフィルタ６０ｃとが交互に配置され、奇数画素行にＣｙフィルタ６０ａとＧフィルタ６０ｄとが交互に配置されたカラーフィルタアレイ６３を用いても良い。

上記のように、第２実施形態では、緑色光ＬＧの受光後と、青色光ＬＢ及び赤色光ＬＲの受光後とのいずれの読み出し時にも、全画素読み出し方式によりに偶数画素行及び奇数画素行の読み出しが行われるので、カラーフィルタアレイ６０に代えて、カラーフィルタアレイ６１〜６３のいずれを用いたとしても、信号処理については第２実施形態と同様である。

これに対して、第１実施形態のように、緑色光ＬＧの受光後に奇数画素行のみを読み出し、青色光ＬＢ及び赤色光ＬＲの受光後に偶数画素行のみを読み出す場合には、図４に示すカラーフィルタアレイ６０を用いることが好ましい。これは、青色光ＬＢ及び赤色光ＬＲの露光に対して、偶数画素行のＣｙ画素が青色光ＬＢに感度を有し、Ｙｅ画素が赤色光ＬＲに感度を有することにより、青色光ＬＢと赤色光ＬＲとを色分離性良く受光することができるためである。

もし、第１実施形態において、図１１に示すカラーフィルタアレイ６１を用いた場合には、偶数画素行に配列されたＭｇ画素とＧ画素のうち、Ｍｇ画素は青色光ＬＢと赤色光ＬＲとの両方に感度を有し、Ｇ画素は青色光ＬＢと赤色光ＬＲとのいずれにも感度を有さないので、青色光ＬＢと赤色光ＬＲとを色分離性良く受光することはできない。

また、第１実施形態において、図１２に示すカラーフィルタアレイ６２を用いた場合には、偶数画素行に配列されたＣｙ画素とＧ画素のうち、Ｃｙ画素は青色光ＬＢに感度を有し、Ｇ画素は青色光ＬＢと赤色光ＬＲとのいずれにも感度を有さないので、青色光ＬＢと赤色光ＬＲとを色分離性良く受光することはできない。

また、第１実施形態において、図１３に示すカラーフィルタアレイ６３を用いた場合には、偶数画素行に配列されたＭｇ画素とＹｅ画素のうち、Ｍｇ画素は青色光ＬＢと赤色光ＬＲとの両方に感度を有し、Ｙｅ画素は赤色光ＬＲに感度を有する。この場合には、上式（１）のように、Ｍｇ画素信号からＣｙ画素信号を減算することで、Ｂ画素信号を生成することが可能である。また、この場合、奇数画素行に配置されたＣｙ画素とＧ画素とは共に緑色光ＬＧに感度を有するので、緑色光ＬＧに対して高分解能である。

上記各実施形態では、光源装置１４とプロセッサ装置１６とを別体構成としているが、光源装置とプロセッサ装置とを１つの装置で構成しても良い。

１０ 内視鏡システム
１４ 光源装置
１６ プロセッサ装置
２０ 光源部
２１ 光源制御部
２５ ライトガイド
３４ 撮像素子
４０ 撮像制御部

Claims (8)

1. 色が異なる第１光、第２光、第３光をそれぞれ照明光として発する光源部と、
   前記照明光の発光タイミング及び発光強度を制御して、前記第２光と、前記第１光及び前記第３光とをそれぞれ個別に発光させ、かつ、前記第１光の発光時間を、前記第２光の発光時間及び前記第３光の発光時間よりも長くし、前記第１光、前記第２光、前記第３光の順に発光強度を大きくする光源制御部と、
   前記照明光が照射された観察対象からの戻り光を受光する補色型の撮像素子と、
   前記発光タイミングに合わせて前記撮像素子の撮像タイミングを制御して、前記第２光と、前記第１光及び前記第３光とをそれぞれ個別に受光させる撮像制御部と、
   を備え、
   前記第１光は赤色光であり、前記第２光は緑色光であり、前記第３光は青色光であり、
   前記撮像素子は、前記第２光及び前記第３光を受光するシアン画素と、前記第１光及び前記第３光を受光するマゼンタ画素と、前記第１光及び前記第２光を受光する黄色画素と、前記第２光を受光する緑色画素とを有する内視鏡システム。
2. 前記撮像素子は、前記シアン画素と前記黄色画素とが交互に配置された偶数画素行と、前記マゼンタ画素と前記緑色画素とが交互に配置された奇数画素行とを有する請求項１記載の内視鏡システム。
3. 前記撮像制御部は、前記第２光の受光後に、前記撮像素子から前記奇数画素行を読み出させ、前記第１光及び前記第３光の受光後に、前記撮像素子から前記偶数画素行を読み出させる請求項２記載の内視鏡システム。
4. 前記奇数画素行から読み出された緑色画素信号と、前記偶数画素行から読み出されたシアン画素信号及び黄色画素信号とを用いて観察画像を生成する信号処理部を備える請求項３記載の内視鏡システム。
5. 前記撮像制御部は、前記第２光の受光後に、前記撮像素子の全画素を読み出させ、前記第１光及び前記第３光の受光後に、前記撮像素子の全画素を読み出させる請求項１または２記載の内視鏡システム。
6. 前記第２光の受光後に前記撮像素子から読み出された緑色画素信号、シアン画素信号、及び黄色画素信号と、前記第１光及び前記第３光の受光後に前記撮像素子から読み出されたマゼンタ画素信号、シアン画素信号、及び黄色画素信号とを用いて観察画像を生成する信号処理部を備える請求項５記載の内視鏡システム。
7. 前記信号処理部は、前記第１光及び前記第３光の受光後に前記撮像素子から読み出された前記マゼンタ画素信号から前記シアン画素信号を減じることにより赤色画素信号を生成し、前記マゼンタ画素信号から前記黄色画素信号を減じることにより青色画素信号を生成する請求項６記載の内視鏡システム。
8. 色が異なる第１光、第２光、第３光をそれぞれ照明光として発する光源部と、前記照明光が照射された観察対象からの戻り光を受光する補色型の撮像素子とを備え、
   前記第１光は赤色光であり、前記第２光は緑色光であり、前記第３光は青色光であり、
   前記撮像素子は、前記第２光及び前記第３光を受光するシアン画素と、前記第１光及び前記第３光を受光するマゼンタ画素と、前記第１光及び前記第２光を受光する黄色画素と、前記第２光を受光する緑色画素とを有する内視鏡システムの作動方法において、
   前記照明光の発光タイミング及び発光強度を制御して、前記第２光と、前記第１光及び前記第３光とをそれぞれ個別に発光させ、かつ、前記第１光の発光時間を、前記第２光の発光時間及び前記第３光の発光時間よりも長くし、前記第１光、前記第２光、前記第３光の順に発光強度を大きくし、
   前記撮像素子を制御して、前記第２光と、前記第１光及び前記第３光とをそれぞれ個別に受光させる内視鏡システムの作動方法。
   

Images