[第1実施形態]
図1において、内視鏡システム10は、内視鏡12と、内視鏡用光源装置(以下、光源装置という)14と、プロセッサ装置16と、モニタ18と、コンソール19とを備えている。内視鏡12は、光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、体腔内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dを有している。
操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作によって、先端部12dが所望の方向に向けられる。操作部12bには、アングルノブ12eの他、ズーム操作部13等が設けられている。
光源装置14は、照明光を発生し、内視鏡12に供給する。内視鏡12に供給された照明光は、先端部12dに導かれ、先端部12dから体腔内の観察対象に照射される。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、観察画像や、観察画像に付帯する画像情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、観察画像や画像情報等を記録する外付けの記録部(図示せず)が接続可能である。
図2に示すように、光源装置14は、観察対象を照明するための照明光を発生する光源部20と、光源部20の発光タイミング及び発光強度を制御する光源制御部21とを備えている。光源部20は、駆動部22と、第1〜第3光源23a〜23cと、光路統合部24とを有する。駆動部22は、光源制御部21からの制御に基づいて、第1〜第3光源23a〜23cをそれぞれ駆動する。
第1光源23aは、赤色光(第1光)LRを発する赤色LED(Light-emitting diode)である。この赤色光LRは、例えば、波長帯域が615nm〜635nmであり、中心波長が620±10nmである。第2光源23bは、緑色光(第2光)LGを発する緑色LEDである。この緑色光LGは、例えば、波長帯域が500nm〜600nmであり、中心波長が520±10nmである。第3光源23cは、青色光(第3光)LBを発する青色LEDである。この青色光LBは、例えば、波長帯域が440nm〜470nmであり、中心波長が455±10nmである。
光路統合部24は、ダイクロイックミラー等で構成され、第1〜第3光源23a〜23cから発せられる各光の光路を統合する。光路統合部24から射出された光は、照明光として、挿入部12a内に挿通されたライトガイド25に供給される。
ライトガイド25は、内視鏡12内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬させる。なお、ライトガイド25としては、マルチモードファイバを使用することができる。例えば、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルをライトガイド25として使用可能である。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは、照明レンズ31を有している。ライトガイド25内を伝搬した照明光は、照明レンズ31を介して観察対象に照射される。撮像光学系30bは、対物レンズ32、ズームレンズ33、撮像素子34を有している。観察対象からの戻り光は、対物レンズ32及びズームレンズ33を介して撮像素子34に入射する。これにより、撮像素子34の撮像面(図示せず)に観察対象の光像が結像される。なお、ズームレンズ33は、ズーム操作部13を操作することで、テレ端とワイド端の間で自在に移動され、撮像素子34の撮像面に結像する観察対象の光像を拡大または縮小する。
撮像素子34は、同時式のカラーセンサであり、照明光が照射された観察対象からの戻り光を受光して画像信号を出力する。この撮像素子34は、青色(B)、緑色(G)、赤色(R)の色ごとに受光可能で、かつ色ごとに受光期間が変更可能に構成されている。この撮像素子34としては、CMOS(Complementary Metal-Oxide Semiconductor)型撮像素子が用いられる。撮像素子34は、画像信号として、B画素信号、G画素信号、R画素信号からなるRGB画像信号を出力する。
プロセッサ装置16は、撮像制御部40と、受信部41と、DSP(Digital Signal Processor)42と、ノイズ除去部43と、観察画像生成部44と、映像信号生成部45とを備えている。
撮像制御部40は、撮像素子34による観察対象の撮像タイミングを制御する。受信部41は、内視鏡12の撮像素子34から出力されたデジタルのRGB画像信号を受信する。DSP42は、受信したRGB画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。
欠陥補正処理では、撮像素子34の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたRGB画像信号から暗電流成分が除かれ、正確なゼロレベルが設定される。ゲイン補正処理では、オフセット処理後のRGB画像信号に特定のゲイン値を乗じることにより信号レベルが整えられる。ゲイン補正処理後のRGB画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のRGB画像信号には、デモザイク処理(等方化処理、同時化処理とも称される)が施され、各画素についてRGB各色の信号が生成される。
ノイズ除去部43は、DSP42でデモザイク処理等が施されたRGB画像信号に対してノイズ除去処理(移動平均法やメディアンフィルタ法等による処理)を施すことによってノイズを除去する。ノイズが除去されたRGB画像信号は、観察画像生成部44に入力される。
観察画像生成部44は、ノイズ除去部43から入力されたRGB画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行うことにより、観察画像を生成する。色変換処理では、RGB画像信号に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(ルックアップテーブル)処理などにより色変換処理を行う。色彩強調処理は、色変換処理済みのRGB画像信号に対して行われる。構造強調処理は、表層血管やピットパターン等の観察対象の構造を強調する処理であり、色彩強調処理後のRGB画像信号に対して行われる。
観察画像生成部44が生成する観察画像は、映像信号生成部45に入力される。映像信号生成部45は、各画像をモニタ18に表示するための映像信号に変換する。モニタ18は、映像信号生成部45から入力される映像信号に基づいて画像表示を行う。
図3において、撮像素子34は、画素アレイ部50と、読み出し走査回路51と、リセット走査回路52と、カラムADC(Analog-to-digital converter)回路53と、ラインメモリ54と、列走査回路55と、タイミングジェネレータ(TG:Timing generator)56とを有する。TG56は、プロセッサ装置16の撮像制御部40から入力される撮像制御信号に基づいてタイミング信号を発生し、各部を制御する。
画素アレイ部50は、複数の画素50aが行方向(X方向)及び列方向(Y方向)にマトリクス状に2次元配列されたものであり、撮像素子34の撮像面に設けられている。画素アレイ部50には、行方向に沿って、第1行選択線LS1、第2行選択線LS2、及び行リセット線LRが配されており、列方向に沿って列信号線LVが配されている。
第1行選択線LS1、第2行選択線LS2、及び行リセット線LRは、1画素行毎に設けられている。列信号線LVは、1画素列毎に設けられている。ここで、画素行とは、行方向に並んだ1行分の画素50aを指している。画素列とは、列方向に並んだ1列分の画素50aを指している。
画素アレイ部50の光入射側には、図4に示すように、カラーフィルタアレイ60が設けられている。カラーフィルタアレイ60は、緑色(G)フィルタ60a、青色(B)フィルタ60b、及び赤色(R)フィルタ60cを有している。これらのフィルタのうちいずれか1つが各画素50a上に配置されている。カラーフィルタアレイ60の色配列は、ベイヤー配列であり、Gフィルタ60aが市松状に1画素おきに配置され、残りの画素上に、Bフィルタ60bとRフィルタ60cとがそれぞれ正方格子状となるように配置されている。
カラーフィルタアレイ60は、図5に示す分光特性を有する。Gフィルタ60aは、約450〜630nmの波長域に対して高い透過率を有している。Bフィルタ60bは、約380〜560nmの波長域に対して高い透過率を有している。Rフィルタ60cは、約580〜760nmの波長域に対して高い透過率を有している。
以下、Gフィルタ60aが配置された画素50aをG画素と称し、Bフィルタ60bが配置された画素50aをB画素と称し、Rフィルタ60cが配置された画素50aをR画素と称する。偶数(0,2,4,・・・,N−1)の各画素行には、B画素とG画素とが交互に配置されている。奇数(1,3,5,・・・,N)の各画素行には、G画素とR画素とが交互に配置されている。
1画素行内の各画素50aは、行リセット線LRに共通に接続されている。また、1画素行内の画素50aのうち、G画素は第1行選択線LS1に共通に接続されており、B画素及びR画素はそれぞれ第2行選択線LS2に共通に接続されている。
各画素50aは、図6に示すように、フォトダイオードD1と、アンプトランジスタM1と、画素選択トランジスタM2と、リセットトランジスタM3とを有する。フォトダイオードD1は、入射光を光電変換して入射光量に応じた信号電荷を生成し、これを蓄積する。アンプトランジスタM1は、フォトダイオードD1に蓄積された信号電荷を電圧値(画素信号)に変換する。画素選択トランジスタM2は、第1行選択線LS1または第2行選択線LS2により制御され、アンプトランジスタM1により生成された画素信号を列信号線LVに出力させる。リセットトランジスタM3は、行リセット線LRにより制御され、フォトダイオードD1に蓄積された信号電荷を電源線に破棄(リセット)する。
読み出し走査回路51は、TG56から入力されるタイミング信号に基づいて、行選択信号を発生する。読み出し走査回路51は、信号読み出し動作時に、第1行選択線LS1または第2行選択線LS2に行選択信号を与えることにより、行選択信号が与えられた第1行選択線LS1または第2行選択線LS2に接続された画素50aの画素信号を、列信号線LVに出力させる。
リセット走査回路52は、TG56から入力されるタイミング信号に基づいて、リセット信号を発生する。リセット走査回路52は、リセット動作時に、行リセット線LRにリセット信号を与えることにより、リセット信号が与えられた行リセット線LRに接続された画素50aをリセットする。
カラムADC回路53には、信号読み出し動作時に列信号線LVに出力された画素信号が入力される。カラムADC回路53は、各列信号線LVにADCが接続されてなり、各列信号線LVから入力される画素信号を、時間とともに階段状に変化する参照信号(ランプ波)と比較することにより、デジタル信号に変換してラインメモリ54に出力する。
ラインメモリ54は、カラムADC回路53によりデジタル化された1行分の画素信号を保持する。列走査回路55は、TG56から入力されるタイミング信号に基づいて、ラインメモリ54を走査することにより、画素信号を出力端子Voutから順に出力させる。出力端子Voutから出力される1フレーム分の画素信号が前述のRGB画像信号である。
撮像素子34は、信号読み出し方式として、「順次読み出し方式」と「部分読み出し方式」が実行可能である。順次読み出し方式では、読み出し走査回路51により、各画素行の1組の第1及び第2行選択線LS1,LS2が順に選択されながら、選択された第1及び第2行選択線LS1,LS2に同時に行選択信号が与えられる。これにより、画素アレイ部50の全画素50aについて、先頭画素行「0」から最終画素行「N」まで、1画素行ずつ順に信号読み出しが行われる。
部分読み出し方式では、画素アレイ部50から特定の1色の画素を選択的に読み出すことを可能とする。例えば、画素アレイ部50からR画素のみを読み出す場合には、読み出し走査回路51により、奇数(1,3,5,・・・,N)の各画素行の第2行選択線LS2のみが順に選択されながら、選択された第2行選択線LS2に行選択信号が与えられる。これにより、全画素50aのうちのR画素のみについて、1画素行ずつ順に信号読み出しが行われる。
この場合、ラインメモリ54には、R画素から読み出された画素信号(R画素信号)のみが記憶される。列走査回路55は、ラインメモリ54に奇数行から1画素行分の画素信号(R画素信号)が記憶されるたびに、ラインメモリ54の走査を行う。
また、部分読み出し方式では、画素アレイ部50から特定の2色の画素を選択的に読み出すことを可能とする。例えば、画素アレイ部50からB画素及びG画素を読み出す場合には、読み出し走査回路51により、偶数(0,2,4,・・・,N−1)の各画素行については第1及び第2行選択線LS1,LS2が順に選択され、奇数(1,3,5,・・・,N)の各画素行については第1行選択線LS1が順に選択されながら、選択された行選択線に行選択信号が与えられる。これにより、全画素50aのうちのB画素及びG画素について、1画素行ずつ順に信号読み出しが行われる。
この場合、ラインメモリ54には、偶数の画素行の読み出し時には、B画素及びG画素から読み出された画素信号(B画素信号及びG画素信号)が記憶され、奇数の画素行の読み出し時には、G画素から読み出された画素信号(G画素信号)のみが記憶される。列走査回路55は、ラインメモリ54に偶数行または奇数行から1画素行分の画素信号が記憶されるたびに、ラインメモリ54の走査を行う。なお、B画素及びG画素を読み出す場合には、奇数の画素行の読み出しを行わずに、偶数の画素行のみについて読み出しを行っても良い。
また、撮像素子34は、リセット方式として、「順次リセット方式」及び「一括リセット方式」が実行可能である。順次リセット方式では、リセット走査回路52により行リセット線LRが順に選択されながら、選択された行リセット線LRにリセット信号が与えられる。これにより、順次リセット方式では、先頭画素行「0」から最終画素行「N」まで、1画素行ずつ順にリセットが行われる。
一括リセット方式では、リセット走査回路52により全ての行リセット線LRが選択され、全ての行リセット線LRに一括してリセット信号が与えられる。これにより、画素アレイ部50の全画素行が一括して同時にリセットされる。
なお、図3には示していないが、撮像素子34には、相関二重サンプリング(CDS;Correlated Double Sampling)回路や、自動利得制御(AGC;Automatic Gain Control)回路も適宜設けられる。CDS回路は、画素50aから各列信号線LVに出力される画素信号に相関二重サンプリング処理を行う。AGC回路は、相関二重サンプリング処理が行われた画素信号に対してゲイン調整を行う。
光源制御部21と撮像制御部40とは互いに電気的に接続されている。撮像制御部40は、光源制御部21により制御される光源装置14の照明光の発光タイミングに合わせて撮像素子34の撮像タイミングを制御する。
次に、光源制御部21及び撮像制御部40により制御される発光タイミング及び撮像タイミングについて説明する。図7に示すように、光源制御部21は、駆動部22を制御して、第2及び第3光源23b,23cに、時刻t0から、緑色光LG及び青色光LBの発光を同時に開始させる(発光開始タイミングを同時とする)。
このとき、光源制御部21は、青色光LBの発光強度IBを緑色光LGの発光強度IGより大きくする(すなわち、IB>IG)。これは、観察対象のうち大腸の粘膜等は、図8に示すように、波長が短い光ほど反射率が小さいという特性を有する一方で、粘膜表層付近から得られる重要な情報は、短波光である青色光LBの吸収が強いヘモグロビンを含む波長が短い光の戻り光が支配的であるためである。この粘膜表層には、毛細血管等の微細構造が含まれるので、この微細構造を含めた画像を生成するために、「IB>IG」の関係としている。
また、内視鏡12の先端部12d等の過剰な発熱を防止するという観点から、同時発光する緑色光LG及び青色光LBの総光量は一定値以下とすることが好ましい。この総光量の制約により、緑色光LGと青色光LBとの発光強度を同時に高めることは好ましくないことからも、「IB>IG」の関係とすることが好ましい。
第2及び第3光源23b,23cにより発せられた緑色光LG及び青色光LBは、光路統合部24で合波され、照明光としてライトガイド25に供給される。この照明光は、内視鏡12の先端部12dから射出されて観察対象を照明する。
撮像制御部40は、撮像素子34を制御して、時刻t0から順次リセット方式によりリセット動作を行わせる。これにより、全画素行が1画素行ずつ順にリセットされる。各画素行は、リセットにより画素50aの不要電荷が破棄されることにより、順に電荷蓄積状態(露光状態)となる。そして、撮像制御部40は、時刻t0から第1の露光時間TE1が経過した後、撮像素子34を制御して、部分読み出し方式により、B画素及びG画素のみの読み出し動作を行わせる。これにより、撮像素子34からは、デジタル化されたB画素信号及びG画素信号が出力される。
そして、光源制御部21は、駆動部22を制御して、最終画素行Nの読み出しが行われる時刻t1に、第2及び第3光源23b,23cの発光動作を停止させ、緑色光LG及び青色光LBの発光を同時に終了させる(発光終了タイミングを同時とする)。また、光源制御部21は、緑色光LG及び青色光LBの発光を終了させるとともに、第1光源23aに赤色光LRの発光を開始させる。
このとき、光源制御部21は、赤色光LRの発光強度IRを、少なくとも緑色光LGの発光強度IGより大きくする(すなわち、IR>IG)。本実施形態では、「IR=IB>IG」の関係とする。これは、赤色光LRは、緑色光LG及び青色光LBとは同時発光せず、個別に発光するので、上記の総光量の制約を受けず、赤色光LRの発光強度IRを、緑色光LGの発光強度IGや青色光LBの発光強度IBとは無関係に設定できることによる。
撮像制御部40は、時刻t1から順次リセット方式により全画素行を1画素行ずつ順にリセットさせる。この後、撮像制御部40は、時刻t1から第2の露光時間TE2が経過した後、撮像素子34を制御して、部分読み出し方式により、R画素のみの読み出し動作を行わせる。これにより、撮像素子34からは、デジタル化されたR画素信号が出力される。そして、光源制御部21は、駆動部22を制御して、最終画素行Nの読み出しが行われる時刻t2に、第1光源23aの発光動作を停止させ、赤色光LRの発光を終了させる。
このように、撮像素子34の緑色光LG及び青色光LBに対する受光期間は、時刻t0から時刻t1までの期間であり、光源装置14による緑色光LG及び青色光LBの発光期間とそれぞれ一致している。また、撮像素子34の赤色光LRに対する受光期間は、時刻t1から時刻t2までの期間であり、光源装置14による赤色光LRの発光期間と一致している。
光源制御部21は、赤色光LRの発光時間(時刻t1から時刻t2までの時間)は、緑色光LG及び青色光LBの発光時間(時刻t0から時刻t1までの時間)より短くしているが、これは、赤色光LRの発光強度IRを「IR>IG」の関係としており、赤色光LRの発光時間が短くても、赤色光LRの光量が十分に得られるためである。光量は、発光強度と発光時間との積で決まる値である。
本実施形態では、青色光LB及び緑色光LGを同時発光としているが、これは、観察対象からの戻り光のうちの青色光LB及び緑色光LGの成分は、粘膜の表層部や中層部の構造に関する画像情報(高周波成分)を多く含み、ブレ(被写体ブレや操作者の手ブレ等)の影響を受けやすいためである。青色光LB及び緑色光LGを同時発光とすることで、B画像とG画像とのズレを無くしている。
これに対して、観察対象からの戻り光のうちの赤色光LRの成分は、粘膜の深層部に関する画像情報(低周波成分)を多く含み、ブレの影響が少ないので、赤色光LRを、緑色光LG及び青色光LBとは同時発光せず個別に発光しても、R画像と、B画像及びG画像とのズレは少ない。以上のように、R画像の画質が向上し、観察画像生成部44における色彩強調処理により高画質な観察画像が得られる。
また、G画素は、赤色光LRに対しても僅かに感度を有するが、本実施形態では、赤色光LRを個別発光としており、G画素の受光期間には赤色光LRが発光されないため、混色の発生が防止される。
以上のように構成された内視鏡システム10の作用を説明する。まず、操作者により、体腔内に内視鏡12の挿入部12aが挿入される。プロセッサ装置16の操作パネル等が操作されて撮影開始指示がなされると、第2及び第3光源23b,23cから、青色光LB及び緑色光LGの発光が同時に開始される。発光強度は、「IB>IG」の関係を有する。この緑色光LG及び青色光LBは、光路統合部24で合波され、照明光としてライトガイド25に供給される。この照明光は、内視鏡12の先端部12dから射出されて観察対象を照明する。
撮像素子34は、青色光LB及び緑色光LGの発光が開始されるとともに、順次リセット方式により全画素行が1画素行ずつ順にリセットされる。そして、撮像素子34は、発光開始時刻t0から第1の露光時間TE1が経過した後、部分読み出し方式により、B画素及びG画素のみの読み出し動作を行い、デジタル化されたB画素信号及びG画素信号を出力する。このB画素信号及びG画素信号は、プロセッサ装置16のDSP42に入力される。また、第2及び第3光源23b,23cは、撮像素子34によるB画素及びG画素のみの読み出し動作の終了とともに、緑色光LG及び青色光LBの発光を停止する。
そして、第1光源23aが、緑色光LG及び青色光LBの発光停止時刻t1から、赤色光LRの発光を開始するとともに、撮像素子34が、順次リセット方式により全画素行が1画素行ずつ順にリセットされる。そして、撮像素子34は、時刻t1から第2の露光時間TE2が経過した後、部分読み出し方式により、R画素のみの読み出し動作を行い、デジタル化されたR画素信号を出力する。このR画素信号は、プロセッサ装置16のDSP42に入力される。また、第1光源23aは、撮像素子34によるR画素のみの読み出し動作の終了とともに、赤色光LRの発光を停止する。
この後、DSP42は、撮像素子34から入力されたB画素信号、G画素信号、R画素信号からなるRGB画像信号に対して各種信号処理を施す。そして、DSP42により信号処理が行われたRGB画像信号は、ノイズ除去部43によりノイズ除去処理が行われた後、観察画像生成部44に入力される。観察画像生成部44は、入力されたRGB画像信号に基づいて観察画像を生成する。この観察画像は、映像信号生成部45を介してモニタ18に表示される。以上の動作は、操作者により撮影開始指示がなされるまで、繰り返し周期的に行われ、モニタ18に表示される観察画像は順次更新される。
なお、上記実施形態では、緑色光LG及び青色光LBの発光終了後に赤色光LRを発光させているが、これに代えて、赤色光LRを先に発光させ、赤色光LRの発光終了後に緑色光LG及び青色光LBを発光させても良い。
また、上記実施形態では、図7に示すように、リセット方式として順次リセット方式を用いているが、これに代えて、図9に示すように、一括リセット方式を用いても良い。この場合には、撮像制御部40は、第2及び第3光源23b,23cが緑色光LG及び青色光LBの発光を開始する時刻t0に、一括リセット方式により、撮像素子34の全画素行をリセットさせる。
光源制御部21は、時刻t0から第1の露光時間TE1が経過した時刻t1に、緑色光LG及び青色光LBの発光を停止させる。このとき、撮像制御部40は、時刻t1から部分読み出し方式により、B画素及びG画素のみの読み出し動作を行わせる。そして、撮像制御部40は、B画素及びG画素のみの読み出し動作が終了する時刻t2に、一括リセット方式により、撮像素子34の全画素行をリセットさせる。
この後、時刻t2から第2の露光時間TE2が経過した時刻t3に、赤色光LRの発光を停止させる。このとき、撮像制御部40は、時刻t3から部分読み出し方式により、R画素のみの読み出し動作を行わせる。その他の動作は、上記実施形態と同一である。
このように、図9に示す方式では、一括リセットにより全画素行が受光(電荷蓄積)を開始するので、受光開始タイミングが同一であるとともに、各光の発光を停止してから読み出しを行うので、全画素行の受光終了タイミングが色ごとに同一である。したがって、図9に示す方式は、いわゆるグローバルシャッタ方式であり、全画素行について受光期間が同一である。
これに対して、図7に示す方式は、ローリングシャッタ方式であって、受光期間が画素行ごとに異なる。図9に示す方式は、グローバルシャッタ方式であるので、全画素行の色ごとの受光期間が同一である(いわゆる同時性が得られる)。また、図9に示すグローバルシャッタ方式は、同時性が得られること以外に、ローリングシャッタ方式に比べて、第1及び第2の露光時間TE1,TE2が長くなり、露光量が増加するという利点がある。
また、上記実施形態では、図7に示すように、青色光LBと緑色光LGとの発光終了タイミングを同時としているが、青色光LBと緑色光LGとの発光終了タイミングを異ならせても良い。この場合、赤色光LRの発光時間は、緑色光LGの発光時間または青色光LBの発光時間よりも短ければ良い。
例えば、図10に示すように、青色光LBの発光終了時刻をt1、緑色光LGの発光終了時刻をt2とした場合に、t2>t1の関係としても良い。この場合には、撮像素子34は、各光の発光終了タイミングに合わせて、部分読み出し方式により、B画素信号とG画素信号とをそれぞれ個別に読み出せば良い。
また、図10に示す例では、緑色光LGの発光強度IGを、青色光LBの発光が終了した後においても一定としているが、図11に示すように、青色光LBの発光終了後に、緑色光LGの発光強度IGを大きくしても良い。なお、青色光LBの発光終了後に、緑色光LGの発光強度IGを大きくするとは、青色光LBの発光終了と同時に、緑色光LGの発光強度IGを大きくすることも含む。
これは、緑色光LG及び青色光LBが同時に発光される期間(時刻t0から時刻t1の期間)では、緑色光LG及び青色光LBの総光量を一定値以下としなければならないという制約から、「IB>IG」の関係を満たす必要があり、緑色光LGの発光強度IGを大きくすることはできないが、青色光LBの発光が終了した後(時刻t1以降)は、上記制約がなく、緑色光LGの発光強度IGを大きくすることが可能であるためである。このように、青色光LBの発光終了後に緑色光LGの発光強度IGを大きくすることで、G画像の画質が向上する。
また、図11に示す例では、グローバルシャッタ方式を用いているが、これは、図12に示すように、ローリングシャッタ方式を用いた場合には、先頭画素行に近い画素行ほど、緑色光LGの発光強度IGが変更されてから短い時間でG画素が読み出され、先頭画素行に近い画素行ほどG画素の露光量がわずかに小さくなるためである。これに対して、図11に示すグローバルシャッタ方式では、緑色光LGの発光強度IGを変化させた場合でも同時性が得られるという利点がある。
また、上記実施形態では、赤色光LRの発光期間を緑色光LG及び青色光LBの発光期間とは重複させず、赤色光LRを個別に発光させているが、緑色光LGの発光期間または青色光LBの発光期間を、赤色光LRの発光期間と重複させても良い。例えば、図13に示すように、青色光LBのみを個別に発光させた後、緑色光LG及び赤色光LRを同時に発光させても良い。この場合、青色光LBの発光終了に合わせてB画素を読み出し、緑色光LG及び赤色光LRの発光終了に合わせてG画素及びR画素を読み出せば良い。なお、青色光LBの発光を、緑色光LG及び赤色光LRの発光終了後に行っても良い。さらに、図13に示す例では、ローリングシャッタ方式を用いているが、これに代えて、グローバルシャッタ方式を用いても良い。
[第2実施形態]
上記第1実施形態では、撮像素子34を色ごとに部分読み出しを行うことを可能に構成することにより、撮像制御部40による色ごとの露光時間の変更を可能としているが、これに代えて、第2実施形態では、撮像素子を色ごとに部分リセットを行うことを可能に構成することにより、撮像制御部40による色ごとの露光時間の変更を可能とする。
第2実施形態では、第1実施形態の撮像素子34に代えて、図14及び図15に示す撮像素子70を用いる。撮像素子70は、単一の行選択線LSを有し、1画素行内の各画素50aは、行選択線LSに共通に接続されている。また、撮像素子70は、第1行リセット線LR1及び第2行リセット線LR2を有し、G画素は第1行リセット線LR1に共通に接続されており、B画素及びR画素はそれぞれ第2行リセット線LR2に共通に接続されている。
読み出し走査回路51は、信号読み出し動作時に、行選択線LSに順に行選択信号を与え、1画素行ずつ順に画素信号を読み出す「順次読み出し」を行わせる。リセット走査回路52は、リセット動作時に、第1行リセット線LR1または第2行リセット線LR2にリセット信号を与えることにより、リセット信号が与えられた第1行リセット線LR1または第2行リセット線LR2に接続された画素50aをリセットする。撮像素子70のその他の構成は、第1実施形態の撮像素子34と同一である。
撮像素子70は、全ての第1行リセット線LR1に同時にリセット信号を与えることにより、G画素のみを一括してリセットすることを可能とする。また、撮像素子70は、偶数行の第2行リセット線LR2に同時にリセット信号を与えることにより、B画素のみを一括してリセットすることを可能とし、奇数行の第2行リセット線LR2に同時にリセット信号を与えることにより、R画素のみを一括してリセットすることを可能とする。さらに、撮像素子70は、全ての第1行リセット線LR1及び第2行リセット線LR2に同時にリセット信号を与えることにより、全画素行を一括して同時にリセットすることを可能とする。
第2実施形態では、例えば、図16に示すように、光源制御部21は、時刻t0から第2光源23bに緑色光LGの発光を開始させる。また、撮像制御部40は、時刻t0に緑色光LGの発光が開始されるとともに、撮像素子34に、全画素行を一括して同時にリセットさせる。そして、光源制御部21は、緑色光LGを発光させたまま、時刻t1から第3光源23cに青色光LBの発光を開始させる。また、時刻t1に青色光LBの発光が開始されるとともに、撮像素子34に、B画素のみを一括して同時にリセット(部分リセット)させる。
この後、光源制御部21は、時刻t2に、第2及び第3光源23b,23cの発光動作を停止させ、青色光LB及び緑色光LGの発光を終了させる。そして、撮像制御部40は、撮像素子34に、時刻t2から順次読み出し方式により、B画素、G画素、R画素のすべてを読み出させる。なお、DSP42は、撮像素子34から読み出されたRGB信号のうち、B画素信号及びG画素信号を取得する。
光源制御部21は、撮像素子34の読み出し動作が終了する時刻t3に、第1光源23aに赤色光LRの発光を開始させる。また、撮像制御部40は、時刻t3に赤色光LRの発光が開始されるとともに、撮像素子34に、全画素行を一括して同時にリセットさせる。この後、光源制御部21は、時刻t4に第1光源23aの発光動作を停止させ、赤色光LRの発光を終了させる。そして、撮像制御部40は、撮像素子34に、時刻t4から順次読み出し方式により、B画素、G画素、R画素のすべてを読み出させる。なお、DSP42は、撮像素子34から読み出されたRGB信号のうち、R画素信号のみを取得する。
なお、第2実施形態では、時刻t0から時刻t1までの期間は、緑色光LGの単独発光であるので、図17に示すように、緑色光LGの発光を開始し、緑色光LGの発光強度IGを下げた後、青色光LBの発光を開始しても良い。
また、第1実施形態では、R画素、G画素、B画素を個別に色ごとに読み出すことを可能とする撮像素子34を用い、第2実施形態では、R画素、G画素、B画素を個別に色ごとにリセットすることを可能とする撮像素子70を用いているが、これらの撮像素子34,70に代えて、R画素、G画素、B画素を個別に色ごとに読み出し及びリセットを行うことを可能とする撮像素子を用いても良い。この場合には、露光期間の開始及び終了タイミングを、色ごとに自由に設定することができる。
上記各実施形態では、光源装置14とプロセッサ装置16とを別体構成としているが、光源装置とプロセッサ装置とを1つの装置で構成しても良い。