JP5904673B2 - 撮像装置及び内視鏡装置 - Google Patents

撮像装置及び内視鏡装置 Download PDF

Info

Publication number
JP5904673B2
JP5904673B2 JP2013201251A JP2013201251A JP5904673B2 JP 5904673 B2 JP5904673 B2 JP 5904673B2 JP 2013201251 A JP2013201251 A JP 2013201251A JP 2013201251 A JP2013201251 A JP 2013201251A JP 5904673 B2 JP5904673 B2 JP 5904673B2
Authority
JP
Japan
Prior art keywords
image
signal
line
readout
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013201251A
Other languages
English (en)
Other versions
JP2015070369A (ja
Inventor
小柴　賢明
賢明 小柴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013201251A priority Critical patent/JP5904673B2/ja
Priority to EP14186400.9A priority patent/EP2854391B1/en
Priority to US14/497,500 priority patent/US10091480B2/en
Publication of JP2015070369A publication Critical patent/JP2015070369A/ja
Application granted granted Critical
Publication of JP5904673B2 publication Critical patent/JP5904673B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Endoscopes (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、撮像素子の駆動方法、及び撮像装置、内視鏡装置に関する。
デジタルカメラやビデオカメラ、或いは携帯電話等の撮像機能を有する装置には、結像させた観察像の画像信号を生成する撮像素子が組み込まれている。この撮像素子は、従前より、高感度化、画素の高密度化の技術開発が進んでおり、最近では、被写体の色再現性を高める技術や、ダイナミックレンジを拡大する技術が種々提案されている（特許文献１，２）。
また、撮像素子は医療分野でも活用され、例えば内視鏡装置における、体腔内へ挿入する内視鏡挿入部の先端部にも搭載されている。
特開２００９−１９４６０４号公報 特開２０１２−１７５２３４号公報
ところで、撮像素子を駆動して、例えば３０ｆｐｓ、６０ｆｐｓのフレームレートで動画を撮像する場合、各画素の電荷蓄積期間はフレームレートが増加するほど短くなる。電荷蓄積期間は、３０ｆｐｓの場合は最長でも１／３０秒、６０ｆｐｓの場合は１／６０秒となる。そのため、観察条件によっては十分な感度が得られず、暗く不鮮明な動画しか得られない場合がある。
例えば、暗い体腔内を撮像する内視鏡装置では、生体内で観察するために照明光の強度を十分に上げられない事情もあり、より高感度な撮像素子が望まれている。
内視鏡装置による観察モードには、白色光を照射して観察する通常観察モードの他、青色狭帯域光を被検体に照射して、生体組織表層の毛細血管や微細構造模様を強調して観察する狭帯域光観察モードがある。この狭帯域光観察モードでは、被写体からの青色反射光を確実に検出したいが、青色反射光は微弱であり、通常観察モードと比較して光量が不足する傾向がある。また、撮像素子のカラーフィルタの光透過率が低いために、観察画像が暗くなり、画像信号のノイズが増加してしまう。このような状況下では、診断に適した十分な明るさの動画を得ることが困難であった。
そこで本発明は、被写体の撮像信号が微弱であっても、常に明るくノイズの少ない画像を生成できる撮像素子の駆動方法、及び撮像装置、内視鏡装置を提供することを目的とする。
本発明の撮像装置は、異なる色に感度を有する画素を二次元配列したＭＯＳ型の撮像素子を有する撮像装置であって、前記撮像素子は、前記画素の電荷信号を読み出すための、前記画素の配列が異なる少なくとも２種類の読み出しラインを有し、前記読み出しラインは、青色光に感度を有するＢ画素と緑色光に感度を有するＧｂ画素とが繰り返し配列される第１の読み出しラインと、赤色光に感度を有するＲ画素と緑色光に感度を有するＧｒ画素とが繰り返し配列される第２の読み出しラインとの２種類の読み出しラインであり、前記読み出しラインのうち少なくとも１種類の読み出しラインの電荷信号の読み出し時間間隔を、他の種類の読み出しラインの読み出し時間間隔より長くし、当該１種類の読み出しラインの各画素の電荷蓄積期間を、他の種類の読み出しラインの各画素の電荷蓄積期間より長くする駆動を行う駆動制御部と、前記他の種類の読み出しラインに対する各画素の電荷信号の読み出しタイミングに同期して、互いに異なるスペクトルの複数種の照明光を一定のパターンで切り換えて照射する光源部と、前記第１の読み出しラインのＢ画素から出力される信号と、前記第１の読み出しラインのＧｂ画素から出力される信号との第一の信号比と、前記第２の読み出しラインのＲ画素から出力される信号と、前記第２の読み出しラインのＧｒ画素から出力される信号との第二の信号比と、予め記憶されている前記第一の信号比及び前記第二の信号比と血液量及び血中ヘモグロビンの酸素飽和度との相関関係とに基づいて、被検体の血液量及び血中ヘモグロビンの酸素飽和度を算出する酸素飽和度画像処理部と、を備えるものである。
本発明によれば、被写体の撮像信号が微弱であっても、常に明るくノイズの少ない画像を生成できる。
本発明の実施形態を説明するための図で、内視鏡装置のブロック構成図である。 内視鏡装置の具体的な構成例を示す外観図である。 内視鏡先端部の拡大斜視図である。 撮像素子の一部構成を概略的に示す説明図である。 電荷信号の読み出しの駆動パターンを示す説明図である。 駆動パターンにより得られる画像情報の遷移を示す説明図である。 図６に示す画像情報から生成される動画におけるＲＧＢの各画像信号の内容を示す説明図である。 電荷信号の読み出しパターンの説明図である。 電荷信号の読み出しの第２の駆動パターンを示す説明図である。 露光時間の少ないＲＧラインの画素と、露光時間の長いＧＢラインの画素との画像信号における輝度レベルを合わせる駆動を示す説明図である。 露光時間の短いＲＧラインのＧｒ画素と、露光時間の長いＧＢラインのＧｂ画素との、周辺光量に対する蓄積される電荷信号の関係を示すグラフである。 電荷信号の読み出しの駆動パターンを示す説明図である。 図１２の駆動パターンで得られる電荷信号の情報により生成する動画の内容を示す説明図である。 駆動パターンを切り換える手順を示すフローチャートである。 特徴点同士の位置合わせを行う様子を示す説明図である。 血中酸素飽和度を検出する内視鏡装置のブロック図である。 内視鏡装置の画像処理部のブロック図である。 ヘモグロビンの吸光度の波長分布を示すグラフである。 信号比Ｂ／Ｇ及びＲ／Ｇと、血液量及び酸素飽和度との相関関係を表すグラフである。 電荷信号の読み出しの駆動パターンを示す説明図である。 図２０の駆動パターンにより得られる画像情報の遷移を示す説明図である。 図２１に示す画像情報から得られる、被検体の血液量及び血中ヘモグロビンの酸素飽和度の情報を算出するためのＲ，Ｇ，Ｂ信号の内容を示す説明図である。
以下、本発明の実施形態について、図面を参照して詳細に説明する。
ここでは、撮像素子として内視鏡装置に搭載される撮像素子を例に説明するが、内視鏡装置に限らず、デジタルカメラ、ビデオカメラ等、他の撮影機能の有する撮像装置に搭載される撮像素子であってもよい。
＜内視鏡装置の構成＞
図１は本発明の実施形態を説明するための図で、内視鏡装置のブロック構成図、図２は内視鏡装置の具体的な構成例を示す外観図である。
内視鏡装置１００は、図１に示すように、内視鏡スコープ１１と、制御装置１３と、表示部１５と、制御装置１３に情報を入力するキーボードやマウス等の入力部１７とを備える。制御装置１３は、照明光を出力する光源装置１９と、観察画像の信号処理を行うプロセッサ２１から構成される。
内視鏡スコープ１１は、図２に示すように、本体操作部２３と、この本体操作部２３に連設され被検体（体腔）内に挿入される内視鏡挿入部２５と、本体操作部２３を制御装置１３とを接続するユニバーサルコード２７とを有する。ユニバーサルコード２７の先端には、光源装置１９に接続されるライトガイド（ＬＧ）コネクタ２９Ａと、プロセッサ２１に接続されるビデオコネクタ２９Ｂが設けてある。
内視鏡スコープ１１の本体操作部２３には、挿入部２５の先端側で吸引、送気、送水を実施するボタン、撮像時のシャッタボタン、観察モードを切り替えるモード切り替えボタン等を含む各種操作入力部３１が併設されている。また、本体操作部２３には一対のアングルノブ３３が設けられている。
挿入部２５は、本体操作部２３側から順に軟性部３５、湾曲部３７、及び先端部（内視鏡先端部）３９で構成される。湾曲部３７は、本体操作部２３のアングルノブ３３を回動することによって遠隔的に湾曲操作される。これにより内視鏡先端部３９を所望の方向に向けることができる。
図３に内視鏡先端部の拡大斜視図を示す。内視鏡先端部３９には、撮像光学系の観察窓４１と、照明光学系の照明窓４３Ａ，４３Ｂが配置されている。各照明窓４３Ａ，４３Ｂは、被検体に向けてそれぞれ照明光を出射する。被検体からの反射光は、観察窓４１を通じて撮像素子により検出（撮像）される。
図１に示すように、内視鏡スコープ１１の撮像光学系は、上記の観察窓４１、撮像素子５１、アナログ／デジタル変換器（ＡＤＣ部）５３、メモリ部５５、通信部５７、駆動制御部５９を有する。なお、図示はしないが、観察窓４１と撮像素子５１との間には、撮像素子５１に観察像を結像させるレンズ等の光学部材が配置されている。上記の撮像素子５１、ＡＤＣ部５３、メモリ部５５、通信部５７、駆動制御部５９は、撮像部６１を構成する。
制御装置１３は、画像受信部６３、画像処理部６５，撮像制御部６７、表示信号生成部６９、駆動信号通信部７１を有する。
光源装置１９は、光源制御部７３と光源７５とを有し、ライトガイド７７と、前述の照明窓４３Ａ，４３Ｂと合わせて照明光学系を構成する。
撮像素子５１は、異なる複数の色に感度を有する画素を二次元配列したＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の撮像素子である。ここでは撮像素子５１として、ＲＧＢの原色系カラーフィルタを備えるものとして説明するが、その他、ＣＭＹ，ＣＭＹＧ等の補色系カラーフィルタを備えるものであってもよい。
図４は撮像素子の一部構成を概略的に示す説明図である。図中の正方形の各々が、撮像面に２次元配列された画素を示す。蓄積電荷の電荷信号（以降、画像信号ともいう）の読み出しを行う読み出しラインとなるラインは、図中水平方向に延びる制御線で表され、異なる色感度を有する画素からなる２種類のラインからなる。なお、図示例ではベイヤー配列となっているが、これに限らない。
読み出しラインは、緑色光に感度を有するＧｂ画素と青色光に感度を有するＢ画素とが繰り返し配列される第１の読み出しライン８１Ａと、赤色光に感度を有するＲ画素と緑色光に感度を有するＧｒ画素とが繰り返し配列される第２の読み出しライン８１Ｂを含む。
ＡＤＣ部５３は、撮像素子５１から入力された画像信号をデジタルデータに変換する。また、ＡＤＣ部５３は、必要に応じてゲイン調整を行う。メモリ部５５は、ＡＤＣ部が出力するデジタルデータを一時記憶して、通信部５７に出力する。通信部５７は、デジタルデータをシリアル信号等の通信に適した信号形態に変換してプロセッサ２１に出力する。撮像素子５１、ＡＤＣ部５３、メモリ部５５にそれぞれ接続される駆動制御部５９は、タイミングジェネレータを有し、各部を駆動制御する。
通信部５７は、プロセッサ２１の画像受信部６３に向けてデジタルデータの信号を出力する。画像受信部６３は入力された信号を画像処理部６５に出力する。画像処理部６５は、撮像制御部６７からの指令を受けて、受信した信号を画像処理して表示信号生成部６９に出力する。表示信号生成部６９は、送られてきた表示用の信号をビデオ信号等の画像信号に変換して表示部１５へ出力し、表示部１５に画像表示させる。
駆動制御部５９は、撮像素子５１の電荷信号の読み出し、シャッタ速度、信号増幅等の撮像条件を撮像制御部６７の指令等に応じて変更し、撮像素子５１を駆動する。
撮像制御部６７は、入力された画像信号に応じて撮像素子５１の撮像条件を変更する撮像駆動信号を駆動信号通信部７１に出力する。駆動信号通信部７１は、撮像駆動信号を駆動制御部５９に出力し、撮像部６１の撮像条件を必要に応じて変更させる。また、撮像制御部６７は、入力された画像信号に応じて光源装置１９を駆動する。撮像制御部６７は、光源制御部７３に照明光駆動信号を出力し、例えば光源７５の点灯タイミングや出射光量を指示する。
光源７５は、光源制御部７３からの駆動信号を受けて点灯駆動され、出射光を、導光部材であるライトガイド７７を通じて、内視鏡先端部３９の照明窓４３Ａ，４３Ｂから同時に出射させる。光源７５は白色光源であるが、白色光源と、青色狭帯域光等を出射する特殊光光源とを組み合わせた光源であってもよい。青色狭帯域光としては、例えば中心波長が４００ｎｍ〜４５０ｎｍのレーザ光源やＬＥＤ光源からの光を利用できる。また、キセノンランプやハロゲンランプ等の白色光源からのブロードな波長光を光フィルタで波長選択して青色狭帯域光を取り出してもよい。
＜撮像素子の駆動方法＞
次に、撮像素子５１の駆動方法について説明する。
図４に示すように、各読み出しライン８１Ａ，８１Ｂは、ロー（Row）セレクタ８３に接続され、ローセレクタ８３から駆動信号が各画素に向けて出力される。また、垂直方向の制御線８５は、カラム（Column）セレクタを含むカラム出力部８７に接続されている。カラムセレクタの駆動によって、各画素の電荷信号がカラム出力部８７に取り込まれる。
ローセレクタ８３及びカラム出力部８７のカラムセレクタは、図１に示す駆動制御部５９に接続され、撮像素子５１に対する駆動信号により駆動される。ローセレクタ８３及びカラム出力部８７は、駆動信号を受けて、各画素の電荷信号を、カラム出力部８７を通じて画像信号として出力する。上記した画像信号出力のための基本構成は、一般的なＣＭＯＳ撮像素子に対する周知の構成と同様である。
（第１の制御例）
図５は電荷信号の読み出しの第１の駆動パターンを示す説明図である。この駆動パターンは、図４に示す第１の読み出しライン８１Ａに対応するＧＢラインと、第２の読み出しライン８１Ｂに対応するＲＧラインとで、読み出し時間間隔を表す読み出しレートを異ならせている。そして、各ラインの画素の電荷蓄積期間（以降は、単に「露光時間」と呼称する）を、ＢＧラインとＲＧラインとで異ならせ、ＢＧラインの電荷蓄積期間をＲＧラインの電荷蓄積期間より長くしている。
図示例では、ローセレクタ８３が、ＲＧラインに対しては６０ｆｐｓで読み出し信号を出力し、各ＲＧラインを順次読み出しラインに設定して、読み出し動作を行う。また、ＧＢラインに対してはＲＧラインによる２コマ毎の読み出し信号に同期して（即ち、３０ｆｐｓで）読み出し信号を出力し、各ＢＧラインを順次読み出しラインに設定して、読み出し動作を行う。つまり、ＲＧラインに対して１／６０秒に１回、ＧＢラインに対しては１／３０秒に１回、読み出し及びリセットが行われる。したがって、ＧＢラインは、ＲＧラインと比較して２倍の露光時間となる。
上記駆動パターンにより得られる画像情報の遷移を図６に模式的に示した。同図においては、フレーム１の期間で得られるＲ画素からの画像信号をＲ１，Ｇｒ画素からの画像信号をＧｒ１，Ｇｂ画素からの画像信号をＧｂ１，Ｂ画素からの画像信号をＢ１とし、以降のフレームについても同様に記している。
フレーム１の期間では、ＲＧラインのＲ１、Ｇｒ１の画像信号と、ＧＢラインのＧｂ１、Ｂ１の画像信号が得られる。フレーム２の期間では、ＲＧラインのＲ２、Ｇｒ２の画像信号だけが得られ、Ｇｂ画素とＢ画素の画像信号は露光時間中であるので得られない。フレーム３の期間では、ＲＧラインのＲ３、Ｇｒ３の画像信号と、ＧＢラインのＧｂ３、Ｂ３の画像信号が得られる。
なお、ここで言うフレームとは、動画における１つの静止画（１コマ）であり、フレームｎ（ｎは整数）の画像信号とは、説明を簡単にするため、各フレームの期間で各画素から読み出される画像信号を一旦メモリに記憶し、この記憶された画像信号を後処理にて読み出してフレーム画像を構築する場合の画像信号を意味するものとする。つまり、前述のＲ１，Ｇｒ１の画像信号は前フレーム期間に電荷蓄積された画像信号であり、前述のＧｂ１、Ｂ１の画像信号は、前フレーム期間と前々フレーム期間に蓄積された電荷に基づく画像信号である。
図７に図６に示す画像情報から生成される動画におけるＲＧＢの各画像信号の内容を示す。図７に一例として示す動画においては、フレーム１の期間で、Ｒ１、Ｇｒ１、Ｇｂ１、Ｂ１の各画像信号によりフレーム画像を生成する。なお、この場合、露光期間の相違に合わせてＧｂ１の画像信号のゲインを補正する。フレーム２の期間では、Ｒ２、Ｇｒ２の各画像信号は得られるが、電荷信号の読み出しレートの違いによりＢ画素の画像信号が得られない。そのため、フレーム１のＧｂ１、Ｂ１の画像信号を代用してフレーム画像を生成する。フレーム３の期間では、Ｒ３、Ｇｒ３、Ｇｂ３、Ｂ３の各画像信号によりフレーム画像を生成する。その場合、異なる露光タイミングの情報を補完しながら画像形成できるため、動画の画質をより向上できる。
更に、図７のＧｒ、Ｇｂ信号は、必要に応じて、Ｇｒ画像の画像信号をＧｂ画素の画像信号で補ったり、Ｇｂ画素の画像信号をＧｒ画素の画像信号で補ったりすることもできる。
この駆動パターンによれば、図８に電荷信号の読み出しパターンの説明図を示すように、ＧＢラインで読み出された画像信号が、ＲＧラインで読み出された２コマ分の画像信号にそれぞれ共通に使用される。つまり、ＧＢラインのフレーム更新を、ＲＧラインの時間軸で連続する２コマの期間に対して１回行うことで、６０ｆｐｓの動画を生成できる。
上記の駆動パターンによれば、ＧＢラインの画素の露光時間が、ＲＧラインの画素の露光時間より長くなり、ＧＢラインの画素の検出感度を向上できる。このため、内視鏡装置による白色光を用いた通常観察において、青色反射光の感度を赤色反射光、緑色反射光に対して増加させ、青色反射光成分を強調した観察画像を得ることができる。また、内視鏡装置により青色光の狭帯域光観察を行う場合に、被検体からの微弱な青色反射光に対する検出感度を向上でき、より鮮明な血管強調画像を得ることができる。
（第２の制御例）
図５に示す第１の駆動パターンは、各画素の露光時間が、電荷信号の読み出しタイミングから次の読み出しタイミングまでの時間であるが、本駆動例では、電子シャッタを使用して露光時間を変更する。図９に電荷信号の読み出しの第２の駆動パターンの説明図を示した。第２の駆動パターンでは、各画素の露光時間を、電子シャッタのシャッタ開期間で設定する。
この駆動パターンによれば、電子シャッタを使用することでＧＢラインとＲＧラインの各画素の露光時間をそれぞれ独立して任意に変更できる。したがって、ＧＢラインの各画素の露光時間を、ＲＧラインの各画素の露光時間に対する任意の倍数に設定したり、ＧＢラインとＲＧラインの各画素の露光時間の比を常に一定に調整したりすることが簡単に行える。なお、照明光をパルス光とすることにより、又は、撮像素子に入射する光を機械的に遮断するメカシャッタを併用することにより、グローバルシャッタ方式でも同様の処理が行える。
（第３の制御例）
図１０は露光時間の少ないＲＧラインの画素と、露光時間の長いＧＢラインの画素との画像信号における輝度レベルを合わせる第３の駆動を示す説明図である。同図には、ゲインを変更した６０ｆｐｓの動画の画像信号の内容を示している。前述した第３の駆動パターンは、電荷信号の読み出し動作は図６，図７に示す場合と同様であるが、本駆動パターンでは、露光時間の少ないＲＧラインの画素に対して、画像信号を増幅する。具体的には、ＲＧラインの画素の露光時間とＧＢラインの画素の露光時間との比が１：２である場合、撮像素子５１（図１参照）が有する増幅素子によって信号増幅をＲＧラインのゲインをＧＢラインのゲインより２倍高く設定する。つまり、図１０に示すフレーム１では、Ｒ１とＧｒ１の画像信号に対して、Ｂ１とＧｂの画像信号よりα倍高い増幅を行っている。αは上記露光時間の比に応じて設定される値である。
この信号増幅は、撮像素子５１、又はＡＤＣ部５３で行ってもよいが、画像処理部６５が画像信号を増幅する処理であってもよい。この場合、異なる露光タイミングの情報を補間しながら画像形成できるため、動画の画質をより向上できる。
この駆動パターンによれば、露光時間を長くしてＢ信号の検出感度を向上させ、更に、Ｒ，Ｇｒ信号のゲイン調整によりＲ，Ｇｒ信号をＢ信号の輝度レベルと合わせることができる。これにより、画像強調対象となるＢ信号のノイズが低減され、各色の輝度レベルが適正化された高品位な動画が得られる。
（第４の制御例）
次に、ＲＧラインの画素と、ＧＢラインの画素とで露光時間が異なることを利用して、ダイナミックレンジの拡大処理を行う第４の駆動パターンを説明する。
図１１は、露光時間の短いＲＧラインのＧｒ画素と、露光時間の長いＧＢラインのＧｂ画素との、周辺光量に対する蓄積される電荷信号の関係を示すグラフである。Ｇｂ画素の蓄積電荷は周辺光量Ｌ１で撮像すると飽和するが、Ｇｒ画素の蓄積電荷はまだリニア変化領域にある。そこで、Ｇｂの蓄積電荷が飽和するまでの周辺光量の範囲では、Ｇｂの電荷信号をダイナミックレンジ１００％の画像信号として使用し、Ｇｂが飽和する周辺光量Ｌ１以上の範囲では、Ｇｂの電荷信号を用いて画像信号を生成する。
例えば、Ｇｂの蓄積電荷が飽和した後、Ｇｂの電荷信号がＧｒの２倍の電荷信号である場合は、Ｇｒの電荷信号をダイナミックレンジが２００％の画像信号として使用する。また、３倍の場合はＧｒの電荷信号をダイナミックレンジが３００％の画像信号として使用する。
この駆動パターンによれば、Ｇｒ画素、Ｇｂ画素の双方からの電荷信号を共に使用することで、白とびのない明部と黒つぶれのない暗部を同時に再現した高品位な動画を生成できる。
また、図９に示す電子シャッタを併用する駆動パターンの場合、ＲＧラインの画素とＧＢラインの画素との露光時間の比を任意に異ならせ、その露光時間の比に応じてダイナミックレンジの拡大率を変更できる。この場合、ＲＧラインの画素とＧＢラインの画素との露光時間比が常に一定になるように電子シャッタのシャッタ開期間を調整する。
これにより、例えば、ＧＢラインの画素の露光時間：ＲＧラインの画素の露光時間を４：１とした場合、Ｇｒの電荷信号をダイナミックレンジ４００％の画像信号として使用することで、ダイナミックレンジが４００％の画像を得ることができる。
（第５の制御例）
次に、ＧＢラインの２倍のフレームレートで電荷信号の読み込み動作を行うＲＧラインに対して、時間軸で連続する２フレームの画像信号を平均化処理して、ＧＢラインと同じフレームレートで画像信号を出力する第５の駆動パターンを説明する。
図１２は、電荷信号の読み出しの駆動パターンを示す説明図である。電荷信号の読み出し動作は図６に示す場合と同様である。
図１３に図１２の駆動パターンで得られる画像信号の情報により生成する動画の画像信号の内容を示す。この生成された動画は３０ｆｐｓである。図１４におけるフレーム１のＲ信号はＲ１（図６のＲ１）とＲ２（図６のＲ２）とを平均化処理した信号とする。Ｇｒ信号はＧｒ１（図６のＧｒ１）とＧｒ２（図６のＧｒ２）とを平均化処理した信号、Ｇｂ信号はＧｂ１信号とする。また、Ｂ信号はＢ１信号とする。以降のフレームも同様に、ＲＧラインの画像信号を連続する２コマのフレーム画像間で平均化処理して、平均化処理した信号とＧＢラインの画像信号とを合わせて出力する。
この駆動パターンによれば、ＲＧラインの画像信号のノイズが平均化処理によって低減される。また、ＧＢラインにおけるＢ画素の画像信号のレベルを増加させたい場合や、高照度の光源からの光の反射光の影響を受けた場合等に、Ｇｂ画素の画像信号が飽和することがある。その場合に、Ｇｂ信号として、ＲＧラインのＧｒ画素の平均化された画像信号を使用することで、低ノイズで高品位な動画を得ることができる。なお、平均化処理した後に、信号を増幅してＢ画素の画像信号と輝度レベルを調整してもよい。また、上記平均化処理に代えて、加算処理としてもよい。
図１４は上記の平均化処理を撮像画像に応じて切り換える手順を示すフローチャートである。図１に示す撮像制御部６７は、入力部１７からの指令、又は内視鏡スコープ１１の駆動制御部５９や光源装置１９の光源制御部からの指令に基づいて、図１２，図１３に示す３０ｆｐｓ飽和防止モードで撮像するか否かが設定される。
撮像制御部６７は、３０ｆｐｓ飽和防止モードが設定されているか否かを判断して（Ｓ１）、設定されていない場合は、通常の３０ｆｐｓモード（例えば図１３に示す動画撮影）で撮影する（Ｓ２）。設定されている場合は、撮像制御部６７はＧＢラインのＧｂ画素の画像信号が飽和しているか否かを判定し（Ｓ３）、飽和していない場合は通常の３０ｆｐｓモードで撮影する（Ｓ２）。飽和している場合は、Ｇｂ信号を上記したＧｒ１，Ｇｒ２を平均化処理して代用する方法で撮影する（Ｓ４）。
２コマのフレーム画像を平均化処理する場合、これら２コマのフレーム画像の特徴点同士の位置合わせを行うことが好ましい。特徴点同士の画像上での位置合わせを行うことで、ブレのない平均化画像を生成できる。
図１５に特徴点同士の位置合わせを行う様子の説明図を示す。例えば、ＲＧラインから得られるフレームＡの画像と、ＧＢラインから得られるフレームＢの画像には、それぞれ腫瘍Ｔｕである特徴点を有するものとする。これら特徴点がフレームＡ，Ｂで水平方向にδだけずれていた場合、このまま重ね合わせて画素毎の平均化処理をすると、ブレを生じた平均化画像となってしまう。そこで、フレームＡ，Ｂを、ずれδの方向とは逆方向に画素位置を相対的にシフトさせる。これにより、２枚のフレーム画像の特徴点位置が同じ画像位置となる。このシフトされた位置で、フレーム画像の対応する位置同士で画素間の平均化処理を行う。なお、特徴点の検出処理は、周知の方法が利用できる。
この場合、動画撮像時にフレーム間で特徴点が異なる位置に映出されても、このずれを補正してからフレーム画像の平均化処理を行うので、鮮鋭度の高い平均化画像が得られ、動画品質が向上する。なお、平均化するフレーム画像は、上記した２コマに限らず、任意の複数コマであってもよい。つまり、ＲＧラインの読み出し時間間隔を、ＧＢラインの読み出し時間間隔のｍ倍（ｍは整数）にして撮像素子を駆動し、時間軸上で連続するｍコマでそれぞれ平均化処理してもよい。その場合の特徴点同士の位置合わせは、ｍコマの画像に対して行う。
＜血中酸素飽和度の情報を取得する内視鏡装置への適用＞
次に、血中の酸素飽和度を検出する内視鏡装置に適用する駆動パターンについて説明する。この内視鏡装置では、光源部から照射した照明光の反射光を撮像素子で撮像して、血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化するＢ画素及びＲ画素からの画像信号、並びに吸光係数が変化しないＧ（Ｇｒ，Ｇｂ）画素からの画像信号を含む、異なる色の反射光に対応する画像信号を取得し、これら取得した画像信号に基づいて、被検体の血液量及び血中ヘモグロビンの酸素飽和度の情報を算出、表示する。
図１６に血中酸素飽和度を検出する内視鏡装置のブロック図を示す。同図に示す内視鏡装置１００Ａの構成は、図１に示す内視鏡装置１００の光源装置１９以外は、同様の構成となっている。以降の説明では、共通する構成部材については同一の符号を付与することで、その説明を省略又は簡略化する。
光源装置１９Ａは、互いにスペクトルの異なる第１の光源９１と第２の光源９３とを有する。第１の光源９１は、中心波長４４５ｎｍのレーザ光源と蛍光体とを組み合わせた光源であり、その出射光は、中心波長４４５ｎｍの青色光と、約４７０〜７００ｎｍの波長域の緑〜赤色の蛍光体の発光を含む。第２の光源９３は、中心波長４７３ｎｍのレーザ光源を含む。第２の光源９３の青色光としては、中心波長４７３ｎｍがよいが、４６０ｎｍ〜４８０ｎｍの波長範囲であればよい。
内視鏡装置１００Ａの画像処理部６５は、図１７に示すように、白色光画像処理部９５と、酸素飽和度画像処理部９７とを備える。白色光画像処理部９５は、白色光観察モードの場合に、内視鏡スコープ１１から入力される画像信号に対して、白色光画像に適した画像処理を施し、白色光画像信号を出力する。
酸素飽和度画像処理部９７は、酸素飽和度観察モードの場合に、内視鏡スコープ１１から入力される画像信号に基づいて、被検体の血液量及び血中ヘモグロビンの酸素飽和度の情報を算出する。そして、算出した酸素飽和度の情報に基づいて、酸素飽和度の分布を疑似カラー画像として表示するための酸素飽和度画像信号を出力する。酸素飽和度画像処理部９７は、信号比算出部９７ａと、相関関係記憶部９７ｂと、血液量−酸素飽和度算出部９７ｃと、酸素飽和度画像生成部９７ｄとを備えている。
信号比算出部９７ａは、血管部分の画像信号とそれ以外の部分の画像信号との差に基づいて、内視鏡スコープ１１から入力される画像信号から血管領域を特定する。そして、信号比算出部９７ａは、血管領域内の同じ位置の画素について、血中ヘモグロビンの酸素飽和度に応じて還元ヘモグロビンと酸化ヘモグロビンの吸光度の大小関係が逆転する波長範囲の２つの狭帯域光の反射光に対応する画像信号をＳ１，Ｓ２とし、吸光度が同じになる波長範囲の１つの狭帯域光の反射光に対応する画像信号をＳ３として、信号比Ｓ１／Ｓ３、及びＳ２／Ｓ３を求める。
相関関係記憶部９７ｂは、信号比Ｓ１／Ｓ３及びＳ２／Ｓ３と、血液量及び酸素飽和度との相関関係を記憶している。この相関関係は、血管が図１８に示すヘモグロビンの吸光度を有する場合の相関関係であり、これまでの診断等で蓄積された多数の画像信号を分析することにより得られたものである。
図１８に示すように、血中ヘモグロビンは、照射する光の波長によって吸光度が変化する吸光特性を持っている。吸光度は、ヘモグロビンの光の吸収の大きさを表す。また、酸素と結合していない還元ヘモグロビンＨｂと、酸素と結合した酸化ヘモグロビンＨｂＯ２は、異なる吸光特性を持っており、同じ吸光度を示す等吸収点（図１８における各ヘモグロビンＨｂ，ＨｂＯ２の交点）を除いて、吸光度に差が生じる。
一般的に、図１８の分布は撮像対象の部位によって非線形に変化するため、実際の生体組織の計測や光伝播シミュレーション等により予め求めておく必要がある。
ここでは、画像信号Ｓ１はＲ信号、Ｓ２はＢ信号、Ｓ３はＧ信号に対応する。図１９は、信号比Ｂ／Ｇ及びＲ／Ｇと、血液量及び酸素飽和度との相関関係を表すグラフである。このグラフの横軸はｌｏｇ（Ｒ／Ｇ）、縦軸はｌｏｇ（Ｂ／Ｇ）であり、信号比Ｒ／Ｇ（第２信号比）は信号比Ｓ１／Ｓ３に対応し、信号比Ｂ／Ｇ（第１信号比）は信号比Ｓ２／Ｓ３に対応する。このグラフに示すように、信号比Ｒ／Ｇの値は、血液量に依存して変化し、血液量が多くなるほど大きくなる。また、信号比Ｂ／Ｇの値は、血液量及び酸素飽和度の両方に依存して変化する。つまり、信号比Ｂ／Ｇの値は、血液量が多くなるほど大きくなり、酸素飽和度が低くなるほど大きくなる。
血液量−酸素飽和度算出部９７ｃは、相関関係記憶部９７ｂに記憶された相関関係に基づき、信号比算出部９７ａで算出された信号比Ｒ／Ｇ及びＢ／Ｇに対応する血液量及び酸素飽和度を算出する。
酸素飽和度画像生成部９７ｄは、酸素飽和度の大小に応じてカラー情報が割り当てられたカラーテーブルを備えている。カラーテーブルは、入力部１７（図１）から入力される指示によって切り替えが可能であり、例えば、胃、十二指腸、小腸等のように、観察する部位に合ったものが選択される。酸素飽和度画像生成部９７ｄは、カラーテーブルを用い、血液量−酸素飽和度算出部９７ｃで算出された酸素飽和度に対応するカラー情報を特定する。そして、酸素飽和度画像生成部９７ｄは、血管領域内の全ての画素についてのカラー情報を特定すると、例えば、白色光画像の画像信号に対してカラー情報を反映させることにより、血中ヘモグロビンの酸素飽和度が反映（疑似カラー表示）された酸素飽和度画像信号を生成する。
画像処理部６５で処理された画像信号は、撮像制御部６７に送られ、撮像制御部６７で各種情報と共に内視鏡観察画像にされて表示部１５に表示される。また、必要に応じて、メモリやストレージ装置からなる記憶部に記憶される。
次に、上記の血液量及び酸素飽和度の算出方法について説明する。
被検体の粘膜組織内に光が入射すると、その一部は血管のところで吸収され、吸収されなかった光の更に一部が反射光として戻ってくる。この時、血管の深さが深くなるほど、その上の組織からの散乱の影響を大きく受けることになる。
ところで、４７０〜７００ｎｍの波長範囲の光は、粘膜組織内での散乱係数が小さく、かつ波長依存性が小さいという性質がある。この波長範囲の光を照明光として用いることによって、血管の深さの影響を低減しつつ、血液量及び酸素飽和度の情報を含む血液情報を得ることができる。内視鏡装置１００Ａでは、血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化する２つ以上の波長範囲の反射光、及び変化しない１つ以上の波長範囲の反射光を含む、異なる３つ以上の反射光に対応する画像信号（詳細を後述する）を用いて、血中ヘモグロビンの酸素飽和度を算出する。
ここで、血中ヘモグロビンの吸光係数の波長依存性から、以下の３つのことが言える。
・波長４７０ｎｍ近辺（例えば、中心波長４７０ｎｍ±１０ｎｍのＢの波長範囲）では酸素飽和度の変化に応じて吸光係数が大きく変化する。
・５４０〜５８０ｎｍのＧの波長範囲で平均すると、酸素飽和度の影響を受けにくい。
・５９０〜７００ｎｍのＲの波長範囲では、酸素飽和度によって一見吸光係数が大きく変化するように見えるが、吸光係数の値自体が非常に小さいので、結果的に酸素飽和度の影響を受けにくい。
また、粘膜の反射スペクトルから以下の２つの性質がある。
・Ｒの波長範囲ではヘモグロビンの影響がほとんどないと見なせるが、Ｇの波長範囲では吸収が生じるので、血液量（血管の太さあるいは血管の密度に対応）が大きいほど、Ｇの波長範囲での反射率とＲの波長範囲での反射率との差が大きくなる。
・波長４７０ｎｍ近辺の反射率とＧの波長範囲での反射率との差は、酸素飽和度が低いほど大きくなり、同時に、血液量が多いほど大きくなる。
つまり、Ｂ画素の画像信号ＢとＧ画素の画像信号Ｇとの間の信号比Ｂ／Ｇは、その値が酸素飽和度及び血液量の両方に依存して変化し、Ｇ画素の画像信号ＧとＲ画素の画像信号Ｒとの間の信号比Ｒ／Ｇは、その値が主に血液量だけに依存して変化する。したがって、この性質を利用することによって、波長４７０ｎｍ近辺、Ｇ及びＲの波長範囲を含む３波長範囲の分光画像から、酸素飽和度と血液量とを分離してそれぞれの値を正確に算出できる。これに基づいて作成したものが、信号比Ｂ／Ｇ及びＲ／Ｇと、血液量及び酸素飽和度との相関関係を表す前述の図１９のグラフである。
次に、上記した血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化する２つ以上の波長範囲の反射光、及び変化しない１つ以上の波長範囲の反射光を含む、波長範囲の異なる３つ以上の反射光に対応する画像信号について説明する。
第１の光源９１からの出射光は、中心波長４４５ｎｍの青色光と、蛍光体からの発光である約４７０〜７００ｎｍの波長範囲の光であり、撮像素子のＲ画素、Ｇ（Ｇｒ，Ｇｂ）画素、及びＢ画素で各色の画像信号が検出される。一方、第２の光源９３から出射される光は、好ましくは中心波長が４７３ｎｍの光を含み、その反射光は撮像素子のＢ画素から画像信号が検出される。
図２０に電荷信号の読み出しの駆動パターンの説明図を示す。本駆動パターンでは、ＧＢラインは６０ｆｐｓで電荷信号の読み出しを行い、ＲＧラインは３０ｆｐｓで電荷信号の読み出しを行う。そして、ＧＢラインの電荷信号の読み出しタイミングに同期して、第１の光源９１から照明光と、第２の光源９３からの照明光とを一定のパターンで切り換えて照射する。
上記駆動パターンにより得られる画像情報の遷移を図２１に模式的に示した。フレーム１の期間では、第１の光源９１からの第１の光による反射光として、ＲＧラインのＲ１、Ｇｒ１の画像信号と、ＧＢラインのＧｂ１、Ｂ１の画像信号が得られる。フレーム２の期間では、第２の光源９３からの第２の光による反射光として、ＧＢラインのＧｂ２、Ｂ２の画像信号が得られる。フレーム３の期間では、フレーム１と同様にＲＧラインのＲ２、Ｇｒ２の画像信号と、ＧＢラインのＧｂ３、Ｂ３の画像信号が得られる。
図２２に図２１に示す画像情報から得られる、被検体の血液量及び血中ヘモグロビンの酸素飽和度の情報を算出するためのＲ，Ｇ，Ｂ信号の一例としての内容を示す。フレーム１では、ＲＧラインのＲ１をＲ信号、Ｇｒ１をＧ信号とする。フレーム２では、ＧＢラインのＢ２をＢ信号とする。フレーム３ではＲＧラインのＲ２をＲ信号、Ｇｒ２をＧ信号とする。フレーム４ではＧＢラインのＢ４をＢ信号とする。
そして、フレーム１、２から信号比Ｒ１／Ｇｒ１、Ｂ２／Ｇｒ１の値をそれぞれ求め、フレーム３，４から信号比Ｒ２／Ｇｒ２、Ｂ４／Ｇｒ２をそれぞれ求めることで、３０ｆｐｓのフレーム更新毎に被検体の血液量及び血中ヘモグロビンの酸素飽和度の情報が得られる。また、フレーム２，３から信号比Ｒ２／Ｇｒ２、Ｂ２／Ｇｒ２の値を求める処理を加えることで、６０ｆｐｓでの情報生成も可能である。なお、第２の光源９３が、中心波長４７３ｎｍの光以外のＧ光、Ｒ光成分を含んで照射する場合、Ｇ信号の生成にＧｒ１に加えてＧｂ１を使用してもよい。
この駆動パターンによれば、被検体の血液量及び血中ヘモグロビンの酸素飽和度の情報を各ＲＧＢの信号から算出できる。また、Ｇ信号を露光時間の長いＲＧラインのＧｒ画素からの画像信号を用いることで、ノイズが低減された高精度の情報が得られる。なお、上記の信号比の処理は一例であって、これに限らない。
また、被検体の血液量及び血中ヘモグロビンの酸素飽和度の情報を算出しつつ、白色光照明下での観察画像を動画像で出力することもできる。その場合、図２１に示す画像情報から、フレーム画像のＲ信号としてフレーム１のＲ１を用い、Ｇ信号として、フレーム１のＧｒ１，Ｇｂ１，Ｇｂ２のいずれか、又はこれらを任意に組み合わせた信号（加算、平均、重み付け加算等）を用い、Ｂ信号として、フレーム１のＢ１，フレーム２のＢ２のいずれか、又は上記同様に任意に組み合わせた信号を用いる。
こうすることで、照明光のスペクトルが異なる場合でも、撮像素子から得られるＲ１，Ｇｒ１，Ｇｒ２，Ｂ１，Ｂ２の画像信号を適宜組み合わせて、白色照明下での観察動画像を得ることができる。
本発明は上記の実施形態に限定されるものではなく、実施形態の各構成を相互に組み合わせることや、明細書の記載、並びに周知の技術に基づいて、当業者が変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。例えば、感度を増加させる色は、上記した特定の色に限らず、他の任意の色の反射光に対する感度を増加させることもできる。例えば、上記同様にして、ＲＧラインの画素に対する露光時間を、ＢＧラインの画素に対する露光時間より長くして、Ｒ画素の感度を増加させることもできる。
以上の通り、本明細書には次の事項が開示されている。
（１） 異なる色に感度を有する画素を二次元配列したＭＯＳ型の撮像素子の駆動方法であって、
上記撮像素子は、上記画素の電荷信号を読み出すための、上記画素の配列が異なる少なくとも２種類の読み出しラインを有し、
上記読み出しラインのうち少なくとも１種類の読み出しラインの電荷信号の読み出し時間間隔を、他の種類の読み出しラインの読み出し時間間隔より長くし、その１種類の読み出しラインの各画素の電荷蓄積期間を、他の種類の読み出しラインの各画素の電荷蓄積期間より長くする駆動を行う撮像素子の駆動方法。
（２） （１）に記載の撮像素子の駆動方法であって、
上記電荷蓄積期間は、上記電荷信号の読み出しタイミングから次の読み出しタイミングまでの期間である撮像素子の駆動方法。
（３） （１）に記載の撮像素子の駆動方法であって、
上記電荷蓄積期間は、電子シャッタのシャッタ開期間である撮像素子の駆動方法。
（４） （１）乃至（３）のいずれか一項に記載の撮像素子の駆動方法であって、
上記１種類の読み出しラインの各画素の電荷蓄積期間は、上記他の種類の読み出しラインの各画素の電荷蓄積期間の２倍である撮像素子の駆動方法。
（５） （１）乃至（４）のいずれか一項に記載の撮像素子の駆動方法であって、
上記読み出しラインは、青色光に感度を有するＢ画素と緑色光に感度を有するＧｂ画素とが繰り返し配列される第１の読み出しラインと、赤色光に感度を有するＲ画素と緑色光に感度を有するＧｒ画素とが繰り返し配列される第２の読み出しラインとの２種類の読み出しラインであり、
上記第１の読み出しラインは上記１種類の読み出しラインであり、上記第２の読み出しラインは上記他の種類の読み出しラインである撮像素子の駆動方法。
（６） （１）乃至（４）のいずれか一項に記載の撮像素子の駆動方法であって、
上記読み出しラインは、青色光に感度を有するＢ画素と緑色光に感度を有するＧｂ画素とが繰り返し配列される第１の読み出しラインと、赤色光に感度を有するＲ画素と緑色光に感度を有するＧｒ画素とが繰り返し配列される第２の読み出しラインとの２種類の読み出しラインであり、
上記第１の読み出しラインは上記他の種類の読み出しラインであり、上記第２の読み出しラインは上記１種類の読み出しラインである撮像素子の駆動方法。
（７） 異なる色に感度を有する画素を二次元配列したＭＯＳ型の撮像素子と、
（１）乃至（６）のいずれか一項に記載の撮像素子の駆動方法で上記撮像素子を駆動する駆動制御部と、
を備える撮像装置。
（８） （７）に記載の撮像装置であって、
上記１種類の読み出しラインの各画素の画像信号に、上記他の種類の読み出しラインの各画素の画像信号を合成した画像信号を生成する画像処理部を備える撮像装置。
（９） （８）に記載の撮像装置であって、
上記駆動制御部は、上記１種類の読み出しラインの読み出し時間間隔を、上記他の種類の読み出しラインの読み出し時間間隔のｍ倍（ｍは整数）にして上記撮像素子を駆動し、
上記画像処理部は、上記他の種類の読み出しラインから得られる異なる色に感度を有する画素からの画像信号を、時間軸上で連続するｍコマでそれぞれ平均化処理し、その平均化処理された平均画像信号と、上記１種類の読み出しラインから得られる異なる色に感度を有する画素からの画像信号とを用いて、１フレームの画像信号を生成する撮像装置。
（１０） （９）に記載の撮像装置であって、
上記画像処理部は、上記他の種類の読み出しラインから得られる上記ｍコマの画像にそれぞれ映出された同一の特徴点の位置を、同じ画像位置に合わせてから上記平均化処理を行う撮像装置。
（１１） （９）又は（１０）に記載の撮像装置であって、
上記画像処理部は、上記１種類の読み出しラインから得られる画像信号よりも、上記他の種類の読み出しラインから得られる画像信号を高いゲインで増幅する撮像装置。
（１２） （９）又は（１０）に記載の撮像装置であって、
上記画像処理部は、上記１種類の読み出しラインと、上記他の種類の読み出しラインとの双方に含まれる同色の色感度を有する画素に対して、上記１種類の読み出しラインから得られる画像信号と、上記他の種類の読み出しラインから得られる画像信号との双方を用いて、ダイナミックレンジを拡大した画像信号を生成する撮像装置。
（１３） （７）乃至（１２）のいずれか一項に記載の撮像装置であって、
上記他の種類の読み出しラインに対する各画素の電荷信号の読み出しタイミングに同期して、互いに異なるスペクトルの複数種の照明光を一定のパターンで切り換えて照射する光源部を備える撮像装置。
（１４） （１３）に記載の撮像装置を備える内視鏡装置。
１１ 内視鏡スコープ
１３ 制御装置
１５ 表示部
１７ 入力部
１９ 光源装置
２１ プロセッサ
５１ 撮像素子
５３ ＡＤＣ部
５９ 駆動制御部
６１ 撮像部
６５ 画像処理部
６７ 撮像制御部
７３ 光源制御部
７５ 光源
８１Ａ 第１の読み出しライン
８１Ｂ 第２の読み出しライン
８５ 制御線
９１ 第１の光源
９３ 第２の光源
９５ 白色画像処理部
９７ 酸素飽和度処理部
１００ 内視鏡装置

Claims (12)

  1. 異なる色に感度を有する画素を二次元配列したＭＯＳ型の撮像素子を有する撮像装置であって、
    前記撮像素子は、前記画素の電荷信号を読み出すための、前記画素の配列が異なる少なくとも２種類の読み出しラインを有し、
    前記読み出しラインは、青色光に感度を有するＢ画素と緑色光に感度を有するＧｂ画素とが繰り返し配列される第１の読み出しラインと、赤色光に感度を有するＲ画素と緑色光に感度を有するＧｒ画素とが繰り返し配列される第２の読み出しラインとの２種類の読み出しラインであり、
    前記読み出しラインのうち少なくとも１種類の読み出しラインの電荷信号の読み出し時間間隔を、他の種類の読み出しラインの読み出し時間間隔より長くし、当該１種類の読み出しラインの各画素の電荷蓄積期間を、他の種類の読み出しラインの各画素の電荷蓄積期間より長くする駆動を行う駆動制御部と、
    前記他の種類の読み出しラインに対する各画素の電荷信号の読み出しタイミングに同期して、互いに異なるスペクトルの複数種の照明光を一定のパターンで切り換えて照射する光源部と、
    前記第１の読み出しラインのＢ画素から出力される信号と、前記第１の読み出しラインのＧｂ画素から出力される信号との第一の信号比と、前記第２の読み出しラインのＲ画素から出力される信号と、前記第２の読み出しラインのＧｒ画素から出力される信号との第二の信号比と、予め記憶されている前記第一の信号比及び前記第二の信号比と血液量及び血中ヘモグロビンの酸素飽和度との相関関係とに基づいて、被検体の血液量及び血中ヘモグロビンの酸素飽和度を算出する酸素飽和度画像処理部と、を備える撮像装置。
  2. 請求項１に記載の撮像装置であって、
    前記電荷蓄積期間は、前記電荷信号の読み出しタイミングから次の読み出しタイミングまでの期間である撮像素子の撮像装置。
  3. 請求項１に記載の撮像素子の撮像装置であって、
    前記電荷蓄積期間は、電子シャッタのシャッタ開期間である撮像素子の撮像装置。
  4. 請求項１乃至請求項３のいずれか一項に記載の撮像装置であって、
    前記１種類の読み出しラインの各画素の電荷蓄積期間は、前記他の種類の読み出しラインの各画素の電荷蓄積期間の２倍である撮像装置。
  5. 請求項１乃至請求項４のいずれか一項に記載の撮像装置であって、
    前記第１の読み出しラインは前記１種類の読み出しラインであり、前記第２の読み出しラインは前記他の種類の読み出しラインである撮像装置。
  6. 請求項１乃至請求項４のいずれか一項に記載の撮像装置であって、
    前記第１の読み出しラインは前記他の種類の読み出しラインであり、前記第２の読み出しラインは前記１種類の読み出しラインである撮像装置。
  7. 請求項１〜６のいずれか１項に記載の撮像装置であって、
    前記１種類の読み出しラインの各画素の画像信号に、前記他の種類の読み出しラインの各画素の画像信号を合成した画像信号を生成する画像処理部を備える撮像装置。
  8. 請求項７に記載の撮像装置であって、
    前記駆動制御部は、前記１種類の読み出しラインの読み出し時間間隔を、前記他の種類の読み出しラインの読み出し時間間隔のｍ倍（ｍは整数）にして前記撮像素子を駆動し、
    前記画像処理部は、前記他の種類の読み出しラインから得られる異なる色に感度を有する画素からの画像信号を、時間軸上で連続するｍコマでそれぞれ平均化処理し、該平均化処理された平均画像信号と、前記１種類の読み出しラインから得られる異なる色に感度を有する画素からの画像信号とを用いて、１フレームの画像信号を生成する撮像装置。
  9. 請求項８に記載の撮像装置であって、
    前記画像処理部は、前記他の種類の読み出しラインから得られる前記ｍコマの画像にそれぞれ映出された同一の特徴点の位置を、同じ画像位置に合わせてから前記平均化処理を行う撮像装置。
  10. 請求項８又は請求項９に記載の撮像装置であって、
    前記画像処理部は、前記１種類の読み出しラインから得られる画像信号よりも、前記他の種類の読み出しラインから得られる画像信号を高いゲインで増幅する撮像装置。
  11. 請求項８又は請求項９に記載の撮像装置であって、
    前記画像処理部は、前記１種類の読み出しラインと、前記他の種類の読み出しラインとの双方に含まれる同色の色感度を有する画素に対して、前記１種類の読み出しラインから得られる画像信号と、前記他の種類の読み出しラインから得られる画像信号との双方を用いて、ダイナミックレンジを拡大した画像信号を生成する撮像装置。
  12. 請求項１〜１１のいずれか一項に記載の撮像装置を備える内視鏡装置。
JP2013201251A 2013-09-27 2013-09-27 撮像装置及び内視鏡装置 Active JP5904673B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013201251A JP5904673B2 (ja) 2013-09-27 2013-09-27 撮像装置及び内視鏡装置
EP14186400.9A EP2854391B1 (en) 2013-09-27 2014-09-25 Driving method of imaging element, imaging device, and endoscopic device
US14/497,500 US10091480B2 (en) 2013-09-27 2014-09-26 Driving method of imaging element, imaging device with read-out time and accumulation period

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013201251A JP5904673B2 (ja) 2013-09-27 2013-09-27 撮像装置及び内視鏡装置

Publications (2)

Publication Number Publication Date
JP2015070369A JP2015070369A (ja) 2015-04-13
JP5904673B2 true JP5904673B2 (ja) 2016-04-20

Family

ID=51625868

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013201251A Active JP5904673B2 (ja) 2013-09-27 2013-09-27 撮像装置及び内視鏡装置

Country Status (3)

Country Link
US (1) US10091480B2 (ja)
EP (1) EP2854391B1 (ja)
JP (1) JP5904673B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6564239B2 (ja) * 2015-05-20 2019-08-21 日本放送協会 高ダイナミックレンジ撮像装置及び撮像方法
US11258978B2 (en) * 2019-07-17 2022-02-22 Solsona Enterprise, Llc Methods and systems for representing video in continuous time

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4665422B2 (ja) 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
JP4487944B2 (ja) 2006-02-09 2010-06-23 ソニー株式会社 固体撮像装置
JP2009194604A (ja) * 2008-02-14 2009-08-27 Seiko Epson Corp 撮像装置及び撮像装置の駆動方法
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
US8368771B2 (en) * 2009-12-21 2013-02-05 Olympus Imaging Corp. Generating a synthesized image from a plurality of images
CN103181160B (zh) * 2010-07-28 2016-06-15 富士胶片株式会社 成像设备和成像方法
WO2012043771A1 (ja) * 2010-09-30 2012-04-05 オリンパスメディカルシステムズ株式会社 撮像装置
JP2012175234A (ja) 2011-02-18 2012-09-10 Sony Corp 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
US8890986B2 (en) * 2011-04-27 2014-11-18 Aptina Imaging Corporation Method and apparatus for capturing high dynamic range images using multi-frame interlaced exposure images
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
EP2754379B1 (en) * 2011-09-05 2019-07-03 FUJIFILM Corporation Endoscope system and image display method
JP5654511B2 (ja) * 2012-03-14 2015-01-14 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP6172967B2 (ja) * 2013-02-20 2017-08-02 キヤノン株式会社 撮像装置、及びその制御方法

Also Published As

Publication number Publication date
EP2854391B1 (en) 2018-12-26
US20150092036A1 (en) 2015-04-02
EP2854391A2 (en) 2015-04-01
US10091480B2 (en) 2018-10-02
JP2015070369A (ja) 2015-04-13
EP2854391A3 (en) 2015-06-17

Similar Documents

Publication Publication Date Title
JP5303012B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
US7889228B2 (en) Signal processing device for endoscope
JP5507376B2 (ja) 撮像装置
JP5389612B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
US6902527B1 (en) Endoscope system with charge multiplying imaging device and automatic gain control
JP5623469B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
JP6367683B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
US20150272422A1 (en) Endoscope system, processor device, and method for operating endoscope system
JP5899172B2 (ja) 内視鏡装置
JP2009066121A (ja) 撮像装置
JP2012005807A (ja) 内視鏡装置の制御方法及び内視鏡装置
JP5623470B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
JP5930474B2 (ja) 内視鏡システム及びその作動方法
WO2014156604A1 (ja) 内視鏡システム及びその作動方法並びにプロセッサ装置
JP5371702B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5904673B2 (ja) 撮像装置及び内視鏡装置
JP6190906B2 (ja) 撮像モジュール、及び内視鏡装置
JP2007306974A (ja) 内視鏡プロセッサ、内視鏡プログラム、画像処理システム、及び内視鏡画像記録再生装置
JP6396717B2 (ja) 感度調整方法および撮像装置
JP2005312551A (ja) 内視鏡装置
JP2009039561A (ja) 内視鏡装置
JP6120758B2 (ja) 医用システム
JP2009125411A (ja) 内視鏡画像処理方法および装置ならびにこれを用いた内視鏡システム
JP2003010114A (ja) 電子内視鏡装置およびその制御方法
JP2018192043A (ja) 内視鏡及び内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150818

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160314

R150 Certificate of patent or registration of utility model

Ref document number: 5904673

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250