JP5474020B2 - 撮影装置、撮影プログラム、及び撮影方法 - Google Patents

撮影装置、撮影プログラム、及び撮影方法 Download PDF

Info

Publication number
JP5474020B2
JP5474020B2 JP2011214705A JP2011214705A JP5474020B2 JP 5474020 B2 JP5474020 B2 JP 5474020B2 JP 2011214705 A JP2011214705 A JP 2011214705A JP 2011214705 A JP2011214705 A JP 2011214705A JP 5474020 B2 JP5474020 B2 JP 5474020B2
Authority
JP
Japan
Prior art keywords
signal
period
pixel
sampling
horizontal direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011214705A
Other languages
English (en)
Other versions
JP2013074614A (ja
Inventor
和浩 牧野
潤 高葉
康武 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2011214705A priority Critical patent/JP5474020B2/ja
Priority to EP12181183.0A priority patent/EP2575356B1/en
Priority to US13/594,329 priority patent/US8860859B2/en
Publication of JP2013074614A publication Critical patent/JP2013074614A/ja
Application granted granted Critical
Publication of JP5474020B2 publication Critical patent/JP5474020B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/713Transfer or readout registers; Split readout registers or multiple readout registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮影装置、撮影プログラム、及び撮影方法に関する。
従来、CCD等の撮像素子を用いた撮影装置として、画素加算(ビニング)することにより感度を向上させて撮影することができる撮影装置が種々提案されている。また、撮像信号を多重サンプリングすることにより、ランダムノイズを低減する技術が種々提案されている。
例えば、特許文献1には、電荷転送素子の出力からフィードスルーレベルと信号レベルとをそれぞれ複数回サンプリングし、フィードスルーレベルの複数回サンプリングの結果と信号レベルの複数回サンプリングの結果との差分を取ることによりS/N比を向上させる技術が開示されている。
また、特許文献2には、相関2重サンプリングの期間を充分確保してサンプリングができると共に、水平走査期間を短縮して、自動制御のフィードバックやモニタ出力が速く、かつ画素数を多くして高画質のCCD撮像素子を実現する技術が開示されている。
また、特許文献3には、水平方向にビニング動作を行う際に、隣接する複数の画素の蓄積電荷を加算する期間における前記電荷転送速度が、前記期間外における電荷転送速度よりも高速とすることにより、ビニング時に高スキャン速度かつ高S/N比で画像を読み出すことができる技術が開示されている。
特開平10−191169号公報 特開平10−191168号公報 特許第4015242号公報
しかしながら、多重サンプリング数を増加させると、多重サンプリングしない場合よりも高速に撮像信号をA/D変換するA/D変換器が必要となる。また、低速のA/D変換器を用いた場合、フレームレートが低減し、低周波ノイズ(例えば1/fノイズ)が顕著となる。
本発明は上記問題点を解決するためになされたものであり、画素加算時にノイズを低減することができる撮影装置、撮影プログラム、及び撮影方法を提供することを目的とする。
上記課題を解決するため、請求項1記載の発明の撮影装置は、二次元状に画素が配列されると共に水平方向に複数の画素を画素加算する画素加算機能を備え、被写体を撮像する撮像素子と、前記撮像素子で水平方向に画素加算して撮像信号を出力した場合のフィードスルー期間及び信号期間が、前記撮像素子で前記水平方向に画素加算しない場合のフィードスルー期間及び信号期間よりも長くなるように、前記撮像素子に出力する水平同期信号のパルス幅を制御する制御手段と、前記水平方向に複数の画素を画素加算する場合に、前記フィードスルー期間及び前記信号期間において多重サンプリングする多重サンプリング手段と、前記フィードスルー期間において多重サンプリングした第1の信号と、前記信号期間において多重サンプリングした第2の信号と、の差を画素信号として出力する相関二重サンプリング手段、前記フィードスルー期間及び信号期間の各々において多重サンプリングされるように、タイミング信号を前記相関二重サンプリング手段に出力するタイミング信号発生手段、前記相関二重サンプリング手段から出力された画素信号の各々をA/D変換するA/D変換手段、及び前記A/D変換手段により前記画素信号の各々をA/D変換した複数の画素データの平均値を画素値として算出する平均値算出手段を含む画素値算出手段と、前記複数の画素データの標準偏差に基づいて、前記多重サンプリングのサンプリング数を設定する設定手段と、を備える。
この発明によれば、撮像素子で水平方向に画素加算して撮像信号を出力した場合のフィードスルー期間及び信号期間が、撮像素子で水平方向に画素加算しない場合のフィードスルー期間及び信号期間よりも長くなるように、撮像素子に出力する水平同期信号のパルス幅を制御する。多重サンプリング手段は、前記水平方向に複数の画素を画素加算する場合に、前記フィードスルー期間及び前記信号期間において多重サンプリングする多重サンプリング処理を実行する。これにより、ノイズ低減処理として多重サンプリングすること等が可能となり、画素加算時にランダムノイズ等を低減することができる。
また、請求項に記載したように、前記平均値算出手段は、前記複数の画素データの標準偏差に基づいて定めた所定範囲外の画素データを除外して、前記複数の画素データの平均値を算出するようにしてもよい。
また、請求項に記載したように、前記所定範囲は、前記複数の画素データの平均値をA、前記標準偏差をσとして、A±3σの範囲としてもよい。
また、請求項に記載したように、前記設定手段は、前記標準偏差が小さくなるに従って、前記多重サンプリングのサンプリング数が少なくなるように設定し、前記制御手段は、前記サンプリング数に応じて前記フィードスルー期間及び前記信号期間が短縮されるように、前記撮像素子に出力する水平同期信号のパルス幅を制御するようにしてもよい。
また、請求項に記載したように、前記撮像信号に対して低域通過処理を施すローパスフィルタを備えた構成としてもよい。
請求項記載の発明の撮影プログラムは、コンピュータを、請求項1〜の何れか1項に記載の撮影装置の前記制御手段及び前記画素値算出手段として機能させるための撮影プログラムである。
請求項記載の発明の撮影方法は、二次元状に画素が配列されると共に水平方向に複数の画素を画素加算する画素加算機能を備え、被写体を撮像する撮像素子で水平方向に画素加算して撮像信号を出力した場合のフィードスルー期間及び信号期間が、前記撮像素子で前記水平方向に画素加算しない場合のフィードスルー期間及び信号期間よりも長くなるように、前記撮像素子に出力する水平同期信号のパルス幅を制御するステップと、前記水平方向に複数の画素を画素加算する場合に、前記フィードスルー期間及び前記信号期間において多重サンプリングするステップと、前記フィードスルー期間において多重サンプリングした第1の信号と、前記信号期間において多重サンプリングした第2の信号と、の差を画素信号として出力する相関二重サンプリングステップ、前記フィードスルー期間及び信号期間の各々において多重サンプリングされるように、タイミング信号を出力するタイミング信号発生ステップ、前記相関二重サンプリングステップにて出力された画素信号の各々をA/D変換するA/D変換ステップ、及び前記A/D変換ステップにて前記画素信号の各々をA/D変換した複数の画素データの平均値を画素値として算出する平均値算出ステップを含むステップと、前記複数の画素データの標準偏差に基づいて、前記多重サンプリングのサンプリング数を設定するステップと、を含む。
本発明によれば、画素加算時にノイズを低減することができる、という効果を有する。
撮影システムの斜視図である。 撮影装置の正面図である。 画像処理装置100の概略ブロック図である。 撮影部30の概略ブロック図である。 撮像素子の概略構成を示す図である。 撮影部のCPUで実行される制御ルーチンのフローチャートである。 撮像素子の駆動に関する信号のタイミングチャートである。
以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明に係る撮影装置を用いた撮影システムの一例を示す斜視図である。撮影システム1は、被写体に応じて励起光を照射せずに又は励起光を照射して被写体を撮影し、被写体の撮影画像を取得する撮影システムであり、撮影装置10及び画像処理装置100を含んで構成されている。
撮影装置10は、被写体を撮影して取得した被写体の画像データを画像処理装置100に出力する。画像処理装置100は、受信した画像データに対して、必要に応じて所定の画像処理を施して表示部202に表示させる。
図2には、撮影装置10の蓋22(図1参照)を開けた状態の正面図を示した。同図に示すように、撮影装置10は、被写体PSが配置される被写体配置部40と、被写体配置部40を内部に収容した筐体20と、被写体配置部40に配置された被写体PSを撮影する撮影部30と、被写体PSに励起光を照射する、筐体20内に配置された落射光源50と、透過光源60と、を備えている。
筐体20は、略直方体に形成された中空部21を有するものであって、内部に被写体PSが配置される被写体配置部40を有している。また、筐体20には図1に示す蓋22が開閉可能に取り付けられており、ユーザーが蓋22を開けて筐体20内に被写体PSを収容することができるようになっている。このように、筐体20は中空部21内に外光が入らないような暗箱を構成している。
撮影装置10は、筐体20の上面20aに固定されており、詳細は後述するが、例えばCCD等の撮像素子を含んで構成されている。撮像素子には、冷却素子が取り付けられており、撮像素子を冷却することにより、撮影された画像情報に暗電流によるノイズ成分が含まれるのを防止している。
撮影装置10にはレンズ部31が取り付けられており、このレンズ部31は、被写体P Sにフォーカスを合わせるために、矢印Z方向に移動可能に設けられている。
落射光源50は、被写体配置部40の上に配置された被写体PSに向けて励起光を射出する。透過光源60は、被写体PSの下から励起光を照射する。蛍光試料を撮影する場合には、被写体に応じて落射光源50及び透過光源60の少なくとも一方から励起光を被写体に照射させる。
図3には、画像処理装置100の概略構成を示した。同図に示すように、画像処理装置100は、メインコントローラ70を含んで構成されている。
メインコントローラ70は、CPU(Central Processing Unit)70A、ROM(Read Only Memory)70B、RAM(Random Access Memory)70C、不揮発性メモリ70D、及び入出力インターフェース(I/O)70Eがバス70Fを介して各々接続された構成となっている。
I/O70Eには、表示部202、操作部72、ハードディスク74、及び通信I/F76が接続されている。メインコントローラ70は、これらの各機能部を統括制御する。
表示部202は、例えばCRTや液晶表示装置等で構成され、撮影装置10で撮影された画像を表示したり、撮影装置10に対して各種の設定や指示を行うための画面等を表示したりする。
操作部72は、マウスやキーボード等を含んで構成され、ユーザーが操作部72を操作することによって撮影装置10に各種の指示を行うためのものである。
ハードディスク74は、撮影装置10で撮影された撮影画像の画像データ、制御プログラム、制御に必要な各種データ等が記憶される。
通信インターフェース(I/F)76は、撮影装置10の撮影部30、落射光源50、及び透過光源60と接続される。CPU70Aは、通信I/F76を介して、被写体の種類に応じた撮影条件での撮影を撮影部30に指示したり、被写体に励起光を照射する場合には、落射光源50及び透過光源60の少なくとも一方に励起光の照射を指示したりすると共に、撮影部30で撮影された撮影画像の画像データを受信して画像処理等を施したりする。
図4には、撮影部30の概略構成を示した。同図に示すように、撮影部30は、制御部80を備えており、制御部80はバス82を介して通信インターフェース(I/F)84と接続されている。通信I/F84は、画像処理装置100の通信I/F76と接続される。
制御部80は、通信I/F84を介して画像処理装置100から撮影が指示されると、指示内容に応じて各部を制御して被写体配置部40に配置された被写体PSを撮影し、その撮影画像の画像データを通信I/F84を介して画像処理装置100へ送信する。
制御部80には、レンズ部31、タイミング発生器86、撮像素子88を冷却する冷却素子90、及び撮像素子88の温度を検出する温度センサ91が接続されている。
制御部80は、例えば図示しないCPU、ROM、RAM、不揮発性ROM等を含むコンピュータで構成され、不揮発性ROMには、後述する制御プログラムが記憶されている。これをCPUが読み込んで実行することにより、制御部80に接続された各部を制御する。
レンズ部31は、図示は省略するが、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。レンズ群は、図2において被写体PSにフォーカスを合わせるために、矢印Z方向に移動可能に設けられている。絞り調節機構は、開口部の径を変化させて撮像素子88への入射光量を調整するものであり、ズーム機構は、レンズの配置する位置を調節してズームを行うものであり、自動焦点調節機構は、被写体PSと撮影装置10との距離に応じてピント調節するものである。
被写体PSからの光は、レンズ部31を透過して被写体像として撮像素子88に結像される。
撮像素子88は、詳細は後述するが、複数の各画素に対応する受光部、水平転送路、及び垂直転送路等を含んで構成されている。撮像素子88は、その撮像面に結像される被写体像を電気信号に光電変換する機能を有し、例えば電荷結合素子(Charge Coupled Device:CCD)や金属酸化膜型半導体(Metal OxideSemiconductor:MOS)等のイメージセンサが用いられる。本実施形態においては、撮像素子88としてCCDを用いる。
撮像素子88は、タイミング発生器86からのタイミング信号により制御され、被写体PSからの入射光を各受光部で光電変換する。
撮像素子88で光電変換された信号電荷は、電荷電圧変換アンプ(フローティングディフュージョンアンプ)92によって電圧変換されたアナログ信号となり、信号処理部94に出力される。
タイミング発生器86は、撮影部30を動作させる基本クロック(システムクロック)を発生する発振器を有しており、例えば、この基本クロックを各部に供給すると共に、この基本クロックを分周して様々なタイミング信号を生成する。例えば、垂直同期信号、水平同期信号及び電子シャッタパルスなどを示すタイミング信号を生成して撮像素子88に供給する。また、相関二重サンプリング用のサンプリングパルスやアナログ・デジタル変換用の変換クロックなどのタイミング信号を生成して信号処理部94に供給する。
信号処理部94は、タイミング発生器86からのタイミング信号により制御され、入力されたアナログ信号に対して相関二重サンプリング処理(Correlated Double Sampling:CDS)を施すCDS回路、及び相関二重サンプリング処理が施されたアナログ信号をデジタル信号に変換するアナログ・デジタル(Analog/Digital:A/D)変換器等を含んで構成される。
相関二重サンプリング処理は、撮像素子88から出力された撮像信号に含まれるノイズ等を軽減することを目的として、撮像信号のフィードスルー期間のレベルと画像部分に相当する信号期間のレベルとの差をとることにより画素信号を得る処理である。
相関二重サンプリング処理された画素信号はA/D変換器によってA/D変換され、メモリ96に出力されて一次記憶される。本実施形態では、詳細は後述するが、フィードスルー期間及び信号期間の各々において多重サンプリングするため、1画素につき複数の画素データがメモリ96に一次記憶される。制御部80では、複数の画素データの平均値を算出し、これを画素データとする。制御部80は、このような処理を画素毎に行い、画素データの集合である画像データを、通信I/F84を介して画像処理装置100に送信する。
冷却素子90は、例えばペルチエ素子等により構成され、制御部80によって冷却温度が制御される。被写体PSが化学発光試料の場合、励起光を照射せずに比較的長時間露光して撮影を行うため、撮像素子88の温度が上昇して暗電流の増加等により画質に悪影響を及ぼす場合がある。このため、制御部80では、画像処理装置100から指示された冷却温度に撮像素子88の温度が維持されるように、温度センサ91により検出された撮像素子88の温度をモニタしながら冷却素子90をPWM(パルス幅変調)制御し、撮像素子88を冷却する。
図5には、CCDを用いた撮像素子88の概略構成を示した。撮像素子88は、画素を構成する受光部(フォトダイオード)88A、垂直転送路88B、及び水平転送路88Cを含んで構成されている。
各受光部88Aで受光されて光電変換された電荷は、各列の垂直転送路88Bに各々出力される。各列の垂直転送路88Bに出力された電荷は、水平転送路88Cに各々転送される。水平転送路88Cに各々出力された電荷は、電荷電圧変換アンプ92に順次転送される。
また、撮像素子88は画素加算機能を備えており、垂直方向の画素加算は水平転送路88Cで行われ、水平方向の画素加算は電荷電圧変換アンプ92で行われる。なお、水平転送路88Cの出力段にサミングゲートを設けた構成とした場合には、水平方向の画素加算はサミングゲートで行うことができる。本実施形態では、水平方向の画素加算は電荷電圧変換アンプ92で行われる場合について説明する。
次に、本実施形態の作用として、撮影部30の制御部80で実行される処理について、図6に示すフローチャートを参照して説明する。
まず、ユーザーは、被写体配置部40に被写体PSを配置して、操作部72を操作して撮影条件の設定を行う。ここでは、例えば表示部202に撮影条件の設定画面を表示し、ユーザーに各種撮影条件を設定させる。撮影条件には、例えば画素加算数、露光時間等がある。ユーザーは、撮影条件を設定した後、撮影開始を指示する。撮影開始が指示されると、ユーザーが設定した撮影条件が撮影部30に送信される。
撮影部30の制御部80では、ステップ100において、撮影条件を受信したか否かを判断し、撮影条件を受信した場合にはステップ102へ移行し、撮影条件を受信していない場合には待機する。
ステップ102では、撮影条件に応じた撮影が実行されるようにタイミング発生器86等を制御する。タイミング発生器86では、設定された画素加算数で撮像信号が画素加算されるように、リセット信号、垂直同期信号、及び水平同期信号を生成して撮像素子88に出力すると共に、サンプリング信号を信号処理部94のCDS回路に出力する。また、タイミング発生器86は、水平方向の画素加算数が2以上の場合には、多重サンプリングするために、フィードスルー期間及び信号期間が、水平方向に画素加算しない場合と比較して長くなるように、水平同期信号のパルス幅を制御すると共に、水平方向の画素加算数に応じたサンプリング数Nのサンプリングパルスを含むサンプリング信号を信号処理部94のCDS回路に出力する。
図7には、タイミング発生器86が撮像素子88に出力するリセット信号及び水平同期信号H1、H2、撮像素子88から出力される撮像信号、信号処理部94のCDS回路に出力するサンプリング信号の波形図を示した。なお、図7では、一例として水平方向に2画素加算する場合について示した。
図7(A)に示すように、リセット信号は、水平方向に画素加算しない場合は、t間隔でリセットパルスが出力される(電荷電圧変換アンプ92に蓄積された電荷がt間隔でリセットされる)が、水平方向に2画素加算する場合、蓄積電荷のリセットを1回飛ばすことにより画素加算するため、画素加算しない場合の2倍の間隔であるT間隔でリセットパルスが出力される。
また、図7(B)に示すように、水平同期信号H1、H2は、互いに位相が反転した信号である。そして、水平方向に2画素加算する場合、リセットパルスに同期してハイレベルとなった水平同期信号H1のパルス幅TH1を、水平方向に画素加算しない場合のパルス幅tH1よりも長くする。なお、水平同期信号H2も同様である。
これにより、図7(C)に示すように、水平方向に2画素加する場合の撮像信号のフィードスルー期間Tが、水平方向に画素加算しない場合の撮像信号のフィードスルー期間tよりも長くなる。そして、図7(D)に示すように、フィードスルー期間Tにおいて、サンプリングパルスをN回(図では4回)出力する。
また、図7(B)に示すように、一旦ローレベルとなってハイレベルとなった水平同期信号H1のパルス幅TH2を、水平方向に画素加算しない場合のパルス幅tH2よりも短くする。このパルス幅tH2のパルスが水平転送路88Cに出力されることにより、1画素目の電荷が電荷電圧変換アンプ92に転送される。このとき、図7(A)に示すように、リセットパルスは出力されない(図中破線で示す)ので、電荷電圧変換アンプ92に蓄積された電荷はリセットされずに、次に水平転送路88Cから転送された電荷が加算される。
また、図7(B)に示すように、パルス幅TH2を、水平方向に画素加算しない場合のパルス幅tH2よりも短くしたことにより、その後水平同期信号H1がローレベルとなる期間TH3が、水平方向に画素加算しない場合の期間tH3よりも長くなる。
これにより、図7(C)に示すように、水平方向に2画素加する場合の撮像信号の信号期間Tが、水平方向に画素加算しない場合の撮像信号の信号期間tよりも長くなる。そして、図7(D)に示すように、信号期間Tにおいて、サンプリングパルスをN回(図では4回)出力する。
なお、パルス幅TH2は、撮像素子88の転送効率を劣化させない程度に最も短い時間に設定することが好ましい。これにより、フィードスルー期間T及び信号期間Tを最大限に長くすることができる。
このように、水平方向に画素加算する場合には、フィードスルー期間T及び信号期間Tが、画素加算しない場合よりも長くなるように、水平同期信号H1、H2のパルス幅を制御するので、フィードスルー期間T及び信号期間Tにおいて多重サンプリングすることができる。
なお、サンプリング数Nを多くすることにより、ランダムノイズをより低減させることができることから、サンプリング数Nは、フィードスルー期間T及び信号期間Tの長さに応じて、なるべく多くなるように設定することが好ましい。また、水平方向の画素加算数が増加するに従って、パルス幅TH2のパルスの数が増加し、その分フィードスルー期間T及び信号期間Tが短くなるので、サンプリング数Nは少なくなる。
このように、フィードスルー期間T及び信号期間Tにおいて各々N回サンプリングされるため、メモリ96には、画素毎にN個の画素データが一次記憶される。
そこで、ステップ104では、多重サンプリングしたN個の画素データD〜Dの平均値A及び標準偏差σを算出する。
ステップ106では、N個の画素データD〜Dのうち、所定範囲外のデータが存在するか否かを判断する。具体的には、本実施形態では、一例として所定範囲はA±3σとする。すなわち、画素データD〜Dの各々について、その値がA±3σの範囲外にある画素データが存在するか否かを判断する。
そして、N個の画素データD〜Dのうち、所定範囲外のデータが存在する場合には、ステップ106へ移行し、存在しない場合には、ステップ110へ移行する。
ステップ108では、所定範囲外となった画素データを除いて、再度画素データの平均値Aを算出する。
ステップ110では、算出した平均値を、その画素の画素データとしてメモリ96に記憶する。
このように、所定範囲外の画素データを除いた画素データの平均値を画素データとすることにより、ノイズの影響が除去された精度の良い画素データを得ることができる。
ステップ112では、全画素について上記の処理、すなわちステップ104〜108の処理を実行したか否かを判断し、全画素について上記の処理が終了した場合には、ステップ114へ移行し、全画素について上記の処理が終了していない場合には、ステップ104へ戻って、上記の処理を実行する。
ステップ114では、メモリ96に記憶された各画素データを画像データとして、画像処理装置100へ出力する。
このように、本実施形態では、水平方向に画素加算する場合には、フィードスルー期間T及び信号期間Tを、画素加算しない場合よりも長くなるように、水平同期信号のパルス幅を制御する。このため、画素転送間隔T1を長くすることなく多重サンプリングすることができ、ランダムノイズ等を低減することができる。
なお、撮像信号に対して低域通過処理を施すローパスフィルタを信号処理部94に設けた構成としてもよい。これにより、撮像信号の波形がなまるため、ノイズを低減することができ、精度の良い画素データを得ることができる。従って、この場合、多重サンプリングせずに、フィードスルー期間T及び信号期間Tにおいて1回だけサンプリングするようにしてもよい。
また、本実施形態では、サンプリング数Nを、画素データの標準偏差σに基づいて設定するようにしてもよい。標準偏差σが小さければ小さいほど画素データのばらつきは小さいので、それほどサンプリング数Nを多くする必要はない。そこで、例えば、標準偏差σが小さくなるに従って、サンプリング数Nが小さくなるように、サンプリング数Nを設定する。これにより、必要以上にサンプリング数Nを多くする必要がないため、サンプリング数Nに応じてフィードスルー期間T及び信号期間Tが短縮されるように水平同期信号のパルス幅を制御すれば、画素転送間隔Tを短縮することができ、画素データの読み出し時間を短縮することができる。
また、本実施形態では、図6の処理を撮影部30の制御部80が実行する場合について説明したが、ステップ104〜112の処理を実行する信号処理回路を信号処理部94に設け、当該信号処理回路において実行するようにしてもよい。
また、本実施形態で説明した撮影システム1の構成(図1〜4参照)は一例であり、本発明の主旨を逸脱しない範囲内において不要な部分を削除したり、新たな部分を追加したりしてもよいことは言うまでもない。
また、本記実施形態で説明した制御プログラムの処理の流れ(図6参照)も一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
1 撮影システム
10 撮影装置
30 撮影部
31 レンズ部
40 被写体配置部
50 落射光源
60 透過光源
70 メインコントローラ
70A CPU
72 操作部
74 ハードディスク
80 制御部
86 タイミング発生器
88 撮像素子
90 冷却素子
91 温度センサ
92 電荷電圧変換アンプ
94 信号処理部
96 メモリ
100 画像処理装置
202 表示部

Claims (7)

  1. 二次元状に画素が配列されると共に水平方向に複数の画素を画素加算する画素加算機能を備え、被写体を撮像する撮像素子と、
    前記撮像素子で水平方向に画素加算して撮像信号を出力した場合のフィードスルー期間及び信号期間が、前記撮像素子で前記水平方向に画素加算しない場合のフィードスルー期間及び信号期間よりも長くなるように、前記撮像素子に出力する水平同期信号のパルス幅を制御する制御手段と、
    前記水平方向に複数の画素を画素加算する場合に、前記フィードスルー期間及び前記信号期間において多重サンプリングする多重サンプリング手段と、
    前記フィードスルー期間において多重サンプリングした第1の信号と、前記信号期間において多重サンプリングした第2の信号と、の差を画素信号として出力する相関二重サンプリング手段、前記フィードスルー期間及び信号期間の各々において多重サンプリングされるように、タイミング信号を前記相関二重サンプリング手段に出力するタイミング信号発生手段、前記相関二重サンプリング手段から出力された画素信号の各々をA/D変換するA/D変換手段、及び前記A/D変換手段により前記画素信号の各々をA/D変換した複数の画素データの平均値を画素値として算出する平均値算出手段を含む画素値算出手段と、
    前記複数の画素データの標準偏差に基づいて、前記多重サンプリングのサンプリング数を設定する設定手段と、
    を備えた撮影装置。
  2. 前記平均値算出手段は、前記複数の画素データの標準偏差に基づいて定めた所定範囲外の画素データを除外して、前記複数の画素データの平均値を算出する
    請求項記載の撮影装置。
  3. 前記所定範囲は、前記複数の画素データの平均値をA、前記標準偏差をσとして、A±3σの範囲である
    請求項記載の撮影装置。
  4. 前記設定手段は、前記標準偏差が小さくなるに従って、前記多重サンプリングのサンプリング数が少なくなるように設定し、
    前記制御手段は、前記サンプリング数に応じて前記フィードスルー期間及び前記信号期間が短縮されるように、前記撮像素子に出力する水平同期信号のパルス幅を制御する
    請求項記載の撮影装置。
  5. 前記撮像信号に対して低域通過処理を施すローパスフィルタ
    を備えた請求項の何れか1項に記載の撮影装置。
  6. コンピュータを、請求項1〜の何れか1項に記載の撮影装置の前記制御手段及び前記画素値算出手段として機能させるための撮影プログラム。
  7. 二次元状に画素が配列されると共に水平方向に複数の画素を画素加算する画素加算機能を備え、被写体を撮像する撮像素子で水平方向に画素加算して撮像信号を出力した場合のフィードスルー期間及び信号期間が、前記撮像素子で前記水平方向に画素加算しない場合のフィードスルー期間及び信号期間よりも長くなるように、前記撮像素子に出力する水平同期信号のパルス幅を制御するステップと、
    前記水平方向に複数の画素を画素加算する場合に、前記フィードスルー期間及び前記信号期間において多重サンプリングするステップと、
    前記フィードスルー期間において多重サンプリングした第1の信号と、前記信号期間において多重サンプリングした第2の信号と、の差を画素信号として出力する相関二重サンプリングステップ、前記フィードスルー期間及び信号期間の各々において多重サンプリングされるように、タイミング信号を出力するタイミング信号発生ステップ、前記相関二重サンプリングステップにて出力された画素信号の各々をA/D変換するA/D変換ステップ、及び前記A/D変換ステップにて前記画素信号の各々をA/D変換した複数の画素データの平均値を画素値として算出する平均値算出ステップを含むステップと、
    前記複数の画素データの標準偏差に基づいて、前記多重サンプリングのサンプリング数を設定するステップと、
    を含む撮影方法。
JP2011214705A 2011-09-29 2011-09-29 撮影装置、撮影プログラム、及び撮影方法 Active JP5474020B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011214705A JP5474020B2 (ja) 2011-09-29 2011-09-29 撮影装置、撮影プログラム、及び撮影方法
EP12181183.0A EP2575356B1 (en) 2011-09-29 2012-08-21 Imaging apparatus and imaging method
US13/594,329 US8860859B2 (en) 2011-09-29 2012-08-24 Imaging apparatus, computer readable medium and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011214705A JP5474020B2 (ja) 2011-09-29 2011-09-29 撮影装置、撮影プログラム、及び撮影方法

Publications (2)

Publication Number Publication Date
JP2013074614A JP2013074614A (ja) 2013-04-22
JP5474020B2 true JP5474020B2 (ja) 2014-04-16

Family

ID=47018745

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011214705A Active JP5474020B2 (ja) 2011-09-29 2011-09-29 撮影装置、撮影プログラム、及び撮影方法

Country Status (3)

Country Link
US (1) US8860859B2 (ja)
EP (1) EP2575356B1 (ja)
JP (1) JP5474020B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9574951B2 (en) 2013-09-09 2017-02-21 Semiconductor Components Industries, Llc Image sensor including temperature sensor and electronic shutter function
JP2015142351A (ja) * 2014-01-30 2015-08-03 キヤノン株式会社 撮像装置、撮像システム
JP2016102714A (ja) * 2014-11-28 2016-06-02 富士フイルム株式会社 撮影システム
JP2016102715A (ja) * 2014-11-28 2016-06-02 富士フイルム株式会社 撮影装置およびその制御方法並びに撮影システム
JP6380986B2 (ja) * 2015-03-12 2018-08-29 富士フイルム株式会社 撮影装置および方法
US10462391B2 (en) * 2015-08-14 2019-10-29 Kla-Tencor Corporation Dark-field inspection using a low-noise sensor

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61285201A (ja) 1985-06-13 1986-12-16 Canon Inc 活性エネルギ−線硬化型樹脂組成物
JPH04262679A (ja) * 1991-02-15 1992-09-18 Nec Corp 固体撮像素子の駆動方法
US5946033A (en) * 1996-05-28 1999-08-31 Gatan, Inc. Method and apparatus for multiple read-out speeds for a CTD
JPH10191169A (ja) 1996-12-24 1998-07-21 Canon Inc 電荷転送素子の出力信号処理装置及び画像処理装置
JPH10191168A (ja) 1996-12-26 1998-07-21 Sony Corp Ccd撮像素子
US6452634B1 (en) * 1996-12-26 2002-09-17 Sony Corporation Charge transfer device and method of driving the same, and solid state imaging device and method of driving the same
JP2001258053A (ja) * 2000-03-10 2001-09-21 Sharp Corp 固体撮像装置の検査装置
US6593871B1 (en) * 2000-08-31 2003-07-15 Dalsa, Inc. Automatic A/D convert positioning circuit and method
JP2003037780A (ja) * 2001-07-24 2003-02-07 Fuji Photo Film Co Ltd 画像データ取得方法および装置
JP4641444B2 (ja) * 2005-03-31 2011-03-02 株式会社堀場製作所 物理現象または化学現象に係るポテンシャル測定装置
US7932752B2 (en) * 2005-11-08 2011-04-26 Panasonic Corporation Correlated double sampling circuit and sample hold circuit
JP2008053907A (ja) * 2006-08-23 2008-03-06 Biitekku:Kk 固体撮像装置の低雑音信号生成方法
US7688366B2 (en) * 2006-09-07 2010-03-30 Aptina Imaging Corporation Method and apparatus for suppressing noise in image sensor devices
US20080122962A1 (en) * 2006-11-29 2008-05-29 Omnivision Technologies, Inc. Image sensors with output noise reduction mechanisms
JP2008199164A (ja) * 2007-02-09 2008-08-28 Nikon Corp ノイズ低減の画像処理方法とそれを用いた撮像装置
US7929035B2 (en) * 2007-03-08 2011-04-19 Imagerlabs, Inc. Ultra low noise CMOS imager
JP2008252420A (ja) * 2007-03-30 2008-10-16 Fujifilm Corp 固体撮像装置およびその制御方法
US8023023B2 (en) * 2007-04-24 2011-09-20 Canon Kabushiki Kaisha Image sensing apparatus including charge transfer operation and control method therefor
US8098314B2 (en) * 2009-03-11 2012-01-17 AltaSens, Inc Noise reduction for analog video applications
EP2560374A1 (de) * 2011-08-16 2013-02-20 Baumer Optronic GmbH Kamera-Vorrichtung mit Komponenten zur Optimierung des Signal-Rausch-Verhältnisses

Also Published As

Publication number Publication date
EP2575356B1 (en) 2015-09-16
US20130083206A1 (en) 2013-04-04
US8860859B2 (en) 2014-10-14
JP2013074614A (ja) 2013-04-22
EP2575356A1 (en) 2013-04-03

Similar Documents

Publication Publication Date Title
JP5474020B2 (ja) 撮影装置、撮影プログラム、及び撮影方法
JP5496976B2 (ja) 撮影装置、撮影プログラム、及び撮影方法
JP5523065B2 (ja) 撮像装置及びその制御方法
JP5349521B2 (ja) 撮影装置、撮影プログラム、及び撮影方法
JP5349517B2 (ja) 撮影装置、撮影プログラム、及び撮影方法
JP4095630B2 (ja) 撮像装置
JP2010136253A (ja) 撮像装置およびその制御方法
US8692914B2 (en) Image sensor
JP2008187614A (ja) 撮影装置
JP2011199659A (ja) 撮影装置及び撮影プログラム
JP4086337B2 (ja) 撮像装置
JP4827577B2 (ja) 撮像装置及び制御方法
JP2007243558A (ja) 固体撮像装置
JP2007295429A (ja) ディジタル・スチル・カメラおよびその制御方法
JP2008118378A (ja) 撮影装置及びその駆動方法
JP2021004989A (ja) 焦点調節装置および焦点調節方法
JP2014027520A (ja) 撮像装置及び画像処理方法
JP5455996B2 (ja) 撮影装置、撮影プログラム、及び撮影方法
JP7183009B2 (ja) 撮像素子および撮像装置
JP2010166479A (ja) 撮像装置及び撮像画像の補正方法
JP6079196B2 (ja) 撮像装置
JP5006703B2 (ja) 顕微鏡撮像装置と顕微鏡用撮像方法
JP5334113B2 (ja) 増幅部制御装置、及び、増幅部制御プログラム
EP2846534A1 (en) Imaging apparatus and image correction data generating method
JP2022191894A (ja) 撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140204

R150 Certificate of patent or registration of utility model

Ref document number: 5474020

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250