JP5156148B2 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JP5156148B2
JP5156148B2 JP2012526358A JP2012526358A JP5156148B2 JP 5156148 B2 JP5156148 B2 JP 5156148B2 JP 2012526358 A JP2012526358 A JP 2012526358A JP 2012526358 A JP2012526358 A JP 2012526358A JP 5156148 B2 JP5156148 B2 JP 5156148B2
Authority
JP
Japan
Prior art keywords
exposure
photoelectric conversion
exposure period
conversion elements
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012526358A
Other languages
English (en)
Other versions
JPWO2012014553A1 (ja
Inventor
誠 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012526358A priority Critical patent/JP5156148B2/ja
Application granted granted Critical
Publication of JP5156148B2 publication Critical patent/JP5156148B2/ja
Publication of JPWO2012014553A1 publication Critical patent/JPWO2012014553A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は、撮像装置及び撮像方法に関する。
被写体を撮像する固体撮像素子として、CCD(Charge Coupled Device)型やCMOS(Complementary Metal Oxide Semiconductor)型等が普及している。これらの固体撮像素子の入射光に対するダイナミックレンジは、半導体技術の進歩により着々と向上しつつある。しかしながら、実際に固体撮像素子が利用される状況において、予め設定されているダイナミックレンジを超えた入射光が発生することはそれほど珍しいことではない。このため、ダイナミックレンジを拡大するための技術が盛んに研究されている。
例えば、特許文献1には、長時間露光を行う画素と、長時間露光を行っている期間の途中で短時間露光を開始する画素とを有する固体撮像素子を備える撮像装置が記載されている。この撮像装置は、長時間露光で得られる画像と短時間露光で得られる画像を合成してダイナミックレンジを拡大する。
また、特許文献2には、長時間露光を行う画素と、長時間露光を行っている期間中に短時間露光を複数回行いその都度出力する画素とが市松状に配置された固体撮像素子を搭載する撮像装置が記載されている。この撮像装置は、複数の短時間露光で得られる画像を平均してカメラブレ補正を行う。そして、撮像装置は、この平均後の画像と長時間露光で得られる画像を合成して、ダイナミックレンジを拡大する。
これらの撮像装置は、同じ被写体に対しダイナミックレンジの異なる複数種類の画像データを得るために、長時間露光と短時間露光の比を変更して撮影を複数回行う必要がある。しかし、撮影と撮影の間に被写体が動いたり、太陽が雲に隠れてしまったり等、撮影環境は刻々と変化する。このため、同一被写体に対してダイナミックレンジの異なる画像データを得ることは容易ではない。
撮影が終わった後に、所望のダイナミックレンジ拡大倍率で画像データを生成することができれば、期待する画像データを得られるようになる。しかし、このような機能を持つ撮像装置は今まで存在していない。
日本国特開2009−302653号公報 日本国特開2010−62785号公報
本発明は、上記事情に鑑みてなされたものであり、ダイナミックレンジの異なる複数種類の画像データを1回の撮影で得ることが可能な撮像装置及び撮像方法を提供することを目的とする。
本発明の撮像装置は、二次元状に配列された複数の第一の光電変換素子及び複数の第二の光電変換素子を含む固体撮像素子と、前記複数の第一の光電変換素子を第一の露光期間で露光すると共に、前記複数の第二の光電変換素子を、長さの異なる複数の第二の露光期間で順次露光し、前記第一の露光期間中に前記複数の第一の光電変換素子に蓄積された電荷に応じた第一の信号と、前記複数の第二の露光期間の各々において前記複数の第二の光電変換素子に蓄積された電荷に応じた第二の信号とを読み出す駆動を行う駆動部とを備え、各第二の露光期間は、前記第一の露光期間と重なりを有するものである。
この構成により、感度の異なる少なくとも3つの信号(第一の信号と、少なくとも2つの第二の信号)を1度の撮影で得ることができる。このため、例えば、第二の露光期間が2つ存在するとした場合、第一の信号から生成される画像データと2つの第二の信号の一方から生成される画像データとを合成して第一のダイナミックレンジの画像データを生成し、第一の信号から生成される画像データと2つの第二の信号の他方から生成される画像データとを合成して第ニのダイナミックレンジの画像データを生成することが可能になる。つまり、撮影を行った後に、画像処理によって、ダイナミックレンジの異なる複数の画像データを生成することが可能になる。したがって、撮影を複数回行わずとも、同じ被写体に対してダイナミックレンジの異なる複数の画像データを得ることができる。この結果、撮像装置の利便性を向上させることができる。
本発明の撮像方法は、二次元状に配列された複数の第一の光電変換素子及び複数の第二の光電変換素子を含む固体撮像素子を用いた撮像方法であって、前記複数の第一の光電変換素子を第一の露光期間で露光すると共に、前記複数の第二の光電変換素子を、長さの異なる複数の第二の露光期間で順次露光し、前記第一の露光期間中に前記複数の第一の光電変換素子に蓄積された電荷に応じた第一の信号と、前記複数の第二の露光期間の各々において前記複数の第二の光電変換素子に蓄積された電荷に応じた第二の信号とを読み出す駆動を行う駆動ステップを備え、各第二の露光期間は、前記第一の露光期間と重なりを有するものである。
本発明によれば、ダイナミックレンジの異なる複数種類の画像データを1回の撮影で得ることが可能な撮像装置及び撮像方法を提供することができる。
本発明の実施形態を説明するための撮像装置の機能ブロック図 図1に示した撮像装置における固体撮像素子5の概略構成を示す平面模式図 図1に示した撮像装置の撮影動作時のタイミングチャートを示す図 図1に示した撮像装置の変形例を示す図 図4に示した撮像装置の撮影時の動作を説明するためのタイミングチャート 図4に示した撮像装置の撮影時の別の動作を説明するためのタイミングチャート 図5に示した駆動方法の変形例を示すタイミングチャート 図7に示したタイミングチャートにおいて露光期間B(2)を最も短い期間にした図 1つの信号読出し回路によって図3に示した駆動方法を実現するためのタイミングチャートの一例を示す図 1つの信号読出し回路によって図3に示した駆動方法を実現するためのタイミングチャートの一例を示す図 図2に示した固体撮像素子の変形例を示す図 図2に示した固体撮像素子の変形例を示す図 図1に示した撮像装置における固体撮像素子をCCD型にしたときの撮影動作を説明するためのタイミングチャート
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の実施形態を説明するための撮像装置100の機能ブロック図である。撮像装置100の撮像系は、撮影レンズ系1と、絞り2と、固体撮像素子5と、アナログデジタル(AD)変換部6とを備える。
撮影レンズ系1の背部には、絞り2が配置される。撮影レンズ系1と絞り2により撮影光学系を構成している。
絞り2の背部には、詳細は後述するCMOS型の固体撮像素子5が配置されている。撮影レンズ系1及び絞り2をこの順に通って固体撮像素子5の受光面に入射した被写体光像に対応する撮像画像信号が、AD変換部6でデジタルデータに変換された後、バス17に出力される。
バス17には、この撮像装置100の全体を統括制御する中央制御部(CPU)7と、シャッタレリーズボタンを含む操作ボタン等で構成される操作部16と、DSP等で構成されCPU7の指示の基に撮像画像信号に対して画像処理を施す画像処理部9と、撮像画像信号を画像処理して得られた撮像画像データを表示用のデータに変換するビデオエンコーダ15と、ビデオエンコーダ15で変換された撮像画像データを表示部14に表示するドライバ13と、メモリ10と、メディア制御部12とが接続される。メディア制御部12には、着脱自在に記録媒体(メモリカード)11が装着される。
CPU7には、デバイス制御部8が接続される。デバイス制御部8は、CPU7からの指示に従い、固体撮像素子5の駆動制御を行う。また、デバイス制御部8は、CPU7からの指示に従い、絞り2の開口量調整制御を行う。また、デバイス制御部8は、CPU7からの指示に従い、撮影レンズ系1のフォーカス位置制御やズーム位置制御を行う。
図2は、図1に示した撮像装置100における固体撮像素子5の概略構成を示す平面模式図である。
図2に示したように、固体撮像素子5は、複数の光電変換素子51a(ハッチングを付したもの)からなる第一グループと、複数の光電変換素子51bからなる第二グループと、第一グループに対応して設けられた信号読出し回路62aと、第二グループに対応して設けられた信号読出し回路62bとを備える。
固体撮像素子5に含まれる全ての光電変換素子は、半導体基板表面の列方向Yとこれに交差する(図2の例では直交する)行方向Xとに二次元状に配置されている。この全ての光電変換素子は、行方向Xに並ぶ複数の光電変換素子51aからなる第一の光電変換素子行と、行方向Xに並ぶ複数の光電変換素子51bからなる第二の光電変換素子行とを列方向Yに交互に一定ピッチで並べた配置となっている。さらに、第一の光電変換素子行は、第二の光電変換素子行に対して、各光電変換素子行の光電変換素子の行方向Xにおける配列ピッチの1/2だけ行方向Xにずらして配置されている。このような配列は、正方格子状に配置した各光電変換素子51aに対して斜め45°方向にずれた位置に光電変換素子51bを配置することで得ることができる。
このように、全ての光電変換素子51aには、同一の位置関係で光電変換素子51bが隣接して配置された構成となっている。各光電変換素子51aと、各光電変換素子51aに対して同一の位置関係(同一方向)に隣接する光電変換素子51bとで、ペアを構成している。
固体撮像素子5に含まれる全ての光電変換素子は、略同一構成(設計上の値が同一)となっている。略同一構成とは、半導体基板内に形成される光電変換領域(フォトダイオード)のサイズが略同じであり、その光電変換領域の上方に形成される遮光膜の開口サイズも略同じであることを意味する。
各光電変換素子51aの上方には、全体としてベイヤ状に配置された赤色光を透過するカラーフィルタR1と、緑色光を透過するカラーフィルタG1と、青色光を透過するカラーフィルタB1とが設けられている。
図2においては、カラーフィルタR1が上方に設けられた光電変換素子51aに“R1”の文字を付してある。また、カラーフィルタG1が上方に設けられた光電変換素子51aに“G1”の文字を付してある。また、カラーフィルタB1が上方に設けられた光電変換素子51aに“B1”の文字を付してある。
各光電変換素子51bの上方には、全体としてベイヤ状に配置された赤色光を透過するカラーフィルタR2と、緑色光を透過するカラーフィルタG2と、青色光を透過するカラーフィルタB2とが設けられている。
図2においては、カラーフィルタR2が上方に設けられた光電変換素子51bに“R2”の文字を付してある。また、カラーフィルタG2が上方に設けられた光電変換素子51bに“G2”の文字を付してある。また、カラーフィルタB2が上方に設けられた光電変換素子51bに“B2”の文字を付してある。
以下の説明では、カラーフィルタR1とカラーフィルタR2を総称して赤色フィルタともいう。また、カラーフィルタG1とカラーフィルタG2を総称して緑色フィルタともいう。また、カラーフィルタB1とカラーフィルタB2を総称して青色フィルタともいう。
このように、同一の位置関係で隣接する光電変換素子51a及び光電変換素子51b(図2の例では、光電変換素子51aとこれに斜め右上方向で隣接する光電変換素子51b)の各々の上方には同一色のフィルタ(赤色フィルタ、緑色フィルタ、又は青色フィルタ)が配置されている。したがって、固体撮像素子5には、上方に設けられるフィルタの色が異なる3種類のペア(赤色フィルタを上方に持つRペア、緑色フィルタを上方に持つGペア、青色フィルタを上方に持つBペア)が含まれる。
図2に示したように、第一の光電変換素子行については、図2において一番上から順に、1ライン、2ライン、3ライン、・・・、nラインと呼ぶ。第二の光電変換素子行についても、図2において一番上から順に、1ライン、2ライン、3ライン、・・・、nラインと呼ぶ。kライン(k=1,2,3、・・・、n)の第一の光電変換素子行に含まれる各光電変換素子51aとペアを組む光電変換素子51bで構成される第二の光電変換素子行がkラインの第二の光電変換素子行となっている。
固体撮像素子5に含まれる全ての光電変換素子の各々には、図示しないCMOS回路がその近傍に対応して設けられている。CMOS回路は、例えば3トランジスタ構成や4トランジスタ構成である。
信号読出し回路62aは、CDS回路55aと、トランジスタ56aと、Hドライバ57aと、信号出力線58aと、配線59a(一部のみ図示)と、Vドライバ60aと、配線61a(一部のみ図示)とを備える。信号読出し回路62aは、図1に示したデバイス制御部8によって制御される。
行方向Xに並ぶ複数の光電変換素子51aからなる光電変換素子行に対応するCMOS回路には配線61aが接続されている。この配線61aが、Vドライバ60aに接続されている。
Vドライバ60aは、行方向Xに並ぶ複数の光電変換素子51aからなる光電変換素子行を1つずつ選択して、選択した光電変換素子行に対応するCMOS回路から配線59aに信号を読み出す駆動を行う。また、Vドライバ60aは、第一グループの光電変換素子51aに対応するCMOS回路のリセットトランジスタを制御して、第一グループの光電変換素子51aの蓄積電荷をリセットする駆動(光電変換素子の電荷をCMOS回路のリセットトランジスタのドレインに排出する駆動)も行う。
CDS回路55aは、列方向Yに並ぶ複数の光電変換素子51aからなる光電変換素子列に対応して設けられている。CDS回路55aは、これに対応する光電変換素子列のCMOS回路に配線59aを介して接続されている。CDS回路55aは、入力された信号に相関二重サンプリング処理を施す。
Hドライバ57aは、各CDS回路55aにトランジスタ56aを介して接続されている。Hドライバ57aは、トランジスタ56aを順次オンしていくことで、CDS回路55aで処理後の信号を信号出力線58aに出力させる。
信号読出し回路62bは、CDS回路55bと、トランジスタ56bと、Hドライバ57bと、信号出力線58bと、配線59b(一部のみ図示)と、Vドライバ60bと、配線61b(一部のみ図示)とを備える。信号読出し回路62bは、図1に示したデバイス制御部8によって制御される。
行方向Xに並ぶ複数の光電変換素子51bからなる光電変換素子行に対応するCMOS回路には配線61bが接続されている。この配線61bが、Vドライバ60bに接続されている。
Vドライバ60bは、行方向Xに並ぶ複数の光電変換素子51bからなる光電変換素子行を1つずつ選択して、選択した光電変換素子行に対応するCMOS回路から配線59bに信号を読み出す駆動を行う。また、Vドライバ60bは、第二グループの光電変換素子51bに対応するCMOS回路のリセットトランジスタを制御して、第二グループの光電変換素子51bの蓄積電荷をリセットする駆動(光電変換素子の電荷をCMOS回路のリセットトランジスタのドレインに排出する駆動)も行う。
CDS回路55bは、列方向Yに並ぶ複数の光電変換素子51bからなる光電変換素子列に対応して設けられている。CDS回路55bは、これに対応する光電変換素子列のCMOS回路に配線59bを介して接続されている。CDS回路55bは、入力された信号に相関二重サンプリング処理を施す。
Hドライバ57bは、各CDS回路55bにトランジスタ56bを介して接続されている。Hドライバ57bは、トランジスタ56bを順次オンしていくことで、CDS回路55bで処理後の信号を信号出力線58bに出力させる。
このような構成により、第一グループと第二グループとで同時並行して撮像画像信号を読み出すことができる。
次に、図1に示した撮像装置100の撮影動作について説明する。
まず概略を説明する。デバイス制御部8は、シャッタレリーズボタンが押下されて撮影指示がなされると、固体撮像素子5を制御して、第一グループの光電変換素子51aを第一の露光期間で露光すると共に、その第一の露光期間中に、第二グループの光電変換素子51bを長さの異なる複数の第二の露光期間で順次露光する。そして、第一の露光期間及び複数の第二の露光期間がそれぞれ終了すると、デバイス制御部8は、それら露光期間中に光電変換素子に蓄積された電荷に応じた撮像画像信号を固体撮像素子5から出力させる。固体撮像素子5から出力される少なくとも3種類の撮像画像信号(第一の露光期間で得られたものと複数の第二の露光期間で得られたもの)は、それぞれ画像処理部9で画像処理が施されて、感度の異なる少なくとも2種類の撮像画像データが生成される。
画像処理部9は、第一の露光期間に対応する撮像画像データと、第二の露光期間に対応する複数種類の撮像画像データの各々とを合成して、ダイナミックレンジの異なる複数種類の撮像画像データを生成する。画像処理部9は、このダイナミックレンジの異なる複数種類の撮像画像データをメモリカード11に記録して撮影を終了する。このような動作によって、ダイナミックレンジの異なる複数種類の撮像画像データを1回の撮影で得ることができる。
図3は、図1に示した撮像装置100の撮影動作時のタイミングチャートを示す図であり、第一グループの光電変換素子51aの露光期間と、第二グループの光電変換素子51bの露光期間との関係を具体的に示した図である。この図3を参照しながら、デバイス制御部8による制御の内容を具体的に説明する。図3では、第一の露光期間中に第二の露光期間を3つ設けた例を示している。図3において、“第一の露光期間A”と記した四角形(平行四辺形)が、第一グループ全体の第一の露光期間を示し、“B(1)”、“B(2)”、“B(3)”を記した四角形(平行四辺形)が、それぞれ第二グループ全体の第二の露光期間を示している。
撮影指示があると、デバイス制御部8は、第一グループの光電変換素子51aの蓄積電荷を光電変換素子51aのライン毎にタイミングをずらしてリセットするローリングリセット駆動をVドライバ60aで実施する。また、デバイス制御部8は、第二グループの光電変換素子51bの蓄積電荷を光電変換素子51のライン毎にタイミングをずらしてリセットするローリングリセット駆動をVドライバ60bで実施する。Vドライバ60aとVドライバ60bは、蓄積電荷をリセットするタイミングを、第一グループのkラインと第二グループのkラインとで同期させて行う。
図3の例では、時刻t1から時刻t2の間に、第一グループの各ラインの光電変換素子51aのリセットを順次行うと共に、第二グループの各ラインの光電変換素子51bのリセットを順次行う。第一グループの各ラインでは、蓄積電荷のリセットが終了した時点で、第一の露光期間Aの露光が開始する。第二グループの各ラインでは、蓄積電荷のリセットが終了した時点で、第二の露光期間B(1)の露光が開始する。
時刻t1で第一グループの1ラインと第二グループの1ラインの露光を開始してから所定時間経過後の時刻t3になると、デバイス制御部8が、第二グループの光電変換素子51bの蓄積電荷に応じた信号を光電変換素子51bのライン毎にタイミングをずらして読み出すローリング読出し駆動を信号読出し回路62bで実施する。
図3の例では、時刻t3から時刻t4の間に、第二グループの各ラインの光電変換素子51bの蓄積電荷に応じた信号が固体撮像素子5から出力される。第二グループの各ラインでは、光電変換素子51bの蓄積電荷に応じた信号の読み出しが終了した時点で、第二の露光期間B(1)の露光が終了する。
なお、デバイス制御部8は、時刻t3から時刻t4の間で各ラインの信号の読み出しを終了する毎に、Vドライバ60bを介して当該ラインの各光電変換素子51bの蓄積電荷をリセットし、リセット終了後に、次のラインの信号読み出しを行う。つまり、時刻t3〜t4の間では、第二グループの光電変換素子51bに対し、ローリング読出し駆動とローリングリセット駆動が交互に実施される。第二グループの各ラインでは、この時刻t3〜t4の間のローリングリセット駆動によるリセットが終了した時点で、第二の露光期間B(2)の露光が開始する。
第二の露光期間B(2)の露光が開始してから、第二の露光期間B(1)よりも長い時間経過後の時刻t5になると、デバイス制御部8が、ローリング読出し駆動とローリングリセット駆動を信号読出し回路62bで交互に実施する。
図3の例では、時刻t5から時刻t6の間に、第二グループの各ラインの光電変換素子51bの蓄積電荷に応じた信号が固体撮像素子5から出力され、第二グループの各ラインの光電変換素子51bの蓄積電荷がリセットされる。第二グループの各ラインでは、光電変換素子51bの蓄積電荷に応じた信号の読み出しが終了した時点で、第二の露光期間B(2)の露光が終了し、当該蓄積電荷のリセットが終了した時点で、第二の露光期間B(3)の露光が開始する。
第二の露光期間B(3)の露光が開始してから、第二の露光期間B(2)よりも長い時間経過後の時刻t7になると、デバイス制御部8が、ローリング読出し駆動とローリングリセット駆動を信号読出し回路62bで交互に実施する。
図3の例では、時刻t7から時刻t8の間に、第二グループの各ラインの光電変換素子51bの蓄積電荷に応じた信号が固体撮像素子5から出力され、第二グループの各ラインの光電変換素子51bの蓄積電荷がリセットされる。第二グループの各ラインでは、光電変換素子51bの蓄積電荷に応じた信号の読み出しが終了した時点で、第二の露光期間B(3)の露光が終了する。
また、時刻t7になると、デバイス制御部8が、第一グループの光電変換素子51aの蓄積電荷に応じた信号を光電変換素子51aのライン毎にタイミングをずらして読み出すローリング読出し駆動とローリングリセット駆動を信号読出し回路62aで交互に実施する。
図3の例では、時刻t7から時刻t8の間に、第一グループの各ラインの光電変換素子51aの蓄積電荷に応じた信号が固体撮像素子5から出力され、第一グループの各ラインの光電変換素子51aの蓄積電荷がリセットされる。第一グループの各ラインでは、光電変換素子51aの蓄積電荷に応じた信号の読み出しが終了した時点で、第一の露光期間Aの露光が終了する。Vドライバ60aとVドライバ60bは、時刻t7〜t8の間は、光電変換素子の蓄積電荷に応じた信号を読み出すタイミングを、第一グループのkラインと第二グループのkラインとで同期させて行う。
以上のような駆動により、第一の露光期間Aの露光中に、第二の露光期間B(1)、第二の露光期間B(2)、第二の露光期間B(3)の露光を順次実施し、これら4つの露光期間の露光で得られる4種類の撮像画像信号を固体撮像素子5から出力することができる。撮影後は、画像処理部9が、第一の露光期間Aに対応する撮像画像データと第二の露光期間B(1)に対応する撮像画像データとを合成して第一のダイナミックレンジの撮像画像データを生成しする。また、画像処理部9が、第一の露光期間Aに対応する撮像画像データと第二の露光期間B(2)に対応する撮像画像データとを合成して第二のダイナミックレンジの撮像画像データを生成する。また、画像処理部9が、第一の露光期間Aに対応する撮像画像データと第二の露光期間B(3)に対応する撮像画像データとを合成して第三のダイナミックレンジの撮像画像データを生成する。このようにすることで、ダイナミックレンジの異なる3種類の撮像画像データを簡単に得ることができる。これにより、撮像装置100のユーザは、撮影を行った後に、ダイナミックレンジを変えて所望の撮像画像データを得ることができ、撮影失敗の機会を減らすことができる。
図4は、図1に示した撮像装置100の変形例を示す図である。
図4に示した撮像装置200は、固体撮像素子5の光入射側(図4の例では絞り2と固体撮像素子5の間)にメカニカルシャッタ3を追加した点を除いては図1に示した撮像装置100と同じ構成である。
図4に示した撮像装置200では、撮影動作が図1に示した撮像装置100とは異なる。以下、撮像装置200の撮影動作について説明する。
図5は、撮像装置200の撮影時の動作を説明するためのタイミングチャートである。図5に示したタイミングチャートは、第一グループの全ての光電変換素子51aの蓄積電荷を同時にリセットするグローバルリセット駆動を行って第一の露光期間Aの露光を開始する点、メカニカルシャッタ3を閉じる駆動を行って第一の露光期間Aの露光を終了する点が、図3に示したタイミングチャートとは大きく異なる。
メカニカルシャッタ3が開の状態で撮影指示があると、デバイス制御部8は、Vドライバ60aでグローバルリセット駆動を実施し、全ての光電変換素子51aの蓄積電荷を同時にリセットする。第一グループでは、このリセットの終了を以って、第一の露光期間Aの露光が開始する。一方、第二グループでは、図3で説明したのと同様に、撮影指示に応じて第二グループの各ラインの蓄積電荷が順次リセットされ、このリセットが終了した時点で、第二の露光期間B(1)の露光が開始する。第二の露光期間B(1)の露光が開始してから、第二の露光期間B(2)の終了までの動作は、図3で説明したものと同じであるため、説明を省略する。
第三の露光期間B(3)の露光が開始してから、第二の露光期間B(2)よりも長い時間経過後の時刻t7になると、デバイス制御部8が、ローリング読出し駆動とローリングリセット駆動を信号読出し回路62bで交互に実施する。図5の例では、時刻t7から時刻t8の間に、第二グループの各ラインの光電変換素子51bの蓄積電荷に応じた信号が固体撮像素子5から出力され、第二グループの各ラインの光電変換素子51bの蓄積電荷がリセットされる。第二グループの各ラインでは、光電変換素子51bの蓄積電荷に応じた信号の読み出しが終了した時点で、第二の露光期間B(3)の露光が終了する。
第二グループのnラインの信号読み出しが終了した時刻t8になると、デバイス制御部8が、メカニカルシャッタ3を閉の状態にする。このメカニカルシャッタ3が閉じた時点を以って、第一の露光期間Aの露光が終了する。第一の露光期間Aの露光終了後、デバイス制御部8は、ローリング読出し駆動によって第一グループから撮像画像信号を読み出す。
以上のように、撮像装置200によれば、メカニカルシャッタ3を用いることで、第一グループについては、全てのラインで露光の開始及び終了のタイミングを一致させることができる。このため、第一グループから得られる撮像画像データについては、CMOSセンサ特有の動く被写体に対して発生する歪みを無くすことができる。
なお、撮像装置200では、第二グループの全ての光電変換素子51bで蓄積電荷を同時にリセットするグローバルリセット駆動を行って第二の露光期間B(1)の露光を開始することもできる。また、メカニカルシャッタ3を閉じることで、第二の露光期間B(3)の露光を終了することもできる。この場合のタイミングチャートを示したのが図6である。
図6に示したタイミングチャートで撮影を行ったとしても、ダイナミックレンジの異なる複数種類の撮像画像データを得ることはできる。しかし、図6に示した駆動方法では、第二の露光期間B(1)と第二の露光期間B(3)において、第二グループの全てのラインにおいて露光時間が均一にならない。これに対し、図5に示した駆動方法であれば、第二の露光期間B(1)、第二の露光期間B(2)、第二の露光期間B(3)のいずれにおいても、第二グループの全てのラインにおいて露光時間を均一にすることができる。このため、第二グループから得られる複数の撮像画像データの画質を向上させることができる。
図7は、図5に示した駆動方法の変形例を示すタイミングチャートである。図7に示したタイミングチャートは、第一の露光期間Aの露光中に実施する複数の第二の露光期間のうちの最後の露光期間B(3)の露光を、グローバルリセット駆動を行って開始し、メカニカルシャッタ3を閉じる駆動を行って終了する点、第二の露光期間の長さが、第二の露光期間B(1)、第二の露光期間B(2)、第二の露光期間B(3)の順に短くなっている点を除いては、図5に示したタイミングチャートと同じである。
図7に示すタイミングチャートにおいて時刻t1〜t6の動作は、図5で説明したものと同じである。時刻t6で、nラインの光電変換素子51bの蓄積電荷に応じた信号の読み出しを終了すると、デバイス制御部8は、全ての光電変換素子51bの蓄積電荷を同時にリセットするグローバルリセット駆動をVドライバ60bにより行う。このグローバルリセット駆動による光電変換素子51bの蓄積電荷のリセット終了を以って、第二の露光期間B(3)の露光が開始する。
第三の露光期間B(3)の露光が開始してから、第二の露光期間B(2)よりも短い時間経過後の時刻t8になると、デバイス制御部8が、メカニカルシャッタ3を閉じる駆動を行う。このメカニカルシャッタ3が閉じた時点を以って、第一の露光期間Aの露光と、第二の露光期間B(3)の露光が終了する。第一の露光期間Aの露光終了後、デバイス制御部8は、ローリング読出し駆動によって第一グループと第二グループからそれぞれ撮像画像信号を読み出す。
以上のように、図7に示した駆動方法によれば、複数の第二の露光期間のうちの最後の露光期間の露光の開始及び終了のタイミングを、第二グループの全てのラインで一致させることができる。このため、第二の露光期間B(3)で得られる撮像画像データには歪みが発生することがなく、画質を向上させることができる。
なお、動く被写体に対する画像の歪みが顕著となるのは、露光期間が短い場合である。このため、複数の第二の露光期間のうち、最も短い期間(歪みの発生する可能性が最も高い露光期間)を、図7に示した最後の露光期間B(3)の位置にもってくる。このようにすることで、動く被写体を撮影した場合の画質劣化を最小限に抑えることができる。
図7の例では、最後の露光期間B(3)の露光終了タイミングをメカニカルシャッタ3で制御している。しかし、メカニカルシャッタ3の閉じるタイミングには時間的なばらつきがある。このため、この最後の露光期間B(3)を短縮できる下限は、メカニカルシャッタ3のばらつきで決まってしまう。そこで、更に短い露光期間を実現しようとした場合には、電気的な駆動で露光期間の開始及び終了タイミングを制御することのできる、複数の第二の露光期間のうちの最後の露光期間以外の露光期間を、最も短い露光期間とすることが好ましい。
特に好ましいのは、複数の第二の露光期間のうちの最初と最後の露光期間以外の露光期間を、最も短い露光期間とする場合である。
例えば、図8に示したように、図7に示したタイミングチャートにおいて露光期間B(2)を最も短い期間にした場合がこれに該当する。露光期間が極端に短い場合は、高速シャッタで撮影を行う場合と同じになる。このため、動く被写体であっても、CMOSセンサ特有の画像の歪みは発生しにくくなる。また、動く被写体を撮影した場合、第一グループから得られる撮像画像データは、第一の露光期間Aの開始時点で撮影した画像と終了時点で撮影した画像の平均に相当する画像となる。そこで、図8に示したように露光期間B(2)を第一の露光期間Aの中間付近にもってくることで、露光期間Aで得られる撮像画像データと、露光期間B(2)で得られる撮像画像データとの相関性を高めることができる。このような理由から、複数の第二の露光期間のうちの最初と最後の露光期間以外の露光期間を、最も短い露光期間とすることが特に好ましい。更に好ましいのは、露光期間Aの半分の時点と、この最も短い露光期間の半分の時点とが一致していることである。
これまでの説明では、第一グループと第二グループとで、信号読出し回路62aと信号読出し回路62bを分けて設けているが、これらは1つにして、一般的なMOSセンサの構成としても勿論よい。
ただし、信号読出し回路を1つにした場合には、第一グループのkラインと第二グループのkラインとを同期して駆動することができない。このため、例えば、図3に示した駆動方法を実現するには、図9に示したように、第一の露光期間Aの露光開始のためのローリングリセット駆動を終了してから第二の露光期間B(1)の露光開始のためのローリングリセット駆動を行い、第一の露光期間Aの露光終了のためのローリング読出し駆動を終了してから第二の露光期間B(3)の露光終了のためのローリング読出し駆動を行う必要がある。
または、図10に示したように、第二の露光期間B(1)の露光開始のためのローリングリセット駆動を終了してから、第一の露光期間Aの露光開始のためのローリングリセット駆動を行い、第二の露光期間B(3)の露光終了のためのローリング読出し駆動を終了してから、第一の露光期間Aの露光終了のためのローリング読出し駆動を行う必要がある。
図9,10に示した駆動方法であっても、第一の露光期間Aと、第二の露光期間B(1)、第二の露光期間B(2)、及び第二の露光期間B(3)の各々とは重なりを有する。このため、第一の露光期間Aで得られる撮像画像信号と、第二の露光期間B(1)、B(2)、B(3)のそれぞれで得られる撮像画像信号との相関性は十分に高くなる。したがって、ダイナミックレンジの異なる複数種類の撮像画像データの画質にはさほど影響がない。特に、複数の第二の露光期間のうちの最初又は最後の露光期間については、第一の露光期間Aと一部しか重ならなくなる。しかし、その他の第二の露光期間についてはその全てが第一の露光期間Aと重なる。このため、この点からも、複数種類の撮像画像データの画質への影響は少ない。図2に示したように、信号読出し回路を2つ設ける構成にした場合には、第一の露光期間の露光中に複数の第二の露光期間の全ての露光を実施することができる。このため、撮像画像データの高画質化が可能となる。
図2に示した固体撮像素子5の光電変換素子の配列は、次のように変形することもできる。
図11は、図2に示した固体撮像素子の変形例を示す図である。この変形例の固体撮像素子は、複数の光電変換素子を正方格子状に配列し、そのうちの奇数行を光電変換素子51aとし、偶数行を光電変換素子51bとしたものである。
図12は、図2に示した固体撮像素子の変形例を示す図である。この変形例の固体撮像素子は、複数の光電変換素子を正方格子状に配列し、そのうちの一方の市松位置に光電変換素子51aを配置し、他方の市松位置に光電変換素子51bを配置した構成である。
図11及び図12に示したような配列であっても、第一グループの各光電変換素子51aに対応する画素データと、当該光電変換素子51aとペアを組む光電変換素子51bに対応する画素データとを合成することで、ダイナミックレンジを拡大したカラー画像データを生成することができる。
なお、光電変換素子51aと光電変換素子51bは同一構造で感度差が無い構成としたが、感度差がある構成であってもよい。この場合には、光電変換素子51aと光電変換素子51bの感度差を考慮して、第一の露光期間と複数の第二の露光期間の各々との時間比を決めればよい。
また、これまでの説明では固体撮像素子5がCMOS型である場合を示したが、CCD型であってもよい。
図13は、図1に示した撮像装置100における固体撮像素子5をCCD型にしたときの撮影動作を説明するためのタイミングチャートであり、図3に対応する図である。
固体撮像素子5がCCD型の場合は、撮影指示があると、デバイス制御部8が、電子シャッタパルスをオフにする(時刻t1)。これにより、第一グループの光電変換素子51aと第二グループの光電変換素子51bが電荷蓄積可能な状態となる。そして、第一グループの全てのラインにおいて第一露光期間Aが開始し、第二グループの全てのラインにおいて第二の露光期間B(1)が開始する。
時刻t1から所定時間経過後の時刻t2になると、デバイス制御部8が、第二グループの光電変換素子51bの蓄積電荷を垂直CCDに読出し、これをアンプまで転送して、当該アンプから当該蓄積電荷に応じた信号を出力させる。この蓄積電荷の垂直CCDへの読出しが終了した時点で、第二グループの全てのラインにおいて、第二の露光期間B(1)の露光が終了すると共に、開始第二の露光期間B(2)の露光が開始する。
第二の露光期間B(2)が開始してから、第二の露光期間B(1)の時間よりも長い時間経過後の時刻t3になると、デバイス制御部8が、第二グループの光電変換素子51bの蓄積電荷を垂直CCDに読出し、これをアンプまで転送して、当該アンプから当該蓄積電荷に応じた信号を出力させる。この蓄積電荷の垂直CCDへの読出しが終了した時点で、第二グループの全てのラインにおいて、第二の露光期間B(2)の露光が終了すると共に、第二の露光期間B(3)の露光が開始する。
第二の露光期間B(3)が開始してから、第二の露光期間B(2)の時間よりも長い時間経過後の時刻t4になると、デバイス制御部8が、第二グループの光電変換素子51bの蓄積電荷を垂直CCDに読出し、これをアンプまで転送して、当該アンプから当該蓄積電荷に応じた信号を出力させる。この蓄積電荷の垂直CCDへの読出しが終了した時点で、第二グループの全てのラインにおいて第二の露光期間B(3)の露光が終了する。
時刻t4では、デバイス制御部8が、第一グループの光電変換素子51aの蓄積電荷を垂直CCDに読出し、これをアンプまで転送して、当該アンプから当該蓄積電荷に応じた信号を出力させる。この蓄積電荷の垂直CCDへの読出しが終了した時点で、第一グループの全てのラインにおいて第一の露光期間Aの露光が終了する。
以上のような駆動により、CCD型の固体撮像素子であっても、ダイナミックレンジの異なる複数種類の撮像画像データを1回の撮影で取得することができる。CCD型の場合は、全ての露光期間の露光において、第一グループ、第二グループのいずれにおいても、全てのラインの露光の開始及び終了タイミングを一致させることができる。このため、動く被写体であっても歪みのない撮像画像データを得ることができる。
なお、固体撮像素子5をCCD型にした場合、複数の第二の露光期間のうち、最初の露光期間を除く露光期間を、第二グループの全ての光電変換素子51bから垂直CCDに蓄積電荷を読出し、これを転送して当該蓄積電荷に応じた信号を固体撮像素子5から出力させるまでに要する信号読出し時間よりも長い時間にする必要がある。例えば、図13に示した第二の露光期間B(2)の長さが、信号読出し時間よりも短いと、時刻t2で読み出しが開始された信号の読み出しが完了する前に、垂直CCDに第二の露光期間B(2)の露光で蓄積された電荷が転送されてしまい、信号読出しに支障があるためである。
一方、複数の第二の露光期間のうちの最初の露光期間については、このような時間制限はない。例えば、図13に示した第二の露光期間B(1)は、その開始時刻t1の時点で垂直CCDには他の露光期間で発生した電荷が存在していない。このため、この露光期間B(1)をいくら短くしても問題はない。
したがって、固体撮像素子5をCCD型にした場合には、複数の第二の露光期間のうちの最初の露光期間を、最も短い時間とすることが好ましい。
以上説明してきたように、本明細書には次の事項が開示されている。
開示された撮像装置は、二次元状に配列された複数の第一の光電変換素子及び複数の第二の光電変換素子を含む固体撮像素子と、前記複数の第一の光電変換素子を第一の露光期間で露光すると共に、前記複数の第二の光電変換素子を、長さの異なる複数の第二の露光期間で順次露光し、前記第一の露光期間中に前記複数の第一の光電変換素子に蓄積された電荷に応じた第一の信号と、前記複数の第二の露光期間の各々において前記複数の第二の光電変換素子に蓄積された電荷に応じた第二の信号とを読み出す駆動を行う駆動部とを備え、各第二の露光期間は、前記第一の露光期間と重なりを有するものである。
開示された撮像装置は、前記固体撮像素子の光入射側に設けられたメカニカルシャッタを更に備え、前記固体撮像素子がCMOS型であり、前記駆動部は、前記複数の第一の光電変換素子の蓄積電荷を同時にリセットするグローバルリセット駆動を行って前記第一の露光期間の露光を開始し、前記第一の露光期間の露光開始後に前記メカニカルシャッタを閉じる駆動を行って前記第一の露光期間の露光を終了し、前記複数の第二の光電変換素子の蓄積電荷を前記第二の光電変換素子のライン毎にタイミングをずらしてリセットするローリングリセット駆動を行って前記複数の第二の露光期間のうちの少なくとも最後の第二の露光期間を除く露光期間の露光を開始するものである。
開示された撮像装置は、前記駆動部は、前記複数の第二の光電変換素子の蓄積電荷を同時にリセットするグローバルリセット駆動を行って前記複数の第二の露光期間のうちの最後の第二の露光期間の露光を開始し、前記メカニカルシャッタを閉じる駆動を行って前記最後の第二の露光期間の露光を終了するものである。
開示された撮像装置は、前記最後の第二の露光期間が、前記複数の第二の露光期間の中で最も短い期間であるものである。
開示された撮像装置は、前記複数の第二の露光期間のうちの最も短い期間が、最初の第二の露光期間と最後の第二の露光期間を除く期間であるものである。
開示された撮像装置は、前記第二の露光期間が3つである。
開示された撮像装置は、前記駆動部は、前記ローリングリセット駆動を行って各第二の露光期間の露光を開始し、前記第二の光電変換素子のライン毎にタイミングをずらして前記第二の信号を読み出すローリング読出し駆動を行って、各第二の露光期間の露光を終了するものである。
開示された撮像装置は、前記固体撮像素子がCMOS型であり、前記駆動部は、前記複数の第一の光電変換素子の蓄積電荷を前記第一の光電変換素子のライン毎にタイミングをずらしてリセットするローリングリセット駆動を行って、前記第一の露光期間の露光を開始し、前記複数の第二の光電変換素子の蓄積電荷を前記第二の光電変換素子のライン毎にタイミングをずらしてリセットするローリングリセット駆動を行って、各第二の露光期間の露光を開始し、前記第一の光電変換素子のライン毎にタイミングをずらして前記第一の信号を読み出すローリング読出し駆動を行って、前記第一の露光期間の露光を終了し、前記第二の光電変換素子のライン毎にタイミングをずらして前記第二の信号を読み出すローリング読出し駆動を行って、各第二の露光期間の露光を終了するものである。
開示された撮像装置は、各第二の露光期間の露光が前記第一の露光期間中に実施されるものである。
開示された撮像装置は、前記固体撮像素子がCCD型であり、前記複数の第二の露光期間のうちの最初の第二の露光期間が最も短い期間であるものである。
開示された撮像装置は、前記固体撮像素子が、前記複数の第一の光電変換素子から前記第一の信号を読み出すための第一の読出し回路と、前記複数の第二の光電変換素子から前記第二の信号を読み出すための前記第一の読出し回路とは独立して設けられた第二の読出し回路とを備えるものである。
開示された撮像方法は、二次元状に配列された複数の第一の光電変換素子及び複数の第二の光電変換素子を含む固体撮像素子を用いた撮像方法であって、前記複数の第一の光電変換素子を第一の露光期間で露光すると共に、前記複数の第二の光電変換素子を、長さの異なる複数の第二の露光期間で順次露光し、前記第一の露光期間中に前記複数の第一の光電変換素子に蓄積された電荷に応じた第一の信号と、前記複数の第二の露光期間の各々において前記複数の第二の光電変換素子に蓄積された電荷に応じた第二の信号とを読み出す駆動を行う駆動ステップを備え、各第二の露光期間は、前記第一の露光期間と重なりを有するものである。
開示された撮像方法は、前記固体撮像素子がCMOS型であり、前記駆動ステップでは、前記複数の第一の光電変換素子の蓄積電荷を同時にリセットするグローバルリセット駆動を行って前記第一の露光期間の露光を開始し、前記第一の露光期間の露光開始後に、前記固体撮像素子の光入射側に設けられたメカニカルシャッタを閉じる駆動を行って前記第一の露光期間の露光を終了し、前記複数の第二の光電変換素子の蓄積電荷を前記第二の光電変換素子のライン毎にタイミングをずらしてリセットするローリングリセット駆動を行って前記複数の第二の露光期間のうちの少なくとも最後の第二の露光期間を除く露光期間の露光を開始するものである。
開示された撮像方法は、前記駆動ステップでは、前記複数の第二の光電変換素子の蓄積電荷を同時にリセットするグローバルリセット駆動を行って前記複数の第二の露光期間のうちの最後の第二の露光期間の露光を開始し、前記メカニカルシャッタを閉じる駆動を行って前記最後の第二の露光期間の露光を終了するものである。
開示された撮像方法は、前記最後の第二の露光期間を、前記複数の第二の露光期間の中で最も短い期間とするものである。
開示された撮像方法は、前記複数の第二の露光期間のうちの最も短い期間を、最初の第二の露光期間と最後の第二の露光期間を除く期間とするものである。
開示された撮像方法は、前記第二の露光期間が3つである。
開示された撮像方法は、前記駆動部は、前記ローリングリセット駆動を行って各第二の露光期間の露光を開始し、前記第二の光電変換素子のライン毎にタイミングをずらして前記第二の信号を読み出すローリング読出し駆動を行って、各第二の露光期間の露光を終了するものである。
開示された撮像方法は、記固体撮像素子がCMOS型であり、前記駆動ステップでは、前記複数の第一の光電変換素子の蓄積電荷を前記第一の光電変換素子のライン毎にタイミングをずらしてリセットするローリングリセット駆動を行って、前記第一の露光期間の露光を開始し、前記複数の第二の光電変換素子の蓄積電荷を前記第二の光電変換素子のライン毎にタイミングをずらしてリセットするローリングリセット駆動を行って、各第二の露光期間の露光を開始し、前記第一の光電変換素子のライン毎にタイミングをずらして前記第一の信号を読み出すローリング読出し駆動を行って、前記第一の露光期間の露光を終了し、前記第二の光電変換素子のライン毎にタイミングをずらして前記第二の信号を読み出すローリング読出し駆動を行って、各第二の露光期間の露光を終了するものである。
開示された撮像方法は、各第二の露光期間の露光を前記第一の露光期間中に実施するものである。
開示された撮像方法は、前記固体撮像素子がCCD型であり、前記複数の第二の露光期間のうちの最初の第二の露光期間を最も短い期間とするものである。
開示された撮像方法は、前記駆動ステップでは、第一の読出し回路を用いて前記第一の信号を読出し、前記第一の読出し回路とは独立して設けられた第二の読出し回路を用いて前記第二の信号を読み出すものである。
本発明によれば、ダイナミックレンジの異なる複数種類の画像データを1回の撮影で得ることが可能な撮像装置及び撮像方法を提供することができる。
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、2010年7月28日出願の日本出願(特願2010−169799)に基づくものであり、その内容はここに参照として取り込まれる。
100 撮像装置
5 固体撮像素子
8 デバイス制御部
51a,51b 光電変換素子
62a,62b 信号読出し回路

Claims (14)

  1. 二次元状に配列された複数の第一の光電変換素子及び複数の第二の光電変換素子を含むCMOS型の固体撮像素子と、
    前記固体撮像素子の光入射側に設けられたメカニカルシャッタと、
    前記複数の第一の光電変換素子を第一の露光期間で露光すると共に、前記複数の第二の光電変換素子を、長さの異なる複数の第二の露光期間で順次露光し、前記第一の露光期間中に前記複数の第一の光電変換素子に蓄積された電荷に応じた第一の信号と、前記複数の第二の露光期間の各々において前記複数の第二の光電変換素子に蓄積された電荷に応じた第二の信号とを読み出す駆動を行う駆動部とを備え、
    各第二の露光期間は、前記第一の露光期間と重なりを有し、
    前記駆動部は、前記複数の第一の光電変換素子の蓄積電荷を同時にリセットするグローバルリセット駆動を行って前記第一の露光期間の露光を開始し、前記第一の露光期間の露光開始後に前記メカニカルシャッタを閉じる駆動を行って前記第一の露光期間の露光を終了し、前記複数の第二の光電変換素子の蓄積電荷を前記第二の光電変換素子のライン毎にタイミングをずらしてリセットするローリングリセット駆動を行って前記複数の第二の露光期間のうちの少なくとも最後の第二の露光期間を除く露光期間の露光を開始する撮像装置。
  2. 請求項1記載の撮像装置であって、
    前記駆動部は、前記複数の第二の光電変換素子の蓄積電荷を同時にリセットするグローバルリセット駆動を行って前記複数の第二の露光期間のうちの最後の第二の露光期間の露光を開始し、前記メカニカルシャッタを閉じる駆動を行って前記最後の第二の露光期間の露光を終了する撮像装置。
  3. 請求項2記載の撮像装置であって、
    前記最後の第二の露光期間が、前記複数の第二の露光期間の中で最も短い期間である撮像装置。
  4. 請求項2記載の撮像装置であって、
    前記複数の第二の露光期間のうちの最も短い期間が、最初の第二の露光期間と最後の第二の露光期間を除く期間である撮像装置。
  5. 請求項4記載の撮像装置であって、
    前記第二の露光期間が3つである撮像装置。
  6. 請求項1記載の撮像装置であって、
    前記駆動部は、前記ローリングリセット駆動を行って各第二の露光期間の露光を開始し、前記第二の光電変換素子のライン毎にタイミングをずらして前記第二の信号を読み出すローリング読出し駆動を行って、各第二の露光期間の露光を終了する撮像装置。
  7. 請求項1〜6のいずれか1項記載の撮像装置であって、
    前記固体撮像素子が、前記複数の第一の光電変換素子から前記第一の信号を読み出すための第一の読出し回路と、前記複数の第二の光電変換素子から前記第二の信号を読み出すための前記第一の読出し回路とは独立して設けられた第二の読出し回路とを備える撮像装置。
  8. 二次元状に配列された複数の第一の光電変換素子及び複数の第二の光電変換素子を含むCMOS型の固体撮像素子を用いた撮像方法であって、
    前記複数の第一の光電変換素子を第一の露光期間で露光すると共に、前記複数の第二の光電変換素子を、長さの異なる複数の第二の露光期間で順次露光し、前記第一の露光期間中に前記複数の第一の光電変換素子に蓄積された電荷に応じた第一の信号と、前記複数の第二の露光期間の各々において前記複数の第二の光電変換素子に蓄積された電荷に応じた第二の信号とを読み出す駆動を行う駆動ステップを備え、
    各第二の露光期間は、前記第一の露光期間と重なりを有し、
    前記駆動ステップでは、前記複数の第一の光電変換素子の蓄積電荷を同時にリセットするグローバルリセット駆動を行って前記第一の露光期間の露光を開始し、前記第一の露光期間の露光開始後に、前記固体撮像素子の光入射側に設けられたメカニカルシャッタを閉じる駆動を行って前記第一の露光期間の露光を終了し、前記複数の第二の光電変換素子の蓄積電荷を前記第二の光電変換素子のライン毎にタイミングをずらしてリセットするローリングリセット駆動を行って前記複数の第二の露光期間のうちの少なくとも最後の第二の露光期間を除く露光期間の露光を開始する撮像方法。
  9. 請求項8記載の撮像方法であって、
    前記駆動ステップでは、前記複数の第二の光電変換素子の蓄積電荷を同時にリセットするグローバルリセット駆動を行って前記複数の第二の露光期間のうちの最後の第二の露光期間の露光を開始し、前記メカニカルシャッタを閉じる駆動を行って前記最後の第二の露光期間の露光を終了する撮像方法。
  10. 請求項9記載の撮像方法であって、
    前記最後の第二の露光期間を、前記複数の第二の露光期間の中で最も短い期間とする撮像方法。
  11. 請求項9記載の撮像方法であって、
    前記複数の第二の露光期間のうちの最も短い期間を、最初の第二の露光期間と最後の第二の露光期間を除く期間とする撮像方法。
  12. 請求項11記載の撮像方法であって、
    前記第二の露光期間が3つである撮像方法。
  13. 請求項8記載の撮像方法であって、
    前記駆動ステップでは、前記ローリングリセット駆動を行って各第二の露光期間の露光を開始し、前記第二の光電変換素子のライン毎にタイミングをずらして前記第二の信号を読み出すローリング読出し駆動を行って、各第二の露光期間の露光を終了する撮像方法。
  14. 請求項8〜13のいずれか1項記載の撮像方法であって、
    前記駆動ステップでは、第一の読出し回路を用いて前記第一の信号を読出し、前記第一の読出し回路とは独立して設けられた第二の読出し回路を用いて前記第二の信号を読み出す撮像方法。
JP2012526358A 2010-07-28 2011-05-19 撮像装置及び撮像方法 Expired - Fee Related JP5156148B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012526358A JP5156148B2 (ja) 2010-07-28 2011-05-19 撮像装置及び撮像方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010169799 2010-07-28
JP2010169799 2010-07-28
JP2012526358A JP5156148B2 (ja) 2010-07-28 2011-05-19 撮像装置及び撮像方法
PCT/JP2011/061558 WO2012014553A1 (ja) 2010-07-28 2011-05-19 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
JP5156148B2 true JP5156148B2 (ja) 2013-03-06
JPWO2012014553A1 JPWO2012014553A1 (ja) 2013-09-12

Family

ID=45529776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012526358A Expired - Fee Related JP5156148B2 (ja) 2010-07-28 2011-05-19 撮像装置及び撮像方法

Country Status (4)

Country Link
US (1) US8994861B2 (ja)
JP (1) JP5156148B2 (ja)
CN (1) CN103181160B (ja)
WO (1) WO2012014553A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5422745B2 (ja) * 2010-09-14 2014-02-19 富士フイルム株式会社 撮像装置及び撮像方法
JP5904673B2 (ja) * 2013-09-27 2016-04-20 富士フイルム株式会社 撮像装置及び内視鏡装置
KR102277178B1 (ko) * 2015-03-09 2021-07-14 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
KR102368625B1 (ko) * 2015-07-23 2022-03-02 삼성전자주식회사 디지털 촬영 장치 및 그 방법
CN108293098B (zh) * 2015-11-05 2021-01-19 索尼半导体解决方案公司 固态成像器件、成像装置和电子设备
CN106303269A (zh) * 2015-12-28 2017-01-04 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置、图像采集设备
US9774803B2 (en) * 2016-02-18 2017-09-26 Samsung Electronics Co., Ltd. Motion reducing methods and systems using global shutter sensors
CN110463186B (zh) * 2017-03-24 2021-11-02 富士胶片株式会社 摄像装置、摄像方法及存储介质
WO2018180257A1 (ja) * 2017-03-28 2018-10-04 富士フイルム株式会社 撮像装置、撮像方法、及び撮像プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006049098A1 (ja) * 2004-11-02 2006-05-11 Matsushita Electric Industrial Co., Ltd. イメージセンサ
JP2007214832A (ja) * 2006-02-09 2007-08-23 Sony Corp 固体撮像装置
JP2008147818A (ja) * 2006-12-07 2008-06-26 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP2009268073A (ja) * 2008-04-01 2009-11-12 Fujifilm Corp 撮像装置及び撮像装置の信号処理方法
JP2009290613A (ja) * 2008-05-29 2009-12-10 Sharp Corp 固体撮像装置およびその駆動方法、並びに電子情報機器
JP2010130343A (ja) * 2008-11-27 2010-06-10 Fujifilm Corp 撮像装置及びその駆動制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7611060B2 (en) * 2005-03-11 2009-11-03 Hand Held Products, Inc. System and method to automatically focus an image reader
JP2009518913A (ja) * 2005-12-07 2009-05-07 ノキア コーポレイション カメラユニットならびにカメラユニットの画像センサを制御する方法
JP4823743B2 (ja) * 2006-04-03 2011-11-24 三星電子株式会社 撮像装置,及び撮像方法
US7724301B2 (en) * 2006-11-27 2010-05-25 Nokia Corporation Determination of mechanical shutter exposure time
JP2008252195A (ja) * 2007-03-29 2008-10-16 Yamaha Corp Cmos固体撮像装置
JP4887314B2 (ja) * 2008-02-28 2012-02-29 富士フイルム株式会社 撮像装置及び画像信号処理方法
JP2009302653A (ja) 2008-06-10 2009-12-24 Fujifilm Corp 撮像装置
KR101467509B1 (ko) * 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
JP4661922B2 (ja) 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
KR101549404B1 (ko) * 2008-11-18 2015-09-02 삼성전자주식회사 플래시 발광 제어 방법 및 장치, 및 이을 이용한 디지털 촬영 장치
JP5458865B2 (ja) * 2009-09-18 2014-04-02 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006049098A1 (ja) * 2004-11-02 2006-05-11 Matsushita Electric Industrial Co., Ltd. イメージセンサ
JP2007214832A (ja) * 2006-02-09 2007-08-23 Sony Corp 固体撮像装置
JP2008147818A (ja) * 2006-12-07 2008-06-26 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP2009268073A (ja) * 2008-04-01 2009-11-12 Fujifilm Corp 撮像装置及び撮像装置の信号処理方法
JP2009290613A (ja) * 2008-05-29 2009-12-10 Sharp Corp 固体撮像装置およびその駆動方法、並びに電子情報機器
JP2010130343A (ja) * 2008-11-27 2010-06-10 Fujifilm Corp 撮像装置及びその駆動制御方法

Also Published As

Publication number Publication date
US20130135506A1 (en) 2013-05-30
JPWO2012014553A1 (ja) 2013-09-12
CN103181160B (zh) 2016-06-15
US8994861B2 (en) 2015-03-31
CN103181160A (zh) 2013-06-26
WO2012014553A1 (ja) 2012-02-02

Similar Documents

Publication Publication Date Title
JP5156148B2 (ja) 撮像装置及び撮像方法
JP5739640B2 (ja) 撮像素子及び撮像装置
JP5422745B2 (ja) 撮像装置及び撮像方法
JP4448888B2 (ja) 撮像装置及び撮像装置の信号処理方法
CN105530427B (zh) 摄像元件、摄像装置
JP5150795B2 (ja) 撮像装置及び撮像方法
JP5342969B2 (ja) 撮像装置及び撮像方法
JP4484944B2 (ja) 撮像装置及び撮像装置の駆動方法
JP5226552B2 (ja) 撮像装置
JP2001036920A (ja) 撮像装置及びそれを用いた撮像システム
JP5033711B2 (ja) 撮像装置及び撮像装置の駆動方法
JP2007243731A (ja) シフトレジスタ、固体撮像素子及び制御方法
JP2010171856A (ja) 撮像装置
JP5683985B2 (ja) 固体撮像装置および撮像装置
JP2011066505A (ja) 固体撮像素子の動画像信号読出方法及び撮像装置
JP5175783B2 (ja) 撮像装置及び撮像装置の駆動方法
JP5256084B2 (ja) 撮像装置及び撮像装置の駆動方法
JP5975795B2 (ja) 撮像装置及びその駆動方法
JP2012085013A (ja) 固体撮像装置および撮像装置
JP2020136965A (ja) 撮像装置およびその制御方法
JP2009253615A (ja) 撮像装置
JP2009033408A (ja) 撮像装置及びそのポストビュー画像生成方法
JP2004289055A (ja) 固体撮像素子
JP2011009837A (ja) 固体撮像装置およびデジタルカメラ
JP2012235342A (ja) 撮像装置及び電子カメラ

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5156148

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees