JP7006722B2 - 撮像素子および撮像装置 - Google Patents

撮像素子および撮像装置 Download PDF

Info

Publication number
JP7006722B2
JP7006722B2 JP2020081357A JP2020081357A JP7006722B2 JP 7006722 B2 JP7006722 B2 JP 7006722B2 JP 2020081357 A JP2020081357 A JP 2020081357A JP 2020081357 A JP2020081357 A JP 2020081357A JP 7006722 B2 JP7006722 B2 JP 7006722B2
Authority
JP
Japan
Prior art keywords
unit
charge
image pickup
charge holding
holding unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020081357A
Other languages
English (en)
Other versions
JP2020141412A5 (ja
JP2020141412A (ja
Inventor
寛信 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2020081357A priority Critical patent/JP7006722B2/ja
Publication of JP2020141412A publication Critical patent/JP2020141412A/ja
Publication of JP2020141412A5 publication Critical patent/JP2020141412A5/ja
Priority to JP2022000251A priority patent/JP7384226B2/ja
Application granted granted Critical
Publication of JP7006722B2 publication Critical patent/JP7006722B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像素子および撮像装置に関する。
グローバルシャッタ方式の撮像素子が知られている(例えば、特許文献1)。従来技術
には、フォトダイオードで生じた電荷を有効利用できていないという問題があった。
特開2004-297089号公報
請求項1に記載の撮像素子は、光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷を保持する第1電荷保持部と、前記光電変換部で生成された電荷を保持する第2電荷保持部と、前記第1電荷保持部で保持された電荷が転送される第1電荷電圧変換部と、前記第2電荷保持部で保持された電荷が転送される第2電荷電圧変換部と、前記第1電荷保持部で保持された電荷を前記第1電荷電圧変換部に転送する第1転送部と、前記第2電荷保持部で保持された電荷を前記第2電荷電圧変換部に転送する第2転送部と、備え、前記光電変換部と前記第1電荷保持部とは第1方向に配置され、前記光電変換部と前記第2電荷保持部とは前記第1方向と交差する第2方向に配置され、前記第1電荷保持部と前記第1電荷電圧変換部とは前記第2方向に配置され、前記第2電荷保持部と前記第2電荷電圧変換部とは前記第1方向に配置され、前記第1転送部は、前記第2方向において、前記第1電荷保持部と前記第1電荷電圧変換部との間に配置され、前記第2転送部は、前記第1方向において、前記第2電荷保持部と前記第2電荷電圧変換部との間に配置される。
本発明の第1の実施の形態に係る撮像装置の構成を示す模式図である。 撮像素子120の撮像面10を模式的に示す平面図である。 撮像画素20の回路図である。 撮像面10上の撮像画素20を拡大した模式図である。 撮像画素20の断面図およびポテンシャル図である。 ライブビュー動作のタイミングチャートである。 ライブビュー動作のタイミングチャートである。 本撮影のタイミングチャートである。 本撮影のタイミングチャートである。 ライブビュー動作のタイミングチャートである。 ライブビュー動作のタイミングチャートである。 本撮影のタイミングチャートである。 本撮影のタイミングチャートである。 露出オートブラケッティング撮影動作のタイミングチャートである。 ハイダイナミックレンジ合成の露光時間を模式的に示す図である。 本発明の第4の実施の形態に係る撮像装置の構成を示す模式図である。 測距動作のタイミングチャートである。
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係る撮像装置の構成を示す模式図である。撮像装
置100は、結像光学系110と、撮像素子120と、制御回路130と、メカニカルシ
ャッター140と、表示装置150と、記録媒体160とを有している。
結像光学系110は、撮像素子120の撮像面に被写体像を結像させる。制御回路13
0は、撮像装置100の全体を制御する。メカニカルシャッター140は、いわゆるフォ
ーカルプレーンシャッターであり、撮像素子120の撮像面近傍に設けられている。表示
装置150は、例えば液晶ディスプレイ等の表示装置である。記録媒体160は、例えば
メモリカード等の可搬性の記録媒体である。
図2は、撮像素子120の撮像面10を模式的に示す平面図である。撮像面10には、
複数の撮像画素20が二次元状に多数配列されている。撮像画素20は、それぞれ赤(R
)、緑(G)、青(B)のいずれかの色成分に対応している。例えば赤(R)の色成分に
対応する撮像画素20は、入射光のうち赤の色成分の光を光電変換した光電変換信号(撮
像信号)を出力する。これら3種類の撮像画素20は、いわゆるベイヤー配列を成してい
る。
制御回路130は、記録用画像を撮影する場合(いわゆる本撮影時)には、全ての撮像
画素から撮像信号を読み出す。これに対し、ライブビュー用画像を撮影する場合には、制
御回路130は、表示装置150の表示画素数に合わせて、撮像画素20の間引き読み出
しを行う。つまり、全ての撮像画素20から撮像信号を読み出すのではなく、表示装置1
50の表示画素数に合わせて、例えば3行おきの撮像画素20からのみ撮像信号を読み出
す(3行のうち1行のみを読み出し残りの2行は飛ばす)。
次に、図3~図5を参照して、撮像画素20の構成について詳述する。図3は、撮像画
素20の回路図である。撮像画素20は、光電変換部PDと、第1読出部21と、第2読
出部22と、リセットトランジスタRとを有する。
光電変換部PDは、フォトダイオードであり、入射光を光電変換して電荷を生成する。
撮像画素20には、不図示のマイクロレンズが設けられており、撮像画素20への入射光
はマイクロレンズによって光電変換部PDに集光される。光電変換部PDのカソード端子
には、第1読出部21と第2読出部22とが並列に接続されている。
第1読出部21は、第1電荷保持部SG1と、第1転送トランジスタTX1と、第1電
荷電圧変換部FD1と、第1増幅トランジスタSF1と、第1出力トランジスタS1と、
第1出力部23とを有する。第1出力トランジスタS1と第1出力部23との間には、第
1定電流源25が接続されている。この第1定電流源25は、1列ごとに1つ存在し、1
つの列に存在する全行分の撮像画素20について並列に接続されている。
第1電荷保持部SG1は、N型のMOSFETである。詳細は後述するが、第1電荷保
持部SG1は、光電変換部PDで生成された電荷を一時的に保持できるよう、大きな容量
を有している。第1転送トランジスタTX1は、N型のMOSFETであり、第1電荷保
持部SG1に保持されている電荷を、第1電荷電圧変換部FD1に転送する機能を有する
第1電荷電圧変換部FD1は、いわゆるフローティングディフュージョンであり、第1
転送トランジスタTX1によって第1電荷保持部SG1から転送された電荷を一時的に保
持することで、第1電荷保持部SG1に保持されていた電荷量に応じた電位をとる。つま
り、第1電荷保持部SG1に保持されていた電荷を、電圧に変換する。第1増幅トランジ
スタSF1は、N型のMOSFETであり、第1電荷電圧変換部FD1に保持されている
電荷量(第1電荷電圧変換部FD1の電位)に応じた出力信号を第1出力トランジスタS
1に出力する。第1出力トランジスタS1は、N型のMOSFETであり、第1増幅トラ
ンジスタSF1から出力された出力信号を第1出力部23に出力する。つまり第1出力部
23には、第1電荷電圧変換部FD1に保持されている電荷量に応じた出力信号が出力さ
れる。
第1電荷保持部SG1のドレイン端子は、光電変換部PDのカソード端子に接続されて
いる。第1電荷保持部SG1のソース端子は、第1転送トランジスタTX1のドレイン端
子に接続されている。第1転送トランジスタTX1のソース端子は、リセットトランジス
タRのソース端子と、第1増幅トランジスタSF1のゲート端子と、第1電荷電圧変換部
FD1に接続されている。リセットトランジスタRのドレイン端子と、第1増幅トランジ
スタSF1のドレイン端子は、電源VDDに接続されている。第1増幅トランジスタSF
1のソース端子は、第1出力トランジスタS1のドレイン端子に接続されている。第1出
力トランジスタS1のソース端子は、第1定電流源25の出力端子と、第1出力部23に
接続されている。残りの端子、すなわち第1電荷保持部SG1のゲート端子と、第1転送
トランジスタTX1のゲート端子と、第1出力トランジスタS1のゲート端子は、それぞ
れ不図示の走査回路に接続され、不図示の走査回路により制御される。
なお、以下の説明では、本来は撮像素子120内の走査回路により行われる制御動作を
、便宜上、制御回路130により行われるものとして説明している。以下の説明において
制御回路130により行われるものとして説明される種々の動作は、撮像素子120内の
回路(例えば不図示の走査回路)によって行うようにしてもよいし、撮像素子120外の
回路(例えば制御回路130やそれ以外の回路)によって行うようにしてもよい。
第2読出部22は、第2電荷保持部SG2と、第2転送トランジスタTX2と、第2電
荷電圧変換部FD2と、第2増幅トランジスタSF2と、第2出力トランジスタS2と、
第2出力部24とを有する。第2出力トランジスタS2と第2出力部24との間には、第
2定電流源26が接続されている。この第2定電流源26は、1列につき1つ存在し、1
つの列に存在する全行分の撮像画素20について並列に接続されている。これらの各部は
、第1読出部21と同一であるため説明を省略する。リセットトランジスタRは、N型の
MOSFETであり、光電変換部PD、第1電荷保持部SG1、第2電荷保持部SG2、
第1電荷電圧変換部FD1、第2電荷電圧変換部FD2をリセットする機能を有する。
図4は、撮像面10上の撮像画素20を拡大した模式図である。光電変換部PDは、撮
像画素20の右上隅に配置されており、生成した電荷を一定程度保持できるよう、撮像画
素20全体に対して比較的大きな面積を占めている。第1読出部21と、第2読出部22
は、それぞれ光電変換部PDの下側および左側に配置される。
第1電荷保持部SG1および第2電荷保持部SG2は、それぞれ光電変換部PDの下端
および左端に隣接して配置される。第1電荷保持部SG1および第2電荷保持部SG2は
、光電変換部PDにおいて生成された電荷を保持できるよう、比較的大きな静電容量(例
えば、光電変換部PDよりも大きな静電容量)を持たせる必要がある。そのため、第1電
荷保持部SG1および第2電荷保持部SG2は、光電変換部PDに近い面積を有している
。なお、第1電荷電圧変換部FD1および第2電荷電圧変換部FD2は、第1電荷保持部
SG1および第2電荷保持部SG2よりも更に大きな静電容量を有している。
撮像画素20全体のうち、残りの約4分の1程度の面積の領域に、残りの部分、すなわ
ち、第1転送トランジスタTX1、第2転送トランジスタTX2、第1電荷電圧変換部F
D1、第2電荷電圧変換部FD2、第1増幅トランジスタSF1、第2増幅トランジスタ
SF2、第1出力トランジスタS1、第2出力トランジスタS2、リセットトランジスタ
Rが配置される。
図5(a)は、図3のA-A’断面を模式的に示す図であり、図5(b)はそのポテン
シャル図である。図5(a)に示すように、光電変換部PDは、受光面側(絶縁膜30側
)のp+型領域31と、基板側のn型領域32とにより構成されている。
第1電荷保持部SG1は、絶縁膜30上に形成されたゲート33と、絶縁膜30下に形
成されたn-型領域34およびn型領域35とにより構成されている。第1電荷保持部S
G1の面積の大部分にはn型領域35が形成されており、n-型領域34は、光電変換部
PDと隣接する一部のみに形成されている。なお、図5(a)では省略しているが、ゲー
ト33の表面を金属等によって形成された遮光層で覆い、光漏れを防止することが望まし
い。
第1転送トランジスタTX1は、絶縁膜30上に形成されたゲート36と、絶縁膜30
下に形成されたn型領域37とにより構成されている。第1電荷保持部SG1と第1転送
トランジスタTX1との間にはn-型領域38が形成されている。第1転送トランジスタ
TX1に隣接する第1電荷電圧変換部FD1は、絶縁膜30下に形成されたn+型領域3
9により構成される。その隣にはリセットトランジスタRとして機能するゲート40があ
る。ゲート40、すなわちリセットトランジスタRのゲート端子に所定レベル以上の電圧
が印加されると、第1電荷電圧変換部FD1であるn+型領域39から、ゲート40の反
対側に形成されているn+型領域41に電流が流れる。
次に、図5(b)のポテンシャル図を用いて、これら各部の動作について説明する。な
お、図5(b)のポテンシャル図では、紙面下側ほど電位が高くなっている。
第1電荷保持部SG1のゲート33には、所定のハイ(H)レベルの電圧か、所定のロ
ー(L)レベルの電圧が印加される。第1電荷保持部SG1のゲート33にLレベルの電
圧が印加されている場合、第1電荷保持部SG1のn-型領域34の電位は、光電変換部
PDのn型領域32の電位よりも低いため、光電変換部PDにおいて生成された電荷は、
光電変換部PDのn型領域32に蓄積される。第1電荷保持部SG1のゲート33にHレ
ベルの電圧が印加されると、第1電荷保持部SG1のn-型領域34およびn型領域35
の電位は光電変換部PDのn型領域32の電位よりも高くなるので、光電変換部PDのn
型領域32に蓄積されていた電荷は、第1電荷保持部SG1のn型領域35に転送される
第1転送トランジスタTX1のゲート36にLレベルの電圧が印加されている場合、第
1電荷保持部SG1のn型領域35の電位は、第1転送トランジスタTX1のn型領域3
7の電位よりも高くなるので、第1電荷保持部SG1のn型領域35に転送された電荷は
、第1電荷保持部SG1のn型領域35に保持される。
第1電荷保持部SG1のゲート33にLレベルの電圧が印加されているときに、第1転
送トランジスタTX1のゲート36にHレベルの電圧が印加されると、第1転送トランジ
スタTX1のn型領域37の電位は、第1電荷保持部SG1のn型領域35の電位よりも
高くなる。これにより、第1電荷保持部SG1のn型領域35に保持されていた電荷は、
第1電荷電圧変換部FD1に転送される。第1電荷電圧変換部FD1の電位は、転送され
た電荷量に応じて決定される。このとき、第1出力トランジスタS1のゲートにHレベル
の電圧を印加すると、第1出力部23には、第1電荷電圧変換部FD1が保持している電
荷量(第1電荷電圧変換部FD1の電位)に応じた大きさの出力信号が現れる。
以上のように構成された撮像画素20は、光電変換部PDにより生成された電荷を一時
的に保持する、第1電荷保持部SG1と第2電荷保持部SG2とを有している。従って、
いわゆるグローバルシャッタ動作を行う際に、3枚分の撮影画像に相当する電荷を同時に
保持することが可能である。ここでグローバルシャッタ動作とは、光電変換部PDによる
電荷の生成開始(すなわちシャッタ開動作)と、電荷の生成終了(すなわちシャッタ閉動
作)との両方を、全ての撮像画素20において同時に行う動作を指す。
以下、3枚分の撮影画像に相当する電荷を同時に保持する方法について具体的に説明す
る。なお、以下ではメカニカルシャッター140を構成に含めずに説明する。まず、1回
目のグローバルシャッタ動作の完了時、全ての撮像画素20において、光電変換部PDに
蓄積されている電荷を第1電荷保持部SG1に転送する。以下の説明では、この動作をグ
ローバル転送と称する。次に、全ての撮像画素20の第1電荷保持部SG1から出力信号
を読み出し終わる前に、更に2回目のグローバルシャッタ動作を行う。2回目のグローバ
ルシャッタ動作において光電変換部PDで生成された電荷は、グローバル転送により第2
電荷保持部SG2に転送する。その後、全ての撮像画素20の第1電荷保持部SG1およ
び第2電荷保持部SG2から出力信号を読み出し終わる前、すなわち、第1電荷保持部S
G1と第2電荷保持部SG2が共に転送された電荷を保持している間に、更に3回目のグ
ローバルシャッタ動作を行う。この3回目のグローバルシャッタ動作により光電変換部P
Dが生成した電荷は、光電変換部PDに保持することができる。以上のように、撮像画素
20は、3枚分の撮影画像に相当する電荷を、それぞれ、第1電荷保持部SG1と、第2
電荷保持部SG2と、光電変換部PDの3カ所に同時に保持することが可能である。
次に、撮像装置100のライブビュー機能について説明する。図6は、ライブビュー動
作のタイミングチャートである。なお、以下に説明するライブビュー動作において、「ラ
イブビュー画像の作成に用いられる全ての撮像画素20」とは、間引き読み出しの対象と
なる撮像画素20を意味する。つまり、間引き読み出しを行う場合、ライブビュー画像に
関与しない撮像画素20が存在することになるが、そのような撮像画素20は以下の処理
から除外されている。
制御回路130は、まず時刻t1に、ライブビュー画像の作成に用いられる全ての撮像
画素20において、光電変換部PDと第1電荷保持部SG1と第2電荷保持部SG2とを
同時にリセットする(シャッタ開動作に相当)。制御回路130は、その後の時刻t2に
、ライブビュー画像の作成に用いられる全ての撮像画素20において、光電変換部PDの
電荷を第1電荷保持部SG1に同時に転送する(シャッタ閉動作、兼、グローバル転送、
兼、次の撮像におけるシャッタ開動作に相当)。
ここで転送される電荷は、時刻t1から時刻t2までの期間に光電変換部PDが光電変
換により生成したものである。つまり、時刻t1から時刻t2までの期間を露光時間とし
た撮像信号に相当する。換言すると、以上の動作は、時刻t1にシャッタ開を行い、時刻
t2にシャッタ閉を行ったグローバルシャッタ動作に相当する。
制御回路130は、その後、1行目の撮像画素20の第1読出部21から順に、行毎に
撮像信号を読み出す。全ての行から撮像信号を読み出し終わると、制御回路130は、読
み出した撮像信号に基づくライブビュー画像を作成して表示装置150に表示する。
読み出し対象となる全ての行からの撮像信号の読み出しには、読み出し時間T1を要す
ることになる。例えば第1読出部21から読み出した撮像信号に基づき、60fpsでラ
イブビュー画像の表示を行いたい場合には、この読み出し時間T1を60分の1秒以下に
する必要がある。
時刻t2から読み出し時間T1だけ後の時刻t4に、制御回路130は、再び、ライブ
ビュー画像の作成に用いられる全ての撮像画素20において、光電変換部PDの電荷を第
1電荷保持部SG1に同時に転送する(シャッタ閉動作、兼、グローバル転送、兼、次の
撮像におけるシャッタ開動作に相当)。制御回路130は、その後、1行目の撮像画素2
0の第1読出部21から順に、行毎に撮像信号を読み出してライブビュー画像の作成およ
び表示を行う。
制御回路130は、以上の動作を読み出し時間T1ごとに繰り返し行う。これにより、
第1読出部21から読み出された撮像信号に基づくライブビュー画像が、例えば60分の
1秒ごとに作成および表示される。
以上の動作と並行して、制御回路130は、時刻t2から読み出し時間T1の半分だけ
後の時刻t3に、ライブビュー画像の作成に用いられる全ての撮像画素20において、光
電変換部PDの電荷を第2電荷保持部SG2に同時に転送する(シャッタ閉動作、兼、グ
ローバル転送、兼、次の撮像におけるシャッタ開動作に相当)。ここで転送される電荷は
、時刻t2から時刻t3までの期間に光電変換部PDが光電変換により生成したものであ
る。つまり、時刻t2から時刻t3までの期間を露光時間とした撮像信号に相当する。換
言すると、以上の動作は、時刻t2にシャッタ開を行い、時刻t3にシャッタ閉を行った
グローバルシャッタ動作に相当する。
制御回路130は、その後、1行目の撮像画素20の第2読出部22から順に、行毎に
撮像信号を読み出す。全ての行から撮像信号を読み出し終わると、制御回路130は、読
み出した撮像信号に基づくライブビュー画像を作成して表示装置150に表示する。
制御回路130は、以上の動作を読み出し時間T1ごとに繰り返し行う。これにより、
第2読出部22から読み出された撮像信号に基づくライブビュー画像が、例えば60分の
1秒ごとに作成および表示される。
以上のように、制御回路130は、第1読出部21からの撮像信号の読み出し並びにラ
イブビュー画像の作成および表示と、第2読出部22からの撮像信号の読み出し並びにラ
イブビュー画像の作成および表示とを、半周期だけずれたタイミングで並行して行う。従
って、ライブビュー画像は、第1読出部21および第2読出部22の一方のみを用いて行
う場合の倍のフレームレートで表示されることになる。
また、ライブビュー表示の開始時を除き、光電変換部PDのリセットは行われていない
。つまり、ライブビュー表示中に光電変換部PDで生成された全ての電荷を、余すところ
なく利用していると言える。
図7は、ある1つの撮像画素20に注目したライブビュー動作のタイミングチャートで
ある。制御回路130は、まず時刻t11に、第1電荷保持部SG1と第2電荷保持部S
G2と第1転送トランジスタTX1と第2転送トランジスタTX2とリセットトランジス
タRとをオンオフする(ゲートに印加する電圧をHレベルとLレベルとで切り替える)こ
とにより、光電変換部PDと第1電荷保持部SG1と第2電荷保持部SG2とを同時にリ
セットする。その後の時刻t12に、制御回路130は、第1電荷保持部SG1をオンオ
フすることにより、光電変換部PDから第1電荷保持部SG1に電荷を転送する。なお、
図7に図示した通り、第1転送トランジスタTX1と第2転送トランジスタTX2とリセ
ットトランジスタRとをオフするタイミングは、第1電荷保持部SG1および第2電荷保
持部SG2をオフするタイミングよりも遅らせることが望ましい。
時刻t13に、制御回路130は、第1読出部21から撮像信号を読み出す。制御回路
130は、まず第1出力トランジスタS1をオンする。そして、第1出力トランジスタS
1をオンした状態のまま、リセットトランジスタRをオンオフし、その後、第1転送トラ
ンジスタTX1をオンオフする。これにより、第1電荷保持部SG1に保持されている電
荷が、第1電荷電圧変換部FD1に転送され、その電荷量に応じた大きさの出力信号が、
第1出力部23に出力される。その後、制御回路130は、第1出力トランジスタS1を
オフする。
時刻t13より後の時刻t14に、制御回路130は、第2電荷保持部SG2をオンオ
フすることにより、光電変換部PDから第2電荷保持部SG2に電荷を転送する。時刻t
15に、制御回路130は、第2読出部22から撮像信号を読み出す。制御回路130は
、まず第2出力トランジスタS2をオンする。そして、第2出力トランジスタS2をオン
した状態のまま、リセットトランジスタRをオンオフし、その後、第2転送トランジスタ
TX2をオンオフする。これにより、第2電荷保持部SG2に保持されている電荷が、第
2電荷電圧変換部FD2に転送され、その電荷量に応じた大きさの出力信号が、第2出力
部24に出力される。その後、第2出力トランジスタS2をオフする。
制御回路130は、以上の動作を繰り返し行うことで、第1読出部21および第2読出
部22から撮像信号を交互に読み出す。
次に、ライブビュー動作中の本撮影(記録画像を作成するための撮影)について説明す
る。図8は、本撮影のタイミングチャートである。時刻t21において、所定の本撮影操
作(例えばレリーズスイッチの全押し操作)が為されたものとする。
制御回路130は、時刻t23に現在実行している第1読出部21からの撮像信号の読
み出しが終了すると、その直近の第2電荷保持部SG2への電荷転送が行われた時刻t2
2から所定の露光時間T2が経過した時刻t24に、全ての撮像画素20において、光電
変換部PDの電荷を第1電荷保持部SG1に同時に転送する。
更に制御回路130は、時刻t24から所定の露光時間T3(露光時間T2とは異なる
時間)が経過した時刻t25に、全ての撮像画素20において、光電変換部PDの電荷を
第2電荷保持部SG2に同時に転送する。
制御回路130は、その後、1行目の撮像画素20の第1読出部21から順に、行毎に
撮像信号を読み出す。それと並行して、制御回路130は、1行目の撮像画素20の第2
読出部22から順に、行毎に撮像信号を読み出す。これにより、撮像素子120からは、
露光時間T2に対応する撮像信号と、露光時間T3に対応する撮像信号とが同時に得られ
る。
全ての行から撮像信号を読み出し終わると、制御回路130は、読み出した撮像信号に
基づく記録画像を作成して記録媒体160に記録する。例えば、第1読出部21から読み
出した撮像信号に基づく第1記録画像と、第2読出部22から読み出した撮像信号に基づ
く第2記録画像とを記録媒体160に記録してもよいし、それら2つの撮像信号を合成し
て単一の記録画像を作成し記録媒体160に記録してもよい。記録画像の記録が終了する
と、制御回路130は、図6の時刻t1からの動作を再度実行開始し、ライブビュー表示
を再開する。
図9は、ある1つの撮像画素20に注目した本撮影のタイミングチャートである。時刻
t31において、ライブビュー表示のため、光電変換部PDから第2電荷保持部SG2に
電荷が転送されたものとする。制御回路130は、時刻t31から所定の露光時間T2が
経過した時刻t32において、第1電荷保持部SG1をオンオフすることにより、光電変
換部PDから第1電荷保持部SG1に電荷を転送する。制御回路130は、時刻t32か
ら所定の露光時間T3が経過した時刻t33において、第2電荷保持部SG2をオンオフ
することにより、光電変換部PDから第2電荷保持部SG2に電荷を転送する。
その後の時刻t34に、制御回路130は、第1読出部21および第2読出部22から
撮像信号を同時に読み出す。制御回路130は、まず第1出力トランジスタS1と第2出
力トランジスタS2を同時にオンする。制御回路130は、第1出力トランジスタS1と
第2出力トランジスタS2をオンした状態のまま、リセットトランジスタRをオンオフし
、その後、第1転送トランジスタTX1と第2転送トランジスタTX2をオンオフする。
これにより、第1電荷保持部SG1に保持されている電荷が第1電荷電圧変換部FD1に
転送されると共に、第2電荷保持部SG2に保持されている電荷が第2電荷電圧変換部F
D2に転送され、各々の電荷量に応じた大きさの出力信号が、第1出力部23と第2出力
部24に出力される。制御回路130は、その後、第1出力トランジスタS1と第2出力
トランジスタS2をオフする。
上述した第1の実施の形態による撮像装置によれば、次の作用効果が得られる。
(1)撮像素子120は、入射光を光電変換して電荷を生成する光電変換部PDと、光電
変換部PDに接続された、第1読出部21および第2読出部22とを有する撮像画素20
を複数備える。第1読出部21は、光電変換部PDから転送された電荷を一時的に保持す
る第1電荷保持部SG1と、第1電荷保持部SG1から転送された電荷を電圧に変換する
第1電荷電圧変換部FD1と、第1電荷電圧変換部FD1の電圧に応じた出力信号を出力
する第1出力部23とを有する。同様に、第2読出部22は、光電変換部PDから転送さ
れた電荷を一時的に保持する第2電荷保持部SG2と、第2電荷保持部SG2から転送さ
れた電荷を電圧に変換する第2電荷電圧変換部FD2と、第2電荷電圧変換部FD2の電
圧に応じた出力信号を出力する第2出力部24とを有する。このようにしたので、フォト
ダイオード(光電変換部PD)で生じた電荷を有効利用することができる。
(2)第1電荷電圧変換部FD1の静電容量は、第1電荷保持部SG1の静電容量よりも
多い。同様に、第2電荷電圧変換部FD2の静電容量は、第2電荷保持部SG2の静電容
量よりも多い。つまり、光電変換部PDで生成された電荷が転送されていく順に従って、
静電容量が多くなっている。このようにしたので、光電変換部PDで生成された電荷を損
なうことなく取り扱うことができる。
(3)第1読出部21は、第2電荷保持部SG2に光電変換部PDから電荷が転送された
第1時刻から、当該電荷に対応する出力信号が第2出力部24から出力される第2時刻ま
での期間内に光電変換部PDで生成された電荷を、第1電荷保持部SG1に転送する。第
2読出部22は、第1電荷保持部SG1に光電変換部PDから電荷が転送された第3時刻
から、当該電荷に対応する出力信号が第1出力部23から出力される第4時刻までの期間
内に光電変換部PDで生成された電荷を、第2電荷保持部SG2に転送する。このように
したので、一方の読出部において読み出し動作が行われている間に光電変換部PDで生成
された電荷を廃棄することなく、他方の読出部に転送して活用することができる。
(4)制御回路130は、第1出力部23から出力された出力信号に基づき第1表示画像
を作成すると共に、第2出力部24から出力された出力信号に基づき第2表示画像を作成
する画像作成部として機能する。表示装置150は、第1表示画像と第2表示画像とを交
互に表示する画像表示部として機能する。このようにしたので、撮像信号(出力信号)の
読み出し速度等により規定されるフレームレートの倍のフレームレートで、ライブビュー
画像を表示することができる。
(5)第1電荷保持部SG1および第2電荷保持部SG2は、いわゆる埋め込みチャネル
構造を有している。これにより、通常のいわゆるフローティングディフュージョンとは異
なり、第1電荷保持部SG1および第2電荷保持部SG2には、光電変換部PDで生成さ
れた電荷を、比較的長期間、損なわれずに蓄積しておくことが可能になる。
(第2の実施の形態)
第2の実施の形態に係る撮像装置は、第1の実施の形態に係る撮像装置100と同一の
構成を有しているが、撮像素子120の駆動方式が、第1の実施の形態と異なっている。
以下、特に第1の実施の形態との差異を中心として、第2の実施の形態に係る撮像装置を
説明する。
第1の実施の形態では、ライブビュー表示のフレームレート(例えば60fps)に応
じた露光時間(例えば約60分の1秒)でライブビュー画像の撮影を行っていた。本実施
の形態では、第1の実施の形態と同様に倍速でのライブビュー表示を行うが、各々のライ
ブビュー画像の露光時間は任意に設定する。
図10は、ライブビュー動作のタイミングチャートである。制御回路130は、まず時
刻t41に、ライブビュー画像の作成に用いられる全ての撮像画素20において、光電変
換部PDおよび第1電荷保持部SG1を同時にリセットする。制御回路130は、時刻t
41から所定の露光時間T4だけ後の時刻t42に、ライブビュー画像の作成に用いられ
る全ての撮像画素20において、光電変換部PDの電荷を第1電荷保持部SG1に同時に
転送する。
制御回路130は、その後、1行目の撮像画素20の第1読出部21から順に、行毎に
撮像信号を読み出す。全ての行からの撮像信号の読み出しには、読み出し時間T1が必要
になる。時刻t42から読み出し時間T1が経過した時刻t45に、全ての行からの撮像
信号の読み出しが完了する。制御回路130は、読み出した撮像信号に基づくライブビュ
ー画像を作成して表示装置150に表示する。
撮像信号を読み出し終えた時刻t45に、制御回路130は、光電変換部PDおよび第
1電荷保持部SG1をリセットする。時刻t45から露光時間T4だけ後の時刻t46に
おいて、制御回路130は、ライブビュー画像の作成に用いられる全ての撮像画素20に
ついて、光電変換部PDの電荷を第1電荷保持部SG1に同時に転送する。制御回路13
0は、その後、1行目の撮像画素20の第1読出部21から順に、行毎に撮像信号を読み
出してライブビュー画像の作成および表示を行う。
制御回路130は、以上の動作を読み出し時間T1+露光時間T4ごとに繰り返し行う
。これにより、第1読出部21から読み出された撮像信号に基づくライブビュー画像が、
T1+T4の時間ごと(例えば60分の1秒ごと)に作成および表示される。このライブ
ビュー画像は、露光時間T4で撮影された画像である。
以上の動作と並行して、制御回路130は、第2読出部22でも同様に、ライブビュー
画像の作成および表示を行う。いま、時刻t41~t45までの期間の中央に相当する時
刻t43を考える。この時刻t43に、制御回路130は、光電変換部PDおよび第2電
荷保持部SG2をリセットする。時刻t43から露光時間T4だけ後の時刻t44におい
て、制御回路130は、ライブビュー画像の作成に用いられる全ての撮像画素20につい
て、光電変換部PDの電荷を第2電荷保持部SG2に同時に転送する。制御回路130は
、その後、1行目の撮像画素20の第2読出部22から順に、行毎に撮像信号を読み出し
てライブビュー画像の作成および表示を行う。
制御回路130は、以上の動作を読み出し時間T1+露光時間T4ごとに繰り返し行う
。これにより、第2読出部22から読み出された撮像信号に基づくライブビュー画像が、
例えば60分の1秒ごとに作成および表示される。このライブビュー画像は、露光時間T
4で撮影された画像である。
以上のように、制御回路130は、第1読出部21からの撮像信号の読み出し並びにラ
イブビュー画像の作成および表示と、第2読出部22からの撮像信号の読み出し並びにラ
イブビュー画像の作成および表示とを、半周期((T1+T4)/2)だけずれたタイミ
ングで並行して行う。従って、ライブビュー画像は、第1読出部21および第2読出部2
2の一方のみを用いて行う場合の倍のフレームレートで表示されることになる。
図11は、ある1つの撮像画素20に注目したライブビュー動作のタイミングチャート
である。制御回路130は、まず時刻t51に、第1電荷保持部SG1と第1転送トラン
ジスタTX1とリセットトランジスタRとをオンする(ゲートに印加する電圧をLレベル
からHレベルに切り替える)ことにより、光電変換部PDおよび第1電荷保持部SG1を
同時にリセットする。
時刻t51から露光時間T4だけ後の時刻t52に、制御回路130は、第1電荷保持
部SG1をオンすることにより、光電変換部PDから第1電荷保持部SG1に電荷を転送
する。
時刻t55に、制御回路130は、第1読出部21から撮像信号を読み出す。制御回路
130は、まず第1出力トランジスタS1をオンする。制御回路130は、第1出力トラ
ンジスタS1をオンした状態のまま、リセットトランジスタRをオンオフし、その後、第
1転送トランジスタTX1をオンオフする。これにより、第1電荷保持部SG1に保持さ
れている電荷が、第1電荷電圧変換部FD1に転送され、その電荷量に応じた大きさの出
力信号が、第1出力部23に出力される。その後、制御回路130は第1出力トランジス
タS1をオフする。
時刻t52より後の時刻t53に、制御回路130は、第2電荷保持部SG2と第2転
送トランジスタTX2とリセットトランジスタRとをオンする(ゲートに印加する電圧を
LレベルからHレベルに切り替える)ことにより、光電変換部PDおよび第2電荷保持部
SG2を同時にリセットする。
時刻t53から露光時間T4だけ後の時刻t54に、制御回路130は、第2電荷保持
部SG2をオンすることにより、光電変換部PDから第2電荷保持部SG2に電荷を転送
する。
時刻t56に、制御回路130は、第2読出部22から撮像信号を読み出す。制御回路
130は、まず第2出力トランジスタS2をオンする。制御回路130は、第2出力トラ
ンジスタS2をオンした状態のまま、リセットトランジスタRをオンオフし、その後、第
2転送トランジスタTX2をオンオフする。これにより、第2電荷保持部SG2に保持さ
れている電荷が、第2電荷電圧変換部FD2に転送され、その電荷量に応じた大きさの出
力信号が、第2出力部24に出力される。その後、制御回路130は第2出力トランジス
タS2をオフする。
制御回路130は、以上の動作を繰り返し行うことで、第1読出部21および第2読出
部22から露光時間T4に対応する撮像信号を交互に読み出す。
次に、ライブビュー動作中の本撮影について説明する。図12は、本撮影のタイミング
チャートである。時刻t61において所定の本撮影操作(例えばレリーズスイッチの全押
し操作)が為されたものとする。
制御回路130は、時刻t62に現在実行している第1読出部21からの撮像信号の読
み出しが終了すると、全ての撮像画素20について、光電変換部PDおよび第1電荷保持
部SG1を同時にリセットする。制御回路130は、時刻t62から所定の露光時間T5
だけ後の時刻t63に、全ての撮像画素20について、光電変換部PDの電荷を第1電荷
保持部SG1に同時に転送する。
制御回路130は、時刻t63よりも後の時刻t64に、全ての撮像画素20について
、光電変換部PDおよび第2電荷保持部SG2を同時にリセットする。制御回路130は
、時刻t64から所定の露光時間T6だけ後の時刻t65に、全ての撮像画素20につい
て、光電変換部PDの電荷を第2電荷保持部SG2に同時に転送する。
その後、制御回路130は、1行目の撮像画素20の第1読出部21から順に、行毎に
撮像信号を読み出す。それと並行して、制御回路130は、1行目の撮像画素20の第2
読出部22から順に、行毎に撮像信号を読み出す。これにより、撮像素子120からは、
露光時間T5に対応する撮像信号と、露光時間T6に対応する撮像信号とが同時に得られ
る。
全ての行から撮像信号を読み出し終わると、制御回路130は、読み出した撮像信号に
基づく記録画像を作成して記録媒体160に記録する。例えば、第1読出部21から読み
出した撮像信号に基づく第1記録画像と、第2読出部22から読み出した撮像信号に基づ
く第2記録画像とを記録媒体160に記録してもよいし、それら2つの撮像信号を合成し
て単一の記録画像を作成し記録媒体160に記録してもよい。
記録画像の記録が終了すると、制御回路130は、図11の時刻t51からの動作を再
度実行開始し、ライブビュー表示を再開する。
図13は、ある1つの撮像画素20に注目した本撮影のタイミングチャートである。制
御回路130は、時刻t71において、リセットトランジスタRと第1電荷保持部SG1
と第1転送トランジスタTX1とをオンすることにより、光電変換部PDと第1電荷保持
部SG1をリセットする。
制御回路130は、時刻t71から所定の露光時間T5が経過した時刻t72において
、第1電荷保持部SG1をオンすることにより、光電変換部PDから第1電荷保持部SG
1に電荷を転送する。
制御回路130は、時刻t72より後の時刻t73において、リセットトランジスタR
と第2電荷保持部SG2と第2転送トランジスタTX2とをオンすることにより、光電変
換部PDと第2電荷保持部SG2をリセットする。
制御回路130は、時刻t73から所定の露光時間T6が経過した時刻t74において
、第2電荷保持部SG2をオンすることにより、光電変換部PDから第2電荷保持部SG
2に電荷を転送する。
その後の時刻t75に、制御回路130は、第1読出部21および第2読出部22から
撮像信号を同時に読み出す。制御回路130は、まず第1出力トランジスタS1と第2出
力トランジスタS2を同時にオンする。制御回路130は、第1出力トランジスタS1と
第2出力トランジスタS2をオンした状態のまま、リセットトランジスタRをオンオフし
、その後、第1転送トランジスタTX1と第2転送トランジスタTX2をオンオフする。
これにより、第1電荷保持部SG1に保持されている電荷が第1電荷電圧変換部FD1に
転送されると共に、第2電荷保持部SG2に保持されている電荷が第2電荷電圧変換部F
D2に転送され、それぞれの電荷量に応じた大きさの出力信号が、第1出力部23と第2
出力部24に出力される。制御回路130は、その後、第1出力トランジスタS1と第2
出力トランジスタS2をオフする。
上述した第2の実施の形態による撮像装置によれば、第1の実施の形態と同様の作用効
果が得られる。
(第3の実施の形態)
第3の実施の形態に係る撮像装置は、第1の実施の形態に係る撮像装置100と同一の
構成により、露出オートブラケッティング撮影を行う機能と、ハイダイナイミックレンジ
合成(HDR合成)を行う機能とを有している。以下、これら2つの機能のうち、まず露
出オートブラケッティング撮影機能について詳述する。
図14は、露出オートブラケッティング撮影動作のタイミングチャートである。時刻t
81において所定の本撮影操作(例えばレリーズスイッチの全押し操作)が為されたもの
とする。また、時刻t81より後の時刻t83に、現在実行している第1読出部21から
のライブビュー用の撮像信号の読み出しが終了するものと仮定する。
制御回路130は、時刻t83から所定時間T7だけ前の時刻t82に、1行目の撮像
画素20における光電変換部PDのリセットを行う。制御回路130は、その後、時刻t
82から時刻t83にかけて、2行目、3行目、…のように、行毎に、光電変換部PDの
リセットを順次行う。ここで、所定時間T7は、メカニカルシャッター140の走行に要
する時間、すなわち、メカニカルシャッター140を完全に開いた状態である開放状態か
ら完全に閉じた状態である遮光状態に切り替えるために必要な時間である。その後、制御
回路130は、第1読出部21からのライブビュー用の撮像信号の読み出しが完了次第、
全ての撮像画素20について第1電荷保持部SG1のリセットを行う。第2電荷保持部S
G2についても同様に、第2読出部22からのライブビュー用の撮像信号の読み出しが完
了次第、全ての撮像画素20について第2電荷保持部SG2のリセットを行う。
制御回路130は、時刻t82から所定の露光時間T8だけ後の時刻t84に、1行目
の撮像画素20について、光電変換部PDの電荷を第1電荷保持部SG1に転送する。制
御回路130は、その後、時刻t84から所定時間T7だけ後の時刻t85にかけて、2
行目、3行目、…のように、行毎に、光電変換部PDの電荷を第1電荷保持部SG1に順
次転送する。
制御回路130は、時刻t84から所定の露光時間T9だけ後の時刻t86に、1行目
の撮像画素20について、光電変換部PDの電荷を第2電荷保持部SG2に転送する。制
御回路130は、その後、時刻t86から所定時間T7だけ後の時刻t87にかけて、2
行目、3行目、…のように、行毎に、光電変換部PDの電荷を第2電荷保持部SG2に順
次転送する。
制御回路130は、時刻t86から所定の露光時間T10だけ後の時刻t88に、メカ
ニカルシャッター140の走行を開始し、メカニカルシャッター140を閉じた状態(遮
光状態)にする。前述の通り、メカニカルシャッター140の走行には、所定時間T7を
要する。従って、時刻t88から所定時間T7だけ後の時刻t89に、メカニカルシャッ
ター140の走行が完了し、撮像素子120はメカニカルシャッター140により覆われ
た状態(遮光状態)になる。
時刻t89において、撮像画素20の光電変換部PDには、露光時間T10に対応する
電荷が蓄積されている。メカニカルシャッター140は閉じているので、これ以降、撮像
画素20の光電変換部PDに蓄積されている電荷量は変動しない。つまり、光電変換部P
Dには、露光時間T10に対応する電荷が保持される。
時刻t89に、制御回路130は、1行目の撮像画素20の第1読出部21から順に、
行毎に撮像信号を読み出す。それと並行して、制御回路130は、1行目の撮像画素20
の第2読出部22から順に、行毎に撮像信号を読み出す。これにより、撮像素子120か
らは、露光時間T8に対応する撮像信号と、露光時間T9に対応する撮像信号とが同時に
得られる。
これらの撮像信号を読み出し終わった時刻t90に、制御回路130は、光電変換部P
Dに蓄積されている電荷(露光時間T10に対応する電荷)を第1電荷保持部SG1およ
び第2電荷保持部SG2に転送する。このとき制御回路130は、撮像素子120の全行
のうち、ある半分の行(例えば奇数行)については第1電荷保持部SG1に電荷を転送し
、残り半分の行(例えば偶数行)については第2電荷保持部SG2に電荷を転送する。
その後、制御回路130は、前者の半分の行(例えば奇数行)について、1行目の撮像
画素20の第1読出部21から順に、行毎に撮像信号を読み出す。それと並行して、制御
回路130は、後者の半分の行(例えば偶数行)について、1行目の撮像画素20の第2
読出部22から順に、行毎に撮像信号を読み出す。
これにより、撮像素子120からは、露光時間T10に対応する撮像信号が得られる。
また、全行のうち半分の行については第1読出部21から読み出され、残り半分の行につ
いては第2読出部22から読み出されるので、全行の読み出しに要する時間は、第1読出
部21だけ(または第2読出部22だけ)を用いる場合に比べて約半分になる。
なお、このように第1読出部21と第2読出部22とに読み出しを振り分けなくてもよ
い。つまり、例えば露光時間T10に対応する撮像信号を、第1読出部21のみから読み
出してもよい。
全ての撮像信号の読み出しを終えると、制御回路130は、読み出した3種類の撮像信
号に基づく3種類の記録画像を作成して記録媒体160に記録する。これら3種類の記録
画像は、それぞれ異なる露光時間T8,T9,T10に基づく記録画像である。例えば、
露光時間T8を適正露出に相当する時間、露光時間T9を適正露出から1段上に相当する
(すなわち露出オーバー気味の)時間、露光時間T10を適正露出から1段下に相当する
(すなわち露出アンダー気味の)時間とすれば、3種類の記録画像は、いわゆる露出オー
トブラケッティング撮影により得られる画像となる。
なお、以上の説明では、露光時間に基づく露出オートブラケッティングについて説明し
たが、撮影毎に例えば絞りやISO感度等を変更して露出オートブラケッティング撮影を
行ってもよい。また、露出以外の撮影設定(例えばフォーカス位置等)が異なる画像を一
度に得るオートブラケッティング撮影を行ってもよい。
制御回路130は、更に、読み出した3種類の撮像信号に基づく3種類の記録画像を作
成した後に、それら3種類の記録画像を周知の方法によりHDR合成して1つの記録画像
を作成し記録媒体160に記録する機能を有している。例えば、短蓄積の記録画像におい
て黒つぶれしてしまっている部分を、中蓄積の記録画像や長蓄積の記録画像の同一部分で
復元する。同様に、長蓄積の記録画像において白飛びしてしまっている部分を、短蓄積の
記録画像や中蓄積の記録画像の同一部分で復元する。このような合成方法は周知であるの
で説明を省略する。
図15は、ハイダイナミックレンジ合成の露光時間を模式的に示す図である。図15(
a)に、従来の撮像素子を用いたハイダイナミックレンジ合成の露光時間を示す。従来の
撮像素子では、1回目の撮影(短蓄積、すなわち露出アンダー気味の露出設定に基づく撮
影)を行ってから1つ目の撮像信号を読み出し、その後、2回目の撮影(中蓄積、すなわ
ち適正露出設定での撮影)と撮像信号の読み出し、3回目の撮影(長蓄積、すなわち露出
オーバー気味の露出設定に基づく撮影)と撮像信号の読み出しとを順次行っていた。従っ
て、1~3回目の露光時間はそれぞれ間隔が空いてしまっていた。
このように、各々の撮影に間隔が空いてしまうと、例えば動きのある被写体を撮影した
場合に、3つの撮像信号において被写体位置が揃わず、ハイダイナミックレンジ合成をう
まく行うことができなかった。
図15(b)に、本実施形態に係る撮像装置を用いたハイダイナミックレンジ合成の露
光時間を示す。あたかも1回の撮影のように、連続する露光時間で3種類の露出設定に対
応する撮像信号が得られている。特に、これら3種類の露出設定による3回の蓄積(露光
)は、合計で1回分の画素出力タイミング内に収まっているので、事実上、1回の撮影に
要する時間内(すなわち1フレーム期間内)で撮影が完了していることになる。従って、
従来の撮像素子を用いた場合のように、被写体位置がずれることがなくハイダイナミック
レンジ合成を行うための画像を得ることができる。
上述した第3の実施の形態による撮像装置によれば、次の作用効果が得られる。
(1)メカニカルシャッター140は、いわゆるシャッター装置であり、撮像素子120
への入射光を遮らない開放状態と、撮像素子120への入射光を遮る遮光状態とを切替可
能に構成される。第1読出部21は、メカニカルシャッター140が開放状態である第1
期間に光電変換部PDで生成された電荷を、第1電荷保持部SG1に転送し、その後、当
該電荷に対応する出力信号を第1出力部23から出力する。第2読出部22は、メカニカ
ルシャッター140が開放状態であり第1期間とは重複しない第2期間に光電変換部PD
で生成された電荷を、第2電荷保持部SG2に転送し、その後、当該電荷に対応する出力
信号を第2出力部24から出力する。メカニカルシャッター140は、メカニカルシャッ
ター140が開放状態であり第1期間および第2期間より後の第3期間に光電変換部PD
で生成された電荷を、遮光状態に切り替えて光電変換部PDに保持する。第1読出部21
は、メカニカルシャッター140が遮光状態になることで光電変換部PDに保持された電
荷を、第1期間に光電変換部PDで生成された電荷に基づく出力信号を第1出力部23か
ら出力し終わった後に第1電荷保持部SG1に転送する。このようにしたので、連続撮影
を最大で3枚まで一度に行うことができる。これら最大3枚分の連続撮影は、撮影間に信
号の読み出しを行う必要がないので、撮影間の間隔が略ゼロである。
(2)第1期間に光電変換部PDで生成された電荷に基づく第1出力信号と、第2期間に
光電変換部PDで生成された電荷に基づく第2出力信号と、第3期間に光電変換部PDで
生成された電荷に基づく第3出力信号と、はそれぞれ異なる露出設定に基づく出力信号で
ある。このようにしたので、いわゆる露出オートブラケッティング撮影を、最大で3枚ま
で一度に行うことができる。ここで成される露出オートブラケッティング撮影は、通常の
露出オートブラケッティング撮影に比べて、各々の撮影の間隔が極めて短い(略ゼロであ
る)。従って、撮影ごとの被写体の位置ずれを極めて小さくすることができる。
(3)制御回路130は、露出設定が異なる3つの撮像信号(第1出力信号と第2出力信
号と第3出力信号)に基づき、いずれか1つの出力信号に基づく画像よりもダイナミック
レンジの高い画像を作成するハイダイナミックレンジ合成部として機能する。このように
したので、撮影ごとの被写体の位置ずれが極めて小さいハイダイナミックレンジ画像を得
ることができる。
(第4の実施の形態)
図16は、本発明の第4の実施の形態に係る撮像装置の構成を示す模式図である。なお
、図16において、第1の実施の形態と同一の部位については、第1の実施の形態と同一
の符号を付して説明を省略する。
撮像装置200は、結像光学系110、撮像素子120、制御回路130、メカニカル
シャッター140、表示装置150、記録媒体160に加えて、更に投影部170を備え
ている。投影部170は、パルス光(変調光)を所定画角内の被写体に投影する。
制御回路130は、デプスマップ作成機能を有している。デプスマップとは、被写体の
部分ごとの奥行き(撮像装置200から当該被写体部分までの距離)を二次元状にマップ
したデータである。制御回路130は、いわゆる光飛行時間計測法(ToF;Time of Fl
ight)を用いて、被写体の部分ごとの奥行き(距離)を測定する。本実施形態において、
被写体の部分とは、1つの撮像画素20、または複数の撮像画素20から成るブロックに
対応する被写体部分である。つまり、制御回路130は、撮像画素20ごと、または複数
の撮像画素20から成るブロックごとに、対応する被写体部分の奥行きを得ることができ
る。以下、デプスマップ作成時の測距動作について詳述する。
図17は、測距動作のタイミングチャートである。まず時刻t100において、投影部
170が、時間T0だけパルス光を投影する。また、時刻t100において、制御回路1
30が、全ての撮像画素20について、光電変換部PDと第1電荷保持部SG1と第2電
荷保持部SG2とを同時にリセットする。
その後、パルス光の投影が終了する時刻t102において、制御回路130は、全ての
撮像画素20について、光電変換部PDから第1電荷保持部SG1に電荷を転送する。
更に、時刻t102から時間T0だけ後の時刻t104に、制御回路130は、全ての
撮像画素20について、光電変換部PDから第2電荷保持部SG2に電荷を転送する。
時刻t100から投影を開始したパルス光(投影光)は、被写体の表面で反射し、時刻
t100から遅れ時間Tdだけ後の時刻t101に、撮像素子120に向かって返ってく
る。ここで、遅れ時間Tdは、撮像画素20に対応する被写体部分までの距離Lに応じた
時間である。距離Lが長いほど、遅れ時間Tdは長くなる。時刻t101から時間T0だ
け後の時刻t103近傍において、反射光は途切れる。
時刻t104以降、制御回路130は、1行目の撮像画素20の第1読出部21から順
に、行毎に撮像信号を読み出す。それと並行して、制御回路130は、1行目の撮像画素
20の第2読出部22から順に、行毎に撮像信号を読み出す。これにより、撮像素子12
0からは、時刻t100から時刻t102までの露光期間に対応する撮像信号と、時刻t
102から時刻t104までの露光期間に対応する撮像信号とが同時に得られる。
ここで、第1読出部21から読み出された撮像信号(出力信号)と、第2読出部22か
ら読み出された撮像信号(出力信号)との比は、時刻t102までに受光した反射光の光
量と、時刻t102以降に受光した反射光の光量との比である。従って、第1読出部21
から読み出された撮像信号と、第2読出部22から読み出された撮像信号とから、遅れ時
間Tdを決定することができる。
例えば、ある撮像画素20について、第1読出部21から読み出された撮像信号と、第
2読出部22から読み出された撮像信号との大きさが略等しかった場合、その撮像画素2
0に対応する被写体部分における遅れ時間Tdは、時間T0の半分である。また、第1読
出部21から読み出された撮像信号と、第2読出部22から読み出された撮像信号との大
きさが1対2の比率であった場合、遅れ時間Tdは、時間T0の3分の2である。
光速cは既知なので、遅れ時間Tdが分かれば、被写体までの距離Lを算出することが
可能である。このような距離Lの算出方法は周知であるので、説明を省略する。
上述した第4の実施の形態による撮像装置によれば、次の作用効果が得られる。
(1)投影部170は、被写体に所定の変調光であるパルス光を投影する。第1読出部2
1は、光電変換部PDが投影光の反射光の一部を光電変換して生成した電荷を第1電荷保
持部SG1に転送し、当該電荷に基づく出力信号を第1出力部23から出力する。第2読
出部22は、光電変換部PDが投影光の反射光のうち残りを光電変換して生成した電荷を
第2電荷保持部SG2に転送し、当該電荷に基づく出力信号を第2出力部24から出力す
る。制御回路130は、第1出力部23から出力された出力信号と、第2出力部24から
出力された出力信号とに基づき、被写体までの距離を算出する距離算出部として機能する
。このようにしたので、被写体のデプスマップを精度よく作成することができる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形
態と組み合わせることも可能である。
(変形例1)
第1電荷保持部SG1および第2電荷保持部SG2は、上述した実施の形態とは異なる
構成を有していてもよい。例えば、電荷転送用のMOSFETと、電荷を蓄積する容量成
分(例えばダイオード等)と、により第1電荷保持部SG1および第2電荷保持部SG2
を構成してもよい。また、第1読出部21および第2読出部22が、第1電荷保持部SG
1および第2電荷保持部SG2を有していない構成とすることも可能である。
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、
本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含
まれる。
20…撮像画素、21…第1読出部、22…第2読出部、23…第1出力部、24…第2
出力部、100、200…撮像装置、110…結像光学系、120…撮像素子、130…
制御回路、140…メカニカルシャッター、150…表示装置、160…記録媒体、17
0…投影部、PD…光電変換部、SG1…第1電荷保持部、SG2…第2電荷保持部、F
D1…第1電荷電圧変換部、FD2…第2電荷電圧変換部、TX1…第1転送トランジス
タ、TX2…第2転送トランジスタ、S1…第1出力トランジスタ、S2…第2出力トラ
ンジスタ、SF1…第1増幅トランジスタ、SF2…第2増幅トランジスタ

Claims (11)

  1. 光を光電変換して電荷を生成する光電変換部と、
    前記光電変換部で生成された電荷を保持する第1電荷保持部と、
    前記光電変換部で生成された電荷を保持する第2電荷保持部と、
    前記第1電荷保持部で保持された電荷が転送される第1電荷電圧変換部と、
    前記第2電荷保持部で保持された電荷が転送される第2電荷電圧変換部と、
    前記第1電荷保持部で保持された電荷を前記第1電荷電圧変換部に転送する第1転送部と、
    前記第2電荷保持部で保持された電荷を前記第2電荷電圧変換部に転送する第2転送部と、
    を備え、
    前記光電変換部と前記第1電荷保持部とは第1方向に配置され、
    前記光電変換部と前記第2電荷保持部とは前記第1方向と交差する第2方向に配置され
    前記第1電荷保持部と前記第1電荷電圧変換部とは前記第2方向に配置され、
    前記第2電荷保持部と前記第2電荷電圧変換部とは前記第1方向に配置され、
    前記第1転送部は、前記第2方向において、前記第1電荷保持部と前記第1電荷電圧変換部との間に配置され、
    前記第2転送部は、前記第1方向において、前記第2電荷保持部と前記第2電荷電圧変換部との間に配置される撮像素子。
  2. 請求項に記載の撮像素子において、
    前記第1電荷保持部と前記第1転送部と前記第1電荷電圧変換部とは前記第1方向に配置され、
    前記第2電荷保持部と前記第2転送部と前記第2電荷電圧変換部とは前記第2方向に配置される撮像素子。
  3. 請求項1又は請求項2に記載の撮像素子において、
    前記光電変換部で生成された電荷に基づく信号を出力する第1出力部と、
    前記光電変換部で生成された電荷に基づく信号を出力する第2出力部と、を備え、
    前記第1電荷保持部と前記第1出力部とは前記第2方向に配置され、
    前記第2電荷保持部と前記第2出力部とは前記第1方向に配置される撮像素子。
  4. 請求項1からのいずれか一項に記載の撮像素子において、
    前記第1電荷保持部で保持された電荷および前記第2電荷保持部で保持された電荷をリセットするリセット部を備える撮像素子。
  5. 請求項3に従属する請求項4に記載の撮像素子において、
    前記リセット部は、前記第1方向において、前記第2電荷保持部と前記第1出力部との間に設けられ、前記第2方向において、前記第1電荷保持部と前記第2出力部との間に設けられる撮像素子。
  6. 請求項1から請求項のいずれか一項に記載の撮像素子において、
    前記第1電荷保持部は、前記光電変換部が第1期間に生成した電荷を保持し、
    前記第2電荷保持部は、前記光電変換部が前記第1期間と重複しない第2期間に生成した電荷を保持する撮像素子。
  7. 請求項1から請求項のいずれか一項に記載の撮像素子と、
    前記第1電荷保持部に保持された電荷に基づく信号から第1画像を作成し、前記第2電荷保持部に保持された電荷に基づく信号から第2画像を作成する作成部と、を備える撮像装置。
  8. 請求項に記載の撮像装置において、
    前記第1画像と前記第2画像とを交互に表示する画像表示部を備える撮像装置。
  9. 請求項1から請求項までのいずれか一項に記載の撮像素子と、
    前記撮像素子への入射光を遮らない開放状態と、前記撮像素子への入射光を遮る遮光状態とを切替可能なシャッター装置を備え、
    第1出力部は、前記シャッター装置が前記開放状態である第1期間に前記光電変換部で生成された電荷に基づく信号を出力し、
    第2出力部は、前記シャッター装置が前記開放状態であり前記第1期間とは重複しない第2期間に前記光電変換部で生成された電荷に基づく信号を出力し、
    前記シャッター装置は、前記シャッター装置が前記開放状態であり前記第1期間および前記第2期間より後の第3期間に前記光電変換部で生成された電荷を、前記遮光状態に切り替えて前記光電変換部に保持する撮像装置。
  10. 請求項に記載の撮像装置において、
    第1信号と第2信号と第3信号とに基づく画像を作成する作成部を備える、撮像装置。
  11. 請求項1から請求項までのいずれか一項に記載の撮像素子と、
    変調光を投影する投影部を備え、
    第1出力部は、被写体で反射した変調光の一部を前記光電変換部が光電変換して生成した電荷に基づく信号を出力し、
    第2出力部は、被写体で反射した変調光の一部を前記光電変換部が光電変換して生成した電荷に基づく信号を出力し、
    前記第1出力部から出力された信号と、前記第2出力部から出力された信号とに基づいて、被写体までの距離を算出する算出部を備える撮像装置。
JP2020081357A 2020-05-01 2020-05-01 撮像素子および撮像装置 Active JP7006722B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020081357A JP7006722B2 (ja) 2020-05-01 2020-05-01 撮像素子および撮像装置
JP2022000251A JP7384226B2 (ja) 2020-05-01 2022-01-04 撮像素子及び撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020081357A JP7006722B2 (ja) 2020-05-01 2020-05-01 撮像素子および撮像装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015243277A Division JP6701710B2 (ja) 2015-12-14 2015-12-14 撮像素子および撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022000251A Division JP7384226B2 (ja) 2020-05-01 2022-01-04 撮像素子及び撮像装置

Publications (3)

Publication Number Publication Date
JP2020141412A JP2020141412A (ja) 2020-09-03
JP2020141412A5 JP2020141412A5 (ja) 2021-07-26
JP7006722B2 true JP7006722B2 (ja) 2022-01-24

Family

ID=72265315

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020081357A Active JP7006722B2 (ja) 2020-05-01 2020-05-01 撮像素子および撮像装置
JP2022000251A Active JP7384226B2 (ja) 2020-05-01 2022-01-04 撮像素子及び撮像装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022000251A Active JP7384226B2 (ja) 2020-05-01 2022-01-04 撮像素子及び撮像装置

Country Status (1)

Country Link
JP (2) JP7006722B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006217410A (ja) 2005-02-04 2006-08-17 Tohoku Univ 光センサおよび固体撮像装置
JP2012083214A (ja) 2010-10-12 2012-04-26 Hamamatsu Photonics Kk 距離センサ及び距離画像センサ
JP2015198361A (ja) 2014-04-01 2015-11-09 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5171158B2 (ja) * 2007-08-22 2013-03-27 浜松ホトニクス株式会社 固体撮像装置及び距離画像測定装置
JP5243100B2 (ja) * 2008-05-12 2013-07-24 ブレインビジョン株式会社 固体撮像素子の画素構造
JPWO2014080625A1 (ja) * 2012-11-22 2017-01-05 株式会社ニコン 撮像素子および撮像ユニット

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006217410A (ja) 2005-02-04 2006-08-17 Tohoku Univ 光センサおよび固体撮像装置
JP2012083214A (ja) 2010-10-12 2012-04-26 Hamamatsu Photonics Kk 距離センサ及び距離画像センサ
JP2015198361A (ja) 2014-04-01 2015-11-09 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
JP7384226B2 (ja) 2023-11-21
JP2020141412A (ja) 2020-09-03
JP2022050517A (ja) 2022-03-30

Similar Documents

Publication Publication Date Title
JP4530961B2 (ja) 電子的ぶれ補正装置
US7884871B2 (en) Images with high speed digital frame transfer and frame processing
CN100574384C (zh) 摄像装置以及摄像方法
TWI458346B (zh) Solid - state photographic element and its driving method
US8553124B2 (en) Solid-state image capturing device, method of driving solid-state image capturing device, and image capturing apparatus
JP6701710B2 (ja) 撮像素子および撮像装置
JPH1141523A (ja) 撮像装置
JP6614133B2 (ja) 撮像素子、制御方法、並びに、撮像装置
JP4912694B2 (ja) 電子的ぶれ補正装置及び電子的ぶれ補正方法
JP2006157882A (ja) 固体撮像装置
JP2018019296A (ja) 撮像装置およびその制御方法
JP4266726B2 (ja) 撮像装置
JP7006722B2 (ja) 撮像素子および撮像装置
JP5426891B2 (ja) 撮像センサ及び撮像装置
JP2007020109A (ja) 電子的ぶれ補正装置
JP2018006991A (ja) 撮像素子およびカメラ
JP2013106224A (ja) 撮像装置
JP6643101B2 (ja) 撮像装置
JP4337888B2 (ja) 撮像装置
JP5127510B2 (ja) 撮像装置、及び撮像装置の制御方法
JP7317551B2 (ja) 撮像素子および撮像装置
JP2013106231A (ja) 撮像装置
JP2006093815A (ja) 撮像装置
JP4558596B2 (ja) 固体撮像素子
US20130155301A1 (en) Image pickup apparatus, image pickup method, and machine-readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200508

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210715

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210812

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211220

R150 Certificate of patent or registration of utility model

Ref document number: 7006722

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150