JP6802642B2

JP6802642B2 - 撮像装置およびその制御方法、プログラム、並びに記憶媒体

Info

Publication number: JP6802642B2
Application number: JP2016096363A
Authority: JP
Inventors: 博之古用
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-05-12
Filing date: 2016-05-12
Publication date: 2020-12-16
Anticipated expiration: 2036-05-12
Also published as: US10277853B2; US20170332027A1; JP2017204784A

Description

本発明は、撮像装置およびその制御方法に関する。

近年、撮像素子は画素を微細化することにより多画素化し、解像度の高い画像を撮影することが可能となっている。コンシューマ向けの撮像装置においても１０００万画素〜５０００万画素が一般的となってきている。

特開２０１５−１３６０９３号公報

しかしながら、撮像素子から信号処理部への信号転送回路の容量が一定であることから、撮像素子の画素数が増加することにより相対的に全画素の画像信号の転送時間が長くなる。図９は一般的な撮像素子および画像処理部の構成を示しており、画像処理部９００は、撮像素子９０１から出力される画像信号に各種の信号処理を施す。撮像素子９０１は、光電変換素子を含む画素部９０２、画素部９０２から読み出される画像信号をデジタル信号に変換するＡＤ変換部９０３、ＡＤ変換部９０３にてデジタル信号に変換された画像信号に対して、パラレル・シリアル変換を行うＰ／Ｓ変換部９０４を備える。

上記構成において、画像信号の読み出し速度を向上させるためには、撮像素子９０１から画像処理部９００への読み出し速度を向上させることが必要となる。例えば、撮像素子９０１の画素数が２４００万画素、各画素のデータ量が１２ｂｉｔ、フレームレートが１２０ｆｐｓ、Ｐ／Ｓ変換部９０４と画像処理部９００の間を８ポートでデータ転送を行ったとしても、４．３２Ｇｂｐｓの通信容量が必要となる。しかしながら、このような高速なデータ転送を実現することは、回路の消費電力、転送回路や処理回路の発熱、データ転送精度などの制約から困難である。これに対して、特許文献１では、撮像素子に全画素の画像信号を格納するフレームメモリを設けることで、撮像素子から画像信号を高速に読み出す構成が記載されている。

また、静止画撮影後の簡易再生（クイックレビュー）においては、撮像素子９０１から画像処理部９００へ画像信号を転送し、画像処理部９００で現像処理を実施して、不図示の表示部に画像データを出力する。この場合に、撮像素子９０１から画像処理部９００への画像信号の読み出し速度がシステム性能の向上を阻害する要因となる。

本発明は、上記課題に鑑みてなされ、その目的は、撮影後の簡易再生までの時間を短縮し、システム性能を向上することができる撮像装置を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、光電変換素子が二次元状に配列された画素と、前記画素から出力される画像信号を格納する信号格納部と、前記画像信号を簡易再生する簡易再生用のサイズに変換するリサイズ手段とを備える撮像素子と、前記撮像素子からの信号読み出し動作を制御する制御手段と、前記撮像素子から読み出された画像信号に信号処理を施し、表示手段に出力する信号処理手段と、前記リサイズ手段により生成された簡易再生用の画像信号を前記表示手段により表示する簡易再生モードに設定する設定手段と、を有し、前記制御手段は、前記設定手段により前記簡易再生モードが設定された場合に、前記信号格納部に前記撮像素子から出力される全画素の画像信号を格納し、前記信号格納部に格納された画像信号を前記リサイズ手段により簡易再生用のサイズに変換して前記信号処理手段に転送し、前記簡易再生が開始されると前記信号格納部に格納された全画素の画像信号を前記信号処理手段に転送するように制御し、前記設定手段により前記簡易再生モードが設定されていない場合には、前記撮像素子から読み出される全画素の画像信号を前記信号格納部に格納しないで前記信号処理手段に転送するように制御する。

また、本発明の撮像装置は、光電変換素子が二次元状に配列された画素と、前記画素から出力される画像信号を格納する信号格納部と、前記画像信号を簡易再生する簡易再生用のサイズに変換するリサイズ手段とを備える撮像素子と、前記撮像素子からの信号読み出し動作を制御する制御手段と、前記撮像素子から読み出された画像信号に信号処理を施し、表示手段に出力する信号処理手段と、前記リサイズ手段により生成された簡易再生用の画像信号を前記表示手段により表示する簡易再生モードに設定する設定手段と、を有し、前記制御手段は、前記設定手段により前記簡易再生モードが設定された場合に、前記信号格納部に前記撮像素子から出力される全画素の画像信号を格納し、前記信号格納部に格納された画像信号を前記リサイズ手段により簡易再生用のサイズに変換して前記信号処理手段に転送すると同時に、前記信号格納部に格納された全画素の画像信号を前記信号処理手段に転送するように制御し、前記設定手段により前記簡易再生モードが設定されていない場合には、前記撮像素子から読み出される全画素の画像信号を前記信号格納部に格納しないで前記信号処理手段に転送するように制御する。

本発明によれば、撮影後の簡易再生までの時間を短縮し、システム性能を向上させることができる。

本実施形態の撮像素子の回路構成を示す図。本実施形態の画素とカラムＡＤＣの構成図。本実施形態の撮像素子の積層構造を示す図。本実施形態の撮像素子の積層構造を示す断面図。本実施形態の撮像装置の構成を示す図。実施形態１の静止画撮影処理を示すフローチャート。実施形態１のクイックレビュー表示設定ＯＮ／ＯＦＦ時の信号読み出し動作と従来のクイックレビュー表示設定ＯＮ時の信号読み出し動作を示すタイミングチャート。本実施形態の画像信号のリサイズ処理の説明図。従来の撮像装置の概略構成図。実施形態２の静止画撮影処理を示すフローチャート。実施形態２のクイックレビュー表示設定ＯＮ時の信号読み出し動作を示すタイミングチャート。

以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

以下、本実施形態の撮像装置に適用される撮像素子として、クイックレビュー表示（簡易再生）機能を有するデジタルカメラに搭載されるフレームメモリが設けられた撮像素子について説明する。

＜撮像素子構成＞
図１を参照して、本実施形態の撮像素子、信号処理部および主制御部の構成および機能の概略について説明する。

図１において、撮像素子５０６は、第１の半導体集積回路チップ（撮像層）５０６Ａと、第２の半導体集積回路チップ（回路層）５０６Ｂを有する。そして、第１の半導体集積回路チップ５０６Ａから出力された画素信号が第２の半導体集積回路チップ５０６Ｂで処理されて撮像素子５０６の外部に設けられた信号処理部５０７に転送されるように、主制御部５０９により第２の半導体集積回路チップ５０６Ｂのタイミング制御回路１１４および演算部１１８が制御される。

撮像素子５０６は、第１の半導体集積回路チップ５０６Ａが第２の半導体集積回路チップ５０６Ｂ上に積層されて配置された積層構造を有する。第１の半導体集積回路チップ５０６Ａは、各々がフォトダイオードなどの光電変換素子を有する複数の画素１０１が二次元状に配列された画素領域を備える。複数の画素１０１が配列された第１の半導体集積回路チップ５０６Ａは、光入射側に配置されている（つまり、被写体光学像の受光側に位置している）。また、第１の半導体集積回路チップ５０６Ａにおいて、各々の画素１０１は、垂直方向（列方向）の各列の画素に垂直出力線（列出力線）１０２が接続され、水平方向（行方向）の各行の画素に転送信号線１０３、リセット信号線１０４および行選択信号線１０５が接続されている。なお、垂直出力線１０２は読み出し行単位に応じて接続される画素が異なっている。

第２の半導体集積回路チップ５０６Ｂは、ＡＤ変換回路（以下、カラムＡＤＣ）１１１、行走査回路１１２、列走査回路１１３、タイミング制御回路１１４、水平信号線１１５ａ、１１５ｂ、出力スイッチ１１６を含む画素駆動部を備える。さらに、第２の半導体集積回路チップ５０６Ｂは、フレームメモリ（信号格納部）１１７と、演算部１１８と、Ｐ／Ｓ変換部１１９とを備える。

第２の半導体集積回路チップ５０６Ｂの画素駆動部において、カラムＡＤＣ１１１は垂直出力線１０２に接続されており、複数の画素１０１の各々から垂直出力線１０２に出力された画素信号をデジタル画像信号に変換する。行走査回路１１２は、転送信号線１０３とリセット信号線１０４と行選択信号線１０５に接続されている。列走査回路１１３は水平信号線１１５ａ、１１５ｂに接続され、カラムＡＤＣ１１１に列走査信号を出力する。タイミング制御回路１１４は、カラムＡＤＣ１１１および列走査回路１１３に接続され、タイミング信号を出力する。水平信号線１１５ａ、１１５ｂは、出力スイッチ１１６に接続され、カラムＡＤＣ１１１からデジタル画像信号が出力される。

出力スイッチ１１６は、チャンネルごとの水平信号線１１５ａ、水平信号線１１５ｂにカラムＡＤＣ１１１から出力されるデジタル画像信号を演算部１１８を介してフレームメモリ１１７へ選択的に順次供給する。フレームメモリ１１７は、演算部１１８を介して供給される少なくとも１フレーム分のデジタル画像信号を一時的に記憶する。演算部１１８は、フレームメモリ１１７に記憶された１フレームのデジタル画像信号に対して切り出しや間引き等のリサイズ処理を行うことにより、クイックレビュー表示用のデジタル画像信号を生成する。演算部１１８の詳細は後述する。演算部１１８は、リサイズ処理したデジタル画像信号をパラレル・シリアル（Ｐ／Ｓ）変換部１１９に供給する。Ｐ／Ｓ変換部１１９は、供給されたデジタル画像信号のパラレル・シリアル変換を行い、撮像素子５０６の外部にある信号処理部５０７（以下、デジタル信号処理部ともいう）に出力する。

このように第１の半導体集積回路チップ５０６Ａに複数の画素１０１が配列された画素領域を形成し、第２の半導体集積回路チップ５０６Ｂに画素駆動回路やメモリ回路や演算回路等を形成することで、撮像素子５０６の撮像層と回路層とで製造プロセスを分けることができる。よって、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。

＜画素およびカラムＡＤＣの回路構成＞
次に、図２を参照して、図１に示す撮像素子５０６の画素１０１とカラムＡＤＣ１１１の回路構成について説明する。

画素１０１の各々は、フォトダイオード２０１、転送トランジスタ２０２、リセットトランジスタ２０３、増幅トランジスタ２０４および選択トランジスタ２０５の４つのトランジスタ回路を有する。これらのトランジスタ２０２〜２０５には、例えば、ＮチャネルのＭＯＳトランジスタが用いられる。

フォトダイオード２０１は、受光した光をその光量に応じた電荷量の光電荷（電子）に光電変換する。フォトダイオード２０１のカソードは、転送トランジスタ２０２を介して増幅トランジスタ２０４のゲートと電気的に接続されている。この増幅トランジスタ２０４のゲートと電気的に接続されたノード２０６をＦＤ（フローティングディフュージョン）部と呼ぶ。

転送トランジスタ２０２は、フォトダイオード２０１のカソードとＦＤ部２０６との間に接続されている。そして、転送トランジスタ２０２のゲートに不図示の転送線を介して転送パルスφＴＲＧが印加されることによってオンとなり、フォトダイオード２０１で光電変換された光電荷をＦＤ部２０６に転送する。

リセットトランジスタ２０３は、ドレインが画素電源Ｖｄｄに、ソースがＦＤ部２０６にそれぞれ接続されている。そして、リセットトランジスタ２０３のゲートに不図示のリセット線を介してリセットパルスφＲＳＴが印加されることによってオンとなる。また、リセットトランジスタ２０３は、フォトダイオード２０１からＦＤ部２０６への信号電荷の転送に先立って、ＦＤ部２０６の電荷を画素電源Ｖｄｄに転送することによってＦＤ部２０６をリセットする。

増幅トランジスタ２０４は、ゲートがＦＤ部２０６に、ドレインが画素電源Ｖｄｄにそれぞれ接続されている。そして、増幅トランジスタ２０４は、リセットトランジスタ２０３によってリセットした後のＦＤ部２０６の電位をリセットレベルとして出力し、さらに転送トランジスタ２０２によって信号電荷を転送した後のＦＤ部２０６の電位を信号レベルとして出力する。

選択トランジスタ２０５は、例えば、ドレインが増幅トランジスタ２０４のソースに、ソースが垂直出力線１０２にそれぞれ接続されている。そして、選択トランジスタ２０５のゲートに不図示の選択線を介して選択パルスφＳＥＬが印加されることによってオンとなり、フォトダイオード２０１を選択状態にして増幅トランジスタ２０４から出力される信号を垂直出力線１０２に中継する。

なお、選択トランジスタ２０５については、画素電源Ｖｄｄと増幅トランジスタ２０４のドレインとの間に接続した回路構成にすることも可能である。また、図２のように、１つの画素１０１が４つのトランジスタで構成されるものに限られず、例えば、増幅トランジスタ２０４と選択トランジスタ２０５を兼用した３つのトランジスタで構成しても良い。

画素１０１から垂直出力線１０２を介して出力される画素信号は、カラムＡＤＣ１１１に転送される。カラムＡＤＣ１１１は、比較器２１１、アップダウンカウンタ（Ｕ／ＤＣＮＴ）２１２、メモリ２１３、ＤＡコンバータ（ＤＡＣ）２１４を有する。

比較器２１１は、一対の入力端子の一方に上記垂直出力線１０２が接続され、他方にＤＡＣ２１４が接続される。ＤＡＣ２１４は、タイミング制御回路１１４からの制御信号に応じてレベルが時間の経過とともに増加または減少するように変化するランプ信号を出力する。

そして、比較器２１１は、ＤＡＣ２１４から入力されるランプ信号のレベルと、垂直出力線１０２から入力される画素信号のレベルとを比較する。例えば、比較器２１１は、画素信号のレベルがランプ信号のレベルより低い場合にはハイレベルの比較信号を出力し、画素信号のレベルがランプ信号のレベル以上になった場合にはローレベルの比較信号を出力する。

タイミング制御回路１１４は、主制御部５０９からの制御に従い、ＤＡＣ２１４へ基準信号を出力する。

アップダウンカウンタ２１２は、比較器２１１の出力端子に接続され、例えば、比較信号がハイレベルからローレベルになるまでの期間をカウントする。このカウント処理により、各画素１０１の出力信号は完全なデジタル信号値へ変換される。なお、アップダウンカウンタ２１２では、リセットレベルをカウントダウンしたカウント値から、画素信号のレベルをカウントアップして比較信号がハイレベルからローレベルになるまでの期間をカウントする。

なお、比較器２１１とアップダウンカウンタ２１２との間にＡＮＤ回路を設け、このＡＮＤ回路にパルス信号を入力し、このパルス信号の個数をアップダウンカウンタ２１２によりカウントさせてもよい。

このように、カラムＡＤＣ１１１で、リセットレベルと画素信号レベルの差分を算出することで、リセットレベルを除く画素信号のみを抽出することができる。

メモリ２１３は、アップダウンカウンタ２１２に接続され、アップダウンカウンタ２１２による画素信号のカウントの際に、比較信号がハイレベルからローレベルになるまでの期間のカウント値を記憶する。なお、カラムＡＤＣ１１１は、画素１０１のリセット解除時の画素信号に基づいてリセットレベルに対応したカウント値をカウントし、また、所定の露光時間後の画素信号に基づいてカウント値をカウントし、これらの差分値をメモリ２１３に記憶させてもよい。

メモリ２１３に記憶されたカウント値は、画素信号に対応するデジタル値として列走査回路１１３からの信号に同期して水平信号線１１５ａ、水平信号線１１５ｂに伝送される。

図３は、本実施形態の撮像素子５０６の第１の半導体集積回路チップ５０６Ａ（撮像層）と第２の半導体集積回路チップ５０６Ｂ（回路層）の積層構造を例示している。

第１の半導体集積回路チップ（撮像層）５０６Ａと第２の半導体集積回路チップ（回路層）５０６Ｂは、それぞれのマイクロパッド３０１と３０２が、マイクロバンプ３０３を介して電気的に接続されるように、第２の半導体集積回路チップ５０６Ｂ上に第１の半導体集積回路チップ５０６Ａを重ね合せた状態で固定されている。

図４は、図１から図３で示した本実施形態の撮像素子５０６の詳細な断面構造を例示している。

図４において、撮像層４０１が第１の半導体集積回路チップ５０６Ａ、回路層４０２が第２の半導体集積回路チップ５０６Ｂに対応する。

撮像層４０１は、Ｓｉ基板４０３、配線層４０４、ｎ型拡散領域４０７、４０９、４１０、ｐ＋拡散領域４０８、トランジスタのゲート配線４１１、信号伝搬用配線４１２、マイクロパッド３０１、ビア（ＶＩＡ）４１４、マイクロバンプ３０３を有する。

回路層４０２は、Ｓｉ基板４０５、配線層４０６、トランジスタのゲート配線４１７、信号伝搬用配線４１８、マイクロパッド３０２、ビア（ＶＩＡ）４２０、トランジスタの拡散領域４１６を有している。

上記構成において、撮像層４０１のマイクロパッド３０１と、回路層４０２のマイクロパッド３０２が、マイクロバンプ３０３により電気的に接続される。撮像層４０１は、Ｓｉ基板４０３上に配線層４０４が形成されている。

Ｓｉ基板４０３には、ＰＤ２０１としてのｎ型拡散領域４０７が形成され、ＰＤ２０１の表面部（配線層４０４との境界部）にはｐ＋拡散領域４０８が形成されている。

Ｓｉ基板４０３の表面部には、ＦＤのｎ＋拡散領域４０９、スイッチ用トランジスタのｎ＋拡散領域４１０が複数形成されている。

配線層４０４には、ＳｉＯ２等の絶縁層内に、各トランジスタのゲート配線４１１、信号伝搬用配線４１２が形成され、さらにその表面部にはＣｕ等により形成されるマイクロパッド３０１が形成されている。

上記ｎ＋拡散領域４０９、ｎ＋拡散領域４１０とトランジスタのゲート配線４１１から転送トランジスタ２０２、リセットトランジスタ２０３、増幅トランジスタ２０４、選択トランジスタ２０５が構成される。

配線層４０４には、ｎ＋拡散領域４１０をマイクロパッド３０１と接続するためのビア４１４が形成されている。

回路層４０２は、Ｓｉ基板４０５の下に配線層４０６が形成されている。Ｓｉ基板４０５には、表面部にトランジスタの拡散領域４１６が複数形成されている。

配線層４０６には、ＳｉＯ２等の絶縁層内に、各トランジスタのゲート配線４１７、信号伝搬用配線４１８が形成され、さらにその表面部にはＣｕ等により形成されるマイクロパッド３０２が形成されている。

上記トランジスタ拡散領域４１６やトランジスタのゲート配線４１７、信号伝搬用配線４１８などから各種回路が構成される。なお、本実施形態の撮像素子の回路の断面構造についての詳細な説明は省略する。

配線層４０６には、拡散領域４１６等をマイクロパッド３０２と接続するためのビア４２０が形成されている。

図４において、撮像層４０１のマイクロパッド３０１と回路層４０２のマイクロパッド３０２を積層接続端子としてマイクロバンプ３０３を用いて接続する構成を例示したが、マイクロバンプを介さずに直接接続することも可能である。

＜装置構成＞
図５を参照して、本実施形態の撮像装置の構成および機能の概略について説明する。

図５において、本実施形態の撮像装置５００には、図１から図４で説明した積層型の撮像素子５０６が搭載されている。

レンズ５０１は、フォーカスレンズやズームレンズなどを備える。レンズ制御部５０２は、主制御部５０９による制御信号に基づいてレンズ５０１の駆動制御を行う。

シャッター５０３は、撮像素子５０６の撮像面（光照射面）への被写体像光の照射時間を調節するために機械的に駆動されるメカニカルシャッターである。絞り５０４は、撮像素子５０６の撮像面に結像される被写体像の光量を調節するものであり、機械的に駆動されることで開口径が可変な絞り羽根を含む。シャッター・絞り制御部５０５は、主制御部５０９による制御信号に基づいてシャッター５０３および絞り５０４の駆動制御を行う。

レンズ部５０１を通じて入射する被写体像は絞り５０４にて適切な光量に調整され、撮像素子５０６の撮像面上に結像される。撮像素子５０６の撮像面に結像された被写体像は、各画素１０１のＰＤ２０１により光電変換され、さらにゲイン調整、アナログ画像信号からデジタル画像信号への変換が行われ、Ｒ、Ｇｒ、Ｇｂ、Ｂのデジタル信号として取り込まれてデジタル信号処理部５０７に送られる。

デジタル信号処理部５０７は、撮像素子５０６から出力されるデジタル画像信号に対して、ノイズを軽減するローパスフィルタ処理やシェーディング処理、ホワイトバランス（ＷＢ）処理などの画像処理、色変換処理やガンマ補正処理などの現像処理、所定のフォーマットに従って圧縮処理を行い、画像データを生成する。また、デジタル信号処理部５０７は、撮像素子５０６のＰ／Ｓ変換部１１９にてパラレル・シリアル変換されたデジタル画像信号を受信し画像メモリ５０８へ格納する機能、画像データを画像メモリ５０８や記録媒体５１２へ書き込んだり、画像メモリ５０８や記録媒体５１２に格納された画像データを読み出す機能を有する。さらに、信号処理部５０７は、撮像素子５０６から出力されるデジタル画像信号から合焦状態や露光量等の測光データを検出する機能も有する。画像メモリ５０８は、デジタル信号処理部５０７から出力される画像データを一時的に記憶する。

主制御部５０９は、ＣＰＵ、メインメモリ（ＲＡＭ）、入出力回路、タイマー回路などを有し、ＣＰＵがメモリ部５１４に格納されたプログラムをＲＡＭの作業エリアに展開し、実行することにより、装置全体の動作を制御する。主制御部５０９は、撮像素子５０６を駆動するためのタイミング信号を発生し、撮像素子５０６及び信号処理部５０７に出力する。

記録媒体接続部５１０は、記録媒体５１２に対するデータの読み出しや書き込みを行うためのインターフェースである。

表示部５１１は、例えば液晶ディスプレイ（ＬＣＤ）や有機ＥＬが用いられ、画像の表示や操作補助のための表示、カメラの状態表示を行う他、撮影時には撮影画面と測距領域を表示する。

記録媒体５１２には、デジタル信号処理部５０７から出力される画像データ（静止画、動画）が記録される。記録媒体５１２は、撮像装置５００に装着されるメモリカードやハードディスクドライブなどであっても良いし、撮像装置５００に内蔵されたフラッシュメモリやハードディスクドライブであってもよい。なお、メモリ部５１４と記録媒体５１２とを同一の構成としてもよい。

外部接続部５１３は、パーソナルコンピュータ（ＰＣ）などの外部機器との間で通信を行いデータのやり取りを行うためのインターフェースである。

メモリ部５１４には、主制御部５０９のＣＰＵの動作用の定数、プログラム、設定情報等が記録される。ここでいう、プログラムとは、本実施形態にて後述するクイックレビュー表示処理を実行するためのプログラムのことである。

操作部５１５は、撮像装置５００への各種指示を入力するためのユーザ操作を受け付ける操作手段であり、ボタンやスイッチなどの物理的な操作部材や、タッチパネルを通じた入力手段など様々な形態が利用可能である。操作部５１５は、例えば、画像の撮影時や再生時の各種設定を行うメニュースイッチ、レンズのズーム動作を指示するズームレバー、撮影モードや再生モードなどの動作モードの切替スイッチ、シャッタースイッチ、電源スイッチなどを含む。主制御部５０９は、ユーザが操作部５１５を介して入力した指示や設定に基づいて撮像装置５００を制御すると共に、表示部５１１に設定情報や動作状態、画像などを表示する。

＜静止画撮影処理＞
次に、図６を参照して、実施形態１の撮像装置による静止画撮影処理について説明する。

なお、図６に示す処理は、撮像装置５００の動作モードが静止画撮影モードに設定されると開始される。なお、主制御部５０９のＣＰＵは、メモリ部５１４から読み出したプログラムをメインメモリに展開して実行することで、図６の処理を実現する。後述する図１０に示す処理についても同様である。

Ｓ６０１では、主制御部５０９は、操作部５１５からユーザが入力した設定に基づき各種パラメータを初期化する。初期化したパラメータはメモリ部５１４に記録される。

また、主制御部５０９は、撮影後のクイックレビューの表示時間として２秒、４秒、表示なしなどの情報をメモリ部５１４に記録する。なお、操作部５１５を介したユーザ操作によってクイックレビューの表示時間を切り替えることが可能である。

Ｓ６０２では、主制御部５０９は、撮影画像をリアルタイムに連続して表示部５１１へ表示させるライブビューモードに設定する。ライブビューモードでは、撮像素子５０６から画素信号の一部を混合または間引いて読み出す混合・間引きモードで駆動して撮像素子５０６からデジタル画像信号を読み出し、読み出したデジタル画像信号に対して信号処理部５０７にて各種信号処理を実施して表示部５１１へ表示する。また、ライブビューモード時は適宜、測光動作（ＡＥ動作）や測距動作（ＡＦ動作）を行う。つまり、信号処理部５０７では、撮像素子５０６から読み出したデジタル画像信号に基づき被写体の明るさや焦点距離を測定し、適切な明るさ、焦点距離になる絞り値Ａｖ、シャッター速度Ｔｖ、レンズ位置Ｌを算出する。そして、算出した絞り値Ａｖ、シャッター速度Ｔｖ、レンズ位置Ｌになるよう主制御部５０９からレンズ制御部５０２、シャッター・絞り制御部５０５に制御信号を出力し、レンズ５０１、シャッター５０３、絞り５０４を駆動させる。上記で算出した絞り値Ａｖ、シャッター速度Ｔｖ、レンズ位置Ｌをそれぞれメモリ部５１４へ記録する。

Ｓ６０３では、主制御部５０９は、操作部５１５に含まれる動画記録開始スイッチＳＷ＿ＭのＯＮ／ＯＦＦを判定し、ＳＷ＿ＭがＯＮであればＳ６０４へ、ＯＦＦであれば再びＳ６０２へ戻る。

Ｓ６０４では、主制御部５０９は、メモリ部５１４から絞り値Ａｖ、シャッター速度Ｔｖ、レンズ位置Ｌを読み出す。読み出した絞り値Ａｖ、シャッター速度Ｔｖを元に、絞り値Ａｖ、シャッター速度Ｔｖを再算出する。レンズ位置Ｌはメモリ部５１４から読み出した値を使用する。主制御部５０９は、上記絞り値Ａｖ、シャッター速度Ｔｖ、レンズ位置Ｌになるように、レンズ制御部５０２、シャッター・絞り制御部５０５を制御し、レンズ５０１、シャッター５０３、絞り５０４を駆動させる。

Ｓ６０５では、主制御部５０９は、メモリ部５１４に記録されたクイックレビュー表示設定のＯＮ／ＯＦＦを判定する。主制御部５０９は、クイックレビュー表示設定がＯＮ（簡易再生モード）の場合には、フレームメモリ１１７を使用した高速全画素読み出し動作を選択する（Ｓ６０６）。また、主制御部５０９は、クイックレビュー表示設定がＯＦＦの場合には通常の全画素読み出し動作を選択する（Ｓ６０７）。高速全画素読み出し動作では、全画素のデジタル画像信号を一旦フレームメモリ１１７に格納するため、Ｐ／Ｓ変換部１１９やデジタル信号処理部５０７の処理能力に影響されることなく高速にデジタル画像信号の読み出しを行うことができる。本実施形態ではフレームメモリ１１７への書き込みの最速が１２０ｆｐｓである。

一方、通常全画素読み出し動作はフレームメモリ１１７を介さずに、Ｐ／Ｓ変換部１１９やデジタル信号処理部５０７の処理能力に応じて読み出し速度が決定される。本実施形態ではＰ／Ｓ変換部１１９の処理能力が５０ｆｐｓであり、これが撮像素子５０６からデジタル画像信号が読み出される最速の速度となる。また、信号処理部５０７の処理能力に合わせて、読み出し速度を低減することが可能であり、本実施形態では読み出し速度が２０ｆｐｓに設定される。

Ｓ６０６では、主制御部５０９は、高速全画素読み出し動作を行い、Ｓ６０８では、一旦フレームメモリ１１７に全画素の画像信号を格納する。

Ｓ６０９では、主制御部５０９は、演算部１１８において、フレームメモリ１１７に格納されたデジタル画像信号に対して、クイックレビュー表示用（簡易再生用）の画像の切り出しや間引き等のリサイズ処理を行う。詳細は図８で後述する。

Ｓ６１０では、主制御部５０９は、Ｓ６０９でリサイズされたクイックレビュー表示用のサイズのデジタル画像信号をＰ／Ｓ変換部１１９にてパラレル・シリアル変換を行い、デジタル信号処理部５０７へ転送し、画像メモリ５０８へ格納する。

Ｓ６１１では、主制御部５０９は、信号処理部５０７により画像メモリ５０８に格納されたデジタル画像信号に対して現像処理を行い、クイックレビュー表示を行う。

Ｓ６１２では、主制御部５０９は、Ｓ６１１でのクイックレビュー表示中に、Ｓ６０８でフレームメモリ１１７に格納された全画素のデジタル画像信号をＰ／Ｓ変換部１１９においてパラレル・シリアル変換を行い、デジタル信号処理部５０７へ転送し、画像メモリ５０８へ格納する。

Ｓ６１３では、主制御部５０９は、Ｓ６１２にて読み出されて画像メモリ５０８に格納された全画素のデジタル画像信号に対して、デジタル信号処理部５０７により現像処理や圧縮処理等を行って生成された画像データを記録媒体５１２に記録する。

一方、Ｓ６０５でクイックレビュー表示設定がＯＦＦの場合、主制御部５０９は、Ｓ６０７で通常全画素読み出し動作を行い、Ｓ６１４ではフレームメモリ１１７に格納せずに全画素のデジタル画像信号をＰ／Ｓ変換部１１９に供給してパラレル・シリアル変換を行い、デジタル信号処理部５０７へ転送し、画像メモリ５０８へ格納する。その後、Ｓ６１３と同様の処理を行う。

次に、図７を参照して、本実施形態のクイックレビュー表示設定に応じた信号読み出し動作について従来の信号読み出し動作と比較しながら説明する。

図７（ａ）は、図６の処理におけるクイックレビュー表示設定ＯＮ時の信号読み出し動作を示している。撮像素子５０６で露光期間（Ｔ７０１）が経過すると、高速全画素読み出し動作が行われ、フレームメモリ１１７に全画素のデジタル画像信号が格納される（Ｔ７０２）。その後、演算部１１８でリサイズされたデジタル画像信号が信号処理部５０７へ転送され（Ｔ７０３）、画像メモリ５０８へ格納される。信号処理部５０７へ転送されたデジタル画像信号は、現像処理（Ｔ７０４）が施されてクイックレビュー表示（Ｔ７０５）が行われる。また、クイックレビュー表示中（Ｔ７０５）にフレームメモリ１１７に格納されている全画素のデジタル画像信号が信号処理部５０７へ転送されて画像メモリ５０８に格納され、現像処理と記録処理が行われる。

図７（ｂ）は、図６の処理におけるクイックレビュー表示設定ＯＦＦ時の信号読み出し動作を示している。撮像素子５０６で露光期間（Ｔ７１１）が経過すると、通常全画素読み出し動作が行われ、フレームメモリ１１７を介さずに全画素のデジタル画像信号が信号処理部５０７へ転送され、画像メモリ５０８に格納される（Ｔ７１２）。信号処理部５０７は、画像メモリ５０８に格納されたデジタル画像信号に対して現像処理（Ｔ７１３）と記録処理（Ｔ７１４）を行う。なお、通常全画素読み出しモードでの読み出し速度は最短であり、信号処理部５０７の処理能力によってはこれ以上の時間を要する場合もある。本実施形態では２０ｆｐｓとしている。

図７（ｃ）は、従来のクイックレビュー表示設定ＯＮ時の信号読み出し動作を示している。撮像素子５０６で露光期間（Ｔ７２１）が経過すると、通常全画素読み出し動作が行われると同時に全画素のデジタル画像信号が信号処理部５０７へ転送され、画像メモリ５０８に格納される（Ｔ７２２）。信号処理部５０７へ転送された画像信号は、現像処理（Ｔ７２３）が施されてクイックレビュー表示（Ｔ７２４）が行われると同時に記録処理（Ｔ７２４）が行われる。

次に、図８を参照して、演算部１１８によるリサイズ処理について説明する。
本実施形態のリサイズ処理では、フレームメモリ１１７に格納されている画像信号を垂直方向または水平方向に数行または数列おきに加算または間引く処理や、画像信号の一部の領域のみを使用する領域切り出しを行うことによる画像サイズの縮小処理、もしくは画像信号の各画素のビットデータ量をより小さいサイズへ変更処理（例えば、１６ビットから１０ビットへ変更）等を行う。

図８は、混合・間引き処理として水平３画素混合、垂直１／３間引きを行う例を示している。

混合・間引き処理は、図８（ａ）の全画素の画像信号に対し、図８（ｂ）に示す画素の信号のみを用い、以下の式により混合・間引き後の信号Ｒ‘、Ｇｒ‘、Ｇｂ‘、Ｂ‘を算出する。そして、図８（ｃ）に示す画像信号をクイックレビュー表示用の画像として生成する。
Ｒ‘＝（Ｒ＋Ｒ＋Ｒ）／３
Ｇｒ‘＝（Ｇｒ＋Ｇｒ＋Ｇｒ）／３
Ｇｂ‘＝（Ｇｂ＋Ｇｂ＋Ｇｂ）／３
Ｂ‘＝（Ｂ＋Ｂ＋Ｂ）／３
以上のように、本実施形態によれば、クイックレビュー表示設定に応じて撮像素子からの信号読み出し動作を撮像素子５０６のフレームメモリ１１７を用いた高速全画素読み出し動作またはフレームメモリ１１７を用いない通常全画素読み出し動作に切り替える。詳しくは、クイックレビュー表示設定ＯＮ時は全画素の画像信号を一旦フレームメモリ１１７に格納し、クイックレビュー表示用にリサイズされた画像信号を先に信号処理部５０７に転送する。そして、クイックレビュー中（簡易再生中）にフレームメモリ１１７に格納された全画素の画像信号を信号処理部５０７に転送し、現像処理および記録処理を行う。これにより、撮影後のクイックレビュー表示までの時間を短縮し、システム性能を向上させることができる。

［実施形態２］
次に、図１０および図１１を参照して、実施形態２について説明する。

実施形態１は、図６の処理でクイックレビュー表示用にリサイズされたデジタル画像信号を先に転送し、クイックレビュー表示中に全画素のデジタル画像信号を転送し、記録する方法を説明した。これに対して、実施形態２では、クイックレビュー表示用にリサイズされたデジタル画像信号の転送と同時にフレームメモリ１１７に格納された全画素のデジタル画像信号を転送する方法について説明する。

なお、本実施形態の撮像素子５０６や撮像装置５００の構成は実施形態１で説明した図１から図５と同様であるため説明は省略する。また、リサイズ処理についても図８と同様であるため説明を省略する。

図１０は、実施形態２の静止画撮影処理を示している。以下では、実施形態１との相違点を中心に説明を行う。Ｓ１００１〜Ｓ１００９およびＳ１０１３の処理は、図６のＳ６０１〜Ｓ６０９およびＳ６１４と同様である。

Ｓ１０１０では、主制御部５０９は、Ｓ６１０と同様に、Ｓ１００９でリサイズされたクイックレビュー表示用のサイズのデジタル画像信号をＰ／Ｓ変換部１１９にてパラレル・シリアル変換を行い、信号処理部５０７へ転送し、画像メモリ５０８へ格納する。同時に、主制御部５０９は、Ｓ６１２と同様に、Ｓ１００８でフレームメモリ１１７に格納された全画素のデジタル画像信号をＰ／Ｓ変換部１１９においてパラレル・シリアル変換を行い、信号処理部５０７へ転送し、画像メモリ５０８へ格納する。Ｐ／Ｓ変換部１１９のパラレル・シリアル変換において、クイックレビュー表示用のデジタル画像信号と全画素のデジタル画像信号の２つの変換手段を用意することで、クイックレビュー表示用のデジタル画像信号と全画素のデジタル画像信号を同時に出力可能となる。

Ｓ１０１１とＳ１０１２の処理は、図６のＳ６１２とＳ６１３の処理と同様である。
図１１は図１０の処理におけるクイックレビュー表示設定ＯＮ時の信号読み出し動作を示すタイミングチャートである。撮像素子５０６で露光期間（Ｔ１１０１）が経過すると、高速全画素読み出し動作が行われ、フレームメモリ１１７に全画素のデジタル画像信号が格納される（Ｔ１１０２）。その後、演算部１１８でリサイズされたデジタル画像信号が信号処理部５０７へ転送（Ｔ１１０３）されると同時に、フレームメモリ１１７に格納された全画素のデジタル画像信号が信号処理部５０７へ転送され（Ｔ１１０６）、画像メモリ５０８に格納される。信号処理部５０７は、画像メモリ５０８に格納されたクイックレビュー表示用のサイズのデジタル画像信号に対して現像処理（Ｔ１１０４）を行った後、クイックレビュー表示（Ｔ１１０５）を行う。また、信号処理部５０７は、画像メモリ５０８に格納された全画素のデジタル画像信号に対して現像処理（Ｔ１１０７）と記録処理（Ｔ１１０８）を行う。

以上のように、本実施形態によれば、クイックレビュー表示設定に応じて撮像素子からの信号読み出し動作を撮像素子５０６のフレームメモリ１１７を用いた高速全画素読み出し動作またはフレームメモリ１１７を用いない通常全画素読み出し動作に切り替える。詳しくは、クイックレビュー表示設定ＯＮ時は全画素の画像信号を一旦フレームメモリ１１７に格納し、クイックレビュー表示用にリサイズされた画像信号と同時に信号処理部５０７に転送する。これにより、撮影後のクイックレビュー表示までの時間を短縮し、システム性能を向上させることができる。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１７…フレームメモリ、１１８…演算部、５０６…撮像素子、５０７…信号処理部、５０８…画像メモリ、５０９…主制御部、５１１…表示部、５１２…記録媒体、５１４…メモリ部

Claims

光電変換素子が二次元状に配列された画素と、前記画素から出力される画像信号を格納する信号格納部と、前記画像信号を簡易再生する簡易再生用のサイズに変換するリサイズ手段とを備える撮像素子と、
前記撮像素子からの信号読み出し動作を制御する制御手段と、
前記撮像素子から読み出された画像信号に信号処理を施し、表示手段に出力する信号処理手段と、
前記リサイズ手段により生成された簡易再生用の画像信号を前記表示手段により表示する簡易再生モードに設定する設定手段と、を有し、
前記制御手段は、前記設定手段により前記簡易再生モードが設定された場合に、前記信号格納部に前記撮像素子から出力される全画素の画像信号を格納し、前記信号格納部に格納された画像信号を前記リサイズ手段により簡易再生用のサイズに変換して前記信号処理手段に転送し、前記簡易再生が開始されると前記信号格納部に格納された全画素の画像信号を前記信号処理手段に転送するように制御し、前記設定手段により前記簡易再生モードが設定されていない場合には、前記撮像素子から読み出される全画素の画像信号を前記信号格納部に格納しないで前記信号処理手段に転送するように制御することを特徴とする撮像装置。
光電変換素子が二次元状に配列された画素と、前記画素から出力される画像信号を格納する信号格納部と、前記画像信号を簡易再生する簡易再生用のサイズに変換するリサイズ手段とを備える撮像素子と、
前記撮像素子からの信号読み出し動作を制御する制御手段と、
前記撮像素子から読み出された画像信号に信号処理を施し、表示手段に出力する信号処理手段と、
前記リサイズ手段により生成された簡易再生用の画像信号を前記表示手段により表示する簡易再生モードに設定する設定手段と、を有し、
前記制御手段は、前記設定手段により前記簡易再生モードが設定された場合に、前記信号格納部に前記撮像素子から出力される全画素の画像信号を格納し、前記信号格納部に格納された画像信号を前記リサイズ手段により簡易再生用のサイズに変換して前記信号処理手段に転送すると同時に、前記信号格納部に格納された全画素の画像信号を前記信号処理手段に転送するように制御し、前記設定手段により前記簡易再生モードが設定されていない場合には、前記撮像素子から読み出される全画素の画像信号を前記信号格納部に格納しないで前記信号処理手段に転送するように制御することを特徴とする撮像装置。
前記撮像素子から読み出された画像信号を記憶する記憶手段をさらに有し、
前記信号処理手段は、前記記憶手段に記憶されている画像信号に信号処理を施して前記表示手段に出力することを特徴とする請求項１または２に記載の撮像装置。
前記リサイズ手段は、前記簡易再生用のサイズとして全画素の画像信号より小さいサイズの画像信号を生成することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
前記撮像素子は、前記画素が設けられた第１の半導体集積回路チップが、前記信号格納部と前記リサイズ手段とが設けられた第２の半導体集積回路チップに積層されて構成されていることを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
前記第２の半導体集積回路チップにはさらに、前記画素を駆動する画素駆動部と前記画素から出力される画像信号をデジタル信号に変換するＡＤ変換回路が設けられていることを特徴とする請求項５に記載の撮像装置。
光電変換素子が二次元状に配列された画素と、前記画素から出力される画像信号を格納する信号格納部と、前記画像信号を簡易再生する簡易再生用のサイズに変換するリサイズ手段とを備える撮像素子と、前記撮像素子からの信号読み出し動作を制御する制御手段と、前記撮像素子から読み出された画像信号に信号処理を施し、表示手段に出力する信号処理手段と、を有する撮像装置の制御方法であって、
前記リサイズ手段により生成された簡易再生用の画像信号を前記表示手段により表示する簡易再生モードに設定するステップと、
前記簡易再生モードが設定された場合に、前記信号格納部に前記撮像素子から出力される全画素の画像信号を格納し、
前記信号格納部に格納された画像信号を前記リサイズ手段により簡易再生用のサイズに変換して前記信号処理手段に転送し、前記簡易再生が開始されると前記信号格納部に格納された全画素の画像信号を前記信号処理手段に転送するように制御し、前記簡易再生モードが設定されていない場合には、前記撮像素子から読み出される全画素の画像信号を前記信号格納部に格納しないで前記信号処理手段に転送するように制御するステップと、を有することを特徴とする撮像装置の制御方法。
光電変換素子が二次元状に配列された画素と、前記画素から出力される画像信号を格納する信号格納部と、前記画像信号を簡易再生する簡易再生用のサイズに変換するリサイズ手段とを備える撮像素子と、前記撮像素子からの信号読み出し動作を制御する制御手段と、前記撮像素子から読み出された画像信号に信号処理を施し、表示手段に出力する信号処理手段と、を有する撮像装置の制御方法であって、
前記リサイズ手段により生成された簡易再生用の画像信号を前記表示手段により表示する簡易再生モードに設定するステップと、
前記簡易再生モードが設定された場合に、前記信号格納部に前記撮像素子から出力される全画素の画像信号を格納し、前記信号格納部に格納された画像信号を前記リサイズ手段により簡易再生用のサイズに変換して前記信号処理手段に転送すると同時に、前記信号格納部に格納された全画素の画像信号を前記信号処理手段に転送するように制御し、前記簡易再生モードが設定されていない場合には、前記撮像素子から読み出される全画素の画像信号を前記信号格納部に格納しないで前記信号処理手段に転送するように制御するステップと、を有することを特徴とする撮像装置の制御方法。
コンピュータを、請求項１ないし６のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
コンピュータを、請求項１ないし６のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。