JP6569023B2 - 撮像装置、撮像方法、及び撮像プログラム - Google Patents

撮像装置、撮像方法、及び撮像プログラム

Info

Publication number
JP6569023B2
JP6569023B2 JP2019507506A JP2019507506A JP6569023B2 JP 6569023 B2 JP6569023 B2 JP 6569023B2 JP 2019507506 A JP2019507506 A JP 2019507506A JP 2019507506 A JP2019507506 A JP 2019507506A JP 6569023 B2 JP6569023 B2 JP 6569023B2
Authority
JP
Japan
Prior art keywords
imaging
exposure
driving
rolling
imaging control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019507506A
Other languages
English (en)
Other versions
JPWO2018173725A1 (ja
Inventor
秀和 倉橋
秀和 倉橋
史憲 入江
史憲 入江
善工 古田
善工 古田
仁史 桜武
仁史 桜武
智紀 増田
智紀 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018173725A1 publication Critical patent/JPWO2018173725A1/ja
Application granted granted Critical
Publication of JP6569023B2 publication Critical patent/JP6569023B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Description

本発明は、撮像装置、撮像方法、及び撮像プログラムに関する。
近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子の高解像度化に伴い、電子内視鏡、デジタルスチルカメラ、デジタルビデオカメラ、又はカメラ付きの携帯電話機等の撮像機能を有する電子機器の需要が急増している。なお、以上のような撮像機能を有する電子機器を撮像装置と称する。
ＭＯＳ型の撮像素子には、光電変換素子と、この光電変換素子で発生し蓄積された電荷を保持する電荷保持部と、この電荷保持部に保持された電荷に応じた電圧信号を信号線に読み出す読み出し回路とを含む画素が二次元状に配置されたものがある。
このような撮像素子は、グローバルシャッタ方式の駆動とローリングシャッタ方式の駆動とを行うことが可能である。
グローバルシャッタ方式の駆動は、全ての画素の光電変換素子を同時にリセットして全ての画素で同時に露光を開始し、その後、各画素の光電変換素子に蓄積された電荷を各画素の電荷保持部に同時に転送することで全ての画素で同時に露光を終了し、その後、画素行毎に順次、電荷保持部に蓄積された電荷を画素信号に変換して信号線に読み出していく方式である。
ローリングシャッタ方式の駆動は、画素行の光電変換素子をリセットしてこの画素行の露光を開始し、その後、この画素行の光電変換素子に蓄積された電荷を電荷保持部に転送してこの露光を終了し、この電荷保持部に保持された電荷に応じた画素信号を信号線に読み出す駆動を、画素行を変えながら順次行う方式である。
特許文献１には、静止画記憶用の撮像時には、撮像素子をグローバルシャッタ方式で駆動し、ライブビュー画像表示用の撮像時には、撮像素子をローリングシャッタ方式で駆動する撮像装置が記載されている。
この特許文献１には、静止画記憶用の撮像時における電荷保持部からの画素信号の読み出し期間中に、ライブビュー画像表示用の撮像を開始することが記載されている。
日本国特開２０１２−１２９８１７号公報
ライブビュー画像を表示する撮像装置では、ライブビュー画像を一定間隔で更新していく。このため、ライブビュー画像表示用の撮像の終了タイミングと、ライブビュー画像の表示の更新タイミングとを同期させるべく、撮像素子の駆動条件が決められる。
一方、静止画記憶用の撮像は、電荷保持部から読み出す画素信号の数がライブビュー画像表示用の撮像に比べて多い。このため、静止画記憶用の撮像では、電荷保持部からの画素信号の読み出しに要する時間がライブビュー画像表示用の撮像に比べて長くなる。
この読み出し時間の違いにより、通常は、静止画記憶用の撮像が終了（全ての電荷保持部からの画素信号の読み出しが完了）してから、ライブビュー画像表示用の撮像を再開することが行われる。
しかし、静止画記憶用の撮像が終了してからライブビュー画像表示用の撮像を再開する方法では、ライブビュー画像を更新できない時間が長くなる場合がある。この場合、表示装置を見ながら撮像を行っているユーザにとっては、被写体を見失う可能性が高くなる。
特許文献１に記載の撮像装置では、グローバルシャッタ方式の駆動とローリングシャッタ方式の駆動とで、電荷保持部からの画素信号の読み出し時間が同じになっており、グローバルシャッタ方式の駆動において画素信号の読み出し時間が相対的に長くなる場合のことは考慮されていない。
本発明は、上記事情に鑑みてなされたものであり、記憶用の撮像が行われた後のライブビュー画像の表示の更新を高速化して被写体を見失うリスクを低減することのできる撮像装置、撮像方法、及び撮像プログラムを提供することを目的とする。
本発明の撮像装置は、光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、上記光電変換素子及び上記電荷保持部の電荷が上記読み出し回路の電荷排出領域に排出されることで上記光電変換素子及び上記電荷保持部の各々のリセットが行われる撮像素子と、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動と、上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御部を備え、上記撮像制御部は、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記第一のローリング読み出し駆動を順次行った後、そのグローバルシャッタ駆動によって開始された上記画素の露光を上記ローリングシャッタ駆動を行って上記画素行毎に順次終了させ、その露光が終了された上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行うものである。
本発明の撮像方法は、光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、上記光電変換素子及び上記電荷保持部の電荷が上記読み出し回路の電荷排出領域に排出されることで上記光電変換素子及び上記電荷保持部の各々のリセットが行われる撮像素子を用いた撮像方法であって、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動と、上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御ステップを備え、上記撮像制御ステップでは、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記第一のローリング読み出し駆動を順次行った後、そのグローバルシャッタ駆動によって開始された上記画素の露光を上記ローリングシャッタ駆動を行って上記画素行毎に順次終了させ、その露光が終了された上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行うものである。
本発明の撮像プログラムは、光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、上記光電変換素子及び上記電荷保持部の電荷が上記読み出し回路の電荷排出領域に排出されることで上記光電変換素子及び上記電荷保持部の各々のリセットが行われる撮像素子を用いた撮像方法をコンピュータに実行させるための撮像プログラムであって、上記撮像方法は、記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動と、上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御ステップを備え、上記撮像制御ステップでは、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記第一のローリング読み出し駆動を順次行った後、そのグローバルシャッタ駆動によって開始された上記画素の露光を上記ローリングシャッタ駆動を行って上記画素行毎に順次終了させ、その露光が終了された上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行うものである。
本発明によれば、記憶用の撮像が行われた後のライブビュー画像の表示の更新を高速化して被写体を見失うリスクを低減することのできる撮像装置、撮像方法、及び撮像プログラムを提供することができる。
本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。 図１に示す表示面２３の概略構成を示す平面模式図である。 図１に示す撮像素子５の概略構成を示す平面模式図である。 図３に示す撮像素子５の画素６１の概略構成を示す平面模式図である。 図４に示す撮像素子５の画素６１のＡ−Ａ線の断面模式図である。 図１に示すデジタルカメラ１００の機能ブロック図である。 図１に示すデジタルカメラ１００の撮像モード時の動作を示すタイミングチャートである。 図１に示すデジタルカメラ１００の撮像モード時の動作の変形例を示すタイミングチャートである。 図１に示すデジタルカメラ１００の撮像制御部１１Ａの動作を説明するためのフローチャートである。 図１に示すデジタルカメラ１００の機能ブロックの変形例を示す図である。 図１０に示すデジタルカメラの撮像指示後の動作を説明するためのフローチャートである。 図１０に示すデジタルカメラの撮像指示後の動作の変形例を説明するためのフローチャートである。 図１２のステップＳ２７の判定がＹＥＳとなる場合のタイミングチャートを示している。 図１０に示すデジタルカメラ１００の撮像指示後の動作の別の変形例を説明するためのフローチャートである。 本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。 図１５に示すスマートフォン２００の構成を示すブロック図である。
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。
図１に示すデジタルカメラ１００は、撮像レンズ１と、絞り２と、レンズ制御部４と、レンズ駆動部８と、絞り駆動部９と、を有するレンズ装置４０を備える。
レンズ装置４０は、デジタルカメラ１００に着脱可能なものであってもよいし、デジタルカメラ１００と一体化されたものであってもよい。
撮像レンズ１と絞り２は撮像光学系を構成し、撮像レンズ１は光軸方向に移動可能なフォーカスレンズ又はズームレンズ等を含む。
フォーカスレンズは、撮像光学系の焦点を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。フォーカスレンズが光軸方向に移動することで、フォーカスレンズの主点の位置が光軸方向に沿って変化し、被写体側の焦点位置の変更が行われる。
なお、フォーカスレンズとしては、光軸方向の主点の位置を電気的な制御により変更することで焦点調節が可能な液体レンズが用いられてもよい。
レンズ装置４０のレンズ制御部４は、デジタルカメラ１００のシステム制御部１１と有線又は無線によって通信可能に構成される。
レンズ制御部４は、システム制御部１１からの指令にしたがい、レンズ駆動部８を介して撮像レンズ１に含まれるフォーカスレンズを制御してフォーカスレンズの主点の位置を変更（焦点距離を変更）したり、絞り駆動部９を介して絞り２の開口量を制御したりする。本明細書において絞り２のＦ値とは、絞り２の開口量を示す値であり、Ｆ値が大きいほど、開口量は小さいことを意味する。
デジタルカメラ１００は、更に、撮像光学系を通して被写体を撮像するＭＯＳ型の撮像素子５を備える。
撮像素子５は、複数の画素が二次元状に配置された撮像面を有し、撮像光学系によってこの撮像面に結像される被写体像をこの複数の画素によって画素信号に変換して出力する。撮像素子５の各画素から出力される画素信号の集合を以下では撮像画像信号という。
デジタルカメラ１００の電気制御系全体を統括制御するシステム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、レンズ装置４０の撮像光学系を通して撮像した被写体像を撮像画像信号として出力させる。
システム制御部１１には、操作部１４を通して利用者からの指示信号が入力される。
システム制御部１１は、デジタルカメラ１００全体を統括制御するものであり、ハードウェア的な構造は、撮像プログラムを含むプログラムを実行して処理を行う各種のプロセッサである。
各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
システム制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
更に、このデジタルカメラ１００の電気制御系は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｓｅｓｓ Ｍｅｍｏｒｙ）から構成されるメインメモリ１６と、メインメモリ１６へのデータ記憶及びメインメモリ１６からのデータ読み出しの制御を行うメモリ制御部１５と、撮像素子５から出力される撮像画像信号に対しデジタル信号処理を行ってＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式等の各種フォーマットにしたがった撮像画像データを生成するデジタル信号処理部１７と、記憶媒体２１へのデータ記憶及び記憶媒体２１からのデータ読み出しの制御を行う外部メモリ制御部２０と、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）パネル又は液晶パネル等で構成される表示面２３と、表示面２３の表示を制御する表示コントローラ２２と、を備える。表示面２３と表示コントローラ２２は表示装置を構成する。
記憶媒体２１は、デジタルカメラ１００に内蔵されるフラッシュメモリ等の半導体メモリ又はデジタルカメラ１００に着脱可能な可搬型の半導体メモリ等である。
メモリ制御部１５、デジタル信号処理部１７、外部メモリ制御部２０、及び表示コントローラ２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
デジタル信号処理部１７は、ハードウェア的な構造は、プログラムを実行して処理を行う上記に例示した各種のプロセッサである。
表示コントローラ２２は、プログラムを実行して処理を行う上記に例示した各種のプロセッサと、表示すべき画像のデータを保持するための表示メモリとを含む。
図２は、図１に示す表示面２３の概略構成を示す平面模式図である。
表示面２３は、一方向である行方向Ｘに並ぶ複数の表示画素２３Ａからなる表示画素行２３Ｂが、この行方向Ｘと直交する直交方向である列方向Ｙに複数配列された面である。
表示コントローラ２２は、表示画素行２３Ｂに描画するライン画像を表示面２３の列方向Ｙの上端（一端）の表示画素行２３Ｂから下端（他端）の表示画素行２３Ｂに向かって順次更新する描画更新処理を行うことで、表示画素行２３Ｂと同数のライン画像からなるライブビュー画像を表示面２３に表示する。
図３は、図１に示す撮像素子５の概略構成を示す平面模式図である。図４は、図３に示す撮像素子５の画素６１の概略構成を示す平面模式図である。図５は、図４に示す撮像素子５の画素６１のＡ−Ａ線の断面模式図である。
撮像素子５は、行方向Ｘに配列された複数の画素６１からなる画素行６２が、行方向Ｘと直交する列方向Ｙに複数配列された撮像面６０と、撮像面６０に配列された画素６１を駆動する駆動回路６３と、撮像面６０に配列された画素行６２の各画素６１から信号線に読み出される画素信号を処理する信号処理回路６４と、を備える。
以下では、図３において撮像面６０の列方向Ｙの上側の端部を上端といい、撮像面６０の列方向Ｙの下側の端部を下端という。この上端は撮像面６０の一端を構成し、この下端は撮像面６０の他端を構成する。
図４に示すように、画素６１は、半導体基板に形成された光電変換素子６１Ａ、電荷保持部６１Ｂ、電荷転送部６１Ｃ、フローティングディフュージョン６１Ｄ、及び読み出し回路６１Ｅを備える。
光電変換素子６１Ａは、レンズ装置４０の撮像光学系を通った光を受光し受光量に応じた電荷を発生して蓄積する。光電変換素子６１Ａは、フォトダイオード等で構成される。
電荷転送部６１Ｃは、光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送する。電荷転送部６１Ｃは、半導体基板内の不純物領域と、この不純物領域の上方に形成された電極とで構成される。
電荷転送部６１Ｃを構成する電極に印加される電圧が駆動回路６３によって制御されることで、光電変換素子６１Ａから電荷保持部６１Ｂへの電荷の転送が行われる。
電荷保持部６１Ｂは、光電変換素子６１Ａから電荷転送部６１Ｃによって転送された電荷を保持する。電荷保持部６１Ｂは、半導体基板内の不純物領域により構成される。
フローティングディフュージョン６１Ｄは、電荷を信号に変換するためのものであり、電荷保持部６１Ｂに保持された電荷が転送されてくる。
読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位に応じた信号を画素信号として信号線６５に読み出す回路である。読み出し回路６１Ｅは、駆動回路６３によって駆動される。
図５に示すように、Ｎ型基板７０表面にはＰウェル層７１が形成され、Ｐウェル層７１の表面部には光電変換素子６１Ａが形成されている。
光電変換素子６１Ａは、Ｎ型不純物層７３とこの上に形成されたＰ型不純物層７４とによって構成されている。Ｎ型基板７０とＰウェル層７１によって半導体基板が構成される。
Ｐウェル層７１の表面部には、光電変換素子６１Ａから少し離間して、Ｎ型不純物層からなる電荷保持部６１Ｂが形成されている。
電荷保持部６１Ｂと光電変換素子６１Ａとの間のＰウェル層７１の領域７５の上方には、図示省略の酸化膜を介して、転送電極７６が形成されている。
領域７５と転送電極７６とが電荷転送部６１Ｃを構成する。図４の例では、転送電極７６が電荷保持部６１Ｂの上方にまで形成されているが、転送電極７６は少なくとも領域７５上方に形成されていればよい。
転送電極７６の電位を制御して領域７５にチャネルを形成することで、光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送することができる。転送電極７６の電位は駆動回路６３によって制御される。
Ｐウェル層７１の表面部には、電荷保持部６１Ｂから少し離間して、Ｎ型不純物層からなるフローティングディフュージョン６１Ｄが形成されている。
電荷保持部６１Ｂとフローティングディフュージョン６１Ｄとの間のＰウェル層７１の上方には、図示省略の酸化膜を介して、読み出し電極７２が形成されている。
読み出し電極７２の電位を制御して、電荷保持部６１Ｂとフローティングディフュージョン６１Ｄとの間の領域にチャネルを形成することで、電荷保持部６１Ｂに保持された電荷をフローティングディフュージョン６１Ｄに転送することができる。読み出し電極７２の電位は駆動回路６３によって制御される。
図５に示す例では、読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位をリセットするためのリセットトランジスタ７７と、フローティングディフュージョン６１Ｄの電位を画素信号に変換して出力する出力トランジスタ７８と、出力トランジスタ７８から出力される画素信号を選択的に信号線６５に読み出すための選択トランジスタ７９とによって構成されている。読み出し回路の構成は一例であり、これに限るものではない。
なお、読み出し回路６１Ｅは、複数の画素６１で共用される場合もある。
図３に示す駆動回路６３は、各画素６１の転送電極７６、読み出し電極７２、及び読み出し回路６１Ｅを画素行６２毎に独立に駆動して、画素行６２に含まれる各光電変換素子６１Ａのリセット（光電変換素子６１Ａに蓄積されている電荷の排出）、この各光電変換素子６１Ａに蓄積された電荷に応じた画素信号の信号線６５への読み出し等を行う。
また、駆動回路６３は、全ての画素６１の電荷転送部６１Ｃを同時に駆動して、各画素６１の光電変換素子６１Ａから電荷保持部６１Ｂに電荷を同時に転送する。駆動回路６３は、撮像素子駆動部１０によって制御される。
光電変換素子６１Ａのリセットは、電荷転送部６１Ｃを電荷が転送可能な状態とし、かつ、読み出し電極７２下方の半導体基板にチャネルを形成した状態で、リセットトランジスタ７７によってフローティングディフュージョン６１Ｄをリセットすることで行われる。リセットトランジスタ７７のドレイン領域が電荷排出領域を構成する。
このため、電荷保持部６１Ｂで保持される電荷に応じた画素信号の読み出しが完了した状態であれば、その電荷保持部６１Ｂに電荷を転送する光電変換素子６１Ａのリセットは可能である。
図３に示す信号処理回路６４は、画素行６２の各画素６１から信号線６５に読み出された画素信号に対し、相関二重サンプリング処理を行い、相関二重サンプリング処理後の画素信号をデジタル信号に変換してデータバス２５に出力する。信号処理回路６４は、撮像素子駆動部１０によって制御される。
撮像素子５の撮像面６０に形成されている画素行６２の総数Ｍは、表示面２３に形成されている表示画素行２３Ｂの総数ｍよりも多い。
デジタルカメラ１００では、撮像面６０に形成されたＭ個の画素行６２のうち列方向Ｙに向かって一定間隔を空けて並ぶｍ個の画素行６２が表示対象画素行として設定されている。以下、表示対象画素行として設定された画素行６２を、表示対象画素行６２とも言う。
撮像面６０の上端から数えてｉ番目（ｉは１〜ｍ）にある表示対象画素行６２には、表示面２３の上端から数えてｉ番目にある表示画素行２３Ｂが対応付けて管理されている。
図６は、図１に示すデジタルカメラ１００の機能ブロック図である。
デジタルカメラ１００は、機能ブロックとして、撮像制御部１１Ａと、表示制御部１１Ｂと、を備える。
システム制御部１１は、撮像プログラムを含むプログラムを実行することで、撮像制御部１１Ａ及び表示制御部１１Ｂとして機能する。
撮像制御部１１Ａは、撮像素子駆動部１０を制御して、撮像素子５をグローバルリセット駆動、グローバルシャッタ駆動、ローリングリセット駆動、ローリングシャッタ駆動、第一のローリング読み出し駆動、及び第二のローリング読み出し駆動のそれぞれで駆動する。
グローバルリセット駆動は、撮像素子５の撮像面６０に形成された各画素６１の光電変換素子６１Ａを同時にリセットして、この各画素６１の露光を同時に開始する駆動である。
グローバルシャッタ駆動は、グローバルリセット駆動によって各画素６１で開始された露光によりこの各画素６１の光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送して、各画素６１で同時に露光を終了する駆動である。
ローリングリセット駆動は、表示対象画素行６２の光電変換素子６１Ａをリセットしてその光電変換素子６１Ａの露光を開始する処理を、表示対象画素行６２を変えながら順次行う駆動である。
ローリングシャッタ駆動は、露光されている表示対象画素行６２の光電変換素子６１Ａからその表示対象画素行６２の電荷保持部６１Ｂに電荷を転送してその表示対象画素行６２の露光を終了する処理を、表示対象画素行６２を変えながら順次行う駆動である。
第一のローリング読み出し駆動は、グローバルシャッタ駆動によって各電荷保持部６１Ｂに保持された電荷に応じた画素信号を、画素行６２毎に順次読み出す駆動である。
第二のローリング読み出し駆動は、ローリングシャッタ駆動によって表示対象画素行６２の電荷保持部６１Ｂに保持された電荷に応じた画素信号の読み出しを、表示対象画素行６２を変えながら順次行う駆動である。
撮像制御部１１Ａは、デジタルカメラ１００が撮像モードに設定されると、ローリングリセット駆動、ローリングシャッタ駆動、及び第二のローリング読み出し駆動のセットによってライブビュー画像表示用の撮像（以下、ＬＶ撮像という）を連続して行う。
そして、撮像制御部１１Ａは、このセットの実行中に、静止画像データの記憶媒体２１への記憶のための記憶用の撮像を行う指示（以下、撮像指示という）を受けると、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動のセットによって記憶用の撮像を行い、その後、第一の撮像制御によってＬＶ用の撮像を行う。
第一の撮像制御は、記憶用の撮像時のグローバルシャッタ駆動によって全ての画素６１の露光の終了と同時に開始された画素６１の露光を、記憶用の撮像時の第一のローリング読み出し駆動の終了後にローリングシャッタ駆動を行って表示対象画素行６２毎に順次終了し、このローリングシャッタ駆動によって表示対象画素行６２の電荷保持部６１Ｂに保持された電荷に応じた画素信号を、第二のローリング読み出し駆動を行って順次読み出す制御である。
図１に示すデジタル信号処理部１７は、撮像制御部１１Ａが行う第一のローリング読み出し駆動によって撮像素子５から出力される撮像画像信号を処理して撮像画像データを生成し、この撮像画像データを記憶媒体２１に記憶させる。
また、デジタル信号処理部１７は、撮像制御部１１Ａが行う第二のローリング読み出し駆動によって撮像素子５の表示対象画素行６２から順次出力される画素信号群を処理することで、この表示対象画素行６２に対応する表示画素行２３Ｂに対応したラインデータを生成し、生成したラインデータを表示コントローラ２２に転送する。このラインデータの集合がライブビュー画像データを構成する。
図６に示す表示制御部１１Ｂは、この第二のローリング読み出し駆動によって得られるライブビュー画像データに基づくライブビュー画像を、表示コントローラ２２を介して、表示面２３に表示させる制御を行う。
具体的には、表示制御部１１Ｂは、表示コントローラ２２による描画更新処理の開始指示を行うための表示同期信号を生成して、この表示同期信号を表示コントローラ２２に供給する。
表示コントローラ２２は、表示制御部１１Ｂから入力される表示同期信号が立下がると描画更新処理を開始する。
すなわち、表示同期信号が立下がると、表示コントローラ２２は、表示画素行２３Ｂを表示面２３の上端から下端に向かって順次選択し、選択した表示画素行２３Ｂに対応するラインデータに基づくライン画像を、この選択した表示画素行２３Ｂに描画する。
図７は、図１に示すデジタルカメラ１００の撮像モード時の動作を示すタイミングチャートである。
図７において横軸は時間を示している。図７の上段には、表示制御部１１Ｂから表示コントローラ２２に供給される表示同期信号ＶＤが示されている。
図７の中段には、撮像素子５の各画素行６２の光電変換素子６１Ａ及び電荷保持部６１Ｂの駆動タイミングが示されている。図７の中段において、縦軸は画素行６２の列方向Ｙの位置を示している。
図７の中段に示す直線ＲＲは、ローリングリセット駆動によって画素行６２に含まれる各光電変換素子６１Ａのリセットが行われるタイミングを示している。
図７の中段に示す直線ＲＳは、ローリングシャッタ駆動によって画素行６２に含まれる各光電変換素子６１Ａの露光が終了されるタイミングを示している。
直線ＲＲとこの右隣の直線ＲＳとで囲まれる期間が、ＬＶ撮像時における撮像素子５の露光期間（ＬＶ１，ＬＶ２，ＬＶ４）を示している。
図７の中段に示す直線ＧＲは、グローバルリセット駆動によって画素行６２に含まれる各光電変換素子６１Ａのリセットが行われるタイミングを示している。
図７の中段に示す直線ＧＳは、グローバルシャッタ駆動によって画素行６２に含まれる各光電変換素子６１Ａから電荷保持部６１Ｂに電荷が転送されるタイミングを示している。
直線ＧＲと直線ＧＳとで囲まれる期間が記憶用の撮像時における撮像素子５の露光期間ＥＸを示している。
図７の中段に示す直線ＳＴは、電荷保持部６１Ｂに電荷が保持されるタイミングを示している。
図７の中段に示す直線ＲＯ１は、電荷保持部６１Ｂに保持された電荷に応じた画素信号が第一のローリング読み出し駆動によって撮像素子５から出力されるタイミングを示している。
図７の中段に示す直線ＲＯ２は、電荷保持部６１Ｂに保持された電荷に応じた画素信号が第二のローリング読み出し駆動によって撮像素子５から出力されるタイミングを示している。
図７の下段には、表示面２３の描画状態が示されている。図７の下段において、縦軸は表示面２３の表示画素行２３Ｂの列方向Ｙの位置を示している。
図７の下段に示す直線ＤＲは、表示面２３の表示画素行２３Ｂに描画が行われるタイミングを示している。
撮像制御部１１Ａは、撮像モードに設定されると、直線ＲＲで示されるローリングリセット駆動、直線ＲＳで示されるローリングシャッタ駆動、及び直線ＲＯ２で示される第二のローリング読み出し駆動のセットを予め決められた間隔で繰り返し実行する。
このセットの直線ＲＯ２で示される駆動によって表示対象画素行６２から画素信号が出力されると、この画素信号に基づいてラインデータが生成され、このラインデータに基づくライン画像が、この表示対象画素行６２に対応する表示画素行２３Ｂに描画される。
図７に示す“ｌｖ１”は、露光期間ＬＶ１で得られるライブビュー画像が表示される期間を示している。
図７に示す“ｌｖ２”は、露光期間ＬＶ２で得られるライブビュー画像が表示される期間を示している。
図７に示す“ｌｖ４”は、露光期間ＬＶ４で得られるライブビュー画像が表示される期間を示している。
ＬＶ撮像のための上記のセットが行われている間に撮像指示がなされると、撮像制御部１１Ａは、撮像指示を受けた時点で実行中の上記のセットを終了した後に、直線ＧＲで示されるグローバルリセット駆動を行い、全ての画素行６２において同時に光電変換素子６１Ａのリセットを行う。これにより、全ての画素行６２で同じタイミングで露光が開始する。
その後、所定の露光時間が経過すると、撮像制御部１１Ａは、直線ＧＳで示されるグローバルシャッタ駆動を行う。
この駆動により、全ての画素行６２において同時に、光電変換素子６１Ａから電荷保持部６１Ｂへの電荷の転送が行われ、直線ＳＴで示されるように電荷保持部６１Ｂにて電荷が保持される。これにより、全ての画素行６２で同じタイミングで露光が終了する。図７では、直線ＧＲと直線ＧＳとで囲まれる期間が記憶用の撮像のための露光期間ＥＸとして示されている。
また、このグローバルシャッタ駆動が行われると、各光電変換素子６１Ａにおいて露光期間ＥＸによって発生した電荷は電荷保持部６１Ｂへと転送される。このため、このグローバルシャッタ駆動が行われるのと同時に、全ての光電変換素子６１ＡのＬＶ撮像用の露光が同時に開始される。
撮像制御部１１Ａは、直線ＧＳで示されるグローバルシャッタ駆動を行った後、直線ＲＯ１で示される第一のローリング読み出し駆動を行う。
この第一のローリング読み出し駆動では、撮像制御部１１Ａは、撮像面６０の上端から下端に向かって画素行６２を順番に選択し、選択した画素行６２から画素信号を読み出す。
この第一ローリング読み出し駆動で撮像素子５から出力された撮像画像信号は、デジタル信号処理部１７によって処理されて撮像画像データとなり、記憶媒体２１に記憶される。
直線ＲＯ１による画素信号の読み出しが終了すると、撮像制御部１１Ａは、直線ＲＳで示されるローリングリセット駆動を開始する。このローリングリセット駆動により、撮像面６０の上端から下端に向かって表示対象画素行６２が順番に選択され、選択された表示対象画素行６２の光電変換素子６１Ａから電荷保持部６１Ｂに電荷が転送される。
これにより、グローバルシャッタ駆動の行われた時点で開始されたＬＶ撮像のための露光が表示対象画素行６２毎に順次終了される。図７では、直線ＧＳとその右隣の直線ＲＳとで囲まれる期間がＬＶ撮像のための露光期間ＬＶ３として示されている。
露光期間ＬＶ３を終了するためのローリングリセット駆動の開始タイミングは、直線ＲＯ１で示される第一のローリング読み出し駆動の終了後に最初に訪れる表示同期信号ＶＤの立下りタイミングに同期したタイミングとなっている。
第一のタイミングに同期した第二のタイミングとは、第一のタイミングよりも予め決められた時間前のタイミングのことを言う。
この予め決められた時間は、ローリングシャッタ駆動が開始されてからデジタル信号処理部１７によって最初に生成されたラインデータが表示コントローラ２２の表示メモリに記憶されるまでにかかる時間であり、各種プロセッサの処理能力及びデータの伝送時間等によって決められる。
撮像制御部１１Ａは、露光期間ＬＶ３を終了するためのローリングリセット駆動を開始して少しすると、直線ＲＯ２で示される第二のローリング読み出し駆動を開始する。
この第二のローリング読み出し駆動により、撮像面６０において表示対象画素行６２が上端側から下端側に向かって順番に選択され、選択された表示対象画素行６２の電荷保持部６１Ｂから画素信号が読み出される。
この第二のローリング読み出し駆動によって表示対象画素行６２から画素信号が出力されると、この画素信号に基づいてラインデータが生成され、このラインデータに基づくライン画像が、この表示対象画素行６２に対応する表示画素行２３Ｂに描画される。
図７に示す“ｌｖ３”は、露光期間ＬＶ３で得られるライブビュー画像が表示される期間を示している。
露光期間ＬＶ３を終了させるためのローリングシャッタ駆動と、このローリングシャッタ駆動によって電荷保持部６１Ｂに転送された電荷を画素信号に変換して読み出す第二のローリング読み出し駆動とにより第一の撮像制御が構成される。
なお、図７の例では、露光期間ＥＸにおいて表示同期信号ＶＤが立ち下がっているが、このタイミングでは新たなライブビュー画像データの生成が行われていない。
そのため、表示コントローラ２２は、このタイミングにおいて表示面２３の各表示画素行２３Ｂに描画するライン画像を黒画像とする。これにより、表示面２３は、期間ｌｖ２と期間ｌｖ３の間はブラックアウトの状態となる。
なお、表示コントローラ２２は、このタイミングにおいて表示面２３の各表示画素行２３Ｂに描画されるライン画像の更新を行わず、期間ｌｖ２で表示させていたライン画像を維持する制御を行ってもよい。
第一の撮像制御の第二のローリング読み出し駆動が開始されてから少し経過すると、撮像制御部１１Ａは、ＬＶ撮像のための上記のセットを再開する。
以上のように、図１のデジタルカメラ１００によれば、記憶用の撮像のための露光期間ＥＸの終了と同時に、ＬＶ撮像のための露光期間ＬＶ３を開始することができる。
このため、露光期間ＥＸの後にライブビュー画像が更新されるまでの時間（図中のブラックアウトの時間）を短縮することができ、被写体を見失うリスクを低減することができる。
なお、図７に示すように、露光期間ＬＶ３における各画素行６２の露光時間は、撮像面６０において上端に近いものほど短くなる。
そこで、デジタルカメラ１００のデジタル信号処理部１７は、第一の撮像制御の第二のローリング読み出し駆動によって得られる画素信号から生成した各ラインデータを、表示対象画素行６２毎の露光期間の差による輝度差がなくなるように補正する。
具体的には、デジタル信号処理部１７は、以下の式で算出されるゲイン（Ｇａｉｎ（ｉ））を、撮像面６０の上端から数えてｉ番目にある表示対象画素行６２に対応するラインデータの各画素データに乗じることで、上記の補正を行う。
Ｇａｉｎ（ｉ）＝［（ＥＸＰ１−ＥＸＰ０）×｛（ｍ−ｉ）／ｍ｝］／ＥＸＰ０＋１
上記の式において、“ＥＸＰ０”は、撮像面６０の最も上端側にある表示対象画素行６２の露光期間ＬＶ３における露光時間を示す。“ＥＸＰ１”は、撮像面６０の最も下端側にある表示対象画素行６２の露光期間ＬＶ３における露光時間を示す。“ｍ”は、表示対象画素行６２の総数を示す。
ここでは、撮像面６０の上端から数えてｍ番目にある表示対象画素行６２に対応するラインデータの輝度を基準にして、他のラインデータの輝度をこの基準に合わせるようにしている。
しかし、補正の方法はこれに限定されず、例えば、撮像面６０の上端から数えて１番目にある表示対象画素行６２に対応するラインデータの輝度を基準にして、他のラインデータの輝度をこの基準に合わせてもよい。
次に、撮像制御部１１Ａが、撮像指示に応じた記憶用の撮像の後に行う撮像制御として上述した第一の撮像制御に加えて、第二の撮像制御を行う例を説明する。
第二の撮像制御は、記憶用の撮像に続けて上記のセット（ローリングリセット駆動、ローリングシャッタ駆動、及び第二のローリング読み出し駆動のセット）を行うものである。
図８は、図１に示すデジタルカメラ１００の撮像モード時の動作の変形例を示すタイミングチャートである。図８に示す各符号及び表記は図７と同じである。
撮像制御部１１Ａは、撮像モードに設定されると、直線ＲＲで示されるローリングリセット駆動、直線ＲＳで示されるローリングシャッタ駆動、及び直線ＲＯ２で示される第二のローリング読み出し駆動のセットを予め決められた間隔で繰り返し実行する。このセットが行われるときの動作は図７と同様である。
ＬＶ撮像のための上記のセットが行われている間に撮像指示がなされると、撮像制御部１１Ａは、撮像指示を受けた時点で実行中の上記のセットを終了した後に、直線ＧＲで示されるグローバルリセット駆動を行う。その後、所定の露光時間が経過すると、撮像制御部１１Ａは、直線ＧＳで示されるグローバルシャッタ駆動を行う。
撮像制御部１１Ａは、直線ＧＳで示されるグローバルシャッタ駆動を行った後、直線ＲＯ１で示される第一のローリング読み出し駆動を行う。
この第一のローリング読み出し駆動で撮像素子５から出力された撮像画像信号は、デジタル信号処理部１７によって処理されて撮像画像データとなり、記憶媒体２１に記憶される。
直線ＲＯ１による画素信号の読み出しが終了すると、撮像制御部１１Ａは、直線ＲＲで示されるローリングリセット駆動を開始し、その後、ローリングシャッタ駆動を行ってＬＶ撮像の露光期間ＬＶ３を終了する。
露光期間ＬＶ３を終了するためのローリングシャッタ駆動の開始タイミングは、直線ＲＯ１で示される第一のローリング読み出し駆動の終了後の２回目に訪れる表示同期信号ＶＤの立下りタイミングに同期したタイミングとなっている。
撮像制御部１１Ａは、第二の撮像制御の直線ＲＳで示されるローリングシャッタ駆動を開始した後、第二のローリング読み出し駆動を行って、露光期間ＬＶ３で露光された表示対象画素行６２から画素信号を読み出す。
この第二のローリング読み出し駆動によって表示対象画素行６２から画素信号が出力されると、この画素信号に基づいてラインデータが生成され、このラインデータに基づくライン画像が、この表示対象画素行６２に対応する表示画素行２３Ｂに描画される。
グローバルシャッタ駆動の後に初めて行われるローリングリセット駆動と、その後に行われるローリングシャッタ駆動及び第二のローリング読み出し駆動とによって第二の撮像制御が構成される。
なお、図８の例では、露光期間ＬＶ３の開始前に表示同期信号ＶＤが立ち下がっているが、このタイミングでは新たなライブビュー画像データの生成が行われていない。
そのため、表示コントローラ２２は、このタイミングにおいて表示面２３の各表示画素行２３Ｂに描画するライン画像を黒画像とする。これにより、表示面２３は、期間ｌｖ２と期間ｌｖ３の間は２フレーム分、ブラックアウトの状態となる。
図８に示す第二の撮像制御によれば、期間ｌｖ２と期間ｌｖ３の間のブラックアウトの時間が第一の撮像制御を行う場合より長くなるものの、記憶用の撮像の直後のＬＶ撮像用の露光（露光期間ＬＶ３）を、撮像素子５の画素６１から出力される画素信号が飽和しないような適正露出で実施することができ、ライブビュー画像の高品質化が期待できるといった利点を得られる。
したがって、記憶用の撮像時の撮像条件等に合わせて第一の撮像制御と第二の撮像制御を選択的に行うことで、被写体を見失うリスクの低減と、ライブビュー画像の品質向上とを両立させることができる。
図９は、図１に示すデジタルカメラ１００の撮像制御部１１Ａの動作を説明するためのフローチャートである。
撮像指示を受けた撮像制御部１１Ａは、記憶用の撮像のためのグローバルシャッタ駆動の開始タイミング及びその後の第一の撮像制御を行う場合のローリングシャッタ駆動の開始タイミングの間の時間（図７に示す露光時間Ｔ１）と、記憶用の撮像を行う場合のグローバルリセット駆動時に設定される絞りのＦ値（以下、撮像時Ｆ値という）とに基づいて、第一の撮像制御を行う場合のＬＶ撮像時の露出値ｅｘを算出する（ステップＳ１）。
図７において、撮像指示のタイミングが決まると、直線ＧＲのタイミング、直線ＧＳのタイミング、その直線ＧＳの右隣の直線ＲＳのタイミングがそれぞれ決まるため、露光時間Ｔ１を求めることができる。
次に、撮像制御部１１Ａは、ステップＳ１で求めた露出値ｅｘに基づいて、第一の撮像制御と第二の撮像制御のいずれかを選択して実行する。
具体的には、撮像制御部１１Ａは、露出値ｅｘが予め決められた露出閾値ＴＨ（第一の露出閾値）以上となるか否かを判定する（ステップＳ２）。
露出閾値ＴＨは、撮像素子５の画素６１から読み出される画素信号が飽和レベルに達してしまう露出値の下限値が設定される。
そして、撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ未満となる場合（ステップＳ２：ＮＯ）には、図７に示すように、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動による記憶用の撮像を行った後に、第一の撮像制御を行う（ステップＳ３）。
一方、撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ以上となる場合（ステップＳ２：ＹＥＳ）には、図８に示すように、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動による記憶用の撮像を行った後に、第二の撮像制御を行う（ステップＳ４）。
撮像制御部１１Ａは、ステップＳ４で第二の撮像制御を行う際には、露光期間ＥＸを終了してからローリングリセット駆動を開始するまでの間において、ＬＶ撮像が適正露出で行われるように絞りのＦ値及びＬＶ撮像時の露光時間等を制御した上で、第二の撮像制御を開始する。したがって、図８の期間ｌｖ３で表示されるライブビュー画像は適正露出で撮像して得られたものとなる。
以上のように、図１のデジタルカメラ１００によれば、撮像指示時に決定されている撮像時Ｆ値で第一の撮像制御を行った結果、ＬＶ撮像時における露出がオーバーとなってライブビュー画像の品質が低下する可能性があると判断される場合には、第二の撮像制御が行われる。このため、記憶用の撮像直後に表示されるライブビュー画像の表示品質低下を防ぐことができる。
図１０は、図１に示すデジタルカメラ１００の機能ブロックの変形例を示す図である。図１０において図６と同じ構成には同一符号を付してある。
図１０に示すデジタルカメラ１００のハードウェア構成は、図１において、撮像素子５の複数の画素６１が位相差検出用画素と通常画素を含む点のみが異なる。
位相差検出用画素は、撮像光学系の瞳領域を行方向Ｘ又は列方向Ｙに２分割した場合の２つの分割領域の一方を通る光を受光する第一の位相差検出用画素と、この２つの分割領域の他方を通る光を受光する第二の位相差検出用画素とを含む。
通常画素は、上記２つの分割領域のそれぞれを通る光を受光する画素である。
図１０に示すデジタルカメラ１００の撮像素子５は、撮像面６０にあるｍ個の表示対象画素行６２を構成する画素６１の一部が、第一の位相差検出用画素と第二の位相差検出用画素になっている。
撮像素子５の撮像面６０には、第一の位相差検出用画素と第二の位相差検出用画素のペアが複数離散的に配置される。
なお、撮像素子５に含まれる全ての画素６１の光電変換素子６１Ａが例えば行方向Ｘに２分割され、この分割された光電変換素子６１Ａの一方の領域と他方の領域によって、上記の撮像光学系の２つの分割領域のそれぞれを通る光が受光される構成であってもよい。この構成の場合には、撮像素子５に含まれる全ての画素６１が位相差検出用画素となる。
デジタルカメラ１００は、機能ブロックとして、撮像制御部１１Ａと、表示制御部１１Ｂと、合焦制御部１１Ｃと、を備える。
システム制御部１１は、撮像プログラムを含むプログラムを実行することで、撮像制御部１１Ａ、表示制御部１１Ｂ、及び合焦制御部１１Ｃとして機能する。
合焦制御部１１Ｃは、撮像制御部１１Ａが行う第二のローリング読み出し駆動によって撮像素子５の位相差検出用画素から出力される画素信号に基づいて、撮像光学系の合焦制御を行う。
具体的には、合焦制御部１１Ｃは、複数の第一の位相差検出用画素から出力される画素信号群と、この複数の第一の位相差検出用画素の各々とペアを組む第二の位相差検出用画素から出力される画素信号群との相関演算を行って位相差を算出し、この位相差に基づくデフォーカス量にしたがってフォーカスレンズの焦点調節を行う。
図１１は、図１０に示すデジタルカメラの撮像指示後の動作を説明するためのフローチャートである。
撮像指示を受けた撮像制御部１１Ａは、グローバルリセット駆動時に設定する絞りのＦ値（撮像時Ｆ値）が予め決められた絞り閾値Ｆ１以下であるか否かを判定する（ステップＳ１１）。
複数の第一の位相差検出用画素で撮像される像と、複数の第二の位相差検出用画素で撮像される像との位相の差は、Ｆ値が小さいほど大きくなるため、Ｆ値が小さいほど位相差の算出精度が確保される。絞り閾値Ｆ１は、位相差の算出精度を最低限確保することのできるＦ値の開放側の値が設定される。
撮像制御部１１Ａは、撮像時Ｆ値が絞り閾値Ｆ１を超える場合（ステップＳ１１：ＮＯ）には、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動によって記憶用の撮像を行い、このグローバルシャッタ駆動の開始以降に絞りのＦ値を絞り閾値Ｆ１以下に制御する。そして、この第一のローリング読み出し駆動が終了した後に、第二の撮像制御を行う（ステップＳ１４）。
この第二の撮像制御の第二のローリング読み出し駆動が終了すると、合焦制御部１１Ｃは、この第二のローリング読み出し駆動によって位相差検出用画素から読み出された画素信号に基づいて合焦制御を行う（ステップＳ１５）。
一方、撮像制御部１１Ａは、撮像時Ｆ値が絞り閾値Ｆ１以下の場合（ステップＳ１１：ＹＥＳ）には、図７に示すように、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動を行った後に、第一の撮像制御を行う（ステップＳ１２）。
そして、この第一の撮像制御の第二のローリング読み出し駆動が終了すると、合焦制御部１１Ｃは、この第二のローリング読み出し駆動によって位相差検出用画素から読み出された画素信号に基づいて合焦制御を行う（ステップＳ１３）。ステップＳ１３及びステップＳ１４以降は、上述したセットが再開される。
以上のように、図１０に示すデジタルカメラ１００によれば、撮像時Ｆ値が位相差算出に適したものとなっている場合には第一の撮像制御によってライブビュー画像の高速表示が行われると共に、この第一の撮像制御によって得られる撮像画像信号に基づいて高速合焦制御が可能になる。
このため、例えば記憶用の撮像を連続して行う連写モードにおいては、被写体を見失うリスクを低減しながら、被写体にピントを高精度に合わせた連続撮像が可能になる。
また、図１０に示すデジタルカメラ１００によれば、撮像時Ｆ値が位相差算出に適したものとなっていない場合には、Ｆ値が絞り閾値Ｆ１以下に制御された状態で第二の撮像制御が行われ、この第二の撮像制御によって得られる撮像画像信号に基づいて合焦制御がなされる。
このため、位相差が誤算出される可能性を減らすことができ、合焦性能を向上させることができる。
図１２は、図１０に示すデジタルカメラの撮像指示後の動作の変形例を説明するためのフローチャートである。
撮像指示を受けた撮像制御部１１Ａは、撮像時Ｆ値が絞り閾値Ｆ１以下であるか否かを判定する（ステップＳ２１）。
撮像制御部１１Ａは、撮像時Ｆ値が絞り閾値Ｆ１を超える場合（ステップＳ２１：ＮＯ）には、記憶用の撮像のためのグローバルリセット駆動及びグローバルシャッタ駆動を行った後に、絞りのＦ値を絞り閾値Ｆ１以下に制御し、第一のローリング読み出し駆動が終了した後に第二の撮像制御を行う（ステップＳ２３）。
そして、この第二の撮像制御の第二のローリング読み出し駆動が終了すると、合焦制御部１１Ｃは、第二のローリング読み出し駆動によって位相差検出用画素から読み出された画素信号に基づいて合焦制御を行う（ステップＳ２４）。
撮像制御部１１Ａは、撮像時Ｆ値が絞り閾値Ｆ１以下である場合（ステップＳ２１：ＹＥＳ）には、記憶用の撮像のためのグローバルシャッタ駆動の開始タイミング及びその後の第一の撮像制御を行う場合のローリングシャッタ駆動の開始タイミングの間の時間（図７に示す露光時間Ｔ１）と、撮像時Ｆ値とに基づいて、第一の撮像制御を行う場合のＬＶ撮像時の露出値ｅｘを算出する（ステップＳ２２）。
次に、撮像制御部１１Ａは、露出値ｅｘが予め決められた露出閾値ＴＨ１（第一の露出閾値）以上となるか否かを判定する（ステップＳ２５）。
露出閾値ＴＨ１は、撮像素子５の位相差検出用画素から読み出される画素信号が飽和レベルに達してしまう露出値の下限値が設定される。
位相差検出用画素は、通常画素に比べると、光電変換素子６１Ａの受光面積が小さくなっているため、画素信号が飽和しにくい。したがって、位相差検出用画素が飽和する露出条件では、通常画素も飽和する。
撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ１以上となる場合（ステップＳ２５：ＹＥＳ）、すなわち、通常画素と位相差検出用画素が共に飽和する場合には、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動による記憶用の撮像を行った後、ＬＶ撮像のための露光時間を適正露出が得られる値に制御した状態で、図８に示した第二の撮像制御を行う（ステップＳ２６）。
ステップＳ２６の後は、ステップＳ２４において、ステップＳ２６の第二の撮像制御によって得られる撮像画像信号に基づいて合焦制御が行われる。
撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ１未満となる場合（ステップＳ２５：ＮＯ）、すなわち、少なくとも位相差検出用画素が飽和しない場合には、露出値ｅｘが予め決められた露出閾値ＴＨ２（第二の露出閾値）以上となるか否かを判定する（ステップＳ２７）。
露出閾値ＴＨ２は、撮像素子５の通常画素から読み出される画素信号が飽和レベルに達してしまう露出値の下限値が設定される。
上述したように、通常画素は、位相差検出用画素よりも飽和しやすい。したがって、露出閾値ＴＨ２は露出閾値ＴＨ１よりも小さい値となる。
撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ２以上となる場合（ステップＳ２７：ＹＥＳ）、すなわち、通常画素は飽和するが位相差検出用画素は飽和しない場合には、図７に示すように、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動による記憶用の撮像を行った後、第一の撮像制御を行う（ステップＳ２８）。
そして、ステップＳ２８で開始される第一の撮像制御の第二のローリング読み出し駆動が終了すると、合焦制御部１１Ｃは、この第二のローリング読み出し駆動によって位相差検出用画素から読み出された画素信号に基づいて合焦制御を行う（ステップＳ２９）。
また、表示制御部１１Ｂは、ステップＳ２８の第一の撮像制御の第二のローリング読み出し駆動によって撮像素子５から出力される撮像画像信号に基づくライブビュー画像については、表示面２３への表示を停止する制御を行う（ステップＳ３０）。
図１３は、図１２のステップＳ２７の判定がＹＥＳとなる場合のタイミングチャートの例を示している。
このタイミングチャートでは、撮像指示の後、表示制御部１１Ｂによって生成される表示同期信号ＶＤの周期が一時的に２倍に変更されている。これにより、第一の撮像制御の第二のローリング読み出し駆動によって生成されるライブビュー画像は表示面２３に表示されなくなる。
なお、図１３の“合焦制御”のブロックは、図１２のステップＳ２９の処理が行われる期間を示している。
撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ２未満となる場合（ステップＳ２７：ＮＯ）、すなわち、通常画素と位相差検出用画素がともに飽和しない場合には、図７に示すように、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動による記憶用の撮像を行った後、第一の撮像制御を行う（ステップＳ３１）。
そして、ステップＳ３１で開始される第一の撮像制御の第二のローリング読み出し駆動が終了すると、合焦制御部１１Ｃは、この第二のローリング読み出し駆動によって位相差検出用画素から読み出された画素信号に基づいて合焦制御を行う（ステップＳ３２）。
ステップＳ２４、ステップＳ３０、及びステップＳ３２の後は、上述したＬＶ撮像のためのセットが開始される。
以上のように、図１２に示す動作例によれば、撮像時Ｆ値が位相差算出に適したものとなっていない場合（ステップＳ２１：ＮＯ）には、Ｆ値が絞り閾値Ｆ１以下に制御された状態で第二の撮像制御が行われ、この第二の撮像制御によって得られる撮像画像信号に基づいて位相差が算出される。このため、位相差が誤算出される可能性を減らすことができ、合焦性能を向上させることができる。
また、図１２に示す動作例によれば、撮像時Ｆ値は位相差算出に適しているが、位相差検出用画素と通常画素がいずれも飽和する可能性がある場合（ステップＳ２５：ＹＥＳ）には、適正露出が確保された状態で第二の撮像制御が行われ、この第二の撮像制御によって得られる撮像画像信号に基づいて位相差が算出される。
このため、位相差が誤算出される可能性を減らすことができ、合焦性能を向上させることができる。また、位相差検出用画素と通常画素が飽和した状態でのＬＶ撮像で得たライブビュー画像が表示されるのを防いで、表示品質を向上させることができる。
また、図１２に示す動作例によれば、撮像時Ｆ値は位相差算出に適しており、少なくとも位相差検出用画素が飽和しないと判断される場合（ステップＳ２５：ＮＯ）には、第一の撮像制御が行われ、この第一の撮像制御によって得られる撮像画像信号に基づいて合焦制御がなされる。このため、合焦速度を向上させることができる。
また、図１２に示す動作例によれば、撮像時Ｆ値は位相差算出に適しており、かつ、通常画素は飽和してしまうが位相差検出用画素は飽和しないと判断される場合（ステップＳ２７：ＹＥＳ）には、第一の撮像制御が行われ、この第一の撮像制御によるライブビュー画像の表示が停止される。このため、ライブビュー画像の品質低下を防ぐことができる。
図１４は、図１０に示すデジタルカメラ１００の撮像指示後の動作の別の変形例を説明するためのフローチャートである。
撮像指示を受けた撮像制御部１１Ａは、図９のステップＳ１と同様に露出値ｅｘを算出する（ステップＳ４１）。
次に、撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ２以上かつ露出閾値ＴＨ１未満となるか否かを判定する（ステップＳ４２）。
撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ２以上かつ露出閾値ＴＨ１未満となる場合（ステップＳ４２：ＹＥＳ）、すなわち、通常画素は飽和するが位相差検出用画素は飽和しない場合には、図７に示すように、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動による記憶用の撮像を行った後、第一の撮像制御を行う（ステップＳ４３）。
そして、ステップＳ４３で開始される第一の撮像制御の第二のローリング読み出し駆動が終了すると、合焦制御部１１Ｃは、この第二のローリング読み出し駆動によって位相差検出用画素から読み出された画素信号に基づいて合焦制御を行う（ステップＳ４４）。
また、表示制御部１１Ｂは、ステップＳ４３で開始される第一の撮像制御の第二のローリング読み出し駆動によって撮像素子５から出力される撮像画像信号に基づくライブビュー画像については、表示面２３への表示を停止する制御を行う（ステップＳ４５）。
撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ２未満となる場合（ステップＳ４２：ＮＯ）、すなわち、通常画素と位相差検出用画素がいずれも飽和しない場合には、図７に示すように、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動による記憶用の撮像を行った後、第一の撮像制御を行う（ステップＳ４６）。
ステップＳ４６で開始される第一の撮像制御の第二のローリング読み出し駆動によって撮像素子５から出力される撮像画像信号に基づくライブビュー画像については、表示面２３に表示される。
ステップＳ４６で開始される第一の撮像制御の第二のローリング読み出し駆動が終了すると、合焦制御部１１Ｃは、この第二のローリング読み出し駆動によって位相差検出用画素から読み出された画素信号に基づいて合焦制御を行う（ステップＳ４７）。
ステップＳ４５及びステップＳ４７の後は、上述したＬＶ撮像のためのセットが開始される。
以上のように、図１４に示す動作例によれば、通常画素は飽和してしまうが位相差検出用画素は飽和しないと判断される場合には、第一の撮像制御が行われて合焦速度が確保され、この第一の撮像制御によるライブビュー画像の更新は停止される。このため、合焦速度とライブビュー画像の品質向上とを両立させることができる。
次に、本発明の撮像装置の実施形態としてスマートフォンの構成について説明する。
図１５は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。
図１５に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示面としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。
また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示面と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。
図１６は、図１５に示すスマートフォン２００の構成を示すブロック図である。
図１６に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。
また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。
表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）又は文字情報等を表示して視覚的に利用者に情報を伝達するとともに、表示した情報に対する利用者操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３と、を備える。
表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等を表示デバイスとして用いたものである。
操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、利用者の指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスを利用者の指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。
図１６に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。
係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、利用者操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０１の大きさ等に応じて適宜設計されるものである。
さらにまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。
通話部２１１は、スピーカ２０５又はマイクロホン２０６を備え、マイクロホン２０６を通じて入力された利用者の音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。
また、図１５に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。
操作部２０７は、キースイッチ等を用いたハードウェアキーであって、利用者からの指示を受け付けるものである。例えば、図１５に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部２１２は、主制御部２２０の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。
なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の格納媒体を用いて実現される。
外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４等）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）等）により直接的又は間接的に接続するためのものである。
スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるパーソナルコンピュータ、イヤホン等がある。
外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達したり、スマートフォン２００の内部のデータが外部機器に伝送されるようにしたりすることができる。
ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０又は外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部２１５は、例えば、３軸の加速度センサ等を備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向又は加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。
電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。
また、主制御部２２０は、受信データ又はダウンロードしたストリーミングデータ等の画像データ（静止画像又は動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。
画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。
さらに、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じた利用者操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。
なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じた利用者操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。
さらに、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。
ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
カメラ部２０８は、図１に示したデジタルカメラ１００又はその変形例における外部メモリ制御部２０、記憶媒体２１、表示コントローラ２２、表示面２３、及び操作部１４以外の構成を含む。また、カメラ部２０８に含まれる表示制御部１１Ｂは、表示パネル２０２にライブビュー画像を表示させる制御を行う。
カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることができる。
図１５に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。
また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示したり、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用したりすることができる。
また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。さらには、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等を付加して記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることもできる。
以上のような構成のスマートフォン２００においても、被写体を見失うリスクを低減することができる。
以上説明してきたように、本明細書には以下の事項が開示されている。
（１）
光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、上記光電変換素子及び上記電荷保持部の電荷が上記読み出し回路の電荷排出領域に排出されることで上記光電変換素子及び上記電荷保持部の各々のリセットが行われる撮像素子と、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動と、上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御部を備え、上記撮像制御部は、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記第一のローリング読み出し駆動を順次行った後、そのグローバルシャッタ駆動によって開始された上記画素の露光を上記ローリングシャッタ駆動を行って上記画素行毎に順次終了させ、その露光が終了された上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行う撮像装置。
（２）
（１）記載の撮像装置であって、上記撮像制御部は、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記第一のローリング読み出し駆動を順次行った後、上記画素行の上記光電変換素子の電荷を上記電荷排出領域に排出してその光電変換素子の露光を開始する処理を上記画素行を変えながら順次行うローリングリセット駆動を行い、上記ローリングリセット駆動の開始後に、上記ローリングシャッタ駆動を開始してその露光を順次終了させ、その露光が終了された上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記第二のローリング読み出し駆動を行って読み出す第二の撮像制御と、上記第一の撮像制御とのいずれかを選択的に行う撮像装置。
（３）
（２）記載の撮像装置であって、上記複数の画素は、位相差検出用画素を含み、上記第二のローリング読み出し駆動によって上記位相差検出用画素から出力される信号に基づいて、上記撮像素子の前方に配置される絞り及びフォーカスレンズを含む撮像光学系の合焦制御を行う合焦制御部を更に備え、上記撮像制御部は、上記グローバルリセット駆動時の上記絞りのＦ値が予め決められた絞り閾値以下である場合には上記第一の撮像制御を行い、上記Ｆ値が上記絞り閾値を超えている場合には、上記グローバルシャッタ駆動の後に上記絞りのＦ値を上記絞り閾値以下に制御した状態で上記第二の撮像制御を行う撮像装置。
（４）
（２）記載の撮像装置であって、上記撮像制御部は、上記第一の撮像制御を行う場合の上記グローバルシャッタ駆動の開始タイミング及び上記ローリングシャッタ駆動の開始タイミングの間の時間と上記グローバルリセット駆動時に設定される上記撮像素子の前方に配置される撮像光学系に含まれる絞りのＦ値とに基づいて、上記第一の撮像制御を行う場合の上記グローバルシャッタ駆動により開始される上記露光時の上記撮像素子の露出値を算出し、上記露出値に基づいて、上記第一の撮像制御と上記第二の撮像制御のいずれかを選択して実行する撮像装置。
（５）
（４）記載の撮像装置であって、上記撮像制御部は、上記露出値が予め決められた第一の露出閾値未満となる場合には上記第一の撮像制御を行い、上記露出値が上記第一の露出閾値以上となる場合には上記第二の撮像制御を行う撮像装置。
（６）
（４）記載の撮像装置であって、上記複数の画素は、位相差検出用画素を含み、上記第二のローリング読み出し駆動によって上記位相差検出用画素から出力される信号に基づいて、上記撮像光学系に含まれるフォーカスレンズの合焦制御を行う合焦制御部と、上記第二のローリング読み出し駆動によって上記撮像素子の上記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御部と、を更に備え、上記撮像制御部は、上記露出値が第一の露出閾値以上となる場合には上記第二の撮像制御を行い、上記露出値が上記第一の露出閾値未満となる場合には上記第一の撮像制御を行い、上記表示制御部は、上記露出値が上記第一の露出閾値未満となりかつ上記第一の露出閾値よりも小さい第二の露出閾値以上となる場合には、上記第一の撮像制御における上記第二のローリング読み出し駆動によって上記撮像素子から出力される信号に基づく上記ライブビュー画像の上記表示装置への表示を停止する撮像装置。
（７）
（１）記載の撮像装置であって、上記複数の画素は、位相差検出用画素を含み、上記第二のローリング読み出し駆動によって上記位相差検出用画素から出力される信号に基づいて、上記撮像素子の前方に配置される絞り及びフォーカスレンズを含む撮像光学系の合焦制御を行う合焦制御部と、上記第二のローリング読み出し駆動によって上記撮像素子の上記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御部と、を更に備え、上記撮像制御部は、上記第一の撮像制御を行う場合の上記グローバルシャッタ駆動の開始タイミング及び上記ローリングシャッタ駆動の開始タイミングの間の時間と上記グローバルリセット駆動時の上記絞りのＦ値とに基づいて、上記第一の撮像制御を行う場合の上記グローバルシャッタ駆動により開始される上記露光時の上記撮像素子の露出値を算出し、上記表示制御部は、上記露出値が予め決められた第一露出閾値未満となりかつ上記第一の露出閾値よりも小さい第二の露出閾値以上となる場合には、上記第一の撮像制御における上記第二のローリング読み出し駆動によって上記撮像素子から出力される信号に基づく上記ライブビュー画像の上記表示装置への表示を停止する撮像装置。
（８）
光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、上記光電変換素子及び上記電荷保持部の電荷が上記読み出し回路の電荷排出領域に排出されることで上記光電変換素子及び上記電荷保持部の各々のリセットが行われる撮像素子を用いた撮像方法であって、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動と、上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御ステップを備え、上記撮像制御ステップでは、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記第一のローリング読み出し駆動を順次行った後、そのグローバルシャッタ駆動によって開始された上記画素の露光を上記ローリングシャッタ駆動を行って上記画素行毎に順次終了させ、その露光が終了された上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行う撮像方法。
（９）
（８）記載の撮像方法であって、上記撮像制御ステップでは、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記第一のローリング読み出し駆動を順次行った後、上記画素行の上記光電変換素子の電荷を上記電荷排出領域に排出してその光電変換素子の露光を開始する処理を上記画素行を変えながら順次行うローリングリセット駆動を行い、上記ローリングリセット駆動の開始後に、上記ローリングシャッタ駆動を開始してその露光を順次終了させ、その露光が終了された上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記第二のローリング読み出し駆動を行って読み出す第二の撮像制御と、上記第一の撮像制御とのいずれかを選択的に行う撮像方法。
（１０）
（９）記載の撮像方法であって、上記複数の画素は、位相差検出用画素を含み、上記第二のローリング読み出し駆動によって上記位相差検出用画素から出力される信号に基づいて、上記撮像素子の前方に配置される絞り及びフォーカスレンズを含む撮像光学系の合焦制御を行う合焦制御ステップを更に備え、上記撮像制御ステップでは、上記グローバルリセット駆動時の上記絞りのＦ値が予め決められた絞り閾値以下である場合には上記第一の撮像制御を行い、上記Ｆ値が上記絞り閾値を超えている場合には、上記グローバルシャッタ駆動の後に上記絞りのＦ値を上記絞り閾値以下に制御した状態で上記第二の撮像制御を行う撮像方法。
（１１）
（９）記載の撮像方法であって、上記撮像制御ステップでは、上記第一の撮像制御を行う場合の上記グローバルシャッタ駆動の開始タイミング及び上記ローリングシャッタ駆動の開始タイミングの間の時間と上記グローバルリセット駆動時に設定される上記撮像素子の前方に配置される撮像光学系に含まれる絞りのＦ値とに基づいて、上記第一の撮像制御を行う場合の上記グローバルシャッタ駆動により開始される上記露光時の上記撮像素子の露出値を算出し、上記露出値に基づいて、上記第一の撮像制御と上記第二の撮像制御のいずれかを選択して実行する撮像方法。
（１２）
（１１）記載の撮像方法であって、上記撮像制御ステップでは、上記露出値が予め決められた第一の露出閾値未満となる場合には上記第一の撮像制御を行い、上記露出値が上記第一の露出閾値以上となる場合には上記第二の撮像制御を行う撮像方法。
（１３）
（１１）記載の撮像方法であって、上記複数の画素は、位相差検出用画素を含み、上記第二のローリング読み出し駆動によって上記位相差検出用画素から出力される信号に基づいて、上記撮像光学系に含まれるフォーカスレンズの合焦制御を行う合焦制御ステップと、上記第二のローリング読み出し駆動によって上記撮像素子の上記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御ステップと、を更に備え、上記撮像制御ステップでは、上記露出値が第一の露出閾値以上となる場合には上記第二の撮像制御を行い、上記露出値が上記第一の露出閾値未満となる場合には上記第一の撮像制御を行い、上記表示制御ステップでは、上記露出値が上記第一の露出閾値未満となりかつ上記第一の露出閾値よりも小さい第二の露出閾値以上となる場合には、上記第一の撮像制御における上記第二のローリング読み出し駆動によって上記撮像素子から出力される信号に基づく上記ライブビュー画像の上記表示装置への表示を停止する撮像方法。
（１４）
（８）記載の撮像方法であって、上記複数の画素は、位相差検出用画素を含み、上記第二のローリング読み出し駆動によって上記位相差検出用画素から出力される信号に基づいて、上記撮像素子の前方に配置される絞り及びフォーカスレンズを含む撮像光学系の合焦制御を行う合焦制御ステップと、上記第二のローリング読み出し駆動によって上記撮像素子の上記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御ステップと、を更に備え、上記撮像制御ステップでは、上記第一の撮像制御を行う場合の上記グローバルシャッタ駆動の開始タイミング及び上記ローリングシャッタ駆動の開始タイミングの間の時間と上記グローバルリセット駆動時の上記絞りのＦ値とに基づいて、上記第一の撮像制御を行う場合の上記グローバルシャッタ駆動により開始される上記露光時の上記撮像素子の露出値を算出し、上記表示制御ステップでは、上記露出値が予め決められた第一露出閾値未満となりかつ上記第一の露出閾値よりも小さい第二の露出閾値以上となる場合には、上記第一の撮像制御における上記第二のローリング読み出し駆動によって上記撮像素子から出力される信号に基づく上記ライブビュー画像の上記表示装置への表示を停止する撮像方法。
（１５）
光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、上記光電変換素子及び上記電荷保持部の電荷が上記読み出し回路の電荷排出領域に排出されることで上記光電変換素子及び上記電荷保持部の各々のリセットが行われる撮像素子を用いた撮像方法をコンピュータに実行させるための撮像プログラムであって、上記撮像方法は、記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動と、上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御ステップを備え、上記撮像制御ステップでは、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記第一のローリング読み出し駆動を順次行った後、そのグローバルシャッタ駆動によって開始された上記画素の露光を上記ローリングシャッタ駆動を行って上記画素行毎に順次終了させ、その露光が終了された上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行う撮像プログラム。
本発明によれば、記憶用の撮像が行われた後のライブビュー画像の表示の更新を高速化して被写体を見失うリスクを低減することができる。
以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
本出願は、２０１７年３月２４日出願の日本特許出願（特願２０１７−０５９６７８）に基づくものであり、その内容はここに取り込まれる。
１００ デジタルカメラ
１ 撮像レンズ
２ 絞り
４ レンズ制御部
５ 撮像素子
６０ 撮像面
６１ 画素
６１Ａ 光電変換素子
６１Ｂ 電荷保持部
６１Ｃ 電荷転送部
６１Ｄ フローティングディフュージョン
６１Ｅ 読み出し回路
６２ 画素行
６３ 駆動回路
６４ 信号処理回路
６５ 信号線
７０ Ｎ型基板
７１ Ｐウェル層
７２ 読み出し電極
７３ Ｎ型不純物層
７４ Ｐ型不純物層
７５ 領域
７６ 転送電極
７７ リセットトランジスタ
７８ 出力トランジスタ
７９ 選択トランジスタ
８ レンズ駆動部
９ 絞り駆動部
１０ 撮像素子駆動部
１１ システム制御部
１１Ａ 撮像制御部
１１Ｂ 表示制御部
１１Ｃ 合焦制御部
１４ 操作部
１５ メモリ制御部
１６ メインメモリ
１７ デジタル信号処理部
２０ 外部メモリ制御部
２１ 記憶媒体
２２ 表示コントローラ
２３ 表示面
２３Ａ 表示画素
２３Ｂ 表示画素行
２４ 制御バス
２５ データバス
４０ レンズ装置
ＧＳ，ＧＲ，ＲＳ，ＲＲ，ＲＯ１，ＲＯ２，ＳＴ，ＤＲ 直線
２００ スマートフォン
２０１ 筐体
２０２ 表示パネル
２０３ 操作パネル
２０４ 表示入力部
２０５ スピーカ
２０６ マイクロホン
２０７ 操作部
２０８ カメラ部
２１０ 無線通信部
２１１ 通話部
２１２ 記憶部
２１３ 外部入出力部
２１４ ＧＰＳ受信部
２１５ モーションセンサ部
２１６ 電源部
２１７ 内部記憶部
２１８ 外部記憶部
２２０ 主制御部
ＳＴ１〜ＳＴｎ ＧＰＳ衛星

Claims (15)

  1. 光電変換素子と、前記光電変換素子から転送される電荷を保持し前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の前記画素からなる複数の画素行を備え、前記光電変換素子及び前記電荷保持部の電荷が前記読み出し回路の電荷排出領域に排出されることで前記光電変換素子及び前記電荷保持部の各々のリセットが行われる撮像素子と、
    前記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始するグローバルリセット駆動と、前記露光によって前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了するグローバルシャッタ駆動と、前記グローバルシャッタ駆動によって前記電荷保持部に保持された前記電荷に応じた信号を前記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された前記画素行の前記光電変換素子に蓄積された電荷を前記電荷保持部に転送して前記画素行の前記露光を終了する処理を前記画素行を変えながら順次行うローリングシャッタ駆動と、前記ローリングシャッタ駆動によって前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御部を備え、
    前記撮像制御部は、前記グローバルリセット駆動、前記グローバルシャッタ駆動、及び前記第一のローリング読み出し駆動を順次行った後、当該グローバルシャッタ駆動によって開始された前記画素の露光を前記ローリングシャッタ駆動を行って前記画素行毎に順次終了させ、当該露光が終了された前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行う撮像装置。
  2. 請求項１記載の撮像装置であって、
    前記撮像制御部は、前記グローバルリセット駆動、前記グローバルシャッタ駆動、及び前記第一のローリング読み出し駆動を順次行った後、前記画素行の前記光電変換素子の電荷を前記電荷排出領域に排出して当該光電変換素子の露光を開始する処理を前記画素行を変えながら順次行うローリングリセット駆動を行い、前記ローリングリセット駆動の開始後に、前記ローリングシャッタ駆動を開始して当該露光を順次終了させ、当該露光が終了された前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記第二のローリング読み出し駆動を行って読み出す第二の撮像制御と、前記第一の撮像制御とのいずれかを選択的に行う撮像装置。
  3. 請求項２記載の撮像装置であって、
    前記複数の画素は、位相差検出用画素を含み、
    前記第二のローリング読み出し駆動によって前記位相差検出用画素から出力される信号に基づいて、前記撮像素子の前方に配置される絞り及びフォーカスレンズを含む撮像光学系の合焦制御を行う合焦制御部を更に備え、
    前記撮像制御部は、前記グローバルリセット駆動時の前記絞りのＦ値が予め決められた絞り閾値以下である場合には前記第一の撮像制御を行い、前記Ｆ値が前記絞り閾値を超えている場合には、前記グローバルシャッタ駆動の後に前記絞りのＦ値を前記絞り閾値以下に制御した状態で前記第二の撮像制御を行う撮像装置。
  4. 請求項２記載の撮像装置であって、
    前記撮像制御部は、前記第一の撮像制御を行う場合の前記グローバルシャッタ駆動の開始タイミング及び前記ローリングシャッタ駆動の開始タイミングの間の時間と前記グローバルリセット駆動時に設定される前記撮像素子の前方に配置される撮像光学系に含まれる絞りのＦ値とに基づいて、前記第一の撮像制御を行う場合の前記グローバルシャッタ駆動により開始される前記露光時の前記撮像素子の露出値を算出し、前記露出値に基づいて、前記第一の撮像制御と前記第二の撮像制御のいずれかを選択して実行する撮像装置。
  5. 請求項４記載の撮像装置であって、
    前記撮像制御部は、前記露出値が予め決められた第一の露出閾値未満となる場合には前記第一の撮像制御を行い、前記露出値が前記第一の露出閾値以上となる場合には前記第二の撮像制御を行う撮像装置。
  6. 請求項４記載の撮像装置であって、
    前記複数の画素は、位相差検出用画素を含み、
    前記第二のローリング読み出し駆動によって前記位相差検出用画素から出力される信号に基づいて、前記撮像光学系に含まれるフォーカスレンズの合焦制御を行う合焦制御部と、
    前記第二のローリング読み出し駆動によって前記撮像素子の前記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御部と、を更に備え、
    前記撮像制御部は、前記露出値が第一の露出閾値以上となる場合には前記第二の撮像制御を行い、前記露出値が前記第一の露出閾値未満となる場合には前記第一の撮像制御を行い、
    前記表示制御部は、前記露出値が前記第一の露出閾値未満となりかつ前記第一の露出閾値よりも小さい第二の露出閾値以上となる場合には、前記第一の撮像制御における前記第二のローリング読み出し駆動によって前記撮像素子から出力される信号に基づく前記ライブビュー画像の前記表示装置への表示を停止する撮像装置。
  7. 請求項１記載の撮像装置であって、
    前記複数の画素は、位相差検出用画素を含み、
    前記第二のローリング読み出し駆動によって前記位相差検出用画素から出力される信号に基づいて、前記撮像素子の前方に配置される絞り及びフォーカスレンズを含む撮像光学系の合焦制御を行う合焦制御部と、
    前記第二のローリング読み出し駆動によって前記撮像素子の前記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御部と、を更に備え、
    前記撮像制御部は、前記第一の撮像制御を行う場合の前記グローバルシャッタ駆動の開始タイミング及び前記ローリングシャッタ駆動の開始タイミングの間の時間と前記グローバルリセット駆動時の前記絞りのＦ値とに基づいて、前記第一の撮像制御を行う場合の前記グローバルシャッタ駆動により開始される前記露光時の前記撮像素子の露出値を算出し、
    前記表示制御部は、前記露出値が予め決められた第一露出閾値未満となりかつ前記第一の露出閾値よりも小さい第二の露出閾値以上となる場合には、前記第一の撮像制御における前記第二のローリング読み出し駆動によって前記撮像素子から出力される信号に基づく前記ライブビュー画像の前記表示装置への表示を停止する撮像装置。
  8. 光電変換素子と、前記光電変換素子から転送される電荷を保持し前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の前記画素からなる複数の画素行を備え、前記光電変換素子及び前記電荷保持部の電荷が前記読み出し回路の電荷排出領域に排出されることで前記光電変換素子及び前記電荷保持部の各々のリセットが行われる撮像素子を用いた撮像方法であって、
    前記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始するグローバルリセット駆動と、前記露光によって前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了するグローバルシャッタ駆動と、前記グローバルシャッタ駆動によって前記電荷保持部に保持された前記電荷に応じた信号を前記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された前記画素行の前記光電変換素子に蓄積された電荷を前記電荷保持部に転送して前記画素行の前記露光を終了する処理を前記画素行を変えながら順次行うローリングシャッタ駆動と、前記ローリングシャッタ駆動によって前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御ステップを備え、
    前記撮像制御ステップでは、前記グローバルリセット駆動、前記グローバルシャッタ駆動、及び前記第一のローリング読み出し駆動を順次行った後、当該グローバルシャッタ駆動によって開始された前記画素の露光を前記ローリングシャッタ駆動を行って前記画素行毎に順次終了させ、当該露光が終了された前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行う撮像方法。
  9. 請求項８記載の撮像方法であって、
    前記撮像制御ステップでは、前記グローバルリセット駆動、前記グローバルシャッタ駆動、及び前記第一のローリング読み出し駆動を順次行った後、前記画素行の前記光電変換素子の電荷を前記電荷排出領域に排出して当該光電変換素子の露光を開始する処理を前記画素行を変えながら順次行うローリングリセット駆動を行い、前記ローリングリセット駆動の開始後に、前記ローリングシャッタ駆動を開始して当該露光を順次終了させ、当該露光が終了された前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記第二のローリング読み出し駆動を行って読み出す第二の撮像制御と、前記第一の撮像制御とのいずれかを選択的に行う撮像方法。
  10. 請求項９記載の撮像方法であって、
    前記複数の画素は、位相差検出用画素を含み、
    前記第二のローリング読み出し駆動によって前記位相差検出用画素から出力される信号に基づいて、前記撮像素子の前方に配置される絞り及びフォーカスレンズを含む撮像光学系の合焦制御を行う合焦制御ステップを更に備え、
    前記撮像制御ステップでは、前記グローバルリセット駆動時の前記絞りのＦ値が予め決められた絞り閾値以下である場合には前記第一の撮像制御を行い、前記Ｆ値が前記絞り閾値を超えている場合には、前記グローバルシャッタ駆動の後に前記絞りのＦ値を前記絞り閾値以下に制御した状態で前記第二の撮像制御を行う撮像方法。
  11. 請求項９記載の撮像方法であって、
    前記撮像制御ステップでは、前記第一の撮像制御を行う場合の前記グローバルシャッタ駆動の開始タイミング及び前記ローリングシャッタ駆動の開始タイミングの間の時間と前記グローバルリセット駆動時に設定される前記撮像素子の前方に配置される撮像光学系に含まれる絞りのＦ値とに基づいて、前記第一の撮像制御を行う場合の前記グローバルシャッタ駆動により開始される前記露光時の前記撮像素子の露出値を算出し、前記露出値に基づいて、前記第一の撮像制御と前記第二の撮像制御のいずれかを選択して実行する撮像方法。
  12. 請求項１１記載の撮像方法であって、
    前記撮像制御ステップでは、前記露出値が予め決められた第一の露出閾値未満となる場合には前記第一の撮像制御を行い、前記露出値が前記第一の露出閾値以上となる場合には前記第二の撮像制御を行う撮像方法。
  13. 請求項１１記載の撮像方法であって、
    前記複数の画素は、位相差検出用画素を含み、
    前記第二のローリング読み出し駆動によって前記位相差検出用画素から出力される信号に基づいて、前記撮像光学系に含まれるフォーカスレンズの合焦制御を行う合焦制御ステップと、
    前記第二のローリング読み出し駆動によって前記撮像素子の前記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御ステップと、を更に備え、
    前記撮像制御ステップでは、前記露出値が第一の露出閾値以上となる場合には前記第二の撮像制御を行い、前記露出値が前記第一の露出閾値未満となる場合には前記第一の撮像制御を行い、
    前記表示制御ステップでは、前記露出値が前記第一の露出閾値未満となりかつ前記第一の露出閾値よりも小さい第二の露出閾値以上となる場合には、前記第一の撮像制御における前記第二のローリング読み出し駆動によって前記撮像素子から出力される信号に基づく前記ライブビュー画像の前記表示装置への表示を停止する撮像方法。
  14. 請求項８記載の撮像方法であって、
    前記複数の画素は、位相差検出用画素を含み、
    前記第二のローリング読み出し駆動によって前記位相差検出用画素から出力される信号に基づいて、前記撮像素子の前方に配置される絞り及びフォーカスレンズを含む撮像光学系の合焦制御を行う合焦制御ステップと、
    前記第二のローリング読み出し駆動によって前記撮像素子の前記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御ステップと、を更に備え、
    前記撮像制御ステップでは、前記第一の撮像制御を行う場合の前記グローバルシャッタ駆動の開始タイミング及び前記ローリングシャッタ駆動の開始タイミングの間の時間と前記グローバルリセット駆動時の前記絞りのＦ値とに基づいて、前記第一の撮像制御を行う場合の前記グローバルシャッタ駆動により開始される前記露光時の前記撮像素子の露出値を算出し、
    前記表示制御ステップでは、前記露出値が予め決められた第一露出閾値未満となりかつ前記第一の露出閾値よりも小さい第二の露出閾値以上となる場合には、前記第一の撮像制御における前記第二のローリング読み出し駆動によって前記撮像素子から出力される信号に基づく前記ライブビュー画像の前記表示装置への表示を停止する撮像方法。
  15. 光電変換素子と、前記光電変換素子から転送される電荷を保持し前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の前記画素からなる複数の画素行を備え、前記光電変換素子及び前記電荷保持部の電荷が前記読み出し回路の電荷排出領域に排出されることで前記光電変換素子及び前記電荷保持部の各々のリセットが行われる撮像素子を用いた撮像方法をコンピュータに実行させるための撮像プログラムであって、
    前記撮像方法は、
    記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始するグローバルリセット駆動と、前記露光によって前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了するグローバルシャッタ駆動と、前記グローバルシャッタ駆動によって前記電荷保持部に保持された前記電荷に応じた信号を前記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された前記画素行の前記光電変換素子に蓄積された電荷を前記電荷保持部に転送して前記画素行の前記露光を終了する処理を前記画素行を変えながら順次行うローリングシャッタ駆動と、前記ローリングシャッタ駆動によって前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御ステップを備え、
    前記撮像制御ステップでは、前記グローバルリセット駆動、前記グローバルシャッタ駆動、及び前記第一のローリング読み出し駆動を順次行った後、当該グローバルシャッタ駆動によって開始された前記画素の露光を前記ローリングシャッタ駆動を行って前記画素行毎に順次終了させ、当該露光が終了された前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行う撮像プログラム。
JP2019507506A 2017-03-24 2018-03-05 撮像装置、撮像方法、及び撮像プログラム Active JP6569023B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017059678 2017-03-24
JP2017059678 2017-03-24
PCT/JP2018/008398 WO2018173725A1 (ja) 2017-03-24 2018-03-05 撮像装置、撮像方法、及び撮像プログラム

Publications (2)

Publication Number Publication Date
JPWO2018173725A1 JPWO2018173725A1 (ja) 2019-08-08
JP6569023B2 true JP6569023B2 (ja) 2019-08-28

Family

ID=63585973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019507506A Active JP6569023B2 (ja) 2017-03-24 2018-03-05 撮像装置、撮像方法、及び撮像プログラム

Country Status (4)

Country Link
US (1) US10944925B2 (ja)
JP (1) JP6569023B2 (ja)
CN (1) CN110463186B (ja)
WO (1) WO2018173725A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7420137B2 (ja) * 2019-03-29 2024-01-23 ソニーグループ株式会社 信号処理装置、撮像装置、信号処理方法
CN113141466A (zh) * 2021-04-21 2021-07-20 广州极飞科技股份有限公司 图像处理系统、图像处理方法及电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009102616A2 (en) * 2008-02-12 2009-08-20 Datalogic Scanning, Inc. Systems and methods for forming a composite image of multiple portions of an object from multiple perspectives
JP5446282B2 (ja) * 2009-01-21 2014-03-19 ソニー株式会社 固体撮像素子およびカメラシステム
JP2011135185A (ja) * 2009-12-22 2011-07-07 Sanyo Electric Co Ltd 撮像装置
JP2011244253A (ja) * 2010-05-19 2011-12-01 Nikon Corp 撮像装置
JP2012004819A (ja) * 2010-06-16 2012-01-05 Olympus Corp 読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラム
JP5631643B2 (ja) * 2010-06-24 2014-11-26 オリンパス株式会社 読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラム
JP5156148B2 (ja) * 2010-07-28 2013-03-06 富士フイルム株式会社 撮像装置及び撮像方法
JP2012129817A (ja) * 2010-12-15 2012-07-05 Canon Inc 撮像装置及び撮像素子の制御方法
JP5718069B2 (ja) * 2011-01-18 2015-05-13 オリンパス株式会社 固体撮像装置および撮像装置
JP5958740B2 (ja) * 2012-03-06 2016-08-02 ソニー株式会社 固体撮像素子および駆動方法、並びに、電子機器
US9854216B2 (en) * 2013-12-10 2017-12-26 Canon Kabushiki Kaisha Image pickup apparatus that displays image based on signal output from image pickup device, method of controlling the same, and storage medium
US10375300B2 (en) * 2014-04-28 2019-08-06 Lynx System Developers, Inc. Methods for processing event timing data
WO2018088120A1 (ja) * 2016-11-14 2018-05-17 富士フイルム株式会社 撮像装置、撮像方法、及び、撮像プログラム

Also Published As

Publication number Publication date
US20200021756A1 (en) 2020-01-16
CN110463186A (zh) 2019-11-15
JPWO2018173725A1 (ja) 2019-08-08
WO2018173725A1 (ja) 2018-09-27
US10944925B2 (en) 2021-03-09
CN110463186B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
US10623673B2 (en) Imaging device, imaging method, and imaging program
JP5948492B2 (ja) 撮像装置及び合焦制御方法
JP6569022B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
US10848692B2 (en) Global shutter and rolling shutter drive start timings for imaging apparatus, imaging method, and imaging program
US10944925B2 (en) Global shuttering, first rolling readout and second rolling readout employed with an imaging apparatus, imaging method, and imaging program
JP6928663B2 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
US20190215470A1 (en) Imaging apparatus, operation method of imaging apparatus, and operation program of imaging apparatus
US20190273861A1 (en) Imaging device, imaging method, and imaging program
US10863110B2 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program
US10778880B2 (en) Imaging device, imaging method, and imaging program
US20230388669A1 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program
US11861874B2 (en) Imaging apparatus, imaging control method, and imaging control program
US20240007767A1 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190409

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190409

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190805

R150 Certificate of patent or registration of utility model

Ref document number: 6569023

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250