WO2018180257A1 - 撮像装置、撮像方法、及び撮像プログラム - Google Patents

撮像装置、撮像方法、及び撮像プログラム Download PDF

Info

Publication number
WO2018180257A1
WO2018180257A1 PCT/JP2018/008399 JP2018008399W WO2018180257A1 WO 2018180257 A1 WO2018180257 A1 WO 2018180257A1 JP 2018008399 W JP2018008399 W JP 2018008399W WO 2018180257 A1 WO2018180257 A1 WO 2018180257A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
drive
driving
reliability
exposure time
Prior art date
Application number
PCT/JP2018/008399
Other languages
English (en)
French (fr)
Inventor
史憲 入江
智紀 増田
秀和 倉橋
善工 古田
仁史 桜武
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201880021922.7A priority Critical patent/CN110463187B/zh
Priority to JP2019509094A priority patent/JP6569025B2/ja
Publication of WO2018180257A1 publication Critical patent/WO2018180257A1/ja
Priority to US16/585,933 priority patent/US10848692B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/093Digital circuits for control of exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Abstract

静止画撮像が行われた後のライブビュー画像の表示の更新を高速化して被写体を見失うリスクを低減することのできる撮像装置、撮像方法、及び撮像プログラムを提供する。デジタルカメラ100は、グローバルシャッタ方式の第一の駆動で撮像素子5を駆動して静止画撮像を行い、第一の駆動によって画素信号の読み出しを行っている期間に、ローリングシャッタ方式の第二の駆動で撮像素子5を駆動してライブビュー画像表示のためのLV像を開始する。第二の駆動によって画素行62から画素信号が読み出されると、この画素信号に基づいてライブビュー画像が更新される。第二の駆動のローリング読み出し駆動の開始タイミングは、第一の駆動の画素信号の読み出し終了後に初めて訪れる表示同期信号VDの立下りタイミングに同期したタイミングに制御される。

Description

撮像装置、撮像方法、及び撮像プログラム
 本発明は、撮像装置、撮像方法、及び撮像プログラムに関する。
 近年、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子の高解像度化に伴い、電子内視鏡、デジタルスチルカメラ、デジタルビデオカメラ、又はカメラ付きの携帯電話機等の撮像機能を有する電子機器の需要が急増している。なお、以上のような撮像機能を有する電子機器を撮像装置と称する。
 MOS型の撮像素子には、光電変換素子と、この光電変換素子で発生し蓄積された電荷を保持する電荷保持部と、この電荷保持部に保持された電荷に応じた画素信号を信号線に読み出す読み出し回路とを含む画素が二次元状に配置されたものがある。
 このような撮像素子は、グローバルシャッタ方式の駆動とローリングシャッタ方式の駆動とを行うことが可能である。
 グローバルシャッタ方式の駆動は、全ての画素の光電変換素子を同時にリセットして全ての画素で同時に露光を開始し、その後、各画素の光電変換素子に蓄積された電荷を各画素の電荷保持部に同時に転送することで全ての画素で同時に露光を終了し、その後、画素行毎に順次、電荷保持部に蓄積された電荷を画素信号に変換して信号線に読み出していくものである。
 ローリングシャッタ方式の駆動は、画素行の光電変換素子をリセットしてこの画素行の露光を開始し、その後、この画素行の光電変換素子に蓄積された電荷を電荷保持部に転送してこの露光を終了し、この電荷保持部に保持された電荷に応じた画素信号を信号線に読み出す駆動を、画素行を変えながら順次行う方式である。
 特許文献1には、静止画記憶用の撮像時には、撮像素子をグローバルシャッタ方式で駆動し、ライブビュー画像表示用の撮像時には、撮像素子をローリングシャッタ方式で駆動する撮像装置が記載されている。
 特許文献1には、静止画記憶用の撮像時における電荷保持部からの画素信号の読み出し期間中に、ライブビュー画像表示用の撮像を開始することが記載されている。
日本国特開2012-129817号公報
 ライブビュー画像を表示する撮像装置では、ライブビュー画像を一定間隔で更新していく。このため、ライブビュー画像表示用の撮像の終了タイミングと、ライブビュー画像の表示の更新タイミングとを同期させるべく、撮像素子の駆動条件が決められる。
 一方、静止画記憶用の撮像は、電荷保持部から読み出す画素信号の数がライブビュー画像表示用の撮像に比べて多い。
 このため、静止画記憶用の撮像では、電荷保持部からの画素信号の読み出しに要する時間がライブビュー画像表示用の撮像に比べて長くなる。
 この読み出し時間の違いにより、通常は、静止画記憶用の撮像が終了(全ての電荷保持部からの画素信号の読み出しが完了)してから、ライブビュー画像表示用の撮像を再開することが行われる。
 しかし、静止画記憶用の撮像が終了してからライブビュー画像表示用の撮像を再開する方法では、ライブビュー画像を更新できない時間が長くなる場合がある。この場合、表示装置を見ながら撮像を行っているユーザにとっては、被写体を見失う可能性が高くなる。
 特許文献1に記載の撮像装置では、グローバルシャッタ方式の駆動とローリングシャッタ方式の駆動とで、電荷保持部からの画素信号の読み出し時間が同じになっており、グローバルシャッタ方式の駆動において画素信号の読み出し時間が相対的に長くなる場合の駆動については開示していない。
 本発明は、上記事情に鑑みてなされたものであり、静止画撮像が行われた後のライブビュー画像の表示の更新を高速化して被写体を見失うリスクを低減することのできる撮像装置、撮像方法、及び撮像プログラムを提供することを目的とする。
 本発明の撮像装置は、光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、上記電荷保持部を非経由で上記光電変換素子の電荷が排出される電荷排出領域と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、撮像光学系を通して被写体を撮像する撮像素子と、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動、及び上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動からなるグローバルシャッタ方式の第一の駆動と、上記画素行の上記光電変換素子の電荷を上記電荷排出領域に排出してその光電変換素子の露光を開始する処理を上記画素行を変えながら順次行うローリングリセット駆動、上記ローリングリセット駆動によって露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動、及び上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動からなるローリングシャッタ方式の第二の駆動と、を行う撮像制御部と、上記第二の駆動によって上記撮像素子の上記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御部と、を備え、上記第一のローリング読み出し駆動に要する時間は、上記ローリングリセット駆動、上記ローリングシャッタ駆動、及び上記第二のローリング読み出し駆動の各々に要する時間よりも長くなっており、上記撮像制御部は、上記第二の駆動を連続して行う間に上記第一の駆動を行う撮像モードにおいて、上記第一の駆動の開始後に最初に行う上記第二の駆動の第一の開始タイミングを上記第一の駆動における上記第一のローリング読み出し駆動の実施期間中とし、かつ、上記第一の駆動の開始後に最初に行う上記ローリングシャッタ駆動の第二の開始タイミングを、上記第一のローリング読み出し駆動の終了後に最初に訪れる上記表示装置の表示更新タイミングに同期させるものである。
 本発明の撮像方法は、光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、上記電荷保持部を非経由で上記光電変換素子の電荷が排出される電荷排出領域と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、撮像光学系を通して被写体を撮像する撮像素子を用いた撮像方法であって、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動、及び上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動からなるグローバルシャッタ方式の第一の駆動と、上記画素行の上記光電変換素子の電荷を上記電荷排出領域に排出してその光電変換素子の露光を開始する処理を上記画素行を変えながら順次行うローリングリセット駆動、上記ローリングリセット駆動によって露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動、及び上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動からなるローリングシャッタ方式の第二の駆動と、を行う撮像制御ステップと、上記第二の駆動によって上記撮像素子の上記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御ステップと、を備え、上記第一のローリング読み出し駆動に要する時間は、上記ローリングリセット駆動、上記ローリングシャッタ駆動、及び上記第二のローリング読み出し駆動の各々に要する時間よりも長くなっており、上記撮像制御ステップでは、上記第二の駆動を連続して行う間に上記第一の駆動を行う撮像モードにおいて、上記第一の駆動の開始後に最初に行う上記第二の駆動の第一の開始タイミングを上記第一の駆動における上記第一のローリング読み出し駆動の実施期間中とし、かつ、上記第一の駆動の開始後に最初に行う上記ローリングシャッタ駆動の第二の開始タイミングを、上記第一のローリング読み出し駆動の終了後に最初に訪れる上記表示装置の表示更新タイミングに同期させるものである。
 本発明の撮像プログラムは、光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、上記電荷保持部を非経由で上記光電変換素子の電荷が排出される電荷排出領域と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、撮像光学系を通して被写体を撮像する撮像素子を用いた撮像方法をコンピュータに実行させるための撮像プログラムであって、上記撮像方法は、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動、及び上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動からなるグローバルシャッタ方式の第一の駆動と、上記画素行の上記光電変換素子の電荷を上記電荷排出領域に排出してその光電変換素子の露光を開始する処理を上記画素行を変えながら順次行うローリングリセット駆動、上記ローリングリセット駆動によって露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動、及び上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動からなるローリングシャッタ方式の第二の駆動と、を行う撮像制御ステップと、上記第二の駆動によって上記撮像素子の上記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御ステップと、を備え、上記第一のローリング読み出し駆動に要する時間は、上記ローリングリセット駆動、上記ローリングシャッタ駆動、及び上記第二のローリング読み出し駆動の各々に要する時間よりも長くなっており、上記撮像制御ステップでは、上記第二の駆動を連続して行う間に上記第一の駆動を行う撮像モードにおいて、上記第一の駆動の開始後に最初に行う上記第二の駆動の第一の開始タイミングを上記第一の駆動における上記第一のローリング読み出し駆動の実施期間中とし、かつ、上記第一の駆動の開始後に最初に行う上記ローリングシャッタ駆動の第二の開始タイミングを、上記第一のローリング読み出し駆動の終了後に最初に訪れる上記表示装置の表示更新タイミングに同期させるものである。
 本発明によれば、静止画撮像が行われた後のライブビュー画像の表示の更新を高速化して被写体を見失うリスクを低減することのできる撮像装置、撮像方法、及び撮像プログラムを提供することができる。
本発明の撮像装置の一実施形態であるデジタルカメラ100の概略構成を示す図である。 図1に示す表示面23の概略構成を示す平面模式図である。 図1に示す撮像素子5の概略構成を示す平面模式図である。 図3に示す撮像素子5の画素61の概略構成を示す平面模式図である。 図4に示す撮像素子5の画素61のA-A線の断面模式図である。 図1に示すデジタルカメラ100の機能ブロック図である。 図1に示すデジタルカメラ100の撮像モード時の動作を示すタイミングチャートである。 図1に示すデジタルカメラ100の撮像モード時の動作の変形例を示すタイミングチャートである。 図1に示すデジタルカメラ100の動作を説明するためのフローチャートである。 図1に示すデジタルカメラ100の動作の変形例を説明するためのフローチャートである。 図10に示すフローチャートにおけるステップS15が行われた場合のタイミングチャートを示している。 図1に示すデジタルカメラ100の機能ブロックの変形例を示す図である。 図12に示すデジタルカメラ100の連写モード時の動作を説明するためのフローチャートである。 図1に示すデジタルカメラ100の機能ブロックの変形例を示す図である。 図14に示すデジタルカメラ100の連写モード時の動作を説明するためのフローチャートである。 図14に示すデジタルカメラ100の機能ブロックの変形例を示す図である。 図1に示すデジタルカメラ100の機能ブロックの変形例を示す図である。 図17に示すデジタルカメラ100の動作の一例を説明するためのタイミングチャートである。 図17に示すデジタルカメラ100の連写モード時の動作を説明するためのフローチャートである。 図14に示すデジタルカメラ100の機能ブロックの変形例を示す図である。 本発明の撮影装置の一実施形態であるスマートフォン200の外観を示すものである。 図21に示すスマートフォン200の構成を示すブロック図である。
 以下、本発明の実施形態について図面を参照して説明する。
 図1は、本発明の撮像装置の一実施形態であるデジタルカメラ100の概略構成を示す図である。
 図1に示すデジタルカメラ100は、撮像レンズ1と、絞り2と、レンズ制御部4と、レンズ駆動部8と、絞り駆動部9と、を有するレンズ装置40を備える。
 レンズ装置40は、デジタルカメラ100に着脱可能なものであってもよいし、デジタルカメラ100と一体化されたものであってもよい。
 撮像レンズ1と絞り2は撮像光学系を構成し、撮像レンズ1は光軸方向に移動可能なフォーカスレンズ又はズームレンズ等を含む。
 フォーカスレンズは、撮像光学系の焦点を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。フォーカスレンズが光軸方向に移動することで、フォーカスレンズの主点の位置が光軸方向に沿って変化し、被写体側の焦点位置の変更が行われる。
 なお、フォーカスレンズとしては、光軸方向の主点の位置を電気的な制御により変更することで焦点調節が可能な液体レンズが用いられてもよい。
 レンズ装置40のレンズ制御部4は、デジタルカメラ100のシステム制御部11と有線又は無線によって通信可能に構成される。
 レンズ制御部4は、システム制御部11からの指令にしたがい、レンズ駆動部8を介して撮像レンズ1に含まれるフォーカスレンズを制御してフォーカスレンズの主点の位置を変更(焦点距離を変更)したり、絞り駆動部9を介して絞り2の開口量を制御したりする。本明細書において絞り2のF値とは、絞り2の開口量を示す値であり、F値が大きいほど、開口量は小さいことを意味する。
 デジタルカメラ100は、更に、撮像光学系を通して被写体を撮像するMOS型の撮像素子5を備える。
 撮像素子5は、複数の画素が二次元状に配置された撮像面を有し、撮像光学系によってこの撮像面に結像される被写体像をこの複数の画素によって画素信号に変換して出力する。撮像素子5の各画素から出力される画素信号の集合を以下では撮像画像信号という。
 デジタルカメラ100の電気制御系全体を統括制御するシステム制御部11は、撮像素子駆動部10を介して撮像素子5を駆動し、レンズ装置40の撮像光学系を通して撮像した被写体像を撮像画像信号として出力させる。
 システム制御部11には、操作部14を通して利用者からの指示信号が入力される。
 システム制御部11は、デジタルカメラ100全体を統括制御するものであり、ハードウェア的な構造は、撮像プログラムを含むプログラムを実行して処理を行う各種のプロセッサである。
 各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるCPU(Central Prosessing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又はASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
 これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
 システム制御部11は、各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAの組み合わせ)で構成されてもよい。
 更に、このデジタルカメラ100の電気制御系は、RAM(Random Accsess Memory)から構成されるメインメモリ16と、メインメモリ16へのデータ記憶及びメインメモリ16からのデータ読み出しの制御を行うメモリ制御部15と、撮像素子5から出力される撮像画像信号に対しデジタル信号処理を行ってJPEG(Joint Photographic Experts Group)形式等の各種フォーマットにしたがった撮像画像データを生成するデジタル信号処理部17と、記憶媒体21へのデータ記憶及び記憶媒体21からのデータ読み出しの制御を行う外部メモリ制御部20と、有機EL(electroluminescence)パネル又は液晶パネル等で構成される表示面23と、表示面23の表示を制御する表示コントローラ22と、を備える。表示面23と表示コントローラ22は表示装置を構成する。
 記憶媒体21は、デジタルカメラ100に内蔵されるフラッシュメモリ等の半導体メモリ又はデジタルカメラ100に着脱可能な可搬型の半導体メモリ等である。
 メモリ制御部15、デジタル信号処理部17、外部メモリ制御部20、及び表示コントローラ22は、制御バス24及びデータバス25によって相互に接続され、システム制御部11からの指令によって制御される。
 デジタル信号処理部17は、ハードウェア的な構造は、プログラムを実行して処理を行う上記に例示した各種のプロセッサである。
 表示コントローラ22は、プログラムを実行して処理を行う上記に例示した各種のプロセッサと、表示すべき画像のデータを保持するための表示メモリとを含む。
 図2は、図1に示す表示面23の概略構成を示す平面模式図である。
 表示面23は、一方向である行方向Xに並ぶ複数の表示画素23Aからなる表示画素行23Bが、この行方向Xと直交する直交方向である列方向Yに複数配列された面である。
 表示コントローラ22は、表示画素行23Bに描画するライン画像を表示面23の列方向Yの上端(一端)の表示画素行23Bから下端(他端)の表示画素行23Bに向かって順次更新する描画更新処理を行うことで、表示画素行23Bと同数のライン画像からなるライブビュー画像を表示面23に表示する。
 図3は、図1に示す撮像素子5の概略構成を示す平面模式図である。図4は、図3に示す撮像素子5の画素61の概略構成を示す平面模式図である。図5は、図4に示す撮像素子5の画素61のA-A線の断面模式図である。
 撮像素子5は、行方向Xに配列された複数の画素61からなる画素行62が、行方向Xと直交する列方向Yに複数配列された撮像面60と、撮像面60に配列された画素61を駆動する駆動回路63と、撮像面60に配列された画素行62の各画素61から信号線に読み出される画素信号を処理する信号処理回路64と、を備える。
 以下では、図3において撮像面60の列方向Yの上側の端部を上端といい、撮像面60の列方向Yの下側の端部を下端という。この上端は撮像面60の一端を構成し、この下端は撮像面60の他端を構成する。
 図4に示すように、画素61は、半導体基板に形成された光電変換素子61A、電荷保持部61B、電荷転送部61C、フローティングディフュージョン61D、読み出し回路61E、及び電荷排出領域61Fを備える。
 光電変換素子61Aは、レンズ装置40の撮像光学系を通った光を受光し受光量に応じた電荷を発生して蓄積する。光電変換素子61Aは、フォトダイオード等で構成される。
 電荷転送部61Cは、光電変換素子61Aに蓄積された電荷を電荷保持部61Bに転送する。電荷転送部61Cは、半導体基板内の不純物領域と、この不純物領域の上方に形成された電極とで構成される。
 電荷転送部61Cを構成する電極に印加される電圧が駆動回路63によって制御されることで、光電変換素子61Aから電荷保持部61Bへの電荷の転送が行われる。
 電荷保持部61Bは、光電変換素子61Aから電荷転送部61Cによって転送された電荷を保持する。電荷保持部61Bは、半導体基板内の不純物領域により構成される。
 フローティングディフュージョン61Dは、電荷を信号に変換するためのものであり、電荷保持部61Bに保持された電荷が転送されてくる。
 読み出し回路61Eは、フローティングディフュージョン61Dの電位に応じた信号を画素信号として信号線65に読み出す回路である。読み出し回路61Eは、駆動回路63によって駆動される。
 電荷排出領域61Fは、光電変換素子61Aに蓄積されている電荷を光電変換素子61Aから排出するために設けられている。
 図5に示すように、N型基板70表面にはPウェル層71が形成され、Pウェル層71の表面部には光電変換素子61Aが形成されている。
 光電変換素子61Aは、N型不純物層73とこの上に形成されたP型不純物層74とによって構成されている。N型基板70とPウェル層71によって半導体基板が構成される。
 Pウェル層71の表面部には、光電変換素子61Aから右に少し離間して、N型不純物層からなる電荷保持部61Bが形成されている。
 電荷保持部61Bと光電変換素子61Aとの間のPウェル層71の領域75の上方には、図示省略の酸化膜を介して、転送電極76が形成されている。
 領域75と転送電極76とが電荷転送部61Cを構成する。図4の例では、転送電極76が電荷保持部61Bの上方にまで形成されているが、転送電極76は少なくとも領域75上方に形成されていればよい。
 転送電極76の電位を制御して領域75にチャネルを形成することで、光電変換素子61Aに蓄積された電荷を電荷保持部61Bに転送することができる。転送電極76の電位は駆動回路63によって制御される。
 Pウェル層71の表面部には、光電変換素子61Aから左に少し離間して、N型不純物層からなる電荷排出領域61Fが形成されている。
 電荷排出領域61Fと光電変換素子61Aとの間のPウェル層71の上方には、図示省略の酸化膜を介して、リセット用電極RGが形成されている。
 リセット用電極RGの電位を制御してこのリセット用電極RGの下方にチャネルを形成することで、光電変換素子61Aに蓄積された電荷を電荷排出領域61Fに排出して、光電変換素子61Aをリセットすることができる。リセット用電極RGの電位は駆動回路63によって制御される。
 Pウェル層71の表面部には、電荷保持部61Bから右に少し離間して、N型不純物層からなるフローティングディフュージョン61Dが形成されている。
 電荷保持部61Bとフローティングディフュージョン61Dとの間のPウェル層71の上方には、図示省略の酸化膜を介して、読み出し電極72が形成されている。
 読み出し電極72の電位を制御して、電荷保持部61Bとフローティングディフュージョン61Dとの間の領域にチャネルを形成することで、電荷保持部61Bに保持された電荷をフローティングディフュージョン61Dに転送することができる。読み出し電極72の電位は駆動回路63によって制御される。
 図5に示す例では、読み出し回路61Eは、フローティングディフュージョン61Dの電位をリセットするためのリセットトランジスタ77と、フローティングディフュージョン61Dの電位を画素信号に変換して出力する出力トランジスタ78と、出力トランジスタ78から出力される画素信号を選択的に信号線65に読み出すための選択トランジスタ79とによって構成されている。読み出し回路の構成は一例であり、これに限るものではない。
 なお、読み出し回路61Eは、複数の画素61で共用される場合もある。
 図3に示す駆動回路63は、各画素61の転送電極76、読み出し電極72、リセット用電極RG、及び読み出し回路61Eを画素行62毎に独立に駆動して、画素行62に含まれる各光電変換素子61Aのリセットと、この各光電変換素子61Aに蓄積された電荷に応じた画素信号の信号線65への読み出し等を行う。駆動回路63は、撮像素子駆動部10によって制御される。
 図3に示す信号処理回路64は、画素行62の各画素61から信号線65に読み出された画素信号に対し、相関二重サンプリング処理を行い、相関二重サンプリング処理後の画素信号をデジタル信号に変換してデータバス25に出力する。信号処理回路64は、撮像素子駆動部10によって制御される。
 撮像素子5の撮像面60に形成されている画素行62の総数Mは、表示面23に形成されている表示画素行23Bの総数mよりも多い。
 デジタルカメラ100では、撮像面60に形成されたM個の画素行62のうち列方向Yに向かって一定間隔を空けて並ぶm個の画素行62が表示対象画素行として設定されている。以下、表示対象画素行として設定された画素行62を、表示対象画素行62とも言う。
 撮像面60の上端から数えてi番目(iは1~m)にある表示対象画素行62には、表示面23の上端から数えてi番目にある表示画素行23Bが対応付けて管理されている。
 図6は、図1に示すデジタルカメラ100の機能ブロック図である。
 デジタルカメラ100は、機能ブロックとして、撮像制御部11Aと、表示制御部11Bと、を備える。
 システム制御部11は、撮像プログラムを含むプログラムを実行することで、撮像制御部11A及び表示制御部11Bとして機能する。
 撮像制御部11Aは、撮像素子駆動部10を制御して、撮像素子5をグローバルリセット駆動、グローバルシャッタ駆動、ローリングリセット駆動、ローリングシャッタ駆動、第一のローリング読み出し駆動、及び第二のローリング読み出し駆動のそれぞれで駆動する。
 グローバルリセット駆動は、撮像素子5の撮像面60に形成された各画素61の光電変換素子61Aを同時にリセットして、この各画素61の露光を同時に開始する駆動である。
 なお、グローバルリセット駆動時における光電変換素子61Aのリセットは、電荷転送部61Cを電荷が転送可能な状態とし、かつ、読み出し電極72下方の半導体基板にチャネルを形成した状態で、リセットトランジスタ77によってフローティングディフュージョン61Dをリセットすることで行ってもよい。
 グローバルシャッタ駆動は、グローバルリセット駆動によってM個の画素行62の各画素61で開始された露光によりこの各画素61の光電変換素子61Aに蓄積された電荷を電荷保持部61Bに転送して、全ての画素61で同時に露光を終了する駆動である。
 ローリングリセット駆動は、表示対象画素行62の光電変換素子61Aをリセット(光電変換素子61Aから電荷排出領域61Fへの電荷の排出)してその光電変換素子61Aの露光を開始する処理を、表示対象画素行62を変えながら順次行う駆動である。
 ローリングシャッタ駆動は、露光されている表示対象画素行62の光電変換素子61Aからその表示対象画素行62の電荷保持部61Bに電荷を転送してその表示対象画素行62の露光を終了する処理を、表示対象画素行62を変えながら順次行う駆動である。
 第一のローリング読み出し駆動は、グローバルシャッタ駆動によって各画素61の電荷保持部61Bに保持された電荷に応じた画素信号を、M個の画素行62毎に順次読み出す駆動である。
 第二のローリング読み出し駆動は、ローリングシャッタ駆動によって表示対象画素行62の電荷保持部61Bに保持された電荷に応じた画素信号の読み出しを、表示対象画素行62を変えながら順次行う駆動である。
 第一のローリング読み出し駆動は、駆動対象とする画素行62の数が、ローリングリセット駆動、ローリングシャッタ駆動、及び第二のローリング読み出し駆動よりも多い。
 このため、第一のローリング読み出し駆動に要する時間は、ローリングリセット駆動、ローリングシャッタ駆動、及び第二のローリング読み出し駆動の各々に要する時間よりも長くなっている。
 撮像制御部11Aは、デジタルカメラ100が撮像モードに設定されると、ローリングリセット駆動、ローリングシャッタ駆動、及び第二のローリング読み出し駆動からなるローリングシャッタ方式の第二の駆動によってライブビュー画像表示用の撮像(以下、LV撮像という)を連続して行う。
 そして、撮像制御部11Aは、この第二の駆動を連続して実行している間に、静止画像データの記憶媒体21への記憶のための撮像(以下、静止画撮像という)を行うタイミングになると、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動からなるグローバルシャッタ方式の第一の駆動によって静止画撮像を行い、その後、第二の駆動によるLV用の撮像を再開する。
 なお、上記の静止画撮像を行うタイミングとは、1回の撮像指示に応じて1つの静止画像データを記憶する単写モードであれば、利用者によって撮像指示がなされたタイミングである。
 また、上記の静止画撮像を行うタイミングとは、1回の撮像指示に応じて複数の静止画像データを連続して記憶する連写モードであれば、利用者によって撮像指示がなされてから連写間隔によって決まる一定間隔で訪れるタイミングである。
 図1に示すデジタル信号処理部17は、撮像制御部11Aが行う第一のローリング読み出し駆動によって撮像素子5から出力される撮像画像信号を処理して撮像画像データを生成し、この撮像画像データを記憶媒体21に記憶する。
 また、デジタル信号処理部17は、撮像制御部11Aが行う第二のローリング読み出し駆動によって撮像素子5の表示対象画素行62から順次出力される画素信号群を処理することで、この表示対象画素行62に対応する表示画素行23Bに対応したラインデータを生成し、生成したラインデータを表示コントローラ22に転送する。このラインデータの集合がライブビュー画像データを構成する。
 図6に示す表示制御部11Bは、この第二のローリング読み出し駆動によって得られるライブビュー画像データに基づくライブビュー画像を、表示コントローラ22を介して、表示面23に表示させる制御を行う。
 具体的には、表示制御部11Bは、表示コントローラ22による描画更新処理の開始指示を行うための表示同期信号を生成して、この表示同期信号を表示コントローラ22に供給する。
 表示コントローラ22は、表示制御部11Bから入力される表示同期信号が立下がると描画更新処理を開始する。
 すなわち、表示同期信号が立下がると、表示コントローラ22は、表示画素行23Bを表示面23の上端から下端に向かって順次選択し、選択した表示画素行23Bに対応するラインデータに基づくライン画像を、この選択した表示画素行23Bに描画する。
 撮像制御部11Aは、撮像モードにおいて、第二の駆動における第二のローリング読み出し駆動の開始タイミングを、表示同期信号の立下りタイミング(言い換えると表示装置による描画更新処理の開始タイミング)に同期したタイミングに制御する。
 第一のタイミングに同期した第二のタイミングとは、第一のタイミングよりも予め決められた時間前のタイミングのことを言う。
 この予め決められた時間は、ローリングシャッタ駆動が開始されてからデジタル信号処理部17によって最初に生成されたラインデータが表示コントローラ22の表示メモリに記憶されるまでにかかる時間であり、各種プロセッサの処理能力及びデータの伝送時間等によって決められる。
 撮像制御部11Aは、第二の駆動におけるローリングリセット駆動の開始タイミングについては、被写体の明るさに合った適正露出を確保できるように、表示同期信号の立下りタイミングに同期したタイミングよりも所定時間前のタイミングに制御する。
 なお、撮像制御部11Aは、第一の駆動の開始後に最初に行う第二の駆動のローリングリセット駆動の開始タイミングについては、第一の駆動における第一のローリング読み出し駆動の実施期間中に設定する。
 図7は、図1に示すデジタルカメラ100の撮像モード時の動作を示すタイミングチャートである。
 図7において横軸は時間を示している。図7の上段には、表示制御部11Bから表示コントローラ22に供給される表示同期信号VDが示されている。
 図7の中段には、撮像素子5の各画素行62の光電変換素子61A及び電荷保持部61Bの駆動タイミングが示されている。図7の中段において、縦軸は画素行62の列方向Yの位置を示している。
 図7の中段に示す直線RRは、ローリングリセット駆動によって画素行62に含まれる各光電変換素子61Aのリセットが行われるタイミングを示している。
 図7の中段に示す直線RSは、ローリングシャッタ駆動によって画素行62に含まれる各光電変換素子61Aの露光が終了されるタイミングを示している。
 直線RRとこの右隣の直線RSとで囲まれる期間が、LV撮像時における撮像素子5の露光期間(LV1,LV2,LV3,LV4)を示している。
 図7の中段に示す直線GRは、グローバルリセット駆動によって画素行62に含まれる各光電変換素子61Aのリセットが行われるタイミングを示している。
 図7の中段に示す直線GSは、グローバルシャッタ駆動によって画素行62に含まれる各光電変換素子61Aから電荷保持部61Bに電荷が転送されるタイミングを示している。
 直線GRと直線GSとで囲まれる期間が静止画撮像時における撮像素子5の露光期間EXを示している。
 図7の中段に示す直線STは、電荷保持部61Bに電荷が保持されるタイミングを示している。
 図7の中段に示す直線RO1は、電荷保持部61Bに保持された電荷に応じた画素信号が第一のローリング読み出し駆動によって撮像素子5から出力されるタイミングを示している。
 図7の中段に示す直線RO2は、電荷保持部61Bに保持された電荷に応じた画素信号が第二のローリング読み出し駆動によって撮像素子5から出力されるタイミングを示している。
 図7の下段には、表示面23の描画状態が示されている。図7の下段において、縦軸は表示面23の表示画素行23Bの列方向Yの位置を示している。
 図7の下段に示す直線DRは、表示面23の表示画素行23Bに描画が行われるタイミングを示している。
 撮像制御部11Aは、撮像モードに設定されると、直線RRで示されるローリングリセット駆動、直線RSで示されるローリングシャッタ駆動、及び直線RO2で示される第二のローリング読み出し駆動からなる第二の駆動を、表示同期信号VDの立下り周期と同じ間隔で繰り返し実行する。
 この第二の駆動の直線RO2で示される駆動によって表示対象画素行62から画素信号が出力されると、この画素信号に基づいてラインデータが生成され、このラインデータに基づくライン画像が、この表示対象画素行62に対応する表示画素行23Bに描画される。
 図7に示す“lv1”は、露光期間LV1で得られたライブビュー画像が表示される期間を示している。
 図7に示す“lv2”は、露光期間LV2で得られたライブビュー画像が表示される期間を示している。
 LV撮像のための第二の駆動が行われている間に撮像指示がなされると、撮像制御部11Aは、撮像指示を受けた時点で実行中の第二の駆動を終了した後に、直線GRで示されるグローバルリセット駆動を行い、全ての画素行62において同時に光電変換素子61Aのリセットを行う。これにより、全ての画素行62で同じタイミングで露光が開始する。
 その後、露光期間EXが経過すると、撮像制御部11Aは、直線GSで示されるグローバルシャッタ駆動を行う。
 この駆動により、全ての画素行62において同時に、光電変換素子61Aから電荷保持部61Bへの電荷の転送が行われ、直線STで示されるように電荷保持部61Bにて電荷が保持される。これにより、全ての画素行62で同じタイミングで露光が終了する。
 撮像制御部11Aは、直線GSで示されるグローバルシャッタ駆動を行った後、直線RO1で示される第一のローリング読み出し駆動を行う。
 この第一のローリング読み出し駆動では、撮像制御部11Aは、撮像面60の上端から下端に向かってM個の画素行62を順番に選択し、選択した画素行62から画素信号を読み出す。
 この第一のローリング読み出し駆動で撮像素子5から出力された撮像画像信号は、デジタル信号処理部17によって処理されて撮像画像データとなり、記憶媒体21に記憶される。
 撮像制御部11Aは、直線RO1による第一のローリング読み出し駆動を行っている期間(以下、静止画読み出し期間ともいう)に、直線RRで示されるローリングリセット駆動を開始する。
 このローリングリセット駆動により、撮像面60の上端から下端に向かって表示対象画素行62が順番に選択され、選択された表示対象画素行62の光電変換素子61Aから電荷排出領域61Fに電荷が排出され、LV撮像の露光が開始される。
 そして、撮像制御部11Aは、第一のローリング読み出し駆動の終了後に最初に訪れる表示同期信号VDの立下りタイミングに同期したタイミングで、直線RSで示されるローリングシャッタ駆動を開始する。
 このローリングシャッタ駆動により、撮像面60の上端から下端に向かって表示対象画素行62が順番に選択され、選択された表示対象画素行62の光電変換素子61Aから電荷保持部61Bに電荷が転送され、表示対象画素行62の露光(図7中の露光期間LV3)が順次終了される。
 撮像制御部11Aは、露光期間LV3を終了するためのローリングシャッタ駆動を開始して少しすると、直線RO2で示される第二のローリング読み出し駆動を開始する。
 この第二のローリング読み出し駆動により、撮像面60において表示対象画素行62が上端側から下端側に向かって順番に選択され、選択された表示対象画素行62の電荷保持部61Bから画素信号が読み出される。
 この第二のローリング読み出し駆動によって表示対象画素行62から画素信号が出力されると、この画素信号に基づいてラインデータが生成され、このラインデータに基づくライン画像が、この表示対象画素行62に対応する表示画素行23Bに描画される。
 図7に示す“lv3”は、露光期間LV3で得られたライブビュー画像が表示される期間を示している。
 なお、図7の例では、露光期間EXの直後において表示同期信号VDが立ち下がっているが、このタイミングでは新たなライブビュー画像データの生成が行われていない。
 そのため、表示コントローラ22は、このタイミングにおいて表示面23の各表示画素行23Bに描画するライン画像を黒画像とする。これにより、表示面23は、期間lv2と期間lv3の間はブラックアウトの状態となる。
 表示コントローラ22は、このタイミングにおいて表示面23の各表示画素行23Bに描画されるライン画像の更新を行わず、期間lv2で表示させていたライン画像を維持する制御を行ってもよい。
 露光期間LV3の終了後は、静止画撮像直後のLV撮像時の撮像条件(露光時間、絞り2のF値、及びISO感度)を維持したまま、次の撮像タイミングが訪れるまで、第二の駆動によるLV撮像が繰り返し行われる。
 図7の直線RSで示されるローリングシャッタ駆動は、表示同期信号VDの立下りに同期したタイミングに固定されている。
 このため、撮像指示に応じて行われるグローバルシャッタ駆動の実施タイミングが決まると、この実施タイミングと表示同期信号VDの立下りに同期したタイミングとの間の時間が、静止画撮像の直後に行われるLV撮像時の露光時間として設定可能な最大露光時間SS2として決まる。
 ここで、撮像制御部11Aは、静止画撮像の直後に行われるLV撮像時の撮像素子5の適正露出値を、例えば、このLV撮像の直前に行われたLV撮像で得られる撮像画像信号に基づいて決定する。
 ある露出値を得るための撮像条件(絞り2のF値、光電変換素子61Aの露光時間、及びISO感度の組み合わせ)はプログラム線図により予め決められている。
 撮像制御部11Aは、上記の適正露出値とプログラム線図とから、静止画撮像の直後に行うLV撮像時の撮像条件を決定する。
 図7では、この適正露出値とプログラム線図から決められた露光期間LV3における各表示対象画素行62の適正露光時間SS1が、上記の最大露光時間SS2よりも小さい場合を例示している。
 このように、最大露光時間SS2が適正露光時間SS1以上の場合には、撮像制御部11Aは、適正露出値とプログラム線図から決められた第一の撮像条件を設定して、静止画撮像直後のLV撮像を行う。
 図8は、図1に示すデジタルカメラ100の撮像モード時の動作の変形例を示すタイミングチャートである。
 図8に示すタイミングチャートは、図7に示すタイミングチャートに対し、最大露光時間SS2が適正露光時間SS1未満となっている例を示している。
 このように、最大露光時間SS2が適正露光時間SS1未満の場合には、撮像制御部11Aは、この最大露光時間SS2を静止画撮像直後のLV撮像時の撮像条件に設定し、更に、上述した方法で算出した適正露出値及び最大露光時間SS2とプログラム線図から決まる絞り2のF値及びISO感度(最大露光時間SS2で露光する場合に上記の適正露出値を満たすことのできるF値及びISO感度)を静止画撮像直後のLV撮像時の撮像条件に設定する。
 具体的には、撮像制御部11Aは、図8の露光期間EX直後のLV撮像時のF値を、図8の露光期間EX直前のLV撮像時に対して開放側に設定したり、図8の露光期間EX直後のLV撮像時のISO感度を、図8の露光期間EX直前のLV撮像時に対して高くしたりすることで、露光時間が足りない分の露出を確保する。
 図9は、図1に示すデジタルカメラ100の動作を説明するためのフローチャートである。
 撮像モードに設定されると、撮像制御部11Aは、第二の駆動によるLV撮像を開始する(ステップS1)。
 この第二の駆動における第二のローリング読み出し駆動が開始され、表示対象画素行62から画素信号が順次読み出されると、この画素信号から生成されたラインデータに基づくライン画像が表示画素行23Bに順次描画されてライブビュー画像が更新される(ステップS2)。
 撮像制御部11Aは、ライブビュー画像の更新が開始されて少し経過すると、静止画撮像を行う撮像タイミングになったか否かを判定する(ステップS3)。撮像制御部11Aは、撮像タイミングになっていない場合(ステップS3:NO)には、撮像モードの終了指示がなされたか否かを判定する(ステップS4)。
 撮像制御部11Aは、撮像モードの終了指示がなされた場合(ステップS4:YES)には処理を終了し、撮像モードの終了指示がなされていない場合(ステップS4:NO)には、ステップS1に処理を戻して次のLV撮像のための第二の駆動を開始する。
 撮像制御部11Aは、撮像タイミングになった場合(ステップS3:YES)には、第一の駆動による静止画撮像を開始する(ステップS5)。
 静止画撮像を開始すると、撮像制御部11Aは、直前のLV撮像で得られた撮像画像信号に基づいて、静止画撮像の直後に行うLV撮像時に適正露出値を得るための第一の撮像条件を決定する(ステップS6)。
 この第一の撮像条件は、撮像画像信号に基づく適正露出値とプログラム線図とから決まる適正露光時間SS1を含む。
 また、静止画撮像を開始すると、撮像制御部11Aは、静止画撮像のためのグローバルシャッタ駆動の開始タイミング(静止画撮像の露光終了タイミング)と、この開始タイミング後かつ静止画撮像のための第一のローリング読み出し駆動後に初めて訪れる表示同期信号VDの立下りタイミング(表示更新タイミング)とから、静止画撮像の直後に行うLV撮像時に設定可能な最大露光時間SS2を算出する(ステップS7)。
 ステップS6及びステップS7の処理の後、撮像制御部11Aは、ステップS7で求めた最大露光時間SS2がステップS6で求めた適正露光時間SS1未満となるか否かを判定する(ステップS8)。
 最大露光時間SS2が適正露光時間SS1以上となる場合(ステップS8:NO)には、撮像制御部11Aは、静止画撮像の直後に行うLV撮像時の撮像条件を、ステップS6で決定した第一の撮像条件に設定する(ステップS10)。
 一方、最大露光時間SS2が適正露光時間SS1未満となる場合(ステップS8:YES)には、撮像制御部11Aは、露光時間を最大露光時間SS2とし、かつ、第一の撮像条件で決まる適正露出値をこの最大露光時間SS2によって得るためのF値及びISO感度を決定し、このF値及びISO感度と最大露光時間SS2を、静止画撮像の直後に行うLV撮像時の第二の撮像条件として決定する(ステップS9)。
 ステップS9及びステップS10の後、ステップS5で開始された第一の駆動の第二のローリング読み出し駆動が開始されると、撮像制御部11Aは、ステップS9又はステップS10において設定した撮像条件で第二の駆動によるLV撮像を開始する。
 すなわち、撮像制御部11Aは、静止画読み出し期間中にローリングリセット駆動によってLV撮像のための露光を開始し(ステップS11)、その露光をローリングシャッタ駆動によって終了し、その後、第二のローリング読み出し駆動を行って画素信号を読み出す(ステップS12)。
 ステップS12で表示対象画素行62から画素信号が読み出されると、この画素信号から生成されたラインデータに基づくライン画像が描画されてライブビュー画像が更新される(ステップS13)。ステップS13の後は、ステップS3に処理が戻る。
 以上のように、図1のデジタルカメラ100によれば、静止画撮像のための露光期間EXが終了し、この露光期間EX後の静止画読み出し期間中にLV撮像のための露光期間LV3を開始することができる。
 このため、露光期間EXの後にライブビュー画像が更新されるまでの時間(図中のブラックアウトの時間)を短縮することができ、被写体を見失うリスクを低減することができる。
 また、図1のデジタルカメラ100によれば、静止画撮像の直後に行われるLV撮像時の最大露光時間SS2が適正露光時間SS1未満となる場合には、この最大露光時間SS2で適正露出値を得られるようにF値及びISO感度が制御される。
 このため、静止画撮像のためのグローバルシャッタ駆動の行われるタイミングによって、静止画撮像の直後に行われるLV撮像時に適正露光時間を確保できなくなる場合であっても、ライブビュー画像をそれまでと同等の品質で表示させることができる。
 図10は、図1に示すデジタルカメラ100の動作の変形例を説明するためのフローチャートである。図10において図9と同じ処理には同一符号を付して説明を省略する。
 図10に示すフローチャートは、図9に示すフローチャートにおいてステップS14~ステップS18が追加されたものである。
 ステップS13において静止画撮像の直後のLV撮像によって得られたライブビュー画像の表示が開始されると、撮像制御部11Aは、ステップS6で決定した適正露光時間SS1とステップS7で算出した最大露光時間SS2の時間差を算出し、この時間差が予め決められた時間閾値α以上か否かを判定する(ステップS14)。
 撮像制御部11Aは、この時間差が時間閾値α以上である場合(ステップS14:YES)には、次のLV撮像以降の撮像(静止画撮像後の2回目以降のLV撮像)を行う際の撮像条件としてステップS6で決定された第一の撮像条件を設定し(ステップS15)、ステップS3に処理を戻す。ステップS15の処理が行われると、静止画撮像後の2回目以降のLV撮像時には、第一の撮像条件によって露出が行われる。
 図11は、図10に示すフローチャートにおけるステップS15が行われた場合のタイミングチャートを示している。
 図11に示す例では、露光期間EXの直後の露光期間LV3中の撮像条件は、最大露光時間SS2で適正露出値を得られるものが設定されている。露光期間LV4中の撮像条件は、露光期間LV2で得られる撮像画像信号に基づく適正露光時間SS1で適正露出値を得られるもの(露光期間LV3中の撮像条件よりもISO感度が低い撮像条件)が設定されている。
 これにより、露光期間LV4に対応するライブビュー画像は、露光期間LV3に対応するライブビュー画像よりもノイズが少なくなり、高画質化が図られる。
 撮像制御部11Aは、時間値が時間閾値α未満である場合(ステップS14:NO)には、第二の撮像条件を変えることなく、ステップS3に処理を戻す。
 ステップS10の後、撮像制御部11Aは、静止画読み出し期間中にローリングリセット駆動によってLV撮像のための露光を開始し(ステップS16)、その露光をローリングシャッタ駆動によって終了し、その後、第二のローリング読み出し駆動を行って画素信号を読み出す(ステップS17)。
 ステップS17で表示対象画素行62から画素信号が読み出されると、この画素信号から生成されたラインデータに基づくライン画像が描画されてライブビュー画像が更新される(ステップS18)。ステップS18の後は、ステップS3に処理が戻る。
 以上のように、図10に示す変形例によれば、最大露光時間SS2と適正露光時間SS1の時間差が時間閾値α以上となる場合、つまり、ステップS9においてISO感度がとても高く設定される可能性がある場合には、静止画撮像後の2回目以降のLV撮像時においてISO感度が低い第一の撮像条件で露光が行われる。このため、ライブビュー画像のノイズが増えるのを防いで、表示品質を向上させることができる。
 図10のステップS15において、撮像制御部11Aは、静止画撮像の直後に3回目以降のLV撮像を行う際の撮像条件としてステップS6で決定された第一の撮像条件を設定してもよい。この場合でも、静止画撮像後の3回目以降のLV撮像で得られるライブビュー画像のノイズを減らして高画質化を実現することができる。
 なお、先の図9に示す動作例によれば、静止画撮像が行われてから次の静止画撮像が行われるまでの間は、LV撮像時の撮像条件が必ず固定される。このため、ライブビュー画像の変化を少なくして滑らかな表示が可能となる。
 図12は、図1に示すデジタルカメラ100の機能ブロックの変形例を示す図である。図12において図6と同じ構成には同一符号を付して説明を省略する。
 図12に示すデジタルカメラ100のハードウェア構成は、図1において、撮像素子5の複数の画素61が位相差検出用画素と通常画素を含む点のみが異なる。
 位相差検出用画素は、撮像光学系の瞳領域を行方向X又は列方向Yに2分割した場合の2つの分割領域の一方を通る光を受光する第一の位相差検出用画素と、この2つの分割領域の他方を通る光を受光する第二の位相差検出用画素とを含む。
 通常画素は、上記2つの分割領域のそれぞれを通る光を受光する画素である。
 図12に示すデジタルカメラ100の撮像素子5は、撮像面60にあるm個の表示対象画素行62を構成する画素61の一部が、第一の位相差検出用画素と第二の位相差検出用画素になっている。
 撮像素子5の撮像面60には、第一の位相差検出用画素と第二の位相差検出用画素のペアが複数個、離散的に配置される。
 なお、撮像素子5に含まれる全ての画素61の光電変換素子61Aが例えば行方向Xに2分割され、この分割された光電変換素子61Aの一方の領域と他方の領域によって、上記の撮像光学系の2つの分割領域のそれぞれを通る光が受光される構成であってもよい。この構成の場合には、撮像素子5に含まれる全ての画素61が位相差検出用画素となる。
 図12に示すデジタルカメラ100は、機能ブロックとして、撮像制御部11Aと、表示制御部11Bと、信頼度判定部11Cと、合焦制御部11Dと、を備える。
 図12に示すデジタルカメラ100のシステム制御部11は、撮像プログラムを含むプログラムを実行することで撮像制御部11A、表示制御部11B、信頼度判定部11C、及び合焦制御部11Dとして機能する。
 図12に示すデジタルカメラ100は、撮像モードとして連写モードを搭載している。この連写モードでは、撮像制御部11Aが、1回の撮像指示に応じて、第一の駆動を一定間隔で行うと共に、この第一の駆動の間において少なくとも1回の第二の駆動を実施する。
 信頼度判定部11Cは、静止画撮像の直後のLV撮像時の第二のローリング読み出し駆動によって撮像素子5の位相差検出用画素から出力される画素信号に基づいて位相差を演算する。
 具体的には、信頼度判定部11Cは、複数の第一の位相差検出用画素から出力される画素信号群と、この複数の第一の位相差検出用画素の各々とペアを組む第二の位相差検出用画素から出力される画素信号群との相関演算を行い、この相関演算結果から位相差を求める。
 また、信頼度判定部11Cは、撮像制御部11Aが算出した上記の最大露光時間SS2が、撮像制御部11Aが決定した上記の適正露光時間SS1未満の場合に、上記の位相差の演算結果の信頼度を判定する。
 本明細書において、位相差の演算結果の信頼度とは、上記の相関演算結果を示すグラフ(2つの画素信号群のずらし量と、そのずらし量における2つの画素信号群の相関値との関係を示すグラフ)の尖鋭度を特定するための数値として算出される。
 このグラフの尖鋭度が大きいほど、2つの画像信号群の位相差が正確に求められる。このため、この尖鋭度を示す数値が予め決められた信頼度閾値TH1以上であれば、信頼度判定部11Cが算出した位相差に基づいて行われる合焦制御の精度を十分に確保することができる。
 合焦制御部11Dは、最大露光時間SS2が適正露光時間SS1未満であり、信頼度判定部11Cによって位相差の演算結果の信頼度が信頼度閾値TH1以上と判定された場合には、信頼度判定部11Cによって算出された位相差に基づいて撮像光学系に含まれるフォーカスレンズのデフォーカス量を求め、このデフォーカス量にしたがってフォーカスレンズの主点位置を制御することで合焦制御を行う。
 また、合焦制御部11Dは、最大露光時間SS2が適正露光時間SS1以上の場合には、信頼度判定部11Cによって算出された位相差に基づいて撮像光学系に含まれるフォーカスレンズのデフォーカス量を求め、このデフォーカス量にしたがってフォーカスレンズの主点位置を制御することで合焦制御を行う。
 図13は、図12に示すデジタルカメラ100の連写モード時の動作を説明するためのフローチャートである。図13において図10と同じ処理には同一符号を付して説明を省略する。
 図13に示すフローチャートは、図10に示すフローチャートにおいてステップS14及びステップS15がステップS21~ステップS23に変更されたものである。
 ステップS13で静止画撮像直後のライブビュー画像の更新が開始されると、信頼度判定部11Cは、ステップS12で位相差検出用画素から読み出された画素信号に基づいて位相差の演算を行う(ステップS21)。
 ステップS21の後、信頼度判定部11Cは、ステップS21の位相差の演算結果の信頼度が信頼度閾値TH1以上か否かを判定する(ステップS22)。
 そして、信頼度が信頼度閾値TH1以上であると判定された場合(ステップS22:YES)には、合焦制御部11Dが、ステップS21で演算された位相差に基づいて合焦制御を行い(ステップS23)、ステップS3に処理が戻る。
 信頼度が信頼度閾値TH1未満であると判定された場合(ステップS22:NO)には、合焦制御部11Dによって合焦制御は行われずにステップS3に処理が戻る。
 また、ステップS18で静止画撮像直後のライブビュー画像の更新が開始されると、信頼度判定部11Cは、ステップS17で位相差検出用画素から読み出された画素信号に基づいて位相差の演算を行う(ステップS24)。そして、その後は、ステップS23において、合焦制御部11Dが、この位相差に基づいて合焦制御を行う。
 以上のように、図12に示すデジタルカメラ100によれば、最大露光時間SS2が適正露光時間SS1未満となる場合には、静止画撮像の直後のLV撮像によって得られる画素信号を用いた位相差の演算結果の信頼度が高い場合にのみ、この位相差に基づいて合焦制御が行われる。
 例えば、ステップS9において設定されるISO感度によって画素信号にノイズが多くなった結果、位相差の演算結果の信頼度が低下する場合がある。このような場合には合焦制御が行われないため、誤合焦となるのを防ぐことができる。
 一方、最大露光時間SS2が適正露光時間SS1未満でも、位相差の演算結果の信頼度が高い場合には、静止画撮像の終了後すぐに合焦制御が行われる。このため、合焦速度を速めることができ、被写体への追従性能を高めることができる。
 図14は、図1に示すデジタルカメラ100の機能ブロックの変形例を示す図である。図14において図6と同じ構成には同一符号を付して説明を省略する。
 図14に示すデジタルカメラ100のハードウェア構成は、図1において、撮像素子5の複数の画素61が位相差検出用画素と通常画素を含む点のみが異なる。
 図14に示すデジタルカメラ100のシステム制御部11は、撮像プログラムを含むプログラムを実行することで撮像制御部11A、表示制御部11B、第一の信頼度判定部11E、及び第一の合焦制御部11Fとして機能する。
 図14に示すデジタルカメラ100は、撮像モードとして連写モードを搭載している。この連写モードでは、撮像制御部11Aが、撮像指示に応じて、第一の駆動を一定間隔で行うと共に、この第一の駆動の間において複数回の第二の駆動を実施する。
 第一の信頼度判定部11Eは、第一の駆動の開始後に最初に行われる第二の駆動によって位相差検出用画素から出力される信号に基づいて第一の位相差を演算する。
 また、第一の信頼度判定部11Eは、最大露光時間SS2が適正露光時間SS1未満の場合には、演算した第一の位相差の演算結果の第一の信頼度を判定する。第一の信頼度については上述した位相差の信頼度と同様に求められ、この第一の信頼度が信頼度閾値TH1以上であれば、この第一の位相差に基づいて行われる合焦制御の精度を十分に確保することができる。
 第一の合焦制御部11Fは、最大露光時間SS2が適正露光時間SS1未満の場合で、第一の信頼度が信頼度閾値TH1以上の場合には、第一の信頼度判定部11Eによって演算された第一の位相差に基づいてフォーカスレンズの合焦制御を行う。
 また、第一の合焦制御部11Fは、第一の信頼度が信頼度閾値TH1未満の場合には、静止画撮像後に行われる複数回の第二の駆動のうちの少なくとも2回目以降の第二の駆動によって位相差検出用画素から出力される画素信号に基づいて第二の位相差を演算し、この第二の位相差に基づいてフォーカスレンズの合焦制御を行う。
 図15は、図14に示すデジタルカメラ100の連写モード時の動作を説明するためのフローチャートである。図15において図10と同じ処理には同一符号を付して説明を省略する。
 図15に示すフローチャートは、図10に示すフローチャートにおいてステップS14及びステップS15がステップS31~ステップS37に変更されたものである。
 ステップS18の後、第一の信頼度判定部11Eは、ステップS17で位相差検出用画素から読み出された画素信号に基づいて第一の位相差の演算を行う(ステップS36)。
 ステップS36で第一の位相差が算出されると、第一の合焦制御部11Fは、この第一の位相差に基づいて合焦制御を行う(ステップS37)。ステップS37の後はステップS3に処理が戻る。
 ステップS13の後、第一の信頼度判定部11Eは、ステップS12で位相差検出用画素から読み出された画素信号に基づいて第一の位相差の演算を行う(ステップS31)。
 ステップS31の後、第一の信頼度判定部11Eは、第一の位相差の演算結果の第一の信頼度が信頼度閾値TH1以上か否かを判定する(ステップS32)。
 そして、第一の信頼度が信頼度閾値TH1以上であると判定された場合(ステップS32:YES)には、ステップS37において、第一の合焦制御部11Fが、ステップS31で演算された第一の位相差に基づいて合焦制御を行う。
 一方、第一の信頼度が信頼度閾値TH1未満であると判定された場合(ステップS32:NO)には、撮像制御部11Aが、ステップS11で開始したLV撮像の次に行うLV撮像時の撮像条件を、ステップS6で決定した第一の撮像条件に設定する(ステップS33)。
 ステップS33の後、ステップS11で開始したLV撮像の次のLV撮像の開始タイミングになると、撮像制御部11Aは、第一の撮像条件で第二の駆動によるLV撮像を開始し、このLV撮像によって得られる画素信号に基づいてライブビュー画像の更新が開始される(ステップS34)。
 ステップS34の後、第一の合焦制御部11Fは、ステップS34で開始された第二の駆動における第二のローリング読み出し駆動で位相差検出用画素から読み出された画素信号に基づいて第二の位相差を算出し、この第二の位相差に基づいて合焦制御を行う(ステップS35)。ステップS35の後はステップS3に処理が戻る。
 以上のように、図14に示すデジタルカメラ100によれば、最大露光時間SS2が適正露光時間SS1以上となる場合と、最大露光時間SS2が適正露光時間SS1未満となるものの第一の位相差の演算結果の信頼度が高い場合には、第一の位相差に基づいて合焦制御が行われる。このため、静止画撮像の終了後すぐに合焦制御を行うことができ、被写体への合焦追従性能を高めることができる。
 また、図14に示すデジタルカメラ100によれば、最大露光時間SS2が適正露光時間SS1未満となりかつ第一の位相差の演算結果の信頼度が低い場合には、静止画撮像の直後から2回目以降のLV撮像によって得られる画素信号から演算される第二の位相差に基づいて合焦制御が行われる。
 この第二の位相差は、適正露光時間SS1で撮像素子5を露光して得られるものである。このため、第二の位相差に基づいて行われる合焦制御の精度を高めることができる。
 なお、図15の例では、ステップS32の判定がNOの場合に、静止画撮像後の2回目のLV撮像時において第一の撮像条件が設定されこのLV撮像で得られる画素信号に基づいて合焦制御が行われるものとした。しかし、静止画撮像後の3回目以降のいずれかのLV撮像時において第一の撮像条件が設定され、このLV撮像で得られる画素信号に基づいて合焦制御が行われてもよい。
 図16は、図14に示すデジタルカメラ100の機能ブロックの変形例を示す図である。図16において図14と同じ構成には同一符号を付して説明を省略する。
 図16に示すデジタルカメラ100のシステム制御部11は、撮像プログラムを含むプログラムを実行することで撮像制御部11A、表示制御部11B、第一の信頼度判定部11E、第一の合焦制御部11F、及び信頼度閾値制御部11Gとして機能する。
 信頼度閾値制御部11Gは、上記の信頼度閾値TH1を制御する。
 図16に示すデジタルカメラ100は、連写モードとして、第一の駆動を実施する間隔(連写間隔)よりも合焦制御の精度を優先する第一モードと、合焦制御の精度よりも第一の駆動を実施する間隔を優先する第二モードとを含む。
 信頼度閾値制御部11Gは、第一モードでは、第二モードよりも信頼度閾値TH1を大きい値に制御する。
 信頼度閾値TH1が大きくなるということは、図15のステップS32の判定結果がNOになる確率が高くなることを意味する。このため、第一モードでは第二モードよりも合焦精度を向上させることができる。
 一方、信頼度閾値TH1が小さくなるということは、図15のステップS32の判定結果がYESになる確率が高くなることを意味する。つまり、第二モードでは位相差の算出頻度を減らすことができるため、第一モードよりも連写速度を速くすることが可能となる。
 なお、信頼度閾値制御部11Gは、第一モードと第二モードに関わらず、連写モードにおける第一の駆動を実施する間隔(連写間隔)が予め決められた間隔閾値以上の場合には、この間隔が間隔閾値未満の場合よりも信頼度閾値TH1を大きい値に制御してもよい。
 連写間隔が長い場合には、第一の駆動の間において合焦制御を実施する時間を十分に確保することができる。したがって、この場合には、信頼度閾値TH1を大きくして図15のステップS32の判定がNOになる確率を高くすることで、合焦制御の精度を向上させることができる。
 逆に、連写間隔が短い場合には、第一の駆動の間において合焦制御を実施する余裕がなくなる。このため、信頼度閾値TH1を小さくして図15のステップS32の判定がYESになる確率を高くすることで、連写速度の低下を防ぐことができる。
 図17は、図1に示すデジタルカメラ100の機能ブロックの変形例を示す図である。図17において図6と同じ構成には同一符号を付して説明を省略する。
 図17に示すデジタルカメラ100のハードウェア構成は、図1において、撮像素子5の複数の画素61が位相差検出用画素と通常画素を含む点のみが異なる。
 図17に示すデジタルカメラ100のシステム制御部11は、撮像プログラムを含むプログラムを実行することで撮像制御部11A、表示制御部11B、第二の信頼度判定部11H、及び第二の合焦制御部11Jとして機能する。
 図16に示すデジタルカメラ100は、撮像モードとして連写モードを搭載している。この連写モードでは、撮像制御部11Aが、撮像指示に応じて、第一の駆動を一定間隔で行うと共に、この第一の駆動の間において複数回の第二の駆動を実施する。
 第二の合焦制御部11Jは、連写モードにおける各第一の駆動の開始後に最初に行われる第二の駆動によって位相差検出用画素から出力される画素信号に基づいて位相差を演算し、この位相差に基づいて合焦制御を行う。
 第二の信頼度判定部11Hは、最大露光時間SS2が適正露光時間SS1未満となる場合に、最大露光時間SS2で適正露出値を得るための撮像条件で静止画撮像後の最初の第二の駆動を行う場合の第二の合焦制御部11Jによる合焦制御の第二の信頼度を、最大露光時間SS2及び適正露出値に基づいて判定する。
 最大露光時間SS2が決まると、この最大露光時間SS2で適正露出値を得るための絞り2のF値とISO感度が決定される。
 ここで、第二の合焦制御部11Jは、位相差AF(Auto Focus)方式によって合焦制御を行う。この位相差AF方式は、ISO感度が高く、相関演算の対象となる画素信号にノイズが多くなると、位相差の算出精度が低下する。
 また、位相差AF方式は、相関演算の対象となる画素信号を得る際の絞り2の開口量が小さいと、2つの像に位相差が生じにくくなり、位相差の算出精度が低下する。
 したがって、第二の信頼度判定部11Hは、最大露光時間SS2と適正露出値によって決まる絞り2の開口量が予め決められた閾値TH3以上及び最大露光時間SS2と適正露出値によって決まるISO感度が予め決められた閾値TH4以下となる場合に、第二の信頼度が信頼度閾値TH2以上であると判定する。
 また、第二の信頼度判定部11Hは、絞り2の開口量が閾値TH3未満又はISO感度が閾値TH4を超える場合に、第二の信頼度が信頼度閾値TH2未満であると判定する。
 図17に示すデジタルカメラ100の撮像制御部11Aは、最大露光時間SS2が適正露光時間SS1未満であり、かつ、第二の信頼度が信頼度閾値TH2未満の場合には、静止画撮像の直後に行う第二の駆動の第二の開始タイミングを、静止画撮像時の第一のローリング読み出し駆動の終了後に2回目に訪れる表示装置の表示更新タイミングに同期させかつこの第二の駆動の第一の開始タイミングをその第二の開始タイミングから適正露光時間SS1前のタイミングに設定する。
 図18は、図17に示すデジタルカメラ100の動作の一例を説明するためのタイミングチャートである。図18では、第二の信頼度判定部11Hによって判定された第二の信頼度が信頼度閾値TH2未満となった場合の動作例を示している。
 図18の例では、直線RO1で示される第一のローリング読み出し駆動の終了後、2回目に訪れる表示同期信号VDの立ち上がりタイミングに同期したタイミングで、露光期間LV3を終了するためのローリングシャッタ駆動が開始されている。
 また、この2回目に訪れる表示同期信号VDの立ち上がりタイミングに同期したタイミングから適正露光時間SS1前の時点で露光期間LV3を開始するためのローリングリセット駆動が開始されている。
 したがって、図18に示す動作の場合には、表示面23のブラックアウトは2フレーム分となるが、静止画撮像後に信頼度が低い状態で合焦制御が行われるのを防ぐことができる。
 また、図17に示すデジタルカメラ100の撮像制御部11Aは、最大露光時間SS2が適正露光時間SS1未満であり、かつ、第二の信頼度が信頼度閾値TH2以上の場合には、静止画撮像の直後に行う第二の駆動の第二の開始タイミングを、静止画撮像時の第一のローリング読み出し駆動の終了後に最初に訪れる表示装置の表示更新タイミングに同期させかつこの第二の駆動の第一の開始タイミングをその第二の開始タイミングから最大露光時間SS2前のタイミングに設定する。
 図19は、図17に示すデジタルカメラ100の連写モード時の動作を説明するためのフローチャートである。図19において図10と同じ処理には同一符号を付して説明を省略する。
 ステップS18の後、第二の合焦制御部11Jは、ステップS17で位相差検出用画素から読み出された画素信号に基づいて位相差の演算を行い、この位相差に基づいて合焦制御を行う(ステップS47)。
 また、ステップS8の判定がYESの場合、第二の信頼度判定部11Hは、最大露光時間SS2とステップS6で算出された適正露出値とに基づいて、第二の合焦制御部11Jにより行われる合焦制御の第二の信頼度を判定する(ステップS42)。
 第二の信頼度が信頼度閾値TH2以上であると判定された場合(ステップS42:YES)には、図10に示したステップS9~ステップS13の処理が行われる(ステップS46)。そして、第二の合焦制御部11Jは、ステップS12で位相差検出用画素から読み出された画素信号に基づいて位相差を算出し、この位相差に基づいて合焦制御を行う(ステップS47)。
 一方、第二の信頼度が信頼度閾値TH2未満であると判定された場合(ステップS42:NO)には、撮像制御部11Aが、静止画撮像の直後に行うLV撮像時の撮像条件として、ステップS6で決定した第一の撮像条件を設定する(ステップS43)。
 その後、ステップS5で開始した第一の駆動における第一のローリング読み出し駆動が終了してから少し経過すると、図18に示したように、撮像制御部11Aは、ローリングリセット駆動を開始し、このローリングリセット駆動を開始してからステップS6で決定された適正露光時間SS1が経過したタイミングで、ローリングシャッタ駆動を開始する(ステップS44)。
 そして、このローリングシャッタ駆動によって表示対象画素行62から読み出された画素信号に基づいてライブビュー画像の更新が開始され(ステップS45)、その後、このローリングシャッタ駆動によって位相差検出用画素から読み出された画素信号に基づいて、第二の合焦制御部11Jにより合焦制御が行われる(ステップS47)。
 ステップS47の後は、ステップS3に処理が戻り、ステップS9、ステップS10、又はステップS43で設定された撮像条件のもとで第二の駆動によるLV撮像が繰り返される。
 以上のように、図17に示すデジタルカメラ100によれば、最大露光時間SS2が適正露光時間SS1未満となって、静止画撮像の直後に行うLV撮像時の撮像条件を、最大露光時間SS2で適正露出を得るための第二の撮像条件に設定する必要がある場合でも、この第二の撮像条件でLV撮像をした結果、合焦制御の信頼度が低くなると判定される場合(ステップS42:NO)には、第一の撮像条件にてLV撮像が行われて、このLV撮像によって位相差検出用画素から得られる画素信号に基づいて合焦制御が行われる。このため、合焦精度の低下を防ぐことができる。
 また、ステップS42の判定がNOとなる場合には、第二の撮像条件よりもISO感度の低い第一の撮像条件でLV撮像が行われる。このため、静止画撮像後に初めて更新されるライブビュー画像を、ノイズの少ない高品質なものとすることができる。
 図20は、図14に示すデジタルカメラ100の機能ブロックの変形例を示す図である。図20において図14及び図17と同じ構成には同一符号を付して説明を省略する。図20に示すデジタルカメラ100は、図14に示すデジタルカメラ100に、機能ブロックとして図17に示した第二の信頼度判定部11H及び第二の合焦制御部11Jが追加された構成である。
 図20に示すデジタルカメラ100のシステム制御部11は、撮像制御部11A、表示制御部11B、第一の合焦制御部11F、及び第一の信頼度判定部11Eからなる第一の機能ユニットと、撮像制御部11A、表示制御部11B、第二の合焦制御部11J、及び第二の信頼度判定部11Hからなる第一の機能ユニットと、を選択的に動作させる。
 すなわち、図20に示すデジタルカメラ100は、連写モードにおいて、図15に示す動作と、図19に示す動作とをそれぞれ行うことができる。
 デジタルカメラ100のシステム制御部11は、連写モードにおける連写間隔又は連写モードにおいて撮像素子5により撮像されている被写体の動き量によって、第一の機能ユニットと第二の機能ユニットのどちらを動作させるかを決定する。
 具体的には、システム制御部11は、連写モードにおいて第一の駆動を実施する間隔が予め決められた間隔閾値未満の場合には第一の機能ユニットを動作させ、この間隔が間隔閾値以上の場合には第二の機能ユニットを動作させる。
 第一の駆動を実施する間隔が短い場合には、ライブビュー画像の更新を頻繁に行うことができないため、被写体を見失うリスクが高くなる。
 このため、第一の駆動を実施する間隔が間隔閾値未満の場合には第一の機能ユニットが動作することで、ブラックアウト期間を極力減らして、被写体を見失うリスクを低減することができる。
 一方、第一の駆動を実施する間隔が長い場合には、ライブビュー画像の更新を頻繁に行うことが可能になるため、表示面23のブラックアウト期間が多少長くなっても被写体を見失うリスクは低い。
 このため、第一の駆動を実施する間隔が間隔閾値以上となる場合には、第二の機能ユニットが動作することで、ライブビュー画像の品質向上と合焦制御の精度向上を図ることができる。
 また、システム制御部11は、連写モード時に、LV撮像及び静止画撮像によって得られる撮像画像信号から、撮像されている被写体の動き量を算出し、この動き量が予め決められた動き閾値以上の場合には第一機能ユニットを動作させ、この動き量が動き閾値未満の場合には第二機能ユニットを動作させてもよい。
 撮像している被写体の動きが大きいということは、表示面23のブラックアウト期間に被写体を見失うリスクが高い。
 このため、動き量が動き閾値以上の場合に第一機能ユニットが動作することで、ブラックアウト期間を極力減らして、被写体を見失うリスクを低減することができる。
 一方、撮像している被写体の動きが小さいということは、表示面23のブラックアウト期間に被写体を見失うリスクが低い。
 このため、動き量が動き閾値未満の場合には第一機能ユニットが動作することで、ライブビュー画像の品質向上と合焦制御の精度向上を図ることができる。
 図21は、本発明の撮影装置の一実施形態であるスマートフォン200の外観を示すものである。
 図21に示すスマートフォン200は、平板状の筐体201を有し、筐体201の一方の面に表示部としての表示パネル202と、入力部としての操作パネル203とが一体となった表示入力部204を備えている。
 また、この様な筐体201は、スピーカ205と、マイクロホン206と、操作部207と、カメラ部208とを備えている。なお、筐体201の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。
 図22は、図21に示すスマートフォン200の構成を示すブロック図である。
 図22に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部204と、通話部211と、操作部207と、カメラ部208と、記憶部212と、外部入出力部213と、GPS(Global Positioning System)受信部214と、モーションセンサ部215と、電源部216と、主制御部220とを備える。
 また、スマートフォン200の主たる機能として、図示省略の基地局装置BSと図示省略の移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
 無線通信部210は、主制御部220の指示にしたがって、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。
 表示入力部204は、主制御部220の制御により、画像(静止画像及び動画像)又は文字情報等を表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル202と、操作パネル203とを備える。
 表示パネル202は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等を表示デバイスとして用いたものである。
 操作パネル203は、表示パネル202の表示面上に表示される画像を視認可能に載置され、ユーザの指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部220に出力する。次いで、主制御部220は、受信した検出信号に基づいて、表示パネル202上の操作位置(座標)を検出する。
 図22に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン200の表示パネル202と操作パネル203とは一体となって表示入力部204を構成しているが、操作パネル203が表示パネル202を完全に覆うような配置となっている。
 係る配置を採用した場合、操作パネル203は、表示パネル202外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル203は、表示パネル202に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル202に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
 なお、表示領域の大きさと表示パネル202の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル203が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体201の大きさ等に応じて適宜設計されるものである。
 さらにまた、操作パネル203で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。
 通話部211は、スピーカ205又はマイクロホン206を備え、マイクロホン206を通じて入力されたユーザの音声を主制御部220にて処理可能な音声データに変換して主制御部220に出力したり、無線通信部210あるいは外部入出力部213により受信された音声データを復号してスピーカ205から出力させたりするものである。
 また、図21に示すように、例えば、スピーカ205を表示入力部204が設けられた面と同じ面に搭載し、マイクロホン206を筐体201の側面に搭載することができる。
 操作部207は、キースイッチ等を用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図21に示すように、操作部207は、スマートフォン200の筐体201の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。
 記憶部212は、主制御部220の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータ、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部212は、スマートフォン内蔵の内部記憶部217と着脱自在な外部メモリスロットを有する外部記憶部218により構成される。
 なお、記憶部212を構成するそれぞれの内部記憶部217と外部記憶部218は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)等の格納媒体を用いて実現される。
 外部入出力部213は、スマートフォン200に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394等)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)等)により直接的又は間接的に接続するためのものである。
 スマートフォン200に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)、SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるパーソナルコンピュータ、イヤホン等がある。
 外部入出力部213は、このような外部機器から伝送を受けたデータをスマートフォン200の内部の各構成要素に伝達したり、スマートフォン200の内部のデータが外部機器に伝送されるようにしたりすることができる。
 GPS受信部214は、主制御部220の指示にしたがって、GPS衛星ST1~STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン200の緯度、経度、高度からなる位置を検出する。GPS受信部214は、無線通信部210又は外部入出力部213(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
 モーションセンサ部215は、例えば、3軸の加速度センサ等を備え、主制御部220の指示にしたがって、スマートフォン200の物理的な動きを検出する。スマートフォン200の物理的な動きを検出することにより、スマートフォン200の動く方向又は加速度が検出される。係る検出結果は、主制御部220に出力されるものである。
 電源部216は、主制御部220の指示にしたがって、スマートフォン200の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
 主制御部220は、マイクロプロセッサを備え、記憶部212が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン200の各部を統括して制御するものである。また、主制御部220は、無線通信部210を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
 アプリケーション処理機能は、記憶部212が記憶するアプリケーションソフトウェアにしたがって主制御部220が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部213を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。
 また、主制御部220は、受信データ又はダウンロードしたストリーミングデータ等の画像データ(静止画像又は動画像のデータ)に基づいて、映像を表示入力部204に表示する等の画像処理機能を備える。
 画像処理機能とは、主制御部220が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部204に表示する機能のことをいう。
 さらに、主制御部220は、表示パネル202に対する表示制御と、操作部207、操作パネル203を通じたユーザ操作を検出する操作検出制御を実行する。
 表示制御の実行により、主制御部220は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。
 なお、スクロールバーとは、表示パネル202の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
 また、操作検出制御の実行により、主制御部220は、操作部207を通じたユーザ操作を検出したり、操作パネル203を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。
 さらに、操作検出制御の実行により主制御部220は、操作パネル203に対する操作位置が、表示パネル202に重なる重畳部分(表示領域)か、それ以外の表示パネル202に重ならない外縁部分(非表示領域)かを判定し、操作パネル203の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
 また、主制御部220は、操作パネル203に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。
 ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
 カメラ部208は、図1に示したデジタルカメラ100における外部メモリ制御部20、記憶媒体21、表示装置、及び操作部14以外の構成を含む。
 カメラ部208によって生成された撮像画像データは、記憶部212に記憶したり、外部入出力部213又は無線通信部210を通じて出力したりすることができる。
 図21に示すスマートフォン200において、カメラ部208は表示入力部204と同じ面に搭載されているが、カメラ部208の搭載位置はこれに限らず、表示入力部204の背面に搭載されてもよい。
 また、カメラ部208はスマートフォン200の各種機能に利用することができる。例えば、表示パネル202にカメラ部208で取得した画像を表示したり、操作パネル203の操作入力のひとつとして、カメラ部208の画像を利用したりすることができる。
 また、GPS受信部214が位置を検出する際に、カメラ部208からの画像を参照して位置を検出することもできる。さらには、カメラ部208からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン200のカメラ部208の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部208からの画像をアプリケーションソフトウェア内で利用することもできる。
 その他、静止画又は動画の画像データにGPS受信部214により取得した位置情報、マイクロホン206により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部215により取得した姿勢情報等を付加して記憶部212に記憶したり、外部入出力部213又は無線通信部210を通じて出力したりすることもできる。
 以上のような構成のスマートフォン200においても、被写体を見失うリスクの低い撮像が可能となる。
 以上のように、本明細書には以下の事項が開示されている。
(1)
 光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、上記電荷保持部を非経由で上記光電変換素子の電荷が排出される電荷排出領域と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、撮像光学系を通して被写体を撮像する撮像素子と、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動、及び上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動からなるグローバルシャッタ方式の第一の駆動と、上記画素行の上記光電変換素子の電荷を上記電荷排出領域に排出してその光電変換素子の露光を開始する処理を上記画素行を変えながら順次行うローリングリセット駆動、上記ローリングリセット駆動によって露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動、及び上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動からなるローリングシャッタ方式の第二の駆動と、を行う撮像制御部と、上記第二の駆動によって上記撮像素子の上記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御部と、を備え、上記第一のローリング読み出し駆動に要する時間は、上記ローリングリセット駆動、上記ローリングシャッタ駆動、及び上記第二のローリング読み出し駆動の各々に要する時間よりも長くなっており、上記撮像制御部は、上記第二の駆動を連続して行う間に上記第一の駆動を行う撮像モードにおいて、上記第一の駆動の開始後に最初に行う上記第二の駆動の第一の開始タイミングを上記第一の駆動における上記第一のローリング読み出し駆動の実施期間中とし、かつ、上記第一の駆動の開始後に最初に行う上記ローリングシャッタ駆動の第二の開始タイミングを、上記第一のローリング読み出し駆動の終了後に最初に訪れる上記表示装置の表示更新タイミングに同期させる撮像装置。
(2)
 (1)記載の撮像装置であって、上記撮像制御部は、上記第一の開始タイミングとして設定可能な最速のタイミングと上記第二の開始タイミングとの間の最大露光時間が、上記撮像素子により撮像される被写体の明るさによって決められる適正露出値を得るための適正露光時間未満の場合には、上記第一の開始タイミングを上記最速のタイミングとし、かつ、上記第一の開始タイミングで設定する撮像条件を、上記適正露出値を得るための条件に設定する撮像装置。
(3) 
 (2)記載の撮像装置であって、上記撮像モードは、上記第一の駆動の開始後に少なくとも1回の上記第二の駆動を行う処理が複数回連続して行われるモードであり、上記撮像素子の上記複数の画素は、位相差検出用画素を含み、上記第一の駆動の開始後に行われる上記第二の駆動によって上記位相差検出用画素から出力される信号に基づいて位相差を演算し、上記最大露光時間が上記適正露光時間未満の場合に、上記位相差の演算結果の信頼度を判定する信頼度判定部と、上記信頼度が信頼度閾値以上の場合に、上記位相差に基づいて上記撮像光学系に含まれるフォーカスレンズの合焦制御を行う合焦制御部と、を更に備える撮像装置。
(4)
 (2)記載の撮像装置であって、上記撮像モードは、上記第一の駆動の開始後に複数回の上記第二の駆動を連続して行うモードであり、上記撮像制御部は、上記最大露光時間が上記適正露光時間未満でありかつ上記適正露光時間と上記最大露光時間との差が予め決められた時間閾値以上となる場合には、上記複数回の上記第二の駆動のうちの少なくとも2回目以降の上記第二の駆動における上記光電変換素子の露光時間を上記適正露光時間に設定する撮像装置。
(5) 
 (2)記載の撮像装置であって、上記撮像モードは、上記第一の駆動の開始後に複数回の上記第二の駆動を行う処理が複数回連続して行われるモードであり、上記撮像素子の上記複数の画素は、位相差検出用画素を含み、上記第一の駆動の開始後に最初に行われる上記第二の駆動によって上記位相差検出用画素から出力される信号に基づいて第一の位相差を演算し、上記最大露光時間が上記適正露光時間未満の場合に、上記第一の位相差の演算結果の第一の信頼度を判定する第一の信頼度判定部と、上記第一の信頼度が信頼度閾値以上の場合には、上記第一の位相差に基づいて上記撮像光学系に含まれるフォーカスレンズの合焦制御を行い、上記第一の信頼度が上記信頼度閾値未満の場合には、上記複数回の上記第二の駆動のうちの少なくとも2回目以降の上記第二の駆動によって上記位相差検出用画素から出力される信号から算出した第二の位相差に基づいて上記フォーカスレンズの合焦制御を行う第一の合焦制御部と、を更に備え、上記撮像制御部は、上記第一の信頼度が上記信頼度閾値未満の場合には、上記少なくとも2回目以降の上記第二の駆動における上記光電変換素子の露光時間を上記適正露光時間に設定する撮像装置。
(6)
 (5)記載の撮像装置であって、上記信頼度閾値を制御する信頼度閾値制御部を更に備える撮像装置。
(7)
 (6)記載の撮像装置であって、上記撮像モードは、上記第一の駆動を実施する間隔よりも上記合焦制御の精度を優先する第一モードと、上記合焦制御の精度よりも上記第一の駆動を実施する間隔を優先する第二モードとを含み、上記信頼度閾値制御部は、上記第一モードでは、上記第二モードよりも上記信頼度閾値を大きい値に制御する撮像装置。
(8)
 (6)記載の撮像装置であって、上記信頼度閾値制御部は、上記第一の駆動を実施する間隔が予め決められた間隔閾値以上の場合には、上記間隔が上記間隔閾値未満の場合よりも上記信頼度閾値を大きい値に制御する撮像装置。
(9)
 (1)記載の撮像装置であって、上記撮像モードは、上記第一の駆動の開始後に複数回の上記第二の駆動を行う処理が複数回連続して行われるモードであり、上記撮像素子の上記複数の画素は、位相差検出用画素を含み、上記最初に行われる上記第二の駆動によって上記位相差検出用画素から出力される信号に基づいて、上記撮像光学系に含まれるフォーカスレンズの合焦制御を行う第二の合焦制御部と、上記第一の開始タイミングとして設定可能な最速のタイミングと上記第二の開始タイミングとの間の最大露光時間が、上記撮像素子により撮像される被写体の明るさによって決められる適正露出値を得るための適正露光時間未満となる場合に、上記最大露光時間で上記適正露出値を得るための撮像条件で上記最初の上記第二の駆動が行われる場合における上記合焦制御の第二の信頼度を、上記最大露光時間及び上記適正露出値に基づいて判定する第二の信頼度判定部と、を更に備え、上記撮像制御部は、上記第二の信頼度が信頼度閾値未満の場合には、上記第二の開始タイミングを上記第一のローリング読み出し駆動の終了後に2回目に訪れる上記表示装置の表示更新タイミングに同期させかつ上記第一の開始タイミングをその第二の開始タイミングから上記適正露光時間前のタイミングに設定し、上記第二の信頼度が上記信頼度閾値以上の場合には、上記第二の開始タイミングを上記第一のローリング読み出し駆動の終了後に最初に訪れる上記表示装置の表示更新タイミングに同期させかつ上記第一の開始タイミングをその第二の開始タイミングから上記最大露光時間前のタイミングに設定する撮像装置。
(10)
 (5)記載の撮像装置であって、
 上記最初に行われる上記第二の駆動によって上記位相差検出用の画素から出力される信号に基づいて、上記撮像光学系に含まれるフォーカスレンズの合焦制御を行う第二の合焦制御部と、上記第一の開始タイミングとして設定可能な最速のタイミングと上記第二の開始タイミングとの間の最大露光時間が、上記撮像素子により撮像される被写体の明るさによって決められる適正露出値を得るための適正露光時間未満となる場合に、上記最大露光時間で上記適正露出値を得るための撮像条件で上記最初の上記第二の駆動が行われる場合における上記合焦制御の第二の信頼度を、上記最大露光時間及び上記適正露出値に基づいて判定する第二の信頼度判定部と、を更に備え、上記撮像制御部は、上記第二の信頼度が信頼度閾値未満の場合には、上記第二の開始タイミングを上記第一のローリング読み出し駆動の終了後に2回目に訪れる上記表示装置の表示更新タイミングに同期させかつ上記第一の開始タイミングをその第二の開始タイミングから上記適正露光時間前のタイミングに設定し、上記第二の信頼度が上記信頼度閾値以上の場合には、上記第二の開始タイミングを上記第一のローリング読み出し駆動の終了後に最初に訪れる上記表示装置の表示更新タイミングに同期させかつ上記第一の開始タイミングをその第二の開始タイミングから上記最大露光時間前のタイミングに設定し、上記撮像制御部、上記表示制御部、上記第一の合焦制御部、及び上記第一の信頼度判定部からなる第一の機能ユニットと、上記撮像制御部、上記表示制御部、上記第二の合焦制御部、及び上記第二の信頼度判定部からなる第二の機能ユニットと、を選択的に動作させる撮像装置。
(11)
 (10)記載の撮像装置であって、上記第一の駆動を実施する間隔が予め決められた間隔閾値未満の場合には上記第一の機能ユニットを動作させ、上記間隔が上記間隔閾値以上の場合には上記第二の機能ユニットを動作させる撮像装置。
(12)
 (10)記載の撮像装置であって、上記撮像素子によって撮像されている被写体の動き量が予め決められた動き閾値以上の場合には上記第一の機能ユニットを動作させ、上記動き量が上記動き閾値未満の場合には上記第二の機能ユニットを動作させる撮像装置。
(13)
 光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、上記電荷保持部を非経由で上記光電変換素子の電荷が排出される電荷排出領域と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、撮像光学系を通して被写体を撮像する撮像素子を用いた撮像方法であって、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動、及び上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動からなるグローバルシャッタ方式の第一の駆動と、上記画素行の上記光電変換素子の電荷を上記電荷排出領域に排出してその光電変換素子の露光を開始する処理を上記画素行を変えながら順次行うローリングリセット駆動、上記ローリングリセット駆動によって露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動、及び上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動からなるローリングシャッタ方式の第二の駆動と、を行う撮像制御ステップと、上記第二の駆動によって上記撮像素子の上記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御ステップと、を備え、上記第一のローリング読み出し駆動に要する時間は、上記ローリングリセット駆動、上記ローリングシャッタ駆動、及び上記第二のローリング読み出し駆動の各々に要する時間よりも長くなっており、上記撮像制御ステップでは、上記第二の駆動を連続して行う間に上記第一の駆動を行う撮像モードにおいて、上記第一の駆動の開始後に最初に行う上記第二の駆動の第一の開始タイミングを上記第一の駆動における上記第一のローリング読み出し駆動の実施期間中とし、かつ、上記第一の駆動の開始後に最初に行う上記ローリングシャッタ駆動の第二の開始タイミングを、上記第一のローリング読み出し駆動の終了後に最初に訪れる上記表示装置の表示更新タイミングに同期させる撮像方法。
(14)
 (13)記載の撮像方法であって、上記撮像制御ステップでは、上記第一の開始タイミングとして設定可能な最速のタイミングと上記第二の開始タイミングとの間の最大露光時間が、上記撮像素子により撮像される被写体の明るさによって決められる適正露出値を得るための適正露光時間未満の場合には、上記第一の開始タイミングを上記最速のタイミングとし、かつ、上記第一の開始タイミングで設定する撮像条件を、上記適正露出値を得るための条件に設定する撮像方法。
(15)
 (14)記載の撮像方法であって、上記撮像モードは、上記第一の駆動の開始後に少なくとも1回の上記第二の駆動を行う処理が複数回連続して行われるモードであり、上記撮像素子の上記複数の画素は、位相差検出用画素を含み、上記第一の駆動の開始後に行われる上記第二の駆動によって上記位相差検出用画素から出力される信号に基づいて位相差を演算し、上記最大露光時間が上記適正露光時間未満の場合に、上記位相差の演算結果の信頼度を判定する信頼度判定ステップと、上記信頼度が信頼度閾値以上の場合に、上記位相差に基づいて上記撮像光学系に含まれるフォーカスレンズの合焦制御を行う合焦制御ステップと、を更に備える撮像方法。
(16)
 (14)記載の撮像方法であって、上記撮像モードは、上記第一の駆動の開始後に複数回の上記第二の駆動を連続して行うモードであり、上記撮像制御ステップでは、上記最大露光時間が上記適正露光時間未満でありかつ上記適正露光時間と上記最大露光時間との差が予め決められた時間閾値以上となる場合には、上記複数回の上記第二の駆動のうちの少なくとも2回目以降の上記第二の駆動における上記光電変換素子の露光時間を上記適正露光時間に設定する撮像方法。
(17)
 (14)記載の撮像方法であって、上記撮像モードは、上記第一の駆動の開始後に複数回の上記第二の駆動を行う処理が複数回連続して行われるモードであり、上記撮像素子の上記複数の画素は、位相差検出用画素を含み、上記第一の駆動の開始後に最初に行われる上記第二の駆動によって上記位相差検出用画素から出力される信号に基づいて第一の位相差を演算し、上記最大露光時間が上記適正露光時間未満の場合に、上記第一の位相差の演算結果の第一の信頼度を判定する第一の信頼度判定ステップと、上記第一の信頼度が信頼度閾値以上の場合には、上記第一の位相差に基づいて上記撮像光学系に含まれるフォーカスレンズの合焦制御を行い、上記第一の信頼度が上記信頼度閾値未満の場合には、上記複数回の上記第二の駆動のうちの少なくとも2回目以降の上記第二の駆動によって上記位相差検出用画素から出力される信号から算出した第二の位相差に基づいて上記フォーカスレンズの合焦制御を行う第一の合焦制御ステップと、を更に備え、上記撮像制御ステップでは、上記第一の信頼度が上記信頼度閾値未満の場合には、上記少なくとも2回目以降の上記第二の駆動における上記光電変換素子の露光時間を上記適正露光時間に設定する撮像方法。
(18)
 (17)記載の撮像方法であって、上記信頼度閾値を制御する信頼度閾値制御ステップを更に備える撮像方法。
(19)
 (18)記載の撮像方法であって、上記撮像モードは、上記第一の駆動を実施する間隔よりも上記合焦制御の精度を優先する第一モードと、上記合焦制御の精度よりも上記第一の駆動を実施する間隔を優先する第二モードとを含み、上記信頼度閾値制御ステップは、上記第一モードでは、上記第二モードよりも上記信頼度閾値を大きい値に制御する撮像方法。
(20)
 (18)記載の撮像方法であって、上記信頼度閾値制御ステップは、上記第一の駆動を実施する間隔が予め決められた間隔閾値以上の場合には、上記間隔が上記間隔閾値未満の場合よりも上記信頼度閾値を大きい値に制御する撮像方法。
(21)
 (13)記載の撮像方法であって、上記撮像モードは、上記第一の駆動の開始後に複数回の上記第二の駆動を行う処理が複数回連続して行われるモードであり、上記撮像素子の上記複数の画素は、位相差検出用画素を含み、上記最初に行われる上記第二の駆動によって上記位相差検出用画素から出力される信号に基づいて、上記撮像光学系に含まれるフォーカスレンズの合焦制御を行う第二の合焦制御ステップと、上記第一の開始タイミングとして設定可能な最速のタイミングと上記第二の開始タイミングとの間の最大露光時間が、上記撮像素子により撮像される被写体の明るさによって決められる適正露出値を得るための適正露光時間未満となる場合に、上記最大露光時間で上記適正露出値を得るための撮像条件で上記最初の上記第二の駆動が行われる場合における上記合焦制御の第二の信頼度を、上記最大露光時間及び上記適正露出値に基づいて判定する第二の信頼度判定ステップと、を更に備え、上記撮像制御ステップでは、上記第二の信頼度が信頼度閾値未満の場合には、上記第二の開始タイミングを上記第一のローリング読み出し駆動の終了後に2回目に訪れる上記表示装置の表示更新タイミングに同期させかつ上記第一の開始タイミングをその第二の開始タイミングから上記適正露光時間前のタイミングに設定し、上記第二の信頼度が上記信頼度閾値以上の場合には、上記第二の開始タイミングを上記第一のローリング読み出し駆動の終了後に最初に訪れる上記表示装置の表示更新タイミングに同期させかつ上記第一の開始タイミングをその第二の開始タイミングから上記最大露光時間前のタイミングに設定する撮像方法。
(22)
 (17)記載の撮像方法であって、上記最初に行われる上記第二の駆動によって上記位相差検出用の画素から出力される信号に基づいて、上記撮像光学系に含まれるフォーカスレンズの合焦制御を行う第二の合焦制御ステップと、上記第一の開始タイミングとして設定可能な最速のタイミングと上記第二の開始タイミングとの間の最大露光時間が、上記撮像素子により撮像される被写体の明るさによって決められる適正露出値を得るための適正露光時間未満となる場合に、上記最大露光時間で上記適正露出値を得るための撮像条件で上記最初の上記第二の駆動が行われる場合における上記合焦制御の第二の信頼度を、上記最大露光時間及び上記適正露出値に基づいて判定する第二の信頼度判定ステップと、を更に備え、上記撮像制御ステップでは、上記第二の信頼度が信頼度閾値未満の場合には、上記第二の開始タイミングを上記第一のローリング読み出し駆動の終了後に2回目に訪れる上記表示装置の表示更新タイミングに同期させかつ上記第一の開始タイミングをその第二の開始タイミングから上記適正露光時間前のタイミングに設定し、上記第二の信頼度が上記信頼度閾値以上の場合には、上記第二の開始タイミングを上記第一のローリング読み出し駆動の終了後に最初に訪れる上記表示装置の表示更新タイミングに同期させかつ上記第一の開始タイミングをその第二の開始タイミングから上記最大露光時間前のタイミングに設定し、上記撮像制御ステップ、上記表示制御ステップ、上記第一の合焦制御ステップ、及び上記第一の信頼度判定ステップからなる第一の機能と、上記撮像制御ステップ、上記表示制御ステップ、上記第二の合焦制御ステップ、及び上記第二の信頼度判定ステップからなる第二の機能とを選択的に有効化する撮像方法。
(23)
 (22)記載の撮像方法であって、上記第一の駆動を実施する間隔が予め決められた間隔閾値未満の場合には上記第一の機能を有効とし、上記間隔が上記間隔閾値以上の場合には上記第二の機能を有効とする撮像方法。
(24)
 (22)記載の撮像方法であって、上記撮像素子によって撮像されている被写体の動き量が予め決められた動き閾値以上の場合には上記第一の機能を有効とし、上記動き量が上記動き閾値未満の場合には上記第二の機能を有効とする撮像方法。
(25)
 光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、上記電荷保持部を非経由で上記光電変換素子の電荷が排出される電荷排出領域と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、撮像光学系を通して被写体を撮像する撮像素子を用いた撮像方法をコンピュータに実行させるための撮像プログラムであって、上記撮像方法は、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動、及び上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動からなるグローバルシャッタ方式の第一の駆動と、上記画素行の上記光電変換素子の電荷を上記電荷排出領域に排出してその光電変換素子の露光を開始する処理を上記画素行を変えながら順次行うローリングリセット駆動、上記ローリングリセット駆動によって露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動、及び上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動からなるローリングシャッタ方式の第二の駆動と、を行う撮像制御ステップと、上記第二の駆動によって上記撮像素子の上記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御ステップと、を備え、上記第一のローリング読み出し駆動に要する時間は、上記ローリングリセット駆動、上記ローリングシャッタ駆動、及び上記第二のローリング読み出し駆動の各々に要する時間よりも長くなっており、上記撮像制御ステップでは、上記第二の駆動を連続して行う間に上記第一の駆動を行う撮像モードにおいて、上記第一の駆動の開始後に最初に行う上記第二の駆動の第一の開始タイミングを上記第一の駆動における上記第一のローリング読み出し駆動の実施期間中とし、かつ、上記第一の駆動の開始後に最初に行う上記ローリングシャッタ駆動の第二の開始タイミングを、上記第一のローリング読み出し駆動の終了後に最初に訪れる上記表示装置の表示更新タイミングに同期させる撮像プログラム。
 本発明は、特にデジタルカメラ又はスマートフォン等に適用して利便性が高く、有効である。
 以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
 本出願は、2017年3月28日出願の日本特許出願(特願2017-063231)に基づくものであり、その内容はここに取り込まれる。
100 デジタルカメラ
1 撮像レンズ
2 絞り
4 レンズ制御部
5 撮像素子
60 撮像面
61 画素
61A 光電変換素子
61B 電荷保持部
61C 電荷転送部
61D フローティングディフュージョン
61E 読み出し回路
61F 電荷排出領域
RG リセット用電極
62 画素行
63 駆動回路
64 信号処理回路
65 信号線
70 N型基板
71 Pウェル層
72 読み出し電極
73 N型不純物層
74 P型不純物層
75 領域
76 転送電極
77 リセットトランジスタ
78 出力トランジスタ
79 選択トランジスタ
8 レンズ駆動部
9 絞り駆動部
10 撮像素子駆動部
11 システム制御部
11A 撮像制御部
11B 表示制御部
11C 信頼度判定部
11D 合焦制御部
11E 第一の信頼度判定部
11F 第一の合焦制御部
11G 信頼度閾値制御部
11H 第二の信頼度判定部
11J 第二の合焦制御部
14 操作部
15 メモリ制御部
16 メインメモリ
17 デジタル信号処理部
20 外部メモリ制御部
21 記憶媒体
22 表示コントローラ
23 表示面
23A 表示画素
23B 表示画素行
24 制御バス
25 データバス
40 レンズ装置
GS,GR,RS,RR,RO1,RO2,ST,DR 直線
SS1 適正露光時間
SS2 最大露光時間
200 スマートフォン
201 筐体
202 表示パネル
203 操作パネル
204 表示入力部
205 スピーカ
206 マイクロホン
207 操作部
208 カメラ部
210 無線通信部
211 通話部
212 記憶部
213 外部入出力部
214 GPS受信部
215 モーションセンサ部
216 電源部
217 内部記憶部
218 外部記憶部
220 主制御部
ST1~STn GPS衛星

Claims (25)

  1.  光電変換素子と、前記光電変換素子から転送される電荷を保持し前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、前記電荷保持部を非経由で前記光電変換素子の電荷が排出される電荷排出領域と、を含む複数の画素を有し、一方向に配列された複数の前記画素からなる複数の画素行を備え、撮像光学系を通して被写体を撮像する撮像素子と、
     前記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始するグローバルリセット駆動、前記露光によって前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了するグローバルシャッタ駆動、及び前記グローバルシャッタ駆動によって前記電荷保持部に保持された前記電荷に応じた信号を前記画素行毎に順次読み出す第一のローリング読み出し駆動からなるグローバルシャッタ方式の第一の駆動と、
     前記画素行の前記光電変換素子の電荷を前記電荷排出領域に排出して当該光電変換素子の露光を開始する処理を前記画素行を変えながら順次行うローリングリセット駆動、前記ローリングリセット駆動によって露光が開始された前記画素行の前記光電変換素子に蓄積された電荷を前記電荷保持部に転送して前記画素行の前記露光を終了する処理を前記画素行を変えながら順次行うローリングシャッタ駆動、及び前記ローリングシャッタ駆動によって前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記画素行を変えながら順次読み出す第二のローリング読み出し駆動からなるローリングシャッタ方式の第二の駆動と、を行う撮像制御部と、
     前記第二の駆動によって前記撮像素子の前記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御部と、を備え、
     前記第一のローリング読み出し駆動に要する時間は、前記ローリングリセット駆動、前記ローリングシャッタ駆動、及び前記第二のローリング読み出し駆動の各々に要する時間よりも長くなっており、
     前記撮像制御部は、前記第二の駆動を連続して行う間に前記第一の駆動を行う撮像モードにおいて、前記第一の駆動の開始後に最初に行う前記第二の駆動の第一の開始タイミングを前記第一の駆動における前記第一のローリング読み出し駆動の実施期間中とし、かつ、前記第一の駆動の開始後に最初に行う前記ローリングシャッタ駆動の第二の開始タイミングを、前記第一のローリング読み出し駆動の終了後に最初に訪れる前記表示装置の表示更新タイミングに同期させる撮像装置。
  2.  請求項1記載の撮像装置であって、
     前記撮像制御部は、前記第一の開始タイミングとして設定可能な最速のタイミングと前記第二の開始タイミングとの間の最大露光時間が、前記撮像素子により撮像される被写体の明るさによって決められる適正露出値を得るための適正露光時間未満の場合には、前記第一の開始タイミングを前記最速のタイミングとし、かつ、前記第一の開始タイミングで設定する撮像条件を、前記適正露出値を得るための条件に設定する撮像装置。
  3.  請求項2記載の撮像装置であって、
     前記撮像モードは、前記第一の駆動の開始後に少なくとも1回の前記第二の駆動を行う処理が複数回連続して行われるモードであり、
     前記撮像素子の前記複数の画素は、位相差検出用画素を含み、
     前記第一の駆動の開始後に行われる前記第二の駆動によって前記位相差検出用画素から出力される信号に基づいて位相差を演算し、前記最大露光時間が前記適正露光時間未満の場合に、前記位相差の演算結果の信頼度を判定する信頼度判定部と、
     前記信頼度が信頼度閾値以上の場合に、前記位相差に基づいて前記撮像光学系に含まれるフォーカスレンズの合焦制御を行う合焦制御部と、を更に備える撮像装置。
  4.  請求項2記載の撮像装置であって、
     前記撮像モードは、前記第一の駆動の開始後に複数回の前記第二の駆動を連続して行うモードであり、
     前記撮像制御部は、前記最大露光時間が前記適正露光時間未満でありかつ前記適正露光時間と前記最大露光時間との差が予め決められた時間閾値以上となる場合には、前記複数回の前記第二の駆動のうちの少なくとも2回目以降の前記第二の駆動における前記光電変換素子の露光時間を前記適正露光時間に設定する撮像装置。
  5.  請求項2記載の撮像装置であって、
     前記撮像モードは、前記第一の駆動の開始後に複数回の前記第二の駆動を行う処理が複数回連続して行われるモードであり、
     前記撮像素子の前記複数の画素は、位相差検出用画素を含み、
     前記第一の駆動の開始後に最初に行われる前記第二の駆動によって前記位相差検出用画素から出力される信号に基づいて第一の位相差を演算し、前記最大露光時間が前記適正露光時間未満の場合に、前記第一の位相差の演算結果の第一の信頼度を判定する第一の信頼度判定部と、
     前記第一の信頼度が信頼度閾値以上の場合には、前記第一の位相差に基づいて前記撮像光学系に含まれるフォーカスレンズの合焦制御を行い、前記第一の信頼度が前記信頼度閾値未満の場合には、前記複数回の前記第二の駆動のうちの少なくとも2回目以降の前記第二の駆動によって前記位相差検出用画素から出力される信号から算出した第二の位相差に基づいて前記フォーカスレンズの合焦制御を行う第一の合焦制御部と、を更に備え、
     前記撮像制御部は、前記第一の信頼度が前記信頼度閾値未満の場合には、前記少なくとも2回目以降の前記第二の駆動における前記光電変換素子の露光時間を前記適正露光時間に設定する撮像装置。
  6.  請求項5記載の撮像装置であって、
     前記信頼度閾値を制御する信頼度閾値制御部を更に備える撮像装置。
  7.  請求項6記載の撮像装置であって、
     前記撮像モードは、前記第一の駆動を実施する間隔よりも前記合焦制御の精度を優先する第一モードと、前記合焦制御の精度よりも前記第一の駆動を実施する間隔を優先する第二モードとを含み、
     前記信頼度閾値制御部は、前記第一モードでは、前記第二モードよりも前記信頼度閾値を大きい値に制御する撮像装置。
  8.  請求項6記載の撮像装置であって、
     前記信頼度閾値制御部は、前記第一の駆動を実施する間隔が予め決められた間隔閾値以上の場合には、前記間隔が前記間隔閾値未満の場合よりも前記信頼度閾値を大きい値に制御する撮像装置。
  9.  請求項1記載の撮像装置であって、
     前記撮像モードは、前記第一の駆動の開始後に複数回の前記第二の駆動を行う処理が複数回連続して行われるモードであり、
     前記撮像素子の前記複数の画素は、位相差検出用画素を含み、
     前記最初に行われる前記第二の駆動によって前記位相差検出用画素から出力される信号に基づいて、前記撮像光学系に含まれるフォーカスレンズの合焦制御を行う第二の合焦制御部と、
     前記第一の開始タイミングとして設定可能な最速のタイミングと前記第二の開始タイミングとの間の最大露光時間が、前記撮像素子により撮像される被写体の明るさによって決められる適正露出値を得るための適正露光時間未満となる場合に、前記最大露光時間で前記適正露出値を得るための撮像条件で前記最初の前記第二の駆動が行われる場合における前記合焦制御の第二の信頼度を、前記最大露光時間及び前記適正露出値に基づいて判定する第二の信頼度判定部と、を更に備え、
     前記撮像制御部は、前記第二の信頼度が信頼度閾値未満の場合には、前記第二の開始タイミングを前記第一のローリング読み出し駆動の終了後に2回目に訪れる前記表示装置の表示更新タイミングに同期させかつ前記第一の開始タイミングを当該第二の開始タイミングから前記適正露光時間前のタイミングに設定し、前記第二の信頼度が前記信頼度閾値以上の場合には、前記第二の開始タイミングを前記第一のローリング読み出し駆動の終了後に最初に訪れる前記表示装置の表示更新タイミングに同期させかつ前記第一の開始タイミングを当該第二の開始タイミングから前記最大露光時間前のタイミングに設定する撮像装置。
  10.  請求項5記載の撮像装置であって、
     前記最初に行われる前記第二の駆動によって前記位相差検出用の画素から出力される信号に基づいて、前記撮像光学系に含まれるフォーカスレンズの合焦制御を行う第二の合焦制御部と、
     前記第一の開始タイミングとして設定可能な最速のタイミングと前記第二の開始タイミングとの間の最大露光時間が、前記撮像素子により撮像される被写体の明るさによって決められる適正露出値を得るための適正露光時間未満となる場合に、前記最大露光時間で前記適正露出値を得るための撮像条件で前記最初の前記第二の駆動が行われる場合における前記合焦制御の第二の信頼度を、前記最大露光時間及び前記適正露出値に基づいて判定する第二の信頼度判定部と、を更に備え、
     前記撮像制御部は、前記第二の信頼度が信頼度閾値未満の場合には、前記第二の開始タイミングを前記第一のローリング読み出し駆動の終了後に2回目に訪れる前記表示装置の表示更新タイミングに同期させかつ前記第一の開始タイミングを当該第二の開始タイミングから前記適正露光時間前のタイミングに設定し、前記第二の信頼度が前記信頼度閾値以上の場合には、前記第二の開始タイミングを前記第一のローリング読み出し駆動の終了後に最初に訪れる前記表示装置の表示更新タイミングに同期させかつ前記第一の開始タイミングを当該第二の開始タイミングから前記最大露光時間前のタイミングに設定し、
     前記撮像制御部、前記表示制御部、前記第一の合焦制御部、及び前記第一の信頼度判定部からなる第一の機能ユニットと、前記撮像制御部、前記表示制御部、前記第二の合焦制御部、及び前記第二の信頼度判定部からなる第二の機能ユニットと、を選択的に動作させる撮像装置。
  11.  請求項10記載の撮像装置であって、
     前記第一の駆動を実施する間隔が予め決められた間隔閾値未満の場合には前記第一の機能ユニットを動作させ、
     前記間隔が前記間隔閾値以上の場合には前記第二の機能ユニットを動作させる撮像装置。
  12.  請求項10記載の撮像装置であって、
     前記撮像素子によって撮像されている被写体の動き量が予め決められた動き閾値以上の場合には前記第一の機能ユニットを動作させ、
     前記動き量が前記動き閾値未満の場合には前記第二の機能ユニットを動作させる撮像装置。
  13.  光電変換素子と、前記光電変換素子から転送される電荷を保持し前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、前記電荷保持部を非経由で前記光電変換素子の電荷が排出される電荷排出領域と、を含む複数の画素を有し、一方向に配列された複数の前記画素からなる複数の画素行を備え、撮像光学系を通して被写体を撮像する撮像素子を用いた撮像方法であって、
     前記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始するグローバルリセット駆動、前記露光によって前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了するグローバルシャッタ駆動、及び前記グローバルシャッタ駆動によって前記電荷保持部に保持された前記電荷に応じた信号を前記画素行毎に順次読み出す第一のローリング読み出し駆動からなるグローバルシャッタ方式の第一の駆動と、
     前記画素行の前記光電変換素子の電荷を前記電荷排出領域に排出して当該光電変換素子の露光を開始する処理を前記画素行を変えながら順次行うローリングリセット駆動、前記ローリングリセット駆動によって露光が開始された前記画素行の前記光電変換素子に蓄積された電荷を前記電荷保持部に転送して前記画素行の前記露光を終了する処理を前記画素行を変えながら順次行うローリングシャッタ駆動、及び前記ローリングシャッタ駆動によって前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記画素行を変えながら順次読み出す第二のローリング読み出し駆動からなるローリングシャッタ方式の第二の駆動と、を行う撮像制御ステップと、
     前記第二の駆動によって前記撮像素子の前記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御ステップと、を備え、
     前記第一のローリング読み出し駆動に要する時間は、前記ローリングリセット駆動、前記ローリングシャッタ駆動、及び前記第二のローリング読み出し駆動の各々に要する時間よりも長くなっており、
     前記撮像制御ステップでは、前記第二の駆動を連続して行う間に前記第一の駆動を行う撮像モードにおいて、前記第一の駆動の開始後に最初に行う前記第二の駆動の第一の開始タイミングを前記第一の駆動における前記第一のローリング読み出し駆動の実施期間中とし、かつ、前記第一の駆動の開始後に最初に行う前記ローリングシャッタ駆動の第二の開始タイミングを、前記第一のローリング読み出し駆動の終了後に最初に訪れる前記表示装置の表示更新タイミングに同期させる撮像方法。
  14.  請求項13記載の撮像方法であって、
     前記撮像制御ステップでは、前記第一の開始タイミングとして設定可能な最速のタイミングと前記第二の開始タイミングとの間の最大露光時間が、前記撮像素子により撮像される被写体の明るさによって決められる適正露出値を得るための適正露光時間未満の場合には、前記第一の開始タイミングを前記最速のタイミングとし、かつ、前記第一の開始タイミングで設定する撮像条件を、前記適正露出値を得るための条件に設定する撮像方法。
  15.  請求項14記載の撮像方法であって、
     前記撮像モードは、前記第一の駆動の開始後に少なくとも1回の前記第二の駆動を行う処理が複数回連続して行われるモードであり、
     前記撮像素子の前記複数の画素は、位相差検出用画素を含み、
     前記第一の駆動の開始後に行われる前記第二の駆動によって前記位相差検出用画素から出力される信号に基づいて位相差を演算し、前記最大露光時間が前記適正露光時間未満の場合に、前記位相差の演算結果の信頼度を判定する信頼度判定ステップと、
     前記信頼度が信頼度閾値以上の場合に、前記位相差に基づいて前記撮像光学系に含まれるフォーカスレンズの合焦制御を行う合焦制御ステップと、を更に備える撮像方法。
  16.  請求項14記載の撮像方法であって、
     前記撮像モードは、前記第一の駆動の開始後に複数回の前記第二の駆動を連続して行うモードであり、
     前記撮像制御ステップでは、前記最大露光時間が前記適正露光時間未満でありかつ前記適正露光時間と前記最大露光時間との差が予め決められた時間閾値以上となる場合には、前記複数回の前記第二の駆動のうちの少なくとも2回目以降の前記第二の駆動における前記光電変換素子の露光時間を前記適正露光時間に設定する撮像方法。
  17.  請求項14記載の撮像方法であって、
     前記撮像モードは、前記第一の駆動の開始後に複数回の前記第二の駆動を行う処理が複数回連続して行われるモードであり、
     前記撮像素子の前記複数の画素は、位相差検出用画素を含み、
     前記第一の駆動の開始後に最初に行われる前記第二の駆動によって前記位相差検出用画素から出力される信号に基づいて第一の位相差を演算し、前記最大露光時間が前記適正露光時間未満の場合に、前記第一の位相差の演算結果の第一の信頼度を判定する第一の信頼度判定ステップと、
     前記第一の信頼度が信頼度閾値以上の場合には、前記第一の位相差に基づいて前記撮像光学系に含まれるフォーカスレンズの合焦制御を行い、前記第一の信頼度が前記信頼度閾値未満の場合には、前記複数回の前記第二の駆動のうちの少なくとも2回目以降の前記第二の駆動によって前記位相差検出用画素から出力される信号から算出した第二の位相差に基づいて前記フォーカスレンズの合焦制御を行う第一の合焦制御ステップと、を更に備え、
     前記撮像制御ステップでは、前記第一の信頼度が前記信頼度閾値未満の場合には、前記少なくとも2回目以降の前記第二の駆動における前記光電変換素子の露光時間を前記適正露光時間に設定する撮像方法。
  18.  請求項17記載の撮像方法であって、
     前記信頼度閾値を制御する信頼度閾値制御ステップを更に備える撮像方法。
  19.  請求項18記載の撮像方法であって、
     前記撮像モードは、前記第一の駆動を実施する間隔よりも前記合焦制御の精度を優先する第一モードと、前記合焦制御の精度よりも前記第一の駆動を実施する間隔を優先する第二モードとを含み、
     前記信頼度閾値制御ステップは、前記第一モードでは、前記第二モードよりも前記信頼度閾値を大きい値に制御する撮像方法。
  20.  請求項18記載の撮像方法であって、
     前記信頼度閾値制御ステップは、前記第一の駆動を実施する間隔が予め決められた間隔閾値以上の場合には、前記間隔が前記間隔閾値未満の場合よりも前記信頼度閾値を大きい値に制御する撮像方法。
  21.  請求項13記載の撮像方法であって、
     前記撮像モードは、前記第一の駆動の開始後に複数回の前記第二の駆動を行う処理が複数回連続して行われるモードであり、
     前記撮像素子の前記複数の画素は、位相差検出用画素を含み、
     前記最初に行われる前記第二の駆動によって前記位相差検出用画素から出力される信号に基づいて、前記撮像光学系に含まれるフォーカスレンズの合焦制御を行う第二の合焦制御ステップと、
     前記第一の開始タイミングとして設定可能な最速のタイミングと前記第二の開始タイミングとの間の最大露光時間が、前記撮像素子により撮像される被写体の明るさによって決められる適正露出値を得るための適正露光時間未満となる場合に、前記最大露光時間で前記適正露出値を得るための撮像条件で前記最初の前記第二の駆動が行われる場合における前記合焦制御の第二の信頼度を、前記最大露光時間及び前記適正露出値に基づいて判定する第二の信頼度判定ステップと、を更に備え、
     前記撮像制御ステップでは、前記第二の信頼度が信頼度閾値未満の場合には、前記第二の開始タイミングを前記第一のローリング読み出し駆動の終了後に2回目に訪れる前記表示装置の表示更新タイミングに同期させかつ前記第一の開始タイミングを当該第二の開始タイミングから前記適正露光時間前のタイミングに設定し、前記第二の信頼度が前記信頼度閾値以上の場合には、前記第二の開始タイミングを前記第一のローリング読み出し駆動の終了後に最初に訪れる前記表示装置の表示更新タイミングに同期させかつ前記第一の開始タイミングを当該第二の開始タイミングから前記最大露光時間前のタイミングに設定する撮像方法。
  22.  請求項17記載の撮像方法であって、
     前記最初に行われる前記第二の駆動によって前記位相差検出用の画素から出力される信号に基づいて、前記撮像光学系に含まれるフォーカスレンズの合焦制御を行う第二の合焦制御ステップと、
     前記第一の開始タイミングとして設定可能な最速のタイミングと前記第二の開始タイミングとの間の最大露光時間が、前記撮像素子により撮像される被写体の明るさによって決められる適正露出値を得るための適正露光時間未満となる場合に、前記最大露光時間で前記適正露出値を得るための撮像条件で前記最初の前記第二の駆動が行われる場合における前記合焦制御の第二の信頼度を、前記最大露光時間及び前記適正露出値に基づいて判定する第二の信頼度判定ステップと、を更に備え、
     前記撮像制御ステップでは、前記第二の信頼度が信頼度閾値未満の場合には、前記第二の開始タイミングを前記第一のローリング読み出し駆動の終了後に2回目に訪れる前記表示装置の表示更新タイミングに同期させかつ前記第一の開始タイミングを当該第二の開始タイミングから前記適正露光時間前のタイミングに設定し、前記第二の信頼度が前記信頼度閾値以上の場合には、前記第二の開始タイミングを前記第一のローリング読み出し駆動の終了後に最初に訪れる前記表示装置の表示更新タイミングに同期させかつ前記第一の開始タイミングを当該第二の開始タイミングから前記最大露光時間前のタイミングに設定し、
     前記撮像制御ステップ、前記表示制御ステップ、前記第一の合焦制御ステップ、及び前記第一の信頼度判定ステップからなる第一の機能と、前記撮像制御ステップ、前記表示制御ステップ、前記第二の合焦制御ステップ、及び前記第二の信頼度判定ステップからなる第二の機能とを選択的に有効化する撮像方法。
  23.  請求項22記載の撮像方法であって、
     前記第一の駆動を実施する間隔が予め決められた間隔閾値未満の場合には前記第一の機能を有効とし、
     前記間隔が前記間隔閾値以上の場合には前記第二の機能を有効とする撮像方法。
  24.  請求項22記載の撮像方法であって、
     前記撮像素子によって撮像されている被写体の動き量が予め決められた動き閾値以上の場合には前記第一の機能を有効とし、
     前記動き量が前記動き閾値未満の場合には前記第二の機能を有効とする撮像方法。
  25.  光電変換素子と、前記光電変換素子から転送される電荷を保持し前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、前記電荷保持部を非経由で前記光電変換素子の電荷が排出される電荷排出領域と、を含む複数の画素を有し、一方向に配列された複数の前記画素からなる複数の画素行を備え、撮像光学系を通して被写体を撮像する撮像素子を用いた撮像方法をコンピュータに実行させるための撮像プログラムであって、
     前記撮像方法は、
     前記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始するグローバルリセット駆動、前記露光によって前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了するグローバルシャッタ駆動、及び前記グローバルシャッタ駆動によって前記電荷保持部に保持された前記電荷に応じた信号を前記画素行毎に順次読み出す第一のローリング読み出し駆動からなるグローバルシャッタ方式の第一の駆動と、
     前記画素行の前記光電変換素子の電荷を前記電荷排出領域に排出して当該光電変換素子の露光を開始する処理を前記画素行を変えながら順次行うローリングリセット駆動、前記ローリングリセット駆動によって露光が開始された前記画素行の前記光電変換素子に蓄積された電荷を前記電荷保持部に転送して前記画素行の前記露光を終了する処理を前記画素行を変えながら順次行うローリングシャッタ駆動、及び前記ローリングシャッタ駆動によって前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記画素行を変えながら順次読み出す第二のローリング読み出し駆動からなるローリングシャッタ方式の第二の駆動と、を行う撮像制御ステップと、
     前記第二の駆動によって前記撮像素子の前記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御ステップと、を備え、
     前記第一のローリング読み出し駆動に要する時間は、前記ローリングリセット駆動、前記ローリングシャッタ駆動、及び前記第二のローリング読み出し駆動の各々に要する時間よりも長くなっており、
     前記撮像制御ステップでは、前記第二の駆動を連続して行う間に前記第一の駆動を行う撮像モードにおいて、前記第一の駆動の開始後に最初に行う前記第二の駆動の第一の開始タイミングを前記第一の駆動における前記第一のローリング読み出し駆動の実施期間中とし、かつ、前記第一の駆動の開始後に最初に行う前記ローリングシャッタ駆動の第二の開始タイミングを、前記第一のローリング読み出し駆動の終了後に最初に訪れる前記表示装置の表示更新タイミングに同期させる撮像プログラム。
PCT/JP2018/008399 2017-03-28 2018-03-05 撮像装置、撮像方法、及び撮像プログラム WO2018180257A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880021922.7A CN110463187B (zh) 2017-03-28 2018-03-05 摄像装置、摄像方法及存储介质
JP2019509094A JP6569025B2 (ja) 2017-03-28 2018-03-05 撮像装置、撮像方法、及び撮像プログラム
US16/585,933 US10848692B2 (en) 2017-03-28 2019-09-27 Global shutter and rolling shutter drive start timings for imaging apparatus, imaging method, and imaging program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017063231 2017-03-28
JP2017-063231 2017-03-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/585,933 Continuation US10848692B2 (en) 2017-03-28 2019-09-27 Global shutter and rolling shutter drive start timings for imaging apparatus, imaging method, and imaging program

Publications (1)

Publication Number Publication Date
WO2018180257A1 true WO2018180257A1 (ja) 2018-10-04

Family

ID=63675532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/008399 WO2018180257A1 (ja) 2017-03-28 2018-03-05 撮像装置、撮像方法、及び撮像プログラム

Country Status (4)

Country Link
US (1) US10848692B2 (ja)
JP (1) JP6569025B2 (ja)
CN (1) CN110463187B (ja)
WO (1) WO2018180257A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022064659A1 (ja) * 2020-09-25 2022-03-31 オリンパス株式会社 オートフォーカスシステム、内視鏡システムおよび制御方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7150469B2 (ja) * 2018-05-17 2022-10-11 キヤノン株式会社 撮像装置及び撮像システム
JP7462410B2 (ja) 2019-12-18 2024-04-05 キヤノン株式会社 制御装置及び方法、撮像装置、及び撮像システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004819A (ja) * 2010-06-16 2012-01-05 Olympus Corp 読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラム
JP2012010074A (ja) * 2010-06-24 2012-01-12 Olympus Corp 読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラム
JP2012129817A (ja) * 2010-12-15 2012-07-05 Canon Inc 撮像装置及び撮像素子の制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101411987B1 (ko) * 2007-09-11 2014-06-26 삼성전자주식회사 촬상영역이 분할된 촬영장치 및 그 촬상소자
JP5215262B2 (ja) * 2009-02-03 2013-06-19 オリンパスイメージング株式会社 撮像装置
JP5156148B2 (ja) * 2010-07-28 2013-03-06 富士フイルム株式会社 撮像装置及び撮像方法
JP5718069B2 (ja) * 2011-01-18 2015-05-13 オリンパス株式会社 固体撮像装置および撮像装置
WO2014156731A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
WO2015033608A1 (ja) * 2013-09-04 2015-03-12 オリンパスメディカルシステムズ株式会社 撮像システム
FR3038431B1 (fr) * 2015-06-30 2017-07-21 Parrot Bloc camera haute resolution pour drone, avec correction des instabilites de type oscillations ondulantes
WO2018088120A1 (ja) * 2016-11-14 2018-05-17 富士フイルム株式会社 撮像装置、撮像方法、及び、撮像プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004819A (ja) * 2010-06-16 2012-01-05 Olympus Corp 読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラム
JP2012010074A (ja) * 2010-06-24 2012-01-12 Olympus Corp 読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラム
JP2012129817A (ja) * 2010-12-15 2012-07-05 Canon Inc 撮像装置及び撮像素子の制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022064659A1 (ja) * 2020-09-25 2022-03-31 オリンパス株式会社 オートフォーカスシステム、内視鏡システムおよび制御方法

Also Published As

Publication number Publication date
US20200029034A1 (en) 2020-01-23
US10848692B2 (en) 2020-11-24
JP6569025B2 (ja) 2019-08-28
CN110463187B (zh) 2021-09-21
CN110463187A (zh) 2019-11-15
JPWO2018180257A1 (ja) 2019-11-07

Similar Documents

Publication Publication Date Title
JP6573731B2 (ja) 撮像装置、撮像方法、及び、撮像プログラム
JP5948492B2 (ja) 撮像装置及び合焦制御方法
JP6569022B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
US10848692B2 (en) Global shutter and rolling shutter drive start timings for imaging apparatus, imaging method, and imaging program
US10944925B2 (en) Global shuttering, first rolling readout and second rolling readout employed with an imaging apparatus, imaging method, and imaging program
US10750105B2 (en) Imaging apparatus, operation method of imaging apparatus, and operation program of imaging apparatus
JP6928663B2 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
US10863110B2 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program
US10778880B2 (en) Imaging device, imaging method, and imaging program
JP6569015B2 (ja) 撮像装置、撮像方法、及び、撮像プログラム
US11861874B2 (en) Imaging apparatus, imaging control method, and imaging control program
US20240007767A1 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program
CN117156302A (zh) 摄像控制装置、摄像装置、摄像控制方法及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18775699

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019509094

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18775699

Country of ref document: EP

Kind code of ref document: A1