JP6569022B2 - 撮像装置、撮像方法、及び撮像プログラム - Google Patents

撮像装置、撮像方法、及び撮像プログラム Download PDF

Info

Publication number
JP6569022B2
JP6569022B2 JP2019507458A JP2019507458A JP6569022B2 JP 6569022 B2 JP6569022 B2 JP 6569022B2 JP 2019507458 A JP2019507458 A JP 2019507458A JP 2019507458 A JP2019507458 A JP 2019507458A JP 6569022 B2 JP6569022 B2 JP 6569022B2
Authority
JP
Japan
Prior art keywords
imaging
pixel row
pixel
display
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019507458A
Other languages
English (en)
Other versions
JPWO2018173597A1 (ja
Inventor
智紀 増田
智紀 増田
史憲 入江
史憲 入江
善工 古田
善工 古田
仁史 桜武
仁史 桜武
秀和 倉橋
秀和 倉橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018173597A1 publication Critical patent/JPWO2018173597A1/ja
Application granted granted Critical
Publication of JP6569022B2 publication Critical patent/JP6569022B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置、撮像方法、及び撮像プログラムに関する。
近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子の高解像度化に伴い、電子内視鏡、デジタルスチルカメラ、デジタルビデオカメラ、又はカメラ付きの携帯電話機等の撮像機能を有する電子機器の需要が急増している。なお、以上のような撮像機能を有する電子機器を撮像装置と称する。
ＭＯＳ型の撮像素子には、光電変換素子と、この光電変換素子で発生し蓄積された電荷を保持する電荷保持部と、この電荷保持部に保持された電荷に応じた画素信号を信号線に読み出す読み出し回路とを含む画素が二次元状に配置されたものがある。このような撮像素子は、グローバルシャッタ方式の駆動とローリングシャッタ方式の駆動とを行うことが可能である。
グローバルシャッタ方式の駆動は、全ての画素の光電変換素子を同時にリセットして全ての画素で同時に露光を開始し、その後、各画素の光電変換素子に蓄積された電荷を各画素の電荷保持部に同時に転送することで全ての画素で同時に露光を終了し、その後、画素行毎に順次、電荷保持部に蓄積された電荷を画素信号に変換して信号線に読み出していくものである。
ローリングシャッタ方式の駆動は、画素行の光電変換素子をリセットしてこの画素行の露光を開始し、その後、この画素行の光電変換素子に蓄積された電荷を電荷保持部に転送してこの露光を終了し、この電荷保持部に保持された電荷に応じた画素信号を信号線に読み出す駆動を、画素行を変えながら順次行う方式である。
グローバルシャッタ方式の駆動は、露光の開始及び終了のタイミングを全ての画素で同時にすることができる。このため、ローリングシャッタ方式の駆動で課題となる動体撮像時の歪みが発生せず、動く被写体に対して高品質の撮像が可能となる。
特許文献１には、静止画記憶用の撮像時には、撮像素子をグローバルシャッタ方式で駆動する撮像装置が記載されている。この撮像装置では、撮像素子の撮像面の中央の位置から周辺に向かって画素信号を順次読み出していくことで、撮像の途中で電源が落ちた場合でも主要被写体の画像を記憶できるようにしている。
日本国特開平６−７８２０５号公報
グローバルシャッタ方式の駆動では、画素の露光を行っている間は、この露光によって得られる撮像画像を表示することはできない。この撮像画像は、露光の終了後に、表示装置の表示面の上端側から下端側に向かって順に表示されていくことになる。しかし、利用者が注視している被写体が表示面上部に位置しているとは限らない。このため、利用者の確認したい被写体が表示面に表示されるまでには時間がかかる場合があり、この場合には被写体を見失う可能性が高くなる。
特許文献１には、グローバルシャッタ方式の駆動で得られる撮像画像信号を記憶媒体に記憶し、この記憶媒体に記憶した撮像画像信号を再生することの記載はある。しかし、撮像処理を行っている期間に撮像画像信号をリアルタイムで再生する場合のことは想定されていない。
本発明は、上記事情に鑑みてなされたものであり、グローバルシャッタ方式の駆動による撮像を行って得られる撮像画像信号のうち利用者にとって必要な部分の表示を高速に行うことを可能として被写体を見失うリスクを低減することのできる撮像装置、撮像方法、及び撮像プログラムを提供することを目的とする。
本発明の撮像装置は、光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた画素信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、行方向に配列された複数の上記画素からなる画素行が上記行方向と直交する列方向に複数配列された撮像面を有する撮像素子と、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた画素信号を上記画素行毎に順次読み出すローリング読み出し駆動と、を行う撮像制御部と、一方向に並ぶ複数の表示画素からなる表示画素行が上記一方向と直交する直交方向に複数配列された表示面を有し上記表示画素行に描画する画像を上記表示面の上記直交方向の一端にある上記表示画素行からその直交方向の他端に向かって順次更新する描画更新処理を行う表示装置に、上記ローリング読み出し駆動によって上記撮像素子の上記画素から出力される画素信号に基づいて生成されるライブビュー画像を表示させる表示制御部と、を備え、上記撮像制御部は、上記ローリング読み出し駆動として、上記撮像面の上記列方向の両端の上記画素行同士の間にある特定の上記画素行から上記撮像面の上記列方向の一端にある上記画素行に向かって順番に上記画素信号の読み出しを行い、上記一端にある上記画素行からの上記画素信号の読み出し後に、上記撮像面の上記列方向の他端にある上記画素行から上記特定の上記画素行に向かって順番に上記画素信号の読み出しを行う第一ローリング読み出し駆動を行い、上記表示制御部は、上記表示装置に対する上記描画更新処理の開始指示を、上記第一ローリング読み出し駆動の開始タイミングに基づいてその開始タイミングよりも前に行い、上記開始指示が行われる描画更新タイミングは、その開始指示で開始される上記描画更新処理における上記特定の上記画素行に対応する上記表示画素行に描画される画像の更新タイミングが上記第一ローリング読み出し駆動の開始タイミングの予め決められた時間経過後になるタイミングである。
本発明の撮像方法は、光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた画素信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、行方向に配列された複数の上記画素からなる画素行が上記行方向と直交する列方向に複数配列された撮像面を有する撮像素子を用いた撮像方法であって、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた画素信号を上記画素行毎に順次読み出すローリング読み出し駆動と、を行う撮像制御ステップと、一方向に並ぶ複数の表示画素からなる表示画素行が上記一方向と直交する直交方向に複数配列された表示面を有し上記表示画素行に描画する画像を上記表示面の上記直交方向の一端にある上記表示画素行からその直交方向の他端に向かって順次更新する描画更新処理を行う表示装置に、上記ローリング読み出し駆動によって上記撮像素子の上記画素から出力される画素信号に基づいて生成されるライブビュー画像を表示させる表示制御ステップと、を備え、上記撮像制御ステップでは、上記ローリング読み出し駆動として、上記撮像面の上記列方向の両端の上記画素行同士の間にある特定の上記画素行から上記撮像面の上記列方向の一端にある上記画素行に向かって順番に上記画素信号の読み出しを行い、上記一端にある上記画素行からの上記画素信号の読み出し後に、上記撮像面の上記列方向の他端にある上記画素行から上記特定の上記画素行に向かって順番に上記画素信号の読み出しを行う第一ローリング読み出し駆動を行い、上記表示制御ステップでは、上記表示装置に対する上記描画更新処理の開始指示を、上記第一ローリング読み出し駆動の開始タイミングに基づいてその開始タイミングよりも前に行い、上記開始指示が行われる描画更新タイミングは、その開始指示で開始される上記描画更新処理における上記特定の上記画素行に対応する上記表示画素行に描画される画像の更新タイミングが上記第一ローリング読み出し駆動の開始タイミングの予め決められた時間経過後になるタイミングである。
本発明の撮像プログラムは、光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた画素信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、行方向に配列された複数の上記画素からなる画素行が上記行方向と直交する列方向に複数配列された撮像面を有する撮像素子を用いた撮像方法をコンピュータに実行させるための撮像プログラムであって、上記撮像方法は、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた画素信号を上記画素行毎に順次読み出すローリング読み出し駆動と、を行う撮像制御ステップと、一方向に並ぶ複数の表示画素からなる表示画素行が上記一方向と直交する直交方向に複数配列された表示面を有し上記表示画素行に描画する画像を上記表示面の上記直交方向の一端にある上記表示画素行からその直交方向の他端に向かって順次更新する描画更新処理を行う表示装置に、上記ローリング読み出し駆動によって上記撮像素子の上記画素から出力される画素信号に基づいて生成されるライブビュー画像を表示させる表示制御ステップと、を備え、上記撮像制御ステップでは、上記ローリング読み出し駆動として、上記撮像面の上記列方向の両端の上記画素行同士の間にある特定の上記画素行から上記撮像面の上記列方向の一端にある上記画素行に向かって順番に上記画素信号の読み出しを行い、上記一端にある上記画素行からの上記画素信号の読み出し後に、上記撮像面の上記列方向の他端にある上記画素行から上記特定の上記画素行に向かって順番に上記画素信号の読み出しを行う第一ローリング読み出し駆動を行い、上記表示制御ステップでは、上記表示装置に対する上記描画更新処理の開始指示を、上記第一ローリング読み出し駆動の開始タイミングに基づいてその開始タイミングよりも前に行い、上記開始指示が行われる描画更新タイミングは、その開始指示で開始される上記描画更新処理における上記特定の上記画素行に対応する上記表示画素行に描画される画像の更新タイミングが上記第一ローリング読み出し駆動の開始タイミングの予め決められた時間経過後になるタイミングである。
本発明によれば、グローバルシャッタ方式の駆動による撮像を行って得られる撮像画像信号のうち利用者にとって必要な部分の表示を高速に行うことを可能として被写体を見失うリスクを低減することのできる撮像装置、撮像方法、及び撮像プログラムを提供することができる。
本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。 図１に示す表示面２３の概略構成を示す平面模式図である。 図１に示す撮像素子５の概略構成を示す平面模式図である。 図３に示す撮像素子５の画素６１の概略構成を示す平面模式図である。 図４に示す撮像素子５の画素６１のＡ−Ａ線の断面模式図である。 図１に示すデジタルカメラ１００の機能ブロック図である。 撮像制御部１１Ａによる第一ローリング読み出し駆動を説明するための模式図である。 図１に示すデジタルカメラの連写モード時の動作を示すタイミングチャートである。 図１に示すデジタルカメラ１００の機能ブロックの変形例を示す図である。 図１に示すデジタルカメラ１００の機能ブロックの変形例を示す図である。 図１に示すデジタルカメラ１００の機能ブロックの変形例を示す図である。 図８に示す露光期間Ｌ１中の撮像面６０における特定被写体の位置の一例を示す模式図である。 図８に示す露光期間Ｌ２中の撮像面６０における特定被写体の位置の一例を示す模式図である。 図８に示す露光期間Ｌ３中において予測される特定被写体の移動位置の一例を示す模式図である。 図１に示すデジタルカメラ１００の特定の画素行の決定方法の変形例を示す模式図である。 図１に示すデジタルカメラ１００の機能ブロックの変形例を示す図である。 図１６に示すデジタルカメラ１００の連写モード時の動作を示すタイミングチャートである。 図１６に示すデジタルカメラ１００の連写モード時の別の動作を示すタイミングチャートである。 本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。 図１９に示すスマートフォン２００の構成を示すブロック図である。
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。
図１に示すデジタルカメラ１００は、撮像レンズ１と、絞り２と、レンズ制御部４と、レンズ駆動部８と、絞り駆動部９と、を有するレンズ装置４０を備える。
レンズ装置４０は、デジタルカメラ１００に着脱可能なものであってもよいし、デジタルカメラ１００と一体化されたものであってもよい。
撮像レンズ１と絞り２は撮像光学系を構成し、撮像レンズ１は光軸方向に移動可能なフォーカスレンズ又はズームレンズ等を含む。撮像光学系としては焦点距離が固定となっているものであってもよい。
レンズ装置４０のレンズ制御部４は、デジタルカメラ１００のシステム制御部１１と有線又は無線によって通信可能に構成される。
レンズ制御部４は、システム制御部１１からの指令にしたがい、レンズ駆動部８を介して撮像レンズ１に含まれるフォーカスレンズを制御してフォーカスレンズの主点の位置を変更（焦点距離を変更）したり、絞り駆動部９を介して絞り２の開口量を制御したりする。
デジタルカメラ１００は、更に、撮像光学系を通して被写体を撮像するＣＭＯＳ型の撮像素子５を備える。
撮像素子５は、複数の画素が二次元状に配置された撮像面を有し、撮像光学系によってこの撮像面に結像される被写体像をこの複数の画素によって画素信号に変換して出力する。撮像素子５の各画素から出力される画素信号の集合を以下では撮像画像信号という。
デジタルカメラ１００の電気制御系全体を統括制御するシステム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、レンズ装置４０の撮像光学系を通して撮像した被写体像を撮像画像信号として出力させる。
システム制御部１１には、操作部１４を通して利用者からの指示信号が入力される。
システム制御部１１は、デジタルカメラ１００全体を統括制御するものであり、ハードウェア的な構造は、撮像プログラムを含むプログラムを実行して処理を行う各種のプロセッサである。
各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
システム制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
更に、このデジタルカメラ１００の電気制御系は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｓｅｓｓ Ｍｅｍｏｒｙ）から構成されるメインメモリ１６と、メインメモリ１６へのデータ記憶及びメインメモリ１６からのデータ読み出しの制御を行うメモリ制御部１５と、アナログデジタル変換回路７から出力される撮像画像信号に対しデジタル信号処理を行ってＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式等の各種フォーマットにしたがった撮像画像データを生成するデジタル信号処理部１７と、記憶媒体２１へのデータ記憶及び記憶媒体２１からのデータ読み出しの制御を行う外部メモリ制御部２０と、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）パネル又は液晶パネル等で構成される表示面２３と、表示面２３の表示を制御する表示コントローラ２２と、を備える。表示面２３と表示コントローラ２２は表示装置を構成する。
記憶媒体２１は、デジタルカメラ１００に内蔵されるフラッシュメモリ等の半導体メモリ又はデジタルカメラ１００に着脱可能な可搬型の半導体メモリ等である。
メモリ制御部１５、デジタル信号処理部１７、外部メモリ制御部２０、及び表示コントローラ２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
デジタル信号処理部１７は、ハードウェア的な構造は、プログラムを実行して処理を行う上記に例示した各種のプロセッサである。
表示コントローラ２２は、プログラムを実行して処理を行う上記に例示した各種のプロセッサと、表示すべき画像のデータを保持するための表示メモリとを含む。
図２は、図１に示す表示面２３の概略構成を示す平面模式図である。
表示面２３は、一方向である行方向Ｘに並ぶ複数の表示画素２３Ａからなる表示画素行２３Ｂが、この行方向Ｘと直交する直交方向である列方向Ｙに複数配列された面である。
表示コントローラ２２は、表示画素行２３Ｂに描画するライン画像を表示面２３の列方向Ｙの上端（一端）の表示画素行２３Ｂから下端（他端）の表示画素行２３Ｂに向かって順次更新する描画更新処理を行うことで、表示画素行２３Ｂと同数のライン画像からなるライブビュー画像を表示面２３に表示する。
図３は、図１に示す撮像素子５の概略構成を示す平面模式図である。図４は、図３に示す撮像素子５の画素６１の概略構成を示す平面模式図である。図５は、図４に示す撮像素子５の画素６１のＡ−Ａ線の断面模式図である。
撮像素子５は、行方向Ｘに配列された複数の画素６１からなる画素行６２が、行方向Ｘと直交する列方向Ｙに複数配列された撮像面６０と、撮像面６０に配列された画素６１を駆動する駆動回路６３と、撮像面６０に配列された画素行６２の各画素６１から信号線に読み出される画素信号を処理する信号処理回路６４と、を備える。
以下では、図３において撮像面６０の列方向Ｙの上側の端部を上端といい、撮像面６０の列方向Ｙの下側の端部を下端という。この上端は撮像面６０の一端を構成し、この下端は撮像面６０の他端を構成する。
図４に示すように、画素６１は、半導体基板に形成された光電変換素子６１Ａ、電荷保持部６１Ｂ、電荷転送部６１Ｃ、フローティングディフュージョン６１Ｄ、及び読み出し回路６１Ｅを備える。
光電変換素子６１Ａは、レンズ装置４０の撮像光学系を通った光を受光し受光量に応じた電荷を発生して蓄積する。光電変換素子６１Ａは、フォトダイオード等で構成される。
電荷転送部６１Ｃは、光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送する。電荷転送部６１Ｃは、半導体基板内の不純物領域と、この不純物領域の上方に形成された電極とで構成される。
電荷転送部６１Ｃを構成する電極に印加される電圧が駆動回路６３によって制御されることで、光電変換素子６１Ａから電荷保持部６１Ｂへの電荷の転送が行われる。
電荷保持部６１Ｂは、光電変換素子６１Ａから電荷転送部６１Ｃによって転送された電荷を保持する。電荷保持部６１Ｂは、半導体基板内の不純物領域により構成される。
フローティングディフュージョン６１Ｄは、電荷を信号に変換するためのものであり、電荷保持部６１Ｂに保持された電荷が転送されてくる。
読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位に応じた信号を画素信号として信号線６５に読み出す回路である。読み出し回路６１Ｅは、駆動回路６３によって駆動される。
図５に示すように、Ｎ型基板７０表面にはＰウェル層７１が形成され、Ｐウェル層７１の表面部には光電変換素子６１Ａが形成されている。
光電変換素子６１Ａは、Ｎ型不純物層７３とこの上に形成されたＰ型不純物層７４とによって構成されている。Ｎ型基板７０とＰウェル層７１によって半導体基板が構成される。
Ｐウェル層７１の表面部には、光電変換素子６１Ａから少し離間して、Ｎ型不純物層からなる電荷保持部６１Ｂが形成されている。
電荷保持部６１Ｂと光電変換素子６１Ａとの間のＰウェル層７１の領域７５の上方には、図示省略の酸化膜を介して、転送電極７６が形成されている。
領域７５と転送電極７６とが電荷転送部６１Ｃを構成する。図４の例では、転送電極７６が電荷保持部６１Ｂの上方にまで形成されているが、転送電極７６は少なくとも領域７５上方に形成されていればよい。
転送電極７６の電位を制御して領域７５にチャネルを形成することで、光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送することができる。転送電極７６の電位は駆動回路６３によって制御される。
Ｐウェル層７１の表面部には、電荷保持部６１Ｂから少し離間して、Ｎ型不純物層からなるフローティングディフュージョン６１Ｄが形成されている。
電荷保持部６１Ｂとフローティングディフュージョン６１Ｄとの間のＰウェル層７１の上方には、図示省略の酸化膜を介して、読み出し電極７２が形成されている。
読み出し電極７２の電位を制御して、電荷保持部６１Ｂとフローティングディフュージョン６１Ｄとの間の領域にチャネルを形成することで、電荷保持部６１Ｂに保持された電荷をフローティングディフュージョン６１Ｄに転送することができる。読み出し電極７２の電位は駆動回路６３によって制御される。
図５に示す例では、読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位をリセットするためのリセットトランジスタ７７と、フローティングディフュージョン６１Ｄの電位を画素信号に変換して出力する出力トランジスタ７８と、出力トランジスタ７８から出力される画素信号を選択的に信号線６５に読み出すための選択トランジスタ７９とによって構成されている。読み出し回路の構成は一例であり、これに限るものではない。
なお、読み出し回路６１Ｅは、複数の画素６１で共用される場合もある。
図３に示す駆動回路６３は、各画素６１の転送電極７６、読み出し電極７２、及び読み出し回路６１Ｅを画素行６２毎に独立に駆動して、画素行６２に含まれる各光電変換素子６１Ａのリセット（光電変換素子６１Ａに蓄積されている電荷の排出）、この各光電変換素子６１Ａに蓄積された電荷に応じた画素信号の信号線６５への読み出し等を行う。
また、駆動回路６３は、全ての画素６１の電荷転送部６１Ｃを同時に駆動して、各画素６１の光電変換素子６１Ａから電荷保持部６１Ｂに電荷を同時に転送する。駆動回路６３は、撮像素子駆動部１０によって制御される。
光電変換素子６１Ａのリセットは、電荷転送部６１Ｃを電荷が転送可能な状態とし、かつ、読み出し電極７２下方の半導体基板にチャネルを形成した状態で、リセットトランジスタ７７によってフローティングディフュージョン６１Ｄをリセットすることで行われる。
なお、光電変換素子６１Ａに隣接させて電荷排出領域を別途設けておき、駆動回路６３が、光電変換素子６１Ａに蓄積されている電荷をこの電荷排出領域に排出することで、光電変換素子６１Ａのリセットが行われる構成であってもよい。
図３に示す信号処理回路６４は、画素行６２の各画素６１から信号線６５に読み出された画素信号に対し、相関二重サンプリング処理を行い、相関二重サンプリング処理後の画素信号をデジタル信号に変換してデータバス２５に出力する。信号処理回路６４は、撮像素子駆動部１０によって制御される。
撮像素子５の撮像面６０に形成されている画素行６２の総数Ｍは、表示面２３に形成されている表示画素行２３Ｂの総数ｍよりも多い。
デジタルカメラ１００では、撮像面６０に形成されたＭ個の画素行６２のうち列方向Ｙに向かって一定間隔を空けて並ぶｍ個の画素行６２が表示対象画素行として設定されている。以下、表示対象画素行として設定された画素行６２を、表示対象画素行６２とも言う。
撮像面６０の上端から数えてｉ番目（ｉは１〜ｍ）にある表示対象画素行６２には、表示面２３の上端から数えてｉ番目にある表示画素行２３Ｂが対応付けて管理されている。
なお、総数Ｍと総数ｍが同じ場合もあり、その場合には、撮像面６０の上端から数えてｊ番目（ｊは１〜Ｍ）にある表示対象画素行６２には、表示面２３の上端から数えてｊ番目にある表示画素行２３Ｂが対応付けて管理される。
図６は、図１に示すデジタルカメラ１００の機能ブロック図である。
デジタルカメラ１００は、機能ブロックとして、撮像制御部１１Ａと、表示制御部１１Ｂと、を備える。
システム制御部１１は、撮像プログラムを含むプログラムを実行することで、撮像制御部１１Ａ及び表示制御部１１Ｂとして機能する。
撮像制御部１１Ａは、撮像素子駆動部１０を制御して、グローバルリセット駆動、グローバルシャッタ駆動、及びローリング読み出し駆動からなるセットを行う。このセットが行われることで、撮像素子５によって撮像された被写体像が撮像画像信号として得られる。
グローバルリセット駆動は、撮像素子５の撮像面６０に形成された各画素６１の光電変換素子６１Ａを同時にリセットして、この各画素６１の露光を同時に開始する駆動である。
グローバルシャッタ駆動は、グローバルリセット駆動によって各画素６１で開始された露光によりこの各画素６１の光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送して、各画素６１で同時に露光を終了する駆動である。
ローリング読み出し駆動は、グローバルシャッタ駆動によって各電荷保持部６１Ｂに保持された電荷に応じた画素信号を、画素行６２毎に順次読み出す駆動である。
撮像制御部１１Ａは、上記のローリング読み出し駆動として、撮像面６０の列方向Ｙの両端の画素行６２同士の間にある特定の画素行６２から撮像面６０の下端にある画素行６２に向かって順番に画素信号を読み出し、撮像面６０の下端にある画素行６２からの画素信号の読み出し後に、撮像面６０の上端にある画素行６２から上記特定の画素行６２に向かって順番に画素信号を読み出す第一ローリング読み出し駆動を行う。
図７は、撮像制御部１１Ａによる第一ローリング読み出し駆動を説明するための模式図である。
図７の例では、撮像素子５の撮像面６０が、列方向Ｙに並ぶ８つのブロックＢＫ１〜ＢＫ８に分割されている。これらの各ブロックには複数の画素行６２が含まれる。
例えば、撮像面６０のうち列方向Ｙの中心付近にあるブロックＢＫ５に含まれる複数の画素行６２のうち、最も撮像面６０の上端側にある画素行６２（つまり撮像面６０の列方向Ｙの中心にある画素行６２）が特定の画素行６２として予め設定される。
撮像制御部１１Ａは、第一ローリング読み出し駆動を行う際には、図中の矢印Ｒ１で示されるように、まず、ブロックＢＫ５の上端にある特定の画素行６２から、撮像面６０の下端に向かって順番に画素信号を読み出していく。
撮像制御部１１Ａは、撮像面６０の下端の画素行６２からの画素信号の読み出しを終了すると、図中の矢印Ｒ２で示されるように、撮像面６０の上端にある画素行６２から、特定の画素行６２に向かって順番に画素信号を読み出していく。そして、撮像制御部１１Ａは、特定の画素行６２に対して撮像面６０の上端側に隣接する画素行６２から画素信号を読み出した時点で、第一ローリング読み出し駆動を終了する。
なお、上述した特定の画素行６２は、表示対象画素行の中から選択される。
図１に示すデジタル信号処理部１７は、第一ローリング読み出し駆動によって撮像素子５の表示対象画素行６２から順次出力される画素信号群を処理することで、この表示対象画素行６２に対応する表示画素行２３Ｂに対応したラインデータを順次生成し、生成したラインデータを表示コントローラ２２に転送する。このラインデータの集合がライブビュー画像データを構成する。
図６に示す表示制御部１１Ｂは、第一ローリング読み出し駆動によって得られたライブビュー画像データに基づくライブビュー画像を、表示コントローラ２２を介して、表示面２３に表示させる。
具体的には、表示制御部１１Ｂは、表示コントローラ２２による描画更新処理の開始指示を行うための垂直同期信号を生成して、この垂直同期信号を表示コントローラ２２に供給する。
表示コントローラ２２は、表示制御部１１Ｂから入力される垂直同期信号が立下がると描画更新処理を開始する。すなわち、垂直同期信号が立下がると、表示コントローラ２２は、表示画素行２３Ｂを表示面２３の上端から下端に向かって順次選択し、選択した表示画素行２３Ｂに対応するラインデータに基づくライン画像を、この選択した表示画素行２３Ｂに描画する。
表示制御部１１Ｂは、表示コントローラ２２に対する描画更新処理の開始指示のタイミングを規定する垂直同期信号の立下りタイミングを、第一ローリング読み出し駆動の開始タイミングに基づいて決定する。
具体的には、表示制御部１１Ｂは、垂直同期信号の立下りタイミングを、第一ローリング読み出し駆動の開始タイミングよりも所定時間前のタイミングとする。
この所定時間は、描画更新処理における特定の画素行６２に対応する表示画素行２３Ｂの描画の更新タイミングと、第一ローリング読み出し駆動の開始タイミングから予め決められた時間Ｔ１経過後のタイミングとが一致するような時間に設定される。
この時間Ｔ１は、特定の画素行６２から画素信号の読み出しが開始されてこの画素信号からラインデータが生成され、この生成されたラインデータが表示コントローラ２２にて受理されるまでに要する時間であり、各種プロセッサの処理能力及びデータの転送にかかる時間等によって決まる時間である。
図８は、図１に示すデジタルカメラ１００の連写モード時の動作を示すタイミングチャートである。
図８において横軸は時間を示している。図８の上段には、表示制御部１１Ｂから表示コントローラ２２に供給される垂直同期信号ＶＤが示されている。
図８の中段には、撮像素子５の各画素行６２の光電変換素子６１Ａ及び電荷保持部６１Ｂの駆動タイミングが示されている。図８の中段において、縦軸は画素行６２の列方向Ｙの位置を示している。
図８の中段に示す直線ＧＲは、画素行６２に含まれる各光電変換素子６１Ａのリセットが行われるタイミングを示している。
図８の中段に示す直線ＧＳは、画素行６２に含まれる各光電変換素子６１Ａから電荷保持部６１Ｂに電荷が転送されるタイミングを示している。直線ＧＲとこの右隣の直線ＧＳとで囲まれる期間が撮像素子５の露光期間（ＬＶ１〜ＬＶ５）を示している。
図８の中段に示す直線ＳＴは、電荷保持部６１Ｂに電荷が保持されるタイミングを示している。
図８の中段に示す直線ＲＯ１，ＲＯ２は、電荷保持部６１Ｂに保持された電荷に応じた画素信号が撮像素子５から出力されるタイミングを示している。
図８の下段には、表示面２３の描画状態が示されている。図８の下段において、縦軸は表示面２３の表示画素行２３Ｂの列方向Ｙの位置を示している。
図８の下段に示す直線ＤＲは、表示面２３の表示画素行２３Ｂに描画が行われるタイミングを示している。
撮像制御部１１Ａは、連写開始指示を受けると、直線ＧＲで示されるグローバルリセット駆動を行い、全ての画素行６２において同時に光電変換素子６１Ａのリセットを行う。これにより、全ての画素行６２で同じタイミングで露光が開始する。
その後、所定の露光時間が経過すると、撮像制御部１１Ａは、直線ＧＳで示されるグローバルシャッタ駆動を行う。この駆動により、全ての画素行６２において同時に、光電変換素子６１Ａから電荷保持部６１Ｂへの電荷の転送が行われ、直線ＳＴで示されるように電荷保持部６１Ｂにて電荷が保持される。これにより、全ての画素行６２で同じタイミングで露光が終了する。
撮像制御部１１Ａは、直線ＧＳで示されるグローバルシャッタ駆動を行った後、直線ＲＯ１，ＲＯ２で示される第一ローリング読み出し駆動を行う。
この第一ローリング読み出し駆動では、撮像制御部１１Ａは、直線ＲＯ１で示されるように、撮像面６０の特定の画素行６２から撮像面６０の下端に向かって画素行６２を順番に選択し、選択した画素行６２から画素信号を読み出す。
直線ＲＯ１による画素信号の読み出しが終了すると、撮像制御部１１Ａは、直線ＲＯ２で示されるように、撮像面６０の上端の画素行６２から特定の画素行６２に向かって画素行６２を順番に選択し、選択した画素行６２から画素信号を読み出す。
このように、連写開始指示を受けた撮像制御部１１Ａは、直線ＧＲで示されるグローバルリセット駆動、直線ＧＳで示されるグローバルシャッタ駆動、及び直線ＲＯ１，ＲＯ２で示される第一ローリング読み出し駆動からなる第一のセットを複数回連続して行う。
これら各第一のセットにおける第一ローリング読み出し駆動で撮像素子５から出力された撮像画像信号は、デジタル信号処理部１７によって処理されて撮像画像データとなり、記憶媒体２１に記憶される。
表示コントローラ２２は、垂直同期信号ＶＤの立下がりのタイミングで描画更新処理を開始するが、デジタルカメラ１００においては、直線ＲＯ１，ＲＯ２で示される第一ローリング読み出し駆動の開始タイミングよりも上記の所定時間前に垂直同期信号ＶＤが立ち下がる。
したがって、直線ＲＯ１で示される駆動により、表示対象画素行６２から画素信号がデータバス２５に出力されると、この画素信号に基づいてラインデータが生成され、このラインデータに基づくライン画像が、直線ＤＲで示されるように、この表示対象画素行６２に対応する表示画素行２３Ｂにすぐに描画される。
その後、直線ＲＯ２で示される駆動により、表示対象画素行６２から画素信号がデータバス２５に出力されると、この画素信号に基づいてラインデータが生成されるが、この生成されたラインデータは表示コントローラ２２内のメモリに保持される。
直線ＲＯ２で示される駆動の終了後、垂直同期信号ＶＤが立ち下がると、直線ＤＲで示されるように、表示コントローラ２２内のメモリに保持されている複数のラインデータ（直前の直線ＲＯ２で得られたラインデータ）が、対応する表示画素行２３Ｂに順次描画されていく。
図８には、露光期間ＬＶ１〜ＬＶ４でそれぞれ得られるライブビュー画像をｌｖ１〜ｌｖ４で示している。
なお、ここでは撮像画像データを記憶媒体２１に記憶するための連続撮像を行う場合の動作を例にしたが、ライブビュー画像を表示するための撮像を連続して行う場合の駆動タイミングチャートも図８と同様である。
また、連写開始指示がなされるまでのライブビュー画像を表示するための連続撮像時においては、撮像素子５をローリングシャッタ方式で駆動してもよい。
以上のように図１のデジタルカメラ１００によれば、グローバルリセット駆動及びグローバルシャッタ駆動を行って被写体を撮像した場合に、撮像面６０の列方向Ｙの中心付近で撮像される被写体から順にライブビュー画像の表示を開始することができる。
利用者が合焦させたい主要被写体は撮像面６０の中心付近で撮像されることが多い。このため、この構成によれば、撮像の終了後に、主要被写体を表示面２３にて瞬時に確認することができ、連続して撮像を行う場合の主要被写体を見失うリスクを低減することができる。
なお、第一ローリング読み出し駆動において最初に画素信号を読み出す特定の画素行６２は、撮像面６０の上端及び下端の間に位置するものであればよく、その列方向Ｙの位置は限定されるものではない。
上記の説明では、特定の画素行６２を表示対象画素行としたが、特定の画素行６２は表示対象画素行以外の画素行６２であってもよい。
この場合には、特定の画素行６２に対応する表示画素行２３Ｂを、この特定の画素行６２に対し撮像面６０の下端側で最も近接する表示対象画素行６２に対応する表示画素行２３Ｂとして扱えばよい。
また、この場合には、特定の画素行６２に対応する表示画素行２３Ｂの描画更新タイミングと、その直前の第一ローリング読み出し駆動の開始されるタイミングとの間の時間Ｔ１は、第一ローリング読み出し駆動が開始されてから特定の画素行６２に最も近接する上記の表示対象画素行６２の画素信号が読み出され、この画素信号に基づいてラインデータが生成され、このラインデータが表示コントローラ２２にて受理されるまでの時間となる。
また、以上の説明では、特定の画素行６２の位置が予め１つに決められるものとしたが、この位置を手動又は自動で複数の位置の間で変えられるようにしてもよい。
図９は、図１に示すデジタルカメラ１００の機能ブロックの変形例を示す図である。図９において図６と同じ構成には同一符号を付して説明を省略する。図９に示すデジタルカメラ１００のハードウェア構成は図１と同じであるため説明は省略する。
図９に示すデジタルカメラ１００は、機能ブロックとして、撮像制御部１１Ａと、表示制御部１１Ｂと、特定画素行決定部１１Ｃと、を備える。
システム制御部１１は、撮像プログラムを含むプログラムを実行することで撮像制御部１１Ａ、表示制御部１１Ｂ、及び特定画素行決定部１１Ｃとして機能する。
特定画素行決定部１１Ｃは、上記の特定の画素行６２を以下の［第一の方法］〜［第四の方法］のいずれかによって決定する。
特定画素行決定部１１Ｃは、例えば、撮像画像データの記憶のための撮像の指示（図８の例では連写指示）が行われるまでの期間は、撮像面６０の列方向Ｙの中央にある表示対象画素行を特定の画素行６２とし、この期間中に以下の方法によって、連写指示を受けた後に設定すべき特定の画素行６２を決定する。
［第一の方法］
特定画素行決定部１１Ｃは、操作部１４からの入力信号に基づいて特定の画素行６２を決定する。
例えば、操作部１４が表示面２３と一体化されたタッチパネルとする。利用者が、タッチパネルで表示面２３の任意の位置をタッチすると、その位置を示す入力信号がシステム制御部１１に入力される。
特定画素行決定部１１Ｃは、このタッチされた位置にある表示画素行２３Ｂに対応する表示対象画素行を特定の画素行６２として決定する。
この方法によれば、露光期間後の第一ローリング読み出し駆動時の画素信号の読み出し開始位置を利用者が自由に設定することができる。このため、主要被写体を見失うリスクを更に低減することができる。
［第二の方法］
特定画素行決定部１１Ｃは、撮像面６０に設定された合焦対象エリアに含まれる表示対象画素行のいずれかを特定の画素行６２として決定する。
デジタルカメラ１００では、撮像面６０に複数の合焦対象エリアが設定されている。そして、システム制御部１１は、選択された合焦対象エリアによって撮像される被写体に合焦させるべく、撮像光学系に含まれるフォーカスレンズを制御して焦点調節を行う。
システム制御部１１は、利用者が操作部１４を操作して指定したエリアを合焦対象エリアとして選択したり、利用者によって設定されている測距モードに応じた１つ又は複数の合焦対象エリアを選択したりする。
特定画素行決定部１１Ｃは、上記のようにしてシステム制御部１１によって選択された合焦対象エリア内にある表示対象画素行のいずれか（例えば、合焦対象エリア内で最も撮像面６０の上端側にある表示対象画素行）を特定の画素行６２として決定する。
この構成によれば、露光期間の後、主要被写体付近から優先的にライブビュー画像の表示を開始することができる。このため、主要被写体を見失うリスクを更に低減することができる。
［第三の方法］
特定画素行決定部１１Ｃは、表示面２３における利用者の注視エリアを判定し、この注視エリアに含まれる表示画素行２３Ｂのいずれかに対応する表示対象画素行を特定の画素行６２として決定する。
特定画素行決定部１１Ｃは、例えば表示面２３付近に設置されたカメラにより撮像された利用者の顔画像を解析して利用者の視線を検出し、この視線と表示面２３との交点を中心とする矩形又は円形等のエリアを注視エリアとして判定する。
この方法によれば、露光期間の後、ユーザが注視している被写体付近から優先的にライブビュー画像の表示を開始することができる。
利用者が注視している被写体は主要被写体であることが多いため、この方法によれば、主要被写体を見失うリスクを更に低減することができる。また、利用者は特別な操作を行わずにすむため、利便性を向上させることができる。
［第四の方法］
特定画素行決定部１１Ｃは、撮像素子５によって撮像される被写体のうちの、空間周波数が予め決められた周波数閾値以上となる被写体を撮像する表示対象画素行のいずれかを特定の画素行６２として決定する。
特定画素行決定部１１Ｃは、例えば、連写開始指示がなされる直前に撮像素子５から出力された撮像画像信号に基づいて、撮像中の被写体の空間周波数を算出する。
そして、特定画素行決定部１１Ｃは、空間周波数が周波数閾値以上となっている被写体を撮像する表示対象画素行のうち、例えば最も撮像面６０の上端に近い画素行６２を特定の画素行６２として決定する。
この方法によれば、露光期間の後、空間周波数が高い被写体付近から優先的にライブビュー画像の表示を開始することができる。
空間周波数が高い被写体は主要被写体である可能性が高い。このため、この方法によれば、主要被写体を見失うリスクを更に低減することができる。また、利用者は特別な操作を行わずにすむため、利便性を向上させることができる。
図１０は、図１に示すデジタルカメラ１００の機能ブロックの変形例を示す図である。図１０において図６と同じ構成には同一符号を付して説明を省略する。図１０に示すデジタルカメラ１００のハードウェア構成は図１と同じであるため説明は省略する。
図１０に示すデジタルカメラ１００は、機能ブロックとして、撮像制御部１１Ａと、表示制御部１１Ｂと、特定画素行決定部１１Ｄと、被写体距離測定部１１Ｅと、を備える。
システム制御部１１は、撮像プログラムを含むプログラムを実行することで、撮像制御部１１Ａ、表示制御部１１Ｂ、特定画素行決定部１１Ｄ、及び被写体距離測定部１１Ｅとして機能する。
被写体距離測定部１１Ｅは、撮像光学系付近に設けられた被写体に向けてレーザ光を出射するレーザ光源と、このレーザ光源から出射された光の反射光を検出する検出素子とを用い、この反射光の情報に基づいて、撮像素子５によって撮像されている被写体と撮像光学系との間の距離を測定する。
撮像素子５が、画素６１として位相差検出用画素を含むものであれば、この位相差検出用画素によって検出される位相差に基づいて撮像中の被写体と撮像光学系の間の距離を測定することも可能である。
特定画素行決定部１１Ｄは、撮像素子５によって撮像されている被写体のうち、撮像光学系の焦点位置（フォーカスレンズの主点の位置）から求まる被写体距離と、被写体距離測定部１１Ｅにより実測された距離との差が予め決められた距離差閾値未満となる被写体を特定し、この被写体を撮像する表示対象画素行のいずれかを特定の画素行６２として決定する。
この方法によれば、露光期間の後、合焦されている確率の高い被写体付近からライブビュー画像の表示を開始することができる。このため、主要被写体を見失うリスクを更に低減することができる。また、利用者は特別な操作を行わずにすむため、利便性を向上させることができる。
図１１は、図１に示すデジタルカメラ１００の機能ブロックの変形例を示す図である。図１１において図９と同じ構成には同一符号を付して説明を省略する。図１１に示すデジタルカメラ１００のハードウェア構成は図１と同じであるため説明は省略する。
図１１に示すデジタルカメラ１００は、機能ブロックとして、撮像制御部１１Ａと、表示制御部１１Ｂと、特定画素行決定部１１Ｃと、特定画素行変更処理部１１Ｆと、を備える。
システム制御部１１は、撮像プログラムを含むプログラムを実行することで撮像制御部１１Ａ、表示制御部１１Ｂ、特定画素行決定部１１Ｃ、及び特定画素行変更処理部１１Ｆとして機能する。
特定画素行変更処理部１１Ｆは、撮像面６０を列方向Ｙにブロック分割し、撮像素子５によって撮像される被写体のうち特定画素行決定部１１Ｃで決定された特定の画素行６２を含むブロックで撮像される特定被写体の動きを予測する。
そして、特定画素行変更処理部１１Ｆは、この特定被写体の予測される移動位置が特定画素行決定部１１Ｃで決定された特定の画素行６２を含むブロック以外のブロックに重なると判断した場合に、特定の画素行６２を、この移動位置と重なるブロック内の表示対象画素行に変更する。
図１２は、図８に示す露光期間Ｌ１中の撮像面６０における特定被写体の位置の一例を示す模式図である。
図１３は、図８に示す露光期間Ｌ２中の撮像面６０における特定被写体の位置の一例を示す模式図である。
図１４は、図８に示す露光期間Ｌ３中において予測される特定被写体の移動位置の一例を示す模式図である。
図１２では、ブロックＢＫ４に含まれる表示対象画素行のいずれかが特定の画素行６２として決定されており、このブロックＢＫ４によって特定被写体Ｈ１が撮像された状態が示されている。
図１３では、図１２に示す状態から、次の露光期間ＬＶ２が開始された結果、特定被写体Ｈ１の位置がブロックＢＫ５と重なる位置に移動した状態が示されている。
特定画素行変更処理部１１Ｆは、露光期間ＬＶ１の直後の第一ローリング読み出し駆動によって得られた撮像画像信号から特定被写体Ｈ１を抽出し、露光期間ＬＶ２の直後の第一ローリング読み出し駆動によって得られた撮像画像信号においてこの特定被写体Ｈ１がどこにあるかを判定する。
そして、特定画素行変更処理部１１Ｆは、露光期間ＬＶ１と露光期間ＬＶ２の間で、特定被写体Ｈ１が予め決められた閾値以上の移動量で移動していると判定した場合には、その移動ベクトル及び移動量に基づいて、次の露光期間ＬＶ３における特定被写体Ｈ１の移動位置を予測する。
図１２及び図１３に示した例では、露光期間ＬＶ３において、特定被写体Ｈ１がブロックＢＫ６と重なる位置に移動すると予測される。この場合には、特定画素行変更処理部１１Ｆは、ブロックＢＫ６に含まれる表示対象画素行のいずれか（好ましくは撮像面６０の上端側に最も近い表示対象画素行）を特定の画素行６２とする。
このようにして特定の画素行６２の変更がなされた場合には、表示制御部１１Ｂは、変更後の特定の画素行６２に対応する表示画素行２３Ｂの画像の更新タイミングが、露光期間ＬＶ３後に行う第一ローリング読み出し駆動の開始タイミングから上記時間Ｔ１経過後のタイミングとなるように、次の垂直同期信号ＶＤの立下りタイミングを調整する。
また、このようにして特定の画素行６２の変更がなされた場合には、撮像制御部１１Ａは、露光期間ＬＶ３の直後に行う第一ローリング読み出し駆動においては、ブロックＢＫ６の上端の表示対象画素行６２から画素信号の読み出しを行う。
以上のように、図１１に示すデジタルカメラ１００によれば、被写体の動きによって特定の画素行６２を動的に変更することができる。このため、主要被写体が大きく動いているような場合でも、この主要被写体付近からライブビュー画像の表示を開始することができる。このため、被写体を見失うリスクを更に低減することができる。
なお、図１１に示すデジタルカメラ１００における特定画素行決定部１０Ｃが、図１０に示す特定画素行決定部１１Ｄに置き換えられた構成であってもよい。
図９に示す特定画素行決定部１０Ｃと図１０に示す特定画素行決定部１１Ｄは、それぞれ、上述した方法によって特定の画素行６２を決定する前に、撮像素子５によって撮像されている被写体の動きを検出する。
そして、この動き量が予め決められた動き閾値以上となっている場合には、上述した方法によって決めた特定の画素行６２よりも撮像面６０の上端側に位置する表示対象画素行を、最終的な特定の画素行６２として決定してもよい。
例えば、特定画素行決定部１０Ｃと特定画素行決定部１１Ｄは、ブロックＢＫ４に含まれる表示対象画素行を特定の画素行６２として仮決定した状態で、撮像素子５によって撮像されている被写体の動きが動き閾値以上となっている場合には、図１５に示すように、ブロックＢＫ４に隣接するブロックＢＫ３の上端にある表示対象画素行を特定の画素行６２として本決定する。
なお、撮像素子５によって撮像されている被写体の動きは、撮像範囲内において動体が存在している場合と、デジタルカメラ１００の揺れ等によって撮像範囲全体が動いている場合とに生じる。
特定画素行決定部１０Ｃと特定画素行決定部１１Ｄは、撮像素子５から順次出力される撮像画像信号に基づく撮像画像データ同士の比較を行うことで、これら被写体の動きを検出することができる。
以上の構成によれば、被写体の動きが大きく、仮決定された特定の画素行６２の上下に向かって被写体が動いてしまう場合でも、この被写体を撮像後すぐにライブビュー画像として確認できる確率を高めることができる。このため、被写体を見失うリスクを更に低減することができる。
図１６は、図１に示すデジタルカメラ１００の機能ブロックの変形例を示す図である。図１６において図６と同じ構成には同一符号を付して説明を省略する。図１６に示すデジタルカメラ１００のハードウェア構成は図１と同じであるため説明は省略する。
図１６に示すデジタルカメラ１００は、機能ブロックとして、撮像制御部１１０Ａと、表示制御部１１Ｂと、を備える。
システム制御部１１は、撮像プログラムを含むプログラムを実行することで撮像制御部１１０Ａ及び表示制御部１１Ｂとして機能する。
撮像制御部１１０Ａは、撮像制御部１１Ａと同様に、グローバルリセット駆動、グローバルシャッタ駆動、及び第一ローリング読み出し駆動からなる第一のセットを行う。
また、撮像制御部１１０Ａは、上記のローリング読み出し駆動として、第一ローリング読み出し駆動に加え、全ての電荷保持部６１Ｂに電荷が保持された状態で、撮像面６０の列方向Ｙの上端の画素行６２から下端の画素行６２に向かって順番に画素信号を読み出す第二ローリング読み出し駆動を行う。
つまり、撮像制御部１１０Ａは、撮像制御部１１Ａの機能に加えて、グローバルリセット駆動、グローバルシャッタ駆動、及び第二ローリング読み出し駆動からなる第二のセットを行う。
撮像制御部１１０Ａは、図８で説明したように上記の第一のセットを連続して行う第一の駆動モードと、上記の第一のセットと上記の第二のセットとを含む複数のセットを連続して行う第二の駆動モードとのいずれかの駆動モードで撮像素子５を駆動する。
撮像制御部１１０Ａは、表示装置のリフレッシュレートで決まる垂直同期信号ＶＤの立下りタイミングの間隔である表示間隔と、撮像素子５の撮像フレームレートによって決まる上記のセットの実施間隔である撮像間隔とに基づいて、第一の駆動モードで撮像素子５を駆動するか、第二の駆動モードで撮像素子５を駆動するかを決める。
具体的には、撮像制御部１１０Ａは、表示間隔と撮像間隔が同じ値となる場合には、図８に例示した第一の駆動モードで撮像素子５を駆動する。
また、撮像制御部１１０Ａは、表示間隔と撮像間隔が異なる値となる場合には、第二の駆動モードで撮像素子５を駆動する。
撮像制御部１１０Ａは、第二の駆動モードでは、垂直同期信号ＶＤの隣接する２つの立ち下がりタイミングの間において１回の第一のセットを行い、第一のセット同士の間において少なくとも１回の第二のセットを行う。
撮像制御部１１０Ａは、この第二の駆動モードの第一のセット同士の間において行う少なくとも１回の第二のセットのいずれか１つの第二のセットでは、第二ローリング読み出し駆動を、垂直同期信号ＶＤの立下りタイミング（描画更新タイミング）よりも予め決められた時間Ｔ２前のタイミングで開始する。
この時間Ｔ２は、第二ローリング読み出し駆動によって撮像面６０の最も上端側にある表示対象画素行６２から画素信号の読み出しが開始され、この画素信号からラインデータが生成され、このラインデータが表示コントローラ２２にて受理されるまでに要する時間である。
また、撮像制御部１１０Ａは、第二の駆動モードで撮像素子５を駆動する場合の第一のセットと第二のセットの実施割合（第一のセット間で行う第二のセットの回数）を、撮像間隔と表示間隔との比に基づいて、決定する。
具体的には、撮像制御部１１０Ａは、表示間隔を撮像間隔で割った値をＮとした場合に、第一のセットをＮ回に１回行い、第一のセットの間に第二のセットを（Ｎ−１）回行う。
図１７は、図１６に示すデジタルカメラ１００の連写モード時の動作を示すタイミングチャートである。図１７は、表示間隔と撮像間隔の比が２：１である場合（Ｎ＝２）の例であり、撮像制御部１１０Ａが第二の駆動モードで撮像素子５を駆動する場合の例を示している。
図１７に示す直線ＧＳ，ＧＲ，ＳＴ，ＲＯ１，ＲＯ２，ＤＲは、図８で説明したとおりのタイミングを示す。図１７に示す直線ＲＯ３は、第二ローリング読み出し駆動によって画素信号が読み出されるタイミングを示している。
撮像制御部１１０Ａは、垂直同期信号ＶＤの立ち上がりよりも少し前に第二のセットを開始する。すなわち、撮像制御部１１０Ａは、直線ＧＲで示されるグローバルリセット駆動を行い、その後、直線ＧＳで示されるグローバルシャッタ駆動を行い、その後、直線ＲＯ３で示される第二ローリング読み出し駆動を行う。
この第二ローリング読み出し駆動が開始されると、撮像面６０の上端の画素行６２から順次、露光期間ＬＶ１によって得られた画素信号が読み出され、この画素信号に基づいてラインデータが生成され、このラインデータが表示コントローラ２２に入力される。
この第二ローリング読み出し駆動の開始タイミングと描画更新処理の開始タイミングとの間は時間Ｔ２である。このため、この第二ローリング読み出し駆動によって得られたラインデータに基づく画像は、表示画素行２３Ｂにすぐに描画される。
この第二ローリング読み出し駆動が終了すると、撮像制御部１１０Ａは、第一のセットを開始する。すなわち、撮像制御部１１０Ａは、直線ＧＲで示されるグローバルリセット駆動を行い、その後、直線ＧＳで示されるグローバルシャッタ駆動を行い、その後、直線ＲＯ１，ＲＯ２で示される第一ローリング読み出し駆動を行う。
この第一ローリング読み出し駆動が開始されると、撮像面６０の特定の画素行６２から順次、露光期間ＬＶ２によって得られた画素信号が読み出され、この画素信号に基づいてラインデータが生成され、このラインデータが表示コントローラ２２に入力される。
この第一ローリング読み出し駆動の開始タイミングと特定の画素行６２の描画の更新タイミングとの間は時間Ｔ１である。このため、この第一ローリング読み出し駆動によって得られたラインデータに基づく画像は、表示画素行２３Ｂにすぐに描画される。
この第一ローリング読み出し駆動が終了すると、撮像制御部１１０Ａは、第二のセットを開始する。以降は同様の動作が繰り返される。
以上のように、図１６に示すデジタルカメラ１００によれば、表示装置のリフレッシュレートと撮像フレームレートが異なる場合であっても、ライブビュー画像が、連続して行われる２回の撮像によって得られる画像の組み合わせで構成されることになる。
このため、ライブビュー画像の表示遅れを少なくして被写体を見失うリスクを低減することができる。
図１８は、図１６に示すデジタルカメラ１００の連写モード時の動作を示すタイミングチャートである。図１８は、表示間隔と撮像間隔の比が４：１である場合（Ｎ＝４）の例であり、撮像制御部１１０Ａが第二の駆動モードで撮像素子５を駆動する場合の例を示している。
図１８に示す直線ＧＳ，ＧＲ，ＳＴ，ＲＯ１，ＲＯ２，ＲＯ３，ＤＲは、図１７で説明したとおりのタイミングを示す。
撮像制御部１１０Ａは、垂直同期信号ＶＤの立ち上がりよりも少し前に第二のセットを開始する。すなわち、撮像制御部１１０Ａは、直線ＧＲで示されるグローバルリセット駆動を行い、その後、直線ＧＳで示されるグローバルシャッタ駆動を行い、その後、直線ＲＯ３で示される第二ローリング読み出し駆動を行う。
この第二ローリング読み出し駆動が開始されると、撮像面６０の上端の画素行６２から順次、露光期間ＬＶ１によって得られた画素信号が読み出され、この画素信号に基づいてラインデータが生成され、このラインデータが表示コントローラ２２に入力される。そして、このラインデータに基づく画像がすぐに表示画素行２３Ｂに描画される（図中の“ｌｖ１”）。
この第二ローリング読み出し駆動が終了すると、撮像制御部１１０Ａは、再び第二のセットを開始する。すなわち、撮像制御部１１０Ａは、直線ＧＲで示されるグローバルリセット駆動を行い、その後、直線ＧＳで示されるグローバルシャッタ駆動を行い、その後、直線ＲＯ３で示される第二ローリング読み出し駆動を行う。
この第二ローリング読み出し駆動が開始されると、撮像面６０の上端の画素行６２から順次、露光期間ＬＶ２によって得られた画素信号が読み出され、この画素信号に基づいてラインデータが生成され、このラインデータが表示コントローラ２２に入力される。
そして、まだ表示が更新されていない表示画素行２３Ｂに対応するラインデータが生成されると、このラインデータに基づく画像がすぐに表示画素行２３Ｂに描画される（図中の“ｌｖ２”）。
この第二ローリング読み出し駆動が終了すると、撮像制御部１１０Ａは、第一のセットを開始する。すなわち、撮像制御部１１０Ａは、直線ＧＲで示されるグローバルリセット駆動を行い、その後、直線ＧＳで示されるグローバルシャッタ駆動を行い、その後、直線ＲＯ１，ＲＯ２で示される第一ローリング読み出し駆動を行う。
この第一ローリング読み出し駆動が開始されると、撮像面６０の特定の画素行６２から順次、露光期間ＬＶ３によって得られた画素信号が読み出され、この画素信号に基づいてラインデータが生成され、このラインデータが表示コントローラ２２に入力される。
そして、このラインデータに基づく画像がすぐに表示画素行２３Ｂに描画される（図中の“ｌｖ３”）。
この第一ローリング読み出し駆動が終了すると、撮像制御部１１０Ａは、第二のセットを開始する。この第二のセットの第二ローリング読み出し駆動で読み出された画素信号に基づいて生成されるラインデータのうち、まだ表示が更新されていない表示画素行２３Ｂに対応するラインデータが生成されると、このラインデータに基づく画像が、その表示画素行２３Ｂに描画される（図中の“ｌｖ４”）。
以降は、ここまでの処理（第二のセット→第二のセット→第一のセット→第二のセット）が繰り返し行われる。
以上のように、図１６に示すデジタルカメラ１００によれば、表示装置のリフレッシュレートと撮像フレームレートが異なる場合であっても、ライブビュー画像が、連続して行われる複数回の撮像によって得られる画像の組み合わせで構成されることになる。このため、ライブビュー画像の表示遅れを少なくして被写体を見失うリスクを低減することができる。
次に、本発明の撮像装置の実施形態としてスマートフォンの構成について説明する。
図１９は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。
図１９に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示面としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。
また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示面と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。
図２０は、図１９に示すスマートフォン２００の構成を示すブロック図である。
図２０に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。
また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。
表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）又は文字情報等を表示して視覚的に利用者に情報を伝達するとともに、表示した情報に対する利用者操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３と、を備える。
表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等を表示デバイスとして用いたものである。
操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、利用者の指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスを利用者の指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。
図２０に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。
係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、利用者操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０１の大きさ等に応じて適宜設計されるものである。
さらにまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。
通話部２１１は、スピーカ２０５又はマイクロホン２０６を備え、マイクロホン２０６を通じて入力された利用者の音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。
また、図１９に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。
操作部２０７は、キースイッチ等を用いたハードウェアキーであって、利用者からの指示を受け付けるものである。例えば、図１９に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部２１２は、主制御部２２０の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。
なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の格納媒体を用いて実現される。
外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４等）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）等）により直接的又は間接的に接続するためのものである。
スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるパーソナルコンピュータ、イヤホン等がある。
外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達したり、スマートフォン２００の内部のデータが外部機器に伝送されるようにしたりすることができる。
ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０又は外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部２１５は、例えば、３軸の加速度センサ等を備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向又は加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。
電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。
また、主制御部２２０は、受信データ又はダウンロードしたストリーミングデータ等の画像データ（静止画像又は動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。
画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。
さらに、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じた利用者操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。
なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じた利用者操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。
さらに、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。
ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
カメラ部２０８は、図１に示したデジタルカメラ１００又はその変形例における外部メモリ制御部２０、記憶媒体２１、表示コントローラ２２、表示面２３、及び操作部１４以外の構成を含む。また、カメラ部２０８に含まれる表示制御部１１Ｂは、表示コントローラ２２を制御してライブビュー画像の表示を行う。
カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることができる。
図１９に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。
また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示したり、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用したりすることができる。
また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。さらには、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等を付加して記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることもできる。
以上のような構成のスマートフォン２００においても、失敗の少ないフォーカスブラケット撮像が可能となる。
以上説明してきたように、本明細書には以下の事項が開示されている。
（１）
光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた画素信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、行方向に配列された複数の上記画素からなる画素行が上記行方向と直交する列方向に複数配列された撮像面を有する撮像素子と、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた画素信号を上記画素行毎に順次読み出すローリング読み出し駆動と、を行う撮像制御部と、一方向に並ぶ複数の表示画素からなる表示画素行が上記一方向と直交する直交方向に複数配列された表示面を有し上記表示画素行に描画する画像を上記表示面の上記直交方向の一端にある上記表示画素行からその直交方向の他端に向かって順次更新する描画更新処理を行う表示装置に、上記ローリング読み出し駆動によって上記撮像素子の上記画素から出力される画素信号に基づいて生成されるライブビュー画像を表示させる表示制御部と、を備え、上記撮像制御部は、上記ローリング読み出し駆動として、上記撮像面の上記列方向の両端の上記画素行同士の間にある特定の上記画素行から上記撮像面の上記列方向の一端にある上記画素行に向かって順番に上記画素信号の読み出しを行い、上記一端にある上記画素行からの上記画素信号の読み出し後に、上記撮像面の上記列方向の他端にある上記画素行から上記特定の上記画素行に向かって順番に上記画素信号の読み出しを行う第一ローリング読み出し駆動を行い、上記表示制御部は、上記表示装置に対する上記描画更新処理の開始指示を、上記第一ローリング読み出し駆動の開始タイミングに基づいてその開始タイミングよりも前に行い、上記開始指示が行われる描画更新タイミングは、その開始指示で開始される上記描画更新処理における上記特定の上記画素行に対応する上記表示画素行に描画される画像の更新タイミングが上記第一ローリング読み出し駆動の開始タイミングの予め決められた時間経過後になるタイミングである撮像装置。
（２）
（１）記載の撮像装置であって、上記撮像制御部は、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記ローリング読み出し駆動のセットを複数回連続して行い、上記複数回のセットは、上記ローリング読み出し駆動として上記第一ローリング読み出し駆動が行われる第一のセットと、上記ローリング読み出し駆動として第二ローリング読み出し駆動が行われる第二のセットとを含み、上記第二ローリング読み出し駆動は、上記撮像面の上記列方向の上記他端にある上記画素行から上記撮像面の上記列方向の上記一端にある上記画素行に向かって順番に上記画素信号を読み出す駆動であり、上記第二のセットは、上記描画更新タイミングよりも予め決められた時間前のタイミングで上記第二ローリング読み出し駆動が開始されるものを含む撮像装置。
（３）
（２）記載の撮像装置であって、上記撮像制御部は、上記複数回のセットの実施間隔と、上記描画更新処理の行われる間隔との比に基づいて、上記複数回のセットにおける上記第一のセットと上記第二のセットの割合を決定する撮像装置。
（４）
（３）記載の撮像装置であって、上記撮像制御部は、上記描画更新処理の行われる上記間隔を上記実施間隔で割った値をＮとした場合に、上記第一のセットをＮ回に１回行い、上記第一のセットの間に上記第二のセットを（Ｎ−１）回行う撮像装置。
（５）
（１）〜（４）のいずれか１つに記載の撮像装置であって、操作部からの入力信号に基づいて上記特定の上記画素行を決定する特定画素行決定部を更に備える撮像装置。
（６）
（１）〜（４）のいずれか１つに記載の撮像装置であって、上記撮像面に設定された合焦対象エリアに含まれる上記画素行のいずれかを上記特定の上記画素行として決定する特定画素行決定部を更に備える撮像装置。
（７）
（１）〜（４）のいずれか１つに記載の撮像装置であって、上記表示面における利用者の注視エリアを判定し、上記注視エリアに含まれる上記表示画素行のいずれかに対応する上記画素行を上記特定の上記画素行として決定する特定画素行決定部を更に備える撮像装置。
（８）
（１）〜（４）のいずれか１つに記載の撮像装置であって、上記撮像素子の前方に配置される撮像光学系と上記撮像素子によって撮像されている被写体との距離を測定する被写体距離測定部と、上記撮像光学系の焦点位置から求まる被写体距離と、上記被写体距離測定部により測定された距離との差が予め決められた距離差閾値未満となる上記被写体を撮像する上記画素行のいずれかを上記特定の上記画素行として決定する特定画素行決定部と、を更に備える撮像装置。
（９）
（１）〜（４）のいずれか１つに記載の撮像装置であって、上記撮像素子によって撮像される被写体のうちの空間周波数が予め決められた周波数閾値以上となる被写体を撮像する上記画素行のいずれかを上記特定の上記画素行として決定する特定画素行決定部を更に備える撮像装置。
（１０）
（１）〜（９）のいずれか１つに記載の撮像装置であって、上記撮像面を上記列方向に複数のブロックに分割した場合に、上記撮像素子によって撮像される被写体のうちの上記特定の上記画素行を含む上記ブロックで撮像される特定被写体の動きを予測し、上記特定被写体の予測される移動位置が上記特定の上記画素行を含む上記ブロック以外の上記ブロックに上記重なると判断した場合に、上記特定の上記画素行を、上記移動位置と重なる上記ブロック内の上記画素行に変更する特定画素行変更処理部を更に備える撮像装置。
（１１）
（１）〜（９）のいずれか１つに記載の撮像装置であって、上記撮像素子によって撮像される被写体のうちの上記特定の上記画素行で撮像される特定被写体の動き量を検出し、上記動き量が予め決められた動き閾値以上の場合に、上記特定の上記画素行を、上記特定の上記画素行の上記撮像面の上記列方向の上記他端側に位置する上記画素行に変更する特定画素行変更処理部を更に備える撮像装置。
（１２）
光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた画素信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、行方向に配列された複数の上記画素からなる画素行が上記行方向と直交する列方向に複数配列された撮像面を有する撮像素子を用いた撮像方法であって、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた画素信号を上記画素行毎に順次読み出すローリング読み出し駆動と、を行う撮像制御ステップと、一方向に並ぶ複数の表示画素からなる表示画素行が上記一方向と直交する直交方向に複数配列された表示面を有し上記表示画素行に描画する画像を上記表示面の上記直交方向の一端にある上記表示画素行からその直交方向の他端に向かって順次更新する描画更新処理を行う表示装置に、上記ローリング読み出し駆動によって上記撮像素子の上記画素から出力される画素信号に基づいて生成されるライブビュー画像を表示させる表示制御ステップと、を備え、上記撮像制御ステップでは、上記ローリング読み出し駆動として、上記撮像面の上記列方向の両端の上記画素行同士の間にある特定の上記画素行から上記撮像面の上記列方向の一端にある上記画素行に向かって順番に上記画素信号の読み出しを行い、上記一端にある上記画素行からの上記画素信号の読み出し後に、上記撮像面の上記列方向の他端にある上記画素行から上記特定の上記画素行に向かって順番に上記画素信号の読み出しを行う第一ローリング読み出し駆動を行い、上記表示制御ステップでは、上記表示装置に対する上記描画更新処理の開始指示を、上記第一ローリング読み出し駆動の開始タイミングに基づいてその開始タイミングよりも前に行い、上記開始指示が行われる描画更新タイミングは、その開始指示で開始される上記描画更新処理における上記特定の上記画素行に対応する上記表示画素行に描画される画像の更新タイミングが上記第一ローリング読み出し駆動の開始タイミングの予め決められた時間経過後になるタイミングである撮像方法。
（１３）
（１２）記載の撮像方法であって、
上記撮像制御ステップでは、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記ローリング読み出し駆動のセットを複数回連続して行い、上記複数回のセットは、上記ローリング読み出し駆動として上記第一ローリング読み出し駆動が行われる第一のセットと、上記ローリング読み出し駆動として第二ローリング読み出し駆動が行われる第二のセットとを含み、上記第二ローリング読み出し駆動は、上記撮像面の上記列方向の上記他端にある上記画素行から上記撮像面の上記列方向の上記一端にある上記画素行に向かって順番に上記画素信号を読み出す駆動であり、上記第二のセットは、上記描画更新タイミングよりも予め決められた時間前のタイミングで上記第二ローリング読み出し駆動が開始されるものを含む撮像方法。
（１４）
（１３）記載の撮像方法であって、上記撮像制御ステップでは、上記複数回のセットの実施間隔と、上記描画更新処理の行われる間隔との比に基づいて、上記複数回のセットにおける上記第一のセットと上記第二のセットの割合を決定する撮像方法。
（１５）
（１４）記載の撮像方法であって、上記撮像制御ステップでは、上記描画更新処理の行われる上記間隔を上記実施間隔で割った値をＮとした場合に、上記第一のセットをＮ回に１回行い、上記第一のセットの間に上記第二のセットを（Ｎ−１）回行う撮像方法。
（１６）
（１２）〜（１５）のいずれか１つに記載の撮像方法であって、操作部からの入力信号に基づいて上記特定の上記画素行を決定する特定画素行決定ステップを更に備える撮像方法。
（１７）
（１２）〜（１５）のいずれか１つに記載の撮像方法であって、上記撮像面に設定された合焦対象エリアに含まれる上記画素行のいずれかを上記特定の上記画素行として決定する特定画素行決定ステップを更に備える撮像方法。
（１８）
（１２）〜（１５）のいずれか１つに記載の撮像方法であって、上記表示面における利用者の注視エリアを判定し、上記注視エリアに含まれる上記表示画素行のいずれかに対応する上記画素行を上記特定の上記画素行として決定する特定画素行決定ステップを更に備える撮像方法。
（１９）
（１２）〜（１５）のいずれか１つに記載の撮像方法であって、上記撮像素子の前方に配置される撮像光学系と上記撮像素子によって撮像されている被写体との距離を測定する被写体距離測定ステップと、上記撮像光学系の焦点位置から求まる被写体距離と、上記被写体距離測定ステップで測定された距離との差が予め決められた距離差閾値未満となる上記被写体を撮像する上記画素行のいずれかを上記特定の上記画素行として決定する特定画素行決定ステップと、を更に備える撮像方法。
（２０）
（１２）〜（１５）のいずれか１つに記載の撮像方法であって、上記撮像素子によって撮像される被写体のうちの空間周波数が予め決められた周波数閾値以上となる被写体を撮像する上記画素行のいずれかを上記特定の上記画素行として決定する特定画素行決定ステップを更に備える撮像方法。
（２１）
（１２）〜（２０）のいずれか１つに記載の撮像方法であって、上記撮像面を上記列方向に複数のブロックに分割した場合に、上記撮像素子によって撮像される被写体のうちの上記特定の上記画素行を含む上記ブロックで撮像される特定被写体の動きを予測し、上記特定被写体の予測される移動位置が上記特定の上記画素行を含む上記ブロック以外の上記ブロックに上記重なると判断した場合に、上記特定の上記画素行を、上記移動位置と重なる上記ブロック内の上記画素行に変更する特定画素行変更処理ステップを更に備える撮像方法。
（２２）
（１２）〜（２０）のいずれか１つに記載の撮像方法であって、上記撮像素子によって撮像される被写体のうちの上記特定の上記画素行で撮像される特定被写体の動き量を検出し、上記動き量が予め決められた動き閾値以上の場合に、上記特定の上記画素行を、上記特定の上記画素行の上記撮像面の上記列方向の上記他端側に位置する上記画素行に変更する特定画素行変更処理ステップを更に備える撮像方法。
（２３）
光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた画素信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、行方向に配列された複数の上記画素からなる画素行が上記行方向と直交する列方向に複数配列された撮像面を有する撮像素子を用いた撮像方法をコンピュータに実行させるための撮像プログラムであって、上記撮像方法は、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた画素信号を上記画素行毎に順次読み出すローリング読み出し駆動と、を行う撮像制御ステップと、一方向に並ぶ複数の表示画素からなる表示画素行が上記一方向と直交する直交方向に複数配列された表示面を有し上記表示画素行に描画する画像を上記表示面の上記直交方向の一端にある上記表示画素行からその直交方向の他端に向かって順次更新する描画更新処理を行う表示装置に、上記ローリング読み出し駆動によって上記撮像素子の上記画素から出力される画素信号に基づいて生成されるライブビュー画像を表示させる表示制御ステップと、を備え、上記撮像制御ステップでは、上記ローリング読み出し駆動として、上記撮像面の上記列方向の両端の上記画素行同士の間にある特定の上記画素行から上記撮像面の上記列方向の一端にある上記画素行に向かって順番に上記画素信号の読み出しを行い、上記一端にある上記画素行からの上記画素信号の読み出し後に、上記撮像面の上記列方向の他端にある上記画素行から上記特定の上記画素行に向かって順番に上記画素信号の読み出しを行う第一ローリング読み出し駆動を行い、上記表示制御ステップでは、上記表示装置に対する上記描画更新処理の開始指示を、上記第一ローリング読み出し駆動の開始タイミングに基づいてその開始タイミングよりも前に行い、上記開始指示が行われる描画更新タイミングは、その開始指示で開始される上記描画更新処理における上記特定の上記画素行に対応する上記表示画素行に描画される画像の更新タイミングが上記第一ローリング読み出し駆動の開始タイミングの予め決められた時間経過後になるタイミングである撮像プログラム。
本発明によれば、グローバルシャッタ方式の駆動による撮像を行って得られる撮像画像信号のうち利用者にとって必要な部分の表示を高速に行うことを可能として被写体を見失うリスクを低減することができる。
以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
本出願は、２０１７年３月２２日出願の日本特許出願（特願２０１７−０５６３２７）に基づくものであり、その内容はここに取り込まれる。
１ 撮像レンズ
２ 絞り
４ レンズ制御部
５ 撮像素子
６０ 撮像面
６１ 画素
６１Ａ 光電変換素子
６１Ｂ 電荷保持部
６１Ｃ 電荷転送部
６１Ｄ フローティングディフュージョン
６１Ｅ 読み出し回路
６２ 画素行
６３ 駆動回路
６４ 信号処理回路
６５ 信号線
６５ 信号線
７０ Ｎ型基板
７１ Ｐウェル層
７２ 読み出し電極
７３ Ｎ型不純物層
７４ Ｐ型不純物層
７５ 領域
７６ 転送電極
７７ リセットトランジスタ
７８ 出力トランジスタ
７９ 選択トランジスタ
８ レンズ駆動部
９ 絞り駆動部
１０ 撮像素子駆動部
１１ システム制御部
１１Ａ，１１０Ａ 撮像制御部
１１Ｂ 表示制御部
１１Ｃ，１１Ｄ 特定画素行決定部
１１Ｅ 被写体距離測定部
１１Ｆ 特定画素行変更処理部
１４ 操作部
１５ メモリ制御部
１６ メインメモリ
１７ デジタル信号処理部
２０ 外部メモリ制御部
２１ 記憶媒体
２２ 表示コントローラ
２３ 表示面
２３Ａ 表示画素
２３Ｂ 表示画素行
２４ 制御バス
２５ データバス
４０ レンズ装置
Ｒ１，Ｒ２ 読み出し方向
ＧＳ，ＧＲ，ＲＯ１，ＲＯ２，ＲＯ３，ＳＴ，ＤＲ 直線
Ｈ１ 特定被写体
２００ スマートフォン
２０１ 筐体
２０２ 表示パネル
２０３ 操作パネル
２０４ 表示入力部
２０５ スピーカ
２０６ マイクロホン
２０７ 操作部
２０８ カメラ部
２１０ 無線通信部
２１１ 通話部
２１２ 記憶部
２１３ 外部入出力部
２１４ ＧＰＳ受信部
２１５ モーションセンサ部
２１６ 電源部
２１７ 内部記憶部
２１８ 外部記憶部
２２０ 主制御部
ＳＴ１〜ＳＴｎ ＧＰＳ衛星

Claims (23)

  1. 光電変換素子と、前記光電変換素子から転送される電荷を保持し前記電荷に応じた画素信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、行方向に配列された複数の前記画素からなる画素行が前記行方向と直交する列方向に複数配列された撮像面を有する撮像素子と、
    前記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始するグローバルリセット駆動と、前記露光によって前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了するグローバルシャッタ駆動と、前記グローバルシャッタ駆動によって前記電荷保持部に保持された前記電荷に応じた画素信号を前記画素行毎に順次読み出すローリング読み出し駆動と、を行う撮像制御部と、
    一方向に並ぶ複数の表示画素からなる表示画素行が前記一方向と直交する直交方向に複数配列された表示面を有し前記表示画素行に描画する画像を前記表示面の前記直交方向の一端にある前記表示画素行から当該直交方向の他端に向かって順次更新する描画更新処理を行う表示装置に、前記ローリング読み出し駆動によって前記撮像素子の前記画素から出力される画素信号に基づいて生成されるライブビュー画像を表示させる表示制御部と、を備え、
    前記撮像制御部は、前記ローリング読み出し駆動として、前記撮像面の前記列方向の両端の前記画素行同士の間にある特定の前記画素行から前記撮像面の前記列方向の一端にある前記画素行に向かって順番に前記画素信号の読み出しを行い、前記一端にある前記画素行からの前記画素信号の読み出し後に、前記撮像面の前記列方向の他端にある前記画素行から前記特定の前記画素行に向かって順番に前記画素信号の読み出しを行う第一ローリング読み出し駆動を行い、
    前記表示制御部は、前記表示装置に対する前記描画更新処理の開始指示を、前記第一ローリング読み出し駆動の開始タイミングに基づいて当該開始タイミングよりも前に行い、
    前記開始指示が行われる描画更新タイミングは、当該開始指示で開始される前記描画更新処理における前記特定の前記画素行に対応する前記表示画素行に描画される画像の更新タイミングが前記第一ローリング読み出し駆動の開始タイミングの予め決められた時間経過後になるタイミングである撮像装置。
  2. 請求項１記載の撮像装置であって、
    前記撮像制御部は、前記グローバルリセット駆動、前記グローバルシャッタ駆動、及び前記ローリング読み出し駆動のセットを複数回連続して行い、
    前記複数回のセットは、前記ローリング読み出し駆動として前記第一ローリング読み出し駆動が行われる第一のセットと、前記ローリング読み出し駆動として第二ローリング読み出し駆動が行われる第二のセットとを含み、
    前記第二ローリング読み出し駆動は、前記撮像面の前記列方向の前記他端にある前記画素行から前記撮像面の前記列方向の前記一端にある前記画素行に向かって順番に前記画素信号を読み出す駆動であり、
    前記第二のセットは、前記描画更新タイミングよりも予め決められた時間前のタイミングで前記第二ローリング読み出し駆動が開始されるものを含む撮像装置。
  3. 請求項２記載の撮像装置であって、
    前記撮像制御部は、前記複数回のセットの実施間隔と、前記描画更新処理の行われる間隔との比に基づいて、前記複数回のセットにおける前記第一のセットと前記第二のセットの割合を決定する撮像装置。
  4. 請求項３記載の撮像装置であって、
    前記撮像制御部は、前記描画更新処理の行われる前記間隔を前記実施間隔で割った値をＮとした場合に、前記第一のセットをＮ回に１回行い、前記第一のセットの間に前記第二のセットを（Ｎ−１）回行う撮像装置。
  5. 請求項１〜４のいずれか１項記載の撮像装置であって、
    操作部からの入力信号に基づいて前記特定の前記画素行を決定する特定画素行決定部を更に備える撮像装置。
  6. 請求項１〜４のいずれか１項記載の撮像装置であって、
    前記撮像面に設定された合焦対象エリアに含まれる前記画素行のいずれかを前記特定の前記画素行として決定する特定画素行決定部を更に備える撮像装置。
  7. 請求項１〜４のいずれか１項記載の撮像装置であって、
    前記表示面における利用者の注視エリアを判定し、前記注視エリアに含まれる前記表示画素行のいずれかに対応する前記画素行を前記特定の前記画素行として決定する特定画素行決定部を更に備える撮像装置。
  8. 請求項１〜４のいずれか１項記載の撮像装置であって、
    前記撮像素子の前方に配置される撮像光学系と前記撮像素子によって撮像されている被写体との距離を測定する被写体距離測定部と、
    前記撮像光学系の焦点位置から求まる被写体距離と、前記被写体距離測定部により測定された距離との差が予め決められた距離差閾値未満となる前記被写体を撮像する前記画素行のいずれかを前記特定の前記画素行として決定する特定画素行決定部と、を更に備える撮像装置。
  9. 請求項１〜４のいずれか１項記載の撮像装置であって、
    前記撮像素子によって撮像される被写体のうちの空間周波数が予め決められた周波数閾値以上となる被写体を撮像する前記画素行のいずれかを前記特定の前記画素行として決定する特定画素行決定部を更に備える撮像装置。
  10. 請求項１〜９のいずれか１項記載の撮像装置であって、
    前記撮像面を前記列方向に複数のブロックに分割した場合に、前記撮像素子によって撮像される被写体のうちの前記特定の前記画素行を含む前記ブロックで撮像される特定被写体の動きを予測し、前記特定被写体の予測される移動位置が前記特定の前記画素行を含む前記ブロック以外の前記ブロックに重なると判断した場合に、前記特定の前記画素行を、前記移動位置と重なる前記ブロック内の前記画素行に変更する特定画素行変更処理部を更に備える撮像装置。
  11. 請求項１〜９のいずれか１項記載の撮像装置であって、
    前記撮像素子によって撮像される被写体のうちの前記特定の前記画素行で撮像される特定被写体の動き量を検出し、前記動き量が予め決められた動き閾値以上の場合に、前記特定の前記画素行を、前記特定の前記画素行の前記撮像面の前記列方向の前記他端側に位置する前記画素行に変更する特定画素行変更処理部を更に備える撮像装置。
  12. 光電変換素子と、前記光電変換素子から転送される電荷を保持し前記電荷に応じた画素信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、行方向に配列された複数の前記画素からなる画素行が前記行方向と直交する列方向に複数配列された撮像面を有する撮像素子を用いた撮像方法であって、
    前記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始するグローバルリセット駆動と、前記露光によって前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了するグローバルシャッタ駆動と、前記グローバルシャッタ駆動によって前記電荷保持部に保持された前記電荷に応じた画素信号を前記画素行毎に順次読み出すローリング読み出し駆動と、を行う撮像制御ステップと、
    一方向に並ぶ複数の表示画素からなる表示画素行が前記一方向と直交する直交方向に複数配列された表示面を有し前記表示画素行に描画する画像を前記表示面の前記直交方向の一端にある前記表示画素行から当該直交方向の他端に向かって順次更新する描画更新処理を行う表示装置に、前記ローリング読み出し駆動によって前記撮像素子の前記画素から出力される画素信号に基づいて生成されるライブビュー画像を表示させる表示制御ステップと、を備え、
    前記撮像制御ステップでは、前記ローリング読み出し駆動として、前記撮像面の前記列方向の両端の前記画素行同士の間にある特定の前記画素行から前記撮像面の前記列方向の一端にある前記画素行に向かって順番に前記画素信号の読み出しを行い、前記一端にある前記画素行からの前記画素信号の読み出し後に、前記撮像面の前記列方向の他端にある前記画素行から前記特定の前記画素行に向かって順番に前記画素信号の読み出しを行う第一ローリング読み出し駆動を行い、
    前記表示制御ステップでは、前記表示装置に対する前記描画更新処理の開始指示を、前記第一ローリング読み出し駆動の開始タイミングに基づいて当該開始タイミングよりも前に行い、
    前記開始指示が行われる描画更新タイミングは、当該開始指示で開始される前記描画更新処理における前記特定の前記画素行に対応する前記表示画素行に描画される画像の更新タイミングが前記第一ローリング読み出し駆動の開始タイミングの予め決められた時間経過後になるタイミングである撮像方法。
  13. 請求項１２記載の撮像方法であって、
    前記撮像制御ステップでは、前記グローバルリセット駆動、前記グローバルシャッタ駆動、及び前記ローリング読み出し駆動のセットを複数回連続して行い、
    前記複数回のセットは、前記ローリング読み出し駆動として前記第一ローリング読み出し駆動が行われる第一のセットと、前記ローリング読み出し駆動として第二ローリング読み出し駆動が行われる第二のセットとを含み、
    前記第二ローリング読み出し駆動は、前記撮像面の前記列方向の前記他端にある前記画素行から前記撮像面の前記列方向の前記一端にある前記画素行に向かって順番に前記画素信号を読み出す処理を、前記描画更新タイミングよりも前記予め決められた時間前のタイミングで開始するものである撮像方法。
  14. 請求項１３記載の撮像方法であって、
    前記撮像制御ステップでは、前記複数回のセットの実施間隔と、前記描画更新処理の行われる間隔との比に基づいて、前記複数回のセットにおける前記第一のセットと前記第二のセットの割合を決定する撮像方法。
  15. 請求項１４記載の撮像方法であって、
    前記撮像制御ステップでは、前記描画更新処理の行われる前記間隔を前記実施間隔で割った値をＮとした場合に、前記第一のセットをＮ回に１回行い、前記第一のセットの間に前記第二のセットを（Ｎ−１）回行う撮像方法。
  16. 請求項１２〜１５のいずれか１項記載の撮像方法であって、
    操作部からの入力信号に基づいて前記特定の前記画素行を決定する特定画素行決定ステップを更に備える撮像方法。
  17. 請求項１２〜１５のいずれか１項記載の撮像方法であって、
    前記撮像面に設定された合焦対象エリアに含まれる前記画素行のいずれかを前記特定の前記画素行として決定する特定画素行決定ステップを更に備える撮像方法。
  18. 請求項１２〜１５のいずれか１項記載の撮像方法であって、
    前記表示面における利用者の注視エリアを判定し、前記注視エリアに含まれる前記表示画素行のいずれかに対応する前記画素行を前記特定の前記画素行として決定する特定画素行決定ステップを更に備える撮像方法。
  19. 請求項１２〜１５のいずれか１項記載の撮像方法であって、
    前記撮像素子の前方に配置される撮像光学系と前記撮像素子によって撮像されている被写体との距離を測定する被写体距離測定ステップと、
    前記撮像光学系の焦点位置から求まる被写体距離と、前記被写体距離測定ステップで測定された距離との差が予め決められた距離差閾値未満となる前記被写体を撮像する前記画素行のいずれかを前記特定の前記画素行として決定する特定画素行決定ステップと、を更に備える撮像方法。
  20. 請求項１２〜１５のいずれか１項記載の撮像方法であって、
    前記撮像素子によって撮像される被写体のうちの空間周波数が予め決められた周波数閾値以上となる被写体を撮像する前記画素行のいずれかを前記特定の前記画素行として決定する特定画素行決定ステップを更に備える撮像方法。
  21. 請求項１２〜２０のいずれか１項記載の撮像方法であって、
    前記撮像面を前記列方向に複数のブロックに分割した場合に、前記撮像素子によって撮像される被写体のうちの前記特定の前記画素行を含む前記ブロックで撮像される特定被写体の動きを予測し、前記特定被写体の予測される移動位置が前記特定の前記画素行を含む前記ブロック以外の前記ブロックに重なると判断した場合に、前記特定の前記画素行を、前記移動位置と重なる前記ブロック内の前記画素行に変更する特定画素行変更処理ステップを更に備える撮像方法。
  22. 請求項１２〜２０のいずれか１項記載の撮像方法であって、
    前記撮像素子によって撮像される被写体のうちの前記特定の前記画素行で撮像される特定被写体の動き量を検出し、前記動き量が予め決められた動き閾値以上の場合に、前記特定の前記画素行を、前記特定の前記画素行の前記撮像面の前記列方向の前記他端側に位置する前記画素行に変更する特定画素行変更処理ステップを更に備える撮像方法。
  23. 光電変換素子と、前記光電変換素子から転送される電荷を保持し前記電荷に応じた画素信号が読み出し回路によって読み出される電荷保持部とを含む複数の画素を有し、行方向に配列された複数の前記画素からなる画素行が前記行方向と直交する列方向に複数配列された撮像面を有する撮像素子を用いた撮像方法をコンピュータに実行させるための撮像プログラムであって、
    前記撮像方法は、
    前記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始するグローバルリセット駆動と、前記露光によって前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了するグローバルシャッタ駆動と、前記グローバルシャッタ駆動によって前記電荷保持部に保持された前記電荷に応じた画素信号を前記画素行毎に順次読み出すローリング読み出し駆動と、を行う撮像制御ステップと、
    一方向に並ぶ複数の表示画素からなる表示画素行が前記一方向と直交する直交方向に複数配列された表示面を有し前記表示画素行に描画する画像を前記表示面の前記直交方向の一端にある前記表示画素行から当該直交方向の他端に向かって順次更新する描画更新処理を行う表示装置に、前記ローリング読み出し駆動によって前記撮像素子の前記画素から出力される画素信号に基づいて生成されるライブビュー画像を表示させる表示制御ステップと、を備え、
    前記撮像制御ステップでは、前記ローリング読み出し駆動として、前記撮像面の前記列方向の両端の前記画素行同士の間にある特定の前記画素行から前記撮像面の前記列方向の一端にある前記画素行に向かって順番に前記画素信号の読み出しを行い、前記一端にある前記画素行からの前記画素信号の読み出し後に、前記撮像面の前記列方向の他端にある前記画素行から前記特定の前記画素行に向かって順番に前記画素信号の読み出しを行う第一ローリング読み出し駆動を行い、
    前記表示制御ステップでは、前記表示装置に対する前記描画更新処理の開始指示を、前記第一ローリング読み出し駆動の開始タイミングに基づいて当該開始タイミングよりも前に行い、
    前記開始指示が行われる描画更新タイミングは、当該開始指示で開始される前記描画更新処理における前記特定の前記画素行に対応する前記表示画素行に描画される画像の更新タイミングが前記第一ローリング読み出し駆動の開始タイミングの予め決められた時間経過後になるタイミングである撮像プログラム。
JP2019507458A 2017-03-22 2018-02-20 撮像装置、撮像方法、及び撮像プログラム Active JP6569022B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017056327 2017-03-22
JP2017056327 2017-03-22
PCT/JP2018/006042 WO2018173597A1 (ja) 2017-03-22 2018-02-20 撮像装置、撮像方法、及び撮像プログラム

Publications (2)

Publication Number Publication Date
JPWO2018173597A1 JPWO2018173597A1 (ja) 2019-07-18
JP6569022B2 true JP6569022B2 (ja) 2019-08-28

Family

ID=63584316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019507458A Active JP6569022B2 (ja) 2017-03-22 2018-02-20 撮像装置、撮像方法、及び撮像プログラム

Country Status (4)

Country Link
US (1) US10812705B2 (ja)
JP (1) JP6569022B2 (ja)
CN (1) CN110463185B (ja)
WO (1) WO2018173597A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109891875B (zh) * 2016-11-08 2021-11-16 索尼公司 图像传送设备、方法、系统和存储介质
JP6755405B2 (ja) * 2017-08-18 2020-09-16 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP7150469B2 (ja) * 2018-05-17 2022-10-11 キヤノン株式会社 撮像装置及び撮像システム
CN110062181B (zh) * 2019-05-13 2021-04-02 西北核技术研究院 基于全局快门型cmos图像传感器的超高速双帧图像获取方法
US20230119596A1 (en) * 2020-03-31 2023-04-20 Sony Semiconductor Solutions Corporation Imaging apparatus and control method therefor
CN111770252B (zh) * 2020-06-24 2021-11-02 Oppo广东移动通信有限公司 像素位置确定方法及装置、电子设备、存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0678205A (ja) 1992-08-28 1994-03-18 Canon Inc 電子カメラ及び画像伝送方法
JP2008252195A (ja) * 2007-03-29 2008-10-16 Yamaha Corp Ｃｍｏｓ固体撮像装置
US20100309340A1 (en) * 2009-06-03 2010-12-09 Border John N Image sensor having global and rolling shutter processes for respective sets of pixels of a pixel array
JP2012175331A (ja) * 2011-02-21 2012-09-10 Olympus Corp 撮像装置
JP5447430B2 (ja) * 2011-04-27 2014-03-19 株式会社ニコン 撮像装置
JP6120042B2 (ja) * 2012-03-30 2017-04-26 ソニー株式会社 固体撮像素子および駆動方法、並びに、電子機器
JP2013211615A (ja) * 2012-03-30 2013-10-10 Sony Corp 固体撮像素子、固体撮像素子の駆動方法、および電子機器
JP6142758B2 (ja) * 2013-10-04 2017-06-07 コニカミノルタ株式会社 放射線画像撮影装置および放射線画像撮影システム
WO2015132957A1 (ja) * 2014-03-07 2015-09-11 日立マクセル株式会社 映像機器及び映像処理方法
CN105791715B (zh) * 2016-03-10 2018-09-18 长春长光辰芯光电技术有限公司 高动态范围图像传感器像素的全局快门控制方法

Also Published As

Publication number Publication date
CN110463185B (zh) 2021-09-03
JPWO2018173597A1 (ja) 2019-07-18
US10812705B2 (en) 2020-10-20
CN110463185A (zh) 2019-11-15
US20200014859A1 (en) 2020-01-09
WO2018173597A1 (ja) 2018-09-27

Similar Documents

Publication Publication Date Title
JP6569022B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
US10623673B2 (en) Imaging device, imaging method, and imaging program
JP6839768B2 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
US10848692B2 (en) Global shutter and rolling shutter drive start timings for imaging apparatus, imaging method, and imaging program
US10944925B2 (en) Global shuttering, first rolling readout and second rolling readout employed with an imaging apparatus, imaging method, and imaging program
US10750105B2 (en) Imaging apparatus, operation method of imaging apparatus, and operation program of imaging apparatus
JP6928663B2 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
US10863110B2 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program
US10742876B2 (en) Imaging device, imaging method, and imaging program
US11861874B2 (en) Imaging apparatus, imaging control method, and imaging control program
JP7266102B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
US20240007767A1 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program
US20230388669A1 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190409

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190409

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190805

R150 Certificate of patent or registration of utility model

Ref document number: 6569022

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250