WO2019058691A1 - 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム - Google Patents

撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム Download PDF

Info

Publication number
WO2019058691A1
WO2019058691A1 PCT/JP2018/024545 JP2018024545W WO2019058691A1 WO 2019058691 A1 WO2019058691 A1 WO 2019058691A1 JP 2018024545 W JP2018024545 W JP 2018024545W WO 2019058691 A1 WO2019058691 A1 WO 2019058691A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
imaging
pixel
moving object
drive
Prior art date
Application number
PCT/JP2018/024545
Other languages
English (en)
French (fr)
Inventor
仁史 桜武
小林　誠
長谷川　亮
智紀 増田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019543430A priority Critical patent/JP6928663B2/ja
Priority to CN201880061098.8A priority patent/CN111108743B/zh
Publication of WO2019058691A1 publication Critical patent/WO2019058691A1/ja
Priority to US16/823,263 priority patent/US11095845B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/38—Releasing-devices separate from shutter
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

グローバルシャッタ方式で撮像素子を駆動して被写体を撮像する場合に、被写体が所望の位置にある状態にて、記録のための撮像を開始することのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供する。システム制御部１１は、グローバルシャッタ方式の駆動によって被写体を連続して撮像し、この撮像によって得られる撮像画像データを複数のエリアに分割し、各エリアを生成する毎に、生成したエリアと、この撮像よりも前に行われた撮像によって生成された撮像画像データのうちのそのエリアと同じエリアとを比較し、その結果によってそのエリアから動体を検出する。システム制御部１１は、このようにして検出した動体の位置の変化に基づいて、撮像画像データに設定されたトリガ範囲ＴＲと動体とが重なるタイミングを予測し、このタイミングを含むフレーム期間において自動撮像を実施する。

Description

撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
　本発明は、撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムに関する。
　近年、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、又はカメラ付きの携帯電話機（例えばスマートフォン）等の撮像機能を有する電子機器の需要が急増している。なお、以上のような撮像機能を有する電子機器を撮像装置と称する。
　このような撮像装置を用い、鳥が飛び立つ瞬間又は水滴が水面に落ちる瞬間等の一瞬のタイミングにおいて被写体を撮像する場合がある。しかし、撮像装置の使用者が、このようなタイミングを的確に判断し、そのタイミングにて、手動による撮像指示を行うことは難しい。
　そこで、特許文献１－３では、撮像開始タイミングを判定するための領域を撮像画像上に設定し、この領域に被写体が侵入した場合又はこの領域に被写体が侵入されると予測される場合に、記録のための撮像を自動的に開始することにより、的確なタイミングにて被写体を撮像することを可能にする撮像装置が提案されている。
特開２０１４－０１１５７８号公報 特開２０１７－０５９９７４号公報 特開２０１４－１５５１７３号公報
　撮像装置に搭載される撮像素子として、ＭＯＳ型の撮像素子がある。係るＭＯＳ型の駆動方法としては、グローバルシャッタ方式の駆動とローリングシャッタ方式の駆動とがある。
　グローバルシャッタ方式の駆動は、撮像素子の全ての画素の光電変換素子を同時にリセットすることにより全ての画素で同時に露光を開始し、その後、各画素の光電変換素子に蓄積された電荷を各画素の電荷保持部に同時に転送することにより全ての画素で同時に露光を終了し、その後、画素行毎に順次、電荷保持部に蓄積された電荷を画素信号に変換して信号線に読み出していくものである。
　ローリングシャッタ方式の駆動は、撮像素子の画素行の各光電変換素子をリセットすることによりこの画素行の露光を開始し、その後、この画素行の各光電変換素子に蓄積された電荷に応じた画素信号を信号線に読み出す駆動を、画素行を変えながら順次行う方式である。
　ローリングシャッタ方式の駆動と、特許文献１－３に記載されている自動撮像の技術とを組み合わせると、次のような課題が生じる。
　例えば、撮像素子の撮像面において上側から下側に向かって画素行の露光が順次開始されていくものとし、撮像素子の撮像面において上側から下側に向かって高速で移動する被写体を撮像する場合を考える。この場合、この被写体の移動速度によっては、この被写体の検出が不能になることがあり、的確なタイミングでの撮像ができなくなる。
　一方、グローバルシャッタ方式の駆動と、特許文献１－３に記載されている自動撮像の技術とを組み合わせた場合には、撮像面において全ての画素行の露光が同時に開始される。このため、被写体の移動方向に依存する被写体の非検出の課題は生じない。
　しかし、グローバルシャッタ方式の駆動では、画素信号の読み出しは画素行毎に順次行われる。このため、全ての画素行から画素信号が出力され、この画素信号が利用可能になるのを待ってから被写体の検出を行うのでは、被写体の検出に時間がかかってしまい、シャッタチャンスを逃す可能性がある。
　本発明は、上記事情に鑑みてなされたものであり、グローバルシャッタ方式で撮像素子を駆動して被写体を撮像する場合に、被写体が所望の位置にある状態にて、記録のための撮像を開始することのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供することを目的とする。
　本発明の撮像制御装置は、光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む画素を複数有し、第一の方向に配列された複数の上記画素からなる画素行が上記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子の駆動部を制御して、上記複数の画素の各々の上記光電変換素子を同時にリセットすることにより上記複数の画素の露光を開始し、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了した後、上記撮像面の上記第二の方向の一端側から他端側に向かって上記画素行を順次選択し、選択した上記画素行の上記電荷保持部に保持された上記電荷に応じた画素信号を読み出す駆動、を連続して行わせる駆動制御部と、上記駆動によって読み出される上記画素信号に基づいて生成される撮像画像データを上記第二の方向に向かって複数のエリアに分割し、上記エリアが生成される毎に、生成された上記エリアと、上記駆動よりも前に行われた上記駆動によって読み出された上記画素信号に基づいて生成された撮像画像データのうちのそのエリアと同じエリアとを比較した結果によってそのエリアから動体を検出する処理を行う動体検出部と、上記動体検出部により検出された上記動体の位置の変化に基づいて、上記撮像画像データに設定された範囲と上記動体とが重なるタイミングを予測し、上記タイミングを含む期間に実行される上記駆動によって読み出される上記画素信号を記録媒体への記録用の信号として処理する記録制御部と、を備えるものである。
　本発明の撮像装置は、上記撮像制御装置と、上記撮像素子と、上記駆動部と、を備えるものである。
　本発明の撮像制御方法は、光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む画素を複数有し、第一の方向に配列された複数の上記画素からなる画素行が上記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子の駆動部を制御して、上記複数の画素の各々の上記光電変換素子を同時にリセットすることにより上記複数の画素の露光を開始し、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了した後、上記撮像面の上記第二の方向の一端側から他端側に向かって上記画素行を順次選択し、選択した上記画素行の上記電荷保持部に保持された上記電荷に応じた画素信号を読み出す駆動、を連続して行わせる駆動制御ステップと、上記駆動によって読み出される上記画素信号に基づいて生成される撮像画像データを上記第二の方向に向かって複数のエリアに分割し、上記エリアが生成される毎に、生成された上記エリアと、上記駆動よりも前に行われた上記駆動によって読み出された上記画素信号に基づいて生成された撮像画像データのうちのそのエリアと同じエリアとを比較した結果によってそのエリアから動体を検出する処理を行う動体検出ステップと、上記動体検出ステップにより検出された上記動体の位置の変化に基づいて、上記撮像画像データに設定された範囲と上記動体とが重なるタイミングを予測し、上記タイミングを含む期間に実行される上記駆動によって読み出される上記画素信号を記録媒体への記録用の信号として処理する記録制御ステップと、を備えるものである。
　本発明の撮像制御プログラムは、光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む画素を複数有し、第一の方向に配列された複数の上記画素からなる画素行が上記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子の駆動部を制御して、上記複数の画素の各々の上記光電変換素子を同時にリセットすることにより上記複数の画素の露光を開始し、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了した後、上記撮像面の上記第二の方向の一端側から他端側に向かって上記画素行を順次選択し、選択した上記画素行の上記電荷保持部に保持された上記電荷に応じた画素信号を読み出す駆動、を連続して行わせる駆動制御ステップと、上記駆動によって読み出される上記画素信号に基づいて生成される撮像画像データを上記第二の方向に向かって複数のエリアに分割し、上記エリアが生成される毎に、生成された上記エリアと、上記駆動よりも前に行われた上記駆動によって読み出された上記画素信号に基づいて生成された撮像画像データのうちのそのエリアと同じエリアとを比較した結果によってそのエリアから動体を検出する処理を行う動体検出ステップと、上記動体検出ステップにより検出された上記動体の位置の変化に基づいて、上記撮像画像データに設定された範囲と上記動体とが重なるタイミングを予測し、上記タイミングを含む期間に実行される上記駆動によって読み出される上記画素信号を記録媒体への記録用の信号として処理する記録制御ステップと、をコンピュータに実行させるためのものである。
　本発明によれば、グローバルシャッタ方式で撮像素子を駆動して被写体を撮像する場合に、被写体が所望の位置にある状態にて、記録のための撮像を開始することのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供することができる。
本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。 図１に示す撮像素子５の概略構成を示す平面模式図である。 図２に示す撮像素子５の画素６１の概略構成を示す平面模式図である。 図３に示す画素６１のＡ－Ａ線の断面模式図である。 図１に示すデジタルカメラ１００におけるシステム制御部１１の機能ブロック図である。 デジタル信号処理部１７によって生成される撮像画像データの分割例を示す図である。 図１に示すデジタルカメラ１００の自動シャッタモード時の動作を示すタイミングチャートである。 図１に示すデジタルカメラ１００の自動シャッタモード時の動作の別の例を示すタイミングチャートである。 図６に示す撮像画像データＩＧの分割例の変形例を示す図である。 図６に示す撮像画像データＩＧの分割例の別の変形例を示す図である。 図１に示すデジタルカメラ１００の自動シャッタモード時の動作の別の例を示すタイミングチャートである。 図１に示すデジタルカメラ１００の自動シャッタモード時の動作の別の例を示すタイミングチャートである。 図６に示す撮像画像データＩＧの分割例の別の変形例を示す図である。 図１に示すデジタルカメラ１００におけるシステム制御部１１の機能ブロックの変形例を示す図である。 本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。 図１５に示すスマートフォン２００の構成を示すブロック図である。
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。
　図１に示すデジタルカメラ１００は、撮像レンズ１と、絞り２と、レンズ制御部４と、レンズ駆動部８と、絞り駆動部９と、を有するレンズ装置４０を備える。
　レンズ装置４０は、デジタルカメラ１００本体に着脱可能なものであってもよいし、デジタルカメラ１００本体と一体化されたものであってもよい。
　撮像レンズ１と絞り２は撮像光学系を構成する。撮像レンズ１は、光軸方向に移動可能なフォーカスレンズ又はズームレンズ等を含む。
　フォーカスレンズは、撮像光学系の焦点位置を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。フォーカスレンズが光軸方向に移動することにより、フォーカスレンズの主点の位置が光軸方向に沿って変化し、被写体側の焦点位置の変更が行われる。
　なお、フォーカスレンズとしては、電気的な制御により、光軸方向の主点の位置を変更可能な液体レンズが用いられてもよい。
　ズームレンズは、撮像光学系の焦点距離を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。ズームレンズが光軸方向に移動することにより、撮像光学系の焦点距離の変更が行われる。
　レンズ装置４０のレンズ制御部４は、デジタルカメラ１００のシステム制御部１１と有線又は無線によって通信可能に構成される。
　レンズ制御部４は、システム制御部１１からの指令にしたがい、レンズ駆動部８を介して撮像レンズ１に含まれるフォーカスレンズを制御してフォーカスレンズの主点の位置を変更したり、レンズ駆動部８を介して撮像レンズ１に含まれるズームレンズを制御してズームレンズの位置（焦点距離）を変更したり、絞り駆動部９を介して絞り２の開口量を制御したりする。
　デジタルカメラ１００は、更に、撮像光学系を通して被写体を撮像するＭＯＳ型の撮像素子５を備える。
　撮像素子５は、複数の画素が二次元状に配置された撮像面を有し、撮像光学系によってこの撮像面に結像される被写体像をこの複数の画素によって画素信号に変換して出力する。撮像素子５の各画素から出力される画素信号の集合を以下では撮像画像信号という。
　デジタルカメラ１００の電気制御系全体を統括制御するシステム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、レンズ装置４０の撮像光学系を通して撮像した被写体像を撮像画像信号として出力させる。
　撮像素子駆動部１０は、システム制御部１１からの指令に基づいて駆動信号を生成し、この駆動信号を撮像素子５に供給することにより、撮像素子５を駆動する。撮像素子駆動部１０は、ハードウェア的な構成は、半導体素子等の回路素子を組み合わせて構成された電気回路である。撮像素子駆動部１０は、撮像素子５の駆動部を構成する。
　システム制御部１１には、操作部１４を通して利用者からの指示信号が入力される。操作部１４には、後述する表示面２３に一体化されたタッチパネルと、各種ボタン等が含まれる。
　システム制御部１１は、デジタルカメラ１００全体を統括制御するものであり、ハードウェア的な構造は、撮像制御プログラムを含むプログラムを実行して処理を行う各種のプロセッサである。
　各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｓｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　システム制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
　更に、このデジタルカメラ１００の電気制御系は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｓｅｓｓ　Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ）を含むメモリ１６と、メモリ１６へのデータ記録及びメモリ１６からのデータ読み出しの制御を行うメモリ制御部１５と、撮像素子５から出力される撮像画像信号に対しデジタル信号処理を行うデジタル信号処理部１７と、記録媒体２１へのデータ記録及び記録媒体２１からのデータ読み出しの制御を行う外部メモリ制御部２０と、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）パネル又は液晶パネル等で構成される表示面２３と、表示面２３の表示を制御する表示コントローラ２２と、を備える。
　メモリ１６に含まれるＲＯＭには、システム制御部１１が実行する撮像制御プログラムを含むプログラムが記録されている。
　記録媒体２１は、デジタルカメラ１００に内蔵されるフラッシュメモリ等の半導体メモリ又はデジタルカメラ１００に着脱可能な可搬型の半導体メモリ等である。
　メモリ制御部１５、デジタル信号処理部１７、外部メモリ制御部２０、及び表示コントローラ２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
　デジタル信号処理部１７は、ハードウェア的な構造は、プログラムを実行して処理を行う上記に例示した各種のプロセッサと、撮像画像信号のデジタル信号処理を行うためのラインメモリ等とを含む。
　表示コントローラ２２は、プログラムを実行して処理を行う上記に例示した各種のプロセッサと、表示すべき画像のデータを保持するための表示メモリとを含む。
　図２は、図１に示す撮像素子５の概略構成を示す平面模式図である。
　撮像素子５は、第一の方向である行方向Ｘに配列された複数の画素６１からなる画素行６２が、行方向Ｘと直交する第二の方向である列方向Ｙに複数配列された撮像面６０と、撮像面６０に配列された画素６１を駆動する駆動回路６３と、撮像面６０に配列された画素行６２の各画素６１から信号線に読み出される画素信号を処理する信号処理回路６４と、を備える。
　以下では、図２において撮像面６０の列方向Ｙの一端側（図中の上側）の端部を上端といい、撮像面６０の列方向Ｙの他端側（図中の下側）の端部を下端という。
　図３は、図２に示す撮像素子５の画素６１の概略構成を示す平面模式図である。
　図３に示すように、画素６１は、光電変換素子６１Ａ、電荷保持部６１Ｂ、電荷転送部６１Ｃ、フローティングディフュージョン６１Ｄ、読み出し回路６１Ｅ、及び電荷排出領域６１Ｆを備える。
　光電変換素子６１Ａは、レンズ装置４０の撮像光学系を通った光を受光し受光量に応じた電荷を発生して蓄積する。光電変換素子６１Ａは、例えば、半導体基板内に形成されたシリコンフォトダイオードによって構成される。
　電荷転送部６１Ｃは、光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送する。電荷転送部６１Ｃは、半導体基板内の不純物領域と、この不純物領域の上方に形成された電極とで構成される。
　電荷転送部６１Ｃを構成する電極に印加される電圧が駆動回路６３（図２参照）によって制御されることにより、光電変換素子６１Ａから電荷保持部６１Ｂへの電荷の転送が行われる。
　電荷保持部６１Ｂは、光電変換素子６１Ａから電荷転送部６１Ｃによって転送されてきた電荷を保持する。電荷保持部６１Ｂは、半導体基板内の不純物領域により構成される。
　フローティングディフュージョン６１Ｄは、電荷を電圧信号に変換するためのものであり、電荷保持部６１Ｂに保持された電荷が転送されてくる。
　読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位に応じた電圧信号を画素信号として信号線６５に読み出す回路である。読み出し回路６１Ｅは、図２に示す駆動回路６３によって駆動される。
　電荷排出領域６１Ｆは、光電変換素子６１Ａに蓄積されている電荷を光電変換素子６１Ａから排出するために設けられている。
　図４は、図３に示す画素６１のＡ－Ａ線の断面模式図である。
　図４に示すように、Ｎ型基板７０表面にはＰウェル層７１が形成され、Ｐウェル層７１の表面部には光電変換素子６１Ａが形成されている。
　光電変換素子６１Ａは、Ｎ型不純物層７３とこの上に形成されたＰ型不純物層７４とによって構成されている。Ｎ型基板７０とＰウェル層７１によって半導体基板が構成される。
　Ｐウェル層７１の表面部には、光電変換素子６１Ａから少し離間して、Ｎ型不純物層からなる電荷保持部６１Ｂが形成されている。
　電荷保持部６１Ｂと光電変換素子６１Ａとの間のＰウェル層７１の領域７５の上方には、図示省略の酸化膜を介して、転送電極７６が形成されている。
　領域７５と転送電極７６とが図３の電荷転送部６１Ｃを構成する。図４の例では、転送電極７６が電荷保持部６１Ｂの上方にまで形成されているが、転送電極７６は少なくとも領域７５上方に形成されていればよい。
　転送電極７６の電位を制御して領域７５にチャネルを形成することにより、光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送することができる。転送電極７６の電位は図２の駆動回路６３によって制御される。
　Ｐウェル層７１の表面部には、光電変換素子６１Ａから左に少し離間して、Ｎ型不純物層からなる電荷排出領域６１Ｆが形成されている。
　電荷排出領域６１Ｆと光電変換素子６１Ａとの間のＰウェル層７１の上方には、図示省略の酸化膜を介して、リセット用電極ＲＧが形成されている。
　リセット用電極ＲＧの電位を制御してこのリセット用電極ＲＧの下方にチャネルを形成することにより、光電変換素子６１Ａに蓄積された電荷を電荷排出領域６１Ｆに排出して、光電変換素子６１Ａをリセットすることができる。リセット用電極ＲＧの電位は、図２の駆動回路６３によって制御される。
　Ｐウェル層７１の表面部には、電荷保持部６１Ｂから少し離間して、Ｎ型不純物層からなるフローティングディフュージョン６１Ｄが形成されている。
　電荷保持部６１Ｂとフローティングディフュージョン６１Ｄとの間のＰウェル層７１の上方には、図示省略の酸化膜を介して、読み出し電極７２が形成されている。
　読み出し電極７２の電位を制御して、電荷保持部６１Ｂとフローティングディフュージョン６１Ｄとの間の領域にチャネルを形成することにより、電荷保持部６１Ｂに保持された電荷をフローティングディフュージョン６１Ｄに転送することができる。読み出し電極７２の電位は、図２の駆動回路６３によって制御される。
　図４に示す例では、読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位をリセットするためのリセットトランジスタ７７と、フローティングディフュージョン６１Ｄの電位を画素信号に変換して出力する出力トランジスタ７８と、出力トランジスタ７８から出力される画素信号を信号線６５に選択的に読み出すための選択トランジスタ７９とによって構成されている。読み出し回路の構成は一例であり、これに限るものではない。
　なお、読み出し回路６１Ｅは、複数の画素６１で共用される場合もある。
　光電変換素子６１Ａは、シリコンフォトダイオードにより構成されているが、半導体基板上方に形成された有機又は無機の光電変換材料の膜と、この膜で発生した電荷を蓄積するための半導体基板内部に形成された不純物領域と、によって構成されていてもよい。この場合には、この不純物領域に蓄積された電荷が、図４の電荷保持部６１Ｂに転送される。
　図２に示す撮像面６０に配列された全ての画素６１には、例えば、赤色光を検出する画素、緑色光を検出する画素、及び青色光を検出する画素が含まれている。撮像面６０には、これらの３種類の画素が例えばベイヤ状に配列されている。
　図２に示す駆動回路６３は、各画素６１の転送電極７６、読み出し電極７２、及び読み出し回路６１Ｅを画素行６２毎に独立に駆動して、画素行６２に含まれる各光電変換素子６１Ａに蓄積された電荷に応じた画素信号の信号線６５への読み出し等を行う。
　また、駆動回路６３は、全ての画素６１の電荷転送部６１Ｃを同時に駆動して、各画素６１の光電変換素子６１Ａから電荷保持部６１Ｂに電荷を同時に転送する。駆動回路６３は、撮像素子駆動部１０によって制御される。
　図２に示す信号処理回路６４は、画素行６２の各画素６１から信号線６５に読み出された画素信号に対し、相関二重サンプリング処理を行い、相関二重サンプリング処理後の画素信号をデジタル信号に変換してデータバス２５に出力する。信号処理回路６４は、撮像素子駆動部１０によって制御される。
　デジタル信号処理部１７は、撮像素子５からデータバス２５に出力された撮像画像信号にデモザイク処理及びガンマ補正処理等のデジタル信号処理を施して撮像画像データを生成する。
　この撮像画像データは、生成元の画素信号が読み出された各画素６１に対応する座標位置に、３つの色成分の画素信号からなる画素データを持つデータである。この撮像画像データは、後述する動体検出処理を行うことが可能な形式のデータである。
　デモザイク処理とは、撮像画像データを構成する各画素データの座標位置に対応する画素６１からは得られない色成分の画素信号を、この画素６１に近接する他の画素６１から読み出されたその色成分の画素信号を用いて補間する処理のことをいう。
　デジタル信号処理部１７は、この撮像画像データから、表示面２３に表示するためのライブビュー画像データを生成し、このライブビュー画像データに基づくライブビュー画像を表示コントローラ２２によって表示面２３に描画させる。
　デジタル信号処理部１７は、撮像画像データを生成するための信号処理については、撮像面６０にある全ての画素６１からの画素信号の取り込みが終了してから行うのではなく、画素行６２の各画素６１から画素信号が出力され、信号処理に必要なライン分の画素信号が揃う毎に実施する。つまり、撮像画像データの生成は、画素行６２から画素信号が読み出される毎に順次行われる。
　デジタル信号処理部１７によって生成される撮像画像データを構成する各画素データは、撮像面６０にあるいずれかの画素６１と対応する。このため、この撮像画像データにおいて、１つの画素行６２の各画素６１に対応する画素データの並ぶ方向は図２の行方向Ｘと同義として取り扱い、この撮像画像データにおける行方向Ｘと直交する方向は図２の列方向Ｙと同義として取り扱う。
　図５は、図１に示すデジタルカメラ１００におけるシステム制御部１１の機能ブロック図である。
　図１に示すデジタルカメラ１００は、自動シャッタモードを搭載している。この自動シャッタモードでは、撮像素子５によって被写体を撮像して得られる撮像画像データに対して、ユーザが所定の範囲（以下、トリガ範囲という）を指定すると、このトリガ範囲と、撮像中の被写体における動く物体である動体とが重なるタイミングが判定される。
　そして、そのタイミングにて撮像素子５により撮像して得られる画素信号が、記録媒体２１への記録用の信号として処理される。図５に示す機能ブロックは、この自動シャッタモードが設定された場合のシステム制御部１１の機能ブロックを示している。
　図５に示すように、システム制御部１１は、メモリ１６のＲＯＭに記録された撮像制御プログラムを含むプログラムを実行することにより、駆動制御部１１Ａ、動体検出部１１Ｂ、及び記録制御部１１Ｃを備える撮像制御装置として機能する。
　駆動制御部１１Ａは、撮像素子駆動部１０を制御して、グローバルリセット駆動、グローバルシャッタ駆動、及びローリング読み出し駆動のセットからなる駆動（以下、撮像駆動という）を撮像素子駆動部１０に連続して行わせる。
　グローバルリセット駆動は、撮像面６０にある複数の画素６１（全ての画素６１、又は、全ての画素６１のうちの一部の画素６１）の各々の光電変換素子６１Ａを同時にリセットしてこの複数の画素６１の露光を同時に開始する駆動である。
　グローバルシャッタ駆動は、上記グローバルリセット駆動によって各画素６１で開始された露光によりこの各画素６１の光電変換素子６１Ａに蓄積された電荷を、その各画素６１の電荷保持部６１Ｂに転送して、その各画素６１で同時に露光を終了する駆動である。
　ローリング読み出し駆動は、上記グローバルシャッタ駆動によって電荷保持部６１Ｂに電荷が保持された画素６１を含む画素行６２を、撮像面６０の上端側から下端側に向かって順次選択し、選択した画素行６２の電荷保持部６１Ｂに保持された電荷に応じた画素信号を信号線６５に読み出す駆動である。
　以下では、連続して行われる撮像駆動におけるグローバルリセット駆動の開始タイミング同士の間隔をフレーム期間と定義する。
　動体検出部１１Ｂは、連続して行われる上記の撮像駆動によって撮像素子５から読み出される画素信号に基づいて生成される上記の撮像画像データから、動く物体である動体を検出する。
　具体的には、動体検出部１１Ｂは、デジタル信号処理部１７によって生成される撮像画像データを、列方向Ｙに向かって複数のエリアに分割する。
　そして、動体検出部１１Ｂは、デジタル信号処理部１７によって１つのエリアが生成される毎に、生成されたエリアと、このエリアの生成元の画素信号を得るための撮像駆動よりも前に行われた撮像駆動によって読み出された画素信号に基づいて生成された撮像画像データのうちのそのエリアと同じエリアとを比較し、その比較の結果によって、上記生成されたエリアから動体を検出する処理を行う。
　図６は、デジタル信号処理部１７によって生成される撮像画像データの分割例を示す図である。
　図６に示す例では、撮像画像データＩＧが列方向Ｙに向かってエリアａ１～エリアａ９の９つのエリアに均等に分割されている。
　図６では、撮像画像データＩＧにおいて列方向Ｙの中心部分にトリガ範囲ＴＲが設定された例を示している。
　このトリガ範囲ＴＲは、自動シャッタモードが設定され、表示面２３にライブビュー画像が表示されている状態で、ユーザがタッチパネルを操作し、ライブビュー画像上の任意の範囲を指定すること等で設定される。
　表示面２３を構成する各表示画素は、撮像画像データのいずれかの画素データに対応している。このため、タッチパネルによって所定の範囲にある表示画素が選択されると、この選択された表示画素に対応する画素データによって囲まれる範囲がトリガ範囲ＴＲとして設定される。
　図６に示す例では、駆動制御部１１Ａの制御によって行われる各撮像駆動によって生成される撮像画像データＩＧは、トリガ範囲ＴＲを含む第一のエリアであるエリアａ５と、エリアａ５の生成元の画素信号が読み出される画素行６２よりも撮像面６０の上端側にある画素行６２から読み出された画素信号に基づいて生成される第二のエリアであるエリアａ１、エリアａ２、エリアａ３、及びエリアａ４と、エリアａ５の生成元の画素信号が読み出される画素行６２よりも撮像面６０の下端側にある画素行６２から読み出された画素信号に基づいて生成される第三のエリアであるエリアａ６、エリアａ７、エリアａ８、及びエリアａ９と、に分割されている。
　そして、動体検出部１１Ｂは、最新の撮像駆動が行われて撮像画像データＩＧのエリアａ１が生成されると、このエリアａ１と、その最新の撮像駆動よりも前の撮像駆動（例えばこの最新の撮像駆動の直前の撮像駆動）によって得られた撮像画像データＩＧのエリアａ１とを比較して、エリアａ１に動体が含まれるか否か、動体が含まれる場合にはその動体のエリアａ１内での位置を判定する。
　動体検出部１１Ｂは、撮像画像データＩＧのエリアａ２～エリアａ９についても、各エリアが生成される毎に、同様の動体検出処理を行って、動体の有無と動体の位置を判定する。
　図５に戻り、記録制御部１１Ｃは、動体検出部１１Ｂにより検出された動体の位置の変化に基づいて、撮像画像データＩＧに設定されたトリガ範囲ＴＲとその動体とが重なるタイミングを予測する。
　そして、記録制御部１１Ｃは、そのタイミングを含むフレーム期間に実行される撮像駆動によって読み出される画素信号を、記録媒体２１への記録用の信号として処理する。以下、この処理のことを自動撮像とも言う。
　撮像駆動によって読み出される画素信号を記録媒体２１への記録用の信号として処理するとは、この画素信号をＲＡＷ形式の撮像画像データとしてそのまま記録媒体２１に記録したり、この画素信号に基づいて生成された撮像画像データをＪＰＥＧ等の所定のファイル形式の撮像画像データに変換してから記録媒体２１に記録したりすることを言う。
　記録媒体２１に記録されたデータは、ワークメモリに対するデータの一時的な記録とは異なり、ユーザからの削除の指示がなされない限り保持される。
　図７は、図１に示すデジタルカメラ１００の自動シャッタモード時の動作を示すタイミングチャートである。
　図７は、デジタルカメラ１００によって撮像中の被写体（撮像面６０に結像される被写体像）に、撮像面６０の上端側から下端側に向かって移動する動体Ｍが含まれる場合の動作例を示している。
　図７において横軸は時刻を示している。図７の最上段には、各フレーム期間において撮像面６０に結像する動体Ｍの位置が模式的に示されている。
　図７の最上段に示す撮像面６０は、説明のために、受光エリアＡ１～受光エリアＡ９に分割されている。また、撮像画像データＩＧに設定されたトリガ範囲に対応する撮像面６０上の範囲が太枠によって示されている。
　受光エリアＡ１は、撮像画像データＩＧのエリアａ１の生成元の画素信号が読み出される画素６１が配置される領域である。
　受光エリアＡ２は、撮像画像データＩＧのエリアａ２の生成元の画素信号が読み出される画素６１が配置される領域である。
　受光エリアＡ３は、撮像画像データＩＧのエリアａ３の生成元の画素信号が読み出される画素６１が配置される領域である。
　受光エリアＡ４は、撮像画像データＩＧのエリアａ４の生成元の画素信号が読み出される画素６１が配置される領域である。
　受光エリアＡ５は、撮像画像データＩＧのエリアａ５の生成元の画素信号が読み出される画素６１が配置される領域である。
　受光エリアＡ６は、撮像画像データＩＧのエリアａ６の生成元の画素信号が読み出される画素６１が配置される領域である。
　受光エリアＡ７は、撮像画像データＩＧのエリアａ７の生成元の画素信号が読み出される画素６１が配置される領域である。
　受光エリアＡ８は、撮像画像データＩＧのエリアａ８の生成元の画素信号が読み出される画素６１が配置される領域である。
　受光エリアＡ９は、撮像画像データＩＧのエリアａ９の生成元の画素信号が読み出される画素６１が配置される領域である。ｓ
　図７に示すように、デジタルカメラ１００によって撮像中の被写体に含まれる動体Ｍは、最初のフレーム期間においては受光エリアＡ１に結像し、２番目のフレーム期間においては受光エリアＡ２に結像する。
　また、動体Ｍは、３番目のフレーム期間においては受光エリアＡ３及び受光エリアＡ４に結像し、４番目のフレーム期間においては受光エリアＡ５に結像し、５番目のフレーム期間においては受光エリアＡ６及び受光エリアＡ７に結像する。
　このように、動体Ｍは、撮像面６０上を上端側から下端側に移動している。
　図７の中段には、撮像素子５の各画素行６２の光電変換素子６１Ａ及び電荷保持部６１Ｂの駆動タイミングが示されている。図７の中段において、縦軸は画素行６２の列方向Ｙの位置を示している。
　図７の中段に示す直線ＧＲは、画素行６２に含まれる各光電変換素子６１Ａのリセットが行われるタイミング（グローバルリセット駆動が行われるタイミング）を示している。
　図７の中段に示す直線ＧＳは、画素行６２に含まれる各光電変換素子６１Ａから電荷保持部６１Ｂに電荷が転送されるタイミングを示している。直線ＧＲとこの右隣の直線ＧＳとで囲まれる期間が撮像素子５の露光期間を示している。
　図７の中段に示す直線ＳＴは、電荷保持部６１Ｂに電荷が保持されるタイミングを示している。
　図７の中段に示す直線ＲＯは、電荷保持部６１Ｂに保持された電荷に応じた画素信号が撮像素子５から出力されるタイミングを示している。
　図７の下段には、直線ＲＯにより示される駆動によって撮像素子５から出力された画素信号に基づいて生成される撮像画像データＩＧのエリアａ１～ａ９毎の生成タイミングが示されている。
　図７の下段に示す直線ＩＧｔと“ａ１”で示される帯状の領域の下端とが重なるタイミングが、撮像画像データＩＧのエリアａ１の生成が完了するタイミングである。
　直線ＩＧｔと“ａ２”で示される帯状の領域の下端とが重なるタイミングが、撮像画像データＩＧのエリアａ２の生成が完了するタイミングである。
　直線ＩＧｔと“ａ３”で示される帯状の領域の下端とが重なるタイミングが、撮像画像データＩＧのエリアａ３の生成が完了するタイミングである。
　直線ＩＧｔと“ａ４”で示される帯状の領域の下端とが重なるタイミングが、撮像画像データＩＧのエリアａ４の生成が完了するタイミングである。
　直線ＩＧｔと“ａ５”で示される帯状の領域の下端とが重なるタイミングが、撮像画像データＩＧのエリアａ５の生成が完了するタイミングである。
　直線ＩＧｔと“ａ６”で示される帯状の領域の下端とが重なるタイミングが、撮像画像データＩＧのエリアａ６の生成が完了するタイミングである。
　直線ＩＧｔと“ａ７”で示される帯状の領域の下端とが重なるタイミングが、撮像画像データＩＧのエリアａ７の生成が完了するタイミングである。
　直線ＩＧｔと“ａ８”で示される帯状の領域の下端とが重なるタイミングが、撮像画像データＩＧのエリアａ８の生成が完了するタイミングである。
　直線ＩＧｔと“ａ９”で示される帯状の領域の下端とが重なるタイミングが、撮像画像データＩＧのエリアａ９の生成が完了するタイミングである。
　自動シャッタモードが開始されると、ユーザによってトリガ範囲ＴＲが設定され、その後、操作部１４の操作によって、自動シャッタを待機する状態に移行する指示が行われる。
　この指示が行われると、駆動制御部１１Ａの制御により、直線ＧＲで示されるグローバルリセット駆動が行われ、全ての画素行６２において同時に光電変換素子６１Ａのリセットが行われる。これにより、全ての画素行６２において同じタイミングで露光が開始する。
　その後、所定の露光時間が経過すると、駆動制御部１１Ａの制御により、直線ＧＳ及び直線ＳＴで示されるグローバルシャッタ駆動が行われる。これにより、全ての画素行６２において同時に、光電変換素子６１Ａから電荷保持部６１Ｂへの電荷の転送が行われ、電荷保持部６１Ｂにて電荷が保持されて、全ての画素行６２において同じタイミングで露光が終了する。
　直線ＧＳ及び直線ＳＴで示されるグローバルシャッタ駆動が行われた後、次のフレーム期間において、駆動制御部１１Ａの制御により、直線ＲＯで示されるローリング読み出し駆動が行われる。
　ローリング読み出し駆動では、駆動制御部１１Ａは、直線ＲＯで示されるように、撮像面６０の上端から下端に向かって画素行６２を順番に選択し、選択した画素行６２から画素信号を読み出す。
　この次のフレーム期間の開始と同時に、駆動制御部１１Ａの制御により、直線ＧＲで示されるグローバルシャッタ駆動、直線ＧＳ及び直線ＳＴで示されるグローバルリセット駆動、及び直線ＲＯで示されるローリング読み出し駆動のセットである撮像駆動が開始される。上記の指示が行われると、このようにして、撮像駆動が連続して行われる。
　直線ＲＯによる画素信号の読み出しが開始されて少し経過すると、直線ＩＧｔで示されるように、撮像素子５から読み出された画素信号に基づいて撮像画像データＩＧの各エリアの生成が行われる。
　なお、この撮像画像データＩＧのうち、エリアａ６以降のエリアの生成が完了するのは、この撮像画像データＩＧの生成元の画素信号を得るための撮像駆動の２回後の撮像駆動が開始されたフレーム期間中となっている。
　このようにして撮像画像データＩＧのエリアが順次生成されると、生成されたエリアから動体を検出する処理が順次行われる。
　図７の例では、最初のフレーム期間の直前のフレーム期間においては、撮像面６０に動体Ｍが結像していないものとする。したがって、図７の左端にある直線ＩＧｔによって生成される撮像画像データには、動体Ｍは含まれていない。
　最初のフレーム期間では、受光エリアＡ１に動体Ｍが結像している。このため、この最初のフレーム期間で開始された撮像駆動によって撮像素子５から読み出された画素信号の処理が開始され、この画素信号に基づく撮像画像データのエリアａ１の生成が完了する時刻ｔ１になると、最初のフレーム期間の直前のフレーム期間の撮像駆動で得られた撮像画像データのエリアａ１と、時刻ｔ１で生成が完了されたエリアａ１との比較により、時刻ｔ１で生成が完了されたエリアａ１に動体Ｍがあることが動体検出部１１Ｂによって検出される。
　２番目のフレーム期間では、受光エリアＡ２に動体Ｍが結像している。このため、この２番目のフレーム期間で開始された撮像駆動によって撮像素子５から読み出された画素信号の処理が開始され、この画素信号に基づく撮像画像データのエリアａ２の生成が完了する時刻ｔ２になると、最初のフレーム期間の撮像駆動によって読み出された画素信号に基づく撮像画像データのエリアａ２と、時刻ｔ２で生成が完了されたエリアａ２との比較により、時刻ｔ２で生成が完了されたエリアａ２に動体Ｍがあることが動体検出部１１Ｂによって検出される。
　記録制御部１１Ｃは、時刻ｔ１と時刻ｔ２にて検出された撮像画像データ上の動体Ｍの位置の変化と、その変化に要した時間であるフレーム期間の長さとに基づき、動体Ｍの移動速度と移動方向を判定する。
　記録制御部１１Ｃは、判定した移動方向がトリガ範囲ＴＲと交わる場合には、動体Ｍがトリガ範囲ＴＲと重なるタイミングを予測する。このタイミングの予測処理は、極わずかな時間で行われる。このため、図７の例では、４番目のフレーム期間が開始されるよりも十分前に予測処理が終了する。
　記録制御部１１Ｃは、判定した移動方向がトリガ範囲ＴＲと交わらない場合には、動体Ｍが新たに検出される毎に、動体Ｍの移動速度と移動方向の判定を行う。
　図７の例では、時刻ｔ２で検出された動体Ｍが撮像された２番目のフレーム期間の２回後のフレーム期間中に、トリガ範囲ＴＲと動体Ｍとが重なると予測される。したがって、記録制御部１１Ｃは、この４番目のフレーム期間で開始された撮像駆動によって得られる画素信号を、記録媒体２１への記録用の信号として処理する。
　これにより、トリガ範囲ＴＲに動体Ｍが入ったタイミングにて被写体を撮像して記録することができ、シャッタチャンスを逃すことなく、所望の撮像画像を得ることができる。
　図８は、図１に示すデジタルカメラ１００の自動シャッタモード時の動作の別の例を示すタイミングチャートである。
　図８は、デジタルカメラ１００によって撮像中の被写体に、撮像面６０の下端側から上端側に向かって移動する動体Ｍが含まれる場合の動作例を示している。図８に示す各表記は図７と同様である。
　図８に示すタイミングチャートにおける各撮像駆動の行われるタイミングと各撮像画像データの生成のタイミングは、それぞれ、図７と同じである。
　図８に示す例では、最初のフレーム期間の直前のフレーム期間においては、撮像面６０に動体Ｍが結像していないものとする。つまり、図８の左端に示す直線ＩＧｔにより生成された撮像画像データには、どのエリアにも動体Ｍは含まれていない。
　図８に示す最初のフレーム期間では、受光エリアＡ９に動体Ｍが結像している。このため、この最初のフレーム期間で開始された撮像駆動によって撮像素子５から読み出された画素信号の処理が開始され、この画素信号に基づく撮像画像データＩＧのエリアａ９の生成が完了する時刻ｔ３になると、最初のフレーム期間の直前のフレーム期間の撮像駆動によって読み出された画素信号に基づく撮像画像データＩＧのエリアａ９と、時刻ｔ３で生成が完了されたエリアａ９との比較により、時刻ｔ３で生成が完了されたエリアａ９に動体Ｍがあることが動体検出部１１Ｂによって検出される。
　図８に示す２番目のフレーム期間では、受光エリアＡ８に動体Ｍが結像している。このため、この２番目のフレーム期間で開始された撮像駆動によって撮像素子５から読み出された画素信号の処理が開始され、この画素信号に基づく撮像画像データＩＧのエリアａ８の生成が完了する時刻ｔ４になると、２番目のフレーム期間の撮像駆動によって読み出された画素信号に基づく撮像画像データＩＧのエリアａ８と、時刻ｔ４で生成が完了されたエリアａ８との比較により、時刻ｔ４で生成が完了されたエリアａ８に動体Ｍがあることが動体検出部１１Ｂによって検出される。
　記録制御部１１Ｃは、時刻ｔ３と時刻ｔ４にて検出された撮像画像データＩＧ上の動体Ｍの位置の変化と、その変化に要した時間であるフレーム期間の長さとに基づき、動体Ｍの移動速度と移動方向を判定する。
　記録制御部１１Ｃは、判定した移動方向がトリガ範囲ＴＲと交わる場合には、動体Ｍがトリガ範囲ＴＲと重なるタイミングを予測する。このタイミングの予測処理は、極わずかな時間で行われる。このため、図８の例では、５番目のフレーム期間が開始されるよりも十分前に予測処理が終了する。
　記録制御部１１Ｃは、判定した移動方向がトリガ範囲ＴＲと交わらない場合には、動体Ｍが新たに検出される毎に、動体Ｍの移動速度と移動方向の判定を行う。
　図８の例では、時刻ｔ４で検出された動体Ｍの撮像された２番目のフレーム期間の３回後のフレーム期間中に、トリガ範囲ＴＲと動体Ｍとが重なると予測される。
　したがって、記録制御部１１Ｃは、この５番目のフレーム期間で開始された撮像駆動によって得られる画素信号を、記録媒体２１への記録用の信号として処理する。これにより、トリガ範囲ＴＲに動体Ｍが入ったタイミングにて被写体を撮像して記録することができ、シャッタチャンスを逃すことなく、所望の撮像画像を得ることができる。
　以上のように、デジタルカメラ１００によれば、撮像駆動によって読み出された画素信号に基づいて生成される撮像画像データＩＧがエリア分割され、各エリアが生成される毎に、そのエリアに含まれる動体の検出を行われて、動体がトリガ範囲ＴＲに入るタイミングを予測される。このため、この予測が完了する時間を速くすることができ、シャッタチャンスを逃す可能性を減らすことができる。
　なお、動体Ｍの移動位置を予測するためには、少なくとも２フレーム分の撮像画像データＩＧが必要である。また、この予測が完了した時点において、動体Ｍがトリガ範囲ＴＲから離れた位置にないと、動体Ｍがトリガ範囲ＴＲに重なったタイミングでの自動撮像ができなくなる。
　図７及び図８に示す例では、露光によって得られる撮像画像データＩＧのうち、トリガ範囲ＴＲよりも上側のエリアａ１～ａ４の生成の完了タイミングが、この露光が行われたフレーム期間の１つ後のフレーム期間にある。つまり、トリガ範囲ＴＲよりも上側のエリアにおいては、露光が行われてから動体の検出が可能になるまでには１フレーム期間の遅延が生じる。
　このことから、撮像画像データＩＧのエリアのうち、トリガ範囲ＴＲを含むエリアａ５よりも上側のエリアについては、少なくとも３分割されていれば、上述した効果を得ることができる。
　また、図７及び図８に示す例では、露光によって得られる撮像画像データＩＧのうち、トリガ範囲ＴＲよりも下側のエリアａ６～ａ９の生成の完了タイミングが、この露光が行われたフレーム期間の２つ後のフレーム期間にある。つまり、トリガ範囲ＴＲよりも下側のエリアにおいては、露光が行われてから動体の検出が可能になるまでには２フレーム期間の遅延が生じる。
　このため、撮像画像データのエリアのうち、トリガ範囲ＴＲを含むエリアａ５よりも下側のエリアについては、少なくとも４分割されていれば、上述した効果を得ることができる。
　撮像画像データの分割数を多くするほど、動体の検出精度を高めることは可能である。しかし、動体検出に要する時間と電力を減らすためには、撮像画像データの分割数を少なくするのがよい。
　図９は、図６に示す撮像画像データＩＧの分割例の変形例を示す図である。
　図９に示す例では、撮像画像データＩＧが、トリガ範囲ＴＲを含む第一のエリアであるエリアａ４と、この第一のエリアよりも上側の３つの第二のエリア（エリアａ１、エリアａ２、エリアａ３）と、この第一のエリアよりも下側の４つの第三のエリア（エリアａ５、エリアａ６、エリアａ７、エリアａ８）との計８つに分割されている。このように分割数を図６の例よりも減らすことにより、動体検出に要する時間及び消費電力を減らすことができる。
　なお、撮像画像データＩＧのエリアのうち、トリガ範囲ＴＲを含むエリアよりも上側のエリアと、トリガ範囲ＴＲを含むエリアよりも下側のエリアとで、列方向Ｙにおける幅が異なっていてもよい。
　図１０は、図６に示す撮像画像データＩＧの分割例の別の変形例を示す図である。
　図１０に示す例では、エリアａ４がトリガ範囲ＴＲを含むエリアとなっており、エリアａ４よりも上側のエリアａ１～ａ３の幅は、エリアａ４よりも下側のエリアａ５～ａ９の幅よりも小さくなっている。
　図１０に示す例によれば、トリガ範囲ＴＲが撮像画像データＩＧに対して中央に設定されない場合であっても、トリガ範囲ＴＲを含むエリアよりも上側の部分を均等に分割し、トリガ範囲ＴＲを含むエリアよりも下側の部分を均等に分割することができる。
　これにより、トリガ範囲ＴＲを含むエリアよりも上側のエリアと、トリガ範囲ＴＲを含むエリアよりも下側のエリアとで、それぞれ、各エリアにおける動体検出精度を均一化することができ、動体検出精度を高めることができる。
　なお、図６又は図９に例示されるように、トリガ範囲ＴＲを含むエリアよりも上側のエリアと、トリガ範囲ＴＲを含むエリアよりも下側のエリアとで幅が同じになっていると、全てのエリアにおける動体検出精度を均一化することができる。このため、より正確な動体位置予測が可能になる。
　図７及び図８に示す駆動例は、露光によって得られる撮像画像データＩＧのうち、トリガ範囲ＴＲよりも上側のエリアａ１～ａ４の生成の完了タイミングが、この露光が行われたフレーム期間の１つ後のフレーム期間にある場合の例である。以下では、露光によって得られる撮像画像データＩＧの全てのエリアの生成完了タイミングが、この露光が行われたフレーム期間の１つ後のフレーム期間にある場合の駆動例について説明する。
　図１１は、図１に示すデジタルカメラ１００の自動シャッタモード時の別の動作を示すタイミングチャートである。
　図１１は、デジタルカメラ１００によって撮像中の被写体に、撮像面６０の上端側から下端側に向かって移動する動体Ｍが含まれる場合の動作例を示している。図１１において図７と異なる点は、直線ＲＯと直線ＩＧｔの各々の傾き及び位置である。
　図１１に示す例では、１つのフレーム期間において開始された撮像駆動によって得られる画像信号に基づく撮像画像データの生成が、このフレーム期間の次のフレーム期間中に完了している。
　図１１に示す例では、時刻ｔ１と時刻ｔ２においてそれぞれ動体Ｍが検出されて、時刻ｔ２の直後に、動体Ｍとトリガ範囲ＴＲとの重なるタイミングが予測される。そして、時刻ｔ２の後に開始される４番目のフレーム期間において自動撮像が行われる。
　図１２は、図１に示すデジタルカメラ１００の自動シャッタモード時の別の動作を示すタイミングチャートである。
　図１２は、デジタルカメラ１００によって撮像中の被写体に、撮像面６０の下端側から上端側に向かって移動する動体Ｍが含まれる場合の動作例を示している。図１２において図８と異なる点は、直線ＲＯと直線ＩＧｔの各々の傾き及び位置である。
　図１２に示す例では、１つのフレーム期間において開始された撮像駆動によって得られる画像信号に基づく撮像画像データＩＧの生成が、このフレーム期間の次のフレーム期間中に完了している。
　図１２に示す例では、時刻ｔ３と時刻ｔ４においてそれぞれ動体Ｍが検出されて、時刻ｔ４の直後に、動体Ｍとトリガ範囲ＴＲとの重なるタイミングが予測される。そして、時刻ｔ４の後に開始される４番目のフレーム期間において自動撮像が行われる。
　図１１及び図１２に示す例では、露光によって得られる撮像画像データＩＧのうち、トリガ範囲ＴＲよりも上側のエリアａ１～ａ４の生成の完了タイミングが、この露光が行われたフレーム期間の１つ後のフレーム期間にある。つまり、トリガ範囲ＴＲよりも上側のエリアにおいては、露光が行われてから動体の検出が可能になるまでには１フレーム期間の遅延が生じる。
　したがって、撮像画像データＩＧのエリアのうち、トリガ範囲ＴＲを含むエリアａ５よりも上側のエリアについては、少なくとも３分割されていれば、上から下に移動する動体がトリガ範囲に重なるタイミングにて自動撮像を行うことができる。
　また、図１１及び図１２に示す例では、露光によって得られる撮像画像データＩＧのうち、トリガ範囲ＴＲよりも下側のエリアａ６～ａ９の生成の完了タイミングが、この露光が行われたフレーム期間の１つ後のフレーム期間にある。つまり、トリガ範囲ＴＲよりも下側のエリアについては、露光が行われてから動体の検出が可能になるまでには１フレーム期間の遅延が生じる。
　したがって、撮像画像データＩＧのエリアのうち、トリガ範囲ＴＲを含むエリアａ５よりも下側のエリアについては、少なくとも３分割されていれば、下から上に移動する動体がトリガ範囲に重なるタイミングにて自動撮像を行うことができる。
　このように、撮像面６０からの画素信号の読み出し速度が速い場合には、図１３に示すように、撮像画像データＩＧを、トリガ範囲ＴＲを含む第一のエリアであるエリアａ４と、この第一のエリアよりも上側の３つの第二のエリア（エリアａ１、エリアａ２、エリアａ３）と、この第一のエリアよりも下側の３つの第三のエリア（エリアａ５、エリアａ６、エリアａ７）との計７つに少なくとも分割することにより、高速で移動する動体に対し、的確なタイミングにて自動撮像を行うことが可能になる。
　なお、動体検出部１１Ｂは、撮像画像データＩＧにおけるトリガ範囲ＴＲを含む第一のエリアと、この第一のエリアよりも上側の少なくとも３つの第二のエリアと、この第一のエリアよりも下側の少なくとも３つの第三のエリアと、のうち、第二のエリアと第三のエリアの合計数を、撮像光学系の焦点距離（ズームレンズの位置）に基づいて制御してもよい。
　焦点距離が短い場合には、画角が広くなるため、検出すべき動体とは別の被写体が画角内に入る可能性が高くなる。また、デジタルカメラ１００の振動等による撮像画像データへの影響が大きくなるため、動いていない被写体が動体として誤検出される可能性が高くなる。
　そこで、動体検出部１１Ｂは、焦点距離が予め決められた閾値以下の場合には、焦点距離がこの閾値を超える場合よりも上記の合計数を増やす。この合計数が増えることにより、動体の検出精度が高くなるため、動体の誤検出を防いで、的確なタイミングでの自動撮像を行うことが可能になる。
　図１４は、図１に示すデジタルカメラ１００におけるシステム制御部１１の機能ブロックの変形例を示す図である。図１４に示すシステム制御部１１は、焦点制御部１１Ｄが追加された点を除いては、図５と同じ構成である。
　図１４に示すシステム制御部１１は、メモリ１６のＲＯＭに記録された撮像制御プログラムを含むプログラムを実行することにより、駆動制御部１１Ａ、動体検出部１１Ｂ、記録制御部１１Ｃ、及び焦点制御部１１Ｄを備える撮像制御装置として機能する。
　図１４に示すシステム制御部１１の動体検出部１１Ｂは、動体を検出した際に、撮像面６０からその動体までの距離も算出してＲＡＭに記録しておく。
　例えば、撮像面６０の各エリアＡ１－Ａ９に位相差検出用画素を配置しておき、撮像画像データＩＧのエリアに含まれる、位相差検出用画素から出力された画素信号に基づいて位相差を求め、この位相差から動体までの距離を算出することができる。
　焦点制御部１１Ｄは、動体検出部１１Ｂによって検出された動体（Ｍ１とする）の位置変化に基づいて、動体Ｍ１がトリガ範囲ＴＲに入るタイミングが記録制御部１１Ｃにより予測された場合に、直近で動体Ｍ１が検出された時刻と、この予測されたタイミングを含むフレーム期間に実行される撮像駆動の開始時刻との差と、動体Ｍ１の撮像面６０からの距離の変化と、に基づいて、この予測されたタイミングを含むフレーム期間における撮像面６０から動体Ｍ１までの距離を予測する。
　そして、焦点制御部１１Ｄは、この予測した距離に基づいて、撮像素子５の前方に配置される撮像光学系のこのフレーム期間における焦点位置（フォーカスレンズの主点の位置）を制御する。具体的には、この距離に焦点位置がくるように、フォーカスレンズの主点の位置を制御する。
　例えば、図７の例では、時刻ｔ２において動体Ｍが検出されて、この動体Ｍがトリガ範囲ＴＲに入るタイミングを含むフレーム期間（図中の４番目のフレーム期間）が決まると、時刻ｔ２と、この４番目のフレーム期間の開始時刻との差Δｔが焦点制御部１１Ｄにより算出される。
　焦点制御部１１Ｄは、時刻ｔ１にて検出された動体Ｍまでの距離と、時刻ｔ２にて検出された動体Ｍまでの距離とに基づいて、撮像光学系の光軸方向における動体Ｍの移動速度を算出する。
　焦点制御部１１Ｄは、この移動速度と上記の差Δｔとから、動体Ｍがトリガ範囲ＴＲに入るタイミングを含むフレーム期間における動体Ｍの撮像面６０からの距離を予測する。つまり、時刻ｔ２からΔｔ経過後の時刻における動体Ｍの撮像面６０からの距離を予測する。
　そして、このフレーム期間の開始直前に、この予測した距離に焦点位置をあわせる制御を行う。したがって、このフレーム期間においては、動体Ｍに焦点が合った状態にて自動撮像を行うことができる。
　図８に示す例でも同様に、時刻ｔ４において動体Ｍが検出されて、この動体Ｍがトリガ範囲ＴＲに入るタイミングを含むフレーム期間（図中の５番目のフレーム期間）が決まると、時刻ｔ４と、この５番目のフレーム期間の開始時刻との差Δｔが焦点制御部１１Ｄにより算出される。
　焦点制御部１１Ｄは、時刻ｔ３にて検出された動体Ｍまでの距離と、時刻ｔ４にて検出された動体Ｍまでの距離とに基づいて、撮像光学系の光軸方向における動体Ｍの移動速度を算出する。
　焦点制御部１１Ｄは、この移動速度と上記の差Δｔとから、動体Ｍがトリガ範囲ＴＲに入るタイミングを含むフレーム期間における動体Ｍの撮像面６０からの距離を予測する。つまり、時刻ｔ４からΔｔ経過後の時刻における動体Ｍの撮像面６０からの距離を予測する。
　そして、このフレーム期間の開始直前に、この予測された距離に焦点位置が制御される。したがって、動体Ｍに合焦させた状態にて、自動撮像を行うことができる。
　次に、本発明の撮像装置の実施形態としてスマートフォンの構成について説明する。
　図１５は、本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。
　図１５に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示面としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。
　また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示面と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。
　図１６は、図１５に示すスマートフォン２００の構成を示すブロック図である。
　図１６に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記録部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。
　また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
　無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。
　表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）又は文字情報等を表示して視覚的に利用者に情報を伝達するとともに、表示した情報に対する利用者操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３と、を備える。
　表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）等を表示デバイスとして用いたものである。
　操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、利用者の指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスを利用者の指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。
　図１６に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。
　係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、利用者操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０１の大きさ等に応じて適宜設計されるものである。
　さらにまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。
　通話部２１１は、スピーカ２０５又はマイクロホン２０６を備え、マイクロホン２０６を通じて入力された利用者の音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。
　また、図１５に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。
　操作部２０７は、キースイッチ等を用いたハードウェアキーであって、利用者からの指示を受け付けるものである。例えば、図１５に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。
　記録部２１２は、主制御部２２０の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、ダウンロードしたコンテンツデータを記録し、またストリーミングデータ等を一時的に記録するものである。また、記録部２１２は、スマートフォン内蔵の内部記録部２１７と着脱自在な外部メモリスロットを有する外部記録部２１８により構成される。
　なお、記録部２１２を構成するそれぞれの内部記録部２１７と外部記録部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ　ｍｅｍｏｒｙ　ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ　ｄｉｓｋ　ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ　ｃａｒｄ　ｍｉｃｒｏ　ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の格納媒体を用いて実現される。
　外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４等）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）等）により直接的又は間接的に接続するためのものである。
　スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ　ｃａｒｄ）、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるパーソナルコンピュータ、イヤホン等がある。
　外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達したり、スマートフォン２００の内部のデータが外部機器に伝送されるようにしたりすることができる。
　ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０又は外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部２１５は、例えば、３軸の加速度センサ等を備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向又は加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。
　電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部２２０は、マイクロプロセッサを備え、記録部２１２が記録する制御プログラム及び制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記録部２１２が記録するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。
　また、主制御部２２０は、受信データ又はダウンロードしたストリーミングデータ等の画像データ（静止画像又は動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。
　画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。
　さらに、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じた利用者操作を検出する操作検出制御を実行する。
　表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。
　なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じた利用者操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。
　さらに、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。
　ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部２０８は、図１に示したデジタルカメラ１００における外部メモリ制御部２０、記録媒体２１、表示コントローラ２２、表示面２３、及び操作部１４以外の構成を含む。
　カメラ部２０８によって生成されたＲＡＷ形式又はＪＰＥＧ形式の撮像画像データは、記録媒体２１の代わりに、記録部２１２に記録したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることができる。
　図１５に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。
　また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示したり、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用したりすることができる。
　また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。さらには、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。
　その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等を付加して記録部２１２に記録したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることもできる。
　以上のような構成のスマートフォン２００においても、高速で移動する動体を的確なタイミングにて撮像して撮像画像データとして記録することができる。
　以上説明してきたように、本明細書には以下の事項が開示されている。
（１）　光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む画素を複数有し、第一の方向に配列された複数の上記画素からなる画素行が上記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子の駆動部を制御して、上記複数の画素の各々の上記光電変換素子を同時にリセットすることにより上記複数の画素の露光を開始し、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了した後、上記撮像面の上記第二の方向の一端側から他端側に向かって上記画素行を順次選択し、選択した上記画素行の上記電荷保持部に保持された上記電荷に応じた画素信号を読み出す駆動、を連続して行わせる駆動制御部と、上記駆動によって読み出される上記画素信号に基づいて生成される撮像画像データを上記第二の方向に向かって複数のエリアに分割し、上記エリアが生成される毎に、生成された上記エリアと、上記駆動よりも前に行われた上記駆動によって読み出された上記画素信号に基づいて生成された撮像画像データのうちのそのエリアと同じエリアとを比較した結果によってそのエリアから動体を検出する処理を行う動体検出部と、上記動体検出部により検出された上記動体の位置の変化に基づいて、上記撮像画像データに設定された範囲と上記動体とが重なるタイミングを予測し、上記タイミングを含む期間に実行される上記駆動によって読み出される上記画素信号を記録媒体への記録用の信号として処理する記録制御部と、を備える撮像制御装置。
（２）　（１）記載の撮像制御装置であって、上記駆動によって読み出される上記画素信号に基づいて生成される上記撮像画像データのうち、上記範囲を含む第一のエリアの生成元の上記画素信号が読み出される上記画素行よりも上記撮像面の上記他端側にある上記画素行から読み出された上記画素信号に基づいて生成されるエリア、の生成完了タイミングが、その駆動の２回後の上記駆動が行われる期間にあり、上記複数のエリアは、上記範囲を含む第一のエリアと、上記第一のエリアの生成元の上記画素信号が読み出される上記画素行よりも上記撮像面の上記一端側にある上記画素行から読み出された上記画素信号に基づいて生成される少なくとも３つの第二のエリアと、上記第一のエリアの生成元の上記画素信号が読み出される上記画素行よりも上記撮像面の上記他端側にある上記画素行から読み出された上記画素信号に基づいて生成される少なくとも４つの第三のエリアと、からなる撮像制御装置。
（３）　（２）記載の撮像制御装置であって、上記第二のエリアの数と上記第三のエリアの数が異なる撮像制御装置。
（４）　（１）記載の撮像制御装置であって、上記駆動によって読み出される上記画素信号に基づいて生成される上記撮像画像データの生成完了タイミングが、その駆動の次の上記駆動が行われる期間にあり、上記複数のエリアは、上記範囲を含む第一のエリアと、上記第一のエリアの生成元の上記画素信号が読み出される上記画素行よりも上記撮像面の上記一端側にある上記画素行から読み出された上記画素信号に基づいて生成される少なくとも３つの第二のエリアと、上記第一のエリアの生成元の上記画素信号が読み出される上記画素行よりも上記撮像面の上記他端側にある上記画素行から読み出された上記画素信号に基づいて生成される少なくとも３つの第三のエリアと、からなる撮像制御装置。
（５）　（２）又は（４）記載の撮像制御装置であって、上記第二のエリアの数と上記第三のエリアの数が同じである撮像制御装置。
（６）　（２）～（５）のいずれか１つに記載の撮像制御装置であって、上記第二のエリアの上記第二の方向の幅と、上記第三のエリアの上記第二の方向の幅とが異なる撮像制御装置。
（７）　（２）～（６）のいずれか１つに記載の撮像制御装置であって、上記動体検出部は、上記撮像素子の前方に配置される撮像光学系の焦点距離に基づいて、上記第二のエリアと上記第三のエリアの合計数を制御する撮像制御装置。
（８）　（７）記載の撮像制御装置であって、上記動体検出部は、上記焦点距離が閾値以下の場合には、上記焦点距離が上記閾値を超える場合よりも上記合計数を増やす撮像制御装置。
（９）　（１）～（８）のいずれか１つに記載の撮像制御装置であって、上記動体検出部によって動体が検出され、その動体に基づいて上記タイミングが予測された場合に、その動体が検出された時刻とその予測されたタイミングを含む期間に実行される上記駆動の開始時刻との差と、上記動体検出部によって検出された動体の上記撮像面からの距離の変化と、に基づいて、その期間における上記動体までの距離を予測し、上記予測した距離に基づいて、上記撮像素子の前方に配置される撮像光学系のその期間における焦点位置を制御する焦点制御部を更に備える撮像制御装置。
（１０）　（１）～（９）のいずれか１つに記載の撮像制御装置と、上記撮像素子と、上記駆動部と、を備える撮像装置。
（１１）　光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む画素を複数有し、第一の方向に配列された複数の上記画素からなる画素行が上記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子の駆動部を制御して、上記複数の画素の各々の上記光電変換素子を同時にリセットすることにより上記複数の画素の露光を開始し、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了した後、上記撮像面の上記第二の方向の一端側から他端側に向かって上記画素行を順次選択し、選択した上記画素行の上記電荷保持部に保持された上記電荷に応じた画素信号を読み出す駆動、を連続して行わせる駆動制御ステップと、上記駆動によって読み出される上記画素信号に基づいて生成される撮像画像データを上記第二の方向に向かって複数のエリアに分割し、上記エリアが生成される毎に、生成された上記エリアと、上記駆動よりも前に行われた上記駆動によって読み出された上記画素信号に基づいて生成された撮像画像データのうちのそのエリアと同じエリアとを比較した結果によってそのエリアから動体を検出する処理を行う動体検出ステップと、上記動体検出ステップにより検出された上記動体の位置の変化に基づいて、上記撮像画像データに設定された範囲と上記動体とが重なるタイミングを予測し、上記タイミングを含む期間に実行される上記駆動によって読み出される上記画素信号を記録媒体への記録用の信号として処理する記録制御ステップと、を備える撮像制御方法。
（１２）　（１１）記載の撮像制御方法であって、上記駆動によって読み出される上記画素信号に基づいて生成される上記撮像画像データのうち、上記範囲を含む第一のエリアの生成元の上記画素信号が読み出される上記画素行よりも上記撮像面の上記他端側にある上記画素行から読み出された上記画素信号に基づいて生成されるエリア、の生成完了タイミングが、その駆動の２回後の上記駆動が行われる期間にあり、上記複数のエリアは、上記第一のエリアと、上記第一のエリアの生成元の上記画素信号が読み出される上記画素行よりも上記撮像面の上記一端側にある上記画素行から読み出された上記画素信号に基づいて生成される少なくとも３つの第二のエリアと、上記第一のエリアの生成元の上記画素信号が読み出される上記画素行よりも上記撮像面の上記他端側にある上記画素行から読み出された上記画素信号に基づいて生成される少なくとも４つの第三のエリアと、からなる撮像制御方法。
（１３）　（１２）記載の撮像制御方法であって、上記第二のエリアの数と上記第三のエリアの数が異なる撮像制御方法。
（１４）　（１１）記載の撮像制御方法であって、上記駆動によって読み出される上記画素信号に基づいて生成される上記撮像画像データの生成完了タイミングが、その駆動の次の上記駆動が行われる期間にあり、上記複数のエリアは、上記範囲を含む第一のエリアと、上記第一のエリアの生成元の上記画素信号が読み出される上記画素行よりも上記撮像面の上記一端側にある上記画素行から読み出された上記画素信号に基づいて生成される少なくとも３つの第二のエリアと、上記第一のエリアの生成元の上記画素信号が読み出される上記画素行よりも上記撮像面の上記他端側にある上記画素行から読み出された上記画素信号に基づいて生成される少なくとも３つの第三のエリアと、からなる撮像制御方法。
（１５）　（１２）又は（１４）記載の撮像制御方法であって、上記第二のエリアの数と上記第三のエリアの数が同じである撮像制御方法。
（１６）　（１２）～（１５）のいずれか１つに記載の撮像制御方法であって、上記第二のエリアの上記第二の方向の幅と、上記第三のエリアの上記第二の方向の幅とが異なる撮像制御方法。
（１７）　（１２）～（１６）のいずれか１つに記載の撮像制御方法であって、上記動体検出ステップでは、上記撮像素子の前方に配置される撮像光学系の焦点距離に基づいて、上記第二のエリアと上記第三のエリアの合計数を制御する撮像制御方法。
（１８）　（１７）記載の撮像制御方法であって、上記動体検出ステップでは、上記焦点距離が閾値以下の場合には、上記焦点距離が上記閾値を超える場合よりも上記合計数を増やす撮像制御方法。
（１９）　（１１）～（１８）のいずれか１つに記載の撮像制御方法であって、上記動体検出ステップによって動体が検出され、その動体に基づいて上記タイミングが予測された場合に、その動体が検出された時刻とその予測されたタイミングを含む期間に実行される上記駆動の開始時刻との差と、上記動体検出ステップによって検出された動体の上記撮像面からの距離の変化と、に基づいて、その期間における上記動体までの距離を予測し、上記予測した距離に基づいて、上記撮像素子の前方に配置される撮像光学系のその期間における焦点位置を制御する焦点制御ステップを更に備える撮像制御方法。
（２０）　光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む画素を複数有し、第一の方向に配列された複数の上記画素からなる画素行が上記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子の駆動部を制御して、上記複数の画素の各々の上記光電変換素子を同時にリセットすることにより上記複数の画素の露光を開始し、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了した後、上記撮像面の上記第二の方向の一端側から他端側に向かって上記画素行を順次選択し、選択した上記画素行の上記電荷保持部に保持された上記電荷に応じた画素信号を読み出す駆動、を連続して行わせる駆動制御ステップと、上記駆動によって読み出される上記画素信号に基づいて生成される撮像画像データを上記第二の方向に向かって複数のエリアに分割し、上記エリアが生成される毎に、生成された上記エリアと、上記駆動よりも前に行われた上記駆動によって読み出された上記画素信号に基づいて生成された撮像画像データのうちのそのエリアと同じエリアとを比較した結果によってそのエリアから動体を検出する処理を行う動体検出ステップと、上記動体検出ステップにより検出された上記動体の位置の変化に基づいて、上記撮像画像データに設定された範囲と上記動体とが重なるタイミングを予測し、上記タイミングを含む期間に実行される上記駆動によって読み出される上記画素信号を記録媒体への記録用の信号として処理する記録制御ステップと、をコンピュータに実行させるための撮像制御プログラム。
　本発明によれば、グローバルシャッタ方式で撮像素子を駆動して被写体を撮像する場合に、被写体が所望の位置にある状態にて、記録のための撮像を開始することのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供することができる。
１００　デジタルカメラ
１　撮像レンズ
２　絞り
４　レンズ制御部
５　撮像素子
６０　撮像面
６１　画素
６１Ａ　光電変換素子
６１Ｂ　電荷保持部
６１Ｃ　電荷転送部
６１Ｄ　フローティングディフュージョン
６１Ｅ　読み出し回路
６１Ｆ　電荷排出領域
６２　画素行
６３　駆動回路
６４　信号処理回路
６５　信号線
７０　Ｎ型基板
７１　Ｐウェル層
７２　読み出し電極
７３　Ｎ型不純物層
７４　Ｐ型不純物層
７５　領域
７６　転送電極
７７　リセットトランジスタ
７８　出力トランジスタ
７９　選択トランジスタ
ＲＧ　リセット用電極
８　レンズ駆動部
９　絞り駆動部
１０　撮像素子駆動部
１１　システム制御部
１１Ａ　駆動制御部
１１Ｂ　動体検出部
１１Ｃ　記録制御部
１１Ｄ　焦点制御部
ＩＧ　撮像画像データ
１４　操作部
１５　メモリ制御部
１６　メモリ
１７　デジタル信号処理部
２０　外部メモリ制御部
２１　記録媒体
２２　表示コントローラ
２３　表示面
２４　制御バス
２５　データバス
４０　レンズ装置
ＴＲ　トリガ範囲
ＧＲ，ＧＳ，ＲＯ，ＳＴ，ＩＧｔ　直線
Ｍ　動体
２００　スマートフォン
２０１　筐体
２０２　表示パネル
２０３　操作パネル
２０４　表示入力部
２０５　スピーカ
２０６　マイクロホン
２０７　操作部
２０８　カメラ部
２１０　無線通信部
２１１　通話部
２１２　記録部
２１３　外部入出力部
２１４　ＧＰＳ受信部
２１５　モーションセンサ部
２１６　電源部
２１７　内部記録部
２１８　外部記録部
２２０　主制御部
ＳＴ１～ＳＴｎ　ＧＰＳ衛星

Claims (20)

  1. 　光電変換素子と、前記光電変換素子から転送される電荷を保持し前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む画素を複数有し、第一の方向に配列された複数の前記画素からなる画素行が前記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子の駆動部を制御して、前記複数の画素の各々の前記光電変換素子を同時にリセットすることにより前記複数の画素の露光を開始し、前記露光によって前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了した後、前記撮像面の前記第二の方向の一端側から他端側に向かって前記画素行を順次選択し、選択した前記画素行の前記電荷保持部に保持された前記電荷に応じた画素信号を読み出す駆動、を連続して行わせる駆動制御部と、
    　前記駆動によって読み出される前記画素信号に基づいて生成される撮像画像データを前記第二の方向に向かって複数のエリアに分割し、前記エリアが生成される毎に、生成された前記エリアと、前記駆動よりも前に行われた前記駆動によって読み出された前記画素信号に基づいて生成された撮像画像データのうちの当該エリアと同じエリアとを比較した結果によって当該エリアから動体を検出する処理を行う動体検出部と、
    　前記動体検出部により検出された前記動体の位置の変化に基づいて、前記撮像画像データに設定された範囲と前記動体とが重なるタイミングを予測し、前記タイミングを含む期間に実行される前記駆動によって読み出される前記画素信号を記録媒体への記録用の信号として処理する記録制御部と、を備える撮像制御装置。
  2. 　請求項１記載の撮像制御装置であって、
    　前記駆動によって読み出される前記画素信号に基づいて生成される前記撮像画像データのうち、前記範囲を含む第一のエリアの生成元の前記画素信号が読み出される前記画素行よりも前記撮像面の前記他端側にある前記画素行から読み出された前記画素信号に基づいて生成されるエリア、の生成完了タイミングが、当該駆動の２回後の前記駆動が行われる期間にあり、
    　前記複数のエリアは、前記第一のエリアと、前記第一のエリアの生成元の前記画素信号が読み出される前記画素行よりも前記撮像面の前記一端側にある前記画素行から読み出された前記画素信号に基づいて生成される少なくとも３つの第二のエリアと、前記第一のエリアの生成元の前記画素信号が読み出される前記画素行よりも前記撮像面の前記他端側にある前記画素行から読み出された前記画素信号に基づいて生成される少なくとも４つの第三のエリアと、からなる撮像制御装置。
  3. 　請求項２記載の撮像制御装置であって、
    　前記第二のエリアの数と前記第三のエリアの数が異なる撮像制御装置。
  4. 　請求項１記載の撮像制御装置であって、
    　前記駆動によって読み出される前記画素信号に基づいて生成される前記撮像画像データの生成完了タイミングが、当該駆動の次の前記駆動が行われる期間にあり、
    　前記複数のエリアは、前記範囲を含む第一のエリアと、前記第一のエリアの生成元の前記画素信号が読み出される前記画素行よりも前記撮像面の前記一端側にある前記画素行から読み出された前記画素信号に基づいて生成される少なくとも３つの第二のエリアと、前記第一のエリアの生成元の前記画素信号が読み出される前記画素行よりも前記撮像面の前記他端側にある前記画素行から読み出された前記画素信号に基づいて生成される少なくとも３つの第三のエリアと、からなる撮像制御装置。
  5. 　請求項２又は４記載の撮像制御装置であって、
    　前記第二のエリアの数と前記第三のエリアの数が同じである撮像制御装置。
  6. 　請求項２～５のいずれか１項記載の撮像制御装置であって、
    　前記第二のエリアの前記第二の方向の幅と、前記第三のエリアの前記第二の方向の幅とが異なる撮像制御装置。
  7. 　請求項２～６のいずれか１項記載の撮像制御装置であって、
    　前記動体検出部は、前記撮像素子の前方に配置される撮像光学系の焦点距離に基づいて、前記第二のエリアと前記第三のエリアの合計数を制御する撮像制御装置。
  8. 　請求項７記載の撮像制御装置であって、
    　前記動体検出部は、前記焦点距離が閾値以下の場合には、前記焦点距離が前記閾値を超える場合よりも前記合計数を増やす撮像制御装置。
  9. 　請求項１～８のいずれか１項記載の撮像制御装置であって、
    　前記動体検出部によって動体が検出され、当該動体に基づいて前記タイミングが予測された場合に、当該動体が検出された時刻と当該予測されたタイミングを含む期間に実行される前記駆動の開始時刻との差と、前記動体検出部によって検出された動体の前記撮像面からの距離の変化と、に基づいて、当該期間における前記動体までの距離を予測し、前記予測した距離に基づいて、前記撮像素子の前方に配置される撮像光学系の当該期間における焦点位置を制御する焦点制御部を更に備える撮像制御装置。
  10. 　請求項１～９のいずれか１項記載の撮像制御装置と、
    　前記撮像素子と、
    　前記駆動部と、を備える撮像装置。
  11. 　光電変換素子と、前記光電変換素子から転送される電荷を保持し前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む画素を複数有し、第一の方向に配列された複数の前記画素からなる画素行が前記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子の駆動部を制御して、前記複数の画素の各々の前記光電変換素子を同時にリセットすることにより前記複数の画素の露光を開始し、前記露光によって前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了した後、前記撮像面の前記第二の方向の一端側から他端側に向かって前記画素行を順次選択し、選択した前記画素行の前記電荷保持部に保持された前記電荷に応じた画素信号を読み出す駆動、を連続して行わせる駆動制御ステップと、
    　前記駆動によって読み出される前記画素信号に基づいて生成される撮像画像データを前記第二の方向に向かって複数のエリアに分割し、前記エリアが生成される毎に、生成された前記エリアと、前記駆動よりも前に行われた前記駆動によって読み出された前記画素信号に基づいて生成された撮像画像データのうちの当該エリアと同じエリアとを比較した結果によって当該エリアから動体を検出する処理を行う動体検出ステップと、
    　前記動体検出ステップにより検出された前記動体の位置の変化に基づいて、前記撮像画像データに設定された範囲と前記動体とが重なるタイミングを予測し、前記タイミングを含む期間に実行される前記駆動によって読み出される前記画素信号を記録媒体への記録用の信号として処理する記録制御ステップと、を備える撮像制御方法。
  12. 　請求項１１記載の撮像制御方法であって、
    　前記駆動によって読み出される前記画素信号に基づいて生成される前記撮像画像データのうち、前記範囲を含む第一のエリアの生成元の前記画素信号が読み出される前記画素行よりも前記撮像面の前記他端側にある前記画素行から読み出された前記画素信号に基づいて生成されるエリア、の生成完了タイミングが、当該駆動の２回後の前記駆動が行われる期間にあり、
    　前記複数のエリアは、前記第一のエリアと、前記第一のエリアの生成元の前記画素信号が読み出される前記画素行よりも前記撮像面の前記一端側にある前記画素行から読み出された前記画素信号に基づいて生成される少なくとも３つの第二のエリアと、前記第一のエリアの生成元の前記画素信号が読み出される前記画素行よりも前記撮像面の前記他端側にある前記画素行から読み出された前記画素信号に基づいて生成される少なくとも４つの第三のエリアと、からなる撮像制御方法。
  13. 　請求項１２記載の撮像制御方法であって、
    　前記第二のエリアの数と前記第三のエリアの数が異なる撮像制御方法。
  14. 　請求項１１記載の撮像制御方法であって、
    　前記駆動によって読み出される前記画素信号に基づいて生成される前記撮像画像データの生成完了タイミングが、当該駆動の次の前記駆動が行われる期間にあり、
    　前記複数のエリアは、前記範囲を含む第一のエリアと、前記第一のエリアの生成元の前記画素信号が読み出される前記画素行よりも前記撮像面の前記一端側にある前記画素行から読み出された前記画素信号に基づいて生成される少なくとも３つの第二のエリアと、前記第一のエリアの生成元の前記画素信号が読み出される前記画素行よりも前記撮像面の前記他端側にある前記画素行から読み出された前記画素信号に基づいて生成される少なくとも３つの第三のエリアと、からなる撮像制御方法。
  15. 　請求項１２又は１４記載の撮像制御方法であって、
    　前記第二のエリアの数と前記第三のエリアの数が同じである撮像制御方法。
  16. 　請求項１２～１５のいずれか１項記載の撮像制御方法であって、
    　前記第二のエリアの前記第二の方向の幅と、前記第三のエリアの前記第二の方向の幅とが異なる撮像制御方法。
  17. 　請求項１２～１６のいずれか１項記載の撮像制御方法であって、
    　前記動体検出ステップでは、前記撮像素子の前方に配置される撮像光学系の焦点距離に基づいて、前記第二のエリアと前記第三のエリアの合計数を制御する撮像制御方法。
  18. 　請求項１７記載の撮像制御方法であって、
    　前記動体検出ステップでは、前記焦点距離が閾値以下の場合には、前記焦点距離が前記閾値を超える場合よりも前記合計数を増やす撮像制御方法。
  19. 　請求項１１～１８のいずれか１項記載の撮像制御方法であって、
    　前記動体検出ステップによって動体が検出され、当該動体に基づいて前記タイミングが予測された場合に、当該動体が検出された時刻と当該予測されたタイミングを含む期間に実行される前記駆動の開始時刻との差と、前記動体検出ステップによって検出された動体の前記撮像面からの距離の変化と、に基づいて、当該期間における前記動体までの距離を予測し、前記予測した距離に基づいて、前記撮像素子の前方に配置される撮像光学系の当該期間における焦点位置を制御する焦点制御ステップを更に備える撮像制御方法。
  20. 　光電変換素子と、前記光電変換素子から転送される電荷を保持し前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部とを含む画素を複数有し、第一の方向に配列された複数の前記画素からなる画素行が前記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子の駆動部を制御して、前記複数の画素の各々の前記光電変換素子を同時にリセットすることにより前記複数の画素の露光を開始し、前記露光によって前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了した後、前記撮像面の前記第二の方向の一端側から他端側に向かって前記画素行を順次選択し、選択した前記画素行の前記電荷保持部に保持された前記電荷に応じた画素信号を読み出す駆動、を連続して行わせる駆動制御ステップと、
    　前記駆動によって読み出される前記画素信号に基づいて生成される撮像画像データを前記第二の方向に向かって複数のエリアに分割し、前記エリアが生成される毎に、生成された前記エリアと、前記駆動よりも前に行われた前記駆動によって読み出された前記画素信号に基づいて生成された撮像画像データのうちの当該エリアと同じエリアとを比較した結果によって当該エリアから動体を検出する処理を行う動体検出ステップと、
    　前記動体検出ステップにより検出された前記動体の位置の変化に基づいて、前記撮像画像データに設定された範囲と前記動体とが重なるタイミングを予測し、前記タイミングを含む期間に実行される前記駆動によって読み出される前記画素信号を記録媒体への記録用の信号として処理する記録制御ステップと、をコンピュータに実行させるための撮像制御プログラム。
PCT/JP2018/024545 2017-09-20 2018-06-28 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム WO2019058691A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019543430A JP6928663B2 (ja) 2017-09-20 2018-06-28 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
CN201880061098.8A CN111108743B (zh) 2017-09-20 2018-06-28 摄像控制装置、摄像装置、摄像控制方法及记录介质
US16/823,263 US11095845B2 (en) 2017-09-20 2020-03-18 Imaging control device, imaging apparatus, imaging control method, and imaging control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017180451 2017-09-20
JP2017-180451 2017-09-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/823,263 Continuation US11095845B2 (en) 2017-09-20 2020-03-18 Imaging control device, imaging apparatus, imaging control method, and imaging control program

Publications (1)

Publication Number Publication Date
WO2019058691A1 true WO2019058691A1 (ja) 2019-03-28

Family

ID=65810790

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/024545 WO2019058691A1 (ja) 2017-09-20 2018-06-28 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム

Country Status (4)

Country Link
US (1) US11095845B2 (ja)
JP (1) JP6928663B2 (ja)
CN (1) CN111108743B (ja)
WO (1) WO2019058691A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111551948B (zh) * 2020-05-20 2022-08-16 炬佑智能科技(苏州)有限公司 一种tof设备的控制方法、计算机存储介质
CN112399076B (zh) * 2020-10-27 2022-08-02 维沃移动通信有限公司 视频拍摄方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10126665A (ja) * 1996-10-14 1998-05-15 Sharp Corp 画像合成装置
JP2008276214A (ja) * 2007-04-04 2008-11-13 Nikon Corp デジタルカメラ
JP2011211699A (ja) * 2010-03-08 2011-10-20 Semiconductor Energy Lab Co Ltd 半導体装置、及びその駆動方法
JP2014011578A (ja) * 2012-06-28 2014-01-20 Olympus Imaging Corp 撮影機器
US20170019589A1 (en) * 2015-07-14 2017-01-19 Samsung Electronics Co., Ltd. Image capturing apparatus and method
JP2017063430A (ja) * 2011-03-22 2017-03-30 フィリップス ライティング ホールディング ビー ヴィ 光検出システム及び方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1169352C (zh) * 2001-12-28 2004-09-29 富士胶片株式会社 固体电子图像感应装置及其控制方法
JP4325557B2 (ja) * 2005-01-04 2009-09-02 ソニー株式会社 撮像装置および撮像方法
JP2008252195A (ja) * 2007-03-29 2008-10-16 Yamaha Corp Ｃｍｏｓ固体撮像装置
EP1986421A3 (en) 2007-04-04 2008-12-03 Nikon Corporation Digital camera
JP4730402B2 (ja) * 2008-06-30 2011-07-20 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
TW201023633A (en) * 2008-12-05 2010-06-16 Altek Corp An image capturing device for automatically position indicating and the automatic position indicating method thereof
US8615111B2 (en) * 2009-10-30 2013-12-24 Csr Technology Inc. Method and apparatus for image detection with undesired object removal
TW201251445A (en) * 2011-06-10 2012-12-16 Altek Corp System and method of driving shutter by an object moving tendency
JP5955170B2 (ja) * 2012-09-06 2016-07-20 キヤノン株式会社 表示制御装置、表示制御方法、及びプログラム
TWI488126B (zh) * 2012-10-03 2015-06-11 Pixart Imaging Inc 光學導航方法及光學導航裝置
JP6061715B2 (ja) 2013-02-13 2017-01-18 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
JP2015216482A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 撮像制御方法、および撮像装置
KR102232517B1 (ko) * 2014-09-15 2021-03-26 삼성전자주식회사 이미지 촬영 방법 및 이미지 촬영 장치
CN105592261A (zh) * 2014-11-04 2016-05-18 深圳富泰宏精密工业有限公司 辅助拍照系统及方法
JP2017059974A (ja) 2015-09-16 2017-03-23 キヤノン株式会社 撮像装置、制御方法、及びプログラム
CN105681690B (zh) * 2016-03-10 2018-05-25 长春长光辰芯光电技术有限公司 双转移栅高动态范围图像传感器像素的全局快门控制方法
CN105791715B (zh) * 2016-03-10 2018-09-18 长春长光辰芯光电技术有限公司 高动态范围图像传感器像素的全局快门控制方法
KR102462644B1 (ko) * 2016-04-01 2022-11-03 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10452926B2 (en) * 2016-12-29 2019-10-22 Uber Technologies, Inc. Image capture device with customizable regions of interest
US20200005468A1 (en) * 2019-09-09 2020-01-02 Intel Corporation Method and system of event-driven object segmentation for image processing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10126665A (ja) * 1996-10-14 1998-05-15 Sharp Corp 画像合成装置
JP2008276214A (ja) * 2007-04-04 2008-11-13 Nikon Corp デジタルカメラ
JP2011211699A (ja) * 2010-03-08 2011-10-20 Semiconductor Energy Lab Co Ltd 半導体装置、及びその駆動方法
JP2017063430A (ja) * 2011-03-22 2017-03-30 フィリップス ライティング ホールディング ビー ヴィ 光検出システム及び方法
JP2014011578A (ja) * 2012-06-28 2014-01-20 Olympus Imaging Corp 撮影機器
US20170019589A1 (en) * 2015-07-14 2017-01-19 Samsung Electronics Co., Ltd. Image capturing apparatus and method

Also Published As

Publication number Publication date
CN111108743A (zh) 2020-05-05
US20200221050A1 (en) 2020-07-09
JP6928663B2 (ja) 2021-09-01
CN111108743B (zh) 2021-07-20
US11095845B2 (en) 2021-08-17
JPWO2019058691A1 (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
US10623673B2 (en) Imaging device, imaging method, and imaging program
CN110463185B (zh) 摄像装置、摄像方法及存储介质
US10735662B2 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program
US10848692B2 (en) Global shutter and rolling shutter drive start timings for imaging apparatus, imaging method, and imaging program
US11095845B2 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program
US10750105B2 (en) Imaging apparatus, operation method of imaging apparatus, and operation program of imaging apparatus
US10944925B2 (en) Global shuttering, first rolling readout and second rolling readout employed with an imaging apparatus, imaging method, and imaging program
US10863110B2 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program
US10939056B2 (en) Imaging apparatus, imaging method, imaging program
CN110024373B (zh) 摄像装置、摄像方法及存储介质
US20190268530A1 (en) Imaging device, imaging method, and imaging program
JP7266102B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
US11861874B2 (en) Imaging apparatus, imaging control method, and imaging control program
US20230388669A1 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18859787

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019543430

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18859787

Country of ref document: EP

Kind code of ref document: A1