JP6839768B2 - 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム - Google Patents

Description

本発明は、撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムに関する。

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、又はカメラ付きの携帯電話機（例えばスマートフォン）等の撮像機能を有する電子機器の需要が急増している。なお、以上のような撮像機能を有する電子機器を撮像装置と称する。

撮像装置に搭載されるＭＯＳ型の撮像素子の駆動方法としては、ローリングシャッタ方式の駆動が知られている。

ローリングシャッタ方式の駆動は、撮像素子の画素行の各光電変換素子をリセットしてこの画素行の露光を開始し、その後、この画素行の各光電変換素子に蓄積された電荷に応じた画素信号を信号線に読み出す駆動を、画素行を変えながら順次行う方式である。

特許文献１には、ローリングシャッタ方式の駆動を行って被写体を撮像する際に、各画素行の露光時間の１／ｎ（ｎは１以上の整数）の周期にて補助光を複数回発光させる撮像装置が開示されている。

特開２００９−１３９５５３号公報

ローリングシャッタ方式の駆動では、画素行毎に画素信号の読み出しを行うため、各画素行からの画素信号の読み出し処理が、他の画素行の画素信号の読み出し処理と重複しないようにする必要がある。そのため、隣接する画素行同士における露光開始タイミング（或いは露光終了タイミング）の差は、この読み出し処理に要する時間（以下、読み出し処理時間という）以上の時間とする必要がある。

読み出し処理時間よりも露光時間が長い場合には、露光開始タイミングの差を、露光時間の１／ｎ倍（ｎは１以上の整数）とすると、任意の画素行からの画素信号の読み出し処理中に、この任意の画素行のｎ個隣の画素行の露光が開始されることになる。

ここで、画素の露光開始は、光電変換素子に蓄積された電荷をリセットすることにより行われる。ある画素からの画素信号の読み出し処理中に、他の画素のリセット動作が行われると、その画素信号にノイズが混入する等の懸念がある。

そのため、一般的には、ある画素行からの画素信号の読み出し処理中に、他の画素行の露光が開始されないように、露光開始タイミングの差が設定される。

具体的には、読み出し処理時間よりも露光時間が長い場合には、露光開始タイミングの差が、露光時間の１／ｎ倍以外の値に設定される。

図１５は、ローリングシャッタ方式の駆動の一例を示すタイミングチャートである。図中の横軸は時刻を示す。図中の縦方向には、駆動対象となる撮像素子の画素行Ｌ１〜Ｌ５が示されている。

図１５には、図中の“Ｔ”を単位時間とした場合に、各画素行の露光時間が１２Ｔであり、隣接する画素行同士の露光開始タイミングの差が５Ｔであり、読み出し処理時間が３Ｔである例を示している。

図１５に示す例によれば、画素行Ｌ１〜Ｌ５のいずれにおいても、画素信号の読み出し処理中に、他の画素行の露光が開始されないようになっている。

一方、読み出し処理時間よりも露光時間が短い場合には、任意の画素行からの画素信号の読み出し処理中に、他の画素行の露光が開始されないように、露光開始タイミングの差が、露光時間と読み出し処理時間との合計値以上に設定される。

図１６は、ローリングシャッタ方式の駆動の別の例を示すタイミングチャートである。図中の横軸は時刻を示す。図中の縦方向には、駆動対象となる撮像素子の画素行Ｌ１〜Ｌ５が示されている。

図１６には、図中の“Ｔ”を単位時間とした場合に、各画素行の露光時間が２Ｔであり、隣接する画素行同士の露光開始タイミングの差が５Ｔであり、読み出し処理時間が３Ｔの例を示している。

図１６に示す例によれば、画素行Ｌ１〜Ｌ５のいずれにおいても、画素信号の読み出し処理中に、他の画素行の露光が開始されないようになっている。

以上の条件を満たすように、ローリングシャッタ方式の駆動における画素行同士の露光開始タイミングの差が設定された状態で、特許文献１に記載されているように、露光時間の１／ｎ倍の周期で補助光を複数回発光させる場合を想定する。

図１５には、ｎ＝２とした場合の補助光の発光タイミングが、白抜き矢印で示されている。また、図１６には、ｎ＝１とした場合の補助光の発光タイミングが、白抜き矢印及び破線の白抜き矢印で示されている。

なお、白抜き矢印及び破線の白抜き矢印で示されるタイミングは、補助光の発光量がピークとなるタイミングである。

露光時間の１／２倍の周期で補助光を発光させる場合には、図１５に示すように、画素行Ｌ１〜画素行Ｌ５の各露光期間のどれかにおいて、その開始タイミング又は終了タイミングと補助光の発光タイミングとが重なってしまう。このため、補助光の僅かなジッターによって各画素行による補助光の受光量に変化が生じ、撮像画像には輝度ムラが生じる。

また、図１６に示す例でも、画素行Ｌ２，Ｌ４の各露光期間の開始タイミング及び終了タイミングに補助光の発光タイミングが重なるため、補助光の僅かなジッターによって各画素行による補助光の受光量に変化が生じ、撮像画像には輝度ムラが生じる。

更に、図１６に示す例では、点線矢印によって示されるように、どの画素行においても露光がなされていないときに補助光が発光される場合があり、補助光が無駄に発光されることになる。

本発明は、上記事情に鑑みてなされたものであり、撮像画像の輝度ムラの発生を防ぎ、且つ補助光の利用効率の低下を防ぐことのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供することを目的とする。

本発明の撮像制御装置は、光電変換素子を含む画素を複数有し、第一の方向に配列された複数の上記画素からなる画素行が上記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子をローリングシャッタ方式により駆動して被写体を撮像する撮像制御部と、上記撮像が行われる間に、補助光の発光装置から上記補助光を複数回発光させる発光制御部と、を備え、上記ローリングシャッタ方式による上記駆動は、上記画素行の上記光電変換素子の電荷をリセットしてその光電変換素子の露光を開始する処理を上記画素行を変えながら順次行い、上記露光が終了した上記画素行から順次、上記光電変換素子に蓄積された電荷に応じた画素信号を読み出す駆動であり、隣接する２つの上記画素行において上記駆動により開始される上記露光の開始タイミングの差は、ｎを１以上の整数として、その露光の行われる時間である露光時間の１／ｎ 倍以外の値となっており、上記発光制御部は、上記補助光の発光周期を、ｍを１以上の整数として、上記差のｍ倍の時間に制御するものである。

本発明の撮像装置は、上記撮像制御装置と、上記撮像素子と、を備えるものである。

本発明の撮像制御方法は、光電変換素子を含む画素を複数有し、第一の方向に配列された複数の上記画素からなる画素行が上記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子をローリングシャッタ方式により駆動して被写体を撮像する撮像制御ステップと、上記撮像が行われる間に、補助光の発光装置から上記補助光を複数回発光させる発光制御ステップと、を備え、上記ローリングシャッタ方式による上記駆動は、上記画素行の上記光電変換素子の電荷をリセットしてその光電変換素子の露光を開始する処理を上記画素行を変えながら順次行い、上記露光が終了した上記画素行から順次、上記光電変換素子に蓄積された電荷に応じた画素信号を読み出す駆動であり、隣接する２つの上記画素行において上記駆動により開始される上記露光の開始タイミングの差は、ｎを１以上の整数として、その露光の行われる時間である露光時間の１／ｎ 倍以外の値となっており、上記発光制御ステップでは、上記補助光の発光周期を、ｍを１以上の整数として、上記差のｍ倍の時間に制御するものである。

本発明の撮像制御プログラムは、光電変換素子を含む画素を複数有し、第一の方向に配列された複数の上記画素からなる画素行が上記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子をローリングシャッタ方式により駆動して被写体を撮像する撮像制御ステップと、上記撮像が行われる間に、補助光の発光装置から上記補助光を複数回発光させる発光制御ステップと、をコンピュータに実行させるための撮像制御プログラムであって、上記ローリングシャッタ方式による上記駆動は、上記画素行の上記光電変換素子の電荷をリセットしてその光電変換素子の露光を開始する処理を上記画素行を変えながら順次行い、上記露光が終了した上記画素行から順次、上記光電変換素子に蓄積された電荷に応じた画素信号を読み出す駆動であり、隣接する２つの上記画素行において上記駆動により開始される上記露光の開始タイミングの差は、ｎを１以上の整数として、その露光の行われる時間である露光時間の１／ｎ 倍以外の値となっており、上記発光制御ステップでは、上記補助光の発光周期を、ｍを１以上の整数として、上記差のｍ倍の時間に制御するものである。

本発明によれば、撮像画像の輝度ムラの発生を防ぎ、且つ補助光の利用効率の低下を防ぐことのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供することができる。

本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。 図１に示す撮像素子５の概略構成を示す平面模式図である。 図２に示す撮像素子５の画素６１の概略構成を示す平面模式図である。 図３に示す画素６１のＡ−Ａ線の断面模式図である。 図１に示すデジタルカメラ１００におけるシステム制御部１１の機能ブロック図である。 図１に示すデジタルカメラ１００の高速シンクロモード時における撮像素子５の駆動例を示すタイミングチャートである。 図１に示すデジタルカメラ１００の高速シンクロモード時における撮像素子５の駆動例の第一の変形例を示すタイミングチャートである。 図１に示すデジタルカメラ１００の高速シンクロモード時における撮像素子５の駆動例の第二の変形例を示すタイミングチャートである。 図１に示すデジタルカメラ１００の高速シンクロモード時における撮像素子５の駆動例の第三の変形例を示すタイミングチャートである。 図１に示すデジタルカメラ１００の高速シンクロモード時における撮像素子５の駆動例の第四の変形例を示すタイミングチャートである。 図１に示すデジタルカメラ１００の高速シンクロモード時における撮像素子５の駆動例の第五の変形例を示すタイミングチャートである。 図１に示すデジタルカメラ１００の高速シンクロモード時における撮像素子５の駆動例を示すタイミングチャートである。 本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。 図１３に示すスマートフォン２００の構成を示すブロック図である。 ローリングシャッタ方式の駆動の一例を示すタイミングチャートである。 ローリングシャッタ方式の駆動の一例を示すタイミングチャートである。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。

図１に示すデジタルカメラ１００は、本体部１００Ａと、撮像レンズ１、絞り２、レンズ制御部４、レンズ駆動部８、及び絞り駆動部９を有するレンズ装置４０と、発光装置３０と、を備える。

レンズ装置４０と発光装置３０は、それぞれ、本体部１００Ａに着脱可能なものであってもよいし、本体部１００Ａと一体化されたものであってもよい。

撮像レンズ１は、光軸方向に移動可能なフォーカスレンズ又はズームレンズ等を含む。

レンズ装置４０のレンズ制御部４は、本体部１００Ａのシステム制御部１１と有線又は無線によって通信可能に構成される。

レンズ制御部４は、システム制御部１１からの指令にしたがい、レンズ駆動部８を介して撮像レンズ１に含まれるフォーカスレンズを制御してフォーカスレンズの主点の位置を変更したり、レンズ駆動部８を介して撮像レンズ１に含まれるズームレンズを制御してズームレンズの位置（焦点距離）を変更したり、絞り駆動部９を介して絞り２の絞り値を制御したりする。

発光装置３０は、キセノン光源又はＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の半導体光源等から補助光を発光させるものである。発光装置３０は、本体部１００Ａのシステム制御部１１からの指令に基づいて補助光を発光させる。

本体部１００Ａは、撮像レンズ１及び絞り２を含む撮像光学系を通して被写体を撮像するＭＯＳ型の撮像素子５を備える。

撮像素子５は、複数の画素が二次元状に配置された撮像面を有し、撮像光学系によってこの撮像面に結像される被写体像をこの複数の画素によって画素信号に変換して出力する。撮像素子５の各画素から出力される画素信号の集合を以下では撮像画像信号という。

デジタルカメラ１００の電気制御系全体を統括制御するシステム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、レンズ装置４０の撮像光学系を通して撮像した被写体像を撮像画像信号として出力させる。

撮像素子駆動部１０は、システム制御部１１からの指令に基づいて駆動信号を生成してこの駆動信号を撮像素子５に供給することにより、撮像素子５を駆動する。撮像素子駆動部１０は、ハードウェア的な構成は、半導体素子等の回路素子を組み合わせて構成された電気回路である。

システム制御部１１には、操作部１４を通して利用者からの指示信号が入力される。操作部１４には、後述する表示面２３と一体化されたタッチパネルと、各種ボタン等が含まれる。

システム制御部１１は、デジタルカメラ１００全体を統括制御するものであり、ハードウェア的な構造は、撮像制御プログラムを含むプログラムを実行して処理を行う各種のプロセッサである。

各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

システム制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。

更に、このデジタルカメラ１００の電気制御系は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｓｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）を含むメモリ１６と、メモリ１６へのデータ記録及びメモリ１６からのデータ読み出しの制御を行うメモリ制御部１５と、撮像素子５から出力される撮像画像信号に対しデジタル信号処理を行って、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式等の各種フォーマットにしたがった撮像画像データを生成するデジタル信号処理部１７と、記録媒体２１へのデータ記録及び記録媒体２１からのデータ読み出しの制御を行う外部メモリ制御部２０と、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）パネル又は液晶パネル等で構成される表示面２３と、表示面２３の表示を制御する表示コントローラ２２と、を備える。

メモリ１６に含まれるＲＯＭには、システム制御部１１が実行する撮像制御プログラムを含むプログラムが記録されている。

記録媒体２１は、デジタルカメラ１００に内蔵されるフラッシュメモリ等の半導体メモリ又はデジタルカメラ１００に着脱可能な可搬型の半導体メモリ等である。

メモリ制御部１５、デジタル信号処理部１７、外部メモリ制御部２０、及び表示コントローラ２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

デジタル信号処理部１７は、ハードウェア的な構造は、プログラムを実行して処理を行う上記に例示した各種のプロセッサである。

表示コントローラ２２は、プログラムを実行して処理を行う上記に例示した各種のプロセッサと、表示面２３に表示すべき画像のデータを保持するための表示メモリとを含む。

図２は、図１に示す撮像素子５の概略構成を示す平面模式図である。

撮像素子５は、第一の方向である行方向Ｘに配列された複数の画素６１からなる画素行６２が、行方向Ｘと直交する第二の方向である列方向Ｙに複数配列された撮像面６０と、撮像面６０に配列された画素６１を駆動する駆動回路６３と、撮像面６０に配列された画素行６２の各画素６１から信号線に読み出される画素信号を処理する信号処理回路６４と、を備える。

以下では、図２において撮像面６０の列方向Ｙの一端側（図中の上側）の端部を上端といい、撮像面６０の列方向Ｙの他端側（図中の下側）の端部を下端という。

図３は、図２に示す撮像素子５の画素６１の概略構成を示す平面模式図である。

図３に示すように、画素６１は、光電変換素子６１Ａ、フローティングディフュージョン６１Ｄ、及び読み出し回路６１Ｅを備える。

光電変換素子６１Ａは、レンズ装置４０の撮像光学系を通った光を受光し受光量に応じた電荷を発生して蓄積する。光電変換素子６１Ａは、例えば、半導体基板内に形成されたシリコンフォトダイオードによって構成される。

フローティングディフュージョン６１Ｄは、電荷を電圧信号に変換するためのものであり、光電変換素子６１Ａに蓄積された電荷が転送されてくる。

読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位に応じた電圧信号を画素信号として信号線６５に読み出す回路である。読み出し回路６１Ｅは、図２に示す駆動回路６３によって駆動される。信号線６５は、列方向Ｙの位置が同じ画素６１からなる画素列に対して１つ設けられており、各信号線６５に読み出された画素信号は信号処理回路６４に入力される。

図４は、図３に示す画素６１のＡ−Ａ線の断面模式図である。

図４に示すように、Ｎ型基板７０表面にはＰウェル層７１が形成され、Ｐウェル層７１の表面部には光電変換素子６１Ａが形成されている。

光電変換素子６１Ａは、Ｎ型不純物層７３とこの上に形成されたＰ型不純物層７４とによって構成されている。Ｎ型基板７０とＰウェル層７１によって半導体基板が構成される。

Ｐウェル層７１の表面部には、光電変換素子６１Ａから少し離間して、Ｎ型不純物層からなるフローティングディフュージョン６１Ｄが形成されている。

光電変換素子６１Ａとフローティングディフュージョン６１Ｄとの間のＰウェル層７１の領域７５の上方には、図示省略の酸化膜を介して、読み出し電極７２が形成されている。

読み出し電極７２の電位を制御して、光電変換素子６１Ａとフローティングディフュージョン６１Ｄとの間の領域７５にチャネルを形成することにより、光電変換素子６１Ａに蓄積された電荷をフローティングディフュージョン６１Ｄに転送することができる。読み出し電極７２の電位は、図２の駆動回路６３によって制御される。

図４に示す例では、読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位をリセットするためのリセットトランジスタ７７と、フローティングディフュージョン６１Ｄの電位を画素信号に変換して出力する出力トランジスタ７８と、出力トランジスタ７８から出力される画素信号を信号線６５に選択的に読み出すための選択トランジスタ７９とによって構成されている。読み出し回路の構成は一例であり、これに限るものではない。

なお、読み出し回路６１Ｅは、列方向Ｙに並ぶ複数の画素６１で共用される場合もある。

光電変換素子６１Ａは、シリコンフォトダイオードにより構成されているが、半導体基板上方に形成された有機又は無機の光電変換材料の膜と、この膜で発生した電荷を蓄積するための半導体基板内部に形成された不純物領域と、によって構成されていてもよい。この場合には、この不純物領域に蓄積された電荷が、図４のフローティングディフュージョン６１Ｄに転送される。

図２に示す駆動回路６３は、各画素６１の読み出し電極７２及び読み出し回路６１Ｅを画素行６２毎に独立に駆動して、画素行６２に含まれる各光電変換素子６１Ａのリセット（光電変換素子６１Ａに蓄積されている電荷の排出）、この各光電変換素子６１Ａに蓄積された電荷に応じた画素信号の信号線６５への読み出し等を行う。駆動回路６３は、撮像素子駆動部１０によって制御される。

光電変換素子６１Ａのリセットは、読み出し電極７２下方の領域７５にチャネルを形成した状態で、リセットトランジスタ７７によってフローティングディフュージョン６１Ｄをリセットすることにより行われる。

なお、光電変換素子６１Ａに隣接させて電荷排出領域を別途設けておき、駆動回路６３が、光電変換素子６１Ａに蓄積されている電荷をこの電荷排出領域に排出する駆動を行うことにより、光電変換素子６１Ａのリセットが行われる構成であってもよい。

図２に示す信号処理回路６４は、画素行６２の各画素６１から信号線６５に読み出された画素信号に対し、相関二重サンプリング処理を行い、相関二重サンプリング処理後の画素信号をデジタル信号に変換してデータバス２５に出力する。信号処理回路６４は、撮像素子駆動部１０によって制御される。

デジタル信号処理部１７は、撮像素子５からデータバス２５に出力された画素信号にデモザイク処理及びガンマ補正処理等の信号処理を施して撮像画像データを生成する。

図５は、図１に示すデジタルカメラ１００におけるシステム制御部１１の機能ブロック図である。

図１に示すデジタルカメラ１００は、撮像モードとして高速シンクロモードを搭載している。この高速シンクロモードは、撮像素子５によって被写体を撮像している間に、発光装置３０から高速で補助光を複数回発光させて、短い露光時間においても十分な明るさにて撮像を行うことを可能にするモードである。図５に示す機能ブロックは、この高速シンクロモードが設定された場合のシステム制御部１１の機能ブロックを示している。

図５に示すように、システム制御部１１は、メモリ１６のＲＯＭに記録された撮像制御プログラムを含むプログラムを実行することにより、撮像制御部１１Ａ及び発光制御部１１Ｂを備える撮像制御装置として機能する。

撮像制御部１１Ａは、撮像素子駆動部１０を制御して、撮像素子５をローリングシャッタ方式により駆動して被写体を撮像する。

ローリングシャッタ方式による駆動とは、画素行６２の光電変換素子６１Ａの電荷をリセットしてこの光電変換素子６１Ａの露光を開始する処理を画素行６２を変えながら順次行い、この露光が終了した画素行６２から順次、光電変換素子６１Ａに蓄積された電荷に応じた画素信号を読み出す駆動である。

撮像制御部１１Ａは、このローリングシャッタ方式による駆動を行う場合に、隣接する２つの画素行６２の各々において開始させる露光の開始タイミングの差Δｔを、ｎを１以上の整数として、その露光の行われる時間である露光時間の１／ｎ 倍以外の値に設定する。

発光制御部１１Ｂは、撮像制御部１１Ａの制御によって行われるローリングシャッタ方式による駆動が行われる間に、発光装置３０から所定の発光周期にて補助光を複数回発光させる。

具体的には、発光制御部１１Ｂは、補助光の発光周期を、ｍを１以上の整数として、上記の差Δｔのｍ倍の時間に制御する。発光制御部１１Ｂは、ｍの上限値を、各画素行６２の露光時間を差Δｔで割って得られる商の値に設定する。

図６は、図１に示すデジタルカメラ１００の高速シンクロモード時における撮像素子５の駆動例を示すタイミングチャートである。

図６に示す“Ｌ１”〜“Ｌ１１”は、それぞれ、撮像素子５の撮像面６０に上端側から下端側に向かって順番に並ぶ画素行６２を示している。

図６において、各画素行６２（Ｌ１〜Ｌ１１）の横にある“露光”が記されたブロックは、この各画素行の露光が行われる露光期間を示している。

また、各画素行６２（Ｌ１〜Ｌ１１）の横にある“読み出し処理”が記されたブロックは、この各画素行の光電変換素子６１Ａから画素信号の読み出しが行われる期間を示している。

また、図６に示す白抜きの矢印は、発光装置３０から補助光が発光されるタイミングを示している。なお、補助光が発光されるタイミングとは、この補助光の発光量がピークとなるタイミングを言う。

図６に示す例では、図中に示す“Ｔ”を単位時間として、撮像素子５の各画素行６２の露光時間が“１７Ｔ”となっており、撮像素子５の各画素行６２の読み出し処理に要する時間が“３Ｔ”となっており、撮像素子５の隣接する２つの画素行６２における露光期間の開始タイミングの差Δｔが“５Ｔ”となっている。また、補助光の発光周期が“５Ｔ”に制御されている。

撮像素子５の各画素行６２の露光期間は、撮像感度又は露出値等の撮像条件或いはユーザからの設定によって決められる値である。

撮像素子５の各画素行６２の読み出し処理に要する時間は、信号処理回路６４の処理能力等によって決まる固定値である。

撮像制御部１１Ａは、隣接する２つの画素行６２の露光期間の開始タイミングの差Δｔを、各画素行６２の露光時間の１／ｎ倍以外の値に制御する。

図６に示す例では、差Δｔが“５Ｔ”となっており、この差Δｔは露光時間（＝１７Ｔ）の１／ｎ倍以外の値となっている。このように差Δｔが決められることにより、各画素行６２からの画素信号の読み出し処理中に、他の画素行６２の露光が開始されることはない。このため、各画素行６２から読み出される画素信号に、光電変換素子６１Ａのリセットに起因するノイズが混入するのを防ぐことができる。

また、図６に示す例は、ｍ＝１の例を示しており、補助光の発光周期が、差Δｔ（＝５Ｔ）の１倍に制御されている。

図７は、図１に示すデジタルカメラ１００の高速シンクロモード時における撮像素子５の駆動例の第一の変形例を示すタイミングチャートである。

図７に示すタイミングチャートは、補助光の発光タイミングのみが図６と異なっている。具体的には、図７に示す例は、ｍ＝２の例を示しており、補助光の発光周期（＝１０Ｔ）が、差Δｔ（＝５Ｔ）の２倍に制御されている。

図８は、図１に示すデジタルカメラ１００の高速シンクロモード時における撮像素子５の駆動例の第二の変形例を示すタイミングチャートである。

図８に示すタイミングチャートは、補助光の発光タイミングのみが図６と異なっている。具体的には、図８に示す例は、ｍ＝３の例を示しており、補助光の発光周期（＝１５Ｔ）が、差Δｔ（＝５Ｔ）の３倍に制御されている。

図９は、図１に示すデジタルカメラ１００の高速シンクロモード時における撮像素子５の駆動例の第三の変形例を示すタイミングチャートである。

図９に示す“Ｌ１”〜“Ｌ５”は、それぞれ、撮像素子５の撮像面６０に上端側から下端側に向かって順番に並ぶ画素行６２を示している。

図９において、各画素行６２（Ｌ１〜Ｌ５）の横にある“露光”が記されたブロックは、この各画素行の露光が行われる露光期間を示している。

また、各画素行６２（Ｌ１〜Ｌ５）の横にある“読み出し処理”が記されたブロックは、各画素行の光電変換素子６１Ａから画素信号の読み出しが行われる期間を示している。

また、図９に示す白抜きの矢印は、発光装置３０から補助光が発光されるタイミングを示している。なお、補助光が発光されるタイミングとは、この補助光の発光量がピークとなるタイミングを言う。

図９に示す例では、図中に示す“Ｔ”を単位時間として、撮像素子５の各画素行６２の露光時間が“２Ｔ”となっており、撮像素子５の各画素行６２の読み出し処理に要する時間が“３Ｔ”となっており、撮像素子５の隣接する２つの画素行６２における露光期間の開始タイミングの差Δｔが“５Ｔ”となっている。また、補助光の発光周期が“５Ｔ”に制御されている。

図９に示す例は、ｍ＝１の例を示しており、補助光の発光周期（＝５Ｔ）が、差Δｔ（＝５Ｔ）の１倍に制御されている。

図６〜図９に示したように、補助光の発光周期が差Δｔのｍ倍に制御されることにより、どの画素行６２においても、その画素行６２が露光期間中に受ける補助光の量を均一化することができる。

図６〜９に示す駆動例によれば、各画素行６２において、露光期間の開始又は終了のタイミングと、補助光の発光タイミングとが重なるのを防ぐことができる。このため、補助光にジッターが生じた場合でも撮像画像のムラが生じるのを防ぐことができる。

また、図６〜図９のいずれの例においても、発光された補助光がいずれかの画素行６２に受光されており、補助光を効率よく利用することができる。

なお、発光制御部１１Ｂは、ｋを３以上の整数として、補助光の発光周期を差Δｔのｋ倍以上の時間に制御する場合には、この発光周期の間において、（ｋ−２）回を上限として、差Δｔを周期とする追加の補助光を発光させてもよい。

図１０は、図１に示すデジタルカメラ１００の高速シンクロモード時における撮像素子５の駆動例の第四の変形例を示すタイミングチャートである。図１０は、図８に示すタイミングチャートにおいて、実線で示す矢印の位置が変更され、且つ点線で示す矢印が追加されたものである。

図１０に示す例は、上記のｋが“３”の例を示しており、発光制御部１１Ｂは、発光周期（＝１５Ｔ）で補助光を発光させると共に、１回を上限として、この発光周期で発光させる補助光の発光タイミング（図中の実線の白抜き矢印）を起点として、差Δｔ（＝５Ｔ）を周期とする追加の補助光（図中の点線の白抜き矢印）を発光させる。

ここではｋ＝３の例を示しているが、ｋが４以上の場合も同様に追加の補助光を発光させることができる。

図１１は、図１に示すデジタルカメラ１００の高速シンクロモード時における撮像素子５の駆動例の第五の変形例を示すタイミングチャートである。

図１１に示す例では、図中に示す“Ｔ”を単位時間として、撮像素子５の各画素行６２の露光時間が“２１Ｔ”となっており、撮像素子５の各画素行６２の読み出し処理に要する時間が“３Ｔ”となっており、撮像素子５の隣接する２つの画素行６２における露光期間の開始タイミングの差Δｔが“５Ｔ”となっている。また、補助光の発光周期が“２０Ｔ”に制御されている。

図１１に示す例では、上記のｋが“４”になる。このため、“２０Ｔ”毎に発光される補助光の発光タイミングからΔｔ＝５Ｔを周期とする追加の補助光が（４−２）＝２回を上限として発光されている。

図１０及び図１１に示すように、Δｔのｍ倍の発光周期の間に追加の補助光を発光させることにより、発光周期で発光させる補助光の明るさを、追加の補助光によって補うことができ、撮像画像の明るさを十分に確保することができる。

図１に示すデジタルカメラ１００において、発光装置３０は、本体部１００Ａに固定されたものであることが好ましい。発光装置３０と本体部１００Ａとが一体化されている場合には、発光制御部１１Ｂの制御対象となる発光装置３０が１つに限定される。このため、発光制御を容易に行うことが可能になる。

また、発光制御部１１Ｂは、発光装置３０から発光させる補助光の発光期間（補助光の発光量が閾値を超えてからこの閾値を下回るまでの期間）と、各画素行６２の露光期間の開始タイミングとが重なるのを避けた状態にて、補助光を発光させることが好ましい。

図１２は、差Δｔ＝“５Ｔ”、露光時間＝“１７Ｔ”、読み出し処理に要する時間＝“３Ｔ”、発光周期＝“１５Ｔ”である場合の撮像素子５の駆動例を示すタイミングチャートである。図１２には、補助光の発光波形ｆｌと、発光波形ｆｌの立ち上がりタイミングから立下りタイミングまでの期間である発光期間ＦＬｔとが示されている。

図１２に示す例では、各発光期間ＦＬｔが、どの画素行６２の露光期間の開始タイミングとも重なっていない。このように発光期間が制御されることにより、補助光のジッター耐性をより向上させることができる。

次に、本発明の撮像装置の実施形態としてスマートフォンの構成について説明する。

図１３は、本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。

図１３に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示面としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。

また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示面と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。

図１４は、図１３に示すスマートフォン２００の構成を示すブロック図である。

図１４に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記録部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。

また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）又は文字情報等を表示して視覚的に利用者に情報を伝達するとともに、表示した情報に対する利用者操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３と、を備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等を表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、利用者の指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスを利用者の指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図１４に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、利用者操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０１の大きさ等に応じて適宜設計されるものである。

さらにまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５又はマイクロホン２０６を備え、マイクロホン２０６を通じて入力された利用者の音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。

また、図１３に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチ等を用いたハードウェアキーであって、利用者からの指示を受け付けるものである。例えば、図１３に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。

記録部２１２は、主制御部２２０の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、ダウンロードしたコンテンツデータを記録し、またストリーミングデータ等を一時的に記録するものである。また、記録部２１２は、スマートフォン内蔵の内部記録部２１７と着脱自在な外部メモリスロットを有する外部記録部２１８により構成される。

なお、記録部２１２を構成するそれぞれの内部記録部２１７と外部記録部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４等）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）等）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるパーソナルコンピュータ、イヤホン等がある。

外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達したり、スマートフォン２００の内部のデータが外部機器に伝送されるようにしたりすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０又は外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサ等を備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向又は加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記録部２１２が記録する制御プログラム及び制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記録部２１２が記録するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。

また、主制御部２２０は、受信データ又はダウンロードしたストリーミングデータ等の画像データ（静止画像又は動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。

画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

さらに、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じた利用者操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。

なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じた利用者操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。

さらに、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。

ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラ１００における外部メモリ制御部２０、記録媒体２１、表示コントローラ２２、表示面２３、及び操作部１４以外の構成を含む。

カメラ部２０８によって生成されたＲＡＷ形式又はＪＰＥＧ形式の撮像画像データは、記録媒体２１の代わりに、記録部２１２に記録したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることができる。

図１３に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示したり、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用したりすることができる。

また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。さらには、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等を付加して記録部２１２に記録したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、高速シンクロ撮像を行う場合の撮像画像の輝度ムラを防ぐことができる。また、補助光の利用効率を高めることができる。

以上説明してきたように、本明細書には以下の事項が開示されている。

（１） 光電変換素子を含む画素を複数有し、第一の方向に配列された複数の上記画素からなる画素行が上記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子をローリングシャッタ方式により駆動して被写体を撮像する撮像制御部と、上記撮像が行われる間に、補助光の発光装置から上記補助光を複数回発光させる発光制御部と、を備え、上記ローリングシャッタ方式による上記駆動は、上記画素行の上記光電変換素子の電荷をリセットしてその光電変換素子の露光を開始する処理を上記画素行を変えながら順次行い、上記露光が終了した上記画素行から順次、上記光電変換素子に蓄積された電荷に応じた画素信号を読み出す駆動であり、隣接する２つの上記画素行において上記駆動により開始される上記露光の開始タイミングの差は、ｎを１以上の整数として、その露光の行われる時間である露光時間の１／ｎ 倍以外の値となっており、上記発光制御部は、上記補助光の発光周期を、ｍを１以上の整数として、上記差のｍ倍の時間に制御する撮像制御装置。

（２） （１）記載の撮像制御装置であって、上記発光制御部は、上記露光時間が上記差よりも大きい場合には、上記ｍの上限値を、上記露光時間を上記差で除して得られる商の値に設定する撮像制御装置。

（３） （１）又は（２）記載の撮像制御装置であって、上記発光制御部は、ｋを３以上の整数として、上記補助光の発光周期を上記差のｋ倍以上の時間に制御する場合には、上記発光周期の間において、ｋ−２ 回を上限として、上記補助光の発光タイミングを起点とし上記差を周期とする追加の上記補助光を発光させる撮像制御装置。

（４） （１）〜（３）のいずれか１つに記載の撮像制御装置であって、上記発光制御部は、上記補助光の発光期間と、上記画素行の露光が開始されるタイミングとが重なるのを避けた状態にて上記補助光を発光させる撮像制御装置。

（５） （１）〜（４）のいずれか１つに記載の撮像制御装置と、上記撮像素子と、を備える撮像装置。

（６） （５）記載の撮像装置であって、上記発光装置を更に備える撮像装置。

（７） 光電変換素子を含む画素を複数有し、第一の方向に配列された複数の上記画素からなる画素行が上記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子をローリングシャッタ方式により駆動して被写体を撮像する撮像制御ステップと、上記撮像が行われる間に、補助光の発光装置から上記補助光を複数回発光させる発光制御ステップと、を備え、上記ローリングシャッタ方式による上記駆動は、上記画素行の上記光電変換素子の電荷をリセットしてその光電変換素子の露光を開始する処理を上記画素行を変えながら順次行い、上記露光が終了した上記画素行から順次、上記光電変換素子に蓄積された電荷に応じた画素信号を読み出す駆動であり、隣接する２つの上記画素行において上記駆動により開始される上記露光の開始タイミングの差は、ｎを１以上の整数として、その露光の行われる時間である露光時間の１／ｎ 倍以外の値となっており、上記発光制御ステップでは、上記補助光の発光周期を、ｍを１以上の整数として、上記差のｍ倍の時間に制御する撮像制御方法。

（８） （７）記載の撮像制御方法であって、上記発光制御ステップでは、上記露光時間が上記差よりも大きい場合には、上記ｍの上限値を、上記露光時間を上記差で除して得られる商の値に設定する撮像制御方法。

（９） （７）又は（８）記載の撮像制御方法であって、上記発光制御ステップでは、ｋを３以上の整数として、上記補助光の発光周期を上記差のｋ倍以上の時間に制御する場合には、上記発光周期の間において、ｋ−２ 回を上限として、上記補助光の発光タイミングを起点とし上記差を周期とする追加の上記補助光を発光させる撮像制御方法。

（１０） （７）〜（９）のいずれか１つに記載の撮像制御方法であって、上記発光制御ステップでは、上記補助光の発光期間と、上記画素行の露光が開始されるタイミングとが重なるのを避けた状態にて上記補助光を発光させる撮像制御方法。

（１１） 光電変換素子を含む画素を複数有し、第一の方向に配列された複数の上記画素からなる画素行が上記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子をローリングシャッタ方式により駆動して被写体を撮像する撮像制御ステップと、上記撮像が行われる間に、補助光の発光装置から上記補助光を複数回発光させる発光制御ステップと、をコンピュータに実行させるための撮像制御プログラムであって、上記ローリングシャッタ方式による上記駆動は、上記画素行の上記光電変換素子の電荷をリセットしてその光電変換素子の露光を開始する処理を上記画素行を変えながら順次行い、上記露光が終了した上記画素行から順次、上記光電変換素子に蓄積された電荷に応じた画素信号を読み出す駆動であり、隣接する２つの上記画素行において上記駆動により開始される上記露光の開始タイミングの差は、ｎを１以上の整数として、その露光の行われる時間である露光時間の１／ｎ 倍以外の値となっており、上記発光制御ステップでは、上記補助光の発光周期を、ｍを１以上の整数として、上記差のｍ倍の時間に制御する撮像制御プログラム。

本発明によれば、撮像画像の輝度ムラの発生を防ぎ、且つ補助光の利用効率の低下を防ぐことのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供することができる。

１００ デジタルカメラ
１００Ａ 本体部
１ 撮像レンズ
２ 絞り
４ レンズ制御部
５ 撮像素子
６０ 撮像面
６１ 画素
６１Ａ 光電変換素子
６１Ｄ フローティングディフュージョン
６１Ｅ 読み出し回路
６２ 画素行
６３ 駆動回路
６４ 信号処理回路
６５ 信号線
７０ Ｎ型基板
７１ Ｐウェル層
７２ 読み出し電極
７３ Ｎ型不純物層
７４ Ｐ型不純物層
７５ 領域
７７ リセットトランジスタ
７８ 出力トランジスタ
７９ 選択トランジスタ
８ レンズ駆動部
９ 絞り駆動部
１０ 撮像素子駆動部
１１ システム制御部
１１Ａ 撮像制御部
１１Ｂ 発光制御部
１４ 操作部
１５ メモリ制御部
１６ メモリ
１７ デジタル信号処理部
２０ 外部メモリ制御部
２１ 記録媒体
２２ 表示コントローラ
２３ 表示面
２４ 制御バス
２５ データバス
３０ 発光装置
４０ レンズ装置
２００ スマートフォン
２０１ 筐体
２０２ 表示パネル
２０３ 操作パネル
２０４ 表示入力部
２０５ スピーカ
２０６ マイクロホン
２０７ 操作部
２０８ カメラ部
２１０ 無線通信部
２１１ 通話部
２１２ 記録部
２１３ 外部入出力部
２１４ ＧＰＳ受信部
２１５ モーションセンサ部
２１６ 電源部
２１７ 内部記録部
２１８ 外部記録部
２２０ 主制御部
ＳＴ１〜ＳＴｎ ＧＰＳ衛星

Claims (11)

1. 光電変換素子を含む画素を複数有し、第一の方向に配列された複数の前記画素からなる画素行が前記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子をローリングシャッタ方式により駆動することにより被写体を撮像する撮像制御部と、
   前記撮像が行われる間に、補助光の発光装置から前記補助光を複数回発光させる発光制御部と、を備え、
   前記ローリングシャッタ方式による前記駆動は、前記画素行の前記光電変換素子の電荷をリセットすることにより当該光電変換素子の露光を開始する処理を前記画素行を変えながら順次行い、前記露光が終了した前記画素行から順次、前記光電変換素子に蓄積された電荷に応じた画素信号を読み出す駆動であり、
   隣接する２つの前記画素行において前記駆動により開始される前記露光の開始タイミングの差は、ｎを１以上の整数として、当該露光の行われる時間である露光時間の１／ｎ 倍以外の値となっており、
   前記発光制御部は、前記補助光の発光周期を、ｍを１以上の整数として、前記差のｍ倍の時間に制御する撮像制御装置。
2. 請求項１記載の撮像制御装置であって、
   前記発光制御部は、前記露光時間が前記差よりも大きい場合には、前記ｍの上限値を、前記露光時間を前記差で除して得られる商の値に設定する撮像制御装置。
3. 請求項１又は２記載の撮像制御装置であって、
   前記発光制御部は、ｋを３以上の整数として、前記補助光の発光周期を前記差のｋ倍以上の時間に制御する場合には、前記発光周期の間において、ｋ−２ 回を上限として、前記補助光の発光タイミングを起点とし前記差を周期とする追加の前記補助光を発光させる撮像制御装置。
4. 請求項１〜３のいずれか１項記載の撮像制御装置であって、
   前記発光制御部は、前記補助光の発光期間と、前記画素行の露光が開始されるタイミングとが重なるのを避けた状態にて前記補助光を発光させる撮像制御装置。
5. 請求項１〜４のいずれか１項記載の撮像制御装置と、
   前記撮像素子と、を備える撮像装置。
6. 請求項５記載の撮像装置であって、
   前記発光装置を更に備える撮像装置。
7. 光電変換素子を含む画素を複数有し、第一の方向に配列された複数の前記画素からなる画素行が前記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子をローリングシャッタ方式により駆動することにより被写体を撮像する撮像制御ステップと、
   前記撮像が行われる間に、補助光の発光装置から前記補助光を複数回発光させる発光制御ステップと、を備え、
   前記ローリングシャッタ方式による前記駆動は、前記画素行の前記光電変換素子の電荷をリセットすることにより当該光電変換素子の露光を開始する処理を前記画素行を変えながら順次行い、前記露光が終了した前記画素行から順次、前記光電変換素子に蓄積された電荷に応じた画素信号を読み出す駆動であり、
   隣接する２つの前記画素行において前記駆動により開始される前記露光の開始タイミングの差は、ｎを１以上の整数として、当該露光の行われる時間である露光時間の１／ｎ 倍以外の値となっており、
   前記発光制御ステップでは、前記補助光の発光周期を、ｍを１以上の整数として、前記差のｍ倍の時間に制御する撮像制御方法。
8. 請求項７記載の撮像制御方法であって、
   前記発光制御ステップでは、前記露光時間が前記差よりも大きい場合には、前記ｍの上限値を、前記露光時間を前記差で除して得られる商の値に設定する撮像制御方法。
9. 請求項７又は８記載の撮像制御方法であって、
   前記発光制御ステップでは、ｋを３以上の整数として、前記補助光の発光周期を前記差のｋ倍以上の時間に制御する場合には、前記発光周期の間において、ｋ−２ 回を上限として、前記補助光の発光タイミングを起点とし前記差を周期とする追加の前記補助光を発光させる撮像制御方法。
10. 請求項７〜９のいずれか１項記載の撮像制御方法であって、
    前記発光制御ステップでは、前記補助光の発光期間と、前記画素行の露光が開始されるタイミングとが重なるのを避けた状態にて前記補助光を発光させる撮像制御方法。
11. 光電変換素子を含む画素を複数有し、第一の方向に配列された複数の前記画素からなる画素行が前記第一の方向と直交する第二の方向に複数個配列された撮像面を有する撮像素子をローリングシャッタ方式により駆動して被写体を撮像する撮像制御ステップと、
    前記撮像が行われる間に、補助光の発光装置から前記補助光を複数回発光させる発光制御ステップと、をコンピュータに実行させるための撮像制御プログラムであって、
    前記ローリングシャッタ方式による前記駆動は、前記画素行の前記光電変換素子の電荷をリセットすることにより当該光電変換素子の露光を開始する処理を前記画素行を変えながら順次行い、前記露光が終了した前記画素行から順次、前記光電変換素子に蓄積された電荷に応じた画素信号を読み出す駆動であり、
    隣接する２つの前記画素行において前記駆動により開始される前記露光の開始タイミングの差は、ｎを１以上の整数として、当該露光の行われる時間である露光時間の１／ｎ 倍以外の値となっており、
    前記発光制御ステップでは、前記補助光の発光周期を、ｍを１以上の整数として、前記差のｍ倍の時間に制御する撮像制御プログラム。