JP7013254B2

JP7013254B2 - 撮像装置及び撮像装置の制御方法

Info

Publication number: JP7013254B2
Application number: JP2018007472A
Authority: JP
Inventors: 恭輔佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-01-19
Filing date: 2018-01-19
Publication date: 2022-01-31
Anticipated expiration: 2038-01-19
Also published as: JP2019126014A

Description

本発明は、撮像装置及び撮像装置の制御方法に関する。

特許文献１には、入射された光を電荷に変換する光電変換部と、光電変換部から転送された電荷を蓄積する蓄積部とを備える固体撮像装置が開示されている。当該固体撮像装置において、光電変換部において変換された電荷は蓄積部に複数回転送され、転送された電荷は蓄積部にまとめて蓄積される。

特開２０１０－１５７８９３号公報

特許文献１の固体撮像装置において、ＬＥＤ等の高速で点滅する光源の下で撮影を行うと、取得される画像に光源の点滅に起因する露出差が生じる場合がある。そこで本発明は、点滅光源下における撮影時の露出差の影響を低減することができる撮像装置及び撮像装置の制御方法を提供することを目的とする。

本発明の一観点によれば、光電変換部と第１の信号保持部とを含む画素と、被写体の輝度変化周期を取得する取得手段と、一の撮影周期中に前記光電変換部で発生し蓄積された第１の信号電荷を、前記第１の信号保持部に少なくとも２回転送して加算することにより生成される第１の画像信号を、前記画素から出力させる制御手段と、を備え、前記制御手段は、前記一の撮影周期中における前記光電変換部から前記第１の信号保持部への前記第１の信号電荷の転送回数を前記輝度変化周期に基づいて決定する処理を行い、前記輝度変化周期が第１の閾値よりも小さい場合に、前記転送回数を前記輝度変化周期に基づいて決定することを特徴とする撮像装置が提供される。

本発明の他の一観点によれば、光電変換部と第１の信号保持部とを含む画素を備える撮像装置の制御方法であって、被写体の輝度変化周期を取得するステップと、一の撮影周期中に前記光電変換部で発生し蓄積された第１の信号電荷を、前記第１の信号保持部に少なくとも２回転送して加算することにより生成される第１の画像信号を、前記画素から出力させるステップと、を備え、前記輝度変化周期が第１の閾値よりも小さい場合に、前記一の撮影周期中における前記光電変換部から前記第１の信号保持部への前記第１の信号電荷の転送回数が前記輝度変化周期に基づいて決定され得ることを特徴とする撮像装置の制御方法が提供される。

本発明によれば、点滅光源下における撮影時の露出差の影響を低減することができる撮像装置及び撮像装置の制御方法を提供することができる。

本発明の実施形態による撮像装置を示す外観図である。撮像装置の概略構成を示すブロック図である。撮像装置における撮像素子の画素の構成例を示す回路図である。撮像装置におけるデュアル撮影の動作を示すフローチャートである。デュアル撮影時の撮影条件設定画面を示す模式図である。デュアル撮影時のプログラムＡＥ線図である。撮像素子の動作の第１の例を示すタイミングチャートである。第１の例における各制御信号を示すタイミングチャートである。撮像装置の動作の第２の例を示すタイミングチャートである。撮像装置の動作の第３の例を示すタイミングチャートである。点滅光源による露出差の第１の例を示すタイミングチャートである。点滅光源による露出差の第１の例を示す画像である。点滅光源による露出差の第２の例を示すタイミングチャートである。点滅光源による露出差の第２の例を示す画像である。動画の露出差低減処理を示すフローチャートである。第１の露出差低減処理の効果を示すタイミングチャートである。第２の露出差低減処理の効果を示すタイミングチャートである。静止画の露出差低減処理を示すフローチャートである。第３の露出差低減処理の効果を示すタイミングチャートである。静止画及び動画の表示例を説明する模式図である。

本発明の実施形態による撮像装置について説明する。本実施形態では、撮像のための撮影光学系と、撮像素子と、撮像素子から出力される映像信号を処理するための映像処理装置と、を有する撮像装置を、本発明の実施形態の一例として説明する。ただし、映像処理装置は、必ずしも撮像装置の一部として構成される必要はなく、撮像素子及び撮影光学系とは別のハードウェアにより構成されていてもよい。また、映像処理装置の機能の全部又は一部を、撮像素子に搭載するようにしてもよい。

（撮像装置の構成）
図１（ａ）及び図１（ｂ）は、本実施形態における撮像装置の一例としてのデジタルスチルモーションカメラの外観図である。図１（ａ）は、撮像装置の正面図を示しており、図１（ｂ）は、撮像装置の背面図を示している。撮像装置１００は、筐体１５１と、筐体１５１の正面部に設けられた撮影光学系１５２と、筐体１５１の上面部に設けられたスイッチＳＴ１５４及びプロペラ１６２とを有している。また、撮像装置１００は、筐体１５１の背面部に、表示部１５３と、スイッチＭＶ１５５と、撮影モード選択レバー１５６と、メニューボタン１５７と、アップダウンスイッチ１５８、１５９と、ダイアル１６０と、再生ボタン１６１とを有している。

筐体１５１は、撮像素子、シャッター装置等の撮像装置１００を構成する種々の機能部品を収納する容器である。撮影光学系１５２は、被写体の光学像を結像するための光学系である。表示部１５３は、撮影情報や映像を表示するための表示装置により構成される。表示部１５３には、必要に応じて画面の向きを変えるための可動機構が設けられていてもよい。表示部１５３は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。スイッチＳＴ１５４は、主に静止画の撮影を行うために使用するシャッターボタンである。スイッチＭＶ１５５は、動画撮影の開始及び停止を行うためのボタンである。撮影モード選択レバー１５６は、撮影モードを選択するための切り替えスイッチである。メニューボタン１５７は、撮像装置１００のモードを撮像装置１００の機能設定を行う機能設定モードへ移行させるためのボタンである。アップダウンスイッチ１５８、１５９は、各種の設定値を変更する際に用いるボタンである。ダイアル１６０は、各種の設定値を変更するためのダイアルである。再生ボタン１６１は、撮像装置１００に収納されている記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するためのボタンである。プロペラ１６２は、空中からの撮影を行うために撮像装置１００を空中に浮上させるためのものである。

図２は、本実施形態による撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、図２に示すように、絞り１８１、絞り制御部１８２、光学フィルタ１８３、撮像素子１８４、デジタル信号処理部１８７、タイミング発生部１８９を有している。また、撮像装置１００は、システム制御ＣＰＵ１７８、スイッチ入力手段１７９、映像メモリ１９０、飛行制御装置２００、取得手段２０１を有している。また、撮像装置１００は、表示部１５３、表示インターフェース部１９１、記録インターフェース部１９２、記録媒体１９３、プリントインターフェース部１９４、外部インターフェース部１９６、無線インターフェース部１９８を有している。

撮像素子１８４は、撮影光学系１５２を介して結像された被写体の光学像を電気的な映像信号に変換するためのものである。なお、図中に一点鎖線で示された光軸１８０は、撮影光学系１５２の光軸を示している。撮像素子１８４は、例えば、ＣＭＯＳ型のイメージセンサであり得る。撮像素子１８４の仕様は、特に限定されるものではないが、例えば、ＵＨＤＴＶ（Ultra High Definition Television）の規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。絞り１８１は、撮影光学系１５２を通る光の量を調節するためのものである。絞り制御部１８２は、絞り１８１を制御するためのものである。光学フィルタ１８３は、撮像素子１８４に入射する光の波長又は被写体像の空間周波数を制限するためのものである。

取得手段２０１は、被写体から射出され、撮像素子１８４に入射される光に基づいて少なくとも、被写体の輝度変化周期を取得する。このとき、取得手段２０１は、被写体の輝度変化のデューティー（Duty）比又は被写体の輝度変化の位相を更に取得してもよい。このデューティー比は、例えば、被写体の輝度が所定値を超えている期間（光源の点灯期間）の割合であり得る。あるいは、取得手段２０１は、あらかじめ設定された値を映像メモリ１９０、記録媒体１９３等の記録装置から読み出すことにより光の周期、デューティー比又は位相を取得してもよい。あるいは、取得手段２０１は、スイッチ入力手段１７９等のユーザインターフェースによりユーザからの入力を受け付けることにより、光の周期、デューティー比又は位相を取得してもよい。

デジタル信号処理部１８７は、撮像素子１８４から出力されるデジタル信号の映像信号に対して各種の補正を行った後、映像データを圧縮するためのものである。タイミング発生部１８９は、撮像素子１８４、デジタル信号処理部１８７に各種タイミング信号を出力するためのものである。システム制御ＣＰＵ１７８は、タイミング発生部１８９とともに、各種演算の実行や撮像装置１００の全体の制御を司る制御手段として機能する。また、システム制御ＣＰＵ１７８は、撮像素子１８４で取得された信号から周期、デューティー（Duty）比又は位相を算出することにより、上述の取得手段２０１として機能してもよい。あるいは、システム制御ＣＰＵ１７８は、記録装置又はユーザインターフェースから光の周期、デューティー比又は位相を取得することにより、上述の取得手段２０１として機能してもよい。

映像メモリ１９０は、映像データを一時的に記憶するためのものである。表示インターフェース部（表示Ｉ／Ｆ）１９１は、撮影された映像を液晶ディスプレイ等の表示部１５３に表示するためのシステム制御ＣＰＵ１７８と表示部１５３との間のインターフェースである。記録媒体１９３は、映像データや付加データ等を記録するための半導体メモリ等の記録媒体であり、撮像装置１００に備え付けられていてもよく、着脱可能であってもよい。記録インターフェース部（記録Ｉ／Ｆ）１９２は、記録媒体１９３に記録又は記録媒体から読み出しを行うためのシステム制御ＣＰＵ１７８と記録媒体１９３との間のインターフェースである。外部インターフェース部（外部Ｉ／Ｆ）１９６は、外部コンピュータ１９７等の外部機器と通信するためのシステム制御ＣＰＵ１７８と外部機器との間のインターフェースである。プリントインターフェース部（プリントＩ／Ｆ）１９４は、撮影された映像を小型インクジェットプリンタ等のプリンタ１９５に出力し印刷するためのシステム制御ＣＰＵ１７８とプリンタ１９５との間のインターフェースである。無線インターフェース部（無線Ｉ／Ｆ）１９８は、インターネット等のネットワーク１９９と通信するためのシステム制御ＣＰＵ１７８とネットワーク１９９との間のインターフェースである。スイッチ入力手段１７９は、スイッチＳＴ１５４、スイッチＭＶ１５５、各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置２００は、空中からの撮影を行うためにプロペラ１６２を制御して撮像装置１００を飛行させるための制御装置である。

図３は、本実施形態による撮像装置１００における撮像素子１８４の画素の構成例を示す回路図である。撮像素子１８４は、複数の画素５０が行列状に配列された画素アレイを有する。図３においては、撮像素子１８４の複数の画素５０のうち、１行１列目（１，１）の画素５０と最終行であるｍ行１列目（ｍ，１）の画素５０のみを示している。１行１列目（１，１）の画素５０とｍ行１列目（ｍ，１）の画素５０の回路構成は同一であるため、対応する素子には同じ符号が付されている。

各画素５０は、図３に示すように、フォトダイオード５００、転送トランジスタ５０１Ａ、５０１Ｂ、５０２Ａ、５０２Ｂ、５０３、リセットトランジスタ５０４、増幅トランジスタ５０５及び選択トランジスタ５０６を含む。

フォトダイオード５００のアノードは、接地線に接続されている。フォトダイオード５００のカソードは、転送トランジスタ５０１Ａのソース、転送トランジスタ５０１Ｂのソース及び転送トランジスタ５０３のソースに、それぞれ接続されている。転送トランジスタ５０１Ａのドレインは、転送トランジスタ５０２Ａのソースに接続されている。転送トランジスタ５０１Ａのドレインと転送トランジスタ５０２Ａのソースとの間の接続ノードは、信号保持部５０７Ａ（第２の信号保持部）を構成する。転送トランジスタ５０１Ｂのドレインは、転送トランジスタ５０２Ｂのソースに接続されている。転送トランジスタ５０１Ｂのドレインと転送トランジスタ５０２Ｂのソースとの間の接続ノードは、信号保持部５０７Ｂ（第１の信号保持部）を構成する。

転送トランジスタ５０２Ａのドレイン及び転送トランジスタ５０２Ｂのドレインは、リセットトランジスタ５０４のソース及び増幅トランジスタ５０５のゲートに接続されている。転送トランジスタ５０２Ａのドレイン、転送トランジスタ５０２Ｂのドレイン、リセットトランジスタ５０４のソース及び増幅トランジスタ５０５のゲートの接続ノードは、フローティングディフュージョン領域５０８を構成する。増幅トランジスタ５０５のソースは、選択トランジスタ５０６のドレインに接続されている。リセットトランジスタ５０４のドレイン及び増幅トランジスタ５０５のドレインは、電源線５２０に接続されている。転送トランジスタ５０３のドレインは、電源線５２１に接続されている。選択トランジスタ５０６のソースは、信号出力線５２３に接続されている。

このように、本実施形態による撮像素子１８４の画素５０は、光電変換部として機能する１つのフォトダイオード５００に対して２つの信号保持部５０７Ａ、５０７Ｂを有している。信号保持部を有する撮像素子の基本構造は、例えば、特許文献１にて開示されているため、ここでの詳細な説明は省略する。

複数の画素５０は、行方向に配された制御線に接続されている。各行の制御線は、転送トランジスタ５０１Ａ、５０２Ａ、５０１Ｂ、５０２Ｂ、５０３、リセットトランジスタ５０４及び選択トランジスタ５０６のゲートにそれぞれ接続された複数の制御線を含む。転送トランジスタ５０１Ａは転送パルスφＴＸ１Ａで制御され、転送トランジスタ５０２Ａは転送パルスφＴＸ２Ａで制御される。転送トランジスタ５０１Ｂは転送パルスφＴＸ１Ｂで制御され、転送トランジスタ５０２Ｂは転送パルスφＴＸ２Ｂで制御される。リセットトランジスタ５０４はリセットパルスφＲＥＳで制御され、選択トランジスタ５０６は選択パルスφＳＥＬで制御される。転送トランジスタ５０３は転送パルスφＴＸ３で制御される。各制御パルスは、撮像装置１００のシステム制御ＣＰＵ１７８からの制御信号に基づいて、撮像素子１８４に設けられた不図示の垂直走査回路から送出される。各トランジスタは、制御パルスがハイレベルのときにオンとなり、制御パルスがローレベルのときにオフとなる。

本実施形態の撮像素子１８４は、１つのフォトダイオード５００に対して２つの信号保持部５０７Ａ、５０７Ｂを有している。これにより、撮像装置１００は、第１の画像信号である動画と第２の画像信号である静止画とをほぼ同時に撮影することが可能となっている。

以上が本実施形態における撮像装置１００の基本的な構成である。続いて撮像装置１００を用いた静止画と動画の同時撮影（以降、デュアル撮影と呼称する）の動作について説明する。

（デュアル撮影のフロー）
図４は本実施形態による撮像装置１００におけるデュアル撮影の動作を示すフローチャートである。この動作は、システム制御ＣＰＵ１７８又はシステム制御ＣＰＵ１７８により制御される撮像装置１００の各部により実行される。また、図５は、図４のフローチャートのステップＳ４０１からＳ４０３における各種設定を行う際に、表示部１５３に表示される撮影条件設定画面を示す模式図である。

ユーザが撮像装置１００の撮影モード選択レバー１５６を回転させると、撮像装置１００は、デュアル撮影を行うためのデュアル撮影モードに移行し、図４のフローチャートの処理が開始する。なお、撮像装置１００がアクションカメラ等の小型のカメラである場合において、撮像装置１００は、常にデュアル撮影モードで動作するものであってもよい。この場合、撮影モード選択レバー１５６は省略可能である。

図４のステップＳ４０１において、撮像装置１００のスイッチ入力手段１７９等は、デュアル撮影における基本撮影条件を設定するためのユーザの操作を受け付ける。ここで、図５を参照して、撮影条件設定画面の構成、パラメータ等の内容について説明する。

表示部１５３の上段には、動画フレームレート表示窓３４０、露出モード表示窓３４１、ＩＳＯ感度設定表示窓３４２及び蓄積分割数表示窓３７０が表示されている。動画フレームレート表示窓３４０、露出モード表示窓３４１、ＩＳＯ感度設定表示窓３４２及び蓄積分割数表示窓３７０の中には、動画フレームレート、露出モード、ＩＳＯ感度設定及び蓄積分割数がそれぞれ表示される。

また、表示部１５３の中段は、動画（Picture A）及び静止画（Picture B）のそれぞれについての設定又はパラメータの表示窓が表示されている領域である。表示部１５３の動画（Picture A）の行には、ＩＳＯ感度表示窓３２３、シャッタースピード表示窓３２５、露出補正値表示窓３５１及びピクチャーモード表示窓３２７が表示されている。表示部１５３の静止画（Picture B）の行には、ＩＳＯ感度表示窓３２４、シャッタースピード表示窓３２６、露出補正値表示窓３５２及びピクチャーモード表示窓３２８が表示されている。更に、表示部１５３の動画（Picture A）の行及び静止画（Picture B）の行には、これらに共通の絞り値表示窓３２２が表示されている。ＩＳＯ感度表示窓３２３、３２４には、ＩＳＯ感度の値が表示されている。シャッタースピード表示窓３２５、３２６には、シャッタースピードの値が表示されている。絞り値表示窓３２２には絞り値が表示されている。露出補正値表示窓３５１、３５２には、露出補正値が表示されている。ピクチャーモード表示窓３２７、３２８には、ピクチャーモードが表示されている。

表示部１５３の下段には、輝度表示部３６１及び優先順位表示部３６０が表示されている。輝度表示部３６１には、検出された被写体の輝度が表示されている。優先順位表示部３６０には、デュアル撮影時の電荷の蓄積において、動画と静止画のうちのどちらを優先するかを示す優先順位が表示されている。ユーザは、アップダウンスイッチ１５８、１５９、ダイアル１６０等を操作することにより、表示部１５３に表示されている設定又は値を変更することができる。

図４のステップＳ４０１において、ユーザは、基本撮影条件として、動画フレームレート、露出モード及びＩＳＯ感度設定の３つのパラメータを設定する。また、ユーザはこれに加えて、露出補正値、ピクチャーモード、優先順位等のパラメータを設定してもよい。撮像装置１００は、これらの設定を受け付ける。

動画フレームレートは、動画撮影時における画像の取得頻度を決めるためのパラメータである。動画フレームレートが大きいほど、画像を取得する頻度が大きくなるため、滑らかな動画を撮影することができるが、処理負荷及びデータ量が増大する。そのため、ユーザは、これらを考慮して、動画フレームレートの値を適切に設定する。図５の動画フレームレート表示窓３４０に示されているように、本実施形態では、動画フレームレートの値は６０ｆｐｓ（frames per second）に設定されている。動画フレームレートの逆数は動画周期、すなわち、画像を取得する時間間隔であり、本実施形態では１／６０秒である。

露出モードとＩＳＯ感度設定は、シャッタースピード、絞り値及びＩＳＯ感度の３つのパラメータのうち、いずれを手動で設定し、いずれを自動で設定するかを決めるものである。シャッタースピード、絞り値及びＩＳＯ感度は、撮影する画像の明るさ（露出）を決める要素であり、これらは、総称として露出パラメータと呼称されることもある。

ユーザは、自身の撮影意図に基づき、露出パラメータのうちの手動で設定するものを決めて、それを設定するための適切な露出モード及びＩＳＯ感度設定を選択する。例えば、高速で動く被写体を鮮鋭に撮影したい場合には、シャッタースピードをなるべく短くすることが望まれる。そのため、ユーザは、露出モードをシャッター優先ＡＥ（Auto Exposure）モード（いわゆる、Ｔｖモード等）に設定し、手動でシャッタースピードを短い値に設定できるようにする。

また、被写体の背景をぼかしたい場合には、絞り値をなるべく小さくすることが望まれる。そのため、ユーザは、露出モードを絞り優先ＡＥモード（いわゆる、Ａｖモード等）に設定し、手動で小さい絞り値設定できるようにする。

また、なるべくノイズの少ない画像を得たい場合には、小さいＩＳＯ感度で撮影を行うことが望まれる。そのため、ユーザは、ＩＳＯ感度設定を手動に設定し、ＩＳＯ感度の値を１００等の小さい値に設定する。

また、ユーザが全てのパラメータを自動で設定させることを望む場合には、ユーザは、露出モードをプログラムＡＥモード（いわゆる、Ｐモード等）に設定し、ＩＳＯ感度設定をオート（AUTO）にそれぞれ設定すればよい。

デュアル撮影時においては、静止画と動画とをそれぞれ異なるシャッタースピード及びＩＳＯ感度に制御しながら撮影を行うため、露出パラメータの設定はなるべく自動化されている方がユーザの操作が簡易である。したがって、本実施形態では、図５の露出モード表示窓３４１に示されているように、露出モードはＰモードである。また、図５のＩＳＯ感度設定表示窓３４２に示されているように、ＩＳＯ感度設定はオートである。

露出補正値及びピクチャーモードは、静止画及び動画の画質を調整するためのパラメータである。撮像装置１００は、１フレームごとにそれぞれ独立した静止画及び動画の画像を取得するため、露出補正値及びピクチャーモードの設定は、静止画及び動画に対しそれぞれ独立して行うことができる。

静止画と動画の優先順位の設定は、蓄積タイミングの重複、処理負荷の増大等により、デュアル撮影を行うことが困難になった場合に、静止画と動画のどちらを優先して画像取得及び記録を行うかに関する設定である。

なお、ステップＳ４０１で設定された動画フレームレート、露出モード、ＩＳＯ感度設定等のパラメータは、基本的にはデュアル撮影中には変化しない。言い換えると、これらのパラメータはデュアル撮影中に変わらないように固定的に適用されるパラメータである。

図４のステップＳ４０２において、撮像装置１００のシステム制御ＣＰＵ１７８等は、適切な露出の画像を撮影できるようにするための測光及び露出制御を行う。この処理では、被写体の輝度を測定し、その後、得られた輝度値と露出モードの設定と、ＩＳＯ感度設定に基づき、露出パラメータを最適な値に自動設定する。

被写体の輝度の測定には様々な公知の測光手法が用いられ得る。露出パラメータの自動設定は、ＡＰＥＸ（Additive system of Photographic EXposure）システムと呼称される計算方法に基づくＡＥ線図を用いて行われる。

ＡＰＥＸシステムは、露出制御に関わる計算を容易に行うための計算方法である。シャッタースピード、絞り値及びＩＳＯ感度は、それぞれＴｖ（Time value）、Ａｖ（Aperture value）、Ｓｖ（Sensitivity value）に換算される。更に、測光により得られた被写体の輝度値をＢｖ（Brightness value）、露出をＥｖ（Exposure value）とする。これらの５つの値は総称としてＡＰＥＸ値とも呼称される。

このとき、５つのＡＰＥＸ値が以下の（式１）に示す関係式を満たすように露出パラメータを設定することで、適露出の画像を得ることができる。
Ｅｖ＝Ｔｖ＋Ａｖ＝Ｂｖ＋Ｓｖ（式１）

本実施形態では露出モードをＰモードに設定し、ＩＳＯ感度設定をオートに設定しているため、ＡＰＥＸ値のうちのＴｖ、Ａｖ及びＳｖがいずれも未指定であり、これらは１通りの値には定まらない。そこで、撮像装置１００は、あらかじめこれらの関係を規定するＡＥ線図を備えており、ＡＥ線図を参照することでこれらのＡＰＥＸ値を決定し、露出パラメータを設定する。

図６は本実施形態の撮像装置１００における、デュアル撮影時のプログラムＡＥ線図である。このＡＥ線図は、露出モードがＰモードであり、ＩＳＯ感度設定がオートである場合を前提としたものである。図６において、横軸はＴｖを示しており、縦軸はＡｖを示している。横軸及び縦軸にはそれぞれ対応するシャッタースピード及び絞り値を付記している。また、斜め方向の破線は等Ｅｖ線を示している。

また、図６には、実線で静止画のプログラム線３８８が示されておりと破線でプログラム線３８９が示されている。更に、図６中の左上の領域３８６には動画におけるＢｖとＩＳＯ感度の関係が図示されており、領域３８７には静止画におけるＢｖとＩＳＯ感度の関係が図示されている。

図６に示されているように、静止画の撮影と動画の撮影において、撮像装置１００は、それぞれ異なる露出制御を行う。具体的には、静止画の撮影においては鮮鋭な画像を得るために、シャッタースピードが比較的小さい値（例えば、１／１０００秒以下）となるようにプログラム線３８８が設定されている。一方、動画の撮影においては再生時にジャーキネスを感じにくい画像を得るために、シャッタースピードが動画フレームレートの逆数に近い値（例えば、１／６０秒）となるようにプログラム線３８９が設定されている。

また、共通の撮影光学系１５２を用いたデュアル撮影を実現するため、これらのプログラム線は互いに、同じ被写体輝度値に対して同じ絞り値になるように設定されている。例えば、Ｂｖが１２の被写体の撮影においては、静止画の等Ｅｖ線３８１は、プログラム線３８８と交点３８３において交わるため、シャッタースピードは１／１０００秒、絞り値は１１と決定される。同様に、動画の等Ｅｖ線３８４は、プログラム線３８９と交点３８２において交わるため、シャッタースピードは１／６０秒、絞り値は１１と決定される。

このとき、本実施形態の撮像装置１００は、動画の撮影における適切なＩＳＯ感度は、静止画の撮影における適切なＩＳＯ感度よりも低くなる。しかしながら、静止画の撮影が適露出で行われるように撮像素子１８４の感度設定を行うと、動画の撮影において信号が飽和することがある。これに対し、動画の撮影が適露出で行われるように撮像素子１８４の感度設定を行うと、静止画の撮影において信号が小さくなるため、Ｓ／Ｎ比が不十分となることがある。このように、静止画と動画の両方に対して適切な感度設定を行うためには、信号の蓄積方法に工夫が必要となる。

そのため、本実施形態では、静止画の撮影が適露出で行われるように撮像素子１８４を設定する。これとともに、動画の撮影においては、シャッタースピードに相当する蓄積期間の間に、ほぼ均等の時間間隔で分散された短い期間の蓄積（以下単に短い蓄積と呼ぶこともある）及び転送を複数回行うように制御を行う。これにより、静止画を適露出で撮影しつつ、動画の撮影においても画像信号を飽和させないようにすることができる。また、本制御では、見かけ上のシャッタースピード（最初の短い蓄積を行ってから、最後の短い蓄積を終えるまでの時間）は、動画フレームレートの逆数とほぼ一致するため、ジャーキネスを低減させる効果は維持される。

更に、動画の撮影において上述の短い蓄積を行った時間の合計が、静止画の撮影におけるシャッタースピード（すなわち、静止画の撮影における蓄積時間の合計）と略等しくなるようにしてもよい。これにより、動画と静止画に対し、同じ感度設定が可能になる。

以上のように、本実施形態の撮像装置１００は、同一の撮影光学系１５２を用いて、鮮鋭な静止画と、ジャーキネスが低減された滑らかな動画をほぼ同時に撮影することができる。そのため、高品位な静止画及び動画の撮影が可能なデュアル撮影が実現される。

なお、デュアル撮影における具体的なパラメータの一例としては、以下のものが挙げられる。Ｂｖが１２の被写体を撮影する場合、ＩＳＯ感度は静止画に適した１００に設定される。ここで、動画の撮影においては、１／８０００秒の短い蓄積を１／４８０秒の時間間隔で８回行う。なお、１／８０００秒は、静止画のシャッタースピードである１／１０００秒を８等分した時間であり、１／４８０秒の時間間隔は、ジャーキネスを感じにくい好適なシャッタースピードである１／６０秒を８等分したものである。

以降の説明では、上述のような短い蓄積を複数回行う動画の蓄積方法を、動画の分割蓄積と呼称する。更に、動画を構成する１枚の画像を得る１フレーム期間（一の撮影周期中）において、動画のシャッタースピード（１／６０秒等）に相当する期間を動画の蓄積期間と定義する。すなわち、動画の蓄積期間は、１フレーム期間のうちの、信号電荷を蓄積する期間であり、１フレーム期間の間のほぼすべての期間に分割蓄積を行う場合には、動画の蓄積期間は１フレーム期間にほぼ一致する。また、短い蓄積を行った時間の累計を動画の蓄積時間と定義する。また、短い蓄積を行い、蓄積された電荷を転送する転送回数、すなわち蓄積期間の分割数を蓄積分割数と定義する。また、蓄積期間内における短い蓄積の間隔を蓄積間隔と定義し、１回の短い蓄積の時間を単位蓄積時間と定義する。なお、仮に静止画についても同様の定義をするとすれば、静止画の撮影時には分割蓄積を行わないため、蓄積分割数は１である。また、静止画に関しては、蓄積期間、蓄積時間及び単位蓄積時間は全て等しく、これらはいずれもシャッタースピードと一致する。

また、以降の説明では、動画フレームレートの逆数である動画周期をＴｆと、静止画の蓄積期間（動画の蓄積時間と等しい）をＴ１と、動画の蓄積期間をＴ２と、蓄積分割数をＮｐとそれぞれ表記して適宜用いるものとする。このとき、動画の蓄積間隔及び単位蓄積時間は、それぞれＴ２／Ｎｐ及びＴ１／Ｎｐとなる。なお、短い蓄積は少なくとも２回行われ、また、蓄積された電荷は少なくとも２回転送されるため、蓄積分割数Ｎｐは２以上の整数である。

なお、上述のＢｖ値が１２の場合のように、１フレーム期間内に短い蓄積を８回行う場合（蓄積分割数Ｎｐ＝８）には、見かけ上のシャッタースピード（１／６０秒の７／８倍）は動画の蓄積期間（１／６０秒）に対してやや短くなる。これにより、ジャーキネスの低減効果はシャッタースピードが１／６０秒ちょうどである場合と比べるとやや減少する。しかしながら、この影響は蓄積分割数がある程度の大きさであれば十分に小さい。

この分割蓄積は、動画の蓄積期間とシャッタースピードとを同一とした際に、フレーム間の蓄積間隔（あるフレームで最後の蓄積を開始してから、次のフレームで最初の蓄積を開始するまでの時間）を動画の蓄積間隔と同一とすることができる。すなわち、複数のフレーム期間にわたって常に一定の間隔で分割蓄積を行うことができるため、制御を容易にすることができる。

ただし、ジャーキネスの低減効果をより重視する場合には、１フレーム内で短い蓄積を上述の望ましい蓄積分割数よりも１回多い回数（すなわち、９回）行ってもよい。この場合、動画の見かけ上のシャッタースピードは、蓄積期間と単位蓄積時間の和となり、蓄積期間よりも長くなるため、ジャーキネスをより低減することができる。なお、この場合には単位蓄積期間は、Ｔ１／（Ｎｐ＋１）となる。また、この場合には、蓄積期間は少なくとも動画フレームレートよりも短い長さに設定する必要がある。

図４のステップＳ４０２においては、以上の手法を適用できるように静止画と動画のそれぞれについての露出パラメータの設定が行われる。露出パラメータの設定が完了すると、図５に示されるように表示部１５３の各表示窓に設定された露出パラメータが表示される。具体的には、ＩＳＯ感度表示窓３２３、３２４に設定されたＩＳＯ感度が表示され、シャッタースピード表示窓３２５、３２６に設定されたシャッタースピードが表示され、絞り値表示窓３２２に設定された絞り値が表示される。これにより、ユーザは、設定された露出パラメータを確認することができる。

図４のステップＳ４０３において、撮像装置１００のシステム制御ＣＰＵ１７８は、動画の蓄積分割数を設定する。一般に、蓄積分割数が大きい程、短い蓄積の間隔が短くなるため、得られる画像はジャーキネスが低減されたより自然な物となる。一方で、蓄積分割数が大きすぎると、撮像素子１８４における処理速度の限界、蓄積時間の累積誤差等の影響が現れる可能性がある。したがって、蓄積分割数は、撮像素子１８４の処理速度、ステップＳ４０１で設定された動画フレームレート、ステップＳ４０２で設定された動画の蓄積期間等を考慮しつつ、適切な値に設定される。蓄積分割数の設定が完了すると、図５に示されるように表示部１５３の蓄積分割数表示窓３７０に設定された値が表示される。これにより、ユーザは、設定された蓄積分割数を確認することができる。

図４のステップＳ４０４において、撮像装置１００のシステム制御ＣＰＵ１７８は、ＬＥＤ（Light Emitting Diode）等の点滅光源の影響の判定を行うための、各種の閾値を設定する。この判定の処理及び閾値の設定については後述する。図４に示されるようにステップＳ４０４の処理は、ステップＳ４０２、Ｓ４０３の後であることが望ましい。判定に用いられる閾値は、露出パラメータ、蓄積分割数等のパラメータを参照して設定することが望ましいためである。なお、これらの閾値は、表示部１５３に表示されてもよいが、閾値はユーザの撮影意図と直接関連するものではないため、表示部１５３に表示されなくてもよい。

図４のステップＳ４０５において、撮像装置１００のシステム制御ＣＰＵ１７８は、デュアル撮影を開始するか否かの判定を行う。この判定は、ユーザによるスイッチＭＶ１５５の押下があったか否かに基づいて行われる。ユーザが撮像装置１００のスイッチＭＶ１５５を押下した場合には、ユーザによる動画撮影の開始の指示がなされていることから、撮像装置１００は、デュアル撮影を開始すると判定する（ステップＳ４０５においてＹｅｓ）。この場合、処理はステップＳ４０６に移行する。ユーザが撮像装置１００のスイッチＭＶ１５５を押下していない場合には、撮像装置１００は、デュアル撮影を開始せずに撮影準備を継続するものと判定する（ステップＳ４０５においてＮｏ）。この場合、処理はステップＳ４０１に移行する。

図４のステップＳ４０６からステップＳ４１５のループは、デュアル撮影の継続中の処理である。ユーザが再び撮像装置１００のスイッチＭＶ１５５を押下して撮影を終了するまで、ステップＳ４０６からステップＳ４１５の処理が繰り返される。ステップＳ４０６からステップＳ４０８の処理は、デュアル撮影中の被写体の輝度変化に対応するためのパラメータの更新処理である。これらの処理は、ステップＳ４０２からステップＳ４０４と同様の処理であるため詳細な説明を省略する。

ステップＳ４０９からステップＳ４１３の処理では、点滅光源による画質への影響の有無の判定及び当該影響の低減のためのパラメータの設定が行われる。ステップＳ４１４においては、動画及び静止画を生成するための画像信号の取得が行われる。

上述のステップＳ４０６からステップＳ４１５の処理は動画の撮影周期ごとに実行される。この処理のタイミングは、システム制御ＣＰＵ１７８の制御に基づき、タイミング発生部１８９が動画周期ごとに垂直同期信号等の各種の制御信号を撮像装置１００の各部に出力することで制御される。

これにより、ステップＳ４１４において、動画周期ごとに撮像素子１８４から静止画及び動画を生成するための１フレーム分（一の撮影周期分）の画像信号が出力される。なお、当該画像信号は、単に画像、静止画、動画等と呼称されることもある。また、動画の表示に用いられる画像信号は第１の画像信号と呼称されることもあり、静止画の表示に用いられる画像信号は第２の画像信号と呼称されることもある。システム制御ＣＰＵ１７８は、これらの画像信号に対し、各種のデータ処理、画像処理等を行い、記録媒体１９３に保存させる。記録媒体１９３に保存された静止画及び動画は、撮像装置１００の表示部１５３、各種のタブレット端末、パーソナルコンピュータ、テレビモニタ等の表示手段で再生され得る。

まず、ステップＳ４１４における画像の取得についてより詳細に説明する。その後、ステップＳ４０９からステップＳ４１３における処理についてより詳細に説明する。そして、撮影された静止画及び動画の表示方法及び印刷方法について説明する。

（デュアル撮影の動作タイミング）
図７は、ステップＳ４１４における、撮像素子１８４の蓄積、転送及び読み出しのタイミングの第１の例を示すタイミングチャートである。ここで、蓄積とは、撮像素子１８４のフォトダイオード５００において、入射光を光電変換し、発生した電荷をフォトダイオード５００に蓄積することを指す。転送とは、フォトダイオード５００に蓄積された電荷を信号保持部５０７Ａ又は５０７Ｂへ転送し、信号保持部５０７Ａ又は５０７Ｂに保持させることを指す。したがって、蓄積回数と転送回数は一致する。また、読み出しとは、信号保持部５０７Ａ又は５０７Ｂに保持された電荷を、フローティングディフュージョン領域５０８に転送し、フローティングディフュージョン領域５０８の電位に基づく信号を撮像素子１８４の外部に出力させることを指す。図７において、横軸方向は時刻を示しており、縦軸方向は撮像素子１８４の画素５０の各行をそれぞれ示している。なお、実際の撮像素子１８４は数千行の画素５０を有するが、図７では便宜的に１６行分のタイミングを例示的に図示しており、最終行を第ｍ行としている。

本実施形態の撮像素子１８４はＣＭＯＳ型のイメージセンサである。そのため、同一の行の画素５０は、ほぼ同時に読み出され得る。これに対し、同一の列の画素５０は、信号出力線５２３を共有しているため、読み出しが同時ではなく、順次行われる。そのため、図７に示されるように、異なる行の画素５０においては、異なるタイミングで、蓄積、転送及び読み出しが行われる。なお、同一の行の異なる画素５０については、同一のタイミングで蓄積、転送及び読み出しが行われるものとする。

図７には、ある１フレーム期間（図７中の動画周期Ｔｆの期間）における静止画及び動画のための蓄積、転送及び読み出しのタイミングが図示されている。また、当該フレームの１つ前のフレームについては、動画の読み出しタイミングのみが図示されている。また、当該フレームの１つ後のフレームについては、動画の蓄積及び転送のタイミングのうちの初回のみと、静止画の蓄積及び転送タイミングとが図示されている。すなわち、図７には、垂直同期信号５５０、水平同期信号５５１、静止画蓄積期間５６１、静止画転送期間５６２、静止画読み出し期間５６５、動画蓄積期間５６３、動画転送期間５６４、動画読み出し期間５６６が示されている。

図７に示されている例は、動画周期Ｔｆが１／６０秒、静止画の蓄積期間Ｔ１が１／１０００秒、動画の蓄積期間Ｔ２が約１／６０秒、蓄積分割数Ｎｐの設定値が１６である場合を想定したものである。また、図７の例ではステップＳ４０１における優先順位の設定において、動画よりも静止画を優先する設定が行われた場合を想定している。そのため、静止画蓄積期間５６１と動画蓄積期間５６３とが重複する場合には、静止画の蓄積が優先されている。具体的には、時刻ｔ１０１からｔ１０３の期間においては、静止画蓄積期間５６１が優先されており、動画の蓄積が行われていない。そのため、蓄積分割数Ｎｐの設定値は１６であるが、実際には動画蓄積期間５６３の個数は動画フレーム期間あたり１５個となっている。これについての詳細は後述する。

図７に示されているように、静止画については、１つの動画フレーム期間において、撮像装置１００は、１回の蓄積（静止画蓄積期間５６１）を行った後に、転送及び読み出しを行っている（静止画転送期間５６２及び静止画読み出し期間５６５）。これに対し、動画については、１つの動画フレーム期間において、撮像装置１００は、蓄積分割数Ｎｐに近い複数回の蓄積（動画蓄積期間５６３）及び転送（動画転送期間５６４）を行い、その後、まとめて読み出しを行っている（動画読み出し期間５６６）。

これにより、静止画及び動画の撮影が可能なデュアル撮影が実現される。静止画については蓄積期間Ｔ１を短く設定することにより、鮮鋭な画像を得ることができる。一方、動画については、蓄積時間を静止画の蓄積期間Ｔ１の長さとほぼ同一としつつ、蓄積期間Ｔ２を動画周期Ｔｆにほぼ等しい長さとする設定により、ジャーキネスが低減された画像を得ることができる。

撮像素子１８４の読み出しは、画素行ごとに順次行われるため、画像の読み出しには一定の時間を要する。また、同一行の画素５０において、信号保持部５０７Ａからフローティングディフュージョン領域５０８への転送と、信号保持部５０７Ｂからフローティングディフュージョン領域５０８への転送とを同時に行うことはできない。この制約を考慮して、図７のタイミングチャートにおいては、動画と静止画のそれぞれに対する蓄積、転送及び読み出しのタイミングが設定されている。

時刻ｔ１０１において第１行目から順に、１つ前のフレームで蓄積された動画の読み出しが開始される（動画読み出し期間５６６）。読み出しが完了した行から順次、当該フレームの蓄積及び転送の繰り返しが開始される（動画蓄積期間５６３及び動画転送期間５６４）。時刻ｔ１０４において、最終行であるｍ行目の動画の読み出しが完了すると、静止画の読み出しが第１行目から順に開始される（静止画読み出し期間５６５）。

静止画の読み出しの前に静止画の蓄積が完了するように、時刻ｔ１０４よりも静止画の蓄積期間Ｔ１以上前である時刻ｔ１０２において静止画の蓄積が開始される（静止画蓄積期間５６１）。その後、時刻ｔ１０４よりも前の時刻ｔ１０３の時点で静止画の転送を行う（静止画転送期間５６２）。

時刻ｔ１０１から動画周期Ｔｆだけ後の時刻ｔ１１０までの期間において、静止画のｍ行目の読み出しが完了し、かつ、動画の第１行目の最終回の蓄積及び転送が完了する。時刻ｔ１１０において、動画の読み出しが第１行目から順に開始される（動画読み出し期間５６６）。以上の処理を動画周期Ｔｆごとに繰り返すことで、撮像装置１００は、動画周期Ｔｆごとに静止画と動画の画像信号を画像１枚分ずつ繰り返し出力することができる。

静止画と動画の優先順位についてより詳細に説明する。上述のように、撮像装置１００は、同一行の画素５０において、静止画と動画の蓄積を同時に行うことができないため、静止画蓄積期間５６１と、動画蓄積期間５６３とを排他的に設定する。しかしながら、露出パラメータ等の設定によっては、動画蓄積期間５６３を等間隔で配置すると、動画と静止画の蓄積のタイミングに重複が生じる場合がある。具体的には、動画の蓄積間隔Ｔ２／Ｎｐよりも動画の単位蓄積時間Ｔ１／Ｎｐと静止画の蓄積期間Ｔ１との和が大きくなる場合は、蓄積タイミングに重複が生じる。そのような場合は、例えばステップＳ４０１で設定された優先順位の設定に基づいて、動画の蓄積と静止画の蓄積のいずれかがスキップされる。

本実施形態では、優先順位の設定は、静止画を優先する設定であるため、時刻ｔ１０２から時刻ｔ１０３の静止画蓄積期間５６１において、動画の蓄積が１回スキップされている。これにより、動画の実際の蓄積回数は蓄積分割数Ｎｐではなく、（Ｎｐ－１）回となるため、動画の実際の蓄積時間は静止画の蓄積期間Ｔ１の長さよりもやや短くなる。しかしながら、蓄積分割数Ｎｐが十分に大きい場合には、この差はわずかであるため、画像の影響は小さい。また、静止画の輝度等を参照することにより、この影響を画像補正により除去してもよい。なお、単に蓄積分割数Ｎｐ等と述べた場合には、実際の蓄積回数ではなく、スキップを考慮せずに設定上の蓄積分割数を指すものとする。

一方、優先順位の設定が動画を優先する設定である場合には、静止画の蓄積タイミングに動画の蓄積タイミングが重複した時点で、一旦静止画の蓄積を中断して、動画の蓄積を行い、動画の蓄積の完了後、静止画の蓄積を再開することができる。このように、静止画の蓄積においても分割蓄積を採用してもよい。この場合、静止画の蓄積期間Ｔ１が若干長くなるものの、同様に蓄積分割数Ｎｐが十分に大きく、動画の単位蓄積期間Ｔ１／Ｎｐが大きすぎない場合には、画像への影響は小さい。

続いて、図７に示すタイミングで蓄積、転送及び読み出しを行うために撮像素子１８４の画素５０に入力される制御信号について説明する。図８は、図７に示す第１の例における画素５０に入力される各制御信号を示すタイミングチャートである。図８において、信号φＶは垂直同期信号であり図７の垂直同期信号５５０に相当する。また、図８において、信号φＨは水平同期信号であり、図７の水平同期信号５５１に相当する。図８には、最初の行である第１行と最終行である第ｍ行のタイミングが示されている。

時刻ｔ１において、タイミング発生部１８９から供給される垂直同期信号φＶ及び水平同期信号φＨがハイレベルになる。この時刻ｔ１は、図７に示されている垂直同期信号５５０が立ち上がる時刻ｔ１０１に相当する。

垂直同期信号φＶがハイレベルになるのに同期した時刻ｔ２において、垂直走査回路から供給される第１行のリセットパルスφＲＥＳ（１）がハイレベルからローレベルになる。これにより、第１行のリセットトランジスタ５０４がオフとなり、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がローレベルからハイレベルになる。これにより、第１行の選択トランジスタ５０６がオンとなり、第１行の画素５０からの画像信号の読み出しが可能となる。

時刻ｔ３において、垂直走査回路から供給される第１行の転送パルスφＴＸ２Ｂ（１）がローレベルからハイレベルになる。これにより、第１行の転送トランジスタ５０２Ｂがオンとなり、直前の撮影周期（時刻ｔ１に終了する撮影周期）中に信号保持部５０７Ｂに蓄積された動画の信号電荷がフローティングディフュージョン領域５０８に転送される。すると、フローティングディフュージョン領域５０８の電位の変化に応じた信号が、増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出される。信号出力線５２３に読み出された信号は、不図示の読み出し回路に供給されて動画の第１行の画像信号として外部に出力される（図７の動画読み出し期間５６６に相当）。なお、信号保持部５０７Ｂに蓄積された動画の信号電荷は、第１の信号電荷と呼称されることもある。

時刻ｔ４において、垂直走査回路から供給される第１行の転送パルスφＴＸ２Ｂ（１）及び全行の転送パルスφＴＸ２Ａ（転送パルスφＴＸ２Ａ（１）、φＴＸ２Ａ（ｍ））がローレベルからハイレベルになる。これにより、第１行の転送トランジスタ５０２Ｂ及び全行の転送トランジスタ５０２Ａがオンとなる。このとき、既に全行のリセットパルスφＲＥＳ（リセットパルスφＲＥＳ（１）、φＲＥＳ（ｍ））がハイレベルになっており、リセットトランジスタ５０４はオン状態になっている。これにより、全行のフローティングディフュージョン領域５０８、全行の信号保持部５０７Ａ、第１行の信号保持部５０７Ｂがリセットされる。このとき、第１行の選択パルスφＳＥＬ（１）はローレベルになっており、第１行の画素５０は非選択の状態に戻っている。

時刻ｔ５において、垂直走査回路から供給される全行の転送パルスφＴＸ３（転送パルスφＴＸ３（１）、φＴＸ３（ｍ））がハイレベルからローレベルになる。これにより、全行の転送トランジスタ５０３がオフとなり、全行のフォトダイオード５００のリセットが解除される。そして、全行のフォトダイオード５００において、動画の信号電荷の蓄積が開始される（図７の動画蓄積期間５６３に相当）。

時刻ｔ７の直前に、垂直走査回路から供給される全行の転送パルスφＴＸ１Ｂ（転送パルスφＴＸ１Ｂ（１）、φＴＸ１Ｂ（ｍ））がローレベルからハイレベルになる。これにより、全行の転送トランジスタ５０１Ｂがオンとなり、全行のフォトダイオード５００に蓄積された信号電荷が信号保持部５０７Ｂに転送される。

時刻ｔ７において、垂直走査回路から供給される全行の転送パルスφＴＸ１Ｂ（ｍ）（転送パルスφＴＸ１Ｂ（１）、φＴＸ１Ｂ（ｍ））がハイレベルからローレベルとなる。これにより、全行の転送トランジスタ５０１Ｂがオフとなり、全行のフォトダイオード５００に蓄積された信号電荷の信号保持部５０７Ｂへの転送が終了する。ここで時刻ｔ５から時刻ｔ７までの期間が、動画の１回の蓄積時間（Ｔ１／１６）に相当する。

また、時刻ｔ７において、全行の転送パルスφＴＸ３（転送パルスφＴＸ３（１）、φＴＸ３（ｍ））がローレベルからハイレベルとなる。これにより、全行の転送トランジスタ５０３がオンとなり、全行のフォトダイオード５００がリセット状態になる。

時刻ｔ１から開始する撮影周期における動画の第１回目の蓄積期間の開始の時刻ｔ５から水平同期信号φＨの間隔Ｔｈの２倍の時間が経過した時刻ｔ８に、動画の第２回目の動画蓄積が開始される。

時刻ｔ８から始まり時刻ｔ１０に終了する動画の第２回目の蓄積期間の動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する動画の第１回目の蓄積期間の動作と同様であるため、説明は省略する。

ここで、動画の第１回目、第２回目の蓄積期間の動作において、これらの２回の蓄積期間の間に生じた動画の信号電荷は、信号保持部５０７Ｂにおいて加算されて保持される。

時刻ｔ１１から、動画の第６回目の蓄積期間が開始される。ここで動画の第６回目の蓄積期間の開始の時刻ｔ１１は、垂直同期信号φＶがハイレベルになる時刻ｔ１から、時間Ｔ（＝６×２×Ｔｈ＋Ｔｂ）が経過した後の時刻に設定されている。ここで、Ｔｈは水平同期信号φＨの時間間隔であり、Ｔｂは垂直同期信号φＶがハイレベルになる時刻ｔ１とフォトダイオード５００で動画の第１回目の蓄積期間が開始される時刻ｔ５との時間間隔である。

時刻ｔ１１から始まり時刻ｔ１３に終了する動画の第６回目の蓄積動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する動画の第１回目の蓄積動作と同様であるため、説明は省略する。

次に、時刻ｔ１４から第１の映像信号である静止画の蓄積期間が開始される。本実施形態では１撮影周期中の静止画の蓄積期間の回数は１回である。垂直同期信号φＶに対する静止画の読み出し期間（図７の静止画読み出し期間５６５に相当）の開始時間は固定されている。そのため、垂直同期信号φＶに対する静止画の蓄積期間の終了時刻は固定されており、静止画の蓄積時間は時刻ｔ１９（図７の時刻ｔ１０３に相当）に終了するように設定されている。したがって、撮像装置１００は、設定された静止画の蓄積期間Ｔ１に基づいて、静止画の蓄積期間の開始時刻を制御する。

静止画の蓄積期間の終了の時刻ｔ１９より時間Ｔ１だけ遡った時刻ｔ１４（図７の時刻ｔ１０２に相当）において、全行の転送パルスφＴＸ３（転送パルスφＴＸ３（１）、φＴＸ３（ｍ））がハイレベルからローレベルとなる。これにより、全行の転送トランジスタ５０３がオフとなり、全行のフォトダイオード５００のリセットが解除される。そして、全行のフォトダイオード５００での静止画の信号電荷の蓄積期間が開始される（図７の静止画蓄積期間５６１に相当）。

時刻ｔ１５において、垂直走査回路から供給される第ｍ行のリセットパルスφＲＥＳ（ｍ）がハイレベルからローレベルになる。これにより、第ｍ行のリセットトランジスタ５０４がオフとなり、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、垂直走査回路から供給される第ｍ行の選択パルスφＳＥＬ（ｍ）がローレベルからハイレベルになる。これにより、第ｍ行の選択トランジスタ５０６がオンとなって、第ｍ行の画素５０からの映像信号の読み出しが可能となる。

時刻ｔ１６において、第ｍ行の転送パルスφＴＸ２Ｂ（ｍ）がローレベルからハイレベルになる。これにより、第ｍ行の転送トランジスタ５０２Ｂがオンとなり、時刻ｔ１に終了する１つ前の撮影周期中に信号保持部５０７Ｂに蓄積された動画の信号電荷がフローティングディフュージョン領域５０８に転送される。すると、フローティングディフュージョン領域５０８の電位の変化に応じた信号が、増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出される。信号出力線５２３に読み出された信号は、不図示の読み出し回路に供給されて動画の第ｍ行の画像信号として外部に出力される（図７の動画読み出し期間５６６に相当）。

これにより、時刻ｔ１に終了する１つ前の撮影周期の動画の読み出しが完了し、次に、時刻ｔ１から開始する撮影周期の静止画の読み出しが行われる（図７の静止画読み出し期間５６５に相当）。

時刻ｔ１７において、第ｍ行の転送パルスφＴＸ２Ｂ（ｍ）がローレベルからハイレベルになる。これにより、第ｍ行の転送トランジスタ５０２Ｂがオンとなる。このとき既に第ｍ行のリセットパルスφＲＥＳ（ｍ）はハイレベルになっており、リセットトランジスタ５０４はオン状態になっている。これにより、第ｍ行のフローティングディフュージョン領域５０８及び第ｍ行の信号保持部５０７Ｂは、リセットされる。このとき、第ｍ行の選択パルスφＳＥＬ（ｍ）もローレベルになっており、第ｍ行の画素５０は非選択の状態に戻っている。

時刻ｔ１８において、第１行のリセットパルスφＲＥＳ（１）がハイレベルからローレベルになる。これにより、第１行のリセットトランジスタ５０４がオフとなり、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がローレベルからハイレベルとなる。これにより、第１行の選択トランジスタ５０６がオンとなり、第１行の画素５０からの画像信号の読み出しが可能となる。

時刻ｔ１９の直前に、垂直走査回路から供給される全行の転送パルスφＴＸ１Ａ（φＴＸ１Ａ（１）、φＴＸ１Ａ（ｍ））がローレベルからハイレベルになる。これにより、全行の転送トランジスタ５０１Ａがオンとなり、全行のフォトダイオード５００に蓄積された信号電荷は静止画の電荷を保持する信号保持部５０７Ａに転送される。

時刻ｔ１９において、全行の転送パルスφＴＸ１Ａ（φＴＸ１Ａ（１）、φＴＸ１Ａ（ｍ））がハイレベルからローレベルになる。これにより、全行の転送トランジスタ５０１Ａがオフとなり、全行のフォトダイオード５００に蓄積された信号電荷の信号保持部５０７Ａへの転送が終了する。

時刻ｔ１４から時刻ｔ１９までの時間が、静止画の蓄積期間Ｔ１の長さに相当する。本実施形態では、１つの撮影周期中の静止画の蓄積は１回であるため、静止画の蓄積時間と蓄積期間とは同一である。

時刻ｔ２０において、第１行の転送パルスφＴＸ２Ａ（１）がローレベルからハイレベルになる。これにより、第１行の転送トランジスタ５０２Ａがオンとなり、第１行の信号保持部５０７Ａに蓄積された静止画の信号電荷がフローティングディフュージョン領域５０８に転送される。すると、フローティングディフュージョン領域５０８の電位の変化に応じた信号が、第１行の増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出される。信号出力線５２３に読み出された信号は、不図示の読み出し回路に供給されて静止画の第１行の画像信号として外部に出力される（図７の静止画読み出し期間５６５に相当）。なお、信号保持部５０７Ａに蓄積された静止画の信号電荷は、第２の信号電荷と呼称されることもある。

時刻ｔ２１から、動画の第７回目の蓄積期間が開始される。ここで、動画の第７回目の蓄積期間の開始の時刻ｔ２１は、垂直同期信号φＶのハイレベルとなる時刻ｔ１から、時間Ｔ（＝（７＋２）×２×Ｔｈ＋Ｔｂ）が経過した後の時刻に設定されている。

時刻ｔ２１から始まり時刻ｔ２３に終了する動画の第７回目の蓄積期間の動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する動画の第１回目の蓄積期間の動作と同様であるため、説明は省略する。

更に、時刻ｔ２４から、時刻ｔ１から開始する撮影周期における動画の最後の第１４回目の蓄積期間が開始される。ここで、動画の第１４回目の蓄積期間の開始の時刻ｔ２４は、垂直同期信号φＶがハイレベルとなる時刻ｔ１から、時間Ｔ（＝（１４＋２）×２×Ｔｈ＋Ｔｂ）が経過した後の時刻に設定されている。

時刻ｔ２４から始まり時刻ｔ２６に終了する動画の第１４回目の蓄積期間の動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する動画の第１回目の蓄積期間の動作と同様であるため、説明は省略する。このように、本撮影モードにおいて、動画の蓄積期間は、時刻ｔ５から時刻ｔ２６の間である。

時刻ｔ２７において、第ｍ行のリセットパルスφＲＥＳ（ｍ）がハイレベルからローレベルになる。これにより、第ｍ行のリセットトランジスタ５０４がオフとなり、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第ｍ行の選択パルスφＳＥＬ（ｍ）がローレベルからハイレベルになる。これにより、第ｍ行の選択トランジスタ５０６がオンとなり、第ｍ行の画素５０からの映像信号の読み出しが可能となる。

時刻ｔ２８において、第ｍ行の転送パルスφＴＸ２Ａ（ｍ）がローレベルからハイレベルになる。これにより、第ｍ行の転送トランジスタ５０２Ａがオンとなり、第ｍ行の信号保持部５０７Ａに蓄積された静止画の信号電荷がフローティングディフュージョン領域５０８に転送される。すると、フローティングディフュージョン領域５０８の電位の変化に応じた信号が、第ｍ行の増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出される。信号出力線５２３に読み出された信号は、不図示の読み出し回路に供給されて静止画の第ｍ行の画像信号として外部に出力される（図７の静止画読み出し期間５６５に相当）。

時刻ｔ１００において、タイミング発生部１８９から供給される垂直同期信号φＶがローレベルからハイレベルになり、次の撮影周期が開始される。この時刻ｔ１００は、図７に示されている垂直同期信号５５０が立ち上がる時刻ｔ１１０に相当する。

以上、図７及び図８を用いて説明した動作により、本実施形態の撮像装置１００は、図４に示すステップＳ４１４における、静止画及び動画の画像信号の取得を行う。なお、静止画及び動画の蓄積、転送及び読み出しのタイミングは図７に示した例に限定されるものではなく、適宜変更することができる。以下、動作タイミングの２つの変形例（第２の例及び第３の例）を示す。第２の例及び第３の例の説明において、第１の例と共通する部分についての説明は省略することもある。

図９は、ステップＳ４１４における、撮像素子１８４の蓄積、転送及び読み出しのタイミングの第２の例を示すタイミングチャートである。図７に示した第１の例では、画素行ごとに蓄積期間のタイミングが異なる。そのため、動きが速い被写体を撮影すると、画像上の被写体に歪み（いわゆるローリング歪み）が発生する場合がある。そこで、図９に示す第２の例では、全ての画素行で同時に動画の蓄積を行うようにする。

時刻ｔ２０１から時刻ｔ２０２の期間において、行ごとに順次、１つ前のフレームで蓄積された動画の読み出しが開始される（動画読み出し期間５６６）。最終行であるｍ行目の動画の読み出しが完了すると、時刻ｔ２０２から時刻ｔ２０３の期間において、全画素行で同時に動画の蓄積及び転送が行われる（動画蓄積期間５６３及び動画転送期間５６４）。時刻ｔ２０３の後の時刻ｔ２１０以降、行ごとに順次、動画の読み出しが開始される（動画読み出し期間５６６）。なお、図９では転送が完了する時刻ｔ２０３から所定時間経過後に時刻ｔ２１０で読み出しが開始されているが、転送が完了した直後に読み出しが開始されてもよい。すなわち、時刻ｔ２０３と時刻ｔ２１０とが同時刻であってもよい。

静止画の蓄積及び転送は、時刻ｔ２０１から時刻ｔ２０２の間の期間に行われる（静止画蓄積期間５６１及び静止画転送期間５６２）。また、静止画の読み出しは、時刻ｔ２０２から時刻ｔ２１０の間の期間に行われる（静止画読み出し期間５６５）。

第２の例においては、動画の蓄積期間Ｔ２が第１の例の場合よりも短くなるため、ジャーキネスの低減効果は相対的に小さくなるものの、すべての画素行で蓄積期間のタイミングが同一であるため、ローリング歪みを低減することができる。

図１０は、ステップＳ４１４における、撮像素子１８４の蓄積、転送及び読み出しのタイミングの第３の例を示すタイミングチャートである。図７に示した第１の例では、一部の画素行において、動画の蓄積及び転送がスキップされることがある。これにより、画素行ごとの露出差（露出ムラ）が生じる場合がある。そこで、図１０に示す第３の例では、水平同期信号５５１を基準として各行の蓄積及び転送を行う。この場合、動画の蓄積及び転送のタイミングと静止画の蓄積及び転送のタイミングとが重複しないため、画素行ごとの露出差の発生を抑制することができる。

以上説明したように、本実施形態の撮像装置１００は、動画と静止画のデュアル撮影を行う。このとき、主として動画の撮影において、分割蓄積が行われる。ここで、ＬＥＤ等の高速で点滅する光源下で分割蓄積による撮影を行うと、撮影された動画には特有の露出差が表れることがある。また、静止画のように分割蓄積を行わない場合であっても、動画周期ごとに繰り返し静止画の連写を行う場合には、連写された複数の画像間に露出差が生じる場合がある。このように点滅光源に起因して露出差が生じることがある。この現象は、フリッカー現象と呼称されることもある。

そこで、本実施形態の撮像装置１００は、デュアル撮影時のステップＳ４０９からステップＳ４１３において、静止画と動画のそれぞれについて、点滅光源による画質への影響の有無の判定及び当該影響の低減のためのパラメータの設定を行う。この処理について詳細に説明する。

（点滅光源による露出差の説明）
まず、点滅光源による露出差の発生について説明する。図１１（ａ）、図１１（ｂ）、図１２（ａ）及び図１２（ｂ）は、点滅光源による露出差の発生に関する第１の例を説明する図である。図１３、図１４（ａ）及び図１４（ｂ）は、点滅光源による露出差の発生に関する第２の例を説明する図である。

図１１（ａ）及び図１１（ｂ）は、本実施形態の撮像装置１００における、点滅光源による露出差の第１の例を示すタイミングチャートである。図１１（ａ）及び図１１（ｂ）は、図７に示した蓄積及び転送のタイミングチャートの一部に対して、被写体から撮像素子１８４に入射される光（以下、被写体光と呼称する）の波形を追加した図である。図１１（ａ）と図１１（ｂ）とは、互いに異なるフレームにおける蓄積及び転送のタイミングを示している。なお、図１１（ａ）及び図１１（ｂ）において、読み出し期間の図示は省略されている。本例において、光源はＬＥＤ等の高速で点滅する点滅光源を想定している。そのため、光源から射出され、被写体で反射される光の波形は、図１１（ａ）及び図１１（ｂ）に示されるように明滅を繰り返す波形となる。

また、図１１（ａ）及び図１１（ｂ）において、タイミングチャートの右方には、各行に対応する静止画及び動画の画像の相対的な露出値（明るさの度合い）が図示されている。また、以降の説明の便宜上、各画素行のタイミングチャートに被写体光の点滅波形を重畳させて図示している。なお、光源の点滅波形は、仮想的なものであり、実際のＬＥＤ等の点滅波形を詳細に反映したものではない。本実施形態が適用され得る光源の点滅波形は特に限定されるものではなく、図示されたものと異なる波形であったとしても、本実施形態は、同様に適用され得る。

図１１（ａ）及び図１１（ｂ）において、動画及び静止画の蓄積及び転送は、ともに垂直同期信号を基準として行われる。また、図１１（ａ）及び図１１（ｂ）では、被写体光の光源の点滅周期（以降、単に光源周期と呼称する）Ｔｓの整数倍が、動画の蓄積間隔Ｔ２／Ｎｐにほぼ等しい。このとき、図１１（ａ）のように、すべての画素行で露出値が大きいタイミングに同期して動画の蓄積を行うフレームと、図１１（ｂ）のように、すべての画素行で露出値が小さいタイミングに同期して動画の蓄積を行うフレームとが混在する。したがって、露出値が相対的に大きいフレームと、露出値が相対的に小さいフレームとが繰り返される動画が撮影される。

これに対し、静止画の撮影については、分割蓄積を行わないため、蓄積期間Ｔ１の長さは、光源周期Ｔｓの数倍の長さである。したがって、図１１（ａ）及び図１１（ｂ）に示されるように、異なるフレーム間で、蓄積のタイミングに対する被写体光の点滅波形の位相が変化したとしても、露出値はほとんど変化せず、一定の露出の静止画が得られる。

図１２（ａ）及び図１２（ｂ）は、図１１（ａ）及び図１１（ｂ）に示す第１の例において得られる動画及び静止画の画像である。図１２（ａ）及び図１２（ｂ）には点滅光源８０１により照らされている被写体８００が図示されている。被写体８００は、例えば、屋内で運動をしている人物であり、点滅光源８０１は、例えば、高速で点滅するＬＥＤ照明である。図１２（ａ）は、動画の経時的変化を示しており、図１２（ｂ）は、フレームごとに撮影される複数の静止画を経時的に並べたものを示している。

図１２（ａ）に示されるように、撮影された動画は、明るいフレームと暗いフレームとを繰り返すような露出の変化を示す。すなわち、点滅光源下において撮影された動画は、経時的な露出差を生じる。一方、図１２（ｂ）に示されるように、静止画については、経時的な露出差はほとんど生じない。

図１３は、本実施形態の撮像装置１００における、点滅光源による露出差の第２の例を示すタイミングチャートである。図１３において、動画及び静止画の蓄積及び転送は、ともに水平同期信号を基準として行われる。また、図１３では、光源周期Ｔｓの整数倍が動画の蓄積間隔Ｔ２／Ｎｐにほぼ等しい。このとき、同一フレームにおいて、露出値が大きいタイミングに同期して動画の蓄積を行う画素行（第ｎ行、第ｎ＋３行、第ｎ＋６行）と、露出値が大きいタイミングに同期して動画の蓄積を行う画素行（第ｎ＋２行、第ｎ＋５行）とが混在する。

これに対し、静止画の撮影については、分割蓄積を行わないため、蓄積期間Ｔ１の長さは、光源周期Ｔｓの数倍の長さである。したがって、図１３に示されるように、露出値はほとんど変化せず、一様の露出の静止画が得られる。

図１４（ａ）及び図１４（ｂ）は、図１３に示す第２の例において得られる動画及び静止画の画像である。図１４（ａ）は、動画を構成する１つの画像を示しており、図１４（ｂ）は、静止画を示している。

図１４（ａ）に示されるように、点滅光源下において撮影された動画は、明るい行と暗い行とが繰り返されるような露出差を示している。これに対し、図１４（ｂ）に示されるように、静止画については、露出差はほとんどみられず、一様な露出の画像が得られる。

以上の２つの例より、光源周期Ｔｓが動画の蓄積間隔Ｔ２／Ｎｐに同期する場合に動画に対して露出差が生じる可能性がある。ここで、光源周期Ｔｓが動画の蓄積間隔Ｔ２／Ｎｐに同期する状態とは、光源周期Ｔｓが、動画の蓄積間隔Ｔ２／Ｎｐの整数分の一、あるいは蓄積間隔Ｔ２／Ｎｐの整数倍に近い場合である。このような場合には、動画の蓄積間隔Ｔ２／Ｎｐ及び単位蓄積時間Ｔ１／Ｎｐを変えるよう制御することで、露出差の影響を低減することができる。ここで、動画の蓄積期間Ｔ２及び静止画の蓄積期間Ｔ１は、撮影意図及び露出設定に直結する重要なパラメータであるため、変更することが容易でない場合がある。そのため、本実施形態の撮像装置１００では、蓄積分割数Ｎｐを変更することで動画の蓄積間隔Ｔ２／Ｎｐ及び単位蓄積時間Ｔ１／Ｎｐを変える制御を行う。

図４のステップＳ４０９からステップＳ４１３においては、上述の露出差を低減するためのパラメータ設定の処理が行われる。この処理について、より具体的に説明する。

（動画の露出差低減処理）
再び図４のフローチャートを参照しつつ、動画の露出差低減処理を説明する。まず、図４のステップＳ４０９において、撮像装置１００の取得手段２０１は、少なくとも被写体の光源周期Ｔｓ（被写体の輝度変化周期）を取得する。なお、本処理において、光源周期Ｔｓは、撮像素子１８４で取得された画像の輝度等に基づいて取得されてもよいが、事前設定又はユーザ入力による設定値であってもよい。この設定値を用いる手法を採用する場合には、例えば、撮像装置１００は、被写体の輝度変化周期に影響する光源の種類（「ＬＥＤ」「電光掲示板」「１０００Ｈｚ」等）をユーザに入力させるための光源周期設定用のユーザインターフェースを備えていてもよい。例えば、光源の種類として「１０００Ｈｚ」が入力された場合には、光源周期Ｔｓの値は１／１０００秒に設定される。なお、本処理において、取得手段２０１は、更に、光源周期Ｔｓと同様の手法により被写体の輝度変化のデューティー比Ｄｓを取得してもよい。

図４のステップＳ４１０において、撮像装置１００のシステム制御ＣＰＵ１７８は、ステップＳ４０９において取得した情報に基づき、光源が点滅しているか否かを判定する。光源が点滅していないと判定された場合（ステップＳ４１０においてＮｏ）は、本実施形態の露出差低減処理を行う必要はないため、処理はステップＳ４１４に移行する。一方、光源が点滅していると判定された場合（ステップＳ４１０においてＹｅｓ）は、ステップＳ４１１に進む。

図４のステップＳ４１１において、撮像装置１００のシステム制御ＣＰＵ１７８は、ステップＳ４０６において設定された露出パラメータ及びステップＳ４０９において取得された光源周期Ｔｓ等のパラメータに対し、変化があったか否かを判定する。ここで、変化とは、例えば、前のフレームのパラメータに対する当該フレームのパラメータの差であり得る。撮像装置１００は、露出パラメータ及び光源周期Ｔｓ等の設定に起因する露出差が軽減されるように、デュアル撮影を行っている間、動的に制御を行う。これらの値に変化が無かった場合には、前のフレームと同様の条件を引き続き用いることができる。そのため、パラメータの変化がないと判定された場合（ステップＳ４１１においてＮｏ）、処理はステップＳ４１４に移行する。一方、パラメータの変化があると判定された場合（ステップＳ４１１においてＹｅｓ）には、処理はステップＳ４１２に移行する。なお、最初に本ステップの処理が行われる際（最初のフレームの画像取得時）には変化の有無を判定するための比較対象が存在しないため、パラメータの変化があると判定された場合と同様に、処理はステップＳ４１２に移行する。

図４のステップＳ４１２において、撮像装置１００のシステム制御ＣＰＵ１７８は、動画の露出差低減処理を行う。ここで、図１５を参照してステップＳ４１２の処理の詳細を示すサブルーチンを説明する。図１５は、動画の露出差低減処理を示すフローチャートである。

図１５のステップＳ４１２１において、撮像装置１００のシステム制御ＣＰＵ１７８は、光源周期Ｔｓが第１の閾値Ｔｓ１よりも小さいか否かを判定する。なお、この第１の閾値は、ステップＳ４０４又はステップＳ４０８で設定又は更新された閾値のことである。以降の説明における各種の閾値についても同様である。光源周期Ｔｓが第１の閾値Ｔｓ１よりも小さい場合（ステップＳ４１２１においてＹｅｓ）には、処理はステップＳ４１２２に移行する。光源周期Ｔｓが第１の閾値Ｔｓ１以上である場合（ステップＳ４１２１においてＮｏ）には、露出差低減処理は不要であると判定され、本処理は終了する。

ここで、第１の閾値Ｔｓ１は、動画の蓄積期間Ｔ２に近い値（例えば１／６０秒、１／１２０秒等）に設定され得る。第１の閾値Ｔｓ１による処理の分岐を行う理由を説明する。光源周期Ｔｓが動画の蓄積期間Ｔ２よりも大きい場合には、分割蓄積とは関係なく露出差が発生し得る。また、光源周期Ｔｓが１／６０秒以上である場合には、肉眼で光源のちらつきが確認されることもある。以上の理由により、光源周期Ｔｓが、第１の閾値Ｔｓ１以上である場合、分割蓄積に起因して生じる露出差低減処理の対象外となる。

図１５のステップＳ４１２２において、撮像装置１００のシステム制御ＣＰＵ１７８は、光源周期Ｔｓが第２の閾値Ｔｓ２よりも大きいか否かを判定する。光源周期Ｔｓが第２の閾値Ｔｓ２よりも大きい場合（ステップＳ４１２２においてＹｅｓ）には、処理はステップＳ４１２３に移行する。光源周期Ｔｓが第２の閾値Ｔｓ２以下である場合（ステップＳ４１２２においてＮｏ）には、露出差低減処理は不要であると判定され、本処理は終了する。

ここで、第２の閾値Ｔｓ２は、動画の単位蓄積時間Ｔ１／Ｎｐに近い値（例えば、１／１６０００秒、１／３２０００秒等）に設定され得る。第２の閾値Ｔｓ２による処理の分岐を行う理由は、光源周期Ｔｓが動画の単位蓄積時間Ｔ１／Ｎｐよりも小さい場合には、分割蓄積に起因する露出差はほとんど発生しないので、露出差低減処理の対象外となるためである。

図１５のステップＳ４１２３において、撮像装置１００のシステム制御ＣＰＵ１７８は、動画の蓄積間隔Ｔ２／Ｎｐが、光源周期Ｔｓの整数倍（ｎＴｓ）又は整数分の１（Ｔｓ／ｍ）と略同一であるか否かを判定する（ｎ及びｍは正の整数）。この判定は、動画の蓄積タイミングが光源の点滅周期と同期しているか否かを判定するためのものである。蓄積間隔Ｔ２／Ｎｐが、ｎＴｓ又はＴｓ／ｍと略同一である場合（ステップＳ４１２３においてＹｅｓ）には、露出差低減処理が必要であると判定され、処理はステップＳ４１２４に移行する。蓄積間隔Ｔ２／Ｎｐが、ｎＴｓ、Ｔｓ／ｍのいずれに対しても略同一でない場合（ステップＳ４１２３においてＮｏ）には、露出差低減処理は不要であると判定され、本処理は終了する。

図１５のステップＳ４１２４において、撮像装置１００のシステム制御ＣＰＵ１７８は、蓄積分割数Ｎｐが所定の条件を満たすか否かを判定する。所定の条件とは、動画の単位蓄積時間Ｔ１／Ｎｐに対する光源周期Ｔｓの比の値（Ｔｓ／（Ｔ１／Ｎｐ））が、第３の閾値Ｍ３より小さく、かつ、蓄積分割数Ｎｐが第４の閾値Ｎｐ４より大きいというものである。上述の条件が満たされている場合（ステップＳ４１２４においてＹｅｓ）には、処理はステップＳ４１２５に移行する。上述の条件が満たされていない場合（ステップＳ４１２４においてＮｏ）には、処理はステップＳ４１２６に移行する。

ここで、第３の閾値Ｍ３は、例えば、２乃至４程度の値に設定され得る。また、第４の閾値Ｎｐ４は、例えば、３２、６４、１２８等の比較的大きい値に設定され得る。第３の閾値Ｍ３及び第４の閾値Ｎｐ４による分岐を行う理由は、条件に応じて第１及び第２の露出差低減処理を使い分けるためである。２種類の露出差低減処理について説明する。

上述の条件は、光源周期Ｔｓが非常に短い場合（超高速点滅光源の場合）又は蓄積分割数Ｎｐが十分に大きい場合に満たされやすい。この場合には、ステップＳ４１２５において、撮像装置１００のシステム制御ＣＰＵ１７８は、第１の露出差低減処理（第１の処理）を行う。第１の露出差低減処理は、蓄積分割数Ｎｐを小さくすることにより、単位蓄積時間Ｔ１／Ｎｐを光源周期Ｔｓ以上にする処理である。第１の露出差低減処理において、蓄積分割数Ｎｐは、動画の単位蓄積時間Ｔ１／Ｎｐが光源周期Ｔｓと同程度、あるいはそれより大きくなるように設定される。言い換えると、蓄積分割数Ｎｐは、単位蓄積時間Ｔ１／Ｎｐが輝度変化周期以上となるように設定される。これにより、動画の分割蓄積に起因する露出差を低減することができる。

図１６は、第１の露出差低減処理の効果を示すタイミングチャートである。図１６は、図１３で示したタイミングチャートに対して、第１の露出差低減処理を適用した後のタイミングチャートである。図１３の場合において、動画の単位蓄積時間Ｔ１／Ｎｐに対する光源周期Ｔｓの比の値は約１．９である。そこで、図１６では蓄積分割数Ｎｐをもとの値の１／２にすることにより、動画の単位蓄積時間Ｔ１／Ｎｐが光源周期Ｔｓと同程度の値になるようにしている。これにより、図１６では単位蓄積時間Ｔ１／Ｎｐと蓄積間隔Ｔ２／Ｎｐとがそれぞれもとの値の２倍になっている。動画の単位蓄積時間Ｔ１／Ｎｐと光源の点滅の１周期とがほぼ一致しているため、被写体光の点灯タイミングと動画の蓄積のタイミングが変化しても露出値には大きな変化は生じない。そのため、図１３の説明で述べたような露出差を低減することができる。

なお、蓄積分割数Ｎｐを小さくすると、ジャーキネスの低減効果が減少するが、元の蓄積分割数Ｎｐが十分に大きければ、その影響は問題のない程度に留めることができる。

ステップＳ４１２４の条件が満たされない場合、すなわち、光源周期Ｔｓが動画の単位蓄積時間Ｔ１／Ｎｐよりも十分に大きい場合又は蓄積分割数Ｎｐが小さい場合には、上述の第１の露出差低減処理を適用できないことがある。このような場合に、動画の単位蓄積時間Ｔ１／Ｎｐを光源周期Ｔｓに近づけると、蓄積分割数Ｎｐが小さくなりすぎてジャーキネスの低減効果が失われる場合があるためである。また、蓄積分割数Ｎｐを最小の値である２に設定したとしても単位蓄積時間Ｔ１／Ｎｐを光源周期Ｔｓに近づけることができない場合もある。

このような場合には、ステップＳ４１２６において、撮像装置１００のシステム制御ＣＰＵ１７８は、第２の露出差低減処理（第２の処理）を行う。第２の露出差低減処理は、蓄積分割数Ｎｐを変更して、動画の蓄積タイミングが被写体光の点滅の周期に対して同期しないようにする処理である。具体的には、動画の蓄積期間Ｔ２と光源周期Ｔｓとのうちの、大きい方の値を小さい方の値で除した数であるＴ２／Ｔｓ又はＴｓ／Ｔ２の約数以外の数に、蓄積分割数Ｎｐを設定する。より望ましくは、蓄積分割数Ｎｐは、Ｔ２／Ｔｓ又はＴｓ／Ｔ２と１以外の公約数を持たないように（互いに素となるように）設定される。なお、ステップＳ４１２３の条件が満たされている場合には、Ｔ２／Ｔｓ又はＴｓ／Ｔ２はＮｐの整数倍に近い値である。

第２の露出差低減処理について、具体例を挙げて説明する。例えば、元の蓄積分割数Ｎｐが１６であり、Ｔ２／Ｔｓが６４である場合は、蓄積分割数Ｎｐは、Ｔ２／Ｔｓの約数である１、２、４、８、１６、３２、６４以外の数、例えば、１４、１８等に設定される。より望ましくは、蓄積分割数Ｎｐは、Ｔ２／Ｔｓと１以外の公約数を持たない１５や１７等に設定される。これにより、動画の蓄積タイミングが被写体光の点滅のタイミングに対して同期しないようにすることができるため、動画の分割蓄積に起因する露出差を低減することができる。

図１７（ａ）及び図１７（ｂ）は、第２の露出差低減処理の効果を示すタイミングチャートである。図１７（ａ）は、露出差低減処理を行う前のタイミングチャートを示しており、図１７（ｂ）は、露出差低減処理を行った後のタイミングチャートを示している。図１７（ａ）においては、動画の蓄積間隔Ｔ２／Ｎｐが、光源周期Ｔｓの２倍に近い。そのため、画素行間で露出差が発生している。更に、動画の単位蓄積時間Ｔ１／Ｎｐに対して、光源周期Ｔｓが３倍以上の長さであるため、上述の第１の露出差低減処理を行うことは困難である。

図１７（ｂ）は、第２の露出差低減処理を適用した後のタイミングチャートである。本例では動画の蓄積期間Ｔ２を光源周期Ｔｓで除した数Ｔ２／Ｔｓが３２であり、蓄積分割数ＮｐがＴ２／Ｔｓの約数以外の値である１８に設定されている。これにより、動画の蓄積間隔Ｔ２／Ｎｐは、被写体光の光源周期Ｔｓと同期しない状態となる。被写体光の点灯タイミングと動画の蓄積のタイミングが同期しないため、露出値は平均化され、画素行間の露出差は低減される。

以上のように、ステップＳ４１２５の第１の露出差低減処理を行った場合とステップＳ４１２６の第２の露出差低減処理を行った場合のいずれにおいても露出差を低減する効果が得られる。ステップＳ４１２５又はステップＳ４１２６により蓄積分割数Ｎｐの設定が完了すると、図４のステップＳ４１２の動画の露出差低減処理は完了し、処理はステップＳ４１３に移行する。

（静止画の露出差低減処理）
図４のステップＳ４１３において、撮像装置１００のシステム制御ＣＰＵ１７８は、静止画の露出差低減処理を行う。静止画の露出差低減処理は第３の露出差低減処理（あるいは第３の処理）と呼称されることもある。ここで、図１８を参照してステップＳ４１３の処理を示すサブルーチンを説明する。図１８は、静止画の露出差低減処理を示すフローチャートである。

図１８のステップＳ４１３１において、撮像装置１００のシステム制御ＣＰＵ１７８は、光源周期Ｔｓが所定の第５の閾値Ｔｓ５よりも大きいか否かを判定する。光源周期Ｔｓが第５の閾値Ｔｓ５よりも大きい場合（ステップＳ４１３１においてＹｅｓ）には、処理はステップＳ４１３２に移行する。光源周期Ｔｓが第５の閾値Ｔｓ５以下である場合（ステップＳ４１３１においてＮｏ）には、露出差低減処理は不要であると判定され、本処理は終了する。

ここで、第５の閾値Ｔｓ５は、静止画の蓄積期間Ｔ１の整数分の１程度の値に設定され得る。第５の閾値Ｔｓ５による処理の分岐を行う理由を説明する。光源周期Ｔｓが静止画の蓄積期間Ｔ１内に複数個含まれるほど小さい場合には、静止画の蓄積タイミング、被写体光の点滅のタイミング及び光源のデューティー比によらず、露出値はほぼ一定となる。そのため、露出差低減処理を行う必要があまりないためである。

図１８のステップＳ４１３２において、撮像装置１００のシステム制御ＣＰＵ１７８は、光源のデューティー比Ｄｓが第６の閾値Ｄｓ６よりも小さいか否かを判定する。この第６の閾値Ｄｓ６は、０％から１００％までの値に適宜設定され得る。デューティー比Ｄｓが第６の閾値Ｄｓ６よりも小さい場合（ステップＳ４１３２においてＹｅｓ）には、露出差低減処理が必要であると判定され、処理はステップＳ４１３４に移行する。デューティー比Ｄｓが第６の閾値Ｄｓ６以上である場合（ステップＳ４１３２においてＮｏ）には、処理はステップＳ４１３３に移行する。

図１８のステップＳ４１３３において、撮像装置１００のシステム制御ＣＰＵ１７８は、光源周期Ｔｓが第７の閾値Ｔｓ７よりも大きいか否かを判定する。光源周期Ｔｓが第７の閾値Ｔｓ７よりも大きい場合（ステップＳ４１３３においてＹｅｓ）には、露出差低減処理が必要であると判定され、処理はステップＳ４１３４に移行する。光源周期Ｔｓが第７の閾値Ｔｓ７以下である場合（ステップＳ４１３３においてＮｏ）には、露出差低減処理は不要であると判定され、本処理は終了する。

ここで、第７の閾値Ｔｓ７は、第５の閾値Ｔｓ５と同様に静止画の蓄積期間Ｔ１の整数分の１程度の値であり、かつ、第５の閾値Ｔｓ５よりも大きい値に設定される。この判定を行う理由は、基本的にはステップＳ４１３１における判定と同様であるが、閾値のレベルを変更している。この理由は、光源のデューティー比Ｄｓが大きくなるほど露出差は発生しにくくため、ステップＳ４１３２でデューティー比Ｄｓがある程度大きいと判定された場合には、光源周期の判定基準を緩和して再度判定を行うことができるためである。

なお、ステップＳ４１３２とステップＳ４１３３の処理は省略されてもよい。その場合は、ステップＳ４１３１で光源周期Ｔｓが第５の閾値Ｔｓ５よりも大きい場合には、処理はステップＳ４１３４に移行するものとする。

図１８のステップＳ４１３４において、撮像装置１００のシステム制御ＣＰＵ１７８は、光源波形の位相の予測を行う。撮像装置１００の取得手段２０１は、ある時点における撮像装置１００の垂直同期信号５５０に対する被写体光の明滅の位相を取得する。システム制御ＣＰＵ１７８は、この位相に基づいて、位相取得時刻以降の各時刻における被写体光の明滅の位相を予測する。

図１８のステップＳ４１３５において、撮像装置１００のシステム制御ＣＰＵ１７８は、蓄積及び転送のタイミングをシフトさせる第３の露出差低減処理を行う。この処理では、各フレーム、各画素行について、静止画の蓄積を開始するタイミングを、被写体光の位相に対して一定とするように調節する。これにより、被写体光の明滅による静止画撮影時のフレーム間又は画素行間における露出差を抑制することができる。

図１９（ａ）及び図１９（ｂ）は、ステップＳ４１３５における静止画の露出差低減処理（第３の露出差低減処理）の効果を示すタイミングチャートである。図１９（ａ）と図１９（ｂ）とは、互いに異なる時点における蓄積及び転送のタイミングを示している。図１９（ａ）及び図１９（ｂ）は、被写体光の光源周期Ｔｓが静止画の蓄積期間Ｔ１の１／２以上と比較的長く、また、デューティー比が小さいため静止画の露出差が生じやすい状況のタイミングチャートである。なお、本例においては、動画の撮影に関しては蓄積間隔Ｔ２／Ｎｐと光源周期Ｔｓが同期しにくいため、露出差は生じにくい。

図１９（ａ）のタイミングチャートにおいて、垂直同期信号５５０を基準として、静止画及び動画の蓄積は、垂直同期信号５５０を基準とした、全画素行に共通のタイミングで行われる。静止画の蓄積を開始するタイミングは、垂直同期信号５５０に対してＴｘだけ経過した時刻である。図１９（ｂ）のタイミングチャートでは、第３の露出差低減処理による蓄積及び転送のタイミングのシフトが示されている。図１９（ｂ）には、タイミングをシフトさせた後の静止画蓄積期間５６１及び静止画転送期間５６２に加えて、タイミングをシフトさせる前の静止画蓄積期間５６１０及び静止画転送期間５６２０が図示されている。

図１９（ｂ）においては、図１９（ａ）の時点と比べて垂直同期信号５５０に対する被写体光の明滅の位相がずれている。これに伴い、静止画蓄積期間５６１０及び静止画転送期間５６２０に対する被写体光の位相もずれる。よって、第３の露出差低減処理を行わない場合には、フレーム間で静止画の露出差が生じ得る。図１９（ａ）及び図１９（ｂ）のように、１回の静止画蓄積期間内に被写体光の点灯が１回であるか、２回であるかがフレームごとに変わるためである。

しかしながら、第３の露出差低減処理により、静止画の蓄積開始と光源の点灯タイミングの間隔Ｔｙが一定に保たれるように、図１９（ｂ）の矢印６０１に示すように蓄積及び転送のタイミングをシフトさせる。これにより、フレーム間の露出差の発生が低減される。

ステップＳ４１３５又はステップＳ４１２６により蓄積及び転送のタイミングをシフトする設定が完了すると、図４のステップＳ４１３の静止画の露出差低減処理は完了し、処理はステップＳ４１４に移行する。

動画の露出差低減処理は主に蓄積分割数Ｎｐを変更するものである。一方、静止画露出差低減処理は、蓄積及び転送のタイミングを調節するものである。そのため、これら、それぞれ独立して設定を行うことができる。よって、デュアル撮影時の動画及び静止画の撮影において、動画及び静止画のそれぞれに適した設定を行うことができる。

（静止画及び動画の表示方法及び印刷方法）
続いて、撮影された動画及び静止画の表示方法及び印刷方法について説明する。図２０は、本実施形態の撮像装置１００、タブレット端末、パーソナルコンピュータ、テレビモニタ等の表示手段における、静止画及び動画の表示例を説明する模式図である。図２０中の「ｐｉｃｔｕｒｅＡ」は静止画を示しており、「ｐｉｃｔｕｒｅＢ」は動画を示している。なお、表示される静止画及び動画の画像データは、例えばＭＰ４ファイルであり、記録媒体１９３、ネットワーク上のストレージ等に格納されている。これらから画像データを読み出すことにより、静止画又は動画の表示が行われる。

図２０には、第１のＭＰ４ファイルに格納された静止画のフレーム群５８１と、第２のＭＰ４ファイルに格納された動画のフレーム群５７１とが模式的に示されている。第１のＭＰ４ファイルと第２のＭＰ４ファイルには撮影時に同じＣＬＩＰ－ＵＭＩＤが設定されており、相互に関連付けがなされている。

動画の再生を開始すると、動画のフレーム群５７１のうちの先頭のフレーム５７２から順に、所定のフレームレートで画像の再生が進められる。動画の撮影時のシャッタースピードは大きくなりすぎないようにフレームレートに近い値（本例では１／６０秒）に設定されている。そのため、再生される映像はジャーキネスの無い高品位なものである。

フレーム５７３まで動画の再生が進んだ時点でユーザが一時停止の操作を行うと、自動的に当該動画に対応する静止画のファイルから同一タイムコードのフレーム５８２が検索され、表示される。静止画の撮影時のシャッタースピードは、ストップモーション効果が得られやすいように高速な値（本例では１／１０００秒）に設定されている。そのため、フレーム５８２は、高速で動く被写体の撮影に適した鮮鋭な画像である。静止画と動画は、異なるシャッタースピードの設定で撮影されたものであるが、信号電荷により得られた信号に基づく画像であるため、いずれもＳ／Ｎ比が良好な画像である。

ここで、ユーザが印刷の指示を行うと、静止画のフレーム５８２のデータがプリントインターフェース部１９４を介してプリンタ１９５に対して出力される。プリンタ１９５はフレーム５８２のデータに基づく画像を紙等に印刷する。したがって、印刷された画像もストップモーション効果が得られる鮮鋭なものとなる。ユーザが一時停止を解除する操作を行うと、動画のフレーム群５７１の中のフレーム５７４から再生が再開される。

以上のように、本実施形態によれば、点滅光源下での撮影において、露出差が低減された動画の撮影が可能な撮像装置１００が提供される。この撮像装置１００は、更に静止画と動画のデュアル撮影を行うことができ、静止画と動画のそれぞれに対して露出差の低減を行うことができるため、高品位な静止画及び動画の撮影が可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

５０画素
１００撮像装置
１７８システム制御ＣＰＵ
２０１取得手段
５００フォトダイオード
５０７Ａ、５０７Ｂ信号保持部

Claims

光電変換部と第１の信号保持部とを含む画素と、
被写体の輝度変化周期を取得する取得手段と、
一の撮影周期中に前記光電変換部で発生し蓄積された第１の信号電荷を、前記第１の信号保持部に少なくとも２回転送して加算することにより生成される第１の画像信号を、前記画素から出力させる制御手段と、
を備え、
前記制御手段は、前記一の撮影周期中における前記光電変換部から前記第１の信号保持部への前記第１の信号電荷の転送回数を前記輝度変化周期に基づいて決定する処理を行い、前記輝度変化周期が第１の閾値よりも小さい場合に、前記転送回数を前記輝度変化周期に基づいて決定する
ことを特徴とする撮像装置。
前記制御手段は、前記第１の信号電荷の蓄積時間の合計を前記転送回数で除して得られた値である単位蓄積時間が、前記輝度変化周期以上となるように、前記転送回数を決定する第１の処理を行い得る
ことを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記一の撮影周期中において前記第１の信号電荷を蓄積する期間である蓄積期間の長さと、前記輝度変化周期と、のうちの大きい方から小さい方を除して得られた値の約数以外の値に、前記転送回数を決定する第２の処理を行い得る
ことを特徴とする請求項１又は２に記載の撮像装置。
前記第１の閾値は、前記一の撮影周期中において前記第１の信号電荷を蓄積する期間である蓄積期間の長さと略等しい
ことを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記輝度変化周期が第２の閾値よりも大きい場合に、前記転送回数を前記輝度変化周期に基づいて決定する処理を行う
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記第２の閾値は、前記第１の信号電荷の蓄積時間の合計を前記転送回数で除して得られた値である単位蓄積時間と略等しい
ことを特徴とする請求項５に記載の撮像装置。
前記第１の信号電荷の蓄積の間隔が、前記輝度変化周期の整数倍又は整数分の１と略同一である場合に、前記転送回数を前記輝度変化周期に基づいて決定する処理を行う
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記制御手段は、
前記第１の信号電荷の蓄積時間の合計を前記転送回数で除して得られた値である単位蓄積時間を前記輝度変化周期から除して得られた値に基づいて、
前記単位蓄積時間が、前記輝度変化周期以上となるように、前記転送回数を決定する第１の処理、又は
前記一の撮影周期中において前記第１の信号電荷を蓄積する期間である蓄積期間の長さと、前記輝度変化周期と、のうちの大きい方から小さい方を除して得られた値の約数以外の値に、前記転送回数を決定する第２の処理
のいずれを行うかを決定する
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
前記画素は第２の信号保持部を更に備え、
前記制御手段は、前記一の撮影周期中に前記光電変換部で発生し蓄積された第２の信号電荷を少なくとも１回、前記第２の信号保持部に転送することにより生成される第２の画像信号を、更に前記画素から出力させる
ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
前記一の撮影周期中における前記第１の信号電荷の蓄積時間の合計と、前記一の撮影周期中における前記第２の信号電荷の蓄積時間の合計とが略同一であることを特徴とする
請求項９に記載の撮像装置。
前記制御手段は、前記第２の信号電荷を蓄積するタイミングを前記被写体の輝度変化に応じたタイミングとなるように決定する第３の処理を行い得る
ことを特徴とする請求項９又は１０に記載の撮像装置。
前記取得手段は、前記被写体の輝度変化の位相を取得し、
前記制御手段は、前記位相に基づいて、前記第２の信号電荷を蓄積するタイミングを決定する
ことを特徴とする請求項１１に記載の撮像装置。
前記制御手段は、前記輝度変化周期に基づいて前記第３の処理を行うか否かを決定する
ことを特徴とする請求項１１又は１２に記載の撮像装置。
前記取得手段は、前記被写体の輝度変化のデューティー比を更に取得し、
前記制御手段は、更に前記デューティー比に基づいて前記第３の処理を行うか否かを決定する
ことを特徴とする請求項１１乃至１３のいずれか１項に記載の撮像装置。
前記第１の画像信号は動画の表示に用いられ、前記第２の画像信号は静止画の表示に用いられる
ことを特徴とする請求項９乃至１４のいずれか１項に記載の撮像装置。
前記静止画は、前記動画の再生の際に一時停止を行った場合に表示される画像である
ことを特徴とする請求項１５に記載の撮像装置。
光電変換部と第１の信号保持部とを含む画素を備える撮像装置の制御方法であって、
被写体の輝度変化周期を取得するステップと、
一の撮影周期中に前記光電変換部で発生し蓄積された第１の信号電荷を、前記第１の信号保持部に少なくとも２回転送して加算することにより生成される第１の画像信号を、前記画素から出力させるステップと、
を備え、
前記輝度変化周期が第１の閾値よりも小さい場合に、前記一の撮影周期中における前記光電変換部から前記第１の信号保持部への前記第１の信号電荷の転送回数が前記輝度変化周期に基づいて決定され得る
ことを特徴とする撮像装置の制御方法。