JP6152009B2

JP6152009B2 - 撮像装置、撮像方法、プログラム、及び記録媒体

Info

Publication number: JP6152009B2
Application number: JP2013161857A
Authority: JP
Inventors: 近藤　浩; 浩近藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-08-02
Filing date: 2013-08-02
Publication date: 2017-06-21
Anticipated expiration: 2033-08-02
Also published as: JP2015033020A

Description

本発明は、撮像装置、撮像方法、プログラム、及び記録媒体に関する。

近年のデジタルカメラなどの撮像装置では、一般的に、音声付き動画を撮影記録することができる。また、高いフレームレートで撮像した画像を低いフレームレートで記録することができる撮像装置が知られている。こうして記録された動画を再生すると、スロー再生の効果が得られる。

また、最近では、連続撮像した複数の画像を合成して記録する技術が知られている。特許文献１は、時系列的に連続撮像した複数の画像を合成する際に、被写体の変化、或いは被写体に対する撮像条件の変化に応じて合成を行うか否かを決定する画像処理方法を開示している。合成を行う場合、撮像装置は、露光時間を長秒・短秒と交互に変更しながら連続撮像して各画像を合成することにより、ダイナミックレンジの広い動画（以降、「ＨＤＲ動画」と記述）を生成することが可能である。被写体の状況に応じて合成・非合成を切り替えれば、ＨＤＲ動画と通常（非合成）動画とを記録中に動的に切り替えることも可能である。動画記録中にＨＤＲ動画から通常動画に切り替える場合、撮像装置は、ＨＤＲ動画の場合と同じ記録フレームレートで記録を行うために、撮像画像を間引いて記録する。

特開２００７−０３６７４２号公報

上述の通り、特許文献１の技術に従って動画記録中にＨＤＲ動画から通常動画に切り替えた場合には時系列的に間引かれた動画が生成されるため、画質が低下する（不連続な画像に見えてしまう）問題があった。また、露光時間が記録フレームレートよりも高い撮像フレームレートによって制限されてしまい、画質が低下する問題もあった。このような問題は、複数の画像を合成する処理において発生するもので、ＨＤＲ動画を生成するために合成を行う場合だけではなく、巡回型ノイズリダクション処理を行う場合にも発生し得る。

本発明はこのような状況に鑑みてなされたものであり、動画記録中に撮像画像の合成・非合成が切り替えられた場合の画質を向上させる技術を提供することを目的とする。

上記課題を解決するために、本発明は、撮像手段と、第１のフレームレート又は前記第１のフレームレートよりも高い第２のフレームレートで連続的に撮像を行うように前記撮像手段を制御する制御手段と、前記連続的な撮像により連続的に生成される画像データを処理する画像処理手段であって、各画像データを他の画像データと合成せずに処理する非合成モード、又は、所定数の画像データを合成する処理を行う合成モードで動作する画像処理手段と、前記画像処理手段が前記非合成モードから前記合成モードに切り替わる場合に、前記撮像手段の露光時間が前記第２のフレームレートの逆数よりも長いか否かを判定する判定手段と、を備え、前記制御手段は、前記連続的な撮像の間に前記画像処理手段が前記非合成モードから前記合成モードに切り替わる場合、前記第１のフレームレートから前記第２のフレームレートに切り替え、前記連続的な撮像の間に前記画像処理手段が前記合成モードから前記非合成モードに切り替わる場合、前記第２のフレームレートから前記第１のフレームレートに切り替え、前記制御手段は、前記画像処理手段が前記合成モードで動作する場合、前記画像処理手段が前記所定数の画像データを合成することによりダイナミックレンジが拡大された画像データを生成するために、前記所定数の画像データがそれぞれ異なる露光時間で撮像を行うことにより生成されるように前記撮像手段を制御し、
前記制御手段は、前記判定手段により前記撮像手段の露光時間が前記第２のフレームレートの逆数よりも長いと判定された場合に、前記撮像手段の露光時間を前記第２のフレームレートの逆数以下に短縮し、当該短縮された露光時間での撮像が行われた後に、前記第１のフレームレートから前記第２のフレームレートに切り替えることを特徴とする撮像装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、動画記録中に撮像画像の合成・非合成が切り替えられた場合の画質を向上させることが可能となる。

撮像装置１００の構成を示すブロック図。第１の実施形態に係る動画撮影処理のフローチャート。通常動画からＨＤＲ動画への切り替え処理のフローチャート。ＨＤＲ動画処理のフローチャート。ＨＤＲ動画から通常動画への切り替え処理のフローチャート。通常動画処理のフローチャート。通常動画からＨＤＲ動画への切り替え処理の様子を時系列で表した概念図。ＨＤＲ動画から通常動画への切り替え処理の様子を時系列で表した概念図。第２の実施形態に係る巡回ＮＲ処理のフローチャート。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
図１は、第１の実施形態に係る撮像装置１００の構成を示すブロック図である。撮像装置１００は、ズームレンズ１１０、撮像装置１００の手ブレを補正するシフトレンズ１１１、フォーカスレンズ１１２、後段への光束を遮断するメカニカルシャッタ１１３、及び、後段への光束を調節する絞り１１４を備える。撮像装置１００はまた、撮像素子１１５、及び、撮像素子１１５を駆動し、サンプリングに必要なタイミングパルスを発生するタイミング発生器１１６を備える。

撮像装置１００はまた、画像処理部１１７を備える。画像処理部１１７は、撮像駆動用の同期信号を発生するＳＳＧ回路、撮像によるデジタル出力を受信して前処理を行う前処理回路、ＡＦ評価値演算回路、輝度積分回路、信号処理回路、画像合成回路、縮小回路、ラスタ−ブロック変換回路、及び圧縮回路を含む。

ＳＳＧ回路は、タイミング発生器１１６から撮像駆動用のクロックを受けて、水平及び垂直同期信号を発生し、タイミング発生器１１６と撮像素子１１５に出力する。前処理回路は、入力画像を行単位で輝度積分回路と信号処理回路とに分配する。また、前処理回路は、撮像データに必要となるチャネル間のデータ補正等の処理を行う。ＡＦ評価値演算回路は、設定された複数の評価領域内に入力される画像信号の輝度成分について水平方向のフィルタ処理を施し、コントラストを表す所定周波数を抽出しながら最大値を選択し、垂直方向に積分演算を行う。輝度積分回路は、ＲＧＢ信号から輝度成分を混合生成し、入力画像を複数領域に分割し、領域毎に輝度成分を生成する。信号処理回路は、撮像素子１１５の出力データに色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成する。同時に、信号処理回路は、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成し、メモリ部１２３にＹＵＶ形式の画像データを格納する。また、信号処理回路は、生成するＹＵＶ形式の画像データの輝度信号（Ｙ）をそのレベル毎に集計し、画像データ毎の輝度分布データを生成する。画像合成回路は、メモリ部１２３に格納された複数のＲＧＢ形式の撮像画像、或いはその撮像画像に対して信号処理を施した複数のＹＵＶ形式の画像データを取得し、画像データに対して画素単位で設定された係数を乗じて加算することにより合成画像を生成する。縮小回路は、信号処理回路の出力を受けて、入力される画素データの切り出し、間引き、及び線形補間処理等を行い、水平垂直方向に画素データの縮小処理を施す。ラスタ−ブロック変換回路は、縮小回路で変倍されたラスタスキャン画像データをブロックスキャン画像データに変換する。こうした一連の画像処理は、メモリ部１２３がバッファメモリとして用いられて実現される。圧縮回路は、ブロックスキャン画像データに変換されたＹＵＶ画像データを動画圧縮方式に従って圧縮することにより、動画ビットストリームを出力する。

露出制御部１１８は、メカニカルシャッタ１１３及び絞り１１４を制御する。レンズ駆動部１１９は、ズームレンズ１１０及びフォーカスレンズ１１２を光軸上に沿って移動させ、被写界像を撮像素子１１５上に結像させる。また、レンズ駆動部１１９は、角速度センサ及び加速度センサ（不図示）の出力に応じてシフトレンズ１１１を駆動し、撮像装置１００の手ブレを光学的に補正する。レリーズスイッチ１２０は、ユーザが撮影指示を行うためのものである。動画ボタン１８０は、ユーザが動画記録を指示するためのものである。

システム制御部１２１は、ＣＰＵとそのインタフェース回路、ＤＭＡＣ(Direct Memory Access Controller)、及びバスアービター等を含む。ＣＰＵが実行するプログラムは、フラッシュメモリ１２２に記憶されている。メモリ部１２３は、ＤＲＡＭ等であり、各処理の途中のデータを一時的に保存する。また、フラッシュメモリ１２２内のプログラムは、メモリ部１２３に展開されて使用される。撮像装置１００の各種の制御はシステム制御部１２１で行われる。

Ｉ／Ｆ部１２４は、記録媒体２００に対するインタフェースである。コネクタ１２５は、記録媒体２００を接続するためのコネクタである。記録媒体着脱検知スイッチ１２６は、記録媒体２００の着脱を検知する。マイクロフォン１２７は、入力された音声を音声信号に変換する。Ａ／Ｄ変換器１２８は、マイクロフォン１２７の音声出力をデジタル音声信号に変換する。音声処理部１２９は、デジタル音声データに所定の音声処理を施し、音声ビットストリームを出力する。

電源制御部１３０は、電池検出回路及びＤＣ−ＤＣコンバータ（不図示）を制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源コネクタ１３１は、電源１３２のためのコネクタであり、電源１３２は、一次電池、二次電池、又はＡＣアダプター等からなる電源である。

再生回路１５０は、画像処理部１１７で生成されてメモリ部１２３に記憶された画像データを表示用画像に変換してモニタ１５１に転送する。モニタ１５１は、再生回路１５０から出力された画像を表示する。再生回路１５０は、ＹＵＶ形式の画像データを輝度成分信号Ｙと変調色差成分Ｃとに分離し、Ｄ／Ａ変換を行ったアナログ化されたＹ信号にＬＰＦ処理を施す。また、再生回路１５０は、Ｄ／Ａ変換を行ったアナログ化されたＣ信号にＢＰＦ処理を施して変調色差成分の周波数成分のみを抽出する。再生回路１５０は、こうして生成された信号成分とサブキャリア周波数に基づいて、Ｙ信号とＲＧＢ信号に変換生成して、モニタ１５１に出力する。このように、撮像素子１１５からの画像データを逐次処理して表示することによって電子ビューファインダ（ＥＶＦ）が実現される。

記録媒体２００は、半導体メモリ等から構成される記録部２０１、撮像装置１００とのインタフェースであるＩ／Ｆ部２０２、撮像装置１００と接続を行うコネクタ２０３、及び、媒体記録禁止スイッチ２０４を含む。

ここから、第１の実施形態に係る動画撮影処理について詳細に説明する。本実施形態の動画撮影処理によれば、撮像装置１００の画像処理部１１７は、システム制御部１２１からの指示に従い、非合成モード又は合成モードで動作することができる。非合成モードの場合、画像処理部１１７は、撮像素子１１５により連続的に生成される画像データの各々を、他の画像データと合成せずに処理する。合成モードの場合、画像処理部１１７は、それぞれ異なる露光時間の撮像により撮像素子１１５が生成した所定数の画像データを合成することにより、ＨＤＲ画像を生成する。画像処理部１１７は、動画撮影中に合成モードと非合成モードとを動的に切り替えることができる。例えば、システム制御部１２１は、撮影シーンを自動判別し、画像処理部１１７は、その判別結果により、合成モードと非合成モードとを切り替える。

本実施形態では、撮像素子１１５はＣＭＯＳセンサであり、記録フレームレートは６０ＦＰＳとする。また、撮像素子１１５は、撮像フレームレートとして６０ＦＰＳ（第１のフレームレート）又は１２０ＦＰＳ（第２のフレームレート）で動作可能である。撮像装置１００は、撮影シーンに応じて、ＨＤＲが必要となるケースでは１２０ＦＰＳで撮像を行い、所定数の画像データを合成することにより、１枚のＨＤＲフレームを生成する。本実施形態では、長秒露光・短秒露光で得られた２枚の画像データを合成することで１枚のＨＤＲフレームを作成するものとする。一方、ＨＤＲが不要となるケースでは、撮像装置１００は、撮像フレームレートを６０ＦＰＳに切り替える。

図２は、第１の実施形態に係る動画撮影処理のフローチャートである。図２を含め、以下で説明するフローチャートにおける各処理は、特に断らない限り、システム制御部１２１がフラッシュメモリ１２２に格納されたプログラムをメモリ部１２３に展開して実行することにより実現される。なお、図２は、動画ボタン１８０により動画記録開始が指示された後の処理を表している。

Ｓ２０１で、システム制御部１２１は、画像処理部１１７に対して動画記録用の撮像駆動指示を行う。撮像駆動指示に応えて、画像処理部１１７は、ＳＳＧ回路内の撮像同期信号の設定を行う。また、画像処理部１１７は、撮像素子１１５及びタイミング発生器１１６に対して動画用のタイミング設定を行う。

Ｓ２０２で、システム制御部１２１は、ＨＤＲ動画が選択されているか否かを示すフラグ”HDR_FLAG”を０に初期化する。これは、初期状態では通常動画が選択されていることを示している。

Ｓ２０３で、画像処理部１１７は、撮像素子１１５から入力された画像を分割してブロック毎に積分し、システム制御部１２１は、その結果に基づいて、露出制御を行う。

Ｓ２０４で、画像処理部１１７は、順次読み出される画像データを、信号処理回路及び縮小回路により表示用画像データに加工し、メモリ部１２３に格納する。そして、表示用画像データに対応する画像は、再生回路１５０を通してモニタ１５１に表示される。

Ｓ２０５で、画像処理部１１７は、適正露光で得られた画像データ（以下、適正露光画像と呼ぶ）のブロック毎の積分結果から、画像内の高輝度ブロックと低輝度ブロックとの間の明暗差を検出する。Ｓ２０６で、システム制御部１２１は、明暗差が所定の閾値以上か否かを判定する。閾値未満であった場合、処理はＳ２０７へ進み、閾値以上であった場合、処理はＳ２１３に進む。

Ｓ２０７で、システム制御部１２１は、HDR_FLAGが１であるか否か、即ち、ＨＤＲ動画が選択されているかを判定する。HDR_FLAGが１であった場合、Ｓ２０８で、ＨＤＲ動画から通常動画への切り替え処理が行われ、その後、処理はＳ２０９へ進む。Ｓ２０８の詳細については後述する。Ｓ２０７においてHDR_FLAGが１でなかった場合、即ち、既に通常動画が選択されていた場合、処理はＳ２０８をスキップしてＳ２０９へ進む。Ｓ２０９で、通常動画処理が行われる。Ｓ２０９の詳細については後述する。Ｓ２１０で、システム制御部１２１は、HDR_FLAGを０に設定する。

Ｓ２１１で、システム制御部１２１は、動画ボタン１８０が再度押下されたか否かを判定する。押下された場合、Ｓ２１２で、システム制御部１２１は、動画記録を停止し、本フローチャートの処理が終了する。Ｓ２１１において動画ボタン１８０が押下されていないと判定された場合、処理はＳ２０３へ戻る。

Ｓ２０６において明暗差が所定の閾値以上であった場合、Ｓ２１３で、システム制御部１２１は、HDR_FLAGが０であるか否か、即ち、通常動画が選択されているか否かを判定する。HDR_FLAGが０であった場合、Ｓ２１４で、通常動画からＨＤＲ動画への切り替え処理が行われ、その後、処理はＳ２１５へ進む。Ｓ２１４の詳細については後述する。Ｓ２１３においてHDR_FLAGが０でなかった場合、即ち、既にＨＤＲ動画が選択されていた場合、処理はＳ２１４をスキップしてＳ２１５へ進む。Ｓ２１５で、ＨＤＲ動画処理が行われる。Ｓ２１５の詳細については後述する。Ｓ２１６で、システム制御部１２１は、HDR_FLAGを１に設定し、処理をＳ２１１へ進める。

図３は、通常動画からＨＤＲ動画への切り替え処理のフローチャートである。Ｓ３０１で、システム制御部１２１は、図２のＳ２０３及びＳ２０５で得られた露出情報及び明暗差をもとに、適正露光時間Exp_justを算出する。また、システム制御部１２１は、合成画像の元となる２枚の画像データを得るための各露光時間Exp_long及びExp_shortを算出する。以下では、露光時間Exp_longで得られた画像データをオーバー画像、露光時間Exp_shortで得られた画像データをアンダー画像と呼ぶ。

Ｓ３０２で、システム制御部１２１は、露光時間Expの初期値として適正露光時間Exp_justを代入する。Ｓ３０３で、システム制御部１２１は、ＨＤＲ動画への切り替え後の撮像Ｖ周期Ｖａを求める。本実施形態においては、ＨＤＲ動画時の撮像フレームレートは１２０ＦＰＳであるため、Ｖａはその逆数、即ち、Ｖａ＝８．３３（ｍｓ）となる。

Ｓ３０４で、システム制御部１２１は、露光時間ExpとＨＤＲ動画への切り替え後の撮像Ｖ周期Ｖａとを比較する。Exp＞Ｖａであれば、処理はＳ３０５へ進み、そうでない場合、処理はＳ３０８へ進む。

Ｓ３０５で、システム制御部１２１は、露光時間をＶａ／２だけ短縮する（Exp = Exp - Va/2）。Ｓ３０６で、システム制御部１２１は、撮像素子１１５に対して、短縮後の露光時間での露光・読み出し動作を実施する。また、システム制御部１２１は、露光時間の短縮による輝度低下を補償するために、読み出しの際のゲインを変化（増加）させる。読み出された画像データは、メモリ部１２３に一旦格納される。システム制御部１２１は、この画像データを読み出し、画像処理部１１７内の信号処理回路、ラスタ−ブロック変換回路、及び圧縮回路を経て、記録用画像をメモリ部１２３に格納する。Ｓ３０７で、記録用画像が順次読み出され、記録媒体２００に書き込まれる。Ｓ３０４からＳ３０７の処理の繰り返しにより、露光時間は、ＨＤＲ動画時の撮像フレームレートの逆数以下になるまで段階的に短縮される。

Ｓ３０８で、システム制御部１２１は、露光時間Expにオーバー画像用の露光時間Exp_longを代入する。Ｓ３０９で、システム制御部１２１は、画像処理部１１７内のＳＳＧ回路において撮像垂直同期信号（撮像ＶＤ）が１６．６７（ｍｓ）から８．３３（ｍｓ）となるように制御することで、フレームレートを６０ＦＰＳから１２０ＦＰＳに変更する。Ｓ３１０及びＳ３１１で、システム制御部１２１は、Ｓ３０６及びＳ３０７と同様に、画像の露光、読み出し、及び記録を行う。以上の処理により、通常動画からＨＤＲ動画への切り替え処理が完了する。

図４は、ＨＤＲ動画処理のフローチャートである。Ｓ４０１で、システム制御部１２１は、図２のＳ２０３及びＳ２０５で得られた露出情報及び明暗差をもとに、合成画像の元となるオーバー画像及びアンダー画像のための各露光時間Exp_long及びExp_shortを算出する。

Ｓ４０２で、システム制御部１２１は、露光時間Exp_shortにて露光したアンダー画像の露光・読み出し動画を行う。Ｓ４０３で、システム制御部１２１は、露光時間Exp_longにて露光したオーバー画像の露光・読み出し動作を行う。読み出されたオーバー画像及びアンダー画像は、メモリ部１２３に一旦格納される。Ｓ４０４で、システム制御部１２１は、メモリ部１２３からオーバー画像及びアンダー画像を読み出し、画像処理部１１７内で画像合成を行うことにより、ダイナミックレンジが拡大された画像データ（ＨＤＲ画像）を生成する。Ｓ４０５で、システム制御部１２１は、図３のＳ３０７と同様に、ＨＤＲ画像を記録媒体２００に書き込む。以上の処理により１フレーム分のＨＤＲ画像の記録が完了する。

図５は、ＨＤＲ動画から通常動画への切り替え処理のフローチャートである。Ｓ５０２で、システム制御部１２１は、露光時間Expにオーバー画像用の露光時間Exp_longを代入する。Ｓ５０３及びＳ５０４で、システム制御部１２１は、図３のＳ３０６及びＳ３０７と同様に、画像の露光、読み出し、及び記録を行う。Ｓ５０５で、システム制御部１２１は、露光時間Expに、現在の露光時間Expと適正露光時間Exp_justの中間値((Exp + Exp_just) / 2)を代入する。Ｓ５０６で、システム制御部１２１は、画像処理部１１７内のＳＳＧ回路において撮像垂直同期信号（撮像ＶＤ）が８．３３（ｍｓ）から１６．６７（ｍｓ）となるように制御することで、フレームレートを１２０ＦＰＳから６０ＦＰＳに変更する。Ｓ５０７及びＳ５０８で、システム制御部１２１は、図３のＳ３０６及びＳ３０７と同様に、画像の露光、読み出し、及び記録を行う。以上の処理により、ＨＤＲ動画から通常動画への切り替え処理が完了する。

図６は、通常動画処理のフローチャートである。Ｓ６０１で、システム制御部１２１は、図２のＳ２０３及びＳ２０５で得られた露出情報及び明暗差をもとに、適正露光時間Exp_justを算出し、露光時間Expに適正露光時間Exp_justを代入する。Ｓ６０２及びＳ６０３で、システム制御部１２１は、図３のＳ３０６及びＳ３０７と同様に、画像の露光、読み出し、及び記録を行う。以上の処理により１フレーム分の通常画像の記録が完了する。

図７は、通常動画からＨＤＲ動画への切り替え処理の様子を時系列で表した概念図である。図７において、（ａ）は撮像垂直同期信号（撮像ＶＤ）を表し、（ｂ）は各撮像ＶＤタイミングにおける時刻を表す。（ｃ）は露光画像を表しており、ＣＭＯＳセンサ特有のローリングシャッタ方式により、画面上部と下部で露光タイミングに差があることから、平行四辺形で表現されている。（ｄ）は実際に撮像素子より読み出しが行われるタイミングを表しており、本実施形態では、露光画像が次の撮像ＶＤタイミングから順次読み出され、読み出しにかかる時間ｔｒ＝４ｍｓであるものとする。（ｅ）は記録タイミングを表し、（ｆ）は記録垂直同期信号（記録ＶＤ）を表す。各記録画像（出力画像）には露光画像に対応した画像番号が付されている。（ｇ）は撮像素子からの画像読み出し時にかけるゲインレベルを表している。このゲインは、通常、撮像素子１１５内部で調節できるが、画像処理部１１７内の前処理回路で変更できる仕組みであっても構わない。

時刻ｔ１では、通常動画記録が行われている状態であり、撮像フレームレートは６０ＦＰＳ、１垂直期間は１６．６７ｍｓである。時刻ｔ１〜ｔ２の間で、通常動画からＨＤＲ動画への切り替え指示がシステム制御部１２１より行われると、画像合成のための準備が行われる。まず、時刻ｔ２〜ｔ３では、システム制御部１２１は、露光時間を露光画像（１）と比べて少し短く設定する（図３のＳ３０５）。システム制御部１２１は、こうして撮像された露光画像（２）を時刻ｔ３で撮像素子１１５から読み出す際に、ゲインｇ１をかけることで、露光画像（２）が露光画像（１）と同じ撮像出力レベルとなるよう調節する。時刻ｔ３〜ｔ４では、システム制御部１２１は、露光時間をオーバー画像用の露光時間に設定する（図３のＳ３０８）。加えて、システム制御部１２１は、画像処理部１１７内のＳＳＧ回路を制御することにより撮像の１垂直期間を１２０ＦＰＳ相当（８．３３ｍｓ）に変更する（図３のＳ３０９）。時刻ｔ４で、システム制御部１２１は、撮像素子１１５から露光画像（３）を読み出す際に、ゲインｇ２をかけることで、露光画像（３）が露光画像（１）と同じ撮像出力レベルとなるよう調節する。時刻ｔ４〜ｔ５の間で、システム制御部１２１は、アンダー画像用の露光時間で撮像を行い、露光画像（４）を生成する（図４のＳ４０２）。時刻ｔ５〜ｔ６の間で、システム制御部１２１は、オーバー画像用の露光時間で撮像を行い、露光画像（５）を生成する（図４のＳ４０３）。露光画像（４）及び露光画像（５）の読み出しは、画像合成が前提であるため、ゲインｇ３で行われる。そして、システム制御部１２１は、画像処理部１１７により、露光画像（４）及び露光画像（５）を合成してＨＤＲ画像を生成する。時刻ｔ６〜ｔ８の間は、時刻ｔ４〜ｔ６の間と同様の処理が繰り返される。

なお、図７において、各時刻でのゲインレベルの大小関係は、
ｇ２＞ｇ１＞ｇ３＞ｇ０（ｇ０はｔ１時点でのゲインレベル）
であるが、これは露光時間の変動分を吸収するようにゲイン制御が行われるためである。

このように、通常動画からＨＤＲ動画への切り替え処理の際に、露光時間及びゲインレベルを段階的に変更させる過渡状態を経て、フレームレート変更が行われる。これにより、画質の急激な変動を抑えるとともに、露光時間を最適に制御することができる。また、動画の撮像駆動モードを変更せず、撮像フレームレートを変更することで、記録レートをキープしながら、動的に通常動画からＨＤＲ動画への切り替えを行うことができる。

なお、この過渡状態は、何らかの条件の下、スキップされてもよい。条件としては、例えば、（１）通常動画からＨＤＲ動画への切り替えがユーザ指示をトリガーとして行われる場合、及び、（２）撮影モードが所定の撮影モードに設定されている場合が挙げられる。

まず、通常動画からＨＤＲ動画への切り替えがユーザ指示をトリガーとして行われる場合について説明する。ユーザは、撮像装置１００の操作部（不図示）を操作することにより、通常動画からＨＤＲ動画への切り替えを手動で行うことができる。この場合、図２において、Ｓ２０６の判定結果に関わらず処理はＳ２１３に進み、Ｓ２１３の判定結果に関わらずＳ２１４の処理はスキップされる。

次に、撮影モードが所定の撮影モードに設定されている場合について説明する。ユーザは、撮像装置１００の操作部（不図示）を操作することにより、撮影モードを設定することができる。設定可能な撮影モードの例として、スポーツモードや夜景モードが挙げられる。このうち所定の撮影モード（例えば、スポーツモード）が設定されている場合、図２において、Ｓ２１３の判定結果に関わらずＳ２１４の処理はスキップされる。

図８は、ＨＤＲ動画から通常動画への切り替え処理の様子を時系列で表した概念図である。図８において、（ａ）〜（ｇ）の意味は図７と同様である。

時刻ｔ１ではＨＤＲ動画の記録が行われている状態であり、撮像フレームレートは１２０ＦＰＳ、１垂直期間は８．３３ｍｓである。時刻ｔ３〜ｔ４の間で、ＨＤＲ動画から通常動画への切り替え指示がシステム制御部１２１より行われると、次の露光画像より合成は解除となる。まず、時刻ｔ２〜ｔ３では、システム制御部１２１は、露光時間をオーバー画像用の露光時間に設定する（図５のＳ５０２）。システム制御部１２１は、こうして撮像された露光画像（５）を時刻ｔ５で撮像素子１１５から読み出す際に、ゲインｇ１をかけることで、露光画像（５）が露光画像（３）＋（４）と同じ撮像出力レベルとなるよう調節する。時刻ｔ５〜ｔ６では、システム制御部１２１は、露光時間を現在の露光時間と適正露光時間の中間値((Exp + Exp_just) / 2)に設定する（図５のＳ５０５）。加えて、システム制御部１２１は、画像処理部１１７内のＳＳＧ回路を制御することにより撮像の１垂直期間を６０ＦＰＳ相当（１６．６７ｍｓ）に変更する。システム制御部１２１は、こうして撮像された露光画像（６）を時刻ｔ６で撮像素子１１５から読み出す際に、ゲインｇ２をかけることで、露光画像（６）が露光画像（５）と同じ撮像出力レベルとなるよう調節する。時刻ｔ６〜ｔ７の間で、システム制御部１２１は、露光時間を適正露光時間に設定する（図６のＳ６０１）。システム制御部１２１は、こうして撮像された露光画像（７）を時刻ｔ７で撮像素子１１５から読み出す際に、ゲインｇ３をかけることで、露光画像（７）が露光画像（６）と同じ撮像出力レベルとなるよう調節する。

なお、図８において、各時刻でのゲインレベルの大小関係は、
ｇ１＞ｇ２＞ｇ０＞ｇ３（ｇ０はｔ１時点でのゲインレベル）
であるが、これは露光時間の変動分を吸収するようにゲイン制御が行われるためである。

このように、ＨＤＲ動画から通常動画への切り替え処理の際は、切り替え指示から記録画像が実際に通常動画に切り替わるまでの時間を短くすることができる。また、通常動画では撮像フレームレートが６０ＦＰＳとなった分、露光時間も長くとれるようになるため、ゲインレベルを下げることができ、ノイズの少ない画像を提供することができる。

以上説明したように、本実施形態によれば、撮像装置１００は、通常動画処理の際には６０ＦＰＳで撮像を行い、ＨＤＲ動画処理の際には１２０ＦＰＳで撮像を行う。従って、通常動画処理の際に画像を間引く必要が無く、露光時間をＨＤＲ動画処理の場合よりも長くすることができるので、動画記録中に撮像画像の合成・非合成が切り替えられた場合の画質を向上させることができる。

［第２の実施形態］
第１の実施形態では、ＨＤＲ動画を生成するために画像合成を行う例について説明したが、第１の実施形態の基本的な考え方は、他の目的のために画像合成を行う場合にも適用可能である。第２の実施形態では、他の目的の例として、動画記録時に一般に用いられている、巡回型ノイズリダクション（巡回ＮＲ）を取り上げる。本実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である（図１参照）が、画像処理部１１７の構成が巡回ＮＲを実行可能なように適宜変更される。

巡回ＮＲは、ノイズ除去が行われた１フレーム前の画像信号と現フレームの画像を用いてノイズを抽出し、このノイズを現フレームの画像信号から差し引いてノイズを除去する方法である。巡回ＮＲでは、その仕組み上、画像に動きがある場合は残像が発生するため、動きに応じて巡回係数を変更したり、巡回そのものを行わなくするなどの対応が必要とされている。

図９は、第２の実施形態に係る巡回ＮＲ処理のフローチャートである。本フローチャートにおける画像（フレームと記載）は全て、撮像素子１１５からの露光読み出し後、信号処理済で圧縮前の状態を指している。これらのフレームはメモリ部１２３に一時保存され、動画撮像処理により所定のフレームレートで更新される。

Ｓ９０１で、撮像装置１００は、現フレームIMG1を取得する。Ｓ９０２で、撮像装置１００は、このフレームから前回のフレームIMG0を減算して差分フレームIMG_Sを生成する。Ｓ９０３で、撮像装置１００は、差分フレームIMG_Sから動き量を抽出する。Ｓ９０４で、撮像装置１００は、この動き量と閾値Ｂ０及びＢ１（Ｂ１＞Ｂ０）との比較を行う。Ｓ９０４においてＢ１＞動き量＞Ｂ０である場合、Ｓ９０９で撮像フレームレートが１２０ＦＰＳに設定された後、処理はＳ９０６へ進む。Ｓ９０４において動き量＜Ｂ０である場合、Ｓ９０９で撮像フレームレートが１２０ＦＰＳに設定された後、処理はＳ９０６へ進む。

Ｓ９０６で、撮像装置１００は、次にIMG_Sにおける高周波成分を抽出し、IMG_NOISE_Hに代入する。Ｓ９０７で、撮像装置１００は、IMG_1からIMG_NOISE_Hを減算し、結果を出力フレームIMGに代入する。Ｓ９０８で、撮像装置１００は、次回の参照用としてIMG0にIMGを代入し、処理を終了する。

Ｓ９０４において動き量＞Ｂ１であった場合、Ｓ９１０で撮像フレームレートが６０ＦＰＳに設定される。この場合、Ｓ９１１で、撮像装置１００は出力フレームIMGに現フレームIMG1をそのまま代入し、処理をＳ９０８に進める。

本実施形態では、例えば、動き量が少ない場合は、撮像装置１００は、６０ＦＰＳの撮像フレームレートにより巡回ＮＲを実施し、動き量がある程度大きくなった場合は１２０ＦＰＳの撮像フレームレートにより巡回ＮＲを実施する。さらに動き量が大きくなった場合は、撮像装置１００は、巡回ＮＲそのものを行わない。

このように構成すれば、動きが比較的小さいシーンではノイズ除去効果が大きくなり、動きが大きくなった場合には残像の発生を抑えて動画記録することが可能となる。

以上説明したように、本実施形態によれば、動画記録中の複数フレームの合成・非合成をスムーズかつ最適に行うことができる。そして、非合成の場合、合成を行う場合よりも低い撮像フレームレートを使用可能である（図９のＳ９０９及びＳ９１０）。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

撮像手段と、
第１のフレームレート又は前記第１のフレームレートよりも高い第２のフレームレートで連続的に撮像を行うように前記撮像手段を制御する制御手段と、
前記連続的な撮像により連続的に生成される画像データを処理する画像処理手段であって、各画像データを他の画像データと合成せずに処理する非合成モード、又は、所定数の画像データを合成する処理を行う合成モードで動作する画像処理手段と、
前記画像処理手段が前記非合成モードから前記合成モードに切り替わる場合に、前記撮像手段の露光時間が前記第２のフレームレートの逆数よりも長いか否かを判定する判定手段と、
を備え、
前記制御手段は、前記連続的な撮像の間に前記画像処理手段が前記非合成モードから前記合成モードに切り替わる場合、前記第１のフレームレートから前記第２のフレームレートに切り替え、前記連続的な撮像の間に前記画像処理手段が前記合成モードから前記非合成モードに切り替わる場合、前記第２のフレームレートから前記第１のフレームレートに切り替え、
前記制御手段は、前記画像処理手段が前記合成モードで動作する場合、前記画像処理手段が前記所定数の画像データを合成することによりダイナミックレンジが拡大された画像データを生成するために、前記所定数の画像データがそれぞれ異なる露光時間で撮像を行うことにより生成されるように前記撮像手段を制御し、
前記制御手段は、前記判定手段により前記撮像手段の露光時間が前記第２のフレームレートの逆数よりも長いと判定された場合に、前記撮像手段の露光時間を前記第２のフレームレートの逆数以下に短縮し、当該短縮された露光時間での撮像が行われた後に、前記第１のフレームレートから前記第２のフレームレートに切り替える
ことを特徴とする撮像装置。
前記制御手段は、前記撮像手段の露光時間を前記第２のフレームレートの逆数以下に短縮する際に、前記撮像手段の露光時間を前記第２のフレームレートの逆数以下になるまで段階的に短縮する
ことを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記短縮された露光時間での撮像により生成される画像データにかけるゲインを、前記短縮による露光時間の変化に応じて変更する
ことを特徴とする請求項１又は２に記載の撮像装置。
前記画像処理手段を前記非合成モードから前記合成モードに切り替えるユーザ指示を受け付ける受け付け手段を更に備え、
前記ユーザ指示に従って前記画像処理手段が前記非合成モードから前記合成モードに切り替わる場合、前記制御手段は、前記撮像手段の露光時間の長さに関わらず、前記短縮を行わずに、前記第１のフレームレートから前記第２のフレームレートに切り替える
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
撮影モードを設定する設定手段を更に備え、
前記設定手段により設定された撮影モードが所定の撮影モードである場合、前記制御手段は、前記撮像手段の露光時間の長さに関わらず、前記短縮を行わずに、前記第１のフレームレートから前記第２のフレームレートに切り替える
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記画像処理手段が前記非合成モードから前記合成モードに切り替わる場合、前記画像処理手段は、前記第２のフレームレートでの撮像により生成された画像データを前記非合成モードで処理した後に、前記合成モードでの動作を開始する
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
前記画像処理手段が前記合成モードから前記非合成モードに切り替わる場合、前記制御手段は、前記画像処理手段が前記第２のフレームレートでの撮像により生成された画像データを前記非合成モードで処理した後に、前記第２のフレームレートから前記第１のフレームレートに切り替える
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記非合成モードは、前記連続的な撮像により連続的に生成される各画像データを、動画の各フレームに対応する画像データとするモードであって、
前記合成モードは、前記連続的な撮像により連続的に生成される各画像データの中で対応する１組となる複数の画像データ同士を合成した画像データを、動画の各フレームに対応する画像データとするモードである
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
撮像手段と、
第１のフレームレート又は前記第１のフレームレートよりも高い第２のフレームレートで連続的に撮像を行うように前記撮像手段を制御する制御手段と、
前記制御手段により制御されて連続的に取得された複数の画像データに基づいて動画像を生成する生成手段と、
前記生成手段が生成する動画像の１フレームに対応する画像データを、前記連続的に取得された各画像データを合成せずに生成する第１のモードと、前記連続的に取得された各画像データの中から所定数の画像データを合成することで生成する第２のモードと、を切り替え可能なモード切替手段と、
を備え、
前記第２のモードは、前記所定数の各画像データの露光時間がそれぞれ異なるように前記撮像手段が制御されるモードであって、
前記制御手段は、前記モード切替手段によって、連続的に撮像を行っている間に前記第１のモードから前記第２のモードに切り替わる場合、前記第１のフレームレートから前記第２のフレームレートに切り替え、連続的に撮像を行っている間に前記第２のモードから前記第１のモードに切り替わる場合、前記第２のフレームレートで撮像を行うことで生成された画像データを合成せずに動画像の１フレームとして処理した後に、前記第２のフレームレートから前記第１のフレームレートに切り替える
ことを特徴とする撮像装置。
撮像手段を備える撮像装置における撮像方法であって、
第１のフレームレート又は前記第１のフレームレートよりも高い第２のフレームレートで連続的に撮像を行うように前記撮像手段を制御する制御工程と、
前記連続的な撮像により連続的に生成される画像データを処理する画像処理工程であって、各画像データを他の画像データと合成せずに処理する非合成モード、又は、所定数の画像データを合成する処理を行う合成モードで動作する画像処理工程と、
前記画像処理工程が前記非合成モードから前記合成モードに切り替わる場合に、前記撮像手段の露光時間が前記第２のフレームレートの逆数よりも長いか否かを判定する判定工程と、
を備え、
前記制御工程では、前記連続的な撮像の間に前記画像処理工程が前記非合成モードから前記合成モードに切り替わる場合、前記第１のフレームレートから前記第２のフレームレートに切り替え、前記連続的な撮像の間に前記画像処理工程が前記合成モードから前記非合成モードに切り替わる場合、前記第２のフレームレートから前記第１のフレームレートに切り替え、
前記制御工程では、前記画像処理工程が前記合成モードで動作する場合、前記画像処理工程で前記所定数の画像データを合成することによりダイナミックレンジが拡大された画像データを生成するために、前記所定数の画像データがそれぞれ異なる露光時間で撮像を行うことにより生成されるように前記撮像手段を制御し、
前記制御工程では、前記判定工程で前記撮像手段の露光時間が前記第２のフレームレートの逆数よりも長いと判定された場合に、前記撮像手段の露光時間を前記第２のフレームレートの逆数以下に短縮し、当該短縮された露光時間での撮像が行われた後に、前記第１のフレームレートから前記第２のフレームレートに切り替える
ことを特徴とする撮像方法。
撮像手段を備える撮像装置における撮像方法であって、
第１のフレームレート又は前記第１のフレームレートよりも高い第２のフレームレートで連続的に撮像を行うように前記撮像手段を制御する制御工程と、
連続的に取得された複数の画像データに基づいて動画像を生成する生成工程と、
前記生成工程で生成される動画像の１フレームに対応する画像データを、前記連続的に取得された各画像データを合成せずに生成する第１のモードと、前記連続的に取得された各画像データの中から所定数の画像データを合成することで生成する第２のモードと、を切り替え可能なモード切替工程と、
を備え、
前記第２のモードは、前記所定数の各画像データの露光時間がそれぞれ異なるように前記撮像手段が制御されるモードであって、
前記制御工程では、前記モード切替工程において、連続的に撮像を行っている間に前記第１のモードから前記第２のモードに切り替わる場合、前記第１のフレームレートから前記第２のフレームレートに切り替え、連続的に撮像を行っている間に前記第２のモードから前記第１のモードに切り替わる場合、前記第２のフレームレートで撮像を行うことで生成された画像データを合成せずに動画像の１フレームとして処理した後に、前記第２のフレームレートから前記第１のフレームレートに切り替える
ことを特徴とする撮像方法。
請求項１０又は１１に記載の撮像方法の各工程をコンピュータで実行させるためのコンピュータで読み取り可能なプログラム。
請求項１２に記載のプログラムを記録した、コンピュータで読み取り可能な記録媒体。