JP4979969B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は，撮像装置および撮像方法に関する。

一度の撮影操作で複数の画像を連続して撮影（連写）することができる撮影モードを備える撮像装置がある。以下，複数の画像を連続して撮影することができる撮影モードのことを「連写モード」とも称する。例えば，画像１枚あたりのシャッタ速度を固定して，１秒間あたり複数枚の画像を撮影することができる撮像装置がある。

また，撮像装置によってはシャッタボタンの押下によって，１秒間に複数の画面を書き換えることで動画像を撮影することができる撮影モードを備えているものもある。以下，動画像を撮影することができる撮影モードのことを「動画モード」とも称する。１秒あたりの画面の更新回数がフレームレートであり，単位はｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で表される。例えば，１秒あたり画面を３０回書き換えて表示する場合のフレームレートは，３０ｆｐｓである。

しかし，従来の連写モードおよび動画モードを備える撮像装置には，以下に示すような問題があった。

図７は，従来の連写モードおよび動画モードを備える撮像装置における連続した複数の画像を撮影する際の概要を示す説明図である。連写モードにおける１秒間あたりの撮影枚数や，動画モードにおけるフレームレートを増やすには，図７の（ａ）の「高速ＳＳ（Ｓｕｔｔｅｒ Ｓｐｅｅｄ）」で示したように露光時間を短くする必要がある。しかし，例えば１秒間あたり１０枚の画像を撮影したい場合は，撮像素子が生成した画像データを取り込む時間を考慮しなければならないため，シャッタ速度を１／１０秒未満にしなければならない。そのため，夜間や屋内等で被写体が暗い場合においては，撮影環境や撮影条件によっては露光量が不足してしまい，十分な画像データを得ることができない。

また，図７の（ｂ）の「低速ＳＳ」で示したように，十分な露光量を得るためにシャッタ速度を長くすると，今度は１秒間あたりの撮影枚数やフレームレートが減少してしまう。

この問題を解決するには，微小時間での露光処理を連続して行い，その露光処理によって得られる画像を所定の間隔で合成することで，シャッタ速度と撮影枚数またはフレームレートを両立することができる。微小時間での露光処理を連続して行い，その露光処理によって得られる画像を合成する方法として，例えば特許文献１がある。

特開２００３−３１９２６９号公報

しかし，特許文献１に記載の発明は，複数の露光時間を有する画像を合成によって生成することを目的としており，同一の露光時間を有する複数の画像を連続して撮影したり，動画像を撮影したりするものではない。このように，従来の撮像装置においては，シャッタ速度と撮影枚数またはフレームレートとを両立することが困難であった。

そこで，本発明は，このような問題に鑑みてなされたもので，その目的とするところは，被写体の十分な露光量を確保しながらも，１秒あたりの撮影枚数やフレームレートを維持することができる，新規かつ改良された，撮像装置および撮像方法を提供することにある。

上記課題を解決するために，本発明のある観点によれば，所定の単位露光時間での露光を繰り返し行う露光部と；露光部での露光の結果生成された単位画像データを一時的に順次記憶する画像データ記憶部と；予め設定された連続撮影間隔の撮影開始タイミングに同期して，画像データ記憶部から所定の露光時間に対応する単位画像データ群を読み出して合成し，合成画像を生成する画像合成部と；を含むことを特徴とする，撮像装置が提供される。

かかる構成によれば，露光部は所定の単位露光時間での露光を繰り返し行い，画像データ記憶部は露光部で生成された単位画像データを一時的に記憶し，画像合成部は予め設定された連続撮影間隔の撮影開始タイミングに同期して，画像データ記憶部から所定の露光時間に対応する単位画像データ群を読み出して合成し，合成画像を生成する。その結果，本発明のある観点に係る撮像装置によれば，被写体の十分な露光量を確保しながらも，１秒あたりの撮影枚数やフレームレートを維持することができる。

合成画像を表示し，所定の間隔ごとに表示を更新する表示部をさらに含み，上記画像合成部は，表示部での表示更新タイミングと合成画像の生成終了タイミングとが略同一となるように撮影開始タイミングを調整してもよい。かかる構成によれば，表示部は合成画像の表示を所定の間隔ごとに更新し，画像合成部は，表示部での表示更新タイミングと合成画像の生成終了タイミングとが略一致するように撮影開始タイミングを調整する。その結果，実際の被写体の動作との時間差が最小になるように，表示部で合成画像を表示することができる。

上記課題を解決するために，本発明の別の観点によれば，所定の単位露光時間ごとに繰り返して露光する露光ステップと；露光ステップでの露光の結果生成された単位画像データを一時的に順次記憶する画像データ記憶ステップと；予め設定された連続撮影間隔の撮影開始タイミングに同期して，画像データ記憶ステップで記憶した所定の露光時間に対応する単位画像データ群を読み出して合成し，合成画像を生成する画像合成ステップと；を含むことを特徴とする，撮像方法が提供される。

かかる方法によれば，露光ステップは所定の露光時間での露光を繰り返し行い，画像データ記憶ステップは露光ステップで生成された画像データを一時的に記憶し，画像合成ステップは予め設定された連続撮影間隔の撮影開始タイミングに同期して，画像データ記憶部から所定の露光時間に対応する単位画像データ群を読み出して合成し，合成画像を生成する。その結果，本発明のある観点に係る撮像方法によれば，被写体の十分な露光量を確保しながらも，１秒あたりの撮影枚数やフレームレートを維持することができる。

合成画像を表示し，所定の間隔ごとに表示を更新する表示ステップをさらに含み，上記画像合成ステップは，表示部での表示更新タイミングと合成画像の生成終了タイミングとが略同一となるように撮影開始タイミングを調整してもよい。かかる構成によれば，表示ステップは合成画像の表示を所定の間隔ごとに更新し，画像合成ステップは，表示部での表示更新タイミングと合成画像の生成終了タイミングとが略一致するように撮影開始タイミングを調整する。その結果，実際の被写体の動作との時間差が最小になるように，表示部で合成画像を表示することができる。

以上説明したように本発明によれば，被写体の十分な露光量を確保しながらも，１秒あたりの撮影枚数（フレームレート）を維持することができる，撮像装置および撮像方法を提供できるものである。

以下に添付図面を参照しながら，本発明の好適な実施の形態について詳細に説明する。なお，本明細書及び図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。

（第１の実施形態）
図１は本発明の第１の実施形態にかかる撮像装置について説明する説明図である。図１に示したように，本発明の第１の実施形態に係る撮像装置１００は，ズームレンズ１０２と，絞り１０４と，フォーカスレンズ１０６と，駆動装置１０２ａ，１０４ａ，１０６ａと，ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）素子１０８と，アンプ一体型のＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路１１０と，Ａ／Ｄ変換器１１２と，画像入力コントローラ１１４と，画像信号処理部１１６と，圧縮処理部１２０と，ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）ドライバ１２３と，ＬＣＤ１２４と，タイミングジェネレータ１２６と，ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２８と，操作部１３２と，シャッタボタン１３３と，メモリ１３４と，ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３６と，メディアコントローラ１３８と，記録メディア１４０と，モータドライバ１４２ａ，１４２ｂ，１４２ｃとを含む。

以下，図１を用いて，本発明の第１の実施形態に係る撮像装置１００の構成について説明する。

ズームレンズ１０２は，駆動装置１０２ａによって光軸方向に前後して移動させることで焦点距離が連続的に変化するレンズであり，被写体の大きさを変化して撮影する。絞り１０４は，画像を撮影する際に，駆動装置１０４ａによって，ＣＣＤ素子１０８に入ってくる光量の調節を行う。フォーカスレンズ１０６は，駆動装置１０６ａによって光軸方向に前後して移動させることで被写体のピントを調節するものである。

本実施形態においては，ズームレンズ１０２およびフォーカスレンズ１０６は１枚のみ示しているが，ズームレンズ１０２の枚数は２枚以上であってもよく，フォーカスレンズ１０６の枚数も２枚以上であってもよい。

ＣＣＤ素子１０８は，露光部の一例であり，ズームレンズ１０２，絞り１０４およびフォーカスレンズ１０６から入射された光を電気信号に変換するための素子である。本実施形態においては電子シャッタによって入射光を制御して，電気信号を取り出す時間を調節しているが，メカシャッタを用いて入射光を制御して，電気信号を取り出す時間を調節してもよい。

本実施形態ではＣＣＤ素子１０８を用いているが，本発明は係る例に限定されず，ＣＣＤ素子１０８の代わりにＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子を用いてもよく，またその他のイメージセンサを用いてもよい。ＣＭＯＳ素子は，ＣＣＤ素子よりも高速に被写体の映像光を電気信号に変換できるので，被写体を撮影してから画像の合成処理を行うまでの時間を短縮することができる。

ＣＤＳ回路１１０は，ＣＣＤ素子１０８から出力された電気信号の雑音を除去する，サンプリング回路の一種であるＣＤＳ回路と，雑音を除去した後に電気信号を増幅するアンプとが一体となった回路である。本実施形態ではＣＤＳ回路とアンプとが一体となった回路を用いて撮像装置１００を構成しているが，ＣＤＳ回路とアンプとを別々の回路で構成してもよい。

Ａ／Ｄ変換器１１２は，ＣＣＤ素子１０８で生成された電気信号をデジタル信号に変換して，画像の生データを生成するものである。

画像入力コントローラ１１４は，Ａ／Ｄ変換器で生成された画像の生データのメモリ１３４への入力を制御するものである。

画像信号処理部１１６は，ＣＣＤ素子１０８から出力された電気信号や，画像合成部１１８で合成した画像に対して，光量のゲイン補正やホワイトバランスの調整を行うものである。

画像合成部１１８は，撮影した複数の画像の合成を行うものである。画像合成部１１８は，予め設定された連続撮影間隔の撮影開始タイミングに同期して，メモリ１３４から単位画像データ群を読み出して合成し，合成画像を生成する。予め設定された連続撮影間隔は，ユーザが操作部１３２を操作して予め設定した撮影モードに応じた間隔であってもよく，ユーザが操作部１３２を操作して予め設定した間隔であってもよい。画像合成部１１８の形態として，画像の合成を行う回路であってもよく，画像の合成を行うためのコンピュータプログラムであってもよい。

圧縮処理部１２０は，画像合成部１１８で合成した画像を，適切な形式の画像データに圧縮する圧縮処理を行う。画像の圧縮形式は可逆形式であっても非可逆形式であってもよい。適切な形式の例として，ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式やＪＰＥＧ２０００形式に変換してもよい。

ＬＣＤ１２４は，表示部の一例であり，撮影操作を行う前のライブビュー表示や，撮像装置１００の各種設定画面や，撮影した画像の表示等を行う。画像データや撮像装置１００の各種情報のＬＣＤ１２４への表示は，ＬＣＤドライバ１２２を介して行われ，ＬＣＤ１２４は所定の間隔ごとに表示が更新される。

タイミングジェネレータ１２６は，ＣＣＤ素子１０８にタイミング信号を入力する。タイミングジェネレータ１２６からのタイミング信号によりシャッタ速度が決定される。つまり，タイミングジェネレータ１２６からのタイミング信号によりＣＣＤ素子１０８の駆動が制御され，ＣＣＤ素子１０８が駆動する時間内に被写体からの映像光を入射することで，画像データの基となる電気信号が生成される。

ＣＰＵ１２８は，ＣＣＤ素子１０８やＣＤＳ回路１１０などに対して信号系の命令を行ったり，操作部１３２の操作に対する操作系の命令を行ったりする。本実施形態においては，ＣＰＵを１つだけ含んでいるが，信号系の命令と操作系の命令とを別々のＣＰＵで行うようにしてもよい。

操作部１３２は，撮像装置１００の操作を行ったり，撮影時の各種の設定を行ったりするための部材が配置されている。操作部１３２に配置される部材には，電源ボタン，撮影モードや撮影ドライブモードの選択および効果パラメータの設定を行う十字キーおよび選択ボタン等が配置される。シャッタボタン１３３は，撮影操作を行うためのものであり，半押し状態（以下，シャッタボタン１３３の半押し状態のことを「Ｓ１状態」とも称する）で被写体を合焦し，全押し状態（以下，シャッタボタン１３３の全押し状態の事を「Ｓ２状態」とも称する）で被写体の撮像を行う。

本実施形態にかかる撮像装置１００は，撮影モードとして「連写モード」および／または「動画像モード」を含むものとする。「連写モード」においては，撮影者（ユーザ）がシャッタボタン１３３をＳ２状態にし続けている間，複数枚の画像を連続して撮影するものであり，「動画像モード」においては，シャッタボタン１３３の１回の押下によって（Ｓ２状態にすることによって）動画像を撮影するものである。

メモリ１３４は，画像データ記憶部の一例であり，撮影した画像や画像合成部１１８で合成した画像を一時的に記憶するものである。メモリ１３４は，複数の画像を記憶できるだけの記憶容量を有している。メモリ１３４への画像の読み書きは画像入力コントローラ１１４によって制御される。

ＶＲＡＭ１３６は，ＬＣＤ１２４に表示する内容を保持するものであり，ＬＣＤ１２４の解像度や最大発色数はＶＲＡＭ１３６の容量に依存する。

記録メディア１４０は，画像データ記録部の一例であり，撮影した画像や画像合成部１１８で合成した画像を記録するものである。記録メディア１４０への入出力は，メディアコントローラ１３８によって制御される。記録メディア１４０には，フラッシュメモリにデータを記録するカード型の記憶装置であるメモリカードを用いることができる。

モータドライバ１４２ａ，１４２ｂ，１４２ｃはズームレンズ１０２，絞り１０４およびフォーカスレンズ１０６を動作させる駆動装置１０２ａ，１０４ａ，１０６ａの制御を行う。モータドライバ１４２ａ，１４２ｂ，１４２ｃを介してズームレンズ１０２，絞り１０４およびフォーカスレンズ１０６を動作させることで，被写体の大きさや光の量，ピントの調節を行う。

以上，本発明の第１の実施形態にかかる撮像装置について説明した。次に，図２を用いて本発明の第１の実施形態にかかるＣＰＵの内部構成について説明する。

図２は，本発明の第１の実施形態にかかるＣＰＵ１２８の内部構成について説明する説明図である。図２に示したように，本発明の第１の実施形態にかかるＣＰＵ１２８は，適正ＡＥレベル算出部１５２と，露光制御部１５４と，合成枚数決定部１５６と，合成間隔決定部１５８と，を含んで構成される。

適正ＡＥレベル算出部１５２は，撮像装置１００で自動露光を行い，ＥＶ（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）値を取得する。取得したＥＶ値に基づいて，適正な絞り値およびシャッタ速度の組が決まる。ＥＶ値は，絞り値がＦ１，シャッタ速度が１秒の時に適切な露出が得られる光量をＥＶ＝０とし，絞り値やシャッタ速度を変化させることでＥＶ値が変化する。ＥＶ値は，Ｆを絞り値，Ｔをシャッタ速度として，ＥＶ＝ｌｏｇ_２（Ｆ^２／Ｔ）で求めることができる。従って，同じ絞り値ではシャッタ速度が高速になればなる程，ＥＶ値が上昇し，同じシャッタ速度では絞り値を大きくすればする程，ＥＶ値が上昇する。また，適正ＡＥレベル算出部１５２では，撮影した画像のＡＦ評価値およびＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ；自動露光）評価値の算出を行う。

露光制御部１５４は，適正ＡＥレベル算出部１５２で算出したシャッタ速度による露光時間に基づいて，被写体を撮影する際の単位露光時間を決定する。決定した単位露光時間に基づいて，被写体からの映像光のＣＣＤ素子１０８への入射時間を制御する。

合成枚数決定部１５６は，適正ＡＥレベル算出部１５２で決定した適正な絞り値およびシャッタ速度の組，もしくは操作部１３２の操作によって撮影者が決定したシャッタ速度に基づいて，または，操作部１３２の操作によって撮影者が決定した１秒あたりの撮影枚数やフレームレートに基づいて，合成する画像の枚数を決定するものである。例えば，ＣＣＤ素子１０８の１回あたりの単位露光時間が１／６０秒で，適正ＡＥレベル算出部１５２での自動露光の結果，被写体を撮影するために十分な露光量を得るためのシャッタ速度が１／２０秒に決定された場合，合成枚数決定部１５６は合成する画像の枚数を３枚に決定する。

合成間隔決定部１５８は，適正ＡＥレベル算出部１５２で決定した適正な絞り値およびシャッタ速度の組，もしくは操作部１３２の操作によって撮影者が決定したシャッタ速度に基づいて，または，操作部１３２の操作によって撮影者が決定した１秒あたりの撮影枚数やフレームレートに基づいて，画像合成部１１８における合成画像の生成を行う間隔を決定するものである。例えば，ＣＣＤ素子１０８の１回あたりの単位露光時間が１／６０秒で，１秒あたりの撮影枚数を２０枚に決定した場合，連続撮影間隔は１／２０秒となる。従って，１／２０秒おき，すなわち，ＣＣＤ素子１０８で３枚単位画像データを生成したタイミングで画像合成部１１８に対し１枚の合成画像が生成されるように指示する。本実施形態において，合成画像は単位画像データが生成される毎に，設定された所定の露光時間に達するまで単位画像データを順次合成することによって生成するが，合成画像の生成方法はこれに限られず，所定の枚数の単位画像データが生成されたタイミングで一度の合成処理によって生成してもよい。

以上，図２を用いて本発明の第１の実施形態にかかるＣＰＵ１２８の内部構成について説明した。次に，図３および図４を用いて，本発明の第１の実施形態にかかる撮像方法について説明する。

図３は，本発明の第１の実施形態にかかる撮像方法について説明する流れ図である。撮像装置１００で連続した複数の画像を撮影する際には，まず操作部１３２を操作して，撮影モードを「連写モード」に設定する。撮影モードの「連写モード」への設定が完了すると，シャッタボタン１３３をＳ１状態にし（ステップＳ１１０），シャッタボタンのＳ１動作によって，被写体に自動的に焦点を合わせる合焦処理（オートフォーカス処理）を行う（ステップＳ１１２）。被写体に焦点を合わせると，撮影者がシャッタボタン１３３から指を離し，シャッタボタン１３３のＳ１状態によるＳ１動作が終了しているかどうか判断し（ステップＳ１１４），終了していればそのまま撮像動作を終了する。一方，Ｓ１状態が終了しない場合には，適正ＡＥレベル算出部で自動露光処理を行い，シャッタ速度および絞り値を決定する（ステップＳ１１６）。

本実施形態においては，適正ＡＥレベル算出部１５２での自動露光処理の結果，被写体を撮影する際の絞り値をＦ４．０，露光時間を１／２０秒に決定したものとする。なお，本実施形態にかかる撮像方法においては，露光時間を自動露光の結果から決定しているが，本発明はこれに限られず，シャッタ速度および／または絞り値を撮影者が決定してもよい。

シャッタ速度および絞り値を決定すると，撮影者がさらにシャッタボタン１３３を押し込んで，シャッタボタン１３３がＳ２状態になっているかどうかをＣＰＵ１２８が判断する（ステップＳ１１８）。シャッタボタン１３３がＳ２状態になっていない場合には，上記ステップＳ１１４に戻って，Ｓ１動作が終了しているかどうかの判断を再度行う。一方，シャッタボタン１３３がＳ２状態になっている場合には，上記ステップＳ１１６で決定したシャッタ速度に基づいて，合成枚数決定部１５６で画像の合成枚数を決定し，合成間隔決定部１５８で合成画像の生成を行うタイミングを設定する（ステップＳ１２０）。

例えば，ＣＣＤ素子１０８の１回あたりの単位露光時間が１／６０秒で，適正ＡＥレベル算出部１５２での自動露光の結果，被写体を撮影するために十分な露光量を得るためのシャッタ速度が１／２０秒に決定された場合，合成枚数決定部１５６は合成する画像の枚数を３枚に決定する。そして，１秒あたりの撮影枚数を２０枚に決定した場合，合成間隔決定部１５８は合成処理を１／２０秒おき，すなわち，ＣＣＤ素子１０８で３枚単位画像データを生成したタイミングで画像合成部１１８に対し１枚の合成画像が生成されるように指示する。

ステップＳ１２０において合成枚数および合成画像生成タイミングを設定すると，ＣＣＤ素子１０８に被写体からの映像光を所定の時間入射して露光処理を行う（ステップＳ１２２）。本実施形態においては，１／６０秒間ＣＣＤ素子１０８に被写体からの映像光を入射して露光処理を行う。露光処理が完了すると，ＣＣＤ素子１０８から単位画像データを画像入力コントローラ１１４によって取り込む（ステップＳ１２４）。取り込んだ画像データは，一時的にメモリ１３４に記憶する。

単位画像データの取り込みが完了すると，上記ステップＳ１２０で決定した合成枚数および合成タイミングに達したかどうか判断する（ステップＳ１２６）。ステップＳ１２０で決定した合成枚数および合成タイミングに達した場合には，メモリ１３４から単位画像データ群を取り出して，画像合成部１１８で各単位画像データにおける各画素同士を加算することによって，単位画像データの合成処理を行う（ステップＳ１２８）。

図４は，本発明の第１の実施形態にかかる撮像方法の概要を示す説明図である。図４の（ａ）の「微小露光」は，ＣＣＤ素子１０８への露光処理を示し，本実施形態においては１回の露光処理につき１／６０秒間露光処理を行っている。それぞれの露光処理は，シャッタボタン１３３のＳ２動作を開始した時点から順に１，２，３・・・の番号を付している。

本実施形態においては，合成間隔決定部１５８で合成画像の生成が１／２０秒おきに行われるように設定する。つまり，ＣＣＤ素子１０８で単位画像データが生成される度に画像合成部１１８で単位画像データの合成処理を順次行い，３枚単位画像データを生成したタイミングで１枚の合成画像の生成が完了する。図４の（ｂ）の「高速ＳＳ」に合成処理のシーケンスを示す。１枚目の合成画像は露光処理１〜露光処理３で生成された単位画像データを順次合成することによって作成する。同様に，２枚目の合成画像は露光処理４〜露光処理６で生成された単位画像データを順次合成することによって作成し，３枚目の合成画像は露光処理７〜露光処理９で生成された単位画像データを順次合成することによって作成する。以下，４枚目，５枚目，６枚目・・・の合成画像も同様に，３枚の単位画像データを順次合成することによって画像を作成する。

このように，所定の単位露光時間によって生成された単位画像データを合成することで，連写モードでの連続撮影を可能にする。しかし，撮影条件によってはシャッタ速度を遅くしないと十分な露光を得ることができない場合がある。例えば，適正ＡＥレベル算出部１５２での自動露光の結果，シャッタ速度が３／２０秒に決定された場合を考える。従来の撮像装置および撮像方法では，シャッタ速度が３倍の長さになると，１秒あたりの撮影枚数は１／３以下に抑えられてしまう。そこで，合成処理を行うタイミングは変えずに，単位画像データの合成枚数を増やすことで，シャッタ速度を遅くした場合と等価の画像を得ることが可能になる。

図４の（ｃ）の「低速ＳＳ」に，単位画像データの合成枚数を増やした場合の合成処理のシーケンスを示す。シャッタ速度が「高速ＳＳ」に比べて３倍になったため，合成する単位画像データの枚数も３倍の９枚に増やす必要がある。そのため，１枚目の合成画像は，９番目の微小露光によって生成された単位画像データが取り込まれた段階で生成される。その際の合成画像は，露光処理１〜露光処理９で生成された単位画像データを順次合成することによって作成する。

従来の撮像装置および撮影方法であれば，再度３／２０秒が経過しないと次の単位画像データを得ることができない。しかし，本実施形態においては，１／６０秒間の露光処理を繰り返し行っているため，３／２０秒が経過する前に次の単位画像データを得ることができる。つまり，２枚目の合成画像は，露光処理４〜露光処理１２で生成された単位画像データを順次合成することによって作成することができる。以下，３枚目，４枚目・・・の合成画像も同様に順次合成処理を行うことで，撮影条件によってシャッタ速度を遅くしなければならない場合においても，１秒あたりの撮影枚数を変えずに撮影することができる。

なお，上記においては単位画像データを順次合成することによって合成画像を生成していたが，単位画像データが所定の合成枚数に達した時点で一度の合成処理によって単位画像データを合成して，合成画像を生成するようにしてもよい。また，画像合成部１１８で単位画像データの合成処理を行う際には，手ぶれ等で生じた各単位画像データ間の位置のずれを検出し，そのずれを打ち消すように単位画像データを合成してもよい。

画像の合成処理が完了すると，撮影者がシャッタボタン１３３のＳ２動作を完了しているかどうかを判断し（ステップＳ１３０），完了していない場合には上記ステップＳ１２２に戻り，露光処理を続行する。一方，Ｓ２動作が完了している場合には露光処理を完了する。作成された単位画像データは，画像信号処理部１１６での階調処理や色調処理，圧縮処理部１２０での圧縮処理を経て，メディアコントローラ１３８によって記録メディア１４０に保存される。

なお，上記では撮影モードを「連写モード」に設定して，複数の画像を連続して撮影する場合の撮像方法について説明したが，撮影モードを「動画モード」に設定して，動画像を撮影する場合の撮像方法についても，「１秒あたりの撮影枚数」を「フレームレート」に置き換えることで同一の効果が得られる。

以上示したように，本発明の第１の実施形態によれば，細分化された微小な単位露光時間によって生成された単位画像データ群を合成することで，被写体を撮影する撮影条件によっては，十分な露光量を確保するためにシャッタ速度を低速にする必要がある場合においても，１秒あたりの撮影枚数（フレームレート）を維持することができる。

（第２の実施形態）
本発明の第１の実施形態では，露光処理によって得られた単位画像データ群を合成することで，シャッタ速度が低速になっても１秒あたりの撮影枚数（フレームレート）を維持することができる撮像装置および撮像方法について説明した。第２の実施形態では，撮影前に撮像装置に備えられた画面を通じて撮影者に被写体の画像を表示する，いわゆるライブビュー動作への，本発明にかかる撮像装置および撮影方法の適用について説明する。

まず，本発明の第２の実施形態にかかる撮像装置およびＣＰＵの構成は，第１の実施形態にかかる撮像装置１００およびＣＰＵ１２８と同一であるため，詳細な説明は割愛する。以後，第１の実施形態にかかる撮像装置１００の構成を用いて本発明の第２の実施形態について説明する。次に，本発明の第２の実施形態にかかるライブビュー動作について説明する。

図５は，本発明の第２の実施形態にかかるライブビュー動作の流れについて説明する流れ図である。最初に，撮像装置１００の操作部１３２に含まれる電源スイッチを操作して，電源を投入する（ステップＳ２１０）。電源が投入された撮像装置１００は，初期リセット動作を行って（ステップＳ２１２），撮影者の操作を待機する。

初期リセット動作が行われると，撮像装置１００はライブビュー動作を開始する。ライブビュー動作が開始されると，ＣＣＤ１０８に対する露光処理が開始される（ステップＳ２１４）。ＣＣＤ１０８に入射された被写体の映像光によって，ＣＤＳ回路１１０およびＡ／Ｄ変換器１１２を経由して単位画像データが生成され，生成された単位画像データは，ＬＣＤ１２４に表示するための表示用画像に変換してＬＣＤ１２４に表示される。ＬＣＤ１２４に表示用画像を表示する際には，画像信号処理部１１６での階調処理や色調処理，圧縮処理部１２０での圧縮処理を経てもよい。ＬＣＤ１２４に表示される表示用画像は，一定の周期で更新される。１秒あたりの表示用画像の更新回数がフレームレートであり，単位はｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で表される。例えば，１秒あたり表示用画像を３０回更新して画面に表示する場合のフレームレートは，３０ｆｐｓである。本実施形態におけるフレームレートは２０ｆｐｓとする。すなわち，ＬＣＤ１２４の画面の更新は１／２０秒置きに行われる。

上記ステップＳ２１４で露光処理を開始すると，露光処理によって得られる単位画像データを画像入力コントローラ１１４によって取り込む（ステップＳ２１６）。取り込んだ単位画像データは，メモリ１３４に一時的に記憶する。取り込んだ単位画像データを用いて，適正ＡＥレベル算出部１５２で自動露光処理を行う（ステップＳ２１８）。適正ＡＥレベル算出部１５２での自動露光処理によって得られた適正な露光時間を用いて，合成枚数決定部１５６において単位画像データの合成枚数を決定する（ステップＳ２２０）。

例えば，本実施形態において，ＣＣＤ素子１０８の１回あたりの単位露光時間が１／６０秒で，適正ＡＥレベル算出部１５２での自動露光処理によって得られた適正な所定の露光時間が７／６０秒であった場合，合成枚数決定部１５６は，単位画像データの合成枚数を７枚に決定する。１／６０秒間の露光処理によって得られた単位画像データを７枚合成することで，７／６０秒間の露光処理によって得られる画像データと等価の画像データを得ることができる。

上記ステップＳ２２０において単位画像データの合成枚数が決定されると，上記ステップＳ２２０で決定した合成枚数および合成タイミングに達したかどうか判断する（ステップＳ２２２）。合成枚数および合成タイミングに達していた場合には，上記ステップＳ２２０で決定した合成枚数分の単位画像データを合成して得られる合成画像を生成する（ステップＳ２２４）。本実施形態においては，ＬＣＤ１２４の表示更新タイミング以前で，ＬＣＤ１２４の表示更新タイミングに画像合成部１１８での合成タイミング（合成画像の生成終了タイミング）とが略一致するように，画像合成部１１８において撮影開始タイミングを調整する。また，本実施形態において，合成画像は単位画像データが生成される毎に単位画像データを順次合成することによって生成するが，合成画像の生成方法はこれに限られず，所定の枚数の単位画像データが生成されたタイミングで一度の合成処理によって生成してもよい。

図６は，本発明の第２の実施形態におけるライブビュー動作の概要を示す説明図である。図６の（ａ）の「微小露光」は，ＣＣＤ素子１０８への露光処理を示し，本実施形態においては１／６０秒間露光処理を行っている。それぞれの露光処理は，ライブビュー動作を開始した時点から順に１，２，３・・・の番号を付している。

第１の実施形態では，図６の（ｂ）に示したように，合成する最初の単位画像データは，撮像処理を開始した時点，すなわちシャッタボタン１３３のＳ２動作を開始した時点での単位画像データとなる。しかし，本実施形態においては，実際の画像とＬＣＤ１２４に表示する画像との間に時間差が生じないように，図６の（ｃ）に示したように，合成する最後の単位画像データは，上記ステップＳ２２０で決定した合成枚数を満足し，ＬＣＤ１２４の画面の更新タイミングに一番近いものを選択する。つまり，最初にＬＣＤ１２４に表示する画像は，３番目の微小露光によって生成された単位画像データからＬＣＤ１２４の画面の更新タイミングに近い９番目の微小露光によって生成された単位画像データまでの7枚の単位画像データを合成したものである。

単位画像データを順次合成して合成画像の作成が完了すると，画像信号処理部１１６で合成画像からＬＣＤ１２４で表示するための表示用画像の作成を行う（ステップＳ２２６）。表示用画像は，ＬＣＤ１２４の画面サイズに合わせた画像である。なお，表示用画像を作成せずに，合成画像をそのままＬＣＤ１２４に表示してもよい。そして，ＬＣＤ１２４に表示する画像を，画像信号処理部１１６で作成した表示用画像に更新する（ステップＳ２２８）。ＬＣＤ１２４の画像の更新が完了すると，ステップＳ２１４に戻って露光処理を行う。

一方，上記ステップＳ２２２において合成枚数および合成タイミングに達していないと判断した場合には，単位画像データの合成処理を行わずに，上記ステップＳ２１４に戻って露光処理を行う。

以後同様に，１／２０秒の経過毎に合成画像の生成およびＬＣＤ１２４に表示する表示用画像の更新処理を実行する。

以上説明したように，本発明の第２の実施形態によれば，短い単位露光時間によって生成された単位画像データ群を合成することで，撮影前に撮像装置に備えられた画面を通じて撮影者に被写体の画像を表示する，いわゆるライブビュー動作においても，被写体を認識するために必要な露光時間よりも短い間隔で画面の更新処理を行うことができる。

以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明は係る例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば，上記実施形態における撮像装置１００の構成要素の一部は，撮像装置１００の内部に記憶されたコンピュータプログラムであってもよく，各部の機能を実行するマイクロプロセッサ等のハードウェアであってもよい。

本発明は，撮像装置および撮像方法に適用可能である。

本発明の第１の実施形態に係る撮像装置の構成について説明する説明図である。 本発明の第１の実施形態に係るＣＰＵの構成について説明する説明図である 本発明の第１の実施形態にかかる撮像方法について説明する流れ図である。 本発明の第１の実施形態にかかる撮像方法の概要を示す説明図である。 本発明の第２の実施形態にかかるライブビュー動作の流れについて説明する流れ図である。 本発明の第２の実施形態におけるライブビュー動作の概要を示す説明図である。 従来の連写モードおよび動画モードを備える撮像装置における連続した複数の画像を撮影する際の概要を示す説明図である。

符号の説明

１００ 撮像装置
１０２ ズームレンズ
１０２ａ，１０４ａ，１０６ａ 駆動装置
１０４ 絞り
１０６ フォーカスレンズ
１０８ ＣＣＤ素子
１１０ ＣＤＳ回路
１１２ Ａ／Ｄ変換器
１１４ 画像入力コントローラ
１１６ 画像信号処理部
１１８ 画像合成部
１２０ 圧縮処理部
１２２ ＬＣＤドライバ
１２４ ＬＣＤ
１２６ タイミングジェネレータ
１２８ ＣＰＵ
１３２ 操作部
１３３ シャッタボタン
１３４ メモリ
１３６ ＶＲＡＭ
１３８ メディアコントローラ
１４０ 記録メディア
１４２ａ，１４２ｂ，１４２ｃ モータドライバ
１５２ 適正ＡＥレベル算出部
１５４ 露光制御部
１５６ 合成枚数決定部
１５８ 合成間隔決定部

Claims (6)

1. 所定の単位露光時間ごとに繰り返して露光する露光部と；
   前記露光部での露光の結果生成された単位画像データを一時的に順次記憶する画像データ記憶部と；
   前記画像データの合成枚数を決定する合成枚数決定部と；
   予め設定された連続撮影間隔の撮影開始タイミングに同期して，前記画像データ記憶部から所定の露光時間に対応する，前記合成枚数決定部で決定した枚数分の前記単位画像データ群を読み出して合成し，合成画像を生成する画像合成部と；
   を含むことを特徴とする，撮像装置。
2. 前記合成画像を表示し，所定の間隔ごとに表示を更新する表示部をさらに含み，
   前記画像合成部は，前記表示部での表示更新タイミングと前記合成画像の生成終了タイミングとが略一致するように前記撮影開始タイミングを調整することを特徴とする，請求項１に記載の撮像装置。
3. 前記合成画像を生成するタイミングを設定する合成間隔部をさらに含むことを特徴とする、請求項１に記載の撮像装置。
4. 所定の単位露光時間ごとに繰り返して露光する露光ステップと；
   前記露光ステップでの露光の結果生成された単位画像データを一時的に順次記憶する画像データ記憶ステップと；
   前記画像データの合成枚数を決定する合成枚数決定ステップと；
   予め設定された連続撮影間隔の撮影開始タイミングに同期して，前記画像データ記憶ステップで記憶した所定の露光時間に対応する，前記合成枚数決定ステップで決定した枚数分の前記単位画像データ群を読み出して合成し，合成画像を生成する画像合成ステップと；
   を含むことを特徴とする，撮像方法。
5. 前記合成画像を表示し，所定の間隔ごとに表示を更新する表示ステップをさらに含み，
   前記画像合成ステップは，前記表示ステップでの表示更新タイミングと前記合成画像の生成終了タイミングとが略一致するように前記撮影開始タイミングを調整することを特徴とする，請求項４に記載の撮像方法。
6. 前記合成画像を生成するタイミングを設定する合成間隔ステップをさらに含むことを特徴とする、請求項４に記載の撮像装置。
   

Images