JP5321348B2 - 撮影装置、撮影方法及び撮影プログラム - Google Patents

Description

本発明は、撮影装置、撮影方法及び撮影プログラムに関する。

デジタルカメラやカメラ付き携帯電話等の撮影装置は、静止画撮影時において被写体をプレビュー表示するときには、イメージセンサによって撮像した被写体の画像をＬＣＤ(Liquid Crystal Display)の表示画面サイズにリサイズしてＬＣＤに表示している。ここで、一般的にＬＣＤの表示画面サイズとは、例えば、ＷＶＧＡ(Wide Video Graphics Array)、ＶＧＡ(Video Graphics Array)、ＷＱＶＧＡ(Wide Quarter Video Graphics Array)又はＱＶＧＡ(Quarter Video Graphics Array)等によって示される解像度となる。

静止画撮影に用いられるイメージセンサは、通常、数メガピクセル以上の解像度がある。つまり、イメージセンサの解像度は、ＬＣＤの表示画面サイズと比較して、高解像度となっている。言い換えると、イメージセンサは、ＬＣＤの表示画面サイズと比較して、高画素数の画像データを生成することができる。そのため、ＬＣＤにプレビュー表示をする場合、イメージセンサは、全ての画素を出力するのではなく、画素間引きや画素加算を行い、イメージセンサが最大出力できる解像度よりも小さい画像サイズのプレビュー画像を示すプレビュー画像データを生成して出力する。撮影装置は、イメージセンサが出力したプレビュー画像データをＬＣＤの表示画面サイズにリサイズする。そして、リサイズしたプレビュー画像データをＬＣＤに出力することでプレビュー画像を表示する。なお、このときに、プレビュー画像データが画素加算によって生成されている場合、プレビュー画像データは、イメージセンサで光電変換された電荷を加算して１画素あたりの信号量が大きくされた画像データとなっている。そのため、このプレビュー画像データによって表示されるプレビュー画像は、信号量が大きくされることによって、高感度で明るい画像となる。このように、プレビュー画像は、ＬＣＤの表示画面サイズに合わせてサイズを小さくする過程で、画素加算によって画像の感度、つまり、明るさを上げることができる。

しかし、近年、高画素の画像による撮影が重視されているため、撮影装置は、静止画撮影において、プレビュー画像のように画像サイズを小さくせずに、イメージセンサが出力できる最大解像度の静止画像データを生成している。このようにして生成された静止画像データは、撮影した撮影画像を示す撮影画像データとして、ＳＤカード等の記憶媒体に格納される。そのため、撮影装置では、特許文献１に開示の技術のように、静止画像の明るさを画素加算されているプレビュー画像と同等にするため、静止画撮影におけるゲインを上げる又は露光時間を長くして、静止画像を明るくする制御をしている。しかし、ゲインを上げるとノイズが強調され、静止画像の画質が悪くなってしまうという問題があり、露光時間を長くすると手ブレや被写体ブレの原因となるという問題がある。

なお、特許文献２には、フラッシュ発光なしに、画素数が多く、低感度で撮像した画像信号と、フラッシュを発行させて、画素数が少なく、高感度で撮像した画像信号とを合成することによって、単に非フラッシュ撮影やフラッシュ撮影することで得られる写真よりも、背景となる夜景及び主要被写体がともに鮮明な写真を得ることができる技術が開示されている。

特開２００６−０５０３４９号公報 特開２００７−０３６９７８号公報

背景技術として説明した問題に対して、手ブレやノイズの影響が少なくなるように、静止画撮影におけるゲインと露光時間との比率を調整することも可能ではあるが、これには限界がある。具体的には、非常に低照度な環境下での撮影において、ノイズの影響がでないと考えられる限界までゲインを上げてしまっているときは、次は露光時間を長くするしかないが、手ブレの影響がでないと考えられる限界まで露光時間も長くしても静止画像の明るさがプレビュー画像との明るさと同等までにならない場合がある。このように、ゲインや露光時間を調整することによって静止画像を限界まで明るくしてもプレビュー画像と同等まで明るくならない場合、プレビュー画像データを生成する際におけるゲインや露光時間を調整してプレビュー画像を暗くすることにより、静止画像とプレビュー画像との明るさを同等にする制御がなされている。

また、撮影装置では、このように静止画像、つまり、撮影画像の明るさに合わせてプレビュー画像を暗くすることなく、高感度で撮影を行うモードを機能として搭載しているものがあるが、撮影可能な画素数が制限されてしまっているという問題がある。これは、上述したように、高感度な画像を生成するためには画素加算を行う必要があり、静止画像を画素加算して撮影画像を生成すると、撮影画像の画素数が減少してしまうからである。
また、これらのように、撮影画像の明るさに合わせてプレビュー画像を暗くしなければならない又は撮影画像の画素数を減少させなければいけないという制限がかかってしまう他の理由としては、撮影装置において、明るさ及び画素数がともに重視されてきている反面、実装するハードウェアのサイズやコスト等の制約が依然としてあり、デバイスとしてハードウェア面での性能向上が非常に難しいという問題もある。

また、静止画撮影をするときに、露光時間を短くして手ブレを少なくした複数の静止画像データを生成して、生成した複数の静止画像データを画像合成することよって得られた手ブレの少ない画像データを撮影画像データとする電子式手ブレ補正処理を行う撮影装置もある。このような手ブレ補正処理においても、手ブレ補正処理を有効にした場合とそうでない場合とで撮影画像の明るさが変わってはいけないとの考えのもと設計されているため、手ブレ補正処理を有効にした場合における撮影画像は、手ブレ補正処理を有効にしている場合における撮影画像と同等の明るさとなるように画像合成されている。そのため、手ブレ補正処理を有効にした場合も、そうでない場合も、撮影画像の明るさに合わせて、プレビュー画像を生成する際のゲインや露光時間を調整してプレビュー画像を暗くすることにより、撮影画像とプレビュー画像との明るさを同等にする制御がなされている。

以上に説明したように、撮影画像の明るさに合わせてプレビュー画像を暗くしなければならない又は撮影画像の画素数を減少させなければならないという問題がある。言い換えると、プレビュー画像をイメージセンサの有する性能を十分に利用した明るい画像とし、その明るさに応じた高感度かつ高画素な撮影画像を撮影することができていないという問題がある。しかし、特許文献１、２は、このような問題を解決する具体的な技術を開示したものではない。

本発明の目的は、上述したような課題を解決するためのものであり、プレビュー画像を明るくすることができ、その明るさに応じた高感度かつ高画素な撮影画像を撮影することができる撮影装置、撮影方法及び撮影プログラムを提供することにある。

本発明の第１の態様にかかる撮影装置は、被写体を撮像して、当該被写体の画像となる複数の画素を生成して出力する撮像部と、前記撮像部から出力された複数の画素を加算することで、前記加算を行わない場合よりも低解像度かつ高感度なプレビュー画像を生成するプレビュー画像生成部と、前記加算を行わずに得られる、前記プレビュー画像よりも高解像度かつ低感度な少なくとも一枚の中間画像を、前記加算の度合いに応じて重ね合わせることで撮影画像を生成する撮影画像生成部と、を備える。

本発明の第２の態様にかかる撮影方法は、被写体を撮像して生成した当該被写体の画像となる複数の画素を加算することで、前記加算を行わない場合よりも低解像度かつ高感度なプレビュー画像を生成するステップと、前記加算を行わずに得られる、前記プレビュー画像よりも高解像度かつ低感度な少なくとも一枚の中間画像を、前記加算の度合いに応じて重ね合わせることで撮影画像を生成するステップと、を備える。

本発明の第３の態様にかかる撮影プログラムは、被写体を撮像して生成した当該被写体の画像となる複数の画素を加算することで、前記加算を行わない場合よりも低解像度かつ高感度なプレビュー画像を生成するステップと、前記加算を行わずに得られる、前記プレビュー画像よりも高解像度かつ低感度な少なくとも一枚の中間画像を、前記加算の度合いに応じて重ね合わせることで撮影画像を生成するステップと、をプロセッサに実行させる。

上述した本発明の各態様により、プレビュー画像を明るくすることができ、その明るさに応じた高感度かつ高画素な撮影画像を撮影することができる撮影装置、撮影方法及び撮影プログラムを提供することができる。

本発明の実施の形態１にかかる撮影装置のブロック図である。 本発明の実施の形態２にかかる撮影装置のブロック図である。 本発明の実施の形態２にかかる画素加算処理を説明するための図である。 プレビュー表示時及び静止画撮影時におけるゲイン、露光時間、明るさの関係とそれぞれの制御方法の課題等を示す図である。

発明の実施の形態１．
図１を参照して、本発明の実施の形態１にかかる撮影装置の構成について説明する。図１は、本発明の実施の形態１にかかる撮影装置のブロック図である。

撮影装置１は、撮像部１６、プレビュー画像生成部１７及び撮影画像生成部１８を有する。
撮像部１６は、被写体を撮像して、被写体の画像となる複数の画素を生成して出力する。
プレビュー画像生成部１７は、撮像部１６から出力された複数の画素を加算することで、加算を行わない場合よりも低解像度かつ高感度なプレビュー画像を生成する。撮影装置１は、プレビュー画像生成部１７が生成したプレビュー画像を表示する。
撮影画像生成部１８は、撮像部１６から出力された複数の画素の加算を行わずに得られる、プレビュー画像よりも高解像度かつ低感度な少なくとも一枚の中間画像を、プレビュー画像生成における加算の度合いに応じて重ね合わせることで撮影画像を生成する。

続いて、本発明の実施の形態１にかかる撮影装置の処理について説明する。
撮像部１６は、被写体を撮像して、被写体の画像となる複数の画素を生成する。そして、撮像部１６は、生成した複数の画素をプレビュー画像生成部１７に出力する。
プレビュー画像生成部１７は、撮像部１６から出力された複数の画素を加算することで、加算を行わない場合よりも低解像度かつ高感度なプレビュー画像を生成する。そして、撮影装置１は、プレビュー画像生成部１７が生成したプレビュー画像を表示する。

被写体を撮影する場合、撮像部１６は、被写体を撮像して、被写体の画像となる複数の画素を生成する。そして、撮像部１６は、生成した複数の画素を撮影画像生成部１８に出力する。
撮影画像生成部１８は、撮像部１６から出力された複数の画素の加算を行わないことで、この複数の画素を、プレビュー画像よりも高解像度かつ低感度な中間画像として取得する。そして、撮影画像生成部１８は、撮像部１６から取得した少なくとも一枚の中間画像を、プレビュー画像生成における加算の度合いに応じて重ね合わせることで撮影画像を生成する。

以上に説明したように、本実施の形態１によれば、プレビュー画像の画素加算の度合いに応じて、中間画像を重ね合わせることにより、プレビュー画像と同じ明るさの撮影画像となるまで信号量を増加させた高感度な撮影画像を生成することができる。これによれば、撮影画像を明るくするために、被写体を撮影する場合におけるゲイン及び露光時間等の撮影条件の調整をする必要がなくなるため、撮影条件が設定限界に達してしまい、それに合わせて、プレビュー画像を暗くする必要がなくなる。また、複数の高解像度な中間画像を重ね合わせて信号量を増加させているため、画素加算のように画素数を減少させずに高画素な撮影画像を生成することができる。そのため、プレビュー画像を明るくすることができ、その明るさに応じた高感度かつ高画素な撮影画像を撮影することができる。

発明の実施の形態２．
図２を参照して、本発明の実施の形態２にかかる撮影装置の構成について説明する。図２は、本発明の実施の形態２にかかる撮影装置のブロック図である。

撮影装置１は、イメージセンサ１０、ＤＳＰ(Digital Signal Processor)１１、メモリ１２、ホストＣＰＵ(Central Processing Unit)１３、ＬＣＤパネル１４及び記憶装置１５を有する。撮影装置１は、例えば、デジタルカメラや携帯電話等である。

イメージセンサ１０は、被写体を撮像して、被写体の画像を示す画像データを生成する。イメージセンサ１０は、ＤＳＰ１１からの指示に応じて、プレビュー表示時において表示されるプレビュー画像を示すプレビュー画像データを生成するプレビュー表示モードと、静止画撮影時において撮像された静止画像を示す静止画像データを生成する静止画撮影モードとのどちらかの動作モードで動作する。

イメージセンサ１０は、被写体を撮像すると、被写体の画像を構成する複数の画素のデータとして、内部的に光電変換された電荷を生成して出力する。イメージセンサ１０は、プレビュー表示モードでは、任意の複数画素に対応する電荷を加算、つまり、任意の複数画素を画素加算することで、画素加算を行わない場合よりも相対的に低解像度かつ高感度なプレビュー画像データを生成する。なお、画素加算する画素数は、イメージセンサ１０に予め定められていてもよく、ＤＳＰ１１が指定するようにしてもよい。
また、イメージセンサ１０は、静止画撮影モードでは、画素加算を行わないことで、複数の画素のデータを静止画像データとする。つまり、静止画像データは、プレビュー画像データよりも相対的に高解像度かつ低感度となる。

ここで、図３を参照して、画素加算するプレビュー表示時と画素加算しない静止画撮影時のそれぞれにおける処理の一例について説明する。ここでは、２画素を加算して１画素とする画素加算を適用した場合について例示する。
プレビュー表示時は、図３(ａ)に示すように、ＲＧＢ成分の隣り合った２画素を加算し、１画素あたりの信号量が２画素分となる。つまり、画像全体として明るさが２倍となったプレビュー画像を示すプレビュー画像データを生成する。
静止画撮影時は、図３(ｂ)に示すように、イメージセンサが出力できる最大解像度又はそれに近い解像度とするため、画素加算は行わない。この場合、静止画撮影時におけるゲインや露光時間等の撮影条件がプレビュー表示時と同じである場合、静止画像データの信号量はプレビュー画像データの半分となる。つまり、この場合、静止画像は、プレビュー画像の半分の明るさとなる。

また、イメージセンサ１０は、ＤＳＰ１１から指定されたゲインを画像データに乗ずることによって、画像データの信号量を増幅する。これにより、画像データが示す画像の感度、つまり、明るさが増幅される。また、イメージセンサ１０は、ＤＳＰ１１から指定された露光時間によって被写体を撮像して画像データを生成する。つまり、イメージセンサ１０は、ゲイン及び露光時間によって、画像データの感度を調整することができる。そして、イメージセンサ１０は、以上のようにして生成したプレビュー画像データ又は静止画象データをＤＳＰ１１に出力する。なお、イメージセンサ１０は、実施の形態１における撮像部１６及びプレビュー画像生成部１７に対応する。

ＤＳＰ１１は、イメージセンサ１０に動作モードを指定する。また、ＤＳＰ１１は、撮影環境の明るさに応じて、ゲイン及び露光時間をイメージセンサ１０に指定する。また、ＤＳＰ１１は、静止画撮影を行う場合に、静止画像がプレビュー画像と同じ明るさとなるように、静止画撮影モード時におけるゲイン及び露光時間を調整しても、ゲイン及び露光時間が設定された限界値である設定限界を超えてしまわないかどうかを判定する。なお、ＤＳＰ１１は、実施の形態１における撮影画像生成部１８に対応する。

ここで、静止画撮影モード時におけるゲイン及び露光時間は、プレビュー画像モード時におけるゲイン及び露光時間を基準として、画素加算の度合いに応じて決まる。例えば、図３に例示したように、画素加算において２画素を１画素に加算している場合は、プレビュー画像データの信号量、つまり、プレビュー画像の明るさが２倍になっている。このような場合、静止画像の明るさをプレビュー画像の明るさに合わせるためには、静止画撮影モード時におけるゲインをプレビュー画像モード時におけるゲインの２倍にするか、静止画撮影モード時における露光時間をプレビュー画像モード時における露光時間の２倍にするか、静止画撮影モード時におけるゲインを増加させた倍率と、露光時間を増加させた倍率との積が２倍となるようにして、静止画像の明るさを２倍にする必要がある。そのため、ＤＳＰ１１は、静止画撮影モード時におけるゲイン及び露光時間が設定限界を超えてしまわないかどうかは、プレビュー画像モード時におけるゲイン及び露光時間と、画素加算の度合いとに基づいて判定することができる。

静止画撮影モード時におけるゲイン及び露光時間が設定限界を超えないと判定した場合、ＤＳＰ１１は、画素加算の度合いに応じて、静止画撮影モード時におけるゲイン及び露光時間を調整することで、プレビュー画像と実質的に同じ明るさとなる静止画像を示す静止画像データを生成する。そして、ＤＳＰ１１は、撮影した撮影画像を示す撮影画像データとして、この静止画像データをホストＣＰＵ１３に出力する。
静止画撮影モード時におけるゲイン及び露光時間が設定限界を超えると判定した場合、ＤＰＳ１１は、画素加算の度合いに応じて、ゲイン及び露光時間の調整は行わず、複数の静止画像データを画像合成することによって、プレビュー画像と同じ明るさとなるように信号量を増加させた画像データを生成する。そして、ＤＳＰ１１は、この画像合成によって得られた画像データを撮影画像データとしてホストＣＰＵ１３に出力する。

メモリ１２は、ＤＳＰ１１が画像合成等の処理をする場合に、静止画像データ等の処理に必要な情報が格納される。
ホストＣＰＵ１３は、ＤＳＰ１１から出力されたプレビュー画像データから、プレビュー画像を表示するＲＧＢ信号を生成し、生成したＲＧＢ信号をＬＣＤパネル１４に出力する。また、ホストＣＰＵ１３は、ＤＳＰ１１から出力された撮影画像データを記憶装置１５に格納する形式のデータに変換して、生成したデータを記憶装置１５に格納する。ここで、記憶装置１５に格納する形式のデータとは、例えば、ＧＩＦ(Graphics Interchange Format)又はＪＰＥＧ(Joint Photographic Experts Group)等の画像ファイルである。

ＬＣＤパネル１４は、ホストＣＰＵ１３から出力されたＲＧＢ信号に基づいて、プレビュー画像を表示する。
記憶装置１５は、ホストＣＰＵ１３から出力されたデータを格納する。記憶装置１５は、例えば、ＳＤカード、ＳＤＨＣカード、ｍｉｎｉＳＤカード又はｍｉｃｒｏＳＤカード等の記録媒体等から構成される。

続いて、本発明の実施の形態２にかかる撮影装置の処理について説明する前に、図４を参照して、静止画撮影における制御方法について説明する。図４は、プレビュー表示時及び静止画撮影時におけるゲイン、露光時間、明るさの関係とそれぞれの制御方法の課題等を示す図である。なお、図４では、２画素を画素加算する場合について例示している。

プレビュー表示時における画素加算をした制御方法は、ゲインをＸ[ｄＢ]、露光時間をＹ[ｓｅｃ]として、２画素を画素加算して、画像合成をせずに生成したプレビュー画像データが示すプレビュー画像の明るさを基準Ｚとして示している。なお、Ｘ、Ｙは、例えば、任意の０以上の実数である。
プレビュー表示時における画素間引きをした制御方法は、ゲインをＸ[ｄＢ]、露光時間をＹ[ｓｅｃ]として、画像合成及び画素加算をせずに生成したプレビュー画像データが示すプレビュー画像の明るさは、画素加算したプレビュー画像と比較して、画素加算をしてない分、明るさが１／２のＺ／２となることを示している。

静止画撮影時における制御方法(１)は、ゲインをＸ[ｄＢ]、露光時間をＹ[ｓｅｃ]として、画像合成及び画素加算をせずに撮影画像データを生成する方法である。制御方法(１)によって生成された撮影画像データが示す撮影画像は、画素加算して生成したプレビュー画像と比較して、画素加算をしてない分、明るさが１／２のＺ／２となることを示している。そのため、制御方法(１)は、撮影画像が、画素加算したプレビュー画像よりも暗くなってしまい、プレビュー画像と同じ明るさとならない。この場合、撮影画像と、プレビュー画像とを同じ明るさとするためには、プレビュー画像のゲイン又は露光時間を１／２として、プレビュー画像をＺ／２まで暗くする必要がある。

静止画撮影時における制御方法(２)は、ゲインを２Ｘ[ｄＢ]、露光時間をＹ[ｓｅｃ]として、画像合成及び画素加算をせずに撮影画像データを生成する方法である。制御方法(２)によって生成された撮影画像データが示す撮影画像は、画素加算して生成したプレビュー画像と比較して、画素加算をしてないが、ゲインを２倍としているため、同じ明るさＺとなることを示している。しかし、制御方法(２)のように、ゲインのみを上げて調整する場合は、撮影環境の明るさに応じて、プレビュー画像のゲインＸが大きくされていると、ゲイン２Ｘがイメージセンサ１０のゲインの設定限界又はノイズ面で許容できるとして予め定めたゲインの設定限界を超えてしまう。例えば、プレビュー表示時におけるゲインＸを設定限界まで上げて、プレビュー画像を明るくするように制御した場合は、静止画撮影時におけるゲインを２倍の２Ｘとすると確実に設定限界を超えてしまう。このような場合は、ゲインを設定限界までしか上げることができないため、撮影画像を画素加算したプレビュー画像と同じ明るさにすることができない。撮影画像を画素加算したプレビュー画像と同じ明るさにするためには、制御方法(１)と同様に、プレビュー画像のゲイン又は露光時間を下げて、プレビュー画像を暗くする必要がある。

静止画撮影時における制御方法(３)は、ゲインをＸ[ｄＢ]、露光時間を２Ｙ[ｓｅｃ]として、画像合成及び画素加算をせずに撮影画像データを生成する方法である。制御方法(３)によって生成された撮影画像データが示す撮影画像は、画素加算して生成したプレビュー画像と比較して、画素加算をしてないが、露光時間を２倍としているため、同じ明るさＺとなることを示している。しかし、制御方法(３)のように、露光時間のみを上げて調整する場合は、撮影環境の明るさに応じて、プレビュー画像の露光時間Ｙが大きくされていると、露光時間２Ｙがイメージセンサ１０の手ブレ及び被写体ブレの面で許容できるとして予め定めた露光時間の設定限界を超えてしまう。例えば、プレビュー表示時における露光時間Ｙを設定限界まで上げて、プレビュー画像を明るくするように制御した場合は、静止画撮影時における露光時間を２倍の２Ｙとすると確実に設定限界を超えてしまう。このような場合は、露光時間を設定限界までしか上げることができないため、撮影画像を画素加算したプレビュー画像と同じ明るさにすることができない。撮影画像を画素加算したプレビュー画像と同じ明るさにするためには、制御方法(１)と同様に、プレビュー画像のゲイン又は露光時間を下げて、プレビュー画像を暗くする必要がある。また、設定限界を設けていない場合は、手ブレ及び被写体ブレが発生しやすくなってしまう。

静止画撮影時における制御方法(４)は、ゲインをαＸ[ｄＢ]、露光時間をβＹ[ｓｅｃ]として、画像合成及び画素加算をせずに撮影画像データを生成する方法である。なお、α、βは、例えば、任意の０以上の実数である。制御方法(４)は、ゲインと露光時間のそれぞれを明るさがＺとなるように増やす、制御方法(２)及び(３)の中間的な位置付けの制御方法である。しかし、制御方法(４)のように静止画撮影におけるゲインと露光時間との比率を調整する制御方法は、上述したように、プレビュー表示時においてゲインと露光時間を設定限界まで上げている場合は、制御方法(２)と同様に、ゲイン係数αを乗じて、これ以上ゲインを大きくすることはできない。また、制御方法(３)と同様に、露光時間係数βを乗じて、これ以上露光時間を大きくすることもできない。そのため、このような場合は、制御方法(２)及び(３)と同様に、プレビュー画像のゲイン又は露光時間を下げて、プレビュー画像を暗くする必要がある。

以上のようなことから、背景技術として説明したように、現在、一般的な制御方法としては、静止画撮影時におけるゲイン及び露光時間が限界を超えないように、プレビュー表示時におけるゲインをＸ／２までの使用に抑える制御方法(１)が用いられている。

静止画撮影時における制御方法(５)は、制御方法(１)に電子式手ブレ補正処理を適用した制御方法である。
ここで、電子式手ブレ補正処理について説明すると、電子式手ブレ補正処理は、手ブレ補正処理を有効にしていない制御方法(１)と比較して、露光時間を１／ｎ(ｎは、任意の正整数)として静止画像をｎ回撮像して、ｎ個の静止画像データを生成する。よって、露光時間が１／ｎとなっているため、それぞれの静止画像の明るさがＺ／２×１／ｎ＝Ｚ／２ｎとなる静止画像データがｎ個生成される。そして、それらの画像を画像合成することで、明るさがＺ／２ｎ×ｎ＝Ｚ／２となり、手ブレ補正処理を有効にしていない場合と同じ明るさの撮影画像ができる。このように露光時間が短くして、手ブレ及び被写体ブレの発生しにくくなった静止画像を画像合成することで、手ブレ及び被写体ブレを抑えた撮影画像を生成することができる。
図４における制御方法(５)は、ｎを２とした場合について例示している。制御方法(５)１つあたりＺ／２×１／２＝Ｚ／４の明るさとなった静止画像を２つ合成することによって、手ブレ補正処理を有効にしていない場合と同じ明るさＺ／２の撮影画像ができる。

そして、制御方法(５)では、１つの静止画像の手ブレを低減するために、露光時間をＹ／２としているが、静止画撮影時における制御方法(６)は、露光時間をＹのままとする。よって、制御方法(６)では、ゲインをＸ[ｄＢ]、露光時間をＹ[ｓｅｃ]として、静止画像を２回撮像して、２個の静止画像データを生成する。そして、２個の静止画像データを画像合成することによって、制御方法(１)と比較して、信号量、つまり、感度が２倍となった撮影画像データを生成する。これにより、画素加算をしたプレビュー画像と同等の明るさＺの撮影画像が得られる。

つまり、プレビュー画像において画素加算して信号量が増えた分の静止画像データを画像合成している。プレビュー表示時における画素加算をした制御方法では、２画素を画素加算して信号量が２倍となっているため、制御方法(６)は、静止画像を２回撮像して、それぞれの静止画像の明るさがＺ／２となる静止画像データが２個生成する。そして、それらの画像を画像合成することで、明るさがＺ／２×２＝Ｚとなり、画素加算をしたプレビュー画像と同じ明るさの撮影画像ができる。制御方法(６)は、静止画撮影時において、プゲイン及び露光時間をプレビュー表示時における画素加算した制御方法と同じままとして、画素加算によって加算した画素数と同じ数の静止画像データを画像合成することで、画素加算をしたプレビュー画像と同じ明るさの撮影画像ができる。

以上より、本実施の形態２では、静止画撮影時におけるゲイン及び露光時間が設定限界を超えない場合は、制御方法(２)〜(４)のうちの最適な制御方法によって撮影を行い、ゲイン及び露光時間が設定限界を超えてしまう場合は、自動的に制御方法(６)に切り替えて撮影を行うようにすることにより、プレビュー画像を暗くすることなく、静止画像とプレビュー画像との明るさを同等にする。

続いて、本実施の形態２にかかる撮影装置の処理について説明する。
操作者が撮影装置１によって被写体を撮影する場合、操作者が撮影しようとする被写体が所望の構図となっているかを判断するためにプレビュー表示モードとして動作する。プレビュー表示モードでは、イメージセンサ１０は、レンズ(図示せず)を介して、被写体を撮像して、被写体の画像を構成する複数の画素のデータを生成する。このとき、イメージセンサ１０は、ここでの撮像をＤＳＰ１１から指定されている露光時間で行う。そして、イメージセンサ１０は、この複数の画素のデータを画素加算したプレビュー画像データを生成する。また、イメージセンサ１０は、このとき生成したプレビュー画像データにＤＳＰ１１から指定されているゲインを乗じることによって信号量を増加させる。そして、イメージセンサ１０は、プレビュー画像データをＤＳＰ１１に出力する。なお、ゲインは、画素加算前に乗ずるようにしてもよい。

ＤＳＰ１１は、イメージセンサ１０から出力されたプレビュー画像データを取得する。このときに、ＤＳＰ１１は、プレビュー画像データが示すプレビュー画像の明るさに基づいて、撮影環境の明るさを判定する。そして、撮影環境の明るさに応じて、プレビュー画像が適切な明るさとなるようなゲイン及び露光時間をイメージセンサ１０に対して指定する。なお、ここでの撮影環境の明るさに応じたゲイン及び露光時間の決定は、どのように行ってもよい。例えば、明るさをプレビュー画像に含まれる各画素の信号量の総和や平均値等に基づいて判断し、それに対応するゲイン及び露光時間を所定の計算式やテーブル等に基づいて決定する。また、所定の計算式やテーブル等を示す情報は、例えば、ＤＳＰ１０が有するレジスタ又はメモリ等の任意の記憶装置(図示せず)や、メモリ１２に格納しておく等してＤＳＰ１０が判定可能とする。このようにして、ＤＳＰ１１は、常に、フィードバックをかけることによって、プレビュー画像が適切な明るさとなるようにしている。

そして、ＤＳＰ１１は、プレビュー画像データをホストＣＰＵ１３に出力する。
ホストＣＰＵ１３は、ＤＰＳ１１から出力されたプレビュー画像データから、このプレビュー画像データが示すプレビュー画像を表示するＲＧＢ信号を生成し、生成したＲＧＢ信号をＬＣＤパネル１４に出力する。
ＬＣＤパネル１４は、ホストＣＰＵ１３から出力されたＲＧＢ信号に基づいて、プレビュー画像を表示する。

そして、操作者が所望の構図となった場合に、撮影装置１に対して静止画撮影を行うように操作がされると、ＤＳＰ１１は、その操作に応じて、静止画撮影モードに移行するようにイメージセンサ１０に指示する。
このとき、ＤＳＰ１１は、イメージセンサ１０に対して指定しているゲイン及び露光時間に基づいて、静止画撮影時におけるゲイン及び露光時間が設定限界を超えないで、制御方法(２)〜(４)のいずれか制御方法によって静止画像の撮影が可能か否かを判定する。つまり、ＤＳＰ１１は、静止画像が画素加算されたプレビュー画像と同じ明るさとなるように、静止画撮影時におけるゲイン及び露光時間を指定した場合に、ゲイン及び露光時間が設定限界を超えるか否かを判定する。なお、ゲイン及び露光時間のそれぞれの設定限界を示す情報は、例えば、ＤＳＰ１０が有する任意の記憶装置や、メモリ１２に格納しておく等してＤＳＰ１０が判定に使用可能とする。

ゲイン及び露光時間が設定限界を超えないと判断した場合、ＤＳＰ１１は、静止画像が画素加算されたプレビュー画像と同じ明るさとなるゲイン及び露光時間を指定して、制御方法(２)〜(４)のいずれか制御方法によって、静止画像データを生成するようにイメージセンサ１０を制御する。
イメージセンサ１０は、ＤＳＰ１１から指定されたゲイン及び露光時間で静止画像データを生成して、生成した静止画像データをＤＳＰ１１に出力する。
ＤＳＰ１１は、イメージセンサ１０から出力された静止画像データを撮影画像データとして、ホストＣＰＵ１３に出力する。

ゲイン及び露光時間が設定限界を超えると判断した場合、ＤＳＰ１１は、プレビュー表示モードにおいて指定していたゲイン及び露光時間のままとして、被写体を複数回撮像して、複数の静止画像データを生成するようにイメージセンサ１０に指示する。ここで、ＤＳＰ１１は、上述したように画素加算によって加算した画素数と同じ数の静止画像データを生成するようにイメージセンサ１０に指示する。

イメージセンサ１０は、ＤＳＰ１１からの指示に応じて、ＤＳＰ１１から指定されているゲイン及び露光時間で、指定された数の静止画像データを生成して、生成した静止画像データをＤＳＰ１１に出力する。
ＤＳＰ１１は、イメージセンサ１０から出力された複数の静止画像データを画像合成した画像データを生成する。そして、ＤＳＰ１１は、生成した画像データを撮影画像データとして、ホストＣＰＵ１３に出力する。このように、プレビュー画像データを生成する際に画素加算した画素数と同じ数の静止画像データを画像合成することで、静止画像がプレビュー画像と同じ明るさとなる。なお、本実施の形態における「同じ明るさ」とは、完全同一に限られず、実質的に同一と判断できる予め定められた誤差の範囲内であれば同一と判断するようにしてもよい。

ホストＣＰＵ１３は、ＤＳＰ１１から出力された撮影画像データを記憶装置１５に格納する形式のデータに変換して、生成したデータを記憶装置１５に格納する。

以上に説明したように、本実施の形態２によれば、プレビュー画像の画素加算の度合いに応じて、複数の静止画像データを画像合成することにより、プレビュー画像と同じ明るさの撮影画像となるまで信号量を増加させた高感度な撮影画像データを生成することができる。これによれば、撮影画像を明るくするために、静止画撮影時におけるゲイン及び露光時間を上げる必要がなくなるため、静止画撮影時におけるゲイン又は露光時間が設定限界に達してしまい、それに合わせて、プレビュー表示時におけるゲイン及び露光時間を下げる必要がなくなる。言い換えると、撮影画像の明るさに合わせて、プレビュー画像を暗くする必要がなくなる。そのため、プレビュー表示時におけるゲイン及び露光時間をイメージセンサ１０の有する性能等の設定限界まで指定してプレビュー画像を明るくすることができる。また、複数の高感度な静止画像データを画像合成して信号量を増加させているため、画素加算のように画素数を減少させずに高画素な撮影画像データを生成することができる。よって、プレビュー画像をイメージセンサの有する性能を十分に利用した明るい画像とし、その明るさに応じた高感度かつ高画素な撮影画像を撮影することができる。

また、制御方法(６)では、画像合成を行う分、処理時間が増加してしまう。しかし、制御方法(２)〜(４)では、画像合成は行わず、一般的な制御方法(１)と同様に、イメージセンサ１０に閉じた処理で完結しているため、画像合成による処理時間の増加はない。本実施の形態２によれば、静止画撮影時におけるゲイン及び露光時間が設定限界を超えない場合は、制御方法(２)〜(４)のうちの最適な制御方法によって撮影を行い、ゲイン及び露光時間が設定限界を超えてしまう場合は、自動的に制御方法(６)に切り替えて撮影を行うようにしているため、画像合成による処理時間の増加を極力なくして、高感度かつ高画素な撮影画像を撮影することができる。また、自動的に制御方法を切り替えるようにしているので、撮影装置１の操作者に制御方法の切り替えを行わせる必要がないため、ストレスをあたえることなく、高感度かつ高画素な撮影画像を撮影することができる。

また、本実施の形態２によれば、電子式手ブレ補正処理と同様に、静止画像データを生成する数を増やして、それらの静止画像データを画像合成することで、高感度かつ高画素な撮影画像を撮影することができるようにしている。そのため、電子式手ブレ補正処理の内容を多少変更した処理に切り替えるのみで、ハードウェアのサイズやコスト等の制約に縛られることなく容易に実装することができる。

その他の発明の実施の形態.
上述した各実施の形態では、より明るい撮影画像を取得することを前提としているが、高感度な撮影画像が得られるということは、露光時間を短くすることができるということにもつながる。上述した各実施の形態において、明るさを抑えて、追従性や手ブレ及び被写体ブレの抑止を優先したい場合に、操作者からの撮影装置１へのその旨の入力に応じて、露光時間を任意に短くするモードに切り替えることができるようにしてもよい。短くする時間は、例えば、ＤＳＰ１１が有する任意の記憶装置又はメモリ１２に予め設定しておいてもよく。また、操作者の入力に応じた時間を短くするようにしてもよい。そして、ＤＳＰ１１は、モードの切り替えに応じて、予め設定された内容に基づいて短くした露光時間をイメージセンサ１０に指定することで、露光時間を短くする。

なお、本発明は上述した実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、本実施の形態２では、ＤＳＰ１１が画像合成を行うようにしているが、ホストＣＰＵ１３がメモリ１２を使用して画像合成を行うようにしてもよい。

また、本実施の形態２では、静止画像を複数回撮像している。つまり、それぞれが異なるタイミングで撮像して生成された複数の静止画像データを画像合成しているが、画像合成する静止画像データは、全て異なるタイミングにおけるものとしなくてよい。例えば、プレビュー表示時に２画素を１画素に画素加算している場合、制御方法(６)によって、撮影画像の明るさをプレビュー画像の明るさと同じとするためには、静止画像データを２つ画像合成する必要がある。そのときに、イメージセンサ１０において静止画像データを１つ生成するようにして、生成した静止画像データをコピーして、同じ静止画像データを画像合成してもよい。ただし、まったく同じ画像データを画像合成すると、ノイズが発生している箇所も完全に一致しているため、ノイズが強調されてしまうという問題がある。そのため、好ましくは、それぞれが異なるタイミングで撮像された複数の静止画像データを画像合成するとよい。

以上に説明した実施の形態の機能を実現するプログラムを記憶した記憶媒体を撮影装置に供給し、撮影装置の有するＤＳＰ、ＣＰＵ又はＭＰＵ(Micro Processing Unit)等のプロセッサがこのプログラムを実行することによって、構成することが可能である。

また、このプログラムは様々な種類の記憶媒体に格納することが可能であり、通信媒体を介して伝達されることが可能である。ここで、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＤＶＤ(Digital Versatile Disc)、ＢＤ(Blu-ray(登録商標) Disc)、ＲＯＭ(Read Only Memory)カートリッジ、バッテリバックアップ付きＲＡＭ(Random Access Memory)、メモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジを含む。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体を含む。また、上述のプログラムは、インターネットを介して伝達することも可能である。

また、プロセッサが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現されるだけではなく、このプログラムの指示に基づき、プロセッサが処理しているＯＳ(Operating System)もしくはアプリケーションソフトと共同して上述の実施の形態の機能が実現される場合も、発明の実施の形態に含まれる。

１ 撮影装置
１０ イメージセンサ
１１ ＤＳＰ
１２ メモリ
１３ ホストＣＰＵ
１４ ＬＣＤパネル
１５ 記憶装置
１６ 撮像部
１７ プレビュー画像生成部
１８ 撮影画像生成部

Claims (10)

1. 被写体を撮像して、当該被写体の画像となる複数の画素を生成して出力する撮像部と、
   前記撮像部から出力された複数の画素を加算することで、前記加算を行わない場合よりも低解像度かつ高感度なプレビュー画像を生成するプレビュー画像生成部と、
   前記プレビュー画像の生成における画素の加算の度合いを、前記撮像部に対して指定する加算度合指定部と、
   前記加算を行わずに得られる、前記プレビュー画像よりも高解像度かつ低感度な中間画像を、前記加算度合指定部により指定された加算の度合いに応じて前記撮像部が生成した数だけ重ね合わせることで、前記加算の度合いに応じて重ね合わせた撮影画像を生成する撮影画像生成部と、を備えた撮影装置。
2. 前記撮影画像生成部は、ゲイン及び露光時間を含む前記プレビュー画像の撮影条件に応じて、前記中間画像の重ね合わせを行うか否かを決定する請求項１に記載の撮影装置。
3. 前記撮像部は、前記撮影画像生成部が前記中間画像の重ね合わせを行わないと決定した場合、ゲイン及び露光時間を含み、前記プレビュー画像と実質的に同じ感度となるように決定された前記中間画像の撮影条件に基づいて、前記複数の画素を生成し、
   前記撮影画像生成部は、前記加算を行わずに得られる中間画像を撮影画像とする請求項２に記載の撮影装置。
4. 前記撮影画像生成部は、それぞれが異なるタイミングにおける複数の中間画像を重ね合わせる請求項１乃至３のいずれか１項に記載の撮影装置。
5. 前記撮影画像生成部は、前記撮影画像が、前記プレビュー画像と実質的に同じ感度となるように前記重ね合わせを行う請求項１乃至４のいずれか１項に記載の撮影装置。
6. 前記加算度合指定部は、前記加算の度合いとして、前記加算した画素数を指定し、
   前記撮影画像生成部は、前記加算によって加算した画素数に応じた数の中間画像を重ね合わせる請求項１乃至５のいずれか１項に記載の撮影装置。
7. 前記撮影装置は、前記プレビュー画像を表示パネルに表示するＣＰＵをさらに備えた請求項１乃至６のいずれか１項に記載の撮影装置。
8. 前記撮影装置は、携帯電話である請求項１乃至７のいずれか１項に記載の撮影装置。
9. 被写体を撮像して生成した当該被写体の画像となる複数の画素を加算することで、前記加算を行わない場合よりも低解像度かつ高感度なプレビュー画像を生成するステップと、
   前記プレビュー画像の生成における画素の加算の度合いを指定するステップと、
   前記指定された加算の度合いに応じた数、前記加算を行わずに得られる、前記プレビュー画像よりも高解像度かつ低感度な中間画像を生成するステップと、
   前記生成された数の中間画像を重ね合わせることで、前記加算の度合いに応じて重ね合わせた撮影画像を生成するステップと、を備えた撮影方法。
10. 被写体を撮像して生成した当該被写体の画像となる複数の画素を加算することで、前記加算を行わない場合よりも低解像度かつ高感度なプレビュー画像を生成するステップと、
    前記プレビュー画像の生成における画素の加算の度合いを指定するステップと、
    前記指定された加算の度合いに応じた数、前記加算を行わずに得られる、前記プレビュー画像よりも高解像度かつ低感度な中間画像を生成するステップと、
    前記生成された数の中間画像を重ね合わせることで、前記加算の度合いに応じて重ね合わせた撮影画像を生成するステップと、をプロセッサに実行させる撮影プログラム。

Images