JP5942670B2

JP5942670B2 - 撮像装置

Info

Publication number: JP5942670B2
Application number: JP2012166045A
Authority: JP
Inventors: 寺内　正和; 正和寺内
Original assignee: Ricoh Imaging Co Ltd
Current assignee: Ricoh Imaging Co Ltd
Priority date: 2012-07-26
Filing date: 2012-07-26
Publication date: 2016-06-29
Anticipated expiration: 2032-07-26
Also published as: JP2014027466A

Description

本発明は、時間的に略連続する複数の画像を連続撮影可能なデジタルカメラに関する。

連続撮影を利用する撮影技法の１つとして、例えば、自動露出で得られた露出値を中心に異なる露出値で複数の画像を自動撮影し、これにより適正露出での撮り損ないを防止する自動露出ブラケット撮影が知られている。また他の例としては、コントラスト比の大きい被写体を撮影する場合に、異なる露光時間で順次被写体を撮影し、撮影された複数の画像を合成してダイナミックレンジが拡大された合成画像を得るハイダイナミックレンジ合成が知られている。しかし、このように連続撮影を利用する撮影技法では、被写体が移動する場合など、各画像間において被写体の位置にずれが発生する。特にハイダイナミックレンジ（ＨＤＲ）合成において被写体の位置にずれが発生すると問題であり、このような問題に対しては、画像間の経時的な位置ずれに対応する座標変換を行った後に画像の合成を行う撮像方法が提案されている（特許文献１）。

特開平０５−００７３３６号公報

しかし、特許文献１の方法においても、各画像が撮影される時間は異なり、依然各画像は同時に撮影されたものではない。

本発明は、同時に撮影されたと看做せる露光量の異なる複数の画像を得ることを課題としている。

本発明の撮像装置は、複数の画像を連写し記憶する連続撮影手段と、複数の画像を加算して第１画像を合成する画像合成手段と、第１画像または複数の画像から、第１画像とは露出が異なる第２画像を生成する第２画像生成手段とを備えたことを特徴としている。

複数の画像の総数をＮとするとき、第２画像の各画素値は、第１画像または複数の画像の各画素値に１／Ｎ≦α＜１の係数αを掛けたものであることが好ましい。複数の画像間における露出幅が±ｎＥＶのとき、複数の画像の総数が２^２ｎ枚であることが好ましい。第２画像に、複数の画像の相加平均が用いられてもよい。また連写は、電子シャッタ制御により実行され、複数の画像が略連続して撮影されることが好ましい。第１画像および第２画像は例えば露出ブラケット画像である。また撮像装置は、第１画像および第２画像に基づきＨＤＲ合成を行うＨＤＲ合成手段を備えてもよい。

本発明によれば、同時に撮影されたと看做せる露光量の異なる複数の画像を得ることができる。

本発明の一実施形態である画像取得方法を適用した撮像装置のブロック図である。本実施形態の露出ブラケットモードにおける撮像・画像合成処理（画像取得方法）の流れを示すフローチャートである。ブラケット撮影における撮像処理のシーケンスを示す。 ΣＩｍの演算によって得られる合成画像の構成を模式的に示す。本実施形態のＨＤＲモードにおける撮像・画像合成処理（画像取得方法）の流れを示すフローチャートである。図５に示されたＨＤＲモードにおける撮像・画像合成処理（画像取得方法）の変形例のフローチャートである。

以下、本発明の実施の形態を、図面を参照して説明する。図１は本発明の一実施形態である画像取得方法を適用した撮像装置のブロック図である。

撮像装置は例えばデジタルカメラ１０であり、デジタルカメラ１０は、撮像素子１１、画像信号処理部１２、撮像素子１１の駆動およびカメラ全体の制御を行う制御部１３、スルー画像や撮影画像あるいは各種設定画面を表示するＬＣＤなどのモニタ１４、レリーズスイッチなどの操作スイッチを含む操作部１５、メモリカードなどの着脱自在な外部記録媒体１６を備える。

撮像素子１１は、例えば制御部１３からの駆動信号に基づき制御され、撮像素子１１で検出された画像信号はデジタル信号に変換され、画像信号処理部１２に入力される。画像信号処理部１２は、例えば、デジタルシグナルプロセッサ（ＤＳＰ）１７や画像メモリ１８から構成される。

画像メモリ１８は、撮像素子１１で連写された画像を記憶可能であり、ＤＳＰ１７では、従来周知の各種画像処理が施されるとともに、画像メモリ１８に記憶された画像を用いて後述する本実施形態の画像処理が施される。ＤＳＰ１７で処理された画像は、モニタ１４に出力可能であるとともに、必要に応じて外部記録媒体１６に保存される。

デジタルカメラ１０は、撮影モードとして例えば複数の画像を撮影し、これに基づきハイダイナミックレンジ合成を行うＨＤＲモード、自動露出ブラケット撮影を行う露出ブラケットモードを備える。各モードは、ユーザが操作部１５を操作することにより選択され、レリーズスイッチがオンされると以下に説明するように、例えば電子シャッタ操作により複数の画像が連続して撮影されるとともに画像メモリ１８に保存され、各モード所定の画像処理が施される。

図２は、本実施形態の露出ブラケットモードにおける撮像・画像合成処理（画像取得方法）の流れを示すフローチャートである。露出ブラケットモードにおいてレリーズスイッチがオンされると、本処理が制御部１３、ＤＳＰ１７を中心に実行される。

ステップＳ１００ではブラケット幅の設定の確認が行われる。ブラケット幅は例えばデフォルトあるいはユーザの設定に基づいてメモリに記憶されており、自動露出で得られる適正露出値、あるいはユーザが設定した露出値を中心に撮影される複数の画像のうち、露出が最もアンダーとなる露出値と最もオーバーとなる露出値の間の差を示している。図２の例では、４ＥＶ（露出値で４段）、すなわち設定露出値を中心とする±２ＥＶ（上下２段分）の露出幅がブラケット幅とされる。

ステップＳ１０２では、取得されたブラケット幅に基づいて連続撮影される画像枚数が算出される。すなわちブラケット幅が±ｎＥＶのときには、画像枚数が２^２ｎ枚とされる。図２の例では、ｎ＝４なので撮影される画像は１６枚となる。そしてステップＳ１０４、Ｓ１０６において、１６（２^２ｎ）枚の画像が連続して−２ＥＶ（−ｎＥＶ）の露出で撮影される。すなわち、＋２ＥＶ（＋ｎＥＶ）での撮影で想定されるシャッタースピードの１／１６（１／２^２ｎ）のシャッタースピードで各画像の撮影が行われ、画像メモリ１８に記憶される。なお、図３にこのときの撮像処理のシーケンスを示す。すなわち図３において横軸は時間、縦軸は露光量であり、１６枚の画像を連続撮影する際の各画像撮影における経時的な露光量の変化が示される。ｔ０〜ｔ１の期間が１枚目の画像の露光期間に対応し、ｔ１〜ｔ２が２枚目の画像の露光期間、ｔ１５〜ｔ１６が１６枚目の画像の露光期間に対応する。

ステップＳ１０８では、−２ＥＶで撮影された１６枚の画像から、例えば＋２ＥＶ、±０ＥＶ（設定露出値）、−２ＥＶに対応する３枚の画像が作成される。すなわち、−２ＥＶの画像には、ブラケット撮影で撮像された全１６枚（Ｎ枚）の画像の平均値ΣＩｍ／Ｎが用いられる。ただしここでＩｍは、撮像された１６枚（Ｎ枚）の画像の中のｍ番目の画像を表している（ｍ：１〜１６（Ｎ））。同様に、±０ＥＶ（設定露出値）の画像としては、−２ＥＶの画像を４倍した４ΣＩｍ／Ｎが用いられ、＋２ＥＶの画像には、全画像を加算したΣＩｍが用いられる。算出された−２ＥＶ、±０ＥＶ、＋２ＥＶの各画像は例えば画像メモリ１８に記憶される。

なお図４に、ΣＩｍの演算によって得られる画像を模式的に示す。例えば被写体が移動しているとき、１６枚の各画像に写る被写体の位置は異なる。しかしこれらを加算したΣＩｍの画像は、図３のｔ０〜ｔ１６を露光期間として撮影された画像に対応し、被写体は１６枚全てに写る被写体を加算したものとして現れる。また、−２ＥＶ、±０ＥＶの画像も、ΣＩｍで得られる画像の画素値を１／１６（Ｎ）、４／１６（Ｎ）したものとして算出されるので、＋２ＥＶの画像と同様にｔ０〜ｔ１６を露光期間として撮影された画像に対応する。

ステップＳ１１０では、ステップＳ１０８において合成された−２ＥＶ、±０ＥＶ、＋２ＥＶの画像がモニタ１４に表示される。なお、これらの画像は並べて表示してもよいし、キー操作を通して一枚ずつ順次比較表示される構成としてもよい。ステップＳ１１２では、画像メモリ１８に一時的に記憶されている−２ＥＶ、±０ＥＶ、＋２ＥＶの画像が例えば外部記録媒体１６に記録される。そして以上により露出ブラケットモードにおける画像取得処理は終了する。

図５は、本実施形態のＨＤＲモードにおける撮像・画像合成処理（画像取得方法）の流れを示すフローチャートである。すなわちＨＤＲモードにおいてレリーズスイッチがオンされると、本処理が制御部１３、ＤＳＰ１７を中心に実行される。

本処理におけるステップＳ２００〜Ｓ２０８は、露出ブラケットモードでのステップＳ１００〜Ｓ１０８に対応し、その処理内容は、露出ブラケットモードでのものと同様である。したがって、ステップＳ２０８では画像メモリ１８に、−２ＥＶ、±０ＥＶ、＋２ＥＶで撮影された画像が記憶されている。ＨＤＲモードが露出ブラケットモードと異なるのは、ステップＳ２１０において、これら異なる３つのＥＶ値、−２ＥＶ、±０ＥＶ、＋２ＥＶで撮影された画像を用いてハイダイナミックレンジ（ＨＤＲ）合成が行われる点である。なお、本実施形態ＨＤＲモードでは、合成画像の連続性を担保するため電子シャッタが用いられ、合成画像の同時性を担保するためにアンダーおよびオーバーとなる画像がそれぞれ同じ画像を合成して作成される。そして、ステップＳ２１２ではモニタ１４に合成されたＨＤＲ画像が表示されるとともに、ステップＳ２１４において合成されたＨＤＲ画像が外部記録媒体１６に記録され、このＨＤＲモードにおける画像取得処理は終了する。なお、ステップＳ２１０におけるＨＤＲ合成は、従来周知の方法で行われる。

なお図６にＨＤＲモードの変形例のフローチャートを示す。図５のＨＤＲモードにおける画像取得処理では、ブラケット幅がユーザにより、あるいはデフォルトで設定されていたが、図６の変形例ではブラケット幅が撮影環境に合わせて自動設定される。

すなわち、このＨＤＲモードにおいてレリーズスイッチがオンされると、ステップＳ３００において被写体の輝度分布の判定が行われ、ブラケット幅±ｎＥＶ（ｎは整数でなくともよい）が決定される。ステップＳ３０２では、取得されたブラケット幅±ｎＥＶに基づいて連続撮影される画像枚数が２^２ｎ枚として算出される。そしてステップＳ３０４、Ｓ３０６において、２^２ｎ枚の画像が連続して−ｎＥＶの露出で撮影され、画像メモリ１８に記憶される。

ステップＳ３０８では、−ｎＥＶで撮影された２^２ｎ枚の画像から、例えば−ｎＥＶ、±０ＥＶ（設定露出値）、＋ｎＥＶに対応する３枚の画像が作成され、画像メモリ１８に記憶される。ステップＳ３１０では、この露出の異なる３枚の画像−ｎＥＶ、±０ＥＶ、＋ｎＥＶを用いて従来周知のＨＤＲ合成処理が実行される。ステップＳ３１２では合成されたＨＤＲ画像がモニタ１４に表示される。そしてステップＳ３１４においてこのＨＤＲ画像が例えば外部記録媒体１６に記録され、このＨＤＲモードにおける画像取得処理は終了する。

以上のように、本実施形態によれば、露光量のみが異なる同一の画像を同一露光期間（ｔ０〜ｔ１６）を用いて複数得ることができる。すなわち、露出が異なる同時性を備えた複数の画像が取得される。これにより、特に複数の画像を合成して１枚の画像を得るＨＤＲ合成などの場合には、ブラケット撮影中に被写体が移動したり、撮影画角内で時間的な変化が生じたりするなどの経時的な変化が、生成される合成画像の画質向上にとって障害となっていたが、本実施形態の画像取得方法を適用することで、そのような問題が解決する。

また、本実施形態では、短い露光時間で撮影された画像を複数加算することでダイナミックレンジを拡大しているので、画像信号にゲインを掛けて拡大する場合と異なり、ノイズが拡大されることがない。

なお、本実施形態では電子シャッタを用い連続してブラケット画像の撮影を行ったが、例えばメカニカルシャッタを用いる場合など、ブラケット画像が僅かに離れている場合であっても、その間隔が十分に短ければ本実施形態を適用することができる。

また、本実施形態では、相加平均を利用したが、ブラケット画像毎に重み付けを行い加重平均を利用することも可能である。例えば、途中フラッシュが発光されるフレームに対して軽い重み付けを行ったり、新しい画像ほど重み付け大きくしたりすることも考えられる。

また、本実施形態では、露出の異なる３つの画像を作成したが、作成される画像の数は２枚以上であれば、これに限定されるものではなく４枚以上でもよい。その場合、１／Ｎ≦α＜１の任意の係数αをΣＩｍに掛ける。また、多数の画像を加算して露光量の大きい画像を合成する場合には、従来周知のように桁落ちを防止するために、加算を順次分割して行うなどの方法が取られる。

１０デジタルカメラ
１１撮像素子
１２画像信号処理部
１３制御部
１４モニタ
１５操作部
１６外部記録媒体
１７ＤＳＰ
１８画像メモリ

Claims

複数の画像を連写し記憶する連続撮影手段と、
前記複数の画像の全てを加算して第１画像を合成する画像合成手段と、
前記第１画像の画素値または前記複数の画像の全てを加算して得られる各画素値を用いて前記第１画像とは露出が異なる第２画像を生成する第２画像生成手段とを備える
ことを特徴とする撮像装置。
前記複数の画像の総数をＮとするとき、前記第２画像の各画素値が、前記第１画像または前記複数の画像の各画素値に１／Ｎ≦α＜１の係数αを掛けたものであることを特徴とする請求項１に記載の撮像装置。
前記複数の画像間における露出幅が±ｎＥＶのとき、前記複数の画像の総数が２²ⁿ枚であることを特徴とする請求項１または請求項２の何れか一項に記載の撮像装置。
前記第２画像に前記複数の画像の相加平均が含まれることを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
前記連写が電子シャッタ制御により実行され、前記複数の画像が略連続して撮影されることを特徴とする請求項１〜４の何れか一項に記載の撮像装置。
前記第１画像および前記第２画像が露出ブラケット画像であることを特徴とする請求項１に記載の撮像装置。
前記第１画像および第２画像に基づきＨＤＲ合成を行うＨＤＲ合成手段を備えることを特徴とする請求項１に記載の撮像装置。