JP6216181B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮像装置におけるダイナミックレンジを拡大制御する技術に関するものである。

一般に、１枚の画像を得るために、複数の異なる露光条件で複数回の撮影を実行し、複数の画像から１つの画像を合成してダイナミックレンジの広い画像を生成するというダイナミックレンジ拡大制御が知られている。この制御は、異なる露光条件で撮影した画像を用いて合成画像を作成することにより、画質を向上することを目的としている。複数回の撮影を行うため、各画像で撮影するタイミングが異なり、移動体を撮影した場合など、各画像間で画角が異なって撮影される場合がある。

特許文献１では、複数回露光して複数の撮像画像を出力し、基準画像データの平均輝度値と基準輝度値の比から算出されるゲインを乗算することで、基準画像データと非基準画像データの明るさを揃えて位置ずれを検出する方法が開示されている。また、位置ずれ検出結果を用いて、ゲインを乗算する前の画像に対して位置ずれ補正を行い、画像合成を行っている。

特開２００８−１０９１７６号公報

しかしながら、特許文献１では、例えば位置合わせのために画像を回転する場合、画像合成時に一方の画像の周辺画素が存在しないため、合成画像の周辺部において所望の画像が得られない場合があった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、異なる露出で撮像された複数の画像を位置合わせして合成する処理において、合成された画像の画角を維持しつつ輝度段差も少ない画像を提供することである。

本発明に係わる撮像装置は、異なる露出で複数枚の画像を撮像する撮像手段と、前記撮像手段から得られる複数枚の画像をそれぞれブロック分割し、ブロックごとに各画素の信号値を加算平均して各ブロックの信号値を算出する第１の算出手段と、前記第１の算出手段で算出された各ブロックの信号値に基づいて、各画像に異なるゲインをかける第１の処理手段と、前記撮像手段から得られる複数枚の画像のうちの１枚の画像を前記第１の算出手段よりも大きい分割数でブロック分割し、ブロックごとに各画素の信号値を加算平均して各ブロックの信号値を算出する第２の算出手段と、前記第２の算出手段で算出された各ブロックの信号値に基づいて、前記１枚の画像に前記異なるゲインを合成したゲインをかける第２の処理手段と、前記第１の処理手段と前記第２の処理手段から得られる画像を現像する現像手段と、位置合わせ手段を有し、前記現像手段で現像した画像のうちの前記第１の処理手段から得られる画像を現像した画像を位置合わせして合成する第１の合成手段と、前記現像手段で現像した画像のうちの前記第２の処理手段から得られる画像を現像した画像と、前記第１の合成手段から得られる画像とを合成する第２の合成手段と、を備えることを特徴とする。

本発明によれば、異なる露出で撮像された複数の画像を位置合わせして合成する処理において、合成された画像の画角を維持しつつ輝度段差も少ない画像を提供することが可能となる。

本発明の撮像装置の一実施形態であるデジタルカメラのブロック構成を示す図である。 画像の位置合わせの概念図である。 本発明の一実施形態のデジタルカメラの動作を示すフローチャートである。 輝度値と合成比率の関係を示す図である。 画像の位置合わせにおける内接矩形を示す図である。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００のブロック構成を示す図である。

図１において、１０は撮影レンズ、１２は絞り機能を備える機械式シャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。

１８は撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。機械式シャッター１２以外にも、撮像素子１４のリセットタイミングの制御によって、電子シャッターとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。

また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う、ＡＦ処理、ＡＥ処理、ＥＦ処理を行っている。さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行っている。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、メモリ３０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。

画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはデジタルカメラ１００の電力消費を大幅に低減することが出来る。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッター１２を制御する露光制御部であり、フラッシュ４８と連動することによりフラッシュ調光機能も有するものである。４２は撮影レンズ１０のフォーカシングを制御する測距制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部である。

４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。５０はデジタルカメラ１００全体を制御するシステム制御回路である。

６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

６２はシャッタースイッチＳＷ１で、シャッターボタンの操作途中（半押し）でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。６４はシャッタースイッチＳＷ２で、シャッターボタンの操作完了（全押し）でＯＮとなる。フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。また、フラッシュはこの露光期間中に発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。その後、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データとして書き込む読み出し処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理を行う。さらに、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮処理し、記録媒体２００に画像データを書き込む記録処理を行う。シャッタースイッチＳＷ２は、これらの一連の撮影処理の動作開始を指示する。

６６は表示切替スイッチで、画像表示部２８の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

７２はユーザーが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチである。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

８６はアルカリ電池等の一次電池や、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源部である。９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。１１０は通信部でＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有する。１１２は通信部１１０によりデジタルカメラ１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、デジタルカメラ１００とのインタフェース２０４、デジタルカメラ１００と接続を行うコネクタ２０６を備えている。

図３は、本実施形態のデジタルカメラの動作を示すフローチャートである。

ステップＳ３０１において、露出の異なる３枚の画像である、アンダー画像（アンダー露出画像）、適正画像（適正露出画像）、オーバー画像（オーバー露出画像）を撮影する。

ステップＳ３０２において、ステップＳ３０１から得られるアンダー画像、適正画像、オーバー画像に対し、それぞれＭ１×Ｎ１のブロック分割を行い、分割された各ブロックで各画素の信号値を加算平均して各ブロックの信号値を算出する。

ステップＳ３０３において、各ブロックの信号値に基づいて各画像にゲインをかける。このとき、ゲインをかけた各画像の出力画素値（出力値）が、アンダー画像、適正画像、オーバー画像の順に大きくなるようにゲインを設定する。このようにすることにより、ステップＳ３０７における合成画像において、例えば被写体と背景が存在する場合に、後光が差したように被写体周辺の背景を明るくしたり、あるいは逆に暗く影を付けたような雰囲気を出したりする効果を生み出すことができる。

ステップＳ３０４において、ステップＳ３０１から得られるアンダー画像に対し、それぞれＭ２×Ｎ２(Ｍ２＞Ｍ１、Ｎ２＞Ｎ１)のブロック分割を行い、分割された各ブロックで各画素の信号値を加算平均して各ブロックの信号値を算出する。ここで分割数を大きくするのは、各ブロックのブロック信号値の精度を上げ、ステップＳ３０９における画像合成時において輝度段差が発生しないようにするためである。

ステップＳ３０５において、上記各画像のゲインを式（１）のように合成することによって生成された合成ゲインを、ステップＳ３０１において得られる１枚のアンダー画像にかける。

Gg(Y)＝α*Gl(Y)＋β*Gm(Y)＋γ* Gh(Y) …（１）
但し、α+β+γ=１、０≦α≦１、０≦β≦１、０≦γ≦１
ここで、Yはアンダー画像の画素輝度値、Gg(Y)、Gl(Y)、Gm(Y)、Gh(Y)はそれぞれ、合成後のゲイン、アンダー画像用のゲイン、適正画像用のゲイン、オーバー画像用のゲインを表す。また、α、β、γはそれぞれ、アンダー画像、適正画像、オーバー画像の合成比率を表すパラメータである。このとき、Ｓ３０７において合成する際に用いる、図４に示すような画像の合成比率に基づいてゲインを合成する。ここで表す画像の合成比率は現像後の画像に対する合成比率であるため、現像前の画像に対する合成比率に換算してゲインを決定する。

ステップＳ３０６において、ステップＳ３０３から得られる画像（第１のアンダー画像、適正画像、オーバー画像）とステップＳ３０５から得られる画像（第２のアンダー画像）をそれぞれ現像する。

ステップＳ３０７において、ステップＳ３０６において得られる、第１のアンダー画像、適正画像、オーバー画像を合成する。ここで、合成する３枚の画像には、位置合わせをした画像を適用する。例えば、画像回転等を行い、適正画像を第１のアンダー画像に位置合わせし、オーバー画像を第１のアンダー画像に位置合わせして、位置合わせ済みの適正・オーバー画像と第１のアンダー画像を合成する。すなわち、複数枚の画像のうち、基準画像以外の画像の基準画像に対する位置ずれを検出し、位置ずれを補正して合成画像を生成する。このとき、画像の合成比率は、（２）式を用いて、図４に示すように、例えば第１のアンダー画像の各画素の輝度値Ylに基づいて決定する。

Ｇ＝α2*Ｌ＋β2*Ｍ＋γ2*Ｈ …（２）
但し、
α2=0, β2=0, γ2=1 if 0≦Yl≦a
α2=0, β2=(Yl-a)/(b-a), γ2=1-β2 if a≦Yl≦b
α2=0, β2=1, γ2=0 if b≦Yl≦c
α2=(Yl-c)/(d-c), β2=1-α2, γ2=0 if c≦Yl≦d
α2=1, β2=0, γ2=0 if d≦Yl
ここで、Ｇ、Ｌ、Ｍ、Ｈはそれぞれ、合成画像の画素値、アンダー画像の画素値、適正画像の画素値、オーバー画像の画素値を表し、α2、β2、γ2はそれぞれ、アンダー画像、適正画像、オーバー画像の合成比率を表すパラメータである。すなわち、低輝度の画素はオーバー画像から適用し、中間輝度の画素は適正画像から適用し、高輝度の画素は第１のアンダー画像から適用し、間は線形的になるようにする。また、各画像間で画角差が大きく位置合わせに失敗した場合は、第１のアンダー画像を最終出力とする（ステップＳ３０８）。

ステップＳ３０９において、ステップＳ３０６で得られる第２のアンダー画像とステップＳ３０７で得られる出力画像を合成する。ここで、ステップＳ３０７において位置合わせを行った場合、本実施形態では、ハードウェア構成の単純化と、処理コストの削減のため、図５に示すように、合成される２つの画像に対する内接矩形の座標を算出する。そして、ステップＳ３０６で得られる出力画像における内接矩形の外側画素を、ステップＳ３０６で得られる第２のアンダー画像で置き換えて合成する。すなわち、基準画像内で、位置ずれが補正された複数枚の画像の少なくとも一部が重複しない領域を含む所定の領域には、画像の明るさにかかわらず基準画像を使用する。内接矩形は、位置合わせの対象となり、幾何変形を行った画像の各頂点から基準画像の辺と水平又は垂直な線を伸ばし、それらの交点が成す出力画像内の領域である。本実施形態の画像処理回路２０は、上記のような内接矩形の座標を算出し、内外の処理を区別して行うハードウェア構成を有する。また、内接矩形の内外の境界部に関して、２つの画像の合成比率を所定の幅で線形的に変化させていくことにより、境界を目立たなくするように処理を行ってもよい。このようにすることで、ステップＳ３０９における画像合成時に、画像内部と画像周辺部とで輝度段差が目立たないようにすることが可能となり、ユーザにとって好ましい画像を提供できる。

以上のように、本実施形態では、異なる露出で撮像された複数の画像を位置合わせして合成する処理において、合成後の画像において、位置合わせの基準となる画像（アンダー画像）以外の少なくとも１つの画像が存在しない領域の画像に、基準画像を使用する。これにより、合成画像においても合成前の画像の画角を維持できる、という効果を奏する。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 異なる露出で複数枚の画像を撮像する撮像手段と、
   前記撮像手段から得られる複数枚の画像をそれぞれブロック分割し、ブロックごとに各画素の信号値を加算平均して各ブロックの信号値を算出する第１の算出手段と、
   前記第１の算出手段で算出された各ブロックの信号値に基づいて、各画像に異なるゲインをかける第１の処理手段と、
   前記撮像手段から得られる複数枚の画像のうちの１枚の画像を前記第１の算出手段よりも大きい分割数でブロック分割し、ブロックごとに各画素の信号値を加算平均して各ブロックの信号値を算出する第２の算出手段と、
   前記第２の算出手段で算出された各ブロックの信号値に基づいて、前記１枚の画像に前記異なるゲインを合成したゲインをかける第２の処理手段と、
   前記第１の処理手段と前記第２の処理手段から得られる画像を現像する現像手段と、
   位置合わせ手段を有し、前記現像手段で現像した画像のうちの前記第１の処理手段から得られる画像を現像した画像を位置合わせして合成する第１の合成手段と、
   前記現像手段で現像した画像のうちの前記第２の処理手段から得られる画像を現像した画像と、前記第１の合成手段から得られる画像とを合成する第２の合成手段と、
   を備えることを特徴とする撮像装置。
2. 前記第１の処理手段は、前記撮像手段から得られる複数枚の画像にそれぞれ異なるゲインをかけた出力値が、前記撮像手段から得られる複数枚の画像において、露出の高い順に大きくなるようにゲインを決定することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の合成手段は、前記位置合わせ手段が位置合わせに失敗した場合、前記現像手段で現像された１枚の画像を出力することを特徴とする請求項１または２に記載の撮像装置。
4. 前記第１の合成手段は、合成する画像の合成比率を決定する決定手段をさらに有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第１の合成手段は、前記決定手段により決定された合成比率に基づいて、前記位置合わせ手段から得られる画像を合成することを特徴とする請求項４に記載の撮像装置。
6. 前記第２の処理手段は、前記決定手段で用いる合成比率に基づいてゲインを決定することを特徴とする請求項４または５に記載の撮像装置。
7. 前記決定手段は、前記現像手段から得られる画像の輝度値を用いて合成比率を決定することを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
8. 前記第２の合成手段は、前記位置合わせ手段で算出される内接矩形の座標に基づいて合成することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 異なる露出で複数枚の画像を撮像する撮像手段を備える撮像装置を制御する方法であって、
   前記撮像手段から得られる複数枚の画像をそれぞれブロック分割し、ブロックごとに各画素の信号値を加算平均して各ブロックの信号値を算出する第１の算出工程と、
   前記第１の算出工程で算出された各ブロックの信号値に基づいて、各画像に異なるゲインをかける第１の処理工程と、
   前記撮像手段から得られる複数枚の画像のうちの１枚の画像を前記第１の算出工程よりも大きい分割数でブロック分割し、ブロックごとに各画素の信号値を加算平均して各ブロックの信号値を算出する第２の算出工程と、
   前記第２の算出工程で算出された各ブロックの信号値に基づいて、前記１枚の画像に前記異なるゲインを合成したゲインをかける第２の処理工程と、
   前記第１の処理工程と前記第２の処理工程から得られる画像を現像する現像工程と、
   位置合わせ工程を有し、前記現像工程で現像した画像のうちの前記第１の処理工程から得られる画像を現像した画像を位置合わせして合成する第１の合成工程と、
   前記現像工程で現像した画像のうちの前記第２の処理工程から得られる画像を現像した画像と、前記第１の合成工程から得られる画像とを合成する第２の合成工程と、
   を有することを特徴とする撮像装置の制御方法。
10. 請求項９に記載の制御方法をコンピュータに実行させるためのプログラム。
11. 請求項９に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images