JP5917258B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、複数枚の画像を合成する画像処理装置及び画像処理方法に関する。

従来、デジタルカメラ等の撮像装置では、夜景を手持ち撮影する場合に手ブレを抑制するために高感度で撮影を行うと、ノイズが多くなるという問題があった。この問題を解決する方法として、高感度で複数枚の画像を撮影し、撮影した画像間のブレを位置合わせした後、画像を画素毎に平均加算して合成することで、手ブレを抑制しながらノイズの少ない画像を得る技術が知られている。また、この技術の応用として、１枚のストロボ発光画像と複数枚のストロボ非発光画像を合成するという技術が開示されている（例えば、特許文献１参照）。なお、ストロボ発光画像とは、発光装置（ストロボ装置）を発光させて被写体に光を照射して撮影した画像（フラッシュ撮影された画像）であり、ストロボ非発光画像は、発光装置を用いずに被写体を撮影した画像である。

特許文献１に記載された技術は、ストロボ装置を発光させて撮影する際には感度を低く設定し、ストロボ装置を発光させずに撮影する際には感度を高く設定し、こうして撮影した画像を画素毎に合成比率を決定して合成する技術である。ここで、合成比率を決定する際には、ストロボ発光画像の画素値データとストロボ非発光画像の画素値データとの大小比較を行って、大きい方の画素値を用いるように合成比率を決定している。

特開２００７−１２４２９２号公報

しかしながら、上記特許文献１に記載された技術では、人物に照明光があたっているようなシーンでも、人物領域に影領域が存在する場合などに、人物領域についてストロボ発光画像が用いられないことがあるため、違和感のある画像になってしまう。

上記課題に鑑み、本発明は、被写体に対する照明条件に因らず、適切な合成結果を得ることができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明に係る画像処理装置は、発光装置による発光を伴う第１の撮影による第１の画像と前記発光装置による発光を伴わない第２の撮影による複数の第２の画像とを連続的に撮影する撮影手段と、前記第１の撮影の感度を前記第２の撮影の感度よりも低く設定する感度設定手段と、前記第１の画像の画像データに対して、前記第１の撮影の感度と前記第２の撮影の感度との感度差に応じたゲインを掛けるゲイン処理を行うゲイン処理手段と、前記ゲイン処理手段によりゲイン処理された第１の画像と前記複数の第２の画像とに基づいて平均化画像を作成する平均化手段と、前記撮影手段により撮影された第１の画像と前記平均化手段により作成された平均化画像とを合成して合成画像を作成する合成手段と、を備えることを特徴とする。

本発明によれば、被写体に対する照明条件に因らず、適切な合成結果を得ることができる。

本発明の実施形態に係るデジタルスチルカメラ（画像処理装置）のハードウエア構成を示すブロック図である。 撮影された複数枚の画像を合成する処理を模式的示す図である。 撮影された複数枚の画像を合成する処理のフローチャートである。 撮影された複数枚の画像の位置合わせ処理における位置ずれ量検出処理を模式的に説明する図である。 ストロボ照明量を算出するための、輝度差に対するストロボ照明量テーブルの例を示す図である。 夜景を背景とした人物撮影シーンの例を示す図である。 人物に照明が当たっているシーンと、撮影画像及び合成画像の例を示す図である。

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。本実施形態では、画像処理装置として、撮影機能を有するデジタルスチルカメラを取り上げることとするが、本発明はこれに限定されるものではない。

＜デジタルスチルカメラのハードウエア構成＞
図１は、本実施形態に係るデジタルスチルカメラ４５０のハードウエア構成を示すブロック図である。デジタルスチルカメラ４５０は、撮像手段を構成する、撮影レンズ４００、絞り４０１、シャッタ４０２、撮影レンズ４００に入射する光束Ｌ（光学像）を電気信号に変換する撮像素子４０３を備える。撮像素子４０３のアナログ信号出力は、Ａ／Ｄ変換器４０４により、デジタル信号に変換される。

また、デジタルスチルカメラ４５０は、撮像素子４０３、Ａ／Ｄ変換器４０４及びＤ／Ａ変換器４０６にクロック信号や制御信号を供給して、これらの動作を制御するタイミング発生部４０５を備える。タイミング発生部４０５は、メモリ制御部４０８及びシステム制御部４３０により制御される。

画像処理部４１３では、Ａ／Ｄ変換器４０４からのデータ或いはメモリ制御部４０８からのデータに対して、撮像した画像データに対して所定の画像処理を施す。所定の画像処理とは、ホワイトバランス処理、ＲＧＢベイヤー配列の信号をＲＧＢ３プレーン信号に変換するための色補間処理、ガンマ補正処理、彩度補正、色相補正等である。また、画像処理部４１３は、後述する実施例で説明する撮影した複数枚の画像データを合成する処理を行う。

メモリ制御部４０８は、Ａ／Ｄ変換器４０４、タイミング発生部４０５、画像処理部４１３、画像表示用メモリ４０９、Ｄ／Ａ変換器４０６、メモリ４１０、圧縮／伸張部４１１を制御する。これにより、Ａ／Ｄ変換器４０４でＡ／Ｄ変換されたデジタルデータは、画像処理部４１３、メモリ制御部４０８を介して、或いは直接にメモリ制御部４０８を介して、画像表示用メモリ４０９或いはメモリ４１０に書き込まれる。

画像表示用メモリ４０９は表示部Ａ４０７に表示するデータを記憶しており、画像表示用メモリ４０９に記憶されているデータは、Ｄ／Ａ変換器４０６を介して液晶ディスプレイ（ＬＣＤ）等の表示部Ａ４０７に出力され、表示される。表示部Ａ４０７には、デジタルスチルカメラ４５０を制御するための様々なメニュー、例えば、ホワイトバランス選択メニュー等が表示される。これらのメニューの選択と表示は、操作部Ａ４２４を操作することにより、可能となっている。

メモリ４１０は、撮影した静止画像を格納するメモリであり、所定枚数の静止画像を格納するのに十分な記憶容量を備えている。また、メモリ４１０は、システム制御部４３０や画像処理部４１３の作業領域としても使用可能となっている。圧縮／伸張部４１１は、画像データを圧縮及び伸張することができ、メモリ４１０に格納された画像データを読み込んで圧縮処理を行い、また、圧縮された画像データを読み込んで伸張処理を行い、このような処理を終えたデータをメモリ４１０に書き込む。外部記憶装置４１２は、ＣＦカードやＳＤカード等の、デジタルスチルカメラ４５０の本体に対して着脱可能な外付けの記憶媒体である。メモリ４１０に一時的に記憶された画像データは、最終的に外部記憶装置４１２に格納される。

デジタルスチルカメラ４５０が備える測光センサ４１９は、撮影画面と共役に関係付けられたそれぞれの画素の輝度を測定する。測光センサ４１９の出力に応じて、システム制御部４３０において適切な露光量が算出され、露光制御部４１４が、算出された露光量にしたがって、絞り４０１、シャッタ４０２、撮像素子４０３のＩＳＯ感度を制御する。ユーザにより任意に選択された測距点の距離情報は、測距センサ４１８によって検出される。測距制御部４１５は、測距センサ４１８の出力に基づいて、撮影レンズ４００のフォーカシングを制御する。

デジタルスチルカメラ４５０において手動で行われた撮影レンズ４００のズーミング量（焦点距離）は、ズーム制御部４１６により検知される。また、ズーム制御部４１６は、操作部Ｂ４２５を用いてズーミングを自動で行う場合の撮影レンズ４００のズーム量を制御する。デジタルスチルカメラ４５０のＡＦ補助光の投光機能とストロボ調光機能は、ストロボユニット（ストロボ発光装置）４２６が司る。デジタルスチルカメラ４５０の水平／垂直方向の振れは、角速度センサ４１７によって検知され、検知された情報は、周知の手ぶれ補正処理や縦位置撮影、横位置撮影の判定等に用いられる。

システム制御部４３０は、デジタルスチルカメラ４５０の全体的動作を制御する。システム制御部４３０の動作に使用される定数、変数プログラム、画像処理用パラメータ等は、メモリ４２０に記憶されている。メモリ４２０は、システム制御部４３０は、ワークメモリとしても使用される。

システム制御部４３０でのプログラムの実行に応じて、文字や画像、音声等によって、動作状態やメッセージが、表示部Ｂ４２１を構成する液晶表示ユニット、スピーカ等によって、撮影者に伝えられる。表示部Ｂ４２１には、例えば、シングルショット／連写撮影、セルフタイマー、圧縮率、記録画素数、記録枚数、残記録可能枚数、シャッタスピード、絞り値、露出補正、電池残量、エラー、外部記憶装置４１２の着脱状態等が表示される。また、表示部Ｂ４２１は、表示内容が変わるときや警告時に電子音を発する。

不揮発性メモリ４２２は、電気的に消去及び記憶が可能なメモリであり、例えば、ＥＥＰＲＯＭが用いられる。レリーズ釦４２３と操作部Ｂ４２５は、システム制御部４３０の各種の動作指示を入力するための操作手段である。レリーズ釦４２３は、スイッチＳＷ１とスイッチＳＷ２の２段階のスイッチを備えている。スイッチＳＷ１は、第１ストロークでオン（ＯＮ）し、これにより、測光や測距を開始する。スイッチＳＷ２は、第２ストロークでオン（ＯＮ）し、これにより、露光動作を開始する。操作部Ｂ４２５の操作により、シングルショット／連写撮影／セルフタイマーの切り替え、マニュアルフォーカス／オートフォーカス切り替え、シャッタスピード、絞り値、露出補正の設定等が可能となっている。なお、操作部Ｂ４２５の操作により連写撮影に設定されている場合には、レリーズ釦４２３のスイッチＳＷ２が押し続けられている間だけ、連写撮影が行われる。

デジタルスチルカメラ４５０の電源スイッチ４２７は、メイン電源をオン／オフ（ＯＮ／ＯＦＦ）するスイッチである。デジタルスチルカメラ４５０の電源４２９となる電池のデジタルスチルカメラ４５０に対する装着の有無、電池の種類、電池残量の検出は、電源制御部４２８によって行われる。即ち、電源制御部４２８は、電池検出部、ＤＣ／ＤＣコンバーター、通電するブロックを切り替えるスイッチ等を備えており、検出結果及びシステム制御部４３０からの指示に基づいてＤＣ／ＤＣコンバーターを制御し、必要な電圧を必要な期間、各部へ供給する。なお、電源４２９としては、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池或いはＡＣアダプタ等が用いられる。

ここで、本発明が目的としている夜景を背景とした人物撮影シーンを適切に撮影するためのストロボ発光画像とストロボ非発光画像の合成について述べる。図６は、夜景を背景とした人物撮影シーンの例を示す図である。図６（ａ）は、感度を低くして、人物が適正な明るさになるようにストロボ装置を発光させて撮影したストロボ発光画像の例である。図６（ｂ）は、感度を高くして、ストロボ装置を発光させずに撮影したストロボ非発光画像の例である。図６（ｃ）は、図６（ａ），（ｂ）の画像を合成した合成画像の例である。

図６（ｂ）のストロボ非発光画像を複数枚撮影し、平均加算にて合成処理を施すことで、高感度撮影により発生するノイズを低減することができる。そこで、図６（ｂ）のストロボ非発光画像を複数枚撮影し、平均加算にて合成画像（「非発光合成画像」という）を作成する。作成した非発光合成画像と図６（ａ）の１枚のストロボ発光画像とを、画素値データの大小関係を比較して合成する。このとき、ストロボ光が照明された人物領域ではストロボ発光画像が使用され、ストロボ光が照明されていない背景領域では、非発光合成画像が使用される。これにより、背景や人物が明るく、しかも、ノイズや手ブレの少ない画像を得ることができる。

このような事態について、人物に照明が当たっているシーン、撮影画像及び合成画像の例を示す図７を参照して説明する。

図７（ａ）は、撮影シーンである夜景シーンを示している。図７（ａ）の夜景シーンでは、人物には、照明（街灯の光）があたっている照明領域と照明の影になっている影領域とが存在している。図７（ｂ）は、低感度で撮影したストロボ発光画像であり、図７（ｃ）は、高感度で撮影したストロボ非発光画像である。図７（ｄ）は、図７（ｂ）のストロボ発光画像と図７（ｃ）のストロボ非発光画像の合成画像である。

図７（ｂ）のストロボ発光画像と図７（ｃ）のストロボ非発光画像の明るさを画素毎に比較すると、人物領域において、元々、照明があたっていた照明領域では、ストロボ非発光画像の方がストロボ画像よりも明るくなる場合がある。また、人物領域において照明の影になっている影領域については、図７（ｃ）のストロボ非発光画像よりも、図７（ｂ）のストロボ発光画像のほうが明るくなる場合がある。

このときに、図７（ｂ），（ｃ）の各画像を、画素毎に明るさの大小関係を比較して、大きいほうの画素値を用いるようにして合成画像を作成すると、図７（ｄ）の合成画像が得られる。この合成画像では、人物領域において照明があたっていない影領域にはストロボ発光画像が用いられ、照明が当たっている照明領域にはストロボ非発光画像が用いられるため違和感のある画像となってしまう。

そこで、本実施形態では、ストロボ発光画像とストロボ非発光画像との差分からストロボ光の影響を示すストロボ照明量を算出して、ストロボ照明量を加味した合成を行っている。そのため、元々、人物に照明があたっているような撮影シーンにおいても適切にストロボ光の影響を考慮することができ、例えば、１人の人物においてストロボ発光画像とストロボ非発光画像とが混在することのない適切な合成結果を得ることができる。

＜デジタルスチルカメラ４５０での画像合成＞
以下、デジタルスチルカメラ４５０での画像合成処理の内容について説明する。本実施形態では、図７（ａ）に示した夜景シーンについて、ストロボ発光を用いた撮影（ストロボ発光撮影）とストロボ発光を用いない撮影（ストロボ非発光撮影）により得られた複数枚の画像を合成する処理について、図２乃至図５を参照して説明する。

図２は、撮影された複数枚の画像を合成する処理を模式的示す図である。図３は、撮影された複数枚の画像を合成する処理のフローチャートであり、図３（ａ）は全体処理のフローを示しており、図３（ｂ）は全体処理のうちの合成処理のフローを示している。

最初に、レリーズ釦４２３のスイッチＳＷ１が押下されると、測光センサ４１９による測光動作が実行される（ステップＳ３０１）。この測光動作により、露光制御部４１４により、以降に連続的に撮影されるストロボ発光撮影の露出条件とストロボ非発光撮影の露出条件とが決定される。なお、ストロボ非発光撮影の撮影条件は、撮影画像が適正な露出となるように、ＩＳＯ感度、絞り、シャッタ秒時が決定される。また、ストロボ発光画像の撮影条件については、本実施形態では、絞りとシャッタ秒時をストロボ非発光画像の撮影条件と同じとし、ＩＳＯ感度をストロボ非発光画像の撮影条件よりも１段低い値とするように感度設定が行われるものとする。但し、ＩＳＯ感度を下げる量は、これに限定されるものではない。

次に、レリーズ釦４２３のスイッチＳＷ２が押下され、ストロボ発光撮影が行われる（ステップＳ３０２）。露出条件が適正な露出よりも１段暗く設定された状態で、ストロボ発光は、主被写体である人物が適正な露出となる発光量で行われる。その結果、ストロボ光が照明される人物は適正な露出で、背景は適正な露出よりも１段暗く撮影される。こうして、図２に示す画像１０１が得られる。

続いて、ストロボ非発光撮影が行われる（ステップＳ３０３）。このストロボ非発光撮影では、ステップＳ３０１で決定された撮影条件に従って、適正な露出となるように撮影が行われ、こうして、図２に示す画像１０２が得られる。その後、ステップＳ３０３と同一の撮影条件にて、２回のストロボ非発光撮影が行われ（ステップＳ３０４，ステップＳ３０５）、図２に示す画像１０３と画像１０４が得られる。こうしてステップＳ３０２〜Ｓ３０５で撮影された４枚の画像は、メモリ４１０に一時的に記憶される。

なお、本実施形態では、ストロボ非発光撮影の回数を３回としたが、これに限定されるものではない。また、最初の撮影をストロボ発光撮影とし、その後にストロボ非発光撮影を行ったが、これらの順序は変更が可能であり、ストロボ非発光撮影の間にストロボ発光撮影を行ってもよいし、ストロボ非発光撮影の後にストロボ発光撮影を行ってもよい。

次に、画像処理部４１３により、メモリ４１０に一時記憶された４枚の画像の合成処理が行われる（ステップＳ３０６）。ステップＳ３０６の合成処理の詳細は、図３（ｂ）のフローチャートに示されている。

合成処理では、先ず、ステップＳ３０２で撮影したストロボ発光画像の画像データ（各画素信号）に対して一律のゲイン量（デジタルゲイン量）を掛ける処理（以下「ゲイン処理」という）を行い、処理された画像信号をメモリ４１０に一時的に記憶する（ステップＳ３１１）。ステップＳ３１１で用いるゲイン量Ｇは、ステップＳ３０１で決定したストロボ発光画像の露出条件とストロボ非発光画像の露出条件の感度差を補うように、下記の［式１］により決定される。

Ｇ＝２＾（ストロボ発光撮影とストロボ非発光撮影の感度差）・・・［式１］

本実施形態では、ステップＳ３０１において、ストロボ発光撮影の感度をストロボ非発光撮影の感度よりも１段低くしているため、［式１］によれば、ゲイン量Ｇは２倍となる。ストロボ発光画像における人物領域は、ストロボ発光により適正な露出となっているため、ゲイン処理後では、背景は適正な露出（ストロボ非発光画像と同じ）となるが、人物は適正な露出よりも明るめの画像となる。図２に示される画像１０５が、ステップＳ３１１のゲイン処理が施された画像を示している。

ステップＳ３１１の後、メモリ４１０に一時記憶された５枚の画像（図２の画像１０１〜１０５）の現像処理が行われる（ステップＳ３１２）。現像処理は、画像処理部４１３で行われ、ホワイトバランス処理、ＲＧＢベイヤー配列の信号をＲＧＢ３プレーン信号に変換するための色補間処理、ガンマ補正処理、彩度補正、色相補正が行われる。こうして、ＹＵＶ（Ｙ：輝度信号、Ｕ：輝度信号と青色成分の差、Ｖ：輝度信号と赤色成分の差）画像が生成され、再度、メモリ４１０に一時的に記憶される。このように全ての画像に対して同じ条件で現像処理を施すことにより、画像間の差分が判定し易くなるため、後に行うストロボ発光画像とストロボ非発光画像の合成処理を行い易くなる。

なお、ステップＳ３１２の現像処理は、ストロボ発光画像であるかストロボ非発光画像であるかを問わず、同一条件で行われる。例えば、ホワイトバランス処理に使用されるホワイトバランス補正係数は、ストロボ発光画像とストロボ非発光画像の双方について、ストロボ発光画像のストロボ光が無彩色になるようなホワイトバランス係数を用いる。これにより、主被写体である人物の色合いが適切になる。但し、ホワイトバランス係数についてはこれに限定されるものではなく、どのような係数を用いてもよい。

ステップＳ３１２の終了後、撮影された４枚の画像（画像１０１〜１０４）間で発生した位置ずれ補正（以下「ブレ補正」という）処理が行われる（ステップＳ３１３）。ブレ補正処理は、位置合わせ基準画像に対して、位置合わせ対象画像の位置ずれ量を検出し、検出された位置ずれ量に応じて位置合わせ対象画像の位置ずれ量を補正することにより行われる。

本実施形態では、１枚目に撮影されたストロボ発光画像を位置合わせ基準画像とし、２枚目以降のストロボ非発光画像を位置合わせ対象画像とした例で説明する。なお、複数枚のストロボ非発光画像のうちの１枚を位置合わせ基準画像とし、残りのストロボ非発光画像とストロボ発光画像を位置合わせ対象画像としてもよいが、ストロボ発光画像を１枚目に撮影すると、主被写体に対するシャッタチャンスを捉え易くなる。

ブレ補正処理では、先ず、位置合わせ精度を向上するために、位置合わせ基準画像と位置合わせ対象画像の明るさを揃える必要があるため、位置合わせに用いるストロボ発光画像としては、ステップＳ３１１でデジタルゲイン処理が施された画像を用いる。また、ストロボ発光画像とストロボ非発光画像とでは、ストロボ発光の光量分だけ明るさが異なるため、位置合わせ精度が低下する。そこで、ストロボ光が照明している領域を位置ずれ量の検出対象から除外してから位置合わせ処理を行う。

ストロボ光が照明されている領域の検出では、先ず、デジタルゲイン処理後のストロボ発光画像とストロボ非発光画像のそれぞれをｎ×ｍ（ｎ，ｍ：自然数）の複数のブロックに分割する。本実施形態では、ｎ＝ｍ＝２０とする。そして、各ブロックの明るさの差が所定値以上であるブロックをストロボ光が照明している領域と判定する。

次いで、位置合わせ基準画像と位置合わせ対象画像のそれぞれを複数のブロック（以下「エッジ検出用ブロック」という）に分割する。このエッジ検出用ブロックについてのブロック分割は、先のｎ×ｍのブロック分割とは異なり、本実施形態では、４画素×４画素を１ブロックとする。そして、位置合わせ対象画像のエッジ検出用ブロック毎にエッジ検出処理を行う。エッジ検出方法としては、画像にローパスフィルタを掛けて低周波画像を作成し、画像から低周波画像を減算することでエッジを検出する方法、又は、公知の微分フィルタやプリューウィットフィルタ等を用いる方法を使用することができる。

次に、位置合わせ基準画像のエッジ検出用ブロックの中でエッジ検出ができた領域であり、かつ、ストロボ光が照明していない領域（以下「位置ずれ量検出基準ブロック」という）に対して、位置合わせ対象画像の位置ずれ量検出を行うことにより、位置ずれ検出を行う。エッジ検出ができたエッジ検出用ブロック領域に対してのみ、位置ずれ量検出を行うことで、位置ずれ検出の精度向上を図ることができる。

位置ずれ量検出では、先ず、位置合わせ基準画像と位置合わせ対象画像について、位置ずれ量検出対象ブロック領域内の全画素の画素値（輝度）の差の絶対値の総和（ＳＡＤ：Sum of Absolute Difference）を算出する。そして、算出した総和（ＳＡＤ）が最も小さくなるような移動量と移動方向を求め、この移動量と移動方向をそのエッジ検出用ブロックの動きベクトルとする。但し、位置ずれ量検出方法は、これに限定されるものではない。

ここで、位置ずれ量検出処理について、図４を参照して具体的に説明する。図４は、位置合わせ処理を模式的に説明する図である。図４（ａ）は、位置合わせ基準画像の位置ずれ量検出基準ブロックの画素値を示している。また、図４（ｂ）は、位置合わせ対象画像の画素値を示している。

この場合、画素値の差の絶対値が最も小さくなる移動量は、（ｘ，ｙ）＝（１，２）と求まる（図４（ｂ）の左上が基準となる（ｘ，ｙ）＝（０，０））。同様の処理を画像の全てのエッジ検出用ブロック領域に対して行い、全てのエッジ検出用ブロック領域の動きベクトルを求める。そして、アフィン係数を算出する。アフィン係数とは、線形変換と平行移動を組み合わせたアフィン変換に用いる行列であり、以下の［式２］で表される。

［式２］において、補正前画像の座標が（ｘ，ｙ）、補正後画像の座標が（ｘ´，ｙ´）であり、３×３行列がアフィン係数である。エッジ検出用ブロック領域から求めた動きベクトルを用いて、アフィン係数を求める。なお、上記の位置ずれ量検出方法に限定されることなく、周波数解析から２枚の画像の位置ずれ量を検出する等、他の様々な周知の方法を用いることができる。

そして、位置ずれ情報であるアフィン係数に基づいて、位置合わせ対象画像を補正（アフィン変換）する。この処理をストロボ非発光画像のそれぞれに対して実行することで、ブレ補正を行うことができる。

ステップＳ３１３の終了後、ステップＳ３１１のゲイン処理後の１枚のストロボ発光画像とステップＳ３１３のブレ補正処理後の３枚のストロボ非発光画像について、画素毎に平均値を算出し、平均化画像を作成する（ステップＳ３１４）。図１に示される画像１０６が、ステップＳ３１４で作成される平均化画像を示している。

このように複数枚の画像を平均化することで、背景の明るさを変えずにノイズの少ない画像を得ることができる。また、同じ明るさで撮影された複数枚のストロボ非発光画像だけを合成する場合よりも、本実施形態のようにデジタルゲイン処理されたストロボ発光画像を含めて合成する方が、ノイズ低減効果を更に高めることができる。

ステップＳ３１４の合成画像では、ストロボ発光画像とストロボ非発光画像という明るさの異なる画像を平均化しているため、人物領域については、この時点では適切な明るさになっていない。そこで、次に、ストロボ発光画像において画素毎にストロボ光の影響を受けている量（以下「ストロボ照明量」という）を算出する（ステップＳ３１５）。

ステップＳ３１５のストロボ照明量算出処理では、先ず、ステップＳ３１１でデジタルゲイン処理されたストロボ発光画像とステップＳ３１３でブレ補正を行った２回目の撮影で得られたストロボ非発光画像それぞれにローパスフィルタを掛け、低周波画像を得る。こうしてローパスフィルタを掛けることで、ノイズによるストロボ照明量の誤判定を軽減することができる。また、ストロボ発光撮影に最も近い２枚目の撮影画像と比較することで、主被写体である人物のブレ等の影響を最小限に抑えることができる。

そして、この２枚の画像に対して画素毎に輝度信号Ｙの差分を抽出し、次に、予め準備された図５に示す輝度差に対するストロボ照明量テーブルを参照して、画素毎のストロボ照明量を算出する。図５のストロボ照明量テーブルは、ストロボ照明量は０％から１００％の値をとり、輝度差が大きい画素であるほど、ストロボ照明量が多いことを示している。ここで、ノイズの影響によって輝度差が生じることがあるため、輝度差が少ない場合にはストロボ照明量が少なく算出されるようにすることで、ノイズの影響によるストロボ照明量の誤判定を軽減している。

なお、本実施形態では、２枚の画像の輝度差からストロボ照明量を算出しているが、更に色差Ｕ，Ｖの差分から算出する構成としてもよい。また、被写体の動きによるずれや手振れ補正のこりによってストロボ照明に依らず輝度差が大きくなってしまう領域が有る場合がある。これに対応するために輝度差を非発光画像の輝度値で割った値を元にテーブルを作成してもよい。

こうして画素毎に算出されたストロボ照明量は、メモリ４１０に記憶される。図１に示す画像１０７は、ステップＳ３１５でのストロボ照明量算出処理の結果を模式的に示すものであり、白い領域（図左側の該当照明を除く）であるほど、ストロボ照明量が大きいことを示している。

次に、ステップＳ３０２で撮影したストロボ発光画像（画像１０１）とステップＳ３１４で合成した合成画像（画像１０６）を、ステップＳ３１５で算出した画素毎のストロボ照明量を加味して、以下の［式３］により、画素毎に合成する（ステップＳ３１６）。

合成後信号＝画像１０１×ストロボ照明量＋画像１０６×（１００％−ストロボ照明量％）・・・［式３］

これにより、ステップＳ３０６の合成処理が終了する。図１に示す画像１０８は、ステップＳ３１６（ステップＳ３０６）により得られる最終的な合成画像を示している。最後に、合成画像（画像１０８）の画像データを外部記憶装置４１２に記憶して（ステップＳ３０７）、一連の処理は終了となる。

上記説明の通り、本実施形態では、ステップＳ３１５において、ステップＳ３０１で決定したストロボ発光撮影とストロボ非発光撮影の感度差によって発生する明るさの差をデジタルゲインによって除外してから、ストロボ光の影響を示すストロボ照明量を算出している。そのため、元々、人物に照明があたっているような撮影シーンにおいても適切にストロボ光の影響を考慮することができ、例えば、１人の人物においてストロボ発光画像とストロボ非発光画像とが混在することのない適切な合成結果を得ることができる。

なお、本実施形態では、ステップＳ３０３〜Ｓ３０５で３枚のストロボ非発光画像を撮影しているが、ストロボ非発光画像の撮影枚数を増やすことにより、ステップＳ３１３の合成結果のノイズ低減効果を高めることができる。但し、ストロボ非発光画像の撮影枚数を増やすと、背景領域のノイズ低減効果は高められるが、最終的な合成結果には１枚のストロボ発光画像が使用されるため、ストロボ光が照射された人物領域については、ノイズ低減効果はない。その結果、背景領域と人物領域とでノイズ感の異なる画像となってしまう。この問題を回避するためには、例えば、ストロボ非発光画像の撮影枚数（合成枚数）が多くなるにしたがって、ステップＳ３０１で設定するストロボ発光撮影の感度を下げるようにするとよい。

また、本実施形態では、ステップＳ３１５において、ノイズの影響を軽減するために図５のストロボ照明量テーブルを用いてストロボ照明量を算出したが、別の方法を用いることもできる。例えば、ステップＳ３１１でのゲイン処理のゲイン倍率を、上記［式１］で算出した値よりも低めに設定する。そして、ステップＳ３１６の［式３］を用いずに、ステップＳ３０２で撮影したストロボ発光画像（画像１０１）とステップＳ３１４で合成した合成画像（画像１０６）の画素毎に明るい方の信号を選択し、最終的な合成画像を作成してもよい。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

４０３ 撮像素子
４１３ 画像処理部
４１４ 露光制御部
４２６ ストロボユニット
４３０ システム制御部
４５０ デジタルスチルカメラ（画像処理装置）

Claims (17)

1. 発光装置による発光を伴う第１の撮影による第１の画像と前記発光装置による発光を伴わない第２の撮影による複数の第２の画像とを連続的に撮影する撮影手段と、
   前記第１の撮影の感度を前記第２の撮影の感度よりも低く設定する感度設定手段と、
   前記第１の画像の画像データに対して、前記第１の撮影の感度と前記第２の撮影の感度との感度差に応じたゲインを掛けるゲイン処理を行うゲイン処理手段と、
   前記ゲイン処理手段によりゲイン処理された第１の画像と前記複数の第２の画像とに基づいて平均化画像を作成する平均化手段と、
   前記撮影手段により撮影された第１の画像と前記平均化手段により作成された平均化画像とを合成して合成画像を作成する合成手段と、を備えることを特徴とする画像処理装置。
2. 前記ゲイン処理手段は、前記感度設定手段により設定された前記第１の撮影の感度と前記第２の撮影の感度との感度差を補うゲイン量を前記第１の画像に掛けることを特徴とする請求項１記載の画像処理装置。
3. 前記感度設定手段は、前記第２の画像の撮影数が多くなるにしたがって前記第１の撮影における感度を低く設定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記複数の第２の画像の前記第１の画像に対する位置ずれ量を検出し、前記検出した位置ずれ量に基づいて前記複数の第２の画像の位置ずれを補正する位置ずれ補正手段を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記位置ずれ補正手段は、前記複数の第２の画像の前記第１の画像に対する位置ずれ量を検出する際に、前記第１の画像として前記ゲイン処理手段によりゲイン処理された第１の画像を用いることを特徴とする請求項４に記載の画像処理装置。
6. 前記第２の画像に対する前記第１の画像における照明量を決定する照明量決定手段を更に備え、
   前記合成手段は、前記照明量決定手段が決定した照明量に基づいて前記合成画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記照明量決定手段は、前記第１の画像と前記第２の画像との輝度値の差に基づいて前記照明量を決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記合成手段は、前記第１の画像をストロボ光が照射された領域に用い、前記平均化画像をストロボ光が照射されていない領域に用いて、前記合成画像を合成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記平均化手段は、前記ゲイン処理手段によりゲイン処理された第１の画像と前記複数の第２の画像について画素値の平均値を画素毎に算出し、算出した画素値の平均値に基づいて前記平均化画像を作成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
10. 発光装置による発光を伴う第１の撮影による第１の画像と前記発光装置による発光を伴わない第２の撮影による複数の第２の画像とを連続的に撮影する撮影手段と、
    前記第１の撮影の感度を前記第２の撮影の感度よりも低く設定する感度設定手段と、
    前記第１の画像の画像データに対して、前記第１の撮影の感度と前記第２の撮影の感度との感度差に応じたゲインを掛けるゲイン処理を行うゲイン処理手段と、
    前記ゲイン処理手段によりゲイン処理された第１の画像と前記複数の第２の画像とに基づいて平均化画像を作成する平均化手段と、
    前記撮影手段により撮影された第１の画像の画素値と前記平均化手段により作成された平均化画像の画素値とを画素毎に比較して明るい方の画素値を選択し、選択された画素値に基づいて合成画像を作成する合成手段と、を備えることを特徴とする画像処理装置。
11. 発光装置を備える画像処理装置で実行される画像処理方法であって、
    前記発光装置による発光を伴う第１の撮影の感度を前記発光装置による発光を伴わない第２の撮影の感度よりも低く設定する感度設定ステップと、
    前記感度設定ステップで設定された感度で、前記第１の撮影による第１の画像と前記第２の撮影による複数の第２の画像とを連続的に撮影する撮影ステップと、
    前記第１の画像の各画素値に対して、前記第１の撮影の感度と前記第２の撮影の感度との感度差に応じたゲインを掛けるゲイン処理を行うゲイン処理ステップと、
    前記ゲイン処理ステップでゲイン処理された第１の画像と前記複数の第２の画像とに基づいて平均化画像を作成する平均化ステップと、
    前記撮影ステップで撮影された第１の画像と前記平均化ステップで作成された平均化画像とを画素毎に合成して合成画像を作成する合成ステップと、を備えることを特徴とする画像処理方法。
12. 発光装置を備える画像処理装置で実行される画像処理方法であって、
    前記発光装置による発光を伴う第１の撮影の感度を前記発光装置による発光を伴わない第２の撮影の感度よりも低く設定する感度設定ステップと、
    前記感度設定ステップで設定された感度で、前記第１の撮影による第１の画像と前記第２の撮影による複数の第２の画像とを連続的に撮影する撮影ステップと、
    前記第１の画像の各画素値に対して、前記第１の撮影の感度と前記第２の撮影の感度との感度差に応じたゲインを掛けるゲイン処理を行うゲイン処理ステップと、
    前記ゲイン処理ステップでゲイン処理された第１の画像と前記複数の第２の画像とに基づいて平均化画像を作成する平均化ステップと、
    前記撮影ステップで撮影された第１の画像の画素値と前記平均化ステップで作成された平均化画像の画素値とを画素毎に比較して明るい方の画素値を選択し、選択された画素値に基づいて合成画像を作成する合成ステップと、を備えることを特徴とする画像処理方法。
13. 発光装置による発光を伴う第１の撮影による第１の画像と前記発光装置による発光を伴わない第２の撮影による複数の第２の画像とを連続的に撮影する撮影手段と、
    前記第１の撮影の感度を前記第２の撮影の感度よりも低く設定する感度設定手段と、
    前記第１の画像の画像データに対して、前記第１の撮影の感度と前記第２の撮影の感度との感度差に応じたゲインを掛けるゲイン処理を行うゲイン処理手段と、
    前記ゲイン処理手段によりゲイン処理された第１の画像と前記複数の第２の画像とに基づいて加算画像を作成する加算手段と、
    前記撮影手段により撮影された第１の画像と前記加算手段により作成された加算画像とを合成して合成画像を作成する合成手段と、を備えることを特徴とする画像処理装置。
14. 前記第２の画像に対する前記第１の画像における照明量を決定する照明量決定手段を更に備え、
    前記合成手段は、前記照明量決定手段が決定した照明量に基づいて前記合成画像を生成することを特徴とする請求項１３に記載の画像処理装置。
15. 前記合成手段は、前記第１の画像をストロボ光が照射された領域に用い、前記加算画像をストロボ光が照射されていない領域に用いて、前記合成画像を合成することを特徴とする請求項１３又は１４に記載の画像処理装置。
16. 発光装置を備える画像処理装置で実行される画像処理方法であって、
    前記発光装置による発光を伴う第１の撮影の感度を前記発光装置による発光を伴わない第２の撮影の感度よりも低く設定する感度設定ステップと、
    前記感度設定ステップで設定された感度で、前記第１の撮影による第１の画像と前記第２の撮影による複数の第２の画像とを連続的に撮影する撮影ステップと、
    前記第１の画像の各画素値に対して、前記第１の撮影の感度と前記第２の撮影の感度との感度差に応じたゲインを掛けるゲイン処理を行うゲイン処理ステップと、
    前記ゲイン処理ステップでゲイン処理された第１の画像と前記複数の第２の画像とに基づいて加算画像を作成する加算ステップと、
    前記撮影ステップで撮影された第１の画像と前記加算ステップで作成された加算画像とを画素毎に合成して合成画像を作成する合成ステップと、を備えることを特徴とする画像処理方法。
17. コンピュータに、請求項１１、１２及び１６のいずれか１項に記載の画像処理装置で実行される画像処理方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images