JP5146498B2 - 画像合成装置、画像合成方法、及びプログラム - Google Patents

Description

本発明は、画像合成装置、画像合成方法、及びプログラムに関する。

従来より、連写された画像を画素加算合成することにより、夜景等、光量の少ない撮影環境であっても、記録するのに十分な明るさを有する画像を生成する技術が知られている。
また、特許文献１に記載されるように、カメラをユーザが手に持って撮影する手持ち撮影の際、撮像画角のブレを補正し合成する画像合成技術も知られている。

特開２００６−１４８５５０号公報

しかしながら上記の画像合成技術の場合、効果を奏するのは撮影画角に対し主要被写体が動いていない、つまり動体が存在しないケースに限られる。
すなわち、動体が存在しないケースでは、手持ち撮影による撮像画角のブレを補正し合成することにより、撮像画角全体について手ブレの影響が少ない画像を取得することが可能となる。しかし、動体が存在するケースではこの限りではなく、上記画像合成技術を用いても動体の残像が残る画像が取得されることになる。

本発明は、かかる従来の課題に鑑みてなされたものであり、撮影画角に動体が存在する場合においても動体の残像の影響が少ない合成画像を得ることができるようにすることを目的とするものである。

前記課題を解決するために請求項１記載の発明は、時間的に連続する複数の画像を取得する画像取得手段と、この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する基準画像選択手段と、前記画像取得手段によって取得された複数の画像を画素加算して一つの画像を生成する画像生成手段と、前記基準画像選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像との画素毎の差分を、前記他の画像毎に取得する差分取得手段と、前記差分取得手段によって取得された前記他の画像毎の画素毎の差分において、最大の差分値を有するものを画素毎に選択する選択手段と、この選択手段によって選択された画素毎の最大の差分値を用いて透過強度を示すマップを生成し、これを用いて前記基準画像と前記一つの画像とをブレンディングするブレンディング手段と、を備えたことを特徴とする。

また、請求項２記載の発明は、請求項１記載の発明において、前記ブレンディング手段は、前記差分値を複数の画像の数で平均化したものに更にコントラストを上げる処理を実行することを特徴とする。

また、請求項３記載の発明は、請求項１又は２記載の発明において、前記画像取得手段は、撮像手段を含むことを特徴とする。

また、請求項４記載の発明は、請求項１乃至３の何れか記載の発明において、前記画像とは、略同じ撮像画角で取得されたものであることを特徴とする。

また、請求項５記載の発明は、時間的に連続する複数の画像を取得する画像取得ステップと、この画像取得ステップによって取得された複数の画像から、合成の基準となる基準画像を選択する基準画像選択ステップと、前記画像取得ステップによって取得された複数の画像を画素加算して一つの画像を生成する画像生成ステップと、前記基準画像選択ステップによって選択された基準画像と前記画像取得ステップによって取得された他の画像との画素毎の差分を、前記他の画像毎に取得する差分取得ステップと、前記差分取得ステップによって取得された前記他の画像毎の画素毎の差分において、最大の差分値を有するものを画素毎に選択する選択ステップと、この選択ステップによって選択された画素毎の最大の差分値を用いて透過強度を示すマップを生成し、これを用いて前記基準画像と前記一つの画像とをブレンディングするブレンディングステップと、を含むことを特徴とする。

また、請求項６記載の発明は、装置が有するコンピュータを、時間的に連続する複数の画像を取得する画像取得手段、この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する基準画像選択手段、前記画像取得手段によって取得された複数の画像を画素加算して一つの画像を生成する画像生成手段、前記基準画像選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像との画素毎の差分を、前記他の画像毎に取得する差分取得手段、前記差分取得手段によって取得された前記他の画像毎の画素毎の差分において、最大の差分値を有するものを画素毎に選択する選択手段、この選択手段によって選択された画素毎の最大の差分値を用いて透過強度を示すマップを生成し、これを用いて前記基準画像と前記一つの画像とをブレンディングするブレンディング手段、として機能させることを特徴とする。

本発明によれば、撮影画角に動体が存在する場合においても動体の残像の影響が少ない合成画像を得ることができる。

本発明の一実施の形態を適用した撮像装置の回路ブロック図である。 同撮像装置における処理手順を示すフローチャートである。 動体判定・ブレンディング処理の処理手順を示すフローチャートである。 連写された画像の一例を示す図である。 （ａ）は平滑化処理による処理結果を示す図であり、（ｂ）は強調処理により処理結果を示す図である。 （ａ）は加算合成による合成画像を示し、（ｂ）は本実施の形態による合成画像を示す。

以下、本発明の一実施の形態を図に従って説明する。図１は、本発明の一実施の形態に係る画像処理装置を備える撮像装置の回路構成図である。この撮像装置は、撮像部１、駆動制御部２、ＣＤＳ／ＡＤＣ３、キー入力部４、表示部５、画像記録部６、プログラムメモリ７、ＲＡＭ８、制御部９、画像処理部１０を有している。これらは、バスラインを介して接続されている。キー入力部４は撮影者の記録指示を検出するためのシャッターキー４１を備え、画像処理部１０は合成部１１を備える。

同図において撮像部１は、ＣＭＯＳ等のイメージセンサ、このイメージセンサ上に設けられたＲＧＢのカラーフィルタ、及び、駆動制御部２からの制御により、光の強度を電荷の蓄積として一定時間保持し、ＣＤＳ／ＡＤＣ３にアナログの撮像信号としてこれらを出力するドライバを内蔵する。そして、シャッターキー４１、制御部９、駆動制御部２を経由した撮影者の撮影指示を検出することで、複数の画像（カラー画像）を取得する。

ＣＤＳ／ＡＤＣ３は、撮像部１から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路であって、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）等から構成される。なお、ゲイン調整アンプの調整に関わる制御についても、駆動制御部２からの指示に基づき行われる。このため、露光条件（シャッタースピード、若しくは絞り値）を同じくして複数枚の画像を取得しても、ＲＧＢのゲイン調整アンプや画像の色味を順次変えることによる条件の異なる複数の画像を生成することができる。

尚、本実施の形態においては、駆動制御部２がゲイン調整アンプに関わる制御を行なうようにしたが、これに限らない。例えば上記の制御は制御部９で行なうようにしてもよい。

キー入力部４は、上述のシャッターキー４１の他、本発明に係る画像の取得・記録を目的すとする撮影モードへの切り換え、表示の切り換え等を検出するための各種キーを備える。

表示部５は、合成された画像を表示する機能を有する。画像記録部６は、本発明に係る合成処理が実行された後、ＪＰＥＧ方式で符号化された画像データ（画像ファイル）を記憶・格納する。プログラムメモリ７は、制御部９、画像処理部１０にて実行されるプログラムを記憶し、このプログラムは必要に応じて制御部９が読み出す。ＲＡＭ８は、各処理により発生する処理中のデータを一時的に保持する機能を有する。制御部９は、この撮像装置全体の処理動作を制御する。画像処理部１０は、画像データの符号化／復号化処理の他、本発明の特徴的構成に対応する合成部１１を備える。

すなわち合成部１１は、連写画像から選択された１枚の基準画像と、連写画像を加算合成した合成画像との合成を実行するとともに、この合成画像について後述する動体判定マップを差分領域に対応する透過強度マップ（αマップ）として用いて動体による残像を少なくさせるものである。

次に、本実施の形態の動作について説明する。ユーザがキー入力部４に設けられているモードボタンを操作して、本実施形態に係る撮影モードを設定すると、制御部９がプログラムメモリ７からプログラムを読み出して、図２のフローチャートに示すように、処理を開始する。

すなわち、制御部９はシャッターキー４１の押下が検出されたか否かを判断する（ステップＳ１０１）。シャッターキー４１の押下が検出されたならば、駆動制御部２に指示してＮ枚の連写を実行させる（ステップＳ１０２）。引き続き、連写により得られた画像データに基づき、輝度色差の色空間情報で表現されたＹＵＶ画像からなる連写画像を生成してＲＡＭ８に保存する（ステップＳ１０３）。

したがって、連写枚数Ｎが例えば６枚であったとすると、図４に示すように、ＹＵＶ画像からなる６枚の連写画像Ｐ１〜Ｐ６がＲＡＭ８に保存される。図４において矢印ｔは、時間軸であり、連写画像Ｐ１〜Ｐ６は、撮像画角全体をしめす背景Ｂ内において動体としての手Ｈを上下に振っている状態で、略同じ撮像画角で連写したものである。連写画像Ｐ１〜Ｐ６において、背景Ｂは同一であるが、Ｐ１→Ｐ２→Ｐ３と時間ｔが進むに従って手Ｈの像は背景Ｂ内において相対的に上の位置にあり、画像Ｐ３の手Ｈの像は最も上に位置する。また、Ｐ３→Ｐ４→Ｐ５→Ｐ６と時間ｔが進むに従って手Ｈの像は背景Ｂ内において相対的に下の位置にあり、画像Ｐ６の手Ｈの像は最も下に位置する。

なお、これら連写画像Ｐ１〜Ｐ６の連写に際しては、手ブレによる画像のブレは公知の技術（ＣＣＤシフトやレンズシフトによる画角補正技術）により補正されているものとする。しかし、各連写画像Ｐ１〜Ｐ６中の手Ｈの像は動体ブレの要因とされる。

次に、これら連写画像から基準画像を選択する（ステップＳ１０４）。この基準画像の選択に際しては、連写画像の中で動体の動き量が最も小さい画像選択する。したがって、連写画像Ｐ１〜Ｐ６において、動体（手Ｈの像）の動き量が最も小さい画像は下方向から上方向に動いた手Ｈの像が上方向から下方向に変化する分岐点の画像、つまり手Ｈの像の位置が背景Ｂに対し相対的に最も上にある連写画像Ｐ３である。よって、この例では連写画像Ｐ３を基準画像として選択する。

しかる後に、この選択した基準画像の画像データをＬＰＦ（ローパスフィルタ）にて透過処理する等により、ノイズ低減処理する（ステップＳ１０５）。そして、このノイズ低減処理した基準画像のＹＵＶ画像データをＲＡＭ８に一旦保存する（ステップＳ１０６）。したがって、このステップＳ１０５及びステップＳ１０６での処理により、図４に示した例においては、連写画像Ｐ３の画像データがノイズ低減処理されて、そのＹＵＶ画像データがＲＡＭ８に保存されることとなる。

また、連写された複数枚の画像に関しては、ノイズ低減し合成する（ステップＳ１０７）。つまり、複数枚の連写画像のＹＵＶ画像データを画素毎に加算平均すれば、ノイズ低減しつつ合成を行うことができる。複数枚Ｎの連写画像のＹＵＶ画像データ加算平均の式［１］〜［３］を下記に示す。尚、Y_result、 U_result、 及び、V_resultは、画素の輝度色差パラメータ夫々の合成後の情報を示すものである。
Y_result = (Y[0] + Y[1] + ・・・ + Y [N]) / N ・・・式［１］
U_result = (U[0] + U[1] + ・・・ + U [N]) / N ・・・式［２］
V_result = (V[0] + V[1] + ・・・ + V [N]) / N ・・・式［３］

無論、複数枚の連写画像を用いたノイズ低減効果のある合成方法であれば、加算平均に限らず他の処理方法であってもよい。そして、このノイズ低減した全連写画像の合成画像のＹＵＶ画像データをＲＡＭ８に一旦保存する（ステップＳ１０８）。

したがって、このステップＳ１０８の処理を終了した時点において、ＲＡＭ８には下記の画像データが一旦保存されることとなる。
（１）各連写画像のＹＵＶ画像データ
（２）ノイズ低減処理後の基準画像のＹＵＶ画像データ
（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ

そして、前記（２）基準画像のＹＵＶ画像データと、（３）合成画像のＹＵＶ画像データとを合成するための処理を次ステップＳ１０９の動体判定・αブレンディング処理を含ませて行う。

図３は、動体判定・αブレンディング処理（ステップＳ１０９）の処理手順を示すフローチャートである。なお、この図３に示すフローチャートの説明に際しては、下記の式、符号あるいは関数を用いる。
Y_Base_Nr, U_Base_Nr, V_Base_Nr ：上記（２）のノイズ低減後基準画像データのＹＵＶ各パラメータ
Y[n], U[n], V[n] ：n枚目の画像データのＹＵＶ各パラメータ
N ：合成枚数
fMax() ：最大値算出関数
fLpf() ：平滑化関数
fEmphasis() ：マップ強調関数

図３のフローチャートにおいて、制御部９はノイズ低減処理後の基準画像のＹＵＶ画像データ（２）と、各連写画像のＹＵＶ画像データ（１）との差分絶対値を、下記式［４］〜［６］に示すように、各連写画像のＹＵＶ画像データ（１）の画素毎に求める（ステップＳ２０１）。
つまり、
Diff_Y[n] = |Y_base_Nr −Y[n]| ・・・式［４］ // Yの差分絶対値
Diff_U[n] = |U_base_Nr −U[n]| ・・・式［５］ // Uの差分絶対値
Diff_V[n] = |V_base_Nr −V[n]| ・・・式［６］ // Vの差分絶対値
を各連写画像の画素毎に求める。

そして、差分が大きいほど、被写体が動いた可能性が高い領域であるといえるから、下記式［７］に示すように差分が最大のもの（連写画像の対応する画素毎に差分が最大のもの）を選択する（ステップＳ２０２）。
Diff[n] = fMax(Diff_Y[n], Diff_U[n], Diff_V[n]) ・・・式［７］

次に、下記式［８］で示すように、基準画像を除く各連写画像の最大差分を平均化する処理を実行する（ステップＳ２０３）。
Ave_Diff = (Diff[0] + Diff[1] + ・・・ + Diff[N]) / N-1 ・・・式［８］

更に、下記式［９］で示すように、平滑化処理を実行する（ステップＳ２０４）。
Ave_Diff_Lpf = fLpf(Ave_Diff) ・・・式［９］
このステップＳ２０４での平滑化処理により、図５（ａ）に示すように、動体判定マップＭが生成されることとなる。この動体判定マップＭにおいて、斜線で示した部分は、α＝０であって全透過させる領域であり、白抜き部分は、α＝２５５であって不透過とする領域である。

引き続き、下記式［１０］で示すように、強調処理を行って前記動体判定マップＭのコントラストをアップさせる（ステップＳ２０５）。
Map_Move = fEmphasis (Ave_Diff_Lpf) ・・・式［１０］
このステップＳ２０５での平滑化処理により、図５（ｂ）に示すように、動体判定マップＭにおいて動体の手Ｈの像が重なる領域のコントラストがアップされる。

そして、最終的にこの図５（ｂ）に示した動体判定マップＭ（(Map_ Move [0 ~ 255]： 0＝動体なし)をαマップとして用いて、前述した
（２）ノイズ低減処理後の基準画像のＹＵＶ画像データ
（３）ノイズ低減処理後の合成画像のＹＵＶ画像データ
を合成する（ステップＳ２０６）。
合成された各画素のＹＵＶの各パラメータ（Ｙ＿ｒｅｓｕｌｔ，Ｕ＿ｒｅｓｕｌｔ，Ｖ＿ｒｅｓｕｌｔ）は下記式［１１］〜［１３］で表現される。
Y_result = (Y_Nr_Mix ×(255−Map_Move) + Y_Base_Nr × Map_ Move) / 255
・・・式［１１］
U_result = (U_Nr_Mix ×(255−Map_Move) + U _Base_Nr × Map_ Move) / 255
・・・式［１２］
V_result = (V_Nr_Mix ×(255−Map_Move) + V _Base_Nr × Map_ Move) / 255
・・・式［１３］
これにより、図６（ｂ）に示すように、背景Ｂと手Ｈとからなる合成画像ＰＭを表すＹＵＶ画像データが生成されることとなる。

ここで、図６（ａ）は、連写された画像を単に平均加算処理した合成画像ＰＮである。このように、連写された画像を単に平均加算処理した合成画像ＰＮにあっては、動体像である手Ｈの像に大きなブレが生じてしまう。これに対し、本実施の形態によれば、手Ｈの像が動いている場合においても、図６（ｂ）に示すように、動体ブレの少ない合成画像ＰＭを得ることができる。

しかも前述のように、ステップＳ２０４で平滑化処理を行うことから、合成による動体（手Ｈ）と背景との境界線をより自然なものにすることができる。

また、前述のステップＳ２０５では、マップＭのコントラストを上げる処理を実行したことから、合成処理における被写体ブレの残像（ゴースト）を減少させることもできる。

以上のようにして、合成画像ＰＭを表すＹＵＶ画像データを生成することにより、図２のフローチャートにおける動体判定・ブレンディング処理を完了したならば、完成画像である合成画像ＰＭのＹＵＶ画像データを、ＪＰＥＧ方式で符号化しファイル化して、画像記録部６に記録保存し（ステップＳ１１０）、処理を終了する。

なお、本実施の形態においては、ＹＵＶ画像データを用いた場合を示したが、ＲＧＢ画像データを用いるようにしてもよい。この場合、ＲＧＢそれぞれについて、同様に差分二乗を算出する。

１ 撮像部
２ 駆動制御部
３ ＣＤＳ／ＡＤＣ
４ キー入力部
５ 表示部
６ 画像記録部
７ プログラムメモリ
８ ＲＡＭ
９ 制御部
１０ 画像処理部
１１ 合成部
４１ シャッターキー

Claims (6)

1. 時間的に連続する複数の画像を取得する画像取得手段と、
   この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する基準画像選択手段と、
   前記画像取得手段によって取得された複数の画像を画素加算して一つの画像を生成する画像生成手段と、
   前記基準画像選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像との画素毎の差分を、前記他の画像毎に取得する差分取得手段と、
   前記差分取得手段によって取得された前記他の画像毎の画素毎の差分において、最大の差分値を有するものを画素毎に選択する選択手段と、
   この選択手段によって選択された画素毎の最大の差分値を用いて透過強度を示すマップを生成し、これを用いて前記基準画像と前記一つの画像とをブレンディングするブレンディング手段と、
   を備えたことを特徴とする画像合成装置。
2. 前記ブレンディング手段は、前記差分値を複数の画像の数で平均化したものに更にコントラストを上げる処理を実行することを特徴とする請求項１記載の画像合成装置。
3. 前記画像取得手段は、撮像手段を含むことを特徴とする請求項１又は２記載の画像合成装置。
4. 前記画像とは、略同じ撮像画角で取得されたものであることを特徴とする請求項１乃至３の何れか記載の画像合成装置。
5. 時間的に連続する複数の画像を取得する画像取得ステップと、
   この画像取得ステップによって取得された複数の画像から、合成の基準となる基準画像を選択する基準画像選択ステップと、
   前記画像取得ステップによって取得された複数の画像を画素加算して一つの画像を生成する画像生成ステップと、
   前記基準画像選択ステップによって選択された基準画像と前記画像取得ステップによって取得された他の画像との画素毎の差分を、前記他の画像毎に取得する差分取得ステップと、
   前記差分取得ステップによって取得された前記他の画像毎の画素毎の差分において、最大の差分値を有するものを画素毎に選択する選択ステップと、
   この選択ステップによって選択された画素毎の最大の差分値を用いて透過強度を示すマップを生成し、これを用いて前記基準画像と前記一つの画像とをブレンディングするブレンディングステップと、
   を含むことを特徴とする画像合成方法。
6. 装置が有するコンピュータを、
   時間的に連続する複数の画像を取得する画像取得手段、
   この画像取得手段によって取得された複数の画像から、合成の基準となる基準画像を選択する基準画像選択手段、
   前記画像取得手段によって取得された複数の画像を画素加算して一つの画像を生成する画像生成手段、
   前記基準画像選択手段によって選択された基準画像と前記画像取得手段によって取得された他の画像との画素毎の差分を、前記他の画像毎に取得する差分取得手段、
   前記差分取得手段によって取得された前記他の画像毎の画素毎の差分において、最大の差分値を有するものを画素毎に選択する選択手段、
   この選択手段によって選択された画素毎の最大の差分値を用いて透過強度を示すマップを生成し、これを用いて前記基準画像と前記一つの画像とをブレンディングするブレンディング手段、
   として機能させることを特徴とするプログラム。

Images