JP5569617B2 - 画像処理装置、及び、プログラム - Google Patents

Description

本発明は、同一の被写体を撮影した複数枚の画像を重ね合わせる、いわゆるマルチプレーン加算処理を行う画像処理装置、及び、プログラムに関する。

デジタルカメラやビデオカメラ等（以下、カメラという）で使用する固体撮像素子のダイナミックレンジは狭いので、明暗の差が大きい被写体を撮像する場合に、被写体の全てについて適切な露光を設定することは困難である。そのため、暗い部分に露光を合わせると、明るい部分は白く飛び（白飛び）、逆に、明るい部分に露光を合わせると、暗い部分は黒く潰れる（黒潰れ）。そこで、同一の被写体を短い露光時間で撮影した短露光画像と、長い露光時間で撮影した長露光画像を重ね合わせる、いわゆるマルチプレーン加算処理を行って、明るい部分と暗い部分の両方について適正露光画像を得る画像処理装置及び方法が知られている（例えば、特許文献１）。

特開２００１−００８２１６号公報

しかし、短露光画像に長露光画像を単純に重ね合わせて、輝度を加算すると、短露光画像の暗い部分については適切な画像が得られるが、短露光画像の明るい部分には、白飛びが生じる。つまり、単純なマルチプレーン加算処理では、黒潰れは解消するが、白飛びは解消しないという問題がある。

本発明は、このような背景に鑑みてなされたものであり、明暗の差が大きい被写体を撮像する場合に生じる白飛びと黒潰れを解消する画像処理装置及びプログラムを提供するものである。

本発明の画像処理装置は、上記の課題を解決するためになされたもので、基準画像に前記基準画像と同一の被写体を撮像した追加画像を重ね合わせる画像処理装置において、前記基準画像を、当該基準画像に属する画素の輝度に応じて、複数の輝度領域に分割する領域分割手段と、前記基準画像に前記複数の輝度領域に相当する前記追加画像の領域の画像を所定の枚数だけ重ね合わせるとともに、前記所定の枚数は、当該輝度領域に属する画素の輝度が低い場合には多く、当該輝度領域に属する画素の輝度が高い場合には少なくなるように設定されている画像重合手段と、を備え、前記基準画像には複数の被写体像が含まれ、前記領域分割手段は、当該複数の被写体像の夫々を輝度領域として、夫々の輝度を判断して分割するものである。

本発明によれば、いわゆるマルチプレーン加算処理において、黒潰れと白飛びを解消して、品質の高い画像が得られる。

本発明の実施形態１に係るデジタルカメラ装置の構成図である。 本発明の実施形態１に係るデジタルカメラ装置による画像処理方法を示すフローチャートである。 本発明の実施形態１に係る撮影画像を示す図である。 本発明の実施形態１に係る基準画像の輝度ヒストグラムである。 本発明の実施形態１に係る基準画像を示す図である。 本発明の実施形態１に係る画像の加算処理を示す図である。 本発明の実施形態２に係るデジタルカメラ装置による画像処理方法を示すフローチャートである。 本発明の実施形態２に係る追加画像の輝度ヒストグラムである。 本発明の実施形態３に係るデジタルカメラ装置による画像処理方法を示すフローチャートである。 本発明の実施形態３に係る基準画像の輝度ヒストグラムである。 本発明の実施形態３に係る画像の加算処理を示す図である。

以下、図面を参照し、本発明の実施形態を説明する。

［実施形態１］
図１は、実施形態に係るデジタルカメラ装置１の構成を示す図である。図１に示すように、デジタルカメラ装置１は、光学レンズ装置２、ＣＣＤ３、Ａ／Ｄ変換器４、画像記憶部５、基準画像選定回路６、基準画像記憶部７、追加画像記憶部８、輝度ヒストグラム分析回路９、位置ズレ補正回路１０、加算処理回路１１及び制御部１２を備えている。

光学レンズ装置２は、レンズと絞りと焦点調整装置およびシャッター装置等から構成されて、被写体の画像をＣＣＤ３上に結像する装置である。

ＣＣＤ３は、いわゆる固体撮像素子であり、ＣＣＤ３上に結像された画像を多数の画素に分解して、各画素の輝度を電圧の強弱に変換して、Ａ／Ｄ変換器４に出力する。

Ａ／Ｄ変換器４は、電圧の強弱として入力された各画素の輝度をデジタル信号に変換して画像記憶部５に送る。

画像記憶部５は、Ａ／Ｄ変換器４から送られた画像を記憶する記憶装置である。つまり、画像記憶部５は光学レンズ装置２で撮像した被写体の画像をデジタル信号の集合の形で記憶する。なお、デジタルカメラ装置１は連写機能を有し、１回のシャッターボタン押下で自動的に複数枚の画像を撮影するように構成されている。また、被写体の撮影は所定の時間的間隔で複数回行うので、同一の被写体を撮影した、実質的に同一の複数の画像が画像記憶部５に記憶される。

基準画像選定回路６は、画像記憶部５から同一の被写体について複数枚撮影された画像を読み込み、前記画像を時系列に並べた場合に中央に位置する画像を基準画像として選定し、基準画像記憶部７に送る。なお、基準画像以外の複数の画像（以下、追加画像という。）は、追加画像記憶部８に送られる。

輝度ヒストグラム分析回路９は、基準画像記憶部７から前記基準画像を読み込み、前記基準画像の画素を、一定の輝度幅を有する複数の輝度階級に分類し、各輝度階級に属する画素数の分布（輝度ヒストグラム）を生成する。その輝度ヒストグラムの中央値を算出し、この値を、前記基準画像を明領域と暗領域に区分する閾値とする。そして、前記閾値以下の画素を有する領域、つまり暗領域の画像を加算処理回路１１に送る。

撮影範囲の中の被写体の位置が基準画像と追加画像で異なる場合があるので、位置ズレ補正回路１０は、基準画像記憶部７と追加画像記憶部８から、それぞれ基準画像と追加画像を読み込み、追加画像における被写体の位置が基準画像における被写体の位置と同じになるように補正する。そして、補正された前記追加画像を加算処理回路１１に送る。

加算処理回路１１は、位置ズレ補正回路１０で補正された追加画像を読み込み、前記暗領域に相当する追加画像の領域を特定する。その後、基準画像の画素の輝度に暗領域に相当する追加画像の領域の画素の輝度を加算し、合成画像を生成する。

制御部１２は、デジタルカメラ装置１を制御するコンピュータであり、図示しない記憶手段に書き込まれたプログラムに従って、加算処理回路１１等を制御して、画像処理等を実行させる。

次に、図２は、デジタルカメラ装置１のシャッターボタンが押された場合に、制御部１２の制御で実行される画像処理手順を示すフローチャートである。なお、前述したように、デジタルカメラ装置１は連写機能を有し、本実施形態では、シャッターボタンが押された場合に、同一の被写体を３回撮影したものとする。また、制御部１２はデジタルカメラ装置１の各部を制御するので、制御部１２の逐一の言及は省略する。以下、図２を参照しながら、これらの画像処理手順を説明する。

まず、シャッターボタンが押されると、図３に示すような３枚の画像photo_10、photo_11、photo_12が撮影されて、画像記憶部５に記憶される（ステップＳ１１）。

次に、基準画像選定回路６が、３枚の画像photo_10、photo_11、photo_12の中から、２
番目に撮影された画像photo_11を基準画像に選ぶ（ステップＳ１２）。そして、基準画像photo_11は基準画像記憶部７に送られ、画像photo_10、photo_12は追加画像記憶部８に送られる。

次に、輝度ヒストグラム分析回路９は、基準画像photo_11を分析して、図４に示すような輝度ヒストグラムを生成する（ステップＳ１３）。

さらに輝度ヒストグラム分析回路９は、図４に示した輝度ヒストグラムから、輝度の中央値を算出する。その値を閾値ｂとし、基準画像photo_11のうち閾値ｂ以下の輝度を有する領域を暗領域とする（ステップＳ１４）。本実施形態では、図５に示す基準画像photo_11の、山２１、木２２、背景２３を暗領域とし、太陽２４、トラック２５、人２６及び箱２７を明領域として、基準画像photo_11が２つの領域に区分されたものとする。

次に、位置ズレ補正回路１０が、基準画像記憶部７と追加画像記憶部８から、基準画像photo_11と追加画像photo_10、photo_12を読み込み、基準画像photo_11を基準にして、追加画像photo_10、photo_12の補正を行い、補正後のphoto_10、photo_12を加算処理回路１１に送る（ステップＳ１５）。

最後に、図６に示すように、加算処理回路１１が、追加画像photo_10、photo_12から、山２１、木２２、背景２３を抽出し、photo_13、photo_14を生成する。さらに、基準画像photo_11にphoto_13、photo_14を重ね合わせて、合成画像photo_15を生成する（ステップＳ１６）。

以上のように、実施形態１によれば、基準画像の暗領域に相当する追加画像の領域を基準画像に重ね合わせるので、黒潰れと白飛びを解消することができる。

なお、合成する画像は３枚に限定されない。また、同一の画像を複製して追加画像を得てもよい。また、基準画像はユーザーが複数枚の撮影画像の中から任意に選ぶようにしてもよい。

なお、閾値ｂは、輝度ヒストグラムにおける輝度の中央値に限定されない。例えば、閾値ｂは輝度の平均値としてもよいし、あるいは、輝度ヒストグラムにおいて画素数が最大となる輝度階級の輝度を、閾値ｂとしてもよい。

なお、ここでは、専用のハードウェアを組み合わせて、画像処理装置を構成した例を示したが、本発明はこのような構成に限定されるものではない。例えば、画像処理装置の全て、あるいは一部をソフトウェアで構成してもよい。また、カメラ本体部分（光学レンズ装置２、ＣＣＤ３、Ａ／Ｄ変換器４、および画像記憶部５）と、その他の部分を別体にしてもよい。また、本発明による画像処理方法を記述したプログラムをコンピュータに読み込ませ、実行させることによって、当該コンピュータが、本発明の画像処理装置として機能するようにしてもよい。

［実施形態２］
実施形態１では、基準画像の暗領域に相当する追加画像の領域を基準画像に重ね合わせて、画像を合成したが、この場合、追加画像の枚数分の輝度を基準画像の暗領域に属する画素に加算するので、暗領域の閾値近傍の画素と明領域の閾値近傍の画素の輝度の差が大きくなり、加算処理後の画像に輝度の不連続性が生じる可能性がある。これを回避するために、図７に示すように、実施形態２では、実施形態１の手順にステップＳ２１を加えて、暗領域に相当する追加画像の領域に属する画素の輝度に正の重み係数を乗じてマルチプレーン加算処理を行うようにしている。

正の重み係数は、暗領域に相当する追加画像の領域に属する画素の輝度が閾値から離れるに従って漸増する関数によって得られ、この関数は、その輝度が閾値に等しい時は０となり、その輝度が０に等しい時は１となる。本実施形態では、輝度ｘ、閾値ｂを用いて、下記式（１）で表される重み関数ｙ（ｘ）を使用する。

追加画像の輝度ヒストグラムに重み関数ｙ（ｘ）を重ねて表示すると図８（ａ）のようになる。暗領域に相当する追加画像の領域に属する画素の輝度に重み関数ｙ（ｘ）を乗じた画像の輝度ヒストグラムを示すと図８（ｂ）のようになる。図８の（ｂ）に示すように、閾値ｂに近い輝度を有する画素ほど輝度が低下する。このように重み関数ｙ（ｘ）を乗じた輝度を基準画像の暗領域の画素の輝度に加算すると、暗領域の閾値ｂに近い画素は加算の影響が減少する。

このように、本実施形態では、暗領域に相当する追加画像の領域に属する画素の輝度に重み関数ｙ（ｘ）を乗じて、加算処理するので、閾値近傍の画素の輝度の不連続性が解消され、明るさにおいて違和感のない自然な画像が得られる。

［実施形態３］
実施形態１および２では、基準画像を暗領域と明領域の２つの領域に分け、暗領域のみについて加算処理を行ったが、図９に示すように、実施形態３では、実施形態１の手順にステップＳ３１、およびステップＳ３２を加えて、基準画像をその明るさの段階に応じて４つの領域に分け、明るい領域は重ね合わせ枚数を少なくし、暗い領域になるに従い、重ね合わせ枚数を増やすようにする。

まず、ステップＳ３１において輝度ヒストグラム分析回路９は、基準画像記憶部７から読み込んだ基準画像photo_11を分析して、輝度ヒストグラム（図１０参照）を生成する。次に、この輝度ヒストグラムを基に、基準画像photo_11を明るさの段階に応じて４つの輝度領域に分割する。ここでは、この４つの輝度領域を明るい方から順にＲ０、Ｒ１、Ｒ２、Ｒ３と呼ぶことにする。本実施形態では、基準画像photo_11の太陽２４は輝度領域Ｒ０に属し、トラック２５、人２６及び箱２７は輝度領域Ｒ１に属し、木２２は輝度領域Ｒ２に属し、山２１、背景２３は輝度領域Ｒ３に属すように分けられる（図５参照）。

次にステップＳ３２を実行して、基準画像に追加画像を重ね合わせる。前述したように、重ね合わせる追加画像の枚数は、明るい領域については少なく、暗くなるにつれて枚数が多くなるように設定している。さらに詳しく言えば、輝度領域Ｒ０については、０枚；つまり重ね合わせをしない。輝度領域Ｒ１、Ｒ２およびＲ３については、それぞれ１枚、２枚および３枚の追加画像を重ね合わせるようにしている。

したがって、本実施形態では、図１１に示すように、基準画像photo_11の輝度領域Ｒ０（太陽１）には重ね合わせを行わず、輝度領域Ｒ１（トラック２５、人２６及び箱２７）に、輝度領域Ｒ１に相当する追加画像の領域を１枚重ね合わせる。そして、輝度領域Ｒ２（木２２）に、輝度領域Ｒ２に相当する追加画像の領域を２枚重ね合わせる。そして、輝度領域Ｒ３（山２１、背景２３）に、輝度領域Ｒ３に相当する追加画像の領域を３枚重ね合わせ、合成画像photo_30を生成する。

以上のように、実施形態３では、基準画像を明るさに応じて複数の領域に分けて、その明るさに応じた枚数の画像を重ね合わせるようにしたので、よりきめ細やかに明るさを調整した合成画像を得ることができる。

なお、実施形態３では、基準画像を、その明るさに応じて４つの領域に分けたが、その領域の数は、必要に応じて変更できる。また、各領域についての重ね合わせの枚数も例示にすぎない。

１・・・デジタルカメラ装置、２・・・光学レンズ装置、３・・・ＣＣＤ、４・・・Ａ／Ｄ変換器、５・・・画像記憶部、６・・・基準画像選定回路、７・・・基準画像記憶部、８・・・追加画像記憶部、９・・・輝度ヒストグラム分析回路、１０・・・位置ズレ補正回路、１１・・・加算処理回路、１２・・・制御部、ｂ・・・閾値、２１・・・山、２２・・・木、２３・・・背景、２４・・・太陽、２５・・・トラック、２６・・・人、２７・・・箱、ｙ・・・重み関数、Ｒ０・・・輝度領域、Ｒ１・・・輝度領域、Ｒ２・・・輝度領域、Ｒ３・・・輝度領域

Claims (4)

1. 基準画像に前記基準画像と同一の被写体を撮像した追加画像を重ね合わせる画像処理装置において、
   前記基準画像を、当該基準画像に属する画素の輝度に応じて、複数の輝度領域に分割する領域分割手段と、
   前記基準画像に前記複数の輝度領域に相当する前記追加画像の領域の画像を所定の枚数だけ重ね合わせるとともに、前記所定の枚数は、当該輝度領域に属する画素の輝度が低い場合には多く、当該輝度領域に属する画素の輝度が高い場合には少なくなるように設定されている画像重合手段と、
   を備え、
   前記基準画像には複数の被写体像が含まれ、前記領域分割手段は、当該複数の被写体像の夫々を輝度領域として、夫々の輝度を判断して分割することを特徴とする画像処理装置。
2. 前記追加画像は前記基準画像と同一の撮影条件で連写された複数の画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記追加画像は前記基準画像を複製した画像であることを特徴とする請求項１に記載の画像処理装置。
4. 基準画像に前記基準画像と同一の被写体を撮像した追加画像を重ね合わせる画像処理装置が具備するコンピュータを、
   前記基準画像を、当該基準画像に属する画素の輝度に応じて、複数の輝度領域に分割する領域分割手段、
   前記基準画像に前記複数の輝度領域に相当する前記追加画像の領域の画像を所定の枚数だけ重ね合わせるとともに、前記所定の枚数は、当該輝度領域に属する画素の輝度が低い場合には多く、当該輝度領域に属する画素の輝度が高い場合には少なくなるように設定されている画像重合手段、
   として機能させ、
   前記基準画像には複数の被写体像が含まれ、前記領域分割手段は、当該複数の被写体像の夫々を輝度領域として、夫々の輝度を判断して分割するものとして機能させることを特徴とするプログラム。