JP5836789B2 - 画像処理装置およびその制御方法、およびプログラム - Google Patents

Description

本発明は画像処理装置およびその制御方法に関し、特に領域ごとのシーンに応じた画像処理を行った画像を合成する際の領域間の不連続性を解決する方法に関するものである。

近年、画像解析技術が進歩し、画像から１つ１つの被写体を識別することが可能となってきた。この技術を用いることで、特許文献１で述べられているように、１つ１つの被写体領域ごとに高画質化処理を行うということが考えられる。

また、１画素毎に被写体を決定するのではなく、画像を複数の領域に分割して得られた各分割領域についてシーンを判定し、分割領域毎に画像処理を変更することも考えられる。このように、１枚の画像を分割し、領域ごとに画像処理を行い、再び１枚の画像に合成する画像処理方法が知られている。

特開２００９−０５００３５号公報

上述したように、領域ごとに画像処理を行った場合、画面全体に画像処理を行った場合と比較して、より高画質な画像が得られたり、背景領域をぼかしたりすることができる。しかし、領域ごとの処理では、必ず領域境界が存在し、その不連続性は高画質化効果や疑似ボケ効果を阻害してしまうという課題がある。

また、１枚の写真において、唯一の被写体のみが写っていることは稀であり、多くは複数の被写体、つまり領域ごとのシーンが写っている。この場合、複数のシーンを自然な印象で合成する必要がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は領域ごとに画像処理を行った後に再び１枚の画像を作成する際の領域境界の不連続性を低減することにある。

上記の目的を達成するための本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
入力画像を複数とおりの方法で分割して得られた複数の分割領域の各々について、大きさとシーン情報を保持する保持手段と、
前記複数の分割領域のそれぞれのシーン情報に基づいて前記入力画像を処理して複数のシーン対応画像を取得する画像処理手段と、
前記複数の分割領域のそれぞれについて、該分割領域内の第１の合成比率から該分割領域以外の領域における第２の合成比率への合成比率の遷移の形態を該分割領域の大きさに基づいて決定し、前記複数のシーン対応画像のそれぞれの合成比率を決定する決定手段と、
前記複数の分割領域の各々について前記画像処理手段により得られた複数のシーン対応画像を、前記決定手段で決定された合成比率の遷移の形態にしたがった合成比率で、対応する分割領域が大きい順に合成する合成手段と、を備える。

本発明によれば、領域ごとに画像処理を行った後に再び１枚の画像を作成する際に、境界の不連続性を低減することができる。そのため、複数の領域について複数のシーンが識別された場合でも自然な印象の画像を合成することができる。

領域の分割の粗さの違うシーン識別結果の一例を示す図。 実施形態による画像処理装置の一例を示すブロック図。 実施形態による合成比率の算出方法の一例を示す図。 第１実施形態による合成比率の算出方法を説明する図。 第２実施形態による合成比率の算出方法を説明する図。 分割領域情報およびシーン情報の格納状態の例を示す図。 シーン毎の画像処理パラメータ、合成比率の遷移形態の情報の格納状態を示す図。 合成比の算出を説明する図。

以下、添付の図面を参照して本発明の好適な実施形態を説明する。以下の実施形態では、入力画像を複数の領域に分割し、それぞれの領域に対してシーン識別を行い、シーン情報を取得することを前提としている。まず、本実施形態の画像処理装置の構成、動作の概要について説明する。

図１の（ａ）は、入力画像の一例を示し、（ｂ）は入力画面を４分割した領域のシーン情報を取得した場合の例を示し、（ｃ）はピクセルごとの領域のシーン情報を取得した場合の例を示している。以下、（ｂ）のごとく４分割した領域と、更に１６分割、６４分割した分割領域のシーン情報により画像処理されたシーン対応画像を合成する処理について説明する。本実施形態では、このような合成処理において、領域境界のぼかし処理が施される。なお、以下では、入力画像の４分割、１６分割、６４分割による例を示すが、（ｃ）のごとくピクセルごとにシーン情報が決定された領域を用いることも可能であることは、以下の説明から明らかである。

図２は、本実施形態による画像処理装置の構成例を示すブロック図である。本実施形態の画像処理装置は、シーン情報取得部１０、分割情報取得部２０、画像処理部３０、合成比率決定部４０、画像合成部５０、圧縮部６０、記録部７０、制御部８０、メモリ９０、Ｉ／Ｆ１００を有する。

ここで本実施形態におけるシーン情報としては、被写体情報や光源情報だけでなく、距離情報やデフォーカス情報や周波数情報や色相情報や輝度情報、彩度情報などが挙げられるがこれらに限られるものではない。また、これらのすべての情報を用いる必要もなく、その要旨の範囲内で適した情報を用いればよい。また、本実施形態の画像処理装置は、デジタルカメラ等の撮影系を有する画像処理装置の一部でもよいし、撮影系から独立した画像処理装置として実現されてもよい。

図２において、入力画像とその入力画像に対応する領域ごとのシーン情報、領域分割情報がメモリ９０に蓄えられており、領域ごとのシーン情報取得部１０と分割情報取得部２０はメモリ９０からシーン情報と領域分割情報を取得する。このとき、入力画像のシーン識別は事前に行われており、入力画像とその入力画像に対応する分割領域ごとのシーン情報、領域分割情報はメモリ９０に蓄えてあるものとする。図６はメモリ９０における分割領域毎のシーン情報の格納状態を説明する図である。この例では、入力画像を４，１６，６４に分割して、それぞれの分割領域について取得されたシーン情報６０３が格納されている。なお、本実施形態では、分割数６０１と領域位置６０２により各分割領域が特定されるようにしている。なお、Ｎは、各分割領域に割り当てた通し番号である。

図３（ａ）は、本実施形態の画像処理装置における画像合成の処理を説明するフローチャートである。Ｓ１においてシーン情報取得部１０は、メモリ９０から分割領域ごとのシーン情報を取得する。Ｓ２において、分割情報取得部２０は、分割領域の分割情報（分割数、すなわち、分割領域の大きさ）をメモリ９０から取得する。なお、図６に示したような情報のすべてがメモリ９０に保持されているのではなく、別の記録媒体に保存されていて必要に応じてメモリ９０に展開されるようにしてもよい。また、領域ごとのシーン情報取得部１０と分割情報取得部２０が、入力画像のシーン識別を適宜行い、その結果としてシーン情報と領域分割情報を取得するようにしてもよい。なお、そのようなシーン情報やその取得処理は、当業者には周知である。

次に、Ｓ３において、画像処理部３０は、入力画像に対して、シーン情報取得部１０から取得した分割領域ごとのシーン情報に対応したパラメータを用いて画像処理を行う。この、領域ごとのシーン情報取得部１０から取得したシーン情報に対応したパラメータを用いた画像処理結果の画像をシーン対応画像と呼ぶ。このとき、入力画像がＲＡＷデータであった場合には現像処理も行うなど、入力画像に応じて必要な画像処理をそれぞれ行う。つまり、本実施形態の処理対象となる画像は、現像処理後のＪＰＥＧ画像データに限られるものではなく、現像処理前のＲＡＷデータなどであってもよい。この処理により、分割領域のシーン情報に応じた複数のシーン対応画像が生成されることになる。例えば、分割数が４の各分割領域についてシーン情報が得られる場合には、４枚のシーン対応画像が生成されることになる。

次に、Ｓ４において、合成比率決定部４０は、領域ごとのシーン情報取得部１０から取得したシーン情報、または、分割情報取得部２０から取得した領域分割情報（分割数、すなわち、分割領域の大きさ）を用いて、シーン対応画像の合成比率を算出する。図３（ｂ）は、注目されている分割領域の内部における第１の合成比率（図では１００％）から、分割領域以外の外部の領域における第２の合成比率（図では０％）への遷移の形態の一例が示されている。すなわち、このような遷移の形態が、シーン情報または領域分割情報に基づいて決定される。

まず、合成比率決定部４０は、領域ごとのシーン情報取得部１０から取得したシーン情報または分割情報取得部２０から取得した領域分割情報に対応して、合成比率を変化させる合成比率変化領域Ａ１を決める。なお、合成比率変化領域Ａ１は、分割領域ごとにシーン情報を取得した際の領域境界の内部（たとえばを中心）に決めてもよく、領域境界を端とする領域内に決めてもよく、領域境界を端とする領域外に決めてもよく、その要旨の範囲内で適当な領域を決めればよい。例えば、領域境界を中心に合成比率変化領域Ａ１を決定した場合、領域境界は３０３の位置となる。また、領域境界を端とする領域内に合成比率変化領域Ａ１を決定した場合、領域境界は３０２の位置となる。また、領域境界を端とする領域外に合成比率変化領域Ａ１を決定した場合、領域境界は３０１の位置となる。

次に、合成比率決定部４０は、領域ごとのシーン情報取得部１０から取得したシーン情報または分割情報取得部２０から取得した領域分割情報に対応して、合成比率変化領域Ａ１における合成比率の変化のさせ方を決める。図３（ｂ）では、変化のさせ方を直線としているが、変化のさせ方を曲線としてもよく、いずれかに限定されるものではない。

最後に、合成比率決定部４０は、合成比率変化領域Ａ１以外の領域Ａ２の合成比率を任意の値に決める。図３（ｂ）では、任意の値として領域内の第１の合成比率を１００％、領域外の第２の合成比率を０％としているが、本発明の要旨の範囲内においてどの値を取ってもよい。また、領域内・領域外ともに一定値である必要もない。ちなみに、合成比率の算出の要旨の範囲内において、合成比率の算出順序、つまり、「合成比率変化領域Ａ１の決定」、「合成比率の変化のさせ方の決定」、「合成比率変化領域Ａ１以外の領域Ａ２の任意の値」の決定順序は上記順序と異なってもよい。

次に、Ｓ５において、画像合成部５０は、合成比率決定部４０で決定された合成比率を用いて、シーン対応画像を合成してく。より具体的には、シーン対応画像を決定された合成比率で持って基準となる画像（基準画像）に合成する。このとき、基準画像は、入力画像そのもの、或いは、ある特定のパラメータで入力画像を画像処理した画像、複数のシーンをそれぞれ合成してできた画像、など、何れかに限定されるものではない。また、画像合成部５０は、分割情報取得部２０から取得した領域分割情報に基づき、合成順序は領域の分割が粗いシーンから先に合成していく。

上記で説明したように、領域分割情報またはシーン情報に基づいて合成比率を算出し、その算出結果に基づいて領域ごとの合成を行うことで、まず、領域境界の不連続性を低減することができる。特に、分割領域の大きさが大きいほど合成比率変化領域Ａ１を大きくするように決定することで、より効果的に領域境界の不連続性を低減することができる。また、領域ごとのシーン情報や領域分割情報を合成比率の算出に用いることで、複数の領域を合成するでも、より自然な印象の合成画像を得ることができる。

なお、シーン情報取得部１０からシーン情報を取得する処理と分割情報取得部２０から領域分割情報を取得する処理の順序は、その要旨の範囲内において、どちらから取得してもよい。また、画像処理部３０は、領域ごとのシーン情報取得部１０からシーン情報を取得した後で、画像合成部５０で合成を行う前であれば、どの処理順序で画像処理をしてもよい。また、図１の（ｃ）のようにピクセル単位でシーン情報が決定された領域については、同一のシーンが連続する領域を分割領域とし、その大きさをたとえば分割領域内の画素数（面積）に基づいて決定し、合成比率の遷移の形態を決定すればよい。

画像合成部５０は、以上のようにして合成して得られた画像を、メモリ９０に蓄える。圧縮部６０は、メモリ９０に蓄えられた、合成が完了した画像をＪＰＥＧ等の方法で圧縮する。記録部７０は、圧縮部６０により圧縮された画像データをフラッシュメモリ等の記録媒体に記録する。なお、各処理部で用いられる画像データやシーン情報、領域分割情報などのデータはメモリ９０に蓄えられており、制御部８０によって各処理部が制御される。また場合によっては操作者の指示などの外部操作がインターフェースＩ／Ｆ１００を介して画像処理装置へと入力される。

［第１実施形態］
以下、図４を参照して、本発明の第１実施形態による画像処理装置のより具体的な動作を説明する。

シーン情報取得部１０からシーンＸ、シーンＹ、シーンＺについての複数のシーン情報が取得されたものとする。図４（ａ）の場合、分割情報取得部２０は、シーンＸには入力画像を４分割したという領域分割情報を、シーンＹには入力画像を１６分割したという領域分割情報を、シーンＺには入力画像を６４分割したという領域分割情報をそれぞれ取得する。また、説明を簡素化するために、シーンＸ、シーンＹ、シーンＺの領域ごとのシーン情報取得部１０から取得されたそれぞれのシーン情報から決まる合成比率変化領域は同じ大きさであるとし、これを１次的合成比率変化領域Ａ１’とする。この１次的合成比率変化領域は、分割領域の大きさに応じて変倍される。

たとえば、図７の（ａ）に示すように、１次的合成比率変化領域の大きさと合成比率の変化のさせ方がシーン毎にメモリ９０に格納されており、画像処理部３０はシーン情報に対応する画像処理パラメータを用いてシーン対応画像を生成する。そして、合成比率決定部４０は、シーン情報に対応する１次的合成比率変化領域と合成比率の変化のさせ方を取得し、これを分割領域情報が示す分割領域の大きさにしたがって変倍して合成比率の遷移の形態を決定する。

以上のような条件の場合の、シーンＸ、シーンＹ、シーンＺに対応するシーン対応画像の合成比率の算出方法について、図４（ｂ）を参照して説明する。上述のように、分割情報取得部２０から取得した領域分割情報に基づき、領域の分割が粗いシーンほど（分割領域が大きいほど）合成比率変化領域の幅が広くなるように決定される。本実施形態においては、分割数が４の場合（シーンＸ）の合成比率変化領域Ａ１＿Ｘは１次的合成比率変化領域Ａ１’の幅を３倍にしたものとする。また、分割数が１６の場合（シーンＹ）の合成比率変化領域Ａ１＿Ｙは１次的合成比率変化領域Ａ１’の幅を２倍したものとする。さらに、分割数が６４の場合（シーンＺ）の合成比率変化領域Ａ１＿Ｚは１次的合成比率変化領域Ａ１’の幅を１倍したものとする。ただし、合成比率変化領域Ａ１’の変倍の変え方は上記の例に限られるものではなく、その要旨の範囲内において種々の変形が可能である。

さらに、領域ごとのシーン情報取得部１０から取得したシーン情報と分割情報取得部２０から取得した領域分割情報に対応して、合成比率変化領域Ａ１における合成比率の変化のさせ方を変える。上記の例においては、シーンＸのシーン情報による合成比率の変化のさせ方は上凸曲線、シーンＹのシーン情報による合成比率の変化のさせ方は直線、シーンＺのシーン情報による合成比率の変化のさせ方は下凸曲線であるとする。ただし、合成比率の変化のさせ方は、その要旨の範囲内において、何れかに限定されるものではない。また、同じシーン情報であっても、分割数に応じて変化のさせ方を変えるようにしてもよい。例えば、シーンＸ，Ｙ，Ｚが同じシーン情報であっても、図４（ｂ）のごとく、変化領域の大きさと変化のさせ方の両方が変化するようにしてもよい。この場合、図７の（ｂ）に示すように、各シーン情報と分割数（領域の大きさ）に対応して変化のさせ方がメモリ９０に登録されることになる。

上述したように、画像合成部５０においては、シーン対応画像を領域分割の粗い順に合成する。上記の例において、その合成順序は、シーンＸ、シーンＹ、シーンＺの順となる。なお、同じサイズの分割領域おける合成順序は、予め定められた順番であってもよいし、シーン情報に含まれる距離情報により示される距離が遠いものから順に合成するようにしてもよい。また、入力画像の分割は(2ⁿ)²個（ｎは２以上の整数）としているが、これに限られるものではない。４分割、９分割、１６分割などのようにしてもよい。また、矩形の分割に限られれず、図１（ｃ）のような画素単位のシーン情報検出を行なって、分割領域を決定するようにしてもよい。

［第２実施形態］
図５を参照して、第２実施形態による画像処理装置のより具体的な動作について説明する。第１実施形態では１つの分割領域について１つのシーン情報が得られる場合を説明したが、１つの分割領域に複数のシーン情報が取得されることを許容するように構成してもよい。第２実施形態では、このような構成について説明する。

第２実施形態では、シーン情報取得部１０がシーンＸ、シーンＹ、シーンＺについてのシーン情報を取得したものとする。図５（ａ）の場合、分割情報取得部２０は、シーンＸには入力画像を４分割したという領域分割情報を、シーンＹとシーンＺには入力画像を１６分割したという領域分割情報を取得する。また、説明を簡素化するために、シーンＸ、シーンＹ、シーンＺの領域ごとのシーン情報取得部１０から取得されたそれぞれのシーン情報は距離情報を除き同じものと仮定し、シーン情報から決まる合成比率変化領域を１次的合成比率変化領域Ａ１’とする。例えば、分割領域内の全体に芝生が写っているが、その距離が上半分と下半分で大きく異なるような場合、距離情報のみが異なるシーン情報が生成される可能性がある。

以上のような条件における、シーンＸ、シーンＹ、シーンＺに対応するシーン対応画像の合成比率の算出方法について、図５（ｂ）を参照して説明する。

上述したように、分割情報取得部２０から取得した領域分割情報に基づき、領域の分割が粗いシーンの合成比率変化領域ほど領域の幅が広くなるものとする。上記の例においては、シーンＸの合成比率変化領域Ａ１＿Ｘは１次的合成比率変化領域Ａ１’の幅を３倍にしたもの、シーンＹとシーンＺの合成比率変化領域Ａ１＿ＹとＡ１＿Ｚは１次的合成比率変化領域Ａ１’の幅を２倍にしたものとする。ただし、合成比率変化領域Ａ１’の幅の変え方は、その要旨の範囲内において、何れかの方法や値に限定されるものではない。

さらに、シーン情報取得部１０から取得したシーン情報と分割情報取得部２０から取得した領域分割情報に対応して、合成比率変化領域Ａ１における合成比率の変化のさせ方を変える。上記の例においては、シーンＸの合成比率の変化のさせ方は上凸曲線とし、シーンＹとシーンＺの合成比率の変化のさせ方は直線とする。ただし、合成比率の変化のさせ方は、その要旨の範囲内において、何れかに限定されるものではない。また、合成比率変化領域Ａ１’の幅の変え方や合成比率の変化のさせ方は、そのシーンの距離情報に対応して変えてもよい。

画像合成部５０におけるシーン対応画像の合成順序は、領域分割の粗い順に合成し、上記の例においてはまずシーンＸの合成を行う。次に、領域の分割が同じ粗さのシーンＹとシーンＺについては、領域ごとのシーン情報取得部１０よりその領域の距離情報を取得し、遠い領域のシーンからの順に合成を行う。このような合成順序を用いることにより、近い領域のシーンほど、最終的な合成画像に占める割合が多くなり、より自然な印象の画像を得ることができる。

［第３実施形態］
上述の第１、第２実施形態では、複数のシーン対応画像を順次に合成したが、第３実施形態では複数のシーン対応画像の合成を一度に行う場合について説明する。複数のシーン対応画像の合成を一度に行う場合、複数のシーン対応画像について決定された合成比率を用いて、各画素毎の合成比率を算出し、合成画像の各々の画素値を決定する。ここで第１実施形態や第２実施形態と同様の合成処理を実現するためには、合成比率決定部４０において決定された合成比率とその合成順序にしたがって、各画素におけるシーン対応画像の合成比を算出する必要がある。なお、画像合成部５０におけるシーン対応画像の合成順序は、上述したように分割情報取得部２０から取得された領域分割情報や、領域ごとのシーン情報取得部１０から取得された距離情報から決まる。

例えば、図８に示すように、ある画素において、シーンＡにより得られた第１のシーン対応画像の合成比率が８０％、シーンＢにより得られた第２のシーン対応画像の合成比率が５０％であったとする。ここで、シーンＢの方が分割領域サイズが小さく、第２のシーン対応画像が第１のシーン対応画像より後から合成される場合、基準画像、第１のシーン対応画像、第２のシーン対応画像の合成比は、１０％：４０％：５０％となる。

本実施形態では、上記のように複数のシーンによる画像合成を一度に行う場合、合成比の算出を画像合成部５０における合成順序と逆順で算出する。つまり、最上面に合成されるシーンから順に合成比を算出する。この方法を用いることで、より上面に合成されるシーンの最終的な合成画像に占める割合が１００％になった場合には、より下面に合成されるシーンの合成加算比率を求める必要はなく、処理時間の削減が可能である。すなわち、複数のシーン対応画像のうち最後に合成されるものから順に合成比を算出し、合成比の合計が１００％になった時点で該画素に関する合成比の算出を終了させる。例えば、図８において、第２のシーン対応画像の合成比率が１００％の画素については、第１のシーン対応画像と基準画像の合成比を考慮する必要が無く、無駄な計算が防止される。

なお、上記各実施形態では、分割領域のシーン情報を用いて入力画像の全体を処理してシーン対応画像を取得したがこれに限られるものではない。例えば、入力画像のうちの合成比率が０以外の領域についてのみ画像処理を行なってシーン対応画像を得るようにしてもよい。また、上記各実施形態では、分割領域のシーン情報についてシーン対応画像を取得するが、同じ大きさの分割領域の同じシーン情報については、１つのシーン対応画像を共通に使用するようにしてもよい。また、それら分割領域とシーン情報により決定される合成比率を共通つのシーン対応画像に対してまとめて設定するようにしてもよい。また、上記実施形態では、シーン情報と分割領域の大きさに基づいて合成比率の遷移の形態を決定したが、シーン情報は用いずに、分割領域の大きさのみに基づいて合成比率変化領域を変更するように構成してもよい。また、このとき、分割領域の大きさのみに基づいて更に合成比率の変化のさせ方も変えるように構成してもよい。

また、上記実施形態では、分割領域の境界位置を中央とする合成比率変化領域のみを用いたが、分割領域の大きさやシーン情報に基づいて分割領域の境界位置と合成比率変化領域の位置関係を変更するようにしてもよい。すなわち、図３の（ｂ）において、位置３０１〜３０３のいずれを境界位置とするかを分割領域の大きさやシーン情報に基づいて変更するようにしてもよい。更に、上記実施形態では、第１の合成比率を１００％、第２の合成比率を０％に固定しているが、これらも分割領域サイズやシーン情報に基づいて変更させてもよい。したがって、合成比率の遷移の形態とは、合成比率変化領域の大きさ、分割領域の境界に対する合成比率変化領域の位置、合成比率変化領域における合成比率の変化のさせ方、第１および第２の合成比率の少なくとも何れかを用いて規定されるものである。

なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (9)

1. 入力画像を複数とおりの方法で分割して得られた複数の分割領域の各々について、大きさとシーン情報を保持する保持手段と、
   前記複数の分割領域のそれぞれのシーン情報に基づいて前記入力画像を処理して複数のシーン対応画像を取得する画像処理手段と、
   前記複数の分割領域のそれぞれについて、該分割領域内の第１の合成比率から該分割領域以外の領域における第２の合成比率への合成比率の遷移の形態を該分割領域の大きさに基づいて決定し、前記複数のシーン対応画像のそれぞれの各部の合成比率を決定する決定手段と、
   前記複数の分割領域の各々について前記画像処理手段により得られた複数のシーン対応画像を、前記決定手段で決定された合成比率にしたがって、対応する分割領域が大きい順に合成する合成手段と、を備えることを特徴とする画像処理装置。
2. 前記決定手段は、前記遷移の形態として、前記第１の合成比率、前記第２の合成比率、該第１の合成比率から該第２の合成比率へ合成比率を変化させる変化領域の大きさ、分割領域の境界に対する該変化領域の位置、該変化領域における合成比率の変化のさせ方、の少なくとも何れかを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記分割領域のシーン情報に基づいて前記合成比率が変化する基準の領域と変化のさせ方を決定し、該分割領域の大きさに基づいて前記基準の領域の大きさを変倍することにより前記変化領域の大きさを決定する、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、分割領域の大きさが大きいほど前記変化領域が大きくなるように、前記遷移の形態を決定することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記合成手段は、同じ大きさの分割領域に対応して複数のシーン対応画像が得られた場合には、分割領域の距離情報が大きい順に合成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 特定のパラメータで前記入力画像を処理することにより基準となる画像を取得する取得手段を更に備え、
   前記合成手段は、前記複数のシーン対応画像を前記基準となる画像に順次に合成していくことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記合成手段は、前記複数のシーン対応画像について決定された合成比率にしたがって、合成された画像の各画素の合成比を算出する算出手段を有し、算出された合成比で前記複数のシーン対応画像の各画素を合成して画素値を合成し、
   前記算出手段は、前記複数のシーン対応画像のうち最後に合成されるものから順に合成比を算出し、合成比の合計が１００％になった時点で該画素に関する合成比の算出を終了させる、ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 画像処理装置の制御方法であって、
   保持手段が、入力画像を複数とおりの方法で分割して得られた複数の分割領域の各々について、大きさとシーン情報をメモリに保持する工程と、
   画像処理工程が、複数のシーン対応画像を取得するために、前記複数の分割領域のそれぞれのシーン情報に基づいて前記入力画像を処理する工程と、
   決定工程が、前記複数の分割領域のそれぞれについて、該分割領域内の第１の合成比率から該分割領域以外の領域における第２の合成比率への合成比率の遷移の形態を該分割領域の大きさに基づいて決定し、前記複数のシーン対応画像のそれぞれの各部の合成比率を決定する工程と、
   合成手段が、前記複数の分割領域の各々について前記処理する工程により得られた複数のシーン対応画像を、前記決定する工程で決定された合成比率にしたがって、対応する分割領域が大きい順に合成する工程と、を有することを特徴とする画像処理装置の制御方法。
9. コンピュータを請求項１乃至７のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。

Images