JP6965132B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法およびプログラムに関し、特に、撮影画像を用いて動画を生成する画像処理装置、撮像装置、画像処理方法およびプログラムに関するものである。

画像映像表現の一手法として、シーンの雰囲気を活かした特殊な効果を持った動画を生成する技術が求められている。

例えば、このような動画として、画像における一部の領域のみが変化するシネマグラフという動画が知られている。シネマグラフを生成する場合、変化を与える領域と変化を与えない領域を指定する必要があるなど、撮影画像を編集する必要があるため、ユーザの負荷が大きかった。

また、上記技術として、光が輝いているアニメーション効果を画像に対して自動的に付加する技術が知られている。しかし、このような技術を用いた場合、画像上での光の光り方が不自然な動画になる場合があった。

したがって、ユーザの負荷を抑えながら、画像の一部の領域のみに変化を与え、特殊な効果を持った動画を生成する技術が必要となる。

一方、画像に対して領域毎に異なる効果を与えることにより特殊な印象を持たせたり、画像が有する雰囲気を強調させたりする技術が知られている。例えば特許文献１には、距離情報に応じて領域毎に階調補正処理を適用することで、撮像装置から遠い領域はコントラストを下げ、近い領域はコントラストを上げる技術が開示されている。これにより、画像に奥行き感をもたらすことができる。

特開２００８−２８８７０６号公報

しかしながら、特許文献１に開示の技術では、シネマグラフのように一部の被写体のみが変化するような動画において、その被写体は、撮像装置から遠い位置にあると、コントラストを上げて強調することはできないという問題がある。

本発明は、上記課題を解決すべく、ユーザの負荷を抑えながら、シーンに適した特殊な効果を持った動画を得ることができる画像処理装置、撮像装置、画像処理方法およびプログラムを提供することを目的とする。

本発明の請求項１に係る画像処理装置は、撮影により生成された第１の画像を取得する取得手段と、前記第１の画像に含まれる前記撮影の際の各被写体の距離の分布に応じて前記第１の画像を２つ以上の領域に分割する分割手段と、前記分割された領域の１つを、高輝度な画素が存在する高輝度領域として検出する検出手段と、前記高輝度領域において、前記高輝度な画素及びその周辺画素に対し、異なる補正強度で前記第１の画像の補正を行い、複数の第２の画像を生成する第１の生成手段と、前記生成された複数の第２の画像を用いて動画を生成する第２の生成手段とを備えることを特徴とする。

本発明によれば、ユーザの負荷を抑えながら、シーンに適した特殊な効果を持った動画を得ることができる。

本発明の実施例に係る撮像装置のハードウェア構成を示すブロック図である。 図１における画像処理部のハードウェア構成を示すブロック図である。 図１における撮像部の構成を説明するための図である。 撮像装置における撮影画像に対して行う動画生成処理の手順を示すフローチャートである。 図４の動画生成処理の対象となる撮影画像の例及びその距離値に応じて生成される距離情報画像を示す図である。 本発明の実施形態における距離ヒストグラムを示す図である。 図５（Ｄ）に示す画像においてグルーピングされた各領域に生成された輝度ヒストグラムを示す図である。 図４のステップＳ４０６で生成される各画像を示す図である。 図４の動画生成処理の対象となる撮影画像の他の例を示す図である。 図４のステップＳ４０６における階調補正に用いられる補正量を決定する方法の一例を説明するための図である。

以下、図面を参照して本発明の実施例を詳細に説明する。

本実施例では、１枚の静止画を撮影し、得られた画像を用いてユーザの介在なく動画の生成を行う技術について説明する。なお本実施例では、最も効果が見込めるシーンの１つである夜景シーンでの撮影を想定して説明を行うが、夜景以外のシーンにおいても適用可能である。また、以下では、本実施例に係る画像処理装置の一例として撮像装置について説明するが、これに限定されず、例えばパーソナルコンピュータ（ＰＣ）などであってもよい。この場合、ＰＣは外部の撮像装置で撮影された画像を取得するための通信手段を更に備える。

図１は、本発明の実施例１に係る撮像装置１００のハードウェア構成を示すブロック図である。

図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備えている。この光学系１０１は、撮像部１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整している。撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換し電気信号（映像信号）に変換するＣＣＤやＣＭＯＳセンサー等の光電変換素子である。

Ａ／Ｄ変換部１０３は、撮像部１０２から入力された映像信号をデジタルの画像に変換する。

画像処理部１０４は、通常の信号処理の他に、本発明における階調処理を行う。画像処理部１０４はＡ／Ｄ変換部１０３から出力された画像のみでなく、記録部１０７から読み出した画像に対しても同様の画像処理を行うことができる。

露光量制御部１０５は、適正な明るさを持つ入力画像を得る為の撮影時の露光量を算出し、それを実現する為に光学系１０１と撮像部１０２を制御して、絞り、シャッタースピード、センサーのアナログゲインを制御する。

表示部１０６は、画像処理部１０４から出力される画像をＬＣＤなどの表示用部材に逐次表示することにより、電子ビューファインダ（ＥＶＦ）として機能する。

記録部１０７は、画像を記録する機能を有し、たとえば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよい。

図３（Ａ）は、図１の撮像部１０２を構成する画素３０２の配列構成を示している。図３（Ｂ）は画素３０２を拡大したものであり、マイクロレンズ３０１と一対の光電変換部３０３Ａ，３０３Ｂから構成される。図３（Ａ）にあるように撮像部１０２では画素３０２が二次元的に規則的に配列されている。

図２は、図１における画像処理部１０４のハードウェア構成を示すブロック図である。

距離情報取得部２０１は、光学系１０１の瞳の異なる領域から到来する光束に生ずる複数の被写体像の位相差に基づいて、撮影された画像に含まれる各被写体の距離の分布を示す距離マップおよび、それに対する信頼度を示す信頼度マップを生成する。距離マップの具体的な生成方法については、例えば特開２０１６−９０６２号公報で述べられているような公知の手法を用い、画素毎に算出されたデフォーカス量を距離マップにおいて被写体距離として扱う。また、信頼度とは上述した位相差（像ずれ量）が当該領域でどの程度検出しやすいかを表す値である。信頼度マップでは、像ずれ量を検出しにくい領域で算出された被写体距離（デフォーカス量）は正確でない可能性が高いため、信頼度が低くなるようにする。像ずれ量を検出しにくい領域とは、例えば空や自動車のボディといった被写体の模様の変化が乏しい領域である。よって、このような領域が検出された場合、その領域に対し低い信頼度が信頼度マップにおいて割り当てられる。本実施例では、模様の変化が乏しいかを判定する指標として、エッジ積分値を用いる。具体的には、入力画像を複数の微小ブロックに分割し、各微小ブロック内の画素のエッジ振幅の絶対値を積分することで算出される。そして、算出したエッジ積分値と予め設定した閾値を比較し、該閾値よりも算出したエッジ積分値が小さい場合、模様の変化が乏しい領域であると判定する。入力画像の全ての微小ブロックに対し、この判定処理を行なうことで、被写体距離の分布を示す距離マップに対する信頼度マップを生成することができる。

シーン判定部２０２は、入力画像を撮影時に撮像装置１００が取得した、明るさや色味など各種の評価値に基づいて、撮影シーンの判別を行う。評価値の取得方法については公知の技術を用いて良く、例えば特開２００９−４４４４４号公報で述べられているようなホワイトバランス制御のために算出した光源の色温度を評価値の１つである色味として取得してもよい。

ヒストグラム算出部２０３は、入力画像の全体あるいはその一部の領域における輝度や色のヒストグラムを生成する。

領域判定部２０４は、ヒストグラム算出部２０３が算出したヒストグラムを参照することで、入力画像から所定の領域を検出する。

階調補正部２０５は、局所的に明るさ（輝度）、色相（色）、コントラスト、彩度などを補正する技術を用いて、領域判定部２０４が検出した領域に対して種々の補正処理を行う。

動画生成部２０６は、階調補正部２０５が補正した複数の画像に対して、リサイズや符号化など種々の処理を実施した上で動画を生成する。

図４は、撮像装置１００における撮影画像に対して行う動画生成処理の手順を示すフローチャートである。

以下、図４の動画生成処理の対象となる撮影画像として、図５（Ａ）に示す画像５０１が用いられる場合について説明する。画像５０１は、撮像装置１００の撮像部１０２が人物を含む夜景をストロボを発光して撮影することにより取得される。

ステップＳ４０１では、シーン判定部２０２により画像５０１が示すシーンおよび光源の判定を行う。本実施例では、暗いシーン、光源はストロボ光と判定される。ここで、日中晴天などの明るいシーンと判定された場合、局所的に変化する光源が含まれる可能性は低いとして、動画を生成することなく本処理を終了する。

ステップＳ４０２では、距離情報取得部２０１が画像５０１における距離マップおよび距離信頼度マップの２種の距離情報画像を生成する。図５（Ｂ）に示す画像５０２は、画像５０１に対して生成された距離マップであり、画素値が白色に近いほど撮影時における撮像装置１００からの被写体距離が近いことを示している。また図５（Ｃ）に示す画像５０３は、画像５０１に対して生成された信頼度マップであり、エッジを含む人物や地面、木々などの領域は信頼度が高い白色で、無限遠の夜空や深度外でぼけている領域は信頼度が低い黒色で表されている。なお、距離マップおよび信頼度マップの解像度としてはこれに限らず、より高解像度のマップを生成するとしても良い。また距離マップとしてもデフォーカス量ではなく、複数の被写体像の位相差（像ずれ量）や、絶対距離の値に変換した値であっても良い。

ステップＳ４０３では、ステップＳ４０２で生成した距離マップを示す画像５０２を、所定の閾値を用いて被写体距離の値に対してグルーピングする、すなわち２つ以上の領域（グループ）に距離マップを分割する処理を行う。閾値の設定方法としては本実施例では以下のような方法を用いる。まず、距離マップを示す画像５０２の領域のうち信頼度マップを示す画像５０３に示す信頼度の高い領域のみでヒストグラムを生成し、公知の手法によってヒストグラムを分割するのに最適な値を閾値として算出する。ここで、上記公知の手法としては、例えば、１つのグループを２つのグループに分割した時、各グループ内の分散が最小に、グループ間の分散が最大になるような閾値を最適値として探索するといった手法が挙げられる。図６は、上記方法で生成された距離マップを示す画像５０２のヒストグラムを示したものであり、被写体が存在する距離値に対するカウント数が大きくなっていることがわかる。本実施例においては、距離マップを示す画像５０２の階調数が８ｂｉｔであり、また３つのグループに分けるので、結果的に３６，４８の２つの閾値が算出される。図５（Ｄ）に示す画像５０４は、算出した閾値によって図５（Ｂ）に示す画像５０２が３つの領域にグルーピングされた距離マップである。これを見ると、人物が含まれる領域は顔や胴体、髪の毛などの間でわずかにあった距離値の差が一つのグループとしてまとめられ、背景は木々を含む手前の領域と、無限遠を含むさらに奥の領域の３つに分けられていることがわかる。

ステップＳ４０４では、ステップＳ４０３で生成した画像５０４のグルーピングされた領域毎に、画像５０１の輝度ヒストグラムを生成する。本実施例ではグルーピングされた領域の数が３つであるため、輝度ヒストグラムも３つ生成される。具体的には、図７（Ａ）〜（Ｃ）に示すように、図５（Ｄ）に示す画像５０４においてグルーピングされた人物、背景（手前側）、背景（奥側）の各領域の輝度ヒストグラムが生成される。

ステップＳ４０５では、ステップＳ４０４で算出した、グループ毎の輝度ヒストグラムを用いて、画像５０１から光源すなわち高輝度な被写体が存在する領域（高輝度領域）を検出する処理を行う。検出の仕方としては、まず、グループ毎にステップＳ４０４で算出された輝度ヒストグラムにおいて所定の輝度値（例えば８ｂｉｔで２２４）以上を有する画素の数をカウントする。カウントされた数が所定数以上、具体的には、カウント対象のグループの領域内の総画素数の所定割合以上、例えば１割以上である場合、そのグループの領域に光源が存在し、そうでなければ存在しないと判定する。これは、高輝度である光源が存在するグループの領域には、高輝度な画素が多く存在するためである。なお、検出の方法としてはこれに限らず、高輝度だけでなく低輝度の画素も所定以上カウントする、など他の手法を用いても良い。画像５０２においては、図７（Ｂ）の輝度ヒストグラムが示す背景（手前側）にイルミネーションなどの光源が存在すると判定され、これによりこのグループの領域にのみ後段の階調補正を適用することが可能となる。尚、画像５０１をステップＳ４０５で高輝度領域に検出された領域を視認できる状態、例えばその領域を示す枠を重畳した状態で表示部１０６に表示すると共に、この枠内の領域に対して動画生成用の補正処理を行なう旨をユーザに通知するようにしてもよい。この通知により、ユーザは画像５０１を動画にする際、所望する領域が変化することになるか否かを確認することができる。

ステップＳ４０６では、入力された画像５０１においてステップＳ４０５で光源が存在すると判定されたグループの領域の距離信頼度が高い領域に、階調補正部２０５が階調補正を行い複数の画像を生成する。本実施例では、高輝度な画素及びその周辺に対して局所的にコントラストを補正する処理において、補正強度を３段階に変えた画像を生成する。具体的には、高輝度の画素及びこれに隣接する数画素に対する階調補正の輝度対ゲイン特性を単調変化の傾きを変えることによってコントラストの補正強度を制御する。これは、局所的なコントラストを変えることによって光の広がり具合を変化させることが目的である。図８の画像８０１〜８０３はステップＳ４０６で生成される画像であり、ステップＳ４０５で判定された背景（手前側）にいる光源の光の広がり具合に違いが各画像で異なっていることがわかる。これは、輝度対ゲイン特性の単調変化の傾きの値がステップＳ４０６で生成される画像間で異なる値となるように制御されているためである。本実施例では、図８の画像８０１〜８０３のうち、画像８０１におけるその傾きの値が最も大きくなるよう制御され、画像８０３の傾きが最も小さくなるよう制御されている。また各画像の補正において、所定の輝度値以上を有する画素（光源）からの距離が遠い画素ほど、コントラストの補正強度すなわちゲイン特性の傾きを該距離が近い画素よりも相対的に小さくする。これにより、光源から受ける光の影響度が距離に応じて変化することが実現できる。

なお、本実施例ではコントラストのみを補正しているが、これに限らず明るさ（輝度）や色、彩度などを補正するようにしても良い。例えば、本実施例のような夜景シーンの場合、光源を人工照明であるイルミネーションに見立てて色をランダムに変えてもよい。このような補正を行うことによって、より夜景の雰囲気を持った変化を与えることができる。

ステップＳ４０７において、ステップＳ４０６で生成された複数の画像を用いて動画生成部２０６により動画が生成され、その生成された動画が記録部１０７へ記録されると、本処理を終了する。本実施例の場合、階調補正前の画像５０１および階調補正後の画像８０１〜８０３を順に並べられ、それを所望とする動画の秒数となるまで繰り返された動画が生成される。すなわち、画像５０１→８０１→８０２→８０３→８０２→８０１→５０１→・・・という並び順のフレーム画像から構成される動画が生成される。なお、フレームの並び順としてはこれに限らず、ランダムとしても良い。動画のフレームレートとしては、人工照明であるイルミネーションの光が変化する間隔を想定し、５ｆｐｓ程度とする。生成する動画のフォーマットは特に限定されず、例えば、ＡＶＩ，ＭＰＧ，ＭｏｔｉｏｎＪＰＥＧやｇｉｆによるアニメーションなどが生成される。

本実施例によれば、入力画像を取得してから、画像処理部１０４で距離情報の取得、領域判定を行った上で階調補正を行い、動画を作成する。この際、光源が存在する領域のみに階調補正の強さを変えた画像が複数生成されるので、撮影した１枚の画像からシーンに適した効果を有する動画を生成することができる。

なお本実施例では、屋外の夜景シーンにおいてイルミネーションが点灯するような動画について述べたが、それ以外のシーンや光源についても本発明は適用可能である。例えば、図４の動画生成処理の対象となる撮影画像が図９の画像９０１のように、暗いシーンでろうそくのような色温度（色味）の低い暖色系の光源の下で撮影される場合がある。この場合、ステップＳ４０６では色を変えずにコントラストや明るさのみをフレーム間の補正強度の差を不均一に補正し、ステップＳ４０７ではフレームの並び順やフレームレートをランダムとすることで不規則な動きを表現することができる。

また本実施例では、距離情報を取得する手段として図３に示したような、光学系１０１の瞳の異なる領域から到来する光束が生ずる複数の被写体像の位相差に基づいて生成する構成について説明したが、他の構成や手段を代用あるいは併用しても良い。例えば、視点の異なる少なくとも２つ以上の多視点画像群を取得すべく、撮像装置１００を複数のレンズおよび撮像素子を有する複眼カメラの構成とすることで、より精度の良い像ずれ量を検出してもよい。また、撮像装置１００を、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラの構成とすることで、模様の変化が乏しい被写体に対する測距性能を向上したりすることが可能となる。

また本実施例では、ステップＳ４０６において光源が含まれるグループの領域が１つのみである場合の階調補正について説明したが、光源が含まれるグループの領域が複数あってもよい。この場合は、光源からの距離に応じて補正の強度を変えるようにしても良い。例えばステップＳ４０４で分割された各グループの領域に対して被写体距離の平均値を算出し、図１０に示すように被写体距離の平均値に応じて補正量を決定する。本実施例では、光源が含まれるグループの領域（この場合２つ）のそれぞれの被写体距離がその平均値である場合に最大の補正量を適用し、被写体距離の平均値からの差が大きくなるにしたがって補正量を小さくしていく。これにより、画像内での局所的な効果の切り替わりを緩やかにすることが可能となる。

また本実施例では、特定のシーンでのみ動画を生成したが、ユーザが好みに応じて動画の生成有無や方法を選択できるようにしても良い。例えば、日中晴天のシーンであっても水面や雪面の太陽光の反射に変化を与えるために、ステップＳ４０６で明るさを補正した画像を生成するようにしてもよい。また、図３（Ｂ）で示すように撮像部１０２を構成する画素３０２にはそれぞれ一対の光電変換部３０３Ａ，３０３Ｂが設けられているため、撮像部１０２からは視差のある２つの画像（多視点画像群）が得られる。よって、この２つの画像を、交互に選択あるいは重み付け加算した画像を合成して動画を生成することで反射光の煌めきを表現することが可能となる。

ここまで、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、実施例で述べた各画像処理の一部あるいは全てを、画像の撮影に用いた装置（カメラなど）の外部の装置（コンピュータなど）に実行させるようにしてもよい。

（その他の実施形態）
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、以下のようなものがある。フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。すなわち、ホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他にも、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後にも前述した実施形態の機能が実現される。すなわち、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現される。

１００ 撮像装置
１０１ 光学系
１０２ 撮像部
１０３ Ａ／Ｄ変換部
１０４ 画像処理部
１０５ 露光量制御部
１０６ 表示部
１０７ 記録部
２０１ 距離情報取得部
２０２ シーン判定部
２０３ ヒストグラム算出部
２０４ 領域判定部
２０５ 階調補正部
２０６ 動画生成部

Claims (14)

1. 撮影により生成された第１の画像を取得する取得手段と、
   前記第１の画像に含まれる前記撮影の際の各被写体の距離の分布に応じて前記第１の画像を２つ以上の領域に分割する分割手段と、
   前記分割された領域の１つを、高輝度な画素が存在する高輝度領域として検出する検出手段と、
   前記高輝度領域において、前記高輝度な画素及びその周辺画素に対して異なる補正強度で前記第１の画像の補正を行い、複数の第２の画像を生成する第１の生成手段と、
   前記生成された複数の第２の画像を用いて動画を生成する第２の生成手段とを備えることを特徴とする画像処理装置。
2. 前記第１の生成手段は、前記補正として、前記第１の画像のコントラスト、輝度、色、彩度のうちの少なくとも１つを補正することを特徴とする請求項１記載の画像処理装置。
3. 前記検出手段は、前記分割された領域の１つの総画素数に対し、前記高輝度な画素の数の割合が所定割合以上である領域を前記高輝度領域として検出することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記第１の生成手段は、前記高輝度な画素から距離が遠くなるほど前記補正強度を弱くすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第１の生成手段は、前記補正強度を前記高輝度な画素からの距離に応じて単調変化させることを特徴とする請求項４記載の画像処理装置。
6. 前記単調変化の傾きの値を、前記複数の第２の画像間で異なる値に制御することを特徴とする請求項５記載の画像処理装置。
7. 前記第１の画像における撮影シーンを判別する判別手段をさらに備え、
   前記判別された撮影シーンに応じて、前記補正として、前記第１の画像のコントラスト、輝度、色、彩度のうちのいずれの補正を行うかについての設定、及び前記複数の第２の画像のそれぞれに対する補正強度の設定を行うことを特徴とする請求項１記載の画像処理装置。
8. 前記撮影シーンは、明るさあるいは色味の情報のうちの少なくとも一つに基づいて判別されることを特徴とする請求項７記載の画像処理装置。
9. 前記取得手段は、前記第１の画像として、視点の異なる少なくとも２つ以上の多視点画像群を取得し、前記第２の生成手段は、前記第１の生成手段により前記補正が行われた前記多視点画像群を選択あるいは合成し、前記動画を生成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記高輝度な画素は、所定の輝度値以上を有する画素であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記第１の画像を前記検出された領域が視認できる状態で表示すると共に、前記検出された領域に対して前記第１の生成手段による補正を行う旨を通知することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 請求項１乃至１１のいずれか１項に記載の画像処理装置と、前記第１の画像を生成する撮像手段と、を備えることを特徴とする撮像装置。
13. 画像処理装置が実行する画像処理方法であって、
    撮影により生成された第１の画像を取得する取得工程と、
    前記第１の画像に含まれる前記撮影の際の各被写体の距離の分布に応じて前記第１の画像を２つ以上の領域に分割する分割工程と、
    前記分割された領域の１つを、高輝度な画素が存在する高輝度領域として検出する検出工程と、
    前記高輝度領域において、前記高輝度な画素及びその周辺に対して異なる補正強度で前記第１の画像の補正を行い、複数の第２の画像を生成する第１の生成工程と、
    前記生成された複数の第２の画像を用いて動画を生成する第２の生成工程とを有することを特徴とする画像処理方法。
14. コンピュータを、請求項１乃至１１のいずれか１項に記載の前記画像処理装置の各手段として機能させるためのプログラム。

Images