JP5720034B2 - 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム及び記録媒体に関するものである。

従来、画像処理装置として、ハイダイナミックレンジ合成（ＨＤＲ（High Dynamic Range）合成）を行うものが知られている（特許文献１参照）。この装置は、異なる露出条件にて順次撮像された複数の画面を合成することによって、映像信号のダイナミックレンジを見かけ上拡大させている。これにより、逆光時などにおいて発生していた「白とび」又は「黒つぶれ」（輝度レベルが著しく高い又は低い部分）を解消する。また、この装置では、手ぶれによって生じる複数の画面間の撮像時の経時的な位置ずれに対応して、複数の画面の各々の座標変換を行った後にＨＤＲ合成を行う。具体的には、画像の動き情報を用いて、２つの画面の共通エリア部分を用いてＨＤＲ合成を行う。これにより、被写体に対する画面（撮像素子）の位置ずれ（画面ぶれ）を解消する。

一方、被写体そのものが移動している場合には、合成された画像上で物体が複数に分かれるという、いわゆる被写体ぶれの問題もある。このため、読み出し信号の出力タイミングを変更したり、露光回数、露光時間又は撮像素子の信号読み出し速度を制御したりする装置が知られている（特許文献２，３参照。）。

特許第３１１０７９７号公報 特開２００５−１３００５４号公報 特開２００５−０６５１１９号公報

特許文献２，３記載の装置は、撮像条件を工夫することによって被写体ぶれを低減させるものであるため、被写体の移動の有無に応じて機器の動作や設定を変更させる必要があり、制御処理が複雑化するおそれがある。

このため、入力画像の画像情報のみを用いて、被写体ぶれを低減させるＨＤＲ合成をすることが望まれている。しかしながら、種々の画像処理を経てＨＤＲ画像を得ることになるため、トーンマップ処理等の後工程時において、ＨＤＲ合成時の処理の影響が顕著となり、良質な画像を得ることができない場合がある。このため、入力画像の画像情報のみを用いて被写体ぶれを補正したＨＤＲ合成を行った場合であっても、後工程を適切に行うことができる画像処理装置、画像処理方法及び画像処理プログラム並びに当該画像処理プログラムを格納した記録媒体が望まれている。

すなわち、本発明の一側面に係る画像処理装置は、露出条件の異なる第１画像及び第２画像が合成された合成画像に対して画像処理を行う画像処理装置である。この装置は、データ取得部及び画像処理部を備える。データ取得部は、合成画像、及び、合成画像の対象領域を示す領域データを取得する。画像処理部は、領域データに基づいて、対象領域と対象領域以外の領域とで、異なる画像処理を行う。ここで、第１画像及び第２画像は、動被写体が描画された領域を含んでいる。合成画像は、動被写体が描画された領域については、第１画像及び第２画像の何れか一方の画素値を用いて作成されている。領域データは、合成画像における動被写体が描画された領域に基づいて生成される１又は複数の領域を対象領域として示す。領域データには、当該領域データが示す対象領域の合成時に用いた画像の画素情報を特定する元画素情報がさらに関連づけされている。元画素情報は、動被写体が描画された領域を作成するために用いた変換前の画素の画素値を推定もしくは導出可能な情報、又は、動被写体が描画された領域を作成するために用いた変換前の画素に施した変換手法を特定する情報である。データ取得部は、領域データに関連した元画素情報を取得する。画像処理部は、領域データ及び元画素情報に基づいて、対象領域と対象領域以外の領域とで、異なる処理を行う。

この画像処理装置では、合成画像に対して画像処理を行う際に、領域データを用いて、動被写体が描画された領域とそれ以外の領域とで異なる処理を行う。動被写体が撮像された領域は、合成処理時に種々の画像処理が施されている。このため、画像全体に対して同一の画像処理を施すのではなく、動被写体が撮像された領域を他の領域を区別して画像処理を施すことにより、後工程時において合成時の処理の影響が顕著となることを回避することができる。よって、入力画像の画像情報のみを用いて被写体ぶれを補正した合成を行った場合であっても、後工程を適切に行うことが可能となる。さらに、例えば、白とびした画像領域を用いて対象領域が合成されたのか、黒とびした画像領域（あるいは画素情報が不足している暗い領域）を用いて対象領域が合成されたのかを判断することができるため、元画素情報によって処理を変更することで後工程をより適切に行うことが可能となる。

一実施形態においては、画像処理装置は、入力部、尤度算出部及び領域データ生成部を備えてもよい。入力部は、第１画像及び第２画像を入力する。尤度算出部は、第１画像及び第２画像の差分に基づいて、各画素における動被写体尤度を算出する。領域データ生成部は、動被写体尤度に基づいて領域データを生成する。このように構成することで、入力画像から領域データを生成することができる。

一実施形態においては、画像処理装置は、露出推定部及び合成部を備えてもよい。露出推定部は、動被写体尤度に基づいて、第１画像と第２画像との露出条件を合わせる露出変換関数を推定する。合成部は、露出変換関数を用いて第１画像及び第２画像を合成する。このように、露出を合わせる際に動被写体尤度が考慮されるため、例えば被写体の動きで色が変化している可能性がある領域を除いて露出を合わせることができる。よって、適切な合成画像を生成することが可能となる。

一実施形態においては、画像処理装置は、合成画像及び領域データを互いに関連づけさせて記録する記録部を有してもよい。このように構成することで、撮像時や合成時だけでなく、合成後の所望のタイミングで後工程を適切に行うことができる。

一実施形態においては、領域データは、第１画像、第２画像又は合成画像のサイズよりも小さいサイズのデータであってもよい。このように構成することで、合成画像に関連付けするデータ量を削減することができる。

一実施形態においては、画像処理部は、対象領域と対象領域以外の領域とで、異なるトーンマッピング処理を行ってもよい。このように、トーンマッピング処理を領域ごとに異なる処理とすることで、対象領域にノイズが多く発生したり、対象領域の色が不自然となることを回避することができる。

本発明の他の側面に係る画像処理方法は、露出条件の異なる第１画像及び第２画像が合成された合成画像に対して画像処理を行う画像処理方法である。この方法は、データ取得ステップ及び画像処理ステップを備える。データ取得ステップでは、合成画像、及び、合成画像の対象領域を示す領域データを取得する。画像処理ステップでは、領域データに基づいて、対象領域と対象領域以外の領域とで、異なる画像処理を行う。ここで、第１画像及び第２画像は、動被写体が描画された領域を含んでいる。合成画像は、動被写体が描画された領域については、第１画像及び第２画像の何れか一方の画素値を用いて作成されている。領域データは、合成画像における動被写体が描画された領域に基づいて生成される１又は複数の領域を対象領域として示す。領域データには、当該領域データが示す対象領域の合成時に用いた画像の画素情報を特定する元画素情報がさらに関連づけされている。元画素情報は、動被写体が描画された領域を作成するために用いた変換前の画素の画素値を推定もしくは導出可能な情報、又は、動被写体が描画された領域を作成するために用いた変換前の画素に施した変換手法を特定する情報である。データ取得ステップでは、領域データに関連した元画素情報を取得する。画像処理ステップでは、領域データ及び元画素情報に基づいて、対象領域と対象領域以外の領域とで、異なる処理を行う、

本発明のさらに他の側面に係る画像処理プログラムは、露出条件の異なる第１画像及び第２画像が合成された合成画像に対して画像処理を行うようにコンピュータを動作させる画像処理プログラムである。該プログラムは、コンピュータをデータ取得部及び画像処理部として動作させる。データ取得部は、合成画像、及び、合成画像の対象領域を示す領域データを取得する。画像処理部は、領域データに基づいて、対象領域と対象領域以外の領域とで、異なる画像処理を行う。ここで、第１画像及び第２画像は、動被写体が描画された領域を含んでいる。合成画像は、動被写体が描画された領域については、第１画像及び第２画像の何れか一方の画素値を用いて作成されている。領域データは、合成画像における動被写体が描画された領域に基づいて生成される１又は複数の領域を対象領域として示す。領域データには、当該領域データが示す対象領域の合成時に用いた画像の画素情報を特定する元画素情報がさらに関連づけされている。元画素情報は、動被写体が描画された領域を作成するために用いた変換前の画素の画素値を推定もしくは導出可能な情報、又は、動被写体が描画された領域を作成するために用いた変換前の画素に施した変換手法を特定する情報である。データ取得部は、領域データに関連した元画素情報を取得する。画像処理部は、領域データ及び元画素情報に基づいて、対象領域と対象領域以外の領域とで、異なる処理を行う。

本発明のさらに他の側面に係る記録媒体は、露出条件の異なる第１画像及び第２画像が合成された合成画像に対して画像処理を行うようにコンピュータを動作させる画像処理プログラムを記録した記録媒体である。該プログラムは、コンピュータをデータ取得部及び画像処理部として動作させる。データ取得部は、合成画像、及び、合成画像の対象領域を示す領域データを取得する。画像処理部は、領域データに基づいて、対象領域と対象領域以外の領域とで、異なる画像処理を行う。ここで、第１画像及び第２画像は、動被写体が描画された領域を含んでいる。合成画像は、動被写体が描画された領域については、第１画像及び第２画像の何れか一方の画素値を用いて作成されている。領域データは、合成画像における動被写体が描画された領域に基づいて生成される１又は複数の領域を対象領域として示す。領域データには、当該領域データが示す対象領域の合成時に用いた画像の画素情報を特定する元画素情報がさらに関連づけされている。元画素情報は、動被写体が描画された領域を作成するために用いた変換前の画素の画素値を推定もしくは導出可能な情報、又は、動被写体が描画された領域を作成するために用いた変換前の画素に施した変換手法を特定する情報である。データ取得部は、領域データに関連した元画素情報を取得する。画像処理部は、領域データ及び元画素情報に基づいて、対象領域と対象領域以外の領域とで、異なる処理を行う。

本発明の他の側面に係る画像処理方法、画像処理プログラム及び記録媒体によれば、上述した画像処理装置と同様の効果を奏する。

本発明の種々の側面及び実施形態によれば、入力画像の画像情報のみを用いて被写体ぶれを補正したＨＤＲ合成を行った場合であっても、後工程を適切に行うことができる画像処理装置、画像処理方法及び画像処理プログラム並びに当該画像処理プログラムを格納した記録媒体が提供される。

一実施形態に係る画像処理装置を搭載した携帯端末の機能ブロック図である。 図１の画像処理装置が搭載される携帯端末のハードウェア構成図である。 図１に示す画像処理装置の前処理動作を示すフローチャートである。 動き検出を説明する概要図である。 差分画像を説明する概要図である。 多重解像度を用いて差分画像を導出する例を説明する概要図である。 露出変換関数の一例を示すグラフである。 輝度変換関数を説明する概要図である。 図１に示す画像処理装置の合成動作を示すフローチャートである。 合成処理の流れを説明する概要図である。 合成マスクを説明する概要図である。（Ａ）は、露出変換関数の一例を示すグラフである。（Ｂ）は、露出変換関数同士を繋ぎ合わせる際の重みの一例を示すグラフである。 輝度ベースマスクを説明する概要図である。（Ａ）は、入力画像の一例である。（Ｂ）は、輝度ベースマスクの一例である。 差分画像の被写体ぶれ領域のラベリングを説明する概要図である。（Ａ）は、差分画像の一例である。（Ｂ）は、ラベリングした差分画像の一例である。 被写体ぶれマスクの生成処理の流れを説明する概要図である。 合成マスクの生成処理の流れを説明する概要図である。 一実施形態に係る画像処理装置を搭載した携帯端末の機能ブロック図である。 図１６に示す画像処理装置の領域データ動作を示すフローチャートである。 領域データの一例である。 図１６に示す画像処理装置のトーンマッピング動作を示すフローチャートである。 動被写体が撮像された入力画像であって、黒つぶれ領域を含む入力画像の一例である。（Ａ），（Ｂ）は、それぞれ異なる露出条件で撮像された画像である。 図２０に示す２つの入力画像から生成されたＨＤＲ画像全体に対してトーンマッピング処理をした比較例１である。（Ａ）は、トーンマッピング処理後の画像であり、（Ｂ）は、（Ａ）における動被写体領域を説明する画像である。 図２１の（Ｂ）に示す比較例１の動被写体領域の一部拡大図である。 図２０に示す２つの入力画像から生成されたＨＤＲ画像に対して、トーンマッピング処理をするとともに、動被写体領域に対してノイズ除去フィルタを適用した実施例１である。（Ａ）は、ノイズ除去フィルタを適用した画像であり、（Ｂ）は、（Ａ）における動被写体領域を説明する画像である。 図２３の（Ｂ）に示す実施例１の動被写体領域の一部拡大図である。 動被写体が撮像された入力画像であって、白とび領域を含む入力画像の一例である。（Ａ），（Ｂ）は、それぞれ異なる露出条件で撮像された画像である。 図２５に示す２つの入力画像から生成されたＨＤＲ画像全体に対してトーンマッピング処理をした比較例２である。（Ａ）は、トーンマッピング処理後の画像であり、（Ｂ）は、（Ａ）における動被写体領域を説明する画像である。 図２５に示す２つの入力画像から生成されたＨＤＲ画像に対して領域ごとに異なるトーンマッピング処理をした実施例２である。（Ａ）は、領域ごとに異なるトーンマッピング処理を行った画像であり、（Ｂ）は、（Ａ）における動被写体領域を説明する画像である。

以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。

（第１実施形態）
本実施形態に係る画像処理装置は、露出条件の異なる複数の画像を合成して一つの合成画像を生成する装置である。この画像処理装置は、例えば、異なる露出条件で順次撮像された複数の画像を合成して、映像信号のダイナミックレンジを見かけ上拡大させるＨＤＲ合成を行う場合に採用される。本実施形態に係る画像処理装置は、例えば、携帯電話、デジタルカメラ、ＰＤＡ（Personal Digital Assistant）等、リソースに制限のあるモバイル端末に好適に搭載されるものであるが、これらに限られるものではなく、例えば通常のコンピュータシステムに搭載されてもよい。なお、以下では、説明理解の容易性を考慮し、本発明に係る画像処理装置の一例として、カメラ機能を備えた携帯端末に搭載される画像処理装置を説明する。

図１は、本実施形態に係る画像処理装置１を備える携帯端末２の機能ブロック図である。図１に示す携帯端末２は、例えばユーザにより携帯される移動端末であり、図２に示すハードウェア構成を有する。図２は、携帯端末２のハードウェア構成図である。図２に示すように、携帯端末２は、物理的には、ＣＰＵ（Central Processing Unit）１００、ＲＯＭ（Read Only Memory）１０１及びＲＡＭ（Random Access Memory）１０２等の主記憶装置、カメラ又はキーボード等の入力デバイス１０３、ディスプレイ等の出力デバイス１０４、ハードディスク等の補助記憶装置１０５などを含む通常のコンピュータシステムとして構成される。後述する携帯端末２及び画像処理装置１の各機能は、ＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の元で入力デバイス１０３及び出力デバイス１０４を動作させるとともに、主記憶装置や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。なお、上記の説明は携帯端末２のハードウェア構成として説明したが、画像処理装置１がＣＰＵ１００、ＲＯＭ１０１及びＲＡＭ１０２等の主記憶装置、入力デバイス１０３、出力デバイス１０４、補助記憶装置１０５などを含む通常のコンピュータシステムとして構成されてもよい。また、携帯端末２は、通信モジュール等を備えてもよい。

図１に示すように、携帯端末２は、カメラ２０、画像処理装置１及び表示部２１を備えている。カメラ２０は、画像を撮像する機能を有している。カメラ２０として、例えばＣＭＯＳの画素センサ等が用いられる。カメラ２０は、例えばユーザ操作等により指定されたタイミングから所定の間隔で繰り返し撮像する連続撮像機能を有している。すなわち、カメラ２０は、一枚の静止画像だけでなく複数毎の静止画像（連続するフレーム画像）を取得する機能を有している。さらに、カメラ２０は、連続する各フレーム画像の露出条件を変更して撮像する機能を有している。すなわち、カメラ２０によって連続撮像された各画像は、それぞれ露出条件の異なる画像となる。カメラ２０は、例えば撮像されたフレーム画像を撮像の度に画像処理装置１へ出力する機能を有している。

画像処理装置１は、画像入力部１０、前処理部１１、動き補正部１５及び合成部１６を備えている。

画像入力部１０は、カメラ２０により撮像されたフレーム画像を入力する機能を有している。画像入力部１０は、例えばカメラ２０により撮像されたフレーム画像を撮像の度に入力する機能を有している。また、画像入力部１０は、入力フレーム画像を、携帯端末２に備わる記憶装置に保存する機能を有している。

前処理部１１は、ＨＤＲ合成前の前処理を行う。前処理部１１は、動き情報取得部１２、尤度算出部１３及び露出推定部１４を備えている。

動き情報取得部１２は、画像間の画素の動き情報を取得する機能を有している。例えば、入力フレーム画像を第１画像及び第２画像とすると、第１画像及び第２画像間の画素の動き情報を取得する。動き情報としては、例えば動きベクトルが用いられる。また、動き情報取得部１２は、３以上の入力画像が画像入力部１０により入力された場合には、入力画像を露出順にソートし、露出条件の近い入力画像間で動き情報を取得してもよい。露出条件の近い画像同士を比較して動きを検出することにより、画像間の露出の差によって動きの検出精度が低下することを回避することができる。そして、動き情報取得部１２は、複数の入力画像の中から、動き情報を合わせる基準画像を選択してもよい。基準画像としては、例えば複数の入力画像の中で最も有効画素が多い画像を採用する。ここで、有効画素とは、黒つぶれ又は白飛びしていない画素である。黒つぶれ又は白飛びは、輝度値を基準として判定される。また、動き情報取得部１２は、２つの入力画像を用いて動き情報を取得する場合には、２つの入力画像のうち露出の高い入力画像から特徴点を抽出し、それに対する対応点を露出の低い画像から求めてもよい。このように動作することで、露出の低い画像においては特徴点として抽出された点が露出の高い画像においては白飛びしていることにより、動き情報が取得できないことを回避することができる。なお、ジャイロセンサ等から動き情報を取得してもよい。動き情報取得部１２は、動き情報を尤度算出部１３へ出力する機能を有している。

尤度算出部１３は、各画素における被写体の動きの尤度（動被写体尤度）を算出する機能を有している。動被写体尤度が大きいほど、被写体に動きがある可能性が高く、合成画像がぶれる領域となる可能性が高いことを意味する。尤度算出部１３は、動き情報を用いて入力画像間の画面の動きを補正する。その後、尤度算出部１３は、２つの入力画像において対応する画素の画素値を正規化する。例えば、尤度算出部１３は、近傍画素の画素値に基づいてＬｏｃａｌ Ｔｅｒｎａｒｙ Ｐａｔｔｅｒｎｓ（ＬＴＰ）を求める。画素値としては、ＲＧＢ３色が用いられ、近傍画素としては２４近傍が用いられる。そして、尤度算出部１３は、正規化された画像間の差分を用いて動被写体尤度を算出する。例えば、正規化された画素値の差分、すなわち注目画素のＬＴＰにおける符号の不一致割合を、注目画素の動被写体尤度として算出する。

また、尤度算出部１３は、２つの入力画像を多重解像度化して動被写体尤度を算出してもよい。例えば、尤度算出部１３は、各入力画像（第１画像及び第２画像）の解像度をそれぞれ段階的に変更することで、解像度の異なる複数の画像（第１処理画像及び第２処理画像）を作成する。そして、尤度算出部１３は、同一の解像度において、第１処理画像及び第２処理画像の差分画像を作成する。この差分画像とは、第１処理画像と第２処理画像との差分であり、具体的には画素値の差分である。そして、尤度算出部１３は、解像度ごとに得られた差分画像を重み付けすることによって各画素の動被写体尤度を算出する。重み（信頼度）としては、各画素のＬＴＰにおける符号の不一致割合が用いられる。例えば、ＬＴＰにおいて、有意に差があるペアの数が用いられる。また、重みは、第１処理画像又は第２処理画像の画像サイズ又は解像度によってさらに重み付けされてもよい。すなわち、画像サイズが大きいほど又は解像度が大きいほど、重みを大きくしてもよい。尤度算出部１３は、各画素の動被写体尤度を露出推定部１４へ出力する機能を有している。

露出推定部１４は、入力画像間の露出条件を合わせる露出変換関数を推定する機能を有している。露出変換関数とは、各入力画像の露出を基準画像相当に露出変換するための関数である。例えば、露出変換関数は、異なる露出条件で撮影された同一シーンの画像について、対応する画素（位置）における画素値の関係を示す関数を意味するものである。露出変換関数を用いることにより、一方の画素値を引数とすれば、対応する画素における他方の画素値を算出することができる。露出推定部１４は、３以上の入力画像が入力された場合には、露出条件の近い入力画像間で露出条件をあわせてもよい。露出条件の近い画像同士を比較して露出を合わせることにより、画像間の露出の差によって推定の精度が低下することを回避することができる。

露出推定部１４は、例えば、動き情報を用いて入力画面間の動きを補正する。そして、動き補正後の２つの入力画像において、同一の箇所から輝度値を組としてサンプリングし、その関係をプロットする。入力画像の座標としては例えばＨａｌｔｏｎ数列が用いられる。なお、露出推定部１４は、所定の値以上の輝度値や所定の値以下の輝度値をサンプリング点として採用しなくてもよい。例えば、１０〜２４５の範囲に含まれる輝度値をサンプリング点として採用する。露出推定部１４は、例えば、プロットの結果をフィッティングすることにより、露出変換関数を推定する。例えば、第１画像のサンプリング点ｉにおける元の輝度値をＫ_ｉ、露出変換関数をｆ（Ｋ_ｉ）、第２画像のサンプリング点ｉにおける元の輝度値をＵ_ｉとした場合、以下の誤差関数ｅを用いて、Ｇａｕｓｓ−Ｎｅｗｔｏｎ法によりフィッティングしてもよい。

なお、露出推定部１４は、各画素の動被写体尤度に基づいて、露出変換関数を導出するためのサンプリングを行う。露出推定部１４は、例えば、各画素の動被写体尤度に基づいてサンプリング点を選択する。例えば、露出推定部１４は、段階的に閾値を設けて、動被写体尤度の小さい画素から輝度値をサンプリングする。また、露出推定部１４は、動被写体尤度に基づいて、サンプリング点に重みを付けてもよい。例えば、以下の誤差関数ｅを最小化させてフィッティングしてもよい。
式２において、ｗ_ｉは重みである。ここで、動被写体尤度が高い画素ほど、重みｗ_ｉを小さく設定する。このように、露出推定部１４が各画素の動被写体尤度に基づいて露出変換関数を算出することで、信頼度の低いサンプリング点のデータほど露出変換関数の導出に影響を与えないようにすることができる。なお、露出変換関数は、変換後の入力画像が表現可能な範囲に収まるように変更されてもよい。

動き補正部１５は、動き情報を用いて入力画面間の動きを補正する機能を有している。合成部１６は、合成マスクを用いて入力画像同士あるいは、既に合成された画像と入力画像とを合成する。合成マスクは、画像同士を合成（αブレンド）する際の合成比（重み）を画像化したものである。合成部１６は、３以上の入力画像がある場合には、まず合成マスクに従って２つの入力画像を合成し、合成画像と残りの入力画像との合成マスクを生成して合成を行う。合成部１６は、輝度ベースマスク及び被写体ぶれマスクを結合して合成マスクを生成する。輝度ベースマスクは、画像同士を合成する際の重みを輝度値に基づいて決定することで、白飛びや黒つぶれの領域を合成に用いることを回避するためのマスクである。被写体ぶれマスクは、被写体が移動する画像を合成した際に、被写体が２重３重に重なって表示される現象（ゴースト現象）を回避するためのマスクである。

合成部１６は、入力画像の元の輝度値に基づいて重みを算出し、輝度ベースマスクを生成する。重みは、例えば以下の算出式で求める。
上記算出式により、重みが適切に決定されるとともに、輝度的な不連続性が軽減される。なお、空間的な不連続性を軽減するために、合成マスクに対してぼかし処理を施してもよい。

合成部１６は、入力画像間の差分に基づいて重みを算出し、被写体ぶれマスクを生成する。合成部１６は、入力画像間の画素値の差分から、動被写体尤度を算出する。入力画像間の画素値の差分及び動被写体尤度については、上述した尤度算出部１３と同様に動作することで得ることができる。そして、尤度算出部１３は、動被写体尤度が所定の閾値以下となる画素が隣接する被写体ぶれ領域を検出し、各被写体ぶれ領域に対して識別ラベルを付与し、被写体ぶれ領域ごとに被写体ぶれマスクを生成する。なお、所定の閾値は、要求仕様に応じて適宜変更可能である。閾値を大きく設定すると、連続領域を抽出しやすくすることができる。被写体ぶれ領域ごとにマスクを生成することにより、被写体ぶれ領域ごとに白飛び領域あるいは黒つぶれ領域を回避するように情報量の多い画像から画素を選択することができる。すなわち、この被写体ぶれマスクとしては、合成する画像同士のうち強制的に輝度値の低い画素値を選択させるｌｏ_ｍａｓｋ（第１マスク）、又は、合成する画像同士のうち強制的に輝度値の高い画素値を選択させるｈｉ_ｍａｓｋ（第２マスク）が存在する。合成部１６は、基本的には、情報量の多い高露出の画像から画素値を選択させる第２マスクを生成する。しかしながら、合成部１６は、高露出の画像において被写体ぶれ領域が白飛び領域に影響される場合には、第１マスクを生成する。具体的には、以下の何れかの条件を満たす場合には第１マスクを生成する。第１の条件としては、合成する２つの画像のうち、高露出の画像の白飛びの面積が低露出の画像の黒つぶれ領域の面積よりも大きい場合である。第２の条件としては、合成する２つの画像のうち高露出の画像において、被写体ぶれ領域内の白飛び領域の面積が１０％以上の場合である。なお、合成する２つの画像のうち高露出の画像において、被写体ぶれ領域と隣接する領域が白飛び領域である場合を条件としてもよい。

合成部１６は、輝度ベースマスク及び被写体ぶれマスクを結合させて合成マスクを生成する。例えば、合成部１６は、輝度ベースマスクに対して、第１マスクを反転させたマスクを乗算する。また、合成部１６は、輝度ベースマスクに対して、第２マスクを加算する。合成部１６は、全ての入力画像を合成し、最終的な合成画像を表示部２１へ出力する。表示部２１は、合成画像を表示する。表示部２１として例えばディスプレイ装置が用いられる。

次に、画像処理装置１の動作を説明する。図３は、ＨＤＲ合成の前処理を説明するフローチャートである。図３に示す制御処理は、例えばユーザによってＨＤＲ合成モードが選択され、カメラ２０が複数の画像を連続撮像した場合に開始する。

まず、画像入力部１０が画像フレームを入力する（Ｓ１０）。以下では、説明理解の容易性を考慮して、５つの入力画像Ｉ_０〜Ｉ_４を入力したものとして説明する。Ｓ１０の処理が終了すると、露出順ソート処理へ移行する（Ｓ１２）。

Ｓ１２の処理では、動き情報取得部１２が入力画像Ｉ_０〜Ｉ_４を露出順にソートする。動き情報取得部１２は、例えば輝度値の平均値を用いてソートする。ここでは、入力画像Ｉ_０〜Ｉ_４の数字が小さくなるほど輝度値が小さいものとする。この場合、入力画像Ｉ_０〜Ｉ_４は、数字の順にソートされる。Ｓ１２の処理が終了すると、動き情報取得処理へ移行する（Ｓ１４）。

Ｓ１４の処理では、動き情報取得部１２が、入力画像Ｉ_０〜Ｉ_４のそれぞれの画像間の動き情報を取得する。図４は、動き情報の取得処理を説明する概要図である。図４に示すように、入力画像Ｉ_０〜Ｉ_４が左から右に向けて順に平均輝度値が大きくなるように並べられているとする。まず、動き情報取得部１２は、入力画像Ｉ_０〜Ｉ_４の中から基準画像を設定する。ここでは、入力画像Ｉ_２を基準画像とする。次に、露出条件の近い入力画像同士の動き情報を取得する（例えば、入力画像Ｉ_０と入力画像Ｉ_１、入力画像Ｉ_１と入力画像Ｉ_２等）。動き情報取得部１２は、２つの入力画像のうち、露出の高い入力画像で特徴点を抽出して、抽出された特徴点に対する対応点を露出の低い入力画像から抽出する。この動き情報によって、露出条件の近い入力画像同士を同一次元の座標に変換する変換行列を求めることができる。なお、図４では、露出条件の近い入力画像同士のうち、露出の低い画像を露出の高い画像へあわせるための変換行列ｍ１０，ｍ２１，ｍ３２，ｍ４３を示している。次に、変換行列ｍ１０，ｍ２１，ｍ３２，ｍ４３を用いて、基準画像Ｉ_２以外の他の入力画像Ｉ_０，Ｉ_１，Ｉ_３，Ｉ_４の座標を基準画像Ｉ_２相当の座標へ変形させる変換行列を算出する。図４に示すように、入力画像Ｉ_０を基準画像Ｉ_２へ変換させる変換行列は、ｍ１０*ｍ２１である。入力画像Ｉ_１を基準画像Ｉ_２へ変換させる変換行列は、ｍ１０である。入力画像Ｉ_３を基準画像Ｉ_２へ変換させる変換行列は、（ｍ３２）^−１である。入力画像Ｉ_４を基準画像Ｉ_２へ変換させる変換行列は、（ｍ３２*ｍ４３）^−１である。以下では変換後の入力画像をＩ_０’〜Ｉ_４’として説明する。Ｓ１４の処理が終了すると、動被写体尤度算出処理へ移行する（Ｓ１６）。

Ｓ１６の処理では、尤度算出部１３が、入力画像Ｉ_０’〜Ｉ_４’のそれぞれの画像間の動被写体尤度を算出する。図５は、入力画像Ｉ_０’と入力画像Ｉ_１’との画像間における動被写体尤度を算出する例である。なお、図５では、画素値としてＲ値を用いる場合を示している。図５に示すように、尤度算出部１３は、入力画像Ｉ_０’の注目画素（Ｒ値＝４２）の８近傍の画素値（Ｒ値）を取得する。そして、注目画素の画素値と８近傍の画素値を用いて正規化する。例えば、ＬＴＰを用いる。注目画素の画素値と８近傍の画素値との差が±５の範囲であれば０、＋５より大きい場合には１、−５より小さい場合には−１とする。尤度算出部１３は、入力画像Ｉ_１’についても、同様に正規化する。図中では、入力画像Ｉ_０’の注目画素に対応する入力画像Ｉ_１’の画素において正規化している。次に、正規化された画素の画素値を比較すると、差分が生じていることがわかる。差分の大きさ（符号の不一致度合い）に応じて当該画素の色を黒から白へ変化させた画像として表したものが差分画像Ｘである。この差分画像は、各画素の動被写体尤度が画像化されたものである。なお、８近傍に限定されることはなく、２４近傍であってもよい。また、Ｒ値のみに限られずＧ値及びＢ値についても同様に処理してもよい。

差分画像Ｘの領域Ｃ_１に示す平滑領域の動被写体尤度の精度を向上させるために、尤度算出部１３は、多重解像度を用いて動被写体尤度を求めてもよい。図６は、多重解像度を用いて動被写体尤度を求める一例である。まず、尤度算出部１３は、入力画像Ｉ_０’と入力画像Ｉ_１’との解像度を段階的に変更させた複数の画像を生成する。そして、同一の解像度同士で差分画像を生成する。この差分画像は、単純に画素値を差し引いたものである。図６では、入力画像Ｉ_０’と入力画像Ｉ_１’とを６段階に多重化した場合を示している。それぞれの差分画像がＸ_１〜Ｘ_６であり、数字が大きくなるほど低い解像度の差分画像となる。また、解像度が低いほど画像サイズが小さくなる。この差分画像を信頼度で重み付けして最終的な差分画像を算出する。信頼度は、例えば、上述したＬＴＰの差分において有意な差のあるペアの数に画像サイズ（又は解像度）を乗算したものを用いる。例えば、図５に示すＬＴＰの場合には有意な差のあるペアの数は１となる。このように、画素ごとにペアの数と画像サイズとを掛けあわせて、差分画像Ｘ_１〜Ｘ_６に対応する重み画像（重みを画像化したもの）を算出する。そして、差分画像Ｘ_１〜Ｘ_６と重み画像とを用いて最終的な差分画像を算出する。尤度算出部１３は、上述した手法と同様の手法で、入力画像Ｉ_１’〜Ｉ_４’までの差分画像を算出する。Ｓ１６の処理が終了すると、露出変換関数推定処理へ移行する（Ｓ１８）。

Ｓ１８の処理では、露出推定部１４が露出変換関数を推定する。露出推定部１４は、変換前の輝度値をｘ、変換後の輝度値をｙとすると露出変換関数を以下の数式で表すことができる。
ここで、（ａ，ｂ）は露出変換パラメータである。露出変換パラメータ（ａ，ｂ）を導出することで露出変換関数を求めることができる。以下では、動き補正後の入力画像Ｉ_０’と入力画像Ｉ_１’との露出変換関数を求める場合を説明する。露出推定部１４は、入力画像の点（ｘ，ｙ）において、露出の低い入力画像Ｉ_０’の輝度値と露出の低い入力画像Ｉ_１’の輝度値の組みをいくつかサンプリングして、その関係をプロットする。ここで、Ｓ１６の処理で取得した差分画像に基づいて、サンプリングする点を選択する。例えば、動被写体尤度の高い領域からはサンプリングしないように設定する。すなわち動被写体尤度の低いものからサンプリングするように設定する。そして、例えば動被写体尤度が高いほど低い重みを割り当てて、式２を用いて露出変換関数を推定する。これにより、例えば図７に示すようなフィッティングが行われる。尤度算出部１３は、上述した手法と同様の手法で、入力画像Ｉ_１’〜Ｉ_４’間の露出変換関数を推定する。なお、輝度値が０に近いデータ又は２５５に近いデータを除いてもよい。

図８は、上記の露出変換関数の推定処理を説明する概要図である。なお、図８では、露出条件の近い入力画像同士のうち、露出の低い画像を露出の高い画像へあわせるための露出変換パラメータ（ａ１０，ｂ１０）、（ａ２１，ｂ２１）、（ａ３２，ｂ３２）、（ａ４３，ｂ４３）を示している。最終的な合成画像が表現可能な範囲に収まるように、最も露出の低い入力画像Ｉ_０’の露出変換パラメータ（Ａ_０，Ｂ_０）のＡ_０を１．０に設定することで、変換結果が１．０を超えないようにしてもよい。ここでは、入力画像Ｉ_０’の露出変換後の画像を、入力画像Ｉ_０’’として表示している。また、最も露出の低い入力画像Ｉ_０’に対する基準画像Ｉ_２’の露出変換パラメータを（Ａ_２，Ｂ_２）とすると、Ａ_０を１．０に設定すると同時にＢ_２を１．０とすることで、ゲインが１／Ａ_２のときに色味が入力画像と等しくなるように設定してもよい。尤度算出部１３は、上述した処理をＲＧＢチャネルごとに別々に行う。Ｓ１８の処理が終了すると図３に示す前処理を終了する。

以上で図３に示す制御処理を終了する。図３に示す制御処理を実行することで、露出変換関数を推定する前に、被写体ぶれを検出することで、被写体ぶれ領域からサンプリングすることを回避したり、被写体ぶれ領域からサンプリングされたデータの影響を重み付けにより小さくすることができる。このため、露出変換関数を精度良く推定することができる。また、従来のＨＤＲ技術であれば、被写体ぶれの補正は、露出合わせが行われていないと正確に行うことができず、また逆に露出合わせは被写体ぶれの修正が行われていないと正確にできない。しかし、露出変換関数を推定する前に簡易的に被写体ぶれ（被写体の動き）を検出することで、上記デットロック関係を解消することができる。

次に、画像処理装置１の合成動作を説明する。図９は、ＨＤＲ合成を説明するフローチャートである。図９に示す制御処理は例えば図３に示す制御処理が終了すると開始する。

図９に示すように、動き補正部１５が実際に動きを補正する（Ｓ２０）。この処理では、図３のＳ１４の処理と同様に、動き補正部１５が、変換行列を用いて、露出変換後の入力画像Ｉ_０’’〜Ｉ_４’’の動きを補正する。なお、要求される精度に応じてサブピクセル補間アルゴリズム等を用いることができるようにしてもよい。Ｓ２０の処理が終了すると、輝度ベースマスク生成処理及び被写体ぶれ領域抽出処理へ移行する（Ｓ２２及びＳ２４）。

Ｓ２２の処理では、合成部１６が輝度ベースマスクを生成する。図１０は、合成処理の流れを説明する概要図である。図１０に示すように、露出の低い入力画像Ｉ_０’’から順に、入力画像Ｉ_１’’〜Ｉ_４’’を置き換えていくことで合成する。すなわち、最初は、入力画像Ｉ_０’’に対して入力画像Ｉ_１’’をどの程度合成させるかを定める輝度ベースマスクを生成する。この輝度ベースマスクは、入力画像Ｉ_１’’の元の輝度値から重みを算出する。例えば、白飛び領域の付近の重みを０とする。このように重みを設定して、露出の低い画像へ露出の高い画像を重ねるように合成させることで、対象のピクセルに対して情報量の多い入力画像を必ず選択させることができる。図１１の（Ａ）は、入力輝度に対するピクセル値の関係を示すグラフである。図１１の（Ａ）に示すように、関数ｆ_０〜ｆ_３は、輝度値に基づいてどちらの画像の画素値を採用するかを示すグラフである。関数ｆ_０〜ｆ_３は、数字が大きくなるほど露出が大きい画像に適用されるものである。例えば、最も露出の低い入力画像Ｉ_０’’が入力されると、関数ｆ_０が適用されて全ての画素値が採用される。次に、入力画像Ｉ_１’’が入力されると、関数ｆ_０と関数ｆ_１とが適用される。このため、Ｓ０〜Ｓ５の輝度値の範囲では、入力画像Ｉ_１’’が採用され、Ｓ６以上の輝度値の範囲では、入力画像Ｉ_０’’が採用される。Ｓ５〜Ｓ６の輝度値の範囲は、（Ｂ）に示す重みでブレンドされた合成値で採用される。なお、便宜上γ補正は省略している。次に入力画像Ｉ_２’’が入力されると、関数ｆ_０〜ｆ_２が適用される。このため、Ｓ０〜Ｓ３の輝度値の範囲では、入力画像Ｉ_２’’が採用され、Ｓ４〜Ｓ５の輝度値の範囲では、入力画像Ｉ_１’’が採用され、Ｓ６以上の輝度値の範囲では、入力画像Ｉ_０’’が採用される。Ｓ３〜Ｓ４及びＳ５〜Ｓ６の輝度値の範囲は、（Ｂ）に示す重みでブレンドされた合成値で採用される。次に入力画像Ｉ_３’’が入力されると、関数ｆ_０〜ｆ_３が適用される。このため、Ｓ０〜Ｓ１の輝度値の範囲では、入力画像Ｉ_３’’が採用され、Ｓ２〜Ｓ３の輝度値の範囲では、入力画像Ｉ_２’’が採用され、Ｓ４〜Ｓ５の輝度値の範囲では、入力画像Ｉ_１’’が採用され、Ｓ６以上の輝度値の範囲では、入力画像Ｉ_０’’が採用される。Ｓ１〜Ｓ２、Ｓ３〜Ｓ４及びＳ５〜Ｓ６の輝度値の範囲は、（Ｂ）に示す重みでブレンドされた合成値で採用される。このように、露出の高い画像が優先的に採用される。また、白とび領域部分については露出の低い画像が採用されるとともに、境界部分を滑らかにブレンドする。上記図１１の（Ａ）に示すグラフを画像化した輝度ベースマスクの一例を図１２に示す。図１２の（Ａ）は入力画像を示し、（Ｂ）は当該入力画像の輝度ベースマスクである。図１２の（Ｂ）では、１００％入力画像の画素値を利用する場合には白とし、１００％入力画像の画素値を利用しない場合には黒として表現している。Ｓ２２の処理が終了すると、合成マスク生成処理へ移行する（Ｓ３２）。

一方、Ｓ２４の処理では、合成部１６が被写体ぶれ領域を抽出する。例えば、合成部１６が、図３のＳ１６の処理と同様に差分画像を算出し、動被写体尤度が所定値以上の領域を被写体ぶれ領域として抽出する。図１３の（Ａ）は、被写体ぶれ領域を含む差分画像の一例である。Ｓ２４の処理が終了すると、ラベリング処理へ移行する（Ｓ２６）。

Ｓ２６の処理では、合成部１６が被写体ぶれ領域をラベリングする。合成部１６は、連続する被写体ぶれ領域に対して一つのラベルＲ_ｎを設定する。図１３の（Ｂ）は、連続領域をラベリングした例である。Ｓ２６の処理が終了すると、各領域の基準画像の選択処理へ移行する（Ｓ２８）。

Ｓ２８の処理では、合成部１６が被写体ぶれ領域ごとに基準画像を設定する。合成部１６は、基準画像として基本的に高露出の画像を優先させる。例えば、入力画像Ｉ_０’’と入力画像Ｉ_１’’とを合成する場合には、基準画像として入力画像Ｉ_１’’が選択される。ただし、入力画像Ｉ_１’’において被写体ぶれ領域が白飛び領域に影響される場合には、基準画像として入力画像Ｉ_０’’が選択される。Ｓ２８の処理が終了すると、被写体ぶれマスク生成処理へ移行する（Ｓ３０）。

Ｓ３０の処理では、合成部１６が被写体ぶれ領域ごとに被写体ぶれマスクを生成する。合成部１６は、基準画像として高露出の画像を優先させる場合には第２マスクを生成する。一方、基準画像として低露出の画像を優先させる場合には第１マスクを生成する。図１４は、Ｓ２４〜Ｓ３０の一連の処理を説明する概要図である。図１４に示すように、入力画像Ｉ_０’’と入力画像Ｉ_１’’とを合成する際に、差分画像Ｘを求め、差分画像の領域ごとに、第１マスク（ｌｏ_ｍａｓｋ）又は第２マスク（ｈｉ_ｍａｓｋ）が生成される。すなわち、被写体が動く領域については、被写体ぶれマスクを用いることで一枚の画像のみから画素値を入力させることで、上述したゴースト現象を回避することができる。Ｓ３０の処理が終了すると、合成マスク生成処理へ移行する（Ｓ３２）。

Ｓ３２の処理では、合成部１６が輝度ベースマスク及び被写体ぶれマスクに基づいて合成マスクを生成する。図１５は、合成マスクの生成処理を説明する概要図である。図１５に示すように、ｌｏ_ｍａｓｋを反転させた画像を輝度ベースマスクに乗算する。また、ｈｉ_ｍａｓｋを輝度ベースマスクに加算する。このように結合させることで、合成マスクが生成される。Ｓ３２の処理が終了すると、合成処理へ移行する（Ｓ３４）。

Ｓ３４の処理では、合成部１６がＳ３２の処理で作成された合成マスクに従って合成処理を行う。なお、合成済み画像の輝度値Ｐ_０と露出変換関数を適用させた入力画像の輝度値Ｐ_１を重みａで合成する場合、合成後の輝度値Ｐ_２は以下の数式で求めることができる。
このとき、露出の最も低い画像については全領域をそのまま合成する。Ｓ３４の処理が終了すると、入力画像確認処理へ移行する（Ｓ３６）。

Ｓ３６の処理では、合成部１６が全ての入力画像を合成したか否かを判定する。全ての入力画像を合成していない場合には、Ｓ２２及びＳ２４の処理へ移行する。そして、例えば、図１０に示すように、入力画像Ｉ_０’’と入力画像Ｉ_１’’との合成画像Ｏ_０と、新たな入力画像Ｉ_０’’との合成処理が行われる。一方、全ての入力画像を合成した場合には、図９に示す制御処理を終了する。

図９に示す制御処理を実行することで、被写体ぶれの補正されたＨＤＲ合成画像が生成される。

次に、携帯端末（コンピュータ）２を上記画像処理装置１として機能させるための画像処理プログラムを説明する。

画像処理プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、入力画像を取得するように携帯端末２を動作させる。演算処理モジュールは、動き情報取得モジュール、尤度算出モジュール、露出推定モジュール、動き補正モジュール及び合成モジュールを備えている。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した画像処理装置１の画像入力部１０、動き情報取得部１２、尤度算出部１３、露出推定部１４、動き補正部１５及び合成部１６の機能とそれぞれ同様である。

画像処理プログラムは、例えば、ＲＯＭ等の記録媒体または半導体メモリによって提供される。また、画像処理プログラムは、データ信号としてネットワークを介して提供されてもよい。

以上、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムによれば、第１画像と第２画像との露出を合わせる前に、第１画像と第２画像との差分に基づいて各画素における被写体の動きの尤度を算出する。そして、被写体の動きの尤度に基づいて第１画像と第２画像との露出条件を合わせる露出変換関数を推定する。このように、露出を合わせる際に被写体の動きの尤度が考慮されるため、例えば被写体の動きで色が変化している可能性がある領域を除いて露出を合わせることができる。よって、適切な合成画像を生成することが可能となる。さらに、被写体ぶれマスクを用いて被写体ぶれ（ゴースト的な表示）の発生を回避し、クリアな画像とすることができる。

（第２実施形態）
第２実施形態に係る画像処理装置は、第１実施形態に係る画像処理装置とほぼ同様に構成されており、ＨＤＲ合成後の後処理に関する処理部等を備える点が相違する。以下では第１実施形態との相違点を中心に説明し、重複する説明については省略する。

図１６は、第２実施形態に係る画像処理装置１を備える携帯端末２の機能ブロック図である。図１６に示す携帯端末２は、第１実施形態と同様に、図２に示すハードウェア構成を有する。図１６に示すように、画像処理装置１は、第１実施形態に係る画像処理装置１と比べて、領域データ生成部５０、記録部５１、データ取得部５２及び後処理部（画像処理部）５３を備える点が相違する。

領域データ生成部５０は、動被写体尤度に基づいて領域データを生成する機能を有している。領域データ生成部５０は、例えば、尤度算出部１３によって算出された動被写体尤度を入力し、領域データを生成する。あるいは、領域データ生成部５０は、合成部１６から動被写体領域に関する情報又は被写体ぶれマスクを入力して、領域データを生成してもよい。ここで、領域データとは、合成画像において動被写体が存在する動被写体領域（対象領域）を特定する情報である。例えば、領域データは、動被写体が存在する画素の座標については「１」それ以外の座標については「０」と符号化したデータ又は該データを画像化したものが用いられる。なお、後処理の処理内容によっては、領域データは動被写体領域の位置座標を特定できれば足りるため、おおよその範囲が分かる情報であってもよい。このため、領域データは、必ずしも合成画像と同一のサイズ（画素規模）である必要はなく、種々の方法で圧縮してもよい。例えば、画像化した場合には解像度を下げて１／４又は１／１６程度に縮小してもよい。同様に、例えば、領域データは、動被写体領域の中心の座標（ｘ，ｙ）及び半径ｒであってもよい。すなわち、領域データは、合成画像において動被写体が存在する動被写体領域そのものである必要はなく、動被写体領域を含んでいればよい。例えば、領域データが、動被写体領域に基づいて生成された領域であってもよい。すなわち、領域データが、動被写体領域を含むような四角形、円形、又はこれらの集合で示す１又は複数の領域であってもよい。この場合、領域データには、動被写体でない領域も含むことになるが、動被写体領域を効率良く特定することができる。

領域データ生成部５０は、生成した領域データを合成画像と関連付けして記録部５１に保存する。記録部５１は、記録媒体である。

領域データ生成部５０は、領域データに元画素情報を関連付けして記録してもよい。元画素情報とは、動被写体領域を作成するために用いた画素に関する情報である。例えば、単に「合成する画像同士のうち強制的に輝度値の低い画素値を選択させて合成された」という情報でもよい。上記元画素情報は、例えば、合成部１６で作成したｌｏ_ｍａｓｋを用いることにより取得することができる。あるいは、単に「合成する画像同士のうち強制的に輝度値の高い画素値を選択させて合成された」という情報でもよい。上記元画素情報は、例えば、合成部１６で作成したｈｉ_ｍａｓｋを用いることにより取得することができる。また、より詳細な情報として、黒つぶれ又は白とびとなっている画素を用いて動被写体領域が合成されたものであるのか否かを識別可能な情報であってもよい。元画素情報として、例えば、動被写体領域の画素位置に応じて黒つぶれ画素を用いた場合には「０」、白とび画素を用いた場合には「２５５」、それ以外には「１２４」と符号化したデータが用いられる。あるいは、元画像情報として、上記情報を算出するために必要な情報を取得してもよい。例えば、元画像情報として、動被写体領域を生成するために用いた露出変換パラメータ（ａ，ｂ）を採用してもよい。露出変換パラメータ（ａ，ｂ）を用いることで、合成画像の動被写体領域の画素値から変換前の画素値を推定できるため、黒つぶれ又は白とびとなっている画素を用いて動被写体領域が合成されたものであるのか否かを事後的に識別することができる。３枚以上の画像を合成した場合には、上述した露出変換パラメータ（ａ，ｂ）及び合成時の重みａを、元画素情報としてもよい。露出変換パラメータ（ａ，ｂ）が入力画像と関連付けされている場合には、入力画像を識別する番号を、元画素情報としてもよい。上記元画素情報は、例えば、合成部１６の算出結果から取得することができる。また、合成画像の作成時に動被写体領域に対して元画像からどの程度輝度値を増加させたかの割合（合成画像の輝度値／元画像の輝度値）を画素値ごと又は動被写体領域ごとに算出したものを、元画素情報としてもよい。

データ取得部５２は、記録部５１を参照可能に構成されている。データ取得部５２は、記録部５１を参照し、合成画像と、該合成画像に関連付けされた領域データを取得する機能を有している。データ取得部５２は、さらに該領域データに関連づけされた元画素情報を取得してもよい。

後処理部５３は、合成画像に対して後処理を行う機能を有している。後処理部５３は、領域データを用いて、合成画像に対し、動被写体領域と動被写体領域以外の領域とで異なる画像処理を行う機能を有している。画像処理は、トーンマッピング処理、ノイズ除去処理（ノイズリダクション処理）、物体識別処理又はその他画素値加工処理が含まれる。例えば、後処理部５３は、動被写体領域に第１の処理を行い、動被写体領域以外の領域に第１の処理とは異なる第２の処理を行う。第１の処理又は第２の処理には、「処理をしないこと」も含まれる。例えば、動被写体領域にフィルタ処理を行わず、動被写体領域以外の領域にフィルタ処理を行うことも、上述した「異なる処理」に含まれる。後処理部５３が、動被写体領域を考慮して後処理を行うことで、画素値を変換・合成した合成処理が後処理の結果に与える影響を低減させることができる。

後処理部５３は、さらに、元画素情報を参照してどのような画像処理を行うのかを判定してもよい。例えば、後処理部５３は、合成する画像同士のうち強制的に輝度値の低い画素値を選択させるｌｏ_ｍａｓｋを用いて動被写体領域が生成された場合と、合成する画像同士のうち強制的に輝度値の高い画素値を選択させるｈｉ_ｍａｓｋを用いて動被写体領域が生成された場合とで、処理を変更してもよい。例えば、動被写体領域が輝度値の低い画素値を用いて生成された場合には、合成処理のために強制的に輝度値を大きくした領域となっている可能性があり、画素情報が基本的に不足している領域となっている場合がある。また、例えば、動被写体領域がｈｉ_ｍａｓｋによって生成され、さらに、白飛びの画素を含んで生成された場合には、該白飛び領域については、合成処理のために強制的に所定の輝度値を設定した領域となっている可能性があり、画素情報が基本的に欠落している領域（画素情報が不明な領域）である。このように、元の入力画像に応じて、画素情報が不足しているのか、そもそも画素情報が不明であるのかが異なるため、上記差異を考慮して後処理を行うことで適切な結果を得ることができる。

次に、本実施形態に係る画像処理装置１の領域データ動作について説明する。図１７は、画像処理装置の領域データ動作を示すフローチャートである。図１７に示す制御処理は、図３又は図９に示す制御処理が終了した後に実行される。

まず、領域データ生成部５０が、データ入力処理を行う（Ｓ５０）。Ｓ５０の処理では、領域データ生成部５０が、例えば、尤度算出部１３又は合成部１６から画素位置ごとの動被写体尤度を取得する。なお、領域データ生成部５０が、合成部１６から被写体ぶれマスクに関する情報を取得してもよい。Ｓ５０の処理が終了すると、領域データ生成処理へ移行する（Ｓ５２）。

Ｓ５２の処理では、領域データ生成部５０が、Ｓ５２で取得した動被写体尤度に基づいて、領域データを生成する。例えば、領域データ生成部５０は、動被写体尤度が所定値以上である画素位置には「１」それ以外の座標については「０」と符号化することにより、領域データを生成する。符号化したデータを画像化したものを図１８の（Ａ）に示す。図１８の（Ａ）は、合成画像Ｑの座標系において、動被写体尤度が所定値以上であった動被写体領域ＭＢ１，ＭＷ１，ＭＷ２を示している。動被写体領域ＭＢ１，ＭＷ１，ＭＷ２以外の領域Ｔは、動作のない被写体が描画された領域となる。あるいは、領域データ生成部５０は、被写体ぶれマスクを入力してそのまま領域データとしてもよい。そして、領域データ生成部５０は、領域データの解像度を下げてデータ量を圧縮する。又は、図１８の（Ｂ）に示すように、領域データ生成部５０は、動被写体領域ＭＢ１に対応した中心座標Ｃ１及び半径ｒ１を領域データとして生成してもよい。同様に、領域データ生成部５０は、動被写体領域ＭＷ１に対応した中心座標Ｃ２及び半径ｒ２を領域データとして生成してもよい。なお、動被写体領域を複数の円で表現してもよい。例えば、領域データ生成部５０は、動被写体領域ＭＷ２に対応した中心座標Ｃ３及び半径ｒ３、及び、中心座標Ｃ４及び半径ｒ４を領域データとして生成してもよい。Ｓ５２の処理が終了すると、元画素値情報入力処理へ移行する（Ｓ５４）。

Ｓ５４の処理では、領域データ生成部５０が、Ｓ５２の処理で得られた動被写体領域ごとに、元画素値情報を入力する。領域データ生成部５０は、例えば合成部１６から被写体ぶれマスクを取得して、それぞれの動被写体領域がｌｏ_ｍａｓｋを用いて作成されたか否かの情報を元画素値情報として取得する。領域データ生成部５０は、例えば合成部１６から被写体ぶれマスクを取得して、それぞれの動被写体領域がｌｏ_ｍａｓｋ、又は、ｈｉ_ｍａｓｋを用いて作成されたか否かの情報を元画素値情報として取得する。これにより、動被写体領域を２種類に分類することができる。この場合、動被写体領域を識別するためにラベリングしておく。これにより、例えば、図１８の（Ａ）に示すｌｏ_ｍａｓｋを用いて生成された動被写体領域ＭＢ１と、ｈｉ_ｍａｓｋを用いて生成された動被写体領域ＭＷ１，ＭＷ２に分類することができる。なお、更なる情報を元画素値情報として取得してもよい。例えば、領域データ生成部５０は、動被写体領域を生成するために用いた露出変換パラメータ（ａ，ｂ）や合成時の重みａを、元画素値情報として合成部１６から取得してもよい。Ｓ５４の処理が終了すると、記録処理へ移行する（Ｓ５６）。

Ｓ５６の処理では、領域データ生成部５０が、合成画像及びＳ５２の処理で生成された領域データを関連付けして記録する。また、Ｓ５６の処理では、さらに領域データと、Ｓ５２の処理で作成された元画素値情報とを関連付けして記録してもよい。Ｓ５６の処理が終了すると、図１７に示す制御処理を終了する。

次に、本実施形態に係る画像処理装置１の後処理動作について説明する。なお、以下では説明理解の容易性を考慮して、合成画像に対してトーンマッピング処理を行う例を説明する。図１９は、画像処理装置のトーンマッピング処理動作を示すフローチャートである。図１９に示す制御処理は、図１７に示す制御処理が終了した後に実行される。

図１９に示すように、最初に、データ取得部５２がデータ入力処理を行う（Ｓ６０）。Ｓ６０の処理では、データ取得部５２が、記録部５１を参照し、合成画像、領域データ及び元画素値情報を入力する。Ｓ６０の処理が終了すると、動被写体領域判定処理へ移行する（Ｓ６２）。

Ｓ６２の処理では、後処理部５３が、Ｓ６０の処理で取得した領域データ及び元画素値情報を用いて、領域データで示された動被写体領域が、合成する画像同士のうち強制的に輝度値の低い画素値を選択させるｌｏ_ｍａｓｋを用いて合成されたものであるか否かを判定する。Ｓ６２の処理で、後処理部５３が、動被写体領域がｌｏ_ｍａｓｋを用いて合成されたものであると判定した場合には、該領域のトーンマッピング処理へ移行する（Ｓ６４）。

Ｓ６４の処理では、後処理部５３が、動被写体領域に対してトーンマッピング処理を行う。該動被写体領域については、合成する画像同士のうち強制的に輝度値の低い画素値が選択されているため、合成時において輝度値を大きく増大させている可能性がある。すなわち、既に画素情報が不足している領域を無理に増大させた領域の可能性がある。このため、トーンマッピング処理で、さらに輝度値を増大させると、ノイズが発生するおそれがある。よって、該動被写体領域に対しては、上限値として第１の閾値を設定し、第１の閾値以上の輝度値とならないようにトーマッピング処理を行う。第１の閾値は、例えば元画像の画素値のｎ倍が設定される。また、撮像センサのノイズ量に応じてｎの値を調整してもよい。例えば、撮像センサのノイズ量が大きい場合にはｎの値を小さくしてもよい。Ｓ６４の処理が終了すると、ノイズ除去フィルタ適用処理へ移行する（Ｓ６６）。

Ｓ６６の処理では、Ｓ６４でトーマッピング処理した動被写体領域に対して、ノイズ除去フィルタを適用する処理である。ノイズ除去フィルタとしては、例えば平滑化処理等を行うフィルタが採用される。なお、Ｓ６６の処理は、合成処理時の輝度値変換率ｎ_１と、Ｓ６４でのトーマッピング処理時の輝度値変換率ｎ_２とに基づいて、ノイズ除去フィルタを適用するか否かを判定してもよい。例えば、ｎ_１・ｎ_２が所定値以上であればノイズ除去フィルタを適用してもよい。このとき、ｎ_１・ｎ_２が大きくなるほどノイズ除去フィルタの強さを大きく設定してもよい。Ｓ６６の処理が終了すると、動被写体領域判定処理へ移行する（Ｓ６８）。

Ｓ６８の処理では、後処理部５３が、Ｓ６０の処理で取得した領域データ及び元画素値情報を用いて、以下の内容を判定する。後処理部５３は、領域データで示された動被写体領域が、合成する画像同士のうち強制的に輝度値の高い画素値を選択させるｈｉ_ｍａｓｋを用いて合成され、かつ、白とび領域を含むか否かを判定する。Ｓ６８の処理で、後処理部５３が、動被写体領域がｌｏ_ｍａｓｋを用いて合成されたものであると判定した場合には、該領域のトーンマッピング処理へ移行する（Ｓ７０）。

Ｓ７０の処理では、後処理部５３が、動被写体領域に対してトーンマッピング処理を行う。白飛び領域については、合成処理のために強制的に所定の輝度値を設定した領域となっている可能性があり、画素情報が基本的に欠落している領域（画素情報が不明な領域）である。すなわち、合成処理のために便宜的に設定した画素値に基づいて、トーンマッピング処理を行うことになるため、適切な結果とならない場合がある。よって、白飛び領域については、求めるトーンマッピング処理の結果に応じて所定の処理を施す必要がある。例えば、トーンマッピング処理によって自然な画像を得たいという要求がある場合には、後処理部５３は、白飛び領域の画素値として、元画像の画素値に近づけるようにトーンマッピング処理を行う。又は、後処理部５３は、白飛び領域については何もしない（白飛び状態を維持させる）としてもよい。Ｓ７０の処理が終了すると、他の領域のトーンマッピング処理へ移行する（Ｓ７２）。

Ｓ７２の処理では、動被写体領域以外の領域にトーンマッピング処理を行う。この処理は所望の要求に応じて行う通常のトーンマッピング処理である。Ｓ７２の処理が終了すると、図１９に示す制御処理を終了する。

一方、Ｓ６２の処理で、後処理部５３が、動被写体領域がｌｏ_ｍａｓｋを用いて合成されたものでないと判定した場合には、動被写体領域判定処理へ移行する（Ｓ６８）。また、Ｓ６８の処理で、後処理部５３が、動被写体領域がｌｏ_ｍａｓｋを用いて合成されたものでないと判定した場合には、他の領域のトーンマッピング処理へ移行する（Ｓ７２）。

図１９に示す制御処理を実行することで、動被写体領域と動被写体領域以外の領域とで、異なる後処理を行うことができるため、ノイズの発生等、合成画像処理が後工程に影響を与えることを回避することができる。なお、Ｓ６０の処理がデータ取得ステップであり、Ｓ６４，Ｓ６６，Ｓ７０及びＳ７２が画像処理ステップである。

次に、携帯端末（コンピュータ）２を上記画像処理装置１として機能させるための画像処理プログラムを説明する。

画像処理プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、入力画像を取得するように携帯端末２を動作させる。演算処理モジュールは、例えば、動き情報取得モジュール、尤度算出モジュール、露出推定モジュール、動き補正モジュール、合成モジュール、領域データ生成モジュール、データ取得モジュール及び後処理モジュールを備えている。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した画像処理装置１の画像入力部１０、動き情報取得部１２、尤度算出部１３、露出推定部１４、動き補正部１５、合成部１６、領域データ生成部５０、データ取得部５２及び後処理部５３の機能とそれぞれ同様である。

画像処理プログラムは、例えば、ＲＯＭ等の記録媒体または半導体メモリによって提供される。また、画像処理プログラムは、データ信号としてネットワークを介して提供されてもよい。

以上、第２実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムによれば、後処理部５３によって合成画像に対して画像処理を行う際に、領域データを用いて、動被写体が描画された領域とそれ以外の領域とで異なる処理を行うことができる。動被写体が撮像された領域は、合成処理時に種々の画像処理が施されている。このため、画像全体に対して同一の画像処理を施すのではなく、動被写体が撮像された領域を他の領域を区別して画像処理を施すことにより、後工程時において合成時の処理の影響が顕著となることを回避することができる。入力画像（元画像）の画像情報のみを用いて被写体ぶれを抑えたＨＤＲ合成を行った場合であっても、後工程を適切に行うことが可能となる。また、合成画像と領域データとを記録部５１に記録することで、撮像時や合成時だけでなく、合成後の所望のタイミングで後工程を適切に行うことができる。さらに、トーンマッピング処理を領域ごとに異なる処理とすることで、対象領域にノイズが多く発生したり、対象領域の色が不自然となることを回避することができる。

なお、上述した実施形態は本発明に係る画像処理装置の一例を示すものである。本発明に係る画像処理装置は、実施形態に係る画像処理装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像処理装置を変形し、又は他のものに適用したものであってもよい。

例えば、上述した各実施形態では、カメラ２０がフレーム画像を取得する例を説明したが、別の機器からネットワークを介して送信された画像であってもよい。また、合成画像を表示せずに記録のみする場合には、表示部２１を備えなくてもよい。

また、上述した各実施形態に係る画像処理装置１を、手ぶれ補正装置とともに動作させてもよい。

また、図１９に示す制御処理については、処理順を変更してもよい。例えば、Ｓ７２の処理をＳ６０の処理の直後に行ってもよい。Ｓ６８〜Ｓ７０の処理を実行後にＳ６２〜Ｓ６６の処理を実行してもよい。さらに、Ｓ６８の処理において、ｈｉ_ｍａｓｋを用いて合成された動被写体領域だけでなく、ｌｏ_ｍａｓｋを用いて合成された動被写体領域に対して白飛び領域を含むか否かを判定し、Ｓ７０に記載の処理を実行してもよい。

（実施例）
以下、上記効果を説明すべく本発明者が実施した実施例及び比較例について述べる。

（動被写体領域に黒つぶれ領域を有する入力画像）
ＨＤＲ合成するための入力画像として、動被写体が撮像された第１画像及び第２画像を用意した（図２０の（Ａ），（Ｂ））。図２０の（Ａ）は、輝度値の低い入力画像であり、図２０の（Ｂ）が輝度値の高い入力画像である。ここでは人が左から右へ移動している。また、人の洋服部分が黒くつぶれている。
（比較例１）
図２０に示す２つの入力画像から生成されたＨＤＲ画像全体に対してトーンマッピング処理をした。結果を図２１，図２２に示す。図２１の（Ａ）は、トーンマッピング処理後の画像であり、図２１の（Ｂ）は、（Ａ）における動被写体領域Ｚ１を説明する画像である。図２２は、図２１の（Ｂ）に示す比較例１の動被写体領域Ｚ１の一部拡大図である。
（実施例１）
図２０に示す２つの入力画像から生成されたＨＤＲ画像に対して、トーンマッピング処理をするとともに、動被写体領域に対してノイズ除去フィルタを適用した。結果を図２３，図２４に示す。図２３の（Ａ）は、ノイズ除去フィルタを適用した画像であり、図２３の（Ｂ）は、（Ａ）における動被写体領域Ｚ１を説明する画像である。図２４は、図２３の（Ｂ）に示す実施例１の動被写体領域Ｚ１の一部拡大図である。

比較例１の結果である図２２と、実施例１の結果である図２４とを比較すると、実施例１は、比較例１と比べてノイズが低減され、画質の良い画像となっていることが確認された。

（動被写体領域に白飛び領域を有する入力画像）
ＨＤＲ合成するための入力画像として、動被写体が撮像された第１画像及び第２画像を用意した（図２５の（Ａ），（Ｂ））。図２５の（Ａ）は、輝度値の低い入力画像であり、図２５の（Ｂ）が輝度値の高い入力画像である。ここでは左手を振る静止した人物が撮像されている。（Ｂ）では空（そら）の部分が白飛びしている。
（比較例２）
図２５に示す２つの入力画像から生成されたＨＤＲ画像全体に対してトーンマッピング処理をした。結果を図２６に示す。
（実施例２）
図２５に示す２つの入力画像から生成されたＨＤＲ画像に対して、白飛び領域のままとしたトーンマッピング処理をした。結果を図２７に示す。

比較例２の結果である図２６と、実施例２の結果である図２７とを比較すると、実施例２は、比較例２と比べて動被写体領域Ｚ２が目立たなくなっており、画質の良い画像となっていることが確認された。

１…画像処理装置、１０…画像入力部（入力部）、１２…動き情報取得部、１３…尤度算出部、１４…露出推定部、１５…動き補正部、１６…合成部、５０…データ生成部、５１…記録部、５２…データ取得部、５３…後処理部。

Claims (9)

1. 露出条件の異なる第１画像及び第２画像が合成された合成画像に対して画像処理を行う画像処理装置であって、
   前記合成画像、及び、前記合成画像の対象領域を示す領域データを取得するデータ取得部と、
   前記領域データに基づいて、前記対象領域と前記対象領域以外の領域とで、異なる画像処理を行う画像処理部と、
   を備え、
   前記第１画像及び前記第２画像は、動被写体が描画された領域を含んでおり、
   前記合成画像は、前記動被写体が描画された領域については、前記第１画像及び前記第２画像の何れか一方の画素値を用いて作成されており、
   前記領域データは、前記合成画像における前記動被写体が描画された領域に基づいて生成される１又は複数の領域を前記対象領域として示し、
   前記領域データには、当該領域データが示す前記対象領域の合成時に用いた画像の画素情報を特定する元画素情報がさらに関連づけされており、
   前記元画素情報は、前記動被写体が描画された領域を作成するために用いた変換前の画素の画素値を推定もしくは導出可能な情報、又は、前記動被写体が描画された領域を作成するために用いた変換前の画素に施した変換手法を特定する情報であり、
   前記データ取得部は、前記領域データに関連した前記元画素情報を取得し、
   前記画像処理部は、前記領域データ及び前記元画素情報に基づいて、前記対象領域と前記対象領域以外の領域とで、異なる処理を行う、
   画像処理装置。
2. 前記第１画像及び前記第２画像を入力する入力部と、
   前記第１画像及び前記第２画像の差分に基づいて、各画素における動被写体尤度を算出する尤度算出部と、
   前記動被写体尤度に基づいて前記領域データを生成する領域データ生成部と、
   を備える請求項１に記載の画像処理装置。
3. 前記動被写体尤度に基づいて、前記第１画像と前記第２画像との露出条件を合わせる露出変換関数を推定する露出推定部と、
   前記露出変換関数を用いて前記第１画像及び前記第２画像を合成する合成部と、
   を備える請求項２に記載の画像処理装置。
4. 前記合成画像及び前記領域データを互いに関連づけさせて記録する記録部を有する請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記領域データは、前記第１画像、前記第２画像又は前記合成画像のサイズよりも小さいサイズのデータである請求項１〜４の何れか一項に記載の画像処理装置。
6. 前記画像処理部は、前記対象領域と前記対象領域以外の領域とで、異なるトーンマッピング処理を行う請求項１〜５の何れか一項に記載の画像処理装置。
7. 露出条件の異なる第１画像及び第２画像が合成された合成画像に対して画像処理を行う画像処理方法であって、
   前記合成画像、及び、前記合成画像の対象領域を示す領域データを取得するデータ取得ステップと、
   前記領域データに基づいて、前記対象領域と前記対象領域以外の領域とで、異なる画像処理を行う画像処理ステップと、
   を備え、
   前記第１画像及び前記第２画像は、動被写体が描画された領域を含んでおり、
   前記合成画像は、前記動被写体が描画された領域については、前記第１画像及び前記第２画像の何れか一方の画素値を用いて作成されており、
   前記領域データは、前記合成画像における前記動被写体が描画された領域に基づいて生成される１又は複数の領域を前記対象領域として示し、
   前記領域データには、当該領域データが示す前記対象領域の合成時に用いた画像の画素情報を特定する元画素情報がさらに関連づけされており、
   前記元画素情報は、前記動被写体が描画された領域を作成するために用いた変換前の画素の画素値を推定もしくは導出可能な情報、又は、前記動被写体が描画された領域を作成するために用いた変換前の画素に施した変換手法を特定する情報であり、
   前記データ取得ステップは、前記領域データに関連した前記元画素情報を取得し、
   前記画像処理ステップは、前記領域データ及び前記元画素情報に基づいて、前記対象領域と前記対象領域以外の領域とで、異なる処理を行う、
   画像処理方法。
8. 露出条件の異なる第１画像及び第２画像が合成された合成画像に対して画像処理を行うようにコンピュータを動作させる画像処理プログラムであって、
   前記合成画像、及び、前記合成画像の対象領域を示す領域データを取得するデータ取得部、及び、
   前記領域データに基づいて、前記対象領域と前記対象領域以外の領域とで、異なる画像処理を行う画像処理部、
   として前記コンピュータを動作させ、
   前記第１画像及び前記第２画像は、動被写体が描画された領域を含んでおり、
   前記合成画像は、前記動被写体が描画された領域については、前記第１画像及び前記第２画像の何れか一方の画素値を用いて作成されており、
   前記領域データは、前記合成画像における前記動被写体が描画された領域に基づいて生成される１又は複数の領域を前記対象領域として示し、
   前記領域データには、当該領域データが示す前記対象領域の合成時に用いた画像の画素情報を特定する元画素情報がさらに関連づけされており、
   前記元画素情報は、前記動被写体が描画された領域を作成するために用いた変換前の画素の画素値を推定もしくは導出可能な情報、又は、前記動被写体が描画された領域を作成するために用いた変換前の画素に施した変換手法を特定する情報であり、
   前記データ取得部は、前記領域データに関連した前記元画素情報を取得し、
   前記画像処理部は、前記領域データ及び前記元画素情報に基づいて、前記対象領域と前記対象領域以外の領域とで、異なる処理を行う、
   画像処理プログラム。
9. 露出条件の異なる第１画像及び第２画像が合成された合成画像に対して画像処理を行うようにコンピュータを動作させる画像処理プログラムを記録した記録媒体であって、
   前記画像処理プログラムは、
   前記合成画像、及び、前記合成画像の対象領域を示す領域データを取得するデータ取得部、及び、
   前記領域データに基づいて、前記対象領域と前記対象領域以外の領域とで、異なる画像処理を行う画像処理部、
   として前記コンピュータを動作させ、
   前記第１画像及び前記第２画像は、動被写体が描画された領域を含んでおり、
   前記合成画像は、前記動被写体が描画された領域については、前記第１画像及び前記第２画像の何れか一方の画素値を用いて作成されており、
   前記領域データは、前記合成画像における前記動被写体が描画された領域に基づいて生成される１又は複数の領域を前記対象領域として示し、
   前記領域データには、当該領域データが示す前記対象領域の合成時に用いた画像の画素情報を特定する元画素情報がさらに関連づけされており、
   前記元画素情報は、前記動被写体が描画された領域を作成するために用いた変換前の画素の画素値を推定もしくは導出可能な情報、又は、前記動被写体が描画された領域を作成するために用いた変換前の画素に施した変換手法を特定する情報であり、
   前記データ取得部は、前記領域データに関連した前記元画素情報を取得し、
   前記画像処理部は、前記領域データ及び前記元画素情報に基づいて、前記対象領域と前記対象領域以外の領域とで、異なる処理を行う、
   記録媒体。