JP5589446B2 - 画像処理装置、撮像装置、および画像処理方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。特に、複数の画像を利用して生成する合成画像の画素値の補正処理を実行する画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。

ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像素子は入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。

このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。

しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。

このような処理を実現する手法として、露光時間の異なる複数の画像を利用する手法が知られている。すなわち、暗い画像領域では長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用して最適な画素レベルを決定するという手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像を得ることができる。

例えば特許文献１（特開２００８−９９１５８号公報）や、特許文献２（特開２００８−２２７６９７号公報）は、複数の異なる露光量の画像を合成して広いダイナミックレンジの画像を得る構成を開示している。図１を参照して、この処理について説明する。撮像デバイスは、例えば、動画撮影においては、ビデオレート（３０−６０ｆｐｓ）内に２つの異なる露光時間の画像データを出力する。また、静止画撮影においても、２つの異なる露光時間の画像データを生成して出力する。図１は、撮像デバイスが生成する２つの異なる露光時間を持つ画像（長時間露光画像と、短時間露光画像）の特性について説明する図である。横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。

例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、図１に示す高輝度領域１１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、図１に示す低輝度領域１２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。

時間ｔ０〜ｔ３が長時間露光画像を取得するための露光時間ＴＬに相当する。この長時間の露光時間ＴＬとしても低輝度領域１２に示すラインは、時間ｔ３において電荷蓄積量は飽和レベルに達することなく（非飽和点Ｐｙ）、この電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。

しかし、高輝度領域１１に示すラインは、時間ｔ３に至る以前に、すでに電荷蓄積量は飽和レベル（飽和点Ｐｘ）に達することが明らかである。従って、このような高輝度領域１１は、長時間露光画像からは飽和レベルの電気信号に対応する画素値しか得られず、結果として白とび画素になってしまう。

そこで、このような高輝度領域１１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ２〜ｔ３）とした短時間露光を実行する。すなわち、図に示す短時間露光開始点Ｐ２〜短時間露光終了点Ｐ３までの期間の短時間露光を行なう。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。

なお、低輝度領域１２における長時間露光によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、高輝度領域１１における短時間露光によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する際は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。

このように、短時間露光画像と長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。

しかし、このような異なる露光量の複数画像は、時間的に異なるタイミングで撮影した画像となる。従って、その間に被写体の動きが発生すると、画像の合成時に画像のずれが発生する。この結果、動く被写体領域の画像部分に偽色が発生し、画像の品質が低下する等の問題を生じさせることになる。また、被写体の動きが発生しない場合でも、被写体の輝度が変化する場合には同様の画質低下の問題が発生する。

特許文献２（特開２００８−２２７６９７号公報）は、このような問題を解決する画素値補正手法についても開示している。上述のように、合成画像により生成した「広ダイナミックレンジ画像」は被写体の輝度が高輝度から低輝度へと変化する画素位置と被写体の輝度が低輝度から高輝度へと変化する画素位置の各位置において、画素値が誤った値となり、画素の階調不良や偽色の発生した画像になる。

特許文献２（特開２００８−２２７６９７号公報）は、そのような画像について補正を実行し、画素の階調不良や偽色の発生を抑制している。補正の手法を以下に示す。元の画像の画素値をＤｖ、元の画像に対してぼかし処理を加えた画像における同位置の画素値をＭｖ、としたときに、係数ａ，ｂ（ただしａ＋ｂ＝１）を適用し、偽色と判断された出力画素の同位置の画素値［Ｒｖ］は
［Ｒｖ］＝ａ×［Ｄｖ］＋ｂ×［Ｍｖ］
として算出される。

ぼかし処理には、たとえば一般的なローパスフィルタ（ＬＰＦ）を適用し、適用するフィルタのサイズ（タップ数）に関しては、画像をぼかすのが目的であるため、輝度変化を撮像した画素の２次元的な広がりを考慮している。

動被写体付近に発生する偽色は高周波成分であり、あまり重要ではない可能性が高いという考えからＬＰＦは使用されているが、補正対象画素の広がりが大きいと、その前提も成り立たなくなる。

補正対象画素の広がりが大きい箇所を補正するためにはフィルタのタップ数を大きく設定することが必要となり、ハードウェア実装が困難になる問題があるため、画像の縮小処理によって情報量を削減して、縮小画像を再度拡大することでぼかし処理と同様の効果を期待している。しかし撮影の環境によっては大きなエリアで動被写体について彩度が高い偽色が出てしまい、ぼかした画像においてもその色が目立つような状況がある。

これを回避するために彩度低下処理を、ＬＰＦを適用する画像に施しているが、そのような彩度低下処理では、特に大きい偽色の補正が十分ではないことが多く、また、動被写体中などで誤って偽色だと判断されてしまう画素では彩度低下が目立ってしまう副作用が発生してしまう懸念がある。

特開２００８−９９１５８号公報 特開２００８−２２７６９７号公報

本発明は、例えば、上述の問題点に鑑みてなされたものであり、複数の画像を合成して合成画像を生成する際に発生する偽色を補正し、高品質の画像を生成可能とした画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
複数の画像を合成して生成した合成画像と、合成画像中に含まれる偽色画素位置を示す偽色画素情報を入力し、前記合成画像内の偽色画素を補正対象画素とした画素値補正を実行する画像補正部を有し、
前記画像補正部は、
前記補正対象画素の周囲領域に設定した参照領域から、前記偽色画素情報に基づいて偽色でないと判定された非偽色画素を参照画素として選択し、
各参照画素に対して、参照画素の画素値が補正対象画素自信の画素値に近いほど大きな重みを設定した類似度重み係数と、補正対象画素の画素位置に距離的に近いほど大きな重みを設定した画素位置重み係数を設定し、
各参照画素の画素値に対して前記類似度重み係数と画素位置重み係数を乗算して加算する加重加算処理により前記補正対象画素の補正画素値を決定する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記画像補正部は、前記合成画像の各画素の持つ画素値構成情報の各々についての差分に応じて前記類似度重み係数を算出する。

さらに、本発明の画像処理装置の一実施態様において、前記合成画像の画素の各々にはＬａｂ色空間に対応する画素値情報が設定され、前記画像補正部は、前記合成画像の各画素の持つ画素値構成情報である輝度Ｌと色差ａｂの各々についての差分に応じて前記類似度重み係数を算出する。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、前記合成画像の縮小処理を実行する縮小画像生成部を有し、前記画像補正部は、前記縮小画像生成部の生成した縮小画像中に前記参照領域を設定し、縮小画像中に設定した参照領域から選択した参照画素を適用して前記類似度重み係数と前記画素位置重み係数を算出する。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、前記補正対象画素を含む第１の合成画像と異なるタイミングの撮影画像に基づく第２の合成画像、または第２の合成画像の縮小画像を第２参照画像として入力し、前記第２参照画像に対して、前記第１の合成画像の補正対象画素に対応する画素位置周囲に第２の参照領域を設定し、該第２の参照領域に含まれる非偽色画素を参照画素として選択し、選択した各参照画素に前記類似度重み係数と画素位置重み係数を設定し、前記補正対象画素を含む合成画像から選択した参照画素、および前記第２の参照領域から選択した参照画素の双方を適用して、各参照画素の画素値に対して前記類似度重み係数と画素位置重み係数を乗算して加算する加重加算処理により前記補正対象画素の補正画素値を決定する。

さらに、本発明の画像処理装置の一実施態様において、前記画像補正部は、前記類似度重み係数と画素位置重み係数をガウス関数を適用して算出する。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記合成画像を入力し、合成画像内に含まれる偽色画素の検出を実行して前記偽色画素情報を生成する画像解析部を有し、前記画像補正部は、前記画像解析部の生成する偽色画素情報を適用して参照領域内の非偽色画素の選択を行う。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、複数の画像を合成して合成画像を生成する合成画像生成部を有し、前記画像補正部は、前記合成画像生成部の生成する合成画像の補正を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記合成画像は、異なる露出時間を設定して撮影された複数の画像を合成して生成した合成画像である。

さらに、本発明の第２の側面は、
異なる露光時間の撮影画像を撮影する撮像デバイスと、前記画像処理を実行する画像処理部を有する撮像装置にある。

さらに、本発明の第３の側面は、
画像処理装置において画素値補正を実行する画像処理方法であり、
画像補正部が、複数の画像を合成して生成した合成画像と、合成画像中に含まれる偽色画素位置を示す偽色画素情報を入力し、前記合成画像内の偽色画素を補正対象画素とした画素値補正を実行する画像補正ステップを有し、
前記画像補正ステップは、
前記補正対象画素の周囲領域に設定した参照領域から、前記偽色画素情報に基づいて偽色でないと判定された非偽色画素を参照画素として選択するステップと、
各参照画素に対して、参照画素の画素値が補正対象画素自信の画素値に近いほど大きな重みを設定した類似度重み係数と、補正対象画素の画素位置に距離的に近いほど大きな重みを設定した画素位置重み係数を設定するステップと、
各参照画素の画素値に対して前記類似度重み係数と画素位置重み係数を乗算して加算する加重加算処理により前記補正対象画素の補正画素値を決定するステップを実行する画像処理方法にある。

さらに、本発明の第４の側面は、
画像処理装置において画素値補正を実行させるプログラムであり、
画像補正部に、複数の画像を合成して生成した合成画像と、合成画像中に含まれる偽色画素位置を示す偽色画素情報を入力し、前記合成画像内の偽色画素を補正対象画素とした画素値補正を実行させる画像補正ステップを有し、
前記画像補正ステップは、
前記補正対象画素の周囲領域に設定した参照領域から、前記偽色画素情報に基づいて偽色でないと判定された非偽色画素を参照画素として選択させるステップと、
各参照画素に対して、参照画素の画素値が補正対象画素自信の画素値に近いほど大きな重みを設定した類似度重み係数と、補正対象画素の画素位置に距離的に近いほど大きな重みを設定した画素位置重み係数を設定させるステップと、
各参照画素の画素値に対して前記類似度重み係数と画素位置重み係数を乗算して加算する加重加算処理により前記補正対象画素の補正画素値を決定させるステップを含むプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、複数画像を合成して生成した合成画像内の偽色の補正処理を行う装置および方法が実現される。具体的には、複数の画像の画素値を選択的に組み合わせた合成画像に含まれる偽色画素の近傍に参照領域を設定し、参照領域から非偽色画素を参照画素として選択する。さらに参照画素に対して参照画素の画素値が補正対象画素である偽色画素自信の画素値に近いほど大きな重みを設定した類似度重み係数と、補正対象画素の画素位置に距離的に近いほど大きな重みを設定した画素位置重み係数を設定し、参照画素の画素値に類似度重み係数と画素位置重み係数を乗算して加算する加重加算処理により補正対象画素の画素値を決定する。この画素値補正処理により、偽色画素をより真に近い画素値に補正することが可能となる。

複数の異なる露光量の画像を合成して広いダイナミックレンジの画像を得る処理について説明する図である。 本発明の画像処理装置の全体構成例について説明する図である。 本発明の画素値補正処理の例について説明する図である。 本発明の実施例１に係る画像処理装置の画像処理部１０４の構成および処理について説明する図である。 画像解析部の生成する偽色判定画像の例について説明する図である。 参照画素に対する重み係数を設定するために利用するガウス関数について説明する図である。 参照画素に対する重み係数を設定するために利用するガウス関数について説明する図である。 本発明の画素値補正処理の一例について説明する図である。 画素値補正処理に適用する参照画像を縮小して生成した縮小画像を利用した処理例について説明する図である。 本発明の実施例２に係る画像処理装置の画像処理部１０４の構成および処理について説明する図である。 画素値補正に際して、異なるタイミングの撮影画像を適用した処理例について説明する図である。 本発明の実施例３に係る画像処理装置の画像処理部１０４の構成および処理について説明する図である。 一般的な画像の縮小処理例について説明する図である。 偽色画素を考慮し、偽色の影響を低減した画像の縮小処理例について説明する図である。 ガウス関数の代わりに、近似折れ線の関数を利用した重み係数の設定処理について説明する図である。

以下、図面を参照しながら、本発明の画像処理装置、撮像装置、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
１．画像処理装置の全体構成例について
２．画像処理装置の具体的実施例について
２−１．実施例１
２−２．実施例２
２−３．実施例３
３．縮小画像の生成処理例について
４．異なる色空間の適用処理について
５．その他の変更を加えた実施例について
５−１．重み係数の算出処理の変更例
５−２．輝度値も補正する処理例
５−３．補正後の画像に対するぼかし処理の適用処理

［１．画像処理装置の全体構成例について］
まず、本発明の画像処理装置の全体構成例について図２を参照して説明する。
図２は、本発明の画像処理装置の一例である撮像装置の構成例を示すブロック図である。光学レンズ１０１を通して入射される光は例えばＣＭＯＳイメージセンサなどによって構成される撮像デバイス１０２に入射し、光電変換による画像データを出力する。出力画像データはメモリ１０３を介して画像処理部１０４に入力される。制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理制御を行う。

撮像デバイス１０２は、複数の画像１１１〜１１３を生成する。例えば、重複領域を持つ画像や、異なる露光時間の複数の画像１１１〜１１３を生成する。画像処理部１０４は、これら複数の画像１１１〜１１３を入力して合成処理を行い、出力画像１２０を生成する。画像処理部１０４は、複数画像の合成処理に際して発生する偽色領域の補正を実行して出力画像１２０を生成する。

例えば、画像１１１〜１１３が異なる露光時間の画像である場合、画像処理部１０４は、例えば以下のような画像を入力する。
画像１（露光時間Ｔ１）１１１
画像２（露光時間Ｔ２）１１２
：
画像Ｎ（露光時間ＴＮ）
ただし、Ｔ１＜Ｔ２・・＜ＴＮ
画像処理部１０４は、これらのＮ種類の異なる露光時間（Ｔ１〜ＴＮ）の画像を撮像素子１０２から入力し、これらの異なる露光時間の複数の画像に基づいて出力画像１２０を生成する。

前述したように撮像デバイスの出力する電気信号は、撮像デバイスに対する入射光量に応じたものとなる。従って、一定の露光時間（長時間露光）とした場合、より明るい被写体に対応する画素の光電変換素子の出力する電気信号が飽和レベルに達してしまう場合がある。結果として、これらの画素については、飽和レベルの電気信号が出力され、諧調差が認識できない、いわゆる白とび画素となってしまう。

例えばこのような白とびを防止し、被写体の輝度レベルを反映した出力を得るため、長時間露光〜短時間露光の複数の画像データを生成し、画像処理部１０４において、これら複数の画像の合成処理を実行して出力画像１２０を得る。例えば、長時間露光を行なった場合に飽和レベルに至ると推測される画素については、短時間露光を行なったデータに基づいて計算した画素値を出力するという処理などを行なうものである。

なお、複数の異なる露光時間の画像の取得処理については、本出願人と同一出願人による特許出願である特開２００８−９９１５８公報、あるいは、特開２００８−２２７６９７号公報に記載されている。
本発明は、例えば、このような複数の異なる露光時間の画像など、複数の画像を合成して１つの画像を生成する画像合成処理工程で発生しがちな偽色の補正を行う構成に関する。

前述したように、異なる露光量の複数画像は、時間的に異なるタイミングで撮影した画像となる。従って、例えばその間に被写体の動きが発生すると画像の合成時に画像のずれが発生する。この結果、動く被写体領域の画像領域に偽色が発生し、画像の品質が低下する等の問題を生じさせることになる。
なお、偽色は被写体の動きのみならず、撮影条件の変化、例えば明るさの変化など様々な要因で発生する。

画像処理部１０４は、撮像デバイス１０２から入力する画像に解析を実行して、検出された偽色画素の補正処理を実行する。以下では、偽色補正処理の具体的な複数の実施例について説明する。

［２．画像処理装置の具体的実施例について］
本発明の画像処理装置は、例えば露光時間の異なる複数の撮影画像など、異なるタイミングで撮影した複数の画像を合成して生成する合成画像に発生する偽色を補正する処理を実行する。本発明の画像処理装置において実行する画素値補正の基本的な処理は、補正対象となる偽色画素の近傍画素の画素値を参照画素として設定し、参照画素の画素値を用いて補正対象となる偽色画素の画素値を決定する処理である。

本発明の画像処理装置では、補正対象となる画素（偽色画素）自身の輝度について検証し、その補正対象画素の輝度に近い輝度を持つ近傍画素の重みを大きく設定して補正対象画素の画素値決定処理を行う。以下、偽色領域の補正処理を行う画像処理装置の複数の具体的実施例について説明する。なお、以下に説明する各実施例において、画像処理装置の全体構成は、図２に示す構成を持ち、共通の構成である。ただし画像処理部１０４の詳細構成と処理が異なる。これらの詳細について、以下において、順次説明する。

（２−１．実施例１）
まず、図３以下を参照して、本発明の第１実施例の画像処理装置の構成と処理について説明する。上述したように、本発明の画像処理装置は、偽色画素の補正に際して、補正対象となる偽色画素自身の輝度レベルに着目し、補正対象画素の近傍領域の予め規定した参照領域の各画素の輝度を検証し、補正対象画素の輝度に近い輝度の近傍画素を重要度が高い画素として、その画素の重みを大きく設定して、参照領域内の近傍がその画素値に基づいて補正対象画素の画素値を設定する画素値補正処理を行なう。

例えば、ＸＹ座標平面上において画素位置を（ｘ，ｙ）とする。なお、色空間は、一例としてＬａｂ色空間を利用した処理例を説明する。
画素位置（ｘ，ｙ）に位置する画素の輝度Ｌと色差ａ，ｂを以下のように表現する。
輝度ＬをＤ_Ｌ（ｘ，ｙ）、
色差ａ，ｂをＤ_ａ，ｂ（ｘ，ｙ）
とする。ただし、
Ｄ_ａ，ｂ（ｘ，ｙ）＝Ｄ_ａ（ｘ，ｙ），Ｄ_ｂ（ｘ，ｙ）
である。

本発明の画像処理装置では、補正対象画素（偽色画素）の信号レベルとしての輝度Ｄ_Ｌを取得し、補正対象画素（偽色画素）の周囲画素の輝度も検証し、周囲画素から補正対象画素（偽色画素）の輝度Ｄ_Ｌに近い輝度を持つ画素を探索する。さらに輝度の近い画素を重要度が高い画素として、それらの画素の色差Ｄ_ａ，ｂの重みを大きく設定して、補正対象画素（偽色画素）の画素値を決定して補正を行なう。

この処理では、補正対象となる偽色画素をより真の画素値に近く補正することが出来るだけでなく、動被写体中などで誤って偽色画素だと判断されてしまった画素なども近くの信号レベルの近い画素の画素値を用いることになるので、より自然な画像が得られ、副作用が少なくなる。

この理由について図３を参照して説明する。
図３は、横軸が画素位置、縦軸が、（ａ）補正前の色差成分Ｄ_ａ，ｂ、（ｂ）補正前の輝度値Ｄ_Ｌ、（ｃ）補正後の色差成分Ｄ_ａ，ｂ、これらを示したグラフである。

横軸の画素位置ｐ〜ｑ〜ｒ〜ｓ中、偽色が発生している画素部分はｑ〜ｒの画素部分である。このｑ〜ｒの画素部分は、図３（ａ）に示すように色差成分Ｄ_ａ，ｂは、明らかに周囲（ｐ〜ｑやｒ〜ｓ）との連続性がなく、破たんしている。すなわち偽色が発生していると推定される。
しかし、この偽色発生画素位置と推定されるｑ〜ｒの画素部分においても、図３（ｂ）のように輝度値Ｄ_Ｌなど他の信号レベルは、周囲（ｒ〜ｓ）との連続性が維持されており、正しい輝度が設定されていると推定される。

このように、偽色発生画素は、その色成分（本実施例では色差成分Ｄ_ａ，ｂ）については、正しい値を有していないが、輝度成分（本実施例では輝度値Ｄ_Ｌ）については正しい値を保持するものが多いという特徴を持つ。

この性質を利用し、図３（ｃ）のように、偽色画素（ｑ〜ｒ）の色成分（本実施例では色差成分（Ｄ_ａ，ｂ）の信号値を、偽色画素（ｑ〜ｒ）の輝度成分（本実施例では輝度値Ｄ_Ｌ）に近い輝度成分を持つ周囲画素（ｒ〜ｓ）の色成分（本実施例では色差成分（Ｄ_ａ，ｂ）の信号値に近づけるという処理を行う画素値補正を実行する。

このような処理が有効となる理由について、複数の露光時間の異なる画像を合成して１枚の合成画像（広ダイナミックレンジ画像）を生成する場合を例にして説明する。
図３（ａ）〜（ｃ）とも横軸が画素位置を示している。偽色の発生している画素範囲はｑ〜ｒ区間である。
このような偽色の発生は、例えば
ｐ〜ｑ区間は画像１から選択された画素領域、
ｑ〜ｒは画像１と異なる画像２から選択された画像領域、
ｒ〜ｓは画像１，２と異なる画像３から選択された画像領域、
このような合成処理が行われた場合に発生しやすい。

それぞれ異なる画像の合成によって合成画像を生成する場合、各画像の輝度レベルを各画像の露光時間に基づいて調整する処理が行われる。従って、輝度レベルは合成画像の全体にわたって滑らかに調整される。しかし、この輝度調整に際して色情報については考慮されないことが多い。従って、この図３（ａ）のように色差成分Ｄ_ａ，ｂは破たんしてしまう。一方、図３（ｂ）のように輝度値Ｄ_Ｌは、画像間の調整処理がなされているため、精度の高い情報が得られる。従って、この輝度情報を利用して、色情報、例えばＬａｂ色空間における色差ａｂを調整することで、図３（ｃ）のような補正処理が可能となる。すなわち、偽色領域の輝度値に近い輝度を持つ近傍画素領域の色（色差）を適用して偽色領域の色（色差）を復元することが可能となる。

なお、この処理では、補正対象画素をより真の値に近く出来るだけでなく、動被写体中などで誤って偽色画素だと判断されてしまった画素なども、近傍の輝度Ｄ_Ｌの値が近い画素の色差Ｄ_ａ，ｂを用いて補正されるので、より自然な画像が得られ、補正による違和感を発生させる等の副作用が少なくなる。

本実施例の画像処理装置における画像処理部１０４の構成例を図４に示す。図４に示すように、画像処理部１０４は、合成画像生成部２０１、画像解析部２０２、画像補正部２０３を有する。

合成画像生成部２０１は、複数の画像の合成処理を実行して合成画像を生成する。画像解析部２０２は画像解析により、偽色判定画像を生成する。画像補正部２０３は、合成画像と、偽色判定画像を入力して、合成画像の偽色領域の補正処理を実行して出力画像１２０を生成して出力する。

本発明の画像処理装置における画像処理部１０４は、複数の画像の合成処理を実行して合成画像を生成するとともに、生成した合成画像に発生した偽色領域を補正する処理を行う。

合成画像生成部２０１は、例えば、先に図１、図２を参照して説明したように、重複領域を持つ画像や、異なる露光時間の複数の画像、例えば図２に示す画像１１１〜１１３を入力して合成処理を行う。例えば、画像１１１〜１１３が異なる露光時間の画像である場合、画像処理部１０４の合成画像生成部２０１は、例えば以下のような画像を入力する。
画像１（露光時間Ｔ１）１１１
画像２（露光時間Ｔ２）１１２
：
画像Ｎ（露光時間ＴＮ）
ただし、Ｔ１＜Ｔ２・・＜ＴＮ
合成画像生成部２０１は、これらのＮ種類の異なる露光時間（Ｔ１〜ＴＮ）の画像を図２に示す撮像素子１０２から入力し、これらの異なる露光時間の複数の画像に基づいて合成画像を生成する。

前述したように、異なる露光量の複数画像は、時間的に異なるタイミングで撮影した画像となる。従って、例えばその間に被写体の動きが発生すると画像の合成時に画像のずれが発生する。この結果、動く被写体領域の画像領域に偽色が発生し、画像の品質が低下する等の問題を生じさせることになる。なお、偽色は被写体の動きのみならず、撮影条件の変化、例えば明るさの変化など様々な要因で発生する。

図４に示す画像処理部１０４の画像解析部２０２は合成画像に対する画像解析により、偽色画素領域を判別可能とした偽色判定画像を生成する。偽色判定画像は、例えば合成画像の構成画素の各々に対して、偽色画素であると推定されるか否かを示す識別値（例えばフラグ）を設定した画像である。具体的には、例えば図５に示すように、
偽色であると推定される画素に対して識別フラグ＝０
偽色でないと推定される画素に対して識別フラグ＝１
このような画素対応の識別情報を設定した画像である。

なお、画像解析部２０２は合成画像に対する画像解析を実行して偽色画素を検出する処理を行う。この偽色領域の検出処理としては、従来から知られた様々な処理が適用可能である。また、本出願人の特許出願である特願２００９−２８８０１８号に記載された合成画像における動き領域検出処理によって検出された動き領域を偽色画素領域であると判定する処理も有効な手法として適用可能である。

この特願２００９−２８８０１８号に記載された合成画像における動き領域検出処理は、例えば、撮影時間Ｔ１の合成画像と時間Ｔ２の合成画像との対応画素値の比較処理（マッチング処理）等によって動き領域を検出するものである。このような動き領域は偽色が発生している可能性が高くなる。このような動き領域の検出処理を適用して偽色画素領域を検出する構成としてもよい。ただし、本発明は、偽色画素の補正処理を主題とするものであり、偽色画素の検出処理は、従来から知られたさまざまな手法を適用する構成としてよい。

図４に示す画像処理部１０４の画像補正部２０３は、合成画像生成部２０１の生成した合成画像と、画像解析部２０２の生成した偽色判定画像を入力し、合成画像の偽色領域の補正処理を実行して出力画像１２０を生成して出力する。

画像補正部２０３の実行する偽色画素の補正処理について説明する。
画像補正部２０３は、まず、補正対象とする偽色画素の近傍に参照領域を設定する。参照領域は、例えば補正対象とする偽色画素を中心としたｎ×ｎの画素領域である。ｎ＝は例えば３〜１０等、様々な設定が可能である。
次に、画像補正部２０３は、偽色画素の周囲に設定した参照領域から、
非偽色画素であり、かつ、輝度値が補正対象とする偽色画素の輝度に近い画素、
を検出する。
さらに、この検出画素を重要画素として、参照領域の重要画素の重みを大きく設定して参照領域の画素の画素値をベースとした偽色画素の補正画素値の算出処理を行う。
この補正により、偽色画素をより真に近い画素値に補正することができる。

具体的な処理例について説明する。前述したように、ＸＹ座標平面上において画素位置を（ｘ，ｙ）とし、色空間は、一例としてＬａｂ色空間を利用した処理例を説明する。
画素位置（ｘ，ｙ）に位置する画素の輝度Ｌと色差ａ，ｂを以下のように表現する。
輝度ＬをＤ_Ｌ（ｘ，ｙ）、
色差ａ，ｂをＤ_ａ，ｂ（ｘ，ｙ）

合成画像中の補正対象画素（画素位置（ｘ，ｙ））の色情報である色差をＤ_ａ，ｂ（ｘ，ｙ）、
合成画像中の補正対象画素の近傍の参照領域の参照画素（画素位置（ｘ＋ｉ，ｙ＋ｊ））の色差をＮ_ａ，ｂ（ｘ，ｙ）、
とする。
ただし、Ｄ_ａ，ｂ（ｘ，ｙ）＝Ｎ_ａ，ｂ（ｘ，ｙ）である。

画像補正部２０３は、合成画像を構成する画素（ｘ，ｙ）の補正後の色情報である色差Ｒ_ａｂ（ｘ，ｙ）を以下の（式１）に従って算出する。なお、輝度Ｄ_Ｌ（ｘ，ｙ）については、補正することなく、入力画像の設定値をそのまま出力画像の輝度とする。

・・・・（式１）

上記式１において、
Ｅ（ｉ，ｊ）は画素（ｉ，ｊ）が偽色であれば０、偽色で無ければ１を出力する偽色判定画像（図５参照）である。（Ｅの上部に（−）を設定したデータは、Ｅ（ｉ，ｊ）と逆の値、すなわち偽色であれば１、偽色で無ければ０を出力する）
ｃ（ｘ，ｙ，ｉ，ｊ）は、Ｌａｂ色空間での、
画素（ｘ，ｙ）の画素値構成情報である輝度Ｄ_Ｌ（ｘ，ｙ）と、色差Ｄ_ａ，ｂ（ｘ，ｙ）と、
参照画素（ｘ＋ｉ，ｙ＋ｊ）の画素値構成情報である輝度Ｄ_Ｌ（ｘ＋ｉ，ｙ＋ｊ）と、色差Ｄ_ａ，ｂ（ｘ＋ｉ，ｙ＋ｊ）と、
の画素値差分（距離）を示すΔＬａｂである。

Ｃ（ｘ，ｙ，ｉ，ｊ）は、上記のｃ（ｘ，ｙ，ｉ，ｊ）のガウス関数である。例えば図６に示すようなガウス曲線に従って上記のｃ（ｘ，ｙ，ｉ，ｊ）＝ΔＬａｂを変換した結果ｆ（ΔＬａｂ）である。
図６は、参照画素に対する重み係数を設定するために利用するガウス関数について説明する図である。

Ｐ（ｘ，ｙ，ｉ，ｊ）は画素（ｘ，ｙ）と画素（ｘ＋ｉ，ｙ＋ｊ）の間の空間距離のガウス関数である。例えば図６に示すようなガウス曲線に従って画素（ｘ，ｙ）と画素（ｘ＋ｉ，ｙ＋ｊ）の間の空間距離を変換した結果である。
なお、各ガウス関数に含まれるσはガウシアンパラメータ、ｔはｘ，ｙ方向のタップ数となっている。ガウシアンパラメータは大きく設定すると、補正がされやすくなるが、副作用が強くなる。

画像補正部２０３は、上記の式１に従って、合成画像の補正対象画素（ｘ，ｙ）の補正後の出力画素の色情報である色差Ｒ_ａｂ（ｘ，ｙ）を算出する。
上記式（式１）は、偽色画素の周囲に設定した参照領域から、
非偽色画素（偽色判定画像（図５参照）において１の設定された画素）であり、かつ、補正対象とする偽色画素の持つ画素値構成情報であるＤ_Ｌ（ｘ，ｙ）と、色差Ｄ_ａ，ｂ（ｘ，ｙ）に近い画素値（Ｌａｂ）を持つ参照画素を重要画素として、これらの重要画素の重みを大きく設定し、さらに、補正対象とする偽色画素に距離的に近い画素の重みを大きくして、参照領域の画素の画素値をベースとした偽色画素の補正画素値の算出処理を行っている。

なお、上記式（式１）において、
偽色画素の持つ画素値構成情報（Ｌａｂ）に近い画素値に応じた重みは、Ｃ（ｘ，ｙ，ｉ，ｊ）、
偽色画素との距離に応じた画素の重みは、Ｐ（ｘ，ｙ，ｉ，ｊ）、
に対応する。
すなわち、
画素値類似度に応じた重み係数（類似度重み係数）：Ｃ（ｘ，ｙ，ｉ，ｊ）、
画素間距離に応じた重み係数（画素位置重み係数）：Ｐ（ｘ，ｙ，ｉ，ｊ）、
である。
これらの重みは、図７に示すガウス曲線に応じた重みとなる。

画像補正部２０３は、このように、参照画素の画素値が補正対象画素自信の画素値に近いほど大きな重みを設定した類似度重み係数と、補正対象画素の画素位置に距離的に近いほど大きな重みを設定した画素位置重み係数を設定する。類似度重み係数は、
各画素の持つ画素値構成情報の各々についての差分に応じて算出される。

すなわち、
補正対象とする偽色画素の持つ画素値構成情報であるＤ_Ｌ（ｘ，ｙ）と、色差Ｄ_ａ，ｂ（ｘ，ｙ）に近い画素値（Ｌａｂ）を持つ参照画素であるほど重みが大きく設定され、
補正対象とする偽色画素に距離的に近い参照画素であるほど重みが大きく設定され、
設定した重みを適用し、参照領域にある複数の画素の色情報（色差Ｎ_ａｂ（ｘ＋ｉ，ｙ＋ｊ））が重み付け加算が実行されて補正対象画素（偽色画素）の色値（色差Ｄ_ａｂ（ｘ，ｙ））が決定される。
なお、前述したように、輝度Ｄ_Ｌ（ｘ，ｙ）については、補正することなく、入力画像の設定値をそのまま出力画像の輝度とする。

画像補正部２０３が、上記の式１に従って、合成画像の補正対象画素（ｘ，ｙ）の補正後の出力画素の色情報である色差Ｒ_ａｂ（ｘ，ｙ）を算出する処理について、図８を参照して説明する。

図８には、補正対象となる偽色画素２２１についての
（ａ）補正前の画像、
（ｂ）補正後の画像、
これらを示している。
図８（ａ）に示す例では、補正対象となる偽色画素２２１ａの周囲の画素を含む３×３の画素領域を参照領域としている。
この図８（ａ）に示す参照領域から、まず、非偽色画素（偽色判定画像（図５参照）において１の設定された画素）を選択する。

図８（ａ）では、偽色画素のみに０を設定して示している。０の設定されていない画素は非偽色画素である。
図８（ａ）に示す参照領域において、補正対象となる偽色画素２２１ａ以外の８つの参照領域中の画素中、偽色画素は、画素２２３のみである。
従って、図８（ａ）に示す参照領域中の補正対象となる偽色画素２２１を除く８つの画素から、さらに偽色画素２２３を除く７つの画素の画素値が、偽色画素２２１の画素値（色差Ｄ_ａｂ（ｘ，ｙ））を決定するために利用される参照画素となる。

この７つの参照画素の輝度がＮ_Ｌ（ｘ＋ｉ，ｙ＋ｊ）、
この７つの参照画素の色差がＮ_ａｂ（ｘ＋ｉ，ｙ＋ｊ）、
として上記式（式１）において利用される。
ｉ，ｊは、補正対象となる偽色画素２２１ａと参照画素の座標位置のずれを示し、Ｎは画素番号を示している。この場合、７つの画素が参照画素として利用されることになるのでＮ＝１〜７の７つの画素情報が利用されることになる。

この７つの参照画素を参照画素として、上記式（式１）に従って偽色画素２２１の画素値（色差Ｄ_ａｂ（ｘ，ｙ））を決定する。
補正対象とする偽色画素２２１ａの持つ画素値構成情報であるＤ_Ｌ（ｘ，ｙ）と、色差Ｄ_ａ，ｂ（ｘ，ｙ）に近い画素値（Ｌａｂ）を持つ参照画素の重みを大きく設定し、さらに、偽色画素２２１に距離的に近い参照画素の重みを大きくして、参照領域の画素の画素値をベースとした偽色画素の補正画素値の算出処理を行う。

結果として、図８（ｂ）に示すように偽色画素２２１の色差が補正された補正結果画像が生成される。画素２２１ｂは、上記式（式１）に従って算出された色差（Ｒ_ａｂ（ｘ，ｙ））が設定される。なお、輝度Ｄ_Ｌ（ｘ，ｙ）は入力時と同じであり、変更されない。

なお、参照画素領域は、３×３に限らず、５×５、７×７等、様々な設定が可能である。これらの参照領域は、画素情報を取得するフィルタのタップ数に依存することになる。参照領域、すなわちタップ中の画素が全て偽色である場合もあるが、このような場合は、参照領域をさらに拡大することが有効である。あるいは、入力時の色差を補正することなく出力するといった処理を行わざる得ない場合もある。

上述した実施例において、画像処理装置の画像補正部２０３の実行する処理をまとめると以下のようになる。
画像補正部２０３は、まず、補正対象画素の周囲領域に設定した参照領域から、画像解析部２０２の生成する偽色画素情報に基づいて偽色でないと判定された非偽色画素を参照画素として選択する。
次に、各参照画素に対して、参照画素の画素値が補正対象画素自信の画素値に近いほど大きな重みを設定した類似度重み係数と、補正対象画素の画素位置に距離的に近いほど大きな重みを設定した画素位置重み係数を設定する。
次に、各参照画素の画素値に対して類似度重み係数と画素位置重み係数を乗算して加算する加重加算処理により補正対象画素の補正画素値を決定する。
このような処理を実行することで、偽色画素を本来の正しい画素値を持つ画素に補正することが可能となる。

（２−２．実施例２）
次に、図９以下を参照して、本発明の第２実施例の画像処理装置の構成と処理について説明する。
実施例２は、合成画像の縮小画像を生成して縮小画像を適用して偽色画素の補正画素値を算出する処理例である。

まず、図９を参照して本実施例の処理の概要について説明する。
図９（ａ）に示す画像３０１は、補正対象となる偽色画素が含まれる合成画像３０１である。
この合成画像３０１に含まれる偽色画素３１１対して補正画素値を算出する場合、例えば、図９（ａ）に示す参照領域ａ３１２を設定し、参照領域ａ３１２に含まれる画素の偽色判定結果と、画素値（Ｌａｂ）の取得処理を行い、先に実施例１において説明した式（式１）を適用した画素値算出処理を行うことになる。
この処理では、参照領域ａ３１２に含まれる画素数の増加に伴い処理量、演算量が増加することになる。

例えば図９（ｂ）に示すように、合成画像３０１を縮小した縮小画像３０２を生成し、縮小画像３０２の偽色画素の周囲に参照領域ｂ３２２を設定して処理を行なえば、参照領域ｂ３２２に含まれる画素数は、縮小前の参照領域ａ３１２に含まれる画素数に比較して減少させることが可能となる。
従って、縮小画像に対する補正画素値の算出処理を行うことで、処理量、演算量を減少させることが可能となる。

実施例２に係る画像処理装置も実施例１と同様、図２に示す構成が適用可能である。画像処理部１０４の構成が実施例１とは異なる構成となる。本実施例２に係る画像処理部１０４の構成例を図１０に示す。
図１０に示すように、画像処理部１０４は、実施例１と同様の処理を行う合成画像生成部２０１、画像解析部２０２、画像補正部２０３の他、縮小画像生成部３３１を有する。

合成画像生成部２０１、画像解析部２０２、画像補正部２０３は、基本的には、実施例１と同様の構成であり、同様の処理を実行する。ただし、画像補正部２０３は、合成画像のみならず、縮小画像を用いた処理を実行する。

合成画像生成部２０１は、複数の画像の合成処理を実行して合成画像を生成する。
縮小画像生成部３３１は、合成画像生成部２０１の生成した合成画像の縮小処理を実行して縮小画像を生成する。

画像解析部２０２は合成画像の画像解析により、偽色判定画像を生成する。先に図５を参照して説明した偽色画素と非偽色画素を判別可能しとした画像である。
画像補正部２０３は、合成画像と、縮小画像と、偽色判定画像を入力して、合成画像の偽色領域の補正処理を実行して補正された合成画像を生成して出力画像１２０を生成して出力する。

画像補正部２０３は、合成画像に基づく縮小合成画像と、画像解析部２０２の生成した合成画像に対応する偽色判定画像を入力し、合成画像の偽色領域の補正処理を実行する。

画像補正部２０３の実行する偽色画素の補正処理の基本的処理態様は、実施例１と同様の処理である。すなわち、補正対象とする偽色画素の近傍に参照領域を設定し、設定した参照領域から、非偽色画素であり、かつ、輝度値が補正対象とする偽色画素の輝度に近い画素を検出する。
さらに、この検出画素を重要画素として、参照領域の重要画素の重みを大きく設定して参照領域の画素の画素値をベースとした偽色画素の補正画素値の算出処理を行う。

ただし、本実施例２において、画像補正部２０３は、前述の式（式１）における、
画素値類似度に応じた重み係数（類似度重み係数）：Ｃ（ｘ，ｙ，ｉ，ｊ）、
画素間距離に応じた重み係数（画素位置重み係数）：Ｐ（ｘ，ｙ，ｉ，ｊ）、
参照画素の色差：Ｎ_ａｂ（ｘ＋ｉ，ｙ＋ｊ）
これらの情報は、縮小画像から取得して処理を行う。

本実施例における画像補正部２０３の実行する画素値補正の具体的処理例について説明する。
縮小前の合成画像における画素位置を（ｘ，ｙ）とし、
縮小後の縮小合成画像の画素位置を（Ｘ，Ｙ）とする。
縮小画像の合成画像に対する縮小率を［Ｑ］とする。
例えば縮小画像が合成画像の１／１０の画像である場合、Ｑ＝１０であり、縮小画像が合成画像の１／５０の画像である場合、Ｑ＝５０である。
この設定において、縮小合成画像の画素位置（Ｘ，Ｙ）は、縮小前の合成画像における画素位置（ｘ，ｙ）を用いて、以下のような関係式で定義される。
（Ｘ，Ｙ）＝（ｘ／Ｑ，ｙ／Ｑ）

本実施例２においても、実施例１と同様、画像補正部２０３は、補正対象とする偽色画素の持つ画素値構成情報であるＤ_Ｌ（Ｘ，Ｙ）と、色差Ｄ_ａ，ｂ（ｘ，ｙ）に近い画素値（Ｌａｂ）を持つ参照画素の重みを大きく設定し、さらに、偽色画素に距離的に近い参照画素の重みを大きくして、参照領域の画素の画素値をベースとした偽色画素の補正画素値の算出処理を行う。

合成画像の画素位置（ｘ，ｙ）に位置する画素の輝度Ｌと色差ａ，ｂを以下のように表現する。
輝度ＬをＤ_Ｌ（ｘ，ｙ）、
色差ａ，ｂをＤ_ａ，ｂ（ｘ，ｙ）
合成画像中の補正対象画素（画素位置（ｘ，ｙ））の色情報である色差をＤ_ａ，ｂ（ｘ，ｙ）、
合成画像中の補正対象画素の近傍の参照領域の参照画素（画素位置（ｘ＋ｉ，ｙ＋ｊ））の色差をＮ_ａ，ｂ（ｘ，ｙ）、
とする。
ただし、Ｄ_ａ，ｂ（ｘ，ｙ）＝Ｎ_ａ，ｂ（ｘ，ｙ）である。

画像補正部２０３は、合成画像を構成する画素（ｘ，ｙ）の補正後の色情報である色差Ｒ_ａｂ（ｘ，ｙ）を以下の（式２）に従って算出する。なお、輝度Ｄ_Ｌ（ｘ，ｙ）については、補正することなく、入力画像の設定値をそのまま出力画像の輝度とする。

・・・・（式２）

上記式２において、
Ｅ（ｉ，ｊ）は画素（ｉ，ｊ）が偽色であれば０、偽色で無ければ１を出力する偽色判定画像（図５参照）である。（Ｅの上部に（−）を設定したデータは、Ｅ（ｉ，ｊ）と逆の値、すなわち偽色であれば１、偽色で無ければ０を出力する）
ｃ（Ｘ，Ｙ，ｉ，ｊ）は、Ｌａｂ色空間での、
画素（ｘ，ｙ）の画素値構成情報である輝度Ｄ_Ｌ（ｘ，ｙ）と、色差Ｄ_ａ，ｂ（ｘ，ｙ）と、
縮小された参照画素（Ｘ＋ｉ，Ｙ＋ｊ）の画素値構成情報である輝度Ｄ_Ｌ（Ｘ＋ｉ，Ｙ＋ｊ）と、色差Ｄ_ａ，ｂ（Ｘ＋ｉ，Ｙ＋ｊ）と、
の画素値差分（距離）を示すΔＬａｂである。

Ｃ（Ｘ，Ｙ，ｉ，ｊ）は、上記のｃ（Ｘ，Ｙ，ｉ，ｊ）のガウス関数（図６、図７参照）である。
Ｐ（Ｘ，Ｙ，ｉ，ｊ）は縮小画像において設定される偽色画素（ｘ，ｙ）の対応位置にある画素（Ｘ，Ｙ）と画素（Ｘ＋ｉ，Ｙ＋ｊ）の間の空間距離のガウス関数（図６、図７参照）である。
画像補正部２０３は、上記の式２に従って、合成画像の補正対象画素（ｘ，ｙ）の補正後の出力画素の色情報である色差Ｒ_ａｂ（ｘ，ｙ）を算出する。

上記式（式２）は、先の実施例１で適用した式１と同様、偽色画素の周囲に設定した参照領域から、
非偽色画素（偽色判定画像（図５参照）において１の設定された画素）であり、かつ、補正対象とする偽色画素の持つ画素値構成情報であるＤ_Ｌ（ｘ，ｙ）と、色差Ｄ_ａ，ｂ（ｘ，ｙ）に近い画素値（Ｌａｂ）を持つ参照画素を重要画素として、これらの重要画素の重みを大きく設定し、さらに、補正対象とする偽色画素に距離的に近い画素の重みを大きくして、参照領域の画素の画素値をベースとした偽色画素の補正画素値の算出処理を行っている。

ただし、前述したように、本実施例２において、画像補正部２０３は、上記式（式２）に含まれる以下のパラメータ、すなわち、
画素値類似度に応じた重み係数（類似度重み係数）：Ｃ（Ｘ，Ｙ，ｉ，ｊ）、
画素間距離に応じた重み係数（画素位置重み係数）：Ｐ（Ｘ，Ｙ，ｉ，ｊ）、
参照画素の色差：Ｎ_ａｂ（Ｘ＋ｉ，Ｙ＋ｊ）
これらの情報は、縮小画像から取得して処理を行う。

これらのパラメータを縮小画像から取得することで、先に図９を参照して説明したように、処理量や演算量を削減することが可能となり、効率的な高速処理が実現される。すなわち、縮小画像を用いることによって、大きいエリアで偽色が発生した場合も、参照領域からのデータ取得のためのタップ数を広げることなく、広く近傍画素を参照可能になり、大幅な計算量削減になり、ハードウェア実装をする際の回路規模の縮小も実現される。

（２−３．実施例３）
次に、図１１以下を参照して、本発明の第３実施例の画像処理装置の構成と処理について説明する。
これまでの実施例１，２においては、参照画素を取得する画像を補正対象となる偽色画素を含む合成画像、またはその縮小画像のいずれか１つを利用する実施例であった。すなわち、参照する画像は１つの画像のみとしていた。

以下、説明する実施例３は、参照画像を２種類以上適用した処理例である。例えば、補正対象とする偽色画素を含む第１の合成画像に加え、第１の合成画像と異なるタイミングで撮影された画像に基づく第２の合成画像など、複数の合成画像を参照画像として設定し、複数の参照画像に設定される参照領域から取得する参照画素値を利用して偽色画素の補正画素値を算出する。例えば図１１に示すような設定として、複数の参照画像を利用して補正対象画像の偽色の補正値を算出する。

一例として、参照画素を取得する参照画像を以下の（ａ），（ｂ）２つの設定とした例について説明する。
（ａ）第１参照画像＝補正対象画素である偽色画像を含む第１の合成画像と、
（ｂ）第２参照画像＝第１の合成画像より過去の撮影画像に基づいて生成された第２の合成画像の縮小画像
これらの２つの参照画像を用いて、補正対象画素の画素値構成情報としての色情報である色差：Ｄ_ａ，ｂ（ｘ，ｙ）の補正値：Ｒ_ａ，ｂ（ｘ，ｙ）を算出する処理例について説明する。

実施例３に係る画像処理装置も実施例１〜２と同様、図２に示す構成が適用可能である。画像処理部１０４の構成が実施例１，２とは異なる構成となる。本実施例３に係る画像処理部１０４の構成例を図１２に示す。
図１２に示すように、画像処理部１０４は、実施例１と同様の処理を行う合成画像生成部２０１、画像解析部２０２、画像補正部２０３の他、実施例２と同様の縮小画像を生成する縮小画像生成部３３１と、さらに、縮小画像を一次的に格納するフレームメモリ４０１を有する。

画像補正部２０３は、補正対象となる合成画像を入力する。この合成画像は補正対象画像であり、かつ第１参照画像でもある。
画像補正部２０３は、さらに、補正対象となる合成画像の前のタイミングの撮影処理によって生成された過去の合成画像に基づいて生成された縮小画像をフレームメモリ４０１から入力する。この縮小画像が第２参照画像として利用される。

合成画像生成部２０１、画像解析部２０２、画像補正部２０３は、基本的には、実施例１と同様の構成であり、同様の処理を実行する。ただし、画像補正部２０３は、参照画像として、
（ａ）第１参照画像＝補正対象画素である偽色画像を含む第１の合成画像と、
（ｂ）第２参照画像＝第１の合成画像より過去の撮影画像に基づいて生成された第２の合成画像の縮小画像
これらの２つの参照画像を利用した処理を行う。

画像解析部２０２は合成画像の画像解析により、偽色判定画像を生成する。先に図５を参照して説明した偽色画素と非偽色画素を判別可能しとした画像である。
画像補正部２０３は、合成画像と、縮小画像と、偽色判定画像を入力して、合成画像の偽色領域の補正処理を実行して補正された合成画像を生成して出力画像１２０を生成して出力する。

画像補正部２０３の実行する偽色画素の補正処理の基本的処理態様は、実施例１，２と同様の処理である。すなわち、補正対象とする偽色画素の近傍に参照領域を設定し、設定した参照領域から、非偽色画素であり、かつ、輝度値が補正対象とする偽色画素の輝度に近い画素を検出する。
さらに、この検出画素を重要画素として、参照領域の重要画素の重みを大きく設定して参照領域の画素の画素値をベースとした偽色画素の補正画素値の算出処理を行う。
ただし、本実施例３では、参照画素を２つの参照画像から抽出する。すなわち、
（ａ）第１参照画像＝補正対象画素である偽色画像を含む第１の合成画像と、
（ｂ）第２参照画像＝第１の合成画像より過去の撮影画像に基づいて生成された第２の合成画像の縮小画像
これらの２つの参照画像から参照画素の画素値を取得する。

本実施例における画像補正部２０３の実行する画素値補正の具体的処理例について説明する。
補正対象画素の色差：Ｄ_ａ，ｂ（ｘ，ｙ）、
合成画像と等しい第１参照画像における画素位置（ｘ，ｙ）から距離（ｉ，ｊ）の近傍画素の色差：Ｎ１_ａ，ｂ（ｘ＋ｉ，ｙ＋ｊ）、
第２参照画像（異なるタイミングで撮影された合成画像の縮小画像（縮小率Ｑ））における補正対象画素の対応画素位置（Ｘ，Ｙ）（（Ｘ，Ｙ）＝（ｘ／Ｑ，ｙ／Ｑ））から距離（ｉ，ｊ）の近傍画素の色差：Ｎ２_ａ，ｂ（Ｘ＋ｉ，Ｙ＋ｊ）、
このようなパラメータの設定の下に、

合成画像の補正対象画素の補正後の出力画素値Ｒ_ａ，ｂ（ｘ，ｙ）は以下の式（式３）で算出する。なお、輝度Ｄ_Ｌ（ｘ，ｙ）については、補正することなく、入力画像の設定値をそのまま出力画像の輝度とする。

・・・・（式３）

上記式３における補正後の出力画素値Ｒ_ａ，ｂ（ｘ，ｙ）の算出式の前半の項である、
（ｖｐ＋ｗｑ）の式中、
ｖ，ｗ（ｖ＋ｗ＝１）は各参照画像の重みであり、予め設定した値を用いる。
ｐは、先に説明した実施例１において示した式１の補正後の出力画素値Ｒ_ａ，ｂ（ｘ，ｙ）の算出式の前半の項と同様の式である。
ｑは、先に説明した実施例２において示した式２の補正後の出力画素値Ｒ_ａ，ｂ（ｘ，ｙ）の算出式の前半の項と同様の式である。
ただし、
（ｖｐ＋ｗｑ）において、
ｐは、補正対象画像と同一の合成画像（第１参照画像）から選択される参照画素から算出される。
ｑは、補正対象画像と異なる合成画像の縮小画像（第２参照画像）から選択される参照画素から算出される。

この他の、パラメータは、前述の第１実施例、第２実施例で説明したと同様のパラメータである。
Ｅ（ｉ，ｊ）は画素（ｉ，ｊ）が偽色であれば０、偽色で無ければ１を出力する偽色判定画像（図５参照）である。（Ｅの上部に（−）を設定したデータは、Ｅ（ｉ，ｊ）と逆の値、すなわち偽色であれば１、偽色で無ければ０を出力する）

ｃ（ｘ，ｙ，ｉ，ｊ）は、Ｌａｂ色空間での、
画素（ｘ，ｙ）の画素値構成情報である輝度Ｄ_Ｌ（ｘ，ｙ）と、色差Ｄ_ａ，ｂ（ｘ，ｙ）と、
第１参照画素（ｘ＋ｉ，ｙ＋ｊ）の画素値構成情報である輝度Ｄ_Ｌ（ｘ＋ｉ，ｙ＋ｊ）と、色差Ｄ_ａ，ｂ（ｘ＋ｉ，ｙ＋ｊ）と、
の画素値差分（距離）を示すΔＬａｂである。
Ｃ（ｘ，ｙ，ｉ，ｊ）は、上記のｃ（ｘ，ｙ，ｉ，ｊ）のガウス関数（図６、図７参照）である。
Ｐ（ｘ，ｙ，ｉ，ｊ）は画素（ｘ，ｙ）と第１参照画像の画素（ｘ＋ｉ，ｙ＋ｊ）の間の空間距離のガウス関数（図６、図７参照）である。

ｃ（Ｘ，Ｙ，ｉ，ｊ）は、Ｌａｂ色空間での、
画素（ｘ，ｙ）の画素値構成情報である輝度Ｄ_Ｌ（ｘ，ｙ）と、色差Ｄ_ａ，ｂ（ｘ，ｙ）と、
第２参照化画像である縮小画素（Ｘ＋ｉ，Ｙ＋ｊ）の画素値構成情報である輝度Ｄ_Ｌ（Ｘ＋ｉ，Ｙ＋ｊ）と、色差Ｄ_ａ，ｂ（Ｘ＋ｉ，Ｙ＋ｊ）と、
の画素値差分（距離）を示すΔＬａｂである。
Ｃ（Ｘ，Ｙ，ｉ，ｊ）は、上記のｃ（Ｘ，Ｙ，ｉ，ｊ）のガウス関数（図６、図７参照）である。
Ｐ（Ｘ，Ｙ，ｉ，ｊ）は第２参照画像（縮小画像）において設定される偽色画素（ｘ，ｙ）の対応位置にある画素（Ｘ，Ｙ）と画素（Ｘ＋ｉ，Ｙ＋ｊ）の間の空間距離のガウス関数（図６、図７参照）である。
なお、ｖ，ｗ（ｖ＋ｗ＝１）は前述したように、各参照画像の重みであり、予め設定した値を用いる。

画像補正部２０３は、上記の式３に従って、合成画像の補正対象画素（ｘ，ｙ）の補正後の出力画素の色情報である色差Ｒ_ａｂ（ｘ，ｙ）を算出する。

上記式（式３）は、先の実施例１，２で適用した式１と同様、偽色画素の周囲に設定した参照領域から、
非偽色画素（偽色判定画像（図５参照）において１の設定された画素）であり、かつ、補正対象とする偽色画素の持つ画素値構成情報であるＤ_Ｌ（ｘ，ｙ）と、色差Ｄ_ａ，ｂ（ｘ，ｙ）に近い画素値（Ｌａｂ）を持つ参照画素を重要画素として、これらの重要画素の重みを大きく設定し、さらに、補正対象とする偽色画素に距離的に近い画素の重みを大きくして、参照領域の画素の画素値をベースとした偽色画素の補正画素値の算出処理を行っている。

ただし、前述したように、本実施例３において、画像補正部２０３は、複数の異なる参照画像を適用して補正画素値を算出する構成である。このように、参照画像を増やすことによって、補正値の精度を高めることが可能となる。
なお、図１２を参照して説明した処理例では、過去画像については縮小画像として参照していたが、縮小処理を行わず補正対象画素を含む第１の合成画像を第１参照画像とし、補正対象画素を含まない第２の合成画像を縮小することなく第２参照画像としてそれぞれの画像から参照画素を取得して補正画素値を算出する構成としてもよい。
また、３以上の異なる画像を参照画像として設定する処理を行なう構成としてもよい。

［３．縮小画像の生成処理例について］
上述した実施例２，３において説明したように、偽色画素の画素値を決定するために利用する参照画像は、縮小画像とすることで効率的な処理を行うことが可能となる。
以下、この縮小画像の生成処理の具体的な処理例について説明する。

図１３および図１４を参照して縮小画像の作成処理例について説明する。
図１３は一般的な縮小画像の生成処理例、
図１４は本発明の一実施例に従った偽色の存在を考慮して縮小画像を生成する処理例、
これらを示している。

まず、図１３に示す従来型の縮小画像生成処理例について説明する。
図１３（Ａ１）には、６×６画素を２×２画素に縮小する処理例を示している。すなわち、元画像の３×３画素を縮小画像の１画素とする縮小処理例である。
６×６画素の元画像の右上の３×３画素のブロック５０１は、縮小画像の画素５０２として設定される。
従来型の縮小処理における画素値設定処理について図１３（Ａ２）を参照して説明する。２×２画素の縮小画像の右上の画素５０２の画素値の設定例について説明する。
縮小画像の右上の画素５０２の画素値は、図１３（Ａ２）に示すように、６×６画素の元画像の右上の３×３画素のブロック５０１を構成する９画素の画素値の平均値として設定される。

一般的な縮小画像の画素値の算出式は、以下の式（式５）のように示すことができる。
縮小処理は、元画像の１／ｎのサイズの縮小画像であるとする。
縮小画像の画素位置（ｉ，ｊ）の画素の画素値をＰ_{Ｌ，ａ，ｂ}（ｉ，ｊ）とする。
このとき、縮小画像の画素位置（ｉ，ｊ）の画素の画素値をＰ_{Ｌ，ａ，ｂ}（ｉ，ｊ）は以下の式（式４）に従って算出される。

（式４）

なお、上記式において、
ｉ，ｊは、縮小画像の画素位置を示す座標であり、それぞれｘ，ｙ方向の画素位置を示す。
Ｐ_{Ｌ，ａ，ｂ}（ｋ，ｌ）は、縮小前の元画像の構成画素の画素値に対応する。図１３（Ａ２）に示す例では、縮小前の３×３＝９個の画素の画素値である。
図１３（Ａ２）に示す例では、例えば、縮小前の元画像の右上の３×３画素のブロック５０１に含まれる各画素の画素値をａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉとした場合、
縮小画像の画素５０２の画素値Ｐ_{Ｌ，ａ，ｂ}（ｉ，ｊ）は、以下の式に従って算出される。
Ｐ_{Ｌ，ａ，ｂ}（ｉ，ｊ）＝（１／９）ａ＋（１／９）ｂ＋（１／９）ｃ＋（１／９）ｄ＋（１／９）ｅ＋（１／９）ｆ＋（１／９）ｇ＋（１／９）ｈ＋（１／９）ｉ
上記式によって、縮小画像の画素値：Ｐ_{Ｌ，ａ，ｂ}（ｉ，ｊ）が算出される。

しかしながら、このような平均値による画素値設定を行うと、偽色を含む画像の場合、縮小画像の設定画素値に偽色の影響が残るという問題がある。そこで、本発明では、図１４に示すように、縮小画像の作成の際に各画素について偽色の存在を考慮し、偽色の影響を減少させた縮小画像を生成する。

図１４においても、図１３を参照して説明したと同様、図１４（Ｂ１）に示すように、６×６画素を２×２画素に縮小する処理例を示している。すなわち、元画像の３×３画素を縮小画像の１画素とする縮小処理例である。
６×６画素の元画像の右上の３×３画素のブロック５２１は、縮小画像の画素５２３として設定される。
６×６画素の元画像の右上の３×３画素のブロック５２１には１つの偽色画素５２２が含まれている。

本発明に従った縮小画像の生成処理における画素値設定は、図１４（Ｂ２）に示すように行われる。
図１４（Ｂ２）に示すように、６×６画素の元画像の右上の３×３画素のブロック５２１を構成する９画素について、
まず、偽色画素であるか非偽色画素であるかを判別する。なお、この判別情報は、例えば先の実施例１〜３において説明した画像処理部１０４内の画像解析部２０２の生成する偽色判定画像を利用することができる。

次に、６×６画素の元画像の右上の３×３画素のブロックに含まれる各画素について、ブロック中の各画素の重みを設定する。すなわち、偽色か否かによって異なる値に設定する。具体的には、
偽色画素であれば小さい重み、
非偽色画素であれば大きい重み、
このような重み設定を行う。
図に示す例では、
偽色画素＝（１／８１）
非偽色画素＝（１０／８１）
このような重みを設定した例を示している。

次に、６×６画素の元画像の右上の３×３画素のブロックに含まれる各画素の画素値Ｐ（ｘ，ｙ）に重みｋ（ｘ，ｙ）を乗算した値を加算して縮小画像の画素値を決定する。すなわち、元画像のブロック中の各画素の偽色を考慮した重みを設定した加重加算により縮小画像の構成画素の画素値を設定する。

本発明に従った縮小画像の画素値の算出式は、以下の式（式５）のように示すことができる。
縮小処理は、元画像の１／ｎのサイズの縮小画像であるとする。
縮小画像の画素位置（ｉ，ｊ）の画素の画素値をＰ_{Ｌ，ａ，ｂ}（ｉ，ｊ）とする。
このとき、縮小画像の画素位置（ｉ，ｊ）の画素の画素値をＰ_{Ｌ，ａ，ｂ}（ｉ，ｊ）は以下の式（式５）に従って算出される。

（式５）

なお、上記式において、
ｉ，ｊは、縮小画像の画素位置を示す座標であり、それぞれｘ，ｙ方向の画素位置を示す。
Ｐ_{Ｌ，ａ，ｂ}（ｋ，ｌ）は、縮小前の元画像の構成画素の画素値に対応する。図１４（Ｂ２）に示す例では、縮小前の３×３＝９個の画素の画素値である。
Ｅ（ｋ，ｌ）は、縮小前の元画像の構成画素の画素（ｋ，ｌ）が偽色であれば０、偽色で無ければ１を出力する偽色判定画像（図５参照）である。
ｎｕｍはΣ中のＥ（ｋ，ｌ）＝１の数である。
なお、縮小画像の１画素に対応する元画像の画素ブロック領域が全て偽色であり、ｎｕｍ＝０の場合は、例外処理として、隣接ブロックの画素値を適用する、あるいは通常の平均値を算出する処理などを行う。

図１４（Ｂ２）に示す例では、例えば、縮小前の元画像の右上の３×３画素のブロック５２１に含まれる各画素の画素値をａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ（＝偽色），ｉとした場合、
縮小画像の画素５２３の画素値Ｐ_{Ｌ，ａ，ｂ}（ｉ，ｊ）は、以下の式に従って算出される。
Ｐ_{Ｌ，ａ，ｂ}（ｉ，ｊ）＝（１０／８１）ａ＋（１０／８１）ｂ＋（１０／８１）ｃ＋（１０／８１）ｄ＋（１０／８１）ｅ＋（１０／８１）ｆ＋（１０／８１）ｇ＋（１／８１）ｈ＋（１０／８１）ｉ
上記式によって、縮小画像の画素値：Ｐ_{Ｌ，ａ，ｂ}（ｉ，ｊ）が算出される。

このように、縮小画像の画素値算出処理に際して、偽色画素の重みを非偽色画素に比較して低く設定する（例えば１／１０）ことで、縮小画像の構成画素の画素値に対する偽色画素の影響が低下し、偽色の影響を低減した品質の高い縮小画像を作成することが可能になり、参照画像として補正に利用する際に、より妥当性のあるものとなる。
なお、図１４を参照して説明した縮小画像生成処理は、例えば前述の実施例２、実施例３における縮小画像生成部３３１における縮小画像の生成処理に適用可能である。

さらに、例えば前述の実施例２、実施例３における縮小画像生成部３３１は、縮小画像を生成した後に、縮小画像の色差成分に対してローパスフィルターを施す処理を行う構成としてもよい。縮小画像にローパスフィルターを適用して縮小画像の画素値を変換することによって、高周波成分が減少し、縮小画像から取得される参照画素の画素値に、周囲と大きく異なる極端な値がある場合に、その影響を緩和することが可能となり、誤った画素値が参照画素値として採用される影響を少なくすることが可能となり、精度の高い補正処理を行うことが可能となる。なお、偽色を考慮せずに縮小する処理（図１３参照）を行う場合でも、ローパスフィルターを施すことで偽色部分をぼかして目立たなくすることが出来る。

［４．異なる色空間の適用処理について］
上述した実施例では、色空間としてＬａｂ色空間を適用した処理例について説明したが、本発明は、Ｌａｂ色空間に限らず、その他の色空間を適用した場合でも利用可能である。

上述した実施例１〜３においては合成画像の構成画素の各々がＬａｂ色空間に対応する画素値を持つ設定として説明していた。すなわち、各画素は、画素値の構成情報として、
輝度情報Ｌと、色情報である色差ａｂを有している設定として説明した。
補正対象とする画像がＬａｂ色空間に対応する画素値を設定されてない場合、例えば、ＹＣｂＣｒ色空間に対応する画素情報を持つ場合について説明する。

補正対象とする画像の各画素の画素値としてＹＣｂＣｒ色空間に対する画素値情報を持つ場合、
Ｌａｂ色空間に対応する色情報である色差ａｂの代わりに、ＹＣｂＣｒでのＣｂ、Ｃｒ値を用いることが可能である。また、Ｌａｂ色空間に対応する輝度情報であるＬの代わりに、ＹＣｂＣｒでのＹ値を用いることが可能である。
また、画素値差分としては、ΔＬａｂの代わりにΔＹＣｂＣｒを適用することができる。

［５．その他の変更を加えた実施例について］
次に、上述した実施例１〜３に対するその他の変更処理例について説明する。

（５−１．重み係数の算出処理の変更例）
上述した実施例１〜３では、例えば、
画素値類似度に応じた重み係数（類似度重み係数）：Ｃ（ｘ，ｙ，ｉ，ｊ）、
画素間距離に応じた重み係数（画素位置重み係数）：Ｐ（ｘ，ｙ，ｉ，ｊ）、
これらの重み係数を設定する場合、図６、図７を参照して説明したように、ガウス関数を適用して重みを設定している。
これらの実施例１〜３では、ガウス関数に対する入力は、例えば、画素値類似度に応じた重み係数（類似度重み係数）：Ｃ（ｘ，ｙ，ｉ，ｊ）を算出する場合、補正対象とする偽色画素と参照画素の画素値、実施例ではＬａｂの差分（距離）を示すノルムを利用している。
具体的には、以下の式（式６）で示されるノルムをガウス関数に対する入力としている。

・・・・（式６）

このノルムの代わりに、以下の式（式７）で示される差分絶対値距離を適用してもよい。

・・・・（式７）

また、
画素値類似度に応じた重み係数（類似度重み係数）：Ｃ（ｘ，ｙ，ｉ，ｊ）、
画素間距離に応じた重み係数（画素位置重み係数）：Ｐ（ｘ，ｙ，ｉ，ｊ）、
これらの重み係数を設定する場合、図６、図７を参照して説明したように、ガウス関数を適用しているが、ガウス関数の代わりに、たとえば図１５に示す近似折れ線を示す関数や固定値を使用して近似する処理を行って重み係数を算出する構成としてもよい。簡単な関数で近似することで計算量を削減することができる。

（５−２．輝度値も補正する処理例）
上述した実施例では、偽色の補正処理に際して、Ｌａｂ色空間における色情報としての色差ａｂのみを変更対象とし、輝度情報Ｌについては補正対象としてはいなかった。
実施例１〜３の処理において、輝度情報Ｌなど色差ａｂ以外の画素情報についても変更する処理としてもよい。
ただし、この処理を行うか否かは、補正対象となる画像の性質に応じて決定することが好ましい。
例えば、補正対象とする画像には、以下の４種類がある。
１：輝度は正しく色差も正しい、
２：輝度は誤っているが色差は正しい、
３：輝度は正しいが色差は誤っている、
４：輝度も色差も誤っている、
これらの４種類があり、上述した実施例１〜３では、３のケース、すなわち、「輝度は正しいが色差は誤っている」というケースを救済するものであった。
上記１の場合は補正処理は不要であり、３の場合は、上述した実施例１〜３の処理が好ましい。２，４の場合は、輝度の補正処理を実行することが好ましい。

（５−３．補正後の画像に対するぼかし処理の適用処理）
上述した実施例１〜３では、偽色補正を行った画像を最終的な処理画像として出力しているが、偽色補正を行った補正画像に対して、さらに、ローパスフィルターを使用してぼかし処理を施す構成としてもよい。なお、ローパスフィルターの適用位置は、偽色補正を実行した画素部分のみとする。ローパスフィルターを使用することによって、補正対象画像中の色差の違和感が緩和される。なお、ローパスフィルターは色差成分のみを対象としても良い。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、複数画像を合成して生成した合成画像内の偽色の補正処理を行う装置および方法が実現される。具体的には、複数の画像の画素値を選択的に組み合わせた合成画像に含まれる偽色画素の近傍に参照領域を設定し、参照領域から非偽色画素を参照画素として選択する。さらに参照画素に対して参照画素の画素値が補正対象画素である偽色画素自信の画素値に近いほど大きな重みを設定した類似度重み係数と、補正対象画素の画素位置に距離的に近いほど大きな重みを設定した画素位置重み係数を設定し、参照画素の画素値に類似度重み係数と画素位置重み係数を乗算して加算する加重加算処理により補正対象画素の画素値を決定する。この画素値補正処理により、偽色画素をより真に近い画素値に補正することが可能となる。

１０ 輝度閾値レベル
１１ 高輝度領域
１２ 低輝度領域
１０１ 光学レンズ
１０２ 撮像デバイス
１０３ メモリ
１０４ 画像処理部
１０５ 制御部
１１１〜１１３ 画像
１２０ 出力画像
２０１ 合成画像生成部
２０２ 画像解析部
２０３ 画像補正部
３３１ 縮小画像生成部
４０１ フレームメモリ

Claims (12)

1. 複数の画像を合成して生成した合成画像と、合成画像中に含まれる偽色画素位置を示す偽色画素情報を入力し、前記合成画像内の偽色画素を補正対象画素とした画素値補正を実行する画像補正部を有し、
   前記画像補正部は、
   前記補正対象画素の周囲領域に設定した参照領域から、前記偽色画素情報に基づいて偽色でないと判定された非偽色画素を参照画素として選択し、
   各参照画素に対して、参照画素の画素値が補正対象画素自身の画素値に近いほど大きな重みを設定した類似度重み係数と、補正対象画素の画素位置に距離的に近いほど大きな重みを設定した画素位置重み係数を設定し、
   各参照画素の画素値に対して前記類似度重み係数と画素位置重み係数を乗算して加算する加重加算処理により前記補正対象画素の補正画素値を決定する構成であり、
   前記類似度重み係数の設定処理においては、前記補正対象画素の輝度に近い輝度を持つ参照画素の重みを大きくする輝度差分を考慮した重み係数設定を実行する画像処理装置。
2. 前記画像補正部は、
   前記合成画像の各画素の持つ画素値構成情報の各々についての差分に応じて前記類似度重み係数を算出する請求項１に記載の画像処理装置。
3. 前記合成画像の画素の各々にはＬａｂ色空間に対応する画素値情報が設定され、
   前記画像補正部は、
   前記合成画像の各画素の持つ画素値構成情報である輝度Ｌと色差ａｂの各々についての差分に応じて前記類似度重み係数を算出する請求項２に記載の画像処理装置。
4. 前記画像処理装置は、
   前記合成画像の縮小処理を実行する縮小画像生成部を有し、
   前記画像補正部は、前記縮小画像生成部の生成した縮小画像中に前記参照領域を設定し、縮小画像中に設定した参照領域から選択した参照画素を適用して前記類似度重み係数と前記画素位置重み係数を算出する請求項１〜３いずれかに記載の画像処理装置。
5. 前記画像処理装置は、
   前記補正対象画素を含む第１の合成画像と異なるタイミングの撮影画像に基づく第２の合成画像、または第２の合成画像の縮小画像を第２参照画像として入力し、
   前記第２参照画像に対して、前記第１の合成画像の補正対象画素に対応する画素位置周囲に第２の参照領域を設定し、該第２の参照領域に含まれる非偽色画素を参照画素として選択し、選択した各参照画素に前記類似度重み係数と画素位置重み係数を設定し、
   前記補正対象画素を含む合成画像から選択した参照画素、および前記第２の参照領域から選択した参照画素の双方を適用して、各参照画素の画素値に対して前記類似度重み係数と画素位置重み係数を乗算して加算する加重加算処理により前記補正対象画素の補正画素値を決定する請求項１〜４いずれかに記載の画像処理装置。
6. 前記画像補正部は、
   前記類似度重み係数と画素位置重み係数をガウス関数を適用して算出する請求項１〜５いずれかに記載の画像処理装置。
7. 前記画像処理装置は、さらに、
   前記合成画像を入力し、合成画像内に含まれる偽色画素の検出を実行して前記偽色画素情報を生成する画像解析部を有し、
   前記画像補正部は、前記画像解析部の生成する偽色画素情報を適用して参照領域内の非偽色画素の選択を行う請求項１〜６いずれかに記載の画像処理装置。
8. 前記画像処理装置は、さらに、
   複数の画像を合成して合成画像を生成する合成画像生成部を有し、
   前記画像補正部は、前記合成画像生成部の生成する合成画像の補正を実行する請求項１〜７いずれかに記載の画像処理装置。
9. 前記合成画像は、
   異なる露出時間を設定して撮影された複数の画像を合成して生成した合成画像である請求項１〜８いずれかに記載の画像処理装置。
10. 異なる露光時間の撮影画像を撮影する撮像デバイスと、
    請求項１〜９いずれかに記載の画像処理を実行する画像処理部を有する撮像装置。
11. 画像処理装置において画素値補正を実行する画像処理方法であり、
    画像補正部が、複数の画像を合成して生成した合成画像と、合成画像中に含まれる偽色画素位置を示す偽色画素情報を入力し、前記合成画像内の偽色画素を補正対象画素とした画素値補正を実行する画像補正ステップを有し、
    前記画像補正ステップは、
    前記補正対象画素の周囲領域に設定した参照領域から、前記偽色画素情報に基づいて偽色でないと判定された非偽色画素を参照画素として選択するステップと、
    各参照画素に対して、参照画素の画素値が補正対象画素自身の画素値に近いほど大きな重みを設定した類似度重み係数と、補正対象画素の画素位置に距離的に近いほど大きな重みを設定した画素位置重み係数を設定するステップと、
    各参照画素の画素値に対して前記類似度重み係数と画素位置重み係数を乗算して加算する加重加算処理により前記補正対象画素の補正画素値を決定するステップを実行し、
    前記類似度重み係数の設定処理においては、前記補正対象画素の輝度に近い輝度を持つ参照画素の重みを大きくする輝度差分を考慮した重み係数設定を実行する画像処理方法。
12. 画像処理装置において画素値補正を実行させるプログラムであり、
    画像補正部に、複数の画像を合成して生成した合成画像と、合成画像中に含まれる偽色画素位置を示す偽色画素情報を入力し、前記合成画像内の偽色画素を補正対象画素とした画素値補正を実行させる画像補正ステップを有し、
    前記画像補正ステップは、
    前記補正対象画素の周囲領域に設定した参照領域から、前記偽色画素情報に基づいて偽色でないと判定された非偽色画素を参照画素として選択させるステップと、
    各参照画素に対して、参照画素の画素値が補正対象画素自身の画素値に近いほど大きな重みを設定した類似度重み係数と、補正対象画素の画素位置に距離的に近いほど大きな重みを設定した画素位置重み係数を設定させるステップと、
    各参照画素の画素値に対して前記類似度重み係数と画素位置重み係数を乗算して加算する加重加算処理により前記補正対象画素の補正画素値を決定させるステップを含み、
    前記類似度重み係数の設定処理においては、前記補正対象画素の輝度に近い輝度を持つ参照画素の重みを大きくする輝度差分を考慮した重み係数設定を実行させるプログラム。