JP4539299B2 - 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、例えばレンズの収差による偽色の発生した画像データを補正し、高品質な画像データを生成する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。

カメラで画像撮影を行なう際には、レンズの収差によりさまざまな問題が引き起こされる。特に、倍率の高いレンズや、製造コストの安いレンズを使用してカメラ撮影を行う際に、その撮影した画像に、レンズの収差を起因とした偽色が生じる場合がある。この偽色の中でも、輝度差が著しく大きいようなシーン（例えば木漏れ日）を撮影した際に、低輝度部分のエッジ付近に、紫色の非常に彩度の強い偽色が生じることがある。これはパープルフリンジ（ＰＦ）と呼ばれていて、画質に悪影響をおよぼしている。

これは、光の波長により点像分布が異なっているために、画像中のエッジ部分に偽色が発生する現象である。通常の画素ではそれほど目立たない場合でも、輝度レベルにおける飽和状態としての白とびが起こっているハイコントラストのエッジ部分があれば、その周辺に紫色の偽色が発生し、不自然な像が結像されてしまう。一般に、白とびの近傍に発生する偽色は紫系の色が多く発生するためパープルフリンジと呼ばれる。ただし、レンズ、撮影条件などに応じて、偽色の色は緑がかった色となる場合など様々である。以下、パープルフリンジとは、発生する色に関わらず白とびが起こっているハイコントラストのエッジ部分における偽色発生現象を指すものとする。

色収差を軽減するための技術としては、蛍石など特殊な素材で出来たガラスを用いたレンズを適用する構成がある。しかし、このようなレンズを製造するのはコストがかるため価格も高く、レンズ交換式のカメラ用など一部の高級なカメラで用いられているが、一般に広く普及しているとは言えない。

また、特許文献１には、色収差によって発生する偽色を画像処理により軽減する方法が示されている。これは、緑チャンネルの高周波成分が高い部分に関して、色を抑制、つまり彩度を低下させる処理を行うものである。また、白とびが起こっている場合の対策として、露出を変えて２枚の画像を撮像し白とび部分の本来の輝度を推定し、彩度を低下させる処理を行う構成を開示している。

しかし、特許文献１に記載の処理では、白とび部分の輝度の推定結果からどの程度彩度を落とせるか判定しているため、仮に推定が間違ってしまった場合、本来の被写体の色が過度に落ちてしまう可能性があり、その結果、不自然な結果画像を生じる場合がある。また、白とび部分の輝度推定のために露出を変えて２回撮影を行う必要があり、手ぶれや被写体ぶれなどが起こった場合、正しい結果を得ることは困難になるという問題がある。さらに、露出を変えて撮影しなければならないので、ビデオカメラなどで動画撮影を行う場合、この方法は適用できないという問題がある。
特開２００３−６０９８３号公報

本発明は、上述の問題点に鑑みてなされたものであり、ビデオカメラなどで撮影された動画像に対する効率的な画像補正処理を可能としたものであり、撮像手段から入力される一定のフレームレートの画像データに対してリアルタイムの画像処理を施してメモリに格納、あるいは出力する処理を実行する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明は、具体的には、白とび周辺に発生するパープルフリンジ等の偽色に注目し、この偽色領域を効率的に検出し、偽色に対する補正を中心とした画像処理を実行することにより、高品質な画像データを生成することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明は、特に、画像データの構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いを算出し、偽色度合いに基づく彩度削減処理により、高品質な画像データを生成することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明は、さらに、偽色である可能性を示すパラメータとしての偽色度合いを算出する際に、画像データの縮小処理を実行し、縮小画像データに基づいて、飽和レベルの高輝度画素としての白とび画素の検出を実行し、白とび検出データを用いて偽色度合いを算出する構成とすることで、パラメータ算出時の計算量を削減し、効率的な画素補正を可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
画像処理装置であり、
処理画像の構成画素の補正パラメータとして、画素の偽色に対する類似性情報である画素対応の偽色度を算出する補正パラメータ算出部と、
前記偽色度を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理部とを有し、
前記補正パラメータ算出部は、
処理画像に基づく縮小画像データを生成する縮小画像生成部と、
前記縮小画像生成部の生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行する白とび検出部と、
処理画像から選択された注目画素の色相と偽色の色相との類似性情報としての紫度を算出する紫度計算部と、
前記白とび検出部の検出する白とび検出情報を適用して前記注目画素の白とび画素からの距離情報としての白とび度を算出する白とび度計算部と、
前記紫度および白とび度とに基づいて注目画素の偽色度を算出する偽色度算出部とを有する構成であることを特徴とする画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記白とび検出部は、前記縮小画像生成部の生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行し、縮小画像における構成画素が白とび画素であるか否かを示すフラグ情報を持つ縮小白とび検出マップを生成しメモリに格納する構成であり、前記補正パラメータ算出部は、前記メモリに格納された縮小白とび検出マップの拡大処理を実行する白とびマップ拡大部を有し、前記白とび度計算部は、前記白とびマップ拡大部の拡大したマップに基づいて前記白とび度を算出する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記白とび度計算部は、前記紫度計算部の処理対象画像フレームの前フレームに対する白とび検出処理の結果データとしてメモリに格納された白とび検出マップに基づいて白とび度を算出する構成であり、前記偽色度算出部は、フレームｎの画像データに基づいて算出された紫度、およびフレームｎ−１の画像データに基づいて算出された白とび度とに基づいて注目画素の偽色度を算出する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記補正パラメータ算出部は、
（ａ）入力画像データに基づく縮小画像の生成および白とび検出処理、
（ｂ）入力画像データに基づく紫度の計算処理、
（ｃ）メモリに格納された前フレームの画像に基づく縮小白とび検出マップの拡大処理および該拡大結果としてのマップに基づく白とび度計算処理、
上記（ａ），（ｂ），（ｃ）の各処理を並列に実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記補正処理部は、前記補正パラメータ算出部の算出する偽色度に基づいて各画素の彩度削減処理を実行する画素彩度削減処理部と、画素彩度削減処理部の出力データに対して、彩度削減処理を施した画素と周囲画素の色相の差分を減少させるぼかし処理を実行するぼかし処理部を有する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記偽色はパープルフリンジであり、前記補正パラメータ算出部は、処理画像の構成画素の補正パラメータとして、画素のパープルフリンジに対する類似性情報である画素対応の偽色度を算出する構成であることを特徴とする。

さらに、本発明の第２の側面は、
画像処理方法であり、
処理画像の構成画素の補正パラメータとして、画素の偽色に対する類似性情報である画素対応の偽色度を算出する補正パラメータ算出ステップと、
前記偽色度を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理ステップとを有し、
前記補正パラメータ算出ステップは、
処理画像に基づく縮小画像データを生成する縮小画像生成ステップと、
前記縮小画像生成ステップにおいて生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行する白とび検出ステップと、
処理画像から選択された注目画素の色相と偽色の色相との類似性情報としての紫度を算出する紫度計算ステップと、
前記白とび検出ステップにおいて検出した白とび検出情報を適用して前記注目画素の白とび画素からの距離情報としての白とび度を算出する白とび度計算ステップと、
前記紫度および白とび度とに基づいて注目画素の偽色度を算出する偽色度算出ステップと、
を有することを特徴とする画像処理方法にある。

さらに、本発明の画像処理方法の一実施態様において、前記白とび検出ステップは、前記縮小画像生成ステップにおいて生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行し、縮小画像における構成画素が白とび画素であるか否かを示すフラグ情報を持つ縮小白とび検出マップを生成しメモリに格納する処理を実行するステップであり、前記補正パラメータ算出ステップは、さらに、前記メモリに格納された縮小白とび検出マップの拡大処理を実行する白とびマップ拡大ステップを有し、前記白とび度計算ステップは、前記白とびマップ拡大ステップの拡大したマップに基づいて前記白とび度を算出するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記白とび度計算ステップは、前記紫度計算ステップにおける処理対象画像フレームの前フレームに対する白とび検出処理の結果データとしてメモリに格納された白とび検出マップに基づいて白とび度を算出するステップであり、前記偽色度算出ステップは、フレームｎの画像データに基づいて算出された紫度、およびフレームｎ−１の画像データに基づいて算出された白とび度とに基づいて注目画素の偽色度を算出するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記補正パラメータ算出ステップは、
（ａ）入力画像データに基づく縮小画像の生成および白とび検出処理、
（ｂ）入力画像データに基づく紫度の計算処理、
（ｃ）メモリに格納された前フレームの画像に基づく縮小白とび検出マップの拡大処理および該拡大結果としてのマップに基づく白とび度計算処理、
上記（ａ），（ｂ），（ｃ）の各処理を並列に実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記補正処理ステップは、前記補正パラメータ算出ステップにおいて算出する偽色度に基づいて各画素の彩度削減処理を実行する画素彩度削減処理ステップと、画素彩度削減処理ステップにおける処理結果としての出力データに対して、彩度削減処理を施した画素と周囲画素の色相の差分を減少させるぼかし処理を実行するぼかし処理ステップとを有することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記偽色はパープルフリンジであり、前記補正パラメータ算出ステップは、処理画像の構成画素の補正パラメータとして、画素のパープルフリンジに対する類似性情報である画素対応の偽色度を算出するステップであることを特徴とする。

さらに、本発明の第３の側面は、
画像処理をコンピュータ上において実行させるコンピュータ・プログラムであり、
処理画像の構成画素の補正パラメータとして、画素の偽色に対する類似性情報である画素対応の偽色度を算出する補正パラメータ算出ステップと、
前記偽色度を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理ステップとを有し、
前記補正パラメータ算出ステップは、
処理画像に基づく縮小画像データを生成する縮小画像生成ステップと、
前記縮小画像生成ステップにおいて生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行する白とび検出ステップと、
処理画像から選択された注目画素の色相と偽色の色相との類似性情報としての紫度を算出する紫度計算ステップと、
前記白とび検出ステップにおいて検出した白とび検出情報を適用して前記注目画素の白とび画素からの距離情報としての白とび度を算出する白とび度計算ステップと、
前記紫度および白とび度とに基づいて注目画素の偽色度を算出する偽色度算出ステップと、
を有することを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、処理画像の構成画素の補正パラメータとして、各画素に対応する偽色度を算出し、算出した偽色度に基づいて各画素の彩度削減処理を実行する構成とし、補正パラメータとしての偽色度の算出処理においては、縮小画像を生成し、時間の要する白とび検出処理を縮小画像に基づいて実行する構成としたので、計算量の削減により処理時間の短縮が可能となる。また、偽色度算出に適用する紫度を現フレーム（ｎ）に基づいて取得し、白とび度を前フレーム（ｎ−１）に基づいて取得する構成としたので、処理時間の遅延の防止が可能となり、所定のフレームレートで入力する動画像データのリアルタイムでの補正処理が可能となり、パープルフリンジ等の偽色の彩度削減処理およびぼかし処理を実行することで高品質な補正画像データの高速生成処理が実現される。

さらに、本発明の構成によれば、補正パラメータとしての偽色度の算出において、注目画素の色相が偽色色相と類似し、白とび画素からの距離が近いほど、大きな値の偽色度を算出する構成とし、画素彩度削減処理においては、この偽色度に基づいて各画素の彩度削減処理を実行する構成としたので、偽色度のレベルに応じた最適な彩度削減処理が実現され、パープルフリンジ等の偽色画素の存在する画像データから偽色画素を効率的に抽出した補正手処理が可能となり、効率的な高品質補正画像データの生成が可能となる。

以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。

まず、画像処理装置の構成例について図１を参照して説明する。なお、図１に示す画像処理装置は、撮像部を備え、撮像部において撮影した画像データの補正処理を実行する装置例として示してあるが、本発明の画像処理装置は、たとえばハードディスクなどの記憶部に格納された画像データを入力して入力画像の補正を実行することも可能であり、補正処理対象の画像データは、撮像部を介して入力されるデータのみならず、記憶手段、あるいはネットワークを介して入力する画像データなどあらゆる入力画像データに対応可能である。図１は本発明の画像処理装置の一構成例を示すものである。

図１に示す画像処理装置の詳細構成について説明する。図１に示すように、画像処理装置は、レンズ１０１、絞り１０２、固体撮像素子（ＣＣＤ）１０３、相関２重サンプリング回路１０４、Ａ／Ｄコンバータ１０５、ＤＳＰブロック１０６、タイミングジェネレータ１０７、Ｄ／Ａコンバータ１０８、ビデオエンコーダ１０９、ビデオモニタ１１０、コーデック（ＣＯＤＥＣ）１１１、メモリ１１２、ＣＰＵ１１３、入力デバイス１１４から構成される。

入力デバイス１１４はカメラ本体にある録画ボタンなどの操作ボタン類を含む。また、ＤＳＰブロック１０６は信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対してあらかじめプログラムされた画像処理をおこなうことができるようになっている。以下ＤＳＰブロックを単にＤＳＰと呼ぶ。

本実施例の全体的な動作を以下に説明する。
光学系を通過して固体撮像素子（ＣＣＤ）１０３に到達した入射光は、まず撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路１０４によってノイズ除去され、Ａ／Ｄコンバータ１０５によってデジタ。信号に変換された後、デジタル信号処理部（ＤＳＰ）１０６中の画像メモリに一時格納される。

撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ１０７が信号処理系を制御する。デジタル信号処理部（ＤＳＰ）１０６へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはＤ／Ａコンバータ１０８もしくはコーデック（ＣＯＤＥＣ）１１１あるいはその両方に送られる。Ｄ／Ａコンバータ１０８はデジタル信号処理部（ＤＳＰ）１０６から送られる画像データをアナログ信号に変換し、それをビデオエンコーダ１０９がビデオ信号に変換し、そのビデオ信号をビデオモニタ１１０でモニタできるようになっていて、このビデオモニタ１１０は本実施例においてカメラのファインダの役割を担っている。また、コーデック（ＣＯＤＥＣ）１１１はデジタル信号処理部（ＤＳＰ）１０６から送られる画像データに対する符号化をおこない、符号化された画像データはメモリ１１２に記録される。ここで、メモリ１１２は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってよい。

以上が本実施例の画像処理装置の一例としてのデジタルビデオカメラのシステム全体の説明であるが、本発明に係る画像処理、すなわち画像データの補正処理はデジタル信号処理部（ＤＳＰ）１０６において実行される。

以下、本発明の画像処理装置のデジタル信号処理部（ＤＳＰ）１０６において実行する画像データ補正処理の詳細について説明する。本発明の画像処理装置において実行する画像処理は、主として白とび周辺に発生するパープルフリンジ等の偽色を検出して各画素の偽色度合いを算出し、算出した偽色度合いに対応する適切な補正を実行するものであり、この補正処理により高品質な画像データを生成する。

偽色（パープルフリンジ）は、色収差による色ずれが、白とび画素部分周辺で目立って現れる現象である。白とび画素とは、輝度レベルが飽和レベルに近い高輝度の画素である。このような高輝度画素である白とび画素の周辺の画素に、本来の被写体の色相とは異なる例えば紫色の偽色を生ずる。この偽色画素がパープルフリンジ（ＰＦ）と呼ばれる。

偽色（ＰＦ：パープルフリンジ）が発生する白とびの周り範囲大きさは、光学系の絞り、焦点距離に連動しており、また、光学中心からの距離にも依存し、大きさが変わる。また、偽色が出る方向も、光学中心から白とび画素の外側に向かう方向、白とび画素から光学中心に向かう方向それぞれに発生し、その傾向は、撮像する光学系により異なる。

本発明の画像処理においては、撮影画像として入力される画像フレームの構成画素を順次、注目画素として選択し、注目画素の近傍に白とび画素が存在するかを判定し、さらに、その注目画素が紫色でかつ彩度が非常に強いかを判定する。すなわち、
（ａ）注目画素近傍に白とび画素が存在する。
（ｂ）注目画素が紫色
これらの条件を満足する画素は、偽色（ＰＦ：パープルフリンジ）画素であると判定して、補正処理を実行する。

補正処理の態様としては、例えば、検出された偽色画素の周辺にある偽色（ＰＦ）でない画素の画素値を取得し、取得した画素値の平均値を偽色画素の画素値とするなど、いわゆる周辺画素に基づく補間処理を実行することで偽色（ＰＦ）画素の補正処理を行うことも１つの方法ではあるが、このような周辺画素の画素値を取得し、取得した画素値に基づいて偽色画素に設定する画素値を算出し、算出画素値を偽色画素の画素値に再設定する補間処理は処理負荷として大きくなるという問題がある。

例えばビデオカメラによる撮影画像で一定のフレームレートで入力される画像に対して上述の補間処理を実行した場合、補正処理がビデオフレームレートに追いつかない可能性が高く、ビデオカメラによる撮影画像に対する処理とすることは現実的でない。

本発明の画像処理では、上述の周囲画素の画素値を適用した補間処理ではなく、画素の彩度の低下処理を行なう構成としている。偽色である可能性を示すパラメータとしての偽色度を算出し、算出した偽色度に基づいて各画素の彩度削減処理を実行する。さらに、パラメータ算出処理において、画像データの縮小処理を実行し、縮小画像データに基づいて、飽和レベルの高輝度画素としての白とび画素の検出を実行し、白とび検出データを用いて偽色度を算出する構成とすることで、パラメータ算出時の計算量を削減し、効率的な画素補正を可能としている。

本発明の画像処理では、例えば図１に示す画像処理装置の撮像部において撮影され、デジタル信号処理部（ＤＳＰ）１０６に入力される各画像フレームの構成画素について、後述する偽色度合い（ＰＦ度合い）を算出し、算出した各画素対応の偽色度合い（ＰＦ度合い）に基づく補正処理を行なう。ＰＦはパープルフリンジ（Ｐｕｒｐｌｅ Ｆｒｉｎｇｅ）を意味する。

なお、前述したように、輝度レベルにおける飽和状態としての白とびが起こっているハイコントラストのエッジ部分に発生するレンズ収差による偽色の代表的な現象をパープルフリンジと呼ぶが、偽色の色は紫に限定されるものではなく、例えば緑がかった色となる場合などもある。以下の実施例では、紫色の偽色を生じた例として説明するが、本発明は、紫色に限らず、白とび近傍に発生する任意の色を有する偽色の補正処理に適用可能である。

図２を参照して、本発明の画像処理装置におけるデジタル信号処理部（ＤＳＰ）１０６において実行する画像処理の全体シーケンスについて説明する。デジタル信号処理部（ＤＳＰ）１０６では例えばコンピュータ・プログラムに従ったデータ処理が実行される。図２は、デジタル信号処理部（ＤＳＰ）１０６において実行される処理を説明するため、機能別のブロックとして示したブロック図である。

デジタル信号処理部（ＤＳＰ）１０６は、図２に示すように、ホワイトバランス調整手段２０１、ガンマ補正処理手段２０２、デモザイク処理手段２０３、ＹｃｂＣｒ変換手段２０４、エッジ強調処理手段２０５、偽色（ＰＦ）補正処理手段２０６から構成されている。

図１に示した画像処理装置の固体撮像素子（ＣＣＤ）１０３で取得された画像信号は色のモザイク画像２５１である。例えば原色系の色配列（例えばベイヤー配列）などの色配列を持つカラーフィルタを介した撮像を行なうと、各画素に対して特定の波長の信号、すなわち特定波長の色成分データだけを取得する。例えばベイヤー配列の単板カラー方式の固体撮像素子を用いた場合、固体撮像素子の出力画像は、各画素にＲ，Ｇ，Ｂいずれかの情報のみを持つ色モザイク画像データ２５１となる。

デジタル信号処理部（ＤＳＰ）１０６は、この色モザイク画像データ２５１を入力し、まずホワイトバランス調整手段２０１でホワイトバランスを調整を実行し、ついでガンマ補正処理手段２０２でガンマ補正処理を行い、デモザイク手段２０３において色モザイク画像からＲＧＢデータがすべての画素に設定されたデータ生成処理としてのデモザイク処理を実行する。

その後、ＲＧＢデータがすべての画素に設定されたデモザイク画像データをＹＣｂＣｒ変換手段２０４に入力し、ＹＣｂＣｒ変換手段２０４において、ＲＧＢ信号のＹｃｂＣｒ色空間への変換処理を実行し、輝度信号（Ｙ）と、色信号（Ｃｂ，Ｃｒ）とに分離し、輝度信号（Ｙ）をエッジ強調処理手段２０５に入力して、輝度信号（Ｙ）に基づくエッジ強調処理を実行する。

次に、偽色（ＰＦ）補正処理手段２０６において、エッジ強調処理後の輝度信号（Ｙ）と、色信号（Ｃｂ，Ｃｒ）を入力し、偽色（ＰＦ）補正処理を実行し、補正された輝度信号（Ｙ）と、色信号（Ｃｂ，Ｃｒ）とからなるＹＣｂＣｒ画像データ２５２を出力する。ＹＣｂＣｒ画像データ２５２に基づく画像データが画像処理装置内のメモリに格納され、またモニタ手段などの出力部に出力される。

図２に示す処理構成中、ホワイトバランス調整手段２０１〜エッジ強調処理手段２０５における処理は、従来のデジタルビデオカメラ等の画像処理装置において実行される処理と同様の処理であり、詳細な説明は省略する。偽色（ＰＦ）補正処理手段２０６における処理は、本発明に特有の処理であり、以下、偽色（ＰＦ）補正処理手段２０６において実行する処理の詳細について説明する。

図３に、偽色（ＰＦ）補正処理手段２０６の処理を説明するブロック図を示す。前述したように、デジタル信号処理部（ＤＳＰ）１０６では例えばコンピュータ・プログラムに従ったデータ処理が実行される。図３は、図２と同様、デジタル信号処理部（ＤＳＰ）１０６において実行される処理を説明するため、機能別のブロックとして示したブロック図である。図３に示す各ブロックは、偽色（ＰＦ）補正処理手段２０６で実行する個々の処理機能に対応し、各処理機能間で受け渡しされるデータを、上下の線によって挟まれたデータとして示してある。

偽色（ＰＦ）補正処理手段２０６は、図３に示すように、大きく２つの処理部に分割される。１つは、補正パラメータ（偽色度）算出部３００であり、もう１つは補正処理部３１０である。補正パラメータ（偽色度）算出部３００では、入力画像データであるＹＣｂＣｒ入力画像３５１に基づいて、入力画像の構成画素各々について、どれだけ偽色（ＰＦ）に近いかという指標値である偽色度を算出する。偽色度［Ｒ］３５９は、画像データの構成画素各々についての画素対応値として順次、算出される。

補正処理部３１０は、補正パラメータ（偽色度）算出部３００の算出した画素対応の偽色度［Ｒ］３５９を入力し、入力した偽色度に基づいて、入力画像データであるＹＣｂＣｒ入力画像３５１の構成画素の画素値補正、具体的には、彩度削減処理、ぼかし処理の各処理を実行する。補正処理部３１０における補正処理の結果が、補正結果画像、すなわちＹＣｂＣｒ出力画像３７１として出力され、ＹＣｂＣｒ出力画像３７１に基づく画像データがメモリに格納あるいはモニタに出力される。

まず、図３に示す偽色（ＰＦ）補正処理手段２０６において実行する一連の処理の概要について説明する。各構成部の処理の詳細については後段で説明する。図２のＹＣｂＣｒ変換手段２０４とエッジ強調処理手段２０５からエッジ強調処理の施されたＹＣｂＣｒ画像３５１が、輝度成分［Ｙ］３５２と色差成分［Ｃ］３５３とに分けて偽色（ＰＦ）補正処理手段２０６に入力される。入力は、たとえばスキャンラインに沿った各画素毎に、輝度成分［Ｙ］３５２と色差成分［Ｃ］３５３とが順次入力される。

まず、補正パラメータ（偽色度）算出部３００の縮小画像生成部３０１は、輝度成分［Ｙ］３５２の縮小処理を実行する。輝度成分［Ｙ］３５２は、ＹＣｂＣｒ入力画像３５１の輝度成分情報のみを抽出したデータであり、フレーム画像データの構成画素各々の輝度［Ｙ］情報のみから構成されるデータである。縮小画像生成部３０１は、この輝度成分画像の縮小処理を実行して、［縮小画像Ｙｐ］３５４を生成し、白とび検出部３０２に出力する。

白とび検出部３０２は、［縮小画像Ｙｐ］３５４に基づいて、縮小画像における輝度レベルがほぼ飽和レベルである白とび画素の検出、すなわち白とび検出処理を行い、縮小白とび検出マップ［Ｗｐ］３５４を出力する。縮小白とび検出マップ［Ｗｐ］３５４は、縮小画像における構成画素が白とび画素であるか否かを示すフラグが各画素毎に設定されたマップである。

白とび検出部３０２は、縮小画像に基づいて生成した縮小白とび検出マップ［Ｗｐ］３５４をメモリ３０３へ格納する。メモリ３０３に格納された縮小白とび検出マップ［Ｗｐ］３５４は、次の画像フレームの画像補正処理の際に読み出されて補正パラメータとしての偽色度を算出する際に使用される。

縮小白とび検出マップ拡大部３０４は、メモリ３０３に格納された前フレームの縮小白とび検出マップ［Ｗｐ］を読み出して、撮像した画像と同じサイズに拡大する拡大処理を実行する。

ここで縮小画像に基づいて生成した縮小白とび検出マップ［Ｗｐ］３５４をメモリ３０３に格納し、格納データを直接拡大せず、次フレームの処理において使用する理由は、白とび検出部３０２における白とびの検出処理が時間を要する処理であり、同じフレームにおける白とび検出完了を待ってそれ以降の処理を行った場合、次のフレームの処理開始タイミングまでに全ての処理を終わらせることができなくなってしまうためである。

すなわち、ｎフレームにおける画像補正パラメータとしての偽色（ＰＦ）度の算出は、現フレーム（ｎフレーム）のデータと、前フレーム（ｎ−１フレーム）のデータを用いて実行される。具体的には、
（ａ）すでにメモリ３０３に格納済みの前フレーム（ｎ−１フレーム）の縮小白とび検出マップ［Ｗｐ］３５５'を読み出して、縮小白とび検出マップ拡大部３０４において拡大処理を実行して生成した白とび検出マップに基づいて、注目画素（ｘ，ｙ）と最近接白とび画素までの距離に対応する値としての距離値［Ｗｉ］３５６を取得し、取得した距離値［Ｗｉ］３５６に基づいて、白とび度計算部３０５で算出した白とび度［Ｗｒ］３５７と、
（ｂ）現フレーム（ｎフレーム）の色差成分［Ｃ］３５３に基づいて、紫度計算部３０６で算出した紫度［Ｐｒ］３５８と、
上記の（ａ）前フレームデータに基づく白とび度［Ｗｒ］３５７と、（ｂ）現フレームデータに基づく紫度［Ｐｒ］３５８とに基づいて、偽色度計算部３０７において偽色度［Ｒ］３５９を算出する。算出した偽色度［Ｒ］３５９を適用して補正処理部３１０において、現フレーム（ｎフレーム）の画像データに対する補正処理が実行される。

補正処理部３１０では、画素彩度削減処理部３１１において、入力画像３５１の色差成分［Ｃ］３５３を入力し、補正パラメータ（偽色度）算出部３００から入力する偽色度［Ｒ］３５９に基づいて偽色（ＰＦ）画素部分の彩度削減処理を行い、彩度削減画像［Ｃｓ］３６１を画素色差成分ぼかし処理部３１２に出力する。画素色差成分ぼかし処理部３１２は、彩度削減画像［Ｃｓ］３６１における色差成分に対してＢｌｕｒを掛ける処理、すなわち、ぼかし処理を実行する。ぼかし処理については全ての画素について実行するのではなく、彩度削減処理の実行された画素を含む領域が処理対象として選択されぼかし処理が実行される。画素色差成分ぼかし処理部３１２は、この処理対象領域の選択のために偽色度［Ｒ］３５９を入力し、偽色度［Ｒ］３５９≠０の画素を選択し、ぼかし処理の処理対象領域を決定してぼかし処理を行なう。

画素色差成分ぼかし処理部３１２は、ぼかし処理を実行して、補正結果としての補正色差成分画像［Ｃｔｅｍｐ］３６２を生成し出力する。補正色差成分画像［Ｃｔｅｍｐ］３６２は、輝度成分［Ｙ］３６５と合成されて、最終的な［ＹＣｂＣｒ出力画像］３７１として出力される。この補正処理の結果としての出力［ＹＣｂＣｒ出力画像］３７１が画像処理装置内のメモリに格納され、またモニタ手段などの出力部に出力される。

図４を参照して、補正パラメータ（偽色度）算出部３００の各処理部において実行する処理タイミングについて説明する。図４は、図４下部に示す矢印に示すように、時間軸（ｔ）に沿って左から右に時間が経過することを示している。

時間ｔ１〜ｔ３では、フレーム（ｎ）に対する処理、時間ｔ４〜ｔ６ではフレーム（ｎ＋１）に対する処理が実行されることを示している。例えば、時間ｔ１では、入力画像として撮影画像フレーム（ｎ）３８１を入力し、縮小画像生成部３０１におけるフレーム（ｎ）の画像縮小処理と、縮小白とび検出マップ拡大部３０４において、メモリ３０３から読み出した前フレームであるフレーム（ｎ−１）の縮小白とび検出マップに対する拡大処理が並列して実行される。

次に、時間ｔ２では、紫度計算部３０６におけるフレーム（ｎ）のデータに基づく紫度算出と、白とび検出部３０２におけるフレーム（ｎ）の縮小データに基づく白とび検出処理、さらに、白とび度計算部３０５におけるフレーム（ｎ−１）のデータに基づく白とび度計算処理が実行される。

次の時間ｔ３では、偽色度計算部３０７において、フレーム（ｎ−１）のデータに基づいて算出された白とび度と、フレーム（ｎ）のデータに基づいて算出された紫度とに基づいて、偽色度が算出され、その後、算出された偽色度が補正処理部に出力され、補正処理部における画素彩度削減処理部３１１において、フレーム（ｎ）のデータに対する画素彩度削減処理が実行され、その後、図示していないが、画素色差成分ぼかし処理部３１２において、フレーム（ｎ）のデータに対するぼかし処理が実行される。

時間ｔ４〜ｔ６ではフレーム（ｎ＋１）に対して、同様のシーケンスで処理が実行される。時間ｔ４では、入力画像として撮影画像フレーム（ｎ＋１）３８２を入力し、縮小画像生成部３０１におけるフレーム（ｎ＋１）の画像縮小処理と、縮小白とび検出マップ拡大部３０４において、メモリ３０３から読み出した前フレームであるフレーム（ｎ）の縮小白とび検出マップに対する拡大処理が並列して実行される。

次に、時間ｔ５では、紫度計算部３０６におけるフレーム（ｎ＋１）のデータに基づく紫度算出と、白とび検出部３０２におけるフレーム（ｎ＋１）の縮小データに基づく白とび検出処理、さらに、白とび度計算部３０５におけるフレーム（ｎ）のデータに基づく白とび度計算処理が実行される。

次の時間ｔ６では、偽色度計算部３０７において、フレーム（ｎ）のデータに基づいて算出された白とび度と、フレーム（ｎ＋１）のデータに基づいて算出された紫度とに基づいて、偽色度が算出され、その後、算出された偽色度が補正処理部に出力され、補正処理部における画素彩度削減処理部３１１において、フレーム（ｎ＋１）のデータに対する画素彩度削減処理が実行され、その後、図示していないが、画素色差成分ぼかし処理部３１２において、フレーム（ｎ＋１）のデータに対するぼかし処理が実行される。なお、時間ｔ１〜ｔ６は、処理シーケンスを説明するために設定した時間であり、明確な処理時間の間隔に必ずしも対応しているものではない。

図４に示すように、各処理部での処理を並列に実行し、また前フレームのデータを活用した処理を実行することにより、各画像フレームに対応する補正パラメータ（偽色度）算出処理を短時間で効率的に行なうことが可能となり、撮影データとして入力するフレームデータの補正を、撮影速度に遅れることなく実行でき、リアルタイムでの画像処理が実現される。

図５に、上述した偽色（ＰＦ）補正処理手段２０６の実行する一連の処理の処理手順を説明するフローチャートを示す。ステップＳ１０１〜Ｓ１０７の処理は、補正パラメータ（偽色度）算出部３００の処理に相当し、ステップＳ１０８〜Ｓ１０９の処理は、補正処理部３１０の処理に相当する。ステップＳ１０１〜Ｓ１０３の処理と、ステップＳ１０４〜Ｓ１０５の処理、およびステップＳ１０６の処理は並列に実行することが可能である。また、ステップＳ１０１〜Ｓ１０３の処理およびステップＳ１０６の処理は、現フレーム（ｎ）に対する処理として実行され、ステップＳ１０４〜Ｓ１０５の処理は、前レーム（ｎ−１）に対する処理として実行される。

ステップＳ１０１は、補正パラメータ（偽色度）算出部３００の縮小画像生成部３０１における画像縮小処理による［縮小画像Ｙｐ］３５４の生成処理、ステップＳ１０２は、白とび検出部３０２における［縮小画像Ｙｐ］３５４に基づく白とび検出処理による宿所白とび検出マップ［Ｗｐ］３５５の生成処理、ステップＳ１０３は、縮小白とび検出マップ［Ｗｐ］３５５のメモリ３０３に対する格納処理である。これらの処理は、入力現フレームに対する処理として実行される。

ステップＳ１０４は、縮小白とび検出マップ拡大部３０４における処理であり、メモリ３０３から読み出した前フレームの縮小白とび検出マップ［Ｗｐ'］３５５を拡大し、注目画素（ｘ，ｙ）から最も近い白とび画素までの距離に対応する距離値［Ｗｉ］を算出する処理である。ステップＳ１０５は、白とび度計算部３０５の処理であり、前フレーム拡大データから算出した距離値［Ｗｉ］に基づいて、白とび度［Ｗｒ］を算出する処理である。これらの処理は、前フレームに対する処理として実行される。

ステップＳ１０６は、紫度計算部３０６における処理であり、現フレームの色差成分［Ｃ］３５３に基づいて、紫度計算部３０６で紫度［Ｐｒ］３５８を算出する。

ステップＳ１０７は、偽色度計算部３０７において実行する偽色度［Ｒ］３５９算出処理であり、ステップＳ１０４〜Ｓ１０５において、算出した前フレームデータに基づく白とび度［Ｗｒ］３５７と、ステップＳ１０６において算出した現フレームデータに基づく紫度［Ｐｒ］３５８とに基づいて偽色度［Ｒ］３５９を算出する。

ステップＳ１０８は、補正処理部３１０の画素彩度削減処理部３１１における偽色（ＰＦ）画素彩度削減処理、ステップＳ１０９は、画素色差成分ぼかし処理部３１２における偽色（ＰＦ）画素色差成分ぼかし処理である。以上の処理ステップが実行されて、最終的な補正画像データであるＹＣｂＣｒ出力画像３７１が生成、出力される。

以下、偽色（ＰＦ）補正処理手段２０６の各構成部の処理の詳細について説明する。なお、本実施例において、処理対象とする画像データは、画像の横幅＝ｗｉｄｔｈ、画像の縦幅＝ｈｅｉｇｈｔの画像フレームデータであり、縮小画像生成部３０１における画像縮小処理によって生成する［縮小画像Ｙｐ］３５４は、画像の横幅＝ｓｗｉｄｔｈ、画像の縦幅＝ｓｈｅｉｇｈｔの縮小画像データであるとする。

まず、補正パラメータ（偽色度）算出部３００の処理について説明する。前述したように、補正パラメータ（偽色度）算出部３００では、現フレームデータと前フレームデータとに基づいて補正パラメータ（偽色（ＰＦ）度）を算出する。本実施例では、白とび画素から近い位置にあり、紫色である画素を偽色（ＰＦ：パープルフリンジ）画素であると推定する。従って偽色（ＰＦ）度は、白とび画素からの距離が近く、紫色に近いものほど高くなる。

縮小画像生成部３０１
補正パラメータ（偽色度）算出部３００の縮小画像生成部３０１は、輝度成分［Ｙ］３５２の縮小処理を実行する。輝度成分［Ｙ］３５２は、ＹＣｂＣｒ入力画像３５１の輝度成分情報のみを抽出したデータであり、フレーム画像データの構成画素各々の輝度［Ｙ］情報のみから構成されるデータである。縮小画像生成部３０１は、この輝度成分画像の縮小処理を実行して、［縮小画像Ｙｐ］３５４を生成し、白とび検出部３０２に出力する。

図６に縮小画像生成部３０１の実行する処理手順を説明するフローチャートを示す。フローチャートに従って縮小画像生成部３０１の実行する処理について説明する。図６に示すフローは、図５のフローチャートのステップＳ１０１の処理に対応する処理である。

なお、図６に示す処理フロー中、ステップＳ２０１〜Ｓ２０４の処理は、処理対象画像データである画像、すなわち、画像の横幅＝ｗｉｄｔｈ、画像の縦幅＝ｈｅｉｇｈｔの画像フレームデータの解析処理であり、ステップＳ２１１〜Ｓ２１３の処理は、縮小ガゾウデータ、すなわち画像の横幅＝ｓｗｉｄｔｈ、画像の縦幅＝ｓｈｅｉｇｈｔの縮小画像データの生成処理である。

図６において、ステップＳ２０１〜Ｓ２０４の処理部分には、２つの枠を示し、
外枠に、Ｆｏｒ（ｙ＝０；ｙ＜ｈｅｉｇｈｔ；ｙ＝ｙ＋１）と示し、
内枠に、Ｆｏｒ（ｘ＝０；ｘ＜ｗｉｄｔｈ；ｘ＝ｘ＋１）として示してあるが、
ステップＳ２０１〜Ｓ２０４を示す内枠は、
Ｆｏｒ（ｘ＝０；ｘ＜ｗｉｄｔｈ；ｘ＝ｘ＋１）
に対する処理、すなわち画像データの１つのスキャンラインであるｘ軸に沿った処理として実行され、ｘ軸に沿って０〜ｗｉｄｔｈの各画素毎にステップＳ２０１〜Ｓ２０４の処理を実行することを意味している。１つのスキャンラインが終了すると、次のスキャンラインの処理が同様に実行される。これは、外枠に示すように、
Ｆｏｒ（ｙ＝０；ｙ＜ｈｅｉｇｈｔ；ｙ＝ｙ＋１）
に対する処理として実行され、スキャンラインに垂直なｙ軸に沿って、１つずつスキャンラインを移動させて、Ｆｏｒ（ｘ＝０；ｘ＜ｗｉｄｔｈ；ｘ＝ｘ＋１）の処理、すなわち、ｘ軸に沿って０〜ｗｉｄｔｈの各画素毎にステップＳ２０１〜Ｓ２０４の処理を実行することを意味している。結果として、画像フレームにおける（ｘ＝０〜ｗｉｄｔｈ，ｙ＝０〜ｈｅｉｇｈｔ）の全構成画素について、順次ステップＳ２０１〜Ｓ２０４の処理が実行されることになる。

同様に、ステップＳ２１１〜Ｓ２１３の処理部分には、２つの枠を示し、
外枠に、Ｆｏｒ（ｔ＝０；ｔ＜ｓｈｅｉｇｈｔ；ｔ＝ｔ＋１）と示し、
内枠に、Ｆｏｒ（ｓ＝０；ｓ＜ｓｗｉｄｔｈ；ｓ＝ｓ＋１）として示してあるが、
ステップＳ２１１〜Ｓ２１３を示す内枠は、
Ｆｏｒ（ｓ＝０；ｓ＜ｓｗｉｄｔｈ；ｓ＝ｓ＋１）
に対する処理、すなわち縮小画像データの１つのスキャンラインであるｓ軸に沿った処理として実行され、ｓ軸に沿って０〜ｓｗｉｄｔｈの各画素毎にステップＳ２１１〜Ｓ２１３の処理を実行することを意味している。１つのスキャンラインが終了すると、次のスキャンラインの処理が同様に実行される。これは、外枠に示すように、
Ｆｏｒ（ｔ＝０；ｔ＜ｓｈｅｉｇｈｔ；ｔ＝ｙ＋１）
に対する処理として実行され、スキャンラインに垂直なｔ軸に沿って、１つずつスキャンラインを移動させて、Ｆｏｒ（ｓ＝０；ｓ＜ｓｗｉｄｔｈ；ｓ＝ｓ＋１）の処理、すなわち、ｓ軸に沿って０〜ｓｗｉｄｔｈの各画素毎にステップＳ２１１〜Ｓ２１３の処理を実行することを意味している。結果として、縮小画像における（ｓ＝０〜ｓｗｉｄｔｈ，ｔ＝０〜ｔｈｅｉｇｈｔ）の全構成画素について、順次ステップＳ２１１〜Ｓ２１３の処理が実行されることになる。

図６のフローに示す各ステップの処理について説明する。ステップＳ２０１において、画像の横幅＝ｗｉｄｔｈ、画像の縦幅＝ｈｅｉｇｈｔの画像フレームデータの構成画素（ｘ，ｙ）を１つ選択し、選択画素の輝度Ｙ（ｘ，ｙ）を取得する。なお、図３を参照して説明したように、縮小画像生成部３０１は、ＹＣｂＣｒ入力画像データ３５１に基づく輝度成分［Ｙ］３５２を入力して処理を行なう。

ステップＳ２０２、Ｓ２０３では、縮小画像の座標位置（ｊ，ｋ）を設定する処理を実行する。ステップＳ２０２，Ｓ２０３に示す［ｂｌｏｃｋｗｉｄｔｈ］、［ｂｌｏｃｋｈｅｉｇｈｔ］は、縮小画像の１画素に対応するオリジナル画像の横画素数と縦画素数に対応する。すなわち、
［ｂｌｏｃｋｗｉｄｔｈ］＝オリジナル画像の横画素数
［ｂｌｏｃｋｈｅｉｇｈｔ］＝オリジナル画像の縦画素数
であり、この［ｂｌｏｃｋｗｉｄｔｈ］×［ｂｌｏｃｋｈｅｉｇｈｔ］のオリジナル画像の画素に基づいて、縮小画像の１画素の輝度が決定する。

オリジナル画像と縮小画像の対応について図７を参照して説明する。図７には、縮小処理を施すオリジナル画像４１０と、縮小処理によって生成される縮小画像４２０を示している。オリジナル画像４１０はｗｉｄｔｈ×ｈｅｉｇｈｔであり、これを縮小してｓｗｉｄｔｈ×ｓｈｅｉｇｈｔの縮小画像４２０を生成する。オリジナル画像４１０に基づいて縮小画像４２０を生成する処理において、縮小画像４１０の構成画素の輝度を順次算出する処理が図６に示す処理フローにおいて実行する処理である。

図７において、オリジナル画像４１０の部分画像データ４１１は、［ｂｌｏｃｋｗｉｄｔｈ］×［ｂｌｏｃｋｈｅｉｇｈｔ］の画像データであり、この部分画像データ４１１を構成する画素、例えば図に示す画素４１２他の部分画像データ４１１を構成する複数画素の輝度値に基づいて、縮小画像４２０の１つの画素（ｓ，ｔ）４２１の輝度Ｙｐ（ｓ，ｔ）を決定する。

図６のステップＳ２０２、Ｓ２０３の処理は、オリジナル画像における注目画素（ｘ，ｙ）の、縮小画像の対応画素位置（ｊ，ｋ）を算出する処理である。ステップＳ２０４の処理［Ｙｐ（ｊ，ｋ）＋＝ｖａｌｕｅ］は、縮小画像の画素位置（ｊ，ｋ）に対応する輝度値Ｙｐ（ｊ，ｋ）を、オリジナル画像の画素領域、すなわち、図７における部分画像データ４１１の各画素の輝度を加算した値に設定する処理である。

ステップＳ２０１〜Ｓ２０４の処理によって、縮小画像の１つの画素（ｊ，ｋ）に対応する輝度値データ［Ｙｐ（ｊ，ｋ）＋］として、オリジナル画像の画素領域、すなわち、図７における部分画像データ４１１の構成画素の輝度値の積算値が算出される。

ステップＳ２１１〜Ｓ２１３は、縮小画像の構成画素（ｓ，ｔ）について、順次、輝度値Ｙｐ（ｓ，ｔ）を設定する処理である。まず、ステップＳ２１１において、縮小画像の構成画素（ｓ，ｔ）の輝度値をステップＳ２０４で算出した［ｖａｌｕｅ］、すなわち縮小画像の１つの画素に対応する輝度値データ［Ｙｐ（ｓ，ｔ）＋］として、オリジナル画像の画素領域、すなわち、図７における部分画像データ４１１の構成画素の輝度値積算値を設定する。

次に、ステップＳ２１２において、以下の式に従って、値［ｖａｌｕｅ］の更新を実行する。
ｖａｌｕｅ＝ｖａｌｕｅ／（ｂｌｏｃｋｗｉｄｔｈ×ｂｌｏｃｋｈｅｉｇｈｔ）
上記式は、縮小画像の１つの画素に対応するオリジナル画像データの部分画像、すなわち、図７の例における部分画像データ４１１の構成画素の画素数で、ステップＳ２０４で算出した積算値データ［Ｙｐ（ｓ，ｔ）＋］を除算する処理である。すなわち、縮小画像の１つの画素に対応するオリジナル画像データの部分画像の構成画素の輝度値の平均値を［ｖａｌｕｅ］の新たな値として設定する。

次に、ステップＳ２１３において、ステップＳ２１２で算出した縮小画像の１つの画素（ｓ，ｔ）に対応するオリジナル画像データの部分画像の構成画素の輝度値の平均値を縮小画像の画素（ｓ，ｔ）に対応する輝度Ｙｐ（ｓ，ｔ）として決定する。これらの処理を縮小画像の構成画素、すべてについて実行し、縮小画像（ｓｗｉｄｔｈ×ｓｈｅｉｇｈｔ）の全構成画素（ｓ＝０〜ｓｗｉｄｔｈ，ｔ＝０〜ｓｈｅｉｇｈｔ）の輝度値Ｙｐ（ｓ，ｔ）を決定する。

上述の処理が、図３に示す補正パラメータ（偽色度）算出部３００の縮小画像生成部３０１における画像縮小処理であり、この処理によって［縮小画像Ｙｐ］３５４が生成される。上述した説明から明らかなように、［縮小画像Ｙｐ］３５４は、縮小画像（ｓｗｉｄｔｈ×ｓｈｅｉｇｈｔ）の全構成画素（ｓ＝０〜ｓｗｉｄｔｈ，ｔ＝０〜ｓｈｅｉｇｈｔ）についての輝度値Ｙｐ（ｓ，ｔ）データのみからなるデータである。縮小画像生成部３０１は、このように、輝度成分画像の縮小処理を実行して、［縮小画像Ｙｐ］３５４を生成し、白とび検出部３０２に出力する。

白とび検出部３０２
次に、図３に示す補正パラメータ（偽色度）算出部３００の白とび検出部３０２の実行する処理の詳細について説明する。白とび検出部３０２は、［縮小画像Ｙｐ］３５４に基づいて、縮小画像における輝度レベルがほぼ飽和レベルである白とび画素の検出、すなわち白とび検出処理を行い、縮小白とび検出マップ［Ｗｐ］３５４を出力する。縮小白とび検出マップ［Ｗｐ］３５４は、縮小画像における構成画素が白とび画素であるか否かを示すフラグが各画素毎に設定されたマップである。白とび検出部３０２は、縮小画像に基づいて生成した縮小白とび検出マップ［Ｗｐ］３５４をメモリ３０３へ格納する。

図８に白とび検出部３０２の実行する処理手順を説明するフローチャートを示す。フローチャートに従って白とび検出部３０２の実行する処理について説明する。図８に示すフローは、図５のフローチャートのステップＳ１０２の処理に対応する処理である。

図８に示す処理フローは、２つの枠を示し、
外枠に、Ｆｏｒ（ｙ＝０；ｙ＜ｓｈｅｉｇｈｔ；ｙ＝ｙ＋１）と示し、
内枠に、Ｆｏｒ（ｘ＝０；ｘ＜ｓｗｉｄｔｈ；ｘ＝ｘ＋１）として示してある。
これは、ステップＳ３０１〜Ｓ３０５の処理を、縮小画像生成部３０１の生成した［縮小画像Ｙｐ］３５４（ｓｗｉｄｔｈ×ｓｈｅｉｇｈｔ）の全構成画素（ｓ＝０〜ｓｗｉｄｔｈ，ｔ＝０〜ｓｈｅｉｇｈｔ）について、順次実行することを意味している。

各ステップの処理について説明する。ステップＳ３０１において、白とび検出部３０２は、［縮小画像Ｙｐ］３５４の構成画素から選択された注目画素（ｘ，ｙ）の輝度値Ｙｐ（ｘ，ｙ）を取得する。注目画素は画素（ｘ，ｙ）であり、注目画素（ｘ，ｙ）の輝度値をＹｐ（ｘ，ｙ）とする。ステップＳ３０２において、注目画素の輝度値Ｙｐ（ｘ，ｙ）と、予め設定した閾値と比較する。

白とび画素は、画素の輝度レベルがほぼ飽和レベルである画素であり、閾値は、白とび画素として判定する輝度レベルに相当する値が設定される。ステップＳ３０３〜Ｓ３０５では、注目画素（ｘ，ｙ）の輝度値Ｙｐ（ｘ，ｙ）＝ｖａｌｕｅが閾値よりも大きければ、注目画素（ｘ，ｙ）のフラグ（ｆｌａｇ）＝［ｔｒｕｅ］、そうでなければフラグ（ｆｌａｇ）＝［ｆａｌｓｅ］とし、白とび検出マップ［Ｗｐ（ｘ，ｙ）］３５４を設定する。これを横幅＝ｗｉｄｔｈ、縦幅＝ｈｅｉｇｈｔの画像を構成する全ての画素（ｘ＝０〜ｗｉｄｔｈ，ｙ＝０〜ｈｅｉｇｈｔ）について判定し、各画素対応のフラグ（ｔｒｕｅまたはｆａｌｓｅ）を設定した縮小白とび検出マップ［Ｗｐ（ｘ，ｙ）］３５４を完成させて、メモリ３０３へ格納する。

この処理によって、メモリ３０３に格納された縮小白とび検出マップ［Ｗｐ（ｘ，ｙ）］３５４は、次の画像フレームの処理、すなわち次のフレームに対応する補正パラメータとしての偽色度算出処理において利用される。

縮小白とび検出マップ拡大部３０４
次に、縮小白とび検出マップ拡大部３０４の処理の詳細について説明する。縮小白とび検出マップ拡大部３０４は、メモリ３０３に格納された前フレームの縮小白とび検出マップ［Ｗｐ］を読み出して、撮像した画像と同じサイズに拡大する拡大処理を実行する。さらに、拡大処理を実行して生成した白とび検出マップから注目画素（ｘ，ｙ）と最近接白とび画素までの距離に対応する値としての距離値［Ｗｉ］３５６を取得し、取得した距離値［Ｗｉ］３５６を白とび度計算部３０５に出力する。

図９に縮小白とび検出マップ拡大部３０４の実行する処理手順を説明するフローチャートを示す。フローチャートに従って縮小白とび検出マップ拡大部３０４の実行する処理について説明する。図９に示すフローは、図５のフローチャートのステップＳ１０４の処理に対応する処理である。

図９に示す処理フローにも、２つの枠が示され、
外枠に、Ｆｏｒ（ｙ＝０；ｙ＜ｈｅｉｇｈｔ；ｙ＝ｙ＋１）と示し、
内枠に、Ｆｏｒ（ｘ＝０；ｘ＜ｗｉｄｔｈ；ｘ＝ｘ＋１）として示してある。
これは、ステップＳ４０１〜Ｓ４０４の処理を、オリジナル画像と同一の大きさを持つ拡大画像（ｗｉｄｔｈ×ｈｅｉｇｈｔ）の全構成画素（ｘ＝０〜ｗｉｄｔｈ，ｙ＝０〜ｈｅｉｇｈｔ）について、順次実行することを意味している。

各ステップの処理について説明する。ステップＳ４０１、Ｓ４０２の処理は、オリジナル画像と同一の大きさを持つ拡大処理画像の１つの画素（ｘ，ｙ）の、縮小画像の対応画素位置（ｊ，ｋ）を算出する処理である。次に、ステップＳ４０３において、拡大補間において必要な縮小画像の対応画素（ｊ，ｋ）の画素情報を取得する。なお、ここでは縮小画像は、輝度情報のみを有しており、対応画素の輝度情報Ｗｐ（ｊ，ｋ）を取得する。ステップＳ４０３では、取得した縮小画像の画素情報、すなわち対応画素（ｊ，ｋ）の輝度情報Ｗｐ（ｊ，ｋ）をＡとおく。

次に、ステップＳ４０４において、取得した輝度情報Ｗｐ（ｊ，ｋ）＝Ａに基づいて、縮小画像の対応画素位置（ｊ，ｋ）に対応するオリジナル画像と同一の大きさを持つ画像の対応領域に含まれる複数画素の輝度値を補間値Ｗｉ（ｘ，ｙ）として算出する。ステップＳ４０４では、補間値Ｗｉ＝Ｂｉｃｕｂｉｃ（Ａ）として示してあるが、これは、縮小画像における１つの対応画素の輝度情報Ｗｐ（ｊ，ｋ）＝Ａに基づいて、双三次補間処理を実行して、拡大処理画像における各画素の画素値としての補間値（輝度値）を設定する処理を行なうことを意味している。

図１０を参照して、双三次補間処理について説明する。拡大補間に双三次補間を使用する場合、縮小画像で対応する画素位置の周囲１６点を拡大補間に必要とする。画像データ４５０は、縮小白とび検出マップ拡大部３０４において、メモリ３０３に格納された前フレームの縮小白とび検出マップ［Ｗｐ］であり、サイズ（ｓｗｉｄｔｈ×ｓｈｅｉｇｈｔ）を持つ。これを元に拡大画像データ、すなわちオリジナル画像データと同様のサイズ（ｗｉｄｔｈ×ｈｅｉｇｈｔ）を持つ画像データを生成する。

画像データ４５０の各矩形領域、例えば領域４５２が縮小画像における１画素である。この各画素には輝度値Ｙｐ（ｓ，ｔ）が設定されている。また、図に示す点ｑ４５１は、拡大した画像データにおける１画素を示す。この点ｑ４５１の画素値（輝度値）を補間処理により算出する。

点ｑ４５１の含まれる拡大画像の領域は、縮小画像における画素Ａ［１，１］に対応する。双三次補間処理では、例えば、点ｑ４５１の画素値（輝度値）を決定するのに、縮小画像における画素Ａ［１，１］を含む複数画素、すなわち、Ａ［０，０］〜Ａ［３，３］の１６画素の画素情報（輝度値）を適用する。拡大画像の画素値、すなわちここでは輝度値に対応する補間値は、以下の式（式１）によって算出する。

・・・（式１）
上記式において、Ａ［ｉ，ｊ］は、縮小画像における１６画素、すなわち、Ａ［０，０］〜Ａ［３，３］の画素値（輝度値）であり、ｋ［ｊ］，ｋ［ｉ］は、以下の算出式によって算出される値である。

ただし、
ｓは、点ｑから画素［ｉ，ｊ］までのｘ方向の距離、
ｔは、点ｓから画素［ｉ，ｊ］までのｙ方向の距離、
である。

縮小白とび検出マップ拡大部３０４は、上記式（式１）によって算出される補間値Ｗｉ（ｘ，ｙ）を白とびまでの近さをあらわす値としての距離値［Ｗｉ］として、距離値［Ｗｉ］３５６を白とび度計算部３０５に出力する。なお、本実施例では、本実施例では双三次補間を使用しているが、滑らかに拡大を行うことができれば、他の補間方法であっても構わない。

白とび度計算部３０５
次に、白とび度計算部３０５の処理の詳細について説明する。白とび度計算部３０５は、注目画素と注目画素に最も近接した最寄の白とび画素との距離情報として、縮小白とび検出マップ拡大部３０４から入力する距離値［Ｗｉ］３５６を入力として白とび度計算処理を行い、白とび度［Ｗｒ］３５７を算出して偽色度計算部３０７に出力する。

白とび度計算部３０５は、注目画素（ｘ，ｙ）と白とび画素との距離に対応する距離値［Ｗｉ］３５６を入力し、入力距離値［Ｗｉ］に基づいてルックアップテーブル（ＬＵＴ）を適用したデータ変換を行い、白とび度［Ｗｒ］３５７を算出して偽色度計算部３０７に出力する。図５のフローチャートのステップＳ１０５の処理に対応する処理である。白とび度計算部３０５の適用するルックアップテーブル（ＬＵＴ）をグラフ化した例を図１１に示す。

図１１は、横軸が、縮小白とび検出マップ拡大部３０４から入力する最寄の白とび画素との距離［Ｗｉ］データであり、縦軸が、偽色度計算部３０７に出力する白とび度［Ｗｒ］を示す。距離［Ｗｉ］データと白とび度［Ｗｒ］は１対１に対応しており、白とび度計算部３０５は白とびからの距離・方向ベクトル計算部３０２から入力する最寄の白とび画素との距離［Ｗｉ］データに基づいて、対応する白とび度［Ｗｒ］の値を取得して偽色度計算部３０７に出力する。例えば、図１１に示すルックアップテーブル（ＬＵＴ）を適用した場合、
白とび画素との距離［Ｗｉ］＝０の場合、白とび度［Ｗｒ］＝０
白とび画素との距離［Ｗｉ］＝０２５の場合、白とび度［Ｗｒ］＝０．５
白とび画素との距離［Ｗｉ］＝０．５の場合、白とび度［Ｗｒ］＝０．６５
白とび画素との距離［Ｗｉ］＝１．０の場合、白とび度［Ｗｒ］＝１．０
の白とび度［Ｗｒ］の各値を取得して、偽色度計算部３０７に出力する。

この処理は、各画素毎に実行され、各画素対応の白とび度［Ｗｒ］が算出されて偽色度計算部３０７に出力される。なお、図１１に示すルックアップテーブル（ＬＵＴ）は一例であり、これは偽色（ＰＦ）の発生態様を考慮して設定されたもので、特にこの形に限定されるものではない。

紫度計算部３０６
次に、図３に示す紫度計算部３０６の処理の詳細について説明する。紫度計算部３０６は、図３に示すように、入力画像３５１の色差成分［Ｃ］３５３を入力し、色差成分［Ｃ］３５３に基づく紫度［Ｐｒ］３５８を算出し、算出した紫度［Ｐｒ］３５８を偽色度計算部３０７に出力する処理を実行する。紫度計算部３０６の処理について説明する。

紫度計算部３０６において処理を実行する注目画素（ｘ，ｙ）の色差成分［Ｃ］データを（Ｃｒ，Ｃｂ）とする。本実施例では、ＹＣｂＣｒ色空間に展開したデータに対して処理を実行する例であり、色情報としてはＣｂＣｒ色差平面において、各画素の色情報が定義される。紫度計算部３０６は、注目画素（ｘ，ｙ）の色差データ（Ｃｂ，Ｃｒ）を入力として、偽色（ＰＦ）の色相への近さ情報としての紫度［Ｐｒ（ｘ，ｙ）］を各注目画素毎に算出して偽色度計算部３０７に出力する。

紫度［Ｐｒ（ｘ，ｙ）］は、０．０〜１．０の値で表され、Ｐｒ＝０．０は、偽色（ＰＦ）色相から遠い色であることを表し、Ｐｒ＝１．０は、最も偽色（ＰＦ）色相に近い色であることを表す。

図１２を用いて、ＣｂＣｒ色差平面における偽色（ＰＦ）色相と、紫度［Ｐｒ］の設定例について説明する。図１２に示すグラフは、ＣｂＣｒ色差平面を示し、図中のライン６０１（Ｆ_θ）は、ＣｂＣｒ色差平面における偽色（ＰＦ）の色相に対応する偽色（ＰＦ）色相ライン６０１である。典型的なパープルフリンジは、この偽色（ＰＦ）色相ライン６０１上の色相を持つ。

図中のライン６０２は、一例として示す注目画素（ｘ，ｙ）の色相に対応する注目画素色相ライン６０２である。注目画素色相ライン６０２が、偽色（ＰＦ）色相ライン６０１に近いほど、注目画素（ｘ，ｙ）の色相は偽色（ＰＦ）色相に近い色相であり、注目画素色相ライン６０２が、偽色（ＰＦ）色相ライン６０１から遠いほど、注目画素（ｘ，ｙ）の色相は偽色（ＰＦ）色相から遠い色相である。

図中のライン６１１，６１２は、偽色（ＰＦ）色相ライン６０１から角度：θ_ｍａｘ回転させた色相ラインであり、紫度［Ｐｒ］０ライン６１１，６１２である。θ_ｍａｘは予設定される角度であり、例えば３０°に設定される。紫度［Ｐｒ］０ライン６１１，６１２から、偽色（ＰＦ）色相ライン６０１に近づくほど、紫度［Ｐｒ］の値は大きくなり、偽色（ＰＦ）色相ライン６０１上で、紫度［Ｐｒ］は１となる。すなわち、注目画素色相ライン６０２が、紫度［Ｐｒ］０ライン６１１，６１２の間にある場合、注目画素（ｘ，ｙ）の紫度［Ｐｒ］は０〜１の間に設定される。注目画素色相ライン６０２が、紫度［Ｐｒ］０ライン６１１，６１２の間にない場合、注目画素（ｘ，ｙ）の紫度［Ｐｒ］は０に設定される。

注目画素（ｘ，ｙ）紫度［Ｐｒ（ｘ，ｙ）］は、以下の算出式によって求められる。

・・・（式２）
上記式において、
Ｆ_θ：ＣｂＣｒ平面において、軸Ｃｂと偽色（ＰＦ）色相ラインとのなす角
θ（ｘ，ｙ）：ＣｂＣｒ平面において、軸Ｃｂと注目画素色相ラインとのなす角
θ_ｍａｘ：ＣｂＣｒ平面において、偽色（ＰＦ）色相ラインと紫度［Ｐｒ］０ラインのなす角、予設定される角度であり、例えば３０°に設定される

このように、紫度計算部３０６は、入力画像３５１の色差成分［Ｃ］３５３を入力し、色差成分［Ｃ］３５３に基づく紫度［Ｐｒ］３５８を、上記算出式（式２）に従って算出し、算出した紫度［Ｐｒ］３５８を偽色度計算部３０７に出力する処理を実行する。

偽色度計算部３０７
次に、偽色度計算部３０７の処理の詳細について説明する。偽色度計算部３０７は、図３に示すように、紫度計算部３０６から入力する紫度［Ｐｒ］３５８と、白とび度計算部３０５から入力する白とび度［Ｗｒ］３５６とに基づいて、偽色度［Ｒ］３５８を算出し、算出した偽色度［Ｒ］３５８を補正処理部３１０の各処理部、すなわち、画素彩度削減処理部３１１、画素色差成分ぼかし処理部３１２に出力する。

偽色度計算部３０７は、以下の算出式に従って、注目画素（ｘ，ｙ）の偽色度［ＰＦｒ（ｘ，ｙ）］を、注目画素（ｘ，ｙ）の紫度［Ｐｒ（ｘ，ｙ）］と、注目画素（ｘ，ｙ）の白とび度［Ｗｒ（ｘ，ｙ）］とに基づいて算出する。
ＰＦｒ（ｘ，ｙ）＝Ｐｒ（ｘ，ｙ）×Ｗｒ（ｘ，ｙ） ・・・（式３）

上記式（式３）は、注目画素（ｘ，ｙ）の偽色度［ＰＦｒ（ｘ，ｙ）］を、注目画素（ｘ，ｙ）の紫度［Ｐｒ（ｘ，ｙ）］と、注目画素（ｘ，ｙ）の白とび度［Ｗｒ（ｘ，ｙ）］との乗算によって算出することを示している。

上記式（式３）において、紫度［Ｐｒ（ｘ，ｙ）］は０〜１の値であり、白とび度［Ｗｒ（ｘ，ｙ）］も０〜１の値であるので、偽色度［ＰＦｒ（ｘ，ｙ）］も０〜１の範囲で設定されることになる。偽色度［Ｒ］＝１．０が偽色度が最も高い、すなわち注目画素が偽色（ＰＦ）である可能性が最も高いことを示し、偽色度［Ｒ］＝０．０が偽色度が最も低い、すなわち注目画素が偽色（ＰＦ）である可能性が最も低いことを示す。

以上の処理が、図３に示す補正パラメータ（偽色度）算出部３００の処理の詳細であり、この処理によって、注目画素（ｘ，ｙ）に対応する偽色度Ｒ（ｘ，ｙ）が設定されて、補正処理部３１０の、画素彩度削減処理部３１１画素色差成分ぼかし処理部３１２において、偽色度Ｒ（ｘ，ｙ）を適用した画素値補正処理が実行される。

以下、補正処理部３１０の画素彩度削減処理部３１１画素色差成分ぼかし処理部３１２において実行する処理の詳細について、順次説明する。

画素彩度削減処理部３１１
画素彩度削減処理部３１１は、図３に示すように、入力画像３５１の色差成分［Ｃ］３５３を入力し、補正パラメータ（偽色度）算出部３００から入力する偽色度［Ｒ］３５９に基づいて偽色（ＰＦ）画素部分の彩度削減処理を行い、偽色（ＰＦ）部分彩度削減結果画像［Ｃｓ］３６１を画素色差成分ぼかし処理部３１２に出力する。

画素彩度削減処理部３１１の具体的な処理について説明する。画素彩度削減処理部３１１は、入力画像３５１の色差成分［Ｃ］３５３に基づいて取得される注目画素（ｘ，ｙ）のＣｒＣｂ各成分のオリジナル彩度Ｃ（ｘ，ｙ）ＣｒとＣ（ｘ，ｙ）Ｃｂと、補正パラメータ（偽色度）算出部３００から入力する注目画素（ｘ，ｙ）偽色度［Ｒ（ｘ，ｙ）］とに基づいて、下式（式４）に従って、彩度削減後の注目画素（ｘ，ｙ）のＣｒＣｂ各成分の削減彩度Ｃｓ（ｘ，ｙ）ＣｒとＣｓ（ｘ，ｙ）Ｃｂを算出する。
Ｃｓ（ｘ，ｙ）Ｃｒ＝Ｃ（ｘ，ｙ）Ｃｒ×｛１．０−Ｒ（ｘ，ｙ）｝
Ｃｓ（ｘ，ｙ）Ｃｂ＝Ｃ（ｘ，ｙ）Ｃｂ×｛１．０−Ｒ（ｘ，ｙ）｝
・・・（式４）

上記式（式４）において、注目画素（ｘ，ｙ）の偽色度［Ｒ（ｘ，ｙ）］は０〜１の範囲の値であり、注目画素（ｘ，ｙ）の偽色度が高いほど１に近い値をとる。上記式において、
｛１．０−Ｒ（ｘ，ｙ）｝
は、注目画素（ｘ，ｙ）の偽色度が高いほど値が小さく０に近くなり、上記式（式４）は、オリジナル彩度Ｃ（ｘ，ｙ）に対して、｛１．０−Ｒ（ｘ，ｙ）｝の値を乗算する処理であるので、注目画素（ｘ，ｙ）の偽色度が高いほど彩度の削減される度合いが高くなる。

すなわち、上記式（式４）は、注目画素（ｘ，ｙ）の偽色度が高い（１に近い）ほど、彩度を落とし、注目画素（ｘ，ｙ）の偽色度が低い（０に近い）ほど、彩度の落としかたを弱める処理を実行することを意味している。画素彩度削減処理部３１１は、上記処理によって生成した彩度削減結果画像［Ｃｓ］３６１を画素色差成分ぼかし処理部３１２に出力する。

画素色差成分ぼかし処理部３１２
次に、画素色差成分ぼかし処理部３１２の処理について説明する。画素色差成分ぼかし処理部３１２は、画素彩度削減処理部３１１から入力する彩度削減結果画像［Ｃｓ］３６１における色差成分に対してＢｌｕｒを掛ける処理、すなわち、ぼかし処理を実行する。画素色差成分ぼかし処理部３１２は、彩度削減処理を施した画素と周囲画素の色相の差分を減少させる処理を実行する。

なお、画素色差成分ぼかし処理部３１２において実行するぼかし処理は全ての画素について行なうのではなく、彩度削減処理の実行された画素を含む画素領域が処理対象として選択されぼかし処理が実行される。画素色差成分ぼかし処理部３１２は、この処理対象領域の選択のために偽色度［Ｒ］３５９を入力し、偽色度［Ｒ］３５９≠０の画素を選択し、ぼかし処理の処理対象領域を決定してぼかし処理を行なう。画素色差成分ぼかし処理部３１２の処理の詳細について、図１３に示す処理フローを参照して説明する。なお、図１３に示す処理フローは、図５のフローチャートのステップＳ１０９の偽色（ＰＦ）画素色差成分ぼかし処理の詳細処理に対応する。

画素色差成分ぼかし処理部３１２における処理は、彩度補正を行った部分の彩度変化を平滑にすると共に、彩度を落とした部分と、そうでない通常画素部分の境界部をなじませるためにＢｌｕｒ（ぼかし）を掛ける処理である。このＢｌｕｒ処理に関しても、処理の軽量化および回路規模の削減の観点から、注目画素の左右に存在するスキャンラインに沿った画素の画素情報のみを用いて処理を行う。

なお、図１３に示す処理フローも、前述の他のフローと同様、２つの枠、すなわち、Ｆｏｒ（ｙ＝０；ｙ＜ｈｅｉｇｈｔ；ｙ＝ｙ＋１）と示す外枠と、Ｆｏｒ（ｘ＝０；ｘ＜ｗｉｄｔｈ；ｘ＝ｘ＋１）として示す内枠とを有し、処理対象画像フレームにおける（ｘ＝０〜ｗｉｄｔｈ，ｙ＝０〜ｈｅｉｇｈｔ）の構成画素について、順次各ステップの処理が実行される。ただし、画素色差成分ぼかし処理部３１２は、偽色度［Ｒ］≠０の画素を選択し、ぼかし処理の処理対象領域を決定してぼかし処理を行なう。従って、ステップＳ５０１の前段階として、入力画素が、偽色度［Ｒ］≠０の画素であるか否かを判定した後、偽色度［Ｒ］≠０の画素である場合にのみ、これを注目画素（ｘ，ｙ）として選択して、ステップＳ５０１以下の処理を実行することになる。

図１３に示すフローチャートの各ステップの処理について説明する。ステップＳ５０１は初期設定であり、注目画素（ｘ，ｙ）に対して、ぼかし処理を実行するか否かを示すフラグ［ｆｌａｇ］である［ｅｘｅｃＢｌｕｒ］＝ｆａｌｓｅとして、ぼかしをかけない設定のフラグに初期設定する。

その後、ステップＳ５０２では、注目画素（ｘ，ｙ）周辺の取得可能な参照画素の画素情報として、周辺画素（ｓ，ｙ）の偽色度Ｒ（ｓ，ｙ）を取得し、周辺画素（ｓ，ｙ）の偽色度Ｒ（ｓ，ｙ）が０より大の画素が検出された場合（ステップＳ５０３：Ｙｅｓ）に、ステップＳ５０４において、ぼかし処理を実行するか否かを示すフラグ［ｆｌａｇ］である［ｅｘｅｃＢｌｕｒ］＝ｔｒｕｅとして、ぼかしを実行する設定のフラグに更新する。なお、注目画素の近傍領域から取得可能な参照画素情報は、スキャンラインに沿って注目画素に近接する画素の画素情報である。例えば、注目画素を中心として、左右ｊ（例えばｊ＝７）画素を探索範囲として画素情報［偽色度Ｒ（ｓ，ｙ）］を取得して、ステップＳ５０２（Ｓ５０３〜Ｓ５０４）の処理を実行する。

次に、ステップＳ５０５において、フラグ［ｅｘｅｃＢｌｕｒ］が［ｔｒｕｅ］に設定されていると判定した場合は、ステップＳ５０７に進み、注目画素（ｘ，ｙ）を中心にぼかし（Ｂｌｕｒ）フィルタを掛ける処理を実行する。ぼかし（Ｂｌｕｒ）フィルタによる注目画素（ｘ，ｙ）のぼかし処理後の色成分［Ｂｌｕｒ（Ｃｓ（ｘ，ｙ））］は、以下の式（式５）で算出される。

・・・（式５）

上記式に従って、注目画素（ｘ，ｙ）のＣｒ，Ｃｂに対して行い、それぞれのぼかし処理後の色成分［Ｂｌｕｒ（Ｃｓ（ｘ，ｙ））］を算出する。なお、上記式において、
Ｃｓ（ｘ，ｙ）は、注目画素（ｘ，ｙ）の彩度削減後の色成分［Ｃｓ（ｘ，ｙ）］
Ｃｓ（ｘ＋ｉ，ｙ）、Ｃｓ（ｘ−ｉ，ｙ）は、注目画素（ｘ，ｙ）のスキャンライン上の±ｉ画素移動した画素における彩度削減後の色成分［Ｃｓ］
を示している。

上記式では、注目画素の±７画素の色成分を適用したぼかし処理を実行した例である。なお、ぼかし処理の態様は、上記式（式５）を適用したものに限定されるものではなく、彩度を落とした部分と、そうでない通常画素部分の境界部をなじませる効果のある処理であれば、その他の態様によるぼかし処理でもよい。

画素色差成分ぼかし処理部３１２では、上述の処理を実行して、図３に示すように、補正結果としての補正色差成分画像［Ｃｔｅｍｐ］３６２を生成し出力する。補正色差成分画像［Ｃｔｅｍｐ］３６２は、輝度成分［Ｙ］３６５と合成されて、最終的なＹＣｂＣｒ出力画像３７１として出力される。この補正処理の結果としての出力ＹＣｂＣｒ出力画像３７１が画像処理装置内のメモリに格納され、またモニタ手段などの出力部に出力される。

なお、上述した実施例の処理はＹｃｂＣｒ色空間を適用した処理として説明したが、その他の色空間、例えばＣＩＥＬ*ａ*ｂ*空間など、輝度情報と色相情報とが分かれている情報であれば、上述した本発明に従った処理が適用可能である。

上述した本発明の処理により、時間の要する白とび検出処理を縮小画像に基づいて実行することで処理時間を短縮することが可能となり、また、偽色度算出に適用する紫度を現フレームに基づいて取得し、白とび度を前フレームに基づいて取得する構成とすることで、処理時間の遅延を防止することが可能となり、所定のフレームレートで入力する動画像データをリアルタイムで補正することが可能であり、パープルフリンジ等の偽色の彩度削減処理およびぼかし処理により高品質な補正画像データを生成することができる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、処理画像の構成画素の補正パラメータとして、各画素に対応する偽色度を算出し、算出した偽色度に基づいて各画素の彩度削減処理を実行する構成とし、補正パラメータとしての偽色度の算出処理においては、縮小画像を生成し、時間の要する白とび検出処理を縮小画像に基づいて実行する構成としたので、計算量の削減により処理時間の短縮が可能となる。また、偽色度算出に適用する紫度を現フレーム（ｎ）に基づいて取得し、白とび度を前フレーム（ｎ−１）に基づいて取得する構成としたので、処理時間の遅延の防止が可能となり、所定のフレームレートで入力する動画像データのリアルタイムでの補正処理が可能となり、パープルフリンジ等の偽色の彩度削減処理およびぼかし処理を実行することで高品質な補正画像データの高速生成処理が実現される。

さらに、本発明の構成によれば、補正パラメータとしての偽色度の算出において、注目画素の色相が偽色色相と類似し、白とび画素からの距離が近いほど、大きな値の偽色度を算出する構成とし、画素彩度削減処理においては、この偽色度に基づいて各画素の彩度削減処理を実行する構成としたので、偽色度のレベルに応じた最適な彩度削減処理が実現され、パープルフリンジ等の偽色画素の存在する画像データから偽色画素を効率的に抽出した補正手処理が可能となり、効率的な高品質補正画像データの生成が可能となる。

本発明の画像処理装置の構成を示す図である。 本発明の画像処理装置のデジタル信号処理部（ＤＳＰ）の処理構成について説明する図である。 本発明の画像処理装置のデジタル信号処理部（ＤＳＰ）の偽色（ＰＦ）補正処理手段の処理構成について説明する図である。 本発明の画像処理装置のデジタル信号処理部（ＤＳＰ）の偽色（ＰＦ）補正処理手段の処理シーケンスについて説明する図である。 本発明の画像処理装置のデジタル信号処理部（ＤＳＰ）の偽色（ＰＦ）補正処理手段の処理手順について説明するフロー図である。 偽色（ＰＦ）補正処理手段の実行する縮小画像生成処理の処理手順について説明するフロー図である。 偽色（ＰＦ）補正処理手段の実行する縮小画像生成処理の処理について説明する図である。 偽色（ＰＦ）補正処理手段の実行する白とび検出処理の処理手順について説明するフロー図である。 偽色（ＰＦ）補正処理手段の実行する白とび検出マップの拡大処理の処理手順について説明するフロー図である。 偽色（ＰＦ）補正処理手段の実行する白とび検出マップの拡大処理の処理について説明する図である。 白とび度計算部の適用するルックアップテーブル（ＬＵＴ）について説明する図である。 ＣｂＣｒ色差平面における偽色（ＰＦ）色相と、紫度［Ｐｒ］の設定例について説明する図である。 画素色差成分ぼかし処理部の処理の詳細について説明するフロー図である。

符号の説明

１０１ レンズ
１０２ 絞り
１０３ 固体撮像素子
１０４ 相関２重サンプリング回路
１０５ Ａ／Ｄコンバータ
１０６ ＤＳＰブロック
１０７ タイミングジェネレータ
１０８ Ｄ／Ａコンバータ
１０９ ビデオエンコーダ
１１０ ビデオモニタ
１１１ コーデック（ＣＯＤＥＣ）
１１２ メモリ
１１３ ＣＰＵ
１１４ 入力デバイス
２０１ ホワイトバランス調整手段
２０２ ガンマ補正処理手段
２０３ デモザイク処理手段
２０４ ＹｃｂＣｒ変換手段
２０５ エッジ強調処理手段
２０６ 偽色（ＰＦ）補正処理手段
２５１ モザイク画像データ
２５２ ＹＣｂＣｒ画像
３００ 補正パラメータ（偽色度）算出部
３０１ 縮小処理部
３０２ 白とび検出部
３０３ メモリ
３０４ 縮小白とび検出マップ拡大部
３０５ 白とび度計算部
３０６ 紫度計算部
３０７ 偽色度計算部
３１０ 補正処理部
３１１ 画素彩度削減処理部
３１２ 画素色差成分ぼかし処理部
３５１ ＹＣｂＣｒ入力画像
３７１ ＹＣｂＣｒ出力画像
３８１ 撮影画像ｎ
３８２ 撮影画像ｎ＋１
４１０ オリジナル画像
４１１ 部分画像データ
４１２ 画素
４２０ 縮小画像
４２１ 画素
４５０ 画像データ
４５１ 点ｑ
４５２ 領域
６０１ 偽色（ＰＦ）色相ライン
６０２ 注目画素色相ライン
６１１，６１２ 紫度［Ｐｒ］０ライン

Claims (13)

1. 画像処理装置であり、
   処理画像の構成画素の補正パラメータとして、画素の偽色に対する類似性情報である画素対応の偽色度を算出する補正パラメータ算出部と、
   前記偽色度を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理部とを有し、
   前記補正パラメータ算出部は、
   処理画像に基づく縮小画像データを生成する縮小画像生成部と、
   前記縮小画像生成部の生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行する白とび検出部と、
   処理画像から選択された注目画素の色相と偽色の色相との類似性情報としての紫度を算出する紫度計算部と、
   前記白とび検出部の検出する白とび検出情報を適用して前記注目画素の白とび画素からの距離情報としての白とび度を算出する白とび度計算部と、
   前記紫度および白とび度とに基づいて注目画素の偽色度を算出する偽色度算出部とを有する構成であることを特徴とする画像処理装置。
2. 前記白とび検出部は、
   前記縮小画像生成部の生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行し、縮小画像における構成画素が白とび画素であるか否かを示すフラグ情報を持つ縮小白とび検出マップを生成しメモリに格納する構成であり、
   前記補正パラメータ算出部は、
   前記メモリに格納された縮小白とび検出マップの拡大処理を実行する白とびマップ拡大部を有し、
   前記白とび度計算部は、
   前記白とびマップ拡大部の拡大したマップに基づいて前記白とび度を算出する構成であることを特徴とする請求項１に記載の画像処理装置。
3. 前記白とび度計算部は、
   前記紫度計算部の処理対象画像フレームの前フレームに対する白とび検出処理の結果データとしてメモリに格納された白とび検出マップに基づいて白とび度を算出する構成であり、
   前記偽色度算出部は、
   フレームｎの画像データに基づいて算出された紫度、およびフレームｎ−１の画像データに基づいて算出された白とび度とに基づいて注目画素の偽色度を算出する構成であることを特徴とする請求項１に記載の画像処理装置。
4. 前記補正パラメータ算出部は、
   （ａ）入力画像データに基づく縮小画像の生成および白とび検出処理、
   （ｂ）入力画像データに基づく紫度の計算処理、
   （ｃ）メモリに格納された前フレームの画像に基づく縮小白とび検出マップの拡大処理および該拡大結果としてのマップに基づく白とび度計算処理、
   上記（ａ），（ｂ），（ｃ）の各処理を並列に実行する構成であることを特徴とする請求項１に記載の画像処理装置。
5. 前記補正処理部は、
   前記補正パラメータ算出部の算出する偽色度に基づいて各画素の彩度削減処理を実行する画素彩度削減処理部と、
   画素彩度削減処理部の出力データに対して、彩度削減処理を施した画素と周囲画素の色相の差分を減少させるぼかし処理を実行するぼかし処理部を有する構成であることを特徴とする請求項１に記載の画像処理装置。
6. 前記偽色はパープルフリンジであり、
   前記補正パラメータ算出部は、
   処理画像の構成画素の補正パラメータとして、画素のパープルフリンジに対する類似性情報である画素対応の偽色度を算出する構成であることを特徴とする請求項１乃至５いずれかに記載の画像処理装置。
7. 画像処理方法であり、
   処理画像の構成画素の補正パラメータとして、画素の偽色に対する類似性情報である画素対応の偽色度を算出する補正パラメータ算出ステップと、
   前記偽色度を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理ステップとを有し、
   前記補正パラメータ算出ステップは、
   処理画像に基づく縮小画像データを生成する縮小画像生成ステップと、
   前記縮小画像生成ステップにおいて生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行する白とび検出ステップと、
   処理画像から選択された注目画素の色相と偽色の色相との類似性情報としての紫度を算出する紫度計算ステップと、
   前記白とび検出ステップにおいて検出した白とび検出情報を適用して前記注目画素の白とび画素からの距離情報としての白とび度を算出する白とび度計算ステップと、
   前記紫度および白とび度とに基づいて注目画素の偽色度を算出する偽色度算出ステップと、
   を有することを特徴とする画像処理方法。
8. 前記白とび検出ステップは、
   前記縮小画像生成ステップにおいて生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行し、縮小画像における構成画素が白とび画素であるか否かを示すフラグ情報を持つ縮小白とび検出マップを生成しメモリに格納する処理を実行するステップであり、
   前記補正パラメータ算出ステップは、さらに、
   前記メモリに格納された縮小白とび検出マップの拡大処理を実行する白とびマップ拡大ステップを有し、
   前記白とび度計算ステップは、
   前記白とびマップ拡大ステップの拡大したマップに基づいて前記白とび度を算出するステップであることを特徴とする請求項７に記載の画像処理方法。
9. 前記白とび度計算ステップは、
   前記紫度計算ステップにおける処理対象画像フレームの前フレームに対する白とび検出処理の結果データとしてメモリに格納された白とび検出マップに基づいて白とび度を算出するステップであり、
   前記偽色度算出ステップは、
   フレームｎの画像データに基づいて算出された紫度、およびフレームｎ−１の画像データに基づいて算出された白とび度とに基づいて注目画素の偽色度を算出するステップであることを特徴とする請求項７に記載の画像処理方法。
10. 前記補正パラメータ算出ステップは、
    （ａ）入力画像データに基づく縮小画像の生成および白とび検出処理、
    （ｂ）入力画像データに基づく紫度の計算処理、
    （ｃ）メモリに格納された前フレームの画像に基づく縮小白とび検出マップの拡大処理および該拡大結果としてのマップに基づく白とび度計算処理、
    上記（ａ），（ｂ），（ｃ）の各処理を並列に実行することを特徴とする請求項７に記載の画像処理方法。
11. 前記補正処理ステップは、
    前記補正パラメータ算出ステップにおいて算出する偽色度に基づいて各画素の彩度削減処理を実行する画素彩度削減処理ステップと、
    画素彩度削減処理ステップにおける処理結果としての出力データに対して、彩度削減処理を施した画素と周囲画素の色相の差分を減少させるぼかし処理を実行するぼかし処理ステップと、
    を有することを特徴とする請求項７に記載の画像処理方法。
12. 前記偽色はパープルフリンジであり、
    前記補正パラメータ算出ステップは、
    処理画像の構成画素の補正パラメータとして、画素のパープルフリンジに対する類似性情報である画素対応の偽色度を算出するステップであることを特徴とする請求項７に記載の画像処理方法。
13. 画像処理をコンピュータ上において実行させるコンピュータ・プログラムであり、
    処理画像の構成画素の補正パラメータとして、画素の偽色に対する類似性情報である画素対応の偽色度を算出する補正パラメータ算出ステップと、
    前記偽色度を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理ステップとを有し、
    前記補正パラメータ算出ステップは、
    処理画像に基づく縮小画像データを生成する縮小画像生成ステップと、
    前記縮小画像生成ステップにおいて生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行する白とび検出ステップと、
    処理画像から選択された注目画素の色相と偽色の色相との類似性情報としての紫度を算出する紫度計算ステップと、
    前記白とび検出ステップにおいて検出した白とび検出情報を適用して前記注目画素の白とび画素からの距離情報としての白とび度を算出する白とび度計算ステップと、
    前記紫度および白とび度とに基づいて注目画素の偽色度を算出する偽色度算出ステップと、
    を有することを特徴とするコンピュータ・プログラム。

Images