JPWO2002060186A1 - 画像処理方法、画像処理プログラム、画像処理装置 - Google Patents

Abstract

画像処理方法は、複数の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなる第１の画像を、複数の画素からなり各々の画素に少なくとも１つの共通する色情報を有する第２の画像に変換し、第２の画像の処理対象画素に対し、少なくとも３通りの何れかの方法を用いて、第１の画像の色情報から色差情報を生成する色差情報生成手順と、第２の画像の処理対象画素に対し、色差情報を用いて画素単位での色評価を行う色評価手順とからなる色判定手順と、色判定手順の色評価結果に基づいて、第１の画像を第２の画像に変換する画像変換手順とを有する。

Description

本出願は日本国特許出願２００１年第１６７２９号（２００１年１月２５日出願）、日本国特許出願２００１年第３４３３９２号（２００１年１１月８日出願）を基礎として、その内容は引用文としてここに組み込まれる。
技術分野
本発明は、複数の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなる画像を、複数の画素からなり各々の画素に少なくとも１つの共通する色情報を有する画像に変換する画像処理方法などに関する。
背景技術
電子カメラなどは、ＣＣＤなどの撮像素子により被写体を撮像する。この撮像素子は、例えば、ＲＧＢ（赤緑青）の３色のカラーフィルタがベイア配列されており、画素ごとにＲＧＢのいずれかの色成分の色情報を有する画像データを出力する。この画像データでは、１つの画素は１つの色成分の色情報しか有さない。従って、各画素において、欠落する色成分の色情報を補間処理などで計算して求める各種の方法が提案されている。
特許第２９３１５２０号は、画素の色レベルを検出し、色レベルに応じて相関値を調整し、調整した相関値に基づいて補間処理を行う技術を開示する。
しかし、特許第２９３１５２０号の色レベル検出方法では、画像が構造を有するような箇所では、構造的要因に伴う色差信号の値と実際に持っている色から生じている色差信号の値を区別できず、相関値を誤って不適切に用いる可能性が高い。
発明の開示
本発明は、これらの問題を適切に対処して高画質なカラー画像を提供する画像処理方法などを提供する。
本発明の第１の画像処理方法は、複数の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなる第１の画像を、複数の画素からなり各々の画素に少なくとも１つの共通する色情報を有する第２の画像に変換し、第２の画像の処理対象画素に対し、少なくとも３通りの何れかの方法を用いて、第１の画像の色情報から色差情報を生成する色差情報生成手順と、第２の画像の処理対象画素に対し、色差情報を用いて画素単位での色評価を行う色評価手順とからなる色判定手順と、色判定手順の色評価結果に基づいて、第１の画像を第２の画像に変換する画像変換手順とを有する。
第１の画像処理方法において、色判定手順は、さらに、第２の画像の処理対象画素に対し、第１の画像の色情報を用いて、少なくとも２方向に関する類似度を算出する類似度算出手順と、類似度に基づき、各方向に対する類似性の強弱を少なくとも３段階で判定する類似性判定手順とを有し、色差情報生成手順は、類似性判定手順の判定結果に応じて用意された少なくとも３通りの何れかの方法を用いて、第１の画像の色情報から色差情報を生成するのが好ましい。この場合、色判定手順の類似度算出手順は、異なる色成分の色情報からなる異色間類似度を類似度として算出するのが好ましい。
第１の画像処理方法において、画像変換手順は、１）第１の画像の色情報を用いて処理対象画素の少なくとも２方向に関して、異なる色成分の色情報からなる異色間類似度と、同じ色成分の色情報からなる同色間類似度を算出し、色評価結果に基づいて、異色間類似度と同色間類似度を使い分けて類似度を算出する類似度算出手順と、２）類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順と、３）類似性判定手順の判定結果に基づき、第１の画像の色情報を用いて第２の画像の色情報を生成する第２画像生成手順とを有するのが好ましい。この場合、画像変手順の類似度算出手順は、色評価で彩度が低いと判断された場合には、類似度として異色間類似度を主に利用し、彩度が高いと判断された場合には、同色間類似度を主に利用するのが好ましい。
第１の画像処理方法において、画像変換手順は、１）第１の画像の色情報を用いて処理対象画素の少なくとも２方向に関して、異なる色成分の色情報からなる異色間類似度と、同じ色成分の色情報からなる同色間類似度を算出し、色評価結果に基づいて、異色間類似度と同色間類似度とを加重加算してその加重比率を変えることにより類似度を算出する類似度算出手順と、２）類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順と、３）類似性判定手順の判定結果に基づき、第１の画像の色情報を用いて第２の画像の色情報を生成する第２画像生成手順とを有するのが好ましい。この場合、画像変手順の類似度算出手順は、色評価で彩度が低いと判断された場合には、類似度として異色間類似度を主に利用し、彩度が高いと判断された場合には、同色間類似度を主に利用するのが好ましい。
第１の画像処理方法において、画像変換手順は、処理対象画素位置に対応する第１の画像の画素の色情報とその周辺画素の色情報を用いて第２の画像の色情報を生成し、色評価結果に応じてその構成比率を変更する第２画像生成手順を有するのが好ましい。この場合、画像変換手順の第２画像生成手順は、色評価で彩度が低いと判断された場合、処理対象画素に位置する第１の画像の画素の色情報の構成比率を上げるのが好ましい。あるいは、画像変換手順は、第２画像生成手順の前に、処理対象画素に対し、１）第１の画像の色情報を用いて、少なくとも２方向に関する類似度を算出する類似度算出手順と、２）類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順とを有し、類似性判定手順の判定結果が、各方向に対して同程度であると判定された場合にのみ色評価結果に応じて構成比率を変更するのが好ましい。
第１の画像処理方法において、画像変換手順は、１）第１の画像の色情報を用いて、第２の画像の色差情報を生成する第２画像生成手順と２）色評価結果に基づいて、第２の画像の色差情報を補正する色差情報補正手順と
を有するのが好ましい。この場合、画像変換手順の色差情報補正手順は、色評価で彩度が低いと判断された場合には、第２の画像の色差情報に広域型のフィルタ処理を行い、彩度が高いと判断された場合には、第２の画像の色差情報に狭域型のフィルタ処理を行うのが好ましい。
第１の画像処理方法において、１）色判定手順の色差情報生成手順は、１つの処理対象画素に対し複数種類の色差情報を生成し、２）色判定手順の色評価手順は、複数種類の色差情報の組合せでできる新たな色差情報も考慮して色評価を行うのが好ましい。
第１の画像処理方法において、色判定手順の色評価手順は、色差情報生成手順によって生成される色差情報を、処理対象画素のみならず、その周辺画素についても合わせて用いることによって色評価を行うのが好ましい。
第１の像処理方法において、色判定手順の色評価手順は、色差情報を補正し、補正された色差情報を用いて色評価を行うのが好ましい。この場合、色判定手順の色評価手順は、色差情報に対する補正処理として、ローパスフィルタ処理を行うのが好ましい。
第１の画像処理方法において、色判定手順は、色評価手順の後に、１）色評価結果に基づいて、色差情報を補正する色差情報補正手順と、２）色差情報補正手順によって補正された色差情報を用いて、再度画素単位の色評価を行う再色評価手順とを有し、再色評価手順の色評価結果に基づいて、第１の画像を第２の画像に変換するのが好ましい。この場合、色判定手順は、色差情報補正手順の前に、１）第１の画像の色情報を用いて、輝度情報を算出する輝度情報算出手順と、２）輝度情報を用いて、画素単位での輝度評価を行う輝度評価手順とを有し、色差情報補正手順は、再色評価手順の色評価結果と輝度評価手順の輝度評価結果とに基づいて、色差情報を補正するのが好ましい。また、色判定手順の色差情報補正手順は、色差情報にメディアンフィルタ処理を行うのが好ましい。
本発明の第２の画像処理方法は、複数の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなる第１の画像を、１つの画素に複数種類の色情報を有する複数の画素からなる第２の画像に変換し、第１の画像を取得する画像取得手順と、取得した第１の画像の色成分の色情報に基づき、第２の画像の画素位置に色差情報を生成する色差情報生成手順と、生成した第２の画像の色差情報を用いて画素単位で色評価を行う色評価手順と、第２の画像の画素単位の色評価結果に基づいて、第２の画像の画素位置に輝度情報を生成する輝度情報生成手順と、色差情報生成手順で生成した色差情報と輝度情報生成手順で生成した輝度情報を使用して、第２の画像を出力する出力手順とからなる。
第２の画像処理方法において、第２の画像の１つの画素位置における色差情報は複数種類の色差情報からなり、色評価手順は、複数種類の色差情報の組み合わせでできる新たな色差情報も考慮して色評価を行うのが好ましい。この場合、第１の画像は、第１の色成分、第２の色成分、および第３の色成分からなる表色系で表され、第１の色成分の画素密度は他の第２の色成分あるいは第３の色成分の画素密度より高い画素密度で配置され、複数種類の色差情報は、第１の色成分の色情報と第２の色成分の色情報の差分からなる第１の色差情報と、第１の色成分の色情報と第３の色成分の色情報の差分からなる第２の色差情報とからなり、新たな色差情報は、第１の色差情報と第２の色差情報の差分からなるのが好ましい。
第２の画像処理方法において、色評価手順は、生成した第２の画像の色差情報を補正し、補正された色差情報を用いて色評価を行うのが好ましい。この場合。色評価手順は、生成した第２の画像の色差情報をローパスフィルタ処理を行うことにより補正するのが好ましい。
第２の画像処理方法において、輝度情報生成手順の前に、第２の画像の画素に対応する第１の画像の画素において、該画素を含む局所領域の異なる色成分の色情報を用いて周辺画素との間の少なくとも２方向に関する異色間類似度を算出し、該画素を含む局所領域の同一の色成分の色情報を用いて周辺画素との間の少なくとも２方向に関する同色間類似度を算出する類似度算出手順と、輝度情報生成手順の前かつ色評価手順の後に、第２の画像の画素に対応する第１の画像の画素において、類似度算出手順により算出された異色間類似度と同色間類似度とを色評価結果に基づいて使い分けて周辺画素との間の少なくとも２方向に関する類似性の強弱を判定する類似性判定手順とを有し、輝度情報生成手順は、類似性判定手順の判定結果に基づいて、第２の画像の画素位置に輝度情報を生成するのが好ましい。
第２の画像処理方法において、第１の画像の複数の画素と第２の画像の複数の画素とは、同じ位置関係で対応するのが好ましい。
第２の画像処理方法において、輝度情報生成手順は、第２の画像の画素に対応する第１の画像の画素の色情報と周辺画素の色情報とを使用して第２の画像の画素位置に輝度情報を生成し、第２の画像の画素単位の色評価結果に基づいて、第２の画像の画素に対応する第１の画像の画素の色情報と周辺画素の色情報との構成比率を変更するのが好ましい。
第２の画像処理方法において、色差生成手順の前に、第２の画像の画素に対応する第１の画像の画素において、該画素を含む局所領域の色情報を用いて周辺画素との間の少なくとも２方向に関する類似性の強弱を判定する類似性判定手順を有し、色差情報生成手順は、類似性判定手順の判定結果に基づいて、第２の画像の画素位置に色差情報を生成するのが好ましい。この場合、類似性判定手順は、第２の画像の画素に対応する第１の画像の画素において、該画素を含む局所領域の異なる色成分の色情報を用いて周辺画素との間の少なくとも２方向に関する類似性の強弱を判定するのが好ましい。
本発明の第３の画像処理方法は、複数の色成分からなる表色系で表され、１つの画素に少なくとも１つの色成分の色情報を有する複数の画素からなる第１の画像を、複数の画素からなり各々の画素に少なくとも１つの共通する第１の画像が有しない色情報を有する第２の画像に変換し、第２の画像の処理対象画素に対し、１）第１の画像の色情報を用いて、色差情報を生成する色差情報生成手順と、２）色差情報を用いて画素単位で色評価を行う色評価手順と、３）色評価手順の色評価結果に基づいて複数種類の補正から１つの補正を選択して、色差情報を補正する色差情報補正手順と４）補正された色差情報を使用して、第２の画像を出力する出力手順とからなる。
第３の画像処理方法において、複数の補正は、生成した色差情報を広域型ローパスフィルタ処理を行うことにより補正する第１の補正と、生成した色差情報を狭域型ローパスフィルタ処理を行うことにより補正する第２の補正からなり、色差情報補正手順は、色評価で彩度が低いと判定された場合には第１の補正を選択し、彩度が高いと判定された場合には第２の補正を選択するのが好ましい。
第３の画像処理方法において、複数の補正は、生成した色差情報を広域型メディアンフィルタ処理を行うことにより補正する第１の補正と、生成した色差情報を狭域型メディアンフィルタ処理を行うことにより補正する第２の補正からなり、色差情報補正手順は、色評価で彩度が低いと判定された場合には第１の補正を選択し、彩度が高いと判定された場合には第２の補正を選択するのが好ましい。
第３の画像処理方法において、第２の画像の１つの画素位置における色差情報は複数種類の色差情報からなり、色評価手順は、複数種類の色差情報の組み合わせでできる新たな色差情報も考慮して色評価を行うのが好ましい。この場合、第１の画像は、第１の色成分、第２の色成分、および第３の色成分からなる表色系で表され、第１の色成分の画素密度は他の第２の色成分あるいは第３の色成分の画素密度より高い画素密度で配置され、複数種類の色差情報は、第１の色成分の色情報と第２の色成分の色情報の差分からなる第１の色差情報と、第１の色成分の色情報と第３の色成分の色情報の差分からなる第２の色差情報とからなり、新たな色差情報は、第１の色差情報と第２の色差情報の差分からなるのが好ましい。
第３の画像処理方法において、色評価手順は、色差情報生成手順によって生成される色差情報を、処理対象画素のみならず、その周辺画素についても合わせて用いることによって色評価を行うのが好ましい。
第３の画像処理方法において、色判定手順の色評価手順は、色差情報を補正し、補正された色差情報を用いて色評価を行うのが好ましい。この場合、色判定手順の色評価手順は、色差情報に対する補正処理として、ローパスフィルタ処理を行うのが好ましい。さらに、ローパスフィルタは、広域型ローパスフィルタであるのが好ましい。
第３の画像処理方法において、色差生成手順の前に、第２の画像の画素に対応する第１の画像の画素において、該画素を含む局所領域の色情報を用いて周辺画素との間の少なくとも２方向に関する類似性の強弱を判定する類似性判定手順を有し、色差情報生成手順は、類似性判定手順の判定結果に基づいて、第２の画像の画素位置に色差情報を生成するのが好ましい。この場合、１）類似性判定手順は、各方向に対する類似性の強弱を少なくとも３段階で判定し、２）色差情報生成手順は、類似性判定手順の判定結果に応じて用意された少なくとも３通りの何れかの方法を用いて、第１の画像の色情報から色差情報を生成するのが好ましい。
本発明の第４の画像処理方法は、複数の色成分からなる表色系で表され、１つの画素に少なくとも１つの色成分の色情報を有する複数の画素からなる第１の画像を、複数の画素からなり各々の画素に少なくとも１つの共通する第１の画像が有しない色情報を有する第２の画像に変換し、第２の画像の処理対象画素に対し、１）第１の画像の色情報を用いて、輝度情報を生成する輝度情報生成手順と、２）輝度情報を用いて画素単位での輝度評価を行う輝度評価手順と、３）第１の画像の色情報を用いて、第２の画像の色情報を生成する第２画像生成手順と、４）第２の画像の画素単位の輝度評価結果に基づいて、第２の画像の色情報を補正する第２画像補正手順とからなる。この場合、輝度評価手順は、処理対象画素を含む局所的な領域に位置する複数の画素の輝度情報の最大値、及び分散値を導出することにより輝度評価を行うのが好ましい。さらに、１）輝度評価手順は、輝度情報の最大値、及び分散値がそれぞれ予め決められた値以上である条件を満足する場合としない場合の２通りに判別し、２）第２画像補正手順は、該条件の判別結果によって２種類の補正を切り替えて行う、または、該条件を満足する場合にのみ補正を行うのが好ましい。さらに、第２画像補正手順は、輝度評価で条件を満足する場合には広域型のメディアンフィルタ処理を行い、満足しない場合には狭域型のメディアンフィルタ処理を行う、または、条件を満足する場合にのみメディアンフィルタ処理を行うのが好ましい。
本発明の画像処理プログラムは、上記記載の画像処理方法の手順をコンピュータに実行させる。
本発明のコンピュータ読みとり可能な記録媒体は、上記画像処理プログラムを記録する。
本発明の画像処理装置は、上記画像処理プログラムを搭載する。
発明を実施するための最良の形態
以下、図面に基づいて、本発明の実施形態について詳細を説明する。
第１の実施形態〜第４の実施形態では、本発明の画像処理装置が行う画像復元処理のうち、特に、補間処理の機能を備えた電子カメラを用いて説明を行う。
図１は、第１の実施形態ないし第４の実施形態に対応する電子カメラの機能ブロック図である。
電子カメラ１は、Ａ／Ｄ変換部１０、画像処理部１１、制御部１２、メモリ１３、圧縮／伸長部１４、表示画像生成部１５を備える。また、メモリカード（カード状のリムーバブルメモリ）１６とのインタフェースをとるメモリカード用インタフェース部１７および所定のケーブルや無線伝送路を介してＰＣ（パーソナルコンピュータ）１８等の外部装置とのインタフェースをとる外部インタフェース部１９を備える。これらの各ブロックはバス２９を介して相互に接続される。画像処理部１１は、例えば、画像処理専用の１チップ・マイクロプロセッサで構成される。
電子カメラ１は、さらに、撮影光学系２０、撮像素子２１、アナログ信号処理部２２、タイミング制御部２３を備える。撮像素子２１には撮影光学系２０で取得された被写体の光学像が結像し、撮像素子２１の出力はアナログ信号処理部２２に接続される。アナログ信号処理部２２の出力は、Ａ／Ｄ変換部１０に接続される。タイミング制御部２３には制御部１２の出力が接続され、タイミング制御部２３の出力は、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０、画像処理部１１に接続される。撮像素子２１は例えばＣＣＤなどで構成される。
電子カメラ１は、さらに、レリーズボタンやモード切り換え用の選択ボタン等に相当する操作部２４およびモニタ２５を備える。操作部２４の出力は制御部１２に接続され、モニタ２５には表示画像生成部１５の出力が接続される。
なお、ＰＣ１８には、モニタ２６やプリンタ２７等が接続されており、ＣＤ−ＲＯＭ２８に記録されたアプリケーションプログラムが予めインストールされている。また、ＰＣ１８は、不図示のＣＰＵ、メモリ、ハードディスクの他に、メモリカード１６とのインタフェースをとるメモリカード用インタフェース部（不図示）や所定のケーブルや無線伝送路を介して電子カメラ１等の外部装置とのインタフェースをとる外部インタフェース部（不図示）を備える。
図１のような構成の電子カメラ１において、操作部２４を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部１２は、タイミング制御部２３を介して、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０に対するタイミング制御を行う。撮像素子２１は、光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部２２で所定の信号処理が行われ、Ａ／Ｄ変換部１０でディジタル化され、画像データとして、画像処理部１１に供給される。
電子カメラ１では、撮像素子２１において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがベイア配列されているので、画像処理部１１に供給される画像データはＲＧＢ表色系で示される。画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在することになる。
画像処理部１１は、このような画像データに対し、後述する画像データ変換処理を行う他に、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮／伸長部１４で所定の圧縮処理が施され、メモリカード用インタフェース部１７を介してメモリカード１６に記録される。
なお、画像処理が完了した画像データは、圧縮処理を施さずにメモリカード１６に記録したり、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。また、操作部２４を介し、操作者によって再生モードが選択されると、メモリカード１６に記録されている画像データは、メモリカード用インタフェース部１７を介して読み出されて圧縮／伸長部１２で伸長処理が施され、表示画像作成部１５を介してモニタ２５に表示される。
なお、伸長処理が施された画像データは、モニタ２５に表示せず、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。また、後述する変換処理が行われた画像データを、モニタ２５、２６やプリンタ２７で採用されている表色系に変換する処理については、公知の技術によって実現できる。
図２は、補間処理の対象となる画像データの色成分の配列を示す図である。
ただし、図２では、Ｒ、Ｇ、Ｂを用いて色成分の種類を示し、座標［Ｘ，Ｙ］の値を用いて各々の色成分に対応する画素の位置を示している。
なお、後述する演算式では、図２のＲ、ＢをＺに置き換えて、各々の画素の色成分の色情報をＺ［ｉ，ｊ］のように表現する。
−第１の実施形態−
図３〜図７は、第１の実施形態における画像処理部１１の動作フローチャートである。
ただし、図３〜図７は、画像処理部１１が行う画像処理のうち、補間処理の動作を示している。図３は、補間処理のおおまかな動作を示し、図４〜図７は、補間処理に含まれる「色判定用画像生成処理」、「色判定処理」、「類似性判定処理」、「補間値算出処理」の動作を各々示している。
以下、第１の実施形態を説明するが、以下では、画像処理部１１が行う画像処理のうち、補間処理の動作を説明し、他の動作の説明は省略する。
まず、画像処理部１１は、図４に示す「色判定用画像生成処理」を行って（図３Ｓ１）、「色判定用画像」を生成する。
なお、「色判定用画像」は、「色指標」を算出するために用いられる画像であり、同一の画素における色相で構成される。ここで、同一の画素における色相とは、各々の画素毎に独立して算出される色相である。また、「色指標」は、各々の画素の色の特徴を示し、補間処理の対象となる画素が彩色部であるか無彩色部であるかの判定（以下、「色判定」と称する）を行うために参照される指標である。すなわち、色判定用画像を生成する狙いは、補間処理の対象となる画像を色に関して画素単位で大局的に領域分類することにある。
第１の実施形態では、色判定用画像として、全ての画素に色差Ｃｒ，Ｃｂ（ＹＣｂＣｒ表色系のＣｒ成分、Ｃｂ成分に相当する；ただし、ここでは、Ｃｒ＝Ｒ−Ｇ，Ｃｂ＝Ｂ−Ｇと定義する）が対応付けられた画像を生成するが、色判定の目的に沿う色判定用画像としては、数画素程度の局所的な偽色の発生は許容されるが、周期的な微細構造などによって集団的に発生する偽色が排除されることが望ましい。
そこで、第１の実施形態では、集団的に偽色が発生し易い画像の微細構造部分を優先的に解像し、かつ、画像が本来持っている色の特徴（彩度の高低など）を反映させるため、色差Ｃｒ，Ｃｂの生成や補間の過程で、「異色間類似度」を用いて類似性の判定を行う例を示す。なお、「異色間類似度」とは、異なる色成分を示す色情報から成る類似度成分を１つ以上用いて構成される類似度であり、「一画素ピッチで類似性を判定する機能」を有する。
《色判定画像生成処理》
ここで、図４を参照して、「色判定画像生成処理」の説明を行う。
まず、画像処理部１１は、緑色成分が欠落する画素における縦方向および横方向に対する異色間類似度を算出する（図４Ｓ１）。
例えば、画像処理部１１は、これらの類似度を算出する過程で、以下に示す式１および式２によって定義される値を算出する。
ＧＲ（ＧＢ）間類似度成分
Ｃｖ０［ｉ，ｊ］＝（｜Ｇ［ｉ，ｊ−１］−Ｚ［ｉ，ｊ］｜＋｜Ｇ［ｉ，ｊ＋１］−Ｚ［ｉ，ｊ］｜）／２ …式１
Ｃｈ０［ｉ，ｊ］＝（｜Ｇ［ｉ−１，ｊ］−Ｚ［ｉ，ｊ］｜＋｜Ｇ［ｉ＋１，ｊ］−Ｚ［ｉ，ｊ］｜）／２ …式２
なお、図２（ａ）のように座標［ｉ，ｊ］に赤色成分の色情報が存在する場合、式１および式２は、図８（ａ）に示す色成分の色情報を用いて算出されることになる。
また、式１および式２において、絶対値でくくられる項（「以下、「類似度の要素」と称する）は、隣接する２つの画素の色情報で構成される。そのため、異色間類似度には、特許第２９３１５２０号公報に開示されているＳｖ２，Ｓｈ２のように、広い範囲の色情報でローパスフィルタを掛けて構成される値に比べ、局所的な類似性に関する情報が多く含まれ、一画素ピッチで変化するナイキスト周波数レベルの微細構造におけるより正確な類似性判定を可能にする機能が備わっている。
なお、類似度の要素は、差分の絶対値に限らず、絶対値の２乗やべき乗等によって算出しても良い。
また、類似度の要素は、以下のような構成にしても良い。
Ｃｖ０［ｉ，ｊ］＝｜−Ｇ［ｉ，ｊ−１］＋２・Ｚ［ｉ，ｊ］−Ｇ［ｉ，ｊ＋１］｜／２ …式１’
Ｃｈ０［ｉ，ｊ］＝｜−Ｇ［ｉ−１，ｊ］＋２・Ｚ［ｉ，ｊ］−Ｇ［ｉ＋１，ｊ］｜／２ …式２’
式１および式２（または、式１’および式２’）によって算出される値は、そのまま、緑色成分が欠落する画素の縦方向に対する異色間類似度，横方向に対する異色間類似度とすることができるが、ここでは、その画素だけでなく、その画素の周辺に位置する画素に対しても同様の値を算出し、各々の値を方向別に加重加算（以下、「周辺加算」と称する）して、緑色成分が欠落する画素の縦方向および横方向に対する最終的な異色間類似度を算出する例を示す。
すなわち、画像処理部１１は、式１および式２（または、式１’および式２’）に基づき、座標［ｉ，ｊ］，［ｉ−１，ｊ−１］，［ｉ＋１，ｊ−１］，［ｉ−１，ｊ＋１］，［ｉ＋１，ｊ＋１］，［ｉ，ｊ−２］，［ｉ，ｊ＋２］，［ｉ−２，ｊ］，［ｉ＋２，ｊ］に位置する画素に対して演算を行い、その演算によって得られた値に対して、以下に示す式３および式４に相当する周辺加算を行って、縦方向に対する異色間類似度Ｃｖ［ｉ，ｊ］、横方向に対する異色間類似度Ｃｈ［ｉ，ｊ］を算出する。式３および式４は、図８（ｂ）に示すようにして周辺加算を行うことに相当する。なお、周辺加算の方式は、ここに示した例に限定されるものではない。
Ｃｖ［ｉ，ｊ］＝（４・Ｃｖ０［ｉ，ｊ］＋２・（Ｃｖ０［ｉ−１，ｊ−１］＋Ｃｖ０［ｉ＋１，ｊ−１］＋Ｃｖ０［ｉ−１，ｊ＋１］＋Ｃｖ０［ｉ＋１，ｊ＋１］）＋Ｃｖ０［ｉ，ｊ−２］＋Ｃｖ０［ｉ，ｊ＋２］＋Ｃｖ０［ｉ−２，ｊ］＋Ｃｖ０［ｉ＋２，ｊ］）／１６ …式３
Ｃｈ［ｉ，ｊ］＝（４・Ｃｈ０［ｉ，ｊ］＋２・（Ｃｈ０［ｉ−１，ｊ−１］＋Ｃｈ０［ｉ＋１，ｊ−１］＋Ｃｈ０［ｉ−１，ｊ＋１］＋Ｃｈ０［ｉ＋１，ｊ＋１］）＋Ｃｈ０［ｉ，ｊ−２］＋Ｃｈ０［ｉ，ｊ＋２］＋Ｃｈ０［ｉ−２，ｊ］＋Ｃｈ０［ｉ＋２，ｊ］）／１６ …式４
ただし、式３および式４によって算出される各々の類似度は、値が小さい程、類似性が強いことを示す。
なお、図２（ａ）のように座標［ｉ，ｊ］に赤色成分の色情報が存在する場合、式１ないし式４は、図８（ｃ）に示す色成分の色情報を用いて算出されることになる。
したがって、周辺加算後に得られる類似度には、緑色成分の色情報と赤色成分の色情報とから成る類似度成分と、緑色成分の色情報と青色成分の色情報とから成る類似度成分とが含まれる。すなわち、周辺加算によって、複数の色成分を考慮し、かつ、周辺の画素との連続性を考慮しつつ類似度が算出されるため、類似度の精度が高められる。
次に、画像処理部１１は、縦方向に対する異色間類似度Ｃｖ［ｉ，ｊ］、横方向に対する異色間類似度Ｃｈ［ｉ，ｊ］に基づき、緑色成分が欠落する画素における縦方向および横方向に対する類似性（以下、「縦横類似性」と称する。）を判定する（図４Ｓ２）。そして、画像処理部１１は、このような判定結果として、縦横類似性を示す指標ＨＶ［ｉ，ｊ］に以下のような値を設定する。
例えば、画像処理部１１は、任意の閾値Ｔｈ０について、
｜Ｃｖ［ｉ，ｊ］−Ｃｈ［ｉ，ｊ］｜≦Ｔｈ０ …条件１
が成り立つ場合、「縦方向および横方向に類似性が強い、または弱い」と判定して指標ＨＶ［ｉ，ｊ］に「０」を設定する。また、画像処理部１１は、条件１が成り立たず、かつ、
Ｃｖ［ｉ，ｊ］＜Ｃｈ［ｉ，ｊ］ …条件２
が成り立つ場合、「縦方向に類似性が強い」と判定して指標ＨＶ［ｉ，ｊ］に「１」を設定する。さらに、画像処理部１１は、条件１および条件２が成り立たない場合、「横方向に類似性が強い」と判定して指標ＨＶ［ｉ，ｊ］に「−１」を設定する。
次に、画像処理部１１は、赤色成分の色情報または青色成分の色情報が存在する画素に対して、各々の色成分に対応する色差を縦横類似性の判定結果に応じて生成し、かつ、赤色成分の色情報または青色成分の色情報が存在しない画素に対して、各々の色成分に対応する色差を補間することによって、色判定用画像を生成する（図４Ｓ３）。
例えば、画像処理部１１は、赤色成分の色情報が存在する画素の指標ＨＶ［ｉ，ｊ］について、
ＨＶ［ｉ，ｊ］＝１ …条件３
が成り立つ場合（縦方向に類似性が強い場合）、その画素の色差Ｃｒ［ｉ，ｊ］を以下に示す式５によって算出する。
Ｃｒ［ｉ，ｊ］＝（２・Ｚ［ｉ，ｊ］＋Ｚ［ｉ，ｊ−２］＋Ｚ［ｉ，ｊ＋２］）／４−（Ｇ［ｉ，ｊ−１］＋Ｇ［ｉ，ｊ＋１］）／２ …式５
また、画像処理部１１は、赤色成分の色情報が存在する画素の指標ＨＶ［ｉ，ｊ］について、条件３が成り立たず、
ＨＶ［ｉ，ｊ］＝−１ …条件４
が成り立つ場合（横方向に類似性が強い場合）、その画素の色差Ｃｒ［ｉ，ｊ］を以下に示す式６によって算出する。
Ｃｒ［ｉ，ｊ］＝（２・Ｚ［ｉ，ｊ］＋Ｚ［ｉ−２，ｊ］＋Ｚ［ｉ＋２，ｊ］）／４−（Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／２ …式６
さらに、画像処理部１１は、赤色成分の色情報が存在する画素の指標ＨＶ［ｉ，ｊ］について、条件３および条件４が成り立たない場合（縦方向および横方向に類似性が強い、または弱い）、その画素の色差Ｃｒ［ｉ，ｊ］を以下に示す式７によって算出する。
Ｃｒ［ｉ，ｊ］＝（４・Ｚ［ｉ，ｊ］＋Ｚ［ｉ，ｊ−２］＋Ｚ［ｉ，ｊ＋２］＋Ｚ［ｉ−２，ｊ］＋Ｚ［ｉ＋２，ｊ］）／８−（Ｇ［ｉ，ｊ−１］＋Ｇ［ｉ，ｊ＋１］＋Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／４ …式７
なお、画像処理部１１は、青色成分の色情報の色情報が存在する画素については、式５ないし式７と同様にして、色差Ｃｂ［ｉ，ｊ］を算出する。
また、画像処理部１１は、以上説明したように、赤色成分の色情報または青色成分の色情報が存在する画素の色差を算出する過程において、各々の色成分の色情報が存在しない画素の色差については、「０」を設定して初期化する。
次に、画像処理部１１は、赤色成分の色情報または青色成分の色情報が存在しない画素に対し、各々の色成分に対応する色差（Ｃｒ［ｉ，ｊ］またはＣｂ［ｉ，ｊ］）を補間する。このような補間の方法としては、通常、隣接する画素の色差の平均値を補間値とする方法が用いられるが、ここでは、画像の周期的な構造で発生する色モアレによる偽色を低減するため、補間値の算出と共に、全ての画素に対してローパスフィルタを掛ける方式を示す。
例えば、画像処理部１１は、以下に示す式８を演算して、赤色成分に対応する色差Ｃｒ［ｉ，ｊ］を算出する。なお、式８は、図８（ｄ）に示すようにして各々の画素の色差Ｃｒを加重加算することに相当する。
Ｃｒ［ｉ，ｊ］＝（３６・Ｃｒ［ｉ，ｊ］＋２４・（Ｃｒ［ｉ−１，ｊ］＋Ｃｒ［ｉ＋１，ｊ］＋Ｃｒ［ｉ，ｊ−１］＋Ｃｒ［ｉ，ｊ＋１］）＋１６・（Ｃｒ［ｉ−１，ｊ−１］＋Ｃｒ［ｉ＋１，ｊ−１］＋Ｃｒ［ｉ−１，ｊ＋１］＋Ｃｒ［ｉ＋１，ｊ＋１］）＋６・（Ｃｒ［ｉ−２，ｊ］＋Ｃｒ［ｉ＋２，ｊ］＋Ｃｒ［ｉ，ｊ−２］＋Ｃｒ［ｉ，ｊ＋２］）＋４・（Ｃｒ［ｉ−１，ｊ−２］＋Ｃｒ［ｉ＋１，ｊ−２］＋Ｃｒ［ｉ−２，ｊ−１］＋Ｃｒ［ｉ＋２，ｊ−１］＋Ｃｒ［ｉ−２，ｊ＋１］＋Ｃｒ［ｉ＋２，ｊ＋１］＋Ｃｒ［ｉ−１，ｊ＋２］＋Ｃｒ［ｉ＋１，ｊ＋２］）＋１・（Ｃｒ［ｉ−２，ｊ−２］＋Ｃｒ［ｉ＋２，ｊ−２］＋Ｃｒ［ｉ−２，ｊ＋２］＋Ｃｒ［ｉ＋２，ｊ＋２］））／６４ …式８
また、画像処理部１１は、色差Ｃｂ［ｉ，ｊ］についても、式８と同様にして、算出する。
以上説明したようにして「色判定用画像生成処理」が完了すると、画像処理部１１は、図５に示す「色判定処理」を行う（図３Ｓ２）。
《色判定処理》
ここで、図５を参照して、「色判定処理」の説明を行う。
まず、画像処理部１１は、「色判定用画像生成処理」で生成した色判定用画像を用い、以下のようにして、同一の画素における色差から成る色指標を算出する（図５Ｓ１）。
すなわち、画像処理部１１は、色指標Ｃｄｉｆｆ０［ｉ，ｊ］を以下に示す式１０によって算出する。
Ｃｄｉｆｆ０［ｉ，ｊ］＝（｜Ｃｒ［ｉ，ｊ］｜＋｜Ｃｂ［ｉ，ｊ］｜＋｜Ｃｒ［ｉ，ｊ］−Ｃｂ［ｉ，ｊ］｜）／３ …式１０
このように、第１の実施形態の色指標は、特許第２９３１５２０号公報に開示された色レベルと異なり、同一の画素における色相値を用いて導出されたものとみなすことができる。
そのため、第１の実施形態の色指標では、従来の技術で色レベルに反映されてしまった画像の構造的要因が排除され、より人間の視覚的な判断に近い色判定を実現することができる。また、第１の実施形態の色指標では、従来の技術にはないＲＢ間の色差も考慮しているので、ＲＢ間の色差が大きいことが原因で無彩色と誤判定される危険性も除去され、信頼性の高い色判定が可能である。
式１０によって算出されるＣｄｉｆｆ０［ｉ，ｊ］は、そのまま、座標［ｉ，ｊ］に位置する画素の色指標とすることができるが、ここでは、周辺加算を行って、座標［ｉ，ｊ］に位置する画素の色指標Ｃｄｉｆｆ［ｉ，ｊ］を算出する例を示す。
すなわち、画像処理部１１は、式１０に基づき、座標［ｉ，ｊ］，［ｉ−２，ｊ−２］，［ｉ＋２，ｊ−２］，［ｉ−２，ｊ＋２］，［ｉ＋２，ｊ＋２］，［ｉ，ｊ−４］，［ｉ，ｊ＋４］，［ｉ−４，ｊ］，［ｉ＋４，ｊ］に位置する画素に対して演算を行い、その演算によって得られた値に対して、以下に示す式１１に相当する周辺加算を行って、色指標Ｃｄｉｆｆ［ｉ，ｊ］を算出する。
Ｃｄｉｆｆ［ｉ，ｊ］＝（８・Ｃｄｉｆｆ０［ｉ，ｊ］＋Ｃｄｉｆｆ０［ｉ−２，ｊ−２］＋Ｃｄｉｆｆ０［ｉ＋２，ｊ−２］＋Ｃｄｉｆｆ０［ｉ−２，ｊ＋２］＋Ｃｄｉｆｆ０［ｉ＋２，ｊ＋２］＋Ｃｄｉｆｆ０［ｉ，ｊ−４］＋Ｃｄｉｆｆ０［ｉ，ｊ＋４］＋Ｃｄｉｆｆ０［ｉ−４，ｊ］＋Ｃｄｉｆｆ０［ｉ＋４，ｊ］）／１６ …式１１
なお、式１１は、図９（ａ）に示すようにして周辺加算を行うことに相当するが、Ｃｄｉｆｆ０の周辺加算は、図９（ｂ）や図９（ｃ）のようにして行っても良い。
このように、周辺加算によって色指標を算出することは、色判定用画像を生成する過程で、色差の補間時に発生した局所的な誤りに伴う偽色の影響を低減する効果がある。
また、１０画素程度に渡るような長い周期の色モアレの影響も同時に低減するため、遠方の画素間で周辺加算を行って、相互に補色の関係にある色モアレ成分を相殺させることによって、色指標の信頼性を向上させている。
以上説明したようにして色指標Ｃｄｉｆｆを算出すると、画像処理部１１は、各々の画素で算出された色指標Ｃｄｉｆｆに基づき色判定を行う（図５Ｓ２）。
なお、第１の実施形態では、色判定の結果として、各々の画素を、色指標の大小によって４つのグループ（完全無彩色部、無彩色部、淡い彩色部、彩色部）の何れかに分類する処理を示す。ただし、以下に示す条件１０ないし条件１２では、色指標Ｃｄｉｆｆ［ｉ，ｊ］の階調が０〜２５５で示される場合、閾値ＴｈＢＷｚ，ＴｈＢＷａ，ＴｈＢＷｂの値は、それぞれ、２，５，１０〜１５程度の値である。
画像処理部１１は、色指標Ｃｄｉｆｆ［ｉ，ｊ］について、
Ｃｄｉｆｆ［ｉ，ｊ］≦ＴｈＢＷｚ …条件１０
が成り立つ画素については、完全無彩色部と判定して、色判定の結果を示す色分類指標ＢＷ［ｉ，ｊ］に「ｚ」を設定する。また、画像処理部１１は、条件１０が成り立たず、かつ、
Ｃｄｉｆｆ［ｉ，ｊ］≦ＴｈＢＷａ …条件１１
が成り立つ画素については、無彩色部と判定して、色分類指標ＢＷ［ｉ，ｊ］に「ａ」を設定する。さらに、画像処理部１１は、条件１０および条件１１が成り立たず、かつ、
Ｃｄｉｆｆ［ｉ，ｊ］≦ＴｈＢＷｂ …条件１２
が成り立つ画素については、淡い彩色部と判定して、色分類指標ＢＷ［ｉ，ｊ］に「ｂ」を設定する。また、画像処理部１１は、条件１０ないし条件１２の全てが成り立たない画素については、彩色部と判定して、色分類指標ＢＷ［ｉ，ｊ］に「ｃ」を設定する。
図１０は、色指標を説明するための図であり、特に、図１０（ａ）は、色指標と色分類指標との関係を示す。
以上説明したようにして、「色判定処理」が完了すると、画像処理部１１は、図６に示す「類似性判定処理」を行う（図３Ｓ３）。
《類似性判定処理》
ここで、図６を参照して、「類似性判定処理」の説明を行う。
「類似性判定処理」では、緑色成分が欠落する画素における類似性を異色間類似度（異なる色成分を示す色情報から成る類似度）と同色間類似度（同じ色成分を示す色情報から成る類似度）を用いて判定する。なお、異色間類似度は、「色判定用画像生成処理」で算出されたものであり、同色間類似度は、ここで新たに式を用いて定義されるものである。異色間類似度は色成分を無視して構成され、同色間類似度は色成分を考慮して構成されるため、両者を色指標もしくは色分類指標に応じて使い分けるのが良い。実験的に無彩色部や完全無彩色部に属する画素における縦横類似性の判定には、異色間類似度が適しており、淡い彩色部や彩色部に属する画素における縦横類似性の判定には、同色間類似度が適していることが判明した。
そこで、第１の実施形態では、無彩色部や完全無彩色部に属する画素における縦横類似性の判定として、「色判定用画像生成処理」で行われた縦横類似性の判定結果をそのまま用いる例を示す。
まず、画像処理部１１は、緑色成分が欠落する画素に対して「色判定処理」の結果を判定する（図６Ｓ１）。
そして、画像処理部１１は、緑色成分が欠落する画素のうち、「色判定処理」の結果として、淡い彩色部または彩色部に分類された画素（色分類指標に「ｂ」または「ｃ」が設定された画素）に対しては、縦方向および横方向に対する同色間類似度（同一の色成分の色情報から成る類似度成分を１つ以上用いて構成される類似度）を算出し（図６Ｓ２）、その同色間類似度を用いて縦横類似性を判定し直す（図６Ｓ３）。
すなわち、画像処理部１１は、淡い彩色部または彩色部に分類された画素に対し、以下に示す式２０ないし式２４によって定義される値を算出する。
ＧＧ間類似度成分
Ｃｖｓ１［ｉ，ｊ］＝｜Ｇ［ｉ，ｊ−１］−Ｇ［ｉ，ｊ＋１］｜ …式２０
Ｃｈｓ１［ｉ，ｊ］＝｜Ｇ［ｉ−１，ｊ］−Ｇ［ｉ＋１，ｊ］｜ …式２１
ＢＢ（ＲＲ）間類似度成分
Ｃｖｓ２［ｉ，ｊ］＝（｜Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ−１，ｊ＋１］｜＋｜Ｚ［ｉ＋１，ｊ−１］−Ｚ［ｉ＋１，ｊ＋１］｜）／２ …式２２
Ｃｈｓ２［ｉ，ｊ］＝（｜Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ＋１，ｊ−１］｜＋｜Ｚ［ｉ−１，ｊ＋１］−Ｚ［ｉ＋１，ｊ＋１］｜）／２ …式２３
なお、図２（ａ）のように座標［ｉ，ｊ］に赤色成分の色情報が存在する場合、式２０および式２１は、図１１（ａ）に示す色成分の色情報を用いて算出されることになり、式２２および式２３は、図１１（ｂ）に示す色成分の色情報を用いて算出されることになる。
また、Ｃｖｓ２［ｉ，ｊ］およびＣｈｓ２［ｉ，ｊ］は、以下のように算出しても良い。
ＲＲ（ＢＢ）間類似度成分
Ｃｖ２［ｉ，ｊ］＝（｜Ｚ［ｉ，ｊ−２］−Ｚ［ｉ，ｊ］｜＋｜Ｚ［ｉ，ｊ＋２］−Ｚ［ｉ，ｊ］｜）／２ …式２２’
Ｃｈ２［ｉ，ｊ］＝（｜Ｚ［ｉ−２，ｊ］−Ｚ［ｉ，ｊ］｜＋｜Ｚ［ｉ＋２，ｊ］−Ｚ［ｉ，ｊ］｜）／２ …式２３’
Ｃｖ２［ｉ，ｊ］＝｜−Ｚ［ｉ，ｊ−２］＋２・Ｚ［ｉ，ｊ］−Ｚ［ｉ，ｊ＋２］｜／２ …式２２’’
Ｃｈ２［ｉ，ｊ］＝｜−Ｚ［ｉ−２，ｊ］＋２・Ｚ［ｉ，ｊ］−Ｚ［ｉ＋２，ｊ］｜／２ …式２３’’
図２（ａ）のように座標［ｉ，ｊ］に赤色成分の色情報が存在する場合、式２２’、式２３’および式２２’’、式２３’’は、図１１（ｃ）に示す色成分の色情報を用いて算出されることになる。
次に、画像処理部１１は、以下に示す式２４および式２５によって定義される値を算出する。すなわち、画像処理部１１は、式２０および式２２（または、式２２’、式２２’’）によって算出された値を加重加算し、かつ、式２１および式２３（または、式２３’、式２３’’）によって算出された値を加重加算する。
Ｃｖｓ０［ｉ，ｊ］＝（Ｃｖｓ１＋Ｃｖｓ２）／２ …式２４
Ｃｈｓ０［ｉ，ｊ］＝（Ｃｈｓ１＋Ｃｈｓ２）／２ …式２５
なお、式２４および式２５では、加重加算の比率を「１：１」としているが、このような比率は、如何なる比率であっても良い。
式２０ないし式２５によって算出される値は、そのまま、「緑色成分が欠落し、かつ、淡い彩色部または彩色部に分類された画素」の縦方向に対する同色間類似度，横方向に対する同色間類似度とすることができるが、ここでは、周辺加算を行って縦方向に対する同色間類似度，横方向に対する同色間類似度を算出する例を示す。
すなわち、画像処理部１１は、式２０ないし式２５に基づき、座標［ｉ，ｊ］，［ｉ−１，ｊ−１］，［ｉ＋１，ｊ−１］，［ｉ−１，ｊ＋１］，［ｉ＋１，ｊ＋１］，［ｉ，ｊ−２］，［ｉ，ｊ＋２］，［ｉ−２，ｊ］，［ｉ＋２，ｊ］に位置する画素に対して演算を行い、その演算によって得られた値に対して、以下に示す式２６および式２７に相当する周辺加算を行って、縦方向に対する同色間類似度Ｃｖｓ［ｉ，ｊ］、横方向に対する同色間類似度Ｃｂｓ［ｉ，ｊ］を算出する。式２６および式２７は、図１１（ｄ）に示すようにして周辺加算を行うことに相当する。なお、周辺加算の方式は、ここに示した例に限られるものではない。
Ｃｖｓ［ｉ，ｊ］＝（４・Ｃｖｓ０［ｉ，ｊ］＋２・（Ｃｖｓ０［ｉ−１，ｊ−１］＋Ｃｖｓ０［ｉ＋１，ｊ−１］＋Ｃｖｓ０［ｉ−１，ｊ＋１］＋Ｃｖｓ０［ｉ＋１，ｊ＋１］）＋Ｃｖｓ０［ｉ，ｊ−２］＋Ｃｖｓ０［ｉ，ｊ＋２］＋Ｃｖｓ０［ｉ−２，ｊ］＋Ｃｖｓ０［ｉ＋２，ｊ］）／１６ …式２６
Ｃｈｓ［ｉ，ｊ］＝（４・Ｃｈｓ０［ｉ，ｊ］＋２・（Ｃｈｓ０［ｉ−１，ｊ−１］＋Ｃｈｓ０［ｉ＋１，ｊ−１］＋Ｃｈｓ０［ｉ−１，ｊ＋１］＋Ｃｈｓ０［ｉ＋１，ｊ＋１］）＋Ｃｈｓ０［ｉ，ｊ−２］＋Ｃｈｓ０［ｉ，ｊ＋２］＋Ｃｈｓ０［ｉ−２，ｊ］＋Ｃｈｓ０［ｉ＋２，ｊ］）／１６ …式２７
ただし、式２６および式２７によって算出される各々の類似度は、値が小さい程、類似性が強いことを示す。
なお、図２（ａ）のように座標［ｉ，ｊ］に赤色成分の色情報が存在する場合、式２６および式２７は、図１１（ｅ）および図１１（ｆ）に示す色成分の色情報を用いて算出されることになる。
したがって、周辺加算後に得られる類似度には、緑色成分の色情報のみから成る類似度成分と、青色成分の色情報のみから成る類似度成分と、赤色成分の色情報のみから成る類似度成分とが含まれる。すなわち、周辺加算によって、複数の色成分を考慮し、かつ、周辺の画素との連続性を考慮しつつ類似度が算出されるため、類似度の精度が高められる。
次に、画像処理部１１は、縦方向に対する同色間類似度Ｃｖｓ［ｉ，ｊ］、横方向に対する同色間類似度Ｃｈｓ［ｉ，ｊ］に基づき、「緑色成分が欠落し、かつ、淡い彩色部または彩色部に分類された画素」における縦横類似性を判定し直し、縦横方向類似性を示す指標ＨＶ［ｉ，ｊ］を再設定する。
例えば、画像処理部１１は、任意の閾値Ｔｈ０について、
｜Ｃｖｓ［ｉ，ｊ］−Ｃｈｓ［ｉ，ｊ］｜≦Ｔｈ０ …条件２０
が成り立つ場合、「縦方向および横方向に類似性が強い、または弱い」と判定して指標ＨＶ［ｉ，ｊ］に「０」を設定する。また、画像処理部１１は、条件２０が成り立たず、かつ、
Ｃｖｓ［ｉ，ｊ］＜Ｃｈｓ［ｉ，ｊ］ …条件２１
が成り立つ場合、「縦方向に類似性が強い」と判定して指標ＨＶ［ｉ，ｊ］に「１」を設定する。さらに、画像処理部１１は、条件２０および条件２１が成り立たない場合、「横方向に類似性が強い」と判定して指標ＨＶ［ｉ，ｊ］に「−１」を設定する。
以上説明したような処理が完了した状態では、「緑色成分が欠落し、かつ、淡い彩色部または彩色部に分類された画素」に対する指標ＨＶ［ｉ，ｊ］には、同色間類似度に応じた値が設定され、「緑色成分が欠落し、かつ、無彩色部または完全無彩色部に分類された画素」に対する指標ＨＶ［ｉ，ｊ］には、異色間類似度に応じた値が設定されていることになる。
すなわち、指標ＨＶ［ｉ，ｊ］を算出する際に用いる類似度は、図１０（ｂ）のように、色指標Ｃｄｉｆｆ［ｉ，ｊ］や色分類指標ＢＷ［ｉ，ｊ］の値に応じて、異色間類似度と同色間類似度との何れか一方に切り換えられることになる。
なお、指標ＨＶ［ｉ，ｊ］を算出する際に用いる類似度は、異色間類似度と同色間類似度との何れか一方に限らない。例えば、図６に示す「類似性判定処理」に代えて、図１２に示す「類似性判定処理」を行い、異色間類似度と同色間類似度とを加重加算して得られる類似度を用いて、縦横類似性を判定しても良い。
図１２では、「色判定処理」の結果が判定される前に、縦方向・横方向に対する同色間類似度が算出される（図１２Ｓ１）。そして、「色判定処理」の結果として、無彩色部または完全無彩色部に分類された画素に対しては、図４Ｓ１で算出されている異色間類似度の加重比率を上げて、異色間類似度と同色間類似度とが加重加算されて類似度が算出される（図１２Ｓ３）。一方、淡い彩色部または彩色部に分類された画素に対しては、異色間類似度の加重比率を上げて異色間類似度と同色間類似度とが加重加算されて類似度が算出される（図１２Ｓ４）。このようにして算出された類似度を用いて縦横類似性の判定が行われる（図１２Ｓ５）。
ただし、異色間類似度と同色間類似度との加重係数の比率を、図１２Ｓ３において「１：０」とし、図１２４において「０：１」とした場合、縦横類似性の判定結果は、図６に示す「類似性判定処理」と完全に一致することになる。
次に、画像処理部１１は、緑色成分が欠落する画素における斜め４５度および斜め１３５度に対する類似度（異色間類似度と同色間類似度とから成る類似度）を算出する（図６Ｓ４）。
例えば、画像処理部１１は、これらの類似度を算出する過程で、以下に示す式３０ないし式３５によって定義される値を算出する。
ＲＢ（ＢＲ）間類似度成分
Ｃ４５＿１［ｉ，ｊ］＝（｜Ｚ［ｉ＋１，ｊ−１］−Ｚ［ｉ，ｊ］｜＋｜Ｚ［ｉ−１，ｊ＋１］−Ｚ［ｉ，ｊ］｜）／２ …式３０
Ｃ１３５＿１［ｉ，ｊ］＝（｜Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ，ｊ］｜＋｜Ｚ［ｉ＋１，ｊ＋１］−Ｚ［ｉ，ｊ］｜）／２ …式３１
ＧＧ間類似度成分
Ｃ４５＿２［ｉ，ｊ］＝（｜Ｇ［ｉ，ｊ−１］−Ｇ［ｉ−１，ｊ］｜＋｜Ｇ［ｉ＋１，ｊ］−Ｇ［ｉ，ｊ＋１］｜）／２ …式３２
Ｃ１３５＿２［ｉ，ｊ］＝（｜Ｇ［ｉ，ｊ−１］−Ｇ［ｉ＋１，ｊ］｜＋｜Ｇ［ｉ−１，ｊ］−Ｇ［ｉ，ｊ＋１］｜）／２ …式３３
ＢＢ（ＲＲ）間類似度成分
Ｃ４５＿３［ｉ，ｊ］＝｜Ｚ［ｉ＋１，ｊ−１］−Ｚ［ｉ−１，ｊ＋１］｜
…式３４
Ｃ１３５＿３［ｉ，ｊ］＝（｜Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ＋１，ｊ＋１］｜ …式３５
なお、図２（ａ）のように座標［ｉ，ｊ］に赤色成分の色情報が存在する場合、式３０および式３１は、図１３（ａ）に示す色成分の色情報を用いて算出されることになり、式３２および式３３は、図１３（ｂ）に示す色成分の色情報を用いて算出されることになり、式３４および式３５は、図１３（ｃ）に示す色成分の色情報を用いて算出されることになる。
また、Ｃ４５＿３［ｉ，ｊ］およびＣ１３５＿３［ｉ，ｊ］は、以下のように算出しても良い。
ＲＲ（ＢＢ）間類似度成分
Ｃ４５＿３［ｉ，ｊ］＝（｜Ｚ［ｉ−２，ｊ−２］−Ｚ［ｉ，ｊ］｜＋｜Ｚ［ｉ＋２，ｊ＋２］−Ｚ［ｉ，ｊ］｜）／２ …式３４’
Ｃ１３５＿３［ｉ，ｊ］＝（｜Ｚ［ｉ−２，ｊ−２］−Ｚ［ｉ，ｊ］｜＋｜Ｚ［ｉ＋２，ｊ＋２］−Ｚ［ｉ，ｊ］｜）／２ …式３５’
Ｃ４５＿３［ｉ，ｊ］＝｜−Ｚ［ｉ−２，ｊ−２］＋２・Ｚ［ｉ，ｊ］−Ｚ［ｉ＋２，ｊ＋２］｜／２ …式３４’’
Ｃ１３５＿３［ｉ，ｊ］＝｜−Ｚ［ｉ−２，ｊ−２］＋２・Ｚ［ｉ，ｊ］−Ｚ［ｉ＋２，ｊ＋２］｜／２ …式３５’’
図２（ａ）のように座標［ｉ，ｊ］に赤色成分の色情報が存在する場合、式３４’、式３５’および式３４’’、式３５’’は、図１３（ｄ）に示す色成分の色情報を用いて算出されることになる。
次に、画像処理部１１は、以下に示す式３６および式３７によって定義される値を算出する。すなわち、画像処理部１１は、式３０、式３２、式３４（または、式３４’、式３４’’）によって算出された値を加重加算し、かつ、式３１、式３３、式３５（または、式３５’、式３５’’）によって算出された値を加重加算する。
Ｃ４５＿０［ｉ，ｊ］＝（Ｂ１・Ｃ４５＿１＋Ｂ２・Ｃ４５＿２＋Ｂ３・Ｃ４５＿３）／（Ｂ１＋Ｂ２＋Ｂ３） …式３６
Ｃ１３５＿０［ｉ，ｊ］＝（Ｂ１・Ｃ１３５＿１＋Ｂ２・Ｃ１３５＿２＋Ｂ３・Ｃ１３５＿３）／（Ｂ１＋Ｂ２＋Ｂ３） …式３７
なお、式３６および式３７では、加重加算の比率は、例えば、「Ｂ１：Ｂ２：Ｂ３＝２：２：１」程度にとると良い。
式３０ないし式３７によって算出される値は、そのまま、緑色成分が欠落する画素の斜め４５度の類似度および斜め１３５度の類似度とすることができるが、ここでは、周辺加算を行って斜め４５度の類似度および斜め１３５度の類似度を算出する例を示す。
すなわち、画像処理部１１は、式３０ないし式３７に基づき、座標［ｉ，ｊ］，［ｉ−１，ｊ−１］，［ｉ＋１，ｊ−１］，［ｉ−１，ｊ＋１］，［ｉ＋１，ｊ＋１］，［ｉ，ｊ−２］，［ｉ，ｊ＋２］，［ｉ−２，ｊ］，［ｉ＋２，ｊ］に位置する画素に対して演算を行い、その演算によって得られた値に対して、以下に示す式３８および式３９に相当する周辺加算を行って、斜め４５度に対する類似度Ｃ４５［ｉ，ｊ］、斜め１３５度に対する類似度Ｃ１３５［ｉ，ｊ］を算出する。式３８および式３９は、図１３（ｅ）に示すようにして周辺加算を行うことに相当する。なお、周辺加算の方式は、ここに示した例に限られるものではない。
Ｃ４５［ｉ，ｊ］＝（４・Ｃ４５＿０［ｉ，ｊ］＋２・（Ｃ４５＿０［ｉ−１，ｊ−１］＋Ｃ４５＿０［ｉ＋１，ｊ−１］＋Ｃ４５＿０［ｉ−１，ｊ＋１］＋Ｃ４５＿０［ｉ＋１，ｊ＋１］）＋Ｃ４５＿０［ｉ，ｊ−２］＋Ｃ４５＿０［ｉ，ｊ＋２］＋Ｃ４５＿０［ｉ−２，ｊ］＋Ｃ４５＿０［ｉ＋２，ｊ］）／１６ …式３８
Ｃ１３５［ｉ，ｊ］＝（４・Ｃ１３５＿０［ｉ，ｊ］＋２・（Ｃ１３５＿０［ｉ−１，ｊ−１］＋Ｃ１３５＿０［ｉ＋１，ｊ−１］＋Ｃ１３５＿０［ｉ−１，ｊ＋１］＋Ｃ１３５＿０［ｉ＋１，ｊ＋１］）＋Ｃ１３５＿０［ｉ，ｊ−２］＋Ｃ１３５＿０［ｉ，ｊ＋２］＋Ｃ１３５＿０［ｉ−２，ｊ］＋Ｃ１３５＿０［ｉ＋２，ｊ］）／１６ …式３９
ただし、式３８および式３９によって算出される各々の類似度は、値が小さい程、類似性が強いことを示す。
なお、図２（ａ）のように座標［ｉ，ｊ］に赤色成分の色情報が存在する場合、式３８および式３９は、図１３（ｆ）および図１３（ｇ）に示す色成分の色情報を用いて算出されることになる。
したがって、周辺加算後に得られる類似度には、青色成分の色情報と赤色成分の色情報とから成る類似度成分と、緑色成分の色情報のみから成る類似度成分と、青色成分の色情報のみから成る類似度成分と、赤色成分の色情報のみから成る類似度成分とが含まれる。すなわち、周辺加算によれば、複数の色成分を考慮し、かつ、周辺の画素との連続性を考慮しつつ類似度が算出されるため、類似度の精度が高められる。
次に、画像処理部１１は、斜め４５度に対する類似度Ｃ４５［ｉ，ｊ］、斜め１３５度に対する類似度Ｃ１３５［ｉ，ｊ］に基づき、緑色成分が欠落する画素における斜め方向に対する類似性（以下、「斜め類似性」と称する。）を判定する（図６Ｓ５）。そして、画像処理部１１は、このような判定結果として、斜め方向類似性を示す指標ＤＮ［ｉ，ｊ］に以下のような値を設定する。
例えば、画像処理部１１は、任意の閾値Ｔｈ２について、
｜Ｃ４５［ｉ，ｊ］−Ｃ１３５［ｉ，ｊ］｜≦Ｔｈ２ …条件３０
が成り立つ場合、「斜め４５度方向および斜め１３５度方向に類似性が強い、または弱い」と判定して指標ＤＮ［ｉ，ｊ］に「０」を設定する。また、画像処理部１１は、条件３０が成り立たず、かつ、
Ｃ４５［ｉ，ｊ］＜Ｃ１３５［ｉ，ｊ］ …条件３１
が成り立つ場合、「斜め４５度方向に類似性が強い」と判定して指標ＤＮ［ｉ，ｊ］に「１」を設定する。さらに、画像処理部１１は、条件３０および条件３１が成り立たない場合、「斜め１３５度方向に類似性が強い」と判定して指標ＤＮ「ｉ，ｊ］に「−１］を設定する。
なお、第１の実施形態では、異色間類似度と同色間類似度とを加重加算して斜め類似性を判定する例を示したが、斜め類似性の判定は、縦横類似性の判定と同様に、異色間類似度と同色間類似度とを切り換えることによって行っても良い。
以上説明したように「類似性判定処理」が完了すると、画像処理部１１は、図７に示す「補間値算出処理」を行う（図３Ｓ４）。
《補間値算出処理》
ここで、図７を参照して、「補間値算出処理」の説明を行う。
まず、画像処理部１１は、縦横類似性と斜め類似性とに応じて、Ｇ補間値（緑色成分の補間値）を算出する（図７Ｓ１）。すなわち、画像処理部１１は、上述したように設定された縦横類似性を示す指標ＨＶ［ｉ，ｊ］と斜め類似性を示す指標ＤＮ［ｉ，ｊ］とに応じて、Ｇ補間値を算出する。
なお、Ｇ補間値の算出は、従来の技術と同様に行っても良いが、このようなＧ補間値の算出では、色差が一定と仮定できない場合や色収差が存在する場合、緑色成分の平均項が他の色成分（補間対象画素と同じ色成分）の項によって過剰に補正される現象（以下、「過補正」と称する）が発生する。そこで、第１の実施形態では、このような過補正を抑えつつ、Ｇ補間値を算出する例を示す。
まず、画像処理部１１は、縦横類似性を示す指標ＨＶ［ｉ，ｊ］と斜め類似性を示す指標ＤＮ［ｉ，ｊ］とが如何なる値であるかを判定し、補間対象画素の類似性の強さを、以下に示すｃａｓｅ１〜ｃａｓｅ９の何れかに分類する。
ｃａｓｅ１：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（１，１）：縦および斜め４５度方向の類似性が強い。
ｃａｓｅ２：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（１，０）：縦方向の類似性が強い。
ｃａｓｅ３：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（１，−１）：縦および斜め１３５度方向の類似性が強い。
ｃａｓｅ４：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（０，１）：斜め４５度方向の類似性が強い。
ｃａｓｅ５：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（０，０）：全ての方向の類似性が強い、または、全ての方向の類似性が弱い（類似性の強い方向が不明である）。
ｃａｓｅ６：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（０，−１）：斜め１３５度方向の類似性が強い。
ｃａｓｅ７：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（−１，１）：横および斜め４５度方向の類似性が強い。
ｃａｓｅ８：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（−１，０）：横方向の類似性が強い。
ｃａｓｅ９：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（−１，−１）：横および斜め１３５度方向の類似性が強い。
図１４は、（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）の値に対応する類似性の強い方向を示す図である。
次に、画像処理部１１は、上述した判定結果に応じて、以下のようにしてＧ補間値Ｇ［ｉ，ｊ］を算出する。
ｃａｓｅ１のとき：Ｇ［ｉ，ｊ］＝Ｇｖ４５ …式４０
ｃａｓｅ２のとき：Ｇ［ｉ，ｊ］＝Ｇｖ …式４１
ｃａｓｅ３のとき：Ｇ［ｉ，ｊ］＝Ｇｖ１３５ …式４２
ｃａｓｅ４のとき：Ｇ［ｉ，ｊ］＝（Ｇｖ４５＋Ｇｈ４５）／２ …式４３
ｃａｓｅ５のとき：Ｇ［ｉ，ｊ］＝（Ｇｖ＋Ｇｈ）／２ …式４４
ｃａｓｅ６のとき：Ｇ［ｉ，ｊ］＝（Ｇｖ１３５＋Ｇｈ１３５）／２…式４５
ｃａｓｅ７のとき：Ｇ［ｉ，ｊ］＝Ｇｈ４５ …式４６
ｃａｓｅ８のとき：Ｇ［ｉ，ｊ］＝Ｇｈ …式４７
ｃａｓｅ９のとき：Ｇ［ｉ，ｊ］＝Ｇｈ１３５ …式４８
ただし、
Ｇｖ＝（Ｇ［ｉ，ｊ−１］＋Ｇ［ｉ，ｊ＋１］）／２＋（２・Ｚ［ｉ，ｊ］−Ｚ［ｉ，ｊ−２］−Ｚ［ｉ，ｊ＋２］）／８＋（２・Ｇ［ｉ−１，ｊ］−Ｇ［ｉ−１，ｊ−２］−Ｇ［ｉ−１，ｊ＋２］＋２・Ｇ［ｉ＋１，ｊ］−Ｇ［ｉ＋１，ｊ−２］−Ｇ［ｉ＋１，ｊ＋２］）／１６ …式５０
Ｇｖ４５＝（Ｇ［ｉ，ｊ−１］＋Ｇ［ｉ，ｊ＋１］）／２＋（２・Ｚ［ｉ，ｊ］−Ｚ［ｉ，ｊ−２］−Ｚ［ｉ，ｊ＋２］）／８＋（２・Ｚ［ｉ−１，ｊ＋１］−Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ−１，ｊ＋３］＋２・Ｚ［ｉ＋１，ｊ−１］−Ｚ［ｉ＋１，ｊ−３］−Ｚ［ｉ＋１，ｊ＋１］）／１６ …式５１
Ｇｖ１３５＝（Ｇ［ｉ，ｊ−１］＋Ｇ［ｉ，ｊ＋１］）／２＋（２・Ｚ［ｉ，ｊ］−Ｚ［ｉ，ｊ−２］−Ｚ［ｉ，ｊ＋２］）／８＋（２・Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ−１，ｊ−３］−Ｚ［ｉ−１，ｊ＋１］＋２・Ｚ［ｉ＋１，ｊ＋１］−Ｚ［ｉ＋１，ｊ−１］−Ｚ［ｉ＋１，ｊ＋３］）／１６ …式５２
Ｇｈ＝（Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／２＋（２・Ｚ［ｉ，ｊ］−Ｚ［ｉ−２，ｊ］−Ｚ［ｉ＋２，ｊ］）／８＋（２・Ｇ［ｉ，ｊ−１］−Ｇ［ｉ−２，ｊ−１］−Ｇ［ｉ＋２，ｊ−１］＋２・Ｇ［ｉ，ｊ＋１］−Ｇ［ｉ−２，ｊ＋１］−Ｇ［ｉ＋２，ｊ＋１］）／１６ …式５３
Ｇｈ４５＝（Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／２＋（２・Ｚ［ｉ，ｊ］−Ｚ［ｉ−２，ｊ］−Ｚ［ｉ＋２，ｊ］）／８＋（２・Ｚ［ｉ＋１，ｊ−１］−Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ＋３，ｊ−１］＋２・Ｚ［ｉ−１，ｊ＋１］−Ｚ［ｉ−３，ｊ＋１］−Ｚ［ｉ＋１，ｊ＋１］）／１６ …式５４
Ｇｈ１３５＝（Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／２＋（２・Ｚ［ｉ，ｊ］−Ｚ［ｉ−２，ｊ］−Ｚ［ｉ＋２，ｊ］）／８＋（２・Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ−３，ｊ−１］−Ｚ［ｉ＋１，ｊ−１］＋２・Ｚ［ｉ＋１，ｊ＋１］−Ｚ［ｉ−１，ｊ＋１］−Ｚ［ｉ＋３，ｊ＋１］）／１６ …式５５
なお、式５０〜式５５に示す演算は、緑色成分の平均値（各々の式の第１項に相当する）を、２次微分で構成される補正項（各々の式の第２項，第３項に相当する）で補正していることを意味する。
以上説明したようにしてＧ補間値を算出すると、画像処理部１１は、Ｒ補間値（赤色成分の補間値）およびＢ補間値（青色成分の補間値）を算出する。
まず、画像処理部１１は、赤色成分の色情報または青色成分の色情報が存在する画素に対し、縦横類似性の判定結果に応じて各々の色成分に対応する色差を生成し、かつ、赤色成分の色情報または青色成分の色情報が存在しない画素に対して、各々の色成分に対応する色差を補間する（図７Ｓ２）。
なお、画像処理部１１は、「色判定用画像生成処理」と同様に、画像の周期的な構造で発生する色モアレによる偽色を低減するため、色差の補間値の算出と共に、画素の色差に対してローパスフィルタを掛ける処理も合わせて行う。
このような色差の生成および補間については、図４Ｓ３の色判定用画像の生成（式５〜式８）と同様に行えるため、ここでは、詳細な説明は省略する。ただし、色判定用画像の生成時には、異色間類似度に応じて設定された指標ＨＶ［ｉ，ｊ］を用いて色差が生成されるが、ここでは、「色判定処理」によって淡い彩色部や彩色部に分類された画素の色差は、同色間類似度に応じて再設定された指標ＨＶ［ｉ，ｊ］を用いて生成されることになる。
また、ここで生成または補間される色差を、色判定用画像が記憶された記憶領域に記憶することによって、補間処理を行う過程で利用する記憶領域を削減することが可能である。ただし、このようにして記憶領域を削減する場合には、「補間値算出処理」の前処理として、色判定用画像が記憶された記憶領域の初期化を行う必要がある。
次に、画像処理部１１は、色差と緑色成分の色情報（Ｇ補間値を含む）とを用い、以下に示す式６０および式６１を演算してＲ補間値およびＢ補間値を算出する（図７Ｓ３）。初めから存在する赤色成分の色情報または青色成分の色情報をそのまま利用する場合、赤色成分の色情報や青色成分の色情報が欠落する画素に対して式６０や式６１の演算を行えば良いが、第１の実施形態では、画像の周期的な構造で発生する色モアレによる偽色を低減するために色差信号を補正しているので、全ての画素に対して式６０および式６１の演算を行う必要がある。
Ｒ［ｉ，ｊ］＝Ｃｒ［ｉ，ｊ］＋Ｇ［ｉ，ｊ］ …式６０
Ｂ［ｉ，ｊ］＝Ｃｂ［ｉ，ｊ］＋Ｇ［ｉ，ｊ］ …式６１
以上説明したように、第１の実施形態では、信頼性の高い色指標を算出することができ、その色指標を類似性の判定に用いることにより、従来の技術では実現が難しかった「微細構造の復元と、偽構造や偽色などの瑕疵の抑制とを両立した補間処理」を実現することができる。
なお、第１の実施形態では、ＲＧＢ表色系とは異なる表色系の色成分（Ｃｒ成分、Ｃｂ成分）で構成される画像を、色判定用画像として生成しているが、色判定用画像は、従来の補間処理や式６０、式６１によって算出されるＲ，Ｇ，Ｂの３つの色成分で構成される画像としても良い。ただし、Ｒ，Ｇ，Ｂの３つの色成分で構成される画像を色判定用画像とする場合、式１０に代えて、以下に示す式１０’を演算する必要がある。
Ｃｄｉｆｆ０［ｉ，ｊ］＝（｜Ｒ［ｉ，ｊ］−Ｇ［ｉ，ｊ］｜＋｜Ｂ［ｉ，ｊ］−Ｇ［ｉ，ｊ］｜＋｜Ｒ［ｉ，ｊ］−Ｂ［ｉ，ｊ］｜）／３ …式１０’
すなわち、式１０’では、｜Ｒ［ｉ，ｊ］−Ｇ［ｉ，ｊ］｜や｜Ｂ［ｉ，ｊ］−Ｇ［ｉ，ｊ］｜や｜Ｒ［ｉ，ｊ］−Ｂ［ｉ，ｊ］｜を算出することによって、同一画素における異なる色成分間の色相を用いて色指標が導出されることになる。
−第２の実施形態−
以下、第２の実施形態を説明する。
ただし、第２の実施形態と第１の実施形態とでは、画像処理部１１が行う「補間値算出処理」は異なるが、他の処理は同一であるため、以下では、「補間値算出処理」の説明のみを行い、他の処理の説明は省略する。ただし、ここで使う「補間値算出処理」とは、補間値の算出後のフィルタリングなどの画像処理も含めた意味で述べている。
図１５は、第２の実施形態における画像処理部１１の動作フローチャートであり、特に、「補間値算出処理」を示す。
ところで、第１の実施形態やその他どんな補間処理を行っても、撮像素子におけるカラーフィルタ配列のサンプリングに起因する偽色は、必然的に発生する。通常、このような偽色を低減する対策としては、色差や、画像データをＬａｂ表色系に変換して得られるａ，ｂ面などの色相に対して、５×５程度の広域のメディアンフィルタを掛ける方法が行われている。しかし、画像全面に対して広域のメディアンフィルタを掛けると、彩色部における微細な色構造を破壊してしまう悪影響も同時に発生する。
そこで、第２の実施形態の「補間値算出処理」では、必要なところのみに、適応的に広域のメディアンフィルタを掛ける処理を示す。
ここで、まず、「無彩色部メディアン」および「輝点周辺メディアン」の説明を行う。
《無彩色部メディアン》
一般に、色相にメディアンフィルタを掛けることは、近接して現れ、かつ、相互に補色関係にある偽色の色相を中央値で置き換えることによって無彩色化することに相当し、偽色を低減することができる。したがって、無彩色に近い領域で生じた偽色に対して無彩色化を行っても何の悪影響も生じない。
例えば、偽色を取り除くのに有効な色相に掛けるメディアンフィルタとして、５×５程度の広域のメディアンフィルタが考えられるが、このような広域のメディアンフィルタによる悪影響は、第１の実施形態の「色判定処理」によって色分類指標ＢＷに「ｃ」が設定された領域（彩色部）で生じることが実験的に判明した。そこで、色指標に応じて無彩色に近い領域にメディアンフィルタを適応的に掛ける方法が優れている。
以下では、彩色部以外の領域において、色相に広域のメディアンフィルタを掛けることを「無彩色部メディアン」と称する。
《輝点周辺メディアン》
通常問題になる偽色のうち、上述した「無彩色部メディアン」だけでは除去しきれない偽色として、明るく孤立した白点の周辺部（以下、輝点周辺部と称する）などに残る偽色がある。このような偽色の低減も、色相に広域のメディアンフィルタを掛けることによって可能である。
そこで、第２の実施形態では、上述した彩色部以外の領域だけでなく、輝点周辺部についても、色相に広域のメディアンフィルタを掛ける処理を示す。輝点周辺部の検出は、「無彩色部メディアン」の色指標とは、独立に、輝度を指標とする輝度指標を用いて行う。
なお、以下では、輝点周辺部において、色相に広域のメディアンフィルタを掛けることを「輝点周辺メディアン」と称する。ただし、輝点周辺部の検出には、輝点周辺部が以下のような特徴を持つことを利用する。
・周辺に輝度値の高い点が１画素でも存在する。
・画像の構造に伴う輝度の変動が、他の部分に比べ、はるかに大きい。
《補間値算出処理》
以下、図１５を参照して、第２の実施形態の「補間値算出処理」の動作の説明を行う。
まず、画像処理部１１は、第１の実施形態の図７Ｓ１と同様に、縦横類似性と斜め類似性とに応じて、Ｇ補間値を算出する（図１５Ｓ１）。
また、画像処理部１１は、第１の実施形態の図７Ｓ２と同様に、赤色成分の色情報または青色成分の色情報が存在する画素に対して、各々の色成分に対応する色差を縦横類似性の判定結果に応じて生成し、かつ、赤色成分の色情報または青色成分の色情報が存在しない画素に対して、各々の色成分に対応する色差を補間する（図１５Ｓ２）。ただし、第１の実施形態の例では、色差に対するローパス処理も行われている。
次に、画像処理部１１は、色差と緑色成分の色情報とを用いて、輝度値を算出する（図１５Ｓ３）。
例えば、画像処理部１１は、以下に示す式７０を演算して輝度値Ｙ［ｉ，ｊ］を算出する。
Ｙ［ｉ，ｊ］＝（Ｃｒ［ｉ，ｊ］｜＋４・Ｇ［ｉ，ｊ］＋Ｃｂ［ｉ，ｊ］）／４ …式７０
なお、式７０は、輝度値をＲ：Ｇ：Ｂ＝１：２：１のような比で算出することに相当する。
次に、画像処理部１１は、輝点周辺部の検出処理を削減するため、追加的にメディアンフィルタ処理が必要な「色判定処理」によって彩色部に分類された画素（色分類指標ＢＷに「ｃ」が設定された画素）に対してのみ、輝度値を用いて「輝度指標」を算出し、その「輝度指標」に基づき輝度解析を行う（図１５Ｓ４）。
なお、輝度指標として、各画素の局所領域内に位置する複数の画素の輝度値の最大値ｍａｘと、その複数の画素の輝度値の局所的な分散値ｖａｒとを用い、輝度解析の結果を色分類指標ＢＷ［ｉ，ｊ］に設定する例を示す。
まず、画像処理部１１は、以下に示す条件４０が成り立つ画素に対し、以下に示す式７１ないし式７３の演算を行って、輝度指標ｍａｘ，ｖａｒを算出する。
ＢＷ［ｉ，ｊ］＝’ｃ’ …条件４０
ｍａｘ＝Ｍａｘ＿ｏｆ｛Ｙ［ｉ，ｊ］，Ｙ［ｉ，ｊ−１］，Ｙ［ｉ，ｊ＋１］，Ｙ［ｉ−１，ｊ］，Ｙ［ｉ＋１，ｊ］，Ｙ［ｉ−１，ｊ−１］，Ｙ［ｉ＋１，ｊ−１］，Ｙ［ｉ−１，ｊ＋１］，Ｙ［ｉ＋１，ｊ＋１］｝ …式７１
ただし、Ｍａｘ＿ｏｆ｛｝は、複数の輝度値の最大値を算出する関数を示す。
ａｖｅ＝（Ｙ［ｉ，ｊ］＋Ｙ［ｉ，ｊ−１］＋Ｙ［ｉ，ｊ＋１］＋Ｙ［ｉ−１，ｊ］＋Ｙ［ｉ＋１，ｊ］＋Ｙ［ｉ−１，ｊ−１］＋Ｙ［ｉ＋１，ｊ−１］＋Ｙ［ｉ−１，ｊ＋１］＋Ｙ［ｉ＋１，ｊ＋１］）／９ …式７２
ｖａｒ＝（（Ｙ［ｉ，ｊ−１］−ａｖｅ）^２＋（Ｙ［ｉ，ｊ＋１］−ａｖｅ）^２＋（Ｙ［ｉ−１，ｊ］−ａｖｅ）^２＋（Ｙ［ｉ＋１，ｊ］−ａｖｅ）^２＋（Ｙ［ｉ−１，ｊ−１］−ａｖｅ）^２＋（Ｙ［ｉ＋１，ｊ−１］−ａｖｅ）^２＋（Ｙ［ｉ−１，ｊ＋１］−ａｖｅ）^２＋（Ｙ［ｉ＋１，ｊ＋１］−ａｖｅ）^２）／９ …式７３
次に、画像処理部１１は、輝度指標ｍａｘ，ｖａｒについて、
ｍａｘ＞ＴｈＬｍａｘ ａｎｄ ｖａｒ＞ＴｈＬｄｅｖ^２ …条件４１が成り立つ画素については、輝点周辺部と判断して、色分類指標ＢＷ［ｉ，ｊ］に「ｍ」を設定する。ただし、条件４１では、輝度指標の階調が０〜２５５で示される場合、閾値ＴｈＬｍａｘの値は、例えば、２２０程度の値であることが望ましく、閾値ＴｈＬｍａｘＴｈＬｄｅｖ^２の値は、例えば、４５^２程度の値であることが望ましい。
なお、条件４１が成り立たない画素（輝点周辺部以外の画素）の色分類指標ＢＷ［ｉ，ｊ］ついては、「ｃ」が設定されたままであり、再設定は行われない。
図１６は、色指標と輝度指標との関係を示す図である。
次に、画像処理部１１は、「色判定処理」の結果を判定し（図１５Ｓ５）、「色判定処理」の結果によって彩色部に分類された画素については、輝度解析の結果を判定する（図１５Ｓ６）。
そして、画像処理部１１は、「色判定処理」の結果として、完全無彩色部や無彩色部や淡い彩色部に分類された画素（色分類指標ＢＷに「ｚ」や「ａ」や「ｂ」が設定された画素）に対しては、「無彩色部メディアン」として、色差に広域のメディアンフィルタを掛ける処理を行うと共に、輝度解析の結果として、輝点周辺部に分類された画素（色分類指標ＢＷに「ｍ」が設定された画素）に対しては、「輝点周辺メディアン」として、色差に広域のメディアンフィルタを掛ける処理を行う（図１５Ｓ７）。
例えば、画像処理部１１は、以下に示す条件４２が成り立つ画素に対し、以下に示す式７４および式７５の演算を行って色差Ｃｒ［ｉ，ｊ］，Ｃｂ［ｉ，ｊ］を再度算出することによって、色差に広域のメディアンフィルタを掛ける処理を実現する。
ＢＷ［ｉ，ｊ］≠’ｃ’ …条件４２
Ｃｒ［ｉ，ｊ］＝Ｍｅｄｉａｎ＿ｏｆ｛Ｃｒ［ｉ，ｊ］，Ｃｒ［ｉ，ｊ−２］，Ｃｒ［ｉ，ｊ＋２］，Ｃｒ［ｉ−２，ｊ］，Ｃｒ［ｉ＋２，ｊ］，Ｃｒ［ｉ−２，ｊ−２］，Ｃｒ［ｉ＋２，ｊ−２］，Ｃｒ［ｉ−２，ｊ＋２］，Ｃｒ［ｉ＋２，ｊ＋２］｝ …式７４
Ｃｂ［ｉ，ｊ］＝Ｍｅｄｉａｎ＿ｏｆ｛Ｃｂ［ｉ，ｊ］，Ｃｂ［ｉ，ｊ−２］，Ｃｂ［ｉ，ｊ＋２］，Ｃｂ［ｉ−２，ｊ］，Ｃｂ［ｉ＋２，ｊ］，Ｃｂ［ｉ−２，ｊ−２］，Ｃｂ［ｉ＋２，ｊ−２］，Ｃｂ［ｉ−２，ｊ＋２］，Ｃｂ［ｉ＋２，ｊ＋２］｝ …式７５
ただし、Ｍｅｄｉａｎ＿ｏｆ｛｝は、複数の要素のメディアン値を算出する関数を示し、左辺のＣｒは右辺の演算結果を一度バッファリングしてから、再度Ｃｒ面に代入された値である。
なお、式７４および式７５は、図１７（ａ）に示す範囲にメディアンフィルタを掛けることに相当するが、色差に広域のメディアンフィルタを掛ける処理は、高速化のため、図１７（ｂ）に示す範囲にメディアンフィルタを掛けることによって実現しても良い。
次に、画像処理部１１は、第１の実施形態の図７Ｓ３と同様にして、Ｒ補間値およびＢ補間値を算出する（図１５Ｓ８）。
したがって、第２の実施形態によれば、適応的に広域のメディアンフィルタが掛けられた色差を用いてＲ補間値およびＢ補間値を算出することによって、彩色部における微細な色構造の破壊を回避しつつ、補間処理による偽色の発生を低減することができる。
なお、第２の実施形態では、輝度解析により輝点周辺部以外に分類された画素の色差については、広域のメディアンフィルタを掛けずにＲ補間値やＢ補間値の算出に用いているが、図１８Ｓ８のように、狭域のメディアンフィルタを掛ける処理を行ってから、Ｒ補間値やＢ補間値の算出に用いても良い。すなわち、図１５に示す補間値算出処理に代えて、図１８に示す「補間値算出処理」を行って補間処理を実現することもできる。
例えば、輝点周辺部以外に分類された画素の色差に狭域のメディアンフィルタを掛ける処理は、以下に示す条件４３が成り立つ画素に対し、以下に示す式７６および式７７の演算を行って色差Ｃｒ［ｉ，ｊ］，Ｃｂ［ｉ，ｊ］を再度算出することによって実現できる。
ＢＷ［ｉ，ｊ］＝’ｃ’ …条件４３
Ｃｒ［ｉ，ｊ］＝Ｍｅｄｉａｎ＿ｏｆ｛Ｃｒ［ｉ，ｊ］，Ｃｒ［ｉ，ｊ−１］，Ｃｒ［ｉ，ｊ＋１］，Ｃｒ［ｉ−１，ｊ］，Ｃｒ［ｉ＋１，ｊ］，Ｃｒ［ｉ−１，ｊ−１］，Ｃｒ［ｉ＋１，ｊ−１］，Ｃｒ［ｉ−１，ｊ＋１］，Ｃｒ［ｉ＋１，ｊ＋１］｝ …式７６
Ｃｂ［ｉ，ｊ］＝Ｍｅｄｉａｎ＿ｏｆ｛Ｃｂ［ｉ，ｊ］，Ｃｂ［ｉ，ｊ−１］，Ｃｂ［ｉ，ｊ＋１］，Ｃｂ［ｉ−１，ｊ］，Ｃｂ［ｉ＋１，ｊ］，Ｃｂ［ｉ−１，ｊ−１］，Ｃｂ［ｉ＋１，ｊ−１］，Ｃｂ［ｉ−１，ｊ＋１］，Ｃｂ［ｉ＋１，ｊ＋１］｝ …式７７
なお、式７６および式７７は、図１７（ｃ）に示す範囲にメディアンフィルタを掛けることに相当するが、色差に狭域のメディアンフィルタを掛ける処理は、高速化のため、図１７（ｄ）に示す範囲にメディアンフィルタを掛けることによって実現しても良い。
ただし、図１８に示す「補間値算出処理」を含む補間処理は、図１５に示す「補間値算出処理」を含む補間処理では色彩部における偽色が目立つ場合に行うと効果的である。
また、第２の実施形態では、色判定や輝度解析の結果に基づき、色差に対して適応的にメディアンフィルタを掛けているが、このようにメディアンフィルタを掛ける処理は、単板式の撮像素子で得られたデータから、従来の補間技術を用いて画像復元処理が完了した画像に対しても、事後的な補正処理として同様に使うことができる。ただし、このような事後的な補正処理では、色判定用画像は、画像復元処理が完了した画像の色情報を用いて生成され、色指標は、その色判定用画像から導出されるものとする。ここで、画像復元処理が完了した画像としては、二板式の撮像素子によって生成されたデータから画像復元処理によって得られた画像や、Ｙ、Ｃｂ、Ｃｒが４：１：１に間引かれたデータから画像復元処理によって得られた画像などに対して用いても有効である。
−第３の実施形態−
以下、第３の実施形態を説明する。
ただし、第３の実施形態と第１の実施形態および第２の実施形態とでは、画像処理部１１が行う「色判定処理」は異なるが、他の処理は同一であるため、ここでは、「色判定処理」の説明のみを行い、他の処理の説明は省略する。
図１９は、第３の実施形態における画像処理部１１の動作フローチャートであり、特に、「色判定処理」を示す。
ところで、第１の実施形態の「色判定処理」では、「色判定用画像生成処理」で生成した色判定用画像を用いて色指標を算出し、その色指標に基づき色判定を行うが、色判定用画像に生じた偽色によって、無彩色部が彩色部と誤判定される可能性が残っている。例えば、本来、無彩色部に分類されて異色間類似度により縦横類似性判定されるべき画素が、色モアレ等の偽色発生により誤って彩色部に分類されて、同色間類似度により縦横類似性判定されてしまう部分がある。
そこで、第３の実施形態の「色判定処理」では、類似性判定の精度を向上させるため、「色判定用画像」に対しても第２の実施形態で示した手法を用い、色判定を２回行う処理を示す。
《色判定処理》
以下、図１９を参照して、第３の実施形態の「色判定処理」の動作の説明を行う。
まず、画像処理部１１は、「色判定用画像生成処理」で生成した色判定用画像を用いて、第１の実施形態の図５Ｓ１と同様にして、色指標Ｃｄｉｆｆを算出する（図１９Ｓ１）。
また、画像処理部１１は、第１の実施形態の図５Ｓ２と同様にして、各々の画素で算出された色指標Ｃｄｉｆｆ［ｉ，ｊ］に基づき１回目の色判定を行い（図１９Ｓ２）、色分類指標ＢＷ［ｉ，ｊ］の設定を行う。
次に、画像処理部１１は、輝度値を算出するためＧ補間値を算出し、そのＧ補間値と元の緑色成分の色情報とで構成されるＧ面画像と、色判定用画像（Ｃｒ、Ｃｂ面画像）とを用いて、輝度値を算出する（図１９Ｓ３）。
例えば、画像処理部１１は、緑色成分が欠落する画素に対し、隣接する画素の緑色成分の色情報の平均値をＧ補間値として算出する。なお、Ｇ補間値は、従来の技術と同様に算出しても良い。また、輝度値（Ｙ［ｉ，ｊ］）は、第２の実施形態の式７０と同様にして算出する。
次に、画像処理部１１は、１回目の色判定によって彩色部に分類された画素（色分類指標ＢＷに「ｃ」が設定された画素）に対し、第２の実施形態の図１５Ｓ４と同様にして、輝度値を用いて輝度指標を算出し、その輝度指標に基づき輝度解析を行う（図１９Ｓ４）。
次に、画像処理部１１は、上述した色指標Ｃｄｉｆｆに基づいて色判定を行い（図１９Ｓ５）、その色判定の結果によって彩色部に分類された画素については、輝度解析の結果を判定する（図１９Ｓ６）。
そして、画像処理部１１は、色判定の結果として、完全無彩色部や無彩色部や淡い彩色部に分類された画素（色分類指標ＢＷに「ｚ」や「ａ」や「ｂ」が設定された画素）と、輝度解析の結果として、輝点周辺部に分類された画素（色分類指標ＢＷに「ｍ」が設定された画素）とに対し、第２の実施形態の式７４，式７５と同様にして、色判定用画像を構成する色差に広域のメディアンフィルタを掛ける処理を行う（図１９Ｓ７）。
次に、画像処理部１１は、第１の実施形態の図５Ｓ１と同様にして、色指標Ｃｄｉｆｆを算出し直す（図１９Ｓ８）。
また、画像処理部１１は、算出し直した色指標Ｃｄｉｆｆに基づき、第１の実施形態の図５Ｓ２と同様にして、２回目の色判定を行い（図１９Ｓ９）、色分類指標ＢＷを設定し直す。
すなわち、第３の実施形態では、適応的にメディアンフィルタを掛けた色判定用画像を用いて、色指標Ｃｄｉｆｆが算出し直され、２回目の色判定が行われる。したがって、例えば、色判定用画像に生じた偽色が原因で、１回目の色判定において、誤って彩色部に分類してしまった画素であっても、２回目の色判定によって、無彩色部に分類することが可能である。
そのため、第３の実施形態によれば、「類似性判定処理」において、無彩色部に分類されるべき画素の縦横類似性が、同色間類似度を用いて判定し直されてしまうという誤りや、彩色部に分類されるべき画素の縦横類似性が、同色間類似度を用いて判定し直されないという誤りを抑制することができ、補間処理における類似性判定の精度が向上し、偽色の発生を低減することができる。
なお、第３の実施形態では、輝度解析により輝点周辺部以外に分類された画素の色差については、広域のメディアンフィルタを掛けずに色判定用画像に用いているが、図２０Ｓ８のように、狭域のメディアンフィルタを掛ける処理を行ってから、色判定用画像としても良い。すなわち、図１９に示す色判定処理に代えて、図２０に示す「色判定処理」を行って補間処理を実現することもできる。例えば、輝点周辺部以外に分類された画素の色差に狭域のメディアンフィルタを掛ける処理は、上述した条件４３が成り立つ画素に対し、式７６および式７７の演算を行って色差Ｃｒ［ｉ，ｊ］，Ｃｂ［ｉ，ｊ］を再度算出することによって実現できる。
また、第３の実施形態では、輝度解析によって輝点周辺メディアン画素を追加的に抽出しているが、高速化を優先する場合は、無彩色部メディアンだけでも良く、このときには、輝度値の算出（図１９Ｓ３）や輝度解析（図１９Ｓ４、Ｓ６）も不要となって、「色判定処理」を簡略化できる。
−第４の実施形態−
以下、第４の実施形態を説明するが、第４の実施形態と上述した各実施形態との相違点は、画像処理部１１が行う「補間値算出処理」のうち、Ｇ補間値を算出する処理（図７Ｓ１、図１５Ｓ１）にあり、他の処理は同一である。そのため、第４の実施形態では、図示を省略し、画像処理部１１が行う「Ｇ補間値を算出する処理」の説明のみを行う。
ところで、従来の技術では、チェックパターンのようなナイキスト周波数レベルの微細構造が補間値に反映されないという問題があった。このような微細構造の復元は、補間値を元来の色情報に置換することによって実現することが可能である。しかし、このような置換は、ナイキスト周波数レベルの微細構造を示す領域にのみ有効であるが、乱用すると、多大な危険（例えば、画像の破綻など）を伴うことが予想される。
そこで、第４の実施形態では、元来の色情報による補間値の置換を、必要な領域のみに適用する処理を示す。ただし、補間対象画素の補間値を、その画素に元来存在する色情報で完全に置き換えると、ナイキスト周波数レベルの微細構造が目立ちすぎてしまうことがあるので、第４の実施形態では、周囲の構造との滑らかさを保つため、上述した各実施形態で算出される補間値と、元来の色情報との平均値を、補間対象画素の補間値としている。以下、このように完全な置換、または、ある比率だけ置換して補間値を算出することをまとめて「置換補間」と称する。
ここで、「置換補間」を適用すべき領域の説明を行う。
まず、「置換補間」が許容される領域として、完全に無彩色である領域が挙げられるが、このような領域には、第１の実施形態や第３の実施形態の「色判定処理」によって色分類指標ＢＷに「ｚ」が設定された領域（完全無彩色部）が対応することが実験的に判明した。なお、色差の階調が０〜２５５で示される場合、色分類指標ＢＷに「ｚ」が設定される領域に属する画素の色差を、２以下に厳しく制限しているので、「置換補間」は、最大の階調数に対して１％未満の色差を示す領域にのみ許可されていることになる。
ただし、上述した各実施形態では、完全無彩色部における縦横類似性の判定は、異色間類似度を用いて行われており、このような判定によって類似性の強い方向が特定された領域の構造では、ナイキスト周波数よりも長い周期の微細構造である可能性が高く、このような微細構造の凹凸情報は、式５０〜式５５の補正項によって、補間値に反映されていると考えられる。
すなわち、「置換補間」を必要とする領域は、完全彩色部のうち、類似性の強さが不明である領域（「類似性判定処理」によってｃａｓｅ５に分類された画素）に限られる。
《Ｇ補間値を算出する処理》
以下、第４の実施形態の「Ｇ補間値を算出する処理」の説明を行う。
まず、画像処理部１１は、「色判定処理」（図５Ｓ１、Ｓ２、図１９Ｓ１〜Ｓ１１）と「類似性判定処理」（図６Ｓ１〜Ｓ５）とが完了すると、縦横類似性を示す指標ＨＶ［ｉ，ｊ］と斜め類似性を示す指標ＤＮ［ｉ，ｊ］とが如何なる値であるかを判定し、補間対象画素の類似性の強さを、第１の実施形態と同様にしてｃａｓｅ１〜ｃａｓｅ９の何れかに分類する。
そして、画像処理部１１は、ｃａｓｅ１〜ｃａｓｅ４、ｃａｓｅ６〜ｃａｓｅ９に分類された補間対象画素に対しては、第１の実施形態の式４０〜式４３、式４５〜式４８のようにしてＧ補間値Ｇ［ｉ，ｊ］を算出する。
一方、画像処理部１１は、ｃａｓｅ５に分類された補間対象画素に対しては、色判定の結果に応じて、完全無彩色部に分類されているか否かの判定（色分類指標ＢＷに「ｚ」が設定されているか否かの判定に相当する）を行う。
そして、画像処理部１１は、「ｃａｓｅ５に分類され、かつ、完全無彩色部に分類された画素」に対しては、以下に示す式８０のようにしてＧ補間値Ｇ［ｉ，ｊ］を算出することによって、「置換補間」を適用する。また、画像処理部１１は、「ｃａｓｅ５に分類され、かつ、完全無彩色部に分類されない画素」に対しては、第１の実施形態の式４４のようにしてＧ補間値Ｇ［ｉ，ｊ］を算出する。
Ｇ［ｉ，ｊ］＝（Ｚ［ｉ，ｊ］＋（Ｇｖ＋Ｇｈ））／２ …式８０
ただし、Ｇｖ，Ｇｈは、式５０，式５３によって算出される値である。
以上説明したように、第４の実施形態では、適応的に「置換補間」を行うことによって、ナイキスト周波数レベルの微細構造を復元することができる。
なお、第４の実施形態では、上述した各実施形態で算出される補間値と元来の色情報との平均値を、補間対象画素の補間値としているが、補間処理の完了後に緑色成分や輝度成分にローパスフィルタを掛ける場合には、平均化操作が行われるため、補間対象画素の補間値を元来存在する色情報で完全に置き換えても良い。
−第５の実施形態−
以下、第５の実施形態の動作を説明する。
ただし、ＰＣ１８には、ＣＤ−ＲＯＭ２８などの記録媒体に記録された画像処理プログラム（上述した何れかの実施形態の画像処理部１１と同様にして補間処理を実行する画像処理プログラム）が予めインストールされているものとする。すなわち、ＰＣ１８内の不図示のハードディスクには、このような画像処理プログラムが不図示のＣＰＵによって実行可能な状態に格納されている。
以下、図１を参照して第５の実施形態の動作を説明する。
まず、電子カメラ１は、操作部２４を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、撮像素子２１で生成されてアナログ信号処理部２２で所定のアナログ信号処理が施された画像信号を、Ａ／Ｄ変換部１０でディジタル化し、画像データとして、画像処理部１１に供給する。画像処理部１１は、このようにして供給された画像データに対して、階調変換やγ補正などの画像処理を行う。このような画像処理が完了した画像データは、メモリカード用インタフェース部１７を介してメモリカード１６に記録される。
次に、電子カメラ１は、操作部２４を介し、操作者によってＰＣ通信モードが選択された状態で、外部インタフェース部１９を介し、ＰＣ１８から画像データの転送が指示されると、その指示に対応する画像データを、メモリカード用インタフェース部１７を介してメモリカード１６から読み出す。そして、このようにして読み出した画像データを、外部インタフェース部１９を介してＰＣ１８に供給する。
ＰＣ１８内の不図示のＣＰＵは、このようにして画像データが供給されると、前述した画像処理プログラムを実行する。なお、このような画像処理プログラムの実行によって補間処理が行われた画像データは、必要に応じて圧縮処理して不図示のハードディスクに記録したり、モニタ２６やプリンタ２７で採用されている表色系に変換して各々に供給しても良い。
以上説明したように、第５の実施形態では、上述した何れかの実施形態と同様の補間処理をＰＣ１８によって行うことができる。
なお、ＰＣ１８内の不図示のＣＰＵは、前述したように画像データが記録されたメモリカード１６が装着された場合、そのメモリカード１６から画像データを読み出し、前述した画像処理プログラムを実行しても良い。
また、このような画像処理プログラムは、インターネットを介して所定のホームページにアクセスすることによって、ＰＣ１８にダウンロードされても良い。
さらに、このような画像処理プログラムは、ＰＣ１８で実行せず、インターネット等を介して接続される遠隔地のサーバ等で実行しても良い。すなわち、ＰＣ１８は、電子カメラ１から供給される画像データを、インターネット等を介して、前述した画像処理プログラムが実行可能なサーバ等に転送するだけで、その画像データに、上述した何れかの実施形態と同様の補間処理を行うことができる。
また、上述した各実施形態では、ＲＧＢ表色系で示され、かつ、各々の画素にＲ，Ｇ，Ｂの何れか１つの色成分の色情報が存在する画像に対する補間処理を説明したが、同様の補間処理は、他の表色系で示される画像にも適用できる。
さらに、上述した各実施形態では、色成分が図２に示すように配列された画像データに対して補間処理を行う例を示したが、本発明が適用できる画像データは、図２に示した配列に限定されるものではない。
ところで、上述した各実施形態では、画像復元処理のうち、補間処理について説明を行っており、最終的に、全ての画素にＲ，Ｇ，Ｂの３つの色成分の色情報が対応付けられることになるが、本発明は、補間処理に限定されず、ＲＧＢ表色系とは異なる表色系の色成分を、全ての画素に対応付ける画像復元処理に対しても同様に適用できる。
例えば、後述するような第８の実施形態においては、全ての画素に、Ｙ，Ｃｂ，Ｃｒの３の色成分の色情報を対応付けられていることになる。そのため、このような状態では、ＲＧＢ表色系（画像復元処理の対象となる画像が示す表色系）とは異なる表色系（ここでは、ＹＣｂＣｒ表色系に相当する）の色成分を全ての画素に対応付ける画像復元処理に対し、本発明が適用されたことになる。
すなわち、上述した各実施形態の「類似性判定処理」は、ＲＧＢ表色系を補間する画像復元処理だけでなく、他の表色系を構成する色成分を新たに生成する画像復元処理にも適用できることになる。
また、第４の実施形態の「置換補間」に相当する処理についても、ＲＧＢ表色系を補間する画像復元処理だけでなく、他の表色系を構成する色成分を新たに生成する画像復元処理にも適用できることになる。
例えば、Ｒ，Ｇ，Ｂの３つの色成分がベイア配列されて成る画像に対し、各々の画素にＹ，Ｃｂ，Ｃｒ成分を対応付ける画像復元処理においては、元来、赤色成分の色情報が存在する画素のＹ成分が周辺の緑色成分、青色成分を用いて「（Ｒ＋２・Ｇ＋Ｂ）／４」で算出される場合、「置換補間」に相当する処理を適用することは、Ｙ成分を「（２・Ｒ＋Ｇ＋Ｂ）／４」で算出することに相当する。すなわち、Ｇ成分の半分が、赤色成分の色情報に置き換えられることになる。
以上説明した実施の形態の電子カメラでは、次のような効果を奏する。
復元値の生成の仕方を切り換えることによって、微細構造の復元と、偽構造や偽色などの瑕疵の抑制とが図られ、画像全体の調和を保った画像復元処理が行える。
同一画素間色相値の精度を高めることによって、色指標の導出精度の向上が図られ、画像復元処理による偽色の発生を更に低減することができる。
類似性の判定を色指標に応じて適応的に行って、復元値を生成することができるため、偽構造や偽色などの瑕疵の抑制効果が更に高められる。
復元値を元来の色情報で適応的に置換することができるため、微細構造の復元の精度が向上される。
画像復元処理における類似度の算出精度の向上が図られる。
画像復元処理における補正を適応的に行うことによって、微細な色構造の破壊の回避と、偽色の発生の低減とが図られ、画像全体の調和を保った画像復元処理が行える。
色指標の算出精度の向上が図られる。
画像復元処理における補正を適正に行うことができると共に、過剰な補正による悪影響の発生を抑制することができる。
画像復元処理における補正を適正に行うことができる。
輝度指標の算出精度の向上が図られる。
−第６の実施の形態−
（電子カメラの構成）
第６の実施の形態の電子カメラ１の構成は、第１の実施形態〜第４の実施形態に対応する電子カメラの機能ブロック図として説明した図１と同様であるのでその説明を省略する。
（画像データの変換）
撮像素子２１を介して取得したＲＧＢ表色系の画像データを、ＧＣｒＣｂで表す画像データに変換する処理を説明する。撮像素子２１で撮像され、アナログ信号処理部２２、Ａ／Ｄ変換部１０を介して画像処理部１１に入力される画像データは、ベイア配列のＲＧＢ表色系で表され、前述した通り、１つの画素には１つの色成分しか含まれていない。以下、この画像データを変換前ＲＧＢ画像データとも言う。この変換前ＲＧＢ画像データを、各画素において輝度成分の情報Ｇ（輝度情報Ｇあるいは輝度信号Ｇと言う）と、色差成分（クロミナンス）の情報Ｃｒ、Ｃｂ（色差情報Ｃｒ、Ｃｂあるいは色差信号Ｃｒ、Ｃｂと言う）を含む画像データに変換する。変換後の画像データを変換後ＧＣｒＣｂ画像データと言う。図２１は、変換の概念を示す図であり、図２１（ａ）は第６の実施の形態における変換の概念図である。図２１（ｂ）は、後述する第８の実施の形態における変換の概念図である。なお、変換前ＲＧＢ画像データは、画素単位で色成分が分離されているので、空間的にスペクトル分離された多重スペクトル画像のデータと言うこともできる。
変換前ＲＧＢ画像データについて、図２（ａ）〜図２（ｄ）を使用して説明する。図２（ａ）〜図２（ｄ）は、変換対象画素にどの色成分が配置されているかによって周辺の画素にどの色成分が配置されているかを示している。変換対象画素の座標を［ｉ，ｊ］で表す。図２（ａ）は変換対象画素［ｉ，ｊ］にＲ成分の色情報を有する場合を示し、図２（ｂ）は変換対象画素［ｉ，ｊ］にＢ成分の色情報を有する場合を示す。図２（ｃ）は変換対象画素［ｉ，ｊ］にＧ成分の色情報を有し、縦方向に隣接する画素にＢ成分の色情報を有し横方向に隣接する画素にＲ成分の色情報を有する場合を示し、図２（ｄ）は変換対象画素［ｉ，ｊ］にＧ成分の色情報を有し、縦方向に隣接する画素にＲ成分の色情報を有し横方向に隣接する画素にＢ成分の色情報を有する場合を示している。
変換前ＲＧＢ画像データにおいて、Ｒ成分の色情報を有する画素をＲ画素、Ｂ成分の色情報を有する画素をＢ画素、Ｇ成分の色情報を有する画素をＧ画素と言う。
図２２は、画像処理部１１が行う画像データ変換処理の概要を示すフローチャートである。図２３は、処理の関係を説明するためのブロック図である。図２２、図２３を使用して、画像処理部１１が行う画像データ変換処理の概要を説明する。
ステップＳ１では、ベイア面（図２３の１０１）、すなわち変換前ＲＧＢ画像データを入力する。ステップＳ２において、変換前ＲＧＢ画像データの各色成分の色情報を使用して、Ｃｒ、Ｃｂ面、すなわち色差情報Ｃｒ、Ｃｂをすべての画素において生成する（図２３の１０２）。このとき異色間類似度を使用して縦横方向判定１を行い（図２３の１０３）、縦横方向判定１に基づき色差情報Ｃｒ、Ｃｂを生成する。ステップＳ３では、色差情報Ｃｒ、Ｃｂを使用して色評価を行う（図２３の１０４）。色評価とは、該当画素が無彩色画素なのか、有彩色画素なのか、有彩色の場合はその彩色度がどの程度かなどの評価を行う。
ステップＳ４において、Ｇ面、すなわち輝度情報Ｇをすべての画素において生成する。輝度情報Ｇを生成するとき、ステップＳ３で求められた色評価の結果に基づき、異色間類似度を使用した縦横方向判定１（図２３の１０３）を使用するのか、同色間類似度を使用した縦横方向判定２（図２３の１０５）を使用するのか選択する（図２３の１０６）。色評価の結果に基づいて選択された異色間類似度あるいは同色間類似度の縦横方向判定に基づき、輝度情報Ｇを生成する（図２３の１０７）。すなわち、類似性の縦横方向判定の結果に基づき、該当画素を含む局所領域内の色情報を使用しながら輝度情報Ｇを生成する。局所領域とは、例えば、数画素から数十画素数の範囲の領域である。ただし、１００画素を越えるような範囲であってもよい。すなわち、局所領域とは、画像全体に対して局所的と言えるような数の画素で構成される領域である。
ステップＳ５において、ステップＳ２で生成された色差情報Ｃｒ、Ｃｂと、ステップＳ４で生成された輝度情報Ｇが、画像データとして出力され、各種の画像処理が施されたりメモリ等に格納されたりする。
なお、変換前ＲＧＢ画像データの画素数と変換後ＧＣｒＣｂ画像データの画素数は同じであり、２次元平面において各画素の位置は１：１で対応する。ところで、上述した全ての画素における画像データ変換処理は、着目する局所領域における画像データ変換処理を繰り返すことにより達成される。従って、ここからは、着目領域での局所的に満たす関係式を用いて話を進める。以下、これらの処理の詳細について説明する。説明の構成をまとめると以下のようになる。
（１．Ｃｒ、Ｃｂ面生成）
（１−１．縦横方向判定１）
（１−１−１．類似度の算出）
（１−１−１−１．異色間類似度）
（１−１−１−２．類似度の周辺加算）
（１−１−２．類似性判定）
（１−２．色差生成）
（１−２−１．Ｒ位置Ｃｒ面生成）
（１−２−２．Ｃｒ面補間）
（１−２−３．Ｂ位置Ｃｂ面生成、補間）
（２．色評価）
（２−１．色差補正）
（２−２．色指標の算出）
（２−３．色判定）
（３．Ｇ面生成）
（３−１．縦横方向判定２）
（３−１−１．類似度の算出）
（３−１−１−１．同色間類似度）
（３−１−１−２．類似度の周辺加算）
（３−１−２．類似性判定）
（３−２．方向指標の選択）
（３−３．Ｇの計算）
（４．カラー画像出力）
以下、説明を開始する。
（１．Ｃｒ、Ｃｂ面生成）
（１−１．縦横方向判定１）
（１−１−１．類似度の算出）
（１−１−１−１．異色間類似度）
入力された変換前ＲＧＢ画像データの各色成分の色情報を使用して、異色間類似度の算出を行い、縦横方向判定１を行う。まず、Ｒ画素およびＢ画素において、「異色間類似度」を算出する。「異色間類似度」とは、変換対象画素を含む局所領域内の異なる色成分の色情報を使用して、変換対象画素と周辺画素との類似性の度合いを数値化したものである。本実施の形態では、縦方向の異色間類似度と横方向の異色間類似度を求め、縦方向に類似性が強いのか横方向に類似性が強いのかを判定する。色情報とは、撮像素子２１で取得された色信号を、所定の処理を行いデジタル化した値である。例えば、１バイト２５６階調で表される。
画素の座標を［ｘ，ｙ］とし、変換対象画素の座標を［ｉ，ｊ］とする。Ｇ画素の色情報をＧ［ｘ，ｙ］、Ｒ画素の色情報をＲ［ｘ，ｙ］、Ｂ画素の色情報をＢ［ｘ，ｙ］、Ｒ画素の色情報あるいはＢ画素の色情報を代表してＺ［ｘ，ｙ］とする。縦方向の異色間類似度Ｃｖ０［ｉ，ｊ］は式（１０１）により、横方向の異色間類似度Ｃｈ０［ｉ，ｊ］は式（１０２）により求めることができる。Ｒ画素の場合はＧＲ間類似度成分、Ｂ画素の場合はＧＢ間類似度成分を求める。ただし、ここで類似度成分とは、類似度を構成する色成分の組み合わせが異なるものを分類して表現するために用いている。
ＧＲ（ＧＢ）間類似度成分
Ｃｖ０［ｉ，ｊ］＝（｜Ｇ［ｉ，ｊ−１］−Ｚ［ｉ，ｊ］｜＋｜Ｇ［ｉ，ｊ＋１］−Ｚ［ｉ，ｊ］｜）／２ ．．．（１０１）
Ｃｈ０［ｉ，ｊ］＝（｜Ｇ［ｉ−１，ｊ］−Ｚ［ｉ，ｊ］｜＋｜Ｇ［ｉ＋１，ｊ］−Ｚ［ｉ，ｊ］｜）／２ ．．．（１０２）
変換前ＲＧＢ画像データの着目領域のＲ画素、Ｂ画素において縦方向の異色間類似度Ｃｖ０［ｘ，ｙ］、横方向の異色間類似度Ｃｈ０［ｘ，ｙ］を求める。
なお、変換対象画素がＲ画素あるいはＢ画素の場合、縦方向横方向の異色画素はすぐ隣のＧ画素である（図２（ａ）、図２（ｂ））。すなわち、「異色間類似度」は、１画素ピッチで類似性を判定し、１画素ピッチで変化するナイキスト周波数レベルの微細構造におけるより正確な類似性判定を可能とする。
（１−１−１−２．類似度の周辺加算）
次に、類似度の周辺加算を行う。上記で求めた縦方向の異色間類似度Ｃｖ０［ｘ，ｙ］、横方向の異色間類似度Ｃｈ０［ｘ，ｙ］を使用して、式（１０３）（１０４）の演算を行う。これは、周辺画素との連続性を考慮することにより類似度の精度を上げるためのものである。なお、簡略性、処理スピードを優先する場合は省いても良い。
Ｃｖ［ｉ，ｊ］＝（４＊Ｃｖ０［ｉ，ｊ］＋２＊（Ｃｖ０［ｉ−１，ｊ−１］＋Ｃｖ０［ｉ＋１，ｊ−１］＋Ｃｖ０［ｉ−１，ｊ＋１］＋Ｃｖ０［ｉ＋１，ｊ＋１］）＋Ｃｖ０［ｉ，ｊ−２］＋Ｃｖ０［ｉ，ｊ＋２］＋Ｃｖ０［ｉ−２，ｊ］＋Ｃｖ０［ｉ＋２，ｊ］）／１６ ．．．（１０３）
Ｃｈ［ｉ，ｊ］＝（４＊Ｃｈ０［ｉ，ｊ］＋２＊（Ｃｈ０［ｉ−１，ｊ−１］＋Ｃｈ０［ｉ＋１，ｊ−１］＋Ｃｈ０［ｉ−１，ｊ＋１］＋Ｃｈ０［ｉ＋１，ｊ＋１］）＋Ｃｈ０［ｉ，ｊ−２］＋Ｃｈ０［ｉ，ｊ＋２］＋Ｃｈ０［ｉ−２，ｊ］＋Ｃｈ０［ｉ＋２，ｊ］）／１６ ．．．（１０４）
（１−１−２．類似性判定）
次に、類似性判定を行う。上記で求めたＣｖ［ｉ，ｊ］、Ｃｈ［ｉ，ｊ］を使用して、変換対象画素の類似性の判定を行う。すなわち、第６の実施の形態では、縦方向に類似性が強いか、横方向に類似性が強いか、縦横不明かの判定を行う。具体的には、条件（１０５）を満足するときは、縦横類似性が不明として方向指標ＨＶｄ［ｉ，ｊ］＝０をセットする。Ｔｈ０は所定のしきい値であり、２５６階調のときは１０前後の値とする。すなわち、縦横の類似度間の差分がしきい値Ｔｈ０以下であれば、縦方向に類似性が強いのか、横方向に類似性が強いのか判定できないことを意味する。
｜Ｃｖ［ｉ，ｊ］−Ｃｈ［ｉ，ｊ］｜≦Ｔｈ０ ．．．（１０５）
条件（１０５）が満足しない場合、すなわち、縦横どちらかの方向の類似性が判定できる場合は、条件（１０６）を満足するか否かを判定する。条件（１０６）を満足するときは、縦方向に類似性が強いとして、方向指標ＨＶｄ［ｉ，ｊ］＝１をセットする。条件（１０６）を満足しない場合は、横方向に類似性が強いとして方向指標ＨＶｄ［ｉ，ｊ］＝−１をセットする。なお、異色間類似度Ｃｖ［ｉ，ｊ］、Ｃｈ［ｉ，ｊ］は、値が小さいほど類似性が強いことを示している。
Ｃｖ［ｉ，ｊ］＜Ｃｈ［ｉ，ｊ］ ．．．（１０６）
変換前ＲＧＢ画像データの着目領域のＲ画素、Ｂ画素において方向指標ＨＶｄ［ｘ，ｙ］を求める。
（１−２．色差生成）
（１−２−１．Ｒ位置Ｃｒ面生成）
次に、Ｒ画素における色差情報Ｃｒ面生成について説明する。変換前ＲＧＢ画像データのＲ画素に対応する変換後ＧＣｒＣｂ画像データの画素の色差情報Ｃｒを求める。このとき、上記で求めた類似性の方向指標ＨＶｄ［ｉ，ｊ］によって異なる式を使用する。ＨＶｄ［ｉ，ｊ］＝１のときは式（１０７）、ＨＶｄ［ｉ，ｊ］＝−１のときは式（１０８）、ＨＶｄ［ｉ，ｊ］＝０のときは式（１０９）を使用してＣｒ［ｉ，ｊ］を求める。
Ｃｒ［ｉ，ｊ］＝（２＊Ｒ［ｉ，ｊ］＋Ｒ［ｉ，ｊ−２］＋Ｒ［ｉ，ｊ＋２］）／４−（Ｇ［ｉ，ｊ−１］＋Ｇ［ｉ，ｊ＋１］）／２ ．．．（１０７）
Ｃｒ［ｉ，ｊ］＝（２＊Ｒ［ｉ，ｊ］＋Ｒ［ｉ−２，ｊ］＋Ｒ［ｉ＋２，ｊ］）／４−（Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／２ ．．．（１０８）
Ｃｒ［ｉ，ｊ］＝（４＊Ｒ［ｉ，ｊ］＋Ｒ［ｉ，ｊ−２］＋Ｒ［ｉ，ｊ＋２］＋Ｒ［ｉ−２，ｊ］＋Ｒ［ｉ＋２，ｊ］）／８−（Ｇ［ｉ，ｊ−１］＋Ｇ［ｉ，ｊ＋１］＋Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／４ ．．．（１０９）
（１−２−２．Ｃｒ面補間）
次に、Ｃｒ面の補間を行う。求めたＲ画素に対応する画素の色差情報Ｃｒを使用して、Ｂ画素、Ｇ画素に対応する画素の色差情報Ｃｒを補間処理によって求める。Ｂ画素に対応する画素の場合は式（１１０）、Ｇ画素で横方向にＲ画素が隣接する画素に対応する画素の場合は式（１１１）、Ｇ画素で縦方向にＲ画素が隣接する画素に対応する画素の場合は式（１１２）を使用して色差情報Ｃｒを求める。
Ｃｒ［ｉ，ｊ］＝（Ｃｒ［ｉ−１，ｊ−１］＋Ｃｒ［ｉ−１，ｊ＋１］＋Ｃｒ［ｉ＋１，ｊ−１］＋Ｃｒ［ｉ＋１，ｊ＋１］）／４ ．．．（１１０）
Ｃｒ［ｉ，ｊ］＝（Ｃｒ［ｉ−１，ｊ］＋Ｃｒ［ｉ＋１，ｊ］）／２ ．．．（１１１）
Ｃｒ［ｉ，ｊ］＝（Ｃｒ［ｉ，ｊ−１］＋Ｃｒ［ｉ，ｊ＋１］）／２ ．．．（１１２）
（１−２−３．Ｂ位置Ｃｂ面生成、補間）
色差情報Ｃｂについても、上記色差情報Ｃｒと同様にして求める。このようにして、変換後ＧＣｒＣｂ画像データの着目領域の画素の色差情報Ｃｒ、Ｃｂを求める。なお、上記により求めた色差情報Ｃｒ、Ｃｂは、変換前ＲＧＢ画像データについて、補間処理により着目領域の画素においてＲＧＢの色成分の色情報を求めた後に色差を求める場合と数学的には等価である。
また、上記では異色間類似度のみで類似性判定した方向指標ＨＶｄ［ｉ，ｊ］を用いた。これは、ナイキスト周波数近傍の偽色発生を大幅に抑制できるからである。
（２．色評価）
（２−１．色差補正）
色評価に先立ち色差情報Ｃｒ、Ｃｂの補正を行う。色評価を正確に行うため、前述のようにして取得したＣｒ、Ｃｂの色差面に生じている色モアレを除去するためである。色差メディアンフィルタを使用してもよいが、第６の実施の形態では、以下の式（１１３）および図２４で示されるローパスフィルタを使用する。この処理は、色モアレを除去するという目的を高速に達成することができる。
ＴＣｒ１［ｉ，ｊ］＝｛４＊Ｃｒ［ｉ，ｊ］＋２＊（Ｃｒ［ｉ−２，ｊ］＋Ｃｒ［ｉ＋２，ｊ］＋Ｃｒ［ｉ，ｊ−２］＋Ｃｒ［ｉ，ｊ＋２］）＋１＊（Ｃｒ［ｉ−２，ｊ−２］＋Ｃｒ［ｉ＋２，ｊ−２］＋Ｃｒ［ｉ−２，ｊ＋２］＋Ｃｒ［ｉ＋２，ｊ＋２］）｜／１６ ．．．（１１３）
ＴＣｈ１［ｉ，ｊ］も同様にして求める。
この様にして、色差情報Ｃｒ、Ｃｂは、画素単位で周辺構造を把握することにより、空間方向に方向性を持って分布していると想定される色差情報を画素単位の正確な階調として表された色差情報に変換して生成されている。従って、画像の構造的要因をほぼ完全に排除して、画像が実際に持つ色あいを画素単位で計ることのできるスカラー量となっている。色指標として色差情報Ｃｒが示すＲＧ間の色差と、色差情報Ｃｂが示すＢＧ間の色差は既に求まっているが、画素単位のスカラー量であるため更にＲＢ間の色差も評価することができる。これにより、極めて人間の視覚的判断に近い色評価が行える。
（２−２．色指標の算出）
次に、色指標Ｃｄｉｆｆの導出式（１１４）を示す。
Ｃｄｉｆｆ［ｉ，ｊ］＝（｜ＴＣｒ１［ｉ，ｊ］｜＋｜ＴＣｂ１［ｉ，ｊ］｜＋｜ＴＣｒ１［ｉ，ｊ］−ＴＣｂ１［ｉ，ｊ］｜）／３ ．．．（１１４）
これにより、従来技術の色レベルの評価で問題となっていた実際の色と構造的要因に伴う撹乱要因を分離し、かつ全色成分間の色差を評価することで、非常に正確な色指標を手にすることができる。なお、ここでも更に色指標の精度を上げるため、類似度の周辺加算で行ったようなことを色指標について行ってもよい。
（２−３．色判定）
次に、色判定を行う。上記連続的色指標Ｃｄｉｆｆ［ｉ，ｊ］を、条件（１１５）〜（１１８）を満足するか否かのしきい値判定して、離散的色指標ＢＷ［ｉ，ｊ］の色判定結果に変換する。しきい値は２５６階調のときＴｈｚａ＝２、Ｔｈａｂ＝５、Ｔｈｂｃ＝１５程度の値とする。
Ｃｄｉｆｆ［ｉ，ｊ］≦Ｔｈｚａ ．．．（１１５）
Ｔｈｚａ＜Ｃｄｉｆｆ［ｉ，ｊ］≦Ｔｈａｂ ．．．（１１６）
Ｔｈａｂ＜Ｃｄｉｆｆ［ｉ，ｊ］≦Ｔｈｂｃ ．．．（１１７）
Ｔｈｂｃ＜Ｃｄｉｆｆ［ｉ，ｊ］ ．．．（１１８）
条件（１１５）を満足する場合は、完全無彩色部として、ＢＷ［ｉ，ｊ］＝’ｚ’をセットする。条件（１１６）を満足する場合は、無彩色部として、ＢＷ［ｉ，ｊ］＝’ａ’をセットする。条件（１１７）を満足する場合は、低彩色部として、ＢＷ［ｉ，ｊ］＝’ｂ’をセットする。条件（１１８）を満足する場合は、彩色部として、ＢＷ［ｉ，ｊ］＝’ｃ’をセットする。
（３．Ｇ面生成）
（３−１．縦横方向判定２）
（３−１−１．類似度の算出）
（３−１−１−１．同色間類似度）
次に、上記に求めた色指標ＢＷ［ｉ，ｊ］を使用して、変換後ＧＣｒＣｂ画像データの輝度情報Ｇを求める。まず、変換前ＲＧＢ画像データのＲ画素およびＢ画素において、「同色間類似度」を算出する。「同色間類似度」とは、変換対象画素を含む局所領域内の同一色成分の色情報を使用して、変換対象画素と周辺画素との類似性の度合いを数値化したものである。本実施の形態では、縦方向の同色間類似度と横方向の同色間類似度を求め、縦方向に類似性が強いのか横方向に類似性が強いのかを判定する。
変換対象画素に隣接するＧ画素の色情報より、縦方向のＧＧ間類似度成分Ｃｖ１［ｉ，ｊ］を式（１１９）により求め、横方向のＧＧ間類似度成分Ｃｈ１［ｉ，ｊ］を式（１２０）により求める。
Ｃｖ１［ｉ，ｊ］＝｜Ｇ［ｉ，ｊ−１］−Ｇ［ｉ，ｊ＋１］｜
．．．（１１９）
Ｃｈ１［ｉ，ｊ］＝｜Ｇ［ｉ−１，ｊ］−Ｇ［ｉ＋１，ｊ］｜
．．．（１２０）
変換対象画素およびＧ画素と異なる色成分を有する画素の色情報より、縦方向のＢＢ（ＲＲ）間類似度成分Ｃｖ２［ｉ，ｊ］を式（１２１）により求め、横方向のＢＢ（ＲＲ）間類似度成分Ｃｈ２［ｉ，ｊ］を式（１２２）より求める。
Ｃｖ２［ｉ，ｊ］＝（｜Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ−１，ｊ＋１］｜＋｜Ｚ［ｉ＋１，ｊ−１］−Ｚ［ｉ＋１，ｊ＋１］｜）／２ ．．．（１２１）
Ｃｈ２［ｉ，ｊ］＝（｜Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ＋１，ｊ−１］｜＋｜Ｚ［ｉ−１，ｊ＋１］−Ｚ［ｉ＋１，ｊ＋１］｜）／２ ．．．（１２２）
上記で求めた縦方向のＧＧ間類似度成分Ｃｖ１［ｉ，ｊ］と縦方向のＢＢ（ＲＲ）間類似度成分Ｃｖ２［ｉ，ｊ］を式（１２３）に代入して、変換対象画素［ｉ，ｊ］の縦方向の同色間類似度Ｃｖ０［ｉ，ｊ］を求める。また、横方向のＧＧ間類似度成分Ｃｈ１［ｉ，ｊ］と横方向のＢＢ（ＲＲ）間類似度成分Ｃｈ２［ｉ，ｊ］を式（１２４）に代入して、変換対象画素［ｉ，ｊ］の横方向の同色間類似度Ｃｈ０［ｉ，ｊ］を求める。
Ｃｖ０［ｉ，ｊ］＝（Ｃｖ１［ｉ，ｊ］＋Ｃｖ２［ｉ，ｊ］）／２
．．．（１２３）
Ｃｈ０［ｉ，ｊ］＝（Ｃｈ１［ｉ，ｊ］＋Ｃｈ２［ｉ，ｊ］）／２
．．．（１２４）
（３−１−１−２．類似度の周辺加算）
次に、類似度の周辺加算を行う。上記で求めた縦方向の同色間類似度Ｃｖ０［ｘ，ｙ］、横方向の同色間類似度Ｃｈ０「ｘ，ｙ］を使用して、式（１２５）（１２６）の演算を行う。これは、前述した異色間類似度と同様に、周辺画素との連続性を考慮することにより類似度の精度を上げるためのものである。なお、簡略性、処理スピードを優先する場合は省いても良い。
Ｃｖ［ｉ，ｊ］＝（４＊Ｃｖ０［ｉ，ｊ］＋２＊（Ｃｖ０［ｉ−１，ｊ−１］＋Ｃｖ０［ｉ＋１，ｊ−１］＋Ｃｖ０［ｉ−１，ｊ＋１］＋Ｃｖ０［ｉ＋１，ｊ＋１］）＋Ｃｖ０［ｉ，ｊ−２］＋Ｃｖ０［ｉ，ｊ＋２］＋Ｃｖ０［ｉ−２，ｊ］＋Ｃｖ０［ｉ＋２，ｊ］）／１６ ．．．（１２５）
Ｃｈ［ｉ，ｊ］＝（４＊Ｃｈ０［ｉ，ｊ］
＋２＊（Ｃｈ０［ｉ−１，ｊ−１］＋Ｃｈ０［ｉ＋１，ｊ−１］＋Ｃｈ０［ｉ−１，ｊ＋１］＋Ｃｈ０［ｉ＋１，ｊ＋１］）＋Ｃｈ０［ｉ，ｊ−２］＋Ｃｈ０［ｉ，ｊ＋２］＋Ｃｈ０［ｉ−２，ｊ］＋Ｃｈ０［ｉ＋２，ｊ］）／１６
．．．（１２６）
（３−１−２．類似性判定）
次に、類似性判定を行う。上記で求めたＣｖ［ｉ，ｊ］、Ｃｈ［ｉ，ｊ］を使用して、前述した異色間類似性判定と同様に、変換対象画素の同色間類似性の判定を行う。第６の実施の形態では、縦方向に類似性が強いか、横方向に類似性が強いか、縦横不明かの判定を行う。具体的には、条件（１２７）を満足するときは、縦横類似性が不明として方向指標ＨＶｓ［ｉ，ｊ］＝０をセットする。Ｔｈ１は所定のしきい値であり、２５６階調のとき異色間類似度のＴｈ０と同程度の１０前後の値とする。すなわち、縦横の類似度間の差分がしきい値Ｔｈ１以下であれば、縦方向に類似性が強いのか、横方向に類似性が強いのか判定できないことを意味する。
｜Ｃｖ［ｉ，ｊ］−Ｃｈ［ｉ，ｊ］｜≦Ｔｈ１ ．．．（１２７）
条件（１２７）が満足しない場合、すなわち、縦横どちらかの方向の類似性が判定できる場合は、条件（１２８）を満足するか否かを判定する。条件（１２８）を満足するときは、縦方向に類似性が強いとして、方向指標ＨＶｓ［ｉ，ｊ］＝１をセットする。条件（１２８）を満足しない場合は、横方向に類似性が強いとして方向指標ＨＶｓ［ｉ，ｊ］＝−１をセットする。なお、同色間類似度Ｃｖ［ｉ，ｊ］、Ｃｈ［ｉ，ｊ］は、値が小さいほど類似性が強いことを示している。
Ｃｖ［ｉ，ｊ］＜Ｃｈ［ｉ，ｊ］ ．．．（１２８）
変換前ＲＧＢ画像データの着目領域のＲ画素、Ｂ画素において方向指標ＨＶｓ［ｘ，ｙ］を求める。
（３−２．方向指標の選択）
次に、方向指標の選択を行う。前述した色判定結果に基づいて、異色間類似度による方向判定結果と同色間類似度による方向判定結果を使い分ける。ＢＷ［ｉ，ｊ］が’ｚ’あるいは’ａ’であるとき、ＨＶ［ｉ，ｊ］＝ＨＶｄ「ｉ，ｊ］とする。ＢＷ［ｉ，ｊ］が’ｂ’あるいは’ｃ’のときＨＶ［ｉ，ｊ］＝ＨＶｓ「ｉ，ｊ］とする。すなわち、色判定が完全無彩色’ｚ’あるいは無彩色’ａ’であるとき、異色間類似度で判定された方向指標ＨＶｄ［ｉ，ｊ］を使用する。また、色判定が低彩色’ｂ’あるいは彩色’ｃ’であるとき、同色間類似度で判定された方向指標ＨＶｓ［ｉ，ｊ］を使用する。
無彩色の場合、画素の色情報は、色合いの差は反映されずほぼ明度の差で値が変化すると考えられる。従って、１画素ピッチで類似性を判定する異色間類似度が、微細構造におけるより正確な類似性判定を可能とする。有彩色の場合は、画素の色情報は、色合いの差によってもその値が変化する。そのため、カラーフィルタの色が異なるとその測定値は変化し、異色間類似度では類似性が正確に判定できない。従って、有彩色の場合には、同色間類似度で類似性を判定するのが適している。
（３−３．Ｇの計算）
上述した方向指標に基づいて、変換前ＲＧＢ画像データのＲ画素あるいはＢ画素に対応する画素［ｉ，ｊ］における輝度情報ＧすなわちＧ［ｉ，ｊ］を求める。すなわち、Ｒ画素あるいはＢ画素における欠落するＧ成分の色情報を補間処理により求める。方向指標ＨＶ［ｉ，ｊ］＝１のとき、すなわち縦方向に類似性が強いと判断されたとき、式（１２９）を使用してＧ［ｉ，ｊ］を求める。方向指標ＨＶ［ｉ，ｊ］＝−１のとき、すなわち横方向に類似性が強いと判断されたとき、式（１３０）を使用してＧ［ｉ，ｊ］を求める。方向指標ＨＶ［ｉ，ｊ］＝０のとき、すなわち縦横類似性が不明と判断されたとき、式（１３１）を使用してＧ［ｉ，ｊ］を求める。
Ｇ［ｉ，ｊ］＝（Ｇ［ｉ，ｊ−１］＋Ｇ［ｉ，ｊ＋１］）／２＋（２＊Ｚ［ｉ，ｊ］−Ｚ［ｉ，ｊ−２］−Ｚ［ｉ，ｊ＋２］）／４ ．．．（１２９）
Ｇ［ｉ，ｊ］＝（Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／２＋（２＊Ｚ［ｉ，ｊ］−Ｚ［ｉ−２，ｊ］−Ｚ［ｉ＋２，ｊ］）／４ ．．．（１３０）
Ｇ［ｉ，ｊ］＝（Ｇ［ｉ，ｊ−１］＋Ｇ［ｉ，ｊ＋１］＋Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／４＋（４＊Ｚ［ｉ，ｊ］−Ｚ［ｉ，ｊ−２］−Ｚ［ｉ，ｊ＋２］−Ｚ［ｉ−２，ｊ］−Ｚ［ｉ＋２，ｊ］）／８ ．．．（１３１）
（４．カラー画像出力）
以上のようにして、各画素について色差情報Ｃｒ、Ｃｂ、輝度情報Ｇ、すなわちＣｒ［ｉ，ｊ］、Ｃｂ［ｉ，ｊ］、Ｇ［ｉ，ｊ］が求まるので、所望のカラー画像データに変換が完了する。変換後ＧＣｒＣｂ画像データは、メモリ１３に格納され、偽色低減処理や色補正など各種の画像処理が施されてもよい。さらに、メモリカード１６に格納する場合もある。メモリカード１６に格納する場合は、所定の表色変換処理や圧縮処理（ＪＰＥＧ）が施される場合もある。なお、初めにメモリ１３に格納される色差情報Ｃｒ［ｉ，ｊ］、Ｃｂ［ｉ，ｊ］は、（１−２．色差生成）で生成したものをそのまま使用する。
ＲＧＢ表色系の画像データ、すなわち、着目領域の各画素においてＲＧＢすべての色成分の色情報が必要な画像データとする場合は、式（１３２）（１３３）を使用してＲ［ｉ，ｊ］、Ｂ「ｉ，ｊ］を求める。Ｇ［ｉ，ｊ］は上記で求めたものを使用する。
Ｒ［ｉ，ｊ］＝Ｃｒ［ｉ，ｊ］＋Ｇ［ｉ，ｊ］ ．．．（１３２）
Ｂ［ｉ，ｊ］＝Ｃｂ［ｉ，ｊ］＋Ｇ［ｉ，ｊ］ ．．．（１３３）
このように、第６の実施の形態では、色差情報を画素単位で正確に求め、求めた画素単位の色差情報を使用して画素単位に色評価を行う。そのため、画像の構造的要因による影響を取り除いた画素単位での正確な色評価を行うことができる。すなわち、画素単位で画像の周辺構造を正確に把握し、最も類似していると思われる方向から色差情報が重みづけして集められる。従って、漫然と画像構造を見ずにあらゆる方向の画素間差分から色差情報を生成した場合に比べ、類似性の低い方向からの偽色要因となる色差情報が排除されている。そのため、色指標は画像の構造的要因に伴う攪乱の影響を受けない。
その結果、視覚的な影響の大きい輝度情報に対して、異色間類似度と同色間類似度を正しく使い分けることができ、ナイキスト周波数解像と彩色部における解像が両立した高画質なカラー画像への変換、復元が可能となる。また、先に色差面を生成し、それを色評価に用いた輝度（Ｇ）面生成に利用する手順を踏むため、従来、独立にベイア面から計算していた信頼性の低い色レベル算出を不要とし、簡便で高速に動作する処理を実現できる。また、先に生成した色差面の色差情報をそのまま画像データ出力に使用するため、新たに色差情報を生成しなおす必要がなく、処理が速くなる。
−第７の実施の形態−
第７の実施の形態は、光学系の色収差を含んだ画像や色変動の激しい画像に対しても有効なアルゴリズムを示す。第７の実施の形態の電子カメラ１の構成は、第１の実施形態〜第４の実施形態に対応する電子カメラの機能ブロック図として説明した図１と同様であるのでその説明を省略する。画像変換処理について、第６の実施の形態と異なる部分を中心に説明する。
画像処理部１１が行う画像データ変換処理の概要を示すフローチャートは、第６の実施の形態の図２２と同様である。ただし、ステップＳ４のＧ面生成およびステップＳ５のＧＣｒＣｂ面出力において、その内容が異なる。ステップＳ４のＧ面生成において、すなわち、第６の実施の形態で説明した（３．Ｇ面生成）において、（３−１．縦横方向判定２）（３−２．方向指標の選択）までは、第６の実施の形態と同様である。異なる点は、（３−３．Ｇの計算）において、斜め方向の類似性を考慮に入れて輝度情報Ｇを生成するところである。従って、第７の実施の形態では、第６の実施の形態の（３−３．Ｇの計算）の前に、新たに（３−３．斜め方向判定）を行い、その後（３−４．Ｇの計算）を行う。
図２５は、第７の実施の形態における処理の関係を説明するためのブロック図である。第６の実施の形態と異なるところは、斜め方向判定２０１が追加され、斜め方向判定２０１の出力ＤＮと選択器１０６の出力ＨＶと色評価１０４の結果ＢＷとが輝度生成２０２に接続されているところである。これは、輝度生成（Ｇの計算）２０２において、斜め方向判定と縦横方向判定の組み合わせによりきめの細かい方向判定を行い、そのきめの細かい判定結果に応じた計算式を使用するためである。また、方向判定がつかない部分についてもさらに輝度解像を上げるために、色評価１０４の結果ＢＷも参照して計算式を選択するためである。以下、その詳細について説明する。
第７の実施の形態の（３．Ｇ面生成）は、以下の構成となる。
（３．Ｇ面生成）
（３−１．縦横方向判定２）
（３−１−１．類似度の算出）
（３−１−１−１．同色間類似度）
（３−１−１−２．類似度の周辺加算）
（３−１−２．類似性判定）
（３−２．方向指標の選択）
（３−３．斜め方向判定）
（３−３−１．類似度の算出）
（３−３−１−１．類似度）
（３−３−１−２．類似度の周辺加算）
（３−３−２．類似性判定）
（３−４．Ｇの計算）
以下、説明を開始する。
（３−３．斜め方向判定）
（３−３−１．類似度の算出）
（３−３−１−１．類似度）
変換前ＲＧＢ画像データのＲ画素あるいはＢ画素において、注目画素を含む局所領域内の画素情報を使用して、斜め方向の類似性を判定する。斜め方向とは、斜め４５度、斜め１３５度の方向である。図１４で示すと、斜め４５度は［ＨＶ，ＤＮ］＝［０，１］の方向で、斜め１３５度は［ＨＶ，ＤＮ］＝［０，−１］の方向である。図１４については、さらに後述する。画素の座標を［ｘ，ｙ］とし、変換対象画素の座標を［ｉ，ｊ］とする。Ｇ画素の色情報をＧ［ｘ，ｙ］、Ｒ画素の色情報をＲ［ｘ，ｙ］、Ｂ画素の色情報をＢ［ｘ，ｙ］、Ｒ画素の色情報あるいはＢ画素の色情報を代表してＺ［ｘ，ｙ］とする。
まず、４５度方向のＢＲ（ＲＢ）間類似度成分Ｃ４５＿１を式（１４０）により、１３５度方向のＢＲ（ＲＢ）間類似度成分Ｃ１３５＿１を式（１４１）により、４５度方向のＧＧ間類似度成分Ｃ４５＿２を式（１４２）により、１３５度方向のＧＧ間類似度成分Ｃ１３５＿２を式（１４３）により、４５度方向のＢＢ（ＲＲ）間類似度成分Ｃ４５＿３を式（１４４）により、１３５度方向のＢＢ（ＲＲ）間類似度成分Ｃ１３５＿３を式（１４５）により求める。
ＢＲ（ＲＢ）間類似度成分
Ｃ４５＿１＝（｜Ｚ［ｉ＋１，ｊ−１］−Ｚ［ｉ，ｊ］｜＋｜Ｚ［ｉ−１，ｊ＋１］−Ｚ［ｉ，ｊ］｜）／２ ．．．（１４０）
Ｃ１３５＿１＝（｜Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ，ｊ］｜＋｜Ｚ［ｉ＋１，ｊ＋１］−Ｚ［ｉ，ｊ］｜）／２ ．．．（１４１）
ＧＧ間類似度成分
Ｃ４５＿２＝（｜Ｇ［ｉ，ｊ−１］−Ｇ［ｉ−１，ｊ］｜＋｜Ｇ［ｉ＋１，ｊ］−Ｇ［ｉ，ｊ＋１］｜）／２ ．．．（１４２）
Ｃ１３５＿２＝（｜Ｇ［ｉ，ｊ−１］−Ｇ［ｉ＋１，ｊ］｜＋｜Ｇ［ｉ−１，ｊ］−Ｇ［ｉ，ｊ＋１］｜）／２ ．．．（１４３）
ＢＢ（ＲＲ）間類似度成分
Ｃ４５＿３＝｜Ｚ［ｉ＋１，ｊ−１］−Ｚ［ｉ−１，ｊ＋１］｜
．．．（１４４）
Ｃ１３５＿３＝（｜Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ＋１，ｊ＋１］｜
．．．（１４５）
ＢＲ（ＲＢ）間類似度成分は、対象画素［ｉ，ｊ］と斜め方向にある異色画素との間の類似度を計算し、ＧＧ間類似度成分は、対象画素周辺の斜め方向にあるＧ画素同士の類似度を計算し、ＢＢ（ＲＲ）間類似度成分は、対象画素を挟んで斜め方向にある同色画素の類似度を計算するものである。
上記式（１４０）〜（１４５）で求めたＣ４５＿１、Ｃ１３５＿１、Ｃ４５＿２、Ｃ１３５＿２、Ｃ４５＿３、Ｃ１３５＿３を使用して、４５度方向の類似度Ｃ４５＿０［ｉ，ｊ］を式（１４６）により求め、１３５度方向の類似度Ｃ１３５＿０［ｉ，ｊ］を式（１４７）により求める。ただし、定数ａ１，ａ２，ａ３の値は、ａ１＝ａ２＝ａ３＝１やａ１＝ａ２＝２，ａ３＝１などに設定するとよい。
Ｃ４５＿０［ｉ，ｊ］＝（ａ１＊Ｃ４５＿１＋ａ２＊Ｃ４５＿２＋ａ３＊Ｃ４５＿３）／（ａ１＋ａ２＋ａ３） ．．．（１４６）
Ｃ１３５＿０［ｉ，ｊ］＝（ａ１＊Ｃ１３５＿１＋ａ２＊Ｃ１３５＿２＋ａ３＊Ｃ１３５＿３）／（ａ１＋ａ２＋ａ３） ．．．（１４７）
変換前ＲＧＢ画像データの着目領域のＲ画素、Ｂ画素において、４５度方向の類似度Ｃ４５＿０［ｘ，ｙ］、１３５度方向の類似度Ｃ１３５＿０［ｘ，ｙ］求める。
（３−３−１−２．類似度の周辺加算）
次に、類似度の周辺加算を行う。上記で求めた４５度方向の類似度Ｃ４５＿０［ｘ，ｙ］、１３５度方向の類似度Ｃ１３５＿０［ｘ，ｙ］を使用して、式（１０３）（１０４）の演算を行う。これは、縦横方向の類似度と同様に、周辺画素との連続性を考慮することにより類似度の精度を上げるためのものである。なお、簡略性、処理スピードを優先する場合は省いても良い。
Ｃ４５［ｉ，ｊ］＝（４＊Ｃ４５＿０［ｉ，ｊ］＋２＊（Ｃ４５＿０［ｉ−１，ｊ−１］＋Ｃ４５＿０［ｉ＋１，ｊ−１］＋Ｃ４５＿０［ｉ−１，ｊ＋１］＋Ｃ４５＿０［ｉ＋１，ｊ＋１］）＋Ｃ４５＿０［ｉ，ｊ−２］＋Ｃ４５＿０［ｉ，ｊ＋２］＋Ｃ４５＿０［ｉ−２，ｊ］＋Ｃ４５＿０［ｉ＋２，ｊ］）／１６ ．．．（１４７）
Ｃ１３５［ｉ，ｊ］＝（４＊Ｃ１３５＿０［ｉ，ｊ］＋２＊（Ｃ１３５＿０［ｉ−１，ｊ−１］＋Ｃ１３５＿０［ｉ＋１，ｊ−１］＋Ｃ１３５＿０［ｉ−１，ｊ＋１］＋Ｃ１３５＿０［ｉ＋１，ｊ＋１］）＋Ｃ１３５＿０［ｉ，ｊ−２］＋Ｃ１３５＿０［ｉ，ｊ＋２］＋Ｃ１３５＿０［ｉ−２，ｊ］＋Ｃ１３５＿０［ｉ＋２，ｊ］）／１６ ．．．（１４７）
（３−３−２．類似性判定）
次に、類似性判定を行う。上記で求めたＣ４５［ｉ，ｊ］、Ｃ１３５［ｉ，ｊ］を使用して、変換対象画素の類似性の判定を行う。ここでは、４５度方向に類似性が強いか、１３５度方向に類似性が強いか、４５度方向１３５度方向の判定は不能かの判定を行う。具体的には、条件（１４８）を満足するときは、４５度方向１３５度方向の判定は不能として方向指標ＤＮ［ｉ，ｊ］＝０をセットする。Ｔｈ２は所定のしきい値であり、縦横方向判定のＴｈ０、Ｔｈ１と同程度の値とする。例えば、２５６階調のときは１０前後の値とする。４５度方向１３５度方向の類似度間の差分がしきい値Ｔｈ２以下であれば、４５度方向に類似性が強いのか、１３５度方向に類似性が強いのか判定できないことを意味する。
｜Ｃ４５［ｉ，ｊ］−Ｃ１３５［ｉ，ｊ］｜≦Ｔｈ２ ．．．（１４８）
条件（１４８）が満足しない場合、すなわち、４５度方向１３５度方向どちらかの方向の類似性が判定できる場合は、条件（１４９）を満足するか否かを判定する。満足するときは、４５度方向に類似性が強いとして、方向指標ＤＮ［ｉ，ｊ］＝１をセットする。条件（１４９）を満足しない場合は、１３５度方向に類似性が強いとして方向指標ＤＮ［ｉ，ｊ］＝−１をセットする。なお、類似度Ｃ４５［ｉ，ｊ］、Ｃ１３５［ｉ，ｊ］は、値が小さいほど類似性が強いことを示している。
Ｃ４５［ｉ，ｊ］＜Ｃ１３５［ｉ，ｊ］ ．．．（１４９）
変換前ＲＧＢ画像データの着目領域のＲ画素、Ｂ画素において斜め方向指標ＤＮ［ｘ，ｙ］を求める。
（３−４．Ｇの計算）
上述した縦横方向指標ＨＶ［ｉ，ｊ］および斜め方向指標ＤＮ［ｉ，ｊ］に基づいて、変換前ＲＧＢ画像データのＲ画素あるいはＢ画素に対応する画素［ｉ，ｊ］における輝度情報ＧすなわちＧ［ｉ，ｊ］を求める。すなわち、Ｒ画素あるいはＢ画素における欠落するＧ成分の色情報を補間処理により求めることになる。この縦横方向指標ＨＶ［ｉ，ｊ］および斜め方向指標ＤＮ［ｉ，ｊ］の組み合わせにより、類似性の方向が９通りに分類できる。第１の実施の形態で説明した図１４を参照のこと。図１４では、方向指標［ＨＶ，ＤＮ］で示している。なお、方向指標［０，０］は、縦横斜めいずれの方向にも類似性がない（すなわち孤立点）、もしくはいずれの方向にも類似性がある（すなわち平坦部）ことを示す。
方向指標［ＨＶ，ＤＮ］、すなわち類似性の方向に応じて、以下に示すように式（１５０）〜（１５９）から１つを選択してＧ［ｉ，ｊ］を計算する。なお、方向指標［０，０］の場合は、さらに、（２−３．色判定）で求めた色指標ＢＷ［ｉ，ｊ］を考慮に入れて計算式を選択する。ただし、簡略性を優先する場合は省いてもよい。ＢＷ［ｉ，ｊ］＝’ｚ’、すなわち、色判定が完全無彩色の場合は、式（１５１）を使用せず式（１５０）を使用する。これは、式（１５１）が使用する式（１６０）（１６３）の２項目以降の補正項が２画素ピッチに基づく補正となっているため、式（１５１）を使用すると白黒ナイキストチェックパターンなどの画像を正確に補正できないためである。言い換えると、式（１５０）と式（１５１）を使い分けることにより、色指標ＢＷ［ｉ，ｊ］に基づき対象画素の色情報と周辺画素の色情報の加算比率あるいは構成比率を変更していると言える。図２６は、変換対象画素がＲ画素の場合において、方向指標に応じて使用する画素の位置およびその色成分を図示する図である。
方向指標［０，０］、ＢＷ［ｉ，ｊ］＝’ｚ’のとき式（１５０）を使用する。
方向指標［０，０］、ＢＷ［ｉ，ｊ］≠’ｚ’のとき式（１５１）を使用する。
方向指標［０，１］のとき式（１５２）を使用する。
方向指標［０，−１］のとき式（１５３）を使用する。
方向指標［１，０］のとき式（１５４）を使用する。
方向指標［１，１］のとき式（１５５）を使用する。
方向指標［１，−１］のとき式（１５６）を使用する。
方向指標［−１，０］のとき式（１５７）を使用する。
方向指標［−１，１］のとき式（１５８）を使用する。
方向指標［−１，−１］のとき式（１５９）を使用する。
Ｇ［ｉ，ｊ］＝｛Ｚ［ｉ，ｊ］＋（Ｇｖ＋Ｇｈ）／２］／２ ．．．（１５０）
Ｇ［ｉ，ｊ］＝（Ｇｖ＋Ｇｈ）／２ ．．．（１５１）
Ｇ［ｉ，ｊ］＝（Ｇｖ４５＋Ｇｈ４５）／２ ．．．（１５２）
Ｇ［ｉ，ｊ］＝（Ｇｖ１３５＋Ｇｈ１３５）／２ ．．．（１５３）
Ｇ［ｉ，ｊ］＝Ｇｖ ．．．（１５４）
Ｇ［ｉ，ｊ］＝Ｇｖ４５ ．．．（１５５）
Ｇ［ｉ，ｊ］＝Ｇｖ１３５ ．．．（１５６）
Ｇ［ｉ，ｊ］＝Ｇｈ ．．．（１５７）
Ｇ［ｉ，ｊ］＝Ｇｈ４５ ．．．（１５８）
Ｇ［ｉ，ｊ］＝Ｇｈ１３５ ．．．（１５９）
ここで、Ｇｖ、Ｇｈ、Ｇｖ４５、Ｇｈ４５、Ｇｖ１３５、Ｇｈ１３５は、以下の式（１６０）〜（１６５）により求める。
Ｇｖ＝（Ｇ［ｉ，ｊ−１］＋Ｇ［ｉ，ｊ＋１］）／２＋（２＊Ｚ［ｉ，ｊ］−Ｚ［ｉ，ｊ−２］−Ｚ［ｉ，ｊ＋２］）／８＋（２＊Ｇ［ｉ−１，ｊ］−Ｇ［ｉ−１，ｊ−２］−Ｇ［ｉ−１，ｊ＋２］＋２＊Ｇ［ｉ＋１，ｊ］−Ｇ［ｉ＋１，ｊ−２］−Ｇ［ｉ＋１，ｊ＋２］）／１６ ．．．（１６０）
Ｇｖ４５＝（Ｇ［ｉ，ｊ−１］＋Ｇ［ｉ，ｊ＋１］）／２＋（２＊Ｚ［ｉ，ｊ］−Ｚ［ｉ，ｊ−２］−Ｚ［ｉ，ｊ＋２］）／８＋（２＊Ｚ［ｉ−１，ｊ＋１］−Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ−１，ｊ＋３］＋２＊Ｚ［ｉ＋１，ｊ−１］−Ｚ［ｉ＋１，ｊ−３］−Ｚ［ｉ＋１，ｊ＋１］）／１６ ．．．（１６１）
Ｇｖ１３５＝（Ｇ［ｉ，ｊ−１］＋Ｇ［ｉ，ｊ＋１］）／２＋（２＊Ｚ［ｉ，ｊ］−Ｚ［ｉ，ｊ−２］−Ｚ［ｉ，ｊ＋２］）／８＋（２＊Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ−１，ｊ−３］−Ｚ［ｉ−１，ｊ＋１］＋２＊Ｚ［ｉ＋１，ｊ＋１］−Ｚ［ｉ＋１，ｊ−１］−Ｚ［ｉ＋１，ｊ＋３］）／１６ ．．．（１６２）
Ｇｈ＝（Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／２＋（２＊Ｚ［ｉ，ｊ］−Ｚ［ｉ−２，ｊ］−Ｚ［ｉ＋２，ｊ］）／８＋（２＊Ｇ［ｉ，ｊ−１］−Ｇ［ｉ−２，ｊ−１］−Ｇ［ｉ＋２，ｊ−１］＋２＊Ｇ［ｉ，ｊ＋１］−Ｇ［ｉ−２，ｊ＋１］−Ｇ［ｉ＋２，ｊ＋１］）／１６ ．．．（１６３）
Ｇｈ４５＝（Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／２＋（２＊Ｚ［ｉ，ｊ］−Ｚ［ｉ−２，ｊ］−Ｚ［ｉ＋２，ｊ］）／８＋（２＊Ｚ［ｉ＋１，ｊ−１］−Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ＋３，ｊ−１］＋２＊Ｚ［ｉ−１，ｊ＋１］−Ｚ［ｉ−３，ｊ＋１］−Ｚ［ｉ＋１，ｊ＋１］）／１６ ．．．（１６４）
Ｇｈ１３５＝（Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／２＋（２＊Ｚ［ｉ，ｊ］−Ｚ［ｉ−２，ｊ］−Ｚ［ｉ＋２，ｊ］）／８＋（２＊Ｚ［ｉ−１，ｊ−１］−Ｚ［ｉ−３，ｊ−１］−Ｚ［ｉ＋１，ｊ−１］＋２＊Ｚ［ｉ＋１，ｊ＋１］−Ｚ［ｉ−１，ｊ＋１］−Ｚ［ｉ＋３，ｊ＋１］）／１６ ．．．（１６５）
上記式（１６０）〜（１６５）の説明をする。Ｒ画素における処理と考えた場合、一つ目の括弧はＧ成分平均項、二つ目の括弧はＲ成分補正項、三つ目の括弧はＢ（Ｇ）成分補正項と呼ぶことができる。色変動が激しい場所では、Ｒ成分補正項が階調方向に過補正を起こす可能性があるが、Ｂ（Ｇ）成分補正項が階調方向に逆位相の役割を果たすため、過補正を防ぐことができる。一方、色収差がある場合、Ｒ成分補正項が空間的にずれてしまうが、Ｂ（Ｇ）成分補正項がその逆位相の方向にずれて互いに相殺し合い、色収差の影響を防ぐことができる。
また、方向指標［ＨＶ，ＤＮ］＝［０，０］の完全に方向類似性不明の箇所で、色評価によって完全無彩色が仮定されうる場合、Ｇ成分生成時の中心画素と周辺画素との寄与率を変更すれば、ナイキスト周波数のチェックパターン模様も解像するようになる。
従って、第７の実施の形態では、優れたナイキスト周波数解像と彩色部における解像の両立する高画質なカラー画像への変換、復元が可能となる。さらに、色変動の激しい画像や光学系の色収差を含むような画像に対しても耐性の強いカラー画像への変換、復元が可能となる。また、ソフトウェア処理としては十分高速に動作することが確認されている。
−第８の実施の形態−
第６の実施の形態や第７の実施の形態では、補間処理の考え方を採用してＧ面生成を行った。しかし、第８の実施の形態では、第６の実施の形態や第７の実施の形態とは異なる別方式で輝度情報を生成する例を示す。
第８の実施の形態の電子カメラ１の構成は、第１の実施形態〜第４の実施形態に対応する電子カメラの機能ブロック図として説明した図１と同様であるのでその説明を省略する。図２７は、第８の実施の形態において、画像処理部１１が行う画像データ変換処理の概要を示すフローチャートである。ステップＳ１〜Ｓ３は、第６の実施の形態の図２２と同様である。ステップＳ１４のＹ面生成およびステップＳ１５のＹＣｒＣｂ面出力は、第６の実施の形態と異なる。すなわち、第６の実施の形態および第７の実施の形態のステップＳ４のＧ面生成が、第８の実施の形態ではステップＳ１４のＹ面生成となり、ステップＳ５のＧＣｂＣｒ面出力がステップＳ１５のＹＣｂＣｒ面出力となる。図２１（ｂ）に変換の概念を示す。
ただし、ステップＳ１４のＹ面生成において、上述した第７の実施の形態の（３．Ｇ面生成）における（３−１．縦横方向判定２）（３−２．方向指標の選択）（３−３．斜め方向判定）は、第８の実施の形態においても同様である。従って、第７の実施の形態と異なる（Ｙの計算）、および、新たに追加された処理（エッジ強調）について説明する。さらに、ＹＣｂＣｒ面出力、すなわち（カラー画像出力）について説明する。第８の実施の形態における処理の関係のブロック図は、第７の実施の形態の図２５と同様である。
第８の実施の形態の（３．Ｙ面生成）（４．カラー画像出力）は、以下の構成となる。
（３．Ｙ面生成）
（３−１．縦横方向判定２）
（３−１−１．類似度の算出）
（３−１−１−１．同色間類似度）
（３−１−１−２．類似度の周辺加算）
（３−１−２．類似性判定）
（３−２．方向指標の選択）
（３−３．斜め方向判定）
（３−３−１．類似度の算出）
（３−３−１−１．類似度）
（３−３−１−２．類似度の周辺加算）
（３−３−２．類似性判定）
（３−４．Ｙの計算）
（３−５．エッジ強調）
（４．カラー画像出力）
以下、説明を開始する。
（３−４．Ｙの計算）
第８の実施の形態の輝度情報Ｙの計算は、第６の実施の形態や第７の実施の形態のＧ面生成ではなく、ベイア面を直接加重加算して輝度Ｙ面を生成する方式である。すなわち、補間処理がまだ行われていない変換前ＲＧＢ画像データの各色の色情報を使用して、輝度情報Ｙを直接生成するものである。変換前ＲＧＢ画像データ（ベイア面のデータ）の任意の色情報をＡ［ｘ，ｙ］で表すことにする。
上述した縦横方向指標ＨＶ［ｉ，ｊ］および斜め方向指標ＤＮ［ｉ，ｊ］に基づいて、変換前ＲＧＢ画像データのＲ画素あるいはＢ画素に対応する画素［ｉ，ｊ］における輝度情報ＹすなわちＹ［ｉ，ｊ］を求める。この縦横方向指標ＨＶ［ｉ，ｊ］および斜め方向指標ＤＮ［ｉ，ｊ］の組み合わせにより、類似性の方向が９通りに分類できるのは、第７の実施の形態と同様である（図１４）。
方向指標［ＨＶ，ＤＮ］、すなわち類似性の方向に応じて、以下に示すように式（１７０）〜（１７９）の１つを選択してＹ［ｉ，ｊ］を計算する。なお、方向指標［０，０］の場合は、第７の実施の形態と同様に、さらに、（２−３．色判定）で求めた色指標ＢＷ［ｉ，ｊ］を考慮に入れて計算式を選択する。ただし、簡略性を優先する場合は省いてもよい。
変換対象画素［ｉ，ｊ］がＧ画素のときは式（１７０）を使用し、変換対象画素［ｉ，ｊ］がＧ画素以外のときは以下の方向指標に応じた式（１７１）〜（１８０）のいずれかの式を使用する。なお、図２８は、変換対象画素がＧ画素の場合において、使用する画素の位置およびその係数（Ｇ位置の輝度生成係数パターン）を図示する図である。図２９は、変換対象画素がＲ画素あるいはＢ画素の場合において、方向指標に応じて使用する画素の位置およびその係数（Ｒ、Ｂ位置の輝度生成係数パターン）を図示する図である。
方向指標［０，０］、ＢＷ［ｉ，ｊ］＝’ｚ’のとき式（１７１）を使用する。
方向指標［０，０］、ＢＷ［ｉ，ｊ］≠’ｚ’のとき式（１７２）を使用する。
方向指標［０，１］のとき式（１７３）を使用する。
方向指標［０，−１］のとき式（１７４）を使用する。
方向指標［１，０］のとき式（１７５）を使用する。
方向指標［１，１］のとき式（１７６）を使用する。
方向指標［１，−１］のとき式（１７７）を使用する。
方向指標［−１，０］のとき式（１７８）を使用する。
方向指標［−１，１］のとき式（１７９）を使用する。
方向指標［−１，−１］のとき式（１８０）を使用する。
Ｙ［ｉ，ｊ］＝Ｙ_Ｇ ．．．（１７０）
Ｙ「ｉ，ｊ］＝Ｙ_ＲＢＵＮＩａ ．．．（１７１）
Ｙ［ｉ，ｊ］＝Ｙ_ＲＢＵＮＩｂ ．．．（１７２）
Ｙ［ｉ，ｊ］＝Ｙ_ＲＢ４５ ．．．（１７３）
Ｙ［ｉ，ｊ］＝Ｙ_ＲＢ１３５ ．．．（１７４）
Ｙ［ｉ，ｊ］＝Ｙ_ＲＢｖ ．．．（１７５）
Ｙ［ｉ，ｊ］＝Ｙ_ＲＢｖ４５ ．．．（１７６）
Ｙ［ｉ，ｊ］＝Ｙ_ＲＢｖ１３５ ．．．（１７７）
Ｙ［ｉ，ｊ］＝Ｙ_ＲＢｈ ．．．（１７８）
Ｙ［ｉ，ｊ］＝Ｙ_ＲＢｈ４５ ．．．（１７９）
Ｙ［ｉ，ｊ］＝Ｙ_ＲＢｈ１３５ ．．．（１８０）
ここで、上記Ｙ_Ｇ、Ｙ_ＲＢＵＮＩａ、Ｙ_ＲＢＵＮＩｂ、Ｙ_ＲＢ４５、Ｙ_ＲＢ１３５、Ｙ_ＲＢｖ、Ｙ_ＲＢｖ４５、Ｙ_ＲＢｖ１３５、Ｙ_ＲＢｈ、Ｙ_ＲＢｈ４５、Ｙ_ＲＢｈ１３５は、以下の式（１８１）〜（１９１）で表される。
Ｙ_Ｇ＝α＊Ａ［ｉ，ｊ］＋（β／４）＊｛Ａ［ｉ−１，ｊ］＋Ａ［ｉ＋１，ｊ］＋Ａ［ｉ，ｊ−１］＋Ａ［ｉ，ｊ＋１］｜ ．．．（１８１）
Ｙ_ＲＢＵＮＩａ＝ｐ＊Ａ［ｉ，ｊ］＋ｑ＊Ｙ_ＲＢＵＮＩｂ ．．．（１８２） Ｙ_ＲＢＵＮＩｂ＝（β／２）＊Ａ［ｉ，ｊ］＋α＊｛（ｖ１／２）＊Ａ［ｉ−１，ｊ］＋（ｖ２／２）＊Ａ［ｉ＋１，ｊ］＋（ｕ１／２）＊Ａ［ｉ，ｊ−１］＋（ｕ２／２）＊Ａ［ｉ，ｊ＋１］｝＋（β／２）＊｛（ｓ１／２）＊Ａ［ｉ−１，ｊ−１］＋（ｓ２／２）＊Ａ［ｉ＋１，ｊ＋１］＋（ｔ１／２）＊Ａ［ｉ＋１，ｊ−１］＋（ｔ２／２）＊Ａ［ｉ−１，ｊ＋１］｝ ．．．（１８３）
Ｙ_ＲＢ４５＝（β／２）＊Ａ［ｉ，ｊ］＋α＊｛（ｖ１／２）＊Ａ［ｉ−１，ｊ］＋（ｖ２／２）＊Ａ［ｉ＋１，ｊ］＋（ｕ１／２）＊Ａ［ｉ，ｊ−１］＋（ｕ２／２）＊Ａ［ｉ，ｊ＋１］｝＋（β／２）＊｛ｔ１＊Ａ［ｉ＋１，ｊ−１］＋ｔ２＊Ａ［ｉ−１，ｊ＋１］｝ ．．．（１８４）
Ｙ_ＲＢ１３５＝（β／２）＊Ａ［ｉ，ｊ］＋α＊｛（ｖ１／２）＊Ａ［ｉ−１，ｊ］＋（ｖ２／２）＊Ａ［ｉ＋１，ｊ］＋（ｕ１／２）＊Ａ［ｉ，ｊ−１］＋（ｕ２／２）＊Ａ［ｉ，ｊ＋１］｝＋（β／２）＊｛ｓ１＊Ａ［ｉ−１，ｊ−１］＋ｓ２＊Ａ［ｉ＋１，ｊ＋１］｝ ．．．（１８５）
Ｙ_ＲＢｖ＝（β／２）＊Ａ［ｉ，ｊ］＋α＊｛ｕ１＊Ａ［ｉ，ｊ−１］＋ｕ２＊Ａ［ｉ，ｊ＋１］｝＋（β／２）＊｛（ｓ１／２）＊Ａ［ｉ−１，ｊ−１］＋（ｓ２／２）＊Ａ［ｉ＋１，ｊ＋１］＋（ｔ１／２）＊Ａ［ｉ＋１，ｊ−１］＋（ｔ２／２）＊Ａ［ｉ−１，ｊ＋１］｝ ．．．（１８６）
Ｙ_ＲＢｖ４５＝（β／２）＊Ａ［ｉ，ｊ］＋α＊｛ｕ１＊Ａ［ｉ，ｊ−１］＋ｕ２＊Ａ［ｉ，ｊ＋１］｝＋（β／２）＊｛ｔ１＊Ａ［ｉ＋１，ｊ−１］＋ｔ２＊Ａ［ｉ−１，ｊ＋１］｝ ．．．（１８７）
Ｙ_ＲＢｖ１３５＝（β／２）＊Ａ［ｉ，ｊ］＋α＊｛ｕ１＊Ａ［ｉ，ｊ−１］＋ｕ２＊Ａ［ｉ，ｊ＋１］｝＋（β／２）＊｛ｓ１＊Ａ［ｉ−１，ｊ−１］＋ｓ２＊Ａ［ｉ＋１，ｊ＋１］｝ ．．．（１８８）
Ｙ_ＲＢｈ＝（β／２）＊Ａ［ｉ，ｊ］＋α＊｛ｖ１＊Ａ［ｉ−１，ｊ］＋ｖ２＊Ａ［ｉ＋１，ｊ］｝＋（β／２）＊｛（ｓ１／２）＊Ａ［ｉ−１，ｊ−１］＋（ｓ２／２）＊Ａ［ｉ＋１，ｊ＋１］＋（ｔ１／２）＊Ａ［ｉ＋１，ｊ−１］＋（ｔ２／２）＊Ａ［ｉ−１，ｊ＋１］｝ ．．．（１８９）
Ｙ_ＲＢｈ４５＝（β／２）＊Ａ［ｉ，ｊ］＋α＊｛ｖ１＊Ａ［ｉ−１，ｊ］＋ｖ２＊Ａ［ｉ＋１，ｊ］｝＋（β／２）＊｛ｔ１＊Ａ［ｉ＋１，ｊ−１］＋ｔ２＊Ａ［ｉ−１，ｊ＋１］｝ ．．．（１９０）
Ｙ_ＲＢｈ１３５＝（β／２）＊Ａ［ｉ，ｊ］＋α＊（ｖ１＊Ａ［ｉ−１，ｊ］＋ｖ２＊Ａ［ｉ＋１，ｊ］｝＋（β／２）＊｛ｓ１＊Ａ［ｉ−１，ｊ−１］＋ｓ２＊Ａ［ｉ＋１，ｊ＋１］｝ ．．．（１９１）
ただし、上記定数（係数）には以下の制約条件（１９２）が付く。また、これらは全て正または零の値をとる。
α＋β＝１，ｐ＋ｑ＝１，ｕ１＋ｕ２＝１，ｖ１＋ｖ２＝１，ｓ１＋ｓ２＝１，ｔ１＋ｔ２＝１ ．．．（１９２）
一般的に好ましい定数の設定には以下のような例がある。
ｕ１≒ｕ２，ｖ１≒ｖ２，ｓ１≒ｓ２，ｔ１≒ｔ２
（α，β）＝（１／３，２／３），（４／９，５／９），（５／１１，６／１１），（１／２，１／２），（５／９，４／９），（３／５，２／５），（２／３，１／３）
（ｐ，ｑ）＝（１／３，２／３），（１／２，１／２）
定数α，βは、輝度に占めるＲ，Ｇ，Ｂ比率を決めるパラメータで、Ｙ＝α＊Ｇ＋β＊（Ｒ＋Ｂ）／２の関係にある。定数ｐ，ｑは、輝度値に含まれる中心画素と周辺画素の色情報構成比率を変更するパラメータであり、Ｙ_ＲＢＵＮＩａはナイキスト周波数のチェックパターンを解像する役割を果たす。
（３−５．エッジ強調）
上述したＹ面は、微細構造を保持して極めて滑らかに連結した画像が出来上がる。従って、エッジ強調処理をする場合は、方向性を考慮しなくてもよい簡略な固定フィルタを通すだけでよい。エッジ強調のフィルターとして、式（１９３）および図３０で示すラプラシアンの例を示す。さらに、式（１９４）の演算を行い最終的な輝度情報Ｙを求める。式（１９４）における定数Ｋは正の値をとり、通常１以上に設定する。
ＹＨ［ｉ，ｊ］＝｛８＊Ｙ［ｉ，ｊ］（Ｙ［ｉ−１，ｊ］＋Ｙ［ｉ＋１，ｊ］＋Ｙ［ｉ，ｊ−１］＋Ｙ［ｉ，ｊ＋１］＋Ｙ［ｉ−１，ｊ−１］＋Ｙ［ｉ＋１，ｊ−１］＋Ｙ［ｉ−１，ｊ＋１］＋Ｙ［ｉ＋１，ｊ＋１］）｝／１６
．．．（１９３）
Ｙ［ｉ，ｊ］＝Ｙ［ｉ，ｊ］＋Ｋ＊ＹＨ［ｉ，ｊ］ ．．．（１９４）
（４．カラー画像出力）
以上により、各画素についてＣｒ［ｉ，ｊ］、Ｃｂ［ｉ，ｊ］、Ｙ［ｉ，ｊ］が求まるので、ＹＣｒＣｂ表色系のカラー画像データが出来上がる。この後に、何らかの色差補正処理等、各種の画像処理を施してもよい。また、このＹＣｂＣｒ画像データからＲＧＢ表色系に変換する場合は、以下の式（１９５）〜（１９７）を使用して計算する。これにより、着目領域の画素にＲ、Ｇ、Ｂすべての色成分の色情報を有するＲＧＢ表色系の画像データを生成することができる。
Ｒ［ｉ，ｊ］＝Ｙ［ｉ，ｊ］＋（１−β／２）＊Ｃｒ［ｉ，ｊ］−（β／２）＊Ｃｂ［ｉ，ｊ］ ．．．（１９５）
Ｇ［ｉ，ｊ］＝Ｙ［ｉ，ｊ］−（β／２）＊Ｃｒ［ｉ，ｊ］−（β／２）＊Ｃｂ［ｉ，ｊ］ ．．．（１９６）
Ｂ［ｉ，ｊ］＝Ｙ［ｉ，ｊ］−（β／２）＊Ｃｒ［ｉ，ｊ］＋（１−β／２）＊Ｃｂ［ｉ，ｊ］ ．．．（１９７）
第８の実施の形態においても、正確な方向判定結果を用いた輝度面生成により、色収差を含むあらゆる種類の画像に対し、優れたナイキスト周波数解像と彩色部における解像の両立する高画質なカラー画像への変換、復元を可能とする。さらに、第８の実施の形態でもソフトウェア処理としては十分高速に動作することが確認されている。
−第９の実施の形態−
第９の実施の形態では、第６の実施の形態で求めた色差補正１とは別に、色差補正１とは異なる色差補正２を計算し、色判定の結果に基づき最終的に出力する色差面に対する色差補正を使い分けるものである。これにより、輝度面とは独立して、偽色が少なく色忠実性の高い色差面を生成することが可能となる。
第９の実施の形態の電子カメラ１の構成は、第１の実施形態〜第４の実施形態に対応する電子カメラの機能ブロック図として説明した図１と同様であるのでその説明を省略する。図３１は、第９の実施の形態において、画像処理部１１が行う画像データ変換処理の概要を示すフローチャートである。ステップＳ１〜Ｓ３およびステップＳ４、Ｓ５は、第６の実施の形態の図２２と同様である。しかし、ステップＳ３とステップＳ４の間にＣｒ、Ｃｂ面選択の新たなステップＳ２１が挿入されている。
図３２は、第９の実施の形態における処理の関係を説明するためのブロック図である。第６の実施の形態の図２３のベイア面１０１、色差生成１０２、縦横方向判定１０３、色評価１０４に対応する部分を抜き出して図示されている。第６の実施の形態では色評価１０４に含まれていた色差補正１を抜き出して色差補正１（３０１）として表し、新たに色差補正２（３０２）を設け、色差補正１（３０１）の出力ＴＣｒ１，ＴＣｂ１と、色差補正２（３０２）の出力ＴＣｒ２，ＴＣｂ２を選択器３０３に接続している。これは、色評価１０４の結果ＢＷに基づいて色差補正１（３０１）と色差補正２を適切に選択するためである。
以下、新たに追加されたＣｒ、Ｃｂ面選択について説明する。第９の実施の形態の画像変換処理は、以下の構成となる。第６の実施の形態との違いは、（４．Ｇ面生成）の前に（３．Ｃｒ、Ｃｂ面選択）の処理が入っているところである。
（１．Ｃｒ、Ｃｂ面生成）
（２．色評価）
（２−１．色差補正１）
（２−２．色指標の算出）
（２−３．色判定）
（３．Ｃｒ、Ｃｂ面選択）
（３−１．色差補正２）
（３−２．色差選択）
（４．Ｇ面生成）
（５．カラー画像出力）
以下、説明を開始する。
（３．Ｃｒ、Ｃｂ面選択）
（３−１．色差補正２）
第６の実施の形態と同様の（２．色評価）の（２−１．色差補正１）で示したローパスフィルタ（図２４）は、広域型のため偽色低減と色評価目的の利用には優れる。しかし、最終的に出力する色差面としては微細色パターンの色忠実性にはやや劣る。そこで、第９の実施の形態では、もう一つ偽色低減には劣るが微細色パターンの色再現性に優れる狭域型のローパスフィルタを用意する。具体的には式（２００）を使用して色差補正２を行う。図３３は、この狭域型のローパスフィルタを図示したものである。ただし、式（２００）に限らず更に弱いローパスフィルタや何も処理しない通過であってもよい。
ＴＣｒ２［ｉ，ｊ］＝｛４＊Ｃｒ［ｉ，ｊ］＋２＊（Ｃｒ［ｉ−１，ｊ］＋Ｃｒ［ｉ＋１，ｊ］＋Ｃｒ［ｉ，ｊ−１］＋Ｃｒ［ｉ，ｊ＋１］）＋１＊（Ｃｒ［ｉ−１，ｊ−１］＋Ｃｒ［ｉ＋１，ｊ−１］＋Ｃｒ［ｉ−１，ｊ＋１］＋Ｃｒ［ｉ＋１，ｊ＋１］）｜／１６ ．．．（２００）
ＴＣｂ２［ｉ，ｊ］も同様に算出。
（３−２．色差選択）
次に、色判定結果に基づき、２種類の方法で補正処理された色差面から、信頼性の高い方を選択する。具体的には、ＢＷ［ｉ，ｊ］≠’ｃ’のときは、Ｃｒ［ｉ，ｊ］としてＴＣｒ１［ｉ，ｊ］、Ｃｂ［ｉ，ｊ］としてＴＣｂ１［ｉ，ｊ］を選択する。ＢＷ［ｉ，ｊ］＝’ｃ’のときは、Ｃｒ［ｉ，ｊ］としてＴＣｒ２［ｉ，ｊ］、Ｃｂ［ｉ，ｊ］としてＴＣｂ２［ｉ，ｊ］を選択する。
すなわち、色評価結果により色彩が弱いか無彩色の場合は、広城型の偽色低減にすぐれたローパスフィルターを使用し、色彩が強い場合は、偽色低減には劣るが微細色パターンの色再現性に優れる狭域型のローパスフィルタを使用する。これにより、低偽色で色忠実性の高い色差面生成を、色差面単独の処理として完結することができる。特に、ハードウェア用途には極めて実現しやすい簡略性を与える。なお、第９の実施の形態は、第６の実施の形態に対して、さらに色差面を適応的に処理をするものである。この内容は、第７の実施の形態、第８の実施の形態の処理にも適用できる。
図３４は、上記に説明した第６〜第９の実施の形態における色評価により求めた色指標の利用について、整理して説明する図である。図３４（ａ）は、各実施の形態において色評価により求めた色指標ＢＷを説明する図である。図の左方向が無彩色側で、右方向が彩色側すなわち彩度、色合い、彩りが強くなる方向である。図３４（ｂ）は、輝度情報の生成において、完全無彩色の場合に中心画素（対象画素）の比率を大きくして計算するものである。例えば、第７の実施の形態において、方向指標［０，０］、ＢＷ［ｉ，ｊ］＝’ｚ’のとき式（１５０）を使用し、方向指標［０，０］、ＢＷ［ｉ，ｊ］≠’ｚ’のとき式（１５１）を使用するものである。
図３４（ｃ）は、第６〜第９の実施の形態において、類似性の方向判定をするとき、異色間類似度を使用するか同色間類似度を使用するかを色評価の結果により使い分けるものである。色評価が無彩色の場合は異色間類似度を使用し、有彩色の場合は同色間類似度をを使用するものである。図３４（ｄ）は、色差補正を広域型ローパスフィルタを使用して補正するか狭域型ローパスフィルタを使用して補正するかを、色評価の結果により決めるものである。
なお、上記実施の形態では、ＲＧＢ表色系の画像を色差、輝度情報からなる画像（ＧＣｂＣｒやＹＣｂＣｒ）に変換する例を説明したが、必ずしもこの内容に限定する必要はない。他の表色系の画像を色差、輝度情報からなる画像に変換する場合であってもよい。また、ＲＧＢ表色系をＲＧＢ表色系のまま補間処理によって変換する場合であってもよい。
また、上記実施の形態では、ベイア配列のＲＧＢ表色系の例を説明したが、必ずしもこの内容に限定する必要はない。他の配列のカラーフィルタであってもよい。
また、上記実施の形態では、類似性の判定に各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により類似性を判定するようにしてもよい。また、輝度情報の計算においても各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により輝度情報を生成するようにしてもよい。
また、上記実施の形態では、色差補正でローパスフィルタ（図２４、図３３）、エッジ強調でバンドパスフィルタ（図３０）の例を示したが、必ずしもこれらの内容に限定する必要はない。他の構成のローパスフィルタやバンドパスフィルタであってもよい。
また、上記実施の形態では、画像データの着目領域を対象に処理する例を示したが、必ずしもこれらの内容に限定する必要はない。すなわち、１画素や数画素における処理や、画像全体にわたる処理であっても本発明は適用できる。
また、上記実施の形態では、電子カメラの例で示したが、必ずしもこの内容に限定する必要はない。動画を撮像するビデオカメラや、撮像素子つきパーソナルコンピュータや携帯電話などであってもよい。すなわち、撮像素子によりカラー画像データを生成するあらゆる装置に適用できる。
パーソナルコンピュータなどに適用する場合、上述した処理に関するプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図３５はその様子を示す図である。パーソナルコンピュータ４００は、ＣＤ−ＲＯＭ４０４を介してプログラムの提供を受ける。また、パーソナルコンピュータ４００は通信回線４０１との接続機能を有する。コンピュータ４０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク４０３などの記録媒体にプログラムを格納する。通信回線４０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ４０２はハードディスク４０３を使用してプログラムを読み出し、通信回線４０１を介してプログラムをパーソナルコンピュータ４００に送信する。すなわち、プログラムをデータ信号として搬送波にのせて、通信回線４０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
【図面の簡単な説明】
図１は、第１の実施形態ないし第９の実施形態に対応する電子カメラの機能ブロック図である。
図２は、補間処理の対象となる画像データの色成分の配列を示す図である。
図３は、第１の実施形態における画像処理部の動作フローチャートである。
図４は、第１の実施形態における画像処理部の動作フローチャートである。
図５は、第１の実施形態における画像処理部の動作フローチャートである。
図６は、第１の実施形態における画像処理部の動作フローチャートである。
図７は、第１の実施形態における画像処理部の動作フローチャートである。
図８は、色判定用画像生成処理の過程で参照する図である。
図９は、色指標を算出する過程で参照する図である。
図１０は、色指標を説明するための図である。
図１１は、縦方向・横方向に対する同色間類似度を算出する過程で参照する図である。
図１２は、第１の実施形態における類似性判定処理の他の例を示す図である。
図１３は、斜め方向に対する同色間類似度を算出する過程で参照する図である。
図１４は、（ＨＶ，ＤＮ）の値に対応する類似性の強い方向を示す図である。
図１５は、第２の実施形態における画像処理部の動作フローチャートである。
図１６は、色指標と輝度指標との関係を示す図である。
図１７は、メディアンフィルタの範囲を説明する図である。
図１８は、第２の実施形態における補間値算出処理の他の例を示す図である。
図１９は、第３の実施形態における画像処理部の動作フローチャートである。
図２０は、第３の実施形態における色判定処理の他の例を示す図である。
図２１は、画像データの変換の概念を示す図である。
図２２は、画像処理部が行う画像データ変換処理の概要を示すフローチャートである。
図２３は、第６の実施の形態における処理の関係を説明するためのブロック図である。
図２４は、広域型ローパスフィルタを示す図である。
図２５は、第７の実施の形態における処理の関係を説明するためのブロック図である。
図２６は、変換対象画素がＲ画素の場合において、方向指標に応じて使用する画素の位置およびその色成分を図示する図である。
図２７は、第８の実施の形態において、画像処理部が行う画像データ変換処理の概要を示すフローチャートである。
図２８は、変換対象画素がＧ画素の場合において、使用する画素の位置およびその係数（Ｇ位置の輝度生成係数パターン）を図示する図である。
図２９は、変換対象画素がＲ画素あるいはＢ画素の場合において、方向指標に応じて使用する画素の位置およびその係数（Ｒ、Ｂ位置の輝度生成係数パターン）を図示する図である。
図３０は、エッジ強調のフィルターを示す図である。
図３１は、第９の実施の形態において、画像処理部が行う画像データ変換処理の概要を示すフローチャートである。
図３２は、第９の実施の形態における処理の関係を説明するためのブロック図である。
図３３は、狭域型のローパスフィルタを示す図である。
図３４は、第６〜第９の実施の形態における色評価により求めた色指標の利用について、整理して説明する図である。
図３５は、プログラムを、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供する様子を示す図である。

Claims (46)

1. 複数の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなる第１の画像を、複数の画素からなり各々の画素に少なくとも１つの共通する色情報を有する第２の画像に変換する画像処理方法であって、
   第２の画像の処理対象画素に対し、少なくとも３通りの何れかの方法を用いて、前記第１の画像の色情報から色差情報を生成する色差情報生成手順と、第２の画像の処理対象画素に対し、前記色差情報を用いて画素単位での色評価を行う色評価手順とからなる色判定手順と、
   前記色判定手順の色評価結果に基づいて、前記第１の画像を前記第２の画像に変換する画像変換手順とを有する。
2. クレーム１に記載の画像処理方法において、
   前記色判定手順は、さらに、第２の画像の処理対象画素に対し、前記第１の画像の色情報を用いて、少なくとも２方向に関する類似度を算出する類似度算出手順と、前記類似度に基づき、各方向に対する類似性の強弱を少なくとも３段階で判定する類似性判定手順とを有し、
   前記色差情報生成手順は、前記類似性判定手順の判定結果に応じて用意された少なくとも３通りの何れかの方法を用いて、前記第１の画像の色情報から色差情報を生成する。
3. クレーム１に記載の画像処理方法において、
   前記画像変換手順は、
   １）前記第１の画像の色情報を用いて前記処理対象画素の少なくとも２方向に関して、
   異なる色成分の色情報からなる異色間類似度と、
   同じ色成分の色情報からなる同色間類似度を算出し、
   前記色評価結果に基づいて、前記異色間類似度と前記同色間類似度を使い分けて類似度を算出する類似度算出手順と、
   ２）前記類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順と、
   ３）前記類似性判定手順の判定結果に基づき、前記第１の画像の色情報を用いて前記第２の画像の色情報を生成する第２画像生成手順と
   を有する。
4. クレーム１に記載の画像処理方法において、
   前記画像変換手順は、
   １）前記第１の画像の色情報を用いて前記処理対象画素の少なくとも２方向に関して、
   異なる色成分の色情報からなる異色間類似度と、
   同じ色成分の色情報からなる同色間類似度を算出し、
   前記色評価結果に基づいて、前記異色間類似度と前記同色間類似度とを加重加算してその加重比率を変えることにより類似度を算出する類似度算出手順と、
   ２）前記類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順と、
   ３）前記類似性判定手順の判定結果に基づき、前記第１の画像の色情報を用いて前記第２の画像の色情報を生成する第２画像生成手順と
   を有する。
5. クレーム１に記載の画像処理方法において、
   前記画像変換手順は、
   前記処理対象画素位置に対応する第１の画像の画素の色情報とその周辺画素の色情報を用いて前記第２の画像の色情報を生成し、前記色評価結果に応じてその構成比率を変更する第２画像生成手順を有する。
6. クレーム１に記載の画像処理方法において、
   前記画像変換手順は、
   １）前記第１の画像の色情報を用いて、前記第２の画像の色差情報を生成する第２画像生成手順と
   ２）前記色評価結果に基づいて、前記第２の画像の色差情報を補正する色差情報補正手順と
   を有する。
7. クレーム１に記載の画像処理方法において、
   １）前記色判定手順の色差情報生成手順は、
   １つの処理対象画素に対し複数種類の色差情報を生成し、
   ２）前記色判定手順の色評価手順は、
   前記複数種類の色差情報の組合せでできる新たな色差情報も考慮して色評価を行う。
8. クレーム２に記載の画像処理方法において、
   前記色判定手順の類似度算出手順は、
   異なる色成分の色情報からなる異色間類似度を類似度として算出する。
9. クレーム１に記載の画像処理方法において、
   前記色判定手順の色評価手順は、
   前記色差情報生成手順によって生成される色差情報を、前記処理対象画素のみならず、その周辺画素についても合わせて用いることによって色評価を行う。
10. クレーム３または４に記載の画像処理方法において、
    前記画像変手順の類似度算出手順は、
    前記色評価で彩度が低いと判断された場合には、類似度として前記異色間類似度を主に利用し、彩度が高いと判断された場合には、前記同色間類似度を主に利用する。
11. クレーム５に記載の画像処理方法において、
    前記画像変換手順の第２画像生成手順は、
    前記色評価で彩度が低いと判断された場合、前記処理対象画素に位置する第１の画像の画素の色情報の構成比率を上げる。
12. クレーム５に記載の画像処理方法において、
    前記画像変換手順は、
    前記第２画像生成手順の前に、前記処理対象画素に対し、
    １）前記第１の画像の色情報を用いて、少なくとも２方向に関する類似度を算出する類似度算出手順と、
    ２）前記類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順と
    を有し、
    前記類似性判定手順の判定結果が、各方向に対して同程度であると判定された場合にのみ前記色評価結果に応じて前記構成比率を変更する。
13. クレーム６に記載の画像処理方法において、
    前記画像変換手順の色差情報補正手順は、
    前記色評価で彩度が低いと判断された場合には、前記第２の画像の色差情報に広域型のフィルタ処理を行い、彩度が高いと判断された場合には、前記第２の画像の色差情報に狭域型のフィルタ処理を行う。
14. クレーム１に記載の画像処理方法において、
    前記色判定手順の色評価手順は、
    前記色差情報を補正し、前記補正された色差情報を用いて色評価を行う。
15. クレーム１４に記載の画像処理方法において、
    前記色判定手順の色評価手順は、
    前記色差情報に対する補正処理として、ローパスフィルタ処理を行う。
16. クレーム１に記載の画像処理方法において、
    前記色判定手順は、前記色評価手順の後に、
    １）前記色評価結果に基づいて、前記色差情報を補正する色差情報補正手順と、
    ２）前記色差情報補正手順によって補正された色差情報を用いて、再度画素単位の色評価を行う再色評価手順と
    を有し、
    前記再色評価手順の色評価結果に基づいて、前記第１の画像を前記第２の画像に変換する。
17. クレーム１６に記載の画像処理方法において、
    前記色判定手順は、前記色差情報補正手順の前に、
    １）前記第１の画像の色情報を用いて、輝度情報を算出する輝度情報算出手順と、
    ２）前記輝度情報を用いて、画素単位での輝度評価を行う輝度評価手順と
    を有し、
    前記色差情報補正手順は、前記再色評価手順の色評価結果と前記輝度評価手順の輝度評価結果とに基づいて、前記色差情報を補正する。
18. クレーム１６に記載の画像処理方法において、
    前記色判定手順の色差情報補正手順は、前記色差情報にメディアンフィルタ処理を行う。
19. 複数の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなる第１の画像を、１つの画素に複数種類の色情報を有する複数の画素からなる第２の画像に変換する画像処理方法であって、
    前記第１の画像を取得する画像取得手順と、
    前記取得した第１の画像の色成分の色情報に基づき、前記第２の画像の画素位置に色差情報を生成する色差情報生成手順と、
    前記生成した第２の画像の色差情報を用いて画素単位で色評価を行う色評価手順と、
    前記第２の画像の画素単位の色評価結果に基づいて、前記第２の画像の画素位置に輝度情報を生成する輝度情報生成手順と、
    前記色差情報生成手順で生成した色差情報と輝度情報生成手順で生成した輝度情報を使用して、前記第２の画像を出力する出力手順とからなる。
20. クレーム１９記載の画像処理方法において、
    前記第２の画像の１つの画素位置における色差情報は複数種類の色差情報からなり、
    前記色評価手順は、前記複数種類の色差情報の組み合わせでできる新たな色差情報も考慮して色評価を行う。
21. クレーム２０記載の画像処理方法において、
    前記第１の画像は、第１の色成分、第２の色成分、および第３の色成分からなる表色系で表され、第１の色成分の画素密度は他の第２の色成分あるいは第３の色成分の画素密度より高い画素密度で配置され、
    前記複数種類の色差情報は、第１の色成分の色情報と第２の色成分の色情報の差分からなる第１の色差情報と、第１の色成分の色情報と第３の色成分の色情報の差分からなる第２の色差情報とからなり、
    前記新たな色差情報は、前記第１の色差情報と前記第２の色差情報の差分からなる。
22. クレーム１９〜２１のいずれか１項に記載の画像処理方法において、
    前記色評価手順は、前記生成した第２の画像の色差情報を補正し、前記補正された色差情報を用いて色評価を行う。
23. クレーム２２記載の画像処理方法において、
    前記色評価手順は、前記生成した第２の画像の色差情報をローパスフィルタ処理を行うことにより補正する。
24. クレーム１９〜２３のいずれか１項に記載の画像処理方法において、
    前記輝度情報生成手順の前に、前記第２の画像の画素に対応する前記第１の画像の画素において、該画素を含む局所領域の異なる色成分の色情報を用いて周辺画素との間の少なくとも２方向に関する異色間類似度を算出し、該画素を含む局所領域の同一の色成分の色情報を用いて周辺画素との間の前記少なくとも２方向に関する同色間類似度を算出する類似度算出手順と、
    前記輝度情報生成手順の前かつ前記色評価手順の後に、前記第２の画像の画素に対応する前記第１の画像の画素において、前記類似度算出手順により算出された前記異色間類似度と前記同色間類似度とを前記色評価結果に基づいて使い分けて周辺画素との間の前記少なくとも２方向に関する類似性の強弱を判定する類似性判定手順とを有し、
    前記輝度情報生成手順は、前記類似性判定手順の判定結果に基づいて、前記第２の画像の画素位置に輝度情報を生成する。
25. クレーム１９〜２４のいずれか１項に記載の画像処理方法において、
    前記第１の画像の複数の画素と前記第２の画像の複数の画素とは、同じ位置関係で対応する。
26. クレーム１９に記載の画像処理方法において、
    前記輝度情報生成手順は、前記第２の画像の画素に対応する前記第１の画像の画素の色情報と周辺画素の色情報とを使用して前記第２の画像の画素位置に輝度情報を生成し、前記第２の画像の画素単位の色評価結果に基づいて、前記第２の画像の画素に対応する前記第１の画像の画素の色情報と周辺画素の色情報との構成比率を変更する。
27. クレーム１９に記載の画像処理方法において、
    前記色差生成手順の前に、前記第２の画像の画素に対応する前記第１の画像の画素において、該画素を含む局所領域の色情報を用いて周辺画素との間の少なくとも２方向に関する類似性の強弱を判定する類似性判定手順を有し、
    前記色差情報生成手順は、前記類似性判定手順の判定結果に基づいて、前記第２の画像の画素位置に色差情報を生成する。
28. クレーム２７に記載の画像処理方法において、
    前記類似性判定手順は、前記第２の画像の画素に対応する前記第１の画像の画素において、該画素を含む局所領域の異なる色成分の色情報を用いて周辺画素との間の少なくとも２方向に関する類似性の強弱を判定する。
29. 複数の色成分からなる表色系で表され、１つの画素に少なくとも１つの色成分の色情報を有する複数の画素からなる第１の画像を、複数の画素からなり各々の画素に少なくとも１つの共通する前記第１の画像が有しない色情報を有する第２の画像に変換する画像処理方法であって、
    第２の画像の処理対象画素に対し、
    １）前記第１の画像の色情報を用いて、色差情報を生成する色差情報生成手順と、
    ２）前記色差情報を用いて画素単位で色評価を行う色評価手順と、
    ３）前記色評価手順の色評価結果に基づいて複数種類の補正から１つの補正を選択して、前記色差情報
    を補正する色差情報補正手順と
    ４）前記補正された色差情報を使用して、前記第２の画像を出力する出力手順とからなる。
30. クレーム２９に記載の画像処理方法において、
    前記複数の補正は、前記生成した色差情報を広域型ローパスフィルタ処理を行うことにより補正する第１の補正と、前記生成した色差情報を狭域型ローパスフィルタ処理を行うことにより補正する第２の補正からなり、
    前記色差情報補正手順は、前記色評価で彩度が低いと判定された場合には第１の補正を選択し、彩度が高いと判定された場合には第２の補正を選択する。
31. クレーム２９に記載の画像処理方法において、
    前記複数の補正は、前記生成した色差情報を広域型メディアンフィルタ処理を行うことにより補正する第１の補正と、前記生成した色差情報を狭域型メディアンフィルタ処理を行うことにより補正する第２の補正からなり、
    前記色差情報補正手順は、前記色評価で彩度が低いと判定された場合には第１の補正を選択し、彩度が高いと判定された場合には第２の補正を選択する。
32. クレーム２９記載の画像処理方法において、
    前記第２の画像の１つの画素位置における色差情報は複数種類の色差情報からなり、
    前記色評価手順は、前記複数種類の色差情報の組み合わせでできる新たな色差情報も考慮して色評価を行う。
33. クレーム３２記載の画像処理方法において、
    前記第１の画像は、第１の色成分、第２の色成分、および第３の色成分からなる表色系で表され、第１の色成分の画素密度は他の第２の色成分あるいは第３の色成分の画素密度より高い画素密度で配置され、
    前記複数種類の色差情報は、第１の色成分の色情報と第２の色成分の色情報の差分からなる第１の色差情報と、第１の色成分の色情報と第３の色成分の色情報の差分からなる第２の色差情報とからなり、
    前記新たな色差情報は、前記第１の色差情報と前記第２の色差情報の差分からなる。
34. クレーム２９に記載の画像処理方法において、
    前記色評価手順は、
    前記色差情報生成手順によって生成される色差情報を、処理対象画素のみならず、その周辺画素についても合わせて用いることによって色評価を行う。
35. クレーム２９に記載の画像処理方法において、
    前記色判定手順の色評価手順は、
    前記色差情報を補正し、前記補正された色差情報を用いて色評価を行う。
36. クレーム３５に記載の画像処理方法において、
    前記色判定手順の色評価手順は、
    前記色差情報に対する補正処理として、ローパスフィルタ処理を行う。
37. クレーム３６記載の画像処理方法において、
    前記ローパスフィルタは、広域型ローパスフィルタである。
38. クレーム２９に記載の画像処理方法において、
    前記色差生成手順の前に、前記第２の画像の画素に対応する前記第１の画像の画素において、該画素を含む局所領域の色情報を用いて周辺画素との間の少なくとも２方向に関する類似性の強弱を判定する類似性判定手順を有し、
    前記色差情報生成手順は、前記類似性判定手順の判定結果に基づいて、前記第２の画像の画素位置に色差情報を生成する。
39. クレーム３８に記載の画像処理方法において、
    １）前記類似性判定手順は、各方向に対する類似性の強弱を少なくとも３段階で判定し、
    ２）前記色差情報生成手順は、前記類似性判定手順の判定結果に応じて用意された少なくとも３通りの何れかの方法を用いて、前記第１の画像の色情報から色差情報を生成する。
40. 複数の色成分からなる表色系で表され、１つの画素に少なくとも１つの色成分の色情報を有する複数の画素からなる第１の画像を、複数の画素からなり各々の画素に少なくとも１つの共通する前記第１の画像が有しない色情報を有する第２の画像に変換する画像処理方法であって、
    第２の画像の処理対象画素に対し、
    １）前記第１の画像の色情報を用いて、輝度情報を生成する輝度情報生成手順と、
    ２）前記輝度情報を用いて画素単位での輝度評価を行う輝度評価手順と、
    ３）前記第１の画像の色情報を用いて、前記第２の画像の色情報を生成する第２画像生成手順と、
    ４）前記第２の画像の画素単位の輝度評価結果に基づいて、前記第２の画像の色情報を補正する第２画像補正手順と
    からなる。
41. クレーム４０に記載の画像処理方法において、
    前記輝度評価手順は、
    前記処理対象画素を含む局所的な領域に位置する複数の画素の輝度情報の最大値、及び分散値を導出することにより輝度評価を行う。
42. クレーム４１に記載の画像処理方法において、
    １）前記輝度評価手順は、前記輝度情報の最大値、及び分散値がそれぞれ予め決められた値以上である条件を満足する場合としない場合の２通りに判別し、
    ２）前記第２画像補正手順は、該条件の判別結果によって２種類の補正を切り替えて行う、または、該条件を満足する場合にのみ補正を行う。
43. クレーム４２に記載の画像処理方法において、
    前記第２画像補正手順は、
    前記輝度評価で前記条件を満足する場合には広域型のメディアンフィルタ処理を行い、満足しない場合には狭域型のメディアンフィルタ処理を行う、または、前記条件を満足する場合にのみメディアンフィルタ処理を行う。
44. クレーム１〜４３のいずれか１に記載の画像処理方法の手順をコンピュータに実行させるための画像処理プログラム。
45. クレーム４４の画像処理プログラムを記録したコンピュータ読みとり可能な記録媒体。
46. クレーム４４の画像処理プログラムを搭載した画像処理装置。

Images