WO2002060186A1

WO2002060186A1 - Procede de traitement d'image, programme de traitement d'image et processeur d'image

Info

Publication number: WO2002060186A1
Application number: PCT/JP2002/000548
Authority: WO
Inventors: Kenichi Ishiga
Original assignee: Nikon Corporation
Priority date: 2001-01-25
Filing date: 2002-01-25
Publication date: 2002-08-01
Also published as: US20040080639A1; EP1367837A1; JPWO2002060186A1; EP1367837B1; CN1312939C; DE60235526D1; EP1367837A4; US7565007B2; JP3985679B2; CN1488225A

Description

明細書画像処理方法、画像処理プログラム、画像処理装置本出願は日本国特許出願 2 0 0 1年第 1 6 7 2 9号（2 0 0 1年 1月 2 5 日出願）、日本国特許出願 2 0 0 1年第 343 3 9 2号（2 0 0 1年 1 1月 8 日出願）を基礎として、その内容は引用文としてここに組み込まれる。技術分野

本発明は、複数の色成分からなる表色系で表され、 1つの画素に 1つの色成分の色情報を有する複数の画素からなる画像を、複数の画素からなり各々の画素に少なくとも 1つの共通する色情報を有する画像に変換する画像処理方法などに関する。背景技術

電子カメラなどは、 CCDなどの撮像素子により被写体を撮像する。この撮像素子は、例えば、 RGB (赤緑青）の 3色のカラーフィルタがべィァ配列されており、画素ごとに RGBのいずれかの色成分の色情報を有する画像データを出力する。この画像データでは、 1つの画素は 1つの色成分の色情報しか有さない。従って、各画素において、欠落する色成分の色情報を捕間処理などで計算して求める各種の方法が提案されている。

特許第 2 9 3 1 5 2 0号は、画素の色レベルを検出し、色レベルに応じて相関値を調整し、調整した相関値に基づいて補間処理を行う技術を開示する。

しかし、特許第 2 9 3 1 5 2 0号の色レベル検出方法では、画像が構造を有するような箇所では、構造的要因に伴う色差信号の値と実際に持っている色から生じている色差信号の値を区別できず、相関値を誤って不適切に用いる可能性が高い。発明の開示本発明は、これらの問題を適切に対処して高画質なカラー画像を提供する画像処理方法などを提供する。

本発明の第 1の画像処理方法は、複数の色成分からなる表色系で表され、 1つの画素に 1つの色成分の色情報を有する複数の画素からなる第 1の画像を、複数の画素からなり各々の画素に少なくとも 1つの共通する色情報を有する第 2の画像に変換し、第 2の画像の処理対象画素に対し、少なくとも 3通りの何れかの方法を用いて、第 1の画像の色情報から色差情報を生成する色差情報生成手順と、第 2の画像の処理対象画素に対し、色差情報を用いて画素単位での色評価を行う色評価手順とからなる色判定手順と、色判定手順の色評価結果に基づいて、第 1の画像を第 2 の画像に変換する画像変換手順とを有する。

第 1の画像処理方法において、色判定手順は、さらに、第 2の画像の処理対象画素に対し、第 1の画像の色情報を用いて、少なくとも 2方向に関する類似度を算出する類似度算出手順と、類似度に基づき、各方向に対する類似性の強弱を少なくとも 3段階で判定する類似性判定手順とを有し、色差情報生成手順は、類似性判定手順の判定結果に応じて用意された少なくとも 3通りの何れかの方法を用いて、第 1の画像の色情報から色差情報を生成するのが好ましい。この場合、色判定手順の類似度算出手順は、異なる色成分の色情報からなる異色間類似度を類似度として算出するのが好ましい。

第 1の画像処理方法において、画像変換手順は、 1 ) 第 1の画像の色情報を用いて処理対象画素の少なくとも 2方向に関して、異なる色成分の色情報からなる異色間類似度と、同じ色成分の色情報からなる同色間類似度を算出し、色評価結果に基づいて、異色間類似度と同色間類似度を使い分けて類似度を算出する類似度算出手順と、 2 ) 類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順と、 3 ) 類似性判定手順の判定結果に基づき、第】の画像の色情報を用いて第 2の画像の色情報を生成する第 2画像生成手順とを有するのが好ましい。この場合、画像変手順の類似度算出手順は、色評価で彩度が低いと判断された場合には、類似度として異色間類似度を主に利用し、彩度が高いと判断された場合には、同色間類似度を主に利用するのが好ましい。

第 1の画像処理方法において、画像変換手順は、 1 ) 第 1の画像の色情報を用いて処理対象画素の少なくとも 2方向に関して、異なる色成分の色情報からなる異色間類似度と、同じ色成分の色情報からなる同色間類似度を算出し、色評価結果に基づいて、異色間類似度と同色間類似度とを加重加算してその加重比率を変えることにより類似度を算出する類似度算出手順と、 2 ) 類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順と、 3 ) 類似性判定手順の判定結果に基づき、第 1の画像の色情報を用いて第 2の画像の色情報を生成する第 2画像生成手順とを有するのが好ましい。この場合、画像変手順の類似度算出手順は、色評価で彩度が低いと判断された場合には、類似度として異色間類似度を主に利用し、彩度が高いと判断された場合には、同色間類似度を主に利用するのが好ましい。

第 1の画像処理方法において、画像変換手順は、処理対象画素位置に対応する第 1の画像の画素の色情報とその周辺画素の色情報を用いて第 2の画像の色情報を生成し、色評価結果に応じてその構成比率を変更する第 2画像生成手順を有するのが好ましい。この場合、画像変換手順の第 2画像生成手順は、色評価で彩度が低いと判断された場合、処理対象画素に位置する第 1の画像の画素の色情報の構成比率を上げるのが好ましい。あるいは、画像変換手順は、第 2画像生成手順の前に、処理対象画素に対し、 1 ) 第 1の画像の色情報を用いて、少なくとも 2方向に関する類似度を算出する類似度算出手順と、 2 ) 類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順とを有し、類似性判定手順の判定結果が、各方向に対して同程度であると判定された場合にのみ色評価結果に応じて構成比率を変更するのが好ましい。

第 1の画像処理方法において、画像変換手順は、 1 ) 第 1の画像の色情報を用いて、第 2の画像の色差情報を生成する第 2画像生成手順と 2 ) 色評価結果に基づいて、第 2の画像の色差情報を捕正する色差情報捕正手順と

を有するのが好ましい。この場合、画像変換手順の色差情報補正手順は、色評価で彩度が低いと判断された場合には、第 2の画像の色差情報に広域型のフィル夕処理を行い、彩度が高いと判断された場合には、第 2の画像の色差情報に狭域型のフィルタ処理を行うのが好ましい。

第 1の画像処理方法において、 1 ) 色判定手順の色差情報生成手順は、 1つの処理対象画素に対し複数種類の色差情報を生成し、 2 ) 色判定手順の色評価手順は, 複数種類の色差情報の組合せでできる新たな色差情報も考慮して色評価を行うのが好ましい。

第 1の画像処理方法において、色判定手順の色評価手順は、色差情報生成手順によって生成される色差情報を、処理対象画素のみならず、その周辺画素についても合わせて用いることによって色評価を行うのが好ましい。

第 1の像処理方法において、色判定手順の色評価手順は、色差情報を捕正し、補正された色差情報を用いて色評価を行うのが好ましい。この場合、色判定手順の色評価手順は、色差情報に対する補正処理として、ローパスフィルタ処理を行うのが好ましい。

第 1の画像処理方法において、色判定手順は、色評価手順の後に、 1 ) 色評価結果に基づいて、色差情報を補正する色差情報補正手順と、 2 ) 色差情報補正手順によつて捕正された色差情報を用いて、再度画素単位の色評価を行う再色評価手順とを有し、再色評価手順の色評価結果に基づいて、第 1の画像を第 2の画像に変換するのが好ましい。この場合、色判定手順は、色差情報補正手順の前に、 1 ) 第 1の画像の色情報を用いて、輝度情報を算出する輝度情報算出手順と、 2 ) 輝度情報を用いて、画素単位での輝度評価を行う輝度評価手順とを有し、色差情報補正手順は、再色評価手順の色評価結果と輝度評価手順の輝度評価結果とに基づいて、色差情報を捕正するのが好ましい。また、色判定手順の色差情報補正手順は、色差情報にメディアンフィルタ処理を行うのが好ましい。

本発明の第 2の画像処理方法は、複数の色成分からなる表色系で表され、 1つの画素に 1つの色成分の色情報を有する複数の画素からなる第 1の画像を、 1つの画素に複数種類の色情報を有する複数の画素からなる第 2の画像に変換し、第 1の画像を取得する画像取得手順と、取得した第 1の画像の色成分の色情報に基づき、第 2の画像の画素位置に色差情報を生成する色差情報生成手順と、生成した第 2の画像の色差情報を用いて画素単位で色評価を行う色評価手順と、第 2の画像の画素単位の色評価結果に基づいて、第 2の画像の画素位置に輝度情報を生成する輝度情報生成手順と、色差情報生成手順で生成した色差情報と輝度情報生成手順で生成した輝度情報を使用して、第 2の画像を出力する出力手順とからなる。

第 2の画像処理方法において、第 2の画像の 1つの画素位置における色差情報は複数種類の色差情報からなり、色評価手順は、複数種類の色差情報の組み合わせでできる新たな色差情報も考慮して色評価を行うのが好ましい。この場合、第 1の画像は、第 1の色成分、第 2の色成分、および第 3の色成分からなる表色系で表され、第 1の色成分の画素密度は他の第 2の色成分あるいは第 3の色成分の画素密度より高い画素密度で配置され、複数種類の色差情報は、第 1の色成分の色情報と第 2の色成分の色情報の差分からなる第 1の色差情報と、第 1の色成分の色情報と第 3の色成分の色情報の差分からなる第 2の色差情報とからなり、新たな色差情報は、第 1の色差情報と第 2の色差情報の差分からなるのが好ましい _c 第 2の画像処理方法において、色評価手順は、生成した第 2の画像の色差情報を補正し、補正された色差情報を用いて色評価を行うのが好ましい。この場合。色評価手順は、生成した第 2の画像の色差情報をローパスフィル夕処理を行うことにより捕正するのが好ましい。

第 2の画像処理方法において、輝度情報生成手順の前に、第 2の画像の画素に対応する第 1の画像の画素において、該画素を含む局所領域の異なる色成分の色情報を用いて周辺画素との間の少なくとも 2方向に関する異色間類似度を算出し、該画素を含む局所領域の同一の色成分の色情報を用いて周辺画素との間の少なくとも 2方向に関する同色間類似度を算出する類似度算出手順と、輝度倩報生成手順の前かつ色評価手順の後に、第 2の画像の画素に対応する第 1の画像の画素において、類似度算出手順により算出された異色間類似度と同色間類似度とを色評価結果に基づいて使い分けて周辺画素との間の少なくとも 2方向に関する類似性の強弱を判定する類似性判定手順とを有し、輝度情報生成手順は、類似性判定手順の判定結果に基づいて、第 2の画像の画素位置に輝度情報を生成するのが好ましい。

第 2の画像処理方法において、第 1の画像の複数の画素と第 2の画像の複数の画素とは、同じ位置関係で対応するのが好ましい。

第 2の画像処理方法において、輝度情報生成手順は、第 2の画像の画素に対応する第 1の画像の画素の色情報と周辺画素の色情報とを使用して第 2の画像の画素位置に輝度情報を生成し、第 2の画像の画素単位の色評価結果に基づいて、第 2の画像の画素に対応する第 1の画像の画素の色情報と周辺画素の色情報との構成比率を変更するのが好ましい。

第 2の画像処理方法において、色差生成手順の前に、第 2の画像の画素に対応する第 1の画像の画素において、該画素を含む局所領域の色情報を用いて周辺画素との間の少なくとも 2方向に関する類似性の強弱を判定する類似性判定手順を有し、色差情報生成手順は、類似性判定手順の判定結果に基づいて、第 2の画像の画素位置に色差情報を生成するのが好ましい。この場合、類似性判定手順は、第 2の画像の画素に対応する第 1の画像の画素において、該画素を含む局所領域の異なる色成分の色情報を用いて周辺画素との間の少なくとも 2方向に関する類似性の強弱を判定するのが好ましい。

本発明の第 3の画像処理方法は、複数の色成分からなる表色系で表され、 1つの画素に少なくとも 1つの色成分の色情報を有する複数の画素からなる第 1の画像を、複数の画素からなり各々の画素に少なくとも 1つの共通する第 1の画像が有しない色情報を有する第 2の画像に変換し、第 2の画像の処理対象画素に対し、 1 ) 第 1の画像の色情報を用いて、色差情報を生成する色差情報生成手順と、 2 ) 色差情報を用いて画素単位で色評価を行う色評価手順と、 3 ) 色評価手順の色評価結果に基づいて複数種類の補正から 1つの補正を選択して、色差情報を補正する色差情報補正手順と 4 ) 補正された色差情報を使用して、第 2の画像を出力する出力手順とからなる。

第 3の画像処理方法において、複数の補正は、生成した色差情報を広域型ローパスフィルタ処理を行うことにより補正する第 1の補正と、生成した色差情報を狭域型口一パスフィルタ処理を行うことにより捕正する第 2の補正からなり、色差情報補正手順は、色評価で彩度が低いと判定された場合には第 1の捕正を選択し、彩度が高いと判定された場合には第 2の補正を選択するのが好ましい。

第 3の画像処理方法において、複数の補正は、生成した色差情報を広域型メデイアンフィルタ処理を行うことにより補正する第 1の補正と、生成した色差情報を狭域型メディアンフィルタ処理を行うことにより補正する第 2の補正からなり、色差情報補正手順は、色評価で彩度が低いと判定された場合には第 1の補正を選択し、彩度が高いと判定された場合には第 2の補正を選択するのが好ましい。

第 3の画像処理方法において、第 2の画像の 1つの画素位置における色差情報は複数種類の色差情報からなり、色評価手順は、複数種類の色差情報の組み合わせでできる新たな色差情報も考慮して色評価を行うのが好ましい。この場合、第 1の画像は、第 1の色成分、第 2の色成分、および第 3の色成分からなる表色系で表され、第 1の色成分の画素密度は他の第 2の色成分あるいは第 3の色成分の画素密度より高い画素密度で配置され、複数種類の色差情報は、第 1の色成分の色情報と第 2の色成分の色情報の差分からなる第 1の色差情報と、第 1の色成分の色情報と第 3の色成分の色情報の差分からなる第 2の色差情報とからなり、新たな色差倩報は、第 1の色差情報と第 2の色差情報の差分からなるのが好ましい。第 3の画像処理方法において、色評価手順は、色差情報生成手順によって生成される色差情報を、処理対象画素のみならず、その周辺画素についても合わせて用いることによって色評価を行うのが好ましい。

第 3の画像処理方法において、色判定手順の色評価手順は、色差情報を補正し、補正された色差情報を用いて色評価を行うのが好ましい。この場合、色判定手順の色評価手順は、色差情報に対する補正処理として、ローパスフィルタ処理を行うのが、好ましい。さらに、ローパスフィルタは、広域型口一パスフィルタであるのが好ましい。

第 3の画像処理方法において、色差生成手順の前に、第 2の画像の画素に対応する第 1の画像の画素において、該画素を含む局所領域の色情報を用いて周迈画素との間の少なくとも 2方向に関する類似性の強弱を判定する類似性判定手順を有し、色差情報生成手順は、類似性判定手順の判定結果に基づいて、第 2の画像の画素位置に色差情報を生成するのが好ましい。この場合、 1 ) 類似性判定手順は、各方向に対する類似性の強弱を少なくとも 3段階で判定し、 2 ) 色差倩報生成手順は、類似性判定手順の判定結果に応じて用意された少なくとも 3通りの何れかの方法を用いて、第 1の画像の色情報から色差情報を生成するのが好ましい。

本発明の第 4の画像処理方法は、複数の色成分からなる表色系で表され、 1つの画素に少なくとも 1つの色成分の色情報を有する複数の画素からなる第 1の画像を、複数の画素からなり各々の画素に少なくとも 1つの共通する第 1の画像が有しない色情報を有する第 2の画像に変換し、第 2の画像の処理対象画素に対し、 1 ) 第 1の画像の色情報を用いて、輝度情報を生成する輝度情報生成手順と、 2 ) 輝度情報を用いて画素単位での輝度評価を行う輝度評価手順と、 3 ) 第 1の画像の色情報を用いて、第 2の画像の色情報を生成する第 2画像生成手順と、 4 ) 第 2の画像の画素単位の輝度評価結果に基づいて、第 2の画像の色情報を補正する第 2画像補正手順とからなる。この場合、輝度評価手順は、処理対象画素を含む局所的な領域に位置する複数の画素の輝度情報の最大値、及び分散値を導出することにより輝度評価を行うのが好ましい。さらに、 1 ) 輝度評価手順は、輝度情報の最大値、及び分散値がそれぞれ予め決められた値以上である条件を満足する場合としない場合の 2通りに判別し、 2 ) 第 2画像補正手順は、該条件の判別結果によって 2種類の補正を切り替えて行う、または、該条件を満足する場合にのみ補正を行うのが好ましい。さらに、第 2画像補正手順は、輝度評価で条件を満足する場合には広域型のメディアンフィルタ処理を行い、満足しない場合には狭域型のメディアンフィル夕処理を行う、または、条件を満足する場合にのみメディアンフィルタ処理を行うのが好ましい。

本発明の画像処理プログラムは、上記記載の画像処理方法の手順をコンピュー夕に実行させる。

本発明のコンピュータ読みとり可能な記録媒体は、上記画像処理プログラムを記録する。

本発明の画像処理装置は、上記画像処理プログラムを搭載する。図面の簡単な説明

図 1は、第 1の実施形態ないし第 9の実施形態に対応する電子カメラの機能ブロック図である。

図 2は、補間処理の対象となる画像デ一夕の色成分の配列を示す図である。図 3は、第 1の実施形態における画像処理部の動作フローチャートである。図 4は、第 1の実施形態における画像処理部の動作フローチャートである。図 5は、第 1の実施形態における画像処理部の動作フローチャートである。図 6は、第 1の実施形態における画像処理部の動作フローチャートである。図 7は、第 1の実施形態における画像処理部の動作フローチャートである。図 8は、色判定用画像生成処理の過程で参照する図である。

図 9は、色指標を算出する過程で参照する図である。

図 1 0は、色指標を説明するための図である。

図 1 1は、縦方向 ·横方向に対する同色間類似度を算出する過程で参照する図である。

図 1 2は、第 1の実施形態における類似性判定処理の他の例を示す図である。図 1 3は、斜め方向に対する同色間類似度を算出する過程で参照する図である < 図 1 4は、（HV, DN)の値に対応する類似性の強い方向を示す図である。

図 1 5は、第 2の実施形態における画像処理部の動作フローチャートである。図 1 6は、色指標と輝度指標との関係を示す図である。

図 1 7は、メディアンフィル夕の範囲を説明する図である。

図 1 8は、第 2の実施形態における捕間値算出処理の他の例を示す図である。図 1 9は、第 3の実施形態における画像処理部の動作フローチャートである。図 2 0は、第 3の実施形態における色判定処理の他の例を示す図である。

図 2 1は、画像データの変換の概念を示す図である。

図 2 2は、画像処理部が行う画像データ変換処理の概要を示すフローチャートである。

図 2 3は、第 6の実施の形態における処理の関係を説明するためのプロック図である。

図 2 4は、広域型ローパスフィルタを示す図である。

図 2 5は、第 7の実施の形態における処理の関係を説明するためのプロック図である。

図 2 6は、変換対象画素が R画素の場合において、方向指標に応じて使用する画素の位置およびその色成分を図示する図である。

図 2 7は、第 8の実施の形態において、画像処理部が行う画像データ変換処理の概要を示すフローチヤ一卜である。

図 2 8は、変換対象画素が G画素の場合において、使用する画素の位置およびその係数（G位置の輝度生成係数パターン）を図示する図である。図 2 9は、変換対象画素が R画素あるいは B画素の場合において、方向指標に応じて使用する画素の位置およびその係数（R、 B位置の輝度生成係数パターン）を図示する図である。

図 3 0は、エッジ強調のフィルターを示す図である。

図 3 1は、第 9の実施の形態において、画像処理部が行う画像データ変換処理の概要を示すフローチヤ一トである。

図 3 2は、第 9の実施の形態における処理の関係を説明するためのブロック図である。

図 3 3は、狭域型のローパスフィルタを示す図である。

図 3 4は、第 6〜第 9の実施の形態における色評価により求めた色指標の利用について、整理して説明する図である。

図 3 5は、プログラムを、 C D— R O Mなどの記録媒体やインターネットなどのデータ信号を通じて提供する様子を示す図である。発明を実施するための最良の形態

以下、図面に基づいて、本発明の実施形態について詳細を説明する。

第 1の実施形態〜第 4の実施形態では、本発明の画像処理装置が行う画像復元処理のうち、特に、補間処理の機能を備えた電子カメラを用いて説明を行う。図 1は、第 1の実施形態ないし第 4の実施形態に対応する電子カメラの機能プロック図である。

電子カメラ 1は、 AZD変換部 1 0、画像処理部 1 1、制御部 1 2、メモリ 1 3、圧縮伸長部 1 4、表示画像生成部 1 5を備える。また、メモリカード（力ード状のリム一パブルメモリ） 1 6とのィンタフェースをとるメモリ力一ド用ィンタフェース部 1 7および所定のケーブルや無線伝送路を介して P C (パーソナルコンピュータ） 1 8等の外部装置とのインタフェースをとる外部インタフエ一ス部 1 9を備える。これらの各ブロックはバス 2 9を介して相互に接続される。画像処理部 1 1は、例えば、画像処理専用の 1チップ .マイクロプロセッサで構成される。

電子カメラ 1は、さらに、撮影光学系 2 0、撮像素子 2 1、アナログ信号処理部 2 2、タイミング制御部 2 3を備える。撮像素子 2 1には撮影光学系 2 0で取得された被写体の光学像が結像し、撮像素子 2 1の出力はアナログ信号処理部 2 2に接続される。アナログ信号処理部 2 2の出力は、 A Z D変換部 1 0に接続される。タイミング制御部 2 3には制御部 1 2の出力が接続され、タイミング制御部 2 3の出力は、撮像素子 2 1、アナログ信号処理部 2 2、 A Z D変換部 1 0、画像処理部 1 1に接続される。撮像素子 2 1は例えば C C Dなどで構成される。電子カメラ 1は、さらに、レリーズポタンやモード切り換え用の選択ボタン等に相当する操作部 2 4およびモニタ 2 5を備える。操作部 2 4の出力は制御部 1 2に接続され、モニタ 2 5には表示画像生成部 1 5の出力が接続される。

なお、 P C 1 8には、モニタ 2 6やプリンタ 2 7等が接続されており、 C D— R O M 2 8に記録されたアプリケ一ションプログラムが予めィンストールされている。また、 P C 1 8は、不図示の C P U、メモリ、ハードディスクの他に、メモリカード 1 6とのインタフェースをとるメモリカード用インタフェース部（不図示）や所定のケーブルや無線伝送路を介して電子カメラ 1等の外部装置とのィンタフェースをとる外部インタフェース部（不図示）を備える。

図 1のような構成の電子カメラ 1において、操作部 2 4を介し、操作者によつて撮影モードが選択されてレリーズポタンが押されると、制御部 1 2は、タイミング制御部 2 3を介して、撮像素子 2 1、アナログ信号処理部 2 2、 A Z D変換部 1 0に対するタイミング制御を行う。撮像素子 2 1は、光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部 2 2で所定の信号処理が行われ、 A Z D変換部 1 0でディジタル化され、画像データとして、画像処理部 1 1に供給される。

電子カメラ 1では、撮像素子 2 1において、 R (赤）、 G (緑）、 B (青）のカラーフィル夕がべィァ配列されているので、画像処理部 1 1に供給される画像データは R G B表色系で示される。画像データを構成する各々の画素には、 R G Bの何れか 1つの色成分の色情報が存在することになる。

画像処理部 1 1は、このような画像データに対し、後述する画像データ変換処理を行う他に、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮/伸長部 1 4で所定の圧縮処理が施され、メモリカード用インタフェース部 1 7を介してメモリカード 1 6に記録される。

なお、画像処理が完了した画像データは、圧縮処理を施さずにメモリカード 1 6に記録したり、 P C 1 8側のモニタ 2 6やプリンタ 2 7で採用されている表色系に変換して、外部ィン夕フェース部 1 9を介して P C 1 8に供給しても良い。また、操作部 2 4を介し、操作者によって再生モードが選択されると、メモリ力ード 1 6に記録されている画像データは、メモリ力一ド用インタフェース部 1 7 を介して読み出されて圧縮 Z伸長部 1 2で伸長処理が施され、表示画像作成部 1 5を介してモニタ 2 5に表示される。

なお、伸長処理が施された画像データは、モニタ 2 5に表示せず、 P C 1 8側のモニタ 2 6やプリンタ 2 7で採用されている表色系に変換して、外部ィン夕フエース部 1 9を介して P C 1 8に供給しても良い。また、後述する変換処理が行われた画像データを、モニタ 2 5、 2 6やプリン夕 2 7で採用されている表色系に変換する処理については、公知の技術によって実現できる。

図 2は、補間処理の対象となる画像データの色成分の配列を示す図である。ただし、図 2では、 R、 G、 Bを用いて色成分の種類を示し、座標 [X, Y]の値を用いて各々の色成分に対応する画素の位置を示している。

なお、後述する演算式では、図 2の R、 Bを Zに置き換えて、各々の画素の色成分の色情報を Z [i， j]のように表現する。

一第 1の実施形態—

図 3〜図 7は、第 1の実施形態における画像処理部 1 1の動作フローチャートである。

ただし、図 3〜図 7は、画像処理部 1 1が行う画像処理のうち、補間処理の動作を示している。図 3は、補間処理のおおまかな動作を示し、図 4〜図 7は、補間処理に含まれる「色判定用画像生成処理」、「色判定処理」、「類似性判定処理 J 、「補間値算出処理」の動作を各々示している。

以下、第 1の実施形態を説明するが、以下では、画像処理部 1 1が行う画像処理のうち、補間処理の動作を説明し、他の動作の説明は省略する。

まず、画像処理部 1 1は、図 4に示す「色判定用画像生成処理」を行って（図 3 S 1) 、「色判定用画像」を生成する。

なお、「色判定用画像」は、「色指標」を算出するために用いられる画像であり、同一の画素における色相で構成される。ここで、同一の画素における色相とは、各々の画素毎に独立して算出される色相である。また、「色指標」は、各々の画素の色の特徴を示し、補間処理の対象となる画素が彩色部であるか無彩色部であるかの判定（以下、「色判定」と称する）を行うために参照される指標である。すなわち、色判定用画像を生成する狙いは、補間処理の対象となる画像を色に関して画素単位で大局的に領域分類することにある。

第 1の実施形態では、色判定用画像として、全ての画素に色差 Cr， Cb (YC b C r表色系の C r成分、 C b成分に相当する；ただし、ここでは、 Cr=R- G, Cb=B- Gと定義する）が対応付けられた画像を生成するが、色判定の目的に沿う色判定用画像としては、数画素程度の局所的な偽色の発生は許容されるが、周期的な微細構造などによって集団的に発生する偽色が排除されることが望ましい。

そこで、第 1の実施形態では、集団的に偽色が発生し易い画像の微細構造部分を優先的に解像し、かつ、画像が本来持っている色の特徴（彩度の高低など）を反映させるため、色差 Cr, Cbの生成や補間の過程で、「異色間類似度」を用いて類似性の判定を行う例を示す。なお、「異色間類似度」とは、異なる色成分を示す色情報から成る類似度成分を 1つ以上用いて構成される類似度であり、「一画素ピッチで類似性を判定する機能」を有する。

《色判定画像生成処理》

ここで、図 4を参照して、「色判定画像生成処理」の説明を行う。

まず、画像処理部 1 1は、緑色成分が欠落する画素における縦方向および横方向に対する異色間類似度を算出する（図 4 S 1) 。

例えば、画像処理部 11は、これらの類似度を算出する過程で、以下に示す式 1および式 2によって定義される値を算出する。

GR (GB)間類似度成分

CvOCi, j] = (|G[i， j-l]-Z[i, j] l + |G[i, j + l]-Z[i, j] |)/2 …式 1

ChOCi, j] = (|G[i- 1, j]-Z[i, ]"] l + |G[i + l, j]-Z[i, j] |)/2 …式 2

なお、図 2 (a) のように座標 [i, j]に赤色成分の色情報が存在する場合、式 1 および式 2は、図 8 (a) に示す色成分の色情報を用いて算出されることになる。また、式 1および式 2において、絶対値でくくられる項（「以下、「類似度の要素」と称する）は、隣接する 2つの画素の色情報で構成される。そのため、異色間類似度には、特許第 293 1 520号公報に開示されている Sv2, Sh2のように. 広い範囲の色情報で口一パスフィルタを掛けて構成される値に比べ、局所的な類似性に関する情報が多く含まれ、一画素ピッチで変化するナイキスト周波数レべルの微細構造におけるより正確な類似性判定を可能にする機能が備わっている。なお、類似度の要素は、差分の絶対値に限らず、絶対値の 2乗やべき乗等によつて算出しても良い。

また、類似度の要素は、以下のような構成にしても良い。

CvO[i, j] = |-G[i, j-l]+2-Z [i, j]-G[i, j + 1] |/2 …式 1 '

ChO[i, j] - G[i- 1, j]+2-Z[i, j]-G[i + l, j] |/2 …式 2 '

式 1および式 2 (または、式 1'および式 2') によって算出される値は、そのまま、緑色成分が欠落する画素の縦方向に対する異色間類似度，横方向に対する異色間類似度とすることができるが、ここでは、その画素だけでなく、その画素の周辺に位置する画素に対しても同様の値を算出し、各々の値を方向別に加重加算 (以下、「周辺加算」と称する）して、緑色成分が欠落する画素の縦方向および横方向に対する最終的な異色間類似度を算出する例を示す。

すなわち、画像処理部 1 1は、式 1および式 2 (または、式 1 'および式 2') に基づき、座標 [i, j], [i一 1, j-1], [i + 1, j - 1], [i-1, j + 1], [i + 1, j+1], [i, j— 2], [i， j +2], [i-2, j], [i+2， j]に位置する画素に対して演算を行い、その演算によって得られた値に対して、以下に示す式 3および式 4に相当する周辺加算を行って、縦方向に対する異色間類似度 Cv[i， j]、横方向に対する異色間類似度 Ch[i, j]を算出する。式 3および式 4は、図 8 (b) に示すようにして周辺加算を行うことに相当する。なお、周辺加算の方式は、ここに示した例に限定されるものではない。

Cv[i, jl = (4-CvO[i_> j]

+2· (CvOti-1, j-l]+CvO[i+l, j-l] vO[i-l, j + 1] +CvO [i + 1, j + 1]) +CvO[i, j-2]+CvO[i, j+2]+CvO[i-2, j]+CvO[i+2, j〗）/16 …式 3

Ch[i, j] = (4-ChO[i, j] +2· (Ch0[i-1, j-l]+ChO [i + 1, j-1] +ChO [i-1, j + 1] +ChO [i + 1, j + 1]) +ChO[i, j-2]+ChO[i, j+2] +ChO [i-2, j]+ChO[i+2, j])/16 …式 4

ただし、式 3および式 4によって算出される各々の類似度は、値が小さい程、類似性が強いことを示す。

なお、図 2 (a) のように座標 [i, ]']に赤色成分の色情報が存在する場合、式 1 ないし式 4は、図 8 (c) に示す色成分の色情報を用いて算出されることになる。したがって、周辺加算後に得られる類似度には、緑色成分の色情報と赤色成分の色情報とから成る類似度成分と、緑色成分の色情報と青色成分の色情報とから成る類似度成分とが含まれる。すなわち、周辺加算によって、複数の色成分を考慮し、かつ、周辺の画素との連続性を考慮しつつ類似度が算出されるため、類似度の精度が高められる。

次に、画像処理部 1 1は、縦方向に対する異色間類似度 Cv[i, j]、横方向に対する異色間類似度 C i, j]に基づき、緑色成分が欠落する画素における縦方向および横方向に対する類似性（以下、「縦横類似性」と称する。）を判定する（図 4 S 2) 。そして、画像処理部 1 1は、このような判定結果として、縦横類似性を示す指標 HV[i， j]に以下のような値を設定する。

例えば、画像処理部 1 1は、任意の閾値 ThOについて、

|Cv[i, j]-Ch[i, j] |≤ThO ···条件 1

が成り立つ場合、「縦方向および横方向に類似性が強い、または弱い」と判定して指標 HV[i，j]に「0」を設定する。また、画像処理部 1 1は、条件 1が成り立たず、かつ、

Cv[i, j]<Ch[i, j] ···条件 2

が成り立つ場合、「縦方向に類似性が強い」と判定して指標 HV[i, j]に「1」を設定する。さらに、画像処理部 1 1は、条件 1および条件 2が成り立たない場合、「横方向に類似性が強い」と判定して指標 HV[i， j]に「一 1」を設定する。

次に、画像処理部 1 1は、赤色成分の色情報または青色成分の色情報が存在する画素に対して、各々の色成分に対応する色差を縦横類似性の判定結果に応じて生成し、かつ、赤色成分の色情報または青色成分の色情報が存在しない画素に対して、各々の色成分に対応する色差を補間することによって、色判定用画像を生成する（図 4 S 3) 。

例えば、画像処理部 1 1は、赤色成分の色情報が存在する画素の指標 HV[i, ]']について、

HV[i, j]= 1 ···条件 3

が成り立つ場合（縦方向に類似性が強い場合）、その画素の色差 Cr [i, j]を以下に示す式 5によって算出する。

Cr[i, j] = (2'Z[i， j]+Z[i, j-2]+Z [i, j+2] ) /4- (G [i, j-l]+G[i, j + l])/2 …式 5 また、画像処理部 1 1は、赤色成分の色情報が存在する画素の指標 HV[i, j]について、条件 3が成り立たず、

HV[i, j] =- 1 ·'·条件 4

が成り立つ場合（横方向に類似性が強い場合）、その画素の色差 Cr [i, j]を以下に示す式 6によって算出する。

Cr [i, j] = (2'Z[i, j]+Z[i-2, j]+Z[i+2, j] ) /4- (G [i-1, j]+G[i+l, j])/2 …式 6 さらに、画像処理部 1 1は、赤色成分の色情報が存在する画素の指標 HV[i, j]について、条件 3および条件 4が成り立たない場合（縦方向および横方向に類似性が強い、または弱い）、その面素の色差 Cr[i, j]を以下に示す式 7によって算出する。

Cr [i, j] = (4-Z[i, j]+Z[i， j-2]+Z[i, j+2]+Z[i-2, j]+Z[i+2, j])/8

- (G[i, j-l]+G[i, i + l]+G[i-l, j]+G[i + l, j])/ …式 7

なお、画像処理部 1 1は、青色成分の色情報の色情報が存在する画素については、式 5ないし式 7と同様にして、色差 Cb [i, j]を算出する。

また、画像処理部 1 1は、以上説明したように、赤色成分の色情報または青色成分の色情報が存在する画素の色差を算出する過程において、各々の色成分の色情報が存在しない画素の色差については、「0」を設定して初期化する。

次に、画像処理部 1 1は、赤色成分の色情報または青色成分の色情報が存在しない画素に対し、各々の色成分に対応する色差（Cr [i, j]または Cb[i, j]) を補間する。このような補間の方法としては、通常、隣接する画素の色差の平均値を補間値とする方法が用いられるが、ここでは、画像の周期的な構造で発生する色モァレによる偽色を低減するため、補間値の算出と共に、全ての画素に対してローパスフィルタを掛ける方式を示す。

例えば、画像処理部 1 1は、以下に示す式 8を演算して、赤色成分に対応する色差 Cr[i, j]を算出する。なお、式 8は、図 8 (d) に示すようにして各々の画素の色差 Crを加重加算することに相当する。

Cr [i, j]-(36-Cr [i, j]

+24· (Cr [卜 1， j]+Cr[i + l， j]+Cr[i, j-l]+Cr [i, j + 1])

+ 16· (Cr[i-1, j-l]+Cr[i + l, j-l]+Cr[i-l, j + l]+Cr [i + 1, j + 1])

+6· (Cr [i-2, j] +Cr [i+2, j] +Cr [i, j-2] +Cr [i, j+2] )

+4· (Cr [i-1, j-2] +Cr [i + 1, j-2] +Cr [i-2, ]'- 1] +Cr [i + 2, j - 1】

+Cr[i-2, j + l]+Cr [i+2, j + l]+Cr [i-1, j+2]+Cr [i + 1, j†2])

+1· (Cr [i-2, j-2]+Cr [i+2, j-2]+Cr [i-2, j+2]+Cr [i+2, j+2]))/64 …式 8 また、画像処理部 1 1は、色差 Cb[i, j]についても、式 8と同様にして、算出する。

以上説明したようにして「色判定用画像生成処理」が完了すると、画像処理部 1 1は、図 5に示す「色判定処理 J を行う（図 3 S 2 ) 。

《色判定処理》

ここで、図 5を参照して、「色判定処理」の説明を行う。

まず、画像処理部 1 1は、「色判定用画像生成処理」で生成した色判定用画像を用い、以下のようにして、同一の画素における色差から成る色指標を算出する (図 5 S 1) 。

すなわち、画像処理部 1 1は、色指標 CdifiO[i, j]を以下に示す式 1 0によって算出する。

CdifiO[i, j] = (|Cr [i, Π l + |CMi， j + |Cr [i, j〗 -Cb [i, j] |) /3 · · ·式 10

このように、第 1の実施形態の色指標は、特許第 29 3 1 520号公報に開示された色レベルと異なり、同一の画素における色相値を用いて導出されたものとみなすことができる。

そのため、第 1の実施形態の色指標では、従来の技術で色レベルに反映されてしまった画像の構造的要因が排除され、より人間の視覚的な判断に近い色判定を実現することができる。また、第 1の実施形態の色指標では、従来の技術にはない RB間の色差も考慮しているので、 RB間の色差が大きいことが原因で無彩色と誤判定される危険性も除去され、信頼性の高い色判定が可能である。

式 10によって算出される CdifiO[i, j]は、そのまま、座標 [i, j]に位置する画素の色指標とすることができるが、ここでは、周辺加算を行って、座標 [i, j]に位置する画素の色指標 Cdifi [i, j]を算出する例を示す。

すなわち、画像処理部 1 1は、式 10に基づき、座標 [i， j], [i-2, j-2], [i+2, j -2], [i-2, j+2], [i+2, j+2], [i, j-4], [i, j+4], [i-4, j], [i+4, j]に位置する画素に対して演算を行い、その演算によって得られた値に対して、以下に示す式 1 1に相当する周辺加算を行って、色指標 Cdiif [i, j]を算出する。

Cdiff [i, j] = (8-CdiffO[i, j]+CdiffO [ϊ-2, j-2]+CdiffO [i+2, j-2]

+CdiffO[i-2, j+2]+CdiffO[i+2, j+2] ICdif ίθ [i, j-4] +CdiifO[i, j+4] +CdiffO[i-4, j] +Cdif f 0 [i+4, j])/16 …式 1 1 なお、式 1 1は、図 9 (a) に示すようにして周辺加算を行うことに相当するが、 CdiHOの周辺加算は、図 9 (b) や図 9 ( c ) のようにして行っても良い。このように、周辺加算によって色指標を算出することは、色判定用画像を生成する過程で、色差の補間時に発生した局所的な誤りに伴う偽色の影響を低減する効果がある。

また、 10画素程度に渡るような長い周期の色モアレの影響も同時に低減するため、遠方の画素間で周辺加算を行って、相互に補色の関係にある色モアレ成分を相殺させることによって、色指標の信頼性を向上させている。

以上説明したようにして色指標 Cdiiiを算出すると、画像処理部 1 1は、各々の画素で算出された色指標 Cdiiiに基づき色判定を行う（図 5 S 2) 。

なお、第 1の実施形態では、色判定の結果として、各々の画素を、色指標の大小によって 4つのグループ（完全無彩色部、無彩色部、淡い彩色部、彩色部）の何れかに分類する処理を示す。ただし、以下に示す条件 1 0ないし条件 1 2では、色指標 Cdiii [i， j]の階調が 0〜255で示される場合、閾値 ThBWz, ThBWa, ThBWbの値は、それぞれ、 2， 5， 10〜15程度の値である。

画像処理部 1 1は、色指標 Cdifi [i, ]']について、

Cdiff [i, j]≤ThBWz ·'·条件 10 が成り立つ画素については、完全無彩色部と判定して、色判定の結果を示す色分類指標 BW[i, j]に「z」を設定する。また、画像処理部 1 1は、条件 10が成り立たず、かつ、

Cdiff [i, j]≤ThBWa ···条件 1 1

が成り立つ画素については、無彩色部と判定して、色分類指標 BW[i, j]に「a」を設定する。さらに、画像処理部 1 1は、条件 1 0および条件 1 1が成り立たず、かつ、

Cdiff [i, j]≤ThBWb ···条件 12

が成り立つ画素については、淡い彩色部と判定して、色分類指標 BW[i, j]に「bj を設定する。また、画像処理部 1 1は、条件 1 0ないし条件 1 2の全てが成り立たない画素については、彩色部と判定して、色分類指標 BW[i, j]に「c」を設定する。

図 1 0は、色指標を説明するための図であり、特に、図 1 0 (a) は、色指標と色分類指標との関係を示す。

以上説明したようにして、「色判定処理」が完了すると、画像処理部 1 1は、図 6に示す「類似性判定処理」を行う（図 3 S 3) 。

《類似性判定処理》

ここで、図 6を参照して、「類似性判定処理」の説明を行う。

「類似性判定処理」では、緑色成分が欠落する画素における類似性を異色間類似度（異なる色成分を示す色情報から成る類似度）と同色間類似度（同じ色成分を示す色情報から成る類似度）を用いて判定する。なお、異色間類似度は、「色判定用画像生成処理』で算出されたものであり、同色間類似度は、ここで新たに式を用いて定義されるものである。異色間類似度は色成分を無視して構成され、同色間類似度は色成分を考慮して構成されるため、両者を色指標もしくは色分類指標に応じて使い分けるのが良い。実験的に無彩色部や完全無彩色部に属する画素における縦横類似性の判定には、異色間類似度が適しており、淡い彩色部や彩色部に属する画素における縦横類似性の判定には、同色間類似度が適していることが判明した。

そこで、第 1の実施形態では、無彩色部や完全無彩色部に属する画素における縦横類似性の判定として、「色判定用画像生成処理」で行われた縦横類似性の判定結果をそのまま用いる例を示す。

まず、画像処理部 1 1は、緑色成分が欠落する画素に対して「色判定処理」の結果を判定する（図 6 S 1 ) 。

そして、画像処理部 1 1は、緑色成分が欠落する画素のうち、「色判定処理」の結果として、淡い彩色部または彩色部に分類された画素（色分類指標に「bj または「c」が設定された画素）に対しては、縦方向および横方向に対する同色間類似度（同一の色成分の色情報から成る類似度成分を 1つ以上用いて構成される類似度）を算出し（図 6 S 2) 、その同色間類似度を用いて縦横類似性を判定し直す（図 6 S 3 ) 。

すなわち、画像処理部 1 1は、淡い彩色部または彩色部に分類された画素に対し、以下に示す式 20ないし式 24によって定義される値を算出する。

GG間類似度成分

Cvsl [i, j] = |G[i, ί- 1]-G[i， j + 1] | …式 20

Chsl [i, j]=|G[i-l, j]- G[i+1, j] | …式 2 1

BB (RR)間類似度成分

Cvs2[i, j] = (|Z[i-l_> j-l]-Z[i-l, j + 1] |

+ |Z[i+l, j-l]-Z[i + l, j + 1] |)/2 '··式 22

Chs2[i, j] = (|Z[i-l, j-l]-Z[i + l, j-1] |

+ |Z [i-1, j + l]-Z [i + 1, j + 1] |)/2 …式 2 3

なお、図 2 (a) のように座標 [i, j]に赤色成分の色情報が存在する場合、式 2 0および式 21は、図 1 1 (a) に示す色成分の色情報を用いて算出されることになり、式 22および式 23は、図 1 1 (b) に示す色成分の色情報を用いて算出されることになる。

また、 Cvs2[i， j]および Chs2[i, Πは、以下のように算出しても良い。

RR (BB)間類似度成分

Cv2[i, j] = (|Z[i, j-2] -Z[i, j] | + |Z[i, j+2]-Z[i, j] |)/2 …式 22 '

Ch2 [i, j] = (|Z[i-2, j]-Z[i, j] | + |Z[i+2, j]-Z[i, j] |)/2 …式 23'

Cv2 [i, jl=卜 Z[i， j-2]+2-Z[i, j]-Z[i, j+2] |/2 ···式 22 '' Ch2 [i, j]=|-Z[i-2, j]+2-Z[i, j]-Z [i+2, j] 1/2 …式 2 3 ''

図 2 (a) のように座標 [i， j]に赤色成分の色情報が存在する場合、式 2 2 '、式 2 3 'および式 2 2 ' 式 2 3 ' 'は、図 1 1 (c) に示す色成分の色情報を用いて算出されることになる。

次に、画像処理部 1 1は、以下に示す式 24および式 2 5によって定義される値を算出する。すなわち、画像処理部 1 1は、式 2 0および式 2 2 (または、式

2 2 '、式 2 2 '') によって算出された値を加重加算し、かつ、式 2 1および式 2

3 (または、式 2 3'、式 2 3 '') によって算出された値を加重加算する。

CvsO [i, j] = (Cvsl+Cvs2)/2 …式 2 4

C sO [i, j] = (Chsl+Chs2)/2 …式 2 5

なお、式 24および式 2 5では、加重加算の比率を「 1 ： 1」としているが、このような比率は、如何なる比率であっても良い。

式 2 0ないし式 2 5によって算出される値は、そのまま、「緑色成分が欠落し、かつ、淡い彩色部または彩色部に分類された画素」の縦方向に対する同色間類似度，横方向に対する同色間類似度とすることができるが、ここでは、周辺加算を行つて縦方向に対する同色間類似度，横方向に対する同色間類似度を算出する例を示す。

すなわち、画像処理部 1 1は、式 2 0ないし式 2 5に基づき、座標 j], [i- 1， j-1], [i + 1, j - 1], [i - 1' j + 1], [i + 1, i + [i, j-2], [i, i+2I, [i-2, j], [i+2, ]·]に位置する画素に対して演算を行い、その演算によって得られた値に対して、以下に示す式 2 6および式 2 7に相当する周辺加算を行って、縦方向に対する同色間類似度 Cvs[i, j]、横方向に対する同色間類似度 Chs[i, j]を算出する。式 2 6および式 2 7は、図 1 1 (d) に示すようにして周辺加算を行うことに相当する。なお、周辺加算の方式は、ここに示した例に限られるものではない。

Cvs [i, j] = (4-CvsO[i, j]

+2· (Cvs0[i-1, j-l]+CvsO [i + 1, j-1] +CvsO [i-1, j + l] CvsO [i + 1, j + 1]) +CvsO[I, j-2] +CvsO[i, j+2]+CvsO [i-2, j]+CvsO[i+2, j])/16 …式 2 6 Chs [i, j] = (4-ChsO[i, j]

+2· (Chs0[i-1, j-l]+ChsO[i + l, j-1] +ChsO [i-1, j + 1] +ChsO [i + 1, j + +ChsO[i, j-2]+ChsO[i, j+2] +ChsO [i-2, j] +ChsO [i+2, j])/16 …式 27 ただし、式 26および式 27によって算出される各々の類似度は、値が小さい程、類似性が強いことを示す。

なお、図 2 (a) のように座標 [i, j]に赤色成分の色情報が存在する場合、式 2 6および式 2 7は、図 1 1 (e) および図 1 1 ( f ) に示す色成分の色情報を用いて算出されることになる。

したがって、周辺加算後に得られる類似度には、緑色成分の色情報のみから成る類似度成分と、青色成分の色情報のみから成る類似度成分と、赤色成分の色情報のみから成る類似度成分とが含まれる。すなわち、周辺加算によって、複数の色成分を考慮し、かつ、周辺の画素との連続性を考慮しつつ類似度が算出されるため、類似度の精度が高められる。

次に、画像処理部 1 1は、縦方向に対する同色間類似度 Cvs [i, j]、横方向に対する同色間類似度 Chs [i, j]に基づき、「緑色成分が欠落し、かつ、淡い彩色部または彩色部に分類された画素」における縦横類似性を判定し直し、縦横方向類似性を示す指標 HV[i, j]を再設定する。

例えば、画像処理部 1 1は、任意の閾値 ThOについて、

|Cvs [i, j]-Chs [i, j] |≤ThO .'·条件 20

が成り立つ場合、「縦方向および横方向に類似性が強い、または弱い」と判定して指標 HV[i， nに「0」を設定する。また、画像処理部 1 1は、条件 20が成り立たず、かつ、

Cvs[i, j]<Chs[i, j] -一条件 21

が成り立つ場合、「縦方向に類似性が強い」と判定して指標 HV[i, j]に「 1」を設定する。さらに、画像処理部 1 1は、条件 20および条件 2 1が成り立たない場合、「横方向に類似性が強い J と判定して指標 HV[i, ]']に「― 1」を設定する。以上説明したような処理が完了した状態では、「緑色成分が欠落し、かつ、淡い彩色部または彩色部に分類された画素 j に対する指標 HV[i, j]には、同色間類似度に応じた値が設定され、「録色成分が欠落し、かつ、無彩色部または完全無彩色部に分類された画素」に対する指標 HV[i, ]']には、異色間類似度に応じた値が設定されていることになる。すなわち、指標 HV[i, j]を算出する際に用いる類似度は、図 1 0 (b) のように、色指標 Cdiii[i,； i]や色分類指標 BW[i, j]の値に応じて、異色間類似度と同色間類似度との何れか一方に切り換えられることになる。

なお、指標 HV[i, i]を算出する際に用いる類似度は、異色間類似度と同色間類似度との何れか一方に限らない。例えば、図 6に示す「類似性判定処理」に代えて、図 1 2に示す「類似性判定処理」を行い、異色間類似度と同色間類似度とを加重加算して得られる類似度を用いて、縦横類似性を判定しても良い。

図 1 2では、「色判定処理」の結果が判定される前に、縦方向 '横方向に対する同色間類似度が算出される（図 1 2 S 1) 。そして、「色判定処理」の結果として、無彩色部または完全無彩色部に分類された画素に対しては、図 4 S 1で算出されている異色間類似度の加重比率を上げて、異色間類似度と同色間類似度とが加重加算されて類似度が算出される（図 1 2 S 3) 。一方、淡い彩色部または彩色部に分類された画素に対しては、異色間類似度の加重比率を上げて異色間類似度と同色間類似度とが加重加算されて類似度が算出される（図 1 2 S 4) 。このようにして算出された類似度を用いて縦横類似性の判定が行われる（図 1 2 S 5)

ただし、異色間類似度と同色間類似度との加重係数の比率を、図 1 2 S 3において「 1 ： 0J とし、図 1 2 4において「0 : 1」とした場合、縦横類似性の判定結果は、図 6に示す「類似性判定処理」と完全に一致することになる。

次に、画像処理部 1 1は、緑色成分が欠落する画素における斜め 4 5度および斜め 1 3 5度に対する類似度（異色間類似度と同色間類似度とから成る類似度）を算出する（図 6 S 4) 。

例えば、画像処理部 1 1は、これらの類似度を算出する過程で、以下に示す式 3 0ないし式 3 5によって定義される値を算出する。

RB (BR)間類似度成分

C45_l [i, j]-(|Z[i+l, j- 1]-Z[i, j] | + |Z[i-l, j + l]-Z[i, j] l)/2 …式 3 0

C135一 1 [i， j （|Z[i-l, j - 1]-Z [i, j] | + 1 Z [i + 1, j + 1] - Z [U] |)/2 …式 3 1 GG間類似度成分

C45— 3[i， j]=|Z [i + 1, j-1] - Z[i - 1. j + 1] | ·■·式 3 4

C135_3[i, j] = (|Z[i-l, j-l]-Z[i + l, j + 1] | …式 3 5

なお、図 2 (a) のように座標 [i, j] tこ赤色成分の色情報が存在する場合、式 3 0および式 3 1は、図 1 3 (a) に示す色成分の色情報を用いて算出されることになり、式 3 2および式 3 3は、図 1 3 (b) に示す色成分の色情報を用いて算出されることになり、式 34および式 3 5は、図 1 3 (c) に示す色成分の色情報を用いて算出されることになる。

また、 C45— 3 [i, jlおよび C135_3 [i， j]は、以下のように算出しても良い。

RR (BB)間類似度成分

C135_3 [i, j]=|-Z [i-2, j-2]+2-Z [i, j]-Z [i+2, j+2] ]/2 …式 3 5 ' '

図 2 (a) のように座標 [i， j]に赤色成分の色情報が存在する場合、式 3 4'、式 3 5 'および式 34''、式 3 5''は、図 1 3 (d) に示す色成分の色情報を用いて算出されることになる。

次に、画像処理部 1 1は、以下に示す式 3 6および式 3 7によって定義される値を算出する。すなわち、画像処理部 1 1は、式 3 0、式 3 2、式 34 (または、式 34'、式 34'') によって算出された値を加重加算し、かつ、式 3 1、式 3 3, 式 3 5 (または、式 3 5 '、式 3 5 '') によって算出された値を加重加算する。

C45_0 [i, j] = (Bl -C45_l+B2-C45_2+B3-C45_3) / (BHB2+B3) …式 3 6

C135_0 [i, j] = (Bl -C135_HB2-C135_2+B3- C135_3) / (B1+B2+B3) …式 3 7 なお、式 3 6および式 3 7では、加重加算の比率は、例えば、「B1 : B2 : B3 = 2 : 2 : 1} 程度にとると良い。

式 3 0ないし式 3 7によって算出される値は、そのまま、緑色成分が欠落する画素の斜め 4 5度の類似度および斜め 1 3 5度の類似度とすることができるが、ここでは、周辺加算を行って斜め 4 5度の類似度および斜め 1 3 5度の類似度を算出する例を示す。

すなわち、画像処理部 1 1は、式 3 0ないし式 37に基づき、座標 [i, j], [i-1, j-1], [i + 1, j-1], [i-1, j + 1], [i + U + l】, [i, j-2], [i, j+2], [i-2, j], [i+2, j]に位置する画素に対して演算を行い、その演算によって得られた値に対して、以下に示す式 38および式 39に相当する周辺加算を行って、斜め 45度に対する類似度 C45[i, j]、斜め 1 35度に対する類似度 C135[i， j]を算出する。式 38および式 3 9は、図 1 3 (e) に示すようにして周辺加算を行うことに相当する。なお、周辺加算の方式は、ここに示した例に限られるものではない。

C45 [i, j] = (4-C45_0[i, j]

+2· (C45_0 [i-1, j~l]+C45_0[i + l, j-1] +C45_0 [i-1, j + +C45— 0 [i + 1, j + 1]) +C45_0[i, j-2]+C45_0[i, j+2] +C45_0 [i-2, j] +C45_0 [i+2, j])/16 …式 38

C135 [i, j] = (4-C135_0[i_> j]

+2- (C135— 0[i -:!， j-l]+C135_0[i + l, j-1] +C135_0 [i-1, j + 1] +C135_0 [i + 1, j + 1])

+C135一 0[i, i-2] K135_0[i, j+2]

+C135_0 [i-2, j] +C135一 0 [i+2, j])/16 …式 39

ただし、式 3 8および式 3 9によって算出される各々の類似度は、値が小さい程、類似性が強いことを示す。

なお、図 2 (a) のように座標 [i， j]に赤色成分の色情報が存在する場合、式 3 8および式 3 9は、図 1 3 ( f ) および図 1 3 (g) に示す色成分の色情報を用いて算出されることになる。

したがって、周辺加算後に得られる類似度には、青色成分の色情報と赤色成分の色情報とから成る類似度成分と、緑色成分の色情報のみから成る類似度成分と、青色成分の色情報のみから成る類似度成分と、赤色成分の色情報のみから成る類似度成分とが含まれる。すなわち、周辺加算によれば、複数の色成分を考慮し、かつ、周辺の画素との連続性を考慮しつつ類似度が算出されるため、類似度の精度が高められる。

次に、画像処理部 1 1は、斜め 45度に対する類似度 C45[i, j]、斜め 1 35度に対する類似度 C135[i, j]に基づき、緑色成分が欠落する画素における斜め方向に対する類似性（以下、「斜め類似性」と称する。）を判定する（図 6 S 5) 。そして、画像処理部 1 1は、このような判定結果として、斜め方向類似性を示す指標 DN[i, j]に以下のような値を設定する。

例えば、画像処理部 1 1は、任意の閾値 Th2について、

|C45[i, j] - C135 [i, j] |≤Th2 ···条件 30

が成り立つ場合、「斜め 4 5度方向および斜め 1 3 5度方向に類似性が強い、または弱い」と判定して指標 DN[i, j]に「0」を設定する。また、画像処理部 1 1は、条件 30が成り立たず、かつ、

C45 [i, j]<C135 [i, j] ···条件 31

が成り立つ場合、「斜め 45度方向に類似性が強い」と判定して指標 DN[i, j]に「1」を設定する。さらに、画像処理部 1 1は、条件 30および条件 3 1が成り立たない場合、「斜め 1 3 5度方向に類似性が強い」と判定して指標 DN[i, ]']に「一 1」を設定する。

なお、第 1の実施形態では、異色間類似度と同色間類似度とを加重加算して斜め類似性を判定する例を示したが、斜め類似性の判定は、縦横類似性の判定と同様に、異色間類似度と同色間類似度とを切り換えることによって行っても良い。以上説明したように「類似性判定処理」が完了すると、画像処理部 1 1は、図 7に示す「捕間値算出処理」を行う（図 3 S 4) 。

《補間値算出処理》

ここで、図 7を参照して、「補間値算出処理」の説明を行う。

まず、画像処理部 1 1は、縦横類似性と斜め類似性とに応じて、 G捕間値（録色成分の補間値）を算出する（図 7 S 1 ) 。すなわち、画像処理部 1 1は、上述したように設定された縦横類似性を示す指標 HV Π， j ]と斜め類似性を示す指標 DN [i, とに応じて、 G補間値を算出する。

なお、 G補間値の算出は、従来の技術と同様に行っても良いが、このような G 補間値の算出では、色差が一定と仮定できない場合や色収差が存在する場合、緑色成分の平均項が他の色成分（補間対象画素と同じ色成分）の項によって過剰に補正される現象（以下、「過補正」と称する）が発生する。そこで、第 1の実施形態では、このような過補正を抑えつつ、 G補間値を算出する例を示す。

まず、画像処理部 1 1は、縦横類似性を示す指標 HV[i, j]と斜め類似性を示す指標 DN[i, ]']とが如何なる値であるかを判定し、補間対象画素の類似性の強さを、以下に示す casel~case9の何れかに分類する。

easel： (HV[i, j],DN[i, (1, 1) 縦および斜め 45度方向の類似性が強い。

case2: (HV[i, j],DN[i, (1, 0) 縦方向の類似性が強い。

case3: (HV[i, j],DN[i, (1,-1) ：縦および斜め 135度方向の類似性が強い。 case4: (HV[i, j], DN[i, (0, 1)：斜め 45度方向の類似性が強い。

case5： (HV[i, iI,DN[i, (0, 0)：全ての方向の類似性が強い、または、全ての方向の類似性が弱い（類似性の強い方向が不明である）

case6: (HV[i, j], DN[i, j]) = (0, -1)：斜め 135度方向の類似性が強い。

case7: (HV[i, j】， DN[i, j]) = (- 1， 1)：横および斜め 45度方向の類似性が強い。

case8: (HV[i, il,DN[i, = 1,0)：横方向の類似性が強い。

case9: (HV[i, j],M[i, j]) = (-l, -1)：横および斜め 135度方向の類似性が強い。図 14は、（HV[i， ]'],M[i, j])の値に対応する類似性の強い方向を示す図である, 次に、画像処理部 1 1は、上述した判定結果に応じて、以下のようにして G補間値 G[i, Πを算出する。

easelのとき： G [i l=Gv45 ···式 40

case2のとき： G[i l=Gv · · ·式 41

case3のとき： G[i ]=Gvl35 …式 42

case4のとき G [i ] = (Gv45+Gh45)/2 …式 43

case5のとき： G[i ] = (Gv+Gh) /2 …式 44

case6のとき： G[i ] = (Gvl35+Ghl35)/2 …式 45

case7のとき： G[i ]=Gh 5 '-'式46

case8のとき： G[i ]-Gh · · ·式 47

case9のとき： G[i ]=Ghl35 …式 48

ただし、

Gv=(G[i,ト 1]+G[i, j†l])/2

+ (2-Z[i, j]-Z[i, j-2]-Z[i,〗+2】）/8

+ (2'G[i - 1, il-G[i-l, j-2]-G[i-l, j+2]

+2-G[i+l, j】— G[i+1, j- 2] - G[i + 1, j+2])/16 '式 5 0 Gv45=(G[i, j-l]+G[i, j + l])/2

+ (2·Ζ [i, j]-Z[i, j-2]-Z[i, j+2])/8

+ (2·Ζ j + l]-Z[i-l, j-l]-Z [i-1, j+3]

+2-Z [i + 1, j-l]-Z [i + 1, j-3]-Z [i + 1, j + l])/16 …式 5 1

Gvl35=(G[i, j-l]+G[i, j + l])/2

+ (2·Ζ [i, j]-Z[i, j - 2] - Z[i, j+2])/8

+ (2·Ζ [i-1, j-l]-Z [i-1, j-3]-Z [i-1, j + 1]

+2-Z [i + 1, j + l]-Z [i + l₍ j-l]-Z [i + 1, j+3])/16 …式 52

Gh= (G[i-1, jl+Gti-H, j])/2

+ (2-Z[i, j]-Z[i-2, j]-Z[i+2, j])/8

+ (2-G[i, j-l]-G[i-2, j-l]-G[i + 2, j-1]

+2'G[i， jHト G [ト 2, j + 1] - G[i + 2, j + l])/16 …式 53

Gh45=(G[i-l₍ j]+G[i + l, j])/2

+ (2-Z[i, j]-Z[i-2, j] - Z[i+2, j])/8

+ (2-Z[i + l, i-1] -Z [i-1, j-l]-Z [i+3, j-1]

+2-Z[i-l, j + l]-Z [i-3, j + 1] - Z [i + 1, j + l])/16 …式 54

Ghl35-(G[i-l, j]+G[i+L j])/2

+ (2-Z[i, j]-Z[i-2, j]-Z[i+2, j])/8

+ (2-Z[i-l, j-l]-Z [i- 3， j-1] - 1 [i + 1, j-1]

+2-Z [i + 1, j + l]-Z [i-1, j + l]-Z [i+3, j + l])/16 …式 5 5

なお、式 50〜式 55に示す演算は、緑色成分の平均値（各々の式の第 1項に相当する）を、 2次微分で構成される補正項（各々の式の第 2項，第 3項に相当する）で補正していることを意味する。

以上説明したようにして G補間値を算出すると、画像処理部 1 1は、 R補間値 (赤色成分の補間値）および B補間値（青色成分の補間値）を算出する。

まず、画像処理部 1 1は、赤色成分の色情報または青色成分の色情報が存在する画素に対し、縦横類似性の判定結果に応じて各々の色成分に対応する色差を生成し、かつ、赤色成分の色情報または青色成分の色情報が存在しない画素に対して、各々の色成分に対応する色差を補間する（図 7 S 2) 。なお、画像処理部 1 1は、「色判定用画像生成処理」と同様に、画像の周期的な構造で発生する色モアレによる偽色を低減するため、色差の補間値の算出と共に、画素の色差に対してローパスフィルタを掛ける処理も合わせて行う。

このような色差の生成および補間については、図 4 S 3の色判定用画像の生成 (式 5〜式 8) と同様に行えるため、ここでは、詳細な説明は省略する。ただし、色判定用画像の生成時には、異色間類似度に応じて設定された指標 HV[i, j]を用いて色差が生成されるが、ここでは、「色判定処理」によって淡い彩色部や彩色部に分類された画素の色差は、同色間類似度に応じて再設定された指標 HV[i， j]を用いて生成されることになる。

また、ここで生成または補間される色差を、色判定用画像が記憶された記憶領域に記憶することによって、補間処理を行う過程で利用する記憶領域を削減することが可能である。ただし、このようにして記憶領域を削減する場合には、「補間値算出処理」の前処理として、色判定用画像が記憶された記憶領域の初期化を行う必要がある。

次に、画像処理部 1 1は、色差と緑色成分の色情報（G補間値を含む）とを用い、以下に示す式 60および式 6 1を演算して R補間値および B補間値を算出する（図 7 S 3) 。初めから存在する赤色成分の色情報または青色成分の色情報をそのまま利用する場合、赤色成分の色情報や青色成分の色情報が欠落する画素に対して式 60や式 6 1の演算を行えば良いが、第 1の実施形態では、画像の周期的な構造で発生する色モアレによる偽色を低減するために色差信号を補正しているので、全ての画素に対して式 60および式 6 1の演算を行う必要がある。

R[i, j]=Cr[i， j]+G[i, j] …式 60

B[i, j]=Cb[i, j]+G[i, j] …式 6 1

以上説明したように、第 1の実施形態では、信頼性の高い色指標を算出することができ、その色指標を類似性の判定に用いることにより、従来の技術では実現が難しかった「微細構造の復元と、偽構造や偽色などの瑕疵の抑制とを両立した補間処理」を実現することができる。

なお、第 1の実施形態では、 RGB表色系とは異なる表色系の色成分（C r成分、 Cb成分）で構成される画像を、色判定用画像として生成しているが、色判定用画像は、従来の補間処理や式 60、式 6 1によって算出される R， G, Bの 3 つの色成分で構成される画像としても良い。ただし、 R, G, Bの 3つの色成分で構成される画像を色判定用画像とする場合、式 1 0に代えて、以下に示す式 1 0 'を演算する必要がある。

CdiffOti, j] = (|R[i, j〗 - G[i, j] | + |B[i, j] - G[i, j] I

+ |R[i, j] - B[i, j] |)/3 …式 1 0 '

すなわち、式 1 0'では、 |R[i, j] - G[i, j] Iや |B[iJ]— G[i, j] Iや ]·] - B[i, j] Iを算出することによって、同一画素における異なる色成分間の色相を用いて色指標が導出されることになる。

一第 2の実施形態一

■ 以下、第 2の実施形態を説明する。

ただし、第 2の実施形態と第 1の実施形態とでは、画像処理部 1 1が行う「補間値算出処理」は異なるが、他の処理は同一であるため、以下では、「補間値算出処理」の説明のみを行い、他の処理の説明は省略する。ただし、ここで使う

「補間値算出処理」とは、補間値の算出後のフィルタリングなどの画像処理も含めた意味で述べている。

図 1 5は、第 2の実施形態における画像処理部 1 1の動作フローチャートであり、特に、「補間値算出処理」を示す。

ところで、第 1の実施形態やその他どんな補間処理を行っても、撮像素子におけるカラーフィルタ配列のサンプリングに起因する偽色は、必然的に発生する。通常、このような偽色を低減する対策としては、色差や、画像データを L a b表色系に変換して得られる a , b面などの色相に対して、 5 X 5程度の広域のメデイアンフィルタを掛ける方法が行われている。しかし、画像全面に対して広域のメディアンフィルタを掛けると、彩色部における微細な色構造を破壊してしまう悪影響も同時に発生する。

そこで、第 2の実施形態の「補間値算出処理」では、必要なところのみに、適応的に広域のメディアンフィルタを掛ける処理を示す。

ここで、まず、「無彩色部メディアン」および「輝点周辺メディアン」の説明を行う。《無彩色部メディアン》

一般に、色相にメディアンフィルタを掛けることは、近接して現れ、かつ、相互に補色関係にある偽色の色相を中央値で置き換えることによって無彩色化することに相当し、偽色を低減することができる。したがって、無彩色に近い領域で生じた偽色に対して無彩色化を行つても何の悪影響も生じない。

例えば、偽色を取り除くのに有効な色相に掛けるメディアンフィル夕として、 5 X 5程度の広域のメディアンフィルタが考えられるが、このような広域のメデイアンフィルタによる悪影響は、第 1の実施形態の「色判定処理」によって色分類指標 BWに「c」が設定された領域（彩色部）で生じることが実験的に判明したそこで、色指標に応じて無彩色に近い領域にメディアンフィルタを適応的に掛ける方法が優れている。

以下では、彩色部以外の領域において、色相に広域のメディアンフィルタを掛けることを「無彩色部メディアン」と称する。

《輝点周辺メディアン》

通常問題になる偽色のうち、上述した「無彩色部メディアン」だけでは除去しきれない偽色として、明るく孤立した白点の周辺部（以下、輝点周辺部と称する）などに残る偽色がある。このような偽色の低減も、色相に広域のメディアンフィルタを掛けることによって可能である。

そこで、第 2の実施形態では、上述した彩色部以外の領域だけでなく、輝点周辺部についても、色相に広域のメディアンフィルタを掛ける処理を示す。輝点周辺部の検出は、「無彩色部メディアン」の色指標とは、独立に、輝度を指標とする輝度指標を用いて行う。

なお、以下では、輝点周辺部において、色相に広域のメディアンフィル夕を掛けることを「輝点周辺メディアン」と称する。ただし、輝点周辺部の検出には、輝点周辺部が以下のような特徴を持つことを利用する。

•周辺に輝度値の高い点が 1画素でも存在する。

•画像の構造に伴う輝度の変動が、他の部分に比べ、はるかに大きい。

《補間値算出処理》

以下、図 1 5を参照して、第 2の実施形態の「補間値算出処理」の動作の説明を行う。

まず、画像処理部 1 1は、第 1の実施形態の図 7 S 1と同様に、縦横類似性と斜め類似性とに応じて、 G補間値を算出する（図 1 5 S 1) 。

また、画像処理部 1 1は、第 1の実施形態の図 7 S 2と同様に、赤色成分の色情報または青色成分の色情報が存在する画素に対して、各々の色成分に対応する色差を縦横類似性の判定結果に応じて生成し、かつ、赤色成分の色情報または青色成分の色情報が存在しない画素に対して、各々の色成分に対応する色差を補間する（図 1 5 S 2) 。ただし、第 1の実施形態の例では、色差に対するローパス処理も行われている。

次に、画像処理部 1 1は、色差と緑色成分の色情報とを用いて、輝度値を算出する（図 1 5 S 3 ) 。

例えば、画像処理部 1 1は、以下に示す式 70を演算して輝度値 Y[i， j]を算出する。

Y[i, j] = (Cr [i, j] |+4'G[i, jI+Cb[i, i])/4 …式 70

なお、式 70は、輝度値を R:G:B=1:2:1のような比で算出することに相当する。次に、画像処理部 1 1は、輝点周辺部の検出処理を削減するため、追加的にメディアンフィルタ処理が必要な「色判定処理」によって彩色部に分類された画素 (色分類指標 BWに「cj が設定された画素）に対してのみ、輝度値を用いて「輝度指標」を算出し、その「輝度指標」に基づき輝度解析を行う（図 1 5 S 4) 。

なお、輝度指標として、各画素の局所領域内に位置する複数の画素の輝度値の最大値 maxと、その複数の画素の輝度値の局所的な分散値 varとを用い、輝度解析の結果を色分類指標 BW[i， j]に設定する例を示す。

まず、画像処理部 1 1は、以下に示す条件 40が成り立つ画素に対し、以下に示す式 7 1ないし式 73の演算を行って、輝度指標 max, varを算出する。

BW[i, j] =' c ' ···条件 40

max=Max_of {Y[i, j],Y[i,〗- l],Y[i， i + 1], Y[i-1, j], Y[i + 1, j], Y[i-1, j-1],

Y[i + 1, j-l],Y[i-l, i + l],Y[i + l, j + 1] } …式 7 1 ただし、 Max_oi { } は、複数の輝度値の最大値を算出する関数を示す。

ave=(Y[i, j]+Y[i, j-1] +Y [i, j + 1] +Y [i-1, j]+Y[i + l， j]+Y[i-l, j-1] +Y[i + 1, i-l]+Y[i-l, j + ll+Yti + 1, j + l])/9 ···式 72

var= ( (Y [i, j-1] -ave) H (Y [i, j + 1] -ave) ²+ (Y [i-1, j]-ave) ²

+ (Y [i + 1, j] -ave) ²+ (Y [i-1, j-1] -ave) ^z+ (Y [ill, -ave) ²

+ (Y [i-1, j + 1] -ave) ²+ (Y [i + 1, j + 1] -ave) ²) /9 …式 73

次に、画像処理部 1 1は、輝度指標 max, varについて、

max>ThLmax and var>TliLdev² ···条件 41が成り立つ画素については、輝点周辺部と判断して、色分類指標 BW[i, j]に「m」を設定する。ただし、条件 41 では、輝度指標の階調が 0〜 255で示される場合、閾値 ThLmaxの値は、例えば、 220程度の値であることが望ましく、閾値 ThLmaxThLdev²の値は、例えば、 45 ²程度の値であることが望ましい。

なお、条件 41が成り立たない画素（輝点周辺部以外の画素）の色分類指標 BW Πついては、「c」が設定されたままであり、再設定は行われない。

図 1 6は、色指標と輝度指標との関係を示す図である。

次に、画像処理部 1 1は、「色判定処理」の結果を判定し（図 1 5 S 5) 、「色判定処理」の結果によって彩色部に分類された画素については、輝度解析の結果を判定する（図 1 5 S 6) 。

そして、画像処理部 1 1は、「色判定処理」の結果として、完全無彩色部や無彩色部や淡い彩色部に分類された画素（色分類指標 BWに「z」や「a_! や「bj が設定された画素）に対しては、「無彩色部メディアン」として、色差に広域のメディアンフィルタを掛ける処理を行うと共に、輝度解析の結果として、輝点周辺部に分類された画素（色分類指標 BWに「m」が設定された画素）に対しては、「輝点周辺メディアン j として、色差に広域のメディアンフィルタを掛ける処理を行う（図 1 5 S 7 ) 。

例えば、画像処理部 1 1は、以下に示す条件 42が成り立つ画素に対し、以下に示す式 74および式 75の演算を行って色差 Cr[i, j], Cb[i, j]を再度算出することによって、色差に広域のメディアンフィルタを掛ける処理を実現する。

BW[i, ]] c ' ···条件 42

Cr [i, j] -Median— οί {Cr [i, j], Cr [i, j-2], Cr [i, i+2] , Cr [i-2, j], Cr [i+2, j],

Cr [i-2, j-2] , Cr [i+2, j-2] , Cr [i-2, j+2] , Cr [i+2, j†2] } …式 74 Cb[i, j] Median— of {Cb[i, j], CMi, j-2], Cb[i, j+2], Cb[i-2, j], Cb[i+2, j], Cb[i-2, j-2], Cb[i+2, j-2], Cb[i-2, j+2], Cb[i + 2, j+2] } …式 7 5 ただし、 Median— οί { } は、複数の要素のメディアン値を算出する関数を示し、左辺の Crは右辺の演算結果を一度バッファリングしてから、再度 Cr面に代入された値である。

なお、式 74および式 7 5は、図 1 7 (a) に示す範囲にメディアンフィルタを掛けることに相当するが、色差に広域のメディアンフィルタを掛ける処理は、高速化のため、図 1 7 (b) に示す範囲にメディアンフィルタを掛けることによつて実現しても良い。

次に、画像処理部 1 1は、第 1の実施形態の図 7 S 3と同様にして、 R補間値および B補間値を算出する（図 1 5 S 8) 。

したがって、第 2の実施形態によれば、適応的に広域のメディアンフィル夕が掛けられた色差を用いて R補間値および B捕間値を算出することによって、彩色部における微細な色構造の破壊を回避しつつ、補間処理による偽色の発生を低減することができる。

なお、第 2の実施形態では、輝度解析により輝点周辺部以外に分類された画素の色差については、広域のメディアンフィルタを掛けずに R補間値や B補間値の算出に用いているが、図 1 8 S 8のように、狭域のメディアンフィルタを掛ける処理を行ってから、 R補間値や B補間値の算出に用いても良い。すなわち、図 1 5に示す補間値算出処理に代えて、図 1 8に示す「捕間値算出処理」を行って補間処理を実現することもできる。

例えば、輝点周辺部以外に分類された画素の色差に狭域のメディアンフィルタを掛ける処理は、以下に示す条件 43が成り立つ画素に対し、以下に示す式 76 および式 77の演算を行って色差 Cr[i, j], CMi, j]を再度算出することによって実現できる。

BW[i, ]1=' c ' .-'条件43

Cr[i, j] -Median一 of {Cr [i, j], Cr [i, j-1], Cr [i, j+1], Cr [i-1, j], Crti + 1, j]，

Cr [i-1, j-l],Cr[i+l, j-1], Cr [i-1, j + 1], Cr [i + 1, j + 1] } …式 76 CMi, j]=Median_of Mi, jl, Cb[i, i-1], Cb[i, j + Cb[i-1, j], Cb[i†l, j], Cb [i-1, j-1] , Cb [i + 1, j一 1] , CMi - 1, j + 1] , Cb [i + 1, j + } …式 7 7 なお、式 7 6および式 7 7は、図 1 7 ( c ) に示す範囲にメディアンフィル夕を掛けることに相当するが、色差に狭域のメディアンフィルタを掛ける処理は、高速化のため、図 1 7 ( d ) に示す範囲にメディアンフィルタを掛けることによつて実現しても良い。

ただし、図 1 8に示す「補間値算出処理」を含む補間処理は、図 1 5に示す「補間値算出処理」を含む補間処理では色彩部における偽色が目立つ場合に行うと効果的である。

また、第 2の実施形態では、色判定や輝度解析の結果に基づき、色差に対して適応的にメディアンフィル夕を掛けているが、このようにメディアンフィルタを掛ける処理は、単板式の撮像素子で得られたデータから、従来の補間技術を用いて画像復元処理が完了した画像に対しても、事後的な補正処理として同様に使うことができる。ただし、このような事後的な補正処理では、色判定用画像は、画像復元処理が完了した画像の色情報を用いて生成され、色指標は、その色判定用画像から導出されるものとする。ここで、画像復元処理が完了した画像としては、二板式の撮像素子によって生成されたデータから画像復元処理によって得られた画像や、 Y、 C b、 C rが 4： 1 ： 1に間引かれたデータから画像復元処理によつて得られた画像などに対して用いても有効である。

一第 3の実施形態一

以下、第 3の実施形態を説明する。

ただし、第 3の実施形態と第 1の実施形態および第 2の実施形態とでは、画像処理部 1 1が行う「色判定処理」は異なるが、他の処理は同一であるため、ここでは、「色判定処理」の説明のみを行い、他の処理の説明は省略する。

図 1 9は、第 3の実施形態における画像処理部 1 1の動作フローチャートであり、特に、「色判定処理 _1 を示す。

ところで、第 1の実施形態の「色判定処理」では、「色判定用画像生成処理」で生成した色判定用画像を用いて色指標を算出し、その色指標に基づき色判定を行うが、色判定用画像に生じた偽色によって、無彩色部が彩色部と誤判定される可能性が残っている。例えば、本来、無彩色部に分類されて異色間類似度により縦横類似性判定されるべき画素が、色モアレ等の偽色発生により誤って彩色部に分類されて、同色間類似度により縦横類似性判定されてしまう部分がある。

そこで、第 3の実施形態の「色判定処理」では、類似性判定の精度を向上させるため、「色判定用画像」に対しても第 2の実施形態で示した手法を用い、色判定を 2回行う処理を示す。

《色判定処理》

以下、図 19を参照して、第 3の実施形態の「色判定処理」の動作の説明を行 Ό。

まず、画像処理部 1 1は、「色判定用画像生成処理」で生成した色判定用画像を用いて、第 1の実施形態の図 5 S 1と同様にして、色指標 Cdifiを算出する（図 1 9 S 1 ) 。

また、画像処理部 1 1は、第 1の実施形態の図 5 S 2と同様にして、各々の画素で算出された色指標 Cdiii [i， Πに基づき 1回目の色判定を行い（図 1 9 S 2) 、色分類指標 BW[i， j]の設定を行う。

次に、画像処理部 1 1は、輝度値を算出するため G補間値を算出し、その G補間値と元の緑色成分の色情報とで構成される G面画像と、色判定用画像（C r、 Cb面画像）とを用いて、輝度値を算出する（図 19 S 3) 。

例えば、画像処理部 1 1は、緑色成分が欠落する画素に対し、隣接する画素の緑色成分の色情報の平均値を G補間値として算出する。なお、 G補間値は、従来の技術と同様に算出しても良い。また、輝度値（Y[i, j]) は、第 2の実施形態の式 70と同様にして算出する。

次に、画像処理部 1 1は、 1回目の色判定によって彩色部に分類された画素 (色分類指標 BWに「c」が設定された画素）に対し、第 2の実施形態の図 1 5 S 4と同様にして、輝度値を用いて輝度指標を算出し、その輝度指標に基づき輝度解析を行う（図 19 S 4) 。

次に、画像処理部 1 1は、上述した色指標 Cdiiiに基づいて色判定を行い（図 1 9 S 5) 、その色判定の結果によって彩色部に分類された画素については、輝度解析の結果を判定する（図 19 S 6) 。

そして、画像処理部 1 1は、色判定の結果として、完全無彩色部や無彩色部や淡い彩色部に分類された画素（色分類指標 BWに「z」や「a」や「b」が設定された画素）と、輝度解析の結果として、輝点周辺部に分類された画素（色分類指標 BWに「m」が設定された画素）とに対し、第 2の実施形態の式 7 4 ,式 7 5と同様にして、色判定用画像を構成する色差に広域のメディアンフィルタを掛ける処理を行う（図 1 9 S 7 ) 。

次に、画像処理部 1 1は、第 1の実施形態の図 5 S 1 と同様にして、色指標 Cd i f fを算出し直す（図 1 9 S 8 ) 。

また、画像処理部 1 1は、算出し直した色指標 Cd i i こ基づき、第 1の実施形態の図 5 S 2と同様にして、 2回目の色判定を行い（図 1 9 S 9 ) 、色分類指標 BW を設定し直す。

すなわち、第 3の実施形態では、適応的にメディアンフィルタを掛けた色判定用画像を用いて、色指標 Cd i i iが算出し直され、 2回目の色判定が行われる。したがって、例えば、色判定用画像に生じた偽色が原因で、 1回目の色判定において、誤って彩色部に分類してしまった画素であっても、 2回目の色判定によって、無彩色部に分類することが可能である。

そのため、第 3の実施形態によれば、「類似性判定処理」において、無彩色部に分類されるべき画素の縦横類似性が、同色間類似度を用いて判定し直されてしまうという誤りや、彩色部に分類されるべき画素の縦横類似性が、同色間類似度を用いて判定し直されないという誤りを抑制することができ、補間処理における類似性判定の精度が向上し、偽色の発生を低減することができる。

なお、第 3の実施形態では、輝度解析により輝点周辺部以外に分類された画素の色差については、広域のメディアンフィルタを掛けずに色判定用画像に用いているが、図 2 O S 8のように、狭域のメディアンフィルタを掛ける処理を行ってから、色判定用画像としても良い。すなわち、図 1 9に示す色判定処理に代えて、図 2 0に示す「色判定処理」を行って補間処理を実現することもできる。例えば、輝点周辺部以外に分類された画素の色差に狭域のメディアンフィルタを掛ける処理は、上述した条件 4 3が成り立つ画素に対し、式 7 6および式 7 7の演算を行つて色差 Cr [i, j] , Cb [i, j]を再度算出することによって実現できる。

また、第 3の実施形態では、輝度解析によって輝点周辺メディアン画素を追加的に抽出しているが、高速化を優先する場合は、無彩色部メディアンだけでも良く、このときには、輝度値の算出（図 1 9 S 3 ) や輝度解析（図 1 9 S 4、 S 6 ) も不要となって、「色判定処理」を簡略化できる。

一第 4の実施形態一

以下、第 4の実施形態を説明するが、第 4の実施形態と上述した各実施形態との相違点は、画像処理部 1 1が行う「補間値算出処理」のうち、 G補間値を算出する処理（図 7 S 1、図 1 5 S 1 ) にあり、他の処理は同一である。そのため、第 4の実施形態では、図示を省略し、画像処理部 1 1が行う「G補間値を算出する処理」の説明のみを行う。

ところで、従来の技術では、チェックパターンのようなナイキスト周波数レべルの微細構造が捕間値に反映されないという問題があつた。このような微細構造の復元は、補間値を元来の色情報に置換することによって実現することが可能である。しかし、このような置換は、ナイキスト周波数レベルの微細構造を示す領域にのみ有効であるが、乱用すると、多大な危険（例えば、画像の破綻など）を伴うことが予想される。

そこで、第 4の実施形態では、元来の色情報による補間値の置換を、必要な領域のみに適用する処理を示す。ただし、補間対象画素の補間値を、その画素に元来存在する色情報で完全に置き換えると、ナイキスト周波数レベルの微細構造が目立ちすぎてしまうことがあるので、第 4の実施形態では、周囲の構造との滑らかさを保っため、上述した各実施形態で算出される補間値と、元来の色情報との平均値を、補間対象画素の補間値としている。以下、このように完全な置換、または、ある比率だけ置換して補間値を算出することをまとめて「置換補間」と称する。

ここで、「置換補間」を適用すべき領域の説明を行う。

まず、「置換補間」が許容される領域として、完全に無彩色である領域が挙げられるが、このような領域には、第 1の実施形態や第 3の実施形態の「色判定処理」によって色分類指標 BWに「z」が設定された領域（完全無彩色部）が対応することが実験的に判明した。なお、色差の階調が 0〜 2 5 5で示される場合、色分類指標 BWに「z」が設定される領域に属する画素の色差を、 2以下に厳しく制限しているので、「置換補間」は、最大の階調数に対して 1 %未満の色差を示す領域にのみ許可されていることになる。

ただし、上述した各実施形態では、完全無彩色部における縦横類似性の判定は、異色間類似度を用いて行われており、このような判定によって類似性の強い方向が特定された領域の構造では、ナイキスト周波数よりも長い周期の微細構造である可能性が高く、このような微細構造の凹凸情報は、式 50〜式 55の補正項によって、補間値に反映されていると考えられる。

すなわち、「置換補間」を必要とする領域は、完全彩色部のうち、類似性の強さが不明である領域 ( 「類似性判定処理」によって case5に分類された画素）に限られる。

《G補間値を算出する処理》

以下、第 4の実施形態の「G補間値を算出する処理」の説明を行う。

まず、画像処理部 1 1は、「色判定処理」（図 5 S 1、 S 2、図 19 S 1〜S 1 1) と「類似性判定処理」（図 6 S 1~S 5) とが完了すると、縦横類似性を示す指標 HV[i， j]と斜め類似性を示す指標 DN[i, j]とが如何なる値であるかを判定し、補間対象画素の類似性の強さを、第 1の実施形態と同様にして casel〜case9 の何れかに分類する。

そして、画像処理部 11は、 casel~case4、 case6~case9に分類された補間対象画素に対しては、第 1の実施形態の式 40〜式 43、式 45〜式 48のようにして G補間値 G[i, j]を算出する。

一方、画像処理部 1 1は、 case5に分類された補間対象画素に対しては、色判定の結果に応じて、完全無彩色部に分類されているか否かの判定（色分類指標に「z」が設定されているか否かの判定に相当する）を行う。

そして、画像処理部 1 1は、「case5に分類され、かつ、完全無彩色部に分類された画素」に対しては、以下に示す式 80のようにして G補間値 G[i, ]']を算出することによって、「置換捕間」を適用する。また、画像処理部 1 1は、「case5に分類され、かつ、完全無彩色部に分類されない画素」に対しては、第 1の実施形態の式 44のようにして G補間値 G[i, j]を算出する。

G[i, j] = (Z[i, j] + (Gv+Gh))/2 …式 80 ただし、 Gv， Ghは、式 5 0，式 5 3によって算出される値である。

以上説明したように、第 4の実施形態では、適応的に「置換補間」を行うことによって、ナイキスト周波数レベルの微細構造を復元することができる。

なお、第 4の実施形態では、上述した各実施形態で算出される補間値と元来の色情報との平均値を、補間対象画素の補間値としているが、補間処理の完了後に緑色成分や輝度成分にローパスフィルタを掛ける場合には、平均化操作が行われるため、補間対象画素の補間値を元来存在する色情報で完全に置き換えても良い < 一第 5の実施形態一

以下、第 5の実施形態の動作を説明する。

ただし、 P C 1 8には、 C D— R O M 2 8などの記録媒体に記録された画像処理プログラム（上述した何れかの実施形態の画像処理部 1 1と同様にして補間処理を実行する画像処理プログラム）が予めィンストールされているものとする。すなわち、 P C 1 8内の不図示のハードディスクには、このような画像処理プログラムが不図示の C P Uによって実行可能な状態に格納されている。

以下、図 1を参照して第 5の実施形態の動作を説明する。

まず、電子カメラ 1は、操作部 2 4を介し、操作者によって撮影モードが選択されてレリーズポタンが押されると、撮像素子 2 1で生成されてアナログ信号処理部 2 2で所定のアナログ信号処理が施された画像信号を、 A Z D変換部 1 0でディジタル化し、画像データとして、画像処理部 1 1に供給する。画像処理部 1 1は、このようにして供給された画像データに対して、階調変換やァ補正などの画像処理を行う。このような画像処理が完了した画像データは、メモリカード用ィンタフェース部 1 7を介してメモリカード 1 6に記録される。

次に、電子カメラ 1は、操作部 2 4を介し、操作者によって P C通信モードが選択された状態で、外部ィンタフエース部 1 9を介し、 P C 1 8から画像データの転送が指示されると、その指示に対応する画像データを、メモリカード用インタフエース部 1 7を介してメモリカード 1 6から読み出す。そして、このようにして読み出した画像データを、外部ィンタフェース部 1 9を介して P C 1 8に供給する。

P C 1 8内の不図示の C P Uは、このようにして画像データが供給されると、前述した画像処理プログラムを実行する。なお、このような画像処理プログラムの実行によって補間処理が行われた画像デ一夕は、必要に応じて圧縮処理して不図示のハードディスクに記録したり、モニタ 2 6やプリンタ 2 7で採用されている表色系に変換して各々に供給しても良い。

以上説明したように、第 5の実施形態では、上述した何れかの実施形態と同様の補間処理を P C 1 8によって行うことができる。

なお、 P C 1 8内の不図示の C P Uは、前述したように画像データが記録されたメモリカード 1 6が装着された場合、そのメモリカード 1 6から画像データを読み出し、前述した画像処理プログラムを実行しても良い。

また、このような画像処理プログラムは、インターネットを介して所定のホームページにアクセスすることによって、 P C 1 8にダウンロードされても良い。さらに、このような画像処理プログラムは、 P C 1 8で実行せず、インターネット等を介して接続される遠隔地のサーバ等で実行しても良い。すなわち、 P C 1 8は、電子カメラ 1から供給される画像データを、ィンタ一ネット等を介して、前述した画像処理プログラムが実行可能なサーバ等に転送するだけで、その画像データに、上述した何れかの実施形態と同様の補間処理を行うことができる。また、上述した各実施形態では、 R G B表色系で示され、かつ、各々の画素に R , G , Bの何れか 1つの色成分の色情報が存在する画像に対する補間処理を説明したが、同様の補間処理は、他の表色系で示される画像にも適用できる。

さらに、上述した各実施形態では、色成分が図 2に示すように配列された画像データに対して補間処理を行う例を示したが、本発明が適用できる画像データは、図 2に示した配列に限定されるものではない。

ところで、上述した各実施形態では、画像復元処理のうち、補間処理について説明を行っており、最終的に、全ての画素に R , G , Bの 3つの色成分の色情報が対応付けられることになるが、本発明は、補間処理に限定されず、 R G B表色系とは異なる表色系の色成分を、全ての画素に対応付ける画像復元処理に対しても同様に適用できる。

例えば、後述するような第 8の実施形態においては、全ての画素に、 Y , C b , C rの 3の色成分の色情報を対応付けられていることになる。そのため、このような状態では、 R G B表色系（画像復元処理の対象となる画像が示す表色系）とは異なる表色系（ここでは、 Y C b C r表色系に相当する）の色成分を全ての画素に対応付ける画像復元処理に対し、本発明が適用されたことになる。

すなわち、上述した各実施形態の「類似性判定処理」は、 R G B表色系を捕間する画像復元処理だけでなく、他の表色系を構成する色成分を新たに生成する画像復元処理にも適用できることになる。

また、第 4の実施形態の「置換補間」に相当する処理についても、 R G B表色系を補間する画像復元処理だけでなく、他の表色系を構成する色成分を新たに生成する画像復元処理にも.適用できることになる。

例えば、 R , G， Bの 3つの色成分がべィァ配列されて成る画像に対し、各々の画素に Y， C b , C r成分を対応付ける画像復元処理においては、元来、赤色成分の色情報が存在する画素の Y成分が周辺の緑色成分、青色成分を用いて「（R+2 -G +B) /4j で算出される場合、「置換補間」に相当する処理を適用することは、 Y成分を「（2 'R+G+B) /4」で算出することに相当する。すなわち、 G成分の半分が、赤色成分の色情報に置き換えられることになる。

以上説明した実施の形態の電子カメラでは、次のような効果を奏する。

復元値の生成の仕方を切り換えることによって、微細構造の復元と、偽構造や偽色などの瑕疵の抑制とが図られ、画像全体の調和を保った画像復元処理が行える。

同一画素間色相値の精度を高めることによって、色指標の導出精度の向上が図られ、画像復元処理による偽色の発生を更に低減することができる。

類似性の判定を色指標に応じて適応的に行って、復元値を生成することができるため、偽構造や偽色などの瑕疵の抑制効果が更に高められる。

復元値を元来の色情報で適応的に置換することができるため、微細構造の復元の精度が向上される。

画像復元処理における類似度の算出精度の向上が図られる。

画像復元処理における補正を適応的に行うことによって、微細な色構造の破壊の回避と、偽色の発生の低減とが図られ、画像全体の調和を保った画像復元処理が行える。色指標の算出精度の向上が図られる。

画像復元処理における補正を適正に行うことができると共に、過剰な捕正による悪影響の発生を抑制することができる。

画像復元処理における補正を適正に行うことができる。

輝度指標の算出精度の向上が図られる。

—第 6の実施の形態一

(電子カメラの構成）

第 6の実施の形態の電子カメラ 1の構成は、第 1の実施形態〜第 4の実施形態に対応する電子カメラの機能ブロック図として説明した図 1と同様であるのでその説明を省略する。

(画像データの変換）

撮像素子 2 1を介して取得した RGB表色系の画像データを、 GC r C bで表す画像データに変換する処理を説明する。撮像素子 2 1で撮像され、アナログ信号処理部 2 2、 AZD変換部 1 0を介して画像処理部 1 1に入力される画像デ一夕は、べィァ配列の R GB表色系で表され、前述した通り、 1つの画素には 1つの色成分しか含まれていない。以下、この画像データを変換前 RGB画像データとも言う。この変換前 RGB画像データを、各画素において輝度成分の情報 G (輝度情報 Gあるいは輝度信号 Gと言う）と、色差成分（クロミナンス）の情報 C r、 C b (色差情報 C r、 C bあるいは色差信号 C r、 C bと言う）を含む画像データに変換する。変換後の画像データを変換後 GC r C b画像デ一夕と言う。図 2 1は、変換の概念を示す図であり、図 2 1 (a) は第 6の実施の形態における変換の概念図である。図 2 1 (b) は、後述する第 8の実施の形態における変換の概念図である。なお、変換前 RGB画像データは、画素単位で色成分が分離されているので、空間的にスぺクトル分離された多重スぺクトル画像のデ一夕と言うこともできる。

変換前 R GB画像データについて、図 2 (a) 〜図 2 (d) を使用して説明する。図 2 ( a) 〜図 2 (d) は、変換対象画素にどの色成分が配置されているかによって周辺の画素にどの色成分が配置されているかを示している。変換対象画素の座標を [i, j]で表す。図 2 (a) は変換対象画素 [i, Πに R成分の色情報を有する場合を示し、図 2 (b) は変換対象画素 [i, j]に B成分の色情報を有する場合を示す。図 2 (c) は変換対象画素 [i, j]に G成分の色情報を有し、縦方向に隣接する画素に B成分の色情報を有し横方向に隣接する画素に R成分の色情報を有する場合を示し、図 2 (d) は変換対象画素 [i, j]に G成分の色情報を有し、縦方向に隣接する画素に R成分の色情報を有し横方向に隣接する画素に B成分の色情報を有する場合を示している。

変換前 R GB画像データにおいて、 R成分の色情報を有する画素を R画素、 B 成分の色倩報を有する画素を B画素、 G成分の色情報を有する画素を G画素と言 Ό。

図 2 2は、画像処理部 1 1が行う画像データ変換処理の概要を示すフローチヤートである。図 2 3は、処理の関係を説明するためのブロック図である。図 2 2、図 2 3を使用して、画像処理部 1 1が行う画像データ変換処理の概要を説明する。ステップ S 1では、ベィァ面（図 2 3の 1 0 1) 、すなわち変換前 RG B画像デ一夕を入力する。ステップ S 2において、変換前 RGB画像データの各色成分の色情報を使用して、 C r、 C b面、すなわち色差情報 C r、 C bをすベての画素において生成する（図 2 3の 1 0 2) 。このとき異色間類似度を使用して縦横方向判定 1を行い（図 2 3の 1 0 3) 、縦横方向判定 1に基づき色差情報 C r、 C bを生成する。ステップ S 3では、色差情報 C r、 C bを使用して色評価を行う（図 2 3の 1 04) 。色評価とは、該当画素が無彩色画素なのか、有彩色画素なのか、有彩色の場合はその彩色度がどの程度かなどの評価を行う。

ステップ S 4において、 G面、すなわち輝度情報 Gをすベての画素において生成する。輝度情報 Gを生成するとき、ステップ S 3で求められた色評価の結果に基づき、異色間類似度を使用した縦横方向判定 1 (図 2 3の 1 0 3) を使用するのか、同色間類似度を使用した縦横方向判定 2 (図 2 3の 1 0 5) を使用するのか選択する（図 2 3の 1 0 6) 。色評価の結果に基づいて選択された異色間類似度あるいは同色間類似度の縦横方向判定に基づき、輝度情報 Gを生成する（図 2 3の 1 0 7) 。すなわち、類似性の縦横方向判定の結果に基づき、該当画素を含む局所領域内の色情報を使用しながら輝度情報 Gを生成する。局所領域とは、例えば、数画素から数十画素数の範囲の領域である。ただし、 1 0 0画素を越えるような範囲であってもよい。すなわち、局所領域とは、画像全体に対して局所的と言えるような数の画素で構成される領域である。

ステップ S 5において、ステップ S 2で生成された色差情報 C r、 C bと、ステツプ S 4で生成された輝度情報 Gが、画像データとして出力され、各種の画像処理が施されたりメモリ等に格納されたりする。

なお、変換前 RGB画像データの画素数と変換後 GC r C b画像デ一夕の画素数は同じであり、 2次元平面において各画素の位置は 1 ： 1で対応する。ところで、上述した全ての画素における画像データ変換処理は、着目する局所領域における画像データ変換処理を繰り返すことにより達成される。従って、ここからは、着目領域での局所的に満たす関係式を用いて話を進める。以下、これらの処理の詳細について説明する。説明の構成をまとめると以下のようになる。

(1. C r、 C b面生成）

(1-1. 縦横方向判定 1)

(1-1-1. 類似度の算出）

(1-1-1-1- 異色間類似度）

(1-1-1-2. 類似度の周辺加算）

(1-1-2. 類似性判定）

(1-2. 色差生成）

(1-2-1. R位置 C r面生成）

(1-2-2. C r面補間）

(1-2-3. B位置 Cb面生成、補間）

(2. 色評価）

(2-1. 色差補正）

(2-2. 色指標の算出）

(2-3. 色判定）

(3. G面生成）

(3-1. 縦横方向判定 2)

(3-1-1. 類似度の算出）

(3-1-1-1. 同色間類似度） (3-1-1-2. 類似度の周辺加算）

(3-1-2. 類似性判定）

(3-2. 方向指標の選択）

(3-3. Gの計算）

(4. カラー画像出力）

以下、説明を開始する。

(1. C r、 C b面生成）

(1-1. 縦横方向判定 1)

(1-1-1. 類似度の算出）

(1-1-1-1. 異色間類似度）

入力された変換前 RGB画像データの各色成分の色情報を使用して、異色間類似度の算出を行い、縦横方向判定 1を行う。まず、 R画素および B画素において、「異色間類似度 J を算出する。「異色間類似度」とは、変換対象画素を含む局所領域内の異なる色成分の色情報を使用して、変換対象画素と周辺画素との類似性の度合いを数値化したものである。本実施の形態では、縦方向の異色間類似度と横方向の異色間類似度を求め、縦方向に類似性が強いのか横方向に類似性が強いのかを判定する。色情報とは、撮像素子 2 1で取得された色信号を、所定の処理を行いデジタル化した値である。例えば、 1バイト 2 56階調で表される。

画素の座標を [X, y]とし、変換対象画素の座標を [i, j]とする。 G画素の色情報を G ， y]、 R画素の色情報を B[x, y]、 B画素の色情報を B [x， y]、 R画素の色情報あるいは B画素の色情報を代表して Z [x, y]とする。縦方向の異色間類似度 CvO[i， j]は式（10】）により、横方向の異色間類似度 ChO[i, j]は式（102)により求めることができる。 R画素の場合は GR間類似度成分、 B画素の場合は GB間類似度成分を求める。ただし、ここで類似度成分とは、類似度を構成する色成分の組み合わせが異なるものを分類して表現するために用いている。

GR(GB)間類似度成分

CvO[i,〗] = (|G[i， i一 1]一 Z[i, j] | + |G[i, j + l]-Z[i, j] l)/2 ... (101)

ChO[i, j] = (|G[i-l, j]-Z[i, j] | + )G[i + l, j]-Z[i, j] l)/2 … (102)

変換前 RGB画像データの着目領域の R画素、 B画素において縦方向の異色間類似度 CvO[x, y]、横方向の異色間類似度 ChO[x, y]を求める。

なお、変換対象画素が R画素あるいは B画素の場合、縦方向横方向の異色画素はすぐ隣の G画素である（図 2 (a) 、図 2 (b) ) 。すなわち、「異色間類似度」は、 1画素ピッチで類似性を判定し、 1画素ピッチで変化するナイキスト周波数レベルの微細構造におけるより正確な類似性判定を可能とする。

(1-1-1-2. 類似度の周辺加算）

次に、類似度の周辺加算を行う。上記で求めた縦方向の異色間類似度 CvO ， y]、横方向の異色間類似度 ChO[x， y]を使用して、式（103) (104)の演算を行う。これは、周辺画素との連続性を考慮することにより類似度の精度を上げるためのものである。なお、簡略性、処理スピードを優先する場合は省いても良い。

Cv [i, j] = (4*CvO[i, j]

+2* (CvO [i - 1, j-1] +CvO [i+1, j- 1] +CvO [i-1, j + 1] +CvO [i + 1, j + 1] )

+CvO[i, i-2]+CvO[i, j+2]+Cv0[i-2, j]+CvO[i+2, j])/16 ... (103) Ch[i, j] = (4*ChO[i, j]

+2* (ChO [1-1, j-1] +ChO [i + 1, j-1] +ChO j + 1] +ChO [i + 1, j + 1] )

+ChO[i, j-2]+Ch0[i, j+2] +ChO [i-2, j]+Ch0[i+2, j])/16 ... (104) (1-1-2. 類似性判定）

次に、類似性判定を行う。上記で求めた Cv[i, j]、 CMi, Πを使用して、変換対象画素の類似性の判定を行う。すなわち、第 6の実施の形態では、縦方向に類似性が強いか、横方向に類似性が強いか、縦横不明かの判定を行う。具体的には、条件（105)を満足するときは、縦横類似性が不明として方向指標 HVd[i, j]=0をセッ卜する。 TW)は所定のしきい値であり、 2 56階調のときは 10前後の値とする。すなわち、縦横の類似度間の差分がしきい値 ThO以下であれば、縦方向に類似性が強いのか、横方向に類似性が強いのか判定できないことを意味する。

|Cv[i, j]-CMi, j] |≤ThO … (105)

条件（105)が満足しない場合、すなわち、縦横どちらかの方向の類似性が判定できる場合は、条件（106)を満足するか否かを判定する。条件（106)を満足するときは、縦方向に類似性が強いとして、方向指標 HVd[i， j]=lをセットする。条件（10 6)を満足しない場合は、横方向に類似性が強いとして方向指標 HVd [i, ]']=- 1をセットする。なお、異色間類似度 Cv[i, j]、 Ch[i, j]は、値が小さいほど類似性が強いことを示している。

Cv[i, j]<Ch[i, j] ... (106)

変換前 RGB画像デ一夕の着目領域の R画素、 B画素において方向指標 HVd [X, y]を求める。

(1-2. 色差生成）

(1-2-1. R位置 C r面生成）

次に、 R画素における色差情報 C r面生成について説明する。変換前 RGB画像データの R画素に対応する変換後 GC r C b画像データの画素の色差情報 C r を求める。このとき、上記で求めた類似性の方向指標 HVd [i, j]によって異なる式を使用する。 HVd[i, j]=lのときは式（107)、 HVd[i, 1のときは式（108)、 HVd [i, j]=0のときは式（109)を使用して Cr [i, j]を求める。

Cr [i, j] = (2*R[i, j]+R[i， j-2] +R[i, j+2])/4- (G[i, j-l]+G[i, j + l])/2… (107) Cr [i, j] = (2*R[i, j]† [i-2_f j] R[i + 2, j] ) /4- (G [i-1, j]+G[i + l, j])/2 -.. (108) Cr [i， j] = (4*R [i, j]+ [i, j-2] +R [i， j+2] +R [i-2, j] +R [i+2, j])/8

-(G[i, j-l]+G[i, j + l]+G[i-l, j]+G[i + l, j])/4 ... (109)

(1-2-2. C r面補間）

次に、 C r面の補間を行う。求めた R画素に対応する画素の色差情報 C rを使用して、 B画素、 G画素に対応する画素の色差情報 C rを補間処理によって求める。 B画素に対応する画素の場合は式（110)、 G画素で横方向に R画素が隣接する画素に対応する画素の場合は式（111)、 G画素で縦方向に R画素が隣接する画素に対応する画素の場合は式（112)を使用して色差情報 C rを求める。

Cr [i, j] = (Cr [i-1, j-l]+Cr [i-1, j + l]†Cr [i+1, j-l]+Cr [i+1, j + l])/4... (110)

Cr [i, j] = (Cr[i-l, j]+Cr [i + 1, j])/2 -.. (Ill)

Crii, j] = (Cr[i, j-lllCrii, j + l])/2 -.. (112)

(1-2-3. B位置 Cb面生成、補間）

色差情報 Cbについても、上記色差情報 C rと同様にして求める。このようにして、変換後 GC r C b画像データの着目領域の画素の色差情報 C r、 C bを求める。なお、上記により求めた色差情報 C r、 C bは、変換前 RGB画像データについて、補間処理により着目領域の画素において RGBの色成分の色情報を求めた後に色差を求める場合と数学的には等価である。

また、上記では異色間類似度のみで類似性判定した方向指標 HVd [i, j]を用いた。これは、ナイキスト周波数近傍の偽色発生を大幅に抑制できるからである。

(2. 色評価）

(2-1. 色差補正）

色評価に先立ち色差情報 C r、 Cbの補正を行う。色評価を正確に行うため、前述のようにして取得した C r、 C bの色差面に生じている色モアレを除去するためである。色差メディアンフィルタを使用してもよいが、第 6の実施の形態では、以下の式（113)および図 24で示されるローパスフィルタを使用する。この処理は、色モアレを除去するという目的を高速に達成することができる。

TCrl [i, j] = (4* Cr[i， j]+2 Cr [i-2, j]+Cr [i+2, j]+Cr [i, j-2]+Cr [i, j + 2])

+ l*(Cr[i-2, j-2]+Cr [i+2, j-2]+Cr [i-2, j+2]+Cr [i+2, )1/16 … (113)

TCbl [i, j]も同様にして求める。

この様にして、色差情報 C r、 Cbは、画素単位で周辺構造を把握することにより、空間方向に方向性を持って分布していると想定される色差情報を画素単位の正確な階調として表された色差情報に変換して生成されている。従って、画像の構造的要因をほぼ完全に排除して、画像が実際に持つ色あいを画素単位で計ることのできるスカラー量となっている。色指標として色差情報 C rが示す RG間の色差と、色差情報 C bが示す BG間の色差は既に求まっているが、画素単位のスカラー量であるため更に RB間の色差も評価することができる。これにより、極めて人間の視覚的判断に近い色評価が行える。

(2-2. 色指標の算出）

次に、色指標 Cdiifの導出式（114)を示す。

次に、色判定を行う。上記連続的色指標 Cdiif [i, j]を、条件（115)〜（118)を満足するか否かのしきい値判定して、離散的色指標 BW[i, j]の色判定結果に変換する, しきい値は 256階調のとき Thza=2、 Thab=5, Thbc=15程度の値とする。

Cdiff [i, j]≤Thza · .. (115)

Thza<Cdiff [i, j]≤Thab ... (116)

Thab<Cdiff [i, j]≤Thbc ... (117)

Thbc<Cdiff [i, j] ... (118)

条件（115)を満足する場合は、完全無彩色部として、 BW[i, ]'] z'をセットする。条件（116)を満足する場合は、無彩色部として、 BW[i, j]='a'をセットする。条件 (117)を満足する場合は、低彩色部として、 BW[i， j]='b'をセットする。条件（11 8)を満足する場合は、彩色部として、 BW[i, j]='c'をセットする。

(3. G面生成）

(3-1. 縦横方向判定 2)

(3-1-1. 類似度の算出）

(3-1-1-1. 同色間類似度）

次に、上記に求めた色指標 BW[i， j]を使用して、変換後 GC r C b画像データの輝度情報 Gを求める。まず、変換前 RGB画像データの R画素および B画素において、「同色間類似度」を算出する。「同色間類似度」とは、変換対象画素を含む局所領域内の同一色成分の色情報を使用して、変換対象画素と周辺画素との類似性の度合いを数値化したものである。本実施の形態では、縦方向の同色間類似度と横方向の同色間類似度を求め、縦方向に類似性が強いのか横方向に類似性が強いのかを判定する。

変換対象画素に隣接する G画素の色情報より、縦方向の GG間類似度成分 Cvl [i, j]を式（119)により求め、横方向の GG間類似度成分 Chi [i， j]を式（120)により求める。

Cvl [i, j]=|G[i,ト 1]- G[i, j+1] | -.. (119)

Chi [i, j]=|G[i-l, j]-G[i+l, j] I -.. (120)

変換対象画素および G画素と異なる色成分を有する画素の色情報より、縦方向の BB (RR)間類似度成分 Cv2 [i, j]を式（121)により求め、横方向の BB (RR)間類似度成分 Ch2[i, j]を式（122)より求める。

Cv2[i, j]を式（123)に代入して、変換対象画素 [i, j]の縦方向の同色間類似度 CvO を求める。また、横方向の GG間類似度成分 Chl[i, j]と横方向の BB(RR)間類似度成分 Ch2[i, j]を式（124)に代入して、変換対象画素 [i, j]の横方向の同色間類似度 ChO[i, j]を求める。

CvO[i, j]-(Cvl [i， j]+Cv2 [i, j])/2 ... (123)

ChO [i, j] = (Chi [i, j]+Ch2 [i, j])/2 -.. (124)

(3-1-1-2. 類似度の周辺加算）

次に、類似度の周辺加算を行う。上記で求めた縦方向の同色間類似度 CvO[x, y]、横方向の同色間類似度 ChO [x,y】を使用して、式（125) (126)の演算を行う。これは、前述した異色間類似度と同様に、周辺画素との連続性を考慮することにより類似度の精度を上げるためのものである。なお、簡略性、処理スピードを優先する場合は省いても良い。

Cv[i, j] = (4*CvO[i, j]

+2* (Cv0[i-1, j-l]+CvO[i + l, j-l]+CvO [i-1, j + 1] +CvO [i + 1, j+1]) +CvO [i, j-2] +CvO [i, j+2] +CvO [i-2, j] +CvO [i+2_f j] ) /16 ... (125) Ch[i, j] = (4*ChO[i, j]

+2* (ChO [i-1, j-l]+ChO[i + l, j-1] IChO [i-1, j + 1] +ChO [i + 1, j + 1])

+ChO[i, i-2]+ChO[i, j+2] IChO [i-2, j]+ChO[i+2, j])/16 -.. (126) (3-1-2. 類似性判定）

次に、類似性判定を行う。上記で求めた Cv[i, j]、 Ch[i， j]を使用して、前述した異色間類似性判定と同様に、変換対象画素の同色間類似性の判定を行う。第 6 の実施の形態では、縦方向に類似性が強いか、横方向に類似性が強いか、縦横不明かの判定を行う。具体的には、条件（127)を満足するときは、縦横類似性が不明として方向指標 HVs [i, j]=0をセットする。 TMは所定のしきい値であり、 2 56階調のとき異色間類似度の ThOと同程度の 1 0前後の値とする。すなわち、縦横の類似度間の差分がしきい値 Thl以下であれば、縦方向に類似性が強いのか、横方向に類似性が強いのか判定できないことを意味する。

|Cv [i, j]-Ch[i, j] |≤Thl ... (127)

条件（127)が満足しない場合、すなわち、縦横どちらかの方向の類似性が判定できる場合は、条件（128)を満足するか否かを判定する。条件（128)を満足するときは、縦方向に類似性が強いとして、方向指標 HVs [i，をセットする。条件（12 8)を満足しない場合は、横方向に類似性が強いとして方向指標 HVs [i, j]=- 1をセッ卜する。なお、同色間類似度 Cv[i, j]、 Ch[i, j]は、値が小さいほど類似性が強いことを示している。

Cv[i, j]<Ch[i, il ... (128)

変換前 RGB画像デ一夕の着目領域の R画素、 B画素において方向指標 HVs [X, y]を求める。

(3-2. 方向指標の選択）

次に、方向指標の選択を行う。前述した色判定結果に基づいて、異色間類似度による方向判定結果と同色間類似度による方向判定結果を使い分ける。 BW[i, j]が ' τ'あるいは' a'であるとき、 HV[i, j]=HVd[i, j]とする。 BW[i, j]が' あるいは 'のとき1^ ]']=11^ ：|]とする。すなわち、色判定が完全無彩色 'z'あるいは無彩色' a'であるとき、異色間類似度で判定された方向指標 HVd[i， j]を使用する。また、色判定が低彩色' b'あるいは彩色' c'であるとき、同色間類似度で判定された方向指標 HVs [i, j]を使用する。

無彩色の場合、画素の色情報は、色合いの差は反映されずほぼ明度の差で値が変化すると考えられる。従って、 1画素ピッチで類似性を判定する異色間類似度が、微細構造におけるより正確な類似性判定を可能とする。有彩色の場合は、画素の色情報は、色合いの差によってもその値が変化する。そのため、カラ一フィルタの色が異なるとその測定値は変化し、異色間類似度では類似性が正確に判定できない。従って、有彩色の場合には、同色間類似度で類似性を判定するのが適している。

(3-3. Gの計算）上述した方向指標に基づいて、変換前 R GB画像データの R画素あるいは B画素に対応する画素 [i， j]における輝度情報 Gすなわち G[i, j]を求める。すなわち、 R画素あるいは B画素における欠落する G成分の色情報を補間処理により求める。方向指標 HV[i, j]=lのとき、すなわち縦方向に類似性が強いと判断されたとき、式 (129)を使用して G[i， j]を求める。方向指標 HV[i, ]']=-1のとき、すなわち横方向に類似性が強いと判断されたとき、式（130)を使用して G[i, j]を求める。方向指標 H V[i, j]=0のとき、すなわち縦横類似性が不明と判断されたとき、式（131)を使用して G[i, jlを求める。

G[i, j]-(G[i, j- 1]+G[i, j + 1] ) /2+ (2*Z [i, j]-Z [i, j- 2] - Z[i, j+2])/4... (129) G[i, j] = (G[i-l, j]+G[i + l, il ) /2+ (2*Z [i, ]·]- Z [i-2, j]-Z [i+2, j])/4 -.. (130) G[i, j] = (G[i， j- 1]+G[i, j + l]+G[i-l, j]+G[i + l, j])/4

+ (4*Z [i, j] -Z [i, j-2] -Z [i, j+2] -Z [i-2, j] -Z [i+2, j] ) /8 ... (131) (4. カラー画像出力）

以上のようにして、各画素について色差情報 C r、 Cb、輝度情報 G、すなわち Cr[i, j]、 Cb[i, j]、 G [i, j]が求まるので、所望のカラー画像データに変換が完了する。変換後 GC r C b画像データは、メモリ 1 3に格納され、偽色低減処理や色補正など各種の画像処理が施されてもよい。さらに、メモリカード 1 6に格納する場合もある。メモリカード 1 6に格納する場合は、所定の表色変換処理や圧縮処理（ J PEG) が施される場合もある。なお、初めにメモリ 1 3に格納される色差情報 Cr[i, j]、 CMi, j]は、（1-2. 色差生成）で生成したものをそのまま使用する。

RGB表色系の画像データ、すなわち、着目領域の各画素において RGBすべての色成分の色情報が必要な画像データとする場合は、式（132) (133)を使用して R[i, j]、を求める。 G[i, j]は上記で求めたものを使用する。

R[i, j]=Cr [i, j]+G[i, j】 ... (132)

B[i, j]=Cb[i， j]+G[i, j] ... (133)

このように、第 6の実施の形態では、色差情報を画素単位で正確に求め、求めた画素単位の色差情報を使用して画素単位に色評価を行う。そのため、画像の構造的要因による影響を取り除いた画素単位での正確な色評価を行うことができる。すなわち、画素単位で画像の周辺構造を正確に把握し、最も類似していると思われる方向から色差情報が重みづけして集められる。従って、漫然と画像構造を見ずにあらゆる方向の画素間差分から色差情報を生成した場合に比べ、類似性の低い方向からの偽色要因となる色差情報が排除されている。そのため、色指標は画像の構造的要因に伴う攪乱の影響を受けない。

その結果、視覚的な影響の大きい輝度情報に対して、異色間類似度と同色間類似度を正しく使い分けることができ、ナイキスト周波数解像と彩色部における解像が両立した高画質なカラー画像への変換、復元が可能となる。また、先に色差面を生成し、それを色評価に用いて輝度（G)面生成に利用する手順を踏むため、従来、独立にべィァ面から計算していた信頼性の低い色レベル算出を不要とし、簡便で高速に動作する処理を実現できる。また、先に生成した色差面の色差情報をそのまま画像データ出力に使用するため、新たに色差情報を生成しなおす必要がなく、処理が速くなる。

一第 7の実施の形態一

第 7の実施の形態は、光学系の色収差を含んだ画像や色変動の激しい画像に対しても有効なアルゴリズムを示す。第 7の実施の形態の電子カメラ 1の構成は、第 1の実施形態〜第 4の実施形態に対応する電子カメラの機能ブロック図として説明した図 1と同様であるのでその説明を省略する。画像変換処理 ^ついて、第 6の実施の形態と異なる部分を中心に説明する。

画像処理部 1 1が行う画像データ変換処理の概要を示すフローチャートは、第 6の実施の形態の図 2 2と同様である。ただし、ステップ S 4の G面生成およびステップ S 5の G C r C b面出力において、その内容が異なる。ステップ S 4の G面生成において、すなわち、第 6の実施の形態で説明した（3. G面生成）において、（3-1. 縦横方向判定 2 ) ( 3-2. 方向指標の選択）までは、第 6の実施の形態と同様である。異なる点は、（3-3. Gの計算）において、斜め方向の類似性を考慮に入れて輝度情報 Gを生成するところである。従って、第 7の実施の形態では、第 6の実施の形態の（3-3. Gの計算）の前に、新たに（3-3. 斜め方向判定）を行い、その後（3-4. Gの計算）を行う。

図 2 5は、第 7の実施の形態における処理の関係を説明するためのプロック図である。第 6の実施の形態と異なるところは、斜め方向判定 2 0 1が追加され、斜め方向判定 2 0 1の出力 DNと選択器 1 0 6の出力 HVと色評価 1 04の結果 BWとが輝度生成 2 0 2に接続されているところである。これは、輝度生成（G の計算） 2 0 2において、斜め方向判定と縦横方向判定の組み合わせによりきめの細かい方向判定を行い、そのきめの細かい判定結果に応じた計算式を使用するためである。また、方向判定がつかない部分についてもさらに輝度解像を上げるために、色評価 1 04の結果 BWも参照して計算式を選択するためである。以下、その詳細について説明する。

第 7の実施の形態の（3. G面生成）は、以下の構成となる。

(3. G面生成）

(3-1. 縦横方向判定 2)

(3-1-1. 類似度の算出）

(3-1-1-1. 同色間類似度）

(3-1-1-2. 類似度の周辺加算）

(3-1-2. 類似性判定）

(3-2. 方向指標の選択）

(3-3. 斜め方向判定）

(3-3-1. 類似度の算出）

(3-3-1-1. 類似度）

(3-3-1-2. 類似度の周辺加算）

(3-3-2. 類似性判定）

(3-4. Gの計算）

以下、説明を開始する。

(3-3. 斜め方向判定）

(3-3-1. 類似度の算出）

(3-3-1-1. 類似度）

変換前 RGB画像データの R画素あるいは B画素において、注目画素を含む局所領域内の画素情報を使用して、斜め方向の類似性を判定する。斜め方向とは、斜め 4 5度、斜め 1 3 5度の方向である。図 1 4で示すと、斜め 45度は「HV, D N] = [0, 1]の方向で、斜め 1 35度は [HV, DN] = [0, - 1]の方向である。図 14については、さらに後述する。画素の座標を [X, y]とし、変換対象画素の座標を [i, j]とする。 G画素の色情報を G[x, y]、 R画素の色情報を R[x, y]、 B画素の色情報を B [x, y]、 R画素の色倩報あるいは B画素の色情報を代表して Z[x， y]とする。

まず、 45度方向の BR(RB)間類似度成分 C45_lを式（140)により、 1 35度方向の BR ( B)間類似度成分 C135Jを式（141)により、 45度方向の GG間類似度成分 C45 —2を式（142)により、 1 35度方向の GG間類似度成分 C135_2を式（143)により、 4 5度方向の BBは R)間類似度成分 C45_3を式（144)により、 1 35度方向の BB (R )間類似度成分 C135_3を式（145)により求める。

BR (RB)間類似度成分

C45_1=(|Z [i+1, j— II— Z[i, j] | + |Z[i-l, j + l〗-Z[i, j] |)/2 ... (140)

Cl'35— l=(|Z[i— 1, j-l]-Z[i, j] | + |Z[i + l, j+l]-Z[i, j] |)/2 … (141)

GG間類似度成分

C45_2=(|G[i, i-l]-G[i-l, j] | + |G[i + l, j]-G[i, i+1] |)/2 ... (142)

C135_2=(|G[i, j-l]-G[i + l, j] | + |G[i-l, j]-G[i, j + 1] |)/2 … (143)

BB (RR)間類似度成分

C45_3=|Z [i + 1, i-l]-Z [i-1, j + 1] | ... (144)

C135_3=(|Z[i-l, j-l]-Z[i + l, j+1] | ... (145)

BR (RB)間類似度成分は、対象画素 [i, j]と斜め方向にある異色画素との間の類似度を計算し、 GG間類似度成分は、対象画素周辺の斜め方向にある G画素同士の類似度を計算し、 BB(RR)間類似度成分は、対象画素を挟んで斜め方向にある同色画素の類似度を計算するものである。

上記式（140)〜（145)で求めた C45一 1、 C135一 1、 C45— 2、 C135— 2、 C45— 3、 C135— 3を使用して、 45度方向の類似度 C45一 0[i, j]を式（146)により求め、 1 35度方向の類似度 C135_0[i, j]を式（147)により求める。ただし、定数 al， a2, a3の値は、 al=a 2=a3=lや al=a2=2, a3=lなどに設定するとよい。

C45_0 [i, j] = (al*C45_Ha2*C45_2+a3*C45_3) / (al+a2+a3) ... (146)

C135_0 [i, j] = (al*C135_l+a2*C135_2+a3*C135_3) / (al+a2+a3) ... (147) 変換前 RGB画像データの着目領域の R画素、 B画素において、 45度方向の類似度 C45一 0[x,y]、 1 3 5度方向の類似度 C135_0 [x, y]を求める。

(3-3-1-2. 類似度の周辺加算）

次に、類似度の周辺加算を行う。上記で求めた 4 5度方向の類似度 C45—0[x, y]、 1 3 5度方向の類似度 C135_0[x,y]を使用して、式（103) (104)の演算を行う。これは、縦横方向の類似度と同様に、周辺画素との連続性を考慮することにより類似度の精度を上げるためのものである。なお、簡略性、処理スピードを優先する場合は省いても良い。

C45 [i, j] = (4*C45_0 [i, j] +2* (C45_0 [卜 1， j - 1] +C45一 0 [i + 1, j-1]

+C45— 0 [i - 1, j + 1] +C45—0 [i + 1, j + 1] ) [i, j-2]

+C45_0 [i, j+2] +C45_0 [i-2, j] +C45— 0 [i+2, j] ) /16 ... (147) C135 [i, j] = (4*C135_0[i, j]+2* (C135_0[i-1, j- 1] +C135一 0 [i + 1, j-1]

+C135_0 [i-1, j + l]+C135_0[i + l, j + l])+C135_0 [i, j-2]

+C135_0 [i, i+2] +C135_0 [i-2, j]+C135_0 [i+2, j])/16 … (147) (3-3-2. 類似性判定）

次に、類似性判定を行う。上記で求めた C45[i, j]、 C135[i， j]を使用して、変換対象画素の類似性の判定を行う。ここでは、 4 5度方向に類似性が強いか、 1 3 5度方向に類似性が強いか、 4 5度方向 1 3 5度方向の判定は不能かの判定を行う。具体的には、条件（148)を満足するときは、 4 5度方向 1 3 5度方向の判定は不能として方向指標 DN[i, j]=0をセットする。 Th2は所定のしきい値であり、縦横方向判定の ThO、 Thlと同程度の値とする。例えば、 2 5 6階調のときは 1 0前後の値とする。 45度方向 1 3 5度方向の類似度間の差分がしきい値 Th2以下であれば、 4 5度方向に類似性が強いのか、 1 3 5度方向に類似性が強いのか判定できないことを意味する。

|C45[i, j]-C135[i, j] |≤Th2 ... (148)

条件（148)が満足しない場合、すなわち、 4 5度方向 1 3 5度方向どちらかの方向の類似性が判定できる場合は、条件（149)を満足するか否かを判定する。満足するときは、 45度方向に類似性が強いとして、方向指標 DN[i, j]=lをセットする。条件（149)を満足しない場合は、 1 3 5度方向に類似性が強いとして方向指標 DN [i, ]']=-1をセットする。なお、類似度 C45[i, i]、 C135[i, ]']は、値が小さいほど類似性が強いこと,を示している。

C45 [i, j]<C135 [i, j] ... (149)

変換前 RGB画像データの着目領域の R画素、 B画素において斜め方向指標 DN [X, y]を求める。

(3-4. Gの計算）

上述した縦横方向指標 HV[i， j]および斜め方向指標 DN[i, j]に基づいて、変換前 RGB画像デ一夕の R画素あるいは B画素に対応する画素 [i, j]における輝度情報 Gすなわち G[i, i]を求める。すなわち、 R画素あるいは B画素における欠落する G成分の色情報を補間処理により求めることになる。この縦横方向指標 HV[i, j]および斜め方向指標 DN [i, ]' ]の組み合わせにより、類似性の方向が 9通りに分類できる。第 1の実施の形態で説明した図 14を参照のこと。図 14では、方向指標 [H V, DN]で示している。なお、方向指標 [0,0]は、縦横斜めいずれの方向にも類似性がない（すなわち孤立点）、もしくはいずれの方向にも類似性がある（すなわち平坦部）ことを示す。

方向指標 [HV, DW、すなわち類似性の方向に応じて、以下に示すように式（150) 〜（159)から 1つを選択して G[i， j]を計算する。なお、方向指標 [0, 0]の場合は、さらに、（2-3. 色判定）で求めた色指標 BW[i, j]を考慮に入れて計算式を選択する。ただし、簡略性を優先する場合は省いてもよい。 BW[i,j]='z'、すなわち、色判定が完全無彩色の場合は、式（151)を使用せず式（150)を使用する。これは、式 (151)が使用する式（160) (163)の 2項目以降の補正項が 2画素ピッチに基づく補正となっているため、式（151)を使用すると白黒ナイキストチェックパターンなどの画像を正確に補正できないためである。言い換えると、式 U50)と式（151)を使い分けることにより、色指標 BW[i, j]に基づき対象画素の色情報と周辺画素の色情報の加算比率あるいは構成比率を変更していると言える。図 26は、変換対象画素が R画素の場合において、方向指標に応じて使用する画素の位置およびその色成分を図示する図である。

方向指標 [ 0, 0]、 BW[i, j]='z'のとき式（150)を使用する。

方向指標 [ 0, 0]、 BW[i, ]']≠'ζ'のとき式（151)を使用する。

方向指標〖 0, 1]のとき式（152)を使用する。方向指標 [ 0,-1]のとき式（153)を使用する。

方向指標 [ 1, 0]のとき式（154)を使用する。

方向指標 [ 1, 1]のとき式（155)を使用する。

方向指標 [ 1,- 1]のとき式（156)を使用する。

方向指標 [- 1， 0]のとき式（157)を使用する。

方向指標 [-1， 1]のとき式（158)を使用する。

方向指標 [- 1，- 1]のとき式（159)を使用する。

G[i, jl=(Z[i, j] + (Gv+Gh) /21 /2 ... (150)

G[i, j] = (Gv+Gh)/2 ... (151)

G[i， j] = (Gv45+G 5)/2 ... (152)

G[i, j] = (Gvl35+Ghl35)/2 ... (153)

G[i, j]=Gv … (154)

G[i, j] =GT45 ... (155)

G[i， j]=Gvl35 ... (156)

G[i, j]=Gh ... (157)

G[i, j]=Gh 5 -.. (158)

G[i, j]=Ghl35 -.. (159)

ここで、 Gv、 Gh、 Gv45、 GM5、 Gvl35, Ghl35は、以下の式（160) (165)により求める。

Gv= (G[i， j-l]+G[i, j + l])/2

+ (2*Z[i, j]-Z[i,ト 2] - Z[i, j+2])/8

+ (2*G [i-1,】'】 -G [i-1, j-2] -G [i-1, j+2]

+ 2*G[i+l, j]-G[i + l, j-2] -G[i + 1, ]+2])/16 ... (160)

Gv45=(G[i, j-l]+G[i, j + l])/2

+ (2*Z [i, j]-Z[i, j— 2] - Z[i, j+2])/8

+ (2*Z[i-l, j + l]-Z[i-l, j - 1]- Z[i - 1, j+3]

+2*Z[i+l, j-l]-Z[i + l, j-33-Z[i + l, j + l])/16 ... (161)

Gvl35=(G[i, i- 1〗+G[i, j + l])/2

+ (2*Z[i, j]-Z[i, j-2]-Z[i, j+2])/8 + (2*Z [i— 1， j-l]-Z [i-1, j-3]-Z [i一 1, j + 1]

+2*Z [i + 1, j + l]-Z [i + 1, j-l]-Z [i + 1, j+3])/16 ... (162)

Gh= (G[i- 1, j]+G[i + l, j])/2

+ (2*Z[i, j]-Z[i-2, j]-Z[i+2, j])/S

+ (2*G[i, j-l]-G[i-2, j-l]-G[i+2, j-1]

+2*G[i, j + l]-G[i-2, j + l]-G[i+2, j + l])/16 ... (163)

Gh45=(G[i-l, j]+G[i + l, j])/2

+ (2*Z[i, j]-Z[i-2, j]-Z [i+2, j])/8

+ (2*Z[i + l， j-l]-Z[i-l, j-l]-Z [i+3, j-1]

+2*Z [i-1, j + l]-Z [i-3, j + l]-Z [i+1, j + l])/16 ... (164)

Ghl35=(G[i-l, j]+G[i + l, j])/2

+ (2*Z[i, j]-Z[i-2, jl-Z[ii2, j])/8

+ (2*Z[i-l, j-l]-Z [i-3, j-l]-Z [i+1, j-1]

+ 2*Z[i+l, j + l]-Z[i-l, j + l]-Z[i+3, j + l])/16 ... (165)

上記式（160)〜（165)の説明をする。 R画素における処理と考えた場合、一つ目の括弧は G成分平均項、二つ目の括弧は R成分補正項、三つ目の括弧は B (G)成分補正項と呼ぶことができる。色変動が激しい場所では、 R成分補正項が階調方向に過補正を起こす可能性があるが、 B (G)成分補正項が階調方向に逆位相の役割を果たすため、過補正を防ぐことができる。一方、色収差がある場合、 R成分補正項が空間的にずれてしまうが、 B (G)成分補正項がその逆位相の方向にずれて互いに相殺し合い、色収差の影響を防ぐことができる。

また、方向指標 [HV,DN] = [0, 0]の完全に方向類似性不明の箇所で、色評価によつて完全無彩色が仮定されうる場合、 G成分生成時の中心画素と周辺画素との寄与率を変更すれば、ナイキスト周波数のチェックパターン模様も解像するようになる。

従って、第 7の実施の形態では、優れたナイキスト周波数解像と彩色部における解像の両立する高画質なカラー画像への変換、復元が可能となる。さらに、色変動の激しい画像や光学系の色収差を含むような画像に対しても耐性の強いカラ一画像への変換、復元が可能となる。また、ソフトウェア処理としては十分高速に動作することが確認されている。

一第 8の実施の形態—

第 6の実施の形態や第 7の実施の形態では、補間処理の考え方を採用して G面生成を行った。しかし、第 8の実施の形態では、第 6の実施の形態や第 7の実施の形態とは異なる別方式で輝度情報を生成する例を示す。

第 8の実施の形態の電子カメラ 1の構成は、第 1の実施形態〜第 4の実施形態に対応する電子カメラの機能ブロック図として説明した図 1と同様であるのでその説明を省略する。図 2 7は、第 8の実施の形態において、画像処理部 1 1が行う画像データ変換処理の概要を示すフローチャートである。ステップ S 1〜S 3 は、第 6の実施の形態の図 2 2と同様である。ステップ S 1 4の Y面生成およびステップ S 1 5の YC r C b面出力は、第 6の実施の形態と異なる。すなわち、第 6の実施の形態および第 7の実施の形態のステツプ S 4の G面生成が、第 8の実施の形態ではステップ S 14の Y面生成となり、ステップ S 5の GC b C r面出力がステップ S 1 5の YC b C r面出力となる。図 2 1 (b) に変換の概念を示す。

ただし、ステップ S 1 4の Y面生成において、上述した第 7の実施の形態の

(3. G面生成）における（3-1. 縦横方向判定 2) (3-2. 方向指標の選択）（3 -3. 斜め方向判定）は、第 8の実施の形態においても同様である。従って、第 7 の実施の形態と異なる（Yの計算）、および、新たに追加された処理（エッジ強調）について説明する。さらに、 YC b C r面出力、すなわち（カラー画像出力）について説明する。第 8の実施の形態における処理の関係のブロック図は、第 7の実施の形態の図 2 5と同様である。

第 8の実施の形態の（3. Y面生成）（4. カラー画像出力）は、以下の構成となる。

(3. Y面生成）

(3-1. 縦横方向判定 2)

(3-1-1. 類似度の算出）

(3-1-1-1. 同色間類似度）

(3-1-1-2. 類似度の周辺加算） (3-1-2. 類似性判定）

(3-2. 方向指標の選択）

(3-3. 斜め方向判定）

(3-3-1. 類似度の算出）

(3-3-1-1. 類似度）

(3-3-1-2. 類似度の周辺加算）

(3-3-2. 類似性判定）

(3-4. Yの計算）

(3-5. エッジ強調）

(4. カラ一画像出力）

以下、説明を開始する。

(3-4. Yの計算）

第 8の実施の形態の輝度情報 Yの計算は、第 6の実施の形態や第 7の実施の形態の G面生成ではなく、ペイァ面を直接加重加算して輝度 Y面を生成する方式である。すなわち、補間処理がまだ行われていない変換前 R GB画像デ一夕の各色の色情報を使用して、輝度情報 Yを直接生成するものである。変換前 RGB画像データ（ベィァ面のデータ）の任意の色情報を A[x, y]で表すことにする。

上述した縦横方向指標 HV[i, j]および斜め方向指標 DN[i， j]に基づいて、変換前 RGB画像データの R画素あるいは B画素に対応する画素 [i, j]における輝度情報 Yすなわち Y[i， j]を求める。この縦横方向指標 HV[i, j]および斜め方向指標 DN[i, j]の組み合わせにより、類似性の方向が 9通りに分類できるのは、第 7の実施の形態と同様である（図 14) 。

方向指標 [HV，DN]、すなわち類似性の方向に応じて、以下に示すように式（170) ~ (179)の 1つを選択して Y[i, ]']を計算する。なお、方向指標 [0, 0]の場合は、第 7の実施の形態と同様に、さらに、（2-3- 色判定）で求めた色指標 BW[i, ]']を考慮に入れて計算式を選択する。ただし、簡略性を優先する場合は省いてもよい。変換対象画素 [i，； Πが G画素のときは式（170)を使用し、変換対象画素 [i, j]が G 画素以外のときは以下の方向指標に応じた式（171)〜（180)のいずれかの式を使用する。なお、図 28は、変換対象画素が G画素の場合において、使用する画素の位置およびその係数（G位置の輝度生成係数パターン）を図示する図である。図 2 9は、変換対象画素が R画素あるいは B画素の場合において、方向指標に応じて使用する画素の位置およびその係数（R、 B位置の輝度生成係数パターン）を図示する図である。

方向指標 [ 0， 0]、 BW[i， j]='z'のとき式（171)を使用する。

方向指標 [ 0, 0]、 BW[i, j]≠'ζ'のとき式（172)を使用する。

方向指標 [ 0， IIのとき式（173)を使用する。

方向指標 [ 0，-11のとき式（174)を使用する。

方向指標 [ 1， 0]のとき式（175)を使用する。

方向指標 [ j， 1]のとき式 U76)を使用する。

方向指標 [ 1,-1]のとき式（177)を使用する。

方向指標 [- 1, 0]のとき式（178)を使用する。

方向指標 [- 1， 1]のとき式（Π9)を使用する。

方向指標 [- 1,-11のとき式（180)を使用する。

Y[i， j]=Yc ... (170)

Y[i, j】=Y_R雇 a ... (171)

Y[i, j]=Y_RBUNIb ... (172)

Y[i, j]=Y_BB135… (174)

Y[i, j]=Y_BBv … (175)

Y[i, j]=Y_8Bv45... (176)

Y[i, j Y_Mh ... (178)

ここで、上記 Y_G、 Y_RBUNIa、 Y_RBUNIb、 Y_RB45、 Y_M135、 Y_Mv、 YRBV45 YR_BV135, Y_Mh、 Y_RBh45、 Y_RBlil35は、以下の式（181)〜（191)で表される。

+ (j3/4)*(A[i-l, j]+A[i + l, j]+A[i, j-l]+A[i, j + 1]) ... (181) 謹 8

】 ( ：ョ丄 V§)* + α* (vl*A[i-l, j]+v2*A[i + l, j])

+ (β/2)* (tl*A[i + l, j-l]+t2*A[i-l, j + 1]) ... (190)

1135=(/3/2) *A[i, j]

+ a* (vl*A[i-l, j] +v2*A[i + l, j]

+ (i3/2)* [sl*A[i-l, j-l]+s2*A[i + l, j + l]l ... (191)

ただし、上記定数（係数）には以下の制約条件（192)が付く。また、これらは全て正または零の値をとる。

α + β=1,ρ =1, ul+u2=l, vHv2=l, sl+s2-l, tl + t2=l -.. (192)

一般的に好ましい定数の設定には以下のような例がある。

ul = u2, vl^v2, sl = s2, tl = t2

(a, j3) = {l/3, 2/3), (4/9, 5/9), (5/11, 6/11), (1/2, 1/2), (5/9, 4/9),

(3/5， 2/5) , (2/3, 1/3)

(p, q)-(l/3, 2/3), (1/2, 1/2)

定数 a, ;3は、輝度に占める R， G,B比率を決めるパラメ一夕で、

B)/2の関係にある。定数 p, Qは、輝度値に含まれる中心画素と周辺画素の色情報構成比率を変更するパラメータであり、 Y_MUNIaはナイキスト周波数のチェックパターンを解像する役割を果たす。

(3-5. エッジ強調）

上述した Y面は、微細構造を保持して極めて滑らかに連結した画像が出来上がる。従って、エッジ強調処理をする場合は、方向性を考盧しなくてもよい簡略な固定フィルタを通すだけでよい。エッジ強調のフィルタ一として、式（193)および図 3 0で示すラプラシアンの例を示す。さらに、式（194)の演算を行い最終的な輝度情報 Yを求める。式（194)における定数 Kは正の値をとり、通常 1以上に設定する。

YH[i, j] = i8*Y[i, j]-(Y[i-l, j]+Y[i + l, j]+Y[i, j-l]+Y[i, i + 1]

+Y[i-1, i-l]+Y[i + l, j-l]+Y[i-l, j + l]+Y[i + l, j + l])!/16 ... (193) Y[i, j]=Y[i, i]+K*YH[i, j] ... (194)

(4. カラー画像出力）

以上により、各画素について Cr[i, j]、 Cb[i， j]、 Y[i, j]が求まるので、 YC r C b表色系のカラー画像データが出来上がる。この後に、何らかの色差補正処理等、各種の画像処理を施してもよい。また、この YC b C r画像デ一夕から R G B表色系に変換する場合は、以下の式（195)〜（197)を使用して計算する。これにより、着目領域の画素に R、 G、 Bすべての色成分の色情報を有する R GB表色系の画像データを生成することができる。

R[i, j]=Y[i, j] + (l-j3/2)*Cr[i, j】 -（ )3 /2) *Cb [i, j] ... (195)

G[i, j]=Y[i, j]-(/3/2)*Cr [i, j] - ( j3 /2) *Cb [i, j] ... (196)

B[i, j]=Y[i, j]-(/3/2)*Cr [i, j] + (1- /3 /2) *Cb [i, j] ... (197)

第 8の実施の形態においても、正確な方向判定結果を用いた輝度面生成により、色収差を含むあらゆる種類の画像に対し、優れたナイキスト周波数解像と彩色部における解像の両立する高画質なカラー画像への変換、復元を可能とする。さらに、第 8の実施の形態でもソフトウエア処理としては十分高速に動作することが確認されている。

一第 9の実施の形態一

第 9の実施の形態では、第 6の実施の形態で求めた色差補正 1 とは別に、色差補正 1 とは異なる色差補正 2を計算し、色判定の結果に基づき最終的に出力する色差面に対する色差補正を使い分けるものである。これにより、輝度面とは独立して、偽色が少なく色忠実性の高い色差面を生成することが可能となる。

第 9の実施の形態の電子カメラ 1の構成は、第 1の実施形態〜第 4の実施形態に対応する電子カメラの機能ブロック図として説明した図 1と同様であるのでその説明を省略する。図 31は、第 9の実施の形態において、画像処理部 1 1が行う画像データ変換処理の概要を示すフローチャートである。ステップ S 1〜S 3 およびステップ S 4、 S 5は、第 6の実施の形態の図 22と同様である。しかし、ステップ S 3とステップ S 4の間に C r、 C b面選択の新たなステップ S 2 1が揷入されている。

図 3 2は、第 9の実施の形態における処理の関係を説明するためのブロック図である。第 6の実施の形態の図 23のべィァ面 101、色差生成 102、縦横方向判定 103、色評価 104に対応する部分を抜き出して図示されている。第 6 の実施の形態では色評価 1 04に含まれていた色差補正 1を抜き出して色差補正 1 (30 1) として表し、新たに色差補正 2 ( 302 ) を設け、色差補正 1 (3 0 1) の出力 TC r l, TCb lと、色差補正 2 ( 3 02 ) の出力 TC r 2, T C b 2を選択器 303に接続している。これは、色評価 1 04の結果 B Wに基づいて色差捕正 1 (30 1) と色差補正 2を適切に選択するためである。

以下、新たに追加された C r、 C b面選択について説明する。第 9の実施の形態の画像変換処理は、以下の構成となる。第 6の実施の形態との違いは、（4. G 面生成）の前に（3. C r、 Cb面選択）の処理が入っているところである。

(1. C r、 C b面生成）

(2. 色評価）

(2-1. 色差補正 1)

(2-2. 色指標の算出）

(2-3. 色判定）

(3. C r、 C b面選択）

(3-1. 色差補正 2)

(3-2. 色差選択）

(4. G面生成）

(5. カラー画像出力）

以下、説明を開始する。

(3. C r、 C b面選択）

(3-1. 色差補正 2)

第 6の実施の形態と同様の（2. 色評価）の（2-1. 色差補正 1) で示したローパスフィルタ（図 24) は、広域型のため偽色低減と色評価目的の利用には優れる。しかし、最終的に出力する色差面としては微細色パターンの色忠実性にはやや劣る。そこで、第 9の実施の形態では、もう一つ偽色低減には劣るが微細色パターンの色再現性に優れる狭域型のローパスフィルタを用意する。具体的には式 (200)を使用して色差補正 2を行う。図 33は、この狭域型のローパスフィルタを図示したものである。ただし、式（200)に限らず更に弱いローパスフィルタや何も処理しない通過であってもよい。

TCr2 [i， j] = (4* Cr[i， j]

+2* (Cr [i-1, j] +Cr [i+1, j] +Cr [i, j-1] +Cr [i, j + 1] ) +1* (Cr [i-1, j-l]+Cr [i + 1, j-l]+Cr [i-1, j + l]+Cr [i + 1, j + 1]) 1/16 ... (200) TCb2[i, j]も同様に算出。

(3-2. 色差選択）

次に、色判定結果に基づき、 2種類の方法で補正処理された色差面から、信頼性の高い方を選択する。具体的には、 BW[i, j]≠'c'のときは、 Cr [i, j]として TCr 1 [i, j], Cb[i, j]として TCbl [i, j]を選択する。 BW [i, j] =' c'のときは、 Cr [i， j]として TCr2[i,〗1、 Cb[i, j]として TCb2[i， j]を選択する。

すなわち、色評価結果により色彩が弱いか無彩色の場合は、広域型の偽色低減にすぐれた口一パスフィルタ一を使用し、色彩が強い場合は、偽色低減には劣るが微細色パターンの色再現性に優れる狭域型のローパスフィルタを使用する。これにより、低偽色で色忠実性の高い色差面生成を、色差面単独の処理として完結することができる。特に、ハードウェア用途には極めて実現しやすい簡略性を与える。なお、第 9の実施の形態は、第 6の実施の形態に対して、さらに色差面を適応的に処理をするものである。この内容は、第 7の実施の形態、第 8の実施の形態の処理にも適用できる。

図 34は、上記に説明した第 6〜第 9の実施の形態における色評価により求めた色指標の利用について、整理して説明する図である。図 34 (a) は、各実施の形態において色評価により求めた色指標 BWを説明する図である。図の左方向が無彩色側で、右方向が彩色側すなわち彩度、色合い、彩りが強くなる方向である。図 34 (b) は、輝度情報の生成において、完全無彩色の場合に中心画素

(対象画素）の比率を大きくして計算するものである。例えば、第 7の実施の形態において、方向指標 [0,0]、 BW[i, j]='z'のとき式（150)を使用し、方向指標 [0, 0]、 BW[i， j]≠'z'のとき式（151)を使用するものである。

図 34 (c) は、第 6〜第 9の実施の形態において、類似性の方向判定をするとき、異色間類似度を使用するか同色間類似度を使用するかを色評価の結果により使い分けるものである。色評価が無彩色の場合は異色間類似度を使用し、有彩色の場合は同色間類似度をを使用するものである。図 34 (d) は、色差補正を広域型口一パスフィルタを使用して補正するか狭域型口一パスフィルタを使用して補正するかを、色評価の結果により決めるものである。なお、上記実施の形態では、 R G B表色系の画像を色差、輝度情報からなる画像（G C b C rや Y C b C r ) に変換する例を説明したが、必ずしもこの内容に限定する必要はない。他の表色系の画像を色差、輝度情報からなる画像に変換する場合であってもよい。また、 R G B表色系を R G B表色系のまま補間処理によつて変換する場合であってもよい。

また、上記実施の形態では、べィァ配列の R G B表色系の例を説明したが、必ずしもこの内容に限定する必要はない。他の配列のカラ一フィルタであってもよい。

また、上記実施の形態では、類似性の判定に各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により類似性を判定するようにしてもよい。また、輝度情報の計算においても各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により輝度情報を生成するようにしてもよい。

また、上記実施の形態では、色差捕正でローパスフィルタ（図 2 4、図 3 3 ) 、エッジ強調でバンドパスフィルタ（図 3 0 ) の例を示したが、必ずしもこれらの内容に限定する必要はない。他の構成のローパスフィルタやバンドパスフィル夕であってもよい。

また、上記実施の形態では、画像データの着目領域を対象に処理する例を示したが、必ずしもこれらの内容に限定する必要はない。すなわち、 1画素や数画素における処理や、画像全体にわたる処理であっても本発明は適用できる。

また、上記実施の形態では、電子カメラの例で示したが、必ずしもこの内容に限定する必要はない。動画を撮像するビデオカメラや、撮像素子つきパーソナルコンピュータや携帯電話などであってもよい。すなわち、撮像素子によりカラー画像データを生成するあらゆる装置に適用できる。

パーソナルコンピュータなどに適用する場合、上述した処理に関するプロダラムは、 C D— R O Mなどの記録媒体ゃィンターネットなどのデータ信号を通じて提供することができる。図 3 5はその様子を示す図である。パーソナルコンビュ一夕 4 0 0は、 C D— R O M 4 0 4を介してプログラムの提供を受ける。また、パーソナルコンピュータ 4 0 0は通信回線 4 0 1との接続機能を有する。コンビュ一夕 4 0 2は上記プログラムを提供するサ一バーコンピュー夕であり、ハードディスク 4 0 3などの記録媒体にプログラムを格納する。通信回線 4 0 1は、ィンターネット、パソコン通信などの通信回線、あるいは専用通信回線などである _c コンピュータ 4 0 2はハ一ドディスク 4 0 3を使用してプログラムを読み出し、通信回線 4 0 1を介してプログラムをパーソナルコンピュータ 4 0 0に送信する _c すなわち、プログラムをデータ信号として搬送波にのせて、通信回線 4 0 1を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

Claims

請求の範囲

1 . 複数の色成分からなる表色系で表され、 1つの画素に 1つの色成分の色情報を有する複数の画素からなる第 1の画像を、複数の画素からなり各々の画素に少なくとも 1つの共通する色情報を有する第 2の画像に変換する画像処理方法であって、第 2の画像の処理対象画素に対し、少なくとも 3通りの何れかの方法を用いて、前記第 1の画像の色情報から色差情報を生成する色差情報生成手順と、第 2の画像の処理対象画素に対し、前記色差情報を用いて画素単位での色評価を行う色評価手順とからなる色判定手順と、

前記色判定手順の色評価結果に基づいて、前記第 1の画像を前記第 2の画像に変換する画像変換手順とを有する。

2 . クレーム 1に記載の画像処理方法において、

前記色判定手順は、さらに、第 2の画像の処理対象画素に対し、前記第 1の画像の色情報を用いて、少なくとも 2方向に関する類似度を算出する類似度算出手順と、前記類似度に基づき、各方向に対する類似性の強弱を少なくとも 3段階で判定する類似性判定手順とを有し、

前記色差情報生成手順は、前記類似性判定手順の判定結果に応じて用意された少なくとも 3通りの何れかの方法を用いて、前記第 1の画像の色情報から色差情報を生成する。

3 . クレーム 1に記載の画像処理方法において、

前記画像変換手順は、

1 ) 前記第 1の画像の色情報を用いて前記処理対象画素の少なくとも 2方向に関して、

異なる色成分の色情報からなる異色間類似度と、

同じ色成分の色情報からなる同色間類似度を算出し、

前記色評価結果に基づいて、前記異色間類似度と前記同色間類似度を使い分けて類似度を算出する類似度算出手順と、 2 ) 前記類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順と、

3 ) 前記類似性判定手順の判定結果に基づき、前記第 1の画像の色情報を用いて前記第 2の画像の色情報を生成する第 2画像生成手順と

を有する。

4 . クレーム 1に記載の画像処理方法において、

前記画像変換手順は、

異なる色成分の色情報からなる異色間類似度と、

同じ色成分の色情報からなる同色間類似度を算出し、

前記色評価結果に基づいて、前記異色間類似度と前記同色間類似度とを加重加算してその加重比率を変えることにより類似度を算出する類似度算出手順と、

2 ) 前記類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順と、

を有する。

5 . クレーム 1に記載の画像処理方法において、

前記画像変換手順は、

前記処理対象画素位置に対応する第 1の画像の画素の色情報とその周辺画素の色情報を用いて前記第 2の画像の色情報を生成し、前記色評価結果に応じてその構成比率を変更する第 2画像生成手順を有する。

6 . クレーム 1に記載の画像処理方法において、

前記画像変換手順は、

1 ) 前記第 1の画像の色倩報を用いて、前記第 2の画像の色差情報を生成する第 2画像生成手順と

2 ) 前記色評価結果に基づいて、前記第 2の画像の色差情報を補正する色差情報補正手順と

を有する。

7 . クレーム 1に記載の画像処理方法において、

1 ) 前記色判定手順の色差情報生成手順は、

1つの処理対象画素に対し複数種類の色差情報を生成し、

2 ) 前記色判定手順の色評価手順は、

前記複数種類の色差情報の組合せでできる新たな色差情報も考慮して色評価を行う。

8 . クレーム 2に記載の画像処理方法において、

前記色判定手順の類似度算出手順は、

異なる色成分の色情報からなる異色間類似度を類似度として算出する。

9 . クレーム 1に記載の画像処理方法において、

前記色判定手順の色評価手順は、

前記色差情報生成手順によって生成される色差情報を、前記処理対象画素のみならず、その周辺画素についても合わせて用いることによって色評価を行う。

1 0 . クレーム 3または 4に記載の画像処理方法において、

前記画像変手順の類似度算出手順は、

前記色評価で彩度が低いと判断された場合には、類似度として前記異色間類似度を主に利用し、彩度が高いと判断された場合には、前記同色間類似度を主に利用する。

1 1 . クレーム 5に記載の画像処理方法において、

前記画像変換手順の第 2画像生成手順は、前記色評価で彩度が低いと判断された場合、前記処理対象画素に位置する第 1の画像の画素の色情報の構成比率を上げる。

1 2 . クレーム 5に記載の画像処理方法において、

前記画像変換手順は、

前記第 2画像生成手順の前に、前記処理対象画素に対し、

1 ) 前記第 1の画像の色情報を用いて、少なくとも 2方向に関する類似度を算出する類似度算出手順と、

2 ) 前記類似度に基づき、各方向に対する類似性の強弱を判定する類似性判定手順と

を有し、

前記類似性判定手順の判定結果が、各方向に対して同程度であると判定された場合にのみ前記色評価結果に応じて前記構成比率を変更する。

1 3 . クレーム 6に記載の画像処理方法において、

前記画像変換手順の色差情報補正手順は、

前記色評価で彩度が低いと判断された場合には、前記第 2の画像の色差情報に広域型のフィルタ処理を行い、彩度が高いと判断された場合には、前記第 2の画像の色差情報に狭域型のフィルタ処理を行う。

1 4 . クレーム 1に記載の画像処理方法において、

前記色判定手順の色評価手順は、

前記色差情報を補正し、前記補正された色差情報を用いて色評価を行う。

1 5 . クレーム 1 4に記載の画像処理方法において、

前記色判定手順の色評価手順は、

前記色差情報に対する補正処理として、ローパスフィル夕処理を行う。

1 6 . クレ一ム 1に記載の画像処理方法において、前記色判定手順は、前記色評価手順の後に、

1 ) 前記色評価結果に基づいて、前記色差情報を補正する色差情報補正手順と、

2 ) 前記色差情報補正手順によって補正された色差情報を用いて、再度画素単位の色評価を行う再色評価手順と

を有し、

前記再色評価手順の色評価結果に基づいて、前記第 1の画像を前記第 2の画像に変換する。

1 7 . クレーム 1 6に記載の画像処理方法において、

前記色判定手順は、前記色差情報捕正手順の前に、

1 ) 前記第 1の画像の色情報を用いて、輝度情報を算出する輝度情報算出手順と.

2 ) 前記輝度情報を用いて、画素単位での輝度評価を行う輝度評価手順とを有し、

前記色差情報補正手順は、前記再色評価手順の色評価結果と前記輝度評価手順の輝度評価結果とに基づいて、前記色差情報を補正する。

1 8 . クレーム 1 6に記載の画像処理方法において、

前記色判定手順の色差情報補正手順は、前記色差情報にメディアンフィルタ処理を行う。

1 9 . 複数の色成分からなる表色系で表され、 1つの画素に 1つの色成分の色情報を有する複数の画素からなる第 1の画像を、 1つの画素に複数種類の色情報を有する複数の画素からなる第 2の画像に変換する画像処理方法であって、

前記第 1の画像を取得する画像取得手順と、

前記取得した第 1の画像の色成分の色情報に基づき、前記第 2の画像の画素位置に色差情報を生成する色差情報生成手順と、

前記生成した第 2の画像の色差情報を用いて画素単位で色評価を行う色評価手順と、

前記第 2の画像の画素単位の色評価結果に基づいて、前記第 2の画像の画素位置に輝度情報を生成する輝度情報生成手順と、

前記色差情報生成手順で生成した色差情報と輝度情報生成手順で生成した輝度情報を使用して、前記第 2の画像を出力する出力手順とからなる。

2 0 . クレーム 1 9記載の画像処理方法において、

前記第 2の画像の 1つの画素位置における色差情報は複数種類の色差情報からなり、

前記色評価手順は、前記複数種類の色差情報の組み合わせでできる新たな色差情報も考慮して色評価を行う。

2 1 . クレーム 2 0記載の画像処理方法において、

前記第 1の画像は、第 1の色成分、第 2の色成分、および第 3の色成分からなる表色系で表され、第 1の色成分の画素密度は他の第 2の色成分あるいは第 3の色成分の画素密度より高い画素密度で配置され、

前記複数種類の色差情報は、第 1の色成分の色情報と第 2の色成分の色情報の差分からなる第 1の色差情報と、第 1の色成分の色情報と第 3の色成分の色情報の差分からなる第 2の色差情報とからなり、

前記新たな色差情報は、前記第 1の色差情報と前記第 2の色差情報の差分からなる。

2 2 . クレーム 1 9〜 2 1のいずれか 1項に記載の画像処理方法において、前記色評価手順は、前記生成した第 2の画像の色差情報を捕正し、前記補正された色差情報を用いて色評価を行う。

2 3 . クレーム 2 2記載の画像処理方法において、

前記色評価手順は、前記生成した第 2の画像の色差情報をローパスフィル夕処理を行うことにより補正する。

2 4 . クレーム 1 9 ~ 2 3のいずれか 1項に記載の画像処理方法において、前記輝度情報生成手順の前に、前記第 2の画像の画素に対応する前記第 1の画像の画素において、該画素を含む局所領域の異なる色成分の色情報を用いて周辺画素との間の少なくとも 2方向に関する異色間類似度を算出し、該画素を含む局所領域の同一の色成分の色情報を用いて周辺画素との間の前記少なくとも 2方向に関する同色間類似度を算出する類似度算出手順と、

前記輝度情報生成手順の前かつ前記色評価手順の後に、前記第 2の画像の画素に対応する前記第 1の画像の画素において、前記類似度算出手順により算出された前記異色間類似度と前記同色間類似度とを前記色評価結果に基づいて使い分けて周辺画素との間の前記少なくとも 2方向に関する類似性の強弱を判定する類似性判定手順とを有し、

前記輝度情報生成手順は、前記類似性判定手順の判定結果に基づいて、前記第 2の画像の画素位置に輝度情報を生成する。

2 5 . クレーム 1 9〜 2 4のいずれか 1項に記載の画像処理方法において、前記第 1の画像の複数の画素と前記第 2の画像の複数の画素とは、同じ位置関係で対応する。

2 6 . クレーム 1 9に記載の画像処理方法において、

前記輝度情報生成手順は、前記第 2の画像の画素に対応する前記第 1の画像の画素の色情報と周辺画素の色情報とを使用して前記第 2の画像の画素位置に輝度情報を生成し、前記第 2の画像の画素単位の色評価結果に基づいて、前記第 2の画像の画素に対応する前記第 1の画像の画素の色情報と周辺画素の色情報との構成比率を変更する。

2 7 . クレーム 1 9に記載の画像処理方法において、

前記色差生成手順の前に、前記第 2の画像の画素に対応する前記第 1の画像の画素において、該画素を含む局所領域の色情報を用いて周辺画素との間の少なくとも 2方向に関する類似性の強弱を判定する類似性判定手順を有し、

前記色差情報生成手順は、前記類似性判定手順の判定結果に基づいて、前記第 2の画像の画素位置に色差情報を生成する。

2 8 . クレーム 2 7に記載の画像処理方法において、

前記類似性判定手順は、前記第 2の画像の画素に対応する前記第 1の画像の画素において、該画素を含む局所領域の異なる色成分の色情報を用いて周辺画素との間の少なくとも 2方向に関する類似性の強弱を判定する。

2 9 . 複数の色成分からなる表色系で表され、 1つの画素に少なくとも 1つの色成分の色情報を有する複数の画素からなる第 1の画像を、複数の画素からなり各々の画素に少なくとも 1つの共通する前記第 1の画像が有しない色情報を有する第 2の画像に変換する画像処理方法であって、

第 2の画像の処理対象画素に対し、

1 ) 前記第 1の画像の色情報を用いて、色差情報を生成する色差情報生成手順と，

2 ) 前記色差情報を用いて画素単位で色評価を行う色評価手順と、

3 ) 前記色評価手順の色評価結果に基づいて複数種類の補正から 1つの補正を選択して、前記色差情報

を補正する色差情報補正手順と

4 ) 前記補正された色差情報を使用して、前記第 2の画像を出力する出力手順とからなる。

3 0 . クレーム 2 9に記載の画像処理方法において、

前記複数の補正は、前記生成した色差情報を広域型ローパスフィルタ処理を行うことにより補正する第 1の補正と、前記生成した色差情報を狭域型ローバスフィルタ処理を行うことにより補正する第 2の補正からなり、

前記色差情報補正手順は、前記色評価で彩度が低いと判定された場合には第 1 の補正を選択し、彩度が高いと判定された場合には第 2の補正を選択する。

3 1 . クレーム 2 9に記載の画像処理方法において、

前記複数の補正は、前記生成した色差情報を広域型メディアンフィルタ処理を行うことにより補正する第 1の補正と、前記生成した色差情報を狭域型メディアンフィルタ処理を行うことにより補正する第 2の補正からなり、

前記色差情報補正手順は、前記色評価で彩度が低いと判定された場合には第 1の補正を選択し、彩度が高いと判定された場合には第 2の捕正を選択する。

3 2 . クレーム 2 9記載の画像処理方法において、

3 3 . クレーム 3 2記載の画像処理方法において、

前記第 1の画像は、第 1の色成分、第 2の色成分、およぴ第 3の色成分からなる表色系で表され、第 1の色成分の画素密度は他の第 2の色成分あるいは第 3の色成分の画素密度より高い画素密度で配置され、

3 4 . クレーム 2 9に記載の画像処理方法において、

前記色評価手順は、

前記色差情報生成手順によって生成される色差情報を、処理対象画素のみならず、その周辺画素についても合わせて用いることによって色評価を行う。

3 5 . クレーム 2 9に記載の画像処理方法において、

前記色判定手順の色評価手順は、

3 6 . クレーム 3 5に記載の画像処理方法において、

前記色判定手順の色評価手順は、

前記色差情報に対する補正処理として、ローパスフィルタ処理を行う。

3 7 . クレーム 3 6記載の画像処理方法において、

前記ローパスフィル夕は、広域型ローパスフィルタである。

3 8 . クレーム 2 9に記載の画像処理方法において、

3 9 . クレーム 3 8に記載の画像処理方法において、

1 ) 前記類似性判定手順は、各方向に対する類似性の強弱を少なくとも 3段階で判定し、

2 ) 前記色差情報生成手順は、前記類似性判定手順の判定結果に応じて用意された少なくとも 3通りの何れかの方法を用いて、前記第 1の画像の色情報から色差情報を生成する。

4 0 . 複数の色成分からなる表色系で表され、 1つの画素に少なくとも 1つの色成分の色情報を有する複数の画素からなる第 1の画像を、複数の画素からなり各々の画素に少なくとも 1つの共通する前記第 1の画像が有しない色情報を有する第 2の画像に変換する画像処理方法であって、

第 2の画像の処理対象画素に対し、

1 ) 前記第 1の画像の色情報を用いて、輝度情報を生成する輝度情報生成手順と、

2 ) 前記輝度情報を用いて画素単位での輝度評価を行う輝度評価手順と、 3 ) 前記第 1の画像の色情報を用いて、前記第 2の画像の色情報を生成する第 2画像生成手順と、

4 ) 前記第 2の画像の画素単位の輝度評価結果に基づいて、前記第 2の画像の色情報を補正する第 2画像補正手順と

からなる。

4 1 . クレーム 4 0に記載の画像処理方法において、

前記輝度評価手順は、

前記処理対象画素を含む局所的な領域に位置する複数の画素の輝度情報の最大値、及び分散値を導出することにより輝度評価を行う。

4 2 . クレーム 4 1に記載の画像処理方法において、

1 ) 前記輝度評価手順は、前記輝度情報の最大値、及び分散値がそれぞれ予め決められた値以上である条件を満足する場合としない場合の 2通りに判別し、

2 ) 前記第 2画像補正手順は、該条件の判別結果によって 2種類の補正を切り替えて行う、または、該条件を満足する場合にのみ補正を行う。

4 3 . クレ一ム 4 2に記載の画像処理方法において、

前記第 2画像補正手順は、

前記輝度評価で前記条件を満足する場合には広域型のメディアンフィルタ処理を行い、満足しない場合には狭域型のメディアンフィルタ処理を行う、または、前記条件を満足する場合にのみメディアンフィルタ処理を行う。

4 4 . クレ一ム 1 ~ 4 3のいずれか 1に記載の画像処理方法の手順をコンピュ一夕に実行させるための画像処理プログラム。

4 5 . クレーム 4 4の画像処理プログラムを記録したコンピュータ読みとり可能な記録媒体。

4 6. クレーム 44の画像処理プログラムを搭載した画像処理装置。