WO2004112401A1

WO2004112401A1 - 画像処理方法、画像処理プログラム、画像処理装置

Info

Publication number: WO2004112401A1
Application number: PCT/JP2004/008110
Authority: WO
Inventors: Kenichi Ishiga
Original assignee: Nikon Corporation
Priority date: 2003-06-12
Filing date: 2004-06-10
Publication date: 2004-12-23
Also published as: US7391903B2; CN100544450C; US20080247643A1; JP5206850B2; EP1641283B1; EP1641283A4; JP5206851B2; JP4882374B2; CN1806448A; JP2012034378A; US7630546B2; JP2012016051A; EP1641283A1; US20060092298A1; JPWO2004112401A1

Abstract

　複数の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなる第１の画像を、複数の画素からなり各々の画素に少なくとも１つの共通する色成分の色情報を有する第２の画像に変換する画像処理方法は、第１の画像の色情報から色差情報を生成する色差情報生成手順と、生成した色差情報に基づき、色の変化の度合いである色勾配を求める色勾配解析手順と、求めた色勾配に基づき、第１の画像を第２の画像に変換する画像変換手順とを有する。

Description

画像処理方法、画像処理プログラム、画像処理装置

技術分野

[0001] 本発明は、高精細高画質のデジタルカラー画像を生成する画像処理方法に関する背景技術

[0002] 単板カラー撮像素子等で色成分が空間的にサンプリングされたカラー画像データに対し色補間処理を行った場合、必ず偽色が発生する。このカラー画像データの画像構造、中でも特に色構造を破壊せずにこの偽色を適応的に除去する方法が国際公開第 WO02/060186号に示されている（本願発明者と同一発明者)。この方法では、一旦色差信号を求めて色指標を算出し、色判定することによって無彩色部では強レ、偽色除去を行い、有彩色部では弱レ、偽色除去を行う。

発明の開示

発明が解決しょうとする課題

[0003] し力ながら、国際公開第 WO02/060186号による方法では、有彩色部における偽色に対して強力な対応ができないという問題があった。特に高 ISO感度撮影画像の場合、偽色の振幅が増大することにより、色斑ノイズという形で有彩色部、無彩色部関係なく偽色が出現する。このような場合に、画像全体の偽色の除去が必ずしも十分になされないという問題が生じる可能性があった。

課題を解決するための手段

[0004] 本発明の第 1の態様によると、複数の色成分からなる表色系で表され、 1つの画素に 1つの色成分の色情報を有する複数の画素からなる第 1の画像を、複数の画素からなり各々の画素に少なくとも 1つの共通する色成分の色情報を有する第 2の画像に変換する画像処理方法は、第 1の画像の色情報から色差情報を生成する色差情報生成手順と、生成した色差情報に基づき、色の変化の度合いである色勾配を求める色勾配解析手順と、求めた色勾配に基づき、第 1の画像を第 2の画像に変換する画像変換手順とを有する。本発明の第 2の態様によると、第 1の態様の画像処理方法において、画像変換手順は、第 1の画像の色情報を用いて生成された色差情報に対して、色勾配に基づき補正処理をカ卩える色差情報補正手順を備えるのが好ましい。

本発明の第 3の態様によると、第 2の態様の画像処理方法において、色勾配解析手順は、第 1の画像の表色系を構成する色成分間の色差情報を利用して色指標を生成し、色指標の面内で色の変化の度合いを調べて前記色勾配を求めるのが好ましい。

本発明の第 4の態様によると、第 1の態様の画像処理方法において、第 1の画像の複数の画素と第 2の画像の複数の画素は、同じ位置関係で対応し、画像変換手順は、第 2の画像の処理対象画素に位置する第 1の画像の色情報の寄与度を色勾配の大きさに応じて変更することにより、第 1の画像から第 2の画像に変換するのが好ましレ、。

本発明の第 5の態様によると、第 4の態様の画像処理方法において、色勾配解析手順は、第 1の画像の表色系を構成する色成分とその反対色の色成分との間の色差情報を利用して色指標を生成し、色指標の面内で色の変化の度合いを調べて前記色勾配を求めるのが好ましい。

本発明の第 6の態様によると、画像処理方法は、複数の色成分からなる表色系で表され、各画素に少なくとも 1つの色成分の色情報が欠落している第 1の画像から、各々の画素に少なくとも 2つの共通する色成分の色情報を有する画像への変換を経た第 2の画像を入力する画像入力手順と、第 2の画像の色情報から色差情報を生成する色差情報生成手順と、生成した色差情報に基づき、色の変化の度合いである色勾配を求める色勾配解析手順と、求めた色勾配に基づき、第 2の画像の色差情報を補正する色差情報補正手順とを備える。

本発明の第 7の態様によると、第 1、 6のいずれかの態様の画像処理方法において、色勾配解析手順は、色差情報に基づき画素単位において色を評価するための色指標を生成し、生成した色指標に基づき色勾配を求めるのが好ましい。

本発明の第 8の態様によると、第 7の態様の画像処理方法において、色勾配解析手順は、生成した色指標の面内で勾配を求める微分演算を行うことによって、色勾配を求めるのが好ましい。

本発明の第 9の態様によると、第 7の態様の画像処理方法において、色差情報生成手順は、 1つの処理対象画素に対し複数種類の色差情報を生成し、色勾配解析手順は、複数種類の色差情報を組み合わせて少なくとも 3種類の色成分間の色差情報を利用して色指標を生成するのが好ましい。

本発明の第 10の態様によると、画像処理方法は、複数の色成分からなる表色系で表され、各画素に少なくとも 1つの色成分の色情報が欠落している第 1の画像から、各々の画素に少なくとも 3つの共通する色成分の色情報を有する画像への変換を経た第 2の画像を入力する画像入力手順と、第 2の画像を色空間変換して色度情報を生成する色度情報生成手順と、生成した色度情報に基づき、色の変化の度合いである色勾配を求める色勾配解析手順と、求めた色勾配に基づき、第 2の画像に含まれている色差情報を補正する色差情報補正手順とを備える。

本発明の第 11の態様によると、第 2、 6、 10のいずれかの態様の画像処理方法において、色差情報補正手順は、色勾配が所定値よりも小さい画素に対して、所定の範囲の補正フィルタを色差面に掛け、色勾配が所定値よりも大きな画素に対しては補正処理を行わなレ、か所定範囲より狭レ、範囲の補正フィルタを掛けるのが好ましレ、。本発明の第 12の態様によると、第 11の態様の画像処理方法において、色勾配解析手順は、所定の範囲の補正フィルタのサイズと色勾配を求める微分フィルタのサイズを一致させるのが好ましい。

本発明の第 13の態様によると、第 1、 6、 10のいずれかの態様の画像処理方法において、色勾配解析手順は、色勾配を求めるための微分演算を、複数の方向に対して等方的に算出して色勾配を求めるのが好ましい。

本発明の第 14の態様によると、第 11の態様の画像処理方法において、色勾配解析手順は、色勾配を一次微分演算から算出するのが好ましい。

本発明の第 15の態様によると、第 4の態様の画像処理方法において、画像変換手順は、第 2の画像の輝度を担う色成分の色情報に対して、第 2の画像の処理対象画素に位置する第 1の画像の色情報の寄与度を色勾配の大きさに応じて変更するのが好ましい。本発明の第 16の態様によると、第 15の態様の画像処理方法において、画像変換手順は、少なくとも、第 1の画像の複数の色成分の色情報を用いて第 2の画像の 1つの色成分の色情報を生成する第 1の方法と第 1の画像の 1つの色成分の色情報を用いて第 2の画像の 1つの色成分の色情報を生成する第 2の方法とを使用して、第 1の画像から第 2の画像に変換し、色勾配解析手順は、求めた色勾配に基づき色境界があるかなレ、かを判定し、画像変換手順は、色勾配解析手順により色境界がないと判定された画素については第 1の方法を使用し、色境界があると判定された画素については第 2の方法を使用するのが好ましい。

本発明の第 17の態様によると、第 16の態様の画像処理方法において、画像変換手順は、第 1の方法において、第 1の画像の輝度を担う色成分の色情報を該色成分の欠落する画素において該色成分と同じ色成分の色情報と該色成分と異なる色成分の色情報を用いた補間処理により生成し、補間処理により生成した輝度を担う色成分の色情報を使用して、第 1の画像から第 2の画像に変換するのが好ましい。本発明の第 18の態様によると、第 17の態様の画像処理方法において、画像変換手順は、第 1の方法において、第 1の画像の色成分の色情報を使用して第 1の画像の表色系とは異なる他の表色系の輝度を担う色成分の色情報をすベての画素において生成し、生成した他の表色系の輝度を担う色成分の色情報を使用して、第 1の画像から第 2の画像に変換するのが好ましい。

本発明の第 19の態様によると、第 1の態様の画像処理方法において、色差情報生成手順は、少なくとも 3通りの何れかの方法を用いて、色差情報を生成するのが好ましい。

本発明の第 20の態様によると、第 19の態様の画像処理方法において、色差情報生成手順は、第 1の画像の色情報を用いて、少なくとも 2方向に関する類似度を算出し、算出した類似度に基づき、各方向に対する類似性の強弱を少なくとも 3段階で判定し、判定結果に応じて少なくとも 3通りの何れの方法を用いるかを決定するのが好ましい。

本発明の第 21の態様によると、複数の色成分からなる表色系で表され、 1つの画素に 1つの色成分の色情報を有する複数の画素からなる第 1の画像を、複数の画素からなり各々の画素に少なくとも 1つの共通する色成分の色情報を有する第 2の画像に変換する画像処理方法は、第 1の画像の色情報から第 2の画像の色差情報を生成する色差情報生成手順と、生成した第 2の画像の色差情報に基づき、色の変化の度合いである色勾配を求める色勾配解析手順と、求めた色勾配に基づき、第 2の画像の色差情報を補正する色差情報補正手順とを備え、色差情報補正手順は、第 2の画像の輝度情報とは独立に第 2の画像の色差情報を補正する。

本発明の第 22の態様によると、画像処理方法は、複数の色成分からなる表色系で表され、各画素に少なくとも 1つの色成分の色情報が欠落している第 1の画像から、各々の画素に少なくとも 2つの共通する色成分の色情報を有する画像への変換を経た第 2の画像を入力する画像入力手順と、第 2の画像の色情報力色差情報を生成する色差情報生成手順と、生成した色差情報に基づき、色の変化の度合いである色勾配を求める色勾配解析手順と、求めた色勾配に基づき、第 2の画像の輝度情報とは無関係に、第 2の画像の色差情報を補正する色差情報補正手順とを備える。本発明の第 23の態様によると、画像処理方法は、複数の色成分からなる表色系で表され、各画素に少なくとも 1つの色成分の色情報が欠落している第 1の画像から、各々の画素に少なくとも 3つの共通する色成分の色情報を有する画像への変換を経た第 2の画像を入力する画像入力手順と、第 2の画像を色空間変換して色度情報を生成する色度情報生成手順と、生成した色度情報に基づき、色の変化の度合いである色勾配を求める色勾配解析手順と、求めた色勾配に基づき、第 2の画像に含まれている輝度情報とは無関係に、第 2の画像に含まれている色差情報を補正する色差情報補正手順とを備える。

本発明の第 24の態様によると、画像処理方法は、複数の画素から成り、各々の画素に少なくとも 2種類の共通する色成分の色情報を有する画像を入力する画像入力手順と、画像の色成分の色情報を、輝度情報と色差情報に変換する色変換手順と、色差情報に基づき、色の変化の度合いである色勾配を求める色勾配解析手順と、求めた色勾配に基づき、輝度情報とは無関係に、色差情報を補正する色差情報補正手順とを備えるのが好ましい。

本発明の第 25の態様によると、第 21から 24のいずれかの態様の画像処理方法において、色差情報補正手順は、色勾配解析手順で求めた色勾配の調査範囲の大きさに応じて、色差補正に利用する色情報の範囲を決定するのが好ましい。

本発明の第 26の態様によると、第 21、 22、 24のいずれかの態様の画像処理方法において、色勾配解析手順は、色勾配を求める前に色差情報生成手順で生成した色差情報に対して補正処理を加えるのが好ましい。

本発明の第 27の態様によると、複数の色成分からなる表色系で表され、 1つの画素に 1つの色成分の色情報を有する複数の画素からなる第 1の画像を、複数の画素からなり各々の画素に少なくとも 1つの共通する色成分の色情報を有する第 2の画像に変換する画像処理方法は、第 1の画像の複数の色成分の色情報を用いて、第 1の画像の表色系とは異なる色成分の色情報を生成する第 1の色情報生成手順と、第 1 の画像の 1つの色成分の色情報を用いて、第 1の画像の表色系と同じ色成分の色情報を生成する第 2の色情生成手順と、第 1の色情報生成手順により生成された色情報と第 2の色情報生成手順により生成された色情報とを、画素位置に応じて、切り替えて用いるか、もしくは、加重合成する色情報合成手順とからなる。

本発明の第 28の態様によると、第 27の態様の画像処理方法において、第 1の色情報生成手順は、第 1の画像の表色系とは異なる輝度成分の色情報を生成するのが好ましい。

本発明の第 29の態様によると、第 28の態様の画像処理方法において、第 1の色情報生成手順は、第 1の画像の表色系とは異なる色差成分の色情報を生成し、第 1の画像の表色系とは異なる輝度成分の色情報と合わせて、第 1の画像の表色系の中の輝度を代表する色成分の色情報に変換するのが好ましい。

本発明の第 30の態様によると、第 27から 29のいずれかの態様の画像処理方法において、第 2の色情報生成手順は、第 1の画像の表色系の中で輝度を代表する色成分の色情報を生成するのが好ましレ、。

本発明の第 31の態様によると、第 28から 30のいずれかの態様の画像処理方法において、第 1の色情報生成手順は、少なくとも 9通りの何れかの方法を用いて、第 1の画像の表色系とは異なる輝度成分の色情報を生成するのが好ましい。

本発明の第 32の態様によると、第 30の態様の画像処理方法において、第 2の色情報生成手順は、少なくとも 3通りの何れかの方法を用いて、輝度を代表する色成分の色情報を生成するのが好ましい。

本発明の第 33の態様によると、第 31の態様の画像処理方法において、第 1の色情報生成手順は、第 1の画像の色情報を用いて、少なくとも 4方向に関する類似度を算出し、算出した類似度に基づき、各方向に対する類似性の強弱を少なくとも 9段階で判定し、判定結果に応じて少なくとも 9通りの何れの方法を用いるかを決定するのが好ましい。

本発明の第 34の態様によると、第 32の態様の画像処理方法において、第 2の色情報生成手順は、第 1の画像の色情報を用いて、少なくとも 2方向に関する類似度を算出し、算出した類似度に基づき、各方向に対する類似性の強弱を少なくとも 3段階で判定し、判定結果に応じて少なくとも 3通りの何れの方法を用いるのかを決定するのが好ましい。

本発明の第 35の態様によると、第 27から 34のいずれかの態様の画像処理方法において、第 1の画像の色情報から色差情報を生成する色差情報生成手順と、生成した色差情報に基づき、色の変化の度合レ、である色勾配を求める色勾配解析手順とをさらに有し、色情報合成手順は、画素位置のそれぞれにおいて、求めた色勾配に基づき第 1の色情報生成手順により生成された色情報と第 2の色情報生成手順により生成された色情報とを、切り替えて用いるカもしくは、加重合成するのが好ましい。本発明の第 36の態様によると、画像処理プログラムは、第 1一 35のいずれかの態様の画像処理方法の手順をコンピュータに実行させるものである。

本発明の第 37の態様によると、コンピュータ読みとり可能な記録媒体は、第 36の態様の画像処理プログラムを記録したものである。

本発明の第 38の態様によると、画像処理装置は、第 36の画像処理プログラムを搭載したものである。

図面の簡単な説明

[図 1]第 1の実施の形態における電子カメラの機能ブロック図である。

[図 2]変換対象画素 [i，j]に R成分の色情報を有する画像データを示す図である。

[図 3]変換対象画素 [i，j]に B成分の色情報を有する画像データを示す図である。園 4]変換対象画素 [i，j]に G成分の色情報を有する画像データを示す図である。園 5]変換対象画素 [i，j]に G成分の色情報を有する画像データを示す図である。

[図 6]画像処理部が行う画像データ変換処理の概要を示すフローチャートである。園 7]第 1の実施の形態における処理の関係を説明するためのブロック図である。

[図 8]5x5サイズの分離型フィルタの例を示す図である。

[図 9]5x5サイズの範囲のメディアン処理の例を示す図である。

[図 10]仮色差補正フィルタと同一サイズの 5x5の範囲で、色勾配を調べている様子を説明する図である。

園 11]第 2の実施の形態において、仮色差補正フィルタと同一サイズの 9x9の範囲で、色勾配を調べている様子を説明する図である。

園 12]第 3の実施の形態の例 2における処理の関係を説明するためのブロック図である。

[図 13]第 4の実施の形態の画像処理部が行う画像データ変換処理の概要を示すフロ一チャートである。

園 14]第 4の実施の形態における処理の関係を説明するためのブロック図である。

[図 15]色差補正ローパスフィルタを示す図である。

園 16]色勾配の大きさと G成分合成化率の関係を示す図である。

園 17]第 5の実施の形態の処理の関係を説明するためのブロック図である。

園 18]方向指標による 9通り分類を示す図である。

園 19]変換対象画素が G画素の場合において、使用する画素の位置およびその係数 (G位置の輝度生成係数パターン)を図示する図である。

園 20]変換対象画素が R画素あるいは B画素の場合において、方向指標に応じて使用する画素の位置およびその係数 (R、 B位置の輝度生成係数パターン)を図示する図である。

[図 21]エッジ強調のフィルターを示す図である。

[図 22]プログラムを、 CD— ROMなどの記録媒体やインターネットなどのデータ信号を通じて提供する様子を示す図である。

発明を実施するための最良の形態 [0006] 第 1の実施の形態

(電子カメラの構成）

図 1は、第 1の実施の形態における電子カメラの機能ブロック図である。電子カメラ 1 は、 AZD変換部 10、画像処理部 11、制御部 12、メモリ 13、圧縮 Z伸長部 14、表示画像生成部 15を備える。また、メモリカード（カード状のリムーバブルメモリ） 16とのインタフェースをとるメモリカード用インタフェース部 17および所定のケーブルや無線伝送路を介して PC (パーソナルコンピュータ） 18等の外部装置とのインタフェースをとる外部インタフェース部 19を備える。これらの各ブロックはバス 29を介して相互に接続される。画像処理部 11は、例えば、画像処理専用の 1チップ'マイクロプロセッサで構成される。

[0007] 電子カメラ 1は、さらに、撮影光学系 20、撮像素子 21、アナログ信号処理部 22、タイミング制御部 23を備える。撮像素子 21には撮影光学系 20で取得された被写体の光学像が結像し、撮像素子 21の出力はアナログ信号処理部 22に接続される。アナログ信号処理部 22の出力は、 A/D変換部 10に接続される。タイミング制御部 23には制御部 12の出力が接続され、タイミング制御部 23の出力は、撮像素子 21、アナ口グ信号処理部 22、 A/D変換部 10、画像処理部 11に接続される。撮像素子 21は例えば単板式 CCDなどで構成される。

[0008] 電子カメラ 1は、さらに、レリーズボタンやモード切り換え用の選択ボタン等に相当する操作部 24およびモニタ 25を備える。操作部 24の出力は制御部 12に接続され、モニタ 25には表示画像生成部 15の出力が接続される。

[0009] なお、 PC18には、モニタ 26やプリンタ 27等が接続されており、 CD— ROM28に記録されたアプリケーションプログラムが予めインストールされている。また、 PC18は、不図示の CPU、メモリ、ハードディスクの他に、メモリカード 16とのインタフェースをとるメモリカード用インタフェース部（不図示）や所定のケーブルや無線伝送路を介して電子カメラ 1等の外部装置とのインタフェースをとる外部インタフェース部（不図示）を備える。

[0010] 図 1のような構成の電子カメラ 1において、操作部 24を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部 12は、タイミング制御部 23を介して、撮像素子 21、アナログ信号処理部 22、 A/D変換部 10に対するタイミング制御を行う。撮像素子 21は、光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部 22で所定の信号処理が行われ、 A/D変換部 10でディジタル化され、画像データとして、画像処理部 11に供給される。

[0011] 本実施の形態の電子カメラ 1では、撮像素子 21において、 R (赤）、 G (緑）、 B (青）のカラーフィルタがべィァ配列されているので、画像処理部 11に供給される画像データは RGB表色系で示される。画像データを構成する各々の画素には、 RGBの何れカ、 1つの色成分の色情報が存在することになる。

[0012] 画像処理部 11は、このような画像データに対し、後述する画像データ変換処理を行う他に、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮 Z伸長部 14で所定の圧縮処理が施され、メモリカード用インタフェース部 17を介してメモリカード 16に記録される。

[0013] なお、画像処理が完了した画像データは、圧縮処理を施さずにメモリカード 16に記録したり、 PC18側のモニタ 26やプリンタ 27で採用されている表色系に変換して、外部インタフェース部 19を介して PC18に供給しても良い。また、操作部 24を介し、操作者によって再生モードが選択されると、メモリカード 16に記録されている画像データは、メモリカード用インタフェース部 17を介して読み出されて圧縮/伸長部 12で伸長処理が施され、表示画像作成部 15を介してモニタ 25に表示される。

[0014] なお、伸長処理が施された画像データは、モニタ 25に表示せず、 PC18側のモニタ 26やプリンタ 27で採用されている表色系に変換して、外部インタフェース部 19を介して PC18に供給しても良レ、。また、後述する変換処理が行われた画像データを、モニタ 25、 26やプリンタ 27で採用されている表色系に変換する処理については、公知の技術によって実現できる。

[0015] (画像データの変換）

次に、撮像素子 21を介して取得した RGB表色系の画像データを、高精細高画質な画像データに変換する処理を説明する。撮像素子 21で撮像され、アナログ信号処理部 22、 AZD変換部 10を介して画像処理部 11に入力される画像データは、べィァ配列の RGB表色系で表され、前述した通り、 1つの画素には 1つの色成分しか含まれていない。すなわち、被写体のカラー像に関する情報がべィァ配列に間引かれていると言える。以下、この画像データを変換前 RGB画像データとも言う。この変換前 RGB画像データを、各画素において R成分、 G成分、 B成分を含む高精細高画質な画像データに変換する。すなわち、間引かれた画像データから、高精細高画質な画像データを生成、復元する。

[0016] 図 2—図 5は、変換前 RGB画像データを説明する図である。図 2 図 5は、変換対象画素にどの色成分が配置されているかによつて周辺の画素にどの色成分が配置されているかを示している。変換対象画素の座標をで表す。図 2は変換対象画素に R成分の色情報を有する場合を示し、図 3は変換対象画素 [i，j]に B成分の色情報を有する場合を示す。図 4は変換対象画素に G成分の色情報を有し、縦方向に隣接する画素に B成分の色情報を有し横方向に隣接する画素に R成分の色情報を有する場合を示し、図 5は変換対象画素 [i，j]に G成分の色情報を有し、縦方向に隣接する画素に R成分の色情報を有し横方向に隣接する画素に B成分の色情報を有する場合を示している。

[0017] 変換前 RGB画像データにおいて、 R成分の色情報を有する画素を R画素、 B成分の色情報を有する画素を B画素、 G成分の色情報を有する画素を G画素と呼ぶことにする。

[0018] 図 6は、画像処理部 11が行う画像データ変換処理の概要を示すフローチャートである。図 7は、処理の関係を説明するためのブロック図である。図 6、図 7を使用して、画像処理部 11が行う第 1の実施の形態の画像データ変換処理の概要を説明する。

[0019] 第 1の実施の形態の画像データ変換処理は、統計的に被写体実在色の色変化率にくらべ、色モアレ、色斑ノイズ等の色変化率が非常に小さいという性質を利用して、色勾配を指標とした適応的偽色除去処理を行うものである。特に、べィャ補間内での適応的偽色除去をする。なお、各ステップの処理は、後にさらに詳細に説明する。

[0020] ステップ S11では、ベィァ面（図 7の 301)、すなわち変換前 RGB画像データを入力する。ステップ S12において、類似度を算出して縦横方向判定を行う（図 7の 302) 。ステップ S 13において、縦横方向判定に基づき、変換前 RGB画像データの各色成分の色情報を使用して、 Cr、 Cb面、すなわち色差情報 Cr、 Cbをすベての画素において生成する（図 7の 303)。

[0021] ステップ S14では、色勾配を指標として区別するときに偽色の境界が色境界と誤認定されないように仮色差補正を行う（図 7の 304)。ステップ S15では、色差情報 Cr、 Cbを使用して色勾配解析を行う（図 7の 305)。ステップ S16では、色勾配の大きさに応じて、色差補正処理をするか否かを切り替える（図 7の 306)。ステップ S16の色差補正を適応的色差補正と言う。ここで、適応的とは、必要に応じて適切にという意味である。適応的色差補正とは、条件によって補正をしたり、補正をしなかったり等することにより、適切に色差補正をするこという。

[0022] ステップ S17において、ステップ S12の方向判定結果に基づき、 G面生成を行う（図

7の 307)。すなわち、すべての画素において、 G色成分の色情報を補間処理により生成する。ステップ S18において、ステップ S16の Cr、 Cb面とステップ S17の G面とに基づき、 RGB表色系に変換し（図 7の 308)、変換された画像データを出力する。出力された画像データは、各種の画像処理が施されたりメモリ等に格納されたりする

[0023] なお、変換前 RGB画像データの画素数と変換後画像データの画素数は同じであり、 2次元平面において各画素の位置は 1 : 1で対応する。ところで、上述した全ての画素における画像データ変換処理は、着目する局所領域における画像データ変換処理を繰り返すことにより達成される。従って、ここからは、着目領域での局所的に満たす関係式を用いて話を進める。以下、これらの処理の詳細について説明する。

[0024] 1.方向判定

1-1.類似度の算出

入力された変換前 RGB画像データの各色成分の色情報を使用して、類似度の算出を行い、縦横方向判定を行う。まず、 R画素および B画素において、類似度を算出する。類似度とは、変換対象画素を含む局所領域内の色成分の色情報を使用して、変換対象画素と周辺画素との類似性の度合いを数値化したものである。本実施の形態では、縦方向の類似度と横方向の類似度を求め、縦方向に類似性が強いのか横方向に類似性が強いのかを判定する。色情報とは、撮像素子 21で取得された色信号を、所定の処理を行いデジタル化した値である。例えば、 1バイト 256階調で表される。

[0025] 画素の座標を [x,y]とし、変換対象画素の座標を [i，j]とする。 G画素の色情報を G[x,y ]、 R画素の色情報を R[x，y]、 B画素の色情報を B[x，y]、 R画素の色情報あるいは B画素の色情報を代表して Z[x，y]とする。縦方向の類似度 Cv[U]は式 (1)により、横方向の類似度 Ch[i,j]は式 (2)により求めることができる。

Cv[i,j]={(|G[i,j-l]-Z[iJ]|+|G[iJ+l]-Z[i,j]|)/2

+|G[i,j-l]-G[i,j+l]|}/2 ...(1)

Ch[i,j]={(|G[i-l,j]-Z[i,j]|+|G[i+l,j]-Z[iJ]|)/2

+||G[i-l,j]-G[i+l,j]|}/2 ...(2)

[0026] なお、類似度の算出については、各種の方法が提案されており、適宜本実施の形態で使用することができる。

[0027] 1-2.類似性判定

次に、類似性判定を行う。上記で求めた Cv[i，j]、 Ch[i,j]を使用して、変換対象画素の類似性の判定を行う。すなわち、第 1の実施の形態では、縦方向に類似性が強いか、横方向に類似性が強いか、縦横不明かの判定を行う。具体的には、条件 (3)を満足するときは、縦横類似性が不明として方向指標 HV[i,j]=0をセットする。すなわち、縦横の類似度間の差分が閾値 Thl以下であれば、縦方向に類似性が強いのか、横方向に類似性が強いのか判定できないことを意味する。 Thlは所定の閾値であり、 2 56階調のときは 10前後の値とする。画像のノイズが多いときは高めに設定する。

|Cv[i,j]-Ch[i,j]|≤Thl ...(3)

[0028] 条件 (3)が満足しない場合、すなわち、縦横どちらかの方向の類似性が判定できる場合は、条件 (4)を満足するか否力 ^判定する。条件 (4)を満足するときは、縦方向に類似性が強いとして、方向指標 HV[i,j]=lをセットする。条件 (4)を満足しない場合は、横方向に類似性が強いとして方向指標 HV[iJ]=- 1をセットする。なお、類似度 Cv[i，j] 、 Ch[i,j]は、値が小さいほど類似性が強いことを示している。

Cv[i,j]<Ch[i,j] ...(4)

[0029] 2.色差生成

2-1. Cr面生成次に、 R画素における色差情報 Cr面生成について説明する。変換前 RGB画像データの R画素の色差情報 Crを求める。このとき、上記で求めた類似性の方向指標 HV[i，j]によって異なる式を使用する。 HV[i,j]=lのときは式 (5)、 HV[i,j]=-lのときは式 (6)、 HV[iJ]=0のときは式 (7)を使用して Cr[i，j]を求める。

Cr[i,j]=R[i,j]-(G[i,j-l]+G[i,j+l])/2 ..ズ5)

Cr[i,j]=R[i,j]-(G[i- 1， j]+G[i+ 1 ,j])/2… (6)

Cr[i,j]=R[i,j]-(G[i,j-l]+G[i,j+l]+G[i-l,j]+G[i+lJ])/4 ...(7)

[0030] 2-2. Cr面補間

次に、 Cr面の補間を行う。求めた R画素の色差情報 Crを使用して、 B画素、 G画素の色差情報 Crを補間処理によって求める。 B画素に対応する画素の場合は式 (8)、 G 画素で横方向に R画素が隣接する画素に対応する画素の場合は式 (9)、 G画素で縦方向に R画素が隣接する画素に対応する画素の場合は式 (10)を使用して色差情報 Crを求める。

Cr[i,j]=(Cr[i-l,j-l]+Cr[i-l,j+l]+Cr[i+l,j-l]+Cr[i+l,j+l])/4 ...(8)

Cr[i,j]=(Cr[i- 1 ,j]+Cr[i+ 1 ,j])/2 ...(9)

Cr[i,j]=(Cr[i,j-l]+Cr[i,j+l])/2 ...(10)

[0031] 2-3. Cb面生成、補間

色差情報 Cbについても、上記色差情報 Crと同様にして求める。このようにして、変換前 RGB画像データのすべての画素について、色差情報 Cr、 Cbを求める。

[0032] 3.仮色差補正

2.色差生成で求まった色差面には偽色がふんだんに乗っており、色モアレや高 IS O感度における色斑ノイズの要因となっている。これらは色構造と区別して適応的に除去されるべきであるが、次節で述べる色勾配を指標として区別するとき、偽色の境界が色境界と誤認定されないように予め仮の除去をしておく。以下に方法を 2っを紹介するが、この方法に限らない。

[0033] 方法 1 (ローパス処理）

次式 (101X102)および図 8は、 5x5サイズの分離型フィルタの例を示す。

Horizontal lowpass nltering tmp_Cr[i,j]={6*Cr[i,j]+4*(Cr[i-l,j] + Cr[i+l,j]) + Cr[i-2,j] + Cr[i+2,j]}/16

•••(101)

Vertical lowpass filtering

TCr[i,j]={6* tmp_Cr[i,j]+4*(tmp_Cr[i,j-l]+tmp_Cr[i,j+l])

+tmp_Cr[i,j'-2]+tmp_Cr[i,j'+2]}/16 ...(102)

TCb[i，j]も同様にして求める。

[0034] 方法 2 (メディアン処理）

次式 (103)および図 9は、メディアン処理の例を示す。メディアン処理は、図 9に示す 5x5のサイズの範囲内ですベての画素値をソーティングし、中央にくる値（中央値）を採用する処理である。

TCr[i,j]=Median{Cr[i+m,j+n]} m=0，± l, ± 2 n=m=0，± l，± 2 ...(103)

[0035] 4.色勾配解析

4-1.色指標の算出

次に、色構造部を破壊しないように、色勾配を調べて偽色と実在色とを判別する。実在色は、 3.の仮色差補正処理を加えても偽色に比べコントラストが残りやすいので、その統計的性質から非常に高い確度で区別が可能である。そのときできるだけ精度よく色構造を守るため、実在色間の色コントラストを上げて偽色間の色コントラストを下げるような色指標面を作る。一般に偽色は反対色間で現れやすいので、原色間で色指標を生成するのがよい。すなわち、上述のようにして求まった色差信号 Cr[i,j] ，Cb[i,j]から、次式 (104)を使用して画素単位の色を評価するための色指標 Cdiff[i,j]に変換する。

Cdiff[i,j]=(|Cr[i,j]|+|Cb[i,j]|+|Cr[i,j]-Cb[i,j]|)/3 ...(104)

[0036] 上記色指標は、 RGB3原色間で組み合わせ可能な全ての色差情報を利用して、色構造の防御性能を向上させている。色差の定義式を展開すると次のようになる。

CdifKlR- G|+|G- B|+|B- R|)/3 ...(105)

[0037] 4-2.色勾配の評価

次に、単一の色指標面に色コントラスト情報を押し込めた面内で、次式 (106)により、色勾配 Cgradを調べる。このとき色勾配検出用の微分フィルタサイズを、仮色差補正フィルタのサイズと同一にして破壊の可能性がある範囲は全て調べられるようにしている。その結果、色構造非破壊性を高める。図 10は、仮色差補正フィルタと同一サイズの 5x5の範囲で、色勾配を調べてレ、る様子を説明する図である。

[数 1]

【数 1】

Cgrad[i, j] = ( ^ | Cdiff [i + m, j + n] - Cdiff [i, j] |) /{ (2 * m max + 1)(2 * n max + 1) - 1} = grad(Cdiff [i, j]) ■ - - (106)

-±l ここで、 mmax=2、 nmax=2である。演算を高速化するために、周辺全画素との微分を調べなくても、もう少し間引いた画素間微分に減らしてもよい。

[0038] 5.適応的色差補正

次に、次の条件式 (107)により、色勾配の大きさに応じて色差補正処理をするか否力を切り替える。色勾配の大きい色境界部は元の Cr[i，j]がそのまま使われる。色勾配は、輝度の勾配とは関係ない値である。

if Cgrad[i,j]≤ThG Cr[i,j]=TCr[i,j] ...(107)

[0039] このように、色差補正は輝度情報とは独立して、すなわち輝度情報を使用しないで行われる。言い換えれば、色差補正は、輝度情報とは無関係に、色差情報と色勾配のみに基づいて行われる。閾値 ThGは、非常に小さな値を設定するだけで、有彩色部、無彩色部を問わず色斑ノイズ、色モアレ発生領域が色差補正対象領域に該当し、色構造部はうまく除外される。 256階調のときは 5以下程度の値をとる。上記では、色勾配が閾値 ThGより大きい場合は、元の Cr[i,j]がそのまま使われるとした力仮色差補正フィルタより狭い範囲のフィルタをかける場合であってもよい。

[0040] 6. G面補間

次に、ステップ S12で求めた方法判定に基づき、ベィャ面上の R/B位置における G の値を、次式 (108)(109)(110)により求める。

if HV[i,j]=l Gout[i,j]=(G[i,j-l]+G[i,j+l])/2

+(2*Z[i,j]-Z[i,j-2]-Z[i,j+2])/4 ...(108)

else if HV[i，j]=- 1 Gout[i,j]=(G[i-l,j]+G[i+l,j])/2

+(2*Z[i,j]-Z[i-2,j]-Z[i+2,j])/4 ...(109) else Gout[i,j]=(G[i,j-l]+G[i,j+l]+G[i-l,j]+G[i+l,j])/4

+(4*Z[i,j]-Z[i,j-2]-Z[i,j+2]-Z[i-2,j]

-Z[i+2,j])/8 ...(110)

Zは R位置では Z=R、 B位置では Z=Bを表す。ベィャ面上の G位置では、 Gout[i,j]=ベィャ信号そのまま代入する。

[0041] 7.表色系変換

適切な偽色除去の加えられた Cr,Cb面と、 G面の 3つの色情報から、次式 (111X112) により RGB表色系への変換を行う。

Bout[i,j]=Cb[i,j']+Gout[i,j] ...(112)

[0042] このようにして、第 1の実施の形態では、色補間処理で必然的に生じる偽色の発生を最小限に抑えた高品質な補間画像を提供する。とりわけ、画像構造を破壊しない適応的な偽色ノイズ対策を有彩色部、無彩色部関係なく加えることにより、高品質な補間画像を得ること力 Sできる。すなわち、色差成分に色勾配を指標として適応的補正処理を加えることにより、偽色の少ない高品質な補間画像を提供できる。

[0043] —般に、 Bayer配列のように色成分が空間的にサンプリングされたデータを補間して復元した画像は、ナイキスト周波数レベルの輝度成分の変化が激しいところで、上述したような色モアレや高 ISO感度時の色斑ノイズが生じやすレ、。すなわち、ナイキスト周波数レベルの輝度変化を生じているところで、 RGBの間で微妙な補間予測誤差が生じ、うなり現象となって現れるのが色モアレである。一方、ナイキスト周波数レベルの輝度変化が一様な平坦部であっても、ランダムノイズの振幅の激しさからナイキスト周波数パターンに近いレベルでの補間予測誤差を生じることによって発生する偽色が、高 ISO感度における色斑ノイズの大きな要因となっている。

[0044] したがって、第 1の実施形態で示したように、輝度成分とは完全に切り離して、色差成分単独の情報のみに基づいて色勾配を調べて偽色除去することにより、これら色モアレや高 ISO色斑ノイズを輝度信号の構造に左右されることなくうまく除去することが可能となる。さらに、高 ISO感度時に生じている色斑ノイズを、平坦部のみならず、色勾配変化の少ない白黒文字等のエッジ部においてもきれいに除去することができる。

[0045] 第 2の実施の形態

第 2の実施の形態は、第 1の実施の形態の色差補正フィルタを更に強化した例を示す。第 1の実施の形態と異なるのは、 3.仮色差補正で使用するフィルタと、 4.色勾配解析の微分フィルタのみである。仮色差補正のフィルタサイズを大きくするのに伴レ、、合わせて色勾配判定の微分フィルタも大きくして色構造の破壊を防ぐ。

[0046] 第 2の実施の形態の電子カメラ 1の構成、画像処理部 11が行う画像データ変換処理の概要を示すフローチャート、処理の関係を説明するブロック図は、第 1の実施の形態の図 1、図 6、図 7と同様であるのでその説明を省略する。

[0047] 3.仮色差補正

第 2の実施の形態の仮色差補正で使用する補正フィルタは、次の通りである。方法 1 (ローパス処理）

次式 (113X114)は、 9x9サイズの分離型フィルタの例を示す。

Horizontal lowpass filtering

tmp_Cr[i,j]={70*Cr[i,j]+56*(Cr[i-l,j]+Cr[i+l,j])

+28*(Cr[i-2,j]+ Cr[i+2,j])+8*(Cr[i-3,j]+ Cr[i+3,j])

+ (Cr[i-4,j]+ Cr[i+4,j])}/256 ...(113)

Vertical lowpass filtering

TCr[i,j]={70* tmp_Cr[i,j]+56*(tmp_Cr[i,j-l]+tmp_Cr[i,j+l])

+28*(tmp_Cr[i,j-2]+tmp_Cr[i,j+2])+8*(tmp_Cr[i,j-3]+tmp_Cr[i,j+3])

+tmp_Cr[i,j-4]+tmp_Cr[i,j+4]}/256 ...(114)

TCb[i，j]も同様。

[0048] 方法 2 (メディアン処理）

次式 (115)は、メディアン処理の例を示す。

TCr[i,j]=Median{Cr[i+m,j+n]} m=0，± l, ±2, ± 3, ±4 n=m=0, ± l, ±2, ± 3，±4 ...(115)

[0049] 4.色勾配解析

4-1.色指標の算出色指標は、第 1の実施の形態と同様にして求める。

[0050] 4-2.色勾配の評価

次式 (116)により、色勾配 Cgradを調べる。このとき色勾配検出用の微分フィルタサイズを、仮色差補正フィルタのサイズと同一にして破壊の可能性がある範囲は全て調ベられるようにしている。その結果、色構造非破壊性を高める。図 11は、仮色差補正フィルタと同一サイズの 9x9の範囲で、色勾配を調べている様子を説明する図である

[数 2]

【数 2】

Cgrad[i,n = { [ Cdiff [i + m,j + n] - Cdiff ] |)/{ (2* mmax+ 1)(2 * nmax+ 1) - 1} = grad(Cdiff [i, j]) ■ ■ - (1 16) ここで、 mmax=4、 nmax=4である。この場合も実施の形態 1と同様に、間引いたフィルタにしてもよレ、。

[0051] このようにして、第 2の実施の形態では、第 1の実施の形態の色差補正フィルタを更に強化しながら、第 1の実施の形態と同様な効果を奏する。特に、色差補正フィルタサイズを第 1の実施の形態の 5x5サイズよりも大きレ、 9x9サイズとしているので、より長周期にわたって発生する偽色（色モアレや色斑）を除去できる効果を奏する。

[0052] 一第 3の実施の形態一

第 1の実施の形態および第 2の実施の形態では、色補間途中の信号処理として説明をした。第 3の実施の形態は、補間済のデータに対して本発明を適用するものである。例えば、電子カメラ内で補間して出力された JPEGデータなどがある。この場合の例について、以下 3通りほど示す。第 3の実施の形態の電子カメラ 1の構成は、第 1の実施の形態の図 1と同様であるのでその説明を省略する。

[0053] (例 1)

1)色空間変換

補間済 RGBデータを、以下の定義の GCbCrデータに変換する。

Cr=R-G ...(117)

Cb=B-G ...(118)

G成分はそのまま。 2)色勾配判定法による適応的偽色除去

第 1の実施の形態あるいは第 2の実施の形態の「3.仮色差補正」一「7.表色系変換」の処理をそのまま行う。

[0054] (例 2)

補間済データは通常、絵作りのための色補正処理が加わっている。これらの影響を少なくして色勾配判定するため、例 1の色空間変換ではなぐ Lab空間に変換する。

Luv空間等であってもよレ、。図 12は、例 2における処理の関係を説明するためのブロック図である。

[0055] 1)色空間変換

補間済 RGBデータ（図 12の 401)を Labデータに変換する（図 12の 402)。

2)色勾配判定法による適応的偽色除去

第 1の実施の形態の図 7と本実施の形態の図 12において、仮色差補正 304は仮 a b面補正 403に対応し、色勾配解析 305は色勾配解析 404に対応し、適応的色差補正 306は適応的色差補正 405に対応し、表色系変換 308は色空間変換 406に対応する。第 1の実施の形態あるいは第 2の実施の形態の「3.仮色差補正」一「7.表色系変換」の処理において、 Cb,Crを a,bに置き換えて行う。単純に置き換えができないところだけ以下で定義する。

[0056] 4.色勾配解析（図 12の 404)

色指標 Cdif¾r、次式 (119)あるいは次式 (120)により求める。

[数 3]

【数 3】

diMiJ] =

■ ■ - (119)

Cdiff[i, J] = (I a[i, + \ b[i, j] \ + \ a[i, j] - b[i,川) / 3 ■ ■ ■ (120)

[0057] (例 3)

例 2のように色勾配を調べるために用いる色空間と色差補正処理する色空間が一致していなくてもよレ、。色差補正処理する色空間を例えば、 Lab空間の ab面や YIQ空間の IQ面とする。色勾配を見るため、 ab面や IQ面で色差補正を行った後、色空間を例えば HSV空間や LCH空間に変換する。変換後、以下の式 (121)や式 (122)により、輝度成分以外の色度（chromaticity)成分の変化をみて色勾配を求める。 HSV空間の H，Sや LCH空間の C，Hが色度成分 (情報）である。色度（chromaticity)とは、簡単に言うと明るさを除いた色の性質を言う。色差（chrominance)も色度（chromaticity)に含まれる概念である。

HSV空間の場合

Cgrad[i,j]=|grad(S[i,j])|+|grad(H[i,j])| ...(121)

LCH空間の場合

Cgrad[iJ]=|grad(C[i,j])|+|grad(H[i,j])| ...(122)

ただし、 gradは第 1の実施の形態や第 2の実施の形態で定義した演算子である。

[0058] このように、第 3の実施の形態では、色度成分を有する色空間において、該色度成分に基づき色勾配を求めている。そして、求めた色勾配に基づき、第 1の実施の形態と同様に適応的に色差補正を行う。これにより、第 1の実施の形態と同様な効果を奏する。

[0059] 第 4の実施の形態

第 4の実施の形態は、色勾配判定による輝度成分生成法の切替えについて説明する。第 4の実施の形態の電子カメラ 1の構成は、第 1の実施の形態の図 1と同様であるのでその説明を省略する。

[0060] 従来、べィャ配列のカラーフィルタを備えた撮像素子で撮像されたカラー画像を補間する技術として、米国特許第 5,382,976号が知られている。これは、べィャ面の方向性を調べながら G面を補間し、 R，B面の補間は G面になぞらえて G面の高周波成分を R,B面に上乗せする方式である。 R，B面の補間は、一旦色差面 R_G，B-Gの空間に移行し、色差面で補間してから G面をカ卩算して元の R，Bに戻すのと等価である。しかしながら、 G面の補間は補間対象画素近傍に存在する G成分の平均値だけで補間しているため、凹凸のある構造物をうまく予測することができず、斜め線に対してはいわゆる斜線ジャギーが発生してしまう問題がある。

[0061] これに対処する 1つの方法として、米国特許第 5,629,734号に示されるように、 G成分の補間においても G面を R,B面になぞらえる方法がある。これは色差 R-G,B_Gが常に一定と仮定し、 R,G,Bが全て同様の振る舞いをするとの前提の下に組み立てられうるアルゴリズムである。

[0062] 一方、別の対処方法として、本願発明者が発明した国際公開第 02/071761号に開示された方法がある。この方法では、輝度成分を G面で補間するのではなぐ RGB力 S 加重合成された別の色空間の輝度成分に直接変換する段階で、中心画素の凹凸情報を取り込んで斜線ジャギー対策する。

[0063] し力、しながら、米国特許第 5，629，734号のような対処を施した場合、色差一定の仮定が成り立たない色境界部では、復元画像に破綻を来す問題がある。すなわち、 G補間時の近傍 G平均値に対する Rもしくは B成分による補正項が逆に悪さをし、過補正が生じて色境界部の至る所で黒や白のブッブッ状のもの（オーバーシュート）が発生する。

[0064] 一方の国際公開第 02/071761号の方式では、米国特許第 5,629,734号に比べ遥かに色境界部で問題を起こさせずに斜線ジャギー対策を可能とする。しかし、ごくまれにある特定の色組み合わせに当てはまる境界部で、筋状の縦縞、横縞（色境界ジャギー）が発生する場合がある。

[0065] 第 4の実施の形態の画像処理方法は、このような色境界部の問題を解決しつつ、斜線ジャギー対策も施された高精細高画質なカラー画像を生成する画像処理方法を提供する。

[0066] 図 13は、画像処理部 11が行う画像データ変換処理の概要を示すフローチャートである。図 14は、処理の関係を説明するためのブロック図である。図 13、図 14を使用して、画像処理部 11が行う画像データ変換処理の概要を説明する。

[0067] ステップ S1では、ベィァ面（図 14の 101)、すなわち変換前 RGB画像データを入力する。ステップ S2において、変換前 RGB画像データの各色成分の色情報を使用して、 Cr、 Cb面、すなわち色差情報 Cr、 Cbをすベての画素において生成する（図 1 4の 103)。このとき類似度を算出して縦横方向判定を行い（図 14の 102)、縦横方向判定に基づき色差情報 Cr、 Cbを生成する。

[0068] ステップ S3では、色差情報 Cr、 Cbを使用して色勾配解析を行う（図 14の 104)。色勾配解析は、まず、該当画素が無彩色画素なのか、有彩色画素なのか、有彩色の場合はその彩色度がどの程度かなどの色を評価する色指標を求める。すべての画素について色指標を求め、色指標面を生成する。各画素について、該当画素の色指標と周辺画素の色指標とに基づき、色勾配をもとめ色境界があるかどうか解析する。色勾配とは、色の変化の度合いである。

[0069] ステップ S4において、 G面生成 1を行う（図 14の 105)。すなわち、すべての画素において、 G色成分の色情報を補間処理により生成する。 G面生成 1の補間方法は、斜線解像が可能な方法である。すなわち、斜線ジャギーを発生させない補間方法である。次に、ステップ S5において、 G面生成 2を行う（図 14の 106)。 G面生成 1と同様に、すべての画素において、 G色成分の色情報を補間処理により生成する。 G面生成 2 の補間方法は、斜線ジャギーの発生の可能性はあるが色境界部での問題が発生しない補間方法である。

[0070] ステップ S6において、ステップ S3の色勾配解析結果に基づき、ステップ S4の G面生成 1とステップ S5の G面生成 2の補間結果を合成する（図 14の 107)。例えば、色勾配が弱いとき、すなわち色の変化が平坦であるときは、 G面生成 1の補間結果を使用し、色勾配が強いとき、すなわち色境界部では、 G面生成 2の補間結果を使用する。あるいは、色勾配に応じた加重係数で、 G面生成 1の補間結果と G面生成 2の補間結果を加算する。

[0071] ステップ S7において、ステップ S2の Cr、 Cb面とステップ S6の G面とに基づき、 RG B表色系に変換し（図 14の 108)、変換された画像データを出力する。出力された画像データは、各種の画像処理が施されたりメモリ等に格納されたりする。

[0072] なお、変換前 RGB画像データの画素数と変換後画像データの画素数は同じであり、 2次元平面において各画素の位置は 1 : 1で対応する。ところで、上述した全ての画素における画像データ変換処理は、着目する局所領域における画像データ変換処理を繰り返すことにより達成される。従って、ここからは、着目領域での局所的に満たす関係式を用いて話を進める。以下、これらの処理の詳細について説明する。

[0073] 以下「1-2-3. Cb面生成、補間」までの処理は、第 1の実施の形態と同様であるので、説明を省略する。

1. Cr,Cb色差面生成 1-1.方向判定

1-1-1.類似度の算出

1-1-2.類似性判定

1-2.色差生成

1-2-1. Cr面生成

1-2-2. Cr面補間

1- 2-3. Cb面生成、補間

[0074] 1-2-4.色差補正

色評価に先立ち色差情報 Cr、 Cbの補正を行う。色評価を正確に行うため、前述のようにして取得した Cr、 Cbの色差面に生じている偽色を除去するためである。色差メディアンフィルタを使用してもよいが、第 4の実施の形態では、以下の式 (11)および図 15で示されるローパスフィルタを使用する。この処理は、偽色を除去するという目的を高速に達成することができる。なお、他の方法によって偽色を除去するようにしてもよい。

Cr[i,j]={4* Cr[i,j]

+2*(Cr[i-2,j]+ Cr[i+2,j]+Cr[i,j-2]+ Cr[i,j+2])

+l*(Cr[i-2,j-2]+Cr[i+2,j-2]+Cr[i-2,j+2]+Cr[i+2,j+2])}/16 ...(11)

[0075] Cb[i,j]も同様にして求める。

[0076] 2.色勾配解析

2- 1.色指標の算出

上述のようにして求まった色差情報 Cr[i，j]，Cb[i，j]から、式 (12)を使用して画素単位の色を評価するための色指標 Cdiff[i，j]を求める。

Cdiff[i,j]=(|Cr[i,j]|+|Cb[i,j]|+|Cr[i,j]-Cb[i,j]|)/3 ...(12)

[0077] 色指標は、その値により無彩色か有彩色か、有彩色の場合低彩色か高彩色かの彩度を評価することができる。上記色指標は、 RGB3原色間で組み合わせ可能な全ての色差情報を利用して、その精度を向上させている。色差を展開すると次の式 (13)のようになる。本実施の形態では、この色指標を使用することにより、あらゆる色境界がまんべんなく見つかる。 CdifKlR— G|+|G— B|+|B— R|)/3 ...(13)

[0078] 2-2.色勾配の評価

このようにべィャ復元画像で予測される色が精度よく求まった段階で、従来技術の問題として浮上している色境界部を識別するため、色指標の面内で色の勾配を調べる。変換対象画素 [U]における色勾配を grad_Cdiff[i,j]で表すと、次式 (14)により求めること力 Sできる。

grad_Cdiff[i,j]=

(ICdif — l,j]— Cdiff[i,j]|+|Cdiff[i+l，j]-CdiffO，j]|

+ |Cdiff[i，j— 1]-Cdiff[i，j]| + |Cdiff[i，j+l]-Cdiff[i，j]|

+ |Cdiff[i-l，j— l]-Cdiff[i，j]| + |Cdiff[i+l，j+l]-Cdiff[i，j]|

+ |Cdiff[i-l，j+l]-Cdiff[i，j]| + |Cdiff[i+l，j-l]-Cdiff[i，j]|)/8 ...(14)

式 (14)の色勾配の演算には、あらゆる方向の色境界部を同時に検知するため、隣接する全ての画素との差分を求める等方型の一次微分フィルタを用いた。このように複数の方向に等方的に微分をほどこすのは、すべての方向のエッジを検出するためである。なお、差分の差分を求める二次微分フィルタを用いてもよい。一次微分では立ち上がりあるいは立ち下がりのエッジを見つけ、二次微分では山あるいは谷を見つけること力 Sできる。

[0079] 3. G面生成 1

前述した方向判定で求めた方向指標 HV[i，j]に基づいて、変換前 RGB画像データの R画素 [i,j]あるいは B画素 [i,j]における、 G色成分の色情報 G[i，j]を求める。すなわち、 R画素あるいは B画素における欠落する G成分の色情報を補間処理により求める。 G面生成 1で求める補間方法は、斜線解像が可能な、すなわち斜線ジャギーの発生をおさえることが可能な補間方法である。ただし、色境界部での問題は生じる可能性のある補間方法である。この補間方法で求まる G補間値を glとする。

[0080] 方向指標 HV[i，j]=lのとき、すなわち縦方向に類似性が強いと判断されたとき、式 (15)を使用して gl[i,j]を求める。方向指標 HV[i,j]=-lのとき、すなわち横方向に類似性が強いと判断されたとき、式 (16)を使用して gl[i,j]を求める。方向指標 HV[i,j]=0のとき、すなわち縦横類似性が不明と判断されたとき、式 (17)を使用して gl[U]を求める。 gl[i,j]=(G[i,j-l]+G[i,j+l])/2+(2*Z[i,j]-Z[i,j-2]-Z[i,j+2])/4 ...(15)

gl[i,j]=(G[i-l,j]+G[i+l,j])/2+(2*Z[i,j]-Z[i-2,j]-Z[i+2,j])/4 ...(16)

gl[i,j]=(G[i,j-l]+G[i,j+l]+G[i-l,j]+G[i+l,j])/4

+(4*Z[i,j]-Z[i,j-2]-Z[iJ+2]-Z[i-2,j]-Z[i+2,j])/8 ...(17)

なお、 Zは R画素では Z=R、 B画素では Z=Bを表す。

[0081] 変換前 RGB画像データの G画素 [U]における gl[i,j]は、 G画素 [i,j]の値をそのまま使用する。

[0082] 4. G面生成 2

G面生成 1と同様に、前述した方向判定で求めた方向指標 HV[i，j]に基づいて、変換前 RGB画像データの R画素 [i,j]あるいは B画素 [i,j]における、 G色成分の色情報 G[i，j]を求める。すなわち、 R画素あるいは B画素における欠落する G成分の色情報を補間処理により求める。 G面生成 2で求める補間方法は、斜線ジャギー発生の問題はあるが、色境界部での問題は生じない補間方法である。この補間方法で求まった G補間値を g2とする。

[0083] 方向指標 HV[i，j]=lのとき、すなわち縦方向に類似性が強いと判断されたとき、式 (18)を使用して g2[i,j]を求める。方向指標 HV[i,j]=-lのとき、すなわち横方向に類似性が強いと判断されたとき、式 (19)を使用して g2[i,j]を求める。方向指標 HV[i,j]=0のとき、すなわち縦横類似性が不明と判断されたとき、式 (20)を使用して g2[i,j]を求める。 g2[i,j]=(G[i,j-l]+G[i,j+l])/2 ...(18)

g2[i,j]=(G[i-l,j]+G[i+l,j])/2 ...(19)

g2[i,j]=(G[i,j-l]+G[i,j+l]+G[i-l,j]+G[i+l,j])/4 ...(20)

[0084] 変換前 RGB画像データの G画素 [U]における g2[i,j]は、 G画素 [i,j]の値をそのまま使用する。

[0085] ここで、式 (18)—式 (20)の別解として、斜線ジャギーの抑制がある程度可能な以下の式 (21) 式 (23)のような工夫をカ卩えてもよい。 G色成分の補間において凹凸情報を G色成分自身で予測するので、色境界部での問題は式 (18) 式 (20)と同様、全く起こらなレ、。方向指標 HV[i，j]=lのとき、すなわち縦方向に類似性が強いと判断されたとき、式 (21)を使用して g2[ij]を求める。方向指標 HV[iJ]=_lのとき、すなわち横方向に類似性が強いと判断されたとき、式 (22)を使用して g2[i,j]を求める。方向指標 HV[i,j]=0 のとき、すなわち縦横類似性が不明と判断されたとき、式 (23)を使用して g2[i，j]を求める。

+(2*G[i-lJ]-G[i-lJ-2]-G[i-lJ+2])/8

+(2*G[i+l,j]-G[i+l,j-2]-G[i+l,j+2])/8 ...(21)

+(2*G[iJ-l]-G[i-2J-l]-G[i+2J-l])/8

+(2*G[i,j+l]-G[i-2,j+l]-G[i+2,j+l])/8 ...(22)

g2[iJ]=(G[i,j-l]+G[i,j+l]+G[i-l,j]+G[i+l,j])/4

+(2*G[i-lJ]-G[i-lJ-2]-G[i-lJ+2])/16

+(2*G[i+l,j]-G[i+l,j-2]-G[i+l,j+2])/16

+(2*G[iJ-l]-G [ト 2J-l]-G[i+2,卜 1])/16

+(2*G[i,j+l]-G[i-2,j+l]-G[i+2,j+l])/16 ...(23)

[0086] 5. G面合成

5-1.加重比率の決定

前述の通り 2通りの G面生成法を示したが、通常は G面生成 1で求められた斜線ジャギー対策が可能な G補間値 glを用い、問題の生じる色境界部では G面生成 2で求められた G補間値 g2を用いる。この切り替えの加重比率として前述の色勾配を用いる。画素 [i,j]における glの加重比率を 1- λ、 g2の加重比率を λとすると、 λの値は以下式 (24)—式 (26)により決定する。

if grad_Cdiff[i,j]≤thl λ [i,j]=0 ...(24)

else if grad_Cdiff[i,j]≤th2 λ [i,j]=grad_Cdiff[i,j]/th2 ...(25)

else ^ [i,j]=l ...(26)

[0087] これを模式図で示すと図 16のようになる。閾値 thl、 th2の値は、 256階調で表されているとき、 thl=0 4、 th2=6 10のような値を採るとよレ、。すなわち、色勾配の小さいところでは glを用い、色勾配の大きいところでは g2を用レ、、その中間的なところでは色勾配の大きさそのものを指標として加重合成してレ、る。場合によっては thl=th2として gl,g2の切り替えのみで中間部分を省略しても良い。

[0088] 5-2.加重合成処理

上記加重比率 λを用いて 2通りの G補間値 gl，g2を、式 (27)により加重合成する。

G[iJ]=(l- λ [i，j])*gl[i,j]+ λ [i，j]*g2[i，j] ...(27)

[0089] 6.表色系変換

式 (8) 式 (10)で求まった Cr,Cb面、あるいは、式 (11)により適切な色差補正の加えられた Cr,Cb面と、式 (27)で求まった G面の 3つの色情報から式 (28)式 (29)により RGB表色系への変換を行う。

R[i,j]=Cr[i,j]+G[i,j] ...(28)

[0090] このように色勾配の強度に応じて補間法を変えることにより、斜線ジャギー対策と色境界部での破綻の抑制を両立する画像生成、復元が可能となる。特に、第 4の実施の形態では、従来技術で問題となる色境界部での黒や白のブッブッ状のもの（ォーバーシュート）の発生を抑えることができる。従って、偽構造の少ない高品質な補間画像を提供できる。

[0091] 第 5の実施の形態

第 4の実施の形態では、一般的な補間処理の考え方を採用して G面生成 1を行つた。しかし、第 5の実施の形態では、第 4の実施の形態とは異なる別方式で G面生成 1を行う例を示す。第 5の実施の形態で行う G面生成 1は、基本的には、国際公開第 02/071761号に開示された方法に基づくものである。

[0092] 第 5の実施の形態の電子カメラ 1の構成は、第 4の実施の形態の図 1と同様であるのでその説明を省略する。また、画像処理部 11が行う画像データ変換処理の概要を示すフローチャートは、第 4の実施の形態の図 13のステップ S3の色勾配解析とステップ S4の G面生成 1の内容が異なるのみである。従って、第 5の実施の形態のフローチャートは省略し、図 13を参照することとする。

[0093] 図 17は、第 5の実施の形態における処理の関係を説明するためのブロック図である。第 4の実施の形態の図 14と異なるところは、斜め方向判定 201が追加され、 G面生成 1 (202)は縦横方向判定 102と斜め方向判定 201の結果に基づいて行うところである。また、色勾配解析 203の内容が第 4の実施の形態の色勾配解析 104と異なる。以下、この色勾配解析 203 (ステップ S3)と G面生成 1 (202) (ステップ S4)を中心に第 5の実施の形態を説明する。

[0094] 1. Cr,Cb色差面生成

Cr,Cb色差面生成は第 4の実施の形態と同様である。 Cr，Cb色差面生成では、第 4 の実施の形態と同様に、類似性の判定は縦横方向判定を使用する。

[0095] 2.色勾配解析

2-1.色指標の算出

Cr,Cb色差面生成で求まった色差情報 Cr[i，j],Cb[i,j]から、画素単位の色を評価するための色指標 Cdiff[i，j]を求める。ところで、第 4の実施の形態では、オーバーシユートの生じるあらゆる色境界を検出する必要があつたが、第 5の実施の形態では、後述する Y面生成時に起きる筋状の縦縞、横縞発生箇所を抽出し、その箇所には別方式で対処することを狙レ、としてレ、る。

[0096] これは、第 5の実施の形態では、基本的に、国際公開第 02/071761号に開示された方法に基づき G面生成 1を行うので、米国特許第 5,629,734号に比べ遥かに色境界部の問題を起こさせずに斜線ジャギー対策を可能とするためである。しかし、第 5の実施の形態の G面生成 1であっても、ある特定の色組み合わせに当てはまる境界部で、筋状の縦縞、横縞（色境界ジャギー）が発生する場合がある。これは、赤と青の色境界、緑とオレンジの色境界、ピンクと水色の色境界、白と黄色の色境界等で、筋状の縦縞、横縞 (色境界ジャギー）が発生する可能性がある。中でも反対色間の対で起こりやすいことが分かった。これは、方向性を考慮して RGB—定比率で合成することにより通常の色境界部や斜め線構造物では滑らかに連結しているはずの輝度面力特定の色の組み合わせ領域では、 RGB色の色情報が相互に干渉しあって、合成後の輝度成分に局所的なモアレ現象を生じさせているためであると推測される。

[0097] 従って、第 5の実施の形態の G面生成 1では、色境界ジャギーが、特に反対色間の色境界部で発生しやすぐ通常の色境界では発生しない事実から、反対色色境界部の検出能力を上げるため、色指標として反対色間色差を利用して識別対象箇所のコントラストを上げる工夫をする。すなわち、式 (30)を使用して色指標 CdiiffiJ]を求める。 Cdiff[i,j]=(|Cr[i,j]-Cb[i,j]/2|+|Cb[i,j]-Cr[i,j]/2|

+|Cr[i,j]/2+Cb[i,j]/2|)/3 ...(30)

[0098] 上記色指標の色差部分を展開すると、次式 (31)のようになる。 R (赤）と Cy (シアン）、 G (緑）と Mg (マゼンタ）、 B (青）と Ye (イェロー）は反対色（補色）の関係にある。

CdifKlR- (G+B)/2|+|G_(B+R)/2|+|B-(R+G)/2|)/3

=(|R-Cy|+|G-Mg|+|B-Ye|)/3 ...(31)

[0099] 2-2.色勾配の評価

第 4の実施の形態と同様に行う。

[0100] 3. G面生成 1

第 ₄の実施の形態とは異なり、斜線解像、すなわち斜線ジャギーの発生を抑えることが可能な別の方式による G成分生成を行う。これは、 G補間をするのではなぐ一旦別の表色系で輝度成分と色差成分を生成した後に RGB成分に変換する方式である。国際公開第 02/071761号に開示された方法に基づくものである。

[0101] 3-1.斜め方向判定

3-1-1.類似度の算出

変換前 RGB画像データの R画素あるいは B画素において、変換対象画素を含む局所領域内の画素情報を使用して、斜め方向の類似性を判定する。斜め方向とは、斜め 45度、斜め 135度の方向である。図 18で示すと、斜め 45度は [HV,DN]=[0, 1]の方向で、斜め 135度は [HV，DN]=[0,-1]の方向である。図 18については、さらに後述する。斜め 45度方向の類似度 C45DJ]は式 (32)により、斜め 135度方向の類似度 C135DJ]は式 (33)により求める。

C45[i,j]={(|G[i,j-l]-G[i-l,j]|+| G[i+l,j]-G[iJ+l]|)/2

+(|Z[i+l,j-l]-Z[i,j]|+|Z[i-l,j+l]-Z[i,j]|)/2}/2 ...(32)

C135[i,j]={(|G[i,j-l]-G[i+l,j]|+|G[i-l,j]-G[i,j+l]|)/2

+(|Z[i-l,j-l]-Z[i,j]|+|Z[i+l,j+l]-Z[i,j]|)/2}/2 ...(33)

[0102] 3-1-2.類似性判定

次に、類似性判定を行う。上記で求めた C45[i，j]、 C135[i，j]を使用して、変換対象画素の類似性の判定を行う。ここでは、 45度方向に類似性が強レ、か、 135度方向に類似性が強いか、 45度方向 135度方向の判定は不能かの判定を行う。具体的には、条件 (34)を満足するときは、 45度方向 135度方向の判定は不能として方向指標 DN[i,j]=0をセットする。 Th2は所定の閾値であり、縦横方向判定の Thlと同程度の値とする。例えば、 256階調のときは 10前後の値とする。 45度方向 135度方向の類似度間の差分が閾値 Th2以下であれば、 45度方向に類似性が強いの力 135度方向に類似性が強レ、のか判定できなレ、ことを意味する。

|C45[i,j]-C135[i,j]|≤Th2 ...(34)

[0103] 条件 (34)が満足しない場合、すなわち、 45度方向 135度方向どちらかの方向の類似性が判定できる場合は、条件 (35)を満足するか否力、を判定する。満足するときは、 45度方向に類似性が強いとして、方向指標 DN[i，j]=lをセットする。条件 (35)を満足しない場合は、 135度方向に類似性が強いとして方向指標 DN[iJ]=_lをセットする。なお、類似度 C45[i,j]、 C135DJ]は、値が小さいほど類似性が強いことを示している。

C45[i,j]<C135[i,j] ...(35)

[0104] 3-2.輝度 Y面生成

3-2-1.加重加算

第 5の実施の形態の輝度情報 Yの計算は、第 4の実施の形態の G面生成ではなぐベィァ面を直接加重加算して輝度 Y面を生成する方式である。すなわち、補間処理力 Sまだ行われていない変換前 RGB画像データの各色の色情報を使用して、輝度情報 Yを直接生成するものである。変換前 RGB画像データ（ベィァ面のデータ）の任意の色情報を A[x,y]で表すことにする。

[0105] 第 4の実施の形態と同様に求めた縦横方向指標 HV[i,j]および上記で求めた斜め方向指標 DN[i,j]に基づいて、変換前 RGB画像データの R画素あるいは B画素に対応する画素 [i，j]における輝度情報 γすなわち Y[i,j]を求める。この縦横方向指標

HV[i，j]および斜め方向指標 DN[i，j]の組み合わせにより、類似性の方向が図 18に示すように 9通りに分類できる。

[0106] 方向指標 [HV，DN]、すなわち類似性の方向に応じて、以下に示すように式 (37)— (45)の 1つを選択して Y[iJ]を計算する。変換対象画素 [U]が G画素のときは式 (36)を使用し、変換対象画素 [U]が G画素以外のときは以下の方向指標に応じた式 (37)— 00 (45)のいずれかの式を使用する。なお、図 19は、変換対象画素が G画素の場合において、使用する画素の位置およびその係数 (G位置の輝度生成係数パターン）を図示する図である。図 20は、変換対象画素が R画素あるいは B画素の場合において、方向指標に応じて使用する画素の位置およびその係数 (R、 B位置の輝度生成係数パターン）を図示する図である。

[0107] 方向指標 [ 0， 0]のとき式 (37)を使用する。

方向指標 [ 0， 1]のとき式 (38)を使用する。

方向指標 [ 0，-1]のとき式 (39)を使用する。

方向指標 [ 1， 0]のとき式 (40)を使用する。

方向指標 [ 1， 1]のとき式 (41)を使用する。

方向指標 [ 1，-1]のとき式 (42)を使用する。

方向指標 [- 1, 0]のとき式 (43)を使用する。

方向指標 [-1, 1]のとき式 (44)を使用する。

方向指標 [-1,-1]のとき式 (45)を使用する。

]=Y ...(36)

G

Y[i,j ]=Y hv ...(37)

RB

Y[i,j ]=Y 45 ...(38)

RB

Y[i,j ]=Y 135 ...(39)

RB

Y[i,j ]=Y v ...(40)

RB

Y[i,j ]=Y v45 ...(41)

RB

Y[i,j ]=Y vl35 ...(42)

RB

Y[i,j ]=Y h ...(43)

RB

Y[i,j ]=Y h45 ...(44)

RB

Y[i,j ]=Y hl35 ...(45)

[0109] ここで、上記 Y、 Y hv、 Y 45、 Y 135、 Y v、 Y v45、 Y vl35、 Y h、 Y h45、 Y

G RB RB RB RB RB RB RB RB I

hl35は、以下の式 (46) (55)で表される。

Y =ひ *A[i，j]

G

+( /4)*{A[i-l,j]+A[i+l,j]+A[i,j-l]+A[i,j+l]} ...(46) [f'!]V*(2/ £/ )=9^ 入

(G9)"" {[I+f'l-!]V*(2/21)+[I-f'l+!]V*(2/n)+

[I+ +!]V*(Z/2S)+ [卜 n_!]V*(2/Is)}*(Z/ £/ )+

{[f'T+!]V*2^A+[f'l-!]V*I^A}* ⁷⁰ +

a

[f'!]V*(2/ £/ )= 入

(29)"· {[ΐ+Π+!]ν s+[I-f'I— !]V*IS}*(2/

{[I+f'!]V*Zⁿ+[I-f'!]V*Iⁿ}* ⁷⁰ +

an

[f'!]V*(2/ S^, )=SeT^A A

(is " {[ΐ+Π— !]v ι+[τ— τ+!]ν*τι}*(2/ +

{[I+f'!]V*2ⁿ+[T-f'!]V*Iⁿ}* ¹⁰ +

an

[f'!]V*(S/ ^ )=S 八 A

(OS)-" {[τ+Π-!]ν*(2/2ΐ)+[τ-Γ'τ+!]ν*(2/ )+

[I+n+!]V*(2/S^s)+[I-n-!]V*(S/I^s)}*(2/ 3 )+

{[I+f'!]V*2ⁿ+[T-f'!]V*Iⁿ}* ¹⁰ +

[f'!]V*(S/ =^Λ A (6 )… {[I+f'I+!]V*2^s+ [卜 ·「'ΐ— !]V*I^S}*(2/ +

{[τ+Π]ν*(2/2η)+[ΐ-Π]ν*(ζ/τη)+

[f'l+!]V*(Z/Z^A) + [ΓΊ-!]ν*(Ζ/Ι^Λ)}* » +

<s&

[f'!]V*(2/ S^, )=9GI 入

(8 )… {[ΐ+Γΐ-!]ν*21+[Ι-Γ'Τ+!]ν*Ι¾*(Ζ/ £/ )+

{[τ+Π]ν*(2/2η)+[ΐ-Π]ν*(ζ/τη)+

[f'l+!]V*(Z/Z^A) + [ΓΊ-!]ν*(Ζ/Ι^Λ)}* ¹⁰ +

[f'!]V*(2/ )=S 入

(L y {[I+f'l-!]V*(2/21)+[I-f'l+!]V*(2/n)+

[I+n+!]V*(Z/2s)+ [卜 n_!]V*(2/Is)}*(Z/ £/ )+

{[i+f'!]v*(s/sn)+[i- π]ν*(2/τη)+

[·「'τ+!]ν*(2/2^Λ)+[·「'τ-!]ν*(2/τ^Λ)}* » +

an

[f'!]V*(S/ =^ΛΙί A

0ΪΪ800請 Zdf/ェ:) d εε io i請 OAV + a *{vl*A[i-l,j]+v2*A[i+l,j]}

+(i3 /2)*{tl*A[i+lJ—l]+t2*AD- l，j+l]} ...(54)

+ a *{vl*A[i-l,j]+v2*A[i+l,j']}

+( j3 /2)*{sl*A[i-l,j-l]+s2*A[i+l,j+l]} ...(55)

[0110] ただし、上記定数 (係数）には以下の制約条件 (56)が付く。また、これらは全て正または零の値をとる。

α + β =l,p+q=l,ul+u2=l,vl+v2=l,sl+s2=l,tl+t2=l ...(56)

一般的に好ましい定数の設定には以下のような例がある。

ul =u2,vl =v2,sl = s2,tl =t2

(α,β )=(1/3, 2/3), (4/9, 5/9),(5/ll, 6/11), (1/2, 1/2), (5/9,4/9),

(3/5, 2/5), (2/3, 1/3)

定数 α， j3は、輝度に占める R,G,B比率を決めるパラメータで、 Y= a *G+ β *(R+B)/2 の関ィ系にある。

[0111] 3-2-2.エッジ強調

上述のようにして求まった Y面は正の係数のみで構成されているので、エッジ強調処理を施して適正なレベルのコントラストに戻す。エッジ強調処理をする場合は、方向性を考慮しなくてもよい簡略な固定フィルタを通すだけでよい。エッジ抽出を行うためのバンドパスフィルタ一として、例えば式 (57)および図 21で示すラプラシアンを用いる。さらに、式 (58)の演算を行い最終的な輝度情報 Yを求める。式 (58)における定数 Kは正の値をとり、通常 1以上に設定する。

YH[i,j]={8*Y[i,j]-(Y[i-l,j]+Y[i+l,j]+Y[i,j-l]+Y[i,j+l]

+Y[i-l,j-l]+Y[i+l,j-l]+Y[i-lJ+l]+Y[i+lJ+l])}/16...(57)

Y[i,j']=Y[i,j]+K*YH[i,j] ...(58)

[0112] 3-2-3.表色系変換

第 4の実施の形態と同様に式 (8)—式 (10)で求まった Cr，Cb面、あるいは、式 (11)により適切な色差補正の加えられた Cr,Cb面と、式 (58)で求まった Y面の 3つの色情報から式 (59)により G成分への変換を行う。これにより求まる G成分を glとする。 gl[i,j]=Y[i,j]-( β /2)*Cr[i,j]-( β /2)*Cb[i,j] ...(59)

[0113] 4. G面生成 2

G面生成 2は、第 4の実施の形態と同様である。

[0114] 5. G面合成

G面合成は、第 4の実施の形態と同様である。

[0115] 6.表色系変換

表色系変換は、第 4の実施の形態と同様である。

[0116] このように色勾配の強度に応じて補間法を変えることにより、斜線ジャギー対策と色境界部での破綻の抑制を両立する画像生成、復元が可能となる。第 5の実施の形態では、特に従来技術で問題となる反対色間色境界に発生しやすい筋状の縦縞、横縞の色境界ジャギーの発生を抑えることができる。従って、偽構造の少ない高品質な補間画像を提供できる。

[0117] 上記第 1の実施の形態から第 5の実施の形態では、色差成分'輝度成分ともに色勾配を指標として適応的処理を加えることにより偽色 ·偽構造の少ない高品質な補間画像を提供できる。なかでも適応的偽色対策は、色モアレ除去や高 ISO感度における色斑ノイズ対策に強力に威力を発揮する。

[0118] なお、上記実施の形態では、べィァ配列の RGB表色系の例を説明した力必ずしもこの内容に限定する必要はない。他の配列のカラーフィルタであってもよい。

[0119] また、上記実施の形態では、類似性の判定に各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により類似性を判定するようにしてもよい。また、 G面生成や Y面生成の計算においても各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により輝度情報を生成するようにしてもよい。

[0120] また、上記第 4、 5の実施の形態では、色差補正でローパスフィルタ（図 16)、エッジ強調でバンドパスフィルタ（図 21)の例を示したが、必ずしもこれらの内容に限定する必要はない。他の構成のローパスフィルタやバンドパスフィルタであってもよレ、。

[0121] また、上記第 4、 5の実施の形態では、色勾配に基づき色境界部の輝度を担う色成分の適切な補間方法を選択あるいは加重加算する例を示したが、必ずしもこれらの内容に限定する必要はない。例えば、 6.表色系変換の手前に色差補正をするための色差補正ローパスフィルタ処理を挿入し、色勾配の解析結果に基づき、その色差補正ローパスフィルタのオンオフを行うようにしてもよい。これにより、色境界部以外の偽色が取れ、色境界部での色にじみの発生を防ぐことができる。また、色勾配の解析結果に基づき、色差補正ローパスフィルタの種類やサイズを選択するようにしてもよい。

[0122] また、上記実施の形態では、電子カメラの例で示した力必ずしもこの内容に限定する必要はない。動画を撮像するビデオカメラや、撮像素子つきパーソナルコンビュータゃ携帯電話などであってもよい。すなわち、撮像素子によりカラー画像データを生成するあらゆる装置に適用できる。

[0123] また、上記実施の形態では、単板式撮像素子の例で示したが、必ずしもこの内容に限定する必要はない。本発明は、 2板式の撮像素子で撮像した画像データにも適用すること力 Sできる。 RGBべィァ配列の単板式撮像素子で撮像した場合は、 1つの画素には 1つの色成分の情報を有し、 RGBべィァ配列の 2板式撮像素子で撮像した場合は、 1つの画素には 2つの色成分の情報を有する。

[0124] パーソナルコンピュータなどに適用する場合、上述した処理に関するプログラムは、 CD— ROMなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図 22はその様子を示す図である。パーソナルコンピュータ 400は、 CD— R OM404を介してプログラムの提供を受ける。また、パーソナルコンピュータ 400は通信回線 401との接続機能を有する。コンピュータ 402は上記プログラムを提供するサ一バーコンピュータであり、ハードディスク 403などの記録媒体にプログラムを格納する。通信回線 401は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ 402はハードディスク 403を使用してプログラムを読み出し、通信回線 401を介してプログラムをパーソナルコンピュータ 400に送信する。すなわち、プログラムをデータ信号として搬送波にのせて、通信回線 401を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンビユータ読み込み可能なコンピュータプログラム製品として供給できる。

[0125] 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。

日本国特許出願 2003年第 167923号（2003年 6月 12日出願）

Claims

請求の範囲

[1] 複数の色成分からなる表色系で表され、 1つの画素に 1つの色成分の色情報を有する複数の画素力、らなる第 1の画像を、複数の画素力、らなり各々の画素に少なくとも 1 つの共通する色成分の色情報を有する第 2の画像に変換する画像処理方法であつて、

前記第 1の画像の色情報から色差情報を生成する色差情報生成手順と、前記生成した色差情報に基づき、色の変化の度合レ、である色勾配を求める色勾配解析手順と、

前記求めた色勾配に基づき、前記第 1の画像を第 2の画像に変換する画像変換手順とを有する。

[2] 請求項 1に記載の画像処理方法にぉレ、て、

前記画像変換手順は、第 1の画像の色情報を用いて生成された色差情報に対して、前記色勾配に基づき補正処理を加える色差情報補正手順を備える。

[3] 請求項 2に記載の画像処理方法において、

前記色勾配解析手順は、第 1の画像の表色系を構成する色成分間の色差情報を利用して色指標を生成し、前記色指標の面内で色の変化の度合いを調べて前記色勾配を求める。

[4] 請求項 1に記載の画像処理方法において、

前記第 1の画像の複数の画素と前記第 2の画像の複数の画素は、同じ位置関係で対応し、

前記画像変換手順は、第 2の画像の処理対象画素に位置する第 1の画像の色情報の寄与度を前記色勾配の大きさに応じて変更することにより、前記第 1の画像から前記第 2の画像に変換する。

[5] 請求項 4に記載の画像処理方法において、

前記色勾配解析手順は、第 1の画像の表色系を構成する色成分とその反対色の色成分との間の色差情報を利用して色指標を生成し、前記色指標の面内で色の変化の度合レ、を調べて前記色勾配を求める。

[6] 画像処理方法であって、複数の色成分からなる表色系で表され、各画素に少なくとも 1つの色成分の色情報が欠落している第 1の画像から、各々の画素に少なくとも 2つの共通する色成分の色情報を有する画像への変換を経た第 2の画像を入力する画像入力手順と、前記第 2の画像の色情報から色差情報を生成する色差情報生成手順と、前記生成した色差情報に基づき、色の変化の度合レ、である色勾配を求める色勾配解析手順と、

前記求めた色勾配に基づき、前記第 2の画像の色差情報を補正する色差情報補正手順とを備える。

[7] 請求項 1、 6のいずれかに記載の画像処理方法において、

前記色勾配解析手順は、前記色差情報に基づき画素単位において色を評価するための色指標を生成し、生成した色指標に基づき色勾配を求める。

[8] 請求項 7に記載の画像処理方法において、

前記色勾配解析手順は、前記生成した色指標の面内で勾配を求める微分演算を行うことによって、前記色勾配を求める。

[9] 請求項 7に記載の画像処理方法において、

前記色差情報生成手順は、 1つの処理対象画素に対し複数種類の色差情報を生成し、

前記色勾配解析手順は、前記複数種類の色差情報を組み合わせて少なくとも 3種類の色成分間の色差情報を利用して色指標を生成する。

[10] 画像処理方法であって、

複数の色成分からなる表色系で表され、各画素に少なくとも 1つの色成分の色情報が欠落している第 1の画像から、各々の画素に少なくとも 3つの共通する色成分の色情報を有する画像への変換を経た第 2の画像を入力する画像入力手順と、前記第 2の画像を色空間変換して色度情報を生成する色度情報生成手順と、前記生成した色度情報に基づき、色の変化の度合レ、である色勾配を求める色勾配解析手順と、

前記求めた色勾配に基づき、前記第 2の画像に含まれてレ、る色差情報を補正する色差情報補正手順とを備える。

[11] 請求項 2、 6、 10のいずれかに記載の画像処理方法において、

前記色差情報補正手順は、前記色勾配が所定値よりも小さい画素に対して、所定の範囲の補正フィルタを色差面に掛け、前記色勾配が所定値よりも大きな画素に対しては補正処理を行わなレ、か前記所定の範囲より狭レ、範囲の補正フィルタを掛ける

[12] 請求項 11に記載の画像処理方法にぉレ、て、

前記色勾配解析手順は、前記所定の範囲の補正フィルタのサイズと色勾配を求める微分フィルタのサイズを一致させる。

[13] 請求項 1、 6、 10のいずれかに記載の画像処理方法において、

前記色勾配解析手順は、前記色勾配を求めるための微分演算を、複数の方向に対して等方的に算出して色勾配を求める。

[14] 請求項 11に記載の画像処理方法にぉレ、て、

前記色勾配解析手順は、前記色勾配を一次微分演算から算出する。

[15] 請求項 4に記載の画像処理方法にぉレ、て、

前記画像変換手順は、第 2の画像の輝度を担う色成分の色情報に対して、前記第 2の画像の処理対象画素に位置する第 1の画像の色情報の寄与度を前記色勾配の大きさに応じて変更する。

[16] 請求項 15に記載の画像処理方法において、

前記画像変換手順は、少なくとも、前記第 1の画像の複数の色成分の色情報を用いて前記第 2の画像の 1つの色成分の色情報を生成する第 1の方法と前記第 1の画像の 1つの色成分の色情報を用いて前記第 2の画像の 1つの色成分の色情報を生成する第 2の方法とを使用して、第 1の画像から第 2の画像に変換し、

前記色勾配解析手順は、前記求めた色勾配に基づき色境界があるかないかを判定し、

前記画像変換手順は、前記色勾配解析手順により前記色境界がないと判定された画素については前記第 1の方法を使用し、前記色境界があると判定された画素につレ、ては前記第 2の方法を使用する。

[17] 請求項 16に記載の画像処理方法において、前記画像変換手順は、前記第 1の方法において、前記第 1の画像の輝度を担う色成分の色情報を該色成分の欠落する画素において該色成分と同じ色成分の色情報と該色成分と異なる色成分の色情報を用いた補間処理により生成し、前記補間処理により生成した輝度を担う色成分の色情報を使用して、第 1の画像から第 2の画像に変換する。

[18] 請求項 17に記載の画像処理方法において、

前記画像変換手順は、前記第 1の方法において、前記第 1の画像の色成分の色情報を使用して前記第 1の画像の表色系とは異なる他の表色系の輝度を担う色成分の色情報をすベての画素において生成し、前記生成した他の表色系の輝度を担う色成分の色情報を使用して、第 1の画像から第 2の画像に変換する。

[19] 請求項 1に記載の画像処理方法にぉレ、て、

前記色差情報生成手順は、少なくとも 3通りの何れかの方法を用いて、前記色差情報を生成する。

[20] 請求項 19に記載の画像処理方法において、

前記色差情報生成手順は、前記第 1の画像の色情報を用いて、少なくとも 2方向に関する類似度を算出し、前記算出した類似度に基づき、各方向に対する類似性の強弱を少なくとも 3段階で判定し、前記判定結果に応じて前記少なくとも 3通りの何れの方法を用いるかを決定する。

[21] 複数の色成分からなる表色系で表され、 1つの画素に 1つの色成分の色情報を有する複数の画素からなる第 1の画像を、複数の画素からなり各々の画素に少なくとも 1 つの共通する色成分の色情報を有する第 2の画像に変換する画像処理方法であつて、

前記第 1の画像の色情報から第 2の画像の色差情報を生成する色差情報生成手順と、

前記生成した第 2の画像の色差情報に基づき、色の変化の度合レ、である色勾配を求める色勾配解析手順と、

前記求めた色勾配に基づき、前記第 2の画像の色差情報を補正する色差情報補正手順とを備え、

前記色差情報補正手順は、第 2の画像の輝度情報とは独立に第 2の画像の色差情報を補正する。

[22] 画像処理方法であって、

複数の色成分からなる表色系で表され、各画素に少なくとも 1つの色成分の色情報が欠落している第 1の画像から、各々の画素に少なくとも 2つの共通する色成分の色情報を有する画像への変換を経た第 2の画像を入力する画像入力手順と、

前記第 2の画像の色情報から色差情報を生成する色差情報生成手順と、前記生成した色差情報に基づき、色の変化の度合レ、である色勾配を求める色勾配解析手順と、

前記求めた色勾配に基づき、前記第 2の画像の輝度情報とは無関係に、前記第 2 の画像の色差情報を補正する色差情報補正手順とを備える。

[23] 画像処理方法であって、

複数の色成分からなる表色系で表され、各画素に少なくとも 1つの色成分の色情報が欠落している第 1の画像から、各々の画素に少なくとも 3つの共通する色成分の色情報を有する画像への変換を経た第 2の画像を入力する画像入力手順と、

前記第 2の画像を色空間変換して色度情報を生成する色度情報生成手順と、前記生成した色度情報に基づき、色の変化の度合レ、である色勾配を求める色勾配解析手順と、

前記求めた色勾配に基づき、前記第 2の画像に含まれている輝度情報とは無関係に、前記第 2の画像に含まれている色差情報を補正する色差情報補正手順とを備える。

[24] 画像処理方法であって、

複数の画素から成り、各々の画素に少なくとも 2種類の共通する色成分の色情報を有する画像を入力する画像入力手順と、

前記画像の色成分の色情報を、輝度情報と色差情報に変換する色変換手順と、前記色差情報に基づき、色の変化の度合いである色勾配を求める色勾配解析手順と、前記求めた色勾配に基づき、前記輝度情報とは無関係に、前記色差情報を補正する色差情報補正手順とを備える。

[25] 請求項 21から 24のいずれかに記載の画像処理方法において、

前記色差情報補正手順は、前記色勾配解析手順で求めた色勾配の調査範囲の大きさに応じて、色差補正に利用する色情報の範囲を決定する。

[26] 請求項 21、 22、 24のいずれかに記載の画像処理方法において、

前記色勾配解析手順は、前記色勾配を求める前に前記色差情報生成手順で生成した色差情報に対して補正処理を加える。

[27] 複数の色成分からなる表色系で表され、 1つの画素に 1つの色成分の色情報を有する複数の画素力、らなる第 1の画像を、複数の画素力、らなり各々の画素に少なくとも 1 つの共通する色成分の色情報を有する第 2の画像に変換する画像処理方法であつて、

前記第 1の画像の複数の色成分の色情報を用いて、前記第 1の画像の表色系とは異なる色成分の色情報を生成する第 1の色情報生成手順と、

前記第 1の画像の 1つの色成分の色情報を用いて、第 1の画像の表色系と同じ色成分の色情報を生成する第 2の色情生成手順と、

前記第 1の色情報生成手順により生成された色情報と前記第 2の色情報生成手順により生成された色情報とを、画素位置に応じて、切り替えて用いる力、もしくは、カロ重合成する色情報合成手順とからなる。

[28] 請求項 27に記載の画像処理方法において、

前記第 1の色情報生成手順は、前記第 1の画像の表色系とは異なる輝度成分の色情報を生成する。

[29] 請求項 28に記載の画像処理方法において、

前記第 1の色情報生成手順は、前記第 1の画像の表色系とは異なる色差成分の色情報を生成し、前記第 1の画像の表色系とは異なる輝度成分の色情報と合わせて、第 1の画像の表色系の中の輝度を代表する色成分の色情報に変換する。

[30] 請求項 27から 29のいずれかに記載の画像処理方法において、

前記第 2の色情報生成手順は、前記第 1の画像の表色系の中で輝度を代表する色成分の色情報を生成する。

[31] 請求項 28から 30のいずれかに記載の画像処理方法において、

前記第 1の色情報生成手順は、少なくとも 9通りの何れかの方法を用いて、前記第 1 の画像の表色系とは異なる輝度成分の色情報を生成する。

[32] 請求項 30に記載の画像処理方法において、

前記第 2の色情報生成手順は、少なくとも 3通りの何れかの方法を用いて、前記輝度を代表する色成分の色情報を生成する。

[33] 請求項 31に記載の画像処理方法にぉレ、て、

前記第 1の色情報生成手順は、前記第 1の画像の色情報を用いて、少なくとも 4方向に関する類似度を算出し、前記算出した類似度に基づき、各方向に対する類似性の強弱を少なくとも 9段階で判定し、前記判定結果に応じて前記少なくとも 9通りの何れの方法を用いるかを決定する。

[34] 請求項 32に記載の画像処理方法において、

前記第 2の色情報生成手順は、前記第 1の画像の色情報を用いて、少なくとも 2方向に関する類似度を算出し、前記算出した類似度に基づき、各方向に対する類似性の強弱を少なくとも 3段階で判定し、前記判定結果に応じて前記少なくとも 3通りの何れの方法を用いるの力を決定する。

[35] 請求項 27から 34のいずれかに記載の画像処理方法において、

前記第 1の画像の色情報から色差情報を生成する色差情報生成手順と、前記生成した色差情報に基づき、色の変化の度合レ、である色勾配を求める色勾配解析手順とをさらに有し、

前記色情報合成手順は、前記画素位置のそれぞれにおいて、前記求めた色勾配に基づき前記第 1の色情報生成手順により生成された色情報と前記第 2の色情報生成手順により生成された色情報とを、切り替えて用いる力、、もしくは、加重合成する。

[36] 請求項 1一 35のいずれか 1項に記載の画像処理方法の手順をコンピュータに実行させるための画像処理プログラム。

[37] 請求項 36の画像処理プログラムを記録したコンピュータ読みとり可能な記録媒体。

[38] 請求項 36の画像処理プログラムを搭載した画像処理装置。