JP5428628B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、デジタルカメラなどの撮影機器で画像データを生成する技術に関し、詳しく
は、光の三原色に相当するＲ（赤）、Ｇ（緑）、Ｂ（青）の微細なカラーフィルターがモ
ザイク状に配列されたカラーフィルターアレイを使用して、カラー画像データを生成する
技術に関する。

デジタル技術の進歩によって、今日では画像をデジタルデータ（画像データ）として取
り扱うことが一般的になっている。例えば、デジタルカメラなどの撮影機器を用いれば、
画像を撮影すると直ちに、画像データの形態で出力することが可能である。このような撮
影機器には、光の強さを電気信号に変換する小さな素子が集まって構成された言わば電子
的な撮像板が搭載されている。そして、光学系を用いて被写体の像を撮像板の上に結像さ
せ、個々の素子での光の強さを電気信号として検出することによって、画像データを生成
している。また、光学系に入射した光を、光の三原色に相当するＲ、Ｇ、Ｂの各成分に分
離した後に撮像板上に結像させて、各成分の光の強さに対応する電気信号を出力すれば、
カラー画像データを生成することも可能である。

ここで、光学系に入射した光を、Ｒ、Ｇ、Ｂの各成分に分離した状態で撮像板の上に結
像させる方法としては、最も単純には、入射光を分光プリズムによって色成分毎に分離し
た後に、撮像板に結像させてＲ、Ｇ、Ｂの成分毎に画像データを生成する方法が考えられ
る。もっとも、これでは３つの撮像板が必要になる。そこで、撮像板を構成する各素子に
Ｒ、Ｇ、Ｂの何れかの色成分を割り振っておき、１つの撮像板でＲ、Ｇ、Ｂの各成分を検
出する方式も広く用いられている。この方式では、Ｒ成分を検出する素子の前にはＲ成分
のみを透過する小さなカラーフィルターを設け、Ｇ成分を検出する素子の前にはＧ成分の
みを透過するカラーフィルターを、そしてＢ成分を検出する素子の前にはＢ成分のみを透
過するカラーフィルターを設けることで、１つの撮像板でＲ、Ｇ、Ｂの各成分の画像デー
タを同時に検出する。もちろん、１つの撮像板でＲ、Ｇ、Ｂの各成分を検出する方式では
、ある成分（例えばＲ成分）を検出した素子では他の成分（例えばＧ成分やＢ成分）を検
出することはできない。従って、得られる画像データは、Ｒ成分を検出した画素と、Ｇ成
分を検出した画素と、Ｂ成分を検出した画素とが組み合わさったモザイク状の画像データ
となるが、足らない色成分は周辺の画素から補間することによって、全ての画素について
Ｒ、Ｇ、Ｂの各成分が揃ったカラー画像データを生成することが可能である。

尚、Ｒ、Ｇ、Ｂの色成分に分離した光を３つの撮像板を用いて電気信号に変換すること
で、Ｒ、Ｇ、Ｂの各成分の画像データを生成する撮影機器は、「３板式」の撮影機器と呼
ばれることがある。また、１つの撮像板を用いてモザイク状の画像データを生成した後、
欠落した色成分を補間によって求める方式の撮影機器は、「単板式」の撮影機器と呼ばれ
ることがある。更に、モザイク状の画像データから欠落した色成分を補って、Ｒ、Ｇ、Ｂ
の各成分が揃ったカラー画像データを生成する処理は、「デモザイク処理」と呼ばれるこ
とがある。

もっとも、単板式の撮影機器では、欠落した色成分を求めるための補間演算が必要とな
り、その演算のための時間が必要になるだけでなく、演算時に生じる補間誤差によってい
わゆる偽色が発生することがある。そこで、偽色の発生を回避しながら、出来るだけ補間
演算に要する時間の増加は抑制することを目的として種々の技術が提案されている。例え
ば、欠落した色成分を求めた後、各画素についての色差成分（例えばＧ成分とＲ成分との
差）を求めておき、注目画素を含んだ所定数の画素列の中で、色差成分が最大の画素およ
び最小の画素はノイズとして省いた上で、注目画素の各色成分を再計算する技術が提案さ
れている（特許文献１参照）。あるいは、各画素について求めた色差成分にローパスフィ
ルターを施した後、ノイズ成分が除去された色成分に基づいて各色成分を再計算する技術
も提案されている（特許文献２参照）。

特開２００５−１６７９７４号公報 特開２００５−２６０９０８号公報

しかし、撮影機器の画質に対する消費者の要求も年々厳しくなっており、偽色の発生を
より一層抑制することの可能なデモザイク処理技術の開発が要請されている。また、消費
者の画質に対する要請に対応するべく、撮影機器で撮影する画像の画素数も年々増加して
おり、このことに対応して、より迅速に実行することの可能なデモザイク処理技術の開発
が要請されている。

この発明は、上述したような、従来のデモザイク処理に対する互いに相反する要請を、
同時に満足させるためになされたものであり、偽色の発生をより一層抑制可能でありなが
ら、迅速にデモザイク処理を実行可能な技術の提供を目的とする。

上述した課題の少なくとも一部を解決するために、本発明の画像処理装置は次の構成を
採用した。すなわち、光の三原色に対応するＲ、Ｇ、Ｂの色成分が画素毎に一成分ずつ設
定された画像データであるモザイク画像データを受け取って、該モザイク画像データに所
定の画像処理を施すことにより、各画素にＲ、Ｇ、Ｂの全ての色成分が設定されたカラー
画像データを生成する画像処理装置であって、前記モザイク画像データは、前記Ｒ成分の
画素と前記Ｇ成分の画素とが縦方向に交互に並んだ画素列と、前記Ｇ成分の画素と前記Ｂ
成分の画素とが縦方向に交互に並んだ画素列と、前記Ｒ成分の画素と前記Ｇ成分の画素と
が横方向に交互に並んだ画素行と、前記Ｇ成分の画素と前記Ｂ成分の画素とが横方向に交
互に並んだ画素行とが組み合わされて構成された画像データであり、前記モザイク画像デ
ータの前記画素列毎に、該画素列内の各画素での前記Ｇ成分と他の色成分とを補間によっ
て算出し、該Ｇ成分と該他の色成分との差を示す縦方向色差成分を、該画素列の各画素に
ついて算出する縦方向色差成分算出手段と、前記モザイク画像データの前記画素行毎に、
該画素行内の各画素での前記Ｇ成分と他の色成分とを補間によって算出し、該Ｇ成分と該
他の色成分との差を示す横方向色差成分を、該画素行の各画素について算出する横方向色
差成分算出手段と、前記モザイク画像データの中から前記Ｒ成分または前記Ｂ成分が設定
された画素を選択し、該選択された画素の前記縦方向色差成分の変化量と前記横方向色差
成分の変化量とを比較することにより、該画素でのエッジ方向を決定するエッジ方向決定
手段と、前記決定されたエッジ方向を前記選択された画素毎に記憶することにより、前記
Ｒ成分の各画素および前記Ｂ成分の各画素に該エッジ方向が設定されたエッジ方向マップ
を生成するエッジ方向マップ生成手段と、前記エッジ方向マップに設定された前記エッジ
方向を、周辺の画素の該エッジ方向と比較することにより、誤って決定された該エッジ方
向であるエッジノイズを検出して、該エッジノイズを除去するエッジノイズ除去手段と、
前記モザイク画像データの各画素について該画素に設定されていない色成分である欠落色
成分を、前記エッジノイズが除去された前記エッジ方向マップを参照しながら、該モザイ
ク画像データに設定されている前記色成分に基づいて補間する欠落色成分補間手段とを備
えることを要旨とする。

また、上記の画像処理装置に対応する本発明の画像処理方法は、光の三原色に対応する
Ｒ、Ｇ、Ｂの色成分が画素毎に一成分ずつ設定された画像データであるモザイク画像デー
タを受け取って、該モザイク画像データに所定の画像処理を施すことにより、各画素にＲ
、Ｇ、Ｂの全ての色成分が設定されたカラー画像データを生成する画像処理方法であって
、前記モザイク画像データは、前記Ｒ成分の画素と前記Ｇ成分の画素とが縦方向に交互に
並んだ画素列と、前記Ｇ成分の画素と前記Ｂ成分の画素とが縦方向に交互に並んだ画素列
と、前記Ｒ成分の画素と前記Ｇ成分の画素とが横方向に交互に並んだ画素行と、前記Ｇ成
分の画素と前記Ｂ成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構成さ
れた画像データを受け取る第１の工程と、前記モザイク画像データの前記画素列毎に、該
画素列内の各画素での前記Ｇ成分と他の色成分とを補間によって算出し、該Ｇ成分と該他
の色成分との差を示す縦方向色差成分を、該画素列の各画素について算出する第２の工程
と、前記モザイク画像データの前記画素行毎に、該画素行内の各画素での前記Ｇ成分と他
の色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す横方向色差成分
を、該画素行の各画素について算出する第３の工程と、前記モザイク画像データの中から
前記Ｒ成分または前記Ｂ成分が設定された画素を選択し、該選択された画素の前記縦方向
色差成分の変化量と前記横方向色差成分の変化量とを比較することにより、該画素でのエ
ッジ方向を決定する第４の工程と、前記決定されたエッジ方向を前記選択された画素毎に
記憶することにより、前記Ｒ成分の各画素および前記Ｂ成分の各画素に該エッジ方向が設
定されたエッジ方向マップを生成する第５の工程と、前記エッジ方向マップに設定された
前記エッジ方向を、周辺の画素の該エッジ方向と比較することにより、誤って決定された
該エッジ方向であるエッジノイズを検出して、該エッジノイズを除去する第６の工程と、
前記モザイク画像データの各画素について該画素に設定されていない色成分である欠落色
成分を、前記エッジノイズが除去された前記エッジ方向マップを参照しながら、該モザイ
ク画像データに設定されている前記色成分に基づいて補間する第７の工程とを備えること
を要旨とする。

かかる本発明の画像処理装置および画像処理方法においては、モザイク画像データを受
け取ると、該モザイク画像データを構成する画素列毎に縦方向色差成分を算出するととも
に、該モザイク画像データを構成する画素行毎に横方向色差成分を算出する。モザイク画
像データは、画素列としては、Ｒ成分の画素とＧ成分の画素とが縦方向に交互に並んだ画
素列と、Ｇ成分の画素とＢ成分の画素とが縦方向に交互に並んだ画素列とから構成されて
おり、画素行としては、Ｒ成分の画素とＧ成分の画素とが横方向に交互に並んだ画素行と
、Ｇ成分の画素とＢ成分の画素とが横方向に交互に並んだ画素行とから構成されている。
従って、縦方向色差成分としては、Ｇ成分とＲ成分との差を表す色差成分、あるいはＧ成
分とＢ成分との差を表す色差成分の何れかが、画素列毎に得られることになる。同様に、
横方向色差成分としては、Ｇ成分とＲ成分との差を表す色差成分、あるいはＧ成分とＢ成
分との差を表す色差成分の何れかが、画素行毎に得られることになる。次いで、モザイク
画像データ中からＲ成分またはＢ成分が設定された画素を選択し、選択した画素での縦方
向色差成分の変化量と横方向色差成分の変化量とを比較することによって、その画素での
エッジ方向を決定する。上述したように、縦方向色差成分および横方向色差成分は、何れ
もＧ成分とＲ成分との色差成分か、Ｇ成分とＢ成分との色差成分の何れかしか取り得ない
から、Ｒ成分が設定された画素であれば、縦方向色差成分も横方向色差成分もＧ成分とＲ
成分との色差成分となるため、縦横の色差成分を比較することによって、その画素でのエ
ッジの方向を決定することができる。同様に、Ｂ成分が設定された画素であれば、縦方向
色差成分も横方向色差成分もＧ成分とＢ成分との色差成分となるため、縦横の色差成分を
比較することでエッジの方向を決定することができる。こうして、Ｒ成分の画素およびＢ
成分の各画素についてエッジ方向を決定することにより、エッジ方向マップを生成する。
次いで、エッジ方向マップに設定されたエッジ方向を周辺のエッジ方向と比較して、エッ
ジノイズを除去することにより、正確なエッジ方向マップを生成する。モザイク画像デー
タの各画素について、その画素に設定されていない色成分である欠落色成分を補間する際
には、こうして正しく決定されたエッジの方向を参照しながら補間することで、モザイク
画像データに設定されている色成分から、欠落色成分を適切に補間することが可能となり
、適切なカラー画像データを生成することが可能となる。

かかる本発明の画像処理装置においては、次のようにしてエッジノイズを除去すること
としても良い。先ず、エッジ方向マップの中からエッジ方向が設定されている画素を１つ
選択して、エッジ方向がエッジノイズか否かを判断するための判断画素として設定する。
次いで、判断画素から縦方向へ２画素目の位置にある２つの画素でのエッジ方向が同じか
否か、または判断画素から横方向へ２画素目の位置にある２つの画素でのエッジ方向が同
じか否かを判断する。そして、少なくとも何れか一方の２つのエッジ方向が同じで、且つ
、そのエッジ方向が、判断画素のエッジ方向とは異なる場合に、判断画素のエッジ方向が
エッジノイズであると判断して、そのエッジ方向を異なるエッジ方向に変更することとし
てもよい。

エッジ方向は、同じエッジ方向が集まって発生することが通常である。従って、上述し
た方法を適用することにより、エッジ方向マップに含まれるエッジ方向を効果的に除去す
ることが可能となる。

あるいは、次のようにしてエッジノイズを除去するようにしても良い。先ず、エッジノ
イズか否かを判断するための判断画素を、エッジ方向マップの中から１つ選択する。次い
で、判断画素に斜め方向に隣接する４つの画素を選択し、それら４つの画素に設定されて
いるエッジ方向が全て同じであり、且つ、判断画素のエッジ方向とは異なっているか否か
を判断する。そして、このような判断画素が見つかった場合には、次の条件を満たさない
限り、その判断画素のエッジ方向はエッジノイズであると判断して、エッジ方向を変更す
る。すなわち、その判断画素から、縦方向へ所定画素数以内にある全ての画素、または横
方向へ所定画素数以内にある全ての画素の何れか一方を選択する。そして、選択した画素
に設定されている全てのエッジ方向が、判断画素のエッジ方向と同じでない限り、判断画
素のエッジ方向は、エッジノイズであると判断する。

判断画素と、これに斜め方向に隣接する画素とは、デモザイク画像データの色成分が異
なっている。従って、判断画素から斜め方向に見たときに、両側から異なるエッジ方向で
挟まれた状態となっていたとしても、直ちに判断画素のエッジ方向がエッジノイズである
と判断することはできない。しかし、判断画素に斜めに隣接する４つの画素のエッジ方向
が全て同じであり、且つ、そのエッジ方向が判断画素のエッジ方向とは異なっている場合
には、判断画素のエッジ方向がエッジノイズである可能性が高くなる。従って、このよう
な場合には、判断画素を中心として、縦方向または横方向に存在する同じ色成分の画素の
エッジ方向を参照する。すなわち、判断画素を中心として、縦方向へ所定画素数以内にあ
る全ての画素、または横方向へ所定画素数以内にある全ての画素の何れか一方を選択して
、これらの画素のエッジ方向を参照する。そして、縦方向または横方向の何れかで、判断
画素を含めて同じエッジ方向が連続していれば、判断画素のエッジ方向はエッジノイズで
はないが、そうでない場合は、エッジノイズであると判断すれば、適切にエッジノイズを
除去することができる。

また、エッジノイズを除去するに際しては、次のようにしてもよい。先ず、モザイク画
像データの同じ色成分間での変化量が、所定の第１の閾値よりも小さく、且つ、第２の閾
値（第１の閾値よりは小さい）よりも大きな領域を抽出する。そして、この領域内の画素
に設定されているエッジ方向に対して、エッジノイズを除去するようにしてもよい。

エッジノイズを除去する際には、正しく決定されているエッジ方向を、エッジノイズと
誤判定してしまう可能性も無いとは言いきれない。そして、こうした事態が発生すると、
エッジ方向マップに、却って新たなエッジノイズを導入する結果になってしまう。そこで
、エッジ方向マップの全領域に対してエッジノイズを除去するのではなく、真に必要のあ
る領域に対してだけ、エッジノイズを除去するようにすれば、新たなエッジノイズを導入
する可能性を減少させることができる。すなわち、偽色の発生し難い領域では、エッジノ
イズの存在が問題となることはなく、モザイク画像データが同じ色成分間で大きく変化す
る領域や、ほとんど変化しない領域では、偽色が発生し難いことが、経験上から分かって
いる。従って、モザイク画像データの同じ色成分間での変化量が、所定の第１の閾値より
も小さく、且つ、第２の閾値（第１の閾値よりは小さい）よりも大きな領域を抽出して、
この領域についてだけエッジノイズを除去することとすれば、エッジ方向マップに新たな
エッジノイズを導入する可能性を減少させることができる。また、エッジノイズを除去す
る領域が限定されるため、エッジ方向マップからエッジノイズを迅速に除去することが可
能となる。

また、エッジノイズが除去されたエッジ方向マップに対して、重ねて、エッジノイズを
除去するようにしても良い。

エッジノイズを除去する操作を１回行っただけでは、全てのエッジノイズが除去できる
とは限らない。エッジノイズの配置によっては、僅かなエッジノイズが残ってしまう可能
性もある。また、エッジノイズの特性によっては、１つの方法では、エッジノイズを除去
しきれない可能性もある。このような場合でも、エッジノイズを除去してエッジ方向マッ
プに対して、同じ方法あるは違う方法を用いて、重ねてエッジノイズを除去してやること
で、より確実にエッジノイズを除去することが可能となる。

また、本発明は、上述した画像処理方法を実現するためのプログラムをコンピューター
に読み込ませ、所定の機能を実行させることで、コンピューターを用いても実現すること
が可能である。従って、本発明は、次のようなプログラムとしての態様も含んでいる。す
なわち、上述した画像処理方法に対応する本発明のプログラムは、光の三原色に対応する
Ｒ、Ｇ、Ｂの色成分が画素毎に一成分ずつ設定された画像データであるモザイク画像デー
タを受け取って、該モザイク画像データに所定の画像処理を施すことにより、各画素にＲ
、Ｇ、Ｂの全ての色成分が設定されたカラー画像データを生成する方法を、コンピュータ
ーを用いて実現するためのプログラムであって、前記モザイク画像データは、前記Ｒ成分
の画素と前記Ｇ成分の画素とが縦方向に交互に並んだ画素列と、前記Ｇ成分の画素と前記
Ｂ成分の画素とが縦方向に交互に並んだ画素列と、前記Ｒ成分の画素と前記Ｇ成分の画素
とが横方向に交互に並んだ画素行と、前記Ｇ成分の画素と前記Ｂ成分の画素とが横方向に
交互に並んだ画素行とが組み合わされて構成された画像データを受け取る第１の機能と、
前記モザイク画像データの前記画素列毎に、該画素列内の各画素での前記Ｇ成分と他の色
成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す縦方向色差成分を、
該画素列の各画素について算出する第２の機能と、前記モザイク画像データの前記画素行
毎に、該画素行内の各画素での前記Ｇ成分と他の色成分とを補間によって算出し、該Ｇ成
分と該他の色成分との差を示す横方向色差成分を、該画素行の各画素について算出する第
３の機能と、前記モザイク画像データの中から前記Ｒ成分または前記Ｂ成分が設定された
画素を選択し、該選択された画素の前記縦方向色差成分の変化量と前記横方向色差成分の
変化量とを比較することにより、該画素でのエッジ方向を決定する第４の機能と、前記決
定されたエッジ方向を前記選択された画素毎に記憶することにより、前記Ｒ成分の各画素
および前記Ｂ成分の各画素に該エッジ方向が設定されたエッジ方向マップを生成する第５
の機能と、前記エッジ方向マップに設定された前記エッジ方向を、周辺の画素の該エッジ
方向と比較することにより、誤って決定された該エッジ方向であるエッジノイズを検出し
て、該エッジノイズを除去する第６の機能と、前記モザイク画像データの各画素について
該画素に設定されていない色成分である欠落色成分を、前記エッジノイズが除去された前
記エッジ方向マップを参照しながら、該モザイク画像データに設定されている前記色成分
に基づいて補間する第７の機能とを実現させることを要旨とする。

かかる本発明のプログラムをコンピューターに読み込ませて、上記の各種機能を実現さ
せることにより、モザイク画像データの欠落色成分を適切に補間して、偽色の発生を回避
しながら、迅速にカラー画像データを生成することが可能となる。

本実施例の画像処理装置３０を搭載したデジタルカメラ１００の構成を示す説明図である。 カラーフィルターアレイ２２および撮像板２４の構成を概念的に示した説明図である。 本実施例の画像処理装置３０がＲＡＷ画像データからカラー画像データを生成するために実行するカラー画像データ生成処理の流れを示すフローチャートである。 ＲＡＷ画像データを色差成分のデータに変換する様子を概念的に示した説明図である。 ＲＡＷ画像データから色差成分を求めるための算出式を示した説明図である。 色差成分に混入したノイズを除去するために用いられるローパスフィルターを例示した説明図である。 本実施例の画像処理装置３０内で行われるエッジ方向マップ生成処理の流れを示したフローチャートである。 上下方向の色差成分ＣＤｖから上下方向への変化量Ｖｖを算出する様子を例示した説明図である。 水平方向の色差成分ＣＤｈから水平方向への変化量Ｖｈを算出する様子を例示した説明図である。 エッジ方向を判断するために判断画素を選択したときの周囲の状態を示した説明図である。 Ｇ画素でのエッジ方向を判断可能とするための方法を示した説明図である。 色差成分の変化量を算出する他の方法を例示した説明図である。 エッジノイズ除去処理の流れを示すフローチャートである。 ノイズ除去処理の中で孤立ノイズを除去する処理の流れを示したフローチャートである。 孤立ノイズ除去処理において、判断画素のエッジ方向ｄが孤立ノイズか否かを判断する様子をまとめた説明図である。 エッジ方向マップ中の孤立ノイズが除去される様子を例示した説明図である。 クラスターノイズ除去処理の流れを示したフローチャートである。 判断画素がクラスターノイズか否かを判断する様子を概念的に示した説明図である。 非Ｇ画素でＧ成分を補間する処理の流れを示すフローチャートである。 非Ｇ画素でＧ成分を算出する処理を模式的に示した説明図である。 非Ｇ画素補間処理の流れを示すフローチャートである。 Ｇ画素補間処理の流れを示すフローチャートである。 Ｇ画素で周囲の画素のエッジ方向からエッジ方向を推定する方法を示した説明図である。 第１の変形例のエッジノイズ除去処理の流れを示すフローチャートである。 第１の変形例において偽色領域か否かを判断する処理の流れを示したフローチャートである。 判断画素の位置に急なエッジが存在するか否かをＲＡＷ画像データに基づいて判断する方法を例示した説明図である。 判断画素のある位置が、十分に平滑な領域内であるか否かをＲＡＷ画像データに基づいて判断する方法を例示した説明図である。 第２の変形例において偽色領域マップのノイズを除去する様子を例示した説明図である。 第３の変形例のエッジノイズ除去処理の流れを示すフローチャートである。 ブロックノイズ除去処理の流れを示すフローチャートである。 偽色領域マップを参照して、判断画素の左右方向の偽色領域が続いているか否かを判断する様子を示した説明図である。 判断画素のエッジ方向ｄがブロックノイズか否かを判断する基準を例示した説明図である。

以下では、上述した本願発明の内容を明確にするために、次のような順序に従って実施
例を説明する。
Ａ．装置構成：
Ｂ．カラー画像データ生成処理の概要：
Ｃ．エッジ方向マップ生成処理：
Ｄ．エッジノイズ除去処理：
Ｄ−１．孤立ノイズ（isolated noise）除去処理：
Ｄ−２．クラスターノイズ（small cluster noise）除去処理：
Ｅ．Ｇ成分補間処理：
Ｆ．非Ｇ画素補間処理：
Ｇ．Ｇ画素補間処理：
Ｈ．変形例：
Ｈ−１．第１の変形例：
Ｈ−２．第２の変形例：
Ｈ−３．第３の変形例：

Ａ．装置構成：
図１は、本実施例の画像処理装置３０を搭載したデジタルカメラ１００の構成を示す説
明図である。図示されるように、デジタルカメラ１００は、複数のレンズ群から構成され
る光学系１０と、光学系１０によって結像された被写体の像を電気信号に変換する撮像部
２０と、撮像部２０で得られた電気信号を受け取って所定の画像処理を施すことにより、
カラー画像データを生成する画像処理装置３０などから構成されている。

撮像部２０には、光の強さを電気信号に変換する微細な撮像素子が二次元的に配列され
て構成された撮像板２４が搭載されており、撮像板２４の手前側には、Ｒ（赤）、Ｇ（緑
）、Ｂ（青）の微細なカラーフィルターがモザイク状に配列されたカラーフィルターアレ
イ２２が設けられている。カラーフィルターアレイ２２を構成するＲ、Ｇ、Ｂのカラーフ
ィルターの配置については後述するが、ＲのカラーフィルターではＲ色の光を主に透過し
、ＧのカラーフィルターではＧ色の光を主に透過し、ＢのカラーフィルターではＢ色の光
を主に透過するため、撮像板２４では、Ｒ、Ｇ、Ｂのカラーフィルターの配置に従って、
Ｒの光の強さに対応する部分と、Ｇの光の強さに対応する部分と、Ｂの光の強さに対応す
る部分とが、モザイク状に組み合わされた画像データが得られることになる。

デジタルカメラ１００に搭載された画像処理装置３０は、このようなモザイク状の画像
データを撮像部２０から受け取って、各画素にＲ成分、Ｇ成分、Ｂ成分が設定されたカラ
ー画像データを生成する処理を行う。図示されているように、本実施例の画像処理装置３
０は、ＣＰＵや、ＲＯＭ、ＲＡＭ、データの入出力を行うＩ／Ｆなどが、バスを介して互
いにデータをやり取り可能に接続されて構成されており、カラー画像データを生成する処
理は、ＲＯＭに記憶されているプログラムに従ってＣＰＵが所定の動作を行うことによっ
て実現されている。また、こうして得られたカラー画像データは、外部出力端子４０を介
して外部機器に出力したり、あるいは外部記録媒体５０に出力することも可能となってい
る。

尚、撮像板２４で得られるようなＲ、Ｇ、Ｂの各成分がモザイク状に組み合わされた画
像データは、画像処理装置３０が、各画素にＲ、Ｇ、Ｂの各成分が設定されたカラー画像
データを生成するための元になる画像データであることから、撮像板２４で得られるモザ
イク状の画像データは「ＲＡＷ画像データ」と呼ばれることがある。

図２は、カラーフィルターアレイ２２および撮像板２４の構成を概念的に示した説明図
である。前述したように撮像板２４は、光の強さに応じた電気信号を出力する微細な撮像
素子が、二次元的に配置されて構成されている。図２では、微細な撮像素子が格子状に配
置されている場合を表しており、撮像板２４を格子状に分割する小さなマス目の１つ１つ
は、撮像素子を概念的に表したものである。

カラーフィルターアレイ２２は、撮像板２４を構成する各撮像素子の位置に、Ｒのカラ
ーフィルター、Ｇのカラーフィルター、Ｂのカラーフィルターの何れかが設定された構成
となっている。図２では、Ｒのカラーフィルターには粗い斜線を施して表示し、Ｂのカラ
ーフィルターには細かい斜線を施して表示してある。また、斜線を施していない部分は、
Ｇのカラーフィルターが設定されていることを示している。これらＲ、Ｇ、Ｂのカラーフ
ィルターの配置は、先ずＧのフィルターを、互いが斜めの位置となるように（すなわち、
チェッカーフラッグ状となるように）配置する。この結果、カラーフィルターアレイ２２
の半分の位置にはＧのフィルターが配置されることになる。次いで、残りの半分の位置に
、ＲのフィルターおよびＢのフィルターを、それぞれ同数ずつ均等に配置する。このよう
にして得られた図２に示す配置のカラーフィルターは、「ベイヤー型カラーフィルター」
と呼ばれている。

前述したように、ＧのカラーフィルターはＧ色の光のみを透し、Ｒのカラーフィルター
はＲ色の光のみを、ＢのカラーフィルターはＢ色の光のみを透すから、撮像板２４の手前
側にベイヤー型のカラーフィルターアレイ２２を設けると、図２に示すように、撮像板２
４ではモザイク状の画像データが生成されることになる。もちろん、このような形式の画
像データは、通常の画像データと同じように取り扱うことはできず、そのままでは画像を
表示することができない。そこで、画像処理装置３０は、このような画像データ（ＲＡＷ
画像データ）を受け取って、画素毎にＲ、Ｇ、Ｂの各成分が設定された通常のカラー画像
データを生成する処理を行う。

Ｂ．カラー画像データ生成処理の概要：
図３は、本実施例の画像処理装置３０が、ＲＡＷ画像データからカラー画像データを生
成するために実行するカラー画像データ生成処理の流れを示すフローチャートである。尚
、かかる処理は、本実施例では画像処理装置３０に搭載されたＣＰＵが実行するものとし
て説明するが、もちろん、シグナルプロセッサーなどの専用のハードウェアを用いて実行
することとしてもよい。

カラー画像データ生成処理では、先ず始めに、元となるＲＡＷ画像データを、撮像板２
４から読み込む処理を行う（ステップＳ１００）。次いで、読み込んだＲＡＷ画像データ
を、色差成分のデータに変換する処理を行う（ステップＳ１０２）。これは次のような処
理である。

図４は、ＲＡＷ画像データを色差成分のデータに変換する様子を概念的に示した説明図
である。図の上段には、撮像板２４から読み込んだＲＡＷ画像データが概念的に示されて
いる。ベイヤー型のカラーフィルターによって得られたＲＡＷ画像データは、Ｒ成分、Ｇ
成分、Ｂ成分の画素がモザイク状に配置された画像データとなっているが、水平方向に注
目して観察すると、水平方向の画素列には、Ｇ画素（Ｇ成分が得られている画素）とＲ画
素（Ｒ成分が得られている画素）とが交互に現れる画素列か、若しくは、Ｇ画素とＢ画素
（Ｂ成分が得られている画素）とが交互に現れる画素列の何れかしか存在しない。また、
上下方向に注目して観察した場合も同様に、上下方向の画素列には、Ｇ画素とＲ画素とが
交互に現れる画素列か、Ｇ画素とＢ画素とが交互に現れる画素列しか存在しない。図４の
中段には、水平方向あるいは上下方向に着目して観察すると、ＲＡＷ画像データが、Ｇ画
素およびＲ画素から構成される画素列と、Ｇ画素およびＢ画素から構成される画素列とに
よって構成されている様子が示されている。

以上のような観察結果に基づいて、本実施例のカラー画像データ生成処理では先ず初め
に、Ｒ、Ｇ、Ｂの各成分から構成されるＲＡＷ画像データを、水平方向の画素列を構成す
る各色成分の差（水平方向の色差成分）を表すデータと、上下方向の画素列を構成する各
色成分の差（上下方向の色差成分）を表すデータとに変換する。例えば、Ｇ画素およびＲ
画素から構成される画素列であれば、Ｇ成分とＲ成分との色差成分に変換し、Ｇ画素およ
びＢ画素の画素列であれば、Ｇ成分とＢ成分との色差成分に変換する。尚、色差成分を求
めるための算出式については後述する。

図４の下段には、このようにして水平方向あるいは上下方向の色差成分が得られる様子
が概念的に示されている。例えば、下段の左側の図には、ＲＡＷ画像データを上下方向に
観察することで、上下方向の色差成分ＣＤｖが得られる様子が示されている。図中に斜線
を付した画素列は、Ｇ画素およびＢ画素からなる画素列であるから、その画素列で得られ
る色差成分ＣＤｖは、Ｇ成分とＢ成分との差を表す色差成分となる。また、その他の画素
列は、Ｇ画素およびＲ画素の画素列であるから、その画素列で得られる色差成分ＣＤｖは
、Ｇ成分とＲ成分との差を表す色差成分となる。水平方向についても全く同様なことが成
立する。すなわち、ＲＡＷ画像データを水平方向に観察すれば分かるように、斜線を付し
て示した画素列からは、Ｇ成分とＢ成分との差を表す色差成分ＣＤｈが得られ、斜線を付
さない画素列からは、Ｇ成分とＲ成分との差を表す色差成分ＣＤｈを得ることができる。

図５は、ＲＡＷ画像データから色差成分を求めるための算出式を示した説明図である。
図５（ａ）には、上下方向の色差成分ＣＤｖを求めるための算出式が示されており、図５
（ｂ）には水平方向の色差成分ＣＤｈを求めるための算出式が示されている。尚、図中に
示した階調値ｚは、撮像板２４で得られたＲＡＷ画像データの階調値を表している。また
、階調値ｚ（ｒ，ｓ）は、その階調値が、画像中に取った原点の位置から下方向に向かっ
てｒ番目、右方向に向かってｓ番目にある画素位置での階調値であることを示している（
図４の上段を参照のこと）。

先ず初めに、図５（ａ）を参照しながら、上下方向の色差成分ＣＤｖを求める算出式に
ついて説明する。色差成分ＣＤｖを求めようとしている画素が、Ｇ成分が得られている画
素（Ｇ画素）である場合には、図５（ａ）の上式に示されるように、先ず、上下の画素で
得られた階調値の平均値を求め（一点鎖線で囲って示した第２項）、次いで、求めようと
している画素で得られたＧ成分から（破線で囲って示した第１項）、平均値の値を減算す
ることによって、上下方向の色差成分ＣＤｖを算出する。すなわち、ここではＧ画素での
色差成分を求める場合について考えているから、色差成分を求めようとしている画素での
階調値ｚ（ｒ，ｓ）は、当然ながらＧ成分である。また、第２項に現れる階調値ｚ（ｒ−
１，ｓ）は、この画素に隣接する上側の画素で得られたＲＡＷ画像データの階調値であり
、階調値ｚ（ｒ＋１，ｓ）は下側の隣接する画素で得られたＲＡＷ画像データの階調値で
ある。そして、図４を用いて説明したように、Ｇ画素の上下の画素はＲ画素またはＢ画素
の何れの場合もあり得るが、上下に来る画素が互いに異なる色成分の画素となることはな
い。従って、図５（ａ）の上式に一点鎖線で囲って示した第２項は、上下の画素（すなわ
ち、Ｒ画素またはＧ画素）の階調値から算出したＧ画素でのＲ成分またはＢ成分を表して
いる。このことから、Ｇ成分が得られている画素（Ｇ画素）については、上下の画素がＲ
画素またはＢ画素の何れの場合でも、図５（ａ）の上式を適用することで、上下方向の色
差成分ＣＤｖを求めることが可能となる。

尚、同じ式を用いて算出しているが、上下の画素がＲ画素またはＢ画素の何れであるか
によって、得られる色差成分ＣＤｖの中身は異なったものとなる点に注意しておく必要が
ある。すなわち、上下の画素がＲ画素である場合には、得られた上下方向の色差成分ＣＤ
ｖは、Ｇ成分とＲ成分との差を表す色差成分となり、上下の画素がＢ画素である場合には
、Ｇ成分とＢ成分との差を表す色差成分となる。

Ｇ画素以外の画素（すなわち、Ｒ画素またはＧ画素）で、上下方向の色差成分ＣＤｖを
求める場合も、ほぼ同様にして求めることができる。例えば、色差成分ＣＤｖを求めよう
としている画素がＲ画素であったとすると、図４を用いて説明したように上下の画素はＧ
画素となるから、上下の画素の階調値の平均値は、色差成分ＣＤｖを求めようとしている
着目画素でのＧ成分を表していると考えることができる。そこで、求めたＧ成分の値から
、着目画素の階調値（ここではＲ成分）を減算してやれば、色差成分ＣＤｖを求めること
ができる。着目画素がＢ画素である場合についても全く同様なことが成立する。結局、Ｇ
画素以外の画素については、図５（ａ）の下式に示したように、右辺に破線で囲った第１
項から、一点鎖線で囲った第２項を減算することで、上下方向の色差成分ＣＤｖを求める
ことができる。

尚、Ｇ画素以外の画素について上下方向の色差成分ＣＤｖを求める場合も、その画素が
Ｒ画素またはＢ画素の何れであるかに拘わらず同じ式を用いて算出するが、その画素がＲ
画素またはＢ画素の何れであるかによって、得られる色差成分ＣＤｖの中身が異なる点に
注意しておく必要がある。すなわち、その画素がＲ画素である場合には、Ｇ成分とＲ成分
との差を表す色差成分ＣＤｖとなり、その画素がＢ画素である場合には、Ｇ成分とＢ成分
との差を表す色差成分ＣＤｖとなる。

また、本実施例のカラー画像データ生成処理では、このように中身の異なる２種類の色
差成分ＣＤｖを用いた高度な処理をしているにも拘わらず、実際の計算式は全く同じ式を
使用することができる。このため、２種類の色差成分ＣＤｖを同時に扱っているにも拘わ
らず単純な処理を行った場合と同じ程度に簡素な処理となり、迅速に実行することができ
る。もちろん、実際の中身は高度な処理を行っているため、後述するように、偽色を発生
させることなく、適切にデモザイク処理を行うことが可能となっている。

以上、上下方向の色差成分ＣＤｖを求める場合について説明したが、水平方向の色差成
分ＣＤｈについても同様にして求めることができる。以下、図５（ｂ）を参照しながら簡
単に説明すると、先ず、Ｇ画素での水平方向の色差成分ＣＤｈを求める場合には、上式に
示したように、破線で囲って示した第１項から、一点鎖線で囲った第２項を減算すること
によって、水平方向の色差成分ＣＤｈを求めることができる。ここで、階調値ｚ（ｒ，ｓ
）は、色差成分を求めようとしている着目画素で得られたＲＡＷ画像データの階調値（す
なわち、Ｇ成分）である。また、階調値ｚ（ｒ，ｓ−１）は着目画素の左隣の画素での階
調値であり、階調値ｚ（ｒ，ｓ＋１）は着目画素の右隣の画素での階調値である。着目画
素の左右の画素は、Ｒ画素またはＢ画素の何れの場合もあり得るが、左右の画素が異なる
色成分の画素となることはない。

Ｇ画素以外の画素（すなわち、Ｒ画素またはＧ画素）で、水平方向の色差成分ＣＤｈを
求める場合は、着目画素の左右の画素がＧ画素となり、着目画素がＲ画素またはＢ画素の
何れかとなる。従って、図５（ｂ）の下式に示すように、破線で囲った第１項（左右の画
素の平均値）から、一点鎖線で囲った第２項（着目画素の階調値）を減算することによっ
て、水平方向の色差成分ＣＤｈを求めることができる。

更に、水平方向の色差成分ＣＤｈを求める場合も、左右の画素がＲ画素またはＢ画素の
何れであるか、あるいはその画素がＲ画素またはＢ画素の何れであるかに拘わらず、同じ
式を用いて色差成分ＣＤｈを算出している。しかし、得られる色差成分ＣＤｖの中身は、
Ｇ成分とＲ成分との差を表している場合と、Ｇ成分とＢ成分との差を表している場合とが
存在している。このように、水平方向の色差成分ＣＤｈについても、中身の異なる２種類
の色差成分ＣＤｈを取り扱っているにも拘わらず、実際の計算式は全く同じ式を使用する
ことが可能であり、単純な処理と同じ程度に簡素な処理となり、迅速に実行可能である。

更に加えて、図５に示すように、上下方向の色差成分ＣＤｖと水平方向の色差成分ＣＤ
ｈとについても、互いに極めて良く似た計算式を用いて求めることが可能である。その結
果、方向の異なる２種類の色差成分（すなわち色差成分ＣＤｖおよび色差成分ＣＤｈ）を
算出する処理も、処理内容を共通化することができ、簡素で迅速に実行可能な処理を実現
することが可能となっている。

図３に示したステップＳ１０２では、以上のようにして、撮像板２４で得られたＲＡＷ
画像データを、上下方向の色差成分ＣＤｖおよび水平方向の色差成分ＣＤｈに変換する処
理を行う。尚、必ずしも必須の処理ではないが、得られた色差成分に混入しているノイズ
を除去するために、上下方向の色差成分ＣＤｖおよび水平方向の色差成分ＣＤｈに、ロー
パスフィルターを作用させておくことが望ましい。後述するように、本実施例のカラー画
像データ生成処理では、画像中に含まれるエッジの方向を、色差成分を用いて検出してお
り、ローパスフィルターを作用させることはエッジを鈍らせてエッジの検出精度を低下さ
せることになるため、本来であれば望ましいことではない。しかし本実施例では、後述す
る方法によって極めて精度良くエッジ方向を検出することが可能であるため、多少、エッ
ジが鈍っても検出精度はほとんど低下することはなく、むしろ、ノイズが除去されること
によって、エッジの方向を安定して検出することが可能となっている。

図６は、色差成分に混入したノイズを除去するために用いられるローパスフィルターを
例示した説明図である。図６（ａ）には、上下方向の色差成分ＣＤｖおよび水平方向の色
差成分ＣＤｈのそれぞれについて、ローパスフィルターが示されている。また、理解の便
宜のために、図６（ｂ）には、水平方向の色差成分ＣＤｈにローパスフィルターを作用さ
せる様子が例示されている。ローパスフィルターを作用させようとしている画素（着目画
素）は、図６（ｂ）中では斜線を付して示されている。本実施例のローパスフィルターで
は、着目画素の左右２画素ずつの色差成分と、着目画素の色差成分とを加算する。この時
、着目画素の色差成分については４画素分の重みを付けて、全体で加算する色差成分が８
画素分となるように調整している。加算した色差成分が８画素分であれば、加算値を下位
ビット側に３ビットシフトさせるだけで、加算値を８で割った１画素分の色差成分を得る
ことが可能であり、ローパスフィルターを作用させる処理を迅速に実行することができる
。

尚、上下方向の色差成分ＣＤｖ、および水平方向の色差成分ＣＤｈは、前述したように
、Ｇ成分とＲ成分との差を表す場合と、Ｇ成分とＢ成分との差を表す場合とが存在するが
、ローパスフィルターを作用させる処理は、こうした違いを全く考慮することなく実行す
ることが可能である。このため、本実施例のカラー画像データ生成処理は、実際には高度
な処理を行っているにも拘わらず、極めて簡素で迅速に実行可能な処理となっている。

図３に示した本実施例のカラー画像データ生成処理では、以上のようにして、上下方向
の色差成分ＣＤｖおよび水平方向の色差成分ＣＤｈを求めたら（図３のステップＳ１０２
）、今度は、これら色差成分のデータを用いてエッジ方向マップを生成する処理（エッジ
方向マップ生成処理）を開始する（ステップＳ１０４）。エッジ方向マップとは、画像中
のエッジが、上下あるいは左右の何れの方向に走っているのか表したマップである。エッ
ジの方向は、全ての画素に設定しておいても良いが、本実施例では、処理の迅速化を図る
ために、Ｇ画素以外の画素（Ｒ画素およびＢ画素）について、エッジの方向を設定するこ
とにする。

詳細には後述するが、本実施例のカラー画像データ生成処理では、エッジ方向マップを
参照しながら、ＲＡＷ画像データ中の欠落した色成分（例えば、Ｇ画素であればＲ成分お
よびＢ成分、Ｒ画素であればＧ成分およびＢ成分、Ｂ画素であればＧ成分およびＲ成分）
を補間する処理を行う。ここで、エッジ方向マップに設定されたエッジの方向にノイズが
含まれていたのでは、ＲＡＷ画像データ中の欠落した色成分を適切に補間することはでき
なくなる。そこで、エッジ方向マップを生成したら、欠落した色成分の補間を始める前に
、エッジ方向マップ内のノイズ（エッジノイズ）を除去する処理（エッジノイズ除去処理
）を行う（ステップＳ１０６）。エッジノイズ除去処理の詳細については後述する。

エッジ方向マップ内のエッジノイズを除去したら、続いて、Ｇ画素以外の画素（すなわ
ち、Ｒ画素およびＢ画素）について、Ｇ成分の階調値を補間によって決定する処理（Ｇ成
分補間処理）を行う（ステップＳ１０８）。Ｇ成分を補間する際には、エッジ方向マップ
を参照しながら、周囲の画素から補間することによって、適切な階調値を決定することが
可能である。エッジ方向マップを参照しながらＧ成分を補間するＧ成分補間処理の具体的
な処理内容については後述する。

続いて、Ｇ画素以外の画素で、最後の色成分を補間する処理（非Ｇ画素補間処理）を開
始する（ステップＳ１１０）。Ｇ画素以外の画素ということは、Ｒ画素またはＢ画素の何
れかであるが、何れの場合についても先のステップＳ１０８でＧ成分が求められているこ
とから、Ｒ画素であればＢ成分を補間し、Ｂ画素であればＲ成分を補間することになる。
この結果、Ｇ画素以外の画素については、Ｒ、Ｇ、Ｂの全ての色成分を得ることができる
。Ｇ画素以外の画素について、Ｇ成分を補間した後に、最後の色成分を補間する処理（非
Ｇ画素補間処理）の詳細については後述する。

以上のようにしてＧ画素以外の画素での補間を完了したら、今度はＧ画素で、ＲＡＷ画
像データに欠落している色成分（すなわち、Ｒ成分およびＢ成分）を補間する処理（Ｇ画
素補間処理）を行う（ステップＳ１１２）。Ｇ画素で欠落している色成分を補間する際も
、エッジ方向マップを参照することによって、適切な階調値を算出することができる。Ｇ
画素で欠落している各成分を決定するＧ画素補間処理の具体的な処理内容については後述
する。

以上のようにして、Ｇ画素以外の画素について欠落した成分を補間し（ステップＳ１０
８およびステップＳ１１０）、Ｇ画素について欠落した成分を補間したら（ステップＳ１
１２）、全ての画素についてＲ、Ｇ、Ｂの各成分が揃ったことになる。そこで、最終的に
得られたＲ、Ｇ、Ｂの各成分を、ＲＡＷ画像データから生成されたカラー画像データとし
て出力した後（ステップＳ１１４）、図３に示した本実施例のカラー画像データ生成処理
を終了する。

上述した本実施例のカラー画像データ生成処理では、上下方向および水平方向の色差成
分に基づいてエッジ方向を検出し、エッジ方向マップを生成する。このとき、上下方向の
色差成分ＣＤｖおよび水平方向の色差成分ＣＤｈの各々について、異なる２種類の色差成
分（Ｇ成分とＲ成分との差に対応する色差成分、およびＧ成分とＢ成分との差に対応する
色差成分）を用いてエッジ方向を検出することによって、精度良くエッジ方向マップを生
成する。更に、こうして求めたエッジ方向マップに対してノイズを除去する処理を施すこ
とにより、より一層、精度の高いエッジ方向マップを生成することが可能となっている。
そして、ＲＡＷ画像データに欠落した色成分を補間する際には、非常に精度の良いエッジ
方向マップを参照しながら補間することで、適切に補間することが可能となっている。し
かも、エッジ方向マップを生成する処理も、エッジ方向マップ内のエッジノイズを除去す
る処理も、欠落した色成分を補間する処理も、決して複雑な処理ではなく、迅速に実行可
能である。その結果、Ｒ、Ｇ、Ｂの各成分がモザイク状に組み合わされたＲＡＷ画像デー
タから、適切なカラー画像データを迅速に生成することが可能となっている。以下では、
こうしたことを実現するためにエッジ方向マップを生成する処理（エッジ方向マップ生成
処理）、エッジ方向マップ内のエッジノイズを除去する処理（エッジノイズ除去処理）、
Ｇ成分を補間する処理（Ｇ成分補間処理）、Ｇ画素以外の画素で欠落した最後の色成分を
補間する処理（非Ｇ画素補間処理）、およびＧ画素で欠落した色成分を補間する処理（Ｇ
画素補間処理）について説明する。

Ｃ．エッジ方向マップ生成処理：
図７は、本実施例の画像処理装置３０内で行われるエッジ方向マップ生成処理の流れを
示したフローチャートである。前述したように、かかる処理は、図３のカラー画像データ
生成処理の中で、画像処理装置３０によって実行される処理である。

エッジ方向マップを生成するに際しては、先ず始めにエッジの方向を判断しようとする
画素（判断画素）を１つ選択する（ステップＳ２００）。次いで、判断画素について、色
差成分の上下方向への変化量Ｖｖを算出する（ステップＳ２０２）。尚、上下方向への変
化量Ｖｖを算出するのであるから、色差成分は、当然ながら、上下方向の色差成分ＣＤｖ
を用いて算出する。

図８は、上下方向の色差成分ＣＤｖから上下方向への変化量Ｖｖを算出する様子を例示
した説明図である。図８（ａ）には、算出式が例示されており、図８（ｂ）には、例示さ
れた算出式を用いて、上下方向への変化量Ｖｖを算出する様子が概念的に示されている。
また、図８（ｂ）に示した斜線は、判断画素の位置を表している。上下方向への変化量Ｖ
ｖを算出する際には、先ず、判断画素とその上の画素との間で、色差成分ＣＤｖの差の二
乗値を算出する。また、判断画素とその下の画素との間でも、色差成分ＣＤｖの差の二乗
値を算出する。図８（ｂ）中に、斜線を付した判断画素と上の画素、あるいは下の画素と
の間に示された白抜きの矢印は、それぞれの画素の間で色差成分ＣＤｖの差の二乗値を算
出している様子を模式的に表したものである。

判断画素と上下の画素との間で、色差成分ＣＤｖの差の二乗値を求めたら、今度は、判
断画素の左隣の画素と、その上下の画素との間でも、同様にして色差成分ＣＤｖの差の二
乗値を算出する。更に、判断画素の右隣の画素についても同様にして、右隣の画素とその
上下の画素との間で、色差成分ＣＤｖの差の二乗値を算出する。図８（ｂ）には、このよ
うにして、上下に並んだ６組の画素から１つずつ、合計６つの二乗値が得られた様子が模
式的に示されている。そして、こうして得られた６つの二乗値を加算した値を、判断画素
についての上下方向への変化量Ｖｖとする。

以上のようにして上下方向への変化量Ｖｖを求めたら、今度は、色差成分の水平方向へ
の変化量Ｖｈを算出する（図７のステップＳ２０４）。水平方向への変化量Ｖｈも、上述
した上下方向への変化量Ｖｖと同様にして算出することができるが、上下方向への変化量
Ｖｖを算出することと対応して、当然ながら、算出に用いる色差成分は水平方向の色差成
分ＣＤｈとなる。

図９は、水平方向の色差成分ＣＤｈから水平方向への変化量Ｖｈを算出する様子を例示
した説明図である。図９（ａ）には、算出式が例示されており、図９（ｂ）には、例示さ
れた算出式を用いて、水平方向への変化量Ｖｈを算出する様子が概念的に示されている。
水平方向への変化量Ｖｈを算出する際には、図９（ｂ）に白抜きの矢印で示したように、
判断画素と左右の画素との間で、色差成分ＣＤｈの差の二乗値を算出する。また、判断画
素の上の画素とその左右の画素との間や、判断画素の下の画素とその左右の画素との間で
も、色差成分ＣＤｈの差の二乗値を算出する。そして、これら６つの二乗値を加算して、
判断画素についての水平方向への変化量Ｖｈとする。図９（ａ）には、このようにして色
差成分の水平方向の変化量Ｖｈを求めるための算出式が示されている。

以上のようにして、初めに選択した判断画素について、上下方向への変化量Ｖｖと水平
方向への変化量Ｖｈとが得られたら、これら変化量の大きさを比較する（図７のステップ
Ｓ２０６）。そして、水平方向への変化量Ｖｈの方が、上下方向への変化量Ｖｖよりも大
きかった場合は（ステップＳ２０６：ｙｅｓ）、その判断画素では上下方向にエッジが走
っているものと判断して、エッジ方向を示すエッジ方向ｄの値に「１」を設定する（ステ
ップＳ２０８）。逆に、上下方向への変化量Ｖｖの方が水平方向への変化量Ｖｈよりも大
きかった場合は（ステップＳ２０６：ｎｏ）、その判断画素では水平方向にエッジが走っ
ているものと判断して、エッジ方向を示すエッジ方向ｄの値に「３」を設定する（ステッ
プＳ２１０）。従って、エッジ方向ｄに「１」が設定されている画素では、エッジが上下
方向に走っており、エッジ方向ｄに「３」が設定されている画素では、エッジが水平方向
に走っていることになる。

尚、上下方向への変化量Ｖｖ（図８参照）あるいは水平方向への変化量Ｖｈ（図９参照
）を求める際に、色差成分の差の二乗値を算出しているのは、色差成分の差の符号を考慮
することなく、エッジ方向を判断するためである。従って、色差成分の差の二乗値の替わ
りに絶対値を算出し、隣接する画素間での絶対値を加算することによって、上下方向への
変化量Ｖｖおよび水平方向への変化量Ｖｈを求めることも可能である。もっとも、二乗値
の方が絶対値よりも、色差成分の差が強調されるため、エッジの方向をより精度良く検出
することが可能となる。

また、上下方向の変化量Ｖｖと水平方向への変化量Ｖｈとを比較する際には、若干の注
意が必要であり、これに伴って、図７に示すエッジ方向マップ生成処理にもバリエーショ
ンが存在している。以下では、この点について補足説明を行う。

図１０は、エッジ方向を判断するために判断画素を選択したときの周囲の状態を示した
説明図である。判断画素を１つ選択すると、その周囲の状態は、必ず図１０（ａ）〜図１
０（ｄ）の何れかの状態となっている。このうち、図１０（ａ）の場合について説明する
と、上下方向の変化量Ｖｖは、判断画素が位置する上下方向の画素列からは、Ｇ成分とＲ
成分との差を示す色差成分（以下では、ＣＤGRと表記する）に由来する二乗値が得られ、
その左右にある上下方向の画素列からは、Ｇ成分とＢ成分との差を示す色差成分（以下で
は、ＣＤGBと表記する）に由来する二乗値が得られるから、結局、上下方向の変化量Ｖｖ
は、色差成分ＣＤGRに由来する２つの二乗値と、色差成分ＣＤGBに由来する４つの二乗値
とを加算した値となっている。水平方向への変化量Ｖｈについても同様に、色差成分ＣＤ
GRに由来する２つの二乗値と、色差成分ＣＤGBに由来する４つの二乗値とを加算した値と
なっている。従って、上下方向の変化量Ｖｖと水平方向への変化量Ｖｈとを比較すること
で、エッジの方向を適切に判断することができる。

図１０（ｂ）の場合についても同様で、上下方向の変化量Ｖｖ、または水平方向への変
化量Ｖｈの何れも、色差成分ＣＤGBに由来する２つの二乗値と、色差成分ＣＤGRに由来す
る４つの二乗値とを加算した値となっている。このため、上下方向の変化量Ｖｖと水平方
向への変化量Ｖｈとを比較することで、エッジの方向を適切に判断することができる。

ところが、図１０（ｃ）あるいは図１０（ｄ）に示した場合は、こうしたことが成り立
たない。例えば、図１０（ｃ）についていえば、上下方向の変化量Ｖｖは、色差成分ＣＤ
GBに由来する２つの二乗値と、色差成分ＣＤGRに由来する４つの二乗値とを加算した値で
あるが、水平方向の変化量Ｖｈは、色差成分ＣＤGBに由来する４つの二乗値と、色差成分
ＣＤGRに由来する２つの二乗値とを加算した値となっており、上下方向の変化量Ｖｖと水
平方向の変化量Ｖｈとは単純には比較できない値となっている。図１０（ｄ）についても
事態は全く同様で、上下方向の変化量Ｖｖと水平方向の変化量Ｖｈとを単純に比較するこ
とはできない。

こうした事態に対処するためには、判断画素が存在する画素列での重みと、存在しない
画素列での重みとを異ならせて、色差成分の変化量を算出すればよい。例えば、図１１（
ａ）には、上下方向の変化量Ｖｖを求めるための算出式が例示されており、図１１（ｂ）
には、水平方向の変化量Ｖｈを求めるための算出式が例示されている。これらの算出式で
は、判断画素が存在する画素列での重みが、判断画素が存在しない画素列での重みの２倍
に設定されている。このような算出式を用いれば、図１０（ｃ）に示した画素や、図１０
（ｄ）に示した画素についても、上下方向の変化量Ｖｖと水平方向の変化量Ｖｈとを比較
して、エッジ方向を決定することが可能となる。尚、図１１に示した算出式では、判断画
素が存在する画素列での重みを、判断画素が存在しない画素列での重みの２倍に設定した
が、判断画素が存在しない画素列での重みを、判断画素が存在する画素列での重みの半分
にしても良い。あるいは、図１２に示すような算出式を用いて、上下方向の変化量Ｖｖと
水平方向の変化量Ｖｈとを算出することも可能である。

あるいは、より簡単に、図１０（ａ）の画素（Ｒ画素）、および図１０（ｂ）の画素（
Ｂ画素）についてのみ、エッジ方向を決定することとしても良い。図２を用いて前述した
ように、ベイヤー型カラーフィルターではＧ画素が半分を占めており、残りの半分をＲ画
素およびＢ画素が占めている。従って、Ｒ画素およびＢ画素についてのみエッジ方向を判
断することとすれば、判断すべき画素が半分になるため、エッジ方向マップを迅速に生成
することが可能となる。また、Ｇ画素でのエッジ方向が分からなくても、エッジ方向が分
かっている画素が、チェッカーフラッグ状の配置で存在しているため、補間方法を工夫す
ることで、画質に悪影響を与えることは回避することが可能である。

本実施例では、処理の迅速化を図るために、図１０（ａ）および図１０（ｂ）に示した
画素についてのみ、エッジ方向を決定する方法を採用している。従って、図７に示したエ
ッジ方向マップ生成処理のステップＳ２００では、Ｇ画素以外の画素（すなわちＲ画素ま
たはＢ画素）を判断画素として選択している。そして、選択した判断画素について、色差
成分の上下方向の変化量Ｖｖと、水平方向の変化量Ｖｈとを算出し（ステップＳ２０２，
Ｓ２０４）、両者を比較することによってエッジ方向を決定した後（ステップＳ２０６〜
Ｓ２１０）、全ての判断画素（すなわちＲ画素およびＢ画素）についてエッジ方向を決定
したか否かを判断する（ステップＳ２１２）。そして、未だ決定していない判断画素が残
っている場合は（ステップＳ２１２：ｎｏ）、未決定の画素の中から新たな判断画素を１
つ選択した後（ステップＳ２００）、続く上述した一連の処理を行う。こうした処理を繰
り返しているうちに、全ての判断画素についてエッジ方向を決定したと判断されたら（ス
テップＳ２１２：ｙｅｓ）、図７に示すエッジ方向マップ生成処理を終了する。

以上に説明したエッジ方向マップ生成処理では、ＲＡＷ画像データに含まれるエッジ方
向を、精度良く決定することが可能である。以下では、本実施例のエッジ方向マップ生成
処理において、正確なエッジ方向マップを生成可能な理由について説明する。

図２あるいは図４に示したように、ベイヤー型カラーフィルターによるＲＡＷ画像デー
タでは、Ｒ、Ｇ、Ｂの何れの色成分についても、飛び飛びの画素位置でしかデータが得ら
れていない。例えば、Ｇ画素では２画素に１つの割合でしかデータが得られておらず、Ｒ
画素やＢ画素に到っては４画素に１つの割合でしかデータが得られていない。従って、色
成分毎に階調値の変化からエッジを検出しようとしても、Ｒ、Ｇ、Ｂの何れの成分につい
ても、まばらにしかデータが得られていないため、精度良くエッジを検出することは困難
である。

そこで、Ｒ、Ｇ、Ｂの色成分をそのまま扱うのではなく、色成分の差を取り扱うことに
する。すなわち、Ｇ成分およびＲ成分が交互に得られている画素列については、ＲＡＷ画
像データを、Ｇ成分とＲ成分との差を表す色差成分のデータに変換する。また、Ｇ成分お
よびＢ成分が交互に得られている画素列については、ＲＡＷ画像データを、Ｇ成分とＢ成
分との差を表す色差成分のデータに変換する。図４の下段には、このようにしてＲＡＷ画
像データを、上下方向の色差成分ＣＤｖ、および水平方向の色差成分ＣＤｈに変換した様
子が示されている。尚、図４中で斜線が付されているのは、Ｇ成分とＢ成分との差を表す
色差成分が得られている画素列である。

こうして色差成分に変換してしまえば、少なくとも画素列の方向には、同じ色差成分の
データを連続して得ることができる。もっとも、前述したように、隣接する画素列で得ら
れた色差成分は、互いに意味が異なる色差成分であるため、隣接する画素列の間で色差成
分の値を比較しても意味はない。従って、意味の同じ色差成分を用いてエッジを検出しよ
うとすると（例えば、図４中で斜線を付したＧ成分とＢ成分との差を表す色差成分を用い
てエッジを検出しようとすると）、隣接する画素列を飛ばして、１つおきの画素列の色差
成分を用いなければならず、画素列にして５列前後に亘るような、規模の大きなエッジで
なければ検出することが困難である。

しかし、色差成分の変化量については、隣接する画素列の間で比較することが可能であ
る。例えば、画像中で明るさが急変する箇所では、Ｇ成分とＲ成分との差の値も、Ｇ成分
とＢ成分との差の値も、何れも大きく変化する。同様に、色が急変する箇所でも、Ｇ成分
とＲ成分との差、およびＧ成分とＢ成分との差の何れの値も大きく変化する。従って、色
差成分の変化量に着目すれば、意味の異なる色差成分から得られた変化量であっても同じ
ように取り扱うことが可能であり、隣接する画素列で得られた色差成分を用いてエッジを
検出することができる。そして、このように隣接する画素列の色差成分に基づいて検出す
ることができれば、規模の小さなエッジであっても精度良く検出することが可能となる。

本実施例のエッジ方向マップ生成処理は、以上のような考察に基づいて、精度良くエッ
ジ方向を検出することにより、正確なエッジ方向マップを生成可能としたものであって、
先ず、ベイヤー型カラーフィルターによるＲＡＷ画像データを、上下方向の色差成分ＣＤ
ｖおよび水平方向の色差成分ＣＤｈに変換する。こうして得られた色差成分のデータは、
図４の下段に示したように、Ｇ成分とＲ成分との差を表す色差成分ＣＤGRの画素列と、Ｇ
成分とＢ成分との差を表す色差成分ＣＤGBの画素列とが、交互に並んだデータとなってい
る。次いで、図８および図９、あるいは図１１を用いて色差成分の変化量を算出する。こ
うして算出した変化量は、互いに隣接する画素列の色差成分ではあるが、意味の異なる色
差成分から求めた変化量となっている。しかし上述したように、意味の異なる色差成分か
ら求めた値であっても、変化量は同じように取り扱ってエッジを検出することができる。
そして、隣接する画素列の色差成分に基づいてエッジを検出することで、規模の小さなエ
ッジであっても精度良く検出することができる。そして、こうして上下方向および水平方
向について求めた変化量を比較することにより、エッジの方向を精度良く検出することが
可能となるのである。

以上の説明からも明らかなように、本実施例のエッジ方向マップ生成処理では、上下方
向の変化量Ｖｖおよび水平方向の変化量Ｖｈを算出する際に、隣接する画素列の色差成分
に基づいて算出することが重要である。逆に言えば、上下方向の変化量Ｖｖおよび水平方
向の変化量Ｖｈを算出するために、どのような算出式を用いるかはそれほど重要なことで
はなく、図８、図９、あるいは図１１に例示した算出式の他にも種々の算出式を用いるこ
とが可能である。例えば、図１２に示すような算出式を用いて、上下方向の変化量Ｖｖと
水平方向の変化量Ｖｈとを算出することも可能である。

Ｄ．エッジノイズ除去処理：
後述するように、本実施例のカラー画像データ生成処理では、こうして生成したエッジ
方向マップを参照することによって、ＲＡＷ画像データの欠落成分を適切に補間すること
が可能となっている。もっとも、ノイズが混入したエッジ方向マップを参照したのでは、
良好な結果を得ることはできない。そこで、本実施例のカラー画像データ生成処理では、
エッジ方向マップを生成すると（図３のステップＳ１０４）、そのエッジ方向マップを参
照してＲＡＷ画像データの欠落成分を補間するに先立って、エッジ方向マップに含まれる
ノイズ（エッジノイズ）を除去する処理（エッジノイズ除去処理）を行う。

図１３は、エッジノイズ除去処理の流れを示すフローチャートである。図示されている
ように、エッジ方向マップ内のエッジノイズを除去する処理は、孤立ノイズを除去する処
理（ステップＳ３００）と、クラスターノイズを除去する処理（ステップＳ３３０）とか
ら構成されている。ここで、孤立ノイズとは、１画素だけ孤立して存在しているノイズや
、幅が１画素分しかない線状のノイズのことである。また、クラスターノイズとは、複数
の画素に亘って固まって発生しているが、孤立ノイズではないノイズのことである。例え
ば、幅が数画素分以上の線状のノイズは、クラスターノイズに分類される。

Ｄ−１．孤立ノイズ（isolated noise）除去処理：
図１４は、ノイズ除去処理の中で孤立ノイズを除去する処理の流れを示したフローチャ
ートである。孤立ノイズ除去処理（ステップＳ３００）を開始すると、先ず始めに、ノイ
ズか否かを判断する対象となる画素（判断画素）を１つ選択する（ステップＳ３０２）。
ここで前述したように、本実施例のエッジ方向マップ生成処理では、Ｒ画素およびＢ画素
についてのみエッジ方向ｄを決定していることから、そのエッジ方向ｄがノイズか否かの
判断対象となる判断画素としては、当然、Ｒ画素あるいはＢ画素が選択されることになる
。

次いで、判断画素について得られているエッジ方向ｄが「１」か否かを判断し（ステッ
プＳ３０４）、エッジ方向ｄが「１」であった場合には（ステップＳ３０４：ｙｅｓ）、
次のような判断を行う。先ず、判断画素の上下にある画素のエッジ方向ｄを参照して、そ
の判断画素が、エッジ方向ｄ＝「３」の画素に上下を挟まれて存在する画素か否かを判断
する（ステップＳ３０６）。フローチャートに示されたエッジ方向ｄ（ｒ−２，ｓ）は、
判断画素の２つ上の画素で得られたエッジ方向ｄを示しており、エッジ方向ｄ（ｒ＋２，
ｓ）は、判断画素の２つ下の画素で得られたエッジ方向ｄを示している。また、判断画素
の２つ上、または２つ下の画素のエッジ方向を参照するのは、本実施例では、Ｒ画素およ
びＢ画素についてのみエッジ方向ｄを決定している関係上、上下方向には１つ飛びの画素
でしか、エッジ方向ｄが得られていないためである。そして、エッジ方向ｄは「１」また
は「３」の何れかしか取り得ないから、エッジ方向ｄ（ｒ−２，ｓ）とエッジ方向ｄ（ｒ
＋２，ｓ）との加算値が「６」ということは、これらのエッジ方向ｄが何れも「３」であ
ることを意味している。従って、ステップＳ３０６において「ｙｅｓ」と判断された場合
は、判断画素のエッジ方向ｄを「３」に変更する（ステップＳ３１０）。すなわち、その
判断画素の直ぐ上で得られたエッジ方向ｄも、直ぐ下で得られたエッジ方向ｄも、何れも
「３」であるにも拘わらず、その判断画素のエッジ方向ｄだけが「１」となっているため
、これはエッジノイズと判断して、エッジ方向ｄを「１」から「３」に変更するのである
。

一方、ステップＳ３０６において「ｎｏ」と判断された場合は、今度は、判断画素の左
右にある画素のエッジ方向ｄを参照して、左右のエッジ方向ｄが何れも「３」であるか否
かを判断する。フローチャートに示されたエッジ方向ｄ（ｒ，ｓ−２）は、判断画素の２
つ左の画素で得られたエッジ方向ｄを示しており、エッジ方向ｄ（ｒ，ｓ＋２）は、判断
画素の２つ右の画素で得られたエッジ方向ｄを示している。また、判断画素の２つ右、ま
たは２つ左の画素のエッジ方向を参照するのは、Ｒ画素およびＢ画素についてのみエッジ
方向ｄを決定しているためである。そして、エッジ方向ｄ（ｒ，ｓ−２）とエッジ方向ｄ
（ｒ，ｓ＋２）との加算値が「６」か否かを判断して（ステップＳ３０８）、加算値が「
６」であれば（ステップＳ３０８：ｙｅｓ）、判断画素のエッジ方向ｄを「３」に変更す
る（ステップＳ３１０）。すなわち、その判断画素は、左右で得られているエッジ方向ｄ
が何れも「３」であるにも拘わらず、その判断画素のエッジ方向ｄだけが「１」となって
いるため、エッジノイズと判断して、判断画素のエッジ方向ｄを変更するのである。

判断画素のエッジ方向ｄが「１」では無いと判断された場合も（ステップＳ３０４：ｎ
ｏ）、同様な処理を行う。すなわち、この場合は、判断画素のエッジ方向ｄは「３」であ
るから、判断画素の上下で得られたエッジ方向ｄが何れも「１」ではないか（ステップＳ
３１２）、あるいは判断画素の左右で得られたエッジ方向ｄが何れも「１」ではないか（
ステップＳ３１４）を判断する。そして、上下のエッジ方向ｄが何れも「１」であった場
合（ステップＳ３１２：ｙｅｓ）、あるいは左右のエッジ方向ｄが何れも「１」であった
場合（ステップＳ３１４：ｙｅｓ）には、判断画素のエッジ方向ｄはノイズであると判断
して、エッジ方向ｄを「３」から「１」に変更する処理を行う（ステップＳ３１６）。

以上のようにして、判断画素のエッジ方向ｄがノイズか否かを判断し、ノイズと判断さ
れた場合には、エッジ方向ｄの値を変更したら（ステップＳ３１０、ステップＳ３１６）
、こうした処理を、全ての判断画素について行ったか否かを判断する（ステップＳ３１８
）。そして、未だ処理していない判断画素が残っている場合は（ステップＳ３１８：ｎｏ
）、先頭に戻って新たな判断画素を１つ選択した後（ステップＳ３０２）、その新たな判
断画素に対して、上述した続く一連の処理を行う。こうした処理を繰り返し、全ての判断
画素について処理を行ったと判断されたら（ステップＳ３１８：ｙｅｓ）、図１４に示す
孤立ノイズ除去処理を終了する。

図１５は、孤立ノイズ除去処理において、判断画素のエッジ方向ｄが孤立ノイズか否か
を判断する様子をまとめた説明図である。図中では、判断画素は斜線を付して示されてい
る。孤立ノイズ除去処理では、先ず、判断画素のエッジ方向ｄを取得し、次いで、上下で
得られたエッジ方向ｄ（図中で○印を付けた２つの画素のエッジ方向ｄ）、あるいは、左
右で得られたエッジ方向ｄ（図中で×印を付けた２つの画素のエッジ方向ｄ）を参照する
。そして、判断画素のエッジ方向ｄが、異なる値のエッジ方向ｄによって上下あるいは左
右を挟まれた状態となっているか否かを判断し、異なる値のエッジ方向ｄによって挟まれ
た状態となっている場合には、その判断画素のエッジ方向ｄは孤立ノイズであると判断す
る。

図１６は、エッジ方向マップ中の孤立ノイズが除去される様子を例示した説明図である
。図１６では、エッジ方向ｄが「１」の領域の中に、エッジ方向ｄが「３」の画素が、所
々に存在している場合を例示している。図中に「ａ」と表示したように、１画素だけエッ
ジ方向ｄが「３」となっている箇所や、図中に「ｂ」〜「ｆ」と表示した箇所のように、
エッジ方向ｄが「３」の画素が１画素分の幅で線状に連なっている箇所は、孤立ノイズと
判断されて、エッジ方向ｄが「１」に変更されることになる。そして、これらの孤立ノイ
ズを除去した後には、図中に「ｇ」、「ｈ」と表示した箇所のように、上下方向および左
右方向の何れについても、少なくとも２つ以上の画素で同じエッジ方向ｄが連続している
箇所にだけエッジ方向ｄ「３」が残り、原則として、孤立ノイズの無いエッジ方向マップ
を得ることができる。

尚、孤立ノイズ除去処理を行って得られたエッジ方向マップには、「原則として」孤立
ノイズが含まれないと表現したのは、次のような理由によるものである。図１６中の「ｆ
」と表示した箇所には、３つの画素からなる線状の孤立ノイズが存在しているが、この孤
立ノイズの中で、破線で囲った画素を最初に判断画素として選択した場合は、その画素に
ついてだけは孤立ノイズであることが検出できずに、エッジ方向ｄが「３」のまま残って
しまうためである。もっともこのような場合でも、もう一度、孤立ノイズ除去処理を行え
ば、このような場合も含めて完全に孤立ノイズを除去することが可能となる。

以上に説明したように、エッジ方向マップに対して孤立ノイズ除去処理を行うと、原則
として孤立ノイズは除去されて、後には、図１６中に「ｇ」または「ｈ」で例示したよう
に、同じエッジ方向ｄが集まった領域が残される。こうして残った領域を観察すると、四
隅の位置に同じエッジ方向ｄが設定されており、その中心にも１つだけエッジ方向ｄが含
まれる構造となっていることが分かる。説明の便宜上、このような５つのエッジ方向ｄか
ら構成されるこのような構造を、「クラスター」と呼ぶことにする。

図１６中の「ｇ」の領域にあるクラスターに着目すると、このクラスターは、四隅のエ
ッジ方向ｄは「３」であるにも拘わらず、中心のエッジ方向ｄは「１」となっている。す
なわち、中心のエッジ方向ｄが、周囲のエッジ方向ｄとは異なった状態となっており、従
って、中心のエッジ方向ｄは、ノイズである可能性がある。図１６中の「ｈ」についても
同様のことが当て嵌まる。「ｈ」の領域には３つのクラスターが存在するが、何れのクラ
スターについても、中心のエッジ方向ｄは周囲のエッジ方向ｄとは異なっており、従って
、中心にあるエッジ方向ｄはノイズである可能性がある。そこで、図１４に示した孤立ノ
イズ除去処理を終了して、図１３のエッジノイズ除去処理に復帰したら、続いて、クラス
ターの中心のエッジ方向ｄがノイズか否かを判断して、ノイズであれば除去する処理（ク
ラスターノイズ除去処理）を行う（図１３のステップＳ３３０）。尚、以下では、クラス
ターの中心にあるノイズを「クラスターノイズ」と呼ぶことにする。

Ｄ−２．クラスターノイズ（small cluster noise）除去処理：
図１７は、クラスターノイズ除去処理の流れを示したフローチャートである。クラスタ
ーノイズ除去処理を開始すると、先ず始めに、エッジ方向マップの中から１つの判断画素
を選択し（ステップＳ３３２）、その判断画素が、クラスターの中心にある画素か否かを
判断する（ステップＳ３３４）。前述したように「クラスター」は、ある画素を中心とし
て、その画素に対して斜めに隣接する四隅の画素に同じエッジ方向ｄが設定された５つの
画素から構成されている。従って、選択した判断画素がクラスターの中心にある画素であ
れば、斜めに隣接する四隅の画素に設定されているエッジ方向ｄは、全て同じ値となって
いるはずである。そこで、ステップＳ３３４では、判断画素に対して斜め方向に隣接する
四隅の画素のエッジ方向ｄを読み出して、それら４つのエッジ方向ｄが何れも同じ方向で
あれば、判断画素はクラスターの中心画素であると判断し（ステップＳ３３４：ｙｅｓ）
、逆に、４つのエッジ方向ｄの中の１つでも異なっていれば、クラスターの中心画素では
ないと判断する（ステップＳ３３４：ｎｏ）。

判断画素がクラスターの中心画素であった場合は（ステップＳ３３４：ｙｅｓ）、判断
画素に設定されているエッジ方向ｄが、四隅の画素のエッジ方向ｄと同じか否かを判断す
る（ステップＳ３３６）。そして、判断画素のエッジ方向ｄが、四隅の画素のエッジ方向
ｄとは異なっている場合（ステップＳ３３６：ｎｏ）、中心のエッジ方向ｄだけが四隅の
エッジ方向ｄと異なっていることになるため、判断画素のエッジ方向ｄがクラスターノイ
ズである可能性がある。そこで、次のようにして、判断画素のエッジ方向ｄがクラスター
ノイズか否かを判断する。

先ず、判断画素のエッジ方向ｄが「１」であるか否かを判断する（ステップＳ３３８）
。そして、クラスターの中心にある判断画素のエッジ方向ｄが「１」であった場合には（
ステップＳ３３８：ｙｅｓ）、判断画素の左右方向に２つずつ、合計で４つのエッジ方向
ｄを読み出して、それらを加算し（ステップＳ３４０）、加算値が「４」か否かを判断す
る（ステップＳ３４２）。そして、加算値が「４」であれば（ステップＳ３４２：ｙｅｓ
）、判断画素のエッジ方向ｄは、本当に「１」である（すなわち、クラスターノイズでは
ない）と判断するが、加算値が「４」で無かった場合（ステップＳ３４２：ｎｏ）、すな
わち、判断画素の左右２つずつのエッジ方向ｄの中に、「１」でないエッジ方向ｄが１つ
でも存在していた場合は、判断画素のエッジ方向ｄはクラスターノイズであると判断して
、エッジ方向ｄを「３」に変更する（ステップＳ３４４）。

図１８は、判断画素がクラスターノイズか否かを判断する様子を概念的に示した説明図
である。図中に斜線を付した画素は、判断画素を表している。また、図１８（ａ）は、判
断画素のエッジ方向ｄが「１」である場合を示しており、図１８（ｂ）は、判断画素のエ
ッジ方向ｄが「３」である場合を示している。図示されているように、判断画素に斜めに
隣接する四隅の画素のエッジ方向ｄは全て同じであるにも拘わらず、中心にある判断画素
のエッジ方向ｄが異なっている場合は、判断画素のエッジ方向ｄがクラスターノイズであ
る可能性がある。そこで、判断画素のエッジ方向ｄがクラスターノイズであるか否かを判
断する。以下、図１８（ａ）の場合について説明すると、判断画素のエッジ方向ｄが「１
」であるから、仮にこのエッジ方向ｄがクラスターノイズではないとすると、ここには左
右方向のエッジが存在する筈であり、左右方向の画素でも、エッジ方向ｄが「１」になっ
ている筈である。そこで、図１８（ａ）中で○印を付した４つの画素についてのエッジ方
向ｄを参照する。そして、図１８（ａ）に示されているように、これら４つの画素のエッ
ジ方向ｄが全て「１」である場合にだけ、判断画素のエッジ方向ｄは正しいエッジ方向で
あるが、それ以外の場合はクラスターノイズであると判断して、判断画素のエッジ方向ｄ
を「３」に変更してしまうのである。

図１７のクラスターノイズ除去処理で、判断画素のエッジ方向ｄがクラスターノイズの
可能性があると判断され（ステップＳ３３４：ｙｅｓ、ステップＳ３３６：ｎｏ）、且つ
、判断画素のエッジ方向ｄが「１」であると判断された場合は（ステップＳ３３８：ｙｅ
ｓ）、以上のようにして、そのエッジ方向ｄがクラスターノイズか否かを判断して、クラ
スターノイズを除去する処理を行う。

一方、判断画素のエッジ方向ｄがクラスターノイズの可能性があると判断されたものの
（ステップＳ３３４：ｙｅｓ、ステップＳ３３６：ｎｏ）、判断画素のエッジ方向ｄが「
１」ではないと判断された場合は（ステップＳ３３８：ｎｏ）、上下方向に２つずつ、合
計で４つのエッジ方向ｄを読み出して、それらを加算し（ステップＳ３４６）、加算値が
「１２」か否かを判断する（ステップＳ３４８）。そして、加算値が「１２」であれば（
ステップＳ３４８：ｙｅｓ）、判断画素のエッジ方向ｄは、本当に「３」である（すなわ
ち、クラスターノイズではない）と判断するが、加算値が「１２」でなかった場合には（
ステップＳ３４８：ｎｏ）、判断画素のエッジ方向ｄはクラスターノイズであると判断し
て、エッジ方向ｄを「１」に変更する（ステップＳ３５０）。図１８（ｂ）には、四隅の
画素のエッジ方向ｄが「１」であるにも拘わらず、クラスターの中心にある判断画素のエ
ッジ方向ｄが「３」である場合に、判断画素のエッジ方向ｄがクラスターノイズか否かを
判断する様子が示されている。すなわち、判断画素の上下方向の２つずつの画素（図１８
（ｂ）中で○印を付した４つの画素）でのエッジ方向ｄを参照して、これら４つの画素の
エッジ方向ｄが全て「３」であるのでない限り、判断画素のエッジ方向ｄはクラスターノ
イズであると判断して、判断画素のエッジ方向ｄを「１」に変更してしまうのである。

以上では、判断画素のエッジ方向ｄがクラスターノイズの可能性があると判断された場
合（すなわち、ステップＳ３３４：ｙｅｓ、且つ、ステップＳ３３６：ｎｏ）に、クラス
ターノイズか否かを判断して、クラスターノイズを除去する処理について説明した。これ
に対して、判断画素がクラスターの中心画素ではないと判断された場合（ステップＳ３３
４：ｎｏ）、あるいは、クラスターの中心画素であるが、四隅の画素とエッジ方向が同一
であると判断された場合（ステップＳ３３６：ｙｅｓ）は、判断画素のエッジ方向ｄがク
ラスターノイズである可能性はない。そこで、この場合は、クラスターノイズであるか否
かを判断する処理（ステップＳ３３８〜ステップＳ３５０）はスキップする。

こうして、処理の先頭で選択した判断画素について、上述した処理を終了したら、全て
の判断画素について、以上の処理を終了したか否かを判断し（ステップＳ３５２）、未処
理の判断画素が残っていると判断された場合は（ステップＳ３５２：ｎｏ）、先頭に戻っ
て新たな判断画素を選択した後（ステップＳ３３２）、上述した続く一連の処理を行う。
こうした操作を繰り返して、やがて、全ての判断画素についての処理が終了したと判断さ
れたら（ステップＳ３５２：ｙｅｓ）、図１７に示したクラスターノイズ除去処理を終了
した後、図１３のエッジノイズ除去処理を経由して、図３のカラー画像データ生成処理に
復帰する。

図７を用いて前述したように、本実施例のカラー画像データ生成処理では、色差成分の
変化量に着目することで、細かなエッジも精度良く検出することが可能であるが、反面、
上下方向の変化量Ｖｖと水平方向の変化量Ｖｈとを比較して、両者の違いが僅かであって
も、エッジ方向ｄを決定している。このため、明確なエッジの存在しないところでは、画
素間の色差成分の僅かな違いによって、上下方向の変化量Ｖｖと水平方向の変化量Ｖｈと
の大小関係が逆転することが考えられ、こうした部分では、孤立ノイズやクラスターノイ
ズが発生し易くなっていると考えられる。もっとも、こうした部分では、そもそも明確な
エッジが存在しないため、エッジ方向を誤判断したとしても、大きく画質を悪化させるこ
とはない。すなわち、エッジ方向マップに多少のエッジノイズが含まれていても、それほ
ど大きく画質が悪化することはない。しかし、ＲＡＷ画像データの欠落した色成分を適切
に補間するためには、ノイズの含まれていないエッジ方向マップを参照する方が望ましい
。そこで、図３に示した本実施例のカラー画像データ生成処理では、エッジ方向マップを
生成すると（ステップＳ１０４）、上述したエッジノイズ除去処理（ステップＳ１０６）
を行って、エッジ方向マップのエッジノイズを除去しておくのである。そして、エッジノ
イズのないエッジ方向マップが得られたら、このエッジ方向マップを参照しながら、以下
のようにしてＲＡＷ画像データの欠落した色成分を補間する処理を行う。

Ｅ．Ｇ成分補間処理：
図３に示されるように、本実施例のカラー画像データ生成処理では、エッジノイズ除去
処理を終了すると（ステップＳ１０６）、Ｇ画素ではない画素（Ｒ画素およびＢ画素）で
、Ｇ成分を補間する処理を開始する（ステップＳ１０８）。

図１９は、Ｒ画素およびＢ画素でＧ成分を補間する処理の流れを示すフローチャートで
ある。図示されているように、Ｇ成分補間処理を開始すると、先ず始めに、先に生成した
エッジ方向マップを参照することによって、補間しようとする画素（補間画素）でのエッ
ジ方向ｄを取得する（ステップＳ４００）。前述したように、本実施例ではエッジ方向ｄ
は、Ｒ画素およびＢ画素についてのみ決定しているが、ここでは非Ｇ画素（Ｒ画素および
Ｂ画素）について補間しようとしているのであるから、エッジ方向マップを参照すること
で必ずエッジ方向ｄを取得することができる。

次いで、取得したエッジ方向ｄの値が「１」であるか否かを判断する（ステップＳ４０
２）。そして、エッジ方向ｄが「１」であれば（ステップＳ４０２：ｙｅｓ）、補間画素
の上下の画素での色差成分から、補間画素での色差成分を補間によって推定する（ステッ
プＳ４０４）。逆に、エッジ方向ｄが「３」であれば（ステップＳ４０２：ｎｏ）、補間
画素の左右の画素での色差成分から、補間画素での色差成分を補間によって推定する（ス
テップＳ４０６）。続いて、補間画素で得られたＲＡＷ画像データを取得し（ステップＳ
４０８）、先に算出した補間画素での色差成分に、ＲＡＷ画像データを加算することによ
って、補間画素についてのＧ成分を算出する（ステップＳ４１０）。これら一連の処理に
ついて、補足して説明する。

図２０は、非Ｇ画素で、欠落しているＧ成分を算出する処理の流れを模式的に示した説
明図である。補間画素は非Ｇ画素であるから、Ｒ画素またはＢ画素の何れかとなる。Ｒ画
素であれば、周囲の画素の分布は図２０（ａ）に示した状態となっており、Ｂ画素であれ
ば、図２０（ｂ）に示した状態となっている。ここでは、Ｇ成分を補間する画素がＲ画素
であり、エッジ方向ｄは「１」であったものとして説明する。

エッジ方向ｄが「１」ということは、水平方向の色差成分の変化量Ｖｈの方が、上下方
向の色差成分の変化量Ｖｖよりも大きいということである。一般に、大きく変化している
状況下で補間するよりも、変化の少ない（定常状態により近い）状況下で補間した方が適
切な補間結果が得られるから、ここでも、変化量の少ない上下方向の色差成分を用いて、
Ｇ成分を算出することにする。すなわち、図２０（ａ）から明らかなように、非Ｇ画素で
は、上下方向の色差成分も水平方向の色差成分も、何れもＧ成分からＲ成分を減算した値
の色差成分が得られるため、何れの方向の色差成分を用いてもＧ成分を求めることができ
るのであるが、より適切なＧ成分を得るために、変化の少ない方の色差成分である上下方
向の色差成分に基づいて、補間画素のＧ成分を決定するのである。

上下方向の色差成分は、Ｇ成分からＲ成分を減算した値となっており、補間画素で得ら
れているＲＡＷ画像データはＲ成分である。従って、色差成分の値にＲＡＷ画像データの
値を加算することで、直ちに補間画素でのＧ成分を求めることができる。尚、Ｇ成分を算
出するための色差成分としては、エッジ方向を決定する際に、既に、図５の算出式を用い
て補間画素についての色差成分を算出しているため、この値を読み出して使用することが
できる。あるいは、図６に示したローパスフィルターを用いてノイズが除去された色差成
分が得られている場合には、この色差成分を用いてＧ成分を算出することが望ましい。

更には、補間画素での色差成分を直接読み出すのではなく、隣接する画素で得られた色
差成分から算出するようにしても良い。すなわち、ここでは上下方向の色差成分を用いる
こととしているから、補間画素の上下の画素について得られている上下方向の色差成分を
読み出して、これら色差成分の値から、補間画素での色差成分を算出するようにしても良
い。図１９に示したステップＳ４０４あるいはステップＳ４０６では、このようにして、
補間画素に隣接する画素から色差成分を算出する場合について示している。

以上のようにして補間画素でのＧ成分を求めたら、図１９に示したＧ成分補間処理を終
了して、図３のカラー画像データ生成処理に復帰する。カラー画像データ生成処理では、
Ｇ成分を補間したら、続いて、Ｇ画素以外の画素について残りの色成分を補間する処理（
非Ｇ画素補間処理）を開始する。

Ｆ．非Ｇ画素補間処理：
図２１は、非Ｇ画素補間処理の流れを示すフローチャートである。前述したように、か
かる処理では、Ｒ画素およびＢ画素でのＧ成分を補間した後に、残りの１つの色成分（す
なわち、Ｒ画素であればＢ成分、Ｂ画素であればＲ成分）の補間を行う。ここで、処理内
容の詳細な説明に入る前に、非Ｇ画素補間処理の基本的な考え方について簡単に説明して
おく。

上述したように非Ｇ画素補間処理では、Ｒ画素についてはＢ成分の補間を行い、Ｂ画素
についてはＲ成分の補間を行う。ここで、例えばＲ画素に着目すると、図２０（ａ）に示
したように、斜めに隣接する４つの画素はＢ画素であり、これらの画素ではＢ成分がＲＡ
Ｗ画像データとして得られている。同様に、Ｂ画素に着目すると、図２０（ｂ）に示した
ように、斜めに隣接する４つの画素はＲ画素であり、これらの画素ではＲ成分がＲＡＷ画
像データとして得られている。従って、最も単純には、これら斜めに隣接する４つの画素
のＲＡＷ画像データから補間することによって、求める色成分の階調値を決定することが
考えられる。

また、斜めに隣接する４つの画素で得られたＲＡＷ画像データから直接補間するのでは
なく、これら４つの画素での色差成分から補間画素での色差成分を求め、この色差成分に
基づいて、求める色成分を決定ことも可能である。Ｒ、Ｇ、Ｂのカラー画像データでは一
般に、Ｒ、Ｇ、Ｂの各成分間での差の値が、表現される色相に強く関係していることから
、求めようとする色成分を周囲の画素から直接補間したのでは、他の色成分との差の値が
微妙に狂って、いわゆる偽色が発生することがあり、こうしたことを考えると、周囲の画
素から色差成分を補間して、得られた色差成分に基づいて補間画素での色成分を決定する
方がより望ましい。例えば、図２０（ａ）に示したＲ画素であればＢ成分を求めようとし
ているのであるから、斜めに隣接する４つのＢ画素で、Ｇ成分とＢ成分との差を示す色差
成分ＣＤGBを求め、これら４つの色差成分ＣＤGBから補間画素での色差成分ＣＤGBを算出
する。そして、得られた色差成分ＣＤGBと、補間画素でのＧ成分とに基づいて、最後の色
成分であるＢ成分を求めることも可能である。

ここで、斜めに隣接する画素はＢ画素であるから、これらの画素に対して、図５の算出
式を適用して得られている色差成分は、上下方向の色差成分ＣＤｖも水平方向の色差成分
ＣＤｈも、Ｇ成分とＢ成分との差を示す色差成分ＣＤGBとなっている。従って、これらの
８つの色差成分ＣＤGBに基づいて、補間画素での色差成分ＣＤGBを算出することも可能で
ある。例えば、各画素での上下方向の色差成分ＣＤｖと水平方向の色差成分ＣＤｈとの平
均を取ることによって、各画素を代表する色差成分を求めた後、それら４つの画素（補間
画素に斜めに隣接する画素）を代表する色差成分から、補間画素での色差成分を求めるよ
うにしてもよい。あるいは、補間画素でのエッジ方向を検出して、エッジ方向に合致する
色差成分ＣＤGBのみに基づいて、補間画素での色差成分ＣＤGBを算出することも可能であ
る。もっとも、これらのように、上下方向の色差成分ＣＤｖおよび水平方向の色差成分Ｃ
Ｄｈを考慮しながら補間画素の色差成分を決定する方法は、処理が複雑となるため、補間
画素に斜めに隣接する各画素で得られたＧ成分とＢ成分とに基づいて算出した方が、色差
成分ＣＤGBを迅速に算出することが可能である。

図２１に示した本実施例の非Ｇ画素補間処理は、以上のような考え方に基づいて、Ｇ成
分を補間した後に、非Ｇ画素での最後の色成分を補間する処理を行う。以下、フローチャ
ートに従って、非Ｇ画素補間処理の具体的な処理内容について説明する。

非Ｇ画素補間処理を開始すると、先ず始めに、補間画素から見て斜めに隣接する４つの
画素での、Ｇ成分とＲＡＷ画像データとを取得する（ステップＳ４５０）。図２０（ａ）
あるいは図２０（ｂ）に示したように、補間画素がＲ画素であれば、斜めに隣接する画素
はＢ画素であるからＲＡＷ画像データはＢ成分であり、また、補間画素がＢ画素であれば
、斜めに隣接する画素はＲ画素であるからＲＡＷ画像データはＲ成分となる。

次いで、これら隣接する４つの画素での色差成分、すなわち、ＲＡＷ画像データからＧ
成分を減算した値を算出して、それらの平均を取ることによって、補間画素での色差成分
を算出する（ステップＳ４５２）。尚、本明細書中で色差成分というと、図５に示したよ
うに、通常は、Ｇ成分からＲ成分あるいはＢ成分を減算した値を用いているのに対して、
ステップＳ４５２では、色差成分の符号を変えて、ＲＡＷ画像データ（すなわちＲ成分あ
るいはＢ成分）からＧ成分を減算している。これは、後の計算で、符号を変える手間を省
くための、言わば計算の便宜によるものである。

こうして、補間画素での色差成分を算出したら、今度は、補間画素でのＧ成分を取得す
る（ステップＳ４５４）。補間画素は非Ｇ画素であるから、ＲＡＷ画像データはＧ成分で
はないが、先に図１９を用いて説明したＧ成分補間処理において、既にＧ成分が求められ
ている。

そこで、ステップＳ４５２で求めた補間画素での色差成分（ここでは、ＲＡＷ画像デー
タからＧ成分を減算した値）に、ステップＳ４５４で取得したＧ成分を加算することによ
って、補間画素についての最後の色差成分を算出することができる（ステップＳ４５６）
。

以上のようにして、非Ｇ画素での最後の色差成分が得られたら、図２１に示した非Ｇ画
素補間処理を終了して、図３のカラー画像データ生成処理に復帰する。図３に示したよう
に、カラー画像データ生成処理では、非Ｇ画素補間処理から復帰すると、Ｇ画素での欠落
成分を補間する処理（Ｇ画素補間処理）を開始する。

Ｇ．Ｇ画素補間処理：
図２２は、Ｇ画素補間処理の流れを示すフローチャートである。Ｇ画素補間処理を開始
すると、先ず始めに、補間画素のエッジ方向を取得する（ステップＳ５００）。エッジ方
向は、図７を用いて前述したエッジ方向マップ生成処理において予め決定されて、エッジ
方向マップに設定されている。尚、前述したようにエッジ方向は、全ての画素について決
定しておいても良いが、ここでは、処理の迅速化を図るために、非Ｇ画素（Ｒ画素および
Ｂ画素）についてのみエッジ方向を決定しており、Ｇ画素については、エッジ方向は決定
していない。しかし、図２に示したように、Ｇ画素は周囲を非Ｇ画素に囲まれており、非
Ｇ画素でのエッジ方向は求められているから、周囲に存在する画素のエッジ方向から、補
間しようとしているＧ画素でのエッジ方向を推定することができる。

図２３は、周囲の画素のエッジ方向から補間画素でのエッジ方向を推定する方法を示し
た説明図である。Ｇ画素補間処理は、Ｇ画素について欠落した色成分を補間する処理であ
るから、補間画素の周囲の画素の配置は、図２３（ａ）に示す配置、または図２３（ｂ）
に示す配置の何れかである。尚、図２３（ａ）および図２３（ｂ）では、補間画素に斜線
を付して表示している。ここでは、非Ｇ画素についてのみエッジ方向が決定されている場
合を想定しているから、補間画素の上下左右の４つの画素では、エッジ方向が設定されて
いることになる。

図２３（ｃ）あるいは図２３（ｄ）には、補間画素の周囲の４つの画素に、エッジ方向
ｄが設定されている様子が例示されている。例えば周囲の４つの画素に設定されているエ
ッジ方向ｄが、図２３（ｃ）に示した配列となっていた場合、補間画素の周囲ではエッジ
方向ｄが「３」の画素よりもエッジ方向ｄが「１」の画素の方が多いから、補間画素のエ
ッジ方向ｄは、「１」と推定することが適当である。また、周囲の画素のエッジ方向ｄが
図２３（ｄ）に示した配列であれば、エッジ方向ｄが「１」の画素よりもエッジ方向ｄが
「３」の画素の方が多いから、補間画素のエッジ方向ｄは「３」と推定することが適当で
ある。

従って、補間画素の周囲で、エッジ方向ｄが「１」の画素、およびエッジ方向ｄが「３
」の画素を数えて、画素数の多い方のエッジ方向ｄを、補間画素のエッジ方向ｄとすれば
よい。あるいは、画素数を数える代わりに、補間画素の上下左右の４つの画素に設定され
ているエッジ方向ｄの総和を求めてもよい。エッジ方向ｄが「１」の画素数と、エッジ方
向ｄが「３」の画素数とが同数ずつ存在する場合、エッジ方向ｄの総和値は「８」になる
から、総和値が「８」未満であれば、エッジ方向ｄが「１」の画素が多いものと判断して
、補間画素のエッジ方向ｄを「１」とすればよい。逆に、総和値が「８」を超過していれ
ば、エッジ方向ｄが「３」の画素が多いものと判断して、補間画素のエッジ方向ｄを「３
」すればよい。また、総和値が「８」である場合（エッジ方向ｄが「１」の画素およびエ
ッジ方向ｄが「３」の画素が同数存在する場合）は、補間画素のエッジ方向ｄは「１」あ
るいは「３」の何れかとしておけばよい。

以上に説明したように、図２２のステップＳ５００では、エッジ方向マップに全画素の
エッジ方向ｄが設定されている場合であれば、補間画素のエッジ方向ｄを読み出すことに
より、また、非Ｇ画素についてのみエッジ方向ｄが設定されている場合であれば、補間画
素の周囲にある画素のエッジ方向ｄを読み出すことによって、補間画素のエッジ方向ｄを
取得する。

以上のようにして、補間画素についてのエッジ方向ｄを取得したら、そのエッジ方向ｄ
が「１」であるか否かを判断する（ステップＳ５０２）。そして、エッジ方向ｄが「１」
であった場合は（ステップＳ５０２：ｙｅｓ）、補間画素ではエッジが上下方向に走って
いると判断されるため、補間画素の上下に隣接する画素のＲ成分、Ｇ成分、およびＢ成分
を取得する（ステップＳ５０４）。図２３（ａ）あるいは図２３（ｂ）に示したように、
補間画素の上下の画素は必ず非Ｇ画素であり、非Ｇ画素の欠落した色成分は、図１９のＧ
成分補間処理および図２１の非Ｇ画素補間処理によって既に求められているため、直ちに
、Ｒ成分、Ｇ成分、およびＢ成分を取得することができる。

一方、補間画素のエッジ方向ｄが「１」ではないと判断された場合は（ステップＳ５０
２：ｎｏ）、補間画素ではエッジが水平方向に走っていると判断されるため、補間画素の
左右に隣接する画素のＲ成分、Ｇ成分、およびＢ成分を取得する（ステップＳ５０６）。
補間画素の左右の画素も非Ｇ画素であるから、これらの画素のＲ成分、Ｇ成分、Ｂ成分を
直ちに取得することができる。

次いで、Ｒ、Ｇ、Ｂの各成分を取得した画素について、色差成分を算出する（ステップ
Ｓ５０８）。補間画素のエッジ方向ｄが「１」であった場合は（ステップＳ５０２：ｙｅ
ｓ）、上下に隣接する画素での色差成分が算出され、逆に、補間画素のエッジ方向ｄが「
１」でなかった場合は（ステップＳ５０２：ｎｏ）、左右に隣接する画素での色差成分が
算出されることになる。尚、図２１に示した非Ｇ画素補間処理の場合と同様に、このとき
算出する色差成分も、Ｒ成分からＧ成分を減算し、あるいはＢ成分からＧ成分を減算する
ことによって、符号を変えた色差成分を算出する。こうすることで、後ほど、補間画素の
Ｒ成分およびＢ成分を算出する際に、符号を変える手間を省くことが可能となる。

こうして上下の画素、あるいは左右の画素での色差成分を算出したら（ステップＳ５０
８）、これらの画素での色差成分から補間することにより、今度は、補間画素での色差成
分を算出する（ステップＳ５１０）。上述したように、上下の画素あるいは左右の画素で
得られている色差成分は、符号を変えた色差成分（すなわち、Ｒ成分からＧ成分を減算し
た色差成分、およびＢ成分からＧ成分を減算した色差成分）であるから、補間によって得
られた色差成分も、符号を変えた色差成分となる。

次いで、補間画素のＧ成分を取得する（ステップＳ５１２）。補間画素はＧ画素である
から、ＲＡＷ画像データがそのままＧ成分となっている。そして、先に算出した色差成分
と、補間画素のＧ成分とに基づいて、補間画素のＲ成分およびＢ成分を算出する（ステッ
プＳ５１４）。上述したように、色差成分は符号を変えた色差成分となっているから、単
に色差成分にＧ成分を加算するだけで、Ｒ成分、Ｂ成分を算出することが可能である。

以上のようにして、全てのＧ画素について欠落している色成分（Ｒ成分およびＢ成分）
を求めたら、図２２に示すＧ画素補間処理を終了して、図３のカラー画像データ生成処理
に復帰する。

図３を用いて前述したように、Ｇ画素補間処理（図３のステップＳ１１２）から復帰す
ると、全画素について欠落している色成分の補間が終了したことになるため、各画素につ
いて得られたＲ、Ｇ、Ｂの各成分を、ＲＡＷ画像データから生成されたカラー画像データ
として出力して（ステップＳ１１４）、図３に示した本実施例のカラー画像データ生成処
理を終了する。

以上、本実施例のデジタルカメラ１００で、ＲＡＷ画像データにデモザイク処理を施し
て、カラー画像データを生成する処理について、詳しく説明した。かかるカラー画像デー
タ生成処理では、デモザイク処理に先立ってエッジ方向マップを生成する。このとき、上
下方向の色差成分ＣＤｖおよび水平方向の色差成分ＣＤｈの各々についての変化量に着目
することで、異なる２種類の色差成分（Ｇ成分とＲ成分との差に対応する色差成分、およ
びＧ成分とＢ成分との差に対応する色差成分）を用いてエッジ方向を検出することが可能
となる。その結果、規模の小さなエッジも精度良く検出することができるようになり、正
確なエッジ方向マップを生成することが可能となる。そして、続いて行うデモザイク処理
では、正確なエッジ方向マップに従って、欠落した色成分を補間することで、適切に補間
することが可能となる。

しかも、エッジ方向マップを生成する処理も、欠落した色成分を補間する処理も、決し
て複雑な処理ではなく、迅速に実行可能である。その結果、Ｒ、Ｇ、Ｂの各成分がモザイ
ク状に組み合わされたＲＡＷ画像データから、適切なカラー画像データを迅速に生成する
ことが可能となる。

また、デモザイク処理で参照されるエッジ方向マップは、エッジノイズ除去処理が施さ
れて、エッジノイズの無いエッジ方向マップとなっているため、より適切にデモザイク処
理を行うことが可能となっている。

Ｈ．変形例：
以上に説明した本実施例のカラー画像データ生成処理には、種々の変形例が存在してい
る。以下では、これら変形例について簡単に説明する。

Ｈ−１．第１の変形例：
図１３を用いて前述した本実施例のエッジノイズ除去処理では、エッジ方向マップに記
憶されている全てのエッジ方向ｄについて、図１４に示した孤立ノイズ除去処理、および
図１７に示したクラスターノイズ除去処理を施すものとして説明した。しかし、これら孤
立ノイズ除去処理あるいはクラスターノイズ除去処理では、正しいエッジ方向ｄに対して
も、エッジノイズと誤判断して、エッジ方向ｄを誤ったエッジ方向ｄに変更してしまう可
能性も無いではない。正しいエッジ方向ｄが必要なのは、偽色が発生し易い領域において
もＲＡＷ画像データの欠落色成分を適切に補間するためであることに鑑みれば、偽色が発
生し易い領域についてだけ、エッジノイズを除去することとしても良い。

図２４は、第１の変形例のエッジノイズ除去処理の流れを示すフローチャートである。
かかる第１の変形例のエッジノイズ除去処理（ステップＳ１６０）は、図３に示したカラ
ー画像データ生成処理の中で、エッジノイズ除去処理（ステップＳ１０６）に代えて実行
される処理である。図示されているように、第１の変形例のエッジノイズ除去処理では、
前述した孤立ノイズ除去処理（ステップＳ３００）およびクラスターノイズ除去処理（ス
テップＳ３３０）に先立って、偽色が発生し易い領域（偽色領域：aliasing sensitive a
rea）であるか否かを判断し（ステップＳ６００）、偽色領域についてだけ（ステップＳ
６００：ｎｏ）、前述した孤立ノイズ除去処理およびクラスターノイズ除去処理とほぼ同
等の処理（ステップＳ１６４、ステップＳ１６６）を施すようになっている。

図２５は、第１の変形例において偽色領域か否かを判断する処理の流れを示したフロー
チャートである。図示されているように、偽色領域判断処理を開始すると、先ず始めに、
判断画素を１つ選択する（ステップＳ６０２）。ここでいう判断画素とは、偽色領域であ
るか否かの判断対象とする画素であり、エッジ方向マップの中でエッジ方向ｄが設定され
ている画素の中から選択される。

次いで、選択した判断画素の位置に、急なエッジが存在するか否かを判断する（ステッ
プＳ６０４）。急なエッジがあるか否かの判断は、種々の方法を用いて行うことが可能で
あるが、ここでは、ＲＡＷ画像データから直接判断することにする。

図２６は、判断画素の位置に急なエッジが存在するか否かをＲＡＷ画像データに基づい
て判断する方法を例示した説明図である。図２６（ａ）は、判断に用いる判定式を示して
おり、判断画素のＲＡＷ画像データが、図２６（ａ）に示した何れかの判定式を満足して
いれば、急なエッジが存在するものと判断する。先ず始めに、図２６（ａ）に示した上側
の判定式について説明する。図２６（ａ）に示した階調値ｚ（ｒ，ｓ）は、判断画素で得
られたＲＡＷ画像データを表している。また、階調値ｚ（ｒ，ｓ−２）は判断画素の２つ
左の画素で得られたＲＡＷ画像データを表しており、階調値ｚ（ｒ，ｓ＋２）は判断画素
の２つ右の画素で得られたＲＡＷ画像データを表している。図２６（ｂ）には、これら３
つの画素、すなわち判断画素と判断画素の左右の画素との位置関係が示されている。

ここで、ＲＡＷ画像データは、図２に示したようなベイヤー型のカラーフィルターによ
って得られた画像データであるとしているから、図２６（ｂ）に斜線を付して示した判断
画素のＲＡＷ画像データの階調値ｚ（ｒ，ｓ）と、図２６（ｂ）中に○印を付して示した
左の画素のＲＡＷ画像データの階調値ｚ（ｒ，ｓ−２）、および右の画素のＲＡＷ画像デ
ータの階調値ｚ（ｒ，ｓ＋２）は、何れも同じ色成分の画像データである。従って、判断
画素の位置で、少なくとも左右方向にはＲＡＷ画像データが大きく変化していない場合に
は、判断画素の左右のＲＡＷ画像データの平均値と、判断画素のＲＡＷ画像データとは、
大きくは異ならない筈である。この点について、図２６（ｄ）を参照して説明する。

図２６（ｄ）には、判断画素のＲＡＷ画像データと、判断画素の左右の画素のＲＡＷ画
像データと、左右の画素のＲＡＷ画像データの平均値との大小関係が例示されている。図
示した例では、判断画素と、右側の画素との間でＲＡＷ画像データが大きく変化している
が、このような大きな変化が存在する場合には、判断画素のＲＡＷ画像データと、判断画
素の左右の画素のＲＡＷ画像データの平均値との偏差が大きくなる。逆に、ＲＡＷ画像デ
ータがほぼ一定であったり、単調に増加あるいは減少しているのであれば、この偏差は小
さくなる。そこで、予め閾値を決めておき、判断画素のＲＡＷ画像データと、判断画素の
左右の画素のＲＡＷ画像データの平均値との偏差が閾値よりも大きければ、水平方向にＲ
ＡＷ画像データが大きく変化していると考えることができる。

図２６（ａ）の上側の判定式は、このようにして、ＲＡＷ画像データが水平方向に大き
く変化しているか否かを判断するための判定式である。変化量の正負を区別することなく
判定可能なように、判定式では偏差の二乗値と所定の閾値Ｔとを比較している。そして、
偏差の二乗値の方が閾値Ｔよりも大きければ、ＲＡＷ画像データが水平方向に大きく変化
しているものと考えられるため、判断画素に急なエッジが存在すると判断されることにな
る。

図２６（ａ）の下側の判定式は、ＲＡＷ画像データが上下方向に大きく変化しているか
否かを判断するための判定式である。すなわち、下側の判定式に現れるＲＡＷ画像データ
の階調値ｚ（ｒ−２，ｓ）は判断画素の２つ上の画素で得られたＲＡＷ画像データであり
、ＲＡＷ画像データの階調値ｚ（ｒ＋２，ｓ）は判断画素の２つ下の画素で得られたＲＡ
Ｗ画像データを表している。また、図２６（ｃ）には、判断画素と、判断画素の左右の画
素との位置関係が示されている。これら３つの画素には、同じ色成分のＲＡＷ画像データ
が得られているから、判断画素の位置で、少なくとも上下方向にＲＡＷ画像データが大き
く変化していなければ、図２６（ｃ）中に×印を付した画素のＲＡＷ画像データの平均値
と、判断画素のＲＡＷ画像データとは、大きくは異ならない筈である。従って、図２６（
ａ）の下側の判定式が成り立てば、ＲＡＷ画像データが上下方向に大きく変化しているも
のと考えられるため、判断画素に急なエッジが存在すると判断されることになる。

図２５に示した偽色領域判断処理のステップＳ６０４では、判断画素の位置に急なエッ
ジが存在するか否かを、図２６（ａ）に示した判定式を用いることによってＲＡＷ画像デ
ータから直接、判断している。そして、経験上、急なエッジが存在する箇所には、偽色は
発生し難いことが分かっている。そこで、急なエッジが存在していると判断された場合に
は（ステップＳ６０４：ｙｅｓ）、判断画素は偽色領域ではないと考えられるため、偽色
領域か否かを示す変数ｃに、偽色領域ではないことを示す値「１」を設定する（ステップ
Ｓ６１０）。尚、判断画素に急なエッジが存在するか否かを判断する方法としては、図２
６に例示した方法に限らず、種々の方法を適用することが可能である。

判断画素に急なエッジが存在していないと判断された場合は（ステップＳ６０４：ｎｏ
）、今度は、判断画素のある位置が、十分に平滑な領域内であるか否かを判断する（ステ
ップＳ６０６）。判断画素のある位置が、十分に平滑な領域内であるか否かの判断も、上
述した大きなエッジの有無についての判断と同様に、種々の方法を用いて行うことが可能
であるが、ここでも、ＲＡＷ画像データから直接判断することにする。

図２７は、判断画素のある位置が、十分に平滑な領域内であるか否かをＲＡＷ画像デー
タに基づいて判断する方法を例示した説明図である。先ず始めに、図２７（ａ）を参照し
ながら、判断に際しての基本的な考え方について説明する。図中に斜線を付して示した画
素は、判断画素を表している。前述したように、判断画素はエッジ方向ｄが求められてい
る画素から選択されており、エッジ方向ｄは、Ｒ画素およびＢ画素についてのみ求められ
ているから、判断画素はＲ画素またはＢ画素の何れかである。また、図２に示したように
、ＲＡＷ画像データはベイヤー型のカラーフィルターによって得られた画像データである
としている。従って、判断画素の上下左右に隣接する４つの画素で得られたＲＡＷ画像デ
ータは、何れもＧ成分の画像データとなっている。そして、判断画素が、十分に平滑な領
域に存在するなら、上下左右に隣接する４つの画素でのＲＡＷ画像データは、ほとんど同
じ値となっている筈である。そこで、図２７（ａ）中に○印を付して示した画素でのＲＡ
Ｗ画像データが、互いに近似した値となっているか否かを判断し、近似した値となってい
れば、判断画素は十分に平滑な領域に存在すると判断することができる。

図２７（ａ）中に○印を付した４つの画素が、互いに近似したＲＡＷ画像データを有す
るか否かは、種々の方法を用いて判断することができる。例えば、最も単純には、４つの
画素のＲＡＷ画像データの中の最大値と最小値との偏差を調べて、偏差が十分に小さけれ
ば、４つのＲＡＷ画像データは互いに近似した値を有すると判断することも可能である。
しかし、ここでは、次のような方法を用いて判断する。

図２７（ｂ）は、第１の変形例において、判断画素のある位置が十分に平滑な領域であ
るか否かを判断するために用いた判定式を示している。図中には４つの判定式が示されて
いるが、これらの判定式が全て満足された場合に、判断画素が平滑な領域にあるものと判
断する。先ず始めに、図２７（ｂ）の一番上の判定式について説明する。

図２７（ｂ）の一番上の判定式中に現れるＲＡＷ画像データの階調値ｚ（ｒ，ｓ−１）
は、判断画素の左隣にある画素のＲＡＷ画像データを表しており、ＲＡＷ画像データの階
調値ｚ（ｒ−１，ｓ）は判断画素の上隣の画素のＲＡＷ画像データを、そして、ＲＡＷ画
像データの階調値ｚ（ｒ＋１，ｓ）は判断画素の下隣の画素のＲＡＷ画像データを表して
いる。また、図２７（ｃ）には、これら３つの画素と判断画素との位置関係が示されてい
る。仮に判断画素が十分に平滑な領域に存在しているなら、図２７（ｃ）で×印を付した
上下の画素でのＲＡＷ画像データの平均値と、○印を付した画素のＲＡＷ画像データとは
、ほぼ同じ値となる筈である。そこで、これらの偏差の二乗値を求め、この二乗値が所定
の閾値αよりも小さければ、図２７（ｃ）中で○印を付した画素および×印を付した２つ
の画素のＲＡＷ画像データは、ほぼ同じ値である可能性が高い。もっとも、図中で×印を
付した画素のＲＡＷ画像データは大きく違っているが、これらの平均値が偶然に、○印の
画素のＲＡＷ画像データとほぼ同じになっている場合も考えられる。そこで、このような
可能性を排除するために、向きを変えて同様な判断を行う。

図２７（ｂ）の上から２番目の判定式は、一番上の判定式と同様な判断を、向きを変え
て行うために用いる判定式である。また、図２７（ｄ）は、上から２番目の判定式で参照
する画素位置を示した説明図である。かかる判断においても、図２７（ｄ）中で×印を付
した画素でのＲＡＷ画像データの平均値と、○印を付した画素でのＲＡＷ画像データとの
偏差を求め、その偏差の二乗値と所定の閾値αとを比較する。そして、偏差の二乗値が閾
値αよりも小さければ、図２７（ｄ）に示した３つの画素のＲＡＷ画像データは、ほぼ同
じ値であると考える。同様にして、図２７（ｂ）の上から３番目の判定式、および一番下
の判定式についても確認する。図２７（ｅ）には、上から３番目の判定式で参照する画素
位置が示されており、図２７（ｆ）には、一番下の判定式で参照する画素位置が示されて
いる。図２７（ｅ）あるいは図２７（ｆ）の何れの場合でも、図中に×印を付した画素で
のＲＡＷ画像データの平均値と、図中に○印を付した画素のＲＡＷ画像データとの偏差を
求め、偏差の二乗値と所定の閾値αとを比較する。その結果、図２７（ｂ）に示した４つ
の判定式が全て満足されていれば、図２７（ａ）に○印を付した４つの画素のＲＡＷ画像
データは、何れもほぼ同じ値を有するものと考えられるため、判断画素は十分に平滑な領
域に存在すると判断することができる。

尚、上述した説明では、閾値αは、一定値であるものとして説明したが、判断画素の周
囲にある画素のＲＡＷ画像データに応じて、適切な閾値αを算出して用いることとしても
良い。図２７（ｇ）には、閾値αの代表的な算出式が例示されている。

図２５に示した偽色領域判断処理のステップＳ６０６では、以上のようにして判断画素
が十分に平滑な領域に存在するか否かを判断する。ここで、経験上から、十分に平滑な領
域では、偽色は発生し難いことが分かっている。従って、判断画素が十分に平滑な領域に
存在すると判断された場合は（ステップＳ６０６：ｙｅｓ）、判断画素は偽色領域ではな
いと考えられるため、偽色領域か否かを示す変数ｃに、偽色領域ではないことを示す値「
１」を設定する（ステップＳ６１０）。

これに対して、判断画素のある位置が、十分に平滑な領域ではないと判断された場合は
（ステップＳ６０６：ｎｏ）、偽色領域か否かを示す変数ｃに、偽色領域であることを示
す値「０」を設定する（ステップＳ６０８）。すなわち、前述したように、急なエッジが
存在する領域や十分に平滑な領域では、偽色は発生し難いことが経験上から分かっている
ため、これら以外の領域については、偽色が発生する可能性があるものと判断して、偽色
領域か否かを示す変数ｃに、偽色領域であることを示す値「０」を設定するのである。

以上のようにして、ステップＳ６０２で選択した判断画素について、偽色領域か否かを
判断したら、一旦、図２５に示した偽色領域判断処理を終了して、図２４の第１変形例の
エッジノイズ除去処理に復帰する。図２４に示されるように、第１変形例のエッジノイズ
除去処理では、偽色領域判断処理から復帰すると、判断画素が偽色領域内の画素か否かを
判断する（ステップＳ１６２）。ここで判断画素とは、図２５のステップＳ６０２で選択
された画素である。図２５を用いて前述したように、判断画素が偽色領域内の画素であれ
ば、変数ｃに「０」が設定されており、偽色領域内の画素でなければ、変数ｃには「１」
が設定されている。従って、図２４のステップＳ１６２では、変数ｃの値を参照すること
により、判断画素が偽色領域内の画素か否かを直ちに判断することができる。

そして、偽色領域内の画素ではないと判断された場合は（ステップＳ１６２：ｎｏ）、
エッジノイズ除去処理の先頭に戻って、前述した偽色領域判断処理を再開する（ステップ
Ｓ６００）。偽色領域判断処理では、新たな判断画素を選択して（図２５のステップＳ６
０２）、その判断画素が偽色領域にあるか否かを判断し、その判断結果を変数ｃに設定し
た後、再び図２４のエッジノイズ除去処理に復帰する。そして、エッジノイズ除去処理で
は、判断画素が偽色領域内の画素であるか否かを判断する（図２４のステップＳ１６２）
。こうした操作を繰り返して、偽色領域内の判断画素が見つかったら（ステップＳ１６２
：ｙｅｓ）、孤立ノイズ除去処理（ステップＳ１６４）およびクラスターノイズ除去処理
（ステップＳ１６６）を行う。

第１の変形例のエッジノイズ除去処理の中で行う孤立ノイズ除去処理（ステップＳ１６
４）およびクラスターノイズ除去処理（ステップＳ１６６）は、それぞれ図１４を用いて
前述した孤立ノイズ除去処理（ステップＳ３００）、および図１７を用いて前述したクラ
スターノイズ除去処理（ステップＳ３３０）とほぼ同様であり、次の点のみが異なってい
る。すなわち、図１４に示した孤立ノイズ除去処理（ステップＳ３００）あるいは図１７
に示したクラスターノイズ除去処理（ステップＳ３３０）では、それぞれ処理の先頭にお
いて、判断画素を選択し、処理の最後では、全ての判断画素についての処理が終了したか
否かを判断していた。これに対して、第１の変形例の孤立ノイズ除去処理（ステップＳ１
６４）およびクラスターノイズ除去処理（ステップＳ１６６）では、これらの処理は行っ
ていない点のみが異なっている。

以下では、図１４のフローチャートを参照しながら、第１の変形例の孤立ノイズ除去処
理（ステップＳ１６４）について、概要のみ説明する。図１４のフローチャートでは、先
ず始めに判断画素を選択しているが（ステップＳ３０２）、第１の変形例の孤立ノイズ除
去処理（ステップＳ１６４）では、このような処理は行わない。これは、図２４に示され
ているように、第１の変形例の孤立ノイズ除去処理（ステップＳ１６４）は、偽色領域判
断処理の中で選択された判断画素が、偽色領域内の画素であると判断された場合に（ステ
ップＳ１６２：ｙｅｓ）、その判断画素に対して実行されるためである。

第１の変形例の孤立ノイズ除去処理（ステップＳ１６４）を開始すると、判断画素のエ
ッジ方向ｄが「１」であるか否かを判断し（図１４のステップＳ３０４相当）、エッジ方
向ｄが「１」であれば、上下のエッジ方向ｄが２つとも「３」になっていないか（図１４
のステップＳ３０６相当）、あるいは左右のエッジ方向ｄが２つとも「３」になっていな
いか（図１４のステップＳ３０８相当）を判断して、何れか一方でも成り立っていれば、
孤立ノイズであると判断して、判断画素のエッジ方向ｄを「３」に変更する（図１４のス
テップＳ３１０相当）。

判断画素のエッジ方向ｄが「３」であった場合も同様に、上下のエッジ方向ｄが２つと
も「１」になっていないか（図１４のステップＳ３１２相当）、あるいは左右のエッジ方
向ｄが２つとも「１」になっていないか（図１４のステップＳ３１４相当）を判断して、
何れか一方でも成り立っていれば、孤立ノイズであると判断して、判断画素のエッジ方向
ｄを「１」に変更する（図１４のステップＳ３１６相当）。

図２４に示した第１の変形例の孤立ノイズ除去処理（ステップＳ１６４）では、以上の
ような判断を行ったら、直ちに処理を終了して、図２４に示したエッジノイズ除去処理に
復帰する。そして、続いて、クラスターノイズ除去処理（ステップＳ１６６）を開始する
。以下では、図１７のフローチャートを参照しながら、第１の変形例のクラスターノイズ
除去処理（ステップＳ１６６）について、概要のみ説明する。

図１７のフローチャートにおいても、先ず始めに判断画素を選択しているが（ステップ
Ｓ３３２）、第１の変形例のクラスターノイズ除去処理（ステップＳ１６６）では、この
ような処理は行わない。これは、第１の変形例のクラスターノイズ除去処理（ステップＳ
１６６）は、上述した第１の変形例の孤立ノイズ除去処理（ステップＳ１６４）で判断さ
れた判断画素に対して、引き続いて実行される処理だからである。

第１の変形例のクラスターノイズ除去処理（ステップＳ１６６）を開始すると、先ず始
めに、判断画素のエッジ方向ｄが、前述したクラスターノイズである可能性があるか否か
を判断する（図１７のステップＳ３３４，Ｓ３３６相当）。そして、クラスターノイズの
可能性があると判断された場合は（図１７のステップＳ３３４：ｙｅｓ、且つ、ステップ
Ｓ３３６：ｎｏ相当）、判断画素のエッジ方向ｄに応じて、上下方向あるいは水平方向の
画素でのエッジ方向ｄを参照することによってクラスターノイズか否かを判断し、クラス
ターノイズであれば、判断画素のエッジ方向ｄを変更する（図１７のステップＳ３３８〜
Ｓ３５０相当）。

図２４に示した第１の変形例のクラスターノイズ除去処理（ステップＳ１６６）では、
以上のような操作を行ったら、直ちに処理を終了して、図２４に示したエッジノイズ除去
処理に復帰する。そして、エッジ方向マップにエッジ方向ｄが設定されている全ての画素
（判断画素）について、上述した一連の処理を終了したか否かを判断し（図２４のステッ
プＳ１６８）、未処理の判断画素が残っている場合は（ステップＳ１６８：ｎｏ）、再び
第１の変形例のエッジノイズ除去処理（ステップＳ１６０）の先頭に戻って、図２５を用
いて前述した偽色領域判断処理を再開する（ステップＳ６００）。偽色領域判断処理では
、新たな判断画素が選択されて、その判断画素に対して、上述した一連の処理が行われる
。こうした操作を繰り返して、最終的に全ての判断画素について処理が終了したと判断さ
れたら（図２４のステップＳ１６８：ｙｅｓ）、第１の変形例のエッジノイズ除去処理を
終了する。

以上に説明した第１の変形例のエッジノイズ除去処理では、偽色領域（偽色が発生し易
い領域）を検出して、この領域についてのみ、孤立ノイズ除去処理およびクラスターノイ
ズ除去処理を行っている。このため、偽色の発生し難い領域に対して、不必要に孤立ノイ
ズ除去処理およびクラスターノイズ除去処理を行って、正しいエッジ方向ｄを、エッジノ
イズと誤判断してしまうことを回避することができる。その結果、第１の変形例のエッジ
ノイズ除去処理によれば、より正確なエッジ方向マップを得ることが可能となり、このよ
うなエッジ方向マップを参照しながら、ＲＡＷ画像データの欠落した色成分を補間するこ
とで、より適切にデモザイク処理を実行することが可能となる。

Ｈ−２．第２の変形例：
上述した第１の変形例では、判断画素が偽色領域の画素か否かを調べて、偽色領域の画
素であれば、孤立ノイズ除去処理（図２４のステップＳ１６４）およびクラスターノイズ
除去処理（ステップＳ１６６）を施すこととした。しかし、偽色領域か否かの判断も誤判
断する可能性がある。そこで、偽色領域か否かの判断結果を示す変数ｃをマップに記憶し
ておき、このマップ（偽色領域マップ）に対してノイズ（誤判断された変数ｃ）を除去す
る処理を施してもよい。

図２８は、第２の変形例において偽色領域マップのノイズを除去する様子を例示した説
明図である。図示した例では、第１段階、第２段階、第３段階の３段階に分けて、偽色領
域マップのノイズを除去する処理を行う。また、図中には、各段階でノイズ検出する様子
が示されている。

第１段階では、変数ｃが、誤って「１（偽色領域ではない）」と判断されている箇所を
検出して、「０（偽色領域である）」に変更する処理を行う。変数ｃが誤って「１」と判
断されている箇所は、次のようにして検出する。先ず、偽色領域マップの中で、変数ｃの
値として「１」が設定されている画素を１つ選択する。図２５を用いて前述したように、
偽色領域か否かの判断は、エッジ方向ｄが求められている画素に対して行われるから、偽
色領域マップには、変数ｃがチェッカーフラッグ状に設定されている。そこで、偽色領域
マップに設定された変数ｃの中から、「１」の値が設定されている画素を１つ選択して、
この画素を判断対象の画素（判断画素）とする。

次いで、選択した判断画素の周囲に設定されている変数ｃを参照する。上述したように
偽色領域マップには、チェッカーフラッグ状に変数ｃが設定されているから、判断画素の
周囲には、斜め方向に隣接する四隅の位置に変数ｃが設定されていることになる。そして
、これら四隅に設定されている変数ｃの値が全て「０」であった場合には、判断画素の変
数ｃは、誤って「１」に設定されているものと判断する。図２８中に「第１段階」と表示
した部分には、判断画素の変数ｃが、誤って「１」に設定されている（すなわち、ノイズ
である）と判断される場合が示されている。図示されているように、判断画素の変数ｃは
「１」であるが、四隅に隣接する画素での変数ｃは全て「０」となっている。このような
場合は、判断画素の変数ｃは誤って「１」に設定されていると考えられるため、変数ｃの
値を「０」に変更する。第１段階では、偽色領域マップに変数ｃの値として「１」が設定
されている全ての画素について、上述した操作を行う。

上述したように第１段階では、変数ｃの値が、誤って「１（偽色領域ではない）」に設
定されている画素を検出したが、第２段階および第３段階では、逆に、誤って「０（偽色
領域である）」と設定されている画素を検出して、「１（偽色領域である）」に変更する
処理を行う。

第２段階の処理では、判断画素として、偽色領域マップの中で変数ｃの値が「０」に設
定されている画素を選択する。そして、判断画素の四隅に隣接する画素での変数ｃを読み
出して、これら４つの変数ｃの中で３つ以上の変数ｃに「１」が設定されているか否かを
判断する。その結果、３つ以上の変数ｃが「１」であった場合には、判断画素の変数ｃは
、誤って「０」に設定されたものと判断して、変数ｃの値を「１」に変更する。図２８中
に「第２段階」と表示した部分には、判断画素の変数ｃが、誤って「０」に設定されてい
る（すなわち、ノイズである）と判断される場合が例示されている。図示されているよう
に、判断画素の変数ｃは「０」であるが、四隅に隣接する画素では「１」の方が多く設定
されている。このような場合は、判断画素の変数ｃは誤って「０」に設定されていると判
断して、変数ｃの値を「１」に変更する。第２段階では、偽色領域マップに変数ｃの値と
して「０」が設定されている全ての画素について、上述した操作を行う。

第３段階の処理においても、判断画素としては、偽色領域マップの中で変数ｃの値が「
０」に設定されている画素を選択する。しかし、第３段階では、判断画素から上下左右に
４画素だけ離れた画素に設定されている４つの変数ｃを取得する。図２８中に「第３段階
」と表示した部分には、これら４つの画素に設定された変数ｃを取得する様子が示されて
いる。図中に斜線を付した画素が判断画素であり、判断画素から上下左右に４画素だけ離
れた画素には、○印が付されている。そして、○印が付された画素に設定されている４つ
の変数ｃの中で３つ以上の変数ｃに「１」が設定されているか否かを判断する。その結果
、３つ以上の変数ｃが「１」であった場合には、判断画素の変数ｃは、誤って「０」に設
定されたものと判断して、変数ｃの値を「１」に変更する。図示した例では、判断画素の
変数ｃは、誤って「０」に設定されたものと判断されて、変数ｃの値が「０」に変更され
ることになる。第３段階では、偽色領域マップに変数ｃの値として「０」が設定されてい
る全ての画素について、上述した操作を行う。

このように第２の変形例では、偽色領域に属する画素を検出して偽色領域マップを生成
し、その偽色領域マップに対して上述した３段階の処理を行うことによって、マップ内の
ノイズを除去する処理を行う。その結果、偽色領域か否かが正しく判断された偽色領域マ
ップを得ることができる。そして、このような偽色領域マップを参照して、偽色領域であ
ると判断された画素のエッジ方向ｄについてだけ、前述した孤立ノイズ除去処理（ステッ
プＳ３００あるいはステップＳ１６４）、および前述したクラスターノイズ除去処理（ス
テップＳ３３０あるいはステップＳ１６６）を施してやる。こうすれば、偽色の発生し難
い領域に対して、孤立ノイズ除去処理およびクラスターノイズ除去処理を行って、正しい
エッジ方向ｄを、エッジノイズと誤判断してしまうことを回避することが可能となる。そ
の結果、より正確なエッジ方向マップを得ることが可能となり、このようなエッジ方向マ
ップを参照しながら、ＲＡＷ画像データの欠落した色成分を補間することで、より適切に
デモザイク処理を実行することが可能となる。

Ｈ−３．第３の変形例：
上述した孤立ノイズ除去処理（ステップＳ３００あるいはステップＳ１６４）およびク
ラスターノイズ除去処理（ステップＳ３３０あるいはステップＳ１６６）は、比較的狭い
領域を参照してエッジノイズを除去する処理である。従って、個々の狭い領域を観察する
限りではエッジノイズが存在しているようには見えないが、より広い範囲を観察するとエ
ッジノイズが集まっているように見える場合には、このようなエッジノイズの集まり（la
rge block）を効果的に除去することができない可能性がある。尚、以下では、このよう
なエッジノイズの集まりを構成する個々のエッジノイズを「ブロックノイズ」と呼ぶこと
にする。このような問題が発生する場合でも、次のようにすることで解決することが可能
である。尚、以下では、上述したエッジノイズの集まりを構成する個々のエッジノイズを
「ブロックノイズ」と呼ぶことにする。

図２９は、第３の変形例のエッジノイズ除去処理の流れを示すフローチャートである。
図示した第３の変形例のエッジノイズ除去処理は、図１３を用いて前述したエッジノイズ
除去処理に対して、孤立ノイズ除去処理（ステップＳ３００）およびクラスターノイズ除
去処理（ステップＳ３３０）の後に、ブロックノイズ除去処理（ステップＳ７００）を行
い、その後、再び孤立ノイズ除去処理（ステップＳ３００）を行う点が異なっている。孤
立ノイズ除去処理（ステップＳ３００）およびクラスターノイズ除去処理（ステップＳ３
３０）については、前述した処理と全く同様であるために、ここでは説明を省略して、ブ
ロックノイズ除去処理について説明する。

尚、図２９では、ブロックノイズ除去処理（ステップＳ７００）の後に、１回だけ、孤
立ノイズ除去処理（ステップＳ３００）を行うものとしているが、１回だけに限らず、複
数回行っても良い。あるいは、ブロックノイズ除去処理（ステップＳ７００）を行った後
は、孤立ノイズ除去処理（ステップＳ３００）を行わずに、そのままエッジノイズ除去処
理を終了するようにしても良い。この点については、ブロックノイズ除去処理（ステップ
Ｓ７００）について説明した後に、補足して説明する。

図３０は、ブロックノイズ除去処理の流れを示すフローチャートである。前述したよう
に、この処理は、第３の変形例のエッジノイズ除去処理の中で、孤立ノイズ除去処理（ス
テップＳ３００）およびクラスターノイズ除去処理（ステップＳ３３０）が行われたエッ
ジ方向マップに対して行われる処理である。

ブロックノイズ除去処理（ステップＳ７００）を開始すると、先ず始めに、エッジ方向
マップの中から、エッジ方向ｄが設定された判断画素を１つ選択する（ステップＳ７０２
）。次いで、選択した判断画素の左方向および右方向に偽色領域が続いているか否かを判
断する（ステップＳ７０４）。かかる判断は、予め生成しておいた偽色領域マップを参照
することによって行う。

図３１は、偽色領域マップを参照して、判断画素の左右方向の偽色領域が続いているか
否かを判断する様子を示した説明図である。図中に斜線を付した画素が判断画素であり、
破線の矩形で囲った領域の画素が、全て偽色領域か否か、すなわち偽色領域マップに「０
」が設定されているか否かを判断する。尚、図３１では、左方向にも６画素分、右方向に
も６画素分の領域について、偽色領域か否かを判断しているが、領域の大きさについては
適宜変更することが可能である。そして、これらの領域内の画素が全て偽色領域であれば
、判断画素の左右方向に偽色領域が続いていると判断し（ステップＳ７０４：ｙｅｓ）、
逆に、偽色領域でない画素が１つでも含まれていれば、偽色領域が続いていないと判断す
る（ステップＳ７０４：ｎｏ）。

偽色領域マップを参照して、判断画素の左右方向に偽色領域が続いていると判断された
場合は（ステップＳ７０４：ｙｅｓ）、今度は、エッジ方向マップを参照することによっ
て、判断画素のエッジ方向ｄがブロックノイズか否かを判断する（ステップＳ７０６）。
かかる判断は、次のようにして行う。

図３２は、判断画素のエッジ方向ｄがブロックノイズか否かを判断する基準を例示した
説明図である。ブロックノイズか否かの判断は、判断画素を中心として左右の画素に、判
断画素のエッジ方向ｄとは異なるエッジ方向ｄが設定されているか否かを確認することに
よって行う。図３２では、判断画素は斜線を付して示されており、エッジ方向ｄを確認す
る画素は、○印を付して示されている。尚、判断画素を中心として左右の画素のエッジ方
向を確認するのは、図３０のステップＳ７０４において、判断画素から左右方向に偽色領
域が続いていることが、既に確認されているからである。

例えば、図３２（ａ）に示した例では、判断画素から左方向に４つめの画素および６つ
めの画素、右方向にも４つめの画素および６つめの画素に設定されているエッジ方向ｄを
参照する。そして、これら４つの画素に設定されている全てのエッジ方向ｄが、判断画素
に設定されているエッジ方向ｄとは異なっている場合、判断画素のエッジ方向ｄは、ブロ
ックノイズであると判断する。また、図３２（ｂ）に示した例では、判断画素から左方向
に６つめの画素および８つめの画素、右方向にも６つめの画素および８つめの画素のエッ
ジ方向ｄを参照して、これら全てのエッジ方向ｄが、判断画素のエッジ方向ｄとは異なっ
ている場合に、判断画素のエッジ方向ｄはブロックノイズであると判断する。図３２（ｃ
）についても同様に、判断画素から左右方向に８つめの画素および１０つめの画素のエッ
ジ方向ｄを参照して、これら全てのエッジ方向ｄが、判断画素のエッジ方向ｄとは異なっ
ていれば、判断画素のエッジ方向ｄはブロックノイズであると判断する。

図３０に示したブロックノイズ除去処理のステップＳ７０６では、図３２に示した３つ
の判断基準の何れか１つでも該当すれば、その判断画素のエッジ方向ｄはブロックノイズ
であると判断する（ステップＳ７０６：ｙｅｓ）。尚、ブロックノイズか否かを判断する
に際しては、図３２に示した判断基準の他にも、例えば、判断画素から左右方向の更に遠
くのエッジ方向ｄを参照するような判断基準を用いても良い。あるいは、判断画素の左右
から３つずつのエッジ方向ｄを参照するような判断基準を用いることも可能である。そし
て、判断画素のエッジ方向ｄがブロックノイズであると判断された場合は（ステップＳ７
０６：ｙｅｓ）、そのエッジ方向ｄの値を変更する（ステップＳ７０８）。すなわち、判
断画素のエッジ方向ｄが「１」であれば「３」に変更し、判断画素のエッジ方向ｄが「３
」であれば「１」に変更する。

これに対して、判断画素のエッジ方向ｄがブロックノイズではないと判断された場合（
ステップＳ７０６：ｎｏ）、あるいは、そもそも判断画素から左右方向には偽色領域が続
いていないと判断された場合は（ステップＳ７０４：ｎｏ）、今度は上下方向について同
様な操作を行う。すなわち、先ず、判断画素から上下方向に偽色領域が続いているか否か
を判断する（ステップＳ７１０）。図３１を参照して前述したステップＳ７０４では、判
断画素から左右方向に６画素分の領域（図３１中で破線の矩形で示した領域）について、
領域内の全ての画素が偽色領域の画素か否かを判断したが、これに対してステップＳ７１
０では、判断画素から上下方向に６画素分の領域について、領域内の全ての画素が偽色領
域の画素か否かを判断する。

そして、全ての画素が偽色領域の画素であると判断されたら（ステップＳ７１０：ｙｅ
ｓ）、今度は、判断画素から上下方向の画素に設定されているエッジ方向ｄを参照しなが
ら、図３２と同様の判断基準に該当するか否かを判断する。すなわち、図３２（ａ）に対
応する判断基準では、判断画素から上下方向に４つめ、および６つめの合計４つの画素に
設定されているエッジ方向ｄを参照して、これら全てのエッジ方向ｄが、判断画素のエッ
ジ方向ｄとは異なっている場合に、判断画素のエッジ方向ｄはブロックノイズであると判
断する。図３２（ｂ）および図３２（ｃ）に対しても同様にして、対応する判断基準に基
づいて、判断画素のエッジ方向ｄがブロックノイズであるか否かを判断する。そして、こ
れら何れかの判断基準に該当すれば、その判断画素のエッジ方向ｄはブロックノイズであ
ると判断して（ステップＳ７１２：ｙｅｓ）、エッジ方向ｄの値を変更する（ステップＳ
７１４）。

これに対して、判断画素のエッジ方向ｄがブロックノイズではないと判断された場合（
ステップＳ７１２：ｎｏ）、あるいは、判断画素から上下方向には偽色領域が続いていな
いと判断された場合は（ステップＳ７１０：ｎｏ）、全ての判断画素について上述した処
理を終了したか否かを判断する（ステップＳ７１６）。そして、未だ処理していない判断
画素が残っていれば（ステップＳ７１６：ｎｏ）、先頭に戻って、新たな判断画素を１つ
選択し（ステップＳ７０２）、その判断画素に対して、上述した一連の処理を行う。こう
した処理を繰り返しているうちに、全ての判断画素について処理が終了したと判断された
ら（ステップＳ７１６：ｙｅｓ）、図３０に示すブロックノイズ除去処理を終了して、図
２９に示した第３の変形例のエッジノイズ除去処理に復帰する。

以上に説明したブロックノイズ除去処理（ステップＳ７００）では、ブロックノイズを
除去する際に、判断画素が、偽色領域の境界付近から十分に内側にあるか否かを判断する
ことにより、十分に内側の領域でだけ、ブロックノイズを除去している。このため、ブロ
ックノイズを除去しようとして、エッジ方向マップ内に新たなエッジノイズを作ってしま
う危険性を十分に小さくすることができる。

また、ブロックノイズを除去した後は、再び孤立ノイズ除去処理（ステップＳ３００）
を行うことが特に有効である。何故なら、１回目の孤立ノイズ除去処理では除去できない
エッジノイズが存在していたとしても、ブロックノイズを除去することで、これらエッジ
ノイズは除去可能なノイズになっている可能性が高く、従って、再度、孤立ノイズ除去処
理（ステップＳ３００）を行うことで、残ったエッジノイズをほとんど除去することが可
能となるからである。

このような理由から、図２９に示した第３の変形例のエッジノイズ除去処理（ステップ
Ｓ１７０）では、ブロックノイズ除去処理（ステップＳ７００）の後に、再度、孤立ノイ
ズ除去処理（ステップＳ３００）を行うこととしている。尚、孤立ノイズ除去処理を１回
だけでなく、複数回行っても良いし、あるいは孤立ノイズ除去処理の後に、クラスターノ
イズ除去処理も行っても良い。

以上のようにして、図２９に示した第３の変形例のエッジノイズ除去処理（ステップＳ
１７０）を終了したら、図３のカラー画像データ生成処理に復帰した後、ＲＡＷ画像デー
タの欠落した色成分を補間する処理を行う（図３のステップＳ１０８〜Ｓ１１２）。この
とき参照するエッジ方向マップは、エッジノイズが除去された正確なエッジ方向マップと
なっているため、ＲＡＷ画像データの欠落した色成分を適切に補間して、適切なカラー画
像データを生成することが可能となる。

以上、本実施例のデジタルカメラ１００内で、ＲＡＷ画像データからカラー画像データ
を生成する処理について説明したが、本発明は上記すべての実施例に限られるものではな
く、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。

１０…光学系、２０…撮像部、２２…カラーフィルターアレイ、２４…撮像板、３０…
画像処理装置、４０…外部出力端子、５０…外部記録媒体、１００…デジタルカメラ、Ｃ
ＤGB，ＣＤGR，ＣＤｈ，ＣＤｖ…色差成分、Ｔ，α…閾値、Ｖｈ，Ｖｖ…変化量、ｃ…変
数、ｄ，ｄ（ｒ，ｓ＋２），ｄ（ｒ，ｓ−２），ｄ（ｒ＋２，ｓ），ｄ（ｒ−２，ｓ）…
エッジ方向、ｚ（ｒ，ｓ），ｚ（ｒ，ｓ＋１），ｚ（ｒ，ｓ＋２），ｚ（ｒ，ｓ−１），
ｚ（ｒ，ｓ−２），ｚ（ｒ＋１，ｓ），ｚ（ｒ＋２，ｓ），ｚ（ｒ−１，ｓ），ｚ（ｒ−
２，ｓ）…階調値。

Claims (2)

1. 光の三原色に対応するＲ、Ｇ、Ｂの色成分が画素毎に一成分ずつ設定された画像データであるモザイク画像データを受け取って、該モザイク画像データに所定の画像処理を施すことにより、各画素にＲ、Ｇ、Ｂの全ての色成分が設定されたカラー画像データを生成する画像処理装置であって、
   前記モザイク画像データは、前記Ｒ成分の画素と前記Ｇ成分の画素とが縦方向に交互に並んだ画素列と、前記Ｇ成分の画素と前記Ｂ成分の画素とが縦方向に交互に並んだ画素列と、前記Ｒ成分の画素と前記Ｇ成分の画素とが横方向に交互に並んだ画素行と、前記Ｇ成分の画素と前記Ｂ成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構成された画像データであり、
   前記モザイク画像データの前記画素列毎に、該画素列内の各画素での前記Ｇ成分と他の色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す縦方向色差成分を、該画素列の各画素について算出する縦方向色差成分算出手段と、
   前記モザイク画像データの前記画素行毎に、該画素行内の各画素での前記Ｇ成分と他の色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す横方向色差成分を、該画素行の各画素について算出する横方向色差成分算出手段と、
   前記モザイク画像データの中から前記Ｒ成分または前記Ｂ成分が設定された画素を選択し、該選択された画素の前記縦方向色差成分の変化量と前記横方向色差成分の変化量とを比較することにより、該画素でのエッジ方向を決定するエッジ方向決定手段と、
   前記決定されたエッジ方向を前記選択された画素毎に記憶することにより、前記Ｒ成分の各画素および前記Ｂ成分の各画素に該エッジ方向が設定されたエッジ方向マップを生成するエッジ方向マップ生成手段と、
   前記エッジ方向マップに設定された前記エッジ方向を、周辺の画素の該エッジ方向と比較することにより、誤って決定された該エッジ方向であるエッジノイズを検出して、該エッジノイズを除去するエッジノイズ除去手段と、
   前記モザイク画像データの各画素について該画素に設定されていない色成分である欠落色成分を、前記エッジノイズが除去された前記エッジ方向マップを参照しながら、該モザイク画像データに設定されている前記色成分に基づいて補間する欠落色成分補間手段と
   を備え、
   前記エッジノイズ除去手段は、
   前記エッジ方向マップの中から前記エッジ方向が設定されている画素を１つ選択して、該エッジ方向が前記エッジノイズか否かを判断するための判断画素として設定する判断画素設定手段と、
   前記判断画素に斜め方向に隣接する４つの画素を選択し、該選択した４つの画素に設定されている前記エッジ方向が全て同じで、且つ、該判断画素に設定されている該エッジ方向とは異なる場合に、所定の前提条件を満たしているものと判断する前提条件判断手段と、
   前記前提条件を満足する前記判断画素から前記縦方向へ所定画素数以内にある全ての画素、または前記横方向へ該所定画素数以内にある全ての画素の何れか一方を選択し、該選択した画素に設定されている全ての前記エッジ方向が、該判断画素の前記エッジ方向と同じでない限り、該判断画素の該エッジ方向を前記エッジノイズとして検出するエッジノイズ検出手段と、
   前記エッジノイズとして検出された前記エッジ方向を、異なるエッジ方向に変更するエッジ方向変更手段と
   を備えることを特徴とする画像処理装置。
2. 光の三原色に対応するＲ、Ｇ、Ｂの色成分が画素毎に一成分ずつ設定された画像データであるモザイク画像データを受け取って、該モザイク画像データに所定の画像処理を施すことにより、各画素にＲ、Ｇ、Ｂの全ての色成分が設定されたカラー画像データを生成する画像処理装置であって、
   前記モザイク画像データは、前記Ｒ成分の画素と前記Ｇ成分の画素とが縦方向に交互に並んだ画素列と、前記Ｇ成分の画素と前記Ｂ成分の画素とが縦方向に交互に並んだ画素列と、前記Ｒ成分の画素と前記Ｇ成分の画素とが横方向に交互に並んだ画素行と、前記Ｇ成分の画素と前記Ｂ成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構成された画像データであり、
   前記モザイク画像データの前記画素列毎に、該画素列内の各画素での前記Ｇ成分と他の色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す縦方向色差成分を、該画素列の各画素について算出する縦方向色差成分算出手段と、
   前記モザイク画像データの前記画素行毎に、該画素行内の各画素での前記Ｇ成分と他の色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す横方向色差成分を、該画素行の各画素について算出する横方向色差成分算出手段と、
   前記モザイク画像データの中から前記Ｒ成分または前記Ｂ成分が設定された画素を選択し、該選択された画素の前記縦方向色差成分の変化量と前記横方向色差成分の変化量とを比較することにより、該画素でのエッジ方向を決定するエッジ方向決定手段と、
   前記決定されたエッジ方向を前記選択された画素毎に記憶することにより、前記Ｒ成分の各画素および前記Ｂ成分の各画素に該エッジ方向が設定されたエッジ方向マップを生成するエッジ方向マップ生成手段と、
   前記エッジ方向マップに設定された前記エッジ方向を、周辺の画素の該エッジ方向と比較することにより、誤って決定された該エッジ方向であるエッジノイズを検出して、該エッジノイズを除去するエッジノイズ除去手段と、
   前記モザイク画像データの各画素について該画素に設定されていない色成分である欠落色成分を、前記エッジノイズが除去された前記エッジ方向マップを参照しながら、該モザイク画像データに設定されている前記色成分に基づいて補間する欠落色成分補間手段と
   を備え、
   前記モザイク画像データの同じ色成分間での変化量が、所定の第１の閾値よりも小さく、且つ、該第１の閾値よりも小さい所定の第２の閾値よりも大きな領域を、前記エッジノイズを除去する対象領域として抽出する対象領域抽出手段を備え、
   前記エッジノイズ除去手段は、前記対象領域内の画素に設定されている前記エッジ方向に対して、前記エッジノイズを除去する手段であることを特徴とする画像処理装置。

Images