JP5287585B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、デジタルカメラなどの撮影機器で画像データを生成する技術に関し、詳しく
は、光の三原色に相当するＲ（赤）、Ｇ（緑）、Ｂ（青）の微細なカラーフィルターがモ
ザイク状に配列されたカラーフィルターアレイを使用して、カラー画像データを生成する
技術に関する。

デジタル技術の進歩によって、今日では画像をデジタルデータ（画像データ）として取
り扱うことが一般的になっている。例えば、デジタルカメラなどの撮影機器を用いれば、
画像を撮影すると直ちに、画像データの形態で出力することが可能である。このような撮
影機器には、光の強さを電気信号に変換する小さな素子が集まって構成された言わば電子
的な撮像板が搭載されている。そして、光学系を用いて被写体の像を撮像板の上に結像さ
せ、個々の素子での光の強さを電気信号として検出することによって、画像データを生成
している。また、光学系に入射した光を、光の三原色に相当するＲ、Ｇ、Ｂの各成分に分
離した後に撮像板上に結像させて、各成分の光の強さに対応する電気信号を出力すれば、
カラー画像データを生成することも可能である。

ここで、光学系に入射した光を、Ｒ、Ｇ、Ｂの各成分に分離した状態で撮像板の上に結
像させる方法としては、最も単純には、入射光を分光プリズムによって色成分毎に分離し
た後に、撮像板に結像させてＲ、Ｇ、Ｂの成分毎に画像データを生成する方法が考えられ
る。もっとも、これでは３つの撮像板が必要になる。そこで、撮像板を構成する各素子に
Ｒ、Ｇ、Ｂの何れかの色成分を割り振っておき、１つの撮像板でＲ、Ｇ、Ｂの各成分を検
出する方式も広く用いられている。この方式では、Ｒ成分を検出する素子の前にはＲ成分
のみを透過する小さなカラーフィルターを設け、Ｇ成分を検出する素子の前にはＧ成分の
みを透過するカラーフィルターを、そしてＢ成分を検出する素子の前にはＢ成分のみを透
過するカラーフィルターを設けることで、１つの撮像板でＲ、Ｇ、Ｂの各成分の画像デー
タを同時に検出する。もちろん、１つの撮像板でＲ、Ｇ、Ｂの各成分を検出する方式では
、ある成分（例えばＲ成分）を検出した素子では他の成分（例えばＧ成分やＢ成分）を検
出することはできない。従って、得られる画像データは、Ｒ成分を検出した画素と、Ｇ成
分を検出した画素と、Ｂ成分を検出した画素とが組み合わさったモザイク状の画像データ
となるが、足らない色成分は周辺の画素から補間することによって、全ての画素について
Ｒ、Ｇ、Ｂの各成分が揃ったカラー画像データを生成することが可能である。

尚、Ｒ、Ｇ、Ｂの色成分に分離した光を３つの撮像板を用いて電気信号に変換すること
で、Ｒ、Ｇ、Ｂの各成分の画像データを生成する撮影機器は、「３板式」の撮影機器と呼
ばれることがある。また、１つの撮像板を用いてモザイク状の画像データを生成した後、
欠落した色成分を補間によって求める方式の撮影機器は、「単板式」の撮影機器と呼ばれ
ることがある。更に、モザイク状の画像データから欠落した色成分を補って、Ｒ、Ｇ、Ｂ
の各成分が揃ったカラー画像データを生成する処理は、「デモザイク処理」と呼ばれるこ
とがある。

もっとも、単板式の撮影機器では、欠落した色成分を求めるための補間演算が必要とな
り、その演算のための時間が必要になるだけでなく、演算時に生じる補間誤差によってい
わゆる偽色が発生することがある。そこで、偽色の発生を回避しながら、出来るだけ補間
演算に要する時間の増加は抑制することを目的として種々の技術が提案されている。例え
ば、欠落した色成分を求めた後、各画素についての色差成分（例えばＧ成分とＲ成分との
差）を求めておき、注目画素を含んだ所定数の画素列の中で、色差成分が最大の画素およ
び最小の画素はノイズとして省いた上で、注目画素の各色成分を再計算する技術が提案さ
れている（特許文献１参照）。あるいは、各画素について求めた色差成分にローパスフィ
ルターを施した後、ノイズ成分が除去された色成分に基づいて各色成分を再計算する技術
も提案されている（特許文献２参照）。

特開２００５−１６７９７４号公報 特開２００５−２６０９０８号公報

しかし、撮影機器の画質に対する消費者の要求も年々厳しくなっており、偽色の発生を
より一層抑制することの可能なデモザイク処理技術の開発が要請されている。また、消費
者の画質に対する要請に対応するべく、撮影機器で撮影する画像の画素数も年々増加して
おり、このことに対応して、より迅速に実行することの可能なデモザイク処理技術の開発
が要請されている。

この発明は、上述したような、従来のデモザイク処理に対する互いに相反する要請を、
同時に満足させるためになされたものであり、偽色の発生をより一層抑制可能でありなが
ら、迅速にデモザイク処理を実行可能な技術の提供を目的とする。

上述した課題の少なくとも一部を解決するために、本発明の画像処理装置は次の構成を
採用した。すなわち、光の三原色に対応するＲ、Ｇ、Ｂの色成分が画素毎に一成分ずつ設
定された画像データであるモザイク画像データを受け取って、該モザイク画像データに所
定の画像処理を施すことにより、各画素にＲ、Ｇ、Ｂの全ての色成分が設定されたカラー
画像データを生成する画像処理装置であって、前記モザイク画像データは、前記Ｒ成分の
画素と前記Ｇ成分の画素とが縦方向に交互に並んだ画素列と、前記Ｇ成分の画素と前記Ｂ
成分の画素とが縦方向に交互に並んだ画素列と、前記Ｒ成分の画素と前記Ｇ成分の画素と
が横方向に交互に並んだ画素行と、前記Ｇ成分の画素と前記Ｂ成分の画素とが横方向に交
互に並んだ画素行とが組み合わされて構成された画像データであり、前記モザイク画像デ
ータの前記画素列毎に、該画素列内の各画素での前記Ｇ成分と他の色成分とを補間によっ
て算出し、該Ｇ成分と該他の色成分との差を示す縦方向色差成分を、該画素列の各画素に
ついて算出する縦方向色差成分算出手段と、前記モザイク画像データの前記画素行毎に、
該画素行内の各画素での前記Ｇ成分と他の色成分とを補間によって算出し、該Ｇ成分と該
他の色成分との差を示す横方向色差成分を、該画素行の各画素について算出する横方向色
差成分算出手段と、前記モザイク画像データの中から前記Ｒ成分の画素および前記Ｂ成分
の画素を選択し、該選択された各画素での前記縦方向色差成分の変化量と前記横方向色差
成分の変化量とを比較することにより、各画素でのエッジ方向を、縦方向または横方向の
何れかに決定するエッジ方向決定手段と、前記モザイク画像データの各画素について該画
素に設定されていない色成分である欠落色成分を、前記エッジ方向を参照しながら、該モ
ザイク画像データに設定されている前記色成分に基づいて補間する欠落色成分補間手段と
、前記欠落色成分が補間された画像データを解析することにより、エッジ方向が斜め方向
の画素である斜めエッジ画素を検出する斜めエッジ画素検出手段と、前記斜めエッジ画素
でのエッジ方向である斜めエッジ方向を、前記縦方向色差成分および前記横方向色差成分
に基づいて決定する斜めエッジ方向決定手段と、前記斜めエッジ画素から前記斜めエッジ
方向にある画素での、前記モザイク画像データ、前記縦方向色差成分、あるいは前記横方
向色差成分の少なくとも１つに基づいて、該斜めエッジ画素での前記欠落色成分を算出し
た後、前記欠落色成分補間手段によって得られた該欠落色成分を、該算出した欠落色成分
によって更新することにより、該斜めエッジ画素での補間結果を修正する斜めエッジ画素
補間修正手段とを備えることを要旨とする。

また、上記の画像処理装置に対応する本発明の画像処理方法は、光の三原色に対応する
Ｒ、Ｇ、Ｂの色成分が画素毎に一成分ずつ設定された画像データであるモザイク画像デー
タを受け取って、該モザイク画像データに所定の画像処理を施すことにより、各画素にＲ
、Ｇ、Ｂの全ての色成分が設定されたカラー画像データを生成する画像処理方法であって
、前記モザイク画像データとして、前記Ｒ成分の画素と前記Ｇ成分の画素とが縦方向に交
互に並んだ画素列と、前記Ｇ成分の画素と前記Ｂ成分の画素とが縦方向に交互に並んだ画
素列と、前記Ｒ成分の画素と前記Ｇ成分の画素とが横方向に交互に並んだ画素行と、前記
Ｇ成分の画素と前記Ｂ成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構
成された画像データを受け取る第１の工程と、前記モザイク画像データの前記画素列毎に
、該画素列内の各画素での前記Ｇ成分と他の色成分とを補間によって算出し、該Ｇ成分と
該他の色成分との差を示す縦方向色差成分を、該画素列の各画素について算出する第２の
工程と、前記モザイク画像データの前記画素行毎に、該画素行内の各画素での前記Ｇ成分
と他の色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す横方向色差
成分を、該画素行の各画素について算出する第３の工程と、前記モザイク画像データの中
から前記Ｒ成分の画素および前記Ｂ成分の画素を選択し、該選択された各画素での前記縦
方向色差成分の変化量と前記横方向色差成分の変化量とを比較することにより、各画素で
のエッジ方向を、縦方向または横方向の何れかに決定する第４の工程と、前記モザイク画
像データの各画素について該画素に設定されていない色成分である欠落色成分を、前記エ
ッジ方向を参照しながら、該モザイク画像データに設定されている前記色成分に基づいて
補間する第５の工程と、前記欠落色成分が補間された画像データを解析することにより、
エッジ方向が斜め方向の画素である斜めエッジ画素を検出する第６の工程と、前記斜めエ
ッジ画素でのエッジ方向である斜めエッジ方向を、前記縦方向色差成分および前記横方向
色差成分に基づいて決定する第７の工程と、前記斜めエッジ画素から前記斜めエッジ方向
にある画素での、前記モザイク画像データ、前記縦方向色差成分、あるいは前記横方向色
差成分の少なくとも１つに基づいて、該斜めエッジ画素での前記欠落色成分を算出した後
、前記第５の工程で得られた該欠落色成分を、該算出した欠落色成分によって更新するこ
とにより、該斜めエッジ画素での補間結果を修正する第８の工程とを備えることを要旨と
する。

かかる本発明の画像処理装置および画像処理方法においては、モザイク画像データを受
け取ると、該モザイク画像データを構成する画素列毎に縦方向色差成分を算出するととも
に、該モザイク画像データを構成する画素行毎に横方向色差成分を算出する。モザイク画
像データは、画素列としては、Ｒ成分の画素とＧ成分の画素とが縦方向に交互に並んだ画
素列と、Ｇ成分の画素とＢ成分の画素とが縦方向に交互に並んだ画素列とから構成されて
おり、画素行としては、Ｒ成分の画素とＧ成分の画素とが横方向に交互に並んだ画素行と
、Ｇ成分の画素とＢ成分の画素とが横方向に交互に並んだ画素行とから構成されている。
従って、縦方向色差成分としては、Ｇ成分とＲ成分との差を表す色差成分、あるいはＧ成
分とＢ成分との差を表す色差成分の何れかが、画素列毎に得られることになる。同様に、
横方向色差成分としては、Ｇ成分とＲ成分との差を表す色差成分、あるいはＧ成分とＢ成
分との差を表す色差成分の何れかが、画素行毎に得られることになる。次いで、モザイク
画像データ中からＲ成分またはＢ成分が設定された画素を選択し、選択した画素での縦方
向色差成分の変化量と横方向色差成分の変化量とを比較することによって、その画素での
エッジ方向を決定する。上述したように、縦方向色差成分および横方向色差成分は、何れ
もＧ成分とＲ成分との色差成分か、Ｇ成分とＢ成分との色差成分の何れかしか取り得ない
から、Ｒ成分が設定された画素であれば、縦方向色差成分も横方向色差成分もＧ成分とＲ
成分との色差成分となるため、縦横の色差成分を比較することによって、その画素でのエ
ッジの方向を決定することができる。同様に、Ｂ成分が設定された画素であれば、縦方向
色差成分も横方向色差成分もＧ成分とＢ成分との色差成分となるため、縦横の色差成分を
比較することでエッジの方向を決定することができる。モザイク画像データの各画素につ
いて、その画素に設定されていない色成分である欠落色成分を補間する際には、こうして
決定されたエッジの方向を参照しながら補間する。次いで、欠落色成分が補間された画像
データを解析することにより、斜めエッジ画素を検出し、更に、斜めエッジ画素でのエッ
ジ方向（斜めエッジ方向）を決定する。先に、欠落色成分を補間した際には、エッジ方向
が縦方向または横方向の何れかであるとして補間しているから、エッジが斜め方向に走っ
ている画素では補間時に誤差が混入していると考えられるため、欠落色成分が補間された
画像データを解析することで斜めエッジ画素を検出することができる。また、斜めエッジ
方向についても、縦方向色差成分および横方向色差成分に基づいて決定することができる
。そして、斜めエッジ画素での欠落色成分を、斜めエッジ方向に沿って補間することによ
って算出し、得られた値によって、斜めエッジ画素での欠落色成分を更新する。

こうすれば、モザイク画像データの全ての画素で、正しいエッジの方向に沿って欠落色
成分を補間することができるため、適切なカラー画像データを生成することが可能となる
。また、始めにエッジの方向を縦方向または横方向の何れかとして補間するため、モザイ
ク画像データの欠落色成分を迅速に補間することができ、次いで、斜めエッジ画素につい
てだけ、斜めエッジ方向に沿って補間しているため、補間し直す処理も迅速に行うことが
できる。その結果、適切なカラー画像データを迅速に生成することが可能となる。

また、本発明の画像処理装置においては、次のようにして斜めエッジ画素を検出しても
よい。先ず、欠落色成分が補間された画像データに基づいて、Ｒ成分とＢ成分との差を示
すＲＢ色差成分を算出する。次いで、ＲＢ色差成分の縦方向への変化量と、横方向への変
化量とを算出する。そして、何れの変化量も、所定の閾値より大きな画素を、斜めエッジ
画素として検出することとしてもよい。

モザイク画像データの何れの画素列をとっても、何れの画素行をとっても、必ずＧ成分
は含まれているが、Ｒ成分やＢ成分については、含まれていない場合が存在する。このこ
とは、モザイク画像データには、Ｇ成分は多く存在しているが、Ｒ成分やＢ成分は少ない
ことを意味している。逆に言えば、Ｒ成分やＢ成分は多くの画素で補間されているが、Ｇ
成分については、Ｒ成分やＢ成分ほどには補間されている画素が多くはない。従って、Ｒ
成分とＢ成分との色差であるＲＢ色差成分には、Ｇ成分とＲ成分との色差や、Ｇ成分とＢ
成分との色差に較べて、補間による誤差が大きく現れる。このことから、ＲＢ色差成分の
変化量を用いることで斜めエッジ画素を精度良く検出することが可能となる。

また、本発明の画像処理装置においては、次のようにして斜めエッジ画素でのエッジ方
向（斜めエッジ方向）を決定することとしても良い。先ず、縦方向色差成分と横方向色差
成分との合計を示す合計色差成分を、斜めエッジ画素毎に算出する。次に、斜めエッジ画
素を中心とする右上がり方向への合計色差成分の変化量と、斜めエッジ画素を中心とする
右下がり方向への合計色差成分の変化量とを算出して、両方向への変化量を比較する。そ
して、変化量の小さい方向を、斜めエッジ画素での斜めエッジ方向と決定してもよい。

縦方向色差成分と横方向色差成分とは、欠落色成分を補間するために既に求められてい
るから、これらを合計した合計色差成分の変化量をもちいれば、斜めエッジ方向を迅速に
決定することが可能となる。

また、本発明は、上述した画像処理方法を実現するためのプログラムをコンピューター
に読み込ませ、所定の機能を実行させることで、コンピューターを用いても実現すること
が可能である。従って、本発明は、次のようなプログラムとしての態様も含んでいる。す
なわち、上述した画像処理方法に対応する本発明のプログラムは、光の三原色に対応する
Ｒ、Ｇ、Ｂの色成分が画素毎に一成分ずつ設定された画像データであるモザイク画像デー
タを受け取って、該モザイク画像データに所定の画像処理を施すことにより、各画素にＲ
、Ｇ、Ｂの全ての色成分が設定されたカラー画像データを生成する方法を、コンピュータ
ーを用いて実現するためのプログラムであって、前記モザイク画像データとして、前記Ｒ
成分の画素と前記Ｇ成分の画素とが縦方向に交互に並んだ画素列と、前記Ｇ成分の画素と
前記Ｂ成分の画素とが縦方向に交互に並んだ画素列と、前記Ｒ成分の画素と前記Ｇ成分の
画素とが横方向に交互に並んだ画素行と、前記Ｇ成分の画素と前記Ｂ成分の画素とが横方
向に交互に並んだ画素行とが組み合わされて構成された画像データを受け取る第１の機能
と、前記モザイク画像データの前記画素列毎に、該画素列内の各画素での前記Ｇ成分と他
の色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す縦方向色差成分
を、該画素列の各画素について算出する第２の機能と、前記モザイク画像データの前記画
素行毎に、該画素行内の各画素での前記Ｇ成分と他の色成分とを補間によって算出し、該
Ｇ成分と該他の色成分との差を示す横方向色差成分を、該画素行の各画素について算出す
る第３の機能と、前記モザイク画像データの中から前記Ｒ成分の画素および前記Ｂ成分の
画素を選択し、該選択された各画素での前記縦方向色差成分の変化量と前記横方向色差成
分の変化量とを比較することにより、各画素でのエッジ方向を、縦方向または横方向の何
れかに決定する第４の機能と、前記モザイク画像データの各画素について該画素に設定さ
れていない色成分である欠落色成分を、前記エッジ方向を参照しながら、該モザイク画像
データに設定されている前記色成分に基づいて補間する第５の機能と、前記欠落色成分が
補間された画像データを解析することにより、エッジ方向が斜め方向の画素である斜めエ
ッジ画素を検出する第６の機能と、前記斜めエッジ画素でのエッジ方向である斜めエッジ
方向を、前記縦方向色差成分および前記横方向色差成分に基づいて決定する第７の機能と
、前記斜めエッジ画素から前記斜めエッジ方向にある画素での、前記モザイク画像データ
、前記縦方向色差成分、あるいは前記横方向色差成分の少なくとも１つに基づいて、該斜
めエッジ画素での前記欠落色成分を算出した後、前記第５の機能によって得られた該欠落
色成分を、該算出した欠落色成分によって更新することにより、該斜めエッジ画素での補
間結果を修正する第８の機能とを実現させることを要旨とする。

かかる本発明のプログラムをコンピューターに読み込ませて、上記の各種機能を実現さ
せることにより、モザイク画像データの欠落色成分を適切に補間して、偽色の発生を回避
しながら、迅速にカラー画像データを生成することが可能となる。

本実施例の画像処理装置３０を搭載したデジタルカメラ１００の構成を示す説明図である。 カラーフィルターアレイ２２および撮像板２４の構成を概念的に示した説明図である。 本実施例の画像処理装置３０がＲＡＷ画像データからカラー画像データを生成するために実行するカラー画像データ生成処理の流れを示すフローチャートである。 ＲＡＷ画像データを色差成分のデータに変換する様子を概念的に示した説明図である。 ＲＡＷ画像データから色差成分を求めるための算出式を示した説明図である。 色差成分に混入したノイズを除去するために用いられるローパスフィルターを例示した説明図である。 本実施例の画像処理装置３０内で行われるエッジ方向マップ生成処理の流れを示したフローチャートである。 上下方向の色差成分ＣＤｖから上下方向への変化量Ｖｖを算出する様子を例示した説明図である。 水平方向の色差成分ＣＤｈから水平方向への変化量Ｖｈを算出する様子を例示した説明図である。 エッジ方向を判断するために判断画素を選択したときの周囲の状態を示した説明図である。 Ｇ画素でのエッジ方向を判断可能とするための方法を示した説明図である。 色差成分の変化量を算出する他の方法を例示した説明図である。 非Ｇ画素でＧ成分を補間する処理の流れを示すフローチャートである。 非Ｇ画素でＧ成分を算出する処理を模式的に示した説明図である。 非Ｇ画素補間処理の流れを示すフローチャートである。 Ｇ画素補間処理の流れを示すフローチャートである。 Ｇ画素で周囲の画素のエッジ方向からエッジ方向を推定する方法を示した説明図である。 斜めエッジ部修正処理の流れを示すフローチャートである。 斜めエッジ画素を検出する方法を示した説明図である。 斜めエッジ画素の検出結果が正しいか否かを判断する方法についての説明図である。 斜めエッジ画素のエッジ方向を決定する処理の流れを示すフローチャートである。 右上がり方向への色差成分の変化量Ｖ45を算出する様子を示す説明図である。 右下がり方向への色差成分の変化量Ｖ135を算出する様子を示す説明図である。 斜めエッジノイズを除去する方法について示した説明図である。 斜めエッジ画素でＲ、Ｇ、Ｂの各成分を補間し直す処理の流れを示すフローチャートである。 非Ｇ画素再補間処理の流れを示すフローチャートである。 右下がり方向に沿って非Ｇ画素での欠落成分を補間するための算出式を示した説明図である。 Ｒ画素を例に用いて、欠落した色成分を右下がり方向に補間する様子を示した説明図である。 右上がり方向に沿って非Ｇ画素での欠落成分を補間するための算出式を示した説明図である。 非Ｇ画素での欠落した色成分を右下がり方向に沿って補間するための他の算出式を示した説明図である。 Ｒ画素の欠落した色成分（Ｂ成分およびＧ成分）を、右下がり方向に沿って補間する様子を示した説明図である。 非Ｇ画素での欠落した色成分を右上がり方向に沿って補間するための算出式を示した説明図である。 Ｇ画素再補間処理の流れを示すフローチャートである。 Ｇ画素で右下がり方向に補間して第１の色成分Ｆおよび第２の色成分Ｓを求める算出式を示した説明図である。 Ｇ画素で右下がり方向に補間することにより、第１の色成分Ｆおよび第２の色成分Ｓを算出する様子を例示した説明図である。 Ｇ画素で右上がり方向に補間して第１の色成分Ｆおよび第２の色成分Ｓを求める算出式を示した説明図である。

以下では、上述した本願発明の内容を明確にするために、次のような順序に従って実施
例を説明する。
Ａ．装置構成：
Ｂ．カラー画像データ生成処理の概要：
Ｃ．エッジ方向マップ生成処理：
Ｄ．Ｇ成分補間処理：
Ｅ．非Ｇ画素補間処理：
Ｆ．Ｇ画素補間処理：
Ｇ．斜めエッジ部修正処理：
Ｇ−１．斜めエッジ画素の検出：
Ｇ−２．斜めエッジ方向の決定：
Ｇ−３．斜めエッジ部の再補間：

Ａ．装置構成：
図１は、本実施例の画像処理装置３０を搭載したデジタルカメラ１００の構成を示す説
明図である。図示されるように、デジタルカメラ１００は、複数のレンズ群から構成され
る光学系１０と、光学系１０によって結像された被写体の像を電気信号に変換する撮像部
２０と、撮像部２０で得られた電気信号を受け取って所定の画像処理を施すことにより、
カラー画像データを生成する画像処理装置３０などから構成されている。

撮像部２０には、光の強さを電気信号に変換する微細な撮像素子が二次元的に配列され
て構成された撮像板２４が搭載されており、撮像板２４の手前側には、Ｒ（赤）、Ｇ（緑
）、Ｂ（青）の微細なカラーフィルターがモザイク状に配列されたカラーフィルターアレ
イ２２が設けられている。カラーフィルターアレイ２２を構成するＲ、Ｇ、Ｂのカラーフ
ィルターの配置については後述するが、ＲのカラーフィルターではＲ色の光を主に透過し
、ＧのカラーフィルターではＧ色の光を主に透過し、ＢのカラーフィルターではＢ色の光
を主に透過するため、撮像板２４では、Ｒ、Ｇ、Ｂのカラーフィルターの配置に従って、
Ｒの光の強さに対応する部分と、Ｇの光の強さに対応する部分と、Ｂの光の強さに対応す
る部分とが、モザイク状に組み合わされた画像データが得られることになる。

デジタルカメラ１００に搭載された画像処理装置３０は、このようなモザイク状の画像
データを撮像部２０から受け取って、各画素にＲ成分、Ｇ成分、Ｂ成分が設定されたカラ
ー画像データを生成する処理を行う。図示されているように、本実施例の画像処理装置３
０は、ＣＰＵや、ＲＯＭ、ＲＡＭ、データの入出力を行うＩ／Ｆなどが、バスを介して互
いにデータをやり取り可能に接続されて構成されており、カラー画像データを生成する処
理は、ＲＯＭに記憶されているプログラムに従ってＣＰＵが所定の動作を行うことによっ
て実現されている。また、こうして得られたカラー画像データは、外部出力端子４０を介
して外部機器に出力したり、あるいは外部記録媒体５０に出力することも可能となってい
る。

尚、撮像板２４で得られるようなＲ、Ｇ、Ｂの各成分がモザイク状に組み合わされた画
像データは、画像処理装置３０が、各画素にＲ、Ｇ、Ｂの各成分が設定されたカラー画像
データを生成するための元になる画像データであることから、撮像板２４で得られるモザ
イク状の画像データは「ＲＡＷ画像データ」と呼ばれることがある。

図２は、カラーフィルターアレイ２２および撮像板２４の構成を概念的に示した説明図
である。前述したように撮像板２４は、光の強さに応じた電気信号を出力する微細な撮像
素子が、二次元的に配置されて構成されている。図２では、微細な撮像素子が格子状に配
置されている場合を表しており、撮像板２４を格子状に分割する小さなマス目の１つ１つ
は、撮像素子を概念的に表したものである。

カラーフィルターアレイ２２は、撮像板２４を構成する各撮像素子の位置に、Ｒのカラ
ーフィルター、Ｇのカラーフィルター、Ｂのカラーフィルターの何れかが設定された構成
となっている。図２では、Ｒのカラーフィルターには粗い斜線を施して表示し、Ｂのカラ
ーフィルターには細かい斜線を施して表示してある。また、斜線を施していない部分は、
Ｇのカラーフィルターが設定されていることを示している。これらＲ、Ｇ、Ｂのカラーフ
ィルターの配置は、先ずＧのフィルターを、互いが斜めの位置となるように（すなわち、
チェッカーフラッグ状となるように）配置する。この結果、カラーフィルターアレイ２２
の半分の位置にはＧのフィルターが配置されることになる。次いで、残りの半分の位置に
、ＲのフィルターおよびＢのフィルターを、それぞれ同数ずつ均等に配置する。このよう
にして得られた図２に示す配置のカラーフィルターは、「ベイヤー型カラーフィルター」
と呼ばれている。

前述したように、ＧのカラーフィルターはＧ色の光のみを透し、Ｒのカラーフィルター
はＲ色の光のみを、ＢのカラーフィルターはＢ色の光のみを透すから、撮像板２４の手前
側にベイヤー型のカラーフィルターアレイ２２を設けると、図２に示すように、撮像板２
４ではモザイク状の画像データが生成されることになる。もちろん、このような形式の画
像データは、通常の画像データと同じように取り扱うことはできず、そのままでは画像を
表示することができない。そこで、画像処理装置３０は、このような画像データ（ＲＡＷ
画像データ）を受け取って、画素毎にＲ、Ｇ、Ｂの各成分が設定された通常のカラー画像
データを生成する処理を行う。

Ｂ．カラー画像データ生成処理の概要：
図３は、本実施例の画像処理装置３０が、ＲＡＷ画像データからカラー画像データを生
成するために実行するカラー画像データ生成処理の流れを示すフローチャートである。尚
、かかる処理は、本実施例では画像処理装置３０に搭載されたＣＰＵが実行するものとし
て説明するが、もちろん、シグナルプロセッサーなどの専用のハードウェアを用いて実行
することとしてもよい。

カラー画像データ生成処理では、先ず始めに、元となるＲＡＷ画像データを、撮像板２
４から読み込む処理を行う（ステップＳ１００）。次いで、読み込んだＲＡＷ画像データ
を、色差成分のデータに変換する処理を行う（ステップＳ１０２）。これは次のような処
理である。

図４は、ＲＡＷ画像データを色差成分のデータに変換する様子を概念的に示した説明図
である。図の上段には、撮像板２４から読み込んだＲＡＷ画像データが概念的に示されて
いる。ベイヤー型のカラーフィルターによって得られたＲＡＷ画像データは、Ｒ成分、Ｇ
成分、Ｂ成分の画素がモザイク状に配置された画像データとなっているが、水平方向に注
目して観察すると、水平方向の画素列には、Ｇ画素（Ｇ成分が得られている画素）とＲ画
素（Ｒ成分が得られている画素）とが交互に現れる画素列か、若しくは、Ｇ画素とＢ画素
（Ｂ成分が得られている画素）とが交互に現れる画素列の何れかしか存在しない。また、
上下方向に注目して観察した場合も同様に、上下方向の画素列には、Ｇ画素とＲ画素とが
交互に現れる画素列か、Ｇ画素とＢ画素とが交互に現れる画素列しか存在しない。図４の
中段には、水平方向あるいは上下方向に着目して観察すると、ＲＡＷ画像データが、Ｇ画
素およびＲ画素から構成される画素列と、Ｇ画素およびＢ画素から構成される画素列とに
よって構成されている様子が示されている。

以上のような観察結果に基づいて、本実施例のカラー画像データ生成処理では先ず初め
に、Ｒ、Ｇ、Ｂの各成分から構成されるＲＡＷ画像データを、水平方向の画素列を構成す
る各色成分の差（水平方向の色差成分）を表すデータと、上下方向の画素列を構成する各
色成分の差（上下方向の色差成分）を表すデータとに変換する。例えば、Ｇ画素およびＲ
画素から構成される画素列であれば、Ｇ成分とＲ成分との色差成分に変換し、Ｇ画素およ
びＢ画素の画素列であれば、Ｇ成分とＢ成分との色差成分に変換する。尚、色差成分を求
めるための算出式については後述する。

図４の下段には、このようにして水平方向あるいは上下方向の色差成分が得られる様子
が概念的に示されている。例えば、下段の左側の図には、ＲＡＷ画像データを上下方向に
観察することで、上下方向の色差成分ＣＤｖが得られる様子が示されている。図中に斜線
を付した画素列は、Ｇ画素およびＢ画素からなる画素列であるから、その画素列で得られ
る色差成分ＣＤｖは、Ｇ成分とＢ成分との差を表す色差成分となる。また、その他の画素
列は、Ｇ画素およびＲ画素の画素列であるから、その画素列で得られる色差成分ＣＤｖは
、Ｇ成分とＲ成分との差を表す色差成分となる。水平方向についても全く同様なことが成
立する。すなわち、ＲＡＷ画像データを水平方向に観察すれば分かるように、斜線を付し
て示した画素列からは、Ｇ成分とＢ成分との差を表す色差成分ＣＤｈが得られ、斜線を付
さない画素列からは、Ｇ成分とＲ成分との差を表す色差成分ＣＤｈを得ることができる。

図５は、ＲＡＷ画像データから色差成分を求めるための算出式を示した説明図である。
図５（ａ）には、上下方向の色差成分ＣＤｖを求めるための算出式が示されており、図５
（ｂ）には水平方向の色差成分ＣＤｈを求めるための算出式が示されている。尚、図中に
示した階調値ｚは、撮像板２４で得られたＲＡＷ画像データの階調値を表している。また
、階調値ｚ（ｒ，ｓ）は、その階調値が、画像中に取った原点の位置から下方向に向かっ
てｒ番目、右方向に向かってｓ番目にある画素位置での階調値であることを示している（
図４の上段を参照のこと）。

先ず初めに、図５（ａ）を参照しながら、上下方向の色差成分ＣＤｖを求める算出式に
ついて説明する。色差成分ＣＤｖを求めようとしている画素が、Ｇ成分が得られている画
素（Ｇ画素）である場合には、図５（ａ）の上式に示されるように、先ず、上下の画素で
得られた階調値の平均値を求め（一点鎖線で囲って示した第２項）、次いで、求めようと
している画素で得られたＧ成分から（破線で囲って示した第１項）、平均値の値を減算す
ることによって、上下方向の色差成分ＣＤｖを算出する。すなわち、ここではＧ画素での
色差成分を求める場合について考えているから、色差成分を求めようとしている画素での
階調値ｚ（ｒ，ｓ）は、当然ながらＧ成分である。また、第２項に現れる階調値ｚ（ｒ−
１，ｓ）は、この画素に隣接する上側の画素で得られたＲＡＷ画像データの階調値であり
、階調値ｚ（ｒ＋１，ｓ）は下側の隣接する画素で得られたＲＡＷ画像データの階調値で
ある。そして、図４を用いて説明したように、Ｇ画素の上下の画素はＲ画素またはＢ画素
の何れの場合もあり得るが、上下に来る画素が互いに異なる色成分の画素となることはな
い。従って、図５（ａ）の上式に一点鎖線で囲って示した第２項は、上下の画素（すなわ
ち、Ｒ画素またはＧ画素）の階調値から算出したＧ画素でのＲ成分またはＢ成分を表して
いる。このことから、Ｇ成分が得られている画素（Ｇ画素）については、上下の画素がＲ
画素またはＢ画素の何れの場合でも、図５（ａ）の上式を適用することで、上下方向の色
差成分ＣＤｖを求めることが可能となる。

尚、同じ式を用いて算出しているが、上下の画素がＲ画素またはＢ画素の何れであるか
によって、得られる色差成分ＣＤｖの中身は異なったものとなる点に注意しておく必要が
ある。すなわち、上下の画素がＲ画素である場合には、得られた上下方向の色差成分ＣＤ
ｖは、Ｇ成分とＲ成分との差を表す色差成分となり、上下の画素がＢ画素である場合には
、Ｇ成分とＢ成分との差を表す色差成分となる。

Ｇ画素以外の画素（すなわち、Ｒ画素またはＧ画素）で、上下方向の色差成分ＣＤｖを
求める場合も、ほぼ同様にして求めることができる。例えば、色差成分ＣＤｖを求めよう
としている画素がＲ画素であったとすると、図４を用いて説明したように上下の画素はＧ
画素となるから、上下の画素の階調値の平均値は、色差成分ＣＤｖを求めようとしている
着目画素でのＧ成分を表していると考えることができる。そこで、求めたＧ成分の値から
、着目画素の階調値（ここではＲ成分）を減算してやれば、色差成分ＣＤｖを求めること
ができる。着目画素がＢ画素である場合についても全く同様なことが成立する。結局、Ｇ
画素以外の画素については、図５（ａ）の下式に示したように、右辺に破線で囲った第１
項から、一点鎖線で囲った第２項を減算することで、上下方向の色差成分ＣＤｖを求める
ことができる。

尚、Ｇ画素以外の画素について上下方向の色差成分ＣＤｖを求める場合も、その画素が
Ｒ画素またはＢ画素の何れであるかに拘わらず同じ式を用いて算出するが、その画素がＲ
画素またはＢ画素の何れであるかによって、得られる色差成分ＣＤｖの中身が異なる点に
注意しておく必要がある。すなわち、その画素がＲ画素である場合には、Ｇ成分とＲ成分
との差を表す色差成分ＣＤｖとなり、その画素がＢ画素である場合には、Ｇ成分とＢ成分
との差を表す色差成分ＣＤｖとなる。

また、本実施例のカラー画像データ生成処理では、このように中身の異なる２種類の色
差成分ＣＤｖを用いた高度な処理をしているにも拘わらず、実際の計算式は全く同じ式を
使用することができる。このため、２種類の色差成分ＣＤｖを同時に扱っているにも拘わ
らず単純な処理を行った場合と同じ程度に簡素な処理となり、迅速に実行することができ
る。もちろん、実際の中身は高度な処理を行っているため、後述するように、偽色を発生
させることなく、適切にデモザイク処理を行うことが可能となっている。

以上、上下方向の色差成分ＣＤｖを求める場合について説明したが、水平方向の色差成
分ＣＤｈについても同様にして求めることができる。以下、図５（ｂ）を参照しながら簡
単に説明すると、先ず、Ｇ画素での水平方向の色差成分ＣＤｈを求める場合には、上式に
示したように、破線で囲って示した第１項から、一点鎖線で囲った第２項を減算すること
によって、水平方向の色差成分ＣＤｈを求めることができる。ここで、階調値ｚ（ｒ，ｓ
）は、色差成分を求めようとしている着目画素で得られたＲＡＷ画像データの階調値（す
なわち、Ｇ成分）である。また、階調値ｚ（ｒ，ｓ−１）は着目画素の左隣の画素での階
調値であり、階調値ｚ（ｒ，ｓ＋１）は着目画素の右隣の画素での階調値である。着目画
素の左右の画素は、Ｒ画素またはＢ画素の何れの場合もあり得るが、左右の画素が異なる
色成分の画素となることはない。

Ｇ画素以外の画素（すなわち、Ｒ画素またはＧ画素）で、水平方向の色差成分ＣＤｈを
求める場合は、着目画素の左右の画素がＧ画素となり、着目画素がＲ画素またはＢ画素の
何れかとなる。従って、図５（ｂ）の下式に示すように、破線で囲った第１項（左右の画
素の平均値）から、一点鎖線で囲った第２項（着目画素の階調値）を減算することによっ
て、水平方向の色差成分ＣＤｈを求めることができる。

更に、水平方向の色差成分ＣＤｈを求める場合も、左右の画素がＲ画素またはＢ画素の
何れであるか、あるいはその画素がＲ画素またはＢ画素の何れであるかに拘わらず、同じ
式を用いて色差成分ＣＤｈを算出している。しかし、得られる色差成分ＣＤｖの中身は、
Ｇ成分とＲ成分との差を表している場合と、Ｇ成分とＢ成分との差を表している場合とが
存在している。このように、水平方向の色差成分ＣＤｈについても、中身の異なる２種類
の色差成分ＣＤｈを取り扱っているにも拘わらず、実際の計算式は全く同じ式を使用する
ことが可能であり、単純な処理と同じ程度に簡素な処理となり、迅速に実行可能である。

更に加えて、図５に示すように、上下方向の色差成分ＣＤｖと水平方向の色差成分ＣＤ
ｈとについても、互いに極めて良く似た計算式を用いて求めることが可能である。その結
果、方向の異なる２種類の色差成分（すなわち色差成分ＣＤｖおよび色差成分ＣＤｈ）を
算出する処理も、処理内容を共通化することができ、簡素で迅速に実行可能な処理を実現
することが可能となっている。

図３に示したステップＳ１０２では、以上のようにして、撮像板２４で得られたＲＡＷ
画像データを、上下方向の色差成分ＣＤｖおよび水平方向の色差成分ＣＤｈに変換する処
理を行う。尚、必ずしも必須の処理ではないが、得られた色差成分に混入しているノイズ
を除去するために、上下方向の色差成分ＣＤｖおよび水平方向の色差成分ＣＤｈに、ロー
パスフィルターを作用させておくことが望ましい。後述するように、本実施例のカラー画
像データ生成処理では、画像中に含まれるエッジの方向を、色差成分を用いて検出してお
り、ローパスフィルターを作用させることはエッジを鈍らせてエッジの検出精度を低下さ
せることになるため、本来であれば望ましいことではない。しかし本実施例では、後述す
る方法によって極めて精度良くエッジ方向を検出することが可能であるため、多少、エッ
ジが鈍っても検出精度はほとんど低下することはなく、むしろ、ノイズが除去されること
によって、エッジの方向を安定して検出することが可能となっている。

図６は、色差成分に混入したノイズを除去するために用いられるローパスフィルターを
例示した説明図である。図６（ａ）には、上下方向の色差成分ＣＤｖおよび水平方向の色
差成分ＣＤｈのそれぞれについて、ローパスフィルターが示されている。また、理解の便
宜のために、図６（ｂ）には、水平方向の色差成分ＣＤｈにローパスフィルターを作用さ
せる様子が例示されている。ローパスフィルターを作用させようとしている画素（着目画
素）は、図６（ｂ）中では斜線を付して示されている。本実施例のローパスフィルターで
は、着目画素の左右２画素ずつの色差成分と、着目画素の色差成分とを加算する。この時
、着目画素の色差成分については４画素分の重みを付けて、全体で加算する色差成分が８
画素分となるように調整している。加算した色差成分が８画素分であれば、加算値を下位
ビット側に３ビットシフトさせるだけで、加算値を８で割った１画素分の色差成分を得る
ことが可能であり、ローパスフィルターを作用させる処理を迅速に実行することができる
。

尚、上下方向の色差成分ＣＤｖ、および水平方向の色差成分ＣＤｈは、前述したように
、Ｇ成分とＲ成分との差を表す場合と、Ｇ成分とＢ成分との差を表す場合とが存在するが
、ローパスフィルターを作用させる処理は、こうした違いを全く考慮することなく実行す
ることが可能である。このため、本実施例のカラー画像データ生成処理は、実際には高度
な処理を行っているにも拘わらず、極めて簡素で迅速に実行可能な処理となっている。

図３に示した本実施例のカラー画像データ生成処理では、以上のようにして、上下方向
の色差成分ＣＤｖおよび水平方向の色差成分ＣＤｈを求めたら（図３のステップＳ１０２
）、今度は、これら色差成分のデータを用いてエッジ方向マップを生成する処理（エッジ
方向マップ生成処理）を開始する（ステップＳ１０４）。エッジ方向マップとは、画像中
のエッジが、上下あるいは左右の何れの方向に走っているのか表したマップである。エッ
ジの方向は、全ての画素に設定しておいても良いが、本実施例では、処理の迅速化を図る
ために、Ｇ画素以外の画素（Ｒ画素およびＢ画素）について、エッジの方向を設定するこ
とにする。

エッジ方向マップを生成したら、続いて、Ｇ画素以外の画素（すなわち、Ｒ画素および
Ｂ画素）について、Ｇ成分の階調値を補間によって決定する処理（Ｇ成分補間処理）を行
う（ステップＳ１０６）。Ｇ成分を補間する際には、エッジ方向マップを参照しながら、
周囲の画素から補間することによって、適切な階調値を決定することが可能である。エッ
ジ方向マップを参照しながらＧ成分を補間するＧ成分補間処理の具体的な処理内容につい
ては後述する。

続いて、Ｇ画素以外の画素で、最後の色成分を補間する処理（非Ｇ画素補間処理）を開
始する（ステップＳ１０８）。Ｇ画素以外の画素ということは、Ｒ画素またはＢ画素の何
れかであるが、何れの場合についても先のステップＳ１０６でＧ成分が求められているこ
とから、Ｒ画素であればＢ成分を補間し、Ｂ画素であればＲ成分を補間することになる。
この結果、Ｇ画素以外の画素については、Ｒ、Ｇ、Ｂの全ての色成分を得ることができる
。Ｇ画素以外の画素について、Ｇ成分を補間した後に、最後の色成分を補間する処理（非
Ｇ画素補間処理）の詳細については後述する。

以上のようにしてＧ画素以外の画素での補間を完了したら、今度はＧ画素で、ＲＡＷ画
像データに欠落している色成分（すなわち、Ｒ成分およびＢ成分）を補間する処理（Ｇ画
素補間処理）を行う（ステップＳ１１０）。Ｇ画素で欠落している色成分を補間する際も
、エッジ方向マップを参照することによって、適切な階調値を算出することができる。Ｇ
画素で欠落している各成分を決定するＧ画素補間処理の具体的な処理内容については後述
する。

以上のようにして、Ｇ画素以外の画素について欠落した成分を補間し（ステップＳ１０
６およびステップＳ１０８）、Ｇ画素について欠落した成分を補間したら（ステップＳ１
１０）、全ての画素についてＲ、Ｇ、Ｂの各成分が揃ったことになる。

こうして得られたＲ、Ｇ、Ｂの各成分は、エッジ方向マップに基づいてエッジの方向に
沿って補間して求められているため、適切なＲ、Ｇ、Ｂの各成分となっている。しかし前
述したように、エッジ方向マップに設定されているエッジ方向は、必ず上下方向または水
平方向の何れかの方向となっている。もちろん、実際の画像には、斜め方向のエッジも存
在し得るため、このような斜めエッジが存在している部分では、実際のエッジ方向とは異
なる方向に沿って補間していることになるため、誤差の発生が懸念される。そこで、図３
に示した本実施例のカラー画像データ生成処理では、このような部分、すなわち、斜めエ
ッジ部で得られたＲ、Ｇ、Ｂの各成分の値を修正する処理を行う（ステップＳ１１２）。
かかる斜めエッジ部修正処理の詳細については、後ほど詳しく説明する。

こうして、最終的に得られたＲ、Ｇ、Ｂの各成分を、ＲＡＷ画像データから生成された
カラー画像データとして出力した後（ステップＳ１１４）、図３に示した本実施例のカラ
ー画像データ生成処理を終了する。

上述した本実施例のカラー画像データ生成処理では、上下方向および水平方向の色差成
分に基づいてエッジ方向を検出し、エッジ方向マップを生成する。このとき、上下方向の
色差成分ＣＤｖおよび水平方向の色差成分ＣＤｈの各々について、異なる２種類の色差成
分（Ｇ成分とＲ成分との差に対応する色差成分、およびＧ成分とＢ成分との差に対応する
色差成分）を用いてエッジ方向を検出することによって、精度良くエッジ方向マップを生
成することが可能となっている。そして、ＲＡＷ画像データに欠落した色成分を補間する
際には、精度の良いエッジ方向マップを参照しながら補間することで、適切に補間するこ
とが可能となっている。

しかも、エッジ方向マップを生成する処理は、決して複雑な処理ではなく、迅速に実行
可能である。加えて、エッジ方向マップに設定されるエッジ方向は、上下方向または水平
方向の何れかの方向に単純化された状態で設定されているため、より一層迅速に、エッジ
方向マップを生成することが可能である。そして、エッジ方向マップを参照しながら、欠
落した色成分を補間する処理も、迅速に実行することができる。もっとも、エッジ方向マ
ップに設定されるエッジ方向が、上下方向または水平方向の何れかに単純化されている関
係上、実際の画像で斜め方向のエッジが存在している部分では、補間して得られたＲ、Ｇ
、Ｂの各成分に誤差が発生している可能性もある。そこで、エッジ方向マップを参照して
欠落した色成分を補間したら、斜め方向のエッジが存在している部分を抽出して、その部
分だけ、補間結果を修正する処理を行う。その結果、本実施例のカラー画像データ生成処
理では、Ｒ、Ｇ、Ｂの各成分がモザイク状に組み合わされたＲＡＷ画像データから、適切
なカラー画像データを迅速に生成することが可能となっている。

以下では、こうしたことを実現するために、本実施例のカラー画像データ生成処理の中
で行われている各種の処理、すなわち、エッジ方向マップを生成する処理（エッジ方向マ
ップ生成処理）、Ｇ成分を補間する処理（Ｇ成分補間処理）、Ｇ成分以外の画素で欠落し
た最後の色成分を補間する処理（非Ｇ画素補間処理）、Ｇ画素で欠落した色成分を補間す
る処理（Ｇ画素補間処理）、および斜め方向のエッジが存在する部分を抽出して、その部
分だけ補間結果を修正する処理（斜めエッジ部修正処理）について説明する。

Ｃ．エッジ方向マップ生成処理：
図７は、本実施例の画像処理装置３０内で行われるエッジ方向マップ生成処理の流れを
示したフローチャートである。前述したように、かかる処理は、図３のカラー画像データ
生成処理の中で、画像処理装置３０によって実行される処理である。

エッジ方向マップを生成するに際しては、先ず始めにエッジの方向を判断しようとする
画素（判断画素）を１つ選択する（ステップＳ２００）。次いで、判断画素について、色
差成分の上下方向への変化量Ｖｖを算出する（ステップＳ２０２）。尚、上下方向への変
化量Ｖｖを算出するのであるから、色差成分は、当然ながら、上下方向の色差成分ＣＤｖ
を用いて算出する。

図８は、上下方向の色差成分ＣＤｖから上下方向への変化量Ｖｖを算出する様子を例示
した説明図である。図８（ａ）には、算出式が例示されており、図８（ｂ）には、例示さ
れた算出式を用いて、上下方向への変化量Ｖｖを算出する様子が概念的に示されている。
また、図８（ｂ）に示した斜線は、判断画素の位置を表している。上下方向への変化量Ｖ
ｖを算出する際には、先ず、判断画素とその上の画素との間で、色差成分ＣＤｖの差の二
乗値を算出する。また、判断画素とその下の画素との間でも、色差成分ＣＤｖの差の二乗
値を算出する。図８（ｂ）中に、斜線を付した判断画素と上の画素、あるいは下の画素と
の間に示された白抜きの矢印は、それぞれの画素の間で色差成分ＣＤｖの差の二乗値を算
出している様子を模式的に表したものである。

判断画素と上下の画素との間で、色差成分ＣＤｖの差の二乗値を求めたら、今度は、判
断画素の左隣の画素と、その上下の画素との間でも、同様にして色差成分ＣＤｖの差の二
乗値を算出する。更に、判断画素の右隣の画素についても同様にして、右隣の画素とその
上下の画素との間で、色差成分ＣＤｖの差の二乗値を算出する。図８（ｂ）には、このよ
うにして、上下に並んだ６組の画素から１つずつ、合計６つの二乗値が得られた様子が模
式的に示されている。そして、こうして得られた６つの二乗値を加算した値を、判断画素
についての上下方向への変化量Ｖｖとする。

以上のようにして上下方向への変化量Ｖｖを求めたら、今度は、色差成分の水平方向へ
の変化量Ｖｈを算出する（図７のステップＳ２０４）。水平方向への変化量Ｖｈも、上述
した上下方向への変化量Ｖｖと同様にして算出することができるが、上下方向への変化量
Ｖｖを算出することと対応して、当然ながら、算出に用いる色差成分は水平方向の色差成
分ＣＤｈとなる。

図９は、水平方向の色差成分ＣＤｈから水平方向への変化量Ｖｈを算出する様子を例示
した説明図である。図９（ａ）には、算出式が例示されており、図９（ｂ）には、例示さ
れた算出式を用いて、水平方向への変化量Ｖｈを算出する様子が概念的に示されている。
水平方向への変化量Ｖｈを算出する際には、図９（ｂ）に白抜きの矢印で示したように、
判断画素と左右の画素との間で、色差成分ＣＤｈの差の二乗値を算出する。また、判断画
素の上の画素とその左右の画素との間や、判断画素の下の画素とその左右の画素との間で
も、色差成分ＣＤｈの差の二乗値を算出する。そして、これら６つの二乗値を加算して、
判断画素についての水平方向への変化量Ｖｈとする。図９（ａ）には、このようにして色
差成分の水平方向の変化量Ｖｈを求めるための算出式が示されている。

以上のようにして、初めに選択した判断画素について、上下方向への変化量Ｖｖと水平
方向への変化量Ｖｈとが得られたら、これら変化量の大きさを比較する（図７のステップ
Ｓ２０６）。そして、水平方向への変化量Ｖｈの方が、上下方向への変化量Ｖｖよりも大
きかった場合は（ステップＳ２０６：ｙｅｓ）、その判断画素では上下方向にエッジが走
っているものと判断して、エッジ方向を示すエッジ方向ｄの値に「１」を設定する（ステ
ップＳ２０８）。逆に、上下方向への変化量Ｖｖの方が水平方向への変化量Ｖｈよりも大
きかった場合は（ステップＳ２０６：ｎｏ）、その判断画素では水平方向にエッジが走っ
ているものと判断して、エッジ方向を示すエッジ方向ｄの値に「３」を設定する（ステッ
プＳ２１０）。従って、エッジ方向ｄに「１」が設定されている画素では、エッジが上下
方向に走っており、エッジ方向ｄに「３」が設定されている画素では、エッジが水平方向
に走っていることになる。

尚、上下方向への変化量Ｖｖ（図８参照）あるいは水平方向への変化量Ｖｈ（図９参照
）を求める際に、色差成分の差の二乗値を算出しているのは、色差成分の差の符号を考慮
することなく、エッジ方向を判断するためである。従って、色差成分の差の二乗値の替わ
りに絶対値を算出し、隣接する画素間での絶対値を加算することにより、上下方向への変
化量Ｖｖおよび水平方向への変化量Ｖｈを求めることも可能である。もっとも、二乗値の
方が絶対値よりも、色差成分の差が強調されるため、エッジの方向をより精度良く検出す
ることが可能となる。

また、上下方向の変化量Ｖｖと水平方向への変化量Ｖｈとを比較する際には、若干の注
意が必要であり、これに伴って、図７に示すエッジ方向マップ生成処理にもバリエーショ
ンが存在している。以下では、この点について補足説明を行う。

図１０は、エッジ方向を判断するために判断画素を選択したときの周囲の状態を示した
説明図である。判断画素を１つ選択すると、その周囲の状態は、必ず図１０（ａ）〜図１
０（ｄ）の何れかの状態となっている。このうち、図１０（ａ）の場合について説明する
と、上下方向の変化量Ｖｖは、判断画素が位置する上下方向の画素列からは、Ｇ成分とＲ
成分との差を示す色差成分（以下では、ＣＤGRと表記する）に由来する二乗値が得られ、
その左右にある上下方向の画素列からは、Ｇ成分とＢ成分との差を示す色差成分（以下で
は、ＣＤGBと表記する）に由来する二乗値が得られるから、結局、上下方向の変化量Ｖｖ
は、色差成分ＣＤGRに由来する２つの二乗値と、色差成分ＣＤGBに由来する４つの二乗値
とを加算した値となっている。水平方向への変化量Ｖｈについても同様に、色差成分ＣＤ
GRに由来する２つの二乗値と、色差成分ＣＤGBに由来する４つの二乗値とを加算した値と
なっている。従って、上下方向の変化量Ｖｖと水平方向への変化量Ｖｈとを比較すること
で、エッジの方向を適切に判断することができる。

図１０（ｂ）の場合についても同様で、上下方向の変化量Ｖｖ、または水平方向への変
化量Ｖｈの何れも、色差成分ＣＤGBに由来する２つの二乗値と、色差成分ＣＤGRに由来す
る４つの二乗値とを加算した値となっている。このため、上下方向の変化量Ｖｖと水平方
向への変化量Ｖｈとを比較することで、エッジの方向を適切に判断することができる。

ところが、図１０（ｃ）あるいは図１０（ｄ）に示した場合は、こうしたことが成り立
たない。例えば、図１０（ｃ）についていえば、上下方向の変化量Ｖｖは、色差成分ＣＤ
GBに由来する２つの二乗値と、色差成分ＣＤGRに由来する４つの二乗値とを加算した値で
あるが、水平方向の変化量Ｖｈは、色差成分ＣＤGBに由来する４つの二乗値と、色差成分
ＣＤGRに由来する２つの二乗値とを加算した値となっており、上下方向の変化量Ｖｖと水
平方向の変化量Ｖｈとは単純には比較できない値となっている。図１０（ｄ）についても
事態は全く同様で、上下方向の変化量Ｖｖと水平方向の変化量Ｖｈとを単純に比較するこ
とはできない。

こうした事態に対処するためには、判断画素が存在する画素列での重みと、存在しない
画素列での重みとを異ならせて、色差成分の変化量を算出すればよい。例えば、図１１（
ａ）には、上下方向の変化量Ｖｖを求めるための算出式が例示されており、図１１（ｂ）
には、水平方向の変化量Ｖｈを求めるための算出式が例示されている。これらの算出式で
は、判断画素が存在する画素列での重みが、判断画素が存在しない画素列での重みの２倍
に設定されている。このような算出式を用いれば、図１０（ｃ）に示した画素や、図１０
（ｄ）に示した画素についても、上下方向の変化量Ｖｖと水平方向の変化量Ｖｈとを比較
して、エッジ方向を決定することが可能となる。尚、図１１に示した算出式では、判断画
素が存在する画素列での重みを、判断画素が存在しない画素列での重みの２倍に設定した
が、判断画素が存在しない画素列での重みを、判断画素が存在する画素列での重みの半分
にしても良い。あるいは、図１２に示すような算出式を用いて、上下方向の変化量Ｖｖと
水平方向の変化量Ｖｈとを算出することも可能である。

あるいは、より簡単に、図１０（ａ）の画素（Ｒ画素）、および図１０（ｂ）の画素（
Ｂ画素）についてのみ、エッジ方向を決定することとしても良い。図２を用いて前述した
ように、ベイヤー型カラーフィルターではＧ画素が半分を占めており、残りの半分をＲ画
素およびＢ画素が占めている。従って、Ｒ画素およびＢ画素についてのみエッジ方向を判
断することとすれば、判断すべき画素が半分になるため、エッジ方向マップを迅速に生成
することが可能となる。また、Ｇ画素でのエッジ方向が分からなくても、エッジ方向が分
かっている画素が、チェッカーフラッグ状の配置で存在しているため、補間方法を工夫す
ることで、画質に悪影響を与えることは回避することが可能である。

本実施例では、処理の迅速化を図るために、図１０（ａ）および図１０（ｂ）に示した
画素についてのみ、エッジ方向を決定する方法を採用している。従って、図７に示したエ
ッジ方向マップ生成処理のステップＳ２００では、Ｇ画素以外の画素（すなわちＲ画素ま
たはＢ画素）を判断画素として選択している。そして、選択した判断画素について、色差
成分の上下方向の変化量Ｖｖと、水平方向の変化量Ｖｈとを算出し（ステップＳ２０２，
Ｓ２０４）、両者を比較することによってエッジ方向を決定した後（ステップＳ２０６〜
Ｓ２１０）、全ての判断画素（すなわちＲ画素およびＢ画素）についてエッジ方向を決定
したか否かを判断する（ステップＳ２１２）。そして、未だ決定していない判断画素が残
っている場合は（ステップＳ２１２：ｎｏ）、未決定の画素の中から新たな判断画素を１
つ選択した後（ステップＳ２００）、続く上述した一連の処理を行う。こうした処理を繰
り返しているうちに、全ての判断画素についてエッジ方向を決定したと判断されたら（ス
テップＳ２１２：ｙｅｓ）、図７に示すエッジ方向マップ生成処理を終了する。

以上に説明したエッジ方向マップ生成処理では、ＲＡＷ画像データに含まれるエッジ方
向を、精度良く決定することが可能である。以下では、本実施例のエッジ方向マップ生成
処理において、正確なエッジ方向マップを生成可能な理由について説明する。

図２あるいは図４に示したように、ベイヤー型カラーフィルターによるＲＡＷ画像デー
タでは、Ｒ、Ｇ、Ｂの何れの色成分についても、飛び飛びの画素位置でしかデータが得ら
れていない。例えば、Ｇ画素では２画素に１つの割合でしかデータが得られておらず、Ｒ
画素やＢ画素に到っては４画素に１つの割合でしかデータが得られていない。従って、色
成分毎に階調値の変化からエッジを検出しようとしても、Ｒ、Ｇ、Ｂの何れの成分につい
ても、まばらにしかデータが得られていないため、精度良くエッジを検出することは困難
である。

そこで、Ｒ、Ｇ、Ｂの色成分をそのまま扱うのではなく、色成分の差を取り扱うことに
する。すなわち、Ｇ成分およびＲ成分が交互に得られている画素列については、ＲＡＷ画
像データを、Ｇ成分とＲ成分との差を表す色差成分のデータに変換する。また、Ｇ成分お
よびＢ成分が交互に得られている画素列については、ＲＡＷ画像データを、Ｇ成分とＢ成
分との差を表す色差成分のデータに変換する。図４の下段には、このようにしてＲＡＷ画
像データを、上下方向の色差成分ＣＤｖ、および水平方向の色差成分ＣＤｈに変換した様
子が示されている。尚、図４中で斜線が付されているのは、Ｇ成分とＢ成分との差を表す
色差成分が得られている画素列である。

こうして色差成分に変換してしまえば、少なくとも画素列の方向には、同じ色差成分の
データを連続して得ることができる。もっとも、前述したように、隣接する画素列で得ら
れた色差成分は、互いに意味が異なる色差成分であるため、隣接する画素列の間で色差成
分の値を比較しても意味はない。従って、意味の同じ色差成分を用いてエッジを検出しよ
うとすると（例えば、図４中で斜線を付したＧ成分とＢ成分との差を表す色差成分を用い
てエッジを検出しようとすると）、隣接する画素列を飛ばして、１つおきの画素列の色差
成分を用いなければならず、画素列にして５列前後に亘るような、規模の大きなエッジで
なければ検出することが困難である。

しかし、色差成分の変化量については、隣接する画素列の間で比較することが可能であ
る。例えば、画像中で明るさが急変する箇所では、Ｇ成分とＲ成分との差の値も、Ｇ成分
とＢ成分との差の値も、何れも大きく変化する。同様に、色が急変する箇所でも、Ｇ成分
とＲ成分との差、およびＧ成分とＢ成分との差の何れの値も大きく変化する。従って、色
差成分の変化量に着目すれば、意味の異なる色差成分から得られた変化量であっても同じ
ように取り扱うことが可能であり、隣接する画素列で得られた色差成分を用いてエッジを
検出することができる。そして、このように隣接する画素列の色差成分に基づいて検出す
ることができれば、規模の小さなエッジであっても精度良く検出することが可能となる。

本実施例のエッジ方向マップ生成処理は、以上のような考察に基づいて、精度良くエッ
ジ方向を検出することにより、正確なエッジ方向マップを生成可能としたものであって、
先ず、ベイヤー型カラーフィルターによるＲＡＷ画像データを、上下方向の色差成分ＣＤ
ｖおよび水平方向の色差成分ＣＤｈに変換する。こうして得られた色差成分のデータは、
図４の下段に示したように、Ｇ成分とＲ成分との差を表す色差成分ＣＤGRの画素列と、Ｇ
成分とＢ成分との差を表す色差成分ＣＤGBの画素列とが、交互に並んだデータとなってい
る。次いで、図８および図９、あるいは図１１を用いて色差成分の変化量を算出する。こ
うして算出した変化量は、互いに隣接する画素列の色差成分ではあるが、意味の異なる色
差成分から求めた変化量となっている。しかし上述したように、意味の異なる色差成分か
ら求めた値であっても、変化量は同じように取り扱ってエッジを検出することができる。
そして、隣接する画素列の色差成分に基づいてエッジを検出することで、規模の小さなエ
ッジであっても精度良く検出することができる。そして、こうして上下方向および水平方
向について求めた変化量を比較することにより、エッジの方向を精度良く検出することが
可能となるのである。

以上の説明からも明らかなように、本実施例のエッジ方向マップ生成処理では、上下方
向の変化量Ｖｖおよび水平方向の変化量Ｖｈを算出する際に、隣接する画素列の色差成分
に基づいて算出することが重要である。逆に言えば、上下方向の変化量Ｖｖおよび水平方
向の変化量Ｖｈを算出するために、どのような算出式を用いるかはそれほど重要なことで
はなく、図８、図９、あるいは図１１に例示した算出式の他にも種々の算出式を用いるこ
とが可能である。例えば、図１２に示すような算出式を用いて、上下方向の変化量Ｖｖと
水平方向の変化量Ｖｈとを算出することも可能である。

Ｄ．Ｇ成分補間処理：
図３を用いて前述したように、本実施例のカラー画像データ生成処理では、エッジ方向
マップを生成すると（図３のステップＳ１０４）、Ｇ画素ではない画素（Ｒ画素およびＢ
画素）で、Ｇ成分を補間する処理を開始する（ステップＳ１０６）。

図１３は、Ｒ画素およびＢ画素でＧ成分を補間する処理の流れを示すフローチャートで
ある。図示されているように、Ｇ成分補間処理を開始すると、先ず始めに、先に生成した
エッジ方向マップを参照することによって、補間しようとする画素（補間画素）でのエッ
ジ方向ｄを取得する（ステップＳ３００）。前述したように、エッジ方向マップは、全画
素にエッジ方向ｄが設定される場合と、非Ｇ画素（Ｒ画素およびＢ画素）にだけエッジ方
向ｄが設定される場合とが存在するが、ここでは非Ｇ画素について補間しようとしている
のであるから、エッジ方向マップを参照することで必ずエッジ方向ｄを取得することがで
きる。

次いで、取得したエッジ方向ｄの値が「１」であるか否かを判断する（ステップＳ３０
２）。そして、エッジ方向ｄが「１」であれば（ステップＳ３０２：ｙｅｓ）、補間画素
の上下の画素での色差成分から、補間画素での色差成分を補間によって推定する（ステッ
プＳ３０４）。逆に、エッジ方向ｄが「３」であれば（ステップＳ３０２：ｎｏ）、補間
画素の左右の画素での色差成分から、補間画素での色差成分を補間によって推定する（ス
テップＳ３０６）。続いて、補間画素で得られたＲＡＷ画像データを取得し（ステップＳ
３０８）、先に算出した補間画素での色差成分に、ＲＡＷ画像データを加算することによ
って、補間画素についてのＧ成分を算出する（ステップＳ３１０）。これら一連の処理に
ついて、補足して説明する。

図１４は、非Ｇ画素で、欠落しているＧ成分を算出する処理の流れを模式的に示した説
明図である。補間画素は非Ｇ画素であるから、Ｒ画素またはＢ画素の何れかとなる。Ｒ画
素であれば、周囲の画素の分布は図１４（ａ）に示した状態となっており、Ｂ画素であれ
ば、図１４（ｂ）に示した状態となっている。ここでは、Ｇ成分を補間する画素がＲ画素
であり、エッジ方向ｄは「１」であったものとして説明する。

エッジ方向ｄが「１」ということは、水平方向の色差成分の変化量Ｖｈの方が、上下方
向の色差成分の変化量Ｖｖよりも大きいということである。一般に、大きく変化している
状況下で補間するよりも、変化の少ない（定常状態により近い）状況下で補間した方が適
切な補間結果が得られるから、ここでも、変化量の少ない上下方向の色差成分を用いて、
Ｇ成分を算出することにする。すなわち、図１４（ａ）から明らかなように、非Ｇ画素で
は、上下方向の色差成分も水平方向の色差成分も、何れもＧ成分からＲ成分を減算した値
の色差成分が得られるため、何れの方向の色差成分を用いてもＧ成分を求めることができ
るのであるが、より適切なＧ成分を得るために、変化の少ない方の色差成分である上下方
向の色差成分に基づいて、補間画素のＧ成分を決定するのである。

上下方向の色差成分は、Ｇ成分からＲ成分を減算した値となっており、補間画素で得ら
れているＲＡＷ画像データはＲ成分である。従って、色差成分の値にＲＡＷ画像データの
値を加算することで、直ちに補間画素でのＧ成分を求めることができる。尚、Ｇ成分を算
出するための色差成分としては、エッジ方向を決定する際に、既に、図５の算出式を用い
て補間画素についての色差成分を算出しているため、この値を読み出して使用することが
できる。あるいは、図６に示したローパスフィルターを用いてノイズが除去された色差成
分が得られている場合には、この色差成分を用いてＧ成分を算出することが望ましい。

更には、補間画素での色差成分を直接読み出すのではなく、隣接する画素で得られた色
差成分から算出するようにしても良い。すなわち、ここでは上下方向の色差成分を用いる
こととしているから、補間画素の上下の画素について得られている上下方向の色差成分を
読み出して、これら色差成分の値から、補間画素での色差成分を算出するようにしても良
い。図１３に示したステップＳ３０４あるいはステップＳ３０６では、このようにして、
補間画素に隣接する画素から色差成分を算出する場合について示している。

以上のようにして補間画素でのＧ成分を求めたら、図１３に示したＧ成分補間処理を終
了して、図３のカラー画像データ生成処理に復帰する。カラー画像データ生成処理では、
Ｇ成分を補間したら、続いて、Ｇ画素以外の画素について残りの色成分を補間する処理（
非Ｇ画素補間処理）を開始する。

Ｅ．非Ｇ画素補間処理：
図１５は、非Ｇ画素補間処理の流れを示すフローチャートである。前述したように、か
かる処理では、Ｒ画素およびＢ画素でのＧ成分を補間した後に、残りの１つの色成分（す
なわち、Ｒ画素であればＢ成分、Ｂ画素であればＲ成分）の補間を行う。ここで、処理内
容の詳細な説明に入る前に、非Ｇ画素補間処理の基本的な考え方について簡単に説明して
おく。

上述したように非Ｇ画素補間処理では、Ｒ画素についてはＢ成分の補間を行い、Ｂ画素
についてはＲ成分の補間を行う。ここで、例えばＲ画素に着目すると、図１４（ａ）に示
したように、斜めに隣接する４つの画素はＢ画素であり、これらの画素ではＢ成分がＲＡ
Ｗ画像データとして得られている。同様に、Ｂ画素に着目すると、図１４（ｂ）に示した
ように、斜めに隣接する４つの画素はＲ画素であり、これらの画素ではＲ成分がＲＡＷ画
像データとして得られている。従って、最も単純には、これら斜めに隣接する４つの画素
のＲＡＷ画像データから補間することによって、求める色成分の階調値を決定することが
考えられる。

また、斜めに隣接する４つの画素で得られたＲＡＷ画像データから直接補間するのでは
なく、これら４つの画素での色差成分から補間画素での色差成分を求め、この色差成分に
基づいて、求める色成分を決定ことも可能である。Ｒ、Ｇ、Ｂのカラー画像データでは一
般に、Ｒ、Ｇ、Ｂの各成分間での差の値が、表現される色相に強く関係していることから
、求めようとする色成分を周囲の画素から直接補間したのでは、他の色成分との差の値が
微妙に狂って、いわゆる偽色が発生することがあり、こうしたことを考えると、周囲の画
素から色差成分を補間して、得られた色差成分に基づいて補間画素での色成分を決定する
方がより望ましい。例えば、図１４（ａ）に示したＲ画素であればＢ成分を求めようとし
ているのであるから、斜めに隣接する４つのＢ画素で、Ｇ成分とＢ成分との差を示す色差
成分ＣＤGBを求め、これら４つの色差成分ＣＤGBから補間画素での色差成分ＣＤGBを算出
する。そして、得られた色差成分ＣＤGBと、補間画素でのＧ成分とに基づいて、最後の色
成分であるＢ成分を求めることも可能である。

ここで、斜めに隣接する画素はＢ画素であるから、これらの画素に対して、図５の算出
式を適用して得られている色差成分は、上下方向の色差成分ＣＶｖも水平方向の色差成分
ＣＤｈも、Ｇ成分とＢ成分との差を示す色差成分ＣＤGBとなっている。従って、これらの
８つの色差成分ＣＤGBに基づいて、補間画素での色差成分ＣＤGBを算出することも可能で
ある。例えば、各画素での上下方向の色差成分ＣＶｖと水平方向の色差成分ＣＤｈとの平
均を取ることによって、各画素を代表する色差成分を求めた後、それら４つの画素（補間
画素に斜めに隣接する画素）を代表する色差成分から、補間画素での色差成分を求めるよ
うにしてもよい。あるいは、補間画素でのエッジ方向を検出して、エッジ方向に合致する
色差成分ＣＤGBのみに基づいて、補間画素での色差成分ＣＤGBを算出することも可能であ
る。もっとも、これらのように、上下方向の色差成分ＣＶｖおよび水平方向の色差成分Ｃ
Ｄｈを考慮しながら補間画素の色差成分を決定する方法は、処理が複雑となるため、補間
画素に斜めに隣接する各画素で得られたＧ成分とＢ成分とに基づいて算出した方が、色差
成分ＣＤGBを迅速に算出することが可能である。

図１５に示した本実施例の非Ｇ画素補間処理は、以上のような考え方に基づいて、Ｇ成
分を補間した後に、非Ｇ画素での最後の色成分を補間する処理を行う。以下、フローチャ
ートに従って、非Ｇ画素補間処理の具体的な処理内容について説明する。

非Ｇ画素補間処理を開始すると、先ず始めに、補間画素から見て斜めに隣接する４つの
画素での、Ｇ成分とＲＡＷ画像データとを取得する（ステップＳ３５０）。図１４（ａ）
あるいは図１４（ｂ）に示したように、補間画素がＲ画素であれば、斜めに隣接する画素
はＢ画素であるからＲＡＷ画像データはＢ成分であり、また、補間画素がＢ画素であれば
、斜めに隣接する画素はＲ画素であるからＲＡＷ画像データはＲ成分となる。

次いで、これら隣接する４つの画素での色差成分、すなわち、ＲＡＷ画像データからＧ
成分を減算した値を算出して、それらの平均を取ることによって、補間画素での色差成分
を算出する（ステップＳ３５２）。尚、本明細書中で色差成分というと、図５に示したよ
うに、通常は、Ｇ成分からＲ成分あるいはＢ成分を減算した値を用いているのに対して、
ステップＳ３５２では、色差成分の符号を変えて、ＲＡＷ画像データ（すなわちＲ成分あ
るいはＢ成分）からＧ成分を減算している。これは、後の計算で、符号を変える手間を省
くための、言わば計算の便宜によるものである。

こうして、補間画素での色差成分を算出したら、今度は、補間画素でのＧ成分を取得す
る（ステップＳ３５４）。補間画素は非Ｇ画素であるから、ＲＡＷ画像データはＧ成分で
はないが、先に図１３を用いて説明したＧ成分補間処理において、既にＧ成分が求められ
ている。

そこで、ステップＳ３５２で求めた補間画素での色差成分（ここでは、ＲＡＷ画像デー
タからＧ成分を減算した値）に、ステップＳ３５４で取得したＧ成分を加算することによ
って、補間画素についての最後の色差成分を算出することができる（ステップＳ３５６）
。

以上のようにして、非Ｇ画素での最後の色差成分が得られたら、図１５に示した非Ｇ画
素補間処理を終了して、図３のカラー画像データ生成処理に復帰する。図３に示したよう
に、カラー画像データ生成処理では、非Ｇ画素補間処理から復帰すると、Ｇ画素での欠落
成分を補間する処理（Ｇ画素補間処理）を開始する。

Ｆ．Ｇ画素補間処理：
図１６は、Ｇ画素補間処理の流れを示すフローチャートである。Ｇ画素補間処理を開始
すると、先ず始めに、補間画素のエッジ方向を取得する（ステップＳ５００）。エッジ方
向は、図７を用いて前述したエッジ方向マップ生成処理において予め決定されて、エッジ
方向マップに設定されている。尚、前述したようにエッジ方向は、全ての画素について決
定しておいても良いが、ここでは、処理の迅速化を図るために、非Ｇ画素（Ｒ画素および
Ｂ画素）についてのみエッジ方向を決定しており、Ｇ画素については、エッジ方向は決定
していない。しかし、図２に示したように、Ｇ画素は周囲を非Ｇ画素に囲まれており、非
Ｇ画素でのエッジ方向は求められているから、周囲に存在する画素のエッジ方向から、補
間しようとしているＧ画素でのエッジ方向を推定することができる。

図１７は、周囲の画素のエッジ方向から補間画素でのエッジ方向を推定する方法を示し
た説明図である。Ｇ画素補間処理は、Ｇ画素について欠落した色成分を補間する処理であ
るから、補間画素の周囲の画素の配置は、図１７（ａ）に示す配置、または図１７（ｂ）
に示す配置の何れかである。尚、図１７（ａ）および図１７（ｂ）では、補間画素に斜線
を付して表示している。ここでは、非Ｇ画素についてのみエッジ方向が決定されている場
合を想定しているから、補間画素の上下左右の４つの画素では、エッジ方向が設定されて
いることになる。

図１７（ｃ）あるいは図１７（ｄ）には、補間画素の周囲の４つの画素に、エッジ方向
ｄが設定されている様子が例示されている。例えば周囲の４つの画素に設定されているエ
ッジ方向ｄが、図１７（ｃ）に示した配列となっていた場合、補間画素の周囲ではエッジ
方向ｄが「３」の画素よりもエッジ方向ｄが「１」の画素の方が多いから、補間画素のエ
ッジ方向ｄは、「１」と推定することが適当である。また、周囲の画素のエッジ方向ｄが
図１７（ｄ）に示した配列であれば、エッジ方向ｄが「１」の画素よりもエッジ方向ｄが
「３」の画素の方が多いから、補間画素のエッジ方向ｄは「３」と推定することが適当で
ある。

従って、補間画素の周囲で、エッジ方向ｄが「１」の画素、およびエッジ方向ｄが「３
」の画素を数えて、画素数の多い方のエッジ方向ｄを、補間画素のエッジ方向ｄとすれば
よい。あるいは、画素数を数える代わりに、補間画素の上下左右の４つの画素に設定され
ているエッジ方向ｄの総和を求めてもよい。エッジ方向ｄが「１」の画素数と、エッジ方
向ｄが「３」の画素数とが同数ずつ存在する場合、エッジ方向ｄの総和値は「８」になる
から、総和値が「８」未満であれば、エッジ方向ｄが「１」の画素が多いものと判断して
、補間画素のエッジ方向ｄを「１」とすればよい。逆に、総和値が「８」を超過していれ
ば、エッジ方向ｄが「３」の画素が多いものと判断して、補間画素のエッジ方向ｄを「３
」すればよい。また、総和値が「８」である場合（エッジ方向ｄが「１」の画素およびエ
ッジ方向ｄが「３」の画素が同数存在する場合）は、補間画素のエッジ方向ｄは「１」あ
るいは「３」の何れかとしておけばよい。

以上に説明したように、図１６のステップＳ４００では、エッジ方向マップに全画素の
エッジ方向ｄが設定されている場合であれば、補間画素のエッジ方向ｄを読み出すことに
より、また、非Ｇ画素についてのみエッジ方向ｄが設定されている場合であれば、補間画
素の周囲にある画素のエッジ方向ｄを読み出すことによって、補間画素のエッジ方向ｄを
取得する。

以上のようにして、補間画素についてのエッジ方向ｄを取得したら、そのエッジ方向ｄ
が「１」であるか否かを判断する（ステップＳ４０２）。そして、エッジ方向ｄが「１」
であった場合は（ステップＳ４０２：ｙｅｓ）、補間画素ではエッジが上下方向に走って
いると判断されるため、補間画素の上下に隣接する画素のＲ成分、Ｇ成分、およびＢ成分
を取得する（ステップＳ４０４）。図１７（ａ）あるいは図１７（ｂ）に示したように、
補間画素の上下の画素は必ず非Ｇ画素であり、非Ｇ画素の欠落した色成分は、図１３のＧ
成分補間処理および図１５の非Ｇ画素補間処理によって既に求められているため、直ちに
、Ｒ成分、Ｇ成分、およびＢ成分を取得することができる。

一方、補間画素のエッジ方向ｄが「１」ではないと判断された場合は（ステップＳ４０
２：ｎｏ）、補間画素ではエッジが水平方向に走っていると判断されるため、補間画素の
左右に隣接する画素のＲ成分、Ｇ成分、およびＢ成分を取得する（ステップＳ４０６）。
補間画素の左右の画素も非Ｇ画素であるから、これらの画素のＲ成分、Ｇ成分、Ｂ成分を
直ちに取得することができる。

次いで、Ｒ、Ｇ、Ｂの各成分を取得した画素について、色差成分を算出する（ステップ
Ｓ４０８）。補間画素のエッジ方向ｄが「１」であった場合は（ステップＳ４０２：ｙｅ
ｓ）、上下に隣接する画素での色差成分が算出され、逆に、補間画素のエッジ方向ｄが「
１」でなかった場合は（ステップＳ４０２：ｎｏ）、左右に隣接する画素での色差成分が
算出されることになる。尚、図１５に示した非Ｇ画素補間処理の場合と同様に、このとき
算出する色差成分も、Ｒ成分からＧ成分を減算し、あるいはＢ成分からＧ成分を減算する
ことによって、符号を変えた色差成分を算出する。こうすることで、後ほど、補間画素の
Ｒ成分およびＢ成分を算出する際に、符号を変える手間を省くことが可能となる。

こうして上下の画素、あるいは左右の画素での色差成分を算出したら（ステップＳ４０
８）、これらの画素での色差成分から補間することにより、今度は、補間画素での色差成
分を算出する（ステップＳ４１０）。上述したように、上下の画素あるいは左右の画素で
得られている色差成分は、符号を変えた色差成分（すなわち、Ｒ成分からＧ成分を減算し
た色差成分、およびＢ成分からＧ成分を減算した色差成分）であるから、補間によって得
られた色差成分も、符号を変えた色差成分となる。

次いで、補間画素のＧ成分を取得する（ステップＳ４１２）。補間画素はＧ画素である
から、ＲＡＷ画像データがそのままＧ成分となっている。そして、先に算出した色差成分
と、補間画素のＧ成分とに基づいて、補間画素のＲ成分およびＢ成分を算出する（ステッ
プＳ４１４）。上述したように、色差成分は符号を変えた色差成分となっているから、単
に色差成分にＧ成分を加算するだけで、Ｒ成分、Ｂ成分を算出することが可能である。

以上のようにして、全てのＧ画素について欠落している色成分（Ｒ成分およびＢ成分）
を求めたら、図１６に示すＧ画素補間処理を終了して、図３のカラー画像データ生成処理
に復帰する。

図３を用いて前述したように、Ｇ画素補間処理から復帰すると（図３のステップＳ１１
０）、全画素について欠落している色成分の補間が終了したことになるため、各画素につ
いて得られたＲ、Ｇ、Ｂの各成分を、ＲＡＷ画像データから生成されたカラー画像データ
として出力して（ステップＳ１１２）、図３に示した本実施例のカラー画像データ生成処
理を終了する。

以上、本実施例のデジタルカメラ１００で、ＲＡＷ画像データにデモザイク処理を施し
て、カラー画像データを生成する処理について、詳しく説明した。かかるカラー画像デー
タ生成処理では、デモザイク処理に先立ってエッジ方向マップを生成する。このとき、上
下方向の色差成分ＣＤｖおよび水平方向の色差成分ＣＤｈの各々についての変化量に着目
することで、異なる２種類の色差成分（Ｇ成分とＲ成分との差に対応する色差成分、およ
びＧ成分とＢ成分との差に対応する色差成分）を用いてエッジ方向を検出することが可能
となる。その結果、規模の小さなエッジも精度良く検出することができるようになり、正
確なエッジ方向マップを生成することが可能となる。そして、続いて行うデモザイク処理
では、正確なエッジ方向マップに従って、欠落した色成分を補間することで、適切に補間
することが可能となる。

しかも、エッジ方向マップを生成する処理も、欠落した色成分を補間する処理も、決し
て複雑な処理ではなく、迅速に実行可能である。その結果、Ｒ、Ｇ、Ｂの各成分がモザイ
ク状に組み合わされたＲＡＷ画像データから、適切なカラー画像データを迅速に生成する
ことが可能となる。

しかし、前述したようにエッジ方向マップでは、エッジ方向は必ず上下方向あるいは水
平方向の何れかであるとしているため、実際の画像に斜め方向のエッジが存在している部
分では、得られたＲ、Ｇ、Ｂの各成分に誤差が混入している可能性がある。そこで、より
一層適切なカラー画像データを得るために、本実施例のカラー画像データ生成処理では、
ＲＡＷ画像データからカラー画像データを生成した後（図３のステップＳ１０６〜Ｓ１１
０）、エッジが斜め方向に発している部分（斜めエッジ部）についてだけ、得られたＲ、
Ｇ、Ｂの各成分を修正する処理（斜めエッジ部修正処理）を行う（ステップＳ１１２）。

Ｇ．斜めエッジ部修正処理：
図１８は、斜めエッジ部修正処理の流れを示すフローチャートである。以下、斜めエッ
ジ部修正処理の詳細な内容について説明するが、理解の便宜を図るために、先ず始めに、
図１８のフローチャートを用いて処理の概要を説明し、その説明を踏まえて、個々の処理
についての説明を行う。

図１８のフローチャートに示されているように、斜めエッジ部修正処理では、先ず始め
に、斜めエッジ画素を検出する処理を行う（ステップＳ５００）。斜めエッジ画素とは、
エッジが斜め方向に走っている部分の画素である。かかる処理は、補間によってＲ、Ｇ、
Ｂの全ての色成分が得られた後に行う処理であるから、斜めエッジ画素を検出する際には
、補間によって得られた各成分を用いて行うことができる。もちろん、斜めエッジ画素を
検出する際には、誤って斜めエッジ画素として検出したり、あるいは斜めエッジ画素とし
て検出しないなど、誤検出してしまう可能性がある。そして、検出結果の中に、このよう
な検出ノイズが存在したままでは、以降の処理を適切に行うことが困難となる。そこで、
斜めエッジ画素を検出したら、検出結果に含まれる検出ノイズを除去しておく（ステップ
Ｓ５０２）。これら斜めエッジ画素を検出し、検出ノイズを除去する処理の詳細について
は後ほど詳しく説明する。

斜めエッジ画素を検出したら、次いで、斜めエッジの方向、すなわち、エッジが右下が
りに走っているのか、右上がりに走っているのかを決定する処理を行う（ステップＳ５０
４）。斜めエッジ画素では、補間して得られたＲ、Ｇ、Ｂの各成分に誤差が含まれている
可能性がある。そこで、斜めエッジ方向を決定するに際しては、補間して得られたＲ、Ｇ
、Ｂの各成分ではなく、ＲＡＷ画像データから得られた色差成分を用いて、エッジ方向を
決定する。また、斜めエッジ方向を決定する際にも、エッジ方向を誤って決定してしまう
可能性がある。そこで、斜めエッジ方向を決定したら、誤って決定したエッジ方向（斜め
エッジノイズ）を除去しておく（ステップＳ５０６）。これら斜めエッジ方向を決定し、
斜めエッジノイズを除去する処理の詳細についても後ほど詳しく説明する。

以上のようにして、斜めエッジ画素および斜めエッジ方向が得られたら、斜めエッジ画
素について、ＲＡＷ画像データに欠落している色成分を、斜めエッジ方向に沿って補間す
る処理を行う（ステップＳ５０８）。こうすれば、正しい方向に沿って補間することがで
きるため、欠落している色成分を適切に補間することができる。また、このような補間は
、斜めエッジ方向に沿って補間し直すことになり、処理に要する時間が増加するが、斜め
エッジ画素についてだけ行えばよいため、実際には、大幅に処理時間が増加することはな
い。斜めエッジ画素について、斜めエッジ方向に沿って補間する処理の詳細についても後
ほど説明する。

上述した全ての処理が終了したら、斜めにエッジが走っている部分も含めて、全ての画
素について適切なＲ、Ｇ、Ｂの各成分が得られたことになるため、図１８の斜めエッジ部
修正処理を終了して、図３のカラー画像データ生成処理に復帰する。その結果、図３のス
テップＳ１１４では、Ｒ、Ｇ、Ｂの各成分が適切に補間されたカラー画像データが出力さ
れることになる。以下では、斜めエッジ部修正処理の中で行われる各種の処理について詳
しく説明する。

Ｇ−１．斜めエッジ画素の検出：
図１８に示したように、斜めエッジ部修正処理では、先ず始めに、斜めエッジ画素を検
出する処理を行う（ステップＳ５００）。図１９は、斜めエッジ画素を検出する方法を示
した説明図である。図１９（ａ）には、斜めエッジ画素を検出するための判定式が示され
ている。また、判定式中のＲＢ成分ＲＢ（ｒ，ｓ）は、その画素のＲ成分から、Ｂ成分を
減算した値（以下では、ＲＢ成分と称する）を示している。すなわち、斜めエッジ部修正
処理は、ＲＡＷ画像データに対して、Ｇ成分補間処理（図３のステップＳ１０６）、非Ｇ
画素補間処理（ステップＳ１０８）、Ｇ画素補間処理（ステップＳ１１０）を行って、欠
落した色成分を補間した後に行われるため、全ての画素についてＲ、Ｇ、Ｂの各成分が求
められている。従って、ある画素のＲ成分からＢ成分を減算することにより、全ての画素
についてＲＢ成分を求めることができる。また、図１９（ａ）中の「σ」は、予め定めて
おいた閾値である。

斜めエッジ画素を検出する際には、斜めエッジ画素か否かを判断しようとする画素（判
断画素）を１つ選択し、その判断画素と、判断画素の上下左右に隣接する４つの画素とに
ついてＲＢ成分を求め、それら５つのＲＢ成分が、図１９（ａ）に示した判定式を満足し
ているか否かを判断する。以下では、図１９（ａ）に示した下側の判定式を例に用いて、
図１９（ｂ）および図１９（ｃ）を参照しながら、判定式の意味するところについて説明
する。

下側の判定式の第１項目（破線で囲った部分）は、判断画素のＲＢ成分を表している。
また、下側の判定式の第２項目（一点鎖線で囲った部分）は、判断画素の左右に隣接する
画素でのＲＢ成分の平均値となっている。従って、下側の判定式は、判断画素のＲＢ成分
と、左右の画素でのＲＢ成分の平均値との偏差の絶対値が、所定の閾値σより大きいか否
かを判断していることになる。このような判断を行うことにより、ＲＢ成分でのエッジの
存在を検出することができる。例えば、図１９（ｂ）に示した判断画素、および左右に隣
接する画素についてのＲＢ成分が、図１９（ｃ）に黒丸で示した値であったとすると、左
右の画素でのＲＢ成分の平均値は、図１９（ｃ）中に白丸で示した値となる。従って図１
９（ｃ）に示したように、判断画素の左側に隣接する画素、判断画素、および右側に隣接
する画素の順番で各画素のＲＢ成分を並べたときに、３つのＲＢ成分がほぼ直線上に並ぶ
場合には、図１９（ａ）に示した下側の判定式の左辺の値は小さな値となる。逆に、これ
ら３つの画素についてのＲＢ成分が直線上に乗らない場合、換言すれば、判断画素および
左側の隣接画素の間と、判断画素および右側の隣接画素の間とで、ＲＢ成分の変化量が大
きく異なっており、ＲＢ成分のエッジが存在するような場合には、下側の判定式の左辺の
値は大きな値となる。従って、図１９（ａ）に示した下側の判定式では、ＲＢ成分に着目
して、上下方向のエッジが存在する画素を検出していることになる。

また、図１９（ａ）に示した上側の判定式では、判断画素のＲＢ成分と、上下の画素で
のＲＢ成分の平均値との偏差の絶対値が、所定の閾値σより大きいか否かを判断している
。図１９（ｄ）には、これら３つの画素の位置関係が示されている。これら３つの画素の
中で、上側の隣接画素から判断画素までの間と、判断画素から下側の隣接画素までの間と
で、ＲＢ成分の変化量が大きく異なった場合に、上側の判定式の左辺は大きな値となる。
従って、図１９（ａ）に示した上側の判定式では、ＲＢ成分に着目して、水平方向のエッ
ジが存在する画素を検出していることになる。

結局、図１９（ａ）に示した判定式では、ＲＢ成分に着目して、水平方向にも上下方向
にもエッジが存在していると考えられる画素を検出して、このような画素が見つかると、
その画素は斜めエッジ画素であると判断して、判断結果を記憶しておくための変数αに、
その画素が斜めエッジ画素であることを示す値「１」を設定する処理を行っていることに
なる。

このような方法によって斜めエッジ画素を検出可能であることは、次のように考えれば
直感的に了解することができる。仮に、画像のある位置に、上下方向のエッジが存在して
いるとする。すると、その画素位置では水平方向に明るさ、あるいは色彩の少なくとも一
方が大きく変化している筈であるから、色差成分も、水平方向には大きく変化する筈であ
る。それに対して、上下方向には、色差成分は大きくは変化しない筈である。ここで、色
差成分としては、どのような色差成分を想定しても、ほぼ同様なことが成り立つ。逆に、
実際には、水平方向のエッジが存在しているものとすると、今度は、上下方向に色差成分
が大きく変化するが、水平方向には、大きくは変化しない筈である。更に、実際には、顕
著なエッジは存在しない場合には、上下方向にも水平方向にも、色差成分は大きくは変化
しない筈である。このように考えると、上下方向にも水平方向にも色差成分が大きく変化
していると言うことは、その位置には、実際には斜め方向のエッジが存在すると考えるこ
とが妥当である。図１９（ａ）に示した判定式では、このような考え方に基づいて、水平
方向にも、上下方向にもエッジが検出された画素には、斜めエッジが存在していると判断
しているのである。

また、図１９（ａ）に示した判定式では、エッジを検出する際の色差成分として、特に
ＲＢ成分を用いている。これは次のような理由によるものである。図３のカラー画像デー
タ生成処理で説明したように、ＲＡＷ画像データの欠落した色成分を補って、カラー画像
データを生成する際には、先ず始めに、Ｇ成分を補間する（図３のステップＳ１０６）。
このとき参照するエッジ方向マップでは、エッジ方向ｄを、上下方向あるいは水平方向の
何れかであるとしているから、実際には斜め方向のエッジが存在していた部分では、補間
して得られたＧ成分に誤差が混入し得る。次いで、求めたＧ成分を用いて、Ｒ成分あるい
はＢ成分を補間する（図３のステップＳ１０８、およびステップＳ１１０）。補間に際し
ては、Ｇ成分とＲ成分との間の色差成分ＣＤGR、あるいは、Ｇ成分とＢ成分との間の色差
成分ＣＤGBは、隣接する画素間では大きく変化しないと仮定して補間している。従って、
Ｇ成分に誤差が混入していれば、その誤差は、Ｒ成分およびＢ成分にも伝播するが、２つ
の色差成分ＣＤGR、または色差成分ＣＤGBの少なくとも一方では、誤差が相殺しあって（
同じように変化するため）大きな変化が現れない。これに対して、Ｒ成分とＢ成分との色
差成分（ＲＢ成分）であれば、互いの誤差が相殺する関係にはないため、確実にエッジの
有無を検出することが可能となる。

また、もう一つの可能性としては、色差成分ではなく単色の色成分（Ｇ成分、Ｒ成分、
Ｂ成分の何れか）を用いて、エッジを検出することも考えられる。しかし、単色の色成分
を用いた場合よりも、色差成分を用いた方がエッジを精度良く検出することが可能である
。これは、次のような理由による。例えば、上下方向のエッジが存在している箇所で、水
平方向のエッジと誤って補間したのであれば、大きな誤差が混入し得る。これに対して、
斜め方向のエッジは、上下方向にも水平方向にも変化するエッジであると考えられるから
、斜め方向のエッジを上下方向あるいは水平方向のエッジとして補間しても、それほど大
きな誤差は混入しない。従って、単色の色成分を用いても、十分な精度ではエッジを検出
できない可能性がある。これに対して、２つの色成分の差を用いれば、それら色成分が、
誤差が同じように変化する特別な関係にない限り、誤差が大きくなって、精度良く検出す
ることが可能となる。

図１８に示した斜めエッジ部修正処理のステップＳ５００では、以上のような理由から
、図１９（ａ）の判定式を用いて、斜めエッジ画素を検出する処理を行う。尚、以上の説
明から明らかなように、斜めエッジ画素としては、Ｇ画素、Ｒ画素、Ｂ画素の何れの画素
も検出され得る点に注意しておく必要がある。

こうして斜めエッジ画素が検出されたら、斜めエッジ画素の検出結果から検出ノイズを
除去する処理を行う（ステップＳ５０２）。ここで検出ノイズとは、斜め方向のエッジが
存在するにも拘わらず、斜めエッジ画素として検出されていない画素や、逆に、斜め方向
のエッジが存在しないのに、斜めエッジ画素として検出されている画素のことである。こ
のような検出ノイズは、周辺の画素での検出結果に基づいて容易に抽出することができる
。すなわち、画素の大きさは画像の大きさに較べて非常に小さいから、画像中に存在する
エッジは複数の画素にまたがっており、従って、斜め方向のエッジが存在するのであれば
、斜め方向に連なって斜めエッジ画素が検出されるのが通常である。従って、ある画素が
斜めエッジ画素と判断された場合に、その画素から斜め方向に、斜めエッジ画素と判断さ
れた画素が存在していないのであれば、その画素は誤って斜めエッジ画素と判断されたも
のと考えられる。逆に、ある画素が斜めエッジ画素とは判断されていなくても、その画素
から斜め方向に、斜めエッジ画素と判断された画素が連なって存在しているのであれば、
その画素は、本当は斜めエッジ画素であると考えられる。このように、ある画素での斜め
エッジ画素か否かの判断結果は、周辺の画素での斜めエッジ画素の検出結果を参照するこ
とによって、修正することが可能である。本実施例の斜めエッジ部修正処理では、斜めエ
ッジ画素を検出すると、以上のような考え方に基づいて、斜めエッジ画素の検出結果が正
しいか否かを判断し、検出結果が誤っていた場合には修正する処理を行う。

図２０は、斜めエッジ画素の検出結果が正しいか否かを判断する方法についての説明図
である。図中に斜線を付した画素は判断画素を示している。斜めエッジ画素の検出結果が
正しいか否かの判断に際しては、先ず判断画素を選択し、次いで、図２０（ａ）中に丸印
を付けた５つの画素について、斜めエッジ画素の検出結果を参照する。図１９（ａ）を用
いて前述したように、斜めエッジ画素であるとして検出された画素については、検出結果
を記憶しておくための変数αに「１」が設定されているため、各画素に設定されている変
数αの値を読み出せばよい。そして、これら５つの画素の中で、３つ以上の画素で、斜め
エッジ画素として検出されていた場合には、判断画素も斜めエッジ画素であると判断する
。仮に、判断画素の変数αに設定されている値が、斜めエッジ画素ではないことを示す値
「０」であれば、斜めエッジ画素であることを示す値を「１」に変更する。また、変数α
に「１」が設定されている場合には、「１」のままとしておく。

図２０（ａ）に丸印を付けた５つの画素の中に、斜めエッジ画素が３つ以上、存在しな
いと判断された場合には、今度は、図２０（ｂ）に丸印を付けた５つの画素について、同
様な判断を行う。そして、この５つの画素の中で、３つ以上の斜めエッジ画素が存在して
いれば、その判断画素は斜めエッジ画素であると判断し、仮に、判断画素の変数αが「０
」であれば「１」に変更する処理を行う。これに対して、判断画素が斜めエッジ画素とし
て検出されているにも拘わらず、図２０（ａ）あるいは図２０（ｂ）の何れの方向にも、
斜めエッジ画素が３つ以上、存在していない場合には、判断画素は、本当は斜めエッジ画
素ではないと判断して、変数αの値を、斜めエッジ画素ではないことを示す値「０」に変
更する。図１８に示した斜めエッジ部修正処理のステップＳ５０２では、以上のようにし
て、斜めエッジ画素の検出結果から検出ノイズを除去する処理を行う。

Ｇ−２．斜めエッジ方向の決定：
斜めエッジ画素を検出し、更に、検出ノイズを除去したら、今度は、斜めエッジ画素に
ついて、エッジ方向を決定する処理を行う（ステップＳ５０４）。すなわち、斜めエッジ
の方向が、右下がりなのか、右上がりなのかを決定するのである。尚、前述したように、
エッジ方向ｄは、非Ｇ画素（Ｒ画素およびＢ画素）についてのみ決定することとした。こ
れに対して、斜めエッジ画素は、Ｇ画素、Ｒ画素、Ｂ画素の何れの場合もあり得るから、
斜めエッジ方向も、Ｒ画素およびＢ画素に限らず、Ｇ画素についても決定され得ることに
なる。

図２１は、斜めエッジ画素のエッジ方向を決定する処理（斜めエッジ方向決定処理）の
流れを示すフローチャートである。斜めエッジ方向を決定する処理では、先ず始めに、判
断画素を１つ選択し（ステップＳ５３０）、選択した判断画素が斜めエッジ画素であるか
否かを判断する（ステップＳ５３２）。判断画素が斜めエッジ画素であるか否かは、判断
画素についての変数αの値を参照することによって直ちに判断することができる。そして
、斜めエッジ画素ではないと判断された場合は（ステップＳ５３２：ｎｏ）、全ての画素
について処理を終了したか否かを判断し（ステップＳ５４４）、未だ全ての画素について
の処理が終了していなければ（ステップＳ５４４：ｎｏ）、先頭に戻って、再び新たな判
断画素を１つ選択する（ステップＳ５３０）。このような処理を繰り返しているうちに、
やがて、判断画素が斜めエッジ画素であると判断されたら（ステップＳ５３２：ｙｅｓ）
、先ず始めに、右上がり方向への色差成分の変化量Ｖ45を算出する（ステップＳ５３４）
。

図２２は、右上がり方向への色差成分の変化量Ｖ45を算出する様子を示す説明図である
。図２２（ａ）には、右上がり方向への色差成分の変化量Ｖ45を算出する為の算出式が示
されており、図２２（ｂ）には、算出式の内容が模式的に示されている。図２２（ｂ）中
に斜線を付した画素は判断画素である。右上がり方向への色差成分の変化量Ｖ45は、次の
ようにして算出する。先ず、判断画素の上下方向の色差成分ＣＤｖおよび水平方向の色差
成分ＣＤｈを取得して、これらの合計値を算出する。また、判断画素から左斜め下方向に
２つめの画素についても、上下方向の色差成分ＣＤｖおよび水平方向の色差成分ＣＤｈを
取得して、これらの合計値を算出する。更に、右斜め上方向の２つめの画素についても、
上下方向の色差成分ＣＤｖおよび水平方向の色差成分ＣＤｈを取得して、合計値を算出す
る。図２２（ｂ）には、これら３つの画素で、それぞれに上下方向の色差成分ＣＤｖおよ
び水平方向の色差成分ＣＤｈを取得した様子が示されている。

次いで、左斜め下方向の画素について得られた２つの色差成分の合計値と、判断画素に
ついて得られた色差成分の合計値との偏差の二乗値を算出する。図２２（ｂ）中で、左斜
め下方向の画素と判断画素との間に表示された白抜きの矢印は、これらの画素の間で、色
差成分の合計値の偏差の二乗値を求めることを表したものである。また、判断画素と、右
斜め上方向の画素とについても同様に、それぞれに得られた色差成分の合計値の偏差の二
乗値を算出する。図２２（ｂ）中で、判断画素と右斜め上方向の画素との間に表示された
白抜きの矢印は、これらの画素の間でも、色差成分の合計値の偏差の二乗値を求めること
を表したものである。そして、これら３つの画素の間で求めた２つの偏差の二乗値を合計
することにより、右上がり方向への色差成分の変化量Ｖ45を算出する。図２１に示したス
テップＳ５３４では、以上のようにして、判断画素での右上がり方向への色差成分の変化
量Ｖ45を算出する。

次いで、今度は、判断画素での右下がり方向への色差成分の変化量Ｖ135を算出する（
ステップＳ５３６）。右下がり方向への変化量Ｖ135も、右上がり方向への変化量Ｖ45と
ほぼ同様にして求めることができる。

図２３は、右下がり方向への色差成分の変化量Ｖ135を算出する様子を示す説明図であ
る。図２３（ａ）には、右下がり方向への色差成分の変化量Ｖ135を算出する為の算出式
が示されており、図２３（ｂ）には、算出式の内容が模式的に示されている。右下がり方
向への色差成分の変化量Ｖ135を算出する際には、図２３（ｂ）に示されるように、判断
画素と、判断画素から左斜め上方向に２つめの画素と、右斜め下方向に２つめの画素の、
３つの画素に着目する。そして、これらの画素で、上下方向の色差成分ＣＤｖと水平方向
の色差成分ＣＤｈとの合計値を算出する。次いで、左斜め上方向の画素について得られた
合計値と、判断画素についての合計値との偏差の二乗値を算出する。更に、判断画素につ
いて得られた合計値と、右斜め下方向の画素について得られた合計値との偏差の二乗値も
算出する。そして、これら２つの二乗値を合計することにより、右下がり方向への色差成
分の変化量Ｖ135を算出する。図２１に示したステップＳ５３６では、以上のようにして
、判断画素での右下がり方向への色差成分の変化量Ｖ135を算出する。

以上のようにして、色差成分の右上がり方向への変化量Ｖ45と、右下がり方向への変化
量Ｖ135とを求めたら、これらの大きさを比較する（ステップＳ５３８）。そして、右上
がり方向への変化量Ｖ45の方が、右下がり方向への変化量Ｖ135よりも大きい場合は（ス
テップＳ５３８：ｙｅｓ）、判断画素の斜めエッジ方向は右下がり方向であると判断され
るため、斜めエッジ方向ｄｄに、右下がりであることを示す値「１」を設定する（ステッ
プＳ５４０）。これに対して、右上がり方向への変化量Ｖ45が、右下がり方向への変化量
Ｖ135よりも小さい場合は（ステップＳ５３８：ｎｏ）、斜めエッジ方向ｄｄに、斜めエ
ッジ方向が右上がりであることを示す値「３」を設定する（ステップＳ５４２）。

こうして１つの斜めエッジ画素について、斜めエッジ方向ｄｄを「１」または「３」の
何れかに決定したら、全ての画素について上述した処理を終了したか否かを判断し（ステ
ップＳ５４４）、未処理の画素が残っている場合は（ステップＳ５４４：ｎｏ）、処理の
先頭に戻って新たな判断画素を１つ選択して（ステップＳ５３０）、続く一連の処理を行
う。こうした操作を全ての画素について行ったら（ステップＳ５４４：ｙｅｓ）、図２１
に示した斜めエッジ方向決定処理を終了して、図１８の斜めエッジ部修正処理に復帰する
。

このように斜めエッジ方向決定処理では、斜めエッジ画素として検出されて（図１８の
ステップＳ５００）、検出ノイズが除去された（図１８のステップＳ５０２）全ての斜め
エッジ画素に対して、エッジ方向が右下がりなのか（斜めエッジ方向ｄｄ＝１）、右上が
りなのか（斜めエッジ方向ｄｄ＝３）を決定する処理を行う。

尚、図１９を用いて前述したように、斜めエッジ画素を検出する際には、ＲＡＷ画像デ
ータから補間されたＲ、Ｇ、Ｂの各成分を用いて検出した。これに対して、斜めエッジ画
素でのエッジ方向を決定する際には、補間後のＲ、Ｇ、Ｂの各成分ではなく、補間前の色
差成分を用いて決定している。これは、次のようなことを考慮したためである。斜めエッ
ジ画素では、実際にエッジが走っている方向とは異なるエッジ方向を想定して補間を行っ
ているために、補間によって得られたＲ、Ｇ、Ｂの各成分には誤差が混入している可能性
がある。誤差を含んだＲ、Ｇ、Ｂの各成分を用いて斜めエッジ方向を決定したのでは、正
しくエッジ方向を決定することは困難である。そこで、斜めエッジ方向を正確に決定する
ために、エッジ方向を考慮した補間を行う前のデータである色差成分を用いて、斜めエッ
ジ方向を決定しているのである。

また、斜めエッジ方向を決定する際には、判断画素の色差成分と、斜め方向に２つめの
画素の色差成分とを参照している。隣接する画素ではなく、２つめの画素の色差成分を参
照しているのは、判断画素の色差成分と、隣接する画素の色差成分とは異なる種類の色差
成分であり、比較しても意味のない色差成分となっているためである。すなわち、図４に
示したように、補間前の色差成分は、Ｇ成分およびＲ成分間の色差成分ＣＤGRと、Ｇ成分
およびＢ成分間の色差成分ＣＤGBとが交互に得られているため、判断画素の色差成分と比
較するためには、判断画素から２つめの画素の色差成分を参照する必要があるためである
。

もっとも、こうして斜めエッジ方向ｄｄを決定する際にも、エッジ方向を誤った方向に
決定している可能性もある。そこで、全ての斜めエッジ画素について斜めエッジ方向ｄｄ
を決定したら、誤って決定した斜めエッジ方向（斜めエッジノイズ）を除去するために、
斜めエッジノイズを除去する処理を行う（図１８のステップＳ５０６）。

図２４は、斜めエッジノイズを除去する方法について示した説明図である。斜めエッジ
ノイズを除去するに際しては、斜めエッジ方向ｄｄの次のような性質、すなわち、正しく
斜めエッジ方向ｄｄが決定されていると、同じ斜めエッジ方向ｄｄの画素が連続して発生
する傾向にあるという性質を利用する。そこで先ず、図２４に斜線を付したように、ある
画素に着目して、その画素の斜め方向に隣接する４つの画素（図中で丸印を付した画素）
に設定されている斜めエッジ方向ｄｄを参照する。これら４つの画素が斜めエッジ画素で
あれば、斜めエッジ方向ｄｄとして「１」または「３」の何れかの値が設定されている。
また、斜めエッジ画素でなければ、斜めエッジ方向ｄｄは「０」のままとなっている。そ
して、これら４つの画素の斜めエッジ方向ｄｄのうち、３つ以上が同じ斜めエッジ方向ｄ
ｄであった場合には、その斜めエッジ方向ｄｄが、着目している画素の正しい斜めエッジ
方向ｄｄであると判断する。従って、着目している画素にも、周囲と同じ斜めエッジ方向
ｄｄが設定されていた場合には、正しく斜めエッジ方向ｄｄが決定されていたものと判断
するが、そうでない場合には、斜めエッジノイズであると判断して、着目画素の斜めエッ
ジ方向ｄｄを、周囲と同じ斜めエッジ方向ｄｄに変更する。図１８のステップＳ５０６で
は、以上のような操作を全ての画素に対して行うことにより、斜めエッジノイズを除去す
る処理を行う。

以上のようにして、斜めエッジノイズを除去したら、斜め方向にエッジが走っている画
素（斜めエッジ画素）と、エッジの方向（斜めエッジ方向ｄｄ）とが正しく求められたこ
とになる。そこで、今度は、斜めエッジ画素についてのＲ、Ｇ、Ｂの各成分を、正しい斜
めエッジ方向ｄｄに沿って補間し直す処理を行う（図１８のステップＳ５０８）。

Ｇ−３．斜めエッジ部の再補間：
図２５は、斜めエッジ画素でＲ、Ｇ、Ｂの各成分を補間し直す処理（斜めエッジ部再補
間処理）の流れを示すフローチャートである。図示されているように、処理を開始すると
、先ず始めに斜めエッジ画素を１つ選択する（ステップＳ５６０）。続いて、選択した画
素が、非Ｇ画素か否かを判断する（ステップＳ５６２）。前述したように、斜めエッジ画
素は、Ｇ画素、Ｒ画素、Ｂ画素の何れの場合もあり得るから、選択した画素が、Ｇ画素以
外の画素か否かを判断するのである。そして、非Ｇ画素と判断された場合は（ステップＳ
５６２：ｙｅｓ）、非Ｇ画素での欠落した色成分を斜めエッジ方向に沿って再補間する処
理（非Ｇ画素再補間処理）を行う（ステップＳ６００）。これに対して、選択した画素が
Ｇ画素であると判断された場合は（ステップＳ５６２：ｎｏ）、Ｇ画素での欠落した色成
分を斜めエッジ方向に沿って再補間する処理（Ｇ画素再補間処理）を行う（ステップＳ６
５０）。

図２６は、非Ｇ画素再補間処理の流れを示すフローチャートである。非Ｇ画素再補間処
理では、再補間の対象としている斜めエッジ画素の斜めエッジ方向ｄｄを取得する（ステ
ップＳ６０２）。そして、取得した斜めエッジ方向ｄｄの値が「１」、すなわち右下がり
方向のエッジであれば（ステップＳ６０４：ｙｅｓ）、先ず、欠落した非Ｇ成分を右下が
り方向に沿って補間し（ステップＳ６０６）、続いて、右下がり方向に沿ってＧ成分を補
間する（ステップＳ６０８）。例えば、再補間の対象としている斜めエッジ画素がＲ画素
であれば、Ｂ成分およびＧ成分が欠落しているため、先ず始めにＢ成分を補間し、続いて
Ｇ成分を補間する。また、再補間しようとしている斜めエッジ画素がＢ画素であれば、始
めにＲ成分を補間し、次にＧ成分を補間する。

図２７は、右下がり方向に沿って非Ｇ画素での欠落成分を補間するための算出式を示し
た説明図である。図中に示した（１）式は、非Ｇ成分を補間するための算出式であり、図
中に示した（２）式は、Ｇ成分を補間するための算出式である。また、図２８は、Ｒ画素
を例に用いて、欠落した色成分を右下がり方向に補間する様子を示した説明図である。図
２８（ａ）は、図２７の（１）式に従って、Ｒ画素の欠落した非Ｇ成分（Ｂ成分）を補間
する様子を示している。また、図２８（ｂ）は、図２７の（２）式に従って、Ｒ画素のＧ
成分を補間する様子を示している。尚、図中のＲ画素に丸印が付されているのは、その画
素が、補間しようとしている画素であることを表したものである。

先ず始めに、図２７の（１）式および図２８（ａ）を参照しながら、非Ｇ画素での欠落
した非Ｇ成分を右下がり方向に沿って補間する処理（すなわち、図２６のステップＳ６０
６の処理）について説明する。非Ｇ画素での欠落した非Ｇ成分を右下がり方向に沿って補
間するには、図２７の（１）式に示されているように、補間しようとしている画素の左斜
め上にある画素のＲＡＷ画像データの階調値ｚ（ｒ−１，ｓ−１）と、右斜め下にある画
素のＲＡＷ画像データの階調値ｚ（ｒ＋１，ｓ＋１）との平均値を算出すればよい。この
ことは、図２８（ａ）を見れば、直ちに了解することができる。図２８（ａ）では、補間
しようとしている画素がＲ画素の場合を示しているから、欠落した非Ｇ成分はＢ成分であ
る。また、ここでは、斜めエッジの方向が右下がり方向である場合を想定している。そし
て、図２８（ａ）に示したように、Ｒ画素を右下がり方向に横切る方向の画素、すなわち
、左斜め上の画素および右斜め下の画素は何れもＢ画素である。従って、これらの画素の
ＲＡＷ画像データを単純に平均してやれば、補間しようとしている画素でのＢ成分を適切
に求めることが可能である。図２８（ａ）では、補間しようとしている画素がＲ画素であ
る場合について示しているが、Ｂ画素である場合も同様なことが成り立つ。従って、図２
７の（１）式を用いれば、非Ｇ画素での欠落した非Ｇ成分を算出することが可能である。
尚、（１）式の左辺は、補間しようとしている画素がＲ画素であればＢ成分となり、Ｂ画
素であればＲ成分となり、Ｂ成分ともＲ成分とも決められないため、「Ｘ」と表示されて
いる。図２６のステップＳ６０６では、以上のようにして、非Ｇ画素での欠落した非Ｇ成
分を、右下がり方向に補間する処理を行う。

次に、図２７の（２）式および図２８（ｂ）を参照しながら、非Ｇ画素でのＧ成分を右
下がり方向に沿って補間する処理（すなわち、図２６のステップＳ６０８の処理）につい
て説明する。図２８（ｂ）に示されているように、補間しようとしている画素がＲ画素で
ある場合、斜めエッジ方向（ここでは、右下がり方向）にはＧ画素は存在しない。従って
、Ｂ成分を補間した場合のように、斜めエッジ方向にある画素のＲＡＷ画像データを読み
出して単純に平均する方法では、Ｇ成分を得ることはできない。しかし、Ｇ成分と他の色
成分との色差成分であれば、求めることができる。図２８（ｂ）に示した例では、補間し
ようとしている画素の斜めエッジ方向に隣接する画素はＢ画素であるから、これらの画素
では、Ｇ成分からＢ成分を減算した色差成分ＣＤGBが既に求められている。また、色差成
分ＣＤGBは、上下方向の色差成分ＣＤｖと、水平方向の色差成分ＣＤｈの２種類の色差成
分が存在しているから、これら４つの色差成分を平均してやれば、補間しようとしている
画素で色差成分ＣＤGBを斜めエッジ方向に補間した値を算出することができる。そして、
Ｂ成分については、斜めエッジ方向に補間した値が既に求められているため、このＢ成分
と、色差成分ＣＤGB（＝Ｇ成分−Ｂ成分）とを加算すれば、斜めエッジ方向に補間したＧ
成分を算出することができる。このように、補間しようとしている画素がＲ画素である場
合、斜めエッジ方向に隣接する画素に着目することで、色差成分ＣＤGBを用いてＧ成分を
算出することができる。図２６のステップＳ６０８では、以上のようにして、非Ｇ画素で
のＧ成分を、右下がり方向に補間する処理を行う。

これに対して、補間しようとしている画素の斜めエッジ方向ｄｄの値が「３」、すなわ
ち右上がり方向のエッジであると判断された場合には（図２６のステップＳ６０４：ｎｏ
）、欠落した非Ｇ成分およびＧ成分を、今度は右上がり方向に沿って補間する（ステップ
Ｓ６１０およびステップＳ６１２）。図２９には、右上がり方向に沿って非Ｇ画素での欠
落成分を補間するための算出式が示されている。図２９に示した（３）式は、非Ｇ成分を
求めるための算出式であり、（４）式はＧ成分を求めるための算出式である。これらの算
出式は、図２７に示した（１）式および（２）式に対して、参照する画素の位置が、左斜
め下の画素および右斜め上の画素に変更されている点のみが異なっている。その他の点に
ついては同様であるため、詳細な説明は省略する。

尚、非Ｇ画素での欠落した色成分を、より正確に補間する為に、図２７あるいは図２９
に示した算出式に代えて、次のような算出式を用いても良い。図３０は、非Ｇ画素での欠
落した色成分を右下がり方向に沿って補間するための他の算出式を示した説明図である。
図３０の（５）式は、非Ｇ成分を求めるために用いることができ、（６）式は、Ｇ成分を
求めるために用いることができる。また、図３１には、これらの算出式を用いて、Ｒ画素
の欠落した色成分（Ｂ成分およびＧ成分）を、斜めエッジ方向（右下がり方向）に沿って
補間する様子が示されている。更に、図３２には、非Ｇ画素での欠落した色成分を右上が
り方向に沿って補間するための算出式が示されている。図３１の（７）式は、非Ｇ成分を
求めるための算出式であり、（８）式は、Ｇ成分を求めるための算出式である。

先ず始めに、図３０の（５）式の意味するところについて、図３１（ａ）を参照しなが
ら説明する。図３１（ａ）に示したように、Ｒ画素の斜めエッジ方向（ここでは、右下が
り方向）にはＢ画素が存在している。従って、斜めエッジ方向にＢ成分を補間するのであ
れば、図２７の（１）式に示したように、斜めエッジ方向に隣接する画素のＲＡＷ画像デ
ータを平均してやればよい。しかし、２つのＲＡＷ画像データを平均するのでは、何らか
の理由で一方のデータが変動すると、その影響を強く受けてしまう。そこで、斜めエッジ
方向に隣接する画素だけでなく、補間しようとしている画素（図３１中に丸印を付した画
素）、およびその画素から斜めエッジ方向に２つめの画素でのＲＡＷ画像データも考慮し
て、Ｂ成分を算出する。但し、補間しようとしている画素（図３１中に丸印を付した画素
）、およびその画素から斜めエッジ方向に２つめの画素でのＲＡＷ画像データは、求めよ
うとしているＢ成分ではなくＲ成分のため、隣接する画素のＲＡＷ画像データよりも小さ
な重みで考慮することにする。図３１（ａ）には、このようにしてＲ画素でのＢ成分を求
める算出式が示されている。図示した算出式では、Ｒ成分は互いに相殺しあってＢ成分だ
けが残り、また、Ｂ成分の重みはＲ成分の２倍となっている。このため、Ｒ画素から斜め
エッジ方向に存在する画素でのＲＡＷ画像データ（すなわち、Ｒ成分およびＢ成分）を用
いて、Ｒ画素でのＢ成分を適切に補間することが可能となる。

次に、図３０の（６）式を用いて、非Ｇ画素でのＧ成分を補間する方法について説明す
る。ここで、非Ｇ画素でのＧ成分を斜めエッジ方向（ここでは、右下がり方向）に補間す
る算出式としては、斜めエッジ方向に隣接する画素での色差成分を用いる図２７の（２）
式について、既に説明した。色差成分としては、Ｇ成分からＲ成分を減算した色差成分Ｃ
ＤGRと、Ｇ成分からＢ成分を減算した色差成分ＣＤGBの２種類の色差成分が存在している
が、図２７の（２）式では、何れか一方の色差成分に基づいて、非Ｇ画素でのＧ成分を補
間していることになる。すなわち、補間しようとしている非Ｇ画素がＲ画素であれば、色
差成分ＣＤGBに基づいてＧ成分を補間していることになり、Ｂ画素であれば、色差成分Ｃ
ＤGRに基づいてＧ成分を補間していることになる。しかし、２種類の色差成分ＣＤGBおよ
び色差成分ＣＤGRに基づいてＧ成分を補間してやれば、より適切に補間することが可能に
なると思われる。図３０の（６）式は、このような考え方に基づいて、より正確にＧ成分
を補間しようとする算出式であり、斜めエッジ方向に隣接する画素での色差成分と、補間
しようとする画素での色差成分とに基づいて、Ｇ成分を算出するようになっている。この
点について、図３１（ｂ）〜図３１（ｄ）を用いて、更に説明する。

図３１（ｂ）には、Ｒ画素の斜めエッジ方向（ここでは、右下がり方向）に隣接する画
素での色差成分を用いて、Ｇ成分を補間する様子が示されている。この補間方法は、図２
７の（２）式を用いた方法と全く同様であり、得られたＧ成分は、色差成分ＣＤGBに基づ
くＧ成分Ｇｂとなっている。そこで、色差成分ＣＤGRに基づくＧ成分Ｇｒも求めるために
、補間しようとしている画素に着目する。補間しようとしている画素はＲ画素であるから
、この画素での色差成分は、上下方向の色差成分ＣＤｖも水平方向の色差成分ＣＤｈも、
Ｇ成分からＲ成分を減算した色差成分ＣＤGRとなっている。そこで、これら２つの色差成
分の平均を取り、得られた値にＲＡＷ画像データを加算すれば、色差成分ＣＤGRに基づく
Ｇ成分Ｇｒを求めることができる。図３１（ｃ）には、このようにして色差成分ＣＤGRに
基づくＧ成分Ｇｒを求める様子が示されている。

以上のようにして、色差成分ＣＤGBに基づくＧ成分Ｇｂと、色差成分ＣＤGRに基づくＧ
成分Ｇｒとが得られたら、これらの平均を取って、Ｇ成分とすればよい。図３１（ｄ）に
は、このようにしてＲ画素でのＧ成分を求める様子が示されている。図３１では、非Ｇ画
素がＲ画素であるものとして、Ｂ成分およびＧ成分を補間する場合について示しているが
、非Ｇ画素がＢ画素である場合についても、全く同様にして、Ｒ成分およびＧ成分を求め
ることができる。従って、図２６に示した非Ｇ画素再補間処理のステップＳ６０６では、
図２７の（１）式に代えて、図３０の（５）式を用いて非Ｇ成分を補間し、ステップＳ６
０８では、図２７の（２）式に代えて、図３０の（６）式を用いてＧ成分を補間すること
としてもよい。同様に、ステップＳ６１０では、図２９の（３）式に代えて、図３２の（
７）式を用いて非Ｇ成分を補間し、ステップＳ６１２では、図２９の（４）式に代えて、
図３２の（８）式を用いてＧ成分を補間することとしてもよい。

以上のようにして、非Ｇ画素での欠落した色成分を、斜めエッジ方向ｄｄに沿って補間
することによって求めたら、図２６に示した非Ｇ画素再補間処理を終了して、図２５の斜
めエッジ部再補間処理に復帰する。

以上では、斜めエッジ画素が非Ｇ画素であった場合、すなわち、図２５のステップＳ５
６２において「ｙｅｓ」と判断された場合に、その画素での欠落した色成分を補間し直す
処理（非Ｇ画素再補間処理）について説明した。これに対して、図２５のステップＳ５６
２において、斜めエッジ画素がＧ画素であると判断された場合には（ステップＳ５６２：
ｎｏ）、次のようにして、Ｇ画素で欠落しているＲ成分およびＢ成分を補間し直す処理（
Ｇ画素再補間処理）を行う（ステップＳ６５０）。

図３３は、Ｇ画素再補間処理の流れを示すフローチャートである。Ｇ画素再補間処理に
おいても、処理を開始すると先ず始めに、補間の対象としている斜めエッジ画素の斜めエ
ッジ方向ｄｄを取得する（ステップＳ６５２）。そして、取得した斜めエッジ方向ｄｄの
値が「１」、すなわち右下がり方向のエッジであれば（ステップＳ６５４：ｙｅｓ）、Ｇ
画素の左斜め上にある画素の色差成分と、右斜め下にある画素の色差成分とを用いて、Ｒ
成分またはＢ成分の何れか一方を算出する（ステップＳ６５６）。このときに用いる算出
式は、図３４の（９）式に示されている。（９）式を用いて、Ｒ成分またはＢ成分の何れ
が求められるかは、補間しようとしているＧ画素の左右に隣接する画素が、Ｒ画素または
Ｂ画素の何れであるかに依存している。そこで、図３３のステップＳ６５６では、第１の
色成分Ｆを算出するものとしている。第１の色成分Ｆを求めたら、今度は、残った方の色
成分である第２の色成分Ｓを算出する。第２の色成分Ｓの算出式は、図３４の（１０）式
に示されている。以下では、Ｇ画素の左右に隣接する画素がＲ画素である場合を例にとっ
て、第１の色成分Ｆおよび第２の色成分Ｓが、それぞれ図３４の（９）式および（１０）
式によって算出可能な理由について説明する。

図３５は、Ｇ画素で右下がり方向に補間することにより、第１の色成分Ｆおよび第２の
色成分Ｓを算出する様子を例示した説明図である。尚、図中のＧ画素に付けた丸印は、そ
のＧ画素が補間しようとしている画素であることを表したものである。先ず始めに、図３
５（ａ）を参照しながら、図３４の（９）式によって第１の色成分Ｆを算出可能な理由に
ついて説明する。図３４の（９）式に示されているように、第１の色成分Ｆは、補間しよ
うとしているＧ画素でのＲＡＷ画像データから、色差成分に基づいて得られた値を減算す
ることによって算出するようになっている。ここで、色差成分に基づいて得られた値は、
丸印を付けたＧ画素の左斜め上の画素での上下方向の色差成分ＣＤｖ（ｒ−１，ｓ−１）
と、丸印を付けたＧ画素での水平方向の色差成分ＣＤｈ（ｒ，ｓ）と、丸印を付けたＧ画
素の右斜め下の画素での上下方向の色差成分ＣＤｖ（ｒ＋１，ｓ＋１）とを、所定の重み
で加重平均した値となっている。そして、図３５（ａ）に示すように、丸印を付けたＧ画
素が、左右に隣接する画素がＲ画素となっているような画素である場合には、これらの色
差成分は何れも、Ｇ成分からＲ成分を減算した色差成分ＣＤGRとなっている。従って、こ
れらを加重平均して得られた値は、丸印を付けたＧ画素を中心として斜めエッジ方向（こ
こでは、右下がり方向）に存在する画素での色差成分ＣＤGRに基づいて、丸印のＧ画素で
の色差成分ＣＤGRを求めた値となっている。また、丸印のＧ画素でのＲＡＷ画像データは
Ｇ成分であるから、得られた色差成分ＣＤGRをＲＡＷ画像データから減算することで、丸
印のＧ画素でのＲ成分を求めることが可能である。

図３５（ａ）では、Ｇ画素の左右に隣接する画素がＲ画素である場合が例示されている
が、左右に隣接する画素がＢ画素である場合にも同様なことが成り立ち、Ｇ画素でのＢ成
分を求めることができる。従って、図３４の（９）式を用いることにより、左右に隣接す
る画素がＲ画素であるようなＧ画素については、その画素でのＲ成分が第１の色成分Ｆと
して求められ、また、左右に隣接する画素がＢ画素であるようなＧ画素については、その
画素でのＢ成分が第１の色成分Ｆとして求められることになる。

次に、図３５（ｂ）を参照しながら、図３４の（１０）式によって第２の色成分Ｓを算
出可能な理由について説明する。図３４の（１０）式に示されているように、第２の色成
分Ｓも、上述した第１の色成分Ｆと同様に、補間しようとしているＧ画素でのＲＡＷ画像
データから、色差成分に基づいて得られた値を減算することによって算出する。但し、第
１の色成分Ｆと第２の色成分Ｓとでは、色差成分を参照する画素位置は同じであるものの
、参照する色差成分の方向が異なっている。すなわち、第２の色成分Ｓでは、図３５（ｂ
）に示すように、丸印を付けたＧ画素の左斜め上の画素での水平方向の色差成分ＣＤｈ（
ｒ−１，ｓ−１）と、丸印を付けたＧ画素での上下方向の色差成分ＣＤｖ（ｒ，ｓ）と、
丸印を付けたＧ画素の右斜め下の画素での水平方向の色差成分ＣＤｈ（ｒ＋１，ｓ＋１）
とを、所定の重みで加重平均した値となっている。そして、これらの色差成分は何れも、
Ｇ成分からＢ成分を減算した色差成分ＣＤGBとなっている。従って、このようにして得ら
れた色差成分ＣＤGBをＲＡＷ画像データから減算すれば、丸印を付けたＧ画素でのＢ成分
を算出することが可能である。もちろん、左右の画素がＢ画素であるようなＧ画素に対し
ても同様にすることで、Ｇ画素でのＲ成分を求めることができる。従って、図３４の（１
０）式を用いることにより、左右に隣接する画素がＲ画素であるようなＧ画素については
、その画素でのＢ成分が第２の色成分Ｓとして求められ、また、左右に隣接する画素がＢ
画素であるようなＧ画素については、その画素でのＲ成分が第２の色成分Ｓとして求めら
れることになる。

以上のような理由から、斜めエッジ方向ｄｄが「１」、すなわち右下がり方向であると
判断された場合には（図３３のステップＳ６５４：ｙｅｓ）、図３４の（９）式および（
１０）式を用いることにより、第１の色成分Ｆおよび第２の色成分Ｓをそれぞれ算出する
のである。

これに対して、斜めエッジ方向ｄｄが「１」ではない、すなわち右上がり方向であると
判断された場合には（図３３のステップＳ６５４：ｎｏ）、図３６の（１１）式を用いて
第１の色成分Ｆを算出し（ステップＳ６６０）、次いで、図３６の（１２）式を用いて第
２の色成分Ｓを算出する（ステップＳ６６２）。図３６の（１１）式および（１２）式は
、前述した図３３の（９）式および（１０）式に対して、斜めエッジ方向の違いに対応し
て、色差成分を参照する画素の位置が異なるだけである。従って、図３３の（９）式から
は第１の色成分Ｆが求められ、（１０）式からは第２の色成分Ｓが求められるのと全く同
じ理由によって、図３６の（１１）式からは第１の色成分Ｆが、（１２）式からは第２の
色成分Ｓが、それぞれ求められる。

こうにして、斜めエッジ方向に沿って、第１の色成分Ｆおよび第２の色成分Ｓを求めた
ら（ステップＳ６５６〜ステップＳ６６２）、補間しようとしているＧ画素の左右に隣接
する画素がＲ画素か否かを判断する（ステップＳ６６４）。そして、左右の画素がＲ画素
である場合は（ステップＳ６６４：ｙｅｓ）、図３５を用いて前述したように、第１の色
成分ＦはＲ成分に対応しており、第２の色成分ＳはＢ成分に対応している。そこで、補間
しようとしているＧ画素のＲ成分を、第１の色成分Ｆに変更し、Ｂ成分を、第２の色成分
Ｓに変更する（ステップＳ６６６）。これに対して、補間しようとしているＧ画素の左右
に隣接する画素がＲ画素ではなかった場合は（ステップＳ６６４：ｎｏ）、Ｒ成分を第２
の色成分Ｓに変更し、Ｂ成分を第１の色成分Ｆに変更する（ステップＳ６６８）。

以上のような処理を行うことにより、エッジが斜め方向に走っているＧ画素について、
斜めエッジ方向に沿って補間したＲ成分およびＢ成分が求められたことになる。そこで、
図３３に示したＧ画素再補間処理を終了して、図２５に示す斜めエッジ部再補間処理に復
帰する。

このように、図２５に示した斜めエッジ部再補間処理では、斜めエッジ画素を選択する
と（ステップＳ５６０）、その画素が非Ｇ画素であれば（ステップＳ５６２：ｙｅｓ）、
前述した非Ｇ画素再補間処理を行い（ステップＳ６００）、斜めエッジ画素がＧ画素であ
れば（ステップＳ５６２：ｎｏ）、上述したＧ画素再補間処理を行うことによって（ステ
ップＳ６５０）、斜めエッジ画素でのＲＡＷ画像データの欠落した色成分を、斜めエッジ
方向に沿って補間し直す処理を行う。そして、１つの斜めエッジ画素について補間し直す
たびに、全ての斜めエッジ画素について再補間が終了したか否かを判断し（ステップＳ５
６４）、補間し直していない斜めエッジ画素が残っている場合には（ステップＳ５６４：
ｎｏ）、先頭に戻って新たな斜めエッジ画素を選択して（ステップＳ５６０）、上述した
続く一連の処理を行う。こうした操作を繰り返して、全ての斜めエッジ画素について再補
間を終了したと判断されたら（ステップＳ５６４：ｙｅｓ）、図２５の斜めエッジ部再補
間処理を終了して、図１８の斜めエッジ部修正処理に復帰し、そして、斜めエッジ部修正
処理から、図３のカラー画像データ生成処理に復帰する。こうして得られたカラー画像デ
ータは、エッジが斜め方向に走っている画素では、エッジの方向に沿って補間し直すこと
により、より適切なカラー画像データとなっている。そこで、得られたカラー画像データ
を出力して（ステップＳ１１４）、図３のカラー画像データ生成処理を終了する。

以上に説明した本実施例のカラー画像データ生成処理では、エッジが斜め方向に走って
いる部分でも、エッジの方向に沿って補間された適切なＲ、Ｇ、Ｂの各成分を求めること
ができる。また、ＲＡＷ画像データの欠落した色成分を補間し直す処理は、エッジが斜め
方向に走っている画素でのみ行えばよいため、ＲＡＷ画像データからカラー画像データを
生成するために要する時間が大幅に増加することもない。

以上、本実施例のデジタルカメラ１００内で、ＲＡＷ画像データからカラー画像データ
を生成する処理について説明したが、本発明は上記すべての実施例に限られるものではな
く、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。

１０…光学系、２０…撮像部、２２…カラーフィルターアレイ、２４…撮像板、３０…
画像処理装置、４０…外部出力端子、５０…外部記録媒体、１００…デジタルカメラ、Ｃ
ＤGB，ＣＤGR，ＣＤｈ，ＣＤｈ（ｒ，ｓ），ＣＤｈ（ｒ＋１，ｓ＋１），ＣＤｈ（ｒ−１
，ｓ−１），ＣＤｖ，ＣＤｖ（ｒ，ｓ），ＣＤｖ（ｒ＋１，ｓ＋１），ＣＤｖ（ｒ−１，
ｓ−１），ＣＶｖ…色差成分、Ｆ…第１の色成分、Ｇｂ，Ｇｒ…Ｇ成分、ＲＢ（ｒ，ｓ）
…ＲＢ成分、Ｓ…第２の色成分、Ｖ135，Ｖ45，Ｖｈ，Ｖｖ…変化量、ｄ…エッジ方向、
ｄｄ…斜めエッジ方向、ｚ，ｚ（ｒ，ｓ），ｚ（ｒ，ｓ＋１），ｚ（ｒ，ｓ−１），ｚ（
ｒ＋１，ｓ），ｚ（ｒ＋１，ｓ＋１），ｚ（ｒ−１，ｓ），ｚ（ｒ−１，ｓ−１）…階調
値、α…変数、σ…閾値。

Claims (5)

1. 光の三原色に対応するＲ、Ｇ、Ｂの色成分が画素毎に一成分ずつ設定された画像データ
   であるモザイク画像データを受け取って、該モザイク画像データに所定の画像処理を施す
   ことにより、各画素にＲ、Ｇ、Ｂの全ての色成分が設定されたカラー画像データを生成す
   る画像処理装置であって、
   前記モザイク画像データは、前記Ｒ成分の画素と前記Ｇ成分の画素とが縦方向に交互に
   並んだ画素列と、前記Ｇ成分の画素と前記Ｂ成分の画素とが縦方向に交互に並んだ画素列
   と、前記Ｒ成分の画素と前記Ｇ成分の画素とが横方向に交互に並んだ画素行と、前記Ｇ成
   分の画素と前記Ｂ成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構成さ
   れた画像データであり、
   前記モザイク画像データの前記画素列毎に、該画素列内の各画素での前記Ｇ成分と他の
   色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す縦方向色差成分を
   、該画素列の各画素について算出する縦方向色差成分算出手段と、
   前記モザイク画像データの前記画素行毎に、該画素行内の各画素での前記Ｇ成分と他の
   色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す横方向色差成分を
   、該画素行の各画素について算出する横方向色差成分算出手段と、
   前記モザイク画像データの中から前記Ｒ成分の画素および前記Ｂ成分の画素を選択し、
   該選択された各画素での前記縦方向色差成分の変化量と前記横方向色差成分の変化量とを
   比較することにより、各画素でのエッジ方向を、縦方向または横方向の何れかに決定する
   エッジ方向決定手段と、
   前記モザイク画像データの各画素について該画素に設定されていない色成分である欠落
   色成分を、前記エッジ方向を参照しながら、該モザイク画像データに設定されている前記
   色成分に基づいて補間する欠落色成分補間手段と、
   前記欠落色成分が補間された画像データを解析することにより、エッジ方向が斜め方向
   の画素である斜めエッジ画素を検出する斜めエッジ画素検出手段と、
   前記斜めエッジ画素でのエッジ方向である斜めエッジ方向を、前記縦方向色差成分およ
   び前記横方向色差成分に基づいて決定する斜めエッジ方向決定手段と、
   前記斜めエッジ画素から前記斜めエッジ方向にある画素での、前記モザイク画像データ
   、前記縦方向色差成分、あるいは前記横方向色差成分の少なくとも１つに基づいて、該斜
   めエッジ画素での前記欠落色成分を算出した後、前記欠落色成分補間手段によって得られ
   た該欠落色成分を、該算出した欠落色成分によって更新することにより、該斜めエッジ画
   素での補間結果を修正する斜めエッジ画素補間修正手段と
   を備えることを特徴とする画像処理装置。
2. 前記斜めエッジ画素検出手段は、
   前記欠落色成分が補間された画像データに基づいて、各画素のＲ成分とＢ成分との差
   を示すＲＢ色差成分を、画素毎に算出するＲＢ色差成分算出手段を備え、
   前記ＲＢ色差成分の縦方向への変化量および横方向への変化量が、所定の閾値より大
   きな画素を、前記斜めエッジ画素として検出する手段であることを特徴とする請求項１に
   記載の画像処理装置。
3. 前記斜めエッジ方向決定手段は、
   前記縦方向色差成分と前記横方向色差成分との合計を示す合計色差成分を、前記各々
   の斜めエッジ画素について算出する合計色差成分算出手段と、
   前記斜めエッジ画素を中心とする右上がり方向への前記合計色差成分の変化量と、該
   斜めエッジ画素を中心とする右下がり方向への該合計色差成分の変化量とを、前記各々の
   斜めエッジ画素について算出する合計色差成分変化量算出手段と
   を備え、
   前記右上がり方向への前記変化量と前記右下がり方向への該変化量とを前記斜めエッ
   ジ画素毎に比較して、該変化量が小さい方向を、該斜めエッジ画素での前記斜めエッジ方
   向として決定する手段であることを特徴とする請求項１に記載の画像処理装置。
4. 光の三原色に対応するＲ、Ｇ、Ｂの色成分が画素毎に一成分ずつ設定された画像データ
   であるモザイク画像データを受け取って、該モザイク画像データに所定の画像処理を施す
   ことにより、各画素にＲ、Ｇ、Ｂの全ての色成分が設定されたカラー画像データを生成す
   る画像処理方法であって、
   前記モザイク画像データとして、前記Ｒ成分の画素と前記Ｇ成分の画素とが縦方向に交
   互に並んだ画素列と、前記Ｇ成分の画素と前記Ｂ成分の画素とが縦方向に交互に並んだ画
   素列と、前記Ｒ成分の画素と前記Ｇ成分の画素とが横方向に交互に並んだ画素行と、前記
   Ｇ成分の画素と前記Ｂ成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構
   成された画像データを受け取る第１の工程と、
   前記モザイク画像データの前記画素列毎に、該画素列内の各画素での前記Ｇ成分と他の
   色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す縦方向色差成分を
   、該画素列の各画素について算出する第２の工程と、
   前記モザイク画像データの前記画素行毎に、該画素行内の各画素での前記Ｇ成分と他の
   色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す横方向色差成分を
   、該画素行の各画素について算出する第３の工程と、
   前記モザイク画像データの中から前記Ｒ成分の画素および前記Ｂ成分の画素を選択し、
   該選択された各画素での前記縦方向色差成分の変化量と前記横方向色差成分の変化量とを
   比較することにより、各画素でのエッジ方向を、縦方向または横方向の何れかに決定する
   第４の工程と、
   前記モザイク画像データの各画素について該画素に設定されていない色成分である欠落
   色成分を、前記エッジ方向を参照しながら、該モザイク画像データに設定されている前記
   色成分に基づいて補間する第５の工程と、
   前記欠落色成分が補間された画像データを解析することにより、エッジ方向が斜め方向
   の画素である斜めエッジ画素を検出する第６の工程と、
   前記斜めエッジ画素でのエッジ方向である斜めエッジ方向を、前記縦方向色差成分およ
   び前記横方向色差成分に基づいて決定する第７の工程と、
   前記斜めエッジ画素から前記斜めエッジ方向にある画素での、前記モザイク画像データ
   、前記縦方向色差成分、あるいは前記横方向色差成分の少なくとも１つに基づいて、該斜
   めエッジ画素での前記欠落色成分を算出した後、前記第５の工程で得られた該欠落色成分
   を、該算出した欠落色成分によって更新することにより、該斜めエッジ画素での補間結果
   を修正する第８の工程と
   を備えることを特徴とする画像処理方法。
5. 光の三原色に対応するＲ、Ｇ、Ｂの色成分が画素毎に一成分ずつ設定された画像データ
   であるモザイク画像データを受け取って、該モザイク画像データに所定の画像処理を施す
   ことにより、各画素にＲ、Ｇ、Ｂの全ての色成分が設定されたカラー画像データを生成す
   る方法を、コンピューターを用いて実現するためのプログラムであって、
   前記モザイク画像データとして、前記Ｒ成分の画素と前記Ｇ成分の画素とが縦方向に交
   互に並んだ画素列と、前記Ｇ成分の画素と前記Ｂ成分の画素とが縦方向に交互に並んだ画
   素列と、前記Ｒ成分の画素と前記Ｇ成分の画素とが横方向に交互に並んだ画素行と、前記
   Ｇ成分の画素と前記Ｂ成分の画素とが横方向に交互に並んだ画素行とが組み合わされて構
   成された画像データを受け取る第１の機能と、
   前記モザイク画像データの前記画素列毎に、該画素列内の各画素での前記Ｇ成分と他の
   色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す縦方向色差成分を
   、該画素列の各画素について算出する第２の機能と、
   前記モザイク画像データの前記画素行毎に、該画素行内の各画素での前記Ｇ成分と他の
   色成分とを補間によって算出し、該Ｇ成分と該他の色成分との差を示す横方向色差成分を
   、該画素行の各画素について算出する第３の機能と、
   前記モザイク画像データの中から前記Ｒ成分の画素および前記Ｂ成分の画素を選択し、
   該選択された各画素での前記縦方向色差成分の変化量と前記横方向色差成分の変化量とを
   比較することにより、各画素でのエッジ方向を、縦方向または横方向の何れかに決定する
   第４の機能と、
   前記モザイク画像データの各画素について該画素に設定されていない色成分である欠落
   色成分を、前記エッジ方向を参照しながら、該モザイク画像データに設定されている前記
   色成分に基づいて補間する第５の機能と、
   前記欠落色成分が補間された画像データを解析することにより、エッジ方向が斜め方向
   の画素である斜めエッジ画素を検出する第６の機能と、
   前記斜めエッジ画素でのエッジ方向である斜めエッジ方向を、前記縦方向色差成分およ
   び前記横方向色差成分に基づいて決定する第７の機能と、
   前記斜めエッジ画素から前記斜めエッジ方向にある画素での、前記モザイク画像データ
   、前記縦方向色差成分、あるいは前記横方向色差成分の少なくとも１つに基づいて、該斜
   めエッジ画素での前記欠落色成分を算出した後、前記第５の機能によって得られた該欠落
   色成分を、該算出した欠落色成分によって更新することにより、該斜めエッジ画素での補
   間結果を修正する第８の機能と
   を実現させることを特徴とするプログラム。

Images