JPH11331858A - 画像信号処理装置およびプログラムを記録した媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像を構成する色信号の補間精度を向上させ
ることができる画像信号処理技術を提供することを課題
とする。 【解決手段】 少なくとも１次元の画素列の一部の画素
の緑信号及び他の画素の赤信号又は青信号を取得する色
信号取得手段と、画素列の画素間で補間を行うことによ
り全画素の緑信号を得る緑信号補間手段と、画素列にお
いて同一画素の赤信号と緑信号の差分を赤色差信号とし
て求め、同一画素の青信号と緑信号の差分を青色差信号
として求める第１の変換手段と、第１の変換手段により
変換される赤色差信号及び青色差信号をそれぞれ前記画
素列の画素間で補間する色差信号補間手段と、色差信号
補間手段により補間される赤色差信号及び青色差信号に
それぞれ同一画素の緑信号を加算することにより赤信号
及び青信号を求める第２の変換手段とを有する画像信号
処理装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像信号の処理技
術に関し、特に画像信号の補間を行う画像信号処理技術
に関する。

【０００２】

【従来の技術】図１１（Ａ）は、電荷結合素子（ＣＣ
Ｄ）カメラにより撮像された画像データの一部を示す。
画像データは、赤（Ｒ）信号と緑（Ｇ）信号と青（Ｂ）
信号とから構成される。３枚板式センサは、Ｒ信号とＧ
信号とＢ信号の３枚のセンサから構成される。一方、図
１１（Ａ）に示す単板式センサは、１枚のセンサ上に
Ｒ，Ｇ，Ｂ信号が配列されている。その配列は、種々の
ものがある。図１１（Ａ）はベイヤ配列の例を示す。ベ
イヤ配列では、ある行（横配列）はＲ信号とＧ信号とが
交互に配列されており、その次の行はＧ信号とＢ信号と
が交互に配列されている。つまり、Ｒ，Ｇ信号の行と
Ｇ，Ｂ信号の行とが交互に並ぶ。

【０００３】図１１（Ａ）は、画像データ内に含まれる
３×３の画像データを示す。Ｒ信号の画素は、３×３ユ
ニット内の４隅の４画素である。その他の画素位置で
は、Ｒ信号が得られないので、補間により求める必要が
ある。Ｇ１信号が位置する画素におけるＲ信号を求める
には、左右両隣の２画素のＲ信号を平均化することによ
り補間する。Ｇ４信号が位置する画素におけるＲ信号も
同様にして補間する。Ｇ２信号及びＧ３信号が位置する
画素におけるＲ信号は、それぞれ上下両隣の２画素のＲ
信号を平均化することにより補間する。Ｂ信号が位置す
る画素におけるＲ信号は、斜め方向に隣接する４画素
（３×３ユニットの４隅の４画素）のＲ信号を平均化す
ることにより補間する。以上は、Ｒ信号の補間方法を示
したが、Ｂ信号も同様の補間を行う。

【０００４】次に、Ｇ信号の補間を示す。ユニット内の
中央の画素は、Ｂ信号である。この画素は、Ｇ信号の情
報がないので、Ｇ信号を補間により求める必要がある。
中央の画素のＧ信号をＧｃ信号とする。Ｇｃ信号は、以
下の平均化処理により求めることができる。

【０００５】 Ｇｃ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４ ・・・（１） ここで、Ｇ１，Ｇ２，Ｇ３，Ｇ４信号は、それぞれＧｃ
信号の画素に隣接する４画素のＧ信号である。

【０００６】図１１（Ｂ）は、１本の横エッジを含む３
×３の画像データを示す。この画像データの場合、上記
の４画素平均により中央画素のＧｃ信号を求めると、横
エッジがぼやけてしまい、好ましくない。そこで、横エ
ッジを含む画像データの場合は、以下の式により、Ｇｃ
信号を求める。

【０００７】 Ｇｃ＝（Ｇ２＋Ｇ３）／２ ・・・（２）

【０００８】３×３の画像データが横エッジを含むか否
かの判断方法を示す。画像データがエッジを含む場合に
おいて、以下の条件式を満たす場合は、画像データが横
エッジを含むものと判断する。

【０００９】 ｜Ｇ１−Ｇ４｜＞｜Ｇ２−Ｇ３｜ ・・・（３）

【００１０】図１１（Ｃ）は、１本の縦エッジを含む３
×３の画像データを示す。この画像データの場合も、上
記の４画素平均により中央画素のＧｃ信号を求めると、
縦エッジがぼやけてしまい、好ましくない。縦エッジを
含む画像データの場合は、以下の式により、Ｇｃ信号を
求める。

【００１１】 Ｇｃ＝（Ｇ１＋Ｇ４）／２ ・・・（４）

【００１２】３×３の画像データが縦エッジを含むか否
かの判断方法を示す。画像データがエッジを含む場合に
おいて、以下の条件式を満たす場合は、画像データが縦
エッジを含むものと判断する。

【００１３】 ｜Ｇ１−Ｇ４｜＜｜Ｇ２−Ｇ３｜ ・・・（５）

【００１４】図１１（Ｂ）、（Ｃ）は、いずれも画像デ
ータが１本のエッジを含むものである。その場合は、上
記の方法によりＧｃ信号を求めることにより、エッジの
解像度を維持することができる。

【００１５】図１１（Ｄ）は、２本の横エッジを含む３
×３の画像データを示す。２本の横エッジは、第１行と
第２行の間の横エッジと第２行と第３行の間の横エッジ
を指すものとする。この画像データは、上記の条件式
（３）と（５）を用いても、横エッジかあるいは縦エッ
ジかを判断することができない。具体的には、｜Ｇ１−
Ｇ４｜＝｜Ｇ２−Ｇ３｜となり、条件式（３）と（５）
のいずれをも満足しない。

【００１６】この場合、条件式（３）と（５）のいずれ
をも満足しないからといって、上式（１）により、Ｇｃ
信号を求めることは適切ではない。つまり、この場合
は、画像データに横エッジが含まれると判断し、上式
（２）により、Ｇｃ信号を求めることが好ましい。仮
に、Ｇｃ信号を式（１）により求めると、第２行を構成
する１ライン中で、Ｇｃ信号のみが他とは異なる値にな
ってしまう。

【００１７】

【発明が解決しようとする課題】Ｇ信号は、輝度成分を
多く含むため、解像度に大きく影響する。Ｇ信号の補間
精度を向上させれば、画像の解像度を向上させることが
できる。その理由から、Ｇ信号の補間を行う際には、上
記のように、エッジの方向に応じて適切な補間を行って
いる。

【００１８】一方、Ｒ信号及びＢ信号は、解像度への影
響が小さいため、単純な補間方法で十分とされていた。
すなわち、隣接する画素間で単純平均することにより、
Ｒ信号及びＢ信号の補間を行っていた。

【００１９】しかし、Ｇ信号の補間精度が向上すると、
相対的にＲ信号及びＢ信号の補間精度が低下してしま
う。つまり、Ｇ信号及びＲ，Ｂ信号のバランスが崩れて
しまう。Ｇ信号の補間精度のみを向上させても、画質の
向上に限界がある。Ｇ信号の補間精度を向上させるだけ
ではなく、Ｒ信号及びＢ信号の補間精度をも向上させな
ければ、画質の向上は望めない。

【００２０】本発明の目的は、画像を構成する色信号の
補間精度を向上させることができる画像信号処理技術を
提供することである。

【００２１】

【課題を解決するための手段】本発明の一観点によれ
ば、少なくとも１次元の画素列の一部の画素の緑信号及
び他の画素の赤信号又は青信号を取得する色信号取得手
段と、前記画素列の画素間で補間を行うことにより全画
素の緑信号を得る緑信号補間手段と、前記画素列におい
て同一画素の赤信号と緑信号の差分を赤色差信号として
求め、同一画素の青信号と緑信号の差分を青色差信号と
して求める第１の変換手段と、前記第１の変換手段によ
り変換される赤色差信号及び青色差信号をそれぞれ前記
画素列の画素間で補間する色差信号補間手段と、前記色
差信号補間手段により補間される赤色差信号及び青色差
信号にそれぞれ同一画素の緑信号を加算することにより
赤信号及び青信号を求める第２の変換手段とを有する画
像信号処理装置が提供される。

【００２２】赤信号及び青信号は、それぞれ色信号取得
手段により取得された赤信号及び青信号だけを用いて補
間するのではなく、緑信号をも用いて補間する。これに
より、補間精度を向上させることができる。当該緑信号
は、色信号取得手段により取得されたものだけではな
く、緑信号補間手段により補間されたものをも含んでい
てもよい。緑信号補間手段が緑信号を高精度で補間する
ことができれば、赤信号及び青信号も高精度で補間する
ことができる。

【００２３】

【発明の実施の形態】図２は、単板式電荷結合素子（Ｃ
ＣＤ）カメラにより撮像された画像データ１を示す。画
像データ１は、例えばＶＧＡ規格の画像であり、その大
きさは６４０×４８０画素である。

【００２４】画像データ１は、単板のセンサ上にベイヤ
配列でＲ，Ｇ，Ｂ信号（原色）が配列されている。ベイ
ヤ配列では、ある行（横配列）はＲ信号とＧ信号とが交
互に配列されており、その次の行はＧ信号とＢ信号とが
交互に配列されている。つまり、Ｒ，Ｇ信号の行とＧ，
Ｂ信号の行とが交互に並ぶ。各Ｒ信号及び各Ｂ信号は、
上下左右をＧ信号で囲まれる。Ｇ信号は、輝度（Ｙ）信
号との相関が強いため、解像度に大きな影響を与える。
ベイヤ配列は、解像度を低下させないために、Ｇ信号を
多く含む配列になっている。

【００２５】画像データ１は、６４０×４８０画素のデ
ータを有するが、各画素はＲ，Ｇ，Ｂ信号のうちのいず
れか１つの色信号から構成される。各画素は、１色で構
成されるので、他の２色を補間する必要がある。その補
間を行うために、補間用の画像データ２を生成する。

【００２６】画像データ２は、６４２×４８２の大きさ
を有する。画像データ２は、画像データ１を１まわり大
きくしたものである。すなわち、最上行Ｌ０、最下行Ｌ
４８１、最左列Ｃ０及び最右列Ｃ６４１を画像データ１
に付加して、画像データ２を生成する。

【００２７】第０行（最上行）Ｌ０は第２行Ｌ２をコピ
ーしたものであり、第４８１行（最下行）Ｌ４８１は第
４７９行Ｌ４７９をコピーしたものである。第０列（最
左列）Ｃ０は第２列Ｃ２をコピーしたものであり、第６
４１列（最右列）Ｃ６４１は第６３９列Ｃ６３９をコピ
ーしたものである。

【００２８】画像データ２を任意の場所で３×３のブロ
ックに分割すると、４種類のブロックに分割され得る。

【００２９】図３（Ａ）〜（Ｄ）は、分割可能な４種類
の３×３のブロックを示す。各ブロックの中央の画素に
ついての色信号を補間する。

【００３０】図３（Ａ）は、中央の画素がＢ信号である
ので、中央画素のＧ信号とＲ信号とを補間により求め
る。Ｒ信号はＧ信号に比べ解像度への影響が小さいた
め、中央画素のＲ信号は平均化処理により求める。すな
わち、３×３のブロック内に存在する４つのＲ信号の平
均を、中央画素のＲ信号とする。Ｇ信号は解像度への影
響が大きいため、後に示す方法により、中央画素のＧ信
号を求める。

【００３１】図３（Ｂ）は、中央の画素がＧ信号である
ので、中央画素のＲ信号とＢ信号とを補間により求め
る。Ｒ，Ｂ信号はＧ信号に比べ解像度への影響が小さい
ため、平均化処理により中央画素のＲ，Ｂ信号を求め
る。すなわち、中央画素のＲ信号は、３×３のブロック
内に存在する２つのＲ信号を平均することにより求め、
中央画素のＢ信号も、３×３のブロック内に存在する２
つのＢ信号を平均することにより求める。

【００３２】図３（Ｃ）は、中央の画素がＧ信号である
ので、中央画素のＲ信号とＢ信号とを補間により求め
る。この場合も、図３（Ｂ）の場合と同様に、平均化処
理により中央画素のＲ，Ｂ信号を求める。

【００３３】図３（Ｄ）は、中央の画素がＲ信号である
ので、中央画素のＧ信号とＢ信号とを補間により求め
る。Ｂ信号はＧ信号に比べ解像度への影響が小さいた
め、中央画素のＢ信号を平均化処理により求める。すな
わち、３×３のブロック内に存在する４つのＢ信号の平
均を、中央画素のＢ信号とする。Ｇ信号は解像度への影
響が大きいため、後に示す方法により、中央画素のＧ信
号を求める。

【００３４】画像データ２（図２）において、３×３の
ブロック単位でラスタスキャンの順番で上記の補間処理
が行われる。すなわち、画像データ２の左上から右上の
方向へ順次ブロックを移動させて処理を行う。その次
に、１画素だけ下にずらして左端から右端へブロックを
移動させる。その後、同様な処理を繰り返し、最後に右
下隅のブロックの処理を行う。

【００３５】なお、上記では、Ｒ信号及びＢ信号を平均
化処理により求める場合を説明したが、Ｒ信号及びＢ信
号の補間精度を高めるため、Ｇ信号の補間が終了した後
に、Ｒ信号及びＢ信号の補間を行ってもよい。その補間
方法を、後に図１４〜図１６を参照しながら説明する。

【００３６】次に、図３（Ａ）、（Ｄ）に示すブロック
の中央画素のＧ信号を求める方法を示す。

【００３７】図４（Ａ）は、図３（Ａ）と図３（Ｄ）の
２つのブロックを便宜上、１つのブロックで表した図で
ある。

【００３８】ＲＢ０，ＲＢ１，ＲＢ２，ＲＢ３，ＲＢ４
信号は、いずれもＲ信号又はＢ信号のいずれかを表す。
ＢＲ０信号は、中央画素の色信号である。Ｇ１信号は、
中央画素の上の画素のＧ信号である。Ｇ２信号は、中央
画素の左の画素のＧ信号である。Ｇ３信号は、中央画素
の右の画素のＧ信号である。Ｇ４信号は、中央画素の下
の画素のＧ信号である。

【００３９】図４（Ｂ）は、図４（Ａ）のブロックにつ
いてＧ信号のみを表したブロックの図である。Ｇｃ信号
は、中央画素のＧ信号であり、補間により求めるべき信
号である。

【００４０】図５（Ａ）〜（Ｃ）は、図４（Ｂ）に示す
ブロックのパターンの分類を示す。図５（Ａ）は、１本
のエッジ（輪郭）を含むブロックのパターンＰＮ１を示
す。パターンＰＮ１は、中央画素が１本のエッジを形成
する。パターンＰＮ１は、さらに、横エッジを含むブロ
ックのパターンＰＮ１ｈと縦エッジを含むブロックのパ
ターンＰＮ１ｖとに分類される。

【００４１】横エッジパターンＰＮ１ｈは、例えば、第
１行と第２行の間にエッジがあるブロックＰ１１，Ｐ１
３、及び第２行と第３行の間にエッジがあるブロックＰ
１２，Ｐ１４を含む。横エッジパターンＰＮ１ｈの場合
は、以下の式により、Ｇｃ信号を求める。

【００４２】 Ｇｃ＝（Ｇ２＋Ｇ３）／２ ・・・（６）

【００４３】縦エッジパターンＰＮ１ｖは、例えば、第
１列と第２列の間にエッジがあるブロックＰ１５，Ｐ１
７、及び第２列と第３列の間にエッジがあるブロックＰ
１６，Ｐ１８を含む。縦エッジパターンＰＮ１ｖの場合
は、以下の式により、Ｇｃ信号を求める。

【００４４】 Ｇｃ＝（Ｇ１＋Ｇ４）／２ ・・・（７）

【００４５】図５（Ｂ）は、２本のエッジを含むブロッ
クのパターンＰＮ２を示す。パターンＰＮ２は、中央画
素が２本のエッジを形成する。パターンＰＮ２は、横エ
ッジを含むブロックのパターンＰＮ２ｈと縦エッジを含
むブロックのパターンＰＮ２ｖとに分類される。

【００４６】横エッジパターンＰＮ２ｈは、例えば、第
１行と第２行との間のエッジ及び第２行と第３行との間
のエッジを有するブロックＰ２１，Ｐ２２を含む。横エ
ッジパターンＰＮ２ｈの場合には、上式（６）により、
Ｇｃ信号を求める。

【００４７】縦エッジパターンＰＮ２ｖは、例えば、第
１列と第２列との間のエッジ及び第２列と第３列との間
のエッジを有するブロックＰ２５，Ｐ２６を含む。縦エ
ッジパターンＰＮ２ｖの場合は、上式（７）により、Ｇ
ｃ信号を求める。

【００４８】図５（Ｃ）は、エッジを含まないブロック
のパターンＰＮ０を示す。パターンＰＮ０は、中央画素
がエッジを形成しない。パターンＰＮ０は、いわゆるコ
ントラストのないブロックであり、例えば、全画素がほ
ぼ同じ信号であるブロックＰ１，Ｐ２、及び少なくとＧ
１，Ｇ２，Ｇ３，Ｇ４信号がほぼ同じ信号であるブロッ
クＰ３，Ｐ４を含む。無エッジパターンＰＮ０の場合に
は、以下の平均化処理によりＧｃ信号を求める。

【００４９】 Ｇｃ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４ ・・・（８）

【００５０】次に、具体的にＧｃ信号を補間する方法を
示す。

【００５１】図１は、本発明の実施例によるＧｃ信号の
処理方法を示すフローチャートである。

【００５２】（１）第１の判定（ステップＳ１） ステップＳ１では、第１の判定を行う。第１の判定は、
対象ブロックが１本のエッジを含むブロックパターンＰ
Ｎ１に属するか否かを判定する。以下の条件式（９）を
満たす場合には、対象ブロックが１本のエッジを含むブ
ロックパターンＰＮ１（図５（Ａ））に属すると判定さ
れ、ＹＥＳの矢印に従い、第２の判定（ステップＳ２）
へ進む。条件式（９）を満たさない場合には、対象ブロ
ックがブロックパターンＰＮ２（図５（Ｂ））またはＰ
Ｎ０（図５（Ｃ））に属すると判定され、ＮＯの矢印に
従い、第３の判定（ステップＳ３）へ進む。

【００５３】 ｛（｜Ｇ１−Ｇ４｜＞δ１ 又は ｜Ｇ２−Ｇ３｜＞δ１） かつ ｜｜Ｇ１−Ｇ４｜−｜Ｇ２−Ｇ３｜｜＞δ１｝ ・・・（９）

【００５４】δ１はしきい値である。δ１を所定値以上
に設定することにより、｜Ｇ１−Ｇ４｜、｜Ｇ２−Ｇ３
｜、｜｜Ｇ１−Ｇ４｜−｜Ｇ２−Ｇ３｜｜がそれぞれ有
意な値を持つか否かを判断することができる。

【００５５】しきい値δ１は、Ｇ１，Ｇ２，Ｇ３，Ｇ４
を基にした次式（１０）の値が好ましい。

【００５６】 δ１＝α×（｜Ｇ１−Ｇ２｜＋｜Ｇ１−Ｇ３｜＋｜Ｇ１−Ｇ４｜ ＋｜Ｇ２−Ｇ３｜＋｜Ｇ２−Ｇ４｜＋｜Ｇ３−Ｇ４｜） ・・・（１０）

【００５７】αとしては０．１程度が好ましい。このα
を調整することで、元データのノイズレベル等の影響を
ほとんど受けないように最適化させることが可能であ
る。

【００５８】ただし、しきい値δ１があまりに小さな値
になるとノイズ成分の方が大きくなり、誤判定が増え
る。そこで、δ１にリミッターをかける。すなわち、δ
１がある数β以下になる時はδ１＝βとする。Ｇ信号が
１０ビット（２¹⁰＝１０２４）の場合には、この値βは
６４程度が好ましい。

【００５９】（２）第２の判定（ステップＳ２） ステップＳ２では、第２の判定を行う。第２の判定は、
対象ブロックに含まれるエッジが横エッジ又は縦エッジ
のいずれであるのかを判定する。以下の条件式（１１）
を満たす場合には、対象ブロックが横エッジブロックパ
ターンＰＮ１ｈ（図５（Ａ））に属すると判定され、横
エッジ処理（ステップＳ５）へ進む。条件式（１１）を
満たさない場合には、以下の条件式（１２）を満たすこ
とになり、対象ブロックが縦エッジブロックパターンＰ
Ｎ１ｖ（図５（Ａ））に属すると判定され、縦エッジ処
理（ステップＳ６）へ進む。

【００６０】 ｜Ｇ１−Ｇ４｜＞｜Ｇ２−Ｇ３｜ ・・・（１１） ｜Ｇ１−Ｇ４｜＜｜Ｇ２−Ｇ３｜ ・・・（１２）

【００６１】（３）第３の判定（ステップＳ３） ステップＳ３では、第３の判定を行う。第３の判定は、
対象ブロックが２本のエッジを含むブロックパターンＰ
Ｎ２に属するか否かを判定する。以下の条件式（１３）
を満たす場合には、対象ブロックが２本のエッジを含む
ブロックパターンＰＮ２（図５（Ｂ））に属すると判定
され、ＹＥＳの矢印に従い、第４の判定（ステップＳ
４）へ進む。条件式（１３）を満たさない場合には、対
象ブロックが無エッジブロックパターンＰＮ０（図５
（Ｃ））に属すると判定され、ＮＯの矢印に従い、無エ
ッジ処理（ステップＳ７）へ進む。

【００６２】 ｜｜Ｇ１＋Ｇ４｜−｜Ｇ２＋Ｇ３｜｜＞δ２ ・・・（１３）

【００６３】δ２はしきい値である。δ２を所定値以上
に設定することにより、｜｜Ｇ１＋Ｇ４｜−｜Ｇ２＋Ｇ
３｜｜が有意な値を持つか否かを判断することができ
る。

【００６４】しきい値δ２は、しきい値δ１を基にした
次式（１４）の値が好ましい。 δ２＝γ×δ１ ・・・（１４）

【００６５】γとしては０．５程度が好ましい。このγ
を調整することで、元データのノイズレベル等の影響を
ほとんど受けないように最適化させることが可能であ
る。

【００６６】（４）第４の判定（ステップＳ４） ステップＳ４では、第４の判定を行う。第４の判定は、
対象ブロックに含まれるエッジが横エッジ又は縦エッジ
のいずれであるのかを判定する。図６（Ａ）に示すよう
に、対象ブロック１１内において中央画素の左上のＧ’
信号を用いる。Ｇ’信号は、ブロック１２において補間
により求められる信号である。ブロック１２は、対象ブ
ロック１２の左上のブロックである。ブロック１２は、
対象ブロック１１よりも前に処理されているので、対象
ブロック１１の処理を行う際には、Ｇ’信号は既知の信
号である。

【００６７】以下の条件式（１５）を満たす場合には、
図６（Ｂ）に示すように、対象ブロックが横エッジブロ
ックパターンＰＮ２ｈ（図５（Ｂ））に属すると判定さ
れ、横エッジ処理（ステップＳ５）へ進む。条件式（１
５）を満たさず、かつ以下の条件式（１６）を満たす場
合には、図６（Ｃ）に示すように、対象ブロックが縦エ
ッジブロックパターンＰＮ２ｖ（図５（Ｂ））に属する
と判定され、縦エッジ処理（ステップＳ６）へ進む。

【００６８】 ｜Ｇ２−Ｇ’｜＞｜Ｇ１−Ｇ’｜ ・・・（１５） ｜Ｇ２−Ｇ’｜＜｜Ｇ１−Ｇ’｜ ・・・（１６）

【００６９】なお、第１行の画素を求める際、左上にブ
ロックが存在しないので、上記の方法により判定するこ
とができないが、第１行の画素は１フレーム内の隅の画
素であるので、例え誤判定によりノイズが発生しても、
視覚上それほど気にならない。

【００７０】また、中央画素の左上の画素のＧ’信号を
用いる代わりに、中央画素の右上の画素を用いてもよ
い。また、画像データの下から上の方向へ処理する場合
には、中央画素の左下又は右下の画素のＧ信号を用いて
もよい。

【００７１】（５）横エッジ処理（ステップＳ５） ステップＳ５では、横エッジ処理を行う。すなわち、対
象ブロックのＧｃ信号を、以下の式（１７）により求
め、エラー補正処理（ステップＳ８）へ進む。

【００７２】 Ｇｃ＝（Ｇ２＋Ｇ３）／２ ・・・（１７）

【００７３】さらに、図７（Ｂ）に示すように、当該ブ
ロックが横エッジパターンであることを示すため、横エ
ッジデータＨＲを記録する。図７（Ｂ）に示すエッジデ
ータ２２は、図７（Ａ）に示す画像データ２１に対応す
るエッジデータである。エッジデータ２２は、Ｇｃ信号
を求めたブロックのエッジデータである。画像データ２
１中の横エッジの部分は、エッジデータ２２において横
エッジデータＨＲとして記録される。例えば、横エッジ
データＨＲを「＋１」として記録する。

【００７４】（６）縦エッジ処理（ステップＳ６） ステップＳ６では、縦エッジ処理を行う。すなわち、対
象ブロックのＧｃ信号を、以下の式（１８）により求
め、エラー補正処理（ステップＳ８）へ進む。

【００７５】 Ｇｃ＝（Ｇ１＋Ｇ４）／２ ・・・（１８）

【００７６】さらに、エッジデータ２２（図７（Ｂ））
において、当該ブロックが縦エッジパターンであること
を示すため、縦エッジデータＶＲを記録する。画像デー
タ２１（図７（Ａ））中の縦エッジの部分は、エッジデ
ータ２２において縦エッジデータＶＲとして記録され
る。例えば、縦エッジデータＶＲを「−１」として記録
する。

【００７７】（７）無エッジ処理（ステップＳ７） ステップＳ７では、無エッジ処理を行う。すなわち、対
象ブロックのＧｃ信号を、以下の式（１９）により求
め、エラー補正処理（ステップＳ８）へ進む。

【００７８】 Ｇｃ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４ ・・・（１９）

【００７９】さらに、エッジデータ２２（図７（Ｂ））
において、当該ブロックが無エッジパターンであること
を示すため、無エッジデータ（図示せず）を記録する。
例えば、無エッジデータを「０」として記録する。

【００８０】（８）エラー補正処理（ステップＳ８） ステップＳ８では、エラー補正処理を行う。例えば、エ
ッジデータ２２（図７（Ｂ））において、本来、縦エッ
ジデータＶＲであるべきところが、ノイズ等により誤っ
て横エッジデータＨＲ’と判断されて記録されることが
ある。この横エッジデータＨＲ’は、非常に目立つ補間
エラーとして画像データ中に現れる。すなわち、縦エッ
ジの線の中に１点だけ補間エラーが生じる。この補間エ
ラーは、画像データ中の数％程度であるが、消去するこ
とが好ましい。この補間エラーをなくすために、以下の
エラー補正処理を行う。

【００８１】エッジデータ２２を、図８に示す５×５の
ブロック２３単位で処理する。ブロック２３の横軸をＸ
軸とし、縦軸をＹ軸とする。座標（Ｘ，Ｙ）に位置する
エッジデータＥを、エッジデータＥ（Ｘ，Ｙ）と表現す
る。エッジデータＥ（Ｘ，Ｙ）は、Ｇｃ信号を求めた画
素の位置に生成される。

【００８２】エッジデータＥ（０，０）は、ブロック２
３の中央のエッジデータである。エラー補正処理によ
り、エッジデータＥ（０，０）に誤りがあれば、その補
正を行う。

【００８３】まず、式（２０）により、Ｅ（０，０）の
周囲の８つのデータを加算し、値ＲＤを求める。

【００８４】 ＲＤ＝Ｅ（１，１）＋Ｅ（１，−１）＋Ｅ（−１，１）＋Ｅ（−１，−１） ＋Ｅ（２，０）＋Ｅ（０， ２）＋Ｅ（−２，０）＋Ｅ（０，−２） ・・・（２０）

【００８５】エッジデータＥは、上記のように、横エッ
ジデータＨＲのときに「＋１」で表され、横エッジデー
タＶＲのときに「−１」で表され、無エッジデータのと
きに「０」で表される。

【００８６】周囲の８つのデータ中で、横エッジデータ
ＨＲが多く含まれている場合には値ＲＤが正値になり、
縦エッジデータＶＲが多く含まれている場合には値ＲＤ
が負値になる。

【００８７】次に、対象エッジデータＥ（０，０）と上
記の値ＲＤを比較する。データＥ（０，０）が「−１」
（縦エッジ）であるのに、値ＲＤが正値（横エッジ）で
あるときには、データＥ（０，０）を「＋１」（横エッ
ジ）に補正し、Ｇｃ信号を横エッジ処理（ステップＳ
５）により求め直す。すなわち、周囲の大部分が横エッ
ジであるので、データＥ（０，０）を横エッジに補正す
る。

【００８８】一方、データＥ（０，０）が「＋１」（横
エッジ）であるのに、値ＲＤが負値（縦エッジ）である
ときには、データＥ（０，０）を「−１」（縦エッジ）
に補正し、Ｇｃ信号を縦エッジ処理（ステップＳ６）に
より求め直す。すなわち、周囲の大部分が縦エッジであ
るので、データＥ（０，０）を縦エッジに補正する。

【００８９】なお、データＥ（０，０）が「０」（無エ
ッジ）であるときには、値ＲＤにかかわらず、補正を行
わない。データＥ（０，０）が「０」であるときには、
エラーを含んでいる確率が少ないこと、及びエラーを含
んでいるときでも目立つノイズにはならないことの理由
から、補正を行う必要性は少ない。

【００９０】画像データがノイズを含んでいる場合で
も、上記のエラー補正処理を行うことにより、正しいエ
ッジ方向を再判定して、Ｇｃ信号の補間を行うことがで
きる。正しいエッジ方向を判定又は再判定してＧ信号の
補間を行うことにより、解像度の低下を防止すると共
に、偽色（本来存在しないはずの色）の発生を防止する
ことができる。

【００９１】図９は、本実施例による色信号処理装置の
構成を示す。この色信号処理装置は、図１のフローチャ
ートに示す処理を実現する装置である。

【００９２】ビデオソース３１は、例えばＣＣＤカメラ
やメモリであり、画像データＳＳ１を供給する。入力手
段３２は、ビデオソース３１から画像データＳＳ１を受
けて、３×３のブロックデータＳＳ２を出力する。

【００９３】１本のエッジ検出手段３３は、図１のステ
ップＳ１に相当し、入力手段３２からブロックデータＳ
Ｓ２を受けて、当該ブロックデータが１本のエッジパタ
ーンＰＮ１に属するか否かを検出し、第１のエッジ方向
検出手段３４と２本のエッジ検出手段３６に検出信号Ｓ
Ｓ３を出力する。

【００９４】第１のエッジ方向検出手段３４は、図１の
ステップＳ２に相当し、上記の検出信号ＳＳ３を受けた
ときに、ブロックデータＳＳ２に含まれるエッジの方向
を検出し、エッジ信号Ｓｈ又はＳｖを出力する。横エッ
ジを検出したときには横エッジ信号Ｓｈを横エッジ処理
手段３７に出力し、縦エッジを検出したときには縦エッ
ジ信号Ｓｖを縦エッジ処理手段３８に出力する。

【００９５】２本のエッジ検出手段３６は、図１のステ
ップＳ３に相当し、上記の検出信号ＳＳ３が得られない
とき、入力手段３２からブロックデータＳＳ２を受け
て、当該ブロックデータが２本のエッジパターンＰＮ２
に属するか否かを検出する。そして、属する旨を検出し
たときには信号ＳＳ４を第２のエッジ方向検出手段３５
に出力し、属する旨を検出しないときには無エッジ信号
Ｓｎを無エッジ処理手段３９に出力する。

【００９６】第２のエッジ方向検出手段３５は、図１の
ステップＳ４に相当し、上記の検出信号ＳＳ４を受けた
ときに、ブロックデータＳＳ２に含まれるエッジの方向
を検出し、エッジ信号Ｓｈ又はＳｖを出力する。横エッ
ジを検出したときには横エッジ信号Ｓｈを横エッジ処理
手段３７に出力し、縦エッジを検出したときには縦エッ
ジ信号Ｓｖを縦エッジ処理手段３８に出力する。

【００９７】横エッジ処理手段３７は、図１のステップ
Ｓ５に相当し、横エッジ信号Ｓｈを受けると、ブロック
データＳＳ２を基に上式（１７）によりＧｃ信号を求
め、エッジデータＥを「＋１」として記録する。

【００９８】縦エッジ処理手段３８は、図１のステップ
Ｓ６に相当し、縦エッジ信号Ｓｖを受けると、ブロック
データＳＳ２を基に上式（１８）によりＧｃ信号を求
め、エッジデータＥを「−１」として記録する。

【００９９】無エッジ処理手段３９は、図１のステップ
Ｓ７に相当し、無エッジ信号Ｓｎを受けると、ブロック
データＳＳ２を基に上式（１９）によりＧｃ信号を求
め、エッジデータＥを「０」として記録する。

【０１００】エラー補正手段４０は、横エッジ処理手段
３７と縦エッジ処理手段３８と無エッジ処理手段３９に
接続される。エラー補正手段４０は、図１のステップＳ
８に相当し、エッジデータＥにエラーが含まれていると
きには、それに対応するＧｃ信号を求め直す。エラー補
正手段４０は、自らＧｃ信号を求め直してもよいし、横
エッジ処理手段３７又は縦エッジ処理手段３８にＧｃ信
号の求め直しを指示してもよい。

【０１０１】記憶手段４１は、画像データＳＳ１及び補
間信号Ｇｃを記憶する。補間信号Ｇｃの他、Ｒ，Ｂ信号
の補間信号も記憶手段４１に記憶される。記憶手段に
は、１フレーム分のＲ，Ｇ，Ｂ信号が記憶される。この
後、Ｒ，Ｇ，Ｂ信号をＹ，Ｃｂ，Ｃｒ信号に変換しても
よい。

【０１０２】図１のステップＳ４では、補間対象画素の
左上のＧ’信号を用いることにより、横エッジ又は縦エ
ッジのいずれであるのかを判定した。このＧ’信号は補
間によって求められたものであるため、Ｇ’信号自身が
誤判定により導出されたものである可能性がある。Ｇ’
信号の導出に誤判定があった場合には、現在の補間対象
画素についても、エッジ判定で誤判定となる可能性が高
い。その結果、１つの画素についての誤判定が隣接する
ユニット（ブロック）内の他の画素についての誤判定を
も引き起し、ある領域で連鎖的に誤判定を引き起こすこ
とがある。誤判定の領域が広範囲に及ぶと、図１のステ
ップＳ８におけるエラー補正処理によってもエラー補正
ができなくなってしまうことがある。ステップＳ８のエ
ラー補正処理は、誤判定が散らばって発生した際に、有
効なエラー補正である。また、誤判定が広範囲に及ぶ
と、その領域でのノイズは目立つものになってしまう。

【０１０３】次に、図１のステップＳ４におけるエッジ
判定の他の方法を示す。上記のＧ’信号を用いてエッジ
判定をする代わりに、次のエッジ判定を行うことができ
る。上記では、Ｇ信号のみを使っていたが、Ｇ信号のみ
を使ってエッジ判定をすることは困難であるため、Ｒ信
号及びＢ信号をも用いてエッジ判定を行う。図３（Ａ）
及び（Ｄ）の場合が、中央画素のＧｃ信号を補間により
求める必要がある場合である。まず、図３（Ａ）の場合
を説明する。

【０１０４】図１２（Ａ）〜（Ｄ）は、図３（Ａ）の３
×３ブロックを示し、いずれも２本のエッジを含む。図
１のステップＳ４では、ステップＳ３でブロック内に２
本のエッジが含まれていると判断されたもののみが処理
対象となる。したがって、対象ブロックは、図１２
（Ａ）〜（Ｄ）の４種類である。図１２（Ａ）及び
（Ｂ）のブロックは、第１行ＬＮ１及び第２行ＬＮ２の
間のエッジと第２行ＬＮ２及び第３行ＬＮ３の間のエッ
ジとの２本のエッジを含む。図１２（Ｃ）及び（Ｄ）の
ブロックは、第１列ＣＬ１及び第２列ＣＬ２の間のエッ
ジと第２列ＣＬ２及び第３列ＣＬ３の間のエッジの２本
のエッジを含む。

【０１０５】まず、縦方向（垂直方向）の差分ＤＶを次
式により求める。 ＤＶ＝｜（Ｒ１＋Ｇ１＋Ｒ２）−（Ｇ２＋Ｂ０＋Ｇ３）｜ ＋｜（Ｒ３＋Ｇ４＋Ｒ４）−（Ｇ２＋Ｂ０＋Ｇ３）｜ ・・・（２１）

【０１０６】縦方向の差分ＤＶは、第１行ＬＮ１（３画
素の和）と第２行ＬＮ２（３画素の和）の差分と、第３
行ＬＮ３（３画素の和）と第２行ＬＮ２（３画素の和）
の差分との和であり、縦方向の差分の大きさを表す。こ
れは、３×３ブロック内でＲ、Ｇ、Ｂ信号の３種類の信
号を区別することなく、差分の大きさを検出しているこ
とになる。

【０１０７】同様に、横方向（水平方向）の差分ＤＨを
次式により求める。 ＤＨ＝｜（Ｒ１＋Ｇ２＋Ｒ３）−（Ｇ１＋Ｂ０＋Ｇ４）｜ ＋｜（Ｒ２＋Ｇ３＋Ｒ４）−（Ｇ１＋Ｂ０＋Ｇ４）｜ ・・・（２２）

【０１０８】横方向の差分ＤＨは、第１列ＣＬ１（３画
素の和）と第２列ＣＬ２（３画素の和）の差分と第３列
ＣＬ３（３画素の和）と第２列ＣＬ２（３画素の和）の
差分との和であり、横方向の差分の大きさを表す。

【０１０９】縦方向の差分ＤＶと横方向の差分ＤＨとの
関係は、次の３種類に大別される。各関係に応じて、次
に示す補間を行い、中央画素のＧｃ信号を求める。

【０１１０】（１）ＤＶ＞ＤＨ 縦方向の差分ＤＶが横方向の差分ＤＨよりも大きいとき
には、対象ブロックが横エッジを含むと判定する。横エ
ッジの場合は、上記と同様に、次式により、左右両隣の
２画素を平均化して、Ｇｃ信号を求める。 Ｇｃ＝（Ｇ２＋Ｇ３）／２

【０１１１】（２）ＤＨ＞ＤＶ 横方向の差分ＤＨが縦方向の差分ＤＶよりも大きいとき
には、対象ブロックが縦エッジを含むと判定する。縦エ
ッジの場合は、次式により、上下両隣の２画素を平均化
して、Ｇｃ信号を求める。 Ｇｃ＝（Ｇ１＋Ｇ４）／２

【０１１２】（３）ＤＶ＝ＤＨ 縦方向の差分ＤＶと横方向の差分ＤＨが同じときには、
エッジ方向を判別することができないので、次式によ
り、隣接する４画素を平均化してＧｃ信号を求める。

【０１１３】 Ｇｃ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４

【０１１４】なお、４画素平均する代わりに、縦エッジ
又は横エッジのいずれかであるとして、強行的に２画素
平均により、Ｇｃ信号を求めてもよい。この場合は、エ
ッジ判定に失敗する可能性があるが、この後に行うエラ
ー補正処理（図１のステップＳ８）により、そのエッジ
判定の誤りを訂正可能である。

【０１１５】縦方向の差分ＤＶ及び横方向の差分ＤＨ
は、上式（２１）及び（２２）に限らず、次式により簡
略化し、少ない演算で求めても、同様な効果が得られ
る。次式（２３）及び（２４）は、各行又は各列につい
ての２画素の和の差分を求める。

【０１１６】 ＤＶ＝｜（Ｒ１＋Ｒ２）−（Ｇ２＋Ｇ３）｜ ＋｜（Ｒ３＋Ｒ４）−（Ｇ２＋Ｇ３）｜ ・・・（２３）

【０１１７】 ＤＨ＝｜（Ｒ１＋Ｒ３）−（Ｇ１＋Ｇ４）｜ ＋｜（Ｒ２＋Ｒ４）−（Ｇ１＋Ｇ４）｜ ・・・（２４）

【０１１８】図１３（Ａ）〜（Ｄ）は、図３（Ｄ）の３
×３ブロックを示し、いずれも２本のエッジを含む。縦
エッジの差分ＤＶ及び横エッジの差分ＤＨを次式により
求め、その後、上記と同様に３つの場合に大別して、Ｇ
ｃ信号を求める。

【０１１９】 ＤＶ＝｜（Ｂ１＋Ｇ１＋Ｂ２）−（Ｇ２＋Ｒ０＋Ｇ３）｜ ＋｜（Ｂ３＋Ｇ４＋Ｂ４）−（Ｇ２＋Ｒ０＋Ｇ３）｜ ・・・（２５）

【０１２０】 ＤＨ＝｜（Ｂ１＋Ｇ２＋Ｂ３）−（Ｇ１＋Ｒ０＋Ｇ４）｜ ＋｜（Ｂ２＋Ｇ３＋Ｂ４）−（Ｇ１＋Ｒ０＋Ｇ４）｜ ・・・（２６）

【０１２１】この場合も、式（２３）及び（２４）と同
様に、式（２５）及び（２６）を簡略化して演算量を減
らしてもよい。

【０１２２】上記のエッジ判定方法は、誤判定を完全に
なくすことができないが、連鎖的に他の画素についての
誤判定を引き起こすことは少なく、分散して誤判定が生
じ易い。このような分散した誤判定は、エラー補正処理
（図１のステップＳ８）により効果的に訂正することが
できるので、誤判定は激減する。結果的に、正しいエッ
ジ判定を行うことができるので、Ｇｃ信号を適切に補間
し、画質を高めることができる。

【０１２３】以上は、Ｇ信号の補間方法を示した。次
に、Ｒ信号及びＢ信号の補間方法を説明する。Ｇ信号の
補間が終了した後、以下の方法によりＲ信号及びＢ信号
を補間することができる。Ｒ信号の場合を例にして以下
説明するが、Ｂ信号もＲ信号と同様な方法により補間す
ることができる。

【０１２４】図１４（Ａ）は、図３（Ａ）に示す３×３
ブロックのうちＲ信号のみを示す。３×３ブロックは、
４隅の信号Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３がＣＣＤカ
メラにより撮像された信号であり、それ以外の信号Ｒ１
２，Ｒ２１，Ｒ２２，Ｒ２３，Ｒ３２が補間により求め
る信号である。まず、信号Ｒ１２を求める方法を示す。
信号Ｒ３２も、信号Ｒ１２と同様の方法により求めるこ
とができる。

【０１２５】図１４（Ｂ）は、補間対象である信号Ｒ１
２の画素を含む第１行ＬＮ１の画素を示す。上段は、第
１行ＬＮ１のＧ信号を示し、上記の補間により全画素の
緑信号Ｇ１〜Ｇ５が求められている。下段は、同じ第１
行ＬＮ１の画素において、奇数番目の画素の信号Ｒ１
１，Ｒ１３，Ｒ１５，…がＣＣＤカメラにより撮像され
た信号であり、偶数番目の画素の信号Ｒ１２，Ｒ１４，
…が補間により求める信号である。すなわち、第１の画
素は、緑信号がＧ１であり、赤信号がＲ１１である。

【０１２６】図１５（Ａ）は、上段に第１行ＬＮ１の色
信号を示し、下段に当該第１行ＬＮ１に入射する光信号
を示す。

【０１２７】第１、第３、第５及び第７の画素には白色
が入射し、第２、第４及び第６の画素には黒色が入射す
る場合を考える。色信号を８ビットで表現する場合、白
色は、赤信号が２５５、緑信号が２５５、青信号が２５
５で表される。図では、これを（２５５，２５５，２５
５）で表す。黒色は、赤信号が０、緑信号が０、青信号
が０で表される。図では、これを（０，０，０）で表
す。

【０１２８】図１５（Ｂ）は、上段に緑信号の画素位置
を示し、下段に緑信号の大きさを示す。緑信号Ｇ１＝Ｇ
３＝Ｇ５＝Ｇ７＝２５５であり、緑信号Ｇ２＝Ｇ４＝Ｇ
６＝０である。

【０１２９】図１５（Ｃ）は、上段に赤信号の画素位置
を示し、下段に赤信号の大きさを示す。赤信号Ｒ１１，
Ｒ１３，Ｒ１５，Ｒ１７は、ＣＣＤカメラにより撮像さ
れた値をそのまま使用することができる。すなわち、赤
信号Ｒ１１＝Ｒ１３＝Ｒ１５＝Ｒ１７＝２５５である。
第２、第４及び第６の画素については、後に示す色差信
号空間で補間を行うことにより、赤信号Ｒ１２＝Ｒ１４
＝Ｒ１６＝０を得ることができる。この補間により、図
１５（Ａ）の下段に示す原信号中の赤成分をノイズなし
で再現することができる。

【０１３０】図１５（Ｄ）は、上段に青信号の画素位置
を示し、下段に青信号の大きさを示す。青信号Ｂ１２，
Ｂ１４，Ｂ１６は、ＣＣＤカメラにより撮像された値を
そのまま使用することができる。すなわち、青信号Ｂ１
２＝Ｂ１４＝Ｂ１６＝０である。第１、第３、第５及び
第７の画素については、赤信号と同様な補間を行うこと
により、青信号Ｂ１１＝Ｂ１３＝Ｂ１５＝Ｂ１７＝２５
５を得ることができる。この補間により、図１５（Ａ）
の下段に示す原信号中の青成分をノイズなしで再現する
ことができる。

【０１３１】図１６（Ａ）〜（Ｅ）は、図１５（Ｃ）に
示す赤信号の補間方法の詳細を示す。

【０１３２】図１６（Ａ）は、第１行ＬＮ１の色信号を
示す。第１行ＬＮ１には、図１５（Ａ）の下段に示す信
号が入射される。括弧内の値は、色信号の大きさを表
す。

【０１３３】まず、図１６（Ａ）に示す原色信号Ｒ，Ｇ
を図１６（Ｂ）に示す色差信号Ｃｒに変換する。すなわ
ち、原色信号空間から色差信号空間への写像を行う。Ｙ
−Ｃｂ−Ｃｒ空間とＲ−Ｇ−Ｂ空間は、以下の関係を有
する。ここで、Ｙ信号は輝度信号を意味する。

【０１３４】 Ｙ ＝ ０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ ・・・（２７） Ｃｒ＝ ０．７Ｒ−０．５９Ｇ−０．１１Ｂ ・・・（２８） Ｃｂ＝−０．３Ｒ−０．５９Ｇ＋０．８９Ｂ ・・・（２９）

【０１３５】式（２８）は式（３０）に近似することが
でき、式（２９）は式（３１）に近似することができ
る。

【０１３６】 Ｃｒ≒Ｒ−Ｇ ・・・（３０）

【０１３７】 Ｃｂ≒Ｂ−Ｇ ・・・（３１）

【０１３８】式（３０）を用いて、図１６（Ａ）の各画
素についてのＣｒ信号を求める。ただし、Ｇ信号とＲ信
号が存在する第１、第３、第５及び第７画素の信号のみ
を次式により求める。

【０１３９】 Ｃｒ１１＝Ｒ１１−Ｇ１＝２５５−２５５＝０ Ｃｒ１３＝Ｒ１３−Ｇ３＝２５５−２５５＝０ Ｃｒ１５＝Ｒ１５−Ｇ５＝２５５−２５５＝０ Ｃｒ１７＝Ｒ１７−Ｇ７＝２５５−２５５＝０

【０１４０】次に、上記の色差信号（図１６（Ｂ））を
基に足りない画素の色差信号（図１６（Ｃ））を補間に
より求める。すなわち、Ｒ信号が存在しない第２、第４
及び第６画素のＣｒ信号を以下の直線補間により求め
る。

【０１４１】 Ｃｒ１２＝（Ｃｒ１１＋Ｃｒ１３）／２＝０ Ｃｒ１４＝（Ｃｒ１３＋Ｃｒ１５）／２＝０ Ｃｒ１６＝（Ｃｒ１５＋Ｃｒ１７）／２＝０

【０１４２】なお、補間方法は、隣接する２画素を基に
補間する場合に限定されず、それ以上又はそれ以下の画
素数を基に補間を行ってもよい。また、補間方法は、直
線補間に限定されず、その他の重み付け補間により求め
てもよい。

【０１４３】次に、補間された色差信号Ｃｒ（図１６
（Ｃ））を原色信号Ｒ（図１６（Ｄ））に戻す。原色信
号Ｒは、上式（３０）を用いて以下のように求める。

【０１４４】 Ｒ１２＝Ｃｒ１２＋Ｇ２＝０＋０＝０ Ｒ１４＝Ｃｒ１４＋Ｇ４＝０＋０＝０ Ｒ１６＝Ｃｒ１６＋Ｇ６＝０＋０＝０

【０１４５】図１６（Ｅ）に示すように、補間されたＲ
１２，Ｒ１４，Ｒ１６信号が得られる。図１６（Ｅ）の
赤信号は、図１５（Ｃ）に示す赤信号と同じである。上
記の補間により、図１６（Ａ）の下段に示す入射信号中
の赤成分をノイズなしで再現することができ、解像度の
低下及び偽色（本来被写体にない色）の発生を抑制する
ことができる。

【０１４６】例えば、図１６（Ａ）において、仮に以下
の平均化処理により、赤信号Ｒ１２を求めるとすると、
本来はＲ１２＝０であるのに、Ｒ１２＝２５５となり、
ノイズを含むものになってしまう。このノイズは、解像
度の低下又は偽色の発生を招き、好ましくない。

【０１４７】 Ｒ１２＝（Ｒ１１＋Ｒ１３）／２＝２５５ ・・・（３２）

【０１４８】以上は具体例を示した。一般的に、第ｎ画
素の赤信号Ｒ_n は、次の一般式により補間することがで
きる。

【０１４９】Ｒ_n ＝Ｇ_n ＋｛（Ｒ_n-1 −Ｇ_n-1 ）＋（Ｒ
_n+1 −Ｇ_n+1 ）｝／２

【０１５０】青信号も、上記の赤信号と同様な方法によ
り補間を行うことができる。

【０１５１】次に、上記の補間方法を用いることによ
り、画像の解像度の低下を抑制することができる理由を
説明する。

【０１５２】上式（２７）〜（２９）は、色差信号空間
（Ｙ−Ｃｂ−Ｃｒ）と原色信号空間（Ｒ−Ｇ−Ｂ）が別
空間であることを示す。赤信号の単純平均化処理は、原
色信号空間で補間を行うため、輝度（Ｙ）信号に対して
多かれ少なかれ影響を与えてしまう。これが、Ｙ信号に
ノイズを発生させる原因になる。Ｙ信号は、Ｃｒ，Ｃｂ
信号に比べ、解像度に大きな影響を与えることが知られ
ている。つまり、原色信号空間で補間を行うと、解像度
の低下を招く。

【０１５３】一方、本実施例では、色差信号空間で補間
を行う。具体的には、Ｃｒ信号とＣｂ信号について補間
を行い、Ｙ信号を変化させない。Ｙ信号を変化させない
ので、解像度の低下を激減させることができる。本実施
例は、色差信号空間で補間を行うことにより、解像度の
低下を抑制することができる。

【０１５４】次に、本実施例の補間方法を用いることに
より、偽色の発生を抑制することができる理由を説明す
る。

【０１５５】偽色は、被写体上のエッジ（輪郭）部分に
おいて発生しやすい。単純平均化の補間方法（上式（３
２））を用いて、図１６（Ａ）に示す白と黒の繰り返し
パターンを補間する場合を考える。補間により求めた赤
信号Ｒ１２＝Ｒ１４＝Ｒ１６＝２５５が偽色となる。つ
まり、本来、黒色である第２、第４及び第６画素に赤色
の偽色が発生する。

【０１５６】本実施例の補間方法を用いて、図１６
（Ａ）に示す白と黒の繰り返しパターンを補間する場合
を考える。図１６（Ｃ）に示すように、補間により求め
た赤信号Ｒ１２＝Ｒ１４＝Ｒ１６＝０は偽色の原因にな
らない。つまり、本来、黒色である第２、第４及び第６
画素は黒色として再現される。本実施例の補間方法によ
れば、偽色の発生を抑制することができる。

【０１５７】次に、図１４（Ａ）において、信号Ｒ２１
を求める方法を示す。信号Ｒ２３も、信号Ｒ２１と同様
の方法により求めることができる。

【０１５８】図１４（Ｃ）は、補間対象である信号Ｒ２
１の画素を含む第１列ＣＬ１の画素を示す。左段は、第
１列ＣＬ１の緑信号を示す。右段は、同じ第１列ＣＬ１
の赤信号を示す。第１列ＣＬ１は、上記の第１行ＬＮ１
の場合と同様にして、赤信号及び青信号を求めることが
できる。第１行ＬＮ１では、横方向の補間を行ったが、
第１列では縦方向の補間を行えばよい。

【０１５９】以上により、図１４（Ａ）において、赤信
号Ｒ１２，Ｒ２１，Ｒ２３，Ｒ３２を求めることができ
る。次に、中央画素の赤信号Ｒ２２の補間方法を説明す
る。中央画素は、元々青信号が存在しており（図３
（Ａ））、緑信号が存在していなかったため、中央画素
の緑信号は補間により求められている。その補間の際
に、エッジ方向のデータ２２（図７（Ｂ））が記録され
ている。そのエッジデータ２２を用いて、赤信号Ｒ２２
の補間を行う。

【０１６０】エッジデータ２２が縦エッジを示すときに
は、次式により、上下２画素の平均化処理により赤信号
Ｒ２２を求める。

【０１６１】Ｒ２２＝（Ｒ１２＋Ｒ３２）／２

【０１６２】エッジデータ２２が横エッジを示すときに
は、次式により、左右２画素の平均化処理により赤信号
Ｒ２２を求める。

【０１６３】Ｒ２２＝（Ｒ２１＋Ｒ２３）／２

【０１６４】エッジデータ２２が無エッジを示すときに
は、次式により隣接する４画素の平均化処理により赤信
号Ｒ２２を求める。

【０１６５】 Ｒ２２＝（Ｒ１２＋Ｒ２１＋Ｒ２３＋Ｒ３２）／４

【０１６６】なお、赤信号Ｒ２２についても、上記の色
差空間で補正してもよい。その際、上記のエッジデータ
２２に応じて、縦方向又は横方向の補間を行うことがで
きる。

【０１６７】図１０は、図１のフローチャートの処理を
コンピュータプログラムにより実行する場合のハードウ
エア構成を示す。

【０１６８】バス５８には、ＲＯＭ５１、ＲＡＭ５２、
ＣＰＵ５３、入力装置５４、表示装置５５、外部記憶装
置５６、インタフェース５７が接続される。

【０１６９】ＲＯＭ５１は、図１のフローチャートの処
理を行うプログラムを記憶する。プログラムは、ＲＯＭ
５１に記憶する場合に限定されず、ＲＡＭ５２又は外部
記憶装置５６に記憶させてもよい。ＲＯＭ５１は、プロ
グラムの他、パラメータ等を記憶する。

【０１７０】ＲＡＭ５２は、画像データを記憶するフレ
ームメモリを含む。ＲＡＭ５２は、画像データを記憶す
る他、フラグやレジスタを記憶し、バッファ等、ＣＰＵ
５３のワーキングエリアを有する。

【０１７１】外部記憶装置５６は、例えば、フロッピデ
ィスクドライブ（ＦＤＤ）、ハードディスクドライブ
（ＨＤＤ）、コンパクトディスクリードオンリィメモリ
（ＣＤ−ＲＯＭ）ドライブであり、プログラムや画像デ
ータ等を記憶する。

【０１７２】ＣＰＵ５３は、上記のプログラムに従い、
演算又は処理を行う。具体的には、画像データを基に色
信号の補間処理を行い、ＲＡＭ５２又は外部記憶装置５
６に補間後の画像データを記録する。

【０１７３】インタフェース５７は、外部に対して通信
を行うことができる。ＣＰＵ５３は、インタフェース５
７を介して、プログラム又は画像データを入出力するこ
とができる。例えば、外部からプログラム又は画像デー
タを入力し、ＲＡＭ５２又は外部記憶装置５６に記録す
ることができる。

【０１７４】入力装置５４は、ＣＣＤカメラやイメージ
スキャナや操作スイッチを含む。ＣＰＵ５３は、ＣＣＤ
カメラやイメージスキャナから画像データを取り込むこ
とができる。操作者は、操作スイッチを操作することに
より、各種処理を指示することができる。表示装置５５
は、画像データや各種パラメータを表示することができ
る。

【０１７５】なお、本実施例では、Ｇ信号とＲ，Ｂ信号
を異なる方法で補間する場合を説明したが、Ｒ，Ｂ信号
についてもＧ信号と同様な方法により補間してもよい
し、Ｇ信号についてもＲ，Ｂ信号と同様な方法により補
間してもよい。また、Ｙ，Ｃｂ，Ｃｒ等のその他の画像
信号についても、同様な補間を行うことができる。

【０１７６】また、３×３のブロック単位で処理する場
合に限定されず、それ以上の大きさのブロックで処理し
てもよい。大きなブロック単位で処理を行えば、多くの
画素を基に補間を行うので、補間の精度は高くなる長所
はあるが、処理速度が遅くなる欠点がある。

【０１７７】以上実施例に沿って本発明を説明したが、
本発明はこれらに制限されるものではない。例えば、種
々の変更、改良、組み合わせ等が可能なことは当業者に
自明であろう。

【０１７８】

【発明の効果】以上説明したように、本発明によれば、
赤信号及び青信号を、赤信号及び青信号だけでなく、緑
信号をも用いて補間する。これにより、補間精度を向上
させることができる。当該緑信号は、色信号取得手段に
より取得されたものだけではなく、緑信号補間手段によ
り補間されたものをも含んでいてもよい。緑信号補間手
段が緑信号を高精度で補間することができれば、赤信号
及び青信号も高精度で補間することができる。

【０１７９】上記の信号を高精度で補間することによ
り、画質を向上させることができる。また、解像度の低
下又は偽色の発生を防止することができる。

【図面の簡単な説明】

【図１】本発明の実施例による画像信号処理装置又はコ
ンピュータプログラムの処理方法を示すフローチャート
である。

【図２】単板式電荷結合素子（ＣＣＤ）カメラにより撮
像された画像データを示す図である。

【図３】図３（Ａ）〜（Ｄ）は、図２に示す画像データ
を分割可能な４種類のブロックを示す図である。

【図４】図４（Ａ）は図３（Ａ）と図３（Ｄ）の２つの
ブロックを便宜上、１つのブロックで表した図であり、
図４（Ｂ）は図４（Ａ）のブロックについてＧ信号のみ
を表したブロックの図である。

【図５】図５（Ａ）は１本のエッジを含むブロックのパ
ターンを示す図であり、図５（Ｂ）は２本のエッジを含
むブロックのパターンを示す図であり、図５（Ｃ）はエ
ッジを含まないブロックのパターンを示す図である。

【図６】図６（Ａ）は、２本のエッジを含むブロックの
エッジ方向を検出する方法を示す図であり、図６（Ｂ）
は横方向の２本のエッジを含むブロックを示す図であ
り、図６（Ｃ）は縦方向の２本のエッジを含むブロック
を示す図である。

【図７】図７（Ａ）は画像データを示す図であり、図７
（Ｂ）はエッジデータを示す図である。

【図８】エッジデータ及び補間データのエラー補正を行
う方法を示す図である。

【図９】本実施例による画像信号処理装置の構成を示す
図である。

【図１０】図１のフローチャートの処理をコンピュータ
プログラムにより実行する場合のハードウエア構成を示
す図である。

【図１１】図１１（Ａ）はベイヤ配列の画像信号を示す
図であり、図１１（Ｂ）は１本の横エッジを含むブロッ
クを示す図であり、図１１（Ｃ）は１本の縦エッジを含
むブロックを示す図であり、図１１（Ｄ）は２本の横エ
ッジを含むブロックを示す図である。

【図１２】図３（Ａ）の３×３ブロックであり、２本の
エッジを含むものを示す図である。

【図１３】図３（Ｄ）の３×３ブロックであり、２本の
エッジを含むものを示す図である。

【図１４】赤信号の補間方法を示す図である。

【図１５】白と黒のストライプ模様が入射したときの色
信号を示す図である。

【図１６】赤信号の補間方法をより具体的に示した図で
ある。

【符号の説明】

１ 画像データ ２ 拡張画像データ １１，１２ ブロック ２１ 画像データ ２２ エッジデータ ２３ エッジデータブロック ３１ ビデオソース ３２ 入力手段 ３３ １本のエッジ検出手段 ３４ 第１のエッジ方向検出手段 ３５ 第２のエッジ方向検出手段 ３６ ２本のエッジ検出手段 ３７ 横エッジ処理手段 ３８ 縦エッジ処理手段 ３９ 無エッジ処理手段 ４０ エラー補正手段 ４１ 記憶手段 ５１ ＲＯＭ ５２ ＲＡＭ ５３ ＣＰＵ ５４ 入力装置 ５５ 表示装置 ５６ 外部記憶装置 ５７ インタフェース ５８ バス ＰＮ１ １本エッジブロックパターン ＰＮ２ ２本エッジブロックパターン ＰＮ０ 無エッジブロックパターン

Claims (8)

【特許請求の範囲】
1. 【請求項１】 少なくとも１次元の画素列の一部の画素
   の緑信号及び他の画素の赤信号又は青信号を取得する色
   信号取得手段と、 前記画素列の画素間で補間を行うことにより全画素の緑
   信号を得る緑信号補間手段と、 前記画素列において同一画素の赤信号と緑信号の差分を
   赤色差信号として求め、同一画素の青信号と緑信号の差
   分を青色差信号として求める第１の変換手段と、 前記第１の変換手段により変換される赤色差信号及び青
   色差信号を基に前記画素列の画素間で赤色差信号及び青
   色差信号を補間する色差信号補間手段と、 前記色差信号補間手段により補間される赤色差信号及び
   青色差信号にそれぞれ同一画素の緑信号を加算すること
   により赤信号及び青信号を求める第２の変換手段とを有
   する画像信号処理装置。
2. 【請求項２】 前記色信号取得手段は、２次元の画素列
   の色信号を取得する手段であり、前記緑信号補間手段及
   び前記色差信号補間手段は、該２次元の画素列の画素間
   で補間を行う手段である請求項１記載の画像信号処理装
   置。
3. 【請求項３】 前記緑信号補間手段は、補間対象画素が
   エッジを形成する画素であるか否かを判定するエッジ判
   定手段と、前記補間対象画素がエッジを形成すると判定
   されたときにはそのエッジの方向が縦方向であるか又は
   横方向であるかを判定するエッジ方向判定手段と、前記
   補間対象画素がエッジを形成すると判定されたときには
   そのエッジの方向に応じて緑信号の補間を行う補間手段
   とを有し、 さらに、前記第２の変換手段により求められる赤信号及
   び青信号並びに補間対象画素の前記エッジの方向に応じ
   て赤信号及び青信号を補間する赤及び青信号補間手段と
   を有する請求項２記載の画像信号処理装置。
4. 【請求項４】 前記赤及び青信号補間手段は、前記エッ
   ジの方向が縦方向であるときには少なくとも補間対象画
   素の上下に隣接する２画素の信号を用いて補間を行い、
   前記エッジの方向が横方向であるときには少なくとも補
   間対象画素の左右に隣接する２画素の信号を用いて補間
   を行う請求項３記載の画像信号処理装置。
5. 【請求項５】 （ａ）少なくとも１次元の画素列の一部
   の画素の緑信号及び他の画素の赤信号又は青信号を取得
   する手順と、 （ｂ）前記画素列の画素間で補間を行うことにより全画
   素の緑信号を得る手順と、 （ｃ）前記画素列において同一画素の赤信号と緑信号の
   差分を赤色差信号として求め、同一画素の青信号と緑信
   号の差分を青色差信号として求める手順と、 （ｄ）前記手順（ｃ）により変換される赤色差信号及び
   青色差信号を基に前記画素列の画素間で赤色差信号及び
   青色差信号を補間する手順と、 （ｅ）前記手順（ｄ）により補間される赤色差信号及び
   青色差信号にそれぞれ同一画素の緑信号を加算すること
   により赤信号及び青信号を求める手順と、をコンピュー
   タに実行させるためのプログラムを記録した媒体。
6. 【請求項６】 前記手順（ａ）は、２次元の画素列の色
   信号を取得する手順であり、前記手順（ｂ）及び（ｄ）
   は、該２次元の画素列の画素間で補間を行う手順である
   請求項５記載のプログラムを記録した媒体。
7. 【請求項７】 前記手順（ｂ）は、（ｂ−１）補間対象
   画素がエッジを形成する画素であるか否かを判定する手
   順と、（ｂ−２）前記補間対象画素がエッジを形成する
   と判定されたときにはそのエッジの方向が縦方向である
   か又は横方向であるかを判定する手順と、（ｂ−３）前
   記補間対象画素がエッジを形成すると判定されたときに
   はそのエッジの方向に応じて緑信号の補間を行う手順と
   を含み、 さらに、（ｆ）前記手順（ｅ）により求められる赤信号
   及び青信号並びに補間対象画素の前記エッジの方向に応
   じて赤信号及び青信号を補間する手順とを有する請求項
   ６記載のプログラムを記録した媒体。
8. 【請求項８】 前記手順（ｆ）は、前記エッジの方向が
   縦方向であるときには少なくとも補間対象画素の上下に
   隣接する２画素の信号を用いて補間を行い、前記エッジ
   の方向が横方向であるときには少なくとも補間対象画素
   の左右隣接する２画素の信号を用いて補間を行う請求項
   ７記載のプログラムを記録した媒体。