JPH11122626A

JPH11122626A - 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体

Info

Publication number: JPH11122626A
Application number: JP9285536A
Authority: JP
Inventors: Setsukou Chin; 浙宏陳
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 1997-10-17
Filing date: 1997-10-17
Publication date: 1999-04-30
Also published as: US6570616B1

Abstract

(57)【要約】【課題】従来の画素補間技術では、補間後の画像の解
像度が低く、適切な補間画素を生成するには、複雑な処
理を必要とし、画素の位置ずれが生じる場合もある。本
発明は、単純な処理によって品質の高い補間画素を生成
することを目的とする。【解決手段】ベイヤ配列などの２次元画素配列の画像に
ついて、輝度を代表する第１色成分の画素Ｇ(j,i)を補
間する場合に、補間画素位置の上下もしくは左右に隣接
する位置に存在する第１色成分の一次参照画素と、その
周囲に存在する第１色成分の二次参照画素との大小関係
を調べて、画像エッジ成分の有無を検出する。画像エッ
ジ成分を検出した場合には、補間画素の生成に使用する
基準画素Ｇ(j-1,i)，Ｇ(j+1,i)，Ｇ(j,i-1)，Ｇ(j,i+1)
の重みを、上下と左右で変える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばカラー撮像
装置などに利用される画像処理方法及び装置並びに画像
処理プログラムを記録した記録媒体に関し、特に画素の
補間処理技術に関する。

【０００２】

【従来の技術】一般に、ビデオカメラ，ディジタルスチ
ルカメラなどにおいて、カラー画像を撮影する場合に
は、まず、入射する光をフィルタに通して、入射光に含
まれる特定の波長成分を抽出し、例えばＲ（レッド），
Ｇ（グリーン）及びＢ（ブルー）の各基本色成分の光を
得る。

【０００３】カラー画像撮影の方式には、搭載する撮像
ユニット（ＣＣＤイメージセンサなど）の枚数により、
単板式，２板式，３板式，多板式などがある。しかし、
ビデオカメラ，ディジタルスチルカメラなどでは、装置
のコストを下げるために、単一の撮像ユニットを用いる
場合が多い。被写体からの光を、Ｒ，Ｇ，Ｂ等の３つの
色成分に分解して、全ての色成分を単一の撮像ユニット
で同時に撮影する場合には、Ｒ色，Ｇ色，Ｂ色にそれぞ
れ対応する３種類のフィルタを、平面上に並べて配置す
る。フィルタを通った入射光は、撮像ユニットで撮影さ
れる。

【０００４】撮像ユニットで撮影される２次元画像は、
縦方向及び横方向に配列された多数の画素で構成され
る。２次元画像の各画素は、Ｒ色，Ｇ色，Ｂ色にそれぞ
れ対応する３種類のフィルタの何れかを通って撮影され
るので、Ｒ色，Ｇ色，Ｂ色の何れかの成分のみを含む。
例えば、フィルタの種類を１画素毎に変更し、フィルタ
を横方向にＲ，Ｇ，Ｂ，Ｒ，Ｇ，Ｂ，・・・の順で周期
的に並べると、撮影される２次元画像において横方向に
並ぶ画素の色は、Ｒ，Ｇ，Ｂ，Ｒ，Ｇ，Ｂ，・・・にな
る。

【０００５】従って、Ｒ色，Ｇ色及びＢ色の何れの成分
についても、撮影された被写体の情報は、３画素につき
１回だけ得られる。つまり、３画素単位でしか、被写体
を撮影できない。２次元画像の全ての画素について、Ｒ
色，Ｇ色及びＢ色の全ての色成分を得るために、画素の
補間が実施される。即ち、欠落している画素の情報を、
その周囲に存在する画素の情報に基づいて生成する。

【０００６】この種の画素の補間をする場合、一般的に
は、補間対象画素位置の周辺に存在する複数画素の単純
平均の値によって、補間画素が生成される。また、補間
対象画素位置の周辺に存在する４つの画素のうち、値が
最大と最小の２画素を除外して、残りの２画素の値から
補間画素を生成する場合もある。また、補間対象画素の
色成分とは異なる色成分の周辺画素を参照して、画像の
エッジを検出する技術も知られている。

【０００７】このほかに、例えば、特開平６−３３９１
４５号公報や、米国特許第５３７３３２２号明細書，米
国特許第５０５３８６１号明細書，米国特許第５０４０
０６４号明細書などが、従来技術として知られている。

【０００８】

【発明が解決しようとする課題】しかしながら、補間対
象画素位置の周辺に存在する複数画素の単純平均の値に
よって、補間画素を生成する場合には、画像の空間周波
数の高周波成分、つまりエッジ成分が欠落し易い。従っ
て、画像の解像度が低下する。

【０００９】また、補間対象画素の色成分とは異なる色
成分の周辺画素を参照して、画像のエッジを検出する
と、輝度変化と色変化が一致しない画像領域において、
画像の位置ずれが生じる。

【００１０】また、比較的品質の高い補間画素を生成す
るためには、様々な計算を含む非常に複雑な処理を必要
とする。従って、装置が複雑化したり、処理速度が遅く
なるのは避けられない。本発明は、比較的単純な処理に
よって、品質の高い補間画素の生成を実現することを目
的とする。

【００１１】

【課題を解決するための手段】請求項１は、２次元画素
配列に対して、画像色の第１色成分の画素が、縦方向及
び横方向に１画素おきに配置され、画像色の第２色成分
の画素及び第３色成分の画素が、それぞれ、残りの位置
に均等に配置された画像データを入力し、各画素位置
に、前記第１色成分，第２色成分及び第３色成分の何れ
かの画素が存在しない場合に、存在しない画素を生成し
て補間する画像処理方法において、前記第１色成分の画
素が存在しない注目位置に、補間画素を生成する場合
に、前記注目画素の上下もしくは左右に隣接する位置に
存在する第１色成分の一次参照画素と、該一次参照画素
の周囲に存在する第１色成分の二次参照画素との大小関
係を調べて、画像エッジ成分の有無を識別し、画像エッ
ジ成分を検出した場合には、前記注目画素の上下及び左
右に隣接する位置に存在する第１色成分の基準画素に基
づいて補間画素を生成するとともに、前記注目画素の上
下の基準画素に対する重み係数と前記注目画素の左右の
基準画素に対する重み係数とを互いに異なる値に定める
ことを特徴とする。

【００１２】請求項２は、請求項１記載の画像処理方法
において、画像エッジ成分を検出した場合には、前記注
目画素の上下及び左右に隣接する位置に存在する第１色
成分の基準画素に基づいて補間画素を生成するととも
に、前記基準画素のうち、検出されたエッジ上の基準画
素の重み係数を、それ以外の基準画素の重み係数よりも
大きく定め、かつ前記基準画素に対する重み係数の総和
が１になるように正規化したことを特徴とする。

【００１３】請求項３は、請求項１記載の画像処理方法
において、画像エッジ成分を検出した場合には、前記注
目画素の上下及び左右に隣接する位置に存在する第１色
成分の基準画素のうち、検出されたエッジ上に位置する
２つの基準画素に基づいて補間画素を生成し、前記エッ
ジ上に存在しない基準画素に対する重み係数を０にする
ことを特徴とする。

【００１４】請求項４は、請求項１記載の画像処理方法
において、前記注目画素の上下もしくは左右に隣接する
位置に存在する第１色成分の２つの一次参照画素のそれ
ぞれを、該一次参照画素の周囲に存在する第１色成分の
４つの二次参照画素と比較し、これら全ての比較結果が
予め定めた条件を満たす場合に、画像エッジ成分を検出
することを特徴とする。

【００１５】請求項５は、２次元画素配列に対して、画
像色の第１色成分の画素が、縦方向及び横方向に１画素
おきに配置され、画像色の第２色成分の画素及び第３色
成分の画素が、それぞれ、残りの位置に均等に配置され
た画像データを入力し、各画素位置に、前記第１色成
分，第２色成分及び第３色成分の何れかの画素が存在し
ない場合に、存在しない画素を生成して補間する画像処
理装置において、前記第１色成分の画素が存在しない注
目位置に、補間画素を生成する場合に、前記注目画素の
上下もしくは左右に隣接する位置に存在する第１色成分
の一次参照画素と、該一次参照画素の周囲に存在する第
１色成分の二次参照画素との大小関係を調べて、画像エ
ッジ成分の有無を識別し、画像エッジ成分を検出した場
合には、前記注目画素の上下及び左右に隣接する位置に
存在する第１色成分の画素に基づいて補間画素を生成す
るとともに、前記注目画素の上下の画素に対する重み係
数と前記注目画素の左右の画素に対する重み係数とを互
いに異なる値に定める、補間制御手段を設けたことを特
徴とする。

【００１６】請求項６は、２次元画素配列に対して、画
像色の第１色成分の画素が、縦方向及び横方向に１画素
おきに配置され、画像色の第２色成分の画素及び第３色
成分の画素が、それぞれ、残りの位置に均等に配置され
た画像データを入力し、各画素位置に、前記第１色成
分，第２色成分及び第３色成分の何れかの画素が存在し
ない場合に、存在しない画素を生成して補間する処理
を、コンピュータが実行するための、画像処理プログラ
ムを記録した記録媒体であって、該画像処理プログラム
によって、コンピュータが、前記第１色成分の画素が存
在しない注目位置に、補間画素を生成する場合に、前記
注目画素の上下もしくは左右に隣接する位置に存在する
第１色成分の一次参照画素と、該一次参照画素の周囲に
存在する第１色成分の二次参照画素との大小関係を調べ
て、画像エッジ成分の有無を識別し、画像エッジ成分を
検出した場合には、前記注目画素の上下及び左右に隣接
する位置に存在する第１色成分の画素に基づいて補間画
素を生成するとともに、前記注目画素の上下の画素に対
する重み係数と前記注目画素の左右の画素に対する重み
係数とを互いに異なる値に定めることを特徴とする。

【００１７】（作用）（請求項１）本発明の画像処理においては、処理対象の
画像データとして、例えば図３に示すベイヤ配列のよう
な２次元画素配列を想定している。すなわち、第１色成
分（例えばＧ色）の画素が、縦方向及び横方向に１画素
おきに配置され、第２色成分（例えばＲ色）の画素及び
第３色成分（例えばＢ色）の画素が、それぞれ、残りの
位置に均等に配置される。

【００１８】一般に、人間の視力は、緑色の波長に対し
て敏感であり、赤色及び青色の波長に対しては鈍感であ
る。従って、Ｇ色成分の明るさは、Ｒ，Ｇ，Ｂの全ての
波長成分を含む画像の明るさ（輝度）とあまり変わらな
い。前記ベイヤ配列では、４画素あたり２画素のＧ色を
配置するので、２次元画素配列の中の、Ｇ色成分の画素
の割合が大きい。このような画素配列を採用すると、画
像の解像度が改善される。

【００１９】本発明は、２次元画素配列の中の画素の割
合が大きい、第１色成分の画素、つまり、輝度成分の画
素の補間に特徴がある。第１色成分の画素について適切
な補間を実施すると、画像の解像度を改善するうえで、
非常に効果がある。

【００２０】本発明では、前記第１色成分の画素が存在
しない注目位置に、補間画素を生成する場合には、次の
ように処理する。まず、前記注目画素の上下もしくは左
右に隣接する位置に存在する第１色成分の一次参照画素
と、該一次参照画素の周囲に存在する第１色成分の二次
参照画素との大小関係を調べて、画像エッジ成分の有無
を識別する。

【００２１】画像エッジ成分を検出した場合には、前記
注目画素の上下及び左右に隣接する位置に存在する第１
色成分の基準画素に基づいて補間画素を生成する。ま
た、前記注目画素の上下の基準画素に対する重み係数と
前記注目画素の左右の基準画素に対する重み係数とを互
いに異なる値に定める。例えば、画像中の縦方向に延び
るエッジの位置の近傍では、横方向に対しては互いに隣
接する画素間の明るさの変化が大きく、縦方向について
は明るさの変化が小さいと考えられる。

【００２２】また、画像中の横方向に延びるエッジの位
置の近傍では、縦方向に対しては互いに隣接する画素間
の明るさの変化が大きく、横方向については明るさの変
化が小さいと考えられる。従って、縦方向のエッジを検
出した場合には、注目画素の左右の基準画素の影響を小
さくして、注目画素の上下の基準画素の影響を大きくす
ると、横方向の解像度が改善される。

【００２３】また、横方向のエッジを検出した場合に
は、注目画素の上下の基準画素の影響を小さくして、注
目画素の左右の基準画素の影響を大きくすると、縦方向
の解像度が改善される。単純な画素同士の対比によっ
て、画像エッジ成分の有無が検出されるので、処理が極
めて簡単であり、補間画素の生成所要時間が短い。ま
た、第１色成分の補間画素を第１色成分の基準画素に基
づいて生成するので、輝度に変化が生じる位置と色相が
変化する位置の間にずれが生じる場合でも、原画像に忠
実な補間画素を生成しうる。

【００２４】（請求項２）検出されたエッジ上の基準画
素の重み係数が大きく、検出されたエッジに隣接する基
準画素の重み係数が小さい。つまり、縦方向のエッジを
検出した場合には、注目画素の左右の基準画素の影響が
小さくなり、注目画素の上下の基準画素の影響が大きく
なる。従って、横方向の解像度が改善される。

【００２５】また、横方向のエッジを検出した場合に
は、注目画素の上下の基準画素の影響が小さくなり、注
目画素の左右の基準画素の影響が大きくなる。従って、
縦方向の解像度が改善される。前記基準画素に対する重
み係数の総和が１になるように、正規化することによ
り、補間画素の明るさが適正に制御される。

【００２６】（請求項３）検出されたエッジ上に位置す
る２つの基準画素の補間画素に対する影響が大きく、前
記エッジ上に隣接する位置の基準画素の影響が０にな
る。つまり、縦方向のエッジを検出した場合には、注目
画素の左右の基準画素の影響はなく、注目画素の上下の
基準画素のみによって、補間画素が生成される。従っ
て、横方向の解像度が改善される。

【００２７】また、横方向のエッジを検出した場合に
は、注目画素の上下の基準画素の影響はなく、注目画素
の左右の基準画素のみによって補間画素が生成される。
従って、縦方向の解像度が改善される。（請求項４）前記注目画素の上下もしくは左右に隣接す
る位置に存在する第１色成分の２つの一次参照画素のそ
れぞれが、該一次参照画素の周囲に存在する第１色成分
の４つのと比較される。

【００２８】これら全ての比較結果が予め定めた条件を
満たす場合に、画像エッジ成分が検出される。例えば、
注目画素の上側に位置する１つの一次参照画素が、その
周囲の４つの二次参照画素よりも大きく、注目画素の下
側に位置する１つの一次参照画素が、その周囲の４つの
二次参照画素よりも大きい場合には、注目画素の位置
に、縦方向のエッジが存在するとみなすことができる。

【００２９】また、注目画素の左側に位置する１つの一
次参照画素が、その周囲の４つの二次参照画素よりも大
きく、注目画素の右側に位置する１つの一次参照画素
が、その周囲の４つの二次参照画素よりも大きい場合に
は、注目画素の位置に、横方向のエッジが存在するとみ
なすことができる。（請求項５）本発明の画像処理装置では、前記第１色成
分の画素が存在しない注目位置に、補間画素を生成する
場合に、補間制御手段が、次のように処理する。まず、
前記注目画素の上下もしくは左右に隣接する位置に存在
する第１色成分の一次参照画素と、該一次参照画素の周
囲に存在する第１色成分の二次参照画素との大小関係を
調べて、画像エッジ成分の有無を識別する。

【００３０】画像エッジ成分を検出した場合には、前記
注目画素の上下及び左右に隣接する位置に存在する第１
色成分の基準画素に基づいて補間画素を生成する。ま
た、前記注目画素の上下の基準画素に対する重み係数と
前記注目画素の左右の基準画素に対する重み係数とを互
いに異なる値に定める。例えば、画像中の縦方向に延び
るエッジの位置の近傍では、横方向に対しては互いに隣
接する画素間の明るさの変化が大きく、縦方向について
は明るさの変化が小さいと考えられる。

【００３１】また、画像中の横方向に延びるエッジの位
置の近傍では、縦方向に対しては互いに隣接する画素間
の明るさの変化が大きく、横方向については明るさの変
化が小さいと考えられる。

【００３２】従って、縦方向のエッジを検出した場合に
は、注目画素の左右の基準画素の影響を小さくして、注
目画素の上下の基準画素の影響を大きくすると、横方向
の解像度が改善される。また、横方向のエッジを検出し
た場合には、注目画素の上下の基準画素の影響を小さく
して、注目画素の左右の基準画素の影響を大きくする
と、縦方向の解像度が改善される。

【００３３】単純な画素同士の対比によって、画像エッ
ジ成分の有無が検出されるので、処理が極めて簡単であ
り、補間画素の生成所要時間が短い。また、第１色成分
の補間画素を第１色成分の基準画素に基づいて生成する
ので、輝度に変化が生じる位置と色相が変化する位置の
間にずれが生じる場合でも、原画像に忠実な補間画素を
生成しうる。

【００３４】（請求項６）本発明の画像処理プログラム
を記録した記録媒体は、所定のコンピュータで読み取ら
れる。そして、前記コンピュータは、画像処理プログラ
ムを実行する。この画像処理プログラムによって、次の
ように、補間画素が生成される。前記第１色成分の画素
が存在しない注目位置に、補間画素を生成する場合に
は、前記注目画素の上下もしくは左右に隣接する位置に
存在する第１色成分の一次参照画素と、該一次参照画素
の周囲に存在する第１色成分の二次参照画素との大小関
係が比較される。

【００３５】この比較結果により、画像エッジ成分の有
無が識別される。画像エッジ成分を検出した場合には、
前記注目画素の上下及び左右に隣接する位置に存在する
第１色成分の画素に基づいて補間画素を生成する。ま
た、前記注目画素の上下の基準画素に対する重み係数と
前記注目画素の左右の基準画素に対する重み係数とを互
いに異なる値に定める。

【００３６】この画像処理プログラムは、特定のハード
ウェアに依存することなく、汎用的に実行できるので、
画像処理プログラムを記録した記録媒体を、汎用的なパ
ーソナルコンピュータやワークステーションで読み取る
ことにより、前記画像処理プログラムを実行できる。

【００３７】

【発明の実施の形態】

（第１の実施の形態）この形態の画像処理装置を備え
る、撮像装置の構成及び動作を、図１，図２，図３，図
４，図５，図６，図７，図８，図９，図１０，図１１，
図１２及び図１３に示す。この形態は、全ての請求項に
対応する。

【００３８】図１は、カラー撮像装置の構成を示すブロ
ック図である。図２は、フィルタ２の透過色成分の分布
を示す平面図である。図３は、２次元イメージセンサ３
で撮影される、２次元画像２０を構成する各画素の色成
分の分布を示す斜視図である。図４は、撮影された２次
元画像２０を色成分毎に分解して示す平面図である。図
５は、図４の各色成分の画像データに補間画素を加えた
状態を示す平面図である。図６は、Ｇ色の補間画素を生
成する際に参照される画素を示す平面図である。

【００３９】図７は、縦方向のエッジを検出するために
参照される画素と検出条件を示す平面図である。図８
は、横方向のエッジを検出するために参照される画素と
検出条件を示す平面図である。図９は、Ｒ，Ｂ色の補間
画素の生成条件の例を示す平面図である。図１０は、画
像処理回路８が実行する補間処理の内容を示すフローチ
ャートである。図１１は、図１０のステップＳ６の内容
を示すフローチャートである。図１２は、図１１のステ
ップＳ１１の内容を示すフローチャートである。図１３
は、エッジを検出する際に参照される画素を示す平面図
である。

【００４０】この形態において、請求項１の第１色成
分，第２色成分及び第３色成分は、それぞれ、Ｇ色，Ｒ
色及びＢ色として具体化されている。また、請求項５の
補間制御手段は、図１に示す画像処理回路８として具体
化されている。また、請求項６の記録媒体は、ＲＯＭ９
として具体化されている。図１を参照すると、この撮像
装置には、撮影レンズ１，フィルタ２，２次元イメージ
センサ３，Ａ／Ｄ変換器４，画像メモリ５，６，７，画
像処理回路８，ＲＯＭ９，ＲＡＭ１０，インタフェース
回路１１，画像表示装置１２，外部記憶装置１３及び撮
像制御回路１６が備わっている。

【００４１】被写体から到来する光は、撮影レンズ１を
通り、フィルタ２を通って、２次元イメージセンサ３の
撮像面に結像される。フィルタ２は、光の特定の波長成
分を透過する。実際には、フィルタ２は、図２に示すよ
うに、透過光の成分が、Ｒ(赤)色，Ｇ(緑)色及びＢ(青)
色の微小領域２Ｒ，２Ｇ及び２Ｂで構成されている。微
小領域２Ｒ，２Ｇ及び２Ｂの各々は、２次元イメージセ
ンサ３の画素と１対１に対応付けられている。

【００４２】従って、２次元イメージセンサ３で撮影さ
れる２次元画像２０においては、図３に示すように、Ｒ
色画素２１，Ｇ色画素２２及びＢ色画素２３の各成分が
周期的に並ぶ。図３に示す２次元画像２０の画素配列
は、ベイヤ配列と呼ばれる。図１の撮像装置には、単一
のフィルタ２と、単一の２次元イメージセンサ３のみを
備えている。従って、得られる画像情報は、図３に示す
ような２次元画像２０である。つまり、画素単位では、
Ｒ色，Ｇ色及びＢ色の何れかの成分のみが得られる。全
ての位置の画素について、Ｒ色，Ｇ色及びＢ色の全ての
成分を得るために、画素の補間が実施される。この処理
については、後で説明する。

【００４３】２次元イメージセンサ３は、ＣＣＤ素子を
用いた撮像ユニットである。２次元イメージセンサ３
は、撮影した２次元画像の各画素の明るさを示す信号
を、画素単位で順次に出力する。２次元イメージセンサ
３が出力するアナログの画素信号は、Ａ／Ｄ変換器４に
よって、画素毎にディジタル信号に変換される。

【００４４】Ａ／Ｄ変換器４が出力するディジタル信号
は、画素の色に応じて、画像メモリ５，６及び７の何れ
かに記憶される。即ち、Ｒ色の画素，Ｇ色の画素及びＢ
色の画素は、それぞれ、画像メモリ５，６及び７に記憶
される。画像処理回路８は、マイクロコンピュータで構
成されている。このマイクロコンピュータが実行するプ
ログラムは、読み出し専用メモリ（ＲＯＭ）９に記憶さ
れている。画像処理回路８は、バス１５を介して読み出
し専用メモリ９の内容を読取り、そのプログラムを実行
する。

【００４５】また、画像処理回路８には、バス１５を介
して、読み書きメモリ（ＲＡＭ）１０が接続されてい
る。画像処理回路８は、必要に応じて、読み書きメモリ
１０に対して、データの書き込み及び読み出しを行う。
画像処理回路８は、撮像制御回路１６を介して、２次元
イメージセンサ３，Ａ／Ｄ変換器４及び画像メモリ５，
６及び７を制御し、画像の撮影を実施する。

【００４６】即ち、画像処理回路８は、２次元イメージ
センサ３に対して、電荷蓄積制御及び信号読みだし制御
を実施する。Ａ／Ｄ変換器４に対しては、サンプリング
及び変換タイミングの制御を実施する。画像メモリ５，
６及び７に対しては、画素の色成分に応じた画像メモリ
の選択と、データ書き込みタイミングの制御を実施す
る。

【００４７】撮影によって得られた２次元画像のデータ
が、画像メモリ５，６及び７に書き込まれた後、画像処
理回路８は、各画素位置について、不足している色成分
の画素を補間する処理を実施する。この処理の内容につ
いては、後で説明する。なお、２次元イメージセンサ３
が出力する信号に対して、実質上リアルタイムで、画素
の補間を実施することも可能であるが、回路構成を簡略
化するため、この例では、全ての画像データが画像メモ
リ５，６，７に記憶された後で、ソフトウェア処理によ
り、補間画素を生成している。

【００４８】画素の補間が完了した後、画像処理回路８
は、画像メモリ５，６，７に記憶された画像データを、
必要に応じて、インタフェース回路１１に転送する。こ
の画像データは、インタフェース回路１１を介して、画
像表示装置１２または外部記憶装置１３に入力される。
画像表示装置１２は、撮影された２次元画像を表示する
ために設けられている。この例では、画像表示装置１２
は、、液晶表示ユニットを備えている。外部記憶装置１
３は、撮影された２次元画像のデータを保存するために
設けられている。この例では、外部記憶装置１３は、交
換可能なディスク状の記憶媒体を備えている。

【００４９】画像処理回路８が実行する、「補間処理」
の内容を、図１０に示す。撮影によって得られる２次元
画像２０には、図３に示すように、１画素当たり１色の
成分だけしか存在しない。このため、画像メモリ５，
６，７上に得られる画像データにおいては、図４に示す
ように、Ｒ色，Ｇ色及びＢ色の各色成分に、それぞれ不
足している画素が存在する。

【００５０】これらの不足画素が、図１０の「補間処
理」によって生成され、画像メモリ５，６，７上に記憶
される。補間後の画素データ配列を、図５に示す。図５
を参照すると、補間によって生成された画素Ｇｉ，Ｒｉ
及びＢｉが存在するため、全ての画素位置に有効な画素
データが揃っている。図１０を参照して、各ステップの
内容を説明する。

【００５１】最初のステップＳ１では、注目画素の位置
を決定する。つまり、処理すべき２次元画像を構成する
多数の画素の何れかの位置を、注目画素の位置として決
定する。注目画素の位置は、最初は画像の左上端の位置
に定められる。そして、ステップＳ１を実行する度に、
注目画素位置は、横方向及び縦方向に１画素単位で順次
に移動する。注目画素位置が画像の右下端の位置、つま
り最終画素の位置を越えると、注目画素位置は最初の左
上端の位置に戻る。

【００５２】ステップＳ２では、Ｇ色の成分について、
全ての画素の補間が完了したか否かを識別する。補間処
理が完了してなければ、次にステップＳ３に進む。ステ
ップＳ３では、画像データの注目画素位置に、有効なＧ
色の画素データが存在するか否かを識別する。フィルタ
２の透過色成分の配列と撮影される画素配列との位置関
係は、図３に示すように予め定まっている。従って、各
々の画素位置に、Ｒ色，Ｇ色，Ｂ色の何れの成分が存在
し、何れの成分が不足しているかは、予め知ることがで
きる。即ち、Ｒ色，Ｇ色，Ｂ色は、何れも周期的に並ん
でいるので、各色成分の存在位置は、計算によって調べ
ることができる。

【００５３】注目画素位置に、Ｇ色成分が存在しない場
合には、それを補間する必要があるので、次にステップ
Ｓ４に進む。注目画素位置に、Ｇ色成分が存在する場合
には、ステップＳ１に進む。ステップＳ４では、Ｇ色画
素の補間を実施する。この処理の詳細は、図１１に示さ
れている。図１１の各ステップについて説明する。

【００５４】ステップＳ１１では、注目画素位置の周辺
に存在する画素の情報を参照して、注目画素の位置に画
像の縦方向及び横方向のエッジ成分が存在するか否かを
調べる。この処理の詳細は、図１２に示されている。こ
の処理については、後で説明する。ステップＳ１２で
は、ステップＳ１１の結果を参照して、縦方向のエッジ
の有無を識別する。縦方向のエッジが検出されると、エ
ッジ検出フラグＦｖがセットされるので、このフラグの
状態を調べる。

【００５５】エッジ検出フラグＦｖがセットされている
場合には、次にステップＳ１４に進む。エッジ検出フラ
グＦｖがクリアされている場合には、次にステップＳ１
３に進む。ステップＳ１３では、ステップＳ１１の結果
を参照して、横方向のエッジの有無を識別する。横方向
のエッジが検出されると、エッジ検出フラグＦｈがセッ
トされるので、このフラグの状態を調べる。

【００５６】エッジ検出フラグＦｈがセットされている
場合には、次にステップＳ１５に進む。エッジ検出フラ
グＦｈがクリアされている場合には、次にステップＳ１
６に進む。縦方向のエッジが検出されると、ステップＳ
１４において、次式により補間画素を生成する。

【００５７】Ｇ(j,i)＝(Ｇ(j-1,i)＋Ｇ(j+1,i))／２・・・（１）Ｇ(j,i)：ｊ行，ｉ列の座標のＧ色の補間画素(注目位
置) Ｇ(j-1,i)：注目画素Ｇ(j,i)の上側の基準画素Ｇ(j+1,i)：注目画素Ｇ(j,i)の下側の基準画素例えば、図６に示す中央の注目位置（ｊ，ｉ）に補間画
素Ｇ33を生成する場合、次式により補間画素Ｇ33が生成
される。

【００５８】Ｇ33＝（Ｇ23＋Ｇ43）／２・・・（２）つまり、補間すべき画素の位置が縦方向のエッジ上であ
る場合には、補間画素の左右に隣接する画素の影響を０
とし、補間画素の上下に隣接する２つの画素の平均値と
して、補間画素を生成する。なお、前記第１式及び第２
式では、補間画素の左右に隣接する画素の影響を０にし
てあるが、次の第３式に示すように、補間画素の左右に
隣接する画素の影響を多少受けるように変更しても良
い。

【００５９】Ｇ33＝(g1・(Ｇ23＋Ｇ43)／２)＋(g2・(Ｇ32＋Ｇ34)／２) ・・・（３）但し、g1＞g2，g1＋g2＝１横方向のエッジが検出されると、ステップＳ１５におい
て、次式により補間画素を生成する。Ｇ(j,i)＝(Ｇ(j,i-1)＋Ｇ(j,i+1))／２・・・（４）Ｇ(j,i)：ｊ行，ｉ列の座標のＧ色の補間画素(注目位
置) Ｇ(j,i-1)：注目画素Ｇ(j,i)の左側の基準画素Ｇ(j,i+1)：注目画素Ｇ(j,i)の右側の基準画素例えば、図６に示す中央の注目位置（ｊ，ｉ）に補間画
素Ｇ33を生成する場合、次式により補間画素Ｇ33が生成
される。

【００６０】Ｇ33＝（Ｇ32＋Ｇ34）／２・・・（５）つまり、補間すべき画素の位置が横方向のエッジ上であ
る場合には、補間画素の上下に隣接する画素の影響を０
とし、補間画素の左右に隣接する２つの画素の平均値と
して、補間画素を生成する。なお、前記第４式及び第５
式では、補間画素の上下に隣接する画素の影響を０にし
てあるが、次の第６式に示すように、補間画素の上下に
隣接する画素の影響を多少受けるように変更しても良
い。

【００６１】Ｇ33＝(g1・(Ｇ23＋Ｇ43)／２)＋(g2・(Ｇ32＋Ｇ34)／２) ・・・（６）但し、g1＜g2，g1＋g2＝１エッジが検出されない場合、ステップＳ１６において、
次式により補間画素を生成する。Ｇ(j,i)＝(Ｇ(j-1,i)＋Ｇ(j+1,i)＋Ｇ(j,i-1)＋Ｇ(j,i+1))／４・・・（７）Ｇ(j,i)：ｊ行，ｉ列の座標のＧ色の補間画素(注目位
置) 例えば、図６に示す中央の注目位置（ｊ，ｉ）に補間画
素Ｇ33を生成する場合、次式により補間画素Ｇ33が生成
される。

【００６２】Ｇ33＝（Ｇ23＋Ｇ43＋Ｇ32＋Ｇ34）／４・・・（８）ステップＳ１１の「エッジ検出処理」の内容は、図１２
に示されている。図１２の各ステップの内容を説明す
る。ステップＳ２１では、エッジ検出フラグＦｖ，Ｆｈ
をクリアする。ステップＳ２２では、予め定めた条件Ａ
１について、注目位置の画素パターンが適合するか否か
を識別する。例えば、図７に示すように画素Ｇ33を補間
する場合には、条件Ａ１として、次に示す比較式の真偽
を調べる。

【００６３】 (Ｇ23＞Ｇ12)and(Ｇ23＞Ｇ14)and(Ｇ23＞Ｇ32)and(Ｇ23＞Ｇ34) ・・・（９）但し、and：論理積つまり、図１３（ａ）に示すように、注目位置の上側に
位置する一次参照画素をその周囲に存在する４つの二次
参照画素とそれぞれ対比して、前記一次参照画素が全て
の二次参照画素より大きい場合に、条件Ａ１が成立す
る。

【００６４】ステップＳ２３では、予め定めた条件Ａ２
について、注目位置の画素パターンが適合するか否かを
識別する。例えば、図７に示すように画素Ｇ33を補間す
る場合には、条件Ａ２として、次に示す比較式の真偽を
調べる。 (Ｇ43＞Ｇ32)and(Ｇ43＞Ｇ34)and(Ｇ43＞Ｇ52)and(Ｇ43＞Ｇ54) ・・・（10）つまり、図１３（ａ）に示すように、注目位置の下側に
位置する一次参照画素をその周囲に存在する４つの二次
参照画素とそれぞれ対比して、前記一次参照画素が全て
の二次参照画素より大きい場合に、条件Ａ２が成立す
る。

【００６５】前記条件Ａ１，Ａ２が共に成立する場合
に、ステップＳ２４が実行される。ステップＳ２４で
は、エッジ検出フラグＦｖをセットする。即ち、図１３
に(ａ)として示すように、注目位置の上側の一次参照画
素がその周囲の４つの二次参照画素より大きく、かつ、
注目位置の下側の一次参照画素がその周囲の４つの二次
参照画素より大きい場合に、注目位置について、縦方向
のエッジを検出する。

【００６６】なお、一次参照画素と二次参照画素の大小
関係を逆にしても、同様にエッジの検出が可能である。
つまり、条件Ａ１，Ａ２の代わりに、図７に示した条件
Ｂ１，Ｂ２を用いても良い。ステップＳ２５では、予め
定めた条件Ｃ１について、注目位置の画素パターンが適
合するか否かを識別する。例えば、図８に示すように画
素Ｇ33を補間する場合には、条件Ｃ１として、次に示す
比較式の真偽を調べる。

【００６７】 (Ｇ32＞Ｇ21)and(Ｇ32＞Ｇ23)and(Ｇ32＞Ｇ41)and(Ｇ32＞Ｇ43) ・・・（11）つまり、図１３（ｂ）に示すように、注目位置の左側に
位置する一次参照画素をその周囲に存在する４つの二次
参照画素とそれぞれ対比して、前記一次参照画素が全て
の二次参照画素より大きい場合に、条件Ｃ１が成立す
る。ステップＳ２６では、予め定めた条件Ｃ２につい
て、注目位置の画素パターンが適合するか否かを識別す
る。例えば、図８に示すように画素Ｇ33を補間する場合
には、条件Ｃ２として、次に示す比較式の真偽を調べ
る。

【００６８】 (Ｇ34＞Ｇ23)and(Ｇ34＞Ｇ25)and(Ｇ34＞Ｇ43)and(Ｇ34＞Ｇ45) ・・・（12）つまり、図１３（ｂ）に示すように、注目位置の右側に
位置する一次参照画素をその周囲に存在する４つの二次
参照画素とそれぞれ対比して、前記一次参照画素が全て
の二次参照画素より大きい場合に、条件Ｃ２が成立す
る。前記条件Ｃ１，Ｃ２が共に成立する場合に、ステッ
プＳ２７が実行される。ステップＳ２７では、エッジ検
出フラグＦｈをセットする。

【００６９】即ち、図１３に(ｂ)として示すように、注
目位置の左側の一次参照画素がその周囲の４つの二次参
照画素より大きく、かつ、注目位置の右側の一次参照画
素がその周囲の４つの二次参照画素より大きい場合に、
注目位置について、横方向のエッジを検出する。なお、
一次参照画素と二次参照画素の大小関係を逆にしても、
同様にエッジの検出が可能である。つまり、条件Ｃ１，
Ｃ２の代わりに、図８に示した条件Ｄ１，Ｄ２を用いて
も良い。

【００７０】Ｇ色に対する全ての画素の補間が終了する
と、図１０に示すステップＳ５に進む。ステップＳ５で
は、前記ステップＳ１と同様に、注目画素の位置を決定
する。注目画素の位置は、最初は画像の左上端の位置に
定められる。そして、ステップＳ５を実行する度に、注
目画素位置は、横方向及び縦方向に１画素単位で順次に
更新され、画像の右下端の位置、つまり最終画素の位置
まで進む。

【００７１】ステップＳ６では、注目画素の位置が最終
画素位置を越えたか否かを調べて、全画素の補間処理が
終了したか否かを識別する。全画素の補間処理が終了し
てなければ、ステップＳ７に進む。ステップＳ７では、
画像データの注目画素位置に、有効なＲ色の画素データ
が存在するか否かを識別する。注目画素位置に、Ｒ色成
分が存在しない場合には、それを補間する必要があるの
で、次にステップＳ８に進む。注目画素位置に、Ｒ色成
分が存在する場合には、ステップＳ９に進む。

【００７２】ステップＳ９では、画像データの注目画素
位置に、有効なＢ色の画素データが存在するか否かを識
別する。注目画素位置に、Ｂ色成分が存在しない場合に
は、それを補間する必要があるので、次にステップＳ１
０に進む。注目画素位置に、Ｂ色成分が存在する場合に
は、ステップＳ５に戻る。ステップＳ８では、Ｒ色画素
の補間を実施する。このステップを実行するときには、
既にＧ色に対する全ての画素の補間が終了している。従
って、Ｒ色の画素を補間する際に、全ての位置のＧ色画
素を利用できる。

【００７３】この例では、Ｒ色の補間に関しては、公知
技術である色差信号による線形補間を採用している。例
えば、図９に示す画素列が存在する場合に、第２行，第
２列の位置のＲ色の補間画素Ｒ22、第２行，第３列の位
置のＲ色の補間画素Ｒ23、並びに第３行，第２列の位置
のＲ色の補間画素Ｒ32は、それぞれ次のように算出され
る。

【００７４】Ｒ22=((Ｒ11-Ｇ11)+(Ｒ13-Ｇ13)+(Ｒ31-Ｇ31)+(Ｒ33-Ｇ33))／4+Ｇ22 Ｒ23=((Ｒ13-Ｇ13)+(Ｒ33-Ｇ33))／2+Ｇ23 Ｒ32=((Ｒ31-Ｇ31)+(Ｒ33-Ｇ33))／2+Ｇ32 ・・・（13）ステップＳ１０では、Ｂ色画素の補間を実施する。この
ステップを実行するときには、既にＧ色に対する全ての
画素の補間が終了している。従って、Ｂ色の画素を補間
する際に、全ての位置のＧ色画素を利用できる。

【００７５】この例では、Ｂ色の補間に関しては、公知
技術である色差信号による線形補間を採用している。例
えば、図９に示す画素列が存在する場合に、第２行，第
３列の位置のＢ色の補間画素Ｂ23、第３行，第２列の位
置のＢ色の補間画素Ｂ32、並びに第３行，第３列の位置
のＢ色の補間画素Ｂ33は、それぞれ次のように算出され
る。

【００７６】Ｂ23＝((Ｂ22-Ｇ22)+(Ｂ24-Ｇ24))／4+Ｇ33 Ｂ32＝((Ｂ22-Ｇ22)+(Ｂ42-Ｇ42))／4+Ｇ33 Ｂ33＝((Ｂ22-Ｇ22)+(Ｂ24-Ｇ24)+(Ｂ42-Ｇ42)+(Ｂ44-Ｇ44))／4+Ｇ33 ・・(14) なお、この例では、Ｇ色に関する全ての画素の補間処理
が終了した後で、Ｒ色及びＢ色の補間を実施している
が、Ｇ色の全ての画素を補間する前に、Ｒ色及びＢ色の
補間を実施することも可能である。

【００７７】例えば、上記第１３式及び第１４式に基づ
いて、Ｒ色及びＢ色の補間を実施する場合には、注目画
素に隣接する位置の画素のみを補間に利用するので、補
間対象の注目画素位置を中心とする３×３画素につい
て、Ｇ色の補間が終了した後であれば、図１０のステッ
プＳ８，Ｓ１０の処理を実施できる。従って、例えば、
５×５画素で構成される領域毎に、順次にＧ色の補間処
理を実施して、それが終了する度に、隣接するＧ色画素
が揃った注目位置について、Ｒ色及びＢ色の補間処理を
実施しても良い。

【００７８】（第２の実施の形態）この形態は、上記第
１の実施の形態の変形例であり、Ｇ色成分について、画
像エッジを検出する場合の、参照画素の組み合わせのみ
が、第１の実施の形態と異なる。この形態は、請求項
１，請求項２，請求項３，請求項５及び請求項６に対応
する。

【００７９】画像エッジを検出する場合の参照画素の組
み合わせを、図１４に示す。縦方向エッジを検出する場
合には、図１４に示す(ａ)，(ｂ)，(ｃ)，(ｄ)の何れか
のパターンで、一次参照画素と二次参照画素の比較が実
施される。また、横方向エッジを検出する場合には、図
１４に示す(ｅ)，(ｆ)，(ｇ)，(ｈ)の何れかのパターン
で、一次参照画素と二次参照画素の比較が実施される。

【００８０】つまり、この形態では、各々の一次参照画
素が、その周囲に存在する３つの二次参照画素と対比さ
れる。一次参照画素が３つの二次参照画素の何れよりも
大きいか、あるいは小さい場合には、一次参照画素はエ
ッジの候補とみなす。縦方向の２つの一次参照画素が共
にエッジの候補であれば、縦方向エッジを検出する。ま
た、横方向の２つの一次参照画素が共にエッジの候補で
あれば、横方向エッジを検出する。

【００８１】なお、図１４に示す参照画素の組み合わせ
は一例であり、このほかの組み合わせも考えられる。例
えば、二次参照画素の位置を、一次参照画素に対して左
右対称な位置、又は上下対象な位置に移動しても良い。
なお、次のような変形も考えられる。即ち、各々の一次
参照画素を、その周囲に存在する４つの二次参照画素と
それぞれ対比する。そして、４つの対比結果のうち、何
れか３つが所定の条件を満たす場合に、一次参照画素を
エッジの候補とみなす。

【００８２】（第３の実施の形態）この形態は、上記第
１の実施の形態の変形例であり、Ｇ色成分について、画
像エッジを検出する場合の、参照画素の組み合わせのみ
が、第１の実施の形態と異なる。この形態は、請求項
１，請求項２，請求項３，請求項５及び請求項６に対応
する。

【００８３】画像エッジを検出する場合の参照画素の組
み合わせを、図１５に示す。縦方向エッジを検出する場
合には、図１５に示す(ａ)，(ｂ)，(ｃ)の何れかのパタ
ーンで、一次参照画素と二次参照画素の比較が実施され
る。また、横方向エッジを検出する場合には、図１５に
示す(ｄ)，(ｅ)，(ｆ)の何れかのパターンで、一次参照
画素と二次参照画素の比較が実施される。

【００８４】つまり、この形態では、各々の一次参照画
素が、その周囲に存在する２つの二次参照画素と対比さ
れる。一次参照画素が２つの二次参照画素の何れよりも
大きいか、あるいは小さい場合には、一次参照画素はエ
ッジの候補とみなす。縦方向の２つの一次参照画素が共
にエッジの候補であれば、縦方向エッジを検出する。ま
た、横方向の２つの一次参照画素が共にエッジの候補で
あれば、横方向エッジを検出する。

【００８５】なお、図１５に示す参照画素の組み合わせ
は一例であり、このほかの組み合わせも考えられる。例
えば、二次参照画素の位置を、一次参照画素に対して左
右対称な位置、又は上下対象な位置に移動しても良い。（第４の実施の形態）この形態は、上記第１の実施の形
態の変形例であり、処理対象の画像を構成する画素の色
成分が、第１の実施の形態と異なる。この形態は、全て
の請求項に対応する。

【００８６】処理対象の画像を構成する画素配列の例
を、図１６に示す。この例では、画像は、Ｒ色，Ｂ色，
Ｗ色の３種類の色成分で構成される。Ｗ色は、Ｒ色，Ｇ
色，Ｂ色の全ての波長成分を含む。第１の実施の形態に
おけるＧ色がＷ色に置き換えられた他は、第１の実施の
形態と同一である。図１６の画像を得るために、フィル
タ２の微小領域２Ｇは、Ｒ色，Ｇ色，Ｂ色の全ての波長
成分を透過するように変更される。

【００８７】画像処理回路８が実行する「補間処理」に
おいては、処理対象のＧ色画素が、Ｗ色画素で置き換え
られる。なお、第１の実施の形態においては、コンピュ
ータのソフトウェア処理によって、補間画素を生成して
いるが、この処理を専用のハードウェアで置き換えるこ
ともできる。

【００８８】例えば、４つのディジタル比較器を設け
て、一次参照画素と二次参照画素との比較を実施すれ
ば、前記条件Ａ１（又はＡ２，Ｃ１，Ｃ２）に関する４
つの比較動作を、１回の処理で同時に実現できる。ま
た、本発明の画像処理の内容を、画像処理プログラムと
して、フレキシブルディスクなどの交換可能な記憶媒体
に保存しておけば、この記憶媒体を読み取ることによ
り、パーソナルコンピュータなどの汎用性のある処理装
置で、本発明を実施しうる。

【００８９】

【発明の効果】（請求項１）本発明は、２次元画素配列の中の画素の割
合が大きい、第１色成分の画素、つまり、輝度成分の画
素について適切な補間を実施するので、画像の解像度を
改善するうえで、非常に効果がある。

【００９０】特に、本発明では、単純な画素同士の対比
によって、画像エッジ成分の有無が検出されるので、処
理が極めて簡単であり、補間画素の生成所要時間が短
い。また、第１色成分の補間画素を第１色成分の基準画
素に基づいて生成するので、輝度に変化が生じる位置と
色相が変化する位置の間にずれが生じる場合でも、原画
像に忠実な補間画素を生成しうる。

【００９１】（請求項２）本発明では、縦方向のエッジ
を検出した場合には、注目画素の左右の基準画素の影響
が小さくなり、注目画素の上下の基準画素の影響が大き
くなるので、横方向の解像度が改善される。また、横方
向のエッジを検出した場合には、注目画素の上下の基準
画素の影響が小さくなり、注目画素の左右の基準画素の
影響が大きくなる。従って、縦方向の解像度が改善され
る。

【００９２】前記基準画素に対する重み係数の総和が１
になるように、正規化することにより、補間画素の明る
さが適正に制御される。（請求項３）本発明では、縦方向のエッジを検出した場
合には、注目画素の左右の基準画素の影響はなく、注目
画素の上下の基準画素のみによって、補間画素が生成さ
れる。従って、横方向の解像度が改善される。また、横
方向のエッジを検出した場合には、注目画素の上下の基
準画素の影響はなく、注目画素の左右の基準画素のみに
よって補間画素が生成される。従って、縦方向の解像度
が改善される。

【００９３】（請求項４）本発明では、画像エッジ成分
の有無を、より正確に検出できる。（請求項５）本発明の画像処理装置においては、補間制
御手段が、２次元画素配列の中の画素の割合が大きい、
第１色成分の画素、つまり、輝度成分の画素について適
切な補間を実施するので、画像の解像度を改善するうえ
で、非常に効果がある。

【００９４】特に、本発明では、単純な画素同士の対比
によって、画像エッジ成分の有無が検出されるので、処
理が極めて簡単であり、補間画素の生成所要時間が短
い。また、第１色成分の補間画素を第１色成分の基準画
素に基づいて生成するので、輝度に変化が生じる位置と
色相が変化する位置の間にずれが生じる場合でも、原画
像に忠実な補間画素を生成しうる。

【００９５】（請求項６）本発明の画像処理プログラム
を記録した記録媒体を読み取って、この画像処理プログ
ラムを実行することにより、次の効果が得られる。２次
元画素配列の中の画素の割合が大きい、第１色成分の画
素、つまり、輝度成分の画素について適切な補間を実施
するので、画像の解像度を改善するうえで、非常に効果
がある。

【００９６】特に、本発明では、単純な画素同士の対比
によって、画像エッジ成分の有無が検出されるので、処
理が極めて簡単であり、補間画素の生成所要時間が短
い。また、第１色成分の補間画素を第１色成分の基準画
素に基づいて生成するので、輝度に変化が生じる位置と
色相が変化する位置の間にずれが生じる場合でも、原画
像に忠実な補間画素を生成しうる。

【図面の簡単な説明】

【図１】カラー撮像装置の構成を示すブロック図であ
る。

【図２】フィルタ２の透過色成分の分布を示す平面図で
ある。

【図３】２次元イメージセンサ３で撮影される、２次元
画像２０を構成する各画素の色成分の分布を示す斜視図
である。

【図４】撮影された２次元画像２０を色成分毎に分解し
て示す平面図である。

【図５】図４の各色成分の画像データに補間画素を加え
た状態を示す平面図である。

【図６】Ｇ色の補間画素を生成する際に参照される画素
を示す平面図である。

【図７】縦方向のエッジを検出するために参照される画
素と検出条件を示す平面図である。

【図８】横方向のエッジを検出するために参照される画
素と検出条件を示す平面図である。

【図９】Ｒ，Ｂ色の補間画素の生成条件の例を示す平面
図である。

【図１０】画像処理回路８が実行する補間処理の内容を
示すフローチャートである。

【図１１】図１０のステップＳ６の内容を示すフローチ
ャートである。

【図１２】図１１のステップＳ１１の内容を示すフロー
チャートである。

【図１３】エッジを検出する際に参照する画素を示す平
面図である。

【図１４】第２の実施の形態において、エッジ検出のた
めに対比される参照画素の組み合わせを示す平面図であ
る。

【図１５】第３の実施の形態において、エッジ検出のた
めに対比される参照画素の組み合わせを示す平面図であ
る。

【図１６】第４の実施の形態において処理される、二次
元画像の画素配列を示す平面図である。

【符号の説明】

１撮影レンズ２フィルタ３２次元イメージセンサ４Ａ／Ｄ変換器５，６，７画像メモリ８画像処理回路９ＲＯＭ１０ＲＡＭ１１インタフェース回路１２画像表示装置１３外部記憶装置１４，１５バス１６撮像制御回路２０２次元画像

Claims

【特許請求の範囲】

【請求項１】２次元画素配列に対して、画像色の第１
色成分の画素が、縦方向及び横方向に１画素おきに配置
され、画像色の第２色成分の画素及び第３色成分の画素
が、それぞれ、残りの位置に均等に配置された画像デー
タを入力し、各画素位置に、前記第１色成分，第２色成
分及び第３色成分の何れかの画素が存在しない場合に、
存在しない画素を生成して補間する画像処理方法におい
て、前記第１色成分の画素が存在しない注目位置に、補間画
素を生成する場合に、前記注目画素の上下もしくは左右
に隣接する位置に存在する第１色成分の一次参照画素
と、該一次参照画素の周囲に存在する第１色成分の二次
参照画素との大小関係を調べて、画像エッジ成分の有無
を識別し、画像エッジ成分を検出した場合には、前記注
目画素の上下及び左右に隣接する位置に存在する第１色
成分の基準画素に基づいて補間画素を生成するととも
に、前記注目画素の上下の基準画素に対する重み係数と
前記注目画素の左右の基準画素に対する重み係数とを互
いに異なる値に定めることを特徴とする画像処理方法。
【請求項２】請求項１記載の画像処理方法において、
画像エッジ成分を検出した場合には、前記注目画素の上
下及び左右に隣接する位置に存在する第１色成分の基準
画素に基づいて補間画素を生成するとともに、前記基準
画素のうち、検出されたエッジ上の基準画素の重み係数
を、それ以外の基準画素の重み係数よりも大きく定め、
かつ前記基準画素に対する重み係数の総和が１になるよ
うに正規化したことを特徴とする画像処理方法。
【請求項３】請求項１記載の画像処理方法において、
画像エッジ成分を検出した場合には、前記注目画素の上
下及び左右に隣接する位置に存在する第１色成分の基準
画素のうち、検出されたエッジ上に位置する２つの基準
画素に基づいて補間画素を生成し、前記エッジ上に存在
しない基準画素に対する重み係数を０にすることを特徴
とする画像処理方法。
【請求項４】請求項１記載の画像処理方法において、
前記注目画素の上下もしくは左右に隣接する位置に存在
する第１色成分の２つの一次参照画素のそれぞれを、該
一次参照画素の周囲に存在する第１色成分の４つの二次
参照画素と比較し、これら全ての比較結果が予め定めた
条件を満たす場合に、画像エッジ成分を検出することを
特徴とする画像処理方法。
【請求項５】２次元画素配列に対して、画像色の第１
色成分の画素が、縦方向及び横方向に１画素おきに配置
され、画像色の第２色成分の画素及び第３色成分の画素
が、それぞれ、残りの位置に均等に配置された画像デー
タを入力し、各画素位置に、前記第１色成分，第２色成
分及び第３色成分の何れかの画素が存在しない場合に、
存在しない画素を生成して補間する画像処理装置におい
て、前記第１色成分の画素が存在しない注目位置に、補間画
素を生成する場合に、前記注目画素の上下もしくは左右
に隣接する位置に存在する第１色成分の一次参照画素
と、該一次参照画素の周囲に存在する第１色成分の二次
参照画素との大小関係を調べて、画像エッジ成分の有無
を識別し、画像エッジ成分を検出した場合には、前記注
目画素の上下及び左右に隣接する位置に存在する第１色
成分の画素に基づいて補間画素を生成するとともに、前
記注目画素の上下の画素に対する重み係数と前記注目画
素の左右の画素に対する重み係数とを互いに異なる値に
定める、補間制御手段を設けたことを特徴とする画像処
理装置。
【請求項６】２次元画素配列に対して、画像色の第１
色成分の画素が、縦方向及び横方向に１画素おきに配置
され、画像色の第２色成分の画素及び第３色成分の画素
が、それぞれ、残りの位置に均等に配置された画像デー
タを入力し、各画素位置に、前記第１色成分，第２色成
分及び第３色成分の何れかの画素が存在しない場合に、
存在しない画素を生成して補間する処理を、コンピュー
タが実行するための、画像処理プログラムを記録した記
録媒体であって、該画像処理プログラムによって、コンピュータが、前記第１色成分の画素が存在しない注目位置に、補間画
素を生成する場合に、前記注目画素の上下もしくは左右
に隣接する位置に存在する第１色成分の一次参照画素
と、該一次参照画素の周囲に存在する第１色成分の二次
参照画素との大小関係を調べて、画像エッジ成分の有無
を識別し、画像エッジ成分を検出した場合には、前記注
目画素の上下及び左右に隣接する位置に存在する第１色
成分の画素に基づいて補間画素を生成するとともに、前
記注目画素の上下の画素に対する重み係数と前記注目画
素の左右の画素に対する重み係数とを互いに異なる値に
定めることを特徴とする画像処理プログラムを記録した
記録媒体。