JP3711401B2 - 撮像装置及びカラー撮像信号の処理方法 - Google Patents
撮像装置及びカラー撮像信号の処理方法 Download PDFInfo
- Publication number
- JP3711401B2 JP3711401B2 JP08314799A JP8314799A JP3711401B2 JP 3711401 B2 JP3711401 B2 JP 3711401B2 JP 08314799 A JP08314799 A JP 08314799A JP 8314799 A JP8314799 A JP 8314799A JP 3711401 B2 JP3711401 B2 JP 3711401B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image signal
- value
- pixels
- missing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置及びカラー撮像信号の処理方法に関し、詳しくは、単板式のカラー撮像デバイスを備えた撮像装置及びカラー撮像信号の処理方法に関する。
【０００２】
【従来の技術】
多数の光電変換素子を２次元に配列し、被写体からの光に応じた画像信号を出力する、例えば、ＣＣＤ（Charge Coupled Device）に代表される撮像デバイスは、そのままでは色情報を含む画像信号を出力できない。光電変換素子が単に光の明暗の強度に対応した信号しか発生しないからである。
【０００３】
色情報を得るために、３個の撮像デバイスを用い、その各々に赤、緑、青の色フィルタを装着して、それぞれの撮像デバイスから赤色、緑色、青色の画像信号を取り出すようにした３板式のカラー撮像デバイスが知られている。この撮像デバイスは専ら色再現性を重視するスタジオ用テレビカメラなどに用いられているが、家庭用のビデオカメラや普及型の電子カメラなどにあっては、サイズや重さ及び電力消費の点から１個の撮像デバイスとモザイク状の色フィルタとを組み合わせた単板式のカラー撮像デバイスが用いられている。
【０００４】
図１２は、ｎ列×ｍ行の画素を有するＣＣＤの構成図である。ＣＣＤ１は、入射光量に応じた電荷を蓄積するｎ×ｍ個の光電変換素子２をマトリクス状に２次元配列するとともに、各列間に１本ずつ、全部でｎ本の垂直転送部３を配置して撮像領域４を形成し、さらに、撮像領域４の図面に向かって下側に水平転送部５を配置して構成する。
【０００５】
光電変換素子２に蓄積された信号電荷は、読み出し信号（不図示）に応答して隣接する垂直転送部３に取り込まれ、垂直転送部３の内部を垂直転送クロック（不図示）に同期して図面の下方向に順次転送される。
【０００６】
すべての垂直転送部３の出力端は水平転送部５に接続されており、水平転送部５には、垂直転送クロックに同期して１ライン分の信号電荷が順次に取り込まれる。水平転送部５に取り込まれた信号電荷は、水平転送クロック（不図示）に同期して図面の左方向に順次転送され、水平転送部５の出力端に到達した信号電荷は、同端に設けられた電荷検出部６で電気信号に変換され、アンプ７で増幅された後、端子８からＣＣＤ出力として外部に取り出される。
【０００７】
ここで、光電変換素子２の水平方向の並び（走査線又はライン）にそれぞれＯ１、Ｅ１、Ｏ２、Ｅ２、Ｏ３、Ｅ３、・・・・の便宜的な符号を付すことにする。但し、Ｏは奇数の略、Ｅは偶数の略である。Ｏ１、Ｏ２、Ｏ３で奇数ラインを、Ｅ１、Ｅ２、Ｅ３で偶数ラインを示すものとする。
【０００８】
インターレース型のＣＣＤは、フィールド読み出し（フィールド蓄積ともいう）と、フレーム読み出し（フレーム蓄積ともいう）の二つのモードを外部から切替えることができる。フィールド読み出しではＣＣＤ出力がＯ１＋Ｅ１、Ｏ２＋Ｅ２、Ｏ３＋Ｅ３、・・・・の順番になる。
【０００９】
一方、フレーム読み出しでは、奇数フレームと偶数フレームの２回に分けてＣＣＤ出力を取り出す。すなわち、奇数フレームではＣＣＤ出力がＯ１、Ｏ２、Ｏ３、・・・・の順番になり、偶数フレームではＣＣＤ出力がＥ１、Ｅ２、Ｅ３、・・・・の順番になる。
【００１０】
図１３は、ＣＣＤ１と色フィルタ９を示す図である。ＣＣＤ１の桝目は各々１個の光電変換素子２を含む画素であり、各画素は色フィルタ９の桝目と一対一に対応している。色フィルタ９の桝目はそれぞれ特定の色を有しており、色の選び方や配列の仕方によって様々なタイプのものが使用されている。
【００１１】
図１４は、B.E.Bayer によって考え出されたベイヤー方式（又は緑市松方式）と呼ばれる色フィルタの原理図である。この方式は、色信号と輝度信号のＳ／Ｎバランスがよく、被写体の明るさに依存せずに良好な色再現性が得られることから、広く用いられている方式である。
【００１２】
図１４において、Ｙは輝度情報を得るためのフィルタ、Ｃ1、Ｃ2は色情報を得るためのフィルタである。Ｙフィルタを市松状に配置するとともに、奇数ラインの隙間にＣ1フィルタを配置し、偶数ラインの隙間にＣ2ラインを配置する。なお、Ｙフィルタを多く配置する理由は、人間の視覚上、色情報よりも輝度情報の方が画像の解像度や輪郭のシャープさをよく知覚するからである。
【００１３】
図１５は、実際の色フィルタの構成図であり、Ｒは赤色のフィルタ、Ｇは緑色のフィルタ、Ｂは青色のフィルタである。赤（Ｒ）、緑（Ｇ）、青（Ｂ）は光の三原色であり、特に、緑色は被写体の明るさをよく表すから、Ｇフィルタは輝度情報を得るためのフィルタとしても用いられる。すなわち、Ｇフィルタは図１４のＹフィルタに相当し、ＲフィルタとＢフィルタは図１４のＣ1、Ｃ2フィルタに相当する。
【００１４】
なお、インターレース型のＣＣＤの場合、色フィルタは図１６に示すように奇数ラインと偶数ラインで同一の配列になるが、フィールド読み出しやフレーム読み出しに関わらず、読み出された画素の配列に着目すれば、図１５の配列（ベイヤー方式に則った色情報の並び）とまったく同じである。すなわち、フィールド読み出しではＯ１＋Ｅ１、Ｏ２＋Ｅ２、Ｏ３＋Ｅ３の２ライン合成読み出しとなり、一方、フレーム読み出しではＯ１、Ｏ２、Ｏ３、・・・、Ｅ１、Ｅ２、Ｅ３の飛び越しライン読み出しとなるが、何れの読み出しでも、Ｇ／ＲラインとＢ／Ｇラインを順次に読み出す点で同一である。
【００１５】
したがって、本明細書では特に断りのない限り、図１５に示すベイヤー方式の配列でＣＣＤの画素や色フィルタの配列を説明することにする。
【００１６】
既述のとおり、ベイヤー方式の色フィルタはＧフィルタを市松状に配列して構成する。図１７は、Ｇフィルタだけを抜き出したフィルタの構成図である。この図はＧ画素信号の並びを示す図でもあり、市松状に配列するＧ画素信号は、縦横各々一つの情報欠落画素を間に挟んでいる。
【００１７】
ここで、Ｇ画素信号は輝度情報を含み、輝度情報は画像の解像度や輪郭のシャープさに影響を与えるから、上記情報欠落画素に何らかの情報を与える必要があり、以下の二つの情報補間が行われていた。
【００１８】
・周囲画素の平均値による補間法
今、図１８に示すようなＧ画素信号の配列モデルを想定する。図において、桝目の一つ一つは画素であり、画素内の数値は画素信号の大きさを示し、ハッチングは情報欠落画素を示している。但し、画素信号は「２５５」〜「０」までの値を取り得るものとし、且つ、図１９に示すように「２５５」を白レベル、「０」を黒レベルとする。なお、図１９ではγ補正を考慮していない。また、以下では、各々の画素を（ｉ，ｊ）の座標で表すことにし、ｉ及びｊの最小値を「０」、ｉの最大値ｉMAX及びｊの最大値ｊMAXを便宜的に「９」とする。
【００１９】
図２０は、周囲画素の平均値による補間法の処理手順図である。この処理手順は、要するに、二つの座標変数ｉ、ｊの値を変化させながら水平方向と垂直方向に点順次の画素走査を行い（Ｓ１、Ｓ３〜Ｓ７）、各走査位置（ｉ，ｊ）の画素が情報欠落画素である場合に（Ｓ２のＹＥＳ判定）、当該情報欠落画素（ｉ，ｊ）の上下左右に位置する四つの隣接画素（図２１（ａ）参照）の画素信号を変数ＧN、ＧW、ＧS、ＧEにセットし（Ｓ８）、その画素信号を用いて、次式（１）により、周囲画素の平均値に相当する補間情報ＧXを演算（Ｓ９）して当該情報欠落画素（ｉ，ｊ）にその補間情報ＧXをセット（Ｓ１０）するというものである。
【００２０】
ＧX＝（ＧN＋ＧW＋ＧS＋ＧE）／４ ・・・・（１）
図２２は、かかる補間法を用いて図１８の情報欠落画素を補間した図であり、ハッチングで示す情報欠落画素に「２５５」、「１９１」、「６３」又は「０」の画素値がセットされている。
【００２１】
例えば、太線内のハッチング画素には画素値「１９１」がセットされているが、この画素値を検証すると、同ハッチング画素の上に位置する隣接画素の値ＧNは「２５５」、右に位置する隣接画素の値ＧWは「０」、下に位置する隣接画素の値ＧSは「２５５」、左に位置する隣接画素の値ＧEは「２５５」であるから、これらのＧN、ＧW、ＧS及びＧEを上式（１）に代入することによって、ＧXは１９１．２５となり、小数点以下を丸めて図示の画素値「１９１」が得られる。
【００２２】
しかしながら、周囲画素の平均値による補間法にあっては、画像内に明暗のはっきりした境界がある場合、その境界線に凹凸（キザキザ）を生じるという問題点を有している。
【００２３】
図２３は、その説明図であり、図２２の画素値を模式的な明暗模様で表した図である。すなわち、白抜き部分は画素値「２５５」に対応し、単純ハッチング部分（実際には薄いグレー）は画素値「１９１」に対応し、クロスハッチング部分（実際には濃いグレー）は画素値「６３」に対応し、黒ベタ部分は画素値「０」に対応している。
【００２４】
図面からも理解されるように、元々は破線で示す境界線より右側が黒色、左側が白色なのに、境界線を挟んで薄いグレーの画素と濃いグレーの画素が交互に生じ、あたかも境界線に凹凸（ギザギザ）があるが如き錯覚を招き、画像の再現性を阻害する。
【００２５】
・ＬＰＦによる補間法（低域成分の抽出処理ともいう）
図２４は、ＬＰＦ（ローパスフィルタ）による補間法の処理手順図である。この処理手順も、二つの座標変数ｉ、ｊの値を変化させながら水平方向と垂直方向に点順次の画素走査を行う（Ｓ２０、Ｓ２４〜Ｓ２８）点で、上述の補間法（周囲画素の平均値による補間法）と一致するが、各走査位置（ｉ，ｊ）ごとに、（ｉ，ｊ）を含む３×３個の画素に対する、画素データ取得処理（Ｓ２１）、重み付け係数セット処理（Ｓ２２）及びＧX演算処理（Ｓ２３）を行う点で相違する。なお、３×３個の画素配列や各画素に対応する画素値格納変数と重み付け係数の位置関係は、それぞれ図３０（ａ）〜（ｃ）を参照することにする。すなわち、図３０（ａ）は３×３個の画素配列図、図３０（ｂ）は各画素に対応する画素値格納変数の配列図、図３０（ｃ）は各画素に対応する重み付け係数の配列図である。
【００２６】
画素データ取得処理の実際は、図２５及び図２６に示すとおりである。この処理では、図３０（ａ）の３×３個の画素配列を左上、上、右上、右、右下、下、左下、左、中央の順に巡回しつつ、各巡回位置の画素が情報欠落画素であるか否かを判定し、情報欠落画素でない場合は、その画素値を同位置の画素値格納変数にセットする一方、情報欠落画素である場合は、同位置の画素値格納変数に「０」をセットする動作を繰り返す。
【００２７】
代表して左上の画素に対する動作を説明すると、（ｉ−１、ｊ−１）の画素が情報欠落画素であるか否かを判定し（Ｓ２１＿１）、情報欠落画素でない場合は、その画素（ｉ−１、ｊ−１）の値を同位置の画素値格納変数ＧNEにセット（Ｓ２１＿２）する一方、情報欠落画素である場合は、同画素情報格納変数ＧNEに「０」をセット（Ｓ２１＿３）する。
【００２８】
今、便宜的に３×３個の画素配列の状態を、次表１のとおりと考える。
【００２９】
【表１】
【００３０】
次表２は、表１に従って画素データ取得処理を実行し、その結果得られた画素値格納変数の値を一緒にまとめた表である。
【００３１】
【表２】
【００３２】
重み付け係数セット処理の実際は、図２７及び図２８に示すとおりである。この処理では、画素データ取得処理と同様に、図３０（ａ）の３×３個の画素配列を左上、上、右上、右、右下、下、左下、左、中央の順に巡回しつつ、各巡回位置の画素が情報欠落画素であるか否かを判定し、情報欠落画素でない場合は、同位置の重み付け係数に「１」、「２」又は「４」をセット（※）する一方、情報欠落画素である場合は、同位置の重み付け係数に「０」をセットする動作を繰り返し、最後にすべての重み付け係数の加算値ΣＫを演算する（Ｓ２２＿２８）。※但し、左上、右上、右下及び左下の重み付け係数ＫNE、ＫNW、ＫSW、ＫSEについては「１」をセットし、上下左右の重み付け係数ＫN、ＫW、ＫS、ＫEについては「２」をセットし、中央の重み付け係数ＫXについては「４」をセットする。なお、これらの定数（「１」、「２」及び「４」）は、便宜値である。中央の画素値に対する影響の大きさに応じて適当に選定すればよい。
【００３３】
代表して左上の画素に対する動作を説明すると、（ｉ−１、ｊ−１）の画素が情報欠落画素であるか否かを判定し（Ｓ２２＿１）、情報欠落画素でない場合は、同位置の重み付け係数ＫNEに「１」をセット（Ｓ２２＿２）する一方、情報欠落画素である場合は、同重み付け係数ＫNEに「０」をセット（Ｓ２２＿３）する。
【００３４】
次表３は、前表１に従って重み付け係数セット処理を実行し、その結果得られた重み付け係数をまとめた表である。
【００３５】
【表３】
【００３６】
表３によれば、重み付け係数の加算値ΣＫは、
になる。
【００３７】
ＧX演算処理の実際は、図２９に示すとおりである。この処理では、上記の画素データ取得処理及び重み付け係数セット処理の処理結果を用いて、注目画素（ｉ，ｊ）の画素補間値ＧXを演算する。図２９において、ＧNE、ＧN、ＧNW、ＧW、ＧSW、ＧS、ＧSE、ＧE及びＧXは、画素データ取得処理で得られた画素値格納変数であり、また、ＫNE、ＫN、ＫNW、ＫW、ＫSW、ＫS、ＫSE、ＫE及びＫXは、重み付け係数セット処理で得られた重み付け係数である。
【００３８】
ＧX演算処理の実際では、まず、位置を同じくする画素値格納変数と重み付け係数を乗じて、その結果で当該画素値格納変数を更新する（Ｓ２３＿１）。例えば、左上の画素に着目すると、ＧNEにＫNEを乗じ、その答えでＧNEを更新する。
【００３９】
すべての画素値格納変数の更新を完了すると、次に、更新済みの画素値格納変数を加算して積算画素値ΣＧを演算する（Ｓ２３＿２）。そして、そのΣＧを重み付け係数セット処理で演算したΣＫで除し、その答えをＧXとする（Ｓ２３＿３）。
【００４０】
今、ＧNE、ＧN、ＧNW、ＧW、ＧSW、ＧS、ＧSE、ＧE及びＧXの値を前表２に示すとおりとし、また、ＫNE、ＫN、ＫNW、ＫW、ＫSW、ＫS、ＫSE、ＫE及びＫXの値を前表３に示すとおりとすると、Ｓ２３＿１の結果は、
となり、ΣＧは、
となる。また、ΣＫは先にも説明したとおり、ΣＫ＝８であるから、結局、注目画素（ｉ，ｊ）の補間値ＧXは、
ＧX＝ΣＧ／ΣＫ＝１５３０／８＝１９１．２５ ・・・・（５）
となり、小数点以下を丸めて「１９１」になる。
【００４１】
図３１は、ＬＰＦによる補間法を用いて図１８の情報欠落画素を補間した図であり、ハッチングで示す情報欠落画素に「２５５」、「１９１」、「６３」又は「０」の画素値がセットされている。
【００４２】
しかしながら、この補間法は、前述の周辺画素による補間法と違って情報欠落画素以外の画素値も操作するため、図３１と図１８を見比べると、情報欠落画素以外の幾つかの画素（正確には破線で示す白レベルと黒レベルの境界線に接した情報欠落画素以外の画素）の値が変化するという欠点を持っている。すなわち、境界線の左側に位置する幾つかの画素が「２５５」から「１９１」へと変化するとともに、境界線の右側に位置する幾つかの画素も「０」から「６３」へと変化している。これは、画像信号の高域成分を省いて低域成分だけを抽出しているからであり、いわゆる、波形の“なまり”に似た信号処理を施していることに相当するからである。
【００４３】
このため、かかるＬＰＦによる補間法にあっては、画像内に明暗のはっきりした境界がある場合、その境界線がぼやけてしまうという問題点を有している。
【００４４】
図３２は、その説明図であり、図３１の画素値を模式的な明暗模様で表した図である。すなわち、白抜き部分は画素値「２５５」に対応し、単純ハッチング部分（実際には薄いグレー）は画素値「１９１」に対応し、クロスハッチング部分（実際には濃いグレー）は画素値「６３」に対応し、黒ベタ部分は画素値「０」に対応している。
【００４５】
図面からも理解されるように、元々は破線で示す境界線より右側が黒色、左側が白色なのに、境界線を挟んで薄いグレーの縦帯と濃いグレーの縦帯が生じる結果、境界線がぼやけて画像の再現性を阻害するという問題点がある。
【００４６】
【発明が解決しようとする課題】
以上のとおり、従来の二つの補間法にあっては、何れも画像の再現性という点で未だ不十分であり、解決すべき技術課題がある。
【００４７】
そこで、本発明は、明暗のはっきりした境界部分を持つ画像の再現性を向上することを目的とする。
【００４８】
【課題を解決するための手段】
請求項１記載の発明は、単板式のカラー撮像デバイスによって各色成分毎に所定の画素が欠落した形で撮像された画像信号の欠落画素を隣接画素の状態に応じて補間する機能を備えた撮像装置であって、欠落画素を含む所定の色成分の画像信号である元画像信号を保持する保持手段と、前記保持手段に保持された前記元画像信号の低域成分を抽出して低域画像信号を生成する生成手段と、前記生成手段により生成された前記低域画像信号に基づいて、各画素とその周囲の隣接画素との相関性を評価する評価手段と、前記評価手段の評価結果を用いて前記保持手段に保持された前記元画像信号の欠落画素を補間する補間手段と、を備えたことを特徴とする。
【００４９】
又は、請求項２記載の発明は、請求項１記載の発明において、前記補間手段は、前記評価手段の評価結果に応じた重み付け係数を隣接画素に対して割り当て、隣接画素に対して割り当てられた重み付け係数を前記保持手段に保持された前記元画像信号の隣接画素に適用して該隣接画素の平均値を演算する演算手段を備え、前記演算手段の演算結果を用いて前記保持手段に保持された前記元画像信号の欠落画素を補間することを特徴とする。又は、請求項３記載の発明は、請求項２記載の発明において、前記演算手段は、相関性の低い隣接画素に対しては小さな重み付け係数を割り当てる一方、相関性の高い隣接画素に対しては大きな重み付け係数を割り当てることを特徴とする。又は、請求項４記載の発明は、請求項１記載の発明において、前記隣接画素は、注目画素と同一位置の１ライン前の画素、注目画素と同一ラインの隣り合う画素又は注目画素と同一位置の１ライン後の画素の何れか若しくはすべてであることを特徴とする。又は、請求項５記載の発明は、単板式のカラー撮像デバイスによって各色成分毎に所定の画素が欠落した形で撮像された画像信号の欠落画素を隣接画素の状態に応じて補間するカラー撮像信号の処理方法であって、欠落画素を含む所定の色成分の画像信号である元画像信号を保持する第１ステップと、その保持された前記元画像信号の低域成分を抽出して低域画像信号を生成する第２ステップと、その生成された前記低域画像信号に基づいて、各画素とその周囲の隣接画素との相関性を評価する第３ステップと、その評価結果を用いて前記保持された前記元画像信号の欠落画素を補間する第４ステップと、を含むことを特徴とする。
【００５０】
【発明の実施形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００５１】
図１は、本発明の実施形態の全体構成図である。図１において、撮像面にモザイク状の色フィルタが装着された、例えば、ＣＣＤで構成される撮像デバイス１０は単板式のカラー撮像デバイスであり、不図示の光学系を介して入力された被写体像に対応する電気信号に変換して出力する。撮像デバイス１０の駆動制御は駆動回路１１によって行われ、撮像デバイス１０から出力された電気的な画像信号はＡ／Ｄ変換器１２によりディジタル信号に変換された後、メモリコントローラ１３の制御の下でメモリ部１４（保持手段）の画像メモリ１５に記憶される。
【００５２】
メモリ部１４はさらに赤色専用メモリ（以下、Ｒ用メモリ）１６、緑色専用メモリ（以下、Ｇ用メモリ）１７、青色専用メモリ（以下、Ｂ用メモリ）１８及び作業用メモリ１９を含み、これらのメモリ１６〜１９の入出力はＣＰＵ２０によって制御される。
【００５３】
すなわち、ＣＰＵ２０は、生成手段、評価手段、演算手段及び補間手段として機能し、プログラムＲＯＭ２１にあらかじめ格納された処理プログラムに従って、冒頭で説明した二つの補完法（周囲画素の平均値による補間法及びＬＰＦによる補間法）の組合わせによる所定の補間処理を実行し、画像メモリ１５、Ｒ用メモリ１６、Ｇ用メモリ１７、Ｂ用メモリ１８及び作業用メモリ１９の間のデータ入出力を制御しつつ、Ｒ用メモリ１６、Ｇ用メモリ１７及びＢ用メモリ１８に展開されたＲ、Ｇ及びＢの各原色画像の情報欠落画素を補間するとともに、以下に説明する工夫により、前記二つの補間法の欠点を解消し、特に明暗のはっきりした境界部分を持つ画像の再現性を向上して、表示、通信又は印刷を含むあらゆる画像処理装置に対して良好な画質のカラー画像を提供する。
【００５４】
なお、データＲＯＭ２２は色フィルタの画素配置情報を保持しており、この情報はＣＰＵ２０からのアクセスで適宜に利用される。
【００５５】
図２は、ＣＰＵ２０で実行される本実施形態の補間処理の処理手順図である。この処理では、まず、Ｒ用メモリ１６、Ｇ用メモリ１７及びＢ用メモリ１８に展開された各原色画像を作業用メモリ１９にコピーし、そのコピー画像に対して、従来例と同様なＬＰＦによる補間処理を実行（Ｓ３０）する。
【００５６】
そして、同補間処理を施した画像（以下、ＬＰＦ画像と言う；発明の要旨に記載の低域画像信号に相当）に対して、二つの座標変数ｉ、ｊの値を変化させながら水平方向と垂直方向に点順次の画素走査を行いつつ（Ｓ３１、Ｓ３６〜Ｓ４０）、各走査位置（ｉ，ｊ）の画素とその上下左右の四つの画素（ｉ，ｊ−１）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）、（ｉ−１，ｊ）について、以下に説明する「相関値演算処理（Ｓ３２）」、「重み付け係数演算処理（Ｓ３３）」及び「ＧX演算処理（Ｓ３４）」を実行し、ＧX演算処理の結果（補間値ＧX）で注目画素（ｉ，ｊ）の画素値を補間する。
【００５７】
なお、図３は、注目画素を含む各画素の配列と、各画素に対応する画素値格納変数ＧＬN、ＧＬW、ＧＬS、ＧＬEの配列図である。
【００５８】
・相関値演算処理
相関値演算処理の実際は、図４に示すとおりである。この処理では、注目画素（ｉ，ｊ）に隣接する上下左右四つの画素の各々に対応する相関値変数ＣN、ＣW、ＣS、ＣEに、注目画素の画素値に対する各対応画素の画素値の差（の絶対値）をセットする。例えば、注目画素（ｉ，ｊ）の上に位置する画素（ｉ，ｊ−１）で説明すると、この場合は、注目画素（ｉ，ｊ）の画素値ＧＬXと、対象画素（ｉ，ｊ−１）の画素値ＧＬNの差の絶対値（｜ＧＬX−ＧＬN｜）を演算し、その演算結果を相関値変数ＣNにセットする（Ｓ３２＿１）。そして、すべての相関値変数ＣN、ＣW、ＣS、ＣEに対する値のセットを完了すると、次式（６）により、相関積算値ΣＣを演算する（Ｓ３２＿５）。
【００５９】
ΣＣ＝ＣN＋ＣW＋ＣS＋ＣE ・・・・（６）
相関値変数ＣN、ＣW、ＣS、ＣE、例えば、ＣNの値が大きい場合は注目画素（ｉ，ｊ）と対象画素（ｉ，ｊ−１）の画素値の間の相関性が低く、逆にＣNの値が小さい場合は相関性が高いことを表す。かかる相関性は隣接画素間における明暗又は色の類似性の度合いに対応するから、相関性の低い画素同士は各々境界線（又は輪郭線）によって隔てられた異なる画像に属するとみなすことができ、一方、相関性の高い画素同士は同一の画像に属するとみなすことができる。
【００６０】
・重み付け係数演算処理
重み付け係数演算処理の実際は、図５に示すとおりである。この処理では、次の二つの並べ替え（ソート）処理を実行する。
【００６１】
第一の並べ替え処理（Ｓ３３＿１）では、相関値演算処理でセットしたすべての相関値変数ＣN、ＣW、ＣS、ＣEについて、昇順の並べ替え（値の小さい順からの並べ替え）を行い、並べ替え後のＣN、ＣW、ＣS、ＣEを値の小さい順から昇順変数ＡＳＣ0、ＡＳＣ1、ＡＳＣ2、ＡＳＣ3にセットする。例えば、並べ替え後のＣN、ＣW、ＣS、ＣEの順位をＣN＜ＣW＜ＣS＜ＣEとすると、以下のとおりのセットが行われる。
【００６２】
【００６３】
なお、並べ替え後のＣN、ＣW、ＣS、ＣEに同じ値が含まれる場合、例えば、ＣN＝ＣW＜ＣS＜ＣEのような場合は、上式（７）のようにセットしてもよく、あるいは、
のようにセット（ＣNとＣWが入れ替わっている）してもよい。
【００６４】
次に、第二の並べ替え処理（Ｓ３３＿２）では、相関値演算処理でセットしたすべての相関値変数ＣN、ＣW、ＣS、ＣEについて、降順の並べ替え（値の大きい順からの並べ替え）を行い、並べ替え後のＣN、ＣW、ＣS、ＣEに対応する座標位置の画素値（但し、ＬＰＦによる補間処理を行う前の画素値）ＧN、ＧW、ＧS、ＧEを、相関値変数ＣN、ＣW、ＣS、ＣEの値の大きい順から降順変数ＤＥＳＣ0、ＤＥＳＣ1、ＤＥＳＣ2、ＤＥＳＣ3にセットする。例えば、並べ替え後のＣN、ＣW、ＣS、ＣEの順位をＣN＜ＣW＜ＣS＜ＣEとすると、以下のとおりのセットが行われる。
【００６５】
【００６６】
なお、第一の並べ替え処理と同様に、並べ替え後のＣN、ＣW、ＣS、ＣEに同じ値が含まれる場合、例えば、ＣN＝ＣW＜ＣS＜ＣEのような場合は、上式（９）のようにセットしてもよく、あるいは、
のようにセット（ＣNとＣWが入れ替わっている）してもよい。
【００６７】
・ＧX演算処理
ＧX演算処理の実際は、図６に示すとおりである。この処理では、重み付け係数演算処理の演算結果を用いて、次式（１１）及び次式（１２）により、注目画素（ｉ，ｊ）の補間値ＧXを演算する（Ｓ３４＿１、Ｓ３４＿２）。
【００６８】
【００６９】
ここで、図７（ａ）に示す画素値モデルを例にして、本実施形態の補間処理を具体的に説明する。図７（ａ）において、ハッチング部分は情報欠落画素であり、破線枠内中央の情報欠落画素を注目画素（ｉ，ｊ）とすると、その上下左右に位置する隣接画素（ｉ，ｊ−１）、（ｉ＋１，ｊ）（ｉ，ｊ＋１）、（ｉ−１，ｊ）の画素値は、例えば、それぞれ「２５５」と「０」であり、左上、右上、右下及び左下の各画素（ｉ−１，ｊ−１）、（ｉ＋１，ｊ−１）（ｉ＋１，ｊ＋１）、（ｉ−１，ｊ＋１）は情報欠落画素である。
【００７０】
まず、かかる注目画素を含む３×３個の画素配列に対してＬＰＦ処理（ＬＰＦによる補間処理）を施す。ＬＰＦ処理は、先にも述べたとおり、従来技術と同等の処理であるから、図７（ａ）の破線枠内３×３個の画素配列は、次表４のようになる。
【００７１】
【表４】
【００７２】
次表５は、表４に従って、画素データ取得処理（図２４のステップＳ２１又は図２５及び図２６参照）を実行し、その結果得られた画素値格納変数の値を一緒にまとめた表である。
【００７３】
【表５】
【００７４】
次表６は、前表４に従って重み付け係数セット処理（図２４のステップＳ２２又は図２７及び図２８参照）を実行し、その結果得られた重み付け係数をまとめた表である。
【００７５】
【表６】
【００７６】
表６によれば、重み付け係数の加算値ΣＫは、
になる。
【００７７】
したがって、ＧX演算処理（図２４のステップＳ２３又は図２９参照）で、
となり、ΣＧは、
となる。また、ΣＫは先にも説明したとおり、ΣＫ＝８であるから、結局、注目画素（ｉ，ｊ）の補間値ＧXは、
ＧX＝ΣＧ／ΣＫ＝１５３０／８＝１９１．２５ ・・・・（１６）
となり、小数点以下を丸めて「１９１」になる。
【００７８】
図７（ｂ）は、ＬＰＦによる補間法を用いて図７（ｂ）の情報欠落画素（注目画素）を補間した図であり、中央の注目画素に「１９１」の画素値ＧＬXがセットされている。なお、図７（ｂ）において、注目画素の上下に位置する画素値ＧＬN、ＧＬSが「２５５」から「１９１」に変化し、また、注目画素の右に位置する画素値ＧＬWが「０」から「６３１」に変化しているが、これは、冒頭でも説明したように、ＬＰＦによる補間処理では３×３個の画素のすべてに対してＬＰＦ処理を施すからである。
【００７９】
図７（ｂ）の画素配列（ＬＰＦ処理後の画素配列）を生成すると、各画素を巡回しながら、図２の「相関値演算処理」、「重み付け係数演算処理」及び「ＧX演算処理」を順次に実行する。
【００８０】
まず、「相関値演算処理」で、注目画素（ｉ，ｊ）に隣接する上下左右四つの画素の各々に対応する相関値変数ＣN、ＣW、ＣS、ＣEに、注目画素の画素値ＧＬXに対する各対応画素の画素値ＧＬN、ＧＬW、ＧＬS、ＧＬEの差（の絶対値）をセットする。すなわち、図７（ｂ）において、ＬＰＦ処理後の各画素値ＧＬX、ＧＬN、ＧＬW、ＧＬS、ＧＬEは、
ＧＬN＝１９１
ＧＬW＝６３
ＧＬS＝１９１
ＧＬE＝２５５
ＧＬX＝１９１ ・・・・（１７）
であるから、各々の相関値変数ＣN、ＣW、ＣS、ＣEには、次式（１８）の値がセットされ、さらに次式（１９）により、相関積算値ΣＣが演算される。
【００８１】
【００８２】
次に、「重み付け係数演算処理」で、相関値変数ＣN、ＣW、ＣS、ＣEを昇順の並べ替え、並べ替え後のＣN、ＣW、ＣS、ＣEを値の小さい順から昇順変数ＡＳＣ0、ＡＳＣ1、ＡＳＣ2、ＡＳＣ3にセットし、さらに、相関値変数ＣN、ＣW、ＣS、ＣEを降順の並べ替え、並べ替え後のＣN、ＣW、ＣS、ＣEに対応する座標位置の画素値（但し、ＬＰＦによる補間処理を行う前の画素値）ＧN、ＧW、ＧS、ＧEを、相関値変数ＣN、ＣW、ＣS、ＣEの値の大きい順から降順変数ＤＥＳＣ0、ＤＥＳＣ1、ＤＥＳＣ2、ＤＥＳＣ3にセットする。
【００８３】
ここで、ＣNは「０」、ＣWは「１２８」、ＣSは「０」、ＣEは「６４」であり、ＣN＝ＣS＜ＣE＜ＣWであるから、これを昇順に並べ替えると「ＣN、ＣS、ＣE、ＣW」の順番になり、降順に並べ替えると「ＣW、ＣE、ＣS、ＣN」の順番になる。したがって、昇順変数ＡＳＣ0、ＡＳＣ1、ＡＳＣ2、ＡＳＣ3には、次式（２０）の値がセットされ、降順変数ＤＥＳＣ0、ＤＥＳＣ1、ＤＥＳＣ2、ＤＥＳＣ3には、次式（２１）の値がセットされる。
【００８４】
【００８５】
次に、「ＧX演算処理」では、重み付け係数演算処理の演算結果を用いて、前式（１１）及び前式（１２）により、注目画素（ｉ，ｊ）の補間値ＧXを演算する。
【００８６】
ここで、ＣN＝０、ＣW＝１２８、ＣS＝０、ＣE＝６４であり、ＧN＝２５５、ＧW＝０、ＧS＝２５５、ＧE＝２５５であり、さらに、ΣＣ＝１９２であるから、これらの実際値を当てはめると、式（２０）及び式（２１）は、次式（２２）及び次式（２３）のように書き表すことができ、結局、前式（１１）及び式（１２）は、次式（２４）及び次式（２５）のように書き表すことができる。
【００８７】
【００８８】
【００８９】
したがって、この補間値ＧXを用いて注目画素（ｉ，ｊ）を補間すれば、図８に示すように、情報欠落画素を適切な画素値で埋めることができ、しかも、その画素値（ＧX）は相関性のある画素値の影響を強く受ける、言い換えれば、境界線（輪郭線）を挟んで隣接する画素の影響をほとんど受けないから、特に明暗のはっきりした境界部分を持つ画像の再現性を大幅に改善でき、前記従来技術にない格別有益な効果を奏することができる。
【００９０】
図９は、図１８の画素配列に本実施形態を適用した場合の画素補間結果を示す図であり、この図によれば、白レベル領域に含まれる情報欠落画素が適正な画素値「２５５」で補間されているとともに、黒レベル領域に含まれる情報欠落画素が適正な画素値「０」で補間されている。
【００９１】
しかも、破線で示す境界線付近の情報欠落画素に注目した場合でも、上記適切な画素値による補間はまったく同じである。したがって、図１０にその模式的な明暗模様を示すように、境界線を挟んで左側全部が画素値「２５５」の白色となり、右側全部が画素値「０」の黒色となる結果、従来技術の一の問題点（境界線のギザギサ）と他の問題点（境界線のぼやけ）を共に解消することができ、画質の大幅な改善を達成できるのである。
【００９２】
本実施形態は、以上の例示に限定されない。例えば、周囲画素との相関を評価して数値化する際の“絶対値”（ＧＬXとの差の絶対値）を“比”としてもよく、あるいは、相関値に対応する重み付け係数も固定的な値を割り当てるだけでなく、例えば、相関の強さの順位に応じて変化する可変的な数値を割り当ててもよい。
【００９３】
なお、以上の実施形態では、注目画素の上下左右に隣接する四つの画素のすべてについて注目画素との相関性を評価したが、これは、画質の向上を最大にするためのベストモードを例示したものであり、従来と比べて相応の画質向上を臨むのであれば、以下に説明するように、上下、左右いずれかの画素について注目画素との相関性を評価してもよい。
【００９４】
まず、前記実施の形態と同様に、画像信号に対してＬＰＦによる補間処理を施し、これをＬＰＦ画像とする。
【００９５】
今、ＬＰＦ画像の注目画素の画素値をＧＬX、注目画素の上に位置する隣接画素の画素値をＧＬN、注目画素の右に位置する隣接画素の画素値をＧＬW、注目画素の下に位置する隣接画素の画素値をＧＬS、注目画素の左に位置する隣接画素の画素値をＧＬEとすると、上下の画素の画素値ＧＬN、ＧＬSと注目画素の画素値ＧＬXとの相関値（上下相関値）ＣVは、
ＣV＝｜ＧＬX−ＧＬN｜＋｜ＧＬX−ＧＬS｜ ・・・・（２６）
で与えられ、また、左右の画素の画素値ＧＬE、ＧＬWと注目画素の画素値ＧＬXとの相関値（左右相関値）ＣHは、
ＣH＝｜ＧＬX−ＧＬE｜＋｜ＧＬX−ＧＬW｜ ・・・・（２７）
で与えられる。
【００９６】
そして、上下相関値ＣVと左右相関値ＣHとの大小関係を、次式（２８）及び次式（２９）により評価し、
ｋ×ＣH＜ＣV ・・・・（２８）
ｋ×ＣV＜ＣH ・・・・（２９）
但し、ｋ＞１
式（２８）の評価が真（Ｔｒｕｅ）の場合、式（２９）の評価が真の場合、又は、式（２８）及び式（２９）の評価が共に偽（Ｆａｌｓｅ）の場合に、各々以下の演算処理を実行する。
【００９７】
・式（２８）の評価が真の場合
この場合は、上下相関値ＣVが左右相関値ＣHのｋ倍以上大きいため、上下の画素の画素値ＧＬN、ＧＬSと注目画素の画素値ＧＬXとの相関性が低いことを示している。したがって、左右の画素の画素値ＧＬE、ＧＬWと注目画素の画素値ＧＬXとの相関性が高いから、次式（３０）により、かかる相関性の高い画素値（但し、ＬＰＦによる補間処理を施す前の画素値）ＧE、ＧWの平均値を用いて注目画素の画素値ＧXを補間する。
ＧX＝（ＧE＋ＧW）／２ ・・・・（３０）
【００９８】
・式（２９）の評価が真の場合
この場合は、左右相関値ＣHが上下相関値ＣVのｋ倍以上大きいため、左右の画素の画素値ＧＬE、ＧＬWと注目画素の画素値ＧＬXとの相関性が低いことを示している。したがって、上下の画素の画素値ＧＬN、ＧＬSと注目画素の画素値ＧＬXとの相関性が高いから、次式（３１）により、かかる相関性の高い画素値（但し、ＬＰＦによる補間処理を施す前の画素値）ＧN、ＧSの平均値を用いて注目画素の画素値ＧXを補間する。
ＧX＝（ＧN＋ＧS）／２ ・・・・（３１）
【００９９】
・式（２８）及び式（２９）の評価が共に偽の場合
この場合は、左右相関値ＣHと上下相関値ＣVの値が共に小さく、いずれの相関性も高いことを示している。したがって、次式（３２）により、かかる相関性の高い四つの画素値（但し、ＬＰＦによる補間処理を施す前の画素値）ＧN、ＧW、ＧS、ＧEの平均値を用いて注目画素の画素値ＧXを補間する。
ＧX＝（ＧN＋ＧW＋ＧS＋ＧE）／４ ・・・・（３２）
【０１００】
・実際の演算例
例えば、ＧＬN＝１９１、ＧＬW＝６３、ＧＬS＝１９１、ＧＬE＝２５５、ＧＬX＝１９１とし、ＧN＝２５５、ＧW＝０、ＧS＝２５５、ＧE＝２５５、ＧX＝情報欠落画素とすると、上下相関値ＣVは、
となり、左右相関値ＣHは、
となる。
【０１０１】
したがって、上下相関値ＣVと左右相関値ＣHの大小関係は、前式（２９）を満たすから、
となって、前記実施形態と同様（図８参照）に適切な画素値ＧXで情報欠落画素を補間でき、特に明暗のはっきりした境界線（輪郭線）を持つ画像のギザギザやぼやけをなくして画質の向上を図ることができる。
【０１０２】
本実施形態は、以上の例示に限定されない。例えば、補間の際の平均値演算を行うときのオペランド（演算の対象となる数値）の各々にトータルで１となる重み値を乗じてもよい。あるいは、前述の実施形態と組み合わせて、垂直方向又は水平方向の相関性が高い場合は本実施形態を実行する一方、それ以外の場合は前述の実施形態を実行するようにしてもよい。
【０１０３】
なお、以上の説明では、Ｇ画素の補間処理について詳述した。これは、輝度情報を含む緑色（Ｇ）の画像信号が画質（特に輪郭線の精細さ）に大きな影響を及ぼすからである。かかる観点に従えば、Ｇ画素の補間処理だけでも相応の画質向上が得られるものの、本発明は、Ｒ画素やＢ画素の補間処理を排除するものではない。Ｇ画素の補間処理とＲ画素やＢ画素の補間処理を併用してもよく、あるいは、Ｒ画素やＢ画素の補間処理を単独で行ってもよい。
【０１０４】
但し、Ｒ画素やＧ画素の配列はＧ画素のような市松状になっていないため、当然のことながら、注目画素（ｉ，ｊ）の画素値と、その周囲に隣接する画素の画素値との相関をとる場合などは、その配列（図１１はＲ画素の配列を示す；Ｂ画素も同じ配列である）を加味して適切な座標の画素値を参照すべきことはもちろんである。
【０１０５】
【発明の効果】
請求項１又は５記載の発明によれば、相関性の高い隣接画素の画素値を参照して欠落画素の画素値を補間することができる。
【０１０６】
したがって、相関性の低い隣接画素、例えば、明暗のはっきりした境界線（輪郭線）を挟んで隣接する画素については、補間のための参照から除外でき、若しくは、その影響を少なくでき、特に明暗のはっきりした境界部分を持つ画像の再現性を向上することができる。また、補間対象となる色成分と同じ色成分に対応して生成された低域画像信号に基づいて隣接画素の相関性を評価するので、より画像の再現性を向上することができる。
【０１０７】
又は、請求項２記載の発明によれば、更に、重み付け係数の値を変えて補間処理の効果を様々に変更することができる。又は、請求項３記載の発明によれば、更に、相関性の高低をより明確にして、補間処理の効果を一層高めることができる。又は、請求項４記載の発明によれば、更に、フレーム内の画素補間を行うことができる。
【図面の簡単な説明】
【図１】実施形態の全体構成図である。
【図２】実施形態の補間処理手順図である。
【図３】ＬＰＦ処理画像の注目画素を含む画素配列図である。
【図４】相関値演算処理の処理手順図である。
【図５】重み付け係数演算処理の処理手順図である。
【図６】ＧX演算処理の処理手順図である。
【図７】相関値演算の概念図である。
【図８】情報欠落画素の補間概念図である。
【図９】すべての情報欠落画素の補間概念図である。
【図１０】実施形態の補間結果を模式的な明暗模様で示す図である。
【図１１】Ｒ画素の配列概念図である。
【図１２】ＣＣＤの構成図である。
【図１３】ＣＣＤと色フィルタを示す図である。
【図１４】ベイヤー方式の色フィルタの原理図である。
【図１５】実際の色フィルタの構成図である。
【図１６】インターレース型ＣＣＤに適用する色フィルタの構成図である。
【図１７】Ｇフィルタだけを抜き出したフィルタの構成図である。
【図１８】Ｇ画素信号の配列モデル図である。
【図１９】画素信号のレベル特性図である。
【図２０】周囲画素の平均値による補間法の処理手順図である。
【図２１】注目画素を含む隣接画素の配置概念図である。
【図２２】周囲画素の平均値による補間法を用いた補間結果を示す図である。
【図２３】周囲画素の平均値による補間法の問題点を説明する図である。
【図２４】ＬＰＦによる補間法の処理手順図である。
【図２５】画素データ取得処理手順図（１／２）である。
【図２６】画素データ取得処理手順図（２／２）である。
【図２７】重み付け係数セット処理手順図（１／２）である。
【図２８】重み付け係数セット処理手順図（２／２）である。
【図２９】ＧX演算処理手順図である。
【図３０】ＬＰＦによる補間処理で使用する画素配置図である。
【図３１】ＬＰＦによる補間法を用いた補間結果を示す図である。
【図３２】ＬＰＦによる補間法の問題点を説明する図である。
【符号の説明】
１０ 撮像デバイス（単板式のカラー撮像デバイス）
１４ メモリ部（保持手段）
２０ ＣＰＵ（生成手段、評価手段、演算手段、補間手段）
【発明の属する技術分野】
本発明は、撮像装置及びカラー撮像信号の処理方法に関し、詳しくは、単板式のカラー撮像デバイスを備えた撮像装置及びカラー撮像信号の処理方法に関する。
【０００２】
【従来の技術】
多数の光電変換素子を２次元に配列し、被写体からの光に応じた画像信号を出力する、例えば、ＣＣＤ（Charge Coupled Device）に代表される撮像デバイスは、そのままでは色情報を含む画像信号を出力できない。光電変換素子が単に光の明暗の強度に対応した信号しか発生しないからである。
【０００３】
色情報を得るために、３個の撮像デバイスを用い、その各々に赤、緑、青の色フィルタを装着して、それぞれの撮像デバイスから赤色、緑色、青色の画像信号を取り出すようにした３板式のカラー撮像デバイスが知られている。この撮像デバイスは専ら色再現性を重視するスタジオ用テレビカメラなどに用いられているが、家庭用のビデオカメラや普及型の電子カメラなどにあっては、サイズや重さ及び電力消費の点から１個の撮像デバイスとモザイク状の色フィルタとを組み合わせた単板式のカラー撮像デバイスが用いられている。
【０００４】
図１２は、ｎ列×ｍ行の画素を有するＣＣＤの構成図である。ＣＣＤ１は、入射光量に応じた電荷を蓄積するｎ×ｍ個の光電変換素子２をマトリクス状に２次元配列するとともに、各列間に１本ずつ、全部でｎ本の垂直転送部３を配置して撮像領域４を形成し、さらに、撮像領域４の図面に向かって下側に水平転送部５を配置して構成する。
【０００５】
光電変換素子２に蓄積された信号電荷は、読み出し信号（不図示）に応答して隣接する垂直転送部３に取り込まれ、垂直転送部３の内部を垂直転送クロック（不図示）に同期して図面の下方向に順次転送される。
【０００６】
すべての垂直転送部３の出力端は水平転送部５に接続されており、水平転送部５には、垂直転送クロックに同期して１ライン分の信号電荷が順次に取り込まれる。水平転送部５に取り込まれた信号電荷は、水平転送クロック（不図示）に同期して図面の左方向に順次転送され、水平転送部５の出力端に到達した信号電荷は、同端に設けられた電荷検出部６で電気信号に変換され、アンプ７で増幅された後、端子８からＣＣＤ出力として外部に取り出される。
【０００７】
ここで、光電変換素子２の水平方向の並び（走査線又はライン）にそれぞれＯ１、Ｅ１、Ｏ２、Ｅ２、Ｏ３、Ｅ３、・・・・の便宜的な符号を付すことにする。但し、Ｏは奇数の略、Ｅは偶数の略である。Ｏ１、Ｏ２、Ｏ３で奇数ラインを、Ｅ１、Ｅ２、Ｅ３で偶数ラインを示すものとする。
【０００８】
インターレース型のＣＣＤは、フィールド読み出し（フィールド蓄積ともいう）と、フレーム読み出し（フレーム蓄積ともいう）の二つのモードを外部から切替えることができる。フィールド読み出しではＣＣＤ出力がＯ１＋Ｅ１、Ｏ２＋Ｅ２、Ｏ３＋Ｅ３、・・・・の順番になる。
【０００９】
一方、フレーム読み出しでは、奇数フレームと偶数フレームの２回に分けてＣＣＤ出力を取り出す。すなわち、奇数フレームではＣＣＤ出力がＯ１、Ｏ２、Ｏ３、・・・・の順番になり、偶数フレームではＣＣＤ出力がＥ１、Ｅ２、Ｅ３、・・・・の順番になる。
【００１０】
図１３は、ＣＣＤ１と色フィルタ９を示す図である。ＣＣＤ１の桝目は各々１個の光電変換素子２を含む画素であり、各画素は色フィルタ９の桝目と一対一に対応している。色フィルタ９の桝目はそれぞれ特定の色を有しており、色の選び方や配列の仕方によって様々なタイプのものが使用されている。
【００１１】
図１４は、B.E.Bayer によって考え出されたベイヤー方式（又は緑市松方式）と呼ばれる色フィルタの原理図である。この方式は、色信号と輝度信号のＳ／Ｎバランスがよく、被写体の明るさに依存せずに良好な色再現性が得られることから、広く用いられている方式である。
【００１２】
図１４において、Ｙは輝度情報を得るためのフィルタ、Ｃ1、Ｃ2は色情報を得るためのフィルタである。Ｙフィルタを市松状に配置するとともに、奇数ラインの隙間にＣ1フィルタを配置し、偶数ラインの隙間にＣ2ラインを配置する。なお、Ｙフィルタを多く配置する理由は、人間の視覚上、色情報よりも輝度情報の方が画像の解像度や輪郭のシャープさをよく知覚するからである。
【００１３】
図１５は、実際の色フィルタの構成図であり、Ｒは赤色のフィルタ、Ｇは緑色のフィルタ、Ｂは青色のフィルタである。赤（Ｒ）、緑（Ｇ）、青（Ｂ）は光の三原色であり、特に、緑色は被写体の明るさをよく表すから、Ｇフィルタは輝度情報を得るためのフィルタとしても用いられる。すなわち、Ｇフィルタは図１４のＹフィルタに相当し、ＲフィルタとＢフィルタは図１４のＣ1、Ｃ2フィルタに相当する。
【００１４】
なお、インターレース型のＣＣＤの場合、色フィルタは図１６に示すように奇数ラインと偶数ラインで同一の配列になるが、フィールド読み出しやフレーム読み出しに関わらず、読み出された画素の配列に着目すれば、図１５の配列（ベイヤー方式に則った色情報の並び）とまったく同じである。すなわち、フィールド読み出しではＯ１＋Ｅ１、Ｏ２＋Ｅ２、Ｏ３＋Ｅ３の２ライン合成読み出しとなり、一方、フレーム読み出しではＯ１、Ｏ２、Ｏ３、・・・、Ｅ１、Ｅ２、Ｅ３の飛び越しライン読み出しとなるが、何れの読み出しでも、Ｇ／ＲラインとＢ／Ｇラインを順次に読み出す点で同一である。
【００１５】
したがって、本明細書では特に断りのない限り、図１５に示すベイヤー方式の配列でＣＣＤの画素や色フィルタの配列を説明することにする。
【００１６】
既述のとおり、ベイヤー方式の色フィルタはＧフィルタを市松状に配列して構成する。図１７は、Ｇフィルタだけを抜き出したフィルタの構成図である。この図はＧ画素信号の並びを示す図でもあり、市松状に配列するＧ画素信号は、縦横各々一つの情報欠落画素を間に挟んでいる。
【００１７】
ここで、Ｇ画素信号は輝度情報を含み、輝度情報は画像の解像度や輪郭のシャープさに影響を与えるから、上記情報欠落画素に何らかの情報を与える必要があり、以下の二つの情報補間が行われていた。
【００１８】
・周囲画素の平均値による補間法
今、図１８に示すようなＧ画素信号の配列モデルを想定する。図において、桝目の一つ一つは画素であり、画素内の数値は画素信号の大きさを示し、ハッチングは情報欠落画素を示している。但し、画素信号は「２５５」〜「０」までの値を取り得るものとし、且つ、図１９に示すように「２５５」を白レベル、「０」を黒レベルとする。なお、図１９ではγ補正を考慮していない。また、以下では、各々の画素を（ｉ，ｊ）の座標で表すことにし、ｉ及びｊの最小値を「０」、ｉの最大値ｉMAX及びｊの最大値ｊMAXを便宜的に「９」とする。
【００１９】
図２０は、周囲画素の平均値による補間法の処理手順図である。この処理手順は、要するに、二つの座標変数ｉ、ｊの値を変化させながら水平方向と垂直方向に点順次の画素走査を行い（Ｓ１、Ｓ３〜Ｓ７）、各走査位置（ｉ，ｊ）の画素が情報欠落画素である場合に（Ｓ２のＹＥＳ判定）、当該情報欠落画素（ｉ，ｊ）の上下左右に位置する四つの隣接画素（図２１（ａ）参照）の画素信号を変数ＧN、ＧW、ＧS、ＧEにセットし（Ｓ８）、その画素信号を用いて、次式（１）により、周囲画素の平均値に相当する補間情報ＧXを演算（Ｓ９）して当該情報欠落画素（ｉ，ｊ）にその補間情報ＧXをセット（Ｓ１０）するというものである。
【００２０】
ＧX＝（ＧN＋ＧW＋ＧS＋ＧE）／４ ・・・・（１）
図２２は、かかる補間法を用いて図１８の情報欠落画素を補間した図であり、ハッチングで示す情報欠落画素に「２５５」、「１９１」、「６３」又は「０」の画素値がセットされている。
【００２１】
例えば、太線内のハッチング画素には画素値「１９１」がセットされているが、この画素値を検証すると、同ハッチング画素の上に位置する隣接画素の値ＧNは「２５５」、右に位置する隣接画素の値ＧWは「０」、下に位置する隣接画素の値ＧSは「２５５」、左に位置する隣接画素の値ＧEは「２５５」であるから、これらのＧN、ＧW、ＧS及びＧEを上式（１）に代入することによって、ＧXは１９１．２５となり、小数点以下を丸めて図示の画素値「１９１」が得られる。
【００２２】
しかしながら、周囲画素の平均値による補間法にあっては、画像内に明暗のはっきりした境界がある場合、その境界線に凹凸（キザキザ）を生じるという問題点を有している。
【００２３】
図２３は、その説明図であり、図２２の画素値を模式的な明暗模様で表した図である。すなわち、白抜き部分は画素値「２５５」に対応し、単純ハッチング部分（実際には薄いグレー）は画素値「１９１」に対応し、クロスハッチング部分（実際には濃いグレー）は画素値「６３」に対応し、黒ベタ部分は画素値「０」に対応している。
【００２４】
図面からも理解されるように、元々は破線で示す境界線より右側が黒色、左側が白色なのに、境界線を挟んで薄いグレーの画素と濃いグレーの画素が交互に生じ、あたかも境界線に凹凸（ギザギザ）があるが如き錯覚を招き、画像の再現性を阻害する。
【００２５】
・ＬＰＦによる補間法（低域成分の抽出処理ともいう）
図２４は、ＬＰＦ（ローパスフィルタ）による補間法の処理手順図である。この処理手順も、二つの座標変数ｉ、ｊの値を変化させながら水平方向と垂直方向に点順次の画素走査を行う（Ｓ２０、Ｓ２４〜Ｓ２８）点で、上述の補間法（周囲画素の平均値による補間法）と一致するが、各走査位置（ｉ，ｊ）ごとに、（ｉ，ｊ）を含む３×３個の画素に対する、画素データ取得処理（Ｓ２１）、重み付け係数セット処理（Ｓ２２）及びＧX演算処理（Ｓ２３）を行う点で相違する。なお、３×３個の画素配列や各画素に対応する画素値格納変数と重み付け係数の位置関係は、それぞれ図３０（ａ）〜（ｃ）を参照することにする。すなわち、図３０（ａ）は３×３個の画素配列図、図３０（ｂ）は各画素に対応する画素値格納変数の配列図、図３０（ｃ）は各画素に対応する重み付け係数の配列図である。
【００２６】
画素データ取得処理の実際は、図２５及び図２６に示すとおりである。この処理では、図３０（ａ）の３×３個の画素配列を左上、上、右上、右、右下、下、左下、左、中央の順に巡回しつつ、各巡回位置の画素が情報欠落画素であるか否かを判定し、情報欠落画素でない場合は、その画素値を同位置の画素値格納変数にセットする一方、情報欠落画素である場合は、同位置の画素値格納変数に「０」をセットする動作を繰り返す。
【００２７】
代表して左上の画素に対する動作を説明すると、（ｉ−１、ｊ−１）の画素が情報欠落画素であるか否かを判定し（Ｓ２１＿１）、情報欠落画素でない場合は、その画素（ｉ−１、ｊ−１）の値を同位置の画素値格納変数ＧNEにセット（Ｓ２１＿２）する一方、情報欠落画素である場合は、同画素情報格納変数ＧNEに「０」をセット（Ｓ２１＿３）する。
【００２８】
今、便宜的に３×３個の画素配列の状態を、次表１のとおりと考える。
【００２９】
【表１】
次表２は、表１に従って画素データ取得処理を実行し、その結果得られた画素値格納変数の値を一緒にまとめた表である。
【００３１】
【表２】
重み付け係数セット処理の実際は、図２７及び図２８に示すとおりである。この処理では、画素データ取得処理と同様に、図３０（ａ）の３×３個の画素配列を左上、上、右上、右、右下、下、左下、左、中央の順に巡回しつつ、各巡回位置の画素が情報欠落画素であるか否かを判定し、情報欠落画素でない場合は、同位置の重み付け係数に「１」、「２」又は「４」をセット（※）する一方、情報欠落画素である場合は、同位置の重み付け係数に「０」をセットする動作を繰り返し、最後にすべての重み付け係数の加算値ΣＫを演算する（Ｓ２２＿２８）。※但し、左上、右上、右下及び左下の重み付け係数ＫNE、ＫNW、ＫSW、ＫSEについては「１」をセットし、上下左右の重み付け係数ＫN、ＫW、ＫS、ＫEについては「２」をセットし、中央の重み付け係数ＫXについては「４」をセットする。なお、これらの定数（「１」、「２」及び「４」）は、便宜値である。中央の画素値に対する影響の大きさに応じて適当に選定すればよい。
【００３３】
代表して左上の画素に対する動作を説明すると、（ｉ−１、ｊ−１）の画素が情報欠落画素であるか否かを判定し（Ｓ２２＿１）、情報欠落画素でない場合は、同位置の重み付け係数ＫNEに「１」をセット（Ｓ２２＿２）する一方、情報欠落画素である場合は、同重み付け係数ＫNEに「０」をセット（Ｓ２２＿３）する。
【００３４】
次表３は、前表１に従って重み付け係数セット処理を実行し、その結果得られた重み付け係数をまとめた表である。
【００３５】
【表３】
表３によれば、重み付け係数の加算値ΣＫは、
【００３７】
ＧX演算処理の実際は、図２９に示すとおりである。この処理では、上記の画素データ取得処理及び重み付け係数セット処理の処理結果を用いて、注目画素（ｉ，ｊ）の画素補間値ＧXを演算する。図２９において、ＧNE、ＧN、ＧNW、ＧW、ＧSW、ＧS、ＧSE、ＧE及びＧXは、画素データ取得処理で得られた画素値格納変数であり、また、ＫNE、ＫN、ＫNW、ＫW、ＫSW、ＫS、ＫSE、ＫE及びＫXは、重み付け係数セット処理で得られた重み付け係数である。
【００３８】
ＧX演算処理の実際では、まず、位置を同じくする画素値格納変数と重み付け係数を乗じて、その結果で当該画素値格納変数を更新する（Ｓ２３＿１）。例えば、左上の画素に着目すると、ＧNEにＫNEを乗じ、その答えでＧNEを更新する。
【００３９】
すべての画素値格納変数の更新を完了すると、次に、更新済みの画素値格納変数を加算して積算画素値ΣＧを演算する（Ｓ２３＿２）。そして、そのΣＧを重み付け係数セット処理で演算したΣＫで除し、その答えをＧXとする（Ｓ２３＿３）。
【００４０】
今、ＧNE、ＧN、ＧNW、ＧW、ＧSW、ＧS、ＧSE、ＧE及びＧXの値を前表２に示すとおりとし、また、ＫNE、ＫN、ＫNW、ＫW、ＫSW、ＫS、ＫSE、ＫE及びＫXの値を前表３に示すとおりとすると、Ｓ２３＿１の結果は、
ＧX＝ΣＧ／ΣＫ＝１５３０／８＝１９１．２５ ・・・・（５）
となり、小数点以下を丸めて「１９１」になる。
【００４１】
図３１は、ＬＰＦによる補間法を用いて図１８の情報欠落画素を補間した図であり、ハッチングで示す情報欠落画素に「２５５」、「１９１」、「６３」又は「０」の画素値がセットされている。
【００４２】
しかしながら、この補間法は、前述の周辺画素による補間法と違って情報欠落画素以外の画素値も操作するため、図３１と図１８を見比べると、情報欠落画素以外の幾つかの画素（正確には破線で示す白レベルと黒レベルの境界線に接した情報欠落画素以外の画素）の値が変化するという欠点を持っている。すなわち、境界線の左側に位置する幾つかの画素が「２５５」から「１９１」へと変化するとともに、境界線の右側に位置する幾つかの画素も「０」から「６３」へと変化している。これは、画像信号の高域成分を省いて低域成分だけを抽出しているからであり、いわゆる、波形の“なまり”に似た信号処理を施していることに相当するからである。
【００４３】
このため、かかるＬＰＦによる補間法にあっては、画像内に明暗のはっきりした境界がある場合、その境界線がぼやけてしまうという問題点を有している。
【００４４】
図３２は、その説明図であり、図３１の画素値を模式的な明暗模様で表した図である。すなわち、白抜き部分は画素値「２５５」に対応し、単純ハッチング部分（実際には薄いグレー）は画素値「１９１」に対応し、クロスハッチング部分（実際には濃いグレー）は画素値「６３」に対応し、黒ベタ部分は画素値「０」に対応している。
【００４５】
図面からも理解されるように、元々は破線で示す境界線より右側が黒色、左側が白色なのに、境界線を挟んで薄いグレーの縦帯と濃いグレーの縦帯が生じる結果、境界線がぼやけて画像の再現性を阻害するという問題点がある。
【００４６】
【発明が解決しようとする課題】
以上のとおり、従来の二つの補間法にあっては、何れも画像の再現性という点で未だ不十分であり、解決すべき技術課題がある。
【００４７】
そこで、本発明は、明暗のはっきりした境界部分を持つ画像の再現性を向上することを目的とする。
【００４８】
【課題を解決するための手段】
請求項１記載の発明は、単板式のカラー撮像デバイスによって各色成分毎に所定の画素が欠落した形で撮像された画像信号の欠落画素を隣接画素の状態に応じて補間する機能を備えた撮像装置であって、欠落画素を含む所定の色成分の画像信号である元画像信号を保持する保持手段と、前記保持手段に保持された前記元画像信号の低域成分を抽出して低域画像信号を生成する生成手段と、前記生成手段により生成された前記低域画像信号に基づいて、各画素とその周囲の隣接画素との相関性を評価する評価手段と、前記評価手段の評価結果を用いて前記保持手段に保持された前記元画像信号の欠落画素を補間する補間手段と、を備えたことを特徴とする。
【００４９】
又は、請求項２記載の発明は、請求項１記載の発明において、前記補間手段は、前記評価手段の評価結果に応じた重み付け係数を隣接画素に対して割り当て、隣接画素に対して割り当てられた重み付け係数を前記保持手段に保持された前記元画像信号の隣接画素に適用して該隣接画素の平均値を演算する演算手段を備え、前記演算手段の演算結果を用いて前記保持手段に保持された前記元画像信号の欠落画素を補間することを特徴とする。又は、請求項３記載の発明は、請求項２記載の発明において、前記演算手段は、相関性の低い隣接画素に対しては小さな重み付け係数を割り当てる一方、相関性の高い隣接画素に対しては大きな重み付け係数を割り当てることを特徴とする。又は、請求項４記載の発明は、請求項１記載の発明において、前記隣接画素は、注目画素と同一位置の１ライン前の画素、注目画素と同一ラインの隣り合う画素又は注目画素と同一位置の１ライン後の画素の何れか若しくはすべてであることを特徴とする。又は、請求項５記載の発明は、単板式のカラー撮像デバイスによって各色成分毎に所定の画素が欠落した形で撮像された画像信号の欠落画素を隣接画素の状態に応じて補間するカラー撮像信号の処理方法であって、欠落画素を含む所定の色成分の画像信号である元画像信号を保持する第１ステップと、その保持された前記元画像信号の低域成分を抽出して低域画像信号を生成する第２ステップと、その生成された前記低域画像信号に基づいて、各画素とその周囲の隣接画素との相関性を評価する第３ステップと、その評価結果を用いて前記保持された前記元画像信号の欠落画素を補間する第４ステップと、を含むことを特徴とする。
【００５０】
【発明の実施形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００５１】
図１は、本発明の実施形態の全体構成図である。図１において、撮像面にモザイク状の色フィルタが装着された、例えば、ＣＣＤで構成される撮像デバイス１０は単板式のカラー撮像デバイスであり、不図示の光学系を介して入力された被写体像に対応する電気信号に変換して出力する。撮像デバイス１０の駆動制御は駆動回路１１によって行われ、撮像デバイス１０から出力された電気的な画像信号はＡ／Ｄ変換器１２によりディジタル信号に変換された後、メモリコントローラ１３の制御の下でメモリ部１４（保持手段）の画像メモリ１５に記憶される。
【００５２】
メモリ部１４はさらに赤色専用メモリ（以下、Ｒ用メモリ）１６、緑色専用メモリ（以下、Ｇ用メモリ）１７、青色専用メモリ（以下、Ｂ用メモリ）１８及び作業用メモリ１９を含み、これらのメモリ１６〜１９の入出力はＣＰＵ２０によって制御される。
【００５３】
すなわち、ＣＰＵ２０は、生成手段、評価手段、演算手段及び補間手段として機能し、プログラムＲＯＭ２１にあらかじめ格納された処理プログラムに従って、冒頭で説明した二つの補完法（周囲画素の平均値による補間法及びＬＰＦによる補間法）の組合わせによる所定の補間処理を実行し、画像メモリ１５、Ｒ用メモリ１６、Ｇ用メモリ１７、Ｂ用メモリ１８及び作業用メモリ１９の間のデータ入出力を制御しつつ、Ｒ用メモリ１６、Ｇ用メモリ１７及びＢ用メモリ１８に展開されたＲ、Ｇ及びＢの各原色画像の情報欠落画素を補間するとともに、以下に説明する工夫により、前記二つの補間法の欠点を解消し、特に明暗のはっきりした境界部分を持つ画像の再現性を向上して、表示、通信又は印刷を含むあらゆる画像処理装置に対して良好な画質のカラー画像を提供する。
【００５４】
なお、データＲＯＭ２２は色フィルタの画素配置情報を保持しており、この情報はＣＰＵ２０からのアクセスで適宜に利用される。
【００５５】
図２は、ＣＰＵ２０で実行される本実施形態の補間処理の処理手順図である。この処理では、まず、Ｒ用メモリ１６、Ｇ用メモリ１７及びＢ用メモリ１８に展開された各原色画像を作業用メモリ１９にコピーし、そのコピー画像に対して、従来例と同様なＬＰＦによる補間処理を実行（Ｓ３０）する。
【００５６】
そして、同補間処理を施した画像（以下、ＬＰＦ画像と言う；発明の要旨に記載の低域画像信号に相当）に対して、二つの座標変数ｉ、ｊの値を変化させながら水平方向と垂直方向に点順次の画素走査を行いつつ（Ｓ３１、Ｓ３６〜Ｓ４０）、各走査位置（ｉ，ｊ）の画素とその上下左右の四つの画素（ｉ，ｊ−１）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）、（ｉ−１，ｊ）について、以下に説明する「相関値演算処理（Ｓ３２）」、「重み付け係数演算処理（Ｓ３３）」及び「ＧX演算処理（Ｓ３４）」を実行し、ＧX演算処理の結果（補間値ＧX）で注目画素（ｉ，ｊ）の画素値を補間する。
【００５７】
なお、図３は、注目画素を含む各画素の配列と、各画素に対応する画素値格納変数ＧＬN、ＧＬW、ＧＬS、ＧＬEの配列図である。
【００５８】
・相関値演算処理
相関値演算処理の実際は、図４に示すとおりである。この処理では、注目画素（ｉ，ｊ）に隣接する上下左右四つの画素の各々に対応する相関値変数ＣN、ＣW、ＣS、ＣEに、注目画素の画素値に対する各対応画素の画素値の差（の絶対値）をセットする。例えば、注目画素（ｉ，ｊ）の上に位置する画素（ｉ，ｊ−１）で説明すると、この場合は、注目画素（ｉ，ｊ）の画素値ＧＬXと、対象画素（ｉ，ｊ−１）の画素値ＧＬNの差の絶対値（｜ＧＬX−ＧＬN｜）を演算し、その演算結果を相関値変数ＣNにセットする（Ｓ３２＿１）。そして、すべての相関値変数ＣN、ＣW、ＣS、ＣEに対する値のセットを完了すると、次式（６）により、相関積算値ΣＣを演算する（Ｓ３２＿５）。
【００５９】
ΣＣ＝ＣN＋ＣW＋ＣS＋ＣE ・・・・（６）
相関値変数ＣN、ＣW、ＣS、ＣE、例えば、ＣNの値が大きい場合は注目画素（ｉ，ｊ）と対象画素（ｉ，ｊ−１）の画素値の間の相関性が低く、逆にＣNの値が小さい場合は相関性が高いことを表す。かかる相関性は隣接画素間における明暗又は色の類似性の度合いに対応するから、相関性の低い画素同士は各々境界線（又は輪郭線）によって隔てられた異なる画像に属するとみなすことができ、一方、相関性の高い画素同士は同一の画像に属するとみなすことができる。
【００６０】
・重み付け係数演算処理
重み付け係数演算処理の実際は、図５に示すとおりである。この処理では、次の二つの並べ替え（ソート）処理を実行する。
【００６１】
第一の並べ替え処理（Ｓ３３＿１）では、相関値演算処理でセットしたすべての相関値変数ＣN、ＣW、ＣS、ＣEについて、昇順の並べ替え（値の小さい順からの並べ替え）を行い、並べ替え後のＣN、ＣW、ＣS、ＣEを値の小さい順から昇順変数ＡＳＣ0、ＡＳＣ1、ＡＳＣ2、ＡＳＣ3にセットする。例えば、並べ替え後のＣN、ＣW、ＣS、ＣEの順位をＣN＜ＣW＜ＣS＜ＣEとすると、以下のとおりのセットが行われる。
【００６２】
なお、並べ替え後のＣN、ＣW、ＣS、ＣEに同じ値が含まれる場合、例えば、ＣN＝ＣW＜ＣS＜ＣEのような場合は、上式（７）のようにセットしてもよく、あるいは、
【００６４】
次に、第二の並べ替え処理（Ｓ３３＿２）では、相関値演算処理でセットしたすべての相関値変数ＣN、ＣW、ＣS、ＣEについて、降順の並べ替え（値の大きい順からの並べ替え）を行い、並べ替え後のＣN、ＣW、ＣS、ＣEに対応する座標位置の画素値（但し、ＬＰＦによる補間処理を行う前の画素値）ＧN、ＧW、ＧS、ＧEを、相関値変数ＣN、ＣW、ＣS、ＣEの値の大きい順から降順変数ＤＥＳＣ0、ＤＥＳＣ1、ＤＥＳＣ2、ＤＥＳＣ3にセットする。例えば、並べ替え後のＣN、ＣW、ＣS、ＣEの順位をＣN＜ＣW＜ＣS＜ＣEとすると、以下のとおりのセットが行われる。
【００６５】
なお、第一の並べ替え処理と同様に、並べ替え後のＣN、ＣW、ＣS、ＣEに同じ値が含まれる場合、例えば、ＣN＝ＣW＜ＣS＜ＣEのような場合は、上式（９）のようにセットしてもよく、あるいは、
【００６７】
・ＧX演算処理
ＧX演算処理の実際は、図６に示すとおりである。この処理では、重み付け係数演算処理の演算結果を用いて、次式（１１）及び次式（１２）により、注目画素（ｉ，ｊ）の補間値ＧXを演算する（Ｓ３４＿１、Ｓ３４＿２）。
【００６８】
ここで、図７（ａ）に示す画素値モデルを例にして、本実施形態の補間処理を具体的に説明する。図７（ａ）において、ハッチング部分は情報欠落画素であり、破線枠内中央の情報欠落画素を注目画素（ｉ，ｊ）とすると、その上下左右に位置する隣接画素（ｉ，ｊ−１）、（ｉ＋１，ｊ）（ｉ，ｊ＋１）、（ｉ−１，ｊ）の画素値は、例えば、それぞれ「２５５」と「０」であり、左上、右上、右下及び左下の各画素（ｉ−１，ｊ−１）、（ｉ＋１，ｊ−１）（ｉ＋１，ｊ＋１）、（ｉ−１，ｊ＋１）は情報欠落画素である。
【００７０】
まず、かかる注目画素を含む３×３個の画素配列に対してＬＰＦ処理（ＬＰＦによる補間処理）を施す。ＬＰＦ処理は、先にも述べたとおり、従来技術と同等の処理であるから、図７（ａ）の破線枠内３×３個の画素配列は、次表４のようになる。
【００７１】
【表４】
次表５は、表４に従って、画素データ取得処理（図２４のステップＳ２１又は図２５及び図２６参照）を実行し、その結果得られた画素値格納変数の値を一緒にまとめた表である。
【００７３】
【表５】
次表６は、前表４に従って重み付け係数セット処理（図２４のステップＳ２２又は図２７及び図２８参照）を実行し、その結果得られた重み付け係数をまとめた表である。
【００７５】
【表６】
表６によれば、重み付け係数の加算値ΣＫは、
【００７７】
したがって、ＧX演算処理（図２４のステップＳ２３又は図２９参照）で、
ＧX＝ΣＧ／ΣＫ＝１５３０／８＝１９１．２５ ・・・・（１６）
となり、小数点以下を丸めて「１９１」になる。
【００７８】
図７（ｂ）は、ＬＰＦによる補間法を用いて図７（ｂ）の情報欠落画素（注目画素）を補間した図であり、中央の注目画素に「１９１」の画素値ＧＬXがセットされている。なお、図７（ｂ）において、注目画素の上下に位置する画素値ＧＬN、ＧＬSが「２５５」から「１９１」に変化し、また、注目画素の右に位置する画素値ＧＬWが「０」から「６３１」に変化しているが、これは、冒頭でも説明したように、ＬＰＦによる補間処理では３×３個の画素のすべてに対してＬＰＦ処理を施すからである。
【００７９】
図７（ｂ）の画素配列（ＬＰＦ処理後の画素配列）を生成すると、各画素を巡回しながら、図２の「相関値演算処理」、「重み付け係数演算処理」及び「ＧX演算処理」を順次に実行する。
【００８０】
まず、「相関値演算処理」で、注目画素（ｉ，ｊ）に隣接する上下左右四つの画素の各々に対応する相関値変数ＣN、ＣW、ＣS、ＣEに、注目画素の画素値ＧＬXに対する各対応画素の画素値ＧＬN、ＧＬW、ＧＬS、ＧＬEの差（の絶対値）をセットする。すなわち、図７（ｂ）において、ＬＰＦ処理後の各画素値ＧＬX、ＧＬN、ＧＬW、ＧＬS、ＧＬEは、
ＧＬN＝１９１
ＧＬW＝６３
ＧＬS＝１９１
ＧＬE＝２５５
ＧＬX＝１９１ ・・・・（１７）
であるから、各々の相関値変数ＣN、ＣW、ＣS、ＣEには、次式（１８）の値がセットされ、さらに次式（１９）により、相関積算値ΣＣが演算される。
【００８１】
次に、「重み付け係数演算処理」で、相関値変数ＣN、ＣW、ＣS、ＣEを昇順の並べ替え、並べ替え後のＣN、ＣW、ＣS、ＣEを値の小さい順から昇順変数ＡＳＣ0、ＡＳＣ1、ＡＳＣ2、ＡＳＣ3にセットし、さらに、相関値変数ＣN、ＣW、ＣS、ＣEを降順の並べ替え、並べ替え後のＣN、ＣW、ＣS、ＣEに対応する座標位置の画素値（但し、ＬＰＦによる補間処理を行う前の画素値）ＧN、ＧW、ＧS、ＧEを、相関値変数ＣN、ＣW、ＣS、ＣEの値の大きい順から降順変数ＤＥＳＣ0、ＤＥＳＣ1、ＤＥＳＣ2、ＤＥＳＣ3にセットする。
【００８３】
ここで、ＣNは「０」、ＣWは「１２８」、ＣSは「０」、ＣEは「６４」であり、ＣN＝ＣS＜ＣE＜ＣWであるから、これを昇順に並べ替えると「ＣN、ＣS、ＣE、ＣW」の順番になり、降順に並べ替えると「ＣW、ＣE、ＣS、ＣN」の順番になる。したがって、昇順変数ＡＳＣ0、ＡＳＣ1、ＡＳＣ2、ＡＳＣ3には、次式（２０）の値がセットされ、降順変数ＤＥＳＣ0、ＤＥＳＣ1、ＤＥＳＣ2、ＤＥＳＣ3には、次式（２１）の値がセットされる。
【００８４】
次に、「ＧX演算処理」では、重み付け係数演算処理の演算結果を用いて、前式（１１）及び前式（１２）により、注目画素（ｉ，ｊ）の補間値ＧXを演算する。
【００８６】
ここで、ＣN＝０、ＣW＝１２８、ＣS＝０、ＣE＝６４であり、ＧN＝２５５、ＧW＝０、ＧS＝２５５、ＧE＝２５５であり、さらに、ΣＣ＝１９２であるから、これらの実際値を当てはめると、式（２０）及び式（２１）は、次式（２２）及び次式（２３）のように書き表すことができ、結局、前式（１１）及び式（１２）は、次式（２４）及び次式（２５）のように書き表すことができる。
【００８７】
したがって、この補間値ＧXを用いて注目画素（ｉ，ｊ）を補間すれば、図８に示すように、情報欠落画素を適切な画素値で埋めることができ、しかも、その画素値（ＧX）は相関性のある画素値の影響を強く受ける、言い換えれば、境界線（輪郭線）を挟んで隣接する画素の影響をほとんど受けないから、特に明暗のはっきりした境界部分を持つ画像の再現性を大幅に改善でき、前記従来技術にない格別有益な効果を奏することができる。
【００９０】
図９は、図１８の画素配列に本実施形態を適用した場合の画素補間結果を示す図であり、この図によれば、白レベル領域に含まれる情報欠落画素が適正な画素値「２５５」で補間されているとともに、黒レベル領域に含まれる情報欠落画素が適正な画素値「０」で補間されている。
【００９１】
しかも、破線で示す境界線付近の情報欠落画素に注目した場合でも、上記適切な画素値による補間はまったく同じである。したがって、図１０にその模式的な明暗模様を示すように、境界線を挟んで左側全部が画素値「２５５」の白色となり、右側全部が画素値「０」の黒色となる結果、従来技術の一の問題点（境界線のギザギサ）と他の問題点（境界線のぼやけ）を共に解消することができ、画質の大幅な改善を達成できるのである。
【００９２】
本実施形態は、以上の例示に限定されない。例えば、周囲画素との相関を評価して数値化する際の“絶対値”（ＧＬXとの差の絶対値）を“比”としてもよく、あるいは、相関値に対応する重み付け係数も固定的な値を割り当てるだけでなく、例えば、相関の強さの順位に応じて変化する可変的な数値を割り当ててもよい。
【００９３】
なお、以上の実施形態では、注目画素の上下左右に隣接する四つの画素のすべてについて注目画素との相関性を評価したが、これは、画質の向上を最大にするためのベストモードを例示したものであり、従来と比べて相応の画質向上を臨むのであれば、以下に説明するように、上下、左右いずれかの画素について注目画素との相関性を評価してもよい。
【００９４】
まず、前記実施の形態と同様に、画像信号に対してＬＰＦによる補間処理を施し、これをＬＰＦ画像とする。
【００９５】
今、ＬＰＦ画像の注目画素の画素値をＧＬX、注目画素の上に位置する隣接画素の画素値をＧＬN、注目画素の右に位置する隣接画素の画素値をＧＬW、注目画素の下に位置する隣接画素の画素値をＧＬS、注目画素の左に位置する隣接画素の画素値をＧＬEとすると、上下の画素の画素値ＧＬN、ＧＬSと注目画素の画素値ＧＬXとの相関値（上下相関値）ＣVは、
ＣV＝｜ＧＬX−ＧＬN｜＋｜ＧＬX−ＧＬS｜ ・・・・（２６）
で与えられ、また、左右の画素の画素値ＧＬE、ＧＬWと注目画素の画素値ＧＬXとの相関値（左右相関値）ＣHは、
ＣH＝｜ＧＬX−ＧＬE｜＋｜ＧＬX−ＧＬW｜ ・・・・（２７）
で与えられる。
【００９６】
そして、上下相関値ＣVと左右相関値ＣHとの大小関係を、次式（２８）及び次式（２９）により評価し、
ｋ×ＣH＜ＣV ・・・・（２８）
ｋ×ＣV＜ＣH ・・・・（２９）
但し、ｋ＞１
式（２８）の評価が真（Ｔｒｕｅ）の場合、式（２９）の評価が真の場合、又は、式（２８）及び式（２９）の評価が共に偽（Ｆａｌｓｅ）の場合に、各々以下の演算処理を実行する。
【００９７】
・式（２８）の評価が真の場合
この場合は、上下相関値ＣVが左右相関値ＣHのｋ倍以上大きいため、上下の画素の画素値ＧＬN、ＧＬSと注目画素の画素値ＧＬXとの相関性が低いことを示している。したがって、左右の画素の画素値ＧＬE、ＧＬWと注目画素の画素値ＧＬXとの相関性が高いから、次式（３０）により、かかる相関性の高い画素値（但し、ＬＰＦによる補間処理を施す前の画素値）ＧE、ＧWの平均値を用いて注目画素の画素値ＧXを補間する。
ＧX＝（ＧE＋ＧW）／２ ・・・・（３０）
【００９８】
・式（２９）の評価が真の場合
この場合は、左右相関値ＣHが上下相関値ＣVのｋ倍以上大きいため、左右の画素の画素値ＧＬE、ＧＬWと注目画素の画素値ＧＬXとの相関性が低いことを示している。したがって、上下の画素の画素値ＧＬN、ＧＬSと注目画素の画素値ＧＬXとの相関性が高いから、次式（３１）により、かかる相関性の高い画素値（但し、ＬＰＦによる補間処理を施す前の画素値）ＧN、ＧSの平均値を用いて注目画素の画素値ＧXを補間する。
ＧX＝（ＧN＋ＧS）／２ ・・・・（３１）
【００９９】
・式（２８）及び式（２９）の評価が共に偽の場合
この場合は、左右相関値ＣHと上下相関値ＣVの値が共に小さく、いずれの相関性も高いことを示している。したがって、次式（３２）により、かかる相関性の高い四つの画素値（但し、ＬＰＦによる補間処理を施す前の画素値）ＧN、ＧW、ＧS、ＧEの平均値を用いて注目画素の画素値ＧXを補間する。
ＧX＝（ＧN＋ＧW＋ＧS＋ＧE）／４ ・・・・（３２）
【０１００】
・実際の演算例
例えば、ＧＬN＝１９１、ＧＬW＝６３、ＧＬS＝１９１、ＧＬE＝２５５、ＧＬX＝１９１とし、ＧN＝２５５、ＧW＝０、ＧS＝２５５、ＧE＝２５５、ＧX＝情報欠落画素とすると、上下相関値ＣVは、
【０１０１】
したがって、上下相関値ＣVと左右相関値ＣHの大小関係は、前式（２９）を満たすから、
【０１０２】
本実施形態は、以上の例示に限定されない。例えば、補間の際の平均値演算を行うときのオペランド（演算の対象となる数値）の各々にトータルで１となる重み値を乗じてもよい。あるいは、前述の実施形態と組み合わせて、垂直方向又は水平方向の相関性が高い場合は本実施形態を実行する一方、それ以外の場合は前述の実施形態を実行するようにしてもよい。
【０１０３】
なお、以上の説明では、Ｇ画素の補間処理について詳述した。これは、輝度情報を含む緑色（Ｇ）の画像信号が画質（特に輪郭線の精細さ）に大きな影響を及ぼすからである。かかる観点に従えば、Ｇ画素の補間処理だけでも相応の画質向上が得られるものの、本発明は、Ｒ画素やＢ画素の補間処理を排除するものではない。Ｇ画素の補間処理とＲ画素やＢ画素の補間処理を併用してもよく、あるいは、Ｒ画素やＢ画素の補間処理を単独で行ってもよい。
【０１０４】
但し、Ｒ画素やＧ画素の配列はＧ画素のような市松状になっていないため、当然のことながら、注目画素（ｉ，ｊ）の画素値と、その周囲に隣接する画素の画素値との相関をとる場合などは、その配列（図１１はＲ画素の配列を示す；Ｂ画素も同じ配列である）を加味して適切な座標の画素値を参照すべきことはもちろんである。
【０１０５】
【発明の効果】
請求項１又は５記載の発明によれば、相関性の高い隣接画素の画素値を参照して欠落画素の画素値を補間することができる。
【０１０６】
したがって、相関性の低い隣接画素、例えば、明暗のはっきりした境界線（輪郭線）を挟んで隣接する画素については、補間のための参照から除外でき、若しくは、その影響を少なくでき、特に明暗のはっきりした境界部分を持つ画像の再現性を向上することができる。また、補間対象となる色成分と同じ色成分に対応して生成された低域画像信号に基づいて隣接画素の相関性を評価するので、より画像の再現性を向上することができる。
【０１０７】
又は、請求項２記載の発明によれば、更に、重み付け係数の値を変えて補間処理の効果を様々に変更することができる。又は、請求項３記載の発明によれば、更に、相関性の高低をより明確にして、補間処理の効果を一層高めることができる。又は、請求項４記載の発明によれば、更に、フレーム内の画素補間を行うことができる。
【図面の簡単な説明】
【図１】実施形態の全体構成図である。
【図２】実施形態の補間処理手順図である。
【図３】ＬＰＦ処理画像の注目画素を含む画素配列図である。
【図４】相関値演算処理の処理手順図である。
【図５】重み付け係数演算処理の処理手順図である。
【図６】ＧX演算処理の処理手順図である。
【図７】相関値演算の概念図である。
【図８】情報欠落画素の補間概念図である。
【図９】すべての情報欠落画素の補間概念図である。
【図１０】実施形態の補間結果を模式的な明暗模様で示す図である。
【図１１】Ｒ画素の配列概念図である。
【図１２】ＣＣＤの構成図である。
【図１３】ＣＣＤと色フィルタを示す図である。
【図１４】ベイヤー方式の色フィルタの原理図である。
【図１５】実際の色フィルタの構成図である。
【図１６】インターレース型ＣＣＤに適用する色フィルタの構成図である。
【図１７】Ｇフィルタだけを抜き出したフィルタの構成図である。
【図１８】Ｇ画素信号の配列モデル図である。
【図１９】画素信号のレベル特性図である。
【図２０】周囲画素の平均値による補間法の処理手順図である。
【図２１】注目画素を含む隣接画素の配置概念図である。
【図２２】周囲画素の平均値による補間法を用いた補間結果を示す図である。
【図２３】周囲画素の平均値による補間法の問題点を説明する図である。
【図２４】ＬＰＦによる補間法の処理手順図である。
【図２５】画素データ取得処理手順図（１／２）である。
【図２６】画素データ取得処理手順図（２／２）である。
【図２７】重み付け係数セット処理手順図（１／２）である。
【図２８】重み付け係数セット処理手順図（２／２）である。
【図２９】ＧX演算処理手順図である。
【図３０】ＬＰＦによる補間処理で使用する画素配置図である。
【図３１】ＬＰＦによる補間法を用いた補間結果を示す図である。
【図３２】ＬＰＦによる補間法の問題点を説明する図である。
【符号の説明】
１０ 撮像デバイス（単板式のカラー撮像デバイス）
１４ メモリ部（保持手段）
２０ ＣＰＵ（生成手段、評価手段、演算手段、補間手段）
Claims (5)
- 単板式のカラー撮像デバイスによって各色成分毎に所定の画素が欠落した形で撮像された画像信号の欠落画素を隣接画素の状態に応じて補間する機能を備えた撮像装置であって、
欠落画素を含む所定の色成分の画像信号である元画像信号を保持する保持手段と、
前記保持手段に保持された前記元画像信号の低域成分を抽出して低域画像信号を生成する生成手段と、
前記生成手段により生成された前記低域画像信号に基づいて、各画素とその周囲の隣接画素との相関性を評価する評価手段と、
前記評価手段の評価結果を用いて前記保持手段に保持された前記元画像信号の欠落画素を補間する補間手段と、
を備えたことを特徴とする撮像装置。 - 前記補間手段は、前記評価手段の評価結果に応じた重み付け係数を隣接画素に対して割り当て、
隣接画素に対して割り当てられた重み付け係数を前記保持手段に保持された前記元画像信号の隣接画素に適用して該隣接画素の平均値を演算する演算手段を備え、
前記演算手段の演算結果を用いて前記保持手段に保持された前記元画像信号の欠落画素を補間することを特徴とする請求項１記載の撮像装置。 - 前記演算手段は、相関性の低い隣接画素に対しては小さな重み付け係数を割り当てる一方、相関性の高い隣接画素に対しては大きな重み付け係数を割り当てることを特徴とする請求項２記載の撮像装置。
- 前記隣接画素は、注目画素と同一位置の１ライン前の画素、注目画素と同一ラインの隣り合う画素又は注目画素と同一位置の１ライン後の画素の何れか若しくはすべてであることを特徴とする請求項１記載の撮像装置。
- 単板式のカラー撮像デバイスによって各色成分毎に所定の画素が欠落した形で撮像された画像信号の欠落画素を隣接画素の状態に応じて補間するカラー撮像信号の処理方法であって、
欠落画素を含む所定の色成分の画像信号である元画像信号を保持する第１ステップと、
前記第１ステップで保持された前記元画像信号の低域成分を抽出して低域画像信号を生成する第２ステップと、
前記第２ステップで生成された前記低域画像信号に基づいて、各画素とその周囲の隣接画素との相関性を評価する第３ステップと、
前記第３ステップの評価結果を用いて前記第１ステップで保持された前記元画像信号の欠落画素を補間する第４ステップと、
を含むことを特徴とするカラー撮像信号の処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08314799A JP3711401B2 (ja) | 1999-03-26 | 1999-03-26 | 撮像装置及びカラー撮像信号の処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08314799A JP3711401B2 (ja) | 1999-03-26 | 1999-03-26 | 撮像装置及びカラー撮像信号の処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000278703A JP2000278703A (ja) | 2000-10-06 |
| JP3711401B2 true JP3711401B2 (ja) | 2005-11-02 |
Family
ID=13794123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08314799A Expired - Fee Related JP3711401B2 (ja) | 1999-03-26 | 1999-03-26 | 撮像装置及びカラー撮像信号の処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3711401B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8009935B2 (en) | 2007-07-30 | 2011-08-30 | Casio Computer Co., Ltd. | Pixel interpolation circuit, pixel interpolation method, and recording medium |
| JP5098054B2 (ja) * | 2007-11-22 | 2012-12-12 | オリンパス株式会社 | 画像処理装置及び画像処理プログラム |
-
1999
- 1999-03-26 JP JP08314799A patent/JP3711401B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000278703A (ja) | 2000-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| USRE47062E1 (en) | Image processing apparatus and method for generating a restoration image | |
| US7479998B2 (en) | Image pickup and conversion apparatus | |
| JP4610930B2 (ja) | 画像処理装置、画像処理プログラム | |
| JP5519083B2 (ja) | 画像処理装置、方法、プログラムおよび撮像装置 | |
| JPH10341447A (ja) | 画像信号処理装置 | |
| CN101467444A (zh) | 固态图像传感器 | |
| US7570285B2 (en) | Image processing device suppressing color moire when restoring an image | |
| WO2006048962A1 (ja) | 画素信号処理装置及び画素信号処理方法 | |
| US20060181620A1 (en) | Decreasing aliasing in electronic images | |
| JP2000023174A (ja) | 画像処理装置及び画像処理方法 | |
| JP3755921B2 (ja) | 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置 | |
| US6847396B1 (en) | Interpolation method for producing full color images in using a single-chip color sensor | |
| JP2002209151A (ja) | トーンスケール関数の生成方法 | |
| JP3902525B2 (ja) | 画像信号処理装置 | |
| JP3711401B2 (ja) | 撮像装置及びカラー撮像信号の処理方法 | |
| JP3711402B2 (ja) | 撮像装置及びカラー撮像信号の処理方法 | |
| JP5036524B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
| CN104025576B (zh) | 摄像装置及摄像装置的控制方法 | |
| US20080131022A1 (en) | Method and Apparatus for Resolution Improvement in Digital Capturing | |
| JP5153842B2 (ja) | 画像処理装置、画像処理プログラム | |
| JP4334484B2 (ja) | 画素信号処理装置及び方法 | |
| JP3115123B2 (ja) | 画像信号処理装置 | |
| JP2002209224A (ja) | 画像処理装置、画像処理方法および記録媒体 | |
| JP2005328338A (ja) | 撮像装置及び撮像装置付き携帯端末 | |
| JPH10285605A (ja) | 画素信号生成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040720 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040921 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050713 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050726 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080826 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110826 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130826 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |