JP3711402B2 - 撮像装置及びカラー撮像信号の処理方法 - Google Patents
撮像装置及びカラー撮像信号の処理方法 Download PDFInfo
- Publication number
- JP3711402B2 JP3711402B2 JP2000106213A JP2000106213A JP3711402B2 JP 3711402 B2 JP3711402 B2 JP 3711402B2 JP 2000106213 A JP2000106213 A JP 2000106213A JP 2000106213 A JP2000106213 A JP 2000106213A JP 3711402 B2 JP3711402 B2 JP 3711402B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image signal
- frequency
- pixels
- missing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置及びカラー撮像信号の処理方法に関し、詳しくは、単板式のカラー撮像デバイスを備えた撮像装置及びカラー撮像信号の処理方法に関する。
【０００２】
【従来の技術】
多数の光電変換素子を二次元に配列し、被写体からの光に応じた画像信号を出力する、例えば、ＣＣＤ（Charge Coupled Device）に代表される撮像デバイスは、そのままでは色情報を含む画像信号を出力できない。光電変換素子が単に光の明暗の強度に対応した信号しか発生しないからである。色情報を得るために、３個の撮像デバイスを用い、その各々に赤、緑、青の色フィルタを装着して、それぞれの撮像デバイスから赤色、緑色、青色の画像信号を取り出すようにした三板式のカラー撮像デバイスが知られている。三板式の撮像デバイスは専ら色再現性を重視するスタジオ用テレビカメラなどに多用されるが、家庭用のビデオカメラや普及型の電子カメラなどには、サイズや重さ及び電力消費の点から１個の撮像デバイスとモザイク状の色フィルタとを組み合わせた単板式のカラー撮像デバイスが用いられる。
【０００３】
図２５は、ｎ列×ｍ行の画素を有するＣＣＤの構成図である。ＣＣＤ１は、入射光量に応じた電荷を蓄積するｎ×ｍ個の光電変換素子２をマトリクス状に二次元配列するとともに、各列間に１本ずつ、全部でｎ本の垂直転送部３を配置して撮像領域４を形成し、さらに、撮像領域４の図面に向かって下側に水平転送部５を配置して構成する。光電変換素子２に蓄積された信号電荷は、読み出し信号（不図示）に応答して隣接する垂直転送部３に取り込まれ、垂直転送部３の内部を垂直転送クロック（不図示）に同期して図面の下方向に順次転送される。すべての垂直転送部３の出力端は水平転送部５に接続されており、水平転送部５には、垂直転送クロックに同期して１ライン分の信号電荷が順次に取り込まれる。水平転送部５に取り込まれた信号電荷は、水平転送クロック（不図示）に同期して図面の左方向に順次転送され、水平転送部５の出力端に到達した信号電荷は、同端に設けられた電荷検出部６で電気信号に変換され、アンプ７で増幅された後、端子８からＣＣＤ出力として外部に取り出される。
【０００４】
ここで、光電変換素子２の水平方向の並び（走査線又はライン）にそれぞれＯ１、Ｅ１、Ｏ２、Ｅ２、Ｏ３、Ｅ３、・・・・の便宜的な符号を付すことにする。但し、Ｏは奇数の略、Ｅは偶数の略である。Ｏ１、Ｏ２、Ｏ３で奇数ラインを、Ｅ１、Ｅ２、Ｅ３で偶数ラインを示すものとする。インターレース型のＣＣＤは、フィールド読み出し（フィールド蓄積ともいう）と、フレーム読み出し（フレーム蓄積ともいう）の二つのモードを外部から切替えることができる。フィールド読み出しではＣＣＤ出力がＯ１＋Ｅ１、Ｏ２＋Ｅ２、Ｏ３＋Ｅ３、・・・・の順番になり、フレーム読み出しでは奇数フレームと偶数フレームの２回に分けてＣＣＤ出力が取り出される。すなわち、奇数フレームではＣＣＤ出力がＯ１、Ｏ２、Ｏ３、・・・・の順番になり、偶数フレームではＣＣＤ出力がＥ１、Ｅ２、Ｅ３、・・・・の順番になる。
【０００５】
図２６は、ＣＣＤ１と色フィルタ９を示す図である。ＣＣＤ１の桝目は各々１個の光電変換素子２を含む画素を表しており、各画素は色フィルタ９の桝目と一対一に対応している。色フィルタ９の桝目はそれぞれ特定の色を有しており、色の選び方や配列の仕方によって様々なタイプのものが使用されている。例えば、図２７は、Ｂ．Ｅ．Ｂａｙｅｒによって考え出されたベイヤー方式（又は緑市松方式）と呼ばれる色フィルタの原理図であり、この方式は色信号と輝度信号のＳ／Ｎバランスがよく、被写体の明るさに依存せずに良好な色再現性が得られることから、広く用いられている方式である。図２７において、Ｙは輝度情報を得るためのフィルタ、Ｃ1、Ｃ2は色情報を得るためのフィルタである。Ｙフィルタを市松状に配置するとともに、奇数ラインの隙間にＣ1フィルタを配置し、偶数ラインの隙間にＣ2ラインを配置して構成する。なお、Ｙフィルタを多く配置する理由は、人間の視覚上、色情報よりも輝度情報の方が画像の解像度や輪郭のシャープさをよく知覚するからである。
【０００６】
図２８は、実際の色フィルタの構成図である。Ｒは赤色のフィルタ、Ｇは緑色のフィルタ、Ｂは青色のフィルタである。赤（Ｒ）、緑（Ｇ）、青（Ｂ）は光の三原色であり、特に、緑色は被写体の明るさをよく表すから、Ｇフィルタは輝度情報を得るためのフィルタとしても用いられる。すなわち、Ｇフィルタは、図２７のＹフィルタに相当し、ＲフィルタとＢフィルタは、図２７のＣ1、Ｃ2フィルタに相当する。なお、インターレース型のＣＣＤの場合、色フィルタは、図２９に示すように奇数ライン（Ｏ＊；＊は１，２，３・…）と偶数ライン（Ｅ＊）で同一の配列になるが、フィールド読み出しやフレーム読み出しに関わらず、読み出された画素の配列に着目すれば、図２８の配列（ベイヤー方式に則った色情報の並び）とまったく同じである。すなわち、フィールド読み出しではＯ１＋Ｅ１、Ｏ２＋Ｅ２、Ｏ３＋Ｅ３の２ライン合成読み出しとなり、一方、フレーム読み出しではＯ１、Ｏ２、Ｏ３、・・・、Ｅ１、Ｅ２、Ｅ３の飛び越しライン読み出しとなるが、何れの読み出しも、Ｇ／ＲラインとＢ／Ｇラインを順次に読み出す点で同一である。したがって、本明細書では特に断りのない限り、図２８に示すベイヤー方式の配列でＣＣＤの画素や色フィルタの配列を説明することにする。
【０００７】
既述のとおり、ベイヤー方式の色フィルタは、輝度情報を得るためのＧフィルタを市松状に配列して構成する。図３０は、Ｇフィルタだけを抜き出したフィルタの構成図である。この図はＧ画素信号（以下「ベイヤーデータのＧ成分」ということもある）の並びを示す図でもあり、市松状に配列するＧ画素信号は、縦横各々一つの情報欠落画素を間に挟んでいる。ここで、Ｇ画素信号は輝度情報を含み、輝度情報は既述のとおり画像の解像度や輪郭のシャープさに大きな影響を与えるから、上記情報欠落画素に対する補間処理、すなわち、何らかの補間画素情報を与える必要があり、従来より「周囲画素の平均値による補間法」や「ＬＰＦ（ローパスフィルタ）による補間法」を用いた情報補間が行われていた。
【０００８】
・第１の従来技術（周囲画素の平均値による補間法）
周囲画素の平均値による補間法は、情報欠落画素を含むベイヤーデータのＧ成分に対して点順次の画素走査を行いながら、各走査位置の画素（以下「注目画素」という）が情報欠落画素である場合に、当該情報欠落画素の上下左右に位置する四つの隣接画素の画素信号ＧN、ＧW、ＧS、ＧEを次式（１）に適用して、周囲画素の平均値に相当する補間情報ＧXを演算し、注目画素にその補間情報ＧXをセットしていくというものである。
ＧX＝（ＧN＋ＧW＋ＧS＋ＧE）／４ ・・・・（１）
【０００９】
しかしながら、周囲画素の平均値による補間法にあっては、注目画素の上下左右の画素のいくつかが、注目画素の画像領域とは異なる明るさの他の画像領域に位置していた場合、両画像領域間の境界線に“凹凸”（キザキザ）を生じるという不都合があった。これは、上式（１）のＧN、ＧW、ＧS、ＧEのいずれかが、他の画像領域の明るさの情報を持つからであり、その情報によって注目画素の値（ＧX）が不本意に変化するからである。
【００１０】
・第２の従来技術（ＬＰＦによる補間法）
一方、ＬＰＦによる補間法は、ベイヤーデータのＧ成分にｎ×ｎ（一般にｎ＝３）のＬＰＦをかけて畳み込みを行ない（ＬＰＦ処理の詳細は本発明の実施の形態の欄で説明する）、その畳込み結果を用いて、注目画素とその周囲画素との間の相関性を表す相関情報を生成し、この相関情報を元のベイヤーデータのＧ成分に加えるというものである。しかしながら、ＬＰＦによる補間法にあっては、情報欠落画素以外の画素値も操作してしまうため、例えば、画像内に明暗のはっきりした境界があった場合に、その境界線が“ぼやけ”てしまうという不都合があった。
【００１１】
・第３の従来技術
以上のように、上記二つの補間法にあっては、何れも明暗のはっきりした境界部分を持つ画像の再現性が不十分であった。そこで、本件発明者らは先に、上記二つの補間法の欠点を克服するようにした「撮像装置及びカラー撮像信号の処理方法」を提案している（特願平１１−８３１４７号／平成１１年３月２６日）。図３１は、既提案技術（以下「第３の従来技術」という）における補間処理および該補間処理後の画像データに対する高域強調処理の概略手順図である。この手順は、ベイヤーデータのＧ成分をＬＰＦ処理し（ステップＳ１）、ＬＰＦ処理したベイヤーデータのＧ成分から相関情報を生成し（ステップＳ２）、その相関情報を用いて元のベイヤーデータのＧ成分を相関補間し（ステップＳ３）、ＬＰＦ処理したベイヤーデータのＧ成分と相関補間後のベイヤーデータのＧ成分との差分（高域差分）をとってＮ倍した後（ステップＳ４）、Ｎ倍後の差分をＬＰＦ処理したベイヤーデータのＧ成分に加えて出力画像とする（ステップＳ５）というものである。
この第３の従来技術によれば、注目画素の画素値に対して周囲画素の平均値を適用しないため、明るさの異なる他の画像領域との境界線における上述の“ギザギサ”問題を解消できるうえ、ＬＰＦ処理によって失われた周波数成分（高域差分）も補うことができるため、上述の“ぼやけ”問題も解消することができるという有益なメリットが得られる。
【００１２】
ここで、上記の“Ｎ”は出力画像の高域強調（エッジ強調ともいう）用の変数である。高域強調を行なう場合は“Ｎ”の値を“１”よりも大きくする（ステップＳ６）。一般に、ＣＣＤ（Charge Coupled Device）などの撮像デバイスを有する画像生成装置では、撮像系の光学的伝達関数（いわゆるＯＴＦ：Optical Transfer Function）や、ディジタル信号変換ならびに各種信号処理の際の帯域制限などにより、ディジタル画像信号の空間周波数の高域成分が失われやすく、画像のエッジ部分のシャープさが損なわれるため、上記“Ｎ”の値を“１”よりも大きく（例えばＮ＝２）して高域成分を補償する。
【００１３】
【発明が解決しようとする課題】
しかしながら、上記第３の従来技術にあっては、明暗のはっきりした境界部分を持つ画像の再現性を改善できるという有益なメリットが得られるものの、例えば、画像の精細度を最大限に高める（画素単位で良好な精細度を得る）という近時のユーザニーズに対しては十分に応えているということができず（特に高域強調を行おうとした場合）、この点において、未だ解決すべき技術課題があった。
【００１４】
一般に、ディジタル画像の解像度は撮像デバイスの画素数に依存し、昨今では２００万画素を超える撮像デバイスを備えた画像生成装置も珍しくなく、その画素数に応じたきわめて高精細なディジタル画像を生成できるようになった。一方で、コストなどの要求から普及型の電子スチルカメラ等にあっては、冒頭で説明したとおり単板式のデバイスを備えることが多く、たとえ、２００万画素を超える高画素デバイスであっても、そのうちの何割かの画素（情報欠落画素）については内部処理による情報補間が行われているところである。しかしながら、この情報補間が不正確な場合（元の画像の情報を正確にあらわしていない場合）は、例えば、金属製の球状物体を撮影したディジタル画像などで、物体表面の陰影変化を滑らかに表現することができない。上記の第３の従来技術にあっては、詳細は後述するが、情報欠落画素の補間情報がその周囲の画素情報と同一ないし類似するものとなってしまうため、画像の精細度を画素単位に向上することができず、上記画像の滑らかさの点で改善すべき余地があった。
【００１５】
そこで、本発明は、明暗のはっきりした境界部分を持つ画像の再現性を改善するとともに、画像の精細度を画素単位に向上できる撮像装置及びカラー撮像信号の処理方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
請求項１記載の発明に係る撮像装置は、単板式のカラー撮像デバイスによって各色成分毎に所定の画素が欠落した形で撮像された画像信号の欠落画素を隣接画素の状態に応じて補間する機能を備えた撮像装置であって、欠落画素を含む所定の色成分の画像信号である元画像信号を保持する保持手段と、前記保持手段に保持された前記元画像信号の低域成分を抽出して低域画像信号を生成する第１生成手段と、前記保持手段に保持された前記元画像信号の高域成分を抽出して高域画像信号を生成する第２生成手段と、前記低域画像信号に基づいて各画素とその周囲の隣接画素との相関性を評価する評価手段と、前記評価手段の評価結果を用いて前記高域画像信号の欠落画素を補間する補間手段と、前記補間後の高域画像信号と前記低域画像信号とを合成して出力画像信号を生成する第３生成手段と、を備えたことを特徴とする。請求項２記載の発明に係る撮像装置は、請求項１記載の撮像装置において、前記補間手段は、前記評価手段の評価結果に応じた重み付け係数を隣接画素に対して割り当て、隣接画素に対して割り当てられた重み付け係数を前記高域画像信号の隣接画素に適用して該隣接画素の平均値を演算する演算手段を備え、前記演算手段の演算結果を用いて前記高域画像信号の欠落画素を補間することを特徴とする。請求項３記載の発明に係る撮像装置は、請求項２記載の撮像装置において、前記演算手段は、相関性の低い隣接画素に対しては小さな重み付け係数を割り当てる一方、相関性の高い隣接画素に対しては大きな重み付け係数を割り当てることを特徴とする。請求項４記載の発明に係る撮像装置は、請求項１記載の撮像装置において、前記隣接画素は、注目画素と同一位置の１ライン前の画素、注目画素と同一ラインの隣り合う画素又は注目画素と同一位置の１ライン後の画素の何れか若しくはすべてであることを特徴とする。請求項５記載の発明に係る撮像装置は、請求項１記載の撮像装置において、前記第３生成手段は、前記補間後の高域画像信号をＮ倍（Ｎは１または１以上の整数）して前記低域画像信号に合成することを特徴とする。請求項６記載の発明に係る撮像装置は、請求項１乃至請求項５いずれかに記載の撮像装置において、前記第２生成手段は、前記保持手段に保持された画像信号から前記第１の生成手段により生成された低域画像信号を減算することにより画像信号の高域成分を抽出して高域画像信号を生成することを特徴とする。請求項７記載の発明に係る撮像装置は、請求項１乃至請求項６いずれかに記載の撮像装置において、前記元画像信号は、単板式のカラー撮像デバイスによって撮像されたベイヤー信号中のＧ成分信号であることを特徴とする。請求項８記載のカラー撮像信号の処理方法は、単板式のカラー撮像デバイスによって各色成分毎に所定の画素が欠落した形で撮像された画像信号の欠落画素を隣接画素の状態に応じて補間するカラー撮像信号の処理方法であって、欠落画素を含む所定の色成分の画像信号である元画像信号を保持する第１ステップと、前記保持された前記元画像信号の低域成分を抽出して低域画像信号を生成する第２ステップと、前記保持された前記元画像信号の高域成分を抽出して高域画像信号を生成する第３ステップと、前記低域画像信号に基づいて各画素とその周囲の隣接画素との相関性を評価する第４ステップと、その評価結果を用いて前記高域画像信号の欠落画素を補間する第５ステップと、前記補間後の高域画像信号と前記低域画像信号とを合成して出力画像信号を生成する第６ステップと、を含むことを特徴とする。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
図１は、本発明の実施の形態の全体構成図である。図１において、撮像デバイス１０は撮像面にモザイク状の色フィルタが装着された、例えば、ＣＣＤで構成される単板式のカラー撮像デバイスであり、この撮像デバイス１０は不図示の光学系を介して入力された被写体像に対応する電気信号に変換して出力する。撮像デバイス１０の駆動制御は駆動回路１１によって行われ、撮像デバイス１０から出力された電気的な画像信号はＡ／Ｄ変換器１２によってディジタル信号に変換された後、メモリコントローラ１３の制御の下でメモリ部１４の画像メモリ１５（発明の要旨に記載の保持手段に相当）に記憶される。
【００１８】
メモリ部１４はさらに赤色専用メモリ（以下「Ｒ用メモリ」という）１６、緑色専用メモリ（以下「Ｇ用メモリ」という）１７、青色専用メモリ（以下「Ｂ用メモリ」という）１８及び作業用メモリ１９を含み、これらのメモリ１６〜１９の入出力はＣＰＵ２０によって制御される。
ＣＰＵ２０は、発明の要旨に記載の第１生成手段、第２生成手段、評価手段、補間手段、第３生成手段及び演算手段として機能し、プログラムＲＯＭ２１にあらかじめ格納された処理プログラムに従って、所定の補間処理を実行し、画像メモリ１５、Ｒ用メモリ１６、Ｇ用メモリ１７、Ｂ用メモリ１８及び作業用メモリ１９の間のデータ入出力を制御しつつ、Ｒ用メモリ１６、Ｇ用メモリ１７及びＢ用メモリ１８に展開されたＲ、Ｇ及びＢの各原色画像の情報欠落画素を補間する処理を実行するとともに、以下に説明する工夫により、特に画像の精細度を画素単位に高めて、表示、通信又は印刷を含むあらゆる画像処理装置に適用して好適な近時のユーザニーズを満足する良好な画質のカラー画像を生成して提供する。なお、データＲＯＭ２２は色フィルタの画素配置情報を保持しており、この情報はＣＰＵ２０からのアクセスで適宜に利用される。
【００１９】
図２は、ＣＰＵ２０で実行される本実施の形態の画素補間処理（図では「画素補間処理メイン処理」という）の処理手順図である。この画素補間処理の大まかな流れは、まず、画像メモリ１５に取り込まれた元画像信号（ベイヤーデータ；以下「ＢＤ」という）を原色別にＲ用メモリ１６、Ｇ用メモリ１７及びＢ用メモリ１８に展開し、その後、Ｒ用メモリ１６、Ｇ用メモリ１７及びＢ用メモリ１８に展開された各原色画像を作業用メモリ１９にコピーする（ステップＳ１０）。次に、Ｒ用メモリ１６、Ｇ用メモリ１７及びＢ用メモリ１８に展開されたコピー画像（以下、Ｇ成分（以下、「ＢＤＧ」という）についてのみ説明）を従来例と同様にＬＰＦ処理し（ステップＳ２０）、元のＢＤＧとＬＰＦ処理した後のＢＤ（以下「ＧＬ」という）との差分（高域差分）をとり（ステップＳ３０）、その高域差分（発明の要旨に記載の高域画像信号に相当；以下「ＤＧＨ」という）に対する相関補間処理を行う（ステップＳ４０）。
次に、画像の高域強調を行うか否かを判断し（ステップＳ５０）、高域強調を行わない場合は変数Ｎに“１”をセット（ステップＳ６０）する一方、高域強調を行う場合は変数Ｎに所定の強調係数（例えば“２”）をセットする（ステップＳ７０）。
次に、ＧＬ（ＬＰＦ処理後のＢＤＧ）とＮ倍した相関補間後のＤＧＨとを加算し（ステップＳ８０）、最後に、その加算結果（ＧＨ）を補間済画像として出力する（ステップＳ９０）というものである。
【００２０】
図３は、ＢＤＧの配列モデル例を示す図である。図において、桝目の一つ一つは画素であり、画素内の数値は画素信号の大きさを示し、ハッチングは情報欠落画素を表している。但し、各々の画素を（ｉ，ｊ）の座標で表すこととし、ｉ及びｊの最小値を「０」、ｉの最大値ｉMAX及びｊの最大値ｊMAXを便宜的に「９」とする。注目画素とその周囲画素の座標値の一般表記は、図４（ａ）に示すとおりである。すなわち、注目画素の座標を（ｉ，ｊ）とするとき、左上に位置する画素の座標は（ｉ−１，ｊ−１）で表され、真上に位置する画素の座標は（ｉ，ｊ−１）で表され、右上に位置する画素の座標は（ｉ＋１，ｊ−１）で表され、右に位置する画素の座標は（ｉ＋１，ｊ）で表され、右下に位置する画素の座標は（ｉ＋１，ｊ＋１）で表され、真下に位置する画素の座標は（ｉ，ｊ＋１）で表され、左下に位置する画素の座標は（ｉ−１，ｊ＋１）で表され、左に位置する画素の座標は（ｉ−１，ｊ）で表されるものとする。
画素信号は、例えば「２５５」〜「０」までの階調値を取り得るものとし、且つ、画像処理分野での一般的な表現に倣って、図４（ｂ）に示すように「２５５」を白レベル、「０」を黒レベルとする。なお、図４（ｂ）ではγ（ガンマ）補正を考慮していない。
【００２１】
ここで、以下の説明においては、図３に示すＢＤＧの特定の範囲（破線で囲んだ範囲）を対象とした限定的な補間処理を例示するが、これは説明を単純化するための便宜であり、それ以外の特段の理由はない。ＢＤＧの特定の範囲には例示的に示す三つの画素値（「２４」、「３２」及び「０」）が示されている。図４（ｂ）によれば、「０」は黒レベルであり、「２４」と「３２」は黒レベルよりも明るい中間レベルである。但し、「２４」よりも「３２」の方が明るいレベルであるから、この画素値配列例によれば、人間の目にはレベル「３２」が集中する中央部分が最も明るい部分として認識されることになる。これを二次元平面内の輝度レベルの変化（すなわち陰影変化）で見ると、中央部分に向かって周囲から徐々に明るさを増す変化傾向となり、その最大輝度レベルを持つ画素は、周囲をレベル「３２」の画素に囲まれたひとつの情報欠落画素（以下「ＧC」という）であるということができる。
【００２２】
本実施の形態における究極の目的は、この情報欠落画素ＧC（最大輝度レベルを持つであろう特定の情報欠落画素）に対し、適切な画素値補間（この例示では少なくとも周囲のレベル「３２」を上回る画素値補間）を行うことにより、輝度レベルの変化（すなわち陰影変化）に見た目の滑らかさを与え、以って、画素単位に画像の精細度を向上できる有益なカラー撮像信号の処理技術を提供することにある。
【００２３】
以下、図２の各処理ステップごとに、その詳細を説明する。
＜ＬＰＦ処理＞
図５は、図２のステップＳ２０の詳細処理フローチャートであり、ＬＰＦ（ローパスフィルタ）による補間法の処理手順図である。この処理手順では、二つの座標変数ｉ、ｊの値を変化させながら水平方向と垂直方向に点順次の画素走査を行いつつ（ステップＳ２１、ステップＳ２５〜ステップＳ２９）、各走査位置（ｉ，ｊ）ごとに、（ｉ，ｊ）を含む３×３個の画素に対する、画素データ取得処理（ステップＳ２２）、重み付け係数セット処理（ステップＳ２３）及びＧＬ(i,j)演算処理（ステップＳ２４）を行う。
なお、３×３個の各画素に対応する画素値格納変数と重み付け係数の位置関係は、それぞれ図６（ａ）、（ｂ）を参照することにする。すなわち、図６（ａ）は各画素に対応する画素値格納変数（ＧNE、ＧN、ＧNW、ＧW、ＧSW、ＧS、ＧSE、ＧE、ＧX）の配列図、図６（ｂ）は各画素に対応する重み付け係数（ＫNE、ＫN、ＫNW、ＫW、ＫSW、ＫS、ＫSE、ＫE、ＫX）の配列図である。これらの変数及び係数の添え字“ＮＥ”、“Ｎ”、“ＮＷ”、“Ｗ”、“ＳＷ”、“Ｓ”、“ＳＥ”、“Ｅ”及び“Ｘ”はそれぞれ、前述の座標値の一般表記（図４（ａ）参照）に対応する。すなわち、ＮＥは（ｉ−１，ｊ−１）、Ｎは同（ｉ，ｊ−１）、ＮＷは（ｉ＋１，ｊ−１）、Ｗは（ｉ＋１，ｊ）、ＳＷは（ｉ＋１，ｊ＋１）、Ｓは（ｉ，ｊ＋１）、ＳＥは（ｉ−１，ｊ＋１）、Ｅは（ｉ−１，ｊ）、Ｘは（ｉ，ｊ）に対応する。
【００２４】
・画素データ取得処理
図５のステップＳ２２の画素データ取得処理の実際は、図７及び図８に示すとおりである。この処理では、３×３個の画素配列を左上、上、右上、右、右下、下、左下、左、中央の順に巡回しつつ、各巡回位置の画素が情報欠落画素であるか否かを判定し、情報欠落画素でない場合は、その画素値を同位置の画素値格納変数にセットする一方、情報欠落画素である場合は、同位置の画素値格納変数に「０」をセットする動作を繰り返す。
代表して左上の画素に対する動作を説明すると、（ｉ−１、ｊ−１）の画素が情報欠落画素であるか否かを判定し（ステップＳ２２＿１）、情報欠落画素でない場合は、その画素（ｉ−１、ｊ−１）の値を同位置の画素値格納変数ＧNEにセット（ステップＳ２２＿２）する一方、情報欠落画素である場合は、同画素情報格納変数ＧNEに「０」をセット（ステップＳ２２＿３）する。
今、便宜的に３×３個の画素配列の状態を、図９（ａ）のとおりと考える。この例示は、図３における座標（４，４）、（５，４）、（６，４）、（６，５）、（６，６）、（５，６）、（４，６）、（４，５）及び（５，５）の画素からなる配列（太線枠内）に相当する。図９（ｂ）は、図９（ａ）に従って画素データ取得処理を実行し、その結果得られた画素値格納変数の値を一緒にまとめたものである。
【００２５】
・重み付け係数セット処理
図５のステップＳ２３の重み付け係数セット処理の実際は、図１０及び図１１に示すとおりである。この処理では、画素データ取得処理と同様に、３×３個の画素配列を左上、上、右上、右、右下、下、左下、左、中央の順に巡回しつつ（ステップＳ２３＿１〜ステップＳ２３＿２６）、各巡回位置の画素が情報欠落画素であるか否かを判定し、情報欠落画素でない場合は、同位置の重み付け係数に「１」、「２」又は「４」をセット（※）する一方、情報欠落画素である場合は、同位置の重み付け係数に「０」をセットする動作を繰り返し、最後にすべての重み付け係数の加算値ΣＫを演算する（ステップＳ２３＿２８）。※但し、左上、右上、右下及び左下の重み付け係数ＫNE、ＫNW、ＫSW、ＫSEについては「１」をセットし、上下左右の重み付け係数ＫN、ＫW、ＫS、ＫEについては「２」をセットし、中央の重み付け係数ＫXについては「４」をセットする。なお、これらの定数（「１」、「２」及び「４」）は、中央の画素値に対する影響の大きさに応じて設定されていればよく、例示の値に限定されない。
代表して左上の画素に対する動作を説明すると、（ｉ−１、ｊ−１）の画素が情報欠落画素であるか否かを判定し（ステップＳ２３＿１）、情報欠落画素でない場合は、同位置の重み付け係数ＫNEに「１」をセット（ステップＳ２３＿２）する一方、情報欠落画素である場合は、同重み付け係数ＫNEに「０」をセット（ステップＳ２３＿３）する。
【００２６】
図１２は、図９（ａ）、（ｂ）のデータに従って重み付け係数セット処理を実行し、その結果得られた重み付け係数をまとめたものである。図１２によれば、重み付け係数の加算値ΣＫは、
になる。
【００２７】
・ＧＬ(i,j)演算処理の実際
図５のステップＳ２４のＧＬ(i,j)演算処理の実際は、図１３に示すとおりである。この処理では、上記の画素データ取得処理及び重み付け係数セット処理の処理結果を用いて、注目画素（ｉ，ｊ）の画素補間値ＧＬ(i,j)を演算する。図１３において、ＧNE、ＧN、ＧNW、ＧW、ＧSW、ＧS、ＧSE、ＧE及びＧXは、画素データ取得処理で得られた画素値格納変数（図９（ｂ）参照）であり、また、ＫNE、ＫN、ＫNW、ＫW、ＫSW、ＫS、ＫSE、ＫE及びＫXは、重み付け係数セット処理で得られた重み付け係数（図１２参照）である。
【００２８】
ＧＬ(i,j)演算処理では、まず、位置を同じくする画素値格納変数と重み付け係数を乗じ、その結果で当該画素値格納変数を更新する（ステップＳ２４＿１）。例えば、左上の画素に着目すると、ＧNEにＫNEを乗じ、その答えでＧNEを更新する。すべての画素値格納変数の更新を完了すると、次に、更新済みの画素値格納変数を加算して積算画素値ΣＧを演算する（ステップＳ２４＿２）。そして、そのΣＧを重み付け係数セット処理で演算したΣＫで除し、その答えをＧＬ(i,j)とする（ステップＳ２４＿３）。今、ＧNE、ＧN、ＧNW、ＧW、ＧSW、ＧS、ＧSE、ＧE及びＧXの値を、図９（ｂ）に示すとおりとし、また、ＫNE、ＫN、ＫNW、ＫW、ＫSW、ＫS、ＫSE、ＫE及びＫXの値を、図１２に示すとおりとすると、ステップＳ２４＿１の結果は、
【００２９】
となり、ΣＧは、
となる。また、ΣＫは前式（２）より、ΣＫ＝８であるから、結局、注目画素（ｉ，ｊ）の補間値ＧＬ(i,j)は、
ＧＬ(i,j)＝ΣＧ／ΣＫ＝２５６／８＝３２ ・・・・（５）
となる。
【００３０】
図１４は、注目画素（ｉ，ｊ）の補間値ＧＬ(i,j)の演算概念図であり、ベイヤーデータのＧ成分（ＢＤＧ）の注目画素（情報欠落画素）（５，５）〔ＧＬ(i,j) 〕の画素値として、上下左右の周囲の４画素（５，４）、（６，５）、（５，６）、（４，５）の画素値を反映したレベル「３２」（上式（５）の結果）が与えられている。図１５は、このような処理をベイヤーデータのＧ成分（ＢＤＧ）のすべての画素（情報欠落画素を含む）に対して実行して得られたＬＰＦ処理後のベイヤーデータのＧ成分（ＧＬ）を示す図であり、太線で囲まれた画素は、上記例示の注目画素（５，５）である。
【００３１】
＜ＢＤＧ−ＧＬ処理＞
図１６は、図２のステップＳ３０の詳細処理フローチャートであり、元のベイヤーデータのＧ成分（ＢＤＧ）とＬＰＦ処理後のベイヤーデータのＧ成分（ＧＬ）との差分（高域差分；ＤＧＨ）をとるための処理手順図である。この処理手順では、二つの座標変数ｉ、ｊの値を変化させながら水平方向と垂直方向に点順次の画素走査を行いつつ（ステップＳ３１、ステップＳ３４〜ステップＳ３８）、各走査位置（ｉ，ｊ）ごとに、ＢＤＧの注目画素ＢＤＧ(i,j)が情報欠落画素であるか否かの判定を行い（ステップＳ３２）、情報欠落画素でない場合に、その注目画素ＢＤＧ(i,j)の画素値から対応するＧＬ(i,j)の画素値を減算して、その減算結果をＤＧＨ(i,j)の画素値とする処理（ステップＳ３３）をＢＤＧのすべての画素に対して繰り返す。
【００３２】
図１７は、そのような処理によって得られたＤＧＨである。升目内の数値（“１”、“２”、“６”及び“−７”）は各々の座標位置におけるＢＤＧの画素とＧＬの画素の差分を表している。ここで、ＧＬはＬＰＦ処理（低域成分の抽出）を施した後のＢＤＧであって、言い換えれば、ＧＬは元のベイヤーデータのＧ成分（ＢＤＧ）に含まれる低域成分であるから、ＢＤＧとＧＬの差分は、結局、元のベイヤーデータのＧ成分（ＢＤＧ）から高域成分を抽出していることに相当し、升目内の数値（“１”、“２”、“６”及び“−７”）は各々の座標位置におけるＢＤＧの画素単位の高域成分を表していることになる。
【００３３】
＜ＤＧＨに対する相関補間処理＞
図１８〜図２０は、図２のステップＳ４０の詳細処理フローチャートであり、上記の高域差分（ＤＧＨ）の情報欠落画素に対する相関補間処理を行うための処理手順図である。この処理手順では、二つの座標変数ｉ、ｊの値を変化させながら水平方向と垂直方向に点順次の画素走査を行いつつ（ステップＳ４１、ステップＳ４６〜ステップＳ５０）、各走査位置（ｉ，ｊ）ごとに、情報欠落画素であるか否かを判定（ステップＳ４２）して情報欠落画素である場合に相関演算処理（ステップＳ４３）、重み付け係数演算処理（ステップＳ４４）及びＤＧＨ補間処理（ステップＳ４５）を繰り返す。
【００３４】
・相関演算処理
ステップＳ４３の相関値演算処理では、注目画素（ｉ，ｊ）に隣接する上下左右四つの画素の各々に対応する相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)に、注目画素の画素値に対する各対応画素の画素値の差（の絶対値）をセットする（ステップＳ４３ａ〜ステップＳ４３ｄ）。例えば、注目画素（ｉ，ｊ）の上に位置する画素（ｉ，ｊ−１）で説明すると、この場合は、注目画素（ｉ，ｊ）の画素値ＧＬ(i,j)と、対象画素（ｉ，ｊ−１）の画素値ＧＬ(i,j-1)の差の絶対値（｜ＧＬ(i,j)−ＧＬ(i,j-1)｜）を演算し、その演算結果を相関値変数Ｃ(i,j-1)にセットする（ステップＳ４３ａ）。そして、すべての相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)に対する値のセットを完了すると、次式（６）により、相関積算値ΣＣを演算する（ステップＳ４３ｅ）。
ΣＣ＝Ｃ(i,j-1)＋Ｃ(i+1,j)＋Ｃ(i,j+1)＋Ｃ(i-1,j) ・・・・（６）
相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)の例えば、Ｃ(i,j-1)の値が大きい場合は注目画素（ｉ，ｊ）と対象画素（ｉ，ｊ−１）の画素値の相関性が低く、逆にＣ(i,j-1)の値が小さい場合は相関性が高いことを表す。かかる相関性は隣接画素間における明暗又は色の類似性の度合いに対応するから、相関性の低い画素同士は各々境界線（又は輪郭線）によって隔てられた異なる画像に属するとみなすことができ、一方、相関性の高い画素同士は同一の画像に属するとみなすことができる。
【００３５】
・重み付け係数演算処理
ステップＳ４４の重み付け係数演算処理では、次の二つの並べ替え（ソート）処理を実行する。第一の並べ替え処理（ステップＳ４４ａ）では、相関値演算処理でセットしたすべての相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)について、昇順の並べ替え（値の小さい順からの並べ替え）を行い、並べ替え後のＣ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)を値の小さい順から昇順変数ＡＳＣ0、ＡＳＣ1、ＡＳＣ2、ＡＳＣ3にセットする。例えば、並べ替え後のＣ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)の順位をＣ(i,j-1)＜Ｃ(i+1,j)＜Ｃ(i ,j+1)＜Ｃ(i-1,j)とすると、以下のとおりセットされる。
【００３６】
なお、並べ替え後のＣ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)に同じ値が含まれる場合、例えば、Ｃ(i,j-1)＝Ｃ(i+1,j)＜Ｃ(i,j+1)＜Ｃ(i-1,j)のような場合は、上式（７）のようにセットしてもよく、あるいは、
のようにセット（Ｃ(i,j-1)とＣ(i+1,j)が入れ替わっている）してもよい。
【００３７】
次に、第二の並べ替え処理（ステップＳ４４ｂ）では、相関値演算処理でセットしたすべての相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)について、降順の並べ替え（値の大きい順からの並べ替え）を行い、並べ替え後のＣ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)に対応する座標位置のＤＧＨ画素値ＤＧＨ(i,j-1)、ＤＧＨ(i+1,j)、ＤＧＨ(i,j+1)、ＤＧＨ(i-1,j)を、相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)の値の大きい順から降順変数ＤＥＳＣ0、ＤＥＳＣ1、ＤＥＳＣ2、ＤＥＳＣ3にセットする。例えば、並べ替え後のＣ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)の順位をＣ(i,j-1)＜Ｃ(i+1,j)＜Ｃ(i,j+1)＜Ｃ(i-1,j)とすると、以下のとおりセットされる。
【００３８】
なお、第一の並べ替え処理と同様に、並べ替え後のＣ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)に同じ値が含まれる場合、例えば、Ｃ(i,j-1)＝Ｃ(i+1,j)＜Ｃ(i,j+1)＜Ｃ(i-1,j)のような場合は、上式（９）のようにセットしてもよく、あるいは、
のようにセット（Ｃ(i,j-1)とＣ(i+1,j)が入れ替わっている）してもよい。
【００３９】
・ＤＧＨ補間処理
ステップＳ４５のＤＧＨ補間算処理では、重み付け係数演算処理の演算結果を用いて、次式（１１）及び次式（１２）により、注目画素（ｉ，ｊ）の補間値ＤＧＨ(i,j)を演算する（ステップＳ４５ａ、ステップＳ４５ｂ）。
【００４０】
ここで、図２１（ａ）、（ｂ）に示すＧＬ画素値配列モデル及びそのＧＬ画素値配列モデルに対応したＤＧＨ画素値配列モデルを例にして具体的に説明する。図２１（ａ）において、太線枠内中央の画素をＧＬの注目画素ＧＬ(i,j)とすると、その上下左右に位置する隣接画素ＧＬ(i,j-1)、ＧＬ(i+1,j)、ＧＬ(i,j+1)、ＧＬ(i-1,j)の画素値は、それぞれ「３０」、「２４」、「３０」及び「３０」である。また、図２１（ｂ）において、太線枠内中央の画素をＤＧＨの注目画素ＤＧＨ(i,j)とすると、その上下左右に位置する隣接画素ＤＧＨ(i,j-1)、ＤＧＨ(i+1,j)、ＤＧＨ(i,j+1)、ＤＧＨ(i-1,j)の画素値は、それぞれ「２」、「８」、「２」及び「２」である。
【００４１】
まず、ステップＳ４３の「相関値演算処理」で、注目画素ＧＬ(i,j)に隣接する上下左右四つの画素の各々に対応する相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)に、注目画素の画素値ＧＬ(i,j)に対する各対応画素の画素値ＧＬ(i,j-1)、ＧＬ(i+1,j)、ＧＬ(i,j+1)、ＧＬ(i-1,j)の差（の絶対値）をセットする。すなわち、図２１（ａ）において、各画素値ＧＬ(i,j-1)、ＧＬ(i+1,j)、ＧＬ(i,j+1)、ＧＬ(i-1,j) 、ＧＬ(i,j)は、
であるから、各々の相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)には、次式（１４）の値がセットされ、さらに次式（１５）により、相関積算値ΣＣが演算される。
【００４２】
【００４３】
図２２（ａ）は、画素位置と相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)との対応関係図である。
次に、ステップＳ４４の「重み付け係数演算処理」で、相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)を昇順に並べ替え、並べ替え後のＣ (i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)を値の小さい順から昇順変数ＡＳＣ0、ＡＳＣ1、ＡＳＣ2、ＡＳＣ3にセットし、さらに、相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)を降順に並べ替え、並べ替え後のＣ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)に対応する座標位置のＤＧＨ画素値ＤＧＨ(i,j-1)、ＤＧＨ(i+1,j)、ＤＧＨ(i,j+1)、ＤＧＨ(i-1,j)を、相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)の値の大きい順から降順変数ＤＥＳＣ0、ＤＥＳＣ1、ＤＥＳＣ2、ＤＥＳＣ3にセットする。
【００４４】
ここで、Ｃ(i,j-1)は「２」、Ｃ(i+1,j)は「８」、Ｃ(i,j+1)は「２」、Ｃ(i-1,j)は「２」であり、Ｃ(i,j-1)＝Ｃ(i,j+1)＝Ｃ(i-1,j)＜Ｃ(i+1,j)であるから、これを昇順に並べ替えると「Ｃ(i,j-1)、Ｃ(i,j+1)、Ｃ(i-1,j)、Ｃ(i+1,j)」の順番になり、降順に並べ替えると「Ｃ(i+1,j)、Ｃ(i-1,j)、Ｃ(i,j+1)、Ｃ(i,j-1)」の順番になる。なお、等値のものは順番を入れ替えてもかまわない。したがって、昇順変数ＡＳＣ0、ＡＳＣ1、ＡＳＣ2、ＡＳＣ3には、次式（１６）の値がセットされ、降順変数ＤＥＳＣ0、ＤＥＳＣ1、ＤＥＳＣ2、ＤＥＳＣ3には、次式（１７）の値がセットされる。
【００４５】
【００４６】
次に、ステップＳ４５の「ＤＧＨ補間処理」では、重み付け係数演算処理の演算結果を用いて、前式（１１）及び前式（１２）により、注目画素（ｉ，ｊ）の補間値ＤＧＨ(i,j)を演算する。
ここで、Ｃ(i,j-1)＝２、Ｃ(i+1,j)＝８、Ｃ(i,j+1)＝２、Ｃ(i-1,j)＝２であり、ＤＧＨ(i,j-1)＝２、ＤＧＨ(i+1,j)＝８、ＤＧＨ(i,j+1)＝２、ＤＧＨ(i-1,j)＝２であり、さらに、前式（１５）より、ΣＣ＝１４であるから、これらの実際値を当てはめると、式（１６）及び式（１７）は、次式（１８）及び次式（１９）のように書き表すことができ、結局、前式（１１）及び式（１２）は、次式（２０）及び次式（２１）のように書き表すことができる。
【００４７】
【００４８】
【００４９】
したがって、この補間値ＤＧＨ(i,j)を用いてＤＧＨの注目画素（情報欠落画素）（ｉ，ｊ）を補間すれば、図２２（ｂ）に示すように、高域差分データ（ＤＧＨ）の情報欠落画素を適切な画素値（この例示では“３”）で埋めることができる。しかも、補間値ＤＧＨ(i,j)は相関性のある画素値の影響を強く受けるため、境界線（輪郭線）を挟んで隣接する画素の影響をほとんど受けることはない。このことは、明暗のはっきりした境界部分を持つ画像の再現性を改善できることを示唆している。
【００５０】
＜ＤＧＨ（補間後のもの）とＧＬとの合成処理＞
図２のステップＳ８０におけるＤＧＨ（補間後のもの）とＧＬとの合成処理では、具体的なフローチャートの提示は略すが、概念的に、図２３に示すような処理を行う。図２３において、まず、補間処理後のＤＧＨをＮ倍する。高域強調しない場合、Ｎに“１”がセットされ、高域強調する場合、Ｎに所定の強調係数（例えば“２”）がセットされる。
【００５１】
今、Ｎ＝１としたとき、ＧＬとＤＧＨの合成結果（ＧＨ）は、図中下段の左側に示すように、ＧＬの各画素値に、対応する位置のＤＧＨの画素値が加算されている。このＧＨ（Ｎ＝１）において、注目すべき点はもっとも明るいレベルを持つひとつの画素が存在することにある。その画素は座標（５，５）の画素であり、元々は情報が欠落していた画素である。本実施の形態の補間処理を適用することにより、当該情報欠落画素に対して、周囲の上下左右の画素値（図では“３２”）よりも高いレベルの“３５”を与えることができる。
【００５２】
したがって、周囲を比較的高レベルの画素値“３２”で取り囲まれた情報欠落画素の画素値を高輝度側にシフトさせることができるから、少なくともそのレベル差（この例では“３５−３２”）に相当する分だけ、当該ひとつの画素を際立たせることができる。その結果、画素単位に画像の精細度を向上でき、本願発明の課題を達成することができる。
【００５３】
また、例えば、Ｎ＝２としたとき、ＧＬとＤＧＨの合成結果（ＧＨ）は、図中下段の右側に示すように、ＧＬの各画素値に、対応する位置のＤＧＨの画素値が２倍されて加算されている。このＧＨ（Ｎ＝２）において、もっとも明るいレベルを持つひとつの画素は座標（６，５）の画素であり、元々の情報欠落画素ではないが、その左隣の画素（座標（５，５）の画素）に着目すると、座標（６，５）の画素を除く周囲の画素よりも高いレベル（この例では“３８”）が与えられているため、Ｎ＝１の場合と同様に、座標（５，５）の画素を目立たせることができる。
【００５４】
以上のことを、冒頭の第３の従来技術との対比で検証してみる。図２４は、本実施の形態と同様の画素配列モデル（図３のベイヤーデータのＧ成分ＢＤＧ参照）を適用した場合の従来技術の処理概念図である。ＧＬ＿Ｊは本実施の形態のＧＬ（図１５参照）と同一のものである。また、ＧＨ＿Ｊは元のベイヤーデータのＧ成分ＢＤＧを相関補間したものであり、その相関補間処理のアルゴリズムは、本実施の形態の「ＤＧＨに対する相関補間処理」（図１８〜図２０参照）に一応類似する。相違点は、ステップＳ４４における重み付け演算処理において、ＤＥＳＣ0、ＤＥＳＣ1、ＤＥＳＣ2、ＤＥＳＣ3にセットする画素値として元のベイヤーデータのG成分ＢＤＧのものをそのまま使用することにある。
【００５５】
一方、本実施の形態では、ＤＥＳＣ0、ＤＥＳＣ1、ＤＥＳＣ2、ＤＥＳＣ3にＢＤＧとＧＬの差分、すなわちベイヤーデータのＧ成分ＢＤＧの高域差分（ＤＧＨ）をセットするから、この点において両者は本質的な違いがある。本実施の形態によれば、ＬＰＦ処理によって失われた高域差分に相当するデータ（ＤＧＨ）に対して上記相関補間処理（図１８〜図２０参照）を行うため、情報欠落画素に対する補間情報を適正化でき、画素単位に精細度を向上することができる。
【００５６】
これに対して、図２４に示す従来技術のものは、ベイヤーデータのＧ成分（ＢＤＧ）そのものに対して情報補間を行った後、その情報補間後のＧ成分データ（ＧＨ＿Ｊ）とＧ成分データの低域成分（ＧＬ＿Ｊ）との差分をとり、その差分データ（ＤＧＨ＿Ｊ）をＮ倍（Ｎ＝１または例えばＮ＝２）してＧＬ＿Ｊと合成し、最終的な補間済画像ＧＨ＿Ｊ（Ｎ＝１）またはＧＨ＿Ｊ（Ｎ＝２）を生成しているが、ＤＧＨ＿Ｊは高域成分を失っているから（例えば、ＤＧＨ＿Ｊの中央画素値“０”を参照されたい）、▲１▼Ｎ＝１のＧＨ＿Ｊにあっては、座標（５，４）、（６，５）、（５，６）、（４，５）及び（５，５）の五つの画素からなる領域が同一のレベル（“３２”）に揃ってしまい、明らかに画素単位での精細度を得ることができないし、▲２▼また、Ｎ＝２のＧＨ＿Ｊにあっては、座標（５，５）の画素値がその上下左右の画素値（“３４”または“４０”）よりも低レベルの“３２”になってしまい、視覚上の不自然さを否めないという欠点がある。
【００５７】
本実施の形態によれば、このような欠点▲１▼、▲２▼を生じることがなく、したがって、画素単位に精細度を向上した有益な画素補間処理技術を提供できるのである。
【００５８】
【発明の効果】
本発明によれば、単板式のカラー撮像デバイスによって撮像された画像信号から低域画像信号と高域画像信号を抽出し、低域画像信号の注目画素とその周囲の隣接画素との相関性を評価するとともに、その評価結果を用いて前記高域画像信号の注目画素を補間し、補間後の高域画像信号と前記低域画像信号とを合成して出力画像信号を生成するので、高域画像信号の補間により、画像のエッジ部分のシャープさを損なうことなく、画素単位に精細度を高めた補間済画像信号を生成することができる。
又は、評価結果に応じた重み付け係数を隣接画素に対して割り当てるとともに、隣接画素に対して割り当てられた重み付け係数を高域画像信号の隣接画素に適用して該隣接画素の平均値を演算し、その演算結果を用いて高域画像信号の注目画素を補間するので、重み付け係数の値を変えて補間処理の効果を様々に変更することができる。
又は、相関性の低い隣接画素に対しては小さな重み付け係数を割り当てる一方、相関性の高い隣接画素に対しては大きな重み付け係数を割り当てるので、相関性の高低をより明確にして、補間処理の効果を一層高めることができる。
又は、隣接画素は、注目画素と同一位置の１ライン前の画素、注目画素と同一ラインの隣り合う画素又は注目画素と同一位置の１ライン後の画素の何れか若しくはすべてであるので、フレーム内の画素補間を行うことができる。
又は、保持手段に保持された画像信号から低域画像信号を減算することにより画像信号の高域成分を抽出して高域画像信号を生成するので、簡単な画素値演算で済み、処理のオーバヘッドを抑制できる。
又は、画像信号は単板式のカラー撮像デバイスによって撮像されたベイヤー信号中のＧ成分信号であり、このＧ成分は明るさの情報を含むので、明暗のはっきりした境界部分を持つ画像の再現性を改善できる。
【図面の簡単な説明】
【図１】実施の形態の全体構成図である。
【図２】実施の形態の補間処理手順図である。
【図３】ベイヤーデータのＧ成分（ＢＤＧ）の配列モデル例を示す図である。
【図４】画素座標値の一般表記図及び画像処理分野での一般的な表現に倣った画素値レベル図である。
【図５】図２のステップＳ２０（ＬＰＦ処理）の詳細処理フローチャートである。
【図６】３×３個の各画素に対応する画素値格納変数と重み付け係数の位置関係図である。
【図７】画素データ取得処理の実際を示す処理手順図（１／２）である。
【図８】画素データ取得処理の実際を示す処理手順図（２／２）である。
【図９】具体的な画素配列の状態図及び画素値格納変数の値を示す図である。
【図１０】重み付け係数セット処理の実際を示す処理手順図（１／２）である。
【図１１】重み付け係数セット処理の実際を示す処理手順図（２／２）である。
【図１２】具体的な重み付け係数の値を示す図である。
【図１３】ＧＬ(i,j)演算処理の実際を示す処理手順図である。
【図１４】注目画素（ｉ，ｊ）の補間値ＧＬ(i,j)の演算概念図である。
【図１５】ＬＰＦ処理後のベイヤーデータのＧ成分（ＧＬ）を示す図である。
【図１６】図２のステップＳ３０（ＢＤＧ−ＧＬ処理）の詳細処理フローチャートである。
【図１７】ＢＤＧ−ＧＬ処理の結果得られる高域差分データ（ＤＧＨ）を示す図である。
【図１８】図２のステップＳ４０（ＤＧＨに対する相関補間処理）の詳細処理フローチャート（１／３）である。
【図１９】図２のステップＳ４０（ＤＧＨに対する相関補間処理）の詳細処理フローチャート（２／３）である。
【図２０】図２のステップＳ４０（ＤＧＨに対する相関補間処理）の詳細処理フローチャート（３／３）である。
【図２１】ＧＬ画素値配列モデル及び補間前のＤＧＨ画素値配列モデルを示す図である。
【図２２】画素位置と相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)との対応関係図及び補間後の高域差分データ（ＤＧＨ）を示す図である。
【図２３】図２のステップＳ８０（補間後のＤＧＨとＧＬとの合成処理）に対応する概念的な説明図である。
【図２４】本実施の形態と同様の画素配列モデル（図３のベイヤーデータのＧ成分ＢＤＧ参照）を適用した場合の従来技術の処理概念図である。
【図２５】ＣＣＤの構成図である。
【図２６】ＣＣＤと色フィルタを示す図である。
【図２７】ベイヤー方式の色フィルタの原理図である。
【図２８】実際の色フィルタの構成図である。
【図２９】インターレース型ＣＣＤに適用する色フィルタの構成図である。
【図３０】Ｇフィルタだけを抜き出したフィルタの構成図（Ｇ画素信号の配列モデル図でもある）である。
【図３１】第３の従来技術における補間処理の概略手順図である。
【符号の説明】
ＢＤ ベイヤーデータ（元画像信号）
ＢＤＧ ベイヤーデータのＧ成分（元画像信号のＧ成分）
ＤＧＨ ＢＤとＧＬの高域差分（高域画像信号）
ＧＨ 補間済画像（出力画像信号）
ＧＬ ＬＰＦ処理後のＢＤ（低域画像信号）
１０ ＣＣＤ（単板式のカラー撮像デバイス）
１４ メモリ部（保持手段）
２０ ＣＰＵ（第１生成手段、第２生成手段、評価手段、補間手段、第３生成手段、演算手段）
【発明の属する技術分野】
本発明は、撮像装置及びカラー撮像信号の処理方法に関し、詳しくは、単板式のカラー撮像デバイスを備えた撮像装置及びカラー撮像信号の処理方法に関する。
【０００２】
【従来の技術】
多数の光電変換素子を二次元に配列し、被写体からの光に応じた画像信号を出力する、例えば、ＣＣＤ（Charge Coupled Device）に代表される撮像デバイスは、そのままでは色情報を含む画像信号を出力できない。光電変換素子が単に光の明暗の強度に対応した信号しか発生しないからである。色情報を得るために、３個の撮像デバイスを用い、その各々に赤、緑、青の色フィルタを装着して、それぞれの撮像デバイスから赤色、緑色、青色の画像信号を取り出すようにした三板式のカラー撮像デバイスが知られている。三板式の撮像デバイスは専ら色再現性を重視するスタジオ用テレビカメラなどに多用されるが、家庭用のビデオカメラや普及型の電子カメラなどには、サイズや重さ及び電力消費の点から１個の撮像デバイスとモザイク状の色フィルタとを組み合わせた単板式のカラー撮像デバイスが用いられる。
【０００３】
図２５は、ｎ列×ｍ行の画素を有するＣＣＤの構成図である。ＣＣＤ１は、入射光量に応じた電荷を蓄積するｎ×ｍ個の光電変換素子２をマトリクス状に二次元配列するとともに、各列間に１本ずつ、全部でｎ本の垂直転送部３を配置して撮像領域４を形成し、さらに、撮像領域４の図面に向かって下側に水平転送部５を配置して構成する。光電変換素子２に蓄積された信号電荷は、読み出し信号（不図示）に応答して隣接する垂直転送部３に取り込まれ、垂直転送部３の内部を垂直転送クロック（不図示）に同期して図面の下方向に順次転送される。すべての垂直転送部３の出力端は水平転送部５に接続されており、水平転送部５には、垂直転送クロックに同期して１ライン分の信号電荷が順次に取り込まれる。水平転送部５に取り込まれた信号電荷は、水平転送クロック（不図示）に同期して図面の左方向に順次転送され、水平転送部５の出力端に到達した信号電荷は、同端に設けられた電荷検出部６で電気信号に変換され、アンプ７で増幅された後、端子８からＣＣＤ出力として外部に取り出される。
【０００４】
ここで、光電変換素子２の水平方向の並び（走査線又はライン）にそれぞれＯ１、Ｅ１、Ｏ２、Ｅ２、Ｏ３、Ｅ３、・・・・の便宜的な符号を付すことにする。但し、Ｏは奇数の略、Ｅは偶数の略である。Ｏ１、Ｏ２、Ｏ３で奇数ラインを、Ｅ１、Ｅ２、Ｅ３で偶数ラインを示すものとする。インターレース型のＣＣＤは、フィールド読み出し（フィールド蓄積ともいう）と、フレーム読み出し（フレーム蓄積ともいう）の二つのモードを外部から切替えることができる。フィールド読み出しではＣＣＤ出力がＯ１＋Ｅ１、Ｏ２＋Ｅ２、Ｏ３＋Ｅ３、・・・・の順番になり、フレーム読み出しでは奇数フレームと偶数フレームの２回に分けてＣＣＤ出力が取り出される。すなわち、奇数フレームではＣＣＤ出力がＯ１、Ｏ２、Ｏ３、・・・・の順番になり、偶数フレームではＣＣＤ出力がＥ１、Ｅ２、Ｅ３、・・・・の順番になる。
【０００５】
図２６は、ＣＣＤ１と色フィルタ９を示す図である。ＣＣＤ１の桝目は各々１個の光電変換素子２を含む画素を表しており、各画素は色フィルタ９の桝目と一対一に対応している。色フィルタ９の桝目はそれぞれ特定の色を有しており、色の選び方や配列の仕方によって様々なタイプのものが使用されている。例えば、図２７は、Ｂ．Ｅ．Ｂａｙｅｒによって考え出されたベイヤー方式（又は緑市松方式）と呼ばれる色フィルタの原理図であり、この方式は色信号と輝度信号のＳ／Ｎバランスがよく、被写体の明るさに依存せずに良好な色再現性が得られることから、広く用いられている方式である。図２７において、Ｙは輝度情報を得るためのフィルタ、Ｃ1、Ｃ2は色情報を得るためのフィルタである。Ｙフィルタを市松状に配置するとともに、奇数ラインの隙間にＣ1フィルタを配置し、偶数ラインの隙間にＣ2ラインを配置して構成する。なお、Ｙフィルタを多く配置する理由は、人間の視覚上、色情報よりも輝度情報の方が画像の解像度や輪郭のシャープさをよく知覚するからである。
【０００６】
図２８は、実際の色フィルタの構成図である。Ｒは赤色のフィルタ、Ｇは緑色のフィルタ、Ｂは青色のフィルタである。赤（Ｒ）、緑（Ｇ）、青（Ｂ）は光の三原色であり、特に、緑色は被写体の明るさをよく表すから、Ｇフィルタは輝度情報を得るためのフィルタとしても用いられる。すなわち、Ｇフィルタは、図２７のＹフィルタに相当し、ＲフィルタとＢフィルタは、図２７のＣ1、Ｃ2フィルタに相当する。なお、インターレース型のＣＣＤの場合、色フィルタは、図２９に示すように奇数ライン（Ｏ＊；＊は１，２，３・…）と偶数ライン（Ｅ＊）で同一の配列になるが、フィールド読み出しやフレーム読み出しに関わらず、読み出された画素の配列に着目すれば、図２８の配列（ベイヤー方式に則った色情報の並び）とまったく同じである。すなわち、フィールド読み出しではＯ１＋Ｅ１、Ｏ２＋Ｅ２、Ｏ３＋Ｅ３の２ライン合成読み出しとなり、一方、フレーム読み出しではＯ１、Ｏ２、Ｏ３、・・・、Ｅ１、Ｅ２、Ｅ３の飛び越しライン読み出しとなるが、何れの読み出しも、Ｇ／ＲラインとＢ／Ｇラインを順次に読み出す点で同一である。したがって、本明細書では特に断りのない限り、図２８に示すベイヤー方式の配列でＣＣＤの画素や色フィルタの配列を説明することにする。
【０００７】
既述のとおり、ベイヤー方式の色フィルタは、輝度情報を得るためのＧフィルタを市松状に配列して構成する。図３０は、Ｇフィルタだけを抜き出したフィルタの構成図である。この図はＧ画素信号（以下「ベイヤーデータのＧ成分」ということもある）の並びを示す図でもあり、市松状に配列するＧ画素信号は、縦横各々一つの情報欠落画素を間に挟んでいる。ここで、Ｇ画素信号は輝度情報を含み、輝度情報は既述のとおり画像の解像度や輪郭のシャープさに大きな影響を与えるから、上記情報欠落画素に対する補間処理、すなわち、何らかの補間画素情報を与える必要があり、従来より「周囲画素の平均値による補間法」や「ＬＰＦ（ローパスフィルタ）による補間法」を用いた情報補間が行われていた。
【０００８】
・第１の従来技術（周囲画素の平均値による補間法）
周囲画素の平均値による補間法は、情報欠落画素を含むベイヤーデータのＧ成分に対して点順次の画素走査を行いながら、各走査位置の画素（以下「注目画素」という）が情報欠落画素である場合に、当該情報欠落画素の上下左右に位置する四つの隣接画素の画素信号ＧN、ＧW、ＧS、ＧEを次式（１）に適用して、周囲画素の平均値に相当する補間情報ＧXを演算し、注目画素にその補間情報ＧXをセットしていくというものである。
ＧX＝（ＧN＋ＧW＋ＧS＋ＧE）／４ ・・・・（１）
【０００９】
しかしながら、周囲画素の平均値による補間法にあっては、注目画素の上下左右の画素のいくつかが、注目画素の画像領域とは異なる明るさの他の画像領域に位置していた場合、両画像領域間の境界線に“凹凸”（キザキザ）を生じるという不都合があった。これは、上式（１）のＧN、ＧW、ＧS、ＧEのいずれかが、他の画像領域の明るさの情報を持つからであり、その情報によって注目画素の値（ＧX）が不本意に変化するからである。
【００１０】
・第２の従来技術（ＬＰＦによる補間法）
一方、ＬＰＦによる補間法は、ベイヤーデータのＧ成分にｎ×ｎ（一般にｎ＝３）のＬＰＦをかけて畳み込みを行ない（ＬＰＦ処理の詳細は本発明の実施の形態の欄で説明する）、その畳込み結果を用いて、注目画素とその周囲画素との間の相関性を表す相関情報を生成し、この相関情報を元のベイヤーデータのＧ成分に加えるというものである。しかしながら、ＬＰＦによる補間法にあっては、情報欠落画素以外の画素値も操作してしまうため、例えば、画像内に明暗のはっきりした境界があった場合に、その境界線が“ぼやけ”てしまうという不都合があった。
【００１１】
・第３の従来技術
以上のように、上記二つの補間法にあっては、何れも明暗のはっきりした境界部分を持つ画像の再現性が不十分であった。そこで、本件発明者らは先に、上記二つの補間法の欠点を克服するようにした「撮像装置及びカラー撮像信号の処理方法」を提案している（特願平１１−８３１４７号／平成１１年３月２６日）。図３１は、既提案技術（以下「第３の従来技術」という）における補間処理および該補間処理後の画像データに対する高域強調処理の概略手順図である。この手順は、ベイヤーデータのＧ成分をＬＰＦ処理し（ステップＳ１）、ＬＰＦ処理したベイヤーデータのＧ成分から相関情報を生成し（ステップＳ２）、その相関情報を用いて元のベイヤーデータのＧ成分を相関補間し（ステップＳ３）、ＬＰＦ処理したベイヤーデータのＧ成分と相関補間後のベイヤーデータのＧ成分との差分（高域差分）をとってＮ倍した後（ステップＳ４）、Ｎ倍後の差分をＬＰＦ処理したベイヤーデータのＧ成分に加えて出力画像とする（ステップＳ５）というものである。
この第３の従来技術によれば、注目画素の画素値に対して周囲画素の平均値を適用しないため、明るさの異なる他の画像領域との境界線における上述の“ギザギサ”問題を解消できるうえ、ＬＰＦ処理によって失われた周波数成分（高域差分）も補うことができるため、上述の“ぼやけ”問題も解消することができるという有益なメリットが得られる。
【００１２】
ここで、上記の“Ｎ”は出力画像の高域強調（エッジ強調ともいう）用の変数である。高域強調を行なう場合は“Ｎ”の値を“１”よりも大きくする（ステップＳ６）。一般に、ＣＣＤ（Charge Coupled Device）などの撮像デバイスを有する画像生成装置では、撮像系の光学的伝達関数（いわゆるＯＴＦ：Optical Transfer Function）や、ディジタル信号変換ならびに各種信号処理の際の帯域制限などにより、ディジタル画像信号の空間周波数の高域成分が失われやすく、画像のエッジ部分のシャープさが損なわれるため、上記“Ｎ”の値を“１”よりも大きく（例えばＮ＝２）して高域成分を補償する。
【００１３】
【発明が解決しようとする課題】
しかしながら、上記第３の従来技術にあっては、明暗のはっきりした境界部分を持つ画像の再現性を改善できるという有益なメリットが得られるものの、例えば、画像の精細度を最大限に高める（画素単位で良好な精細度を得る）という近時のユーザニーズに対しては十分に応えているということができず（特に高域強調を行おうとした場合）、この点において、未だ解決すべき技術課題があった。
【００１４】
一般に、ディジタル画像の解像度は撮像デバイスの画素数に依存し、昨今では２００万画素を超える撮像デバイスを備えた画像生成装置も珍しくなく、その画素数に応じたきわめて高精細なディジタル画像を生成できるようになった。一方で、コストなどの要求から普及型の電子スチルカメラ等にあっては、冒頭で説明したとおり単板式のデバイスを備えることが多く、たとえ、２００万画素を超える高画素デバイスであっても、そのうちの何割かの画素（情報欠落画素）については内部処理による情報補間が行われているところである。しかしながら、この情報補間が不正確な場合（元の画像の情報を正確にあらわしていない場合）は、例えば、金属製の球状物体を撮影したディジタル画像などで、物体表面の陰影変化を滑らかに表現することができない。上記の第３の従来技術にあっては、詳細は後述するが、情報欠落画素の補間情報がその周囲の画素情報と同一ないし類似するものとなってしまうため、画像の精細度を画素単位に向上することができず、上記画像の滑らかさの点で改善すべき余地があった。
【００１５】
そこで、本発明は、明暗のはっきりした境界部分を持つ画像の再現性を改善するとともに、画像の精細度を画素単位に向上できる撮像装置及びカラー撮像信号の処理方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
請求項１記載の発明に係る撮像装置は、単板式のカラー撮像デバイスによって各色成分毎に所定の画素が欠落した形で撮像された画像信号の欠落画素を隣接画素の状態に応じて補間する機能を備えた撮像装置であって、欠落画素を含む所定の色成分の画像信号である元画像信号を保持する保持手段と、前記保持手段に保持された前記元画像信号の低域成分を抽出して低域画像信号を生成する第１生成手段と、前記保持手段に保持された前記元画像信号の高域成分を抽出して高域画像信号を生成する第２生成手段と、前記低域画像信号に基づいて各画素とその周囲の隣接画素との相関性を評価する評価手段と、前記評価手段の評価結果を用いて前記高域画像信号の欠落画素を補間する補間手段と、前記補間後の高域画像信号と前記低域画像信号とを合成して出力画像信号を生成する第３生成手段と、を備えたことを特徴とする。請求項２記載の発明に係る撮像装置は、請求項１記載の撮像装置において、前記補間手段は、前記評価手段の評価結果に応じた重み付け係数を隣接画素に対して割り当て、隣接画素に対して割り当てられた重み付け係数を前記高域画像信号の隣接画素に適用して該隣接画素の平均値を演算する演算手段を備え、前記演算手段の演算結果を用いて前記高域画像信号の欠落画素を補間することを特徴とする。請求項３記載の発明に係る撮像装置は、請求項２記載の撮像装置において、前記演算手段は、相関性の低い隣接画素に対しては小さな重み付け係数を割り当てる一方、相関性の高い隣接画素に対しては大きな重み付け係数を割り当てることを特徴とする。請求項４記載の発明に係る撮像装置は、請求項１記載の撮像装置において、前記隣接画素は、注目画素と同一位置の１ライン前の画素、注目画素と同一ラインの隣り合う画素又は注目画素と同一位置の１ライン後の画素の何れか若しくはすべてであることを特徴とする。請求項５記載の発明に係る撮像装置は、請求項１記載の撮像装置において、前記第３生成手段は、前記補間後の高域画像信号をＮ倍（Ｎは１または１以上の整数）して前記低域画像信号に合成することを特徴とする。請求項６記載の発明に係る撮像装置は、請求項１乃至請求項５いずれかに記載の撮像装置において、前記第２生成手段は、前記保持手段に保持された画像信号から前記第１の生成手段により生成された低域画像信号を減算することにより画像信号の高域成分を抽出して高域画像信号を生成することを特徴とする。請求項７記載の発明に係る撮像装置は、請求項１乃至請求項６いずれかに記載の撮像装置において、前記元画像信号は、単板式のカラー撮像デバイスによって撮像されたベイヤー信号中のＧ成分信号であることを特徴とする。請求項８記載のカラー撮像信号の処理方法は、単板式のカラー撮像デバイスによって各色成分毎に所定の画素が欠落した形で撮像された画像信号の欠落画素を隣接画素の状態に応じて補間するカラー撮像信号の処理方法であって、欠落画素を含む所定の色成分の画像信号である元画像信号を保持する第１ステップと、前記保持された前記元画像信号の低域成分を抽出して低域画像信号を生成する第２ステップと、前記保持された前記元画像信号の高域成分を抽出して高域画像信号を生成する第３ステップと、前記低域画像信号に基づいて各画素とその周囲の隣接画素との相関性を評価する第４ステップと、その評価結果を用いて前記高域画像信号の欠落画素を補間する第５ステップと、前記補間後の高域画像信号と前記低域画像信号とを合成して出力画像信号を生成する第６ステップと、を含むことを特徴とする。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
図１は、本発明の実施の形態の全体構成図である。図１において、撮像デバイス１０は撮像面にモザイク状の色フィルタが装着された、例えば、ＣＣＤで構成される単板式のカラー撮像デバイスであり、この撮像デバイス１０は不図示の光学系を介して入力された被写体像に対応する電気信号に変換して出力する。撮像デバイス１０の駆動制御は駆動回路１１によって行われ、撮像デバイス１０から出力された電気的な画像信号はＡ／Ｄ変換器１２によってディジタル信号に変換された後、メモリコントローラ１３の制御の下でメモリ部１４の画像メモリ１５（発明の要旨に記載の保持手段に相当）に記憶される。
【００１８】
メモリ部１４はさらに赤色専用メモリ（以下「Ｒ用メモリ」という）１６、緑色専用メモリ（以下「Ｇ用メモリ」という）１７、青色専用メモリ（以下「Ｂ用メモリ」という）１８及び作業用メモリ１９を含み、これらのメモリ１６〜１９の入出力はＣＰＵ２０によって制御される。
ＣＰＵ２０は、発明の要旨に記載の第１生成手段、第２生成手段、評価手段、補間手段、第３生成手段及び演算手段として機能し、プログラムＲＯＭ２１にあらかじめ格納された処理プログラムに従って、所定の補間処理を実行し、画像メモリ１５、Ｒ用メモリ１６、Ｇ用メモリ１７、Ｂ用メモリ１８及び作業用メモリ１９の間のデータ入出力を制御しつつ、Ｒ用メモリ１６、Ｇ用メモリ１７及びＢ用メモリ１８に展開されたＲ、Ｇ及びＢの各原色画像の情報欠落画素を補間する処理を実行するとともに、以下に説明する工夫により、特に画像の精細度を画素単位に高めて、表示、通信又は印刷を含むあらゆる画像処理装置に適用して好適な近時のユーザニーズを満足する良好な画質のカラー画像を生成して提供する。なお、データＲＯＭ２２は色フィルタの画素配置情報を保持しており、この情報はＣＰＵ２０からのアクセスで適宜に利用される。
【００１９】
図２は、ＣＰＵ２０で実行される本実施の形態の画素補間処理（図では「画素補間処理メイン処理」という）の処理手順図である。この画素補間処理の大まかな流れは、まず、画像メモリ１５に取り込まれた元画像信号（ベイヤーデータ；以下「ＢＤ」という）を原色別にＲ用メモリ１６、Ｇ用メモリ１７及びＢ用メモリ１８に展開し、その後、Ｒ用メモリ１６、Ｇ用メモリ１７及びＢ用メモリ１８に展開された各原色画像を作業用メモリ１９にコピーする（ステップＳ１０）。次に、Ｒ用メモリ１６、Ｇ用メモリ１７及びＢ用メモリ１８に展開されたコピー画像（以下、Ｇ成分（以下、「ＢＤＧ」という）についてのみ説明）を従来例と同様にＬＰＦ処理し（ステップＳ２０）、元のＢＤＧとＬＰＦ処理した後のＢＤ（以下「ＧＬ」という）との差分（高域差分）をとり（ステップＳ３０）、その高域差分（発明の要旨に記載の高域画像信号に相当；以下「ＤＧＨ」という）に対する相関補間処理を行う（ステップＳ４０）。
次に、画像の高域強調を行うか否かを判断し（ステップＳ５０）、高域強調を行わない場合は変数Ｎに“１”をセット（ステップＳ６０）する一方、高域強調を行う場合は変数Ｎに所定の強調係数（例えば“２”）をセットする（ステップＳ７０）。
次に、ＧＬ（ＬＰＦ処理後のＢＤＧ）とＮ倍した相関補間後のＤＧＨとを加算し（ステップＳ８０）、最後に、その加算結果（ＧＨ）を補間済画像として出力する（ステップＳ９０）というものである。
【００２０】
図３は、ＢＤＧの配列モデル例を示す図である。図において、桝目の一つ一つは画素であり、画素内の数値は画素信号の大きさを示し、ハッチングは情報欠落画素を表している。但し、各々の画素を（ｉ，ｊ）の座標で表すこととし、ｉ及びｊの最小値を「０」、ｉの最大値ｉMAX及びｊの最大値ｊMAXを便宜的に「９」とする。注目画素とその周囲画素の座標値の一般表記は、図４（ａ）に示すとおりである。すなわち、注目画素の座標を（ｉ，ｊ）とするとき、左上に位置する画素の座標は（ｉ−１，ｊ−１）で表され、真上に位置する画素の座標は（ｉ，ｊ−１）で表され、右上に位置する画素の座標は（ｉ＋１，ｊ−１）で表され、右に位置する画素の座標は（ｉ＋１，ｊ）で表され、右下に位置する画素の座標は（ｉ＋１，ｊ＋１）で表され、真下に位置する画素の座標は（ｉ，ｊ＋１）で表され、左下に位置する画素の座標は（ｉ−１，ｊ＋１）で表され、左に位置する画素の座標は（ｉ−１，ｊ）で表されるものとする。
画素信号は、例えば「２５５」〜「０」までの階調値を取り得るものとし、且つ、画像処理分野での一般的な表現に倣って、図４（ｂ）に示すように「２５５」を白レベル、「０」を黒レベルとする。なお、図４（ｂ）ではγ（ガンマ）補正を考慮していない。
【００２１】
ここで、以下の説明においては、図３に示すＢＤＧの特定の範囲（破線で囲んだ範囲）を対象とした限定的な補間処理を例示するが、これは説明を単純化するための便宜であり、それ以外の特段の理由はない。ＢＤＧの特定の範囲には例示的に示す三つの画素値（「２４」、「３２」及び「０」）が示されている。図４（ｂ）によれば、「０」は黒レベルであり、「２４」と「３２」は黒レベルよりも明るい中間レベルである。但し、「２４」よりも「３２」の方が明るいレベルであるから、この画素値配列例によれば、人間の目にはレベル「３２」が集中する中央部分が最も明るい部分として認識されることになる。これを二次元平面内の輝度レベルの変化（すなわち陰影変化）で見ると、中央部分に向かって周囲から徐々に明るさを増す変化傾向となり、その最大輝度レベルを持つ画素は、周囲をレベル「３２」の画素に囲まれたひとつの情報欠落画素（以下「ＧC」という）であるということができる。
【００２２】
本実施の形態における究極の目的は、この情報欠落画素ＧC（最大輝度レベルを持つであろう特定の情報欠落画素）に対し、適切な画素値補間（この例示では少なくとも周囲のレベル「３２」を上回る画素値補間）を行うことにより、輝度レベルの変化（すなわち陰影変化）に見た目の滑らかさを与え、以って、画素単位に画像の精細度を向上できる有益なカラー撮像信号の処理技術を提供することにある。
【００２３】
以下、図２の各処理ステップごとに、その詳細を説明する。
＜ＬＰＦ処理＞
図５は、図２のステップＳ２０の詳細処理フローチャートであり、ＬＰＦ（ローパスフィルタ）による補間法の処理手順図である。この処理手順では、二つの座標変数ｉ、ｊの値を変化させながら水平方向と垂直方向に点順次の画素走査を行いつつ（ステップＳ２１、ステップＳ２５〜ステップＳ２９）、各走査位置（ｉ，ｊ）ごとに、（ｉ，ｊ）を含む３×３個の画素に対する、画素データ取得処理（ステップＳ２２）、重み付け係数セット処理（ステップＳ２３）及びＧＬ(i,j)演算処理（ステップＳ２４）を行う。
なお、３×３個の各画素に対応する画素値格納変数と重み付け係数の位置関係は、それぞれ図６（ａ）、（ｂ）を参照することにする。すなわち、図６（ａ）は各画素に対応する画素値格納変数（ＧNE、ＧN、ＧNW、ＧW、ＧSW、ＧS、ＧSE、ＧE、ＧX）の配列図、図６（ｂ）は各画素に対応する重み付け係数（ＫNE、ＫN、ＫNW、ＫW、ＫSW、ＫS、ＫSE、ＫE、ＫX）の配列図である。これらの変数及び係数の添え字“ＮＥ”、“Ｎ”、“ＮＷ”、“Ｗ”、“ＳＷ”、“Ｓ”、“ＳＥ”、“Ｅ”及び“Ｘ”はそれぞれ、前述の座標値の一般表記（図４（ａ）参照）に対応する。すなわち、ＮＥは（ｉ−１，ｊ−１）、Ｎは同（ｉ，ｊ−１）、ＮＷは（ｉ＋１，ｊ−１）、Ｗは（ｉ＋１，ｊ）、ＳＷは（ｉ＋１，ｊ＋１）、Ｓは（ｉ，ｊ＋１）、ＳＥは（ｉ−１，ｊ＋１）、Ｅは（ｉ−１，ｊ）、Ｘは（ｉ，ｊ）に対応する。
【００２４】
・画素データ取得処理
図５のステップＳ２２の画素データ取得処理の実際は、図７及び図８に示すとおりである。この処理では、３×３個の画素配列を左上、上、右上、右、右下、下、左下、左、中央の順に巡回しつつ、各巡回位置の画素が情報欠落画素であるか否かを判定し、情報欠落画素でない場合は、その画素値を同位置の画素値格納変数にセットする一方、情報欠落画素である場合は、同位置の画素値格納変数に「０」をセットする動作を繰り返す。
代表して左上の画素に対する動作を説明すると、（ｉ−１、ｊ−１）の画素が情報欠落画素であるか否かを判定し（ステップＳ２２＿１）、情報欠落画素でない場合は、その画素（ｉ−１、ｊ−１）の値を同位置の画素値格納変数ＧNEにセット（ステップＳ２２＿２）する一方、情報欠落画素である場合は、同画素情報格納変数ＧNEに「０」をセット（ステップＳ２２＿３）する。
今、便宜的に３×３個の画素配列の状態を、図９（ａ）のとおりと考える。この例示は、図３における座標（４，４）、（５，４）、（６，４）、（６，５）、（６，６）、（５，６）、（４，６）、（４，５）及び（５，５）の画素からなる配列（太線枠内）に相当する。図９（ｂ）は、図９（ａ）に従って画素データ取得処理を実行し、その結果得られた画素値格納変数の値を一緒にまとめたものである。
【００２５】
・重み付け係数セット処理
図５のステップＳ２３の重み付け係数セット処理の実際は、図１０及び図１１に示すとおりである。この処理では、画素データ取得処理と同様に、３×３個の画素配列を左上、上、右上、右、右下、下、左下、左、中央の順に巡回しつつ（ステップＳ２３＿１〜ステップＳ２３＿２６）、各巡回位置の画素が情報欠落画素であるか否かを判定し、情報欠落画素でない場合は、同位置の重み付け係数に「１」、「２」又は「４」をセット（※）する一方、情報欠落画素である場合は、同位置の重み付け係数に「０」をセットする動作を繰り返し、最後にすべての重み付け係数の加算値ΣＫを演算する（ステップＳ２３＿２８）。※但し、左上、右上、右下及び左下の重み付け係数ＫNE、ＫNW、ＫSW、ＫSEについては「１」をセットし、上下左右の重み付け係数ＫN、ＫW、ＫS、ＫEについては「２」をセットし、中央の重み付け係数ＫXについては「４」をセットする。なお、これらの定数（「１」、「２」及び「４」）は、中央の画素値に対する影響の大きさに応じて設定されていればよく、例示の値に限定されない。
代表して左上の画素に対する動作を説明すると、（ｉ−１、ｊ−１）の画素が情報欠落画素であるか否かを判定し（ステップＳ２３＿１）、情報欠落画素でない場合は、同位置の重み付け係数ＫNEに「１」をセット（ステップＳ２３＿２）する一方、情報欠落画素である場合は、同重み付け係数ＫNEに「０」をセット（ステップＳ２３＿３）する。
【００２６】
図１２は、図９（ａ）、（ｂ）のデータに従って重み付け係数セット処理を実行し、その結果得られた重み付け係数をまとめたものである。図１２によれば、重み付け係数の加算値ΣＫは、
【００２７】
・ＧＬ(i,j)演算処理の実際
図５のステップＳ２４のＧＬ(i,j)演算処理の実際は、図１３に示すとおりである。この処理では、上記の画素データ取得処理及び重み付け係数セット処理の処理結果を用いて、注目画素（ｉ，ｊ）の画素補間値ＧＬ(i,j)を演算する。図１３において、ＧNE、ＧN、ＧNW、ＧW、ＧSW、ＧS、ＧSE、ＧE及びＧXは、画素データ取得処理で得られた画素値格納変数（図９（ｂ）参照）であり、また、ＫNE、ＫN、ＫNW、ＫW、ＫSW、ＫS、ＫSE、ＫE及びＫXは、重み付け係数セット処理で得られた重み付け係数（図１２参照）である。
【００２８】
ＧＬ(i,j)演算処理では、まず、位置を同じくする画素値格納変数と重み付け係数を乗じ、その結果で当該画素値格納変数を更新する（ステップＳ２４＿１）。例えば、左上の画素に着目すると、ＧNEにＫNEを乗じ、その答えでＧNEを更新する。すべての画素値格納変数の更新を完了すると、次に、更新済みの画素値格納変数を加算して積算画素値ΣＧを演算する（ステップＳ２４＿２）。そして、そのΣＧを重み付け係数セット処理で演算したΣＫで除し、その答えをＧＬ(i,j)とする（ステップＳ２４＿３）。今、ＧNE、ＧN、ＧNW、ＧW、ＧSW、ＧS、ＧSE、ＧE及びＧXの値を、図９（ｂ）に示すとおりとし、また、ＫNE、ＫN、ＫNW、ＫW、ＫSW、ＫS、ＫSE、ＫE及びＫXの値を、図１２に示すとおりとすると、ステップＳ２４＿１の結果は、
【００２９】
ＧＬ(i,j)＝ΣＧ／ΣＫ＝２５６／８＝３２ ・・・・（５）
となる。
【００３０】
図１４は、注目画素（ｉ，ｊ）の補間値ＧＬ(i,j)の演算概念図であり、ベイヤーデータのＧ成分（ＢＤＧ）の注目画素（情報欠落画素）（５，５）〔ＧＬ(i,j) 〕の画素値として、上下左右の周囲の４画素（５，４）、（６，５）、（５，６）、（４，５）の画素値を反映したレベル「３２」（上式（５）の結果）が与えられている。図１５は、このような処理をベイヤーデータのＧ成分（ＢＤＧ）のすべての画素（情報欠落画素を含む）に対して実行して得られたＬＰＦ処理後のベイヤーデータのＧ成分（ＧＬ）を示す図であり、太線で囲まれた画素は、上記例示の注目画素（５，５）である。
【００３１】
＜ＢＤＧ−ＧＬ処理＞
図１６は、図２のステップＳ３０の詳細処理フローチャートであり、元のベイヤーデータのＧ成分（ＢＤＧ）とＬＰＦ処理後のベイヤーデータのＧ成分（ＧＬ）との差分（高域差分；ＤＧＨ）をとるための処理手順図である。この処理手順では、二つの座標変数ｉ、ｊの値を変化させながら水平方向と垂直方向に点順次の画素走査を行いつつ（ステップＳ３１、ステップＳ３４〜ステップＳ３８）、各走査位置（ｉ，ｊ）ごとに、ＢＤＧの注目画素ＢＤＧ(i,j)が情報欠落画素であるか否かの判定を行い（ステップＳ３２）、情報欠落画素でない場合に、その注目画素ＢＤＧ(i,j)の画素値から対応するＧＬ(i,j)の画素値を減算して、その減算結果をＤＧＨ(i,j)の画素値とする処理（ステップＳ３３）をＢＤＧのすべての画素に対して繰り返す。
【００３２】
図１７は、そのような処理によって得られたＤＧＨである。升目内の数値（“１”、“２”、“６”及び“−７”）は各々の座標位置におけるＢＤＧの画素とＧＬの画素の差分を表している。ここで、ＧＬはＬＰＦ処理（低域成分の抽出）を施した後のＢＤＧであって、言い換えれば、ＧＬは元のベイヤーデータのＧ成分（ＢＤＧ）に含まれる低域成分であるから、ＢＤＧとＧＬの差分は、結局、元のベイヤーデータのＧ成分（ＢＤＧ）から高域成分を抽出していることに相当し、升目内の数値（“１”、“２”、“６”及び“−７”）は各々の座標位置におけるＢＤＧの画素単位の高域成分を表していることになる。
【００３３】
＜ＤＧＨに対する相関補間処理＞
図１８〜図２０は、図２のステップＳ４０の詳細処理フローチャートであり、上記の高域差分（ＤＧＨ）の情報欠落画素に対する相関補間処理を行うための処理手順図である。この処理手順では、二つの座標変数ｉ、ｊの値を変化させながら水平方向と垂直方向に点順次の画素走査を行いつつ（ステップＳ４１、ステップＳ４６〜ステップＳ５０）、各走査位置（ｉ，ｊ）ごとに、情報欠落画素であるか否かを判定（ステップＳ４２）して情報欠落画素である場合に相関演算処理（ステップＳ４３）、重み付け係数演算処理（ステップＳ４４）及びＤＧＨ補間処理（ステップＳ４５）を繰り返す。
【００３４】
・相関演算処理
ステップＳ４３の相関値演算処理では、注目画素（ｉ，ｊ）に隣接する上下左右四つの画素の各々に対応する相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)に、注目画素の画素値に対する各対応画素の画素値の差（の絶対値）をセットする（ステップＳ４３ａ〜ステップＳ４３ｄ）。例えば、注目画素（ｉ，ｊ）の上に位置する画素（ｉ，ｊ−１）で説明すると、この場合は、注目画素（ｉ，ｊ）の画素値ＧＬ(i,j)と、対象画素（ｉ，ｊ−１）の画素値ＧＬ(i,j-1)の差の絶対値（｜ＧＬ(i,j)−ＧＬ(i,j-1)｜）を演算し、その演算結果を相関値変数Ｃ(i,j-1)にセットする（ステップＳ４３ａ）。そして、すべての相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)に対する値のセットを完了すると、次式（６）により、相関積算値ΣＣを演算する（ステップＳ４３ｅ）。
ΣＣ＝Ｃ(i,j-1)＋Ｃ(i+1,j)＋Ｃ(i,j+1)＋Ｃ(i-1,j) ・・・・（６）
相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)の例えば、Ｃ(i,j-1)の値が大きい場合は注目画素（ｉ，ｊ）と対象画素（ｉ，ｊ−１）の画素値の相関性が低く、逆にＣ(i,j-1)の値が小さい場合は相関性が高いことを表す。かかる相関性は隣接画素間における明暗又は色の類似性の度合いに対応するから、相関性の低い画素同士は各々境界線（又は輪郭線）によって隔てられた異なる画像に属するとみなすことができ、一方、相関性の高い画素同士は同一の画像に属するとみなすことができる。
【００３５】
・重み付け係数演算処理
ステップＳ４４の重み付け係数演算処理では、次の二つの並べ替え（ソート）処理を実行する。第一の並べ替え処理（ステップＳ４４ａ）では、相関値演算処理でセットしたすべての相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)について、昇順の並べ替え（値の小さい順からの並べ替え）を行い、並べ替え後のＣ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)を値の小さい順から昇順変数ＡＳＣ0、ＡＳＣ1、ＡＳＣ2、ＡＳＣ3にセットする。例えば、並べ替え後のＣ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)の順位をＣ(i,j-1)＜Ｃ(i+1,j)＜Ｃ(i ,j+1)＜Ｃ(i-1,j)とすると、以下のとおりセットされる。
なお、並べ替え後のＣ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)に同じ値が含まれる場合、例えば、Ｃ(i,j-1)＝Ｃ(i+1,j)＜Ｃ(i,j+1)＜Ｃ(i-1,j)のような場合は、上式（７）のようにセットしてもよく、あるいは、
【００３７】
次に、第二の並べ替え処理（ステップＳ４４ｂ）では、相関値演算処理でセットしたすべての相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)について、降順の並べ替え（値の大きい順からの並べ替え）を行い、並べ替え後のＣ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)に対応する座標位置のＤＧＨ画素値ＤＧＨ(i,j-1)、ＤＧＨ(i+1,j)、ＤＧＨ(i,j+1)、ＤＧＨ(i-1,j)を、相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)の値の大きい順から降順変数ＤＥＳＣ0、ＤＥＳＣ1、ＤＥＳＣ2、ＤＥＳＣ3にセットする。例えば、並べ替え後のＣ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)の順位をＣ(i,j-1)＜Ｃ(i+1,j)＜Ｃ(i,j+1)＜Ｃ(i-1,j)とすると、以下のとおりセットされる。
なお、第一の並べ替え処理と同様に、並べ替え後のＣ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)に同じ値が含まれる場合、例えば、Ｃ(i,j-1)＝Ｃ(i+1,j)＜Ｃ(i,j+1)＜Ｃ(i-1,j)のような場合は、上式（９）のようにセットしてもよく、あるいは、
【００３９】
・ＤＧＨ補間処理
ステップＳ４５のＤＧＨ補間算処理では、重み付け係数演算処理の演算結果を用いて、次式（１１）及び次式（１２）により、注目画素（ｉ，ｊ）の補間値ＤＧＨ(i,j)を演算する（ステップＳ４５ａ、ステップＳ４５ｂ）。
ここで、図２１（ａ）、（ｂ）に示すＧＬ画素値配列モデル及びそのＧＬ画素値配列モデルに対応したＤＧＨ画素値配列モデルを例にして具体的に説明する。図２１（ａ）において、太線枠内中央の画素をＧＬの注目画素ＧＬ(i,j)とすると、その上下左右に位置する隣接画素ＧＬ(i,j-1)、ＧＬ(i+1,j)、ＧＬ(i,j+1)、ＧＬ(i-1,j)の画素値は、それぞれ「３０」、「２４」、「３０」及び「３０」である。また、図２１（ｂ）において、太線枠内中央の画素をＤＧＨの注目画素ＤＧＨ(i,j)とすると、その上下左右に位置する隣接画素ＤＧＨ(i,j-1)、ＤＧＨ(i+1,j)、ＤＧＨ(i,j+1)、ＤＧＨ(i-1,j)の画素値は、それぞれ「２」、「８」、「２」及び「２」である。
【００４１】
まず、ステップＳ４３の「相関値演算処理」で、注目画素ＧＬ(i,j)に隣接する上下左右四つの画素の各々に対応する相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)に、注目画素の画素値ＧＬ(i,j)に対する各対応画素の画素値ＧＬ(i,j-1)、ＧＬ(i+1,j)、ＧＬ(i,j+1)、ＧＬ(i-1,j)の差（の絶対値）をセットする。すなわち、図２１（ａ）において、各画素値ＧＬ(i,j-1)、ＧＬ(i+1,j)、ＧＬ(i,j+1)、ＧＬ(i-1,j) 、ＧＬ(i,j)は、
【００４２】
図２２（ａ）は、画素位置と相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)との対応関係図である。
次に、ステップＳ４４の「重み付け係数演算処理」で、相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)を昇順に並べ替え、並べ替え後のＣ (i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)を値の小さい順から昇順変数ＡＳＣ0、ＡＳＣ1、ＡＳＣ2、ＡＳＣ3にセットし、さらに、相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)を降順に並べ替え、並べ替え後のＣ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)に対応する座標位置のＤＧＨ画素値ＤＧＨ(i,j-1)、ＤＧＨ(i+1,j)、ＤＧＨ(i,j+1)、ＤＧＨ(i-1,j)を、相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)の値の大きい順から降順変数ＤＥＳＣ0、ＤＥＳＣ1、ＤＥＳＣ2、ＤＥＳＣ3にセットする。
【００４４】
ここで、Ｃ(i,j-1)は「２」、Ｃ(i+1,j)は「８」、Ｃ(i,j+1)は「２」、Ｃ(i-1,j)は「２」であり、Ｃ(i,j-1)＝Ｃ(i,j+1)＝Ｃ(i-1,j)＜Ｃ(i+1,j)であるから、これを昇順に並べ替えると「Ｃ(i,j-1)、Ｃ(i,j+1)、Ｃ(i-1,j)、Ｃ(i+1,j)」の順番になり、降順に並べ替えると「Ｃ(i+1,j)、Ｃ(i-1,j)、Ｃ(i,j+1)、Ｃ(i,j-1)」の順番になる。なお、等値のものは順番を入れ替えてもかまわない。したがって、昇順変数ＡＳＣ0、ＡＳＣ1、ＡＳＣ2、ＡＳＣ3には、次式（１６）の値がセットされ、降順変数ＤＥＳＣ0、ＤＥＳＣ1、ＤＥＳＣ2、ＤＥＳＣ3には、次式（１７）の値がセットされる。
【００４５】
次に、ステップＳ４５の「ＤＧＨ補間処理」では、重み付け係数演算処理の演算結果を用いて、前式（１１）及び前式（１２）により、注目画素（ｉ，ｊ）の補間値ＤＧＨ(i,j)を演算する。
ここで、Ｃ(i,j-1)＝２、Ｃ(i+1,j)＝８、Ｃ(i,j+1)＝２、Ｃ(i-1,j)＝２であり、ＤＧＨ(i,j-1)＝２、ＤＧＨ(i+1,j)＝８、ＤＧＨ(i,j+1)＝２、ＤＧＨ(i-1,j)＝２であり、さらに、前式（１５）より、ΣＣ＝１４であるから、これらの実際値を当てはめると、式（１６）及び式（１７）は、次式（１８）及び次式（１９）のように書き表すことができ、結局、前式（１１）及び式（１２）は、次式（２０）及び次式（２１）のように書き表すことができる。
【００４７】
したがって、この補間値ＤＧＨ(i,j)を用いてＤＧＨの注目画素（情報欠落画素）（ｉ，ｊ）を補間すれば、図２２（ｂ）に示すように、高域差分データ（ＤＧＨ）の情報欠落画素を適切な画素値（この例示では“３”）で埋めることができる。しかも、補間値ＤＧＨ(i,j)は相関性のある画素値の影響を強く受けるため、境界線（輪郭線）を挟んで隣接する画素の影響をほとんど受けることはない。このことは、明暗のはっきりした境界部分を持つ画像の再現性を改善できることを示唆している。
【００５０】
＜ＤＧＨ（補間後のもの）とＧＬとの合成処理＞
図２のステップＳ８０におけるＤＧＨ（補間後のもの）とＧＬとの合成処理では、具体的なフローチャートの提示は略すが、概念的に、図２３に示すような処理を行う。図２３において、まず、補間処理後のＤＧＨをＮ倍する。高域強調しない場合、Ｎに“１”がセットされ、高域強調する場合、Ｎに所定の強調係数（例えば“２”）がセットされる。
【００５１】
今、Ｎ＝１としたとき、ＧＬとＤＧＨの合成結果（ＧＨ）は、図中下段の左側に示すように、ＧＬの各画素値に、対応する位置のＤＧＨの画素値が加算されている。このＧＨ（Ｎ＝１）において、注目すべき点はもっとも明るいレベルを持つひとつの画素が存在することにある。その画素は座標（５，５）の画素であり、元々は情報が欠落していた画素である。本実施の形態の補間処理を適用することにより、当該情報欠落画素に対して、周囲の上下左右の画素値（図では“３２”）よりも高いレベルの“３５”を与えることができる。
【００５２】
したがって、周囲を比較的高レベルの画素値“３２”で取り囲まれた情報欠落画素の画素値を高輝度側にシフトさせることができるから、少なくともそのレベル差（この例では“３５−３２”）に相当する分だけ、当該ひとつの画素を際立たせることができる。その結果、画素単位に画像の精細度を向上でき、本願発明の課題を達成することができる。
【００５３】
また、例えば、Ｎ＝２としたとき、ＧＬとＤＧＨの合成結果（ＧＨ）は、図中下段の右側に示すように、ＧＬの各画素値に、対応する位置のＤＧＨの画素値が２倍されて加算されている。このＧＨ（Ｎ＝２）において、もっとも明るいレベルを持つひとつの画素は座標（６，５）の画素であり、元々の情報欠落画素ではないが、その左隣の画素（座標（５，５）の画素）に着目すると、座標（６，５）の画素を除く周囲の画素よりも高いレベル（この例では“３８”）が与えられているため、Ｎ＝１の場合と同様に、座標（５，５）の画素を目立たせることができる。
【００５４】
以上のことを、冒頭の第３の従来技術との対比で検証してみる。図２４は、本実施の形態と同様の画素配列モデル（図３のベイヤーデータのＧ成分ＢＤＧ参照）を適用した場合の従来技術の処理概念図である。ＧＬ＿Ｊは本実施の形態のＧＬ（図１５参照）と同一のものである。また、ＧＨ＿Ｊは元のベイヤーデータのＧ成分ＢＤＧを相関補間したものであり、その相関補間処理のアルゴリズムは、本実施の形態の「ＤＧＨに対する相関補間処理」（図１８〜図２０参照）に一応類似する。相違点は、ステップＳ４４における重み付け演算処理において、ＤＥＳＣ0、ＤＥＳＣ1、ＤＥＳＣ2、ＤＥＳＣ3にセットする画素値として元のベイヤーデータのG成分ＢＤＧのものをそのまま使用することにある。
【００５５】
一方、本実施の形態では、ＤＥＳＣ0、ＤＥＳＣ1、ＤＥＳＣ2、ＤＥＳＣ3にＢＤＧとＧＬの差分、すなわちベイヤーデータのＧ成分ＢＤＧの高域差分（ＤＧＨ）をセットするから、この点において両者は本質的な違いがある。本実施の形態によれば、ＬＰＦ処理によって失われた高域差分に相当するデータ（ＤＧＨ）に対して上記相関補間処理（図１８〜図２０参照）を行うため、情報欠落画素に対する補間情報を適正化でき、画素単位に精細度を向上することができる。
【００５６】
これに対して、図２４に示す従来技術のものは、ベイヤーデータのＧ成分（ＢＤＧ）そのものに対して情報補間を行った後、その情報補間後のＧ成分データ（ＧＨ＿Ｊ）とＧ成分データの低域成分（ＧＬ＿Ｊ）との差分をとり、その差分データ（ＤＧＨ＿Ｊ）をＮ倍（Ｎ＝１または例えばＮ＝２）してＧＬ＿Ｊと合成し、最終的な補間済画像ＧＨ＿Ｊ（Ｎ＝１）またはＧＨ＿Ｊ（Ｎ＝２）を生成しているが、ＤＧＨ＿Ｊは高域成分を失っているから（例えば、ＤＧＨ＿Ｊの中央画素値“０”を参照されたい）、▲１▼Ｎ＝１のＧＨ＿Ｊにあっては、座標（５，４）、（６，５）、（５，６）、（４，５）及び（５，５）の五つの画素からなる領域が同一のレベル（“３２”）に揃ってしまい、明らかに画素単位での精細度を得ることができないし、▲２▼また、Ｎ＝２のＧＨ＿Ｊにあっては、座標（５，５）の画素値がその上下左右の画素値（“３４”または“４０”）よりも低レベルの“３２”になってしまい、視覚上の不自然さを否めないという欠点がある。
【００５７】
本実施の形態によれば、このような欠点▲１▼、▲２▼を生じることがなく、したがって、画素単位に精細度を向上した有益な画素補間処理技術を提供できるのである。
【００５８】
【発明の効果】
本発明によれば、単板式のカラー撮像デバイスによって撮像された画像信号から低域画像信号と高域画像信号を抽出し、低域画像信号の注目画素とその周囲の隣接画素との相関性を評価するとともに、その評価結果を用いて前記高域画像信号の注目画素を補間し、補間後の高域画像信号と前記低域画像信号とを合成して出力画像信号を生成するので、高域画像信号の補間により、画像のエッジ部分のシャープさを損なうことなく、画素単位に精細度を高めた補間済画像信号を生成することができる。
又は、評価結果に応じた重み付け係数を隣接画素に対して割り当てるとともに、隣接画素に対して割り当てられた重み付け係数を高域画像信号の隣接画素に適用して該隣接画素の平均値を演算し、その演算結果を用いて高域画像信号の注目画素を補間するので、重み付け係数の値を変えて補間処理の効果を様々に変更することができる。
又は、相関性の低い隣接画素に対しては小さな重み付け係数を割り当てる一方、相関性の高い隣接画素に対しては大きな重み付け係数を割り当てるので、相関性の高低をより明確にして、補間処理の効果を一層高めることができる。
又は、隣接画素は、注目画素と同一位置の１ライン前の画素、注目画素と同一ラインの隣り合う画素又は注目画素と同一位置の１ライン後の画素の何れか若しくはすべてであるので、フレーム内の画素補間を行うことができる。
又は、保持手段に保持された画像信号から低域画像信号を減算することにより画像信号の高域成分を抽出して高域画像信号を生成するので、簡単な画素値演算で済み、処理のオーバヘッドを抑制できる。
又は、画像信号は単板式のカラー撮像デバイスによって撮像されたベイヤー信号中のＧ成分信号であり、このＧ成分は明るさの情報を含むので、明暗のはっきりした境界部分を持つ画像の再現性を改善できる。
【図面の簡単な説明】
【図１】実施の形態の全体構成図である。
【図２】実施の形態の補間処理手順図である。
【図３】ベイヤーデータのＧ成分（ＢＤＧ）の配列モデル例を示す図である。
【図４】画素座標値の一般表記図及び画像処理分野での一般的な表現に倣った画素値レベル図である。
【図５】図２のステップＳ２０（ＬＰＦ処理）の詳細処理フローチャートである。
【図６】３×３個の各画素に対応する画素値格納変数と重み付け係数の位置関係図である。
【図７】画素データ取得処理の実際を示す処理手順図（１／２）である。
【図８】画素データ取得処理の実際を示す処理手順図（２／２）である。
【図９】具体的な画素配列の状態図及び画素値格納変数の値を示す図である。
【図１０】重み付け係数セット処理の実際を示す処理手順図（１／２）である。
【図１１】重み付け係数セット処理の実際を示す処理手順図（２／２）である。
【図１２】具体的な重み付け係数の値を示す図である。
【図１３】ＧＬ(i,j)演算処理の実際を示す処理手順図である。
【図１４】注目画素（ｉ，ｊ）の補間値ＧＬ(i,j)の演算概念図である。
【図１５】ＬＰＦ処理後のベイヤーデータのＧ成分（ＧＬ）を示す図である。
【図１６】図２のステップＳ３０（ＢＤＧ−ＧＬ処理）の詳細処理フローチャートである。
【図１７】ＢＤＧ−ＧＬ処理の結果得られる高域差分データ（ＤＧＨ）を示す図である。
【図１８】図２のステップＳ４０（ＤＧＨに対する相関補間処理）の詳細処理フローチャート（１／３）である。
【図１９】図２のステップＳ４０（ＤＧＨに対する相関補間処理）の詳細処理フローチャート（２／３）である。
【図２０】図２のステップＳ４０（ＤＧＨに対する相関補間処理）の詳細処理フローチャート（３／３）である。
【図２１】ＧＬ画素値配列モデル及び補間前のＤＧＨ画素値配列モデルを示す図である。
【図２２】画素位置と相関値変数Ｃ(i,j-1)、Ｃ(i+1,j)、Ｃ(i,j+1)、Ｃ(i-1,j)との対応関係図及び補間後の高域差分データ（ＤＧＨ）を示す図である。
【図２３】図２のステップＳ８０（補間後のＤＧＨとＧＬとの合成処理）に対応する概念的な説明図である。
【図２４】本実施の形態と同様の画素配列モデル（図３のベイヤーデータのＧ成分ＢＤＧ参照）を適用した場合の従来技術の処理概念図である。
【図２５】ＣＣＤの構成図である。
【図２６】ＣＣＤと色フィルタを示す図である。
【図２７】ベイヤー方式の色フィルタの原理図である。
【図２８】実際の色フィルタの構成図である。
【図２９】インターレース型ＣＣＤに適用する色フィルタの構成図である。
【図３０】Ｇフィルタだけを抜き出したフィルタの構成図（Ｇ画素信号の配列モデル図でもある）である。
【図３１】第３の従来技術における補間処理の概略手順図である。
【符号の説明】
ＢＤ ベイヤーデータ（元画像信号）
ＢＤＧ ベイヤーデータのＧ成分（元画像信号のＧ成分）
ＤＧＨ ＢＤとＧＬの高域差分（高域画像信号）
ＧＨ 補間済画像（出力画像信号）
ＧＬ ＬＰＦ処理後のＢＤ（低域画像信号）
１０ ＣＣＤ（単板式のカラー撮像デバイス）
１４ メモリ部（保持手段）
２０ ＣＰＵ（第１生成手段、第２生成手段、評価手段、補間手段、第３生成手段、演算手段）
Claims (8)
- 単板式のカラー撮像デバイスによって各色成分毎に所定の画素が欠落した形で撮像された画像信号の欠落画素を隣接画素の状態に応じて補間する機能を備えた撮像装置であって、
欠落画素を含む所定の色成分の画像信号である元画像信号を保持する保持手段と、
前記保持手段に保持された前記元画像信号の低域成分を抽出して低域画像信号を生成する第１生成手段と、
前記保持手段に保持された前記元画像信号の高域成分を抽出して高域画像信号を生成する第２生成手段と、
前記低域画像信号に基づいて各画素とその周囲の隣接画素との相関性を評価する評価手段と、
前記評価手段の評価結果を用いて前記高域画像信号の欠落画素を補間する補間手段と、
前記補間後の高域画像信号と前記低域画像信号とを合成して出力画像信号を生成する第３生成手段と、
を備えたことを特徴とする撮像装置。 - 前記補間手段は、前記評価手段の評価結果に応じた重み付け係数を隣接画素に対して割り当て、
隣接画素に対して割り当てられた重み付け係数を前記高域画像信号の隣接画素に適用して該隣接画素の平均値を演算する演算手段を備え、
前記演算手段の演算結果を用いて前記高域画像信号の欠落画素を補間することを特徴とする請求項１記載の撮像装置。 - 前記演算手段は、相関性の低い隣接画素に対しては小さな重み付け係数を割り当てる一方、相関性の高い隣接画素に対しては大きな重み付け係数を割り当てることを特徴とする請求項２記載の撮像装置。
- 前記隣接画素は、注目画素と同一位置の１ライン前の画素、注目画素と同一ラインの隣り合う画素又は注目画素と同一位置の１ライン後の画素の何れか若しくはすべてであることを特徴とする請求項１記載の撮像装置。
- 前記第３生成手段は、前記補間後の高域画像信号をＮ倍（Ｎは１または１以上の整数）して前記低域画像信号に合成することを特徴とする請求項１記載の撮像装置。
- 前記第２生成手段は、前記保持手段に保持された画像信号から前記第１の生成手段により生成された低域画像信号を減算することにより画像信号の高域成分を抽出して高域画像信号を生成することを特徴とする請求項１乃至請求項５いずれかに記載の撮像装置。
- 前記元画像信号は、単板式のカラー撮像デバイスによって撮像されたベイヤー信号中のＧ成分信号であることを特徴とする請求項１乃至請求項６いずれかに記載の撮像装置。
- 単板式のカラー撮像デバイスによって各色成分毎に所定の画素が欠落した形で撮像された画像信号の欠落画素を隣接画素の状態に応じて補間するカラー撮像信号の処理方法であって、
欠落画素を含む所定の色成分の画像信号である元画像信号を保持する第１ステップと、
前記第１ステップで保持された前記元画像信号の低域成分を抽出して低域画像信号を生成する第２ステップと、
前記第１ステップで保持された前記元画像信号の高域成分を抽出して高域画像信号を生成する第３ステップと、
前記低域画像信号に基づいて各画素とその周囲の隣接画素との相関性を評価する第４ステップと、
前記第４ステップの評価結果を用いて前記高域画像信号の欠落画素を補間する第５ステップと、
前記補間後の高域画像信号と前記低域画像信号とを合成して出力画像信号を生成する第６ステップと、
を含むことを特徴とするカラー撮像信号の処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000106213A JP3711402B2 (ja) | 2000-04-07 | 2000-04-07 | 撮像装置及びカラー撮像信号の処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000106213A JP3711402B2 (ja) | 2000-04-07 | 2000-04-07 | 撮像装置及びカラー撮像信号の処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001292452A JP2001292452A (ja) | 2001-10-19 |
| JP3711402B2 true JP3711402B2 (ja) | 2005-11-02 |
Family
ID=18619428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000106213A Expired - Fee Related JP3711402B2 (ja) | 2000-04-07 | 2000-04-07 | 撮像装置及びカラー撮像信号の処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3711402B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7565007B2 (en) | 2001-01-25 | 2009-07-21 | Nikon Corporation | Image processing method, image processing program, and image processing apparatus |
| JP4688753B2 (ja) * | 2006-08-02 | 2011-05-25 | 三菱電機株式会社 | 補間処理装置および補間処理方法 |
| JP5098054B2 (ja) * | 2007-11-22 | 2012-12-12 | オリンパス株式会社 | 画像処理装置及び画像処理プログラム |
| JP5523802B2 (ja) * | 2009-11-25 | 2014-06-18 | 株式会社東芝 | 画像処理装置 |
-
2000
- 2000-04-07 JP JP2000106213A patent/JP3711402B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001292452A (ja) | 2001-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| USRE47062E1 (en) | Image processing apparatus and method for generating a restoration image | |
| JP5106870B2 (ja) | 固体撮像素子 | |
| JP4228699B2 (ja) | 撮像装置、および撮像素子 | |
| JP5128207B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
| JP4610930B2 (ja) | 画像処理装置、画像処理プログラム | |
| JP3946492B2 (ja) | 低解像度イメージの生成方法 | |
| WO2006048962A1 (ja) | 画素信号処理装置及び画素信号処理方法 | |
| JPWO2013046828A1 (ja) | 画像処理装置、方法、プログラムおよび撮像装置 | |
| JP5513978B2 (ja) | 撮像装置、集積回路および画像処理方法 | |
| JP2002209223A (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP4246428B2 (ja) | トーンスケール関数の生成方法 | |
| JPH09238355A (ja) | 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置 | |
| JP2001197512A (ja) | 色成分生成装置およびこれを用いた多色画像撮像装置、並びに色成分生成方法 | |
| JP3711402B2 (ja) | 撮像装置及びカラー撮像信号の処理方法 | |
| US20230247308A1 (en) | Image processing method, camera assembly and mobile terminal | |
| JP3711401B2 (ja) | 撮像装置及びカラー撮像信号の処理方法 | |
| JP5153842B2 (ja) | 画像処理装置、画像処理プログラム | |
| JP2009033699A (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
| JP4412446B2 (ja) | 解像度変換方法および解像度変換装置 | |
| JPWO2015083502A1 (ja) | 画像処理装置、該方法および該プログラム | |
| JP4334484B2 (ja) | 画素信号処理装置及び方法 | |
| JP4478981B2 (ja) | 色雑音低減手法およびカラー撮像装置 | |
| JP2002125240A (ja) | カラー撮像装置 | |
| JP2009171378A (ja) | 撮像信号処理回路、撮像信号処理方法、プログラムおよび撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040720 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040921 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050713 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050726 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080826 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110826 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130826 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |