JP4303525B2 - 補間画素生成装置および方法 - Google Patents
補間画素生成装置および方法 Download PDFInfo
- Publication number
- JP4303525B2 JP4303525B2 JP2003163071A JP2003163071A JP4303525B2 JP 4303525 B2 JP4303525 B2 JP 4303525B2 JP 2003163071 A JP2003163071 A JP 2003163071A JP 2003163071 A JP2003163071 A JP 2003163071A JP 4303525 B2 JP4303525 B2 JP 4303525B2
- Authority
- JP
- Japan
- Prior art keywords
- photoelectric conversion
- conversion element
- pixel
- image data
- element group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 140
- 230000000875 corresponding effect Effects 0.000 claims description 24
- 230000002596 correlated effect Effects 0.000 claims description 15
- 239000003086 colorant Substances 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 description 78
- 230000014509 gene expression Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000012447 hatching Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【技術分野】
この発明は，補間画素生成装置および方法ならびに相関方向検出装置および方法に関する。
【０００２】
【発明の背景】
ディジタル・カメラには，撮像装置として３板ＣＣＤをもつものと単板ＣＣＤをもつものとがある。
【０００３】
３板ＣＣＤは，赤色の光成分を透過するフィルタがすべてのフォトダイオードの受光面上に形成されたＲ用ＣＣＤと緑色の光成分を透過するフィルタがすべてのフォトダイオードに形成されたＧ用のＣＣＤと青色の光成分を透過するフィルタがすべてのフォトダイオードに形成されたＢ用のフォトダイオードが形成されたＢ用のＣＣＤから構成される。３板ＣＣＤにおいては，１つの画素に対応するフォトダイオードは，画素の赤色成分，緑色成分および青色成分を表す画像データを得るために３つあることになる。
【０００４】
これに対して，単板ＣＣＤにおいては，３板ＣＣＤと異なり，１つの画素に対応するフォトダイオードは一つであり，画素の赤色成分，緑色成分または青色成分を表す画像データが得られる。画素の赤色成分，緑色成分および青色成分のうち，一色の色成分を表す画像データを得ることができるが，その一色以外の二色の色成分を表す画像データを得ることはできない。このために，たとえば，それらの二色の色成分を表わす画像データを得るために補間処理が行われる。
【０００５】
補間処理の一例として，方向相関の判別を行い，相関があると判別された方向に応じてフィルタ処理が行われるものがある（特許文献１参照）。相関方向に応じてフィルタ処理が行われるので，偽信号の発生を未然に防止できる。
【０００６】
【特許文献１】
特開平８−298669号公報
【０００７】
同色の画像データを用いて相関方向の判別を行うと，同色の画像データを与えるフォトダイオード間の距離が遠くなることがあるので，比較的正確な方向判別を行うことができないことがある。異なる色の画像データを用いて相関方向の判別を行うと，誤判別により偽色が発生することがある。
【０００８】
【発明の開示】
この発明は，比較的正確な方向判別を行うことができ，かつ偽色の発生を未然に防止することを目的とする。
【０００９】
第１の発明は，三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力して補間画素を表すデータを生成する補間画素生成装置において，相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データと，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データと，にもとづいて，上記着目画素の相関性の高い方向を検出する検出手段，上記検出手段によって検出された方向に応じて，上記着目画素を補間すべき画素を表わすデータを生成するフィルタを決定するフィルタ決定手段，および上記フィルタ決定手段によって決定されたフィルタを用いて上記着目画素に対応する補間画素を表わすデータを生成する補間画素生成手段を備えていることを特徴とする。
【００１０】
第１の発明は，上記補間画素生成装置に適した方法も提供している。すなわち，この方法は，三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力して補間画素を表すデータを生成する補間画素生成装置において，相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データと，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データと，にもとづいて，上記着目画素の相関性の高い方向を検出し，検出されたエッジ方向性に応じて，上記着目画素を補間すべき画素を生成するフィルタを決定し，決定されたフィルタを用いて上記着目画素に対応する補間画素を生成するものである。
【００１１】
第１の発明によると，相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データと，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データとが得られる。得られた第１の画像データにもとづいて着目画素の相関性の高い方向が検出される。検出された方向に応じて，補間すべき画素を生成するフィルタが決定される。決定されたフィルタを用いて補間画素が生成される。
【００１２】
第１の光電変換素子群と第２の光電変換素子群とは，距離が比較的離れていない。比較的正確に着目画素の相関性の高い方向が分かり，方向に応じた適切なフィルタを用いて補間画素を生成できる。また，第１の光電変換素子群を構成する複数の光電変換素子と第２の光電変換素子群を構成する複数の光電変換素子とは受光面上に形成されているカラー・フィルタの割合が同じなので，着目画素の相関性の方向の誤判別を未然に防止できる。偽色の発生を未然に防止できる。
【００１３】
上記第１の光電変換素子群に上記着目光電変換素子自体が含まれていてもよいし，含まれていなくともよい。
【００１４】
上記第１の光電変換素子の方向および上記第２の光電変換素子群の方向は，たとえば，検出すべき相関性の高い方向の垂直方向である。
【００１５】
上記第１の光電変換素子群は，たとえば，共通の光電変換素子を有する第１の複数の光電変換素子群からなり，上記第２の光電変換素子群は，たとえば，共通の光電変換素子を有する第２の複数の光電変換素子群からなる。この場合，上記第１の複数の光電変換素子群と上記第２の複数の光電変換素子群とが上記着目光電変換素子を中心として，対象位置に配置されているものとなろう。
【００１６】
第２の発明による相関方向検出装置は，三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力する入力手段，上記入力手段に入力した三原色画像データのうち，相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データのレベルを算出する第１の算出手段，上記入力手段に入力した三原色画像データのうち，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データのレベルを算出する第２の算出手段，および上記第１の算出手段によって算出されたレベルと上記第２の算出手段によって算出されたレベルとにもとづいて，上記着目画素の相関性の高い方向を検出する検出手段を備えていることを特徴とする。
【００１７】
第２の発明は，上記相関方向検出装置に適した方法も提供している。すなわち，この方法は，三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力し，入力した三原色画像データのうち，相関方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データの第１のレベルを算出し，入力した三原色画像データのうち，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データの第２のレベルを算出し，算出された第１のレベルと第２のレベルとにもとづいて，上記着目画素の相関性の高い方向を検出するものである。
【００１８】
第２の発明においても，第１の光電変換素子群と第２の光電変換素子群とは，距離が比較的離れていない。比較的正確に着目画素の相関性の高い方向が分かる。したがって，方向に応じた適切なフィルタを用いて補間画素を生成できる。また，第１の光電変換素子群を構成する複数の光電変換素子と第２の光電変換素子群を構成する複数の光電変換素子とは受光面上に形成されているカラー・フィルタの割合が同じなので，着目画素の相関方向の誤判別を未然に防止できる。
【００１９】
【実施例の説明】
図１は，この発明の実施例を示すもので，ＣＣＤの受光面の一部を示している。
【００２０】
ＣＣＤには，水平方向および垂直方向に多数のフォトダイオード（光電変換素子）PDが設けられている。この実施例によるＣＣＤは，いわゆるハニカム配列のものであり，奇数列には偶数行にフォトダイオードPDが配置され，偶数列には奇数行にフォトダイオードPDが配置されている。もっとも，奇数列には奇数行にフォトダイオードPDが配置され，偶数列には偶数行にフォトダイオードPDが配置されてもよい。
【００２１】
フォトダイオードPDの受光面上には，赤色の光成分を透過する特性をもつ赤色フィルタ，緑色の光成分を透過する特性をもつ緑色フィルタまたは青色の光成分を透過する特性をもつ青色フィルタが形成されている。
【００２２】
図１においては，赤色フィルタが符号「Ｒ」で，緑色フィルタが符号「Ｇ」で，青色フィルタが符号「Ｂ」で，それぞれ示されている。また，ＣＣＤにおけるフォトダイオードPDの位置が符号「Ｒ」，「Ｇ」または「Ｂ」に添え字が付されて示されている。この実施例によるＣＣＤは，赤色フィルタ，緑色フィルタまたは青色フィルタが列ごとに交互にフォトダイオードPD上に形成されている。
【００２３】
この実施例においては，右斜め方向，左斜め方向，垂直方向および水平方向のうち，画像を構成する特定の画素（着目画素）の相関方向を検出し，検出された相関方向性に応じた特性をもつフィルタを用いて，画素補間を行うものである。右斜め方向の評価値，左斜め方向の評価値，垂直方向の評価値および水平方向の評価値がそれぞれ後述のように算出される。算出された評価値を用いて着目画素の方向性が検出される。
【００２４】
着目画素に対応するフォトダイオード（着目フォトダイオードという）Ｂ2,2がハッチングで示されている。
【００２５】
図２から図４は，ＣＣＤの受光面の一部を示すもので，着目画素としてフォトダイオードＢ2,2に対応する画素が取り上げられている。フォトダイオードPDの識別符号として，フォトダイオードPDに形成されているカラー・フィルタの符号を用いる。
【００２６】
図２は，右斜め方向の評価値を算出する場合に利用されるフォトダイオードPDの組み合わせを示している。
【００２７】
着目フォトダイオードＢ2,2を中心に左斜め方向に第１の中央フォトダイオード群（第１の光電変換素子群）Ｓ１が規定されている。第１の中央フォトダイオード群Ｓ１には，着目フォトダイオードＢ2,2のほかに，着目フォトダイオードＢ2,2の左上のフォトダイオードＧ1,1および着目フォトダイオードＢ2,2の右斜め下のフォトダイオードＲ3,3が含まれている。第１の中央フォトダイオード群Ｓ１を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，赤色フィルタ，緑色フィルタおよび青色フィルタがそれぞれ１対１対１となる。
【００２８】
第１の中央フォトダイオード群Ｓ１の左斜め下および右斜め上に，第１の中央フォトダイオード群Ｓ１に平行に，かつ隣接して，外部フォトダイオード群（第２の光電変換素子群）Ｓ２およびＳ３がそれぞれ規定されている。第１の外部フォトダイオード群Ｓ２は，第１の中央フォトダイオード群Ｓ１を構成するフォトダイオードＧ1,1，Ｂ2,2およびＲ3,3のそれぞれ左斜め下に位置するフォトダイオードＲ0,2，Ｇ1,3およびＢ2,4から構成されている。第１の外部フォトダイオード群Ｓ２を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，第１の中央フォトダイオード群Ｓ１と同様に，１対１対１となる。第２のフォトダイオード群Ｓ３は，第１の中央フォトダイオード群Ｓ１を構成するフォトダイオードＧ1,1，Ｂ2,2およびＲ3,3のそれぞれ右斜め上に位置するフォトダイオードＢ2,0，Ｒ3,1およびＧ4,2から構成されている。第２の外部フォトダイオード群Ｓ３も，第２の外部フォトダイオード群Ｓ３を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，第１の中央フォトダイオード群Ｓ１と同様に，１対１対１となる。
【００２９】
第１の中央フォトダイオード群Ｓ１ならびに外部フォトダイオード群Ｓ２およびＳ３のそれぞれの方向は，着目画素の評価値を検出すべき方向（右斜め方向）に対して垂直方向である。
【００３０】
右斜め方向評価値Ｖｒは，式１にもとづいて得られる。
【００３１】
Ｖｒ＝｜Ｓ３−Ｓ１｜＋｜Ｓ１−Ｓ２｜・・・式１
但し，Ｓ１＝Ｇ1,1＋Ｂ2,2＋Ｒ3,3・・・式２
Ｓ２＝Ｒ0,2＋Ｇ1,3＋Ｂ2,4・・・式３
Ｓ３＝Ｂ2,0＋Ｒ3,1＋Ｇ4,2・・・式４
【００３２】
式１から式４において，Ｓ１，Ｓ２およびＳ３は，それぞれ第１の中央フォトダイオード群Ｓ１，第１の外部フォトダイオード群Ｓ２および第２の外部フォトダイオード群Ｓ３に蓄積された信号電荷にもとづいて得られる画像データを加算したものである。また，それぞれのフォトダイオードに蓄積された信号電荷にもとづいて得られる画像データについてフォトダイオードの符号と同じ符号が用いられている。
【００３３】
式１から式４にもとづいて得られる右斜め方向評価値Ｖｒにもとづいて着目画素Ｂ2,2の右斜め方向の相関性が判断される。
【００３４】
互いに隣接し，距離が近いフォトダイオード群にもとづいて得られる画像データによって右斜め方向の評価値Ｖｒが算出されるので，算出される評価値Ｖｒは比較的信頼性の高いものとなる。
【００３５】
図３は，左斜め方向の評価値を算出する場合に利用されるフォトダイオードPDの組み合わせを示している。
【００３６】
着目フォトダイオードＢ2,2を中心に右斜め方向に第２の中央フォトダイオード群（第１の光電変換素子群）Ｓ４が規定されている。第２の中央フォトダイオード群Ｓ４には，着目フォトダイオードＢ2,2のほかに，着目フォトダイオードＢ2,2の右上のフォトダイオードＲ3,1および着目フォトダイオードＢ2,2の左下のフォトダイオードＧ1,3が含まれている。第２の中央フォトダイオード群Ｓ４を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，赤色フィルタ，緑色フィルタおよび青色フィルタがそれぞれ１対１対１となる。
【００３７】
第２の中央フォトダイオード群Ｓ４の右斜め下および左斜め上に，第２の中央フォトダイオード群Ｓ４に平行に，かつ隣接して，第３および第４の外部フォトダイオード群（第２の変換素子群）Ｓ５およびＳ６が規定されている。第３のフォトダイオード群Ｓ５は，第２の中央フォトダイオード群Ｓ４を構成するフォトダイオードＲ3,1，Ｂ2,2およびＧ1,3のそれぞれ右斜め下に位置するフォトダイオードＧ4,2，Ｒ3,3およびＢ2,4から構成されている。第３の外部フォトダイオード群Ｓ５を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，第２の中央フォトダイオード群Ｓ２と同様に，１対１対１となる。第４のフォトダイオード群Ｓ６は，第２の中央フォトダイオード群Ｓ２を構成するフォトダイオードＲ3,1，Ｂ2,2およびＧ1,3の左斜め上に位置するフォトダイオードＢ2,0，Ｇ1,1およびＲ0,2から構成されている。第４のフォトダイオード群Ｓ６も，第４のフォトダイオード群Ｓ６を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，第２の中央フォトダイオード群Ｓ４と同様に，１対１対１となる。
【００３８】
第２の中央フォトダイオード群Ｓ４ならびに外部フォトダイオード群Ｓ５およびＳ６のそれぞれの方向は，着目画素の評価値を検出すべき方向（左斜め方向）に対して垂直方向である。
【００３９】
左斜め方向評価値Ｖｌは，式５にもとづいて得られる。
【００４０】
Ｖｌ＝｜Ｓ６−Ｓ４｜＋｜Ｓ５−Ｓ４｜・・・式５
但し，Ｓ４＝Ｇ1,3＋Ｂ2,2＋Ｒ3,1・・・式６
Ｓ５＝Ｂ2,4＋Ｒ3,3＋Ｇ4,2・・・式７
Ｓ６＝Ｒ0,2＋Ｇ1,1＋Ｂ2,0・・・式８
【００４１】
式５から式８において，Ｓ４，Ｓ５およびＳ６は，それぞれ第２の中央フォトダイオード群Ｓ４，第３の外部フォトダイオード群Ｓ５および第４の外部フォトダイオード群Ｓ６に蓄積された信号電荷にもとづいて得られる画像データを加算したものである。また，それぞれのフォトダイオードに蓄積された信号電荷にもとづいて得られる画像データについてフォトダイオードの符号と同じ符号が用いられている。
【００４２】
式５から式８にもとづいて得られる左斜め方向評価値Ｖｌにもとづいて着目画素Ｂ2,2の左斜め方向の相関性が判断される。
【００４３】
互いに隣接し，距離が近いフォトダイオード群にもとづいて得られる画像データによって左斜め方向の評価値Ｖｌが算出されるので，算出される評価値Ｖｌは比較的信頼性の高いものとなる。
【００４４】
図４は，垂直方向の評価値を算出する場合に利用されるフォトダイオードPDの組み合わせを示している。
【００４５】
着目画素Ｂ2,2を含む上部フォトダイオード群Ｓ７と着目画素Ｂ2,2を含む下部フォトダイオード群Ｓ８とが規定されている。上部フォトダイオード群Ｓ７は，着目フォトダイオードＢ2,2とこの着目フォトダイオードＢ2,2の上部に位置しているフォトダイオードＢ2,0とから構成されている。下部フォトダイオード群Ｓ８は，着目フォトダイオードＢ2,2とこの着目フォトダイオードＢ2,2の下部に位置しているフォトダイオードＢ2,4とから構成されている。
【００４６】
上部フォトダイオード群Ｓ７および下部フォトダイオード群Ｓ８のそれぞれの方向は，評価値を算出すべき方向（垂直方向）と同じ方向である。
【００４７】
垂直方向評価値Ｖｖは，式９にもとづいて得られる。
【００４８】
Ｖｖ＝｜２×Ｂ2,0−２×Ｂ2,2｜＋｜２×Ｂ2,4−２×Ｂ2,2｜・・・式９
式９において，Ｂ2,0，Ｂ2,2，Ｂ2,4は，対応する符号が付されたフォトダイオードに蓄積された信号電荷にもとづいて得られる画像データのレベルを示している。また，式９において，２倍しているのは後述するように，水平方向評価値の算出において得られる値とのレベル差を調整するものである。
【００４９】
式９にもとづいて得られる評価値Ｖｖにもとづいて着目画素Ｂ2,2の垂直方向の相関性が判断される。
【００５０】
図５は，水平方向の評価値を算出する場合に利用されるフォトダイオードPDの組み合わせを示している。
【００５１】
着目フォトダイオードＢ2,2の回りに第１のフォトダイオード群（第１の光電変換素子群）Ｓ９，第２のフォトダイオード群（第２の光電変換素子群）Ｓ10，第３のフォトダイオード群（第１の光電変換素子群）Ｓ11および第４のフォトダイオード群（第２の光電変換素子群）Ｓ12が規定されている。
【００５２】
第１のフォトダイオード群Ｓ９は，着目フォトダイオードＢ2,2の左上に位置するフォトダイオードＧ1,1と，このフォトダイオードＧ1,1の左下に位置するフォトダイオードＲ0,2と，から構成されている。
【００５３】
第２のフォトダイオード群Ｓ10は，着目フォトダイオードＢ2,2の右上に位置するフォトダイオードＲ3,1と，このフォトダイオードＲ3,1の右下に位置するフォトダイオードＧ4,2と，から構成されている。
【００５４】
第３のフォトダイオード群Ｓ11は，着目フォトダイオードＢ2,2の左下に位置するフォトダイオードＧ1,3と，このフォトダイオードＧ1,3の左上に位置するフォトダイオードＲ0,2と，から構成されている。
【００５５】
第４のフォトダイオード群Ｓ12は，着目フォトダイオードＢ2,2の右下にい値するフォトダイオードＲ3,3と，このフォトダイオードＲ3,3の右上に位置するフォトダイオードＧ4,2と，から構成されている。
【００５６】
これらのフォトダイオード群Ｓ９からＳ12を構成するフォトダイオードに形成されているカラー・フィルタはＲおよびＧが１対１の割合となっている。
【００５７】
第１のフォトダイオード群Ｓ９と第３のフォトダイオード群Ｓ11と（複数の第１の光電変換素子群）は，共通のフォトダイオードＲ0,2を含んでいる。また第２のフォトダイオードＳ10と第４のフォトダイオード群Ｓ12と（複数の第２の光電変換素子群）は，共通のフォトダイオードＧ4,2を含んでいる。
【００５８】
第１のフォトダイオード群Ｓ９と第４のフォトダイオード群Ｓ12とは平行であり，かつ着目フォトダイオードＢ2,2を中心に対称の位置に配置されている。また，第２のフォトダイオード群Ｓ10と第３のフォトダイオード群Ｓ11とも平行であり，かつ着目フォトダイオードＢ2,2を中心に対称の位置に配置されている。
【００５９】
水平方向評価値Ｖｈは，式10にもとづいて得られる。
【００６０】
Ｖｈ＝｜Ｓ９−Ｓ10｜＋｜Ｓ11−Ｓ12｜・・・式10
但し，Ｓ９＝Ｒ0,2＋Ｇ1,1・・・式11
Ｓ10＝Ｒ3,1＋Ｇ4,2・・・式12
Ｓ11＝Ｒ0,2＋Ｇ1,3・・・式13
Ｓ12＝Ｒ3,3＋Ｇ4,2・・・式14
【００６１】
式10から式14において，Ｓ９，Ｓ10，Ｓ11およびＳ12は，それぞれ第１，第２，第３および第４のフォトダイオード群Ｓ１，Ｓ10，Ｓ11およびＳ12に蓄積された信号電荷にもとづいて得られる画像データを加算したものである。
【００６２】
式10から式14にもとづいて得られる水平方向評価値Ｖｈにもとづいて，着目画素Ｂ2,2の水平方向の相関性が判断される。
【００６３】
フォトダイオード群Ｓ１〜Ｓ12を構成するフォトダイオードは，いずれも着目フォトダイオードＢ2,2に隣接している。
【００６４】
図６は，画素補間処理を示すフローチャートである。
【００６５】
まず，補間対象となる着目画素が指定される（ステップ１）。指定された着目画素について，上述したように，式１，式５，式９および式10にもとづいて評価値Ｖｒ，Ｖｌ，ＶｖおよびＶｈがそれぞれ算出される（ステップ２）。算出された評価値にもとづいて，着目画素の相関性に適したフィルタが用いられて補間処理が行われる。
【００６６】
垂直方向の方向評価値Ｖｖから水平方向の方向評価値Ｖｈが減算された値が所定のしきい値ＴＨより大きければ（ステップ３でＹＥＳ），着目画素は水平方向の相関性が大きいと判断される。このために後述するように，水平補間フィルタを用いて補間画素が生成される（ステップ４）。
【００６７】
水平方向の方向評価値Ｖｈから垂直方向の方向評価値Ｖｖが減算された値が所定のしきい値ＴＨより大きければ（ステップ５でＹＥＳ），着目画素は垂直方向の相関性が大きいと判断される。このために後述するように，垂直補間フィルタを用いて補間画素が生成される（ステップ６）。
【００６８】
右斜め方向の方向評価値Ｖｒから左斜め方向の方向評価値Ｖｌが減算された値が所定のしきい値ＴＨより大きければ（ステップ７でＹＥＳ），着目画素は右斜め方向の相関性が大きいと判断される。このために後述するように，右斜め補間フィルタを用いて補間画素が生成される（ステップ８）。
【００６９】
左斜め方向の方向評価値Ｖｌから右斜め方向の方向評価値ＶＲが減算された値が所定のしきい値ＴＨより大きければ（ステップ９でＹＥＳ），着目画素は左斜め方向の相関性が大きいと判断される。このために後述するように，左斜め補間フィルタを用いて補間画素が生成される（ステップ10）。
【００７０】
いずれの減算値も所定のしきい値より大きくならなければ（ステップ９でＮＯ），補間処理は行われず，その着目画素に対応する画像データが出力される（ステップ11）。
【００７１】
一駒分の画像データについての補間処理が終了するまで，着目画素を変更しながらステップ１からステップ11までの処理が繰り返される（ステップ12）。
【００７２】
着目画素の相関性に応じて使用される補間フィルタは次の通りである。
【００７３】
赤色成分の補間画素を生成する場合に利用されるフィルタ
水平補間フィルタＦrh＝（Ｒ3,1＋Ｒ3,3＋Ｒ0,2）／３・・・式15
垂直補間フィルタＦrv＝（Ｒ3,1＋Ｒ3,3＋Ｒ0,2）／３・・・式16
右斜め補間フィルタＦrr＝（２×Ｒ3,1＋Ｒ0,4）／３・・・式17
左斜め補間フィルタＦrl＝（２×Ｒ3,3＋Ｒ0,0）／３・・・式18
【００７４】
緑色成分の補間画素を生成する場合に利用されるフィルタ
水平補間フィルタＦgh＝（Ｇ1,1＋Ｇ1,3＋Ｇ4,2）／３・・・式19
垂直補間フィルタＦgv＝（Ｇ1,1＋Ｇ1,3＋Ｇ4,2）／３・・・式20
右斜め補間フィルタＦgr＝（２×Ｇ1,3＋Ｇ4,0）／３・・・式21
左斜め補間フィルタＦgl＝（２×Ｇ1,1＋Ｇ4,4）／３・・・式22
【００７５】
青色成分の補間画素を生成する場合に利用されるフィルタ
水平補間フィルタＦbh＝（４×Ｂ2,2＋Ｂ-1,1＋Ｂ-1,3＋Ｂ5,1＋Ｂ5,3）／８・・・式23
垂直補間フィルタＦbv＝（２×Ｂ2,2＋Ｂ2,0＋Ｂ2,4）／４・・・式24
右斜め補間フィルタＦbr＝（４×Ｂ2,2＋Ｂ2,0＋Ｂ2,4＋Ｂ-1,3＋Ｂ5,1）／８・・・式25
左斜め補間フィルタＦbl＝（４×Ｂ2,2＋Ｂ2,0＋Ｂ2,4＋Ｂ-1,1＋Ｂ5,3）／８・・・式26
【００７６】
フォトダイオードPDが存在しない位置（虚画素）についての補間画素（着目画素Ｂ2,2の上の位置に生成される補間画素Ｂ2,1）の生成は，式27にもとづいて行われる。
【００７７】
Ｂ2,1＝（Ｂ2,0＋Ｂ1,1＋Ｂ2,2＋Ｂ3,1）／４・・・式27
【００７８】
そのほかの位置および色成分の虚画素についての補間画素の生成も式27と同様にして行うことができるのはいうまでもない。
【００７９】
図７は，上述した補間処理が行われるディジタル・スチル・カメラの電気的構成を示すブロック図である。
【００８０】
図１に示すカラー・フィルタがフォトダイオードPD上に形成されているＣＣＤから被写体像を表すＲＧＢのシリアルの画像データが出力され，オフセット補正回路21においてオフセット補正が行われる。オフセット補正回路21から出力されたＲＧＢのシリアルの画像データは，リニア・マトリクス回路22においてマトリクス補正が行われ本来の被写体の色となるように色補正が行われる。リニア・マトリクス回路22から出力されたＲＧＢのシリアルの画像データはゲイン補正回路23においてゲイン補正され，かつガンマ補正回路24においてガンマ補正される。ガンマ補正回路24においてガンマ補正された画像データがＲＧＢ補間回路25に入力する。
【００８１】
ＲＧＢ補間回路25には，しきい値ＴＨが与えられており，上述した補間処理が行われる。ＲＧＢ補間回路25の詳細は後述する。
【００８２】
ＲＧＢ補間回路25において補間処理が行われることにより，シリアルなＲＧＢ画像データからパラレルなＲＧＢ画像データが得られる。ＲＧＢのパラレル画像データは，ＲＧＢ／ＹＣ変換回路26に入力し，輝度データＹおよび色差データＣが生成される。生成された輝度データＹおよび色差データＣは，ノイズ低減回路27においてノイズ低減処理が行われる。
【００８３】
ノイズ低減処理が行われた輝度データＹは，輪郭補正回路28において輪郭補正が行われる。また，ノイズ低減処理が行われた色差データＣは，色差マトリクス29において色補正が行われる。輪郭補正回路28から出力された輝度データＹおよび色差マトリクス回路29から出力された色差データＣが表示装置に与えられることにより，被写体像が表示装置の表示画面上に表示される。また，輪郭補正回路28から出力された輝度データＹおよび色差マトリクス回路29から出力された色差データＣがメモリ・カードに与えられることにより，輝度データＹおよび色差データＣがメモリ・カードに記録される。
【００８４】
図８は，ＲＧＢ補間回路25の電気的構成を示すブロック図である。
【００８５】
シリアルなＲＧＢ画像データがＲＧＢ補間回路25に与えられると，そのＲＧＢ画像データは遅延装置30に入力する。遅延装置30には，４つの１Ｈ遅延回路31，32，33および34が直列接続されている。１Ｈ遅延回路は，１水平走査ラインの間，遅延して出力するものである。遅延装置30からは，遅延していないシリアルなＲＧＢ画像データ，１Ｈ（１Ｈは１水平走査期間）遅延したシリアルなＲＧＢ画像データ，２Ｈ遅延したシリアルなＲＧＢ画像データ，３Ｈ遅延したシリアルなＲＧＢ画像データ４Ｈ遅延したシリアルなＲＧＢ画像データが出力される。したがって，遅延回路30からは，５ライン分のシリアルなＲＧＢ画像データが出力されることとなる。遅延回路30から出力した５ライン分のシリアルなＲＧＢ画像データは，適応型補間フィルタ処理回路60および方向評価値算出回路40に入力する。
【００８６】
方向評価値算出回路40に入力した５ライン分のシリアルなＲＧＢ画像データは，加算器41に入力する。加算器41において加算処理が行われることにより，上述したように，フォトダイオード群Ｓ１からＳ12ごとの加算データＳ１からＳ12が得られる。
【００８７】
加算データＳ１，Ｓ２およびＳ３は，右斜め評価値算出回路42に入力する。右斜め評価値算出回路42において右斜め方向評価値Ｖｒが算出される。加算データＳ４，Ｓ５およびＳ６は，左斜め評価値算出回路43に入力する。左斜め方向評価値算出回路43において左斜め方向評価値Ｖｌが算出される。上部フォトダイオード群Ｓ７および下部フォトダイオード群Ｓ８を構成するフォトダイオードにもとづいて得られる画像データ（着目画素がＢ2,2であれば，フォトダイオードＢ2,0，Ｂ2,2およびＢ2,4にもとづいて得られる画像データ）が，垂直方向評価値算出回路44に入力する。垂直方向評価値算出回路44において垂直方向評価値Ｖｖが算出される。加算データＳ９，Ｓ10，Ｓ11およびＳ12は，水平評価値算出回路45に入力する。水平評価値算出回路45において水平方向評価値Ｖｈが算出される。
【００８８】
方向評価値算出回路40において算出された評価値を表すデータは，判別回路50に入力する。判別回路50には，しきい値ＴＨを示すデータが与えられている第１の比較器51，第２の比較器52，第３の比較器53および第４の比較器54が含まれている。
【００８９】
第１の比較器51に，右斜め評価値Ｖｒを表すデータおよび左斜め評価値Ｖｌを表すデータが入力し，右斜め評価値Ｖｒから左斜め評価値Ｖｌを減算する処理が行われ，減算値としきい値ＴＨとの比較処理が行われる（図６ステップ７の処理）。
【００９０】
第２の比較器52にも，右斜め評価値Ｖｒを表すデータおよび左斜め評価値Ｖｌを表すデータが入力し，左斜め評価値Ｖｌから右斜め評価値Ｖｒを減算する処理が行われ，減算値としきい値ＴＨとの比較処理が行われる（図６ステップ８の処理）。
【００９１】
第３の比較器53および第４の比較器54には，垂直方向評価値Ｖｖを表すデータおよび水平方向評価値Ｖｈを表すデータが入力する。第３の比較器53において，垂直方向評価値Ｖｖから水平方向評価値Ｖｈを減算する処理が行われ，減算値としきい値ＴＨとの比較処理が行われる（図６ステップ３の処理）。また，第４の比較器54において水平方向評価値Ｖｈから垂直方向評価値Ｖｖを減算する処理が行われ，減算値としきい値ＴＨとの比較処理が行われる（図６ステップ４の処理）。
【００９２】
第１の比較器51から第４の比較器54の比較結果を表すデータが比較器55に入力する。比較器55において，入力した比較結果を表すデータが比較され，判別結果を示すデータが生成される。生成された判別結果データは，適応型補間フィルタ処理回路60に与えられる。比較器55においては，図６ステップ３，５，７および９に示す処理と同様の優先順位で次のように処理が行われる。
【００９３】
すなわち，垂直方向評価値Ｖｖから水平方向評価値Ｖｈを減算した第１の値がしきい値ＴＨより大きければ水平補間フィルタを使用して補間が行われるように判別結果データが生成される。第１の値がしきい値以下であった場合に，水平方向評価値Ｖｈから垂直方向評価値Ｖｖを減算した第２の値がしきい値ＴＨより大きければ垂直補間フィルタを用いて補間が行われるように判別結果データが生成される。第１の値および第２の値のいずれもしきい値ＴＨ以下であった場合に，右斜め評価値Ｖｒから左斜め評価値Ｖｌを減算した第３の値がしきい値ＴＨより大きければ右斜め補間フィルタを用いて補間が行われるように判別結果データが生成される。第１の値，第２の値および第３の値のいずれもがしきい値ＴＨ以下であった場合に，左斜め評価値Ｖｌから右斜め評価値Ｖｒを減算した第４の値がしきい値ＴＨより大きければ左斜め補間フィルタを用いて補間が行われるように判別結果データが生成される。第１の値，第２の値，第３の値および第４の値のいずれもがしきい値ＴＨ以下であった場合には，補間処理を行うことなく，その着目画素を表す画像データを出力するように判別結果データが生成される。
【００９４】
適応型補間フィルタ処理回路60には，上述した式15から式26に対応したフィルタが含まれている（必要ならば式27に対応したフィルタも含まれている）。判別回路50から与えられる判別結果データにもとづいて，対応するフィルタを用いて補間処理が行われる（または補間処理を行うことなく着目画素を表す画像データを出力する処理が行われる）。適応型補間フィルタ60から補間処理されたパラレルのＲＧＢ画像データが出力され，上述のようにＲＧＢ／ＹＣ変換回路26に与えられる。
【図面の簡単な説明】
【図１】ＣＣＤの受光面の一部を示している。
【図２】右斜め方向評価値を算出するときのフォトダイオードの組み合わせを示している。
【図３】左斜め方向評価値を算出するときのフォトダイオードの組み合わせを示している。
【図４】垂直方向評価値を算出するときのフォトダイオードの組み合わせを示している。
【図５】水平方向評価値を算出するときのフォトダイオードの組み合わせを示している。
【図６】画素補間処理を示すフローチャートである。
【図７】ディジタル・スチル・カメラの電気的構成の一部を示すブロック図である。
【図８】ＲＧＢ補間回路の電気的構成を示すブロック図である。
【符号の説明】
25 ＲＧＢ補間回路
30 遅延回路
40 方向評価値算出回路
50 判別回路
60 適応型補間フィルタ処理回路
PD フォトダイオード
Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６，Ｓ７，Ｓ８，Ｓ９，Ｓ10，S11，S12
フォトダイオード群
【技術分野】
この発明は，補間画素生成装置および方法ならびに相関方向検出装置および方法に関する。
【０００２】
【発明の背景】
ディジタル・カメラには，撮像装置として３板ＣＣＤをもつものと単板ＣＣＤをもつものとがある。
【０００３】
３板ＣＣＤは，赤色の光成分を透過するフィルタがすべてのフォトダイオードの受光面上に形成されたＲ用ＣＣＤと緑色の光成分を透過するフィルタがすべてのフォトダイオードに形成されたＧ用のＣＣＤと青色の光成分を透過するフィルタがすべてのフォトダイオードに形成されたＢ用のフォトダイオードが形成されたＢ用のＣＣＤから構成される。３板ＣＣＤにおいては，１つの画素に対応するフォトダイオードは，画素の赤色成分，緑色成分および青色成分を表す画像データを得るために３つあることになる。
【０００４】
これに対して，単板ＣＣＤにおいては，３板ＣＣＤと異なり，１つの画素に対応するフォトダイオードは一つであり，画素の赤色成分，緑色成分または青色成分を表す画像データが得られる。画素の赤色成分，緑色成分および青色成分のうち，一色の色成分を表す画像データを得ることができるが，その一色以外の二色の色成分を表す画像データを得ることはできない。このために，たとえば，それらの二色の色成分を表わす画像データを得るために補間処理が行われる。
【０００５】
補間処理の一例として，方向相関の判別を行い，相関があると判別された方向に応じてフィルタ処理が行われるものがある（特許文献１参照）。相関方向に応じてフィルタ処理が行われるので，偽信号の発生を未然に防止できる。
【０００６】
【特許文献１】
特開平８−298669号公報
【０００７】
同色の画像データを用いて相関方向の判別を行うと，同色の画像データを与えるフォトダイオード間の距離が遠くなることがあるので，比較的正確な方向判別を行うことができないことがある。異なる色の画像データを用いて相関方向の判別を行うと，誤判別により偽色が発生することがある。
【０００８】
【発明の開示】
この発明は，比較的正確な方向判別を行うことができ，かつ偽色の発生を未然に防止することを目的とする。
【０００９】
第１の発明は，三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力して補間画素を表すデータを生成する補間画素生成装置において，相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データと，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データと，にもとづいて，上記着目画素の相関性の高い方向を検出する検出手段，上記検出手段によって検出された方向に応じて，上記着目画素を補間すべき画素を表わすデータを生成するフィルタを決定するフィルタ決定手段，および上記フィルタ決定手段によって決定されたフィルタを用いて上記着目画素に対応する補間画素を表わすデータを生成する補間画素生成手段を備えていることを特徴とする。
【００１０】
第１の発明は，上記補間画素生成装置に適した方法も提供している。すなわち，この方法は，三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力して補間画素を表すデータを生成する補間画素生成装置において，相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データと，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データと，にもとづいて，上記着目画素の相関性の高い方向を検出し，検出されたエッジ方向性に応じて，上記着目画素を補間すべき画素を生成するフィルタを決定し，決定されたフィルタを用いて上記着目画素に対応する補間画素を生成するものである。
【００１１】
第１の発明によると，相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データと，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データとが得られる。得られた第１の画像データにもとづいて着目画素の相関性の高い方向が検出される。検出された方向に応じて，補間すべき画素を生成するフィルタが決定される。決定されたフィルタを用いて補間画素が生成される。
【００１２】
第１の光電変換素子群と第２の光電変換素子群とは，距離が比較的離れていない。比較的正確に着目画素の相関性の高い方向が分かり，方向に応じた適切なフィルタを用いて補間画素を生成できる。また，第１の光電変換素子群を構成する複数の光電変換素子と第２の光電変換素子群を構成する複数の光電変換素子とは受光面上に形成されているカラー・フィルタの割合が同じなので，着目画素の相関性の方向の誤判別を未然に防止できる。偽色の発生を未然に防止できる。
【００１３】
上記第１の光電変換素子群に上記着目光電変換素子自体が含まれていてもよいし，含まれていなくともよい。
【００１４】
上記第１の光電変換素子の方向および上記第２の光電変換素子群の方向は，たとえば，検出すべき相関性の高い方向の垂直方向である。
【００１５】
上記第１の光電変換素子群は，たとえば，共通の光電変換素子を有する第１の複数の光電変換素子群からなり，上記第２の光電変換素子群は，たとえば，共通の光電変換素子を有する第２の複数の光電変換素子群からなる。この場合，上記第１の複数の光電変換素子群と上記第２の複数の光電変換素子群とが上記着目光電変換素子を中心として，対象位置に配置されているものとなろう。
【００１６】
第２の発明による相関方向検出装置は，三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力する入力手段，上記入力手段に入力した三原色画像データのうち，相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データのレベルを算出する第１の算出手段，上記入力手段に入力した三原色画像データのうち，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データのレベルを算出する第２の算出手段，および上記第１の算出手段によって算出されたレベルと上記第２の算出手段によって算出されたレベルとにもとづいて，上記着目画素の相関性の高い方向を検出する検出手段を備えていることを特徴とする。
【００１７】
第２の発明は，上記相関方向検出装置に適した方法も提供している。すなわち，この方法は，三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力し，入力した三原色画像データのうち，相関方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データの第１のレベルを算出し，入力した三原色画像データのうち，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データの第２のレベルを算出し，算出された第１のレベルと第２のレベルとにもとづいて，上記着目画素の相関性の高い方向を検出するものである。
【００１８】
第２の発明においても，第１の光電変換素子群と第２の光電変換素子群とは，距離が比較的離れていない。比較的正確に着目画素の相関性の高い方向が分かる。したがって，方向に応じた適切なフィルタを用いて補間画素を生成できる。また，第１の光電変換素子群を構成する複数の光電変換素子と第２の光電変換素子群を構成する複数の光電変換素子とは受光面上に形成されているカラー・フィルタの割合が同じなので，着目画素の相関方向の誤判別を未然に防止できる。
【００１９】
【実施例の説明】
図１は，この発明の実施例を示すもので，ＣＣＤの受光面の一部を示している。
【００２０】
ＣＣＤには，水平方向および垂直方向に多数のフォトダイオード（光電変換素子）PDが設けられている。この実施例によるＣＣＤは，いわゆるハニカム配列のものであり，奇数列には偶数行にフォトダイオードPDが配置され，偶数列には奇数行にフォトダイオードPDが配置されている。もっとも，奇数列には奇数行にフォトダイオードPDが配置され，偶数列には偶数行にフォトダイオードPDが配置されてもよい。
【００２１】
フォトダイオードPDの受光面上には，赤色の光成分を透過する特性をもつ赤色フィルタ，緑色の光成分を透過する特性をもつ緑色フィルタまたは青色の光成分を透過する特性をもつ青色フィルタが形成されている。
【００２２】
図１においては，赤色フィルタが符号「Ｒ」で，緑色フィルタが符号「Ｇ」で，青色フィルタが符号「Ｂ」で，それぞれ示されている。また，ＣＣＤにおけるフォトダイオードPDの位置が符号「Ｒ」，「Ｇ」または「Ｂ」に添え字が付されて示されている。この実施例によるＣＣＤは，赤色フィルタ，緑色フィルタまたは青色フィルタが列ごとに交互にフォトダイオードPD上に形成されている。
【００２３】
この実施例においては，右斜め方向，左斜め方向，垂直方向および水平方向のうち，画像を構成する特定の画素（着目画素）の相関方向を検出し，検出された相関方向性に応じた特性をもつフィルタを用いて，画素補間を行うものである。右斜め方向の評価値，左斜め方向の評価値，垂直方向の評価値および水平方向の評価値がそれぞれ後述のように算出される。算出された評価値を用いて着目画素の方向性が検出される。
【００２４】
着目画素に対応するフォトダイオード（着目フォトダイオードという）Ｂ2,2がハッチングで示されている。
【００２５】
図２から図４は，ＣＣＤの受光面の一部を示すもので，着目画素としてフォトダイオードＢ2,2に対応する画素が取り上げられている。フォトダイオードPDの識別符号として，フォトダイオードPDに形成されているカラー・フィルタの符号を用いる。
【００２６】
図２は，右斜め方向の評価値を算出する場合に利用されるフォトダイオードPDの組み合わせを示している。
【００２７】
着目フォトダイオードＢ2,2を中心に左斜め方向に第１の中央フォトダイオード群（第１の光電変換素子群）Ｓ１が規定されている。第１の中央フォトダイオード群Ｓ１には，着目フォトダイオードＢ2,2のほかに，着目フォトダイオードＢ2,2の左上のフォトダイオードＧ1,1および着目フォトダイオードＢ2,2の右斜め下のフォトダイオードＲ3,3が含まれている。第１の中央フォトダイオード群Ｓ１を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，赤色フィルタ，緑色フィルタおよび青色フィルタがそれぞれ１対１対１となる。
【００２８】
第１の中央フォトダイオード群Ｓ１の左斜め下および右斜め上に，第１の中央フォトダイオード群Ｓ１に平行に，かつ隣接して，外部フォトダイオード群（第２の光電変換素子群）Ｓ２およびＳ３がそれぞれ規定されている。第１の外部フォトダイオード群Ｓ２は，第１の中央フォトダイオード群Ｓ１を構成するフォトダイオードＧ1,1，Ｂ2,2およびＲ3,3のそれぞれ左斜め下に位置するフォトダイオードＲ0,2，Ｇ1,3およびＢ2,4から構成されている。第１の外部フォトダイオード群Ｓ２を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，第１の中央フォトダイオード群Ｓ１と同様に，１対１対１となる。第２のフォトダイオード群Ｓ３は，第１の中央フォトダイオード群Ｓ１を構成するフォトダイオードＧ1,1，Ｂ2,2およびＲ3,3のそれぞれ右斜め上に位置するフォトダイオードＢ2,0，Ｒ3,1およびＧ4,2から構成されている。第２の外部フォトダイオード群Ｓ３も，第２の外部フォトダイオード群Ｓ３を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，第１の中央フォトダイオード群Ｓ１と同様に，１対１対１となる。
【００２９】
第１の中央フォトダイオード群Ｓ１ならびに外部フォトダイオード群Ｓ２およびＳ３のそれぞれの方向は，着目画素の評価値を検出すべき方向（右斜め方向）に対して垂直方向である。
【００３０】
右斜め方向評価値Ｖｒは，式１にもとづいて得られる。
【００３１】
Ｖｒ＝｜Ｓ３−Ｓ１｜＋｜Ｓ１−Ｓ２｜・・・式１
但し，Ｓ１＝Ｇ1,1＋Ｂ2,2＋Ｒ3,3・・・式２
Ｓ２＝Ｒ0,2＋Ｇ1,3＋Ｂ2,4・・・式３
Ｓ３＝Ｂ2,0＋Ｒ3,1＋Ｇ4,2・・・式４
【００３２】
式１から式４において，Ｓ１，Ｓ２およびＳ３は，それぞれ第１の中央フォトダイオード群Ｓ１，第１の外部フォトダイオード群Ｓ２および第２の外部フォトダイオード群Ｓ３に蓄積された信号電荷にもとづいて得られる画像データを加算したものである。また，それぞれのフォトダイオードに蓄積された信号電荷にもとづいて得られる画像データについてフォトダイオードの符号と同じ符号が用いられている。
【００３３】
式１から式４にもとづいて得られる右斜め方向評価値Ｖｒにもとづいて着目画素Ｂ2,2の右斜め方向の相関性が判断される。
【００３４】
互いに隣接し，距離が近いフォトダイオード群にもとづいて得られる画像データによって右斜め方向の評価値Ｖｒが算出されるので，算出される評価値Ｖｒは比較的信頼性の高いものとなる。
【００３５】
図３は，左斜め方向の評価値を算出する場合に利用されるフォトダイオードPDの組み合わせを示している。
【００３６】
着目フォトダイオードＢ2,2を中心に右斜め方向に第２の中央フォトダイオード群（第１の光電変換素子群）Ｓ４が規定されている。第２の中央フォトダイオード群Ｓ４には，着目フォトダイオードＢ2,2のほかに，着目フォトダイオードＢ2,2の右上のフォトダイオードＲ3,1および着目フォトダイオードＢ2,2の左下のフォトダイオードＧ1,3が含まれている。第２の中央フォトダイオード群Ｓ４を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，赤色フィルタ，緑色フィルタおよび青色フィルタがそれぞれ１対１対１となる。
【００３７】
第２の中央フォトダイオード群Ｓ４の右斜め下および左斜め上に，第２の中央フォトダイオード群Ｓ４に平行に，かつ隣接して，第３および第４の外部フォトダイオード群（第２の変換素子群）Ｓ５およびＳ６が規定されている。第３のフォトダイオード群Ｓ５は，第２の中央フォトダイオード群Ｓ４を構成するフォトダイオードＲ3,1，Ｂ2,2およびＧ1,3のそれぞれ右斜め下に位置するフォトダイオードＧ4,2，Ｒ3,3およびＢ2,4から構成されている。第３の外部フォトダイオード群Ｓ５を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，第２の中央フォトダイオード群Ｓ２と同様に，１対１対１となる。第４のフォトダイオード群Ｓ６は，第２の中央フォトダイオード群Ｓ２を構成するフォトダイオードＲ3,1，Ｂ2,2およびＧ1,3の左斜め上に位置するフォトダイオードＢ2,0，Ｇ1,1およびＲ0,2から構成されている。第４のフォトダイオード群Ｓ６も，第４のフォトダイオード群Ｓ６を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，第２の中央フォトダイオード群Ｓ４と同様に，１対１対１となる。
【００３８】
第２の中央フォトダイオード群Ｓ４ならびに外部フォトダイオード群Ｓ５およびＳ６のそれぞれの方向は，着目画素の評価値を検出すべき方向（左斜め方向）に対して垂直方向である。
【００３９】
左斜め方向評価値Ｖｌは，式５にもとづいて得られる。
【００４０】
Ｖｌ＝｜Ｓ６−Ｓ４｜＋｜Ｓ５−Ｓ４｜・・・式５
但し，Ｓ４＝Ｇ1,3＋Ｂ2,2＋Ｒ3,1・・・式６
Ｓ５＝Ｂ2,4＋Ｒ3,3＋Ｇ4,2・・・式７
Ｓ６＝Ｒ0,2＋Ｇ1,1＋Ｂ2,0・・・式８
【００４１】
式５から式８において，Ｓ４，Ｓ５およびＳ６は，それぞれ第２の中央フォトダイオード群Ｓ４，第３の外部フォトダイオード群Ｓ５および第４の外部フォトダイオード群Ｓ６に蓄積された信号電荷にもとづいて得られる画像データを加算したものである。また，それぞれのフォトダイオードに蓄積された信号電荷にもとづいて得られる画像データについてフォトダイオードの符号と同じ符号が用いられている。
【００４２】
式５から式８にもとづいて得られる左斜め方向評価値Ｖｌにもとづいて着目画素Ｂ2,2の左斜め方向の相関性が判断される。
【００４３】
互いに隣接し，距離が近いフォトダイオード群にもとづいて得られる画像データによって左斜め方向の評価値Ｖｌが算出されるので，算出される評価値Ｖｌは比較的信頼性の高いものとなる。
【００４４】
図４は，垂直方向の評価値を算出する場合に利用されるフォトダイオードPDの組み合わせを示している。
【００４５】
着目画素Ｂ2,2を含む上部フォトダイオード群Ｓ７と着目画素Ｂ2,2を含む下部フォトダイオード群Ｓ８とが規定されている。上部フォトダイオード群Ｓ７は，着目フォトダイオードＢ2,2とこの着目フォトダイオードＢ2,2の上部に位置しているフォトダイオードＢ2,0とから構成されている。下部フォトダイオード群Ｓ８は，着目フォトダイオードＢ2,2とこの着目フォトダイオードＢ2,2の下部に位置しているフォトダイオードＢ2,4とから構成されている。
【００４６】
上部フォトダイオード群Ｓ７および下部フォトダイオード群Ｓ８のそれぞれの方向は，評価値を算出すべき方向（垂直方向）と同じ方向である。
【００４７】
垂直方向評価値Ｖｖは，式９にもとづいて得られる。
【００４８】
Ｖｖ＝｜２×Ｂ2,0−２×Ｂ2,2｜＋｜２×Ｂ2,4−２×Ｂ2,2｜・・・式９
式９において，Ｂ2,0，Ｂ2,2，Ｂ2,4は，対応する符号が付されたフォトダイオードに蓄積された信号電荷にもとづいて得られる画像データのレベルを示している。また，式９において，２倍しているのは後述するように，水平方向評価値の算出において得られる値とのレベル差を調整するものである。
【００４９】
式９にもとづいて得られる評価値Ｖｖにもとづいて着目画素Ｂ2,2の垂直方向の相関性が判断される。
【００５０】
図５は，水平方向の評価値を算出する場合に利用されるフォトダイオードPDの組み合わせを示している。
【００５１】
着目フォトダイオードＢ2,2の回りに第１のフォトダイオード群（第１の光電変換素子群）Ｓ９，第２のフォトダイオード群（第２の光電変換素子群）Ｓ10，第３のフォトダイオード群（第１の光電変換素子群）Ｓ11および第４のフォトダイオード群（第２の光電変換素子群）Ｓ12が規定されている。
【００５２】
第１のフォトダイオード群Ｓ９は，着目フォトダイオードＢ2,2の左上に位置するフォトダイオードＧ1,1と，このフォトダイオードＧ1,1の左下に位置するフォトダイオードＲ0,2と，から構成されている。
【００５３】
第２のフォトダイオード群Ｓ10は，着目フォトダイオードＢ2,2の右上に位置するフォトダイオードＲ3,1と，このフォトダイオードＲ3,1の右下に位置するフォトダイオードＧ4,2と，から構成されている。
【００５４】
第３のフォトダイオード群Ｓ11は，着目フォトダイオードＢ2,2の左下に位置するフォトダイオードＧ1,3と，このフォトダイオードＧ1,3の左上に位置するフォトダイオードＲ0,2と，から構成されている。
【００５５】
第４のフォトダイオード群Ｓ12は，着目フォトダイオードＢ2,2の右下にい値するフォトダイオードＲ3,3と，このフォトダイオードＲ3,3の右上に位置するフォトダイオードＧ4,2と，から構成されている。
【００５６】
これらのフォトダイオード群Ｓ９からＳ12を構成するフォトダイオードに形成されているカラー・フィルタはＲおよびＧが１対１の割合となっている。
【００５７】
第１のフォトダイオード群Ｓ９と第３のフォトダイオード群Ｓ11と（複数の第１の光電変換素子群）は，共通のフォトダイオードＲ0,2を含んでいる。また第２のフォトダイオードＳ10と第４のフォトダイオード群Ｓ12と（複数の第２の光電変換素子群）は，共通のフォトダイオードＧ4,2を含んでいる。
【００５８】
第１のフォトダイオード群Ｓ９と第４のフォトダイオード群Ｓ12とは平行であり，かつ着目フォトダイオードＢ2,2を中心に対称の位置に配置されている。また，第２のフォトダイオード群Ｓ10と第３のフォトダイオード群Ｓ11とも平行であり，かつ着目フォトダイオードＢ2,2を中心に対称の位置に配置されている。
【００５９】
水平方向評価値Ｖｈは，式10にもとづいて得られる。
【００６０】
Ｖｈ＝｜Ｓ９−Ｓ10｜＋｜Ｓ11−Ｓ12｜・・・式10
但し，Ｓ９＝Ｒ0,2＋Ｇ1,1・・・式11
Ｓ10＝Ｒ3,1＋Ｇ4,2・・・式12
Ｓ11＝Ｒ0,2＋Ｇ1,3・・・式13
Ｓ12＝Ｒ3,3＋Ｇ4,2・・・式14
【００６１】
式10から式14において，Ｓ９，Ｓ10，Ｓ11およびＳ12は，それぞれ第１，第２，第３および第４のフォトダイオード群Ｓ１，Ｓ10，Ｓ11およびＳ12に蓄積された信号電荷にもとづいて得られる画像データを加算したものである。
【００６２】
式10から式14にもとづいて得られる水平方向評価値Ｖｈにもとづいて，着目画素Ｂ2,2の水平方向の相関性が判断される。
【００６３】
フォトダイオード群Ｓ１〜Ｓ12を構成するフォトダイオードは，いずれも着目フォトダイオードＢ2,2に隣接している。
【００６４】
図６は，画素補間処理を示すフローチャートである。
【００６５】
まず，補間対象となる着目画素が指定される（ステップ１）。指定された着目画素について，上述したように，式１，式５，式９および式10にもとづいて評価値Ｖｒ，Ｖｌ，ＶｖおよびＶｈがそれぞれ算出される（ステップ２）。算出された評価値にもとづいて，着目画素の相関性に適したフィルタが用いられて補間処理が行われる。
【００６６】
垂直方向の方向評価値Ｖｖから水平方向の方向評価値Ｖｈが減算された値が所定のしきい値ＴＨより大きければ（ステップ３でＹＥＳ），着目画素は水平方向の相関性が大きいと判断される。このために後述するように，水平補間フィルタを用いて補間画素が生成される（ステップ４）。
【００６７】
水平方向の方向評価値Ｖｈから垂直方向の方向評価値Ｖｖが減算された値が所定のしきい値ＴＨより大きければ（ステップ５でＹＥＳ），着目画素は垂直方向の相関性が大きいと判断される。このために後述するように，垂直補間フィルタを用いて補間画素が生成される（ステップ６）。
【００６８】
右斜め方向の方向評価値Ｖｒから左斜め方向の方向評価値Ｖｌが減算された値が所定のしきい値ＴＨより大きければ（ステップ７でＹＥＳ），着目画素は右斜め方向の相関性が大きいと判断される。このために後述するように，右斜め補間フィルタを用いて補間画素が生成される（ステップ８）。
【００６９】
左斜め方向の方向評価値Ｖｌから右斜め方向の方向評価値ＶＲが減算された値が所定のしきい値ＴＨより大きければ（ステップ９でＹＥＳ），着目画素は左斜め方向の相関性が大きいと判断される。このために後述するように，左斜め補間フィルタを用いて補間画素が生成される（ステップ10）。
【００７０】
いずれの減算値も所定のしきい値より大きくならなければ（ステップ９でＮＯ），補間処理は行われず，その着目画素に対応する画像データが出力される（ステップ11）。
【００７１】
一駒分の画像データについての補間処理が終了するまで，着目画素を変更しながらステップ１からステップ11までの処理が繰り返される（ステップ12）。
【００７２】
着目画素の相関性に応じて使用される補間フィルタは次の通りである。
【００７３】
赤色成分の補間画素を生成する場合に利用されるフィルタ
水平補間フィルタＦrh＝（Ｒ3,1＋Ｒ3,3＋Ｒ0,2）／３・・・式15
垂直補間フィルタＦrv＝（Ｒ3,1＋Ｒ3,3＋Ｒ0,2）／３・・・式16
右斜め補間フィルタＦrr＝（２×Ｒ3,1＋Ｒ0,4）／３・・・式17
左斜め補間フィルタＦrl＝（２×Ｒ3,3＋Ｒ0,0）／３・・・式18
【００７４】
緑色成分の補間画素を生成する場合に利用されるフィルタ
水平補間フィルタＦgh＝（Ｇ1,1＋Ｇ1,3＋Ｇ4,2）／３・・・式19
垂直補間フィルタＦgv＝（Ｇ1,1＋Ｇ1,3＋Ｇ4,2）／３・・・式20
右斜め補間フィルタＦgr＝（２×Ｇ1,3＋Ｇ4,0）／３・・・式21
左斜め補間フィルタＦgl＝（２×Ｇ1,1＋Ｇ4,4）／３・・・式22
【００７５】
青色成分の補間画素を生成する場合に利用されるフィルタ
水平補間フィルタＦbh＝（４×Ｂ2,2＋Ｂ-1,1＋Ｂ-1,3＋Ｂ5,1＋Ｂ5,3）／８・・・式23
垂直補間フィルタＦbv＝（２×Ｂ2,2＋Ｂ2,0＋Ｂ2,4）／４・・・式24
右斜め補間フィルタＦbr＝（４×Ｂ2,2＋Ｂ2,0＋Ｂ2,4＋Ｂ-1,3＋Ｂ5,1）／８・・・式25
左斜め補間フィルタＦbl＝（４×Ｂ2,2＋Ｂ2,0＋Ｂ2,4＋Ｂ-1,1＋Ｂ5,3）／８・・・式26
【００７６】
フォトダイオードPDが存在しない位置（虚画素）についての補間画素（着目画素Ｂ2,2の上の位置に生成される補間画素Ｂ2,1）の生成は，式27にもとづいて行われる。
【００７７】
Ｂ2,1＝（Ｂ2,0＋Ｂ1,1＋Ｂ2,2＋Ｂ3,1）／４・・・式27
【００７８】
そのほかの位置および色成分の虚画素についての補間画素の生成も式27と同様にして行うことができるのはいうまでもない。
【００７９】
図７は，上述した補間処理が行われるディジタル・スチル・カメラの電気的構成を示すブロック図である。
【００８０】
図１に示すカラー・フィルタがフォトダイオードPD上に形成されているＣＣＤから被写体像を表すＲＧＢのシリアルの画像データが出力され，オフセット補正回路21においてオフセット補正が行われる。オフセット補正回路21から出力されたＲＧＢのシリアルの画像データは，リニア・マトリクス回路22においてマトリクス補正が行われ本来の被写体の色となるように色補正が行われる。リニア・マトリクス回路22から出力されたＲＧＢのシリアルの画像データはゲイン補正回路23においてゲイン補正され，かつガンマ補正回路24においてガンマ補正される。ガンマ補正回路24においてガンマ補正された画像データがＲＧＢ補間回路25に入力する。
【００８１】
ＲＧＢ補間回路25には，しきい値ＴＨが与えられており，上述した補間処理が行われる。ＲＧＢ補間回路25の詳細は後述する。
【００８２】
ＲＧＢ補間回路25において補間処理が行われることにより，シリアルなＲＧＢ画像データからパラレルなＲＧＢ画像データが得られる。ＲＧＢのパラレル画像データは，ＲＧＢ／ＹＣ変換回路26に入力し，輝度データＹおよび色差データＣが生成される。生成された輝度データＹおよび色差データＣは，ノイズ低減回路27においてノイズ低減処理が行われる。
【００８３】
ノイズ低減処理が行われた輝度データＹは，輪郭補正回路28において輪郭補正が行われる。また，ノイズ低減処理が行われた色差データＣは，色差マトリクス29において色補正が行われる。輪郭補正回路28から出力された輝度データＹおよび色差マトリクス回路29から出力された色差データＣが表示装置に与えられることにより，被写体像が表示装置の表示画面上に表示される。また，輪郭補正回路28から出力された輝度データＹおよび色差マトリクス回路29から出力された色差データＣがメモリ・カードに与えられることにより，輝度データＹおよび色差データＣがメモリ・カードに記録される。
【００８４】
図８は，ＲＧＢ補間回路25の電気的構成を示すブロック図である。
【００８５】
シリアルなＲＧＢ画像データがＲＧＢ補間回路25に与えられると，そのＲＧＢ画像データは遅延装置30に入力する。遅延装置30には，４つの１Ｈ遅延回路31，32，33および34が直列接続されている。１Ｈ遅延回路は，１水平走査ラインの間，遅延して出力するものである。遅延装置30からは，遅延していないシリアルなＲＧＢ画像データ，１Ｈ（１Ｈは１水平走査期間）遅延したシリアルなＲＧＢ画像データ，２Ｈ遅延したシリアルなＲＧＢ画像データ，３Ｈ遅延したシリアルなＲＧＢ画像データ４Ｈ遅延したシリアルなＲＧＢ画像データが出力される。したがって，遅延回路30からは，５ライン分のシリアルなＲＧＢ画像データが出力されることとなる。遅延回路30から出力した５ライン分のシリアルなＲＧＢ画像データは，適応型補間フィルタ処理回路60および方向評価値算出回路40に入力する。
【００８６】
方向評価値算出回路40に入力した５ライン分のシリアルなＲＧＢ画像データは，加算器41に入力する。加算器41において加算処理が行われることにより，上述したように，フォトダイオード群Ｓ１からＳ12ごとの加算データＳ１からＳ12が得られる。
【００８７】
加算データＳ１，Ｓ２およびＳ３は，右斜め評価値算出回路42に入力する。右斜め評価値算出回路42において右斜め方向評価値Ｖｒが算出される。加算データＳ４，Ｓ５およびＳ６は，左斜め評価値算出回路43に入力する。左斜め方向評価値算出回路43において左斜め方向評価値Ｖｌが算出される。上部フォトダイオード群Ｓ７および下部フォトダイオード群Ｓ８を構成するフォトダイオードにもとづいて得られる画像データ（着目画素がＢ2,2であれば，フォトダイオードＢ2,0，Ｂ2,2およびＢ2,4にもとづいて得られる画像データ）が，垂直方向評価値算出回路44に入力する。垂直方向評価値算出回路44において垂直方向評価値Ｖｖが算出される。加算データＳ９，Ｓ10，Ｓ11およびＳ12は，水平評価値算出回路45に入力する。水平評価値算出回路45において水平方向評価値Ｖｈが算出される。
【００８８】
方向評価値算出回路40において算出された評価値を表すデータは，判別回路50に入力する。判別回路50には，しきい値ＴＨを示すデータが与えられている第１の比較器51，第２の比較器52，第３の比較器53および第４の比較器54が含まれている。
【００８９】
第１の比較器51に，右斜め評価値Ｖｒを表すデータおよび左斜め評価値Ｖｌを表すデータが入力し，右斜め評価値Ｖｒから左斜め評価値Ｖｌを減算する処理が行われ，減算値としきい値ＴＨとの比較処理が行われる（図６ステップ７の処理）。
【００９０】
第２の比較器52にも，右斜め評価値Ｖｒを表すデータおよび左斜め評価値Ｖｌを表すデータが入力し，左斜め評価値Ｖｌから右斜め評価値Ｖｒを減算する処理が行われ，減算値としきい値ＴＨとの比較処理が行われる（図６ステップ８の処理）。
【００９１】
第３の比較器53および第４の比較器54には，垂直方向評価値Ｖｖを表すデータおよび水平方向評価値Ｖｈを表すデータが入力する。第３の比較器53において，垂直方向評価値Ｖｖから水平方向評価値Ｖｈを減算する処理が行われ，減算値としきい値ＴＨとの比較処理が行われる（図６ステップ３の処理）。また，第４の比較器54において水平方向評価値Ｖｈから垂直方向評価値Ｖｖを減算する処理が行われ，減算値としきい値ＴＨとの比較処理が行われる（図６ステップ４の処理）。
【００９２】
第１の比較器51から第４の比較器54の比較結果を表すデータが比較器55に入力する。比較器55において，入力した比較結果を表すデータが比較され，判別結果を示すデータが生成される。生成された判別結果データは，適応型補間フィルタ処理回路60に与えられる。比較器55においては，図６ステップ３，５，７および９に示す処理と同様の優先順位で次のように処理が行われる。
【００９３】
すなわち，垂直方向評価値Ｖｖから水平方向評価値Ｖｈを減算した第１の値がしきい値ＴＨより大きければ水平補間フィルタを使用して補間が行われるように判別結果データが生成される。第１の値がしきい値以下であった場合に，水平方向評価値Ｖｈから垂直方向評価値Ｖｖを減算した第２の値がしきい値ＴＨより大きければ垂直補間フィルタを用いて補間が行われるように判別結果データが生成される。第１の値および第２の値のいずれもしきい値ＴＨ以下であった場合に，右斜め評価値Ｖｒから左斜め評価値Ｖｌを減算した第３の値がしきい値ＴＨより大きければ右斜め補間フィルタを用いて補間が行われるように判別結果データが生成される。第１の値，第２の値および第３の値のいずれもがしきい値ＴＨ以下であった場合に，左斜め評価値Ｖｌから右斜め評価値Ｖｒを減算した第４の値がしきい値ＴＨより大きければ左斜め補間フィルタを用いて補間が行われるように判別結果データが生成される。第１の値，第２の値，第３の値および第４の値のいずれもがしきい値ＴＨ以下であった場合には，補間処理を行うことなく，その着目画素を表す画像データを出力するように判別結果データが生成される。
【００９４】
適応型補間フィルタ処理回路60には，上述した式15から式26に対応したフィルタが含まれている（必要ならば式27に対応したフィルタも含まれている）。判別回路50から与えられる判別結果データにもとづいて，対応するフィルタを用いて補間処理が行われる（または補間処理を行うことなく着目画素を表す画像データを出力する処理が行われる）。適応型補間フィルタ60から補間処理されたパラレルのＲＧＢ画像データが出力され，上述のようにＲＧＢ／ＹＣ変換回路26に与えられる。
【図面の簡単な説明】
【図１】ＣＣＤの受光面の一部を示している。
【図２】右斜め方向評価値を算出するときのフォトダイオードの組み合わせを示している。
【図３】左斜め方向評価値を算出するときのフォトダイオードの組み合わせを示している。
【図４】垂直方向評価値を算出するときのフォトダイオードの組み合わせを示している。
【図５】水平方向評価値を算出するときのフォトダイオードの組み合わせを示している。
【図６】画素補間処理を示すフローチャートである。
【図７】ディジタル・スチル・カメラの電気的構成の一部を示すブロック図である。
【図８】ＲＧＢ補間回路の電気的構成を示すブロック図である。
【符号の説明】
25 ＲＧＢ補間回路
30 遅延回路
40 方向評価値算出回路
50 判別回路
60 適応型補間フィルタ処理回路
PD フォトダイオード
Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６，Ｓ７，Ｓ８，Ｓ９，Ｓ10，S11，S12
フォトダイオード群
Claims (7)
- 三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力して補間画素を表すデータを生成する補間画素生成装置において，
相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データと，上記第１の光電変換素子群に隣接しまたは一部重複し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データと，にもとづいて，上記着目画素の相関性の高い方向を検出する検出手段，
上記検出手段によって検出された方向に応じて，上記着目画素を補間すべき画素を表わすデータを生成するフィルタを決定するフィルタ決定手段，および
上記フィルタ決定手段によって決定されたフィルタを用いて上記着目画素に対応する補間画素を表わすデータを生成する補間画素生成手段，
を備えた補間画素生成装置。 - 上記第１の光電変換素子群に上記着目光電変換素子が含まれている，請求項１に記載の補間画素生成装置。
- 上記第１の光電変換素子群の方向および上記第２の光電変換素子群の方向が，検出すべき方向の垂直方向である，請求項１に記載の補間画素生成装置。
- 上記第１の光電変換素子群が，共通の光電変換素子を有する第１の複数の光電変換素子群からなり，上記第２の光電変換素子群が，共通の光電変換素子を有する第２の複数の光電変換素子群からなり，
上記第１の複数の光電変換素子群と上記第２の複数の光電変換素子群とが上記着目光電変換素子を中心として，対称位置に配置されているものである，
請求項１に記載の補間画素生成装置。 - 三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力する入力手段，
上記入力手段に入力した三原色画像データのうち，相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データのレベルを算出する第１の算出手段，
上記入力手段に入力した三原色画像データのうち，上記第１の光電変換素子群に隣接しまたは一部重複し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データのレベルを算出する第２の算出手段，および
上記第１の算出手段によって算出されたレベルと上記第２の算出手段によって算出されたレベルとにもとづいて，上記着目画素の相関性の高い方向を検出する検出手段，
を備えた相関方向検出装置。 - 三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力して補間画素を表すデータを生成する補間画素生成装置において，
相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データと，上記第１の光電変換素子群に隣接しまたは一部重複し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データと，にもとづいて，上記着目画素の相関性の高い方向を検出し，
検出された方向に応じて，上記着目画素を補間すべき画素を生成するフィルタを決定し，
決定されたフィルタを用いて上記着目画素に対応する補間画素を生成する，
補間画素生成方法。 - 三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力し，
入力した三原色画像データのうち，相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データの第１のレベルを算出し，
入力した三原色画像データのうち，上記第１の光電変換素子群に隣接しまたは一部重複し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データの第２のレベルを算出し，
算出された第１のレベルと第２のレベルとにもとづいて，上記着目画素の相関性の高い方向を検出する，
相関方向検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003163071A JP4303525B2 (ja) | 2003-06-09 | 2003-06-09 | 補間画素生成装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003163071A JP4303525B2 (ja) | 2003-06-09 | 2003-06-09 | 補間画素生成装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004364201A JP2004364201A (ja) | 2004-12-24 |
| JP4303525B2 true JP4303525B2 (ja) | 2009-07-29 |
Family
ID=34054985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003163071A Expired - Fee Related JP4303525B2 (ja) | 2003-06-09 | 2003-06-09 | 補間画素生成装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4303525B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7995868B2 (en) | 2004-10-19 | 2011-08-09 | Megachips Corporation | Image processing method and image processing device |
| JP5151075B2 (ja) | 2005-06-21 | 2013-02-27 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
| JP4497233B2 (ja) | 2007-07-30 | 2010-07-07 | カシオ計算機株式会社 | 画素補間回路、およびプログラム |
-
2003
- 2003-06-09 JP JP2003163071A patent/JP4303525B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004364201A (ja) | 2004-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4066484B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| US9288454B2 (en) | Color imaging apparatus having color imaging element | |
| US8131067B2 (en) | Image processing apparatus, image processing method, and computer-readable media for attaining image processing | |
| US8736724B2 (en) | Imaging apparatus, method of processing captured image, and program for processing captured image | |
| JP5040519B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| KR20080016984A (ko) | 화상처리장치 및 화상처리방법, 촬상장치와컴퓨터·프로그램 | |
| JPH10341447A (ja) | 画像信号処理装置 | |
| JP2009194604A (ja) | 撮像装置及び撮像装置の駆動方法 | |
| JPH10234047A (ja) | 単板式カラーカメラ | |
| JP2000023174A (ja) | 画像処理装置及び画像処理方法 | |
| TWI338511B (ja) | ||
| JP5378626B2 (ja) | 撮像装置およびその動作制御方法 | |
| US8077234B2 (en) | Image pickup device and method for processing an interpolated color signal | |
| JP4303525B2 (ja) | 補間画素生成装置および方法 | |
| JP4666681B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4635769B2 (ja) | 画像処理装置、画像処理方法および撮像装置 | |
| JP4166974B2 (ja) | 画素キズ検出・補正装置 | |
| JP6525522B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4998069B2 (ja) | 補間処理装置、撮像装置、及び、補間処理方法 | |
| JP4284960B2 (ja) | 画像信号処理装置 | |
| JP3660504B2 (ja) | カラー固体撮像装置 | |
| JP4993275B2 (ja) | 画像処理装置 | |
| TWI465114B (zh) | 攝像裝置、及訊號處理方法、以及程式 | |
| JP5106221B2 (ja) | 撮像装置 | |
| JP2004088285A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060302 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080613 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080916 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090421 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090424 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4303525 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130501 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140501 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |