JP4253095B2

JP4253095B2 - 画像データ・フィルタリング装置および方法

Info

Publication number: JP4253095B2
Application number: JP35557099A
Authority: JP
Inventors: 健吉林
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 1999-12-15
Filing date: 1999-12-15
Publication date: 2009-04-08
Anticipated expiration: 2019-12-15
Also published as: JP2001177767A

Description

【０００１】
【技術分野】
この発明は，列方向および行方向に多数配列されており，奇数列については奇数行または偶数行に光電変換素子が配置され，かつ偶数列については偶数行または奇数行に光電変換素子が配置されている固体電子撮像装置を用いて被写体を撮像することにより得られた画像データを，フィルタリングする装置および方法に関する。
【０００２】
【発明の背景】
自然界においては，周波数空間でみると水平方向および垂直方向にエネルギーが集中している。また，人間の視覚では，空間周波数は水平方向から45度の方向が最も低くなる。
【０００３】
これらのことを考慮すると，同じ画素数であれば，列方向および行方向に整列して画素を並べるよりも奇数列については奇数行または偶数行に画素を配列し，かつ偶数列については，偶数行または奇数行に画素を配列（いわゆるハニカム配列）した方が解像度が高くなる。
【０００４】
ハニカム配列をもつＣＣＤ（ハニカム型ＣＣＤという）から得られた画像データによって表される画像の水平方向または垂直方向の再現帯域を上げるためには，フィルタリング処理において画像データの低域周波数成分をカットするためのカットオフ周波数を上げる必要がある。しかし，水平方向または垂直方向のカットオフ周波数を上げると水平方向および垂直方向の解像度は向上するが，斜め方向の解像度も向上することになり，斜め方向に発生する偽信号，偽色などが増加する。斜め方向の偽信号，偽色を低減させるために低域周波数成分をカットするフィルタリング処理を行うと水平方向および垂直方向の解像度が必要以上に劣化してしまうことがある。
【０００５】
【発明の開示】
この発明は，いわゆるハニカム型のＣＣＤから得られた画像データによって表される画像の偽信号を抑えつつ，解像度を向上させることを目的とする。
【０００６】
この発明による画像データ・フィルタリング装置は，列方向および行方向に多数配列されており，奇数列については奇数行または偶数行に光電変換素子が配置され，かつ偶数列については偶数行または奇数行に光電変換素子が配置されている固体電子撮像装置を含み，被写体を撮像することにより被写体像を表す画像データを出力する撮像手段，上記撮像手段から出力された画像データによって表される被写体像のうち行方向および列方向に隣接する画素の間の画素を補間するように，上記画像データを補間処理する補間手段，上記補間手段によって補間された画像データのうち，複数行分の画像データを同時化する同時化手段，ならびに斜め方向のフィルタ特性を有するフィルタを用いて，上記同時化手段によって同時化された画像データをフィルタリング処理するフィルタリング手段を備えていることを特徴とする。
【０００７】
この発明は，上記装置に適した方法も提供している。すなわち，この方法は，列方向および行方向に多数配列されており，奇数列については奇数行または偶数行に光電変換素子が配置され，かつ偶数列については偶数行または奇数行に光電変換素子が配置されている固体電子撮像装置を含み，被写体を撮像することにより被写体像を表す画像データを得，得られた画像データによって表される被写体像のうち行方向および列方向に隣接する画素の間の画素を補間するように，上記画像データを補間処理し，補間された画像データのうち，複数行分の画像データを同時化し，斜め方向のフィルタ特性を有するフィルタを用いて，上記同時化処理された画像データをフィルタリング処理するものである。
【０００８】
この発明によると，列方向および行方向に多数配列されており，奇数列については奇数行または偶数行に光電変換素子が配置され，かつ偶数列については偶数行または奇数行に光電変換素子が配置されている固体電子撮像装置を用いて被写体が撮像される。すなわち，たとえば奇数列については奇数行に光電変換素子が配列され，偶数列については偶数行に光電変換素子が配置されている固体電子撮像装置または奇数列については偶数行に光電変換素子が配列され，偶数列については奇数行に光電変換素子が配置されている固体電子撮像装置が用いられる。撮像によって得られた画像データは，行方向および列方向に隣接する画素を補間するように補間処理が行われる。補間された画像データのうち，複数行（たとえば３行）分の画像データが同時化される。同時化された画像データが斜め方向のフィルタ特性を有するフィルタを用いてフィルタリング処理が行われる。
【０００９】
この発明によると，斜め方向のフィルタ特性（たとえば，列方向または行方向に対して斜め方向に存在する画素についてフィルタリングするための特性）を有するフィルタ（ディジタル・フィルタ）を用いてフィルタリング処理（画像データのレベルなどを調整する処理）が行われるので，水平方向および垂直方向の解像度を劣化させることなく，斜め方向の偽信号，偽色などを低減させることができる。
【００１０】
左斜め方向についてフィルタ特性を有するフィルタを用いて，上記同時化手段によって同時化された画像データをフィルタリング処理する第１のフィルタリング手段，および右斜め方向についてフィルタリング特性を有するフィルタを用いて，上記第１のフィルタリング手段によってフィルタリング処理された画像データをフィルタリング処理する第２のフィルタリング手段を用いて画像データをフィルタリング処理することもできる。
【００１１】
２つのフィルタリング手段を用いて２回にわたってフィルタリング処理を行っているので，フィルタリングの精度を向上させることができる。
【００１２】
上記フィルタリング手段は，左斜め方向についてフィルタ特性を有するフィルタを用いて，上記同時化手段によって同時化された画像データをフィルタリングする第１のフィルタリング手段，および右斜め方向についてフィルタ特性を有するフィルタを用いて，上記同時化手段によって同時化された画像データをフィルタリングする第２のフィルタリングする第２のフィルタリング手段を備えてもよい。
【００１３】
この場合，上記補間手段によって補間された画像データにより表される被写体像中の画像のエッジ部分が左斜め方向か，右斜め方向か，それらのいずれの方向でもないかどうかを判定する。左斜め方向と判定したことにより，上記第１のフィルタリング手段によってフィルタリングされた画像データを選択して出力し，右斜め方向と判定したことにより，上記第２のフィルタリング手段によってフィルタリングされた画像データを選択して出力し，それらのいずれの方向でもないと判定されたことにより，上記同時化手段から出力された画像データを選択して出力することが好ましい。
【００１４】
上記被写体像の中の画像のエッジの方向が左斜め方向か右斜め方向かそれらのいずれかの方向でもないかを判定し，その判定結果に応じてフィルタリング処理を変えている。偽信号，偽色が生じないように上記被写体像の中の画像のエッジ方向に応じてフィルタ特性の異なるフィルタリング処理を行うことができる。たとえば，エッジが左斜め方向であれば，左斜め方向の特性をもつフィルタを用いてフィルタリングが行われる。エッジが右斜め方向であれば，右斜め方向の特性をもつフィルタリングが行われる。エッジが左斜め方向および右斜め方向のいずれでもなければ，フィルタリング処理は行われない。
【００１５】
上記被写体像の中の画像のエッジ方向に応じた適切な方向にフィルタリング処理が行われる。
【００１６】
【実施例の説明】
図１は，ディジタル・カメラの電気的構成の一部を示すブロック図である。図２は，図１に示すディジタル・カメラのＣＣＤの受光面の一部を模式的に示している。
【００１７】
ＣＣＤ10は，いわゆるハニカム型のＣＣＤである。このハニカム型のＣＣＤは，行方向および列方向に多数の光電変換素子１が配列されている。これらの光電変換素子１は，奇数列については奇数行の位置に配置され，偶数列については偶数行の位置に配置されている。したがって，奇数列については偶数行の位置には光電変換素子１は配置されていず，偶数列については奇数行の位置に光電変換素子１は配置されていない。もちろん，奇数列については偶数行の位置に光電変換数１を配置し，偶数列については奇数行の位置に光電変換素子１を配置してもよい。
【００１８】
光電変換素子１から出力される信号が被写体像を表す映像信号として，ＣＣＤ10から出力される。ＣＣＤ10から出力された映像信号は，アナログ／ディジタル変換回路11に入力し，ディジタル画像データに変換される。ＣＣＤ10の受光面上（光電変換素子１の受光面上）には，ＲＧＢの色フィルタが配置されており，アナログ／ディジタル変換回路11からは，ＲＧＢの画像データがシリアルに出力されるのはいうまでもない。
【００１９】
アナログ／ディジタル変換回路11から出力された画像データは，リニア・マトリクス回路12，オフセット回路13，ゲイン補正回路14を介してガンマ補正回路15に入力する。ガンマ補正回路15においてガンマ補正された画像データは，ＲＧＢ補間回路18および高輝度データ生成回路16に入力する。
【００２０】
高輝度生成回路16において，入力したＲＧＢ画像データから高輝度データが生成される。生成された高輝度データは，補間回路17に入力する。補間回路17において，図３に示すようにＣＣＤ10を構成する光電変換素子１に対応する画素２を表す高輝度データを用いて，画素２に垂直方向および水平方向に隣接する画素（光電変換素子１が存在していない位置に対応する画素）が補間される。具体的には，ＣＣＤ10の光電変換素子１が存在しない奇数列における偶数行の画素および偶数列における奇数行の画素が，隣接する画素２を示す高輝度データを用いて生成される（図３においては，補間により生成された画素が黒丸３によって表されている）。補間処理は，たとえば，隣接する画素を表す高輝度データを相加平均することにより行われる。もちろん，そのほかの補間方法を用いることができるのはいうまでもない。
【００２１】
補間処理回路17において補間処理された高輝度データは，ＲＧＢ補間回路18に入力する。
【００２２】
ＲＧＢ補間回路18において，補間回路17において生成された高輝度データとガンマ補正回路15から出力されたＲＧＢ画像データとを用いて，ＲＧＢ画像データについての補間画素３を表すＲＧＢ画像データが生成される。これにより，ＲＧＢ変換回路18から出力される画像データによって表される画像の画素数は，ＣＣＤ10から出力される映像信号によって表される画像の画素数のほぼ２倍となる。
【００２３】
ＲＧＢ補間回路18から出力されたＲＧＢ画像データは，ＹＣ変換回路19に入力し，輝度データＹおよび色差データＣ（Ｒ−ＹおよびＢ−Ｙ）が生成される。ＹＣ変換回路19において生成された輝度データＹは，輝度フィルタリング回路20に入力する。輝度フィルタリング回路20において，入力した輝度データについてフィルタリング処理が施される。このフィルタリング処理について詳しくは，後述する。
【００２４】
輝度フィルタリング回路20から出力された輝度データは，輪郭補正回路21に入力する。輪郭補正回路21において，入力した輝度データについて輪郭補正処理（たとえば，エッジ強調）が行われる。輪郭補正された輝度データが出力される。
【００２５】
ＹＣ変換回路19において生成された色差データＣは，色差フィルタリング回路22に入力する。この色差フィルタリング回路22において，輝度フィルタリング回路20における処理と同様に，色差データについてフィルタリング処理が施される。色差フィルタリング回路20においてフィルタリング処理が施された色差データは，色相補正回路23に入力する。この色相補正回路23において，色差データＣについて色相補正が施され，出力される。
【００２６】
輪郭補正回路21から出力された輝度データおよび色相補正回路23から出力された色差データがデータ圧縮されて，メモリ・カードなどに記録される。
【００２７】
図４は，色差フィルタリング回路20の構成を示している。
【００２８】
ＹＣ変換回路19から出力された色差データは，同時化回路31に入力する。同時化回路31には，３つのライン・メモリ（図示略）が内蔵されている。これらの３つのライン・メモリにより，３行分の色差データが同時化される。同時化された輝度データがロウ・パス・フィルタ32に入力する。
【００２９】
ロウ・パス・フィルタ32は，図５に示すようなフィルタ特性をもつものである。このフィルタ特性は，斜め方向の画素について帯域制限処理を施すものである。同時化回路31から出力された色差データがロウ・パス・フィルタ32に入力することにより，ロウ・パス・フィルタ32により斜め方向の画素に生じる偽信号を低減させることができる。ロウ・パス・フィルタ32から出力された色差データは，上述したように色相補正回路23に入力する。
【００３０】
輝度フィルタリング回路20については，輝度データについてのフィルタ特性のカットオフ周波数よりも高いカットオフ周波数を持つロウ・パス・フィルタを用いて同じように構成することができる。解像度の高い輝度画像が得られる。
【００３１】
図６は，色差フィルタリング回路22の他の回路構成を示すブロック図である。
【００３２】
図６においては，第１のロウ・パス・フィルタ34と第２のロウ・パス・フィルタ36とが含まれている。第１のロウ・パス・フィルタ34は，図７（Ａ）に示すように左斜め方向のフィルタ特性を有するもので，左斜め方向に存在する画素について偽信号の低減処理を行うものである。第２のロウ・パス・フィルタ36は，図７（Ｂ）に示すように右斜め方向フィルタ特性を有するもので，右斜め方向に存在する画素について偽信号の低減処理を行うものである。
【００３３】
また，同時化回路33および35は，図４に示した同時化回路31と同じもので，３つのライン・メモリが内蔵されている。
【００３４】
ＹＣ変換回路19から出力された色差データは，同時化回路33に入力する。同時化回路33において，色差データの同時化処理が行われる。同時化された３行分の色差データは，第１のロウ・パス・フィルタ34に入力し，左斜め方向の画素について偽信号の低減処理が施される。第１のロウ・パス・フィルタ１から出力された色差データは，同時化回路35を介して第２のロウ・パス・フィルタ36に入力する。第２のロウ・パス・フィルタ36において，右斜め方向の画素について偽信号の低減処理が施される。
【００３５】
第２のロウ・パス・フィルタ36から出力された色差データが色差フィルタリング回路22の出力輝度データとなり，上述のように色相補正回路23に入力する。
【００３６】
図６に示す回路では，左斜め方向の画素についての偽信号の低減処理と右斜め方向の画素についての偽信号の低減処理とを別々のロウ・パス・フィルタを用いて行っているので，比較的精度の高い偽信号の低減処理を実現することができる。
【００３７】
図８は，色差フィルタリング回路20のさらに他の構成を示すブロック図である。
【００３８】
この回路においては，入力する画像データによって表される画像の中に左斜め方向のエッジがあるか，右斜め方向のエッジがあるか，左斜め方向および右斜め方向のいずれの方向のエッジもないかどうかを検出する。左斜め方向のエッジがある場合には，左斜め方向の画素の偽信号を低減する処理を行い，右斜め方向のエッジがある場合には，右斜め方向の画素の偽信号を低減する処理を行い，左斜め方向および右斜め方向のいずれの方向にもエッジがない場合には，いずれの方向にも偽信号を低減する処理を行わない。
【００３９】
同時化回路41において，ＹＣ変換回路19から出力された色差データのうち，３行分の色差データが同時化される。同時化された色差データは，第１のロウ・パス・フィルタ42，第２のロウ・パス・フィルタ43，斜め方向検出回路44およびセレクタ45に入力する。
【００４０】
第１のロウ・パス・フィルタ42は，図７（Ａ）に示す左斜め方向の特性を有するもので，左斜め方向の画素について偽信号を低減する処理を施して出力する。第１のロウ・パス・フィルタ42から出力した輝度データは，セレクタ45に入力する。第２のロウ・パス・フィルタ43は，図７（Ｂ）に示す右斜め方向の特性を有するもので，右斜め方向の画素について偽信号を低減する処理を施して出力する。第２のロウ・パス・フィルタ43から出力した色差データは，セレクタ45に入力する。斜め方向検出回路44は，入力した色差データによって表される画像に含まれるエッジ方向が左斜め方向か，右斜め方向か左斜め方向および右斜め方向のいずれでもないかを検出するものである。検出結果を示す信号は，セレクタ45に入力する。
【００４１】
斜め方向検出回路44からセレクタ45に与えられる信号が左斜めの方向を示す信号であれば，第１のロウ・パス・フィルタ42から出力された色差データがセレクタ45から出力され，色差フィルタリング回路22の出力となる。斜め方向検出回路44からセレクタ45に与えられる信号が右斜め方向を示す信号であれば，第２のロウ・パス・フィルタ43から出力された色差データがセレクタ45から出力され，色差フィルタリング回路22の出力となる。斜め方向検出回路44からセレクタ45に与えられる信号が左斜め方向および右斜め方向のいずれも示す信号でなければ，同時化回路41の出力がセレクタ45から出力される。
【００４２】
画像データによって表される画像内のエッジの方向を検出し，その検出した方向に応じて偽信号の発生を低減するようにフィルタリング処理をしているので，比較的適切なフィルタリング処理を施すことができる。
【００４３】
図９から図12は，斜め方向検出回路44における画像中のエッジ方向を検出する手順を説明するためのものである。図９および図11は，画像の一部を構成する画素を示すものである。図10および図12は，フィルタの特性を示している。
【００４４】
図９および図11において，行方向（５行）の画素および列方向（５列）の画素Ｐ１からＰ25は，画像の同一部分を示している。
【００４５】
まず，図10に示すようなフィルタ特性をもつフィルタＦ１，Ｆ２およびＦ３をを用意する。フィルタＦ１，Ｆ２およびＦ３は同じフィルタ特性を有しているが，この実施例では，異なる符号を用いる。フィルタＦ１を用いて，画素Ｐ１からＰ25のうち，左上の３行×３列の画素Ｐ１，Ｐ２，Ｐ３，Ｐ６，Ｐ７，Ｐ８，Ｐ11，Ｐ12およびＰ13にフィルタリング処理をする。このフィルタリング処理の出力値をｆ１とする。同様に，中央部分の３行×３列の画素Ｐ７，Ｐ８，Ｐ９，Ｐ12，Ｐ13，Ｐ14，Ｐ17，Ｐ18およびＰ19にフィルタＦ２を用いてフィルタリング処理をする。このフィルタリング処理の出力値をｆ２とする。さらに，右下の３行×３列の画素Ｐ13，Ｐ14，Ｐ15，Ｐ18，Ｐ19，Ｐ20，Ｐ23，Ｐ24およびＰ25にフィルタＦ３を用いてフィルタリング処理をする。このフィルタリング処理の出力値をｆ３とする。
【００４６】
さらに，図12に示すようなフィルタ特性をもつフィルタＦ４，Ｆ５およびＦ６をを用意する。フィルタＦ４，Ｆ５およびＦ６は同じフィルタ特性を有しているが，この実施例では，異なる符号を用いる。フィルタＦ４を用いて，画素Ｐ１からＰ25のうち，右上の３行×３列の画素Ｐ３，Ｐ４，Ｐ５，Ｐ８，Ｐ９，Ｐ10，Ｐ13，Ｐ1４およびＰ1５にフィルタリング処理をする。このフィルタリング処理の出力値をｆ４とする。同様に，中央部分の３行×３列の画素Ｐ７，Ｐ８，Ｐ９，Ｐ12，Ｐ13，Ｐ14，Ｐ17，Ｐ18およびＰ19にフィルタＦ５を用いてフィルタリング処理をする。このフィルタリング処理の出力値をｆ５とする。さらに，左下の３行×３列の画素Ｐ11，Ｐ12，Ｐ13，Ｐ16，Ｐ17，Ｐ18，Ｐ21，Ｐ22およびＰ23にフィルタＦ５を用いてフィルタリング処理をする。このフィルタリング処理の出力値をｆ５とする。
【００４７】
これらのフィルタリング処理において，得られた出力値ｆ１，ｆ２，ｆ３，ｆ４，ｆ５およびｆ６を用いて式１を満足すれば図９に示すように，画素Ｐ１からＰ25によって構成される画像のうち，左斜め方向のエッジが存在することとなる。また，式２を満足すれば図11に示すように，画素Ｐ１からＰ25によって構成される画像のうち，右斜め方向のエッジが存在することとなる。式１または式２のいずれの式も満足しなければ，左斜め方向および右斜め方向のいずれの方向のエッジも検出しないこととなる。
【００４８】
if（not（（｜ｆ４＞しきい値）and （｜ｆ５｜＞しきい値）and（｜ｆ６｜＞しきい値））and（（｜ｆ１｜＞しきい値）and（｜ｆ２｜＞しきい値）and（｜ｆ３｜＞しきい値） …式１
【００４９】
式１はｆ４，ｆ５およびｆ６の絶対値がすべて所定のしきい値より大きくなく，かつｆ１，ｆ２およびｆ３の絶対値がすべて所定のしきい値より大きいことを示している。
【００５０】
if（（（｜ｆ４＞しきい値）and （｜ｆ５｜＞しきい値）and（｜ｆ６｜＞しきい値））and not（（｜ｆ１｜＞しきい値）and（｜ｆ２｜＞しきい値）and（｜ｆ３｜＞しきい値） …式２
【００５１】
式２はｆ４，ｆ５およびｆ６の絶対値がすべてしきい値より大きく，かつｆ１，ｆ２およびｆ３の絶対値がすべて所定のしきい値より大きくないことを示している。
【００５２】
以上のエッジ検出処理において，左斜め方向のエッジが検出されると上述したように，左斜め方向のフィルタ特性（図７（Ａ）参照）を有するフィルタを用いて左斜め方向のフィルタ特性を有するフィルタの出力画像データがセレクタ45から出力される。右斜め方向のエッジが検出されると右斜め方向のフィルタ特性（図７（Ｂ）参照）を有するフィルタの出力画像データがセレクタ45から出力される。いずれの方向のエッジも検出されなければ，同時化回路41から出力され，フィルタリング処理が行われない画像データがセレクタから出力される。
【００５３】
上述した実施例においては，ロウ・パス・フィルタを用いたフィルタリング処理について説明したが，ロウ・パス・フィルタを用いたフィルタリング処理に限らないのはいうまでもない。フィルタを用いた他の処理，例えば，輪郭補正処理，平滑化処理などにも利用することができる。さらに，上述した実施例においては，３行×３列のフィルタを用いてフィルタリング処理を施しているが，その他のフィルタを用いることもできるのはいうまでもない。
【図面の簡単な説明】
【図１】ディジタル・カメラの電気的構成を示すブロック図である。
【図２】ハニカム型ＣＣＤを構成する光電変換素子の一部を示す。
【図３】画素が補間された様子を示す。
【図４】輝度フィルタリング回路の電気的構成を示すブロック図である。
【図５】フィルタ特性の一例を示している。
【図６】輝度フィルタリング回路の他の電気的構成を示すブロック図である。
【図７】（Ａ）および（Ｂ）は，フィルタ特性の他の一例を示している。
【図８】輝度フィルタリング回路の他の電気的構成を示すブロック図である。
【図９】画像を構成する画素の一例を示している。
【図１０】フィルタ特性の一例を示している。
【図１１】画像を構成する画素の一例を示している。
【図１２】フィルタ特性の一例を示している。
【符号の説明】
１光電変換素子
２，51 画素
３補間された画素
10 ＣＣＤ
17 補間回路
18 ＲＧＢ補間回路
20 輝度フィルタリング回路
22 色差フィルタリング回路
31，33，35，41 同時化回路
32，34，36，41 ロウ・パス・フィルタ
44 斜め方向検出回路
45 セレクタ

Claims

列方向および行方向に多数配列されており，奇数列については奇数行または偶数行に光電変換素子が配置され，かつ偶数列については偶数行または奇数行に光電変換素子が配置されている固体電子撮像装置を含み，被写体を撮像することにより被写体像を表す画像データを出力する撮像手段，
上記撮像手段から出力された画像データによって表される被写体像のうち行方向および列方向に隣接する画素の間の画素を補間するように，上記画像データを補間処理する補間手段，
上記補間手段によって補間された画像データのうち，複数行分の画像データを同時化する同時化手段，ならびに
斜め方向のみのフィルタ特性を有するフィルタを用いて，上記同時化手段によって同時化された画像データをフィルタリング処理するフィルタリング手段，
を備えた画像データ・フィルタリング装置。
上記フィルタリング手段が，
左斜め方向にのみフィルタ特性を有するフィルタを用いて，上記同時化手段によって同時化された画像データをフィルタリング処理する第１のフィルタリング手段，および
右斜め方向に配置されている画素についてのみフィルタリング特性を有するフィルタを用いて，上記第１のフィルタリング手段によってフィルタリング処理された画像データをフィルタリング処理する第２のフィルタリング手段，
を備えている請求項１に記載の画像データ・フィルタリング装置。
上記フィルタリング手段が，
左斜め方向にのみフィルタ特性を有するフィルタを用いて，上記同時化手段によって同時化された画像データをフィルタリングする第１のフィルタリング手段，および
右斜め方向にのみフィルタ特性を有するフィルタを用いて，上記同時化手段によって同時化された画像データをフィルタリングする第２のフィルタリング手段を備え，
上記補間手段によって補間された画像データにより表される被写体像中の画像のエッジ部分が左斜め方向か，右斜め方向か，それらのいずれの方向でもないかどうかを判定する判定手段，および
上記判定手段が，左斜め方向と判定したことにより，上記第１のフィルタリング手段によってフィルタリングされた画像データを選択して出力し，右斜め方向と判定したことにより，上記第２のフィルタリング手段によってフィルタリングされた画像データを選択して出力し，それらのいずれの方向でもないと判定されたことにより，上記同時化手段から出力された画像データを選択して出力するセレクタ，
をさらに備えた請求項１に記載の画像データ・フィルタリング装置。
列方向および行方向に多数配列されており，奇数列については奇数行または偶数行に光電変換素子が配置され，かつ偶数列については偶数行または奇数行に光電変換素子が配置されている固体電子撮像装置を含み，被写体を撮像することにより被写体像を表す画像データを得，
得られた画像データによって表される被写体像のうち行方向および列方向に隣接する画素の間の画素を補間するように，上記画像データを補間処理し，
補間された画像データのうち，複数行分の画像データを同時化し，
斜め方向のみのフィルタ特性を有するフィルタを用いて，上記同時化処理された画像データをフィルタリング処理する，
画像データ・フィルタリング方法。