WO2014185238A1 - カラー画像データの混入補正装置および撮像装置ならびにそれらの動作制御方法 - Google Patents

Abstract

　画素混合時における光の混入の画質劣化を防止する。　光電変換素子PDgの受光面上には緑色の光成分を透過するフィルタＧが形成され，光電変換素子PDrの受光面上には赤色の光成分を透過するフィルタＲが形成されている。フィルタＧまたはＲに垂直に入射する光Pg１，Pr１は，対応する光電変換素子PDg，PDrに入射するが，フィルタＧまたはＲに斜めに入射する光Pg２，Pr２は，対応する光電変換素子PDg，PDrに隣接する光電変換素子に混入してしまう。画素混合が行われるときに，混入した画素データを混合画素のデータから減少させることにより混入補正する。

Description

カラー画像データの混入補正装置および撮像装置ならびにそれらの動作制御方法

　この発明は，カラー画像データの混入補正装置および撮像装置ならびにそれらの動作制御方法およびカラー画像データの混入補正装置のコンピュータを制御するプログラムに関する。

　固体電子撮像素子の高画素化に伴い，固体電子撮像素子を構成するフォトダイオード同士が近接するようになっている。このために，ある位置にあるフォトダイオードに入射すべき光が，その隣接するフォトダイオードに混入してしまうことがある。これにより，正確な色再現ができないことがある。

　また，画素混合する場合も読み出し時に発生する混色を補正するもの（特許文献１），光の漏れこみの影響による画素ムラを低減するものもある（特許文献２）。

特開2009-105488号公報 特開2004-135206号公報

　特許文献１に記載のものでは，フォトダイオードに光が混入してしまうことに対する補正については考えられていず，特許文献２に記載のものでは画素混合する場合においてフォトダイオードに光が混入してしまうことに対する補正については考慮されていない。

　この発明は，画素混合する場合に，光が混入してしまうことによる画質の劣化を防止することを目的とする。

　第１の発明によるカラー画像データの混入補正装置は，異なるフィルタ特性を有するカラー・フィルタが繰り返しパターンで周期的に受光面上に形成されている光電変換素子が多数配列されている単板の固体電子撮像素子から得られるカラー画像を表わすカラー画像データにおいて，カラー画像を構成する多数の原画素のうち，複数の原画素から構成される画素ブロックに含まれる同色画素の画素データを混合することにより縮小カラー画像データを得る同色画素データ混合手段，ならびに同色画素データ混合手段において得られた縮小カラー画像データによって表わされる縮小カラー画像を構成する多数の混合画素のそれぞれを表す混合画素データのデータ量から，混合画素を生成した原画素の画素データに混入（混色，同色の画素データについても混色と考えることとする）したデータのデータ量が減少するように補正する混入（混色）補正手段を備えていることを特徴とする。

　第１の発明は，カラー画像データの混入補正装置に適した動作制御方法も提供している。すなわち，この方法は，同色画素データ混合手段は，異なるフィルタ特性を有するカラー・フィルタが繰り返しパターンで周期的に受光面上に形成されている光電変換素子が多数配列されている単板の固体電子撮像素子から得られるカラー画像を表わすカラー画像データにおいて，カラー画像を構成する多数の原画素のうち，複数の原画素から構成される画素ブロックに含まれる同色画素の画素データを混合することにより縮小カラー画像データを得，混入補正手段が，同色画素データ混合手段において得られた縮小カラー画像データによって表わされる縮小カラー画像を構成する多数の混合画素のそれぞれを表す混合画素データのデータ量から，混合画素を生成した原画素の画素データに混入したデータのデータ量を減少するように補正するものである。

　第１の発明は，カラー画像データの混入補正装置の動作制御方法を実施するためのコンピュータが読み取り可能なプログラムも提供している。そのようなプログラムを格納した記録媒体も提供するようにしてもよい。

　第１の発明によると，単板の固体電子撮像素子には光電変換素子が多数配列されている。その光電変換素子の受光面上には異なるフィルタ特性を有するカラー・フィルタが繰り返しパターンで周期的に形成されている。固体電子撮像素子からは，カラー画像を表わすカラー画像データが得られ，そのカラー画像を構成する多数の原画素のうち，複数の原画素から構成される画素ブロックに含まれる同色画素の画素データが混合させられる。するとデータ量が少なくなった縮小カラー画像データが得られる。縮小カラー画像を構成する多数の混合画素のそれぞれを表す混合画素データから，混合画素を生成した原画素の画素データに混入したデータが減少するように補正される（減算して補正してもよいし，混入率に応じた比率を混合画素データに乗じることにより補正してもよい）。画素混合による縮小カラー画像データを生成しつつ，隣接する光電変換素子に入射すべき光の混入を補正することができるようになる。

　画素ブロックのサイズが，カラー・フィルタの繰り返しパターン周期で規定されるサイズと異なるものの場合，たとえば，混合画素の画素データのデータ量から減少させられる，混入したデータのデータ量は，画素ブロック内において，混合画素を生成した原画素の色パターン（原画素が表わすカラー画像における色成分の分布のパターン，カラー画像における色成分ごとの原画素の分布パターン）に応じて異なるものとなろう。

　また，同色画素データ混合手段は，カラー画像データにおいて上記画素ブロックごとの画素混合を繰り返し行うものの場合，画素ブロックが水平方向および垂直方向に隣接する２×２の画素ブロックから構成される拡大画素ブロックにおいてカラー・フィルタの配列が同一の画素ブロックが少なくとも２つ含まれるものでもよい。

　同色画素データ混合手段は，たとえば，画素ブロックに含まれる同色画素を表わす混合画素データから減少させられるデータ量が，同一となるように同色画素の画素データに重み付けを行い，重み付けされた同色画素の画素データを混合するものである。

　カラー・フィルタは，たとえば，ベイヤ配列により光電変換素子の受光面上に形成されているものであり，画素ブロックは，たとえば，水平方向３画素，垂直方向３画素の画素から構成されるものである。

　水平方向および垂直方向の６×６の光電変換素子の受光面上において，水平方向および垂直方向において緑色またはマゼンタの光成分を透過する特性を有する第１フィルタ，赤色またはシアンの光成分を透過する特性を有する第２フィルタおよび青色またはイエローの光成分を透過する特性を有する第３フィルタが少なくとも一つずつ形成されており，第１フィルタは，水平方向，垂直方向および斜め方向において少なくとも一つは形成されており，かつ水平方向，垂直方向および斜め方向において２つ連続している部分が少なくとも一つは含まれており，画素ブロックは，水平方向に３画素，垂直方向に３画素の画素から構成されるものでもよい。

　第２の発明による撮像装置は，異なるフィルタ特性を有するカラー・フィルタが繰り返しパターン周期で受光面上に形成されている光電変換素子が多数配列されており，被写体像を表わすカラー画像データを出力する単板の固体電子撮像素子，固体電子撮像素子の受光面上に被写体像を結像する撮像レンズ，固体電子撮像素子から出力されるカラー画像を表わすカラー画像データにおいて，カラー画像を構成する多数の原画素のうち，複数の原画素から構成される画素ブロックに含まれる同色画素の画素データを混合することにより縮小カラー画像データを得る同色画素データ混合手段，ならびに同色画素データ混合手段において得られた縮小カラー画像データによって表わされる縮小カラー画像を構成する多数の混合画素のそれぞれを表す混合画素データのデータ量から，混合画素を生成した原画素の画素データに混入したデータのデータ量が減少するように補正する混入補正手段を備えていることを特徴とする。

　第２の発明は，撮像装置に適した動作制御方法も提供している。すなわち，この方法は，固体電子撮像素子が，異なるフィルタ特性を有するカラー・フィルタが繰り返しパターン周期で受光面上に形成されている光電変換素子が多数配列されており，被写体像を表わすカラー画像データを出力し，同色画素データ混合手段が，固体電子撮像素子から出力されるカラー画像を表わすカラー画像データにおいて，カラー画像を構成する多数の原画素のうち，複数の原画素から構成される画素ブロックに含まれる同色画素の画素データを混合することにより縮小カラー画像データを得，混入補正手段が，同色画素データ混合手段において得られた縮小カラー画像データによって表わされる縮小カラー画像を構成する多数の混合画素のそれぞれを表す混合画素データのデータ量から，混合画素を生成した原画素の画素データに混入したデータのデータ量が減少するように補正するものである。

　第１の発明と同様に第２の発明においても，画素混合による縮小カラー画像データを生成しつつ，隣接する光電変換素子に入射すべき光の混入を補正することができるようになる。

　第３の発明による撮像装置は，異なるフィルタ特性を有するカラー・フィルタが繰り返しパターン周期で受光面上に形成されている光電変換素子が多数配列されており，被写体像を表わすカラー画像データを出力する単板の固体電子撮像素子，固体電子撮像素子から出力されるカラー画像を表わすカラー画像データにおいて，カラー画像を構成する多数の原画素のうち，複数の原画素から構成される画素ブロックに含まれる同色画素の画素データを混合することにより縮小カラー画像データを得る同色画素データ混合手段，固体電子撮像素子の受光面上に被写体像を結像する交換レンズ（撮像装置に着脱自在な交換レンズ）のレンズ情報にもとづいて，混合画素を生成した原画素の画素データに混入するデータのデータ量を決定する決定手段，同色画素データ混合手段において得られた縮小カラー画像データによって表わされる縮小カラー画像を構成する多数の混合画素のそれぞれを表す混合画素データから，決定手段によって決定されたデータ量が減少するように補正する混入補正手段を備えていることを特徴とする。

　第３の発明は，撮像装置に適した動作制御方法も提供している。すなわち，この方法は，固体電子撮像素子が，異なるフィルタ特性を有するカラー・フィルタが繰り返しパターン周期で受光面上に形成されている光電変換素子が多数配列されており，被写体像を表わすカラー画像データを出力し，同色画素データ混合手段が，固体電子撮像素子から出力されるカラー画像を表わすカラー画像データにおいて，カラー画像を構成する多数の原画素のうち，複数の原画素から構成される画素ブロックに含まれる同色画素の画素データを混合することにより縮小カラー画像データを得，決定手段が，固体電子撮像素子の受光面上に被写体像を結像する交換レンズのレンズ情報にもとづいて，混合画素を生成した原画素の画素データに混入するデータのデータ量を決定し，混入補正手段が，同色画素データ混合手段において得られた縮小カラー画像データによって表わされる縮小カラー画像を構成する多数の混合画素のそれぞれを表す混合画素データから，決定手段によって決定されたデータ量が減少するように補正するものである。

　第３の発明によると，撮像装置には交換レンズが着脱自在に装着できる。撮像装置に交換レンズが装着されると，装着された交換レンズからレンズ情報が読み出される。読み出されたレンズ情報にもとづいて，混合画素を生成した原画素の画素データに混入するデータのデータ量が決定される。縮小カラー画像を構成する多数の混合画素のそれぞれを表す混合画素データのデータ量から，決定されたデータ量が減少するように補正される。交換レンズの種類，スペックに応じて混入するデータのデータ量が変わるが，交換レンズのレンズ情報に応じて，混入するデータのデータ量が決定され，決定されたデータ量が，混合画素データのデータ量から減少するように補正されるので，比較的正確に混入したデータの補正を実現できる。

撮像素子の一部を示している。 光が斜めに入射する様子を示している。 光が斜めに入射する様子を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像を示している。 ディジタル・カメラの電気的構成を示すブロック図である。 撮像素子の一部を示している。 撮像素子の一部を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 被写体像の一部の画像部分を示している。 パーソナル・コンピュータの電気的構成を示すブロック図である。 混入補正処理手順を示すフローチャートである。 スマートフォンの外観図である。 スマートフォンの電気的構成を示すブロック図である。

　図１は，固体電子撮像素子10の受光面を示している。

　固体電子撮像素子10には，水平方向および垂直方向に多数の光電変換素子11が配列されている。固体電子撮像素子10としては，CMOS(Complementary Metal Oxide Semiconductor;相補型金属酸化膜半導体)イメージ・センサが好適に使用される。光電変換素子11の受光面上には，色の三原色である赤色，緑色および青色のうち，赤色の光成分を透過するフィルタ特性を有する赤色フィルタ（符号Ｒで示す），緑色の光成分を透過するフィルタ特性を有する緑色フィルタ（符号Ｇで示す）または青色の光成分を透過するフィルタ特性を有する青色フィルタ（符号Ｂで示す）のいずれかのカラー・フィルタが形成されている。

　図１に示す光電変換素子11におけるカラー・フィルタの配列はベイヤ配列と呼ばれるものである。奇数行偶数列の光電変換素子11の受光面上に赤色フィルタＲが形成され，偶数行奇数列の光電変換素子11の受光面上に青色フィルタＢが形成され，奇数行奇数列および偶数行偶数列の光電変換素子11の受光面上に緑色フィルタＧが形成されている。

　赤色フィルタＲが形成されている光電変換素子11には赤色の光成分を表わす信号電荷が蓄積され，緑色フィルタＧが形成されている光電変換素子11には緑色の光成分を表わす信号電荷が蓄積され，青色フィルタＢが形成されている光電変換素子11には青色の光成分を表わす信号電荷が蓄積される。蓄積された信号電荷が固体電子撮像素子10から読み出されることにより，被写体像を表わすカラー画像データが得られる。フィルタＲ，ＧまたはＢが形成されている光電変換素子11は，撮像素子10によって得られる被写体像を構成する画素に対応するから，この明細書において，フィルタＲ，ＧまたはＢが形成されている光電変換素子11を適宜，画素Ｒ，ＧまたはＢと呼ぶこととする。

　上記の例では，光電変換素子11の受光面上に赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢが形成されているが，三原色の補色であるシアンＣの光成分を透過するフィルタ特性を有するシアン・フィルタ，マゼンタＭの光成分を透過するフィルタ特性を有するマゼンタ・フィルタまたはイエローＹの光成分を透過するフィルタ特性を有するイエロー・フィルタがベイヤ配列にしたがって形成されていてもよい。

　この実施例では，水平方向および垂直方向に３つずつの９個の光電変換素子11（画素）から構成される画素ブロックＢｒが規定される。画素ブロックＢｒは，必ずしも水平方向および垂直方向に３つずつの９個の光電変換素子11から構成されなくともよい。詳しくは，後述するように，画素ブロックＢｒに含まれる９個の光電変換素子11に蓄積された信号電荷（原画素）が，複数の原画素から構成される画素ブロックＢｒに含まれる同色の色ごとに混合させられることにより（画素混合），縮小カラー画像データが生成される。

　図１に示す例では，２画素×２画素のサイズからなるカラー・フィルタの繰り返しパターンが周期的に形成されているベイヤ配列において，３画素×３画素のサイズからなる画素ブロックＢｒを規定しているため，画素ブロックＢｒが符号21，22，23または24で示す位置にある場合に応じて，画素ブロックＢｒ内のカラー・フィルタ配列が異なっている。符号21で示す位置に画素ブロックＢｒ（画像部分21とする）がある場合には，中央および四隅に緑色フィルタＧが形成され，中央を挟む左右に青色フィルタＢが形成され，中央を挟む上下に赤色フィルタＲが形成されている。符号22で示す位置に画素ブロックＢｒ（画像部分22とする）がある場合には，中央に青色フィルタＢが形成され，四隅に赤色フィルタＲが形成され，残りに緑色フィルタＧが形成されている。符号23で示す位置に画素ブロックＢｒ（画像部分23とする）がある場合には，符号22で示す位置に画素ブロックＢｒがある場合と，青色フィルタＢの位置と赤色フィルタＲの位置とが逆となっている。符号24で示す位置に画素ブロックＢｒ（画像部分24とする）がある場合には，符号21で示す位置に画素ブロックＢｒがある場合と，青色フィルタＢの位置と赤色フィルタＲの位置とが逆となっている。

　図２および図３は，光電変換素子11とカラー・フィルタとマイクロ・レンズとの関係を側面から見た様子を示している。

　図２を参照して，受光面上に形成されているフィルタが緑色フィルタＧの光電変換素子11の符号をPDgとし，赤色フィルタＲの光電変換素子11の符号をPDrとする。カラー・フィルタＧまたはＲの上方にはマイクロ・レンズＬが配置されている。

　カラー・フィルタＧまたはＲを透過する光成分は緑色または赤色なので，実線Pg１またはPr１で示すように，カラー・フィルタＧまたはＲの平面に対して垂直に入射する光Pg１またはPr１は，カラー・フィルタＧまたはＲを透過すると，緑色または赤色をもつ光成分が受光面上にカラー・フィルタＧまたはＲが形成されている光電変換素子PDgまたはPDrに入射する。光電変換素子PDgまたはPDrには，緑色または赤色のレベルに応じた信号電荷が蓄積される。破線Pr２またはPg２で示すように，カラー・フィルタＧまたはＲの平面に対して斜めに入射する光Pg２またはPr２は，カラー・フィルタＧまたはＲを透過すると，緑色または赤色をもつ光成分となるが,受光面上にカラー・フィルタＧまたはＲが形成されている光電変換素子PDgまたはPDrに隣接する光電変換素子PDrまたはPDgに入射する。光電変換素子PDrには，赤色のレベルに応じた信号電荷だけでなく，混入した緑色のレベルに応じた信号電荷も蓄積されてしまう。同様に，光電変換素子PDgには，緑色のレベルに応じた信号電荷だけでなく，混入した赤色のレベルに応じた信号電荷も蓄積されてしまう。

　図３を参照して，受光面上に形成されているフィルタが緑色フィルタＧの光電変換素子11の符号をPDgとし，青色フィルタＢの光電変換素子11の符号をPDbとする。カラー・フィルタＧまたはＢの上方にはマイクロ・レンズＬが配置されている。

　図２を参照して説明したのと同様に，カラー・フィルタＧの平面に対して垂直に入射する光Pg１は，光電変換素子PDgに入射するが，破線で示すように斜めにカラー・フィルタＧに入射する光Pg２は，光電変換素子PDgに隣接する光電変換素子PDbに入射してしまう。また，カラー・フィルタＢの平面に対して垂直に入射する光Pb１は，光電変換素子PDbに入射するが，破線で示すように斜めにカラー・フィルタＢに入射する光Pb２は，光電変換素子PDbに隣接する光電変換素子PDgに入射してしまう。

　図４から図７は，緑色成分の画素についての混入および混入補正を説明するものである。

　図４は，上述した混入の様子を示すもので，図１に示す符号21または符号24に示す画素ブロックBrに対応する画像部分21または24を考えた場合に，破線の矢印で示すように受光面上に緑色のフィルタＧ１，Ｇ３，Ｇ５，Ｇ７およびＧ９が形成されている光電変換素子11に右側から光成分が混入する様子を示している。

　符号21で示す画素ブロックBrに対応する画像部分21を考えた場合，受光面上に緑色のフィルタＧ１が形成されている光電変換素子11には，その右側に存在する，受光面上に赤色フィルタＲを透過した光成分が混入することがある。同様に，受光面上に緑色のフィルタＧ３，Ｇ５，Ｇ７またはＧ９が形成されている光電変換素子11には，それらの右側に存在する，受光面上に赤色フィルタＲ，青色フィルタＢ，赤色フィルタＲまたは赤色フィルタＲを透過した光成分が混入することがある。

　図５は，符号21（または符号24）で示す画素ブロックBrに対応する画像部分21（または24）を考えた場合において，実線の矢印で示すように緑色を表わす信号電荷（原画素）を混合（画素混合）する様子を示している。画素混合により，画像の縮小と画素補間とが同時に行われる。

　中央および四隅の緑色成分を表わす画素Ｇ１からＧ５が一つの画素として混合させられる。すると，画像部分21Ａが１／９に縮小する。

　図５に示すように画素混合が行われた場合，画素混合前の緑色成分の画素Ｇ１からＧ５（原画素）には，図４に示したように，隣接する画素を表わす光成分が混入している。この実施例では，混合された画素から，混入したデータが減少させられることにより，混入補正が行われる。画像部分21が，図１に示すように符号21で示す画素ブロックＢｒの位置のものを表わしている場合，フィルタＧ１が形成されている光電変換素子11に混入する，赤色フィルタＲを透過した光成分のデータ量をMrとする。同様に，受光面上に緑色のフィルタＧ３，Ｇ５，Ｇ７またはＧ９が形成されている光電変換素子11に混入する，赤色フィルタＲ，青色フィルタＢ，赤色フィルタＲまたは赤色フィルタＲを透過した光成分のデータ量をMr，Mb，MrおよびMrとすると，画素混合後の緑色成分の画素には，（４Mr＋Mb）のデータ量だけ混入していることとなる。画素混合後の緑色成分の画素は平均化されるから（５つの画素Ｇ１－Ｇ５の平均），そのデータ量（４Mr＋Mb）を平均化した値である（４Mr＋Mb）／５を，画素混合後の緑色成分の画素を表わすデータから減算すれば，混入補正が行われることとなる。

　画素ブロックＢｒが符号24で示す位置にある場合に対応する画像部分24Ａであれば，画素混合後の緑色成分のデータ量から，（４Mb＋Mr）／５が減算されることにより混入補正が行われることは理解できよう。

　図６は，図１において符号22および符号23で示す位置にあるときの画像部分22および24の緑色の画素Ｇ２，Ｇ４，Ｇ６およびＧ８を示している。

　これらの画素Ｇ２，Ｇ４，Ｇ６およびＧ８の右側には，それぞれ，画素Ｒ（またはＢ），Ｂ（またはＲ），Ｂ（またはＲ）およびＲ（またはＢ）があることとなる。

　図７は，画像部分22および24の画素混合の様子を示している。

　画素Ｇ２，Ｇ４，Ｇ６およびＧ８は，中央の画素位置の上下左右に位置しているから，これらの画素Ｇ２，Ｇ４，Ｇ６およびＧ８が混合されて平均化されることにより，画素混合が行われる。そのようにして得られた混合後の画素（縮小画素）は，上述したのと同様に，画像部分22または24にかかわらず，（２Mb＋２Mr）／４が減算されることにより，混入補正される。

　図８から図14は赤色成分の画素についての混入および混入補正を説明するものである。

　図８は，上述したように混入を説明するものであり，図９は，画素混合を説明するものである。

　図８を参照して，画像部分21についての赤色成分の画素Ｒ２およびＲ８については，それぞれ右側に存在する緑色成分の画素からの混入がある。図９を参照して，中央の画素位置の上下に赤色成分の画素Ｒ２およびＲ４があるから，画素混合後の赤色成分の混合画素は，（Ｒ２＋Ｒ８）／２となる。混入補正データ量はMg（緑色成分の画素からの混入データ量）となるから，画素混合後の赤色成分のデータ量（Ｒ２＋Ｒ８）／２から混入補正データ量Mgが減算される。

　図10も，上述したように混入を説明するものであり，図11は，画素混合を説明するものである。

　図10を参照して，画像部分22についての赤色成分の画素Ｒ１，Ｒ３，Ｒ７およびＲ９については，右側に存在する緑色成分の画素からの混入がある。図11を参照して，四隅に赤色成分の画素Ｒ１，Ｒ３，Ｒ７およびＲ９があるから，画素混合後の赤色成分の混合画素は（Ｒ１＋Ｒ３＋Ｒ７＋Ｒ９）／４となる。混入補正データ量はMgとなるから，混合画素のデータ量（Ｒ１＋Ｒ３＋Ｒ７＋Ｒ９）／４から混入補正データ量Mgが減算されることにより，混入補正が行われる。

　図12は，図１に示す位置23の画像部分23を示すもので，混入を説明するものである。

　画像部分23についての赤色成分Ｒ５は，画像部分23の中央にあり，右側にある緑色成分の画素からの混入がある。したがって，画素Ｒ５のデータ量から混入補正データ量Mgが減算されることにより混入補正が行われる。

　図13も，上述した混入を説明するものであり，図14は，画素混合を説明するものである。

　図13を参照して，画像部分24についての赤色成分の画素Ｒ４およびＲ６については，右側に存在する緑色成分の画素からの混入があるとする。図14を参照して，中央部分の画素位置の左右に画素Ｒ４およびＲ６があるから，画素混合後の赤色成分の混合画素は（Ｒ４＋Ｒ６）／２となる。混入補正データ量はMgとなるから，混合画素のデータ量（Ｒ４＋Ｒ６）／２から混入補正データ量Mgが減算されることにより，混入補正が行われる。

　図15から図21は，青色成分の画素についての混入および混入補正を説明するものである。

　図15は，上述したように混入を説明するものであり，図16は，画素混合を説明するものである。

　図15を参照して，画像部分21についての青色成分の画素Ｂ４およびＢ６については，それぞれ右側に存在する緑色成分の画素からの混入があるものとする。図16を参照して，中央の画素位置の左右に青色成分の画素Ｂ４およびＢ６があるから，画素混合後の混合画素は，（Ｂ４＋Ｂ６）／２となる。混入補正データ量はMgとなるから，画素混合後の青色成分のデータ量（Ｂ４＋Ｂ６）／２から混入補正データ量Mgが減算されることにより，混入補正が行われる。

　図17は，画像部分22の青色成分を示している。

　中央の位置にある画素Ｂ５が画像部分22の青色成分となる。その画素Ｂ５のデータ量Ｂ５から混入補正データ量Mgが減算されることにより，混入補正が行われる。

　図18も，上述のように混入を説明するものであり，図19は，画素混合を説明するものである。

　画像部分23についての青色成分の画素Ｂ１，Ｂ３，Ｂ７およびＢ９について，右側に存在する緑色成分の画素からの混入がある。図19を参照して，四隅に青色成分の画素Ｂ１Ｂ３，Ｂ７およびＢ９があるから，画素混合後の青色成分の混合画素は（Ｂ１＋Ｂ３＋Ｂ７＋Ｂ９）／４となる。混入補正データ量はMgとなるから，混合画素のデータ量（Ｂ１＋Ｂ３＋Ｂ７＋Ｂ９）／４から混入補正データ量Mgが減算されることにより，混入補正が行われる。

　図20も，上述した混入を説明するものであり，図21は，画素混合を説明するものである。

　図20を参照して，画像部分24についての青色成分の画素Ｂ２およびＢ８については，右側に存在する緑色成分の画素からの混入があるとする。図21を参照して，中央部分の画素位置の上下に画素Ｂ２およびＢ８があるから，画素混合後の青色成分の混合画素は，（Ｂ２＋Ｂ８）／２となる。混入補正データ量はMgとなるから，混合画素のデータ量（Ｂ２＋Ｂ８）／２から混入補正データ量Mgが減算されることにより，混入補正が行われる。上述のように，減算される混入補正データ量は，原画素の色パターンに応じて異なることとなる。

　上述した説明においては，混合画素を生成する原画素に対して，原画素の右側の画素から光成分が混入していると仮定しているが，原画素を表わす信号電荷を蓄積する光電変換素子の位置に応じて，混入する光成分の画素は変わる。たとえば，混合画素を構成する原画素が，カラー画像の上部であれば，その混合画素の下側の画素から光成分が混入する。同様に，混合画素を構成する原画素が，カラー画像の下部であれば，その混合画素の上側の画素から光成分が混入する。混合画素を構成する原画素が,カラー画像の右部であれば，その混合画素の左側の画素から光成分が混入し，混合画素を構成する原画素が，カラー画像の左部であれば，上述のように，その混合画素の右側の画素から光線分が混入する。

　この実施例では，カラー画像に対する混合画素の位置に応じて，混入補正データ量が決定される。

　図22は，固体電子撮像素子10によって撮像された被写体像30の一例である。

　被写体像30は，水平方向および垂直方向に，それぞれ８分割され，合計64の領域ａ１からａ64に分けられる。上述したように画素ブロックＢｒにより規定される画像部分（混合画素）が，このようにして分けられた領域ａ１からａ64のどこに入っているかに応じて補混入補正データ量が決定される。補正データ量は基準となる被写体を撮像し，あらかじめ実測されている。また，次のようにして混入補正データ量が決定されていてもよい。

　たとえば，被写体像30の上部の領域ａ３からａ６，ａ11からａ14に含まれている画像部分について上述した画素混合および混入補正が行われる場合には，画素混合に用いられる原画素の下方向に隣接している画素からの光成分の混入が多いから，そのような混入が減少させられるように混入補正が行われる。逆に被写体像30の下部の領域ａ51からａ54，ａ59からａ62に含まれている画像部分については，画素混合に用いられる原画素の上方向に隣接している画素からの光成分の混入が多いから，そのような混入が減少させられるように混入補正が行われる。

　また，被写体像30の右部の領域ａ23，ａ24，ａ31，ａ32，a39，ａ40，ａ47またはａ48に含まれている画像部分については，画素混合に用いられる原画素の左方向に隣接している画素からの光成分の混入が多いから，そのような混入が減少させられるように混入補正が行われる。被写体像30の左部の領域ａ17，ａ18，ａ25，ａ26，ａ33，ａ34，ａ41またはａ42に含まれている画像部分については，上述のように，画素混合に用いられる原画素の右方向に隣接している画素からの光成分の混入が多いから，そのような混入が減少させられるように混入補正が行われる。

　さらに，被写体像30の左上部の領域ａ１，ａ２，ａ９およびａ10に含まれている画像部分，被写体像30の右上部の領域ａ７，ａ８，ａ15およびａ16に含まれている画像部分，被写体像30の左下部の領域ａ49，ａ50，ａ57およびａ58に含まれている画像部分ならびに被写体像30の右下部の領域ａ55，ａ59，ａ63およびａ64に含まれている画像部分については，それぞれ，画素混合に用いられる原画素の右下方向，左下方向，右上方向および左上方向に隣接している画素からの光成分の混入が多いから，そのような混入が減少させられるように混入補正が行われる。その他領域については混入の程度が少ないと考えられるので混入補正が行われないようにしてもよいが，さらに，領域ごとに細かい補正量を定めて混入補正が行われるようにしてもよい。

　図23は，ディジタル・カメラ（撮像装置，ディジタル・ムービ・カメラ，ディジタル・スチル・カメラのいずれも含む）の電気的構成を示すブロック図である。

　ディジタル・カメラには着脱自在な交換レンズ31が装着されている。

　ディジタル・カメラの電源がオンされ，撮像モードに設定されると，交換レンズ31によって被写体像が撮像素子10の結像面に結像する。撮像素子10からは，被写体像を表わすカラー画像データが出力され，画素データ混合処理回路33に入力する。

　画素データ混合処理回路33において，上述したように，画素ブロックＢｒの単位で画素混合が行われる。画素データ混合処理回路33における画素混合により，カラーの被写体像を表わすカラー画像データから縮小されたカラー被写体像を表わす縮小カラー画像データが生成される。また，画素データ混合処理回路33に入力した画素混合前のカラー画像データは画素データ混合処理回路33を単に通過して混入補正データ量決定回路35にも入力する。

　また，交換レンズ31には，交換レンズ31の特性を表わすレンズ情報も格納されている。レンズの特性により，各光電変換素子11に入射する角度が変わるので，上述した混入量はレンズ特性に応じて異なる。混入補正データ量決定回路34に，レンズ種類ごとに混入補正データ量が記憶されており，レンズ情報にもとづいて決定されるレンズ種類に応じて混入補正データ量を用いて混入補正が行われる。

　上述したように，画素混合に用いられた原画素のカラー被写体像30における位置にもとづいて，混入補正データ量決定回路35において混入補正データ量が決定される。決定された混入補正データ量を表わすデータが混入補正データ量決定回路35から混入補正回路34に入力する。混入補正回路34において，上述したように，混合画素の位置に応じて，混入データが減少させられるように混入補正処理が行われる。

　混入補正された縮小カラー画像データが表示装置36に与えられる。すると，表示装置36の表示画面に混入補正されたカラー縮小画像が表示される。

　シャッタ・レリーズ・ボタン（図示略）が押されることにより，混入補正されたカラー縮小画像データが記録装置37によってメモリ・カードなどの記録媒体に記録される。もっとも，シャッタ・レリーズ・ボタンの押下に応じて，撮像素子10によって新たに撮像され，縮小カラー画像データではなく，画素混合が行われていないカラー画像データがメモリ・カードなどの記録媒体に記録されるようにしてもよい。

　上述した実施例では，交換レンズ31を着脱自在なディジタル・カメラについてのものであったが，レンズが着脱自在でなく，交換不可能なレンズが装着されているディジタル・カメラにも，上述した混入補正を行うことができるのはいうまでもない。

　図24は，固体電子撮像素子40の受光面の一部を示している。

　固体電子撮像素子40にも水平方向および垂直方向に多数の光電変換素子41が配列されている。これらの光電変換素子41の受光面上には上述したのと同様に，赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢが形成されている。

　図24では，水平方向および垂直方向にそれぞれ９つの光電変換素子42が抽出されている。このように，水平方向および垂直方向にそれぞれ９つの光電変換素子42から構成されるブロックを大ブロック41と呼ぶこととする。大ブロック41は，画素ブロックＢｒを水平方向および垂直方向にそれぞれ３つずつのものに等しく画素ブロック９個分と等しい。

　図１に示したものと同様に，水平方向および垂直方向に各３つの合計９個の固体電子撮像素子42の集まりが画素ブロックＢｒに相当している。図24では符号51，52，53および54で示す位置に画素ブロックＢｒが図示されている。上述したのと同様に画素ブロックＢｒ単位で画素混合が行われる。

　図25は，図24に示す固体電子撮像素子40の受光面のうち，水平方向および垂直方向にそれぞれ６つの光電変換素子42が抽出されたものである。

　水平方向および垂直方向にそれぞれ６つの光電変換素子42が抽出されたものを中ブロック43と呼ぶこととする。中ブロック43は，画素ブロックＢｒを水平方向および垂直方向にそれぞれ２つずつのものに等しく画素ブロックＢｒ４個分と等しい。

　中ブロック43では，水平方向および垂直方向において緑色フィルタＧ，赤色フィルタＲおよび青色フィルタＢが少なくとも一つずつ形成されており，この中ブロック43を繰り返し配列することでいずれの水平方向，垂直方向および斜め方向においても緑色フィルタＧが少なくとも一つは形成されている。また，中ブロック43においては，緑色フィルタＧが水平方向，垂直方向および斜め方向において２つ連続している部分が少なくとも一つは含まれている。さらに，中ブロック43においては，緑色フィルタＧが水平方向および垂直方向において２つ連続している部分が少なくとも一つは含まれている。中ブロック43のカラー・フィルタの配列が水平方向および垂直方向において繰り返されて，固体電子撮像素子40のカラー・フィルタの配列となる。

　たとえば，中ブロック43では，緑色フィルタＧは，第６ｎ（ｎは正の整数）＋１行，第６ｎ＋３行，第６ｎ＋４行および第６ｎ＋６行では，第６ｍ（ｍは正の整数）＋１列，第６ｍ＋３列，第６ｍ＋４列および第６ｍ＋６列に形成されており，第６ｎ＋２行および第６ｎ＋５行では，第６ｍ＋２列，第６ｍ＋５列に形成されている。同様に，青色フィルタＢは，第６ｎ＋１行および第６ｎ＋３行では第６ｍ＋２列に，第６ｎ＋２行では第６ｍ＋４列および第６ｍ＋６列に，第６ｎ＋４行および第６ｎ＋６行では第６ｍ＋５列に，第６ｎ＋５行では第６ｍ＋１列および第６ｍ＋３列にそれぞれ形成されている。赤色フィルタＲは，第６ｎ＋１行では第６ｍ＋５列に，第６ｎ＋２行では第６ｍ＋１列および第６ｍ＋３列に，第６ｎ＋４行および第６ｎ＋６行では第６ｍ＋２列に，第６ｎ＋５行では第６ｍ＋４列および第６ｍ＋６列にそれぞれ形成されている。

　図24に示す符号51で示す画素ブロックＢｒでは，中心ならびに中心の斜め左上，斜め左下，斜め右上および斜め右下に緑色フィルタＧが形成されている。中心に形成されている緑色フィルタＧの上下には青色フィルタＢが形成され，中心に形成されている緑色フィルタＧの左右には赤色フィルタＲが形成されている。

　符号51または54で示す位置にあるように，中心に形成されている緑色フィルタＧの上下に青色フィルタＢが形成され，その緑色フィルタＧの左右に赤色フィルタＲが形成されている画素ブロックＢｒと，符号52または53で示す位置にあるように，青色フィルタＢと赤色フィルタＲとの位置が逆の画素ブロックＢｒとが水平及び垂直方向に交互に繰り返されて固体電子撮像素子40（大ブロック41，中ブロック43）のカラー・フィルタ配列となる。

　画素ブロックＢｒにおいても，画素ブロックＢｒに含まれる光電変換素子41に赤色フィルタＲ，緑色フィルタＧおよび青色フィルタＢのすべてが含まれ，かつ中心の光電変換素子41Ａを中心に点対称となるようにカラー・フィルタが形成されている。

　上記の例では，光電変換素子11の受光面上に赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢが形成されているが，三原色の補色であるシアンＣの光成分を透過する特性を有するシアン・フィルタ，マゼンタＭの光成分を透過する特性を有するマゼンタ・フィルタまたはイエローＹの光成分を透過する特性を有するイエロー・フィルタが上記配列にしたがって形成されていてもよい。

　図24および図25に示したようなカラー・フィルタの配列であっても，図２からおよび図21に示したように混入が起こり，かつ混入補正が行われる。

　符号51および54で示される画素ブロックＢｒに含まれる画素Ｇの配列は，図４に示すものと同じであり，画素Ｇの右側に隣接する画素の光成分が混入すると，混入補正データ量は（２Mb＋２Mg＋Mr）である。上述のように，平均化された混合画素Ｇのデータのデータ量から平均化された混入補正データ量（２Mb＋２Mg＋Mr）／５が減少させられることにより，混入補正が行われる。

　符号52および53で示される画素ブロックＢｒに含まれる画素Ｇの配列は，図４に示すものと同じであり，画素Ｇの右側に隣接する画素の光成分が混入すると，混入補正データ量は（２Mr＋２Mg＋Mb）であるから，平均化された混合画素Ｇのデータのデータ量から平均化された混入補正データ量（２Mr＋２Mg＋Mb）／５が減少させられることにより，混入補正が行われる。

　符号52および53で示される画素ブロックＢｒに含まれる画素Ｒの配列は，図８に示すものと同じであり，画素Ｒの右側に隣接する画素Ｇの光成分が混入すると，混入補正データ量は２Mgであるから，平均化された混合画素Ｒのデータのデータ量から平均化された混入補正データ量Mgが減少させられることにより，混入補正が行われる。同様に，符号51および54で示される画素ブロックＢｒに含まれる画素Ｂの配列は，図20に示すものと同じであり，画素Ｂの右側に隣接する画素Ｇの光成分が混入すると，混入補正データ量は２Mgであるから，平均化された混合画素Ｂのデータのデータ量から平均化された混入補正データ量Mgが減少させられることにより，混入補正が行われる。

　符号51および54で示される画素ブロックＢｒに含まれる画素Ｒの配列は，図13に示すものと同じであり，画素Ｒの右側に隣接する画素Ｇまたは画素Ｒの光成分が混入すると，混入補正データ量はMg＋Mrとなる。平均化された混合画素Ｒのデータのデータ量から平均化された混入補正データ量（Mg＋Mr）／２が減少させられることにより，混入補正が行われる。同様に，符号52および53で示される画素ブロックＢｒに含まれる画素Ｂの配列は図15に示すものと同じであり，画素Ｂの右側に隣接する画素Ｇまたは画素Ｒの光成分が混入する場合も，平均化された混合画素Ｂのデータのデータ量から平均化された混入補正データ量（Mg＋Mr）／２が減少させられることにより，混入補正が行われる。

　図24および図25に示すカラー・フィルタ配列をもつ撮像素子40により撮像された被写体像を表わすカラー画像データについても，図22に示したように，画素位置に応じて，その混入補正データ量が決定されるのはいうまでもない。

　図26から図28は，図１に示すベイヤ配列の撮像素子10を用いた撮像により得られた被写体像を構成する画像部分を示している。

　上述した実施例では，混合画素を混入補正する場合に重み付けは行われていないが，混合画素に用いられる原画素に重み付けを行うことにより，平均化された混入データ量の値を一定にしようとするものである。

　図26は，画像部分22であり，図６および図７に示したように，平均化された混合画素Ｇから平均化された混入データ量（Mr＋Mb）／２が減少させられることにより混入補正が行われる。混合画素を生成する画素Ｇについての重み係数は，括弧内に示されているようにすべて１である。画像部分23についても画像部分22と同じである。

　図27は，画像部分21であり，図４および図５に示したように，重み付けが行われなければ平均化された混合画素Ｇから平均化された混入データ量（４Mr＋Mb）／５が減少させられる。しかしながら，この実施例では，混合画素を生成する画素Ｇのうち中央の画素Ｇが四隅の画素Ｇに比べて４倍とされている。すると，平均化された混合画素Ｇから，平均化された混入データ量（４Mr＋４Mb）／８＝（Mr＋Mb）／２が減少させられることにより混入補正が行われる。

　図28は，画像部分24であり，図４および図５に示したように，重み付けが行われなければ平均化された混合画素Ｇから平均化された混入データ量（Mr＋４Mb）／５が減少させられる。しかしながら，この実施例においても図27に示すものと同様に，混合画素を生成する画素Ｇのうち中央の画素Ｇが四隅の画素Ｇに比べて４倍とされている。すると，平均化された混合画素Ｇから，平均化された混入データ量（４Mr＋４Mb）／８＝（Mr＋Mb）／２が減少させられることにより混入補正が行われる。

　図29および図30は，図24に示す配列の撮像素子40を用いた撮像により得られた被写体像を構成する画像部分を示している。

　図29および図30においても図26から図28に示したものと同様に，混合画素に用いられる原画素に重み付けを行うことにより，平均化された混入データ量の値を一定にしようとするものである。

　図29は，図24に示す符号51および54で示す位置の画素ブロックＢｒに対応する画像部分51Ａである。重み付けが行われなければ平均化された混合画素Ｇから平均化された混入データ量（２Mg＋２Mb＋Mr）／５が減少させられる。しかしながら，この実施例では，混合画素を生成する画素Ｇのうち中央の画素Ｇが四隅の画素Ｇに比べて２倍とされている。すると，平均化された混合画素Ｇから，平均化された混入データ量（２Mg＋２Mb＋２Mr）／６が減少させられることにより混入補正が行われる。

　図30は，図24に示す符号52および53で示す位置の画素ブロックＢｒに対応する画像部分52Ａである。重み付けが行われなければ上述したのと同様に，平均化された混合画素Ｇから平均化された混入データ量（２Mg＋Mb＋２Mr）／５が減少させられる。しかしながら，この実施例では，混合画素を生成する画素Ｇのうち中央の画素Ｇが四隅の画素Ｇに比べて２倍とされている。すると，平均化された混合画素Ｇから，平均化された混入データ量（２Mg＋２Mb＋２Mr）／６が減少させられることにより混入補正が行われる。

　上述の実施例では，画素Ｇについて述べたが，画素Ｇだけでなく，画素Ｒまたは画素Ｂについても同様である。

　図１に示す撮像素子10は，画素ブロックＢｒのサイズは３画素×３画素に相当するが，カラー・フィルタの繰り返しパターンのサイズは２画素×２画素であり，互いに異なっている。また，図24に示す撮像素子40は，画素ブロックＢｒのサイズは３画素×３画素に相当するが，カラー・フィルタの繰り返しパターンのサイズは６画素×６画素であり，互いに異なっている。

　なお，撮像素子におけるカラー・フィルタの繰り返しパターンのサイズは２画素×２画素や６画素×６画素に限られず，Ｓ画素×Ｔ画素（Ｓ，Ｔは２以上10以下の自然数）である撮像素子に適用できる。

　また，画素ブロックＢｒのサイズも３画素×３画素に限られない。設定される縮小カラー画像データの解像度に応じて，４画素×４画素，５画素×５画素，６画素×６画素のようにＭ画素×Ｎ画素（Ｍ，Ｎは３以上，Ｓ，Ｔの３倍以下の自然数）とすることができる。ここで，Ｍ画素×Ｎ画素（Ｍは３以上，Sの３倍以下の奇数）とすることで，混合画素後の各色の混合画素の重心位置を同一の画素位置上とするように画素混合することが可能となる。この場合，カラー・フィルタの繰り返しパターンのサイズであるＳ画素×Ｔ画素と画素ブロックＢｒのサイズであるＭ画素×Ｎ画素とが一致せず，互いに異なるサイズであっても適用できる。

　また，画素ブロックＢｒとして，隣接する複数の原画素から構成されるＭ画素×Ｎ画素（Ｍ，Ｎは３以上の自然数）画素ブロックとすることで，画素混合後の混合画素のデータの精度を向上することができる。

　また，図24に示すように，符号51から符号54で示す２×２の４つの画素ブロックＢｒ（拡大画素ブロック）には，符号51または符号52で示す画素ブロックＢｒ内における画素配列と符号54または符号53で示す画素ブロックＢｒ内における画素配列が同じである。このように，拡大画素ブロック内にはカラー・フィルタの配列が同一の画素ブロックＢｒが少なくとも二つ含まれている。これにより，上記の混入補正処理を簡略化できる。

　上述した実施例では，混合画素のデータ量から混入補正データ量が減算されることにより，画素データに混入したデータが減少するよう混入補正が行われているが，これに変えて，混入率に応じた比率を混合画素データに乗じることにより補正するようにしてもよい。

　また，上述した実施例では，画素混合により，画像の縮小と画素補間とを同時に行うことができる。これは，各色の原画素である，緑色成分の画素，青色成分の画素，赤色成分の画素のそれぞれの画素混合後における各色の混合画素の重心位置が同位置の画素位置上となるように画素混合しているためである。このような画素混合により，画像の縮小と画素補間とが同時に行われるため，一般的に別処理として行われる補間処理（デモザイク処理とも言われる）を省略することができ，処理回路を簡素化でき処理速度を速めることができる。

　図31および図32は，他の実施例を示すもので，パーソナル・コンピュータの電気的構成を示すブロック図である。

　パーソナル・コンピュータの全体の動作は，ＣＰＵ60によって統括される。

　ＣＰＵ60には，通信装置61，メモリ62，キーボードなどの入力装置63および表示装置64が接続されている。また，パーソナル・コンピュータには，ハードディスク68およびハードディスク68にアクセスするハードディスク・ドライブ67ならびにCD-ROM（コンパクト・ディスク-リード・オンリ・メモリ）ドライブ65も含まれている。

　上述した混入補正を行うプログラムが格納されているCD-ROM66がCD-ROMドライブ65に装填され，CD-ROM66からプログラムが読み出される。読み出されたプログラムがパーソナル・コンピュータにインストールされることにより，上述した処理が実行される。プログラムは，CD-ROM66に格納されていなくともネットワークを介して送信されたプログラムを通信装置61において受信し，パーソナル・コンピュータにインストールされるようにしてもよい。

　図32は，図31に示すパーソナル・コンピュータの処理手順を示すフローチャートである。

　上述したように撮像素子によって撮像されたカラー画像データがハードディスク68に記録されており，そのハードディスク68からカラー画像データが読み取られる（ステップ71）。読み取られたカラー画像データが，上述のように同色画素データが画素混合される（ステップ72）。つづいて，上述のように，混合画素について混入補正データが決定され（ステップ73），混入補正が行われる（ステップ74）。このような処理がカラーの被写体像を表わすカラー画像データのすべてについて行われることにより，混入補正された縮小カラー画像が得られる。得られた縮小カラー画像が表示装置64の表示画面に表示される（ステップ75）。混入補正後の縮小カラー画像を表わす画像データがハードディスク68に記録されるようになる（ステップ76）。

　以上，この発明の実施例の撮影装置の実施形態として，ディジタル・カメラおよびパーソナル・コンピュータについて説明してきたが，撮影装置の構成はこれに限定されない。この発明の実施例によるその他の撮影装置としては，例えば，内蔵型又は外付け型のPC用カメラまたは，以下に説明するような，撮影機能を有する携帯端末装置とすることができる。

　この発明の実施例による撮影装置の一実施形態である携帯端末装置としては，例えば，携帯電話機やスマートフォン，PDA(Personal Digital Assistants)，携帯型ゲーム機が挙げられる。以下，スマートフォンを例に挙げ，図面を参照しつつ，詳細に説明する。

　図33は，本発明の撮影装置の一実施形態であるスマートフォン81の外観を示すものである。図33に示すスマートフォン81は，平板状の筐体82を有し，筐体82の一方の面に表示部としての表示パネル101と，入力部としての操作パネル102とが一体となった表示入力部100を備えている。また，係る筐体82は，マイクロフォン112と，スピーカ111，操作部120と，カメラ部121とを備えている。なお，筐体82の構成はこれに限定されず，例えば，表示部と入力部とが独立した構成を採用したり，折り畳み構造やスライド機構を有する構成を採用することもできる。

　図34は，図33に示すスマートフォン81の構成を示すブロック図である。図34に示すように，スマートフォンの主たる構成要素として，無線通信部90と，表示入力部100と，通話部110と，操作部120と，カメラ部121と，記憶部130と，外部入出力部140と，ＧＰＳ(Global Positioning System)受信部150と，モーションセンサ部160と，電源部170と，主制御部180とを備える。また，スマートフォン81の主たる機能として，基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

　無線通信部90は，主制御部180の指示にしたがって，移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して，音声データ，画像データ等の各種ファイルデータ，電子メールデータなどの送受信や，Ｗｅｂデータやストリーミングデータなどの受信を行う。

　表示入力部100は，主制御部180の制御により，画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに，表示した情報に対するユーザ操作を検出する，いわゆるタッチパネルであって，表示パネル101と，操作パネル102とを備える。

　表示パネル101は，LCD(Liquid Crystal Display)，OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル102は，表示パネル101の表示面上に表示される画像を視認可能に載置され，ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると，操作に起因して発生する検出信号を主制御部180に出力する。次いで，主制御部180は，受信した検出信号に基づいて，表示パネル101上の操作位置（座標）を検出する。

　図33に示すように，この発明の撮影装置の一実施形態として例示しているスマートフォン121の表示パネル101と操作パネル102とは一体となって表示入力部100を構成しているが，操作パネル102が表示パネル101を完全に覆うような配置となっている。係る配置を採用した場合，操作パネル102は，表示パネル101外の領域についても，ユーザ操作を検出する機能を備えてもよい。換言すると，操作パネル102は，表示パネル101に重なる重畳部分についての検出領域（以下，表示領域と称する）と，それ以外の表示パネル101に重ならない外縁部分についての検出領域（以下，非表示領域と称する）とを備えていてもよい。

　なお，表示領域の大きさと表示パネル101の大きさとを完全に一致させても良いが，両者を必ずしも一致させる必要は無い。また，操作パネル102が，外縁部分と，それ以外の内側部分の２つの感応領域を備えていてもよい。更に，外縁部分の幅は，筐体82の大きさなどに応じて適宜設計されるものである。更にまた，操作パネル102で採用される位置検出方式としては，マトリクススイッチ方式，抵抗膜方式，表面弾性波方式，赤外線方式，電磁誘導方式，静電容量方式などが挙げられ，いずれの方式を採用することもできる。

　通話部110は，スピーカ111やマイクロフォン112を備え，マイクロフォン112を通じて入力されたユーザの音声を主制御部180にて処理可能な音声データに変換して主制御部180に出力したり，無線通信部90あるいは外部入出力部140により受信された音声データを復号してスピーカ111から出力するものである。また，図33に示すように，例えば，スピーカ111を表示入力部100が設けられた面と同じ面に搭載し，マイクロフォン112を筐体82の側面に搭載することができる。

　操作部120は，キースイッチなどを用いたハードウェアキーであって，ユーザからの指示を受け付けるものである。例えば，図33に示すように，操作部120は，スマートフォン81の筐体82の側面に搭載され，指などで押下されるとオンとなり，指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

　記憶部130は，主制御部180の制御プログラムや制御データ，アプリケーションソフトウェア，通信相手の名称や電話番号などを対応づけたアドレスデータ，送受信した電子メールのデータ，ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや，ダウンロードしたコンテンツデータを記憶し，またストリーミングデータなどを一時的に記憶するものである。また，記憶部130は，スマートフォン内蔵の内部記憶部131と着脱自在な外部メモリスロットを有する外部記憶部132により構成される。なお，記憶部130を構成するそれぞれの内部記憶部131と外部記憶部132は，フラッシュメモリタイプ（flash memory type），ハードディスクタイプ（hard disk type），マルチメディアカードマイクロタイプ（multimedia card micro type），カードタイプのメモリ（例えば，ＭｉｃｒｏＳＤ（登録商標）メモリ等），ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

　外部入出力部140は，スマートフォン81に連結される全ての外部機器とのインターフェースの役割を果たすものであり，他の外部機器に通信等（例えば，ユニバーサルシリアルバス（ＵＳＢ），IEEE１３９４など）又はネットワーク（例えば，インターネット，無線ＬＡＮ，ブルートゥース（Bluetooth）（登録商標），ＲＦＩＤ（Radio Frequency Identification），赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標），ＵＷＢ（Ultra Wideband）（登録商標），ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

　スマートフォン81に連結される外部機器としては，例えば，有／無線ヘッドセット，有／無線外部充電器，有／無線データポート，カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード，オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器，無線接続される外部オーディオ・ビデオ機器，有／無線接続されるスマートフォン，有／無線接続されるパーソナルコンピュータ，有／無線接続されるPDA，有／無線接続されるパーソナルコンピュータ，イヤホンなどがある。外部入出力部は，このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや，スマートフォン１の内部のデータが外部機器に伝送されるようにすることができる。

　ＧＰＳ受信部150は，主制御部180の指示にしたがって，GPS衛星ＳＴ１～ＳＴｎから送信されるGPS信号を受信し，受信した複数のGPS信号に基づく測位演算処理を実行し，当該スマートフォン81の緯度，経度，高度からなる位置を検出する。ＧＰＳ受信部150は，無線通信部90や外部入出力部140（例えば，無線ＬＡＮ）から位置情報を取得できる時には，その位置情報を用いて位置を検出することもできる。

　モーションセンサ部160は，例えば，３軸の加速度センサなどを備え，主制御部180の指示にしたがって，スマートフォン81の物理的な動きを検出する。スマートフォン81の物理的な動きを検出することにより，スマートフォン81の動く方向や加速度が検出される。係る検出結果は，主制御部180に出力されるものである。

　電源部170は，主制御部180の指示にしたがって，スマートフォン81の各部に，バッテリ（図示しない）に蓄えられる電力を供給するものである。

　主制御部180は，マイクロプロセッサを備え，記憶部130が記憶する制御プログラムや制御データにしたがって動作し，スマートフォン81の各部を統括して制御するものである。また，主制御部180は，無線通信部90を通じて，音声通信やデータ通信を行うために，通信系の各部を制御する移動通信制御機能と，アプリケーション処理機能を備える。

　アプリケーション処理機能は，記憶部130が記憶するアプリケーションソフトウェアにしたがって主制御部180が動作することにより実現するものである。アプリケーション処理機能としては，例えば，外部入出力部140を制御して対向機器とデータ通信を行う赤外線通信機能や，電子メールの送受信を行う電子メール機能，Webページを閲覧するWebブラウジング機能などがある。

　また，主制御部180は，受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて，映像を表示入力部100に表示する等の画像処理機能を備える。画像処理機能とは，主制御部180が，上記画像データを復号し，係る復号結果に画像処理を施して，画像を表示入力部90に表示する機能のことをいう。

　更に，主制御部180は，表示パネル101に対する表示制御と，操作部120，操作パネル122を通じたユーザ操作を検出する操作検出制御を実行する。

　表示制御の実行により，主制御部180は，アプリケーションソフトウェアを起動するためのアイコンや，スクロールバーなどのソフトウェアキーを表示したり，あるいは電子メールを作成するためのウィンドウを表示する。なお，スクロールバーとは，表示パネル101の表示領域に収まりきれない大きな画像などについて，画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　また，操作検出制御の実行により，主制御部180は，操作部120を通じたユーザ操作を検出したり，操作パネル102を通じて，上記アイコンに対する操作や，上記ウィンドウの入力欄に対する文字列の入力を受け付けたり，あるいは，スクロールバーを通じた表示画像のスクロール要求を受け付ける。

　更に，操作検出制御の実行により主制御部180は，操作パネル102に対する操作位置が，表示パネル101に重なる重畳部分（表示領域）か，それ以外の表示パネル101に重ならない外縁部分（非表示領域）かを判定し，操作パネル102の感応領域や，ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　また，主制御部180は，操作パネル102に対するジェスチャ操作を検出し，検出したジェスチャ操作に応じて，予め設定された機能を実行することもできる。ジェスチャ操作とは，従来の単純なタッチ操作ではなく，指などによって軌跡を描いたり，複数の位置を同時に指定したり，あるいはこれらを組み合わせて，複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部121は，CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するディジタル・カメラである。また，カメラ部121は，主制御部180の制御により，撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し，記憶部130に記録したり，入出力部140や無線通信部90を通じて出力することができる。図33に示すようにスマートフォン81において，カメラ部121は表示入力部100と同じ面に搭載されているが，カメラ部121の搭載位置はこれに限らず，表示入力部100の背面に搭載されてもよいし，あるいは，複数のカメラ部121が搭載されてもよい。なお，複数のカメラ部121が搭載されている場合には，撮影に供するカメラ部121を切り替えて単独にて撮影したり，あるいは，複数のカメラ部121を同時に使用して撮影することもできる。

　また，カメラ部121はスマートフォン81の各種機能に利用することができる。例えば，表示パネル101にカメラ部121で取得した画像を表示することや，操作パネル102の操作入力のひとつとして，カメラ部121の画像を利用することができる。また，ＧＰＳ受信部150が位置を検出する際に，カメラ部121からの画像を参照して位置を検出することもできる。更には，カメラ部121からの画像を参照して，３軸の加速度センサを用いずに，或いは，３軸の加速度センサと併用して，スマートフォン81のカメラ部121の光軸方向を判断することや，現在の使用環境を判断することもできる。勿論，カメラ部121からの画像をアプリケーションソフトウェア内で利用することもできる。

　その他，静止画又は動画の画像データにＧＰＳ受信部150により取得した位置情報，マイクロフォン112により取得した音声情報（主制御部等により，音声テキスト変換を行ってテキスト情報となっていてもよい），モーションセンサ部160により取得した姿勢情報等などを付加して記録部130に記録したり，入出力部140や無線通信部90を通じて出力することもできる。

10，40　撮像素子
33　画素データ混合処理回路
34　混入補正回路
35　混入補正データ量決定回路

Claims (12)

1. 　異なるフィルタ特性を有するカラー・フィルタが繰り返しパターンで周期的に受光面上に形成されている光電変換素子が多数配列されている単板の固体電子撮像素子から得られるカラー画像を表わすカラー画像データにおいて，カラー画像を構成する多数の原画素のうち，複数の原画素から構成される画素ブロックに含まれる同色画素の画素データを混合することにより縮小カラー画像データを得る同色画素データ混合手段，ならびに
   　上記同色画素データ混合手段において得られた縮小カラー画像データによって表わされる縮小カラー画像を構成する多数の混合画素のそれぞれを表す混合画素データのデータ量から，混合画素を生成した原画素の画素データに混入したデータのデータ量が減少するように補正する混入補正手段，
   　を備えたカラー画像データの混入補正装置。
2. 　上記画素ブロックのサイズが，上記カラー・フィルタの繰り返しパターン周期で規定されるサイズと異なるものであり，
   　混合画素の画素データのデータ量から減少させられる，混入したデータのデータ量は，上記画素ブロック内において混合画素を生成した原画素の色パターンに応じて異なるものである，
   　請求項１に記載のカラー画像データの混入補正装置。
3. 　上記同色画素データ混合手段は，
   　上記カラー画像データにおいて上記画素ブロックごとの画素混合を繰り返し行うものであり，
   　上記画素ブロックが水平方向および垂直方向に隣接する２×２の画素ブロックから構成される拡大画素ブロックにおいてカラー・フィルタの配列が同一の上記画素ブロックが少なくとも２つ含まれるものである，
   　請求項１または２に記載のカラー画像データの混入補正装置。
4. 　上記同色画素データ混合手段は，
   　画素ブロックに含まれる同色画素を表わす混合画素データから減少させられるデータ量が，同一となるように同色画素の画素データに重み付けを行い，重み付けされた同色画素の画素データを混合するものである，
   　請求項１から３のうち，いずれか一項に記載のカラー画像データの混入補正装置。
5. 　上記カラー・フィルタは，ベイヤ配列により光電変換素子の受光面上に形成されており，
   　上記画素ブロックは，水平方向３画素，垂直方向３画素の画素から構成されるものである，
   　請求項１から４のうち，いずれか一項に記載のカラー画像データの混入補正装置。
6. 　水平方向および垂直方向の６×６の光電変換素子の受光面上において，水平方向および垂直方向において緑色またはマゼンタの光成分を透過する特性を有する第１フィルタ，赤色またはシアンの光成分を透過する特性を有する第２フィルタおよび青色またはイエローの光成分を透過する特性を有する第３フィルタが少なくとも一つずつ形成されており，
   　第１フィルタは，水平方向，垂直方向および斜め方向において少なくとも一つは形成されており，かつ水平方向，垂直方向および斜め方向において２つ連続している部分が少なくとも一つは含まれており，
   　画素ブロックは，水平方向に３画素，垂直方向に３画素の画素から構成されるものである，
   　請求項１から５のうち，いずれか一項に記載のカラー画像データの混入補正装置。
7. 　異なるフィルタ特性を有するカラー・フィルタが繰り返しパターン周期で受光面上に形成されている光電変換素子が多数配列されており，被写体像を表わすカラー画像データを出力する単板の固体電子撮像素子，
   　上記固体電子撮像素子の受光面上に被写体像を結像する撮像レンズ，
   　上記固体電子撮像素子から出力されるカラー画像を表わすカラー画像データにおいて，カラー画像を構成する多数の原画素のうち，複数の原画素から構成される画素ブロックに含まれる同色画素の画素データを混合することにより縮小カラー画像データを得る同色画素データ混合手段，ならびに
   　上記同色画素データ混合手段において得られた縮小カラー画像データによって表わされる縮小カラー画像を構成する多数の混合画素のそれぞれを表す混合画素データのデータ量から，混合画素を生成した原画素の画素データに混入したデータのデータ量が減少するように補正する混入補正手段，
   　を備えた撮像装置。
8. 　異なるフィルタ特性を有するカラー・フィルタが繰り返しパターン周期で受光面上に形成されている光電変換素子が多数配列されており，被写体像を表わすカラー画像データを出力する単板の固体電子撮像素子，
   　上記固体電子撮像素子から出力されるカラー画像を表わすカラー画像データにおいて，カラー画像を構成する多数の原画素のうち，複数の原画素から構成される画素ブロックに含まれる同色画素の画素データを混合することにより縮小カラー画像データを得る同色画素データ混合手段，
   　上記固体電子撮像素子の受光面上に被写体像を結像する交換レンズのレンズ情報にもとづいて，混合画素を生成した原画素の画素データに混入するデータのデータ量を決定する決定手段，
   　上記同色画素データ混合手段において得られた縮小カラー画像データによって表わされる縮小カラー画像を構成する多数の混合画素のそれぞれを表す混合画素データのデータ量から，上記決定手段によって決定されたデータ量が減少するように補正する混入補正手段，
   　を備えた撮像装置。
9. 　同色画素データ混合手段は，異なるフィルタ特性を有するカラー・フィルタが繰り返しパターンで周期的に受光面上に形成されている光電変換素子が多数配列されている単板の固体電子撮像素子から得られるカラー画像を表わすカラー画像データにおいて，カラー画像を構成する多数の原画素のうち，複数の原画素から構成される画素ブロックに含まれる同色画素の画素データを混合することにより縮小カラー画像データを得，
   　混入補正手段が，上記同色画素データ混合手段において得られた縮小カラー画像データによって表わされる縮小カラー画像を構成する多数の混合画素のそれぞれを表す混合画素データのデータ量から，混合画素を生成した原画素の画素データに混入したデータのデータ量を減少するように補正する，
   　カラー画像データの混入補正装置の動作制御方法。
10. 　固体電子撮像素子が，異なるフィルタ特性を有するカラー・フィルタが繰り返しパターン周期で受光面上に形成されている光電変換素子が多数配列されており，被写体像を表わすカラー画像データを出力し，
    　同色画素データ混合手段が，上記固体電子撮像素子から出力されるカラー画像を表わすカラー画像データにおいて，カラー画像を構成する多数の原画素のうち，複数の原画素から構成される画素ブロックに含まれる同色画素の画素データを混合することにより縮小カラー画像データを得，
    　混入補正手段が，上記同色画素データ混合手段において得られた縮小カラー画像データによって表わされる縮小カラー画像を構成する多数の混合画素のそれぞれを表す混合画素データのデータ量から，混合画素を生成した原画素の画素データに混入したデータのデータ量が減少するように補正する，
    　撮像装置の動作制御方法。
11. 　固体電子撮像素子が，異なるフィルタ特性を有するカラー・フィルタが繰り返しパターン周期で受光面上に形成されている光電変換素子が多数配列されており，被写体像を表わすカラー画像データを出力し，
    　同色画素データ混合手段が，上記固体電子撮像素子から出力されるカラー画像を表わすカラー画像データにおいて，カラー画像を構成する多数の原画素のうち，複数の原画素から構成される画素ブロックに含まれる同色画素の画素データを混合することにより縮小カラー画像データを得，
    　決定手段が，上記固体電子撮像素子の受光面上に被写体像を結像する交換レンズのレンズ情報にもとづいて，混合画素を生成した原画素の画素データに混入するデータのデータ量を決定し，
    　混入補正手段が，上記同色画素データ混合手段において得られた縮小カラー画像データによって表わされる縮小カラー画像を構成する多数の混合画素のそれぞれを表す混合画素データから，上記決定手段によって決定されたデータ量が減少するように補正する，
    　撮像装置の動作制御方法。
12. 　カラー画像データの混入補正装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    　異なるフィルタ特性を有するカラー・フィルタが繰り返しパターンで周期的に受光面上に形成されている光電変換素子が多数配列されている単板の固体電子撮像素子から得られるカラー画像を表わすカラー画像データにおいて，カラー画像を構成する多数の原画素のうち，複数の原画素から構成される画素ブロックに含まれる同色画素の画素データを混合することにより縮小カラー画像データを得，
    　得られた縮小カラー画像データによって表わされる縮小カラー画像を構成する多数の混合画素のそれぞれを表す混合画素データのデータ量から，混合画素を生成した原画素の画素データに混入したデータのデータ量を減少して補正させるようにカラー画像データの混入補正装置のコンピュータを制御するプログラム。

Images