JPWO2014185239A1 - 画像データのオプティカル・ブラック補正装置およびその動作制御方法 - Google Patents

Abstract

画素共有の撮像素子から得られた画像データを画素混合した場合に，正確にオプティカル・ブラック補正を行う。３×３画素ごとのブロックＢｒにおいて，同色画素（Ｇ１からＧ４など）ごとに画素混合が行われる。得られた混合画素について，画素混合前の画素共有の位置に応じたオプティカル・ブラック補正の補正量を考慮して，オプティカル・ブラック補正の補正量が決定される。決定された補正量を用いて混合画素にオプティカル・ブラック補正が行われる。

Description

この発明は，画像データのオプティカル・ブラック補正装置ならびにその動作制御方法およびその動作制御プログラムに関する。

C-MOS（Complementary Metal Oxide Semiconductor）撮像素子では，撮像素子の大きさを小さくするために複数のフォトダイオードを一つの増幅回路で共有する，いわゆる画素共有が行われている（特許文献１，２）。また，撮像素子に含まれるオプティカル・ブラックの部分のノイズを検出し，検出されたノイズを撮像素子から得られた画像データから取り除くオプティカル・ブラック補正も行われている。さらに，撮像素子において複数の画素を加算する場合にサンプルホールド回路の個数を減らすもの（特許文献３），画角の異なる２画素を得る際に，明るさレベルを合わせるため，広い領域の読出しは間引くもの（特許文献４）などもある。

特開2006-54276号公報 特開2011-86888号公報 特開2005-348042号公報 特開平10-285476号公報

画素共有されている撮像素子においてオプティカル・ブラック補正が行われる場合には，撮像素子から得られた画像データに対して，増幅回路を共有しているフォトダイオードの位置に応じて補正量が切り替えられている。しかしながら，画素混合により縮小画像データが得られた場合には増幅回路を共有しているフォトダイオードの位置に応じて補正量を切り替えることは行われないので，正確なオプティカル・ブラック補正ができないことがある。

この発明は，画素共有が行われている撮像素子から得られる画像において画素混合が行われる場合であっても，比較的正確なオプティカル・ブラック補正を行うことを目的とする。

この発明による画像データのオプティカル・ブラック補正装置は，画素共有が行われている固体電子撮像素子から得られる画像を構成する画素を表す画素データを，隣接する複数の画素から構成される画素ブロックごとに混合して画素混合画像を表す画素混合画像データを生成する画素混合手段，画素混合手段における処理前に画素ブロックに含まれていた画素の画素共有における相対位置に応じて，オプティカル・ブラック補正におけるオフセット量を決定するオフセット量決定手段，およびオフセット量決定手段によって決定されたオフセット量と画素混合手段で画素ブロックごとに混合する画素の位置情報とを用いて，画素混合手段において生成された画素混合画像データによって表される画素混合画像を構成する混合画素をオプティカル・ブラック補正するオプティカル・ブラック補正手段を備えていることを特徴とする。

この発明は，画像データのオプティカル・ブラック補正装置に適した動作制御方法も提供している。すなわち，画素混合手段が，画素共有が行われている固体電子撮像素子から得られる画像を構成する画素を表す画素データを，隣接する複数の画素から構成される画素ブロックごとに混合して画素混合画像を表す画素混合画像データを生成し，オフセット量決定手段が，画素混合手段における処理前に画素ブロックに含まれていた画素の画素共有における相対位置に応じて，オプティカル・ブラック補正におけるオフセット量を決定し，オプティカル・ブラック補正手段が，オフセット量決定手段によって決定されたオフセット量と画素混合手段で画素ブロックごとに混合する画素の位置情報とを用いて，画素混合手段において生成された画素混合画像データによって表される画素混合画像を構成する混合画素をオプティカル・ブラック補正するものである。

この発明は，画像データのオプティカル・ブラック補正装置の動作制御方法を実施するためのコンピュータが読み取り可能なプログラムも提供している。そのようなプログラムを格納した記録媒体を提供するようにしてもよい。

この発明によると，画素共有が行われる固体電子撮像素子から得られる画像を構成する画素を表す画素データが，画素ブロックごとに混合されて画素混合画像を表わす画素混合画像データが生成される。画素混合処理前に画素ブロックに含まれていた画素の画素共有における相対位置に応じて，オプティカル・ブラック補正におけるオフセット量が決定され，決定されたオフセット量と混合する画素の位置情報とを用いて，混合画素がオプティカル・ブラック補正される。画素混合処理前に画素ブロックに含まれていた画素の位置に応じて，オプティカル・ブラック補正におけるオフセット量が決定されているので，画素混合後にオプティカル・ブラック補正されても，比較的正確に補正できるようになる。画素混合する場合にも画素共有位置に応じてオプティカル・ブラック補正できるので，偽信号などの画質劣化を未然に防止できる。

固体電子撮像素子は，たとえば，異なる色成分の信号電荷を蓄積する光電変換素子が，画素に対応して多数配列されており，カラー画像を得るものであり，画素混合手段は，カラー画像を構成する同色のカラー画素を表すカラー画素データを，画素ブロックごとに混合してカラー画素混合画像データを生成するものである。

画素混合手段は，たとえば，画素の画素共有における相対位置に応じて決定されるオフセット量が異なる画素を含む画素ブロックごとに混合して画素混合画像を表す画素混合画像データを生成する。

固体電子撮像素子において画素共有が繰り返し配置される繰り返し周期と，画素ブロックの周期と，が異なってもよい。

画素共有が繰り返し配置される繰り返し周期が画素ブロックの周期より小さくてもよい。

固体撮像素子において異なる色成分の信号電荷を蓄積する光電変換素子の色成分の繰り返し周期と，画素ブロックの周期と，が異なるものでもよい。

水平方向および垂直方向の６×６の光電変換素子において，水平方向および垂直方向において緑色またはマゼンタの光成分を表わす信号電荷を蓄積する第１の光電変換素子，赤色またはシアンの光成分を表わす信号電荷を蓄積する第２の光電変換素子および青色またはイエローの光成分を表わす信号電荷を蓄積する第３の光電変換素子が少なくとも一つずつ配置されており，第１の光電変換素子は，水平方向，垂直方向および斜め方向において少なくとも一つは配置されており，かつ水平方向，垂直方向および斜め方向において２つ連続している部分が少なくとも一つ含まれており，画素ブロックは，水平方向に３画素，垂直方向に３画素の画素から構成されるものでもよい。

光電変換素子は，たとえば，ベイヤ配列であり，画素ブロックは，水平方向３画素，垂直方向３画素の画素から構成されるものである。

画像データのオプティカル・ブラック補正装置を備えた撮像装置を構成するようにしてもよい。

撮像素子の受光面を示している。 撮像素子の受光面の一部を示している。 画像部分を示している。 画素混合の様子を示している。 混合画素を示している。 画素混合の様子を示している。 混合画素を示している。 画素混合の様子を示している。 混合画素を示している。 ディジタル・カメラの電気的構成を示すブロック図である。 撮像素子の受光面の一部を示している。 画像部分を示している。 画素混合の様子を示している。 混合画素を示している。 画素混合の様子を示している。 混合画素を示している。 画素混合の様子を示している。 混合画素を示している。 パーソナル・コンピュータの電気的構成を示すブロック図である。 パーソナル・コンピュータの処理手順を示すフローチャートである。 スマートフォンの外観を示している。 スマートフォンの電気的構成を示すブロック図である。

図１は，撮像素子（C-MOSセンサ）５の受光面を示している。

撮像素子５の受光面には，感光領域６およびオプティカル・ブラック領域７が形成されている。これらの感光領域６およびオプティカル・ブラック領域７のいずれにも多数のフォトダイオードが配列されている。感光領域６は，撮像素子５の受光面のほとんどの面積を占めており，光がフォトダイオードに入射し，光量に応じた信号電荷がフォトダイオードに蓄積される領域である。感光領域６に配列されているフォトダイオードに蓄積された信号電荷にもとづいて得られる画像データ（映像信号）にもとづいて被写体像が得られる。オプティカル・ブラック領域７は感光領域６の周りに形成されており，遮光されている（遮光されている様子がハッチングで示されている）。

図２は，撮像素子５の感光領域６の一部を示している。

上述したように，水平方向および垂直方向に多数のフォトダイオード11が配列されている。フォトダイオード11の受光面上には，赤色の光成分を透過する赤色フィルタ，緑色の光成分を透過する緑色フィルタまたは青色の光成分を透過する青色フィルタが形成されている。受光面上に赤色フィルタが形成されているフォトダイオード11には符号「Ｒ」が付され，受光面上に緑色フィルタが形成されているフォトダイオード11には符号「Ｇ」が付され，受光面上に青色フィルタが形成されているフォトダイオード11には符号「Ｂ」が付されている。

図２に示すカラー・フィルタ配列は，６×６のフォトダイオード11において，水平方向および垂直方向において緑色フィルタＧ，赤色フィルタＲおよび青色フィルタＢが少なくとも一つずつ形成されている。カラー・フィルタが形成されている６×６のフォトダイオード11において，水平方向，垂直方向および斜め方向においても緑色フィルタＧが少なくとも一つは形成されている。また，６×６のフォトダイオード11においては，緑色フィルタＧが水平方向，垂直方向および斜め方向において２つ連続している部分が少なくとも一つは含まれている。さらに，６×６のフォトダイオード11においては，緑色フィルタＧが水平方向および垂直方向において２つ連続している部分が少なくとも一つは含まれている。６×６のフォトダイオード11に形成されているカラー・フィルタの配列が水平方向および垂直方向において繰り返されて，撮像素子１のカラー・フィルタの配列となる。

たとえば，６×６のフォトダイオード11では，緑色フィルタＧは，第６ｎ（ｎは正の整数）＋１行，第６ｎ＋３行，第６ｎ＋４行および第６ｎ＋６行では，第６ｍ（ｍは正の整数）＋１列，第６ｍ＋３列，第６ｍ＋４列および第６ｍ＋６列に形成されており，第６ｎ＋２行および第６ｎ＋５行では，第６ｍ＋２列，第６ｍ＋５列に形成されている。同様に，青色フィルタＢは，第６ｎ＋１行および第６ｎ＋３行では第６ｍ＋５列に，第６ｎ＋２行では第６ｍ＋１列および第６ｍ＋３列に，第６ｎ＋４行および第６ｎ＋６行では第６ｍ＋２列に，第６ｎ＋５行では第６ｍ＋４列および第６ｍ＋６列にそれぞれ形成されている。赤色フィルタＲは，第６ｎ＋１行では第６ｍ＋２列に，第６ｎ＋２行では第６ｍ＋４列および第６ｍ＋６列に，第６ｎ＋４行および第６ｎ＋６行では第６ｍ＋５列に，第６ｎ＋５行では第６ｍ＋１列および第６ｍ＋３列にそれぞれ形成されている。

３×３のフォトダイオード11に赤色フィルタＲ，緑色フィルタＧおよび青色フィルタＢのすべてが含まれ，かつ中心のフォトダイオード11を中心に点対称となるようにカラー・フィルタが形成されている。

上記の例では，フォトダイオード11の受光面上に赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢが形成されているが，三原色の補色であるシアンＣの光成分を透過する特性を有するシアン・フィルタ，マゼンタＭの光成分を透過する特性を有するマゼンタ・フィルタまたはイエローＹの光成分を透過する特性を有するイエロー・フィルタが形成されていてもよい。

また，この実施例では，撮像素子５の大きさを小さくするために撮像素子５内において４つのフォトダイオード11に対して一つの増幅回路（図示略）が接続されており（画素共有），その増幅回路を介してフォトダイオード11に蓄積された信号電荷が映像信号として撮像素子11から出力される。画素共有が行われているフォトダイオード11について１から４の符号が付されている。たとえば，図２の左上の部分12に含まれるフォトダイオード11が画素共有されている４つのフォトダイオード11である。画素共有されているフォトダイオード11においては，そのフォトダイオード11の相対位置に応じてオプティカル・ブラック補正の補正量が異なる場合がある。この実施例では，画素共有されているフォトダイオード11の位置を考慮してオプティカル・ブラック補正が行われる。

図３は，図２に示す６×６のフォトダイオード11から得られる画像部分20の一例である。

画像部分20は，６×６のフォトダイオード11に対応するもので，６×６の画素21から構成されている。図３において，画素21に対応して，上述したカラー・フィルタＲ，ＧまたはＢおよび符号１から４の数字が付されている。Ｒ，ＧまたはＢの符号は，上述したフォトダイオード11に形成されているカラー・フィルタを示しており，１から４の数字は画素共有されている画素であることを示している。たとえば，Ｒ，ＧまたはＢの符号が付されている画素は，それぞれ赤色の画素，緑色の画素または青色の画素を表わしていることとなる。以下，分りやすくするために，必要に応じて，Ｒ，ＧまたはＢの符号が付されている画素を，画素Ｒ，画素Ｇまたは画素Ｂと呼ぶこととする。

この実施例では，３×３の画素21から構成される画素ブロックＢｒごとに同色画素が混合させられる。これにより，１／９の大きさの縮小画像（画素混合画像）が生成される。たとえば，画素ブロックＢｒに対応して４つの画像部分31，32，33および34のそれぞれにおいて同色画素ごとに画素混合が行われる。

図４は，緑色画素Ｇ１からＧ４が画素混合される様子を示している。図５は，画素混合された様子を示している。

図４の画像部分31から34には，分りやすくするために，赤色画素Ｒ１からＲ４および青色画素Ｂ１からＢ４が省略され，緑色画素Ｇ１からＧ４のみが図示されている。

図４を参照して，画像部分31の中央には画素Ｇ４があり，画像部分31の四隅には画素Ｇ１がある。これらの画素Ｇ４および４つの画素Ｇ１が混合させられて，画像部分31についての混合画素41Ｇが生成される。図５に示すように混合画素41Ｇは，画素Ｇ４および４つ
の画素Ｇ１が混合させられたものである。実際には，混合画素41Ｇが，これらの画素Ｇ４および４つの画素Ｇ１の合計の画素数５で除したものが混合画素41Ｇとなる。

同様に，図４に示すように画像部分32の中央には画素Ｇ３があり，四隅に画素Ｇ２がある。これらの画素Ｇ３およびＧ２が混合させられて，図５に示すように混合画素42Ｇが得られる。図４に示すように画像部分33の中央には画素Ｇ２があり，四隅に画素Ｇ３がある。これらの画素Ｇ２およびＧ３が混合させられて，図５に示すように混合画素43Ｇが得られる。図４に示すように画像部分34の中央には画素Ｇ１があり，四隅に画素Ｇ４がある。これらの画素Ｇ１およびＧ４が混合させられて，図５に示すように混合画素44Ｇが得られる。

上述したように，符号「Ｇ」に付されている「１」から「４」の数字は，画素共有の位置を示しており，その位置に応じてオプティカル・ブラック補正が行われる場合の補正量が異なる。たとえば，符号「１」で特定される位置の画素（Ｇ１）に対するオプティカル・ブラック補正の補正量はＯＢ１である。同様に，符号「２」，「３」および「４」で特定される位置の画素（Ｇ２，Ｇ３およびＧ４）に対応するオプティカル・ブラック補正の補正量はＯＢ２，ＯＢ３およびＯＢ４である。したがって，混合画素41Ｇに対するオプティカル・ブラック補正の補正量は［（ＯＢ１×４）＋ＯＢ４］／５となる。同様に，混合画素42Ｇ，43Ｇおよび44Ｇに対するオプティカル・ブラック補正の補正量は，それぞれ［（ＯＢ２×４）＋ＯＢ３］／５，［（ＯＢ３×４）＋ＯＢ２］／５および［（ＯＢ４×４）＋ＯＢ１］／５である。

画素共有の位置に応じたオプティカル・ブラック補正の補正量ＯＢ１，ＯＢ２，ＯＢ３およびＯＢ４は，オプティカル・ブラック領域７において画素共有されているフォトダイオード（オプティカル・ブラック領域７においても，感光領域６と同様に画素共有が行われている）11の位置に応じて，あらかじめ検出されているのはいうまでもない。

図６は，赤色画素Ｒ１からＲ４が画素混合される様子を示している。図７は，画素混合された様子を示している。

図６の画像部分31から34には，分りやすくするために，緑色画素Ｇ１からＧ４および青色画素Ｂ１からＢ４が省略され，赤色画素Ｒ１からＲ４のみが図示されている。

図６を参照して，画像部分31の中央の画素の上下に画素Ｒ２がある。これらの画素Ｒ２が混合させられて，画像部分31についての混合画素41Ｒが生成される。図７に示すように混合画素41Ｒは，二つの画素Ｒ２が混合させられたものである。実際には，二つの画素Ｒ２の平均が混合画素41Ｒとなる。

同様に，図６に示すように画像部分32の中央の画素の左右に画素Ｒ４があり，画像部分33の中央の画素の左右に画素Ｒ１があり，画像部分34の中央の画素の上下に画素Ｒ３がある。画像部分32，33および34ごとに，これらの画素Ｒ４，Ｒ１およびＲ３が混合させられて，図７に示すように混合画素42Ｒ（Ｒ４），43Ｒ（Ｒ１）および44Ｒ（Ｒ３）が得られる。

混合画素41Ｒ，42Ｒ，43Ｒおよび44Ｒのオプティカル・ブラック補正の補正量は，それぞれＯＢ２，ＯＢ４，ＯＢ１およびＯＢ３となる。

図８は，青色画素Ｂ１からＢ４が画素混合される様子を示している。図９は，画素混合された様子を示している。

図８の画像部分31から34には，分りやすくするために，緑色画素Ｇ１からＧ４および赤色画素Ｒ１からＲ４が省略され，青色画素Ｂ１からＢ４のみが図示されている。

図８を参照して，画像部分31の中央の画素の左右に画素Ｂ３がある。これらの画素Ｂ３が混合させられて，画像部分31についての混合画素41Ｂが生成される。図９に示すように混合画素41Ｂは，二つの画素Ｂ３が混合させられたものとなる。実際には，二つの画素Ｂ３の平均が混合画素41Ｂとなる。

同様に，図９に示すように画像部分32の中央の画素の上下に画素Ｂ１があり，画像部分33の中央の画素の上下に画素Ｂ４があり，画像部分34の中央の画素の左右に画素Ｂ２がある。画像部分32，33および34ごとに，これらの画素Ｂ１，Ｂ４およびＢ２が混合させられて，図９に示すように混合画素42Ｂ（Ｂ１），43Ｂ（Ｂ４）および44Ｂ（Ｂ２）が得られる。

混合画素41Ｂ，42Ｂ，43Ｂおよび44Ｂのオプティカル・ブラック補正の補正量は，それぞれＯＢ３，ＯＢ１，ＯＢ４およびＯＢ２となる。

図10は，ディジタル・カメラの電気的構成を示すブロック図である。

上述のように，撮像素子５により撮像された被写体像を表わす画像データは画素データ混合処理回路53に入力する。画素データ混合処理回路53において，図４，図６および図８を参照して説明したように，画素ブロックＢｒごとに同色画素が混合させられる。画素データ混合処理回路53において得られた混合画素を表わす画素混合画像データは，オプティカル・ブラック補正回路54に入力する。

また，画素データ混合処理回路53において混合される前の画素の位置を表わすデータがオプティカル・ブラック補正オフセット量決定回路55に入力する。このオフセット量決定回路55において，上述したように，混合画素に対応するオフセット量（補正量）が決定される。決定されたオフセット量を表わすデータが，オフセット量決定回路55からオプティカル・ブラック補正回路54に入力し，混合画素にオフセット量が減算（加算）されることによりオプティカル・ブラック補正が行われる。

オプティカル・ブラック補正が行われた画素混合画像データは表示装置56に与えられることにより，画素混合画像が表示されることとなる。また，シャッタ・レリーズ・ボタン（図示略）が押されることに応じて，画素混合画像データがメモリ・カードなどの記録媒体57に記録される。もっとも，画素混合画像データが記録媒体57に記録されずに画素混合される前の画像データが記録媒体57に記録されるようにしてもよいのはいうまでもない。

図11から図18は，他の実施例を示すものである。この実施例においても上述した実施例と同様に赤色，緑色または青色の光成分を透過するフィルタには，それぞれ符号「Ｒ」，「Ｇ」または「Ｂ」が付されている。また，この実施例における撮像素子５Ａにおいても画素共有が行われており，画素共有の位置に応じて，上述したのと同様に「１」から「４」の数字が付されている。

図11は，撮像素子５Ａの感光領域の一部を示している。

図11に示す撮像素子５Ａを構成するフォトダイオード11の受光面上に形成されているカラー・フィルタはベイヤ配列と呼ばれるものである。奇数行には赤色フィルタＲと緑色フィルタＧとが交互に形成されており，偶数行には緑色フィルタＧと青色フィルタＢとが交互に形成されている。フォトダイオード11の受光面上に赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢが形成されているが，三原色の補色であるシアンＣの光成分を透過する特性を有するシアン・フィルタ，マゼンタＭの光成分を透過する特性を有するマゼンタ・フィルタまたはイエローＹの光成分を透過する特性を有するイエロー・フィルタがベイヤ配列にしたがって形成されていてもよい。

図12は，図３に対応するもので，図11に示す６×６のフォトダイオード11から得られる画像部分20Ａの一例である。

画像部分20Ａは，６×６のフォトダイオード11に対応するもので，６×６の画素21から構成されている。図12において，画素21に対応して，上述したカラー・フィルタＲ，ＧまたはＢおよび符号１から４の数字が付されている。この実施例においても，３×３の画素21から構成される画素ブロックＢｒごとに同色画素が混合させられる。１／９の大きさの縮小画像（画素混合画像）が生成される。上述したのと同様に，画素ブロックＢｒに対応して４つの画像部分61，62，63および64のそれぞれにおいて同色画素ごとに画素混合が行われる。

図13は，図４に対応するもので，緑色画素Ｇ１からＧ４が混合される様子を示している。図14は，図５に対応するもので，画素混合された様子を示している。

図13の画像部分61から64においても分りやすくするために赤色画素Ｒ１および青色画素Ｂ４が省略され，緑色画素Ｇ１からＧ４のみが図示されている。

図13を参照して，画像部分61の中央の画素の上下には画素Ｇ２があり，中央の画素の左右には画素Ｇ３がある。これらの画素Ｇ２およびＧ３が混合させられて，画像部分61についての混合画素61Ｇが生成される。図14に示すように混合画素は，２つずつの画素Ｇ２およびＧ３が混合させられたものである。実際には，混合画素61Ｇが４で除したものが混合画素61Ｇとなる。

同様に，図13に示すように，画像部分62の中央には画素Ｇ３があり，四隅に画素Ｇ２がある。これらの画素Ｇ３およびＧ２が混合させられることにより混合画素62Ｇが得られる。画像部分63の中央には画素Ｇ２があり，四隅に画素Ｇ３があるので，これらの画素Ｇ２およびＧ３が混合させられることにより混合画素63Ｇが得られる。また，画像部分64の中央の画素の左右に画素Ｇ２があり，上下に画素Ｇ３があるので，これらの画素Ｇ２およびＧ３が混合させられることにより混合画素64Ｇが得られる。

混合画素61Ｇおよび64Ｇのオプティカル・ブラック補正の補正量は，いずれも（ＯＢ２×２＋ＯＢ３×２）／４であり，混合画素62Ｇのオプティカル・ブラック補正の補正量は，（ＯＢ２×４＋ＯＢ３）／４であり，混合画素63Ｇのオプティカル・ブラック補正の補正量は，（ＯＢ３×４＋ＯＢ２）／４であることは理解できよう。

図15は，図６に対応するもので，赤色画素Ｒ１が画素混合される様子を示している。図16は，図７に対応するもので，画素混合された様子を示している。

図15の画像部分61から64においても，分りやすくするために，緑色画素Ｇ１からＧ４および青色画素Ｂ４が省略され，赤色画素Ｒ１のみが図示されている。

図15を参照して，画像部分61の四隅に画素Ｒ１があり，画像部分62の中央の画素の上下に画素Ｒ１があり，画像部分63の中央の画素の左右に画素Ｒ１があり，画像部分64の中央に画素Ｒ１がある。図16に示す混合画素61Ｒ，62Ｒ，63Ｒおよび64Ｒは，それぞれ平均化されるから，すべて画素Ｒ１となる。混合画素61Ｒから64Ｒのオプティカル・ブラック補正の補正量は，いずれもＯＢ１となる。

図17は，図８に対応するもので，青色画素Ｂ４が混合される様子を示している。図18は，画素混合された様子を示している。

図17においても，画像部分61から64には，分りやすくするために，緑色画素Ｇ１からＧ４および赤色画素Ｒ１が省略され，青色画素Ｂ４のみが図示されている。

図17を参照して，画像部分61には中央に画素Ｂ４があり，画像部分62には中央の画素
左右に画素Ｂ４があり，画像部分63には中央の画素の上下に画素Ｂ４があり，画像部分64には四隅に画素Ｂ４がある。これらの画像部分61から64において画素混合されることにより，図18に示す混合画素61Ｂ，62Ｂ，63Ｂおよび64Ｂが生成される。混合画素61Ｂから64Ｂも平均化されるから，混合画素61Ｂから64Ｂのオプティカル・ブラック補正の補正量は，いずれもＯＢ４となる。

なお，上述した実施形態においては，画素混合により，画像の縮小と画素補間とを同時に行うことができる。これは，各色の原画素である，緑色成分の画素，青色成分の画素，赤色成分の画素のそれぞれの画素混合後における各色の混合画素の重心位置が同一の画素位置上となるように画素混合しているためである。このような画素混合により，画像の縮小と画素補間とが同時に行われるため，一般的に別処理として行われる補間処理（デモザイク処理とも言われる）を省略することができ，処理回路を簡素化でき処理速度を速めることができる。

また，撮像素子におけるカラー・フィルタの繰り返しパターンのサイズは２画素×２画素や６画素×６画素に限られず，Ｓ画素×Ｔ画素（Ｓ，Ｔは２以上10以下の自然数）である撮像素子に適用できる。

また，画素ブロックＢｒのサイズも３画素×３画素に限られない。設定される縮小カラー画像データの解像度に応じて，４画素×４画素，５画素×５画素，６画素×６画素のようにＭ画素×Ｎ画素（Ｎ，Ｍは３以上，Ｓ，Ｔの３倍以下の自然数）とすることができる。ここで，画素ブロックＢｒのサイズをＭ画素×Ｍ画素（Ｍは３以上，Ｓの３倍以下の奇数）とすることで，混合画素後の各色の混合画素の重心位置を同一の画素位置上とするように画素混合することが可能となる。この場合，カラー・フィルタの繰り返しパターンのサイズであるＳ画素×Ｔ画素と画素ブロックＢｒのサイズであるＭ画素×Ｎ画素とが一致せず，互いに異なるサイズであっても適用できる。

また，画素ブロックＢｒとして，隣接する複数の原画素から構成されるＮ画素×Ｍ画素（Ｎ，Ｍは３以上，Ｓ，Ｔの３倍以下の自然数）画素ブロックとすることで，画素混合後の混合画素のデータの精度を向上することができる。

図31および図32は，他の実施例を示すものである。

図31は，パーソナル・コンピュータの電気的構成を示すブロック図である。

パーソナル・コンピュータの全体の動作は，ＣＰＵ70によって統括される。

ＣＰＵ70には，通信装置71，メモリ72，キーボードなどの入力装置73および表示装置74が接続されている。また，パーソナル・コンピュータには，ハードディスク78およびハードディスク78にアクセスするハードディスク・ドライブ77ならびにCD-ROM（コンパクト・ディスク-リード・オンリ・メモリ）ドライブ75も含まれている。

上述した混入補正を行うプログラムが格納されているCD-ROM76がCD-ROMドライブ75に装填され，CD-ROM76からプログラムが読み出される。読み出されたプログラムがパーソナル・コンピュータにインストールされることにより，上述した処理が実行される。プログラムは，CD-ROM76に格納されていなくともネットワークを介して送信されたプログラムを通信装置71において受信し，パーソナル・コンピュータにインストールされるようにしてもよい。

図32は，図31に示すパーソナル・コンピュータの処理手順を示すフローチャートである。

上述したように撮像素子によって撮像されたカラー画像データがハードディスク78に記録されており，そのハードディスク78からカラー画像データが読み取られる（ステップ81）。読み取られたカラー画像データが，上述のように同色画素データが画素混合される（ステップ82）。つづいて，上述のように，オプティカル・ブラック補正のオフセット量（補正量）が決定され（ステップ83），オフセット補正が行われる（ステップ84）。このような処理がカラーの被写体像を表わすカラー画像データのすべてについて行われることにより，オフセット補正された縮小カラー画像が得られる。得られた縮小カラー画像が表示装置74の表示画面に表示される（ステップ85）。オフセット補正後の縮小カラー画像を表わす画像データがハードディスク78に記録されるようになる（ステップ86）。

以上，この発明の実施例の撮影装置の実施形態として，ディジタル・カメラおよびパーソナル・コンピュータについて説明してきたが，撮影装置の構成はこれに限定されない。この発明の実施例によるその他の撮影装置としては，例えば，内蔵型又は外付け型のPC用カメラまたは，以下に説明するような，撮影機能を有する携帯端末装置とすることができる。

この発明の実施例による撮影装置の一実施形態である携帯端末装置としては，例えば，携帯電話機やスマートフォン，PDA(Personal Digital Assistants)，携帯型ゲーム機が挙げられる。以下，スマートフォンを例に挙げ，図面を参照しつつ，詳細に説明する。

図21は，本発明の撮影装置の一実施形態であるスマートフォン91の外観を示すものである。図21に示すスマートフォン91は，平板状の筐体92を有し，筐体92の一方の面に表示部としての表示パネル111と，入力部としての操作パネル112とが一体となった表示入力部110を備えている。また，係る筐体92は，マイクロフォン122と，スピーカ121，操作部130と，カメラ部131とを備えている。なお，筐体92の構成はこれに限定されず，例えば，表示部と入力部とが独立した構成を採用したり，折り畳み構造やスライド機構を有する構成を採用することもできる。

図22は，図21に示すスマートフォン91の構成を示すブロック図である。図22に示すように，スマートフォンの主たる構成要素として，無線通信部100と，表示入力部110と，通話部120と，操作部130と，カメラ部131と，記憶部140と，外部入出力部150と，ＧＰＳ(Global Positioning System)受信部160と，モーションセンサ部170と，電源部180と，主制御部190とを備える。また，スマートフォン91の主たる機能として，基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部100は，主制御部190の指示にしたがって，移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して，音声データ，画像データ等の各種ファイルデータ，電子メールデータなどの送受信や，Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部110は，主制御部190の制御により，画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに，表示した情報に対するユーザ操作を検出する，いわゆるタッチパネルであって，表示パネル111と，操作パネル112とを備える。

表示パネル111は，LCD(Liquid Crystal Display)，OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル112は，表示パネル111の表示面上に表示される画像を視認可能に載置され，ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると，操作に起因して発生する検出信号を主制御部190に出力する。次いで，主制御部190は，受信した検出信号に基づいて，表示パネル111上の操作位置（座標）を検出する。

図21に示すように，この発明の撮影装置の一実施形態として例示しているスマートフォン131の表示パネル111と操作パネル112とは一体となって表示入力部110を構成しているが，操作パネル112が表示パネル111を完全に覆うような配置となっている。係る配置を採用した場合，操作パネル112は，表示パネル111外の領域についても，ユーザ操作を検出する機能を備えてもよい。換言すると，操作パネル112は，表示パネル111に重なる重畳部分についての検出領域（以下，表示領域と称する）と，それ以外の表示パネル111に重ならない外縁部分についての検出領域（以下，非表示領域と称する）とを備えていてもよい。

なお，表示領域の大きさと表示パネル111の大きさとを完全に一致させても良いが，両者を必ずしも一致させる必要は無い。また，操作パネル112が，外縁部分と，それ以外の内側部分の２つの感応領域を備えていてもよい。更に，外縁部分の幅は，筐体92の大きさなどに応じて適宜設計されるものである。更にまた，操作パネル112で採用される位置検出方式としては，マトリクススイッチ方式，抵抗膜方式，表面弾性波方式，赤外線方式，電磁誘導方式，静電容量方式などが挙げられ，いずれの方式を採用することもできる。

通話部120は，スピーカ121やマイクロフォン122を備え，マイクロフォン122を通じて入力されたユーザの音声を主制御部190にて処理可能な音声データに変換して主制御部190に出力したり，無線通信部100あるいは外部入出力部150により受信された音声データを復号してスピーカ121から出力するものである。また，図21に示すように，例えば，スピーカ121を表示入力部110が設けられた面と同じ面に搭載し，マイクロフォン122を筐体92の側面に搭載することができる。

操作部130は，キースイッチなどを用いたハードウェアキーであって，ユーザからの指示を受け付けるものである。例えば，図21に示すように，操作部130は，スマートフォン91の筐体92の側面に搭載され，指などで押下されるとオンとなり，指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部140は，主制御部190の制御プログラムや制御データ，アプリケーションソフトウェア，通信相手の名称や電話番号などを対応づけたアドレスデータ，送受信した電子メールのデータ，ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや，ダウンロードしたコンテンツデータを記憶し，またストリーミングデータなどを一時的に記憶するものである。また，記憶部140は，スマートフォン内蔵の内部記憶部141と着脱自在な外部メモリスロットを有する外部記憶部142により構成される。なお，記憶部140を構成するそれぞれの内部記憶部141と外部記憶部142は，フラッシュメモリタイプ（flash memory type），ハードディスクタイプ（hard disk type），マルチメディアカードマイクロタイプ（multimedia card micro type），カードタイプのメモリ（例えば，ＭｉｃｒｏＳＤ（登録商標）メモリ等），ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部150は，スマートフォン91に連結される全ての外部機器とのインターフェースの役割を果たすものであり，他の外部機器に通信等（例えば，ユニバーサルシリアルバス（ＵＳＢ），IEEE１３９４など）又はネットワーク（例えば，インターネット，無線ＬＡＮ，ブルートゥース（Bluetooth）（登録商標），ＲＦＩＤ（Radio Frequency Identification），赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標），ＵＷＢ（Ultra Wideband）（登録商標），ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン91に連結される外部機器としては，例えば，有／無線ヘッドセット，有／無線外部充電器，有／無線データポート，カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード，オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器，無線接続される外部オーディオ・ビデオ機器，有／無線接続されるスマートフォン，有／無線接続されるパーソナルコンピュータ，有／無線接続されるPDA，有／無線接続されるパーソナルコンピュータ，イヤホンなどがある。外部入出力部は，このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや，スマートフォン１の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部160は，主制御部190の指示にしたがって，GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し，受信した複数のGPS信号に基づく測位演算処理を実行し，当該スマートフォン91の緯度，経度，高度からなる位置を検出する。ＧＰＳ受信部160は，無線通信部100や外部入出力部150（例えば，無線ＬＡＮ）から位置情報を取得できる時には，その位置情報を用いて位置を検出することもできる。

モーションセンサ部170は，例えば，３軸の加速度センサなどを備え，主制御部190の指示にしたがって，スマートフォン91の物理的な動きを検出する。スマートフォン91の物理的な動きを検出することにより，スマートフォン91の動く方向や加速度が検出される。係る検出結果は，主制御部190に出力されるものである。

電源部180は，主制御部190の指示にしたがって，スマートフォン91の各部に，バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部190は，マイクロプロセッサを備え，記憶部140が記憶する制御プログラムや制御データにしたがって動作し，スマートフォン91の各部を統括して制御するものである。また，主制御部190は，無線通信部100を通じて，音声通信やデータ通信を行うために，通信系の各部を制御する移動通信制御機能と，アプリケーション処理機能を備える。

アプリケーション処理機能は，記憶部140が記憶するアプリケーションソフトウェアにしたがって主制御部190が動作することにより実現するものである。アプリケーション処理機能としては，例えば，外部入出力部150を制御して対向機器とデータ通信を行う赤外線通信機能や，電子メールの送受信を行う電子メール機能，Webページを閲覧するWebブラウジング機能などがある。

また，主制御部170は，受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて，映像を表示入力部110に表示する等の画像処理機能を備える。画像処理機能とは，主制御部190が，上記画像データを復号し，係る復号結果に画像処理を施して，画像を表示入力部100に表示する機能のことをいう。

更に，主制御部190は，表示パネル111に対する表示制御と，操作部130，操作パネル132を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により，主制御部190は，アプリケーションソフトウェアを起動するためのアイコンや，スクロールバーなどのソフトウェアキーを表示したり，あるいは電子メールを作成するためのウィンドウを表示する。なお，スクロールバーとは，表示パネル111の表示領域に収まりきれない大きな画像などについて，画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また，操作検出制御の実行により，主制御部190は，操作部130を通じたユーザ操作を検出したり，操作パネル112を通じて，上記アイコンに対する操作や，上記ウィンドウの入力欄に対する文字列の入力を受け付けたり，あるいは，スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に，操作検出制御の実行により主制御部190は，操作パネル112に対する操作位置が，表示パネル111に重なる重畳部分（表示領域）か，それ以外の表示パネル111に重ならない外縁部分（非表示領域）かを判定し，操作パネル112の感応領域や，ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また，主制御部190は，操作パネル112に対するジェスチャ操作を検出し，検出したジェスチャ操作に応じて，予め設定された機能を実行することもできる。ジェスチャ操作とは，従来の単純なタッチ操作ではなく，指などによって軌跡を描いたり，複数の位置を同時に指定したり，あるいはこれらを組み合わせて，複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部131は，CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するディジタル・カメラである。また，カメラ部131は，主制御部190の制御により，撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し，記憶部140に記録したり，入出力部150や無線通信部100を通じて出力することができる。図21に示すようにスマートフォン91において，カメラ部131は表示入力部110と同じ面に搭載されているが，カメラ部131の搭載位置はこれに限らず，表示入力部110の背面に搭載されてもよいし，あるいは，複数のカメラ部131が搭載されてもよい。なお，複数のカメラ部131が搭載されている場合には，撮影に供するカメラ部131を切り替えて単独にて撮影したり，あるいは，複数のカメラ部131を同時に使用して撮影することもできる。

また，カメラ部131はスマートフォン91の各種機能に利用することができる。例えば，表示パネル111にカメラ部131で取得した画像を表示することや，操作パネル112の操作入力のひとつとして，カメラ部131の画像を利用することができる。また，ＧＰＳ受信部160が位置を検出する際に，カメラ部131からの画像を参照して位置を検出することもできる。更には，カメラ部131からの画像を参照して，３軸の加速度センサを用いずに，或いは，３軸の加速度センサと併用して，スマートフォン91のカメラ部131の光軸方向を判断することや，現在の使用環境を判断することもできる。勿論，カメラ部131からの画像をアプリケーションソフトウェア内で利用することもできる。

その他，静止画又は動画の画像データにＧＰＳ受信部160により取得した位置情報，マイクロフォン122により取得した音声情報（主制御部等により，音声テキスト変換を行ってテキスト情報となっていてもよい），モーションセンサ部170により取得した姿勢情報等などを付加して記録部140に記録したり，入出力部150や無線通信部100を通じて出力することもできる。

５，５Ａ 撮像素子
11 フォトダイオード
53 画素データ混合処理回路
54 オプティカル・ブラック補正回路
55 オプティカル・ブラック補正オフセット量決定回路

Claims (11)

1. 画素共有が行われている固体電子撮像素子から得られる画像を構成する画素を表す画素データを，隣接する複数の画素から構成される画素ブロックごとに混合して画素混合画像を表す画素混合画像データを生成する画素混合手段，
   上記画素混合手段における処理前に画素ブロックに含まれていた画素の画素共有における相対位置に応じて，オプティカル・ブラック補正におけるオフセット量を決定するオフセット量決定手段，および
   上記オフセット量決定手段によって決定されたオフセット量と上記画素混合手段で画素ブロックごとに混合する画素の位置情報とを用いて，上記画素混合手段において生成された画素混合画像データによって表される画素混合画像を構成する混合画素をオプティカル・ブラック補正するオプティカル・ブラック補正手段，
   を備えた画像データのオプティカル・ブラック補正装置。
2. 上記固体電子撮像素子は，
   異なる色成分の信号電荷を蓄積する光電変換素子が，画素に対応して多数配列されており，カラー画像を得るものであり，
   上記画素混合手段は，
   カラー画像を構成する同色のカラー画素を表すカラー画素データを，画素ブロックごとに混合してカラー画素混合画像データを生成するものである，
   請求項１に記載の画像データのオプティカル・ブラック補正装置。
3. 上記画素混合手段は，上記画素の画素共有における相対位置に応じて決定されるオフセット量が異なる画素を含む上記画素ブロックごとに混合して画素混合画像を表す画素混合画像データを生成する，
   請求項１または２に記載の画像データのオプティカル・ブラック補正装置。
4. 上記固体電子撮像素子において上記画素共有が繰り返し配置される繰り返し周期と，上記画素ブロックの周期と，が異なる，
   請求項１から３のうち，いずれか一項に記載の画像データのオプティカル・ブラック補正装置。
5. 上記画素共有が繰り返し配置される繰り返し周期が上記画素ブロックの周期より小さい，
   請求項４に記載の画像データのオプティカル・ブラック補正装置。
6. 上記固体撮像素子において上記異なる色成分の信号電荷を蓄積する光電変換素子の色成分の繰り返し周期と，上記画素ブロックの周期と，が異なる請求項２から５のうち，いずれか一項に記載の画像データのオプティカル・ブラック補正装置。
7. 水平方向および垂直方向の６×６の光電変換素子において，水平方向および垂直方向において緑色またはマゼンタの光成分を表わす信号電荷を蓄積する第１の光電変換素子，赤色またはシアンの光成分を表わす信号電荷を蓄積する第２の光電変換素子および青色またはイエローの光成分を表わす信号電荷を蓄積する第３の光電変換素子が少なくとも一つずつ配置されており，
   第１の光電変換素子は，水平方向，垂直方向および斜め方向において少なくとも一つは配置されており，かつ水平方向，垂直方向および斜め方向において２つ連続している部分が少なくとも一つ含まれており，
   画素ブロックは，水平方向に３画素，垂直方向に３画素の画素から構成されるものである，
   請求項２から６のうち，いずれか一項に記載の画像データのオプティカル・ブラック補正装置。
8. 上記光電変換素子は，ベイヤ配列であり，
   上記画素ブロックは，水平方向３画素，垂直方向３画素の画素から構成されるものである，
   請求項２から６のうち，いずれか一項に記載の画像データのオプティカル・ブラック補正装置。
9. 請求項１から８のうち，いずれか一項に記載の画像データのオプティカル・ブラック補正装置を備えた撮像装置。
10. 画素混合手段が，画素共有が行われている固体電子撮像素子から得られる画像を構成する画素を表す画素データを，隣接する複数の画素から構成される画素ブロックごとに混合して画素混合画像を表す画素混合画像データを生成し，
    オフセット量決定手段が，上記画素混合手段における処理前に画素ブロックに含まれていた画素の画素共有における相対位置に応じて，オプティカル・ブラック補正におけるオフセット量を決定し，
    オプティカル・ブラック補正手段が，上記オフセット量決定手段によって決定されたオフセット量と上記画素混合手段で画素ブロックごとに混合する画素の位置情報とを用いて，上記画素混合手段において生成された画素混合画像データによって表される画素混合画像を構成する混合画素をオプティカル・ブラック補正する，
    画像データのオプティカル・ブラック補正装置の動作制御方法。
11. 画像データのオプティカル・ブラック補正装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    画素共有が行われている固体電子撮像素子から得られる画像を構成する画素を表す画素データを，隣接する複数の画素から構成される画素ブロックごとに混合して画素混合画像を表す画素混合画像データを生成させ，
    画素混合画像データの生成前に画素ブロックに含まれていた画素の画素共有における相対位置に応じて，オプティカル・ブラック補正におけるオフセット量を決定させ，
    決定されたオフセット量と画素ブロックごとに混合する画素の位置情報とを用いて，生成された画素混合画像データによって表される画素混合画像を構成する混合画素をオプティカル・ブラック補正するように画像データのオプティカル・ブラック補正装置のコンピュータを制御するプログラム。

Images