JP5445076B2

JP5445076B2 - 撮像装置

Info

Publication number: JP5445076B2
Application number: JP2009270323A
Authority: JP
Inventors: 英明計良
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-11-27
Filing date: 2009-11-27
Publication date: 2014-03-19
Anticipated expiration: 2029-11-27
Also published as: JP2011114680A

Description

本発明は、撮像装置に関する。

近年、固体撮像素子を用いた撮像装置が広く普及している。一般的な固体撮像素子は、行方向および列方向にＲＧＢ各色の画素が規則的に配置されている。このため、撮像される画像の空間周波数に依存して偽色が発生するという問題があり、光学ローパスフィルタなどで高い周波数成分の画像をぼかしたり、画素間引きや加算などの処理を行って偽色を低減する技術が考えられている（例えば特許文献１参照）。

また、広いダイナミックレンジで撮像するための従来技術として、感度の異なる一対のフォトダイオードを同一座標に配置して合成処理する技術が考えられている（例えば特許文献２参照）。

特開２００４−３１２１４０号公報特許第４０１８８２０号公報

ところが、画素間引きや加算による偽色の低減方法は、色モアレは低減されるが逆に輝度モアレが出やすくなるなどの問題があった。また、感度の異なる一対のフォトダイオードを同一座標に配置して合成する方法は、大画素と小画素の面積比が固定なのでダイナミックレンジの拡大や拡大時のＳ／Ｎ比が制限されてしまうという問題があった。

このように、偽色低減とダイナミックレンジの拡大や拡大時のＳ／Ｎ比の向上などを実現できる技術が望まれている。

上記課題に鑑み、本発明の目的は、偽色低減とダイナミックレンジの拡大や拡大時のＳ／Ｎ比の向上などを実現できる撮像装置を提供することである。

本発明に係る撮像装置は、第１受光面積を有する第１光電変換部と前記第１受光面積よりも受光面積が小さい第２受光面積を有する複数の第２光電変換部とで構成される画素単位が色成分毎に行方向および列方向に規則的に繰り返し配置され、かつ複数の前記第２光電変換部のうち１つの前記第２光電変換部が他の画素単位を構成する複数の前記第２光電変換部によって囲まれて配置された撮像部と、予め設定された撮影モードに応じて前記撮像部の各画素単位を構成する前記第１光電変換部及び複数の前記第２光電変換部のうち少なくとも１つを選択して画素信号を読み出す選択部と、前記選択部により読み出された画像信号に対して撮影モードに応じた処理を行い、当該画素単位の画像信号として出力する処理部とを有することを特徴とする。

特に、前記撮像部には、複数の前記第２光電変換部のうち１つの前記第２光電変換部が他の画素単位を構成する複数の前記第２光電変換部と行方向及び列方向において隣接して配置されることを特徴とする。

また、前記撮像部の各画素単位を構成する前記第１光電変換部および複数の前記第２光電変換部のいずれかに欠陥がある場合は、前記欠陥がある前記第１光電変換部および複数の前記第２光電変換部の出力を当該画素単位内の欠陥がない前記第１光電変換部および複数の前記第２光電変換部の出力で補正することを特徴とする。

特に、前記処理部は、前記第１光電変換部および複数の前記第２光電変換部の組合せによってダイナミックレンジまたは撮影感度を制御することを特徴とする。

また、前記処理部は、前記第１光電変換部および複数の前記第２光電変換部の少なくとも１つの光電変換部からなる大面積の組と、前記第１光電変換部および複数の前記第２光電変換部の少なくとも１つの光電変換部からなる小面積の組との出力信号の比率を可変して異なるダイナミックレンジの画像信号を出力することを特徴とする。

本発明に係る撮像装置は、偽色低減とダイナミックレンジの拡大や拡大時のＳ／Ｎ比の向上などを実現することができる。

撮像装置１０１のブロック図である。撮像部１０４の画素単位の配置例を示す説明図である。各画素単位におけるサブ画素の配置例を示す説明図である。撮像部１０４の構成例を示す回路図である。「広ダイナミックレンジモード」および「超広ダイナミックレンジモード」におけるサブ画素の組合せ例を示す説明図である。「超々広ダイナミックレンジモード」および「通常感度撮影モード」におけるサブ画素の組合せ例を示す説明図である。欠陥サブ画素の補正処理を説明するための説明図である。ダイナミックレンジの拡張処理を説明するための説明図である。「低感度撮影モード」および「超低感度撮影モード」におけるサブ画素の組合せ例を示す説明図である。各画素単位におけるサブ画素のその他の配置例を示す説明図である。

以下、本発明に係る撮像装置の実施形態について、図面を用いて詳しく説明する。

［撮像装置１０１の構成］
図１は撮像装置１０１の構成を示すブロック図である。撮像装置１０１は、光学系１０２と、メカニカルシャッタ１０３と、撮像部１０４と、画像バッファ１０５と、画像処理部１０６と、制御部１０７と、表示部１０８と、メモリカードＩ／Ｆ１０９と、操作部材１１０と、メモリ１１１とで構成される。

図１において、光学系１０２に入射された被写体光は、メカニカルシャッタ１０５を介して撮像部１０４に結像され画像信号に変換される。そして、撮像部１０４から読み出された画像信号は画像バッファ１０５に取り込まれる。尚、撮像部１０４がアナログの画像信号を出力する場合は画像バッファ１０５に取り込む前にＡ／Ｄ変換部を設ける必要がある。また、撮像部１０４は、受光面積が異なる光電変換部（サブ画素）が少なくとも３個以上で構成される画素単位が行方向および列方向に規則的に繰り返し配置され、被写体光に応じた画像信号を出力する。撮像部１０４の構成については後で詳しく説明する。

画像処理部１０６は、画像バッファ１０５に取り込まれた画像データに対して、ベイヤー配列の画像データをＲＧＢ形式の画像データに変換したり、ホワイトバランス処理や階調処理或いは輪郭強調処理などを施す。

制御部１０７は、内部に予め記憶されているプログラムに従って動作し、操作部材１１０に設けられた各操作ボタンの操作に応じて、撮像装置１０１の各部を制御する。或いは、制御部１０７は、画像バッファ１０５に取り込まれた画像やメモリカードＩ／Ｆ１０９に装着されているメモリカード１０９ａに保存されている撮影済みの画像を表示部１０８に表示する。特に、本実施形態に係る撮像装置１０１は、撮像部１０４から読み出された複数のサブ画素のデータを処理するために、サブ画素選択部１５１と、サブ画素処理部１５２とを有している。尚、操作部材１１０のレリーズボタン１１０ｂが押下されると、撮像部１０４で撮影され画像処理部１０７で画像処理された画像データはメモリカード１０９ａに保存される。また、サブ画素選択部１５１およびサブ画素処理部１５２の処理については後で詳しく説明する。

メモリカードＩ／Ｆ１０９は、不揮発性のメモリカード１０９ａを接続するためのインターフェースで、制御部１０７が出力する撮影画像をメモリカード１０９ａに記憶する。逆にメモリカード１０９ａに記憶された撮影済みの画像を制御部１０７が読み出して表示部１０８に表示する。

表示部１０８は、液晶モニタなどで構成され、制御部１０７が出力するライブビュー画像や撮影済みの画像、或いは撮像装置１０１の操作情報や動作モードなどを設定するためのメニュー画面などを表示する。

操作部材１１０は、先に説明したレリーズボタン１１０ａ以外に、撮影モード選択ダイヤル１１０ｂが設けられている。尚、電源ボタンやカーソルキーなどカメラ操作に必要なボタン類は図示していないが操作部材１１０に含まれている。ユーザーはこれらの操作部材１１０を用いて撮像装置１０１を操作し、操作情報は制御部１０７に出力される。そして、制御部１０７は、操作部材１１０から入力する操作情報に応じて、撮像装置１０１全体の動作を制御する。ここで、本実施形態に係る撮像装置１０１において、撮影モード選択ダイヤル１１０ｂは、広ダイナミックレンジモードと、超広ダイナミックレンジモードと、超々広ダイナミックレンジモードと、通常感度撮影モード（高ＳＮモード，高速モード）と、低感度撮影モードと、超低感度撮影モードとを有する。

メモリ１１１は、撮像装置１０１の動作に必要なパラメータなどが記憶される。例えば選択された撮影モードや撮影する画像の解像度などが記憶される。特に本実施形態では、撮影モード選択ダイヤル１１０ｂで選択される撮影モードに応じたサブ画素の選択位置や組合せなどがテーブルとして記憶されている。

［画素単位とサブ画素の配置例］
次に、本実施形態に係る撮像装置１０１における画素単位とサブ画素の配置例について図２を用いて説明する。図２（ａ）は従来の画素単位の様子を示した図である。図２（ａ）は４行４列のベイヤー配列の画素単位を示す図である。ここで、Ｐｘ（１，１）からＰｘ（４，４）までの（ｘ，ｙ）の表記において、ｘは行をｙは列をそれぞれ示している。例えばＰｘ（１，２）は１行２列目の画素単位を表す。

図２（ａ）は従来の画素単位は、奇数行目にＲ（赤）画素とＧｒ（緑）画素とが交互に配置され、偶数行目にＧｂ（緑）画素とＢ（青）画素とが交互に配置されている。そして、１つの画素単位の形状は紙面右側に示すように四角形になっている。つまり、従来の固体撮像素子の受光面には、１つの光電変換部を有する画素単位は規則的な形状を為し、２次元マトリクス状に画素単位の境界が明確に分離されて配置されている。このため、折り返し歪みが特定の空間周波数に集中して現れることになり、偽色が目立ってしまうという問題があった。

これに対して本実施形態に係る撮像装置１０１の撮像部１０４は、図２（ｂ）に示すように、１つの画素単位が複数の光電変換部（少なくとも３個以上のサブ画素）で構成され、画素単位Ｐｘ（１，１）から画素単位Ｐｘ（４，４）までの１６個の画素単位において、各画素単位の領域は隣接する画素単位の領域と互いにオーバーラップして配置され、且つ各画素単位を構成する複数のサブ画素が互いに重ならないように配置される。例えば、図２（ｂ）のＲの画素単位Ｐｘ（３，３）は、その周囲の８つの画素単位（Ｐｘ（２，２），Ｐｘ（２，３），Ｐｘ（２，４），Ｐｘ（３，２），Ｐｘ（３，４），Ｐｘ（４，２），Ｐｘ（４，３），Ｐｘ（４，４））と２次元上で互い入り組んで配置され、一部のサブ画素は飛び地のように隣接する画素単位の中に入り込んでいる。これにより、折り返し歪みが空間周波数上で分散されるため偽色が目立ちにくくなるという効果が得られる。

ここで、図２において、Ｒの画素単位，Ｇｒの画素単位，Ｇｂの画素単位およびＢの画素単位は、図３に示すように同じ形状になるように複数のサブ画素が配置される。また、本実施形態の説明では、Ｒ，Ｇｒ，ＧｂおよびＢの各色に共通の場合は、図３に示すようにＳｐ（Ｓｕｂｐｉｘｅｌの略）と表記するものとする。例えば図３において、Ｒのサブ画素Ｒ１とＢのサブ画素Ｂ１とＧｒのサブ画素Ｇｒ１とＧｂのサブ画素Ｇｂ１はサブ画素Ｓｐ１と表記する。Ｓｐ２からＳｐ６についても同様である。

また、本実施形態に係る撮像装置１０１では、撮像部１０４の各画素単位は、最大受光面積の１つのサブ画素Ｓｐ１（１つの親光電変換部に相当）と、サブ画素Ｓｐ１よりも受光面積が小さい５つのサブ画素Ｓｐ２からＳｐ６（複数の子光電変換部に相当）とで構成される。そして、サブ画素（Ｓｐ２，Ｓｐ３，Ｓｐ４，Ｓｐ５，Ｓｐ６）の面積は同じものとし、サブ画素Ｓｐ１とサブ画素（Ｓｐ２からＳｐ６）の面積比は４：１であるものとする。但し、上記のように２種類の面積ではなく、３種類の面積のサブ画素の組合せでも構わないし、全てのサブ画素の面積が異なっていても構わない。尚、本実施形態では各サブ画素は１つの光電変換部を有するものとするが、サブ画素に更に複数の光電変換部を設けても構わない。

［撮像部１０４の回路例］
図４は、撮像部１０４の回路例を示すブロック図である。図４に示した撮像部１０４は、２行２列の４つの画素単位しか描かれていないが、１０００行１０００列の１００万画素で構成される場合も同様の回路が繰り返し配置されるだけである。尚、図４は、図３で説明した６つのサブ画素が１つの画素単位に配置される場合の回路例である。

撮像部１０４は、１行１列目に画素単位Ｐｘ（１，１）が配置され、１行２列目に画素単位Ｐｘ（１，２）が配置され、２行１列目に画素単位Ｐｘ（２，１）が配置され、２行２列目に画素単位Ｐｘ（２，２）が配置される。ここで、各画素単位は画素単位Ｐｘ（１，１）と同じ回路で構成されるので、画素単位Ｐｘ（１，１）の回路について説明する。

画素単位Ｐｘ（１，１）は、６つのサブ画素（Ｓｐ１，Ｓｐ２，Ｓｐ３，Ｓｐ４，Ｓｐ５，Ｓｐ６）で構成される。

１つの大口径（大面積）のサブ画素Ｓｐ１は他のサブ画素とは異なり、フォトダイオードＰＤ１と、転送トランジスタＴｒＸ１と、浮遊拡散領域ＦＤと、リセットトランジスタＴｒＲと、増幅トランジスタＴｒＡと、選択トランジスタＴｒＳとで構成される。例えば、サブ画素Ｓｐ１の転送トランジスタＴｒＸ１に転送タイミング信号φＴＸ１（１）が入力されると、フォトダイオードＰＤ１に蓄積された電荷がサブ画素Ｓｐ１の浮遊拡散領域ＦＤに転送される。浮遊拡散領域ＦＤに転送された電荷は、増幅トランジスタＴｒＡで電圧信号に変換され、選択トランジスタＴｒＳのゲートに選択タイミング信号φＳＥＬ（１）が入力されると定電流源ＰＷ（１）とソースフォロワを構成する垂直信号線ＶＬＩＮＥ（１）にサブ画素Ｓｐ１の画像信号が読み出される。尚、選択タイミング信号φＳＥＬ（１）が入力されると、同じ行の２列目の画素単位Ｐｘ（１，２）のサブ画素Ｓｐ１からも同様に定電流源ＰＷ（２）とソースフォロワを構成する垂直信号線ＶＬＩＮＥ（２）に画像信号が読み出される。

また、５つの小口径（小面積）のサブ画素（Ｓｐ２，Ｓｐ３，Ｓｐ４，Ｓｐ５，Ｓｐ６）は、フォトダイオード（ＰＤ２，ＰＤ３，ＰＤ４，ＰＤ５，ＰＤ６）と転送トランジスタ（ＴｒＸ２，ＴｒＸ３，ＴｒＸ４，ＴｒＸ５，ＴｒＸ６）のみで構成され、各転送トランジスタの出力はサブ画素Ｓｐ１の浮遊拡散領域ＦＤに接続される。そして、垂直走査回路ＶＳＣＡＮから転送タイミング信号（φＴＸ２（１），φＴＸ３（１），φＴＸ４（１），φＴＸ５（１），φＴＸ６（１））が各転送トランジスタのゲートにそれぞれ入力される。転送タイミング信号が各転送トランジスタのゲートに入力されると、各フォトダイオードに蓄積された電荷がサブ画素Ｓｐ１の浮遊拡散領域ＦＤに転送される。例えば、サブ画素Ｓｐ２の転送トランジスタＴｒＸ２に転送タイミング信号φＴＸ２（１）が入力されると、フォトダイオードＰＤ２に蓄積された電荷がサブ画素Ｓｐ１の浮遊拡散領域ＦＤに転送される。浮遊拡散領域ＦＤに転送された電荷は、先に説明したサブ画素Ｓｐ１の場合と同様に、垂直信号線ＶＬＩＮＥ（１）に読み出される（サブ画素Ｓｐ２の画像信号）。

サブ画素Ｓｐ２以外のサブ画素（Ｓｐ３，Ｓｐ４，Ｓｐ５，Ｓｐ６）についても垂直走査回路ＶＳＣＡＮから出力されるそれぞれの転送タイミング信号（φＴＸ３（１），φＴＸ４（１），φＴＸ５（１），φＴＸ６（１））に応じて、同様に垂直信号線ＶＬＩＮＥ（１）にサブ画素Ｓｐ２の画像信号が読み出される。また、画素単位Ｐｘ（１，２），画素単位Ｐｘ（２，１）および画素単位Ｐｘ（２，２）についても同様に対応する各列の垂直信号線（ＶＬＩＮＥ（１），ＶＬＩＮＥ（２））に画像信号がそれぞれ読み出される。

各列の垂直信号線に読み出された画像信号は、各列の信号保持部（Ｓｇ（１），Ｓｇ（２））に保持される。尚、信号保持部（Ｓｇ（１），Ｓｇ（２））は、浮遊拡散領域ＦＤの電荷をリセットした時に読み出すダーク信号と、各フォトダイオードの電荷を浮遊拡散領域ＦＤに転送後に読み出す光信号とを一時的に保持する。例えば垂直信号線ＶＬＩＮＥ（１）にダーク信号が読み出されている時に、垂直走査回路ＶＳＣＡＮのタイミング信号φＴＤがダーク信号用入力トランジスタＴｒＤｉのゲートに入力されるとダーク信号用コンデンサＣｄに一時的に保持される。同様に、垂直信号線ＶＬＩＮＥ（１）に光信号が読み出されている時に、垂直走査回路ＶＳＣＡＮのタイミング信号φＴＳが光信号用入力トランジスタＴｒＳｉのゲートに入力されると光信号用コンデンサＣｓに一時的に保持される。

そして、水平走査回路ＨＳＣＡＮから出力される水平出力タイミング信号（φＨ１，φＨ２）がダーク信号用出力トランジスタＴｒＤｏおよび光信号用出力トランジスタＴｒＳｏに入力されると、ダーク信号用コンデンサＣｄおよび光信号用コンデンサＣｓに保持されていた各信号が出力差動アンプＤＡＭＰに入力される。出力差動アンプＤＡＭＰは、回路のばらつきなどによるノイズ成分を除去するために光信号からダーク信号を減算して画像信号ＩＭＧｏｕｔを出力する。同様の動作を各行の画素単位で行われ、特に本実施形態に係る撮像装置１０１の場合は、各行の画素単位のサブ画素単位で画像信号が撮像部１０４から読み出される。尚、上記の説明では、撮像部１０４はアナログの画像信号を出力するものとしてが、撮像部１０４の回路内にＡ／Ｄ変換部を設けてデジタルの画像信号を出力するようにしても構わないし、撮像部１０４と画像バッファ１０５との間にＡ／Ｄ変換部を設けても構わない。

このように、本実施形態に係る撮像装置１０１は、１つの画素単位が複数のサブ画素で構成され、それぞれのサブ画素から画像信号を読み出すことができる。［撮像装置１０１の撮影モードとサブ画像の選択および組合せ］
次に、本実施形態に係る撮像装置１０１の撮影モードとサブ画像の選択および組合せについて説明する。本実施形態に係る撮像装置１０１は、１つの画素単位が複数のサブ画素で構成されので、複数のサブ画素の選択や組合せによって、撮像部１０４で被写体を撮影する際のダイナミックレンジや感度を変えることができる。本実施形態に係る撮像装置１０１では、操作部材１１０の撮影モード選択ダイヤル１１０ａによって、「広ダイナミックレンジモード」，「超広ダイナミックレンジモード」，「超々広ダイナミックレンジモード」，「通常感度撮影モード」，「高感度撮影モード」，「超高感度撮影モード」，「低感度撮影モード」，「超低感度撮影モード」など様々な種類のダイナミックレンジや感度に設定して撮影することができる。そして、操作部材１１０の撮影モード選択ダイヤル１１０ａでこれらの撮影モードが選択されると、制御部１０７のサブ画素選択部１５１は、各撮影モードに応じたサブ画像を選択して、撮像部１０４から選択されたサブ画素の画像信号を読み出すよう制御する。選択されたサブ画素の情報はサブ画素処理部１５２にも出力される。そして、サブ画素処理部１５２は、画像バッファ１０５に取り込まれたサブ画素の画像データを各撮影モードに応じて処理する。

以下、サブ画素選択部１５１およびサブ画素処理部１５２によって実行される各撮影モードにおけるサブ画像の選択および組合せと処理方法について説明する。

「広ダイナミックレンジモード」
図５（ａ）の例は、操作部材１１０の撮影モードダイヤル１１０ａで「広ダイナミックレンジモード」が選択された時の撮像部１０４から読み出すサブ画素の位置を示している。

図５（ａ）において、制御部１０７は撮像部１０４から大口径のサブ画素（Ｓｐ１）画素と小口径のサブ画素（Ｓｐ３，Ｓｐ４）の画像信号をそれぞれ読み出す。そして、サブ画素Ｓｐ３とＳｐ４とを加算した出力信号と、サブ画素Ｓｐ１の出力信号とを組み合わせてダイナミックレンジを拡張した画像信号を生成する。尚、ダイナミックレンジの拡張処理については後で詳しく説明する。

「超広ダイナミックレンジモード」
図５（ｂ）の例は、操作部材１１０の撮影モードダイヤル１１０ａで「超広ダイナミックレンジモード」が選択された時の撮像部１０４から読み出すサブ画素の位置を示している。

図５（ｂ）において、制御部１０７は撮像部１０４から大口径のサブ画素（Ｓｐ１）画素と小口径のサブ画素（Ｓｐ２）の画像信号をそれぞれ読み出す。そして、サブ画素Ｓｐ１と、サブ画素Ｓｐ２の出力信号とを組み合わせてダイナミックレンジを拡張した画像信号を生成する。

「超々広ダイナミックレンジモード」
図６（ａ）の例は、操作部材１１０の撮影モードダイヤル１１０ａで「超々広ダイナミックレンジモード」が選択された時の撮像部１０４から読み出すサブ画素の位置を示している。

図６（ａ）において、制御部１０７は撮像部１０４から大口径のサブ画素（Ｓｐ１）画素と小口径の３つのサブ画素（Ｓｐ２，Ｓｐ３，Ｓｐ４）の画像信号を読み出す。そして、サブ画素Ｓｐ１とＳｐ３とＳｐ４とを加算した出力信号と、サブ画素Ｓｐ２の出力信号とを組み合わせてダイナミックレンジを拡張した画像信号を生成する。

［ダイナミックレンジの拡張処理］
ここで、ダイナミックレンジの拡張処理について簡単に説明する。図７（ａ）から図７（ｄ）の４つの図は、横軸が時間で縦軸が画素の出力（量子化レベル）を示した図である。尚、ここでの説明では、撮像部１０４はアナログの画像信号を８ビット階調（２５６階調）で量子化するものとする。

図７（ａ）は、図５（ｂ）のサブ画素の組合せに対応し、小面積画素と大面積画素の面積比が（１：４）の場合の時間と出力の関係を示している。図７（ａ）において、大面積画素は小面積画素よりも高感度であるため速く飽和する。つまり、高輝度被写体の場合、大面積画素は飽和してしまうが小面積画素は飽和しにくい。そこで、図７（ｂ）に示すように、大面積画素の出力信号と小面積画素の出力信号とを組み合わせてダイナミックレンジを拡張する。ダイナミックレンジの拡張は、例えば小面積画素の特性を４倍して１０２３階調まで展開し、０階調から２５５階調までの範囲を大面積画素の出力信号を用い、２５６階調から１０２３階調までを小面積画素の出力信号を用いることで実現できる。これにより、暗い部分は大面積画素の出力信号を用いるのでＳＮ比が向上し、高輝度被写体であっても小面積画素の出力信号を用いるので飽和して白飛びになることを防止できる。

尚、図７（ａ）の例では、小面積画素と大面積画素の面積比を（１：４）としたが、それほど高輝度ではないが大面積画素では飽和してしまう場合は図７（ｃ）の例のように、小面積画素と大面積画素の面積比を（２：４（１：２））としても構わない。これにより、２５５階調以上の明るい部分の階調特性を図７（ａ）の場合より滑らかにすることができ、画質が向上する。尚、図７（ｃ）は、図５（ａ）のサブ画素の組合せに対応する。

或いは、逆に、図７（ｄ）の例のように、小面積画素と大面積画素の面積比を（１：６）としても構わない。これにより、図７（ａ）の場合よりさらに高輝度被写体であっても白飛びすることなく撮影が可能である。尚、図７（ｄ）は、図６（ａ）のサブ画素の組合せに対応する。

尚、図６（ａ）の例では、サブ画素の組合せによる面積比が（１：６）になるように、１つのサブ画素（Ｓｐ２）と３つのサブ画素（Ｓｐ１，Ｓｐ３，Ｓｐ４）とを選択したが、本実施形態に係る撮像装置１０１の固体撮像素子の１つの画素単位は図３のように６つのサブ画素で構成されるので、例えば１つのサブ画素（Ｓｐ２）と５つのサブ画素（Ｓｐ１，Ｓｐ３，Ｓｐ４，Ｓｐ５，Ｓｐ６）とを選択して、サブ画素の組合せによる面積比が（１：８）にすることも可能である。また、この場合のサブ画素の組合せは、１つのサブ画素（Ｓｐ４）と５つのサブ画素（Ｓｐ１，Ｓｐ２，Ｓｐ３，Ｓｐ５，Ｓｐ６）としても構わないし、１つのサブ画素（Ｓｐ５）と５つのサブ画素（Ｓｐ１，Ｓｐ２，Ｓｐ３，Ｓｐ４，Ｓｐ６）としても構わない。さらに１つの画素単位が７つ以上のサブ画素で構成される場合でも、最小面積の１つのサブ画素とそれ以外の全サブ画素とを組み合わせることで最大の面積比を得ることができる。

このようにして、本実施形態に係る撮像装置１０１は、複数のサブ画素の選択および組合せによって、様々なダイナミックレンジの画像信号を生成することができので、被写体に応じた最適なダイナミックレンジで画像を撮影することができる。

以上、本実施形態に係る撮像装置１０１を利用して、ダイナミックレンジを広くする場合について説明したが、複数のサブ画素の選択方法によって、感度を変えることも可能である。以下の説明では、大口径のサブ画素（Ｓｐ１）の画像信号だけを利用する場合を通常感度と定義し、この場合に比較して低感度または高感度という表現を用いるものとする。

「通常感度撮影モード（高速モード）」
図６（ｂ）の例は、操作部材１１０の撮影モードダイヤル１１０ａで「通常感度撮影モード（高速モード）」が選択された時の撮像部１０４から読み出すサブ画素の位置を示している。

図６（ｂ）において、制御部１０７は撮像部１０４から大口径のサブ画素（Ｓｐ１）の画像信号だけを読み出し、そのまま画像データとして利用する。この場合は、加算処理を行わずに最も大きなサブ画素Ｓｐ１の画像信号のみを読み出すので、特に加算処理をソフト的に行っている場合は高速化が可能である。

「高感度撮影モード」
先に説明した図５（ａ）のように３つのサブ画素（Ｓｐ１，Ｓｐ３，Ｓｐ４）を選択して、これらの３つのサブ画素（Ｓｐ１，Ｓｐ３，Ｓｐ４）の出力信号を加算して画像データとして利用する。この場合は、サブ画素Ｓｐ１だけを利用する場合に比べてサブ画素の面積が１．５倍になるので、「通常感度撮影モード」の１．５倍の高感度撮影が可能になる。

「超高感度撮影モード」
この場合は、例えば図３に示した１つ画素単位において、５つのサブ画素（Ｓｐ２，Ｓｐ３，Ｓｐ４，Ｓｐ５，Ｓｐ６）を選択して、これらの５つのサブ画素（Ｓｐ２，Ｓｐ３，Ｓｐ４，Ｓｐ５，Ｓｐ６）の出力信号を加算して画像データとして利用する。これにより、サブ画素Ｓｐ１だけを利用する場合に比べてサブ画素の面積が２．２５倍になるので、「通常感度撮影モード」の２．２５倍の超高感度撮影が可能になる。

尚、５つのサブ画素（Ｓｐ２，Ｓｐ３，Ｓｐ４，Ｓｐ５，Ｓｐ６）の内、いずれか４つのサブ画素を選択して、選択した４つのサブ画素の出力信号を加算するようにしても構わない。この場合は、サブ画素Ｓｐ１だけを利用する場合に比べてサブ画素の面積が丁度２倍になるので、「通常感度撮影モード」の２倍の高感度撮影が可能になる。

「低感度撮影モード」
図８（ａ）の例は、操作部材１１０の撮影モードダイヤル１１０ａで「低感度撮影モード」が選択された時の撮像部１０４から読み出すサブ画素の位置を示している。

図８（ａ）において、制御部１０７は撮像部１０４から小口径のサブ画素（Ｓｐ３，Ｓｐ４）の画像信号をそれぞれ読み出す。そして、サブ画素Ｓｐ３の出力信号とサブ画素Ｓｐ４の出力信号を加算して画像信号を生成する。この場合、サブ画素（Ｓｐ３）とサブ画素（Ｓｐ４）の面積の合計は、大口径のサブ画素（Ｓｐ１）の１／２になるので、感度もサブ画素（Ｓｐ１）の１／２となる。
（感度）：（Ｓｐ３）＋（Ｓｐ４）＝（Ｓｐ１）／２
「超低感度撮影モード」
図８（ｂ）の例は、操作部材１１０の撮影モードダイヤル１１０ａで「超低感度撮影モード」が選択された時の撮像部１０４から読み出すサブ画素の位置を示している。

図８（ｂ）において、制御部１０７は撮像部１０４から小口径のサブ画素（Ｓｐ６）の画像信号だけを読み出す。そして、サブ画素Ｓｐ６の出力信号をそのまま画像信号として用いる。この場合、サブ画素（Ｓｐ６）の面積は、大口径のサブ画素（Ｓｐ１）の１／４になるので、感度もサブ画素（Ｓｐ１）の１／４となる。
（感度）：（Ｓｐ６）＝（Ｓｐ１）／４
尚、サブ画素（Ｓｐ６）の代わりに同じ小口径のサブ画素（Ｓｐ２，Ｓｐ３，Ｓｐ４，Ｓｐ５）の４つのサブ画素のいずれか１つのサブ画素の出力信号を用いても構わない。

［ライブビュー画像や動画撮影への適用］
本実施形態に係る撮像装置１０１では、多様な感度調節が可能になるので静止画の撮影だけでなく、ライブビュー画像（スルー画像とも呼ぶ）や動画の撮影にも有効である。一般にライブビュー画像や動画の撮影は電子シャッターによって行われるので、シャッター速度の低速側はライブビュー画像や動画のフレームレートで制限される。例えばライブビュー画像または動画のフレームレートが３０フレーム／秒の場合、画像の取り込みなどの他の処理を無視して単純に考えるとシャッター速度を１／３０秒より遅くすることはできない。このため従来の撮像装置では、絞りが最小絞りになっている場合や被写界深度を変えたくない場合には対応することができない。これに対して本実施形態に係る撮像装置１０１では、先に説明したように、１つの画素単位を構成する複数のサブ画素の選択方法によって様々な低感度化が実現できるので多様な撮影が可能になる。尚、シャッター速度の高速側はライブビュー画像や動画の１フレーム撮影期間の垂直ブランキング期間を制御することで１／８０００秒など超高速シャッターを実現可能である。

［サブ画素の画素欠陥補正］
先に説明した本実施形態に係る撮像装置１０１は、１つの画素単位が複数の光電変換部（複数のサブ画素）で構成され、これらのサブ画素の組合せによって広ダイナミックレンジ撮影や低感度撮影を実現するようになっている。ところが、複数のサブ画素のいずれかに欠陥画素がある場合に問題が生じる。ここでは、大口径のサブ画素や小口径のサブ画素に画素欠陥があった場合の補正方法について説明する。尚、画素欠陥があるか否かの判別方法は、本実施形態の主要部分ではないので詳細な説明は省略するが、例えば一様な光量の被写体をテスト撮影して、各サブ画素の出力信号が所定範囲内にあるか否かを試験すればよい。

（大口径のサブ画素の画素欠陥補正方法）
先ず、大口径のサブ画素に画素欠陥がある場合の補正例について説明する。例えば図９（ａ）の例では、大口径の青色（Ｂ）のサブ画素Ｂ１に画素欠陥があり、サブ画素Ｂ１の出力信号が利用できない場合を示している。この場合、図９（ａ）において、サブ画素Ｂ１に隣接する同じ青色の４つの小口径のサブ画素（Ｂ３，Ｂ４，Ｂ５，Ｂ６）の出力信号を加算する。この結果、図９（ｂ）に示すような大口径の仮想画素Ｂｍが４つのサブ画素（Ｂ３，Ｂ４，Ｂ５，Ｂ６）の中心位置に仮想的に合成されることになる。そして、この仮想画素Ｂｍの出力信号（４つのサブ画素（Ｂ３，Ｂ４，Ｂ５，Ｂ６）の出力信号の加算値）を欠陥のあるサブ画素Ｂ１の出力信号として利用する。

このようにして、大口径のサブ画素に画素欠陥がある場合の補正を行うことができる。尚、図９（ａ）の例では、４つの小口径のサブ画素（Ｂ３，Ｂ４，Ｂ５，Ｂ６）を用いたが、図３で説明した５つの小口径のサブ画素（Ｓｐ２，Ｓｐ３，Ｓｐ４，Ｓｐ５，Ｓｐ６）のいずれか４つのサブ画素を組み合わせても構わない。

（小口径のサブ画素の画素欠陥補正方法）
次に、小口径のサブ画素に画素欠陥がある場合の補正例について説明する。特に小口径のサブ画素が単独で１つ使用される図８（ｂ）のような「超低感度撮影モード」の場合は当該画素の出力信号が全く得られないので大きな問題となり、画素欠陥補正が重要である。

例えば図９（ｃ）の例では、小口径の赤色（Ｒ）のサブ画素Ｒ２に画素欠陥があり、サブ画素Ｒ２の出力信号が利用できない場合を示している。この場合、サブ画素Ｒ２の周辺の同じ赤色の小口径のサブ画素の出力信号をサブ画素Ｒ２の出力信号として利用する。例えば図９（ｃ）において、実線矢印で示したように、小口径の赤色のサブ画素Ｒ４の出力信号をサブ画素Ｒ２の出力信号として利用する。或いは、点線矢印で示したように、同じ画素単位Ｐｘ（１，１）内の他の小口径の赤色のサブ画素Ｒ３の出力信号をサブ画素Ｒ２の出力信号として利用しても構わない。または、一点鎖線の矢印で示したように、隣接する異なる画素単位Ｐｘ（３，３）の小口径の赤色のサブ画素（Ｒ５，Ｒ６）のいずれかの出力信号をサブ画素Ｒ２の出力信号として利用しても構わない。

このようにして、小口径のサブ画素に画素欠陥がある場合の補正を行うことができる。尚、できるだけ図９（ａ）の例では、４つの小口径のサブ画素（Ｂ３，Ｂ４，Ｂ５，Ｂ６）を用いたが、図３で説明した５つの小口径のサブ画素（Ｓｐ２，Ｓｐ３，Ｓｐ４，Ｓｐ５，Ｓｐ６）のいずれか４つのサブ画素を組み合わせても構わない。

ここで、半導体の製造工程上、撮像部１０４の受光面の画素単位全てに亘って特定のサブ画素（例えばＳｐ２）に画素欠陥が多く発生する場合が想定される。このような場合は、画素欠陥の多いサブ画素（例えばＳｐ２）を上記のように補正するのではなく、特定のサブ画素（例えばＳｐ２）の信号を読み出さず、代わりのサブ画素（例えばＳｐ６など）の信号を読み出すように変更しても構わない。例えば図５（ｂ）で説明した「超広ダイナミックレンジモード」でサブ画素（Ｓｐ２）に欠陥がある場合は、他の同じ口径のサブ画素（Ｓｐ３，Ｓｐ４，Ｓｐ５，Ｓｐ６）のいずれかの出力信号をサブ画素（Ｓｐ２）の出力信号の代わりに利用すればよい。これにより、画素欠陥補正を行わなければならないサブ画素の数を少なくすることができ、処理負担が軽減される。

（サブ画素配置の変形例）
先の実施形態では、図３で説明したように、１つの画素単位を構成する複数のサブ画素は、大口径のサブ画素Ｓｐ１を中心として紙面左上から右下方向に伸びた矢印状に配置されていたが、図３の形状である必要はない。ここでは、図３とは異なるサブ画素の配置例について説明する。

図１０は、サブ画素配置の変形例を示す図である。図１０において、赤色（Ｒ）の画素単位，青色（Ｂ）の画素単位，Ｒと同じ行の緑色（Ｇｒ）の画素単位およびＢと同じ行の緑色（Ｇｂ）の画素単位は、紙面右側に斜線で示したように全て同じサブ画素の配置になっている。尚、大口径のサブ画素Ｓｐ１の配置および大きさは図２（ｂ）および図３と同じである。本変形例では小口径の５つのサブ画素（Ｓｐ７，Ｓｐ８，Ｓｐ９，Ｓｐ１０，Ｓｐ１１）の配置が異なり、大口径のサブ画素Ｓｐ１の周囲に不規則に配置されている。

ここで、画素単位Ｐｘ（１，１）から画素単位Ｐｘ（４，４）までの１６個の画素単位において、各画素単位の領域は隣接する画素単位の領域と互いにオーバーラップして配置され、且つ各画素単位を構成する複数のサブ画素（光電変換部）が互いに重ならないように配置される。これにより、図２（ｂ）の場合と同様に、折り返し歪みが空間周波数上で分散されるため偽色が目立ちにくくなるという効果が得られる。また、偽色低減だけでなく、各画素単位を構成する複数のサブ画素の選択方法や組合せによってダイナミックレンジの拡大や拡大時のＳ／Ｎ比の向上或いは撮影感度の調整などを行うことができる。

尚、図２や図１０で説明したサブ画素の数や配置は一例であり、各画素単位の領域は隣接する画素単位の領域と互いにオーバーラップして配置され、且つ各画素単位を構成する複数の光電変換部が互いに重ならないように配置されるという特徴を有していれば、本実施形態に係る撮像装置１０１と同様の効果が得られる。

また、上記の実施形態では、撮像部１０４から画像バッファ１０５に読み出されたサブ画素の画像データを制御部１０７のサブ画素選択部１５１およびサブ画素処理部１５２によってソフトウェアで処理するようにしたが、図４で説明した撮像部１０４の回路内の各垂直信号線ＶＬＩＮＥ毎に加算回路を設けてハードウェアで処理するようにしても構わない。

以上、本発明に係る撮像装置の実施形態について説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１０１・・・撮像装置１０２・・・光学系
１０３・・・メカニカルシャッタ１０４・・・撮像部
１０５・・・画像バッファ１０６・・・画像処理部
１０７・・・制御部１０８・・・表示部
１０９・・・メモリカードＩ／Ｆ１１０・・・操作部材
１１０ａ・・・撮影モード選択ダイヤル１１０ｂ・・・レリーズボタン
１１１・・・メモリ１５１・・・サブ画素選択部
１５２・・・サブ画素処理部
Ｐｘ（１，１）からＰｘ（４，４）・・・画素単位
Ｓｐ１からＳｐ６・・・サブ画素
ＰＤ１からＰＤ６・・・フォトダイオード
ＴｒＸ１からＴｒＸ６・・・転送トランジスタ
ＦＤ・・・浮遊拡散領域
ＴｒＲ・・・リセットトランジスタ
ＴｒＡ・・・増幅トランジスタ
ＴｒＳ・・・選択トランジスタ
ＰＷ（１），ＰＷ（２）・・・定電流源
ＶＬＩＮＥ（１），ＶＬＩＮＥ（２）・・・垂直信号線
ＶＳＣＡＮ・・・垂直走査回路
Ｓｇ（１），Ｓｇ（２）・・・信号保持部
ＨＳＣＡＮ・・・水平走査回路

Claims

第１受光面積を有する第１光電変換部と前記第１受光面積よりも受光面積が小さい第２受光面積を有する複数の第２光電変換部とで構成される画素単位が色成分毎に行方向および列方向に規則的に繰り返し配置され、かつ複数の前記第２光電変換部のうち１つの前記第２光電変換部が他の画素単位を構成する複数の前記第２光電変換部によって囲まれて配置された撮像部と、
予め設定された撮影モードに応じて前記撮像部の各画素単位を構成する前記第１光電変換部及び複数の前記第２光電変換部のうち少なくとも１つを選択して画素信号を読み出す選択部と、
前記選択部により読み出された画像信号に対して撮影モードに応じた処理を行い、当該画素単位の画像信号として出力する処理部と
を有することを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記撮像部には、複数の前記第２光電変換部のうち１つの前記第２光電変換部が他の画素単位を構成する複数の前記第２光電変換部と行方向及び列方向において隣接して配置される
ことを特徴とする撮像装置。
請求項１または２に記載の撮像装置において、
前記撮像部の各画素単位を構成する前記第１光電変換部および複数の前記第２光電変換部のいずれかに欠陥がある場合は、前記欠陥がある前記第１光電変換部および複数の前記第２光電変換部の出力を当該画素単位内の欠陥がない前記第１光電変換部および複数の前記第２光電変換部の出力で補正する
ことを特徴とする撮像装置。
請求項１から３のいずれか一項に記載の撮像装置において、
前記処理部は、前記第１光電変換部および複数の前記第２光電変換部の組合せによってダイナミックレンジまたは撮影感度を制御する
ことを特徴とする撮像装置。
請求項４に記載の撮像装置において、
前記処理部は、前記第１光電変換部および複数の前記第２光電変換部の少なくとも１つの光電変換部からなる大面積の組と、前記第１光電変換部および複数の前記第２光電変換部の少なくとも１つの光電変換部からなる小面積の組との出力信号の比率を可変して異なるダイナミックレンジの画像信号を出力する
ことを特徴とする撮像装置。