JP5127476B2 - 撮像装置 - Google Patents

Description

本発明は、撮像用画素と焦点検出用画素と備える撮像装置に関する。

カラーフィルターを有した撮像素子は、動画を撮像するビデオカメラや静止画を撮像するデジタルスチルカメラなどの各種映像機器で利用されている。

近年、半導体技術の進歩により、数百万画素の撮像素子が開発され、高解像度が要求されるデジタルカメラ等で実用化されている。そのような数百万画素を超える高解像度のカメラにおいても、動画撮像や静止画撮像前のモニタリングなど、低解像度でよい場合には、低画素数で撮像するのが一般的である。

高解像度の撮像では、撮像素子からほぼ全画素信号が読み出される。これに対し、低解像度の撮像では、画素信号の間引き読み出しや、画素信号の間引き及び加算の両方を行った読み出しが行われている。

特許文献１は、４×４画素を単位として同一色を間引いて読み出し加算を行う撮像装置を開示している。

特許文献２は、４×４画素を１グループとして、加算前の各色の空間的色配置と、加算後の各色の空間的配置が同じになるように複数の画素信号を加算する撮像装置を開示している。

一方、撮像素子の一部の領域を焦点調節のために使用し、位相差検出方式のオートフォーカス（以下「ＡＦ」という。）を行う撮像装置が提案されている。

特許文献３は、光電変換部群の一部が撮像レンズの瞳の特定領域を透過する光束を受光するように構成された撮像装置を開示している。特許文献３では、これら特定の光電変換部が配置された画素（以下「焦点検出用画素」という。）の出力から得られる第一の像信号と第二の像信号の位相差に基づいて撮像レンズの焦点状態を検出する。ここで、位相差とは、二つの像信号の相対的な位置関係をいう。また、通常の画像を撮像する場合は、焦点検出用画素を除いた光電変換部群（以下「撮像用画素」という。）で画像を生成している。

特許文献４は、撮像素子が、画素信号を撮像用に用いるための撮像用領域（撮像用画素）と、画素信号を焦点検出用に用いるための焦点検出領域（焦点検出用画素）で構成されている。特許文献４では、焦点検出領域では画像データが得られないので、周辺撮像用領域の画像データで補間している。
特開平０９−２４７６８９号公報 特開２００１−０３６９２０号公報 特開２０００−１５６８２３号公報 特開２０００−３０５０１０号公報

しかしながら、特許文献３では、高解像度の撮像素子を用いて低解像度の撮像を行う間引き読み出しモードにおいて、撮像素子から読み出される画素には焦点検出用画素が含まれない。そのため、低解像度の撮像中には焦点検出ができないという問題がある。

また、特許文献４では、高解像度の撮像素子を用いて低解像度の撮像を行うことは考慮されていない。低解像度の撮像では、画素信号の間引き読み出しや、画素信号の間引きと加算の両方を行った読み出しが行われる。そのため、焦点検出用画素の配置によっては、補間に用いられる周辺撮像用画素が存在しないという問題がある。

本発明は、上記の問題点に鑑みてなされたものであり、間引き読み出しを行う場合に、焦点検出を適切に行うことが可能な撮像装置を提供することができる。

本発明は、撮像装置に係り、撮像用画素群及び焦点検出用画素群が、設定された色配列で配列された撮像手段と、前記撮像用画素及び前記焦点検出用画素の信号を、複数の画素を間引き単位として間引いて読み出す間引き読み出し手段と、を備え、前記間引き読み出し手段は、前記間引き単位を、前記撮像用画素を含み前記焦点検出用画素を含まない第１のグループと、前記焦点検出用画素を含む第２のグループとに分け、間引き読み出しにおいて、前記第１のグループと前記第２のグループとを、水平方向に交互に配置して読み出すことを特徴とする。

本発明によれば、間引き読み出しを行う場合に、焦点検出を適切に行うことが可能な撮像装置を提供することができる。

（第１の実施形態）
図１は、本発明の好適な第１の実施形態に係る撮像装置のブロック図である。

図１において、１０はレンズや絞り等で構成された結像光学部であり、フォーカス調節や露出調節を行う。

１１は光学像を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子である。１２は撮像素子１１の動作を制御する撮像素子制御部である。１３は撮像素子１１からのアナログ画像信号をデジタル信号に変換するＡ／Ｄ変換回路である。１４はＡ／Ｄ変換回路１３の出力データにガンマ処理、補間処理、マトリクス変換等を施して映像データを作成する信号処理部である。１５は焦点検出のための位相差検出を行う位相差検出部である。１６はメモリ（ＤＲＡＭ）１７との間で映像データや各種制御データの書き込み／読み出しを行うメモリＩ／Ｆである。１８はメモリ１７に記憶されている映像データを読み出して液晶モニター１９に表示する表示制御部である。２０は各種制御を司るＣＰＵであり、位相差検出部１５からの検出結果に基づいて結像光学部１０を制御する。２１は、焦点検出用画素の位置情報などを格納するＲＯＭである。なお、ＲＯＭ２１はフラッシュメモリでも構わない。

図２は、本発明の好適な第１の実施形態に係る撮像素子１１に二次元配列された画素配列の一部を示した図である。ここでは、２４×１６画素の画素配列を例示的に示したが、本発明はこれに限定されない。

図２において、丸で表された画素は、画像データを形成するための撮像用画素を示し、四角で表された画素は位相差検出方式の焦点検出に使用するための焦点検出用画素をそれぞれ示している。また、破線で囲まれた８×４画素の１グループは、後述する第１の実施形態における低解像度での間引き読み出しの間引き単位である。なお、図２において、例えば４列目と５列目の画素間隔や、８行目と９行目の画素間隔は他よりも広く図示したが、これは間引き読み出しの単位を分かりやすく説明するために図示したに過ぎない。従って、実際の撮像素子では、画素は等間隔に配置されうる。

撮像用画素群は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の設定された色配列で配列されている。このような色配列としては、ベイヤー配列などがある。ベイヤー配列では、ＲとＢとの間に市松状にＧが配置され、２×２の４画素で基本色配列が構成されている。

一方、焦点検出用画素群は、Ｓ１、Ｓ２の２種類の画素で構成され、Ｓ１とＳ２とでは撮像レンズ内の異なる瞳位置を透過する光束を受光するように構成されている。ここで、Ｓ１、Ｓ２は２×２の基本色配列内でそれぞれＲ、Ｂの場所に配置され、Ｓ１とＳ２のペアが縦横８画素の周期で配置されている。図２において、焦点検出用画素を含むグループは、グループ１１、１２、１３、３１、３２、３３である。

次に、第１の実施形態における、動画撮像や静止画撮像前のモニタリングなど、低解像度での間引き読み出しについて、図２を用いて説明する。

第１の実施形態では、低解像度での間引き読み出しは、破線で囲まれた８×４画素を単位として行われ、垂直４／８ライン読み出し、水平２画素加算を行う場合を例に挙げて説明する。８×４画素の間引き単位には、焦点検出用画素を含むものと含まないものの２種類が存在する。例えば、グループ２２の３２画素は、全て撮像用画素で構成され、焦点検出用画素を含んでいないが、グループ１２は焦点検出用画素が含んでいる。

まず、８×４画素の間引き単位が焦点検出用画素を含まない場合の間引き読み出しについて、グループ２２を用いて説明する。グループ２２の３２画素は、全て撮像用画素である。

垂直方向の８画素（８ライン）を単位とし、同じ色の２画素（２ライン）づつを読み出して加算し、残りのラインの画素については読み出さない（間引く）ようにしている（垂直４／８ライン読み出し）。

さらに、水平方向において、同じ色の２画素（２ライン）づつを加算するようにしている（水平２画素加算）。すなわち、グループ２２において灰色に塗りつぶされた画素は読み出されず、白丸の撮像用画素のみが読み出されて加算される。

これにより、水平方向の解像度が１／２、垂直方向の解像度が１／４の低解像度の画像が得られる。

図３は、間引き読み出し後の画素データの配列を示している。グループ２２の３２画素は、間引き後には２×２のベイヤー配列（Ｒ３３、Ｇ４３、Ｇ３４、Ｂ４４）として読み出される。グループ２１、２３、４１、４２、４３についても同様に、間引き後には２×２のベイヤー配列として読み出される。

次に、８×４画素の間引き単位が焦点検出用画素を含む場合の間引き読み出しについて、グループ３２を用いて説明する。グループ３２は、２画素の焦点検出用画素と３０画素の撮像用画素で構成されている。

焦点検出用画素Ｓ１、Ｓ２は、２×２の基本色配列内でそれぞれＲ、Ｂの場所に配置されている。そのため、間引き読み出しでＳ１、Ｓ２と加算する位置関係にあるＲ、Ｂは読み出さない。

垂直方向の８画素（８ライン）を単位とし、撮像用画素Ｇの２画素（２ライン）づつを読み出して加算し、焦点検出用画素Ｓ１、Ｓ２は撮像用画素Ｒ、Ｂとは加算せずに読み出す。残りのラインの画素については読み出さない（間引く）ようにしている（垂直４／８ライン読み出し）。

さらに、水平方向において、撮像用画素Ｇのみ２画素（２ライン）づつ加算するようにしている（水平２画素加算）。すなわち、グループ３２において灰色に塗りつぶされた画素は読み出されず、白丸の撮像用画素および焦点検出用画素のみが読み出される。

図３の間引き読み出し後の画素データの配列において、グループ３２は、２画素の焦点検出用画素（Ｓ１、Ｓ２）と２画素の撮像用画素（Ｇ６３、Ｇ５４）として読み出される。

グループ１１、１２、１３、３１、３３についても同様に、間引き後には、２画素の焦点検出用画素と２画素の撮像用画素として読み出される。なお、焦点検出用画素は、後述する焦点検出のための位相差検出で使用される。

以上、説明したとおり、本実施形態では、低解像度の間引き読み出しにおいて、焦点検出用画素を含むグループと焦点検出用画素を含まないグループとが、水平方向に交互に配置されて読み出される。

焦点検出用画素では画像データが得られないので、画像を生成する際には、周囲の撮像用画素から補間して画像データを求める必要がある。本実施形態では、上記に説明したとおり、焦点検出用画素を含むグループと左右に隣接するグループには焦点検出用画素を含まないので、左右の２方向からの補間が可能である。

例えば、グループ３２に含まれる焦点検出用画素（Ｓ１、Ｓ２）の補間データは、隣接する左右のグループに含まれる２画素の撮像用画素Ｒ、Ｂから求めることができる。すなわち、グループ３２のＳ１の画像データは、Ｒ３３、Ｒ７３の２画素の撮像用画素の平均、グループ３２のＳ２の画像データは、Ｂ４４、Ｂ８４の２画素の撮像用画素の平均によってそれぞれ補間することが可能である。

以下、本発明の好適な第１の実施形態に係る撮像装置の動作を図４に示すフローチャートに従って説明する。

デジタルスチルカメラでは、撮像の前に液晶モニター１９などでこれから撮像をしようとする画像のモニタリングを行う。本実施形態１では、モニタリング中の動作について説明する。

ステップＳ１０１では、ＣＰＵ２０は、図１に不図示のシャッターボタンなどの状態を調べ、撮像装置の動作モードを判定する。動作モードがモニタリング中と判定されると、ＣＰＵ２０は、撮像素子１１からの読み出しが上述した間引き読み出しになるように撮像素子制御部１２の設定をする。結像光学部１０に入射した光は、撮像素子１１の受光面に結像される。そして、撮像素子１１は、上述した間引き読み出しによって低解像度のアナログ画像信号を出力する。アナログ画像信号には、撮像用画素データと焦点検出用画素データが混在している。

ステップＳ１０２では、アナログ画像信号がＡ／Ｄ変換回路１３でデジタル信号に変換され、信号処理部１４に入力される。

ステップＳ１０３では、信号処理部１４は、入力された画像データに対して各種信号処理を行う。まず、入力された画像データから、ＲＯＭ２１に格納された焦点検出用画素の位置情報に基づいて焦点検出用画素データのみを抽出して焦点検出用画像データを形成し、位相差検出部１５に出力する。また、焦点検出用画素データを、入力された画像データから、上述したように周囲の撮像用画素データを用いて補間する。そして、得られた画像データに、ガンマ処理、補間処理、マトリクス変換等を施して映像データを作成する。

ステップＳ１０４では、ステップＳ１０３で作成された映像データが、メモリＩ／Ｆ１６を通じてメモリ１７に記憶される。

ステップＳ１０５では、表示制御部１８は、ステップＳ１０４でメモリ１７に記憶された映像データを読み出し、液晶モニター１９に表示する。

ステップＳ１０６では、位相差検出部１５は、信号処理部１４から入力された焦点検出用画像データから、焦点検出に必要なデフォーカス量を求める。ここで、位相差検出方式によるデフォーカス量の求め方は、特許文献３に記載されているため、詳細な説明は省略する。概略を説明すると、図２に示した焦点検出用画素Ｓ１、Ｓ２において、Ｓ１の行とＳ２の行はほとんど同一ラインとして近似の像がマイクロレンズ上に結像される。撮像素子に像を結ぶカメラレンズが撮像素子上でピントがあっていれば、Ｓ１を含む行のＳ１群からの像信号と、Ｓ２を含む行のＳ２群の信号群からの像信号は一致する。ピントを結ぶ点が、撮像素子のイメージ面よりも前方又は後方にあれば、Ｓ１を含む行のＳ１群からの像信号と、Ｓ２を含む行のＳ２群の信号群からの像信号との間に位相差が生じる。そして、結像点が前の場合と後の場合では、位相のずれ方向が逆になる。これは、原理的には、瞳分割位相差ＡＦと同じである。この原理に基づいて、Ｓ１の並びでできる像（光の強弱による信号線）とＳ２の並びによりできる像は、カメラレンズのフォーカスがあっていれば一致し、そうでなければずれる。

ステップＳ１０７では、ＣＰＵ２０は、ステップＳ１０６で求められたデフォーカス量に基づいてＡＦ調整量を求め、結像光学部１０を制御する。

ステップＳ１０８では、シャッターボタンが押されたかどうかなど、撮像装置の状態を調べてモニタリング動作が継続されるかどうか判定する。例えば、シャッターボタンが押された場合には、モニタリング動作を終了し（ステップＳ１０８で「Ｎ」）、静止画撮像動作に移行する。モニタリング動作が継続される場合には（ステップＳ１０８で「Ｙ」）、前述したステップＳ１０２以降の処理に戻る。

（第２の実施形態）
図５は、本発明の好適な第２の実施形態に係る撮像素子１１の画素配列の一部を示した図である。ここでは、２４×１６画素の画素配列を例示的に示したが、本発明はこれに限定されない。

図５では、焦点検出用画素の配置が、グループ１２、３２ではなく、グループ２２、４２となっているところが、第１の実施形態とは相違している。焦点検出用画素を含むグループは、グループ１１、１３、２２、３１、３３、４２であり、本実施形態の特徴の１つである焦点検出用画素を含むグループが上下左右方向に隣接しないように、焦点検出用画素が配置されている。本実施形態における、動画撮像や静止画撮像前のモニタリングなど、低解像度での間引き読み出し方法は、第１の実施形態と同様であるので説明を省略する。

図６は、本実施形態における間引き読み出し後の画素データの配列を示している。焦点検出用画素を含まないグループ１２の３２画素は、間引き後には２×２のベイヤー配列（Ｒ１３、Ｇ２３、Ｇ１４、Ｂ２４）として読み出される。グループ２１、２３、３２、４１、４３についても同様に、間引き後には２×２のベイヤー配列として読み出される。

焦点検出用画素を含むグループ２２は、２画素の焦点検出用画素（Ｓ１、Ｓ２）と２画素の撮像用画素（Ｇ４３、Ｇ３４）として読み出される。グループ１１、１３、３１、３３、４２についても同様に、間引き後には２画素の焦点検出用画素と２画素の撮像用画素として読み出される。

以上、説明したとおり、本実施形態では、低解像度の間引き読み出しにおいて、焦点検出用画素を含むグループと焦点検出用画素を含まないグループとが、市松状に配置されて読み出される。

焦点検出用画素では画像データが得られないので、画像を生成する際には、周囲の撮像用画素から補間して画像データを求める必要がある。本実施形態では、上述したように、焦点検出用画素を含むグループと上下左右に隣接するグループには、焦点検出用画素が配置されていないため、上下左右の４方向からの補間が可能である。例えば、グループ２２に含まれる焦点検出用画素（Ｓ１、Ｓ２）の補間データは、隣接する上下左右のグループに含まれる４画素の撮像用画素Ｒ、Ｂから求めることができる。すなわち、Ｓ１の画像データは、Ｒ３１、Ｒ１３、Ｒ５３、Ｒ３５の４画素の撮像用画素の加重平均、Ｓ２の画像データは、Ｂ４２、Ｂ２４、Ｂ６４、Ｂ４６の４画素の撮像用画素の加重平均によって補間することが可能である。

従って、本実施形態で生成された画像は、左右の２方向のみから補間を行っていた第１の実施形態よりも優れた画質になる。

本発明の好適な第１の実施形態に係る撮像装置のブロック図である。 本発明の好適な第１の実施形態に係る撮像素子の画素配列を示した図である。 本発明の好適な第１の実施形態に係る間引き読み出し後の画素データの配列を示した図である。 本発明の好適な第１の実施形態に係る撮像装置のフローチャートを示す図である。 本発明の好適な第２の実施形態に係る撮像素子の画素配列を示した図である。 本発明の好適な第２の実施形態に係る間引き読み出し後の画素データの配列を示した図である。

符号の説明

１１ 撮像素子
Ｒ、Ｇ、Ｂ 撮像用画素
Ｓ１、Ｓ２ 焦点検出用画素

Claims (5)

1. 撮像用画素群及び焦点検出用画素群が、設定された色配列で配列された撮像手段と、
   前記撮像用画素及び前記焦点検出用画素の信号を、複数の画素を間引き単位として間引いて読み出す間引き読み出し手段と、
   を備え、
   前記間引き読み出し手段は、前記間引き単位を、前記撮像用画素を含み前記焦点検出用画素を含まない第１のグループと、前記焦点検出用画素を含む第２のグループとに分け、間引き読み出しにおいて、前記第１のグループと前記第２のグループとを、水平方向に交互に配置して読み出すことを特徴とする撮像装置。
2. 前記間引き読み出し手段は、前記撮像用画素の信号を出力する場合には、同一色の前記撮像用画素を読み出して加算して出力し、前記焦点検出用画素の信号を出力する場合には、前記焦点検出用画素の信号のみを読み出すことを特徴とする請求項１に記載の撮像装置。
3. 前記間引き読み出し手段は、前記焦点検出用画素を含む前記第２のグループが隣接しないように前記焦点検出用画素の信号を読み出して出力することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記間引き読み出し手段は、前記焦点検出用画素を含む前記第２のグループが市松状に配置されるように前記焦点検出用画素の信号を読み出して出力することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記撮像用画素から読み出された信号を用いて前記焦点検出用画素の信号を補間する補間手段をさらに備えることを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。

Images