JP6601465B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

撮像素子の特定の撮像領域からのみ画素信号を部分的に読み出すことで、高速読み出しが可能なデジタルカメラが知られている（特許文献１参照）。

特開２０１２−５８４６４号公報

上記従来技術では、撮像素子の特定の撮像領域からのみ画素信号を部分的に読み出すため、この部分読み出しのときには、撮像素子の全体の撮像領域から画像信号を読み出すことはできない。

本発明の一態様による撮像装置は、フォーカシングレンズを含む光学系を介して被写体を撮像する撮像素子であって、光を電荷に変換する光電変換部と、前記光電変換部で変換された電荷に基づく電圧信号を出力する出力部と、を有する複数の画素が行方向と列方向とにおいてそれぞれ配置される撮像素子と、前記撮像素子で撮像された被写体のうち特定被写体を検出する検出部と、前記複数の画素のうち、前記特定被写体からの光を電荷に変換する光電変換部を有する第１画素のフレームレートを、前記複数の画素のうち、前記第１画素とは異なる画素であって前記第１画素から前記行方向側に配置される第２画素のフレームレートとは異なるフレームレートで前記第１画素の前記出力部から電圧信号を出力するように制御する制御部と、を備え、前記制御部は、前記第１画素の前記出力部から出力された前記電圧信号に基づいて前記フォーカシングレンズを制御するための制御信号を出力する。

本発明によれば、撮像素子の全体の撮像領域から画像信号を読み出しても、撮像素子の特定の撮像領域から画素信号を高速に読み出すことができる。

カメラの構成を示すブロック図である。 撮像素子の断面図である。 撮像チップの画素配列と単位グループを説明する図である。 撮像チップの単位グループに対応する回路図である。 撮像素子の機能的構成を示すブロック図である。 撮影処理を説明するフローチャートである。 撮像素子の撮像面の一例を示す図である。 撮像素子の撮像面の一例を示す図である。 ＡＦ専用画素の一例を示す図である。

−第１の実施形態−
図面を参照して本発明の第１の実施形態について説明する。

図１は、撮像装置の一例であるカメラ１００の構成を示すブロック図である。カメラ１００は、撮像光学系としての撮影レンズ１２０及びカメラボディ１１０を備える。カメラボディ１１０には、撮影レンズ１２０が装着される。カメラ１００は、カメラボディ１１０及び撮影レンズ１２０が一体として構成されていてもよい。撮影レンズ１２０は、光軸に沿って入射する被写体光束を撮像素子２００へ導く。撮影レンズ１２０には、撮影レンズ１２０を駆動するためのレンズ駆動部１２１が設けられる。カメラボディ１１０は、撮像素子２００、制御部１０１、撮像素子駆動部１０２、画像処理部１０３、ワークメモリ部１０４、記録部１０５及び表示部１０６を備える。

撮影レンズ１２０は、複数の光学レンズで構成され、シーンからの被写体光束を撮像素子２００の受光面に結像させる。図１では仮想的な１枚のレンズで当該撮影レンズ１２０を代表して表している。

レンズ駆動部１２１は、制御部１０１からの指示に従って、撮影レンズ１２０のズームレンズやフォーカシングレンズなどを光軸方向に駆動する。

撮像素子駆動部１０２は、制御部１０１からの指示に従って撮像素子２００のタイミング制御や撮像素子に含まれる撮像領域制御等の電荷蓄積制御を実行する制御回路である。撮像素子駆動部１０２は、撮像素子２００に対して電荷蓄積を実行させて画素信号を出力させる撮像素子制御部の機能を担う。撮像素子駆動部１０２は、一部または全部が後述する撮像素子２００に含まれる撮像チップ２１３に搭載されてもよい。撮像素子駆動部１０２は、一部または全部が信号処理チップ２１１に搭載されてもよい。制御部１０１は、一部が撮像チップ２１３または信号処理チップ２１１に搭載されてもよい。

撮像素子２００から出力された画像信号は、画像処理部１０３へ入力される。画像処理部１０３は、ワークメモリ部１０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、画像データを生成した後に圧縮処理を実行する。生成された画像データは、記録部１０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部１０６に表示される。

また画像処理部１０３は、機能ブロックとして、主要被写体検出部１１１及び注目領域決定部１１２を有する。これらの各機能は、後述する。

図２は、カメラボディ１１０が備える撮像素子２００の断面図である。撮像素子２００は、入射光に対応した画素信号を生成する撮像チップ２１３と、撮像チップ２１３から出力された画素信号を処理する信号処理チップ２１１と、画素信号を記憶するメモリチップ２１２とを備える。

撮像チップ２１３は、信号処理チップ２１１に積層されている。撮像チップ２１３は、例えば、Ｃｕ等の導電性を有するバンプ２０９により信号処理チップ２１１と互いに電気的に接続される。信号処理チップ２１１は、メモリチップ２１２に積層されている。信号処理チップ２１１は、例えば、Ｃｕ等の導電性を有するバンプ２０９によりメモリチップ２１２と互いに電気的に接続される。

図２に示すように、入射光は主に白抜き矢印で示され、Ｚ軸プラス方向に沿って撮像素子２００へ向かって入射する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸及びＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図２の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ２１３の一例は、裏面照射型のＣＭＯＳイメージセンサである。撮像チップ２１３は、入射光が入射する側から順にＺ軸プラス方向に沿って、マイクロレンズ２０１、カラーフィルタ２０２、パッシベーション膜２０３、受光層２０６及び配線層２０８を有する。受光層２０６は、入射光に応じた電荷を蓄積する複数のフォトダイオード２０４とフォトダイオード２０４で蓄積された電荷に応じた画素信号を読み出すための読出回路２０５とを有する。読出回路２０５は、複数のトランジスタを含む。

マイクロレンズ２０１は、対応するフォトダイオード２０４へ向けて入射光を集光する。カラーフィルタ２０２は、互いに異なる波長を透過する複数の種類を有しており、フォトダイオード２０４のそれぞれに対応して特定の配列を有している。カラーフィルタ２０２の配列については後述する。パッシベーション膜２０３は、受光層２０６を保護するとともに平坦化膜としての機能を有する。

配線層２０８は、それぞれのフォトダイオード２０４から読出回路２０５を介して読み出された画素信号を信号処理チップ２１１に出力するための配線２０７を有する。配線２０７は多層配線で構成されてもよく、また、受動素子及び能動素子が設けられてもよい。

配線層２０８における受光層２０６と反対側の面には複数のバンプ２０９が配される。当該複数のバンプ２０９は、信号処理チップ２１１の対向する面に設けられた複数のバンプ２０９と位置合わせされて、撮像チップ２１３と信号処理チップ２１１とが加圧等されることにより、位置合わせされたバンプ２０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ２１１及びメモリチップ２１２の互いに対向する面には、複数のバンプ２０９が配される。これらのバンプ２０９は、互いに位置合わせされて、信号処理チップ２１１とメモリチップ２１２とが加圧等されることにより、位置合わせされたバンプ２０９同士が接合されて、電気的に接続される。

撮像チップ２１３と信号処理チップ２１１との間の接合は、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。信号処理チップ２１１とメモリチップ２１２との間の接合は、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。バンプ２０９は、例えば後述する一つの単位グループに対して一つ程度設ければよい。したがって、バンプ２０９の大きさは、隣り合うフォトダイオード２０４間のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ２０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ２１１は、表裏面にそれぞれ設けられた回路を互いに接続するシリコン貫通電極（ＴＳＶ）２１０を有する。シリコン貫通電極２１０は、周辺領域に設けられることが好ましい。また、シリコン貫通電極２１０は、撮像チップ２１３の周辺領域又はメモリチップ２１２にも設けられてもよい。

図３は、撮像チップ２１３の画素配列と単位グループ２３１を説明する図である。特に、撮像チップ２１３を入射面側から観察した様子を示す。撮像チップ２１３は、画素領域を有する。画素領域には複数の画素がマトリックス状に配列されている。本実施形態においては、隣接する４画素×４画素の１６画素が一つの単位グループ２３１を形成する。一つの単位グループ２３１は、換言すれば一つの撮像領域であり、撮像チップ２１３は複数の撮像領域（単位グループ２３１）を有している。図の格子線は、隣接する画素がグループ化されて単位グループ２３１を形成する概念を示す。単位グループ２３１を形成する画素の数はこれに限られず２０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。

画素領域の部分拡大図に示すように、単位グループ２３１は、緑色画素Ｇｂ、緑色画素Ｇｒ、青色画素Ｂ及び赤色画素Ｒの４画素から成るいわゆるベイヤー配列で配列されている。緑色画素Ｇｂ及び緑色画素Ｇｒは、カラーフィルタ２０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。青色画素Ｂは、カラーフィルタ２０２として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素Ｒは、カラーフィルタ２０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

本実施形態の撮像素子２００では、特定の単位グループ２３１について、他の単位グループ２３１とは異なる撮像条件での撮像を行えるように構成されている。撮像条件とは、例えば、フレームレート、画素の間引き率、画素の加算数、画素信号のゲイン等である。

単位グループ２３１の画素の間引き率とは、単位グループ２３１に含まれる画素のうち、画素信号の読み出しを行わない画素の数を規定するものである。例えば、間引き率が「０」の場合には、単位グループ２３１に含まれる全ての画素から画素信号が読み出されるが、間引き率が「０．５」の場合には、単位グループ２３１に含まれる画素のうち、半分の画素については画素信号の読み出しが行われ、残り半分の画素については画素信号の読み出しが行われない。画素を間引く場合には、画像の情報が減るものの、消費電力を低減することができる。

また、単位グループ２３１の画素の加算数とは、単位グループ２３１に含まれる画素について、画素信号を加算する画素の数を規定するものである。例えば、加算数が「１」の場合には、隣接する画素同士で加算が行われずに画素信号の読み出しが行われるが、加算数が「２」の場合には、隣接する２つの画素同士で画素信号が加算されて読み出しが行われる。画素同士の画素信号を加算する場合には、画像の情報を維持しつつも画素数を減らすことができるので、その後の画像処理の演算量を低減することができる。

図４は、撮像チップ２１３の単位グループ２３１に対応する回路図である。図において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。以下に説明する各トランジスタは、図２の読出回路２０５に含まれる。

上述のように、単位グループ２３１は、１６画素から形成される。それぞれの画素に対応する１６個のフォトダイオード２０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２の各ゲートに対して共通接続される。

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソースとの間に形成されたいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３５０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３の各ゲートに対して共通接続される。

各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３５０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタ３０５の各ゲートは、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３５１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。負荷電流源３５１は、撮像チップ２１３側に設けてもよいし、信号処理チップ２１１側に設けてもよい。

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３のゲートに印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２のゲートに印加されると、フォトダイオード２０４及びフローティングディフュージョンＦＤの電位は、電源電圧に対応した電圧であるリセット電位にリセットされる。

フォトダイオード２０４は、転送パルスの印加が解除されると、受光した入射光を電荷に変換して蓄積する。その後、リセットパルスがリセットトランジスタ３０３のゲートに印加されていない状態で再び転送パルスが転送トランジスタ３０２のゲートに印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５のゲートに印加されると、フローティングディフュージョンＦＤのリセット電圧から信号電位への変動に対応した画素信号が、増幅トランジスタ３０４及び選択トランジスタ３０５を介して出力配線３０９に伝わる。

図示するように、本実施形態においては、単位グループ２３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、単位グループ２３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５が選択パルスによって順次印加されて、選択的に出力配線３０９に出力される。また、リセット配線３０６、ＴＸ配線３０７及び出力配線３０９は、単位グループ２３１毎に別個に設けられる。ＴＸ配線３０７は、本実施形態では１６個の転送トランジスタ３０２の各ゲートに対して共通接続されるとしたが、これに限定されず、行方向に配列される画素に含まれる転送トランジスタ３０２の各ゲートに対して共通接続されてもよいし、１６個それぞれの転送トランジスタ３０２の各ゲートに対して接続されてもよい。リセット配線３０６は、本実施形態では１６個のリセットトランジスタ３０３の各ゲートに対して共通接続されるとしたが、これに限定されず、行方向に配列される画素に含まれるリセットトランジスタ３０３の各ゲートに対して共通接続されてもよいし、１６個それぞれのリセットトランジスタ３０３の各ゲートに対して接続されてもよい。

このように単位グループ２３１を基準として回路を構成することにより、単位グループ２３１ごとに電荷蓄積時間を制御することができる。換言すると、隣接する単位グループ２３１同士で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ２３１に１回の電荷蓄積を行わせている間に、他方の単位グループ２３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ２３１同士で異なるフレームレートで動画用の各フレームを出力することもできる。

図５は、撮像素子２００の機能的構成を示すブロック図である。マルチプレクサ４１１は、単位グループ２３１を形成する１６個のフォトダイオード２０４を順番に選択して、それぞれの画素信号を当該単位グループ２３１に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、フォトダイオード２０４と共に、撮像チップ２１３に形成される。

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ２１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳ及びＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。画素メモリ４１４のそれぞれは、後述する最大積算回数に対応する画素信号を格納できる容量を有する。デマルチプレクサ４１３及び画素メモリ４１４は、メモリチップ２１２に形成される。

演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ２１１に設けられてもよいし、メモリチップ２１２に設けられてもよい。図では１つの単位グループ２３１の分の接続を示すが、実際にはこれらが単位グループ２３１ごとに存在して、並列で動作する。ただし、演算回路４１５は単位グループ２３１ごとに存在しなくても良く、例えば、一つの演算回路４１５がそれぞれの単位グループ２３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。

上記の通り、単位グループ２３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子２００は撮像チップ２１３、信号処理チップ２１１及びメモリチップ２１２を積層しているので、これら出力配線３０９にバンプ２０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

図６は、本実施形態のカメラ１００が静止画を撮影する処理の流れを説明するフローチャートである。また、図７は、撮像素子２００の撮像面の一例を示す図である。図７では、格子線が単位グループ２３１の境目を示しており、一つの矩形領域が一つの単位グループ２３１の撮像領域に対応している。カメラ１００は、ユーザにより不図示の電源ボタンが押下されると、図６に示す処理を開始する。

ステップＳ１０１において、制御部１０１は、撮像素子２００による画像の撮影を開始する。撮像素子駆動部１０２が、制御部１０１の指示に従って、撮像素子２００を駆動させ、所定のフレームレート（以下、通常フレームレートと呼ぶ）で光電変換を開始させる。また、制御部１０１は、撮像素子２００からの画像信号に基づくスルー画を表示部１０６に表示する処理を開始する。

ステップＳ１０２において、画像処理部１０３の主要被写体検出部１１１は、撮像素子２００からの画像信号に基づく画像データを取得し、当該画像データが示す画像に含まれる主要被写体を認識する。本実施形態において、主要被写体とは、人物の顔である。画像から人物の顔を検出する顔検出処理については、公知の手法を用いればよいため、説明を省略する。

ステップＳ１０３において、制御部１０１は、撮像画面内においてＡＦ処理によりピントを調節する領域（ＡＦエリア）の設定モードが、自動設定モードであるか否かを判定する。本実施形態では、ＡＦエリアの設定モードとして、カメラ１００が自動で設定する自動設定モードと、撮影者が不図示の操作部材を操作してＡＦエリアを指定する撮影者指定モードとが設けられている。撮影者は不図示の操作部材を操作して、予め所望のモードを設定しておく。

ＡＦエリアの設定モードが自動設定モードである場合、制御部１０１は、ステップＳ１０３を肯定判定してステップＳ１０４へ進む。一方、自動設定モードではない場合、すなわち撮影者指定モードである場合には、制御部１０１は、ステップＳ１０３を肯定判定してステップＳ１０５へ進む。

自動設定モードである場合に進むステップＳ１０４において、画像処理部１０３は、主要被写体検出部１１１で検出した主要被写体の中から、優先する主要被写体（優先被写体）を自動で決定する。主要被写体検出部１１１で検出した主要被写体が１つである場合は、画像処理部１０３は、検出した主要被写体を優先被写体として決定する。一方、主要被写体検出部１１１で検出した主要被写体が複数である場合は、画像処理部１０３は、検出した複数の主要被写体の中から、１つの主要被写体を選択して優先被写体として決定する。例えば、撮像画面内における主要被写体の大きさや輝度などを評価して、複数の主要被写体の優先順位を決定し、最も優先順位の高い主要被写体を、優先被写体として選択する。

一方、撮影者指定モードである場合に進むステップＳ１０５において、画像処理部１０３は、撮影者の指示に応じて優先被写体を決定する。撮影者指定モードの場合、撮影者は撮像画面内の任意の箇所をＡＦエリアとして指定する。画像処理部１０３は、撮影者により指定された箇所に最も近い主要被写体を優先被写体として決定する。

ステップ１０６において、画像処理部１０３の注目領域決定部１１２は、図７に示すように、ステップＳ１０４またはステップＳ１０５で決定した優先被写体５００から、特徴的な領域（特徴領域）５１０を検出する。本実施形態において、特徴領域５１０とは、人物の目の領域である。画像から人物の目を検出する処理については、公知の手法を用いればよいため、説明を省略する。

注目領域決定部１１２は、特徴領域５１０とその周辺とを含む領域を、注目領域５２０として決定する。そして、注目領域決定部１１２は、撮像素子２００が有する複数の単位グループ２３１のうち、注目領域５２０の少なくとも一部を撮像する単位グループ２３１の集合を、注目領域単位グループ群として設定する。

ステップ１０７において、制御部１０１は、撮像素子２００から得られる画像信号に基づいて公知の露出演算を行い、適正露出が得られるように絞り値とシャッター速度を決定する。

そして制御部１０１は、撮像条件として、注目領域単位グループ群に含まれる単位グループ２３１に適用するフレームレート、すなわち注目領域５２０を撮像するフレームレート（以下、注目領域用フレームレートと呼ぶ）を決定する。制御部１０１は、注目領域用フレームレートを、注目領域単位グループ群に含まれる単位グループ２３１以外の単位グループ２３１に適用するフレームレート、すなわち注目領域５２０以外の領域（周辺領域）を撮像するフレームレート（通常フレームレート）よりも高く設定する。たとえば、制御部１０１は、通常フレームレートが６０ｆｐｓである場合、注目領域用フレームレートを１２０ｆｐｓに設定する。また制御部１０１は、上記露出演算に基づいて決定したシャッター速度に応じて注目領域用フレームレートの値を決定する。上記露出演算に基づいて決定したシャッター速度により、注目領域用フレームレートの上限値が決まるためである。

ステップＳ１０８において、制御部１０１は、撮影者によりレリーズボタンが半押し操作されたか否かを判定する。制御部１０１は、レリーズボタンが半押し操作されない間は、ステップＳ１０８を否定判定してステップＳ１０８の処理を繰り返し、レリーズボタンが半押し操作されると、ステップＳ１０８を肯定判定して、ステップＳ１０９へ進む。

ステップＳ１０９において、制御部１０１は、撮像素子駆動部１０２に対して、注目領域単位グループ群に含まれる単位グループ２３１については、フレームレートを通常フレームレートから注目領域用フレームレートに変更するよう指示する。撮像素子駆動部１０２は、制御部１０１の指示に従って、注目領域単位グループ群については、注目領域用フレームレートで、単位グループ２３１に含まれる画素の電荷蓄積及び画素信号の出力を実行させる。すなわち、注目領域５２０は、周辺領域よりも高いフレームレートで撮像される。撮像素子駆動部１０２は、注目領域単位グループ群に含まれる単位グループ２３１以外の単位グループ２３１については、フレームレートを変更せず、レリーズボタンの半押し操作前と同じ通常フレームレートのまま、単位グループ２３１に含まれる画素の電荷蓄積及び画素信号の出力を実行させる。すなわち、周辺領域は、レリーズボタンの半押し操作前と同じ通常フレームレートで撮像される。

例えば、通常フレームレートが６０ｆｐｓであり、注目領域用フレームレートが１２０ｆｐｓであるとする。この場合、撮像素子駆動部１０２は、周辺領域から１フレーム分の画像信号を得る時間（１／６０ｓｅｃ）の間に、注目領域５２０からは２フレーム分の画像信号を得る。このとき撮像素子駆動部１０２は、注目領域単位グループ群に含まれる単位グループ２３１のリセットトランジスタ３０３、転送トランジスタ３０２及び選択トランジスタ３０５の組と、この他の単位グループ２３１のリセットトランジスタ３０３、転送トランジスタ３０２及び選択トランジスタ３０５の組とを別個に駆動することにより、異なるフレームレートで画像信号を得る。

このようにして、注目領域５２０のフレームレートが変更されると、画像処理部１０３は、注目領域単位グループ群に含まれる単位グループ２３１からの画像信号と、この他の単位グループ２３１からの画像信号とを合成して、スルー画を生成する。画像処理部１０３は、注目領域単位グループ群に含まれる単位グループ２３１からの画像信号に基づくフレームを、この他の単位グループ２３１からの画像信号に基づくフレームの注目領域５２０に対応する箇所に嵌め込む。スルー画の表示フレームレートについては、注目領域用フレームレート及び通常フレームレートのどちらかのフレームレートにしてもよいし、この他のフレームレートにしてもよい。また、単位時間あたりにおけるフレーム数は、注目領域５２０と周辺領域とでそれぞれ異なるので、適宜フレームを間引いたり補完したりしてフレーム数を整合させるようにすればよい。

ステップＳ１１０において、制御部１０１は、注目領域５２０の画像信号（すなわち注目領域単位グループ群からの出力信号）を用いて、公知のコントラスト検出方式によるＡＦ処理を行う。すなわち、注目領域５２０をＡＦエリアとして用いる。コントラスト検出方式では、像のボケの程度とコントラストとの間には相関があること、すなわち焦点が合ったときに像のコントラストが最大になることを利用して焦点合わせを行う。一般に、コントラストの大小は画像信号の高域空間周波数成分の大小により評価することができる。そのため、制御部１０１は、注目領域５２０の画像信号の高域空間周波数成分を抽出し、その高域空間周波数成分の絶対値を積分したものをコントラスト評価値として算出する。このコントラスト評価値は、注目領域５２０に対して撮影レンズ１２０のピントが合ってコントラストが最大となったときに最大値となる。

制御部１０１は、レンズ駆動部１２１により撮影レンズ１２０のフォーカシングレンズを光軸に沿って移動させながら所定時間ごとに上記コントラスト評価値を算出し、コントラスト評価値が最大になるレンズ位置をサーチする。そして制御部１０１は、レンズ駆動部１２１により、サーチしたレンズ位置へフォーカシングレンズを移動させることによって焦点調節を行う。

ステップＳ１１１において、制御部１０１は、ＡＦモードが追尾ＡＦモードに設定されているか否かを判定する。本実施形態では、ＡＦモードとして、優先被写体を追尾してＡＦ処理を継続する追尾ＡＦモードと、レリーズボタンが半押しされると１回のみＡＦ処理を実行してピントを固定するモードとが設けられている。撮影者は不図示の操作部材を操作して、予め所望のモードを設定しておく。

制御部１０１は、追尾ＡＦモードに設定されている場合は、ステップＳ１１１を肯定判定してステップＳ１１２に進み、追尾ＡＦモードに設定されていない場合は、ステップＳ１１１を否定判定してステップＳ１１３に進む。

ステップＳ１１２において、制御部１０１は、被写体追尾ＡＦ処理を開始する。この被写体追尾ＡＦ処理では、時系列で出力される撮像素子２００からの画像信号に基づいて、優先被写体を追尾する被写体追尾処理を行う。被写体追尾処理については、例えば、特徴領域５１０の画像をテンプレート画像としてテンプレートマッチング処理を行う方法や、この他公知の方法を用いればよい。また、図７の上下の図で示すように、優先被写体５００の移動に応じて特徴領域５１０が移動するので、注目領域５２０を移動させる。すなわち、被写体追尾処理によって優先被写体５００の位置が更新されるごとに、注目領域５２０を更新する。そして、更新した注目領域５２０に対応する単位グループ２３１について、フレームレートを注目領域用フレームレートに変更する。優先被写体５００の位置の更新前は注目領域５２０であったが、更新後には注目領域５２０ではなくなった単位グループ２３１については、通常フレームレートに戻す。そして、更新した注目領域５２０からの画像信号を用いて、コントラスト検出方式によるＡＦ処理を行って、更新した優先被写体５００に撮影レンズ１２０のピントを調節する。制御部１０１は、このような被写体追尾ＡＦ処理を、レリーズボタンが半押し操作されている間、継続して実行する。

ステップＳ１１３において、制御部１０１は、撮影者によりレリーズボタンが全押し操作されたか否かを判定する。制御部１０１は、レリーズボタンが全押し操作されない間は、ステップＳ１１３を否定判定してステップＳ１１３の処理を繰り返し、レリーズボタンが全押し操作されると、ステップＳ１１３を肯定判定して、ステップＳ１１４へ進む。

ステップＳ１１４において、制御部１０１は、静止画記録（静止画撮影）を行う。制御部１０１は、画像処理部１０３に、撮像素子２００から得られる注目領域及び周辺領域のフレームを合成して１枚の静止画を生成させ、記録部１０５に記録させる。そして、制御部１０１は、図６の処理を終了する。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）カメラ１００は、複数の単位グループ２３１（撮像領域）を有し、単位グループ２３１に入射した光像に応じた画像信号を生成する撮像チップ２１３を有する。また、カメラ１００は、撮像チップ２１３から出力された画像信号に基づいて、画像信号の示す画像の注目領域５２０を決定する注目領域決定部１１２と、複数の単位グループ２３１のうち注目領域５２０に対応する光像が入射した単位グループ２３１を通常フレームレートよりも高い注目領域用フレームレートで撮像を行うように制御し、複数の単位グループ２３１のうち注目領域５２０に対応する光像が入射した単位グループ２３１以外の単位グループ２３１を通常フレームレートで撮像を行うように制御する制御部１０１と、注目領域５２０の焦点調節状態を検出する制御部１０１とを含む信号処理チップ２１１を有する。これにより、撮像素子２００の全体の撮像領域から画像信号を読み出しても、撮像素子２００の特定の撮像領域（注目領域５２０に対応する光像が入射した単位グループ２３１）から画素信号を高速に読み出すことができる。ゆえに、撮像素子２００の全体の撮像領域から画像信号を読み出しても、注目領域５２０の焦点調節状態を高速に検出することができ、ＡＦ処理の精度を向上することができる。

（２）カメラ１００において、信号処理チップ２１１は、撮像チップ２１３から出力された画像信号の示す画像から主要被写体を検出する主要被写体検出部１１１を更に含み、注目領域決定部１１２は、主要被写体検出部１１１により検出された主要被写体の特徴領域５１０とその周辺とを含む領域を、注目領域５２０として決定する。このような構成により、主要被写体が移動した場合にも、主要被写体に対してピントを合わせることができる。

（３）カメラ１００において、主要被写体検出部１１１は、撮像素子２００により撮像された時系列の撮像画像間で主要被写体を追尾し、注目領域決定部１１２は、主要被写体の移動に応じて注目領域５２０を移動させる。このような構成により、主要被写体が動いている場合にも、主要被写体に対してピントを合わせることができる。

−第２の実施形態−
次に、本発明の第２の実施形態について説明する。第１の実施形態ではＡＦ処理をコントラスト検出方式で行ったが、第２の実施形態ではＡＦ処理を位相差検出方式で行う。この点について図８を用いて説明する。図８は、撮像素子２００の撮像面の一例を示す図である。

第２の実施形態に係るカメラ１００及び撮像素子２００は、第１の実施形態と略同様の構成でなるが、撮像素子２００に位相差検出方式による焦点検出専用の画素（以下、ＡＦ専用画素と呼ぶ）が設けられている点が第１の実施形態と異なっている。第２の実施形態に係る撮像素子２００には、ＡＦ専用画素が、例えば、所定のライン数ごとに横一列に並んで設けられている。図８では、破線が、ＡＦ専用画素が配置されているラインを示している。また、図８では、格子線が単位グループ２３１の境目を示しており、一つの矩形領域が一つの単位グループ２３１の撮像領域に対応している。

ＡＦ専用画素２４０は、例えば、図９（ａ）に示すように、１つのＡＦ専用画素２４０に対して２つの受光部（フォトダイオード）２４１，２４２が設けられた構成でなり、これらの受光部２４１，２４２は、撮影レンズ１２０の瞳の一対の領域を通過した一対の光束を受光する。

撮影レンズ１２０の合焦時は撮像素子２００に鮮鋭像が結ばれる状態であるため、異なる瞳位置に瞳分割された光束による一対の像は撮像素子２００上で一致する。つまり、複数のＡＦ専用画素２４０における左側の受光部２４１から得られる信号波形と、複数のＡＦ専用画素２４０における右側の受光部２４２から得られる信号波形とは、その形状が重なる。

一方、非合焦時は撮像素子２００の手前で鮮鋭像を結ぶ状態、あるいは撮像素子２００の後ろ側に鮮鋭像を結ぶ状態であるため、瞳分割された光束による一対の像は撮像素子２００上では一致しない。この場合、複数のＡＦ専用画素２４０における左側の受光部２４１から得られる信号波形と、複数のＡＦ専用画素２４０における右側の受光部２４２から得られる信号波形とは、合焦状態からのずれ（デフォーカス量）に応じて、互いの位置関係（像ずれ方向及び像ずれ量）が異なる。

そこで、位相差検出方式のＡＦ処理では、複数のＡＦ専用画素２４０における左側の受光部２４１から得られる信号波形と、複数のＡＦ専用画素２４０における右側の受光部２４２から得られる信号波形との位置関係に基づいて撮影レンズ１２０による焦点位置の調節状態（デフォーカス量）を算出する。そして、デフォーカス量に基づいて、撮影レンズ１２０のフォーカシングレンズを光軸方向へ進退移動させることで、撮影レンズ１２０の焦点調節を行うようになっている。

第２の実施形態に係るカメラ１００は、静止画撮影の際、第１の実施形態と同様に図６に示す処理を実行するが、一部の処理が異なるため、この点について特に説明する。第２の実施形態において、制御部１０１は、ユーザにより不図示の電源ボタンが押下されると、第１の実施形態と同様に図６に示す処理を開始する。そして、画像処理部１０３は、ステップＳ１０１〜Ｓ１０５と同様の処理を実行して、優先被写体を決定する。

ステップＳ１０６において、画像処理部１０３の注目領域決定部１１２は、図８に示すように、第１の実施形態と同様に、優先被写体６００から特徴領域６１０を検出する。その後、注目領域決定部１１２は、第１の実施形態とは異なり、特徴領域６１０に最も近いＡＦ専用画素のライン６２１と、その周辺にある（例えば隣接する）ＡＦ専用画素のライン６２２，６２３とにより撮像される領域を、注目領域として決定する。そして、注目領域決定部１１２は、撮像素子２００が有する複数の単位グループ２３１のうち、注目領域であるＡＦ専用画素のライン６２１〜６２３を含む単位グループ２３１の集合を、注目領域単位グループ群として設定する。

ステップＳ１０７において、制御部１０１は、第１の実施形態と同様に注目領域用フレームレートを決定する。そして、制御部１０１は、レリーズボタンが半押し操作されると、ステップＳ１０８を肯定判定して、ステップＳ１０９へ進む。

ステップＳ１０９において、制御部１０１は、注目領域であるＡＦ専用画素のライン６２１〜６２３を含む注目領域単位グループ群については、フレームレートを通常フレームレートから注目領域用フレームレートに変更するよう指示する。撮像素子駆動部１０２は、制御部１０１の指示に従って、注目領域単位グループ群については、注目領域用フレームレートで、単位グループ２３１に含まれる画素の電荷蓄積及び画素信号の出力を実行させる。すなわち、注目領域であるＡＦ専用画素のライン６２１〜６２３については、周辺領域よりも高い注目領域用フレームレートで画素信号が出力される。撮像素子駆動部１０２は、注目領域単位グループ群に含まれる単位グループ２３１以外の単位グループ２３１については、フレームレートを変更せず、レリーズボタンの半押し操作前と同じ通常フレームレートのまま、単位グループ２３１に含まれる画素の電荷蓄積及び画素信号の出力を実行させる。

ステップＳ１１０において、制御部１０１は、注目領域用フレームレートで出力された、ＡＦ専用画素のライン６２１〜６２３の出力信号のうち、特徴領域６１０とその周辺に対応する出力信号を用いて、上述した位相差検出方式によるＡＦ処理を行う。これにより、優先被写体６００に対して撮影レンズ１２０のピントが調節される。

また制御部１０１は、ステップＳ１１１〜Ｓ１１２において、追尾ＡＦモードの場合は、被写体追尾ＡＦ処理を実行する。ここでは、ＡＦ処理が位相差検出方式である点以外は、第１の実施形態と同様の処理を実行する。すなわち、図８の上下の図で示すように、優先被写体６００の移動に応じて特徴領域６１０が移動するので、注目領域としてのＡＦ専用画素のライン６２１〜６２３を移動させる。すなわち、被写体追尾処理によって優先被写体６００の位置が更新されるごとに、注目領域としてのＡＦ専用画素のライン６２１〜６２３を更新する。そして、更新したＡＦ専用画素のライン６２１〜６２３を含む注目領域単位グループ群について、フレームレートを注目領域用フレームレートに変更する。優先被写体６００の位置の更新前は注目領域であったが、更新後には注目領域ではなくなったＡＦ専用画素のラインを含む単位グループ群については、通常フレームレートに戻す。そして、更新したＡＦ専用画素のライン６２１〜６２３からの出力信号を用いて、位相差検出方式によるＡＦ処理を行って、更新した優先被写体６００に撮影レンズ１２０のピントを合わせる。

そして制御部１０１は、第１の実施形態と同様に、ステップＳ１１３〜１１４において、レリーズボタンが全押し操作された場合には、静止画の記録を行い、図６の処理を終了する。

以上説明した実施形態によれば、次の作用効果が得られる。
カメラ１００は、撮像素子２００により撮像された撮像画像に基づいて主要被写体を検出し、主要被写体の検出結果に基づいて、撮像画像内における注目領域を決定する。カメラ１００は、複数の単位グループ２３１のうちの注目領域としてのＡＦ専用画素のライン６２１〜６２３を含む単位グループ２３１については、通常フレームレートよりも高い注目領域用フレームレートで撮像を行うように制御し、他の単位グループ２３１については、通常フレームレートで撮像を行うように制御する。カメラ１００は注目領域としてのＡＦ専用画素のライン６２１〜６２３から出力される画素信号に基づいて、撮影レンズ１２０の焦点調節状態を検出する。これにより、撮像素子２００の全体の撮像領域から画像信号を読み出しても、撮像素子２００の特定の撮像領域（注目領域に対応する光像が入射した単位グループ２３１）から画素信号を高速に読み出すことができる。ゆえに、撮像素子２００の全体の撮像領域から画像信号を読み出しても、注目領域の焦点調節状態を高速に検出することができ、ＡＦ処理の精度を向上することができる。

（変形例１）
夜間の撮影など周囲が暗い撮影状況では、フレームレートが高いとシャッター速度が短くなって撮像画像が暗くなり、スルー画が見にくくなってしまう可能性がある。しかし、スルー画が見やすくなるシャッター速度に合わせてフレームレートを低くすると、ＡＦ処理の精度が低下してしまう可能性がある。そこで、上述した第１の実施形態において、制御部１０１は、周囲が暗い撮影状況の場合、注目領域に適用する注目領域用フレームレートについては、撮影レンズ１２０の焦点調節状態を検出するのに適したフレームレート（例えば、６０ｆｐｓ）とし、周辺領域に適用する通常フレームレートについてはスルー画を表示部１０６に表示するのに適したフレームレート（例えば、１５ｆｐｓ）とする。このようにすることで、スルー画が見にくくならずに、ＡＦ処理の精度を向上することができる。

（変形例２）
上述した実施の形態では、注目領域のフレームレートを高くする例について述べたが、注目領域のフレームレートを通常フレームレートのまま維持し、周辺領域のフレームレートを通常フレームレートよりも低くするようにしてもよい。こうすることにより、ＡＦ処理の精度を保ちながらも、消費電力や画像処理の負荷を低減させることができる。

（変形例３）
上述した第２の実施形態では、ＡＦ専用画素２４０に２つの受光部２４１，２４２が設けられている例について述べた。しかしながら、図９（ｂ）に示すように、ＡＦ専用画素２４０は、１つの受光部２４３のみを有し、受光部２４３の半分が遮光金属膜２４４などで覆われた構成でなるようにしてもよい。この場合、受光部２４３の右半分が開口されたＡＦ専用画素２４０と、受光部２４３の左半分が開口されたＡＦ専用画素２４０とが交互に並んで配置され、この一対のＡＦ専用画素２４０で、撮影レンズ１２０の瞳の一対の領域を通過した一対の光束を受光する。

（変形例４）
上述した第２の実施形態では、特徴領域６１０周辺のＡＦ専用画素のライン６２１〜６２３を注目領域として注目領域用フレームレートを適用する例について述べた。しかしながら、ＡＦ専用画素のラインではなく、特徴領域６１０周辺のＡＦ専用画素を含む部分的な領域を注目領域として注目領域用フレームレートを適用するようにしてもよい。

（変形例５）
上述した実施形態では、レリーズボタンが半押し操作されると、注目領域のフレームレートを変更してＡＦ処理を実行する例について述べたが、注目領域のフレームレートを変更してＡＦ処理を実行するタイミングについてはこれに限らなくてもよい。例えば、モード切り替えボタンなどで、静止画撮影に切り替えられたタイミングで、注目領域のフレームレートを変更してＡＦ処理を実行するようにしてもよい。

（変形例６）
上述した実施形態では、コントラスト検出方式または位相差検出方式のいずれかでＡＦ処理を実行する例について述べたが、コントラスト検出方式と位相差検出方式とを組み合わせたハイブリッド方式によりＡＦ処理を実行するようにしてもよい。この場合、例えば、制御部１０１は、最初に位相差検出方式のＡＦ処理を行い、この結果をもとに、ピントを合わせるためには、フォーカシングレンズをどの方向に駆動すればよいか決定する。そして、制御部１０１は、決定した方向にフォーカシングレンズを駆動しながら、コントラスト検出方式によるＡＦ処理を実行する。また、例えば、制御部１０１は、通常は位相差検出方式のＡＦ処理を行い、撮像画像の輝度が所定値よりも低い（すなわち暗い撮影状況）では、コントラスト検出方式のＡＦ処理に切り替えるようにしてもよい。

（変形例７）
上述した実施形態では、静止画撮影におけるＡＦ処理に本発明を適用する例について述べたが、動画撮影におけるＡＦ処理に本発明を適用するようにしてもよい。

（変形例８）
上述した実施形態では、人物の顔を主要被写体として検出する例について説明したが、この他の被写体を主要被写体として検出するようにしてもよい。例えば、動物を主要被写体として検出するようにしてもよい。この場合、例えば、動物の目、口、鼻、耳、尾などを特徴領域として上述した実施形態と同様の制御を行う。

また、主要被写体は、人工物であってもよい。この場合は、人工物の色情報やパターン情報などから特徴領域を検出する。例えば、色や輝度のコントラストが大きい部分を特徴領域として上述した実施形態と同様の制御を行う。

（変形例９）
上述した実施形態では、複数の画素から構成される単位グループ２３１ごとにフレームレートを変更可能な撮像素子２００を用いる例について説明したが、１つの画素ごとに個別にフレームレートを変更可能である撮像素子を用いるようにしてもよい。

（変形例１０）
本発明による撮像装置は、デジタルカメラだけに限定されない。例えば、携帯電話機、スマートフォン、タブレット端末なども本発明による撮像装置に含まれる。

（変形例１１）
上述した実施の形態では、各画素に対応してフローティングディフュージョンが設けられた撮像素子を用いる例を説明した。しかしながら、少なくとも２つの画素でフローティングディフュージョンを共有する撮像素子を用いるようにしてもよい。

以上の説明はあくまで一例であり、上記実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。

１００…カメラ、１０１…制御部、１０２…撮像素子駆動部、１０３…画像処理部、１１１…主要被写体検出部、１１２…注目領域決定部、１２０…撮影レンズ、１２１…レンズ駆動部、２００…撮像素子、２０４…フォトダイオード、２０９…バンプ、２１１…信号処理チップ、２１３…撮像チップ、ＦＤ…フローティングディフュージョン

Claims (12)

1. フォーカシングレンズを含む光学系を介して被写体を撮像する撮像素子であって、光を電荷に変換する光電変換部と、前記光電変換部で変換された電荷に基づく電圧信号を出力する出力部と、を有する複数の画素が行方向と列方向とにおいてそれぞれ配置される撮像素子と、
   前記撮像素子で撮像された被写体のうち特定被写体を検出する検出部と、
   前記複数の画素のうち、前記特定被写体からの光を電荷に変換する光電変換部を有する第１画素のフレームレートを、前記複数の画素のうち、前記第１画素とは異なる画素であって前記第１画素から前記行方向側に配置される第２画素のフレームレートとは異なるフレームレートで前記第１画素の前記出力部から電圧信号を出力するように制御する制御部と、を備え、
   前記制御部は、前記第１画素の前記出力部から出力された前記電圧信号に基づいて前記フォーカシングレンズを制御するための制御信号を出力する撮像装置。
2. 前記制御部は、前記フォーカシングレンズを前記光学系の光軸方向に移動させるための制御信号を出力する請求項１に記載の撮像装置。
3. 前記第１画素は、前記光学系からの光が入射される第１マイクロレンズと、前記第１マイクロレンズの光軸方向において前記第１マイクロレンズと前記第１画素の前記光電変換部との間に配置され、前記第１マイクロレンズからの光が通る第１開口部を有する第１部材と、が配置され、
   前記第２画素は、前記光学系からの光が入射される第２マイクロレンズと、前記第２マイクロレンズの光軸方向において前記第２マイクロレンズと前記第２画素の前記光電変換部との間に配置され、前記第２マイクロレンズからの光が通る、前記第１開口部よりも開口が大きい第２開口部を有する第２部材と、が配置される請求項１または請求項２に記載の撮像装置。
4. 前記光電変換部は、複数の光電変換領域を有する請求項１または請求項２に記載の撮像装置。
5. 前記第２画素は、前記撮像素子において前記第１画素から前記行方向側と前記第１画素から前記列方向側とにそれぞれ配置される請求項１から請求項４のいずれか一項に記載の撮像装置。
6. 前記複数の画素は、前記光電変換部の電荷をフローティングディフュージョンに転送する転送部をそれぞれ有し、
   前記出力部は、前記フローティングディフュージョンに転送された電荷に基づく前記電圧信号を出力する請求項１から請求項５のいずれか一項に記載の撮像装置。
7. 前記検出部は、前記電圧信号を用いて前記撮像素子で撮像された被写体を検出する請求項１から請求項６のいずれか一項に記載の撮像装置。
8. 前記制御部は、前記第１画素のフレームレートを前記第２画素のフレームレートよりも高くする請求項１から請求項７のいずれか一項に記載の撮像装置。
9. 前記制御部は、前記第１画素のフレームレートを前記第２画素のフレームレートよりも低くする請求項１から請求項７のいずれか一項に記載の撮像装置。
10. 前記撮像素子は、前記電圧信号をデジタル信号に変換するための変換回路を有する請求項１から請求項９のいずれか一項に記載の撮像装置。
11. 前記撮像素子は、前記光電変換部を有する撮像チップと、前記変換回路を有する信号処理チップと、を有する請求項１０に記載の撮像装置。
12. 前記撮像チップは、前記信号処理チップにより積層される請求項１１に記載の撮像装置。

Images