JP7277263B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関するものである。

デジタルカメラの高機能化が進むにつれて、撮像素子から得られる画素信号に基づく演算の種類が増えてきている。これらの演算により得られる情報は、例えばオートフォーカス（ＡＦ）制御におけるレンズ駆動のために使用される。このレンズ駆動を高速に行うことによって、カメラの連写時におけるフレームレートを向上させることができるため、できるだけ高速に演算を終了させることが必要である。そこで、演算が終了するまでの時間を短縮するための種々の方法が提案されている。

例えば、特許文献１では、画素アレイの一部に焦点検出画素が存在する構成において、第１のモードと第２のモードとを切り替えて、画素から信号を出力する撮像装置が開示されている。まず、第１のモードでは、画素が配置された順番に信号を出力する。一方、第２のモードでは、焦点検出領域の焦点検出用画素とその周辺画素から先に信号を出力し、残りの画素の信号を後から出力する。この構成において、第２のモードは、第１のモードと比較して焦点検出用画素の信号を早く出力できるため、その後の焦点検出演算とそれに続くフォーカスレンズの駆動を早く終わらせることができる。

特開２０１６－７２６９５号公報

上述したように、特許文献１に開示された従来技術では、第２のモードは、画像信号を出力する順番が画素の配置の順番とは異なる。しかしながら、メカシャッタを開いたまま画素から信号を順次出力する電子シャッタ方式で動きのある被写体を撮影すると、次のような問題があった。すなわち、焦点検出領域が画面の上部に接していない場合に、先に焦点検出領域の焦点検出用画素から信号を出力すると、焦点検出領域の上下領域で露光（電荷蓄積）のタイミングが異なることになる。その結果、画像としては、焦点検出領域の上下の境目で不連続な、違和感のあるものとなってしまう。

本発明は上記問題点を鑑みてなされたものであり、電子シャッタ方式で撮影を行う場合に、複数の画素から得られた信号に基づく演算が終了するまでの時間を短縮しつつ、撮影された画像の違和感を低減することを目的とする。

上記目的を達成するために、本発明の撮像装置は、各々が複数の光電変換部および１つのマイクロレンズを備えた画素が複数配置された画素部と、前記画素部を駆動する駆動手段と、前記画素部から出力された画像データを記憶する記憶手段と、前記画像データの一部である第１の画像データを用いた演算を行う第１の処理と、前記画像データに対して画像を得るための処理を行う第２の処理とを行う少なくとも１つの画像処理手段と、前記画素部から出力された画像データを、前記記憶手段および前記画像処理手段に転送する制御を行う制御手段と、を有し、前記制御手段は、前記画素部から出力された画像データのうち、少なくとも前記第１の画像データの一部を、前記記憶手段に格納せずに前記画像処理手段に転送し、前記第１の画像データの残りと、前記画素部から出力された画像データのうち、第２の画像データを、前記記憶手段に記憶し、前記第１の画像データの残りと、前記第２の画像データを、前記記憶手段から前記画像処理手段に転送するように制御し、前記駆動手段は、前記第１の画像データおよび前記第２の画像データを前記画像処理手段に転送する順序とは異なる所定の順序で前記画像データを出力するように前記画素部を駆動する。

本発明によれば、電子シャッタ方式で撮影を行う場合に、複数の画素から得られた信号に基づく演算が終了するまでの時間を短縮しつつ、撮影された画像の違和感を低減することができる。

本発明の実施形態に係る撮像装置の構成を示すブロック図。 実施形態に係る撮像素子の構成を示す図。 第１の実施形態における撮像素子、フロントエンド、ＤＳＰの内部構成を示すブロック図。 第１及び第２の実施形態の画素アレイにおける第１画素群と第２画素群の分布例を示す図。 第１の実施形態における処理を示すタイミングチャート。 実施形態に係る撮像素子の構成例を示す図。 第２の実施形態の撮像素子、フロントエンド、ＤＳＰの内部構成を示すブロック図。 第２の実施形態における処理を示すタイミングチャート。 第３の実施形態の撮像素子、フロントエンド、ＤＳＰの内部構成を示すブロック図。 第３の実施形態における処理を示すタイミングチャート。 第３の実施形態における画素アレイの第１画素群と第２画素群の分布例を示す図。 第３の実施形態における処理を示すタイミングチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。図１において、第１レンズ１００は撮影光学系１２０の先端に配置されている。絞り１０１は、その開口径を調節することで撮影時の光量調節を行う。第２レンズ１０２及び第３レンズ１０３は、フォーカスアクチュエータ１１７によって駆動され、光軸方向に進退することにより、撮影光学系１２０の焦点を調節する。

フォーカルプレーンシャッタ１０４は、静止画撮影時に露光秒時を調節する。光学的ローパスフィルタ１０５は撮影画像の偽色やモアレを低減するために用いられる。撮像素子１０６は、撮影光学系１２０により形成された被写体の光学像を電気信号に光電変換する。フロントエンド（ＦＥ）１０７は、メモリと転送部を内蔵し、撮像素子１０６から画像データを受信し、その一部または全部をメモリに格納し、後段のＤｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（ＤＳＰ）１０８へと送信する。

ＤＳＰ１０８は所定の画像処理を行う。すなわちＤＳＰ１０８は撮像素子１０６で撮影され、フロントエンド１０７から送信された画像データに対して、補正・圧縮等の処理を行う。また、送信された画像データを、後述するように位相差を有するＡ像データとＢ像データに分離する分離機能や、Ａ像データとＢ像データを用いた相関演算を行う相関演算機能を有する。さらに、表示部１１１に表示するために画像データを加工する処理や、画像データを記録媒体１１３に記録するための処理を行う。なお、撮像素子１０６、フロントエンド１０７、ＤＳＰ１０８における信号処理に関する詳細については後述する。

ＲＡＭ１０９は、フロントエンド１０７からの出力データを保持する機能と、ＤＳＰ１０８で処理された画像データを記憶する機能と、ＣＰＵ１１０が動作を行う際のワークメモリとしての機能を兼備する。なお、アクセス速度が十分に速く、動作上問題のないレベルのメモリであれば、ＲＡＭ以外の他の種類のメモリを用いることも可能である。また本実施形態では、ＲＡＭ１０９は、ＤＳＰ１０８、ＣＰＵ１１０の外部に配置されているが、その一部または全部の機能をＤＳＰ１０８やＣＰＵ１１０に内蔵する構成であってもよい。

表示部１１１は、ＤＳＰ１０８によって処理された静止画像や動画像及びメニュー等の表示を行う。操作部１１２は、撮影命令や撮影条件等の設定をＣＰＵ１１０に対して行う。記録媒体１１３は、静止画データ及び動画データを記録する着脱可能な記録媒体、ＲＯＭ１１４は、ＣＰＵ１１０が各部の動作を制御するためにロードして実行するプログラムを格納する。

ＣＰＵ１１０は、撮像装置の各部を制御するためのプログラムを実行し、撮像装置の動作を統括的に制御する。また、ＤＳＰ１０８から出力される相関演算の結果を用いて、フォーカス駆動回路１１６を制御し、撮影光学系１２０の焦点を調節する機能も有する。フォーカス駆動回路１１６は、ＣＰＵ１１０からの指示に基づいてフォーカスアクチュエータ１１７を制御し、第２レンズ１０２及び第３レンズ１０３を光軸方向に進退駆動して焦点調節を行う。

更に、ＣＰＵ１１０は、公知の測光方法による測光結果や、操作部１１２からの設定に基づいて、シャッタ駆動回路１１５及び絞り駆動回路１１８を制御する。ＣＰＵ１１０からの指示に基づいて、シャッタ駆動回路１１５は、フォーカルプレーンシャッタ１０４を駆動制御し、絞り駆動回路１１８は、絞りアクチュエータ１１９を制御して、絞り１０１の開口を制御する。

次に、本実施形態における撮像素子１０６の構成について、図２を参照しながら説明する。なお、図２（ａ）は、撮像素子１０６の画素アレイ（画素領域）２００を示す図である。図２（ａ）に示すように、画素アレイ２００には、単位画素２０１が行列方向に複数配置されている。それぞれの単位画素２０１は、１つのマイクロレンズ２０２を有し、各マイクロレンズ２０２下に、光電変換部として２つのフォトダイオード（ＰＤ）２０３ａ，２０３ｂを有する。

図２（ｂ）は、単位画素２０１の詳細な回路構成を説明する図である。図２（ｂ）において、ＰＤ２０３ａとＰＤ２０３ｂは前述した同一のマイクロレンズ下で単位画素２０１を構成するＰＤである。転送スイッチ２０４ａは信号φｔｘａによって制御され、転送スイッチ２０４ｂは信号φｔｘｂによって制御される。この信号φｔｘａ、φｔｘｂをＨｉｇｈ（以下Ｈｉｇｈを「Ｈ」と記す。）にすることによって、ＰＤ２０３ａ，２０３ｂに蓄積された電荷をフローティングディフュージョン部（ＦＤ）２０５に転送することができる。転送スイッチ２０４ａ，２０４ｂのＯＮ／ＯＦＦは独立に制御することができるため、ＰＤ２０３ａ，２０３ｂに蓄積された電荷は、独立に転送することができる。

リセットスイッチ２０６はＦＤ２０５を初期化するためのスイッチであり、信号φｐｒｅｓによって制御される。画素アンプ用トランジスタ２０７は、選択スイッチ２０８、及び後述する垂直出力線２１１を介して、後述する定電流源２１２に接続されている。選択スイッチ２０８の入力信号φｓｅｌがＨになると、画素アンプ用トランジスタ２０７は定電流源２１２と接続され、画素アンプを形成する。ＦＤ２０５はこの画素アンプに接続されているため、ＰＤ２０３ａ，２０３ｂからＦＤ２０５に転送された電荷は、画素アンプによって電荷量に応じた電圧値に変換され、垂直出力線２１１に画素信号として出力されることになる。

このような構成を有する単位画素２０１では、異なる瞳領域を通過した光束をマイクロレンズ２０２により単位画素を構成する２つのＰＤ２０３ａ，２０３ｂに結像する。そして、２つのＰＤ２０３ａ，２０３ｂの各々で発生した電荷に応じた信号を加算した信号（Ａ＋Ｂ像信号）を撮像信号、個々のＰＤ２０３ａ，２０３ｂ各々で発生した電荷に応じた２つの信号（Ａ像信号、Ｂ像信号）をＡＦ用信号（焦点検出用信号）として用いる。

なお、撮像信号とＡＦ用信号をそれぞれ出力してもよいが、処理負荷を考慮して、次のようにしてもよい。即ち、撮像信号（Ａ＋Ｂ像信号）と、ＰＤ２０３ａ，２０３ｂのいずれか一方のＡＦ用信号（例えばＡ像信号）とを出力し、差分を取ることで、視差を有するもう一方のＡＦ用信号（例えばＢ像信号）を取得する。または、ＰＤ２０３ａ，２０３ｂのＡＦ用信号（Ａ像信号、Ｂ像信号）をそれぞれ出力し、出力された信号を加算することで撮像信号（Ａ＋Ｂ像信号）を取得する。

そして、複数の画素から出力された複数のＡ像信号と複数のＢ像信号をそれぞれまとめることで、撮像面位相差検出方式によるＡＦ（以下、「撮像面位相差ＡＦ」という。）に用いられる一対の像データ（Ａ像データ、Ｂ像データ）を得る。後述するＤＳＰ１０８では、該一対の像データに対する相関演算を行って、これら一対の像データのずれ量である位相差（以下、「像ずれ量」という。）を算出し、さらに算出した像ずれ量から撮影光学系のデフォーカス量及びデフォーカス方向を算出する。

なお、本実施形態では各画素において、１つのマイクロレンズ２０２に対して２つのＰＤ２０３ａ，２０３ｂを有する構成としているが、フォトダイオードの数は２つに限定されず、それ以上であってもよい。また、瞳分割方向も水平方向に限られるものでは無く、垂直方向であっても良い。また、マイクロレンズ２０２に対して受光部の開口位置が異なる画素を複数有するようにしてもよい。つまり、結果として位相差検出用の２つ以上の信号が得られる構成であればよい。

また、本発明は図２（ａ）に示すように全ての画素が複数のフォトダイオードを有する構成に限らず、画素アレイ２００を構成する通常画素内に、図２（ｂ）に示すような焦点検出用画素を離散的に設ける構成であってもよい。また、同じ画素アレイ２００内において互いに異なる分割方法で分割された複数種類の画素が含まれてもよい。

さらに、単位画素下の画素が必ずしも分割されている必要はなく、例えば画素アレイ２００の一部の画素の左半分が遮光されていて、また別の一部の画素の右半分が遮光されている構成をとってもよい。この場合、異なる画素の信号に基づいて、位相差検出用の信号が得られる構成となる。

また、本実施形態では、ＤＳＰ１０８で行う処理として、撮像面位相差ＡＦを例に挙げて説明するため、撮像素子１０６が上述した構成を有するが、本発明はこれに限られるものでは無い。例えば、撮像面位相差ＡＦを行わず、ＤＳＰ１０８がそれ以外の演算を行う場合には、単位画素が複数のフォトダイオードを有さなくてもよい。

図２（ｃ）は、撮像素子１０６の詳細な回路構成を示す。画素アレイ２００には、水平方向に（ｍ＋１）個、垂直方向に（ｎ＋１）個の複数の単位画素２０１が配置されている。タイミングジェネレータ（ＴＧ）２１０は、ＣＰＵ１１０によってプログラムされた設定に従って、各回路ブロックに制御パルスを供給する。

垂直走査回路２０９は、画素にパルスを送ることで、各画素における電荷蓄積時間を制御する（電子シャッタ）。まず、リセットスイッチ２０６と転送スイッチ２０４ａ，２０４ｂを同時にＯＮすることで、ＰＤ２０３ａ，２０３ｂを電源電位ＶＤＤにリセットすることができる。この状態から、転送スイッチ２０４ａ，２０４ｂをＯＦＦすることで、ＰＤ２０３ａ，２０３ｂにおいて電荷の蓄積が開始される。そして、リセットスイッチ２０６をＯＦＦしてＦＤ２０５のリセットを解除してから、転送スイッチ２０４ａ，２０４ｂをＯＮすることで、蓄積された電荷の転送を行う。そして、転送された電荷に対応する画素信号を垂直出力線２１１へ出力する。また、特定の画素を選択し、選択画素と非選択画素とで駆動を切り替えることもできる。なお、本実施形態では、ＴＧ２１０は撮像素子１０６に内蔵されているが、撮像素子１０６の外部に配置される構成でも構わない。

各単位画素２０１で光電変換して得られたた画素信号は、前述のように垂直走査回路２０９から供給される駆動信号によって、垂直出力線２１１へと行単位で出力される。定電流源２１２は、前述した画素アンプ用トランジスタ２０７と組み合わされてソースフォロワ回路を形成する。読み出し回路２１３は、各列の垂直出力線２１１に出力された画素信号を増幅する機能を有する。ＡＤ変換回路（ＡＤＣ）２１４は、読み出し回路２１３の出力をデジタル信号へ変換する。ＡＤＣ２１４によって変換されたデジタル信号は、水平走査回路２１５によって順に選択されて、出力部２１６から撮像素子１０６の外部へ画像データとして出力される。

なお、本実施形態では、電子シャッタ機能を利用して、画素アレイ２００から様々な順序で信号を出力することが可能である。例えば、画面の一番上または下から順に電荷蓄積及び信号出力を行う方法がある。また、例えば偶数行の連続する２行を取得し、その次に前記２行の間の２行を含む奇数行の連続する２行を取得し、それを交互に繰り返すように、１行以上、飛び越しながら、行を変えて繰り返し電荷蓄積及び信号出力を行うことで、最終的に画素アレイ２００の全画素から画像信号を得る方法などもある。このほかにも種々の信号出力方法があり得るが、得られた画像に明らかなギャップが現れないような信号出力方法であればよい。

続いて、第１の実施形態における撮像素子１０６、フロントエンド１０７、ＤＳＰ１０８の詳細な構成について、図３を参照しながら説明する。フロントエンド１０７は、ＲＡＭ３００を含み、前述のフロントエンド１０７に内蔵されるメモリの役割を担っている。このＲＡＭ３００は、撮像素子１０６の出力部２１６から出力された少なくとも１フレーム分の画像データを格納する。なお、本実施形態ではフロントエンド１０７に含まれるメモリをＲＡＭとする構成であるが、アクセス速度が十分に速く、動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。転送回路３０１は、ＲＡＭ３００に格納された画像データをＤＳＰ１０８へと転送する。制御回路３０２は、ＲＡＭ３００と転送回路３０１を制御し、画像データが転送される順序を制御する。

ＤＳＰ１０８には受信回路３０３が内蔵されており、転送回路３０１から転送されてきた画像データを、並べ替え回路３０４及び演算回路３０５に送る。並べ替え回路３０４は、転送回路３０１から送られてきた画像データの順番を、例えば、画素アレイ２００の単位画素２０１の物理配列順や、後段の処理回路（不図示）のために好適な順番に並べ替えることができる。演算回路３０５は、画像データに基づいた種々の演算を行うことができる。なお、以下の説明においては一例として、前述のＡ像信号及びＢ像信号からＡ像データ及びＢ像データを生成し、得られたＡ像データ及びＢ像データの相関演算を行って、第２レンズ１０２及び第３レンズ１０３を駆動するためのデフォーカス量を得る場合について説明する。

他にも演算回路３０５では、表示部１１１に表示する画像を作成する演算、Ａ像データとＢ像データから画像の深度情報を得るデフォーカスマップを作成する演算、被写体の動きを検出する追尾演算、露出をコントロールするためのＡＥ演算等を行うことができる。また、画像のホワイトバランスを決定するためのＷＢ演算、画像のフリッカを検出するための演算、フラッシュの発光量を決定するための調光演算、なども考えられる。なお、演算回路３０５で行うことができる演算は、ここに挙げた構成及び演算に限定されない。

なお、上述した相関演算に代表されるように、ＤＳＰ１０８内の演算回路３０５で行われる演算は、必ずしも全画面の情報を必要とするものではない。図４は、全画面の中で演算に使用される領域を示した例である。ここでは、全画面４００は、例えば画素アレイ２００全体を示すが、その他にも、画素アレイ２００の一部の画素をクロップして出力する場合、画素アレイ２００の一部領域であってもよい。

測距枠４０１は、例えば操作部１１２を介して設定された被写体が存在する領域であり、この枠内の単位画素２０１から出力された画像信号を用いて演算回路３０５で相関演算を行う。その際、例えば垂直走査回路２０９を用いて、相関演算に使用する画素行を選択することができる。以下、選択された画素行に含まれる単位画素２０１を第１画素群４０２、選択されなかった画素行に含まれる単位画素２０１を第２画素群４０３とする。この場合、第１画素群４０２から出力された画像データは演算回路３０５での演算に使用されるが、第２画素群４０３から出力された画像データは使用されない。

次に、図５に示すタイミングチャートを参照して、画像の撮影を行った後、演算回路３０５で相関演算を行い、その情報に基づいてレンズを駆動させ、次のフレームの画像を撮影する場合の本第１の実施形態における処理について説明する。まず、時刻ｔ１０で電荷蓄積を開始し、時刻ｔ１１で蓄積された電荷に応じた画素信号をデジタル信号に変換することで得られる画像データの出力を開始する。本実施形態では、ＰＤ２０３ａ，２０３ｂのリセット解除から単位画素２０１外への電荷に応じた画素信号の出力までが、電荷蓄積時間、すなわち露光時間に相当し、行単位で順次制御される。この際に、画像信号は、単位画素２０１が第１画素群４０２に属するか第２画素群４０３に属するかは関係のない所定の順序で取得される。また、信号の出力開始と同時に、出力された画像データをＲＡＭ３００に順次格納し始める。

時刻ｔ１２において、撮像素子１０６から出力された画像データのＲＡＭ３００への格納が完了すると、同時に、第１画素群４０２の画像データがＲＡＭ３００から出力され、フロントエンド１０７の転送回路３０１からＤＳＰ１０８への転送を順次開始する。第２画素群４０３の画像データの一部は、第１画素群４０２の画像データよりも先に撮像素子１０６から出力されているが、この時点ではＲＡＭ３００に格納したまま出力しない。時刻ｔ１３において、第１画素群４０２に対応する全画像データの転送が完了すると、ＤＳＰ１０８内の演算回路３０５では相関演算を開始する。同時に、ＲＡＭ３００からは第２画素群４０３に対応する画像データの転送を開始する。

時刻ｔ１４において相関演算が完了すると、その結果に基づいて、ＣＰＵ１１０はレンズの駆動を開始する。時刻ｔ１５でレンズの駆動が完了すると、次の蓄積を開始できる状態になるため、同時に次フレームの蓄積を開始する。時刻ｔ１６では時刻ｔ１３で転送が開始された第２画素群４０３の画像データの転送が完了する。この転送の完了を以て、１枚の画像の撮影が終了する。

なお、上述したように、ＲＡＭ３００から第１画素群４０２に対応する画像データを先に転送した場合、ＤＳＰ１０８における画像データの受信順が、単位画素２０１の物理配列順から入れ替わってしまう。そのため、並べ替え回路３０４において、転送されてきた画像データを単位画素２０１の物理配列順に並び替えることによって、１枚の画像を取得することができる。

以上説明したように第１の実施形態によれば、撮像素子からの画像データの取得は画像の違和感を低減する順番で行いつつ、次フレームの撮影に必要な演算を先に行うことができるため、画像の違和感を低減しつつもフレームレートを向上させることができる。特に、撮像素子１０６からフロントエンド１０７内のＲＡＭ３００への転送レートよりもフロントエンド１０７からＤＳＰ１０８への転送レートの方が遅い場合に有効である。

なお、本実施形態では、ＤＳＰを一つのみ設ける例について説明したが、複数のＤＳＰを設けるように構成し、各機能を分担するようにしてもかまわない。例えば、第１のＤＳＰは、第１画素群４０２および第２画素群４０３の画像データの補正処理、表示部１１１に表示するための処理や記録媒体１１３に記録するための処理を行う。また、第２のＤＳＰは、第１画素群４０２のＡ像データとＢ像データを用いた相関演算を行う。

（撮像素子１０６、フロントエンド１０７のチップ構成について）
撮像素子１０６、フロントエンド１０７の具体的なチップ構成は、いくつかの構成が考えられる。図６は、チップ構成に関する複数の具体的な例を示す図である。図６（ａ）は構成例１を示しており、撮像素子１０６が第１の半導体基板上に形成されて第２のチップ６００を成し、フロントエンド１０７が第２の半導体基板上に形成されて第３のチップ６０１を成している。この２つのチップは第１の電気基板６０３に搭載され、第２の電気基板６０４に搭載されている、少なくともＤＳＰ１０８が含まれる第１のチップ６０２に接続されている。

図６（ｂ）は構成例２を示しており、撮像素子１０６が第３の半導体基板上に形成され、フロントエンド１０７が第４の半導体基板上に形成され、それらが積層されることによって第４のチップ６０５を成している。第４のチップ６０５は第１の電気基板６０３に搭載され、第２の電気基板６０４に搭載されている、少なくともＤＳＰ１０８が含まれる第１のチップ６０２に接続されている。

図６（ｃ）は構成例３を示しており、撮像素子１０６とフロントエンド１０７が第５の半導体基板上に形成され、第５のチップ６０６を成している。第５のチップ６０６は第１の電気基板６０３に搭載され、第２の電気基板６０４に搭載されている、少なくともＤＳＰ１０８が含まれる第１のチップ６０２に接続されている。

このように、基板やチップの構成は上記構成を含む種々の構成の中から好適なものを選択することができ、これらのうちのどの構成においても第１の実施形態の効果は変わらない。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第１の実施形態では、撮像素子１０６から出力された１フレーム分の全画像データを一旦ＲＡＭ３００に格納した。そして、その後、第１画素群４０２に対応する画像データをＲＡＭ３００から出力し、更にその後、第２画素群４０３に対応する画像データをＲＡＭ３００から出力してＤＳＰ１０８へと転送した。これに対し、第２の実施形態では、１フレーム分の画像データの少なくとも一部をＲＡＭ３００に格納しない転送方法について説明する。

図７は、第２の実施形態における撮像素子１０６、フロントエンド１０７、ＤＳＰ１０８の構成を示すブロック図である。なお、図７において、図３と同様の構成には同じ参照番号を付し、適宜説明を省略する。第２の実施形態におけるフロントエンド１０７は、図３に示す構成に、ルータ７００とセレクタ７０１を追加し、制御回路７０２が、ルータ７００、セレクタ７０１、ＲＡＭ３００を制御するところが第１の実施形態と異なる。ルータ７００は、撮像素子１０６から出力された画像データをＲＡＭ３００に格納させるか、セレクタ７０１に出力するかを、制御回路７０２からの制御信号によって切り替える。セレクタ７０１は、転送回路３０１から転送する画像データを、ルータ７００からの画像データにするかＲＡＭ３００からの画像データにするかを、制御回路７０２からの制御信号によって切り替える。なお、これ以外の構成は、図１及び図２を参照して説明した撮像装置の構成と同様であるため、説明を省略する。

第２の実施形態では、ルータ７００とセレクタ７０１が、フロントエンド１０７内に個別に存在する構成として説明する。しかしながら、例えばＲＡＭ３００にスルー機能があって、ＲＡＭ３００に対して読み書きが発生しないような経路を選択できるような構成であれば、ルータ７００とセレクタ７０１を追加しなくてもよい。また、本発明の趣旨を逸脱しない範囲において、その他あらゆる構成が可能である。

図８は、第２の実施形態における処理を示すタイミングチャートであって、第１画素群４０２に対応する画像データをＲＡＭ３００に格納しないで転送し、その後、ＲＡＭ３００から第２画素群４０３の画像データを転送する例を示す。まず、時刻ｔ２０で電荷蓄積を開始し、時刻ｔ２１で画像データの出力を開始する。この際に、画像データは、単位画素２０１が第１画素群４０２に属するか第２画素群４０３に属するかには関係のない所定の順序で取得される。ここでは、図４に示すように測距枠４０１が画面の中間部分にあり、画面の上部から下部に向かって、画像データを順次行単位で出力するものとして説明する。この場合、画像データの出力と同時に、制御回路７０２は第２画素群４０３から出力された画像データをＲＡＭ３００に格納するようにルータ７００を制御する。

時刻ｔ２２で、第１画素群４０２の画像データの出力が開始されると、制御回路７０２は、画像データをＲＡＭ３００に格納せずにＤＳＰ１０８に転送を開始できるようにルータ７００、セレクタ７０１を制御する。そして、ＤＳＰ１０８に対して第１画素群４０２の画像データの転送を始める。ただし、フロントエンド１０７の転送回路３０１の出力レートが撮像素子１０６の出力部２１６の出力レートよりも遅い場合は、ＲＡＭ３００に第１画素群４０２のデータの一部を格納してもよい。すなわち、その場合、第１画素群４０２の少なくとも一部の画素から出力された画像データはＲＡＭ３００に格納され、フロントエンド１０７の転送レートで出力できるように制御する。

時刻ｔ２３では、全画像データの出力、及び、第２画素群４０３からの画像データ及び第１画素群４０２の一部の画像データのＲＡＭ３００への格納が完了するが、この時点において第１画素群４０２のデータの転送は半ばまで済んでいる。時刻ｔ２４で第１画素群４０２の画像データの転送が完了すると、この時点から相関演算を開始することができる。また同時に、第２画素群４０３の画像データの転送を開始する。

時刻ｔ２５において相関演算が完了すると、その結果に基づいて、ＣＰＵ１１０はレンズの駆動を開始する。時刻ｔ２６でレンズの駆動が完了すると、次の蓄積を開始できる状態になるため、同時に次フレームの蓄積を開始する。時刻ｔ２７では時刻ｔ２４で転送が開始された第２画素群４０３の画像データの転送が完了する。図８に示す処理では、第１の実施形態で説明した図５に示す処理と比較して、より早いタイミングで相関演算を終えることができる。

上記の通り本第２の実施形態によれば、よりも早く相関演算を終えることができる。その結果、次フレームの蓄積の開始タイミングを早めることができるため、撮影フレームレートを向上させることができる。

なお、上述したように、第１画素群４０２に対応する画像データを先に転送した場合、ＤＳＰ１０８における画像データの受信順が、単位画素２０１の物理配列順から入れ替わってしまう。そのため、並べ替え回路３０４において、転送されてきた画像データを単位画素２０１の物理配列順に並び替えることによって、１枚の画像を取得することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。図９は、本第３の実施形態における撮像素子１０６、フロントエンド１０７、ＤＳＰ１０８の構成を示すブロック図である。図９に示す構成は、図７に示す構成のうち、並べ替え回路３０４が無い場合を示している。なお、図９において、図７と同様の構成には同じ参照番号を付し、適宜説明を省略する。また、これ以外の構成は、図１及び図２を参照して説明した撮像装置の構成と同様であるため、説明を省略する。

図１０は、第３の実施形態における処理を示すタイミングチャートである。第３の実施形態では、第２の実施形態において図８を参照して説明した方法と同様に、第１画素群４０２の画像データを出力した直後から送信するが、第１画素群４０２の画像データもすべてＲＡＭ３００に格納する。そして第１画素群４０２の画像データの送信が終了した後、第２画素群４０３の画像データとともに、もう一度第１画素群４０２の画像データを転送する。

時刻ｔ３０で電荷蓄積を開始し、時刻ｔ３１で画像データの出力を開始する。この際に、画像データは、単位画素２０１が第１画素群４０２に属するか第２画素群４０３に属するかには関係のない所定の順序で取得される。また、これと同時に出力された画像データのＲＡＭ３００への格納を開始する。ここでは、図４に示すように測距枠４０１が画面の中間部分にあり、画面の上部から下部に向かって、画像信号を順次行単位で出力するものとして説明する。

時刻ｔ３２では、第１画素群４０２の画素データの出力を開始する。このとき、制御回路７０２は、画像データをＲＡＭ３００に格納しつつ、同時にＤＳＰ１０８にも転送できるようにルータ７００、セレクタ７０１を制御し、ＤＳＰ１０８に対して第１画素群４０２の画像データの転送を始める。時刻ｔ３３では、全画像データのＲＡＭ３００への格納が完了するが、この時点において第１画素群４０２の画像データの転送は半ばまで済んでいる。時刻ｔ３４に第１画素群４０２の画像データの転送が完了すると、この時点から相関演算を開始することができる。

時刻ｔ３４から始まる第１画素群４０２と第２画素群４０３の画像データの転送では、ＲＡＭ３００に格納された画像データの順番を並び替えて転送することができる。例えば、画素アレイ２００の画素配列順に並び替えて転送することによって、ＤＳＰ１０８内に画像を並び替えるための並べ替え回路３０４が無くとも、適切な順番で画像データを出力することができる。

時刻ｔ３５において相関演算が完了すると、その結果に基づいて、ＣＰＵ１１０はレンズの駆動を開始し、時刻ｔ３６で完了する。しかしこの時点では、まだＲＡＭ３００から画像データの転送が終わっていないため、すぐに画像の蓄積を開始すると次フレームの画像データをＲＡＭ３００に格納できなくなる。そのため、時刻ｔ３７での蓄積の開始は、時刻ｔ３８でＲＡＭ３００からのが画像データの転送が終わるまで、出力が開始されないようなタイミングとなるように制御する。そして、時刻ｔ３８でＲＡＭ３００から画像データの転送が終了すると、同時に次フレームの画像データの出力を開始する。

上記の通り第３の実施形態によれば、ＤＳＰ１０８内に並べ替え回路３０４を具備しない構成においても、相関演算を早期に開始することができると共に、画像の違和感を低減することができる。

なお、第１～第３の実施形態では、第１画素群４０２の画像データの転送が全て完了してから相関演算を開始するものとして説明した。しかしながら、第１画素群４０２の画像データの一部だけで相関演算が開始できるのであれば、第１画素群４０２の画像データの転送をすべて待ってから演算を開始する必要はなく、演算に必要な画像データが揃い次第、演算を開始すれば良い。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。第１～第３の実施形態においては、演算回路３０５が行う演算は相関演算の１種類のみであって、演算に使用する画像信号が１種類である例を開示した。しかし、先に挙げたように、一般に、演算回路３０５が行う演算には複数の種類がある。そして複数の演算が共存するシステムにおいては、演算の目的に応じて異なる性質の画像信号を使用することが考えられる。なお、第４の実施形態における撮像装置の構成は、第１～第３の実施形態で用いた撮像装置のいずれの構成を有していても良いため、ここでは説明を省略する。ただし、以下の説明では、撮像素子１０６、フロントエンド１０７、ＤＳＰ１０８は図３に示す構成を有し、画面の上部から下部に向かって、画像信号を順次行単位で出力するものとして説明する。

図１１は、全画面の中で演算に使用される領域を複数種類示した例である。なお、図１１において、図４と同一の構成には同一の符号を付している。本第４の実施形態では、演算回路３０５でライブビュー（ＬＶ）表示画像作成（第１の演算）と相関演算（第２の演算）とを行う場合を考える。第１の演算には、解像度が低くてもよいので画面全体の画像データが必要である一方、第２の演算を行う場合には、測距枠４０１に対応する領域だけでよいので高解像度の画像データが必要である。このように、この２種類の演算に使用する画像データは性質が異なっている。

図１１では、第１の演算に使用する第３画素群９００を破線で表現しており、前述したように、画面全体に低解像度で分布している。一方、第２の演算に使用する第１画素群４０２を斜線をかけられた領域で表現しており、前述したように、測距枠４０１が存在する領域に高解像度で分布している。

図１２は、第４の実施形態における処理を示すタイミングチャートである。まず、時刻ｔ４０で電荷蓄積を開始し、時刻ｔ４１で画像データの出力を開始する。なお、画像データは、画素が第１画素群４０２、第２画素群４０３、第３画素群９００のいずれに属するかは関係のない所定の順序で取得される。また、出力開始と同時に、出力された画像データをＲＡＭ３００に格納し始める。

時刻ｔ４２において、撮像素子１０６から出力された画像データのＲＡＭ３００への格納が完了すると、同時に、第１の演算に使用する第３画素群９００の画像データの転送を開始する。時刻ｔ４３で、第３画素群９００の画像データの転送が完了すると、第１の演算（ＬＶ表示画像作成）が演算回路３０５で行われ、この演算によって作成された画像を、表示部１１１に表示することができるようになる。

時刻ｔ４３では同時に第２の演算に使用される画像データの転送を開始する。時刻ｔ４４では第２の演算に使用される画像データの転送が完了し、この時点で第２の演算（相関演算）が演算回路３０５で開始される。時刻ｔ４６では第２の演算が完了し、レンズ駆動を始めることができる。時刻ｔ４７ではレンズ駆動が終了するので、次フレームに出力する画像の蓄積を開始することができる。時刻ｔ４８では第２画素群４０３の転送を終了し、１フレームの撮像を終了する。

以上説明したように第４の実施形態によれば、ＤＳＰ１０８内の演算回路３０５で複数の異なる演算を行う場合に、演算に使用する順番で画像データを転送する方法について開示した。この方法によって、複数の演算がある場合に全ての演算が完了するまでの時間を短縮するように画像データのやりとりを行うことができる。

また、画像データの転送順序は、例えば、第３画素群９００よりも第１画素群４０２の画像データを先に転送するなど、撮像装置の構成に応じた順序を選択すればよく、上述した説明における順序に限定されるものではない。なお、本実施形態においても複数のＤＳＰを設けるように構成し、各機能を分担するようにしてもかまわない。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：絞り、１０２：第２レンズ、１０３：第３レンズ、１０４：フォーカルプレーンシャッタ、１０６：撮像素子、１０７：フロントエンド（ＦＥ）、１０８：ＤＳＰ、１０９：ＲＡＭ、１１０：ＣＰＵ、１１１：表示部、１１５：シャッター駆動回路、１１６：フォーカス駆動回路、１１７：フォーカスアクチュエータ、１１８：絞り駆動回路、１１９：絞りアクチュエータ、１２０：撮影光学系、２０９：垂直走査回路、２１６：出力部、３００：ＲＡＭ、３０１：転送回路、３０２，７０２：制御回路、３０３：受信回路、３０４：並べ替え回路、３０５：演算回路、４０１：測距枠、４０２：第１画素群、４０３：第２画素群、７００：ルータ、７０１：セレクタ

Claims (11)

1. 各々が複数の光電変換部および１つのマイクロレンズを備えた画素が複数配置された画素部と、
   前記画素部を駆動する駆動手段と、
   前記画素部から出力された画像データを記憶する記憶手段と、
   前記画像データの一部である第１の画像データを用いた演算を行う第１の処理と、前記画像データに対して画像を得るための処理を行う第２の処理とを行う少なくとも１つの画像処理手段と、
   前記画素部から出力された画像データを、前記記憶手段および前記画像処理手段に転送する制御を行う制御手段と、を有し、
   前記制御手段は、前記画素部から出力された画像データのうち、少なくとも前記第１の画像データの一部を、前記記憶手段に格納せずに前記画像処理手段に転送し、前記第１の画像データの残りと、前記画素部から出力された画像データのうち、第２の画像データを、前記記憶手段に記憶し、前記第１の画像データの残りと、前記第２の画像データを、前記記憶手段から前記画像処理手段に転送するように制御し、
   前記駆動手段は、前記第１の画像データおよび前記第２の画像データを前記画像処理手段に転送する順序とは異なる所定の順序で前記画像データを出力するように前記画素部を駆動することを特徴とする撮像装置。
2. 前記画像処理手段は、前記転送された画像データの順番を並べ替える並べ替え手段を更に有することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の処理は、相関演算、表示する画像を生成する演算、デフォーカスマップを作成する演算、被写体の追尾演算、露出を制御するための演算、ホワイトバランスを決定するための演算、フリッカを検出するための演算、フラッシュの発光量を決定するための演算の少なくともいずれかを含むことを特徴とする請求項１に記載の撮像装置。
4. 各々が複数の光電変換部および１つのマイクロレンズを備えた画素が複数配置された画素部と、
   前記画素部を駆動する駆動手段と、
   前記画素部から出力された画像データを記憶する記憶手段と、
   前記画像データの一部である第１の画像データを用いた演算を行う第１の処理と、前記画像データに対して画像を得るための処理を行う第２の処理と、前記第１の画像データと異なる、前記画像データの別の一部である第３の画像データを用いた演算を行う第３の処理を行う少なくとも１つの画像処理手段と、
   前記画素部から出力された画像データを、前記記憶手段および前記画像処理手段に転送する制御を行う制御手段と、を有し、
   前記制御手段は、前記画素部から出力された画像データのうち、前記第１および第３の画像データの少なくとも一部を前記記憶手段に格納せずに前記画像処理手段に転送すると共に、前記一部を除く前記第１および第３の画像データと、前記画素部から出力された画像データのうち、第２の画像データを前記記憶手段に格納し、前記記憶手段から、前記一部を除く前記第１および第３の画像データと前記第２の画像データを前記画像処理手段に転送するように制御し、
   前記駆動手段は、前記第１の画像データ及び前記第２の画像データを前記画像処理手段に転送する順序と異なる所定の順序で前記画像データを出力するように前記画素部を駆動することを特徴とする撮像装置。
5. 前記画像処理手段は、前記転送された画像データの順番を並べ替える並べ替え手段を更に有することを特徴とする請求項４に記載の撮像装置。
6. 前記第１の処理は、相関演算、表示する画像を生成する演算、デフォーカスマップを作成する演算、被写体の追尾演算、露出を制御するための演算、ホワイトバランスを決定するための演算、フリッカを検出するための演算、フラッシュの発光量を決定するための演算の少なくともいずれかを含むことを特徴とする請求項４に記載の撮像装置。
7. 前記第３の処理は、相関演算、表示する画像を生成する演算、デフォーカスマップを作成する演算、被写体の追尾演算、露出を制御するための演算、ホワイトバランスを決定するための演算、フリッカを検出するための演算、フラッシュの発光量を決定するための演算の少なくともいずれかを含み、前記第１の処理と異なることを特徴とする請求項４に記載の撮像装置。
8. 各々が複数の光電変換部および１つのマイクロレンズを備えた画素が複数配置された画素部と、
   前記画素部を駆動する駆動手段と、
   前記画素部から出力された画像データを記憶する記憶手段と、
   前記画素部から出力された画像データの一部である第１の画像データを用いた演算を行う第１の処理と、前記画素部から出力された画像データに対して画像を得るための処理を行う第２の処理とを行う少なくとも１つの画像処理手段と、
   前記画素部から出力された画像データを、前記記憶手段および前記画像処理手段に転送する制御を行う制御手段と、を有し、
   前記制御手段は、前記画素部から出力された画像データをすべて前記記憶手段に格納すると共に、前記第１の画像データを前記記憶手段へ格納しながら前記画像処理手段に転送し、当該第１の画像データを転送した後、前記記憶手段から、前記第１の画像データおよび、前記記憶手段に記憶された画像データのうち、第２の画像データを所定の順序で前記画像処理手段に転送するように制御し、
   前記駆動手段は、前記第１の画像データおよび前記第２の画像データを前記画像処理手段に転送する順序とは異なる所定の順序で前記画像データを出力するように前記画素部を駆動することを特徴とする撮像装置。
9. 前記画像処理手段は、更に、前記第１の画像データと異なる、前記画素部から出力された画像データの別の一部である第３の画像データを用いた演算を行う第３の処理を行い、
   前記制御手段は、更に、前記第３の画像データを前記記憶手段へ格納しながら前記画像処理手段に転送し、前記第１および第３の画像データを転送した後、前記記憶手段から、前記第１の画像データ、前記第２の画像データ、前記第３の画像データを所定の順序で前記画像処理手段に転送するように制御することを特徴とする請求項８に記載の撮像装置。
10. 前記第１の処理は、相関演算、表示する画像を生成する演算、デフォーカスマップを作成する演算、被写体の追尾演算、露出を制御するための演算、ホワイトバランスを決定するための演算、フリッカを検出するための演算、フラッシュの発光量を決定するための演算の少なくともいずれかを含むことを特徴とする請求項８に記載の撮像装置。
11. 前記第３の処理は、相関演算、表示する画像を生成する演算、デフォーカスマップを作成する演算、被写体の追尾演算、露出を制御するための演算、ホワイトバランスを決定するための演算、フリッカを検出するための演算、フラッシュの発光量を決定するための演算の少なくともいずれかを含み、前記第１の処理と異なることを特徴とする請求項９に記載の撮像装置。

Images