JP2024012869A - 撮像装置及び撮像装置の画像データ読み出し方法 - Google Patents

Abstract

【課題】積層型撮像素子を備える撮像装置において、高いＦＰＳでの画像データの読み出しを達成することにより、合焦動作の高速化及び高精度化を達成する。【解決手段】光軸方向に積層された複数の光電変換層を有する積層型撮像素子と、積層型撮像素子から画像データを読み出す読み出し回路と、読み出し回路の読み出し制御を行う制御部とを備え、読み出し回路は、光電変換層を選択して積層型撮像素子から画像データを読み出し、制御部は、読み出し回路の読み出し制御を行うための読み出しモードを画像表示読み出しモードと焦点検出読み出しモードのいずれかに交互に設定し、画像表示読み出しモードにおいて積層型撮像素子から読み出された表示用画像データに基づき、焦点検出読み出しモードにおいて焦点検出用画像データを生成するための光電変換層を決定することを特徴とする撮像装置を提供する。【選択図】図１

Description

本発明は、デジタルカメラ、ビデオカメラ又は産業用カメラなどの撮像装置及び撮像装置の画像データ読み出し方法に関する。特に、本発明に係る撮像装置は、積層型撮像素子から画像データを読み出す撮像装置に関する。

一般的な撮像装置には、各画素に主にベイヤー配列のカラーフィルターを備える撮像素子が搭載されている。カラーフィルターは、撮像素子の撮像面において各画素の配置と一致するように行方向及び列方向に２次元配列されている。カラーフィルターの２次元配列をカラーフィルターアレイ（ＣＦＡ）と呼ぶことがある。

カラーフィルターを備える撮像素子では、各画素は、カラーフィルターに対応する色のみの被写体光を画素信号として取得することができる。一方で、各画素は、カラーフィルターに対応する色以外の被写体光を画素信号として取得することはできない。すなわち、カラーフィルタを備える撮像素子では、各画素は、被写体光を構成する波長成分のうち一色の波長成分に対応する画素信号しか取得することができない。

そのため、カラーフィルターを備える撮像素子では、カラーフィルターに対応する色以外の画素信号を、各画素の周辺画素を参照して画素補間処理により推定する。これにより、カラーの画像データを生成するための画素信号を撮像素子全体の各画素において取得することができる。たとえば、カラーの画像データを生成するための画素信号は、ＲＧＢ画素値であるがこれらに限られない。

しかしながら、画素補間処理は、特に空間周波数の高い画像データにおいて偽色を発生させ、撮影画像の品質を損なわせるおそれがある。また、偽色の発生を抑えるために撮像素子に光学ローパスフィルター（ＯＬＰＦ）が追加されることがあるが、光学ローパスフィルター（ＯＬＰＦ）の追加は撮像装置内部のスペース不足や撮影画像の品質劣化の問題を引き起こすおそれがあった。

カラーフィルターを備える撮像素子に対して積層型撮像素子が提案されている。積層型撮像素子は、波長成分により異なる半導体の光の吸収深さを利用して、各画素において複数の色の波長成分に対応する複数の画素信号をそれぞれ同時に取得することができる。積層型撮像素子では、各画素は、被写体光を構成する波長成分を垂直色分離することにより、たとえば、ＲＧＢ画像値を同時に取得することが可能であり、撮像素子にＣＦＡを構成する必要がない。また、各画素は画素補間処理により画素信号を推定する必要がないため、偽色の発生やＯＬＰＦの追加による問題が生じるおそれがない。

一方で、積層型撮像素子では、読み出される画像データのデータ量が大きくなってしまうという課題がある。積層型撮像素子から読み出される画像データは、各層の光電変換層からそれぞれ取得された同じデータ量の画素信号の全体から構成されるためである。たとえば、各画素においてＲＧＢ画素値をそれぞれ同時に取得できる３層構造の積層型撮像素子の場合、同等の解像度のカラーフィルターを備える撮像素子と比較して、読み出される画像データのデータ量は３倍になってしまう。

ところで、撮像素子から読み出される画像データは、専用の焦点検出用センサーを備えないミラーレスカメラでは、記録用画像データや表示用画像データだけでなく、焦点検出用画像データにも利用されている。

撮像装置では、合焦動作が高速であることが要求され、焦点検出において焦点検出用画像データが高いＦＰＳ（Ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で撮像素子から読み出されることが要求される。同じ時間内により大きなデータ量の画像データの読み出しを行おうとすると、より高速な画像データの読み出しが必要と必要となる。読み出される画像データのデータ量が特に大きい積層型撮像素子では、各層の光電変換層から画像データをそれぞれ読み出すため、設計が困難となるほどの高速な画像データの読み出しが必要となってしまう。たとえば、焦点検出用画像データの読み出しにカラーフィルターを備える撮像素子が１２０ＦＰＳを必要とするときに、これと同じ解像度を有する３層構造の積層型撮像素子は、同等の焦点検出の性能を得るため、３６０ＦＰＳを必要とすることとなってしまう。

また、読み出された焦点検出用画像データのデータ量が大きいと、その後のデータ転送やデータ処理に多くの時間がかかるため、高速な焦点検出を達成することが困難となってしまう。

特許文献１には、複数の光電変換層を積層させた撮像素子を備え、焦点検出部が、複数の光電変換層から出力される画素信号レベルの差異に基づき、焦点検出誤差を抑制するように焦点検出画素信号の選択もしくは焦点検出画素信号の調整を行い、被写体の色に関係なくＡＦ処理を適切に行うことができる撮像装置が開示されている。たとえば、焦点検出画素信号の選択について、複数の光電変換層の中で最も大きい画素信号を出力する光電変換層の焦点検出用画素を用いて焦点検出処理を行うことにより、他の光電変換層の焦点検出用画素を使用せずに正確なＡＦ処理を短時間で実行することができるとしている。

特許文献２には、複数の撮像用画素の配列中に配置された焦点検出用画素を有する撮像素子を備え、間引き率の異なる２つの読み出しモードを有し、それぞれの読み出しモードにおいて、画像生成のための読み出しでは焦点検出用画素が配置された撮像素子の行を読み出さず、画像生成のための読み出しを行う第１の垂直走査と焦点検出用画素が配置された撮像素子の行を読み出す第２の垂直走査を交互に行い、動画像の表示中に像面位相差方式による焦点検出を行う場合に、効率よく焦点検出用画素の出力を読み出し、高速な焦点検出を行うことができる撮像装置が開示されている。

特許６７４０６６６号公報 特許６２６３０３５号公報

しかしながら、上記の特許文献等に開示されている従来技術には次の課題がある。

特許文献１は、積層型撮像素子から焦点検出用画像データを読み出す際の高いＦＰＳへの対応について開示していない。特許文献１は、焦点検出用画像データを読み出すために用いる光電変換層を複数の光電変換層から選択することにより、読み出す画像データのデータ量の削減について説明している。しかしながら、高いＦＰＳへの対応のためにどのような方法で積層型撮像素子から焦点検出用画像データを読み出すのかについては説明していない。

特許文献２は、積層型撮像素子からの焦点検出用画像データの読み出しについて開示していない。積層型撮像素子から読み出される画像データのデータ量を削減するためには、間引きにより画像データのデータ量を削減するだけでは不十分である。積層型撮像素子の画像データの読み出しでは、さらに効率のよい画像データの読み出しが要求される。

本発明は上記の課題を解決するものであり、積層型撮像素子を備える撮像装置において、高いＦＰＳでの画像データの読み出しを達成することにより、合焦動作の高速化及び高精度化を達成した撮像装置及び撮像装置の画像データ読み出し方法を実現する。

上記課題を解決するため、本発明に係る撮像装置は、光軸方向に積層された複数の光電変換層を有する積層型撮像素子と、前記積層型撮像素子から画像データを読み出す読み出し回路と、前記読み出し回路の読み出し制御を行う制御部とを備え、前記読み出し回路は、光電変換層を選択して前記積層型撮像素子から画像データを読み出し、前記制御部は、前記読み出し回路の読み出し制御を行うための読み出しモードを画像表示読み出しモードと焦点検出読み出しモードのいずれかに交互に設定し、画像表示読み出しモードにおいて前記積層型撮像素子から読み出された表示用画像データに基づき、焦点検出読み出しモードにおいて焦点検出用画像データを生成するための光電変換層を決定することを特徴とする。

また、上記課題を解決するため、本発明に係る撮像装置の画像データ読み出し方法は、光軸方向に積層された複数の光電変換層を有する積層型撮像素子と、前記積層型撮像素子から画像データを読み出す前記読み出し回路と、前記読み出し回路の読み出し制御を行う制御部とを備える撮像装置の画像データ読み出し方法であって、前記制御部が、前記読み出し回路の読み出し制御を行うための読み出しモードを画像表示読み出しモードと焦点検出読み出しモードのいずれかに交互に設定する制御ステップと、前記読み出し回路が、光電変換層を選択して前記積層型撮像素子から画像データを読み出す制御ステップと、前記制御部が、画像表示読み出しモードにおいて前記積層型撮像素子から読み出された表示用画像データに基づき、焦点検出読み出しモードにおいて焦点検出用画像データを生成するための光電変換層を決定する制御ステップを有することを特徴とする。

本発明によれば、積層型撮像素子を備える撮像装置において、高いＦＰＳでの画像データの読み出しを達成することにより、合焦動作の高速化及び高精度化を達成した撮像装置及び撮像装置の画像データ読み出し方法を実現できる。

本実施例の撮像装置のシステムブロック図を示す。 積層型撮像素子の複数の光電変換層の模式図を示す。 積層型撮像素子の焦点検出画素の断面構造の模式図を示す。 本実施例の撮像装置の画像データ読み出し方法のフローチャートを示す。 ＬＶ読み出しのサブルーチンを示す。 ＡＦ読み出しのサブルーチンを示す。 最適層の決定のサブルーチンを示す。 光電変換層におけるＬＶ画素及びＡＦ画素の間引き配置の模式図を示す。 本発明において読み出される画像データのデータ量の削減の概念図を示す。

本発明に係る撮像装置及び撮像装置の画像データ読み出し方法の実施例について図面を用いて詳細に説明する。本実施例では主に本発明の特徴的な構成について説明する。当業者はその他の構成について適宜周知技術を用いることができる。本実施例の構成は本発明の技術的範囲を限定するものではない。

本実施例の撮像装置について説明する。

図１は、本実施例の撮像装置のシステムブロック図を示す。図１において、１００は撮像装置、１０１は撮影レンズ、１０２は積層型撮像素子、１０３はタイミングジェネレータ、１０４はＡＦＥ、１０５はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、１０６はＳＤＲＡＭ、１０７はカメラＣＰＵ、１０８は表示装置、１０９はユーザＩ／Ｆ、１１０は外部記録Ｉ／Ｆを示す。また、本実施例のタイミングジェネレータ１０３、ＤＳＰ１０５及びカメラＣＰＵ１０７をあわせて本発明の制御部とする。

撮影レンズ１０１は、被写体光を被写体像として積層型撮像素子１０２の撮像面に結像させる。撮影レンズ１０１は、単数又は複数のレンズ群から構成される。撮影レンズ１０１を構成するレンズ群の一部又は全部が光軸方向へ移動することにより焦点調節が可能である。撮影レンズ１０１は撮像装置に対して交換式としてもよい。

積層型撮像素子１０２は、撮像面に結像された被写体像を光電変換によりアナログ信号の画素信号に変換して取得する。積層型撮像素子１０２は、光軸方向に積層された複数の光電変換層を有する。積層型撮像素子１０２が被写体像を連続してアナログ信号の画素信号に変換することにより、撮像装置１００は連続する画像データを生成することができる。連続する画像データはＬＶ（ライブビュー）画像として表示装置１０８に表示される。また、動画撮影時には、連続する画像データは動画として外部記録Ｉ／Ｆ１１０を介して外部メディア等に記録される。

図２は、本実施例の積層型撮像素子１０２の複数の光電変換層の模式図を示す。本実施例において、積層型撮像素子１０２は、特に光軸方向に積層された３層の光電変換層を有する３層構造の積層型撮像素子である。図２Ａに示すように、３層構造の撮像素子を構成する各画素において、被写体側から順に、青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）の光電変換層が積層されている。各層の光電変換層により、各画素においてＲＧＢ画素値をそれぞれ同時に取得することができる。また、各層の光電変換層から各色の画素信号を独立して取得することもできる。

また、図２Ｂに示すように、各層の光電変換層でそれぞれ取得された画素信号の配列は、各層の画像データを構成する。各層の画像データをあわせて画像データを構成する。

積層型撮像素子１０２の光電変換層の機能が具現化されたフォトダイオードの材料として用いられるシリコン等の半導体には、入射光の吸収率が透過深さにより波長成分ごとに異なるという性質がある。入射光を構成する各波長成分の光のうち、波長の短い光ほどより半導体の浅い部分で吸収され、波長の長い光ほど半導体のより深い部分で吸収される。

積層型撮像素子１０２はこの半導体の性質を利用したものであり、シリコン等の半導体からなるフォトダイオードを光軸方向に積層して構成することにより、各画素において入射光を構成する各波長成分ごとの光に対応する画素値をそれぞれ同時に取得することができる。各画素において入射光を構成する各波長成分ごとの光をそれぞれ画素値に光電変換して同時に取得することを垂直色分離と呼ぶ。

積層型撮像素子１０２では、半導体の性質を利用して入射光の垂直色分離を行うことができるので、カラーフィルターを備える撮像素子のように偽色の発生原因となる画素補間処理や撮像装置内部のスペース不足となるＯＬＰＦの追加を必要としない。たとえば、特許５２０１７７６号公報等では、積層型撮像素子の複数の光電変換層の構造が開示されている。

なお、本発明の積層撮像素子は、有機光電変換膜の補色層（Ｃｙ，Ｍｇ，Ｙｅ）やＩＲ層（近赤外線）を光軸方向に積層した撮像素子とすることもできる。

図３は、積層型撮像素子１０２の位相差検出画素の断面構造の模式図を示す。本実施例において、積層型撮像素子１０２は、像面位相差方式の焦点検出を行うための位相差検出画素を有する。本実施例において、位相差検出画素は積層型撮像素子１０２の各画素に離散的に配置されている。なお、本実施例において、位相差検出画素以外の画素を通常画素と呼ぶ。

位相差検出画素は、画素の被写体側に設けられたマイクロレンズと画素の表面の一部を覆うように形成された遮光マスクにより、撮影レンズの射出瞳を瞳分割する機能を有する。なお、マイクロレンズは、撮影レンズからの被写体光を効率よく各画素で受光するための光学要素であり、通常画素にも配置されている。

位相差検出画素は、撮影レンズ１０１を介して積層型撮像素子１０２に到達する被写体光のうち、遮光マスクが形成されていない開口部を通過する光線のみを光電変換する。また、本実施例の３層構造の積層型撮像素子は３層の光電変換層を有しているので、位相差検出画素は、開口部を通過する光線を３層の光電変換層において光電変換することにより、ＲＧＢ画素値をそれぞれ同時に取得することができる。

位相差検出画素は、瞳分割する方向により２つの種類に分けられ、本実施例においてそれぞれをＡ画素及びＢ画素と呼ぶこととする。Ａ画素は被写体側に向かって射出瞳の左側の光線のみを受光し、Ａ画素で取得された画素信号の配列はＡ像画像データを構成する。また、Ｂ画素は被写体側に向かって射出瞳の右側の光線のみを受光し、Ｂ画素で取得された画素信号の配列はＢ像画像データを構成する。なお、本実施例において、位相差検出画素は積層型撮像素子１０２の各画素において離散的に配置されているが、全画素を位相差検出画素として構成することもできる。この場合、Ａ画素及びＢ画素で取得される画素信号を足し合わせることにより、通常画素で取得される画素信号とすることができる。

ＤＳＰ１０５は、位相差検出画素のＡ画素及びＢ画素の配列によりそれぞれ取得されたＡ像画像データ及びＢ像画像データを用いて相関演算により位相差を評価して焦点検出を行う。ＤＳＰ１０５は、Ａ像画像データとＢ像画像データとの位相差（像ずれ量）が０に近い場合を撮影レンズ１０１の合焦状態と判定する。また、位相差の大きさと方向により、撮影レンズ１０１の前ピント状態と後ピント状態のデフォーカス量を検出する。像面位相差方式の焦点検出では、ピントのずれ方向を即座に判定することができるので、迅速な合焦動作を行うことができる。カメラＣＰＵ１０７は、ＤＳＰ１０５で判定された合焦状態に関する情報を取得し、撮影レンズ１０１が合焦状態でない場合は、合焦状態を目標として撮影レンズ１０１に含まれるフォーカスレンズ群を光軸方向へ移動させる。

タイミングジェネレータ１０３は、カメラＣＰＵ１０７が設定する読み出しモードに従い、積層型撮像素子１０２に含まれる読み出し回路の読み出し制御を行う。読み出し回路は、タイミングジェネレータ１０３の読み出し制御により、積層型撮像素子１０２の光軸方向に積層された複数の光電変換層からアナログ信号の画素信号を取得して、積層型撮像素子１０２から画像データを読み出す。タイミングジェネレータ１０３は、積層型撮像素子１０２へ垂直同期信号及び水平同期信号を送信し、積層型撮像素子１０２の複数の光電変換層から画素信号を取得するためのフレーム及び間引き設定を指定する。

ＡＦＥ１０４は、読み出し回路により積層型撮像素子１０２から読み出されたアナログ信号の画素信号に対して各種の信号処理を施す。たとえば、ＡＦＥ１０４の信号処理には、各画素における受光量と画素信号の出力値との線形性を確保するための補正処理や微弱な画素信号を増幅するための増幅処理等がある。また、ＡＦＥ１０４は、調整された画素信号を内蔵のＡ／Ｄコンバータによりデジタル信号の画素信号に変換する。デジタル信号の画素信号の配列は、画像データとしてＤＳＰ１０５へ出力される。なお、ＡＦＥ１０４が実行する信号処理は、撮像装置１００にそれぞれの処理ごとに設けられた回路により実行されることとしてもよい。

ＤＳＰ１０５は、ＡＦＥ１０４から出力されたデジタル信号の画像データに対して各種の信号処理を施す。たとえば、ＤＳＰ１０５の信号処理には、ホワイトバランス処理、色再現処理、ＪＰＥＧ形式やＴＩＦＦ形式の画像データへの現像処理等がある。さらに、ＤＳＰ１０５は、表示用画像データを評価して焦点検出を行うための最適層の決定を行い、最適層から取得された焦点検出用画像データを評価して焦点検出を行う。なお、カメラＣＰＵ１０７が本実施例のＤＳＰ１０５の機能を実行することとすることもできる。

ＳＤＲＡＭ１０６は、高速な読み出し及び書き込みが可能な揮発性の記憶領域であり、ＤＳＰ１０５が信号処理を施す画像データや信号処理のためのパラメータ等を一時的に保持し、ＤＳＰ１０５の作業領域として機能する。

カメラＣＰＵ１０７は、撮像装置１００全体の制御を行う。たとえば、カメラＣＰＵ１０７の制御には、ユーザＩ／Ｆ１０９からの入力処理や撮影レンズ１０１の合焦動作等がある。また、カメラＣＰＵ１０７は、タイミングジェネレータ１０３に対して読み出し回路の読み出し制御を行うための読み出しモードを設定する。

カメラＣＰＵ１０７にはＲＯＭが含まれ、カメラＣＰＵ１０７が実行する各種のプログラムや制御に使用する各種の特性情報や設定情報等が記憶されている。また、カメラＣＰＵ１０７にはＲＡＭが含まれ、カメラＣＰＵ１０７の処理の作業領域として使用される。

表示装置１０８は、ＤＳＰ１０５により信号処理された画像データや設定メニューを表示する。特に、表示装置１０８は、ＤＳＰ１０５により信号処理された連続する画像データをＬＶ画像として表示する。ユーザは表示装置１０８に表示されたＬＶ画像により被写体を観察して撮影することができる。

ユーザＩ／Ｆ１０９は、ユーザが撮像装置に対して行う設定操作を受け付けて、これをカメラＣＰＵ１０７への入力処理として反映させる。たとえば、ユーザＩ／Ｆ１０９には、レリーズボタン、電源ボタン、コマンドダイヤル、十字キー等の操作部材が含まれる。

外部記録Ｉ／Ｆ１１０は、ＤＳＰ１０５により生成された画像データを静止画や動画として外部記録メディアへ記録する。

次に、本実施例の撮像装置１００の画像データ読み出し方法について説明する。特に、本実施例のＬＶ画像データの読み出し及びＡＦ画像データの読み出しの方法について説明する。

本実施例において、積層型撮像素子１０２から読み出され、ユーザが被写体を観察するために表示装置１０８にＬＶ画像として表示される連続する表示用画像データをＬＶ画像データと呼ぶこととする。また、積層型撮像素子１０２の複数の光電変換層うちＬＶ画像データに基づいて決定される最適層から読み出され、焦点検出ためにＤＳＰ１０５により評価される焦点検出用画像データをＡＦ画像データと呼ぶこととする。

図４は、本実施例の撮像装置１００の画像データ読み出し方法のフローチャートを示す。撮像装置１００は、電源がオンになると、表示装置１０８へのＬＶ画像の表示を開始する。まず、Ｓ１０１において、撮像装置１００はＬＶ画像データを読み出すＬＶ読み出しを行う。続いて、Ｓ１０２において、撮像装置１００はＡＦ画像データを読み出すＡＦ読み出しを行う。

本実施例において、１組のＬＶ画像データの読み出しとＡＦ画像データの読み出しの制御ステップをあわせて１フレームと呼ぶこととする。撮像装置１００は、電源がオフになるか、あるいは、ＬＶ画像の表示の停止の指示があるまで、図４のＬＶ読み出しＳ１０１とＡＦ読み出し１０２からなる１フレームを繰り返す。

図５は、ＬＶ読み出しＳ１０１のサブルーチンを示す。

まず、Ｓ２０１において、カメラＣＰＵ１０７は、タイミングジェネレータ１０３に対して読み出し回路の読み出し制御を行うための読み出しモードを画像表示読み出しモードに設定する。

本実施例において、カメラＣＰＵ１０７がタイミングジェネレータ１０３に対して積層型撮像素子１０２からの画像データの読み出し方法を設定するモードを読み出しモードと呼ぶこととする。タイミングジェネレータ１０３は、読み出しモードに従い読み出し回路の読み出し制御を行う。本実施例において、読み出しモードは、積層型撮像素子１０２から画像データを読み出す光電変換層の選択や間引きに関して定義する。本発明において、読み出しモードは、少なくとも画像データを読み出す光電変換層の選択を指示するものであり、本発明の読み出しモードにおいてその他の指示は必須ではない。

光電変換層から画像データを読み出すときの間引き配置について説明する。

図８は、光電変換層におけるＬＶ画素及びＡＦ画素の間引き配置の模式図を示す。

光電変換層において、ＬＶ画像表示のための画素信号が取得される画素をＬＶ画素と呼ぶこととし、焦点検出のための画素信号が取得される画素をＡＦ画素と呼ぶこととする。また、ＬＶ画素から取得された画素信号の配列から構成される画像データはＬＶ画像データであり、ＡＦ画素から取得された画素信号の配列から構成される画像データはＡＦ画像データである。なお、ＡＦ画素は、コントラストＡＦ、像面位相差ＡＦ及びモノクロＡＦを含む焦点検出の際に画素信号が取得される画素であり、像面位相差方式の焦点検出を行うための位相差検出画素に限られない。

ＬＶ画素及びＡＦ画素は、光電変換層の画素全体を間引いて配置される。これにより、ＬＶ画像データ及びＡＦ画像データのデータ量を削減することができる。ＬＶ画素及びＡＦ画素の配置の方法は、積層型撮像素子が有する複数の光電変換層のそれぞれにおいて、同一のものとしてもよいし、あるいは、異なるものとしてもよい。

図８に示すように、本実施例の積層型撮像素子の光電変換層において、ＬＶ画素は、開始位置を（０，０）として、Ｈ３Ｖ２の間引き率で繰り返し配置されている。また、ＡＦ画素は、開始位置を（１，１）として、Ｈ２Ｖ８の間引き率で繰り返し配置されている。ここで、開始位置は、光電変換層の全画素の左上端を原点（０，０）として定義したときの画素の２次元座標位置を表す。間引き率は、Ｈを水平方向、Ｖを垂直方向として定義したときの画素の２次元座標間隔を表す。

本実施例において、ＡＦ画素は、位相差検出画素の配置を含むような開始位置と間引き率の間引き設定により繰り返し配置されている。これにより、像面位相差方式を含むあらゆる焦点検出の方式においても、ＡＦ画像データのデータ量を適切に削減することができる。また、開始位置と間引き率の間引き設定を焦点検出の方式により変更することとし、ＡＦ画素は、少なくとも像面位相差方式の焦点検出の場合において、像面検出画素の配置と一致するように間引き配置されることとしてもよい。これにより、像面位相差方式の焦点検出の場合のＡＦ画像データのデータ量を最小限とすることができる。

本実施例では、ＡＦ画素の間引き率をＬＶ画素の間引き率よりも粗く設定している。これにより、ＡＦ画像データのデータ量を焦点検出のために必要なデータ量に抑えつつ、ＬＶ画像データのデータ量をユーザの観察ために十分なデータ量となるように調整している。

本実施例では、ＬＶ画素の配置とＡＦ画素の配置が光電変換層の列方向においてすべてずれるように開始位置及び間引き率が設定されている。すなわち、ＬＶ画素とＡＦ画素は光電変換層の同一行には配置されず、光電変換層の行ごとにＬＶ画素とＡＦ画素の配置が明確に分けられている。積層型撮像素子を含む一般的な撮像素子では、画素信号は同一行に含まれるすべての画素から取得される。そのため、光電変換層の同一行にＬＶ画素とＡＦ画素を混在させて配置する場合、光電変換層の１行を構成するすべての画素から取得された画素信号について、ＬＶ画素の画素信号とＡＦ画素の画素信号とに分ける処理が必要となってしまうため好ましくない。また、ＬＶ画素とＡＦ画素の間引き率の設定の自由度が制限されてしまうため好ましくない。

Ｓ２０２において、読み出し回路は、画像データ読み出しの際に設定されているＡＦ方式（オートフォーカス時の焦点検出方式）を判別する。ＬＶ画素の画素信号は、いずれのＡＦ方式の場合においても、３層構造の積層型撮像素子の有する３層の光電変換層すべてのＬＶ画素からまずは取得される。これに対して、ＬＶ画像データは、ＡＦ方式がコントラスト方式又は像面位相差方式と判別された場合は、Ｓ２０３において３層の光電変換層すべてから読み出され、ＡＦ方式がモノクロ方式と判別された場合は、Ｓ２０５において３層の光電変換層のうち選択された光電変換層から読み出される。

Ｓ２０２においてＡＦ方式がコントラスト方式又は像面位相差方式と判別された場合は、Ｓ２０３において、読み出し回路は、３層の光電変換層すべてからＬＶ画像データの読み出しを行う。より詳細には、読み出されるＬＶ画像データを構成する画素信号は、光電変換層において間引き設定により指定されたＬＶ画素の配列から取得される。

一方、Ｓ２０２においてＡＦ方式がモノクロ方式と判別された場合は、Ｓ２０４において、読み出し回路は、ＬＶ画像データを読み出す光電変換層の選択を行う。ＬＶ画像データを読み出す光電変換層の選択は、３層の光電変換層すべてからＬＶ画素の画素信号をまずは取得し、各層の光電変換層から取得されたＬＶ画素の画素信号のうち最も画素信号レベルが高いと評価された光電変換層を選択することにより行われる。そして、Ｓ２０５において、読み出し回路は、Ｓ２０４において選択された光電変換層からＬＶ画像データの読み出しを行う。

Ｓ２０３又はＳ２０５において読み出し回路により読み出されたＬＶ画像データは、表示装置１０８にＬＶ画像として表示され、ＡＦ読み出しＳ１０２における最適層の決定のためにＳＤＲＡＭ１０６に一時的に保持される。

ＡＦ方式がモノクロ方式の場合であっても、ＡＦ方式がコントラスト方式及び像面位相差方式の場合と同様に、ＬＶ画像データを読み出す光電変換層の選択のため、３層の光電変換層すべてからＬＶ画素の画素信号を取得する必要があり、光電変換層のＬＶ画素の配列から画素信号を取得する際の負荷は変わらない。一方で、ＡＦ方式がモノクロ方式の場合では、最終的に光電変換層を選択してＬＶ画像データを読み出すため、読み出された後のＬＶ画像データのデータ量を削減することができ、後工程のＬＶ画像データの転送や信号処理の点において有利である。

図６は、ＡＦ読み出しＳ１０２のサブルーチンを示す。

まず、Ｓ３０１において、カメラＣＰＵ１０７は、タイミングジェネレータ１０３に対して読み出し回路の読み出し制御を行うための読み出しモードを焦点検出読み出しモードに設定する。

Ｓ３０２において、ＤＳＰ１０５は、最適層の決定を行う。ここで、３層構造の積層型撮像素子の有する３層の光電変換層のうち焦点検出に最適な光電変換層を本実施例において最適層と呼ぶこととする。

図７は、最適層の決定Ｓ３０２のサブルーチンを示す。

まず、Ｓ４０１において、ＤＳＰ１０５は、ＬＶ読み出しＳ１０１で読み出したＬＶ画像データをＳＤＲＡＭ１０６から取得する。ＡＦ方式がコントラストＡＦ又は像面位相差ＡＦである場合は、Ｓ２０３において３層の光電変換層すべてから読み出されたＬＶ画像データを取得する。ＡＦ方式がモノクロ方式である場合は、Ｓ２０５において選択された光電変換層から読み出されたＬＶ画像データを取得する。

Ｓ４０２において、ＤＳＰ１０５は、Ｓ４０１において取得されたＬＶ画像データを構成する各層の画像データの画素信号レベルを評価する。Ｓ４０３において、ＬＶ画像データを構成する各層の画像データすべてについて画素信号レベルの評価が行われたか確認する。

各層の画像データの評価方法として、各層の画像データについて、画素信号レベルの平均値を算出する方法、オートホワイトバランスの結果から推定された光源のピーク波長に近い画素信号の画素数を算出する方法、画像認識に基づき判定された撮影シーンで重視する色の画素信号の画素数を算出する方法等が考えられる。また、ＡＦ画像データの読み出しの度に各層の画像データを評価せず、予め決定された特定の層の光電変換層を常に最適層とすることとしてもよい。

Ｓ４０４において、ＤＳＰ１０５は、Ｓ４０２において評価されたＬＶ画像データを構成する各層の画像データの画素信号レベルを比較し、最も画素信号レベルの高い画像データに対応する光電変換層を特定する。

Ｓ４０４において、ＤＳＰ１０５は、Ｓ４０４において特定された光電変換層を最適層として決定する。

なお、本実施例では、ＤＳＰ１０５がＬＶ画像データの各層の画像データの画素信号レベルの評価及び比較を行い、これに基づいて最適層の決定を行うこととしたが、積層型撮像素子１０２やカメラＣＰＵ１０７に最適層の決定の機能を有する回路が含まれることとしてもよい。

また、最適層の決定を行うタイミングは、読み出しモードが焦点検出読み出しモードに設定された後に限られない。最適層の決定は、各層の光電変換層のＬＶ画素の画素信号を取得した後に行うことができるので、読み出しモードが焦点検出モードに設定される前に行うこともできる。たとえば、読み出しモードが画像表示読み出しモードに設定されているときに、ＬＶ画像データの各層の画像データを構成するＬＶ画素の画素信号を評価及び比較して、最適層の決定を行うこととしてもよい。

また、ＡＦ方式がモノクロ方式である場合は、Ｓ２０４においてＬＶ画像データを読み出す光電変換層がすでに選択されているため、ＬＶ画像データを構成する各層の画像データの画素信号レベルを評価及び比較をすることなく最適層の決定を行うことができる。他方で、ＬＶ画像データを読み出す光電変換層とＡＦ画像データを読み出す光電変換層である最適層とが異なるとしてもよい。たとえば、Ｓ２０４においてＬＶ画像データを読み出す光電変換層を選択する際に３層の光電変換層を構成するＬＶ画素のすべてから取得された画素信号をＳＤＲＡＭ１０６等に一時的に保持しておき、画素信号レベルとは異なる別の評価方法で３層の光電変換層から最適層の決定を改めて行うこととしてもよい。

Ｓ３０３において、読み出し回路はＳ４０５において最適層として決定された光電変換層からＡＦ画像データの読み出しを行う。

なお、本実施例では、ＬＶ読み出しとＡＦ読み出しとが繰り返されることにより、１フレームにおいて、先にＬＶ画像データを読み出し、後にＡＦ画像データを読み出すこととして、カメラＣＰＵ１０７がタイミングジェネレータ１０３に対して読み出しモードを画像表示読み出しモードと焦点検出読み出しモードの順にいずれかに交互に設定することとしたが、逆であっても構わない。すなわち、先にＡＦ画像データを読み出し、後にＬＶ画像データを読み出すように、カメラＣＰＵ１０７がタイミングジェネレータ１０３に対して読み出しモードを焦点検出読み出しモードと画像表示読み出しモードの順にいずれかに交互に設定するとしてもよい。この場合、前フレームの画像表示読み出しモードにおいて読み出されたＬＶ画像データに基づいて、現フレームの焦点検出読み出しモードにおいてＡＦ画像データを読み出すための最適層の決定を行えばよい。

次に、本発明において読み出される画像データのデータ量の削減について説明する。

図９は、本発明において読み出される画像データのデータ量の削減の概念図を示す。

本発明の撮像装置及び撮像装置の画像データ読み出し方法において、制御部は、読み出し回路の読み出し制御を行うための読み出しモードを画像表示読み出しモードと焦点検出読み出しモードのいずれかに交互に設定する。これにより、図９に示すように、１フレームに含まれる表示用画像データ（ＬＶ画像データ）の読み出しと焦点検出用画像データ（ＡＦ画像データ）の読み出しを時間的に明確に分けることができる。

さらに、読み出し回路は、光電変換層を選択して積層型撮像素子から画像データを読み出す。これにより、画像表示読み出しモードにおいて読み出される表示用画像データ（ＬＶ画像データ）のデータ量と、焦点検出読み出しモードにおいて読み出される焦点検出用画像データ（ＡＦ画像データ）のデータ量とを異ならせることができる。

さらに、制御部は、画像表示読み出しモードにおいて積層型撮像素子から読み出された表示用画像データ（ＬＶ画像データ）に基づき、焦点検出読み出しモードにおいて焦点検出用画像データ（ＡＦ画像データ）を生成するための光電変換層を決定する。これにより、複数の光電変換層を有する積層型撮像素子からの画像データの読み出しであっても、表示用画像データ（ＬＶ画像データ）に基づいて焦点検出用画像データ（ＡＦ画像データ）を生成するための光電変換層（最適層）を限定することにより、読み出されるＡＦ画像データのデータ量を削減することができ、１フレームにおいて読み出される画像データのデータ量を削減することができる。また、読み出されるＡＦ画像データのデータ量を削減することにより、積層型撮像素子の消費電力の削減や焦点検出の処理負担の軽減等を行うことができ、合焦動作の機能改善の効果を期待することができる。

１００ 撮像装置
１０１ 撮影レンズ
１０２ 積層型撮像素子
１０３ タイミングジェネレータ
１０４ ＡＦＥ
１０５ ＤＳＰ
１０６ ＳＤＲＡＭ
１０７ カメラＣＰＵ
１０８ 表示装置
１０９ ユーザＩ／Ｆ
１１０ 外部記録Ｉ／Ｆ

Claims (7)

1. 光軸方向に積層された複数の光電変換層を有する積層型撮像素子と、
   前記積層型撮像素子から画像データを読み出す読み出し回路と、
   前記読み出し回路の読み出し制御を行う制御部とを備え、
   前記読み出し回路は、光電変換層を選択して前記積層型撮像素子から画像データを読み出し、
   前記制御部は、前記読み出し回路の読み出し制御を行うための読み出しモードを画像表示読み出しモードと焦点検出読み出しモードのいずれかに交互に設定し、画像表示読み出しモードにおいて前記積層型撮像素子から読み出された表示用画像データに基づき、焦点検出読み出しモードにおいて焦点検出用画像データを生成するための光電変換層を決定することを特徴とする撮像装置。
2. 前記制御部は、前フレームの画像表示読み出しモードにおいて前記積層型撮像素子から読み出された表示用画像データ、又は、同フレームの画像表示読み出しモードにおいて前記積層型撮像素子から読み出された表示用画像データに基づき、焦点検出読み出しモードにおいて焦点検出用画像データを生成するための光電変換層を決定することを特徴とする請求項１に記載の撮像装置。
3. 前記制御部は、表示用画像データを構成する各層の画像データを評価して各層の画像データのうち最も信号レベルの高い画像データに対応する光電変換層を焦点検出に最適な光電変換層として決定し、
   前記読み出し回路は、焦点検出読み出しモードにおいて焦点検出に最適な光電変換層のみを選択して前記積層型撮像素子から焦点検出用画像データを読み出すことを特徴とする請求項１に記載の撮像装置。
4. オートフォーカス時の焦点検出方式がコントラスト方式である場合に、前記読み出し回路は、画像表示読み出しモードにおいてすべての光電変換層を選択して前記積層型撮像素子から表示用画像データを読み出し、焦点検出読み出しモードにおいて焦点検出に最適な光電変換層のみを選択して前記積層型撮像素子から焦点検出用画像データを読み出すことを特徴とする請求項１に記載の撮像装置。
5. オートフォーカス時の焦点検出方式が像面位相差方式である場合に、前記読み出し回路は、画像表示読み出しモードにおいてすべての光電変換層を選択して前記積層型撮像素子から表示用画像データを読み出し、焦点検出読み出しモードにおいて位相差検出画素を含み焦点検出に最適な光電変換層のみを選択して前記積層型撮像素子から焦点検出用画像データを読み出すことを特徴とする請求項１に記載の撮像装置。
6. オートフォーカス時の焦点検出方式がモノクロ方式である場合に、前記読み出し回路は、モノクロ表示に最適な光電変換層を選択して表示用画像データを読み出し、焦点検出読み出しモードにおいて焦点検出に最適な光電変換層のみを選択して前記積層型撮像素子から焦点検出用画像データを読み出すことを特徴とする請求項１に記載の撮像装置。
7. 光軸方向に積層された複数の光電変換層を有する積層型撮像素子と、
   前記積層型撮像素子から画像データを読み出す前記読み出し回路と、
   前記読み出し回路の読み出し制御を行う制御部とを備える撮像装置の画像データ読み出し方法であって、
   前記制御部が、前記読み出し回路の読み出し制御を行うための読み出しモードを画像表示読み出しモードと焦点検出読み出しモードのいずれかに交互に設定する制御ステップと、
   前記読み出し回路が、光電変換層を選択して前記積層型撮像素子から画像データを読み出す制御ステップと、
   前記制御部が、画像表示読み出しモードにおいて前記積層型撮像素子から読み出された表示用画像データに基づき、焦点検出読み出しモードにおいて焦点検出用画像データを生成するための光電変換層を決定する制御ステップを有することを特徴とする撮像装置の画像データ読み出し方法。

Images