JP5954964B2

JP5954964B2 - 撮像装置およびその制御方法

Info

Publication number: JP5954964B2
Application number: JP2011252724A
Authority: JP
Inventors: 永田　桂次; 桂次永田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-02-18
Filing date: 2011-11-18
Publication date: 2016-07-20
Anticipated expiration: 2031-11-18
Also published as: CN102685406B; US8854510B2; CN102685406A; US20120212654A1; JP2012186789A

Description

本発明は、撮影レンズの瞳の異なる位置を透過する光束を撮像素子の各画素で受光して、各画素で光電変換された信号に基づいて瞳分割による位相差検出方式の焦点検出を行う演算手段を具備したデジタルスチルカメラ等の撮像装置に関するものである。

撮影レンズの焦点状態を検出する方式の一つとして、センサの各画素にマイクロレンズが形成された２次元のセンサを用いて瞳分割方式の焦点検出を行う装置が特許文献１に開示されている。特許文献１の装置では、センサを構成する各画素の光電変換部が複数に分割され、分割された光電変換部がマイクロレンズを介して撮影レンズの瞳の異なる領域を受光するように構成されている。

また、焦点検出と通常の画像の撮像とを双方を行うことが可能な撮像装置もいくつか提案されている。

特許文献２では、撮像と焦点調節との双方を都合よく行えるように、被写体からの光信号を電気信号に変換する光電変換領域を備えた画素のいくつかに、色分解フィルタを形成した撮像装置が開示されている。特許文献２の撮像装置では、色分解フィルタを形成した画素からの電気信号に基づいて画像を形成し、色分解フィルタを形成していない画素からの電気信号に基づいて焦点検出を行っている。

また、特許文献３では、マイクロレンズと光電変換部との相対位置を偏位させた画素を２次元的に配置した、イメージセンサを兼ねた撮像装置が開示されている。特許文献３の撮像装置では、撮影レンズの焦点状態を検出する場合には、マイクロレンズと光電変換部との相対偏位方向が異なる画素列で生成された像に基づいて撮影レンズの焦点状態を検出している。一方、通常の画像を撮像するときは、マイクロレンズと光電変換部との相対偏位方向が異なる画素を加算することにより、画像を生成している。

特開昭５８−２４１０５号公報特開２００３−２４４７１２号公報特許第２９５９１４２号特開２００３−１１６０６０号公報

従来、通常の画像の撮像において画素に欠陥があった場合、欠陥画素の直前の同色画素からの置き換え（前置補間）を行う撮像装置が提案されている。また、特許文献４の撮像装置では欠陥画素の周囲画素により算出されるエッジ強度指標値に基づき選択される補間方向に基づき選択された周囲画素から欠陥画素の補正値を算出する撮像装置が提案されている。

しかし、位相差検出による焦点検出を行う場合、同様の方法では像の位相差情報が損なわれ相関演算に誤差が生じ、正確な焦点検出を行うことができないという欠点がある。

本発明は、上記の問題点に鑑みてなされたものであり、撮像素子が欠陥画素を有する場合でも相関情報の損なわない補間を実現することを目的とする。

本発明の一側面としての撮像装置は、１つのマイクロレンズに対して複数の光電変換部を有し、当該マイクロレンズが２次元状に配列された撮像素子と、前記複数の光電変換部から出力された信号を用いて記録用の画像を生成する生成手段と、前記複数の光電変換部からの信号に基づいて瞳分割方式の焦点検出を行う演算手段と、前記撮像素子の光電変換部の欠陥情報に基づいて欠陥である光電変換部の信号の補間を行う補間手段と、を有し、前記補間手段は、前記欠陥である光電変換部に対し、前記欠陥である光電変換部の同一マイクロレンズ内にある、瞳分割方向とは異なる方向にある光電変換部からの信号を用いて補間を行うことを特徴とする。

本発明の更なる目的又はその他の特徴は、以下、添付図面を参照して説明される好ましい実施例によって明らかにされるであろう。

本発明によれば、撮像素子が欠陥画素を有する場合でも相関情報の損なわない補間を実現することが可能となる。

本発明の好適な実施の形態に係るカメラシステムの構成図である。イメージセンサを用いて瞳分割方式の焦点検出を行う方法の原理説明図である。本発明の好適な実施の形態に係るイメージセンサの一部断面図である。本発明の好適な実施の形態に係るイメージセンサの平面図である。本発明の好適な実施の形態に係るイメージセンサの一部平面図である。本発明の好適な実施の形態に係るイメージセンサで生成される撮影レンズの線像分布図である。本発明の好適な実施の形態に係る欠陥画素補間の図である。本発明の好適な実施の形態に係る欠陥画素補間の図である。本発明の好適な実施の形態に係る欠陥画素補間の図である。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図１は、本発明の好適な実施の形態に係るカメラシステムの構成図である。１０はイメージセンサ（撮像素子）であり、デジタルスチルカメラ１（撮像装置）の撮影レンズ５の予定結像面に配置されている。イメージセンサ１０は、撮影レンズ５の瞳の異なる位置を透過する光束を受光する複数の画素を同一マイクロレンズ内に有している。デジタルスチルカメラ１は、デジタルスチルカメラ１の全体を制御するＣＰＵ２０、イメージセンサ１０を駆動制御する制御手段であるイメージセンサ制御回路２１を備える。デジタルスチルカメラ１はまた、イメージセンサ１０で撮像した画像信号を画像処理する画像処理手段２４、画像処理手段２４で画像処理された画像を表示する表示手段である液晶表示素子９とそれを駆動する液晶表示素子駆動回路２５を備える。デジタルスチルカメラ１はまた、液晶表示素子９に表示された被写体像を観察するための接眼レンズ３、イメージセンサ１０で撮像された画像を記録するメモリ回路２２を備える。メモリ回路２２はまた、イメージセンサ１０が有する欠陥画素に関する情報（欠陥画素情報）を記憶する欠陥画素記憶手段としての機能も備えている。デジタルスチルカメラ１はまた、画像処理手段２４で画像処理された画像をデジタルスチルカメラ１の外部に出力するためのインターフェース回路２３を備える。

撮影レンズ５は、デジタルスチルカメラ１に対して着脱可能であり、便宜上２枚のレンズ５ａ、５ｂで図示しているが、実際には多数枚のレンズで構成されている。撮影レンズ５は、デジタルスチルカメラ１のＣＰＵ２０から送られてくる焦点調節情報を電気接点２６を介してレンズＣＰＵ５０で受信し、その焦点調節情報に基づいて撮影レンズ駆動機構５１によって合焦状態に調節される。また、５３は撮影レンズ５の瞳近傍に配設された絞り装置であり、絞り駆動機構５２によって所定の絞り値に絞り込まれるように構成されている。また、ＣＰＵ２０は、イメージセンサ１０からの出力に基づいて撮影レンズ５の焦点状態を算出する演算手段や、後述する欠陥画素に対し周辺画素の像信号から補間を行う欠陥画素補間手段としての機能も備えている。

次に、撮像と焦点検出との双方とを行うためのイメージセンサについて説明する。

図２は、イメージセンサ１０を用いて瞳分割方式の焦点検出を行う方法の原理説明図であり、図３は、イメージセンサ１０の１画素の断面図である。

イメージセンサ１０は撮影レンズ５の予定結像面に配置されている。また、イメージセンサ１０の１画素は２つの光電変換部１０１α、１０１βとから構成されており、各光電変換部の撮影レンズ側に形成されたマイクロレンズ１３０によって光電変換部１０１α、１０１βは撮影レンズ５の瞳と略結像関係になるように設定されている。

ここで、光電変換部１０１αは撮影レンズ５の瞳の図中上方を透過する光束Ｌαを受光し、光電変換部１０１βは撮影レンズ５の瞳の図中下方を透過する光束Ｌβを受光する。焦点検出時は、光電変換部１０１α及び光電変換部１０１βの光電荷を転送ゲート１２０α及び１２０βを介して異なるタイミングでフローティングディフュージョン部１２１に個別に出力し、イメージセンサ１０の外部に読み出す。さらに複数の画素の各光電変換部からの出力より撮影レンズの異なる瞳位置を透過した光束による像が生成される。

撮影レンズの異なる瞳位置を透過した光束より生成される像を用いて焦点検出を行う方法は特開平５−１２７０７４号公報等により公知の技術である。

一方、通常撮影時は、光電変換部１０１αと光電変換部１０１βの光電荷は転送ゲート１２０α及び１２０βを同時にＯＮすることにより、同じタイミングでフローティングディフュージョン部１２１へ出力をされ、画素内で加算して出力するように構成されている。

図４は、撮像素子であるイメージセンサ１０のカラーフィルタおよびマイクロレンズを示した平面図である。図中１マスが１マイクロレンズを示している。１マスの中に書かれた「Ｒ」「Ｇ」「Ｂ」の文字は、カラーフィルタの色相を表している。

図５は、図４のイメージセンサ１０の一部平面図であり、図４の図中で点線で囲った領域の１マイクロレンズ内撮像素子の構成を示した図である。図中１マスが１マイクロレンズを示し、その中をａ〜ｃの４分割した画素で構成され、それぞれの画素は、撮影レンズの瞳の異なる位置を透過する光束を受光する。

通常の画像を撮像する場合はａ〜ｄの４画素を加算し、１マイクロレンズに対し１画素の信号として扱うことで通常の画像の撮像が可能になる。

実線で囲まれたＧａとＧｃ、破線で囲まれたＧｂとＧｄをそれぞれ加算しＳＡｎ、ＳＢｎ信号とし、一次元方向（瞳分割方向）に連結したＳＡ信号とＳＢ信号の位相差を求めることで撮影レンズの焦点を検出することができる。ここでは、瞳分割方向は水平方向になる。

図６は瞳分割方向に各画素の信号を１ライン分連ね、撮影レンズの瞳を左右に分割した光束で得られる一対の１次元像（図５で示したＳＡ信号とＳＢ信号）を示している。この一対の１次元像の位相差を検出することにより撮影レンズの焦点を演算する。本実施例においては、上記一対の１次元像は、Ｇ画素とＢ画素、またはＧ画素とＲ画素の信号から成る。なお、上記一対の１次元像は、１ライン全ての画素の信号から取得するのに限らず、１ライン中の一部の信号から取得してもよい。

また、Ｇ画素とＢ画素あるいはＧ画素とＲ画素を足し合わせ１画素の信号として、上記一対の１次元像を構成してもよい。更には、ベイヤ配列を構成する２つのＧ画素、Ｂ画素、Ｒ画素の４画素を足し合わせ１画素の信号として上記一対の１次元像を構成してもよい。

上記の瞳分割方式を用いて（すなわち撮影レンズ５の瞳の異なる領域を透過した光束による像を用いて）、撮影レンズの焦点状態を検出する方法は、例えば特開２００１−１２４９８４号公報に記載されている手法を用いている。

次に、欠陥画素に対する欠陥画素補間を行う方法について図７において説明する。ＳＢ３のｂ画素が欠陥であった場合、欠陥画素補間手段としてのＣＰＵ２０は、その瞳分割方向に対し垂直方向にあるＳＢ３＿Ｕ、ＳＢ３＿Ｄの信号の平均出力によって補間を行う。瞳分割方向に対し垂直方向からの信号によって補間を行うため、位相差情報を損なうことがなく、焦点検出精度を悪化させることはない。なお、補間方法については上記に限定されず、ＳＢ３＿Ｕ及びＳＢ３＿Ｄのいずれかの信号を使用してもよい。あるいは、ＳＢ３＿Ｕのｂ画素又はＳＢ３＿Ｄのｂ画素の信号のいずれか、またはそれらを合成した信号より生成した信号を使用してもよい。

上記実施例では瞳分割方向とは垂直方向にある画素信号からの補間としているが、瞳分割方向以外の方向からの補間としても、位相情報を大きく損なうことはない。例えば、瞳分割方向とは異なる方向における、欠陥画素の近傍、かつ、同色画素からの信号により欠陥画素の信号を補間することができる。欠陥画素の近傍の画素（周辺画素）とは、例えば図７の瞳分割方向において欠陥画素を含むマイクロレンズに最も近いマイクロレンズ内における欠陥画素と同色の２つの画素（ＳＢ２のｂ画素、ＳＡ３のａ画素）の間の範囲Ａ内にある画素のことを指す。より好ましくは、欠陥画素の近傍の画素とは、瞳分割方向とは異なる方向にあり、欠陥画素を含むマイクロレンズに最も近いマイクロレンズ内における欠陥画素と同色の画素である。

また、上述した実施例では欠陥画素を含むマイクロレンズとは異なるマイクロレンズを透過した画素からの信号を欠陥画素補間に使用する例について挙げた。しかし、ＳＢ３のＧｂに欠陥があった場合、欠陥画素を含むマイクロレンズと同一マイクロレンズ内にある瞳分割方向とは異なる方向にあるＧｄ画素からの信号により置き換えて欠陥画素補間を行ってもよい。また、ＳＢ３＿Ｕのｂ画素、ＳＢ３＿Ｄのｂ画素、ＳＢ３のｄ画素の信号を合成して、補間に使用する信号を生成しても良い。

また、上述した実施例では、瞳分割方向が水平方向の場合について説明したが、瞳分割方向を垂直方向にしてもよい。また、水平方向と垂直方向を切り換えるようにしてもよい。図８において、瞳分割方向が垂直方向の場合を示す。例えば、ＳＡ７のＧｂ画素が欠陥であった場合、その瞳分割方向に対し垂直方向にあるＳＡ７＿Ｕ、ＳＡ７＿Ｄの信号の平均出力によって補間を行う。瞳分割方向に対し垂直方向からの信号によって補間を行うため、位相差情報を損なうことがなく、焦点検出精度を悪化させることはない。なお、補間方法については上記に限定されず、ＳＡ７＿Ｕ及びＳＡ７＿Ｄのいずれかの信号を使用してもよい。あるいは、ＳＡ７＿Ｕのｂ画素又はＳＡ７＿Ｄのｂ画素の信号のいずれか、またはそれらを合成した信号より生成した信号を使用してもよい。なお、欠陥画素を含むマイクロレンズと同一マイクロレンズ内にある瞳分割方向とは異なる方向にあるＧａ画素からの信号により置き換えて欠陥画素補間を行ってもよい。また、ＳＡ７＿Ｕのｂ画素、ＳＡ７＿Ｄのｂ画素、ＳＡ７のａ画素の信号を合成した信号より、補間に使用する信号を生成しても良い。

また、同一マイクロレンズ内に瞳分割方向とは異なる方向にある画素が更に複数ある場合、同一マイクロレンズ内にある瞳分割方向とは異なる方向にある画素からの信号により補間を行ってもよい。例えば、図９に示すようにＳＢｎ内のＧ８が欠陥であった場合、同一マイクロレンズ内にある瞳分割方向とは異なる方向にあるＧ７およびＧ９画素からの信号により補間を行ってもよい。

また、本実施例では瞳分割方向とは異なる方向にある同色画素からの補間としているが、瞳分割方向とは異なる方向にある異色画素からの信号により、欠陥画素周辺での色比にあわせて補間を行ってもよい。この場合も上述したように、欠陥画素の近傍、かつ、異色画素からの信号により欠陥画素周辺での色比に合わせて欠陥画素の信号を補間することが好ましい。

本実施例によれば、撮像素子が欠陥画素を有する場合でも相関情報の損なわない補間を実現し、精度良く撮影レンズの焦点状態を検出することが可能となる。

本実施例は、本発明のカメラシステムを用いて立体映像を生成及び表示させるというものである。本実施例のカメラシステムの構成は、実施例１のカメラシステムと同じである。このため、本実施例において実施例１と共通する構成要素には、実施例１と同符号を付する。また、立体映像を生成及び表示する方法は、例えば特許文献１に記載の方法を使用することができる。特許文献１では全ての右側検出器の出力から第１の映像を生じ、全ての左側検出器の出力から第２の映像を生じさせ、表示される２つの映像の視差から立体映像を表示させる提案がなされている。

本実施例では、図１のデジタルスチルカメラ１の構成図において、瞳分割されたそれぞれ撮像素子の出力を画像処理手段２４において視差のある画像に処理を行う。つまり、本実施例において画像処理手段２４は、撮影レンズ５の異なる瞳位置に対応する画素で光電変換された信号に基づいて、瞳位置に対応した複数の視差のある画像を作ることができる。

立体映像を表示させる場合における欠陥画素に対する欠陥画素補間を行う方法ついて図７を用いて説明する。

ＳＢ３のｂ画素が欠陥であった場合、欠陥画素補間手段としてのＣＰＵ２０は、その瞳分割方向（視差方向とも言える。）に対し垂直方向にあるＳＢ３＿Ｕ、ＳＢ３＿Ｄの信号の平均出力によって補間を行う。瞳分割方向に対し垂直方向からの信号によって補間を行うため、視差情報を損なうことがなく立体映像を表示することができる。なお、補間方法については上記に限定されず、実施例１で述べた別の方法を用いてもよい。

本実施例では瞳分割方向とは垂直方向にある画素信号からの補間としているが、瞳分割方向以外の方向からの補間としても、視差情報を大きく損なうことはない。瞳分割方向以外の方向からの補間方法も実施例１で述べた方法を用いることができる。

また本実施例では欠陥画素とは異なるマイクロレンズを透過した画素からの信号を欠陥画素補間に使用する例について挙げた。しかし、ＳＢ３のＧｂに欠陥があった場合、欠陥画素を含むマイクロレンズと同一マイクロレンズ内にある瞳分割方向とは異なる方向にあるＧｄ画素からの信号により置き換えて欠陥画素補間を行ってもよい。

また、本実施例では瞳分割方向とは異なる方向にある同色画素からの補間としているが、瞳分割方向とは異なる方向にある異色画素からの信号により、欠陥画素周辺での色比にあわせて補間を行ってもよい。

本実施例によれば、撮像素子が欠陥画素を有する場合でも相関情報の損なわない補間を実現し、精度良く立体映像を生成及び表示させることが可能となる。

以下、本発明の好適な実施の形態に係るイメージセンサ１０の構成を図３を用いて説明する。

図３は、イメージセンサ１０の一部断面図であり、図５のイメージセンサの一部平面図の中に示した点線で囲った領域の断面図である。図中右側の画素は、撮影レンズ５の片側の瞳領域を受光可能な第１の画素を示し、図中左側の画素は、撮影レンズ５のもう片方の一部の瞳領域からの光束を受光可能な第２の画素を示している。

１１７はＰ型ウェル、１１８はゲート絶縁膜であるＳｉＯ2 膜である。１２６α及び１２６βは表面Ｐ^＋層であり、ｎ層１２５α及び１２５βと共に光電変換部１０１α及び１０１βを構成している。また、１２０α及び１２０βは光電変換部１０１α及び１０１βに蓄積された光電荷をフローティングディフュージョン部１２１へ転送するための転送ゲートである。さらに、１２９はカラーフィルタ、１３０はマイクロレンズで、マイクロレンズ１３０は撮影レンズ５の瞳とイメージセンサ１０の光電変換部１０１α及び１０１βとが共役になるような形状及び位置に形成されている。またフローティングディフュージョン部１２１を挟んで、光電変換部１０１α，１０１βがそれぞれ形成されており、更に各光電変換部１０１α，１０１βで発生した光電荷は、それぞれ転送ゲート１２０α、１２０βを介して転送される。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

上記実施例では、レンズ交換型のデジタルスチルカメラについて説明したが、本発明は、レンズ一体型のデジタルスチルカメラやビデオカメラ等の撮像装置（光学機器）にも適用することができる。

本発明により、精度良く撮影レンズの焦点状態を検出することが可能な撮像装置を提供することが可能である。

１カメラ
１０撮像素子
Ｓ１、Ｓ２焦点検出部

Claims

１つのマイクロレンズに対して複数の光電変換部を有し、当該マイクロレンズが２次元状に配列された撮像素子と、
前記複数の光電変換部から出力された信号を用いて記録用の画像を生成する生成手段と、
前記複数の光電変換部からの信号に基づいて瞳分割方式の焦点検出を行う演算手段と、
前記撮像素子の光電変換部の欠陥情報に基づいて欠陥である光電変換部の信号の補間を行う補間手段と、
を有し、
前記補間手段は、前記欠陥である光電変換部に対し、前記欠陥である光電変換部の同一マイクロレンズ内にある、瞳分割方向とは異なる方向にある光電変換部からの信号を用いて補間を行うことを特徴とする撮像装置。
１つのマイクロレンズに対して複数の光電変換部を有し、当該マイクロレンズが２次元状に配列された撮像素子と、
前記撮像素子の光電変換部の欠陥情報に基づいて欠陥である光電変換部の信号の補間を行う補間手段と、
前記複数の光電変換部で光電変換された信号に基づいて複数の視差のある画像を作る画像処理手段と、
を有し、
前記補間手段は、前記欠陥である光電変換部に対し、前記欠陥である光電変換部の同一マイクロレンズ内にある、瞳分割方向とは異なる方向にある光電変換部からの信号を用いて補間を行うことを特徴とする撮像装置。
前記補間手段は、前記欠陥である光電変換部と同色のカラーフィルタが配置された光電変換部の出力信号を用いて補間を行うことを特徴とする請求項１又は２に記載の撮像装置。
前記補間手段は、前記欠陥である光電変換部に対し瞳分割方向の垂直方向にある光電変換部からの信号により補間を行うことを特徴とする請求項１〜３のいずれかに記載の撮像装置。
前記補間手段は、前記欠陥である光電変換部の同一マイクロレンズ内にある瞳分割方向の垂直方向にある光電変換部からの信号により補間を行うことを特徴とする請求項４に記載の撮像装置。
１つのマイクロレンズに対して複数の光電変換部を有し、当該マイクロレンズが２次元状に配列された撮像素子を有する撮像装置の制御方法であって、
前記複数の光電変換部から出力された信号を用いて記録用の画像を生成する生成工程と、
前記複数の光電変換部からの信号に基づいて瞳分割方式の焦点検出を行う演算工程と、
前記撮像素子の光電変換部の欠陥情報に基づいて欠陥である光電変換部の信号の補間を行う補間工程と、
を有し、
前記補間工程では、前記欠陥である光電変換部に対し、前記欠陥である光電変換部の同一マイクロレンズ内にある、瞳分割方向とは異なる方向にある光電変換部からの信号を用いて補間を行うことを特徴とする制御方法。
１つのマイクロレンズに対して複数の光電変換部を有し、当該マイクロレンズが２次元状に配列された撮像素子を有する撮像装置の制御方法であって、
前記撮像素子の光電変換部の欠陥情報に基づいて欠陥である光電変換部の信号の補間を行う補間工程と、
前記複数の光電変換部で光電変換された信号に基づいて複数の視差のある画像を作る画像処理工程と、
を有し、
前記補間工程では、前記欠陥である光電変換部に対し、前記欠陥である光電変換部の同一マイクロレンズ内にある、瞳分割方向とは異なる方向にある光電変換部からの信号を用いて補間を行うことを特徴とする制御方法。