JP6071761B2

JP6071761B2 - 撮像装置及びその制御方法

Info

Publication number: JP6071761B2
Application number: JP2013116245A
Authority: JP
Inventors: 武志小川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-05-31
Filing date: 2013-05-31
Publication date: 2017-02-01
Anticipated expiration: 2033-05-31
Also published as: US20140354875A1; JP2014235287A; US9578230B2

Description

本発明は、瞳分割機能を有する撮像素子を用いる撮像装置に関し、特にシェーディングを良好に補正する技術に関するものである。

従来、１つの撮像光学系をリレーレンズを用いて瞳分割して２つの撮像素子で露光する撮像装置や、マイクロレンズ下の光電変換部を複数に分割して瞳分割像を得る方法が提案されている。それらは、得られた複数の画像の視差を利用して、ステレオ画像を得たり、位相差検出方式の自動焦点検出を行ったり、距離画像を作成したりといった用途に利用することができる。

距離画像を得たり、焦点検出を行う場合には瞳分割方向に２つの画像がどのくらいずれているのかを知る必要があり、ＳＡＤやＳＳＤといった相関演算を行う。相関演算では像の一致度の高い画像のずれ量をサーチするため、正しいずれ量における像の一致度が低いと正確なずれ量を検出することが困難となる。像の一致度が下がる要因としてシェーディングの違いがあげられる。したがって、シェーディングを良好に補正することが望まれている。

そのため、例えば特許文献１では相関演算で得られた像ずれ量に基づきＡ像とＢ像のレベル差を検出してシェーディングレベルを推定し、シェーディング補正係数を算出してシェーディング補正を行う技術が開示されている。特許文献２では、交換レンズから射出瞳の情報を得て、シェーディング補正係数を計算する技術が開示されている。

特許第２７１５９５８号公報特許第４２６５０２９号公報

しかしながら、上述の特許文献１に開示された技術では、前もって相関演算を行うため、最初の相関演算で間違った像ずれ量を検出するとシェーディング補正量を大きく間違えてしまい、間違っているにもかかわらず相関演算の信頼性が上がってしてしまう。

また、上述の特許文献２に開示された技術では、幾何学的な計算をしなければならないので演算量が多くなり、計算に時間がかかりすぎてしまうという問題点がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、事前に相関演算を行うことなく、少ない演算量によりシェーディング補正係数を算出することを可能にした撮像装置を提供することである。

本発明に係わる撮像装置は、撮像レンズの第１の瞳領域を通過した光を受光する第１の光電変換部と、前記第１の瞳領域とは重ならない前記撮像レンズの第２の瞳領域を通過した光を受光する第２の光電変換部とを有する画素が２次元状に配列された撮像素子と、前記撮像レンズに設けられたフォーカシングレンズの位置を光軸に沿ってずらしながら前記画素を露光させ、前記フォーカシングレンズの位置に応じて前記画素から得られる同一被写体の信号の撮像面上での像ずれ量を取得する取得手段と、前記フォーカシングレンズの位置に応じて前記画素から得られる同一被写体の信号のレベル比を検出する検出手段と、前記同一被写体の信号の撮像面上での像ずれ量と、前記同一被写体の信号のレベル比とに基づいてシェーディング補正係数を算出する算出手段と、を備えることを特徴とする。

本発明によれば、事前に相関演算を行うことなく、少ない演算量によりシェーディング補正係数を算出することを可能にした撮像装置を提供することが可能となる。

本発明の第１の実施形態の撮像装置の構成を示すブロック図。撮像素子の画素構造を示す図。撮像素子の画素配列を示す図。瞳分割とピント位置の関係を示す図。レンズの枠と像高によるケラレ形状を示す図。ケラレ形状と分割画素の関係を示す図。画面位置とケラレ状態の関係を示す図。シェーディングと撮像信号の関係を示す図。フォーカシングレンズ位置と像ずれ位置の関係を示す図。像ずれとシェーディングの関係を示す図。シェーディング補正係数算出部の内部ブロック図。撮像装置全体の動作を示すフローチャート。本発明の第２の実施形態の撮像素子の画素構造を示す図。本発明の第２の実施形態の撮像装置の構成を示すブロック図。リレーレンズの構成を示す図。

以下に、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態の撮像装置の構成を示すブロック図である。また、図２は図１に示す撮像素子１０２の画素構造を示す図である。図２（ａ）は画素を上から見た図であり、図２（ｂ）は画素の断面図である。図２において、２０１はマイクロレンズ、２０２および２０３は光電変換部である。通常の撮像素子ではマイクロレンズ１つに対して光電変換部が１つ配置されているが、第１の実施形態の撮像素子では光電変換部が２つに分割されており、それぞれ別の信号として読み出すことができる。図２の構造により瞳分割画像が得られる。

図３はカラーフィルタの配列を示した図である。Ｒ（赤）、Ｇ（緑）、Ｂ（青）が２次元状に一定の繰り返し周期となって配置されたベイヤー配列と呼ばれる配列である。図３の配列とすることで光電変換部２０２，２０３の画素値を加算して得られる信号からカラー映像信号を作成することができる。本実施形態では、光電変換部２０２，２０３の信号を加算してカラー映像信号を作成する。

次に図１を参照して第１の実施形態の撮像装置の全体構成について説明する。図１において、１０１は撮像レンズ、１０２は撮像素子、１０３はＡＤ変換器、１０４はＡＢ像分離器である。撮像素子から撮像レンズ１０１の第１の瞳領域を通過した光を受光する第１の光電変換部２０２と撮像レンズ１０１の第２の瞳領域を通過した光を受光する第２の光電変換部２０３の信号が交互に出力される。光電変換部２０２，２０３で２つに瞳分割された信号をそれぞれＡ像信号、Ｂ像信号として瞳領域ごとに分けるのがＡＢ像分離器１０４の機能である。ＡＢ像分離器１０４の出力であるＡ像信号、Ｂ像信号はそれぞれシェーディング補正部１０６，１０７に入力され補正される。なお、Ｂ像信号については、シェーディング補正係数算出部１０８にも転送される。シェーディング補正係数算出部１０８からＡゲイン像、Ｂゲイン像が出力され、シェーディング補正部１０６，１０７へ入力される。

シェーディング補正部１０６，１０７で補正されたＡ像信号とＢ像信号は焦点検出部１１０と加算ベイヤー化部１１１へ入力される。加算ベイヤー化部１１１によってＡ像、Ｂ像が加算され、映像信号処理部１１２によって映像信号に変換される。映像信号処理部１１２の出力は表示や記録に利用されるが、表示や記録の詳細に関しては本発明の本質にかかわらない部分なので説明を省略する。マイクロコンピュータ１０９は撮像装置全体を制御する部分である。

ここで図４を用いて瞳分割された像の特性について説明する。６０１はレンズであり、光電変換部２０２，２０３に分割して露光した信号は、それぞれ射出瞳６０２，６０３を通過した信号と等価な特性を持つ。射出瞳６０２，６０３を通過する光はピントが合っている面であるピント面６０５においては、被写体の一点から出射された光が再び一点に集まる。それの前後の面である６０４や６０６では、被写体の一点から出射された光がそれぞれ異なる位置に投影されることになる。被写体の同じ位置から出た光が射出瞳６０２，６０３を通過することで、投影位置がずれていればピントが合っていないことを意味するため、Ａ像とＢ像のずれ量からデフォーカス量を算出することができる。

図１の焦点検出部１１０では、Ａ像とＢ像のずれ量を検出する。像のずれ量を検出する際にＡ像とＢ像にシェーディングによるレベル差があると像ずれ検出に誤差が生じたり、検出が失敗することがあるためシェーディングを補正しなければならない。

図５（ａ）のレンズ断面図を用いてシェーディングがなぜ起こるのかを説明する。図５において、７０１は前レンズ、７０２は絞り、７０３は後レンズである。前レンズ７０１の枠を前枠、後レンズ７０３によってできる枠を後枠と呼ぶ。７０４は撮像面である。撮像面７０４のｘの位置から見た前レンズ７０１、絞り７０２、後レンズ７０３の枠の重なり方と、撮像面ｙの位置から見た前レンズ７０１、絞り７０２、後レンズ７０３の枠の重なり方を図５（ｂ）に示している。ｘの位置から見ると光量を制限しているものは絞りだけであるが、ｙの位置から見ると前枠７０１と後枠７０３によっても光量が制限されている。

図６は図５のｙの位置における光が届く範囲と撮像素子の光電変換部を重ねたものである。光電変換部２０２と２０３では光が届く範囲が大きく異なることがわかる。このようにシェーディングとは光軸中心から離れて像高が高くなるにつれ光量が落ちてくる現象であり、瞳分割された像においては像高が高くなるとＡ像とＢ像のバランスがよりくずれるという性質がある。図６の斜線部の形状のことをケラレ形状といい、センサ上の画素位置との関係を図７に示す。ケラレ形状は場所により異なるが、場所がずれることにより少しずつ変化する。

図８（ａ）は横軸に撮像素子１０２上の位置、縦軸に光量を示した図であり、この形状がシェーディング像である。白い均一面を撮影すると図８（ａ）のようなシェーディング像と一致する像を得る事ができる。白い均一面を撮影しない限り、シェーディング像を得ることはできず、通常は、図８（ｂ）のようにシェーディング像と被写体の像が重畳した映像信号が得られる。本実施形態では、シェーディング像と被写体の像が重畳した映像信号からシェーディング像を得て、シェーディング補正係数を得る。

図９を用いて本実施形態の原理を説明する。図４においてピント面の説明をしたが、撮像面とピント面を一致させるために、一般に、フォーカシングレンズを移動させる。フォーカシングレンズを移動させることでピント面６０５を移動させて撮像素子１０２の面と一致させる。

図９の１１０５は撮像素子の面である。フォーカシングレンズが１１０１の位置にあるときの瞳６０２を通過した像は撮像面上の１１０３の位置にある。それに対してフォーカシングレンズが１１０２の位置のときの像は１１０４の位置に移動する。すなわち、同じ被写体が撮像面状の異なる位置に投影された像を取得することができることを意味している。本実施形態ではフォーカシングレンズ位置の異なる複数の像を用いてシェーディング補正係数を求める。フォーカシングレンズの移動量に対する像の移動量は基線長により決まる一定量であるため、像がどこに移動したのかはレンズ移動量に一定の係数を掛けるだけで知ることができる。

１１０３、１１０４の図８（ｂ）で９０１で示す部分を拡大したものが図１０である。図１０の１１０３と１１０４は異なるフォーカシングレンズ位置で露光された同一被写体の映像信号の一部を拡大したものである。それぞれの対応点を結ぶ線はシェーディングカーブ９０２と一致する。したがって、フォーカシング位置差で決まる横ずれ量を持った場所での同じ被写体の映像信号を比較すればシェーディングカーブを得ることができる。なお、シェーディングは透過率が低下するものなので、差分ではなくレベル比を求める必要がある。フォーカシングレンズを微少量動かすと像も微少量しか動かないが、そこで求めた比を連続的につないでいくことで全域のシェーディングカーブを得る事ができる。

図１１は図１のシェーディング補正係数算出部１０８の内部の詳細ブロック図である。シェーディング補正係数算出部１０８はマイクロコンピュータ１０９によって細かく制御され、内部回路の詳細な制御はタイミング発生器５０９によって行われている。

入力信号はＢ像のみであり、第１の画像メモリー５０１と第２の画像メモリー５０２には、フォーカシングレンズ位置の異なる時分割で露光されたＢ像が格納される。第１の画像、第２の画像ともにローパスフィルター５０３，５０４で高周波成分が取り除かれ、第２の画像のみ遅延回路５０６により所定量遅延される。遅延回路５０６の効果により比を求める除算器５０７に入力される像が横にずれることになる。遅延回路５０６で遅延される量は像の基線長で決まる。

除算器５０７の出力は基線長できまるピッチの距離の画素との透過率の比である。シェーディング係数画像メモリー５０８は１画面分の補正係数を蓄積することができる。画面全域の補正係数を蓄積したら、正規化回路５１０により読み出し、像高中心を倍率１としたゲインに正規化して再びシェーディング係数画像メモリー５０８に書き戻す。以後は、撮像素子に連動した全体の同期信号に合わせたタイミングでＡゲイン像、Ｂゲイン像が読みだされる。入力された第１の画像および第２の画像はＢ像のみなのでＡゲイン像はＢゲイン像の反転像となるようにメモリーをアドレッシングして生成される。

次にマイクロコンピュータ１０９による撮像装置全体の制御を図１２のフローチャートを用いて説明する。

ステップＳ１２０１でシステムがスタートする。ステップＳ１２０２で補正係数用の第１露光が行われる。そして読み出されたＢ像信号が、第１の画像メモリー５０１に格納される。次にステップＳ１２０３でレンズ１０１が駆動されフォーカシングレンズが所定量移動する。ステップＳ１２０４で補正係数用の第２露光が行われる。読み出されたＢ像信号が第２の画像メモリー５０２に格納される。

ステップＳ１２０５で補正係数の算出が行われる。すなわち、第１の画像メモリー５０１、第２の画像メモリー５０２が読み出され、所定ピッチの比信号がシェーディング係数画像メモリー５０８に蓄積され、正規化回路５１０により読みだされる。そして、光軸中心を倍率１としたゲインに正規化されて再びシェーディング係数画像メモリー５０８に書き戻される。

ステップＳ１２０６で補正モードに設定される。とＡゲイン像、Ｂゲイン像が全体の同期信号に同期して出力される。ステップＳ１２０７でオートフォーカスを行う。このとき、Ａ像およびＢ像はシェーディング補正部１０６，１０７によりシェーディング補正され、焦点検出部１１０に入力される。マイクロコンピュータ１０９は焦点検出部１１０の結果を読みとり、フォーカシングレンズを駆動して、ピントを合わせる。

ステップＳ１２０８で露光、ステップＳ１２０９で記録モードかどうかを判断してステップＳ１２０７に分岐するか、ステップ１２１０に分岐して記録するか、ステップ１２１１に分岐して終了するかが決定される。

マイクロコンピュータ１０９には図示していないが操作部材が接続されていて、ユーザーからの指示を知ることができる。このようにステップＳ１２０７からステップＳ１２１０を繰り返す事で、焦点検出をしながら画像を記録することができる。

（第２の実施形態）
以下、図１３を参照して、本発明の第２の実施形態の撮像装置について説明する。図１３は第２の実施形態における撮像素子の画素構造を示したものである。マイクロレンズ２０１に対応して光電変換部が１４０１，１４０２，１４０３，１４０４の４つに分割されている。これらの画素を用いて図１３（ｃ）の点線でグループ化しているように、光電変換部１４０１の信号と１４０３の信号を加算してＡ像とし、光電変換部１４０２と１４０４の信号を加算してＢ像とすることができる。

また、図１３（ｄ）のように光電変換部１４０１と１４０２を加算してＣ像信号、光電変換部１４０３と１４０４を加算してＤ像信号とする。このように４つに分割することで縦に瞳分割した構成と横に瞳分割した構成の両方の信号を作り出すことができる。

図１４は第２の実施形態の撮像装置の構成を示すブロック図である。ＡＢＣＤ像加算分離部１５０１によって上記のＡ像Ｂ像Ｃ像Ｄ像を作り出す。Ａ像、Ｂ像の扱いは第１の実施形態と同じである。新たにＣ像、Ｄ像で縦の瞳分割信号ができたので、新たなシェーディング補正係数算出部１５０４が追加されている。縦に像ずれするため、内部の遅延もラインごと遅延して縦ずれに対応している。そして焦点検出部１１０には縦に瞳分割された像と横に瞳分割された像が入力され、より多様な被写体においても焦点検出が可能となっている。

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば第１及び第２の実施形態において、１つのマイクロレンズに対して複数のフォトダイオードで瞳分割をした例を示したが、瞳分割されている信号であれば、マイクロレンズとフォトダイオードの間で遮光して瞳分割した信号でも同様の効果が得られる。

また、第１及び第２の実施形態ではＢ像のシェーディング係数を反転させてＡ像のシェーディング係数としているが、別々に演算してもよい。

また、第２の実施形態では横のシェーディング補正のみ行った信号を加算してベイヤー化しているが、縦と横のシェーディング係数の両方により補正した信号で加算ベイヤー化するほうがより良い映像信号となり望ましい。

また、第１及び第２の実施形態において、単板撮像素子による画像を想定しているが、本発明の効果は２板、３板撮像素子においても同様に得られる。また瞳分割を行う位置ははマイクロレンズとフォトダイオードの間でなくてもよい。

図１５にリレーレンズにおける平行光領域（物体側焦点位置の点光源から広がる光が平行になる領域）で、入射光を同時に左右の画像に分離し、Ａ像Ｂ像を別の撮像素子を用いて露光するシステムの光学的構造を示す。１３０１はミラー、１３０２は絞り、１３０３はリレーレンズである。リレーレンズ１３０３により平行になった光をミラー１３０１により左右に分割する。分割された光はそれぞれミラー１３０５，１３０４で反射されて、結像レンズ１３０６，１３０７に導かれ、撮像素子１３０８，１３０９に結像される。このような構成とすることでＡ像とＢ像を同時に２つの撮像素子で得ることが可能となり、第１及び第２の実施形態と同様の効果が得られる。またＡ像とＢ像を時分割で露光してもよい。

Claims

撮像レンズの第１の瞳領域を通過した光を受光する第１の光電変換部と、前記第１の瞳領域とは重ならない前記撮像レンズの第２の瞳領域を通過した光を受光する第２の光電変換部とを有する画素が２次元状に配列された撮像素子と、
前記撮像レンズに設けられたフォーカシングレンズの位置を光軸に沿ってずらしながら前記画素を露光させ、前記フォーカシングレンズの位置に応じて前記画素から得られる同一被写体の信号の撮像面上での像ずれ量を取得する取得手段と、
前記フォーカシングレンズの位置に応じて前記画素から得られる同一被写体の信号のレベル比を検出する検出手段と、
前記同一被写体の信号の撮像面上での像ずれ量と、前記同一被写体の信号のレベル比とに基づいてシェーディング補正係数を算出する算出手段と、
を備えることを特徴とする撮像装置。
前記検出手段は、前記同一被写体の信号にローパスフィルターをかけた後に、前記同一被写体の信号のレベル比を検出することを特徴とする請求項１に記載の撮像装置。
前記第１の光電変換部から得られる信号と前記第２の光電変換部から得られる信号とを前記シェーディング補正係数を用いて補正した後に加算して映像信号を得る加算手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
前記第１の光電変換部から得られる信号と前記第２の光電変換部から得られる信号とを前記シェーディング補正係数を用いて補正した後に、前記第１の光電変換部から得られる信号と前記第２の光電変換部から得られる信号のずれ量に基づいてデフォーカス量を算出する焦点検出手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
撮像レンズの第１の瞳領域を通過した光を受光する第１の光電変換部と、前記第１の瞳領域とは重ならない前記撮像レンズの第２の瞳領域を通過した光を受光する第２の光電変換部とを有する画素が２次元状に配列された撮像素子を備える撮像装置を制御する方法であって、
前記撮像レンズに設けられたフォーカシングレンズの位置を光軸に沿ってずらしながら前記画素を露光させ、前記フォーカシングレンズの位置に応じて前記画素から得られる同一被写体の信号の撮像面上での像ずれ量を取得する取得工程と、
前記フォーカシングレンズの位置に応じて前記画素から得られる同一被写体の信号のレベル比を検出する検出工程と、
前記同一被写体の信号の撮像面上での像ずれ量と、前記同一被写体の信号のレベル比とに基づいてシェーディング補正係数を算出する算出工程と、
を有することを特徴とする撮像装置の制御方法。