JP6188531B2 - 撮像装置、その制御方法およびプログラム - Google Patents

Description

本発明は、リフォーカス可能な画像を取得することができる撮像装置に関し、特にリフォーカス可能な画像を取得することができる撮像装置による撮影時のレンズ駆動制御に関する。

現在、多くのカメラは、動く被写体の被写体距離の変化に応じてピントの合った画像を撮影できるように、撮影レンズの駆動を制御する、いわゆる動体追従の機能を有している。なお、以下の記載では、レンズ駆動制御を説明するために、撮影光学系の各部を図９に示すように定義する。また、撮影光学系に関して「ピントを合わせる」と言うときは、次のようなレンズ駆動を想定している。即ち、一般的なカメラにおいて位置が固定されている撮像面に対して、任意の被写体位置（被写体距離）の被写体のピント位置が撮像面と一致するようにレンズを駆動して像距離を調整することである。

一般的な撮影光学系において、上記ピント合わせはフォーカスレンズをメカ的に駆動して行われる。レンズに限らず往復動作を行うメカの駆動においては、図１０に示すように駆動信号の反転（図１０においては順送りから逆送り）に即座にメカが応答できない、いわゆるバックラッシュと呼ばれる現象が発生する。バックラッシュはメカの構成上避けることのできないガタに起因している。このバックラッシュにより、メカ駆動に遅れ時間が発生する。

このバックラッシュによるメカ駆動の遅れ時間による悪影響が考えられるのは、撮影画角の奥行き方向に移動する被写体が急に移動方向を反転した場合の被写体追従動作である。例えば、至近方向に移動する被写体に対し動体追従動作によりピントを合わせ続けている時に、被写体が無限側へと急に移動方向を反転すると、バックラッシュによりレンズを即座に反転駆動することができず、その結果、ピントが外れてしまうことがある。

ところで、近年、多視点の視差像を取得し、画像の再構成処理（画像合成処理）によって撮影後の画像のピント位置制御が可能な撮像装置が提案されている。この再構成処理によるピント位置制御はリフォーカス処理と呼ばれ、このような処理の可能な構成の撮像装置はライトフィールドカメラなどと呼ばれている。このライトフィールドカメラにおいては、ピントが合っていないレンズ位置で撮影した画像においても、撮影後のリフォーカス処理によりピントの合った再構成画像を取得することができる。

例えば、特許文献１に開示されているようなライトフィールドカメラにおいて従来の方法によりレンズを駆動して動体追従を行った場合、ピント位置が撮像面と一致せずに、それらの間に多少のずれがあるレンズ位置で撮影した場合、ボケた画像が得られる。しかし、ライトフィールドカメラでは、撮影後のリフォーカス処理を行うことによりピントの合った画像を取得することができる。つまり、ライトフィールドカメラの構成をとることで、動体追従時にピント外れの画像取得の割合が低減される。

国際公開番号ＷＯ０８／０５０９０４

しかしながら、ライトフィールドカメラのリフォーカス処理にも、リフォーカス可能なピント深さには限界があるので、ピント位置と撮像面との間に一定以上のずれが生じてしまうと、リフォーカス処理でピントの合った画像を取得することができなくなる。そのため、動体追従動作時のバックラッシュに起因するピント外れの画像を取得する割合は、ライトフィールドカメラにおいても必ずしも低減できるわけではない。

そのため、本発明は、リフォーカス機能を有するライトフィールドカメラにおいて、ピントが外れた画像の取得割合を低減することを目的とする。

上記目的を達成するために、本発明によれば、フォーカスレンズを含む撮影光学系と、撮影光学系で形成された被写体の光学像を撮像して、リフォーカス可能な画素データを生成する撮像手段と、被写体の距離を取得する測距手段と、取得された被写体測距に基づいて決定されるレンズ位置に従って前記フォーカスレンズを駆動するレンズ駆動手段とを備えた撮像装置は、被写体距離に基づいた被写体の移動情報とレンズ駆動手段の駆動特性情報に基づいて、レンズ位置に対してリフォーカス可能な範囲内のずれ量を有する目標レンズ位置を決定し、レンズ駆動手段を制御して目標レンズ位置に従ってフォーカスレンズを駆動させる制御手段を備えることを特徴とする撮像装置。

本発明によれば、リフォーカス機能を有するライトフィールドカメラにおいて、ピントが外れた画像の取得割合を低減することができる。

本発明の実施例に係る撮像装置の構成を示すブロック図 本発明の実施例におけるピント位置の制御方法を説明するための図 ライトフィールドカメラにおけるリフォーカス可能範囲を説明するための図 本発明の実施例における動体追従のためのレンズ駆動を説明するための図 リフォーカスにおいて可能なピント位置ずらし量の被写体距離依存性を示す図 本発明の実施例に係る撮像装置のレンズ駆動の制御動作のフローチャートを示す図 ライトフィールドカメラにおけるレンズ絞りとリフォーカス可能範囲の関係を説明するための図 本発明の実施例に係る撮像装置による取得される再構成画像を説明するための図 撮影光学系の各部の呼称を示す図 フォーカスレンズのバックラッシュを説明するための図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

以下、図１から図８を参照して、本発明の第１の実施例に係る撮像装置の構成について説明する。本実施例においては、このリフォーカス可能な範囲内の距離だけレンズ駆動位置をずらしてフォーカスレンズを駆動することでピント位置を撮像面からずらし、このずれによりバックラッシュによる動体追従遅れに対応する。具体的には、レンズ駆動の反転動作が必要になる前から予めフォーカスレンズの駆動位置を像距離の変化が遅れてしまう方向にリフォーカス可能な範囲内の像距離だけずらして駆動することで、バックラッシュによる動体追従遅れを吸収する構成をとる。

図１は、本実施例に係る撮影装置であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。カメラ１およびレンズ２からなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系３、撮像素子６を含む。本実施例では、撮影光学系３と撮像素子６、後述する撮像素子６上のマイクロレンズを併せたものが、被写体空間の視差画像を取得する視差画像取得部を構成する。また、撮影光学系３はフォーカスレンズ４、ブレ補正レンズ１６、レンズ絞り１７を含む。画像処理系は、画像処理部７を含む。画像処理部７は、前記視差画像取得部の取得した画像からピント位置を制御した合成画像を生成する画像生成部である。記録再生系は、メモリ部８、表示部９を含む。制御系は、カメラシステム制御部５、操作検出部１０、およびレンズシステム制御部１２、レンズ駆動部であるところのフォーカスレンズ駆動部１３、ブレ補正レンズ駆動部１４、レンズ絞り駆動部１５を含む。

なお、本実施例では、カメラシステム制御部５がレンズシステム制御部１２に制御信号を送ることでレンズを制御しているため、カメラシステム制御部５とレンズシステム制御部１２を併せたものがレンズ制御部を構成する。また、カメラシステム制御部５と撮像素子６、画像処理部７とで測距部が構成される。また、レンズシステム制御部には、フォーカスレンズ駆動部１３のバックラッシュ量を記憶する記憶部としても機能する。カメラシステム制御部５は、経時の前記測距結果にもとづいて被写体の移動方向を算出する被写体移動方向算出部、同じく経時の測距結果にもとづいて被写体の移動速度を算出する被写体移動速度算出部の機能を有する。また、被写体が現在のレンズ位置においてリフォーカス可能かどうかを判定するピント制御判定部、測距結果にもとづいて画角内の領域抽出を行う領域判定部の機能をも有する。フォーカスレンズ駆動部１３は、フォーカスレンズ４を駆動し、ブレ補正レンズ駆動部１４はブレ補正レンズ１６を、レンズ絞り駆動部１５はレンズ絞り１７を駆動するよう構成されている。

撮像系は、物体からの光学像を、撮影光学系３により撮像素子６の撮像面に結像することで光電変換信号(画素信号)を生成する。撮影素子６の表面にはマイクロレンズ（以下、ＭＬ）が格子状に配置してあり、いわゆるマイクロレンズアレイ（以下、ＭＬＡ）を形成している。ＭＬＡは本実施例において、瞳分割手段を構成する。被写体からの光線は、撮影光学系６とＭＬＡを介することで、該光線の被写体面状における位置を角度とに応じて、撮像素子３の異なる画素へ入射する。これによりライトフィールド情報（画素データ）が取得される。

画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス部、ガンマ補正部、補間演算部等を有しており、記録用の画像データを生成することができる。また、特定の被写体が重なるように画素データをシフトさせて単視点画像を合成することで、任意の被写体に合焦した画像を再構成するリフォーカス処理を行う。

メモリ部８は、実際にデータを記憶する記録部に加えて、記録に必要な処理部を備えている。メモリ部８は、予め定められた方法を用いて、この処理回路により画像、動画、音声などの圧縮を行う。

カメラシステム制御部５は、撮像の際のタイミング信号などを生成して出力するとともに、外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部１０が検出して、撮像素子６の駆動、画像処理部７の動作、メモリ部８の圧縮処理などを制御する。さらに、カメラシステム制御部５は、表示部９によって液晶モニタ等に情報表示を行うための情報表示装置の各セグメントの状態をも制御する。

制御系による光学系の調整動作について説明する。カメラシステム制御部５には画像処理部７が接続されており、撮像素子６からの信号に基づいて、撮影条件に適切なレンズ位置や絞り値を求める。適切なレンズ位置の決定に際しては、異なる瞳の画像から、いわゆる位相差方式による測距を行い、測距結果に基づいて、レンズ位置の決定を行う。もしくは、画像処理部７の生成した異なるピント位置でリフォーカス処理した合成画像のコントラストを比較評価することで測距を行ってもよい。また、撮像素子６とは別に設けられた不図示の撮像素子を用いた位相差検出方式で測距を行ってもよい。

カメラシステム制御部５は、電気接点１１を介してレンズシステム制御部１２に指令を送信し、レンズシステム制御部１２は、指令に従ってレンズ駆動部１３を適切に制御する。

図２を用いて、被写体がその移動方向を反転したときの撮影光学系３における像距離反転について説明する。図２（ａ）、（ｂ）において、横軸は被写体距離を、縦軸は像距離を示している。また、曲線Ｌは被写体にピントを合わせた時の被写体距離と像距離との関係を示している。

図２（ａ）は、被写体が矢印Ｄ１で示す至近方向へと移動し、被写体距離ｓの時点において矢印Ｄ２で示す無限方向に反転した場合を示している。被写体にピントを合わせるためには、レンズを駆動して像距離を矢印Ｄ３で示す方向へと変化させた後に、被写体が反転する被写体距離ｓに対応した像距離ｓ´の時点で、矢印Ｄ４で示す方向へと像距離が変化するように反転させなければならない。この時、前述したようにバックラッシュにより即座にレンズを反転駆動させることができず、その分、像距離の反転も遅れる。この時のピント位置と撮像面が一致せず、両者間のずれ量が大きな場合、その期間は撮影後のリフォーカス処理でもピントを合わせることができない時間領域となってしまう。

ここで図３を用いて、リフォーカス処理におけるリフォーカス可能範囲について説明する。合成画像の被写界深度に対応する焦点深度を考える。リフォーカス可能範囲は光束の角度成分のサンプリングピッチや、許容錯乱円の大きさ、合成画像における１画素の大きさなどから決まる。例えば、焦点深度の許容錯乱円の大きさをε、光束の角度成分のサンプリングピッチをΔｕとした時に、リフォーカスの係数α_±を以下の式（１）のように与えることができる。

リフォーカスの係数α_±とはリフォーカス可能範囲を求める係数であり、リフォーカス係数と像距離を用いて表されるα_＋・ｓ´（ｓ）〜α₋・ｓ´（ｓ）が像側のリフォーカス可能範囲である。また、この像側のリフォーカス可能範囲と撮影光学系に対して共役な範囲が物体側のリフォーカス可能範囲となる。この範囲において、ピント位置と撮像面が一致しないレンズ位置での撮影でありながら、後処理によりピントの合った画像（リフォーカス画像）を画素データから再構成することができる。

本実施例は、このリフォーカス画像の再構成を利用して、バックラッシュによる動体追従遅れを吸収できるようにフォーカスレンズの駆動位置を制御する。具体的には、フォーカスレンズの駆動位置を、反転動作が必要になる前から像距離の変化が遅れてしまう方向へと予めリフォーカス可能範囲の像距離だけずらしておく。こうすることで、撮影画像は駆動位置をずらした分だけピントがボケているが、反転駆動時の実際のレンズ位置が反転位置から既にずらした像距離分だけ駆動した位置となり、ずらした分だけ動体追従遅れを吸収することができる。しかも、撮影画像のピントのボケは、撮影時にリフォーカス画像を再構成して表示することで実質修正することが可能である。

図２（ａ）に示す場合においては、反転方向Ｄ４へのレンズ駆動が遅れるため、矢印Ｄ４で示す方向の像距離ｓ´（ｓ）−ｄｓ´１へと像距離をずらしておく。このようにすることで、駆動が遅れる方向にフォーカスレンズの駆動位置をずらしているので、被写体の反転動作時に発生するバックラッシュによる駆動遅れを低減することができる。しかも、図２（ａ）中に示す像側リフォーカス可能範囲は被写体にピントの合う像距離ｓ´（ｓ）を含むため、撮影後の処理でピントの合った画像を取得することができる。ここで、リフォーカス処理を行わずにピントの合う像距離ｓ´（ｓ）となるレンズ位置を第１のレンズ位置とし、被写体の移動方向Ｄ１の逆方向にずれた像距離ｓ´（ｓ）−ｄｓ´１となるレンズ位置が目標レンズ位置とする。このように像距離をずらすことで、動体追従時にバックラッシュによるピント外れ画像取得の割合を低減できる。

図２（ｂ）は図２（ａ）と被写体の移動／反転方向が逆の場合である。被写体が矢印Ｄ５が示すように無限方向へと移動し、被写体距離ｓの時点において矢印Ｄ６が示すように至近方向に反転する。被写体にピントを合わせるためには、レンズを駆動して像距離を矢印Ｄ７の方向へと変化させた後に、被写体が反転した被写体距離ｓに対応した像距離ｓ´の時点で、矢印Ｄ８の方向へと像距離が反転変化するようにレンズを反転駆動しなければならない。この時のバックラッシュの駆動遅れを低減するために、像距離をずらす方向は矢印Ｄ８の方向となるため、図２（ｂ）の像距離ｓ´（ｓ）＋ｄｓ´２となるレンズ位置が目標レンズ位置となる。

図４を用いて、前述したレンズ位置を目標レンズ位置とした時の動体追従の一例について説明する。

図４（ａ）の横軸は時間であり、左側第１軸は被写体距離、右側第２軸はレンズ位置を示している。曲線４１ａは左側第１軸を軸とした被写体距離を示す曲線であり、至近側へ向かう移動から無限側へ向かう移動へと反転をしている。曲線４１ｂは、右側第２軸を軸とした曲線４１ａで示される被写体距離の被写体にピントを合わせるためのレンズ位置を示している。レンズは、被写体側へと駆動された後に撮像面側への駆動へと反転される必要がある。短い破線の曲線４２ｂは、右側第２軸のレンズ位置を軸としており、曲線４１ｂに従ってレンズを駆動したときの実際のレンズ位置を示している。被写体がその移動方向を判定した後に従来の追従曲線に従ってレンズを駆動した場合の、バックラッシュによって曲線４２ｂからずれたレンズ位置を示す曲線である。長い破線の曲線４３ｂは右側第２軸のレンズ位置を軸としており、本実施例による動体追従を行うための追従曲線を示している。

追従曲線４２ｂについて説明する。被写体が反転する時刻ｔ１以前の時間においては、追従曲線４２ｂはレンズ位置曲線４１ｂと一致している。この時刻ｔ１から時刻ｔ２までの時間領域４４はバックラッシュによる遅れによりレンズ位置が変化しない時間領域を示している。時刻ｔ２においてバックラッシュがなくなり、レンズの移動が始まる。追従曲線４２ｂは、レンズ位置曲線４１ｂと一致するように追従するので、最大レンズ駆動速度でレンズ位置を変化させ、レンズ位置４１ｂに追いつこうとする。そして、時刻ｔ３においてレンズ位置曲線４１ｂに追いつき、以後の移動位置はレンズ位置曲線４１ｂと一致する。

追従曲線４３ｂは、図３にて示すリフォーカス可能範囲がレンズ位置曲線４１ｂを含むように、被写体の進行方向に対して逆向きにずらしたレンズ位置を与えている。図４（ａ）の時刻ｔ１以前の時間において、被写体が無限から至近へと移動しているため、レンズ位置はより無限側の被写体位置に対応するレンズ位置にずらされる。そして、反転後の時刻ｔ２以降においては、被写体が至近から無限へと移動しているため、レンズ位置はより至近側の被写体位置に対応するレンズ位置にずらされる。

図４（ｂ）を用いて、レンズ移動が追従曲線４２ｂまたは４３ｂに従った場合のピント位置と撮像面のずれ量について説明する。横軸は図４（ａ）同様に時間であり、左側第１軸はレンズ位置を、右側第２軸はピント位置と撮像面の位置との差を示している。

曲線４１ｂは左側第１軸を軸とする図４（ａ）と同様のレンズ位置曲線を示す。曲線４２ｃは右側第２軸を軸とする追従曲線４２ｂにて追従をした際のピント位置と撮像面のずれ量を示す。曲線４３ｃは右側第２軸を軸とする追従曲線４３ｂにて追従したした際のピント位置と撮像面のずれ量を示す。直線４６は右側第２軸を軸としたリフォーカス可能範囲となる閾値を示しており、ピント位置と撮像面のずれ量がこの値以下であれば、撮影後のリフォーカス処理によりピントの合った画像を得ることができる。

まず追従曲線４２ｂによるピント位置と撮像面のずれ量の曲線４２ｃについて時間軸に沿って説明する。追従曲線４２ｂは、被写体が反転しバックラッシュの影響を受ける時刻ｔ１まではずれ量がほぼ発生しない。時刻ｔ１以降にずれ量が生じ、その積算の結果、時刻ｔ４においてずれ量はリフォーカス可能範囲を上回る。時刻ｔ２においてバックラッシュによる遅れがなくなって、レンズが移動を再開するので、時刻ｔ５においてピント位置と撮像面のずれ量は再びリフォーカス可能範囲となる閾値以下となる。時刻ｔ３にて、追従曲線４２ｂはレンズ位置曲線４１ｂへと追い付くため、以後ずれはほぼなくなる。時間領域４５は撮影後のリフォーカス処理でもピントの合った画像が取得できない時間領域であり、追従曲線４２ｂで示されるレンズ移動ではバックラッシュによる遅れのためにこの時間領域４５が発生してしまう。

次に追従曲線４３ｂによるピント位置と撮像面のずれ量（４１ｂと４３ｂとの差）の曲線４３ｃについて時間軸に沿って説明する。ずれ量の曲線４３ｃは、被写体が反転しバックラッシュの影響を受ける時点ｔ１まではずれ量が一定値ｄｓ´_ａｄｊである。（ｄｓ´_ａｄｊは前述のｄｓ´１もしくはｄｓ２に相当する。）時刻ｔ１でバックラッシュが発生するため、ずれ量は変化するが予め反転側へとレンズ位置がずらされているため、バックラッシュによる遅れに起因するずれ量は追従曲線４２ｂに比して抑えられる。４１ｂと４３ｂが交差するため図４（ｂ）に示す場合では、レンズ位置が駆動可能となる時刻ｔ２においてもずれ量はリフォーカス可能範囲となる閾値以下であり、撮影後のリフォーカス処理によってもピントの合った画像が取得できない時間領域は発生しない。しかも、曲線４３ｂと４１ｂが交差する点ではピントが合っている。

以上のように、被写体の位置に対応するピント位置が撮像面からずれるようにレンズ位置を配設することで、バックラッシュの影響を受ける動体追従時にピント外れ画像取得の割合を低減することができる。

次に、バックラッシュによる遅れを補うためのレンズ位置のずらし量の導出について述べる。ずらし量はバックラッシュ量（例えば時間期間）だけレンズが空走する間に、被写体がどれだけ動くか（被写体の移動情報）で決定してもよい。例えば、レンズのバックラッシュ量、レンズ駆動部の駆動可能速度からガタ取りに要する時間を算出し、その時間の像側での被写体の移動速度からピント位置の移動量ｄｓ´３を算出してもよい。この時、（バックラッシュ量）÷（駆動速度）÷（像側の被写体移動速度）＝（ｄｓ´３）となる。この量ｄｓ´３がピント位置をずらしたい量である。なお、算出に用いるバックラッシュ量とレンズ駆動可能速度は、レンズに固有の駆動特性情報としてのメモリ値であり、それから求められるガタ取りに要する時間も同様にメモリ値とすることができる。

図５は、リフォーカス処理によりピント位置をずらせる量ｄｓ´４の被写体距離依存特性を示すグラフである。ここで、ピント位置をずらせる量ｄｓ´４は、いわゆるリフォーカス可能範囲ではなく、ずらしたピント位置からリフォーカスにより被写体にピントを合わせることが可能であるずらし量を示している。ピント位置をずらせる量は｜ｓ´_ｒｅｆ±（ｓ）−ｓ´（ｓ）｜と表現することができる。ｓ´_ｒｅｆ±（ｓ）は、被写体に対応する像距離ｓ´（ｓ）をリフォーカス可能範囲に含む最も離れた至近側／無限側それぞれの方向にずらした時の像距離を示しており、リフォーカス係数α_±を用いて以下の式（２）のように与えてもよい。

リフォーカスによりピント位置をずらせる量は、無限側領域においてもゼロには漸近せず、一定の幅を持ち、至近側領域で増加する。なお、被写体側でのリフォーカス可能範囲は、図９（ａ）に示す被写体距離と像距離の関係から、至近側で狭く、無限側で広くなる。

本発明におけるピント位置のずらし量は、ずらしたい量ｄｓ´３とずらせる量ｄｓ´４との大小関係において設定する。以下、図６の処理フローチャートに沿ってこのずらし量の設定を含む目標ピント位置の決定について説明する。

図６は本発明のレンズの目標ピント位置の決定を行うフローチャートである。図６に示す処理はカメラシステム制御部５において行われる。

ステップＳ６１において、カメラシステム制御部５は、フォーカスレンズ４のバックラッシュ量を取得する。このバックラッシュ量はカメラ１内のメモリ部８が値を持っていてもよいし、レンズシステム制御部１２が値を持っていてもよい。

ステップＳ６２において、カメラシステム制御部５は、被写体の移動情報として移動方向および移動速度を取得する。これらの値は、動体追従中に取得される経時の被写体距離から、被写体移動方向算出部、被写体移動速度算出部により算出される。

ステップＳ６３において、カメラシステム制御部５は、レンズのバックラッシュ量および被写体移動速度から、前述したようにバックラッシュによる遅れを補うピント位置ずらし量ｄｓ´３を取得する。また、ステップ２にて取得した被写体移動方向と逆方向にずらし方向を設定する。

ステップＳ６４において、カメラシステム制御部５は、被写体距離の取得を行う。

続いてステップＳ６５において、カメラシステム制御部５は、被写体距離を用いてリフォーカスによりピント位置をずらせる量ｄｓ´４を取得する。リフォーカスによりピント位置をずらせる量も、被写体距離と撮影光学系３の構成により決まり、同様にレンズシステム制御部１２から取得する情報に基づいてカメラシステム制御部５が参照テーブルから値を取得してもよい。また、前述の式（２）を用いて随時演算により求めてもよい。

ステップＳ６６においては２つの量の大小関係に基づいて条件分岐がなされる。

バックラッシュによる遅れを補うピント位置ずらし量ｄｓ´３がリフォーカスによりピント位置をずらせる量ｄｓ´４に安全率を乗じた量以下である場合、ステップＳ６７へと進む。

ステップＳ６７においては、バックラッシュによる遅れを補うピント位置を目標ピント位置とする。すなわち、ずらし量はｄｓ´３であり、ずらし方向は被写体移動方向と逆向きである。ここで、安全率はリフォーカスによるリフォーカス可能範囲の端の位置に、被写体に対応する本来のピント位置がくることを避けるもので、０より大きく１より小さい値とする。また、撮影光学系３の具体的な構成やレンズ駆動部の駆動特性も考慮して安全率が決定されてもよい。ステップ７にて設定される目標ピント位置において、バックラッシュによる遅れを補うことができる。

ステップＳ６６において、バックラッシュ遅れを補うピント位置ずらし量ｄｓ´３がリフォーカスによりピント位置をずらせる量ｄｓ´４に安全率を乗じた量より大きな場合、ステップＳ６８へと進む。

ステップＳ６８において、ピント位置をずらせる量ｄｓ´４に前記安全率を乗じた範囲内で、バックラッシュ遅れを補う位置側に目標ピント位置をずらして設定する。ステップ８にて設定される目標ピント位置においても従来に比してバックラッシュ遅れを補うことができる。

本実施例によれば、レンズの目標ピント位置を以上の手順で設定することで、バックラッシュによる遅れに起因するピント外れの画像取得の割合を低減できる。
実施例の変形例
次に、上述した実施例の変形例を、図７および８を用いて説明する。本変形例は、バックファッシュによる動体追従遅れと被写体の移動速度の速さにより、被写体がリフォーカス可能範囲から外れそうになってリフォーカス画像の再構成によるピント調整が不十分となることを補うための構成を提供する。

図７は、絞りと角度成分のサンプリングピッチの関係を説明するための図である。同図は、図の左側に示すように、分割される瞳領域が２×２の場合の絞りと角度成分のサンプリングピッチの関係の例を示し、射出瞳面で瞳がどのように分割されるかを示している。

今、射出瞳の絞りであるレンズ絞りが状態７０から７１へと絞られた場合を考える。この時、分割された瞳の間隔である角度成分のサンプリングピッチはΔｕ_７０からΔｕ_７１へと縮小される。この時、式（１）にて示した関係に従うと、角度成分のサンプリングピッチΔｕの縮小に伴いリフォーカス可能範囲は拡大する。つまり、上記した瞳分割構成において、レンズ絞りを絞り込むことでリフォーカス可能範囲を拡大することができる。本発明において、図４（ａ）にて示した、被写体がリフォーカス可能範囲の外側へと外れいってしまう状況において、リフォーカス可能範囲の拡大ができれば動体追従時のピント外れ画像取得の割合をより軽減することができる。そのため、被写体がリフォーカス可能範囲から外れる間際にレンズ絞りを絞り込んで、リフォーカス可能範囲を拡大してもよい。従って、本変形例におけるレンズの目標位置の決定動作は第１の実施例と同様である。本変形例の動作は、決定されたレンズの目標位置に従ってレンズを駆動して撮影を行っているときに被写体がリフォーカス可能範囲から外れるかどうかの判断に基づいて行う。

被写体がリフォーカス可能範囲から外れるかどうかの判定は、測距部による測距結果と現在のレンズ位置での被写体側リフォーカス可能範囲から行うことができる。例えば、現在のレンズ位置での被写体側リフォーカス可能範囲に１以下の安全率を乗じた被写体側リフォーカス可能範囲内に、測距結果が含まれるかどうかで判定を行うことができる。これらの処理は前述したピント制御判定部であるところのカメラシステム制御部５においてなされる。従って、撮像装置の構成も第１の実施例と同様である。

図８は、被写体がリフォーカス可能範囲から外れる間際にレンズ絞りを絞り込んだ場合に取得される画像説明するための図である。８０ａ、８０ｂ、８０ｃ、８０ｄは、時間軸に沿って撮影された画像に対して、撮影後のリフォーカスの再構成処理で主被写体８１にピントを合わせるように再構成された画像を示している。８１ａ、８１ｂ、８１ｃ、８１ｄは、至近側へと移動中に無限側に反転する主被写体８１を示している。８２ａ、８２ｂ、８２ｃ、８３ｄは、それぞれの画像における背景８２を示している。図中に示す斜線は、画像がピントから外れてぼけている程度を模式的に示しており、斜線の間隔が狭いほどよりぼけていることを示している。

また、再構成画像８０ｃは、至近から無限へと反転する主被写体８１に対して、バックラッシュによりレンズ駆動が追い付かずリフォーカス可能範囲から外れそうなため、レンズ絞りを絞り込んだ画像を示している。即ち、レンズ絞りが、カメラシステム制御部５が設定した絞り状態もしくはユーザーが設定した絞り状態から絞り込まれている。再構成画像８０ｄは、バックラッシュがなくなり、レンズの駆動が再開されて主被写体８１がリフォーカス可能範囲内に戻ったため、レンズ絞りを戻した状態を示している。

今、時間軸に沿って主被写体８１と背景８２のボケ状態に着目する。再構成画像８０ａ、８０ｂにおいては、レンズ駆動およびリフォーカス処理により主被写体４１にピントが合っている。再構成画像８０ｃにおいて、レンズ駆動が追い付かなくなりリフォーカス処理ができなくなるが、レンズ絞りが絞り込まれるためリフォーカス可能範囲が拡大される。これにより主被写体４１へのリフォーカス処理が可能となり、主被写体８１にピントの合った再構成画像の生成が可能となる。そして、再構成画像８０ｄにおいてレンズ駆動が主被写体８１に追いつくため、主被写体８１は再び本来の絞り設定値でのリフォーカス可能範囲内に戻る。そのため、レンズ絞りは本来の設定のより開いた状態へ戻され、その状態でリフォーカス処理により、主被写体８１にピントの合った画像の生成が可能となる。以上のように、時間軸に沿って再構成画像８０を見たときに、主被写体８１のピント状態は常に合焦しており変化しない。

次に背景８２へと着目する。背景８２のピント状態は再構成画像８０ａ、８０ｂでぼけた状態にある。そして、再構成画像８０ｃでレンズ絞りが絞りこまれることで再構成画像８０ａ、８０ｂでの状態に比してぼけ方の弱いものとなる。そして、再構成画像８０ｄにおいて、レンズ絞りが再構成画像８０ａ、８０ｂでの絞り値に戻されるため、背景８２のボケ状態も再構成画像８０ａ、８０ｂの状態に戻る。時間軸に沿って背景８２のピント状態を見たときに、再構成画像８０ｃにおいてのみぼけ方が弱くなる。連続して取得した画像を動画として鑑賞する場合、レンズ絞りを絞り込む時間が十分に短い時間であれば、背景８２のボケ状態の不連続性は気にならないものとなる。一方で、同じく動画として鑑賞する場合においても、レンズ絞りを絞り込む時間が長くなる場合には背景８２のボケ状態の不連続性は違和感を与え、無視できないものとなる。また、連続して取得した静止画像を同時に出力して鑑賞するような場合においては、同様に静止画間の違和感を与え、無視できない。そのため、このような場合には、合成画像８０ｃに対して画像処理を施して、不連続性を緩和させることが望ましい。例えば、領域判別部であるところのカメラシステム制御部５において、測距部により取得した画角内位置毎の測距情報ｓ（ｘ、ｙ）に基づいて背景８２の領域を抽出し、抽出した背景８２に画像処理でぼけを付与する、などの方法を適用してもよい。

上述した本変形例によっても、リフォーカス機能を有するライトフィールドカメラにおいて、撮影時におけるピント外れ画像の撮影の割合を低減することができる。

上述したように、本発明では、従来の動体追従の方法とは違い、常に撮像面に対して主被写体８１のピント位置がずれたレンズ状態でレンズを駆動して動体追従を行う。そして、取得画像から再構成画像をリアルタイムで生成する際にリフォーカス処理を行い主被写体８１にピントを合わせる。

なお、画像処理部７の処理能力が十分になく、処理に時間がかかって処理が間に合わず、リアルタイムに表示部９に主被写体８１へとピントのあった画像を出力することができないことが考えられる。このような場合の対策としては、リアルタイムにはリフォーカス処理を行わず、分割された瞳の中央単視点のみを用いて再構成画像を生成してもよい。中央単視点のみからの再構成画像の生成は処理負荷が軽く、生成された画像の被写界深度は深くなるため、主被写体８１のピント外れを認識しづらくすることができる。これにより、表示部９の違和感を軽減することができる。

以上のように、本発明によれば、リフォーカス機能を有するライトフィールドカメラにおいて、撮影時におけるピント外れ画像の撮影の割合を低減することができる。

本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (13)

1. フォーカスレンズを含む撮影光学系と、
   前記撮影光学系で形成された被写体の光学像を撮像して、リフォーカス可能な画素データを生成する撮像手段と、
   前記被写体の距離を取得する測距手段と、
   前記取得された被写体距離に基づいて決定されるレンズ位置に従って前記フォーカスレンズを駆動するレンズ駆動手段と、
   を備えた撮像装置において、
   前記被写体距離に基づいた被写体の移動情報と前記レンズ駆動手段の駆動特性情報に基づいて、前記レンズ位置に対してリフォーカス可能な範囲内のずれ量を有する目標レンズ位置を決定し、前記レンズ駆動手段を制御して前記目標レンズ位置に従って前記フォーカスレンズを駆動させる制御手段を備えることを特徴とする撮像装置。
2. 前記被写体の移動情報は、前記被写体の移動速度および移動方向の情報であり、前記レンズ駆動手段の駆動特性情報は、前記フォーカスレンズの駆動速度およびバックラッシュ量であり、前記制御手段は、前記レンズ位置からのずれ量を有する前記目標レンズ位置を、前記被写体の移動方向に対応する前記フォーカスレンズの移動方向と逆方向に決定することを特徴とする請求項１に記載の撮像装置。
3. 前記フォーカスレンズの駆動速度およびバックラッシュ量を記憶する記憶手段を備え、前記制御手段は、前記測距手段で取得される経時の被写体距離に基づいて被写体の移動速度およびその方向を決定する被写体移動速度算出手段を有し、前記目標レンズ位置のずれ量を、前記バックラッシュ量、前記レンズ駆動手段の駆動速度、前記被写体の移動速度にもとづいて決定される量と前記リフォーカス可能な範囲の大きさに基づく閾値との比較の結果に従って決定することを特徴とする請求項２記載の撮像装置。
4. 前記撮影光学系はレンズ絞りを有し、前記撮像装置は、前記レンズ絞りを駆動する絞り駆動手段を備え、前記制御手段は、前記測距手段の測距結果とレンズ位置に対するリフォーカス可能な範囲に基づいて、前記被写体距離に対応する像距離が前記リフォーカス可能な範囲から外れるかどうかを判定するピント制御判定手段を有し、該ピント制御判定手段の判定の結果に従って前記絞り駆動手段を制御することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記制御手段は、前記被写体距離に対応する像距離がリフォーカス可能な範囲から外れると判定されたときは、前記絞り駆動手段を制御して前記レンズ絞りを絞り、その後、前記被写体距離に対応する像距離がリフォーカス可能な範囲に戻ると判定されたときは、前記レンズ絞りを元の状態に戻すことを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、前記被写体距離に基づいて主被写体と背景の領域を判別する領域判別手段を有し、前記ピント制御判定手段の判定の結果に従って前記レンズ絞りを絞ったときは、前記画像生成手段を制御して、前記主被写体と背景に対して異なる画像処理を施すことを特徴とする請求項５に記載の撮像装置。
7. 前記撮像手段で生成された画素データからリフォーカス画像を再構成する画像生成手段と、前記画像生成手段で生成されたリフォーカス画像を表示する表示手段を備え、前記制御手段は、前記画像生成手段および表示手段を制御し、前記被写体の撮影時に、前記リフォーカス画像の再構成および表示を行うことを特徴とする請求項１乃至６のいずれか一項に記載の撮像装置。
8. 前記制御手段は、前記画像生成手段および表示手段を制御し、前記被写体の撮影時に、前記リフォーカス画像の再構成に代わり、前記撮像手段で生成された画素データのうち中央単視点の画素データのみから画像を生成して表示することを特徴とする請求項７に記載の撮像装置。
9. フォーカスレンズを含む撮影光学系と、
   前記撮影光学系で形成された被写体の光学像を撮像して、リフォーカス可能な画素データを生成する撮像手段と、
   前記被写体の距離を取得する測距手段と、
   を備えた撮像装置の制御方法において、
   前記取得された被写体測距に基づいて決定されるレンズ位置に従って前記フォーカスレンズを駆動するレンズ駆動ステップと、
   前記被写体距離に基づいた被写体の移動情報と前記レンズ駆動ステップの駆動特性情報を取得し、前記取得された情報に基づいて、前記レンズ位置に対してリフォーカス可能な範囲内のずれ量を有する目標レンズ位置を決定し、前記レンズ駆動ステップを制御して前記目標レンズ位置に従って前記フォーカスレンズを駆動させる制御ステップを備えることを特徴とする制御方法。
10. 請求項９の制御方法をコンピュータに実行させるためのプログラム。
11. 請求項１０のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
12. コンピュータを、請求項１乃至８のいずれか一項に記載された撮像装置の各手段として機能させるプログラム。
13. コンピュータを、請求項１乃至８のいずれか一項に記載された撮像装置の各手段として機能させるプログラムを格納した記憶媒体。

Images