JP5588461B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、被写界深度拡張を実現する方式を採用する撮像装置において、シャッタータイムラグの短縮を実現する撮像装置及び撮像方法に関するものである。

一般的に被写界深度拡張（以下、ＥＤＯＦと称する）を実現する方式としては、主に以下の３つの方式が挙げられる。１つ目の方式は、位相板と呼ばれる光学素子を光学系に挿入することで深度方向のボケを均一化する。そして、当該方式は、得られた画像に対してあらかじめ測定されたボケパターン、もしくはシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、ＥＤＯＦ画像を生成する。この方式は、Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ（以下、ＷＦＣと称する）と称されている（非特許文献１参照）。

２つ目の方式は、絞り形状を工夫することで画像の部分領域ごとに高精度な距離測定を行う。そして、当該方式は、各部分領域に対して、あらかじめ測定しておいたそれぞれの距離に応じたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、ＥＤＯＦ画像を生成する。この方式は、Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ（以下、ＣＡと称する）と称されている（非特許文献２参照）。

３つ目の方式は、露光時間中にフォーカスレンズもしくは撮像素子を動かすことで、深度方向に一律に合焦した画像を畳み込む（つまり各深度でボケを均一化することと同義）。そして、当該方式は、得られた画像に対して、あらかじめ測定されたボケパターン、もしくはシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、ＥＤＯＦ画像を生成する。この方式は、Ｆｌｅｘｉｂｌｅ ＤＯＦ（以下、Ｆ−ＤＯＦと称する）と称されている（非特許文献３参照）。

上記の他にも、レンズの軸上色収差を利用して深度推定もしくは画像のシャープネス検知を行うと共に、画像処理により全体が鮮鋭な画像を得る方式（非特許文献４参照）、及び多重焦点レンズを使って深度方向のボケを均一化し、あらかじめ測定したボケパターン、もしくはシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う方式（非特許文献５参照）などもある。しかし、これらの方式は原理上、上記３つの方式と比べてＥＤＯＦ効果が小さいという欠点がある。

さらに、Ｆｏｃａｌ Ｓｔａｃｋと呼ばれる方式も古くから存在する。この方式は、合焦位置（フォーカス位置）の異なる複数枚の画像を撮影し、それぞれ合焦していると思われる領域をそれぞれの画像から抽出する。そして、当該方式は、抽出した画像を合成することで、ＥＤＯＦ画像を生成する。この方式の場合、多くの撮像枚数を必要とするため、撮像に比較的時間を要するという問題と、メモリ量を多く消費してしまうという問題とがある。

前述の３方式における１つ目のＷＦＣでは、様々な位相板の種類が提案されている。その中で最もＥＤＯＦ効果の得られるものとして、Ｃｕｂｉｃ Ｐｈａｓｅ Ｍａｓｋ（以下、ＣＰＭと称する）、及びＦｒｅｅ−Ｆｏｒｍ Ｐｈａｓｅ Ｍａｓｋ（以下、ＦＰＭと称する）がある。復元後の画質（アーティファクトの少なさ）の観点からＦＰＭが有力とされている（非特許文献６参照）。

しかしながら、ＷＦＣ共通の欠点として、位相板を挿入することで、レンズの光軸外の特性が悪化するという性質がある（非特許文献７参照）。具体的には、正面からの入射光と比べ、正面以外からの入射光に対して、同じだけのボケ均一効果が得られない。このため、画像復元時に軸上のボケパターンで復元処理を行うと、復元後の光軸外の画質が劣化してしまう。

前述の３方式における２つ目のＣＡは、変わった絞り形状を用いることで距離測定精度を高める。この方式そのものがもつこのような特性により、撮影された画像及び復元処理後に得られる画像の特定周波数成分が失われてしまう。つまり、この方式は、画質劣化してしまうという欠点がある。また、この方式は、一般的に絞り形状に関わらず通常の撮影方法よりも光量が減るため、暗い場所での撮影に向かない。

前述の３方式における３つ目のＦ−ＤＯＦは、この中で最も良好な画質が得られる方式であり、ＥＤＯＦ効果も高い。また、軸外特性もレンズ特性そのものに依存するため、性能を高めやすい。ただし光学的な条件として、露光中フォーカス位置を動かしても、同一被写体が同一の画像位置上に畳み込まれる必要があることから、像側テレセントリックレンズを用いる必要がある。

上記ＥＤＯＦ技術の応用先として、最も古い歴史があるのは顕微鏡用途である。本用途の場合、静物体をじっくり撮影することができることから、Ｆｏｃａｌ Ｓｔａｃｋ方式が古くから採用されてきた。ただしこの方式の場合、前述のとおり手間と時間とを要することから、Ｆ−ＤＯＦ方式のアイデアも合わせて、いくつかの文献に開示されてきている（特許文献１〜４参照）。Ｆ−ＤＯＦを顕微鏡用途で用いる方法として、露光中に被写体である試料側を動かす場合と、レンズ鏡筒を動かす場合とが開示されている。

なお、露光後の画像復元処理を前提とする場合、像のボケが常に均一になるように動かし方を制御すれば、単一のボケパターンを使った画像復元処理方法が適用できるため合理的であることが知られている（特許文献５参照）。そのためには、動かす対象が撮像素子の場合、これを等速度で動かす必要がある。またフォーカスレンズを動かす場合も、撮像面が等速度で動くのに相当するフォーカス変位を行う必要がある（非特許文献３参照）。動かすパターンとしては、奥側合焦端位置から手前側合焦端位置まで、またはその逆でもよいことが知られている。

ＥＤＯＦ技術のその他の応用先として、近年、携帯電話などに搭載されるカメラが挙げられる。ＥＤＯＦ技術を当該カメラに用いることで、当該カメラの小型化を実現できる。すなわち、ＥＤＯＦ効果により、オートフォーカス機構を持つことなく、全焦点画像（すべての被写体に焦点が合っている画像）を得ることができる。

本応用先の観点からは、上記方式のうちＦ−ＤＯＦそのものはフォーカスレンズもしくは撮像素子を動かす機構が必要になるので採用されておらず、ＷＦＣ又は軸上色収差を使った方式などが採用されている。

さらにもう１つの応用先としては、通常のデジタルスチルカメラが考えられる。デジタルスチルカメラの近年のトレンドとして、より簡単にかつ失敗の少ない撮影が求められている。ＥＤＯＦ技術は全焦点画像、すなわち、合焦ミスからの開放という効果が期待できる。

本応用先で要求されるのは、高画質であること、ＥＤＯＦ効果の大きさ、ＥＤＯＦ範囲の任意変更が可能なこと、通常のオートフォーカス機構を応用することで実現可能なこと（特別な光学系を用意しなくてすむこと）、ＥＤＯＦ撮影と通常撮影との切り替えが容易なこと等であるから、上記方式のうち最も優れているのはＦ−ＤＯＦである。

西独国特許第２３０１８００号明細書（ドイツ特許：出願１９７３／１／１５） 特公平５−２７０８４号公報 特許第３１９１９２８号公報 米国特許出願公開第２００８／００１３９４１号明細書 特許第３０８４１３０号公報

E.R.Dowski and W.T.Cathey, "Extended depth of field through wave-front coding", Applied Optics, Vol.34, No.11, P.1859-1866 (1995) A.Levin, R.Fergus, F.Durandand W.T.Freeman, "Image and Depth from a Conventional Camera with a Coded Aperture", ACM Transactions on Graphics, Vol.26, No.3, Article 70, 70-1 - 70-9 (2007) H.Nagahara, S.Kuthirummal, C.Zhouand S.Nayar, "Flexible Depth of Field Photography", European Conference on Computer Vision (ECCV), Oct.16th, Morning Session 2: Computational Photography (2008) C.Tisse, H.P.Nguyen, R.Tesieres, M.Pyanet and F.Guichard, "Extended Depth-of-field (EDOF) using sharpness transport across colourchannels", Optical Engineering + Applications, Part of SPIE Optics + Photonics, Session 1-- Imaging in the Optical Design Process: Depth of Field (2008) W.Chi and N.George, "Computational imaging with the logarithmic asphere: theory", Optical Society of America, Vol.20, No.12, December (2003) Y.Takahashi and S.Komatsu, "Optimized free-form phase mask for extension of depth of field in wavefront-coded imaging", Optical Society of America, Optics Letters, Vol.33, No.13, July 1, (2008) 高橋康久, 尾花亮, 小松進一, 「ウェイブフロント・コーディング用最適化位相板―軸外の被写界深度拡張効果―」, Optics & Photonics Japan 2007（日本光学会年次学術講演会）, 予稿集，P.464-465(27pC2), (2007)

このように、デジタルスチルカメラ用途としては、様々なＥＤＯＦ方式がある中で、Ｆ−ＤＯＦ方式が有力である。そこで、Ｆ−ＤＯＦを実現するのに必要な構成を、図１３及び図１４を用いて説明する。

まず、図１３は、露光時間中にフォーカスレンズを変位させる撮像装置５００の構成を示すブロック図である。図１３に示される撮像装置５００は、撮像素子１と、レンズ２と、フォーカスレンズ２０と、シャッター３と、フォーカスレンズ変位制御部４と、シャッター開閉指示部５と、レリーズ受付部６と、フォーカスレンズ初期位置検出部７と、露光時間決定部８と、フォーカスレンズ位置初期化部１８と、露光・フォーカス変位同期管理部１０と、画像復元処理部１１と、ＰＳＦ記憶部１２と、撮像データ記録部１３とを備える。

図１３に示される撮像装置５００において、レリーズ受付部６がユーザから露光開始指示を受け付けると、フォーカスレンズ初期位置検出部７は、フォーカスレンズ２０のそのときの位置（初期位置）を検出する。そして、フォーカスレンズ変位制御部４は、合焦位置が所定の合焦範囲の端位置、例えば図１５に示されるように最近端に移動するように、フォーカスレンズ２０を移動させる。ここで所定の合焦範囲のうち、撮像装置５００を基準として、最も撮像装置５００に近い位置を最近端、最も撮像装置５００から遠い位置を最遠端とする。

次に、露光・フォーカス変位同期管理部１０は、シャッター開閉指示部５にシャッター３の開閉を指示するのと同時に、フォーカスレンズ変位制御部４にフォーカスレンズ２０を最近端から最遠端に向かって移動させるように指示する。そして、フォーカスレンズ変位制御部４は、図１５に示されるように、露光終了と同時に合焦位置が最遠端に到達するように、フォーカスレンズ２０を移動させる。

図１４は、露光時間中に撮像素子１を変位させる撮像装置６００の構成を示すブロック図である。図１４に示される撮像装置６００は、前述のフォーカスレンズ２０を変位させる撮像装置５００のフォーカスレンズ変位制御部４、フォーカスレンズ初期位置検出部７、露光・フォーカス変位同期管理部１０、及びフォーカスレンズ位置初期化部１８に代えて、撮像素子初期位置検出部１４、露光・撮像素子変位同期管理部１６、撮像素子変位制御部１７、及び撮像素子位置初期化部１９を備える。

すなわち、図１４に示される撮像装置６００は、合焦位置を変位させるために撮像素子１を移動させる点で、フォーカスレンズ２０を移動させる図１３に示される撮像装置５００と相違する。その他の構成及び動作は、図１３に示される撮像装置５００と共通するので、対応する構成要素には同一の符号を付し、詳しい説明は省略する。また、図示は省略するが、撮像装置６００は、フォーカスレンズ２０を含むレンズ２をも備えている。

すなわち、Ｆ−ＤＯＦ方式を採用する撮像装置５００、６００は、シャッターボタンが押下されてから実際に露光が開始されるまでの間に、フォーカスレンズ２０又は撮像素子の位置を初期化する必要がある。このように、シャッタータイムラグの縮小の観点からは、その他のＥＤＯＦ方式と比べて、Ｆ−ＤＯＦは著しく不利であった。シャッタータイムラグとは、図１６に示すように、ユーザが露光開始を指示（すなわち、シャッターボタンを押下）してから、実際に露光が開始されるまでに要する時間のことである。

シャッタータイムラグ内訳は、オートフォーカス機構を有するカメラではその合焦に要する時間と、その他各種処理に要する時間（レリーズタイムラグと称される）との和である。また、レリーズタイムラグの内訳は、一眼レフカメラなどミラーが存在するカメラの場合はその跳ね上がりに要する時間、また決められた露出に従って絞り羽根を絞る動作に要する時間などが挙げられる。なお、シャッタータイムラグは、通常１００ミリ秒〜数秒要するのに対し、レリーズタイムラグは１０〜１３０ミリ秒程度であって、圧倒的にオートフォーカスに要する時間のほうが大きい。

Ｆ−ＤＯＦ以外の方式（例えばＷＦＣやＣＡなど）の場合は、全焦点画像を得るのにオートフォーカス機構そのものが不要のため、合焦に要する時間を省略することができる。その結果、シャッタータイムラグを大幅に小さくできる。これに対してＦ−ＤＯＦを採用した撮像装置５００、６００の場合は、前述のとおり全焦点画像の撮影、通常のオートフォーカス撮影、及びマニュアルフォーカス撮影を行うことができる。その反面、露光中に、フォーカスレンズ２０もしくは撮像素子１を、奥側合焦端位置から手前側合焦端位置まで、またはその逆の方向に動かす必要がある。このため、露光開始前にフォーカスレンズ２０もしくは撮像素子１を初期位置、すなわち奥側合焦端位置もしくは手前側合焦端位置まで動かす必要がある。

例えば、直前まで通常のオートフォーカス、もしくはマニュアルフォーカス撮影をしていて、あるフォーカス位置に焦点が合っている状態だったとする。その後、全焦点画像を撮影したい場合、上記のようにフォーカスレンズの初期化が必要なため、すぐに露光を開始できない。

一般的に、ユーザにとってＥＤＯＦ技術は、全焦点画像の撮影による合焦ミスからの開放という価値を提供してくれるだけでなく、シャッタータイムラグの大幅な縮小、すなわち撮りたいと思った瞬間にすぐシャッターが切れるという利点の提供も、大きな価値の１つとなりうることは容易に推測される。しかしながら、Ｆ−ＤＯＦ方式の場合、従来の構成では上記のような手順で処理を行うことから、後者の利点が得られないという課題を有していた。

なお、本課題は、従来の顕微鏡用途や携帯電話向け小型カメラ（オートフォーカス機構なし）には存在せず、デジタルスチルカメラ、またはこの構成に準じるカメラならではの課題である。

本発明は、上記従来の課題を解決するもので、Ｆ−ＤＯＦにおいても、シャッタータイムラグの小さい撮像装置及び撮像方法を提供することを目的とする。

本発明の一形態に係る撮像装置は、撮像素子と、前記撮像素子上に光を集光して、像を結像させるレンズと、ユーザから露光開始の指示を受け付けた時点における合焦位置である初期合焦位置を特定するための撮像素子とレンズとの位置関係を検出する初期合焦位置検出部と、露光時間中における合焦位置が、前記初期合焦位置検出部で検出された撮像素子とレンズとの位置関係によって特定される初期合焦位置から、予め定められた合焦範囲の最近端及び最遠端を少なくとも１回ずつ通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する変位パターン決定部と、前記変位パターン決定部で決定された変位パターンに基づいて、合焦位置を、露光開始と共に初期合焦位置から移動させ、露光終了と共に再び初期合焦位置に到達させるように、前記撮像素子及び前記レンズの一方を移動させる変位制御部とを備える。

上記構成によれば、Ｆ−ＤＯＦ方式においても合焦位置の初期化に時間を要することがないため、シャッタータイムラグの大幅な縮小を実現できる。なお、最近端及び最遠端の通過順序は、どちらが先でも構わない。また、最近端及び最遠端の通過回数は、１回ずつに限定されず、複数回であってもよい。但し、最近端及び最遠端の通過回数は、一致していることが望ましい。

さらに、該撮像装置は、撮像シーンに応じて露光時間を決定する露光時間決定部を備えてもよい。そして、前記変位パターン決定部は、露光時間中における前記変位パターンを何回実行させるかを示す往復回数を、前記露光時間決定部で決定された露光時間が長い程、増加させてもよい。これにより、露光時間が変わっても撮像素子又はレンズの変位速度が実質的に同一になるので、モータ等の駆動装置の負担が小さくなる。

一例として、前記変位パターン決定部は、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最近端、合焦範囲の最遠端の順に通って、再度初期合焦位置に戻るように、合焦位置の変位パターンを決定してもよい。

他の例として、前記変位パターン決定部は、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最遠端、合焦範囲の最近端の順に通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定してもよい。

上記の各構成によれば、最近端から最遠端の間で一定の露光量を保証することが可能となり、Ｆ−ＤＯＦによるＥＤＯＦ効果を持たせつつ、シャッタータイムラグの大幅な縮小を実現できる。

一例として、前記変位制御部は、前記レンズを移動させることによって合焦位置を変位させてもよい。他の例として、前記変位制御部は、前記撮像素子を移動させることによって合焦位置を変位させてもよい。

このように、合焦位置を変化させる具体的な手法の例として、レンズを移動させる手法と、撮像素子を移動させる手法とが考えられる。ここで、オートフォーカス機能を有する撮像装置においては、レンズを移動させる手法を採用することにより、レンズを移動させる機構をオートフォーカスと共有できる。

さらに、該撮像装置は、復元用ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を予め記憶しておくＰＳＦ記憶部と、前記撮像素子により生成された撮像データに対して、前記復元用ＰＳＦを用いて画像復元処理を行う画像復元処理部と、前記画像復元処理部で復元された復元画像を記録する撮像データ記録部とを備えてもよい。

本発明の一形態に係る撮像方法は、撮像素子と、前記撮像素子上に光を集光して、像を結像させるレンズとを備える撮像装置が画像を撮像する方法である。具体的には、ユーザから露光開始の指示を受け付けた時点における合焦位置である初期合焦位置を特定するための前記撮像素子と前記レンズとの位置関係を検出する初期合焦位置検出ステップと、露光時間中における合焦位置が、前記初期合焦位置検出ステップで検出された前記撮像素子と前記レンズとの位置関係によって特定される初期合焦位置から、予め定められた合焦範囲の最近端及び最遠端を少なくとも１回ずつ通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する変位パターン決定ステップと、前記変位パターン決定ステップで決定された変位パターンに基づいて、合焦位置を、露光開始と共に初期合焦位置から移動させ、露光終了と共に再び初期合焦位置に到達させるように、前記撮像素子及び前記レンズの一方を移動させる変位制御ステップとを含む。

なお、本発明は、撮像装置及び撮像方法として実現できるだけでなく、撮像方法に含まれるステップをコンピュータに実行させるプログラムとして実現することもできるし、撮像装置の機能の一部を実現する半導体集積回路（ＬＳＩ）として実現できる。そして、プログラムは、ＣＤ−ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができる。

本発明によれば、撮像素子もしくはフォーカスレンズの露光中の変位方法を工夫することで、Ｆ−ＤＯＦ方式におけるシャッタータイムラグの大幅な縮小を実現する。

図１は、本発明の実施の形態１に係る撮像装置の概略構成を示すブロック図である。 図２は、図１の撮像装置の動作を示すフローチャートである。 図３は、本発明の実施の形態１に係る撮像装置の詳細構成を示すブロック図である。 図４は、本発明の実施の形態１に係る撮像装置の詳細構成を示すブロック図である。 図５は、被写体距離ｕと像面側距離ｖとの位置関係を定義した図である。 図６は、被写体距離ｕと像面側距離ｖとの関係の一例を示したグラフである。 図７は、フォーカスレンズもしくは撮像素子の変位パターンの一例を示した図である。 図８は、フォーカスレンズもしくは撮像素子の変位パターンの一例を示した図である。 図９は、フォーカスレンズもしくは撮像素子の変位パターンの一例を示した図である。 図１０は、フォーカスレンズもしくは撮像素子の変位パターンの一例を示した図である。 図１１は、本発明の実施の形態２に係る撮像装置の詳細構成を示すブロック図である。 図１２は、本発明の実施の形態２に係る撮像装置の詳細構成を示すブロック図である。 図１３は、従来の撮像装置のブロック図である。 図１４は、従来の撮像装置のブロック図である。 図１５は、従来のフォーカスレンズもしくは撮像素子変位パターンの一例を示した図である。 図１６は、シャッタータイムラグ及びレリーズタイムラグの関係を説明した図である。

以下、本発明の各実施の形態について図面を参照しながら説明する。

（実施の形態１）
本発明の実施の形態１における撮像装置について、図１〜１０を参照しながら説明する。

まず、図１及び図２を参照して、本発明の実施の形態１に係る撮像装置１０００の構成及び動作を説明する。なお、図１は、撮像装置１０００の概略構成を示すブロック図である。図２は、撮像装置１０００の動作を示すフローチャートである。撮像装置１０００は、図１に示されるように、撮像素子１１０と、レンズ１２０と、初期合焦位置検出部１３０と、変位パターン決定部１４０と、変位制御部１５０とを備える。

撮像素子１１０は、結像した画像を電気信号に変換して出力する。撮像素子１１０の具体例は特に限定されないが、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）、又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）等を採用することができる。

レンズ１２０は、撮像素子１１０上に光を集光して、像を結像させる。レンズ１２０は、例えば、フォーカスレンズを含む複数のレンズで構成される。

初期合焦位置検出部１３０は、ユーザから露光開始の指示を受け付けた時点における撮像装置１０００の合焦位置（「フォーカス位置」とも言う。以下同じ。）である初期合焦位置（「フォーカス初期位置」とも言う。以下同じ。）を検出する（Ｓ１１）。なお、合焦位置は、撮像素子１１０とレンズ１２０と位置関係（より具体的には、距離）によって定まる。すなわち、初期合焦位置検出部１３０は、実際には、初期合焦位置を特定するための撮像素子１１０とレンズ１２０との位置関係を検出する。

変位パターン決定部１４０は、露光時間中における合焦位置が、初期合焦位置検出部１３０で検出された撮像素子１１０とレンズ１２０との位置関係によって特定される初期合焦位置から、予め定められた合焦範囲の最近端及び最遠端を少なくとも１回ずつ通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する（Ｓ１２）。

なお、ここで決定される変位パターンは、合焦範囲の最近端及び最遠端のどちらを先に通過するものであってもよい。すなわち、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最近端、合焦範囲の最遠端の順に通って、再度初期合焦位置に戻るような変位パターンであってもよい。または、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最遠端、合焦範囲の最近端の順に通って、再び初期合焦位置に戻るような変位パターンであってもよい。

さらに、変位パターン決定部１４０は、露光時間中に変位パターンを何回実行させるかを示す往復回数を決定する。そして、変位パターン決定部１４０は、後述する露光時間決定部で決定された露光時間が長い程、この往復回数を増加させる。例えば、露光時間が１０ｍｓの時に往復回数を１回とした場合、露光時間が２０ｍｓの時には往復回数を２回にする。これにより、露光時間が変わっても撮像素子１１０又はレンズ１２０の変位速度が実質的に同一になるので、モータ等の駆動装置の負担が小さくなる。

変位制御部１５０は、変位パターン決定部１４０で決定された変位パターンに基づいて合焦位置を変化させるために、撮像素子１１０及びレンズ１２０の一方を移動させることによって、両者の間の距離（相対位置）を変化させる（Ｓ１３）。具体的には、変位制御部１５０は、露光開始と共に（同時に）合焦位置を初期合焦位置から移動させ、露光終了と共に（同時に）合焦位置が再び初期合焦位置に到達するように、撮像素子１１０及びレンズ１２０の一方を移動させる。

なお、「露光開始（露光終了）と同時に」とは、厳密な同時性を要求するものではなく、制御信号を受信してから駆動装置が駆動するまでのタイムラグ等の誤差は許容されるものとする。また、変位制御部１５０は、撮像素子１１０を移動させることによって合焦位置を変位させてもよいし、レンズ１２０を移動させることによって合焦位置を変位させてもよい。

図３は、本実施の形態１に係る撮像装置１００の詳細構成を示す図である。図３に示される撮像装置１００は、撮像素子１と、レンズ２と、フォーカスレンズ２０と、シャッター３と、フォーカスレンズ変位制御部４と、シャッター開閉指示部５と、レリーズ受付部６と、フォーカスレンズ初期位置検出部７と、露光時間決定部８と、フォーカスレンズ変位パターン決定部９と、露光・フォーカス変位同期管理部１０と、画像復元処理部１１と、ＰＳＦ記憶部１２と、撮像データ記録部１３とを備える。

なお、図１の撮像素子１１０は図３の撮像素子１に、レンズ１２０はレンズ２に、初期合焦位置検出部１３０はフォーカスレンズ初期位置検出部７に、変位パターン決定部１４０はフォーカスレンズ変位パターン決定部９に、変位制御部１５０はフォーカスレンズ変位制御部４に、それぞれ対応する。

図４は、本実施の形態１における撮像装置２００の詳細構成を示す図である。その構成と作用は、画像復元処理部１１及びＰＳＦ記憶部１２が省略されていることを除いて、図３に準じる。撮像装置２００は、図３に示される撮像装置１００と比較して、露光により得られた画像を直接撮像データ記録部１３へ記録するのが特徴である。これは、画像復元処理を撮像装置２００内ではなく、その後別の装置、例えばパーソナルコンピュータ、画像ビューワ、ネットワークサーバ等にて実現することを意図したものである。その他の構成は図３の撮像装置１００と共通するので、以下、撮像装置１００の構成及び動作を中心に説明する。

上記構成の撮像装置１００において、シャッター３が開状態のとき、レンズ２で撮像素子１に被写体の光学像を結像させると、結像した光学像は、撮像素子１によって電気信号に変換される。なお、通常、光学像を結像させる際に、所望の被写体に対して合焦させるため、レンズ２は、フォーカスレンズ２０とその他のレンズ群により構成される。また、フォーカスレンズ２０は、複数枚のレンズで構成されていてもよい。

レリーズ受付部６がユーザから露光開始指示を受け付けると、フォーカスレンズ初期位置検出部７は、フォーカスレンズ２０のそのときの合焦位置（初期合焦位置）を検出する。

露光時間決定部８は、シャッター速度（露光時間）及び絞り値などの撮影パラメータを決定する。露光時間は、例えば、明るいときは露光時間を短く、暗いときは露光時間を長くする等、周囲の明るさに応じて露光時間決定部８が決定してもよいし、ユーザの指示（動きの速い被写体を撮影する、又は風景を撮影する等）を受け付けて、決定してもよい。

フォーカスレンズ変位パターン決定部９は、フォーカスレンズ初期位置検出部７で検出されたフォーカスレンズ初期位置情報と、露光時間決定部８で決定された露光時間情報から、例えば図７〜図１０に示すようなフォーカス変位パターンを決定する。そして、フォーカスレンズ変位パターン決定部９は、このフォーカス変位パターンに準じるフォーカスレンズ２０の変位パターンを決定し、露光・フォーカス変位同期管理部１０にその変位パターンを通知する。

露光・フォーカス変位同期管理部１０は、その変位パターンに基づき、フォーカスレンズ変位制御部４とシャッター開閉指示部５とに対し、露光開始及び露光終了の同期管理を行う。すなわち、露光・フォーカス変位同期管理部１０は、露光開始の指示をシャッター開閉指示部５に出力するのと同時に、フォーカスレンズ変位パターン決定部９で決定された変位パターンに基づいて、露光時間内にフォーカスレンズ２０を変位させるように、フォーカスレンズ変位制御部４に指示する。

シャッター開閉指示部５は、露光開始指示が出されるとすぐに、シャッター３が開くよう制御を行う。また、所定の露光時間経過後、露光・フォーカス変位同期管理部１０は、シャッター開閉指示部５へ露光終了を指示する。シャッター開閉指示部５は、露光終了指示が出されるとすぐに、シャッター３が閉まるよう制御を行う。また、フォーカスレンズ変位制御部４は、フォーカスレンズ変位パターン決定部９で決定された変位パターンに基づいて、合焦位置を、露光開始と共にフォーカス初期位置から移動させ、露光終了と共に再びフォーカス初期位置に到達させるように、フォーカスレンズ２０を移動させる。

上記手順にて撮像素子１上に被写体の光学像を結像させると、結像した光学像は、撮像素子１によって電気信号（画像信号）に変換され、画像復元処理部１１へ画像信号が移される。同時に、露光・フォーカス変位同期管理部１０から画像復元処理部１１へ、露光が終了したこととＦ−ＤＯＦによるフォーカス変位方式の撮影が行われたこととが通知される。

画像復元処理部１１は、画像信号を受領後、ＰＳＦ記憶部１２から復元のためのＰＳＦデータを読み出し、画像復元処理を行う。具体的には、フォーカス変位によるボケパターンを予め測定もしくはシミュレーションで求めておき、これをＰＳＦデータとしてＰＳＦ記憶部１２は保持しておく。また、画像復元の方法は、Ｗｉｅｎｅｒ Ｆｉｌｔｅｒ、Ｌｕｃｙ−Ｒｉｃｈａｒｄｓｏｎなどの様々な手法が知られているが、どの手法を用いてもよい。そして、画像復元処理部１１は、復元した画像信号を撮像データとして撮像データ記録部１３に記録する。

図５に示すように、被写体とレンズ２との間の距離を被写体距離ｕ、レンズ２と撮像素子１との間の距離を像面側距離ｖとし、焦点距離をｆとすると、一般的にレンズの公式より、式１の関係が成立する。

また、レンズが複数枚存在するときは、レンズ主点位置で考慮する。一例として、ｆが１８［ｍｍ］のときの被写体距離ｕと像面側距離ｖとの関係を図６に示す。フォーカスレンズ２０が変位することで、レンズ主点と撮像素子との間の距離である像面側距離ｖが変位する。ここで、撮像素子面で等速にフォーカス位置が変位するよう、フォーカスレンズ２０に対して変位制御指示するとは、この像面側距離ｖの変化速度が一定であることを意味する。

なお、図６に示すように、像面側距離ｖが等速度で変位しても、被写体側の焦点面とレンズ主点との間の距離である被写体距離ｕが等速度で変位するわけではない。また、図７〜図１０の縦軸は像面側距離ｖである。このため、露光時間と被写体距離ｕとの関係は、露光時間と像面側距離ｖとの関係に対して、大小が逆の関係になることに注意が必要である。

すなわち、被写体距離ｕ側での最近端及び最遠端は、像面側では大小が入れ替わって、最遠端及び最近端になることになる。

図７は、フォーカス初期位置から被写体側でいう最近端へフォーカス位置を変位させ、最近端に到達した後、ただちに折り返して最遠端へと変位させる。最遠端へ到達したあと、再度ただちに折り返して、フォーカス初期位置まで変位させる。変位時の速度は原則一定の速度とし、露光時間決定部８にて定められた露光時間で１往復するように、この変位速度を定めるものとする。

原則一定の速度とするのは、一律の復元用ＰＳＦで画像復元処理を行うためには、被写体距離方向に対して均一なボケとなるようにすることが必要だからである。均一なボケを得るためには、像面側の変位を一定にし、最近端から最遠端までの露光量を一定にする必要がある。

図８は、図７の変位パターンを露光時間内に３往復させる場合を示している。このように、整数回往復させても、最近端から最遠端までの露光量を一定にすることができる。

図９は、図７の変位パターンとは逆向きに変位する変位パターンの例を示している。フォーカス初期位置から被写体側でいう最遠端へフォーカス位置を変位させ、最遠端に到達した後、ただちに折り返して最近端へと変位させる。最近端へ到達したあと、再度ただちに折り返して、フォーカス初期位置まで変位させる。変位時の速度は原則一定の速度とし、露光時間決定部８にて定められた露光時間で１往復するように、この変位速度を定めるものとする。このように、最近端及び最遠端の順序を逆にしても、最近端から最遠端までの露光量を一定にすることができる。

図１０は、図９の変位パターンを露光時間内に３往復させる場合を示している。このように、逆の変位パターンを整数回往復させても、最近端から最遠端までの露光量を一定にすることができる。

ただし、従来の変位パターンである図１５や本願の実施の形態１に係る変位パターンである図７〜１０のように、一定速度で変位した場合、実は最近端及び最遠端の露光量は、中心部の露光量と比較して、厳密には一定にならない。一般的なレンズのもつデフォーカスパターンを見ればわかるように、合焦位置で最も鮮明な像が得られる一方で、その前後では、その距離が大きくなるほど鮮明度が徐々に落ちていくパターンをもつことが知られている。

最近端及び最遠端では、変位を打ち切ってしまうことで、変位のなくなった側からのデフォーカスパターンによる、鮮明度の貢献が得られない。その結果、最近端及び最遠端での鮮明度は、中心部の鮮明度よりもやや落ちる。これを補償するため、最近端及び最遠端での変位速度を、中心部での変位速度と比較して落とすような制御を行ってもよい。この場合、整数回往復変位する時間が、露光時間と合うように留意する必要がある。

このような構成の撮像装置１００、２００が、上記のような制御を行うことで、Ｆ−ＤＯＦ方式の持つ、高画質性、ＥＤＯＦ効果の大きさ、ＥＤＯＦ範囲の任意設定性、ＥＤＯＦ撮影と通常撮影の切り替え容易性などを保持しつつ、シャッタータイムラグの大幅な縮小を実現することができる。

（実施の形態２）
本発明の実施の形態２における撮像装置について、図１１及び図１２を参照しながら説明する。

図１１は、本実施の形態２における撮像装置３００の詳細構成を示す図である。図１１に示される撮像装置３００は、撮像素子１と、シャッター３と、シャッター開閉指示部５と、レリーズ受付部６と、露光時間決定部８と、は画像復元処理部１１と、ＰＳＦ記憶部１２と、撮像データ記録部１３と、撮像素子初期位置検出部１４と、撮像素子変位パターン決定部１５と、露光・撮像素子変位同期管理部１６と、撮像素子変位制御部１７とを備える。

なお、図１の撮像素子１１０は図１１の撮像素子１に、レンズ１２０はレンズ２に、初期合焦位置検出部１３０は撮像素子初期位置検出部１４に、変位パターン決定部１４０は撮像素子変位パターン決定部１５に、変位制御部１５０は撮像素子変位制御部１７に、それぞれ対応する。また、図示は省略するが、撮像装置３００は、フォーカスレンズ２０を含むレンズ２をも備えている。

上記構成の撮像装置３００において、レリーズ受付部６がユーザから露光開始指示を受け付けると、撮像素子初期位置検出部１４は、撮像素子１のそのときの位置（初期位置）を検出する。

露光時間決定部８は、シャッター速度及び絞り値などの撮影パラメータを決定する。露光時間は、例えば、明るいときは露光時間を短く、暗いときは露光時間を長くする等、周囲の明るさに応じて露光時間決定部８が決定してもよいし、ユーザの指示（動きの速い被写体を撮影する、又は風景を撮影する等）を受け付けて、決定してもよい。

露光・撮像素子変位同期管理部１６は、露光開始の指示を、撮像素子変位制御部１７とシャッター開閉指示部５とに対して、露光開始及び露光終了の同期管理を行う。すなわち、露光・フォーカス変位同期管理部１０は、露光開始の指示をシャッター開閉指示部５に出力するのと同時に、撮像素子変位パターン決定部１５で決定された変位パターンに基づいて、露光時間内に撮像素子１を変位させるように、撮像素子変位制御部１７に指示する。

なお、撮像素子１の変位速度は等速とする。シャッター開閉指示部５は、露光開始指示が出されるとすぐに、シャッター３が開くよう制御を行う。また、所定の露光時間経過後、露光・撮像素子変位同期管理部１６は、シャッター開閉指示部５へ露光終了を指示する。シャッター開閉指示部５は、露光終了指示が出されるとすぐに、シャッター３が閉まるよう制御を行う。また、撮像素子変位制御部１７は、撮像素子変位パターン決定部１５で決定された変位パターンに基づいて、合焦位置を、露光開始と共にフォーカス初期位置から移動させ、露光終了と共に再びフォーカス初期位置に到達させるように、撮像素子１を移動させる。

上記手順にて撮像素子１に被写体の光学像を結像させると、結像した光学像は、撮像素子１によって電気信号（画像信号）に変換され、画像復元処理部１１へ画像信号が移される。同時に、露光・撮像素子変位同期管理部１６から画像復元処理部１１へ、露光が終了したこととＦ−ＤＯＦによる撮像素子変位方式の撮影が行われたこととが通知される。これ以外の構成は、図３のフォーカスレンズ２０を変位させる場合に準じる。

図１２は、本実施の形態２における撮像装置４００の詳細構成を示す図である。撮像装置４００の構成と作用は、画像復元処理部１１及びＰＳＦ記憶部１２が省略されていることを除いて、図１１に準じる。撮像装置４００は、図１１に示される撮像装置３００と比較して、露光により得られた画像を直接撮像データ記録部１３へ記録するのが特徴である。これは、画像復元処理を撮像装置４００内ではなく、その後別の装置、例えばパーソナルコンピュータ、画像ビューワ、ネットワークサーバ等にて実現することを意図したものである。

撮像素子変位パターン決定部１５は、撮像素子初期位置検出部１４で検出された撮像素子初期位置情報と、露光時間決定部８で決定された露光時間情報とから、例えば、図７〜１０に示すようなフォーカス変位パターンを決定する。そして、撮像素子変位パターン決定部１５は、このフォーカス変位パターンに準じる撮像素子１の変位パターンを決定し、露光・フォーカス変位同期管理部１０へその変位パターンを通知する。

なお、撮像素子１を変位させる場合、図５から明らかなように、レンズ２の位置を変位させなければ、フォーカス変位パターンは撮像素子１自身の変位パターンそのものとなる。露光・撮像素子変位同期管理部１６は、その変位パターンに基づき、撮像素子変位制御部１７とシャッター開閉指示部５とに対し、露光開始及び露光終了の同期管理を行う。

撮像素子１の変位パターンについては、実施の形態１に示した図７〜図１０のパターンに準じる。撮像素子１そのものが変位する構成が実施の形態１との差異であり、変位パターンについては共通である。

このような構成の撮像装置３００、４００が、上記のような制御を行うことで、Ｆ−ＤＯＦ方式の持つ、高画質性、ＥＤＯＦ効果の大きさ、ＥＤＯＦ範囲の任意設定性、ＥＤＯＦ撮影と通常撮影の切り替え容易性などを保持しつつ、シャッタータイムラグの大幅な縮小を実現することができる。

以上、本発明の実施の形態に係る撮像装置について説明したが、本発明は、この実施の形態に限定されるものではない。

また、上記実施の形態に係る撮像装置に含まれる複数の処理部のうち少なくとも一部は集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

また、本発明の実施の形態に係る撮像装置の機能の一部を、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。

さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記実施の形態に係る、撮像装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。

また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。

更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。

本発明にかかる撮像装置および撮像方法は、撮像素子もしくはフォーカスレンズの露光中の動かし方を工夫することで、Ｆ−ＤＯＦ方式の欠点である、シャッタータイムラグの大幅な縮小を実現できる。

これらの構成は、例えば民生用もしくは業務用撮像装置（デジタルスチルカメラ）などの分野において有用である。

１，１１０ 撮像素子
２，１２０ レンズ
２０ フォーカスレンズ
３ シャッター
４ フォーカスレンズ変位制御部
５ シャッター開閉指示部
６ レリーズ受付部
７ フォーカスレンズ初期位置検出部
８ 露光時間決定部
９ フォーカスレンズ変位パターン決定部
１０ 露光・フォーカス変位同期管理部
１１ 画像復元処理部
１２ ＰＳＦ記憶部
１３ 撮像データ記録部
１４ 撮像素子初期位置検出部
１５ 撮像素子変位パターン決定部
１６ 露光・撮像素子変位同期管理部
１７ 撮像素子変位制御部
１８ フォーカスレンズ位置初期化部
１９ 撮像素子位置初期化部
１００，２００，３００，４００，５００，６００，１０００ 撮像装置
１３０ 初期合焦位置検出部
１４０ 変位パターン決定部
１５０ 変位制御部

Claims (7)

1. 被写界深度拡張を行うための画像を撮像する撮像装置であって、
   撮像素子と、
   前記撮像素子上に光を集光して、像を結像させるレンズと、
   ユーザから露光開始の指示を受け付けた時点における合焦位置である初期合焦位置を特定するための前記撮像素子と前記レンズとの位置関係を検出する初期合焦位置検出部と、
   露光時間中における合焦位置が、前記初期合焦位置検出部で検出された前記撮像素子と前記レンズとの位置関係によって特定される初期合焦位置から、予め定められた合焦範囲の最近端及び最遠端を少なくとも１回ずつ通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する変位パターン決定部と、
   前記変位パターン決定部で決定された変位パターンに基づいて、合焦位置を、露光開始と共に初期合焦位置から移動させ、露光終了と共に再び初期合焦位置に到達させ、かつ、露光期間中に像面側距離を等速に変位させるように、前記撮像素子及び前記レンズの一方を移動させる変位制御部と、
   復元用ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を予め記憶しておくＰＳＦ記憶部と、
   前記撮像素子により生成された撮像データに対して、前記復元用ＰＳＦを用いて画像復元処理を行う画像復元処理部と、
   前記画像復元処理部で復元された復元画像を記録する撮像データ記録部とを備える
   撮像装置。
2. 該撮像装置は、さらに、撮像シーンに応じて露光時間を決定する露光時間決定部を備え、
   前記変位パターン決定部は、露光時間中における前記変位パターンを何回実行させるかを示す往復回数を、前記露光時間決定部で決定された露光時間が長い程、増加させる
   請求項１に記載の撮像装置。
3. 前記変位パターン決定部は、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最近端、合焦範囲の最遠端の順に通って、再度初期合焦位置に戻るように、合焦位置の変位パターンを決定する
   請求項１又は２に記載の撮像装置。
4. 前記変位パターン決定部は、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最遠端、合焦範囲の最近端の順に通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する
   請求項１又は２に記載の撮像装置。
5. 前記変位制御部は、前記レンズを移動させることによって合焦位置を変位させる
   請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記変位制御部は、前記撮像素子を移動させることによって合焦位置を変位させる
   請求項１〜４のいずれか１項に記載の撮像装置。
7. 撮像素子と、前記撮像素子上に光を集光して、像を結像させるレンズとを備える撮像装置が、被写界深度拡張を行うための画像を撮像する撮像方法であって、
   ユーザから露光開始の指示を受け付けた時点における合焦位置である初期合焦位置を特定するための前記撮像素子と前記レンズとの位置関係を検出する初期合焦位置検出ステップと、
   露光時間中における合焦位置が、前記初期合焦位置検出ステップで検出された前記撮像素子と前記レンズとの位置関係によって特定される初期合焦位置から、予め定められた合焦範囲の最近端及び最遠端を少なくとも１回ずつ通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する変位パターン決定ステップと、
   前記変位パターン決定ステップで決定された変位パターンに基づいて、合焦位置を、露光開始と共に初期合焦位置から移動させ、露光終了と共に再び初期合焦位置に到達させ、かつ、露光期間中に像面側距離を等速に変位させるように、前記撮像素子及び前記レンズの一方を移動させる変位制御ステップと、
   復元用ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を予め記憶しておくＰＳＦ記憶ステップと、
   前記撮像素子により生成された撮像データに対して、前記復元用ＰＳＦを用いて画像復元処理を行う画像復元処理ステップと、
   前記画像復元処理ステップで復元された復元画像を記録する撮像データ記録ステップとを含む
   撮像方法。

Images