本発明は、被写界深度拡張を実現する方式を採用する撮像装置において、シャッタータイムラグの短縮を実現する撮像装置及び撮像方法に関するものである。
一般的に被写界深度拡張(以下、EDOFと称する)を実現する方式としては、主に以下の3つの方式が挙げられる。1つ目の方式は、位相板と呼ばれる光学素子を光学系に挿入することで深度方向のボケを均一化する。そして、当該方式は、得られた画像に対してあらかじめ測定されたボケパターン、もしくはシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、EDOF画像を生成する。この方式は、Wavefront Coding(以下、WFCと称する)と称されている(非特許文献1参照)。
2つ目の方式は、絞り形状を工夫することで画像の部分領域ごとに高精度な距離測定を行う。そして、当該方式は、各部分領域に対して、あらかじめ測定しておいたそれぞれの距離に応じたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、EDOF画像を生成する。この方式は、Coded Aperture(以下、CAと称する)と称されている(非特許文献2参照)。
3つ目の方式は、露光時間中にフォーカスレンズもしくは撮像素子を動かすことで、深度方向に一律に合焦した画像を畳み込む(つまり各深度でボケを均一化することと同義)。そして、当該方式は、得られた画像に対して、あらかじめ測定されたボケパターン、もしくはシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、EDOF画像を生成する。この方式は、Flexible DOF(以下、F−DOFと称する)と称されている(非特許文献3参照)。
上記の他にも、レンズの軸上色収差を利用して深度推定もしくは画像のシャープネス検知を行うと共に、画像処理により全体が鮮鋭な画像を得る方式(非特許文献4参照)、及び多重焦点レンズを使って深度方向のボケを均一化し、あらかじめ測定したボケパターン、もしくはシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う方式(非特許文献5参照)などもある。しかし、これらの方式は原理上、上記3つの方式と比べてEDOF効果が小さいという欠点がある。
さらに、Focal Stackと呼ばれる方式も古くから存在する。この方式は、合焦位置(フォーカス位置)の異なる複数枚の画像を撮影し、それぞれ合焦していると思われる領域をそれぞれの画像から抽出する。そして、当該方式は、抽出した画像を合成することで、EDOF画像を生成する。この方式の場合、多くの撮像枚数を必要とするため、撮像に比較的時間を要するという問題と、メモリ量を多く消費してしまうという問題とがある。
前述の3方式における1つ目のWFCでは、様々な位相板の種類が提案されている。その中で最もEDOF効果の得られるものとして、Cubic Phase Mask(以下、CPMと称する)、及びFree−Form Phase Mask(以下、FPMと称する)がある。復元後の画質(アーティファクトの少なさ)の観点からFPMが有力とされている(非特許文献6参照)。
しかしながら、WFC共通の欠点として、位相板を挿入することで、レンズの光軸外の特性が悪化するという性質がある(非特許文献7参照)。具体的には、正面からの入射光と比べ、正面以外からの入射光に対して、同じだけのボケ均一効果が得られない。このため、画像復元時に軸上のボケパターンで復元処理を行うと、復元後の光軸外の画質が劣化してしまう。
前述の3方式における2つ目のCAは、変わった絞り形状を用いることで距離測定精度を高める。この方式そのものがもつこのような特性により、撮影された画像及び復元処理後に得られる画像の特定周波数成分が失われてしまう。つまり、この方式は、画質劣化してしまうという欠点がある。また、この方式は、一般的に絞り形状に関わらず通常の撮影方法よりも光量が減るため、暗い場所での撮影に向かない。
前述の3方式における3つ目のF−DOFは、この中で最も良好な画質が得られる方式であり、EDOF効果も高い。また、軸外特性もレンズ特性そのものに依存するため、性能を高めやすい。ただし光学的な条件として、露光中フォーカス位置を動かしても、同一被写体が同一の画像位置上に畳み込まれる必要があることから、像側テレセントリックレンズを用いる必要がある。
上記EDOF技術の応用先として、最も古い歴史があるのは顕微鏡用途である。本用途の場合、静物体をじっくり撮影することができることから、Focal Stack方式が古くから採用されてきた。ただしこの方式の場合、前述のとおり手間と時間とを要することから、F−DOF方式のアイデアも合わせて、いくつかの文献に開示されてきている(特許文献1〜4参照)。F−DOFを顕微鏡用途で用いる方法として、露光中に被写体である試料側を動かす場合と、レンズ鏡筒を動かす場合とが開示されている。
なお、露光後の画像復元処理を前提とする場合、像のボケが常に均一になるように動かし方を制御すれば、単一のボケパターンを使った画像復元処理方法が適用できるため合理的であることが知られている(特許文献5参照)。そのためには、動かす対象が撮像素子の場合、これを等速度で動かす必要がある。またフォーカスレンズを動かす場合も、撮像面が等速度で動くのに相当するフォーカス変位を行う必要がある(非特許文献3参照)。動かすパターンとしては、奥側合焦端位置から手前側合焦端位置まで、またはその逆でもよいことが知られている。
EDOF技術のその他の応用先として、近年、携帯電話などに搭載されるカメラが挙げられる。EDOF技術を当該カメラに用いることで、当該カメラの小型化を実現できる。すなわち、EDOF効果により、オートフォーカス機構を持つことなく、全焦点画像(すべての被写体に焦点が合っている画像)を得ることができる。
本応用先の観点からは、上記方式のうちF−DOFそのものはフォーカスレンズもしくは撮像素子を動かす機構が必要になるので採用されておらず、WFC又は軸上色収差を使った方式などが採用されている。
さらにもう1つの応用先としては、通常のデジタルスチルカメラが考えられる。デジタルスチルカメラの近年のトレンドとして、より簡単にかつ失敗の少ない撮影が求められている。EDOF技術は全焦点画像、すなわち、合焦ミスからの開放という効果が期待できる。
本応用先で要求されるのは、高画質であること、EDOF効果の大きさ、EDOF範囲の任意変更が可能なこと、通常のオートフォーカス機構を応用することで実現可能なこと(特別な光学系を用意しなくてすむこと)、EDOF撮影と通常撮影との切り替えが容易なこと等であるから、上記方式のうち最も優れているのはF−DOFである。
西独国特許第2301800号明細書(ドイツ特許:出願1973/1/15)
特公平5−27084号公報
特許第3191928号公報
米国特許出願公開第2008/0013941号明細書
特許第3084130号公報
E.R.Dowski and W.T.Cathey, "Extended depth of field through wave-front coding", Applied Optics, Vol.34, No.11, P.1859-1866 (1995)
A.Levin, R.Fergus, F.Durandand W.T.Freeman, "Image and Depth from a Conventional Camera with a Coded Aperture", ACM Transactions on Graphics, Vol.26, No.3, Article 70, 70-1 - 70-9 (2007)
H.Nagahara, S.Kuthirummal, C.Zhouand S.Nayar, "Flexible Depth of Field Photography", European Conference on Computer Vision (ECCV), Oct.16th, Morning Session 2: Computational Photography (2008)
C.Tisse, H.P.Nguyen, R.Tesieres, M.Pyanet and F.Guichard, "Extended Depth-of-field (EDOF) using sharpness transport across colourchannels", Optical Engineering + Applications, Part of SPIE Optics + Photonics, Session 1-- Imaging in the Optical Design Process: Depth of Field (2008)
W.Chi and N.George, "Computational imaging with the logarithmic asphere: theory", Optical Society of America, Vol.20, No.12, December (2003)
Y.Takahashi and S.Komatsu, "Optimized free-form phase mask for extension of depth of field in wavefront-coded imaging", Optical Society of America, Optics Letters, Vol.33, No.13, July 1, (2008)
高橋康久, 尾花亮, 小松進一, 「ウェイブフロント・コーディング用最適化位相板―軸外の被写界深度拡張効果―」, Optics & Photonics Japan 2007(日本光学会年次学術講演会), 予稿集,P.464-465(27pC2), (2007)
このように、デジタルスチルカメラ用途としては、様々なEDOF方式がある中で、F−DOF方式が有力である。そこで、F−DOFを実現するのに必要な構成を、図13及び図14を用いて説明する。
まず、図13は、露光時間中にフォーカスレンズを変位させる撮像装置500の構成を示すブロック図である。図13に示される撮像装置500は、撮像素子1と、レンズ2と、フォーカスレンズ20と、シャッター3と、フォーカスレンズ変位制御部4と、シャッター開閉指示部5と、レリーズ受付部6と、フォーカスレンズ初期位置検出部7と、露光時間決定部8と、フォーカスレンズ位置初期化部18と、露光・フォーカス変位同期管理部10と、画像復元処理部11と、PSF記憶部12と、撮像データ記録部13とを備える。
図13に示される撮像装置500において、レリーズ受付部6がユーザから露光開始指示を受け付けると、フォーカスレンズ初期位置検出部7は、フォーカスレンズ20のそのときの位置(初期位置)を検出する。そして、フォーカスレンズ変位制御部4は、合焦位置が所定の合焦範囲の端位置、例えば図15に示されるように最近端に移動するように、フォーカスレンズ20を移動させる。ここで所定の合焦範囲のうち、撮像装置500を基準として、最も撮像装置500に近い位置を最近端、最も撮像装置500から遠い位置を最遠端とする。
次に、露光・フォーカス変位同期管理部10は、シャッター開閉指示部5にシャッター3の開閉を指示するのと同時に、フォーカスレンズ変位制御部4にフォーカスレンズ20を最近端から最遠端に向かって移動させるように指示する。そして、フォーカスレンズ変位制御部4は、図15に示されるように、露光終了と同時に合焦位置が最遠端に到達するように、フォーカスレンズ20を移動させる。
図14は、露光時間中に撮像素子1を変位させる撮像装置600の構成を示すブロック図である。図14に示される撮像装置600は、前述のフォーカスレンズ20を変位させる撮像装置500のフォーカスレンズ変位制御部4、フォーカスレンズ初期位置検出部7、露光・フォーカス変位同期管理部10、及びフォーカスレンズ位置初期化部18に代えて、撮像素子初期位置検出部14、露光・撮像素子変位同期管理部16、撮像素子変位制御部17、及び撮像素子位置初期化部19を備える。
すなわち、図14に示される撮像装置600は、合焦位置を変位させるために撮像素子1を移動させる点で、フォーカスレンズ20を移動させる図13に示される撮像装置500と相違する。その他の構成及び動作は、図13に示される撮像装置500と共通するので、対応する構成要素には同一の符号を付し、詳しい説明は省略する。また、図示は省略するが、撮像装置600は、フォーカスレンズ20を含むレンズ2をも備えている。
すなわち、F−DOF方式を採用する撮像装置500、600は、シャッターボタンが押下されてから実際に露光が開始されるまでの間に、フォーカスレンズ20又は撮像素子の位置を初期化する必要がある。このように、シャッタータイムラグの縮小の観点からは、その他のEDOF方式と比べて、F−DOFは著しく不利であった。シャッタータイムラグとは、図16に示すように、ユーザが露光開始を指示(すなわち、シャッターボタンを押下)してから、実際に露光が開始されるまでに要する時間のことである。
シャッタータイムラグ内訳は、オートフォーカス機構を有するカメラではその合焦に要する時間と、その他各種処理に要する時間(レリーズタイムラグと称される)との和である。また、レリーズタイムラグの内訳は、一眼レフカメラなどミラーが存在するカメラの場合はその跳ね上がりに要する時間、また決められた露出に従って絞り羽根を絞る動作に要する時間などが挙げられる。なお、シャッタータイムラグは、通常100ミリ秒〜数秒要するのに対し、レリーズタイムラグは10〜130ミリ秒程度であって、圧倒的にオートフォーカスに要する時間のほうが大きい。
F−DOF以外の方式(例えばWFCやCAなど)の場合は、全焦点画像を得るのにオートフォーカス機構そのものが不要のため、合焦に要する時間を省略することができる。その結果、シャッタータイムラグを大幅に小さくできる。これに対してF−DOFを採用した撮像装置500、600の場合は、前述のとおり全焦点画像の撮影、通常のオートフォーカス撮影、及びマニュアルフォーカス撮影を行うことができる。その反面、露光中に、フォーカスレンズ20もしくは撮像素子1を、奥側合焦端位置から手前側合焦端位置まで、またはその逆の方向に動かす必要がある。このため、露光開始前にフォーカスレンズ20もしくは撮像素子1を初期位置、すなわち奥側合焦端位置もしくは手前側合焦端位置まで動かす必要がある。
例えば、直前まで通常のオートフォーカス、もしくはマニュアルフォーカス撮影をしていて、あるフォーカス位置に焦点が合っている状態だったとする。その後、全焦点画像を撮影したい場合、上記のようにフォーカスレンズの初期化が必要なため、すぐに露光を開始できない。
一般的に、ユーザにとってEDOF技術は、全焦点画像の撮影による合焦ミスからの開放という価値を提供してくれるだけでなく、シャッタータイムラグの大幅な縮小、すなわち撮りたいと思った瞬間にすぐシャッターが切れるという利点の提供も、大きな価値の1つとなりうることは容易に推測される。しかしながら、F−DOF方式の場合、従来の構成では上記のような手順で処理を行うことから、後者の利点が得られないという課題を有していた。
なお、本課題は、従来の顕微鏡用途や携帯電話向け小型カメラ(オートフォーカス機構なし)には存在せず、デジタルスチルカメラ、またはこの構成に準じるカメラならではの課題である。
本発明は、上記従来の課題を解決するもので、F−DOFにおいても、シャッタータイムラグの小さい撮像装置及び撮像方法を提供することを目的とする。
本発明の一形態に係る撮像装置は、撮像素子と、前記撮像素子上に光を集光して、像を結像させるレンズと、ユーザから露光開始の指示を受け付けた時点における合焦位置である初期合焦位置を特定するための撮像素子とレンズとの位置関係を検出する初期合焦位置検出部と、露光時間中における合焦位置が、前記初期合焦位置検出部で検出された撮像素子とレンズとの位置関係によって特定される初期合焦位置から、予め定められた合焦範囲の最近端及び最遠端を少なくとも1回ずつ通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する変位パターン決定部と、前記変位パターン決定部で決定された変位パターンに基づいて、合焦位置を、露光開始と共に初期合焦位置から移動させ、露光終了と共に再び初期合焦位置に到達させるように、前記撮像素子及び前記レンズの一方を移動させる変位制御部とを備える。
上記構成によれば、F−DOF方式においても合焦位置の初期化に時間を要することがないため、シャッタータイムラグの大幅な縮小を実現できる。なお、最近端及び最遠端の通過順序は、どちらが先でも構わない。また、最近端及び最遠端の通過回数は、1回ずつに限定されず、複数回であってもよい。但し、最近端及び最遠端の通過回数は、一致していることが望ましい。
さらに、該撮像装置は、撮像シーンに応じて露光時間を決定する露光時間決定部を備えてもよい。そして、前記変位パターン決定部は、露光時間中における前記変位パターンを何回実行させるかを示す往復回数を、前記露光時間決定部で決定された露光時間が長い程、増加させてもよい。これにより、露光時間が変わっても撮像素子又はレンズの変位速度が実質的に同一になるので、モータ等の駆動装置の負担が小さくなる。
一例として、前記変位パターン決定部は、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最近端、合焦範囲の最遠端の順に通って、再度初期合焦位置に戻るように、合焦位置の変位パターンを決定してもよい。
他の例として、前記変位パターン決定部は、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最遠端、合焦範囲の最近端の順に通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定してもよい。
上記の各構成によれば、最近端から最遠端の間で一定の露光量を保証することが可能となり、F−DOFによるEDOF効果を持たせつつ、シャッタータイムラグの大幅な縮小を実現できる。
一例として、前記変位制御部は、前記レンズを移動させることによって合焦位置を変位させてもよい。他の例として、前記変位制御部は、前記撮像素子を移動させることによって合焦位置を変位させてもよい。
このように、合焦位置を変化させる具体的な手法の例として、レンズを移動させる手法と、撮像素子を移動させる手法とが考えられる。ここで、オートフォーカス機能を有する撮像装置においては、レンズを移動させる手法を採用することにより、レンズを移動させる機構をオートフォーカスと共有できる。
さらに、該撮像装置は、復元用PSF(Point Spread Function)を予め記憶しておくPSF記憶部と、前記撮像素子により生成された撮像データに対して、前記復元用PSFを用いて画像復元処理を行う画像復元処理部と、前記画像復元処理部で復元された復元画像を記録する撮像データ記録部とを備えてもよい。
本発明の一形態に係る撮像方法は、撮像素子と、前記撮像素子上に光を集光して、像を結像させるレンズとを備える撮像装置が画像を撮像する方法である。具体的には、ユーザから露光開始の指示を受け付けた時点における合焦位置である初期合焦位置を特定するための前記撮像素子と前記レンズとの位置関係を検出する初期合焦位置検出ステップと、露光時間中における合焦位置が、前記初期合焦位置検出ステップで検出された前記撮像素子と前記レンズとの位置関係によって特定される初期合焦位置から、予め定められた合焦範囲の最近端及び最遠端を少なくとも1回ずつ通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する変位パターン決定ステップと、前記変位パターン決定ステップで決定された変位パターンに基づいて、合焦位置を、露光開始と共に初期合焦位置から移動させ、露光終了と共に再び初期合焦位置に到達させるように、前記撮像素子及び前記レンズの一方を移動させる変位制御ステップとを含む。
なお、本発明は、撮像装置及び撮像方法として実現できるだけでなく、撮像方法に含まれるステップをコンピュータに実行させるプログラムとして実現することもできるし、撮像装置の機能の一部を実現する半導体集積回路(LSI)として実現できる。そして、プログラムは、CD−ROM等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができる。
本発明によれば、撮像素子もしくはフォーカスレンズの露光中の変位方法を工夫することで、F−DOF方式におけるシャッタータイムラグの大幅な縮小を実現する。
図1は、本発明の実施の形態1に係る撮像装置の概略構成を示すブロック図である。
図2は、図1の撮像装置の動作を示すフローチャートである。
図3は、本発明の実施の形態1に係る撮像装置の詳細構成を示すブロック図である。
図4は、本発明の実施の形態1に係る撮像装置の詳細構成を示すブロック図である。
図5は、被写体距離uと像面側距離vとの位置関係を定義した図である。
図6は、被写体距離uと像面側距離vとの関係の一例を示したグラフである。
図7は、フォーカスレンズもしくは撮像素子の変位パターンの一例を示した図である。
図8は、フォーカスレンズもしくは撮像素子の変位パターンの一例を示した図である。
図9は、フォーカスレンズもしくは撮像素子の変位パターンの一例を示した図である。
図10は、フォーカスレンズもしくは撮像素子の変位パターンの一例を示した図である。
図11は、本発明の実施の形態2に係る撮像装置の詳細構成を示すブロック図である。
図12は、本発明の実施の形態2に係る撮像装置の詳細構成を示すブロック図である。
図13は、従来の撮像装置のブロック図である。
図14は、従来の撮像装置のブロック図である。
図15は、従来のフォーカスレンズもしくは撮像素子変位パターンの一例を示した図である。
図16は、シャッタータイムラグ及びレリーズタイムラグの関係を説明した図である。
以下、本発明の各実施の形態について図面を参照しながら説明する。
(実施の形態1)
本発明の実施の形態1における撮像装置について、図1〜10を参照しながら説明する。
まず、図1及び図2を参照して、本発明の実施の形態1に係る撮像装置1000の構成及び動作を説明する。なお、図1は、撮像装置1000の概略構成を示すブロック図である。図2は、撮像装置1000の動作を示すフローチャートである。撮像装置1000は、図1に示されるように、撮像素子110と、レンズ120と、初期合焦位置検出部130と、変位パターン決定部140と、変位制御部150とを備える。
撮像素子110は、結像した画像を電気信号に変換して出力する。撮像素子110の具体例は特に限定されないが、例えば、CCD(Charge Coupled Device Image Sensor)、又はCMOS(Complementary Metal Oxide Semiconductor Image Sensor)等を採用することができる。
レンズ120は、撮像素子110上に光を集光して、像を結像させる。レンズ120は、例えば、フォーカスレンズを含む複数のレンズで構成される。
初期合焦位置検出部130は、ユーザから露光開始の指示を受け付けた時点における撮像装置1000の合焦位置(「フォーカス位置」とも言う。以下同じ。)である初期合焦位置(「フォーカス初期位置」とも言う。以下同じ。)を検出する(S11)。なお、合焦位置は、撮像素子110とレンズ120と位置関係(より具体的には、距離)によって定まる。すなわち、初期合焦位置検出部130は、実際には、初期合焦位置を特定するための撮像素子110とレンズ120との位置関係を検出する。
変位パターン決定部140は、露光時間中における合焦位置が、初期合焦位置検出部130で検出された撮像素子110とレンズ120との位置関係によって特定される初期合焦位置から、予め定められた合焦範囲の最近端及び最遠端を少なくとも1回ずつ通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する(S12)。
なお、ここで決定される変位パターンは、合焦範囲の最近端及び最遠端のどちらを先に通過するものであってもよい。すなわち、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最近端、合焦範囲の最遠端の順に通って、再度初期合焦位置に戻るような変位パターンであってもよい。または、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最遠端、合焦範囲の最近端の順に通って、再び初期合焦位置に戻るような変位パターンであってもよい。
さらに、変位パターン決定部140は、露光時間中に変位パターンを何回実行させるかを示す往復回数を決定する。そして、変位パターン決定部140は、後述する露光時間決定部で決定された露光時間が長い程、この往復回数を増加させる。例えば、露光時間が10msの時に往復回数を1回とした場合、露光時間が20msの時には往復回数を2回にする。これにより、露光時間が変わっても撮像素子110又はレンズ120の変位速度が実質的に同一になるので、モータ等の駆動装置の負担が小さくなる。
変位制御部150は、変位パターン決定部140で決定された変位パターンに基づいて合焦位置を変化させるために、撮像素子110及びレンズ120の一方を移動させることによって、両者の間の距離(相対位置)を変化させる(S13)。具体的には、変位制御部150は、露光開始と共に(同時に)合焦位置を初期合焦位置から移動させ、露光終了と共に(同時に)合焦位置が再び初期合焦位置に到達するように、撮像素子110及びレンズ120の一方を移動させる。
なお、「露光開始(露光終了)と同時に」とは、厳密な同時性を要求するものではなく、制御信号を受信してから駆動装置が駆動するまでのタイムラグ等の誤差は許容されるものとする。また、変位制御部150は、撮像素子110を移動させることによって合焦位置を変位させてもよいし、レンズ120を移動させることによって合焦位置を変位させてもよい。
図3は、本実施の形態1に係る撮像装置100の詳細構成を示す図である。図3に示される撮像装置100は、撮像素子1と、レンズ2と、フォーカスレンズ20と、シャッター3と、フォーカスレンズ変位制御部4と、シャッター開閉指示部5と、レリーズ受付部6と、フォーカスレンズ初期位置検出部7と、露光時間決定部8と、フォーカスレンズ変位パターン決定部9と、露光・フォーカス変位同期管理部10と、画像復元処理部11と、PSF記憶部12と、撮像データ記録部13とを備える。
なお、図1の撮像素子110は図3の撮像素子1に、レンズ120はレンズ2に、初期合焦位置検出部130はフォーカスレンズ初期位置検出部7に、変位パターン決定部140はフォーカスレンズ変位パターン決定部9に、変位制御部150はフォーカスレンズ変位制御部4に、それぞれ対応する。
図4は、本実施の形態1における撮像装置200の詳細構成を示す図である。その構成と作用は、画像復元処理部11及びPSF記憶部12が省略されていることを除いて、図3に準じる。撮像装置200は、図3に示される撮像装置100と比較して、露光により得られた画像を直接撮像データ記録部13へ記録するのが特徴である。これは、画像復元処理を撮像装置200内ではなく、その後別の装置、例えばパーソナルコンピュータ、画像ビューワ、ネットワークサーバ等にて実現することを意図したものである。その他の構成は図3の撮像装置100と共通するので、以下、撮像装置100の構成及び動作を中心に説明する。
上記構成の撮像装置100において、シャッター3が開状態のとき、レンズ2で撮像素子1に被写体の光学像を結像させると、結像した光学像は、撮像素子1によって電気信号に変換される。なお、通常、光学像を結像させる際に、所望の被写体に対して合焦させるため、レンズ2は、フォーカスレンズ20とその他のレンズ群により構成される。また、フォーカスレンズ20は、複数枚のレンズで構成されていてもよい。
レリーズ受付部6がユーザから露光開始指示を受け付けると、フォーカスレンズ初期位置検出部7は、フォーカスレンズ20のそのときの合焦位置(初期合焦位置)を検出する。
露光時間決定部8は、シャッター速度(露光時間)及び絞り値などの撮影パラメータを決定する。露光時間は、例えば、明るいときは露光時間を短く、暗いときは露光時間を長くする等、周囲の明るさに応じて露光時間決定部8が決定してもよいし、ユーザの指示(動きの速い被写体を撮影する、又は風景を撮影する等)を受け付けて、決定してもよい。
フォーカスレンズ変位パターン決定部9は、フォーカスレンズ初期位置検出部7で検出されたフォーカスレンズ初期位置情報と、露光時間決定部8で決定された露光時間情報から、例えば図7〜図10に示すようなフォーカス変位パターンを決定する。そして、フォーカスレンズ変位パターン決定部9は、このフォーカス変位パターンに準じるフォーカスレンズ20の変位パターンを決定し、露光・フォーカス変位同期管理部10にその変位パターンを通知する。
露光・フォーカス変位同期管理部10は、その変位パターンに基づき、フォーカスレンズ変位制御部4とシャッター開閉指示部5とに対し、露光開始及び露光終了の同期管理を行う。すなわち、露光・フォーカス変位同期管理部10は、露光開始の指示をシャッター開閉指示部5に出力するのと同時に、フォーカスレンズ変位パターン決定部9で決定された変位パターンに基づいて、露光時間内にフォーカスレンズ20を変位させるように、フォーカスレンズ変位制御部4に指示する。
シャッター開閉指示部5は、露光開始指示が出されるとすぐに、シャッター3が開くよう制御を行う。また、所定の露光時間経過後、露光・フォーカス変位同期管理部10は、シャッター開閉指示部5へ露光終了を指示する。シャッター開閉指示部5は、露光終了指示が出されるとすぐに、シャッター3が閉まるよう制御を行う。また、フォーカスレンズ変位制御部4は、フォーカスレンズ変位パターン決定部9で決定された変位パターンに基づいて、合焦位置を、露光開始と共にフォーカス初期位置から移動させ、露光終了と共に再びフォーカス初期位置に到達させるように、フォーカスレンズ20を移動させる。
上記手順にて撮像素子1上に被写体の光学像を結像させると、結像した光学像は、撮像素子1によって電気信号(画像信号)に変換され、画像復元処理部11へ画像信号が移される。同時に、露光・フォーカス変位同期管理部10から画像復元処理部11へ、露光が終了したこととF−DOFによるフォーカス変位方式の撮影が行われたこととが通知される。
画像復元処理部11は、画像信号を受領後、PSF記憶部12から復元のためのPSFデータを読み出し、画像復元処理を行う。具体的には、フォーカス変位によるボケパターンを予め測定もしくはシミュレーションで求めておき、これをPSFデータとしてPSF記憶部12は保持しておく。また、画像復元の方法は、Wiener Filter、Lucy−Richardsonなどの様々な手法が知られているが、どの手法を用いてもよい。そして、画像復元処理部11は、復元した画像信号を撮像データとして撮像データ記録部13に記録する。
図5に示すように、被写体とレンズ2との間の距離を被写体距離u、レンズ2と撮像素子1との間の距離を像面側距離vとし、焦点距離をfとすると、一般的にレンズの公式より、式1の関係が成立する。
また、レンズが複数枚存在するときは、レンズ主点位置で考慮する。一例として、fが18[mm]のときの被写体距離uと像面側距離vとの関係を図6に示す。フォーカスレンズ20が変位することで、レンズ主点と撮像素子との間の距離である像面側距離vが変位する。ここで、撮像素子面で等速にフォーカス位置が変位するよう、フォーカスレンズ20に対して変位制御指示するとは、この像面側距離vの変化速度が一定であることを意味する。
なお、図6に示すように、像面側距離vが等速度で変位しても、被写体側の焦点面とレンズ主点との間の距離である被写体距離uが等速度で変位するわけではない。また、図7〜図10の縦軸は像面側距離vである。このため、露光時間と被写体距離uとの関係は、露光時間と像面側距離vとの関係に対して、大小が逆の関係になることに注意が必要である。
すなわち、被写体距離u側での最近端及び最遠端は、像面側では大小が入れ替わって、最遠端及び最近端になることになる。
図7は、フォーカス初期位置から被写体側でいう最近端へフォーカス位置を変位させ、最近端に到達した後、ただちに折り返して最遠端へと変位させる。最遠端へ到達したあと、再度ただちに折り返して、フォーカス初期位置まで変位させる。変位時の速度は原則一定の速度とし、露光時間決定部8にて定められた露光時間で1往復するように、この変位速度を定めるものとする。
原則一定の速度とするのは、一律の復元用PSFで画像復元処理を行うためには、被写体距離方向に対して均一なボケとなるようにすることが必要だからである。均一なボケを得るためには、像面側の変位を一定にし、最近端から最遠端までの露光量を一定にする必要がある。
図8は、図7の変位パターンを露光時間内に3往復させる場合を示している。このように、整数回往復させても、最近端から最遠端までの露光量を一定にすることができる。
図9は、図7の変位パターンとは逆向きに変位する変位パターンの例を示している。フォーカス初期位置から被写体側でいう最遠端へフォーカス位置を変位させ、最遠端に到達した後、ただちに折り返して最近端へと変位させる。最近端へ到達したあと、再度ただちに折り返して、フォーカス初期位置まで変位させる。変位時の速度は原則一定の速度とし、露光時間決定部8にて定められた露光時間で1往復するように、この変位速度を定めるものとする。このように、最近端及び最遠端の順序を逆にしても、最近端から最遠端までの露光量を一定にすることができる。
図10は、図9の変位パターンを露光時間内に3往復させる場合を示している。このように、逆の変位パターンを整数回往復させても、最近端から最遠端までの露光量を一定にすることができる。
ただし、従来の変位パターンである図15や本願の実施の形態1に係る変位パターンである図7〜10のように、一定速度で変位した場合、実は最近端及び最遠端の露光量は、中心部の露光量と比較して、厳密には一定にならない。一般的なレンズのもつデフォーカスパターンを見ればわかるように、合焦位置で最も鮮明な像が得られる一方で、その前後では、その距離が大きくなるほど鮮明度が徐々に落ちていくパターンをもつことが知られている。
最近端及び最遠端では、変位を打ち切ってしまうことで、変位のなくなった側からのデフォーカスパターンによる、鮮明度の貢献が得られない。その結果、最近端及び最遠端での鮮明度は、中心部の鮮明度よりもやや落ちる。これを補償するため、最近端及び最遠端での変位速度を、中心部での変位速度と比較して落とすような制御を行ってもよい。この場合、整数回往復変位する時間が、露光時間と合うように留意する必要がある。
このような構成の撮像装置100、200が、上記のような制御を行うことで、F−DOF方式の持つ、高画質性、EDOF効果の大きさ、EDOF範囲の任意設定性、EDOF撮影と通常撮影の切り替え容易性などを保持しつつ、シャッタータイムラグの大幅な縮小を実現することができる。
(実施の形態2)
本発明の実施の形態2における撮像装置について、図11及び図12を参照しながら説明する。
図11は、本実施の形態2における撮像装置300の詳細構成を示す図である。図11に示される撮像装置300は、撮像素子1と、シャッター3と、シャッター開閉指示部5と、レリーズ受付部6と、露光時間決定部8と、は画像復元処理部11と、PSF記憶部12と、撮像データ記録部13と、撮像素子初期位置検出部14と、撮像素子変位パターン決定部15と、露光・撮像素子変位同期管理部16と、撮像素子変位制御部17とを備える。
なお、図1の撮像素子110は図11の撮像素子1に、レンズ120はレンズ2に、初期合焦位置検出部130は撮像素子初期位置検出部14に、変位パターン決定部140は撮像素子変位パターン決定部15に、変位制御部150は撮像素子変位制御部17に、それぞれ対応する。また、図示は省略するが、撮像装置300は、フォーカスレンズ20を含むレンズ2をも備えている。
上記構成の撮像装置300において、レリーズ受付部6がユーザから露光開始指示を受け付けると、撮像素子初期位置検出部14は、撮像素子1のそのときの位置(初期位置)を検出する。
露光時間決定部8は、シャッター速度及び絞り値などの撮影パラメータを決定する。露光時間は、例えば、明るいときは露光時間を短く、暗いときは露光時間を長くする等、周囲の明るさに応じて露光時間決定部8が決定してもよいし、ユーザの指示(動きの速い被写体を撮影する、又は風景を撮影する等)を受け付けて、決定してもよい。
露光・撮像素子変位同期管理部16は、露光開始の指示を、撮像素子変位制御部17とシャッター開閉指示部5とに対して、露光開始及び露光終了の同期管理を行う。すなわち、露光・フォーカス変位同期管理部10は、露光開始の指示をシャッター開閉指示部5に出力するのと同時に、撮像素子変位パターン決定部15で決定された変位パターンに基づいて、露光時間内に撮像素子1を変位させるように、撮像素子変位制御部17に指示する。
なお、撮像素子1の変位速度は等速とする。シャッター開閉指示部5は、露光開始指示が出されるとすぐに、シャッター3が開くよう制御を行う。また、所定の露光時間経過後、露光・撮像素子変位同期管理部16は、シャッター開閉指示部5へ露光終了を指示する。シャッター開閉指示部5は、露光終了指示が出されるとすぐに、シャッター3が閉まるよう制御を行う。また、撮像素子変位制御部17は、撮像素子変位パターン決定部15で決定された変位パターンに基づいて、合焦位置を、露光開始と共にフォーカス初期位置から移動させ、露光終了と共に再びフォーカス初期位置に到達させるように、撮像素子1を移動させる。
上記手順にて撮像素子1に被写体の光学像を結像させると、結像した光学像は、撮像素子1によって電気信号(画像信号)に変換され、画像復元処理部11へ画像信号が移される。同時に、露光・撮像素子変位同期管理部16から画像復元処理部11へ、露光が終了したこととF−DOFによる撮像素子変位方式の撮影が行われたこととが通知される。これ以外の構成は、図3のフォーカスレンズ20を変位させる場合に準じる。
図12は、本実施の形態2における撮像装置400の詳細構成を示す図である。撮像装置400の構成と作用は、画像復元処理部11及びPSF記憶部12が省略されていることを除いて、図11に準じる。撮像装置400は、図11に示される撮像装置300と比較して、露光により得られた画像を直接撮像データ記録部13へ記録するのが特徴である。これは、画像復元処理を撮像装置400内ではなく、その後別の装置、例えばパーソナルコンピュータ、画像ビューワ、ネットワークサーバ等にて実現することを意図したものである。
撮像素子変位パターン決定部15は、撮像素子初期位置検出部14で検出された撮像素子初期位置情報と、露光時間決定部8で決定された露光時間情報とから、例えば、図7〜10に示すようなフォーカス変位パターンを決定する。そして、撮像素子変位パターン決定部15は、このフォーカス変位パターンに準じる撮像素子1の変位パターンを決定し、露光・フォーカス変位同期管理部10へその変位パターンを通知する。
なお、撮像素子1を変位させる場合、図5から明らかなように、レンズ2の位置を変位させなければ、フォーカス変位パターンは撮像素子1自身の変位パターンそのものとなる。露光・撮像素子変位同期管理部16は、その変位パターンに基づき、撮像素子変位制御部17とシャッター開閉指示部5とに対し、露光開始及び露光終了の同期管理を行う。
撮像素子1の変位パターンについては、実施の形態1に示した図7〜図10のパターンに準じる。撮像素子1そのものが変位する構成が実施の形態1との差異であり、変位パターンについては共通である。
このような構成の撮像装置300、400が、上記のような制御を行うことで、F−DOF方式の持つ、高画質性、EDOF効果の大きさ、EDOF範囲の任意設定性、EDOF撮影と通常撮影の切り替え容易性などを保持しつつ、シャッタータイムラグの大幅な縮小を実現することができる。
以上、本発明の実施の形態に係る撮像装置について説明したが、本発明は、この実施の形態に限定されるものではない。
また、上記実施の形態に係る撮像装置に含まれる複数の処理部のうち少なくとも一部は集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、本発明の実施の形態に係る撮像装置の機能の一部を、CPU等のプロセッサがプログラムを実行することにより実現してもよい。
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、上記実施の形態に係る、撮像装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
本発明にかかる撮像装置および撮像方法は、撮像素子もしくはフォーカスレンズの露光中の動かし方を工夫することで、F−DOF方式の欠点である、シャッタータイムラグの大幅な縮小を実現できる。
これらの構成は、例えば民生用もしくは業務用撮像装置(デジタルスチルカメラ)などの分野において有用である。
1,110 撮像素子
2,120 レンズ
20 フォーカスレンズ
3 シャッター
4 フォーカスレンズ変位制御部
5 シャッター開閉指示部
6 レリーズ受付部
7 フォーカスレンズ初期位置検出部
8 露光時間決定部
9 フォーカスレンズ変位パターン決定部
10 露光・フォーカス変位同期管理部
11 画像復元処理部
12 PSF記憶部
13 撮像データ記録部
14 撮像素子初期位置検出部
15 撮像素子変位パターン決定部
16 露光・撮像素子変位同期管理部
17 撮像素子変位制御部
18 フォーカスレンズ位置初期化部
19 撮像素子位置初期化部
100,200,300,400,500,600,1000 撮像装置
130 初期合焦位置検出部
140 変位パターン決定部
150 変位制御部
本発明は、被写界深度拡張を実現する方式を採用する撮像装置において、シャッタータイムラグの短縮を実現する撮像装置及び撮像方法に関するものである。
一般的に被写界深度拡張(以下、EDOFと称する)を実現する方式としては、主に以下の3つの方式が挙げられる。1つ目の方式は、位相板と呼ばれる光学素子を光学系に挿入することで深度方向のボケを均一化する。そして、当該方式は、得られた画像に対してあらかじめ測定されたボケパターン、もしくはシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、EDOF画像を生成する。この方式は、Wavefront Coding(以下、WFCと称する)と称されている(非特許文献1参照)。
2つ目の方式は、絞り形状を工夫することで画像の部分領域ごとに高精度な距離測定を行う。そして、当該方式は、各部分領域に対して、あらかじめ測定しておいたそれぞれの距離に応じたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、EDOF画像を生成する。この方式は、Coded Aperture(以下、CAと称する)と称されている(非特許文献2参照)。
3つ目の方式は、露光時間中にフォーカスレンズもしくは撮像素子を動かすことで、深度方向に一律に合焦した画像を畳み込む(つまり各深度でボケを均一化することと同義)。そして、当該方式は、得られた画像に対して、あらかじめ測定されたボケパターン、もしくはシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、EDOF画像を生成する。この方式は、Flexible DOF(以下、F−DOFと称する)と称されている(非特許文献3参照)。
上記の他にも、レンズの軸上色収差を利用して深度推定もしくは画像のシャープネス検知を行うと共に、画像処理により全体が鮮鋭な画像を得る方式(非特許文献4参照)、及び多重焦点レンズを使って深度方向のボケを均一化し、あらかじめ測定したボケパターン、もしくはシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う方式(非特許文献5参照)などもある。しかし、これらの方式は原理上、上記3つの方式と比べてEDOF効果が小さいという欠点がある。
さらに、Focal Stackと呼ばれる方式も古くから存在する。この方式は、合焦位置(フォーカス位置)の異なる複数枚の画像を撮影し、それぞれ合焦していると思われる領域をそれぞれの画像から抽出する。そして、当該方式は、抽出した画像を合成することで、EDOF画像を生成する。この方式の場合、多くの撮像枚数を必要とするため、撮像に比較的時間を要するという問題と、メモリ量を多く消費してしまうという問題とがある。
前述の3方式における1つ目のWFCでは、様々な位相板の種類が提案されている。その中で最もEDOF効果の得られるものとして、Cubic Phase Mask(以下、CPMと称する)、及びFree−Form Phase Mask(以下、FPMと称する)がある。復元後の画質(アーティファクトの少なさ)の観点からFPMが有力とされている(非特許文献6参照)。
しかしながら、WFC共通の欠点として、位相板を挿入することで、レンズの光軸外の特性が悪化するという性質がある(非特許文献7参照)。具体的には、正面からの入射光と比べ、正面以外からの入射光に対して、同じだけのボケ均一効果が得られない。このため、画像復元時に軸上のボケパターンで復元処理を行うと、復元後の光軸外の画質が劣化してしまう。
前述の3方式における2つ目のCAは、変わった絞り形状を用いることで距離測定精度を高める。この方式そのものがもつこのような特性により、撮影された画像及び復元処理後に得られる画像の特定周波数成分が失われてしまう。つまり、この方式は、画質劣化してしまうという欠点がある。また、この方式は、一般的に絞り形状に関わらず通常の撮影方法よりも光量が減るため、暗い場所での撮影に向かない。
前述の3方式における3つ目のF−DOFは、この中で最も良好な画質が得られる方式であり、EDOF効果も高い。また、軸外特性もレンズ特性そのものに依存するため、性能を高めやすい。ただし光学的な条件として、露光中フォーカス位置を動かしても、同一被写体が同一の画像位置上に畳み込まれる必要があることから、像側テレセントリックレンズを用いる必要がある。
上記EDOF技術の応用先として、最も古い歴史があるのは顕微鏡用途である。本用途の場合、静物体をじっくり撮影することができることから、Focal Stack方式が古くから採用されてきた。ただしこの方式の場合、前述のとおり手間と時間とを要することから、F−DOF方式のアイデアも合わせて、いくつかの文献に開示されてきている(特許文献1〜4参照)。F−DOFを顕微鏡用途で用いる方法として、露光中に被写体である試料側を動かす場合と、レンズ鏡筒を動かす場合とが開示されている。
なお、露光後の画像復元処理を前提とする場合、像のボケが常に均一になるように動かし方を制御すれば、単一のボケパターンを使った画像復元処理方法が適用できるため合理的であることが知られている(特許文献5参照)。そのためには、動かす対象が撮像素子の場合、これを等速度で動かす必要がある。またフォーカスレンズを動かす場合も、撮像面が等速度で動くのに相当するフォーカス変位を行う必要がある(非特許文献3参照)。動かすパターンとしては、奥側合焦端位置から手前側合焦端位置まで、またはその逆でもよいことが知られている。
EDOF技術のその他の応用先として、近年、携帯電話などに搭載されるカメラが挙げられる。EDOF技術を当該カメラに用いることで、当該カメラの小型化を実現できる。すなわち、EDOF効果により、オートフォーカス機構を持つことなく、全焦点画像(すべての被写体に焦点が合っている画像)を得ることができる。
本応用先の観点からは、上記方式のうちF−DOFそのものはフォーカスレンズもしくは撮像素子を動かす機構が必要になるので採用されておらず、WFC又は軸上色収差を使った方式などが採用されている。
さらにもう1つの応用先としては、通常のデジタルスチルカメラが考えられる。デジタルスチルカメラの近年のトレンドとして、より簡単にかつ失敗の少ない撮影が求められている。EDOF技術は全焦点画像、すなわち、合焦ミスからの開放という効果が期待できる。
本応用先で要求されるのは、高画質であること、EDOF効果の大きさ、EDOF範囲の任意変更が可能なこと、通常のオートフォーカス機構を応用することで実現可能なこと(特別な光学系を用意しなくてすむこと)、EDOF撮影と通常撮影との切り替えが容易なこと等であるから、上記方式のうち最も優れているのはF−DOFである。
西独国特許第2301800号明細書(ドイツ特許:出願1973/1/15)
特公平5−27084号公報
特許第3191928号公報
米国特許出願公開第2008/0013941号明細書
特許第3084130号公報
E.R.Dowski and W.T.Cathey, "Extended depth of field through wave-front coding", Applied Optics, Vol.34, No.11, P.1859-1866 (1995)
A.Levin, R.Fergus, F.Durandand W.T.Freeman, "Image and Depth from a Conventional Camera with a Coded Aperture", ACM Transactions on Graphics, Vol.26, No.3, Article 70, 70-1 - 70-9 (2007)
H.Nagahara, S.Kuthirummal, C.Zhouand S.Nayar, "Flexible Depth of Field Photography", European Conference on Computer Vision (ECCV), Oct.16th, Morning Session 2: Computational Photography (2008)
C.Tisse, H.P.Nguyen, R.Tesieres, M.Pyanet and F.Guichard, "Extended Depth-of-field (EDOF) using sharpness transport across colourchannels", Optical Engineering + Applications, Part of SPIE Optics + Photonics, Session 1-- Imaging in the Optical Design Process: Depth of Field (2008)
W.Chi and N.George, "Computational imaging with the logarithmic asphere: theory", Optical Society of America, Vol.20, No.12, December (2003)
Y.Takahashi and S.Komatsu, "Optimized free-form phase mask for extension of depth of field in wavefront-coded imaging", Optical Society of America, Optics Letters, Vol.33, No.13, July 1, (2008)
高橋康久, 尾花亮, 小松進一, 「ウェイブフロント・コーディング用最適化位相板―軸外の被写界深度拡張効果―」, Optics & Photonics Japan 2007(日本光学会年次学術講演会), 予稿集,P.464-465(27pC2), (2007)
このように、デジタルスチルカメラ用途としては、様々なEDOF方式がある中で、F−DOF方式が有力である。そこで、F−DOFを実現するのに必要な構成を、図13及び図14を用いて説明する。
まず、図13は、露光時間中にフォーカスレンズを変位させる撮像装置500の構成を示すブロック図である。図13に示される撮像装置500は、撮像素子1と、レンズ2と、フォーカスレンズ20と、シャッター3と、フォーカスレンズ変位制御部4と、シャッター開閉指示部5と、レリーズ受付部6と、フォーカスレンズ初期位置検出部7と、露光時間決定部8と、フォーカスレンズ位置初期化部18と、露光・フォーカス変位同期管理部10と、画像復元処理部11と、PSF記憶部12と、撮像データ記録部13とを備える。
図13に示される撮像装置500において、レリーズ受付部6がユーザから露光開始指示を受け付けると、フォーカスレンズ初期位置検出部7は、フォーカスレンズ20のそのときの位置(初期位置)を検出する。そして、フォーカスレンズ変位制御部4は、合焦位置が所定の合焦範囲の端位置、例えば図15に示されるように最近端に移動するように、フォーカスレンズ20を移動させる。ここで所定の合焦範囲のうち、撮像装置500を基準として、最も撮像装置500に近い位置を最近端、最も撮像装置500から遠い位置を最遠端とする。
次に、露光・フォーカス変位同期管理部10は、シャッター開閉指示部5にシャッター3の開閉を指示するのと同時に、フォーカスレンズ変位制御部4にフォーカスレンズ20を最近端から最遠端に向かって移動させるように指示する。そして、フォーカスレンズ変位制御部4は、図15に示されるように、露光終了と同時に合焦位置が最遠端に到達するように、フォーカスレンズ20を移動させる。
図14は、露光時間中に撮像素子1を変位させる撮像装置600の構成を示すブロック図である。図14に示される撮像装置600は、前述のフォーカスレンズ20を変位させる撮像装置500のフォーカスレンズ変位制御部4、フォーカスレンズ初期位置検出部7、露光・フォーカス変位同期管理部10、及びフォーカスレンズ位置初期化部18に代えて、撮像素子初期位置検出部14、露光・撮像素子変位同期管理部16、撮像素子変位制御部17、及び撮像素子位置初期化部19を備える。
すなわち、図14に示される撮像装置600は、合焦位置を変位させるために撮像素子1を移動させる点で、フォーカスレンズ20を移動させる図13に示される撮像装置500と相違する。その他の構成及び動作は、図13に示される撮像装置500と共通するので、対応する構成要素には同一の符号を付し、詳しい説明は省略する。また、図示は省略するが、撮像装置600は、フォーカスレンズ20を含むレンズ2をも備えている。
すなわち、F−DOF方式を採用する撮像装置500、600は、シャッターボタンが押下されてから実際に露光が開始されるまでの間に、フォーカスレンズ20又は撮像素子の位置を初期化する必要がある。このように、シャッタータイムラグの縮小の観点からは、その他のEDOF方式と比べて、F−DOFは著しく不利であった。シャッタータイムラグとは、図16に示すように、ユーザが露光開始を指示(すなわち、シャッターボタンを押下)してから、実際に露光が開始されるまでに要する時間のことである。
シャッタータイムラグ内訳は、オートフォーカス機構を有するカメラではその合焦に要する時間と、その他各種処理に要する時間(レリーズタイムラグと称される)との和である。また、レリーズタイムラグの内訳は、一眼レフカメラなどミラーが存在するカメラの場合はその跳ね上がりに要する時間、また決められた露出に従って絞り羽根を絞る動作に要する時間などが挙げられる。なお、シャッタータイムラグは、通常100ミリ秒〜数秒要するのに対し、レリーズタイムラグは10〜130ミリ秒程度であって、圧倒的にオートフォーカスに要する時間のほうが大きい。
F−DOF以外の方式(例えばWFCやCAなど)の場合は、全焦点画像を得るのにオートフォーカス機構そのものが不要のため、合焦に要する時間を省略することができる。その結果、シャッタータイムラグを大幅に小さくできる。これに対してF−DOFを採用した撮像装置500、600の場合は、前述のとおり全焦点画像の撮影、通常のオートフォーカス撮影、及びマニュアルフォーカス撮影を行うことができる。その反面、露光中に、フォーカスレンズ20もしくは撮像素子1を、奥側合焦端位置から手前側合焦端位置まで、またはその逆の方向に動かす必要がある。このため、露光開始前にフォーカスレンズ20もしくは撮像素子1を初期位置、すなわち奥側合焦端位置もしくは手前側合焦端位置まで動かす必要がある。
例えば、直前まで通常のオートフォーカス、もしくはマニュアルフォーカス撮影をしていて、あるフォーカス位置に焦点が合っている状態だったとする。その後、全焦点画像を撮影したい場合、上記のようにフォーカスレンズの初期化が必要なため、すぐに露光を開始できない。
一般的に、ユーザにとってEDOF技術は、全焦点画像の撮影による合焦ミスからの開放という価値を提供してくれるだけでなく、シャッタータイムラグの大幅な縮小、すなわち撮りたいと思った瞬間にすぐシャッターが切れるという利点の提供も、大きな価値の1つとなりうることは容易に推測される。しかしながら、F−DOF方式の場合、従来の構成では上記のような手順で処理を行うことから、後者の利点が得られないという課題を有していた。
なお、本課題は、従来の顕微鏡用途や携帯電話向け小型カメラ(オートフォーカス機構なし)には存在せず、デジタルスチルカメラ、またはこの構成に準じるカメラならではの課題である。
本発明は、上記従来の課題を解決するもので、F−DOFにおいても、シャッタータイムラグの小さい撮像装置及び撮像方法を提供することを目的とする。
本発明の一形態に係る撮像装置は、撮像素子と、前記撮像素子上に光を集光して、像を結像させるレンズと、ユーザから露光開始の指示を受け付けた時点における合焦位置である初期合焦位置を特定するための撮像素子とレンズとの位置関係を検出する初期合焦位置検出部と、露光時間中における合焦位置が、前記初期合焦位置検出部で検出された撮像素子とレンズとの位置関係によって特定される初期合焦位置から、予め定められた合焦範囲の最近端及び最遠端を少なくとも1回ずつ通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する変位パターン決定部と、前記変位パターン決定部で決定された変位パターンに基づいて、合焦位置を、露光開始と共に初期合焦位置から移動させ、露光終了と共に再び初期合焦位置に到達させるように、前記撮像素子及び前記レンズの一方を移動させる変位制御部とを備える。
上記構成によれば、F−DOF方式においても合焦位置の初期化に時間を要することがないため、シャッタータイムラグの大幅な縮小を実現できる。なお、最近端及び最遠端の通過順序は、どちらが先でも構わない。また、最近端及び最遠端の通過回数は、1回ずつに限定されず、複数回であってもよい。但し、最近端及び最遠端の通過回数は、一致していることが望ましい。
さらに、該撮像装置は、撮像シーンに応じて露光時間を決定する露光時間決定部を備えてもよい。そして、前記変位パターン決定部は、露光時間中における前記変位パターンを何回実行させるかを示す往復回数を、前記露光時間決定部で決定された露光時間が長い程、増加させてもよい。これにより、露光時間が変わっても撮像素子又はレンズの変位速度が実質的に同一になるので、モータ等の駆動装置の負担が小さくなる。
一例として、前記変位パターン決定部は、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最近端、合焦範囲の最遠端の順に通って、再度初期合焦位置に戻るように、合焦位置の変位パターンを決定してもよい。
他の例として、前記変位パターン決定部は、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最遠端、合焦範囲の最近端の順に通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定してもよい。
上記の各構成によれば、最近端から最遠端の間で一定の露光量を保証することが可能となり、F−DOFによるEDOF効果を持たせつつ、シャッタータイムラグの大幅な縮小を実現できる。
一例として、前記変位制御部は、前記レンズを移動させることによって合焦位置を変位させてもよい。他の例として、前記変位制御部は、前記撮像素子を移動させることによって合焦位置を変位させてもよい。
このように、合焦位置を変化させる具体的な手法の例として、レンズを移動させる手法と、撮像素子を移動させる手法とが考えられる。ここで、オートフォーカス機能を有する撮像装置においては、レンズを移動させる手法を採用することにより、レンズを移動させる機構をオートフォーカスと共有できる。
さらに、該撮像装置は、復元用PSF(Point Spread Function)を予め記憶しておくPSF記憶部と、前記撮像素子により生成された撮像データに対して、前記復元用PSFを用いて画像復元処理を行う画像復元処理部と、前記画像復元処理部で復元された復元画像を記録する撮像データ記録部とを備えてもよい。
本発明の一形態に係る撮像方法は、撮像素子と、前記撮像素子上に光を集光して、像を結像させるレンズとを備える撮像装置が画像を撮像する方法である。具体的には、ユーザから露光開始の指示を受け付けた時点における合焦位置である初期合焦位置を特定するための前記撮像素子と前記レンズとの位置関係を検出する初期合焦位置検出ステップと、露光時間中における合焦位置が、前記初期合焦位置検出ステップで検出された前記撮像素子と前記レンズとの位置関係によって特定される初期合焦位置から、予め定められた合焦範囲の最近端及び最遠端を少なくとも1回ずつ通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する変位パターン決定ステップと、前記変位パターン決定ステップで決定された変位パターンに基づいて、合焦位置を、露光開始と共に初期合焦位置から移動させ、露光終了と共に再び初期合焦位置に到達させるように、前記撮像素子及び前記レンズの一方を移動させる変位制御ステップとを含む。
なお、本発明は、撮像装置及び撮像方法として実現できるだけでなく、撮像方法に含まれるステップをコンピュータに実行させるプログラムとして実現することもできるし、撮像装置の機能の一部を実現する半導体集積回路(LSI)として実現できる。そして、プログラムは、CD−ROM等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができる。
本発明によれば、撮像素子もしくはフォーカスレンズの露光中の変位方法を工夫することで、F−DOF方式におけるシャッタータイムラグの大幅な縮小を実現する。
図1は、本発明の実施の形態1に係る撮像装置の概略構成を示すブロック図である。
図2は、図1の撮像装置の動作を示すフローチャートである。
図3は、本発明の実施の形態1に係る撮像装置の詳細構成を示すブロック図である。
図4は、本発明の実施の形態1に係る撮像装置の詳細構成を示すブロック図である。
図5は、被写体距離uと像面側距離vとの位置関係を定義した図である。
図6は、被写体距離uと像面側距離vとの関係の一例を示したグラフである。
図7は、フォーカスレンズもしくは撮像素子の変位パターンの一例を示した図である。
図8は、フォーカスレンズもしくは撮像素子の変位パターンの一例を示した図である。
図9は、フォーカスレンズもしくは撮像素子の変位パターンの一例を示した図である。
図10は、フォーカスレンズもしくは撮像素子の変位パターンの一例を示した図である。
図11は、本発明の実施の形態2に係る撮像装置の詳細構成を示すブロック図である。
図12は、本発明の実施の形態2に係る撮像装置の詳細構成を示すブロック図である。
図13は、従来の撮像装置のブロック図である。
図14は、従来の撮像装置のブロック図である。
図15は、従来のフォーカスレンズもしくは撮像素子変位パターンの一例を示した図である。
図16は、シャッタータイムラグ及びレリーズタイムラグの関係を説明した図である。
以下、本発明の各実施の形態について図面を参照しながら説明する。
(実施の形態1)
本発明の実施の形態1における撮像装置について、図1〜10を参照しながら説明する。
まず、図1及び図2を参照して、本発明の実施の形態1に係る撮像装置1000の構成及び動作を説明する。なお、図1は、撮像装置1000の概略構成を示すブロック図である。図2は、撮像装置1000の動作を示すフローチャートである。撮像装置1000は、図1に示されるように、撮像素子110と、レンズ120と、初期合焦位置検出部130と、変位パターン決定部140と、変位制御部150とを備える。
撮像素子110は、結像した画像を電気信号に変換して出力する。撮像素子110の具体例は特に限定されないが、例えば、CCD(Charge Coupled Device Image Sensor)、又はCMOS(Complementary Metal Oxide Semiconductor Image Sensor)等を採用することができる。
レンズ120は、撮像素子110上に光を集光して、像を結像させる。レンズ120は、例えば、フォーカスレンズを含む複数のレンズで構成される。
初期合焦位置検出部130は、ユーザから露光開始の指示を受け付けた時点における撮像装置1000の合焦位置(「フォーカス位置」とも言う。以下同じ。)である初期合焦位置(「フォーカス初期位置」とも言う。以下同じ。)を検出する(S11)。なお、合焦位置は、撮像素子110とレンズ120と位置関係(より具体的には、距離)によって定まる。すなわち、初期合焦位置検出部130は、実際には、初期合焦位置を特定するための撮像素子110とレンズ120との位置関係を検出する。
変位パターン決定部140は、露光時間中における合焦位置が、初期合焦位置検出部130で検出された撮像素子110とレンズ120との位置関係によって特定される初期合焦位置から、予め定められた合焦範囲の最近端及び最遠端を少なくとも1回ずつ通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する(S12)。
なお、ここで決定される変位パターンは、合焦範囲の最近端及び最遠端のどちらを先に通過するものであってもよい。すなわち、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最近端、合焦範囲の最遠端の順に通って、再度初期合焦位置に戻るような変位パターンであってもよい。または、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最遠端、合焦範囲の最近端の順に通って、再び初期合焦位置に戻るような変位パターンであってもよい。
さらに、変位パターン決定部140は、露光時間中に変位パターンを何回実行させるかを示す往復回数を決定する。そして、変位パターン決定部140は、後述する露光時間決定部で決定された露光時間が長い程、この往復回数を増加させる。例えば、露光時間が10msの時に往復回数を1回とした場合、露光時間が20msの時には往復回数を2回にする。これにより、露光時間が変わっても撮像素子110又はレンズ120の変位速度が実質的に同一になるので、モータ等の駆動装置の負担が小さくなる。
変位制御部150は、変位パターン決定部140で決定された変位パターンに基づいて合焦位置を変化させるために、撮像素子110及びレンズ120の一方を移動させることによって、両者の間の距離(相対位置)を変化させる(S13)。具体的には、変位制御部150は、露光開始と共に(同時に)合焦位置を初期合焦位置から移動させ、露光終了と共に(同時に)合焦位置が再び初期合焦位置に到達するように、撮像素子110及びレンズ120の一方を移動させる。
なお、「露光開始(露光終了)と同時に」とは、厳密な同時性を要求するものではなく、制御信号を受信してから駆動装置が駆動するまでのタイムラグ等の誤差は許容されるものとする。また、変位制御部150は、撮像素子110を移動させることによって合焦位置を変位させてもよいし、レンズ120を移動させることによって合焦位置を変位させてもよい。
図3は、本実施の形態1に係る撮像装置100の詳細構成を示す図である。図3に示される撮像装置100は、撮像素子1と、レンズ2と、フォーカスレンズ20と、シャッター3と、フォーカスレンズ変位制御部4と、シャッター開閉指示部5と、レリーズ受付部6と、フォーカスレンズ初期位置検出部7と、露光時間決定部8と、フォーカスレンズ変位パターン決定部9と、露光・フォーカス変位同期管理部10と、画像復元処理部11と、PSF記憶部12と、撮像データ記録部13とを備える。
なお、図1の撮像素子110は図3の撮像素子1に、レンズ120はレンズ2に、初期合焦位置検出部130はフォーカスレンズ初期位置検出部7に、変位パターン決定部140はフォーカスレンズ変位パターン決定部9に、変位制御部150はフォーカスレンズ変位制御部4に、それぞれ対応する。
図4は、本実施の形態1における撮像装置200の詳細構成を示す図である。その構成と作用は、画像復元処理部11及びPSF記憶部12が省略されていることを除いて、図3に準じる。撮像装置200は、図3に示される撮像装置100と比較して、露光により得られた画像を直接撮像データ記録部13へ記録するのが特徴である。これは、画像復元処理を撮像装置200内ではなく、その後別の装置、例えばパーソナルコンピュータ、画像ビューワ、ネットワークサーバ等にて実現することを意図したものである。その他の構成は図3の撮像装置100と共通するので、以下、撮像装置100の構成及び動作を中心に説明する。
上記構成の撮像装置100において、シャッター3が開状態のとき、レンズ2で撮像素子1に被写体の光学像を結像させると、結像した光学像は、撮像素子1によって電気信号に変換される。なお、通常、光学像を結像させる際に、所望の被写体に対して合焦させるため、レンズ2は、フォーカスレンズ20とその他のレンズ群により構成される。また、フォーカスレンズ20は、複数枚のレンズで構成されていてもよい。
レリーズ受付部6がユーザから露光開始指示を受け付けると、フォーカスレンズ初期位置検出部7は、フォーカスレンズ20のそのときの合焦位置(初期合焦位置)を検出する。
露光時間決定部8は、シャッター速度(露光時間)及び絞り値などの撮影パラメータを決定する。露光時間は、例えば、明るいときは露光時間を短く、暗いときは露光時間を長くする等、周囲の明るさに応じて露光時間決定部8が決定してもよいし、ユーザの指示(動きの速い被写体を撮影する、又は風景を撮影する等)を受け付けて、決定してもよい。
フォーカスレンズ変位パターン決定部9は、フォーカスレンズ初期位置検出部7で検出されたフォーカスレンズ初期位置情報と、露光時間決定部8で決定された露光時間情報から、例えば図7〜図10に示すようなフォーカス変位パターンを決定する。そして、フォーカスレンズ変位パターン決定部9は、このフォーカス変位パターンに準じるフォーカスレンズ20の変位パターンを決定し、露光・フォーカス変位同期管理部10にその変位パターンを通知する。
露光・フォーカス変位同期管理部10は、その変位パターンに基づき、フォーカスレンズ変位制御部4とシャッター開閉指示部5とに対し、露光開始及び露光終了の同期管理を行う。すなわち、露光・フォーカス変位同期管理部10は、露光開始の指示をシャッター開閉指示部5に出力するのと同時に、フォーカスレンズ変位パターン決定部9で決定された変位パターンに基づいて、露光時間内にフォーカスレンズ20を変位させるように、フォーカスレンズ変位制御部4に指示する。
シャッター開閉指示部5は、露光開始指示が出されるとすぐに、シャッター3が開くよう制御を行う。また、所定の露光時間経過後、露光・フォーカス変位同期管理部10は、シャッター開閉指示部5へ露光終了を指示する。シャッター開閉指示部5は、露光終了指示が出されるとすぐに、シャッター3が閉まるよう制御を行う。また、フォーカスレンズ変位制御部4は、フォーカスレンズ変位パターン決定部9で決定された変位パターンに基づいて、合焦位置を、露光開始と共にフォーカス初期位置から移動させ、露光終了と共に再びフォーカス初期位置に到達させるように、フォーカスレンズ20を移動させる。
上記手順にて撮像素子1上に被写体の光学像を結像させると、結像した光学像は、撮像素子1によって電気信号(画像信号)に変換され、画像復元処理部11へ画像信号が移される。同時に、露光・フォーカス変位同期管理部10から画像復元処理部11へ、露光が終了したこととF−DOFによるフォーカス変位方式の撮影が行われたこととが通知される。
画像復元処理部11は、画像信号を受領後、PSF記憶部12から復元のためのPSFデータを読み出し、画像復元処理を行う。具体的には、フォーカス変位によるボケパターンを予め測定もしくはシミュレーションで求めておき、これをPSFデータとしてPSF記憶部12は保持しておく。また、画像復元の方法は、Wiener Filter、Lucy−Richardsonなどの様々な手法が知られているが、どの手法を用いてもよい。そして、画像復元処理部11は、復元した画像信号を撮像データとして撮像データ記録部13に記録する。
図5に示すように、被写体とレンズ2との間の距離を被写体距離u、レンズ2と撮像素子1との間の距離を像面側距離vとし、焦点距離をfとすると、一般的にレンズの公式より、式1の関係が成立する。
また、レンズが複数枚存在するときは、レンズ主点位置で考慮する。一例として、fが18[mm]のときの被写体距離uと像面側距離vとの関係を図6に示す。フォーカスレンズ20が変位することで、レンズ主点と撮像素子との間の距離である像面側距離vが変位する。ここで、撮像素子面で等速にフォーカス位置が変位するよう、フォーカスレンズ20に対して変位制御指示するとは、この像面側距離vの変化速度が一定であることを意味する。
なお、図6に示すように、像面側距離vが等速度で変位しても、被写体側の焦点面とレンズ主点との間の距離である被写体距離uが等速度で変位するわけではない。また、図7〜図10の縦軸は像面側距離vである。このため、露光時間と被写体距離uとの関係は、露光時間と像面側距離vとの関係に対して、大小が逆の関係になることに注意が必要である。
すなわち、被写体距離u側での最近端及び最遠端は、像面側では大小が入れ替わって、最遠端及び最近端になることになる。
図7は、フォーカス初期位置から被写体側でいう最近端へフォーカス位置を変位させ、最近端に到達した後、ただちに折り返して最遠端へと変位させる。最遠端へ到達したあと、再度ただちに折り返して、フォーカス初期位置まで変位させる。変位時の速度は原則一定の速度とし、露光時間決定部8にて定められた露光時間で1往復するように、この変位速度を定めるものとする。
原則一定の速度とするのは、一律の復元用PSFで画像復元処理を行うためには、被写体距離方向に対して均一なボケとなるようにすることが必要だからである。均一なボケを得るためには、像面側の変位を一定にし、最近端から最遠端までの露光量を一定にする必要がある。
図8は、図7の変位パターンを露光時間内に3往復させる場合を示している。このように、整数回往復させても、最近端から最遠端までの露光量を一定にすることができる。
図9は、図7の変位パターンとは逆向きに変位する変位パターンの例を示している。フォーカス初期位置から被写体側でいう最遠端へフォーカス位置を変位させ、最遠端に到達した後、ただちに折り返して最近端へと変位させる。最近端へ到達したあと、再度ただちに折り返して、フォーカス初期位置まで変位させる。変位時の速度は原則一定の速度とし、露光時間決定部8にて定められた露光時間で1往復するように、この変位速度を定めるものとする。このように、最近端及び最遠端の順序を逆にしても、最近端から最遠端までの露光量を一定にすることができる。
図10は、図9の変位パターンを露光時間内に3往復させる場合を示している。このように、逆の変位パターンを整数回往復させても、最近端から最遠端までの露光量を一定にすることができる。
ただし、従来の変位パターンである図15や本願の実施の形態1に係る変位パターンである図7〜10のように、一定速度で変位した場合、実は最近端及び最遠端の露光量は、中心部の露光量と比較して、厳密には一定にならない。一般的なレンズのもつデフォーカスパターンを見ればわかるように、合焦位置で最も鮮明な像が得られる一方で、その前後では、その距離が大きくなるほど鮮明度が徐々に落ちていくパターンをもつことが知られている。
最近端及び最遠端では、変位を打ち切ってしまうことで、変位のなくなった側からのデフォーカスパターンによる、鮮明度の貢献が得られない。その結果、最近端及び最遠端での鮮明度は、中心部の鮮明度よりもやや落ちる。これを補償するため、最近端及び最遠端での変位速度を、中心部での変位速度と比較して落とすような制御を行ってもよい。この場合、整数回往復変位する時間が、露光時間と合うように留意する必要がある。
このような構成の撮像装置100、200が、上記のような制御を行うことで、F−DOF方式の持つ、高画質性、EDOF効果の大きさ、EDOF範囲の任意設定性、EDOF撮影と通常撮影の切り替え容易性などを保持しつつ、シャッタータイムラグの大幅な縮小を実現することができる。
(実施の形態2)
本発明の実施の形態2における撮像装置について、図11及び図12を参照しながら説明する。
図11は、本実施の形態2における撮像装置300の詳細構成を示す図である。図11に示される撮像装置300は、撮像素子1と、シャッター3と、シャッター開閉指示部5と、レリーズ受付部6と、露光時間決定部8と、は画像復元処理部11と、PSF記憶部12と、撮像データ記録部13と、撮像素子初期位置検出部14と、撮像素子変位パターン決定部15と、露光・撮像素子変位同期管理部16と、撮像素子変位制御部17とを備える。
なお、図1の撮像素子110は図11の撮像素子1に、レンズ120はレンズ2に、初期合焦位置検出部130は撮像素子初期位置検出部14に、変位パターン決定部140は撮像素子変位パターン決定部15に、変位制御部150は撮像素子変位制御部17に、それぞれ対応する。また、図示は省略するが、撮像装置300は、フォーカスレンズ20を含むレンズ2をも備えている。
上記構成の撮像装置300において、レリーズ受付部6がユーザから露光開始指示を受け付けると、撮像素子初期位置検出部14は、撮像素子1のそのときの位置(初期位置)を検出する。
露光時間決定部8は、シャッター速度及び絞り値などの撮影パラメータを決定する。露光時間は、例えば、明るいときは露光時間を短く、暗いときは露光時間を長くする等、周囲の明るさに応じて露光時間決定部8が決定してもよいし、ユーザの指示(動きの速い被写体を撮影する、又は風景を撮影する等)を受け付けて、決定してもよい。
露光・撮像素子変位同期管理部16は、露光開始の指示を、撮像素子変位制御部17とシャッター開閉指示部5とに対して、露光開始及び露光終了の同期管理を行う。すなわち、露光・フォーカス変位同期管理部10は、露光開始の指示をシャッター開閉指示部5に出力するのと同時に、撮像素子変位パターン決定部15で決定された変位パターンに基づいて、露光時間内に撮像素子1を変位させるように、撮像素子変位制御部17に指示する。
なお、撮像素子1の変位速度は等速とする。シャッター開閉指示部5は、露光開始指示が出されるとすぐに、シャッター3が開くよう制御を行う。また、所定の露光時間経過後、露光・撮像素子変位同期管理部16は、シャッター開閉指示部5へ露光終了を指示する。シャッター開閉指示部5は、露光終了指示が出されるとすぐに、シャッター3が閉まるよう制御を行う。また、撮像素子変位制御部17は、撮像素子変位パターン決定部15で決定された変位パターンに基づいて、合焦位置を、露光開始と共にフォーカス初期位置から移動させ、露光終了と共に再びフォーカス初期位置に到達させるように、撮像素子1を移動させる。
上記手順にて撮像素子1に被写体の光学像を結像させると、結像した光学像は、撮像素子1によって電気信号(画像信号)に変換され、画像復元処理部11へ画像信号が移される。同時に、露光・撮像素子変位同期管理部16から画像復元処理部11へ、露光が終了したこととF−DOFによる撮像素子変位方式の撮影が行われたこととが通知される。これ以外の構成は、図3のフォーカスレンズ20を変位させる場合に準じる。
図12は、本実施の形態2における撮像装置400の詳細構成を示す図である。撮像装置400の構成と作用は、画像復元処理部11及びPSF記憶部12が省略されていることを除いて、図11に準じる。撮像装置400は、図11に示される撮像装置300と比較して、露光により得られた画像を直接撮像データ記録部13へ記録するのが特徴である。これは、画像復元処理を撮像装置400内ではなく、その後別の装置、例えばパーソナルコンピュータ、画像ビューワ、ネットワークサーバ等にて実現することを意図したものである。
撮像素子変位パターン決定部15は、撮像素子初期位置検出部14で検出された撮像素子初期位置情報と、露光時間決定部8で決定された露光時間情報とから、例えば、図7〜10に示すようなフォーカス変位パターンを決定する。そして、撮像素子変位パターン決定部15は、このフォーカス変位パターンに準じる撮像素子1の変位パターンを決定し、露光・フォーカス変位同期管理部10へその変位パターンを通知する。
なお、撮像素子1を変位させる場合、図5から明らかなように、レンズ2の位置を変位させなければ、フォーカス変位パターンは撮像素子1自身の変位パターンそのものとなる。露光・撮像素子変位同期管理部16は、その変位パターンに基づき、撮像素子変位制御部17とシャッター開閉指示部5とに対し、露光開始及び露光終了の同期管理を行う。
撮像素子1の変位パターンについては、実施の形態1に示した図7〜図10のパターンに準じる。撮像素子1そのものが変位する構成が実施の形態1との差異であり、変位パターンについては共通である。
このような構成の撮像装置300、400が、上記のような制御を行うことで、F−DOF方式の持つ、高画質性、EDOF効果の大きさ、EDOF範囲の任意設定性、EDOF撮影と通常撮影の切り替え容易性などを保持しつつ、シャッタータイムラグの大幅な縮小を実現することができる。
以上、本発明の実施の形態に係る撮像装置について説明したが、本発明は、この実施の形態に限定されるものではない。
また、上記実施の形態に係る撮像装置に含まれる複数の処理部のうち少なくとも一部は集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、本発明の実施の形態に係る撮像装置の機能の一部を、CPU等のプロセッサがプログラムを実行することにより実現してもよい。
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、上記実施の形態に係る、撮像装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
本発明にかかる撮像装置および撮像方法は、撮像素子もしくはフォーカスレンズの露光中の動かし方を工夫することで、F−DOF方式の欠点である、シャッタータイムラグの大幅な縮小を実現できる。
これらの構成は、例えば民生用もしくは業務用撮像装置(デジタルスチルカメラ)などの分野において有用である。
1,110 撮像素子
2,120 レンズ
20 フォーカスレンズ
3 シャッター
4 フォーカスレンズ変位制御部
5 シャッター開閉指示部
6 レリーズ受付部
7 フォーカスレンズ初期位置検出部
8 露光時間決定部
9 フォーカスレンズ変位パターン決定部
10 露光・フォーカス変位同期管理部
11 画像復元処理部
12 PSF記憶部
13 撮像データ記録部
14 撮像素子初期位置検出部
15 撮像素子変位パターン決定部
16 露光・撮像素子変位同期管理部
17 撮像素子変位制御部
18 フォーカスレンズ位置初期化部
19 撮像素子位置初期化部
100,200,300,400,500,600,1000 撮像装置
130 初期合焦位置検出部
140 変位パターン決定部
150 変位制御部