WO2013171954A1 - 撮像装置、半導体集積回路および撮像方法 - Google Patents

撮像装置、半導体集積回路および撮像方法 Download PDF

Info

Publication number
WO2013171954A1
WO2013171954A1 PCT/JP2013/001784 JP2013001784W WO2013171954A1 WO 2013171954 A1 WO2013171954 A1 WO 2013171954A1 JP 2013001784 W JP2013001784 W JP 2013001784W WO 2013171954 A1 WO2013171954 A1 WO 2013171954A1
Authority
WO
WIPO (PCT)
Prior art keywords
range
displacement
focus lens
imaging
image sensor
Prior art date
Application number
PCT/JP2013/001784
Other languages
English (en)
French (fr)
Inventor
武史 島本
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US14/123,421 priority Critical patent/US8890996B2/en
Priority to JP2013539048A priority patent/JP5934940B2/ja
Publication of WO2013171954A1 publication Critical patent/WO2013171954A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems

Abstract

　本願に開示された撮像装置は、撮像素子と、撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、撮像素子とフォーカスレンズとの距離が変化するように、撮像素子またはフォーカスレンズの一方を駆動する駆動部と、駆動部に指令を出力することにより、所定の変位パターンに基づき、一方の駆動による変位を制御するように構成された変位制御部と、撮像素子の露光のタイミングに基づき、変位制御部を制御するように構成された同期部とを備える。撮像素子またはフォーカスレンズの変位範囲は、第１範囲と第１範囲と離間した第２範囲と、第１範囲および第２範囲とに挟まれた第３範囲とを含み、所定の変位パターンは、撮像素子またはフォーカスレンズの一方が、第１範囲、第２範囲および第３範囲の全体をそれぞれ少なくとも１回変位する第１、第２および第３タイプの変位パターンを含み、第１タイプの変位パターンおよび第２タイプの変位パターンの一方と、第３タイプの変位パターンとは、交互に繰り返される。

Description

撮像装置、半導体集積回路および撮像方法
　本願は被写体深度拡張技術を利用した動画を撮影することが可能な撮像素子に関する。
　撮像装置において、被写界深度拡張（Ｅｘｔｅｎｄｅｄ　Ｄｅｐｔｈ　Ｏｆ　Ｆｉｅｌｄ、以下ＥＤＯＦと称する）を実現する方式として、様々な方法が提案されている。例えば、露光時間中にフォーカスレンズもしくは撮像素子を動かすフォーカススイープ動作を行い、深度方向に一律に合焦した画像を畳み込み（つまり各深度でボケを均一化することと同義）、あらかじめ測定もしくはシミュレーションにより得られたボケパターンによって画像復元処理を行うことによって、ＥＤＯＦ画像を得る方法が提案されている（非特許文献１）。この方法は、Ｆｌｅｘｉｂｌｅ　ＤＯＦ（以下Ｆ－ＤＯＦと称する）と称される。
　Ｆ－ＤＯＦは、良好な画質が得られる方式として知られており、ＥＤＯＦ効果も高い。軸外特性もレンズ特性そのものに依存するため、性能を高めやすい。ただし、露光中フォーカス位置を動かしても、同一被写体が同一の画像位置上に畳み込まれる必要があることから、光学的な条件として像側テレセントリックレンズである必要がある。
　ＥＤＯＦ技術の利用分野の１つに、顕微鏡が挙げられる。顕微鏡による撮像の場合、撮影対象が静物体であるため、時間をかけて撮影することができる。このため、Ｆｏｃａｌ　Ｓｔａｃｋ方式が古くから用いられてきた。この方式は、合焦位置の異なる複数枚の画像を撮影し、それぞれ合焦していると思われる領域をそれぞれの画像から抽出・合成し、ＥＤＯＦ画像を得る。これらの作業に手間および時間を要することから、Ｆ－ＤＯＦ方式も併用した技術が提案されている（特許文献１～４）。Ｆ－ＤＯＦを顕微鏡用途で用いる場合、露光中に被写体である試料またはレンズ鏡筒を移動させる。露光後の画像復元処理を前提とする場合、像のボケが常に均一になるよう被写体またはレンズ鏡筒を移動させる。この移動の仕方を適切に制御すれば、単一のボケパターンを使った画像復元処理方法が適用できるため合理的であることが知られている（特許文献５）。そのためには、撮像素子を移動させる場合、撮像素子を等速度で動かす。またフォーカスレンズを移動させる場合、撮像面が等速度で動くのに相当するフォーカスレンズの変位を行う必要がある（非特許文献１）。動かすパターンとしては、奥側合焦端位置から手前側合焦端位置まで、またはその逆でもよいことが知られている。
　この一例を図１８に示す。図１８（ａ）および（ｂ）は、横軸に時間を取った場合の撮像素子の露光状態および撮像素子の読み出し状態を示しており、図１８（ｃ）は、横軸に時間をとり、縦軸にフォーカス位置を取った場合のフォーカスレンズの変位を示している。図１８（ａ）および（ｂ）において斜線部は撮像素子への露光およびデータの読み出しを行うタイミングを示している。フォーカス位置を近側合焦位置から遠側合焦位置に変位させる動作に同期して撮像素子への露光を行うことで、同一シーンの種々の位置にある被写体を同一の画像位置上に、焦点が合った状態で畳み込んだ画像を得ることができる。以下、このようなフォーカス位置の変位を「スイープパターン」、得られる画像を「スイープ画像」と呼ぶ。別の例を図１８（ｄ）に示す。この例では、撮像素子の露光時間中にフォーカス位置を近側合焦位置から遠側合焦位置の間を往復変位することでスイープ画像を得ている。このようなスイープパターンであっても、直線変位部分のフォーカスレンズの変位速度が等速であれば、各フォーカス位置での露光時間は均一となるため、図１８（ｃ）で説明したものと同等のスイープ画像を得ることができる。
　この技術は、通常のデジタルスチルカメラ、デジタルビデオカメラに応用可能である。近年、デジタルスチルカメラやデジタルビデオカメラには、より簡単にかつ失敗の少ない撮影が求められている。ＥＤＯＦ技術には全焦点画像、すなわち合焦ミスからの開放という効果が期待できる。高画質であること、ＥＤＯＦ効果の大きさ、ＥＤＯＦ範囲の任意変更が可能なこと、通常のオートフォーカス機構を応用することで実現可能なこと（特別な光学系を用意しなくてすむこと）、ＥＤＯＦ撮影と通常撮影の切り替えが容易なこと、などから、デジタルスチルカメラやデジタルビデオカメラにＥＤＯＦ技術を用いる場合、Ｆ－ＤＯＦ方式が好適であると考えられる。
独国特許発明第２３０１８００号明細書 特公平５－２７０８４号公報 特許第３１９１９２８号公報 米国特許第７７１１２５９号明細書 特許第３０８４１３０号公報
Ｈ．Ｎａｇａｈａｒａ，　Ｓ．Ｋｕｔｈｉｒｕｍｍａｌ，　Ｃ．Ｚｈｏｕ　ａｎｄ　Ｓ．Ｎａｙａｒ，　"Ｆｌｅｘｉｂｌｅ　Ｄｅｐｔｈ　ｏｆ　Ｆｉｅｌｄ　Ｐｈｏｔｏｇｒａｐｈｙ"，　Ｅｕｒｏｐｅａｎ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　（ＥＣＣＶ），Ｏｃｔ．１６ｔｈ，　Ｍｏｒｎｉｎｇ　Ｓｅｓｓｉｏｎ　２：　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｐｈｏｔｏｇｒａｐｈｙ　（２００８） 松井修平，　長原一，　谷口倫一郎，「フォーカススイープ撮像によるＤＦＤ」，　情報処理学会研究報告，　２０１０－ＣＶＩＭ－１７４　Ｎｏ，６，　（２０１０）
　デジタルスチルカメラやデジタルビデオカメラにＥＤＯＦ技術を用いる場合、動画撮影においても、ＥＤＯＦ撮影が行えることが好ましい。また、被写体の距離情報を得られることが好ましい。本願は、ＥＤＯＦ動画を撮影でき、精度よく被写体の距離情報を推定することのできる撮像装置、撮像装置に用いられる集積回路および撮像方法を提供する。
　本発明の一態様である撮像装置は、二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記一方の駆動による変位を制御するように構成された変位制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御するように構成された同期部とを備え、前記一方の変位範囲は、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間において、第１範囲と前記第１範囲と離間した第２範囲と、前記第１範囲および前記第２範囲とに挟まれた第３範囲とを含み、前記所定の変位パターンは、前記撮像素子または前記フォーカスレンズの一方が、前記第１範囲、前記第２範囲および前記第３範囲の全体をそれぞれ少なくとも１回変位する第１、第２および第３タイプの変位パターンを含み、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンの一方と、前記第３タイプの変位パターンとは、交互に繰り返される。
　本願に開示された撮像装置によれば、変位範囲が離間した２つの範囲でフォーカスレンズを変位させることにより、ハーフスイープのＥＤＯＦ画像を取得することができる。また、被写体の距離を精度良く推定することができる。
第１および第３の実施形態による撮像装置のブロック構成図を示す。 第１および第３の実施形態による撮像装置の動作を示すフローチャートである。 図２における露光・スイープステップをさらに詳細に説明したフローチャートである。 第１および第２の実施形態におけるフォーカスレンズまたは撮像素子の変位パターンおよび露光のタイミングの一例を示す図である。 第２の実施形態による撮像装置のブロック構成図を示す。 第２の実施形態による撮像装置の動作を示すフローチャートである。 （ａ）ＣＭＯＳイメージセンサによって構成される撮像素子のローリングシャッタ動作を説明する図であり、（ｂ）および（ｃ）は、フォーカスレンズの変位パターンの例をそれぞれ示す図である。 第３の実施形態におけるフォーカスレンズの変位パターンおよび露光のタイミングの一例を示す図である。 第３の実施形態におけるフォーカスレンズの変位パターンおよび露光のタイミングの一例を示す図である。 第３の実施形態におけるフォーカスレンズの変位パターンおよび露光のタイミングの一例を示す図である。 第３の実施形態におけるフォーカスレンズの変位パターンおよび露光のタイミングの一例を示す図である。 第４の実施形態におけるフォーカスレンズの変位パターンおよび露光のタイミングの一例を示す図である。 第４の実施形態におけるフォーカスレンズの変位パターンおよび露光のタイミングの一例を示す図である。 第４の実施形態におけるフォーカスレンズの変位パターンおよび露光のタイミングの一例を示す図である。 第４の実施形態におけるフォーカスレンズの変位パターンおよび露光のタイミングの一例を示す図である。 第４の実施形態におけるフォーカスレンズの変位パターンおよび露光のタイミングの一例を示す図である。 （ａ）は第５の実施形態におけるフォーカスレンズの変位パターンの一例を示す図であり、（ｂ）および（ｃ）は第３範囲Ｓ１３’における変位速度の例を示す図である。（ｄ）は、変位パターンＳ１０、Ｓ３０、Ｓ５０の変位範囲を示しており、（ｅ）は、変位パターンＳ１０、Ｓ３０、Ｓ５０によって得られる画像の被写体距離とぼけ量との関係を示している。 （ａ）、（ｂ）は、撮像素子における露光のタイミングを示す図であり、（ｃ）、（ｄ）は、（ａ）、（ｂ）の露光のタイミングに対応してＥＤＯＦ画像を得るための、フォーカスレンズの変位パターンを示す図である。 本願発明者が検討した撮像装置のブロック構成図である。 被写体、フォーカスレンズおよび撮像素子の位置関係を示す図である。 図１８に示す撮像装置におけるフォーカスレンズの位置と露光時間との関係を示す図である。 被写体距離ｕと像面側焦点距離ｖの関係の一例を示すグラフである。 本願発明者が検討した他の撮像装置のブロック構成図である。 Ｆ－ＤＯＦ方式によるフォーカスレンズの変位パターンを示す図である。 （ａ）から（ｃ）はハーフスイープ方式で画像を取得する場合におけるフォーカスレンズの変位範囲および撮影された画像における被写体距離とぼけ量との関係を示す図であって、（ａ）、（ｂ）、（ｃ）はフォーカスレンズの２つの変位範囲が接している場合、離間している場合、重なっている場合における結果を示している。
　本願発明者は、通常の撮影に用いられる、オートフォーカス機構等のフォーカスレンズを駆動させる機構を備えたデジタルスチルカメラやデジタルビデオカメラにおいて、ＥＤＯＦ動画を得るために適した構造について詳細に検討した。
　まず、Ｆ－ＤＯＦ方式の撮影を実現するのに必要な構成を、図１９を用いて説明する。図１９に示す撮像装置３００は、露光時間中にフォーカスレンズを変位させる構造を備えている。撮像装置３００は、フォーカスレンズ１０１を含むレンズ光学系１２０、フォーカスレンズ１０１を駆動するフォーカスレンズ駆動部１０３および撮像素子１０４を含む。フォーカスレンズ１０１の位置を変化させることにより、撮像素子１０４との距離を変化させ、フォーカス距離を変更し得る。フォーカスレンズ１０１が固定していると考えた場合、フォーカス距離の変更は、焦点位置の変更と同義である。
　レリーズ受付部１１３がユーザから露光開始指令を受け付けると、フォーカスレンズ位置検出部１１５が、フォーカスレンズ１０１のそのときの位置（初期位置）を検出する。検出後、フォーカスレンズ１０１の位置を所定の端位置、例えば最近端もしくは最遠端へ変位させる。
　図２０は、撮影シーンに含まれる被写体と撮像装置３００内におけるフォーカスレンズ１０１および撮像素子１０４との位置関係を示す模式図である。
　最近端とは、撮影シーンに含まれる被写体のうち、撮像装置３００に最も近い被写体が撮像素子１０４の撮像面上において像を形成するようにフォーカスレンズ１０１を移動させた場合におけるフォーカスレンズ１０１の位置をいう。この時、撮像面上において合焦する被写体から撮像装置３００のフォーカスレンズ１０１までの距離ｕは最も短くなり、フォーカスレンズ１０１と撮像素子１０４との距離ｖは最も長くなる。
　また、最遠端とは、撮影シーンに含まれる被写体のうち、撮像装置３００に最も遠い被写体が撮像素子１０４の撮像面上において像を形成するようにフォーカスレンズ１０１を移動させた場合におけるフォーカスレンズ１０１の位置をいう。この時、撮像面上において合焦する被写体から撮像装置３００のフォーカスレンズ１０１までの距離ｕは最も長くなり、フォーカスレンズ１０１と撮像素子との距離ｖは最も短くなる。なお、図２０では、図示し易さのため、被写体と撮像装置３００との距離に比べて、フォーカスレンズ１０１の最近端と最遠端との距離が大きく示されている。
　フォーカスレンズ１０１の初期化作業と同時に、露光時間決定部１１４にて、シャッタ速度や絞り値などの撮影パラメータを決定する。これらの動作の終了後すみやかに、露光、フォーカスレンズの変位の同期を取る露光・フォーカスレンズ変位同期部１０７は、露光開始の指令をフォーカスレンズ変位制御部１０６およびシャッタ開閉指令部１１２へ出力する。同時にフォーカスレンズ位置検出部１１５で検出されたフォーカスレンズ１０１の端位置に基づき、端位置が最遠端であれば最遠端から最近端へ、端位置が最近端であれば最近端から最遠端へ、露光時間内にフォーカスレンズ１０１を変位させる指令をフォーカスレンズ変位制御部１０６へ出力する。
　図２１は、露光時間および露光量と像面側の焦点距離との関係を示している。像面側の焦点距離はフォーカスレンズ１０１の位置によって変化し、撮像素子面に対して等速にフォーカスレンズの位置が変位するよう、フォーカスレンズ変位制御部１０６の指令に基づき、フォーカスレンズ１０１がフォーカスレンズ駆動部１０３によって駆動される。上述したように、被写体とフォーカスレンズ１０１との距離をｕとし、フォーカスレンズ１０１と撮像素子１０４との距離をｖとし、焦点距離をｆとすると、一般的にレンズの公式より、
 １／ｆ＝１／ｕ＋１／ｖ　　（式１）
の関係が成り立つ。レンズが複数枚存在するときは、レンズ主点位置で考慮する。一例として、ｆが１８［ｍｍ］のときのｕとｖとの関係を図２２に示す。フォーカスレンズ１０１が変位することにより、レンズ主点と撮像素子間の距離ｖが変化する。撮像素子面に対して等速にフォーカスレンズの変位が変化するよう、フォーカスレンズ１０１を駆動するとは、このｖの変化速度が一定であることを意味する。図２２に示すように、ｖが等速度で変位しても、被写体側の焦点面とレンズ主点間の距離ｕが等速度で変位するわけではない。また図２２の横軸は像面側焦点距離ｖであるため、被写体距離ｕの大小とは逆の関係になる。つまり、被写体距離が長い（遠くに位置する）被写体ほど像面側焦点距離ｖが短くなる。
　露光・フォーカスレンズ変位同期部１０７から露光開始指令を受け取ると、シャッタ開閉指令部１１２はすぐに、シャッタ１１１が開くよう制御する。また所定の露光時間経過後、露光・フォーカスレンズ変位同期部１０７は、シャッタ開閉指令部１１２へ露光終了指令を出力する。シャッタ開閉指令部１１２は露光終了指令を受け取り、すぐに、シャッタ１１１が閉まるよう制御を行う。
　上記手順によって撮像素子１０４に被写体の光学像が結像すると、結像した光学像は、撮像素子１０４によって電気信号に変換され、読み出し回路１０８を介して、画像処理部１０９へ画像信号が出力される。同時に露光・フォーカスレンズ変位同期部１０７より画像処理部１０９へ、露光が終了したことおよびＦ－ＤＯＦによるフォーカスレンズの変位の撮影が行われたことが通知される。画像処理部１０９は画像信号を受け取り、必要な信号処理を行い、記録部１１０へ出力する。
　図２３に示す撮像装置４００は、撮像素子１０４、撮像素子位置検出部２０２、露光・撮像素子変位同期部２０７、撮像素子変位制御部２０６、撮像素子駆動部２０３を備え、露光時間中に撮像素子を変位させる。撮像素子位置検出部２０２は、撮像装置３００とは異なり、撮像素子１０４の位置を検出する。露光・撮像素子変位同期部２０７は露光のタイミングと撮像素子１０４の変位との同期を取る。撮像素子変位制御部２０６は、撮像素子１０４の変位を制御する。撮像素子駆動部２０３は、撮像素子変位制御部２０６からの信号を受けて撮像素子１０４を駆動する。
　レリーズ受付部１１３がユーザから露光開始指令を受け付けると、撮像素子位置検出部２０２が、撮像素子１０４のそのときの位置（初期位置）を検出する。検出後、撮像素子１０４の位置を所定の端位置、例えば最近端もしくは最遠端へ変位させる。ここで所定の合焦範囲のうち、最近端とは、撮影シーンに含まれる被写体のうち、撮像装置４００に最も近い被写体が撮像素子１０４の撮像面上において像を形成するように撮像素子１０４を移動させた場合における撮像素子１０４の位置をいう。この時、被写体からフォーカスレンズ１０１までの距離ｕは最も短くなり、フォーカスレンズ１０１と撮像素子１０４との距離ｖは最も長くなる。また、最遠端とは、撮影シーンに含まれる被写体のうち、撮像装置４００に最も遠い被写体が撮像素子１０４の撮像面上において像を形成するように撮像素子１０４を移動させた場合における撮像素子１０４の位置をいう。この時、被写体からフォーカスレンズ１０１までの距離ｕは最も長くなり、フォーカスレンズ１０１と撮像素子１０４との距離ｖは最も短くなる。
　撮像素子１０４の初期化作業と同時に、露光時間決定部１１４にて、シャッタ速度や絞り値などの撮影パラメータを決定する。これらの動作の終了後すみやかに、露光、撮像素子変位の同期を取る露光・撮像素子変位同期部２０７は、露光開始の指令を撮像素子変位制御部２０６およびシャッタ開閉指令部１１２へ出力する。同時に撮像素子位置検出部２０２で検出された撮像素子１０４の端位置に基づき、端位置が最遠端であれば最遠端から最近端へ、端位置が最近端であれば最近端から最遠端へ、露光時間内に撮像素子１０４を変位させる指令を撮像素子変位制御部２０６へ出力する。撮像素子１０４は等速で変位する。
　露光・撮像素子変位同期部２０７から露光開始指令を受け取ると、シャッタ開閉指令部１１２はすぐに、シャッタ１１１が開くよう制御する。また所定の露光時間経過後、露光・撮像素子変位同期部２０７は、シャッタ開閉指令部１１２へ露光終了指令を出力する。シャッタ開閉指令部１１２は露光終了指令を受け取り、すぐに、シャッタ１１１が閉まるよう制御する。
　上記手順にて撮像素子１０４に被写体の光学像を結像すると、結像した光学像は、撮像素子１０４によって電気信号に変換され、読み出し回路１０８を介して画像処理部１０９へ電気信号が出力される。同時に露光・撮像素子変位同期部２０７より画像処理部１０９へ、露光が終了したことおよびＦ－ＤＯＦによるフォーカスレンズの変位の撮影が行われたことが通知される。これ以外の構成は、図１９に示す撮像装置３００と同じ動作を行う。
　このような構成によって、デジタルスチルカメラ・デジタルビデオカメラにおいてＦ－ＤＯＦ方式の撮影が実現できるが、動画を撮影する場合、動画を構成する１コマ１コマの画像の間にタイムラグが発生することなく連続的に撮影を行うこと好ましい。このために、動画撮影中は図２４に示すようにフォーカスレンズの位置を最遠端と最近端との間で往復変位させ、往の変位および復の変位にそれぞれ１ビデオフレーム期間を割り当てることによって、なめらかなＥＤＯＦ動画を撮影することが可能となる。
　このようにして得られた全焦点画像に加えて、撮影シーンの奥行き情報、つまり、撮影シーンに含まれる複数の被写体の前後関係を示す距離情報があれば、撮影シーンの三次元情報を得ることができる。撮影シーンにおける被写体の距離計測技術について様々な方式が提案されている。それらを大別すると、赤外線や超音波、レーザーなどを照射し、反射波が戻ってくるまでの時間や反射波の角度などをもとに距離を算出する能動的手法と、被写体の像に基づいて距離を算出する受動的手法がある。特にカメラにおいては赤外線などを照射するための装置を必要としない受動的手法が広く用いられている。
　受動的手法にも多くの手法が提案されているが、その一つとしてフォーカスの変化によって生じるぼけに基づいて距離を計測するＤｅｐｔｈ　ｆｒｏｍ　Ｄｅｆｏｃｕｓ（以下ＤＦＤと呼ぶ）と呼ばれる手法がある。この手法によれば、複数のカメラを必要せず、少数の画像から距離計測を行うことが可能である。
　ＤＦＤを実現する手法として、前述のＦ－ＤＯＦを利用したハーフスイープと呼ばれる方式が提案されている（非特許文献２）。この方式は、Ｆ－ＤＯＦにおけるフォーカススイープの範囲を遠側合焦端位置（最遠端）と近側合焦端位置（最近端）との間の中間合焦位置で二分し、それぞれの範囲でスイープして得られる二枚の画像を用いて奥行きを推定する。また、同時にこの二枚の画像を用いて全焦点画像を生成することが可能である。以下、区別のため遠側合焦端位置から近側合焦端位置までの全区間をスイープする前述の方式をフルスイープと称する。
　図２５（ａ）を参照しながら、非特許文献２に開示されたＤＦＤによって、奥行きを推定する方法を説明する。
　図２５（ａ）の右側の図は、ハーフスイープ方式によって合焦位置を変化させながら撮影する場合におけるレンズ位置と、焦点が合う被写体距離との関係を示している。最近端と最遠端との間を中間合焦位置で二分し、範囲Ｓ１内および範囲Ｓ２内でそれぞれレンズを移動させながら被写体を撮影する。
　図２５（ａ）の左側の図はこのようにした撮影した２つの画像において、それぞれの画像に含まれる、種々の距離にある被写体とその被写体のぼけ量との関係を示している。曲線Ｓ１は、図２５（ａ）の右側の図における範囲Ｓ１でフォーカスレンズを変位させた場合に得られる画像における関係を示し、曲線Ｓ２は、範囲Ｓ２でフォーカスレンズを変位させた場合に得られる画像における関係を示している。曲線Ｓ１において、範囲Ｓ１’で示される距離にある被写体のぼけ量は小さく、また、ぼけ量は一定である。これは、フォーカスレンズを範囲Ｓ１で変位させた場合に、焦点が合う被写体の範囲を示している。範囲Ｓ１’外にある被写体には焦点は合わないため、範囲Ｓ１’から遠ざかるにつれて被写体はぼける。曲線Ｓ２についても同様である。ＤＦＤでは、これら２つの画像から、被写体の距離を算出する。この場合、２つの画像におけるぼけ量の差が大きいほど、算出される被写体の距離の精度は高くなる。このため、図に示すように、範囲Ｓ１’と範囲Ｓ２’の境界近傍に位置する被写体の距離の算出精度は悪くなる。
　このような精度の低下を抑制するために、出願人は、国際公開第２０１２／０６６７７４号において、２つのフォーカスレンズの変位範囲を離間させるハーフスイープ方式によって被写体の距離の推定する方法を提案している。図２５（ｂ）の右側の図に示すように、最近端と最遠端との間において、範囲Ｓ３を隔てて範囲Ｓ１および範囲Ｓ２を設定し、範囲Ｓ１内および範囲Ｓ２内でそれぞれレンズを移動させながら被写体を撮影する。
　図２５（ｂ）の左側の図はこのようにした撮影した２つの画像において、それぞれの画像に含まれる、種々の距離にある被写体とその被写体のぼけ量との関係を示している。図から分かるように、範囲Ｓ３に対応する範囲Ｓ３’にある被写体は、フォーカスレンズが合焦位置にないため、曲線Ｓ１および曲線Ｓ２のいずれにおいても、ぼけ量が一定とならない。また、範囲Ｓ３’においては、曲線Ｓ１’を示す画像と曲線Ｓ２’を示す画像におけるぼけ量の差が図２５（ａ）の場合に比べて大きい。このため、この方法によれば、範囲Ｓ３’においても算出される被写体の距離の精度を高められる。
　なお、２つのフォーカスレンズの変位範囲が重なる場合、被写体距離の算出精度が悪い範囲が広くなる。図２５（ｃ）の右側の図に示すように、最近端と最遠端との間において、範囲Ｓ１および範囲Ｓ２が部分的に重なるように設定し、範囲Ｓ１内および範囲Ｓ２内でそれぞれレンズを移動させながら被写体を撮影した場合、図２５（ｃ）の左側の図に示すように、２つの画像におけるぼけ量が最少となる領域Ｓ１’とＳ２’とは部分的に重なってしまう。
　したがって、デジタルスチルカメラやデジタルビデオカメラにおいて、精度の高い撮影シーンの奥行き情報の推定を行い、ＥＤＯＦ動画を得るためには、上述した２つのフォーカスレンズの変位範囲を離間させるハーフスイープ方式を用いことが好ましい。
　また、デジタルビデオカメラにおいて、被写体の移動に伴いながら、品質の高い全焦点画像を取得するには、被写体の移動に伴って、フォーカスレンズの変位範囲も変化させることが好ましい。
　本願発明者は、このような課題に対応し、デジタルスチルカメラやデジタルビデオカメラにおいて、精度の高い被写体までの距離の推定（撮影シーンの奥行き情報の推定）を行い、ＥＤＯＦ動画を得る新規な撮像装置を想到した。
　本発明の一態様の概要は以下のとおりである。
　本発明の一態様である撮像装置は、二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記一方の駆動による変位を制御するように構成された変位制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御するように構成された同期部とを備え、前記一方の変位範囲は、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間において、第１範囲と前記第１範囲と離間した第２範囲と、前記第１範囲および前記第２範囲とに挟まれた第３範囲とを含み、前記所定の変位パターンは、前記撮像素子または前記フォーカスレンズの一方が、前記第１範囲、前記第２範囲および前記第３範囲の全体をそれぞれ少なくとも１回変位する第１、第２および第３タイプの変位パターンを含み、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンの一方と、前記第３タイプの変位パターンとは、交互に繰り返される。
　前記複数の光電変換素子のうち、画像を構成する光電変換素子の露光中に、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンに従って、前記一方が変位し、前記画像を構成する光電変換素子の非露光中に、前記第３タイプの変位パターンに従って、前記一方が変位してもよい。
　前記第１タイプの変位パターンおよび前記第２タイプの変位パターンは、略等速で前記一方が変位する副変位パターンを含み、前記第１タイプの変位パターンの前記副変位パターンにおける速さは、前記第２タイプの変位パターンの前記副変位パターンにおける速さと等しくてもよい。
　前記第３タイプの変位パターンにおける前記一方が変位する速さは、前記第１タイプおよび前記第２タイプの変位パターンの前記副変位パターンにおける速さと異なっていてもよい。
　前記第３タイプの変位パターンにおける前記一方が変位する速さは、前記第１タイプおよび前記第２タイプの変位パターンの前記副変位パターンにおける速さよりも大きくてもよい。
　前記第３タイプの変位パターンは、前記第３範囲の全体と、前記第１範囲の少なくとも一部および前記第２範囲の少なくとも一部とを含む範囲全体を少なくとも１回変位してもよい。
　前記第３タイプの変位パターンは、前記第３範囲の全体と、前記第１範囲の全体と、前記第２範囲の全体とを含む全範囲を少なくとも１回変位してもよい。
　前記第３タイプの変位パターンは、前記第３範囲内において、変位しない期間を含んでいてもよい。
　前記第１タイプの変位パターン、前記第２タイプの変位パターンおよび前記第３の変位パターンに従って、前記一方がそれぞれ変位する期間の少なくとも一部において、前記複数の光電変換素子のうち、画像を構成する光電変換素子が露光してもよい。
　前記第１タイプの変位パターンおよび前記第２タイプの変位パターンは、前記第３タイプの変位パターンを挟んで交互に繰り返されてもよい。
　前記第１タイプの変位パターンおよび前記第２タイプの変位パターンは、前記一方は、前記第１範囲および前記第２範囲の全体を少なくとも一往復してもよい。
　前記第１タイプ、第２タイプおよび第３タイプの変位パターンの繰り返しにおいて、前記第１範囲、前記第２範囲および前記第３範囲の位置が異なっていてもよい。
　前記第１タイプ、第２タイプおよび第３タイプの変位パターンの繰り返しにおいて、前記第１範囲および前記第２範囲の長さは等しいが位置が前記第１合焦位置と前記第２合焦位置との間で異なっていてもよい。
　前記撮像装置は、前記撮像シーンに基づいて前記撮像素子の露光時間を決定する露光時間決定部と、前記第１合焦位置、前記第２合焦位置および前記露光時間に基づいて前記変位パターンを決定する変位設定部とをさらに備えていてもよい。
　前記撮像装置は、前記撮像素子または前記フォーカスレンズの一方の位置を検出する位置検出部をさらに備え、前記変位制御部は前記位置検出部の出力および前記変位パターンに基づき、前記駆動部に駆動量を指令してもよい。
　前記撮像装置は、前記撮像素子から前記画像信号を読み出す読み出し回路をさらに備え、前記同期部は、前記撮像素子の露光のタイミングに基づき、前記変位制御部および前記読み出し回路を制御してもよい。
　前記撮像素子は、ＣＣＤイメージセンサであってよい。
　前記撮像素子は、ＣＭＯＳイメージセンサであってよい。
　前記第１タイプの変位パターンおよび前記第２タイプの変位パターンは、それぞれ、少なくとも全変位範囲を２以上の整数回、往復変位してもよい。
　本発明の一態様である集積回路は、二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部とを備えた撮像装置の集積回路であって、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆一方の駆動による変位を制御するように構成された変位制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御するように構成された同期部とを備え、前記撮像素子または前記フォーカスレンズの一方の変位範囲は、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間において、第１範囲と前記第１範囲と離間した第２範囲と、前記第１範囲および前記第２範囲とに挟まれた第３範囲とを含み、前記所定の変位パターンは、前記撮像素子または前記フォーカスレンズの一方が、前記第１範囲、前記第２範囲および前記第３範囲の全体をそれぞれ少なくとも１回変位する第１、第２および第３タイプの変位パターンを含み、前記複数の光電変換素子のうち、画像を構成する光電変換素子の露光中に、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンに従って、前記一方が変位し、前記画像を構成する光電変換素子の非露光中に、前記第３タイプの変位パターンに従って、前記一方が変位する。
　本発明の一態様である撮像方法は、二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子に、フォーカスレンズによって光を集光することにより、前記フォーカスレンズまたは前記撮像素子を変位させながら前記複数の光電変換素子を露光させ撮像シーンを結像させる撮像方法であって、前記撮像素子または前記フォーカスレンズの変位範囲は、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間において、第１範囲と前記第１範囲と離間した第２範囲と、前記第１範囲および前記第２範囲とに挟まれた第３範囲とを含み、前記所定の変位パターンは、前記撮像素子または前記フォーカスレンズの一方が、前記第１範囲、前記第２範囲および前記第３範囲の全体をそれぞれ少なくとも１回変位する第１、第２および第３タイプの変位パターンを含み、前記複数の光電変換素子のうち、画像を構成する光電変換素 子の露光中に、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンに従って、前記一方が変位し、前記画像を構成する光電変換素子の非露光中に、前記第３タイプの変位パターンに従って、前記一方が変位する。
　以下、図面を参照しながら、本発明による撮像装置、集積回路および撮像方法の実施の形態を詳細に説明する。以下の説明において、同じ構成要素には同じ符号を付しており、説明を省略する場合もある。
　（第１の実施形態）
　以下、図面を参照しながら、本発明による撮像装置、集積回路および撮像方法の第１の実施形態を説明する。
　図１は、本実施形態の撮像装置１００を示すブロック構成図である。撮像装置１００は、フォーカスレンズ駆動部１０３と、撮像素子１０４と、フォーカスレンズ変位制御部１０６と、露光・フォーカスレンズ変位同期部１０７と、レンズ光学系１２０とを備える。
　撮像素子１０４は、本実施形態ではＣＣＤイメージセンサであり、二次元に配列され、撮像面を構成している複数の光電変換素子を有する。複数の光電変換素子に光を入射させ露光した後、複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する。
　レンズ光学系１２０は、撮像素子１０４に向けて集光し、撮像シーンを撮像素子１０４に結像させるフォーカスレンズ１０１を含む。撮像シーン中の所望の被写体に対して合焦させるため、レンズ光学系１２０はフォーカスレンズ１０１以外に他の１枚以上のレンズを含んでいてもよい。フォーカスレンズ１０１も複数枚のレンズで構成されていてもよい。フォーカスレンズ１０１が複数のレンズによって構成される場合、フォーカスレンズの位置とは、複数のレンズによる主点の位置をいう。
　本実施形態では、フォーカスレンズ駆動部１０３は、撮像素子１０４とフォーカスレンズ１０１との距離が変化するように、撮像素子１０４またはフォーカスレンズ１０１の一方を駆動する駆動部として機能する。つまり、フォーカスレンズ駆動部１０３は、駆動信号に基づき、撮像素子１０４とフォーカスレンズ１０１との距離が変化するように、フォーカスレンズ１０１を駆動する。
　フォーカスレンズ変位制御部１０６は、以下において説明するように、フォーカスレンズ駆動部１０３に指令を出力することにより、所定の変位パターンに基づき、フォーカスレンズ１０１の変位を制御するように構成されている。
　露光・フォーカスレンズ変位同期部１０７は、撮像素子１０４の露光のタイミングに基づき、フォーカスレンズ変位制御部１０６を制御するように構成されている。
　撮像装置１００は、さらに、フォーカスレンズ位置検出部１０２と、フォーカスレンズ変位設定部１０５と、読み出し回路１０８と、画像処理部１０９と、記録部１１０と、シャッタ１１１と、シャッタ開閉指令部１１２と、レリーズ受付部１１３と、露光時間決定部１１４とを含む。
　フォーカスレンズ位置検出部１０２は、位置センサを含み、フォーカスレンズ１０１の位置を検出し、検出信号をフォーカスレンズ変位制御部１０６へ出力する。フォーカスレンズ変位設定部１０５はフォーカスレンズ１０１の変位パターンを設定し、目標フォーカスレンズの位置とする。これにより、フォーカスレンズ変位制御部１０６は、目標フォーカスレンズの位置とフォーカスレンズ位置検出部１０２によって検出されたフォーカスレンズ１０１の現在位置との差から駆動信号を計算してフォーカスレンズ駆動部１０３に出力する。
　レリーズ受付部１１３において、ユーザからの露光開始指令を受け付けると、露光時間決定部１１４が撮像素子１０４の露光時間を決定する。また、露光・フォーカスレンズ変位同期部１０７およびフォーカスレンズ変位設定部１０５に露光時間に関する情報を出力する。
　露光・フォーカスレンズ変位同期部１０７は、露光時間に関する情報に基づき、同期したタイミングで露光、フォーカスレンズ１０１の駆動および撮像素子１０４からの電気信号の読み出しを行うように、シャッタ開閉指令部１１２、フォーカスレンズ変位制御部１０６および読み出し回路１０８に指令を出力する。具体的には、シャッタ開閉指令部１１２に露光のタイミングおよび露光時間を指令する。また、フォーカスレンズ変位制御部１０６にフォーカスレンズ１０１を駆動するタイミングおよび駆動時間を指令する。
　シャッタ１１１は、シャッタ開閉指令部１１２からの指令に応じて開閉動作を行う。シャッタ１１１が開状態のとき、撮像素子１０４はフォーカスレンズ１０１によって集光された光によって露光され、露光された光は電気信号に変換されて出力される。また、以下において説明するように、撮像素子１０４は電子シャッタを備えており、シャッタ開閉指令部１１２からの指令に応じて撮像素子１０４の電子シャッタの開閉が制御される。
　読み出し回路１０８は撮像素子１０４に読み出し信号を出力することによって電気信号を読み出し、読み出した電気信号を画像処理部１０９へ出力する。
　画像処理部１０９は入力された電気信号に対して各種補正等を行い、逐次１ビデオフレーム分の撮影シーンの画像を構成する画像信号を構築し、記録部１１０に出力する。また、以下において、説明するように、被写体までの距離を推定してもよい。
　これにより、撮像装置１００は、フォーカスレンズ１０１を駆動してフォーカスレンズの位置を変化させながら撮像素子１０４に露光させ、ハーフスイープ画像を得ることが可能となる。
　撮像装置１００の上述の構成要素のうち、フォーカスレンズ位置検出部１０２、フォーカスレンズ駆動部１０３、撮像素子１０４、画像処理部１０９、レリーズ受付部１１３、記録部１１０は、公知のハードウエアによって構成されていてもよい。また、フォーカスレンズ変位設定部１０５、フォーカスレンズ変位制御部１０６、露光・フォーカスレンズ変位同期部１０７、読み出し回路１０８、画像処理部１０９、記録部１１０、シャッタ開閉指令部１１２、および露光時間決定部１１４の各構成要素の一部または全部は、ＣＰＵなどの情報処理回路およびメモリ等の記憶部に記憶されたソフトウエアによって構成されていてもよい。この場合、情報処理回路は、以下において説明する撮像方法の手順を規定するソフトウエアをメモリから読み出し、撮像方法の手順を実行することによって、撮像装置１００の各構成要素を制御する。これら情報処理回路およびメモリに記憶されたソフトウエアによって実現される構成要素の一部は、専用の集積回路によって構成されていてもよい。例えば、フォーカスレンズ変位設定部１０５、フォーカスレンズ変位制御部１０６、露光・フォーカスレンズ変位同期部１０７およびシャッタ開閉指令部１１２は集積回路を構成してもよい。
　次に、図１、図２、図３および図４を参照しながら、本実施形態の撮像方法、特に、ハーフスイープ方式によって画像を得るためのフォーカスレンズの位置と撮像素子１０４の露光および信号読み出しのタイミングについて説明する。
　図２は本実施の形態の撮像方法を示すフローチャートである。まず、ユーザによるレリーズ動作を受け付けると（Ｓ１０１）、露光時間決定部１１４にてシャッタ速度や絞り値などの撮影パラメータから露光時間パラメータを決定する（Ｓ１０２）。露光時間パラメータは、フォーカスレンズ変位設定部１０５および露光・フォーカスレンズ変位同期部１０７に出力される。
　次に、決定した露光時間パラメータから、フォーカスレンズ変位設定部１０５は、フォーカスレンズの位置の変位パターンを生成する（Ｓ１０３）。変位パターンは、以下において詳細に説明する。
　フォーカスレンズの位置の変位パターン決定後、露光・フォーカスレンズ変位同期部１０７は、撮像素子１０４の露光のタイミングに基づいて、フォーカスレンズ変位設定部１０５および読み出し回路１０８が動作するように、シャッタ開閉指令部１１２、フォーカスレンズ変位設定部１０５および読み出し回路１０８に指令を出力する。これにより、シャッタ開閉指令部１１２がシャッタ１１１を解放し（Ｓ１０４）、撮像素子１０４の露光が開始される。露光の開始に同期して、フォーカスレンズ変位制御部１０６の指令により、フォーカスレンズ駆動部１０３がフォーカスレンズ１０１を変位させる（Ｓ１０５）。ここで同期とは、同時である場合および所定の遅延時間を挟む場合を含む。またフォーカスレンズ１０１の変位に同期した所定のタイミングで撮像素子１０４から、撮影シーンの画像を構成する電気信号が読み出し回路１０８に出力される。また、シャッタ開閉指令部１１２の指令に基づき撮像素子１０４の電子シャッタが開閉され、撮像素子１０４の露光が制御される。
　撮影が完了したら、シャッタ１１１を閉じ（Ｓ１０６）、フォーカス位置変位を停止する（Ｓ１０７）ことで撮影を完了する。動画撮影の場合は、ユーザからの録画停止処理指令が入力されるまで露光・スイープ動作を継続すればよい。このようにすることで、連続してハーフスイープ画像を得ることができ、動画撮影を行うことができる。
　次に、図３および図４を参照しながら露光・スイープ動作の詳細を説明する。
　図３は撮影時のスイープ動作を示すフローチャートである。また、図４の上部は、フォーカスレンズの位置を最遠端と最近端との間で変位させたときのフォーカスレンズの位置変化、つまりスイープパターン（変位パターン）を示し、下部は、撮像素子１０４の露光のタイミングを示している。図４の上部の横軸は時間を示し、縦軸は、フォーカスレンズの位置（撮像素子との距離）を示している。図４の上部中、実線はハーフスイープの変位パターンを示し（第１タイプの変位パターン、第２タイプの変位パターン）、点線はハーフスイープの変位パターンの間に実行される非露光時の変位パターン（第３タイプの変位パターン）を示している。
　図２５（ｂ）を参照して説明したように、本実施形態の撮像装置は、撮影した画像から被写体までの距離を精度よく推定するために、２つのフォーカスレンズの変位範囲を離間させるハーフスイープ方式を採用する。具体的には、フォーカスレンズの位置である最遠端と最近端との間において、第１範囲Ｓ１と第１範囲Ｓ１と離間した第２範囲Ｓ２と、第１範囲Ｓ１および第２範囲Ｓ２とに挟まれた第３範囲Ｓ３とを設定する。それぞれの範囲において、フォーカスレンズは、所定の変位パターンで変位する。ただし、フォーカスレンズは、画像を構成する光電変換素子の露光時に、第１範囲Ｓ１および第２範囲Ｓ２を変位し、非露光時に第３範囲を変位する。ここで画像を構成する光電変換素子の露光時とは、１フィールド期間中、光電変換素子に光が照射し、光電変換により、画像用の電気信号を生成するために撮像素子が露光される期間をいう。また、非露光時とは、１フィールド期間中、画像用の電気信号を生成するために撮像素子が露光される期間以外の期間をいう。非露光時には、電子シャッタにより、光電変換素子は露光されるが、画像用の電気信号へ寄与しないように、生成した電気信号が破棄される露光期間等が含まれる。
　図４に示すように、第３範囲は最遠端と最近端との中間の位置を含むように設定される。第１範囲および第２範囲の長さは異なっていてもよいが、概ね同定であることが好ましい。また、第３範囲の長さは第１範囲および第２範囲より短いことが好ましい。さらに、第１範囲および第２範囲と第３範囲とは接しており、つながっていることが好ましい。
　上述したように最遠端および最近端とは、撮像装置から種々の距離にある被写体が含まれる撮像シーン中、所定の距離範囲内にある種々の被写体を撮像素子１０４の撮像面に焦点が一致するようにフォーカスレンズ１０１を移動させた場合おいて、最も撮像装置に近い被写体が結像する場合および最も撮像装置に遠い被写体が結像する場合におけるフォーカスレンズ１０１の位置をいう。最遠端（第１合焦位置）で結像する被写体は、所定の距離範囲内のうち、最も撮像装置から長い距離に位置（第１被写体距離）し、最近端（第２合焦位置）で結像する被写体は、所定の距離範囲内のうち、最も撮像装置から短い距離に位置（第２被写体距離）している。
　図３および図４に示すように、まず、フォーカスレンズ駆動部１０３は、フォーカスレンズ変位制御部１０６の指令に基づき、フォーカスレンズ１０１を初期位置へ移動させる（Ｓ１１１）。本実施形態では第３範囲Ｓ３の最遠端側へフォーカスレンズを移動させる。
　次に、第３タイプの変位パターンにしたがって、第３範囲Ｓ３の最遠端側から最近端側へフォーカスレンズ１０１を変位させる（Ｓ１１２）。この間、電子シャッタ等によって、光電変換素子に入射した光が画像用の電気信号へ寄与しないように処理される。これにより、画像を形成することなく、フォーカスレンズ１０１が第１範囲Ｓ１の最遠端側へ移動する。
　次に第１タイプの変位パターンにしたがって、フォーカスレンズ１０１を第１範囲Ｓ１で変位させる（Ｓ１１３）。本実施形態では、撮像素子１０４がＣＣＤであり、グローバルシャッタによって露光されるため、第１範囲Ｓ１の全範囲を少なくとも１回、フォーカスレンズ１０１が移動すれば、均一なハーフスイープ画像を得ることができる。しかし、本実施形態では、次のフォーカスレンズ１０１の変位範囲（第２範囲Ｓ２）への移動を考慮し、最近端へ向かい、再び第１範囲Ｓ１の最遠端側へ戻るように、つまり、第１範囲Ｓ１を一往復するように、フォーカスレンズ１０１を変位させる。この間、電子シャッタ等によって、光電変換素子に入射した光が画像用の電気信号として変換されるように処理される。これにより、ハーフスイープの画像が得られる。なお、図に示すように、露光によって、撮像素子１０４の光電変換素子に蓄積した電荷は、全画素において一度に転送されるが、転送された電荷は逐次読み出される。この読出しは、例えば、次のフレームで行われる。
　その後、第３’タイプの変位パターンにしたがって、第３範囲Ｓ３の最近端側から最遠端側へフォーカスレンズ１０１を変位させる（Ｓ１１４）。この間、電子シャッタ等によって、光電変換素子に入射した光が画像用の電気信号へ寄与しないように処理される。これにより、画像を形成することなく、フォーカスレンズ１０１が第２範囲Ｓ２の最近端側へ移動する。
　次に第２タイプの変位パターンにしたがって、フォーカスレンズ１０１を第２範囲Ｓ１で変位させる（Ｓ１１５）。上述したように、第２範囲Ｓ２の全範囲を少なくとも１回、フォーカスレンズ１０１が移動すれば、均一なハーフスイープ画像を得ることができるが、次のフォーカスレンズ１０１の変位範囲（第１範囲Ｓ１）への移動を考慮し、最遠端へ向かい再び第２範囲Ｓ２の最近端側へ戻るように、つまり、第２範囲Ｓ２を一往復するように、フォーカスレンズ１０１を変位させる。この間、電子シャッタ等によって、光電変換素子に入射した光が画像用の電気信号へ寄与する処理される。これにより、ハーフスイープの画像が得られる。
　これにより（Ｓ１１２－Ｓ１１５）、本実施形態におけるフォーカスレンズのスイープ動作の一周期が完了する。動画を撮影する場合には、この動作を繰り返し続ければよい。具体的には、第１範囲を変位する第１タイプの変位パターンおよび第２範囲を変位する第２タイプの変位パターンを、第３範囲を変位する第３タイプ、第３’タイプの変位パターンを挟んで交互に繰り返せばよい。この場合、第３範囲を変位する変位パターンは、往復パターンではないため、第１範囲から第２範囲への変位（第３’タイプの変位パターン）と第２範囲から第１範囲への変位（第３タイプの変位パターン）とで変位パターンは、逆になる。ユーザによる撮影完了を示す入力を確認し（Ｓ６）、撮影完了が指示された場合、スイープ動作を終了する。
　第１範囲を変位する第１タイプの変位パターンは、図４に示すように、第１範囲の最遠端側から最近端側へ略等速でフォーカスレンズ１０１が変位する副変位パターンおよび、第１範囲の最近端側から最遠端側へ略等速でフォーカスレンズ１０１が変位する副変位パターンを含む。同様に、第２範囲を変位する第２タイプの変位パターンは、第２範囲の最近端側から最遠端側へ略等速でフォーカスレンズ１０１が変位する副変位パターンおよび、第１範囲の最遠端側から最近端側へ略等速でフォーカスレンズ１０１が変位する副変位パターンを含む。第１範囲の副変位パターンにおけるフォーカスレンズ１０１の速さは、第２範囲の副変位パターンにおける速さと等しい。これにより、それぞれの範囲内において、種々の距離にある被写体が均一に露光される。また、２つのハーフスイープ画像における露光も等しくなる。
　一方、第３範囲を変位する第３タイプ、第３’タイプの変位パターンにおけるフォーカスレンズ１０１の変位速度は露光に関係しない。このため、第３タイプ、第３’タイプの変位パターンにおけるフォーカスレンズ１０１の変位速度は、一定でなくてもよいし、第１タイプの変位パターンおよび第２タイプの変位パターンにおけるフォーカスレンズ１０１の変位速度と異なっていてもよい。ただし、第３範囲におけるフォーカスレンズ１０１の移動は、ハーフスイープ画像の生成に関係がないため、第３範囲をフォーカスレンズ１０１が移動する時間は短い方が、撮像装置のフレームレートを高められる。このため、第３タイプ、第３’タイプの変位パターンにおけるフォーカスレンズ１０１の変位速度は、第１タイプの変位パターンおよび第２タイプの変位パターンにおけるフォーカスレンズ１０１の変位速度よりも大きいことが好ましい。上述したように、第３範囲におけるフォーカスレンズ１０１の変位速度は一定でなくてもよいので、フォーカスレンズ１０１の変位速度は、第３範囲の少なくとも一部分において、第１範囲および第２範囲よりも大きければよい。図４に示す第３タイプの変位パターンは、第３範囲の最遠端側から最近端側へ略等速でフォーカスレンズ１０１が変位する副変位パターンを含み、第３’タイプの変位パターンは、第３範囲の最近端側から最遠端側へ略等速でフォーカスレンズ１０１が変位する副変位パターンを含む。
　なお、図４において破線の丸印で示すように、第１範囲、第２範囲および第３範囲の境界において、急激に速度が変化するようにフォーカスレンズの変位を制御することが容易ではない場合、あるいは、急激に速度が変化することが装置の構成上、好ましくない場合には、図４中の拡大部分図で示すように、スムーズな速度変化が生じるように境界における変位パターンを正弦波や二次関数曲線によってつないでもよい。
　得られたハーフスイープ画像から被写体の距離情報を推定する方法は図２５（ｂ）を参照して説明した通りであり、詳細には非特許文献２に開示されている。
　このように本実施形態によれば、２つの離間した範囲において、フォーカスレンズを駆動させハーフスイープ画像を取得し、得られたハーフスイープ画像に基づいて、被写体の距離情報を算出するため、高い精度で被写体距離を推定することができる。また、２つの離間した範囲に挟まれる範囲におけるフォーカスレンズの変位速度を大きくすることによって、露光に寄与しないフォーカスレンズの移動時間を短くすることができるため、撮像装置におけるフレームレートを高めることが可能となる。
　なお、本実施形態では、第３範囲Ｓ３からフォーカスレンズの変位を開始しているが、第１範囲Ｓ１あるいは第２範囲Ｓ２からフォーカスレンズの変位を開始してもよい。
　また、２つのハーフスイープ画像を合成し、全区間におけるスイープ画像を生成してもよい。この場合、第１範囲と第２範囲との間の第３範囲において、フォーカスレンズを変位させながら画像を取得していないため、厳密な意味で全区間におけるスイープ画像を生成することはできない。しかし、図２５（ｂ）に示すように、第１範囲や第２範囲の近傍では被写体のぼけ量は少ないため、実質的には全区間におけるスイープ画像とみなすことができる品質の画像を得ることができる。
　また、被写体の距離情報の算出は画像処理部１０９以外の信号処理部、例えば、撮像装置１００の外部のコンピュータや信号処理部によって行ってもよい。
　（第２の実施形態）
　図５および図６を参照しながら、本発明による撮像装置、集積回路および撮像方法の第２の実施形態を説明する。
　図５は、本実施形態の撮像装置２００を示すブロック構成図である。第１の実施形態の撮像装置１００と同一の構成要素には同じ参照符号を付している。撮像装置２００は、撮像素子１０４の位置を移動させることにより、レンズ光学系１２０のフォーカスレンズ１０１との距離を変化させる点で撮像装置１００と異なる。
　このために、撮像装置２００は、撮像素子位置検出部２０２、撮像素子駆動部２０３、撮像素子変位設定部２０５、撮像素子変位制御部２０６および露光・撮像素子変位同期部２０７を備える。
　撮像素子位置検出部２０２は、位置センサを含み、撮像素子１０４の位置を検出し、検出信号を撮像素子変位制御部２０６へ出力する。撮像素子変位設定部２０５は撮像素子１０４の変位パターンを設定し、目標撮像素子の位置とする。これにより、撮像素子変位制御部２０６は、目標撮像素子位置と撮像素子位置検出部２０２によって検出された撮像素子１０４の現在位置との差から駆動信号を計算して撮像素子駆動部２０３に出力する。
　レリーズ受付部１１３において、ユーザからの露光開始指令を受け付けると、露光時間決定部１１４が撮像素子１０４の露光時間を決定する。また、露光・撮像素子変位同期部２０７に露光時間に関する情報を出力する。
　露光・撮像素子変位同期部２０７は、露光時間に関する情報に基づき、同期したタイミングで露光、撮像素子１０４の駆動および撮像素子１０４からの電気信号の読み出しを行うように、シャッタ開閉指令部１１２、撮像素子変位制御部２０６および読み出し回路１０８に指令を出力する。具体的には、シャッタ開閉指令部１１２に露光のタイミングおよび露光時間を指令する。また、撮像素子変位制御部２０６に撮像素子１０４を駆動するタイミングおよび駆動時間を指令する。これにより、撮像装置２００は、撮像素子１０４を駆動して撮像素子の位置を変化させながら撮像素子１０４に露光させ、スイープ画像を得ることが可能となる。
　図６は、本実施形態の撮像方法を示すフローチャートである。撮像素子とフォーカスレンズとの距離を変化させるために、撮像素子を変位させることを除けば、図２で説明した第１の実施形態における撮像方法と同じである。
　撮像素子の変位パターンは、第１の実施形態で説明したフォーカスレンズの位置の変位パターンである、図４と同じである。
　このように、撮像素子を駆動し、撮像素子の位置を変化させる構成であっても、第１の実施形態と同様に、高い精度で被写体距離を推定することができる。
　（第３の実施形態）
　第１および第２の実施形態の撮像装置は、撮像素子として、ＣＣＤイメージセンサを用いる。ＣＣＤイメージセンサは、全画素を同時に読み出すことができるグローバルシャッタ動作が可能であるため、第１および第２の実施形態の撮像装置におけるフォーカスレンズの変位パターンもＣＣＤイメージセンサに適している。本実施の形態では撮像素子としてＣＭＯＳイメージセンサを用いた撮像装置、集積回路および撮像方法を説明する。本実施形態の撮像装置の全体の構成や動作は、第１の実施形態の撮像装置と同じであり、撮像素子のみが異なる。このため、撮像素子が異なることによる変位パターンの違いを主として説明する。
　ＣＭＯＳイメージセンサによって構成される撮像素子は、多数の画素を高速に読み出すのに適しており、例えばＦｕｌｌＨＤ（１９２０×１０８０）サイズの画像を秒間６０フレーム読み出すことが可能な撮像素子が実現されている。
　ＣＭＯＳイメージセンサによって構成される撮像素子を露光して得られた電荷を連続して読み出す場合、二次元に配列された画素集合を行などの部分単位で順次走査して各画素から電荷を読み出すローリングシャッタと呼ばれる電子シャッタ制御方式が用いられる。
　図７（ａ）はこのような撮像素子において画素集合からの電荷を読み出すタイミングを示している。横軸は時間を示し、縦軸は、撮像素子の読み出し行の位置を示している。撮像素子はＮ行の複数の画素行によって構成されている。図７（ａ）に示すように、撮像素子の先頭行から順次走査して各画素から電荷を読み出し、その直後から電荷を蓄積し始め、所定時間経過後に再度走査して各画素から電荷を読み出すことにより画像信号を得る。第Ｎ行目の走査が終了した後は先頭から走査を再度繰り返すことにより、連続した動画像を得ることができる。図７（ａ）からわかるように、ローリングシャッタで撮影を行う場合、撮像素子面内での撮像タイミングにずれが生じ、先頭行と最終行では最大で１ビデオフレーム分のずれが生じる。
　Ｆ－ＤＯＦ方式によって画像を取得する場合、フォーカス状態を所定の合焦範囲の最遠端から最近端まで変位させて、撮像素子面内の全ての画素を均一に露光させる必要がある。図７（ｂ）は、図７（ａ）の横軸と対応しており、ローリングシャッタにより、１ビデオフレーム期間内にフォーカスレンズを最遠端から最近端までスイープ動作させ場合の変位パターンを示している。図７（ａ）に示すタイミングで撮像素子を露光する場合、第１読出し行の露光の期間にフォーカスレンズは最遠端から最近端の全範囲を移動する。しかし、第Ｎ行の露光の期間にフォーカスレンズは、最近端にのみ位置する。これらの間の行の露光の期間にフォーカスレンズは最遠端から最近端までの範囲の一部分のみを変位する。このため、図７（ｂ）に示す変位パターンでフォーカスレンズを変位させても正しいスイープ画像を得ることができない。
　図７（ｃ）は、ＣＭＯＳイメージセンサによって構成される撮像素子に適した変位パターンの一例を示している。図７（ｃ）に示す変位パターンは、１ビデオフレーム期間に、最遠端から変位を開始し、最近端へ到達した後、最遠端へ戻るつまり１ビデオフレーム期間に最遠端から最近端までを１往復変位している。この例では、露光時間が１ビデオフレームに一致しているため、変位パターンの往復動作は１ビデオフレームに一致しているが、往復動作は露光時間に同期していればよい。つまり、露光時間の２以上の整数倍の往復動作を行えばよい。図７（ｃ）に示す変位パターンは、２ビデオフレームの期間、変位パターンが続くことによって、つまりスイープ動作が２往復であることによって、撮像素子面内の全ての画素を均一に露光させることができる。
　撮像素子１０４がＣＭＯＳイメージセンサである場合、ローリングシャッタで撮影が行われるため、撮像素子１０４の光電変換素子の一部は、有効画素以外の画素を構成する。このような光電変換素子は、画像の構成に寄与しないが、読出しには時間を要する。言い換えると、画像の構成に寄与する光電変換素子を露光する時間は、全画素の読出し時間より短くなる。したがって、撮像素子１０４がＣＭＯＳイメージセンサである場合、画像の構成に寄与しない光電変換素子の露光・読出の間、ハーフスイープ画像を得るためのフォーカスレンズの変位条件とは異なる条件でフォーカスレンズを変位させてもよい。つまり、第１範囲および第２範囲をフォーカスレンズが変位する場合において、画像の構成に寄与しない光電変換素子の露光・読出の間は、例えば、フォーカスレンズを、第３範囲を変位する条件で変位させてもよい。
　図８は、ＣＭＯＳイメージセンサによって構成される撮像素子を用いてフ２つの離間した範囲でフォーカスレンズを変位させハーフスイープ画像を得る場合のフォーカスレンズの変位パターンと、撮像素子の露光・読出しのタイミングの一例を示している。図８に示すように、１つのスイープ画像を得るため、フォーカスレンズ１０１を第１範囲Ｓ１および第２範囲Ｓ２において二往復させている。
　図８に示す変位パターンでは、第３範囲Ｓ３の途中から、フォーカスレンズを変位させ、画像を構成しない行の光電変換素子の露光を開始する。この時のフォーカスレンズの変位速度は、第３範囲Ｓ３における速度である。続けて、第１範囲をフォーカスレンズが変位し始めた後、画像を構成する行の光電変換素子を露光し始めるタイミングで、ハーフスイープによる画像を取得するための条件でフォーカスレンズを変位させる。つまり、フォーカスレンズの変位速度を低下させる。また、第１範囲における変位の終了直線に、画像を構成する行の光電変換素子の露光が完了するため、それ以降は、フォーカスレンズを第３範囲Ｓ３の変位に用いる速度でフォーカスレンズを変位させている。第２範囲をフォーカスレンズが変位する場合も同様の制御を行う。図８から分かるように、画像を構成する光電変換素子のどの行についても、フォーカスレンズが第１範囲Ｓ１を一往復しており、露光時間が一定である。また、第３範囲Ｓ３におけるフォーカスレンズの変位速度からハーフスイープ画像を取得するための変位速度へ切り替えるときのフォーカスレンズの位置Ｐ１と、ハーフスイープ画像を取得するための変位速度から第３範囲Ｓ３におけるフォーカスレンズの変位速度へ切り替えるときのフォーカスレンズの位置Ｐ２とは一致している。
　図８に示す変位パターンによれば、第１範囲および第２範囲において、画像を構成する行の光電変換素子を露光し、第３範囲において、画像を構成する行の光電変換素子の露光を行わない。このような変位パターンを用いることによって、画像を構成しない行の光電変換素子の露光・読み出しにおけるフォーカスレンズの変位速度を大きくすることができ、撮像装置のフレームレートを高めることができる。また、このような変位パターンを採用することによって、電子シャッタを用いずに、ハーフスイープによる画像を取得することができる。
　図９は、ＣＭＯＳイメージセンサによって構成される撮像素子を用いた場合の他のフォーカスレンズの変位パターンと、撮像素子の露光・読出しのタイミングの一例を示している。図９に示すフォーカスレンズの変位パターンでは、第３範囲Ｓ３におけるフォーカスレンズの変位速度からハーフスイープ画像を取得するための変位速度へ切り替えるときのフォーカスレンズの位置Ｐ１と、ハーフスイープ画像を取得するための変位速度から第３範囲Ｓ３におけるフォーカスレンズの変位速度へ切り替えるときのフォーカスレンズの位置Ｐ２とは異なっている。しかし、この場合でも、画像を構成する光電変換素子のどの行についても、フォーカスレンズが第１範囲Ｓ１を一往復しており、露光時間が一定である。このような変位パターンを採用しても、電子シャッタを用いずに、ハーフスイープによる画像を取得することができる。
　図１０および図１１は、ＣＭＯＳイメージセンサによって構成される撮像素子を用いた場合の他のフォーカスレンズの変位パターンと、撮像素子の露光・読出しのタイミングの一例を示している。図１０および図１１に示す変位パターンは、図８および図９に示す変位パターンにおいて、電子シャッタによって、画像を構成する光電変換素子の露光時間を短くしている。このように、画像を構成する光電変換素子の露光時間を短くする場合において、撮像素子１０４のローリングシャッタの動作時間が変化しなければ、電子シャッタによる非露光時間は相対的に長くなる。このため、第３範囲をフォーカスレンズ１０１が変位する速度を遅くする。
　このように、ローリングシャッタ動作を行うＣＭＯＳイメージセンサによって構成される撮像素子を用いた場合でも、２つの離間した範囲において、フォーカスレンズを駆動させハーフスイープ画像を取得し、得られたハーフスイープ画像に基づいて、被写体の距離情報を算出するため、高い精度で被写体距離を推定することができる。
　なお、図１０および図１１に示す変位パターンを用いてフォーカスレンズを駆動する場合、電子シャッタによる非露光時間は任意に設定し得る。このため、図１０および図１１の変位パターンにおいて、電子シャッタによる露光開始時におけるフォーカスレンズの位置も任意に設定し得る。また、第１範囲Ｓ１および第２範囲Ｓ２をフォーカスレンズが変位している間に電子シャッタによる非露光期間を設定することができ、この非露光期間におけるフォーカスレンズの変位速度は任意の値に設定することができる。
　（第４の実施形態）
　第１から第３の実施形態の撮像装置では、フォーカスレンズ１０１または撮像素子１０４が第３範囲を変位する間、撮像素子は露光されていなかった。しかし、第１の実施形態で説明したように、ハーフスイープ画像を、離間した第１範囲および第２範囲において取得する限り、高い精度で被写体距離を推定することができる。したがって、第３範囲をフォーカスレンズ１０１または撮像素子１０４が変位する間の一部または全部の期間において、撮像素子を露光させ、画像を取得してもよい。また、第３範囲を含む限り、第１範囲や第２範囲の一部あるいは全部を含んで、フォーカスレンズ１０１または撮像素子１０４を変位させてもよい。これにより、ハーフスイープ画像以外に、フルスイープ画像や固定した焦点位置における画像を取得することが可能となる。本実施形態では、このような形態の撮像装置を説明する。
　本実施形態の撮像装置は、第１の実施形態の撮像装置１００または第２の実施形態の撮像装置２００と同じ構造を備えている。第１および第２の実施形態と異なるのは、露光のタイミングおよび撮像素子またはフォーカスレンズのスイープ動作における変位パターンであるため、主としてこの点を説明する。
　図１２は、第３タイプの変位パターンが、第３範囲の全体と、第１範囲の全体と、第２範囲の全体とを含む全範囲を１回変位する例を示している。図１２において、ＤＰ１、ＤＰ２、ＤＰ３はそれぞれ第１タイプ、第２タイプ、第３タイプの変位パターンを示している。
　図１２に示すように、まず、フォーカスレンズ駆動部１０３は、フォーカスレンズ変位制御部１０６の指令に基づき、フォーカスレンズ１０１を初期位置へ移動させる。本実施形態では第１範囲Ｓ１の最近端から少し最遠端側にある位置へフォーカスレンズ１０１を移動させる。
　まず、第１タイプの変位パターンＤＰ１にしたがって、初期位置から第１範囲Ｓ１の最近端へフォーカスレンズ１０１を変位させる。この間、撮像素子１０４の光電変換素子を非露光状態にする。これにより、画像を形成することなく、フォーカスレンズ１０１が第１範囲Ｓ１の最近端へ移動する。
　次に、フォーカスレンズ１０１を第１範囲Ｓ１の全範囲で変位させる。本実施形態では、撮像素子１０４がＣＣＤイメージセンサであり、グローバルシャッタによって露光されるため、第１範囲Ｓ１の全範囲を少なくとも１回、フォーカスレンズ１０１が移動すれば、均一なハーフスイープ画像を得ることができる。しかし、本実施形態では、次にフルスイープ画像を取得するため、最遠端側へ移動し後、再び最近端へ戻るように、つまり、第１範囲全体を１往復するように、フォーカスレンズ１０１を変位させる。この間、光電変換素子を露光させる。これにより、ハーフスイープの画像が得られる。
　次に第３タイプの変位パターンＤＰ３にしたがって、最近端から最遠端の少し手前まで、第１範囲Ｓ１の全体、第３範囲Ｓ３の全体、第２範囲Ｓ２のほぼ全体を含む範囲でフォーカスレンズ１０１を変位させる。最近端から少しフォーカスレンズ１０１が最遠端側へ移動するまの期間、撮像素子１０４の光電変換素子を非露光状態にし、その後、光電変換素子を露光させながら、フォーカスレンズ１０１を最遠端の少し手前まで変位させる。これにより、第１範囲のほぼ全体、第３範囲の全体および第２範囲のほぼ全体を含む範囲によるフルスイープ画像が得られる。
　次に、第２タイプの変位パターンＤＰ２にしたがって、フォーカスレンズ１０１を第２範囲Ｓ２で変位させる。最遠端の少し手前から最遠端まで光電変換素子が非露光状態のままでフォーカスレンズ１０１を移動させ、次に光電変換素子を露光させながら、第２範囲Ｓ２全体で、フォーカスレンズ１０１を一往復させる。これにより、ハーフスイープの画像が得られる。
　最後に第３’タイプの変位パターンＤＰ３’にしたがって、最遠端から最近端の少し手前まで、第２範囲Ｓ２の全体、第３範囲Ｓ３の全体、第１範囲Ｓ１のほぼ全体を含む範囲でフォーカスレンズ１０１を変位させる。最遠端から少しフォーカスレンズ１０１が最近端側へ移動するまでの期間、撮像素子１０４の光電変換素子を非露光状態にし、その後、光電変換素子を露光させながら、フォーカスレンズ１０１を最近端の少し手前まで変位させる。これにより、第２範囲ほぼ全体、第３範囲の全体および第１範囲のほぼ全体を含む範囲によるフルスイープ画像が得られる。
　本実施形態によれば、２つの離間した範囲において撮影されたハーフスイープ画像とフルスイープ画像とを取得することができる。このため、第１の実施形態で説明したように、ハーフスイープ画像を用いることによって、高い精度で被写体距離を推定することができる。また、推定した被写体距離を用いて、フルスイープ画像を処理することにより、画像中の任意の距離に位置する被写体にリフォーカスされた画像を得ることができる。
　また、本実施形態によれば、フルスイープの変位パターンは、２つのハーフスイープの変位パターンに挟まれている。このため、各全焦点画像を得る撮影の前後にハーフスイープの画像を得る撮影を行い、全焦点画像とニアスイープ画像およびファースイープ画像とが連続して取得できる。このため、全焦点画像および推定した被写体距離の情報は、２ビデオフレーム周期で得られる。よって、なめらかなＥＤＯＦ動画を得ることが可能である。例えば、例えば３０ｆｐｓで撮像可能な撮像素子を用いれば１５ｆｐｓの三次元動画を得ることができる。より高速撮像が可能な撮像素子を用いれば、よりなめらかな（高フレームレート）ＥＤＯＦ動画を実現することができる。
　また、本実施形態によれば１ビデオフレームの期間に一致した長さのフルスイープの変位パターンを用いて全焦点画像を得るため、全焦点画像全体が時間的に一致したタイミングで取得され、自然な、全焦点画像が得られる。これらのことから本実施形態によれば、高品質で違和感がなく、かつ、なめらかなＥＤＯＦ動画を得ることができる。
　なお、図１２に示すスイープパターンでは、第３タイプの変位パターンは、第１範囲、第２範囲、第３範囲のほぼ全体で変位しているが、第３範囲の全体を変位する限り、他の変位パターンであってよい。
　図１３は、第３タイプの変位パターンＤＰ３および第３’タイプの変位パターンＤＰ３’が、最遠端と最近端との間の一部分を変位するスイープパターンを示している。
　また、図１４に示すように、第３タイプの変位パターンは、フォーカスレンズが変位せず、所定の位置で停止している変位パターンを含んでいてもよい。この場合、２つのハーフスイープ画像に加えて、所定の距離に位置する被写体に合焦した通常の撮影条件による画像を得ることができる。
　また、撮像素子が第３の実施形態で説明したようにローリングシャッタによって露光が行われるＣＭＯＳイメージセンサであってもよい。図１５、図１６は、図１３、図１４に示すスイープ動作をＣＭＯＳ型イメージセンサの撮像素子を用いて撮影を行う場合の変位パターンを示している。第３の実施形態で説明したように、第１範囲、第２範囲、および、第３タイプ（第３’タイプ）の変位パターンＤＰ３（ＤＰ３’）で変位する範囲のそれぞれにおいて、フォーカスレンズを２往復させることによって、撮像素子内のすべての画素を均一に露光させることができる。変位は２以上の整数回往復すれな３往復以上であってもよい。この場合の撮像素子の露光のタイミングは第３の実施形態で説明したとおりである。
　このように本実施形態によれば、離間した第１範囲および第２範囲において、ハーフスイープ画像を取得でき、高い精度で被写体距離を推定することができる。また、第３範囲をフォーカスレンズ１０１または撮像素子１０４が変位する間の一部または全部の期間において、撮像素子を露光させ、画像を取得できる。このときの変位は、第３範囲を含む限り、第１範囲や第２範囲の一部あるいは全部を含むことができ、また、第３タイプの変位パターンの全範囲または一部の範囲の間、撮像素子を露光させることができる。よって、上述のハーフスイープ画像に加えて、さまざまな条件で撮影した画像を取得することができる。
　（第５の実施形態）
　本実施形態の撮像装置は、被写体の移動に伴いながら、フォーカスレンズの変位範囲も変化させ、ＥＤＯＦ動画を得る。このために、本実施形態の撮像装置は、以下に説明する変位パターンでフォーカスレンズを変位させる。撮像装置の構成は、第１の実施形態の撮像装置または第２の実施形態の撮像装置のいずれの構成であってもよい。また、撮像素子は、ＣＣＤイメージセンサであってもよいし、ＣＭＯＳイメージセンサであってもよい。以下では、第１の実施形態の撮像装置の構成を備え、撮像素子がＣＭＯＳイメージセンサである場合を例に挙げ、本実施形態を説明する。
　図１７（ａ）は、本実施形態によるフォーカスレンズの変位パターンであって、着目する被写体が撮像装置に近づいてくる場合の変位パターンを示している。
　図１７（ａ）に示す変位パターンは、２つのハーフスイープ画像を得るための変位パターンＳ１０、Ｓ２０、Ｓ３０、Ｓ４０、Ｓ５０が連なっている。変位パターンＳ１０、Ｓ２０、Ｓ３０、Ｓ４０、Ｓ５０はそれぞれ例えば、第３の実施形態で説明した図８に示す変位パターンに対応している。具体的には、第１範囲Ｓ１１、第３範囲Ｓ１３、第２範囲Ｓ１２を第３の実施形態で説明したようにフォーカスレンズが変位する。図１７（ａ）から分かるように、変位パターンＳ１０よりも変位パターンＳ２０は全体的にフォーカスレンズの変位範囲が最近端側へシフトしている。同様に、変位パターンＳ２０よりも変位パターンＳ３０は全体的にフォーカスレンズの変位範囲が最近端側へシフトしており、変位パターンＳ４０、Ｓ５０も同様である。各変位パターンにおける第１範囲Ｓ１１、Ｓ２１、Ｓ３１、Ｓ４１、Ｓ５１および第２範囲Ｓ１２、Ｓ２２、Ｓ３２、Ｓ４２、Ｓ５２の長さは、例えば、等しい。
　このようにフォーカスレンズの変位範囲が最近端側へシフトさせる場合には、図に示すように、変位パターンＳ１０の第２範囲Ｓ１２から変位パターンＳ２０の第１範囲へフォーカスレンズを移動させるための第３範囲Ｓ１３’を第３範囲Ｓ１３に比べて、最近端側に長く移動するように、第３範囲Ｓ１３’を設定する。この場合、図１７（ｂ）に示すように、変位パターンＳ１０の第３範囲Ｓ１３’において、フォーカスレンズを第３範囲Ｓ１３と同じ速度Ｖ１で変位させ、変位パターンＳ２０の第３範囲Ｓ１３’において速度Ｖ１より早い速度Ｖ２で変位させてもよい。あるいは、図１７（ｃ）に示すように、第３範囲Ｓ１３’全体においてフォーカスレンズを速度Ｖ１より早い速度Ｖ２’で変位させてもよい。上述したように、第３範囲Ｓ１３と第３範囲Ｓ１３’とは長さが互いに異なる。このため、このように速度を設定し、フォーカスレンズが第３範囲Ｓ１３を移動する時間と、第３範囲Ｓ１３’を移動する時間とを互いに等しくすることによって、いずれのフレーム期間も等しくすることができる。
　図１７（ｄ）は、変位パターンＳ１０、３０、５０におけるフォーカスレンズの変位範囲を示しており、図１７（ｅ）は、変位パターンＳ１０、３０、５０によって得られるハーフスイープ画像における被写体距離と像のぼけ量との関係を示している。これらの図に示すように、ハーフスイープ画像を得るための変位パターンをずらすことによって、ぼけ量を一定にしながら、合焦範囲をシフトさせることができる。
　このように、本実施形態によれば、ハーフスイープ画像を得るための変位パターンにおけるフォーカスレンズの変位範囲をシフトさせることによって、合焦範囲を変化させながらＥＤＯＦ動画を得ることができる。したがって、被写体が移動しており、撮像装置と被写体との距離が変化する場合でも、被写体の移動にともなって合焦範囲を変化させてハーフスイープ画像を得ることができる。
　なお、本実施形態では、被写体が撮像装置に接近する場合における変位パターンを説明したが、被写体が撮像装置から遠ざかる場合にも本実施形態は好適に用いることができる。この場合、例えば、第３範囲Ｓ１３’を第３範囲Ｓ１３に比べて、最近端で短くなるようにすれば、変位パターンＳ２０を変位パターンＳ１０に比べて、最遠端側へシフトさせることができる。また、被写体の移動は一定速度でなくてよい。この場合、第３範囲Ｓ１３’、Ｓ２３’、Ｓ３３’、Ｓ４３’の長さを被写体の移動速度に応じて長くしたり短くしてもよい。つまり被写体が移動に応じて、変位パターンＳ１０、Ｓ２０、Ｓ３０、Ｓ４０、Ｓ５０等の位置が最遠端と最近端との間でシフトしてもよい。
　また、本実施形態において、第1および第２の実施形態で説明したように、被写体までの距離を算出してもよいし、算出しなくてもよい。
　本願に開示された撮像装置、集積回路および撮像方法は、例えば民生用もしくは業務用のデジタルスチルカメラやデジタルムービーカメラなどの撮像装置に好適に用いられる。
　１００、２００、３００、４００　撮像装置
　１０１　フォーカスレンズ
　１０２　フォーカスレンズ位置検出部
　１０３　フォーカスレンズ駆動部
　１０４　撮像素子
　１０５　フォーカスレンズ変位設定部
　１０６　フォーカスレンズ変位制御部
　１０７　露光・フォーカスレンズ変位同期部
　１０８　読み出し回路
　１０９　画像処理部
　１１０　記録部
　１１１　シャッタ
　１１２　シャッタ開閉指示部
　１１３　レリーズ受付部
　１１４　露光時間決定部
　１１５　フォーカスレンズ位置検出部
　１２０　レンズ
　２０２　撮像素子位置検出部
　２０３　撮像素子駆動部
　２０５　撮像素子変位設定部
　２０６　撮像素子変位制御部
　２０７　露光・撮像素子変位同期部

Claims (20)

  1. 　二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子と、
    　前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、
    　前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、
    　前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記一方の駆動による変位を制御するように構成された変位制御部と、
    　前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御するように構成された同期部と、
    を備え、
    　前記一方の変位範囲は、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間において、第１範囲と前記第１範囲と離間した第２範囲と、前記第１範囲および前記第２範囲とに挟まれた第３範囲とを含み、
    　前記所定の変位パターンは、前記撮像素子または前記フォーカスレンズの一方が、前記第１範囲、前記第２範囲および前記第３範囲の全体をそれぞれ少なくとも１回変位する第１、第２および第３タイプの変位パターンを含み、
    　前記第１タイプの変位パターンおよび前記第２タイプの変位パターンの一方と、前記第３タイプの変位パターンとは、交互に繰り返される、撮像装置。
  2. 　前記複数の光電変換素子のうち、画像を構成する光電変換素子の露光中に、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンに従って、前記一方が変位し、
    　前記画像を構成する光電変換素子の非露光中に、前記第３タイプの変位パターンに従って、前記一方が変位する、撮像装置。
  3. 　前記第１タイプの変位パターンおよび前記第２タイプの変位パターンは、略等速で前記一方が変位する副変位パターンを含み、前記第１タイプの変位パターンの前記副変位パターンにおける速さは、前記第２タイプの変位パターンの前記副変位パターンにおける速さと等しい、請求項２に記載の撮像装置。
  4. 　前記第３タイプの変位パターンにおける前記一方が変位する速さは、前記第１タイプおよび前記第２タイプの変位パターンの前記副変位パターンにおける速さと異なる、請求項３に記載の撮像装置。
  5. 　前記第３タイプの変位パターンにおける前記一方が変位する速さは、前記第１タイプおよび前記第２タイプの変位パターンの前記副変位パターンにおける速さよりも大きい、請求項３に記載の撮像装置。
  6. 　前記第３タイプの変位パターンは、前記第３範囲の全体と、前記第１範囲の少なくとも一部および前記第２範囲の少なくとも一部とを含む範囲全体を少なくとも１回変位する請求項１に記載の撮像装置。
  7. 　前記第３タイプの変位パターンは、前記第３範囲の全体と、前記第１範囲の全体と、前記第２範囲の全体とを含む全範囲を少なくとも１回変位する請求項６に記載の撮像装置。
  8. 　前記第３タイプの変位パターンは、前記第３範囲内において、変位しない期間を含む請求項１に記載の撮像装置。
  9. 　前記第１タイプの変位パターン、前記第２タイプの変位パターンおよび前記第３の変位パターンに従って、前記一方がそれぞれ変位する期間の少なくとも一部において、前記複数の光電変換素子のうち、画像を構成する光電変換素子が露光する請求項６から８のいずれかに記載の撮像装置。
  10. 　前記第１タイプの変位パターンおよび前記第２タイプの変位パターンは、前記一方は、前記第１範囲および前記第２範囲の全体を少なくとも一往復する、請求項１から９のいずれかに記載の撮像装置。
  11. 　前記第１タイプ、第２タイプおよび第３タイプの変位パターンの繰り返しにおいて、前記第１範囲、前記第２範囲および前記第３範囲の位置が異なる、請求項１から１０のいずれかに記載の撮像装置。
  12. 　前記第１タイプ、第２タイプおよび第３タイプの変位パターンの繰り返しにおいて、前記第１範囲および前記第２範囲の長さは等しく、位置が前記第１合焦位置と前記第２合焦位置との間で異なる請求項１１に記載の撮像装置。
  13. 　前記撮像シーンに基づいて前記撮像素子の露光時間を決定する露光時間決定部と、
    　前記第１合焦位置、前記第２合焦位置および前記露光時間に基づいて前記変位パターンを決定する変位設定部と
    をさらに備える請求項１から１２のいずれかに記載の撮像装置。
  14. 　前記撮像素子または前記フォーカスレンズの一方の位置を検出する位置検出部をさらに備え、
    　前記変位制御部は前記位置検出部の出力および前記変位パターンに基づき、前記駆動部に駆動量を指令する請求項１３に記載の撮像装置。
  15. 　前記撮像素子から前記画像信号を読み出す読み出し回路をさらに備え、
    　前記同期部は、前記撮像素子の露光のタイミングに基づき、前記変位制御部および前記読み出し回路を制御する請求項１４に記載の撮像装置。
  16. 　前記撮像素子は、ＣＣＤイメージセンサである請求項１から１５のいずれかに記載の撮像装置。
  17. 　前記撮像素子は、ＣＭＯＳイメージセンサである請求項１から１５のいずれかに記載の撮像装置。
  18. 　前記第１タイプの変位パターンおよび前記第２タイプの変位パターンは、それぞれ、少なくとも全変位範囲を２以上の整数回、往復変位する請求項１７に記載の撮像装置。
  19. 　二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部とを備えた撮像装置の集積回路であって、
    　前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆一方の駆動による変位を制御するように構成された変位制御部と、
    　前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御するように構成された同期部と、
    を備え、
    　前記撮像素子または前記フォーカスレンズの一方の変位範囲は、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間において、第１範囲と前記第１範囲と離間した第２範囲と、前記第１範囲および前記第２範囲とに挟まれた第３範囲とを含み、
    　前記所定の変位パターンは、前記撮像素子または前記フォーカスレンズの一方が、前記第１範囲、前記第２範囲および前記第３範囲の全体をそれぞれ少なくとも１回変位する第１、第２および第３タイプの変位パターンを含み、
    　前記第１タイプの変位パターンおよび前記第２タイプの変位パターンの一方と、前記第３タイプの変位パターンとは、交互に繰り返される、集積回路。
  20. 　二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子に、フォーカスレンズによって光を集光することにより、前記フォーカスレンズまたは前記撮像素子を変位させながら前記複数の光電変換素子を露光させ撮像シーンを結像させる撮像方法であって、
    　前記撮像素子または前記フォーカスレンズの変位範囲は、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間において、第１範囲と前記第１範囲と離間した第２範囲と、前記第１範囲および前記第２範囲とに挟まれた第３範囲とを含み、
    　前記所定の変位パターンは、前記撮像素子または前記フォーカスレンズの一方が、前記第１範囲、前記第２範囲および前記第３範囲の全体をそれぞれ少なくとも１回変位する第１、第２および第３タイプの変位パターンを含み、
    　前記第１タイプの変位パターンおよび前記第２タイプの変位パターンの一方と、前記第３タイプの変位パターンとは、交互に繰り返される、撮像方法。
PCT/JP2013/001784 2012-05-17 2013-03-15 撮像装置、半導体集積回路および撮像方法 WO2013171954A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/123,421 US8890996B2 (en) 2012-05-17 2013-03-15 Imaging device, semiconductor integrated circuit and imaging method
JP2013539048A JP5934940B2 (ja) 2012-05-17 2013-03-15 撮像装置、半導体集積回路および撮像方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012113370 2012-05-17
JP2012-113370 2012-05-17

Publications (1)

Publication Number Publication Date
WO2013171954A1 true WO2013171954A1 (ja) 2013-11-21

Family

ID=49583387

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/001784 WO2013171954A1 (ja) 2012-05-17 2013-03-15 撮像装置、半導体集積回路および撮像方法

Country Status (3)

Country Link
US (1) US8890996B2 (ja)
JP (1) JP5934940B2 (ja)
WO (1) WO2013171954A1 (ja)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5602966B1 (ja) * 2012-05-24 2014-10-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御方法、情報通信装置およびプログラム
JP5603512B1 (ja) * 2012-12-27 2014-10-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御方法、情報通信装置およびプログラム
WO2014171051A1 (ja) * 2013-04-15 2014-10-23 パナソニック株式会社 距離測定装置、及び、距離測定方法
US8908074B2 (en) 2012-12-27 2014-12-09 Panasonic Intellectual Property Corporation Of America Information communication method
US8965216B2 (en) 2012-12-27 2015-02-24 Panasonic Intellectual Property Corporation Of America Information communication method
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US8994865B2 (en) 2012-12-27 2015-03-31 Panasonic Intellectual Property Corporation Of America Information communication method
US9008352B2 (en) 2012-12-27 2015-04-14 Panasonic Intellectual Property Corporation Of America Video display method
JP2015104136A (ja) * 2013-11-27 2015-06-04 株式会社ミツトヨ 拡張被写界深度を有する画像を得るマシンビジョン検査システム及び方法
US9085927B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9088363B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
CN105022137A (zh) * 2014-04-30 2015-11-04 聚晶半导体股份有限公司 使用多镜头的自动对焦系统及其方法
US9262954B2 (en) 2012-12-27 2016-02-16 Panasonic Intellectual Property Corporation Of America Visible light communication signal display method and apparatus
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US9646568B2 (en) 2012-12-27 2017-05-09 Panasonic Intellectual Property Corporation Of America Display method
US10303945B2 (en) 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US10523876B2 (en) 2012-12-27 2019-12-31 Panasonic Intellectual Property Corporation Of America Information communication method
US10530486B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
WO2020016922A1 (ja) * 2018-07-17 2020-01-23 オリンパス株式会社 撮像システム、処理装置および内視鏡
US10951310B2 (en) 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5914834B2 (ja) * 2011-10-12 2016-05-11 パナソニックＩｐマネジメント株式会社 撮像装置、半導体集積回路および撮像方法
JP5895270B2 (ja) * 2014-03-28 2016-03-30 パナソニックＩｐマネジメント株式会社 撮像装置
JP6670996B2 (ja) * 2014-09-26 2020-03-25 パナソニックＩｐマネジメント株式会社 表示装置及び表示方法
US9525814B2 (en) * 2014-10-12 2016-12-20 Himax Imaging Limited Automatic focus searching using focal sweep technique
US9948832B2 (en) * 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002082805A1 (fr) * 2001-03-30 2002-10-17 National Institute Of Advanced Industrial Science And Technology Camera de microscope omnifocale en temps reel
JP2012005063A (ja) * 2010-06-21 2012-01-05 Sony Corp 撮像装置および方法、並びにプログラム
WO2012066774A1 (ja) * 2010-11-17 2012-05-24 パナソニック株式会社 撮像装置及び距離計測方法
WO2012117733A1 (ja) * 2011-03-02 2012-09-07 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法
WO2012140899A1 (ja) * 2011-04-15 2012-10-18 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6068312A (ja) 1983-05-13 1985-04-18 Shimadzu Corp 光学顕微鏡像の撮影方法
JP3191928B2 (ja) 1988-02-23 2001-07-23 オリンパス光学工業株式会社 画像入出力装置
DE3905619C2 (de) 1988-02-23 2000-04-13 Olympus Optical Co Bildeingabe-/Ausgabevorrichtung
GB8917224D0 (en) 1989-07-27 1989-09-13 Unilever Plc Dispensing system
JPH0527084A (ja) 1991-07-25 1993-02-05 Toshiba Eng & Constr Co Ltd 燃料集合体のチヤンネルボツクス載置確認装置
JP3084130B2 (ja) 1992-05-12 2000-09-04 オリンパス光学工業株式会社 画像入力装置
US6320979B1 (en) * 1998-10-06 2001-11-20 Canon Kabushiki Kaisha Depth of field enhancement
JP2001281529A (ja) * 2000-03-29 2001-10-10 Minolta Co Ltd デジタルカメラ
JP4348261B2 (ja) * 2004-08-31 2009-10-21 Ｈｏｙａ株式会社 トリミング撮像装置
JP4349302B2 (ja) 2005-03-04 2009-10-21 ソニー株式会社 フォーカス制御装置、撮像装置、フォーカス制御方法
JP4771535B2 (ja) * 2005-05-17 2011-09-14 キヤノン株式会社 撮像装置及び制御方法
JP4756960B2 (ja) * 2005-09-02 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体
JP5032775B2 (ja) * 2006-02-17 2012-09-26 富士フイルム株式会社 レンズ装置
JP2008009341A (ja) * 2006-06-30 2008-01-17 Sony Corp オートフォーカス装置、撮像装置及びオートフォーカス方法
US7711259B2 (en) * 2006-07-14 2010-05-04 Aptina Imaging Corporation Method and apparatus for increasing depth of field for an imager
JP4951433B2 (ja) * 2007-07-24 2012-06-13 ペンタックスリコーイメージング株式会社 焦点調節方法及び焦点調節装置
WO2009028139A1 (ja) * 2007-08-29 2009-03-05 Panasonic Corporation 撮像装置
US8390729B2 (en) * 2007-09-05 2013-03-05 International Business Machines Corporation Method and apparatus for providing a video image having multiple focal lengths
JP2009110137A (ja) * 2007-10-29 2009-05-21 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP5111140B2 (ja) * 2008-02-06 2012-12-26 キヤノン株式会社 固体撮像装置の駆動方法、固体撮像装置、及び撮像システム
JP5009880B2 (ja) * 2008-09-19 2012-08-22 富士フイルム株式会社 撮像装置及び撮像方法
JP5138521B2 (ja) * 2008-09-19 2013-02-06 富士フイルム株式会社 撮像装置及び撮像方法
US8194995B2 (en) * 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
US8289440B2 (en) * 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
JP5226552B2 (ja) * 2009-02-03 2013-07-03 オリンパスイメージング株式会社 撮像装置
EP2511747B1 (en) * 2009-12-07 2017-11-08 Panasonic Corporation Imaging device and imaging method
JP5367094B2 (ja) * 2009-12-07 2013-12-11 パナソニック株式会社 撮像装置及びその制御方法
JP5516960B2 (ja) * 2010-04-02 2014-06-11 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法、および、電子機器
US8436912B2 (en) * 2010-04-30 2013-05-07 Intellectual Ventures Fund 83 Llc Range measurement using multiple coded apertures
JP2013030895A (ja) * 2011-07-27 2013-02-07 Sony Corp 信号処理装置、撮像装置、信号処理方法およびプログラム
JP5656705B2 (ja) * 2010-06-01 2015-01-21 キヤノン株式会社 撮像装置、撮像装置の制御方法
JP5869883B2 (ja) * 2010-06-17 2016-02-24 パナソニック株式会社 画像処理装置
JP5824364B2 (ja) * 2010-06-17 2015-11-25 パナソニック株式会社 距離推定装置、距離推定方法、集積回路、コンピュータプログラム
JP5177184B2 (ja) * 2010-07-30 2013-04-03 株式会社ニコン 焦点調節装置および撮像装置
US8531537B2 (en) * 2010-09-08 2013-09-10 Olympus Corporation Imaging apparatus for processing still picture signals and live view signals output from an image sensor
JP5718069B2 (ja) * 2011-01-18 2015-05-13 オリンパス株式会社 固体撮像装置および撮像装置
KR101760347B1 (ko) * 2011-05-17 2017-07-24 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002082805A1 (fr) * 2001-03-30 2002-10-17 National Institute Of Advanced Industrial Science And Technology Camera de microscope omnifocale en temps reel
JP2012005063A (ja) * 2010-06-21 2012-01-05 Sony Corp 撮像装置および方法、並びにプログラム
WO2012066774A1 (ja) * 2010-11-17 2012-05-24 パナソニック株式会社 撮像装置及び距離計測方法
WO2012117733A1 (ja) * 2011-03-02 2012-09-07 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法
WO2012140899A1 (ja) * 2011-04-15 2012-10-18 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHUHEI MATSUI: "Focus Sweep Imaging for Depth From Defocus", IPSJ SIG NOTES, HEISEI 22 NENDO A4V, 4 January 2011 (2011-01-04) *

Cited By (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9083544B2 (en) 2012-05-24 2015-07-14 Panasonic Intellectual Property Corporation Of America Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
JP5602966B1 (ja) * 2012-05-24 2014-10-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御方法、情報通信装置およびプログラム
US9456109B2 (en) 2012-05-24 2016-09-27 Panasonic Intellectual Property Corporation Of America Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
US9300845B2 (en) 2012-05-24 2016-03-29 Panasonic Intellectual Property Corporation Of America Information communication device for obtaining information from a subject by demodulating a bright line pattern included in an obtained image
JP2014220787A (ja) * 2012-05-24 2014-11-20 パナソニックインテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御方法、情報通信装置およびプログラム
US9166810B2 (en) 2012-05-24 2015-10-20 Panasonic Intellectual Property Corporation Of America Information communication device of obtaining information by demodulating a bright line pattern included in an image
US9143339B2 (en) 2012-05-24 2015-09-22 Panasonic Intellectual Property Corporation Of America Information communication device for obtaining information from image data by demodulating a bright line pattern appearing in the image data
US9083543B2 (en) 2012-05-24 2015-07-14 Panasonic Intellectual Property Corporation Of America Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
US8994841B2 (en) 2012-05-24 2015-03-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by stripe pattern of bright lines
US10218914B2 (en) 2012-12-20 2019-02-26 Panasonic Intellectual Property Corporation Of America Information communication apparatus, method and recording medium using switchable normal mode and visible light communication mode
US9571191B2 (en) 2012-12-27 2017-02-14 Panasonic Intellectual Property Corporation Of America Information communication method
US9341014B2 (en) 2012-12-27 2016-05-17 Panasonic Intellectual Property Corporation Of America Information communication method using change in luminance
US9019412B2 (en) 2012-12-27 2015-04-28 Panasonic Intellectual Property Corporation Of America Information communication method for selecting between visible light communication mode and normal imaging mode
US9030585B2 (en) 2012-12-27 2015-05-12 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information by demodulating bright line pattern included in image
US11659284B2 (en) 2012-12-27 2023-05-23 Panasonic Intellectual Property Corporation Of America Information communication method
JP2015119459A (ja) * 2012-12-27 2015-06-25 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御方法、情報通信装置およびプログラム
JP2015119458A (ja) * 2012-12-27 2015-06-25 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御方法、情報通信装置およびプログラム
US8994865B2 (en) 2012-12-27 2015-03-31 Panasonic Intellectual Property Corporation Of America Information communication method
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US9088362B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information by demodulating bright line pattern included in an image
US9085927B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9635278B2 (en) 2012-12-27 2017-04-25 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US9088363B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9094120B2 (en) 2012-12-27 2015-07-28 Panasonic Intellectual Property Corporaton Of America Information communication method
US8965216B2 (en) 2012-12-27 2015-02-24 Panasonic Intellectual Property Corporation Of America Information communication method
US8908074B2 (en) 2012-12-27 2014-12-09 Panasonic Intellectual Property Corporation Of America Information communication method
US11490025B2 (en) 2012-12-27 2022-11-01 Panasonic Intellectual Property Corporation Of America Information communication method
US9184838B2 (en) 2012-12-27 2015-11-10 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using ID list and bright line image
US9203515B2 (en) 2012-12-27 2015-12-01 Panasonic Intellectual Property Corporation Of America Information communication method
US9247180B2 (en) 2012-12-27 2016-01-26 Panasonic Intellectual Property Corporation Of America Video display method using visible light communication image including stripe patterns having different pitches
US9252878B2 (en) 2012-12-27 2016-02-02 Panasonic Intellectual Property Corporation Of America Information communication method
US9258058B2 (en) 2012-12-27 2016-02-09 Panasonic Intellectual Property Corporation Of America Signal transmitting apparatus for transmitting information by bright line pattern in image
US9262954B2 (en) 2012-12-27 2016-02-16 Panasonic Intellectual Property Corporation Of America Visible light communication signal display method and apparatus
US9281895B2 (en) 2012-12-27 2016-03-08 Panasonic Intellectual Property Corporation Of America Information communication method
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US9331779B2 (en) 2012-12-27 2016-05-03 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using ID list and bright line image
US9613596B2 (en) 2012-12-27 2017-04-04 Panasonic Intellectual Property Corporation Of America Video display method using visible light communication image including stripe patterns having different pitches
US9380227B2 (en) 2012-12-27 2016-06-28 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US9407368B2 (en) 2012-12-27 2016-08-02 Panasonic Intellectual Property Corporation Of America Information communication method
US9450672B2 (en) 2012-12-27 2016-09-20 Panasonic Intellectual Property Corporation Of America Information communication method of transmitting a signal using change in luminance
JP5603523B1 (ja) * 2012-12-27 2014-10-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御方法、情報通信装置およびプログラム
US9462173B2 (en) 2012-12-27 2016-10-04 Panasonic Intellectual Property Corporation Of America Information communication method
US10951310B2 (en) 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
US9467225B2 (en) 2012-12-27 2016-10-11 Panasonic Intellectual Property Corporation Of America Information communication method
US9515731B2 (en) 2012-12-27 2016-12-06 Panasonic Intellectual Property Corporation Of America Information communication method
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US9564970B2 (en) 2012-12-27 2017-02-07 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using ID list and bright line image
JP5603513B1 (ja) * 2012-12-27 2014-10-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御方法、情報通信装置およびプログラム
US10887528B2 (en) 2012-12-27 2021-01-05 Panasonic Intellectual Property Corporation Of America Information communication method
US9591232B2 (en) 2012-12-27 2017-03-07 Panasonic Intellectual Property Corporation Of America Information communication method
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
US11165967B2 (en) 2012-12-27 2021-11-02 Panasonic Intellectual Property Corporation Of America Information communication method
US9008352B2 (en) 2012-12-27 2015-04-14 Panasonic Intellectual Property Corporation Of America Video display method
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9641766B2 (en) 2012-12-27 2017-05-02 Panasonic Intellectual Property Corporation Of America Information communication method
US9646568B2 (en) 2012-12-27 2017-05-09 Panasonic Intellectual Property Corporation Of America Display method
US9756255B2 (en) 2012-12-27 2017-09-05 Panasonic Intellectual Property Corporation Of America Information communication method
US9768869B2 (en) 2012-12-27 2017-09-19 Panasonic Intellectual Property Corporation Of America Information communication method
US9794489B2 (en) 2012-12-27 2017-10-17 Panasonic Intellectual Property Corporation Of America Information communication method
US9859980B2 (en) 2012-12-27 2018-01-02 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US9918016B2 (en) 2012-12-27 2018-03-13 Panasonic Intellectual Property Corporation Of America Information communication apparatus, method, and recording medium using switchable normal mode and visible light communication mode
US9998220B2 (en) 2012-12-27 2018-06-12 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
US10051194B2 (en) 2012-12-27 2018-08-14 Panasonic Intellectual Property Corporation Of America Information communication method
US10148354B2 (en) 2012-12-27 2018-12-04 Panasonic Intellectual Property Corporation Of America Luminance change information communication method
US10165192B2 (en) 2012-12-27 2018-12-25 Panasonic Intellectual Property Corporation Of America Information communication method
US10205887B2 (en) 2012-12-27 2019-02-12 Panasonic Intellectual Property Corporation Of America Information communication method
JP5603512B1 (ja) * 2012-12-27 2014-10-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御方法、情報通信装置およびプログラム
US10225014B2 (en) 2012-12-27 2019-03-05 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using ID list and bright line image
US10303945B2 (en) 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US10334177B2 (en) 2012-12-27 2019-06-25 Panasonic Intellectual Property Corporation Of America Information communication apparatus, method, and recording medium using switchable normal mode and visible light communication mode
US10354599B2 (en) 2012-12-27 2019-07-16 Panasonic Intellectual Property Corporation Of America Display method
US10361780B2 (en) 2012-12-27 2019-07-23 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US10368005B2 (en) 2012-12-27 2019-07-30 Panasonic Intellectual Property Corporation Of America Information communication method
US10368006B2 (en) 2012-12-27 2019-07-30 Panasonic Intellectual Property Corporation Of America Information communication method
US10447390B2 (en) 2012-12-27 2019-10-15 Panasonic Intellectual Property Corporation Of America Luminance change information communication method
US10455161B2 (en) 2012-12-27 2019-10-22 Panasonic Intellectual Property Corporation Of America Information communication method
US10516832B2 (en) 2012-12-27 2019-12-24 Panasonic Intellectual Property Corporation Of America Information communication method
US10521668B2 (en) 2012-12-27 2019-12-31 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US10523876B2 (en) 2012-12-27 2019-12-31 Panasonic Intellectual Property Corporation Of America Information communication method
US10531010B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Information communication method
US10531009B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Information communication method
US10530486B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
US10742891B2 (en) 2012-12-27 2020-08-11 Panasonic Intellectual Property Corporation Of America Information communication method
US10616496B2 (en) 2012-12-27 2020-04-07 Panasonic Intellectual Property Corporation Of America Information communication method
US10638051B2 (en) 2012-12-27 2020-04-28 Panasonic Intellectual Property Corporation Of America Information communication method
US10666871B2 (en) 2012-12-27 2020-05-26 Panasonic Intellectual Property Corporation Of America Information communication method
JPWO2014171051A1 (ja) * 2013-04-15 2017-02-16 パナソニックＩｐマネジメント株式会社 距離測定装置、及び、距離測定方法
US9467616B2 (en) 2013-04-15 2016-10-11 Panasonic Intellectual Property Management Co., Ltd. Distance measurement apparatus and distance measurement method
WO2014171051A1 (ja) * 2013-04-15 2014-10-23 パナソニック株式会社 距離測定装置、及び、距離測定方法
JP2015104136A (ja) * 2013-11-27 2015-06-04 株式会社ミツトヨ 拡張被写界深度を有する画像を得るマシンビジョン検査システム及び方法
CN105022137A (zh) * 2014-04-30 2015-11-04 聚晶半导体股份有限公司 使用多镜头的自动对焦系统及其方法
WO2020016922A1 (ja) * 2018-07-17 2020-01-23 オリンパス株式会社 撮像システム、処理装置および内視鏡
JPWO2020016922A1 (ja) * 2018-07-17 2021-08-26 オリンパス株式会社 撮像システム、処理装置および内視鏡
US11258941B2 (en) 2018-07-17 2022-02-22 Olympus Corporation Imaging system adapted to perform focal sweep imaging, processing apparatus, and endoscope
JP7036923B2 (ja) 2018-07-17 2022-03-15 オリンパス株式会社 撮像システム、処理装置および内視鏡

Also Published As

Publication number Publication date
JP5934940B2 (ja) 2016-06-15
US8890996B2 (en) 2014-11-18
JPWO2013171954A1 (ja) 2016-01-12
US20140184883A1 (en) 2014-07-03

Similar Documents

Publication Publication Date Title
JP5934940B2 (ja) 撮像装置、半導体集積回路および撮像方法
JP5847728B2 (ja) 撮像装置、半導体集積回路および撮像方法
JP5809688B2 (ja) 撮像装置、半導体集積回路および撮像方法
JP5914834B2 (ja) 撮像装置、半導体集積回路および撮像方法
JP5791349B2 (ja) 撮像装置及びその制御方法
JP5618712B2 (ja) 自動焦点調節装置および撮像装置
JP6335434B2 (ja) 撮像装置、その制御方法およびプログラム
JP5938281B2 (ja) 撮像装置およびその制御方法ならびにプログラム
KR20130083853A (ko) 화상처리장치, 촬상장치, 제어 방법 및 기록 매체
WO2014171051A1 (ja) 距離測定装置、及び、距離測定方法
JP6152772B2 (ja) 撮像装置、半導体集積回路および撮像方法
JP2017126035A (ja) 撮像装置、制御方法、プログラム及び記憶媒体
JP6238578B2 (ja) 撮像装置およびその制御方法
JP2005164669A (ja) デジタルカメラ
JP6566800B2 (ja) 撮像装置及び撮像方法
JP6900228B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、および、プログラム
JP6882016B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、および、プログラム
JP2017134154A (ja) フォーカス制御装置、撮像装置およびフォーカス制御プログラム
JP2019074634A (ja) 撮像装置
JP2020190653A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2004325619A (ja) 撮像装置および撮像方法
JP2001045356A (ja) ビデオカメラ

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013539048

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14123421

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13791346

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13791346

Country of ref document: EP

Kind code of ref document: A1