WO2012117733A1

WO2012117733A1 - 撮像装置、半導体集積回路および撮像方法

Info

Publication number: WO2012117733A1
Application number: PCT/JP2012/001411
Authority: WO
Inventors: 武史島本; 芳明杉谷; 河村　岳
Original assignee: パナソニック株式会社
Priority date: 2011-03-02
Filing date: 2012-03-01
Publication date: 2012-09-07
Also published as: CN103348276A; US9083880B2; US20130314586A1; EP2682799A4; EP2682799A1; CN103348276B; JP5809688B2; JPWO2012117733A1; EP2682799B1

Abstract

　本願に開示された撮像装置は、二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御する変位制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御する同期部とを備え、前記所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の全区間における、前記駆動される前記撮像素子または前記フォーカスレンズの往復変位であり、前記駆動される前記撮像素子または前記フォーカスレンズは、複数の光電変換素子のそれぞれにおける、前記撮像シーンの１画像分の露光時間中に整数回数、往復変位する。

Description

撮像装置、半導体集積回路および撮像方法

　本発明は、例えば被写界深度拡張に用いるＦｌｅｘｉｂｌｅ　ＤＯＦ（Ｄｅｐｔｈ　Ｏｆ　Ｆｉｅｌｄ）方式における、動画もしくは連続静止画撮影に関する。

　撮像装置において、被写界深度拡張（Ｅｘｔｅｎｄｅｄ　Ｄｅｐｔｈ　Ｏｆ　Ｆｉｅｌｄ、以下ＥＤＯＦと称する）を実現する方式として、一般的には主に以下の３つの方式が挙げられる。

　１つ目の方式は、位相板と呼ばれる光学素子を挿入することにより深度方向の像のボケを均一化し、あらかじめ測定もしくはシミュレーションにより、得られたボケパターンによって画像復元処理を行い、被写界深度が拡張された画像（以下、ＥＤＯＦ画像という）を得る。この方式は、Ｗａｖｅｆｒｏｎｔ　Ｃｏｄｉｎｇ（以下ＷＦＣと称する）と称されている（非特許文献１）。

　２つ目の方式は、絞り形状を工夫することにより画像の部分領域ごとに高精度な距離測定を行い、あらかじめ測定しておいたそれぞれの距離に応じたボケパターンによって画像復元処理を行い、ＥＤＯＦ画像を得る。この方式は、Ｃｏｄｅｄ　Ａｐｅｒｔｕｒｅ（以下ＣＡと称する）と称されている（非特許文献２）。

　３つ目の方式は、露光時間中にフォーカスレンズもしくは撮像素子を動かすことにより、深度方向に一律に合焦した画像を畳み込み（つまり各深度で像のボケを均一化することと同義）、あらかじめ測定もしくはシミュレーションにより得られたボケパターンによって画像復元処理を行い、ＥＤＯＦ画像を得る。この方式は、Ｆｌｅｘｉｂｌｅ　ＤＯＦ（以下Ｆ－ＤＯＦと称する）と称されている（非特許文献３）。

　この他、レンズの軸上色収差を利用して深度推定もしくは画像のシャープネス検知を行い、画像処理により全体が鮮鋭な画像を得る方式（非特許文献４）が知られている。多重焦点レンズを使って深度方向の像のボケを均一化し、あらかじめ測定もしくはシミュレーションにより得られたボケパターンによって画像復元処理を行う方式（非特許文献５）なども知られている。しかし、これらの方式は、原理上、上述した３つの方式に比べて、ＥＤＯＦ効果が小さいという欠点がある。

　さらに、Ｆｏｃａｌ　Ｓｔａｃｋと呼ばれる方式も古くから知られている。この方式は、合焦位置の異なる複数枚の画像を撮影し、それぞれ合焦していると思われる領域をそれぞれの画像から抽出・合成し、ＥＤＯＦ画像を得る。この方式の場合、多くの撮影画像を必要とするため、撮像に比較的時間を要することおよび画像の記憶にメモリ量を多く消費してしまうという問題がある。

　上述した３つの方式のうち、ＷＦＣは、様々な種類の位相板が提案されており、最もＥＤＯＦ効果の得られるものとして、Ｃｕｂｉｃ　Ｐｈａｓｅ　Ｍａｓｋ（以下ＣＰＭと称する）やＦｒｅｅ－Ｆｏｒｍ　Ｐｈａｓｅ　Ｍａｓｋ（以下ＦＰＭと称する）などが挙げられる。復元後の画質（アーティファクトの少なさ）の観点からＦＰＭが有力とされている（非特許文献６）。しかしながら、ＷＦＣ共通の欠点として、位相板を挿入することにより、レンズの光軸外の特性が悪化するという性質がある（非特許文献７）。具体的には、正面からの入射光と比べ、正面以外からの入射光に対して、同じだけのボケ均一効果が得られないため、画像復元時に軸上のボケパターンで復元処理を行うと、復元後の光軸外の画質が劣化してしまう。

　上述した３つの方式のうち、ＣＡは、特徴的な形状の絞りを挿入することにより距離測定精度を高めるという方式そのものがもつ特性により、撮影された画像や復元処理後に得られる画像の特定周波数成分が失われてしまう、つまり画質劣化してしまうという欠点がある。また一般的に絞り形状に関わらず通常の撮影方法よりも光量が減るため、暗い場所での撮影に向かない。

　上述した３つの方式のうち、Ｆ－ＤＯＦは、この中で最も良好な画質が得られる方式であり、ＥＤＯＦ効果も高い。軸外特性もレンズ特性そのものに依存するため、性能を高めやすい。ただし、Ｆ－ＤＯＦによれば、露光中、フォーカスレンズの位置を動かしても、同一被写体が同一の画像位置上に畳み込まれる場合に良好な画質の画像が得られる。このために、Ｆ－ＤＯＦでは像側テレセントリックレンズを用いる場合がある。

　ＥＤＯＦ技術の利用分野の１つに、顕微鏡が挙げられる。顕微鏡による撮像の場合、撮影対象が静物体であるため、時間をかけて撮影することができる。このため、Ｆｏｃａｌ　Ｓｔａｃｋ方式が古くから用いられてきた。ただしこの方式の場合、前述のとおり手間および時間を要することから、Ｆ－ＤＯＦ方式も併用した技術が提案されている（特許文献１～４）。Ｆ－ＤＯＦを顕微鏡用途で用いる場合、露光中に被写体である試料またはレンズ鏡筒を移動させる。露光後の画像復元処理を前提とする場合、像のボケが常に均一になるよう被写体またはレンズ鏡筒を移動させる。この移動の仕方を適切に制御すれば、単一のボケパターンを使った画像復元処理方法が適用できるため合理的であることが知られている（特許文献５）。そのためには、撮像素子を移動させる場合、撮像素子を等速度で動かす。またフォーカスレンズを移動させる場合、撮像面が等速度で動くのに相当するフォーカス変位を行う必要がある（非特許文献３）。動かすパターンとしては、奥側合焦端位置から手前側合焦端位置まで、またはその逆でもよいことが知られている。

　この他、近年、ＥＤＯＦ技術を携帯電話などに搭載されるカメラに適用する例が知られている。ＥＤＯＦの効果により、オートフォーカス機構を持つことなく、全焦点画像（すべての被写体に焦点が合っている画像）を得ることができるからである。この観点では、上述の３つの方式のうち、ＷＦＣや軸上色収差を用いる方式が採用されている。Ｆ－ＤＯＦは、フォーカスレンズもしくは撮像素子を動かす機構が必要となるため、一般的には採用されていない。

独国特許第２３０１８００Ｂ２号明細書特公平５－２７０８４号公報特許第３１９１９２８号公報米国特許第７７１１２５９号明細書特許第３０８４１３０号公報特開２００６－４７９５４号公報特開２００７－１０９０８号公報

Ｅ．Ｒ．Ｄｏｗｓｋｉ　ａｎｄ　Ｗ．Ｔ．Ｃａｔｈｅｙ，"Ｅｘｔｅｎｄｅｄ　ｄｅｐｔｈ　ｏｆ　ｆｉｅｌｄ　ｔｈｒｏｕｇｈ　ｗａｖｅ－ｆｒｏｎｔ　ｃｏｄｉｎｇ"，　Ａｐｐｌｉｅｄ　Ｏｐｔｉｃｓ，　Ｖｏｌ．３４，　Ｎｏ．１１，　Ｐ．１８５９－１８６６　（１９９５）Ａ．Ｌｅｖｉｎ，　Ｒ．Ｆｅｒｇｕｓ，　Ｆ．Ｄｕｒａｎｄ　ａｎｄ　Ｗ．Ｔ．Ｆｒｅｅｍａｎ，"Ｉｍａｇｅ　ａｎｄ　Ｄｅｐｔｈ　ｆｒｏｍ　ａ　Ｃｏｎｖｅｎｔｉｏｎａｌ　Ｃａｍｅｒａ　ｗｉｔｈ　ａ　Ｃｏｄｅｄ　Ａｐｅｒｔｕｒｅ"，　ＡＣＭ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｇｒａｐｈｉｃｓ，　Ｖｏｌ．２６，　Ｎｏ．３，　Ａｒｔｉｃｌｅ　７０，　７０－１　－　７０－９　（２００７）Ｈ．Ｎａｇａｈａｒａ，　Ｓ．Ｋｕｔｈｉｒｕｍｍａｌ，　Ｃ．Ｚｈｏｕ　ａｎｄ　Ｓ．Ｎａｙａｒ，"Ｆｌｅｘｉｂｌｅ　Ｄｅｐｔｈ　ｏｆ　Ｆｉｅｌｄ　Ｐｈｏｔｏｇｒａｐｈｙ"，　Ｅｕｒｏｐｅａｎ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　（ＥＣＣＶ），Ｏｃｔ．１６ｔｈ，　Ｍｏｒｎｉｎｇ　Ｓｅｓｓｉｏｎ　２：　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｐｈｏｔｏｇｒａｐｈｙ　（２００８）Ｃ．Ｔｉｓｓｅ，　Ｈ．Ｐ．Ｎｇｕｙｅｎ，　Ｒ．Ｔｅｓｉｅｒｅｓ，　Ｍ．Ｐｙａｎｅｔ　ａｎｄ　Ｆ．Ｇｕｉｃｈａｒｄ，"Ｅｘｔｅｎｄｅｄ　Ｄｅｐｔｈ－ｏｆ－ｆｉｅｌｄ　（ＥＤＯＦ）　ｕｓｉｎｇ　ｓｈａｒｐｎｅｓｓ　ｔｒａｎｓｐｏｒｔ　ａｃｒｏｓｓ　ｃｏｌｏｕｒ　ｃｈａｎｎｅｌｓ"，　Ｏｐｔｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ　＋　Ａｐｐｌｉｃａｔｉｏｎｓ，　Ｐａｒｔ　ｏｆ　ＳＰＩＥ　Ｏｐｔｉｃｓ　＋　Ｐｈｏｔｏｎｉｃｓ，　Ｓｅｓｓｉｏｎ　１－－　Ｉｍａｇｉｎｇ　ｉｎ　ｔｈｅ　Ｏｐｔｉｃａｌ　Ｄｅｓｉｇｎ　Ｐｒｏｃｅｓｓ：　Ｄｅｐｔｈ　ｏｆ　Ｆｉｅｌｄ　（２００８）Ｗ．Ｃｈｉ　ａｎｄ　Ｎ．Ｇｅｏｒｇｅ，"Ｃｏｍｐｕｔａｔｉｏｎａｌ　ｉｍａｇｉｎｇ　ｗｉｔｈ　ｔｈｅ　ｌｏｇａｒｉｔｈｍｉｃ　ａｓｐｈｅｒｅ：　ｔｈｅｏｒｙ"，　Ｏｐｔｉｃａｌ　Ｓｏｃｉｅｔｙ　ｏｆ　Ａｍｅｒｉｃａ，　Ｖｏｌ．２０，　Ｎｏ．１２，　Ｄｅｃｅｍｂｅｒ　（２００３）Ｙ．Ｔａｋａｈａｓｈｉ　ａｎｄ　Ｓ．Ｋｏｍａｔｓｕ，"Ｏｐｔｉｍｉｚｅｄ　ｆｒｅｅ－ｆｏｒｍ　ｐｈａｓｅ　ｍａｓｋ　ｆｏｒ　ｅｘｔｅｎｓｉｏｎ　ｏｆ　ｄｅｐｔｈ　ｏｆ　ｆｉｅｌｄ　ｉｎ　ｗａｖｅｆｒｏｎｔ－ｃｏｄｅｄ　ｉｍａｇｉｎｇ"，　Ｏｐｔｉｃａｌ　Ｓｏｃｉｅｔｙ　ｏｆ　Ａｍｅｒｉｃａ，　Ｏｐｔｉｃｓ　Ｌｅｔｔｅｒｓ，　Ｖｏｌ．３３，　Ｎｏ．１３，　Ｊｕｌｙ　１，　（２００８）高橋康久，　尾花亮，　小松進一，　「ウェイブフロント・コーディング用最適化位相板―軸外の被写界深度拡張効果―」，　Ｏｐｔｉｃｓ　＆　Ｐｈｏｔｏｎｉｃｓ　Ｊａｐａｎ　２００７（日本光学会年次学術講演会），　予稿集，Ｐ．４６４－４６５（２７ｐＣ２），　（２００７）

　近年、簡単にかつ失敗の少ない撮影を行うことが可能なデジタルスチルカメラやデジタルビデオカメラへのニーズがある。このようなデジタルスチルカメラやデジタルビデオカメラを実現するために、ＥＤＯＦ技術を採用することが考えられる。ＥＤＯＦ技術を用いれば、全焦点画像、すなわち合焦ミスから解放されるという効果が期待できるからである。

　本願発明は、このような課題に鑑み、ＥＤＯＦ画像を得ることのできる、撮像装置、撮像装置に用いられる集積回路および撮像方法を提供することを目的とする。

　本願に開示された撮像装置、集積回路および撮像方法によれば、ローリングシャッター動作を行うＣＭＯＳ型撮像素子を用いてＦ－ＤＯＦ方式で動画撮影もしくは連続静止画撮影を実現することができる。

第１の実施形態による撮像装置のブロック構成図を示す。第１の実施形態による撮像装置の動作を示すフローチャートである。（ａ）は、第１および第２の実施形態におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示し、（ｂ）は、撮像素子の露光および読み出し動作のタイミングを示している。（ｃ）から（ｆ）は、撮像素子の所定の行における露光量とフォーカスレンズまたは撮像素子の位置との関係をそれぞれ示している。（ａ）は、第１および第２の実施形態におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示し、（ｂ）は、撮像素子の露光および読み出し動作のタイミングを示している。（ａ）は、第１および第２の実施形態におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示し、（ｂ）は、撮像素子の露光および読み出し動作のタイミングを示している。（ａ）は、第１および第２の実施形態におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示し、（ｂ）は、撮像素子の露光および読み出し動作のタイミングを示している。（ａ）は、第１および第２の実施形態におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示し、（ｂ）は、撮像素子の露光および読み出し動作のタイミングを示している。（ａ）は、第１および第２の実施形態におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示し、（ｂ）は、撮像素子の露光および読み出し動作のタイミングを示している。（ａ）は、第１および第２の実施形態におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示し、（ｂ）は、撮像素子の露光および読み出し動作のタイミングを示している。第２の実施形態による撮像装置のブロック構成図を示す。第２の実施形態による撮像装置の動作を示すフローチャートである。本願発明者が検討した撮像装置のブロック構成図である。被写体、フォーカスレンズおよび撮像素子の位置関係を示す図である。図１２に示す撮像装置におけるフォーカスレンズの位置と露光時間との関係を示す図である。被写体距離ｖと像面側焦点距離ｕの関係の一例を示すグラフである。本願発明者が検討した他の撮像装置のブロック構成図である。ＣＭＯＳ型撮像素子のローリングシャッター動作を説明する図である。（ａ）は、図１２または図１６に示す撮像装置におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示し、（ｂ）は、撮像素子の露光および読み出し動作のタイミングを示している。（ｃ）から（ｆ）は、撮像素子の所定の行における露光量とフォーカスレンズまたは撮像素子の位置との関係をそれぞれ示している。

　本願発明者は、通常の撮影に用いられる、オートフォーカス機構等のフォーカスレンズを駆動させる機構を備えたデジタルスチルカメラやデジタルビデオカメラにおいて、ＥＤＯＦ画像を得るために適した構造について詳細に検討した。このような用途のカメラでは、得られる画像が高画質であること、ＥＤＯＦ効果が大きいこと、ＥＤＯＦ範囲を任意に変更することが可能なこと、通常のオートフォーカス機構を応用することにより実現可能なこと（特別な光学系を用意しなくてすむこと）、ＥＤＯＦ撮影と通常撮影の切り替えが容易なこと、などから、Ｆ－ＤＯＦ方式が適している。

　まず、Ｆ－ＤＯＦ方式の撮像を実現するのに必要な構成を、図１２および図１３を用いて説明する。図１２に示す撮像装置３００は、露光時間中にフォーカスレンズを変位させる構造の一例を示している。撮像装置３００は、フォーカスレンズ１０１を含むレンズ光学系１２０、フォーカスレンズ１０１を駆動するフォーカスレンズ駆動部１０３および撮像素子１０４を含む。フォーカスレンズ１０１の位置を変化させることにより、撮像素子１０４との距離を変化させ、フォーカス距離を変更し得る。フォーカスレンズ１０１が固定していると考えた場合、フォーカス距離の変更は、焦点位置の変更と同義である。

　レリーズ受付部１１３がユーザから露光開始指令を受け付けると、フォーカスレンズ位置検出部１０２が、フォーカスレンズ１０１のそのときの位置（初期位置）を検出する。検出後、フォーカスレンズ１０１の位置を所定の端位置、例えば最近端もしくは最遠端へ変位させる。

　図１３は、撮影シーンに含まれる被写体と撮像装置３００内におけるフォーカスレンズ１０１および撮像素子１０４との位置関係を示す模式図である。

　最近端とは、撮影シーンに含まれる被写体のうち、撮像装置３００に最も近い被写体が撮像素子１０４の撮像面上において像を形成するようにフォーカスレンズ１０１を移動させた場合におけるフォーカスレンズ１０１の位置をいう。この時、被写体から撮像装置３００のフォーカスレンズ１０１までの距離ｕは最も短くなり、フォーカスレンズ１０１と撮像素子１０４との距離ｖは最も長くなる。

　また、最遠端とは、撮影シーンに含まれる被写体のうち、撮像装置３００に最も遠い被写体が撮像素子１０４の撮像面上において像を形成するようにフォーカスレンズ１０１を移動させた場合におけるフォーカスレンズ１０１の位置をいう。この時、被写体から撮像装置３００のフォーカスレンズ１０１までの距離ｕは最も長くなり、フォーカスレンズ１０１と撮像素子との距離ｖは最も短くなる。なお、図１３では、図示し易さのため、被写体と撮像装置３００との距離に比べて、フォーカスレンズ１０１の最近端と最遠端との距離が大きく示されている。

　フォーカスレンズ１０１の初期化作業と同時に、露光時間決定部１１４にて、シャッター速度や絞り値などの撮影パラメータを決定する。これらの動作の終了後すみやかに、露光、フォーカス変位の同期を取る露光・フォーカスレンズ変位同期部１０７は、露光開始の指令をフォーカスレンズ変位制御部１０６およびシャッター開閉指令部１１２へ出力する。同時にフォーカスレンズ位置検出部１０２で検出されたフォーカスレンズ１０１の端位置に基づき、端位置が最遠端であれば最遠端から最近端へ、端位置が最近端であれば最近端から最遠端へ、露光時間内にフォーカスレンズ１０１を変位させる指令をフォーカスレンズ変位制御部１０６へ出力する。図１４は、露光時間および露光量と像面側の焦点距離との関係を示している。像面側の焦点距離はフォーカスレンズ１０１の位置によって変化し、撮像素子面に対して等速にフォーカスレンズの位置が変位するよう、フォーカスレンズ変位制御部１０６の指令に基づき、フォーカスレンズ１０１がフォーカスレンズ駆動部１０３によって駆動される。上述したように、被写体とフォーカスレンズ１０１との距離をｕとし、フォーカスレンズ１０１と撮像素子１０４との距離をｖとし、焦点距離をｆとすると、一般的にレンズの公式より、
（式１）１／ｆ＝１／ｕ＋１／ｖ
の関係が成り立つ。レンズが複数枚存在するときは、レンズ主点位置で考慮する。一例として、ｆが１８［ｍｍ］のときのｕとｖとの関係を図１５に示す。フォーカスレンズ１０１が変位することにより、レンズ主点と撮像素子間の距離ｖが変化する。撮像素子面に対して等速にフォーカスレンズの変位が変化するよう、フォーカスレンズ１０１を駆動するとは、このｖの変化速度が一定であることを意味する。図１５に示すように、ｖが等速度で変位しても、被写体側の焦点面とレンズ主点間の距離ｕが等速度で変位するわけではない。また図１５の横軸は像面側焦点距離ｖであるため、被写体距離ｕの大小とは逆の関係になる。つまり、被写体距離が長い（遠くに位置する）被写体ほど像面側焦点距離ｖが短くなる。

　露光・フォーカスレンズ変位同期部１０７から露光開始指令を受け取ると、シャッター開閉指令部１１２はすぐに、シャッター１１１が開くよう制御する。また所定の露光時間経過後、露光・フォーカスレンズ変位同期部１０７は、シャッター開閉指令部１１２へ露光終了指令を出力する。シャッター開閉指令部１１２は露光終了指令を受け取り、すぐに、シャッター１１１が閉まるよう制御を行う。

　上記手順によって撮像素子１０４に被写体の光学像が結像すると、結像した光学像は、撮像素子１０４によって電気信号に変換され、読み出し回路１０８を介して、画像処理部１０９へ画像信号が出力される。同時に露光・フォーカスレンズ変位同期部１０７より画像処理部１０９へ、露光が終了したことおよびＦ－ＤＯＦによるフォーカス変位の撮影が行われたことが通知される。画像処理部１０９は画像信号を受け取り、必要な信号処理を行い、記録部１１０へ出力する。

　図１６に示す撮像装置４００は、撮像素子１０４、撮像素子位置検出部２０２、露光・撮像素子変位同期部２０７、撮像素子変位制御部２０６、撮像素子駆動部２０３を備え、露光時間中に撮像素子を変位させる。撮像素子位置検出部２０２は、撮像装置３００とは異なり、撮像素子１０４の位置を検出する。露光・撮像素子変位同期部２０７は露光のタイミングと撮像素子１０４の変位との同期を取る。撮像素子変位制御部２０６は、撮像素子１０４の変位を制御する。撮像素子駆動部２０３は、撮像素子変位制御部２０６からの信号を受けて撮像素子１０４を駆動する。

　レリーズ受付部１１３がユーザから露光開始指令を受け付けると、撮像素子位置検出部２０２が、撮像素子１０４のそのときの位置（初期位置）を検出する。検出後、撮像素子１０４の位置を所定の端位置、例えば最近端もしくは最遠端へ変位させる。ここで所定の合焦範囲のうち、最近端とは、撮影シーンに含まれる被写体のうち、撮像装置４００に最も近い被写体が撮像素子１０４の撮像面上において像を形成するように撮像素子１０４を移動させた場合における撮像素子１０４の位置をいう。この時、被写体からフォーカスレンズ１０１までの距離ｕは最も短くなり、フォーカスレンズ１０１と撮像素子１０４との距離ｖは最も長くなる。また、最遠端とは、撮影シーンに含まれる被写体のうち、撮像装置４００に最も遠い被写体が撮像素子１０４の撮像面上において像を形成するように撮像素子１０４を移動させた場合における撮像素子１０４の位置をいう。この時、被写体からフォーカスレンズ１０１までの距離ｕは最も長くなり、フォーカスレンズ１０１と撮像素子１０４との距離ｖは最も短くなる。

　撮像素子１０４の初期化作業と同時に、露光時間決定部１１４にて、シャッター速度や絞り値などの撮影パラメータを決定する。これらの動作の終了後すみやかに、露光、撮像素子変位の同期を取る露光・撮像素子変位同期部２０７は、露光開始の指令を撮像素子変位制御部２０６およびシャッター開閉指令部１１２へ出力する。同時に撮像素子位置検出部２０２で検出された撮像素子１０４の端位置に基づき、端位置が最遠端であれば最遠端から最近端へ、端位置が最近端であれば最近端から最遠端へ、露光時間内に撮像素子１０４を変位させる指令を撮像素子変位制御部２０６へ出力する。撮像素子１０４は等速で変位する。

　露光・撮像素子変位同期部２０７から露光開始指令を受け取ると、シャッター開閉指令部１１２はすぐに、シャッター１１１が開くよう制御する。また所定の露光時間経過後、露光・撮像素子変位同期部２０７は、シャッター開閉指令部１１２へ露光終了指令を出力する。シャッター開閉指令部１１２は露光終了指令を受け取り、すぐに、シャッター１１１が閉まるよう制御する。

　上記手順にて撮像素子１０４に被写体の光学像を結像すると、結像した光学像は、撮像素子１０４によって電気信号に変換され、読み出し回路１０８を介して画像処理部１０９へ電気信号が出力される。同時に露光・撮像素子変位同期部２０７より画像処理部１０９へ、露光が終了したことおよびＦ－ＤＯＦによるフォーカス変位の撮影が行われたことが通知される。これ以外の構成は、図１２に示す撮像装置３００と同じ動作を行う。

　撮像装置３００および撮像装置４００において、撮像素子１０４には、ＣＣＤ型撮像素子またはＣＭＯＳ型撮像素子が用いられる。このうち、多数の画素を高速に読み出す動作はＣＭＯＳ型撮像素子の方が優れており、例えばＦｕｌｌＨＤ（１９２０×１０８０）サイズの画像を秒間６０フレーム読み出すような用途で民生機に用いられつつある。

　ＣＣＤ型撮像素子およびＣＭＯＳ型撮像素子では、レンズを通して撮像素子を露光させることにより撮像素子内の各画素に電荷を蓄積し、それを読み出すことにより画像情報を得ることができる。ＣＭＯＳ型撮像素子で撮像素子を露光して得られた電荷を連続して読み出す場合、二次元に配列された画素集合を行などの部分単位で順次走査して各画素から電荷を読み出すローリングシャッターと呼ばれる電子シャッター制御方式が用いられる。

　図１７はＣＭＯＳ型撮像素子における画素集合からの電荷の読み出しタイミングを示している。横軸は時間を示し、縦軸は、撮像素子の読み出し行の位置を示している。撮像素子はＮ行の複数の画素行によって構成されている。図１７に示すように、撮像素子の先頭行から順次走査して各画素から電荷を読み出し、その直後から電荷を蓄積し始め、所定時間経過後に再度走査して各画素から電荷を読み出すことにより画像信号を得る。第Ｎ行目の走査が終了した後は先頭から走査を再度繰り返すことにより、連続した動画像を得ることができる。図１７からわかるように、ローリングシャッターで撮影を行う場合、撮像素子面内での撮像タイミングにずれが生じ、先頭行と最終行では最大１読み出し時間分のずれが生じる。

　前述のＦ－ＤＯＦ方式を実現するためには、フォーカス状態を所定の合焦範囲の最遠端から最近端まで変位させて（以降、この動作をスイープ動作と称する）、撮像素子面内の全ての画素を均一に露光させた画像を得る必要がある（以降、この画像をスイープ画像と称する）。ところが撮像素子にＣＭＯＳ型撮像素子を用いる場合、前述のローリングシャッターにより撮像素子面内の撮像タイミングのずれが発生するため、単純に最遠端から最近端までスイープ動作させても、撮像素子面内で均一なスイープ画像を得ることができない。

　図１８（ａ）は連続して撮像するために、フォーカスレンズの位置を最遠端から最近端の間で往復動作によって変化させた場合におけるフォーカスレンズの位置（フォーカスレンズと撮像素子との距離）を示す図であり、図１８（ｂ）は図１８（ａ）に対応したＣＭＯＳ型撮像素子の露光および読み出しタイミングを示す図である。撮像素子が最遠端で合焦する位置から撮像素子先頭行に電荷の蓄積を開始し、撮像素子が最近端で合焦する位置に到達したタイミングで撮像素子先頭行に蓄積された電荷を読み出す。それと同時に撮像素子最終行に電荷の蓄積を開始し、撮像素子が再度最遠端に到達したタイミングで撮像素子最終行に蓄積された電荷を読み出す。

　図１８（ｃ）～（ｆ）は、それぞれ撮像素子の読み出し行の先頭である第１行目、中間部のｉ行目およびｊ行目、終端行であるＮ行目におけるフォーカスレンズの位置と露光量の分布を示す図である。図からわかるように、第１行目およびＮ行目以外では最遠端から最近端まで均一に露光ができず、最適なスイープ画像の取得ができない。

　なお、ＣＣＤ型撮像素子を用いる場合、撮像素子面内において同一タイミングで撮像素子の露光・読み出しが可能であるため、図１８（ａ）に示すスイープ動作でスイープ画像を得ることができる。しかしＣＣＤ型撮像素子は高速読み出しに不向きである。このため、高解像度かつ高いフレームレートでＥＤＯＦ画像を得るためには、ＣＭＯＳ型撮像素子を用いた撮像装置において、Ｆ－ＥＤＯＦ方式による撮影を行うことが好ましい。

　本願発明者はこのような課題に鑑み、新規な撮像装置を想到した。以下、図面を参照しながら、本発明による撮像装置、集積回路および撮像方法の実施の形態を詳細に説明する。以下の説明において、同じ構成要素には同じ符号を付しており、説明を省略する場合もある。

　本発明の一態様である撮像装置は、二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御する変位制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御する同期部とを備え、前記所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の全区間における、前記駆動される前記撮像素子または前記フォーカスレンズの往復変位であり、前記駆動される前記撮像素子または前記フォーカスレンズは、複数の光電変換素子のそれぞれにおける、前記撮像シーンの１画像分の露光時間中に整数回数、往復変位する。

　ある例示的な態様において、前記撮像素子において、前記複数の光電変換素子は行方向および列方向に二次元に配置されており、前記複数の光電変換素子は行ごとに露光され、前記複数の光電変換素子から行ごとに前記画像信号が読み出される。

　ある例示的な態様において、前記駆動される前記撮像素子または前記フォーカスレンズは、前記露光の開始に同期して前記変位動作を開始し、前記露光の終了に同期して前記変位動作が終了する。

　ある例示的な態様において、撮像装置は、前記撮像シーンに基づいて前記撮像素子の露光時間を決定する露光時間決定部と、前記第１合焦位置、前記第２合焦位置および前記露光時間に基づいて前記変位パターンを決定する変位設定部とをさらに備える。

　ある例示的な態様において、撮像装置は、前記駆動される前記撮像素子または前記フォーカスレンズの位置を検出する位置検出部をさらに備え、前記変位制御部は前記位置検出部の出力および前記変位パターンに基づき、前記駆動部に駆動量を指令する。

　ある例示的な態様において、撮像装置は、前記撮像素子から前記画像信号を読み出す読み出し回路をさらに備え、同期部は、前記撮像素子の露光のタイミングに基づき、前記変位制御部および前記読み出し回路を制御する。

　ある例示的な態様において、前記往復変位の回数は１である。

　ある例示的な態様において、前記往復変位の回数は２である。

　本発明の一態様である集積回路は、二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部とを備えた撮像装置の集積回路であって、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御する変位制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御する同期部とを備え、前記所定の変位パターンは、前記撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の全区間における、前記駆動される前記撮像素子または前記フォーカスレンズの往復変位であり、前記駆動される前記撮像素子または前記フォーカスレンズは、複数の光電変換素子のそれぞれにおける前記撮像シーンの１画像分の露光時間中に整数回数往復変位する。

　本発明の一態様である撮像方法は、二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子に、フォーカスレンズによって光を集光することにより、撮像シーンを結像させる撮像方法であって、前記複数の光電変換素子のそれぞれにおける前記撮像シーンの１画像分の露光時間中、前記撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の全区間において、前記撮像素子または前記フォーカスレンズの一方を整数回、往復変位させる。

　（第１の実施形態）
　以下、図面を参照しながら、本発明による撮像装置、集積回路および撮像方法の第１の実施形態を説明する。

　図１は、本実施形態の撮像装置１００を示すブロック構成図である。撮像装置１００は、フォーカスレンズ駆動部１０３と、撮像素子１０４と、フォーカスレンズ変位制御部１０６と、露光・フォーカスレンズ変位同期部１０７と、レンズ光学系１２０とを備える。

　撮像素子１０４は、ＣＯＭＳ型の撮像素子であり、二次元に配列された複数の光電変換素子を有する。撮像素子１０４は、複数の光電変換素子を順次走査して露光させる。また、複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する。

　レンズ光学系１２０は、撮像素子１０４に向けて集光し、撮像シーンを撮像素子１０４に結像させるフォーカスレンズ１０１を含む。撮像シーン中の所望の被写体に対して合焦させるため、レンズ光学系１２０はフォーカスレンズ１０１以外に他の１枚以上のレンズを含んでいてもよい。フォーカスレンズ１０１も複数枚のレンズで構成されていてもよい。フォーカスレンズ１０１が複数のレンズによって構成される場合、フォーカスレンズの位置とは、複数のレンズによる主点の位置をいう。

　本実施形態では、フォーカスレンズ駆動部１０３は、撮像素子１０４とフォーカスレンズ１０１との距離が変化するように、撮像素子１０４またはフォーカスレンズ１０１の一方を駆動する駆動部として機能する。つまり、フォーカスレンズ駆動部１０３は、駆動信号に基づき、撮像素子１０４とフォーカスレンズ１０１との距離が変化するように、フォーカスレンズを駆動する。

　フォーカスレンズ変位制御部１０６は、以下において説明するように、フォーカスレンズ駆動部１０３に指令を出力することにより、所定の変位パターンに基づき、フォーカスレンズ１０１の変位を制御する。

　露光・フォーカスレンズ変位同期部１０７は、撮像素子１０４の露光のタイミングに基づき、フォーカスレンズ変位制御部１０６を制御する。

　撮像装置１００は、さらに、フォーカスレンズ位置検出部１０２と、フォーカスレンズ変位設定部１０５と、読み出し回路１０８と、画像処理部１０９と、記録部１１０と、シャッター１１１と、シャッター開閉指令部１１２と、レリーズ受付部１１３と、露光時間決定部１１４とを含む。

　フォーカスレンズ位置検出部１０２は、位置センサを含み、フォーカスレンズ１０１の位置を検出し、検出信号をフォーカスレンズ変位制御部１０６へ出力する。フォーカスレンズ変位設定部１０５はフォーカスレンズ１０１の変位パターンを設定し、目標フォーカスレンズの位置とする。これにより、フォーカスレンズ変位制御部１０６は、目標フォーカスレンズの位置とフォーカスレンズ位置検出部１０２によって検出されたフォーカスレンズ１０１の現在位置との差から駆動信号を計算してフォーカスレンズ駆動部１０３に出力する。

　レリーズ受付部１１３において、ユーザからの露光開始指令を受け付けると、露光時間決定部１１４が撮像素子１０４の露光時間を決定する。また、露光・フォーカスレンズ変位同期部１０７およびフォーカスレンズ変位設定部１０５に露光時間に関する情報を出力する。

　露光・フォーカスレンズ変位同期部１０７は、露光時間に関する情報に基づき、同期したタイミングで露光、フォーカスレンズ１０１の駆動および撮像素子１０４からの電気信号の読み出しを行うように、シャッター開閉指令部１１２、フォーカスレンズ変位制御部１０６および読み出し回路１０８に指令を出力する。具体的には、シャッター開閉指令部１１２に露光のタイミングおよび露光時間を指令する。また、フォーカスレンズ変位制御部１０６にフォーカスレンズ１０１を駆動するタイミングおよび駆動時間を指令する。

　シャッター１１１は、シャッター開閉指令部１１２からの指令に応じて開閉動作を行う。シャッター１１１が開状態のとき、撮像素子１０４はフォーカスレンズ１０１によって集光された光によって露光され、露光された光は電気信号に変換されて出力される。

　読み出し回路１０８は撮像素子１０４に読み出し信号を出力することによって電気信号を読み出し、読み出した電気信号を画像処理部１０９へ出力する。

　画像処理部１０９は入力された電気信号に対して各種補正等を行い、逐次１ビデオフレーム分の撮影シーンの画像を構成する画像信号を構築し、記録部１１０に出力する。

　これにより、撮像装置１００は、フォーカスレンズ１０１を駆動してフォーカスレンズの位置を変化させながら撮像素子１０４に露光させ、スイープ画像を得ることが可能となる。

　撮像装置１００の上述の構成要素のうち、フォーカスレンズ位置検出部１０２、フォーカスレンズ駆動部１０３、撮像素子１０４、画像処理部１０９、レリーズ受付部１１３、記録部１１０は、公知のハードウエアによって構成されていてもよい。また、フォーカスレンズ変位設定部１０５、フォーカスレンズ変位制御部１０６、露光・フォーカスレンズ変位同期部１０７、読み出し回路１０８、画像処理部１０９、記録部１１０、シャッター開閉指令部１１２、および露光時間決定部１１４の各構成要素の一部または全部は、ＣＰＵなどの情報処理回路およびメモリ等の記憶部に記憶されたソフトウエアによって構成されていてもよい。この場合、情報処理回路は、以下において説明する撮像方法の手順を規定するソフトウエアをメモリから読み出し、撮像方法の手順を実行することによって、撮像装置１００の各構成要素を制御する。これら情報処理回路およびメモリに記憶されたソフトウエアによって実現される構成要素の一部は、専用の集積回路によって構成されていてもよい。例えば、フォーカスレンズ変位設定部１０５、フォーカスレンズ変位制御部１０６、露光・フォーカスレンズ変位同期部１０７およびシャッター開閉指令部１１２は集積回路を構成してもよい。

　次に、図１、図２および図３を参照しながら、本実施形態の撮像方法、特に、スイープ画像を得るためのフォーカスレンズの位置と撮像素子１０４の露光および信号読み出しのタイミングについて説明する。

　図２は本実施の形態の撮像方法を示すフローチャートであり、図３（ａ）は、フォーカスレンズの位置を最遠端と最近端との間で往復スイープさせたときのフォーカスレンズの位置変化を示す図である。横軸は時間を示し、縦軸は、フォーカスレンズの位置（撮像素子との距離）を示している。図３（ｂ）は図３（ａ）に示す時間軸に対応したＣＭＯＳ型撮像素子の露光および読み出しタイミングを示す図である。この例では、スイープ画像を得る対象となるフォーカスレンズの位置の最遠端（フォーカスレンズと撮像素子間との距離が最も短い）と最近端（フォーカスレンズと撮像素子間との距離が最も長い）の位置を設定したうえで、最遠端となる位置をフォーカスレンズの位置の初期位置とし、最遠端から最近端までの全区間を往復変位する。

　上述したように最遠端及び最近端とは、撮像装置から種々の距離にある被写体が含まれる撮像シーン中、所定の距離範囲内にある種々の被写体を撮像素子１０４の撮像面に焦点が一致するようにフォーカスレンズ１０１を移動させた場合おいて、最も撮像装置に近い被写体が結像する場合および最も撮像装置に遠い被写体が結像する場合におけるフォーカスレンズ１０１の位置をいう。最遠端（第１合焦位置）で結像する被写体は、所定の距離範囲内のうち、最も撮像装置から長い距離に位置（第１被写体距離）し、最近端（第２合焦位置）で結像する被写体は、所定の距離範囲内のうち、最も撮像装置から短い距離に位置（第２被写体距離）している。

　また、往復とは、最遠端から最近端までの間の任意の点出発点として最遠端または最近端へ向かって移動し、最遠端または最近端で折り返し、出発点へ戻ることをいう。全区間を往復変位するとは、最遠端から最近端までの間の任意の点出発点として最遠端または最近端へ向かって移動し、最遠端または最近端で折り返し、出発点へ戻り、最遠端と最近端との間で、通過していない部分があれば、さらに折り返し進行する方向に位置する最近端または最遠端まで移動し、最近端または最遠端で再度折り返した後、出発点まで戻ることをいう。

　撮像素子１０４は上述したように、ローリングシャッター動作を行うＣＭＯＳ型撮像素子であり、複数の光電変換素子は行方向および列方向に二次元に配置されている。

　複数の光電変換素子は行ごとに露光され、複数の光電変換素子から行ごとに画像信号が読み出される。図３に示す例では、撮像素子１０４の各行の光電変換素子の露光時間と読み出し時間とが等しい。１枚の撮像シーンの画像を得るための時間、つまり、１ビデオフレームは露光時間と読み出し時間との和によって定義される。

　図２に示すように、まず、ユーザによるレリーズ動作を受け付けると（Ｓ１０１）、露光時間決定部１１４にてシャッター速度や絞り値などの撮影パラメータから露光時間パラメータを決定する（Ｓ１０２）。露光時間パラメータは、フォーカスレンズ変位設定部１０５および露光・フォーカスレンズ変位同期部１０７に出力される。

　次に、決定した露光時間パラメータから、フォーカスレンズ変位設定部１０５は、フォーカスレンズの位置の変位パターンを生成する（Ｓ１０３）。変位パターンは、最遠端と最近端との間の全区間における往復変位である。より具体的には、変位パターンは、最遠端から最近端までの全区間の１往復動作にかかる時間と１ビデオフレーム中の露光時間とが等しくなり、撮像素子１０４の全領域から電気信号を読み出し終わるまで往復変位する動作を継続するように設定される。設定された変位パターンは、フォーカスレンズ変位制御部１０６へ出力される。

　フォーカスレンズの位置の変位パターン決定後、露光・フォーカスレンズ変位同期部１０７は、撮像素子１０４の露光のタイミングに基づいて、フォーカスレンズ変位設定部１０５および読み出し回路１０８が動作するように、シャッター開閉指令部１１２、フォーカスレンズ変位設定部１０５および読み出し回路１０８に指令を出力する。これにより、シャッター開閉指令部１１２がシャッター１１１を解放し、撮像素子１０４の露光が開始され、露光の開始に同期して、フォーカスレンズ変位制御部１０６の指令により、フォーカスレンズ駆動部１０３がフォーカスレンズ１０１を変位させる。ここで同期とは、同時である場合および所定の遅延時間を挟む場合を含む。

　具体的には、撮像素子１０４の先頭読み出し行である第１行目の露光が開始するとともに、フォーカスレンズ１０１をフォーカスレンズ駆動部１０３によって変位させ、フォーカスレンズの位置を最遠端から移動させ、露光時間の１／２の時間で最近端に到達させる。その直後にフォーカスレンズ１０１の変位方向を反転させて移動を開始し、読み出し行第１行目の露光完了とともに、フォーカスレンズ１０１を最遠端の位置に到着させる。この時点で露光が完了しているのは読み出し行第１行目のみであり、他の読み出し行も同様に最遠端から最近端の範囲を均一に露光する必要がある。そこで、撮像素子１０４の最終読み出し行である第Ｎ行目の露光および読み出しが完了するまで、これまでの変位動作を繰り返し継続する。つまり露光の終了に同期して、変位動作が終了する。上述したように、読み出し回路１０８は、撮像素子１０４の露光が完了した行から、電気信号を読み出す。

　図３（ａ）および図３（ｂ）で示した例では、撮像素子１０４の全領域の露光および読み出しが完了するまでの間に、フォーカスレンズ１０１の位置を最遠端から最近端までちょうど２往復させることになる。図３（ｃ）～（ｆ）は、それぞれ図３（ｂ）の撮像素子の読み出し行の先頭である第１行目、中間部の第ｉ行目および第ｊ行目、最終行である第Ｎ行目におけるフォーカスレンズ１０１の位置と露光量の分布を示す図である。図３（ａ）および図３（ｂ）に示すように、撮像素子１０４の露光および読み出し動作と同期を取りつつフォーカスレンズ１０１の位置の変位動作を行うことにより、撮像素子１０４の全ての読み出し行において最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像を得ることができる。

　スイープ画像取得後は、フォーカスレンズの位置変位を停止するとともに、シャッターを閉じることにより撮影を完了する。

　図３（ａ）および図３（ｂ）では撮像素子からの読み出しが完了したタイミングでフォーカスレンズ１０１を最遠端の位置で停止させている。しかし、本動作を連続して行えば連続してスイープ画像を得ることができるため、動画像処理に適用することができる。

　なお、図３（ａ）で示したフォーカスレンズの位置の変位パターンは一例であり、１ビデオフレームにおける撮像素子１０４の各行の露光時間中、フォーカスレンズの位置の変位を整数回、往復すれば、全ての読み出し行において最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像を得ることができる。これは、撮像素子のすべての行、つまり、撮像面の全領域の読み出しが完了するまでフォーカスレンズの位置変位の往復動作を繰り返すことになる。この条件を満たす限り、種々の変位パターンを設定してもよい。図３（ａ）の変位パターンにおいては、露光時間中、フォーカスレンズは、最遠端と最近端とで規定される区間全体を１往復し、撮像素子全領域の読み出しが完了するまでの１ビデオフレーム中における往復回数は２である。

　また、図３（ａ）ではフォーカスレンズが変位する初期位置は最遠端であったが、最遠端と最近端とで規定される区間全体を往復するのであれば、最遠端と最近端との間の任意の位置からフォーカスレンズの変位を開始してもよい。図４（ａ）は、フォーカスレンズ１０１の位置の初期位置を最遠端および最近端以外の位置に設定した場合における変位パターンを示している。図４（ｂ）は図４（ａ）の時間軸に対応した撮像素子１０４の露光および読み出しタイミングを示している。図４（ａ）および図４（ｂ）に示すように、フォーカスレンズ１０１が、撮像素子１０４の露光に同期して、最遠端と最近端との間の途中の位置から変位を開始しても、撮像素子１０４の各行の露光時間の間にフォーカスレンズ１０１が、最遠端と最近端との間の全区間を一往復し、移動を開始した位置に戻れば、フォーカスレンズ１０１の位置の初期位置に関係なくスイープ画像を得ることができる。図４（ａ）の変位パターンにおいては、露光時間中、フォーカスレンズ１０１は、最遠端と最近端とで規定される区間全体を１往復し、撮像素子全領域の読み出しが完了するまでの１ビデオフレーム中における往復回数は２である。

　図５（ａ）は、１ビデオフレームにおける露光時間中のフォーカス往復スイープ回数が２である場合の変位パターンを示している。図５（ｂ）は図５（ａ）の時間軸に対応した撮像素子１０４の露光および読み出しタイミングを示している。図２（ａ）に示す変位パターンと比べ、フォーカスレンズ１０１の位置の変位周期が１／２であるが、フォーカスレンズ駆動部１０３の駆動能力の範囲内であればさらに往復回数を増加させることも可能である。図５（ａ）の変位パターンにおいては、露光時間中、フォーカスレンズ１０１は、最遠端と最近端とで規定される区間全体を２往復し、撮像素子全領域の読み出しが完了するまでの１ビデオフレーム中における往復回数は４である。このような変位パターンでも、撮像素子１０４の全ての読み出し行において最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像を得ることができる。

　また、図３（ａ）は撮像素子１０４の各行の露光時間と読み出し時間が等しい場合における変位パターンを説明したが、それ以外の変位パターンを採用してもよい。図６（ａ）は、撮像素子１０４の各行の露光時間が読み出し時間の１／２である場合における変位パターンを示している。図６（ｂ）は図６（ａ）の時間軸に対応した撮像素子１０４の露光および読み出しタイミングを示している。このような動作は、例えば、撮像素子１０４が持つ基本的機能である電子シャッターを用いることにより実現可能であり、撮像素子１０４への入射される光量が大きい場合に露光量を制限する目的で使用される。このような場合においても、前述のフォーカス往復スイープ条件を満たす範囲内でスイープ画像を得ることができる。図６（ａ）においては、撮像素子１０４の各行の露光時間中のフォーカス往復スイープ回数は１であり、撮像素子１０４の撮像面の全領域の読み出しが完了するまでのフォーカス往復スイープ回数は３である。この場合でも、撮像素子１０４の全ての読み出し行において最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像を得ることができる。上述したように、フォーカスレンズ１０１が変位を開始する初期位置は、最遠端と最近端との間でもあってもよい。

　図７（ａ）は、撮像素子１０４の各行の露光時間が読み出し時間の２／３である場合における変位パターンを示している。図７（ｂ）は図７（ａ）の時間軸に対応した撮像素子１０４の露光および読み出しタイミングを示している。図７（ａ）においては、撮像素子１０４の各行の露光時間中のフォーカス往復スイープ回数は１であり、露光の開始から撮像素子１０４の撮像面の全領域の読み出しが完了するまでのフォーカス往復スイープ回数は２．５である。この場合でも、撮像素子１０４の全ての読み出し行において最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像を得ることができる。このように、露光時間を調整するとともに、変位パターンを露光時間に合わせて変化させることにより、スイープ画像取得前後のフォーカスレンズの位置を任意に設定することが可能である。これにより、複数のフォーカスレンズの位置における固定焦点画像とスイープ画像を交互に高速に得ることも可能となる。

　なお、暗所撮影時など、より長時間露光が必要となる条件であっても、本実施形態の撮像装置を好適に用いることができる。図８（ａ）は、撮像素子１０４の各行の露光時間が読み出し時間の２倍である場合における変位パターンを示している。図８（ｂ）は図７（ａ）の時間軸に対応した撮像素子１０４の露光および読み出しタイミングを示している。図８（ａ）に示す変位パターンでは、撮像素子１０４の各行の露光時間中のフォーカス往復スイープ回数は１であり、露光の開始から撮像素子１０４の撮像面の全領域の読み出しが完了するまでのフォーカス往復スイープ回数は１．５である。

　また、撮像素子１０４の露光時間中に２回以上読み出しを行ってもよい。図９（ａ）は、撮像素子１０４の各行の露光時間中に２回読み出しを行う場合における変位パターンを示している。図９（ｂ）は図９（ａ）の時間軸に対応した撮像素子１０４の露光および読み出しタイミングを示している。図９（ｂ）に示すように、撮像素子１０４の各行の露光時間中、２回読み出しが行われる。各行の露光時間は読み出し時間の２倍である。図９（ａ）に示す変位パターンでは、撮像素子１０４の各行の露光時間中のフォーカス往復スイープ回数は１であり、露光の開始から撮像素子１０４の撮像面の全領域の読み出しが完了するまでのフォーカス往復スイープ回数は１．５である。図９（ａ）および図９（ｂ）から分かるように、読み出し１あるいは読み出し２の際の露光時間中、撮像素子１０４の１行目およびＮ行目を除いて、フォーカスレンズは最遠端から最近端の全範囲にはない。このため、読み出し１あるいは読み出し２の一方の電気信号では、最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像とはならない。しかし、読み出し１および読み出し２の電気信号を画像処理部１０９で合成することによって得られる画像信号を、１ビデオフレーム分の画像信号として用いることにより、最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像が得られる。

　図９（ａ）および（ｂ）では、各行の露光時間中、２回読み出しを行う場合における変位パターンを示したが、露光時間を長くとり、読み出し回数を３回以上にしてもよい。また、露光時間は読み出し時間の整数倍でなくてもよい。図９（ａ）に示す変位パターンにおいて、読み出し時間が例えば、図３（ａ）に示す変位パターンにおける読み出し時間と同程度であるとすれば、フォーカス往復スイープ動作の動作周波数を、図３（ａ）に示す変位パターンに比べて低下させることができる。この動作周波数を下げることは、フォーカスレンズ駆動部の消費電力の低減や仕様緩和などにつながり、デジタルスチルカメラなどの小型・省電力・低コストが求められる製品に対して効果がある。

　なお、これまで述べた往復スイープ動作中のフォーカスレンズの変位は、スイープ画像中の各フォーカスレンズの位置での露光量が均一となるように、往・復それぞれの動作において略等速直線運動であってもよい。

　また、本実施形態でこれまで説明した変位パターンを用いた撮像装置の動作は、撮像素子の読み出し時間（速度）に依存しない。図３（ａ）から図９（ａ）に示した変位パターンを、露光時間や読み出し時間に合わせて、時間軸方向に伸縮することにより、上述したように、最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像が得られる。

　読み出し時間を短くすると、露光時間も短くなり、１ビデオフレーム時間も短くなる。この場合、フォーカスレンズの変位速度を対応して速くしてもよい。あるいは、図９を参照して説明したように、複数回の露光および読み出しによる画像信号を合成し、１ビデオフレームの画像信号とすることにより、フォーカスレンズの変位速度を速めなくてもよい。これにより、フォーカスレンズ駆動部の消費電力の低減することができる。

　なお、図５から図９で説明した動作において、フォーカスレンズの初期位置は図４を用いて説明した場合と同様、最遠端と最近端との間の任意の位置であってもよい。

　また、フォーカス往復スイープ動作の往復距離（最遠端と最近端との距離）が大きいと、フォーカスレンズ駆動部により高い駆動性能が求められ、消費電力の増加にもつながる場合がある。この場合、最遠端と最近端とで規定される区間を複数に副区間に分割し、各副区間においてスイープ画像を取得することにより、より広い焦点距離でスイープ画像を取得することが可能となる。例えば、最遠端と最近端とで規定される区間を中間位置で２分割し、図３から図９で説明したフォーカス往復スイープ動作を、中間位置から最遠端までの副区間および中間位置から最近端までの副区間において、交互に繰り返し行う。これにより、１回の往復振幅を半分にすることができる。また、副区間をさらに細かく分割すれば、非常に広い範囲のスイープ画像を一連の動作で取得できる。これらの動作は、高速な読み出しが可能な撮像素子と組み合わせることにより、より効果を発揮する。

　以上で述べたように、本実施形態によれば、フォーカスレンズの位置を変位させつつ撮像素子の露光および読み出し動作を行うことにより、ローリングシャッター動作を行うＣＭＯＳ型撮像素子であっても高速に連続してスイープ画像を得ることが可能となる。

　（第２の実施形態）
　図１０および図１１を参照しながら、本発明による撮像装置、集積回路および撮像方法の第２の実施形態を説明する。

　図１０は、本実施形態の撮像装置２００を示すブロック構成図である。第１の実施形態の撮像装置１００と同一の構成要素には同じ参照符号を付している。撮像装置２００は、撮像素子１０４の位置を移動させることにより、レンズ光学系１２０のフォーカスレンズ１０１との距離を変化させる点で撮像装置１００と異なる。

　このために、撮像装置２００は、撮像素子位置検出部２０２、撮像素子駆動部２０３、撮像素子変位設定部２０５、撮像素子変位制御部２０６および露光・撮像素子変位同期部２０７を備える。

　撮像素子位置検出部２０２は、位置センサを含み、撮像素子１０４の位置を検出し、検出信号を撮像素子変位制御部２０６へ出力する。撮像素子変位設定部２０５は撮像素子１０４の変位パターンを設定し、目標撮像素子の位置とする。これにより、撮像素子変位制御部２０６は、目標撮像素子位置と撮像素子位置検出部２０２によって検出された撮像素子１０４の現在位置との差から駆動信号を計算して撮像素子駆動部２０３に出力する。

　レリーズ受付部１１３において、ユーザからの露光開始指令を受け付けると、露光時間決定部１１４が撮像素子１０４の露光時間を決定する。また、露光・撮像素子変位同期部２０７に露光時間に関する情報を出力する。

　露光・撮像素子変位同期部２０７は、露光時間に関する情報に基づき、同期したタイミングで露光、撮像素子１０４の駆動および撮像素子１０４からの電気信号の読み出しを行うように、シャッター開閉指令部１１２、撮像素子変位制御部２０６および読み出し回路１０８に指令を出力する。具体的には、シャッター開閉指令部１１２に露光のタイミングおよび露光時間を指令する。また、撮像素子変位制御部２０６に撮像素子１０４を駆動するタイミングおよび駆動時間を指令する。これにより、撮像装置２００は、撮像素子１０４を駆動して撮像素子の位置を変化させながら撮像素子１０４に露光させ、スイープ画像を得ることが可能となる。

　図１１は、本実施形態の撮像方法を示すフローチャートである。撮像素子とフォーカスレンズとの距離を変化させるために、撮像素子を変位させることを除けば、図２で説明した第１の実施形態における撮像方法と同じである。

　撮像素子の変位パターンは、第１の実施形態で説明したフォーカスレンズの位置の変位パターンである、図３（ａ）から図９（ａ）と同じである。

　このように、撮像素子を駆動し、撮像素子の位置を変化させる構成であっても、第１の実施形態と同様にスイープ画像を得ることが可能である。

　以上説明した第１および第２の実施形態において、フォーカスレンズ駆動部１０３または撮像素子駆動部２０３にステッピングモータを用いてもよい。その場合、フォーカスレンズ位置検出部１０２または撮像素子位置検出部２０２を用いなくても、フォーカスレンズ１０１または撮像素子１０４の現在の位置を特定することができるため、フォーカスレンズ位置検出部１０２または撮像素子位置検出部２０２を撮像装置が備えていなくてもよい。また、フォーカスレンズ駆動部１０３または撮像素子駆動部２０３として、ボイスコイルモータを用いてもよい。その場合、ステッピングモータと比べてより高速な駆動が可能となる。さらに、フォーカスレンズ駆動部１０３または撮像素子駆動部２０３として、圧電素子アクチュエータを用いてもよい。その場合、ボイスコイルモータと比べて、より低消費電力な駆動が可能となる。

　また、上述した実施形態の具体的な実施態様および実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して本発明が解釈されるべきではない。上述した実施形態に種々の変更、改変を行い実施することが可能である。

　本願に開示された撮像装置、集積回路および撮像方法によれば、ローリングシャッター動作を行うＣＭＯＳ型撮像素子を用いてＦ－ＤＯＦ方式で動画撮影もしくは連続静止画撮影を実現することができる。これらの構成は、例えば民生用もしくは業務用のデジタルスチルカメラ、デジタルビデオカメラなどに好適に用いることが可能である。

　１００、２００、３００、４００　　撮像装置
　１０１　　フォーカスレンズ
　１０２　　フォーカスレンズ位置検出部
　１０３　　フォーカスレンズ駆動部
　１０４　　撮像素子
　１０５　　フォーカスレンズ変位設定部
　１０６　　フォーカスレンズ変位制御部
　１０７　　露光・フォーカスレンズ変位同期部
　１０８　　読み出し回路
　１０９　　画像処理部
　１１０　　記録部
　１１１　　シャッター
　１１２　　シャッター開閉指令部
　１１３　　レリーズ受付部
　１１４　　露光時間決定部
　１２０　　レンズ光学系
　２０２　　撮像素子位置検出部
　２０３　　撮像素子駆動部
　２０５　　撮像素子変位設定部
　２０６　　撮像素子変位制御部
　２０７　　露光・撮像素子変位同期部

Claims

　二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子と、
　前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、
　前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、
　前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御する変位制御部と、
　前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御する同期部と、
を備え、
　前記所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の全区間における、前記駆動される前記撮像素子または前記フォーカスレンズの往復変位であり、
　前記駆動される前記撮像素子または前記フォーカスレンズは、複数の光電変換素子のそれぞれにおける、前記撮像シーンの１画像分の露光時間中に整数回数、往復変位する、撮像装置。
　前記撮像素子において、前記複数の光電変換素子は行方向および列方向に二次元に配置されており、
　前記複数の光電変換素子は行ごとに露光され、前記複数の光電変換素子から行ごとに前記画像信号が読み出される請求項１に記載の撮像装置。
　前記駆動される前記撮像素子または前記フォーカスレンズは、前記露光の開始に同期して前記変位動作を開始し、前記露光の終了に同期して前記変位動作が終了する請求項１または２に記載の撮像装置。
　前記撮像シーンに基づいて前記撮像素子の露光時間を決定する露光時間決定部と、
　前記第１合焦位置、前記第２合焦位置および前記露光時間に基づいて前記変位パターンを決定する変位設定部と
をさらに備える請求項１から３のいずれかに記載の撮像装置。
　前記駆動される前記撮像素子または前記フォーカスレンズの位置を検出する位置検出部をさらに備え、
　前記変位制御部は前記位置検出部の出力および前記変位パターンに基づき、前記駆動部に駆動量を指令する請求項４に記載の撮像装置。
　前記撮像素子から前記画像信号を読み出す読み出し回路をさらに備え、
　同期部は、前記撮像素子の露光のタイミングに基づき、前記変位制御部および前記読み出し回路を制御する請求項５に記載の撮像装置。
　前記往復変位の回数は１である請求項１から６のいずれかに記載の撮像装置。
　前記往復変位の回数は２である請求項１から６のいずれかに記載の撮像装置。
　二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部とを備えた撮像装置の集積回路であって、
　前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御する変位制御部と、
　前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御する同期部と、
を備え、
　前記所定の変位パターンは、前記撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の全区間における、前記駆動される前記撮像素子または前記フォーカスレンズの往復変位であり、
　前記駆動される前記撮像素子または前記フォーカスレンズは、複数の光電変換素子のそれぞれにおける前記撮像シーンの１画像分の露光時間中に整数回数往復変位する、集積回路。
　二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子に、フォーカスレンズによって光を集光することにより、撮像シーンを結像させる撮像方法であって、
　前記複数の光電変換素子のそれぞれにおける前記撮像シーンの１画像分の露光時間中、
前記撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の全区間において、前記撮像素子または前記フォーカスレンズの一方を整数回、往復変位させる撮像方法。