以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
図1は本実施形態に係る撮像装置及び情報処理装置が接続されるシステム構成図であり、撮像装置100、製造工場300、サービス拠点400が、インターネット網500を介して通信可能に相互に接続されている。撮像装置100は焦点調節機能や無線通信機能を備えている。製造工場300は撮像装置100を製造する製造工場で、焦点調節機能の調節装置や、調整データの処理を行う情報処理装置を含む。サービス拠点400は、販売された撮像装置の修理、調整を行うとともに、調整データの処理を行う情報処理装置を含む。インターネット網500は、撮像装置100、製造工場300、サービス拠点400を相互に接続し、これらの機器間でのデータ通信を媒介する。
図2は、本実施形態に係る撮像装置100の構成を示すブロック図で、主に、撮像機能を有するカメラ本体101と、撮影光学系を内蔵し、カメラ本体101に対して着脱可能な交換レンズ151とから構成される。交換レンズ151において、第1レンズ群152は撮影光学系(結像光学系)の先端に配置され、光軸方向に移動可能に保持される。絞り153は、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。絞り153及び第2レンズ群154は一体となって光軸方向に駆動され、第1レンズ群152の移動動作との連動により、変倍作用(ズーム機能)をなす。第3レンズ群155は、光軸方向の移動により、焦点調節を行うフォーカスレンズ群である。
レンズCPU(LCPU)161は、以下に説明するズーム制御、絞り制御、フォーカシング制御を行う。また、レンズCPU161はレンズ側マウント166を介して、後述するカメラCPU121と通信を行う。
ズームアクチュエータ162は、レンズCPU161の指令に基づき、第1レンズ群152から第2レンズ群154を駆動して変倍操作を行う。絞りアクチュエータ163は、レンズCPU161の指令に基づき、絞り153の開口制御を行う。フォーカスアクチュエータ165は、レンズCPU161の指令に基づき、第3レンズ群155を駆動してフォーカシング制御を行う。
次にカメラ本体101の構成について説明する。撮像素子102はCMOSイメージセンサとその周辺回路で構成され、横方向にM画素、縦方向にN画素の受光画素が正方配置され、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、2次元単板カラーセンサが用いられる。
無線通信回路103は、インターネット等のネットワークを通じてサーバコンピュータと通信するためのアンテナや信号処理回路で構成される。姿勢センサ104は、カメラの撮影姿勢、すなわち横位置撮影か縦位置撮影かを判別するための電子水準器が用いられる。
カメラCPU(CCPU)121は、カメラ本体の種々の制御を司るために、演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有する。そしてROMに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、焦点調節(AF)、撮影、画像処理と記録等の一連の動作を実行する。
撮像素子駆動回路122は、撮像素子102の撮像動作を制御するとともに、取得した画像信号をA/D変換してカメラCPU121に送信する。送受信回路123は、無線通信回路103を介して、カメラから撮影画像や調整用データをサーバコンピュータに送信したり、サーバコンピュータから各種情報を受信する。姿勢検知回路124は、姿勢センサ104の出力信号から、カメラの姿勢を判別する。画像処理回路125は、撮像素子102が取得した画像のカラー補間、γ変換、画像圧縮等の処理を行う。
LCD等の表示器131は、カメラの撮影モードに関する情報、撮影時のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像、カメラの姿勢情報等を表示する。操作スイッチ群132は、電源スイッチ、撮影スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。着脱可能なフラッシュメモリ133は、動画及び静止画を含む撮影済み画像や、後述する焦点検出時の補正情報を記録する。通信制御回路141は、カメラ側マウント接点146、及びレンズ側マウント166を介してレンズCPU161と通信する。
図3は本実施形態における撮像素子102の画素配列を示したもので、2次元CMOSイメージセンサの縦(Y方向)6行と横(X方向)8列の範囲を、撮影光学系側から観察した状態を示している。ベイヤー配列のカラーフィルタが適用され、奇数行の画素には、左から順に緑(Green)と赤(Red)のカラーフィルタが交互に設けられる。また、偶数行の画素には、左から順に青(Blue)と緑(Green)のカラーフィルタが交互に設けられる。各画素211において、円211iはオンチップマイクロレンズを表わし、オンチップマイクロレンズ211iの内側に配置された複数の多角形はそれぞれ光電変換部である。
本実施形態では、すべての画素211の光電変換部はX方向に2分割され、分割された各々の領域の光電変換信号は独立して読み出しできる構成となっている。そして、独立して読み出しされた信号は、後述する方法で位相差式焦点検出に用いられるほか、視差情報を有した複数画像から構成される3次元(3D)画像を生成することもできる。一方で、分割された光電変換部の出力を加算した情報は、通常の撮影画像として用いることができる。
ここで、位相差式焦点検出を行う場合の画素信号について説明する。後述するように、本実施形態においては、図3のオンチップマイクロレンズ211iと、分割された光電変換部211a及び211bで、撮影光学系の射出光束の分割、いわゆる瞳分割を行う。そして、同一行上に配置された所定範囲内の複数の画素211において、光電変換部211aの出力をつなぎ合わせて編成したものをAF用A像、同じく光電変換部211bの出力をつなぎ合わせて編成したものをAF用B像とする。このように生成したAF用A像とB像の相対的な像ずれ量を相関演算により検出することで、所定領域の焦点ずれ量、すなわちデフォーカス量を検出することができる。なお、撮像素子102は、例えば、本発明人による特開平09−046596号報等に開示された技術を用いて製造することができるため、詳細構造に関する説明は省略する。
図4は本実施形態の撮像素子102における読み出し回路の構成を示したもので、451は水平走査回路、453は垂直走査回路である。そして各画素の境界部には、垂直読み出し線452a及び452bと、垂直走査ライン454a及び454bが配線され、各光電変換部211a及び211bからは垂直読み出し線452a及び452bを介して信号が外部に読み出される。
なお、本実施形態の撮像素子102は以下の2種類の読み出しモードを有する。第1の読み出しモードは全画素読み出しモードと称するもので、高精細静止画を撮像するためのモードであり、全画素の信号が読み出される。第2の読み出しモードは間引き読み出しモードと称するもので、動画記録、もしくはプレビュー画像の表示のみを行うためのモードである。この場合に必要な画素数は全画素よりも少ないため、画素群はX方向及びY方向ともに所定比率に間引いた画素のみ読み出す。
図5は本実施形態の撮像装置100において、撮影光学系の射出瞳面と、撮像素子102の所定像高に配置された2つの画素が備える光電変換部211a及び211bの共役関係を説明する図である。撮影光学系の射出瞳は、撮影光学系の像面から観察した光束透過開口の虚像である。ここで、光束透過開口を形成する部材は、絞り開放時は撮影光学系を構成する個別レンズを保持する鏡筒部材、小絞り時は光量調節用の絞り部材となる。すなわち、開放と小絞り時とでは射出瞳を形成する部材が異なるため、射出瞳の形状や像面からの距離は厳密には異なるが、ここでは説明を簡略化するため、円で近似した絞り開口の虚像を射出瞳とする。
このような系において、撮影光学系を通過する光束は撮像素子102のオンチップマイクロレンズ211iを介して光電変換部211a及び211bに到達する。そこで光束の受光効率を高めるためにはオンチップマイクロレンズ211iの形状を最適設計する必要がある。すなわち、撮像素子のオンチップマイクロレンズ211iは光電変換部と撮影光学系の射出瞳を投影関係(共役関係)にする役目を担っている。そして、オンチップマイクロレンズの形状は、射出瞳と光電変換部の投影像ができる限り一致するように最適設計がなされる。しかしながら撮影光学系の射出瞳は一般にズーム状態で変化する。また、撮像装置がレンズ交換システムの場合は、装着されるレンズの機種によっても射出瞳特性が異なる。そこで、撮影光学系が替わっても上記共役条件が理想状態から乖離しないように、代表的な射出瞳を定義し、これに対してオンチップマイクロレンズの最適形状設計がなされる。ここで、マイクロレンズの設計パラメータとしては、マイクロレンズの光学パワーと、像高に応じた光軸偏心量が特に重要である。
図5(a)において、2つの楕円は撮影光学系の射出瞳を表わす。ここでは射出瞳は上述したように、絞り開口の虚像であり、絞り値、すなわちFナンバーに応じて大きさが変化する。EP(F2.8)はFナンバーが2.8の時の射出瞳、EP(F5.6)はFナンバーが5.6の時の射出瞳である。Zepは射出瞳距離で、ズーム状態やフォーカス状態に応じて変化する。
被写体像を光電変換するための画素211のうち、211−0は撮影光学系の光軸上、すなわち像高ゼロに位置する画素、また、211−1は光軸からX軸方向に所定量偏心離間した画素とする。すべての画素は、最下層より、光電変換部211a及び211b、配線層211eないし211g、カラーフィルタ211h、及びオンチップマイクロレンズ211iの各部材で構成される。そして2つの光電変換部211a及び211bはオンチップマイクロレンズ211iによって撮影光学系内の所定面に投影される。その投影像をPDa及びPDbで示す。
ここで、各画素211のマイクロレンズ211iの光軸は、像高に比例した微小量だけ、光電変換部211a及び211bに対して偏心している。よって、光軸から離間した画素211−1の光電変換部211a及び211bの投影像は、像高ゼロの画素211−0の光電変換部211a及び211bの投影像と、所定距離の面において一致する。この面をセンサ瞳面、像面からの距離をセンサ瞳距離Zimと称することにする。センサ瞳面上においては、各画素211の光電変換部211a及び211bの投影像は、該画素の位置(像高)とは無関係に、原理的にはすべて一致する。なお、図5(a)では、撮影光学系の射出瞳距離Zepに対してセンサ瞳距離Zimが小となっている。
図5(b)は、撮影光学系の射出瞳面上における、撮影光学系の射出瞳と光電変換部211a及び211bの投影像の平面図である。2つの円は撮影光学系の射出瞳で、大円EP(F2.8)はFナンバー2.8に、小円EP(F5.6)はFナンバー5.6に対応する。
実線の多角形は、撮影光学系の光軸上に位置する画素211−0内の光電変換部211a及び211bの投影像で、光電変換部211aの投影像がPD0a、光電変換部211bの投影像がPD0bである。従って、撮影光学系の射出瞳EP(F2.8)もしくはEP(F5.6)と、光電変換部211a及び211bの投影像PD0a及びPD0bの共通領域が、各光電変換部が受光する有効光束となる。ここでは、2つの光電変換部211a及び211bの投影像PD0a及びPD0bの対称軸と、射出瞳の中心を通る軸が一致しているため、2つの光電変換部211a及び211bの受光量は等しい。
一方、破線の多角形は、軸外の所定像高に位置する画素211−1内の光電変換部211a及び211bの投影像で、光電変換部211aの投影像がPD1a、光電変換部211bの投影像がPD1bである。図5(a)に示したように、撮影光学系の射出瞳距離Zepとセンサ瞳距離Zimは異なっている。そのため、射出瞳面に投影された2つの光電変換部211a及び211bの対称軸は、撮影光学系の射出瞳に対して偏心し、2つの光電変換部211a及び211bの受光量は差異を生ずる。偏心量は、画素の像高に比例し、かつ射出瞳距離Zepとセンサ瞳距離Zimの差分にも比例する。このため、2つの光電変換部211a及び211bの受光量の違いは、画素の像高に比例し、かつ射出瞳距離Zepとセンサ瞳距離Zimの差分にも比例する。
図5(c)は、図5(a)及び(b)に示す特性を有する撮像装置を用いて均一輝度面を撮影した場合の、X方向に並んだ複数画素の各光電変換部211a及び211bが出力する信号強度を説明する図である。図5(c)において、横軸Xは撮像面上のX座標、すなわち像高を表し、縦軸は各像高の光電変換部211a及び211bが出力する信号強度であり、各光電変換部が受光する光量と等価である。
本実施形態に関わる撮像装置においては、二分割された光電変換部の信号を用いて焦点検出を行う。よって、均一輝度面を撮影する場合、撮影光学系のズーム状態やフォーカス状態、及び画素の位置(像高)に関わらず、一対の光電変換部の出力が常に等しくなるのが理想である。しかしながら、現実の撮像装置では、撮影光学系の設計上の制約や、撮像素子の製造誤差により、一対の出力は一定値とならない。この理想値からの乖離をシェーディング偏差と称する。
図5(c)において、A像(F2.8)で示した曲線は、撮影光学系の絞り値(Fナンバー)がF2.8の場合における、複数の光電変換部211aの信号の強度分布を示す。同様に、B像(F2.8)で示した曲線は、撮影光学系の絞り値がF2.8の場合における、複数の光電変換部211bの信号の強度分布を示す。同様に、A像(F5.6)及びB像(F5.6)で示した曲線は、撮影光学系の絞り値がF5.6の場合における、複数の光電変換部211a及び211bの信号の強度分布を示す。図5(c)に示すように、A像とB像の信号強度は像高ゼロにおいて等しく、像高とともに両者が乖離していき、両信号の大小関係は、像高ゼロを挟んで逆転する。また、Fナンバーが大きいほど、すなわち小絞りになるほど、両信号の乖離が大きくなることが判る。
このように、1対2像のシェーディング偏差は、撮影光学系の光学特性と、着目する像高に応じて変化する。よって、正確な焦点検出を行うためには、このシェーディング偏差を何らかの手段で補正し、2像の強度を正規化してから焦点検出演算を行う必要がある。その具体的な手法は後述する。
次に、撮像素子が備えるオンチップマイクロレンズの製造誤差の影響について説明する。図5で説明した撮像素子は、オンチップマイクロレンズの製造誤差による偏心がゼロと仮定したものである。一方で、現実の撮像素子は、その製造工程において、各構造体の高さ方向(光軸方向)や平面方向(像高方向)に所定の寸法誤差を生じる。そして、オンチップマイクロレンズの偏心誤差は、その量が微小であっても、センサ瞳面上における光電変換部の投影像を大きく偏心させる。
図6は製造時にオンチップマイクロレンズの偏心が生じた撮像素子102における、撮影光学系の射出瞳面と、撮像素子102の光電変換部211a及び211bの共役関係を説明する図であり、図6(a)〜(c)は、図5(a)〜(c)にそれぞれ対応する。まず図6(a)において、画素211−0及び211−1が備えるマイクロレンズ211iは、設計値、すなわち図5(a)に示した基準状態に対してX軸の正方向に微小量偏心している。すると、センサ瞳面における光電変換部211a及び211bそれぞれの投影像も、基準状態に対してX軸の正方向に所定量偏心する。
図6(b)は、撮影光学系の射出瞳面上における、撮影光学系の射出瞳と光電変換部211a及び211bの投影像の平面図である。2つの円は撮影光学系の射出瞳である。実線で描いた多角形は、撮影光学系の光軸上に位置する画素211−0内の光電変換部211a及び211bの投影像で、光電変換部211aの投影像がPD0a、光電変換部211bの投影像がPD0bである。ここで、画素211−0のマイクロレンズ211iが設計値に対して偏心しているため、像高ゼロの画素211−0であっても、2つの光電変換部211a及び211bの投影像PD0a及びPD0bの対称軸と、射出瞳の中心軸は一致しない。そのため、2つの光電変換部211a及び211bの受光量には相違が生ずる。
また破線で描いた軸外画素の投影像PD1a及びPD1bも、図5(b)の基準位置に対してX軸上正方向に変位している。
図6(c)は、図6(a)及び(b)の特性を有する撮像装置を用いて均一輝度面を撮影した場合の、X方向に並んだ複数画素の各光電変換部211a及び211bが出力する信号強度特性、すなわちシェーディング現象を説明する図である。図6(c)の信号強度特性は、図5(c)の基準状態での波形を、像高X方向に所定量だけ平行移動した波形とおおむね等しい。そしてこの平行移動量は、オンチップマイクロレンズ211iの製造誤差に起因する偏心量に比例するとともに、撮影光学系の射出瞳距離やFナンバーによっても変化する。
図5及び図6で説明したように、焦点検出用1対2像における受光効率の理想状態からの乖離、すなわちシェーディング偏差は、撮影光学系の特性、焦点検出時の像高、及び撮像素子の製造誤差等、多くの因子で変化することが判る。
●製造工場における処理
図7は、撮像装置100の製造工場300における、撮像装置100の各種調整情報を取得する装置の構成図である。図7(a)において、調整台311には、被検対象であるカメラ本体101が固定され、調整用基準レンズ350が装着される。調整用基準レンズ350は、図2に示した市販の交換レンズ151と同一機能を有するが、光学収差や各種製造誤差が厳密に管理されている。調整用PC321は、カメラ本体101と通信可能に接続され、各種調整値取得のための制御を行う。製造工場300内に設置されたサーバコンピュータ331は、複数の製造・調整ラインにある個別の調整用コンピュータのデータを統合するとともに、インターネット網500を介して、外部のサーバと通信可能になっている。
シェーディング補正用の拡散光源351は、拡散パネルの背後に白色LEDアレイを備えた、均一輝度の面発光光源である。光源351は調整用基準レンズ350の広角端における撮影画角を包含する大きさを有している。そして光源351は移動台352上に設置され、調整用基準レンズ350の撮影光路に挿入/退避可能となっている。
近距離撮影用調整チャート353は、移動台354上に設置され、調整用基準レンズ350の撮影視野に挿入/退避可能となっている。遠距離撮影用調整チャート355は、調整台311に固定される。
図7(b)は近距離撮影用調整チャート353の平面図で、基準レンズ350の広角端における撮影視野を包含する大きさを有し、複数の空間周波数を有する縦線と横線のパターン群がX方向及びY方向に所定間隔で配置されている。遠距離撮影用調整チャート355には、撮影距離に応じてチャート353を拡大したものが用いられる。
次に、図8から図15を参照して、図7の調整装置により行われる撮像装置製造時の各種調整工程と、得られた調整データの構成について説明する。
図8は調整用PC321の制御により行われる撮像装置製造時の各種調整工程のメインフローであり、図7に示したカメラ本体101内のマイクロコンピュータと通信し、カメラ本体101に各種調整動作を実行させたのち、最後に調整データの処理を行う。
工程管理者もしくは工程管理プログラムが調整開始を指示すると、S101において撮影光路中に図7の拡散光源351を侵入させる。S111では、カメラ本体101に対してシェーディング調整のコマンドを送信する。シェーディング調整が終了すると、S121では拡散光源351を撮影光路から退避させ、代わりに近距離撮影用調整チャート353を撮影光路中に侵入させる。S131ではカメラ本体101に合焦ずれ調整のコマンドを送信し、S151では同様にプレディクション調整のコマンドを送信する。S171では各調整動作で得られたデータをカメラ本体101から受信してデータ処理を行い、データ処理が終わると調整工程が終了する。
図9は、図8のS111で行われるシェーディング調整サブルーチンを実行する際の、カメラ本体101の動作を示すフローチャートである。サブルーチンが開始されると、S112において調整用基準レンズ350のCPUと通信して、まず、撮影光学系のズーム状態を所定の状態、例えば広角端にセットする。S113ではフォーカスレンズ群を所定位置、たとえば無限端にセットする。S114では、所定のFナンバー、例えばF2.8となるように絞りを駆動する。この光学状態でS115にて撮像素子102は拡散光源351を撮影する。
S116では、すべての光学状態の組み合わせで拡散光源の撮影が完了したか否かを判断し、完了していなければS112に戻って光学状態を変更し、拡散光源の撮影を繰り返し実行する。ここで、光学状態の組み合わせの一例として、ズーム状態は広角端と望遠端、フォーカス状態は無限端と至近端、絞り状態は開放から最小絞りまで合計6段の条件とする。この場合、組み合わせの個数は2×2×6=24となるので、S115の撮影回数は24回となる。すべての光学条件で撮影が完了すると、S116からS117に移行し、カメラ本体101が取得した画像データを調整用PC321に送信し、図8のメインルーチンにリターンする。
図10は、図8のS131で行われる合焦ずれ調整サブルーチンを実行する際の、カメラ本体101の動作を示すフローチャートである。まず、合焦ずれ現象について説明する。撮影された画像の合焦の定義は、所定の空間周波数を有する被写体像において、そのコントラスト値が最大になっている状態のことであり、そのようなフォーカスレンズ群の停止位置が合焦位置である。これに対して、位相差式焦点検出システムでは、撮影光学系の射出瞳を2分割して取得した1対2像の相対的な横ずれ量が最小となるフォーカスレンズ群の停止位置を合焦位置としている。撮影光学系が無収差であれば、これら2つの合焦位置は一致するが、通常の撮影光学系は球面収差やコマ収差があるため、2つの合焦位置には微小なずれを生ずる。そこで、両者のずれ量を合焦ずれ補正値として予め把握し、焦点検出結果に合焦ずれ補正値を加えて、フォーカスレンズ群の目標停止位置を求める必要がある。合焦ずれ調整サブルーチンは、このずれ量を求めるサブルーチンである。このサブルーチンを実行する際は、図7におけるチャート353もしくは355が撮影光路中にセットされている。
サブルーチンが開始されると、S132において調整用基準レンズ350のCPUと通信して、撮影光学系のズーム状態を所定の状態、例えば広角端にセットする。S133ではフォーカスレンズ群を撮影用チャートの距離に応じた所定位置にセットする。撮影用チャートが近距離撮影用調整チャート353の場合は、これに対応する距離、例えば2mに対応する位置にフォーカスレンズ群を駆動する。S134では、所定のFナンバー、例えばF2.8となるように絞りを駆動する。
S135では、フォーカスレンズ群を合焦近傍位置から微小量だけ所定方向、例えば無限方向に駆動する。ここで撮影光学系のFナンバーをF、許容錯乱円径をδとすると、像面上の許容焦点深度はF×δになるので、この微小量は許容深度Fδの半分程度にするのが適当である。この状態で、S136にて撮像素子102は調整用チャートを撮影する。
S137では、合焦位置近傍でのフォーカス微小駆動による撮影が完了したか否かを判断し、完了していなければS135に戻ってフォーカスレンズ群を更に微小駆動し、調整用チャートの撮影を繰り返し実行する。ここで、フォーカス微小駆動撮影の組み合わせの一例について説明する。微小駆動前の初期位置に対して、1回当たりの微小駆動量は(1/2)×Fδ、駆動範囲は初期位置に対して±2Fδと仮定する。この範囲を(1/2)×Fδの刻みで往復動作させ、各停止位置でチャート撮影を行うと、撮影回数は17回となる。フォーカス微小駆動による撮影が完了すると、S137からS138に移行する。
S138では、すべての光学状態の組み合わせで調整用チャートの撮影が完了したか否かを判断し、完了していなければS132に戻って光学状態を変更し、チャートの撮影を繰り返し実行する。ここで、光学状態の組み合わせの一例として、ズーム状態は広角端と望遠端、フォーカス状態は近距離撮影用調整チャート353に対応する距離と遠距離撮影用調整チャート355に対応する距離である。また絞り状態は開放と1段絞り込んだ状態の2条件が選定される。そして、フォーカスの微小駆動条件は先に説明したように17であるので、組み合わせの個数は2×2×2×17=136となるので、S136での撮影回数は136回となる。すべての光学条件で撮影が完了すると、S138からS139に移行し、カメラ本体101が取得した画像データを調整用PCに送信し、図8のメインルーチンにリターンする。
図11は、図8のS151で行われるプレディクション調整サブルーチンを実行する際の、カメラ本体101の動作を示すフローチャートである。まず、合焦制御時のプレディクション動作について説明する。位相差式焦点検出システムでは、焦点検出用1対2像の相対的な横ずれ量ΔXと、デフォーカス量DEFが略比例関係にあるため、両者の比例係数Pが既知であれば、算出された横ずれ量からデフォーカス量を予測することが可能である。このように、1対2像の情報から焦点ずれ量と焦点ずれ方向を算出してフォーカスレンズ群駆動し、所定のデフォーカス状態から一気に合焦に至らしめる動作を、ここではプレディクション動作と呼ぶ。ここで、比例係数Pは、焦点検出時の1対の光束の基線長によって決まるが、基線長は図5(a)から明らかなように、撮影光学系の射出瞳面における、2つの光電変換部の投影像の重心間隔である。そしてこの重心間隔は、撮影光学系の射出瞳と、射出瞳面における光電変換部投影像の設計値から算出することができる。ここで、前者は設計値で代用しても大きな誤差は無いが、後者は設計値のみで正確な値を推定するのは困難である。その理由は以下のとおりである。
図5(b)では、光電変換部211a及び211bの投影像PD0a及びPD0bは単純な多角形で描いていたが、現実にはオンチップマイクロレンズの光学収差や、画素サイズの微小性に依る光波の回折ぼけで、投影像も輪郭のぼけたものになる。そして、そのぼけ具合はオンチップマイクロレンズの形状ばらつきや、光電変換部211a及び211bとの距離(層間膜厚)の製造ばらつきで変化する。すなわち、光電変換部211a及び211bの投影像は、収差や回折による複雑化に加えて、製造誤差によるばらつきが重畳されるため、その特性を設計条件から厳密に定義することが困難である。よって、プレディクション動作の精度を高めるためには、撮像素子102の製造誤差を考慮した補正が必要である。このような背景に基づいて、以下のプレディクション調整フローが実行される。なお、このサブルーチン実行時にも、図7におけるチャート353もしくは355が撮影光路中にセットされている。
サブルーチンが開始されると、S152において調整用基準レンズ350のCPUと通信して、撮影光学系のズーム状態を所定の状態、例えば広角端にセットする。S153ではフォーカスレンズ群を撮影用チャートの距離に応じた所定位置にセットする。撮影用チャートが近距離撮影用調整チャート353の場合は、これに対応する距離、例えば2mに対応する位置にフォーカスレンズ群を駆動する。S153では、所定のFナンバー、例えばF2.8となるように絞りを駆動する。
S155では、フォーカスレンズ群を合焦近傍位置から所定の大きさだけ所定方向、例えば無限方向に駆動する。ここで撮影光学系のFナンバーをF、許容錯乱円をδとすると、像面上の許容深度はF×δになるので、S155での駆動量は許容深度Fδの100倍程度にするのが適当である。すなわち、図10の合焦ずれ調整サブルーチンにおけるフォーカスレンズ群の駆動量は、最大でも±2Fδであったのに対して、プレディクション調整サブルーチンではその数10倍から数100倍という、かなり大きな量を駆動する。この状態で、S156にて撮像素子102は調整用チャートを撮影する。
S157では、大デフォーカスでの撮影が完了したか否かを判断し、完了していなければS155に戻ってフォーカスレンズ群を合焦位置に対して反対方向、すなわち至近方向に同じ駆動量だけ駆動し、調整用チャートの撮影を繰り返し実行する。ここで、大デフォーカス駆動撮影の組み合わせの一例について説明する。合焦とみなされる初期位置に対して、駆動量は最低で両方向に各1回、すなわちデフォーカス量換算で±100Fδの駆動状態で撮影を行う。また、プレディクション特性はデフォーカス量に対して非線形の可能性があるため、±50Fδや、±200Fδの駆動を行って撮影しても良い。合焦位置と±100Fδでの撮影を行う場合は、撮影回数は3回となる。大デフォーカス駆動による撮影が完了すると、S157からS158に移行する。
S158では、すべての光学状態の組み合わせで調整用チャートの撮影が完了したか否かを判断し、完了していなければS132に戻って光学状態を変更し、チャートの撮影を繰り返し実行する。ここで、光学状態の組み合わせの一例として、ズーム状態は広角端と望遠端、フォーカス状態は近距離撮影用調整チャート353に対応する距離と遠距離撮影用調整チャート355に対応する距離である。また絞り状態は開放から最小絞りまで1段刻みで計6段の条件が選定される。そして、大デフォーカス駆動条件は先に説明したように3である。すると、組み合わせの個数は2×2×6×3=72となるので、S156での撮影回数は72回となる。すべての光学条件で撮影が完了すると、S158からS159に移行し、カメラ本体101が取得した画像データを調整用PCに送信し、図8のメインルーチンにリターンする。
以上のようにして、カメラ本体101が図9から図11の各調整サブルーチンを実行すると、調整用PC321は図8のS171において、データ処理サブルーチンを実行する。
図12は、S171で行われる調整用PCにおけるデータ処理サブルーチンのフローチャートである。サブルーチンが開始されると、S172からS174において、シェーディング偏差を算出するためのデータの処理を行う。まずS172では、図9のS115で取得した拡散光源の撮影データに基づき、オンチップマイクロレンズ211iの偏心に関する情報を算出する。その原理を図13に示す。
図13(a)は、調整用基準レンズ350の射出瞳と、被検対象となるカメラ本体101の撮像素子102の投影関係を示す図である。撮影光学系の射出瞳距離はZep、絞り値はF5.6とする。また撮像素子102については、像高の異なる3つの画素を描いている。画素211−0は像高ゼロ、画素211−1は負の所定像高、画素211−2は正の所定像高にある画素であり、撮像素子102のセンサ瞳距離はZimである。そして、オンチップマイクロレンズ211iの製造誤差による偏心は、X軸の正方向に生じているものとする。従って、中央画素211−0の2つの光電変換部211a及び211bの中点を射出瞳面に投影すると、その投影位置はX軸の正方向に所定量だけ偏心している。よって、この偏心量を角度θimで表したものを、センサ瞳ずれ角と定義する。
上述のように、オンチップマイクロレンズ211iが偏心している場合、中央画素211−0の光電変換部211a及び211bの射出瞳面への投影像は、撮影光学系の射出瞳に対して偏心する。そのため画素211−0の1対2個の光電変換部211a及び211bの受光効率は同一ではない。一方で、X軸上正方向の像高にある画素211−2においては、光電変換部の投影像は撮影光学系の射出瞳に対して偏心していないため、画素211−2の1対2個の光電変換部の受光効率は等しい。
そのため、図13(a)に示すような撮像素子102におけるシェーディングデータ、すなわち均一輝度面を撮影した際の1対2像の信号強度は、図13(b)のようになる。ここで、A像(F5.6)とB像(F5.6)の波形が交差する位置の画素が、図13(a)の画素211−2に対応する。よって、図13(b)から画素のX座標Xcrsを算出し、図13(a)を参照することでセンサ瞳ずれ角θimを算出することができる。途中の計算式は省略し、結果のみ記述するが、θimは以下の式(1)
θim=(1/Zim−1/Zep)・Xcrs …(1)
で算出される。
次いで、図12のS173ではシェーディングデータの多項式近似を行う。一般にシェーディングデータは図13(b)に示すように、単純な曲線の場合が多い。従って、この曲線を例えば以下のような二次の多項式
A像出力=SHa2・X2+SHa1・X +SHa0
B像出力=SHb2・X2+SHb1・X +SHb0 …(2)
で近似することができる。ここで、SHa2ないしSHb0は係数、Xは画素211の像高である。
S172及びS173の処理で得られたシェーディングデータはS174において以下のように整理される。図14は、S174で生成したシェーディングデータの一例である。
まず先頭には、被検対象であるカメラ本体101、すなわちカメラの機種名と製造時のシリアルナンバーが記録され、ついでS172で算出されたセンサ瞳ずれ角θimの値が記録される。ついでS173で算出されたシェーディングデータを多項式近似した結果の各係数が一覧表(ルックアップテーブル)として記録される。本実施形態においては、シェーディングデータ取得時のズーム状態は広角端と望遠端の2種であったが、シェーディングデータは主として射出瞳距に依存し、それに加えてレンズ機種依存性も多少は存在する。従って、本実施形態では、シェーディングデータは汎用データと個別データに分けて記録される。図14に示したデータにおいて、汎用データのパラメータは射出瞳距離とFナンバーとなっている。一例として調整用基準レンズ350の広角端の射出瞳距離を80mm、望遠端の射出瞳距離を150mmとすると、図14の一覧表に示すように、射出瞳距離が80の欄と150の欄は実測値に基づいた係数が記録される。また、射出瞳距離100及び200に対応する実測値は無いため、80と150における各係数から線形補間で内挿及び外挿した値を格納している。
一方で、個別データ領域には、特定のレンズにおけるシェーディングデータが記録される。本実施形態では、調整用基準レンズ350の広角端と望遠端を用いてシェーディングデータを生成したため、レンズ機種名としてSTDw及びSTDtが付与され、Fナンバー毎の多項式係数が図14に示すように記録される。
次いで、図12のS175及びS176では合焦ずれ補正値の算出を行う。まずS175では、図10のS135からS137で取得したチャート撮影データに基づき、各画像のコントラスト値と焦点検出結果の関係を整理する。その原理を図15に示す。
図15は、撮影光学系の各フォーカスレンズ位置におけるデフォーカス量と画像のコントラスト値との関係を示す図である。図15の横軸は、撮影光学系のフォーカスレンズ位置である。そして左側の縦軸におけるデフォーカス量は、瞳分割により取得した1対2像の位相差演算により算出されたデフォーカス量である。また右側の縦軸におけるコントラスト値は、被写体パターンの高周波成分の積分値である。上述したように、本実施形態における撮像素子102の各画素211の光電変換部は2分割されている。よって、位相差演算する場合は光電変換部211a及び211bを独立に読み出して生成した1対2像の信号、すなわちA像とB像を用いる。一方コントラスト値を算出する場合は、該1対2像の信号において、各画素211の光電変換部211a及び211bからの信号を加算して生成した1つの像信号、すなわち(A+B)像から高周波成分を計算する。
図15において、図10のS135からS137においてフォーカスレンズ群を微小量ずつステップ駆動しながら算出されたデフォーカス量を白丸で、また同時に取得した画像から算出されたコントラスト値を黒丸で示す。また、画像のコントラスト値が最大となるフォーカスレンズ位置をFLcで示しているが、この位置を真の合焦位置とみなす。また、デフォーカス量がゼロとなるフォーカスレンズ位置をFLpで示しているが、この位置は位相差式焦点検出システムが算出した合焦位置である。上述したように、撮影光学系の光学収差等により、一般に両者は一致しない。そこで以下の式(3)で定義される両者の差分DEFが、合焦ずれ補正値と呼ばれるものである。
DEF=FLc−FLp …(3)
この合焦ずれ補正値DEFは撮影条件によって変化する。ここで撮影条件とは、撮影光学系の機種、ズーム状態やフォーカス位置、絞り状態、及び像高である。よって、図15の履歴曲線を種々の条件ごとに作成し、各条件での合焦ずれ補正値DEFを算出する。
次いで図12のS176では、S175で算出した合焦ずれ補正値DEFの多項式近似と多項式係数の整理を行う。まず多項式近似は以下のように行う。撮影光学系の光学条件を固定した場合、合焦ずれ補正値DEFは前述したように、像高によっても変化するが、この曲線を例えば以下のような二次の多項式、
DEF=DEF2・X2+DEF1・X +DEF0 …(4)
で近似することができる。ここで、DEF2ないしDEF0は係数、Xは被写体像における対象領域の中心像高である。そして各種光学条件毎に求めた多項式係数を整理したものが図16である。
光学収差に起因する合焦ずれ補正値は、撮影光学系の機種依存が大きい。そこで本実施形態においては、合焦ずれ補正値は汎用データを定義せず、個別の撮影光学系毎に固有の値を記憶させている。図16においては、記録可能な撮影光学系の機種数は4としてある。ここで左端のSTDは、この調整工程で使用している調整用基準レンズ350を表し、LS1及びLS2は種別の異なる他の交換レンズを表している。右端の空欄領域は、追加データの記録領域で、任意のレンズのデータを後から追記できるようになっている。
なお、光学収差は絞り開放で大きく、絞り込みに応じて急減するため、本実施形態における絞り条件は開放と1段絞りの2種について係数を記憶する。また、本実施形態においては、調整用基準レンズ350の広角端と望遠端で合焦ずれ補正を行い、多項式係数を算出している。従って、レンズ機種名がSTDのWideとTeleの欄に算出した係数が記録される。また他のレンズLS1ないしLS2においては、各撮影光学系の設計上の光学収差から求めた補正値を記録している。これらの数値は設計値であり、実測値ではないため、両者を区別するためにカッコ付きで表記した。
次いで、図12のS177ではプレディクション係数の誤差計算を行う。ここで、位相差式焦点検出システムでは、瞳分割系により取得された1対2像から、以下の式(5)を用いてデフォーカス量を求める。
Def=K・P・S …(5)
上記式(5)において、Sは公知の相間演算により計算された1対2像の位相差、Pは分割された瞳の基線長から求まるプレディクション係数である。また、Kはプレディクション係数の誤差を補正するための係数(以下、「プレディクション補正係数」と呼ぶ。)、Defは算出されたデフォーカス量である。焦点検出誤差のないシステムではK=1である。
ここで、プレディクション係数Pは、図5(b)で説明した、1対の光電変換部の投影像PD0aとPD0bの重心間隔で決まる定数である。しかしながら、本実施形態における焦点検出システムでは、上記投影像、すなわち焦点検出用の瞳は撮影光学系の絞りによってけられるため、係数はFナンバーに応じて大きく変化するほか、焦点検出領域の像高によっても変化する。さらには図6で示したように、撮像素子のオンチップマイクロレンズの製造誤差偏心によっても基線長は変化するため、プレディクション係数もシステムの設計値から計算したものに対して誤差を有する。これらの誤差を補正するための係数がKであるが、Kの算出方法について図17を用いて説明する。
図17は位相差式焦点検出システムにおけるプレディクション特性を説明する図で、横軸は焦点検出時の真のデフォーカス量であり、未知の値である。また縦軸は、焦点検出システムにより算出されたデフォーカス量で、既知の値である。図17において実線で示した直線は、理想とするプレディクション特性であり、原点を通る傾き45度の直線である。この理想特性においては、算出されたデフォーカス量は真のデフォーカス量に等しい。また、破線で示した直線は、プレディクション誤差を有する現実の焦点検出システムの特性であり、その傾きは45度からずれている。このような焦点調節システムにおける合焦動作は以下のようになる。
図17において、初期状態での真のデフォーカス量をDef10とする。この時、理想的な焦点検出システムが算出するデフォーカス量はDef10であるが、現実のシステムが算出するデフォーカス量はDef11であるものとする。ここで、算出されたデフォーカス量Def11を解消するために、撮影光学系のフォーカスレンズ群を駆動したのちに2回目の焦点検出を行う。この時、誤差の無いシステムならデフォーカス量はゼロになるはずだが、焦点検出システムの誤差のため、合焦誤差に相当する真のデフォーカス量はDef20、算出されたデフォーカス量はDef21となるものとする。
これら2回の焦点検出結果Def11及びDef21より、現実の焦点検出システムにおけるプレディクション特性、すなわち破線の傾きは、以下の式(6)、
傾き=(Def11−Def21)/Def11 …(6)
で表すことができる。よって、プレディクション補正係数Kは上記傾きの逆数、すなわち、
K=Def11/(Def11−Def21) …(7)
となる。
以上の演算を、焦点検出領域毎に行うことで、所定の像高毎に補正係数Kの値が算出される。そこで、図14で説明したシェーディングデータの多項式近似や、図16で説明した合焦ずれ補正値の多項式近似と同様に、プレディクション補正係数Kも像高に対して多項式近似する。すなわち以下のような二次の多項式、
K=K2・X2+K1・X +K0 …(8)
で近似することができる。ここで、K2ないしK0は係数、Xは被写体像における対象領域の中心像高である。そして各種光学条件毎に求めた多項式係数を整理したものが図18である。
図18の記録形式は、図14のシェーディングデータと同様に、汎用データ領域と個別データ領域に分けられている。そして汎用データのパラメータは撮影光学系の射出瞳距離とFナンバー、個別データはレンズ機種毎にFナンバーをパラメータとして多項式近似した係数が記録される。
なお、本実施形態においては、設計情報から求めたプレディクション係数Pと、調整工程で求めたプレディクション補正係数Kを、各々個別の値として記憶しているが、両者を乗算した結果を記憶する形態でも構わない。
図13ないし図18を用いて説明した各種補正値の算出と記録動作が行われると、図12のS178までが完了したことになるので、S179に移行する。S179では、S172ないしS178で取得した補正値を、被検カメラであるカメラ本体101に送信する。この際、カメラ本体101は受信した情報を自身が有するROMに記録する。次いでS180では、調整用PC321から遠隔地にあるサービスセンターのサーバコンピュータに対して、インターネット経由で調整データを送信し、送信を終えるとメインルーチンにリターンする。これでカメラ本体101の製造時における各種調整が完了し、工場から出荷され、販売店経由でユーザーに販売されることになる。
●ユーザー側における処理
次に、図19から図25を参照して、ユーザー側においてカメラ本体101の焦点調節及び撮影を行う場合の処理について説明する。
図19は本実施形態に係る撮像装置のメインフローを示すフローチャートである。S201でユーザーがカメラ本体101の電源スイッチをオン操作すると、S202において、装着されている交換レンズ151と通信してレンズ機種を表すレンズIDを取得する。S203では、インターネット経由で、後述するサービスセンターのサーバコンピュータ401(外部情報処理装置)と通信し、サーバコンピュータ401に記憶されている最新の調整データをダウンロードする。なお、この際に、カメラ本体101に記憶されているカメラ機種と、センサ瞳ずれ角θimと、装着された交換レンズ151のレンズIDをサーバコンピュータ401に送信し、これらの組み合わせに合致した調整データを取得する。
S204ではS203で取得したデータの検証と追記が行われる。すなわちこの段階では、カメラ本体101に記憶されている各種調整データは、図14、図16及び図18で説明した工場出荷時のデータである。工場出荷時のデータ内に現在装着されている交換レンズ151に対応するデータが無く、かつダウンロードしたデータに交換レンズ151のデータが含まれている場合は、各データ記録領域の追記可能領域に、交換レンズ151に対応するデータが追記される。
S205ではカメラ本体101に設定された各種撮影モードや焦点検出モードの確認、及び装着された交換レンズ151のズーム状態、フォーカス位置状態、及び絞り状態を検出する。S231では後述する焦点検出サブルーチンを実行し、デフォーカス量を算出する。
S211では、S231で算出したデフォーカス量に基づき、撮影光学系が合焦状態にあるか否かを判断する。そしてデフォーカス量が所定値以上の場合は非合焦と判断し、S212に移行してフォーカスレンズ群を駆動し、S231に戻って焦点検出を繰り返し実行する。一方、S211においてデフォーカス量が所定値以下の場合は合焦と判断し、S213に移行して合焦表示を行う。S214では、S231において認識された合焦結果の信頼性レベルを算出する。そして、S215において信頼性ありと判断されると、S251において、後述する補正データ算出サブルーチンを実行する。一方S215で合焦結果の信頼性が低いと判断されたら、S251は実行せずにS221に移行する。
S221では、撮影スイッチがオン操作されたか否かを判別し、オン操作されていなければS223に移行し、オン操作されている場合はS222にて画像記録を行う。S223ではメインスイッチの状態を判別し、NOの場合、すなわちメインスイッチのオン状態が維持されている場合はS205に戻り、上述したS205ないしS223の処理を繰り返し実行する。S223にてメインスイッチがオフと判断されると、S224に移行し、S251で算出した補正データを、インターネット経由でサービスセンターのサーバコンピュータ401にアップロードし、メインフローの実行を終了する。
図20は図19のS231で行われる焦点検出サブルーチンのフローチャートである。まず、S232において、取得画像から被写体パターンを認識し、顔画像の判別や、撮影画面全体のコントラスト分析等を行う。S233では、S232での認識結果から、焦点を合わせるべき主被写体を決定する。たとえば主被写体として人物の顔を認識する場合は、本出願人による特開2006−345254号公報等の公知の技術を用いることができる。
S234では、決定された主被写体領域に存在する焦点検出画素を読み出し、相関演算用の1対2像を生成する。S235では、焦点検出演算に必要な各種補正データをROMから読み出す。具体的には、図14、図16、図18で説明した各多項式係数群から、撮影条件に適した所定の係数を読み出して多項式計算を行い、各補正値を計算する。S236では、1対2像のシェーディング偏差を解消するためのシェーディング補正を行う。S237では、シェーディング補正が施された2像の像ずれ量Sを算出するための相関演算を行う。この相間演算には、例えば、本出願人による特開2001−305415等に開示された公知の技術を用いることができる。S238では、S237における相間演算による相関値の信頼性判定を行う。
S239では、前述の式(5)を用いてデフォーカス量を算出する。S240では、図16で説明した合焦ずれ補正値を用いて合焦ずれ補正を行う。S241では、合焦ずれ補正されたデフォーカス量に基づき、フォーカスレンズ駆動量を算出した後、図19のメインフローにリターンする。
このように、本実施形態における焦点検出サブルーチンでは、工場出荷時に記録された補正値や、サーバコンピュータからダウンロードした最新の補正値を用いて焦点検出演算を行う。このため、装着された交換レンズに対応した補正値が利用でき、高速且つ高精度の合焦動作が実行でき、シャッターチャンスを逃すことなく、ピントの合った画像を得ることができる。
図21は図19のS251で行われる補正データ算出サブルーチンのフローチャートである。このサブルーチンは、撮影者が撮像装置を用いて焦点調節と撮影を行う際、焦点調節動作中に取得したデータを用いて、図13ないし図18で説明した各種調整工程と同一内容の演算を撮像装置内で実行する工程である。以下、図21のフローチャートに沿って、図22ないし図25を参照しながら用いて補正データの算出方法を説明する。
処理が開始されると、S252において、シェーディング誤差の算出とシェーディングデータの補正を行う。その方法は、図9及び図13図で説明した、製造時のシェーディングデータ取得と基本的には同一である。ただし、製造時の調整では被写体として均一輝度面が用いられたが、ユーザーによる撮影動作時には、被写体はさまざま輝度分布を有する一般被写体が対象となる。そこで、シェーディングデータも、一方の像信号を基準とした他方の像信号、例えばA像信号を基準としたB像信号の相対強度をもとめ、これに基づいてシェーディングデータを生成する。
図22はシェーディングデータを算出する際の撮影画像の一例を示す。本実施形態では撮影画面上の全領域で焦点検出が可能となっているが、個々の焦点検出領域は破線で示すようにX方向に6分割、Y方向に4分割され、この中から所望の1個もしくは複数個の領域が手動もしくは自動で選択可能になっている。そして撮影画面には、背景の山と、主被写体である人物が写っており、人物の顔を含む矩形領域(太い破線で図示)が焦点検出領域AFFRとして選択され、該領域AFFRが合焦となった状態で画像が取得されている。
次に、当図の焦点検出領域AFFRの中心を通りX軸に平行な線上、すなわちA−A線上における画像のシェーディングデータの取得と該データの補正方法を、図23を参照して説明する。図23(a)は、A−A線上の画素から出力される焦点検出用2像、すなわちA像及びB像の出力のシェーディング補正後の波形を示したものである。工場出荷時に記憶されたもしくはS203でダウンロードされたシェーディングデータが正確で、かつ被写体像が合焦していれば、2つの波形は一致する。しかしながらシェーディングデータに誤差があったり、被写体が非合焦であると両波形は一致しない。そこで、図23(a)のA像とB像の比A/Bをシェーディング誤差Rとして表したものを図23(b)に示す。
図23(b)のシェーディング誤差Rは、図23(a)におけるX座標毎のA像とB像の比をそのままプロットしたもので、合焦している焦点検出領域AFFRとその近傍領域はA像とB像の位相が揃っている。そのため、シェーディング誤差のみが発生し、シェーディング誤差Rは滑らかになっている。一方で、X座標が正の領域は被写体像が非合焦であるため、シェーディング誤差と、A像とB像の位相ずれによる出力差が重畳し、シェーディング誤差Rは不規則に変動している。従って、Rの波形からシェーディング誤差のみを抽出するため、R波形を低次の関数、例えば一次関数で近似してR1を得る。
図23(a)のB像に対してシェーディング誤差R1を乗じたB1像の波形を、A像の波形とともに示したものを図23(c)に示す。図23(c)に示すように、被写体像が合焦している焦点検出領域とその近傍では、A像とB1像が良く一致している。一方で、X座標が正の領域もシェーディング誤差は解消し、焦点ずれに起因する位相ずれが明瞭になっている。従って、工場出荷時に記憶されたシェーディングデータに対して、図23(b)を参照して上述したようにして得られたシェーディング誤差R1を乗じたものを新たなシェーディングデータとする。このようにすることで、焦点検出用2像のシェーディング補正誤差を低減することができる。
S253では、プレディクション補正係数の算出を行う。S253においても図22で説明した撮影画像を用いて補正係数を算出する。図22の焦点検出領域AFFRが合焦に至る過程を図24に示す。図24の横軸は焦点検出を実行した回数で、1は1回目を表わす。縦軸はその時に検出されたデフォーカス量で、2本の破線で示した範囲が合焦とみなされる範囲である。ここでの処理では、図19のS231、S211、S212の処理で、合焦するまでに得られたデフォーカス量を用いる。
まず1回目の焦点検出で、デフォーカス量Def11が検出され、該デフォーカス量をゼロにすべくフォーカスレンズ群を駆動制御し、2回目の焦点検出を行うと、デフォーカス量Def21が検出されたものとする。このデフォーカス量Def21が合焦範囲を超えていれば、再度フォーカスレンズ群を駆動制御し、3回目の焦点検出を行い、デフォーカス量Def31が検出される。そしてデフォーカス量Def31が合焦範囲内であれば焦点調節動作を終了する。ここで、AFシステムの焦点検出誤差が皆無であれば2回目の焦点検出結果のデフォーカス量Def21はゼロになり、焦点調節動作はここで完了となる。一方で、2回目の焦点検出結果がゼロでなければ、デフォーカス量Def21が焦点検出誤差になる。焦点検出誤差には、例えば、センサのノイズや被写体のコントラスト不足に起因してランダムに発生するものと、定常的に発生するものがある。後者は図17で説明したプレディクション補正係数のずれが主因である。従って、当誤差を解消するためには、図24で得られたデフォーカス量Def11とDef21を、上述の式(7)に代入して新たなプレディクション補正係数Kを求める。
S254では、合焦ずれ補正値の算出を行う。その方法は、図10及び図15で説明した、製造時の合焦ずれ補正値取得と基本的には同一である。すなわち、撮影に先立つ合焦動作において、図22に示した画像の各焦点検出領域におけるデフォーカス量とコントラスト値の履歴を蓄積しておき、図15に示したデータ処理を行うことで、新たな合焦ずれ補正値を取得できる。この場合、背景に相当する領域はデフォーカス量が大きく、合焦動作中のコントラスト値が低すぎて合焦ずれ補正値の取得ができない場合がある。その結果の例を図25に示すが、図25において斜線をかけた領域が合焦ずれ補正値を取得できた領域、それ以外が補正値を取得できなかった領域である。撮影画面において、領域毎の被写体の距離差が小さいほど、合焦ずれ補正値を取得できる領域が広くなる。
S255では、S252ないしS254で取得した各種補正値を用いて、上述した式(2)、式(4)及び式(8)の多項式における各係数の再算出を行う。そして、CCPU121内のROMに記憶された、図14、図16、図18に示す、装着された交換レンズ151の撮影時の光学状態の調整データに対して、更新処理する。ここで、対応する調整データがある場合には、S252ないしS254で算出した補正値及び係数で更新し、無い場合には、空欄領域に新規記録する。
図19ないし図25において、ユーザーによる焦点検出動作実行時に取得した各種補正結果の一例として、シェーディングデータを図26に示す。ここでユーザーは、カメラ本体101を購入後、しばらくしてから新製品のズーム式交換レンズ(図26示す例では、機種名はLS9)を購入し、カメラ本体101に装着して使用した場合について説明する。
ユーザーが撮影動作を行うために、カメラ本体101のメインスイッチをオンすると、図19のS202において、装着されたレンズ機種LS9に対応するレンズIDを取得し、次いでS203でサーバからデータをダウンロードする。そしてS204において、レンズ機種LS9に対応する調整データをROMの追記領域に格納する。
その後、ユーザーは装着された交換レンズ151を広角端に設定し、何回かの合焦動作をFナンバーが16の絞りで実行したものとする。すると、合焦動作で得られた各種情報を利用し、図21の補正データ算出サブルーチンで取得した各種補正値を、ROM内の記録済み調整データに対して更新処理する。
図26はこのようにして得られたシェーディングデータを示す。個別データ記録領域の右端には、装着されたレンズLS9に対応するシェーディングデータの多項式係数が記録されている。このうち、望遠端LS9tの領域に記録されたデータは、サーバコンピュータ401からダウンロードしたデータが格納されている。一方、広角端LS9wのFナンバーが16の絞りにおいては、ユーザーによる合焦動作の過程で取得されたデータが格納される。よって、両者を区別するために、図26では個別のレンズを用いて取得したデータを太字で示している。合焦ずれ補正値、及びプレディクション補正係数も同様に更新することが可能である。
●サービスセンターにおける処理
図27から図29は、サービスセンターにあるサーバコンピュータ401の構成とデータ処理フロー、及び編集された補正データの一例を示した図である。なお、このサーバコンピュータ401は、図7に示すサーバコンピュータ331と同じものでも、サーバコンピュータ331で得た補正値を記憶した別のサーバコンピュータであっても構わない。
図27は本実施形態におけるサーバコンピュータ401の構成を示すブロック図である。CPU402は、サーバコンピュータ401が有する各種装置の制御を司るために、演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有する。無線通信回路403及び送受信回路404は、インターネット等のネットワークを通じて他のサーバコンピュータや撮像装置(カメラ本体)と通信するためのアンテナや信号処理回路で構成される。
通信制御回路405は、端子406を介して有線経由で他のサーバコンピュータやローカルコンピュータと通信する。また、表示器411、キーボードやマウス等の入力部412、ハードディスクドライブ等の大容量記憶部413を含む。
次に、図28を用いてサーバコンピュータ401のデータ編集フローを説明する。データ編集の開始を指示すると、S302においてインターネット経由で所定のカメラから個別の補正データを取得する。ここで個別の補正データとは、図21の補正データ算出サブルーチンにおいて生成された、特定のカメラと交換レンズの組み合わせにおいて取得されたデータである。
続いてS303では、取得したデータのもととなるカメラ本体101と交換レンズ151の機種判別、及び製造番号の判別を行う。S304では、カメラ本体101が有する撮像素子102のオンチップマイクロレンズの製造誤差情報を認識する。これは図14に記載された、撮像装置の属性情報中のセンサ瞳ずれ角に相当する。すなわち、焦点検出時に用いる各種補正情報はカメラ本体毎の個体差、いわゆる製造誤差を有するが、該個体差の原因のうち最も重要な因子がセンサ瞳ずれ角である。従って、サーバコンピュータ401において、多数の撮像装置から得られた情報を処理する場合、各カメラの機種についてセンサ瞳ずれ角に応じてデータを処理する。
S305では、多数の撮像装置から収集したシェーディングデータの編集を行う。S306では同様に合焦ずれ補正値の編集を行い、S307ではプレディクション補正係数の編集を行い、編集作業を終了する。サーバコンピュータ401は、このようにして編集した調整データを、撮像装置からのリクエストに応じて送信する。
図29は以上のフローにて編集されたシェーディングデータの例を示す。まず、データの先頭には撮像装置の属性情報が記録されている。ここで、カメラ機種とレンズ機種は、データ取得時に用いられた機種である。また、センサ瞳ずれ角は、例えば各カメラ機種において、±1度の範囲を0.1度刻みで分類した、合計21種に分けられる。すなわち、所定のカメラとレンズの組み合わせにおいても、各種補正データはセンサ瞳ずれ角ごとに個別に集計される。例えば、集計するカメラ機種が10種類、レンズ機種が100種類あるものとすると、10×100×21=21000の組み合わせを管理し、それぞれの組み合わせについて集計を行うことになる。そして最後のデータ母数は、組み合わせのうち、カメラ機種がカメラC1、レンズ機種がLS9、及びセンサ瞳ずれ角が+0.2度の組み合わせにおいて、サーバコンピュータ401が収集できたデータセットが125台分であることを示す。
撮像装置の属性情報の下には、編集されたシェーディングデータが表記されている。ここに表記された各係数は、母数である125台分のデータを平均化したデータである。このように、多数のデータを用いる事で、ランダムに発生する誤差成分を低減し、データの信頼性を向上することができる。
以上のように本実施形態によれば、撮像装置における画像記録機能を担うカメラ本体には、その製造工程において調整用基準レンズを装着し、各種補正値を取得してカメラ本体内に記録する。また、異なる交換レンズにおける補正値は、必要に応じて設計値が記録される。そして撮像装置がユーザーの手に渡ると、撮影時の合焦動作の際に、製造工程で記録された補正値が用いられる。また、カメラ本体内に補正値情報の無い交換レンズを使用する場合、カメラ本体は該交換レンズのIDを認識し、サーバコンピュータからダウンロードした最新の補正値データの中から、所望の補正値を抽出してカメラ本体に記録する。従って、任意の交換レンズに対して適切な補正値が利用できるため、正確な合焦制御が可能となる。
また、該レンズを用いて合焦動作を継続すると、合焦動作中の情報を履歴として一時記憶し、その情報を用いて新たな補正値を生成する。従って、撮像装置の使用回数に応じて学習し、更新された補正値が利用できるため、撮像装置の利用頻度に応じて焦点検出性能が向上する。
更に、撮像装置に蓄積された補正値を、適宜サーバコンピュータにアップロードし、サーバコンピュータは収集した膨大なデータを編集して、信頼性の高い補正値を保有する。従って、時間の経過とともにサーバコンピュータが保有する補正値のデータベースは信頼性が向上するため、ユーザーが定期的に該補正値をダウンロードすることで、カメラ内に記憶される補正値の信頼性も一層向上し、正確な焦点検出が可能となる。
即ち、撮像装置が位相差式焦点検出を行う際、撮影光学系の特性に応じて、該撮像装置の製造時に取得した補正情報や、撮影時の焦点検出過程で取得した補正情報、あるいはインターネット網を経由して外部装置から入手した補正情報を用いて焦点検出を行う。これにより、焦点検出誤差が低減され、高速且つ高精度な合焦動作を達成できる。
また、撮像装置の製造工場やサービス拠点に設けられた情報処理装置は、ユーザーの手に渡った複数の撮像装置から焦点検出用補正情報を入手し、これらを編集して各撮像装置に供給する。これにより、撮像装置は信頼性の高い最新の補正値を利用することができ、高速且つ高精度な合焦動作を達成できる。
なお、上記実施形態で示した各補正値のパラメータは、ズームパラメータの場合は広角端と望遠端のみとしたが、本発明はこれに限定されるものではなく、各機器が備えるメモリの容量に応じて、更に細分化してもよい。また、Fナンバーのパラメータも1段刻みに限定されることなく、さらに細分化してもよいし、Fナンバーによる変化も多項式近似し、その係数を記録する実施形態も可能である。
また、各補正値の像高依存は、瞳分割方向、すなわちX方向の依存性を多項式近似する例を示したが、X方向とY方向の2次元において多項式近似すれば、更に正確な補正情報を記録、及び再生することができる。
また、製造工場にサーバコンピュータを設置し、サービスセンターには修理・サービス調整用のローカルコンピュータを設置する構成でも構わない。
<他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。