JP6469026B2

JP6469026B2 - 撮像装置およびその制御方法

Info

Publication number: JP6469026B2
Application number: JP2016008188A
Authority: JP
Inventors: 長谷川　玲治; 玲治長谷川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-01-19
Filing date: 2016-01-19
Publication date: 2019-02-13
Anticipated expiration: 2036-01-19
Also published as: US20170208271A1; GB201700871D0; GB2548460B; US10250827B2; CN106993110A; CN106993110B; KR20170087029A; GB2548460A; KR102135170B1; DE102017100796A1; JP2017129679A

Description

本発明は、撮像面位相差方式の自動焦点調節による焦点調節機構を有する撮像装置に関するものである。

カメラで撮影した画像に対して、ＰＣ（パーソナルコンピュータ）等で撮影後に現像処理を行うためには、ＲＡＷ画像データが用いられる。ＲＡＷ画像データとは、撮像素子の出力する画像データや、現像前の画像データであり、不可逆圧縮によりサイズを縮小することなく、可逆圧縮でメモリに保存される。特許文献１にはＲＡＷ画像の保存処理が開示されている。

撮像面位相差方式の自動焦点調節（以下、ＡＦと略記する）では、撮像素子の画素を瞳分割し、分割画像の相関演算により焦点調節が行われる。瞳分割された分割画像は、焦点調節以外の用途で使用可能である。その際、通常の撮像された画像データとは別に分割画像データのままでＲＡＷ画像として保存する処理が行われる。

特開２０１４−５３７０１号公報

瞳分割画像については、光線の入射角と撮像素子のフォトダイオードとの位置関係により、分割画像のそれぞれにシェーディングと呼ばれる光量低下が起こる場合がある。そのためシェーディング補正処理が行われる。シェーディングは画像の像高、レンズ固有の射出瞳距離、Ｆ値等の要因によって変わるので、撮影後に推測することが難しい。このため、シェーディング補正処理が十分に行われないと、撮影後に瞳分割画像を使用する際に画質の低下をもたらす可能性がある。
本発明は、撮像装置において、分割された瞳ごとの画像に対するシェーディング補正処理を撮影後に行えるようにすることを目的とする。

本発明に係る撮像装置は、複数のマイクロレンズと、各マイクロレンズに第１の光電変換部および第２の光電変換部を含む複数の光電変換部が対応する撮像素子と、前記第１の光電変換部の受光量に基づく第１の画像信号と、前記第１の光電変換部の受光量および前記第２の光電変換部の受光量に基づく第２の画像信号と、を生成する生成手段と、前記生成手段によって生成された前記第１および第２の画像信号と、前記第１の画像信号を補正するための前記撮像素子固有の第１の補正パラメータと、前記第２の光電変換部の受光量に対応する第３の画像信号を補正するための前記撮像素子固有の第２の補正パラメータと、を関連づけてメモリに記録する記録制御手段と、を有する。

本発明によれば、撮像装置において、分割された瞳ごとの画像に対するシェーディング補正処理を撮影後に行うことができる。

本発明の実施形態におけるカメラシステムの構成例を示すブロック図である。本実施形態における撮像面位相差方式の画素構成を示す図である。本実施形態における撮影処理を示すフローチャートである。本実施形態における静止画撮影処理を示すフローチャートである。本実施形態におけるライブビュー静止画撮影処理を示すフローチャートである。本実施形態における動画撮影処理を示すフローチャートである。本実施形態における焦点検出処理を示すフローチャートである。本実施形態における焦点検出枠の位置を示す図である。本実施形態における焦点検出領域を示す図である。本実施形態におけるシェーディング補正を示す図である。本実施形態における補正値テーブルの構成を示す図である。本実施形態における焦点検出領域から得られる像信号を示す図である。本実施形態における相関量等のグラフを示す図である。本実施形態における静止画の画像記録処理を示すフローチャートである。本実施形態における静止画像ファイルの記録構成を示す図である。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。本実施形態では、レンズ装置１０とカメラ本体部２０からなるレンズ交換式カメラシステムの構成を例示する。レンズ制御部１０６はレンズ装置全体の動作を統括制御し、カメラ制御部２１２はカメラ全体の動作を統括制御する。レンズ制御部１０６とカメラ制御部２１２は互いに情報を通信し合う。

まず、レンズ装置１０の構成について説明する。
固定レンズ１０１、絞り１０２、フォーカスレンズ１０３は撮影光学系を構成する光学部材である。固定レンズ１０１は第１群レンズである。絞り１０２は、絞り駆動部１０４によって駆動され、後述する撮像素子２０１への入射光量を制御する。フォーカスレンズ１０３はフォーカスレンズ駆動部１０５によって駆動され、焦点調節を行う。

レンズ制御部１０６は絞り駆動部１０４を制御して絞り１０２の開口量を決定し、フォーカスレンズ駆動部１０５を制御してフォーカスレンズ１０３の位置を決定する。レンズ制御部１０６は、カメラ制御部２１２から受信した制御命令や制御情報に応じて、各駆動部の制御を行い、またレンズ制御情報をカメラ制御部２１２に送信する。レンズ制御部１０６はレンズ操作部１０７からの操作入力信号に応じてレンズ装置１０の制御を行う。

次に、カメラ本体部２０の構成について説明する。
カメラ本体部２０はレンズ装置１０の撮影光学系を通過した光束から撮像信号を取得する。レンズ装置１０の撮影光学系を通過した光束は、回動可能なクイックリターンミラー（以下、可動ミラーという）２５２に導かれる。可動ミラー２５２の中央部はハーフミラーになっており、可動ミラー２５２がダウンした際（図１の下側に位置する下降状態）に一部の光束が透過する。この透過した光束は位相差ＡＦセンサ（不図示）へ導かれる。位相差ＡＦセンサは自動焦点調節手段であるが、後述する撮像面位相差ＡＦとは別の手段であり、本発明には関係ないので、その詳細な説明は省略する。

一方、可動ミラー２５２で反射した光は、マットスクリーン２５０に像を結び、ペンタプリズム２５１、接眼レンズ２５６をそれぞれ介して撮影者の目に到達する。また、可動ミラー２５２がアップした際（ペンタプリズム２５１側に矢印のように上昇した状態）には、レンズ装置１０からの光束は、機械式シャッタであるフォーカルプレーンシャッタ２５８と、フィルタ２５９を介して撮像素子２０１に結像する。フォーカルプレーンシャッタ２５８は先幕および後幕を有し、レンズ装置１０からの光束の透過と遮断を制御する。フィルタ２５９は赤外線や紫外線等をカットし、可視光線のみを撮像素子２０１へ導く機能と、光学ローパスフィルタとしての機能を有する。

撮影光学系を通過した光束は撮像素子２０１の受光面上に結像し、撮像素子２０１のフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラ制御部２１２の指令に従って撮像素子２０１から順次読み出される。つまり、タイミングジェネレータ２１５から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号が取得される。

図２を参照して撮像素子２０１の画素構成を説明する。図２（Ａ）は、瞳分割されていない場合の画素構成を参考として示す。図２（Ｂ）は、瞳分割されている場合の画素構成について、２分割の構成例を示す。Ｒ、Ｇ、Ｂは赤色、緑色、青色の色フィルタにそれぞれ対応する。図２（Ｂ）に示すように、撮像素子２０１は、撮像面位相差ＡＦを行うために、１つの画素に対応する２つのフォトダイオードを有する。被写体からの光束はマイクロレンズで分離され、２つのフォトダイオードに結像することで、撮像信号とＡＦ用像信号を取り出すことができる。２つのフォトダイオードの信号のうち、一方の信号を像信号Ａとし、他方の信号を像信号Ｂとする。像信号Ａと像信号Ｂを加算した信号、つまり像信号「Ａ＋Ｂ」は撮像信号として取得される。個々のフォトダイオードによる像信号Ａと像信号ＢはＡＦ用像信号として取得される。像信号Ａと像信号Ｂに基づいて、後述するＡＦ信号処理部２０４は２つの像信号に対して相関演算を行い、像ずれ量や各種信頼性情報を算出する。

図２（Ｃ）は画素部の断面構造を例示する。受光面の上側に入射光を集光するためのマイクロレンズ３０５が形成されている。光電変換部３００として、２つの光電変換部３０１，３０２が形成されているが、分割数は任意に設定可能である。光電変換部３０１，３０２はそれぞれ焦点検出画素に対応する。光電変換部３０１，３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオード、またはイントリンシック層を省略したｐｎ接合フォトダイオードの構成をもつ。マイクロレンズ３０５と、光電変換部３０１，３０２との間にカラーフィルタ３０６が形成される。必要に応じて、副画素ごとにカラーフィルタの分光透過率が変更されるか、あるいはカラーフィルタが省略される。画素部に入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６での分光後に、光電変換部３０１，３０２がそれぞれ受光する。光電変換部３０１，３０２では受光量に応じて電子とホールが対生成され、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。光電変換部３０１，３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換されて画素信号として出力される。

図１にて、撮像素子２０１から読み出された撮像信号およびＡＦ用像信号はＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２に入力される。ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は、リセットノイズを除去する為の相関二重サンプリング、ゲインの調節、信号のデジタル化を行う信号処理部である。ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は処理した信号を画像入力コントローラ２０３に出力する。画像入力コントローラ２０３は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２から出力された信号をＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２０９に格納する。また画像入力コントローラ２０３はＡＦ用像信号をＡＦ信号処理部２０４に出力する。

ＳＤＲＡＭ２０９から読み出された画像信号は、バス２１を介して表示制御部２０５に送られる。表示制御部２０５は表示部２０６に画像を表示する制御を行う。また撮像信号の記録を行うモード時には、記録媒体制御部２０７が画像信号を記録媒体２０８に記録する処理を行う。表示制御部２０５と記録媒体制御部２０７はバス２１に接続されている。

ＲＯＭ（リード・オンリ・メモリ）２１０はバス２１に接続されており、カメラ制御部２１２が実行する制御プログラムおよび制御に必要な各種データ等が記憶されている。フラッシュＲＯＭ２１１はバス２１に接続されており、ユーザ設定情報等のカメラ本体部２０の動作に関する各種設定情報等を記憶している。

ＡＦ信号処理部２０４はＡＦ用像信号を取得して画素加算、相関演算を行い、像ずれ量や信頼性情報を算出する。信頼性情報は、二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等である。ＡＦ信号処理部２０４は算出した像ずれ量と信頼性情報をカメラ制御部２１２へ出力する。カメラ制御部２１２は、取得した像ずれ量や信頼性情報に基づいて、これらを算出する設定の変更をＡＦ信号処理部２０４に通知する。例えばカメラ制御部２１２は、像ずれ量が大きい場合に相関演算を行う領域を広く設定する処理や、コントラスト情報に応じてバンドパスフィルタの特性を変更する処理等を行う。相関演算の詳細については、図７と図９から図１３を用いて後述する。

本実施形態では撮像信号および２つのＡＦ用像信号（像信号Ａと像信号Ｂ）、つまり合計３つの信号を撮像素子２０１から取り出しているが、この方法に限定されない。撮像素子２０１の負荷を考慮し、例えば撮像信号と一方のＡＦ用像信号を取り出し、画像入力コントローラ２０３内で撮像信号とＡＦ用像信号の差分を取る方法がある。例えば像信号「Ａ＋Ｂ」と像信号Ａを取得して、像信号「Ａ＋Ｂ」から像信号Ａを減算して像信号Ｂを取得することができる。

カメラ制御部２１２は、カメラ本体部２０内の処理だけでなく、カメラ操作部２１４からのユーザ操作入力に応じて各種のカメラ機能の動作を実行する。例えば、電源のＯＮ／ＯＦＦ、設定の変更、静止画／動画記録の開始、ＡＦ制御の開始、記録映像の確認等の処理が実行される。また、カメラ制御部２１２は、レンズ装置１０のレンズ制御部１０６と情報を送受し合う。カメラ制御部２１２は可動レンズの制御命令や制御情報をレンズ制御部１０６へ送信し、またレンズ制御部１０６からレンズ装置１０の情報を取得する。

カメラ操作部２１４はユーザが操作する各種のスイッチやボタン類を備える。例えば、レリーズスイッチは、押し込み量に応じて第１スイッチ（ＳＷ１）および第２スイッチ（ＳＷ２）が順にオン状態となる２段階のスイッチである。レリーズスイッチを約半分押し込んだときにＳＷ１がオンし、レリーズスイッチを最後まで押し込んだときにＳＷ２がオンする。

次に、図１のカメラ本体部２０における基本的な動作について説明する。図３はカメラ本体部２０の撮影処理の手順を示すフローチャートである。
Ｓ３０１ではカメラ本体部２０の初期化処理が実行され、Ｓ３０２へ進む。Ｓ３０２でカメラ制御部２１２は撮影モードを判断する。撮影モードとして、静止画撮影モード、ライブビュー静止画撮影モード、動画撮影モードを例示する。判断結果が静止画撮影モードである場合にＳ３０３へ進み、ライブビュー静止画撮影モードである場合にＳ３０４へ進み、動画撮影モードである場合にＳ３０５へ進む。

Ｓ３０３では静止画撮影処理が行われ、Ｓ３０４ではライブビュー静止画撮影処理が行われ、Ｓ３０５では動画撮影処理が行われる。Ｓ３０３、Ｓ３０４、Ｓ３０５の各処理の詳細については後述する。Ｓ３０３、Ｓ３０４、またはＳ３０５の処理後、Ｓ３０６に処理を進める。

Ｓ３０６でカメラ制御部２１２は、撮影処理が停止されていないかどうかを判断する。撮影処理が停止されていないときにはＳ３０７へ進み、停止されたときには撮影処理を終了する。撮影処理が停止されたときとは、カメラの電源が切断されたときや、カメラのユーザ設定処理、撮像された静止画像や動画像の確認のための再生処理等のように、撮影以外の動作が行われたときである。

Ｓ３０７でカメラ制御部２１２は、撮影モードが変更されたかどうかを判断する。撮影モードが変更された場合、Ｓ３０１へ処理を戻し、初期化処理後に変更された撮影モードの処理が実行される。また撮影モードが変更されていない場合にはＳ３０２へ処理を戻し、現在の撮影モードの処理を継行する。

図４を参照して、図３のＳ３０３の静止画撮影処理について説明する。
Ｓ４０１でカメラ制御部２１２は、カメラ操作部２１４のレリーズスイッチの第１スイッチＳＷ１がオン操作されたかどうかを判別する。ＳＷ１がオン操作された場合、Ｓ４０２に処理を進める。ＳＷ１がオン操作されるまでＳ４０１の処理が繰り返されて待機処理を続ける。

Ｓ４０２にてカメラ制御部２１２はフォーカルプレーンシャッタ２５８を開く制御を行う。Ｓ４０３で測光処理が行われる。被写体からの光束はレンズ装置１０を通過し、可動ミラー２５２で反射した後、ペンタプリズム２５１を通過して不図示の測光回路に到達し、測光処理が行われる。あるいはレンズ装置１０を通って可動ミラー２５２を透過し、撮像素子２０１に到達した光を測光する方法でもよい。

Ｓ４０４で焦点検出処理が行われる。カメラ制御部２１２およびＡＦ信号処理部２０４は、図１の撮像素子２０１の焦点検出画素を用いて焦点検出処理を行う。撮像面位相差検出によってデフォーカス情報を取得する処理の詳細については、図７を用いて後述する。

Ｓ４０５でカメラ制御部２１２は、Ｓ４０４の焦点検出結果に基づき、レンズ制御部１０６にレンズ駆動量の信号を送信する。レンズ制御部１０６は送信されたレンズ駆動量の信号に基づいてフォーカスレンズ駆動部１０５を制御する。フォーカスレンズ駆動部１０５はフォーカスレンズ１０３を合焦位置へ移動させる。

Ｓ４０６でカメラ制御部２１２は、カメラ操作部２１４のレリーズスイッチの第２スイッチＳＷ２がオン操作されたかどうかを判別する。ＳＷ２がオン操作された場合、Ｓ４０７へ処理を進める。ＳＷ２がオン操作されるまでＳ４０６の処理が繰り返されて待機処理を続ける。

Ｓ４０７でカメラ制御部２１２は、可動ミラー２５２を制御してミラーアップ状態とする。Ｓ４０８でカメラ制御部２１２は、Ｓ４０３での測光結果に基づく絞り値情報をレンズ制御部１０６へ送信する。レンズ制御部１０６は絞り駆動部１０４を制御して、設定された絞り値まで絞り込みが行われる。Ｓ４０９でカメラ制御部２１２はフォーカルプレーンシャッタ２５８を再度開く制御を行う。すでにフォーカルプレーンシャッタ２５８は開いた状態であるため、いったん閉じて撮像素子２０１を蓄積開始してから再度開く動作が行われる。あるいは、フォーカルプレーンシャッタ２５８を、Ｓ４１０で閉じる予定の後幕と同じ速度タイミングカーブで制御し、撮像素子２０１の各ラインをリセット解除して蓄積開始することで、電子的にシャッタを開ける制御を行ってもよい。これは、いわゆる電子先幕シャッタといわれる公知技術である。

Ｓ４１０でカメラ制御部２１２はフォーカルプレーンシャッタ２５８を閉じて、次回の動作に備えてフォーカルプレーンシャッタ２５８のチャージ動作を行う。所定時間が経過した後、Ｓ４１１でカメラ制御部２１２は画像入力コントローラ２０３に対して撮像素子２０１から画像信号を読み出し、静止画を取得する。Ｓ４１２でカメラ制御部２１２は、キズ補正、現像処理、ホワイトバランス調整、画像圧縮等の各種画像処理を行う。

Ｓ４１３ではカメラ制御部２１２はレンズ制御部１０６へ絞りを開放するよう指示する。レンズ制御部１０６は絞り駆動部１０４を制御して絞りを開放する。Ｓ４１４でカメラ制御部２１２は可動ミラー２５２を駆動制御し、ミラーダウン状態とする。Ｓ４１５で記録媒体制御部２０７は、読み出された画像信号を記録媒体２０８へ記録する処理を行う。記録処理の詳細については、図１４を用いて後述する。

図５を参照して、図３のＳ３０４のライブビュー静止画撮影処理について説明する。
図５のＳ１４０２、Ｓ１４０４からＳ１４０６の処理は、図４のＳ４０２からＳ４０５の各処理と同様であり、図５のＳ１４０８からＳ１４１５の処理は、図４のＳ４０８からＳ４１５の各処理と同様である。よって、以下では主に相違点を説明する。

Ｓ１４０１でカメラ制御部２１２は可動ミラー２５２を駆動制御し、ペンタプリズム２５１側にアップした状態にする。Ｓ１４０２でフォーカルプレーンシャッタ２５８が開いて、Ｓ１４０３に進む。Ｓ１４０３でカメラ制御部２１２は撮像素子２０１に結像した光像から光電変換された画像信号の画像処理を行う。表示制御部２０５は表示部２０６に画像を表示することで、ライブビュー表示が行われる。

Ｓ１４０４での測光結果にしたがい、絞り値、シャッタ速度、撮像素子のセンサゲインを用いて適正露出制御が行われる。Ｓ１４０５の焦点検出処理の詳細については図７を用いて後述する。Ｓ１４０６でレンズ駆動量に基づきフォーカスレンズの駆動制御が行われてＳ１４０７に進む。Ｓ１４０７でカメラ制御部２１２は、レリーズスイッチの第２スイッチＳＷ２がオン操作されたかどうかを判別する。ＳＷ２がオン操作された場合、Ｓ１４０８へ移行する。またＳＷ２がオン操作されていない場合、Ｓ１４０３に移行してライブビュー表示を続行する。

Ｓ１４０８でカメラ制御部２１２は、焦点検出結果による絞り値情報をレンズ制御部１０６へ送信する。レンズ制御部１０６は絞り駆動部１０４を制御し、設定された絞り値まで絞り込みが行われる。そしてＳ１４０９からＳ１４１５の処理が実行される。Ｓ１４１５の記録処理の詳細については図１４を用いて後述する。

次に図６を参照して、図３のＳ３０５の動画撮影処理について説明する。
Ｓ５０１でカメラ制御部２１２は可動ミラー２５２を駆動制御し、ペンタプリズム２５１側にアップした状態にする。Ｓ５０２でカメラ制御部２１２はフォーカルプレーンシャッタ２５８を開く。これでレンズ装置１０を通過した光束は撮像素子２０１に到達可能な状態となる。

Ｓ５０３でカメラ制御部２１２は、カメラ操作部２１４の動画記録スイッチの操作状態を判定する。動画記録スイッチがオン操作された場合、Ｓ５０４に処理を進める。動画記録スイッチがオン操作されていない場合にはライブビュー表示のままで、Ｓ５０３の処理が繰り返されて待機処理を続ける。

Ｓ５０４で動画情報の記録処理が行われる。Ｓ５０５でカメラ制御部２１２は焦点検出処理を行う。その詳細については図７を用いて後述する。Ｓ５０６ではＡＦ処理が実行され、Ｓ５０５で検出されたデフォーカス量に基づいてフォーカスレンズ１０３の駆動が行われる。Ｓ５０７でカメラ制御部２１２は動画記録スイッチの操作状態を判定する。動画記録スイッチがオフ操作された場合、Ｓ５０８へ進み、動画記録スイッチがオフ操作されていない場合にはＳ５０４へ戻り、動画記録を続行する。Ｓ５０８ではカメラ制御部２１２は動画記録を終了し、フォーカルプレーンシャッタ２５８を閉じる。Ｓ５０９でカメラ制御部２１２は可動ミラー２５２を駆動制御し、ミラーダウン状態にする。

図７および図８を参照して、撮像面位相差ＡＦ機能を用いた焦点検出について詳細に説明する。図７は、カメラ制御部２１２およびＡＦ信号処理部２０４による焦点検出処理の流れを示すフローチャートである。図８は撮像素子２０１における焦点検出可能な測定位置（測距点）の配置例を示す。図８では撮像素子２０１で撮像可能な画素部分７１０にて、複数の枠７１１を示している。枠７１１はそれぞれ、撮像面位相差ＡＦ機能を用いて焦点検出可能な焦点検出位置を示す。本実施形態ではユーザの利便性を考慮して３１枠を例示する。撮像素子２０１により撮像された画像にしたがって、動画撮影モードでは表示部２０６の表示画面に動画像が表示される。その際、焦点検出位置を表示する場合には複数の枠７１１が表示部２０６の表示画面に合わせて表示される。

図７のＳ６０１では、撮影者が任意に設定した焦点検出範囲から像信号を取得する処理が行われる。Ｓ６０２では、取得された像信号の加算処理が行われる。Ｓ６０１およびＳ６０２の詳細については図９を用いて後述する。Ｓ６０３では、Ｓ６０２で加算された像信号のシェーディング補正処理が行われる。シェーディング補正処理については図１０を用いて後述する。

Ｓ６０４では像信号から相関量が算出される。算出処理の詳細については図１２を用いて後述する。Ｓ６０５では、Ｓ６０４で算出された相関量から相関変化量が算出される。Ｓ６０６では、Ｓ６０５で算出された相関変化量からピントずれ量が算出される。Ｓ６０５およびＳ６０６の算出処理の詳細については図１３を用いて後述する。これらの処理は、焦点検出領域の数だけ行われる。Ｓ６０７で焦点検出領域ごとにピントずれ量をデフォーカス量に変換する処理が行われた後、焦点検出処理を終了する。

図９は、焦点検出処理で取り扱う焦点検出範囲、つまり像信号を取得する領域の一例を表した図である。左右方向をｘ軸方向とし、上下方向をｙ軸方向と定義する。図９（Ａ）は撮像素子２０１の画素アレイ上の焦点検出範囲を示す。画素アレイ１５０１にて、焦点検出範囲１５０２を例示する。相関演算に必要なシフト領域１５０３を併せて示す。領域１５０４は焦点検出範囲１５０２で示す領域とシフト領域１５０３を合わせた領域であり、相関演算を行う為に必要な領域である。ｘ軸方向の座標を図中のｐ、ｑ、ｓ、ｔでそれぞれ表す。座標ｐからｑまでの範囲が領域１５０４を表し、座標ｓからｔまでの範囲が焦点検出範囲１５０２である。各領域のｙ軸方向の高さについては、説明をわかりやすくするため、１ライン分とする。領域１５１１で示すように複数のライン分のエリアについて焦点検出を行う場合には、事前に画素信号を縦方向に加算する処理が行われる（図７：Ｓ６０２）。相関量の加算処理については後述する。

図９（Ｂ）は、焦点検出範囲１５０２を５つに分割した場合を例示する図である。一例として、本実施形態では、分割された焦点検出領域を単位としてピントずれ量を算出し、焦点検出を行うものとして説明する。焦点検出範囲１５０２を５分割した場合の各焦点検出領域を領域１５０５から１５０９で示す。複数の焦点検出領域の中から最も信頼できる領域での焦点検出結果が選択され、当該領域で算出したピントずれ量が用いられる。分割によって、図８の各焦点検出領域に割り当ててもよいし、各分割領域を必要な長さに連結することによって視野長を調整することもできる。

図９（Ｃ）は、図９（Ｂ）の焦点検出領域１５０５から１５０９を連結した場合の、仮の焦点検出領域１５１０を示す図である。つまり、焦点検出領域１５１０は、焦点検出領域１５０５から１５０９を連結した領域であり、複数の焦点検出領域を連結した領域から算出したピントずれ量が用いられる。

図８で示した焦点検出枠に合わせて焦点検出処理が実行される。例えば、図９（Ｃ）に示す領域１５１１は、図８の左上に示す最初の焦点検出枠７１１に対応する。なお、焦点検出領域の配置の仕方、領域の大きさ等について、本実施形態の例に限られるものではなく、本発明の要旨を逸脱しない範囲で変更可能である。

図１０を参照して、図９で設定した焦点検出領域から取得した像信号に対するシェーディング補正処理について説明する。図１０（Ａ）は画像例を示し、ライン９０１から画像信号が取り出されるものとする。左右方向をＸ軸方向とし、上下方向をＹ軸方向と定義する。図１０（Ｂ）は、ライン９０１上でのＸ座標に対応する輝度分布９０２を例示する。横軸はＸ座標を表し、縦軸は輝度を表す。像信号Ａと像信号Ｂとの加算結果を、輝度分布９０２のグラフで示す。

図１０（Ｃ）は、像信号Ａと像信号Ｂの輝度分布を例示する。横軸はＸ座標を表し、縦軸は輝度を表す。マイクロレンズに対応する各画素は、図２で説明したように分割されており、左右の像高によって入射光量が変わる。像信号Ａについて輝度分布９０３Ａのグラフで示し、像信号Ｂについて輝度分布９０３Ｂのグラフで示している。このようなシェーディングが発生して輝度分布に影響があると、後述する相関演算の精度が低下する可能性がある。そこでシェーディング補正が行われる。また像信号Ａ、像信号Ｂを取得した後に、ＰＣ等の外部機器で使用する際にも、以下のシェーディング補正を行うことで利用しやすくなる。

図１１は、シェーディング補正値がカメラ制御部２１２にどのように記録されているかを示す図である。図１１（Ａ）は像高を３×３に９分割した例を示す。シェーディング補正値は像高によって変わるため像高に応じた分のデータが必要である。つまり、この例では像高１から像高９にて撮像素子２０１に対応する補正値が各別に保持される。この場合、隣接する像高の間でシェーディング補正値はつながっていることが必要である。

図１１（Ｂ）は補正値テーブルの構成例を示す。補正値Ａは像信号Ａに対応し、補正値Ｂは像信号Ｂに対応する。つまり、シェーディング補正値は、像信号Ａと像信号Ｂでそれぞれ異なるので、別個に使用する必要がある。また図１１（Ａ）で示したように像高によって補正値が変化することから、像高１から像高９にそれぞれ対応する補正値が各別に保持される。さらには、シェーディング補正値は絞り１０２のＦ値（絞り値）や、レンズ装置１０の射出瞳距離ＰＯ値によっても変わるので、その分についてすべて保持しておくことが必要である。レンズ交換式カメラシステムでは、カメラ本体部２０に装着されるレンズ装置１０に応じてシェーディング補正値が選択される。

具体的には、シェーディング補正値は下記式で表される。
Ｃ０：０次の補正定数
Ｃｎ：ｎ次の補正係数（ｎ：自然数）
Ｚ：実際の画像に対する補正値
Ｘ：画像上のＸ座標
Ｚ＝Ｃ０＋Ｃ１・Ｘ（１）
（１）式は補正値を１次式で表しているが、これは例示である。下記の２次式、
Ｚ＝Ｃ０＋Ｃ１・Ｘ＋Ｃ２・Ｘ＾２（２）
あるいは、さらに高次の式で表してもよく、像高間を滑らかにつなぐことができる。

図１１（Ｂ）に例示する補正値テーブルに関して分解能は有限であり、詳細な補正情報を保持するほどデータ量が膨大になることに留意すべきである。そこで補間処理等が行われる。像高に関しては滑らかにつなぐことができればよいが、Ｆ値、ＰＯ値に関しては、中間的なＦ値、ＰＯ値を下記式で補間演算して係数を求めることができる。
Ｆ：実際のＦ値
Ｆａ：テーブルに保持されている、開放側に隣接するＦ値
Ｆｃ：テーブルに保持されている、絞る側に隣接するＦ値
ＰＯ：実際のＰＯ値
ＰＯａ：テーブルに保持されている、小さい側に隣接するＰＯ値
ＰＯｂ：テーブルに保持されている、大きい側に隣接するＰＯ値
Ｃ０ａ：Ｆａ、ＰＯａでの補正値（テーブル値）
Ｃ０ｂ：Ｆａ、ＰＯｂでの補正値（テーブル値）
Ｃ０ｃ：Ｆｃ、ＰＯａでの補正値（テーブル値）
Ｃ０ｄ：Ｆｃ、ＰＯｂでの補正値（テーブル値）
とするとき、
Ｆｒ＝（Ｆｃ−Ｆ）／（Ｆｃ−Ｆａ）（３）
ＰＯｒ＝（ＰＯｂ−ＰＯ）／（ＰＯｂ−ＰＯａ）（４）
とおくと、０次の補正定数Ｃ０を求める式は、
Ｃ０＝Ｃ０ａ＋Ｆｒ・（Ｃ０ｃ―Ｃ０ａ）＋ＰＯｒ・（Ｃ０ｂ−Ｃ０ａ）＋Ｆｒ・ＰＯｒ・（Ｃ０ａ−Ｃ０ｂ−Ｃ０ｃ＋Ｃ０ｄ）（５）
となる。１次の補正係数Ｃ１についても同様に計算することができる。

シェーディング補正処理では、図１０（Ｃ）に示す特性に対して逆変換となるパラメータが用意される。以下では、像中のＸ座標に関し、像信号Ａ用の補正値をＺａと表記し、像信号Ｂ用の補正値をＺｂと表記する。各補正値は下記式で表される。
Ｚａ＝Ｃ０ａ＋Ｃ１ａ・Ｘ（６）
Ｚｂ＝Ｃ０ｂ＋Ｃ１ｂ・Ｘ（７）
Ｃ０ａ、Ｃ０ｂはそれぞれ、像信号Ａ用、像信号Ｂ用の０次の補正定数である。Ｃ１ａ、Ｃ１ｂはそれぞれ、像信号Ａ用、像信号Ｂ用の１次の補正係数である。

図１０（Ｄ）にグラフ線を例示する。横軸はＸ座標を表し、縦軸は補正値を表す。グラフ線９０４Ａは補正値Ｚａを示し、Ｘ座標値の増加につれて補正値が増加する。グラフ線９０４Ｂは補正値Ｚｂを示し、Ｘ座標値の増加につれて補正値が減少する。補正値Ｚａを図１０（Ｃ）に示す輝度分布９０３Ａに対して乗算し、また補正値Ｚｂを図１０（Ｃ）に示す輝度分布９０３Ｂに対して乗算する処理が行われる。これにより、像信号Ａと像信号Ｂはいずれも、図１０（Ｂ）に示す輝度分布９０２に近い像信号となるように補正される。図１０（Ｄ）のグラフ線９０４Ａと９０４Ｂに例示する補正値のデータは、撮像素子２０１のフォトセンサの特性に応じて、図１１（Ｂ）の補正値テーブルとして用意される。工場での個体ごとに調整値として補正値テーブルデータをカメラ本体部２０の記憶部に保持してもよい。

図１２を参照して、シェーディング補正後の像信号を用いた相関量の算出処理について説明する。図１２は、図９で設定された焦点検出領域から取得した後、図１０で説明したシェーディング補正を行った後の像信号を例示する。横方向にＸ座標を示し、縦方向に像信号のレベルを示す。図９と同様に、焦点検出範囲をｓからｔで表す。ｐからｑで示す範囲は、シフト量を踏まえた焦点検出演算に必要な範囲である。またｘからｙで示す範囲は、分割された１個分の焦点検出領域を表す。図９と同様に５分割された各焦点検出領域１５０５から１５０９を例示する。

図１２（Ａ）は、シフト処理前の像信号を表した波形図である。実線１６０１は像信号Ａを表し、破線１６０２は像信号Ｂを表す。図１２（Ｂ）は、図１２（Ａ）に示す像信号波形に対し、プラス方向にシフトした場合の図である。また図１２（Ｃ）は、図１２（Ａ）に示す像信号波形に対し、マイナス方向にシフトした場合の図である。相関量を算出する際には、それぞれ矢印の方向に像信号波形（１６０１、１６０２参照）を１ビットずつシフトさせる処理が行われ、続いて相関量（ＣＯＲと記す）が算出される。

まず、像信号Ａと像信号Ｂを１ビットずつシフトしていき、その時の像信号Ａと像信号Ｂとの差分の絶対値の和が算出される。シフト数を整数の変数ｉで表し、Ｘ軸方向の位置変数ｋを用いて像信号ＡをＡ［ｋ］、像信号ＢをＢ［ｋ］と表記する。最小シフト数は、図１２中の「ｐ−ｓ」であり、最大シフト数は図１２中の「ｑ−ｔ」である。またｘは焦点検出領域の開始座標であり、ｙは焦点検出領域の終了座標である。シフト数ｉでの相関量ＣＯＲ［ｉ］は、下記式（８）によって算出することができる。

さらに、ここで縦方向に加算してもよい。図９では画素信号を縦方向に加算する例について説明した。それ以外の例としてここでは、図９（Ｃ）の領域１５１０について相関量ＣＯＲ［ｉ］が算出された場合を想定する。実際に焦点検出したい領域が領域１５１１であった場合、ラインごとに相関量ＣＯＲ［ｉ］を算出して、それらを加算する処理が行われる。加算処理後の相関量を用いて以下の処理に移行する。

図１３を参照して、相関変化量、ピントずれ量の算出処理を説明する。図１３（Ａ）は相関量を例示する波形図である。横方向にシフト数ｉを示し、縦方向に相関量を示す。グラフ線１７０１は相関量波形を表し、範囲１７０２、１７０３は極値周辺を示している。この中で相関量が小さい方ほど、Ａ像とＢ像の一致度が高いものとする。具体的には範囲１７０２の方が、範囲１７０３よりもＡ像とＢ像の一致度が高い。続いて相関変化量（ΔＣＯＲと記す）の算出法について説明する。

まず、図１３（Ａ）の相関量波形から、１つおきのシフト間隔での相関量の差から相関変化量ΔＣＯＲが算出される。シフト数ｉ、最小シフト数「ｐ−ｓ」、最大シフト数「ｑ−ｔ」として、下記式（９）によって相関変化量ΔＣＯＲ［ｉ］が算出される。

図１３（Ｂ）は相関変化量ΔＣＯＲを例示する波形図である。横方向にシフト数ｉを示し、縦方向に相関変化量ΔＣＯＲを示す。グラフ線１８０１は相関変化量波形を表し、範囲１８０２、１８０３では相関変化量ΔＣＯＲがプラスからマイナスに変化している。相関変化量ΔＣＯＲが０となる位置をゼロクロス点と呼ぶ。範囲１８０２内のゼロクロス点において、Ａ像とＢ像の一致度が最も高く、その時のシフト量がピントずれ量となる。ゼロクロス点に対応するシフト量は実数値である。

図１３（Ｃ）は、図１３（Ｂ）の範囲１８０２を拡大して示す図であり、グラフ線１９０１は相関変化量ΔＣＯＲを示すグラフ線１８０１の一部分である。この図を用いて、ピントずれ量（ＰＲＤと記す）の算出法について説明する。

ピントずれ量ＰＲＤは、整数部分βと小数部分αに分けられる。横軸（ｉ軸）上のｋ−１での相関変化量をＡ点で表し、ｋでの相関変化量をＥ点で表す。Ｂ点はＡ点から横軸への垂線の足を表す。点Ｃは線分ＡＥと横軸との交点であり、その横軸上の座標はｋ−１＋αである。点Ｄは、点Ｅから、点Ａおよび点Ｂを通る直線への垂線の足を表し、その横軸上の座標はｋ−１である。小数部分αは、図中の三角形ＡＢＣと三角形ＡＤＥとの相似関係から、下記式（１０）によって算出することができる。

整数部分βは、図１３（Ｃ）中の点Ｃから、下記式（１１）によって算出できる。
β＝ｋ−１（１１）

以上により、αとβの和からピントずれ量ＰＲＤが算出される。ＰＲＤからレンズ駆動量を算出するには、係数を乗算してデフォーカス量にする必要がある。この係数はカメラシステムやレンズに依存する変換係数であり、既知の方法により決定される。

次に図１４を参照して、図４のＳ４１５に示す静止画の画像記録処理について説明する。
Ｓ８０１でカメラ制御部２１２は、現在の画像記録モードを判断する。画像記録モードとして２種類のモードを例示して説明する。第１の記録モードは通常の圧縮された画像信号の記録モードであり、この場合、Ｓ８０２に移行する。Ｓ８０２では、それぞれの画素の像信号Ａと像信号Ｂを加算し、図２に示すベイヤー配列での画像信号として扱い、現像処理、ＪＰＥＧ方式等の圧縮処理が行われて、ファイルに記録する処理が実行される。ＪＰＥＧは“Joint Photographic Experts Group”の略号である。

一方、第２の記録モードは、画像加工前のＲＡＷデータを記録するＲＡＷ記録モードであり、この場合にはＳ８１１に進む。記録媒体制御部２０７はＳ８１１で像信号Ａの記録処理を行い、Ｓ８１２で像信号Ｂの記録処理を行う。像信号Ａと像信号Ｂについては現像処理や、不可逆圧縮を行わずにそのまま記録媒体２０８へファイルとして出力される。図１５を参照して具体例を説明する。

図１５は、ファイルに保存される像信号の構成を例示する。このファイルは記録媒体制御部２０７が記録媒体２０８に書き込むファイルである。図１５（Ａ）は像信号Ａと像信号Ｂ、シェーディング補正の補正値Ａと補正値Ｂを１つのファイルにまとめて保存する例を示す。また図１５（Ｂ）は像信号Ａと像信号Ｂを第１のファイルに保存し、シェーディング補正の補正値Ａ、補正値Ｂを第２のファイルに保存する例を示す。

図１５（Ｂ）の場合、２つのファイルの関連がわかっていないとファイル保存後にＰＣ等で画像処理する際に問題がある。そこで以下の実施例がある。
・例１
以下のように２つのファイル名のベース部分を同一にし、拡張子で区別する方法。
ＤＳＣ０００１．ＲＡＷ：像信号Ａおよび像信号Ｂの情報を含むファイル
ＤＳＣ０００１．ＳＨＤ：補正値Ａおよび補正値Ｂの情報を含むファイル
・例２
像信号Ａおよび像信号Ｂを記録した第１のファイルに、補正値Ａおよび補正値Ｂを記録した第２のファイルのファイル名を格納する方法。または、像信号Ａおよび像信号Ｂを記録した第１のファイルのファイル名を、補正値Ａおよび補正値Ｂを記録した第２のファイルに格納する方法。
・例３
像信号Ａおよび像信号Ｂを記録した第１のファイルのファイル名と、補正値Ａおよび補正値Ｂを記録した第２のファイルのファイル名の両方を保持するインデックスファイルを別に記録する方法。インデックスファイルは、例えばＤＳＣ０００１．ＲＡＷとＤＳＣ０００１．ＳＨＤの各ファイル名を含む第３のファイルである。

また図１５（Ｄ）は、像信号「Ａ＋Ｂ」と一方の像信号Ａを１つのファイルに記録する例を示す。例えば像信号「Ａ＋Ｂ」がファイルに記録され、次に像信号Ａがファイルに記録される。像信号Ｂは、利用者が必要とする際に事後処理にて像信号「Ａ＋Ｂ」から像信号Ａを減算することで生成可能である。シェーディング補正値については１つのファイルに保存してもよいし、別のファイルに保存してもよい。

図１４のＳ８１３で記録媒体制御部２０７は指定された像高の補正値Ａの記録処理を行い、Ｓ８１４では指定された像高の補正値Ｂの記録処理を行う。図１５（Ｃ）は、図１５（Ａ）のファイル構成１や、図１５（Ｂ）のファイル構成２に記した補正値Ａおよび補正値Ｂの構成を例示する。図１５（Ｃ）は、図１１で説明した補正値テーブルの構成を簡略化して示した図であるため、その詳細については説明を省略する。
Ｓ８１５は、すべての像高の補正値が記録されたか否かの判定処理である。図１１（Ａ）の構成であれば、９個分すべての像高の補正値がファイルに記録された場合、Ｓ８１６に処理を進める。まだ記録されていない補正値がある場合には、Ｓ８１３に移行して処理を続行する。

Ｓ８１６は、複数のファイルの記録において、ファイル関係を特定するための記録処理が実行される。この処理は、図１５（Ｂ）のように、像信号のファイルと補正値のファイルを別のファイルとして記録する場合に実行される。つまり、２つのファイルを関連付けるための情報やファイルを記録する処理が実行された後、静止画の画像記録処理を終了する。

本実施形態では、撮像面位相差ＡＦ処理を行う撮像装置において、図１４、図１５で説明した通り、像信号にシェーディング補正値を付加することにより、撮影時点でしかわからない補正値を取得できる。撮影後にシェーディング補正値を用いて、分割された瞳ごとの画像に対するシェーディング補正を行うことができる。図１１（Ｂ）に例示する補正値テーブルは必要な補正値のみを含むので、ファイルサイズを小さくすることが可能である。また、瞳分割された画像にそれぞれ対応するシェーディング補正値をファイルに保存する処理が行われる。図１０（Ｃ）に示す例のように、像信号Ａまたは像信号Ｂでは、片側が暗くなり、単体で画像として用いるには品位が低下する。像信号ごとの補正値を用いたシェーディング補正によって、像信号のみでもシェーディング補正された画像を充分に使用できる。この画像は、ステレオ写真、リフォーカス処理、ゴースト除去処理等で使用可能である。

本実施形態によれば、撮影時しかわからないレンズの絞り、焦点検出位置、射出瞳距離等の設定による補正値を取得して記録し、撮影後に、分割された瞳ごとの画像にシェーディング補正を行うことができる。

１０レンズ装置
２０カメラ本体部
１０２絞り
１０３フォーカスレンズ
１０６レンズ制御部
２０１撮像素子
２０４ＡＦ信号処理部
２０７記録媒体制御部
２０８記録媒体
２１２カメラ制御部

Claims

複数のマイクロレンズと、各マイクロレンズに第１の光電変換部および第２の光電変換部を含む複数の光電変換部が対応する撮像素子と、
前記第１の光電変換部の受光量に基づく第１の画像信号と、前記第１の光電変換部の受光量および前記第２の光電変換部の受光量に基づく第２の画像信号と、を生成する生成手段と、
前記生成手段によって生成された前記第１および第２の画像信号と、前記第１の画像信号を補正するための前記撮像素子固有の第１の補正パラメータと、前記第２の光電変換部の受光量に対応する第３の画像信号を補正するための前記撮像素子固有の第２の補正パラメータと、を関連づけてメモリに記録する記録制御手段と、
を有することを特徴とする撮像装置。
前記メモリには、複数の撮像条件に対応して前記第１および第２の補正パラメータがそれぞれ設定されたテーブルが記録されており、
前記記録制御手段は、
前記生成手段によって前記第１および第２の画像信号が生成されたとき、前記メモリに記録されたテーブルから、生成された画像信号の得られた撮像条件の前記第１および第２の補正パラメータを選択し、前記第１および第２の画像信号に関連づけて前記メモリに記録することを特徴とする請求項１に記載の撮像装置。
前記記録制御手段は、前記第１および第２の画像信号と、前記第１および第２の補正パラメータを含む１つのファイルを生成し、前記メモリに記録することを特徴とする請求項１に記載の撮像装置。
前記記録制御手段が生成する前記ファイルには前記第３の画像信号を含まないことを特徴とする請求項３に記載の撮像装置。
前記記録制御手段によって前記メモリに記録された前記第１および第２の補正パラメータは、画像信号に基づく画像内の複数の領域についてそれぞれ対応するパラメータが記録されていることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記第１の補正パラメータは、前記第１の画像信号におこる前記撮像素子固有の光量低下を補正するためのパラメータであり、前記第２の補正パラメータは、前記第３の画像信号におこる前記撮像素子固有の光量低下を補正するためのパラメータであることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
前記第１および第２の補正パラメータは、前記第１および第３の画像信号におこるシェーディングを補正するためのパラメータであることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記第１および第２の補正パラメータは、前記撮像素子、前記撮像素子に被写体からの光束を導く光学系の射出瞳距離およびＦ値に応じて決まることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
前記記録制御手段は、前記第２の画像信号を含み、前記第１の画像信号および前記第１および第２の補正パラメータを含まない画像ファイルを生成し、前記メモリに記録するモードをもつことを特徴とする請求項３に記載の撮像装置。
前記第１および第２の補正パラメータをそれぞれ用いて、前記第１の画像信号および前記第３の画像信号をそれぞれ補正する補正手段を有することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
前記補正手段によって前記第１および第２の補正パラメータを用いて補正された前記第１の画像信号および前記第３の画像信号を用いて相関演算により焦点検出を行い、検出結果に基づいて焦点調節を行う制御手段を備えることを特徴とする請求項１０に記載の撮像装置。
複数のマイクロレンズと、各マイクロレンズに複数の光電変換部が対応する撮像素子を有する撮像装置の制御方法であって、
生成手段が、前記複数の光電変換部のうち、第１の光電変換部の受光量に基づく第１の画像信号と、前記複数の光電変換部のうち、前記第１の光電変換部および前記第１の光電変換部と異なる第２の光電変換部の受光量に基づく第２の画像信号とを生成するステップと、
前記生成手段によって生成された前記第１および第２の画像信号と、前記第１の画像信号を補正するための前記撮像素子固有の第１の補正パラメータと、前記第２の光電変換部の受光量に基づく第３の画像信号を補正するための前記撮像素子固有の第２の補正パラメータと、を関連づけてメモリに記録するステップと、
を有することを特徴とする制御方法。