JP5982040B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は撮像面において位相差ＡＦが可能な撮像装置に関する。

デジタルカメラの特徴の一つとして、撮影した画像ファイル内に画像データとともに、撮影日時、露出制御値などのカメラ設定値、レンズ情報などの様々な撮影情報が記録可能となっていることが挙げられる。

例えば、撮影レンズの合焦動作に使用した焦点検出点を記録しておき、画像ファイルを再生する時にその画像に焦点検出点の位置を重ねて表示するデジタルカメラが提案されている（特許文献１参照）。

また、選択された複数の焦点検出点と、その焦点検出点における焦点検出データ（例えば、撮像面から被写体までの距離情報）を記録可能とした撮像装置が提案されている（特許文献２参照）。

これら焦点検出点や焦点検出データの情報は、ユーザーが意図した通りに被写体が撮影されているか否かの判断や、画像加工、画像の管理、検索など様々な用途に利用されている。

特開２００１−１２８０４４号公報（第５頁、図８） 特開２００５−１２３０７号公報（第１１頁、図９）

しかしながら特許文献１においては、合焦動作に使用した焦点検出点が分かるだけで、焦点検出データが分からないといった問題がある。

また特許文献２においては、記録画像ファイル内に記録された焦点検出データは、実際に画像が撮影された直前のデータのため、静止被写体の場合は問題とならないが、動体被写体の場合は焦点検出を行なってから撮影するまでのタイムラグ分、焦点検出データと画像が完全には一致しないため、焦点検出データが活用し難いといった問題がある。

そこで本発明は、上記の課題に鑑みてなされたものであり、画像が撮影された瞬間の焦点検出点及び焦点検出データを画像ファイルに記録し、そのデータをユーザーが利用可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮影レンズの全射出瞳領域のうちの一部である第１の射出瞳領域からの被写体像を光電変換する第１の画素群と、前記撮影レンズの全射出瞳領域のうちの一部である前記第１の射出瞳領域とは異なる第２の射出瞳領域からの被写体像を光電変換する第２の画素群と、前記撮影レンズの少なくとも前記第１の射出瞳領域及び前記第２の射出瞳領域を含む射出瞳領域からの被写体像を光電変換する撮像用の第３の画素群とを有する撮像素子と、前記第１の画素群から得られる第１の像信号と前記第２の画素群から得られる第２の像信号とを用いて前記撮影レンズの焦点情報の検出を行なう焦点検出手段と、前記撮像素子の前記第３の画素群により光電変換され撮像された画素データと、前記第１の画素群と第２の画素群の各画素に対応する位置の画素データであって該各画素の周囲の前記第３の画素群の画素データで補間して生成された画素データと、を含む撮像データを、記録して保存するための画像ファイルに変換する画像処理手段と、前記第１の画素群、第２の画素群により光電変換され検出された検出データを記録するデータ記録手段とを備え、前記記録手段は、前記画像ファイルから焦点情報を取得可能なように当該画像ファイル内に前記第１の画素群、第２の画素群により光電変換されたデータを前記検出データとして記録する第１のモードと、前記第１の画素群、第２の画素群により光電変換されたデータを用いて測距演算を行った結果を前記検出データとして前記画像ファイル内に記録する第２のモードとを有することを特徴とする。

本発明によれば、画像が撮影された瞬間の焦点検出点及び焦点検出データを画像ファイルに記録し、そのデータをユーザーが利用することが可能となる。

ファインダー観察時の第１の実施形態のデジタルカメラの断面図である。 ライブビュー及び撮影時の第１の実施形態のデジタルカメラの断面図である。 図１に示すデジタルカメラの制御系のブロック図である。 図１に示す撮像素子に使用される撮像用画素の構造を説明する図である。 図１に示す撮像素子に使用される焦点検出用画素の構造を説明する図である。 図１に示す撮像素子に使用される他の焦点検出用画素の構造を説明する図である。 図１に示す撮像素子の最小単位の画素配列の説明図である。 図１に示す撮像素子の上位単位の画素配列の説明図である。 図１に示す撮像素子の全領域における画素配列の説明図である。 横ずれ焦点検出時の画素グループ化方法の説明図である。 横ずれ焦点検出時の画像サンプリング特性の説明図である。 縦ずれ焦点検出時の画素グループ化方法の説明図である。 縦ずれ焦点検出時の画像サンプリング特性の説明図である。 図１に示す撮像素子の瞳分割状況を説明する概念図である。 ライブビュー時のＡＦ動作の説明図である。 Ｅｘｉｆ圧縮形式の画像ファイルフォーマット構造を示す図である。 ＲＡＷデータ形式の画像ファイルフォーマット構造を示す図である。 図１に示すデジタルカメラの基本動作を示すフローチャートである。 図１８に示す通常撮影ルーチンの詳細を説明するフローチャートである。 図１８に示すＡＦ画素信号記録ルーチンの詳細を説明するフローチャートである。 図１８に示すライブビュー表示ルーチンの詳細を説明するフローチャートである。 図１８に示す撮像面位相差ＡＦルーチンの詳細を説明するフローチャートである。 図１８に示すライブビュー撮影ルーチンの詳細を説明するフローチャートである。 図１に示すデジタルカメラの画像再生時のフローチャートである。 図１に示すデジタルカメラの液晶モニタでの画像再生時を示す図である。 画像処理装置におけるＲＡＷファイル処理ソフトの基本動作を示すメインフローチャートである。 画像処理装置のディスプレイにＲＡＷファイル処理ソフトが表示された状態を示す図である。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１及び図２は本発明の撮像装置の第１の実施形態であるデジタル一眼レフカメラの断面図である。

１はカメラ本体、２は後述の撮影レンズ３をカメラ本体１に着脱可能とするためのマウントであり、各種信号を通信したり、駆動電源を供給したりするためのインターフェース部を有する。３は交換可能な撮影レンズであり、内部にフォーカスレンズ群やズームレンズ群、不図示の絞り装置を有している。図１及び図２では、各レンズ群を便宜上１枚のレンズで図示しており、例えば、フォーカスレンズ群をフォーカスレンズ３ａとして示している。しかし、実際には多数のレンズにより複雑なレンズ群の組み合わせで構成されている。なお、図１及び図２はフォーカスレンズ３ａを撮影レンズ３の前側のレンズに限定する趣旨ではない。

４はハーフミラーで構成された主ミラーであり、カメラの動作状態に応じて回動可能となっている。主ミラー４は、被写体をファインダーで観察する時は撮影光路へ斜設され、撮影レンズ３からの光束を折り曲げて後述のファインダー光学系へ導く（図１）。主ミラー４は、撮影時やライブビュー時は撮影光路から退避して、撮影レンズ３からの光束を後述の撮像素子６へ導く（図２）。５は撮影レンズ３からの光束を後述の撮像素子６に入射制御するためのシャッターで、通常は閉じた状態（図１）で、撮影時やライブビュー時に開いた状態（図２）となる。

６はＣＭＯＳイメージセンサとその周辺回路で構成された撮像素子である。撮像素子６は、全画素独立出力が可能なように構成されている。また一部の画素が焦点検出用画素となっており、撮像面で位相差検出方式の焦点検出（位相差ＡＦ）が可能となっている。より具体的には、撮像素子６は、被写体の像を形成する撮影レンズ３の射出瞳（後述するＥＰ）の全域を通る光を各々が受光して被写体の像を生成する複数の撮影用画素を有する。また、撮像素子６は、各々が撮影レンズ３の射出瞳ＥＰの一部の領域（後述するＥＰＨＡ及びＥＰＨＢ）を通る光を受光する複数の焦点検出用画素を更に有する。複数の焦点検出用画素は全体として撮影レンズ３の射出瞳の全域を通る光を受光することができる。

７は主ミラー４とともに回動するサブミラーであり、主ミラー４が撮影光路へ斜設されている時に主ミラー４を透過した光束を後述のＡＦセンサ８に向かって折り曲げてＡＦセンサ８へ導く（図１）。サブミラー７は、撮影時やライブビュー時は主ミラー４と共に回動して撮影光路から退避する（図２）。サブミラー７はハーフミラーではなく撮像素子６を遮光する。８はＡＦセンサであり、２次結像レンズや複数のＣＣＤ又はＣＭＯＳからなるエリアセンサ等から構成されており、位相差ＡＦが可能となっている。

９は撮影レンズ３の一次結像面に配置されたピント板であり、入射面にはフレネルレンズ（集光レンズ）が設けられ、射出面には被写体像（ファインダー像）が結像している。１０はファインダー光路変更用のペンタプリズムであり、ピント板９の射出面に結像した被写体像を正立正像に変換する。１１、１２は接眼レンズである。ここで、ピント板９、ペンタプリズム１０、接眼レンズ１１、１２により構成されている光学系をファインダー光学系と称する。

１３は自動露光（ＡＥ）センサであり、多分割された撮像領域内の各領域に対応したフォトダイオードから構成されており、ピント板９の射出面に結像した被写体像の輝度を測定する。１４は撮影した画像や各種の撮影情報を表示する液晶モニタ（表示部）である。液晶モニタ１４は、ライブビューモード時に撮像素子６が撮像した被写体の像（被写体像）を表示すると共に後述するＡＦ枠設定部としてのマルチコントローラ３３が設定可能なＡＦ枠とマルチコントローラ３３が設定したＡＦ枠を表示する。

図３はデジタル一眼レフカメラの制御系のブロック図である。

２０はカメラ部の制御とカメラ全体の制御を行うマイクロコンピュータ（中央処理装置；以下、「ＭＰＵ」と称す）である。ＭＰＵ（制御部）２０は、後述する枠設定部であるマルチコントローラ３３が設定したＡＦ枠の焦点検出用画素の出力信号を演算することによってＡＦ枠に対して位相差ＡＦを行って焦点検出枠の焦点ずれ量を算出する。

２１は画像データの各種制御を行うメモリコントローラ、２２は各種制御を行うための設定、調整データ等を格納しているＥＥＰＲＯＭである。２３は撮影レンズ３内にあるレンズ制御回路であり、マウント２を介してＭＰＵ２０と接続されており、後述の各情報に基づいて不図示のフォーカスレンズ群の焦点調節（合焦駆動）や不図示の絞り駆動を行う。

２４は焦点検出回路であり、ＡＦセンサ８のエリアセンサの蓄積制御と読み出し制御とを行って、各焦点検出点の画素情報をＭＰＵ２０に出力する。ＭＰＵ２０は各焦点検出点の画素情報を用いて周知の位相差ＡＦを行い、検出した焦点検出情報をレンズ制御回路２３へ送出して不図示のフォーカスレンズ群の焦点調節を行う。この焦点検出から焦点調節までの一連の動作をＡＦ動作と称する。

２５は測光回路であり、ＡＥセンサ１３の各領域からの輝度信号をＭＰＵ２０に出力する。ＭＰＵ２０は、輝度信号をＡ／Ｄ変換して被写体の測光情報とし、この測光情報を用いて撮影露出を演算し設定する。この測光情報を得てから撮影露出の設定までの一連の動作をＡＥ動作と称する。

２６はモータ駆動回路であり、主ミラー４を駆動する不図示のモータやシャッター５のチャージを行う不図示のモータを制御する。２７はシャッター駆動回路であり、シャッター５を開閉するための不図示のコイルへの電力供給制御を行う。２８は電源２９の電圧を各回路に必要な電圧に変換するＤＣ／ＤＣコンバータである。

３０はレリーズボタンであり、ＳＷ１とＳＷ２の信号をＭＰＵ２０へ出力する。ＳＷ１は、レリーズボタン３０の第１ストローク（半押し）操作でＯＮし、測光（ＡＥ）、ＡＦ動作を開始させるためのスイッチである。ＳＷ２は、レリーズボタン３０の第２ストローク（全押し）操作でＯＮし、露光動作を開始させるためのスイッチである。３１はモードボタンであり、ボタン操作後、後述の電子ダイヤル３２やマルチコントローラ３３を操作すると、その入力に応じて各種モードが変更され、再度ボタンを操作すると決定される。例えば撮影画像の記録画質の種類等が変更可能である。３２は電子ダイヤルであり、ダイヤルの回転クリックに応じたＯＮ信号がＭＰＵ２０内の不図示のアップダウンカウンタに出力され、その数がカウントされる。このカウントに応じて各種の数値やデータ等の選択が行われる。

３３はマルチコントローラ（ＭＣ）であり、後述するライブビュー時に液晶モニタ１４に表示されるＡＦ枠（焦点検出枠）や各種モードを選択、決定するために用いられる入力装置である。マルチコントローラ３３は、上下左右、斜め右上、斜め右下、斜め左上、斜め左下の８方向の入力と、押し操作による入力を行うことができる。マルチコントローラ３３は、ライブビューモードを設定するモード設定部として機能する。また、マルチコントローラ３３は、焦点検出の対象であるＡＦ枠を撮像素子６の撮像領域の任意の位置に設定する枠設定部としても機能する。３４は電源ボタンであり、操作するとカメラの電源がＯＮ／ＯＦＦされる。３５は再生ボタンであり、操作すると後述のメディア４８内に記録された画像を液晶モニタ１４に表示する。

４０は撮像素子６から出力される画像信号をサンプルホールド及び自動ゲイン調整するＣＤＳ（相関２重サンプリング）／ＡＧＣ（自動ゲイン調整）回路である。４１はＣＤＳ／ＡＧＣ回路４０のアナログ出力をデジタル信号に変換するＡ／Ｄ変換器である。４２はＴＧ（タイミング発生）回路であり、撮像素子６に駆動信号を、ＣＤＳ／ＡＧＣ回路４０にサンプルホールド信号を、Ａ／Ｄ変換器４１にサンプルクロック信号を供給する。

４３はＡ／Ｄ変換器４１でデジタル変換された画像等を一時的に記録するためのＳＤＲＡＭ（メモリ）である。ＳＤＲＡＭ４３は、撮像素子６の撮像領域の全域の焦点検出用画素の出力信号を記録することができる。あるいは、ＳＤＲＡＭ４３は、撮像素子６の撮像領域の全域に対して位相差ＡＦを行って焦点ずれ量を算出して記録する。

４４は画像にＹ／Ｃ（輝度信号／色差信号）分離、ホワイトバランス補正、γ補正等を行う画像処理回路である。４５は画像をＪＰＥＧ等の形式に従って圧縮したり、圧縮された画像の伸張を行う画像圧縮／伸張回路である。ここでメモリコントローラ２１は、撮像素子６から出力される画像信号を画像処理回路４４で画像処理することにより、被写体の測光情報を得ることが可能である。４６はＳＤＲＡＭ４３や後述するメディア４８に記録された画像を液晶モニタ１４に表示するために、画像をアナログ信号に変換するＤ／Ａ変換器である。４７は画像を記録保存するためのメディア４８とのＩ／Ｆ（インターフェース）である。

続いて、撮像素子６による撮像面位相差ＡＦについて説明する。

本実施形態においては、画素ピッチが８μｍ、有効画素数が縦３０００行×横４５００列＝１３５０万画素、撮像画面サイズが横３６ｍｍ×縦２４ｍｍの撮像素子を一例として説明を行なう。またこの撮像素子６は、受光画素上にベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサとなっている。

図４乃至図６は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施形態は２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列を採用している。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて離散的に配置される。

図４に撮像用画素の配置と構造を示す。

図４（ａ）は、２行×２列の撮像用画素（第３の画素群）の平面図である。周知のように、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置される。そして２行×２列の構造が繰り返し配置される。図４（ａ）におけるＡ−Ａ断面図を図４（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（赤色）のカラーフィルタ、ＣＦＧはＧ（緑色）のカラーフィルタである。ＰＤ（Ｐｈｏｔｏ Ｄｉｏｄｅ）はＣＭＯＳイメージセンサの光電変換素子を模式的に示したものである。ＣＬ（Ｃｏｎｔａｃｔ Ｌａｙｅｒ）は、ＣＭＯＳイメージセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬ（Ｔａｋｉｎｇ Ｌｅｎｓ）は撮影レンズ３の撮影光学系を模式的に示したものである。

ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換素子ＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰ（Ｅｘｉｔ Ｐｕｐｉｌ）と光電変換素子ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換素子の有効面積は大面積に設計される。なお、撮像用画素は、撮影光学系ＴＬの全射出瞳領域を通過した光を受光する。また、図４（ｂ）ではＲ画素の入射光束について説明したが、Ｇ画素及びＢ（青色）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束（光量子）を効率よく取り込んで画像信号のＳ／Ｎを向上させている。

図５は、撮影光学系の水平方向（左右方向又は横方向）に瞳分割（第１の射出瞳領域と第２の射出瞳領域に分割）を行なうための焦点検出用画素の配置と構造を示す。ここで水平方向とは、撮影光学系の光軸と撮像領域の長辺とが地面に平行となるように撮像装置を構えたとき、この光軸に直交し、かつ水平方向に伸びる直線に沿った方向をいう。図５（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。記録又は観賞のための画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。そして人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認知されやすい。一方でＲ画素又はＢ画素は、色情報（色差情報）を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施形態では、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素を焦点検出用画素（第１の画素群及び第２の画素群）に置き換えている。この焦点検出用画素を図５（ａ）においてＳＨＡ及びＳＨＢと示す。

図５（ａ）におけるＡ−Ａ断面図を図５（ｂ）に示す。マイクロレンズＭＬと光電変換素子ＰＤは図４（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像生成には用いないため、色分離用カラーフィルタの代わりに透明膜ＣＦＷ（白色）が配置される。また撮像素子６で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、画素ＳＨＡ及び開口部ＯＰＨＡは右側に偏倚して撮影光学系ＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。画素ＳＨＢの開口部ＯＰＨＢは左側に偏倚して撮影光学系ＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。画素ＳＨＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像（第１の像信号）とする。また画素ＳＨＢも水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像（第２の像信号）とする。すると、Ａ像とＢ像の相対位置を検出することで被写体像の焦点ずれ量（焦点情報）が検出できる。なお、画素ＳＨＡ及びＳＨＢでは、撮像領域の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。そこで本実施例では、後者についても焦点状態を検出できるよう、撮影光学系の垂直方向（縦方向）にも瞳分割を行なう画素も備えるよう構成されている。

図６は、撮影光学系の垂直方向（上下方向又は縦方向）に瞳分割を行なうための焦点検出用画素の配置と構造を示す。ここで垂直方向とは、撮影光学系の光軸と撮像領域の長辺とが地面に平行となるように撮像装置を構えたとき、この光軸に直交し、鉛直方向に伸びる直線に沿った方向をいう。図６（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図であり、図５（ａ）と同様に、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素を焦点検出用画素としている。この焦点検出用画素を図６（ａ）においてＳＶＣ及びＳＶＤと示す。

図６（ａ）のＡ−Ａ断面図を図６（ｂ）に示す。図５（ｂ）の画素が横方向に瞳分離する構造であるのに対して、図６（ｂ）の画素は瞳分離方向が縦方向になっているが、その他の画素の構造は同様である。画素ＳＶＣの開口部ＯＰＶＣは下側に偏倚して撮影光学系ＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。同様に、画素ＳＶＤの開口部ＯＰＶＤは上側に偏倚して撮影光学系ＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。画素ＳＶＣを垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＣ像とする。また画素ＳＶＤも垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＤ像とする。するとＣ像とＤ像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像の焦点ずれ量（測距データ）を検出することができる。

図７乃至図９は、図４乃至図６に示した撮像用画素及び焦点検出用画素の配置規則を説明する図である。図７は撮像用画素の間に焦点検出用画素を離散的に配置する場合の最小単位の配置規則を説明するための図である。

図７において、１０行×１０列＝１００画素の正方形領域を１つのブロックと定義する。左上のブロックＢＬＫＨ（１，１）において、一番左下のＲ画素とＢ画素を、水平方向に瞳分割を行なう１組の焦点検出用画素ＳＨＡ及びＳＨＢで置き換える。その右隣りのブロックＢＬＫＶ（１，２）においては、同じく一番左下のＲ画素とＢ画素を、垂直方向に瞳分割を行なう１組の焦点検出用画素ＳＶＣ及びＳＶＤで置き換える。また最初のブロックＢＬＫＨ（１，１）の下に隣接したブロックＢＬＫＶ（２，１）の画素配列は、ブロックＢＬＫＶ（１、２）と同一とする。そしてその右隣りのブロックＢＬＫＨ（２，２）の画素配列は、先頭のブロックＢＬＫＨ（１，１）と同一とする。この配置規則を一般化すると、ブロックＢＬＫ（ｉ，ｊ）において、ｉ＋ｊが偶数であれば水平瞳分割用の焦点検出用画素を配置し、ｉ＋ｊが奇数であれば垂直瞳分割用の焦点検出用画素を配置することになる。そして図７の２×２＝４ブロック、即ち、２０行×２０列＝４００画素の領域をブロックの上位の配列単位としてクラスタと定義する。

図８はクラスタを単位とした配置規則を説明するための図である。図８において、２０行×２０列＝４００画素で構成された一番左上のクラスタをＣＳＴ（ｕ，ｗ）＝ＣＳＴ（１，１）とする。クラスタＣＳＴ（１，１）においては、各ブロックの一番左下のＲ画素とＢ画素を焦点検出用画素ＳＨＡ及びＳＨＢ又はＳＶＣ及びＳＶＤで置き換える。その右隣りのクラスタＣＳＴ（１，２）においては、ブロック内における焦点検出用画素の配置を、クラスタＣＳＴ（１，１）に対して上方向に２画素分シフトした位置に配置する。また最初のクラスタＣＳＴ（１，１）の下に隣接したクラスタＣＳＴ（２，１）においては、ブロック内における焦点検出用画素の配置を、クラスタＣＳＴ（１，１）に対して右方向に２画素分シフトした位置に配置する。以上の規則を適用すると図８に示す配置が得られる。

この配置規則を一般化すると以下のようになる。なお焦点検出用画素の座標は、図５又は図６で示したＧ画素を含む４画素を一つの単位（ペア）とし、そのうちの左上の画素の座標で規定する。また各ブロック内の座標は左上を（１、１）とし、下方向と右方向を正とする。クラスタＣＳＴ（ｕ，ｗ）において、各ブロック内の焦点検出用画素ペアの水平座標は２×ｕ−１となり、垂直座標は１１−２×ｗとなる。そして、図８の５×５＝２５クラスタ、即ち１００行×１００列＝１万画素の領域を、クラスタの上位の配列単位として、フィールドと定義する。

図９はフィールドを単位とした配置規則を説明するための図である。図９において、１００行×１００列＝１万画素で構成された一番左上のフィールドをＦＬＤ（ｑ，ｒ）＝ＦＬＤ（１，１）とする。そして本実施形態では、すべてのフィールドＦＬＤ（ｑ，ｒ）は先頭フィールドＦＬＤ（１，１）と同様の配列となっている。そこでフィールドＦＬＤ（ｑ，ｒ）を水平方向に４５個、垂直方向に３０個配列すると、３０００行×４５００列＝１３５０万画素の撮像領域は１３５０個のフィールドＦＬＤ（ｑ，ｒ）で構成される。そして撮像領域全面に亘って焦点検出用画素を均一に分布させることができる。

次に図１０乃至図１３を用いて、焦点検出時の画素のグループと信号加算方法について説明する。

図１０は撮影光学系によって形成された被写体像の横ずれ方向の焦点検出を行なう場合の画素グループ化方法を説明する図である。横ずれ方向の焦点検出とは、図５で説明した、撮影光学系の射出瞳を横方向（水平方向又は左右方向）に分割するための焦点検出用画素を用いて、位相差式焦点検出を行なうことを指す。

図１０に示す画素配列は図８で説明したものであるが、焦点検出の際には、横方向に１ブロック、縦方向に１０ブロックの合計１０ブロックを１つのグループとし、これをセクションと定義する。そして横方向に配列されたセクションＳＣＴＨ（ｋ）を複数連結して１つの焦点検出領域を構成する。本実施形態では一例として１つの焦点検出領域は、セクションＳＣＴＨ（１）からセクションＳＣＴＨ（１０）までの１０個のセクションを連結して構成している。即ち、１００行×１００列＝１万画素の領域が１つの焦点検出領域となる。これは１フィールドと同一領域であり、図９で説明したように撮像領域で１３５０個の固定焦点検出領域となるように設定している。もちろん設定方法は様々で、被写体に応じて撮像領域の任意位置のセクションＳＣＴＨ（ｋ）を複数連結することで撮像領域の任意位置に可変焦点検出領域を設定することも可能である。

ここで１つのセクションには、横方向における一方の瞳分割を行なう画素ＳＨＡが５個、他方の瞳分割を行なう画素ＳＨＢも５個含まれている。そこで、本実施形態においては、５個のＳＨＡの出力を加算して１画素の信号とし、位相差演算用の一方の画像信号（Ａ像と称する）の１ＡＦ画素を得る。同様に、５個のＳＨＢの出力を加算して１画素の信号とし、位相差演算用の他方の画像信号（Ｂ像と称する）の１ＡＦ画素を得る。

図１１は一つのセクションにおける被写体像の捕捉能力を説明するための図である。図１１は図１０の左端のセクションＳＣＴＨ（１）を切り出したものである。そして下端に示された水平線ＰＲＪＨは、焦点検出用画素ＳＨＡ及びＳＨＢの瞳分割方向に延伸した第１の射影軸（Ｐｒｏｊｅｃｔｉｏｎ Ｌｉｎｅ）、右端に示された垂直線ＰＲＪＶは、瞳分割方向と直交する方向に延伸した第２の射影軸である。ここで１つのセクション内の画素ＳＨＡはすべて加算され、ＳＨＢも加算される。そこで１つのセクションを１つのＡＦ画素と見なした場合、１つのＡＦ画素に含まれる受光部を瞳分割方向の射影軸ＰＲＪＨに射影すると、画素ＳＨＡとＳＨＢが交互に緻密に並ぶことがわかる。このときの、瞳分割方向の射影軸ＰＲＪＨにおける画素ＳＨＡの配列ピッチをＰ１とすると、Ｐ１＝ＰＨＨ＝２（単位は画素）となる。ピッチの代わりに空間周波数Ｆ１で表わすと、Ｆ１＝０．５（単位は画素／画素）となる。同様に射影軸ＰＲＪＨにおける画素ＳＨＢの配列ピッチもＰ１＝２（単位は画素）、空間周波数表記ではＦ１＝０．５（単位は画素／画素）となる。

一方、１つのＡＦ画素に含まれる受光部を瞳分割方向と直交方向の射影軸ＰＲＪＶに射影すると、画素ＳＨＡとＳＨＢはまばらに並ぶことがわかる。このときの、射影軸ＰＲＪＶにおける画素ＳＨＡの配列ピッチをＰ２とすると、Ｐ２＝ＰＨＶ＝２０（単位は画素）となる。ピッチの代わりに空間周波数Ｆ２で表わすと、Ｆ２＝０．０５（単位は画素／画素）となる。同様に射影軸ＰＲＪＶにおける画素ＳＨＢの配列ピッチも、Ｐ２＝２０（単位は画素）、空間周波数表記ではＦ２＝０．０５（単位は画素／画素）となる。

即ち、本実施形態におけるＡＦ画素は、グループ化前の分散特性については、瞳分割方向とこれに直交する方向の配置上のピッチが等しい。しかしながら、グループ化する際のグループ形状を長方形とすることで、瞳分割方向のサンプリング誤差を低減している。具体的には、１セクションの瞳分割方向の最大寸法Ｌ１は１０画素、瞳分割と直交する方向の最大寸法Ｌ２は１００画素としている。即ち、セクション寸法をＬ１＜Ｌ２とすることで、瞳分割方向のサンプリング周波数Ｆ１を高周波（密）に、これと直交する方向のサンプリング周波数Ｆ２を低周波（疎）としている。

図１２は撮影光学系によって形成された被写体像の縦ずれ方向の焦点検出を行なう場合の画素グループ化方法を説明する図である。

縦ずれ方向の焦点検出とは、図６で説明した、撮影光学系の射出瞳を縦方向（垂直方向又は上下方向）に分割するための焦点検出用画素を用いて、位相差式焦点検出を行なうことをいう。即ち、図１０を９０度回転したものに相当する。

図１２に示す画素配列も図８で説明したものであるが、焦点検出の際には、横方向に１０ブロック、縦方向に１ブロックの合計１０ブロックを１つのグループとし、これをセクションと定義する。そして縦方向に配列されたセクションＳＣＴＶ（ｋ）を複数連結して１つの焦点検出領域を構成する。本実施形態では一例として１つの焦点検出領域は、セクションＳＣＴＶ（１）からセクションＳＣＴＶ（１０）までの１０個のセクションを連結して構成している。即ち、１００行×１００列＝１万画素の領域が１つの焦点検出領域となる。これは１フィールドと同一領域であり、図９で説明したように撮像領域で１３５０個の固定焦点検出領域となるように設定している。もちろん設定方法は様々で、被写体に応じて撮像領域の任意位置のセクションＳＣＴＶ（ｋ）を複数連結することで撮像領域の任意位置に可変焦点検出領域を設定することも可能である。

ここで１つのセクションには、縦方向における一方の瞳分割を行なう画素ＳＶＣが５個、他方の瞳分割を行なう画素ＳＶＤも５個含まれている。そこで本実施形態においては、５個のＳＶＣの出力を加算して１画素の信号とし、位相差演算用の一方の画像信号（Ｃ像と称する）の１ＡＦ画素を得る。同様に、５個のＳＶＤの出力を加算して１画素の信号とし、位相差演算用の他方の画像信号（Ｄ像と称する）の１ＡＦ画素を得る。

図１３は一つのセクションにおける被写体像の捕捉能力を説明するための図であり、図１１を９０度回転したものと等価である。図１３は図１２の上端のセクションＳＣＴＶ（１）を切り出したものである。そして右端に示された垂直線ＰＲＪＶは、焦点検出用画素ＳＶＣ及びＳＶＤの瞳分割方向に延伸した第３の射影軸、下端に示された水平線ＰＲＪＨは、瞳分割方向と直交する方向に延伸した第４の射影軸である。図１２においても、１つのセクション内の画素ＳＶＣはすべて加算され、ＳＶＤも加算される。そこで１セクションを１ＡＦ画素と見なした場合、１ＡＦ画素に含まれる受光部を瞳分割方向の射影軸ＰＲＪＶに射影すると、画素ＳＶＣ及びＳＶＤが交互に緻密に並ぶことがわかる。このときの瞳分割方向の射影軸ＰＲＪＶにおける画素ＳＶＣの配列ピッチをＰ１とすると、Ｐ１＝ＰＶＶ＝２（単位は画素）となる。ピッチの代わりに空間周波数Ｆ１で表わすと、Ｆ１＝０．５（単位は画素／画素）となる。同様に射影軸ＰＲＪＶにおける画素ＳＶＤの配列ピッチもＰ１＝２（単位は画素）、空間周波数表記ではＦ１＝０．５（単位は画素／画素）となる。

一方、１つのＡＦ画素に含まれる受光部を瞳分割方向と直交方向の射影軸ＰＲＪＨに射影すると、画素ＳＶＣとＳＶＤはまばらに並ぶことがわかる。このときの射影軸ＰＲＪＨにおける画素ＳＶＣの配列ピッチをＰ２とすると、Ｐ２＝ＰＶＨ＝２０（単位は画素）となる。ピッチの代わりに空間周波数Ｆ２で表わすと、Ｆ２＝０．０５（単位は画素／画素）となる。同様に射影軸ＰＲＪＨにおける画素ＳＶＤの配列ピッチも、Ｐ２＝２０（単位は画素）、空間周波数表記ではＦ２＝０．０５（単位は画素／画素）となる。

以上のように、図１３におけるＡＦ画素のサンプリング特性は、瞳分割方向を基準に考えると、図１１と同様の特性、即ち、Ｆ１＞Ｆ２となっている。これは、図１３のセクションにおいても、瞳分割方向のセクション寸法Ｌ１とこれと直交する方向の寸法Ｌ２がＬ１＜Ｌ２を満足するからである。これにより、空間周波数の高い被写体に対しても瞳分割方向の輝度情報を正確に検出することができるとともに、被写体輝度が低くても複数画素の加算によって焦点検出信号のＳ／Ｎ比を向上させることができる。

図１４は本実施形態における撮像素子の瞳分割機能を概念的に説明する図である。

図１４において、ＯＢＪは被写体、ＩＭＧは被写体像である。撮像用画素は図４で説明したように、撮影光学系ＴＬの射出瞳全域ＥＰを通過した光束を受光する。一方、焦点検出用画素は図５及び図６で説明したように、瞳分割機能を有している。具体的には、図５の画素ＳＨＡは撮像面からレンズ後端を見て左側の瞳を通過した光束ＬＨＡ、即ち、図１４の瞳ＥＰＨＡを通過した光束を受光する。同様に画素ＳＨＢ、ＳＶＣ及びＳＶＤはそれぞれ瞳ＥＰＨＢ、ＥＰＶＣ及びＥＰＶＤを通過した光束ＬＨＢ、ＬＨＣ、ＬＨＤをそれぞれ受光する。そして焦点検出用画素は、図９で説明したように撮像素子６の全領域に亘って分布しているため、撮像領域全域で焦点検出が可能となっている。

図１５は、ライブビュー時のＡＦ動作を説明する図で、ライブビュー時に液晶モニタ１４に画像が表示されている状態を示している。

図１５において、撮像面に形成された被写体像には、中央に人物、左下に近景の柵、右上に遠景の山が写っており、それらが画面に表示されている。また画面中央にはＡＦ枠が表示されている。本実施形態では一例として、ＡＦ枠は横方向に６フィールド、縦方向に６フィールドの大きさに設定されている。更にＡＦ枠はマルチコントローラ３３の入力信号に従って、撮像領域内の任意位置に移動可能となっている。本実施形態では一例として、ＡＦ枠の移動は１フィールド単位となっている。もちろん移動量は様々で、１セクション単位や１画素単位でも構わない。

初めに撮像面位相差ＡＦについて説明する。

焦点検出用画素は横ずれ検出用の画素ペアＳＨＡ及びＳＨＢと、縦ずれ検出用の画素ペアＳＶＣ及びＳＶＤが、図９に示したように撮像領域全域に亘って均等な密度で配置されている。そして横ずれ検出の際には、位相差演算のためのＡＦ画素信号を図１０及び図１１で示したようにグループ化処理する。また、縦ずれ検出の際には、位相差演算のためのＡＦ画素信号を図１２及び図１３で示したようにグループ化処理する。よって撮像領域の任意位置において、横ずれ検出及び縦ずれ検出のための焦点検出領域を設定可能である。上記の通り、本実施形態では一例として、焦点検出領域はフィールドと同一領域に設定している。

図１５においては画面中央に人物の顔が存在している。そこで公知の顔認識技術によって顔の存在が検出されると、顔領域と検知された部分にＡＦ枠が表示され、ＡＦ枠内の焦点検出が行なわれる。まず横ずれ検知のために焦点検出領域を複数連結したＡＦ枠領域ＡＦＡＲＨ（１）〜（６）と、縦ずれ検知のために焦点検出領域を複数連結したＡＦ枠領域ＡＦＡＲＶ（１）〜（６）が設定される。

横ずれ検知のためのＡＦ枠領域ＡＦＡＲＨ（１）は、ＡＦ枠内の上から１行目の焦点検出領域のフィールドＦＬＤ（１３，２１）からフィールドＦＬＤ（１３，２６）までの６フィールド分を連結している。ＡＦ枠領域ＡＦＡＲＨ（２）は、ＡＦ枠内の上から２行目の焦点検出領域のフィールドＦＬＤ（１４，２１）からフィールドＦＬＤ（１４，２６）までを連結している。ＡＦ枠領域ＡＦＡＲＨ（３）は、ＡＦ枠内の上から３行目の焦点検出領域のフィールドＦＬＤ（１５，２１）からフィールドＦＬＤ（１５，２６）までを連結している。ＡＦ枠領域ＡＦＡＲＨ（４）は、ＡＦ枠内の上から４行目の焦点検出領域のフィールドＦＬＤ（１６，２１）からフィールドＦＬＤ（１６，２６）までを連結している。ＡＦ枠領域ＡＦＡＲＨ（５）は、ＡＦ枠内の上から５行目の焦点検出領域のフィールドＦＬＤ（１７，２１）からフィールドＦＬＤ（１７，２６）までを連結している。ＡＦ枠領域ＡＦＡＲＨ（６）は、ＡＦ枠内の上から６行目の焦点検出領域のフィールドＦＬＤ（１８，２１）からフィールドＦＬＤ（１８，２６）までを連結している。

縦ずれ検知のためのＡＦ枠領域ＡＦＡＲＶ（１）は、ＡＦ枠内の左から１列目の焦点検出領域のフィールドＦＬＤ（１３，２１）からフィールドＦＬＤ（１８，２１）までの６フィールド分を連結している。ＡＦ枠領域ＡＦＡＲＶ（２）は、ＡＦ枠内の左から２列目の焦点検出領域のフィールドＦＬＤ（１３，２２）からフィールドＦＬＤ（１８，２２）までを連結している。ＡＦ枠領域ＡＦＡＲＶ（３）は、ＡＦ枠内の左から３列目の焦点検出領域のフィールドＦＬＤ（１３，２３）からフィールドＦＬＤ（１８，２３）までを連結している。ＡＦ枠領域ＡＦＡＲＶ（４）は、ＡＦ枠内の左から４列目の焦点検出領域のフィールドＦＬＤ（１３，２４）からフィールドＦＬＤ（１８，２４）までを連結している。ＡＦ枠領域ＡＦＡＲＶ（５）は、ＡＦ枠内の左から５列目の焦点検出領域のフィールドＦＬＤ（１３，２５）からフィールドＦＬＤ（１８，２５）までを連結している。ＡＦ枠領域ＡＦＡＲＶ（６）は、ＡＦ枠内の左から６列目の焦点検出領域のフィールドＦＬＤ（１３，２６）からフィールドＦＬＤ（１８，２６）までを連結している。

図１５は、横ずれ検知及び縦ずれ検知のためのＡＦ枠領域をＡＦＡＲＨ（３）とＡＦＡＲＶ（５）として１領域ずつ示しており、他のそれぞれ５領域は図示を割愛している。ＡＦ枠領域ＡＦＡＲＨ（３）の各セクション内に含まれる５個の焦点検出用画素ＳＨＡを加算し、６０セクション（＝１焦点検出領域１０セクション×ＡＦ枠の幅６フィールド）に亘って連結した位相差検出用のＡ像信号がＡＦＳＩＧＨ（Ａ３）である。同様に、各セクションの５個の焦点検出用画素ＳＨＢを加算し、これを６０セクションに亘って連結した位相差検出用のＢ像信号がＡＦＳＩＧｈ（Ｂ３）である。Ａ像信号ＡＦＳＩＧＨ（Ａ３）とＢ像信号ＡＦＳＩＧＨ（Ｂ３）の相対的な横ずれ量を公知の相関演算によって演算することで、被写体の焦点ずれ量を求める。同様にＡＦ枠領域ＡＦＡＲＨ（１）〜（６）それぞれで被写体の焦点ずれ量を求める。

ＡＦ枠領域ＡＦＡＲＶ（５）についても同様である。即ち、各セクション内に含まれる５個の焦点検出用画素ＳＶＣを加算し、６０セクション（＝１焦点検出領域１０セクション×ＡＦ枠の高さ６フィールド）に亘って連結した位相差検出用のＣ像信号がＡＦＳＩＧＶ（Ｃ５）である。また、各セクションの５個の焦点検出用画素ＳＶＤを加算し、これを６０セクションに亘って連結した位相差検出用のＤ像信号がＡＦＳＩＧＶ（Ｄ５）である。そしてＣ像信号ＡＦＳＩＧＶ（Ｃ５）とＤ像信号ＡＦＳＩＧＶ（Ｄ５）の相対的な横ずれ量を公知の相関演算によって演算することで、被写体の焦点ずれ量を求める。同様に、ＡＦ枠領域ＡＦＡＲＶ（１）〜（６）それぞれで被写体の焦点ずれ量を求める。

そして横ずれ及び縦ずれのＡＦ枠領域で検出した計１２の焦点ずれ量を比較し、信頼性の高い値を採用することで、ＡＦ枠内の焦点ずれ量を求めることができる。ここで信頼性とは、２像の一致度を指し、２像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで複数の焦点検出領域の焦点検出結果がある場合は、信頼性の高い情報を優先的に使用する。また信頼性ではなく、計１２の焦点ずれ量の平均値としたり、それらの中の最至近値とする等の方法でＡＦ枠内の焦点ずれ量を決めても構わない。

上記説明においては、ＡＦ枠領域の全セクション（６０セクション）を連結した像信号からＡＦ枠領域の焦点ずれ量を求めている。しかし、ＡＦ枠領域を構成する６焦点検出領域の焦点ずれ量をそれぞれ求めて、それらの中の信頼性の高い値や最至近値としたり、平均値としたりするなどの方法でＡＦ枠領域内の焦点ずれ量を求めることもできる。またＡＦ枠領域を設定せずにＡＦ枠内の３６焦点検出領域の焦点ずれ量をそれぞれ求めて、それらの中の信頼性の高い値や最至近値としたり、平均値としたりするなどの方法でＡＦ枠内の焦点ずれ量を求めることもできる。

一方、画面左下の柵部分にＡＦ枠を移動した時は、同様に横ずれ検知及び縦ずれ検知のためにＡＦ枠領域を再設定して被写体の焦点ずれ量を求めることができる。しかし、縦線成分が主体、即ち、横方向に輝度分布を有しているため、横ずれ検知に適した被写体と判断することができる。このため、横ずれ検知のためのＡＦ枠領域ＡＦＡＲＨ（ｎ）だけを設定して、ＡＦ枠領域ＡＦＡＲＨ（３）と同様に、Ａ像信号とＢ像信号から横ずれ量を演算して、被写体の焦点ずれ量を求めることもできる。

ここではＡＦ枠領域を設定した前提で焦点ずれ量を求める説明を行った。しかし、ＡＦ枠領域を設定しなくても、それぞれの焦点検出領域においてＡ像信号とＢ像信号から横ずれ量を演算して、複数の焦点検出領域の焦点検出結果から信頼性の高い情報を基にして、被写体の焦点ずれ量を求めることも可能である。即ち、顔認識により主被写体と判断された画面中央の人物の顔部分の焦点ずれ量を求めると同時に、撮像領域内にある他の被写体（ここでは画面左下の柵）の焦点ずれ量も求めることが可能である。

また画面右上の山部分にＡＦ枠を移動した時も、上記同様に横ずれ検知及び縦ずれ検知のためにＡＦ枠領域を設定して被写体の焦点ずれ量を求めることができる。しかし、横線成分が主体、即ち、縦方向に輝度分布を有しているため、縦ずれ検知に適した被写体と判断することができる。このため、縦ずれ検知のためのＡＦ枠領域ＡＦＡＲＶ（ｎ）だけを設定して、ＡＦ枠領域ＡＦＡＲＶ（５）と同様に、Ｃ像信号とＤ像信号から横ずれ量を演算して、被写体の焦点ずれ量を求めることもできる。

ここではＡＦ枠領域を設定した前提で焦点ずれ量を求める説明を行なった。しかし、ＡＦ枠領域を設定しなくても、それぞれの焦点検出領域においてＣ像信号とＤ像信号から横ずれ量を演算して、複数の焦点検出領域の焦点検出結果から信頼性の高い情報を基にして、被写体の焦点ずれ量を求めることも可能である。即ち、顔認識により主被写体と判断された画面中央の人物の顔部分の焦点ずれ量を求めると同時に、撮像領域内にある他の被写体（ここでは画面右上の山）の焦点ずれ量も求めることが可能である。

以上のように本実施形態においては、横ずれ及び縦ずれ検出のための焦点検出領域が撮像素子６の全領域に設定されているため、被写体の投影位置や輝度分布の方向性が様々であっても、撮像領域全域で撮像面位相差ＡＦによる焦点検出が可能である。

続いて撮影情報を画像ファイルに記録する方法について説明する。

図１６はＥｘｉｆ圧縮形式の画像ファイルフォーマット構造を示した図である。６０はＪＰＥＧ圧縮方式の画像ファイルで、ファイルの先頭を表すＳＯＩマーカ６１から始まり、Ｅｘｉｆ付属情報を記録するアプリケーションマーカセグメント１（ＡＰＰ１）６２、Ｅｘｉｆ拡張データを記録するアプリケーションマーカセグメント２（ＡＰＰ２）６３、量子化テーブルマーカセグメント（ＤＱＴ）６４、ハフマンテーブルマーカセグメント（ＤＨＴ）６５、リスタートマーカセグメント（ＤＲＩ）６６、フレームヘッダマーカセグメント（ＳＯＦ）６７、スキャンヘッダマーカセグメント（ＳＯＳ）６８、画像圧縮データ（Ｃｏｍｐｒｅｓｓｅｄ Ｄａｔａ）６９、ファイルの終端を表すＥＯＩマーカ７０の順番で構成されている。

ＡＰＰ１（６２）の内部構造は、アプリケーション領域であることを表すＡＰＰ１マーカ７１から始まり、その大きさを表すＬｅｎｇｔｈ７２、Ｅｘｉｆ識別コード７３、付属情報本体から構成されている。付属情報はＦｉｌｅ Ｈｅａｄｅｒ７４を含むＴＩＦＦの構造をとり、圧縮処理されている画像（主画像）に関する付属情報を記録する０ｔｈ ＩＦＤ７５、０ｔｈ ＩＦＤ（付属情報記録領域）にＥｘｉｆ固有の付属情報を記録するＥｘｉｆ ＩＦＤ７６、サムネイル画像を記録する１ｓｔ ＩＦＤ７７で構成されている。

Ｅｘｉｆ ＩＦＤ７６に記録される付属情報のタグ構造は、Ｅｘｉｆ Ｖｅｒｓｉｏｎタグ８１から始まり、メーカーが個別の情報を記録可能なＭａｋｅｒ Ｎｏｔｅタグ８２、ユーザーが個別の情報を記録可能なＵｓｅｒ Ｃｏｍｍｅｎｔタグ８３、ＩＦＤへのポインタ（Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｙ ＩＦＤ Ｐｏｉｎｔｅｒ）８４、実際にデータを記録する領域（Ｖａｌｕｅ ｏｆ Ｅｘｉｆ ＩＦＤ）８５で構成されている。

８５ａは撮像面位相差ＡＦデータ記録の一例で、撮像面位相差ＡＦによる各焦点検出領域毎の焦点ずれ量（測距データ）を取得可能に記録している。まずはＭａｋｅｒ Ｎｏｔｅタグ８２内に焦点ずれ量データ８５ａがデータ記録領域８５のどの領域に記録されているかの情報が記録されている。焦点ずれ量データ８５ａは図９および図１５において撮像面の左上の焦点検出領域、即ちフィールドＦＬＤ（１，１）から記録を開始し、撮像面の右下の焦点検出領域、即ちフィールドＦＬＤ（３０，４５）までを記録し終了する。記録順はフィールドＦＬＤ（１５，２１）、フィールドフィールドＦＬＤ（１５，２２）、フィールドＦＬＤ（１５，２３）、フィールドＦＬＤ（１５，２４）、フィールドＦＬＤ（１５，２５）、フィールドＦＬＤ（１５，２６）と水平方向のフィールドから記録し、その水平方向の行が終了すると垂直方向の次の行のフィールドを記録している。

図１７はＲＡＷデータ形式の画像ファイルフォーマット構造を示した図である。

ここでＲＡＷデータとは、撮像素子６から出力された画像信号をＡ／Ｄ変換器４１でデジタル変換されただけの画像形式で、Ｙ／Ｃ分離、ホワイトバランス補正、γ補正、圧縮加工等の各種画像処理を行う前の、所謂、生画像データである。従ってＲＡＷデータは非常に多くの情報量を持つため、ユーザーが後から画像処理を行う場合の自由度が高い。そのためユーザー自身が撮影した画像を、高画質のまま好みの画像に自由に調整可能といった特徴がある。

９０はＲＡＷデータ形式の画像ファイルで、ヘッダー９１から始まり撮影で使用したカメラ機種情報９２、Ｅｘｉｆ形式のタグ形式に則って各種情報を記録可能な画像付加情報９３、ＲＡＷデータを現像するためのホワイトバランス値、γ値等の現像用パラメータ９４、サムネイルデータ９５、ＲＡＷデータ９６で構成されている。また画像付加情報９３内には撮像素子６上のどの位置に焦点検出用画素が配置されているかの焦点検出用画素位置情報９３ａが記録されている。

９６ａはＲＡＷデータ内の一例で、ＦＬＤ（１５，２５）内の右下隅の焦点検出用画素を有する領域を示しており、各画素毎の出力データが記録されている。データは８５ａ同様に撮像面の左上の画素データから記録を開始し、右下の画素データまでを記録して終了している。９６ａは詳しくはＦＬＤ（１５，２５）内の右下隅のブロックＢＬＫ（１５０，２５０）内の１行目と２行目を示している。１行目は画素（１４９１，２４９１）は撮像用Ｒ画素でＲデータ、画素（１４９１，２４９２）は撮像用Ｇ画素でＧデータ、画素（１４９１，２４９３）は撮像用Ｒ画素でＲデータ、画素（１４９１，２４９４）は撮像用Ｇ画素でＧデータ、画素（１４９１，２４９５）は撮像用Ｒ画素でＲデータ、画素（１４９１，２４９６）は撮像用Ｇ画素でＧデータ、画素（１４９１，２４９７）は撮像用Ｒ画素でＲデータ、画素（１４９１，２４９８）は撮像用Ｇ画素でＧデータ、画素（１４９１，２４９９）は焦点検出用ＳＨＡ画素でＳＨＡデータ、画素（１４９１，２５００）は撮像用Ｇ画素でＧデータが記録されている。２行目は画素（１４９２，２４９１）は撮像用Ｇ画素でＧデータ、画素（１４９２，２４９２）は撮像用Ｂ画素でＢデータ、画素（１４９２，２４９３）は撮像用Ｇ画素でＧデータ、画素（１４９２，２４９４）は撮像用Ｂ画素でＢデータ、画素（１４９２，２４９５）は撮像用Ｇ画素でＧデータ、画素（１４９２，２４９６）は撮像用Ｂ画素でＢデータ、画素（１４９２，２４９７）は撮像用Ｇ画素でＧデータ、画素（１４９２，２４９８）は撮像用Ｂ画素でＢデータ、画素（１４９２，２４９９）は撮像用Ｇ画素でＧデータ、画素（１４９２，２５００）は焦点検出用ＳＨＢ画素でＳＨＢデータが記録されている。このように全画素のデータ記録順は水平方向の画素から記録し、その水平方向の行が終了すると垂直方向の次の行の画素を記録している。

続いて本実施形態のデジタル一眼レフカメラの動作を、図１８乃至図２２の制御フローを用いて説明する。図１８はデジタル一眼レフカメラの基本動作を示すメインフローである。

ステップＳ１０１では、ユーザーが電源ボタン３４を操作してカメラの電源をＯＮする。電源がＯＮされるとＭＰＵ２０はカメラ内の各アクチュエータや撮像素子６の動作確認を行う。そしてメモリ内容や実行プログラムの初期化状態を検出すると共に、撮影準備動作を実行する。

ステップＳ１０２では、各種ボタンを操作してカメラの各種設定を行う。例えば、モードボタン３１を操作して撮影モードを選択したり、電子ダイヤル３２を操作してシャッタースピードや絞り、撮影画像の記録画質の設定を行ったりする。

ステップＳ１０３では、マルチコントローラ３３によりライブビューモードが設定されているか否かの判定を行い、ライブビューモードに設定されていればライブビューモードルーチンのステップＳ１１１へ進み、設定されていなければ通常モードルーチンのステップＳ１０４へ進む。

まず通常モード（ユーザーがファインダーを覗いて撮影する一眼レフカメラの通常使用モード）の動作ルーチンを説明する。

ステップＳ１０４では、レリーズボタン３０が半押しされてＳＷ１がＯＮされたか否かの判定を行い、ＯＮされていればステップＳ１０５へ進み、ＯＮされていなければＯＮされるまで待機する。

ステップＳ１０５では、ＡＦセンサ８を用いた所定のＡＦ動作を行なう。

ステップＳ１０６では、ＡＥセンサ１３を用いた所定のＡＥ動作を行なう。

ステップＳ１０７では、ファインダー内に合焦した焦点検出点が何処かを不図示の表示装置で表示する。

ステップＳ１０８では、レリーズボタン３０が全押しされてＳＷ２がＯＮされたか否かの判定を行い、ＯＮされていればステップＳ１０９へ進み、ＯＮされていなければＯＮされるまで待機する。

ステップＳ１０９では、通常撮影ルーチンを実行する。

図１９は通常撮影ルーチンのフローチャートである。

ステップＳ１３１では、モータ駆動回路２６により不図示のミラー駆動用モータを制御し、主ミラー４とサブミラー７を撮影光路から退避（ミラーアップ）させる（図２）。

ステップＳ１３２では、ＡＥ結果により演算された撮影露出に従って、レンズ制御回路２３により撮影レンズ３内の不図示の絞りを駆動する。

ステップＳ１３３では、シャッター駆動回路２７によりシャッター５を開閉する。

ステップＳ１３４では、メモリコントローラ２１により撮像素子６で受光された画像信号を読み込んでＳＤＲＡＭ４３に一時記録する。この一時記録されたデータが撮像データである。

ステップＳ１３５では、メモリコントローラ２１で読み出した画像信号の欠損画素補間を行なう。何故ならば、焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を生成する。生成した画像信号と元の画像信号から欠陥画素補間画像を作成し、ＳＤＲＡＭ４３に一時記録しておく。

ステップＳ１３６では、メモリコントローラ２１で欠陥画素補間画像からサムネイル画像を作成し、ＳＤＲＡＭ４３に一時記録する。

ステップＳ１３７では、撮影画像の記録画質がＪＰＥＧまたはＲＡＷのどちらに選択されているかを判定し、ＪＰＥＧが選択されている場合はステップＳ１３８へ進み、ＲＡＷが選択されている場合はステップＳ１４０へ進む。

ステップＳ１３８では、ＡＦ画素信号記録ルーチンを実行する。

図２０はＡＦ画素信号記録ルーチンのフローチャートである。

ステップＳ１５１では、ＳＤＲＡＭ４３に一時記録された画像信号から、メモリコントローラ２１により各焦点検出領域に含まれる各焦点検出用画素を読み出す。

ステップＳ１５２では、メモリコントローラ２１により図１０又は図１２で説明したセクション構造に基づき、各セクション内の焦点検出用画素を加算し、その加算結果により各セクションのＡＦ画素信号を得る。

ステップＳ１５３では、ＭＰＵ２０によりＡＦ画素信号から相関演算用の２像の信号を生成する。本実施形態においては、図１０および図１２に示した焦点検出領域毎の信号を生成する。焦点検出領域は前述の通り１フィールドと同一領域であり、図９で説明したように撮像領域全体で１３５０個の対の信号を生成する。

ステップＳ１５４では、ＭＰＵ２０により得られた２像の相関演算を行ない、２像の相対的な位置ずれ量を演算する。

ステップＳ１５５では、ＭＰＵ２０により焦点ずれ量を演算する。

ステップＳ１５６では、メモリコントローラ２１により演算された焦点ずれ量をＳＤＲＡＭ４３に一時記録する。焦点ずれ量は焦点検出領域１３５０個分のデータ数となる。そして図１９の通常撮影ルーチン内のステップＳ１３９にリターンする。

ステップＳ１３９では、欠損画素補完画像を画像処理回路４４でホワイトバランス補正、γ補正、エッジ強調等の画像処理を行ない、画像圧縮／伸張回路４５でカメラの設定値に基づくＪＰＥＧ形式に従って圧縮し、メモリコントローラ２１により画像圧縮データ部６９に記録する。またサムネイル画像を１ｓｔ ＩＦＤ７７に、焦点ずれ量データ８５ａをデータ記録領域８５に記録する。更にはカメラの各種設定（シャッタースピード、絞り、レンズ焦点距離等）をＥｘｉｆルールに則り記録することにより、画像および各種データをＪＰＥＧファイル化する。

ステップＳ１４０では、メモリコントローラ２１によりＳＤＲＡＭ４３に一時記録されている画像信号をＲＡＷデータ９６に９６ａのように記録する。また焦点検出用画素位置情報９３ａ、カメラの各種設定（シャッタースピード、絞り、レンズ焦点距離等）等をＥｘｉｆルールに則り画像付加情報９３に、サムネイル画像をサムネイルデータ９５に記録することにより画像および各種データをＲＡＷファイル化する。

ステップＳ１４１では、ＪＰＥＧファイルまたはＲＡＷファイルとなった画像ファイルをメディア４８に記録する。

ステップＳ１４２では、モータ駆動回路２６により不図示のミラー駆動用モータを制御し、撮影光路から退避している主ミラー４とサブミラー７を、撮影光束をファインダーへと反射し導く観察位置へ駆動（ミラーダウン）する（図１）。

ステップＳ１４３では、モータ駆動回路２６により不図示のチャージ用モータを通電制御し、シャッター５をチャージする。そして図１８のメインルーチン内のステップＳ１１０にリターンする。

ステップＳ１１０では、ユーザーが電源ボタン３４を操作して、カメラの電源がＯＦＦされたか否かを判断し、ＯＦＦされていなければステップＳ１０２へ戻って次の撮影に備え、ＯＦＦされていれば一連のカメラ動作を終了する。

続いてライブビューモード（ユーザーがライブビューを使用して撮影するモード）の動作ルーチンを説明する。

ステップＳ１１１では、ライブビュー表示ルーチンを実行する。

図２１はライブビュー表示ルーチンのフローチャートである。

ステップＳ１６１では、モータ駆動回路２６により不図示のミラー駆動用モータを制御し、主ミラー４とサブミラー７を撮影光路から退避（ミラーアップ）させる。

ステップＳ１６２では、シャッター駆動回路２７によりシャッター５を開放状態にする（図２の状態となる）。

ステップＳ１６３では、メモリコントローラ２１により撮像素子６で受光された動画像の読み込みを開始する。

ステップＳ１６４では、読み出した動画像を液晶モニタ１４に表示する。ユーザーはこのライブビュー画像を目視して撮影時の構図決定を行なう。そして図１８のメインルーチン内のステップＳ１１２にリターンする。

ステップＳ１１２では、撮像領域内に顔が存在するか認識処理を行う。

ステップＳ１１３では、ライブビュー画像に重ねてＡＦ枠を灰色で表示する。ここでステップＳ１１２において、撮像領域内に顔が存在していると認識された場合には、認識された顔領域にＡＦ枠の表示を行なう。撮像領域内に顔が存在していないと認識された場合には、画面中央にＡＦ枠の表示を行なう。本実施形態では図１５の通り、画面中央の人物の顔が顔認識によって検知され、顔領域にＡＦ枠が表示さる。

ステップＳ１１４では、ＡＦ枠領域設定を行なう。ＡＦ枠領域設定は前述の通り、横ずれ検知のためにＡＦ枠領域ＡＦＡＲＨ（１）〜（６）と、縦ずれ検知のためにＡＦ枠領域ＡＦＡＲＶ（１）〜（６）が設定される。

ステップＳ１１５では、ユーザーによりマルチコントローラ３３が操作されて、ＡＦ枠が移動されたか否かの判定を行い、移動されていればステップＳ１１４へ戻り、移動されていなければステップＳ１１６へ進む。ここでのＡＦ枠移動は例えば、顔認識がされずＡＦ枠が画面中央に表示されたのに対して、ユーザーが画面中央以外の被写体にピントを合わせたい場合などが考えられる。

ステップＳ１１６では、レリーズボタン３０が半押しされてＳＷ１がＯＮされたか否かの判定を行い、ＯＮされていればステップＳ１１７へ進み、ＯＮされていなければ構図が変更された可能性を考慮してステップＳ１１２へ戻る。

ステップＳ１１７では、撮像面位相差ＡＦルーチンを実行する。

図２２は撮像面位相差ＡＦルーチンのフローチャートである。

ステップＳ１７１では、メモリコントローラ２１により撮像素子６からＡＦ枠領域設定されている各焦点検出領域に含まれる各焦点検出用画素を読み出す。

ステップＳ１７２では、メモリコントローラ２１により図１０又は図１２で説明したセクション構造に基づき、各セクション内の焦点検出用画素を加算し、その加算結果により各セクションのＡＦ画素信号を得る。

ステップＳ１７３では、ＭＰＵ２０によりＡＦ画素信号から相関演算用の２像の信号を生成する。本実施形態においては、図１５に示したＡＦＳＩＧｈ（Ａ３）とＡＦＳＩＧｈ（Ｂ３）、又はＡＦＳＩＧｖ（Ｃ５）とＡＦＳＩＧｖ（Ｄ５）等の６０セクションを連結した対の信号を生成する。

ステップＳ１７４では、ＭＰＵ２０により得られた２像の相関演算を行ない、２像の相対的な位置ずれ量を演算する。
ステップＳ１７５では、ＭＰＵ２０により相関演算結果の信頼性を判定する。

ステップＳ１７６では、ＭＰＵ２０により信頼性の高い検出結果から焦点ずれ量を演算する。ここでＡＦ枠内は１つの焦点ずれ量が決定記憶される。

ステップＳ１７７では、焦点ずれ量をレンズ制御回路２３へ送出して、撮影レンズ３内の不図示のフォーカスレンズ群の合焦駆動を行なう。そして図１８のメインルーチン内のステップＳ１１８にリターンする。

撮像面位相差ＡＦルーチンにおいては、ＡＦ枠領域設定されていない焦点検出領域については、それらの焦点検出領域における焦点ずれ量を演算していない。これは相関演算がＭＰＵ２０で行なう処理の中では比較的時間が掛かるためで、この時点で焦点ずれ量そのものが不必要なＡＦ枠外の焦点検出領域については、データ処理を行なわないことで僅かでもＭＰＵ２０の処理時間を短くするためである。もちろんＭＰＵ２０の処理能力に余裕があれば、各焦点検出領域における各焦点ずれ量を演算して一時記録しておき、ＡＦ枠が移動された場合に素早く合焦駆動出来るようにしても構わない。

図１８のステップＳ１１８では、ＡＦ枠の色を灰色から緑色に変更してＡＦ枠内が合焦したことをユーザーに知らせる。

ステップＳ１１９では、レリーズボタン３０が全押しされてＳＷ２がＯＮされたか否かの判定を行い、ＯＮされていればステップＳ１２０へ進み、ＯＮされていなければＯＮされるまで待機する。

ステップＳ１２０では、ライブビュー撮影ルーチンを実行する。

図２３はライブビュー撮影ルーチンのフローチャートである。

ステップＳ１８１では、メモリコントローラ２１により撮像素子６から画像信号を読み込み、合焦している主被写体及びその周りの測光情報を得る、所謂、撮像面ＡＥ動作を行なう。

ステップＳ１８２では、撮像面ＡＥ結果により演算された撮影露出に従って、レンズ制御回路２３により撮影レンズ３内の不図示の絞りを駆動する。

ステップＳ１８３では、メモリコントローラ２１により撮像素子６に受光されている画像信号をリセットして撮像素子６の受光状態を初期状態、即ち何も撮像されていない状態に戻す。

ステップＳ１８４では、再びメモリコントローラ２１により撮像素子６の受光を行い、画像信号を読み込んでＳＤＲＡＭ４３に一時記録する。

ステップＳ１８５では、メモリコントローラ２１で読み出した画像信号の欠損画素補間を行なう。何故ならば、焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を生成する。生成した画像信号と元の画像信号から欠陥画素補間画像を作成し、ＳＤＲＡＭ４３に一時記録しておく。

ステップＳ１８６では、メモリコントローラ２１で欠陥画素補間画像からサムネイル画像を作成し、ＳＤＲＡＭ４３に一時記録する。

ステップＳ１８７では、撮影画像の記録画質がＪＰＥＧまたはＲＡＷのどちらに選択されているかを判定し、ＪＰＥＧが選択されている場合はＳ１８８へ進み、ＲＡＷが選択されている場合はステップＳ１９０へ進む。

ステップＳ１８８では、ＡＦ画素信号記録ルーチンを実行する。これは図２０のＡＦ画素信号記録ルーチンのフローと同一制御のため、説明を割愛する。

ステップＳ１８９では、欠損画素補完画像を画像処理回路４４でホワイトバランス補正、γ補正、エッジ強調等の画像処理を行ない、画像圧縮／伸張回路４５でＪＰＥＧ形式に従って圧縮し、メモリコントローラ２１により画像圧縮データ部６９に記録する。またサムネイル画像を１ｓｔ ＩＦＤ７７に、焦点ずれ量データをデータ記録領域８５に８５ａのように記録する。更にはカメラの各種設定（シャッタースピード、絞り、レンズ焦点距離等）等をＥｘｉｆルールに則り記録することにより、画像および各種データをＪＰＥＧファイル化する。

ステップＳ１９０では、メモリコントローラ２１によりＳＤＲＡＭ４３に一時記録されている画像信号をＲＡＷデータ９６に９６ａのように記録する。またカメラの各種設定（シャッタースピード、絞り、レンズ焦点距離等）等をＥｘｉｆルールに則り画像付加情報９３に、サムネイル画像をサムネイルデータ９５に記録することにより画像および各種データをＲＡＷファイル化する。

ステップＳ１９１では、ＪＰＥＧファイルまたはＲＡＷファイルとなった画像ファイルをメディア４８に記録する。

ステップＳ１９２では、シャッター駆動回路２７によりシャッター５を閉じる。

ステップＳ１９３では、モータ駆動回路２６により不図示のミラー駆動用モータを制御し、主ミラー４とサブミラー７をミラーダウンする（図１の状態となる）。

ステップＳ１９４では、モータ駆動回路２６により不図示のチャージ用モータを通電制御し、シャッター５をチャージする。そして図１８のメインルーチン内のステップＳ１１０にリターンする。

以上説明したように、本実施形態によれば、画像が撮影された瞬間の焦点検出データを画像ファイル内に記録することが実現できる。その際の画像ファイル形式は、一般的な画像ファイルのＪＰＥＧ形式やユーザーが後から画像処理を行うことでより高画質な画像が得られるＲＡＷ形式のいずれでも可能である。

本実施形態においては、画像ファイル形式はＪＰＥＧとＲＡＷの２つで説明したが、これに限定するものではなく、例えば非圧縮形式のＴＩＦＦやその他の形式でも構わない。またＪＰＥＧとＲＡＷのいずれもＥｘｉｆ形式に準じた説明を行なっているが、画像ファイル内に画像データ（撮像データ）と撮像面位相差ＡＦデータが記録されていれば、いかなる形式でも構わない。またＪＰＥＧファイル内に記録する撮像面位相差ＡＦデータは各焦点検出領域における焦点ずれ量としたが、焦点ずれ量を演算する範囲を焦点検出領域に限定するものでなく、セクション毎等としてもよい。また撮像面位相差ＡＦデータも焦点ずれ量に限定するものではなく、撮影レンズ３の情報と焦点ずれ量から演算されるカメラから被写体までの距離等の測距データとしてもよい。またＲＡＷファイルにおいてはＲＡＷデータ内に焦点検出用画素データが記録されているため、画像付加情報９３内には撮像面位相差ＡＦデータを記録していないが、ＪＰＥＧファイル同様に記録しても構わない。

更に撮像データを画像ファイルに変換する画像処理手段と、画像ファイル内に撮像面位相差ＡＦデータを記録するデータ記録手段の２つの機能を、メモリコントローラ２１の１つの手段で実現しているが、２つ以上の別の手段で実現しても構わない。

本発明は、デジタル一眼レフカメラだけでなく、デジタルコンパクトカメラ、デジタルビデオカメラ、各種検査デジタルカメラ、監視デジタルカメラ、内視鏡デジタルカメラ、ロボット用デジタルカメラ等、撮像素子による位相差ＡＦが可能な撮像装置に適用可能である。また本実施形態に記載された構成要素の配置や数値等は例示的なものであり、本発明の範囲をそれらのみに限定する趣旨のものではない。

（第２の実施形態）
以下、本発明の第２の実施形態を図面を参照しながら説明する。基本構成は第１の実施形態である図１乃至図３と同一であるため説明を割愛し、異なる部分を説明する。

図２４は、第２の実施形態のデジタル一眼レフカメラにおける画像再生時のフローチャートである。

ステップＳ２０１では、再生ボタン３５がＯＮされてカメラは撮影モードから画像再生モードに切り替る。

ステップＳ２０２では、メモリコントローラ２１によりメディア４８に記録された画像ファイルを液晶モニタ１４に表示する。本実施形態においては、メディア４８には第１の実施形態において、図１５の画像がラブビューモードで撮影されてＪＰＥＧファイルで記録されているとする。

ステップＳ２０３では、画像を撮影した際にレンズが合焦動作を行なうために使用したＡＦ枠を画像に重ねて表示する。例えば第１の実施形態の通常モードで撮影された場合は、ＡＦセンサ８で測距した際に用いられたＡＦ枠を表示する。またライブビューモードで撮影された場合は、設定されたＡＦ枠を表示する。ここでは液晶モニタ１４に図１５のように表示がされており、このＡＦ枠内の焦点ずれ量が“０”となるように合焦動作を行い撮影されている。またこのＡＦ枠の位置情報はデータ記録領域８５に記録されており、メモリコントローラ２１により読み出される。

ステップＳ２０４では、マルチコントローラ３３の押し操作が行なわれて、焦点ずれ情報表示モードを開始する。

ステップＳ２０５では、液晶モニタ１４に表示しているＡＦ枠を消去する。

ステップＳ２０６では、焦点検出領域枠を表示する。本実施形態においては第１の実施形態で焦点検出領域を１フィールドとして、そのフィールド毎の焦点ずれ量をＪＰＥＧファイル内に記録しているため、液晶モニタ１４に表示する焦点検出領域枠の大きさも１フィールド分となっている。最初に表示される焦点検出領域枠の位置は、ＡＦ枠内で一番焦点ずれ量の小さい位置とする。

ステップＳ２０７では、表示した焦点検出領域枠の位置における焦点ずれ量をＪＰＥＧファイル６０内のデータ記録領域８５からメモリコントローラ２１により読み出し、液晶モニタ１４に表示する。この時の液晶モニタ１４の状態が図２５である。図２５においては焦点ずれ量を液晶モニタ１４の右下に表示している。

ステップＳ２０８では、マルチコントローラ３３の８方向入力が操作されたか否かを判定し、操作されていなければステップＳ２０９へ進み、されていればステップＳ２１０へ進む。

ステップＳ２０９では、再生モードで使用しない操作ボタン（例えばレリーズボタン３０や電源ボタン３４等）が操作されて再生モードを終了する。

ステップＳ２１０では、マルチコントローラ３３の操作に従って、焦点検出領域枠を移動する。

ステップＳ２１１では、移動した焦点検出領域枠の位置における焦点ずれ量をＪＰＥＧファイル６０内のデータ記録領域８５からメモリコントローラ２１により読み出し、液晶モニタ１４に表示している移動前の焦点ずれ量から置き換える。そして再びステップＳ２０８へ戻る。

以上説明したように、本実施形態によれば、画像ファイル内に記録された撮像面位相差ＡＦデータを、ユーザーが簡単に確認することが実現できる。またユーザーが必要に応じて画像内の任意位置の撮像面位相差ＡＦデータを確認することが実現できる。

本実施形態においては撮像面位相差ＡＦデータの読み出し制御および表示は、撮影したカメラおよびカメラの液晶モニタで行なったが、画像を表示可能な装置（例えばパソコン、メディアスロットを有するプリンタ等）に組み込まれたＪＰＥＧファイル処理ソフトで制御および表示しても構わない。また撮像面位相差ＡＦデータは各焦点検出領域における焦点ずれ量としたが、焦点ずれ量を演算する範囲を焦点検出領域に限定するものでなく、セクション毎等としてもよい。また撮像面位相差ＡＦデータも焦点ずれ量に限定するものではなく、撮影レンズ３の情報と焦点ずれ量から演算されるカメラから被写体までの距離等の測距データとしてもよい。

更に本実施形態に記載された構成要素の配置や数値等は例示的なものであり、本発明の範囲をそれらのみに限定する趣旨のものではない。

（第３の実施形態）
以下、本発明の第３の実施形態を図２６、図２７を参照しながら説明する。

図２６は不図示の画像処理装置（本実施形態においてはパソコンとする）のＲＡＷファイル処理ソフトの基本動作を示すメインフローである。図２７はパソコンのディスプレイ３０１にＲＡＷファイル処理ソフト３０２を表示している状態を示している。

ステップＳ３５１では、パソコンにインストールされたＲＡＷファイル処理ソフト３０２を起動する。図２７のディスプレイ３０１にＲＡＷファイル処理ソフト３０２が表示される。

ステップＳ３５２では、パソコンのＨＤＤ内やパソコンのメディアスロットに挿入されたメディア４８内に記録されているＲＡＷファイル９０から、サムネイルデータ９５を読み出し、図２７のサムネイル画像３０４として一覧表示する。

ステップＳ３５３では、サムネイル画像３０４の中から各種処理を行いたい画像を選択する。例えばパソコンのマウスを操作して、ポインタ３０５を選択したいサムネイル画像３０４の上に移動し、ダブルクリックする。図２７では、サムネイル画像３０４の左端（ＩＭＧ＿０００１）が選択されている。

ステップＳ３５４では、選択されたＲＡＷファイル９０からＲＡＷデータ９６をパソコンのメモリに読み出し、欠陥画素である焦点検出用画素の補間処理を行う。ここでパソコンのメモリはＳＤＲＡＭ４３と同一機能である。また同様にＭＰＵ２０、メモリコントローラ２１の機能はパソコンのＣＰＵが行なう。この欠陥画素補間処理は画像付加情報９３内に記録された焦点検出用画素位置情報９３ａを基にして実施される。

ステップＳ３５５では、選択されたＲＡＷファイル９０から現像用パラメータ９４を読み出し、パラメータに従って、欠陥画素補間された画像を現像する。

ステップＳ３５６では、現像されたＲＡＷ画像を主画像３０３として表示する。

ステップＳ３５７では、選択されたＲＡＷファイル９０から画像付加情報９３を読み出し、付加情報領域３０６に表示する。

ステップＳ３５８では、ＲＡＷファイル処理ソフト３０２のＡＦデータボタン３０７をオンする。例えば、ＡＦデータボタン３０７の上にポインタ３０５を移動してダブルクリックする。

ステップＳ３５９では、主画像３０３の上にＡＦ枠３０９を表示する。最初に表示されるＡＦ枠３０９の位置およびサイズは、画像を撮影した際にレンズが合焦動作を行なうために使用したＡＦ枠に従う。ここでは第１の実施形態の図１５のライブビューモードで撮影されたとして、図１５で設定されたＡＦ枠の位置とサイズで表示している。またこのＡＦ枠の情報は、画像付加情報９３に記録されている。図２７では、ＡＦ枠３０９の位置およびサイズが変更可能状態であることを示すため、ＡＦデータボタン３０７の文字表示が反転表示されている。

ステップＳ３６０では、ＡＦ枠３０９内にある各焦点検出領域に含まれる各焦点検出用画素のデータを読み出す。

ステップＳ３６１では、図１０又は図１２で説明したセクション構造に基づき、各セクション内の焦点検出用画素を加算し、その加算結果により各セクションのＡＦ画素信号を得る。

ステップＳ３６２では、ＡＦ画素信号から相関演算用の２像の信号を生成する。

ステップＳ３６３では、得られた２像の相関演算を行ない、２像の相対的な位置ずれ量を演算する。

ステップＳ３６４では、焦点ずれ量を演算する。

ステップＳ３６５では、焦点ずれ量３０８を表示する。図２７では、ＡＦ枠３０９が撮影時のＡＦ枠と同一のため焦点ずれ量が“０ｍｍ”と表示されている。

ステップＳ３６６では、ＡＦ枠３０９の位置およびサイズが変更されたか否かを判定する。変更されればステップＳ３６０へ進み、変更された位置およびサイズに従って焦点ずれ量を再演算し表示する（ステップＳ３６０〜ステップＳ３６５）。変更されなければステップＳ３６７へ進む。ＡＦ枠３０９の位置およびサイズの変更方法は例えば、ＡＦ枠３０９の枠線上にポインタ３０５を置いてドラックすると主画面３０３上の好きな場所に移動できる。またＡＦ枠３０９の４角にポインタ３０５を置いてドラックすると、その角を構成する２本の枠線だけが移動してＡＦ枠３０９の大きさが変更される。例えば、ＡＦ枠３０９ａのようにＡＦ枠の位置およびサイズが変更できる。

ステップＳ３６７では、ＡＦデータボタン３０７をオフする。オフされるとＡＦ枠３０９は主画像３０３上から消去される。

ステップＳ３６８では、主画像３０３に対して各種画像処理が行なわれたか否かを判定し、画像処理が行われればステップＳ３６９へ進み、行なわれなければステップＳ３７３へ進む。画像処理は画像処理メニューボタン３１０をオンすると不図示のメニュー画面が表示され、その中からユーザーの意図に合ったメニューを選択して実施する。

ステップＳ３６９では、各種画像処理が施された画像を保存するためのファイル保存ボタン３１１がオンされる。

ステップＳ３７０では、ＡＦ画素信号記録ルーチンを実行する。このルーチンは第１の実施形態の図２０のＡＦ画素信号記録ルーチンのフロー（ステップＳ１５１からステップＳ１５６まで）と基本的には同じであるため、詳細説明は割愛する。本実施形態では図２０の説明において、ＭＰＵ２０、メモリコントローラ２１で説明された機能をパソコンのＣＰＵが、ＳＤＲＡＭ４３で説明された機能をパソコンのメモリが、それぞれ代わりに機能している。

ステップＳ３７１では、画像処理を施した画像をＪＰＥＧ形式に従って圧縮し、画像圧縮データ部６９に記録する。またサムネイルデータ９５を１ｓｔ ＩＦＤ７７に、焦点ずれ量データをデータ記録領域８５に８５ａのように記録する。更にはカメラの各種設定（シャッタースピード、絞り、レンズ焦点距離等）をＥｘｉｆルールに則り記録することにより、画像および各種データをＪＰＥＧファイル化する。ここではファイル化はＪＰＥＧ形式として説明したが、ＴＩＦＦ形式やその他の画像ファイル形式でも構わない。

ステップＳ３７２では、ＪＰＥＧファイルとなった画像ファイルをメディア４８またはパソコンのＨＤＤに記録する。

ステップＳ３７３では、終了ボタン３１２が操作されたか否かを判定し、操作されればＲＡＷファイル処理ソフト３０２を終了し、操作されなければステップＳ３５３へ進み、引き続き別の画像処理を行なう。

以上説明したように、本実施形態によれば、画像ファイル内に記録された撮像面位相差ＡＦデータを、ユーザーが簡単に確認することが実現できる。またユーザーが必要に応じて画像内の任意位置の撮像面位相差ＡＦデータを確認することが実現できる。

本実施形態においては撮像面位相差ＡＦデータの演算処理や表示をパソコンおよびパソコンに組み込まれたＲＡＷファイル処理ソフトで行なったが、デジタルカメラや画像を表示可能な装置であればどんな形態でも構わない。また撮像面位相差ＡＦデータは各焦点検出領域における焦点ずれ量としたが、焦点ずれ量を演算する範囲を焦点検出領域に限定するものでなく、セクション毎等としてもよい。また撮像面位相差ＡＦデータも焦点ずれ量に限定するものではなく、撮影レンズ３の情報と焦点ずれ量から演算されるカメラから被写体までの距離等の測距データとしてもよい。

更に本実施形態に記載された構成要素の配置や数値等は例示的なものであり、本発明の範囲をそれらのみに限定する趣旨のものではない。

６ 撮像素子
１４ 液晶モニタ
２０ ＭＰＵ
２１ メモリコントローラ
３３ マルチコントローラ
４３ ＳＤＲＡＭ
６０ ＪＰＥＧ圧縮方式の画像ファイル構造
８５ データ記録領域（Ｖａｌｕｅ ｏｆ Ｅｘｉｆ ＩＦＤ）
９０ ＲＡＷデータ形式の画像ファイル構造
９６ ＲＡＷデータ
３０２ ＲＡＷファイル処理ソフト

Claims (13)

1. 撮影レンズの全射出瞳領域のうちの一部である第１の射出瞳領域からの被写体像を光電変換する第１の画素群と、前記撮影レンズの全射出瞳領域のうちの一部である前記第１の射出瞳領域とは異なる第２の射出瞳領域からの被写体像を光電変換する第２の画素群と、前記撮影レンズの少なくとも前記第１の射出瞳領域及び前記第２の射出瞳領域を含む射出瞳領域からの被写体像を光電変換する撮像用の第３の画素群とを有する撮像素子と、
   前記第１の画素群から得られる第１の像信号と前記第２の画素群から得られる第２の像信号とを用いて前記撮影レンズの焦点情報の検出を行なう焦点検出手段と、
   前記撮像素子の前記第３の画素群により光電変換され撮像された画素データと、前記第１の画素群と第２の画素群の各画素に対応する位置の画素データであって該各画素の周囲の前記第３の画素群の画素データで補間して生成された画素データと、を含む撮像データを、記録して保存するための画像ファイルに変換する画像処理手段と、
   前記第１の画素群、第２の画素群により光電変換され検出された検出データを記録するデータ記録手段とを備え、
   前記記録手段は、前記画像ファイルから焦点情報を取得可能なように当該画像ファイル内に前記第１の画素群、第２の画素群により光電変換されたデータを前記検出データとして記録する第１のモードと、前記第１の画素群、第２の画素群により光電変換されたデータを用いて測距演算を行った結果を前記検出データとして前記画像ファイル内に記録する第２のモードとを有することを特徴とする撮像装置。
2. 前記撮像データと前記検出データとを、前記画像ファイル内の異なる領域に記録することを特徴とする請求項１に記載の撮像装置。
3. 前記第１のモードでは、前記撮像データは、前記撮像素子から出力された信号をＡ／Ｄ変換した後のＲＡＷデータであることを特徴とする請求項２に記載の撮像装置。
4. 前記第２のモードでは、前記撮像データは、前記撮像素子から出力された信号をＡ／Ｄ変換した後、前記撮像装置の設定値に従って画像処理を施した画像データであることを特徴とする請求項２に記載の撮像装置。
5. 前記画像データは、圧縮処理を施された画像データであることを特徴とする請求項４に記載の撮像装置。
6. 前記画像データは、圧縮処理を施されていない画像データであることを特徴とする請求項４に記載の撮像装置。
7. 前記第１のモードでは、前記検出データは、前記第１及び第２の画素群の出力データであることを特徴とする請求項２に記載の撮像装置。
8. 前記ＲＡＷデータ内には前記第１及び第２の画素群の出力データが記録されていることを特徴とする請求項３に記載の撮像装置。
9. 前記第２のモードでは、前記検出データは、前記第１及び第２の画素群の出力データから演算された測距データであることを特徴とする請求項２に記載の撮像装置。
10. 前記検出データを、Ｅｘｉｆ形式の画像ファイル内の付属情報記録領域に記録することを特徴とする請求項２に記載の撮像装置。
11. 前記第１及び第２の画素群の位置情報を、前記画像ファイル内に記録することを特徴とする請求項２に記載の撮像装置。
12. 前記第１及び第２の画素群の位置情報を、Ｅｘｉｆ形式の画像ファイルの付属情報記録領域に記録することを特徴とする請求項１１に記載の撮像装置。
13. 撮影レンズの全射出瞳領域のうちの一部である第１の射出瞳領域からの被写体像を光電変換する第１の画素群と、前記撮影レンズの全射出瞳領域のうちの一部である前記第１の射出瞳領域とは異なる第２の射出瞳領域からの被写体像を光電変換する第２の画素群と、前記撮影レンズの少なくとも前記第１の射出瞳領域及び前記第２の射出瞳領域を含む射出瞳領域からの被写体像を光電変換する撮像用の第３の画素群とを有する撮像素子と、を備える撮像装置を制御する方法であって、
    前記第１の画素群から得られる第１の像信号と前記第２の画素群から得られる第２の像信号とを用いて前記撮影レンズの焦点情報の検出を行なう焦点検出工程と、
    前記撮像素子の前記第３の画素群により光電変換され撮像された画素データと、前記第１の画素群と第２の画素群の各画素に対応する位置の画素データであって該各画素の周囲の前記第３の画素群の画素データで補間して生成された画素データと、を含む撮像データを、記録して保存するための画像ファイルに変換する画像処理工程と、
    前記第１の画素群、第２の画素群により光電変換され検出された検出データを記録するデータ記録工程とを備え、
    前記記録工程は、前記画像ファイルから焦点情報を取得可能なように当該画像ファイル内に前記第１の画素群、第２の画素群により光電変換されたデータを前記検出データとして記録する第１のモードと、前記第１の画素群、第２の画素群により光電変換されたデータを用いて測距演算を行った結果を前記検出データとして前記画像ファイル内に記録する第２のモードとを有することを特徴とする撮像装置の制御方法。

Images