JP6014631B2 - 撮像装置及びその制御方法及びプログラム - Google Patents

Description

本発明は撮像面に配置された焦点検出用画素により、位相差検出方式のオートフォーカスが可能な撮像装置に関する。

デジタルカメラの機能の一つに、記録メディアに記録された画像ファイルをデジタルカメラの液晶モニタや、デジタルカメラと接続したテレビやパソコンのモニタに自動再生するスライドショー機能がある。しかしながら、記録された画像ファイルの中にはピントが合っていない画像が混ざっている場合がある。そのピントが合っていない失敗画像はユーザーにとってはスライドショーでの自動再生が不要である。そのため再生時に、画像ファイルに記録されている撮影直前の測距データを用いて、被写体にピントが合っている（合焦している）か否かの解析を行っている。そしてピントが合っていない（非合焦）と判断された画像ファイルはスキップして、合焦している画像ファイルのみ再生するようにしたデジタルカメラが提案されている（特許文献１参照）。

また記録メディアに記録された画像ファイルをデジタルカメラと接続したプリンターに自動印刷する機能もある。この場合もスライドショーと同様に、失敗画像の印刷はユーザーにとっては無駄であるため、画像ファイルの合焦箇所を自動判定して無駄な印刷を防止するデジタルカメラが提案されている（特許文献２参照）。

特開２００３−７８８５９号公報 特開２００４−１８６８７２号公報

しかしながら、特許文献１においては、測距データは撮影直前のデータである。そのため、被写体が動体の場合は測距から撮影されるまでのタイムラグにより、測距データでは合焦していても実際の画像ファイルに写っている被写体はピントが合っていない場合がある。

また、特許文献２においては、画像ファイルの周波数スペクトルを解析し、画像内で閾値以上の周波数成分を最も多く持つ箇所を合焦箇所と判定しているため、画面を大まかに分割してその領域毎の合焦状態しか分からない。被写体部分のみ等の詳細領域毎に合焦状態を判定しようとすると、解析負荷が多くなり判定する時間が掛かり過ぎるため、自動印刷のタイミングに合わせて処理することができないといった問題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、画像を再生する場合や印刷する場合に、非合焦の画像の再生や印刷を防止できるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる画像処理装置は、撮像用画素から出力された信号に基づいて生成された画像データと、当該画像データ取得と同タイミングの露光で焦点検出用画素から出力された信号に基づいて生成された第１の焦点検出情報と、前記露光の前に行った焦点検出で用いた焦点検出領域の位置に関する情報である第２の焦点検出情報とを含むファイルから当該情報を読み出し可能な読出手段と、
前記読出手段によって読み出された画像の特定領域を検知するとともに、当該検知ができないと判定したときは前記読出手段によって読み出された画像から前記第２の焦点検出情報に対応した領域を取得し、当該検知または取得された領域に対応する焦点検出情報を前記読出手段によって読み出し、当該読み出された焦点検出情報に基づいて合焦しているか否かを判定する判定手段と、前記判定手段により合焦していると判定された場合に、前記読出手段によって読み出された画像を出力し、前記判定手段により合焦していないと判定された場合に、前記読出手段によって読み出された画像を出力しない出力手段と、を備えることを特徴とする。

本発明によれば、画像を再生する場合や印刷する場合に、非合焦の画像の再生や印刷を防止することが可能となる。

本発明の第１の実施形態のデジタル一眼レフカメラの断面図。 第１の実施形態のデジタルカメラの制御系のブロック図。 ライブビュー時の撮像面位相差ＡＦ動作の説明図。 Ｅｘｉｆ圧縮形式の画像ファイルフォーマット構造を示す図。 ＲＡＷデータ形式の画像ファイルフォーマット構造を示す図。 第１の実施形態のデジタルカメラの基本動作を示すフローチャート。 図６に示す通常撮影ルーチンの詳細を説明するフローチャート。 図６に示すライブビュー表示ルーチンの詳細を説明するフローチャート。 図６に示すライブビュー撮影ルーチンの詳細を説明するフローチャート。 第１の実施形態のデジタルカメラの画像再生動作を示すフローチャート。 デジタルカメラの液晶モニタでの合焦画像再生表示、及び非合焦画像再生表示を示す図。 デジタルカメラにおけるスライドショー時のフローチャート。 画像処理装置における画像処理ソフトの基本動作を示すメインフローチャート。 画像処理装置のディスプレイに画像処理ソフトが表示された状態を示す図。

（第１の実施形態）
以下、本発明の第１の実施形態を図面を参照しながら説明する。図１は、本実施形態のデジタル一眼レフカメラ（撮像装置）の断面図である。図１において、１はカメラ本体、２は後述の撮影レンズ３をカメラ本体１に着脱可能とするためのマウントであり、各種信号を通信したり、駆動電源を供給したりするためのインターフェース部を有する。３は交換可能な撮影レンズであり、内部にフォーカスレンズ群やズームレンズ群、不図示の絞り装置を有している。図１では、各レンズ群を便宜上１枚のレンズで図示しており、例えば、フォーカスレンズ群をフォーカスレンズ３ａとして示している。しかし、実際には多数のレンズにより複雑なレンズ群の組み合わせで構成されている。なお、図１では、フォーカスレンズ３ａを撮影レンズ３の前側に配置しているが、本発明は、フォーカスレンズ３ａを撮影レンズ３の前側に配置する構成に限定されるものではない。

４はハーフミラーで構成された主ミラーであり、カメラの動作状態に応じて回動可能となっている。主ミラー４は、被写体をファインダーで観察する時は、図１（ａ）に示されるように撮影光路へ斜設され、撮影レンズ３からの光束を折り曲げて後述のファインダー光学系へ導く。主ミラー４は、撮影時やライブビュー時は、図１（ｂ）に示されるように撮影光路から退避して、撮影レンズ３からの光束を後述の撮像素子６へ導く。５は撮影レンズ３からの光束を後述の撮像素子６に入射制御するためのシャッターで、通常は図１（ａ）に示されるように閉じた状態で、撮影時やライブビュー時に図１（ｂ）に示されるように開いた状態となる。

６はＣＭＯＳイメージセンサとその周辺回路で構成された撮像素子である。撮像素子６は、全画素独立出力が可能なように構成されている。また一部の画素が焦点検出用画素となっており、撮像面で位相差検出方式の焦点検出（撮像面位相差ＡＦ）が可能となっている。より具体的には、撮像素子６は、被写体の像を形成する撮影レンズ３の射出瞳の全域を通る光を各々が受光して被写体の像を生成する複数の撮像用画素を有する。更に撮像素子６は、各々が撮影レンズ３の射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素も有する。複数の焦点検出用画素は全体として撮影レンズ３の射出瞳の全域を通る光を受光することができる。またこの撮像素子６は、受光画素上にベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサである。

７は主ミラー４とともに回動するサブミラーであり、図１（ａ）のように主ミラー４が撮影光路へ斜設されている時に、主ミラー４を透過した光束を後述のＡＦセンサ８に向かって折り曲げてＡＦセンサ８へ導く。サブミラー７は、撮影時やライブビュー時は図１（ｂ）のように主ミラー４と共に回動して撮影光路から退避する。サブミラー７はハーフミラーではなく撮像素子６を遮光する。８はＡＦセンサであり、２次結像レンズや複数のＣＣＤ又はＣＭＯＳセンサからなるエリアセンサ等から構成されており、位相差ＡＦ（オートフォーカス）が可能となっている。

９は撮影レンズ３の一次結像面に配置されたピント板であり、入射面にはフレネルレンズ（集光レンズ）が設けられ、射出面には被写体像（ファインダー像）が結像している。１０はファインダー光路変更用のペンタプリズムであり、ピント板９の射出面に結像した被写体像を正立正像に補正する。１１、１２は接眼レンズである。ここで、ピント板９、ペンタプリズム１０、接眼レンズ１１、１２により構成されている光学系をファインダー光学系と称する。

１３は自動露光（ＡＥ）センサであり、多分割された撮像領域内の各領域に対応したフォトダイオードから構成されており、ピント板９の射出面に結像した被写体像の輝度を測定する。１４は撮影した画像や各種の撮影情報を表示する液晶モニタ（表示部）である。液晶モニタ１４は、ライブビューモード時に撮像素子６が撮像した被写体の像（被写体像）を逐次表示すると共に、後述するＡＦ枠設定部としてのマルチコントローラ３３が設定可能なＡＦ枠とマルチコントローラ３３が設定したＡＦ枠を表示する。

図２は本実施形態のデジタル一眼レフカメラの制御系のブロック図である。２０はカメラ部の制御とカメラ全体の制御を行うマイクロコンピュータ（中央処理装置；以下、「ＭＰＵ」と称す）である。ＭＰＵ（制御部）２０は、後述する枠設定部であるマルチコントローラ３３が設定したＡＦ枠内の焦点検出用画素の出力信号を演算することによってＡＦ枠に対して位相差ＡＦを行って焦点検出枠内の焦点ずれ量を算出する。

２１は画像データの各種制御を行うメモリコントローラ、２２は各種制御を行うための設定、調整データ等を格納しているＥＥＰＲＯＭである。２３は撮影レンズ３内にあるレンズ制御回路であり、マウント２を介してＭＰＵ２０と接続されており、後述の各情報に基づいて不図示のフォーカスレンズ群の焦点調節（合焦駆動）や不図示の絞り駆動を行う。

２４は焦点検出回路であり、ＡＦセンサ８の蓄積制御と読み出し制御とを行って、各焦点検出点の画素情報をＭＰＵ２０に出力する。ＭＰＵ２０は各焦点検出点の画素情報を用いて周知の位相差ＡＦを行い、検出した焦点検出情報をレンズ制御回路２３へ送出して不図示のフォーカスレンズ群の焦点調節を行う。この焦点検出から焦点調節までの一連の動作をＡＦ動作と称する。

２５は測光回路であり、ＡＥセンサ１３の各領域からの輝度信号をＭＰＵ２０に出力する。ＭＰＵ２０は、輝度信号をＡ／Ｄ変換して被写体の測光情報とし、この測光情報を用いて撮影露出を演算し設定する。この測光情報を得てから撮影露出の設定までの一連の動作をＡＥ動作と称する。２６はモータ駆動回路であり、主ミラー４を駆動する不図示のモータやシャッター５のチャージを行う不図示のモータを制御する。２７はシャッター駆動回路であり、シャッター５を開閉するための不図示のコイルへの電力供給制御を行う。２８は電源２９の電圧を各回路に必要な電圧に変換するＤＣ／ＤＣコンバータである。

３０はレリーズボタンであり、ＳＷ１とＳＷ２の信号をＭＰＵ２０へ出力する。ＳＷ１は、レリーズボタン３０の第１ストローク（半押し）操作でＯＮし、測光（ＡＥ）、ＡＦ動作を開始させるためのスイッチである。ＳＷ２は、レリーズボタン３０の第２ストローク（全押し）操作でＯＮし、露光動作を開始させるためのスイッチである。３１はモードボタンであり、ボタン操作後、後述の電子ダイヤル３２やマルチコントローラ３３を操作すると、その入力に応じて各種モードが変更され、再度ボタンを操作すると決定される。例えば撮影画像の記録画質の種類等が変更可能である。３２は電子ダイヤルであり、ダイヤルの回転クリックに応じたＯＮ信号がＭＰＵ２０内の不図示のアップダウンカウンタに出力され、その数がカウントされる。このカウントに応じて各種の数値やデータ等の選択が行われる。

３３はマルチコントローラ（ＭＣ）であり、後述するライブビュー時に液晶モニタ１４に表示されるＡＦ枠（焦点検出枠）や各種モードを選択、決定するために用いられる入力装置である。マルチコントローラ３３は、上下左右、斜め右上、斜め右下、斜め左上、斜め左下の８方向の入力と、押し操作による入力を行うことができる。マルチコントローラ３３は、ライブビューモードを設定するモード設定部として機能する。また、マルチコントローラ３３は、焦点検出の対象であるＡＦ枠を撮像素子６の撮像領域の任意の位置に設定する枠設定部としても機能する。３４は電源ボタンであり、操作するとカメラの電源がＯＮ／ＯＦＦされる。３５は再生ボタンであり、操作すると後述のメディア４８内に記録された画像を液晶モニタ１４に表示する。

４０は撮像素子６から出力される画像信号をサンプルホールド及び自動ゲイン調整するＣＤＳ（相関２重サンプリング）／ＡＧＣ（自動ゲイン調整）回路である。４１はＣＤＳ／ＡＧＣ回路４０のアナログ出力をデジタル信号に変換するＡ／Ｄ変換器である。４２はＴＧ（タイミング発生）回路であり、撮像素子６に駆動信号を、ＣＤＳ／ＡＧＣ回路４０にサンプルホールド信号を、Ａ／Ｄ変換器４１にサンプルクロック信号を供給する。

４３はＡ／Ｄ変換器４１でデジタル変換された画像等を一時的に記録するためのＳＤＲＡＭ（メモリ）である。ＳＤＲＡＭ４３は、撮像素子６の撮像領域の全域の焦点検出用画素の出力信号を記録することができる。あるいは、ＳＤＲＡＭ４３は、撮像素子６の撮像領域の全域に対して位相差ＡＦを行って算出された焦点ずれ量を記録する。

４４は画像に対して、Ｙ／Ｃ（輝度信号／色差信号）分離、ホワイトバランス補正、γ補正等を行う画像処理回路である。４５は画像をＪＰＥＧ等の形式に従って圧縮したり、圧縮された画像の伸張を行う画像圧縮／伸張回路である。ここでメモリコントローラ２１は、撮像素子６から出力される画像信号を画像処理回路４４で画像処理することにより、被写体の測光情報を得ることが可能である。４６はＳＤＲＡＭ４３や後述するメディア４８に記録された画像を液晶モニタ１４に表示するために、画像をアナログ信号に変換するＤ／Ａ変換器である。４７は画像を記録保存するためのメディア４８とのＩ／Ｆ（インターフェース）である。４９はＵＳＢ接続可能なプリンター５０等の外部機器を接続するためのＵＳＢインターフェースである。

続いて、撮像素子６による撮像面位相差ＡＦについて大まかに説明する。詳細については、本願出願人が出願した特開２００９−００３１２２号公報等で説明しているため、本実施形態では割愛する。本実施形態においては、画素ピッチが８μｍ、有効画素数が縦３０００行×横４５００列＝１３５０万画素、撮像画面サイズが横３６ｍｍ×縦２４ｍｍの撮像素子を例に挙げて説明する。また撮像面位相差ＡＦを撮像素子６の全領域で行うために、焦点検出用画素を有効画素内に離散的に配置してある。その配置規則単位として、１００行×１００列＝１万画素で構成された画素領域をフィールドと称する。

図３はライブビュー時の撮像面位相差ＡＦ動作を説明する図で、ライブビュー時に液晶モニタ１４に画像が表示されている状態を示している。撮像面に形成された被写体像には、中央に人物、左下に近景の柵、右上に遠景の山が写っており、それらが画面に表示されている。また画面中央にはＡＦ枠が表示されている。本実施形態では一例として、ＡＦ枠は横方向に６フィールド、縦方向に６フィールドの大きさに設定されている。更にＡＦ枠はマルチコントローラ３３の入力信号に従って、撮像領域内の任意位置に移動可能となっている。撮像素子６上においては、一番左上のフィールドをＦＬＤ（ｑ，ｒ）＝ＦＬＤ（１，１）とする。本実施形態においては有効画素数が縦３０００行×横４５００列＝１３５０万画素なので、前述のフィールドは垂直方向に３０個、水平方向に４５個配列され、撮像領域は１３５０個のフィールドで構成されている。

図３においては画面中央に人物の顔が存在している。そこで公知の顔認識技術によって顔の存在が検出されると、顔領域と検知された部分にＡＦ枠が表示され、ＡＦ枠内の焦点検出が行なわれる。まず横ずれ方向の焦点検出のためにＡＦ枠領域ＡＦＡＲＨ（１）〜（６）と、縦ずれ方向の焦点検出のためにＡＦ枠領域ＡＦＡＲＶ（１）〜（６）が設定される。図３では、横ずれ方向の焦点検出及び縦ずれ方向の焦点検出のためのＡＦ枠領域をＡＦＡＲＨ（３）とＡＦＡＲＶ（５）として１領域ずつ示しており、他のそれぞれ５領域は図示を割愛している。

横ずれ方向の焦点検出のためのＡＦ枠領域ＡＦＡＲＨ（１）は、ＡＦ枠内の上から１行目のフィールドＦＬＤ（１３，２１）からフィールドＦＬＤ（１３，２６）までの６フィールド分を連結している。ＡＦ枠領域ＡＦＡＲＨ（２）は、ＡＦ枠内の上から２行目のフィールドＦＬＤ（１４，２１）からフィールドＦＬＤ（１４，２６）までを連結している。ＡＦ枠領域ＡＦＡＲＨ（３）は、ＡＦ枠内の上から３行目のフィールドＦＬＤ（１５，２１）からフィールドＦＬＤ（１５，２６）までを連結している。ＡＦ枠領域ＡＦＡＲＨ（４）は、ＡＦ枠内の上から４行目のフィールドＦＬＤ（１６，２１）からフィールドＦＬＤ（１６，２６）までを連結している。ＡＦ枠領域ＡＦＡＲＨ（５）は、ＡＦ枠内の上から５行目のフィールドＦＬＤ（１７，２１）からフィールドＦＬＤ（１７，２６）までを連結している。ＡＦ枠領域ＡＦＡＲＨ（６）は、ＡＦ枠内の上から６行目のフィールドＦＬＤ（１８，２１）からフィールドＦＬＤ（１８，２６）までを連結している。

縦ずれ方向の焦点検出のためのＡＦ枠領域ＡＦＡＲＶ（１）は、ＡＦ枠内の左から１列目のフィールドＦＬＤ（１３，２１）からフィールドＦＬＤ（１８，２１）までの６フィールド分を連結している。ＡＦ枠領域ＡＦＡＲＶ（２）は、ＡＦ枠内の左から２列目のフィールドＦＬＤ（１３，２２）からフィールドＦＬＤ（１８，２２）までを連結している。ＡＦ枠領域ＡＦＡＲＶ（３）は、ＡＦ枠内の左から３列目のフィールドＦＬＤ（１３，２３）からフィールドＦＬＤ（１８，２３）までを連結している。ＡＦ枠領域ＡＦＡＲＶ（４）は、ＡＦ枠内の左から４列目のフィールドＦＬＤ（１３，２４）からフィールドＦＬＤ（１８，２４）までを連結している。ＡＦ枠領域ＡＦＡＲＶ（５）は、ＡＦ枠内の左から５列目のフィールドＦＬＤ（１３，２５）からフィールドＦＬＤ（１８，２５）までを連結している。ＡＦ枠領域ＡＦＡＲＶ（６）は、ＡＦ枠内の左から６列目のフィールドＦＬＤ（１３，２６）からフィールドＦＬＤ（１８，２６）までを連結している。

横ずれ方向の焦点検出のためのＡＦ枠領域ＡＦＡＲＨ（３）内に含まれる焦点検出用画素を加算し、連結した位相差検出用のＡ像信号がＡＦＳＩＧＨ（Ａ３）である。同様に、焦点検出用画素を加算し、連結した位相差検出用のＢ像信号がＡＦＳＩＧｈ（Ｂ３）である。Ａ像信号ＡＦＳＩＧＨ（Ａ３）とＢ像信号ＡＦＳＩＧＨ（Ｂ３）の相対的な横ずれ量を公知の相関演算によって演算することで、被写体の焦点ずれ量を求める。ＡＦ枠領域ＡＦＡＲＨ（１）〜（６）それぞれで被写体の焦点ずれ量を求める。

縦ずれ方向の焦点検出のためのＡＦ枠領域ＡＦＡＲＶ（５）についても同様である。即ち、焦点検出用画素を加算し、連結した位相差検出用のＣ像信号がＡＦＳＩＧＶ（Ｃ５）である。また、焦点検出用画素を加算し、連結した位相差検出用のＤ像信号がＡＦＳＩＧＶ（Ｄ５）である。そしてＣ像信号ＡＦＳＩＧＶ（Ｃ５）とＤ像信号ＡＦＳＩＧＶ（Ｄ５）の相対的な横ずれ量を公知の相関演算によって演算することで、被写体の焦点ずれ量を求める。ＡＦ枠領域ＡＦＡＲＶ（１）〜（６）それぞれで被写体の焦点ずれ量を求める。

そして横ずれ及び縦ずれのＡＦ枠領域で検出した計１２の焦点ずれ量を比較し、信頼性の高い値を採用することで、ＡＦ枠内の焦点ずれ量を求めることができる。ここで信頼性とは、２像の一致度を指し、２像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで複数の焦点検出領域の焦点検出結果がある場合は、信頼性の高い情報を優先的に使用する。また信頼性ではなく、計１２の焦点ずれ量の平均値としたり、それらの中の最至近値とする等の方法でＡＦ枠内の焦点ずれ量を決めても構わない。

一方、画面左下の柵部分にＡＦ枠を移動した時は、同様に横ずれ方向の焦点検出及び縦ずれ方向の焦点検出のためにＡＦ枠領域を再設定して被写体の焦点ずれ量を求めることができる。しかし、柵部分は縦線成分が主体、即ち、横方向に輝度分布を有しているため、横ずれ方向の焦点検出に適した被写体と判断することができる。このため、横ずれ方向の焦点検出のためのＡＦ枠領域ＡＦＡＲＨ（ｎ）だけを設定して、ＡＦ枠領域ＡＦＡＲＨ（３）と同様に、Ａ像信号とＢ像信号から横ずれ量を演算して、被写体の焦点ずれ量を求めることもできる。

また画面右上の山部分にＡＦ枠を移動した時も、上記同様に横ずれ方向の焦点検出及び縦ずれ方向の焦点検出のためにＡＦ枠領域を設定して被写体の焦点ずれ量を求めることができる。しかし、山の稜線は横線成分が主体、即ち、縦方向に輝度分布を有しているため、縦ずれ方向の焦点検出に適した被写体と判断することができる。このため、縦ずれ方向の焦点検出のためのＡＦ枠領域ＡＦＡＲＶ（ｎ）だけを設定して、ＡＦ枠領域ＡＦＡＲＶ（５）と同様に、Ｃ像信号とＤ像信号から縦ずれ量を演算して、被写体の焦点ずれ量を求めることもできる。

ここではＡＦ枠領域を設定した前提で焦点ずれ量を求める説明を行なった。しかし、ＡＦ枠領域を設定しなくても、撮像領域の全領域においてＡ像信号とＢ像信号から横ずれ量を、Ｃ像信号とＤ像信号から縦ずれ量を演算してもよい。そして、全領域の焦点検出結果から信頼性の高い情報を基にして、被写体の焦点ずれ量を求めることも可能である。即ち、顔認識により主被写体と判断された画面中央の人物の顔部分の焦点ずれ量を求めると同時に、撮像領域内にある他の被写体（画面左下の柵や画面右上の山）の焦点ずれ量も求めることが可能である。

続いて、撮影情報を画像ファイルに記録する方法について説明する。図４はＥｘｉｆ圧縮形式の画像ファイルフォーマット構造を示した図である。６０はＪＰＥＧ圧縮方式の画像ファイルで、ファイルの先頭を表すＳＯＩマーカ６１から始まり、Ｅｘｉｆ付属情報を記録するアプリケーションマーカセグメント１（ＡＰＰ１）６２、Ｅｘｉｆ拡張データを記録するアプリケーションマーカセグメント２（ＡＰＰ２）６３、量子化テーブルマーカセグメント（ＤＱＴ）６４、ハフマンテーブルマーカセグメント（ＤＨＴ）６５、リスタートマーカセグメント（ＤＲＩ）６６、フレームヘッダマーカセグメント（ＳＯＦ）６７、スキャンヘッダマーカセグメント（ＳＯＳ）６８、画像圧縮データ（Ｃｏｍｐｒｅｓｓｅｄ Ｄａｔａ）６９、ファイルの終端を表すＥＯＩマーカ７０の順番で構成されている。

ＡＰＰ１（６２）の内部構造は、アプリケーション領域であることを表すＡＰＰ１マーカ７１から始まり、その大きさを表すＬｅｎｇｔｈ７２、Ｅｘｉｆ識別コード７３、付属情報本体から構成されている。付属情報はＦｉｌｅ Ｈｅａｄｅｒ７４を含むＴＩＦＦの構造をとり、圧縮されている画像（主画像）に関する付属情報を記録する０ｔｈ ＩＦＤ７５、０ｔｈ ＩＦＤにＥｘｉｆ固有の付属情報を記録するＥｘｉｆ ＩＦＤ７６、サムネイル画像を記録する１ｓｔ ＩＦＤ７７で構成されている。

Ｅｘｉｆ ＩＦＤ７６に記録される付属情報のタグ構造は、Ｅｘｉｆ Ｖｅｒｓｉｏｎタグ８１から始まり、メーカーが個別の情報を記録可能なＭａｋｅｒ Ｎｏｔｅタグ８２、ユーザーが個別の情報を記録可能なＵｓｅｒ Ｃｏｍｍｅｎｔタグ８３、ＩＦＤへのポインタ（Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｙ ＩＦＤ Ｐｏｉｎｔｅｒ）８４、実際にデータを記録する領域（Ｖａｌｕｅ ｏｆ Ｅｘｉｆ ＩＦＤ）８５で構成されている。

８５ａは撮像面位相差ＡＦデータ記録の一例で、撮像面位相差ＡＦによる各焦点検出領域毎の焦点ずれ量（測距データ）を記録している。まずはＭａｋｅｒ Ｎｏｔｅタグ８２内に焦点ずれ量データ８５ａがデータ記録領域８５のどの領域に記録されているかの情報が記録されている。焦点ずれ量データ８５ａは図３において撮像面の左上の焦点検出領域、即ちフィールドＦＬＤ（１，１）から記録を開始し、撮像面の右下の焦点検出領域、即ちフィールドＦＬＤ（３０，４５）までを記録し終了する。記録順はフィールドＦＬＤ（１５，２１）、フィールドＬＤ（１５，２２）、フィールドＦＬＤ（１５，２３）、フィールドＦＬＤ（１５，２４）、フィールドＦＬＤ（１５，２５）、フィールドＦＬＤ（１５，２６）と水平方向のフィールドから記録し、その水平方向の行が終了すると垂直方向の次の行のフィールドを記録している。

図５はＲＡＷデータ形式の画像ファイルフォーマット構造を示した図である。ここでＲＡＷデータとは、撮像素子６から出力された画像信号をＡ／Ｄ変換器４１でデジタル変換しただけの画像形式で、Ｙ／Ｃ分離、ホワイトバランス補正、γ補正、圧縮加工等の各種画像処理を行う前の、所謂、生画像データである。従ってＲＡＷデータは非常に多くの情報量を持つため、ユーザーが後から画像処理を行う場合の自由度が高い。そのためユーザー自身が撮影した画像を、高画質のまま好みの画像に自由に調整可能といった特徴がある。

９０はＲＡＷデータ形式の画像ファイルで、ヘッダー９１から始まり撮影で使用したカメラ機種情報９２、Ｅｘｉｆ形式のタグ形式に則って各種情報を記録可能な画像付加情報９３、ＲＡＷデータを現像するためのホワイトバランス値、γ値等の現像用パラメータ９４、サムネイルデータ９５、ＲＡＷデータ９６で構成されている。また画像付加情報９３内には撮像素子６上のどの位置に焦点検出用画素が配置されているかの焦点検出用画素位置情報９３ａが記録されている。

９６ａはＲＡＷデータ内の一例で、フィールドＦＬＤ（１５，２５）内の右下隅の焦点検出用画素を有する領域を示しており、各画素毎の出力データが記録されている。データは焦点ずれ量データ８５ａと同様に撮像面の左上の画素データから記録を開始し、右下の画素データまでを記録して終了している。ＲＡＷデータ９６ａは、詳しくはフィールドＦＬＤ（１５，２５）内の右下隅の所定領域内の１行目と２行目を示している。１行目では、画素（１４９１，２４９１）は撮像用Ｒ画素でＲデータ、画素（１４９１，２４９２）は撮像用Ｇ画素でＧデータ、画素（１４９１，２４９３）は撮像用Ｒ画素でＲデータ、画素（１４９１，２４９４）は撮像用Ｇ画素でＧデータ、画素（１４９１，２４９５）は撮像用Ｒ画素でＲデータ、画素（１４９１，２４９６）は撮像用Ｇ画素でＧデータ、画素（１４９１，２４９７）は撮像用Ｒ画素でＲデータ、画素（１４９１，２４９８）は撮像用Ｇ画素でＧデータ、画素（１４９１，２４９９）は焦点検出用ＳＨＡ画素でＳＨＡデータ、画素（１４９１，２５００）は撮像用Ｇ画素でＧデータが記録されている。２行目は画素（１４９２，２４９１）は撮像用Ｇ画素でＧデータ、画素（１４９２，２４９２）は撮像用Ｂ画素でＢデータ、画素（１４９２，２４９３）は撮像用Ｇ画素でＧデータ、画素（１４９２，２４９４）は撮像用Ｂ画素でＢデータ、画素（１４９２，２４９５）は撮像用Ｇ画素でＧデータ、画素（１４９２，２４９６）は撮像用Ｂ画素でＢデータ、画素（１４９２，２４９７）は撮像用Ｇ画素でＧデータ、画素（１４９２，２４９８）は撮像用Ｂ画素でＢデータ、画素（１４９２，２４９９）は撮像用Ｇ画素でＧデータ、画素（１４９２，２５００）は焦点検出用ＳＨＢ画素でＳＨＢデータが記録されている。このように全画素のデータ記録順は水平方向の画素から記録し、その水平方向の行が終了すると垂直方向次の行の画素を記録している。

続いて本実施形態のデジタル一眼レフカメラの動作を、図６〜図１０の制御フローを用いて説明する。図６はデジタル一眼レフカメラの基本動作を示すメインフローである。

Ｓ１０１では、ユーザーが電源ボタン３４を操作してカメラの電源をＯＮする。電源がＯＮされるとＭＰＵ２０はカメラ内の各アクチュエータや撮像素子６の動作確認を行う。そしてメモリ内容や実行プログラムの初期化状態を検出すると共に、撮影準備動作を実行する。

Ｓ１０２では、ユーザが各種ボタンを操作してカメラの各種設定を行う。例えば、モードボタン３１を操作して撮影モードを選択したり、電子ダイヤル３２を操作してシャッタースピードや絞り、撮影画像の記録画質の設定を行ったりする。

Ｓ１０３では、マルチコントローラ３３によりライブビューモードが設定されているか否かの判定を行い、ライブビューモードに設定されていればライブビューモードルーチンのＳ１１１へ進み、設定されていなければ通常モードルーチンのＳ１０４へ進む。

まず通常モード（ユーザーがファインダーを覗いて撮影する一眼レフカメラの通常使用モード）の動作ルーチンを説明する。Ｓ１０４では、レリーズボタン３０が半押しされてＳＷ１がＯＮされたか否かの判定を行い、ＯＮされていればＳ１０５へ進み、ＯＮされていなければＯＮされるまで待機する。

Ｓ１０５では、専用のＡＦセンサ８を用いたＡＦ動作を行なう。Ｓ１０６では、ＡＥセンサ１３を用いたＡＥ動作を行なう。Ｓ１０７では、ファインダー内に合焦した焦点検出点が何処かを不図示の表示装置で表示する。

Ｓ１０８では、レリーズボタン３０が全押しされてＳＷ２がＯＮされたか否かの判定を行い、ＯＮされていればＳ１０９へ進み、ＯＮされていなければＯＮされるまで待機する。Ｓ１０９では、通常撮影ルーチンを実行する。

図７は通常撮影ルーチンのフローである。Ｓ１３１では、モータ駆動回路２６により不図示のミラー駆動用モータを制御し、主ミラー４とサブミラー７を撮影光路から退避（ミラーアップ）させる（図１（ｂ）の状態となる）。

Ｓ１３２では、ＡＥ結果により演算された撮影露出に従って、レンズ制御回路２３により撮影レンズ３内の不図示の絞りを駆動する。Ｓ１３３では、シャッター駆動回路２７によりシャッター５を開閉する。Ｓ１３４では、メモリコントローラ２１により撮像素子６で受光された画像信号を読み込んでＳＤＲＡＭ４３に一時記録する。この一時記録されたデータが撮像データである。

Ｓ１３５では、メモリコントローラ２１がＳＤＲＡＭ４３から読み出した画像信号の欠損画素補間を行なう。何故ならば、焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を生成するからである。生成した画像信号と元の画像信号から欠陥画素補間画像を作成し、ＳＤＲＡＭ４３に一時記録しておく。

Ｓ１３６では、メモリコントローラ２１で欠陥画素補間画像からサムネイル画像を作成し、ＳＤＲＡＭ４３に一時記録する。Ｓ１３７では、撮影画像の記録画質がＪＰＥＧまたはＲＡＷのどちらに選択されているかを判定し、ＪＰＥＧが選択されている場合はＳ１３８へ進み、ＲＡＷが選択されている場合はＳ１４０へ進む。

Ｓ１３８では、ＳＤＲＡＭ４３に一時記録された画像信号から、メモリコントローラ２１により各焦点検出用画素を読み出し、ＭＰＵ２０により所定の処理を行い、各フィールド毎の焦点ずれ量を演算し、ＳＤＲＡＭ４３に一時記録する。ここで図３で説明したように焦点ずれ量のデータ数は１３５０個分となる。

Ｓ１３９では、欠損画素補間画像に対して画像処理回路４４でホワイトバランス補正、γ補正、エッジ強調等の画像処理を行ない、画像圧縮／伸張回路４５でＪＰＥＧ形式に従って圧縮し、メモリコントローラ２１により画像圧縮データ部６９に記録する。またサムネイル画像を１ｓｔ ＩＦＤ７７に、焦点ずれ量データ８５ａをデータ記録領域８５に記録する。更にはカメラの各種設定（シャッタースピード、絞り、レンズ焦点距離等）をＥｘｉｆルールに則り記録することにより、画像および各種データをＪＰＥＧファイル化する。

Ｓ１４０では、メモリコントローラ２１によりＳＤＲＡＭ４３に一時記録されている画像信号をＲＡＷデータ９６に９６ａのように記録する。また焦点検出用画素位置情報９３ａ、カメラの各種設定（シャッタースピード、絞り、レンズ焦点距離等）等をＥｘｉｆルールに則り画像付加情報９３に、サムネイル画像をサムネイルデータ９５に記録することにより画像および各種データをＲＡＷファイル化する。Ｓ１４１では、ＪＰＥＧファイルまたはＲＡＷファイルとなった画像ファイルをメディア４８に記録する。

Ｓ１４２では、モータ駆動回路２６により不図示のミラー駆動用モータを制御し、撮影光路から退避している主ミラー４とサブミラー７を、撮影光束をファインダーへと反射し導く観察位置へ駆動（ミラーダウン）する（図１（ａ）の状態となる）。Ｓ１４３では、モータ駆動回路２６により不図示のチャージ用モータを通電制御し、シャッター５をチャージする。そして図６のメインルーチン内のＳ１１０にリターンする。

Ｓ１１０では、ユーザーが電源ボタン３４を操作して、カメラの電源がＯＦＦされたか否かを判断し、ＯＦＦされていなければＳ１０２へ進み次の撮影に備え、ＯＦＦされていれば一連のカメラ動作を終了する。

続いてライブビューモード（ユーザーがライブビューを使用して撮影するモード）の動作ルーチンを説明する。Ｓ１１１では、ライブビュー表示ルーチンを実行する。

図８はライブビュー表示ルーチンのフローである。Ｓ１６１では、モータ駆動回路２６により不図示のミラー駆動用モータを制御し、主ミラー４とサブミラー７を撮影光路から退避（ミラーアップ）させる。Ｓ１６２では、シャッター駆動回路２７によりシャッター５を開放状態にする（図１（ｂ）の状態となる）。Ｓ１６３では、メモリコントローラ２１により撮像素子６で受光された動画像の読み込みを開始する。

Ｓ１６４では、読み出した動画像を液晶モニタ１４に表示する。ユーザーはこのライブビュー画像を目視して撮影時の構図決定を行なう。そして図６のメインルーチン内のＳ１１２にリターンする。

Ｓ１１２では、撮像領域内に顔が存在するか認識処理（顔検知）を行う。Ｓ１１３では、ライブビュー画像に重ねてＡＦ枠を灰色で表示する。ここでＳ１１２において、撮像領域内に顔が存在していると認識された場合には、認識された顔領域にＡＦ枠の表示を行なう。撮像領域内に顔が存在していないと認識された場合には、画面中央にＡＦ枠の表示を行なう。本実施形態では図１１（ａ）の通り、画面中央の人物の顔が顔検知によって認識され、顔領域にＡＦ枠が表示さる。

Ｓ１１４では、ＡＦ枠領域設定を行なう。ＡＦ枠領域設定は前述の通り、横ずれ検知のためにＡＦ枠領域ＡＦＡＲＨ（１）〜（６）と、縦ずれ検知のためにＡＦ枠領域ＡＦＡＲＶ（１）〜（６）が設定される。

Ｓ１１５では、ユーザーによりマルチコントローラ３３が操作されて、ＡＦ枠が移動されたか否かの判定を行い、移動されていればＳ１１４へ進み、移動されていなければＳ１１６へ進む。ここでのＡＦ枠移動は例えば、顔認識がされずＡＦ枠が画面中央に表示されたのに対して、ユーザーが画面中央以外の被写体にピントを合わせたい場合などが考えられる。

Ｓ１１６では、レリーズボタン３０が半押しされてＳＷ１がＯＮされたか否かの判定を行い、ＯＮされていればＳ１１７へ進み、ＯＮされていなければ構図が変更された可能性を考慮してＳ１１２へ進む。

Ｓ１１７では、メモリコントローラ２１により撮像素子６からＡＦ枠領域に設定されているフィールドに含まれる各焦点検出用画素を読み出し、ＭＰＵ２０により所定の処理を行い、ＡＦ枠内の焦点ずれ量を決定する。本実施形態においては、まずは図３に示したＡＦＳＩＧＨ（Ａ３）とＡＦＳＩＧＨ（Ｂ３）、又はＡＦＳＩＧＶ（Ｃ５）とＡＦＳＩＧＶ（Ｄ５）等の２像の信号を生成し、それら２像の相関演算を行い、２像の相対的な位置ずれ量を演算する。次に相関演算結果の信頼性を判定し、信頼性の高い検出結果から焦点ずれ量を演算する。そして焦点ずれ量をレンズ制御回路２３へ送出して、撮影レンズ３内の不図示のフォーカスレンズ群の合焦駆動を行なう。

ここでは、ＡＦ枠領域に設定されていないフィールドについては、それらの焦点ずれ量を演算していない。これは相関演算がＭＰＵ２０で行なう処理の中では比較的時間が掛かるためで、この時点で焦点ずれ量そのものが不必要なＡＦ枠外のフィールドについては、データ処理を行なわないことで僅かでもＭＰＵ２０の処理時間を短くするためである。もちろんＭＰＵ２０の処理能力に余裕があれば、全フィールドにおける焦点ずれ量を演算して一時記録しておき、ＡＦ枠が移動された場合に素早く合焦駆動出来るようにしても構わない。

Ｓ１１８では、ＡＦ枠の色を灰色から緑色に変更してＡＦ枠内が合焦したことをユーザーに知らせる。Ｓ１１９では、レリーズボタン３０が全押しされてＳＷ２がＯＮされたか否かの判定を行い、ＯＮされていればＳ１２０へ進み、ＯＮされていなければＯＮされるまで待機する。Ｓ１２０では、ライブビュー撮影ルーチンを実行する。

図９はライブビュー撮影ルーチンのフローである。Ｓ１８１では、メモリコントローラ２１により撮像素子６から画像信号を読み込み、合焦している主被写体及びその周りの測光情報を得る、所謂、撮像面ＡＥ動作を行なう。Ｓ１８２では、撮像面ＡＥ結果により演算された撮影露出に従って、レンズ制御回路２３により撮影レンズ３内の不図示の絞りを駆動する。

Ｓ１８３では、メモリコントローラ２１により撮像素子６に受光されている画像信号をリセットして撮像素子６の受光状態を初期状態、即ち何も撮像されていない状態に戻す。Ｓ１８４では、再びメモリコントローラ２１により撮像素子６の受光を行い、画像信号を読み込んでＳＤＲＡＭ４３に一時記録する。

Ｓ１８５では、メモリコントローラ２１で読み出した画像信号の欠損画素補間を行なう。何故ならば、焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を生成するからである。生成した画像信号と元の画像信号から欠陥画素補間画像を作成し、ＳＤＲＡＭ４３に一時記録しておく。

Ｓ１８６では、メモリコントローラ２１で欠陥画素補間画像からサムネイル画像を作成し、ＳＤＲＡＭ４３に一時記録する。Ｓ１８７では、撮影画像の記録画質がＪＰＥＧまたはＲＡＷのどちらに選択されているかを判定し、ＪＰＥＧが選択されている場合はＳ１８８へ進み、ＲＡＷが選択されている場合はＳ１９０へ進む。

Ｓ１８８では、ＳＤＲＡＭ４３に一時記録された画像信号から、メモリコントローラ２１により各焦点検出用画素を読み出し、ＭＰＵ２０により所定の処理を行い、各フィールド毎の焦点ずれ量を演算し、ＳＤＲＡＭ４３に一時記録する。ここで図３で説明したように焦点ずれ量のデータ数は１３５０個分となる。

Ｓ１８９では、欠損画素補間画像に対して画像処理回路４４でホワイトバランス補正、γ補正、エッジ強調等の画像処理を行ない、画像圧縮／伸張回路４５でＪＰＥＧ形式に従って圧縮し、メモリコントローラ２１により画像圧縮データ部６９に記録する。またサムネイル画像を１ｓｔ ＩＦＤ７７に、焦点ずれ量データをデータ記録領域８５に８５ａのように記録する。更にはカメラの各種設定（シャッタースピード、絞り、レンズ焦点距離等）等をＥｘｉｆルールに則り記録することにより、画像および各種データをＪＰＥＧファイル化する。

Ｓ１９０では、メモリコントローラ２１によりＳＤＲＡＭ４３に一時記録されている画像信号をＲＡＷデータ９６に９６ａのように記録する。またカメラの各種設定（シャッタースピード、絞り、レンズ焦点距離等）等をＥｘｉｆルールに則り画像付加情報９３に、サムネイル画像をサムネイルデータ９５に記録することにより画像および各種データをＲＡＷファイル化する。

Ｓ１９１では、ＪＰＥＧファイルまたはＲＡＷファイルとなった画像ファイルをメディア４８に記録する。Ｓ１９２では、シャッター駆動回路２７によりシャッター５を閉じる。Ｓ１９３では、モータ駆動回路２６により不図示のミラー駆動用モータを制御し、主ミラー４とサブミラー７をミラーダウンする（図１（ａ）の状態となる）。Ｓ１９４では、モータ駆動回路２６により不図示のチャージ用モータを通電制御し、シャッター５をチャージする。そして図６のメインルーチン内のＳ１１０にリターンする。

図１０は画像再生動作を示すフローチャートである。Ｓ２０１では、再生ボタン３５がＯＮされてカメラは撮影モードから再生モードに切り替る。本実施形態においては、図３相当の画像がＪＰＥＧファイル６０でメディア４８に記録されているとする。

Ｓ２０２では、メディア４８に記録された画像ファイルの中から、再生しようとするＪＰＥＧファイル６０に対して、メモリコントローラ２１により各フィールド毎の焦点ずれ量データ８５ａを読み出しＳＤＲＡＭ４３に一時記録する。Ｓ２０３では、読み出した各フィールド毎の焦点ずれ量データ８５ａを判定閾値と比較して合焦状態を判定する。具体的には、閾値未満の焦点ずれ量があれば画像は合焦していると判定しＳ２０４へ進み、閾値未満の焦点ずれ量がなければ画像は合焦していない（非合焦）と判定しＳ２０８へ進む。

Ｓ２０４では、ＪＰＥＧファイル６０の画像圧縮データ６９から主画像を読み出し、液晶モニタ１４に再生表示する。Ｓ２０５では、Ｓ２０３で判定された焦点ずれ量が閾値未満の領域を合焦領域枠として画像に重ねて表示する。これによりユーザーは画像の合焦領域を確認することができる。この状態が図１１（ａ）である。

Ｓ２０６では、電子ダイヤル３２やマルチコントローラ３３の操作により、別の画像ファイルの再生が選択されたか否かの判定を行い、選択されればＳ２０２へ進み、選択されなければＳ２０７へ進む。

Ｓ２０７では、再生モードで使用しない操作ボタン（例えばレリーズボタン３０や電源ボタン３４等）が操作されたか否かを判定し、操作されれば再生モードを終了し、操作されなければＳ２０６へ進む。

Ｓ２０８では、ＪＰＥＧファイル６０の画像圧縮データ６９から主画像を読み出し、液晶モニタ１４に再生表示する。Ｓ２０９では、表示した画像には焦点ずれ量が閾値未満の領域がなく非合焦であるため、警告表示を画像に重ねて表示する。これによりユーザーは画像が非合焦であることを確認することができる。この状態が図１１（ｂ）である。

以上説明したように、本実施形態によれば、画像再生表示時に画像ファイルに記録されている撮影された瞬間の焦点ずれ量を利用して画像の合焦判定を行うことにより、ユーザーは再生表示された画像が合焦しているか否かを簡単に確認することができる。

本実施形態においては、画像撮影および撮影時の撮像面位相差ＡＦデータの画像ファイル内への記録をデジタル一眼レフカメラで行なったが、デジタルコンパクトカメラ、デジタルビデオカメラ、各種検査デジタルカメラ、監視デジタルカメラ、内視鏡デジタルカメラ、ロボット用デジタルカメラ等、撮像素子による位相差ＡＦが可能な撮像装置に適用可能である。また撮像面位相差ＡＦデータの読み出し制御および表示は、撮影したデジタル一眼レフカメラで行なった。しかし、画像を表示可能な装置（例えばパソコン、メディアスロットと液晶モニタを有するプリンター等）に組み込まれた画像ファイル処理ソフトで制御および表示しても構わない。

更に合焦判定に用いた撮像面位相差ＡＦデータは各フィールドにおける焦点ずれ量としたが、焦点ずれ量に限定するものではなく、撮影レンズ３の情報と焦点ずれ量から演算されるカメラから被写体までの距離等の測距データとしてもよい。また再生表示する画像ファイルを前記の通りＪＰＥＧファイルとして説明したので、各フィールド毎の焦点ずれ量を読み出し、判定閾値と比較して合焦判定している。しかし、ＲＡＷファイルの場合ならば、各焦点検出用画素の生データを読み出し判定閾値と比較して合焦判定しても構わない。また合焦判定の結果、非合焦の場合は“非合焦”の文字を画像に重ねて表示して警告表示を行ったが、ユーザーが画像が非合焦であることを分かればどのような警告表示でも構わない。

（第２の実施形態）
以下、本発明の第２の実施形態を図面を参照しながら説明する。基本構成は第１の実施形態と同一であるため説明を割愛し、異なる部分を説明する。

図１２はデジタル一眼レフカメラにおけるスライドショー時のフローである。Ｓ２２１では、再生ボタン３５がＯＮされてカメラは撮影モードから再生モードに切り替わる。本実施形態においては、画像がＪＰＥＧファイル６０でメディア４８に記録されているとする。

Ｓ２２２では、モードボタン３１の操作によりスライドショーモードを選択し、スライドショーを行うために必要な各種設定を行う。まずはメディア４８に記録されている画像ファイルの中からスライドショーの対象画像ファイルを選択設定する。例えば記録されている全画像ファイルや撮影日付によって選択したり、画像ファイルを液晶モニタ１４にサムネイル表示してその中から１枚ずつ選択したりする。他には再生表示時間等の設定も行う。

Ｓ２２３では、再生表示枚数ｍａｘに選択された画像ファイルのファイル数を代入する。Ｓ２２４では、合焦判定するための焦点ずれ量の閾値を入力する。ここではユーザーが１０ｃｍと設定したとする。Ｓ２２５では、スライドショーを行うための全ての設定が終了したら、スライドショーが開始される。

Ｓ２２６では、再生表示カウンタｎに１を代入する。Ｓ２２７では、再生しようとする画像ファイルに対して、顔検知を行い画像内に顔が存在しているか否かを判定し、顔が存在していると認識された場合はＳ２２８へ進み、顔が存在していないと認識された場合はＳ２２９へ進む。

Ｓ２２８では、メモリコントローラ２１により、顔と認識された領域における各フィールド毎の焦点ずれ量データ８５ａを読み出しＳＤＲＡＭ４３に一時記録する。Ｓ２２９では、メモリコントローラ２１により再生しようとするＪＰＥＧファイル６０の０ｔｈ ＩＦＤ７５に記録された撮影時の測距領域を読み出し、その領域における各フィールド毎の焦点ずれ量データ８５ａを読み出しＳＤＲＡＭ４３に一時記録する。ここで測距領域とは、撮影レンズ３の合焦動作に用いた測距データが、撮像素子６の撮像面位相差ＡＦを使用した場合は焦点ずれ量を求めたＡＦ枠を示し、ＡＦセンサ８を使用した場合はファインダー内に合焦表示した焦点検出点（測距点）のことを示す。

Ｓ２３０では、読み出した各フィールド毎の焦点ずれ量データ８５ａを設定した判定閾値と比較し、閾値未満の焦点ずれ量があれば画像は合焦していると判定しＳ２３１へ進む。また、閾値未満の焦点ずれ量がなければ画像は合焦していない（非合焦）と判定しＳ２３２へ進む。

Ｓ２３１では、画像は焦点ずれ量が１０ｃｍ以下の合焦画像と判定され、ＪＰＥＧファイル６０の画像圧縮データ６９から主画像を読み出し、液晶モニタ１４に再生表示する。Ｓ２３２では、画像ファイルを設定した所定時間再生表示したら、再生表示カウンタｎを＋１カウントアップする。

Ｓ２３３では、再生表示カウンタｎが再生表示枚数ｍａｘになったか否かの判定を行い、再生表示枚数ｍａｘになっていればＳ２３４へ進み、再生表示枚数ｍａｘになっていなければＳ２２７へ進み、引き続きスライドショーを行う。

Ｓ２３４では、スライドショーを終了するか否かを液晶モニタ１４に表示し、ユーザーが終了を選択した場合はスライドショーを終了し、終了を選択しない場合はＳ２２２へ進み新たなスライドショーの設定を行う。

以上説明したように、本実施形態によれば、スライドショーによる画像再生表示時に画像ファイル内に記録されている撮影された瞬間の焦点ずれ量を利用して画像の合焦判定を行う。これにより、非合焦の画像をスキップして再生表示できるため、ユーザーにとって無駄な再生動作を省くことができる。

本実施形態においては、スライドショーを画像を撮影したデジタル一眼レフカメラで行なった。しかし、デジタルコンパクトカメラ、デジタルビデオカメラ等や、画像を表示可能な装置（例えばパソコン、メディアスロットと液晶モニタを有するプリンター等）に組み込まれた画像ファイル処理ソフトで行っても構わない。

また合焦判定に用いた撮像面位相差ＡＦデータは各フィールドにおける焦点ずれ量としたが、焦点ずれ量に限定するものではなく、撮影レンズ３の情報と焦点ずれ量から演算されるカメラから被写体までの距離等の測距データとしてもよい。またスライドショーにより画像再生表示する画像ファイルを前記の通りＪＰＥＧファイルとして説明しているが、ＲＡＷファイルとして各焦点検出用画素の生データを読み出し判定閾値と比較して合焦判定しても構わない。

更に合焦判定に用いる閾値をユーザーが設定可能としたことで、個々のユーザーにとってベストな合焦判定が実現できる。またスライドショーの再生表示時間が短くても対応できるように、合焦判定領域を顔検知領域やＡＦ枠や測距点に対応した測距領域に限定することで、合焦判定に掛かる演算時間が短くできる。もちろん演算処理能力に余裕がある場合は撮像領域全体で合焦判定しても構わない。

（第３の実施形態）
以下、本発明の第３の実施形態を図面を参照しながら説明する。図１３は不図示の画像処理装置（本実施形態においてはパソコンとパソコンに接続されたプリンターとする）の画像処理ソフトの基本動作を示すメインフローである。図１４はパソコンのディスプレイ３０１に画像処理ソフト３０２を表示している状態を示している。ここでパソコンのメモリはＳＤＲＡＭ４３と同一機能である。また同様にＭＰＵ２０、メモリコントローラ２１の機能はパソコンのＣＰＵが行なう。

Ｓ３５１では、パソコンにインストールされた画像処理ソフト３０２を起動する。図１４のディスプレイ３０１に画像処理ソフト３０２が表示される。Ｓ３５２では、パソコンのＨＤＤ内やパソコンのメディアスロットに挿入されたメディア４８内に記録されているＪＰＥＧファイル６０の１ｓｔ ＩＦＤ７７からサムネイルデータを読み出し、図１４のサムネイル画像３０４として一覧表示する。

Ｓ３５３では、サムネイル画像３０４の中から各種処理を行いたい画像を選択する。例えばパソコンのマウスを操作して、ポインタ３０５を選択したいサムネイル画像３０４の上に移動し、ダブルクリックする。図１４では、サムネイル画像３０４の左端（ＩＭＧ＿０００１）が選択されている。

Ｓ３５４では、選択されたＪＰＥＧファイル６０の画像圧縮データ６９から主画像３０３を読み出し、パソコンのディスプレイ３０１に再生表示する。Ｓ３５５では、選択されたＪＰＥＧファイル６０の０ｔｈ ＩＦＤ７５、Ｅｘｉｆ ＩＦＤ７６から画像付加情報を読み出し、付加情報領域３０７に表示する。

Ｓ３５６では、主画像３０３の上に測距枠３０６を表示する。測距枠３０６の位置およびサイズは、画像を撮影した際にレンズが合焦動作を行なうために使用したＡＦ枠に従う。ここでは第１の実施形態の図３のライブビューモードで撮影されたとして、図３で設定されたＡＦ枠の位置とサイズで表示している。またこのＡＦ枠の情報は、画像付加情報に記録されている。

Ｓ３５７では、測距枠３０６内にある各フィールド毎の焦点ずれ量データ８５ａをＪＰＥＧファイル６０から読み出し、メモリに一時記録する。Ｓ３５８では、読み出された焦点ずれ量データ８５ａに対してＣＰＵにより所定の処理を行い、ＡＦ枠３０６内の焦点ずれ量３０８を演算する。

Ｓ３５９では、演算された焦点ずれ量３０８を表示する。図１４では、焦点ずれ量が“０ｍｍ”と表示されている。Ｓ３６０では、主画像３０３に対して各種画像処理を実施する。画像処理は画像処理メニューボタン３０９をオンすると不図示のメニュー画面が表示され、その中からユーザーの意図に合ったメニューを選択して実施する。

Ｓ３６１では、画像処理ソフト３０２のファイル印刷ボタン３１０の上にポインタ３０５を移動してダブルクリックし、ファイル印刷ボタン３１０をオンする。Ｓ３６２では、まずはメディア４８に記録されている画像ファイルの中から印刷する画像ファイルを選択する。例えば記録されている全画像ファイルや撮影日付によって選択したり、サムネイル画像３０４の中から１枚ずつ選択したりする。

Ｓ３６３では、印刷枚数ｍａｘに選択された画像ファイルのファイル数を代入する。Ｓ３６４では、画像処理ソフト３０２の合焦判定閾値３１１の上にポインタ３０５を移動してダブルクリックし、パソコンのキーボードで合焦判定するための焦点ずれ量の閾値を入力する。ここではユーザーが１０ｃｍと設定したとする。

Ｓ３６５では、印刷を行うための全ての設定が終了したら、印刷が開始される。Ｓ３６６では、印刷カウンタｎに１を代入する。Ｓ３６７では、印刷しようとする画像ファイルに対して、顔検知を行い画像内に顔が存在しているか否かを判定し、顔が存在していると認識された場合はＳ３６８へ進み、顔が存在していないと認識された場合はＳ３６９へ進む。

Ｓ３６８では、ＣＰＵにより、顔と認識された領域における各フィールド毎の焦点ずれ量データ８５ａを読み出し、メモリに一時記録する。Ｓ３６９では、ＣＰＵにより印刷しようとするＪＰＥＧファイル６０の０ｔｈ ＩＦＤ７５に記録された撮影時の測距領域を読み出し、その領域における各フィールド毎の焦点ずれ量データ８５ａを読み出し、メモリに一時記録する。ここで測距領域とは、撮影レンズ３の合焦動作に用いた測距データが、撮像素子６の撮像面位相差ＡＦを使用している場合は焦点ずれ量を求めたＡＦ枠を示し、ＡＦセンサ８を使用している場合はファインダー内に合焦表示した焦点検出点（測距点）のことを示す。

Ｓ３７０では、読み出した各フィールド毎の焦点ずれ量データ８５ａを、設定した判定閾値と比較し、閾値未満の焦点ずれ量があれば画像は合焦していると判定しＳ３７１へ進む。また、閾値未満の焦点ずれ量がなければ画像は合焦していない（非合焦）と判定しＳ３７２へ進む。

Ｓ３７１では、画像は焦点ずれ量が１０ｃｍ以下の合焦画像と判定され、ＪＰＥＧファイル６０の画像圧縮データ６９から主画像３０３を読み出し、接続されているプリンターにデータを転送し画像を印刷する。Ｓ３７２では、画像のデータ転送が終了したら、印刷カウンタｎを＋１カウントアップする。

Ｓ３７３では、印刷カウンタｎが印刷枚数ｍａｘになったか否かの判定を行い、印刷枚数ｍａｘになっていればＳ３７４へ進み、印刷枚数ｍａｘになっていなければＳ３６７へ進み、引き続き印刷を行う。

Ｓ３７４では、Ｓ３６２で選択された印刷予定の画像ファイルの内、実際には何枚の画像が印刷され、何枚の画像が非合焦判定で印刷されなかったのか、結果をディスプレイ３０１に表示する。Ｓ３７５では、終了ボタン３１２が操作されたか否かを判定し、操作されれば画像処理ソフト３０２を終了し、操作されなければＳ３５２へ進み、引き続き別の画像処理を行なう。

以上説明したように、本実施形態によれば、画像印刷時に画像ファイル内に記録されている撮影された瞬間の焦点ずれ量を利用して画像の合焦判定を行うことにより、非合焦の画像をスキップして印刷できる。そのため、ユーザーにとって印刷の無駄を省くことができる。

本実施形態においては、印刷をパソコンとパソコンに接続されたプリンターおよびパソコンに組み込まれた画像処理ソフトで行なったが、画像を撮影したデジタル一眼レフカメラや、デジタルコンパクトカメラ、デジタルビデオカメラ等と接続されたプリンターでも構わないし、メディアスロットと液晶モニタを有するプリンターで行っても構わない。

また合焦判定に用いた撮像面位相差ＡＦデータは各フィールドにおける焦点ずれ量としたが、焦点ずれ量に限定するものではなく、撮影レンズ３の情報と焦点ずれ量から演算されるカメラから被写体までの距離等の測距データとしてもよい。また画像印刷する画像ファイルをＪＰＥＧファイルとして説明しているが、ＲＡＷファイルとして各焦点検出用画素の生データを読み出し判定閾値と比較して合焦判定しても構わない。もしくは画像処理ソフトにより生データから各フィールドにおける焦点ずれ量を演算してから合焦判定しても構わない。

更に合焦判定に用いる閾値をユーザーが設定可能としたことで、個々のユーザーにとってベストな合焦判定が実現できる。また合焦判定領域を顔検知領域やＡＦ枠や測距点に対応した測距領域に限定することで、合焦判定に掛かる演算時間を短くし、印刷時間も短縮できる。もちろん演算処理能力に余裕がある場合は撮像領域全体で合焦判定しても構わない。

なお、上記の各実施形態に記載された構成要素の配置や数値等は例示的なものであり、本発明の範囲をそれらのみに限定する趣旨のものではない。

（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 撮像用画素から出力された信号に基づいて生成された画像データと、当該画像データ取得と同タイミングの露光で焦点検出用画素から出力された信号に基づいて生成された第１の焦点検出情報と、前記露光の前に行った焦点検出で用いた焦点検出領域の位置に関する情報である第２の焦点検出情報とを含むファイルから当該情報を読み出し可能な読出手段と、
   前記読出手段によって読み出された画像の特定領域を検知するとともに、当該検知ができないと判定したときは前記読出手段によって読み出された画像から前記第２の焦点検出情報に対応した領域を取得し、当該検知または取得された領域に対応する焦点検出情報を前記読出手段によって読み出し、当該読み出された焦点検出情報に基づいて合焦しているか否かを判定する判定手段と、
   前記判定手段により合焦していると判定された場合に、前記読出手段によって読み出された画像を出力し、前記判定手段により合焦していないと判定された場合に、前記読出手段によって読み出された画像を出力しない出力手段と、
   を備えることを特徴とする画像処理装置。
2. 前記出力手段は、モニタに合焦していると判定された画像を出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記出力手段は、スライドショーモードにおいて、モニタに合焦していると判定された画像を順次出力することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記出力手段により出力された画像データを表示可能なモニタをさらに有することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記出力手段により出力された画像データを印刷可能な印刷装置をさらに有することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記判定手段は、前記焦点検出情報に基づく焦点ずれ量が予め設定した閾値を超えている場合に、合焦していないと判定することを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 前記閾値をユーザが設定可能であることを特徴とする請求項６に記載の画像処理装置。
8. 前記特定領域は顔と認識される領域であることを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。
9. 画像処理装置を制御する方法であって、
   撮像用画素から出力された信号に基づいて生成された画像データと、当該画像データ取得と同タイミングの露光で焦点検出用画素から出力された信号に基づいて生成された第１の焦点検出情報と、前記露光の前に行った焦点検出で用いた焦点検出領域の位置に関する情報である第２の焦点検出情報とを含むファイルから当該情報を読み出す読出工程と、
   前記読出工程において読み出された画像の特定領域を検知するとともに、当該検知ができないと判定したときは前記読出工程において読み出された画像から前記第２の焦点検出情報に対応した領域を取得し、当該検知または取得された領域に対応する焦点検出情報を読み出し、当該読み出された焦点検出情報に基づいて合焦しているか否かを判定する判定工程と、
   前記判定工程において合焦していると判定された場合に、前記読出工程において読み出された画像を出力し、前記判定工程において合焦していないと判定された場合に、前記読出工程において読み出された画像を出力しない出力工程と、
   を備えることを特徴とする画像処理装置の制御方法。
10. 請求項９に記載の制御方法をコンピュータに実行させるためのプログラム。

Images