JPWO2013179725A1 - 撮像装置、画像処理装置、画像ファイルを記録した記録媒体、記録方法、画像再生方法およびプログラム - Google Patents

Abstract

ＲＡＷデータに対してさらに高画質で現像することができる撮像装置、画像処理装置、画像ファイルを記録する記録媒体、記録方法、画像再生方法およびプログラムを提供する。複数の画素からそれぞれ出力される複数の電気信号のうち、置き換え対象となる置き換え画素から出力される電気信号を、同時、または異なるタイミングで得られた異なる撮像用画素の電気信号によって置き換えた画像データを生成する撮像部１１と、撮像部１１が生成した画像データと、撮像部１１における置き換え画素の位置に関する位置情報とを対応付けて記録する画像ファイルを生成する画像ファイル生成部１９４と、を備える。

Description

本発明は、被写体を撮像して光電変換を行うことによって電子的な画像データを生成する撮像装置、画像データに画像処理を施す画像処理装置、画像ファイルを記録した記録媒体、画像データの記録方法、画像データを記録する画像ファイルの画像再生方法およびプログラムに関する。

近年、デジタルカメラやデジタルビデオカメラ等の撮像装置では、ＲＡＷデータの形式で撮像結果をメモリカード等の記録媒体に記録するものが知られている。ここで、ＲＡＷデータとは、撮像素子から得られる撮像結果の画像データであって、γ補正処理、ホワイトバランス調整処理および周波数特性の補正処理等の撮像結果を表示するための一連の画質補正処理を実行していない画質補正前の画像データである。このようなＲＡＷデータを記録する撮像装置として、画質補正前のＲＡＷデータと、撮影時の画質補正処理を特定する画質特定情報とを対応付けて記録するものが知られている（特許文献１参照）。

特開２００７−３３４７０８号公報

しかしながら、上述した特許文献１で記録するＲＡＷデータは、たとえば撮像素子の画素欠陥を周辺の他の画素の画像データで補間した後のデータである。このため、パーソナルコンピュータ等の他の画像処理装置で記録媒体に記録されたＲＡＷデータに対して表示用の画質補正処理を行って現像すると、その制約が画質に影響した。

本発明は、上記に鑑みてなされたものであって、ＲＡＷデータに対してさらに高画質で現像することができる撮像装置、画像処理装置、画像ファイル、記録方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、複数の画素からそれぞれ出力される複数の電気信号のうち、置き換え対象となる置き換え画素から出力される電気信号を、同時、または異なるタイミングで得られた異なる撮像用画素の電気信号によって置き換えた画像データを生成する撮像部と、前記撮像部が生成した前記画像データと、前記撮像部における前記置き換え画素の位置に関する位置情報とを対応付けて記録する画像ファイルを生成する画像ファイル生成部と、を備えたことを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記置き換え画素は、画素が欠陥した欠陥画素、当該撮像装置のピントを検出する際の検出用画素、画像を構成する画素とは異なるカラーフィルター（特定の波長を検出するためのＢＰＦ（Band Pass Filter）など）を有する画素、エッジ抽出において抽出した抽出画素および他の画像データを用いて画素信号を補って補正する補正対象の補正画素のいずれか一つ以上であることを特徴とする。近年、撮像素子には、様々な機能を有するものがあり、画素の全てが撮像用に使えるわけではないので、画像形成に使用しない画素データ、使用に不向きな画素データ、画像用以外の画素データは、画像化時に把握しておく必要がある。これが分かると、補正したり代用したり、置き換えたりして良好な画像が再生できる。

また、本発明にかかる撮像装置は、上記発明において、撮影パラメータを調整するための専用機能画素、または撮影条件で決まる画像領域に相当する画素であることを特徴とする。

また、本発明にかかる画像処理装置は、複数の画素を有する撮像部を備えた撮像装置が生成した画像ファイルに対して画像処理を施す画像処理装置において、前記撮像部によって生成された画像データであって、置き換え対象となる置き換え画素から出力される電気信号を、同時、または異なるタイミングで得られた異なる撮像用画素の電気信号によって置き換えた画像データと、前記撮像部における前記置き換え画素の位置に関する位置情報とを対応付けて記録した画像ファイルを取得して、取得した前記画像ファイルが記録する前記位置情報に基づいて、前記画像データに画質補正処理を行って処理画像データを生成する画像処理部と、を備えたことを特徴とする。

また、本発明にかかる画像処理装置は、上記発明において、前記処理画像データに対応する処理画像を再生表示する表示部と、をさらに備えたことを特徴とする。

また、本発明にかかる記録媒体は、複数の画素を有する撮像部を備えた撮像装置が生成する画像ファイルを記録した記録媒体であって、前記画像ファイルは、前記撮像部によって生成された画像データであって、置き換え対象となる置き換え画素から出力される電気信号を、同時、または異なるタイミングで得られた異なる撮像用画素の電気信号によって置き換えた画像データと、前記撮像部における前記置き換え画素の位置に関する位置情報と、を記録することを特徴とする。

また、本発明にかかる記録方法は、複数の画素を有する撮像部を備えた撮像装置が実行する記録方法であって、複数の画素からそれぞれ出力される複数の電気信号のうち、置き換え対象となる置き換え画素から出力される電気信号を、同時、または異なるタイミングで得られた異なる撮像用画素の電気信号によって置き換えた画像データを生成する撮像ステップと、前記撮像ステップで生成した前記画像データと、前記撮像ステップにおける前記置き換え画素の位置に関する位置情報とを対応付けて記録する画像ファイルを生成する画像ファイル生成ステップと、を実行することを特徴とする。

また、本発明にかかる画像再生方法は、画像データを記録する画像ファイルの画像再生を行う画像再生機器が実行する画像再生方法であって、前記画像データに対応する画像を構成する画素であって、他の画素に置き換えられた置き換え画素の位置に関する置き換え対象画素情報を取得する取得ステップと、前記取得ステップで取得した前記置き換え対象画素情報に基づいて、前記画像データに対応する画像を構成する複数の画素からそれぞれ出力される複数の電気信号から前記置き換え画素を特定する特定ステップと、前記特定ステップで特定した前記置き換え画素を、前記複数の画像からそれぞれ出力される複数の電気信号で補間して補間画像データを生成する生成ステップと、前記生成ステップで生成した前記補間画像データを再生する再生ステップと、を実行することを特徴とする。

また、本発明にかかるプログラムは、複数の画素を有する撮像部を備えた撮像装置に、複数の画素からそれぞれ出力される複数の電気信号のうち、置き換え対象となる置き換え画素から出力される電気信号を、同時、または異なるタイミングで得られた異なる撮像用画素の電気信号によって置き換えた画像データを生成する撮像ステップと、前記撮像ステップで生成した前記画像データと、前記撮像ステップにおける前記置き換え画素の位置に関する位置情報とを対応付けて記録する画像ファイルを生成する画像ファイル生成ステップと、を実行させることを特徴とする。

本発明によれば、画像ファイル生成部がＲＷＡデータと補間画素や置き換え画素の位置に関する位置情報とを対応付けて記録した画像ファイルを生成するので、ＲＡＷデータに対して表示用の画質補正処理を行う際に、再生時の自由度を増して高画質で現像することができるという効果を奏する。

図１は、本発明の実施の形態１にかかる撮像装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１にかかる撮像装置の撮像部における受光部および垂直アナログ加算回路の構成の一例を示す回路図である。 図３は、本発明の実施の形態１にかかる撮像装置のＡＦ信号算出部が行う瞳分割位相差法の概要を説明する模式図である。 図４は、本発明の実施の形態１にかかる撮像装置のＡＦ信号算出部が行う瞳分割位相差法において撮像部によって得られる画像信号を示す図である。 図５は、本発明の実施の形態１にかかる撮像装置のＡＦ信号算出部が行う別の瞳分割位相差法の概要を説明する模式図である。 図６は、本発明の実施の形態１にかかる撮像装置の撮像部の画素配列を説明する図である。 図７は、本発明の実施の形態１にかかる撮像装置の撮像部が行う画素の補間方法を説明する図である。 図８は、本発明の実施の形態１にかかる撮像装置の画像ファイル生成部が生成する画像ファイルの構成の一例を示す図である。 図９は、本発明の実施の形態１にかかる撮像装置が実行する処理の概要を示すフローチャートである。 図１０は、図９の動画時画素読み出し処理の概要を示すフローチャートである。 図１１は、本発明の実施の形態１にかかる撮像装置で撮像したＲＡＷデータを他の画像処理装置で現像した際の画素の画像データを模式的に示す図である。 図１２は、本発明の実施の形態２にかかる撮像装置の機能構成を示すブロック図である。 図１３は、本発明の実施の形態２にかかる撮像装置が実行する処理の概要を示すフローチャートである。 図１４は、本発明の実施の形態２にかかる撮像装置の表示部が表示する画像の一例を示す図である。 図１５は、本発明の実施の形態２にかかる撮像装置が行うＨＤＲ撮影の画像の一例を示す図である。 図１６は、本発明の実施の形態２にかかる撮像装置が行うＨＤＲ撮影の画像の別の一例を示す図である。 図１７は、本発明の実施の形態２にかかる撮像装置の画像ファイル生成部が生成する画像ファイルの一例を示す図である。 図１８は、本発明の実施の形態２にかかる撮像装置で撮像したＲＡＷデータを他の画像処理装置で現像した際の画素の画像データを模式的に示す図である。 図１９は、本発明の実施の形態２の変形例にかかる撮像装置の画像ファイル生成部が生成する画像ファイルの一例を示す図である。

以下に、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。

（実施の形態１）
図１は、本発明の実施の形態１にかかる撮像装置の機能構成を示すブロック図である。図１に示す撮像装置１は、本体部１０と、本体部１０に着脱自在であり、所定の視野領域から光を集光する交換レンズ部２０と、を備える。

本体部１０は、撮像部１１と、本体通信部１２と、時計部１３と、操作入力部１４と、記録部１５と、記録媒体１６と、表示部１７と、タッチパネル１８と、制御部１９と、を備える。

撮像部１１は、ＣＣＤまたはＣＭＯＳセンサ等の撮像素子によって構成される。撮像部１１は、ベイヤー配列を有する撮像素子のように１つの画素から１つのデータを出力する撮像素子でも、積層型の受光部を持ち１つの画素からＲＧＢのような複数のデータを出力する撮像素子でもよい。撮像部１１は、制御部１９の制御のもと、駆動する。撮像部１１は、シャッタ（図示せず）を介して交換レンズ部２０からの被写体の光を複数の画素の受光面で受光して光電変換後の電気信号を画質補正前の画像データ（ＲＡＷデータ）として生成する。具体的には、撮像部１１は、複数の画素からそれぞれ出力される複数の電気信号のうち、置き換え対象となる置き換え画素から出力される電気信号を、同時、または異なるタイミングで得られた異なる撮像用画素の電気信号によって置き換えた画像データを生成し、この画像データを制御部１９へ出力する。この際、撮像部１１は、置き換え画素および置き換え画素を補間した撮像用画素それぞれの位置に関する位置情報（アドレス情報）を制御部１９へ出力する。ここで、置き換え画素とは、画素が欠陥した欠陥画素、撮像装置１のピントを検出する際の検出用画素（以下、「ＡＦ画素」という）、光源の特性や被写体の色の特性等を得るために画像を構成する画素とは異なるカラーフィルター（特定の波長を検出するためのＢＰＦなど）を有する画素、オプティカルブラック抽出において抽出したＯＢ画像、エッジ抽出において抽出した抽出画素および他の画像データを用いて画素信号を補って補正する補正対象の補正画素のいずれかである。ここで、補正画素とは、撮影パラメータを調整するための専用機能画素、または撮影条件で決まる画像領域に相当する画素である。また、撮影パラメータとは、露出値、シャッタスピード、ＩＳＯ感度およびホワイトバランスである。また、撮影条件とは、被写体深度情報、被写体の明るさ情報および被写体の色情報である。近年、撮像素子には、様々な機能を有するものがあり、画素の全てが撮像用に使えるわけではないので、画像形成に使用しない画素データ、使用に不向きな画素データ、画像用以外の画素データは、画像化時に把握しておく必要がある。これが分かると、補正したり代用したり、置き換えたりして良好な画像が再生できる。また、撮影光学系の問題によっても利用しない方が良い画素がありうるので、こうした画素は再生時にそのままその信号を使用せず、補正したり代用したり置き換えたりする事が好ましい。

撮像部１１の詳細な構成について説明する。撮像部１１は、受光部１１１と、垂直アナログ加算回路１１２と、水平デジタル加算回路１１３と、ＡＦ用メモリ１１４と、を有する。

受光部１１１は、複数の画素がマトリクス状に配置され、交換レンズ部２０からの被写体の光を受光して光電変換を行って電気信号を出力する。

垂直アナログ加算回路１１２は、受光部１１１から２つの行の画素の値を加算して読み出し、この２つの行の加算画素値を水平デジタル加算回路１１３へ出力する。

水平デジタル加算回路１１３は、垂直アナログ加算回路１１２から入力される２つの行の加算画素値を２つの列に亘って加算して４画素の加算画素値を動画像撮像時における加算画素値として制御部１９へ出力するとともに、ＡＦ画素の画素値としてＡＦ用メモリ１１４に出力して記録させる。

図２は、受光部１１１および垂直アナログ加算回路１１２の構成の一例を示す回路図である。受光部１１１は、マトリクス状に配置された複数の画素によって構成されており、図２では、受光部１１１のうちの同色の２行の２つの画素Ｐ（破線）の構成のみを示している。

図２に示すように、各画素Ｐは、フォトダイオードＰＤと、転送トランジスタＴ１と、フローティングディフュージョンＦＤと、リセットトランジスタＴ２と、増幅トランジスタＴ３とによって構成される。フォトダイオードＰＤは、受光した光に応じて電荷を発生する。フォトダイオードＰＤに発生した電荷は、転送トランジスタＴ１によってフローティングディフュージョンＦＤに転送されて蓄積される。リセットトランジスタＴ２によってフローティングディフュージョンＦＤのリセット及び蓄積期間が設定され、フローティングディフュージョンＦＤの信号電荷に基づく電圧が増幅トランジスタＴ３によって増幅される。

行選択スイッチＴ４は、行選択信号によってオン，オフし、カラム線ＣＡを介して増幅トランジスタＴ３からの信号電流をＣＤＳ回路１１ａに出力する。１列の全ての行選択スイッチＴ４は、共通のカラム線ＣＡに接続され、同一行の全ての行選択スイッチＴ４が同時にオンになることで、同一行の全ての画素Ｐから各カラム線ＣＡを介して信号が各ＣＤＳ回路１１ａに供給される。

このように構成された画素Ｐは、静止画撮影時に、図示しない垂直走査回路によって行選択スイッチＴ４がライン毎に選択的にオンとなる。また、画素Ｐは、動画撮像時に、垂直走査回路によって１ライン毎の同一色の２行の行選択スイッチＴ４がオンとなる。これにより、画素Ｐは、動画撮影時に、同一色の２つの行の画素Ｐの画素値がカラム線ＣＡを介して出力される。

ＣＤＳ回路１１ａは、同一色の２つの行の画素値のリセットノイズを除去して出力する。ＣＤＳ回路１１ａの出力は、トランジスタＴ５を介してコンデンサＣ１に蓄積される。動画撮像時には、コンデンサＣ１に２画素の画素値の和の電荷が蓄積されることになる。コンデンサＣ１の蓄積電荷は、アンプ１１ｂを介してアナログデジタル変換部（ＡＤＣ）１１ｃに供給されてデジタル信号に変換されて制御部１９へ出力する。このように、各カラム線ＣＡに設けられたＡＤＣ１１ｃからは、同色の２つの行の画素Ｐの加算画素値が出力されることになる。なお、各ＡＤＣ１１ｃの出力は、図示しない水平走査回路によって順次出力される。

なお、受光部１１１の構造を簡単化するとともに、処理を高速化するために、各画素の構造および読み出しの手順等を画素間で共通化する必要がある。このため、撮像部１１は、動画撮影時に、同色の２つの行の画素Ｐの加算画素値のみが出力され、単一の画素Ｐの画素値を出力することはできない。また、撮像部１１は、動画撮影時に、水平走査回路によって２行の画素Ｐの読み出しが終了すると、次の２行の画素Ｐの読み出しが行われる。なお、２行の画素Ｐの読み出しが終了する毎に、これらの行の各画素Ｐがリセットされる。

図１に戻り、引き続き、撮像装置１の構成を説明する。
本体通信部１２は、本体部１０に装着された交換レンズ部２０との通信を行うための通信インターフェースである。本体通信部１２には、交換レンズ部２０との電気的な接点も含まれる。

時計部１３は、計時機能および撮影日時の判定機能を有する。時計部１３は、撮像部１１によって撮像された画像データに日時データを付加するため、制御部１９に日時データを出力する。

操作入力部１４は、操作入力用のユーザインターフェースとして、撮像装置１の電源状態をオン状態またはオフ状態に切替える電源スイッチと、静止画撮影の指示を与える静止画レリーズ信号の入力を受け付けるレリーズスイッチと、撮像装置１に設定された各種撮影モードを切り替えるモードダイヤルスイッチと、撮像装置１の各種設定を切替える操作スイッチと、撮像装置１の各種設定を表示部１７に表示させるメニュースイッチと、記録媒体１６に記録された画像データに対応する画像を表示部１７に表示させる再生スイッチと、動画撮影の指示を与える動画レリーズ信号の入力を受け付ける動画スイッチと、を有する。レリーズスイッチは、外部からの押圧により進退可能である。レリーズスイッチは、半押しされた場合、撮影準備動作を指示する１ｓｔレリーズ信号が入力される。これに対し、レリーズスイッチが全押しされた場合、静止画撮影を指示する２ｎｄレリーズ信号が入力される。

記録部１５は、揮発性メモリおよび不揮発性メモリを用いて構成される。記録部１５は、制御部１９を介して撮像部１１から入力される画像データおよび撮像装置１の処理中の情報を一時的に記録する。また、記録部１５は、撮像装置１を動作させるための各種プログラム、撮像プログラムおよびプログラムの実行中に使用される各種データや各種パラメータを記録する。また、記録部１５は、撮像装置１を特定するための製造番号を記録する。

記録媒体１６は、撮像装置１の外部から装着されるメモリカード等を用いて構成される。記録媒体１６は、メモリＩ／Ｆ（図示せず）を介して撮像装置１に着脱自在に装着される。記録媒体１６には、制御部１９の制御のもと、画像データを記録する画像ファイルが書き込まれ、または記録媒体１６に記録された画像ファイル画像データが読み出される。また、本実施の形態１では、画像ファイルは、撮像部１１によって生成された画像データであって、置き換え対象となる置き換え画素から出力される電気信号を、同時、または異なるタイミングで得られた異なる撮像用画素の電気信号によって置き換えた画像データと、撮像部１１における置き換え画素の位置に関する位置情報とを記録する。

表示部１７は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示部１７は、画像データに対応する画像を表示する。ここで、画像の表示には、撮影直後の画像データを所定時間（たとえば３秒）だけ表示するレックビュー表示、記録媒体１６に記録された画像データを再生する再生表示、および撮像部１１が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。また、表示部１７は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。

タッチパネル１８は、表示部１７の表示画面上に設けられる。タッチパネル１８は、外部からの物体のタッチを検出し、検出したタッチ位置に応じた位置信号を出力する。また、タッチパネル１８は、ユーザが表示部１７で表示される情報に基づいて接触した位置を検出し、この検出した接触位置に応じて撮像装置１が行う動作を指示する指示信号の入力を受け付けてもよい。一般に、タッチパネル１８としては、抵抗膜方式、静電容量方式、光学方式等がある。本実施の形態１では、いずれの方式のタッチパネルであっても適用可能である。

制御部１９は、ＣＰＵ（Central Processing Unit）等を用いて構成される。制御部１９は、操作入力部１４またはタッチパネル１８から入力される指示信号に応じて、撮像装置１を構成する各部に対して制御信号や各種データの送信を行うことにより、撮像装置１の動作を統括的に制御する。

制御部１９の詳細な構成について説明する。制御部１９は、ＡＦ信号算出部１９１と、画像処理部１９２と、画像圧縮展開部１９３と、画像ファイル生成部１９４と、記録制御部１９５と、を有する。

ＡＦ信号算出部１９１は、撮像部１１から入力される画像データから所定の領域の画素の画像信号を取得し、取得した画像信号の位相差に基づいて、瞳分割位相差法によるＡＦ信号を生成する。ＡＦ信号算出部１９１は、本体通信部１２を介してＡＦ信号を交換レンズ部２０へ出力する。なお、ＡＦ信号算出部１９１による瞳分割位相差法の詳細については後述する。

画像処理部１９２は、撮像部１１から入力される画像データ（ＲＡＷデータ）に対して、画質補正処理を含む各種の画像処理を行った処理画像データを生成する。具体的には、画像処理部１９２は、画像データに対して、少なくとも画像の明るさを調整するゲイン処理、階調を補正する階調補正処理、エッジ処理、平滑化処理、ホワイトバランス処理、色補正処理、ノイズリダクション処理、γ補正処理および、撮影モードに応じた色相補正処理を含む画像処理を行って表示用または記録用の処理画像データを生成する。ここで、画像モードとは、人物撮影（ポートレート撮影）、風景撮影、夜景撮影等のシーンによって、現像する画像の画質を補正するモードである。なお、本実施の形態１では、画像処理部１９２が画像処理装置として機能する。

画像圧縮展開部１９３は、画像処理部１９２が画像処理を施した処理画像データに対して所定の形式に従って圧縮し、この圧縮した圧縮画像データを記録媒体１６へ出力する。ここで、所定の形式としては、ＪＰＥＧ（Joint Photographic Experts Group）方式、ＭｏｔｉｏｎＪＰＥＧ方式およびＭＰ４（Ｈ．２６４）方式等である。また、画像圧縮展開部１９３は、記録媒体１６に記録された画像データ（圧縮画像データ）を取得し、取得した画像データを展開（伸長）して画像ファイル生成部１９４または記録部１５へ出力する。

画像ファイル生成部１９４は、画質補正前の画像データ（ＲＡＷデータ）、処理画像データおよび圧縮画像データと、撮像部１１における置き換え画素および置き換え画素を補間した撮像用画素それぞれの位置に関する位置情報（アドレス情報）またはそれぞれの位置を含む範囲を示す範囲情報、撮像装置１の撮影モード、画像処理部１９２の画像処理パラメータを含む撮影情報を対応付けて記録した画像ファイルを生成する。なお、画像ファイル生成部１９４が生成する画像ファイルの詳細については後述する。ここで、不足した画素情報を補うことから、「補間」という言葉を使っているが、行っていることは「置き換え」と言い換えてもよい。

記録制御部１９５は、画像ファイル生成部１９４が生成した画像ファイルを記録媒体１６に記録させる。また、記録制御部１９５は、操作入力部１４またはタッチパネル１８から入力される指示信号に応じた内容の画像ファイルを画像ファイル生成部１９４に生成させる。具体的には、記録制御部１９５は、ＲＡＷデータと撮影情報とを対応付けて記録した画像ファイルを画像ファイル生成部１９４に生成させて記録媒体１６に記録させる。

以上の構成を有する本体部１０に対して、音声入出力部、被写体に対して補助光（フラッシュ）を発光する補助光発光部、インターネットを介して外部の画像処理装置と双方向に通信を行う機能を有する通信部等をさらに設けてもよい。

つぎに、交換レンズ部２０について説明する。交換レンズ部２０は、光学系２１と、駆動部２２と、レンズ通信部２３と、操作部２４と、レンズ記録部２５と、レンズ制御部２６と、を備える。

光学系２１は、一または複数のレンズと絞りとを用いて構成される。光学系２１は、所定の視野領域から光を集光する。光学系２１は、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。

駆動部２２は、ＤＣモータまたはステッピングモータ等を用いて構成され、光学系２１のレンズを光軸Ｏ１上で移動させることにより、光学系２１のピント位置や画角等の変更を行う。また、駆動部２２は、光学系２１の絞りを駆動する。

レンズ通信部２３は、交換レンズ部２０が本体部１０に接続されたときに、本体部１０の本体通信部１２と通信を行うための通信インターフェースである。

操作部２４は、交換レンズ部２０のレンズ鏡筒の周囲に設けられたリングであり、光学系２１における光学ズームの操作を開始する操作信号の入力、または光学系２１のピント位置の調整を指示する指示信号の入力を受け付ける。なお、操作部２４は、プッシュ式のスイッチ等であってもよい。

レンズ記録部２５は、Ｆｌａｓｈメモリを用いて構成され、光学系２１の位置および動きをそれぞれ決定するための制御用プログラム、光学系２１のレンズ特性、焦点距離、明るさナンバーおよび各種パラメータを記録する。

レンズ制御部２６は、ＣＰＵ等を用いて構成される。レンズ制御部２６は、操作部２４の操作信号または本体部１０からの指示信号に応じて交換レンズ部２０の動作を制御する。具体的には、レンズ制御部２６は、操作部２４の操作信号に応じて、駆動部２２を駆動させて光学系２１のピント合わせ、ズーム変更または絞り値の変更を行う。また、レンズ制御部２６は、交換レンズ部２０が本体部１０に装着された際に、交換レンズ部２０のピント位置情報、焦点距離および交換レンズ部２０を識別する固有情報等を本体部１０に送信する。

つぎに、上述したＡＦ信号算出部１９１が行う瞳分割位相差法について説明する。図３は、ＡＦ信号算出部１９１が行う瞳分割位相差法の概要を説明する模式図である。

図３に示すように、被写体Ｚ１から各光路を介して撮像装置１に入射する光学像は、光学系２１によって撮像部１１の撮像素子の入射面に結像する。ＡＦ検出用の画素（以下、ＡＦ画素という）として２つの撮像部（例えば、Ｒ撮像部とＬ撮像部）を構成し、各光路を射出瞳において例えば右方向と左方向とに分割して、右方向からの光（右光）と左方向からの光（左光）とを、Ｒ撮像部１１_RとＬ撮像部１１_Lとにそれぞれ入射する。具体的には、図３に示す撮像部１１の一部を拡大して示すように、光学系２１の光軸に対してＲ撮像部１１_R，Ｌ撮像部１１_Lを偏心させることで、右光と左光とをＲ撮像部１１_R，Ｌ撮像部１１_Lにそれぞれ入射させることができる。

ピントが合っている場合、Ｒ撮像部１１_R，Ｌ撮像部１１_Lには、被写体の同一点からの光が入射する。従って、水平方向に配置したＡＦ検出用の複数のＲ撮像部１１_Rによって得られる画像信号と複数のＬ撮像部１１_Lによって得られる画像信号とは同一となる。

これに対して、ピントがずれる場合、被写体の同一点からの光は、ピントのずれ量に応じてずれた位置のＲ撮像部１１_RとＬ撮像部１１_Lとに入射する。従って、図４に示すように、水平方向に配置したＡＦ検出用の複数のＲ撮像部１１_Rによって得られる画像信号（実線）Ｌ₁と複数のＬ撮像部１１_Lによって得られる画像信号（破線）Ｌ₂とは位相がずれ、この位相のずれ量がピントのずれ量に対応する。このように、ＡＦ信号算出部１９１は、Ｒ撮像部１１_R，Ｌ撮像部１１_Lによって得られる画像信号Ｌ₁および画像信号Ｌ₂の位相差に基づいて、ピント調整用のレンズを駆動する駆動信号を生成し、本体通信部１２を介して交換レンズ部２０に出力することにより、撮像装置１のオートフォーカスを実現することができる。

なお、図３においては、ＡＦ画素と撮像用画素（通常画素）との構造を共通化するために、Ｒ撮像部１１_Rのみを有する画素（以下、Ｒ画素という）とＬ撮像部１１_Lのみを有する画素（以下、Ｌ画素という）とによってＡＦ画素を構成した例を示している。なお、ＡＦ信号算出部１９１は、図５に示すように、Ｌ画素を省略し、ＡＦ画素としてＲ画素のみを用いて、複数の撮像用画素（以下、Ｎ画素ともいう）によって得られる画像信号の位相とＲ撮像部１１_Rによって得られる画像信号の位相とを比較することで、ピント調整用の駆動信号を生成してもよい。

つぎに、撮像部１１の画素配列について詳細に説明する。図６は、撮像部１１の画素配列を説明する図である。図６において、密なハッチングを青色のフィルタが配置された青色の画素を示し、粗なハッチングを赤色のフィルタが配置された赤色の画素を示し、無地を緑色のフィルタが配置された緑色の画素を示し、縁取りのある枠がＡＦ画素を示している。なお、図６においては、画素配列としてベイヤー配列を例に説明するが、たとえばハニカム配列であっても適用することができる。

図６に示すように、ベイヤー配列では、水平及び垂直２×２画素を単位として同一の配列が繰り返される。即ち、２×２画素のうち斜めに青と赤の画素が配置され、残りの斜めの２画素には緑の画素が配置される。図６においては、Ａ〜Ｇの符号は、画素を特定するためのものであり、画素Ｒは、ＡＦ検出用のＲ画素である。なお、図３の画素Ｒの位置には、緑色の画素を得るための緑色のフィルタが配置されている。

撮像部１１は、静止画撮影時に各画素から読み出した信号をそのまま撮像画像の各画素値として用い、撮像後に画素補間を行う。一方、撮像部１１は、動画撮像時に、同色の４画素の画素値を加算することでその色の１画素を生成する。たとえば、撮像部１１は、緑色の画素Ｄ〜Ｇを加算して緑色の１画素を生成し、この生成した画素の隣の画素として画素Ａ，Ｂ，Ｒ，Ｃを加算して生成する。他の色についても同様である。しかしながら、画素Ｒは、Ｎ画素ではないので、画素Ａ，Ｂ，Ｒ，Ｃをそのまま用いて１画素を構成すると、画質劣化が生じる。そこで、本実施の形態１において、撮像部１１は、他の画素によってＡＦ画素を補間することによって画像データ（ＲＡＷデータ）を生成する。

図７は、撮像部１１が行う画素の補間方法を説明する図である。なお、図７においては、ＡＦ画素としてＲ画素のみを用いる例について説明するが、ＡＦ画素としてＬ画素のみを用いる場合、ＡＦ画素としてＲ，Ｌ画素の両方を用いる場合にも同様に適用可能である。

図７に示すように、撮像部１１は、動画撮像を行う場合において、同色の２つの行の２つの列の画素によって１画素を生成する処理を高速に行うために、受光部１１１から画像信号を読み出すとき、同色の２行の画素を加算して読み出す。画素Ａ〜Ｇ，Ｒの画素値をＡ〜Ｇ，Ｒで表す場合、図７（ａ）および図７（ｂ）に示すように、緑色の画素については、加算画素値（Ｄ＋Ｆ），（Ｅ＋Ｇ），…，（Ａ＋Ｒ），（Ｂ＋Ｃ），…が出力される。さらに、撮像部１１から読み出された加算画素値について、同色の２列の画素加算を行うことで、図７（ｃ）および図７（ｄ）に示すように、加算画素値（Ｄ＋Ｅ＋Ｆ＋Ｇ），…，（Ａ＋Ｂ＋Ｒ＋Ｃ），・・が得られる。なお、上述したように、画素Ｒは、射出瞳の右方向から入射した光のみによる画素値を出力するＲ画素である。

本実施の形態１においては、１画素がＲ撮像部１１_RとＬ撮像部１１_Lによって構成されており、Ｒ撮像部１１_Rの画素値とＬ撮像部１１_Lの画素値とを加算できれば、このようなＡＦ画素からもＮ画素と同等の画素値が得られる。即ち、画素Ｒの位置において、Ｒ撮像部１１_RだけでなくＬ撮像部１１_Lも設けられているとした場合、Ｌ撮像部１１_Lの画素値を推定し、画素Ｒの画素値に推定したＬ撮像部１１_Lの画素値を加算することで、画素Ｒの位置においてＮ画素が構成されていた場合の画素値を求めることができる。

なお、撮像部１１は、動画撮像時に、高速処理のために、上述した加算読み出しを行っており、動画撮像時に受光部１１１から単独の画素の画素値を読み出すこと等、加算読み出し以外の読み出しはできない。従って、撮像部１１は、画素Ｒの画素値を直接読み出すこともできず、画素Ｒの２倍の画素値を画素Ｒの位置におけるＮ画素の値として直接求めることもできない。このため、画素Ｒの位置（図６を参照）は、画素Ｄ〜Ｇによって囲まれた中央の位置であり、この位置においてＮ画素が構成されていた場合の画素値を、加算画素値（Ｄ＋Ｅ＋Ｆ＋Ｇ）／４と推定する。さらに、Ｒ撮像部１１_RとＬ撮像部１１_Lの画素値が略同一の値であり、これらの画素値の和がＮ画素の画素値であるものとして、加算画素値（Ｄ＋Ｅ＋Ｆ＋Ｇ）／８を画素Ｒの位置におけるＬ撮像部１１_Lの画素値とする（図７（ｃ））。このように、撮像部１１は、加算画素値（Ａ＋Ｂ＋Ｒ＋Ｃ）にＬ撮像部１１_Lの画素値である加算画素値（Ｄ＋Ｅ＋Ｆ＋Ｇ）／８を加えた値を、画素Ａ，Ｂ，Ｒ，Ｃを全てＮ画素で構成した場合の加算画素値とする（図７（ｄ））。

一方、撮像部１１は、動画撮像時のＡＦ処理のために、画素Ｒにおける画素値（Ｒ撮像部の画素値）を求める必要がある。画像処理部１９２は、撮像部１１からは加算画素値（Ａ＋Ｒ）が出力されており、この加算画素値（Ａ＋Ｒ）から画素Ａの画素値を推定して減算することで、画素Ｒの画素値を得る。画素Ａは、画素Ｄ〜Ｇによって囲まれた中央の画素に近接した同色画素であるので、画素Ａの画素値を加算画素値（Ｄ＋Ｅ＋Ｆ＋Ｇ）／４であるものと推定する。こうして、撮像部１１は、加算画素値（Ａ＋Ｒ）−加算画素値（Ｄ＋Ｅ＋Ｆ＋Ｇ）／４によって、画素Ｒの画素値を求める（図７（ｅ））。

つぎに、画像ファイル生成部１９４が生成する画像ファイルについて説明する。図８は、画像ファイル生成部１９４が生成する画像ファイルの構成の一例を示す図である。

図８に示す画像ファイルＦ１００は、ＥＸＩＦに準拠したフォーマットでＲＡＷデータを記録するファイルであり、ＥＸＩＦと同様にヘッダーが設けられ、ＩＦＤ（Image File Directory）により各種のデータが割り当てられる。

ここで、画像ファイルＦ１００は、ファイル先頭のフィールドＦ１に、メイン画像データの再生に必要な情報（メイン画像データＩＦＤ０）、このメイン画像データの撮影時の情報（撮影情報ＩＦＤ１）が記録される。本実施の形態１では、メイン画像データにＲＡＷデータＤＲが割り当てられ、メイン画像データの撮影時の情報は、ＲＡＷデータの撮影時に使用した撮像装置１を特定する情報、撮影条件の情報が割り当てられる。具体的には、ＥＸＩＦの対応する情報が割り当てられ、絞り、フォーカス距離、シャッター速度等の情報、画像処理部１９２における画質補正モード等の情報や画像処理のパラメータ、さらにファイル名、ユーザ名等のＥＸＩＦに定義された情報が割り当てられる。

また、画像ファイルＦ１００は、フィールドＦ２に、画像圧縮展開部１９３で生成されるＪＰＥＧでデータ圧縮したサムネイル画像データが割り当てられ、フィールドＦ３に、この撮像装置１のメーカーが独自に定義した情報（平文部メーカーノートＩＦＤ）が記録される。画像ファイルＦ１００は、これら先頭３フィールドＦ１〜Ｆ３がＥＸＩＦのフォーマットで作成されることから、ＥＸＩＦのファイルを処理可能な各種アプリケーションによっても、メイン画像データに割り当てたＲＡＷデータを再生できるように形成される。

続いて、画像ファイルＦ１００は、メイン画像データの撮影時の画像処理情報ＤＳ０Ａが割り当てられる。具体的には、フィールドＦ４に、ＲＡＷデータＤＲの撮影時における撮像装置１の絞りの設定（たとえば、０ＥＶ、−１ＥＶ等の設定）、シャッター速度、撮影モード等が記録される。また、撮影時に得られた具体的なパラメータが順次記録される。本実施の形態１では、パラメータとして、初めに、撮影時を再現する画像処理に必要なパラメータが記録された後、ＲＡＷデータＤＲを部分的に切り出す際に使用する基準のパラメータ（以下、「切り出し用基準情報」という）が各種記録される。

すなわち、画像ファイルＦ１００は、フィールドＦ５に、撮影時を再現する画像処理に必要なパラメータ（以下、「画像処理情報」という）が記録される。従って、絞りは、先頭側のフィールドＦ４に、たとえば０ＥＶと記録され、続くフィールドＦ５の画像処理情報ＤＳ０Ａに、具体的な絞り値５．６等が記録される。また、画質補正モードは、先頭側のフィールドＦ４に、オートホワイトバランス調整モード、人物撮影の撮影モード等が記録され、また、フィールドＦ５の画像処理情報ＤＳ０Ａに、このオートホワイトバランス調整モードにおける各色信号の利得、撮影モードに応じた色補正のパラメータ等が記録される。

また、画像ファイルＦ１００は、フィールドＦ６に、各種の切り出し用基準情報ＤＳ０Ｂが設定される。具体的には、フィールドＦ６に、フォーカス調整から検出される撮影時の合焦位置情報が記録される。ここで、撮影時の合焦位置情報は、ＲＡＷデータＤＲの画像において合焦している領域の位置情報である。また、撮影時のフォーカスサーチ処理で検出された背景の合焦位置情報が記録される。フィールドＦ６に、撮影時に検出された顔の位置情報が記録される。撮像装置１では、撮影時、顔のテンプレートを用いて制御部１９で顔が撮影されている領域を検出し、この顔が検出された領域をこの顔位置の情報に設定する。なお、撮像装置１は、ユーザが人物撮影の撮影モードを選択している場合には、この顔を検出した領域が合焦するようにフォーカス調整してＲＡＷデータＤＲを取得する。なお、顔が検出されない場合、顔の位置情報にはその旨が記録される。

また、画像ファイルＦ１００は、逆光位置の情報が記録される。ここで、逆光位置の情報は、撮像結果中で逆光の部分を示す位置情報であり、フォーカスサーチの際に撮像結果の各部における合焦位置を検出し、この合焦位置の検出結果から、１つの物体を撮影したと判断される領域であって、合焦位置が手前側程、輝度レベルの低い領域を検出し、この検出した領域の位置情報を逆光位置の情報に設定する。画像ファイルＦ１００は、さらに飽和位置の情報が記録される。ここで、飽和位置の情報は、この撮像装置１のダイナミックレンジによって輝度レベルが飽和している領域の位置である。撮像装置１は、撮影時、絞りを可変し、この絞りの可変に対する各部の輝度レベルの変化を判定して飽和している領域を検出する。またこの検出した領域の位置情報をこの飽和位置の情報に設定する。また、画像ファイルＦ１００は、撮影時における光軸中心の位置情報が記録される。ここで、光軸中心の位置情報は、レンズに設けられたレンズの機種を特定する情報に基づいて設定される。なお、これら逆光位置情報、飽和位置情報、光軸中心位置情報にあっても、対応する位置情報を検出できない場合、それぞれその旨が記録される。画像ファイルＦ１００は、続いて他の各種のパラメータが順次割り当てられてこのメイン画像データの撮影時の撮影情報ＤＳ０が形成される。

また、画像ファイルＦ１００は、続いて編集処理の撮影情報ＤＳ１、ＤＳ２、・・・が記録される。ここで、編集処理の撮影情報ＤＳ１、ＤＳ２、・・・は、編集処理で設定される撮影情報であり、撮影時の撮影情報ＤＳ０に割り当てた撮影時を再現する画像処理情報ＤＳ０Ａに対応して設定される。撮影情報ＤＳ１、ＤＳ２、・・・は、撮影時の撮影情報ＤＳ０のフィールドＦ４に割り当てた絞りの設定、シャッター速度、撮影モード等の撮影情報に、履歴の情報が追加されて、先頭側のフィールドＦ７が形成される。なお履歴の情報は、各撮影情報ＤＳ１、ＤＳ２、・・・を画像ファイルＦ１００に設定した日時の情報である。さらに、画像ファイルＦ１００は、フィールドＦ８に、直前フィールドＦ７に割り当てた撮影情報に対応する具体的な画像処理情報が記録される。

また、画像ファイルＦ１００は、フィールドＦ９に、撮像部１１の受光部１１１におけるＡＦ画素の位置に関するＡＦ画素の位置情報およびＡＦ画素を補間した撮像用画素に関する位置情報が記録される。

また、画像ファイルＦ１００は、この編集処理の撮影情報ＤＳ１、ＤＳ２、・・・の領域に続いて、サムネイル画像データＤＴの再生に必要な情報が割り当てられ、さらに続くフィールドにサムネイル画像データＤＴが割り当てられる。また、メイン画像データであるＲＡＷデータＤＲが割り当てられる。画像ファイルＦ１００は、このメイン画像データに続いて、撮影時の撮影情報ＤＳ０に割り当てた切り出し用基準情報（フィールドＦ６）ＤＳ０Ｂに対応する情報であって、編集処理時に設定した切り出し用基準情報を追加可能に形成される。なお、この追加する情報は、撮影時の撮影情報ＤＳ０と同様のフィールド構造で、かつ編集処理時における撮影情報ＤＳ１、・・・と同様に履歴の情報が設定される。

ここで、画像ファイルＦ１００は、ＲＡＷデータＤＲのデータ量が全体のデータ量の９５〔％〕程度を占めることになるが、このＲＡＷデータＤＲがファイルの末尾に割り当てられていることから、ファイル先頭から５〔％〕程度を再生するだけで、サムネイル画像データＤＴ、撮影情報ＤＳ０、編集処理の撮影情報ＤＳ１〜ＤＳ２等を取得することができる。

このように、図８に示すフォーマットに従って、画像ファイル生成部１９４は、画像ファイルＦ１００で撮像結果を記録する場合、記録制御部１９５の指示のもと、撮像部１１から出力されるＲＡＷデータＤＲ、記録制御部１９５から出力される撮影情報ＤＳおよびサムネイル画像データＤＴ、画像圧縮展開部１９３で生成されるＪＰＥＧによるサムネイル画像データＤＴ等により、この画像ファイルＦ１００のデータを生成して記録媒体１６へ出力する。

つぎに、撮像装置１が実行する処理について説明する。図９は、撮像装置１が実行する処理の概要を示すフローチャートである。

図９に示すように、撮像装置１に電源が投入されると、制御部１９は、撮像装置１が撮影モードに設定されているか否かを判断する（ステップＳ１０１）。撮像装置１が撮影モードに設定されていると制御部１９が判断した場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１は、後述するステップＳ１０２へ移行する。これに対して、撮像装置１が撮影モードに設定されていないと制御部１９が判断した場合（ステップＳ１０１：Ｎｏ）、撮像装置１は、後述するステップＳ１２２へ移行する。

ステップＳ１０２において、制御部１９は、撮像部１１に撮像を実行させ、撮像部１１から入力される画像データに対応するライブビュー画像を表示部１７に表示させる。この際、画像処理部１９２は、撮像部１１からの画像データを、表示部１７の表示画素数に応じた間引き処理を施した後、表示部１７へ出力する。

続いて、操作入力部１４から動画撮影を指示する指示信号が入力された場合（ステップＳ１０３：Ｙｅｓ）、撮像装置１は、動画撮影時において撮像部１１から２行ごとに同時に読み出す動画時画素読み出し処理を実行する（ステップＳ１０４）。

図１０は、動画時画素読み出し処理の概要を示すフローチャートである。図１０に示すように、撮像部１１は、上述した図７に示す演算を行うための変数Ｌ，Ｍ，Ｎを０に初期化する（ステップＳ２０１）。

続いて、撮像部１１は、垂直アナログ加算回路１１２によって、１行飛ばしの２つの行の２画素を加算する（ステップＳ２０２）。これにより、たとえば図６の緑色の画素Ｄ，Ｆの加算画素値（Ｄ＋Ｆ）、画素Ｅ，Ｇの加算画素値（Ｅ＋Ｇ），…が得られる。

その後、２つの行の２画素がＡＦ画素を含む２画素である場合（ステップＳ２０３：Ｙｅｓ）、撮像部１１は、変数Ｌをインクリメント（Ｌ＝Ｌ＋１）し（ステップＳ２０４）、加算画素値Ｓ１（Ｌ）＝（Ａ＋Ｒ）をＡＦ用メモリ１１４に仮記録する（ステップＳ２０５）。ステップＳ２０５の後、撮像部１１は、ステップＳ２０６へ移行する。

２つの行の２画素がＡＦ画素を含む２画素でない場合（ステップＳ２０３：Ｎｏ）において、受光部１１１の全列の処理が終了していない場合（ステップＳ２０６：Ｎｏ）、撮像部１１は、受光部１１１の列を変更して（ステップＳ２０７）、ステップＳ２０２へ戻る。これに対して、受光部１１１の全列の処理が終了している場合（ステップＳ２０６：Ｙｅｓ）、撮像部１１は、ステップＳ２０８へ移行する。

続いて、撮像部１１は、水平デジタル加算回路１１３によって、１列飛ばしの４つの画素を加算する（ステップＳ２０８）。これにより、たとえば、加算画素値（Ｄ＋Ｆ）と加算画素値（Ｅ＋Ｇ）とが加算される。

その後、加算した４画素がＡＦ画素を囲む場合（ステップＳ２０９：Ｙｅｓ）、撮像部１１は、変数Ｍをインクリメントし（ステップＳ２１０）、加算画素値Ｓ２（Ｍ）＝（Ｄ＋Ｅ＋Ｆ＋Ｇ）をＡＦ用メモリ１１４に仮記録する（ステップＳ２１１）。これにより、ＡＦ画素を囲む全ての４画素の加算画素値がＡＦ用メモリ１１４に記憶される。ステップＳ２１１の後、撮像部１１は、ステップＳ２１２へ移行する。

加算した４画素がＡＦ画素を囲まない場合（ステップＳ２０９：Ｎｏ）、撮像部１１は、ステップＳ２１２へ移行する。

続いて、加算した４画素がＡＦ画素を含む場合（ステップＳ２１２：Ｙｅｓ）、撮像部１１は、変数Ｎをインクリメントし（ステップＳ２１３）、４画素の加算結果（Ａ＋Ｂ＋Ｒ＋Ｃ）を加算画素値Ｓ３（Ｎ）に代入する（ステップＳ２１４）。

その後、撮像部１１は、Ｓ３（Ｎ）にＳ２（Ｍ）／８を加算して（たとえば、図７（ｄを参照）の右辺の加算画素値を得る（ステップＳ２１５）。ステップＳ２１５の後、撮像部１１は、ステップＳ２１６へ移行する。

ステップＳ２１２において、加算した４画素がＡＦ画素を含まない場合（ステップＳ２１２：Ｎｏ）、撮像部１１は、ステップＳ２１６へ移行する。

続いて、受光部１１１の全行が終了した場合（ステップＳ２１６：Ｙｅｓ）、撮像装置１は、図９のメインルーチンへ戻る。これに対して、受光部１１１の全行が終了していない場合（ステップＳ２１６：Ｎｏ）、撮像部１１は、受光部１１１の行を変更し（ステップＳ２１７）、ステップＳ２０２へ戻る。

図９に戻り、ステップＳ１０５移行の説明を続ける。ステップＳ１０５において、制御部１９は、同一色の４画素によって囲まれる画素がＡＦ画素である場合の４画素の加算画素値Ｓ２（Ｊ）を１／４にすることで、ＡＦ画素がＮ画素で構成された場合の画素値Ｎ（Ｊ）を推定する。

続いて、ＡＦ信号算出部１９１は、Ｒ画素を含む２画素の加算値Ｓ１（Ｊ）からＲ画素がＮ画素で構成された場合の画素値Ｎ（Ｊ）を減算することで（図７（ｅ）参照）、Ｒ画素の画素値Ｒ（Ｊ）を推定する（ステップＳ１０６）。

その後、ＡＦ信号算出部１９１は、ＡＦ画素がＮ画素で構成された場合の画素値Ｎ（Ｊ）からＡＦ画素がＲ画素で構成された場合の画素値Ｒ（Ｊ）を減算することで、ＡＦ画素がＬ画素で構成された場合の画素値Ｌ（Ｊ）を推定する（ステップＳ１０７）。

続いて、ＡＦ信号算出部１９１は、推定した複数の画素値Ｒ（Ｊ）によって得られる画像信号と推定した複数の画素値Ｌ（Ｊ）によって得られる画像信号との相関を検出し（ステップＳ１０８）、推定した複数の画素値Ｒ（Ｊ）によって得られる画像信号と推定した複数の画素値Ｎ（Ｊ）によって得られる画像信号との相関を検出する（ステップＳ１０９）。

その後、レンズ制御部２６は、ＡＦ信号算出部１９１から入力されるＡＦ信号に基づいて、駆動部２２を駆動することにより、相関が高い方で光学系２１のピント合わせを行う（ステップＳ１１０）。具体的には、ＡＦ信号算出部１９１は、高い相関が得られる組み合わせをピント合わせの位相差検出に採用する。たとえば、ＡＦ信号算出部１９１は、画素値Ｒ（Ｊ）によって得られる画像信号と複数の画素値Ｌ（Ｊ）によって得られる画像信号との相関の方が高い場合には、画素値Ｒ（Ｊ）によって得られる画像信号と複数の画素値Ｌ（Ｊ）によって得られる画像信号との位相差を検出して、検出した位相差に基づいて交換レンズ部２０を駆動制御するためのＡＦ信号を生成してレンズ制御部２６に出力する。このＡＦ信号がレンズ制御部２６に出力され、レンズ制御部２６は、駆動部２２を駆動して光学系２１のピント合わせを行う。

続いて、画像処理部１９２は、取得した座標毎の色データ情報であるピント合わせ後の４加算画素値を用いて、動画撮像時の画像を生成し、所定の画像処理を施した後、処理画像データに対応する画像を表示部１７に表示させる（ステップＳ１１１）。また、画像圧縮展開部１９３は、画像処理部１９２が生成した処理画像データに符号化処理を施した後、記録部１５に記録させる（ステップＳ１１１）。

その後、操作入力部１４を介して動画撮影を終了する指示信号が入力された場合（ステップＳ１１２：Ｙｅｓ）、撮像装置１は、後述するステップＳ１１７へ移行する。これに対して、操作入力部１４を介して動画撮影を終了する指示信号が入力されていない場合（ステップＳ１１２：Ｎｏ）、撮像装置１は、ステップＳ１０５へ戻り、動画撮影を続ける。

ステップＳ１０３において、操作入力部１４から動画撮影を指示する指示信号がない場合（ステップＳ１０３：Ｎｏ）において、静止画撮影を指示する指示信号が入力されたとき（ステップＳ１１３：Ｙｅｓ）、撮像装置１は、ピントを自動で調整するＡＦ処理を実行し（ステップＳ１１４）、静止画撮影を実行する（ステップＳ１１５）。この際、制御部１９は、撮像部１１から入力される画像データ（ＲＡＷデータＤＲ）を記録部１５に記録する。

続いて、画像処理部１９２は、記録部１５から画像データを取得し、取得した画像データに対して、ＡＦ画素の補間を含む画像処理を施して処理画像データを生成する（ステップＳ１１６）。

その後、画像ファイル生成部１９４は、記録部１５に記録されたＲＡＷデータＤＲおよび処理画像データに、画像処理部１９２が補間処理を施した撮像部１１におけるＡＦ画素の位置に関するＡＦ画素の位置情報、およびＡＦ画素を補間するための撮像用画素の位置に関する置き換え画素の位置情報を対応付けて記録した画像ファイルを生成し（ステップＳ１１７）、生成した画像ファイルを記録媒体１６に記録する（ステップＳ１１８）。これにより、図１１に示すように、撮像装置１は、ライブビュー画像に対応させるため、高速の画像データを生成しているが、ＲＡＷデータＤＲとして記録することにより、他の画像処理装置、たとえばコンピュータによってＲＡＷデータＤＲを現像する際に、ＡＦ画素の位置情報およびＡＦ画素を置換した撮像用画素の位置情報を用いることにより、より自然で正確な補間または置き換えや合成を行った画像を生成することができる。なお、画像ファイル生成部１９４は、記録部１５に記録された動画データに、静止画撮影と同様に、ＡＦ画素の位置情報および補間画素の情報を対応付けて画像ファイルを生成する。

続いて、制御部１９は、記録した処理画像データに対応する画像を表示部１７にレックビュー表示させる（ステップＳ１１９）。

その後、撮像装置１の電源がオフになった場合（ステップＳ１２０：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、撮像装置１の電源がオフになっていない場合（ステップＳ１２０：Ｎｏ）、撮像装置１は、ステップＳ１２１へ移行する。

続いて、制御部１９は、操作入力部１４から入力される指示信号に応じて、撮像装置１のモードを撮影モードまたは再生モードに変更する操作を受け付ける（ステップＳ１２１）。ステップＳ１２１の後、撮像装置１は、ステップＳ１０１へ戻る。

ステップＳ１１３において、操作入力部１４を介して静止画撮影を指示する指示信号が入力されていない場合（ステップＳ１１３：Ｎｏ）、撮像装置１は、ステップＳ１２０へ移行する。

つぎに、撮像装置１が撮影モードに設定されていない場合（ステップＳ１０１：Ｎｏ）について説明する。この場合、撮像装置１が再生モードに設定されているとき（ステップＳ１２２：Ｙｅｓ）、制御部１９は、記録媒体１６に記録された画像ファイルの一覧表示を表示部１７に表示させる（ステップＳ１２３）。具体的には、制御部１９は、画像ファイルに含まれる画像データに対応するサムネイル画像の一覧を表示部１７に表示させる。

画像ファイルが選択された場合（ステップＳ１２４：Ｙｅｓ）、制御部１９は、選択された画像ファイルの画像データに対応する画像を表示部１７に再生させる（ステップＳ１２５）。この際、画像処理部１９２は、画像ファイルに記録されたＲＡＷデータＤＲと補間画素の位置情報とを用いて画像処理を行うことにより、画像データの現像を行う。これにより、本実施の形態１では、画像処理部１９２が画像処理装置として機能する。その後、撮像装置１は、ステップＳ１２２へ戻る。

ステップＳ１２４において、所定時間（たとえば３秒）内に画像ファイルが選択されない場合（ステップＳ１２４：Ｎｏ）、撮像装置１は、ステップＳ１２６へ移行する。

続いて、操作入力部１４から再生モードを終了する指示信号が入力された場合（ステップＳ１２６：Ｙｅｓ）、撮像装置１は、ステップＳ１２０へ移行する。これに対して、操作入力部１４を介して再生モードを終了する指示信号が入力されていない場合（ステップＳ１２６：Ｎｏ）、撮像装置１は、ステップＳ１２３へ戻る。

ステップＳ１２２において、撮像装置１が再生モードに設定されていない場合（ステップＳ１２２：Ｎｏ）、撮像装置１は、ステップＳ１０１へ戻る。

以上説明した本実施の形態１によれば、画像ファイル生成部１９４が撮像部１１によって生成された画質補正前の画像データと、撮像部１１におけるＡＦ画素および補間画素を補間した撮像用画素（Ｎ画素）それぞれの位置に関する位置情報とを対応付けて記録した画像ファイルＦ１００を生成するので、ＲＡＷデータＤＲに対して表示用の画質補正処理を行う後処理において画像を高画質で現像することができる。

さらに、本実施の形態１によれば、動画時の高速処理のために、ＡＦ画素を有する撮像部１１から、複数の画素の画素値が加算された後出力される場合でも、簡単な演算処理によって、ＡＦ画素が通常画素である場合の加算画素値を推定することができ、高画質の動画像を得ることができる。また、この場合でも、簡単な演算処理によって、ＡＦ画素の画素値を取得することができ、ピント合わせを高精度に行うことができる。なお、簡単な演算処理とは、加算する複数の画素が、ＡＦ画素を含む画素であるかＡＦ画素を囲む画素であるかによって、加算結果をそれぞれ記憶し、記憶した加算結果に対する簡単な四則演算を行うことであり、高速処理が可能である。

また、本実施の形態１では、画像処理部１９２がＡＦ画素の位置情報とＡＦ画素を補間した撮像用画素の位置情報とに基づいて、ＲＡＷデータＤＲの画質補正処理を行って処理画像データを生成していたが、たとえば、エッジ抽出において抽出した抽出画素であっても適用することができる。この場合、画像処理部１９２は、抽出画素の位置情報に基づいて、補間画素の重みを減らして、その周囲の画素を注視することで、より画像を高画質で現像することができる。さらに、一般的なノイズリダクション処理では、平坦部とエッジ部を判断しているが、その際の判断基準も、抽出画素の位置情報に応じて変更することができる。この結果、画像処理部１９２によるノイズリダクション処理による不必要な画質劣化を防止することができる。

また、本実施の形態１では、ＡＦ画素としてＲ画素のみを用いる例について説明したが、Ｌ画素のみを用いる場合、Ｒ，Ｌ画素の両方を用いる場合にも同様に適用可能である。

また、本実施の形態１では、ＡＦ画素として水平左右方向からの光を受光するＬ撮像部１１_L，Ｒ撮像部１１_Rを有する画素を用いる例について説明したが、ＡＦ画素として垂直上下方向からの光を受光する２つの撮像部を有する画素を用いる例についても、同様に適用できることは明らかである。

また、本実施の形態１では、ＲＡＷデータとして画質補正前の画像データを記録していたが、置き換え画素を補間した画像データをＲＡＷデータとして記録してもよく、置き換える前の（画質補正前の）置き換え画素のデータを別途画像ファイルに記録するようにしてもよい。これにより、ＲＡＷデータＤＲに対して表示用の画質補正処理を行なっても、行わなくても、任意の方を選べる。様々な方法で補正や代用、置き換えを行い、撮像装置と同等の画質は実現でき、かつ、表示用の画質補正処理を別途行う後処理を有する場合には、これらの情報を利用してより高画質で現像することができる。ここでは、もっぱら、画素のデータを置き換えることで説明したが、他の画素で置き換えるのみならず、画像のパターンから類推して補正することも可能で、こうしたケースも含めて置き換えという言葉で表現している。

また、本実施の形態１では、フォーカス用の画素（ＡＦ画素）を補正したが、露出調整用画素を撮像素子に埋め込む例、ストロボの光量制御用の画素、後述のように露出を補正する画素を埋め込む例もあり、いずれも、本実施例と同様、その画素は撮影や再生表示用画像のための画素または画素データではなく、これをこのまま使わず、上述の補正や代用、置き換え処理が必要となる。それゆえに、その画素の場所を示す情報をファイルに持たせることは、後工程で、これを取り扱う時に重要である。それだけでなく、どのような置き換えや補正をするかの情報をファイルに入れ込んでも良い。たとえば図７のような置き換えルールや、置き換え用画素の情報を持たせてもよい。このような、共通ルールを作ることによって、再生装置に最適な画像処理を再生時に施したりすることが可能である。特にファイルの受け渡しや伝送があった場合、異なる機器で再生することになるが、それがＰＣであったりスマートフォンであったりＴＶであったりするから、それら再生機器の都合によって、最適な画像調整を行えば良い。

（実施の形態２）
つぎに、本発明の実施の形態２について説明する。本実施の形態２にかかる撮像装置は、上述した実施の形態１にかかる撮像装置と構成が異なる。このため、本実施の形態２では、撮像装置の構成を説明後、本実施の形態２にかかる撮像装置が実行する処理について説明する。なお、以下において、上述した実施の形態１と同一の構成には同一の符号を付して説明する。

図１２は、本発明の実施の形態２にかかる撮像装置の機能構成を示すブロック図である。図１２に示す撮像装置２００は、本体部２１０と、交換レンズ部２０と、を備える。

本体部２１０は、撮像部１１、本体通信部１２と、時計部１３と、操作入力部１４と、記録部１５と、記録媒体１６と、表示部１７と、タッチパネル１８と、被写体分析部２１１と、制御部２１２と、を備える。

被写体分析部２１１は、制御部２１２を介して撮像部１１が生成した画像データに基づいて、補間対象の撮像部１１の画素領域を分析する。具体的には、被写体分析部２１１は、画像データに含まれる輝度情報に基づいて、被写体の明るさや露出状態、たとえば露出値限界状態（露出オーバ）、露出不足状態（露出アンダー）または適切露出状態である画素領域を分析し、この分析結果を制御部２１２へ出力する。

制御部２１２は、ＣＰＵ等を用いて構成される。制御部２１２は、操作入力部１４またはタッチパネル１８から入力される指示信号に応じて、撮像装置２００を構成する各部に対して制御信号や各種データの転送を行うことにより、撮像装置２００の動作を統括的に制御する。

制御部２１２の詳細な構成について説明する。制御部２１２は、ＡＦ信号算出部１９１と、画像処理部１９２と、画像圧縮展開部１９３と、画像ファイル生成部１９４と、記録制御部１９５と、画像合成部２１３と、を備える。

画像合成部２１３は、撮像装置２００がＨＤＲ（High Dynamic Range）撮影モードで撮影を行う場合、被写体分析部２１１の分析結果と撮像部１１から入力される画像データとに基づいて、ダイナミックレンジを拡大した画像データを生成する。具体的には、画像合成部２１３は、撮像部１１から入力される２つの画像データ、たとえば一部の画素でダイナミックレンズが飽和した画像データ（露出オーバ画像）と、一部の画素でノイズが生じている画像データ（露出アンダー画像）とを用いて、ノイズが生じている画素または飽和した画素を他の画素で置き換えることにより、ダイナミックレンズを調整した画像データを生成する。

以上の構成を有する撮像装置２００が実行する処理について説明する。図１３は、撮像装置２００が実行する処理の概要を示すフローチャートである。

図１３に示すように、撮像装置２００が撮像モードに設定されている場合（ステップＳ３０１：Ｙｅｓ）、制御部２１２は、本体通信部１２およびレンズ通信部２３を介して交換レンズ部２０とレンズ通信を行う（ステップＳ３０２）。

続いて、制御部２１２は、撮像部１１に撮像を実行させ、撮像部１１から入力される画像データに対応するライブビュー画像を表示部１７に表示させる（ステップＳ３０３）。この際、画像処理部１９２は、撮像部１１からの画像データを、表示部１７の表示画素数に応じた間引き処理を施した後、表示部１７へ出力する。

続いて、制御部２１２は、表示部１７の画面外からスライドタッチまたは操作入力部１４のレリーズスイッチが半押しされたか否かを判断する（ステップＳ３０４）。具体的には、制御部２１２は、タッチパネル１８から表示部１７の画面外からタッチ位置を検出し、このタッチ位置が経時的に変化しているか否かを判定することにより、スライドタッチがされたか否かを判断する。表示部１７の画面外からスライドタッチまたは操作入力部１４のレリーズスイッチが半押しされたと制御部２１２が判断した場合（ステップＳ３０４：Ｙｅｓ）、撮像装置２００は、後述するステップＳ３０５へ移行する。これに対して、表示部１７の画面外からスライドタッチまたは操作入力部１４のレリーズスイッチが半押しされていないと制御部２１２が判断した場合（ステップＳ３０４：Ｎｏ）、撮像装置２００は、後述するステップＳ３１２へ移行する。

ステップＳ３０５において、制御部２１２は、ＨＤＲ画像を生成する際のダイナミックレンズを調整するＨＤＲバーＭ１を表示部１７に表示させる。具体的には、図１４に示すように、制御部２１２は、表示部１７が表示するライブビュー画像Ｗ_n（ｎ＝自然数）上にＨＤＲバーＭ１を重畳して表示させる。さらに、制御部２１２は、ＨＤＲ画像の生成をリセットするリセットアイコンＡ１をライブビュー画像Ｗ_nに重畳して表示部１７に表示させる。ＨＤＲバーＭ１は、たとえば露出オーバ側の画像データを指示する指示信号の入力を受け付けるバー位置上端アイコンＹ１と、露出アンダー側の画像データを指示する指示信号の入力を受け付けるバー位置下端アイコンＹ２が表示される。

続いて、タッチパネル１８を介してバー位置上端アイコンＹ１がスライド操作された場合（ステップＳ３０６：Ｙｅｓ）、＋側の画像データを合成画像の基準とし、スライドの移動距離に応じて露出量を増減させ（ステップＳ３０７）、ＨＤＲの合成画像を表示部１７に表示させる（ステップＳ３０８）。たとえば、図１５に示すように、画像合成部２１３は、＋側の画像Ｗ_h1を合成画像の基準とし、スライドの移動距離に応じて互いに合成する画像Ｗ_h1と画像Ｗ_u1との露出量を適切になるように増減して合成画像Ｗ_n+1を生成する。ステップＳ３０８の後、撮像装置２００は、後述するステップＳ３１２へ移行する。

タッチパネル１８を介してバー位置上端アイコンＹ１がスライド操作されていない場合（ステップＳ３０６：Ｎｏ）において、タッチパネル１８を介してバー位置下端アイコンＹ２がスライド操作されたとき（ステップＳ３０９：Ｙｅｓ）、−側の画像データを合成画像の基準とし、スライドの移動距離に応じて露出量を増減させ（ステップＳ３１０）、ＨＤＲの合成画像を表示部１７に表示させる（ステップＳ３１１）。たとえば、図１６に示すように、画像合成部２１３は、−側の画像Ｗ_umaxを合成画像の基準とし、スライドの移動距離に応じて互いに合成する画像Ｗ_hmaxと画像Ｗ_umaxとの露出量を適切になるように増減して合成画像Ｗ_n+2を生成する。ステップＳ３１１の後、撮像装置２００は、後述するステップＳ３１２へ移行する。

ステップＳ３０９において、タッチパネル１８を介してバー位置下端アイコンＹ２がスライド操作されていない場合（ステップＳ３０９：Ｎｏ）、撮像装置２００は、ステップＳ３１２へ移行する。

続いて、制御部２１２は、リセットアイコンＡ１がタッチされた場合、または表示部１７がライブビュー画像の表示を行ってからタッチ操作が無かったか否かを判断する（ステップＳ３１２）。リセットアイコンＡ１がタッチされた場合、または表示部１７がライブビュー画像の表示を行ってからタッチ操作が無かったと制御部２１２が判断した場合（ステップＳ３１２：Ｙｅｓ）、撮像装置２００は、ステップＳ３１３へ移行する。これに対して、リセットアイコンＡ１がタッチされていない場合、または表示部１７がライブビュー画像の表示を行ってからタッチ操作があった場合と制御部２１２が判断した場合（ステップＳ３１２：Ｎｏ）、撮像装置２００は、ステップＳ３１４へ移行する。

ステップＳ３１３において、画像合成部２１３は、適正露出の画像データから±２段で調整された２枚の画像データを合成して合成画像を生成する。この際、画像合成部２１３は、適正露出の画像データ、−２段階の露出の画像データおよび＋２段階の露出の画像データの３枚を合成して合成画像を生成してもよい。

続いて、操作入力部１４のレリーズスイッチの半押し操作またはタッチがなく、表示部１７にＨＤＲバーＭ１を表示させた後、所定時間（たとえば３秒）経過した場合（ステップＳ３１４：Ｙｅｓ）、制御部２１２は、ＨＤＲバーＭ１を表示部１７のライブビュー画像から削除する（ステップＳ３１５）。ステップＳ３１５の後、撮像装置２００は、ステップＳ３１６へ移行する。これに対して、操作入力部１４のレリーズスイッチの半押し操作またはタッチがなく、表示部１７にＨＤＲバーＭ１を表示させた後、所定時間（たとえば３秒）経過していない場合（ステップＳ３１４：Ｎｏ）、撮像装置２００は、ＡＥ・ＡＦ処理を実行する（ステップＳ３１６）。

続いて、操作入力部１４のレリーズスイッチを介して２ｎｄレリーズ信号が入力された場合（ステップＳ３１７：Ｙｅｓ）、撮像装置２００は、静止画撮影を実行する（ステップＳ３１８）。この際、制御部２１２は、撮像部１１から入力される２の画像データ（ＲＡＷデータＤＲ）を記録部１５に記録する。

その後、画像ファイル生成部１９４は、記録部１５に記録された補正前の２つの画像データ（ＲＡＷデータＤＲ）およびをＲＡＷデータＤＲとしての画像合成部２１３が生成したＨＤＲ画像ＲＡＷデータに、ＨＤＲ画像ＲＡＷデータにおいて互いに画素を加算して補間した画素の位置情報を対応付けて記録した画像ファイルを生成する（ステップＳ３１９）。具体的には、図１７に示すように、画像ファイル生成部１９４は、画像ファイルを作成する。この画像ファイルのＦ２００には、フィールドＦ９に、補正前の２つのＲＡＷデータ（第１ＲＡＷデータ，第２ＲＡＷデータ）およびＨＤＲ画像データが格納される。さらに、フィールドＦ９には、ＨＤＲ画像ＲＡＷデータにおいて互いに画素を加算して置き換えた画素の位置に関する位置情報が記録される。

続いて、画像ファイル生成部１９４は、生成した画像ファイルを記録媒体１６に記録する（ステップＳ３２０）。これにより、図１８に示すように、撮像装置２００は、ライブビュー画像に対応させるため、高速の画像データを生成しているが、ＲＡＷデータＤＲとして記録することにより、他の画像処理装置、たとえばコンピュータによってＲＡＷデータＤＲを用いてＨＤＲ画像を現像する際に、置き換え画素の位置情報を用いることにより（（図１８（ａ）〜図１８（ｃ））、より自然で正確な置き換えや合成、補正など画像処理を行ったＨＤＲ画像を生成することができる（図１８（ｄ））。

その後、撮像装置２００の電源がオフになった場合（ステップＳ３２１：Ｙｅｓ）、撮像装置２００は、本処理を終了する。これに対して、撮像装置２００の電源がオフになっていない場合（ステップＳ３２１：Ｎｏ）、撮像装置１は、ステップＳ３０１へ戻る。

ステップＳ３０１において、撮像装置２００が撮影モードに設定されていない場合（ステップＳ３０１：Ｎｏ）において、撮像装置２００が再生モードに設定されているとき（ステップＳ３２２：Ｙｅｓ）、制御部２１２は、記録媒体１６に記録された画像ファイルの画像データを表示部１７に再生させる（ステップＳ３２３）。この際、画像処理部１９２は、画像ファイルに格納された２つのＲＡＷデータと、置き換え画素の位置情報とに基づいて、ＨＤＲ画像を生成してもよい。これにより、撮影を行うことがないので、画像処理の時間が撮影時に比して長くなったとしても、画像処理の時間を長くすることができ、より自然で正確な置き換えや合成など画像処理を行ったＨＤＲ画像を生成することができる（たとえば図１８を参照）。

続いて、操作入力部１４を介して画像が変更された場合（ステップＳ３２４：Ｙｅｓ）、制御部２１２は、記録媒体１６が記録する次の画像ファイルに変更し（ステップＳ３２５）、撮像装置２００は、ステップＳ３２１へ移行する。これに対して、操作入力部１４を介して画像が変更されない場合（ステップＳ３２４：Ｎｏ）、撮像装置１は、ステップＳ３２１へ移行する。

ステップＳ３２２において、撮像装置２００が再生モードに設定されていない場合（ステップＳ３２２：Ｎｏ）、撮像装置２００は、ステップＳ３２１へ移行する。

以上説明した本実施の形態２によれば、画像ファイル生成部１９４が撮像部１１によって生成された画質補正前の画像データと、撮像部１１における画像処理による補正画素および補正画素を置き換えした他の撮像用画素それぞれの位置に関する位置情報とを対応付けた画像ファイルＦ２００を生成するので、ＲＡＷデータＤＲに対して表示用の画質補正処理を行う際に高画質で現像することができる。

また、本実施の形態２では、第１ＲＡＷデータおよび第２ＲＡＷデータを１つの画像ファイルに記録していたが、たとえば、図１９に示すように、記録媒体１６における第１ＲＡＷデータおよび第２ＲＡＷデータの画像ファイルの指定情報をＨＤＲのＲＡＷデータＤＲを記録した画像ファイルＦ３００に対応付けて記録してもよい。これにより、１つの画像ファイルの容量を小さくすることができる。

また、本実施の形態２では、撮像部１１における画像処理による補正画素と補正画素を置き換えした他の撮像用画素それぞれの位置に関する位置情報とを対応付けた画像ファイルＦ２００を生成したが、画質補正前の補正必要画像部を示すデータ（画素を表すデータ）を、ＲＡＷデータとして記録しても、画質補正後に補正した画像部を示すデータ（画素を表すデータ）をＲＡＷデータとして記録してもよい。画素ごとではなく、領域を示すデータを別途画像ファイルに記録するようにしてもよい。このように、補正した部分や補正が必要な部分さえ記録しておけば、様々な方法でその部分の画質の補正や画像の代用、データ置き換えを行い、撮像装置とは異なる画質を実現可能になる。

また、本実施の形態２では、画素のデータを置き換えることで説明したが、他の画素で置き換えるのみならず、画像のパターンから類推して補正することも可能で、こうしたケースも含めて置き換えという言葉で表現している。ここでは、ＨＤＲ用の画像部分を補正したが、その他、置き換えが必要な画像部分を補正可能なように記録してもよい。いずれも、本実施例と同様、その画素は撮影や再生用画像のためにそのまま使える画素データではなく、上述の補正や代用、置き換え処理が必要となる。それゆえに、その画素の場所を示す情報をファイルに持たせることは、後工程で、これを取り扱う時に重要である。それだけでなく、どのような置き換えや補正をするかの情報をファイルに入れ込んでも良い。置き換えルールや、置き換え用画素の情報を持たせてもよい。このような、共通ルールを作ることによって、再生装置に最適な画像処理を再生時に施したりすることが可能である。特にファイルの受け渡しや伝送があった場合、異なる機器で再生することになるが、それがＰＣであったりスマートフォンであったりＴＶであったりするから、それら再生機器の都合によって、最適な画像調整を行えば良い。

また、本発明では、画像データを記録する画像ファイルの画像再生を行う画像再生機器であっても実行することができる。具体的には、画像生成機器は、画像データに対応する画像を構成する画素であって、他の画素に置き換えられた置き換え画素の位置に関する置き換え対象画素情報を取得する取得ステップと、取得ステップで取得した置き換え対象画素情報に基づいて、画像データに対応する画像を構成する複数の画素からそれぞれ出力される複数の電気信号から置き換え画素を特定する特定ステップと、特定ステップで特定した置き換え画素を、複数の画像からそれぞれ出力される複数の電気信号で補間して補間画像データを生成する生成ステップと、生成ステップで生成した補間画像データを再生する再生ステップと、を実行する。これにより、ＲＡＷデータに対して表示用の画質補正処理を行う際に、再生時の自由度を増して高画質で画像を再生することができる。さらに、補正した部分や補正が必要な部分を補間することで、様々な方法でその部分の画質の補正や画像の代用、データ置き換えを行い、撮像装置とは異なる画質で再生可能になる。ここで、画像生成機器は、撮像装置、スマートフォンを含む携帯機器、タブレット型携帯機器等の電子機器、ヘッドマウントディスプレイおよびＰＣ等の表示モニタを備える情報処理装置である。

また、本発明では、画像処理部が制御部に組み込まれていたが、たとえば画像処理部を別途設けてもよい。さらに、画像処理部（画像エンジン）を複数設けてもよい。

また、本発明では、画像処理部が画像処理装置として撮像装置内に組み込まれていたが、画像処理部を別途設けてもよい。

また、本発明では、画像ファイルを記録媒体に記録していたが、インターネットを介して他の画像処理装置、たとえば画像処理部を備えた携帯電話やタブレット型携帯機器等の電子機器に出力するようにしてもよい。

また、本発明に係る撮像装置は、コンパクトデジタルカメラ、デジタル一眼レフカメラ以外にも、例えばアクセサリ等を装着可能なデジタルビデオカメラおよび撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

また、本発明にかかる撮像装置および画像処理装置に実行させるプログラムは、インストール可能な形式又は実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本発明にかかる撮像装置および画像処理装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。さらに、本発明にかかる撮像装置および画像処理装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

１，２００ 撮像装置
１０，２１０ 本体部
１１ 撮像部
１２ 本体通信部
１３ 時計部
１４ 操作入力部
１５ 記録部
１６ 記録媒体
１７ 表示部
１８ タッチパネル
１９，２１２ 制御部
２０ 交換レンズ部
２１ 光学系
２２ 駆動部
２３ レンズ通信部
２４ 操作部
２５ レンズ記録部
２６ レンズ制御部
１１１ 受光部
１１２ 垂直アナログ加算回路
１１３ 水平デジタル加算回路
１１４ ＡＦ用メモリ
１９１ ＡＦ信号算出部
１９２ 画像処理部
１９３ 画像圧縮展開部
１９４ 画像ファイル生成部
１９５ 記録制御部
２１１ 被写体分析部
２１３ 画像合成部

Claims (9)

1. 複数の画素からそれぞれ出力される複数の電気信号のうち、置き換え対象となる置き換え画素から出力される電気信号を、同時、または異なるタイミングで得られた異なる撮像用画素の電気信号によって置き換えた画像データを生成する撮像部と、
   前記撮像部が生成した前記画像データと、前記撮像部における前記置き換え画素の位置に関する位置情報とを対応付けて記録する画像ファイルを生成する画像ファイル生成部と、
   を備えたことを特徴とする撮像装置。
2. 前記置き換え画素は、画素が欠陥した欠陥画素、当該撮像装置のピントを検出する際の検出用画素、画像を構成する画素とは異なるカラーフィルターを有する画素、エッジ抽出において抽出した抽出画素および他の画像データを用いて画素信号を補って補正する補正対象の補正画素のいずれか一つ以上であることを特徴とする請求項１に記載の撮像装置。
3. 前記補正画素は、撮影パラメータを調整するための専用機能画素、または撮影条件で決まる画像領域に相当する画素であることを特徴とする請求項２に記載の撮像装置。
4. 複数の画素を有する撮像部を備えた撮像装置が生成した画像ファイルに対して画像処理を施す画像処理装置において、
   前記撮像部によって生成された画像データであって、置き換え対象となる置き換え画素から出力される電気信号を、同時、または異なるタイミングで得られた異なる撮像用画素の電気信号によって置き換えた画像データと、前記撮像部における前記置き換え画素の位置に関する位置情報とを対応付けて記録した画像ファイルを取得して、取得した前記画像ファイルが記録する前記位置情報に基づいて、前記画像データに画質補正処理を行って処理画像データを生成する画像処理部と、
   を備えたことを特徴とする画像処理装置。
5. 前記処理画像データに対応する処理画像を再生表示する表示部と、
   をさらに備えたことを特徴とする請求項４に記載の画像処理装置。
6. 複数の画素を有する撮像部を備えた撮像装置が生成する画像ファイルを記録した記録媒体であって、
   前記画像ファイルは、
   前記撮像部によって生成された画像データであって、置き換え対象となる置き換え画素から出力される電気信号を、同時、または異なるタイミングで得られた異なる撮像用画素の電気信号によって置き換えた画像データと、
   前記撮像部における前記置き換え画素の位置に関する位置情報と、
   を記録することを特徴とする記録媒体。
7. 複数の画素を有する撮像部を備えた撮像装置が実行する記録方法であって、
   複数の画素からそれぞれ出力される複数の電気信号のうち、置き換え対象となる置き換え画素から出力される電気信号を、同時、または異なるタイミングで得られた異なる撮像用画素の電気信号によって置き換えた画像データを生成する撮像ステップと、
   前記撮像ステップで生成した前記画像データと、前記撮像ステップにおける前記置き換え画素の位置に関する位置情報とを対応付けて記録する画像ファイルを生成する画像ファイル生成ステップと、
   を実行することを特徴とする記録方法。
8. 画像データを記録する画像ファイルの画像再生を行う画像再生機器が実行する画像再生方法であって、
   前記画像データに対応する画像を構成する画素であって、他の画素に置き換えられた置き換え画素の位置に関する置き換え対象画素情報を取得する取得ステップと、
   前記取得ステップで取得した前記置き換え対象画素情報に基づいて、前記画像データに対応する画像を構成する複数の画素からそれぞれ出力される複数の電気信号から前記置き換え画素を特定する特定ステップと、
   前記特定ステップで特定した前記置き換え画素を、前記複数の画像からそれぞれ出力される複数の電気信号で補間して補間画像データを生成する生成ステップと、
   前記生成ステップで生成した前記補間画像データを再生する再生ステップと、
   を実行することを特徴とする画像再生方法。
9. 複数の画素を有する撮像部を備えた撮像装置に、
   複数の画素からそれぞれ出力される複数の電気信号のうち、置き換え対象となる置き換え画素から出力される電気信号を、同時、または異なるタイミングで得られた異なる撮像用画素の電気信号によって置き換えた画像データを生成する撮像ステップと、
   前記撮像ステップで生成した前記画像データと、前記撮像ステップにおける前記置き換え画素の位置に関する位置情報とを対応付けて記録する画像ファイルを生成する画像ファイル生成ステップと、
   を実行させることを特徴とするプログラム。

Images