JP6537416B2 - 画像データ生成装置、撮像装置および画像データ生成プログラム - Google Patents

Description

本発明は、撮像素子から読み出された信号を用いて画像データを生成する装置に関し、特に画素ごとに複数の光電変換部を含む撮像素子から読み出された信号を用いて画像データを生成する画像データ生成装置に関する。

撮像光学系の射出瞳のうち互いに異なる領域を通過した複数の光束をそれぞれ受光する複数の光電変換部（以下、ＰＤという）を画素ごとに含む撮像素子を備えた撮像装置が従来提案されている。特許文献１には、画素ごとにマイクロレンズと複数のＰＤとを設け、マイクロレンズによって上記射出瞳の互いに異なる領域からの複数の光束を複数のＰＤに導くようにした撮像素子が開示されている。特許文献２には、このような撮像素子の各画素からＰＤごとに読み出した信号を用いて互いに視差を持つ複数の視差画像を生成したり、各画素の複数のＰＤからの信号を合成（加算）して読み出した信号を用いて１つの画像を生成したりする撮像装置が開示されている。

複数の視差画像は、立体画像の表示に用いることが可能である。また、複数の視差画像は、被写体からの光束の強度分布および角度分布を示すＬｉｇｈｔ Ｆｉｅｌｄ（ＬＦ）データにもなる。このため、非特許文献１にて開示されているように、撮像後にＬＦデータを用いて撮像素子の撮像面とは異なる仮想結像面に合焦した画像（リフォーカス画像）を生成することも可能である。

米国特許４，４１０，８０４号明細書 特開２００１−０８３４０７号公報

Stanford Tech Report CTSR 2005-02,1(2005)

しかしながら、上記のような撮像素子には、製造上の問題等により、一部の画素において個々のＰＤからの信号を単独で読み出すことができず、複数のＰＤからの加算された信号としてしか読み出せない場合がある。この場合、複数のＰＤからの信号を合成して読み出した信号を用いて生成される１つの画像には欠陥はないが、個々のＰＤから読み出した信号を用いて生成される視差画像には欠陥が含まれることになる。この結果、良好な立体画像を表示したり画質が高いリフォーカス画像を生成したりすることができなくなる。

本発明は、各画素に含まれる一部のＰＤから読み出された信号のみを用いて生成されるべき画像に欠陥が含まれる場合に、その欠陥の情報を含む画像データファイルを生成できるようにした画像データ生成装置および撮像装置等を提供する。

本発明の一側面としての画像データ生成装置は、それぞれ複数の光電変換部を含む複数の画素を有する撮像素子から得られる信号を用いて画像データを生成する。該画像データ生成装置は、複数の画素のそれぞれにおける複数の光電変換部のうち一部の光電変換部から得られる第１の信号を用いて第１の画像データを生成する第１の画像生成手段と、複数の画素のそれぞれにおける複数の光電変換部からの信号を相互に合成することで得られる第２の信号を用いて第２の画像データを生成する第２の画像生成手段と、第１の画像データおよび第２の画像データを含む画像データファイルを生成するファイル生成手段とを有する。そして、ファイル生成手段は、第１の画像データに含まれる欠陥に関する情報を示す欠陥データを画像データファイルに含めることを特徴とする。

なお、それぞれ複数の光電変換部を含む複数の画素を有する撮像素子と、上記画像データ生成装置とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像データ生成プログラムは、コンピュータに、それぞれ複数の光電変換部を含む複数の画素を有する撮像素子から得られる信号を用いて画像データを生成する処理を実行させるコンピュータプログラムである。該処理は、複数の画素のそれぞれにおける複数の光電変換部のうち一部の光電変換部から得られる第１の信号を用いて第１の画像データを生成する処理と、複数の画素のそれぞれにおける複数の光電変換部からの信号を相互に合成することで得られる第２の信号を用いて第２の画像データを生成する処理と、第１の画像データおよび第２の画像データを含む画像データファイルを生成するファイル生成処理とを含む。そして、ファイル生成処理は、第１の画像データに含まれる欠陥に関する情報を示す欠陥データを画像データファイルに含めることを特徴とする。

本発明によれば、撮像素子における各画素の一部の光電変換部から読み出された信号のみを用いて生成されるべき第１の画像に欠陥が含まれた場合に、その欠陥に関する情報のデータを含む画像データファイルを生成することができる。このため、第１の画像を用いた処理において該欠陥が反映されることを防止したり、該欠陥を補正したりすること等が可能となる。

本発明の実施例１の撮像装置の構成を示す図。 実施例１の撮像装置に用いられる撮像素子の構成を示す図。 上記撮像素子の画素構造を示す図。 上記撮像素子における画素アレイを示す図。 上記撮像素子による瞳分割を示す図。 実施例１の撮像装置に搭載された映像信号処理部の構成を示す図。 実施例１の撮像装置にて行われる撮像処理を示すフローチャート。 従来および実施例１における画像データファイル構造を示す図。 実施例１における右画像欠陥行データを示す図。 本発明の実施例２の撮像装置に搭載された映像信号処理部の構成を示す図。 実施例２において行われる欠陥行補正を示す図。 実施例２の撮像装置にて行われる撮像処理を示すフローチャート。 実施例１にて用いられる撮像素子の画素回路を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である撮像装置としてのカメラ本体２００と該カメラ２００に取り外し可能に装着される交換レンズ１００の構成を示している。

交換レンズ１００は、被写体からの光を結像させて被写体像（光学像）を形成する撮像レンズ１０１を有し、カメラ本体２００に設けられたレンズマウント１０２に対して機械的に結合されるとともにカメラ本体２００との通信が可能に電気的に接続される。なお、本実施例では撮像装置がレンズ交換型のカメラ（カメラ本体２００）について説明するが、撮像装置はレンズ一体型のカメラであってもよい。撮像レンズ１０１は、変倍レンズ、フォーカスレンズおよび絞り等を含む。レンズ制御部１４１は、レンズマウント１０２を介してカメラ本体２００の後述するＣＰＵ１３１から受信した制御指令に応じて変倍レンズ、フォーカスレンズおよび絞りの駆動を制御する。

カメラ本体２００において、撮像素子１０３は、ＣＭＯＳセンサ等の光電変換素子により構成され、被写体像を光電変換して電気信号を出力する複数の画素を有する。ＡＦＥ１０４は、撮像素子１０３から出力されたアナログ信号を増幅するアンプや増幅されたアナログ信号をデジタル信号に変換するＡＤコンバータ等を含む。画像データ生成装置としての映像信号処理部１２１は、ＡＦＥ１０４からのデジタル信号に対して各種画像処理を行うことで画像データを生成する。

メモリ１３２は、映像信号処理部１２１で生成された画像データや後述するＣＰＵ１３１が各種処理に使用するデータを一時的に記憶する。不揮発性メモリ１３３は、ＣＰＵ１３１が実行するプログラムや後述する右画像欠陥行データ（欠陥データ）を保持する。タイミング発生部１４２は、撮像素子１０３および映像信号処理回路１２１にタイミング信号を供給する。

撮像素子１０３、ＡＦＥ１０４、映像信号処理部１２１、メモリ１３２、不揮発性メモリ１３３、タイミング発生部１４２およびレンズマウント１０２は、バス１５０を介してＣＰＵ１３１と接続されている。また、ＣＰＵ１３１には、バス１５０を介して、電源１１０、表示制御部１５１、カード入出力部１７１およびユーザにより操作される各種スイッチが接続されている。各種スイッチには、カメラ本体２００の電源をオン／オフするためのメインスイッチ１６１と、ＡＦや測光等の撮像準備動作を開始させる撮像準備スイッチ１６２と、記録用撮像動作を開始させる撮像開始スイッチ１６３とが含まれる。また、各種スイッチには、撮像モード等の設定項目を選択するための項目選択ボタン１６４と、選択した設定項目を決定するための決定ボタン１６５も含む。

電源１１０は、バス１５０を介してカメラ本体２００内の各回路に電源を供給するとともに、レンズマウント１０２を介して交換レンズ１００にも電源を供給する。

表示制御部１５１は、Ｄ／Ａ変換部１５２を介して、液晶パネル等の表示素子により構成される表示部１５３にメモリ１３２に保存された表示用の画像データを表示させる。Ｄ／Ａ変換部１５２は、表示制御部１５１から入力された表示用の画像データ（デジタル画像データ）をアナログ画像データに変換して表示部１５３に出力する。また、表示制御部１５１は、Ｄ／Ａ変換部１５２を介して、ＶＩＤＥＯ出力端子１５４やＨＤＭＩ(登録商標)出力端子１５５にケーブルを介して接続された外部表示装置（図示せず）に画像データを出力する。

カードスロット１７２には、ＳＤカード等の着脱可能な記録媒体１７３が装着される。カードスロット１７２に装着された記録媒体１７３はカード入出力部１７１と電気的に接続され、この状態において、メモリ１３２に記録されている画像データを記録媒体１７３記録することができる。また、記録媒体１７３に記録されたデータをカード入出力部１７１を介して読み出すこともできる。

メインコントローラとしてのＣＰＵ１３１は、バス１５０を介してカメラ本体２００内の各部および交換レンズ１００内のレンズ制御部１４１の動作全体を制御する。

図２には、撮像素子１０３の構成を示している。撮像素子１０３は、２次元配列された複数の画素を含む画素アレイ２０１と、画素アレイ２０１における画素行を順次選択する垂直選択回路２０２と、画素アレイ２０１における画素列を順次選択する水平選択回路２０４とを有する。また、撮像素子１０３は、画素アレイ２０１における複数の画素のうち垂直選択回路２０２により選択された画素行に含まれる複数の画素から信号を読み出す読み出し回路２０３を有する。さらに、撮像素子１０３は、上記回路２０２〜２０４の動作モード等を指定する信号の入力部となるシリアルインターフェイス（ＳＩ）２０５を有する。

読み出し回路２０３は、画素からの信号を蓄積するメモリ、ゲインアンプおよびＡＤ変換器等を画素列ごとに有する。垂直選択回路２０２は画素アレイ２０１における複数の画素行を順次選択し、選択した画素行に含まれる複数の画素の信号を読み出し回路２０３に読み出させる。また、水平選択回路２０４は、読み出し回路２０３によって読み出された各画素行における複数の画素からの信号を画素列ごとに順次選択して出力する。

図３には、撮像素子１０３における１画素の構成を示している。画素３００は、１つのマイクロレンズ３０１と、複数（図では４つ）のフォトダイオード（光電変換部：以下、ＰＤと記す）３０２ａ，３０２ｂ，３０２ｃ，３０２ｄとを有する。なお、１画素に含まれるＰＤの数は４つでなくてもよく、２つ以上であればよい。

この画素３００からは、４つのＰＤ３０２ａ〜３０２ｄのうち個々（つまりは一部）のＰＤの信号を読み出すことも、４つ全部のＰＤ３０２ａ〜３０２ｄの信号を相互に合成（加算）して読み出すことも可能である。また、４つのＰＤ３０２ａ〜３０２ｄのうち２つずつ（つまりは一部）のＰＤの信号を相互に合成して読み出すことも可能である。なお、画素３００は、ＰＤの信号を増幅して読み出し回路２０３に読み出させるための増幅アンプや、垂直選択回路２０２による画素（行）の選択を可能と画素選択スイッチや、ＰＤの信号をリセットするリセットスイッチ等も備えている。

図４には、画素アレイ２０１に、水平方向にＮ個の画素を含む画素列が垂直方向にＭ行並ぶように行列状に２次元配列された複数の画素を示している。これら複数の画素のそれぞれにはカラーフィルタが設けられている。本実施例では、奇数画素行の画素に対して赤と緑のカラーフィルタが交互に設けられ、偶数画素行の画素に対して緑と青のカラーフィルタが交互に設けられている。このように複数の画素が２次元配列されることで、該複数の画素（つまりはＰＤ３０２ａ〜３０２ｄ）から読み出された信号を用いて２次元の画像データを生成することができる。

図５には、画素アレイ２０１の各画素３００による瞳分割を示している。図５において、５０６は図１に示した撮像レンズ１０１の射出瞳であり、３０１は図３にも示したマイクロレンズであり、３０３は図４を用いて説明したカラーフィルタである。３０２Ａは図３に示したＰＤ３０２ａおよびＰＤ３０２ｃのうち少なくとも一方であり、３０２Ｂは図３に示したＰＤ３０２ｂおよびＰＤ３０２ｄのうち少なくとも一方である。５０９はマイクロレンズ３０１を有する画素に対して射出瞳５０６から入射する光束の中心であり、ここでは光軸という。被写体からの光束であって射出瞳５０６のうち光軸５０９を挟んで位置する互いに異なる領域である部分瞳５０７，５０８を通過した２つの光束５１０，５１２はそれぞれ、マイクロレンズ３０１を透過してＰＤ３０２Ａ，３０２Ｂに入射する。つまり、ＰＤ３０２ＡとＰＤ３０２Ｂは、互いに視差を持って被写体を撮像する。これにより、互いに視差を有する少なくとも２つの画像（視差画像）を生成することができる。

以下の説明においては、ＰＤ３０２Ａから得られる信号がＰＤ３０２ａおよびＰＤ３０２ｃから得られる信号を加算した信号であり、ＰＤ３０２Ｂから得られる信号がＰＤ３０２ｂおよびＰＤ３０２ｄから得られる信号を加算した信号であるとする。このとき、ＰＤ３０２Ａ，３０２Ｂから得られる信号のうちＰＤ３０２Ａからの信号（つまりは２つのＰＤ３０２ａ，３０２ｃから得られる信号を加算した信号であり、第１の信号に相当する）のみを用いて生成される画像を「右画像」（第１の画像データ）という。また、ＰＤ３０２Ａ，３０２Ｂから得られる信号を加算した信号（つまりは４つのＰＤ３０２ａ〜３０２ｄから得られる信号を全て加算した信号であり、第２の信号に相当する）を用いて生成される画像を「右＋左画像」（第２の画像データ）という。

図６には、映像信号処理部１２１の構成を示している。映像信号処理部１２１は、右＋左画像生成部６０１と、画像処理部６０２と、非可逆圧縮処理部６０３と、メモリインターフェイス６０４と、右画像抽出部６０５と、可逆圧縮処理部６０６と、ファイル生成部６１０とを有する。右画像抽出部６０５が第１の画像生成手段に相当し、右＋左画像生成部６０１が第２の画像生成手段に相当する。また、ファイル生成部６１０がファイル生成手段に相当する。

右＋左画像生成部６０１は、撮像素子１０３の複数の画素のそれぞれにおけるＰＤ３０２ＡおよびＰＤ３０２Ｂから出力された信号を加算した信号を用いて右＋左画像を生成する。画像処理部６０２は、右＋左画像生成部６０１で生成された右＋左画像に対して、ホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度変換等の画像処理を行う。

非可逆圧縮処理部６０３は、画像処理部６０２で処理された右＋左画像に対して、そのデータ量を圧縮するためのＪＰＥＧ圧縮等の非可逆圧縮処理を行って非可逆圧縮画像を生成する。そして、この非可逆圧縮画像をメモリインターフェイス６０４およびバス１５０を介してメモリ１３２に出力し、保存させる。

右画像抽出部６０５は、撮像素子１０３の複数の画素のそれぞれにおけるＰＤ３０２ＡおよびＰＤ３０２Ｂから出力された信号のうちＰＤ３０２Ａからの信号を抽出して右画像を生成する。

可逆圧縮処理部６０６は、右＋左画像生成部６０１で生成された右＋左画像と右画像抽出部６０５で生成された右画像のそれぞれに対して、そのデータ量を圧縮するためのＴＩＦＦ圧縮等の可逆圧縮処理を行って可逆圧縮右＋左画像と可逆圧縮右画像を生成する。そして、これらの可逆圧縮右＋左画像と可逆圧縮右画像をメモリインターフェイス６０４およびバス１５０を介してメモリ１３２に出力し、保存させる。

ファイル生成部６１０は、メモリ１３２から可逆圧縮右＋左画像、可逆圧縮右画像および非可逆圧縮右＋左画像等を含む画像データファイルを生成する。なお、ファイル生成部６１０の機能をＣＰＵ１３１が有していてもよく、この場合は映像信号処理部１２１とＣＰＵ１３１によって画像データ生成装置が構成される。

次に、図７のフローチャートを用いて本実施例において映像信号処理部１２１が行う画像データ生成処理について説明する。この画像データ生成処理には、後述する画像ファイルを生成するファイル生成処理も含まれる。コンピュータとしての映像信号処理部１２１は、不揮発性メモリ１３３に格納されたコンピュータプログラムである画像データ生成プログラムに従って本処理を実行する。

ステップＳ１００においてＣＰＵ１３１による撮像準備スイッチ１６２の操作の検出に応じた撮像準備動作に続き、撮像開始スイッチ１６３の操作の検出に応じた撮像動作が行われると、ステップＳ１０１から映像信号処理部１２１が本処理を開始する。

ステップＳ１０１では、映像信号処理部１２１は、撮像素子１０３の各画素からＰＤ３０２ＡおよびＰＤ３０２Ｂから信号を読み出す。

ステップＳ１０２では、映像信号処理部１２１（右＋左画像生成部６０１）は、撮像素子１０３の各画素のＰＤ３０２ＡおよびＰＤ３０２Ｂから出力された信号を加算した信号を用いて右＋左画像を生成する。また、映像信号処理部１２１（右画像生成部６０５）は、各画素のＰＤ３０２Ａからの信号を抽出し、該抽出した信号を用いて右画像を生成する。

次にステップＳ１１０では、映像信号処理部１２１（可逆圧縮処理部６０６）は、ステップＳ１０２で生成された右＋左画像に対して可逆圧縮処理を行い、その結果得られた可逆圧縮画像（以下、右＋左画像という）をメモリ１３２に保存する。右＋左画像は、撮像後にアプリケーションソフトによって撮像パラメータを変更した画像を生成するために用いられる画像である。

また、ステップＳ１２０では、映像信号処理部１２１（画像処理部６０２）は、ステップＳ１０２で生成された右＋左画像に対して上述した画像処理を行う。そして、ステップＳ１２１では、映像信号処理部１２１（非可逆圧縮処理部６０３）は、画像処理後の右＋左画像に対して非可逆圧縮処理を行い、その結果得られた表示用の非可逆圧縮右＋左画像（以下、表示用右＋左画像という）をメモリ１３２に保存する。表示用右＋左画像は、表示部１５３での表示に用いるためのＪＰＥＧ画像等である。

また、映像信号処理部１２１（非可逆圧縮処理部６０３）は、右＋左画像をサムネイル表示用に縮小したサムネイル右＋左画像を生成して、メモリ１３２に保存する。サムネイル右＋左画像は、表示部１５３に複数の画像のインデックス表示を行う場合に用いられ、表示用右＋左画像を間引いてリサイズした画像である。

さらに、ステップＳ１３０では、映像信号処理部１２１（可逆圧縮処理部６０６）は、ステップＳ１０２で生成された右画像に対して可逆圧縮処理を行い、その結果得られた可逆圧縮右画像（以下、単に右画像という）をメモリ１３２に保存する。右画像は、撮像後にアプリケーションソフトを用いて、右＋左画像とともにリフォーカス画像や立体表示用画像の生成処理に用いられる画像である。

これらステップＳ１１０，Ｓ１２０，Ｓ１２１およびＳ１３０の処理は、映像信号処理部１２１が同時に並行して行ってもよいし、順に行ってもよい、
ステップＳ１１０，Ｓ１２１およびＳ１３０が完了すると、映像信号処理部１２１（ファイル生成部６１０）はステップＳ１４０に進み、画像データファイル（以下、単に画像ファイルという）を生成するファイル生成処理を行う。

具体的には、映像信号処理部１２１は、可逆圧縮右＋左画像、可逆圧縮右画像、表示用の非可逆圧縮右＋左画像およびサムネイル右＋左画像をメモリ１３２から読み出して画像ファイルを生成する。また、映像信号処理部１２１は、不揮発性メモリ（記憶手段）１３３から、これに記憶（保持）されている後述する右画像欠陥行データを読み出すことで取得して画像ファイルに付加する。画像ファイルの詳しい構成については後述する。

次にステップＳ１４１では、映像信号処理部１２１は、生成した画像ファイルを、カード入出力部１７１を介して記録媒体１７３に記録する。そして、ステップＳ１４２にて本処理を終了する。

上述した右画像欠陥行データにおける「欠陥」および「欠陥行」について、図１３を用いて説明する。図１３には、撮像素子１０３における画素の回路構成を示している。ここでは、１画像行のうち３つの画素の回路を示している。また、説明を簡単にするために、１つの画素７０１に２つのＰＤ７０３，７０４が含まれているものとして説明する。

画素７０１の転送スイッチ７０５，７０６はそれぞれ転送パルスφＴＸ１，φＴＸ２によって駆動され、これら転送スイッチ７０５，７０６に対応するＰＤ７０３，７０４で発生した電荷をＦＤ７０７に転送する。ＦＤ７０７は電荷を一時的に蓄積するバッファとしての役割を有する。９０１はソースフォロアとして機能する増幅ＭＯＳアンプであり、９０２は垂直選択パルスφＳＥＬによって画素を選択する選択スイッチである。ＦＤ７０７、増幅ＭＯＳアンプ９０１および垂直出力線９０３に接続された不図示の定電流源によりフローティングディフュージョンアンプが構成される。画素選択スイッチ９０２により選択された画素のＦＤ７０７の電荷がフローティングディフュージョンアンプにより電圧に変換されて、垂直出力線９０３に出力され、図２に示した読み出し回路２０３により読み出される。９０４はリセットパルスφＲＥＳを受けてＶＤＤによりＦＤ７０７をリセットするリセットスイッチである。

ＰＤ７０３，７０４はそれぞれに対応する転送スイッチ７０５，７０６を有するが、画素中の回路においてＦＤ７０７以降で信号読み出しに用いる回路は共有する。このような構成にすることで、画素の縮小化を図ることができる。また、転送パルスφＴＸ１，φＴＸ２を提供する配線は各画素行に配列された画素により共有される。

このように構成された回路において、リセットパルスφＲＥＳと転送パルスφＴＸ１，φＴＸ２が同時に高電位（Ｈ）とされると、リセットスイッチ９０４と転送スイッチ７０５，７０６がオンとなる。これにより、ＰＤ７０３，７０４およびＦＤ７０７の電位が初期電位ＶＤＤにリセットされる。その後、転送パルスφＴＸ１，φＴＸ２が低電位（Ｌ）になると、ＰＤ７０３，７０４において電荷の蓄積が始まる。

所定の電荷蓄積時間が経過すると、垂直選択パルスφＳＥＬがＨにされて画素選択スイッチ９０２がオンなることで読み出し画素行が選択され、１画素行の信号の読み出し動作が行われる。また同時にリセットパルスφＲＥＳがＬにされ、ＦＤ７０７のリセットが解除される。

そして、φＴＮがＨにされることで読み出し回路２０３によりＦＤ７０７のリセット信号であるＮ信号が読み出されて記録される。図示はしないが、読み出し回路２０３は、φＴＮ，φＳ１およびφＳ２の制御に基づいてＦＤ７０７の電位を垂直出力線９０３を介し読み出して記録する。次に、転送パルスφＴＸ１とφＳ１とが同時にＨにされて転送スイッチ７０５がオンになることでＰＤ７０３の電荷（光信号）とノイズ信号との加算信号である第１ＰＤ信号が読み出し回路２０３に記録される。

次に、リセットスイッチ９０４がオンにされない状態で転送パルスφＴＸ１，φＴＸ２とφＳ２とが同時にＨにされることで転送スイッチ７０５，７０６がオンにされる。これにより、ＰＤ７０３の光信号とＰＤ２０４の光信号とノイズ信号とが加算された加算信号である第２ＰＤ信号が読み出し回路２０３に記録される。

こうして読み出し回路２０３に読み出されたＮ信号、第１ＰＤ信号および第２ＰＤ信号に基づいて、第１ＰＤ信号とノイズ信号との差分である右画像用の信号と、第２ＰＤ信号とノイズ信号との差分である右＋左画像用の信号とが撮像素子１０３から出力される。

ただし、撮像素子１０３の製造上の問題によって、例えば転送パルスφＴＸ１の配線と転送パルスφＴＸ２の配線がショートし、本来Ｌとなるべき転送パルスφＴＸ２がＨになる場合がある。この場合、第１ＰＤ信号を読み出す動作において第２ＰＤ信号が読み出されることになる。第２ＰＤ信号は、もともと転送パルスφＴＸ１，φＴＸ２が同時にＨになることで読み出されるので影響はない。結果として、転送パルスφＴＸ１の配線と転送パルスφＴＸ２の配線とがショートした画素行（すなわち欠陥画素行：略して欠陥行）では右＋左画像用の信号は正常に得られるが、右画像用の信号として右＋左画像用の信号と同じ信号が読み出される。つまり、欠陥行から得られる信号を用いて生成される右画像には、欠陥行に対応した欠陥が発生する。

右画像欠陥行データは、カメラ本体２００に用いられた撮像素子１０３に固有のデータであり、撮像素子１０３の検査等によって特定された欠陥行を示す（言い換えれば、欠陥に関する情報を示す）データとして予め不揮発性メモリ１３３に記憶される。

次に、画像ファイルの構成について、図８（ａ），（ｂ）を用いて説明する。図８（ａ）には、従来の一般的なＴＩＦＦ（TaggedImageFileFormat）画像ファイルの構造を示している。ＴＩＦＦ画像ファイル８００は、１つのファイルに複数の画像データを格納することができ、ＴＩＦＦヘッダ部８０１と、複数のＩＦＤ（ImageFileDirectory）部８０２〜８０５と、複数の画像データ部８０６〜８０９とで構成されている。

ＴＩＦＦヘッダ部８０１は、ＴＩＦＦファイル構造であることを識別するためのデータを格納する領域である。ＩＦＤ部８０２〜８０５は、画像データ部８０６〜８０９に格納された画像データに関連する撮像情報やパラメータ等のメタデータＡ〜Ｄと本画像ファイル内での画像データ部８０６〜８０９の場所を示すオフセット値Ｅ〜Ｈとを格納する領域である。例えば０ｔｈＩＦＤ部８０２が０ｔｈ画像データ部８０６に対応するように、１つのＩＦＤ部は１つの画像データ部に対応しており、ＩＦＤ部８０２〜８０５のオフセット値Ｅ〜Ｈにより本画像ファイル内での複数の画像データのそれぞれの開始位置が特定される。

一方、図８（ｂ）には、本実施例にて生成されるＴＩＦＦ画像ファイルの構造を示している。ＴＩＦＦ画像ファイル８１０は、ＴＩＦＦヘッダ部８１１と、サムネイル右＋左画像用のＩＦＤ部である０ｔｈＩＦＤ部８１２と、表示用右＋左画像用のＩＦＤ部である１ｓｔＩＦＤ部８１３とを有する。また、ＴＩＦＦ画像ファイル８１０は、右＋左画像用のＩＦＤ部である２ｎｄＩＦＤ部８１４と、右画像用のＩＦＤ部である３ｒｄＩＦＤ部８１５とを有する。さらに、ＴＩＦＦ画像ファイル８１０は、それぞれ画像データを格納するサムネイル右＋左画像部８１６と、表示用右＋左画像部８１７と、右＋左画像部８１８と、右画像部８１９とを含む。

ＴＩＦＦヘッダ部８１１は、図８（ａ）のＴＩＦＦヘッダ部８０１と同じである。０ｔｈＩＦＤ部８１２は、サムネイル右＋左画像部８１６に関連する撮像情報やパラメータ等のメタデータＡと本画像ファイルにおけるサムネイル右＋左画像部８１６の場所を示すオフセット値Ｅとを格納する領域である。

１ｓｔＩＦＤ部８１３は、表示用右＋左画像部８１７に関連する撮像情報やパラメータ等のメタデータＢと表示用右＋左画像部８１７の場所を示すオフセット値Ｆとを格納する領域である。２ｎｄＩＦＤ部８１４は、右＋左画像部８１８に関連する撮像情報やパラメータ等のメタデータＣと右＋左画像部８１８の場所を示すオフセット値Ｇとを格納する領域である。３ｒｄＩＦＤ部８１５は、右画像部８１９に関連する撮像情報やパラメータ等のメタデータＤと右画像部８１９の場所を示すオフセット値Ｈとを格納する領域である。

サムネイル右＋左画像部８１６は前述したサムネイル右＋左画像を、表示用右＋左画像部８１７は前述した表示用右＋左画像をそれぞれ格納する領域である。また、右＋左画像部８１８は前述した可逆圧縮により生成された右＋左画像を、右画像部８１９は前述した右画像をそれぞれ格納する領域である。３ｒｄＩＦＤ部８１５が第１の領域に相当し、２ｎｄＩＦＤ部８１４が第２の領域に相当する。

そして、本実施例では、右画像のメタデータの１つとして、右画像の欠陥（欠陥行）に関する情報を示すデータとしての右画像欠陥行データをＴＩＦＦ画像ファイルに含ませる。図９には、右画像欠陥行データの例を示している。

右画像欠陥行データは、欠陥行の総数と欠陥行の行番号を含む。例えば、画素行の１０行目、１５行目および３０行目が欠陥行である場合には、総数＝３、欠陥行＝１０，１５，３０のデータとなる。

撮像後にリフォーカス画像や立体表示用画像の生成処理を行うに際して、３ｒｄＩＦＤ部８１５に保持された右画像欠陥行データに含まれる欠陥行を除外してこれらの処理を行うことができる。したがって、欠陥行が反映されないリフォーカス画像の生成や立体表示を行うことができる。

また、撮像後にリフォーカス画像や立体表示用画像の生成処理を行うことができないアプリケーションソフトを使用する場合には、不要なデータとなる３ｒｄＩＦＤ部８１５を画像ファイルから分離することにより、画像ファイルの互換性を維持することができる。

本実施例によれば、右＋左画像にはない欠陥行が右画像に存在する場合に、そのまま右画像を用いた処理において該欠陥行が反映されることを防止することができる。

次に、本発明の実施例２について説明する。本実施例の撮像装置（カメラ）は、実施例１のカメラ２００と同様の構成を有しており、映像信号処理部１２１′が図１０に示すように欠陥行補正部１００１を有する点で実施例１と異なる。本実施例において実施例１と共通する構成要素には実施例１と同符号を付して説明に代える。

欠陥行補正部１００１は、右画像抽出部６０５により生成された右画像に対して、不揮発性メモリ１３３に保持された右画像欠陥行データに基づいて欠陥行補正を行う。また、欠陥行補正部１００１は、可逆圧縮処理部６０６によるデータ量の圧縮方法である可逆圧縮方法に応じた欠陥行補正を行う。図１１（ａ），（ｂ）には、可逆圧縮方法に応じた欠陥行補正の例を示す。

図１１（ａ）には、可逆圧縮処理部６０６による可逆圧縮方法が画素行内において隣接する画素（ここでは左画素とする）の画素値による予測を用いた方法である場合に、左画素の画素値を用いた欠陥行補正を行う例を示している。この例では、不揮発性メモリ１３３に保持された右画像欠陥行データが示す欠陥行内のすべての画素の画素値を、その欠陥行の一端である左端の画素の画素値と同じ画素値に置き換える。

図１１（ｂ）には、可逆圧縮処理部６０６による可逆圧縮方法が画素行に対して隣接する画素行（ここでは上画素行とする）の画素の画素値による予測を用いた方法である場合に、上画素行の画素の画素値を用いた欠陥行補正を行う例を示している。この例では、不揮発性メモリ１３３に保持された右画素欠陥行データが示す欠陥行のすべての画素の画素値を、その欠陥行の１つ上の欠陥画素行ではない非欠陥画素行の画素の画素値と同じ画素値に置き換える。

次に、図１２を用いて、本実施例において映像信号処理部１２１′が行う画像データ生成処理について説明する。コンピュータとしての映像信号処理部１２１′は、不揮発性メモリ１３３に格納されたコンピュータプログラムである画像データ生成プログラムに従って本処理を実行する。なお、実施例１（図７）と同じ処理を行うステップについては、実施例１と同ステップ番号を付して説明に代える。

ステップＳ１０２において右＋左画像および右画像の生成を完了した映像信号処理部１２１′は、ステップＳ２００に進む。

ステップＳ２００では、映像信号処理部１２１′（右画像欠陥行補正部６２０）は、不揮発性メモリ１３３に保持された右画素欠陥行データに基づいて、図１１（ａ），（ｂ）に例示した方法により右画像に対する欠陥行補正を行う。欠陥行補正が完了すると、映像信号処理部１２１′（可逆圧縮処理部６０６）は、ステップＳ１３０において、欠陥行補正が行われた右画像に対して可逆圧縮処理を行い、その結果得られた可逆圧縮右画像をメモリ１３２に保存する。

本実施例によれば、右画像における欠陥行の画素値が可逆圧縮処理部６０６による可逆圧縮方法に応じた画素値に補正されるため、可逆圧縮画像のサイズを減らすことができる。これにより、メモリ１３２や記録媒体１７３において使用される記憶容量を削減することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

２００ カメラ本体（撮像装置）
１０３ 撮像素子
１２１，１２１′ 映像信号処理部

Claims (9)

1. それぞれ複数の光電変換部を含む複数の画素を有する撮像素子から得られる信号を用いて画像データを生成する画像データ生成装置であって、
   前記複数の画素のそれぞれにおける前記複数の光電変換部のうち一部の光電変換部から得られる第１の信号を用いて第１の画像データを生成する第１の画像生成手段と、
   前記複数の画素のそれぞれにおける前記複数の光電変換部からの信号が相互に合成されることで得られる第２の信号を用いて第２の画像データを生成する第２の画像生成手段と、
   前記第１の画像データおよび前記第２の画像データを含む画像データファイルを生成するファイル生成手段とを有し、
   前記ファイル生成手段は、前記第１の画像データに含まれる欠陥に関する情報を示す欠陥データを前記画像データファイルに含めることを特徴とする画像データ生成装置。
2. 前記ファイル生成手段は、前記欠陥データを、該欠陥データを記憶した記憶手段から取得して前記画像データファイルに含めることを特徴とする請求項１に記載の画像データ生成装置。
3. 前記画像データファイルは、
   前記第１の画像データに関するメタデータおよび該画像データファイルにおける前記第１の画像データの場所を示すオフセット値を含む第１の領域と、
   前記第２の画像データに関するメタデータおよび該画像データファイルにおける前記第２の画像データの場所を示すオフセット値を含む第２の領域と、
   前記第１の画像データおよび前記第２の画像データとを含み、
   前記ファイル生成手段は、前記欠陥データを前記第１の画像データに関するメタデータに含めることを特徴とする請求項１または２に記載の画像データ生成装置。
4. 前記欠陥データを用いて前記第１の画像データに対する前記欠陥の補正を行う補正手段を有することを特徴とする請求項１から３のいずれか一項に記載の画像データ生成装置。
5. 前記第１および第２の画像データのデータ量をそれぞれ圧縮する圧縮手段を有しており、
   前記補正手段は、前記圧縮手段による前記データ量の圧縮方法に応じた前記補正を行うことを特徴とする請求項４に記載の画像データ生成装置。
6. 前記圧縮方法が、画素行内において隣接する画素の画素値を用いた可逆圧縮であり、
   前記補正手段は、前記欠陥データが示す前記欠陥を含む欠陥画素行を、該欠陥画素行の一端の画素の画素値を用いて補正することを特徴とする請求項５に記載の画像データ生成装置。
7. 前記圧縮方法が、画素行に対して隣接する画素行の画素の画素値を用いた可逆圧縮であり、
   前記補正手段は、前記欠陥データが示す前記欠陥を含む欠陥画素行を、該欠陥画素行に隣接する画素行に含まれる画素の画素値を用いて補正することを特徴とする請求項５に記載の画像データ生成装置。
8. それぞれ複数の光電変換部を含む複数の画素を有する撮像素子と、
   請求項１から７のいずれか一項に記載の画像データ生成装置とを有することを特徴とする撮像装置。
9. コンピュータに、それぞれ複数の光電変換部を含む複数の画素を有する撮像素子から得られる信号を用いて画像データを生成する処理を実行させるコンピュータプログラムであって、
   前記処理は、
   前記複数の画素のそれぞれにおける前記複数の光電変換部のうち一部の光電変換部から得られる第１の信号を用いて第１の画像データを生成する処理と、
   前記複数の画素のそれぞれにおける前記複数の光電変換部からの信号が相互に合成されることで得られる第２の信号を用いて第２の画像データを生成する処理と、
   前記第１の画像データおよび前記第２の画像データを含む画像データファイルを生成するファイル生成処理とを含み、
   前記ファイル生成処理は、前記第１の画像データに含まれる欠陥に関する情報を示す欠陥データを前記画像データファイルに含めることを特徴とする画像データ生成プログラム。