JP5866478B2 - 撮像装置、信号処理方法、信号処理プログラム - Google Patents

Description

本発明は、撮像装置、信号処理方法、信号処理プログラムに関する。

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ，携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。

主要な被写体に焦点を合わせる合焦制御方法には、コントラストＡＦ（Ａｕｔｏ Ｆｏｃｕｓ、自動合焦）方式や位相差ＡＦ方式がある。位相差ＡＦ方式は、コントラストＡＦ方式に比べて合焦位置の検出を高速，高精度に行うことができるため、様々な撮像装置で多く採用されている。

位相差ＡＦ方式により合焦制御を行う撮像装置に搭載される固体撮像素子には、例えば、遮光膜開口が互いに逆方向に偏心した位相差検出用の画素のペアを受光面の全面に離散的に設けたものが使用される（特許文献１〜４参照）。

この位相差検出用の画素は、遮光膜開口の面積がその他の通常の画素（撮像用画素）よりも小さくなっているため、その出力信号を撮像画像信号として使用するには不十分なものとなる。そこで、位相差検出用の画素の出力信号を補正する必要が生じる。

特許文献１〜４は、位相差検出用の画素の出力信号を、その周りの通常の画素の出力信号を用いて補間生成する補間補正処理と、位相差検出用の画素の出力信号をゲイン増幅して補正するゲイン補正処理とを併用する撮像装置を開示している。

特許文献５には、レンズ交換式のカメラにおいて、位相差検出用の画素の出力信号をその周りの通常の画素の出力信号を用いて補間生成する処理を行うことが記載されている。

特許文献６には、固体撮像素子の画素が欠陥画素か否かを判定するための閾値を、レンズ装置から取得したレンズ情報を用いて可変するカメラが記載されている。

日本国特開２００９−４４６３６号公報 日本国特開２０１１−１２４７０４号公報 日本国特開２０１１−８１２７１号公報 日本国特開２００７−２８２１０８号公報 日本国特開２０１０−９１８４８号公報 日本国特開２００７−１９９５９号公報

特許文献５，６に示すようなレンズ交換式のカメラでは、位相差検出用の画素の出力が、そのカメラに内蔵される撮像素子と、そのカメラに装着されるレンズとの組み合わせによって異なる。例えば、レンズによって、撮像素子への光線角度は異なり、光線角度に対しての位相差検出用の画素に入射する光の量は、その撮像素子の遮光膜の形状やシリコン基板中の光電変換領域の位置関係などによって複雑に変わる。

このため、レンズ交換式のカメラにおける位相差検出用の画素の出力信号をゲイン補正する場合には、カメラに装着可能な全てのレンズに対して、予め補正ゲイン値を持っておく必要がある。しかし、全てのレンズに対応する補正ゲイン値をカメラに記憶しておくことは、カメラの製造コスト増大を招く。また、交換レンズは常に新しいものが発売されるが、このような新しい交換レンズについては補正ゲイン値がないため、ゲイン補正を行うことができない。

特許文献１〜６では、レンズ交換式のカメラにおいて、補正ゲイン値を記憶していない交換レンズが装着された場合に、位相差検出用の画素の出力信号をどのように補正するかについては考慮されていない。

本発明は、上記事情に鑑みてなされたものであり、どのようなレンズが装着された場合でも、位相差検出用画素の出力信号を高速かつ高精度に補正することのできるレンズ交換式の撮像装置を提供することを目的とする。

本発明の撮像装置は、レンズ装置を着脱可能な撮像装置であって、受光面に二次元アレイ状に配列された複数の撮像用画素及び複数の位相差検出用画素を含み、上記レンズ装置を通して被写体を撮像する撮像素子と、装着された上記レンズ装置と通信を行うための通信部と、上記レンズ装置に固有の情報であるレンズ情報を、上記通信部を介して上記レンズ装置から取得するレンズ情報取得部と、上記撮像素子によって被写体を撮像して得られる撮像画像信号における上記位相差検出用画素の出力信号をその出力信号にゲイン値を乗じて補正するゲイン補正処理を行うゲイン補正処理部と、上記撮像画像信号における上記位相差検出用画素の出力信号をその位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する上記撮像用画素の出力信号を用いて生成した信号に置き換えて補正する補間補正処理を行う補間補正処理部と、上記レンズ情報取得部により取得したレンズ情報に応じて、上記撮像画像信号における全ての上記位相差検出用画素の出力信号を上記補間補正処理部によって補正する第一の補正方法と、上記撮像画像信号における全ての上記位相差検出用画素の出力信号を上記ゲイン補正処理部によって補正する第二の補正方法又は上記撮像画像信号における各位相差検出用画素の出力信号を上記補間補正処理部と上記ゲイン補正処理部のいずれかによって補正する第三の補正方法と、のいずれかの方法を選択する補正方法選択部と、上記補正方法選択部によって選択された方法によって、上記撮像画像信号における上記位相差検出用画素の出力信号を補正する画像処理部と、を備えるものである。

本発明の信号処理方法は、レンズ装置を着脱可能な撮像装置による信号処理方法であって、上記撮像装置は、受光面に二次元アレイ状に配列された複数の撮像用画素及び複数の位相差検出用画素を含み、上記レンズ装置を通して被写体を撮像する撮像素子と、装着されたレンズ装置と通信を行うための通信部とを含み、上記レンズ装置に固有の情報であるレンズ情報を、上記通信部を介して上記レンズ装置から取得するレンズ情報取得ステップと、上記レンズ情報取得ステップにより取得したレンズ情報に応じて、上記撮像画像信号における全ての上記位相差検出用画素の出力信号をその位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する上記撮像用画素の出力信号を用いて生成した信号に置き換えて補正する補間補正処理によって補正する第一の補正方法と、上記撮像画像信号における全ての上記位相差検出用画素の出力信号をその出力信号にゲイン値を乗じて補正するゲイン補正処理によって補正する第二の補正方法又は上記撮像画像信号における各位相差検出用画素の出力信号を上記補間補正処理と上記ゲイン補正処理のいずれかによって補正する第三の補正方法と、のいずれかの方法を選択する補正方法選択ステップと、上記補正方法選択ステップによって選択した方法によって、上記撮像画像信号における上記位相差検出用画素の出力信号を補正する画像処理ステップと、を備えるものである。

本発明の信号処理プログラムは、上記信号処理方法の各ステップをコンピュータに実行させるためのプログラムである。

本発明によれば、どのようなレンズが装着された場合でも、位相差検出用画素の出力信号を高速かつ高精度に補正することのできるレンズ交換式の撮像装置を提供することができる。

本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図 図１に示すデジタルカメラに搭載される固体撮像素子５の平面構成を示す部分拡大図 図１に示すデジタルカメラにおけるデジタル信号処理部１７の機能ブロック図 図１に示すデジタルカメラの動作を説明するためのフローチャート 図１に示すデジタルカメラにおけるデジタル信号処理部１７の機能ブロック図の変形例を示す図 図１に示すデジタルカメラに搭載される固体撮像素子５の全体構成を示す平面模式図 固体撮像素子５の行方向Ｘの位置（水平画素位置）での位相差検出用画素５１Ｒ，５１Ｌの感度比を示す図 図７の感度比となることを説明するための図 固体撮像素子５の行方向Ｘでの任意の位置における入射光線角度を説明するための図 レンズ装置１００のメモリ６０に記憶されるデータの一例を示す図 カメラ本体２００のメインメモリ１６に記憶されるテーブルの一例を示す図 図５に示すデジタル信号処理部１７の動作を説明するためのフローチャート 撮像装置としてのスマートフォンを説明する図 図１３のスマートフォンの内部ブロック図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

図１に示すデジタルカメラは、撮像光学系としてのレンズ装置１００と、レンズ装置１００が装着される不図示のマウント機構を備えたカメラ本体２００とを備える。レンズ装置１００は、カメラ本体２００に着脱可能であり、他のものに交換可能となっている。

レンズ装置１００は、フォーカスレンズ及びズームレンズ等を含む撮影レンズ１０と、絞り２０と、レンズ駆動部３０と、絞り駆動部４０と、レンズ装置１００全体を統括制御するレンズ制御部５０と、メモリ６０と、電気接点７０とを備える。ここでいうフォーカスレンズとは、光軸方向に移動することで、撮影光学系の焦点距離を調節するレンズである。フォーカスレンズは、複数枚のレンズからなるレンズユニットの中で焦点位置の調節をするレンズを示し、全群繰り出しのレンズの場合は、全群全体を示す。

レンズ駆動部３０は、レンズ制御部５０からの指令にしたがって、撮影レンズ１０に含まれるフォーカスレンズの位置を調整したり、撮影レンズ１に含まれるズームレンズの位置の調整を行ったりする。

絞り駆動部４０は、レンズ制御部５０からの指令にしたがって、絞り２０の開口量を制御することにより、露光量の調整を行う。

メモリ６０は、レンズ装置１００の固有の情報であるレンズ情報を記憶している。レンズ情報は、レンズ装置１００を識別するための識別情報としてレンズＩＤを少なくとも含む。

電気接点７０は、レンズ装置１００とカメラ本体２００との間で通信を行うためのインターフェースである。電気接点７０は、レンズ装置１００がカメラ本体２００に装着された状態で、カメラ本体２００に設けられた電気接点９に接触する。電気接点９は、装着されたレンズ装置１００と通信を行うための通信部として機能する。

カメラ本体２００は、レンズ装置１００を通して被写体を撮像するＣＣＤ型やＣＭＯＳ型等の固体撮像素子５と、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、アナログ信号処理部６から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。アナログ信号処理部６及びＡ／Ｄ変換回路７は、システム制御部１１によって制御される。アナログ信号処理部６及びＡ／Ｄ変換回路７は固体撮像素子５に内蔵されることもある。

システム制御部１１は、撮像素子駆動部８を介して固体撮像素子５を駆動し、撮影レンズ１０を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、Ａ／Ｄ変換回路７から出力される撮像画像信号に対し、補間演算、ガンマ補正演算、及びＲＧＢ／ＹＣ変換処理等を行って撮影画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された撮影画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、デフォーカス量を演算するデフォーカス量演算部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示部２３が接続される表示制御部２２とを備えている。メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、デフォーカス量演算部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示すデジタルカメラに搭載される固体撮像素子５の平面構成を示す部分拡大図である。

固体撮像素子５は、行方向Ｘ及びこれに直交する列方向Ｙに二次元状に配列された多数の画素５１（図中の各正方形のブロック）を備えている。図２では全ての画素５１は図示していないが、実際には、数百万〜１千数万個程度の画素５１が二次元状に配列される。固体撮像素子５により撮像を行うと、この多数の画素５１の各々から出力信号が得られる。この多数の出力信号の集合を本明細書では撮像画像信号という。

各画素５１は、フォトダイオード等の光電変換部と、この光電変換部上方に形成されたカラーフィルタとを含む。

図２では、赤色光を透過するカラーフィルタを含む画素５１には“Ｒ”の文字を付し、緑色光を透過するカラーフィルタを含む画素５１には“Ｇ”の文字を付し、青色光を透過するカラーフィルタを含む画素５１には“Ｂ”の文字を付している。

多数の画素５１は、行方向Ｘに並ぶ複数の画素５１からなる画素行を、列方向Ｙに複数個並べた配列となっている。そして、奇数行の画素行と偶数行の画素行は、各画素行の画素５１の配列ピッチの略１／２、行方向Ｘにずれている。

奇数行の画素行の各画素５１に含まれるカラーフィルタの配列は全体としてベイヤ配列となっている。また、偶数行の画素行の各画素５１に含まれるカラーフィルタの配列も全体としてベイヤ配列となっている。奇数行にある画素５１と、この画素５１に対して右下に隣接する、この画素５１と同色光を検出する画素５１とがペア画素を構成する。

このような画素配列の固体撮像素子５によれば、ペア画素を構成する２つの画素５１の出力信号を加算することでカメラの高感度化を図ったり、ペア画素を構成する２つの画素５１の露光時間を変え、かつ、この２つの画素５１の出力信号を加算することでカメラの広ダイナミックレンジ化を図ったりすることができる。

固体撮像素子５では、多数の画素５１のうちの一部が位相差検出用画素となっている。

位相差検出用画素は、複数の位相差検出用画素５１Ｒと複数の位相差検出用画素５１Ｌとを含む。

複数の位相差検出用画素５１Ｒは、撮影レンズ１の瞳領域の異なる部分を通過した一対の光束の一方（例えば瞳領域の右半分を通過した光束）を受光し受光量に応じた信号を出力する。つまり、固体撮像素子５に設けられた複数の位相差検出用画素５１Ｒは、上記一対の光束の一方によって形成される像を撮像するものとなる。

複数の位相差検出用画素５１Ｌは、上記一対の光束の他方（例えば瞳領域の左半分を通過した光束）を受光し受光量に応じた信号を出力する。つまり、固体撮像素子５に設けられた複数の位相差検出用画素５１Ｌは、上記一対の光束の他方によって形成される像を撮像するものとなる。

なお、位相差検出用画素５１Ｒ，５１Ｌ以外の複数の画素５１（以下、撮像用画素という）は、撮影レンズ１の瞳領域のほぼ全ての部分を通過した光束によって形成される像を撮像するものとなる。

画素５１の光電変換部上方には、遮光膜が設けられ、この遮光膜には、光電変換部の受光面積を規定する開口が形成されている。

撮像用画素５１の開口（図２において符号ａで示す）の中心は、撮像用画素５１の光電変換部の中心（正方形のブロックの中心）と一致している。なお、図２では、図を簡略化するために、撮像用画素５１については一部のみに開口ａを図示している。

これに対し、位相差検出用画素５１Ｒの開口（図２において符号ｃで示す）の中心は、位相差検出用画素５１Ｒの光電変換部の中心に対し右側に偏心している。

位相差検出用画素５１Ｌの開口（図２において符号ｂで示す）の中心は、位相差検出用画素５１Ｌの光電変換部の中心に対して左側に偏心している。

固体撮像素子５では、緑色のカラーフィルタが搭載される画素５１の一部が位相差検出用画素５１Ｒ又は位相差検出用画素５１Ｌとなっている。勿論、他の色のカラーフィルタが搭載される画素を位相差検出用画素としてもよい。

位相差検出用画素５１Ｒとこれに近接して配置される位相差検出用画素５１Ｌとのペア（以下、位相差ペアという）は、それぞれ、画素５１が配置される受光面５３において離散的及び周期的に配置されている。

本明細書において、近接する２つの画素とは、実質的に同じ被写体部分からの光を受光していると見なすことのできる程度に近接している２つの画素のことを言う。なお、位相差ペアを構成する位相差検出用画素５１Ｒと位相差検出用画素５１Ｌは、互いに近接するため、これらは行方向Ｘにおける位置（以下、水平画素位置とも言う）が同じものとして扱う。

位相差検出用画素５１Ｒは、図２の例では、偶数行の画素行の一部（図２の例では、３画素行おきに並ぶ４つの画素行）において、行方向Ｘに３つの画素おきに配置されている。

位相差検出用画素５１Ｌは、図２の例では、奇数行の画素行の一部（位相差検出用画素５１Ｒを含む画素行の隣にある画素行）において、行方向Ｘに、位相差検出用画素５１Ｒと同じ周期で配置されている。

このような構成により、遮光膜の開口ｂを通って位相差検出用画素５１Ｌに受光される光は、図２の紙面上方に設けられる撮影レンズ１の被写体から見て左側からの光、すなわち被写体を右眼で見た方向から来た光が主となる。また、遮光膜の開口ｃを通って位相差検出用画素５１Ｒに受光される光は、撮影レンズ１の被写体から見て右側からの光、すなわち被写体を左眼で見た方向から来た光が主となる。

即ち、全ての位相差検出用画素５１Ｒによって、被写体を左眼で見た撮像画像信号を得ることができ、全ての位相差検出用画素５１Ｌによって、被写体を右眼で見た撮像画像信号を得ることができる。このため、両者を組み合わせることで、被写体の立体画像データを生成したり、両者を相関演算することで位相差情報を生成したりすることが可能になる。

なお、位相差検出用画素５１Ｒと位相差検出用画素５１Ｌは、遮光膜の開口を逆方向に偏心させることで、撮影レンズ１の瞳領域の異なる部分を通過した光束をそれぞれ受光できるようにして位相差情報を得られるようにしている。しかし、位相差情報を得るための構造はこれに限らず、よく知られているものを採用することができる。

図３は、図１に示すデジタルカメラにおけるデジタル信号処理部１７の機能ブロック図である。

デジタル信号処理部１７は、ゲイン補正処理部１７１と、補間補正処理部１７２と、レンズ情報取得部１７３と、補正方法選択部１７４と、画像処理部１７５とを備える。これらは、デジタル信号処理部１７に含まれるプロセッサがプログラムを実行することで形成される機能ブロックである。

ゲイン補正処理部１７１は、撮像画像信号に含まれる補正対象の位相差検出用画素（以下、補正対象画素という）の出力信号を当該出力信号にゲイン値を乗じて補正するゲイン補正処理を行う。

このゲイン値は、カメラ本体２００に装着されるレンズ装置１００が、カメラ本体２００のメーカーの純正のものである場合には、予めカメラ本体２００のメモリに記憶しておくことができる。ゲイン値は、デジタルカメラの出荷前の調整工程において基準画像を撮像して得られる撮像画像信号から求めておくことができる。純正のレンズ装置１００についての位相差検出用画素５１毎のゲイン値は、そのレンズ装置１００を識別するためのレンズＩＤと関連付けて、カメラ本体２００のメインメモリ１６に記憶される。なお、ゲイン値は、位相差検出用画素５１毎に生成して記憶してもよいし、固体撮像素子５の受光面をブロック分割し、ブロック毎に１つのゲイン値を生成して記憶してもよい。

補間補正処理部１７２は、補正対象画素の出力信号を、当該補正対象画素の周囲にある当該補正対象画素と同一色を検出する撮像用画素の出力信号を用いて生成した信号に置き換えて補正する。

例えば、補正対象画素の出力信号を補間補正処理によって補正する場合は、この補正対象画素の周囲にあるＧ色光を検出する撮像用画素の出力信号の平均値を、この補正対象画素の出力信号値と置換する。補間補正処理部１７２は、補正対象画素の周囲にあるいずれかの撮像用画素の出力信号の複製を、補正対象画素の出力信号と置き換えることで補正を行ってもよい。

レンズ情報取得部１７３は、カメラ本体２００に装着されたレンズ装置１００から、レンズ装置１００のメモリ６０に記憶されているレンズ情報を取得する。

補正方法選択部１７４は、固体撮像素子５から出力された撮像画像信号における全ての位相差検出用画素の出力信号を補間補正処理部１７２によって補正する第一の補正方法と、固体撮像素子５から出力された撮像画像信号における全ての位相差検出用画素の出力信号をゲイン補正処理部１７１によって補正する第二の補正方法とのいずれかを、レンズ情報取得部１７３によって取得したレンズ情報に応じて選択する。

画像処理部１７５は、固体撮像素子５から出力された撮像画像信号のうちの位相差検出用画素の出力信号を、補正方法選択部１７４によって選択された方法によって補正し、補正後の撮像画像信号をメインメモリ１６に記録する。そして、画像処理部１７５は、記録した撮像画像信号に対し、デモザイク処理、γ補正処理、ホワイトバランス調整処理等の周知の画像処理を施して撮像画像データを生成し、これを記録媒体２１に記録する。

なお、画像処理部１７５は、補正後の撮像画像信号をＲＡＷデータとしてそのまま記録媒体２１に記録してもよい。

以上のように構成されたデジタルカメラの動作について説明する。

図４は、図１に示すデジタルカメラの動作を説明するためのフローチャートである。

カメラ本体２００の電源がオンされた状態で、カメラ本体２００にレンズ装置１００が装着されると、電気接点９を通じてレンズ装置１００が取り付けられたことをカメラ本体２００のシステム制御部１１が検知する。レンズ装置１００の装着を検知すると、システム制御部１１は、レンズ情報の送信要求を、電気接点９を通じてレンズ装置１００に対して行う（ステップＳ１）。

レンズ装置１００のレンズ制御部５０は、レンズ情報の送信要求を受けると、メモリ６０に記憶されているレンズ情報を電気接点７０を介してカメラ本体２００に送信する。システム制御部１１は、レンズ装置１００から送られてくるレンズ情報を受信し、このレンズ情報をメインメモリ１６に一時記憶する。

デジタル信号処理部１７は、メインメモリ１６に記憶されたレンズ情報を取得し（ステップＳ２）、レンズ情報に含まれるレンズＩＤに関連付けられた補正ゲイン値のデータを、メインメモリ１６の中から検索する（ステップＳ３）。

このデータが存在していた場合、デジタル信号処理部１７は、固体撮像素子５から出力された撮像画像信号における全ての位相差検出用画素の出力信号をゲイン補正処理部１７１によって補正する第二の補正方法を選択する（ステップＳ４）。一方、このデータが存在していない場合、デジタル信号処理部１７は、固体撮像素子５から出力された撮像画像信号における全ての位相差検出用画素の出力信号を補間補正処理部１７２によって補正する第一の補正方法を選択する（ステップＳ５）。

ステップＳ４，５の処理が終わると、撮影待機状態となり、操作部１４に含まれるシャッタボタンの押下によって撮影指示があると、固体撮像素子５により撮像が行われ、固体撮像素子５から撮像画像信号が出力される。この撮像画像信号は、アナログ信号処理された後、デジタル信号に変換されて、メインメモリ１６に一時記憶される。

その後、デジタル信号処理部１７は、メインメモリ１６に記憶された撮像画像信号における位相差検出用画素５１の出力信号を、ステップＳ４又はステップＳ５において選択された方法にしたがって補正し、補正後の撮像画像信号を処理して撮像画像データを生成し、これを記録媒体２１に記録して、撮像処理を終了する。

以上のように、図１のデジタルカメラは、ゲイン補正処理に用いる補正ゲイン値がメインメモリ１６に記憶されているメーカー純正のレンズ装置１００が装着された場合には、全ての位相差検出用画素５１の出力信号をゲイン補正処理によって補正する。一方、補正ゲイン値がメインメモリ１６に記憶されていない他社製のレンズ装置１００が装着された場合には、全ての位相差検出用画素５１の出力信号を補間補正処理によって補正する。このため、カメラ本体２００に装着可能なあらゆるレンズ装置に対して、位相差検出用画素５１の出力信号の補正を問題なく行うことが可能となる。

また、このデジタルカメラによれば、カメラ本体２００のメインメモリ１６に、他社製のレンズ装置１００に対応した補正ゲイン値を予め記憶しておく必要がない。このため、データ生成のための時間を削減したり、メモリ容量を削減したりすることができ、デジタルカメラの製造コストを削減することができる。

なお、レンズ装置１００がメーカー純正のものであれば、そのレンズ装置１００に対応した補正ゲイン値は、そのレンズＩＤと関連付けて、カメラ本体２００ではなくレンズ装置１００のメモリ６０に記憶しておくことも考えられる。

この場合は、システム制御部１１が、図４のステップＳ３において、取得したレンズ情報に含まれるレンズＩＤに対応する補正ゲイン値が、カメラ本体２００のメインメモリ１６及びレンズ装置１００のメモリ６０のいずれかに記憶されているか否かを判定し、記憶されていればステップＳ４の処理を行い、記憶されていなければステップＳ５の処理を行う。

次に、図１に示すデジタルカメラの変形例について説明する。

図５は、図１に示すデジタルカメラにおけるデジタル信号処理部１７の変形例を示す機能ブロック図である。図５に示すデジタル信号処理部１７は、補正ゲイン値生成部１７６を追加した点を除いては、図３に示したものと同じである。

補正ゲイン値生成部１７６は、レンズ情報に、レンズ装置１００の光線角度に関する情報（以下、光線角度情報という）が含まれる場合に、この光線角度情報と、固体撮像素子５の設計情報（チップサイズ、画素数、位相差検出用画素の遮光膜開口形状、シリコン基板内の光電変換領域の形状等の情報）とを用いて、位相差検出用画素５１毎の補正ゲイン値を生成する。補正ゲイン値生成部１７６は、生成した補正ゲイン値を、レンズ情報に含まれるレンズＩＤと関連付けてメインメモリ１６に記録する。

以下、光線角度情報と固体撮像素子５の設計情報とを用いて補正ゲイン値を生成する方法について説明する。

図６は、図１に示すデジタルカメラに搭載される固体撮像素子５の全体構成を示す平面模式図である。

固体撮像素子５は、全ての画素５１が配置される受光面５３を有する。そして、この受光面５３に、位相差検出の対象となる位相差検出エリア（ＡＦエリア）５２が図６の例では９つ設けられている。

ＡＦエリア５２は、行方向Ｘに並ぶ複数の位相差ペアを含むエリアである。受光面５３のうちＡＦエリア５２を除く部分には、撮像用画素５１だけが配置される。

図６に示した９つのＡＦエリア５２のうち、行方向Ｘにおいて真ん中にある３つのＡＦエリア５２は、それぞれ、平面視において受光面５３の撮像レンズ１の光軸との交点を通りかつ列方向Ｙに延びる直線を跨いで行方向Ｘに幅を持つエリアである。受光面５３の撮像レンズ１の光軸との交点の行方向Ｘにおける位置を光軸位置という。

図１に示すデフォーカス量演算部１９は、９つのＡＦエリア５２の中からユーザ操作等により選択された１つのＡＦエリア５２にある位相差検出用画素５１Ｌ及び位相差検出用画素５１Ｒから読み出される出力信号群を用いて、上記一対の光束によって形成される２つの像の相対的な位置ずれ量である位相差量を演算する。そして、この位相差量に基づいて、撮影レンズ１の焦点調節状態、ここでは合焦状態から離れている量とその方向、すなわちデフォーカス量を求める。

図１に示すシステム制御部１１は、デフォーカス量演算部１９によって演算されたデフォーカス量に基づいて、撮像レンズ１に含まれるフォーカスレンズを合焦位置に移動させて、撮像レンズ１の合焦状態を制御する。

位相差検出用画素５１Ｒと位相差検出用画素５１Ｌは、開口が逆方向に偏心している。このため、この開口の偏心方向（一対の像のずれ方向；図２の行方向Ｘ）における位置がほぼ同じであっても、位相差検出用画素５１Ｒと位相差検出用画素５１Ｌには感度差が発生する。

図７は、固体撮像素子５における行方向Ｘの任意の位置（以下、水平画素位置ともいう）にある位相差ペアを構成する位相差検出用画素５１Ｒ，５１Ｌの感度比を示す図である。

図７において符号５１Ｒで示した直線が位相差検出用画素５１Ｒの感度比を示し、符号５１Ｌで示した直線が位相差検出用画素５１Ｌの感度比を示している。

任意の位相差検出用画素の感度比とは、任意の位相差検出用画素とこれに近接する撮像用画素（ただし当該任意の位相差検出用画素と同色光を検出するもの）の出力信号をそれぞれＡ，Ｂとしたとき、Ａ／Ｂ、又は、Ｂ／Ａで表される値のことをいう。図７では、感度比をＡ／Ｂとしたときのものを示している。

図７では、図６において左端部にある３つのＡＦエリア５２の水平画素位置の範囲を符号５２Ｌで示している。また、図６において中央部にある３つのＡＦエリア５２の水平画素位置の範囲を符号５２Ｃで示している。また、図６において右端部にある３つのＡＦエリア５２の水平画素位置の範囲を符号５２Ｒで示している。

図７において、範囲５２Ｌの左端部の水平画素位置はｘ１で示し、範囲５２Ｌの右端部の水平画素位置はｘ２で示し、範囲５２Ｃの右端部の水平画素位置はｘ３で示し、範囲５２Ｒの右端部の水平画素位置はｘ４で示している。

位相差検出用画素５１Ｒ，５１Ｌは列方向Ｙにも周期的に配置されている。ただし、位相差検出用画素５１Ｒと位相差検出用画素５１Ｌは列方向Ｙには開口が偏心していないため、列方向Ｙのどの位置においても、感度比は図７に示すようになる。

位相差検出用画素５１Ｒの出力信号と位相差検出用画素５１Ｌの出力信号は、それぞれ、それ単独では、被写体によって水平画素位置毎にレベルが異なるため、位相差検出用画素の感度分布がどのようになっているかは分からない。しかし、図７に示すように、位相差検出用画素とこれに近接する撮像用画素の出力信号との比である感度比を求めれば、位相差検出用画素の感度分布を知ることができる。

位相差検出用画素５１Ｒは、開口ｃが図２において右側に偏心している。このため、図８に示すように、受光面５３の左側端部にある位相差検出用画素５１Ｒの開口ｃには、撮影レンズ１０の左側を通ってきた光は半分入り、撮影レンズ１０の右側を通ってきた光は入らなくなる。一方、受光面５３の右側端部にある位相差検出用画素５１Ｒの開口ｃには、撮影レンズ１０の右側を通ってきた光は半分入り、撮影レンズ１０の左側を通ってきた光は全て入る。また、受光面５３の中心部にある位相差検出用画素５１Ｒの開口ｃには、撮影レンズ１０の左側を通ってきた光だけが入り、撮影レンズ１０の右側を通ってきた光は入らなくなる。

また、位相差検出用画素５１Ｌは、開口ｂが位相差検出用画素５１Ｒと行方向Ｘにおいて逆方向に偏心しているため、その感度比の特性は位相差検出用画素５１Ｒと逆になる。

したがって、図７に示したように、位相差検出用画素５１Ｌの感度比は、受光面５３の左端部から右端部に向かうほど低くなる。また、位相差検出用画素５１Ｒの感度比は、受光面５３の左端部から右端部に向かうほど高くなる。

なお、受光面５３の行方向Ｘにおける中央部分（受光面５３の撮像レンズ１０の光軸と交わる部分を通りかつ列方向Ｙに延びる直線と重なる部分）の近傍では、入射光の行方向Ｘの成分がほぼ垂直に入射するため、位相差検出用画素５１Ｌの感度比と位相差検出用画素５１Ｒの感度比はほぼ同じになる。

このように、位相差検出用画素５１Ｒと位相差検出用画素５１Ｌを搭載する固体撮像素子５は、図７に示すような感度比の特性を持つ。

図７に示した任意の水平画素位置における位相差ペアの各々の感度比は、その水平画素位置に入射する光線の角度（以下、入射光線角度という）によって一意に決まる。以下、この入射光線角度について説明する。

図９は、撮影レンズ１０及び固体撮像素子５を、撮影レンズ１０の光軸及び行方向Ｘに直交する方向である列方向Ｙに向かって見たときの図である。

固体撮像素子５の任意の水平画素位置に入射する光は、撮影レンズ１０の中心を通る主光線と、撮影レンズ１０の図９において上端部を通る上光線と、撮影レンズ１０の図９において下端部を通る下光線とを含む。

上光線とは、撮影レンズ１０の行方向Ｘにおける一方の端部（上端部）を通り上記任意の水平画素位置に到達する光線のことを言う。下光線とは、撮影レンズ１０の行方向Ｘにおける他方の端部（下端部）を通り上記任意の水平画素位置に到達する光線のことを言う。

図９に示すように、撮影レンズ１０の光軸Ｋと上光線とのなす角度（上光線角度）をθ_上とし、撮影レンズ１０の光軸Ｋと下光線とのなす角度（下光線角度）をθ_下とすると、固体撮像素子５の任意の水平画素位置における入射光線角度は、上光線角度θ_上と下光線角度θ_下の組み合わせで定義される。

水平画素位置が同じであっても、撮像光学系の光学条件（Ｆ値、焦点距離、及びフォーカスレンズ位置の組み合わせ）が変わると、その水平画素位置における入射光線角度は変わる。

位相差検出用画素５１Ｒと位相差検出用画素５１Ｌの感度比は、それぞれ、図７に示すように線形特性を有する。このため、固体撮像素子５の行方向Ｘでの少なくとも２つの位置における位相差検出用画素５１Ｒ及び位相差検出用画素５１Ｌの感度比が分かれば、行方向Ｘでの全ての位置における位相差検出用画素５１Ｒと位相差検出用画素５１Ｌの感度比を線形補間により求めることができる。

任意の水平画素位置にある位相差ペアの各々の感度比は、その水平画素位置における入射光線角度によって決まる。また、任意の水平画素位置における入射光線角度は、レンズ装置１００の種類やレンズ装置１００に設定された光学条件によって異なる。

そこで、本変形例では、レンズ装置１００をカメラ本体２００に装着した場合の、固体撮像素子５の行方向Ｘでの少なくとも２つの任意の位置における入射光線角度の情報をレンズ装置１００の光学条件毎に予め求めて、レンズ装置１００のメモリ３に記憶している。

また、カメラ本体２００のメインメモリ１６には、任意の水平画素位置における異なる入射光線角度毎に、当該任意の水平画素位置にある位相差ペアの各々の感度比を対応付けたテーブルを記憶している。なお、レンズ装置と撮像素子の組み合わせが違うと、位相差ペアの感度比も異なってくるので、入射光線角度に対する感度比のデータは撮像素子を搭載する装置の中に記憶させることが望ましく、入射光線角度の情報はレンズで決まるので、レンズ装置の中に記憶させておくことが望ましい。

メモリ６０に記憶する入射光線角度の情報と、メインメモリ１６に記憶するテーブルのデータは、レンズ装置１００やカメラ本体２００の出荷前の調整工程において、実測により求めておくことができる。

例えば、図７に示した水平画素位置ｘ１，ｘ２，ｘ３，ｘ４のそれぞれにおける入射光線角度をレンズ装置１００において設定可能な全ての光学条件（１，２，３，・・・）毎に測定し、この測定結果から図１０に示すようなテーブルを作成して、レンズ装置１００のメモリ６０に記憶しておく。

また、上光線角度と下光線角度の考えうる全ての組み合わせに対して、水平画素位置が同一の任意の位相差検出用画素５１Ｒ及び位相差検出用画素５１Ｌの各々の感度比を測定し、その測定結果から図１１に示すようなテーブルを作成して、カメラ本体２００のメインメモリ１６に記憶しておく。図１１では、位相差検出用画素５１Ｒの感度比をＲ１，Ｒ２，Ｒ３で示し、位相差検出用画素５１Ｌの感度比をＬ１，Ｌ２，Ｌ３で示している。

レンズ装置１００のメモリ６０に記憶された光線角度情報と、メインメモリ１６に記憶されたテーブルとを比較することで、撮像条件毎に、各位相差検出用画素５１の感度比の情報を知ることができる。この感度比を“１”にするために位相差検出用画素５１の出力信号に乗じるべき値を補正ゲイン値として求めることができる。このように、補正ゲイン値生成部１７６は、レンズ装置１００のメモリ６０に記憶された光線角度情報と、メインメモリ１６に記憶されたテーブルとを用いて、位相差検出用画素５１毎の補正ゲイン値を生成する。

なお、図１１に示すテーブルとして、感度比の代わりに、この感度比を“１”にするための補正ゲイン値を記憶しておいてもよい。

図１２は、図５に示すデジタル信号処理部１７の動作を説明するためのフローチャートである。図１２に示すフローチャートは、図４に示すフローチャートに、ステップＳ１０とステップＳ１１を追加したものである。図１２において図４と同じ処理には同一符号を付して説明を省略する。

ステップＳ３の判定がＮＯのとき、補正ゲイン値生成部１７６は、レンズ情報に光線角度情報が含まれるか否かを判定する（ステップＳ１０）。レンズ情報に光線角度情報が含まれていない場合は、補正方法選択部１７４によりステップＳ５の処理が行われる。

レンズ情報に光線角度情報が含まれている場合は、補正ゲイン値生成部１７６が、光線角度情報と図１１に示すテーブルとを用いて、撮像条件毎に、各位相差検出用画素５１に対応する補正ゲイン値を生成し、生成した補正ゲイン値群を、レンズ情報に含まれるレンズＩＤと関連付けてメインメモリ１６に記憶する（ステップＳ１１）。補正ゲイン値群は、レンズ装置１００のメモリ６０にレンズＩＤと関連付けて記憶してもよい。

ステップＳ１１の後は、補正方法選択部１７４によりステップＳ４の処理が行われる。

以上のように、この変形例のデジタルカメラによれば、レンズＩＤに対応する補正ゲイン値がカメラ本体２００やレンズ装置１００に記憶されていない場合でも、レンズ情報に光線角度情報が含まれていれば、その光線角度情報から補正ゲイン値を生成して記憶することができる。このため、カメラ本体２００には撮像条件毎の補正ゲイン値を予め記憶しておく必要がなく、デジタルカメラの製造コストを削減することができる。

また、この変形例のデジタルカメラは、生成した補正ゲイン値をレンズＩＤと関連付けて記憶するため、補正ゲイン値が一度でも生成されたレンズ装置１００については、その後は、補正ゲイン値の生成を省略することができ、撮影時間の短縮を図ることができる。

また、補正ゲイン値がカメラ本体２００及びレンズ装置１００のどちらにも記憶されておらず、かつ、光線角度情報を記憶していないレンズ装置１００が装着された場合には、補間補正処理によって位相差検出用画素５１の出力信号の補正が行われる。このため、あらゆるレンズ装置１００において、撮像画質を高品質なものとすることができる。

なお、図４及び図１２のステップＳ４では、全ての位相差検出用画素５１の出力信号をゲイン補正処理により補正する第二の補正方法を選択するものとした。しかし、この第二の補正方法の代わりに、撮像画像信号における各位相差検出用画素の出力信号を補間補正処理部１７２とゲイン補正処理部１７１のいずれかによって補正する第三の補正方法を選択してもよい。

補間補正処理とゲイン補正処理は、それぞれ得意とするシーンが存在する。例えば、位相差検出用画素の出力信号が、飽和レベルに達していたり（白とび）、あまりにも小さい値（黒潰れ）であったりした場合には、補間補正処理を行った方が補正精度は高い。

このため、位相差検出用画素５１毎に、補間補正処理とゲイン補正処理とのどちらが補正精度が高くなるかを判定し、補正精度が高くなる処理を実行するようにすることで、撮像画像の品質を向上させることができる。

例えば、第三の補正方法としては、日本国特開２０１２―４７２９号公報に記載されているように、被写体画像のエッジを検出し、エッジ量に応じて補間補正処理とゲイン補正処理とを切り換えて画像データを補正する方法を採用する。第三の補正方法としては、これに限らず、補間補正処理とゲイン補正処理を併用する方式を採用すればよい。

ここまでは、レンズ交換式のデジタルカメラにおいて、レンズ装置１００に記憶されているレンズ情報に応じて補正方法を選択する形態について説明した。これ以外に、レンズ交換式のデジタルカメラにおいて、ゲイン補正処理は行わず、常に補間補正処理を行う形態としてもよい。この場合も、あらうるレンズ装置に対応可能であり、また、補正ゲイン値の生成作業が不要となる。

また、ここまでは、カメラ本体２００が、装着されたレンズ装置１００からレンズ情報を取得できることを前提として説明してきた。しかし、レンズ装置１００とカメラ本体２００の間で通信ができない場合もある。例えば、カメラ本体２００に、他社製レンズの規格に合わせたカメラ本体２００のメーカー製の純正マウントアダプタを装着して、この純正マウントアダプタに他社製レンズを装着する場合である。

このような場合、カメラ本体２００のシステム制御部１１は、電気接点９に上記純正マウントアダプタが装着されたことを検知すると、レンズ装置なしで撮影を可能とするレンズなしレリーズモードを有効にする。このレンズなしレリーズモードは、手動で有効・無効を設定できるようにしてもよい。レンズなしレリーズモードに設定されると、レンズの焦点距離等の情報を手動で入力が可能となる。

このように、レンズなしレリーズモードが有効になるのは、カメラ本体２００に装着されたレンズ装置１００からレンズ情報が取得できない状態である。このため、システム制御部１１は、レンズ情報が取得できないと判定した場合には、ゲイン補正処理は行わず、常に補間補正処理を行う。このようにすることで、通信ができないレンズ装置が装着された場合でも、位相差検出用画素の出力信号の補正を行うことができる。

次に、撮像装置としてスマートフォンの構成について説明する。

図１３は、本発明の撮影装置の一実施形態であるスマートフォン３００の外観を示すものである。図１３に示すスマートフォン３００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図１４は、図１３に示すスマートフォン３００の構成を示すブロック図である。図１３に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン３００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図１３に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン３００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。また、図１３に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１３に示すように、操作部２０７は、スマートフォン３００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン３００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン３００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン３００の内部の各構成要素に伝達することや、スマートフォン３００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン３００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン３００の物理的な動きを検出する。スマートフォン３００の物理的な動きを検出することにより、スマートフォン３００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン３００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン３００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記録媒体２１、表示制御部２２、表示部２３、及び操作部１４以外の構成を含む。カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることができる。図１３に示すにスマートフォン３００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン３００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン３００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記録部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン３００においても、カメラ部２０８の撮像素子として固体撮像素子５を用いることで、高精度の位相差ＡＦ，高品質の撮影が可能になる。

デジタル信号処理部１７の機能ブロックをコンピュータに実行させるためのプログラムは、インターネット等のネットワークを介して配信可能としておくことで、カメラ付きのスマートフォン等にこのプログラムをインストールすることで、図１に示すデジタルカメラと同じ機能を実現することができる。また、このプログラムを記憶する非一時的なコンピュータ読み取り媒体として提供することもできる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された撮像装置は、レンズ装置を着脱可能な撮像装置であって、受光面に二次元アレイ状に配列された複数の撮像用画素及び複数の位相差検出用画素を含み、上記レンズ装置を通して被写体を撮像する撮像素子と、装着された上記レンズ装置と通信を行うための通信部と、上記レンズ装置に固有の情報であるレンズ情報を、上記通信部を介して上記レンズ装置から取得するレンズ情報取得部と、上記撮像素子によって被写体を撮像して得られる撮像画像信号における上記位相差検出用画素の出力信号をその出力信号にゲイン値を乗じて補正するゲイン補正処理を行うゲイン補正処理部と、上記撮像画像信号における上記位相差検出用画素の出力信号をその位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する上記撮像用画素の出力信号を用いて生成した信号に置き換えて補正する補間補正処理を行う補間補正処理部と、上記レンズ情報取得部により取得したレンズ情報に応じて、上記撮像画像信号における全ての上記位相差検出用画素の出力信号を上記補間補正処理部によって補正する第一の補正方法と、上記撮像画像信号における全ての上記位相差検出用画素の出力信号を上記ゲイン補正処理部によって補正する第二の補正方法又は上記撮像画像信号における各位相差検出用画素の出力信号を上記補間補正処理部と上記ゲイン補正処理部のいずれかによって補正する第三の補正方法と、のいずれかの方法を選択する補正方法選択部と、上記補正方法選択部によって選択された方法によって、上記撮像画像信号における上記位相差検出用画素の出力信号を補正する画像処理部と、を備えるものである。

開示された撮像装置は、上記補正方法選択部は、上記レンズ情報に含まれる上記レンズ装置の識別情報に対応する上記ゲイン値が上記撮像装置及び上記レンズ装置のいずれかに記憶されていない場合に、上記第一の補正方法を選択するものである。

開示された撮像装置は、上記補正方法選択部は、装着された上記レンズ装置と上記撮像素子との組み合わせによって決まる上記ゲイン値を生成するために必要な情報が上記レンズ情報に含まれていない場合に、上記第一の補正方法を選択するものである。

開示された撮像装置は、上記ゲイン値を取得するために必要な情報は、上記レンズ装置の光線角度に関する情報であるものを含む。

開示された撮像装置は、上記レンズ情報に上記光線角度に関する情報が含まれる場合に、上記光線角度に関する情報と、光線角度毎の上記撮像素子の感度に関する情報とを用いて、上記ゲイン値を生成する補正ゲイン値生成部を備えるものである。

開示された信号処理方法は、レンズ装置を着脱可能な撮像装置による信号処理方法であって、上記撮像装置は、受光面に二次元アレイ状に配列された複数の撮像用画素及び複数の位相差検出用画素を含み、上記レンズ装置を通して被写体を撮像する撮像素子と、装着された上記レンズ装置と通信を行うための通信部とを含み、上記レンズ装置に固有の情報であるレンズ情報を、上記通信部を介して上記レンズ装置から取得するレンズ情報取得ステップと、上記レンズ情報取得ステップにより取得したレンズ情報に応じて、上記撮像画像信号における全ての上記位相差検出用画素の出力信号をその位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する上記撮像用画素の出力信号を用いて生成した信号に置き換えて補正する補間補正処理によって補正する第一の補正方法と、上記撮像画像信号における全ての上記位相差検出用画素の出力信号をその出力信号にゲイン値を乗じて補正するゲイン補正処理によって補正する第二の補正方法又は上記撮像画像信号における各位相差検出用画素の出力信号を上記補間補正処理と上記ゲイン補正処理のいずれかによって補正する第三の補正方法と、のいずれかの方法を選択する補正方法選択ステップと、上記補正方法選択ステップによって選択した方法によって、上記撮像画像信号における上記位相差検出用画素の出力信号を補正する画像処理ステップと、を備えるものである。

開示された信号処理プログラムは、上記信号処理方法の各ステップをコンピュータに実行させるためのプログラムである。

本発明は、特にデジタルカメラ等に適用して利便性が高く、有効である。

以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
本出願は、２０１３年３月１３日出願の日本特許出願（特願２０１３−５０２３８）に基づくものであり、その内容はここに取り込まれる。

１００ レンズ装置
２００ カメラ本体
５ 固体撮像素子
９ 電気接点
１０ 撮影レンズ
１１ システム制御部
１７ デジタル信号処理部
５０ レンズ制御部
５１Ｒ，５１Ｌ 位相差検出用画素
６０ メモリ
７０ 電気接点
１７１ ゲイン補正処理部
１７２ 補間補正処理部
１７３ レンズ情報取得部
１７４ 補正方法選択部
１７５ 画像処理部
１７６ 補正ゲイン値生成部

Claims (9)

1. レンズ装置を着脱可能な撮像装置であって、
   受光面に二次元アレイ状に配列された複数の撮像用画素及び複数の位相差検出用画素を含み、前記レンズ装置を通して被写体を撮像する撮像素子と、
   装着された前記レンズ装置と通信を行うための通信部と、
   前記レンズ装置に固有の情報であるレンズ情報を、前記通信部を介して前記レンズ装置から取得するレンズ情報取得部と、
   前記撮像素子によって被写体を撮像して得られる撮像画像信号における前記位相差検出用画素の出力信号を当該出力信号にゲイン値を乗じて補正するゲイン補正処理を行うゲイン補正処理部と、
   前記撮像画像信号における前記位相差検出用画素の出力信号を当該位相差検出用画素の周囲にある当該位相差検出用画素と同一色を検出する前記撮像用画素の出力信号を用いて生成した信号に置き換えて補正する補間補正処理を行う補間補正処理部と、
   前記レンズ情報取得部により取得したレンズ情報に応じて、前記撮像画像信号における全ての前記位相差検出用画素の出力信号を前記補間補正処理部によって補正する第一の補正方法と、前記撮像画像信号における全ての前記位相差検出用画素の出力信号を前記ゲイン補正処理部によって補正する第二の補正方法と、のいずれかの方法を選択する補正方法選択部と、
   前記補正方法選択部によって選択された方法によって、前記撮像画像信号における前記位相差検出用画素の出力信号を補正する画像処理部と、を備える撮像装置。
2. レンズ装置を着脱可能な撮像装置であって、
   受光面に二次元アレイ状に配列された複数の撮像用画素及び複数の位相差検出用画素を含み、前記レンズ装置を通して被写体を撮像する撮像素子と、
   装着された前記レンズ装置と通信を行うための通信部と、
   前記レンズ装置に固有の情報であるレンズ情報を、前記通信部を介して前記レンズ装置から取得するレンズ情報取得部と、
   前記撮像素子によって被写体を撮像して得られる撮像画像信号における前記位相差検出用画素の出力信号を当該出力信号にゲイン値を乗じて補正するゲイン補正処理を行うゲイン補正処理部と、
   前記撮像画像信号における前記位相差検出用画素の出力信号を当該位相差検出用画素の周囲にある当該位相差検出用画素と同一色を検出する前記撮像用画素の出力信号を用いて生成した信号に置き換えて補正する補間補正処理を行う補間補正処理部と、
   前記レンズ情報取得部により取得したレンズ情報に応じて、前記撮像画像信号における全ての前記位相差検出用画素の出力信号を前記補間補正処理部によって補正する第一の補正方法と、前記位相差検出用画素毎に前記補間補正処理と前記ゲイン補正処理の補正精度を判定し、補正精度が高い方の処理によって前記位相差検出用画素の出力信号を補正する第三の補正方法と、のいずれかの方法を選択する補正方法選択部と、
   前記補正方法選択部によって選択された方法によって、前記撮像画像信号における前記位相差検出用画素の出力信号を補正する画像処理部と、を備える撮像装置。
3. 請求項１又は２記載の撮像装置であって、
   前記補正方法選択部は、前記レンズ情報に含まれる前記レンズ装置の識別情報に対応する前記ゲイン値が前記撮像装置及び前記レンズ装置のいずれかに記憶されていない場合に、前記第一の補正方法を選択する撮像装置。
4. 請求項１又は２記載の撮像装置であって、
   前記補正方法選択部は、装着された前記レンズ装置と前記撮像素子との組み合わせによって決まる前記ゲイン値を生成するために必要な情報が前記レンズ情報に含まれていない場合に、前記第一の補正方法を選択する撮像装置。
5. 請求項４記載の撮像装置であって、
   前記ゲイン値を生成するために必要な情報は、前記レンズ装置の光線角度情報である撮像装置。
6. 請求項５記載の撮像装置であって、
   前記レンズ情報に前記光線角度情報が含まれる場合に、前記光線角度情報と、光線角度毎の前記撮像素子の感度に関する情報とを用いて、前記ゲイン値を生成する補正ゲイン値生成部を備える撮像装置。
7. レンズ装置を着脱可能な撮像装置による信号処理方法であって、
   前記撮像装置は、受光面に二次元アレイ状に配列された複数の撮像用画素及び複数の位相差検出用画素を含み、前記レンズ装置を通して被写体を撮像する撮像素子と、装着された前記レンズ装置と通信を行うための通信部とを含み、
   前記レンズ装置に固有の情報であるレンズ情報を、前記通信部を介して前記レンズ装置から取得するレンズ情報取得ステップと、
   前記レンズ情報取得ステップにより取得したレンズ情報に応じて、前記撮像画像信号における全ての前記位相差検出用画素の出力信号を当該位相差検出用画素の周囲にある当該位相差検出用画素と同一色を検出する前記撮像用画素の出力信号を用いて生成した信号に置き換えて補正する補間補正処理によって補正する第一の補正方法と、前記撮像画像信号における全ての前記位相差検出用画素の出力信号を当該出力信号にゲイン値を乗じて補正するゲイン補正処理によって補正する第二の補正方法と、のいずれかの方法を選択する補正方法選択ステップと、
   前記補正方法選択ステップによって選択した方法によって、前記撮像画像信号における前記位相差検出用画素の出力信号を補正する画像処理ステップと、を備える信号処理方法。
8. レンズ装置を着脱可能な撮像装置による信号処理方法であって、
   前記撮像装置は、受光面に二次元アレイ状に配列された複数の撮像用画素及び複数の位相差検出用画素を含み、前記レンズ装置を通して被写体を撮像する撮像素子と、装着された前記レンズ装置と通信を行うための通信部とを含み、
   前記レンズ装置に固有の情報であるレンズ情報を、前記通信部を介して前記レンズ装置から取得するレンズ情報取得ステップと、
   前記レンズ情報取得ステップにより取得したレンズ情報に応じて、前記撮像画像信号における全ての前記位相差検出用画素の出力信号を当該位相差検出用画素の周囲にある当該位相差検出用画素と同一色を検出する前記撮像用画素の出力信号を用いて生成した信号に置き換えて補正する補間補正処理によって補正する第一の補正方法と、前記位相差検出用画素毎に、前記撮像画像信号における前記位相差検出用画素の出力信号を当該出力信号にゲイン値を乗じて補正する処理及び前記補間補正処理のそれぞれの補正精度を判定し、補正精度が高い方の処理によって、前記位相差検出用画素の出力信号を補正する第三の補正方法と、のいずれかの方法を選択する補正方法選択ステップと、
   前記補正方法選択ステップによって選択した方法によって、前記撮像画像信号における前記位相差検出用画素の出力信号を補正する画像処理ステップと、を備える信号処理方法。
9. 請求項７又は８記載の信号処理方法の各ステップをコンピュータに実行させるためのプログラム。

Images