WO2014006784A1

WO2014006784A1 - 撮像装置及び画像処理方法

Info

Publication number: WO2014006784A1
Application number: PCT/JP2012/084088
Authority: WO
Inventors: 貴嗣青木; 遠藤　宏; 岩崎　洋一; 林　健吉
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2012-07-06
Filing date: 2012-12-28
Publication date: 2014-01-09
Anticipated expiration: 2015-01-06
Also published as: US20150109498A1; US9148560B2; JPWO2014006784A1; JP5740054B2

Description

撮像装置及び画像処理方法

　本発明は撮像装置及び画像処理方法に係り、特に動画の生成と位相差に基づく焦点調節とを並行して行う撮像装置及び画像処理方法に関する。

　従来、撮像素子の一部に、撮影レンズの左右の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を設け、第１、第２の位相差画素の出力信号の位相差を検出し、検出した位相差に基づいてフォーカスレンズの焦点位置を調節する自動焦点調節（位相差ＡＦ）が知られている。

　特許文献１に記載の撮像素子は、一般的なベイヤ配列のカラーフィルタを有し、水平方向及び垂直方向において、第１の焦点検出用画素（瞳分割左側の画素）と第２の焦点検出用画素（瞳分割右側の画素）とが、一定の周期（水平方向に６画素の周期、垂直方向に３画素の周期）で交互に配置されている。また、第１、第２の焦点検出用画素は、緑（Ｇ）フィルタがある画素位置に配置されている。

　そして、特許文献１に記載の電子カメラは、焦点検出を行う場合には第１、第２の焦点検出用画素が配置された行の画像（ライン画像）を間引き読み出しし、間引き読出ししたライン画像中の第１、第２の焦点検出用画素の画像信号に基づいて焦点位置を検出してフォーカスレンズの位置を制御するとともに、間引き読出ししたライン画像（第１、第２の焦点検出用画素を含む）の画像信号に基づいてリアルタイムにライブビュー表示を行うようにしている。また、焦点検出を行わない場合には、第１、第２の焦点検出用画素が配置されていないライン画像を読み出し、そのライン画像の画像信号によりライブビュー表示を行うようにしている。

　尚、特許文献１に記載の電子カメラは、焦点検出を行う場合には、間引き読出ししたライン画像のうち、第１または第２の焦点検出用画素（Ｇ画素）と、このＧ画素と隣接する赤画素（Ｒ画素）または青画素（Ｂ画素）とをペアにして抽出し、これらの抽出した画素の画像信号によりライブビュー表示を行うようにしている。したがって、焦点検出を行った時のライブビュー表示には、通常のＧ画素（第１または第２の焦点検出用画素以外のＧ画素）の画像信号は使用されていない。

　また、特許文献２に記載のカラーフィルタのレイアウトは、前述のベイヤ配列のカラーフィルタの代替えとして提案されている。

特開２００９－８９１４４号公報特開２０１１－２９３７９号公報

　特許文献１に記載の発明は、焦点検出を行うとともに、ライブビュー表示を行う場合には、間引き読出しした第１または第２の焦点検出用画素をＧ画素として使用しているが、焦点検出用画素は、通常の画素とは構造が異なるため、焦点検出用画素をそのままＧ画素として使用するのは適切でない。

　また、特許文献１に記載の撮像素子のカラーフィルタの配列はベイヤ配列であるため、間引き後の画像もベイヤ配列になる。したがって、仮に焦点検出用画素の画像信号を周囲の同じ色の画素の画像信号を補間して求める場合であっても、上下左右に隣接する画素に同色の画素が存在しないため、補間による偽色等が発生しやすいという問題がある。

　また、特許文献２に記載の技術は、提案されているカラーフィルタのレイアウトに関して、間引き読み出しの仕方や焦点検出画素の配置の仕方に関して開示が無く、最適な方法が不明であるという問題がある。

　本発明はこのような事情に鑑みてなされたもので、ライブビュー表示を含め動画の撮影中に精度よく位相差ＡＦを行うことができ、かつ位相差画素による撮影画像の画質の低下を防止し、または軽減することができる撮像装置及び画像処理方法を提供することを目的とする。

　上記目的を達成するために本発明の一の態様に係る撮像装置は、撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、撮像素子から、間引きパターンにしたがって複数の画素から画素信号を間引き読み出しし、または撮像素子から読み出した所定のカラーフィルタ配列に対応するカラー画像から間引きパターンにしたがって画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、間引かれたカラー画像中に含まれる第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、位相差検出手段により検出された位相差に基づいて撮影レンズの焦点位置を調節する焦点調節手段と、を備え、所定のカラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有し、第１のフィルタと第２のフィルタとが配列された基本配列パターンを含み、基本配列パターンが第１の方向及び第２の方向に繰り返されて配置され、第１のフィルタ及び第２の色の各色に対応する第２のフィルタのそれぞれは、基本配列パターン内の第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置され、間引かれたカラー画像における第２の色は、同一の第２の色が連続しないように第２の方向に延びる１ライン上に配列され、第１、第２の位相差画素は、撮像素子の焦点検出領域内の間引きパターン上であって、第１の方向の画素ライン上の同一の色のフィルタの位置に配置される。

　本発明の一の態様によれば、撮像素子から所定の間引きパターンにしたがって第１の方向のライン画像を間引き読み出しし、または撮像素子から読み出したカラーフィルタ配列に対応するカラー画像から間引きパターンにしたがって複数の画素から画素信号を抽出して、間引かれたカラー画像を取得する。そして、間引かれたカラー画像に基づいて動画データを生成するが、間引かれたカラー画像を動画処理の対象画像とすることにより、１フレーム当りの処理時間の短縮化を図ることができ、フレームレートが低下しないようにすることができる。また、撮像素子からライン画像を間引き読出しすることにより、撮像素子からの画像の読出し時間の短縮化を図ることができる。

　また、取得したカラー画像の少なくとも焦点検出領域内には、間引きパターンのライン上で、かつ同一の色のフィルタの位置に、第１、第２の位相差画素が配置されているため、第１、第２の位相差画素を第１の方向及び第２の方向の２次元で取得することができ、第１、第２の位相差画素に対応する各出力信号に基づいて精度よく各出力信号の位相差を検出することができる。

　更に、第１のフィルタ及び第２の色の各色に対応する第２のフィルタは、基本配列パターン内の第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置されているため、間引かずに全画素を用いた撮影（静止画など）をする場合には、その撮影画像（静止画など）での偽色の発生の低減及び高解像度化を図ることができ、また、第１、第２の位相差画素の周辺画素として通常の画素（第１、第２の位相差画素以外の画素）を配置することができ、第１、第２の位相差画素の位置のカラー画素の画素値を、隣接する画素を含む周辺画素の画素値の補間により生成する際に精度よく求めることができる。

　また更に、カラー画像における第２の色は、同一の第２の色が連続しないように第２の方向に延びる１ライン上に配列されているために、同時化処理時に画素値を周辺画素の画素値により精度よく求めることができる。

　上記構成により本態様の撮像装置では、動画の撮影中に精度よく位相差ＡＦを行うことができ、かつ、位相差画素による撮影画像の画質の低下を防止し、又は軽減することができる。

　本発明の他の態様に係る撮像装置は、撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、撮像素子から、間引きパターンにしたがって複数の画素から画素信号を間引き読み出しし、または撮像素子から読み出した所定のカラーフィルタ配列に対応するカラー画像から間引きパターンにしたがって画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、間引かれたカラー画像中に含まれる第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、位相差検出手段により検出された位相差に基づいて撮影レンズの焦点位置を調節する焦点調節手段と、を備え、所定のカラーフィルタ配列は、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある１色以上の第１の色に対応する第１のフィルタと、透過率のピークが範囲外にある２色以上の第２の色に対応する第２のフィルタとを有し、第１のフィルタと第２のフィルタとが配列された基本配列パターンを含み、基本配列パターンが第１の方向及び第２の方向に繰り返されて配置され、第１のフィルタ及び第２の色の各色に対応する第２のフィルタのそれぞれは、基本配列パターン内の第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置され、間引かれたカラー画像における第２の色は、同一の第２の色が連続しないように第２の方向に延びる１ライン上に配列され、第１、第２の位相差画素は、撮像素子の焦点検出領域内の間引きパターン上であって、第１の方向の画素ライン上の同一の色のフィルタの位置に配置される。本態様の撮像装置においても上記態様と同様に、動画の撮影中に精度よく位相差ＡＦを行うことができ、かつ位相差画素による撮影画像の画質の低下を防止し、又は軽減することができる。

　本発明の他の態様は、各フィルタの透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲か否かにより第１の色に対応する第１のフィルタと第２の色に対応する第２のフィルタとを区別している点で、前述の本発明の態様と相違する。

　本発明の更に他の態様に係る撮像装置は、撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、撮像素子から、間引きパターンにしたがって複数の画素から画素信号を間引き読み出しし、または撮像素子から読み出した所定のカラーフィルタ配列に対応するカラー画像から間引きパターンにしたがって画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、間引かれたカラー画像中に含まれる第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、位相差検出手段により検出された位相差に基づいて撮影レンズの焦点位置を調節する焦点調節手段と、を備え、所定のカラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、波長５００ｎｍ以上５６０ｎｍ以下の範囲内で透過率が第１のフィルタよりも低くなる２色以上の第２の色に対応する第２のフィルタとを有し、第１のフィルタと第２のフィルタとが配列された基本配列パターンを含み、基本配列パターンが第１の方向及び第２の方向に繰り返されて配置され、第１のフィルタ及び第２の色の各色に対応する第２のフィルタのそれぞれは、基本配列パターン内の第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置され、間引かれたカラー画像における第２の色は、同一の第２の色が連続しないように第２の方向に延びる１ライン上に配列され、第１、第２の位相差画素は、撮像素子の焦点検出領域内の間引きパターン上であって、第１の方向の画素ライン上の同一の色のフィルタの位置に配置される。

　本態様の撮像装置においても上記態様と同様に、動画の撮影中に精度よく位相差ＡＦを行うことができ、かつ位相差画素による撮影画像の画質の低下を防止し、又は軽減することができる。

　本発明の更に他の態様は、波長５００ｎｍ以上５６０ｎｍ以下の範囲内の各フィルタの透過率の高低により第１の色に対応する第１のフィルタと第２の色に対応する第２のフィルタとを区別している点で、前述の本発明の態様と相違する。

　本発明の他の態様に係る撮像装置は、撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、撮像素子から、間引きパターンにしたがって複数の画素から画素信号を間引き読み出しし、または撮像素子から読み出した所定のカラーフィルタ配列に対応するカラー画像から間引きパターンにしたがって画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、間引かれたカラー画像中に含まれる第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、位相差検出手段により検出された位相差に基づいて撮影レンズの焦点位置を調節する焦点調節手段と、を備え、所定のカラーフィルタ配列は、３原色のうち最も輝度信号に寄与する色と３原色とは異なる色の第４色とを含む２色以上の第１の色に対応する第１のフィルタと、第１の色以外の２色以上の第２の色に対応する第２のフィルタとを有し、第１のフィルタと第２のフィルタとが配列された基本配列パターンを含み、基本配列パターンが第１の方向及び第２の方向に繰り返されて配置され、第１のフィルタ及び第２の色の各色に対応する第２のフィルタのそれぞれは、基本配列パターン内の第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置され、間引かれたカラー画像における第２の色は、同一の第２の色が連続しないように第２の方向に延びる１ライン上に配列され、第１、第２の位相差画素は、撮像素子の焦点検出領域内の間引きパターン上であって、第１の方向の画素ライン上の同一の色のフィルタの位置に配置される。

　本発明の更に他の態様は、３原色のうち最も輝度信号に寄与する色と３原色とは異なる色の第４色とを含む２色以上の第１の色に対応する第１のフィルタと、第１の色以外の２色以上の第２の色に対応する第２のフィルタとで、第１のフィルタと第２のフィルタとを区別している点で、前述の本発明の態様と相違する。

　本発明の他の態様に係る撮像装置において、間引かれたカラー画像は、第１、第２の位相差画素に隣接して第１、第２の位相差画素の位置における画素の色と同じ色の画素が配置され、間引かれたカラー画像中の第１、第２の位相差画素の位置における画素の画素値を、第１、第２の位相差画素に隣接する同じ色の画素を含む周辺画素の画素値を補間して算出する補間演算手段を備え、動画生成手段は、間引かれたカラー画像中の第１、第２の位相差画素の位置における画素の画素値として補間演算手段により算出された値を使用したカラー画像に基づいて動画データ生成することが好ましい。間引かれたカラー画像は、第１、第２の位相差画素に隣接して第１、第２の位相差画素の位置における画素の色と同じ色の画素が配置されるため、第１、第２の位相差画素の位置における画素の画素値を周辺画素の同色の画素の画素値を使用して補間演算する際に、周辺画素として第１、第２の位相差画素に隣接する画素を使用することができ、第１、第２の位相差画素の位置における画素の画素値を精度よく算出することができる。

　本発明の更に他の態様に係る撮像装置において、間引かれたカラー画像は、第１の色の画素が第２の方向に配列され、かつ第２の色の各色の画素がそれぞれ第２の方向に配列されて構成されることが好ましい。これにより、間引き後のカラー画像の第１の色の画素の第２の方向の解像度を高くすることができる。

　本発明の他の態様に係る撮像装置において、第１のフィルタに対応する第１の色の全画素数の比率は、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きく、第１、第２の位相差画素は、第１のフィルタの位置に配置されることが好ましい。

　第１、第２の位相差画素を画素数の多い色のフィルタ（第１のフィルタ）に配置することにより、第１、第２の位相差画素の位置における画素の画素値を、周辺の第１のフィルタの画素の画素値に基づいて精度よく算出することができる。

　本発明の他の態様に係る撮像装置において、第１のフィルタは、Ｍ×Ｎ画素（Ｍ、Ｎ：３以上の整数）内に複数配置され、Ｍ×Ｎ画素が第１、第２の方向に繰り返し配置されることが好ましい。

　本発明の他の態様に係る撮像装置において、第１、第２の位相差画素のうちの一方の位相差画素が、Ｍ×Ｎ画素内に１または２つ配置されることが好ましい。これにより、位相差画素を分散して配置することができる。

　本発明の他の態様に係る撮像装置において、第１、第２の位相差画素は、第２の方向に第１、第２の位相差画素が一対となって配置されることが好ましい。これにより、第２の方向の最小ピッチで、第１、第２の位相差画素の各出力信号の位相差を検出することができる。

　本発明の他の態様に係る撮像装置において、第１、第２の位相差画素は、第１の方向の１ライン上に交互に配置されることが好ましい。

　本発明の他の態様に係る撮像装置において、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）色であり、カラーフィルタは、Ｒ、Ｇ、Ｂの色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、カラーフィルタ配列は、２×２画素に対応する第１の配列であって、Ｇフィルタが４配置された第１の配列と、２×２画素に対応する第２の配列であって、第２の配列の一方の対角線上にＢフィルタが配置され、他方の対角線上にＲフィルタが配置された第２の配列とが、それぞれ対角位置に配置されて構成され、第１、第２の配列内のＧフィルタを有する画素のうちの１つの画素が、第１、第２の位相差画素のうちの一方の位相差画素として構成されることが好ましい。

　本発明の他の態様に係る撮像装置において、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）色であり、カラーフィルタは、Ｒ、Ｇ、Ｂの色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、それぞれ対角位置に、または第１の方向に同じ配列が配置され且つ第２の方向に異なる配列が配置されて構成され、第１、第２の配列内のＧフィルタを有する画素のうちの１つの画素が、第１、第２の位相差画素のうちの一方の位相差画素として構成されることが好ましい。

　本発明の他の態様に係る撮像装置において、第１、第２の位相差画素として構成されたＧフィルタを有する画素に替えて、透明フィルタを有する画素を使用することが好ましい。

　第１の方向における基本配列パターンの周期と、第１の方向における第１、第２の位相差画素が配置される周期が異なること場合もある。

　本発明の他の態様に係る画像処理方法は、撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、を備えた撮像装置における画像処理方法であって、撮像素子から、間引きパターンにしたがって複数の画素から画素信号を間引き読み出しし、または撮像素子から読み出した所定のカラーフィルタ配列に対応するカラー画像から間引きパターンにしたがって画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、間引かれたカラー画像中に含まれる第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、位相差検出工程により検出された位相差に基づいて撮影レンズの焦点位置を調節する焦点調節工程であって、動画生成工程による動画の生成と並行して撮影レンズの焦点位置を調節する焦点調節工程と、を含み、所定のカラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有し、第１のフィルタと第２のフィルタとが配列された基本配列パターンを含み、基本配列パターンが第１の方向及び第２の方向に繰り返されて配置され、第１のフィルタ及び第２の色の各色に対応する第２のフィルタのそれぞれは、基本配列パターン内の第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置され、間引かれたカラー画像における第２の色は、同一の色が連続しないように第２の方向に延びる１ライン上に配列され、第１、第２の位相差画素は、撮像素子の焦点検出領域内の間引きパターン上であって、第１の方向の画素ライン上の同一の色のフィルタの位置に配置される。

　本態様の画像処理方法においても上記態様の撮像装置と同様に、動画の撮影中に精度よく位相差ＡＦを行うことができ、かつ位相差画素による撮影画像の画質の低下を防止し、又は軽減することができる。

　本発明の他の態様に係る画像処理方法は、撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、を備えた撮像装置における画像処理方法であって、撮像素子から、間引きパターンにしたがって複数の画素から画素信号を間引き読み出しし、または撮像素子から読み出した所定のカラーフィルタ配列に対応するカラー画像から間引きパターンにしたがって画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、間引かれたカラー画像中に含まれる第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、位相差検出工程により検出された位相差に基づいて撮影レンズの焦点位置を調節する焦点調節工程であって、動画生成工程による動画の生成と並行して撮影レンズの焦点位置を調節する焦点調節工程と、を含み、所定のカラーフィルタ配列は、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある１色以上の第１の色に対応する第１のフィルタと、透過率のピークが範囲外にある２色以上の第２の色に対応する第２のフィルタとを有し、第１のフィルタと第２のフィルタとが配列された基本配列パターンを含み、基本配列パターンが第１の方向及び第２の方向に繰り返されて配置され、第１のフィルタ及び第２の色の各色に対応する第２のフィルタのそれぞれは、基本配列パターン内の第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置され、間引かれたカラー画像における第２の色は、同一の色が連続しないように第２の方向に延びる１ライン上に配列され、第１、第２の位相差画素は、撮像素子の焦点検出領域内の間引きパターン上であって、第１の方向の画素ライン上の同一の色のフィルタの位置に配置される。

　本態様の画像処理方法においても上記態様の画像処理方法と同様に、動画の撮影中に精度よく位相差ＡＦを行うことができ、かつ位相差画素による撮影画像の画質の低下を防止し、又は軽減することができる。

　本発明の他の態様に係る画像処理方法は、撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、を備えた撮像装置における画像処理方法であって、撮像素子から、間引きパターンにしたがって複数の画素から画素信号を間引き読み出しし、または撮像素子から読み出した所定のカラーフィルタ配列に対応するカラー画像から間引きパターンにしたがって画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、間引かれたカラー画像中に含まれる第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、位相差検出工程により検出された位相差に基づいて撮影レンズの焦点位置を調節する焦点調節工程であって、動画生成工程による動画の生成と並行して撮影レンズの焦点位置を調節する焦点調節工程と、を含み、所定のカラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、波長５００ｎｍ以上５６０ｎｍ以下の範囲内で透過率が第１のフィルタよりも低くなる２色以上の第２の色に対応する第２のフィルタとを有し、第１のフィルタと第２のフィルタとが配列された基本配列パターンを含み、基本配列パターンが第１の方向及び第２の方向に繰り返されて配置され、第１のフィルタ及び第２の色の各色に対応する第２のフィルタのそれぞれは、基本配列パターン内の第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置され、間引かれたカラー画像における第２の色は、同一の色が連続しないように第２の方向に延びる１ライン上に配列され、第１、第２の位相差画素は、撮像素子の焦点検出領域内の間引きパターン上であって、第１の方向の画素ライン上の同一の色のフィルタの位置に配置される。

　本発明の他の態様に係る画像処理方法は、撮影レンズと、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、を備えた撮像装置における画像処理方法であって、撮像素子から、間引きパターンにしたがって複数の画素から画素信号を間引き読み出しし、または撮像素子から読み出した所定のカラーフィルタ配列に対応するカラー画像から間引きパターンにしたがって画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、間引かれたカラー画像中に含まれる第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、位相差検出工程により検出された位相差に基づいて撮影レンズの焦点位置を調節する焦点調節工程であって、動画生成工程による動画の生成と並行して撮影レンズの焦点位置を調節する焦点調節工程と、を含み、所定のカラーフィルタ配列は、３原色のうち最も輝度信号に寄与する色と３原色とは異なる色の第４色とを含む２色以上の第１の色に対応する第１のフィルタと、第１の色以外の２色以上の第２の色に対応する第２のフィルタとを有し、第１のフィルタと第２のフィルタとが配列された基本配列パターンを含み、基本配列パターンが第１の方向及び第２の方向に繰り返されて配置され、第１のフィルタ及び第２の色の各色に対応する第２のフィルタのそれぞれは、基本配列パターン内の第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置され、間引かれたカラー画像における第２の色は、同一の色が連続しないように第２の方向に延びる１ライン上に配列され、第１、第２の位相差画素は、撮像素子の焦点検出領域内の間引きパターン上であって、第１の方向の画素ライン上の同一の色のフィルタの位置に配置される。

　本発明によれば、ライブビュー表示を含め動画の撮影中に間引かれるカラー画像中の第１の方向の画素ライン上に第１、第２の位相差画素が配置されるようにしたため、動画の撮影中であっても精度よく位相差ＡＦを行うことができ、また、間引き後のカラー画像中の第１、第２の位相差画素の画素位置の画素値を周辺画素の画素値により精度よく求めることができ、これにより位相差画素による撮影画像（静止画及び動画）の画質の低下を防止し、または軽減することができる。更にまた、同時化処理時に画素値を周辺画素の画素値により精度よく求めることができる。

本発明に係る撮像装置の実施形態を示す斜視図である。図１に示した撮像装置の背面図である。図１に示した撮像装置の内部構成の実施形態を示すブロック図である。撮像素子に配置された新規のカラーフィルタ配列を示す図である。図４に示した基本配列パターンを３×３画素に４分割した状態を示した図である。位相差画素の構成例を示す図である。撮像素子の撮像領域とＡＦ領域を示す図である。ＡＦ領域の他の実施形態を示す図である。本発明に係る画像処理方法を示すフローチャートである。撮像素子における位相差画素の配置例と撮像素子から画像データを間引き読出しする様子を示す概念図である。撮像素子における位相差画素の配置例と撮像素子から画像データを間引き読出しする様子を示す概念図である。撮像素子における位相差画素の配置例と撮像素子から画像データを間引き読出しする様子を示す概念図である。撮像素子における位相差画素の配置例と撮像素子から画像データを間引き読出しする様子を示す概念図である。撮像素子における位相差画素の配置例と撮像素子から画像データを間引き読出しする様子を示す概念図である。間引き読み出しされた画像データを説明する図である。Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及び透明フィルタを有する各フォトダイオードの分光感度特性の一例を示すグラフである。Ｒフィルタ、Ｇ１フィルタ、Ｇ２フィルタ及びＢフィルタを有する各フォトダイオードの分光感度特性の一例を示すグラフである。Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及びＥフィルタを有する各フォトダイオードの分光感度特性の一例を示すグラフである。撮像装置の他の実施形態であるスマートフォンの外観図である。スマートフォンの要部構成を示すブロック図である。

　以下、添付図面にしたがって本発明に係る撮像装置及び画像処理方法の好ましい実施形態について詳説する。

　［撮像装置］
　図１及び図２はそれぞれ本発明に係る撮像装置の実施形態を示す斜視図及び背面図である。この撮像装置１０は、レンズを通った光を撮像素子で受け、デジタル信号に変換して静止画または動画の画像データとして記録メディアに記録するデジタルカメラである。

　図１に示すように撮像装置１０は、その正面に撮影レンズ１２、ストロボ１等が配設され、上面にはシャッタボタン２、電源／モードスイッチ３、モードダイヤル４等が配設されている。一方、図２に示すように、カメラ背面には、表示用の液晶モニタ３０、ズームボタン５、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等が配設されている。

　撮影レンズ１２は、沈胴式のズームレンズで構成されており、電源／モードスイッチ３によってカメラのモードを撮影モードに設定することにより、カメラ本体から繰り出される。ストロボ１は、主要被写体に向けてストロボ光を照射するものである。

　シャッタボタン２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。撮像装置１０は、撮影モードで駆動しているときは、このシャッタボタン２を途中まで押し込む「半押し」がされることにより、ＡＥ／ＡＦが作動し、「半押し」からさらに押し込む「全押し」がされることにより、撮影を実行する。また、撮像装置１０は、撮影モードで駆動しているときは、このシャッタボタン２が「全押し」されることにより、撮影を実行する。

　電源／モードスイッチ３は、撮像装置１０の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、撮像装置１０のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。撮像装置１０は、電源／モードスイッチ３をスライドさせて、「再生位置」または「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ３をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

　モードダイヤル４は、撮像装置１０の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、撮像装置１０の撮影モードが様々なモードに設定される。例えば、静止画撮影を行う「静止画撮影モード」、動画撮影を行う「動画撮影モード」等である。

　液晶モニタ３０は、撮影モード時のライブビュー画像（スルー画像）の表示、再生モード時の静止画または動画の表示を行うとともに、メニュー画面の表示等を行うことでグラフィカルユーザーインターフェース（ＧＵＩ）の一部として機能する。

　ズームボタン５は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン５Ｔと、広角側へのズームを指示するワイドボタン５Ｗとからなる。撮像装置１０は、撮影モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、撮影レンズ１２の焦点距離が変化する。また、再生モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、再生中の画像が拡大、縮小する。

　十字ボタン６は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

　ＭＥＮＵ／ＯＫボタン７は、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作ボタンである。

　再生ボタン８は、撮影記録した静止画または動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。

　ＢＡＣＫボタン９は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。

　なお本実施の形態に係る撮像装置１０において、ボタン／スイッチ類に対し固有の部材を設けるのではなく、タッチパネルを設けこれを操作することでそれらボタン／スイッチ類の機能を実現するようにしてもよい。

　［撮像装置の内部構成］
　図３は上記撮像装置１０の内部構成の実施形態を示すブロック図である。この撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

　撮像装置１０には、前述したシャッタボタン２、電源／モードスイッチ３、モードダイヤル４、テレボタン５Ｔ、ワイドボタン５Ｗ、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、イメージセンサの駆動制御、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ３０の表示制御などを行う。

　電源／モードスイッチ３により撮像装置１０の電源がＯＮされると、図示しない電源部から各ブロックへ給電され、撮像装置１０の駆動が開始される。

　撮影レンズ１２、絞り１４、メカシャッタ（機械的シャッタ）１５等を通過した光束は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサである撮像素子１６に結像される。尚、撮像素子１６は、ＣＭＯＳ型に限らず、ＸＹアドレス型、またはＣＣＤ（Charge Coupled Device）型のカラーイメージセンサでもよい。

　撮像素子１６は、多数の受光素子（フォトダイオード）が２次元配列されており、各フォトダイオードの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換され、撮像素子１６内のＡ／Ｄ変換器を介してデジタル信号に変換されて出力される。

　＜撮像素子の実施形態＞
　撮像素子１６は、水平方向（第１の方向）及び垂直方向（第２の方向）に配列された光電変換素子（フォトダイオード）で構成される複数の画素上に、以下に例示するカラーフィルタ配列のカラーフィルタが配設されて構成されている。

　図４は、上記撮像素子１６の実施形態を示す図であり、特に撮像素子１６の受光面上に配置されている新規のカラーフィルタ配列に関して示している。

　図４に示された撮像素子１６のカラーフィルタ配列は、Ｍ×Ｎ（６×６）画素に対応する基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向（左右方向：第１の方向）及び垂直方向（上下方向：第２の方向）に繰り返し配置されている。即ち、このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が周期性をもって配列されている。このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが周期性をもって配列されているため、撮像素子１６から読み出されるＲＧＢのＲＡＷデータ（モザイク画像）の画像処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

　尚、６×６画素の基本配列パターンは、上記基本配列パターンＰに限らず、基本配列パターンＰとは異なる位置から切り出した基本配列パターンＰ’も含むものである。

　図４に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め左上方向の各画素ライン内に１以上配置されている。ここで、画素ラインとは、水平、垂直、斜め右上、または斜め左上方向に一列に画素が配列されているラインをいう。

　また、この実施形態での斜め右上方向及び斜め右下方向は、水平方向及び垂直方向に対してそれぞれ４５°傾いた方向である。これは、複数の画素及びカラーフィルタが水平方向及び垂直方向に正方格子状に配列されているからである。したがって、複数の画素及びカラーフィルタが矩形格子状に配列されている場合には、その矩形格子の対角線の方向が、斜め右上方向及び斜め左上方向に対応する。

　輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め右上、及び斜め左上方向の各画素ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。ここで、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に伴うＲＧＢのモザイク画像から画素毎にＲＧＢの全ての色情報を算出（同時式に変換）する処理であって、デモザイク処理、デモザイキング処理とも言う。

　また、図４に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ、Ｂの色）に対応するＲフィルタ、Ｂフィルタが、それぞれ基本配列パターンＰの水平、及び垂直方向の各画素ライン内に１つ以上配置されている。

　Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各画素ライン内に配置されるため、偽色（色モワレ）の発生を低減することができる。これにより、偽色の発生を低減（抑制）するための光学ローパスフィルタを省略することができる。尚、光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

　更に、図４に示すカラーフィルタ配列の基本配列パターンＰは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、２０画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素のそれぞれの画素数の比率よりも大きくなっている。

　上記のようにＧ画素の画素数とＲ、Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ、Ｂ画素の画素数の比率よりも大きくするようにしたため、同時化処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。

　図５は、図４に示した基本配列パターンＰを、３×３画素に４分割した状態、及び後述する位相差画素の第１の配置例に関して示している。

　図５に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列（第１のサブ配列）と、破線の枠で囲んだ３×３画素のＢ配列（第２のサブ配列）とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

　Ａ配列及びＢ配列は、それぞれＧフィルタ（第１の色）が４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタ（第１の構成色）が水平方向（第１の方向）に配列され、Ｂフィルタ（第２の構成色）が垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向（第１の方向）に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

　また、Ａ配列とＢ配列の４隅のＧフィルタは、Ａ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

　図５に示す位相差画素の第１の配置例によれば、Ａ配列の４隅のＧフィルタのうちの左上のＧフィルタの位置の画素を第１の位相差画素ｐ１として構成し、Ａ配列の４隅のＧフィルタのうちの左下のＧフィルタの位置の画素を第２の位相差画素ｐ２として構成している。また、図５に示した基本配列パターンにおける上側のＡ配列にのみ第１の位相差画素ｐ１があり、基本配列パターンにおける下側のＡ配列にのみ第２の位相差画素ｐ２がある。したがって、Ａ配列のみに位相差画素が配置されることになる。

　図６の（ａ）及び（ｂ）はそれぞれ第１の位相差画素ｐ１及び第２の位相差画素ｐ２の構成を示す要部拡大図である。

　図６の（ａ）に示すように第１の位相差画素ｐ１のフォトダイオードＰＤの前面側（マイクロレンズＬ側）には、遮光部材１６Ａが配設され、一方、図６の（ｂ）に示すように第２の位相差画素ｐ２のフォトダイオードＰＤの前面側には、遮光部材１６Ｂが配設される。マイクロレンズＬ及び遮光部材１６Ａ、１６Ｂは瞳分割手段としての機能を有し、図６の（ａ）に示すように遮光部材１６Ａは、フォトダイオードＰＤの受光面の左半分を遮光する。そのため、第１の位相差画素ｐ１には、撮影レンズ１２の射出瞳を通過する光束のうちの光軸の左側を通過する光束のみが受光される。図６の（ｂ）に示すように遮光部材１６Ｂは、第２の位相差画素ｐ２のフォトダイオードＰＤの受光面の右半分を遮光する。そのため、第２の位相差画素ｐ２には、撮影レンズ１２の射出瞳を通過する光束のうちの光軸の右側を通過する光束のみが受光される。このように、瞳分割手段であるマイクロレンズＬ及び遮光部材１６Ａ、１６Ｂにより、射出瞳を通過する光束が左右に分割され、それぞれ第１の位相差画素ｐ１及び第２の位相差画素ｐ２に入射する。

　第１の位相差画素ｐ１及び第２の位相差画素ｐ２は、図７に示すように撮像素子１６の撮像領域内の中央部のＡＦ領域（焦点検出領域）に設けられている。第１の位相差画素ｐ１及び第２の位相差画素ｐ２は、位相差検出方向（この実施形態では水平方向）に数１０画素から１００画素程度配置することが好ましく、また、垂直方向に一対の位相差画素が、複数対配置することが好ましい。

　尚、ＡＦ領域は、図７に示す例に限らず、図８の（ａ）～（ｃ）に示すように撮影領域内に複数設けるようにしてもよく、また、撮影領域の全域に設けるようにしてもよい。

　図３に戻って、センサ駆動部３２は、ＣＰＵ４０からの読出し指令により撮像素子１６からデジタル信号（画像信号）を読み出すカラー画像取得手段であり、撮像素子１６から画素ライン毎に順次画像信号を読み出すが、例えば１/３間引き、１／６間引き等の間引き読出し指令がＣＰＵ４０から加えられると、後述する間引きパターンに対応する画素ラインの画像信号を選択的に読み出す。

　ＣＭＯＳイメージセンサにおける読出し方式は、上方から１画素ライン毎に順次リセット、順次読み出しを行う、ローリングシャッタ方式となる事が知られている。このローリングシャッタ方式は、画素ライン毎に露光タイミングに時間差があるため、動く被写体の場合には、被写体の画像が歪むという問題がある。したがって、静止画撮影時には、シャッタ駆動部３３によりメカシャッタ１５を開閉制御（露光時間を制御）してローリングシャッタによる歪みが発生しないようにしている。なおローリングシャッタ方式とは、ＭＯＳ型の撮像素子において、少なくとも１つ以上の走査ラインや画素毎に順次露光動作を行う、すなわち走査ラインや画素毎に順次リセットを行い電荷の蓄積を開始し蓄積した電荷を読み出す方式である（フォーカルプレーンシャッター方式とも言う）。

　撮像素子１６から読み出された画像信号（Ｒ、Ｇ、Ｂ信号）は画像入力コントローラ２２に出力される。

　デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、ガンマ補正処理、同時化処理、ＹＣ処理等の信号処理及び動画の生成処理等を行う。

　デジタル信号処理部２４により処理された画像データは、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記録するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。

　ＶＲＡＭ５０から読み出された画像データは、ビデオエンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力され、これにより被写体像が連続的に液晶モニタ３０の表示画面上に表示される。

　ＣＰＵ４０は、スルー画像（ライブビュー画像）の撮影／表示中及び動画の撮影／記録（録画）中、常時ＡＦ動作及びＡＥ（自動露出）動作を行う。

　ＡＦ処理部（位相差検出手段）４２は、本発明に係る位相差ＡＦ処理を行う部分であり、図５に示した第１の位相差画素ｐ１、第２の位相差画素ｐ２の各出力信号を使用して位相差を検出する。尚、ＡＦ処理部４２による位相差検出の詳細については後述する。ＣＰＵ４０は、ＡＦ処理部４２から位相差を示す位相差データを入力すると、位相差データに基づいて位相差ＡＦを行う焦点調節手段として機能する。即ち、ＣＰＵ４０は、位相差データに基づいて撮影レンズ１２によるピント位置と撮像素子１６の結像面とのずれ量（デフォーカス量）を算出し、算出したデフォーカス量がゼロになるようにレンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズを移動させる。尚、デフォーカス量の算出は、ＡＦ処理部４２で行ってもよい。

　ＡＥ検出部４４では、画面全体のＧ信号を積算し、または画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出する。撮影モードが静止画撮影モードの場合には、シャッタボタン２の第１段階の押下（半押し）があると、ＣＰＵ４０は、前述のＡＦ制御を再度行い、シャッタボタン２の全押しがあると、被写体の明るさ（撮影Ｅｖ値）を算出し、算出した撮影ＥＶ値に基づいて絞り１４のＦ値及びメカシャッタ１５による露光時間（シャッタ速度）をプログラム線図にしたがって決定し、静止画の撮影（露出制御）を行う。

　一方、撮影モードが動画撮影モードの場合には、シャッタボタン２の全押しがあると、ＣＰＵ４０は、動画の撮影／記録（録画）を開始させる。尚、動画撮影時には、メカシャッタ１５を開放し、撮像素子１６から画像データを連続的に読み出し（例えば、フレームレートとして３０フレーム／秒、６０フレーム／秒）、連続的に位相差ＡＦを行うとともに、被写体の明るさを算出し、シャッタ駆動部３３によりシャッタ速度（ローリングシャッタによる電荷蓄積時間）及び／または絞り駆動部３４による絞り１４を制御する。

　ＣＰＵ４０は、ズームボタン５からのズーム指令に応じてレンズ駆動部３６を介してズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。

　また、ＲＯＭ４７は、カメラ制御プログラム、撮像素子１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、動画の間引き読出し用の間引きパターン等が記憶されているＲＯＭ（ＥＥＰＲＯＭ）である。

　動画または静止画の撮影時に撮像素子１６から出力される画像データは、画像入力コントローラ２２からメモリ(SDRAM)４８に入力し、一時的に記憶される。

　メモリ４８に一時的に記憶された画像データは、デジタル信号処理部２４により適宜読み出され、ここで、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理（原色フィルタの配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理（デモザイク処理））、エッジ強調の画像処理、及びＹＣ処理（画像データの輝度データ及び色差データの生成処理）を含む信号処理が行われ、ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。

　メモリ４８に記憶されたＹＣデータは、圧縮伸張処理部２６に出力され、JPEG (joint photographic experts group)などの圧縮処理が実行されたのち、再びメモリ４８に記憶される。メモリ４８に記憶されたＹＣデータ（圧縮データ）から画像ファイルが生成され、その画像ファイルは、メディアコントローラ５２により読み出され、メモリカード５４に記録される。

　［位相差ＡＦ処理］
　図９は本発明に係る画像処理方法を示すフローチャートであり、特に動画撮影時の画像処理に関して示している。

　図９において、ＣＰＵ４０は、動画撮影時に撮像素子１６から画像データを間引き読み出するための間引き率を取得する（ステップＳ１０）。この間引き率は、予め設定された固定値でもよいし、複数の間引き率からユーザにより選択できるようにしてもよい。例えば、動画の画像サイズの選択、あるいはフレームレートの選択に連動して最適な間引き率を設定することができる。

　続いて、ＣＰＵ４０は、間引き率に応じた間引きパターンを示す読出し指令をセンサ駆動部３２に出力し、撮像素子１６から画像データを間引き読出しする（ステップＳ１２）。

　図１０は撮像素子１６における位相差画素像の第１の配置例と撮像素子１６から画像データを間引き読出しする様子を示す概念図である。尚、以下に示す図１０から図１５は間引き読み出しする様子を示す概念図であるが、第１の方向（水平方向）及び第２の方向（垂直方向）における間引き読み出しを行う画素ラインに黒丸印を示している。

　図１０の（ａ）に示すように撮像素子１６からは撮像素子１６のカラーフィルタ配列と同じカラー配列のＲＡＷデータ（モザイク画像）の全画素ラインを読み出すことができるが、動画撮影時には、図１０の（ｂ）に示すように第２の方向（垂直方向）に沿って６画素ラインのうち２画素ラインを間引き読み出しする１／３（２／６）間引き読出しを行うこともできるし、図示しないが第１の方向（水平方向）に沿って２画素ライン毎に１画素ラインを間引き読み出しする１／２間引き読出しを行い且つ第２の方向（垂直方向）に沿って６画素ラインのうち２画素ラインを間引き読み出しする１／３（２／６）間引き読出しを行うこともできる。例えば、高解像度の撮影モードでは第２の方向（垂直方向）に沿って１／３（２／６）間引き読出しを行い、低解像度の撮影モードやライブビュー表示モードでは第１の方向（水平方向）及び第２の方向（垂直方向）に間引き読出しを行ってもよい。

　第１の位相差画素ｐ１は、基本配列パターンにおける上側の３×３画素のＡ配列における左上に位置するＧ画素の位置に配置されている（図５参照）。また、第２の位相差画素ｐ２は、基本配列パターンにおける下側の３×３画素のＡ配列における左下のＧ画素の位置に配置されている（図５参照）。また、垂直方向に隣接する基本配列パターン内では、前述の第１の位相差画素ｐ１と第２の位相差画素ｐ２の配置場所が入れ替わっている。

　間引き読出し時には、第１の位相差画素ｐ１及び第２の位相差画素ｐ２を含む画素ラインを読み出す。即ち、間引き率に対応して、いずれの画素ラインを読み出すかを示す間引きパターンが予め設定されており、間引きパターンに応じた画素ラインの画像データのみが読み出される。これにより動画データを生成することができる。

　Ａ配列またはＢ配列は、３×３画素であるため、垂直方向の３画素ライン毎にＡ配列とＢ配列とが交互に繰り返し、一方、基本配列パターンは、６×６画素であるため、垂直方向の６画素ライン毎に同じ基本配列パターンを繰り返している。

　いま、図１０の（ａ）に示すようにＡ配列またはＢ配列に対応する３画素ラインに番号１～３を付し（左側）、基本配列パターンに対応する６画素ラインに番号１～６を付す（右側）。第１の位相差画素ｐ１は上側のＡ配列の番号１に対応する画素ライン、及び第２の位相差画素ｐ２は下側のＡ配列の番号３に対応する画素ラインに配置されているため、１／３（２／６）間引き読出しの場合には、図１０の（ｂ）に示すようにＡ配列またはＢ配列の番号１及び３に対応する画素ライン（基本配列パターンの番号１、番号６に対応する画素ライン）の画像データが読み出される。

　図９に戻って、ステップＳ１２により１フレーム分の画像データが間引き読出しされると、以下に示すようにＡＦ動作と動画生成の処理とが並列して行われる。

　ＡＦ処理部４２は、間引き読出しされた１フレーム分の画像データのうちのＡＦ領域内の第１の位相差画素ｐ１及び第２の位相差画素ｐ２の画像データ（出力データ）を抽出し、第１の位相差画素ｐ１の出力データと第２の位相差画素ｐ２の出力データとの位相差を検出する（ステップＳ１４）。例えば、上下一対の第１の位相差画素ｐ１と第２の位相差画素ｐ２の各出力データの相関が最大になるとき（上下一対の位相差画素の各出力データの差分絶対値の積算値が最小になるとき）の各出力データ間の左右方向のシフト量から位相差を求める。

　続いて、ＣＰＵ４０は、ステップＳ１４で検出した位相差からＣＰＵ４０は、位相差データに基づいて撮影レンズ１２によるピント位置と撮像素子１６の結像面とのずれ量（デフォーカス量）を算出する（ステップＳ１６）。尚、デフォーカス量の算出は、ＡＦ処理部４２で行ってもよい。

　ＣＰＵ４０は、算出したデフォーカス量から撮影レンズ１２内のフォーカスレンズが合焦位置にあるか否かを判別する（ステップＳ１８）。合焦位置にないと判別すると（「No」の場合）、算出したデフォーカス量がゼロになるようにレンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズを移動させる（ステップＳ２０）。合焦位置にあると判別すると（「Yes」の場合）、ステップＳ３２に遷移する。

　上記ステップＳ１４からステップＳ２０の処理と並行し動画生成の処理が行われる。

　ステップＳ１２により１フレーム分の画像データが間引き読出しされると、ステップＳ２２では、デジタル信号処理部２４中の補間演算手段により第１の位相差画素ｐ１及び第２の位相差画素ｐ２の画素位置における画素（Ｇ画素）の画素値（画像データ）の算出が行われる。即ち、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の出力データは、Ｇ画素の画像データとしては使用できないため、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の画素位置におけるＧ画素の画像データを、周囲の複数のＧ画素（この実施形態の場合には、左右方向に隣接するＧ画素を含む複数のＧ画素）の画像データの補間により算出する。算出した画像データは、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の画素位置におけるＧ画素の画像データとする。

　次に、デジタル信号処理部２４は、図１０の（ｂ）に示すように間引き読出しされたＲ、Ｇ、Ｂの画像データ（位相差画素の画素位置のＧ画素は、補間された画像データ）に基づいて、ホワイトバランス補正、ガンマ補正処理、同時化処理、ＹＣ処理等の信号処理を施した動画の生成処理を行う。

　ここで、第１の方向（水平方向）と第２の方向（垂直方向）において、間引き読み出しの割合が異なるために、間引き読み出しされたモザイク画像の第１の方向（水平方向）と第２の方向（垂直方向）とでデータのバランスが合わない場合がある。そのような場合には、間引き読み出しされたモザイク画像に対して一旦同時化処理を行い、その後データを縮小する処理を行う。例えば、第２の方向（垂直方向）に１／４または１／３間引き読み出しを行い第１の方向（水平方向）に全画素読み出しを行った場合は、一旦間引き読み出しによって得られたモザイク画像に対して同時化処理を行い、その後画素データを第１の方向（水平方向）に縮小することを行ってもよい。

　図１０の（ｂ）に示すように間引き後のＲ、Ｇ、Ｂのモザイク画像は、位相差画素の周辺に通常画素のＧ画素が多く配置されるため、位相差画素の補間の精度を高くすることができ、また、水平方向（第１の方向）の全画素ライン上にＲ、Ｇ、Ｂの画素が配置されるため、同時化処理の精度を高くすることができる。また、図１０の（ｂ）に示す１／３間引き（または２／６）読出しのモザイク画像は、垂直方向の画素ライン上でＲ画素とＢ画素とが交互に配置されるため、同時化処理（デモザイク処理）の精度を高くすることができる。

　また、デジタル信号処理部２４は、同時化処理後に垂直方向の画素ラインの画像を、水平方向（第１の方向）の画素ラインの間引き（１／３間引き）読出しと同様に間引き（抽出し）、それぞれ水平方向（第１の方向）及び垂直方向に間引かれた画像（縮小された画像）を生成する。

　デジタル信号処理部２４により生成された動画は、圧縮伸張処理部２６によりモーションJPEG、MPEG(Moving Picture Experts Group)-4などの圧縮された動画データに変換された後、メディアコントローラ５２を介してメモリカード５４に記録される（ステップＳ２６）。

　また、デジタル信号処理部２４は、上記記録用の動画の生成と並行して、液晶モニタ３０に表示する表示用の動画を生成する（ステップＳ２８）。表示用の動画は、液晶モニタ３０の表示サイズに合わせて更に縮小された画像である。生成された表示用の動画は、ビデオエンコーダ２８を介して液晶モニタ３０に出力され、スルー画像として表示される（ステップＳ３０）。

　ユーザは液晶モニタ３０に表示されるスルー画像により動画撮影中の画像を確認することができる。

　次に、ＣＰＵ４０は、操作部３８から動画の撮影終了の指示入力（シャッタボタン２の再度の押下）があったか否かを判別する（ステップＳ３２）。そして、動画の撮影終了の指示入力があった場合（「Yes」の場合）には動画の撮影／記録を終了し、一方、動画の撮影終了の指示入力がない場合（「No」の場合）には、ステップＳ１２に遷移させ、動画の撮影／記録を継続する。

　［位相差画像の第２の配置例］
　図１１は撮像素子１６における位相差画素の第２の配置例と撮像素子１６から画像データを間引き読出しする様子を示す概念図である。

　図１１の（ａ）に示すように撮像素子１６のカラーフィルタ配列は、３×３画素のＡ配列とＢ配列とが水平及び垂直方向に交互に配置されている点で図５に示した基本配列パターンと同じであるが、第１の方向（水平方向）のＡ配列及びＢ配列の４隅のＧフィルタのうちの左上のＧフィルタの位置の画素には、第１の位相差画素ｐ１及び第２の位相差画素ｐ２のうちのいずれか一方の位相差画素のみが配置され、一方、第２の方向（垂直方向）のＡ配列及びＢ配列の４隅のＧフィルタのうちの左上のＧフィルタの位置の画素には、第１の位相差画素ｐ１と第２の位相差画素ｐ２とが交互に配置されている点で図５に示した基本配列パターンと異なる。

　また、上記差異点として、図１１の（ａ）に示されたカラーフィルタ配列は、その基本配列パターン内に４つの位相差画素を持つのに対して、図５に示されたカラーフィルタ配列は位相差画素をその基本配列パターン内に２つ持つ点が挙げられる。

　図１１の（ｂ）に示すように第２方向（垂直方向）に沿って１／３（２／６）間引き読み出しを行う場合には、３×３画素のＡ配列またはＢ配列の番号１に対応する画素ライン（基本配列パターンの番号１、番号４に対応する画素ライン）の画像データが読み出される。

　このようにして得られた図１１の（ｂ）のカラー画像では、位相差画素は、第１の方向（水平方向）には同種の位相差画素が配列され、第２の方向（垂直方向）には第１の位相差画素ｐ１と第２の位相差画素ｐ２とが交互に配列される。また、第２の色は、第２の方向（垂直方向）に連続しないように（図１１の（ｂ）の場合ＢとＲが交互に）配列されている。

　カラーフィルタ配列は、図４等に示した配列に限られず、図１２の（ａ）に示すような配列でもよい。

　図１２の（ａ）に示すカラーフィルタ配列は、基本配列パターンが水平及び垂直方向に繰り返し配置されている点で、図４に示したカラーフィルタ配列と共通している。しかし、図１２の（ａ）に示すカラーフィルタ配列は、基本配列パターンが３×６画素となる点で、図４に示されたカラーフィルタ配列と異なる。

　即ち、図１２の（ａ）に示すカラーフィルタ配列では、水平方向（第１の方向）に同じ種類の配列（例えばＡ配列とＡ配列）が配置され、垂直方向には異なる種類の配列（例えばＡ配列とＢ配列）が配置されているので、基本配列パターンは３×６画素となる。

　また、図１２の（ａ）に示されたカラーフィルタ配列での位相差画素ｐ１及びｐ２の配置は、図５に示されたカラーフィルタ配列での位相差画素ｐ１及びｐ２の配置と異なる。即ち、図１２の（ａ）に示されたカラーフィルタ配列では、Ａ配列の左上に位置するＧフィルタの位置に対応する画素を位相差画素として構成し、水平方向（第１の方向）には同種の位相差画素が配置され、垂直方向には異種の位相差画素が配置される。

　図１２の（ｂ）に示すように、第２の方向（垂直方向）に沿って１／３（２／６）間引き読み出しを行うと、Ａ配列の番号１及びＢ配列の番号３に対応する画素ライン（基本配列パターンの番号１、番号６に対応する画素ライン）の画像データが読み出される。

　図１２の（ｂ）に示すように間引き読出し後のＲ、Ｇ、Ｂのモザイク画像は、第１の方向（水平方向）の全画素ライン上にＲ、Ｇ、Ｂの画素が配置されるため、同時化処理の精度を高くすることができる。また、図１２の（ｂ）に示されたモザイク画像は、垂直方向の画素ライン上でＲ画素とＢ画素とが交互に配置されるため、同時化処理の精度を高くすることができる。

　カラーフィルタ配列は、図４等に示した配列に限られず、更に図１３の（ａ）に示すような配列でもよい。

　図１３の（ａ）に示すカラーフィルタ配列は、４×４画素に対応する正方配列パターンからなる基本配列パターンを含み、この基本配列パターンが水平及び垂直方向に繰り返し配置されている点で、図４等に示したカラーフィルタ配列と共通しているが、基本配列パターン内のＲ、Ｇ、Ｂの各色のフィルタの配置が相違している。

　即ち、図１３の（ａ）に示すカラーフィルタ配列の基本配列パターンを、２×２画素に４分割すると、２×２画素のＡ配列とＢ配列とが、水平、垂直方向に交互に並べられた配列となる。

　Ａ配列は、その２×２画素の全てにＧフィルタが配置されている。一方、Ｂ配列は、その２×２の正方配列の右上がりの対角線上にＢフィルタが２つ配置され、左上がりの対角線上にＲフィルタが２つ配置されている。

　図１３の（ａ）に示された第１の位相差画素ｐ１が２×２画素の上側Ａ配列内の左上のＧフィルタの位置に配置された基本配列パターンを基準に、水平方向（第１の方向）に隣接する基本配列パターンでは、第２の位相差画素ｐ２が２×２画素の上側Ａ配列内の左上のＧフィルタの位置に配置されている。

　また、第１の位相差画素ｐ１が２×２画素の上側Ａ配列内の左上のＧフィルタの位置に配置された基本配列パターンを基準に、垂直方向に隣接する基本配列パターン内では、第２の位相差画素ｐ２が２×２画素の上側Ａ配列内の左下のＧフィルタの位置に配置されている。

　また、図１３の（ａ）に示すように、水平方向（第１の方向）における位相差画素ｐ１と位相差画素ｐ２が繰り返す周期は、基本配列パターン２周期分である。したがって、位相差画素ｐ１と位相差画素ｐ２の繰り返す周期と基本配列パターンの周期は異なる。

　図１３の（ｂ）に示すように、動画撮影時に第２の方向（垂直方向）に沿って１／４間引き読出しした画像データの間引き読出しを行うと、Ａ配列またはＢ配列の番号１及び２に対応する画素ライン（基本配列パターンの番号１及び２に対応する画素ライン）の画像データが読み出される。

　図１３の（ｂ）に示すように間引き読出し後のＲ、Ｇ、Ｂのモザイク画像は、水平方向（第１の方向）の全画素ライン上にＲ、Ｇ、Ｂの画素が配置されるため、同時化処理の精度を高くすることができる。また、図１３の（ｂ）に示されたモザイク画像は、垂直方向の画素ライン上でＲ画素とＢ画素とが交互に配置されるため、同時化処理の精度を高くすることができる。

　以上説明したように本実施形態の撮像装置１０によれば、間引かれたカラー画像を動画処理の対象画像とすることにより、１フレーム当りの処理時間の短縮化を図ることができ、フレームレートが低下しないようにすることができる。また、撮像素子１６から画素を間引き読出しすることにより、撮像素子１６からの画像の読出し時間の短縮化を図ることができる。

　また、取得したカラー画像の少なくともＡＦ領域内には、間引きパターン上であって、第１の方向（水平方向）の画素ライン上の同一の色のフィルタの位置に、第１、第２の位相差画素ｐ１、ｐ２が配置されているため、第１、第２の位相差画素に対応する出力信号を第１の方向及び第２の方向（垂直方向）の２次元で取得することができ、この出力信号に基づいて精度よく各出力信号の位相差を検出することができる。これにより撮像装置１０では、動画の撮影中に精度よく位相差ＡＦを行うことができる。

　更に、第１のフィルタ（Ｇ色のＧフィルタ）及び第２の色の各色（Ｒ色、Ｂ色）に対応する第２のフィルタ（Ｒフィルタ、Ｂフィルタ）のそれぞれは、基本配列パターンＰ、Ｐ’内の第１の方向及び第２の方向の各画素ライン内にそれぞれ１以上配置されているため、間引かずに全画素を用いた撮影（例えば静止画）を行う場合には、その撮影画像（静止画など）での偽色の発生の低減及び高解像度化を図ることができ、また、第１、第２の位相差画素の周辺画素として通常の画素（第１、第２の位相差画素以外の画素）を配置することができ、第１、第２の位相差画素の位置のカラー画素の画素値を、隣接する画素を含む周辺画素の画素値の補間により生成する際に精度よく求めることができる。これにより撮像装置１０では、位相差画素ｐ１，ｐ２による撮影画像の画質の低下を防止し、又は軽減することができる。

　［位相差画像の他の配置例］
　図１４は、図１３に示したカラーフィルタ配列において位相差画素の他の配置例と撮像素子１６から画像データを間引き読出しする様子を示す概念図である。

　図１４の（ａ）に示された位相差画素の他の配置例は、図１３の（ａ）に示した配置例と比較して、図１３の（ａ）上で２×２の上側Ａ配列の左下に配置されていた位相差画素ｐ１及びｐ２が、図１４の（ａ）上では２×２の上側Ａ配列の右下に配置されている点で異なる。

　これにより、図１４の（ａ）に示されるように第１の位相差画素ｐ１と第２の位相差画素ｐ２とは垂直方向に一列に配置されず、交互にずれた位置に配置される。

　図１４の（ｂ）に示すように、第２の方向（垂直方向）に沿って１／４間引き読み出しの場合には、Ａ配列またはＢ配列の番号１及び２に対応する画素ライン（基本配列パターンの番号１、番号２に対応する画素ライン）の画像データを読み出す。また、第１の方向及び第２の方向（垂直方向）に間引き読み出しする場合には、図１４の（ｃ）に示すように、第１の方向（水平方向）に沿って２画素ライン毎に１画素ラインを間引き読み出しする１／２間引き読出しを行い且つ第２の方向（垂直方向）に沿って４画素ライン毎に１画素ラインを間引き読み出しする１／４間引きを行うこともできる。例えば、高解像度の撮影モードでは第２の方向（垂直方向）に沿って１／４間引き読出しを行い、低解像度の撮影モードやライブビュー表示モードでは第１の方向（水平方向）及び第２の方向（垂直方向）に間引き読出しを行ってもよい。

　このようにして間引き読出しされた間引き後のＲ、Ｇ、Ｂのモザイク画像は、図１４の（ｂ）に示したモザイク画像と同様なカラー配列になるが、第１の位相差画素ｐ１と第２の位相差画素ｐ２とが千鳥状（チェッカーフラグ状）に配置され、通常のＧ画素も千鳥状に配置される。これにより、第１の位相差画素ｐ１及び第２の位相差画素ｐ２の画素位置のＧ画素の画像データを補間により算出する際に精度よく算出することができる。

　図１４の（ｃ）示されたように間引き読出し後のＲ、Ｇ、Ｂのモザイク画像は、Ｇ画素及び位相差画素がＲ画素及びＢ画素と第１の方向（水平方向）及び斜め方向で接しているので、同時化精度を高くすることができる。

　以上、撮像素子１６におけるカラーフィルタ配列例、位相差画素の配置例、及び撮像素子１６から画像データを間引き読出しする様子に関して説明をしてきが、間引き読み出された、または間引きパターンにしたがって抽出されるカラー画像において、第２の色は同一の第２の色が連続しないように垂直方向に延びる１画素ライン上に配列されていれば、本発明の所望の効果を得ることができる。

　即ち、図１５の（ａ）に示された間引き読出し後に得られる第２の色であるＲＢが垂直方向に交互に配置されるモザイク画像のように、垂直方向に第２の色の画素が同一種類で連続しないようにすればよい。よって、図１５の（ａ）で示されるようなモザイク画像を得るためには、図１５の（ｂ）で示したように、位相差画素ｐ１の水平方向（第１の方向）に存在する第２の色と位相差画素ｐ２の水平方向（第１の方向）に存在する第２の色とが同一の垂直画素ライン上において異なり（図１５の（ｂ）中の矢印を参照）、且つ位相差画素ｐ１及びｐ２が存在する画素ラインを抽出すればよい。

　［他の実施形態］
　＜Ｒ、Ｇ、Ｂ以外の画素を有する撮像素子の他の実施形態＞
　上記各実施形態では、本発明の第１の色を有する第１のフィルタとしてＧ色のＧフィルタを例に挙げて説明を行ったが、Ｇフィルタの代わりに、あるいはＧフィルタの一部に代えて、下記条件（１）から条件（４）のいずれかを満たすフィルタを用いてもよい。

　＜第１のフィルタ（第１の色）の条件＞
　〔条件（１）〕
　条件（１）は、輝度信号を得るための寄与率が５０％以上であることである。この寄与率５０％は、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定めた値であって、輝度データを得るための寄与率がＲ色、Ｂ色などよりも相対的に高くなる色が「第１の色」に含まれるように定めた値である。

　Ｇ画素の画像信号は、Ｒ画素及びＢ画素の画像信号よりも輝度信号の生成時の寄与率が高い。具体的に説明すると、同時化処理後の、ある画素の輝度信号（Ｙ信号）は、同時化されたＲ、Ｇ、Ｂの画像信号（Ｒ、Ｇ、Ｂ信号）に基づいて、一般に次式により算出される。

　［数１］
　Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ
　この［数１］式ではＧ色の寄与率が６０％になるため、Ｇ色は、Ｒ色（寄与率３０％）やＢ色（寄与率１０％）よりも寄与率が高くなる。したがって、Ｇ色が３原色のうち最も輝度信号に寄与する色となる。

　また、Ｇ色以外の色の寄与率についても実験やシミュレーションにより取得可能である。したがって、Ｇ色以外で寄与率が５０％以上となる色を有するフィルタについても、本発明の第１のフィルタとして用いることができる。尚、寄与率が５０％未満となる色は本発明の第２色（Ｒ色、Ｂ色など）となり、この色を有するフィルタが本発明の第２のフィルタとなる。

　〔条件（２）〕
　条件（２）は、フィルタの透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にあることである。フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この波長範囲は、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるＲ色、Ｂ色などのピークが含まれず、かつ寄与率が相対的に高くなるＧ色などのピークが含まれるように定められた範囲である。したがって、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にあるフィルタを第１のフィルタとして用いることができる。尚、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲外となるフィルタが本発明の第２のフィルタ（Ｒフィルタ、Ｂフィルタ）となる。

　〔条件（３）〕
　条件（３）は、波長５００ｎｍ以上５６０ｎｍ以下の範囲内での透過率が第２のフィルタ（ＲフィルタやＢフィルタ）の透過率よりも高いことである。この条件（３）においても、フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この条件（３）の波長範囲も、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定められた範囲であって、Ｒ色やＢ色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、ＲＢフィルタなどの透過率よりも高くなる範囲である。したがって、透過率が波長５００ｎｍ以上５６０ｎｍ以下の範囲内で相対的に高いフィルタを第１のフィルタとして用い、透過率が相対的に低いフィルタを第２のフィルタとして用いることができる。

　〔条件（４）〕
　条件（４）は、３原色のうち最も輝度信号に寄与する色（例えばＲＧＢのうちのＧ色）と、この３原色とは異なる色とを含む２色以上のフィルタを、第１のフィルタとして用いることである。この場合には、第１のフィルタの各色以外の色に対応するフィルタが第２のフィルタとなる。

　＜透明フィルタ（Ｗフィルタ）＞
　上記の実施形態では、主としてＲＧＢ色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタ（白色画素に対応するＷフィルタ）としてもよい。特に第１のフィルタ（Ｇフィルタ）の一部に代えてＷフィルタＷを配置することが好ましい。このようにＧ画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。

　Ｗフィルタは、透明色（第１の色）のフィルタである。Ｗフィルタは、可視光の波長域に対応する光を透過可能であり、例えばＲＧＢの各色の光の透過率が５０％以上となるフィルタである。Ｗフィルタの透過率は、Ｇフィルタよりも高くなるので、輝度信号を得るための寄与率もＧ色（６０％）よりは高くなり、前述の条件（１）を満たす。

　図１６は、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及び透明フィルタを有する各フォトダイオードの分光感度特性の一例を示すグラフである。

　カラーフィルタ配列（受光素子）の分光感度特性を示す図１６において、Ｗフィルタの透過率のピーク（白色画素の感度のピーク）は、波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。また、Ｗフィルタの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタの透過率よりも高くなる。このため、Ｗフィルタは前述の条件（２）、（３）も満たしている。尚、ＧフィルタについてもＷフィルタと同様に前述の条件（１）～（３）を満たしている。

　このようにＷフィルタは、前述の条件（１）～（３）を満たしているので、本発明の第１のフィルタとして用いることができる。尚、カラーフィルタ配列では、ＲＧＢの３原色のうち最も輝度信号に寄与するＧ色に対応するＧフィルタの一部をＷフィルタに置き換えているので、前述の条件（４）も満たしている。

　＜複数種類の第１のフィルタ（Ｇフィルタ）＞
　第１のフィルタとしてのＧ色のＧフィルタは一種類に限定されるものではなく、例えば複数種類のＧフィルタを第１のフィルタとして用いることもできる。即ち、上記の各実施形態に係るカラーフィルタ（基本配列パターン）のＧフィルタが、Ｇ１フィルタ、Ｇ２フィルタに適宜置き換えられてもよい。

　図１７は、Ｒフィルタ、Ｇ１フィルタ、Ｇ２フィルタ及びＢフィルタを有する各フォトダイオードの分光感度特性の一例を示すグラフである。Ｇ１フィルタは第１の波長帯域のＧ光を透過し、Ｇ２フィルタはＧ１フィルタと相関の高い第２の波長帯域のＧ光を透過する。

　Ｇ１フィルタとしては、現存のＧフィルタ（例えば第１実施形態のＧフィルタ）を用いることができる。また、Ｇ２フィルタとしては、Ｇ１フィルタと相関の高いフィルタを用いることができる。この場合に、Ｇ２フィルタが配置される受光素子の分光感度曲線のピーク値は、例えば波長５００ｎｍから５３５ｎｍの範囲（現存のＧフィルタが配置される受光素子の分光感度曲線のピーク値の近傍）にあることが望ましい。尚、４色（Ｒ、Ｇ１、Ｇ２、Ｂ）のカラーフィルタを決定する方法は、例えば特開２００３－２８４０８４号に記載されている方法が用いられる。

　このようにカラー撮像素子により取得される画像の色を４種類とし、取得される色情報を増やすことにより、３種類の色（ＲＧＢ）のみが取得される場合と較べて、より正確に色を表現することができる。即ち、眼で違うものに見える色は違う色に、同じものに見える色は同じ色にそれぞれ再現すること（「色の判別性」を向上させること）ができる。

　尚、Ｇ１及びＧ２フィルタの透過率は、第１実施形態のＧフィルタの透過率と基本的には同じであるので、輝度信号を得るための寄与率は５０％よりは高くなる。したがって、Ｇ１及びＧ２フィルタは前述の条件（１）を満たす。

　また、カラーフィルタ配列（受光素子）の分光感度特性を示す図１７において、Ｇ１、Ｇ２フィルタの透過率のピーク（各Ｇ画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。Ｇ１、Ｇ２フィルタの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタの透過率よりも高くなる。このため、Ｇ１、Ｇ２フィルタは前述の条件（２）、（３）も満たしている。

　尚、Ｇ１、Ｇ２フィルタの配置や個数は適宜変更してもよい。また、Ｇフィルタの種類を３種類以上に増加してもよい。

　＜エメラルドフィルタ（Ｅフィルタ）＞
　上記の実施形態では、主としてＲＧＢ色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を他の色フィルタとしてもよく、例えばエメラルド（Ｅ）色に対応するフィルタ（Ｅ画素に対応するＥフィルタ）としてもよい。特に第１のフィルタ（Ｇフィルタ）の一部に代えてＥフィルタを配置することが好ましい。このようにＧフィルタの一部をＥフィルタで置き換えた４色のカラーフィルタ配列を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。

　図１８は、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及びＥフィルタを有する各フォトダイオードの分光感度特性の一例を示すグラフである。

　カラーフィルタ配列（受光素子）の分光感度特性を示す図１８において、Ｅフィルタの透過率のピーク（Ｅ画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。また、Ｅフィルタの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタの透過率よりも高くなる。このため、Ｅフィルタは前述の条件（２）、（３）を満たしている。また、カラーフィルタ配列では、ＲＧＢの３原色のうち最も輝度信号に寄与するＧ色に対応するＧフィルタの一部をＥフィルタに置き換えているので、前述の条件（４）も満たしている。

　尚、図１８に示した分光特性では、ＥフィルタがＧフィルタよりも短波長側にピークを持つが、Ｇフィルタよりも長波長側にピークを持つ（少し黄色よりの色に見える）場合もある。このようにＥフィルタとしては、本発明の各条件を満たすものを選択可能であり、例えば、条件（１）を満たすようなエメラルドフィルタＥを選択することもできる。

　＜他の色の種類＞
　上記の各実施形態では、原色ＲＧＢのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件（１）～（４）のいずれかを満たすカラーフィルタを本発明の第１のフィルタとし、他のカラーフィルタを第２のフィルタとする。

　また、撮像装置１０の他の実施形態としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

　＜スマートフォンの構成＞
　図１９は、撮像装置１０の他の実施形態であるスマートフォン５００の外観を示すものである。図１９に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

　図２０は、図１９に示すスマートフォン５００の構成を示すブロック図である。図２０に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

　無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

　表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。　

　表示パネル５２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一または複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

　図１９に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

　尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

　通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力したりするものである。また、図１９に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。

　操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１９に示すように、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

　記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

　外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）またはネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的または間接的に接続するためのものである。

　スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

　ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、GPS衛星ＳＴ１～ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

　電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

　主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

　アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能、本発明に係る２Ｄ画像から３Ｄ画像を生成する機能などがある。

　また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

　更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

　表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

　更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部５４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子１６を用いて電子撮影するデジタルカメラであり、図３のブロック図に示した機能と同等の機能を備えている。ここで、カメラ部５４１における撮像素子のカラーフィルタ配列、位相差画素の配列等は撮像装置１０と同様の態様を用いることができ、そのようなカラーフィルタ配列の下での画像処理・制御処理（間引き読み出しや位相差検出、焦点調節等）も撮像装置１０について上述したのと同様におこなうことができる。また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力したりすることができる。図１９に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影したりすることもできる。

　また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

　上述した構成のスマートフォン５００によれば、撮像装置１０と同様に動画の撮影中に精度よく位相差ＡＦを行うことができ、かつ位相差画素による撮影画像の画質の低下を防止し、又は軽減することができる。

　［その他］
　本発明の実施形態では、動画撮影時に撮像素子１６から間引きパターンにしたがって直接画素信号を間引き読出しするようにしたが、これに限らず、撮像素子１６から全画素の画像を読み出しし、読み出した画像から間引きパターンにしたがって画素信号を抽出し、位相差画素を含む所定のカラー配列のカラー画像を取得するようにしてもよい。この場合でも同時化処理を含む信号処理の対象画像の画像サイズを小さくすることができるため、動画の処理時間の短縮化を図ることができる。尚、間引きパターンにしたがった画素信号を抽出する方法としては、周辺の複数の同色画素の出力信号を加算または混合する画素混合処理により、間引きパターンにしたがった画素信号を抽出するようにしても良い。特に、撮像素子において読み出した直後に画素混合処理を行うことで動画の処理時間をより短縮することが可能である。

　また、本発明に適用される撮像素子１６のカラーフィルタ配列は、図４に示したものに限らず、例えば、図４に示した基本配列パターン内の３×３画素のＡ配列、またはＢ配列のみが垂直方向及び垂直方向に繰り返し配置さえたカラーフィルタ配列を有するものでもよく、要はＭ×Ｎ画素（Ｍ、Ｎ：３以上の整数）の基本配列パターンが繰り返し配置されたカラーフィルタ配列であり、第１の色（この実施形態では、Ｇフィルタ、Ｗフィルタ、Ｇ１フィルタ、Ｇ２フィルタ、Ｅフィルタ）に対応する第１のフィルタ及び第２の色（この実施形態では、Ｒフィルタ、Ｂフィルタ）が、基本配列パターン内の第１の方向及び第２の方向（垂直方向）の各画素ライン内にそれぞれ１以上配置されるものであればよい。尚、基本配列パターンのサイズ（Ｍ×Ｎ画素）は、他の画素数に対応する配列パターンで配列させてもよいが、基本配列パターンの画素数が増加すると同時化等の信号処理が複雑化するのに対し、基本配列パターンのサイズを大きくすることによる格別な効果が得られない。したがって、信号処理の複雑化を防止する観点からは、基本配列パターンのサイズは大きすぎない１０×１０画素以下が好ましく、最小の基本配列パターンは３×３画素にすることが好ましい。また、第２の色に対応するフィルタは、Ｒフィルタ、Ｂフィルタ以外の色のフィルタを含んでいてもよい。

　また、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）の補色系のカラーフィルタや、補色系のカラーフィルタに更に他の色のフィルタが追加されたカラーフィルタ配列を有する撮像素子にも本発明は適用できる。

　更に、位相差画素の配置位置は本実施形態に限定されず、動画撮影時に間引き読出しされる画素ライン上に配置されていればよい。

　また、本発明に適用される撮像素子としては、図４等に示したように複数の画素及びカラーフィルタが水平方向（第１の方向）及び垂直方向に正方格子状に配列されたものに限らず、斜め格子状に配列されたもの（具体的には、図４等に示したカラーフィルタ配列を４５°回転したもの）であってもよい。この場合、基本配列パターンも斜め格子状の配列パターンになる。

　本発明は上記した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

　１０…撮像装置、１２…撮影レンズ、１４…絞り、１５…メカシャッタ、１６…撮像素子、２４…デジタル信号処理部、３０…液晶モニタ、３２…センサ駆動部、３３…シャッタ駆動部、３４…絞り駆動部、３６…レンズ駆動部、４０…中央処理装置（ＣＰＵ）、４２…ＡＦ処理部、４７…ＲＯＭ（ＥＥＰＲＯＭ）、４８…メモリ、５００…スマートフォン

Claims

　撮影レンズと、
　第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、
　前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、
　前記間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、
　前記間引かれたカラー画像中に含まれる前記第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、
　前記位相差検出手段により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節手段と、を備え、
　前記所定のカラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が前記第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有し、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置され、
　前記第１のフィルタ及び前記第２の色の各色に対応する前記第２のフィルタのそれぞれは、前記基本配列パターン内の前記第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置され、
　前記間引かれたカラー画像における前記第２の色は、同一の前記第２の色が連続しないように前記第２の方向に延びる１ライン上に配列され、
　前記第１、第２の位相差画素は、前記撮像素子の焦点検出領域内の前記間引きパターン上であって、前記第１の方向の画素ライン上の同一の色のフィルタの位置に配置される撮像装置。
　撮影レンズと、
　第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、
　前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、
　前記間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、
　前記間引かれたカラー画像中に含まれる前記第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、
　前記位相差検出手段により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節手段と、を備え、
　前記所定のカラーフィルタ配列は、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある１色以上の第１の色に対応する第１のフィルタと、透過率のピークが前記範囲外にある２色以上の第２の色に対応する第２のフィルタとを有し、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置され、
　前記第１のフィルタ及び前記第２の色の各色に対応する前記第２のフィルタのそれぞれは、前記基本配列パターン内の前記第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置され、
　前記間引かれたカラー画像における前記第２の色は、同一の前記第２の色が連続しないように前記第２の方向に延びる１ライン上に配列され、
　前記第１、第２の位相差画素は、前記撮像素子の焦点検出領域内の前記間引きパターン上であって、前記第１の方向の画素ライン上の同一の色のフィルタの位置に配置される撮像装置。
　撮影レンズと、
　第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、
　前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、
　前記間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、
　前記間引かれたカラー画像中に含まれる前記第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、
　前記位相差検出手段により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節手段と、を備え、
　前記所定のカラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、波長５００ｎｍ以上５６０ｎｍ以下の範囲内で透過率が前記第１のフィルタよりも低くなる２色以上の第２の色に対応する第２のフィルタとを有し、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置され、
　前記第１のフィルタ及び前記第２の色の各色に対応する前記第２のフィルタのそれぞれは、前記基本配列パターン内の前記第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置され、
　前記間引かれたカラー画像における前記第２の色は、同一の前記第２の色が連続しないように前記第２の方向に延びる１ライン上に配列され、
　前記第１、第２の位相差画素は、前記撮像素子の焦点検出領域内の前記間引きパターン上であって、前記第１の方向の画素ライン上の同一の色のフィルタの位置に配置される撮像装置。
　撮影レンズと、
　第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、
　前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、
　前記間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、
　前記間引かれたカラー画像中に含まれる前記第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、
　前記位相差検出手段により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節手段と、を備え、
　前記所定のカラーフィルタ配列は、３原色のうち最も輝度信号に寄与する色と前記３原色とは異なる色の第４色とを含む２色以上の第１の色に対応する第１のフィルタと、前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとを有し、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置され、
　前記第１のフィルタ及び前記第２の色の各色に対応する前記第２のフィルタのそれぞれは、前記基本配列パターン内の前記第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置され、
　前記間引かれたカラー画像における前記第２の色は、同一の前記第２の色が連続しないように前記第２の方向に延びる１ライン上に配列され、
　前記第１、第２の位相差画素は、前記撮像素子の焦点検出領域内の前記間引きパターン上であって、前記第１の方向の画素ライン上の同一の色のフィルタの位置に配置される撮像装置。
　前記間引かれたカラー画像は、前記第１、第２の位相差画素に隣接して該第１、第２の位相差画素の位置における画素の色と同じ色の画素が配置され、
　前記間引かれたカラー画像中の第１、第２の位相差画素の位置における画素の画素値を、前記第１、第２の位相差画素に隣接する同じ色の画素を含む周辺画素の画素値を補間して算出する補間演算手段を備え、
　前記動画生成手段は、前記間引かれたカラー画像中の前記第１、第２の位相差画素の位置における画素の画素値として前記補間演算手段により算出された値を使用したカラー画像に基づいて動画データ生成する請求項１から４のいずれか１項に記載の撮像装置。
　前記間引かれたカラー画像は、前記第１の色の画素が前記第２の方向に配列され、かつ前記第２の色の各色の画素がそれぞれ前記第２の方向に配列されて構成される請求項１から５のいずれか１項に記載の撮像装置。
　前記第１のフィルタに対応する第１の色の全画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きく、
　前記第１、第２の位相差画素は、前記第１のフィルタの位置に配置される請求項１から６のいずれか１項に記載の撮像装置。
　前記第１のフィルタは、Ｍ×Ｎ画素（Ｍ、Ｎ：３以上の整数）内に複数配置され、該Ｍ×Ｎ画素が前記第１、第２の方向に繰り返し配置される請求項１から７のいずれか１項に記載の撮像装置。
　前記第１、第２の位相差画素のうちの一方の位相差画素が、前記Ｍ×Ｎ画素内に１又は２つ配置される請求項８に記載の撮像装置。
　前記第１、第２の位相差画素は、前記第２の方向に前記第１、第２の位相差画素が一対となって配置される請求項９に記載の撮像装置。
　前記第１、第２の位相差画素は、前記第１の方向の１画素ライン上に交互に配置される請求項９又は１０に記載の撮像装置。
　前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色であり、
　前記カラーフィルタは、前記Ｒ、Ｇ、Ｂの色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、
　前記カラーフィルタ配列は、２×２画素に対応する第１の配列であって、前記Ｇフィルタが４配置された第１の配列と、２×２画素に対応する第２の配列であって、前記第２の配列の一方の対角線上に前記Ｂフィルタが配置され、他方の対角線上に前記Ｒフィルタが配置された第２の配列とが、それぞれ対角位置に配置されて構成され、
　前記第１、第２の配列内の前記Ｇフィルタを有する画素のうちの１つの画素が、前記第１、第２の位相差画素のうちの一方の位相差画素として構成される請求項１から１１のいずれか１項に記載の撮像装置。
　前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色であり、
　前記カラーフィルタは、前記Ｒ、Ｇ、Ｂの色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、
　前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅に前記Ｇフィルタが配置され、中心の前記Ｇフィルタを挟んで上下に前記Ｂフィルタが配置され、左右に前記Ｒフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅に前記Ｇフィルタが配置され、中心の前記Ｇフィルタを挟んで上下に前記Ｒフィルタが配置され、左右に前記Ｂフィルタが配列された第２の配列とが、それぞれ対角位置に、又は前記第１の方向に同じ配列が配置され且つ第２の方向に異なる配列が配置されて構成され、
　前記第１、第２の配列内の前記Ｇフィルタを有する画素のうちの１つの画素が、前記第１、第２の位相差画素のうちの一方の位相差画素として構成される請求項１から１１のいずれか１項に記載の撮像装置。
　前記第１、第２の位相差画素として構成された前記Ｇフィルタを有する画素に替えて、透明フィルタを有する画素を使用する請求項１２から１３のいずれか１項に記載の撮像装置。
　前記第１の方向における前記基本配列パターンの周期と、前記第１の方向における前記第１、第２の位相差画素が配置される周期が異なる請求項１から１４のいずれか１項に記載の撮像装置。
　撮影レンズと、
　第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、
　を備えた撮像装置における画像処理方法であって、
　前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、
　前記間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、
　前記間引かれたカラー画像中に含まれる前記第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、
　前記位相差検出工程により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節工程であって、前記動画生成工程による動画の生成と並行して前記撮影レンズの焦点位置を調節する焦点調節工程と、を含み、
　前記所定のカラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が前記第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有し、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置され、
　前記第１のフィルタ及び前記第２の色の各色に対応する前記第２のフィルタのそれぞれは、前記基本配列パターン内の前記第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置され、
　前記間引かれたカラー画像における第２の色は、同一の色が連続しないように第２の方向に延びる１ライン上に配列され、
　前記第１、第２の位相差画素は、前記撮像素子の焦点検出領域内の前記間引きパターン上であって、前記第１の方向の画素ライン上の同一の色のフィルタの位置に配置される画像処理方法。
　撮影レンズと、
　第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、
　を備えた撮像装置における画像処理方法であって、
　前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、
　前記間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、
　前記間引かれたカラー画像中に含まれる前記第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、
　前記位相差検出工程により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節工程であって、前記動画生成工程による動画の生成と並行して前記撮影レンズの焦点位置を調節する焦点調節工程と、を含み、
　前記所定のカラーフィルタ配列は、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある１色以上の第１の色に対応する第１のフィルタと、透過率のピークが前記範囲外にある２色以上の第２の色に対応する第２のフィルタとを有し、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置され、
　前記第１のフィルタ及び前記第２の色の各色に対応する前記第２のフィルタのそれぞれは、前記基本配列パターン内の前記第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置され、
　前記間引かれたカラー画像における第２の色は、同一の色が連続しないように第２の方向に延びる１ライン上に配列され、
　前記第１、第２の位相差画素は、前記撮像素子の焦点検出領域内の前記間引きパターン上であって、前記第１の方向の画素ライン上の同一の色のフィルタの位置に配置される画像処理方法。
　撮影レンズと、
　第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、
　を備えた撮像装置における画像処理方法であって、
　前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、
　前記間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、
　前記間引かれたカラー画像中に含まれる前記第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、
　前記位相差検出工程により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節工程であって、前記動画生成工程による動画の生成と並行して前記撮影レンズの焦点位置を調節する焦点調節工程と、を含み、
　前記所定のカラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、波長５００ｎｍ以上５６０ｎｍ以下の範囲内で透過率が前記第１のフィルタよりも低くなる２色以上の第２の色に対応する第２のフィルタとを有し、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置され、
　前記第１のフィルタ及び前記第２の色の各色に対応する前記第２のフィルタのそれぞれは、前記基本配列パターン内の前記第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置され、
　前記間引かれたカラー画像における第２の色は、同一の色が連続しないように第２の方向に延びる１ライン上に配列され、
　前記第１、第２の位相差画素は、前記撮像素子の焦点検出領域内の前記間引きパターン上であって、前記第１の方向の画素ライン上の同一の色のフィルタの位置に配置される画像処理方法。
　撮影レンズと、
　第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１、第２の位相差画素を含む撮像素子と、
　を備えた撮像装置における画像処理方法であって、
　前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、
　前記間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、
　前記間引かれたカラー画像中に含まれる前記第１、第２の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、
　前記位相差検出工程により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節工程であって、前記動画生成工程による動画の生成と並行して前記撮影レンズの焦点位置を調節する焦点調節工程と、を含み、
　前記所定のカラーフィルタ配列は、３原色のうち最も輝度信号に寄与する色と前記３原色とは異なる色の第４色とを含む２色以上の第１の色に対応する第１のフィルタと、前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとを有し、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置され、
　前記第１のフィルタ及び前記第２の色の各色に対応する前記第２のフィルタのそれぞれは、前記基本配列パターン内の前記第１の方向及び第２の方向の各ライン内にそれぞれ１以上配置され、
　前記間引かれたカラー画像における第２の色は、同一の色が連続しないように第２の方向に延びる１ライン上に配列され、
　前記第１、第２の位相差画素は、前記撮像素子の焦点検出領域内の前記間引きパターン上であって、前記第１の方向の画素ライン上の同一の色のフィルタの位置に配置される画像処理方法。