以下、添付図面に従って本発明に係る撮像装置の実施形態の一例について説明する。
[第1実施形態]
図1は、第1実施形態に係る撮像装置100の外観の一例を示す斜視図であり、図2は、図1に示す撮像装置100の背面図である。
撮像装置100は、レンズ交換式カメラである。撮像装置100は、撮像装置本体200と、撮像装置本体200に交換可能に装着される交換レンズ300と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ300は、手動操作により光軸方向に移動可能なフォーカスレンズ302を有する撮影レンズ16(図3参照)を含む。また、撮像装置本体200には、ハイブリッドファインダー(登録商標)220が設けられている。ここで言うハイブリッドファインダー220とは、例えば光学ビューファインダー(以下、「OVF」という)及び電子ビューファインダー(以下、「EVF」という)が選択的に使用されるファインダーを指す。
交換レンズ300は、撮像装置本体200に対して交換可能に装着される。また、交換レンズ300の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング301が設けられている。フォーカスリング301の手動による回転操作に伴ってフォーカスレンズ302は、光軸方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子20(図3参照)に被写体光が結像される。
撮像装置本体200の前面には、ハイブリッドファインダー220に含まれるOVFのファインダー窓241が設けられている。また、撮像装置本体200の前面には、ファインダー切替えレバー(ファインダー切替え部)214が設けられている。ファインダー切替えレバー214を矢印SW方向に回動させると、OVFで視認可能な光学像とEVFで視認可能な電子像(ライブビュー画像)との間で切り換わるようになっている(後述)。なお、OVFの光軸L2は、交換レンズ300の光軸L1とは異なる光軸である。また、撮像装置本体200の上面には、主としてレリーズボタン211及び撮影モードや再生モード等の設定用のダイヤル212が設けられている。
撮影準備指示部及び撮影指示部としてのレリーズボタン211は、撮影準備指示状態と撮影指示状態との2段階の押圧操作が検出可能に構成されている。撮影準備指示状態とは、例えば待機位置から中間位置(半押し位置)まで押下される状態を指し、撮影指示状態とは、中間位置を超えた最終押下位置(全押し位置)まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
本第1実施形態に係る撮像装置100では、動作モードとして撮影モードと再生モードとがユーザの指示に応じて選択的に設定される。撮影モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン211を半押し状態にすることにより撮影条件の調整が行われ、その後、引き続き全押し状態にすると露光(撮影)が行われる。つまり、レリーズボタン211を半押し状態にすることによりAE(Automatic Exposure)機能が働いて露出状態が設定された後、AF(Auto-Focus)機能が働いて合焦制御され、レリーズボタン211を全押し状態にすると撮影が行われる。
図2に示す撮像装置本体200の背面には、タッチパネル・ディスプレイ213、十字キー222、MENU/OKキー224、BACK/DISPボタン225、及びOVFのファインダー接眼部242が設けられている。
タッチパネル・ディスプレイ213は、液晶ディスプレイ(以下、「第1ディスプレイ」という)215及びタッチパネル216を備えている。
第1ディスプレイ215は、画像及び文字情報等を表示する。第1ディスプレイ215は、撮影モード時に連続フレームで撮影されて得られた連続フレーム画像の一例であるライブビュー画像(スルー画像)の表示に用いられる。また、第1ディスプレイ215は、静止画撮影の指示が与えられた場合に単一フレームで撮影されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、第1ディスプレイ215は、再生モード時の再生画像の表示やメニュー画面等の表示にも用いられる。
タッチパネル216は、透過型のタッチパネルであり、第1ディスプレイ215の表示領域の表面に重ねられている。タッチパネル216は、指示体(例えば、指又はスタイラスペン)による接触を検知する。タッチパネル216は、検知結果(タッチパネル216に対する指示体による接触の有無)を示す検知結果情報を所定周期(例えば100ミリ秒)で所定の出力先(例えば、後述のCPU12(図3参照))に出力する。検知結果情報は、タッチパネル216が指示体による接触を検知した場合、タッチパネル216上の指示体による接触位置を特定可能な二次元座標(以下、「座標」という)を含み、タッチパネル216が指示体による接触を検知していない場合、座標を含まない。
十字キー222は、1つ又は複数のメニューの選択、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。MENU/OKキー224は、第1ディスプレイ215の画面上に1つ又は複数のメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作キーである。BACK/DISPボタン225は、選択項目など所望の対象の消去や指定内容の取消し、あるいは1つ前の操作状態に戻すときなどに使用される。
図3は、第1実施形態に係る撮像装置100のハードウェア構成の一例を示す電気系ブロック図である。
撮像装置100は、撮像装置本体200に備えられたマウント256と、マウント256に対応する交換レンズ300側のマウント346と、を含む。交換レンズ300は、マウント256にマウント346が結合されることにより撮像装置本体200に交換可能に装着される。
交換レンズ300は、スライド機構303及びモータ304を含む。スライド機構303は、フォーカスリング301の操作が行われることでフォーカスレンズ302を光軸L1に沿って移動させる。スライド機構303には光軸L1に沿ってスライド可能にフォーカスレンズ302が取り付けられている。また、スライド機構303にはモータ304が接続されており、スライド機構303は、モータ304の動力を受けてフォーカスレンズ302を光軸L1に沿ってスライドさせる。
モータ304は、マウント256,346を介して撮像装置本体200に接続されており、撮像装置本体200からの命令に従って駆動が制御される。なお、本第1実施形態では、モータ304の一例として、ステッピングモータを適用している。従って、モータ304は、撮像装置本体200からの命令によりパルス電力に同期して動作する。また、図3に示す例では、モータ304が交換レンズ300に設けられている例が示されているが、これに限らず、モータ304は撮像装置本体200に設けられていてもよい。
撮像装置100は、撮影した静止画像や動画像を記録するデジタルカメラであり、カメラ全体の動作は、CPU(central processing unit:中央処理装置)12によって制御されている。撮像装置100は、操作部14、インタフェース部24、一次記憶部25、二次記憶部26、画像処理部28、スピーカ35、表示制御部36、接眼検出部37、及び外部インタフェース(I/F)39を含む。
CPU12、操作部14、インタフェース部24、一次記憶部25、二次記憶部26、画像処理部28、スピーカ35、表示制御部36、接眼検出部37、外部I/F39、及びタッチパネル216は、バス40を介して相互に接続されている。
一次記憶部25とは、揮発性のメモリを意味し、例えばRAM(Random Access Memory)を指す。二次記憶部26とは、不揮発性のメモリを意味し、例えばフラッシュメモリやHDD(Hard Disk Drive)を指す。
なお、本第1実施形態に係る撮像装置100では、オートフォーカスモード時に、CPU12が、撮像によって得られた画像のコントラスト値が最大となるようにモータ304を駆動制御することによって合焦制御を行う。また、オートフォーカスモード時に、CPU12は、撮像によって得られた画像の明るさを示す物理量であるAE情報を算出する。CPU12は、レリーズボタン211が半押し状態とされたときには、AE情報により示される画像の明るさに応じたシャッタスピード及びF値を導出する。そして、導出したシャッタスピード及びF値となるように関係各部を制御することによって露出状態の設定を行う。
操作部14は、撮像装置100に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部14は、レリーズボタン211、撮影モード等を選択するダイヤル212、ファインダー切替えレバー214、十字キー222、MENU/OKキー224及びBACK/DISPボタン225を含む。操作部14によって受け付けられた各種指示は操作信号としてCPU12に出力され、CPU12は、操作部14から入力された操作信号に応じた処理を実行する。
撮像装置本体200は、位置検出部23を含む。位置検出部23は、CPU12に接続されている。位置検出部23は、マウント256,346を介してフォーカスリング301に接続されており、フォーカスリング301の回転角度を検出し、検出結果である回転角度を示す回転角度情報をCPU12に出力する。CPU12は、位置検出部23から入力された回転角度情報に応じた処理を実行する。
撮影モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズ302を含む撮影レンズ16及びシャッタ18を介してカラーの撮像素子(一例としてCMOSセンサ)20の受光面に結像される。撮像素子20に蓄積された信号電荷は、デバイス制御部22から加えられる読出し信号によって信号電荷(電圧)に応じたデジタル信号として順次読み出される。撮像素子20は、いわゆる電子シャッタ機能を有しており、電子シャッタ機能を働かせることで、読出し信号のタイミングによって各フォトセンサの電荷蓄積時間(シャッタスピード)を制御する。なお、本第1実施形態に係る撮像素子20は、CMOS型のイメージセンサであるが、これに限らず、CCDイメージセンサでもよい。
撮像素子20は、一例として図4に示すカラーフィルタ21を備えている。カラーフィルタ21は、輝度信号を得るために最も寄与するG(緑)に対応するGフィルタG、R(赤)に対応するRフィルタR、及びB(青)に対応するBフィルタを含む。図5に示す例では、撮像素子20の画素数の一例として“4896×3265”画素を採用しており、これらの画素に対してGフィルタ、Rフィルタ及びBフィルタが行方向(水平方向)及び列方向(垂直方向)の各々に所定の周期性で配置されている。そのため、撮像装置100は、R,G,B信号の同時化(補間)処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理を指す。例えば、RGB3色のカラーフィルタからなる撮像素子の場合、同時化処理とは、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する処理を意味する。
一例として図5に示すように、撮像素子20は、後述する第1の画素L、第2の画素R、及び通常画素Nを含む。第1の画素L、第2の画素R、及び通常画素Nの各々にはマイクロレンズ19が設けられており、マイクロレンズ19を透過した光は、第1の画素L、第2の画素R、及び通常画素Nによって受光されて光電変換される。撮像素子20の各画素には、カラーフィルタ21に含まれる“R”、“G”及び“B”の何れかのフィルタが割り当てられている。なお、図5に示す例において、画素内の“R”とはRフィルタを指し、画素内のG”とはGフィルタを指し、画素内の“B”とはBフィルタを指す。
撮像素子20は、第1の画素行150、第2の画素行152、及び第3の画素行154を含む。第1の画素行150は、同一行内に第1の画素L、第2の画素R、及び通常画素Nを含む。第1の画素L及び第2の画素Rは、Gフィルタに対して第1の画素L及び第2の画素Rが割り当てられるように、行方向に複数の通常画素N(図5に示す例では2個の通常画素N)を介在させて交互に配置されている。第2の画素行152は、第1の画素行150と比べ、第1の画素Lと第2の画素Rの位置が逆になっている点が異なる。第3の画素行154とは、行内の全画素が通常画素Nの行を指す。第1の画素行150及び第2の画素行152は、列方向に複数行の第3の画素行154(本第1実施形態では、一例として、列方向に所定周期で行数が異なる第3の画素行154)を介在させて交互に配置されている。
このように第1の画素行150、第2の画素行152、及び第3の画素行154が所定規則に従って配置されることで、撮像素子20では、行方向及び列方向の各々において第1の画素Lと第2の画素Rとが交互に配置される。本第1実施形態では、行方向において第1の画素L及び第2の画素Rの各々が6画素につき1画素ずつ配置され、列方向においても第1の画素L及び第2の画素Rの各々が6画素につき1画素ずつ配置される。
第1の画素Lは、一例として図6に示すように、遮光部材20Aによって受光面における行方向の左半分(受光面から被写体を臨む場合の左側(換言すると、被写体から受光面を臨む場合の右側))が遮光された画素である。第2の画素Rは、一例として図6に示すように、遮光部材20Bによって受光面における行方向の右半分(受光面から被写体を臨む場合の右側(換言すると、被写体から受光面を臨む場合の左側))が遮光された画素である。なお、以下では、第1の画素L及び第2の画素Rを区別して説明する必要がない場合は「位相差画素」と称する。
撮影レンズ16の射出瞳を通過する光束は、左領域通過光及び右領域通過光に大別される。左領域通過光とは、撮影レンズ16の射出瞳を通過する光束のうちの左半分の光束を指し、右領域通過光とは、撮影レンズ16の射出瞳を通過する光束のうちの右半分の光束を指す。撮影レンズ16の射出瞳を通過する光束は、瞳分割部として機能するマイクロレンズ19及び遮光部材20A,20Bにより左右に分割され、第1の画素Lが左領域通過光を受光し、第2の画素Rが右領域通過光を受光する。この結果、左領域通過光に対応する被写体像及び右領域通過光に対応する被写体像は、視差が異なる視差画像(左領域通過光に対応する被写体像に相当する左の視差画像、及び右領域通過光に対応する被写体像に相当する右の視差画像)として取得される。なお、以下では、遮光部材20A,20Bを区別して説明する必要がない場合は符号を付さずに「遮光部材」と称する。
撮像素子20は、第1の画素群、第2の画素群及び第3の画素群に分類される。第1の画素群とは、一例として図5に示すように、行列状に配置された複数の第1の画素Lを指す。第2の画素群とは、一例として図5に示すように、行列状に配置された複数の第2の画素Rを指す。第3の画素群とは、一例として図5に示す複数の通常画素Nを指す。ここで、通常画素Nとは、位相差画素以外の画素(例えば遮光部材20A,20Bが設けられていない画素)を指す。なお、以下では、第1〜第3の画素群を区別して説明する必要がない場合、「画素群」と称する。
また、以下では、説明の便宜上、各第1の画素Lから画素単位で出力される画素信号を「第1の画素信号」と称する。各第2の画素Rから画素単位で出力される画素信号を「第2の画素信号」と称する。また、各通常画素Nから画素単位で出力される画素信号を「第3の画素信号」と称する。また、第1〜第3の画素信号を区別して説明する必要がない場合、「画素信号」と称する。
また、以下では、説明の便宜上、第1の画素群から画素群単位(1画面単位)で出力され、左の視差画像(以下、「左眼画像」と称する)を示す画像信号を「第1の画像信号」と称する。また、第2の画素群から画素群単位で出力され、右の視差画像(以下、「右眼画像」と称する)を示す画像信号を「第2の画像信号」と称する。また、第3の画素群から出力される非視差画像(視差を有しない画像)を示す画像信号を「第3の画像信号」と称する。また、第1〜第3の画像信号を区別して説明する必要がない場合、「画像信号」と称する。
撮像素子20によって同一の撮影タイミングで得られた第1の画像信号、第2の画像信号、及び第3の画像信号(1画面分の画像信号)は、同一のタイミングで画像処理部28によって取得される。
画像処理部28は、取得した画像信号に対して各種の信号処理を施す。画像処理部28は、各種の信号処理に係る複数の機能の回路を1つにまとめた集積回路であるASIC(Application Specific Integrated Circuit)により実現される。但し、ハードウェア構成はこれに限定されるものではなく、例えばプログラマブルロジックデバイスであってもよいし、CPU、ROM及びRAMを含むコンピュータなどの他のハードウェア構成であってもよい。
画像処理部28は、通常画像生成部28A(本発明に係る生成部の一例)、スプリットイメージ生成部28B(本発明に係る生成部の一例)、及び制御部28C(本発明に係る制御部の一例)を有する。通常画像生成部28Aは、第3の画像信号を取得し、取得した第3の画像信号に基づく通常画像(本発明に係る第3の画像の一例)を生成する。通常画像は有彩色の画像であり、例えば、通常画素Nの配列と同じカラー配列のカラー画像である。
通常画像は、第3の画素群に含まれる全ての通常画素Nについて、対応する色以外の色の第3の画素信号が周囲の画素の第3の画素信号で補間されて、全ての通常画素NのR,G,Bの第3の画素信号に基づいて生成される。すなわち、全ての通常画素NのR,G,Bの第3の画素信号に対して所謂YC変換処理が施されることで輝度信号Y及び色差信号Cr,Cbが生成され、生成された輝度信号Y及び色差信号Cr,Cbに基づいて画面サイズに応じたサイズの通常画像が生成される。
スプリットイメージ生成部28Bは、第1及び第2の画像信号を取得し、取得した第1の画像信号及び第2の画像信号に基づいて、合焦確認に使用する画像として無彩色のスプリットイメージ(本発明に係る無彩色画像の一例)を生成する。ここでは、例えば、スプリットイメージ生成部28Bは、第1の画像信号及び第2の画像信号に対して信号処理を施すことにより輝度信号Yを生成し、生成した輝度信号Yに基づいて無彩色のスプリットイメージを生成する。
スプリットイメージとは、一例として図8に示すように、表示用左眼画像(本発明に係る第1の画像の一例)と表示用右眼画像(本発明に係る第2の画像の一例)とを所定方向(例えば、視差発生方向と直交する方向)に隣接させて配置した画像を指す。表示用左眼画像とは、左眼画像を所定方向に4分割して得た4つの分割画像のうちの一部の分割画像(図8に示す例では、正面視上から1番目及び3番目の分割画像)を指す。表示用右眼画像とは、右眼画像を所定方向に4分割して得た4つの分割画像から表示用左眼画像に対応する分割領域と隣接する分割領域について抽出した分割画像(図8に示す例では、正面視上から2番目及び4番目の分割画像)を指す。
制御部28Cは、通常画像生成部28A及びスプリットイメージ生成部28Bに接続されており、通常画像生成部28Aによって生成された通常画像、及びスプリットイメージ生成部28Bによって生成された無彩色のスプリットイメージを取得する。制御部28Cは、通常画像生成部28Aから取得した通常画像を表示制御部36(図3参照)に出力する。
制御部28Cは、スプリットイメージの生成に供した第1及び第2の画像信号を取得する。そして、取得した第1の画像信号の出力値と第2の画像信号の出力値とを比較した比較結果が閾値未満の場合に、有彩色のスプリットイメージ(本発明に係る有彩色画像の一例)を生成して表示制御部36(図3参照)に出力する。有彩色のスプリットイメージは、通常画像に含まれる有彩色が、通常画像の位置に対応する位置の表示用右眼画像及び表示用左眼画像に付与されることによって生成される。
制御部28Cは、取得した第1の画像信号の出力値と第2の画像信号の出力値とを比較した比較結果が閾値以上の場合に、スプリットイメージ生成部28Bから取得した無彩色のスプリットイメージを表示制御部36(図3参照)に出力する。なお、以下では、無彩色のスプリットイメージと有彩色のスプリットイメージとを区別して説明する必要がない場合、「スプリットイメージ」と称する。
図3に戻って、ハイブリッドファインダー220は、電子像を表示する液晶ディスプレイ(以下、「第2ディスプレイ」という)247を有する。
表示制御部36は、第1ディスプレイ215及び第2ディスプレイ247に接続されている。表示制御部36は、CPU12からの指示に従って、第1ディスプレイ215及び第2ディスプレイ247を選択的に制御することで第1ディスプレイ215及び第2ディスプレイ247(本発明に係る表示部の一例)に対して画像を選択的に表示させる。なお、以下では、第1ディスプレイ215及び第2ディスプレイ247を区別して説明する必要がない場合は「表示装置」と称する。
一例として図9に示すように、スプリットイメージは、表示装置の画面中央部の矩形枠内に表示され、スプリットイメージの外周領域に通常画像が表示される。図9に示す例では、表示用右眼画像と表示用左眼画像とが所定方向に交互に2つずつ配置されたスプリットイメージが示されている。スプリットイメージに含まれる表示用左眼画像及び表示用右眼画像は、合焦状態に応じて視差発生方向にずれる。また、図9に示す例では、人物の周辺領域(例えば、木)に対してピントが合っていて人物に対してピントがあっていない状態が示されている。
なお、本第1実施形態では、通常画像の一部の画像に代えて、スプリットイメージを嵌め込むことにより通常画像にスプリットイメージを合成するようにしているが、これに限らず、例えば、通常画像の上にスプリットイメージを重畳させる合成方法であってもよい。また、スプリットイメージを重畳する際に、スプリットイメージが重畳される通常画像の一部の画像とスプリットイメージとの透過率を適宜調整して重畳させる合成方法であってもよい。これにより、連続的に撮影している被写体像を示すライブビュー画像が表示装置の画面上に表示されるが、表示されるライブビュー画像は、通常画像の表示領域内にスプリットイメージが表示された画像となる。
なお、本第1実施形態に係る撮像装置100は、ダイヤル212(フォーカスモード切替え部)によりマニュアルフォーカスモードとオートフォーカスモードとを切り替え可能に構成されている。何れかのフォーカスモードが選択されると、表示制御部36は、スプリットイメージが合成されたライブビュー画像を表示装置に表示させる。また、ダイヤル212によりオートフォーカスモードが選択されると、CPU12は、位相差検出部及び自動焦点調整部として動作する。位相差検出部は、左眼画像と右眼画像との位相差を検出する。自動焦点調整部は、検出された位相差に基づいてフォーカスレンズ302のデフォーカス量をゼロにするように、デバイス制御部22からマウント256,346を介してモータ304を制御し、フォーカスレンズ302を合焦位置に移動させる。なお、上記の「デフォーカス量」とは、例えば左眼画像及び右眼画像の位相ずれ量を指す。
図3に戻って、接眼検出部37は、ユーザ(例えば撮影者)がファインダー接眼部242を覗き込んだことを検出し、検出結果をCPU12に出力する。従って、CPU12は、接眼検出部37での検出結果に基づいてファインダー接眼部242が使用されているか否かを把握することができる。
外部I/F39は、LAN(Local Area Network)やインターネットなどの通信網に接続され、通信網を介して、外部装置(例えばプリンタ)とCPU12との間の各種情報の送受信を司る。従って、撮像装置100は、外部装置としてプリンタが接続されている場合、撮影した静止画像をプリンタに出力して印刷させることができる。また、撮像装置100は、外部装置としてディスプレイが接続されている場合は、撮影した静止画像やライブビュー画像をディスプレイに出力して表示させることができる。
一例として図10に示すように、ハイブリッドファインダー220は、OVF240及びEVF248を含む。OVF240は、対物レンズ244と接眼レンズ246とを有する逆ガリレオ式ファインダーであり、EVF248は、第2ディスプレイ247、プリズム245及び接眼レンズ246を有する。
また、対物レンズ244の前方には、液晶シャッタ243が配設されており、液晶シャッタ243は、EVF248を使用する際に、対物レンズ244に光学像が入射しないように遮光する。
プリズム245は、第2ディスプレイ247に表示される電子像又は各種の情報を反射させて接眼レンズ246に導き、且つ、光学像と第2ディスプレイ247に表示される情報(電子像、各種の情報)とを合成する。
ここで、ファインダー切替えレバー214を図1に示す矢印SW方向に回動させると、回動させる毎にOVF240により光学像を視認することができるOVFモードと、EVF248により電子像を視認することができるEVFモードとが交互に切り替えられる。
表示制御部36は、OVFモードの場合、液晶シャッタ243が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、第2ディスプレイ247には、スプリットイメージのみを表示させる。これにより、光学像の一部にスプリットイメージが重畳されたファインダー像を表示させることができる。
また、表示制御部36は、EVFモードの場合、液晶シャッタ243が遮光状態になるように制御し、接眼部から第2ディスプレイ247に表示される電子像のみが視認できるようにする。なお、第2ディスプレイ247には、第1ディスプレイ215に出力されるスプリットイメージが合成された画像データと同等の画像データが入力される。これにより、第2ディスプレイ247は、第1ディスプレイ215と同様に通常画像の一部にスプリットイメージが合成された電子像を表示することができる。
次に本第1実施形態の作用として、CPU12の制御下で画像処理部28によって行われる画像生成処理について、図11を参照して説明する。なお、図11に示す画像生成処理は、マニュアルフォーカスモードが設定されてから一次記憶部25に1画面分の第1〜第3の画像信号が記憶された場合に画像処理部28によって行われる。
図11に示す画像生成処理では、先ず、ステップ400で、通常画像生成部28Aは、一次記憶部25から第3の画像信号を取得し、取得した第3の画像信号に基づいて通常画像を生成する。
ところで、撮像装置100では、一例として図12に示すように、被写体が撮像される場合に撮影レンズ16を通過した左領域通過光は、第1の画素Lに対応するマイクロレンズ19を通過し、第1の画素Lに入射する。しかし、左領域通過光は、第2の画素Rに対応するマイクロレンズ19を通過しても遮光部材20Bによって遮光されるので、第2の画素Rに入射しない。一方、撮影レンズ16を通過した右領域通過光は、第2の画素Rに対応するマイクロレンズ19を通過し、第2の画素Rに入射する。しかし、右領域通過光は、第1の画素Lに対応するマイクロレンズ19を通過しても遮光部材20Aによって遮光されるので、第1の画素Lに入射しない。このように画素の半分に対して遮光部材が配置されている上、左領域通過光及び右領域通過光の各々の中心が、撮影レンズ16の光軸から偏倚しているため、第1の画素群及び第2の画素群の各々では、瞳分割方向の画素位置に応じて減光特性が線形的に変化する。減光特性の変化は、左眼画像及び右眼画像における出力の変化となって現れる。すなわち、仮に撮影レンズ16に対して正面から光量が均一な光が入射された場合に得られる左眼画像及び右眼画像の左右方向(瞳分割方向に相当する方向)の出力は画素位置に応じて略線形的に変化することとなる。例えば、図13に示すように、左眼画像は、右方向の画素位置ほど出力が小さくなり、右眼画像は、左方向の画素位置ほど出力が小さくなる。左眼画像及び右眼画像の各出力の左右の相反する方向への略線形的な変化は、スプリットイメージの画質に対しても影響を及ぼす。
そこで、図11に示す画像生成処理では、ステップ402で、スプリットイメージ生成部28Bは、一次記憶部25から第1の画像信号及び第2の画像信号を取得し、取得した第1の画像信号及び第2の画像信号に対してシェーディング補正を施す。ここで、シェーディング補正とは、減光特性に応じて定まる補正係数に基づいて第1の画像信号及び第2の画像信号の減光特性を補正することを指す。補正係数は、例えば、補正用直線に基づいて導出される。補正用直線は、例えば、特定の一行に含まれる複数の画素の出力についての回帰直線と目標感度比(例えば1.0)との距離の2乗和が最小になる一次関数であり、補正用直線の従属変数が補正係数として用いられる。なお、補正係数は、これに限定されるものではなく、実機による実験やシミュレーション等によって予め得られたデフォルト値(事前に予想した減光特性をキャンセルする補正係数)であってもよい。また、ここでは、第1の画像信号の出力値及び第2の画像信号の出力値を補正する場合を例示しているが、これに限らず、第1の画素L及び第2の画素Rの感度を補正するようにしてもよい。
このように上記ステップ402の処理が行われることで、後述のステップ404で生成されるスプリットイメージに対する減光特性の影響を軽減することができる。すなわち、一例として図14に示すように、瞳分割方向の画素の線形的な感度変化に起因する表示用左眼画像及び表示用右眼画像の線形的な出力変化は、補正係数に基づいて補正されない場合と比べ、軽減される。
次のステップ404で、スプリットイメージ生成部28Bは、ステップ402でシェーディング補正が施された第1及び第2の画像信号に基づいて無彩色のスプリットイメージを生成し、その後、ステップ405へ移行する。
ステップ405で、スプリットイメージ生成部28Bは、上記ステップ404で生成したスプリットイメージを一次記憶部25の予め定められた記憶領域(以下、説明の便宜上、「所定の記憶領域」という)に記憶し、その後、ステップ406へ移行する。
ステップ406で、制御部28Cは、ステップ402でシェーディング補正が施された第1及び第2の画像信号のうちの未処理の一対の位相差画素の第1及び第2の画素信号を取得し、その後、ステップ408へ移行する。ここで、「未処理」とは、本ステップ406において第1及び第2の画素信号が未だに取得されていないことを指す。また、ここで、「一対の位相差画素」とは、例えば、瞳分割方向と交差する方向(例えば、直交する方向)で隣り合う一対の位相差画素(第1の画素L及び第2の画素R)を指す。図5に示す例では、第1の画素行150と第2の画素行152とで行方向について位置が揃っている一対の第1の画素L及び第2の画素R(列方向で隣り合う第1の画素L及び第2の画素R)を指す。
ステップ408で、制御部28Cは、ステップ406で取得した第1の画素信号の出力値とステップ406で取得した第2の画素信号の出力値とを比較した比較結果が閾値未満か否かを判定する。なお、ここでは、比較結果の一例として、ステップ406で取得した第1の画素信号の出力値とステップ406で取得した第2の画素信号の出力値との差分の絶対値(以下、「差分絶対値」という)を採用している。
ステップ408において、ステップ406で取得した第1の画素信号の出力値とステップ406で取得した第2の画素信号の出力値とを比較した比較結果が閾値未満の場合は、判定が肯定されて、ステップ410へ移行する。ステップ408において、ステップ406で取得した第1の画素信号の出力値とステップ406で取得した第2の画素信号の出力値とを比較した比較結果が閾値以上の場合は、判定が否定されて、ステップ412へ移行する。
なお、説明の便宜上、本第1実施形態において、「合焦状態」とは、ピントのずれ量がゼロになった場合に限らず、上記の比較結果が閾値未満の場合を意味する。また、説明の便宜上、本第1実施形態において、「非合焦状態」とは、上記の比較結果が閾値以上の場合を意味する。
ステップ410で、制御部28Cは、ステップ406で取得した第1及び第2の画素信号の各々の位相差画素の位置に対応する位置の通常画像の色情報を、所定の記憶領域に記憶されているスプリットイメージの所定位置に付与する。ここで、所定位置とは、例えば、ステップ406で取得した第1及び第2の画素信号の各々の位相差画素の位置に対応する位置を指す。
スプリットイメージに対する色情報の付与は、例えば、ステップ400で生成された通常画像における色差信号Cr,Cbを用いて行われる。ここで、通常画像及びスプリットイメージの輝度信号Y及び色差信号Cr,Cbは、メモリ(例えば、一次記憶部25)上で所謂YC422フォーマットの画像データとして取り扱われる。一例として図15に示すように、ステップ400で生成された通常画像は、輝度信号Y0及び色差信号Cr0,Cb0に分解される。これに対し、ステップ404で生成された無彩色のスプリットイメージ(色情報が付与される前のスプリットイメージ)は、通常画像の画素位置と対応する画素位置毎に輝度信号Y1に分解される。
上記ステップ410では、色差信号Cr0,Cb0に対してゲインを乗じて得た値を、一例として図16に示すように、スプリットイメージの色差信号Cr1,Cb1として適用することで、無彩色のスプリットイメージに対する色情報の付与を実現している。
ここで、色差信号Cr0,Cb0に対して乗じるゲインは、一例として図17に示すように、差分絶対値に応じて変動する値として予め定められている。図17に示す例では、閾値が“40”に設定されているので、差分絶対値が“40”以上の場合、色差信号Cr0,Cb0に対して“0”が乗じられる。この場合、無彩色のスプリットイメージには色情報が付与されないこととなる(ステップ408:N)。これに対し、差分絶対値が“40”未満の場合、差分絶対値が小さいほど色差信号Cr0,Cb0に対して大きなゲインが乗じられる(ステップ410)。この結果、差分絶対値が小さいほど無彩色のスプリットイメージに対して付与される有彩色が鮮明に表れることとなる。なお、図17に示すゲインと差分絶対値との対応関係は、テーブル又は演算式として二次記憶部26に予め記憶されており、テーブル又は演算式は、制御部28Cによって二次記憶部26から読み出されて用いられる。
次のステップ412で、制御部28Cは、全ての一対の位相差画素について処理を終了したか否か(上記ステップ406の処理が実行されたか否か)を判定する。ステップ412において全ての一対の位相差画素について処理を終了した場合は、判定が肯定されて、ステップ414へ移行する。ステップ412において全ての一対の位相差画素について処理を終了していない場合は、判定が否定されて、ステップ406へ移行する。
ステップ414で、制御部28Cは、上記ステップ400で生成された通常画像を表示制御部36に出力し、且つ、所定の記憶領域に記憶されているスプリットイメージを表示制御部36に出力し、その後、本画像生成処理を終了する。表示制御部36は、通常画像及びスプリットイメージが入力されると、表示装置に対して通常画像を動画像として連続して表示させ、且つ、通常画像の表示領域内にスプリットイメージを動画像として連続して表示させる制御を行う。これに応じて、表示装置は、一例として図9に示すように、ライブビュー画像を表示する。従って、撮影者は、表示装置に表示されるスプリットイメージにより合焦状態を確認することができる。また、図11に示す画像生成処理は、マニュアルフォーカスモードで実行されるため、撮影者は、スプリットイメージを視認しながらフォーカスリング301を操作することによりピントのずれ量をゼロにすることができる。
以上説明したように、撮像装置100では、第1の画像信号の出力値と第2の画像信号の出力値とが比較される。そして、比較結果が閾値未満の場合に、通常画像に含まれる有彩色が、通常画像の位置に対応する位置の無彩色のスプリットイメージに付与され、これにより、有彩色のスプリットイメージが表示される。また、比較結果が閾値以上の場合に、無彩色のスプリットイメージが表示される。従って、撮像装置100は、位相差を算出する場合と比べ、有彩色のスプリットイメージと無彩色のスプリットイメージとを即時的に切り替えることができる。
また、撮像装置100では、通常画像の表示領域内に無彩色のスプリットイメージと有彩色のスプリットイメージとが選択的に表示される。従って、撮像装置100は、通常画像の表示領域内に無彩色のスプリットイメージと有彩色のスプリットイメージとが選択的に表示されない場合と比べ、合焦状態か否かを視覚的に容易に認識させることができる
また、撮像装置100では、差分絶対値が閾値未満か否かが判定される。従って、撮像装置100は、差分絶対値を用いない場合と比べ、合焦状態か否かの高精度な判定を実現することができる。
また、撮像装置100では、シェーディング補正が施された第1の画像信号の出力値とシェーディング補正が施された第2の画像信号の出力値とを比較した比較結果が閾値未満か否かが判定される。従って、撮像装置100は、シェーディング補正が施された第1及び第2の画像信号の出力値を用いない場合と比べ、合焦状態か否かの高精度な判定を実現することができる。
また、撮像装置100では、瞳分割方向と交差する方向に配置された一対の位相差画素における第1の画素信号の出力値と第2の画素信号の出力値とを比較した比較結果が閾値未満か否かが判定される。従って、撮像装置100は、瞳分割方向と交差する方向に配置された一対の位相差画素における第1及び第2の画素信号の出力値を用いない場合と比べ、合焦状態か否かの高精度な判定を実現することができる。
また、撮像装置100では、通常画像から無彩色のスプリットイメージに対して色差信号Cr,Cbによる彩度が付与されることで無彩色のスプリットイメージに対して有彩色が付与される。これにより、撮像装置100は、通常画像から無彩色のスプリットイメージに対して色差信号Cr,Cbによる彩度を付与しない場合と比べ、簡易な構成で、無彩色のスプリットイメージに対して有彩色を付与することができる。
また、撮像装置100では、比較結果が閾値未満の場合に比較結果が閾値から乖離するに従って、無彩色のスプリットイメージに付与される有彩色の強度が大きくなる。従って、撮像装置100は、比較結果が閾値から乖離するに従って有彩色の強度を大きくしない場合と比べ、有彩色領域と無彩色領域との間の領域において緩やかな色変化を実現することができる。
なお、上記第1実施形態では、差分絶対値が閾値未満か否かを判定することによりスプリットイメージに対する色情報の付与の要否を判定する場合を例示したが、本発明はこれに限定されるものではない。例えば、一対の位相差画素の一方の位相差画素の画素信号の出力値に対する他方の位相差画素の画素信号の割合が基準値から乖離している度合いを示す乖離度に基づいて判定してもよい。ここで、一方の位相差画素の画素信号の出力値に対する他方の位相差画素の画素信号の割合とは、例えば、ステップ406で取得された第1の画素信号の出力値に対する第2の画素信号の出力値の割合を指す。また、基準値とは、例えば、“1”を指す。この場合、例えば、一対の位相差画素の画素信号の出力値の割合が所定範囲内(例えば、0.8以上1.2以下の範囲内)であれば、スプリットイメージに対して色情報が付与され、所定範囲外であれば、スプリットイメージに対して色情報が付与されない。
また、上記第1実施形態では、スプリットイメージに付与する有彩色の強度を調整するために、差分絶対値に応じて定まるゲイン(図17参照)によってスプリットイメージに付与する彩度を調整する場合を例示したが、本発明はこれに限定されるものではない。例えば、差分絶対値が規格化された値に応じて定まるゲインによってスプリットイメージに付与する彩度を調整するようにしてもよい。この場合、例えば、通常画像の彩度C0を次の数式(1)を用いて彩度C1に変換し、変換して得た彩度C1をスプリットイメージの彩度として適用する(彩度C1をスプリットイメージに付加する)。なお、数式(1)において、“ΔS”とは、差分絶対値を指し、“Avg”とは、位相差画素平均値(例えば、ステップ406で取得した第1の画素信号の出力値とステップ406で取得した第2の画素信号の出力値との平均値)を指す。また、“a”及び“b”は微調整のための係数であり、固定値であってもよいし、可変値(例えば、タッチパネル216によって受け付けられた指示に応じてカスタマイズされる値)であってもよい。
C1=C0×(a^(ΔS/Avg)×b)・・・・・(1)
ここで、a=0.1、b=1、閾値=0.4とした場合、彩度C0に乗じるゲイン(=a^(ΔS/Avg)×b)は、一例として図18に示すように“ΔS/Avg”に応じて定まる値として予め定められている。図18に示す例では、閾値が“0.4”に設定されているので、“ΔS/Avg”が“0.4”以上の場合、彩度C0に対して“0”が乗じられる。この場合、無彩色のスプリットイメージには色情報が付与されないこととなる。これに対し、“ΔS/Avg”が“0.4”未満の場合、“ΔS/Avg”が小さいほど彩度C0に対して大きな値が乗じられる。この結果、“ΔS/Avg”が小さいほど無彩色のスプリットイメージに対して付与される有彩色が鮮明に表れることとなる。なお、図18に示すゲインと“ΔS/Avg”との対応関係は、テーブル又は演算式として二次記憶部26に予め記憶されており、テーブル又は演算式は、スプリットイメージに対して色情報を付与する際に制御部28Cによって読み出されて用いられる。
なお、図18に示す例では、閾値が固定されているが、これに限らず、閾値を変動させてもよい。この場合、撮影条件に応じて閾値を定めるとよい。例えば、被写界深度は絞り値に応じて変化するので、絞り値が小さくなるに従って閾値を小さくするとよい。図19及び図20に示す例では、F値が3.5未満の場合の閾値は0.4であり、F値が3.5以上の場合の閾値は0.6である。従って、F値が3.5未満の場合(被写界深度が浅い場合)は、F値が3.5以上の場合(被写界深度が深い場合)よりもスプリットイメージに対して有彩色が付与され難くなる。そのため、F値を変えた場合であってもスプリットイメージに対して有彩色が付与される頻度とスプリットイメージに対して有彩色が付与されない頻度との均衡を図ることができる。
図19に示す例では、ΔS/Avgが閾値未満の場合のゲインの値は、F値が3.5未満の場合とF値が3.5以上の場合とで相違していないが、本発明はこれに限定されるものではない。すなわち、ΔS/Avgが閾値未満の場合のゲインの値は、F値が3.5未満の場合とF値が3.5以上の場合とで異なっていてもよい。例えば、図20に示す例では、ΔS/Avgが閾値未満の場合のゲインの値は、F値が3.5未満の場合よりもF値が3.5以上の場合の方が大きい。これにより、F値が3.5以上の場合(被写界深度が深い場合)は、F値が3.5未満の場合(被写界深度が浅い場合)よりもスプリットイメージに対して付与される有彩色を鮮明に表すことが可能となる。
閾値は、焦点距離に応じて定めてもよい。この場合、例えば、焦点距離に応じて被写界深度が変化するので、焦点距離が長くなるに従って閾値を小さくするとよい。図21及び図22に示す例では、焦点距離fが50ミリメートル以上の場合の閾値は0.4であり、焦点距離fが50ミリメートル未満の場合の閾値は0.6である。従って、焦点距離fが50ミリメートル以上の場合(被写界深度が浅い場合)は、焦点距離fが50ミリメートル未満の場合(被写界深度が深い場合)よりもスプリットイメージに対して有彩色が付与され難くなる。そのため、焦点距離fを変えた場合であってもスプリットイメージに対して有彩色が付与される頻度とスプリットイメージに対して有彩色が付与されない頻度との均衡を図ることができる。
図21に示す例では、ΔS/Avgが閾値未満の場合のゲインの値は、焦点距離fが50ミリメートル以上の場合と焦点距離fが50ミリメートル未満の場合とで相違していないが、本発明はこれに限定されるものではない。すなわち、ΔS/Avgが閾値未満の場合のゲインの値は、焦点距離fが50ミリメートル以上の場合と焦点距離fが50ミリメートル未満の場合とで異なっていてもよい。例えば、図22に示す例では、ΔS/Avgが閾値未満の場合のゲインの値は、焦点距離fが50ミリメートル以上の場合よりも焦点距離fが50ミリメートル未満の場合の方が大きい。これにより、焦点距離fが50ミリメートル未満の場合(被写界深度が深い場合)は、焦点距離fが50ミリメートル以上の場合(被写界深度が浅い場合)よりもスプリットイメージに対して付与される有彩色を鮮明に表すことが可能となる。
閾値は、露光時間(Tv(time value)値)に応じて定めてもよい。この場合、例えば、露光時間に応じてノイズが変化するので、露光時間が長くなるに従って閾値を小さくするとよい。図23及び図24に示す例では、Tv値が6.0以上の場合の閾値は0.4であり、Tv値が6.0未満の場合の閾値は0.6である。従って、Tv値が6.0以上の場合(ノイズが多い場合)は、Tv値が6.0未満の場合(ノイズが少ない場合)よりもスプリットイメージに対して有彩色が付与され難くなる。そのため、Tv値を変えた場合であってもスプリットイメージに対して有彩色が付与される頻度とスプリットイメージに対して有彩色が付与されない頻度との均衡を図ることができる。
図23に示す例では、ΔS/Avgが閾値未満の場合のゲインの値は、Tv値が6.0以上の場合とTv値が6.0未満の場合とで相違していないが、本発明はこれに限定されるものではない。すなわち、ΔS/Avgが閾値未満の場合のゲインの値は、Tv値が6.0以上の場合とTv値が6.0未満の場合とで異なっていてもよい。例えば、図24に示す例では、ΔS/Avgが閾値未満の場合のゲインの値は、Tv値が6.0以上の場合よりもTv値が6.0未満の場合の方が大きい。これにより、Tv値が6.0未満の場合(ノイズが少ない場合)は、Tv値が6.0以上の場合(ノイズが多い場合)よりもスプリットイメージに対して付与される有彩色を鮮明に表すことが可能となる。
なお、ノイズは、撮像素子20のゲインに応じて変化する。従って、撮像素子20のゲインが大きくなるに従って閾値を小さくするようにしてもよい。これにより、撮像素子20のゲインが変化した場合であってもスプリットイメージに対して有彩色が付与される頻度とスプリットイメージに対して有彩色が付与されない頻度との均衡を図ることができる。
また、上記第1実施形態では、差分絶対値からゲインを導出する場合を例示したが、第1の画素信号の出力値と第2の画素信号の出力値との差分(出力値差分)からゲインを導出してもよい。この場合、例えば、図25に示すように、出力値差分とゲインとの対応関係を予め定めておき、出力値差分とゲインとの対応関係を示すテーブル又は演算式を用いて出力値差分からゲインを導出してもよい。
また、上記第1実施形態では、比較結果が閾値未満の場合に差分絶対値に応じてゲインを調整することによりスプリットイメージに付与する有彩色の強度を調整する場合を例示したが、本発明はこれに限定されるものではない。例えば、比較結果が閾値未満の場合に、差分絶対値に拘わらず通常画像の彩度をスプリットイメージにそのまま付与してもよい。この場合、テーブル又は演算式を用いて差分絶対値に対応するゲインを導出する必要がないので、有彩色のスプリットイメージと無彩色のスプリットイメージとの切り替えをより一層迅速に行うことが可能となる。
また、上記第1実施形態では、一対の位相差画素毎に第1の画素信号の出力値と第2の画素信号の出力値とを比較する場合を例示したが、本発明はこれに限定されるものではない。例えば、第1の画素群に含まれる全ての第1の画素Lから出力される第1の画素信号の平均出力値と第2の画素群に含まれる全ての第2の画素Rから出力される第2の画素信号の平均出力値とを比較してもよい。また、全ての位相差画素について出力値の比較を行うのではなく、一部の位相差画素を対象にして出力値の比較を行うようにしてもよい。この場合、例えば、第1の画素群の一部の領域である第1領域から出力される第1の画素Lの画素信号の平均出力値と第2の画素群における第2領域(第1領域の位置に対応する位置の領域)から出力される第2の画素Rの画素信号の平均出力値とを比較してもよい。また、例えば、第1の画素群の中央部の第1の画素Lから出力される第1の画素信号の出力値と第2の画素群の中央部の第2の画素Rから出力される第2の画素信号の出力値とを比較してもよい。
また、上記第1実施形態では、スプリットイメージに対して色情報を付与する場合を例示したが、これに限らず、スプリットイメージが生成される前の左眼画像及び右眼画像に対して色情報を付与するようにもよい。この場合、シェーディング補正が施された第1の画像信号により示される左眼画像、及びシェーディング補正が施された第2の画像信号により示される右眼画像に対して色情報を付与することが好ましい。
また、上記第1実施形態で説明した画像生成処理の流れ(図11参照)はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、上記第1実施形態で説明した画像生成処理に含まれる各処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現されてもよい。また、上記第1実施形態で説明した画像生成処理に含まれる各処理は、ASICやプログラマブルロジックデバイス等のハードウェア構成で実現されてもよいし、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。
上記第1実施形態で説明した画像生成処理を、コンピュータによりプログラムを実行することにより実現する場合は、プログラムを所定の記憶領域(例えば二次記憶部26)に予め記憶しておけばよい。なお、必ずしも最初から二次記憶部26に記憶させておく必要はない。例えば、コンピュータに接続されて使用されるSSD(Solid State Drive)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの任意の可搬型の記憶媒体に先ずはプログラムを記憶させておいてもよい。そして、コンピュータがこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、インターネットやLAN(Local Area Network)などを介してコンピュータに接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータがこれらからプログラムを取得して実行するようにしてもよい。
また、上記第1実施形態で説明した画像生成処理に含まれる各処理をソフトウェア構成により実現するには、例えば、CPU12が画像生成処理プログラムを実行することにより撮像装置100で画像生成処理が行われるようにすればよい。ここで、画像生成処理プログラムは二次記憶部26に記憶されていればよく、CPU12は、二次記憶部26から画像生成処理プログラムを読み出し、一次記憶部25に展開してから実行すればよい。この場合、CPU12は、画像生成処理プログラムを実行することで図7に示す通常画像生成部28A、スプリットイメージ生成部28B、及び制御部28Cと同様に動作する。
また、上記第1実施形態では、第1〜第3の画素群を有する撮像素子20を例示したが、本発明はこれに限定されるものではなく、第1の画素群及び第2の画素群のみからなる撮像素子であってもよい。この種の撮像素子を有するデジタルカメラは、第1の画素群から出力された第1の画像及び第2の画素群から出力された第2の画像に基づいて3次元画像(3D画像)を生成することができるし、2次元画像(2D画像)も生成することができる。この場合、2次元画像の生成は、例えば第1の画像及び第2の画像の相互における同色の画素間で補間処理を行うことで実現される。また、補間処理を行わずに、第1の画像又は第2の画像を2次元画像として採用してもよい。
また、上記第1実施形態では、第1〜第3の画像が画像処理部28に入力された場合に通常画像とスプリットイメージとの双方が表示装置の同画面に同時に表示される態様を例示したが、本発明はこれに限定されるものではない。例えば、表示制御部36が、表示装置に対する通常画像の動画像としての連続した表示を抑止し、且つ、表示装置に対してスプリットイメージを動画像として連続して表示させる制御を行うようにしてもよい。ここで言う「通常画像の表示を抑止する」とは、例えば表示装置に対して通常画像を表示させないことを指す。具体的には、通常画像を生成するものの表示装置に通常画像を出力しないことで表示装置に対して通常画像を表示させないことや通常画像を生成しないことで表示装置に対して通常画像を表示させないことを指す。表示装置の画面全体を利用してスプリットイメージを表示させてもよいし、一例として図9に示すスプリットイメージの表示領域の全体を利用してスプリットイメージを表示させてもよい。
また、通常画像の表示を抑止してスプリットイメージを表示させるための条件としては、様々な条件が考えられる。例えば、スプリットイメージの表示が指示されている状態で通常画像の表示指示が解除された場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、撮影者がハイブリッドファインダーを覗きこんだ場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン211が半押し状態にされた場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン211に対して押圧操作が行われていない場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、被写体の顔を検出する顔検出機能を働かせた場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。なお、ここでは、表示制御部36が通常画像の表示を抑止する変形例を挙げたが、これに限らず、例えば、表示制御部36は、通常画像に全画面のスプリットイメージを上書き表示するように制御を行ってもよい。
また、上記第1実施形態で説明した撮像装置100は、被写界深度を確認する機能(被写界深度確認機能)を有していてもよい。この場合、例えば撮像装置100は被写界深度確認キーを有する。被写界深度確認キーは、ハードキーであってもよいし、ソフトキーであってもよい。ハードキーによる指示の場合は、例えばモーメンタリ動作型のスイッチ(非保持型スイッチ)を適用することが好ましい。ここで言うモーメンタリ動作型のスイッチとは、例えば所定位置に押し込まれている間だけ撮像装置100における特定の動作状態を維持するスイッチを指す。ここで、被写界深度確認キーは、押下されると絞り値が変更される。また、被写界深度確認キーに対する押下が継続して行われている間(所定位置に押し込まれている間)、絞り値は限界値に達するまで変化し続ける。このように、被写界深度確認キーの押下中は、絞り値が変化するため、スプリットイメージを得るために必要な位相差が得られない場合がある。そこで、スプリットイメージが表示されている状態で、被写界深度確認キーが押下された場合、押下中はスプリットイメージから通常のライブビュー表示に変更するようにしてもよい。また、押下状態が解除された際に再度スプリットイメージを表示させるように画面の切り替えをCPU12が行うようにしてもよい。なお、ここでは、被写界深度確認キーの一例としてモーメンタリ動作型のスイッチを適用した場合を例示したが、これに限らず、オルタネイト動作型のスイッチ(保持型スイッチ)を適用してもよい。
[第2実施形態]
上記第1実施形態では、第1の画素信号の出力値と第2の画素信号の出力値とを比較する場合について説明したが、本第2実施形態では、第1の画素信号の平均出力値と第2の画素信号の平均出力値とを比較する場合について説明する。なお、本第2実施形態では、上記第1実施形態で説明した構成要素については、同一の符号を付し、説明を省略する。
本第2実施形態に係る撮像装置100Aは、上記第1実施形態に係る撮像装置100と比べ、撮像素子20に代えて、一例として図27に示す撮像素子20Cを有する点が異なる。撮像素子20Cは、撮像素子20と比べ、行方向及び列方向の各々において第1の画素Lと第2の画素Rとが交互に配置される点は共通しているが、行方向及び列方向の各々における位相差画素の配置間隔が異なる。すなわち、撮像素子20では、行方向において同種の位相差画素が6画素につき1画素ずつ配置されているのに対し、撮像素子20Cでは、行方向において同種の位相差画素が5画素につき1画素ずつ配置されている。また、撮像素子20では、列方向において同種の位相差画素が6画素につき1画素ずつ配置されているのに対し、撮像素子20Cでは、列方向において同種の位相差画素が5画素につき1画素ずつ配置されている。
本第2実施形態に係る撮像装置100Aは、上記第1実施形態に係る撮像装置100と比べ、画像処理部28によって図11に示す画像生成処理が行われることに代えて、画像処理部28によって図26に示す画像生成処理が行われる点が異なる。図26に示す画像生成処理は、図11に示す画像生成処理と比べ、ステップ406〜412に代えてステップ700〜ステップ710を有する点が異なる。
図26に示す画像生成処理では、ステップ700で、制御部28Cは、一例として図27に示すように、撮像素子20を分割して得た複数の分割領域600のうちの注目すべき分割領域600(以下、「注目分割領域」という)を設定する。ここで、「注目分割領域」とは、未だにステップ702の処理対象とされていない分割領域600を指す。分割領域600とは、例えば、撮像素子20がM×Mの行列状(例えば、8×8の行列状)に分割されて得た各領域(図27に示す例では、太実線で囲まれた領域)を指す。ここで、“M”とは、2以上の自然数を指す。
分割領域600は、一例として図27に示すように、第1の画素L、第2の画素R、及び通常画素Nが所定規則に従って配置された行列状の画素群(本発明に係る分割画素群の一例(図27に示す例では、5×5の行列状))である。分割領域600は、一対の位相差画素を複数組(図27に示す例では、2組)含む。分割領域600に含まれる一対の位相差画素は、瞳分割方向に対して直交する方向で隣り合う第1の画素Lおよび第2の画素Rである。すなわち、行方向について位置が揃っている一対の第1の画素L及び第2の画素R(列方向で隣り合う第1の画素L及び第2の画素R)である。
次のステップ702で、制御部28Cは、ステップ700で設定した注目分割領域に含まれる全ての第1の画素Lから出力された第1の画素信号を取得し、取得した全ての第1の画素信号の平均出力値を算出し、その後、ステップ704へ移行する。なお、本ステップ702で取得される第1の画素信号は、ステップ402でシェーディング補正が施された第2の画像信号である。また、図27に示す例では、1つの分割領域600(注目分割領域)から2つの第1の画素Lの各々から出力された第1の画素信号の平均出力値が算出されることとなる。
ステップ704で、制御部28Cは、ステップ700で設定した注目分割領域に含まれる全ての第2の画素Rから出力された第2の画素信号を取得し、取得した全ての第2の画素信号の平均出力値を算出し、その後、ステップ706へ移行する。なお、本ステップ704で取得される第2の画素信号は、ステップ402でシェーディング補正が施された第2の画像信号である。また、図27に示す例では、1つの分割領域600(注目分割領域)から2つの第2の画素Rの各々から出力された第2の画素信号の平均出力値が算出されることとなる。
ステップ706で、制御部28Cは、ステップ702で算出した第1の画素信号の平均出力値とステップ704で算出した第2の画素信号の平均出力値とを比較した比較結果が閾値未満か否かを判定する。なお、ここでは、比較結果の一例として、ステップ702で取得した第1の画素信号の平均出力値とステップ704で取得した第2の画素信号の平均出力値との差分の絶対値を採用している。
ステップ706においてステップ702で算出した第1の画素信号の平均出力値とステップ704で算出した第2の画素信号の平均出力値とを比較した比較結果が閾値未満の場合は、判定が肯定されて、ステップ708へ移行する。ステップ706においてステップ702で算出した第1の画素信号の平均出力値とステップ704で算出した第2の画素信号の平均出力値とを比較した比較結果が閾値以上の場合は、判定が否定されて、ステップ710へ移行する。
ステップ708で、制御部28Cは、ステップ702で取得した第1の画素信号及びステップ704で取得した第2の画素信号の各々の位相差画素の位置に対応する位置の通常画像の色情報を、所定の記憶領域に記憶されているスプリットイメージに付与する。
次のステップ710で、制御部28Cは、全ての分割領域600についてステップ700の処理を実行したか否かを判定する。ステップ710において、全ての分割領域600についてステップ700の処理を実行していない場合は、判定が否定されて、ステップ700へ移行する。ステップ710において、全ての分割領域600についてステップ700の処理を実行した場合は、判定が肯定されて、ステップ414へ移行する。
以上説明したように、撮像装置100Aでは、分割領域600の各々において第1の画素信号の平均出力値と第2の画素信号の平均出力値とを比較した比較結果が閾値未満か否かが判定される。従って、撮像装置100Aは、分割領域600の各々において比較結果が閾値未満か否かを判定しない場合と比べ、合焦状態か否かの高精度な判定を実現することができる。
なお、上記第2実施形態では、分割領域600の各々において第1の画素信号の平均出力値と第2の画素信号の平均出力値とを比較した比較結果が閾値未満か否かを判定する場合を例示したが、本発明はこれに限定されるものではない。例えば、分割領域600の各々において第1の画素信号の出力値の中央値と第2の画素信号の出力値の中央値とを比較した比較結果が閾値未満か否かを判定するようにしてもよい。分割領域600の各々において第1の画素信号の出力値の最頻値と第2の画素信号の出力値の最頻値とを比較した比較結果が閾値未満か否かを判定するようにしてもよい。また、分割領域600の各々において第1の画素信号の出力値の代表値と第2の画素信号の出力値の代表値を比較した比較結果が閾値未満か否かを判定するようにしてもよい。ここで、第1の画素信号の出力値の代表値の一例としては、分割領域600内の特定位置に存在する第1の画素Lから出力された第1の画素信号の出力値が挙げられる。また、第2の画素信号の出力値の代表値の一例としては、分割領域600内の特定位置に存在する第2の画素Rから出力された第2の画素信号の出力値が挙げられる。
また、上記第2実施形態では、比較結果の一例として、ステップ702で取得した第1の画素信号の平均出力値とステップ704で取得した第2の画素信号の平均出力値との差分の絶対値を採用しているが、本発明はこれに限定されるものではない。例えば、ステップ702で取得した第1の画素信号の平均出力値及びステップ704で取得した第2の画素信号の平均出力値の一方の平均出力値に対する他方の平均出力値の割合であってもよい。この場合、例えば、一方の平均出力値に対する他方の平均出力値の割合が基準値(例えば、1)から乖離している度合いを示す乖離度に基づいてスプリットイメージに色情報を付与するか否かを判定するようにすればよい。
[第3実施形態]
上記各実施形態では、撮像装置100,100Aを例示したが、撮像装置100,100Aの変形例である携帯端末装置としては、例えばカメラ機能を有する携帯電話機やスマートフォンなどが挙げられる。この他にも、PDA(Personal Digital Assistants)や携帯型ゲーム機などが挙げられる。本第3実施形態では、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
図28は、スマートフォン500の外観の一例を示す斜視図である。図28に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。また、筐体502は、スピーカ531と、マイクロホン532と、操作部540と、カメラ部541とを備えている。なお、筐体502の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド構造を有する構成を採用したりすることもできる。
図29は、図28に示すスマートフォン500の構成の一例を示すブロック図である。図29に示すように、スマートフォン500の主たる構成要素として、無線通信部510と、表示入力部520と、通信部530と、操作部540と、カメラ部541と、記憶部550と、外部入出力部560と、を備える。また、スマートフォン500の主たる構成要素として、GPS(Global Positioning System)受信部570と、モーションセンサ部580と、電源部590と、主制御部501と、を備える。また、スマートフォン500の主たる機能として、基地局装置BSと移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部510は、主制御部501の指示に従って、移動通信網NWに収容された基地局装置BSに対して無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部520は、いわゆるタッチパネルであって、表示パネル521と、操作パネル522とを備える。そのため、表示入力部520は、主制御部501の制御により、画像(静止画像および動画像)や文字情報などを表示して視覚的にユーザに情報を伝達し、且つ、表示した情報に対するユーザ操作を検出する。なお、生成された3Dを鑑賞する場合には、表示パネル521は、3D表示パネルであることが好ましい。
表示パネル521は、LCD、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル522は、表示パネル521の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部501に出力する。次いで、主制御部501は、受信した検出信号に基づいて、表示パネル521上の操作位置(座標)を検出する。
図29に示すように、スマートフォン500の表示パネル521と操作パネル522とは一体となって表示入力部520を構成しているが、操作パネル522が表示パネル521を完全に覆うような配置となっている。この配置を採用した場合、操作パネル522は、表示パネル521外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル522は、表示パネル521に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル521に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
なお、表示領域の大きさと表示パネル521の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル522が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体502の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル522で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通信部530は、スピーカ531やマイクロホン532を備える。通信部530は、マイクロホン532を通じて入力されたユーザの音声を主制御部501にて処理可能な音声データに変換して主制御部501に出力する。また、通信部530は、無線通信部510あるいは外部入出力部560により受信された音声データを復号してスピーカ531から出力する。また、図28に示すように、例えば、スピーカ531を表示入力部520が設けられた面と同じ面に搭載し、マイクロホン532を筐体502の正面下部に搭載することができる。
操作部540は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図28に示すように、操作部540は、スマートフォン500の筐体502の正面下部に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部550は、主制御部501の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータを記憶する。また、記憶部550は、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶する。また、記憶部550は、ストリーミングデータなどを一時的に記憶する。また、記憶部550は、スマートフォン内蔵の内部記憶部551と着脱自在な外部メモリスロットを有する外部記憶部552を有する。なお、記憶部550を構成するそれぞれの内部記憶部551と外部記憶部552は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ
(hard disk type)などの格納媒体を用いて実現される。格納媒体としては、この他にも、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)が例示できる。
外部入出力部560は、スマートフォン500に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等又はネットワークにより直接的又は間接的に接続するためのものである。他の外部機器に通信等としては、例えば、ユニバーサルシリアルバス(USB)、IEEE1394などが挙げられる。ネットワークとしては、例えば、インターネット、無線LAN、ブルートゥース(Bluetooth(登録商標))、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA(登録商標))が挙げられる。また、ネットワークの他の例としては、UWB(Ultra Wideband(登録商標))、ジグビー(ZigBee(登録商標))などが挙げられる。
スマートフォン500に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)が挙げられる。外部機器の他の例としては、SIM(SubscriberIdentity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器が挙げられる。外部オーディオ・ビデオ機器の他にも、無線接続される外部オーディオ・ビデオ機器が挙げられる。また、外部オーディオ・ビデオ機器に代えて、例えば有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホンなども適用可能である。
外部入出力部560は、このような外部機器から伝送を受けたデータをスマートフォン500の内部の各構成要素に伝達することや、スマートフォン500の内部のデータが外部機器に伝送されるようにすることができる。
GPS受信部570は、主制御部501の指示にしたがって、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン500の緯度、経度、高度からなる位置を検出する。GPS受信部570は、無線通信部510や外部入出力部560(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部580は、例えば、3軸の加速度センサなどを備え、主制御部501の指示にしたがって、スマートフォン500の物理的な動きを検出する。スマートフォン500の物理的な動きを検出することにより、スマートフォン500の動く方向や加速度が検出される。この検出結果は、主制御部501に出力されるものである。
電源部590は、主制御部501の指示にしたがって、スマートフォン500の各部に、バッテリ(図示省略)に蓄えられる電力を供給するものである。
主制御部501は、マイクロプロセッサを備え、記憶部550が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン500の各部を統括して制御するものである。また、主制御部501は、無線通信部510を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部550が記憶するアプリケーションソフトウェアにしたがって主制御部501が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部560を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部501は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部520に表示する等の画像処理機能を備える。画像処理機能とは、主制御部501が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部520に表示する機能のことをいう。
更に、主制御部501は、表示パネル521に対する表示制御と、操作部540、操作パネル522を通じたユーザ操作を検出する操作検出制御とを実行する。
表示制御の実行により、主制御部501は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル521の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトキーのことをいう。
また、操作検出制御の実行により、主制御部501は、操作部540を通じたユーザ操作を検出したり、操作パネル522を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたりする。また、操作検出制御の実行により、主制御部501は、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部501は、操作パネル522に対する操作位置が、表示パネル521に重なる重畳部分(表示領域)か、それ以外の表示パネル521に重ならない外縁部分(非表示領域)かを判定する。そして、この判定結果を受けて、操作パネル522の感応領域や、ソフトキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部501は、操作パネル522に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部541は、CMOSやCCDなどの撮像素子を用いて撮影するデジタルカメラであり、図1等に示す撮像装置100と同様の機能を備えている。
また、カメラ部541は、マニュアルフォーカスモードとオートフォーカスモードとを切り替え可能である。マニュアルフォーカスモードが選択されると、操作部540又は表示入力部520に表示されるフォーカス用のアイコンボタン等を操作することにより、カメラ部541の撮影レンズのピント合わせを行うことができる。また、マニュアルフォーカスモード時には、スプリットイメージが合成されたライブビュー画像を表示パネル521に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。なお、図10に示すハイブリッドファインダー220をスマートフォン500に設けるようにしてもよい。
また、カメラ部541は、主制御部501の制御により、撮影によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換する。そして、変換して得た画像データを記憶部550に記録したり、外部入出力部560や無線通信部510を通じて出力することができる。図29に示すにスマートフォン500において、カメラ部541は表示入力部520と同じ面に搭載されているが、カメラ部541の搭載位置はこれに限らず、表示入力部520の背面に搭載されてもよいし、あるいは、複数のカメラ部541が搭載されてもよい。なお、複数のカメラ部541が搭載されている場合には、撮影に供するカメラ部541を切り替えて単独にて撮影したり、あるいは、複数のカメラ部541を同時に使用して撮影したりすることもできる。
また、カメラ部541はスマートフォン500の各種機能に利用することができる。例えば、表示パネル521にカメラ部541で取得した画像を表示することや、操作パネル522の操作入力のひとつとして、カメラ部541の画像を利用することができる。また、GPS受信部570が位置を検出する際に、カメラ部541からの画像を参照して位置を検出することもできる。更には、カメラ部541からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン500のカメラ部541の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部541からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データに各種情報を付加して記憶部550に記録したり、外部入出力部560や無線通信部510を通じて出力したりすることもできる。ここで言う「各種情報」としては、例えば、静止画又は動画の画像データにGPS受信部570により取得した位置情報、マイクロホン532により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)が挙げられる。この他にも、モーションセンサ部580により取得した姿勢情報等などであってもよい。
なお、上記各実施形態では、第1の画素Lと第2の画素Rとを行方向及び列方向の各方向において所定画素数おきに交互に配置する場合を例示したが、本発明はこれに限定されるものではない。例えば、図30に示すように、行方向については第1の画素Lと第2の画素Rとを所定画素数おきに交互に配置し、列方向については隣接する第1の画素L及び第2の画素Rを所定画素数おきに配置してもよい。この場合、第1の画素L及び第2の画素Rの位置を、第1の画素群と第2の画素群との間で列方向及び行方向の少なくとも一方について所定画素数内で揃えることが好ましい。なお、図30に示す例では、第1の画素Lと第2の画素Rとを、第1の画素群と第2の画素群との間で列方向及び行方向の各々についての位置を1画素内で揃えた位置に配置した例が示されている。
上記各実施形態では、原色(Rフィルタ,Gフィルタ,Bフィルタ)の配列をベイヤ配列としたカラーフィルタ21(図4参照)を例示したが、本発明はこれに限定されるものではない。例えば、カラーフィルタ21に代えて、図31に示すカラーフィルタ21Dを用いてもよい。図31には、カラーフィルタ21Dの原色(Rフィルタ,Gフィルタ,Bフィルタ)の配列及び遮光部材の配置の一例が模式的に示されている。図30に示すカラーフィルタ21Dでは、第1〜第4の行配列が列方向について繰り返し配置されている。第1の行配列とは、行方向に沿ってBフィルタ及びGフィルタが交互に配置された配列を指す。第2の行配列とは、第1の行配列を行方向に半ピッチ(半画素分)ずらした配列を指す。第3の行配列とは、行方向に沿ってGフィルタ及びRフィルタが交互に配置された配列を指す。第4の行配列とは、第3の行配列を行方向に半ピッチずらした配列を指す。
第1の行配列及び第2の行配列は列方向について半ピッチずれて隣接している。第2の行配列及び第3の行配列も列方向について半ピッチずれて隣接している。第3の行配列及び第4の行配列も列方向について半ピッチずれて隣接している。第4の行配列及び第1の行配列も列方向について半ピッチずれて隣接している。従って、第1〜4の行配列の各々は、列方向について2画素毎に繰り返し現れる。
第1の画素L及び第2の画素Rは、一例として図31に示すように、第3及び第4の行配列に対して割り当てられている。すなわち、第1の画素Lは、第3の行配列に対して割り当てられており、第2の画素Rは、第4の行配列に対して割り当てられている。また、第1の画素L及び第2の画素Rは、互いに隣接して(最小ピッチ)で対になって配置されている。また、図31に示す例では、第1の画素Lは、行方向及び列方向の各々について6画素毎に割り当てられており、第2の画素Rも、行方向及び列方向の各々について6画素毎に割り当てられている。
また、図31に示す例では、第1の画素L及び第2の画素RにはGフィルタが割り当てられている。Gフィルタが設けられた画素は他色のフィルタが設けられた画素に比べ感度が良いため、補間精度を高めることができる。しかも、Gフィルタは、他色のフィルタに比べ、連続性があるため、Gフィルタが割り当てられた画素は他色のフィルタが割り当てられた画素に比べ補間がし易くなる。
また、上記各実施形態では、上下方向に4分割されたスプリットイメージを例示したが、これに限らず、斜め方向又は左右方向に複数分割された画像をスプリットイメージとして適用してもよい。
例えば、図32に示すスプリットイメージ66bは、行方向に傾き角を有する分割線63b(例えば、スプリットイメージ66bの対角線)により2分割されている。このスプリットイメージ66bでは、第1の画素群から出力された出力信号に基づき生成された位相差画像66Lbが一方の領域に表示される。また、第2の画素群から出力された出力信号に基づき生成された位相差画像66Rbが他方の領域に表示される。
また、図33A及び図33Bに示すスプリットイメージ66cは、行方向及び列方向にそれぞれ平行な格子状の分割線63cにより分割されている。スプリットイメージ66cでは、第1の画素群から出力された出力信号に基づき生成された位相差画像66Lcが市松模様(チェッカーパターン)状に並べられて表示される。また、第2の画素群から出力された出力信号に基づき生成された位相差画像66Rcが市松模様状に並べられて表示される。
更に、スプリットイメージに限らず、2つの位相差画像から他の合焦確認画像を生成し、合焦確認画像を表示するようにしてもよい。例えば、2つの位相差画像を重畳して合成表示し、ピントがずれている場合は2重像として表示され、ピントが合った状態ではクリアに画像が表示されるようにしてもよい。