WO2016080150A1

WO2016080150A1 - 撮像装置、撮像方法及び画像処理プログラム

Info

Publication number: WO2016080150A1
Application number: PCT/JP2015/080049
Authority: WO
Inventors: 小野　修司
Original assignee: 富士フイルム株式会社
Priority date: 2014-11-20
Filing date: 2015-10-26
Publication date: 2016-05-26
Also published as: CN107005652B; JPWO2016080150A1; EP3223509A4; US10142569B2; JP6397048B2; CN107005652A; EP3223509A1; US20170257581A1

Abstract

複数の特性を有する多様レンズの各特性に対応する画像を、通常のイメージセンサと同様の構造のイメージセンサを使用して同時に撮像することができる撮像装置、撮像方法及び画像処理プログラムを提供する。撮像装置は、第１の特性を有する第１の領域と第１の特性とは異なる第２の特性を有する第２の領域とを含む多様レンズと、第１のマイクロレンズを有する第１の受光素子２５Ａと第１のマイクロレンズとは合焦度合いが異なる第２のマイクロレンズを有する第２の受光素子２５Ｂとが２次元配列されたイメージセンサと、イメージセンサの第１の受光素子２５Ａから得られる第１の混信画像及び第２の受光素子から得られる第２の混信画像からそれぞれ混信成分を除去し、多様レンズの第１の特性及び第２の特性をそれぞれ有する第１の画像及び第２の画像を生成する混信除去処理部と、を備えている。

Description

撮像装置、撮像方法及び画像処理プログラム

　本発明は撮像装置、撮像方法及び画像処理プログラムに係り、特に特性が異なる複数の画像を同時に取得可能な撮像装置、撮像方法及び画像処理プログラムに関する。

　従来、第１の特性を有する第１の領域と第１の特性とは異なる第２の特性を有する第２の領域と含む多様レンズと、多様レンズの第１の領域を通過した光束と第２の領域を通過した光束とを瞳分割して受光し、第１の特性を有する第１の画像と第２の特性を有する第２の画像とを同時に取得可能な指向性センサと、を備えた撮像装置が提案されている（特許文献１、２）。

　ここで、指向性センサは、光検出感度に角度特性を持つように構成されたものであり、特許文献１、２には、下記の指向性センサが開示されている。

　(1) 複数の受光セルに１つのマイクロレンズを割り付けることにより受光セル毎に光検出感度に角度特性を持たせた指向性センサ
　(2) 受光セルの近傍に遮光マスクを配置し、多様レンズの第１の領域を通過した光束又は第２の領域を通過した光束を遮光することにより光検出感度に角度特性を持たせた指向性センサ
　(3) 受光セル毎にプリズムとして機能するプリズム要素を設け、プリズム要素により光検出感度に角度特性を持たせた指向性センサ
　特許文献１、２に記載の撮像装置は、瞳領域の場所に応じて特性の異なる多様レンズと、光検出感度に角度特性を持つ指向性センサとを組み合わせることで、特性の異なる多様な画像を、単一の指向性センサと多様レンズとで同時に撮像することができる。

　また、一部の受光セルのみに遮光マスクを設けた指向性センサを使用し、特性の異なる多様な画像を同時に撮像することができる撮像装置が提案されている（特許文献３）。

　特許文献３に記載の撮像装置は、多様レンズの第１の領域が占める割合ａと第２の領域が占める割合ｂ（ａ＜ｂ）とが異なる多様レンズと、多様レンズの第１の領域を通過する光束のみが入射するように遮光マスクを設けた第１の受光セルと、多様レンズの第１の領域及び第２の領域を通過する光束が入射する第２の受光セルとを含む指向性センサとを備えている。そして、指向性センサの第１の受光セルから第１の領域の特性を有する第１の画像を取得し、第２の受光セルから第１、第２の特性を有する第２の画像を取得するようにしている。ここで、第２の画像には、多様レンズの第１の特性と第２の特性とが混在するが、第２の領域が占める割合ｂが第１の領域が占める割合ａよりも大きいため、主として第２の特性を有するものとなる。

　更に、特許文献１、２に記載の指向性センサは、光検出感度に角度特性を持つように構成されているものの、多様レンズの第１の領域を通過した光束と第２の領域を通過した光束とを精度よく瞳分割し、それぞれ第１の領域を通過した光束を第１の受光セルのみに入射させ、第２の領域を通過した光束を第２の受光セルのみに入射させることは困難であり、第１の画像には多様レンズの第２の領域の特性を示す混信成分が含まれ、第２の画像には第１の領域の特性を示す混信成分が含まれる。また、特許文献３に記載の指向性センサの第２の受光セルは、そもそも光検出感度に角度特性を持たないため、第２の受光セルから取得される第２の画像には、多様レンズの第１の特性を示す混信成分が含まれている。

　尚、特許文献４には、第１の画像及び第２の画像からそれぞれ混信成分を画像処理により除去・低減する方法が開示されている。また、特許文献５には、市松状（チェッカーパターン状）に配列された第１の受光セルと第２の受光セル（受光部）の受光面積が異なるカラー固体撮像装置が記載されている。

特開２０１２－２５３６７０号公報国際公開第２０１２／０４３２１２号国際公開第２０１３／０２７５０７号国際公開第２０１３／１４６５０６号特開２００５－２８６１０４号公報

　ところで、複数の受光セルにつき１つのマイクロレンズを設置するようにした指向性センサは、構造自体が通常のイメージセンサとは大きく異なり、また、大きなマイクロレンズを高精度に設置しなくてはならず、製造や調整が難しいという問題がある。

　遮光マスク又はプリズム要素を配設するようにした指向性センサは、通常のイメージセンサでは不要な遮光マスク又はプリズム要素を、個々の受光セルの構造体として追加する必要があり、これはコストの上昇や、受光セルのサイズ（画素ピッチや厚さ）の微細化の障害となるという問題がある。

　また、特許文献３に記載の撮像装置の場合、指向性センサの一部の受光セルには、遮光マスクが設けられていないが、依然として指向性センサの他の受光セルには、構造体（遮光マスク）を埋め込む必要があり、コストの上昇や、受光セルのサイズ（画素ピッチや厚さ）の微細化の障害となるという課題は解決されていない。

　一方、特許文献５に記載のカラー固体撮像装置は、市松状に配列された第１の受光セルと第２の受光セルの受光面積が異なるが、これは高感度の画像と低感度の画像とを同時に撮像し、高ダイナミックレンジの画像を生成するためである。即ち、特許文献５には、多様レンズの第１の領域の特性及び第２の領域の特性を有する第１の画像及び第２の画像を同時に撮像する発想はない。

　本発明はこのような事情に鑑みてなされたもので、複数の特性を有する多様レンズの各特性に対応する画像を、通常のイメージセンサと同様の構造のイメージセンサを使用して同時に撮像することができ、これによりイメージセンサのセンサ画素の微細化や製造工数・コストの抑制を図ることができる撮像装置、撮像方法及び画像処理プログラムを提供することを目的とする。

　上記目的を達成するために本発明の一の態様に係る撮像装置は、第１の特性を有する第１の領域と第１の特性とは異なる第２の特性を有する第２の領域とを含む多様レンズと、第１のマイクロレンズを有する第１の受光素子と第１のマイクロレンズとは合焦度合いが異なる第２のマイクロレンズを有する第２の受光素子とが２次元配列されたイメージセンサであって、多様レンズの第１の領域を通過する光束と第２の領域を通過する光束とが第１のマイクロレンズを介して混信して入射する第１の受光素子と、多様レンズの第１の領域を通過する光束と第２の領域を通過する光束とが第２のマイクロレンズを介して混信して入射し、かつ第１の受光素子とは混信比率が異なる第２の受光素子とを有するイメージセンサと、イメージセンサの第１の受光素子から得られる第１の混信画像及び第２の受光素子から得られる第２の混信画像からそれぞれ混信成分を除去し、多様レンズの第１の特性及び第２の特性をそれぞれ有する第１の画像及び第２の画像を生成する混信除去処理部と、を備えている。

　本発明の一の態様によれば、多様レンズの第１の領域を通過する光束と第２の領域を通過する光束とが混信してイメージセンサの第１の受光素子と第２の受光素子とに入射することを許容し、その一方、イメージセンサの第１の受光素子に対応して設けられた第１のマイクロレンズと、第２の受光素子に対応して設けられた第２のマイクロレンズとの合焦度合いを異ならせ、その結果、第１の受光素子と第２の受光素子との混信比率が異なるようにしている。そして、イメージセンサの第１の受光素子から得られる第１の混信画像及び第２の受光素子から得られる第２の混信画像からそれぞれ混信成分を除去し、多様レンズの第１の特性及び第２の特性をそれぞれ有する第１の画像及び第２の画像を生成するようにしている。本発明に係るイメージセンサは、第１の受光素子に対して設けられた第１のマイクロレンズと、第２の受光素子に対して設けられた第２のマイクロレンズとの合焦度合いが異なるものの、通常のイメージセンサと比較して追加構造がなく、センサ画素の微細化や製造工数・コストの抑制が可能である。尚、ここでいう「特性」という表現は、「光学特性」という意味を包含する概念である。

　本発明の他の態様に係る撮像装置は、第１の特性を有する第１の領域と第１の特性とは異なる第２の特性を有する第２の領域とを含む多様レンズと、マイクロレンズを有する第１の受光素子とマイクロレンズを有しない第２の受光素子とが２次元配列されたイメージセンサであって、多様レンズの第１の領域を通過する光束と第２の領域を通過する光束とがマイクロレンズを介して混信して入射する第１の受光素子と、多様レンズの第１の領域を通過する光束と第２の領域を通過する光束とが混信して入射し、かつ第１の受光素子とは混信比率が異なる第２の受光素子とを有するイメージセンサと、イメージセンサの第１の受光素子から得られる第１の混信画像及び第２の受光素子から得られる第２の混信画像からそれぞれ混信成分を除去し、多様レンズの第１の特性及び第２の特性をそれぞれ有する第１の画像及び第２の画像を生成する混信除去処理部と、を備えている。

　マイクロレンズを有しない第２の受光素子には、多様レンズの第１の領域を通過する光束及び第２の領域を通過する光束に対する結像・集光作用がないため、マイクロレンズを有する第１の受光素子とマイクロレンズを有しない第２の受光素子とは、多様レンズの瞳像の受光面上での合焦度合いが異なるものとなり、その結果、第１の受光素子及び第２の受光素子に入射する第１の領域を通過する光束と第２の領域を通過する光束との混信比率も異なる。従って、イメージセンサの第１の受光素子から得られる第１の混信画像及び第２の受光素子から得られる第２の混信画像からそれぞれ混信成分を除去することで、多様レンズの第１の特性及び第２の特性をそれぞれ有する第１の画像及び第２の画像を生成することができる。

　本発明の更に他の態様に係る撮像装置において、混信除去処理部は、第１の混信画像及び第２の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、第１の混信画像及び第２の混信画像とに基づいて第１の画像及び第２の画像を算出することが好ましい。尚、検出ゲイン分布及び混信ゲイン分布は、多様レンズの第１の特性を有する第１の領域を通過した撮像光及び第２の特性を有する第２の領域光学系を通過した撮像光の各々に関する分布情報である。検出ゲイン分布は、本来意図した受光素子によって適切に受光された撮像光の分布（情報データ）を示す。例えば「第１の領域に対応する第１の受光素子によって受光される撮像光のうち、第１の領域を通過した撮像光の分布（情報データ）」及び「第２の領域に対応する第２の受光素子によって受光される撮像光のうち、第２の領域を通過した撮像光の分布（情報データ）」によって検出ゲイン分布が表される。一方、混信ゲイン分布は、第１の受光素子及び第２の受光素子において、本来意図していない不適切に受光された撮像光の分布（情報データ）を示す。例えば「第１の領域に対応する第１の受光素子によって受光される撮像光のうち、第２の領域を通過した撮像光の分布（情報データ）及び「第２の領域に対応する第２の受光素子によって受光される撮像光のうち、第１の領域を通過した撮像光の分布（情報データ）」によって混信ゲイン分布が表される。

　本発明の更に他の態様に係る撮像装置において、第１のマイクロレンズ及び第２のマイクロレンズは、それぞれ第１の受光素子毎及び第２の撮像素子毎に１つずつ設けられ、第１のマイクロレンズは、多様レンズの瞳像を第１の受光素子の受光面上に第１の合焦度合いで結像させ、第２のマイクロレンズは、多様レンズの瞳像を第２の受光素子の受光面上に第１の合焦度合いとは異なる第２の合焦度合いで結像させる。第１のマイクロレンズと第２のマイクロレンズとは合焦度合いが異なるため、第１のマイクロレンズを介して第１の受光素子の受光面に入射する多様レンズの第１の領域を通過する光束と第２の領域を通過する光束との混信比率と、第２のマイクロレンズを介して第２の受光素子の受光面に入射する多様レンズの第１の領域を通過する光束と第２の領域を通過する光束との混信比率とが異なる。各受光素子の受光面上の多様レンズの瞳像は、合焦度合い応じて大きさが変化するからである。尚、各受光素子の受光面上の多様レンズの瞳像は、合焦度合いが低い程、ボケて大きくなる。

　本発明の更に他の態様に係る撮像装置において、第１のマイクロレンズと第２のマイクロレンズとは、それぞれ曲率半径及び第１の受光素子の受光面及び第２の受光素子の受光面からの距離のうちの少なくとも一方が異なるものである。

　本発明の更に他の態様に係る撮像装置において、イメージセンサは、裏面照射型イメージセンサであることが好ましい。裏面照射型イメージセンサは、画素サイズの微細化に有利であるのみならず、光利用効率が高くため、高感度化にとっても有利である。尚、裏面照射型イメージセンサは、受光部の入射面側に回路層がないため、回路層の一部を遮光マスクに利用する従来技術を適用することができないが、本発明に係るイメージセンサは、遮光マスクを使用しないため、裏面照射型イメージセンサに適用することができる。

　本発明の更に他の態様に係る撮像装置において、多様レンズは、第１の特性を有する第１の領域に対応する第１の光学系と、第２の特性を有する第２の領域に対応する第２の光学系とを含むことが好ましい。

　本発明の更に他の態様に係る撮像装置において、第１の光学系と第２の光学系とは、光軸が共通していることが好ましく、第１の光学系は円形の中央光学系であり、第２の光学系は中央光学系に対して同心円状に配設された環状光学系であることが更に好ましい。第１の光学系及び第２の光学系をそれぞれ回転対称の光学系にすることで、第１の画像と第２の画像との間に視差が発生せず、かつ回転対称でない光学系に比べて画質のよい第１の画像及び第２の画像を取得することができる。

　本発明の更に他の態様に係る撮像装置において、第１の光学系と第２の光学系とは、それぞれ焦点距離、合焦距離及び変調伝達関数特性のうちの少なくとも１つが異なることが好ましい。

　更に他の態様に係る発明は、第１の特性を有する第１の領域と第１の特性とは異なる第２の特性を有する第２の領域とを含む多様レンズと、第１のマイクロレンズを有する第１の受光素子と第１のマイクロレンズとは合焦度合いが異なる第２のマイクロレンズを有する第２の受光素子とが２次元配列されたイメージセンサであって、多様レンズの第１の領域を通過する光束と第２の領域を通過する光束とが第１のマイクロレンズを介して混信して入射する第１の受光素子と、多様レンズの第１の領域を通過する光束と第２の領域を通過する光束とが第２のマイクロレンズを介して混信して入射し、かつ第１の受光素子とは混信比率が異なる第２の受光素子とを有するイメージセンサと、を備えた撮像装置における撮像方法であって、撮像装置により同時に撮像された第１の混信画像及び第２の混信画像であって、イメージセンサの第１の受光素子により光電変換された第１の混信画像と、第２の受光素子により光電変換された第２の混信画像とを取得するステップと、取得した第１の混信画像及び第２の混信画像からそれぞれ混信成分を除去し、多様レンズの第１の特性及び第２の特性をそれぞれ有する第１の画像及び第２の画像を生成するステップと、を含んでいる。

　更に他の態様に係る発明は、第１の特性を有する第１の領域と第１の特性とは異なる第２の特性を有する第２の領域とを含む多様レンズと、マイクロレンズを有する第１の受光素子とマイクロレンズを有しない第２の受光素子とが２次元配列されたイメージセンサであって、多様レンズの第１の領域を通過する光束と第２の領域を通過する光束とがマイクロレンズを介して混信して入射する第１の受光素子と、多様レンズの第１の領域を通過する光束と第２の領域を通過する光束とが混信して入射し、かつ第１の受光素子とは混信比率が異なる第２の受光素子とを有するイメージセンサと、を備えた撮像装置における撮像方法であって、撮像装置により同時に撮像された第１の混信画像及び第２の混信画像であって、イメージセンサの第１の受光素子により光電変換された第１の混信画像と、第２の受光素子により光電変換された第２の混信画像とを取得するステップと、取得した第１の混信画像及び第２の混信画像からそれぞれ混信成分を除去し、多様レンズの第１の特性及び第２の特性をそれぞれ有する第１の画像及び第２の画像を生成するステップと、を含んでいる。

　本発明の更に他の態様に係る撮像方法において、第１の画像及び第２の画像を生成するステップは、第１の混信画像及び第２の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、第１の混信画像及び第２の混信画像とに基づいて第１の画像及び第２の画像を算出することが好ましい。

　更に他の態様に係る発明は、第１の特性を有する第１の領域と第１の特性とは異なる第２の特性を有する第２の領域とを含む多様レンズと、第１のマイクロレンズを有する第１の受光素子と第１のマイクロレンズとは合焦度合いが異なる第２のマイクロレンズを有する第２の受光素子とが２次元配列されたイメージセンサであって、多様レンズの第１の領域を通過する光束と第２の領域を通過する光束とが第１のマイクロレンズを介して混信して入射する第１の受光素子と、多様レンズの第１の領域を通過する光束と第２の領域を通過する光束とが第２のマイクロレンズを介して混信して入射し、かつ第１の受光素子とは混信比率が異なる第２の受光素子とを有するイメージセンサと、を備えた撮像装置の画像処理プログラムであって、撮像装置により同時に撮像された第１の混信画像及び第２の混信画像であって、イメージセンサの第１の受光素子により光電変換された第１の混信画像と、第２の受光素子により光電変換された第２の混信画像とを取得するステップと、取得した第１の混信画像及び第２の混信画像からそれぞれ混信成分を除去し、多様レンズの第１の特性及び第２の特性をそれぞれ有する第１の画像及び第２の画像を生成するステップと、をコンピュータに実現させる。

　更に他の態様に係る発明は、第１の特性を有する第１の領域と第１の特性とは異なる第２の特性を有する第２の領域とを含む多様レンズと、マイクロレンズを有する第１の受光素子とマイクロレンズを有しない第２の受光素子とが２次元配列されたイメージセンサであって、多様レンズの第１の領域を通過する光束と第２の領域を通過する光束とがマイクロレンズを介して混信して入射する第１の受光素子と、多様レンズの第１の領域を通過する光束と第２の領域を通過する光束とが混信して入射し、かつ第１の受光素子とは混信比率が異なる第２の受光素子とを有するイメージセンサと、を備えた撮像装置の画像処理プログラムであって、撮像装置により同時に撮像された第１の混信画像及び第２の混信画像であって、イメージセンサの第１の受光素子により光電変換された第１の混信画像と、第２の受光素子により光電変換された第２の混信画像とを取得するステップと、取得した第１の混信画像及び第２の混信画像からそれぞれ混信成分を除去し、多様レンズの第１の特性及び第２の特性をそれぞれ有する第１の画像及び第２の画像を生成するステップと、をコンピュータに実現させる。

　本発明の更に他の態様に係る画像処理プログラムにおいて、第１の画像及び第２の画像を生成するステップは、第１の混信画像及び第２の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、第１の混信画像及び第２の混信画像とに基づいて第１の画像及び第２の画像を算出することが好ましい。

　本発明によれば、複数の特性を有する多様レンズの各特性に対応する画像を、単一のイメージセンサを使用して同時に撮像することができ、特に本発明に係るイメージセンサは、通常のイメージセンサと同様の構造にすることができるため（追加構造が不要であるため）、センサ画素の微細化や製造工数・コストの抑制を図ることができる。

図１は本発明を適用可能なデジタルカメラ（撮像装置）の一例を示す斜視図である。図２は本発明を適用可能な自動追尾撮像装置（撮像装置）の一例を示す斜視図である。図３は第１実施形態に係る多様レンズの断面構成を示す。図４は本実施形態のイメージセンサの要部を拡大した断面図である。図５は図３に示すイメージセンサの断面構成例を示す図である。図６は図３に示した多様レンズ（特に第１の光学系）及びイメージセンサに入射する広角像の光束の光路を示す図である。図７は図３に示した多様レンズ（特に第２の光学系）及びイメージセンサに入射する望遠像の光束の光路を示す図である。図８は図４に示したイメージセンサに広角像の光路と望遠像の光路とを追記した図である。図９は真の広角像、真の望遠像、第１の混信画像、第２の混信画像、及び検出ゲイン分布及び混信ゲイン分布によって構成される行列の関係を示す図である。図１０はメージセンサから取得される第１の混信画像、及び第２の混信画像から混信除去像（真の広角像、真の望遠像）を算出する方法を示す概念図である。図１１は本実施形態のイメージセンサを使用して第１の混信画像、及び第２の混信画像を取得し、混信除去方法により混信除去像（真の広角像、真の望遠像）を取得したシミュレーション結果を示す図である。図１２は混信を除去した第１の画像（真の広角像）及び第２の画像（真の望遠像）を算出する式（１）を示す図である。図１３は図１２に示した式（１）中の「Ｗ１」を構成する要素ｗ1_11～ｗ1_mnを示す図である。図１４は図１２に示した式（１）に基づいて導出される第１の画像（真の広角像）を構成する画素成分（画素値）に対応する要素「ｗ1_ij」を算出する式（２）を示す図である。図１５は図１２に示した式（１）に基づいて導出される第２の画像（真の望遠像）を構成する画素成分（画素値）に対応する要素「ｔ1_ij」を算出する式（３）を示す図である。図１６は図１及び図２に示した撮像装置の要部の内部構成を示すブロック図である。図１７は第２実施形態に係る多様レンズを使用した撮像メカニズムを説明するための図である。図１８は第３実施形態に係る多様レンズの第１の光学系と第２の光学系の変調伝達関数特性（ＭＴＦ：Modulation Transfer Function）を示すグラフである。図１９は他の実施形態のイメージセンサの要部を拡大した断面図である。図２０は更に他の実施形態のイメージセンサの要部を拡大した断面図である。図２１は本発明の撮像装置の一実施形態であるスマートフォンの外観を示す図である。図２２は図２１に示すスマートフォンの構成を示すブロック図である。

　以下、図面を参照して本発明の実施形態について説明する。

　本発明は、複数種類の光学特性を有する多様レンズを使って複数種類の画像を撮像可能な撮像装置、撮像方法及びそれらの応用技術に対して広く適用可能であり、その適用可能な技術分野は特に限定されない。例えば、ユーザ操作に応じて撮像を行う撮像装置だけではなく、自動的に撮像を行う撮像装置に対しても本発明は適用可能であり、また静止画を撮像する撮像装置だけではなく、動画を撮像する撮像装置に対しても本発明は適用可能である。

　図１は、本発明を適用可能なデジタルカメラ１０（撮像装置３０）の一例を示す斜視図である。図１に示す例では、デジタルカメラ１０のカメラ本体の前面に多様レンズ１１及びフラッシュ１３等が設けられ、カメラ本体の上面にレリーズボタン１２等が設けられている。図１の符号「Ｌ」は、多様レンズ１１の光軸を表す。

　図２は、本発明を適用可能な自動追尾撮像装置１４（撮像装置３０）の一例を示す斜視図である。図２に示す自動追尾撮像装置１４では、ギア１９を含む保持部１８と保持部１８に取り付けられた多様レンズ１１とが、装置本体１５上に設けられる台座１６に固定的に据え付けられている。台座１６は、装置本体１５の垂直方向Ｚの軸を中心に回転自在に設けられており、図示しないパン駆動部により垂直方向Ｚの軸を中心にしたパン動作が行われる。ギア１９は水平方向Ｘの軸と同軸上に設けられ、図示しないチルト駆動部からギア１９を介して駆動力が伝達されることにより、多様レンズ１１が上下方向に回動させられてチルト動作が行われる。これらの多様レンズ１１、保持部１８（ギア１９）及び台座１６は、防塵及び防滴用のドームカバー１７によって覆われている。

　以下に説明する本発明の各実施形態及び各変形例は、例えば図１に示すようなデジタルカメラ１０に対して適用されてもよいし、図２に示すような自動追尾撮像装置１４に対して適用されてもよい。

　＜第１実施形態＞
　図３は、第１実施形態に係る多様レンズ１１及びイメージセンサ２４の断面構成を示す図である。

　多様レンズ１１は、第１の特性を有する第１の領域と第１の特性とは異なる第２の特性を有する第２の領域とを含み、本実施形態では、第１の領域に対応する第１の光学系２１と、第２の領域に対応する第２の光学系２２とから構成されている。また、第１の光学系２１と第２の光学系２２とは、焦点距離（光学特性）が異なり、かつ光軸Ｌが共通しており、第１の光学系２１は広角レンズであり、第２の光学系２２は望遠レンズである。なお、上述したように、第１実施形態に係る多様レンズ１１における異なる光学特性（第１の特性と第１の特性とは異なる第２の特性）は、焦点距離が異なる（望遠・広角）ことに係る光学特性であるが、本発明の構成はそれに限定されるものではなく、異なる光学特性の例としては、例えば、合焦距離（ピント位置）が異なる場合や、透過波長域が異なる（可視光と赤外光など。その他に、多層膜コーティングにより透過波長域が異ならせたり、色素で色をつけることにより透過波長域が異ならせたりするなど）場合などの異なる光学特性を含むものである。

　図３に示す第１の光学系（広角レンズ）２１は、同一の光軸Ｌ上に配置される第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、第４広角用レンズ２１ｄ及び共通レンズ２３を含む。一方、第２の光学系（望遠レンズ）２２は、第１望遠用レンズ２２ａ、第１望遠用反射ミラー２２ｃが設けられる第１望遠用反射体２２ｂ、第２望遠用反射ミラー２２ｅが設けられる第２望遠用反射体２２ｄ、及び共通レンズ２３を含む。第１の光学系２１（特に第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ及び第４広角用レンズ２１ｄ）が、円形の中央光学系を形成する。一方、第２の光学系２２（特に第１望遠用レンズ２２ａ、第１望遠用反射体２２ｂ、第１望遠用反射ミラー２２ｃ、第２望遠用反射体２２ｄ及び第２望遠用反射ミラー２２ｅ）は、第１の光学系２１が形成する中央光学系の周辺部において設けられ、第１の光学系２１が形成する中央光学系に対して同心円状に配設された環状光学系を形成する。尚、共通レンズ２３は、光軸Ｌ上に配置され、第１の光学系２１と第２の光学系２２との間で共用される。

　このように第２の光学系２２は、第１の光学系２１を構成するレンズ群（第１広角用レンズ２１ａ～第４広角用レンズ２１ｄ及び共通レンズ２３）の周辺に設けられるレンズ群（第１望遠用レンズ２２ａ及び共通レンズ２３）及び反射ミラー群（第１望遠用反射ミラー２２ｃ（第１望遠用反射体２２ｂ）及び第２望遠用反射ミラー２２ｅ（第２望遠用反射体２２ｄ））を含み、第１の光学系２１と同一の光軸Ｌを有するが、第１の光学系２１とは異なる焦点距離を有する。

　イメージセンサ２４は、光軸Ｌと垂直を形成する方向に関し、複数の受光素子（「受光セル」又は「受光センサ」ともいう）２５が２次元的に配置されることで構成され、特に本実施形態のイメージセンサ２４は、複数の受光素子２５として、図４に示すように第１のマイクロレンズ２９Ａと第２のマイクロレンズ２９Ｂとの曲率半径（合焦度合い）が異なる第１の受光素子２５Ａと第２の受光素子２５Ｂとが、市松状（チェッカーパターン状）に配列されて構成されている。

　図４はイメージセンサ２４の要部を拡大した断面図であり、第１の受光素子２５Ａと第２の受光素子２５Ｂとを示している。

　図４に示すイメージセンサ２４は、第１のフォトダイオード２６Ａ及び第２のフォトダイオード２６Ｂの受光面（表面）側に、第１のフォトダイオード２６Ａ及び第２のフォトダイオード２６Ｂに蓄積される電荷に対応する画像信号を読み出すための配線等が形成された配線層２７が設けられた、表面照射型イメージセンサである。また、配線層２７の入射面側には、平滑化層２８Ａ、２８Ｂが設けられ、平滑化層２８Ａ、２８Ｂの入射面側には、第１のマイクロレンズ２９Ａ、第２のマイクロレンズ２９Ｂ（オンチップマイクロレンズ）が形成されている。

　第１のマイクロレンズ２９Ａ及び第２のマイクロレンズ２９Ｂは、第１の受光素子２５Ａ毎及び第２の受光素子２５Ｂ毎にそれぞれ１つ設けられており、第１のマイクロレンズ２９Ａ及び第２のマイクロレンズ２９Ｂに入射する広角像の光及び望遠像の光（多様レンズ１１の瞳像）を第１のフォトダイオード２６Ａ及び第２のフォトダイオード２６Ｂの受光面に、それぞれ異なる合焦度合い（第１の合焦度合い及び第２の合焦度合い）で結像させる（図８参照）。

　尚、第１のマイクロレンズ２９Ａ及び第２のマイクロレンズ２９Ｂに入射する入射光線は、イメージセンサ２４の中心からの距離（像高）に応じて入射角が変化するため、第１のマイクロレンズ２９Ａ及び第２のマイクロレンズ２９Ｂは、イメージセンサ２４上の位置（像高）に応じて受光素子２５に対してわずかにシフトして配置（スケーリング）することが好ましい。また、イメージセンサ２４は、平滑化層２８Ａ、２８Ｂに代えて、又は平滑化層２８Ａ，２８Ｂと第１のマイクロレンズ２９Ａ、第２のマイクロレンズ２９Ｂとの間に、例えば赤、緑、青の各色のフィルタを形成し、カラーイメージセンサとして構成してもよい。

　図５は、図３に示すイメージセンサ２４の断面構成例を示す図である。

　本例のイメージセンサ２４を構成する複数の受光素子２５は、図４に示したように第１のマイクロレンズ２９Ａを有する第１の受光素子２５Ａと、第２のマイクロレンズ２９Ｂを有する第２の受光素子２５Ｂとを含み、これらの第１の受光素子２５Ａ及び第２の受光素子２５Ｂは２次元的に交互に配置されている。

　このイメージセンサ２４からは、第１の受光素子２５Ａのグループの画素信号と、第２の受光素子２５Ｂのグループの画素信号とが区別して読み出され、第１の受光素子２５Ａのグループの画素信号、及び第２の受光素子２５Ｂのグループの画素信号は、後述するように第１の混信画像のセンサ出力及び第２の混信画像のセンサ出力として取得される。

　図６は、図３に示した多様レンズ１１（特に第１の光学系２１）及びイメージセンサ２４に入射する広角像Ｗの光束の光路を示す図である。本実施形態において広角像Ｗは、第１の光学系２１の第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、第４広角用レンズ２１ｄ及び共通レンズ２３を順次通過し、イメージセンサ２４上に結像する。

　図７は、図３に示した多様レンズ１１（特に第２の光学系２２）及びイメージセンサ２４に入射する望遠像Ｔの光束の光路を示す図である。本実施形態において望遠像Ｔは、第１望遠用レンズ２２ａを通過（透過）し、第１望遠用反射ミラー２２ｃ及び第２望遠用反射ミラー２２ｅの各々により反射された後に共通レンズ２３を通過し、イメージセンサ２４上に結像する。このように、第１望遠用反射ミラー２２ｃ及び第２望遠用反射ミラー２２ｅの各々により反射されて光路が折り返されることにより、焦点距離の長い望遠像撮像用の第２の光学系２２の光軸Ｌの方向に関する長さを短くすることができる。

　図６及び図７に示したように広角像Ｗの光束と望遠像Ｔの光束とは、イメージセンサ２４に入射する角度が異なる。

　図８は、図４に示したイメージセンサ２４に広角像Ｗの光路Ｐ_Ｗと望遠像Ｔの光路Ｐ_Ｔとを追記した図である。

　第１の受光素子２５Ａと第２の受光素子２５Ｂとは、後述するように第１のマイクロレンズ２９Ａと第２のマイクロレンズ２９Ｂとの曲率半径（焦点距離）が異なり、その結果、受光素子２５の受光面上に結像される多様レンズ１１の瞳像の合焦度合いが異なるため、受光感度特性も異なる。本例では、第１の受光素子２５Ａに対して設けられた第１のマイクロレンズ２９Ａは、第１の受光素子２５Ａの受光面上で多様レンズ１１の瞳像のピントが合うように瞳像を結像させるのに対し、第２の受光素子２５Ｂに対して設けられた第２のマイクロレンズ２９Ｂは、第２の受光素子２５Ｂの受光面上で多様レンズ１１の瞳像のピントが外れるように瞳像を結像させる。

　図８に示した第１の受光素子２５Ａの第１のフォトダイオード２６Ａ及び第２の受光素子２５Ｂの第２のフォトダイオード２６Ｂには、それぞれ瞳像の中央部の光（即ち、広角像Ｗの光）が、瞳像の周辺部の光（望遠像Ｔの光）よりも多く入射するが、第１の受光素子２５Ａでは、多様レンズ１１の瞳像が第１のフォトダイオード２６Ａに合焦しているため、第２の受光素子２５Ｂに比べて、より多く瞳像の中央部の光（即ち、広角像Ｗの光）が第１のフォトダイオード２６Ａに入射している。

　即ち、イメージセンサ２４の第１の受光素子２５Ａ及び第２の受光素子２５Ｂには、それぞれ広角像Ｗの光束と望遠像Ｔの光束とが混信して入射するが、第１の受光素子２５Ａと第２の受光素子２５Ｂとは混信比率が異なり、第１の受光素子２５Ａでは、広角像Ｗに対する望遠像Ｔの混信比率が小さく、第２の受光素子２５Ｂでは、広角像Ｗに対する望遠像Ｔの混信比率が第１の受光素子２５Ａよりも大きい。

　図５に示したようにイメージセンサ２４に含まれる複数の第１の受光素子２５Ａと、複数の第２の受光素子２５Ｂとからは、上記のように広角像Ｗと望遠像Ｔとの混信比率がそれぞれ異なる第１の混信画像と第２の混信画像とを示すセンサ出力を取得することができる。

　ここで、イメージセンサ２４に含まれる複数の第１の受光素子２５Ａから得られる第１の混信画像をセンサ出力Ｗ２とし、イメージセンサ２４に含まれる複数の第２の受光素子２５Ｂから得られる第２の混信画像をセンサ出力Ｔ２とすると、これらのセンサ出力Ｗ２，Ｔ２（第１の混信画像、第２の混信画像）から混信成分を除去する混信除去処理を行うことで、混信のない所望の第１の画像（広角像Ｗ１）及び第２の画像（望遠像Ｔ１）を得ることができる。

　［混信除去方法］
　次に、本発明に適用可能な混信除去方法について説明する。

　図９は、真の広角像Ｗ１（Ｗ１_ｉｊ）、真の望遠像Ｔ１（Ｔ１_ｉｊ）、センサ出力Ｗ２（Ｗ２_ｉｊ）、センサ出力Ｔ２（Ｔ２_ｉｊ）、及び検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの関係を示す図である。尚、添え字のｉ，ｊは、２次元の画像上の画素位置を示す。

　図９に示すようにイメージセンサ２４（第１の受光素子２５Ａ及び第２の受光素子２５Ｂ）から出力されるセンサ出力Ｗ２、及びセンサ出力Ｔ２は、「広角真信号の検出ゲイン分布Ａ（Ａ_ｉｊ），望遠真信号の検出ゲイン分布Ｄ（Ｄ_ｉｊ），及び広角像に対する望遠像の混信ゲイン分布Ｂ（Ｂ_ｉｊ），望遠像に対する広角像の混信ゲイン分布Ｃ（Ｃ_ｉｊ）によって構成される行列Ｍ」と、「第１の光学系２１及び第２の光学系２２の各々を通過した広角像Ｗのみ，及び望遠像Ｔのみによって生成される真の広角像Ｗ１及び真の望遠像Ｔ１」との積で表される。

　検出ゲイン分布Ａ，Ｄ及び混信ゲイン分布Ｂ，Ｃによって構成される行列Ｍは、図９に示すように２×２行列である。

　イメージセンサとしては、検出ゲイン分布Ａ，Ｄがそれぞれ１であり、混信ゲイン分布Ｂ，Ｃがそれぞれ０であることが理想であり、理想のイメージセンサであれば、センサ出力Ｗ２は、真の広角像Ｗ１と一致し、センサ出力Ｔ２は、真の望遠像Ｔ１と一致する。

　しかし、本実施形態のイメージセンサ２４（理想特性を有しないイメージセンサ）であっても、行列Ｍの逆行列Ｍ^－１が存在すれば、イメージセンサ２４から取得されるセンサ出力Ｗ２（第１の混信画像）、及びセンサ出力Ｔ２（第２の混信画像）から混信成分を除去し、真の広角像Ｗ１（第１の画像）、真の望遠像Ｔ１（第２の画像）を得ることができる。

　仮に、Ｃ＝０．５、Ｄ＝０．５のように、センサ出力Ｔ２に含まれる広角像と望遠像の成分が均等の場合（つまり、第２の受光素子２５Ｂに広角像と望遠像との分離能力がない場合）であっても、Ａ≠Ｂでありさえすれば、ＡＤ－ＢＣ≠０（行列Ｍの逆行列Ｍ^－１が存在する条件）を満たし、センサ出力Ｗ２及びセンサ出力Ｔ２から混信成分を除去することができる。

　図１０は、イメージセンサ２４から取得されるセンサ出力Ｗ２、及びセンサ出力Ｔ２から混信除去像（真の広角像Ｗ１、真の望遠像Ｔ１）を算出する方法を示す概念図である。

　真の広角像Ｗ１、真の望遠像Ｔ１は、センサ出力Ｗ２、センサ出力Ｔ２、及び図９に示した行列Ｍの逆行列Ｍ^－１に基づいて、図１２に示す式（１）により算出することができる。

　尚、式（１）において、逆行列Ｍ^－１を構成するＡ，Ｂ，Ｃ，Ｄは、前述したように広角真信号の検出ゲイン分布Ａ，広角像に対する望遠像の混信ゲイン分布Ｂ、望遠像に対する広角像の混信ゲイン分布Ｃ、及び望遠真信号の検出ゲイン分布Ｄであり、図１０に示す例では、Ａ＝０．７、Ｂ＝０．３、Ｃ＝０．５、Ｄ＝０．５の場合に関して示している。

　図１１は、本実施形態のイメージセンサ２４を使用してセンサ出力Ｗ２（第１の混信画像）、及びセンサ出力Ｔ２（第２の混信画像）を取得し、上記混信除去方法により混信除去像（真の広角像Ｗ１、真の望遠像Ｔ１）を取得したシミュレーション結果を示す図である。

　本実施形態のイメージセンサ２４の各部のサイズ等は、以下の通りである。

　第１のマイクロレンズ２９Ａの曲率半径：３．７μｍ
　第２のマイクロレンズ２９Ｂの曲率半径：５．０μｍ
　第１のマイクロレンズ２９Ａ及び第２のマイクロレンズ２９Ｂの屈折率：１．５５
　第１のマイクロレンズ２９Ａの頂点と第１のフォトダイオード２６Ａの入射面との距離：９．１μｍ
　第２のマイクロレンズ２９Ｂの頂点と第２のフォトダイオード２６Ｂの入射面との距離：９．１μｍ
　第１の受光素子２５Ａと第２の受光素子２５Ｂとの間隔（画素ピッチ）：７μｍ
　第１の受光素子２５Ａの第１のフォトダイオード２６Ａの開口サイズ／画素ピッチ：３２％
　第２の受光素子２５Ｂの第２のフォトダイオード２６Ｂの開口サイズ／画素ピッチ：３２％
　図１１（Ａ１）及び（Ａ２）は、第１の受光素子２５Ａの第１のマイクロレンズ２９Ａ及び第２の受光素子２５Ｂの第２のマイクロレンズ２９Ｂにより結像される多様レンズ１１の瞳像と、第１の受光素子２５Ａの第１のフォトダイオード２６Ａ及び第２の受光素子２５Ｂの第２のフォトダイオード２６Ｂのそれぞれの開口Ｏとの関係を示している。

　図１１（Ａ１）に示すように第１の受光素子２５Ａの第１のマイクロレンズ２９Ａにより結像される多様レンズ１１の瞳像はピントが合っており、図１１（Ａ２）に示すように第２の受光素子２５Ｂの第２のマイクロレンズ２９Ｂにより結像される多様レンズ１１の瞳像はピントが外れ、図１１（Ａ１）に示した瞳像よりもボケて大きくなっている。

　本例では、第１の受光素子２５Ａから得られるセンサ出力Ｗ２の広角真信号の検出ゲイン分布Ａは、Ａ＝０．４０２９あり、広角像に対する望遠像の混信ゲイン分布Ｂは、Ｂ＝０．０６５４である。また、第２の受光素子２５Ｂから得られるセンサ出力Ｔ２の望遠像に対する広角像の混信ゲイン分布Ｃは、Ｃ＝０．３７０５であり、望遠像真信号の検出ゲイン分布Ｄは、Ｄ＝０．１６１２である。

　図１１（Ｂ１）及び（Ｂ２）は、それぞれセンサ出力Ｗ２（第１の混信画像）、及びセンサ出力Ｔ２（第２の混信画像）を示している。同図に示すように、第１の受光素子２５Ａの第１のフォトダイオード２６Ａ及び第２の受光素子２５Ｂの第２のフォトダイオード２６Ｂによる多様レンズ１１の瞳像の合焦度合いの違いにより、第１の混信画像と第２の混信画像とは、広角像Ｗに対する望遠像Ｔの混信比率が異なる。

　図１１（Ｃ１）及び（Ｃ２）は、それぞれ混信が除去された真の広角像Ｗ１及び真の望遠像Ｔ１を示している。

　真の広角像Ｗ１及び真の望遠像Ｔ１は、センサ出力Ｗ２及びセンサ出力Ｔ２のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列Ｍ^－１と、センサ出力Ｗ２及びセンサ出力Ｔ２とに基づいて、図１２に示す式（１）により算出することができる。

　図１３は、図１２に示した式（１）中の「Ｗ１」を構成する要素ｗ1_11～ｗ1_mnを示す。即ち「Ｗ１」は、真の広角像Ｗ１の画素成分（画素値）に対応する要素ｗ1_11～ｗ1_mnによって構成される。

　同様に、図１２に示す「Ｗ２」、「Ｔ１」及び「Ｔ２」も、それぞれセンサ出力Ｗ２、真の望遠像Ｔ１及びセンサ出力Ｔ２の画素成分（画素値）に対応する要素ｗ2_11～ｗ2_mn、ｔ1_11～ｔ1_mn及びｔ2_11～ｔ2_mnによって構成される（図示省略）。

　また、図１１に示したシミュレーションでは、図１２に示す式（１）中の逆行列Ｍ^－１を構成するゲイン分布Ａ～Ｄを、Ａ＝０．４０２９、Ｂ＝０．０６５４、Ｃ＝０．３７０５、Ｄ＝０．１６１２としたが、厳密にはゲイン分布Ａ～Ｄは、イメージセンサ２４の場所毎に異なるので、各場所での行列・逆行列（画素数分だけ存在）を使って、真の画像を求めることが好ましい。即ち、逆行列Ｍ^－１を構成するゲイン分布Ａ～Ｄも、それぞれ広角像及び望遠像の各画素に応じて定められる要素ａ11～ａmn、ｂ11～ｂmn、ｃ11～ｃmn及びｄ11～ｄmnによって構成することが好ましい（図示省略）。

　図１４は、図１２に示した式（１）に基づいて導出される真の広角像Ｗ１を構成する画素成分（画素値）に対応する要素「ｗ1_ij」を算出する式（２）を示す。同様に、図１５は、図１２に示した式（１）に基づいて導出される真の望遠像Ｔ１を構成する画素成分（画素値）に対応する要素「ｔ1_ij」を算出する式（３）を示す。

　＜撮像装置の内部構成＞
　図１６は、図１及び図２に示した撮像装置３０の要部の内部構成を示すブロック図である。

　図１６に示すように撮像装置３０は、主として前述した多様レンズ１１及びイメージセンサ２４の他に、画像取得部３２、混信除去処理部３４、及びデジタル信号処理部３６等を備えている。画像取得部３２、混信除去処理部３４、及びデジタル信号処理部３６等は、例えば、図１で示されるデジタルカメラや図２０で示されるスマートフォン内部にある、1つ又は複数のマイクロプロセッサによって実現される。

　多様レンズ１１の第１の光学系２１及び第２の光学系２２により撮像される広角像及び望遠像は、イメージセンサ２４の受光面に結像され、各フォトダイオード２６Ａ，２６Ｂにより入射光量に応じた電荷量の信号電圧（または電荷）に変換される。

　イメージセンサ２４に蓄積された信号電圧（または電荷）は、各受光素子２５そのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧（または電荷）は、Ｘ－Ｙアドレス方式を用いたＭＯＳ(Metal Oxide Semiconductor)型イメージセンサ（いわゆるＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ）の手法を用いて、受光素子２５の位置の選択とともに読み出される。

　これにより、イメージセンサ２４に含まれる複数の第１の受光素子２５Ａから第１の混信画像を示す画像信号（センサ出力Ｗ２）と、イメージセンサ２４に含まれる複数の第２の受光素子２５Ｂから第２の混信画像を示す画像信号（センサ出力Ｔ２）とを読み出すことができる。

　イメージセンサ２４から読み出された画像信号（電圧信号）は、相関二重サンプリング処理（センサ出力に含まれるノイズ（特に熱雑音）等を軽減することを目的として、受光素子毎の出力信号に含まれるフィードスルー成分レベルと信号成分レベルとの差をとることにより正確な画素データを得る処理）により受光素子毎の画像信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ(Analog-to-Digital)変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力する画像信号をデジタル信号に変換して画像取得部３２に出力する。尚、ＭＯＳ型イメージセンサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ２４から直接デジタル信号が出力される。

　画像取得部３２は、イメージセンサ２４の受光素子の位置を選択して画像信号を読み出すことにより、同時に撮像された第１の混信画像を示す画像信号と第２の混信画像を示す画像信号とを取得することができる。

　即ち、イメージセンサ２４の複数の第１の受光素子２５Ａを選択し、複数の第１の受光素子２５Ａから画像信号を選択的に読み出すことにより、第１の混信画像を示す画像信号を取得することができ、一方、イメージセンサ２４の複数の第２の受光素子２５Ｂを選択し、複数の第２の受光素子２５Ｂから画像信号を選択的に読み出すことにより、第２の混信画像を示す画像信号を取得することができる。

　尚、イメージセンサ２４から全ての画像信号を読み出してバッファメモリに一時的に記憶させ、バッファメモリに記憶させた画像信号から、第１の混信画像と第２の混信画像の２つ画像の画像信号のグループ分けを行ってもよい。

　画像取得部３２により取得された第１の混信画像及び第２の混信画像を示す画像信号は、混信除去処理部３４に出力される。

　混信除去処理部３４は、画像取得部３２から入力する第１の混信画像及び第２の混信画像を示す画像信号から混信成分を除去し、多様レンズ１１の第１の光学系の第１の特性（広角）及び第２の光学系２２の第２の特性（望遠）をそれぞれ有する第１の画像（広角像）及び第２の画像（望遠像）を示す画像信号を生成する部分であり、図１２に示した式（１）に基づいて混信のない広角像及び望遠像を示す画像信号を生成する。

　即ち、混信除去処理部３４は、式（１）に示した逆行列Ｍ^－１を構成するゲイン分布Ａ～Ｄを記憶するＲＯＭ（Read Only Memory）等の記憶部３４Ａを有しており、記憶部３４Ａに記憶された逆行列Ｍ^－１と、画像取得部３２から入力する第１の混信画像及び第２の混信画像を示す画像信号（センサ出力Ｗ２，Ｔ２）とを乗算することにより、混信のない広角像Ｗ１及び望遠像Ｔ１を示す画像信号を生成する。尚、逆行列Ｍ^－１を構成するゲイン分布Ａ～Ｄは、多様レンズ１１及びイメージセンサ２４の特性により一意に特定することができるため、予め算出して記憶部３４Ａに記憶させておくことができる。

　混信除去処理部３４により生成された混信のない広角像Ｗ１及び望遠像Ｔ１を示す画像信号は、それぞれデジタル信号処理部３６に出力される。

　デジタル信号処理部３６は、入力するデジタルの画像信号に対して、オフセット処理、ガンマ補正処理等の所定の信号処理を行う。

　デジタル信号処理部３６で処理された広角像及び望遠像を示す画像信号は、それぞれ記録部３８及び表示部４０に出力される。記録部３８は、デジタル信号処理部３６により処理された広角像及び望遠像を示す静止画記録用又は動画記録用の画像信号を記録媒体（ハードディスク、メモリカード等）に記録する。

　表示部４０は、デジタル信号処理部３６により処理された広角像及び望遠像を示す静止画表示用又は動画表示用の画像信号により、広角画像及び望遠画像を表示する。尚、表示部４０は、記録部３８に記録された画像信号に基づいて広角画像及び望遠画像を再生することもできる。

　＜第２実施形態＞
　図１７は、第２実施形態に係る多様レンズ１１を使用した撮像メカニズムを説明するための図である。

　図１７に示す多様レンズ１１は、円形の第１の光学系２１と、第１の光学系２１に対して同心円状に配設された環状の第２の光学系２２とからなり、第１の光学系２１と第２の光学系とは光軸が共通するが、合焦距離が異なる。

　図１７において、各参照符号が示す内容は以下の通りである。

　ａ１：第１の光学系２１（遠合焦領域６０ａ）のレンズ－受光面間距離
　ａ２：第２の光学系２２（近合焦領域６０ｂ）のレンズ－受光面間距離
　ｂ１：第１の光学系２１（遠合焦領域６０ａ）のレンズ－被写体間距離
　ｂ２：第２の光学系２２（近合焦領域６０ｂ）のレンズ－被写体間距離
　ＦＤ１：第１の光学系２１（遠合焦領域６０ａ）の合焦距離
　ＦＤ２：第２の光学系２２（近合焦領域６０ｂ）の合焦距離
　Ｑ１Ａ、Ｑ１Ｂ及びＱ２：被写体
　尚、本実施形態において「合焦距離」とは、イメージセンサ２４の受光素子２５の受光面から受光素子２５と合焦関係にある被写体までの距離を指し、図１７に示す例では「ＦＤ１＝ａ１＋ｂ１」及び「ＦＤ２＝ａ２＋ｂ２」の関係が成立する。また、第１の光学系２１（遠合焦領域６０ａ）の焦点距離を「ｆ１」とし、第２の光学系２２（近合焦領域６０ｂ）の焦点距離を「ｆ２」とすると、「１／ｆ１＝（１／ａ１）＋（１／ｂ１）」及び「１／ｆ２＝（１／ａ２）＋（１／ｂ２）」の関係が成立する。

　このような「合焦距離の異なる第１の光学系２１及び第２の光学系２２」を具備する撮像装置３０おいても、第１実施形態と同様の機能構成（図１６参照）によって、第１の光学系２１により遠距離の被写体Ｑ１Ａ及びＱ１Ｂに合焦した第１の画像と、第２の光学系２２により近距離の被写体Ｑ２に合焦した第２の画像とを同時に撮像することができる。

　即ち、第１の光学系２１により遠距離の被写体Ｑ１Ｂ及びＱ１Ｂに合焦した第１の合焦像の光と、第２の光学系２２により近距離の被写体Ｑ２に合焦した第２の合焦像の光とが混信し、イメージセンサ２４の第１の受光素子２５Ａ及び第２の受光素子２５Ｂに入射する。

　これにより、イメージセンサ２４の第１の受光素子２５Ａからは、第１の合焦像と第２の合焦像とが混信した第１の混信画像を取得することができ、イメージセンサ２４の第２の受光素子２５Ｂからは、第１の受光素子２５Ａとは混信比率が異なる、第１の合焦像と第２の合焦像とが混信した第２の混信画像を取得することができる。

　混信除去処理部３４は、逆行列Ｍ^－１（図１２に示した式（１）中のＭ^－１）と、イメージセンサ２４から取得された第１の混信画像及び第２の混信画像とを乗算することにより、それぞれ混信のない遠距離の被写体Ｑ１Ｂ及びＱ１Ｂに合焦した第１の画像と、近距離の被写体Ｑ２に合焦した第２の画像とを生成することができる。

　尚、第２実施形態に係る多様レンズ１１は、図３等に示した多様レンズ１１とは特性が異なるため、逆行列Ｍ^－１を構成するゲイン分布Ａ～Ｄも異なることは言うまでもない。

　＜第３実施形態＞
　図１８は、第３実施形態に係る多様レンズ（図示せず）の第１の光学系と第２の光学系の変調伝達関数特性（ＭＴＦ：Modulation Transfer Function）を示すグラフである。

　第３実施形態に係る多様レンズの第１の光学系と第２の光学系とは、焦点距離及び合焦距離は同一であるが、ＭＴＦが異なり、第１の光学系は、図１８のＭＴＦ曲線ａに示す第１のＭＴＦを有し、第２の光学系は、図１８のＭＴＦ曲線ｂに示す第２のＭＴＦを有する。尚、第３実施形態に係る多様レンズは、例えば、図１７に示した多様レンズ１１とほぼ同様の外観形状とすることができる。

　第１のＭＴＦを有する第１の光学系は、図１８に示すＭＴＦ曲線ａによれば、第２のＭＴＦを有する第２の光学系と比較して解像度は高いが、コントラストが低い光学系であり、一方、第２のＭＴＦを有する第２の光学系は、図１８に示すＭＴＦ曲線ｂによれば、第１のＭＴＦを有する第１の光学系と比較して解像度は低いが、コントラストが高い光学系である。

　このような「ＭＴＦの異なる第１の光学系及び第２の光学系」を具備する撮像装置３０おいても、第１実施形態と同様の機能構成（図１６参照）によって、第１の光学系及び第２の光学系のそれぞれのＭＴＦに対応した第１の画像と第２の画像とを同時に撮像することができる。

　即ち、第１の光学系の第１のＭＴＦに対応する第１の像の光と、第２の光学系の第２のＭＴＦに対応する第２の像の光とが混信し、イメージセンサ２４の第１の受光素子２５Ａ及び第２の受光素子２５Ｂに入射する。

　これにより、イメージセンサ２４の第１の受光素子２５Ａからは、第１の像と第２の像とが混信した第１の混信画像を取得することができ、イメージセンサ２４の第２の受光素子２５Ｂからは、第１の受光素子２５Ａとは混信比率が異なる、第１の像と第２の像とが混信した第２の混信画像を取得することができる。

　混信除去処理部３４は、逆行列Ｍ^－１（図１２に示した式（１）中のＭ^－１）と、イメージセンサ２４から取得された第１の混信画像及び第２の混信画像とを乗算することにより、それぞれ混信のない第１のＭＴＦを有する第１の画像と、第２のＭＴＦを有する第２の画像とを生成することができる。

　＜イメージセンサの他の実施形態＞
　図１９は、本発明に適用されるイメージセンサの他の実施形態を示す断面図であり、イメージセンサの要部を拡大した断面図である。

　図１９に示すイメージセンサ１２４は、第１のフォトダイオード１２６Ａ及び第２のフォトダイオード１２６Ｂの受光面とは反対側（裏面側）に、第１のフォトダイオード１２６Ａ及び第２のフォトダイオード１２６Ｂに蓄積される電荷に対応する画像信号を読み出すための配線等が形成された配線層１２７が設けられた、裏面照射型イメージセンサである。また、第１のフォトダイオード１２６Ａ及び第２のフォトダイオード１２６Ｂの受光面（表面）側には、反射防止層、平滑化層、カラーフィルタ等の層１２８が設けられ、層１２８の入射面側には、第１のマイクロレンズ１２９Ａ，第２のマイクロレンズ１２９Ｂ（オンチップマイクロレンズ）が形成され、第１の受光素子１２５Ａ及び第２の受光素子１２５Ｂが構成されている。

　第１のマイクロレンズ１２９Ａ及び第２のマイクロレンズ１２９Ｂは、第１の受光素子１２５Ａ毎及び第２の受光素子１２５Ｂ毎にそれぞれ１つ設けられており、第１のマイクロレンズ１２９Ａ及び第２のマイクロレンズ１２９Ｂに入射する広角像の光及び望遠像の光（多様レンズ１１の瞳像）を第１のフォトダイオード１２６Ａ及び第２のフォトダイオード１２６Ｂの受光面に、それぞれ異なる合焦度合いで結像させる。尚、第１のマイクロレンズ１２９Ａ及び第２のマイクロレンズ１２９Ｂは、図４に示したイメージセンサ２４の第１のマイクロレンズ２９Ａ及び第２のマイクロレンズ２９Ｂと同様に曲率半径が異なっている。

　この実施形態に係るイメージセンサ１２４は、裏面照射型イメージセンサであるため、第１のフォトダイオード１２６Ａ及び第２のフォトダイオード１２６Ｂの受光面（表面）側には、配線層がなく、その結果、図４に示した第１実施形態に係るイメージセンサ２４（即ち、第１のフォトダイオード２６Ａ及び第２のフォトダイオード２６Ｂの受光面（表面）側に配線層２７が形成された表面照射型イメージセンサ）に比べて、画素サイズの微細化に有利であるのみならず、光利用効率の高いため、高感度化にも有利である。

　＜イメージセンサの更に他の実施形態＞
　図２０は、本発明に適用されるイメージセンサの更に他の実施形態を示す断面図であり、イメージセンサの要部を拡大した断面図である。尚、図４に示したイメージセンサ２４と共通する部分には同一の符号を付し、その詳細な説明は省略する。

　図２０に示すイメージセンサ２２４は、図４に示したイメージセンサ２４と比較して、マイクロレンズの構成が異なり、第１の受光素子２２５Ａ側の平滑化層２８Ａの入射面側には、マイクロレンズ２９Ａが設けられているが、第２の受光素子２２５Ｂ側の平滑化層２８Ｂの入射面側には、マイクロレンズが設けられていない。

　本例のイメージセンサ２２４を構成する複数の受光素子２２５は、マイクロレンズ２９Ａを有する第１の受光素子２２５Ａと、マイクロレンズを有しない第２の受光素子２２５Ｂとが２次元的に交互に配置されている。

　第１の受光素子２２５Ａに対して設けられたマイクロレンズ２９Ａは、図４に示したイメージセンサ２４の第１のマイクロレンズ２９Ａと同じマイクロレンズであり、第１の受光素子２２５Ａは、図４に示した第１の受光素子２５Ａと実質的に同じ構造を有するものである。

　従って、第１の受光素子２２５Ａの受光面上には、マイクロレンズ２９Ａにより多様レンズ１１の瞳像が合焦するように結像される。

　一方、第２の受光素子２２５Ｂにはマイクロレンズが設けられていないため、第２の受光素子２２５Ｂに入射する広角像Ｗの光束と望遠像Ｔの光束とは、結像・集光されることなく、ほぼ平行光のまま第２の受光素子２２５Ｂの受光面に到達する。

　即ち、第１の受光素子２２５Ａの第１のフォトダイオード２６Ａの受光面上には、マイクロレンズ２９Ａにより合焦した広角像の光及び望遠像の光（多様レンズ１１の瞳像）が入射するが、第２の受光素子２２５Ｂの第２のフォトダイオード２６Ｂの受光面上には、非合焦の多様レンズ１１の瞳像が入射する。従って、第１の受光素子２２５Ａと第２の受光素子２２５Ｂとは、受光面上での多様レンズ１１の瞳像の合焦度合いが異なり、受光感度特性も異なる。

　本例のイメージセンサ２２４に含まれる複数の第１の受光素子２２５Ａと、複数の第２の受光素子２２５Ｂとからは、上記のように合焦度合いの違いに対応して広角像Ｗと望遠像Ｔとの混信比率がそれぞれ異なる第１の混信画像と第２の混信画像とを示すセンサ出力を取得することができる。

　＜他の変形例＞
　本発明は上述の実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

　例えば、上述の実施形態同士を適宜組み合わされてもよく、第１の実施形態に係る多様レンズ、第２の実施形態に係る多様レンズ、及び第３の実施形態に係る多様レンズのそれぞれの特性を、２以上組み合わせてなる多様レンズに対しても本発明は適用することができる。

　また、上述の実施形態では、２種類の光学系（第１の光学系２１及び第２の光学系２２）によって多様レンズ１１が構成される例について説明したが、３種類以上の光学系によって多様レンズ１１が構成されてもよい。

　また、本実施形態のイメージセンサ２４は、第１の受光素子２５Ａと第２の受光素子２５Ｂとが市松状（チェッカーパターン状）に配列されて構成されているが、本発明に係るイメージセンサは、これに限らず、マイクロレンズによる合焦度合いが異なる第１の受光素子と第２の受光素子とが隣接してペアとなり、このペアが２次元配列されたもの、第１の受光素子と第２の受光素子との個数の比率が１：１ではなく、第１の受光素子の個数が第２の受光素子の個数よりも多いもの、逆に第１の受光素子の個数が第２の受光素子の個数よりも少ないもの等を含む。尚、第１の受光素子の個数と第２の受光素子の個数とが異なる場合、図１２に示した式（１）の演算を可能にするために、個数の少ない受光素子のセンサ出力を補間して個数の多い受光素子のセンサ出力と同じ画像サイズにすることが好ましい。

　また、本実施形態では、第１の受光素子の第１のマイクロレンズと第２の受光素子のマイクロレンズとの曲率半径を異ならせ、これにより第１の受光素子と第２の受光素子の各受光面に結像する多様レンズの瞳像の合焦度合いを異ならせるようにしたが、これに限らず、同一の曲率半径を有する第１のマイクロレンズと第２のマイクロレンズとを使用し、一方、第１のマイクロレンズの頂点から第１のフォトダイオードまでの距離と、第２のマイクロレンズの頂点から第２のフォトダイオードまでの距離とを異ならせ、これにより第１の受光素子と第２の受光素子における多様レンズの瞳像の合焦度合いを異ならせるようにしてもよい。

　更に、本発明は、イメージセンサの複数の第１の受光素子から第１の混信画像を取得し、複数の第２の受光素子から第２の混信画像を取得するステップと、取得した第１の混信画像と第２の混信画像からそれぞれ混信成分を除去し、多様レンズの第１の特性及び第２の特性をそれぞれ有する第１の画像及び第２の画像を生成するステップとを含む撮像方法にも適用可能である。

　更にまた、上述の各構成及び各機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、多様レンズ１１及びイメージセンサ２４（図３）を備えた撮像装置から直接又は記録媒体等を介して間接的に第１の混信画像及び第２の混信画像をコンピュータに入力し、上述のステップをコンピュータに実行させる画像処理プログラム、そのような画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのような画像処理プログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

　また、本発明を適用可能な態様は図１に示すデジタルカメラ１０及び図２に示す自動追尾撮像装置１４には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、或いはその他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）及び携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

　＜スマートフォンの構成＞
　図２１は、本発明の撮像装置の一実施形態であるスマートフォン１０１の外観を示す図である。図２１に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となって形成される表示入力部１２０が設けられる。また、その筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１とを備える。尚、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

　図２２は、図２１に示すスマートフォン１０１の構成を示すブロック図である。図２２に示すように、スマートフォン１０１の主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ(Global Positioning System)受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

　無線通信部１１０は、主制御部１００の指示に従って、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データ及び画像データ等の各種ファイルデータや電子メールデータなどの送受信、及びＷｅｂデータやストリーミングデータなどの受信が行われる。

　表示入力部１２０は、表示パネル１２１及び操作パネル１２２を備えるいわゆるタッチパネルであり、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。

　表示パネル１２１は、ＬＣＤ(Liquid Crystal Display)又はＯＥＬＤ(Organic Electro-Luminescence Display）などを表示デバイスとして用いる。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル１２２は、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

　本発明の撮像装置の一実施形態として図２１に例示されるスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成し、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。その配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」と称する）とを備えていてもよい。

　尚、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分及びそれ以外の内側部分の２つの感応領域を備えていてもよい。さらに、その外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、及び静電容量方式などが挙げられ、いずれの方式が採用されてもよい。

　通話部１３０は、スピーカ１３１及びマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力したりする。また、図２１に示すように、例えば、スピーカ１３１及びマイクロホン１３２を表示入力部１２０が設けられた面と同じ面に搭載することができる。

　操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、図２１に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。

　記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２とにより構成される。尚、記憶部１５０を構成する内部記憶部１５１及び外部記憶部１５２のそれぞれは、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ(Random Access Memory)、或いはＲＯＭ(Read Only Memory)などの格納媒体を用いて実現される。

　外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たし、通信等（例えば、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース(Bluetooth)（登録商標）、ＲＦＩＤ(Radio Frequency Identification)、赤外線通信(Infrared Data Association：ＩｒＤＡ）、ＵＷＢ(Ultra Wideband)（登録商標）、ジグビー(ZigBee)（登録商標）など）により他の外部機器に直接的又は間接的に接続する。

　スマートフォン１０１に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有線／無線接続されるスマートフォン、有線／無線接続されるパーソナルコンピュータ、有線／無線接続されるＰＤＡ、及びイヤホンなどがある。外部入出力部１６０は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達したり、スマートフォン１０１の内部のデータが外部機器に伝送されたりするように構成されてもよい。

　ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１、ＳＴ２～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度及び高度によって特定される位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０及び／又は外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。その検出の結果は、主制御部１００に出力される。

　電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給する。

　主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御する。また、主制御部１００は、無線通信部１１０を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。

　アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現される。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御することで対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、及びＷｅｂページを閲覧するＷｅｂブラウジング機能などがある。

　また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、その復号結果に画像処理を施して、その画像処理を経て得られる画像を表示入力部１２０に表示する機能のことをいう。

　更に、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０や操作パネル１２２を通じたユーザ操作を検出する操作検出制御とを実行する。

　表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

　更に、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）に該当するか、或いはそれ以外の表示パネル１２１に重ならない外縁部分（非表示領域）に該当するかを判定し、操作パネル１２２の感応領域やソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部１４１は、前述した撮像装置３０を適用することができる。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic Experts Group）などの圧縮した画像データに変換し、その画像データを記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることができる。図２１に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０が設けられる筐体１０２の表面ではなく筐体１０２の背面にカメラ部１４１が搭載されてもよいし、或いは複数のカメラ部１４１が筐体１０２に搭載されてもよい。尚、複数のカメラ部１４１が搭載されている場合には、撮像に供するカメラ部１４１を切り替えて単独のカメラ部１４１によって撮像が行われてもよいし、或いは、複数のカメラ部１４１を同時に使用して撮像が行われてもよい。

　また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、カメラ部１４１で取得した画像が表示パネル１２１に表示さてもよいし、操作パネル１２２の操作入力手法の一つとして、カメラ部１４１で撮像取得される画像が利用されてもよい。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像が参照されて位置が検出されてもよい。さらには、カメラ部１４１からの画像が参照されて、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

　その他、ＧＰＳ受信部１７０により取得された位置情報、マイクロホン１３２により取得された音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、及びモーションセンサ部１８０により取得された姿勢情報等などを静止画又は動画の画像データに付加して得られるデータを、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることもできる。

　尚、上述の画像取得部３２、混信除去処理部３４等、デジタル信号処理部３６（図１６参照）は、例えば主制御部１００によって実現可能である。

　１０…デジタルカメラ、１１…多様レンズ、１４…自動追尾撮像装置、２１…第１の光学系、２２…第２の光学系、２４、１２４、２２４…イメージセンサ、２５、２２５…受光素子、２５Ａ、１２５Ａ、２２５Ａ…第１の受光素子、２５Ｂ、１２５Ｂ、２２５Ｂ…第２の受光素子、２６Ａ…第１のフォトダイオード、２６Ｂ…第２のフォトダイオード、２７、１２７…配線層、２９Ａ，１２９Ａ…第１のマイクロレンズ、２９Ｂ，１２９Ｂ…第２のマイクロレンズ、３０…撮像装置、３２…画像取得部、３４…混信除去処理部、３６…デジタル信号処理部、３８…記録部、４０…表示部、１００…主制御部、１０１…スマートフォン、１４１…カメラ部

Claims

　第１の特性を有する第１の領域と前記第１の特性とは異なる第２の特性を有する第２の領域とを含む多様レンズと、
　第１のマイクロレンズを有する第１の受光素子と前記第１のマイクロレンズとは合焦度合いが異なる第２のマイクロレンズを有する第２の受光素子とが２次元配列されたイメージセンサであって、前記多様レンズの前記第１の領域を通過する光束と前記第２の領域を通過する光束とが前記第１のマイクロレンズを介して混信して入射する前記第１の受光素子と、前記多様レンズの前記第１の領域を通過する光束と前記第２の領域を通過する光束とが前記第２のマイクロレンズを介して混信して入射し、かつ前記第１の受光素子とは混信比率が異なる前記第２の受光素子とを有するイメージセンサと、
　前記イメージセンサの前記第１の受光素子から得られる第１の混信画像及び前記第２の受光素子から得られる第２の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第１の特性及び前記第２の特性をそれぞれ有する第１の画像及び第２の画像を生成する混信除去処理部と、
　を備えた撮像装置。
　第１の特性を有する第１の領域と前記第１の特性とは異なる第２の特性を有する第２の領域とを含む多様レンズと、
　マイクロレンズを有する第１の受光素子とマイクロレンズを有しない第２の受光素子とが２次元配列されたイメージセンサであって、前記多様レンズの前記第１の領域を通過する光束と前記第２の領域を通過する光束とが前記マイクロレンズを介して混信して入射する前記第１の受光素子と、前記多様レンズの前記第１の領域を通過する光束と前記第２の領域を通過する光束とが混信して入射し、かつ前記第１の受光素子とは混信比率が異なる前記第２の受光素子とを有するイメージセンサと、
　前記イメージセンサの前記第１の受光素子から得られる第１の混信画像及び前記第２の受光素子から得られる第２の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第１の特性及び前記第２の特性をそれぞれ有する第１の画像及び第２の画像を生成する混信除去処理部と、
　を備えた撮像装置。
　前記混信除去処理部は、前記第１の混信画像及び前記第２の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、前記第１の混信画像及び前記第２の混信画像とに基づいて前記第１の画像及び前記第２の画像を算出する請求項１又は２に記載の撮像装置。
　前記第１のマイクロレンズ及び前記第２のマイクロレンズは、それぞれ前記第１の受光素子毎及び前記第２の撮像素子毎に１つずつ設けられ、
　前記第１のマイクロレンズは、前記多様レンズの瞳像を前記第１の受光素子の受光面上に第１の合焦度合いで結像させ、前記第２のマイクロレンズは、前記多様レンズの瞳像を前記第２の受光素子の受光面上に前記第１の合焦度合いとは異なる第２の合焦度合いで結像させる請求項１に記載の撮像装置。
　前記第１のマイクロレンズと前記第２のマイクロレンズとは、それぞれ曲率半径及び前記第１の受光素子の受光面及び前記第２の受光素子の受光面からの距離のうちの少なくとも一方が異なる請求項１又は４に記載の撮像装置。
　前記イメージセンサは、裏面照射型イメージセンサである請求項１から５のいずれか１項に記載の撮像装置。
　前記多様レンズは、前記第１の特性を有する前記第１の領域に対応する第１の光学系と、前記第２の特性を有する前記第２の領域に対応する第２の光学系とを含む請求項１から６のいずれか１項に記載の撮像装置。
　前記第１の光学系と前記第２の光学系とは、光軸が共通する請求項７に記載の撮像装置。
　前記第１の光学系は円形の中央光学系であり、前記第２の光学系は前記中央光学系に対して同心円状に配設された環状光学系である請求項８に記載の撮像装置。
　前記第１の光学系と前記第２の光学系とは、それぞれ焦点距離、合焦距離及び変調伝達関数特性のうちの少なくとも１つが異なる請求項７から９のいずれか１項に記載の撮像装置。
　第１の特性を有する第１の領域と前記第１の特性とは異なる第２の特性を有する第２の領域とを含む多様レンズと、第１のマイクロレンズを有する第１の受光素子と前記第１のマイクロレンズとは合焦度合いが異なる第２のマイクロレンズを有する第２の受光素子とが２次元配列されたイメージセンサであって、前記多様レンズの前記第１の領域を通過する光束と前記第２の領域を通過する光束とが前記第１のマイクロレンズを介して混信して入射する前記第１の受光素子と、前記多様レンズの前記第１の領域を通過する光束と前記第２の領域を通過する光束とが前記第２のマイクロレンズを介して混信して入射し、かつ前記第１の受光素子とは混信比率が異なる前記第２の受光素子とを有するイメージセンサと、を備えた撮像装置における撮像方法であって、
　前記撮像装置により同時に撮像された第１の混信画像及び第２の混信画像であって、前記イメージセンサの前記第１の受光素子により光電変換された前記第１の混信画像と、前記第２の受光素子により光電変換された前記第２の混信画像とを取得するステップと、
　前記取得した前記第１の混信画像及び前記第２の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第１の特性及び前記第２の特性をそれぞれ有する第１の画像及び第２の画像を生成するステップと、
　を含む撮像方法。
　第１の特性を有する第１の領域と前記第１の特性とは異なる第２の特性を有する第２の領域とを含む多様レンズと、マイクロレンズを有する第１の受光素子とマイクロレンズを有しない第２の受光素子とが２次元配列されたイメージセンサであって、前記多様レンズの前記第１の領域を通過する光束と前記第２の領域を通過する光束とが前記マイクロレンズを介して混信して入射する前記第１の受光素子と、前記多様レンズの前記第１の領域を通過する光束と前記第２の領域を通過する光束とが混信して入射し、かつ前記第１の受光素子とは混信比率が異なる前記第２の受光素子とを有するイメージセンサと、を備えた撮像装置における撮像方法であって、
　前記撮像装置により同時に撮像された第１の混信画像及び第２の混信画像であって、前記イメージセンサの前記第１の受光素子により光電変換された前記第１の混信画像と、前記第２の受光素子により光電変換された前記第２の混信画像とを取得するステップと、
　前記取得した前記第１の混信画像及び前記第２の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第１の特性及び前記第２の特性をそれぞれ有する第１の画像及び第２の画像を生成するステップと、
　を含む撮像方法。
　前記第１の画像及び前記第２の画像を生成するステップは、前記第１の混信画像及び前記第２の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、前記第１の混信画像及び前記第２の混信画像とに基づいて前記第１の画像及び前記第２の画像を算出する請求項１１又は１２に記載の撮像方法。
　第１の特性を有する第１の領域と前記第１の特性とは異なる第２の特性を有する第２の領域とを含む多様レンズと、第１のマイクロレンズを有する第１の受光素子と前記第１のマイクロレンズとは合焦度合いが異なる第２のマイクロレンズを有する第２の受光素子とが２次元配列されたイメージセンサであって、前記多様レンズの前記第１の領域を通過する光束と前記第２の領域を通過する光束とが前記第１のマイクロレンズを介して混信して入射する前記第１の受光素子と、前記多様レンズの前記第１の領域を通過する光束と前記第２の領域を通過する光束とが前記第２のマイクロレンズを介して混信して入射し、かつ前記第１の受光素子とは混信比率が異なる前記第２の受光素子とを有するイメージセンサと、を備えた撮像装置の画像処理プログラムであって、
　前記撮像装置により同時に撮像された第１の混信画像及び第２の混信画像であって、前記イメージセンサの前記第１の受光素子により光電変換された前記第１の混信画像と、前記第２の受光素子により光電変換された前記第２の混信画像とを取得するステップと、
　前記取得した前記第１の混信画像及び前記第２の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第１の特性及び前記第２の特性をそれぞれ有する第１の画像及び第２の画像を生成するステップと、
　をコンピュータに実現させる画像処理プログラム。
　第１の特性を有する第１の領域と前記第１の特性とは異なる第２の特性を有する第２の領域とを含む多様レンズと、マイクロレンズを有する第１の受光素子とマイクロレンズを有しない第２の受光素子とが２次元配列されたイメージセンサであって、前記多様レンズの前記第１の領域を通過する光束と前記第２の領域を通過する光束とが前記マイクロレンズを介して混信して入射する前記第１の受光素子と、前記多様レンズの前記第１の領域を通過する光束と前記第２の領域を通過する光束とが混信して入射し、かつ前記第１の受光素子とは混信比率が異なる前記第２の受光素子とを有するイメージセンサと、を備えた撮像装置の画像処理プログラムであって、
　前記撮像装置により同時に撮像された第１の混信画像及び第２の混信画像であって、前記イメージセンサの前記第１の受光素子により光電変換された前記第１の混信画像と、前記第２の受光素子により光電変換された前記第２の混信画像とを取得するステップと、
　前記取得した前記第１の混信画像及び前記第２の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第１の特性及び前記第２の特性をそれぞれ有する第１の画像及び第２の画像を生成するステップと、
　をコンピュータに実現させる画像処理プログラム。
　前記第１の画像及び前記第２の画像を生成するステップは、前記第１の混信画像及び前記第２の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、前記第１の混信画像及び前記第２の混信画像とに基づいて前記第１の画像及び前記第２の画像を算出する請求項１４又は１５に記載の画像処理プログラム。