WO2016080154A1 - 撮像装置、撮像方法及び画像処理プログラム - Google Patents
撮像装置、撮像方法及び画像処理プログラム Download PDFInfo
- Publication number
- WO2016080154A1 WO2016080154A1 PCT/JP2015/080148 JP2015080148W WO2016080154A1 WO 2016080154 A1 WO2016080154 A1 WO 2016080154A1 JP 2015080148 W JP2015080148 W JP 2015080148W WO 2016080154 A1 WO2016080154 A1 WO 2016080154A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- interference
- light receiving
- receiving element
- characteristic
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
- G02B13/0085—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing wafer level optics
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B19/00—Cameras
- G03B19/02—Still-picture cameras
- G03B19/023—Multi-image cameras
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/28—Locating light-sensitive material within camera
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Cameras In General (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
複数の特性を有する多様レンズの各特性に対応する画像を、通常のイメージセンサと同様の構造のイメージセンサを使用して同時に撮像することができる撮像装置、撮像方法及び画像処理プログラムを提供する。撮像装置は、第1の特性を有する第1の領域と第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1の受光素子25Aと第1の受光素子25Aとは受光部の開口サイズが異なる第2の受光素子25Bとが2次元配列されたイメージセンサと、イメージセンサの第1の受光素子25Aから得られる第1の混信画像及び第2の受光素子から得られる第2の混信画像からそれぞれ混信成分を除去し、多様レンズの第1の特性及び第2の特性をそれぞれ有する第1の画像及び第2の画像を生成する混信除去処理部と、を備えている。
Description
本発明は撮像装置、撮像方法及び画像処理プログラムに係り、特に特性が異なる複数の画像を同時に取得可能な撮像装置、撮像方法及び画像処理プログラムに関する。
従来、第1の特性を有する第1の領域と第1の特性とは異なる第2の特性を有する第2の領域と含む多様レンズと、多様レンズの第1の領域を通過した光束と第2の領域を通過した光束とを瞳分割して受光し、第1の特性を有する第1の画像と第2の特性を有する第2の画像とを同時に取得可能な指向性センサと、を備えた撮像装置が提案されている(特許文献1、2)。
ここで、指向性センサは、光検出感度に角度特性を持つように構成されたものであり、特許文献1、2には、下記の指向性センサが開示されている。
(1) 複数の受光セルに1つのマイクロレンズを割り付けることにより受光セル毎に光検出感度に角度特性を持たせた指向性センサ
(2) 受光セルの近傍に遮光マスクを配置し、多様レンズの第1の領域を通過した光束又は第2の領域を通過した光束を遮光することにより光検出感度に角度特性を持たせた指向性センサ
(3) 受光セル毎にプリズムとして機能するプリズム要素を設け、プリズム要素により光検出感度に角度特性を持たせた指向性センサ
特許文献1、2に記載の撮像装置は、瞳領域の場所に応じて特性の異なる多様レンズと、光検出感度に角度特性を持つ指向性センサとを組み合わせることで、特性の異なる多様な画像を、単一の指向性センサと多様レンズとで同時に撮像することができる。
(2) 受光セルの近傍に遮光マスクを配置し、多様レンズの第1の領域を通過した光束又は第2の領域を通過した光束を遮光することにより光検出感度に角度特性を持たせた指向性センサ
(3) 受光セル毎にプリズムとして機能するプリズム要素を設け、プリズム要素により光検出感度に角度特性を持たせた指向性センサ
特許文献1、2に記載の撮像装置は、瞳領域の場所に応じて特性の異なる多様レンズと、光検出感度に角度特性を持つ指向性センサとを組み合わせることで、特性の異なる多様な画像を、単一の指向性センサと多様レンズとで同時に撮像することができる。
また、一部の受光セルのみに遮光マスクを設けた指向性センサを使用し、特性の異なる多様な画像を同時に撮像することができる撮像装置が提案されている(特許文献3)。
特許文献3に記載の撮像装置は、多様レンズの第1の領域が占める割合aと第2の領域が占める割合b(a<b)とが異なる多様レンズと、多様レンズの第1の領域を通過する光束のみが入射するように遮光マスクを設けた第1の受光セルと、多様レンズの第1の領域及び第2の領域を通過する光束が入射する第2の受光セルとを含む指向性センサとを備えている。そして、指向性センサの第1の受光セルから第1の領域の特性を有する第1の画像を取得し、第2の受光セルから第1、第2の特性を有する第2の画像を取得するようにしている。ここで、第2の画像には、多様レンズの第1の特性と第2の特性とが混在するが、第2の領域が占める割合bが第1の領域が占める割合aよりも大きいため、主として第2の特性を有するものとなる。
更に、特許文献1、2に記載の指向性センサは、光検出感度に角度特性を持つように構成されているものの、多様レンズの第1の領域を通過した光束と第2の領域を通過した光束とを精度よく瞳分割し、それぞれ第1の領域を通過した光束を第1の受光セルのみに入射させ、第2の領域を通過した光束を第2の受光セルのみに入射させることは困難であり、第1の画像には多様レンズの第2の領域の特性を示す混信成分が含まれ、第2の画像には第1の領域の特性を示す混信成分が含まれる。また、特許文献3に記載の指向性センサの第2の受光セルは、そもそも光検出感度に角度特性を持たないため、第2の受光セルから取得される第2の画像には、多様レンズの第1の特性を示す混信成分が含まれている。
尚、特許文献4には、第1の画像及び第2の画像からそれぞれ混信成分を画像処理により除去・低減する方法が開示されている。また、特許文献5には、市松状(チェッカーパターン状)に配列された第1の受光セルと第2の受光セル(受光部)の受光面積が異なるカラー固体撮像装置が記載されている。
ところで、複数の受光セルにつき1つのマイクロレンズを設置するようにした指向性センサは、構造自体が通常のイメージセンサとは大きく異なり、また、大きなマイクロレンズを高精度に設置しなくてはならず、製造や調整が難しいという問題がある。
遮光マスク又はプリズム要素を配設するようにした指向性センサは、通常のイメージセンサでは不要な遮光マスク又はプリズム要素を、個々の受光セルの構造体として追加する必要があり、これはコストの上昇や、受光セルのサイズ(画素ピッチや厚さ)の微細化の障害となるという問題がある。
また、特許文献3に記載の撮像装置の場合、指向性センサの一部の受光セルには、遮光マスクが設けられていないが、依然として指向性センサの他の受光セルには、構造体(遮光マスク)を埋め込む必要があり、コストの上昇や、受光セルのサイズ(画素ピッチや厚さ)の微細化の障害となるという課題は解決されていない。
一方、特許文献5に記載のカラー固体撮像装置は、市松状に配列された第1の受光セルと第2の受光セルの受光面積が異なるが、これは高感度の画像と低感度の画像とを同時に撮像し、高ダイナミックレンジの画像を生成するためである。即ち、特許文献5には、多様レンズの第1の領域の特性及び第2の領域の特性を有する第1の画像及び第2の画像を同時に撮像する発想はない。
本発明はこのような事情に鑑みてなされたもので、複数の特性を有する多様レンズの各特性に対応する画像を、通常のイメージセンサと同様の構造のイメージセンサを使用して同時に撮像することができ、これによりイメージセンサのセンサ画素の微細化や製造工数・コストの抑制を図ることができる撮像装置、撮像方法及び画像処理プログラムを提供することを目的とする。
上記目的を達成するために本発明の一の態様に係る撮像装置は、第1の特性を有する第1の領域と第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1の受光素子と第1の受光素子とは受光部の開口サイズが異なる第2の受光素子とが2次元配列されたイメージセンサであって、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが混信して入射する第1の受光素子と、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが混信して入射し、かつ第1の受光素子とは混信比率が異なる第2の受光素子とを有するイメージセンサと、イメージセンサの第1の受光素子から得られる第1の混信画像及び第2の受光素子から得られる第2の混信画像からそれぞれ混信成分を除去し、多様レンズの第1の特性及び第2の特性をそれぞれ有する第1の画像及び第2の画像を生成する混信除去処理部と、を備えている。
本発明の一の態様によれば、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが混信してイメージセンサの第1の受光素子と第2の受光素子とに入射することを許容し、その一方、イメージセンサの第1の受光素子と第2の受光素子とは受光部の開口サイズを異ならせ、第1の受光素子と第2の受光素子との混信比率が異なるようにしている。そして、イメージセンサの第1の受光素子から得られる第1の混信画像及び第2の受光素子から得られる第2の混信画像からそれぞれ混信成分を除去し、多様レンズの第1の特性及び第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するようにしている。本発明に係るイメージセンサは、第1の受光素子及び第2の受光素子の受光部の開口サイズが異なるものの、通常のイメージセンサと比較して追加構造がなく、センサ画素の微細化や製造工数・コストの抑制が可能である。尚、ここでいう「特性」という表現は、「光学特性」という意味を包含する概念である。
本発明の他の態様に係る撮像装置において、混信除去処理部は、第1の混信画像及び第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、第1の混信画像及び第2の混信画像とに基づいて第1の画像及び第2の画像を算出することが好ましい。尚、検出ゲイン分布及び混信ゲイン分布は、多様レンズの第1の特性を有する第1の領域を通過した撮像光及び第2の特性を有する第2の領域光学系を通過した撮像光の各々に関する分布情報である。検出ゲイン分布は、本来意図した受光素子によって適切に受光された撮像光の分布(情報データ)を示す。例えば「第1の領域に対応する第1の受光素子によって受光される撮像光のうち、第1の領域を通過した撮像光の分布(情報データ)」及び「第2の領域に対応する第2の受光素子によって受光される撮像光のうち、第2の領域を通過した撮像光の分布(情報データ)」によって検出ゲイン分布が表される。一方、混信ゲイン分布は、第1の受光素子及び第2の受光素子において、本来意図していない不適切に受光された撮像光の分布(情報データ)を示す。例えば「第1の領域に対応する第1の受光素子によって受光される撮像光のうち、第2の領域を通過した撮像光の分布(情報データ)及び「第2の領域に対応する第2の受光素子によって受光される撮像光のうち、第1の領域を通過した撮像光の分布(情報データ)」によって混信ゲイン分布が表される。
本発明の更に他の態様に係る撮像装置において、イメージセンサは、第1の受光素子毎及び第2の受光素子毎にそれぞれ1つのマイクロレンズが設けられている。また、第1の受光素子毎及び第2の受光素子毎に設けられたマイクロレンズは、それぞれ曲率半径が同一であり、かつ第1の受光素子の受光面及び第2の受光素子の受光面からの距離が一定である。即ち、本発明に係るイメージセンサには、通常のイメージセンサと同様のマイクロレンズが設けられている。
本発明の更に他の態様に係る撮像装置において、イメージセンサは、裏面照射型イメージセンサであることが好ましい。裏面照射型イメージセンサは、画素サイズの微細化に有利であるのみならず、光利用効率が高くため、高感度化にとっても有利である。尚、裏面照射型イメージセンサは、受光部の入射面側に回路層がないため、回路層の一部を遮光マスクに利用する従来技術を適用することができないが、本発明に係るイメージセンサは、遮光マスクを使用しないため、裏面照射型イメージセンサに適用することができる。
本発明の更に他の態様に係る撮像装置において、多様レンズは、第1の特性を有する第1の領域に対応する第1の光学系と、第2の特性を有する第2の領域に対応する第2の光学系とを含むことが好ましい。
本発明の更に他の態様に係る撮像装置において、第1の光学系と第2の光学系とは、光軸が共通していることが好ましく、第1の光学系は円形の中央光学系であり、第2の光学系は中央光学系に対して同心円状に配設された環状光学系であることが更に好ましい。第1の光学系及び第2の光学系をそれぞれ回転対称の光学系にすることで、第1の画像と第2の画像との間に視差が発生せず、かつ回転対称でない光学系に比べて画質のよい第1の画像及び第2の画像を取得することができる。
本発明の更に他の態様に係る撮像装置において、第1の光学系と第2の光学系とは、それぞれ焦点距離、合焦距離及び変調伝達関数特性のうちの少なくとも1つが異なることが好ましい。
更に他の態様に係る発明は、第1の特性を有する第1の領域と第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1の受光素子と第1の受光素子とは受光部の開口サイズが異なる第2の受光素子とが2次元配列されたイメージセンサであって、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが混信して入射する第1の受光素子と、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが混信して入射し、かつ第1の受光素子とは混信比率が異なる第2の受光素子とを有するイメージセンサと、を備えた撮像装置における撮像方法であって、撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、イメージセンサの第1の受光素子により光電変換された第1の混信画像と、第2の受光素子により光電変換された第2の混信画像とを取得するステップと、取得した第1の混信画像及び第2の混信画像からそれぞれ混信成分を除去し、多様レンズの第1の特性及び第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、を含んでいる。
本発明の更に他の態様に係る撮像方法において、第1の画像及び第2の画像を生成するステップは、第1の混信画像及び第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、第1の混信画像及び第2の混信画像とに基づいて第1の画像及び第2の画像を算出することが好ましい。
更に他の態様に係る発明は、第1の特性を有する第1の領域と第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1の受光素子と第1の受光素子とは受光部の開口サイズが異なる第2の受光素子とが2次元配列されたイメージセンサであって、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが混信して入射する第1の受光素子と、多様レンズの第1の領域を通過する光束と第2の領域を通過する光束とが混信して入射し、かつ第1の受光素子とは混信比率が異なる第2の受光素子とを有するイメージセンサと、を備えた撮像装置の画像処理プログラムであって、撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、イメージセンサの第1の受光素子により光電変換された第1の混信画像と、第2の受光素子により光電変換された第2の混信画像とを取得するステップと、取得した第1の混信画像及び第2の混信画像からそれぞれ混信成分を除去し、多様レンズの第1の特性及び第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、をコンピュータに実現させる。
本発明の更に他の態様に係る画像処理プログラムにおいて、第1の画像及び第2の画像を生成するステップは、第1の混信画像及び第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、第1の混信画像及び第2の混信画像とに基づいて第1の画像及び第2の画像を算出することが好ましい。
本発明によれば、複数の特性を有する多様レンズの各特性に対応する画像を、単一のイメージセンサを使用して同時に撮像することができ、特に本発明に係るイメージセンサは、通常のイメージセンサと同様の構造にすることができるため(追加構造が不要であるため)、センサ画素の微細化や製造工数・コストの抑制を図ることができる。
以下、図面を参照して本発明の実施形態について説明する。
本発明は、複数種類の光学特性を有する多様レンズを使って複数種類の画像を撮像可能な撮像装置、撮像方法及びそれらの応用技術に対して広く適用可能であり、その適用可能な技術分野は特に限定されない。例えば、ユーザ操作に応じて撮像を行う撮像装置だけではなく、自動的に撮像を行う撮像装置に対しても本発明は適用可能であり、また静止画を撮像する撮像装置だけではなく、動画を撮像する撮像装置に対しても本発明は適用可能である。
図1は、本発明を適用可能なデジタルカメラ10(撮像装置30)の一例を示す斜視図である。図1に示す例では、デジタルカメラ10のカメラ本体の前面に多様レンズ11及びフラッシュ13等が設けられ、カメラ本体の上面にレリーズボタン12等が設けられている。図1の符号「L」は、多様レンズ11の光軸を表す。
図2は、本発明を適用可能な自動追尾撮像装置14(撮像装置30)の一例を示す斜視図である。図2に示す自動追尾撮像装置14では、ギア19を含む保持部18と保持部18に取り付けられた多様レンズ11とが、装置本体15上に設けられる台座16に固定的に据え付けられている。台座16は、装置本体15の垂直方向Zの軸を中心に回転自在に設けられており、図示しないパン駆動部により垂直方向Zの軸を中心にしたパン動作が行われる。ギア19は水平方向Xの軸と同軸上に設けられ、図示しないチルト駆動部からギア19を介して駆動力が伝達されることにより、多様レンズ11が上下方向に回動させられてチルト動作が行われる。これらの多様レンズ11、保持部18(ギア19)及び台座16は、防塵及び防滴用のドームカバー17によって覆われている。
以下に説明する本発明の各実施形態及び各変形例は、例えば図1に示すようなデジタルカメラ10に対して適用されてもよいし、図2に示すような自動追尾撮像装置14に対して適用されてもよい。
<第1実施形態>
図3は、第1実施形態に係る多様レンズ11及びイメージセンサ24の断面構成を示す図である。
図3は、第1実施形態に係る多様レンズ11及びイメージセンサ24の断面構成を示す図である。
多様レンズ11は、第1の特性を有する第1の領域と第1の特性とは異なる第2の特性を有する第2の領域とを含み、本実施形態では、第1の領域に対応する第1の光学系21と、第2の領域に対応する第2の光学系22とから構成されている。また、第1の光学系21と第2の光学系22とは、焦点距離(光学特性)が異なり、かつ光軸Lが共通しており、第1の光学系21は広角レンズであり、第2の光学系22は望遠レンズである。なお、上述したように、第1実施形態に係る多様レンズ11における異なる光学特性(第1の特性と第1の特性とは異なる第2の特性)は、焦点距離が異なる(望遠・広角)ことに係る光学特性であるが、本発明の構成はそれに限定されるものではなく、異なる光学特性の例としては、例えば、合焦距離(ピント位置)が異なる場合や、透過波長域が異なる(可視光と赤外光など。その他に、多層膜コーティングにより透過波長域が異ならせたり、色素で色をつけることにより透過波長域が異ならせたりするなど)場合などの異なる光学特性を含むものである。
図3に示す第1の光学系(広角レンズ)21は、同一の光軸L上に配置される第1広角用レンズ21a、第2広角用レンズ21b、第3広角用レンズ21c、第4広角用レンズ21d及び共通レンズ23を含む。一方、第2の光学系(望遠レンズ)22は、第1望遠用レンズ22a、第1望遠用反射ミラー22cが設けられる第1望遠用反射体22b、第2望遠用反射ミラー22eが設けられる第2望遠用反射体22d、及び共通レンズ23を含む。第1の光学系21(特に第1広角用レンズ21a、第2広角用レンズ21b、第3広角用レンズ21c及び第4広角用レンズ21d)が、円形の中央光学系を形成する。一方、第2の光学系22(特に第1望遠用レンズ22a、第1望遠用反射体22b、第1望遠用反射ミラー22c、第2望遠用反射体22d及び第2望遠用反射ミラー22e)は、第1の光学系21が形成する中央光学系の周辺部において設けられ、第1の光学系21が形成する中央光学系に対して同心円状に配設された環状光学系を形成する。尚、共通レンズ23は、光軸L上に配置され、第1の光学系21と第2の光学系22との間で共用される。
このように第2の光学系22は、第1の光学系21を構成するレンズ群(第1広角用レンズ21a~第4広角用レンズ21d及び共通レンズ23)の周辺に設けられるレンズ群(第1望遠用レンズ22a及び共通レンズ23)及び反射ミラー群(第1望遠用反射ミラー22c(第1望遠用反射体22b)及び第2望遠用反射ミラー22e(第2望遠用反射体22d))を含み、第1の光学系21と同一の光軸Lを有するが、第1の光学系21とは異なる焦点距離を有する。
イメージセンサ24は、光軸Lと垂直を形成する方向に関し、複数の受光素子(「受光セル」又は「受光センサ」ともいう)25が2次元的に配置されることで構成され、特に本実施形態のイメージセンサ24は、複数の受光素子25として、図4に示すように光電変換部となるフォトダイオード(受光部)26A,26Bの開口サイズが異なる第1の受光素子25Aと第2の受光素子25Bとが、市松状(チェッカーパターン状)に配列されて構成されている。
図4はイメージセンサ24の要部を拡大した断面図であり、第1の受光素子25Aと第2の受光素子25Bとを示している。
図4に示すイメージセンサ24は、フォトダイオード26A,26Bの受光面(表面)側に、フォトダイオード26A,26Bに蓄積される電荷に対応する画像信号を読み出すための配線等が形成された配線層27が設けられた、表面照射型イメージセンサである。また、配線層27の入射面側には、平滑化層28が設けられ、平滑化層28の入射面側には、マイクロレンズ(オンチップマイクロレンズ)29が形成されている。
マイクロレンズ29は、第1の受光素子25A毎及び第2の受光素子25B毎にそれぞれ1つ設けられており、マイクロレンズ29に入射する広角像の光及び望遠像の光をフォトダイオード26A,26Bの受光面に結像させる(図8参照)。
尚、マイクロレンズ29に入射する入射光線は、イメージセンサ24の中心からの距離(像高)に応じて入射角が変化するため、各マイクロレンズ29は、イメージセンサ24上の位置(像高)に応じて受光素子25に対してわずかにシフトして配置(スケーリング)することが好ましい。また、イメージセンサ24は、平滑化層28に代えて、又は平滑化層28とマイクロレンズ29との間に、例えば赤、緑、青の各色のフィルタを形成し、カラーイメージセンサとして構成してもよい。
図5は、図3に示すイメージセンサ24の断面構成例を示す図である。
本例のイメージセンサ24を構成する複数の受光素子25は、図4に示したようにフォトダイオード26Aを有する第1の受光素子25Aと、フォトダイオード26Aとは開口サイズが異なるフォトダイオード26Bを有する第2の受光素子25Bとを含み、これらの第1の受光素子25A及び第2の受光素子25Bは2次元的に交互に配置されている。
このイメージセンサ24からは、第1の受光素子25Aのグループの画素信号と、第2の受光素子25Bのグループの画素信号とが区別して読み出され、第1の受光素子25Aのグループの画素信号、及び第2の受光素子25Bのグループの画素信号は、後述するように第1の混信画像のセンサ出力及び第2の混信画像のセンサ出力として取得される。
図6は、図3に示した多様レンズ11(特に第1の光学系21)及びイメージセンサ24に入射する広角像Wの光束の光路を示す図である。本実施形態において広角像Wは、第1の光学系21の第1広角用レンズ21a、第2広角用レンズ21b、第3広角用レンズ21c、第4広角用レンズ21d及び共通レンズ23を順次通過し、イメージセンサ24上に結像する。
図7は、図3に示した多様レンズ11(特に第2の光学系22)及びイメージセンサ24に入射する望遠像Tの光束の光路を示す図である。本実施形態において望遠像Tは、第1望遠用レンズ22aを通過(透過)し、第1望遠用反射ミラー22c及び第2望遠用反射ミラー22eの各々により反射された後に共通レンズ23を通過し、イメージセンサ24上に結像する。このように、第1望遠用反射ミラー22c及び第2望遠用反射ミラー22eの各々により反射されて光路が折り返されることにより、焦点距離の長い望遠像撮像用の第2の光学系22の光軸Lの方向に関する長さを短くすることができる。
図6及び図7に示したように広角像Wの光束と望遠像Tの光束とは、イメージセンサ24に入射する角度が異なる。
図8は、図4に示したイメージセンサ24に広角像Wの光路PWと望遠像Tの光路PTとを追記した図である。
第1の受光素子25Aと第2の受光素子25Bとは、フォトダイオード26A,26Bの開口サイズが異なるため、受光感度特性も異なる。
図8に示した第1の受光素子25Aでは、広角像Wの光束と比較して望遠像Tの光束の入射量は極めて少ないが、第2の受光素子25Bには、広角像Wの光束に加えて望遠像Tの光束もある程度は入射する。
従って、第1の受光素子25Aは、広角像Wに対する受光感度に比べて望遠像Tに対する受光感度が極めて低く、一方、第2の受光素子25Bは、広角像Wの受光感度を有するだけでなく望遠像Tに対する受光感度もある程度有する。即ち、イメージセンサ24の第1の受光素子25A及び第2の受光素子25Bには、それぞれ広角像Wの光束と望遠像Tの光束とが混信して入射するが、第1の受光素子25Aと第2の受光素子25Bとは混信比率が異なり、第1の受光素子25Aでは、広角像Wに対する望遠像Tの混信比率が極めて小さく、第2の受光素子25Bでは、広角像Wに対する望遠像Tの混信比率は第1の受光素子25Aに比べてはるかに大きい。
図5に示したようにイメージセンサ24に含まれる複数の第1の受光素子25Aと、複数の第2の受光素子25Bとからは、上記のように広角像Wと望遠像Tとの混信比率がそれぞれ異なる第1の混信画像と第2の混信画像とを示すセンサ出力を取得することができる。
ここで、イメージセンサ24に含まれる複数の第1の受光素子25Aから得られる第1の混信画像をセンサ出力W2とし、イメージセンサ24に含まれる複数の第2の受光素子25Bから得られる第2の混信画像をセンサ出力T2とすると、これらのセンサ出力W2,T2(第1の混信画像、第2の混信画像)から混信成分を除去する混信除去処理を行うことで、混信のない所望の第1の画像(広角像W1)及び第2の画像(望遠像T1)を得ることができる。
[混信除去方法]
次に、本発明に適用可能な混信除去方法について説明する。
次に、本発明に適用可能な混信除去方法について説明する。
図9は、真の広角像W1(W1ij)、真の望遠像T1(T1ij)、センサ出力W2(W2ij)、センサ出力T2(T2ij)、及び検出ゲイン分布及び混信ゲイン分布によって構成される行列Mの関係を示す図である。尚、添え字のi,jは、2次元の画像上の画素位置を示す。
図9に示すようにイメージセンサ24(第1の受光素子25A及び第2の受光素子25B)から出力されるセンサ出力W2、及びセンサ出力T2は、「広角真信号の検出ゲイン分布A(Aij),望遠真信号の検出ゲイン分布D(Dij),及び広角像に対する望遠像の混信ゲイン分布B(Bij),望遠像に対する広角像の混信ゲイン分布C(Cij)によって構成される行列M」と、「第1の光学系21及び第2の光学系22の各々を通過した広角像Wのみ,及び望遠像Tのみによって生成される真の広角像W1及び真の望遠像T1」との積で表される。
検出ゲイン分布A,D及び混信ゲイン分布B,Cによって構成される行列Mは、図9に示すように2×2行列である。
イメージセンサとしては、検出ゲイン分布A,Dがそれぞれ1であり、混信ゲイン分布B,Cがそれぞれ0であることが理想であり、理想のイメージセンサであれば、センサ出力W2は、真の広角像W1と一致し、センサ出力T2は、真の望遠像T1と一致する。
しかし、本実施形態のイメージセンサ24(理想特性を有しないイメージセンサ)であっても、行列Mの逆行列M-1が存在すれば、イメージセンサ24から取得されるセンサ出力W2(第1の混信画像)、及びセンサ出力T2(第2の混信画像)から混信成分を除去し、真の広角像W1(第1の画像)、真の望遠像T1(第2の画像)を得ることができる。
仮に、C=0.5、D=0.5のように、センサ出力T2に含まれる広角像と望遠像の成分が均等の場合(つまり、第2の受光素子25Bに広角像と望遠像との分離能力がない場合)であっても、A≠Bでありさえすれば、AD-BC≠0(行列Mの逆行列M-1が存在する条件)を満たし、センサ出力W2及びセンサ出力T2から混信成分を除去することができる。
図10は、イメージセンサ24から取得されるセンサ出力W2、及びセンサ出力T2から混信除去像(真の広角像W1、真の望遠像T1)を算出する方法を示す概念図である。
真の広角像W1、真の望遠像T1は、センサ出力W2、センサ出力T2、及び図9に示した行列Mの逆行列M-1に基づいて、図12に示す式(1)により算出することができる。
尚、式(1)において、逆行列M-1を構成するA,B,C,Dは、前述したように広角真信号の検出ゲイン分布A,広角像に対する望遠像の混信ゲイン分布B、望遠像に対する広角像の混信ゲイン分布C、及び望遠真信号の検出ゲイン分布Dであり、図10に示す例では、A=0.7、B=0.3、C=0.5、D=0.5の場合に関して示している。
図11は、本実施形態のイメージセンサ24を使用してセンサ出力W2(第1の混信画像)、及びセンサ出力T2(第2の混信画像)を取得し、上記混信除去方法により混信除去像(真の広角像W1、真の望遠像T1)を取得したシミュレーション結果を示す図である。
本実施形態のイメージセンサ24の各部のサイズ等は、以下の通りである。
マイクロレンズ29の曲率半径:3.7μm
マイクロレンズ29の屈折率:1.55
マイクロレンズ29の頂点とフォトダイオード26A,26Bの入射面との距離:9.1μm
第1の受光素子25Aと第2の受光素子25Bとの間隔(画素ピッチ):7μm
第1の受光素子25Aのフォトダイオード26Aの開口サイズ/画素ピッチ:18%
第2の受光素子25Bのフォトダイオード26Bの開口サイズ/画素ピッチ:46%
図11(A1)及び(A2)は、マイクロレンズ29により結像される多様レンズ11の瞳像と、第1の受光素子25A及び第2の受光素子25Bのフォトダイオード26A,26Bの開口OA,OBとの関係を示している。
マイクロレンズ29の屈折率:1.55
マイクロレンズ29の頂点とフォトダイオード26A,26Bの入射面との距離:9.1μm
第1の受光素子25Aと第2の受光素子25Bとの間隔(画素ピッチ):7μm
第1の受光素子25Aのフォトダイオード26Aの開口サイズ/画素ピッチ:18%
第2の受光素子25Bのフォトダイオード26Bの開口サイズ/画素ピッチ:46%
図11(A1)及び(A2)は、マイクロレンズ29により結像される多様レンズ11の瞳像と、第1の受光素子25A及び第2の受光素子25Bのフォトダイオード26A,26Bの開口OA,OBとの関係を示している。
第1の受光素子25Aから得られるセンサ出力W2の広角真信号の検出ゲイン分布Aは、A=0.2294あり、広角像に対する望遠像の混信ゲイン分布Bは、B=0.0079である。また、第2の受光素子25Bから得られるセンサ出力T2の望遠像に対する広角像の混信ゲイン分布Cは、C=0.4729であり、望遠像真信号の検出ゲイン分布Dは、D=0.2898である。
図11(B1)及び(B2)は、それぞれセンサ出力W2(第1の混信画像)、及びセンサ出力T2(第2の混信画像)を示している。同図に示すように、第1の受光素子25A及び第2の受光素子25Bのフォトダイオード26A,26Bの開口OA,OBの開口サイズの違い(開口OA<開口OB)により、第1の混信画像は、第2の混信画像よりも暗くなっている。また、第1の混信画像は、広角像に対する受光感度が高く、広角像が支配的である。一方、第2の混信画像も広角像に対する受光感度が望遠像の受光感度よりも高いが、両者の受光感度が接近している。
図11(C1)及び(C2)は、それぞれ混信が除去された真の広角像W1及び真の望遠像T1を示している。
真の広角像W1及び真の望遠像T1は、センサ出力W2及びセンサ出力T2のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列M-1と、センサ出力W2及びセンサ出力T2とに基づいて、図12に示す式(1)により算出することができる。
図13は、図12に示した式(1)中の「W1」を構成する要素w1_11~w1_mnを示す。即ち「W1」は、真の広角像W1の画素成分(画素値)に対応する要素w1_11~w1_mnによって構成される。
同様に、図12に示す「W2」、「T1」及び「T2」も、それぞれセンサ出力W2、真の望遠像T1及びセンサ出力T2の画素成分(画素値)に対応する要素w2_11~w2_mn、t1_11~t1_mn及びt2_11~t2_mnによって構成される(図示省略)。
また、図11に示したシミュレーションでは、図12に示す式(1)中の逆行列M-1を構成するゲイン分布A~Dを、A=0.2294、B=0.0079、C=0.4729、D=0.42898としたが、厳密にはゲイン分布A~Dは、イメージセンサ24の場所毎に異なるので、各場所での行列・逆行列(画素数分だけ存在)を使って、真の画像を求めることが好ましい。即ち、逆行列M-1を構成するゲイン分布A~Dも、それぞれ広角像及び望遠像の各画素に応じて定められる要素a11~amn、b11~bmn、c11~cmn及びd11~dmnによって構成することが好ましい(図示省略)。
図14は、図12に示した式(1)に基づいて導出される真の広角像W1を構成する画素成分(画素値)に対応する要素「w1_ij」を算出する式(2)を示す。同様に、図15は、図12に示した式(1)に基づいて導出される真の望遠像T1を構成する画素成分(画素値)に対応する要素「t1_ij」を算出する式(3)を示す。
<撮像装置の内部構成>
図16は、図1及び図2に示した撮像装置30の要部の内部構成を示すブロック図である。
図16は、図1及び図2に示した撮像装置30の要部の内部構成を示すブロック図である。
図16に示すように撮像装置30は、主として前述した多様レンズ11及びイメージセンサ24の他に、画像取得部32、混信除去処理部34、及びデジタル信号処理部36等を備えている。画像取得部32、混信除去処理部34、及びデジタル信号処理部36等は、例えば、図1で示されるデジタルカメラや図20で示されるスマートフォン内部にある、1つ又は複数のマイクロプロセッサによって実現される。
多様レンズ11の第1の光学系21及び第2の光学系22により撮像される広角像及び望遠像は、イメージセンサ24の受光面に結像され、各フォトダイオード26A,26Bにより入射光量に応じた電荷量の信号電圧(または電荷)に変換される。
イメージセンサ24に蓄積された信号電圧(または電荷)は、各受光素子25そのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧(または電荷)は、X-Yアドレス方式を用いたMOS(Metal Oxide Semiconductor)型イメージセンサ(いわゆるCMOS(Complementary Metal Oxide Semiconductor)センサ)の手法を用いて、受光素子25の位置の選択とともに読み出される。
これにより、イメージセンサ24に含まれる複数の第1の受光素子25Aから第1の混信画像を示す画像信号(センサ出力W2)と、イメージセンサ24に含まれる複数の第2の受光素子25Bから第2の混信画像を示す画像信号(センサ出力T2)とを読み出すことができる。
イメージセンサ24から読み出された画像信号(電圧信号)は、相関二重サンプリング処理(センサ出力に含まれるノイズ(特に熱雑音)等を軽減することを目的として、受光素子毎の出力信号に含まれるフィードスルー成分レベルと信号成分レベルとの差をとることにより正確な画素データを得る処理)により受光素子毎の画像信号がサンプリングホールドされ、増幅されたのちA/D(Analog-to-Digital)変換器20に加えられる。A/D変換器20は、順次入力する画像信号をデジタル信号に変換して画像取得部32に出力する。尚、MOS型イメージセンサでは、A/D変換器が内蔵されているものがあり、この場合、イメージセンサ24から直接デジタル信号が出力される。
画像取得部32は、イメージセンサ24の受光素子の位置を選択して画像信号を読み出すことにより、同時に撮像された第1の混信画像を示す画像信号と第2の混信画像を示す画像信号とを取得することができる。
即ち、イメージセンサ24の複数の第1の受光素子25Aを選択し、複数の第1の受光素子25Aから画像信号を選択的に読み出すことにより、第1の混信画像を示す画像信号を取得することができ、一方、イメージセンサ24の複数の第2の受光素子25Bを選択し、複数の第2の受光素子25Bから画像信号を選択的に読み出すことにより、第2の混信画像を示す画像信号を取得することができる。
尚、イメージセンサ24から全ての画像信号を読み出してバッファメモリに一時的に記憶させ、バッファメモリに記憶させた画像信号から、第1の混信画像と第2の混信画像の2つ画像の画像信号のグループ分けを行ってもよい。
画像取得部32により取得された第1の混信画像及び第2の混信画像を示す画像信号は、混信除去処理部34に出力される。
混信除去処理部34は、画像取得部32から入力する第1の混信画像及び第2の混信画像を示す画像信号から混信成分を除去し、多様レンズ11の第1の光学系の第1の特性(広角)及び第2の光学系22の第2の特性(望遠)をそれぞれ有する第1の画像(広角像)及び第2の画像(望遠像)を示す画像信号を生成する部分であり、図12に示した式(1)に基づいて混信のない広角像及び望遠像を示す画像信号を生成する。
即ち、混信除去処理部34は、式(1)に示した逆行列M-1を構成するゲイン分布A~Dを記憶するROM(Read Only Memory)等の記憶部34Aを有しており、記憶部34Aに記憶された逆行列M-1と、画像取得部32から入力する第1の混信画像及び第2の混信画像を示す画像信号(センサ出力W2,T2)とを乗算することにより、混信のない広角像W1及び望遠像T1を示す画像信号を生成する。尚、逆行列M-1を構成するゲイン分布A~Dは、多様レンズ11及びイメージセンサ24の特性により一意に特定することができるため、予め算出して記憶部34Aに記憶させておくことができる。
混信除去処理部34により生成された混信のない広角像W1及び望遠像T1を示す画像信号は、それぞれデジタル信号処理部36に出力される。
デジタル信号処理部36は、入力するデジタルの画像信号に対して、オフセット処理、ガンマ補正処理等の所定の信号処理を行う。
デジタル信号処理部36で処理された広角像及び望遠像を示す画像信号は、それぞれ記録部38及び表示部40に出力される。記録部38は、デジタル信号処理部36により処理された広角像及び望遠像を示す静止画記録用又は動画記録用の画像信号を記録媒体(ハードディスク、メモリカード等)に記録する。
表示部40は、デジタル信号処理部36により処理された広角像及び望遠像を示す静止画表示用又は動画表示用の画像信号により、広角画像及び望遠画像を表示する。尚、表示部40は、記録部38に記録された画像信号に基づいて広角画像及び望遠画像を再生することもできる。
<第2実施形態>
図17は、第2実施形態に係る多様レンズ11を使用した撮像メカニズムを説明するための図である。
図17は、第2実施形態に係る多様レンズ11を使用した撮像メカニズムを説明するための図である。
図17に示す多様レンズ11は、円形の第1の光学系21と、第1の光学系21に対して同心円状に配設された環状の第2の光学系22とからなり、第1の光学系21と第2の光学系とは光軸が共通するが、合焦距離が異なる。
図17において、各参照符号が示す内容は以下の通りである。
a1:第1の光学系21(遠合焦領域60a)のレンズ-受光面間距離
a2:第2の光学系22(近合焦領域60b)のレンズ-受光面間距離
b1:第1の光学系21(遠合焦領域60a)のレンズ-被写体間距離
b2:第2の光学系22(近合焦領域60b)のレンズ-被写体間距離
FD1:第1の光学系21(遠合焦領域60a)の合焦距離
FD2:第2の光学系22(近合焦領域60b)の合焦距離
Q1A、Q1B及びQ2:被写体
尚、本実施形態において「合焦距離」とは、イメージセンサ24の受光素子25の受光面から受光素子25と合焦関係にある被写体までの距離を指し、図17に示す例では「FD1=a1+b1」及び「FD2=a2+b2」の関係が成立する。また、第1の光学系21(遠合焦領域60a)の焦点距離を「f1」とし、第2の光学系22(近合焦領域60b)の焦点距離を「f2」とすると、「1/f1=(1/a1)+(1/b1)」及び「1/f2=(1/a2)+(1/b2)」の関係が成立する。
a2:第2の光学系22(近合焦領域60b)のレンズ-受光面間距離
b1:第1の光学系21(遠合焦領域60a)のレンズ-被写体間距離
b2:第2の光学系22(近合焦領域60b)のレンズ-被写体間距離
FD1:第1の光学系21(遠合焦領域60a)の合焦距離
FD2:第2の光学系22(近合焦領域60b)の合焦距離
Q1A、Q1B及びQ2:被写体
尚、本実施形態において「合焦距離」とは、イメージセンサ24の受光素子25の受光面から受光素子25と合焦関係にある被写体までの距離を指し、図17に示す例では「FD1=a1+b1」及び「FD2=a2+b2」の関係が成立する。また、第1の光学系21(遠合焦領域60a)の焦点距離を「f1」とし、第2の光学系22(近合焦領域60b)の焦点距離を「f2」とすると、「1/f1=(1/a1)+(1/b1)」及び「1/f2=(1/a2)+(1/b2)」の関係が成立する。
このような「合焦距離の異なる第1の光学系21及び第2の光学系22」を具備する撮像装置30おいても、第1実施形態と同様の機能構成(図16参照)によって、第1の光学系21により遠距離の被写体Q1A及びQ1Bに合焦した第1の画像と、第2の光学系22により近距離の被写体Q2に合焦した第2の画像とを同時に撮像することができる。
即ち、第1の光学系21により遠距離の被写体Q1B及びQ1Bに合焦した第1の合焦像の光と、第2の光学系22により近距離の被写体Q2に合焦した第2の合焦像の光とが混信し、イメージセンサ24の第1の受光素子25A及び第2の受光素子25Bに入射する。
これにより、イメージセンサ24の第1の受光素子25Aからは、第1の合焦像と第2の合焦像とが混信した第1の混信画像を取得することができ、イメージセンサ24の第2の受光素子25Bからは、第1の受光素子25Aとは混信比率が異なる、第1の合焦像と第2の合焦像とが混信した第2の混信画像を取得することができる。
混信除去処理部34は、逆行列M-1(図12に示した式(1)中のM-1)と、イメージセンサ24から取得された第1の混信画像及び第2の混信画像とを乗算することにより、それぞれ混信のない遠距離の被写体Q1B及びQ1Bに合焦した第1の画像と、近距離の被写体Q2に合焦した第2の画像とを生成することができる。
尚、第2実施形態に係る多様レンズ11は、図3等に示した多様レンズ11とは特性が異なるため、逆行列M-1を構成するゲイン分布A~Dも異なることは言うまでもない。
<第3実施形態>
図18は、第3実施形態に係る多様レンズ(図示せず)の第1の光学系と第2の光学系の変調伝達関数特性(MTF:Modulation Transfer Function)を示すグラフである。
図18は、第3実施形態に係る多様レンズ(図示せず)の第1の光学系と第2の光学系の変調伝達関数特性(MTF:Modulation Transfer Function)を示すグラフである。
第3実施形態に係る多様レンズの第1の光学系と第2の光学系とは、焦点距離及び合焦距離は同一であるが、MTFが異なり、第1の光学系は、図18のMTF曲線aに示す第1のMTFを有し、第2の光学系は、図18のMTF曲線bに示す第2のMTFを有する。尚、第3実施形態に係る多様レンズは、例えば、図17に示した多様レンズ11とほぼ同様の外観形状とすることができる。
第1のMTFを有する第1の光学系は、図18に示すMTF曲線aによれば、第2のMTFを有する第2の光学系と比較して解像度は高いが、コントラストが低い光学系であり、一方、第2のMTFを有する第2の光学系は、図18に示すMTF曲線bによれば、第1のMTFを有する第1の光学系と比較して解像度は低いが、コントラストが高い光学系である。
このような「MTFの異なる第1の光学系及び第2の光学系」を具備する撮像装置30おいても、第1実施形態と同様の機能構成(図16参照)によって、第1の光学系及び第2の光学系のそれぞれのMTFに対応した第1の画像と第2の画像とを同時に撮像することができる。
即ち、第1の光学系の第1のMTFに対応する第1の像の光と、第2の光学系の第2のMTFに対応する第2の像の光とが混信し、イメージセンサ24の第1の受光素子25A及び第2の受光素子25Bに入射する。
これにより、イメージセンサ24の第1の受光素子25Aからは、第1の像と第2の像とが混信した第1の混信画像を取得することができ、イメージセンサ24の第2の受光素子25Bからは、第1の受光素子25Aとは混信比率が異なる、第1の像と第2の像とが混信した第2の混信画像を取得することができる。
混信除去処理部34は、逆行列M-1(図12に示した式(1)中のM-1)と、イメージセンサ24から取得された第1の混信画像及び第2の混信画像とを乗算することにより、それぞれ混信のない第1のMTFを有する第1の画像と、第2のMTFを有する第2の画像とを生成することができる。
<イメージセンサの他の実施形態>
図19は、本発明に適用されるイメージセンサの他の実施形態を示す断面図であり、イメージセンサの要部を拡大した断面図である。
図19は、本発明に適用されるイメージセンサの他の実施形態を示す断面図であり、イメージセンサの要部を拡大した断面図である。
図19に示すイメージセンサ124は、フォトダイオード126A,126Bの受光面とは反対側(裏面側)に、フォトダイオード126A,126Bに蓄積される電荷に対応する画像信号を読み出すための配線等が形成された配線層127が設けられた、裏面照射型イメージセンサである。また、フォトダイオード126A,126Bの受光面(表面)側には、反射防止層、平滑化層、カラーフィルタ等の層128が設けられ、層128の入射面側には、マイクロレンズ(オンチップマイクロレンズ)129が形成されている。
マイクロレンズ129は、第1の受光素子125A毎及び第2の受光素子125B毎にそれぞれ1つ設けられており、マイクロレンズ29に入射する多様レンズの瞳像をフォトダイオード126A,126Bの受光面に結像させる。
この実施形態に係るイメージセンサ124は、裏面照射型イメージセンサであるため、フォトダイオード126A,126Bの受光面(表面)側には、配線層がなく、その結果、図4に示した第1実施形態に係るイメージセンサ24(即ち、フォトダイオード26A,26Bの受光面(表面)側に配線層27が形成された表面照射型イメージセンサ)に比べて、画素サイズの微細化に有利であるのみならず、光利用効率の高いため、高感度化にも有利である。
<他の変形例>
本発明は上述の実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
本発明は上述の実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
例えば、上述の実施形態同士を適宜組み合わされてもよく、第1の実施形態に係る多様レンズ、第2の実施形態に係る多様レンズ、及び第3の実施形態に係る多様レンズのそれぞれの特性を、2以上組み合わせてなる多様レンズに対しても本発明は適用することができる。
また、上述の実施形態では、2種類の光学系(第1の光学系21及び第2の光学系22)によって多様レンズ11が構成される例について説明したが、3種類以上の光学系によって多様レンズ11が構成されてもよい。
また、本実施形態のイメージセンサ24は、第1の受光素子25Aと第2の受光素子25Bとが市松状(チェッカーパターン状)に配列されて構成されているが、本発明に係るイメージセンサは、これに限らず、受光部の開口サイズが異なる第1の受光素子と第2の受光素子とが隣接してペアとなり、このペアが2次元配列されたもの、第1の受光素子と第2の受光素子との個数の比率が1:1ではなく、第1の受光素子の個数が第2の受光素子の個数よりも多いもの、逆に第1の受光素子の個数が第2の受光素子の個数よりも少ないもの等を含む。尚、第1の受光素子の個数と第2の受光素子の個数とが異なる場合、図12に示した式(1)の演算を可能にするために、個数の少ない受光素子のセンサ出力を補間して個数の多い受光素子のセンサ出力と同じ画像サイズにすることが好ましい。
更に、本発明は、イメージセンサの複数の第1の受光素子から第1の混信画像を取得し、複数の第2の受光素子から第2の混信画像を取得するステップと、取得した第1の混信画像と第2の混信画像からそれぞれ混信成分を除去し、多様レンズの第1の特性及び第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップとを含む撮像方法にも適用可能である。
更にまた、上述の各構成及び各機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、多様レンズ11及びイメージセンサ24(図3)を備えた撮像装置から直接又は記録媒体等を介して間接的に第1の混信画像及び第2の混信画像をコンピュータに入力し、上述のステップをコンピュータに実行させる画像処理プログラム、そのような画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのような画像処理プログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
また、本発明を適用可能な態様は図1に示すデジタルカメラ10及び図2に示す自動追尾撮像装置14には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能(通話機能、通信機能、或いはその他のコンピュータ機能)を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)及び携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。
<スマートフォンの構成>
図20は、本発明の撮像装置の一実施形態であるスマートフォン101の外観を示す図である。図20に示すスマートフォン101は、平板状の筐体102を有し、筐体102の一方の面に表示部としての表示パネル121と、入力部としての操作パネル122とが一体となって形成される表示入力部120が設けられる。また、その筐体102は、スピーカ131と、マイクロホン132と、操作部140と、カメラ部141とを備える。尚、筐体102の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図20は、本発明の撮像装置の一実施形態であるスマートフォン101の外観を示す図である。図20に示すスマートフォン101は、平板状の筐体102を有し、筐体102の一方の面に表示部としての表示パネル121と、入力部としての操作パネル122とが一体となって形成される表示入力部120が設けられる。また、その筐体102は、スピーカ131と、マイクロホン132と、操作部140と、カメラ部141とを備える。尚、筐体102の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図21は、図20に示すスマートフォン101の構成を示すブロック図である。図21に示すように、スマートフォン101の主たる構成要素として、無線通信部110と、表示入力部120と、通話部130と、操作部140と、カメラ部141と、記憶部150と、外部入出力部160と、GPS(Global Positioning System)受信部170と、モーションセンサ部180と、電源部190と、主制御部100とを備える。また、スマートフォン101の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部110は、主制御部100の指示に従って、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データ及び画像データ等の各種ファイルデータや電子メールデータなどの送受信、及びWebデータやストリーミングデータなどの受信が行われる。
表示入力部120は、表示パネル121及び操作パネル122を備えるいわゆるタッチパネルであり、主制御部100の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。
表示パネル121は、LCD(Liquid Crystal Display)又はOELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いる。操作パネル122は、表示パネル121の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル122は、操作に起因して発生する検出信号を主制御部100に出力する。次いで、主制御部100は、受信した検出信号に基づいて、表示パネル121上の操作位置(座標)を検出する。
本発明の撮像装置の一実施形態として図20に例示されるスマートフォン101の表示パネル121と操作パネル122とは一体となって表示入力部120を構成し、操作パネル122が表示パネル121を完全に覆うような配置となっている。その配置を採用した場合、操作パネル122は、表示パネル121外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル122は、表示パネル121に重なる重畳部分についての検出領域(以下、「表示領域」と称する)と、それ以外の表示パネル121に重ならない外縁部分についての検出領域(以下、「非表示領域」と称する)とを備えていてもよい。
尚、表示領域の大きさと表示パネル121の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル122が、外縁部分及びそれ以外の内側部分の2つの感応領域を備えていてもよい。さらに、その外縁部分の幅は、筐体102の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル122で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、及び静電容量方式などが挙げられ、いずれの方式が採用されてもよい。
通話部130は、スピーカ131及びマイクロホン132を備え、マイクロホン132を通じて入力されたユーザの音声を主制御部100にて処理可能な音声データに変換して主制御部100に出力したり、無線通信部110或いは外部入出力部160により受信された音声データを復号してスピーカ131から出力したりする。また、図20に示すように、例えば、スピーカ131及びマイクロホン132を表示入力部120が設けられた面と同じ面に搭載することができる。
操作部140は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、図20に示すように、操作部140は、スマートフォン101の筐体102の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。
記憶部150は、主制御部100の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータ、及びダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部150は、スマートフォン内蔵の内部記憶部151と着脱自在な外部メモリスロットを有する外部記憶部152とにより構成される。尚、記憶部150を構成する内部記憶部151及び外部記憶部152のそれぞれは、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、或いはROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部160は、スマートフォン101に連結される全ての外部機器とのインターフェースの役割を果たし、通信等(例えば、USB(Universal Serial Bus)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により他の外部機器に直接的又は間接的に接続する。
スマートフォン101に連結される外部機器としては、例えば、有線/無線ヘッドセット、有線/無線外部充電器、有線/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有線/無線接続されるスマートフォン、有線/無線接続されるパーソナルコンピュータ、有線/無線接続されるPDA、及びイヤホンなどがある。外部入出力部160は、このような外部機器から伝送を受けたデータをスマートフォン101の内部の各構成要素に伝達したり、スマートフォン101の内部のデータが外部機器に伝送されたりするように構成されてもよい。
GPS受信部170は、主制御部100の指示に従って、GPS衛星ST1、ST2~STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン101の緯度、経度及び高度によって特定される位置を検出する。GPS受信部170は、無線通信部110及び/又は外部入出力部160(例えば、無線LAN)から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部180は、例えば、3軸の加速度センサなどを備え、主制御部100の指示に従って、スマートフォン101の物理的な動きを検出する。スマートフォン101の物理的な動きを検出することにより、スマートフォン101の動く方向や加速度が検出される。その検出の結果は、主制御部100に出力される。
電源部190は、主制御部100の指示に従って、スマートフォン101の各部に、バッテリ(図示しない)に蓄えられる電力を供給する。
主制御部100は、マイクロプロセッサを備え、記憶部150が記憶する制御プログラムや制御データに従って動作し、スマートフォン101の各部を統括して制御する。また、主制御部100は、無線通信部110を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。
アプリケーション処理機能は、記憶部150が記憶するアプリケーションソフトウェアに従って主制御部100が動作することにより実現される。アプリケーション処理機能としては、例えば、外部入出力部160を制御することで対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、及びWebページを閲覧するWebブラウジング機能などがある。
また、主制御部100は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部120に表示する等の画像処理機能を備える。画像処理機能とは、主制御部100が、上記画像データを復号し、その復号結果に画像処理を施して、その画像処理を経て得られる画像を表示入力部120に表示する機能のことをいう。
更に、主制御部100は、表示パネル121に対する表示制御と、操作部140や操作パネル122を通じたユーザ操作を検出する操作検出制御とを実行する。
表示制御の実行により、主制御部100は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル121の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部100は、操作部140を通じたユーザ操作を検出したり、操作パネル122を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部100は、操作パネル122に対する操作位置が、表示パネル121に重なる重畳部分(表示領域)に該当するか、或いはそれ以外の表示パネル121に重ならない外縁部分(非表示領域)に該当するかを判定し、操作パネル122の感応領域やソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部100は、操作パネル122に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部141は、前述した撮像装置30を適用することができる。また、カメラ部141は、主制御部100の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic Experts Group)などの圧縮した画像データに変換し、その画像データを記憶部150に記録したり、外部入出力部160や無線通信部110を通じて出力したりすることができる。図20に示すようにスマートフォン101において、カメラ部141は表示入力部120と同じ面に搭載されているが、カメラ部141の搭載位置はこれに限らず、表示入力部120が設けられる筐体102の表面ではなく筐体102の背面にカメラ部141が搭載されてもよいし、或いは複数のカメラ部141が筐体102に搭載されてもよい。尚、複数のカメラ部141が搭載されている場合には、撮像に供するカメラ部141を切り替えて単独のカメラ部141によって撮像が行われてもよいし、或いは、複数のカメラ部141を同時に使用して撮像が行われてもよい。
また、カメラ部141はスマートフォン101の各種機能に利用することができる。例えば、カメラ部141で取得した画像が表示パネル121に表示さてもよいし、操作パネル122の操作入力手法の一つとして、カメラ部141で撮像取得される画像が利用されてもよい。また、GPS受信部170が位置を検出する際に、カメラ部141からの画像が参照されて位置が検出されてもよい。さらには、カメラ部141からの画像が参照されて、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン101のカメラ部141の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部141からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、GPS受信部170により取得された位置情報、マイクロホン132により取得された音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、及びモーションセンサ部180により取得された姿勢情報等などを静止画又は動画の画像データに付加して得られるデータを、記憶部150に記録したり、外部入出力部160や無線通信部110を通じて出力したりすることもできる。
尚、上述の画像取得部32、混信除去処理部34、デジタル信号処理部36等(図16参照)は、例えば主制御部100によって実現可能である。
10…デジタルカメラ、11…多様レンズ、14…自動追尾撮像装置、21…第1の光学系、22…第2の光学系、24、124…イメージセンサ、25…受光素子、25A、125A…第1の受光素子、25B、125B…第2の受光素子、29、129…マイクロレンズ、26A…第1のフォトダイオード、26B…第2のフォトダイオード、27、127…配線層、30…撮像装置、32…画像取得部、34…混信除去処理部、36…デジタル信号処理部、38…記録部、40…表示部、100…主制御部、101…スマートフォン、141…カメラ部
Claims (13)
- 第1の特性を有する第1の領域と前記第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、
第1の受光素子と前記第1の受光素子とは受光部の開口サイズが異なる第2の受光素子とが2次元配列されたイメージセンサであって、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが混信して入射する前記第1の受光素子と、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが混信して入射し、かつ前記第1の受光素子とは混信比率が異なる前記第2の受光素子とを有するイメージセンサと、
前記イメージセンサの前記第1の受光素子から得られる第1の混信画像及び前記第2の受光素子から得られる第2の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第1の特性及び前記第2の特性をそれぞれ有する第1の画像及び第2の画像を生成する混信除去処理部と、
を備えた撮像装置。 - 前記混信除去処理部は、前記第1の混信画像及び前記第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、前記第1の混信画像及び前記第2の混信画像とに基づいて前記第1の画像及び前記第2の画像を算出する請求項1に記載の撮像装置。
- 前記イメージセンサは、前記第1の受光素子毎及び前記第2の受光素子毎にそれぞれ1つのマイクロレンズが設けられている請求項1又は2に記載の撮像装置。
- 前記第1の受光素子毎及び前記第2の受光素子毎に設けられた前記マイクロレンズは、それぞれ曲率半径が同一であり、かつ前記第1の受光素子の受光面及び前記第2の受光素子の受光面からの距離が一定である請求項3に記載の撮像装置。
- 前記イメージセンサは、裏面照射型イメージセンサである請求項1から4のいずれか1項に記載の撮像装置。
- 前記多様レンズは、前記第1の特性を有する前記第1の領域に対応する第1の光学系と、前記第2の特性を有する前記第2の領域に対応する第2の光学系とを含む請求項1から5のいずれか1項に記載の撮像装置。
- 前記第1の光学系と前記第2の光学系とは、光軸が共通する請求項6に記載の撮像装置。
- 前記第1の光学系は円形の中央光学系であり、前記第2の光学系は前記中央光学系に対して同心円状に配設された環状光学系である請求項7に記載の撮像装置。
- 前記第1の光学系と前記第2の光学系とは、それぞれ焦点距離、合焦距離及び変調伝達関数特性のうちの少なくとも1つが異なる請求項6から8のいずれか1項に記載の撮像装置。
- 第1の特性を有する第1の領域と前記第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1の受光素子と前記第1の受光素子とは受光部の開口サイズが異なる第2の受光素子とが2次元配列されたイメージセンサであって、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが混信して入射する前記第1の受光素子と、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが混信して入射し、かつ前記第1の受光素子とは混信比率が異なる前記第2の受光素子とを有するイメージセンサと、を備えた撮像装置における撮像方法であって、
前記撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、前記イメージセンサの前記第1の受光素子により光電変換された前記第1の混信画像と、前記第2の受光素子により光電変換された前記第2の混信画像とを取得するステップと、
前記取得した前記第1の混信画像及び前記第2の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第1の特性及び前記第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、
を含む撮像方法。 - 前記第1の画像及び前記第2の画像を生成するステップは、前記第1の混信画像及び前記第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、前記第1の混信画像及び前記第2の混信画像とに基づいて前記第1の画像及び前記第2の画像を算出する請求項10に記載の撮像方法。
- 第1の特性を有する第1の領域と前記第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1の受光素子と前記第1の受光素子とは受光部の開口サイズが異なる第2の受光素子とが2次元配列されたイメージセンサであって、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが混信して入射する前記第1の受光素子と、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが混信して入射し、かつ前記第1の受光素子とは混信比率が異なる前記第2の受光素子とを有するイメージセンサと、を備えた撮像装置の画像処理プログラムであって、
前記撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、前記イメージセンサの前記第1の受光素子により光電変換された前記第1の混信画像と、前記第2の受光素子により光電変換された前記第2の混信画像とを取得するステップと、
前記取得した前記第1の混信画像及び前記第2の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第1の特性及び前記第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、
をコンピュータに実現させる画像処理プログラム。 - 前記第1の画像及び前記第2の画像を生成するステップは、前記第1の混信画像及び前記第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、前記第1の混信画像及び前記第2の混信画像とに基づいて前記第1の画像及び前記第2の画像を算出する請求項12に記載の画像処理プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201580062808.5A CN107005650B (zh) | 2014-11-20 | 2015-10-26 | 摄像装置、摄像方法及记录介质 |
JP2016560129A JP6367360B2 (ja) | 2014-11-20 | 2015-10-26 | 撮像装置、撮像方法及び画像処理プログラム |
EP15860489.2A EP3223508B1 (en) | 2014-11-20 | 2015-10-26 | Imaging device, imaging method, and image processing program |
US15/498,497 US10122950B2 (en) | 2014-11-20 | 2017-04-27 | Imaging device, imaging method, and image processing program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014235911 | 2014-11-20 | ||
JP2014-235911 | 2014-11-20 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/498,497 Continuation US10122950B2 (en) | 2014-11-20 | 2017-04-27 | Imaging device, imaging method, and image processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016080154A1 true WO2016080154A1 (ja) | 2016-05-26 |
Family
ID=56013711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/080148 WO2016080154A1 (ja) | 2014-11-20 | 2015-10-26 | 撮像装置、撮像方法及び画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10122950B2 (ja) |
EP (1) | EP3223508B1 (ja) |
JP (1) | JP6367360B2 (ja) |
CN (1) | CN107005650B (ja) |
WO (1) | WO2016080154A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023053770A1 (ja) * | 2021-09-30 | 2023-04-06 | 富士フイルム株式会社 | 情報処理装置、方法及びプログラム並びに撮像装置 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109361874B (zh) * | 2018-12-19 | 2021-05-14 | 维沃移动通信有限公司 | 一种拍照方法及终端 |
TWI717942B (zh) * | 2019-12-19 | 2021-02-01 | 宏碁股份有限公司 | 鏡頭匹配裝置及鏡頭匹配方法 |
US11647302B2 (en) | 2020-02-21 | 2023-05-09 | Samsung Electronics Co., Ltd. | Method of calibrating image sensor and device for calibrating image sensor |
CN115226417A (zh) * | 2021-02-20 | 2022-10-21 | 京东方科技集团股份有限公司 | 图像获取设备、图像获取装置、图像获取方法及制作方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013027488A1 (ja) * | 2011-08-24 | 2013-02-28 | 富士フイルム株式会社 | 撮像装置 |
WO2013146506A1 (ja) * | 2012-03-27 | 2013-10-03 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4500434B2 (ja) * | 2000-11-28 | 2010-07-14 | キヤノン株式会社 | 撮像装置及び撮像システム、並びに撮像方法 |
JP4500574B2 (ja) | 2004-03-30 | 2010-07-14 | 富士フイルム株式会社 | 広ダイナミックレンジカラー固体撮像装置及びこの固体撮像装置を搭載したデジタルカメラ |
JP5480393B2 (ja) | 2010-10-01 | 2014-04-23 | 富士フイルム株式会社 | 撮像デバイス |
JP5634946B2 (ja) | 2011-06-06 | 2014-12-03 | 富士フイルム株式会社 | 撮像装置 |
WO2013027507A1 (ja) | 2011-08-23 | 2013-02-28 | 富士フイルム株式会社 | 撮像装置 |
WO2013080551A1 (ja) * | 2011-11-30 | 2013-06-06 | パナソニック株式会社 | 撮像装置 |
US9473688B2 (en) * | 2012-12-20 | 2016-10-18 | Canon Kabushiki Kaisha | Image pickup apparatus comprising a plurality of imaging sensors and image processing units |
-
2015
- 2015-10-26 CN CN201580062808.5A patent/CN107005650B/zh active Active
- 2015-10-26 EP EP15860489.2A patent/EP3223508B1/en active Active
- 2015-10-26 WO PCT/JP2015/080148 patent/WO2016080154A1/ja active Application Filing
- 2015-10-26 JP JP2016560129A patent/JP6367360B2/ja active Active
-
2017
- 2017-04-27 US US15/498,497 patent/US10122950B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013027488A1 (ja) * | 2011-08-24 | 2013-02-28 | 富士フイルム株式会社 | 撮像装置 |
WO2013146506A1 (ja) * | 2012-03-27 | 2013-10-03 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3223508A4 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023053770A1 (ja) * | 2021-09-30 | 2023-04-06 | 富士フイルム株式会社 | 情報処理装置、方法及びプログラム並びに撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3223508A1 (en) | 2017-09-27 |
US10122950B2 (en) | 2018-11-06 |
CN107005650B (zh) | 2020-03-03 |
EP3223508B1 (en) | 2019-08-21 |
EP3223508A4 (en) | 2017-10-11 |
US20170230595A1 (en) | 2017-08-10 |
JPWO2016080154A1 (ja) | 2017-09-14 |
CN107005650A (zh) | 2017-08-01 |
JP6367360B2 (ja) | 2018-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6214481B2 (ja) | 撮像装置 | |
JP5959714B2 (ja) | 撮像装置 | |
JP6165680B2 (ja) | 撮像装置 | |
JP6031587B2 (ja) | 撮像装置、信号処理方法、信号処理プログラム | |
JP6367360B2 (ja) | 撮像装置、撮像方法及び画像処理プログラム | |
JP5982601B2 (ja) | 撮像装置及び合焦制御方法 | |
JP6077967B2 (ja) | 撮像装置 | |
JP6307526B2 (ja) | 撮像装置及び合焦制御方法 | |
JP6171106B2 (ja) | 撮像装置及び合焦制御方法 | |
JP5542248B2 (ja) | 撮像素子及び撮像装置 | |
JPWO2015141081A1 (ja) | 撮像装置及び合焦制御方法 | |
JP6397048B2 (ja) | 撮像装置、撮像方法及び画像処理プログラム | |
JP6446599B2 (ja) | 合焦制御装置、レンズ装置、撮像装置、合焦制御方法、合焦制御プログラム | |
JP6326149B2 (ja) | 撮像装置、撮像方法及び画像処理プログラム | |
WO2019202983A1 (ja) | 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15860489 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2016560129 Country of ref document: JP Kind code of ref document: A |
|
REEP | Request for entry into the european phase |
Ref document number: 2015860489 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |