JP6367360B2 - 撮像装置、撮像方法及び画像処理プログラム - Google Patents
撮像装置、撮像方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP6367360B2 JP6367360B2 JP2016560129A JP2016560129A JP6367360B2 JP 6367360 B2 JP6367360 B2 JP 6367360B2 JP 2016560129 A JP2016560129 A JP 2016560129A JP 2016560129 A JP2016560129 A JP 2016560129A JP 6367360 B2 JP6367360 B2 JP 6367360B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light receiving
- interference
- receiving element
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
- G02B13/0085—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing wafer level optics
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B19/00—Cameras
- G03B19/02—Still-picture cameras
- G03B19/023—Multi-image cameras
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/28—Locating light-sensitive material within camera
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Cameras In General (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
(2) 受光セルの近傍に遮光マスクを配置し、多様レンズの第1の領域を通過した光束又は第2の領域を通過した光束を遮光することにより光検出感度に角度特性を持たせた指向性センサ
(3) 受光セル毎にプリズムとして機能するプリズム要素を設け、プリズム要素により光検出感度に角度特性を持たせた指向性センサ
特許文献1、2に記載の撮像装置は、瞳領域の場所に応じて特性の異なる多様レンズと、光検出感度に角度特性を持つ指向性センサとを組み合わせることで、特性の異なる多様な画像を、単一の指向性センサと多様レンズとで同時に撮像することができる。
図3は、第1実施形態に係る多様レンズ11及びイメージセンサ24の断面構成を示す図である。
次に、本発明に適用可能な混信除去方法について説明する。
マイクロレンズ29の屈折率:1.55
マイクロレンズ29の頂点とフォトダイオード26A,26Bの入射面との距離:9.1μm
第1の受光素子25Aと第2の受光素子25Bとの間隔(画素ピッチ):7μm
第1の受光素子25Aのフォトダイオード26Aの開口サイズ/画素ピッチ:18%
第2の受光素子25Bのフォトダイオード26Bの開口サイズ/画素ピッチ:46%
図11(A1)及び(A2)は、マイクロレンズ29により結像される多様レンズ11の瞳像と、第1の受光素子25A及び第2の受光素子25Bのフォトダイオード26A,26Bの開口OA,OBとの関係を示している。
図16は、図1及び図2に示した撮像装置30の要部の内部構成を示すブロック図である。
図17は、第2実施形態に係る多様レンズ11を使用した撮像メカニズムを説明するための図である。
a2:第2の光学系22(近合焦領域60b)のレンズ−受光面間距離
b1:第1の光学系21(遠合焦領域60a)のレンズ−被写体間距離
b2:第2の光学系22(近合焦領域60b)のレンズ−被写体間距離
FD1:第1の光学系21(遠合焦領域60a)の合焦距離
FD2:第2の光学系22(近合焦領域60b)の合焦距離
Q1A、Q1B及びQ2:被写体
尚、本実施形態において「合焦距離」とは、イメージセンサ24の受光素子25の受光面から受光素子25と合焦関係にある被写体までの距離を指し、図17に示す例では「FD1=a1+b1」及び「FD2=a2+b2」の関係が成立する。また、第1の光学系21(遠合焦領域60a)の焦点距離を「f1」とし、第2の光学系22(近合焦領域60b)の焦点距離を「f2」とすると、「1/f1=(1/a1)+(1/b1)」及び「1/f2=(1/a2)+(1/b2)」の関係が成立する。
図18は、第3実施形態に係る多様レンズ(図示せず)の第1の光学系と第2の光学系の変調伝達関数特性(MTF:Modulation Transfer Function)を示すグラフである。
図19は、本発明に適用されるイメージセンサの他の実施形態を示す断面図であり、イメージセンサの要部を拡大した断面図である。
本発明は上述の実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
図20は、本発明の撮像装置の一実施形態であるスマートフォン101の外観を示す図である。図20に示すスマートフォン101は、平板状の筐体102を有し、筐体102の一方の面に表示部としての表示パネル121と、入力部としての操作パネル122とが一体となって形成される表示入力部120が設けられる。また、その筐体102は、スピーカ131と、マイクロホン132と、操作部140と、カメラ部141とを備える。尚、筐体102の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
Claims (13)
- 第1の特性を有する第1の領域と前記第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、
第1の受光素子と前記第1の受光素子とは受光部の開口サイズが異なる第2の受光素子とが2次元配列されたイメージセンサであって、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが混信して入射する前記第1の受光素子と、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが混信して入射し、かつ前記第1の受光素子の開口サイズを含むことにより混信比率が異なる前記第2の受光素子とを有するイメージセンサと、
前記イメージセンサの前記第1の受光素子から得られる第1の混信画像及び前記第2の受光素子から得られる第2の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第1の特性及び前記第2の特性をそれぞれ有する第1の画像及び第2の画像を生成する混信除去処理部と、
を備えた撮像装置。 - 前記混信除去処理部は、前記第1の混信画像及び前記第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、前記第1の混信画像及び前記第2の混信画像とに基づいて前記第1の画像及び前記第2の画像を算出する請求項1に記載の撮像装置。
- 前記イメージセンサは、前記第1の受光素子毎及び前記第2の受光素子毎にそれぞれ1つのマイクロレンズが設けられている請求項1又は2に記載の撮像装置。
- 前記第1の受光素子毎及び前記第2の受光素子毎に設けられた前記マイクロレンズは、それぞれ曲率半径が同一であり、かつ前記第1の受光素子の受光面及び前記第2の受光素子の受光面からの距離が一定である請求項3に記載の撮像装置。
- 前記イメージセンサは、裏面照射型イメージセンサである請求項1から4のいずれか1項に記載の撮像装置。
- 前記多様レンズは、前記第1の特性を有する前記第1の領域に対応する第1の光学系と、前記第2の特性を有する前記第2の領域に対応する第2の光学系とを含む請求項1から5のいずれか1項に記載の撮像装置。
- 前記第1の光学系と前記第2の光学系とは、光軸が共通する請求項6に記載の撮像装置。
- 前記第1の光学系は円形の中央光学系であり、前記第2の光学系は前記中央光学系に対して同心円状に配設された環状光学系である請求項7に記載の撮像装置。
- 前記第1の光学系と前記第2の光学系とは、それぞれ焦点距離、合焦距離及び変調伝達関数特性のうちの少なくとも1つが異なる請求項6から8のいずれか1項に記載の撮像装置。
- 第1の特性を有する第1の領域と前記第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1の受光素子と前記第1の受光素子とは受光部の開口サイズが異なる第2の受光素子とが2次元配列されたイメージセンサであって、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが混信して入射する前記第1の受光素子と、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが混信して入射し、かつ前記第1の受光素子の開口サイズを含むことにより混信比率が異なる前記第2の受光素子とを有するイメージセンサと、を備えた撮像装置における撮像方法であって、
前記撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、前記イメージセンサの前記第1の受光素子により光電変換された前記第1の混信画像と、前記第2の受光素子により光電変換された前記第2の混信画像とを取得するステップと、
前記取得した前記第1の混信画像及び前記第2の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第1の特性及び前記第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、
を含む撮像方法。 - 前記第1の画像及び前記第2の画像を生成するステップは、前記第1の混信画像及び前記第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、前記第1の混信画像及び前記第2の混信画像とに基づいて前記第1の画像及び前記第2の画像を算出する請求項10に記載の撮像方法。
- 第1の特性を有する第1の領域と前記第1の特性とは異なる第2の特性を有する第2の領域とを含む多様レンズと、第1の受光素子と前記第1の受光素子とは受光部の開口サイズが異なる第2の受光素子とが2次元配列されたイメージセンサであって、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが混信して入射する前記第1の受光素子と、前記多様レンズの前記第1の領域を通過する光束と前記第2の領域を通過する光束とが混信して入射し、かつ前記第1の受光素子の開口サイズを含むことにより混信比率が異なる前記第2の受光素子とを有するイメージセンサと、を備えた撮像装置の画像処理プログラムであって、
前記撮像装置により同時に撮像された第1の混信画像及び第2の混信画像であって、前記イメージセンサの前記第1の受光素子により光電変換された前記第1の混信画像と、前記第2の受光素子により光電変換された前記第2の混信画像とを取得するステップと、
前記取得した前記第1の混信画像及び前記第2の混信画像からそれぞれ混信成分を除去し、前記多様レンズの前記第1の特性及び前記第2の特性をそれぞれ有する第1の画像及び第2の画像を生成するステップと、
をコンピュータに実現させる画像処理プログラム。 - 前記第1の画像及び前記第2の画像を生成するステップは、前記第1の混信画像及び前記第2の混信画像のそれぞれの検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列と、前記第1の混信画像及び前記第2の混信画像とに基づいて前記第1の画像及び前記第2の画像を算出する請求項12に記載の画像処理プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014235911 | 2014-11-20 | ||
JP2014235911 | 2014-11-20 | ||
PCT/JP2015/080148 WO2016080154A1 (ja) | 2014-11-20 | 2015-10-26 | 撮像装置、撮像方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016080154A1 JPWO2016080154A1 (ja) | 2017-09-14 |
JP6367360B2 true JP6367360B2 (ja) | 2018-08-08 |
Family
ID=56013711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016560129A Active JP6367360B2 (ja) | 2014-11-20 | 2015-10-26 | 撮像装置、撮像方法及び画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10122950B2 (ja) |
EP (1) | EP3223508B1 (ja) |
JP (1) | JP6367360B2 (ja) |
CN (1) | CN107005650B (ja) |
WO (1) | WO2016080154A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109361874B (zh) * | 2018-12-19 | 2021-05-14 | 维沃移动通信有限公司 | 一种拍照方法及终端 |
TWI717942B (zh) * | 2019-12-19 | 2021-02-01 | 宏碁股份有限公司 | 鏡頭匹配裝置及鏡頭匹配方法 |
CN113301278A (zh) | 2020-02-21 | 2021-08-24 | 三星电子株式会社 | 校准图像传感器的方法和校准图像传感器的设备 |
US20240056657A1 (en) * | 2021-02-20 | 2024-02-15 | Boe Technology Group Co., Ltd. | Image acquisition device, image acquisition apparatus, image acquisition method and manufacturing method |
WO2023053770A1 (ja) * | 2021-09-30 | 2023-04-06 | 富士フイルム株式会社 | 情報処理装置、方法及びプログラム並びに撮像装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4500434B2 (ja) * | 2000-11-28 | 2010-07-14 | キヤノン株式会社 | 撮像装置及び撮像システム、並びに撮像方法 |
JP4500574B2 (ja) | 2004-03-30 | 2010-07-14 | 富士フイルム株式会社 | 広ダイナミックレンジカラー固体撮像装置及びこの固体撮像装置を搭載したデジタルカメラ |
CN103141082B (zh) | 2010-10-01 | 2017-03-08 | 富士胶片株式会社 | 成像装置 |
JP5634946B2 (ja) | 2011-06-06 | 2014-12-03 | 富士フイルム株式会社 | 撮像装置 |
JP5525109B2 (ja) | 2011-08-23 | 2014-06-18 | 富士フイルム株式会社 | 撮像装置 |
EP2750374B1 (en) * | 2011-08-24 | 2018-03-28 | FUJIFILM Corporation | Imaging device |
CN103314571B (zh) * | 2011-11-30 | 2017-09-29 | 松下知识产权经营株式会社 | 摄像装置和摄像系统 |
JP5647751B2 (ja) * | 2012-03-27 | 2015-01-07 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
US9473688B2 (en) * | 2012-12-20 | 2016-10-18 | Canon Kabushiki Kaisha | Image pickup apparatus comprising a plurality of imaging sensors and image processing units |
-
2015
- 2015-10-26 WO PCT/JP2015/080148 patent/WO2016080154A1/ja active Application Filing
- 2015-10-26 EP EP15860489.2A patent/EP3223508B1/en active Active
- 2015-10-26 JP JP2016560129A patent/JP6367360B2/ja active Active
- 2015-10-26 CN CN201580062808.5A patent/CN107005650B/zh active Active
-
2017
- 2017-04-27 US US15/498,497 patent/US10122950B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20170230595A1 (en) | 2017-08-10 |
US10122950B2 (en) | 2018-11-06 |
EP3223508A1 (en) | 2017-09-27 |
CN107005650A (zh) | 2017-08-01 |
JPWO2016080154A1 (ja) | 2017-09-14 |
WO2016080154A1 (ja) | 2016-05-26 |
EP3223508B1 (en) | 2019-08-21 |
CN107005650B (zh) | 2020-03-03 |
EP3223508A4 (en) | 2017-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6214481B2 (ja) | 撮像装置 | |
JP6165680B2 (ja) | 撮像装置 | |
JP5959714B2 (ja) | 撮像装置 | |
JP6031587B2 (ja) | 撮像装置、信号処理方法、信号処理プログラム | |
JP6367360B2 (ja) | 撮像装置、撮像方法及び画像処理プログラム | |
JP5982601B2 (ja) | 撮像装置及び合焦制御方法 | |
JP6077967B2 (ja) | 撮像装置 | |
JP6307526B2 (ja) | 撮像装置及び合焦制御方法 | |
JP6171106B2 (ja) | 撮像装置及び合焦制御方法 | |
JP5542248B2 (ja) | 撮像素子及び撮像装置 | |
JPWO2015141081A1 (ja) | 撮像装置及び合焦制御方法 | |
JP6397048B2 (ja) | 撮像装置、撮像方法及び画像処理プログラム | |
JP6446599B2 (ja) | 合焦制御装置、レンズ装置、撮像装置、合焦制御方法、合焦制御プログラム | |
JP6326149B2 (ja) | 撮像装置、撮像方法及び画像処理プログラム | |
WO2019202983A1 (ja) | 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A5211 Effective date: 20170418 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180704 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6367360 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |