JP5351195B2 - 固体撮像装置および携帯情報端末 - Google Patents
固体撮像装置および携帯情報端末 Download PDFInfo
- Publication number
- JP5351195B2 JP5351195B2 JP2011050221A JP2011050221A JP5351195B2 JP 5351195 B2 JP5351195 B2 JP 5351195B2 JP 2011050221 A JP2011050221 A JP 2011050221A JP 2011050221 A JP2011050221 A JP 2011050221A JP 5351195 B2 JP5351195 B2 JP 5351195B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- microlens
- correction
- microlenses
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 91
- 230000003287 optical effect Effects 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000000034 method Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Measurement Of Optical Distance (AREA)
- Lenses (AREA)
- Automatic Focus Adjustment (AREA)
Description
次に、図2及び図3を参照して、信号処理部26による信号処理の手順を説明する。信号処理部26は、撮像モジュール部10で得られたRAW画像について光学系の歪み補正及び輝度補正を行う。
次に、一実施形態の固体撮像装置の光学系を図4に示す。結像レンズ12、マイクロレンズアレイ14、撮像素子16の順に光線が入射する。また、Aは結像レンズ12と被写体100との間の距離、Bは結像レンズ12による結像距離、Cは結像レンズ12の結像面とマイクロレンズアレイ14のマイクロレンズとの間の距離、Dはマイクロレンズアレイ14と撮像素子16との間の距離である。fは結像レンズ12の焦点距離、gはマイクロレンズの焦点距離である。今回、説明のため光軸に対して被写体側を前方、撮像素子側を後方と定義する。光学系内でマイクロレンズアレイは結像レンズの光線を各視点の像に分離し、撮像素子16上に結像させる役割をもつ。なお、本実施形態においては、図4に示すように、マイクロレンズアレイ14が結像レンズ12の結像面より結像レンズ12に対して後方に設置されている。しかし、本実施形態では図4に示す条件に限定するものではなく、例えば図5に示すように、マイクロレンズアレイ14が結像レンズ12の結像面より前方に設置されていてもよい。
次に、信号処理部26の処理手順で述べた補正係数に関して、図6(a)、6(b)を参照してその補正係数を求める方法を説明する。図6(a)は、取り付け誤差などの光学的歪みがなく、マイクロレンズアレイ14と撮像素子16が平行に設置されている、被写体が光軸上にある場合の光学系を示し、図6(b)はマイクロレンズアレイ14と撮像素子16とを含む部分13の拡大図である。図6(b)中で、結像レンズ12の光軸と、マイクロレンズアレイ14の平面中心に位置する1つのマイクロレンズの主点が交わる点を原点0として、結像レンズ12の光軸をZ軸とし、さらにZ軸に垂直な面内にX軸をとる。本光学系は結像レンズ12の光軸に対して軸対称であるため、上記配置であれば任意のX軸を取ることができる。より厳密に言えば、マイクロレンズの並び方によって軸対称にとれる方向は有限数であり、マイクロレンズの並び方が六方配列であれば6通りの回転対称軸が、正方配列であれば4通りの対称軸が取れる。
図11(a)に示す、マイクロレンズによって結像され撮像素子16にて得られる像は、各マイクロレンズの周辺部の光量落ちにより図11(b)に示すように、ピークを持った輝度値分布を示す。さらに、マイクロレンズごとの形状歪みなどにより、各マイクロレンズの像で光量ピークの大きさや位置は異なっている。この状態のまま画像再構成の合成処理を行うと、輝度値のピークの影響が及ぶことで画質劣化が生じてしまう可能性が存在する。そこで予め図12に示すように、白色板などのキャリブレーション用画像を撮影してメモリに保存しておき、合成処理の際にこのキャリブレーション用画像を用いて光量ピークの影響を低減させる処理を、信号処理部26の輝度補正部26Cによって行う。ここで白色板の輝度値に光量落ちが加わった結果、光量ピークが座標xの関数でf(x)と表せるとすると、f(x)の逆関数f−1(X)を求めることで元の輝度値を復元できる。
次に、距離画像情報を得る方法について説明する。図4に示す光学系を例に取って説明する。レンズ12と被写体100との距離Aが変化すると下記も式にしたがってBの値が変化する。
B+C=E
10 撮像モジュール部
12 結像光学系(結像レンズ)
14 マイクロレンズアレイ
14a マイクロレンズ
16 撮像素子
16a 半導体基板
16b 画素(フォトダイオード)
16c カラーフィルタ
16d 画素集光用マイクロレンズ
18 撮像回路
20 撮像信号プロセッサ
22 カメラモジュールI/F
24 画像取り込み部
26 信号処理部
26A 補正係数算出部
26B 画素位置補正部
26C 輝度補正部
26D 輝度補正部
26a 二値化処理部
26b メモリ
26c 輪郭フィッティング部
26d 中心位置取得部
26e メモリ
26g 補正マトリクス計算部
26h メモリ
26i 画像抜き出し部
26j 中心座標補正部
26k マイクロレンズ内画素位置補正部
26l マイクロレンズ像拡大部
26m 画像合成処理部
26n 輝度値取得部
26p 輝度値補正算出部
26q メモリ
26r 画像補正部
28 ドライバI/F
Claims (6)
- 被写体を結像面に結像する第1の光学系と、
複数画素を含む画素ブロックを有する撮像領域を備えた撮像素子と、
前記画素ブロックに対応して設けられたマイクロレンズを有するマイクロレンズアレイを含み、前記マイクロレンズは前記結像面に結像される予定の像を対応する画素ブロックに縮小再結像する第2の光学系と、
キャリブレーション用画像から前記第2の光学系および前記撮像素子の少なくとも一方の歪みを補正する補正係数を算出し、前記撮像素子によって得られた前記被写体の画像信号を前記補正係数を用いて処理することにより、前記マイクロレンズと前記画素ブロックとの光学位置関係を補正する信号処理部と、
を備えている固体撮像装置。 - 前記信号処理部は前記補正係数を算出する補正係数算出部を備える請求項1記載の固体撮像装置。
- 前記補正係数算出部は、前記キャリブレーション用画像から前記マイクロレンズアレイのマイクロレンズの結像の中心位置を取得する中心位置取得部と、前記中心位置取得部によって取得されたマイクロレンズの結像の中心位置と、画素値とに基づいて、補正マトリクスを計算する補正マトリクス計算部と、を備える請求項2記載の固体撮像装置。
- 前記信号処理部は、前記マイクロレンズ内の画素値を取得する画素値取得部を更に備え、前記中心位置取得部によって取得されたマイクロレンズの結像の中心位置と、前記画素値取得部によって取得されたマイクロレンズ内の画素値と、前記補正マトリクス計算部によって計算された補正マトリクスとに基づいて、撮影された画像の画像信号から各マイクロレンズ内の画素位置を補正する請求項3記載の固体撮像装置。
- 前記信号処理部は、輝度校正用の補正データに基づいて、撮影された画像の画像信号の輝度値を補正する請求項1乃至4のいずれか1項に記載の固体撮像装置。
- 請求項1乃至5のいずれか1項に記載の固体撮像装置を備えている携帯情報端末。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011050221A JP5351195B2 (ja) | 2011-03-08 | 2011-03-08 | 固体撮像装置および携帯情報端末 |
US13/221,097 US8681249B2 (en) | 2011-03-08 | 2011-08-30 | Solid-state imaging device and portable information terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011050221A JP5351195B2 (ja) | 2011-03-08 | 2011-03-08 | 固体撮像装置および携帯情報端末 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012186764A JP2012186764A (ja) | 2012-09-27 |
JP5351195B2 true JP5351195B2 (ja) | 2013-11-27 |
Family
ID=46795241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011050221A Expired - Fee Related JP5351195B2 (ja) | 2011-03-08 | 2011-03-08 | 固体撮像装置および携帯情報端末 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8681249B2 (ja) |
JP (1) | JP5351195B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012198031A (ja) * | 2011-03-18 | 2012-10-18 | Ricoh Co Ltd | 画像補正方法及び画像補正装置 |
JP5591851B2 (ja) | 2012-03-15 | 2014-09-17 | 株式会社東芝 | 固体撮像装置および携帯情報端末 |
JP5677366B2 (ja) * | 2012-05-21 | 2015-02-25 | キヤノン株式会社 | 撮像装置 |
JP6091176B2 (ja) * | 2012-11-19 | 2017-03-08 | キヤノン株式会社 | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 |
US9153026B2 (en) * | 2012-11-26 | 2015-10-06 | Ricoh Co., Ltd. | Calibration of plenoptic imaging systems |
JP2014164174A (ja) * | 2013-02-26 | 2014-09-08 | Toshiba Corp | 固体撮像装置、携帯情報端末、および固体撮像システム |
JP6189061B2 (ja) * | 2013-03-19 | 2017-08-30 | 株式会社東芝 | 固体撮像装置 |
JP2015060053A (ja) | 2013-09-18 | 2015-03-30 | 株式会社東芝 | 固体撮像装置、制御装置及び制御プログラム |
JP2015084089A (ja) * | 2013-09-19 | 2015-04-30 | 株式会社東芝 | 固体撮像素子用のマイクロレンズアレイ、固体撮像素子、撮像装置およびレンズユニット |
CN106170822B (zh) | 2013-12-23 | 2020-03-24 | 特拉华大学 | 3d光场相机和摄影方法 |
US9544583B2 (en) | 2015-01-09 | 2017-01-10 | Ricoh Company, Ltd. | Object space calibration of plenoptic imaging systems |
EP3182697A1 (en) * | 2015-12-15 | 2017-06-21 | Thomson Licensing | A method and apparatus for correcting vignetting effect caused on an image captured by lightfield cameras |
CN106709912A (zh) * | 2016-12-29 | 2017-05-24 | 天津市亚安科技有限公司 | 一种预置位精度自动测试系统及其测试方法 |
EP3599991A4 (en) * | 2017-03-30 | 2021-03-31 | Queensland University Of Technology | OPHTHALMIC IMAGING DEVICE AND SYSTEM |
CN109708612B (zh) * | 2018-12-11 | 2020-12-18 | 清华大学深圳研究生院 | 一种光场相机的盲标定方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3733771B2 (ja) * | 1999-02-16 | 2006-01-11 | コニカミノルタホールディングス株式会社 | 撮像装置およびシェーディング補正方法 |
JP2007096825A (ja) * | 2005-09-29 | 2007-04-12 | Funai Electric Co Ltd | 複眼撮像装置 |
WO2009044776A1 (ja) * | 2007-10-02 | 2009-04-09 | Nikon Corporation | 受光装置、焦点検出装置および撮像装置 |
US8189065B2 (en) * | 2008-01-23 | 2012-05-29 | Adobe Systems Incorporated | Methods and apparatus for full-resolution light-field capture and rendering |
JP5463718B2 (ja) * | 2009-04-16 | 2014-04-09 | ソニー株式会社 | 撮像装置 |
JP5515396B2 (ja) * | 2009-05-08 | 2014-06-11 | ソニー株式会社 | 撮像装置 |
JP2011045039A (ja) * | 2009-07-21 | 2011-03-03 | Fujifilm Corp | 複眼撮像装置 |
KR101608970B1 (ko) * | 2009-11-27 | 2016-04-05 | 삼성전자주식회사 | 광 필드 데이터를 이용한 영상 처리 장치 및 방법 |
US8803918B2 (en) * | 2010-08-27 | 2014-08-12 | Adobe Systems Incorporated | Methods and apparatus for calibrating focused plenoptic camera data |
JP5254291B2 (ja) | 2010-09-07 | 2013-08-07 | 株式会社東芝 | 固体撮像装置 |
JP2012205014A (ja) * | 2011-03-24 | 2012-10-22 | Casio Comput Co Ltd | 撮像装置の製造装置及び製造方法、並びに撮像装置 |
-
2011
- 2011-03-08 JP JP2011050221A patent/JP5351195B2/ja not_active Expired - Fee Related
- 2011-08-30 US US13/221,097 patent/US8681249B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8681249B2 (en) | 2014-03-25 |
US20120229683A1 (en) | 2012-09-13 |
JP2012186764A (ja) | 2012-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5351195B2 (ja) | 固体撮像装置および携帯情報端末 | |
US11856291B2 (en) | Thin multi-aperture imaging system with auto-focus and methods for using same | |
US9715734B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
US9288377B2 (en) | System and method for combining focus bracket images | |
US9060140B2 (en) | Microlens array unit and solid state imaging device | |
JP2011120138A (ja) | カメラモジュール | |
TW201143384A (en) | Camera module, image processing apparatus, and image recording method | |
CN108805921B (zh) | 图像获取系统及方法 | |
WO2019048904A1 (en) | STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA | |
US10204400B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and recording medium | |
JP5330439B2 (ja) | カメラモジュール、画像処理装置及び画像処理方法 | |
US9596402B2 (en) | Microlens array for solid-state image sensing device, solid-state image sensing device, imaging device, and lens unit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130822 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5351195 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |