JP5986386B2 - 撮像装置及びその制御方法 - Google Patents
撮像装置及びその制御方法 Download PDFInfo
- Publication number
- JP5986386B2 JP5986386B2 JP2012014570A JP2012014570A JP5986386B2 JP 5986386 B2 JP5986386 B2 JP 5986386B2 JP 2012014570 A JP2012014570 A JP 2012014570A JP 2012014570 A JP2012014570 A JP 2012014570A JP 5986386 B2 JP5986386 B2 JP 5986386B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- focused
- photoelectric conversion
- opening pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 51
- 238000003384 imaging method Methods 0.000 title claims description 24
- 230000003287 optical effect Effects 0.000 claims description 85
- 238000012546 transfer Methods 0.000 claims description 56
- 238000006243 chemical reaction Methods 0.000 claims description 46
- 238000004364 calculation method Methods 0.000 claims description 35
- 239000012466 permeate Substances 0.000 claims 1
- 230000014509 gene expression Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000011156 evaluation Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 210000001747 pupil Anatomy 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 9
- 239000003990 capacitor Substances 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 239000010410 layer Substances 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000007667 floating Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 102100023927 Asparagine synthetase [glutamine-hydrolyzing] Human genes 0.000 description 1
- 101100380329 Homo sapiens ASNS gene Proteins 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005036 potential barrier Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Automatic Focus Adjustment (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Description
劣化画像復元処理では、式(1)で示される畳み込み演算を含む繰り返し演算を行うことにより、ボケを含まない推定復元画像yを算出する。以上のような方法により、ボケを含まない最適な画像を生成することが可能となる。
図1は本発明に係る撮影装置200であるカメラの概略構成を示す図である。図1において、第1レンズ群101は撮影光学系(結像光学系)100の先端に配置され、光軸方向に進退可能に保持される。絞り兼用シャッタ102は、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時を調節する機能も備える。絞り兼用シャッタ102及び第2レンズ群103は、一体となって光軸方向に進退し、第1レンズ群101の進退動作との連動により、変倍作用(ズーム機能)を成す。
1.ボケの大きさに関わらず高周波域のゲインが落ちないこと
2.複数の開口パターンの周波数特性においてゲインの零点が同一周波数において重ならないこと
3.開口面積をなるべく大きくして露光に必要な光量を得ること
次に、本第1の実施形態に関連する画像データについて示す。図8は、観測画像と合焦画像と距離画像を示している。図8(a)及び(b)はそれぞれ、観測画像im1及び観測画像im2を示しており、それぞれ、特殊パターンの光電変換部1a、1bを用いて撮影されている。これらは同一の画角の写真ではあるが、ボケ特性に違いがある観測画像となる。図8(c)は、距離画像を示している。距離画像とは、被写体までの距離を値とした、観測画像と同一平面の2次元配列データである。観測画像と同一画角で、かつ画素毎の輝度値が距離を示している。図8(c)に示す例では、輝度が高いほど近い距離、輝度が低いほど遠い距離を示している。
式(2)をフーリエ変換すると、式(2)は式(3)となる。このときIM1、IM2、Ha、Hb、Sは、それぞれim1、im2、ha、hb、sの周波数特性を示す。
IM1・Hb - IM2・Ha = 0 …(4)
しかし、実際には、誤差や結像の状態によって、完全には、式(4)の左辺が0にならないので、以下の式(5)から距離を求める。
光学伝達特性Ha、Hbは、被写体までの距離に依存し、ある距離におけるHaとHbの組は、距離に対して一意に決まる。そこで、予め被写体までの距離zと光学伝達特性Ha及びHbの関係を、テーブルとして保持しておき、Ha及びHbを代入することで推定距離z(^)を求めることが可能になる。このとき、Ha及びHbは設計値を用いてもよいし、実測値を用いてもよい。つまり、Ha及びHbは、被写体までの距離に依存するため、式(6)は、式(7)として表すことができる。
次に、本第1の実施形態で使用されるデータテーブルに関して説明する。図10は、光学伝達特性−推定距離テーブルを示したものである。図10の光学伝達特性−推定距離テーブルは、被写体までの距離zにおけるPSFの周波数変換した光学伝達特性を記載したものである。この光学伝達特性−推定距離テーブルは、光学伝達特性算出部210によって使用されるデータテーブルであり、詳細は後述する。光学伝達特性は設計値を使用しても良いが、本第1の実施形態では実測値を用いている。実測した光学伝達特性を用いることによって、ノイズの影響や光学的収差などの影響に対してキャリブレーションを行うことができる。
em = I1×Hbm - I2×Ham …(9)
全ての被写体距離について演算が終了すると(S106でYES)、S108にて、誤差評価値emを最小にするmを求める。
次に、本第1の実施形態における合焦画像算出のためのアルゴリズムを説明する。合焦画像は、上述した式(3)より算出できる。式(3)を変形すると、式(11)が求まる。
式(12)のWmは、ある空間周波数において、フーリエ変換された観測画像IM1、IM2のどちらのスペクトルが高いかを示す重み付け係数である。すなわち、
なお、本第1の実施形態では、開口パターンが2つの場合であって、観測画像が2画像の場合を示しているが、開口パターンが2つ以上であっても同様に演算することが可能である。
次に、本発明の第2の実施形態について図13〜図15を参照して説明する。なお、撮像装置の概略構成は図1と同様であるため説明を省略する。ただし、本第2の実施形態では、第1の実施形態と異なる開口パターンを用いている。
Claims (8)
- 第1の開口パターンを有する第1の光電変換部と、前記第1の開口パターンとは異なる第2の開口パターンを有する第2の光電変換部を含む複数の画素から成る撮像素子と、
撮影光学系の光学伝達特性を用いて、前記撮像素子から得られた画像の予め決められた領域毎にボケ特性を解析することにより、前記領域毎の被写体までの距離を演算する距離演算手段と、
前記画像と、前記領域毎の距離とに基づいて、前記画像に含まれる各被写体に合焦した合焦画像を生成する合焦画像生成手段と、
前記領域毎の距離と、前記合焦画像とから、指定されたボケ状態の画像を生成するリフォーカス画像演算手段と
を有することを特徴とする撮像装置。 - 前記各画素は、蓄積された電荷に応じた信号を独立に読み出し可能な複数の光電変換部を有し、
前記距離演算手段は、前記撮影光学系の光学伝達特性を用いて、前記複数の光電変換部それぞれから得られる信号が表す複数の画像の予め決められた領域毎にボケ特性を解析することにより、前記領域毎の被写体までの距離を演算し、
前記合焦画像生成手段は、前記複数の画像と、前記領域毎の距離とに基づいて、前記複数の画像に含まれる各被写体に合焦した合焦画像を生成する
ことを特徴とする請求項1に記載の撮像装置。 - 前記撮像素子は、前記第1および第2の開口パターンに対応する周波数特性において、ゲインの零点が、同一周波数において異なるように構成されていることを特徴とする請求項2に記載の撮像装置。
- 第1の開口パターンと、前記第1の開口パターンとは異なる第2の開口パターンの開口を有する遮光手段により覆われ、前記第1の開口パターンの開口に対応する第1の光電変換部と、前記第2の開口パターンの開口に対応する第2の光電変換部を有する、複数の画素から成る撮像素子と、
撮影光学系の光学伝達特性を用いて、前記撮像素子から得られた画像の予め決められた領域毎にボケ特性を解析することにより、前記領域毎の被写体までの距離を演算する距離演算手段と、
前記画像と、前記領域毎の距離とに基づいて、前記画像に含まれる各被写体に合焦した合焦画像を生成する合焦画像生成手段と、
前記領域毎の距離と、前記合焦画像とから、指定されたボケ状態の画像を生成するリフォーカス画像演算手段と
を有することを特徴とする撮像装置。 - 前記第1および第2の開口パターンは、ボケの大きさに関わらず高周波域のゲインが落ちない形状を有することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
- 前記第1及び第2の光電変換部からの信号の和が、前記遮光手段による遮光が行われていない光電変換部からの信号と等価となることを特徴とする請求項4に記載の撮像装置。
- 前記第2の開口パターンは、前記第1の開口パターンが光束を透過する領域を遮光し、前記第1の開口パターンが遮光する領域の光束を透過することを特徴とする請求項4に記載の撮像装置。
- 第1の開口パターンを有する第1の光電変換部と、前記第1の開口パターンとは異なる第2の開口パターンを有する第2の光電変換部を含む複数の画素から成る撮像素子を有する撮像装置の制御方法であって、
撮影光学系の光学伝達特性を用いて、前記撮像素子から得られた画像の予め決められた領域毎にボケ特性を解析することにより、前記領域毎の被写体までの距離を演算する距離演算ステップと、
前記画像と、前記領域毎の距離とに基づいて、前記画像に含まれる各被写体に合焦した合焦画像を生成する合焦画像生成ステップと、
前記領域毎の距離と、前記合焦画像とから、指定されたボケ状態の画像を生成するリフォーカス画像演算ステップとを有することを特徴とする撮像装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012014570A JP5986386B2 (ja) | 2012-01-26 | 2012-01-26 | 撮像装置及びその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012014570A JP5986386B2 (ja) | 2012-01-26 | 2012-01-26 | 撮像装置及びその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013157674A JP2013157674A (ja) | 2013-08-15 |
JP2013157674A5 JP2013157674A5 (ja) | 2015-03-12 |
JP5986386B2 true JP5986386B2 (ja) | 2016-09-06 |
Family
ID=49052514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012014570A Expired - Fee Related JP5986386B2 (ja) | 2012-01-26 | 2012-01-26 | 撮像装置及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5986386B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015075769A1 (ja) * | 2013-11-19 | 2015-05-28 | 日立マクセル株式会社 | 撮像装置及び距離測定装置 |
JP6327024B2 (ja) * | 2014-07-07 | 2018-05-23 | サクサ株式会社 | 画像処理装置 |
JP6351105B2 (ja) * | 2014-09-29 | 2018-07-04 | オリンパス株式会社 | 画像処理装置、撮像装置および画像処理方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7812299B2 (en) * | 2005-07-22 | 2010-10-12 | Nikon Corporation | Image sensor having two-dimensionally arrayed pixels, focus detecting device using the sensor, and imaging system including the sensor |
US7792423B2 (en) * | 2007-02-06 | 2010-09-07 | Mitsubishi Electric Research Laboratories, Inc. | 4D light field cameras |
JP5173665B2 (ja) * | 2008-08-08 | 2013-04-03 | キヤノン株式会社 | 画像撮影装置およびその距離演算方法と合焦画像取得方法 |
JP5316324B2 (ja) * | 2009-09-03 | 2013-10-16 | 株式会社ニコン | 撮像素子及び撮像装置 |
-
2012
- 2012-01-26 JP JP2012014570A patent/JP5986386B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013157674A (ja) | 2013-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11856291B2 (en) | Thin multi-aperture imaging system with auto-focus and methods for using same | |
JP5173954B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4500434B2 (ja) | 撮像装置及び撮像システム、並びに撮像方法 | |
US10397465B2 (en) | Extended or full-density phase-detection autofocus control | |
JP5825817B2 (ja) | 固体撮像素子及び撮像装置 | |
JP5606208B2 (ja) | 焦点検出装置および撮像装置 | |
US9438786B2 (en) | Focus adjustment apparatus, focus adjustment method and program, and imaging apparatus | |
JP6239857B2 (ja) | 撮像装置およびその制御方法 | |
KR20170137633A (ko) | 화상처리장치, 촬상 장치, 화상처리방법, 및 컴퓨터 판독 가능한 기억매체 | |
JP2016038414A (ja) | 焦点検出装置およびその制御方法、並びに撮像装置 | |
US20140055646A1 (en) | Image processing apparatus, method, and program, and image pickup apparatus having image processing apparatus | |
JP2014219549A (ja) | 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 | |
JP6671130B2 (ja) | 撮像素子、撮像装置、焦点検出装置ならびに画像処理装置およびその制御方法 | |
JP2017158018A (ja) | 画像処理装置およびその制御方法、撮像装置 | |
JP6942480B2 (ja) | 焦点検出装置、焦点検出方法、および焦点検出プログラム | |
JP6254843B2 (ja) | 画像処理装置およびその制御方法 | |
JP5986386B2 (ja) | 撮像装置及びその制御方法 | |
JP2015194736A (ja) | 撮像装置およびその制御方法 | |
US11593958B2 (en) | Imaging device, distance measurement method, distance measurement program, and recording medium | |
JP2012220790A (ja) | 撮像装置 | |
JP2015210285A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP5735784B2 (ja) | 撮像装置及びその制御方法、レンズ装置及びその制御方法 | |
JP2015145970A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP7022575B2 (ja) | 焦点検出装置および方法、および撮像装置 | |
JP2020057017A (ja) | 撮像装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150126 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160708 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160805 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5986386 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |