JP6727856B2 - 撮像装置およびその制御方法 - Google Patents
撮像装置およびその制御方法 Download PDFInfo
- Publication number
- JP6727856B2 JP6727856B2 JP2016039756A JP2016039756A JP6727856B2 JP 6727856 B2 JP6727856 B2 JP 6727856B2 JP 2016039756 A JP2016039756 A JP 2016039756A JP 2016039756 A JP2016039756 A JP 2016039756A JP 6727856 B2 JP6727856 B2 JP 6727856B2
- Authority
- JP
- Japan
- Prior art keywords
- mode
- synthesizing
- image
- divided
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 33
- 238000000034 method Methods 0.000 title claims description 27
- 238000001514 detection method Methods 0.000 claims description 80
- 230000002194 synthesizing effect Effects 0.000 claims description 31
- 230000003287 optical effect Effects 0.000 claims description 24
- 210000001747 pupil Anatomy 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 230000004907 flux Effects 0.000 claims description 4
- 238000007792 addition Methods 0.000 description 102
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Focusing (AREA)
Description
図1は、本実施形態の撮像装置の構成例を示す図である。
撮像装置100は、撮像光学系101乃至光学ユニット駆動制御部110を備える。撮像光学系101は、被写体光を受け、不図示の複数のレンズ群および絞りを介して撮像素子102に光束を導く。撮像光学系101を通過した光束は、撮像素子102上に結像し、光学像を形成する。また、撮像光学系101にはフォーカスレンズが構成されている。フォーカスレンズは、光学ユニット駆動制御部110からの駆動制御命令によって、または撮像光学系に構成される不図示のフォーカスリングを手動で調節することによって、光軸方向に駆動する。
複数の単位画素セル200の各々は、入射光を集光する1つのマイクロレンズ201の下に、複数の分割画素部を有する。具体的には、単位画素セル200は、少なくとも4つ(2×2)の分割画素部を有する。複数の分割画素部は、撮像光学系101の異なる瞳領域をそれぞれ通過する光束を受光するように瞳分割されている。撮像光学系101を介して入射された光は、マイクロレンズ201を通って、各分割画素部にて蓄積される。この例では、単位画素セル200は、各々R,G,Bのカラーフィルタを備えている。カラーフィルタは、二次元状にベイヤー配列で固体撮像素子上に配置されている。
ML内分割画素加算は、被写界深度の浅い画像が生成されるので、ML間分割画素加算の場合に比べて、なまった像が得られるという特徴がある。
図6中のaおよびbは、ML間分割画素加算もしくはML内分割画素加算によって生成された擬似的な画素出力を示す符号である。焦点検出部109は、画素出力a,bを、各々列方向または行方向に組み合わせ、同色単位画素セル群の出力として、A像及びB像を生成・データ化し、各々の対応点のずれをSAD演算によって求める。SAD演算の結果は、式(1)によって求められる。
(2)後ピンのときには、撮影光学系が結像する位置として、A像用画素がP5、B像用画素がP9のML下の画素になる。この時、相関演算で求められるA像用画素群とB像用画素群の像ずれ量N(2)が発生する。
(3)前ピンのときには、撮影光学系と結像する位置として、A像用画素がP9、B像用画素がP5のML下の画素になる。この時、相関演算で求められるA像用画素群とB像用画素群の像ずれ量N(3)は、後ピンとは逆方向の像ずれ量を示す。このことは、合焦時には、A像用画素群およびB像用画素群は、同一の被写体を見ているが、後ピンおよび前ピン時には、A像用画素群およびB像用画素群は、像ずれ量Nだけずれた被写体を見ているということを意味する。
d=N×K…式(2)
以下の説明では、大きいデフォーカス量を検出する検出モードを大デフォーカス検出モードと記述する。また、小さいデフォーカス量を検出する検出モードを小デフォーカス検出モードと記述する。不図示のシステム制御部は、SW1が押されている間、オートフォーカス動作をスタートする。ステップS400において、システム制御部が、検出モードを大デフォーカス検出モードに設定する。
撮像素子102から全ての分割画素部を読み出し、A/D変換後のデジタル処理によって分割画素部からの信号の加算を行うと、転送時間および消費電力が多くかかってしまう場合がある。そこで、実施例2の撮像装置では、システム制御部が、A/D変換前に、撮像素子内で、予め、第2の合成モードまたは第1の合成モードで信号の合成を行う。
図5において、PD1A、PD1B、PD1C、PD1D、PD3A,PD3B,PD3C,PD3Dは、それぞれ、分割画素部1A、1B、1C、1D、3A、3B、3C、3Dに対応するフォトダイオードである。フォトダイオードの出力は、Rd1A、Rd1B、Rd1C、Rd1D、Rd3A、Rd3B、Rd3C、Rd3Dの読み出しトランジスタによって、電荷としてフローティングディフュージョン(FD)上に転送される。VDDは、撮像素子の電源であって、ResによってFD上の電荷がクリアされる。Selは、行読み出しトランジスタであって、画素ソースフォロワを介して、画素値が出力される。
実施例3の撮像装置は、画像の方向成分を検出する方向検出手段として斜め線検出フィルタを備える。そして、撮像装置100は、検出された画像の方向成分に基づいて、第2の合成モードまたは第1の合成モードで動作する。
Lは、相関演算を行うオートフォーカス枠の範囲である。Nは、ML間分割画素加算数である。Pは、画素ピッチを示す。θ1およびθ2は、細線の角度を示す。図7(A)および図7(C)は、それぞれ異なる角度の細線を画素上に投影した像を示す。図7(B)は、図7(A)に示す像を垂直方向にML間分割画素加算した結果を示す。図7(D)は、図7(C)に示す像を垂直方向にML間分割画素加算した結果を示す。
図8(A)乃至(D)に示す斜め線検出フィルタは、3×3タップのデジタルフィルタである。デジタルフィルタは、各タップ位置に存在する係数を画素ごとに適用することで、斜め線の検出を行うことが可能となる。ML間分割画素加算で角度22.5°までの細線について極を検出可能とする場合は、図8(B)のデジタルフィルタの出力値と図8(D)のデジタルフィルタの出力値を水平方向に積分する。積分した結果が閾値よりも高ければ、極の検出が可能となる。以上説明したように、斜め線検出フィルタによる斜め線の検出結果に応じた合成モードで信号を加算することで、S/N比の高い相関像を得ることが可能となる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
108 分割画素加算部
109 焦点検出部
Claims (14)
- 少なくとも4つに分割された分割画素部をそれぞれ有する複数の画素部を備え視差画像信号を出力可能な撮像素子と、
前記複数の画素部でそれぞれ同じ位置関係にある分割画素部からの信号同士の合成を行って第2の視差画像信号を生成する第2の合成モードと、前記画素部内の前記分割画素部からの信号を合成して第1の視差画像信号を生成する第1の合成モードとを有する合成手段を有し、
前記合成手段は、焦点検出処理の種類に応じて、前記第2の合成モードまたは前記第1の合成モードで動作する
ことを特徴とする撮像装置。 - 前記合成手段は、前記第1の視差画像信号から更に前記第2の合成モードで合成された視差画像信号を前記第2の視差画像信号として生成する
ことを特徴とする請求項1に記載の撮像装置。 - 前記第2の視差画像信号を用いて焦点検出を行う焦点検出手段を更に有する
ことを特徴とする請求項1または請求項2に記載の撮像装置。 - 前記合成手段は、前記焦点検出処理でのデフォーカス量の検出モードに応じて、前記第2の合成モードまたは前記第1の合成モードで動作する
ことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。 - 前記合成手段は、前記焦点検出処理において検出するデフォーカス量の大きさに応じて、前記第2の合成モードまたは前記第1の合成モードで動作する
ことを特徴とする請求項4に記載の撮像装置。 - 前記合成手段は、前記焦点検出処理において合焦付近のデフォーカス量を検出する場合には、前記第1の合成モードで動作する
ことを特徴とする請求項4または請求項5に記載の撮像装置。 - デフォーカス量の検出に用いられる被写体像の帯域を制限する制限手段を備え、
前記合成手段は、前記帯域の制限により得られる帯域の大きさに応じて、前記第2の合成モードまたは前記第1の合成モードで動作する
ことを特徴とする請求項4乃至6のいずれか1項に記載の撮像装置。 - 前記合成手段は、像高に応じて、前記第2の合成モードで合成する信号の出力元の分割画素部を選択する
ことを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。 - 前記画素部の各々に対して、入射光を集光する1つのマイクロレンズが設けられており、
前記分割画素部は、撮像光学系の異なる瞳領域をそれぞれ通過する光束を受光するように瞳分割されている
ことを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。 - 前記合成手段が前記第2の合成モードで前記同じ位置関係にある前記分割画素部からの信号同士の合成を行う際の信号の加算方向は、前記瞳分割の方向と直交する方向である
ことを特徴とする請求項9に記載の撮像装置。 - 前記合成手段は、前記撮像素子内で前記第2の合成モードまたは前記第1の合成モードで動作して信号を合成する
ことを特徴とする請求項1乃至10のいずれか1項に記載の撮像装置。 - 少なくとも4つに分割された分割画素部をそれぞれ有する複数の画素部を備え視差画像信号を出力可能な撮像素子と、
前記複数の画素部でそれぞれ同じ位置関係にある分割画素部からの信号同士の合成を行って第2の視差画像信号を生成する第2の合成モードと、前記画素部内の前記分割画素部からの信号を合成して第1の視差画像信号を生成する第1の合成モードとを有する合成手段を有し、
画像の方向成分を検出する方向検出手段を備え、
前記合成手段は、前記方向検出手段による前記画像の方向成分の検出結果に基づいて、前記第2の合成モードまたは前記第1の合成モードで動作する
ことを特徴とする撮像装置。 - 少なくとも4つに分割された分割画素部をそれぞれ有する複数の画素部を備え視差画像信号を出力可能な撮像素子を有する撮像装置の制御方法であって、
前記複数の画素部でそれぞれ同じ位置関係にある分割画素部からの信号同士の合成を行って第2の視差画像信号を生成する第2の合成モードと、前記画素部内の前記分割画素部からの信号を合成して第1の視差画像信号を生成する第1の合成モードとを有する合成工程を有し、
前記合成工程は、焦点検出処理の種類に応じて、前記第2の合成モードまたは前記第1の合成モードで動作する
ことを特徴とする制御方法。 - 少なくとも4つに分割された分割画素部をそれぞれ有する複数の画素部を備え視差画像信号を出力可能な撮像素子を有する撮像装置の制御方法であって、
前記複数の画素部でそれぞれ同じ位置関係にある分割画素部からの信号同士の合成を行って第2の視差画像信号を生成する第2の合成モードと、前記画素部内の前記分割画素部からの信号を合成して第1の視差画像信号を生成する第1の合成モードとを有する合成工程を有し、
画像の方向成分を検出する方向検出工程を備え、
前記合成工程は、前記方向検出工程による前記画像の方向成分の検出結果に基づいて、前記第2の合成モードまたは前記第1の合成モードで動作する
ことを特徴とする制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016039756A JP6727856B2 (ja) | 2016-03-02 | 2016-03-02 | 撮像装置およびその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016039756A JP6727856B2 (ja) | 2016-03-02 | 2016-03-02 | 撮像装置およびその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017158039A JP2017158039A (ja) | 2017-09-07 |
JP6727856B2 true JP6727856B2 (ja) | 2020-07-22 |
Family
ID=59810750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016039756A Active JP6727856B2 (ja) | 2016-03-02 | 2016-03-02 | 撮像装置およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6727856B2 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6271842B2 (ja) * | 2013-02-18 | 2018-01-31 | キヤノン株式会社 | 測距装置、測距方法、および撮像装置 |
JP6254843B2 (ja) * | 2013-12-19 | 2017-12-27 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP6239975B2 (ja) * | 2013-12-27 | 2017-11-29 | キヤノン株式会社 | 固体撮像装置及びそれを用いた撮像システム |
-
2016
- 2016-03-02 JP JP2016039756A patent/JP6727856B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017158039A (ja) | 2017-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5470458B2 (ja) | 撮像装置、画像処理装置および画像処理方法 | |
US20120099006A1 (en) | Image pickup apparatus | |
US9967451B2 (en) | Imaging apparatus and imaging method that determine whether an object exists in a refocusable range on the basis of distance information and pupil division of photoelectric converters | |
JP2016038414A (ja) | 焦点検出装置およびその制御方法、並びに撮像装置 | |
JP6095266B2 (ja) | 画像処理装置及びその制御方法 | |
JP2015169722A (ja) | 撮像装置 | |
US10362214B2 (en) | Control apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium | |
US9591203B2 (en) | Image processing apparatus, image processing method, recording medium, and image pickup apparatus | |
US9591202B2 (en) | Image processing apparatus and image processing method for generating recomposed images | |
JP2017158018A (ja) | 画像処理装置およびその制御方法、撮像装置 | |
JP2014130131A (ja) | 撮像装置、半導体集積回路および撮像方法 | |
JP5775918B2 (ja) | 撮像装置、画像処理方法及び画像処理プログラム | |
JP2017032646A (ja) | 撮像装置及びその制御方法 | |
JP6270400B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6727856B2 (ja) | 撮像装置およびその制御方法 | |
JP2015014788A (ja) | 測距装置、撮像装置及び測距装置の制御方法 | |
JP6594048B2 (ja) | 撮像装置及びその制御方法 | |
JP6746738B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP6566800B2 (ja) | 撮像装置及び撮像方法 | |
JP6728005B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP7207874B2 (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
JP6929140B2 (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
JP6478520B2 (ja) | 画像処理装置及びその制御方法、撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP6900228B2 (ja) | 撮像装置、撮像システム、撮像装置の制御方法、および、プログラム | |
JP2017134154A (ja) | フォーカス制御装置、撮像装置およびフォーカス制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200701 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6727856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |