JP5997541B2 - 画像信号処理装置およびその制御方法 - Google Patents
画像信号処理装置およびその制御方法 Download PDFInfo
- Publication number
- JP5997541B2 JP5997541B2 JP2012178921A JP2012178921A JP5997541B2 JP 5997541 B2 JP5997541 B2 JP 5997541B2 JP 2012178921 A JP2012178921 A JP 2012178921A JP 2012178921 A JP2012178921 A JP 2012178921A JP 5997541 B2 JP5997541 B2 JP 5997541B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- image
- photoelectric conversion
- upper limit
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 66
- 229920006395 saturated elastomer Polymers 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 7
- 230000010354 integration Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- JBTHDAVBDKKSRW-UHFFFAOYSA-N chembl1552233 Chemical compound CC1=CC(C)=CC=C1N=NC1=C(O)C=CC2=CC=CC=C12 JBTHDAVBDKKSRW-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
図2は、本発明を適用可能な画像信号を生成する撮像素子の画素構造例を示す垂直断面図である。ここでは、撮像素子が、1つのマイクロレンズと、複数の光電変換部を有し、位相差検出方式による焦点検出に利用可能な複数の像信号を出力可能な画素を複数有するものとする。ただし、全ての画素がこのような構成を有する必要はなく、光電変換部が分割されておらず、1つの像信号のみを出力可能な一般的な構造の画素と混在していてもよい。以下では便宜上、光電変換部が複数に分割された構造の画素を焦点検出用画素、光電変換部が分割されていない一般的な構造の画素を通常画素と呼ぶ。
通常画素では光電変換部204および205は1つのフォトダイオードから構成されるが、本実施形態が対象とする画像信号を生成する焦点検出用画素では光電変換部が複数に分割された構成を有する。以下の説明では、焦点検出用画素に含まれる複数の光電変換部の各々を分割画素と呼ぶことがある。
図3は、横軸に画素(マイクロレンズ)に入射する光量、縦軸に画素の出力レベル(画素値)を示している。301は光電変換部を分割しない場合(通常画素)の入出力特性を示し、飽和レベルに達するまでリニアリティが保たれている。
像高は光軸からの距離であるため、光軸から離れた画面の周辺の画素には光が斜めから入射する。そのため、光電変換部204と205に対する入射光量に大きな差が生じる。図9では、光電変換部205に大半の光が入射し、光電変換部204に入射する光は非常に少ない。
このように、飽和による電荷漏れが発生し、かつ飽和部分に像ずれがないと、実際のデフォーカス量よりも0に近いデフォーカス量が算出されてしまう。
GA803とGB804はそれぞれ緑画素のA像画素、B像画素である。同様にRB801は赤画素のB像画素、BA802は青画素のA像画素である。
差の絶対値上限値101は、制御部409によって与えられる設定値であり、飽和部分のSAD影響度を下げるための、差の絶対値の上限を指定する。差の絶対値上限値101は、例えば、飽和がない場合に通常得られる差の絶対値の範囲の上限値もしくはそれより若干大きい値に設定することができる。
また、瞳分割画素の飽和状況を検出するための飽和検出スレッシュレベルを設定し、A像またはB像信号と比較することにより飽和状況を検出する。A像またはB像信号が飽和検出スレッシュレベルを上回ることを検出したら、本来A像信号とB像信号との相関演算に用いられる信号成分による差の絶対値を排除しないような低い値に上限値を変更する。具体的な上限値の変更方法の例として以下がある。
・A像信号とB像信号が格納されているメモリ内をスキャンして上限値を決定し、相関演算を行う。
・最初のフレームで上限値を決定して、以降のフレームではその上限値を使い回して相関演算する(図11(a))。
・複数の上限値を予め用意しておき、飽和部分を除いた信号の振幅成分(最大値−最小値)を検出して上限値を決定する。その後も飽和状況を調べながらA像信号とB像信号の信号成分による差の絶対値を排除しないような低い値となるように選択していく(図11(b))。
・複数の上限値を予め用意しておき、それらを使用して並列的に相関演算しながら、飽和状況を調べて、飽和の影響を最も低減できる上限値で相関演算した結果を選択的に用いる。
S1101:A像信号およびB像信号を格納しているメモリをスキャンする。
S1102:A像信号とB像信号のうち、飽和していない信号の振幅成分から、A像信号とB像信号の差の絶対値を排除しないような低い値に上限値を決定する。
S1103:S1102で求めた上限値を現在のフレームに対して適用し、相関量を算出する。
S1104:カメラモードの切替り等により焦点検出の終了が指示されたかどうかを判別する。終了指示があれば処理を終了する。終了指示が無ければ、S1103へ進み、S1102で求めた上限値を現在のフレームに対して適用し、相関量を算出する。
次に、図10を参照して、本発明の第2の実施形態に係る画像信号処理装置について説明する。
第1の実施形態において相関演算部407は図1に示すような回路で構成していたが、本実施形態においては、相関演算部407をマイクロコンピュータによって構成し、図1の回路と同様の動作を、ソフトウェア的に実現する。
S903でCPUは、A像信号を構成する全画素(ここでは100画素とする)について処理を行ったか確認する。
S904でCPUは、A像信号の処理対象画素と、A像信号の処理対象画素に対し、シフト量分ずれた位置のB像信号の画素とを取り出す。
S906でCPUは、A像画素とB像画素の差の絶対値を積算する。
S908でCPUは、A像信号とB像信号の画素位置を+1して1つずらし、処理をS903に戻す。
S902からS910までの処理を、所定のシフト量範囲に渡って繰り返すことにより、相関像が配列変数に得られる。
本実施形態においても、第1の実施形態と同様の効果が得られる。また、ソフトウェア的に相関演算部407を実現するため、第1の実施形態よりも回路規模を縮小できる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (9)
- 1つのマイクロレンズに対して第1の光電変換部と第2の光電変換部が設けられた画素を複数有する撮像素子から得られる信号を処理する画像信号処理装置であって、
複数の前記第1の光電変換部の出力から得られる第1の像信号と、複数の前記第2の光電変換部の出力から得られる第2の像信号との像ずれ量を算出する算出手段を有し、
前記算出手段が、
前記第1の像信号と前記第2の像信号の相対的な位置をずらしながら算出した、前記第1の像信号と前記第2の像信号との差分値に基づく相関量から前記像ずれ量を算出するとともに、
前記差分値が予め定められた上限値以上の場合には、前記上限値を前記差分値として用いて前記相関量を算出する、
ことを特徴とする画像信号処理装置。 - 前記上限値を決定する決定手段をさらに有し、
前記決定手段は、前記第1の像信号と前記第2の像信号に飽和した部分がない場合に得られる前記第1の像信号と前記第2の像信号との差の絶対値に基づいて前記上限値を決定することを特徴とする請求項1に記載の画像信号処理装置。 - 前記上限値を決定する決定手段をさらに有し、
前記決定手段は、前記第1の像信号および前記第2の像信号のうち、飽和した部分のない像信号の振幅成分に基づいて決定することを特徴とする請求項1に記載の画像信号処理装置。 - 前記決定手段は、前記予め定められた上限値を、前記振幅成分に応じて動的に変更することを特徴とする請求項3に記載の画像信号処理装置。
- 前記上限値が複数であり、
前記算出手段は、前記上限値ごとに前記相関量を算出し、算出した前記相関量のうち、前記第1の像信号または前記第2の像信号の飽和の影響が最も低減されている相関量を用いて前記像ずれ量を算出することを特徴とする請求項1に記載の画像信号処理装置。 - 前記画素は、前記第1の光電変換部および前記第2の光電変換部の一方が飽和に達した場合、該飽和した光電変換部から電荷が他方の光電変換部に漏れ出すような構成を有することを特徴とする請求項1乃至請求項5のいずれか1項に記載の画像信号処理装置。
- 請求項1乃至請求項6のいずれか1項に記載の画像信号処理装置と、
前記像ずれ量に基づいて、撮像レンズの合焦制御を行う手段とを有することを特徴とする撮像装置。 - 1つのマイクロレンズに対して第1の光電変換部と第2の光電変換部が設けられた画素を複数有する撮像素子から得られる信号を処理する画像信号処理装置の制御方法であって、
算出手段が、複数の前記第1の光電変換部の出力から得られる第1の像信号と、複数の前記第2の光電変換部の出力から得られる第2の像信号との像ずれ量を算出する算出工程を有し、
前記算出工程において前記算出手段が、
前記第1の像信号と前記第2の像信号の相対的な位置をずらしながら算出した、前記第1の像信号と前記第2の像信号との差分値に基づく相関量から前記像ずれ量を算出するとともに、
前記差分値が予め定められた上限値以上の場合には、前記上限値を前記差分値として用いて前記相関量を算出する、
ことを特徴とする画像信号処理装置の制御方法。 - コンピュータに、請求項8に記載の画像信号処理装置の制御方法の各工程を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012178921A JP5997541B2 (ja) | 2012-08-10 | 2012-08-10 | 画像信号処理装置およびその制御方法 |
US13/957,770 US8994872B2 (en) | 2012-08-10 | 2013-08-02 | Image pickup apparatus and method for controlling the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012178921A JP5997541B2 (ja) | 2012-08-10 | 2012-08-10 | 画像信号処理装置およびその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014038127A JP2014038127A (ja) | 2014-02-27 |
JP2014038127A5 JP2014038127A5 (ja) | 2015-09-03 |
JP5997541B2 true JP5997541B2 (ja) | 2016-09-28 |
Family
ID=50065933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012178921A Expired - Fee Related JP5997541B2 (ja) | 2012-08-10 | 2012-08-10 | 画像信号処理装置およびその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8994872B2 (ja) |
JP (1) | JP5997541B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014112002A1 (ja) * | 2013-01-15 | 2014-07-24 | オリンパス株式会社 | 撮像素子、及び撮像装置 |
CN105074528B (zh) * | 2013-03-29 | 2017-07-18 | 富士胶片株式会社 | 摄像装置及对焦控制方法 |
JP6600170B2 (ja) * | 2014-07-07 | 2019-10-30 | キヤノン株式会社 | 撮像素子及びその制御方法並びに撮像装置 |
KR102437588B1 (ko) * | 2015-09-22 | 2022-08-30 | 삼성전자주식회사 | 영상 캡처 장치 |
JP6532411B2 (ja) * | 2016-01-14 | 2019-06-19 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
JP6914988B2 (ja) * | 2019-04-26 | 2021-08-04 | キヤノン株式会社 | 撮像装置及びその制御方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6286317A (ja) * | 1985-10-12 | 1987-04-20 | Minolta Camera Co Ltd | 焦点検出装置 |
US6661838B2 (en) * | 1995-05-26 | 2003-12-09 | Canon Kabushiki Kaisha | Image processing apparatus for detecting changes of an image signal and image processing method therefor |
JP2001250931A (ja) | 2000-03-07 | 2001-09-14 | Canon Inc | 固体撮像装置およびこれを用いた撮像システム |
JP5451111B2 (ja) * | 2008-03-11 | 2014-03-26 | キヤノン株式会社 | 焦点検出装置およびそれを有する撮像装置 |
CN101884215A (zh) * | 2008-10-02 | 2010-11-10 | 松下电器产业株式会社 | 像素错开型摄像装置 |
US8570427B2 (en) * | 2009-01-28 | 2013-10-29 | Nikon Corporation | Image-capturing device having focus adjustment function, image creation method including focus adjustment function, and program product for image-capturing device having focus adjustment function |
JP2012027390A (ja) * | 2010-07-27 | 2012-02-09 | Olympus Corp | 撮像装置 |
JP5699480B2 (ja) * | 2010-08-17 | 2015-04-08 | 株式会社ニコン | 焦点検出装置およびカメラ |
JP2013005400A (ja) * | 2011-06-21 | 2013-01-07 | Sony Corp | 情報処理装置と情報処理方法およびプログラムと記録媒体 |
-
2012
- 2012-08-10 JP JP2012178921A patent/JP5997541B2/ja not_active Expired - Fee Related
-
2013
- 2013-08-02 US US13/957,770 patent/US8994872B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8994872B2 (en) | 2015-03-31 |
JP2014038127A (ja) | 2014-02-27 |
US20140043523A1 (en) | 2014-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5860936B2 (ja) | 撮像装置 | |
JP5997541B2 (ja) | 画像信号処理装置およびその制御方法 | |
JP5398346B2 (ja) | 撮像装置及び信号処理装置 | |
JP5589760B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム。 | |
US9083877B2 (en) | Image processing apparatus, focus detection apparatus, and non-transitory computer-readable storage medium | |
JP6116301B2 (ja) | 撮像装置及びその制御方法 | |
US9615017B2 (en) | Focus detection apparatus and method, method of controlling focus detection apparatus, and image capturing apparatus | |
CN105245772B (zh) | 摄像元件、摄像元件的控制方法和摄像设备 | |
KR101368715B1 (ko) | 화상 처리장치, 화상 처리방법 및 기억매체 | |
JP6372983B2 (ja) | 焦点検出装置およびその制御方法、撮像装置 | |
JP6144878B2 (ja) | 画像処理装置およびそれを備える撮像装置、ならびに画像処理方法およびそのプログラム | |
JP5680797B2 (ja) | 撮像装置、画像処理装置、及び画像処理方法 | |
JP2018093257A (ja) | 撮像装置 | |
JP2014032214A (ja) | 撮像装置及びその合焦位置検出方法 | |
US20170359500A1 (en) | Control apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium | |
US9883096B2 (en) | Focus detection apparatus and control method thereof | |
JP2015230385A (ja) | 撮像装置および撮像方法 | |
JP2011160255A5 (ja) | ||
JP2014048620A5 (ja) | ||
JP2018004689A (ja) | 画像処理装置および方法、および撮像装置 | |
JP6171110B2 (ja) | 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置 | |
JP2021063864A (ja) | 焦点検出装置及び方法、及び撮像装置 | |
JP2020057017A (ja) | 撮像装置及びその制御方法 | |
JP2016019245A (ja) | 画像処理装置および画像処理方法 | |
JP5942755B2 (ja) | 画像処理回路、画像処理方法及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150717 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150717 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160729 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160826 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5997541 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |