JP5161702B2 - 撮像装置、撮像システム、及び焦点検出方法 - Google Patents

撮像装置、撮像システム、及び焦点検出方法 Download PDF

Info

Publication number
JP5161702B2
JP5161702B2 JP2008215918A JP2008215918A JP5161702B2 JP 5161702 B2 JP5161702 B2 JP 5161702B2 JP 2008215918 A JP2008215918 A JP 2008215918A JP 2008215918 A JP2008215918 A JP 2008215918A JP 5161702 B2 JP5161702 B2 JP 5161702B2
Authority
JP
Japan
Prior art keywords
focus detection
image
pixel
exit pupil
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008215918A
Other languages
English (en)
Other versions
JP2010049209A (ja
JP2010049209A5 (ja
Inventor
亮 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008215918A priority Critical patent/JP5161702B2/ja
Priority to US12/539,260 priority patent/US8405760B2/en
Priority to EP22157059.1A priority patent/EP4047416A3/en
Priority to EP09168519.8A priority patent/EP2169459B1/en
Priority to EP18159802.0A priority patent/EP3396449A1/en
Priority to EP14178618.6A priority patent/EP2811340B1/en
Priority to CN2009101693497A priority patent/CN101662588B/zh
Publication of JP2010049209A publication Critical patent/JP2010049209A/ja
Publication of JP2010049209A5 publication Critical patent/JP2010049209A5/ja
Priority to US13/780,505 priority patent/US8767118B2/en
Application granted granted Critical
Publication of JP5161702B2 publication Critical patent/JP5161702B2/ja
Priority to US14/279,546 priority patent/US9560258B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G02B7/343Systems for automatic generation of focusing signals using different areas in a pupil plane using light beam separating prisms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G02B7/346Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10Power-operated focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera

Description

本発明は、撮像装置、撮像システム、及び焦点検出方法に関し、更に詳しくは、デジタルスチルカメラ、ビデオカメラ、銀塩カメラなどの撮像装置、撮像システム、及び焦点検出方法に関する。
撮像装置の焦点検出、調節方法で撮影レンズを通過した光束を用いる一般的な方式として、コントラスト検出方式と位相差検出方式とがある。コントラスト検出方式はビデオカメラやデジタルスチルカメラで多く用いられる方式であり、撮像素子が焦点検出用センサとして用いられるものである。撮像素子の出力信号、特に高周波成分の情報(コントラスト情報)に着目し、その評価値が最も大きくなる撮影レンズの位置を合焦位置とする方式である。しかしながら、山登り方式とも言われるように、撮影レンズを微少量動かしながら評価値を求め、その評価値が結果的に最大であったとわかるまで動かす事が必要であるため、高速な焦点調節動作には不向きとされている。
一方、位相差検出方式は、銀塩フィルムによる一眼レフカメラに多く用いられ、自動焦点検出(Auto Focus:AF)一眼レフカメラの実用化に最も貢献した技術である。位相差検出方式では、撮影レンズの射出瞳を通過した光束を2分割し、2分割した光束を一組の焦点検出用センサによりそれぞれ受光する。そして、その受光量に応じて出力される信号のずれ量、すなわち、光束の分割方向の相対的位置ずれ量を検出することで撮影レンズのピント方向のずれ量を直接求めるものである。従って、焦点検出用センサにより一度蓄積動作を行えばピントずれの量と方向が得られるため、高速な焦点調節動作が可能となっている。
そして、2分割されたそれぞれの光束に対応する信号を得るために、撮像光路中にクイックリターン機構からなるハーフミラーや反射ミラー等の光路分割機構を設け、その先に焦点検出用光学系とAFセンサを設けるのが一般的である。
ところで、この位相差検出方式による焦点検出を行うためには、上記2分割した光束が撮影レンズの射出瞳や像高変化、ズーム位置変化によるビネッティング(口径食)などによりケラレないよう焦点検出光学系を設定する必要がある。特に、射出瞳位置や径、さらにはビネッティングがそれぞれ異なる複数の撮影レンズを装着可能なカメラシステムにおいては、ケラレないよう焦点検出を行うには制約が多い。そのため、広範囲に焦点検出領域を設定できない、2分割する光束の基線長拡大による高精度化ができない、などの問題がある。
そこで、特許文献1では、焦点検出光束のケラレによる焦点検出用信号の光量低下を撮影レンズの射出瞳等の情報から補正して焦点検出を行う例が開示されている。この例によれば、多少のケラレがあっても位相差方式の焦点検出を行うことができるため、広範囲での焦点検出、基線長拡大による高精度な焦点検出を行うことができる。
また近年、撮像素子に位相差検出機能を付与し、専用のAFセンサを不要とし、かつ高速の位相差AFを実現するための技術も開示されている。
例えば、特許文献2では、撮像素子の一部の受光素子(画素)において、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与している。そしてこれらの画素を焦点検出用画素とし、撮像用画素群の間に所定の間隔で配置することで、位相差式焦点検出を行う。また、焦点検出用画素が配置された箇所は撮像画素の欠損部に相当するため、周辺の撮像画素情報から補間して画像情報を生成している。この例によると撮像面で位相差方式の焦点検出を行うことが可能なため、高速かつ高精度な焦点検出を行うことができる。
特開平03−214133号公報 特開2000−156823号公報
しかしながら、特許文献1及び2には以下のような課題がある。
特許文献1では、撮影レンズのケラレによる焦点検出用信号の光量低下補正は撮影レンズ側の情報をもとに行っている。しかしながら、ケラレ具合は撮影レンズ側のみならず、カメラ側の製造誤差によっても左右される。特に、一眼レフカメラは、焦点検出用光学系に複雑な光路変換および光路分離を行っているため、これによる製造誤差は大きい。したがって、撮影レンズ側の情報のみで光量低下補正を行っても焦点検出結果に誤差が生じてしまう。
特許文献2では、オンチップマイクロレンズと受光部の相対位置関係により瞳分割を行うため、オンチップマイクロレンズの製造誤差により瞳分割が大きくずれてしまうという問題がある。オンチップマイクロレンズによる瞳分割は、マイクロレンズに対して数ミクロン深さにある受光部を数十〜数百ミリの先の撮影レンズ射出瞳位置に逆投影しているため、その結像倍率は非常に大きくなる。したがって、わずかなオンチップマイクロレンズの製造誤差が大きなずれとなってしまうため、焦点検出光束に大きなケラレが生じて焦点検出できなくなってしまう。
本発明は上記問題点を鑑みてなされたものであり、位相差方式の焦点検出において、製造誤差による焦点検出光束のケラレがあっても高精度に焦点検出を行うことを目的とする。
上記目的を達成するために、本発明の撮像装置は、撮影レンズの異なる領域を通過する対の光束をそれぞれ光電変換して画像信号対を出力する複数の焦点検出用画素対を含み、各画素に対応したマイクロレンズがそれぞれ形成された撮像素子と、前記マイクロレンズの形成時のアライメント誤差を含む製造誤差に関する中心軸ずれ情報を記憶する記憶手段と、記撮影レンズの射出瞳を介して前記焦点検出用画素対それぞれに入射する光量のアンバランスを補償するように、前記製造誤差が無い場合に像高に応じて変化する前記光量の比を示す関数を前記中心軸ずれ情報に基づいて変更し、該変更した関数と前記焦点検出用画素対の像高とに応じて前記画像信号対の信号レベルを補正する補正手段と、前記補正手段により補正された前記画像信号対を用いて、前記撮影レンズの焦点検出を行う焦点検出手段とを備える。
また、本発明の撮像システムは、上記撮像装置と、前記撮像装置に着脱可能なレンズユニットとを有し、前記撮像装置に前記中心軸ずれ情報を格納し、前記レンズユニットに前記射出瞳に関する情報を格納し、前記レンズユニットから前記撮像装置へ前記射出瞳に関する情報を送信する。
また、撮像装置における本発明の焦点検出方法は、出力手段が、撮像素子に含まれる複数の焦点検出用画素対により、撮影レンズの異なる領域を通過する対の光束をそれぞれ光電変換して画像信号対を出力する出力工程と、取得手段が、前記撮像素子の各画素に対応して形成されたマイクロレンズの形成時のアライメント誤差を含む製造誤差に関する中心軸ずれ情報を取得する取得工程と、補正手段が、前記撮影レンズの射出瞳を介して前記焦点検出用画素対それぞれに入射する光量のアンバランスを補償するように、前記製造誤差が無い場合に像高に応じて変化する前記光量の比を示す関数を、前記中心軸ずれ情報に基づいて変更し、該変更した関数と前記焦点検出用画素対の像高とに応じて前記画像信号対の信号レベルを補正する補正工程と、焦点検出手段が、前記補正工程で補正された前記画像信号対を用いて、前記撮影レンズの焦点検出を行う焦点検出工程とを備える。
本発明によれば、位相差方式の焦点検出において、製造誤差による焦点検出光束のケラレがあっても高精度に焦点検出を行うことができる。
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
<第1の実施形態>
図1は本発明の第1の実施形態に係るカメラの構成を示すブロック図であり、一例として、撮像素子を有するカメラ本体と撮影レンズ100が一体構成されたデジタルスチルカメラを示している。
同図において、Lは撮影レンズ100の光軸、101は撮影レンズ100の先端に配置された第1レンズ群であり、光軸方向に進退可能に保持される。102は絞り兼用シャッタであり、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時を調節する機能も備える。103は第2レンズ群である。そして、絞り兼用シャッタ102及び第2レンズ群103は一体となって光軸方向に進退し、第1レンズ群101の進退動作との連動により、変倍作用(ズーム機能)をなす。
105は第3レンズ群であり、光軸方向の進退により、焦点調節を行う。106は光学的ローパスフィルタであり、撮影画像の偽色やモアレを軽減するための光学素子である。107はCMOSイメージセンサとその周辺回路で構成された撮像素子である。この撮像素子107では、横方向m画素、縦方向n画素の受光画素上に、ベイヤー配列の原色カラーフィルタがオンチップで形成されている。
111はズームアクチュエータであり、不図示のカム筒を回動することで、第1レンズ群101〜第2レンズ群103を光軸方向に進退駆動し、変倍操作を行う。112は絞りシャッタアクチュエータであり、絞り兼用シャッタ102の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。114はフォーカスアクチュエータであり、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。
115は撮影時の被写体照明用電子フラッシュであり、キセノン管を用いた閃光照明装置が好適であるが、連続発光するLEDを備えた照明装置を用いても良い。116はAF補助光発光部であり、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体や低コントラスト被写体に対する焦点検出能力を向上させる。
121はCPUであり、撮像装置内でカメラ本体の種々の制御を司る。CPU121は、例えば、演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有する。そして、CPU121は、ROMに記憶された所定のプログラムに基づいて、撮像装置が有する各種回路を駆動し、AF、撮影、画像処理、及び記録等の一連の動作を実行する。
122は電子フラッシュ制御回路であり、撮影動作に同期して電子フラッシュ115を点灯制御する。123は補助光駆動回路であり、焦点検出動作に同期してAF補助光発光部116を点灯制御する。124は撮像素子駆動回路であり、撮像素子107の撮像動作を制御すると共に、取得した画像信号をA/D変換してCPU121に送信する。125は画像処理回路であり、撮像素子107が取得した画像のγ変換、カラー補間、JPEG圧縮等の処理を行う。
126はフォーカス駆動回路であり、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動制御し、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。128は絞りシャッタ駆動回路であり、絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口を制御する。129はズーム駆動回路であり、撮影者のズーム操作に応じてズームアクチュエータ111を駆動する。
131はLCD等の表示器であり、撮像装置の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。132は操作スイッチ群であり、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。133は着脱可能なフラッシュメモリであり、撮影済み画像を記録する。
図2は、図1の撮像素子107において、被写体像が形成される受光画素を撮影レンズ100側からみた平面図である。20は撮像素子107上に横方向m画素、縦方向n画素で形成される画素全体を、21はそのうちの1つの画素部を示す。そして各画素部にはオンチップでベイヤー配列の原色カラーフィルタが形成され、2行×2列の4画素周期で並んでいる。なお、図2においては図を見やすくするために、左上側の10画素×10画素の画素部のみを表示し、その他の画素部は省略している。
図3及び図4は、図2における画素部のうち撮像用画素と焦点検出用画素の構造を説明する図である。第1の実施形態においては、2行×2列の4画素のうち、対角2画素にG(緑色)の分光感度を有する画素を配置し、他の2画素にR(赤色)とB(青色)の分光感度を有する画素を各1個配置した、ベイヤー配列が採用されている。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素が配置される。
図3に撮像用画素の配置と構造を示す。図3(a)は2行×2列の撮像用画素の平面図である。図3(a)におけるA−A断面図を図3(b)に示す。MLは各画素の最前面に配置されたオンチップマイクロレンズ、CFはR(赤色)のカラーフィルタ、CFはG(緑色)のカラーフィルタである。PD(Photo Diode)は撮像素子107の光電変換素子を模式的に示したものである。CL(Contact Layer)は、撮像素子107内の各種信号を伝達する信号線を形成するための配線層である。TL(Taking Lens)は撮影レンズ100を模式的に示したもの、Lは撮影レンズTLの光軸である。なお、図3は撮像素子107の内、中心付近の画素、すなわち撮影レンズTLの軸上付近の画素構造を示す図である。
ここで、撮像用画素のオンチップマイクロレンズMLと光電変換素子PDは、撮影レンズTLを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影レンズTLの射出瞳EP(Exit Pupil)と光電変換素子PDは、マイクロレンズMLにより共役関係にあり、かつ光電変換素子の有効面積は大面積に設計される。光束30はその様子を示し、射出瞳EPの全領域が光電変換素子PDに取り込まれている。なお、図3(b)ではR画素の入射光束について説明したが、G画素及びB(青色)画素も同一の構造となっている。
図4は、撮影レンズTLの水平方向(横方向)に瞳分割を行うための焦点検出用画素の配置と構造を示す。ここで水平方向とは、図2で示す撮像素子107の長手方向を示す。図4(a)は、焦点検出用画素を含む2行×2列の画素の平面図である。記録又は観賞のための画像信号を得る場合、G画素で輝度情報の主成分を取得する。これは、人間の画像認識特性は輝度情報に敏感であるためで、G画素が欠損すると画質劣化が認知されやすい。一方でR画素又はB画素は、色情報(色差情報)を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで、本第1の実施形態においては、2行×2列の画素のうち、G画素は撮像用画素として残し、R画素とB画素を焦点検出用画素に置き換える。この焦点検出用画素対を図4(a)においてSHA及びSHBと示す。
図4(a)におけるA−A断面図を図4(b)に示す。マイクロレンズMLと、光電変換素子PDは図3(b)に示した撮像用画素と同一構造である。なお図4も、撮像素子107のうち中心付近の画素、すなわち撮影レンズTLの軸上付近の画素の構造を示す図である。
本第1の実施形態においては、焦点検出用画素の信号は画像生成には用いないため、色分離用カラーフィルタの代わりに透明膜CFW(白色)が配置される。また、撮像素子107で瞳分割を行うため、配線層CLの開口部はマイクロレンズMLの中心線に対して一方向に偏心している。具体的には、画素SHAの開口部OPHAはマイクロレンズMLの中心線に対して右側に41HAだけ偏心しているため、撮影レンズTLの光軸Lを挟んで左側の射出瞳領域EPHAを通過した光束40HAを受光する。同様に、画素SHBの開口部OPHBはマイクロレンズMLの中心線に対して左側に41HBだけ偏心しているため、撮影レンズTLの光軸Lを挟んで右側の射出瞳領域EPHBを通過した光束40HBを受光する。そして、図から明らかなように、偏心量41HAは偏心量41HBに等しい。
以上のような構成を有する画素SHAを水平方向に規則的に配列し、これらの画素群で取得した被写体像をA像とする。また、画素SHBも水平方向に規則的に配列し、これらの画素群で取得した被写体像をB像とすると、A像とB像の相対位置を検出することで、被写体像のピントずれ量(デフォーカス量)が検出できる。
一方、図5は図4(b)と同じように図4(a)におけるA−A断面図であるが、撮像素子107の周辺部の焦点検出用画素に関する構造を示す。周辺部においては、マイクロレンズMLと配線層CLの開口部OPHA、OPHBを図4(b)とは異なる状態で偏心させることにより瞳分割を行っている。開口部OPHAの方を例にとって説明すると、開口部OPHAの中心と射出瞳領域EPHA中心を結ぶ線上に略球状でできたマイクロレンズMLの球芯を合わせるよう偏心させることにより周辺部においても軸上とほぼ同等の瞳分割を行うことができる。
具体的には、画素SHAの開口部OPHAはマイクロレンズMLの中心線に対して右側に51HAだけ偏心しているため、撮影レンズTLの光軸Lを挟んで左側の射出瞳領域EPHAを通過した光束50HAを受光する。同様に、画素SHBの開口部OPHBはマイクロレンズMLの中心線に対して左側に51HBだけ偏心しているため、撮影レンズTLの光軸Lを挟んで右側の射出瞳領域EPHBを通過した光束50HBを受光する。そして、図から明らかなように、偏心量51HAより偏心量51HBは大きく設定される。なお、上記説明による偏心は水平方向に関する周辺部を例として説明したが、垂直方向の周辺部、さらには水平と垂直が混在する周辺部においても同様の手法で瞳分割を行うことが可能となる。
ところで、上記焦点検出用画素対SHA及びSHBでは、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。そのためには、撮影レンズの垂直方向(縦方向)にも瞳分割を行う画素も備えるよう構成すればよい。
図6は、撮影レンズの垂直方向に瞳分割を行うための焦点検出用画素の配置と構造を示す。ここで垂直方向及び縦方向は、図2で示す撮像素子107の短手方向を示す。図6(a)は、焦点検出用画素を含む2行×2列の画素の平面図であり、図4(a)と同様に、G画素は撮像用画素として残し、R画素とB画素を焦点検出用画素としている。この焦点検出用画素を図6(a)においてSVC及びSVDと示す。
図6(a)のA−A断面図を図6(b)に示す。図4(b)の画素が横方向に瞳分離する構造であるのに対して、図6(b)の画素は瞳分離方向が縦方向になっているが、その他の画素の構造は同様である。画素SVCの開口部OPVCはマイクロレンズMLの中心線に対して下側に61VCだけ偏心しているため、撮影レンズTLの光軸Lを挟んで上側の射出瞳領域EPVCを通過した光束60VCを受光する。同様に、画素SVDの開口部OPVDはマイクロレンズMLの中心線に対して上側に61VDだけ偏心しているため、撮影レンズTLの光軸Lを挟んで下側の射出瞳領域EPVDを通過した光束60VDを受光する。なお、図から明らかであるが、図6は図4と同様に撮像素子107の軸上付近の画素構造を示すため、偏心量61VCと偏心量61VDは等しくなっている。
以上のような構成を有する画素SVCを垂直方向に規則的に配列し、これらの画素群で取得した被写体像をC像とする。また、画素SVDも垂直方向に規則的に配列し、これらの画素群で取得した被写体像をD像とする。すると、C像とD像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量(デフォーカス量)が検出できる。なお、縦方向に瞳分割を行う場合においても、周辺部の焦点検出画素については図5で説明した手法にて瞳分割を行っており、説明は省略する。
ところで、上記焦点検出用画素対SHA及びSHB、SVC及びSVDは本来の色情報を有さないため、撮影画像形成にあたっては周辺部の画素信号から補間演算することによって信号を作成する。したがって、撮像素子107に焦点検出用画素対を連続的に並べるのではなく離散的に並べることで撮影画像の画質を低減させることもない。
以上図3〜図6を参照して説明したように、撮像素子107は撮像のみの機能だけではなく本発明の焦点検出手段としての役割を果たしている。
図7は、本発明の焦点検出構成を概略的に示す図である。撮像素子107は、瞳分割された第1の焦点検出用画素901aと第2の焦点検出用画素901bとで構成される焦点検出部901を複数有する。なお、焦点検出部901は図4(a)に示した構成を有し、焦点検出用画素901aが画素SHAに、焦点検出用画素901bが画素SHBにそれぞれ対応する。また、撮像素子107は撮影レンズ100により結像された被写体像を光電変換するための撮像用画素を複数含む。
CPU121は、合成部902と、連結部903と、演算部904とを含む。CPU121はまた、複数の焦点検出部901を含むように、撮像素子107の撮像面にセクション(領域)CSTを複数割り当てる。CPU121は、セクションCSTの大きさ、配置、数等を適宜変更することができる。合成部902は、撮像素子107に割り当てられた複数のセクションCSTの各々において、第1の焦点検出用画素901aからの出力信号を合成して1画素の第1の合成信号を得る処理を行う。合成部902はまた、各セクションCSTにおいて、第2の焦点検出用画素901bからの出力信号を合成して1画素の第2の合成信号を得る処理を行う。連結部903は、複数のセクションCSTにおいて、第1の合成信号である各画素を連結して第1の連結信号を得る処理と、第2の合成信号を連結して第2の連結信号を得る処理とを行う。このように、第1の焦点検出用画素901a及び第1の焦点検出用画素901bのそれぞれに対して、セクション数の画素が連結された連結信号が得られる。演算部904は、第1の連結信号及び第2の連結信号に基づいて、結像光学系の焦点ずれ量を演算する。このように、セクション内に配置された同一の瞳分割方向における焦点検出用画素の出力信号を合成するため、焦点検出部の1つ1つの輝度は小さい場合であっても、被写体の輝度分布を十分に検出することが可能となる。
なお、図7では、水平方向に瞳分割する場合を例に示したが、垂直方向に瞳分割する場合についても同様である。
図8は、図7の焦点検出部901、合成部902、連結部903により形成され、演算部904に入力される焦点検出用信号対(画像信号対)の一例を示す。図8のグラフにおいて、横軸は連結された信号の画素並び方向を示し、縦軸は信号の強度である。図8に示す焦点検出用信号は、縦1本線を検出した際のもので、焦点検出用信号IMGは焦点検出用画素901aで、焦点検出用信号IMGは焦点検出用画素901bでそれぞれ形成される信号である。そして、図1で示す撮影レンズ100が撮像素子107に対して後ピン側にずれた状態であるため、焦点検出用信号IMGは左側に、焦点検出用信号IMGは右側にずれた状態となっている。
この焦点検出用信号IMG、IMGのずれ量を公知の相関演算などによって算出することにより、撮影レンズ100がどれだけデフォーカスしているかを知ることができるので、焦点合わせを行うことが可能となる。なお、ずれ量の算出については公知であるため、説明は省略する。また、図8では後ピン側にずれた場合を例として説明したが、前ピン側にずれる場合は焦点検出用信号IMG、IMGのずれ方向が左右反転する。
図9は、撮像素子107の焦点検出用画素による瞳分割機能を概念的に説明する図である。TLは撮影レンズ、107は撮像素子、OBJは被写体、IMGは被写体像である。
撮像用画素は図3で説明したように、撮影レンズTLの射出瞳全域EPを通過した光束を受光する。一方、焦点検出用画素は図4〜図6で説明したように、瞳分割機能を有している。具体的には、図4の画素SHAは撮像面からレンズ後端を見て左側の瞳を通過した光束LHA、すなわち図4の瞳EPHAを通過した光束を受光する。同様に画素SHB、SVC及びSVDはそれぞれ射出瞳領域EPHB、EPVC及びEPVDを通過した光束をそれぞれ受光する。そして、焦点検出用画素は、撮像素子107の全領域に渡って分布しているため、撮像領域全域での焦点検出も可能となっている。以上のような構成により、撮像素子107の広い範囲に渡って位相差方式の焦点検出を行うことが可能である。
ところで、上記説明は製造誤差を考慮しない、理想の状態での焦点検出系を説明したが、実際には製造誤差などの変動要因により焦点検出用の射出瞳領域EPHA、EPHB、EPVC、EPVDに大きなずれが生じてしまう。したがって、本発明ではこのずれ情報をあらかじめ記憶しておき、焦点検出用信号を補正することで高精度な焦点検出を行う。以下詳細を説明する。
一般的にCMOSセンサなどの撮像素子はシリコンウエハ上に複数のレイヤー層を重ねて製造される。図10は、図1における撮像素子107に含まれるレイヤー層構造のCMOSセンサチップを模式的に表す図である。CMOSセンサチップにおいては、フォトダイオードとトランジスタとが形成されている下部層の上に、パッド絶縁層を形成して、単位画素を形成する。次に、下部層内の金属配線を露出させるように、パッド絶縁層を選択的に除去する。金属配線は、トランジスタを外部素子に接続するために使用される。そして、このような配線および絶縁層は回路規模に応じて複数形成され、図10ではまとめて配線層および絶縁層11として示す。つまり、図4〜図6における配線層CLも11内に含まれる。
それから、着色フォトレジストを塗布し、これを露光及び現像工程によって処理することで、カラーフィルタ層12を形成する。次に、均一なマイクロレンズを形成できるように、マイクロレンズ平坦化層13を形成する。そして、マイクロレンズ平坦化層13上にフォトレジストを塗布し、これを露光及び現像工程によって処理することで、フォトレジストをパターニングする。次に、熱処理工程によってパターニングされたフォトレジストを処理することで、フォトレジストにリフロー工程を施して、ドーム形状のマイクロレンズ14の層を形成する。このように、CMOSセンサチップはレイヤー層ごとに製造されるため、各レイヤー層間には製造時の誤差が介在する。したがって、配線層および絶縁層11に対するマイクロレンズ14の位置精度は、フォトレジストをパターニングする半導体製造装置のアライメント精度により決定する。つまり、図4〜6で示す配線層CLに対してマイクロレンズMLは、このアライメント精度によりずれが生じることとなる。一般的にマイクロレンズMLとフォトダイオードPDまでの距離は数ミクロンである。一方、マイクロレンズMLから撮影レンズ100の射出瞳までの距離は数十ミリという単位であるため、光学的な結像倍率は数万倍となる。そうすると、0.1ミクロンのアライメント誤差が、射出瞳上においては、数ミリの非常に大きなずれとなってしまい、焦点検出精度を大きく低下させる要因となる。
図11は図4(b)で示す撮影レンズの水平方向(横方向)に瞳分割を行うための焦点検出用画素において、この水平方向にマイクロレンズMLにアライメント誤差が発生した場合を示す。図において、マイクロレンズMLは左側にDML分だけずれており、点線で示すマイクロレンズMLが誤差がない場合(図4(b))を表す。すなわち、図4(b)の偏心量41HA、41HBに図11のずれDMLが加減算され、画素SHAの開口部OPHAはマイクロレンズMLの中心線に対して右側に111HAだけ偏心している。また、画素SHBの開口部OPHBはマイクロレンズMLの中心線に対して左側に111HBだけ偏心している。そして、画素SHA、SHBは撮影レンズTLの光軸Lに対してDEPだけずれた射出瞳領域EPHA、EPHBに対応する光束110HA、110HBを受光する。
図12は図5に示す撮像素子107の周辺部の焦点検出用画素において、図9と同様にマイクロレンズMLのアライメント誤差が生じた場合を示す。図10で説明したように、マイクロレンズはレイヤー層ごとに製造されるため、アライメント誤差は撮像素子107上の位置によらず一定である。したがって、図11でアライメント誤差がDMLだけ発生すると、図12においても点線で示すマイクロレンズMLに誤差がない場合(図5)に比べて同量のDMLだけずれている。すなわち、図5の偏心量51HA、51HBに図12のずれDMLが加減算され、画素SHAの開口部OPHAはマイクロレンズMLの中心線に対して右側に121HAだけ偏心している。また、画素SHBの開口部OPHBはマイクロレンズMLの中心線に対して左側に121HBだけ偏心している。そして、画素SHA、SHBは撮影レンズTLの光軸Lに対してDEPだけずれた射出瞳領域EPHA、EPHBに対応する光束120HA、120HBを受光する。
一方、図6(b)で説明した垂直方向に瞳分割を行うための焦点検出用画素においては、誤差の発生方向が紙面垂直方向であるため、この断面においては瞳分割状態に変わりはない。したがって、図を用いた詳細な説明は省略する。なお、上記説明ではずれDEPをマイクロレンズMLのアライメント誤差として説明したが、実際のカメラにおいては、撮像素子107の平行偏心や傾きなど組み込み調整誤差も加わる。しかしながら、ずれDEPの中ではマイクロレンズMLのアライメント誤差がもっとも支配的である。
図13、図14は、図11もしくは図4(b)、図6(b)における撮像素子107の軸上付近の画素の射出瞳EPを撮像素子107側から見た図である。図13(a)及び図14(a)がマイクロレンズMLの誤差ありの状態を、図13(b)図14(b)を付した図が誤差なしの状態をそれぞれ示す。
図13(a)において、撮影レンズTLの光軸Lに対して、焦点検出用の射出瞳領域EPHA、EPHB、EPVC、EPVDの中心LAFはDEPだけずれた位置にある。ここで、LAFは本発明における焦点検出手段の中心軸となり、DEPが中心軸ずれに相当する。そして、射出瞳EPと焦点検出用の射出瞳領域EPHA、EPHBとの共通領域、すなわち、実際に焦点検出に使用する光束が通過する領域を図で示すように右上がりの斜線領域130HA、130HBで示す。このとき、斜線領域130HA、130HBは中心軸ずれDEPにより瞳分割方向である水平方向に非対称形状となっている。
一方、図13(b)に示すように、マイクロレンズMLの誤差がない場合においては、光軸Lと焦点検出手段の中心軸LAFは一致する。したがって、焦点検出光束が通過する右上がりの斜線領域131HAと131HBは中心軸LAFを中心として水平方向に対称形状となっている。
図14は図13と同様の図で、垂直方向に射出瞳EPを分離する焦点検出用の射出瞳領域EPVC、EPVDに注目した図である。撮影レンズTLの射出瞳EPと焦点検出用の射出瞳領域EPVC、EPVDの共通領域は、左上がりの斜線領域140VC、140VDとなっている。この場合、中心軸ずれDEPにより斜線領域140VC、140VDは同様に横ずれしているが、光軸Lもしくは中心軸LAFを中心として瞳分割方向である垂直方向においては上下対称性を維持したまま横ずれしている。
なお、上記説明は水平方向に中心軸ずれDEPが発生した場合を説明したが、垂直方向に発生する場合、もしくは水平垂直両方向に発生する場合においても上記と同様の考え方で焦点検出光束が通過する斜線領域を導き出すことができる。
図13及び図14は、撮像素子107の中央付近の画素についての説明だが、周辺部ではこれに加え像高によって撮影レンズTLの射出瞳EPが変化する。図15はこれを説明するための図で、撮影レンズ100を入射瞳ENTPと射出瞳EPで単純化している。入射瞳ENTPと射出瞳EPは撮像素子107からの距離と径がそれぞれ異なり、撮像素子107に入射する光束はこの2つの円を通過しなければならない。したがって、撮像素子107の光軸L付近以外の画素部に入射する光束は、射出瞳EPのみならず入射瞳ENTPの影響を受ける。
図16は撮像素子107とその像高における射出瞳形状を対応付けた図である。図16において、EPは軸上の射出瞳形状を示し、添え字T、B、L、Rがそれぞれ上下左右の像高を示す。そして、例えば左上対角はTLを合わせてEPTLと表記している。この図から明らかなように撮像素子107中央からの像高が大きいほど射出瞳形状が小さくなるのが分かる。したがって、本第1の実施形態では、図中点線で示す160を焦点検出領域として設定し、全ズーム、フォーカス位置にて射出瞳形状の変化が比較的少ない領域を使用している。なお、撮影レンズ100を撮像素子107の端まで射出瞳の形状変化が少ないテレセントリックな光学系にすれば、より撮影画面の端まで良好な焦点検出を行うことができる。
以上のことからマイクロレンズのアライメント誤差による中心軸ずれと像高による撮影レンズの射出瞳の形状変化の組み合わせで、図13、図14の斜線部に示すような射出瞳上における焦点検出用光束の射出瞳領域は決定する。そして、位相差方式焦点検出においては、このような射出瞳領域変化が生じた際に、主に3つの弊害が生じてしまう。
(1)各焦点検出用画素対に入射する光量のアンバランス
(2)瞳分離方向の線像分布変化による焦点検出用信号の形状くずれ
(3)基線長変化によるデフォーカス量検知誤差
このうち、(2)、(3)については合焦位置に近づくに従って影響が少なくなり、合焦位置では理論上完全に無くなるため、焦点検出のアルゴリズムなどを工夫して合焦時間に多少時間をかければ、最終的な合焦精度での影響を低減することができる。しかしながら、(1)についてはデフォーカス量を算出する相関演算精度に多大なる影響を及ぼす。そのため、本第1の実施形態においては(1)に関して、焦点調節用信号対の信号レベルを光量のアンバランスを補償するように補正することにより高精度な位相差方式焦点検出を実現する。
図17は本第1の実施形態におけるの焦点検出用信号対を補正するための、図7のCPU121に設けられる演算部904の内部詳細を示すブロック図である。図17において図7の連結部903にて形成される焦点検出用信号は演算部904内部の補正部170にて(1)を含む補正を行い、その後相関演算部171に入力される。
CPU121に連結されるフラッシュメモリ133は焦点検出用信号を形成する各画素の画素感度ムラ情報175、撮影レンズ100の像高による射出瞳情報176、マイクロレンズのアライメント誤差による中心軸ずれ情報177を備える。ここで、画素感度ムラ情報175と中心軸ずれ情報177はカメラの製造工程時に書き込まれる情報である。そして、射出瞳情報176は誤差のない設計値による情報をあらかじめ記憶している。
図18は本第1の実施形態の焦点検出用信号の補正手順を示すフローチャートである。まず入力される一対の焦点検出用信号に対して、補正部170ではステップS181とステップS182により2段階の補正を行う。そして、相関演算部171ではステップS183〜S186の処理を行う。
ステップS181ではフラッシュメモリ133の画素感度ムラ情報175をもとに、各画素の出力値データに感度ムラを補正する係数を乗じることによって各画素固有の感度ムラ補正を行う。
ステップS182では、一対の焦点検出用信号を形成する各画素ごとに、射出瞳情報176、中心軸ずれ情報177から図13(a)、図14(a)で説明したような斜線領域の面積を計算する。そして、この面積に応じた係数を各画素の出力値に乗じることで光量の補正が行われる。ここで、各画素ごとに面積演算を都度行うのでは演算量が膨大すぎて焦点検出に時間がかかってしまう。そこで以下のような手法をとることにより演算量を削減することが可能となる。
図19は横軸に対となる焦点検出画素の像高hを、縦軸にその光量比Cをとった場合のグラフを示す。ここで、光量比Cは、図4の焦点検出用画素部SHAを基準としたときのSHBの光量比を表す。190は図13(b)、図14(b)で説明したような製造誤差がない場合の光量比を示し、h=0では光量比C=1.0となっている。そして、190で示す光量比をC0とし、像高hの関数であらわすと以下の式(1)のように表現できる。
C0=f(h) …(1)
191はマイクロレンズのアライメント誤差DMLなどにより製造誤差が生じた場合の光量比を示し、対となる焦点検出用画素部の光量が等しくなる像高はシフトしている。そのシフト量をhERRとすると、h=hERRのときC=1.0となる。hERRに応じて全体の曲がり具合も変わってくるため、191で示す量比をCERRとし、像高hとhERRを変数とすると、以下の式(2)で表現できる。
CERR=f(h−hERR)・g(hERR) …(2)
本第1の実施形態のカメラにおいては、撮影レンズ100の射出瞳変化は光軸Lを中心として回転対称であるが、撮像素子107の焦点検出用画素構造は回転対称ではない。そのため、像高hの代わりに撮像素子107の焦点検出用画素の軸上からの距離を(x,y)、製造誤差によるシフト距離を(xERR、yERR)と置き換えると、式(2)は以下の式(3)に書き換えることができる。
C(xERR,yERR)=f(x−xERR,y−yERR)・g(xERR,yERR) …(3)
以上のような構成で、射出瞳情報176としてf(x,y)を、中心軸ずれ情報177として、(xERR,yERR)とg(xERR,yERR)をあらかじめ格納しておく。そして、焦点検出用信号に式(3)で算出される光量比C(xERR,yERR)に基づいた係数を乗じることで、演算量の少ない補正を行うことが可能となる。ここで、製造誤差(xERR,yERR)は、マイクロレンズのアライメント誤差が支配的である。アライメント誤差は、図10で説明した製造方法によるとウエハ単位で一律なずれとなる。そのため、カメラの製造工程においてはこのアライメント誤差をCMOSセンサチップごとに管理すれば、1台ごとにアライメント誤差を確認する必要がないため工程を短縮することができる。製造誤差(xERR,yERR)としては、その他に撮像素子107をカメラに組み込む際の平行偏心や傾きなどの位置調整誤差がある。
なお、上記の格納された情報が撮影レンズのズームもしくはフォーカス位置で異なる場合は、ズームもしくはフォーカス位置を便宜分割し、その分割位置ごとに格納すればよい。なお、本第1の実施形態の撮影レンズ100はズームもしくはフォーカスによる射出瞳の変動がない撮影レンズとしている。
ステップS183では補正部170により補正された焦点検出用信号に以後の処理を行うにあたって、十分に信頼性があるかを判定する。具体的には、像のコントラスト成分等を分析することにより判定を行う。
ステップS184は焦点検出用信号に信頼性があると判定された場合の処理で、デジタルフィルタ処理を行うことで演算に不要な周波数成分を除去する。一方、S185は焦点検出用信号に信頼性がないと判定された場合の処理で、この場合はユーザーに合焦不能を知らせるなどの合焦不能処理を行い終了する。
最後にステップS186では、公知の相関演算により像ずれ量を算出する。そして、図17に示すようにこの像ずれ量をもとに撮影レンズ100の焦点ずれ量、すなわちデフォーカス量が算出される。
以上のような構成により、マイクロレンズのアライメント誤差による焦点検出用射出瞳領域の中心軸ずれが発生した場合にも、補正部により焦点検出用信号を補正することで高精度な焦点検出を実現できる。なお、本第1の実施形態の補正部による補正は上述した(1)〜(3)のうち(1)のみを補正する構成としたが、(2)、(3)についても第1の実施形態の構成で補正することは可能である。そうすれば、デフォーカス時においてもより高精度な焦点検出を行うことができる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
第2の実施形態は第1の実施形態と比較して、撮影レンズ100がズームやフォーカス位置により大きく瞳距離が変化する場合に対応するところが異なる。
図20はこれを説明するための図で、第1の実施形態の図11で示した焦点検出画素に対応する焦点検出用画素を示す。図20において、EPは撮影レンズ100のズーム位置がテレ端にある場合の射出瞳を示し、一方EPは撮影レンズ100のズーム位置がワイド端にある場合を示す。そして、テレとワイドの間においては、射出瞳は図中点線で結ぶ範囲で変化する。
このように、第2の実施形態では撮影レンズ100のズーム位置に応じて射出瞳径のみならず、マイクロレンズから射出瞳までの距離、すなわち射出瞳距離が変化しているのが分かる。したがって、射出瞳EPとEPとでマイクロレンズMLのアライメント誤差DMLによる射出瞳領域EPHA1とEPHB1、EPHA2とEPHB2のずれDEP1とDEP2はそれぞれ異なる。
図21は図20における撮像素子107の軸上付近の画素の射出瞳を撮像素子107側から見た図で、(a)がテレ端側を、(b)がワイド端側をそれぞれ示す。撮影レンズTLの光軸Lに対して、焦点検出用の射出瞳領域EPHA1とEPHB1、EPHA2とEPHB2の中心LAF1、LAF2はそれぞれDEP1、DEP2だけずれた位置にある。ここで、LAF1、LAF2は各射出瞳EP1、EP2における焦点検出手段の中心軸となり、DEP1、DEP2が中心軸ずれに相当する。そして射出瞳EP、EP2と焦点検出用の射出瞳領域EPHA1とEPHB1、EPHA2とEPHB2との共通領域、すなわち、実際焦点検出に使用する光束が通過する領域を右上がりの斜線領域210HA1と210HB1、211HA2と211HB2で示す。
これら斜線領域から明らかなように、テレ端側とワイド端側では対となる焦点検出用画素の光量比は異なることが分かる。これは射出瞳EPからEPへの変動に加えて、中心軸ずれがDEP1からDEP2へ変化しているためである。また、図20及び図21は撮像素子107の軸上付近の画素についての説明だが、周辺部においては中心軸ずれの変化具合が軸上とは異なる。したがって、中心軸ずれを第1の実施形態のように1つの射出瞳上だけでの情報として記憶するのではなく、射出瞳距離変化に対応できるような形式で記憶しておく必要がある。
そこで、撮像素子107から射出瞳までの距離をlとすると、撮像素子107の任意の画素位置(x,y)における中心軸ずれ(xERR,yERR)はこの距離lと画素位置(x,y)の関数として以下の式(4)、(5)で表すことができる。
ERR=h(l,x) …(4)
ERR=i(l,y) …(5)
このh(l,x)とi(l,y)を中心軸ずれ情報としてあらかじめカメラに記憶しておき、算出した(xERR,yERR)を第1の実施形態の式(3)に代入することにより光量の補正を行うことができる。ところで、h(l,x)とi(l,y)をカメラの製造工程中に書き込むにあたっては、図20で示すような2つの射出瞳距離EP、EPにおける中心軸ずれDEP1、DEP2を複数の像高で測定する。このようにすれば容易にh(l,x)とi(l,y)を決定することができる。なお、第2の実施形態はズーム位置に応じて射出瞳が変化しているため、式(3)におけるf(x,y)、g(xERR,yERR)もズーム位置ごとに格納する構成をとっている。
以上のように、第2の実施形態では中心軸ずれ情報を撮影レンズ100の瞳距離変化に対応した形の情報としてカメラに記憶するため、瞳距離変動が大きい撮影レンズが備えられたカメラにおいても精度よく焦点検出を行うことができる。なお、上記説明は撮影レンズのズームによる瞳距離変動を例として説明したが、本第の実施形態は射出瞳が個々で異なる複数の撮影レンズを装着可能なカメラシステムにも適用できる。
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。
第3の実施形態は、第1の実施形態の焦点検出手段をカメラシステムに適用した例を示す。
図22は第3の実施形態におけるカメラシステムの構成を示すブロック図である。なお、第1の実施形態と同様の符号を付したものは同様の役割を果たし、説明は省略する。図22において、220はカメラ本体、221はカメラ本体220に着脱可能な交換レンズを示し、それぞれのIF部222と223を介して、情報通信可能な構成にて接合されている。交換レンズ221は各種演算処理を行うCPU224を備え、撮影レンズ100のズーム、フォーカス、絞りシャッターなどを駆動する駆動回路225が接続され、さらに駆動回路225には各アクチュエータ226が接続される。また、各種情報を書き換え可能なフラッシュメモリ227をカメラ本体220と同様に備える。
図23は、図22のブロック図中、本発明に関わる部分を抜き出したブロック図で、より詳細な内容を示す。図において中央の点線より右側がカメラ本体220で、左側が交換レンズ221(レンズユニット)を示す。第1の実施形態と異なる箇所は、カメラ本体220のフラッシュメモリ133は画素感度ムラ情報175と中心軸ずれ情報177のみを有し、交換レンズ221のフラッシュメモリ227が射出瞳情報176を有することである。したがって、交換レンズ221として別の種類のレンズが装着された際にも、そのレンズ固有の射出瞳情報176をIF部222、223を介して取得することができる。
なお、本第3の実施形態は射出瞳径および距離が個々のレンズで異なる複数の撮影レンズを装着可能なカメラシステムが前提であるため、中心軸ずれ情報177は第2の実施形態のような形式で格納するのが好適である。フラッシュメモリ133の容量を減らすためには、各種交換レンズの代表的な射出瞳距離での中心軸ずれ情報177とすることが効果的であるが、第2の実施形態による手法がより高精度であることは言うまでもない。以上のような構成で、補正部170により第1の実施形態もしくは第2の実施形態で説明した補正を行うことで、カメラシステムにおいても高精度な焦点検出を実現することができる。
<第4の実施形態>
次に、本発明の第4の実施形態について説明する。
第4の実施形態は第1の実施形態と比較して、2次結像タイプで位相差方式の焦点検出部を有するカメラシステムに本発明を適用した例を示す。
図24は第4の実施形態におけるカメラシステムの構成を示すブロック図である。なお、第1〜第3の実施形態と同様の符号を付したものは同様の役割を果たし、説明は省略する。図において、カメラ本体220には2次結像タイプで位相差方式の焦点検出部240を備える。したがって、撮像素子107は第1の実施形態とは異なり、図3の画素のみで構成される撮像専用の撮像素子となる。交換レンズ221の撮影レンズ100と撮像素子107の間にはメインミラー241とサブミラー242が配置され、撮影レンズ100を通過した光束を分割および偏光している。
まず、メインミラー241はハーフミラーで構成され、撮影レンズ100を通過した光束の一部を上方に反射し、残りを透過する。メインミラー241で反射した光束は、フォーカシングスクリーン、コンデンサレンズ、ペンタプリズム、接眼レンズ群からなるファインダー光学系243に入射し、ユーザーによって被写体像を観察可能な構成となっている。一方、メインミラー241を透過した光束はサブミラー242で下方へ反射され、焦点検出部240に入射する。メインミラー241とサブミラー242は周知のクイックリターン機構により構成され、撮影時には光路外へ退避することができる。
焦点検出部240は2次結像タイプの位相差方式を用いており、フィールドレンズ、対の2次結像レンズ、対の受光センサなどから構成される公知の構成であり、詳細な説明は省略する。
図25は焦点検出部240と各種交換レンズの射出瞳の関係を示す概念図で、図24のメインミラー241とサブミラー242を省略して展開した図である。図25において、EPL1はある交換レンズの射出瞳を示し、EPL2はこれとは異なる別の交換レンズの射出瞳を示す。L1、L2はこれら交換レンズの光軸を示し、2つの光軸が重なっているためここでは1本の線で表されている。250は交換レンズの焦点面である1次結像面を示し、図24の撮像素子107の撮像面と光学的に等価な位置となっている。そして、焦点検出部240は1次結像面250の後方に配置され、一点鎖線で示す251が焦点検出部240の中心軸となっている。
中心軸251は製造誤差により光軸L1、L2に対してずれが生じ、射出瞳EPL1上では中心軸ずれDEPL1となり、射出瞳EPL2上では中心軸ずれDEPL2となっている。すなわち、焦点検出部240の中心軸251にずれが生じた場合、様々な射出瞳を有する撮影レンズが装着可能なカメラシステムにおいては、中心軸ずれが射出瞳距離によって異なることを示す。したがって、このような中心軸ずれ情報を射出瞳距離に対応する形式であらかじめカメラに記憶しておけば、第2の実施形態で説明した手法により高精度な焦点検出を行うことができる。
なお、本第4の実施形態における中心軸ずれはメインミラー241やサブミラー242の位置誤差、もしくは焦点検出部240内部のフィールドレンズによる製造誤差などで起こり得る。そこで、焦点検出部240の中心軸ずれを調整する機構を設けて、組立製造時に調整を行ういくつかの方法が公開されているが、本第4の実施形態を適用すれば、この機構自体を無くすことができるため、コストダウンの効果がある。
本発明の第1の実施形態におけるカメラの構成を示すブロック図である。 本発明の第1の実施形態における撮像素子の受光画素を撮影レンズ側からみた平面図である。 本発明の第1の実施形態における撮像用画素の構造を説明する図である。 本発明の第1の実施形態における焦点検出用画素の構造を説明する図である。 本発明の第1の実施形態における撮像素子の周辺部の焦点検出用画素の構造を説明する図である。 本発明の第1の実施形態における撮影レンズの垂直方向に瞳分割を行う焦点検出用画素の構造を説明する図である。 本発明の第1の実施形態における焦点検出構成を概略的に示す図である。 本発明の第1の実施形態における焦点検出用信号を示す図である。 本発明の第1の実施形態における焦点検出用画素による瞳分割機能を概念的に説明する図である。 レイヤー層構造のCMOSセンサチップを模式的に表す図である。 図4の構造においてマイクロレンズのアライメント誤差が発生した場合を示す図である。 図5の構造においてマイクロレンズのアライメント誤差が発生した場合を示す図である。 マイクロレンズのアライメント誤差が発生した場合の射出瞳を撮像素子側から見た図である。 マイクロレンズのアライメント誤差が発生した場合の射出瞳を撮像素子側から見た図である。 入射瞳と射出瞳との関係を示す図である。 撮像素子とその像高における射出瞳形状を対応付けた図である。 本発明の第1の実施形態における焦点検出用信号を補正するための構成を示すブロック図である。 本発明の第1の実施形態における焦点検出用信号の補正手順を示すフローチャートである。 焦点検出画素の像高hと光量比Cの関係を示すグラフである。 本発明の第2の実施形態における焦点検出用画素の構造を説明する図である。 本発明の第2の実施形態における射出瞳を撮像素子側から見た図である。 本発明の第3の実施形態におけるカメラシステムの構成を示すブロック図である。 本発明の第3の実施形態における焦点検出用信号を補正するための構成を示すブロック図である。 本発明の第4の実施形態におけるカメラシステムの構成を示すブロック図である。 本発明の第4の実施形態における焦点検出部と各種交換レンズの射出瞳の関係を示す概念図である。
符号の説明
100 撮影レンズ
107 撮像素子
170 補正部
176 射出瞳情報
177 中心軸ずれ情報

Claims (7)

  1. 撮影レンズの異なる領域を通過する対の光束をそれぞれ光電変換して画像信号対を出力する複数の焦点検出用画素対を含み、各画素に対応したマイクロレンズがそれぞれ形成された撮像素子と、
    前記マイクロレンズの形成時のアライメント誤差を含む製造誤差に関する中心軸ずれ情報を記憶する記憶手段と、
    記撮影レンズの射出瞳を介して前記焦点検出用画素対それぞれに入射する光量のアンバランスを補償するように、前記製造誤差が無い場合に像高に応じて変化する前記光量の比を示す関数を前記中心軸ずれ情報に基づいて変更し、該変更した関数と前記焦点検出用画素対の像高とに応じて前記画像信号対の信号レベルを補正する補正手段と、
    前記補正手段により補正された前記画像信号対を用いて、前記撮影レンズの焦点検出を行う焦点検出手段と
    を備えることを特徴とする撮像装置。
  2. 前記補正手段は、更に、前記撮影レンズの射出瞳までの射出瞳距離に基づいて、前記撮像素子の各位置における前記焦点検出用画素対の中心軸ずれ情報を補正し、該補正した後の中心軸ずれ情報に基づいて前記画像信号対の信号レベルを補正することを特徴とする請求項に記載の撮像装置。
  3. 前記撮像素子は、画像の撮影に用いる撮像素子であって、該撮像素子の一部の画素を前記焦点検出用画素対として構成したことを特徴とする請求項1または2に記載の撮像装置。
  4. 前記撮像素子は、画像の撮影に用いる撮像素子とは別に構成された、焦点検出用の撮像素子であることを特徴とする請求項1に記載の撮像装置。
  5. 前記中心軸ずれ情報は少なくとも撮像装置ごとに設定される情報であることを特徴とする請求項1に記載の撮像装置。
  6. 請求項1乃至のいずれか1項に記載の撮像装置と、
    前記撮像装置に着脱可能なレンズユニットとを有し、
    前記撮像装置に前記中心軸ずれ情報を格納し、前記レンズユニットに前記射出瞳に関する情報を格納し、前記レンズユニットから前記撮像装置へ前記射出瞳に関する情報を送信することを特徴とする撮像システム。
  7. 撮像装置における焦点検出方法であって、
    出力手段が、撮像素子に含まれる複数の焦点検出用画素対により、撮影レンズの異なる領域を通過する対の光束をそれぞれ光電変換して画像信号対を出力する出力工程と、
    取得手段が、前記撮像素子の各画素に対応して形成されたマイクロレンズの形成時のアライメント誤差を含む製造誤差に関する中心軸ずれ情報を取得する取得工程と、
    補正手段が、前記撮影レンズの射出瞳を介して前記焦点検出用画素対それぞれに入射する光量のアンバランスを補償するように、前記製造誤差が無い場合に像高に応じて変化する前記光量の比を示す関数を、前記中心軸ずれ情報に基づいて変更し、該変更した関数と前記焦点検出用画素対の像高とに応じて前記画像信号対の信号レベルを補正する補正工程と、
    焦点検出手段が、前記補正工程で補正された前記画像信号対を用いて、前記撮影レンズの焦点検出を行う焦点検出工程と
    を備えることを特徴とする焦点検出方法。
JP2008215918A 2008-08-25 2008-08-25 撮像装置、撮像システム、及び焦点検出方法 Expired - Fee Related JP5161702B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2008215918A JP5161702B2 (ja) 2008-08-25 2008-08-25 撮像装置、撮像システム、及び焦点検出方法
US12/539,260 US8405760B2 (en) 2008-08-25 2009-08-11 Image sensing apparatus, image sensing system and focus detection method
EP09168519.8A EP2169459B1 (en) 2008-08-25 2009-08-24 Image sensing apparatus, image sensing system and focus detection method
EP18159802.0A EP3396449A1 (en) 2008-08-25 2009-08-24 Image sensing apparatus and control method
EP14178618.6A EP2811340B1 (en) 2008-08-25 2009-08-24 Image sensing apparatus, image sensing system and focus detection method
EP22157059.1A EP4047416A3 (en) 2008-08-25 2009-08-24 Image sensing apparatus, a lens unit, and control method
CN2009101693497A CN101662588B (zh) 2008-08-25 2009-08-25 摄像设备、摄像系统和焦点检测方法
US13/780,505 US8767118B2 (en) 2008-08-25 2013-02-28 Image sensing apparatus, image sensing system and focus detection method
US14/279,546 US9560258B2 (en) 2008-08-25 2014-05-16 Image sensing apparatus, image sensing system and focus detection method of detecting a focus position of a lens using image signal pair

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008215918A JP5161702B2 (ja) 2008-08-25 2008-08-25 撮像装置、撮像システム、及び焦点検出方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012275093A Division JP5548761B2 (ja) 2012-12-17 2012-12-17 撮像装置、撮像システム、及び焦点検出方法

Publications (3)

Publication Number Publication Date
JP2010049209A JP2010049209A (ja) 2010-03-04
JP2010049209A5 JP2010049209A5 (ja) 2011-10-06
JP5161702B2 true JP5161702B2 (ja) 2013-03-13

Family

ID=41667536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008215918A Expired - Fee Related JP5161702B2 (ja) 2008-08-25 2008-08-25 撮像装置、撮像システム、及び焦点検出方法

Country Status (4)

Country Link
US (3) US8405760B2 (ja)
EP (4) EP4047416A3 (ja)
JP (1) JP5161702B2 (ja)
CN (1) CN101662588B (ja)

Families Citing this family (208)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8279318B2 (en) * 2007-12-14 2012-10-02 Canon Kabushiki Kaisha Image pickup apparatus and display control method for the same
KR20100138614A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 자동초점 검출장치 및 이를 적용한 카메라
JP5662667B2 (ja) * 2009-10-08 2015-02-04 キヤノン株式会社 撮像装置
US11374118B2 (en) 2009-10-12 2022-06-28 Monolithic 3D Inc. Method to form a 3D integrated circuit
US10366970B2 (en) 2009-10-12 2019-07-30 Monolithic 3D Inc. 3D semiconductor device and structure
US10910364B2 (en) 2009-10-12 2021-02-02 Monolitaic 3D Inc. 3D semiconductor device
US11018133B2 (en) 2009-10-12 2021-05-25 Monolithic 3D Inc. 3D integrated circuit
US10043781B2 (en) 2009-10-12 2018-08-07 Monolithic 3D Inc. 3D semiconductor device and structure
US10157909B2 (en) 2009-10-12 2018-12-18 Monolithic 3D Inc. 3D semiconductor device and structure
US10388863B2 (en) 2009-10-12 2019-08-20 Monolithic 3D Inc. 3D memory device and structure
US10354995B2 (en) 2009-10-12 2019-07-16 Monolithic 3D Inc. Semiconductor memory device and structure
JP5537905B2 (ja) * 2009-11-10 2014-07-02 富士フイルム株式会社 撮像素子及び撮像装置
JP2011221253A (ja) * 2010-04-08 2011-11-04 Sony Corp 撮像装置、固体撮像素子、撮像方法およびプログラム
JP5642433B2 (ja) * 2010-06-15 2014-12-17 富士フイルム株式会社 撮像装置及び画像処理方法
US10217667B2 (en) 2011-06-28 2019-02-26 Monolithic 3D Inc. 3D semiconductor device, fabrication method and system
JP5676988B2 (ja) * 2010-09-14 2015-02-25 キヤノン株式会社 焦点調節装置
US11482440B2 (en) 2010-12-16 2022-10-25 Monolithic 3D Inc. 3D semiconductor device and structure with a built-in test circuit for repairing faulty circuits
US10497713B2 (en) 2010-11-18 2019-12-03 Monolithic 3D Inc. 3D semiconductor memory device and structure
US11257867B1 (en) 2010-10-11 2022-02-22 Monolithic 3D Inc. 3D semiconductor device and structure with oxide bonds
US11158674B2 (en) 2010-10-11 2021-10-26 Monolithic 3D Inc. Method to produce a 3D semiconductor device and structure
US11018191B1 (en) 2010-10-11 2021-05-25 Monolithic 3D Inc. 3D semiconductor device and structure
US11024673B1 (en) 2010-10-11 2021-06-01 Monolithic 3D Inc. 3D semiconductor device and structure
US11315980B1 (en) 2010-10-11 2022-04-26 Monolithic 3D Inc. 3D semiconductor device and structure with transistors
US11469271B2 (en) 2010-10-11 2022-10-11 Monolithic 3D Inc. Method to produce 3D semiconductor devices and structures with memory
US10896931B1 (en) 2010-10-11 2021-01-19 Monolithic 3D Inc. 3D semiconductor device and structure
US11600667B1 (en) 2010-10-11 2023-03-07 Monolithic 3D Inc. Method to produce 3D semiconductor devices and structures with memory
US10290682B2 (en) 2010-10-11 2019-05-14 Monolithic 3D Inc. 3D IC semiconductor device and structure with stacked memory
US11227897B2 (en) 2010-10-11 2022-01-18 Monolithic 3D Inc. Method for producing a 3D semiconductor memory device and structure
US11404466B2 (en) 2010-10-13 2022-08-02 Monolithic 3D Inc. Multilevel semiconductor device and structure with image sensors
US9941319B2 (en) * 2010-10-13 2018-04-10 Monolithic 3D Inc. Semiconductor and optoelectronic methods and devices
US10978501B1 (en) 2010-10-13 2021-04-13 Monolithic 3D Inc. Multilevel semiconductor device and structure with waveguides
US10833108B2 (en) 2010-10-13 2020-11-10 Monolithic 3D Inc. 3D microdisplay device and structure
US11133344B2 (en) 2010-10-13 2021-09-28 Monolithic 3D Inc. Multilevel semiconductor device and structure with image sensors
US11855100B2 (en) 2010-10-13 2023-12-26 Monolithic 3D Inc. Multilevel semiconductor device and structure with oxide bonding
US11327227B2 (en) 2010-10-13 2022-05-10 Monolithic 3D Inc. Multilevel semiconductor device and structure with electromagnetic modulators
US11855114B2 (en) 2010-10-13 2023-12-26 Monolithic 3D Inc. Multilevel semiconductor device and structure with image sensors and wafer bonding
US11869915B2 (en) 2010-10-13 2024-01-09 Monolithic 3D Inc. Multilevel semiconductor device and structure with image sensors and wafer bonding
US10943934B2 (en) 2010-10-13 2021-03-09 Monolithic 3D Inc. Multilevel semiconductor device and structure
US11043523B1 (en) 2010-10-13 2021-06-22 Monolithic 3D Inc. Multilevel semiconductor device and structure with image sensors
US11605663B2 (en) 2010-10-13 2023-03-14 Monolithic 3D Inc. Multilevel semiconductor device and structure with image sensors and wafer bonding
US11164898B2 (en) 2010-10-13 2021-11-02 Monolithic 3D Inc. Multilevel semiconductor device and structure
US11163112B2 (en) 2010-10-13 2021-11-02 Monolithic 3D Inc. Multilevel semiconductor device and structure with electromagnetic modulators
US11437368B2 (en) 2010-10-13 2022-09-06 Monolithic 3D Inc. Multilevel semiconductor device and structure with oxide bonding
US11063071B1 (en) 2010-10-13 2021-07-13 Monolithic 3D Inc. Multilevel semiconductor device and structure with waveguides
US11929372B2 (en) 2010-10-13 2024-03-12 Monolithic 3D Inc. Multilevel semiconductor device and structure with image sensors and wafer bonding
US11694922B2 (en) 2010-10-13 2023-07-04 Monolithic 3D Inc. Multilevel semiconductor device and structure with oxide bonding
US10679977B2 (en) 2010-10-13 2020-06-09 Monolithic 3D Inc. 3D microdisplay device and structure
US10998374B1 (en) 2010-10-13 2021-05-04 Monolithic 3D Inc. Multilevel semiconductor device and structure
JP5614227B2 (ja) * 2010-10-18 2014-10-29 株式会社ニコン 焦点検出装置及び撮像装置
US11854857B1 (en) 2010-11-18 2023-12-26 Monolithic 3D Inc. Methods for producing a 3D semiconductor device and structure with memory cells and multiple metal layers
US11569117B2 (en) 2010-11-18 2023-01-31 Monolithic 3D Inc. 3D semiconductor device and structure with single-crystal layers
US11482439B2 (en) 2010-11-18 2022-10-25 Monolithic 3D Inc. Methods for producing a 3D semiconductor memory device comprising charge trap junction-less transistors
US11482438B2 (en) 2010-11-18 2022-10-25 Monolithic 3D Inc. Methods for producing a 3D semiconductor memory device and structure
US11094576B1 (en) 2010-11-18 2021-08-17 Monolithic 3D Inc. Methods for producing a 3D semiconductor memory device and structure
US11862503B2 (en) 2010-11-18 2024-01-02 Monolithic 3D Inc. Method for producing a 3D semiconductor device and structure with memory cells and multiple metal layers
US11107721B2 (en) 2010-11-18 2021-08-31 Monolithic 3D Inc. 3D semiconductor device and structure with NAND logic
US11031275B2 (en) 2010-11-18 2021-06-08 Monolithic 3D Inc. 3D semiconductor device and structure with memory
US11735462B2 (en) 2010-11-18 2023-08-22 Monolithic 3D Inc. 3D semiconductor device and structure with single-crystal layers
US11018042B1 (en) 2010-11-18 2021-05-25 Monolithic 3D Inc. 3D semiconductor memory device and structure
US11508605B2 (en) 2010-11-18 2022-11-22 Monolithic 3D Inc. 3D semiconductor memory device and structure
US11784082B2 (en) 2010-11-18 2023-10-10 Monolithic 3D Inc. 3D semiconductor device and structure with bonding
US11004719B1 (en) 2010-11-18 2021-05-11 Monolithic 3D Inc. Methods for producing a 3D semiconductor memory device and structure
US11211279B2 (en) 2010-11-18 2021-12-28 Monolithic 3D Inc. Method for processing a 3D integrated circuit and structure
US11901210B2 (en) 2010-11-18 2024-02-13 Monolithic 3D Inc. 3D semiconductor device and structure with memory
US11164770B1 (en) 2010-11-18 2021-11-02 Monolithic 3D Inc. Method for producing a 3D semiconductor memory device and structure
US11615977B2 (en) 2010-11-18 2023-03-28 Monolithic 3D Inc. 3D semiconductor memory device and structure
US11923230B1 (en) 2010-11-18 2024-03-05 Monolithic 3D Inc. 3D semiconductor device and structure with bonding
US11521888B2 (en) 2010-11-18 2022-12-06 Monolithic 3D Inc. 3D semiconductor device and structure with high-k metal gate transistors
US11495484B2 (en) 2010-11-18 2022-11-08 Monolithic 3D Inc. 3D semiconductor devices and structures with at least two single-crystal layers
US11355380B2 (en) 2010-11-18 2022-06-07 Monolithic 3D Inc. Methods for producing 3D semiconductor memory device and structure utilizing alignment marks
US11610802B2 (en) 2010-11-18 2023-03-21 Monolithic 3D Inc. Method for producing a 3D semiconductor device and structure with single crystal transistors and metal gate electrodes
US11443971B2 (en) 2010-11-18 2022-09-13 Monolithic 3D Inc. 3D semiconductor device and structure with memory
US11121021B2 (en) 2010-11-18 2021-09-14 Monolithic 3D Inc. 3D semiconductor device and structure
US11804396B2 (en) 2010-11-18 2023-10-31 Monolithic 3D Inc. Methods for producing a 3D semiconductor device and structure with memory cells and multiple metal layers
US11355381B2 (en) 2010-11-18 2022-06-07 Monolithic 3D Inc. 3D semiconductor memory device and structure
JP5663331B2 (ja) * 2011-01-31 2015-02-04 オリンパス株式会社 制御装置、内視鏡装置、絞り制御方法及びプログラム
JP2012234152A (ja) * 2011-04-19 2012-11-29 Canon Inc 撮像装置及びその制御方法
JP5791349B2 (ja) * 2011-04-21 2015-10-07 キヤノン株式会社 撮像装置及びその制御方法
KR101777351B1 (ko) 2011-05-16 2017-09-11 삼성전자주식회사 촬상 소자, 이를 이용한 디지털 촬영 장치, 오토 포커싱 방법, 및 상기 방법을 수행하기 위한 컴퓨터 판독가능 저장매체
JP5956782B2 (ja) * 2011-05-26 2016-07-27 キヤノン株式会社 撮像素子及び撮像装置
KR101747304B1 (ko) * 2011-05-30 2017-06-14 삼성전자주식회사 디지털 촬영 장치, 오토포커싱 방법, 및 이를 실행하기 위한 컴퓨터 판독가능 저장매체
US10388568B2 (en) 2011-06-28 2019-08-20 Monolithic 3D Inc. 3D semiconductor device and system
JP5784395B2 (ja) * 2011-07-13 2015-09-24 オリンパス株式会社 撮像装置
US8810713B2 (en) * 2011-07-13 2014-08-19 Olympus Imaging Corp. Image pickup apparatus and image pickup device for performing auto-focusing
KR101853817B1 (ko) 2011-07-20 2018-05-02 삼성전자주식회사 촬상 소자
JP6000520B2 (ja) 2011-07-25 2016-09-28 キヤノン株式会社 撮像装置およびその制御方法およびプログラム
JP5525109B2 (ja) * 2011-08-23 2014-06-18 富士フイルム株式会社 撮像装置
JP5667304B2 (ja) * 2011-09-13 2015-02-12 富士フイルム株式会社 立体撮像装置
GB201119206D0 (en) * 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
JP5914055B2 (ja) * 2012-03-06 2016-05-11 キヤノン株式会社 撮像装置
CN104221369B (zh) * 2012-03-28 2016-02-10 富士胶片株式会社 摄像元件以及使用该摄像元件的摄像装置和摄像方法
JP6016412B2 (ja) * 2012-03-30 2016-10-26 キヤノン株式会社 撮像装置および信号処理方法
US9191566B2 (en) * 2012-03-30 2015-11-17 Samsung Electronics Co., Ltd. Image pickup apparatus, method for image pickup and computer-readable recording medium
US10600888B2 (en) 2012-04-09 2020-03-24 Monolithic 3D Inc. 3D semiconductor device
US11881443B2 (en) 2012-04-09 2024-01-23 Monolithic 3D Inc. 3D semiconductor device and structure with metal layers and a connective path
US11735501B1 (en) 2012-04-09 2023-08-22 Monolithic 3D Inc. 3D semiconductor device and structure with metal layers and a connective path
US11594473B2 (en) 2012-04-09 2023-02-28 Monolithic 3D Inc. 3D semiconductor device and structure with metal layers and a connective path
US11164811B2 (en) 2012-04-09 2021-11-02 Monolithic 3D Inc. 3D semiconductor device with isolation layers and oxide-to-oxide bonding
US11410912B2 (en) 2012-04-09 2022-08-09 Monolithic 3D Inc. 3D semiconductor device with vias and isolation layers
US11088050B2 (en) 2012-04-09 2021-08-10 Monolithic 3D Inc. 3D semiconductor device with isolation layers
US11476181B1 (en) 2012-04-09 2022-10-18 Monolithic 3D Inc. 3D semiconductor device and structure with metal layers
US11616004B1 (en) 2012-04-09 2023-03-28 Monolithic 3D Inc. 3D semiconductor device and structure with metal layers and a connective path
US11694944B1 (en) 2012-04-09 2023-07-04 Monolithic 3D Inc. 3D semiconductor device and structure with metal layers and a connective path
JP5947602B2 (ja) * 2012-04-11 2016-07-06 キヤノン株式会社 撮像装置
US20150130986A1 (en) * 2012-04-25 2015-05-14 Nikon Corporation Focus detection device, focus adjustment device and camera
US9288377B2 (en) 2012-05-02 2016-03-15 Semiconductor Components Industries, Llc System and method for combining focus bracket images
CN104285437B (zh) * 2012-05-10 2016-06-29 富士胶片株式会社 信号处理装置、摄像装置、信号校正方法
KR20130134293A (ko) * 2012-05-30 2013-12-10 삼성전자주식회사 이미지 센서, 이의 동작 방법, 및 이를 포함하는 시스템
JP6116151B2 (ja) * 2012-07-31 2017-04-19 キヤノン株式会社 距離検出装置
JP6288909B2 (ja) * 2012-10-19 2018-03-07 キヤノン株式会社 撮像素子及び撮像装置
JP6033038B2 (ja) * 2012-10-26 2016-11-30 キヤノン株式会社 焦点検出装置、撮像装置、撮像システム、および、焦点検出方法
JP6150497B2 (ja) * 2012-11-12 2017-06-21 キヤノン株式会社 検出装置、及び、プログラム
US11916045B2 (en) 2012-12-22 2024-02-27 Monolithic 3D Inc. 3D semiconductor device and structure with metal layers
US11309292B2 (en) 2012-12-22 2022-04-19 Monolithic 3D Inc. 3D semiconductor device and structure with metal layers
US11961827B1 (en) 2012-12-22 2024-04-16 Monolithic 3D Inc. 3D semiconductor device and structure with metal layers
US11063024B1 (en) 2012-12-22 2021-07-13 Monlithic 3D Inc. Method to form a 3D semiconductor device and structure
US11217565B2 (en) 2012-12-22 2022-01-04 Monolithic 3D Inc. Method to form a 3D semiconductor device and structure
US11784169B2 (en) 2012-12-22 2023-10-10 Monolithic 3D Inc. 3D semiconductor device and structure with metal layers
US11018116B2 (en) 2012-12-22 2021-05-25 Monolithic 3D Inc. Method to form a 3D semiconductor device and structure
US11177140B2 (en) 2012-12-29 2021-11-16 Monolithic 3D Inc. 3D semiconductor device and structure
US11004694B1 (en) 2012-12-29 2021-05-11 Monolithic 3D Inc. 3D semiconductor device and structure
US10892169B2 (en) 2012-12-29 2021-01-12 Monolithic 3D Inc. 3D semiconductor device and structure
US11430668B2 (en) 2012-12-29 2022-08-30 Monolithic 3D Inc. 3D semiconductor device and structure with bonding
US10600657B2 (en) 2012-12-29 2020-03-24 Monolithic 3D Inc 3D semiconductor device and structure
US10903089B1 (en) 2012-12-29 2021-01-26 Monolithic 3D Inc. 3D semiconductor device and structure
US10651054B2 (en) 2012-12-29 2020-05-12 Monolithic 3D Inc. 3D semiconductor device and structure
US10115663B2 (en) 2012-12-29 2018-10-30 Monolithic 3D Inc. 3D semiconductor device and structure
US11430667B2 (en) 2012-12-29 2022-08-30 Monolithic 3D Inc. 3D semiconductor device and structure with bonding
US11087995B1 (en) 2012-12-29 2021-08-10 Monolithic 3D Inc. 3D semiconductor device and structure
WO2014109334A1 (ja) * 2013-01-10 2014-07-17 オリンパスイメージング株式会社 撮像装置及び画像補正方法並びに画像処理装置及び画像処理方法
WO2014129216A1 (ja) * 2013-02-21 2014-08-28 富士フイルム株式会社 撮像装置
US10325651B2 (en) 2013-03-11 2019-06-18 Monolithic 3D Inc. 3D semiconductor device with stacked memory
US11935949B1 (en) 2013-03-11 2024-03-19 Monolithic 3D Inc. 3D semiconductor device and structure with metal layers and memory cells
US11869965B2 (en) 2013-03-11 2024-01-09 Monolithic 3D Inc. 3D semiconductor device and structure with metal layers and memory cells
US8902663B1 (en) 2013-03-11 2014-12-02 Monolithic 3D Inc. Method of maintaining a memory state
US11398569B2 (en) 2013-03-12 2022-07-26 Monolithic 3D Inc. 3D semiconductor device and structure
US10840239B2 (en) 2014-08-26 2020-11-17 Monolithic 3D Inc. 3D semiconductor device and structure
US11088130B2 (en) 2014-01-28 2021-08-10 Monolithic 3D Inc. 3D semiconductor device and structure
US11923374B2 (en) 2013-03-12 2024-03-05 Monolithic 3D Inc. 3D semiconductor device and structure with metal layers
US10224279B2 (en) 2013-03-15 2019-03-05 Monolithic 3D Inc. Semiconductor device and structure
US9021414B1 (en) 2013-04-15 2015-04-28 Monolithic 3D Inc. Automation for monolithic 3D devices
US11341309B1 (en) 2013-04-15 2022-05-24 Monolithic 3D Inc. Automation for monolithic 3D devices
US11030371B2 (en) 2013-04-15 2021-06-08 Monolithic 3D Inc. Automation for monolithic 3D devices
US11487928B2 (en) 2013-04-15 2022-11-01 Monolithic 3D Inc. Automation for monolithic 3D devices
US11574109B1 (en) 2013-04-15 2023-02-07 Monolithic 3D Inc Automation methods for 3D integrated circuits and devices
US11270055B1 (en) 2013-04-15 2022-03-08 Monolithic 3D Inc. Automation for monolithic 3D devices
US11720736B2 (en) 2013-04-15 2023-08-08 Monolithic 3D Inc. Automation methods for 3D integrated circuits and devices
JP6186900B2 (ja) 2013-06-04 2017-08-30 ソニー株式会社 固体撮像装置、電子機器、レンズ制御方法、および撮像モジュール
JP6362060B2 (ja) * 2013-07-01 2018-07-25 キヤノン株式会社 撮像装置及びその制御方法ならびにプログラム
JP5701942B2 (ja) * 2013-07-10 2015-04-15 オリンパス株式会社 撮像装置、カメラシステム及び画像処理方法
JP6372983B2 (ja) * 2013-09-02 2018-08-15 キヤノン株式会社 焦点検出装置およびその制御方法、撮像装置
JP5769773B2 (ja) * 2013-09-30 2015-08-26 オリンパス株式会社 カメラシステム及び焦点検出画素の補正方法
JP6533360B2 (ja) * 2013-10-30 2019-06-19 キヤノン株式会社 位置検出装置及びそれを有するレンズ装置及び撮影装置
JP2015129846A (ja) * 2014-01-07 2015-07-16 キヤノン株式会社 撮像装置およびその制御方法
US11107808B1 (en) 2014-01-28 2021-08-31 Monolithic 3D Inc. 3D semiconductor device and structure
US10297586B2 (en) 2015-03-09 2019-05-21 Monolithic 3D Inc. Methods for processing a 3D semiconductor device
US11031394B1 (en) 2014-01-28 2021-06-08 Monolithic 3D Inc. 3D semiconductor device and structure
JP6381266B2 (ja) * 2014-04-15 2018-08-29 キヤノン株式会社 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
JP2015212772A (ja) * 2014-05-02 2015-11-26 キヤノン株式会社 測距装置、撮像装置、測距方法、および測距パラメータ算出方法
US10830927B2 (en) * 2014-05-06 2020-11-10 Cognex Corporation System and method for reduction of drift in a vision system variable lens
JP6369233B2 (ja) 2014-09-01 2018-08-08 ソニー株式会社 固体撮像素子及びその信号処理方法、並びに電子機器
JP6486041B2 (ja) * 2014-09-11 2019-03-20 キヤノン株式会社 撮像装置およびその制御方法
JP6506560B2 (ja) * 2015-01-20 2019-04-24 キヤノン株式会社 フォーカス制御装置及びその方法、プログラム、記憶媒体
US10381328B2 (en) 2015-04-19 2019-08-13 Monolithic 3D Inc. Semiconductor device and structure
US11056468B1 (en) 2015-04-19 2021-07-06 Monolithic 3D Inc. 3D semiconductor device and structure
US10825779B2 (en) 2015-04-19 2020-11-03 Monolithic 3D Inc. 3D semiconductor device and structure
US11011507B1 (en) 2015-04-19 2021-05-18 Monolithic 3D Inc. 3D semiconductor device and structure
KR20180033135A (ko) 2015-07-31 2018-04-02 소니 주식회사 제어 장치, 제어 방법, 컴퓨터 프로그램 및 전자 기기
JP6504969B2 (ja) * 2015-08-19 2019-04-24 キヤノン株式会社 撮像システム、撮像装置、レンズ装置、撮像システムの制御方法
US11956952B2 (en) 2015-08-23 2024-04-09 Monolithic 3D Inc. Semiconductor memory device and structure
JP6525829B2 (ja) * 2015-09-11 2019-06-05 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
US10515981B2 (en) 2015-09-21 2019-12-24 Monolithic 3D Inc. Multilevel semiconductor device and structure with memory
US9420164B1 (en) 2015-09-24 2016-08-16 Qualcomm Incorporated Phase detection autofocus noise reduction
US9804357B2 (en) 2015-09-25 2017-10-31 Qualcomm Incorporated Phase detection autofocus using masked and unmasked photodiodes
US10522225B1 (en) 2015-10-02 2019-12-31 Monolithic 3D Inc. Semiconductor device with non-volatile memory
US11296115B1 (en) 2015-10-24 2022-04-05 Monolithic 3D Inc. 3D semiconductor device and structure
US10847540B2 (en) 2015-10-24 2020-11-24 Monolithic 3D Inc. 3D semiconductor memory device and structure
US11114464B2 (en) 2015-10-24 2021-09-07 Monolithic 3D Inc. 3D semiconductor device and structure
US10418369B2 (en) 2015-10-24 2019-09-17 Monolithic 3D Inc. Multi-level semiconductor memory device and structure
KR102523643B1 (ko) 2015-10-26 2023-04-20 삼성전자주식회사 이미지 신호 프로세서의 작동 방법과 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템의 작동 방법
US11114427B2 (en) 2015-11-07 2021-09-07 Monolithic 3D Inc. 3D semiconductor processor and memory device and structure
US11937422B2 (en) 2015-11-07 2024-03-19 Monolithic 3D Inc. Semiconductor memory device and structure
US9848118B2 (en) * 2016-03-11 2017-12-19 Intel Corporation Phase detection autofocus using opposing filter masks
US9736355B1 (en) * 2016-05-03 2017-08-15 Mitutoyo Corporation Phase difference calibration in a variable focal length lens system
US10491799B2 (en) * 2016-06-17 2019-11-26 Canon Kabushiki Kaisha Focus detection apparatus, focus control apparatus, image capturing apparatus, focus detection method, and storage medium
US10015389B2 (en) * 2016-09-22 2018-07-03 Omnivision Technologies, Inc. Image sensor with asymmetric-microlens phase-detection auto-focus (PDAF) detectors, associated PDAF imaging system, and associated method
US11869591B2 (en) 2016-10-10 2024-01-09 Monolithic 3D Inc. 3D memory devices and structures with control circuits
US11711928B2 (en) 2016-10-10 2023-07-25 Monolithic 3D Inc. 3D memory devices and structures with control circuits
US11930648B1 (en) 2016-10-10 2024-03-12 Monolithic 3D Inc. 3D memory devices and structures with metal layers
US11329059B1 (en) 2016-10-10 2022-05-10 Monolithic 3D Inc. 3D memory devices and structures with thinned single crystal substrates
US11251149B2 (en) 2016-10-10 2022-02-15 Monolithic 3D Inc. 3D memory device and structure
US11812620B2 (en) 2016-10-10 2023-11-07 Monolithic 3D Inc. 3D DRAM memory devices and structures with control circuits
JP2018077190A (ja) * 2016-11-11 2018-05-17 株式会社東芝 撮像装置及び自動制御システム
WO2019104508A1 (zh) * 2017-11-29 2019-06-06 深圳市大疆创新科技有限公司 图像传感器、芯片、图像处理设备及相关方法
JP2018107460A (ja) * 2018-02-02 2018-07-05 キヤノン株式会社 撮像素子及び撮像装置
JP7140190B2 (ja) * 2018-07-20 2022-09-21 株式会社ニコン 焦点検出装置、及び、撮像装置
CN109788277B (zh) * 2019-01-08 2020-08-04 浙江大华技术股份有限公司 防抖机芯的光轴偏差的补偿方法、装置和存储介质
US11018156B2 (en) 2019-04-08 2021-05-25 Monolithic 3D Inc. 3D memory semiconductor devices and structures
US11763864B2 (en) 2019-04-08 2023-09-19 Monolithic 3D Inc. 3D memory semiconductor devices and structures with bit-line pillars
US11158652B1 (en) 2019-04-08 2021-10-26 Monolithic 3D Inc. 3D memory semiconductor devices and structures
US10892016B1 (en) 2019-04-08 2021-01-12 Monolithic 3D Inc. 3D memory semiconductor devices and structures
US11296106B2 (en) 2019-04-08 2022-04-05 Monolithic 3D Inc. 3D memory semiconductor devices and structures
JP7292123B2 (ja) * 2019-06-20 2023-06-16 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US11314150B2 (en) * 2020-01-08 2022-04-26 Qualcomm Incorporated Phase detection autofocus (PDAF) optical system
KR20210095461A (ko) * 2020-01-23 2021-08-02 삼성전자주식회사 복수의 공유 픽셀들을 포함하는 이미지 장치 및 이의 동작 방법
KR102148127B1 (ko) * 2020-02-14 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 상보적인 픽슬렛 구조가 적용된 카메라 시스템
CN111399180A (zh) 2020-04-27 2020-07-10 浙江舜宇光学有限公司 摄像透镜组
KR20220003790A (ko) * 2020-07-02 2022-01-11 한화테크윈 주식회사 오토 포커스를 수행하는 이미지 촬영 장치

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0756530B2 (ja) * 1986-03-31 1995-06-14 株式会社ニコン 撮影レンズ鏡筒およびカメラ
JPS6479714A (en) 1987-09-21 1989-03-24 Fuji Photo Film Co Ltd Automatic focusing device
US4908643A (en) * 1987-09-21 1990-03-13 Fuji Photo Film Co., Ltd. Automatic focussing adjusting device
JPH0789174B2 (ja) 1987-09-21 1995-09-27 富士写真フイルム株式会社 自動焦点調節装置
JPH0823623B2 (ja) * 1989-05-02 1996-03-06 オリンパス光学工業株式会社 焦点検出装置の調整方法
JPH03214133A (ja) 1990-01-18 1991-09-19 Nikon Corp 焦点検出装置
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP5002086B2 (ja) * 1999-10-28 2012-08-15 キヤノン株式会社 焦点検出装置と撮像装置
US6813442B2 (en) * 2000-06-08 2004-11-02 Canon Kabushiki Kaisha Autofocus system and camera system
JP2002131623A (ja) 2000-10-24 2002-05-09 Canon Inc 撮像装置及び撮像システム
JP4500434B2 (ja) * 2000-11-28 2010-07-14 キヤノン株式会社 撮像装置及び撮像システム、並びに撮像方法
JP2004191629A (ja) * 2002-12-11 2004-07-08 Canon Inc 焦点検出装置
JP2005148091A (ja) 2003-11-11 2005-06-09 Canon Inc 光学機器
EP1887399A4 (en) * 2005-05-30 2011-03-23 Nikon Corp IMAGE GENERATION CONDITION DETECTION DEVICE
JP4984491B2 (ja) * 2005-10-31 2012-07-25 株式会社ニコン 焦点検出装置および光学システム
JP4910366B2 (ja) 2005-11-09 2012-04-04 株式会社ニコン 焦点検出装置、光学システムおよび焦点検出方法
JP4014612B2 (ja) 2005-11-09 2007-11-28 シャープ株式会社 周辺光量補正装置、周辺光量補正方法、電子情報機器、制御プログラムおよび可読記録媒体
JP4946059B2 (ja) * 2006-01-11 2012-06-06 株式会社ニコン 撮像装置
US7792420B2 (en) * 2006-03-01 2010-09-07 Nikon Corporation Focus adjustment device, imaging device and focus adjustment method
US7751700B2 (en) * 2006-03-01 2010-07-06 Nikon Corporation Focus adjustment device, imaging device and focus adjustment method
JP4857877B2 (ja) * 2006-04-11 2012-01-18 株式会社ニコン 撮像装置およびカメラ
JP4946313B2 (ja) * 2006-09-27 2012-06-06 株式会社ニコン 撮像装置
JP5458475B2 (ja) * 2007-04-18 2014-04-02 株式会社ニコン 焦点検出装置および撮像装置
US8680451B2 (en) * 2007-10-02 2014-03-25 Nikon Corporation Light receiving device, focus detection device and imaging device
US7978255B2 (en) * 2007-10-11 2011-07-12 Nikon Corporation Solid-state image sensor and image-capturing device
JP2009115893A (ja) * 2007-11-02 2009-05-28 Canon Inc 撮像装置
WO2009104417A1 (ja) * 2008-02-22 2009-08-27 パナソニック株式会社 撮像装置
JP5169499B2 (ja) * 2008-06-02 2013-03-27 株式会社ニコン 撮像素子および撮像装置
JP5317562B2 (ja) * 2008-07-17 2013-10-16 キヤノン株式会社 位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラム
EP2370846A4 (en) * 2008-11-27 2013-12-11 Canon Kk TRANSISTORIZED IMAGE DETECTION ELEMENT AND IMAGE DETECTION APPARATUS
US8558940B2 (en) * 2008-11-27 2013-10-15 Nikon Corporation Image sensor and image-capturing device
JP5476716B2 (ja) * 2009-01-08 2014-04-23 ソニー株式会社 撮像素子および撮像装置
JP5212396B2 (ja) * 2010-02-10 2013-06-19 株式会社ニコン 焦点検出装置
JP5967950B2 (ja) * 2011-04-20 2016-08-10 キヤノン株式会社 撮像素子及び撮像装置
JP5956782B2 (ja) * 2011-05-26 2016-07-27 キヤノン株式会社 撮像素子及び撮像装置
US20140375852A1 (en) * 2013-06-20 2014-12-25 Canon Kabushiki Kaisha Solid-state imaging apparatus, method of manufacturing the same, camera, imaging device, and imaging apparatus

Also Published As

Publication number Publication date
CN101662588B (zh) 2012-07-04
EP2169459A3 (en) 2011-04-06
EP2811340A1 (en) 2014-12-10
JP2010049209A (ja) 2010-03-04
US8767118B2 (en) 2014-07-01
EP4047416A3 (en) 2022-12-28
US9560258B2 (en) 2017-01-31
EP4047416A2 (en) 2022-08-24
CN101662588A (zh) 2010-03-03
EP2169459B1 (en) 2014-10-08
US8405760B2 (en) 2013-03-26
EP3396449A1 (en) 2018-10-31
EP2811340B1 (en) 2018-10-24
EP2169459A2 (en) 2010-03-31
US20140247385A1 (en) 2014-09-04
US20100045849A1 (en) 2010-02-25
US20130169858A1 (en) 2013-07-04

Similar Documents

Publication Publication Date Title
JP5161702B2 (ja) 撮像装置、撮像システム、及び焦点検出方法
JP5552214B2 (ja) 焦点検出装置
JP5028154B2 (ja) 撮像装置及びその制御方法
KR101310105B1 (ko) 초점 검출장치
JP5676962B2 (ja) 焦点検出装置および撮像装置
US8488956B2 (en) Focus adjusting apparatus and focus adjusting method
JP5895355B2 (ja) 撮像装置
JP5762002B2 (ja) 撮像装置
JP4992481B2 (ja) 焦点検出装置および撮像装置
JP2012141585A (ja) 撮像装置
JP6305006B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP2010129783A (ja) 撮像素子および撮像装置
JP5968359B2 (ja) 撮像装置、撮像システム、及び撮像装置の制御方法
JP6302512B2 (ja) 撮像装置、撮像システム、及び撮像装置の制御方法
JP2017158018A (ja) 画像処理装置およびその制御方法、撮像装置
JP2012220790A (ja) 撮像装置
JP5548761B2 (ja) 撮像装置、撮像システム、及び焦点検出方法
KR20170015158A (ko) 제어장치, 촬상장치, 및 제어방법
JP2014238517A (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP6765829B2 (ja) 画像処理装置、画像処理装置の制御方法、撮像装置
JP2017003674A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2015099218A (ja) 焦点検出装置およびその制御方法、撮像装置、プログラム、記憶媒体
JP2018191304A (ja) 撮像素子および撮像装置
JP2018026604A (ja) 撮像装置および撮像装置システム
JP2016136269A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121214

R151 Written notification of patent or utility model registration

Ref document number: 5161702

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees