JP7414538B2 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP7414538B2
JP7414538B2 JP2020003950A JP2020003950A JP7414538B2 JP 7414538 B2 JP7414538 B2 JP 7414538B2 JP 2020003950 A JP2020003950 A JP 2020003950A JP 2020003950 A JP2020003950 A JP 2020003950A JP 7414538 B2 JP7414538 B2 JP 7414538B2
Authority
JP
Japan
Prior art keywords
signal
ratio
addition signal
gain
average partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020003950A
Other languages
English (en)
Other versions
JP2021110885A5 (ja
JP2021110885A (ja
Inventor
廣輝 中村
寿人 関根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020003950A priority Critical patent/JP7414538B2/ja
Priority to US17/143,420 priority patent/US11431924B2/en
Publication of JP2021110885A publication Critical patent/JP2021110885A/ja
Publication of JP2021110885A5 publication Critical patent/JP2021110885A5/ja
Application granted granted Critical
Publication of JP7414538B2 publication Critical patent/JP7414538B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/571Control of the dynamic range involving a non-linear response
    • H04N25/575Control of the dynamic range involving a non-linear response with a response composed of multiple slopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、撮像装置及びその制御方法に関し、特に、ダイナミックレンジ拡大時の像面位相差方式の焦点検出の技術に関する。
近年、画像のダイナミックレンジを拡張するため、撮像素子から暗い画像と明るい画像を出力して、2枚の画像をハイダイナミックレンジ合成(以下、「HDR合成」と記す。)を行う撮像装置がある。
異なる明るさの画像を出力する撮像素子の一例として、特許文献1には次のような撮像素子が開示されている。すなわち、各画素が2つの光電変換部を有し、各画素から画像信号と焦点検出用信号とを出力可能であって、それぞれの信号に2種類の異なるゲインを画像信号にかけることで、2種類の明るさの4種類の信号を出力する。そして、得られた2種類の明るさの画像信号と焦点検出用信号をそれぞれ合成することでダイナミックレンジを拡大した画像信号と焦点検出用信号とを取得する。また、2種類の明るさの焦点検出信号を用いて、位相差方式による焦点検出(以下、「撮像面位相差AF」と呼ぶ。)行うことが開示されている。
一方、明るさの異なる複数の画像データを用いてオートフォーカスを実施する方法として、特許文献2に次の技術が開示されている。すなわち、複数の画像データそれぞれに基づいてコントラスト方式によりAF評価値を算出し、算出したAF評価値から、複数の画像データの飽和状態に基づいて、オートフォーカスに用いるAF評価値を選択する。
特開2019-186910号公報 特開2018-25597号公報
しかしながら、特許文献1及び2では、2種類の明るさの焦点検出信号の少なくともいずれかに飽和した信号が含まれている場合に関する記載が無く、そのような場合にどのようにすれば撮像面位相差AFにおける飽和した信号の影響を軽減できるか不明であった。
本発明は上記問題点を鑑みてなされたものであり、異なる明るさの焦点検出信号を用いて、飽和した信号の影響を低減した撮像面位相差AFを行うことを目的とする。
上記課題を解決するために、本発明の撮像装置は、 行列状に配置された複数の画素それぞれが複数の光電変換部を有し、前記画素ごとに前記複数の光電変換部から出力される信号を加算した加算信号と、前記複数の光電変換部の一部から出力される部分信号を予め決められた数の画素のグループごとに平均した平均部分信号に対して、第1のゲインを用いて増幅した第1の加算信号および第1の平均部分信号と、第1のゲインと異なる第2のゲインを用いて増幅した第2の加算信号および第2の平均部分信号と、を出力する撮像素子と、前記画素ごとに、前記第1の加算信号と前記第2の加算信号とを、予め決められた第1の割合で合成して第3の加算信号を生成するとともに、前記グループごとに、前記第1の平均部分信号と前記第2の平均部分信号とを、予め決められた第2の割合または第3の割合で合成して第3の平均部分信号を生成する処理手段と、前記第1の加算信号と前記第2の加算信号のいずれかに基づいて、前記画素ごとに前記第1の割合を決定すると共に、前記各グループに含まれる複数の画素の前記第1の割合に基づいて前記第2の割合を決定する決定手段と、前記第3の加算信号および前記第3の平均部分信号を用いて、位相差方式の焦点検出を行う焦点検出手段と、を有し、前記決定手段は、前記第1の加算信号または前記第2の加算信号が飽和している場合に、飽和している前記第1の加算信号または前記第2の加算信号に対応する画素を含むグループの前記第2の割合を、前記第1の割合に基づかない、前記第3の割合に変更することを特徴とする。
本発明によれば、異なる明るさの焦点検出信号を用いて、飽和した信号の影響を低減した撮像面位相差AFを行うことができる。
本発明の実施形態に係る撮像システムの構成を示すブロック図。 実施形態に係る撮像素子の概略構成を示す図。 実施形態に係る撮像素子から出力される信号の概念を表した図。 実施形態に係る位相差検出信号に対する飽和判定情報を説明するための図。 実施形態に係る焦点調節処理のフローチャート。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
図1は、本発明の実施形態に係る撮像システム10のブロック図であり、主に、本体11と、本体11に着脱可能な交換レンズ12から構成される。
交換レンズ12は、複数のレンズ群からなる撮影レンズであり、フォーカスレンズ、ズームレンズ、シフトレンズを内部に備える他、絞りを含む。交換レンズ12は、後述するフォーカス制御部19からの電気信号によってフォーカスレンズの位置を変更することが可能である。
本体11は、撮像素子13、画像処理部14、HDR合成部15、位相差検出部16、映像出力部17、CPU18、フォーカス制御部19、バス20を含む。交換レンズ12や映像出力部17の接続部分は、本体11の表面に露出している。
撮像素子13は、複数の光電変換素子を有する画素が複数、二次元状に配列された構成を有する。撮像素子13は、交換レンズ12により結像された被写体の光学像を各画素で光電変換し、さらに後述するAD回路群104によってアナログ・デジタル変換して、画像信号(RAW画像データ)を出力する。なお、撮像素子13の詳細構成及び動作は図2から図4を参照して後述するが、撮像素子13は、異なるゲイン(低ゲインと高ゲイン)がかけられた2種類の画像信号及び画像信号に対応する2種類の位相差検出用の信号(以下、「位相差検出信号」と呼ぶ。)をRAW画像データとして出力する。
画像処理部14は、撮像素子13に起因するレベル差を補正する。例えば、オプティカルブラック(OB)領域の画素を用いて、有効領域の画素のレベルを補正する他、欠陥画素に対してその周囲の画素を用いた補正を行う。また、周辺光量落ちに対する補正、色補正、輪郭強調、ノイズ除去、ガンマ補正、ゲイン等の各処理を行う。画像処理部14は、撮像素子13から出力されたRAW画像データに対してこれらの処理を行い、補正した画像データを各部へ出力する。
HDR合成部15は、画像処理部14で処理された低ゲインと高ゲインの2つの画像信号を用いて、明るさに応じた比率でダイナミックレンジ拡大合成(HDR合成)を行う。HDR合成部15は、低ゲインと高ゲインの2つの位相差検出信号についても、明るさに応じた比率でHDR合成する。なお、本実施形態におけるHDR合成部15による処理についての詳細は、図5を参照して後述する。
位相差検出部16は、HDR合成部15でHDR合成された画像信号と位相差検出信号とからデフォーカス量を算出して、CPU18へ出力する。CPU18は、位相差検出部16により求められたデフォーカス量に応じて、フォーカス制御部19を介して交換レンズ12を制御することで、焦点調節を行う。
映像出力部17は、HDR合成部15で合成された画像信号を撮像システム10の外部に出力する。CPU18は、上述した焦点調節の他、制御用ソフトウェアに従って撮像システム10の各部を制御する。
以上で説明した各構成要素は、各構成要素間の制御信号やデータ信号のための伝送路である内部バス20と接続されている。
次に、撮像素子13の構成及び読み出し方法について説明する。図2(a)は、本発明の実施形態に係る撮像素子13の構成例を示す図である。
画素領域100には、光電変換用のフォトダイオード等で形成されている複数の単位画素101が行列状に配置されている。単位画素101は位相差検出のために、後述する1つのマイクロレンズ111に対して光電変換部A及び光電変換部Bで構成されており、光電変換部A及び光電変換部Bから得られる画像信号の位相差を求めることで焦点を検出することができる。
図2(b)は、単位画素101の断面を示す概念図であり、1つのマイクロレンズ111の下に、それぞれがフォトダイオードを有する2つの光電変換部A及び光電変換部Bが構成されていることを示している。また、各単位画素101にはカラーフィルタ112が備えられている。一般的には、R(赤)、G(緑)、B(青)の3色のいずれかが各画素に対応するベイヤー配列のRGB原色カラーフィルタであることが多いが、必ずしもこの限りではない。
垂直走査回路102は画素領域100の光電変換部A及び光電変換部Bにそれぞれ蓄積された画素信号を、順次読み出しするためのタイミング制御を行う。一般的に、画素信号は上部の行から下部の行にかけて、行単位で順次読み出される。本実施形態では、各単位画素101から、垂直走査回路102では単位画素101の一部である光電変換部Aの信号(部分信号)である位相差検出信号(A信号)と、光電変換部Aと光電変換部Bの信号を加算した加算信号(A+B信号)とを読み出す制御を行う。このように読み出すことで、A+B信号はそのまま画像信号として用いることができると共に、A+B信号からA信号を減算することでB信号を取得して、一対の位相差検出信号を得、撮像面位相差方式の焦点検出(撮像面位相差AF)を行うことができる。ただし、撮像面位相差AFを行わない場合には、A+B信号のみを読み出すこともできる。
列アンプ群103は、画素領域100の各列に対して構成された、複数の列アンプから成り、画素領域100から読み出された信号を電気的に増幅するために用いられる。列アンプ群103で信号を増幅することにより、後段のAD回路群104で発生するノイズに対して、画素の信号レベルを増幅し、等価的にS/N比を改善させることができる。なお、列アンプ群103は、複数のゲインを用いて信号を増幅可能であり、本実施形態では異なるゲインで増幅された信号をHDR合成部15で合成することで、ダイナミックレンジを拡大する。
AD回路群104は、画素領域100の各列に対して構成された、複数のAD回路から成り、列アンプ群103により増幅された信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、水平転送回路105により順次読み出されて、信号処理部106に入力される。信号処理部106はデジタル的に信号処理を行う回路であり、デジタル処理でFPN補正等のオフセット補正を行う他に、シフト演算や乗算を行うことで、簡易にゲイン演算を行うことができる。各処理を行った後、撮像素子13の外部に出力される。
メモリ107は、画素領域100から読み出され、列アンプ群103、AD回路群104、信号処理部106により処理された、A信号やA+B信号等を一時的に保持しておく機能を持つ。
なお、図2(b)に示す例では、各単位画素101において、1つのマイクロレンズ111に対して2つの光電変換部A及び光電変換部Bを有する構成としているが、光電変換部の数は2つに限定されず、それ以上であってもよい。また、瞳分割方向も水平方向であっても垂直方向であっても良いし、混在していても構わない。また、マイクロレンズ111に対して受光部の開口位置が異なる画素を複数有するようにしてもよい。つまり、結果としてA信号とB信号といった一対の位相差検出信号が得られる構成であればよい。また、本発明は全ての画素が複数の光電変換部を有する構成に限らず、撮像素子13を構成する通常画素内に、図2(b)に示すような画素を離散的に設ける構成であってもよい。また、同じ撮像素子13内において互いに異なる分割方法で分割された複数種類の画素が含まれてもよい。
図3は、撮像素子13から出力されるA+B信号とA信号とを表した図である。図3(a)は高ゲインのA+B信号とA信号を、図3(b)は低ゲインのA+B信号とA信号を表している。撮像素子13からは、8画素を1グループとして、8画素分のA+B信号に対して1画素分のA信号が出力される。この時、A信号は、8画素分のA+B信号に対応するA信号の全てを合算して8で除算した平均値とする。以下の説明において、「A信号」は、各グループのA信号の平均値(平均部分信号)を指すものとする
更に、撮像素子13から出力される位相差検出信号は、A信号以外に飽和判定情報を含んでいる。図4は、撮像素子13から出力されるA信号と、飽和判定情報の生成方法の概念を表した図である。撮像素子13は、各A+B信号に対して飽和判定を実施し、対応する各画素の情報として、飽和していたら1を出力し、飽和していなければ0を出力する。そして、撮像素子13は、対応する8画素の飽和判定結果の論理和を1bitの飽和判定情報として、A信号と共に出力する。
HDR合成部15は、入力されたA+B信号の輝度に応じた割合となるように係数αを決定し、HDR合成を実施する。HDR合成部15は、各画素ごとに、入力された高ゲインA+B信号に係数(1-α)を、低ゲインA+B信号に係数αを乗算した後、加算して出力する。以下、HDR合成されたA+B信号を、「合成A+B信号」と呼ぶ。即ち、このHDR合成は、次の式(1)により表すことができる。
(合成A+B信号)
=(高ゲインA+B信号)×(1-α)+(低ゲインA+B信号)×α …(1)
この時、係数αの値は、A+B信号の輝度の大きさに応じて0~1間でリニアに変化させる。ここでは、係数αは、高ゲインA+B信号または低ゲインA+B信号に基づいて、輝度が高いほど大きくする。
ここで、HDR合成部15が、A信号についても同様に、入力された高ゲインA信号に係数(1-α´)を、低ゲインA信号に係数α´を乗算した後、加算して出力した場合について考える。なお、係数α´の値は、A信号に対応する8画素の係数αの平均値とする。以下、HDR合成されたA信号を、「合成A信号」と呼ぶ。すなわち、このHDR合成は、次の式(2)により表すことができる。
(合成A信号)
=(高ゲインA信号)×(1-α´)+(低ゲインA信号)×α´…(2)
ここで、8画素分の高ゲインA+B信号のうち、1画素のみが飽和し、他の7画素の輝度が低い場合を考える。このとき、対応する高ゲインA信号にも飽和した画素のデータが含まれている。この場合、飽和していない他の7画素の係数αの値は低いので、係数α´の値も低くなり、HDR合成部15で合成される合成A信号には、飽和した画素のデータが含まれている高ゲインA信号の成分が多く含まれることになる。飽和した画素のデータが含まれている合成A信号では、合成A+B信号との相関が取れないので、位相差検出部16で正しくデフォーカス量を算出できない。
そこで本実施形態では、HDR合成部15が高ゲインA信号と低ゲインA信号とをHDR合成する際の係数α´を、A信号の飽和判定情報に基づいて変更する。
次に、図5を用いて、本実施形態に係る像面位相差AFの動作について説明する。図5は本体11の動作について表したフローチャートである。
S100において、撮像素子13は交換レンズ12により結像された被写体光学像を各画素で光電変換する。さらに、AD回路群104によってアナログ・デジタル変換して、高ゲインA+B信号と低ゲインA+B信号と、8画素ごとに1画素分の高ゲインA信号と、低ゲインA信号を出力し、S101に進む。
S101において、画像処理部14は、高ゲインA+B信号と低ゲインA+B信号に対して、有効領域の画素のレベル補正、欠陥画素に対して周囲画素を用いた補正、周辺光量落ちに対する補正、色補正、輪郭強調、ノイズ除去、ガンマ補正を行う。そして、低ゲインA+B信号と低ゲインA信号にゲイン補正をかけて、高ゲインA+B信号と高ゲインA信号にゲインを合わせる。その後、S102へ進む。
S102において、HDR合成部15は、画像処理部14で処理された8画素の高ゲインA+B信号または低ゲインA+B信号の輝度に応じて、合成に使用する係数αを算出する。そして、8画素ごとに8つの係数αを合算し、8で除算した係数α´を算出し、S103へ進む。
S103において、HDR合成部15は、高ゲインA信号の飽和判定情報に基づいて高ゲインA信号が飽和したデータを含んでいるかを判断する。高ゲインA信号が飽和したデータを含んでいる場合はS104へ進み、高ゲインA信号が飽和したデータを含んでいない場合はS105へ進む。
S104において、HDR合成部15は、低ゲインA信号の飽和判定情報に基づいて低ゲインA信号が飽和したデータを含んでいるかを判断する。低ゲインA信号が飽和したデータを含んでいる場合はS106へ進み、低ゲインA信号が飽和したデータを含んでいない場合はS107へ進む。
S106において、高ゲインA信号、低ゲインA信号のどちらも飽和したデータを含んでいるので、HDR合成部15は、S102で算出した係数α´の値を保持し、S110へ進む。
S107では、HDR合成部15は、S102で算出した係数α´の値を1に変更する。S107を実施する場合、高ゲインA信号が飽和したデータを含み、低ゲインA信号は飽和したデータを含んでいない状態なので、合成結果に高ゲインA信号を含まないように、係数α´の値を1に変更し、S110へ進む。
一方、S105では、HDR合成部15は、低ゲインA信号の飽和判定情報に基づいて低ゲインA信号が飽和したデータを含んでいるかを判断する。低ゲインA信号が飽和したデータを含んでいる場合はS108へ進み、低ゲインA信号が飽和したデータを含んでいない場合はS109へ進む。
S108では、高ゲインA信号が飽和したデータを含まず、低ゲインA信号が飽和したデータを含んでいる状態なので、合成結果に低ゲインA信号を含まないように、HDR合成部15は、S102で算出した係数α´の値を0に変更し、S110へ進む。
S109では、高ゲインA信号、低ゲインA信号のどちらも飽和したデータを含んでいない状態なので、HDR合成部15は、S102で算出した係数α´の値を保持し、S110へ進む。
S110において、HDR合成部15は、8画素それぞれについて、低ゲインA+B信号に係数αをかけ、高ゲインA+B信号に係数(1-α)をかけて加算し、合成A+B信号を生成する。また、低ゲインA信号に係数α´をかけ、高ゲインA信号に係数(1-α´)をかけて加算し、合成A信号を生成する。その後、S111へ進む。
S111において、位相差検出部16は、8画素ごとに合成A+B信号から対応する合成A信号をそれぞれ減算してB信号を算出し、算出した8画素分のB信号を合算して8で除した平均値を算出する。以下、この値を「合成B信号」と呼ぶ。
次にS112において、位相差検出部16は、合成A信号と合成B信号を用いて、像面位相差AFによりデフォーカス量を算出する。
S113において、CPU18は、算出されたデフォーカス量から合焦状態であるかを判断する。合焦状態である場合には処理を終了し、合焦状態では無い場合にはS114へ進む。
S114では、フォーカス制御部19は、デフォーカス量に応じて交換レンズ12に含まれるフォーカスレンズの位置を変更し、S100に戻って、上記処理を繰り返す。
上記動作により、高ゲインA+B信号の1画素のみが飽和し、他の7画素の輝度が低いときでも、飽和した画素のデータの影響を受けることなく、位相差検出部16で正しくデフォーカス量を算出し、撮像面位相差AFを実施することができる。
尚、本実施形態では撮像素子13から出力される8画素分のA+B信号に対し、1画素分のA信号を出力するものとしたが、本発明はこれに限られるものでは無い。撮像素子13から出力される映像のフレームレートや1フレーム期間に出力される総画素数に応じて変化させても良い。
さらに、係数α´は、対応する画素の係数αの単純平均値としたが、色ごとの輝度感度に応じて重み付けした平均値としても良い。
<他の実施形態>
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
10:撮像システム、11:本体、12:交換レンズ、13:撮像素子、14: 画像処理部、15:HDR合成部、16:位相差検出部、17:映像出力部、18:CPU、19:フォーカス制御部、20:バス、100:画素領域、101:単位画素、103:列アンプ群、106:信号処理部

Claims (8)

  1. 行列状に配置された複数の画素それぞれが複数の光電変換部を有し、前記画素ごとに前記複数の光電変換部から出力される信号を加算した加算信号と、前記複数の光電変換部の一部から出力される部分信号を予め決められた数の画素のグループごとに平均した平均部分信号に対して、第1のゲインを用いて増幅した第1の加算信号および第1の平均部分信号と、第1のゲインと異なる第2のゲインを用いて増幅した第2の加算信号および第2の平均部分信号と、を出力する撮像素子と、
    前記画素ごとに、前記第1の加算信号と前記第2の加算信号とを、予め決められた第1の割合で合成して第3の加算信号を生成するとともに、前記グループごとに、前記第1の平均部分信号と前記第2の平均部分信号とを、予め決められた第2の割合または第3の割合で合成して第3の平均部分信号を生成する処理手段と、
    前記第1の加算信号と前記第2の加算信号のいずれかに基づいて、前記画素ごとに前記第1の割合を決定すると共に、前記各グループに含まれる複数の画素の前記第1の割合に基づいて前記第2の割合を決定する決定手段と、
    前記第3の加算信号および前記第3の平均部分信号を用いて、位相差方式の焦点検出を行う焦点検出手段と、を有し、
    前記決定手段は、前記第1の加算信号または前記第2の加算信号が飽和している場合に、飽和している前記第1の加算信号または前記第2の加算信号に対応する画素を含むグループの前記第2の割合を、前記第1の割合に基づかない、前記第3の割合に変更することを特徴とする撮像装置。
  2. 前記第2のゲインは、前記第1のゲインよりも小さく、
    前記決定手段は、前記第1の加算信号が飽和している場合に、前記第3の割合を、前記第1の平均部分信号の割合が0となる割合とし、前記第2の加算信号が飽和している場合に、前記第3の割合を、前記第2の平均部分信号の割合が0となる割合とすることを特徴とする請求項1に記載の撮像装置。
  3. 前記決定手段は、前記各グループに含まれる複数の画素の前記第1の割合を平均することにより前記第2の割合を決定することを特徴とする請求項1または2に記載の撮像装置。
  4. 前記複数の画素は、複数の色のカラーフィルタによりそれぞれ覆われ、
    前記決定手段は、前記各グループに含まれる複数の画素の前記第1の割合を、前記カラーフィルタの色ごとの輝度感度に基づいて重み付け平均することにより前記第2の割合を決定することを特徴とする請求項1または2に記載の撮像装置。
  5. 前記決定手段は、前記第1の加算信号または前記第2の加算信号が大きいほど、前記第1の加算信号の割合が大きくなるように前記第1の割合を決定することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 行列状に配置された複数の画素それぞれが複数の光電変換部を有し、前記画素ごとに前記複数の光電変換部から出力される信号を加算した加算信号と、前記複数の光電変換部の一部から出力される部分信号を予め決められた数の画素のグループごとに平均した平均部分信号に対して、第1のゲインを用いて増幅した第1の加算信号および第1の平均部分信号と、第1のゲインと異なる第2のゲインを用いて増幅した第2の加算信号および第2の平均部分信号と、を出力する撮像素子を有する撮像装置の制御方法であって、
    前記画素ごとに、前記第1の加算信号と前記第2の加算信号とを、予め決められた第1の割合で合成して第3の加算信号を生成するとともに、前記グループごとに、前記第1の平均部分信号と前記第2の平均部分信号とを、予め決められた第2の割合または第3の割合で合成して第3の平均部分信号を生成する処理工程と、
    前記第1の加算信号と前記第2の加算信号のいずれかに基づいて、前記画素ごとに前記第1の割合を決定すると共に、前記各グループに含まれる複数の画素の前記第1の割合に基づいて前記第2の割合を決定する第1の決定工程と、
    前記第1の加算信号または前記第2の加算信号が飽和している場合に、飽和している前記第1の加算信号または前記第2の加算信号に対応する画素を含むグループの前記第2の割合を、前記第1の割合に基づかない、前記第3の割合に変更する第2の決定工程と、
    焦点検出手段が、前記第3の加算信号および前記第3の平均部分信号を用いて、位相差方式の焦点検出を行う焦点検出工程と
    を有することを特徴とする撮像装置の制御方法。
  7. コンピュータに、請求項6に記載の制御方法の各工程を実行させるためのプログラム。
  8. 請求項7に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2020003950A 2020-01-14 2020-01-14 撮像装置及びその制御方法 Active JP7414538B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020003950A JP7414538B2 (ja) 2020-01-14 2020-01-14 撮像装置及びその制御方法
US17/143,420 US11431924B2 (en) 2020-01-14 2021-01-07 Image capturing apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020003950A JP7414538B2 (ja) 2020-01-14 2020-01-14 撮像装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2021110885A JP2021110885A (ja) 2021-08-02
JP2021110885A5 JP2021110885A5 (ja) 2023-01-24
JP7414538B2 true JP7414538B2 (ja) 2024-01-16

Family

ID=76763777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020003950A Active JP7414538B2 (ja) 2020-01-14 2020-01-14 撮像装置及びその制御方法

Country Status (2)

Country Link
US (1) US11431924B2 (ja)
JP (1) JP7414538B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023176537A (ja) * 2022-05-31 2023-12-13 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018019296A (ja) 2016-07-28 2018-02-01 キヤノン株式会社 撮像装置およびその制御方法
JP2018025597A (ja) 2016-08-08 2018-02-15 オリンパス株式会社 撮像装置
JP2018191223A (ja) 2017-05-10 2018-11-29 キヤノン株式会社 撮像装置及び撮像素子の制御方法
JP2019186910A (ja) 2018-04-16 2019-10-24 キヤノン株式会社 撮像素子、撮像装置及びその制御方法
JP2019193150A (ja) 2018-04-26 2019-10-31 キヤノン株式会社 撮像素子およびその制御方法、撮像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102948152B (zh) * 2010-06-22 2015-09-16 富士胶片株式会社 成像设备和成像方法
WO2014099320A1 (en) * 2012-12-17 2014-06-26 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018019296A (ja) 2016-07-28 2018-02-01 キヤノン株式会社 撮像装置およびその制御方法
JP2018025597A (ja) 2016-08-08 2018-02-15 オリンパス株式会社 撮像装置
JP2018191223A (ja) 2017-05-10 2018-11-29 キヤノン株式会社 撮像装置及び撮像素子の制御方法
JP2019186910A (ja) 2018-04-16 2019-10-24 キヤノン株式会社 撮像素子、撮像装置及びその制御方法
JP2019193150A (ja) 2018-04-26 2019-10-31 キヤノン株式会社 撮像素子およびその制御方法、撮像装置

Also Published As

Publication number Publication date
US11431924B2 (en) 2022-08-30
JP2021110885A (ja) 2021-08-02
US20210218911A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
JP4161295B2 (ja) 画像センサのダイナミックレンジを拡大するカラー画像撮像システム
JP3824237B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US6526181B1 (en) Apparatus and method for eliminating imaging sensor line noise
US8089533B2 (en) Fixed pattern noise removal circuit, fixed pattern noise removal method, program, and image pickup apparatus
US9838625B2 (en) Image processing apparatus and control method for image processing apparatus for controlling correction of a black level in a combined image signal
JP6312487B2 (ja) 画像処理装置及びその制御方法、並びに、プログラム
KR101536060B1 (ko) 고체 촬상 장치 및 카메라 모듈
JP5523802B2 (ja) 画像処理装置
US8792025B2 (en) Image processing apparatus, image processing method, and solid-state imaging apparatus
JP6418785B2 (ja) 撮像素子、その制御方法、および制御プログラム、並びに信号処理装置
KR20080078044A (ko) 이미지 노이즈를 감소시키는 방법 및 장치
JP2018196083A (ja) 画像処理装置
US11830890B2 (en) Image sensor, image capturing apparatus and image processing apparatus
KR101639664B1 (ko) 촬상장치 및 촬상방법
US20030184673A1 (en) Automatic exposure control for digital imaging
JP7332302B2 (ja) 撮像装置及びその制御方法
JP7414538B2 (ja) 撮像装置及びその制御方法
EP1484928A2 (en) Imaging device
JP4719442B2 (ja) 画像信号処理回路、カメラ、及び画像信号処理方法
JP2008252397A (ja) 撮像データの処理方法及び撮像装置
JP7236282B2 (ja) 画像処理装置及び方法、及び撮像装置
JP2006041687A (ja) 画像処理装置、画像処理方法、画像処理プログラム、電子カメラ、及びスキャナ
JP2021110885A5 (ja)
JP4833669B2 (ja) 撮像装置およびその信号処理方法
JP2006319827A (ja) 固体撮像装置および画像補正方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231228

R151 Written notification of patent or utility model registration

Ref document number: 7414538

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151