JP7397626B2 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP7397626B2
JP7397626B2 JP2019197648A JP2019197648A JP7397626B2 JP 7397626 B2 JP7397626 B2 JP 7397626B2 JP 2019197648 A JP2019197648 A JP 2019197648A JP 2019197648 A JP2019197648 A JP 2019197648A JP 7397626 B2 JP7397626 B2 JP 7397626B2
Authority
JP
Japan
Prior art keywords
focus detection
image sensor
pixels
imaging device
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019197648A
Other languages
English (en)
Other versions
JP2021071573A5 (ja
JP2021071573A (ja
Inventor
潤一 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019197648A priority Critical patent/JP7397626B2/ja
Priority to US17/082,846 priority patent/US11496665B2/en
Publication of JP2021071573A publication Critical patent/JP2021071573A/ja
Publication of JP2021071573A5 publication Critical patent/JP2021071573A5/ja
Application granted granted Critical
Publication of JP7397626B2 publication Critical patent/JP7397626B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets

Description

本発明は、撮像装置及びその制御方法に関する。
従来、CCDやCMOS等の撮像素子の入射面側に光学ローパスフィルタを配置することにより、折り返し歪みを緩和する技術が知られている。
図8は、一般的に撮像素子で取得される画像の空間周波数とその応答特性を模式的に示した図である。図8において、横軸は、サンプリング周波数(画素間隔)を1としたときの画像の空間周波数を、縦軸はその応答を示す。実線は、撮像素子で得られる画像の応答特性を示している。ここで示す応答特性は、被写体光を撮像素子上に結像するための撮影光学系の光学特性としてのMTF特性も加味しているため、サンプリング周波数である1に向かって右肩下がりの応答特性となっている。
光学ローパスフィルタを配置していない場合、画素開口と撮影光学系によるローパスフィルタ効果のみとなり、例えば周波数Fのような比較的高い周波数も応答が大きくなる。この周波数Fにおける応答は、サンプリング定理から、ナイキスト周波数0.5を中心に折り返され、周波数Fでの応答のように誤って認識されてしまうことが知られている。焦点検出のために位相差を算出する際に、この周波数Fのような帯域を抽出している場合、この折り返りの影響が無視できず、場合によっては大きな誤検出を招くこととなってしまう。そのため、従来は、ナイキスト周波数よりも高域での応答を点線のように小さくするように、光学ローパスフィルタを配置することが一般的である。
一方、デジタルカメラなどの撮像装置において、CMOSセンサなどの撮像素子や撮影光学系の一部の光学素子を光軸に対して直交する方向に移動させることで、装置に加わる振れの影響を補正する手振れ補正技術が多く開示されている。
特許文献1には、この手振れ補正技術のための機構を活かして、撮像中に所定の駆動を行うことで光学的なローパスフィルタに相当する効果を得る振動型ローパスフィルタについての技術が開示されている。特許文献1では、露光動作期間中に少なくとも2周期以上、振動型ローパスフィルタを撮像素子の水平方向、垂直方向に0から数画素分の微小量を駆動して、得られる画像データの解像度を調整することが開示されている。この露光動作期間中の振動型ローパスフィルタによって、撮影される画像へのモアレの影響などが排除され、適切な光学ローパスフィルタ効果を得ることができる。
被写体の高空間周波数成分の折り返しが悪影響を与えるのは、記録に用いられる画像だけでなく、撮影準備状態で焦点検出に用いられる画像に対しても同様である。そのため、焦点検出用画素から得られる信号間の位相差情報から焦点検出を行う撮像面位相差方式や、ライブビュー画像のコントラスト評価結果から焦点検出を行うコントラスト方式の焦点検出処理においても、振動型ローパスフィルタの効果を同様に得ることができる。
特開2012-209968号公報
しかしながら、特許文献1に記載された駆動方法には、以下のような課題がある。焦点検出を行うために得られる画像のフレームレートは、焦点検出の高速化のために近年大幅に高速化されており、そのフレームレートに応じて振動型ローパスフィルタの周波数を上げる必要がある。このように、焦点検出周期が短くなるにつれて、より高速に撮像素子を高速に往復動作させることとなる。しかしながら、手振れ補正機構を活かした振動型ローパスフィルタの場合、振動の周波数を上げるのには限界がある。また、撮像素子の高速な往復動作は、不快な音や振動の発生につながるだけでなく、フレームレートによっては撮像素子の往復動作で応答できない帯域となり、得たいローパスフィルタ効果が得られなくなってしまうおそれがある。
本発明は上記問題点を鑑みてなされたものであり、フレームレートが高い場合にも、振れ補正機構を利用して、適切なローパスフィルタ効果が得られるようにすることを目的とする。
上記目的を達するために、本発明の撮像装置は、撮影光学系を介して入射する光束に基づいて、焦点検出信号を出力する複数の画素が配列された撮像素子と、前記撮像素子における前記光束の入射位置をシフトさせるシフト手段と、前記焦点検出信号に基づいて焦点検出を行う焦点検出手段と、を有し、前記シフト手段は、前記焦点検出信号を取得するための前記撮像素子の連続する複数回の電荷蓄積時間の各電荷蓄積時間の間に、予め決められた方向に、前記焦点検出信号に対応する前記撮像素子の画素の間隔以下の予め決められた距離をシフトさせることを特徴とする。
本発明によれば、フレームレートが高い場合にも、振れ補正機構を利用して、適切なローパスフィルタ効果を得ることができる。
本発明の実施形態における撮像システムの中央断面図および概略構成を示すブロック図。 第1の実施形態における画素の配列の一例を示す平面図。 第1の実施形態における振動型ローパスフィルタの周期駆動制御の一例を示す模式図。 第1の実施形態の変形例1における振動型ローパスフィルタの周期駆動制御の一例を示す模式図。 第1の実施形態の変形例2における振動型ローパスフィルタの周期駆動制御の一例を示す模式図。 第1の実施形態の変形例3におけるマスクを利用した画素の配列の一例を示す平面図。 第1の実施形態の変形例3における振動型ローパスフィルタの周期駆動制御の一例を示す模式図。 従来の撮像素子の空間周波数についての応答特性を示す模式図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
<第1の実施形態>
図1は、本発明の第1の実施形態に係る像振れ補正装置を含む撮像システム100の構成を示す図であり、図1(a)は本発明の撮像システム100の中央断面図、図1(b)は概略構成を示すブロック図である。
図1(a)に示すように、本発明の撮像システム100は、カメラボディ1と、カメラボディ1に着脱可能なレンズユニット2から成る。レンズユニット2は、防振レンズユニット19を含む複数のレンズからなる撮影光学系3を有する。なお、点線4は、撮影光学系3の光軸を示している。また、カメラボディ1は、撮像素子6及び、表示装置10の一部を構成する、EVFとも呼ばれる電子ビューファインダー10aを包含する。カメラボディ1とレンズユニット2は、電気接点14を介して通信可能に接続される。
図1(b)は、撮像システム100の概略構成を示すブロック図である。カメラボディ1およびレンズユニット2からなる撮像システム100は、大きく分けて、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系3、撮像素子6を含み、画像処理系は、画像処理部7、焦点検出部11を含む。また、記録再生系は、メモリ8、表示装置10を含み、制御系は、カメラシステム制御部5、カメラ操作部9、焦点検出部11、レンズシステム制御部15、レンズ振れ補正部18、焦点調節部22を含む。
レンズユニット2は、図1(a)に示す構成に加えて、更に、レンズシステム制御部15、防振レンズユニット19を駆動させて像振れを補正するレンズ振れ補正部18、レンズ振れ検出部20を含む。また、撮影光学系3に含まれるフォーカスレンズを駆動する焦点調節部22を含む。
本実施形態では、レンズ振れ検出部20はコリオリ力を利用した振動ジャイロを用いるものとし、レンズユニット2に加わる回転振れを検知する。レンズ振れ検出部20は、ユーザの手振れ等により生じたレンズユニット2の振れを検出して、該レンズ振れを表すレンズ振れ検出信号をレンズシステム制御部15に出力する。レンズシステム制御部15は、レンズ振れ検出信号を用いてレンズ振れによる像振れを低減(相殺)するための防振レンズユニット19のシフト量(補正量)を演算し、該シフト量を含む防振指示をレンズ振れ補正部18に出力する。レンズ振れ補正部18は、レンズシステム制御部15からの防振指示に基づいて防振レンズユニット19の移動を制御する。具体的には、防振指示に応じてシフト機構に含まれるアクチュエータを制御することで、算出したシフト量だけ防振レンズユニット19を駆動することにより、レンズ防振が行われる。
レンズシステム制御部15は、上述した防振制御の他にも、焦点調節部22を介して不図示のフォーカスレンズを駆動したり、不図示の絞り機構やズームレンズ等の駆動制御することが可能である。
カメラボディ1は、図1(a)に示す構成に加えて、更に、カメラシステム制御部5、画像処理部7、メモリ8、カメラ操作部9、表示装置10、焦点検出部11、カメラ振れ補正部12、カメラ振れ検出部13を有する。表示装置10は、電子ビューファインダー10aの他に、不図示の背面表示装置やカメラボディ1の上面に設けられた撮影情報を表示する不図示の小型表示パネルを包含する。
図2は、本実施形態における撮像素子6の画素配列の一例を示す図であり、撮像素子6として用いられる2次元CMOSセンサの画素配列を、撮像画素の4列×4行の範囲で示したものである。
本実施形態において、画素群200は2列×2行の画素からなり、ベイヤー配列のカラーフィルタにより覆われているものとする。そして、各画素群200において、R(赤)の分光感度を有する画素200Rが左上の位置に、G(緑)の分光感度を有する画素200Gが右上と左下の位置に、B(青)の分光感度を有する画素200Bが右下の位置に配置されている。さらに、本実施形態の撮像素子6は、撮像面位相差方式の焦点検出を行うために、各画素は、1つのマイクロレンズ215に対し、複数のフォトダイオード(光電変換部)を有している。本実施形態では、各画素、2列×1行に配列された2つのフォトダイオード211,212により構成されているものとする。以下、このような構成を有する画素を「焦点検出画素」と呼ぶ。
撮像素子6は、図2に示す2列×2行の焦点検出画素(4列×2行のフォトダイオード)からなる画素群200を撮像面上に多数配置することで、撮像信号及び焦点検出信号の取得を可能としている。
このような構成を有する各焦点検出画素では、異なる瞳領域を通過した光束をマイクロレンズ215で分離し、フォトダイオード211,212に結像する。そして、2つのフォトダイオード211,212からの信号を加算した信号(A+B信号)を撮像信号、個々のフォトダイオード211,212からそれぞれ読み出した2つの信号(A信号、B信号)を焦点検出信号対として用いる。なお、撮像信号と焦点検出信号とをそれぞれ読み出してもよいが、処理負荷を考慮して、次のようにしてもよい。即ち、撮像信号(A+B信号)と、フォトダイオード211,212のいずれか一方の焦点検出信号(例えばA信号)とを読み出し、差分を取ることで、視差を有するもう一方の焦点検出信号(例えばB信号)を取得する。
そして、複数の画素から出力された複数のA信号と複数のB信号をそれぞれ集めることで、撮像面位相差検出方式によるAFに用いられる一対の像信号(A像信号、B像信号)を得る。そして、該一対の像信号の相対位置をずらしながら重ね合わせ、各ずらし位置において、例えば、波形の差異部分の面積量(相関量)を求める相関演算を行う。この相関量がもっとも小さくなるずらし位置、即ち、最も相関が取れているずれ量である位相差(以下、「像ずれ量」という。)を求め、さらに算出した像ずれ量から撮影光学系のデフォーカス量及びデフォーカス方向を算出する。
このような構造の撮像素子6を用いることで、リアルタイムに撮像素子6が受光して、被写体像を観察することのできるライブビュー撮影が行えると共に、被写体光線の分割機構無しに、位相差方式の焦点検出が可能となる。
上記構成を有する撮像素子6は、撮影光学系3を介して入射する被写体からの光を光電変換処理により電気信号に変換して出力し、画像処理部7に入力される。
画像処理部7は、内部にA/D変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成することができる。色補間処理回路も画像処理部7に備えられており、ベイヤ配列の信号から色補間(デモザイキング)処理を施してカラー画像を生成する。また、画像処理部7は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。画像処理部7はこのような撮像のための処理だけでなく、焦点検出部11と連携して焦点検出画素からの画素信号を処理する、いわゆる焦点検出処理を撮影と撮影の間に行う。
焦点検出部11は、画像処理部7と連携し、撮像素子6に含まれる焦点検出画素からの出力に基づいて、光学像の位相差を検出し、公知の手法によりデフォーカス量に換算する。カメラシステム制御部5は、焦点検出部11から出力されたデフォーカス量に基づいて、レンズシステム制御部15に焦点調節情報を送信し、レンズシステム制御部15は焦点調節部22を介してフォーカスレンズを光軸4の方向に駆動する。
また、カメラシステム制御部5は、画像処理部7により得られた画像データを用いて所定の演算処理を行うことで、適正露光量を取得し、これに基づいて、撮影光学系3に含まれる絞り及び撮像素子6の露光時間を制御する。このように、適切に撮影光学系3を調整することで、適切な光量の被写体光で撮像素子6を露光するとともに、撮像素子6近傍で被写体像が結像される。
カメラ振れ検出部13は、本実施形態ではコリオリ力を利用した振動ジャイロを用いるものとし、カメラボディ1に加わる回転振れを検知する。カメラ振れ検出部13は、ユーザの手振れ等により生じたカメラボディ1の振れ(以下、「カメラ振れ」という。)を検出して、該カメラ振れを表すカメラ振れ検出信号をカメラシステム制御部5に出力する。カメラシステム制御部5は、カメラ振れ検出信号からカメラ振れによる像振れを低減(相殺)するための撮像素子6のシフト量(補正量)を演算し、該シフト量を含む防振指示をカメラ振れ補正部12に出力する。カメラ振れ補正部12は、カメラシステム制御部5からの防振指示に応じてシフト機構に含まれるアクチュエータを制御することで、撮像素子6を光軸4と直交する面内で上記シフト量だけシフト駆動する。これにより、センサ防振が行われる。
また、カメラ振れ補正部12は、手振れの補正制御だけでなく、被写体の高空間周波数成分の折り返りによって生じるモアレの影響を軽減するように、カメラシステム制御部5の制御に基づいて撮像素子6を周期駆動制御する。これにより、本実施形態における振動型ローパスフィルタとしての機能を実現する。
次に、本実施形態における振動型ローパスフィルタの周期駆動制御について説明する。本実施形態においては、図3に示す周期駆動制御をカメラ振れ補正部12が撮像素子6に対して行う。
図3は、本実施形態における、光学ローパスフィルタ効果を得るための撮像素子6の駆動方法について説明した図である。図3の上部には、撮像素子6を構成する画素のうち、ベイヤ配列のR(赤)G(緑)行の一部を示している。また、説明の簡略化のために、水平方向へシフトする場合を示している。画素の左側のフォトダイオードに対応する領域を便宜的にA領域、画素の右側のフォトダイオードに対応する領域を便宜的にB領域とし、R画素及びG画素のA領域をそれぞれRA及びGA、R画素及びG画素のB領域をそれぞれRB及びGBとして示している。
図3の下部は、▼で示したGA画素の位置の時間変化を示したもので、縦軸は時間経過を下向きで表しており、横軸は位置を示している。時間方向の点線は、垂直同期期間すなわち焦点検出周期TAFを示しており、焦点検出処理はこの焦点検出周期TAFの時間内に1度実施される。また、位置の方向の一点鎖線は、焦点検出画素の間隔dAFを表している。図3に示すGA画素の位置の変化は、撮像素子6を水平方向に移動することで実現することができる。
このように、焦点検出期間TAFの間に、1焦点検出画素の間隔dAF分、位相差を検出する方向に撮像素子6を移動させることで、ナイキスト周波数よりも高い帯域については、ほぼ通過しない様にすることができる。そのため、焦点状態の誤検出を防止することが可能となる。
また、2焦点検出周期TAFをかけて撮像素子6を往復駆動制御するため、不要な音や振動の発生を抑えることができると共に、より高いフレームレートに対応することが可能となる。また、不要な消費電力の増大を防ぐことができる。
なお、本実施形態においては、カメラ振れ補正部12が撮像素子6のシフト駆動制御を行う場合について説明したが、本発明はこれに限られるものでは無く、レンズ振れ補正部18が防振レンズユニット19を駆動することにより行ってもよい。
即ち、撮像素子6上における光束の入射位置をシフトできる構成であれば良い。
また、本実施形態においては、カメラ振れ補正部12は周期駆動制御のみを実施している状態で説明を行ったが、カメラに加わる手振れを補正する、公知の手振れ補正駆動を重畳して行っても同様の効果を得ることができる。
<変形例1>
図4は、撮像素子6を振動型ローパスフィルタとして使用する場合の他のシフト駆動例を示す。
なお、図4において、GA、GB、RA、RB、及び縦軸、横軸は、上述した図3と同様であるため、説明を省略する。また、図4において、実線は、変形例1におけるカメラ振れ補正部12の駆動制御の様子を示したものである。点線は図3に示した駆動制御であり、比較参照するために記している。
図4の実線に示す通り、カメラ振れ補正部12の周期駆動制御は、図3に示す周期駆動制御(点線)よりも大きな振幅で、1焦点検出周期TAF内におおよそ焦点検出画素間の間隔dAF分の距離を焦点検出画素の配列方向(図4の左右方向)に駆動制御を行う。
なお、図4では、1焦点検出周期TAF内におおよそ焦点検出画素間の間隔dAF分の距離を焦点検出画素の配列方向に駆動制御したが、実際には、焦点検出のための電荷蓄積時間も考慮する必要がある。すなわち、図4のような駆動制御は、1焦点検出周期TAFと焦点検出のための電荷蓄積時間τが等価である条件を示したものであり、τ<TAFとなる条件においては、駆動周波数も高くする必要がある。これらのような条件で周期駆動制御を行うことによって、図3に示した様な周期駆動制御で発生する恐れのある振動や音を抑制することができるとともに、フレームレート高速化による焦点検出周期TAFの短縮にも対応可能となる。また、ライブビューの各フレームに対して、図8に示した光学ローパスフィルタと同様の効果が得られる。
なお、この図4に示す周期駆動制御を行うことで、取得画像において、3つの焦点検出画素の距離(=3×dAF分(焦点検出画素の間隔の複数倍)の移動が、3焦点検出周期の間に発生することになる。しかしながら、撮像素子6は焦点検出を実施する期間、すなわちライブビュー期間については、読み出しの際に水平方向に同色の3画素を加算する処理を施しているため、ライブビュー画像上は周期駆動の影響が表出しない。そのため、電子ビューファインダー10aなどの表示装置10に対して表示位置の変更等、別段の処理を行わずとも良い。
なお、図4で示す周期駆動制御において駆動される撮像素子6の速度を第1の速度とした場合、カメラ振れ補正部12の可動部の重量によっては、第1の速度で駆動しても消費電力が大き過ぎる場合や、第1の速度による駆動を実現することができない場合がある。その場合には、予め可動部の重量から実現することが可能な最大速度(これを第2の速度とする。)を規定しておき、第1の速度が第2の速度よりも大きい場合には、第2の速度以下での駆動制御を行う様に制御する。
<変形例2>
図5は、撮像素子6を振動型ローパスフィルタとして使用する場合の他のシフト駆動例を示す。
図5に示す周期駆動制御は、周期が図4よりも長いことが特徴となっている。図5のような周期駆動制御の場合も、焦点検出周期TAF内で撮像素子6が移動する距離は、図4と同様に焦点検出画素の間隔dAFであるため、同様に光学ローパスフィルタと同様の効果が得られる。一方で、周期駆動制御の振幅が図4よりも大きいため、電子ビューファインダー10aなどの表示装置10上でのライブビュー画像の表示が徐々に移動してしまう。そのため、カメラシステム制御部5は、表示装置10上の表示位置が移動しないように、周期駆動制御とは逆方向に表示されるよう、表示制御を行う。
上述した変形例1及び変形例2によれば、不要な音や振動の発生を抑えることができると共に、更に高いフレームレートに対応することが可能となると共に、不要な消費電力の増大を防ぐことができる。
なお、変形例1及び変形例2で説明した図4及び図5では、周期駆動制御はどちらも同じ方向(グラフの右方向)に移動するように開始されている。この方向については、像振れ補正の被駆動部材である撮像素子6や防振レンズユニット19が、前述のように重畳された像振れ補正のための駆動によって発生している位置の偏りに応じて変更するとよい。例えば、カメラ振れ補正部12で撮像素子6が図4の右方向にすでに偏って位置する際には、周期駆動制御を左方向に駆動するところから開始する。このように駆動方向を制御することで、撮像素子6の振幅中心位置をなるべく光軸4に近づけることができ、撮像素子6の駆動可能範囲をバランスよく利用することが可能になる。
また、図3~図5において、焦点検出周期TAF内で撮像素子6が移動する距離は、ともに焦点検出画素間の間隔dAFであったが、本発明はこれに限られるものでは無い。例えば、撮像装置として折り返りを抑制したい空間周波数に応じて適切な距離だけ移動するように駆動制御すればよい。たとえばdAFよりも小さい値に設定すると、図8における実線はナイキスト周波数よりも高い周波数で0となる。この場合、ナイキスト周波数以上の周波数で得られる応答は、ナイキスト周波数未満の領域に折り返りを生じるが、焦点検出したい空間周波数帯域に影響がないのであれば、焦点検出そのものに与える影響はないため、問題とならない。いずれの場合にも、焦点検出周期TAF内で撮像素子6が移動する距離は、焦点検出画素間の間隔dAFを基準として規定される値焦点検出画素の間隔以下の値)と考えることができる。
また、図3~図5では、焦点検出画素が射出瞳のA領域とB領域の光束を受光する前提で説明しているが、本発明の撮像素子6の構成は図2に示すものに限定されるものではない。撮影光学系の互いに異なる瞳領域を通過した被写体光に基づいて、視差を有する焦点検出信号対を取得可能に信号を出力する焦点検出画素を含む構成であれば良い。
例えばA領域とB領域の配列方向と直交する方向(図4及び図5における上下方向)に焦点検出画素が配置されていてもよい。この場合は、周期駆動制御される方向も図4及び図5の駆動方向とは直交する方向に駆動する必要がある。また、焦点検出画素が一つの撮像画素内に田の字型に4つ配置されているような場合、周期駆動制御される方向が斜め45度方向とすることで、上述した実施形態と同様の効果を得ることができる。
<変形例3>
第1の実施形態の撮像システム100においては、撮像画素のすべての光電変換部が焦点検出画素となっていたが、これには限定されず、焦点検出画素が離散配置されていてもよい。この場合、焦点検出画素の間隔は撮像画素の間隔とは異なった値となる。この場合の制御について、図6及び図7を用いて説明する。
図6は、撮像素子6の画素配列の更に別の一例を示したものである。図6において、500は、撮像画像を形成するための撮像画素であり、501,502は画素内に、例えば特開2009-244862号公報に記された公開技術等を利用して遮光構造が配された焦点検出画素である。第1焦点検出画素501と第2焦点検出画素502は対を成し、撮像面位相差方式の焦点検出に用いる焦点検出信号対を出力する。この焦点検出信号対は、y方向の縦縞パターンの被写体のピント位置を検出するのに適している。なお、同様に、上下方向に異なる遮光構造を有する、対を為す焦点検出画素を設けても良い。その場合、この焦点検出信号対は、x方向の横縞パターンの被写体のピント位置を検出するのに適している。
図7は、焦点検出画素が離散配置されている場合における撮像素子6の周期駆動制御を説明する概略図である。なお、図7では画素の配置とカメラ振れ補正部12で駆動する速度の関係について説明するため、一方の射出瞳領域を通過する光束を受光する画素のみを図示した。
図7に示す例の場合、焦点検出画素は同色(G)画素位置に配置されているため、撮像画素でいう2画素間隔で配置されていることとなる。このような配置であっても図8における実線のような応答を得るためには、離散的に配置されている焦点検出画素の間隔dAFだけ駆動する必要がある。図中の点線は、図3の概念を念頭に、離散的に配置された焦点検出画素に対して同様な周期駆動を行ったことを示しているが、隣接画素間に配置されている図4及び図5と異なり、より高速な往復動作が要求される。そこで、実線のような周期駆動を行う。すなわち、離散的に配置された焦点検出画素の場合には、第1の実施形態よりもより振幅の大きい周期駆動制御を行う。
このように振幅の大きい周期駆動制御を行うことで、焦点検出画素が離散的に配置されている場合にも、上述した実施形態と同様の効果を得ることができる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。なお、第2の実施形態における撮像システム100の構成は、図1を参照して説明したものと同様であるため、ここでは説明を省略する。ただし、第2の実施形態における撮像素子6は、第1の実施形態で説明した構成と異なり、焦点検出画素群を有さない。代わりに第2の実施形態においては、撮像システム100は、いわゆるコントラスト方式のAFを行う。即ち、焦点検出部11は、撮影光学系3の焦点状態を変更しながら撮像素子6から得られる画素信号のコントラスト情報を取得し、コントラストが最大となった時のフォーカスレンズの位置を検出する。そして、検出したフォーカスレンズの位置となるように、カメラシステム制御部5、レンズシステム制御部15を介して焦点調節部22によりフォーカスレンズを駆動制御する。
コントラストAF方式の場合であっても、空間周波数の高い被写体を撮像画素でサンプリングするため、ナイキスト周波数を境とした折り返り現象が発生する。このため、焦点状態を変更しながら合焦近傍に到達した際、低周波信号の影響でコントラストが低下したと誤判定されてしまう。この場合も、第1の実施形態及び変形例1、2で実施した周期駆動制御が有効である。この際、周期駆動の方向は、コントラストを検出する方向である必要がある。
一般に、撮像素子6の読み出し方向についてコントラストを検出することが多く、その場合には読み出し方向に周期駆動を行うよう駆動制御がなされる。しかしながら、被写体の種類によっては、読み出し方向とは直交する方向についてコントラストを検出することもあり、その場合には、コントラストを検出する方向に周期駆動を行うよう駆動制御がなされる。
また、焦点検出に利用するライブビュー画像は、読み出し方向には同色加算処理、読み出し直交方向には間引き処理等のダウンサンプリング処理が行われている。このため、特に間引き処理がなされる読み出し直交方向での焦点検出にあたっては、焦点検出に用いられる画素の間隔が広く、その間隔を元に周期駆動制御を行う必要がある。これはちょうど第1の実施形態の図7と同様の駆動制御となる。
なお、同色加算処理を行う読み出し方向については、加算前の画像信号で折り返り現象が発生しないよう、図3から図5のいずれかと同様な駆動制御を行うことと、加算後の画像信号での折り返りを抑制するために図7と同様の駆動制御を行うことが考えられる。これらは焦点検出の際に重視する被写体の空間周波数及びそのために実施する特定帯域の抽出(フィルタ)処理に応じて決めればよい。この周期駆動方向以外に、駆動周波数、駆動開始時の駆動方向、周期駆動に伴う表示位置の制御、手振れ補正駆動の重畳などを実施するが、これらについては第1の実施形態と同様であるため、説明を割愛する。
以上のように第2の実施形態によれば、コントラスト方式のAFを行う撮像装置においても、上述した実施形態と同様の効果を得ることができる。
なお、上述した第1乃至第2の実施形態においては、レンズ交換式のデジタルカメラ(いわゆる一眼カメラ)を用いて説明を行ったが、本発明はこれに限定されず、レンズ固定式のデジタルカメラ(いわゆるコンパクトデジタルカメラ)であっても構わない。
また、焦点検出動作が静止画、動画いずれのためであるかは特に言及していないが、これによる制限を受けるものではなく、高周波な被写体が存在する場合に、周期駆動制御が実施されれば、静止画撮影前動作であっても動画撮影中の焦点検出であっても構わない。
<他の実施形態>
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
1:カメラボディ、2:レンズユニット、3:撮影光学系、5:カメラシステム制御部、7:画像処理部、11:焦点検出部、12:カメラ振れ補正部、15:レンズシステム制御部、18:レンズ振れ補正部、19:防振レンズユニット、22:焦点調節部、100:撮像システム

Claims (16)

  1. 撮影光学系を介して入射する光束に基づいて、焦点検出信号を出力する複数の画素が配列された撮像素子と、
    前記撮像素子における前記光束の入射位置をシフトさせるシフト手段と、
    記焦点検出信号に基づいて焦点検出を行う焦点検出手段と、を有し、
    前記シフト手段は、前記焦点検出信号を取得するための前記撮像素子の連続する複数回の電荷蓄積時間の各電荷蓄積時間の間に、予め決められた方向に、前記焦点検出信号に対応する前記撮像素子の画素の間隔以下の予め決められた距離をシフトさせることを特徴とする撮像装置。
  2. 前記シフト手段は、前記撮像素子を前記撮影光学系の光軸に対して直交する面上で移動させることを特徴とする請求項1に記載の撮像装置。
  3. 前記シフト手段は、前記撮影光学系に含まれる防振レンズを前記撮影光学系の光軸に対して直交する面上で移動させることを特徴とする請求項1に記載の撮像装置。
  4. 前記撮像素子の各画素は、1つのマイクロレンズと複数の光電変換部とを有することを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。
  5. 前記各画素は、前記撮影光学系の互いに異なる瞳領域を通過した光束に基づいて、視差を有する一対の焦点検出信号を取得可能に信号を出力し、
    前記焦点検出手段は、前記一対の焦点検出信号を用いて位相差方式の焦点検出を行うことを特徴とする請求項4に記載の撮像装置。
  6. 前記複数の画素は、離散的に配置された、第1の部分が遮光された複数の第1の焦点検出画素と、前記第1の部分と異なる第2の部分が遮光された複数の第2の焦点検出画素を有することを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。
  7. 前記複数の第1の焦点検出画素と前記複数の第2の焦点検出画素は、それぞれ、前記撮影光学系の互いに異なる瞳領域を通過した光束に基づいて、視差を有する一対の焦点検出信号を出力し、
    前記焦点検出手段は、前記一対の焦点検出信号を用いて位相差方式の焦点検出を行うことを特徴とする請求項6に記載の撮像装置。
  8. 前記焦点検出手段は、前記複数の画素から読み出された信号のコントラストに基づいて焦点検出を行うことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  9. 前記シフト手段によりシフトされる前記光束の入射位置の最大速度は、前記光束の入射位置をシフトさせるための部材の重量により規定されることを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。
  10. 振れを検出する検出手段と、
    前記検出された振れを相殺するように前記撮像素子における前記光束の入射位置をシフトさせる補正量を算出する算出手段と、を更に有し、
    前記シフト手段は、前記距離に前記補正量を重畳した値に基づいて、前記光束の入射位置をシフトさせることを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。
  11. 前記シフト手段によりシフトされる前記距離の方向は、前記算出手段により算出された補正量に基づく前記光束の入射位置の偏りの方向と逆の方向であることを特徴とする請求項10に記載の撮像装置。
  12. 前記撮像素子から得られる信号に基づく画像を表示手段に表示するように制御する表示制御手段を更に有し、
    前記表示制御手段は、前記シフト手段による前記光束の入射位置のシフトによって生じる被写体像の移動を打ち消す方向に画像の表示位置を移動しながら表示制御することを特徴とする請求項1乃至11のいずれか1項に記載の撮像装置。
  13. 前記撮影光学系を含むことを特徴とする請求項1乃至12のいずれか1項に記載の撮像装置。
  14. 前記撮影光学系は、前記撮像装置に着脱可能であることを特徴とする請求項1乃至12のいずれか1項に記載の撮像装置。
  15. 前記予め決められた距離は、前記撮像素子の画素の間隔以下の距離であり、
    前記シフト手段は、前記焦点検出信号を取得するための前記撮像素子の1回の電荷蓄積時間の間に、前記撮像素子の画素の間隔以下の前記予め決められた距離をシフトさせることを特徴とする請求項1乃至14のいずれか1項に記載の撮像装置。
  16. 撮影光学系を介して入射する光束に基づいて、焦点検出信号を出力する複数の画素が配列された撮像素子と、前記撮像素子における前記光束の入射位置をシフトさせるシフト手段と、前記焦点検出信号に基づいて焦点検出を行う焦点検出手段と、を有する撮像装置の制御方法であって、
    前記シフト手段が、前記焦点検出信号を取得するための前記撮像素子の連続する複数回の電荷蓄積時間の各電荷蓄積時間の間に、予め決められた方向に、前記焦点検出信号に対応する前記撮像素子の画素の間隔以下の予め決められた距離をシフトさせることを特徴とする撮像装置の制御方法。
JP2019197648A 2019-10-30 2019-10-30 撮像装置及びその制御方法 Active JP7397626B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019197648A JP7397626B2 (ja) 2019-10-30 2019-10-30 撮像装置及びその制御方法
US17/082,846 US11496665B2 (en) 2019-10-30 2020-10-28 Image capturing apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019197648A JP7397626B2 (ja) 2019-10-30 2019-10-30 撮像装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2021071573A JP2021071573A (ja) 2021-05-06
JP2021071573A5 JP2021071573A5 (ja) 2022-11-04
JP7397626B2 true JP7397626B2 (ja) 2023-12-13

Family

ID=75689156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019197648A Active JP7397626B2 (ja) 2019-10-30 2019-10-30 撮像装置及びその制御方法

Country Status (2)

Country Link
US (1) US11496665B2 (ja)
JP (1) JP7397626B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001136541A (ja) 1999-11-02 2001-05-18 Ricoh Co Ltd 撮像装置
JP2010087850A (ja) 2008-09-30 2010-04-15 Fujitsu Frontech Ltd 情報読取用撮像装置
JP2012168383A (ja) 2011-02-15 2012-09-06 Olympus Corp 撮像装置
JP2012237937A (ja) 2011-05-13 2012-12-06 Nikon Corp 電子機器
JP2015141367A (ja) 2014-01-30 2015-08-03 リコーイメージング株式会社 Af機能を有する撮影装置
JP2019057893A (ja) 2017-09-22 2019-04-11 株式会社日立国際電気 撮像装置
JP2019168661A (ja) 2018-03-26 2019-10-03 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5451111B2 (ja) 2008-03-11 2014-03-26 キヤノン株式会社 焦点検出装置およびそれを有する撮像装置
JP5868060B2 (ja) * 2011-08-02 2016-02-24 キヤノン株式会社 像ぶれ補正装置および方法、並びに光学機器、撮像装置
JP5527368B2 (ja) 2012-07-10 2014-06-18 株式会社ニコン ディジタルカメラ
US9451168B2 (en) * 2013-03-13 2016-09-20 Ricoh Imaging Company, Ltd. Photographing apparatus and photographing control system with low-pass filter effect
JP6260618B2 (ja) * 2013-05-17 2018-01-17 リコーイメージング株式会社 撮影装置及び撮影制御システム
US10057492B2 (en) * 2013-10-29 2018-08-21 Ricoh Imaging Company, Ltd. Photographing apparatus and photographing control method to generate a low-pass filter effect
JP6330817B2 (ja) * 2013-10-30 2018-05-30 リコーイメージング株式会社 撮影装置、撮影方法、撮影装置の制御装置及び撮影装置の制御方法
JP6598496B2 (ja) * 2015-04-22 2019-10-30 キヤノン株式会社 撮像装置及び信号処理方法
US11159710B2 (en) * 2016-03-11 2021-10-26 Sony Corporation Lowpass filter control apparatus, lowpass filter control method, and imaging apparatus
JP6594524B2 (ja) * 2016-03-30 2019-10-23 富士フイルム株式会社 撮像装置、作動方法、画像処理装置及び画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001136541A (ja) 1999-11-02 2001-05-18 Ricoh Co Ltd 撮像装置
JP2010087850A (ja) 2008-09-30 2010-04-15 Fujitsu Frontech Ltd 情報読取用撮像装置
JP2012168383A (ja) 2011-02-15 2012-09-06 Olympus Corp 撮像装置
JP2012237937A (ja) 2011-05-13 2012-12-06 Nikon Corp 電子機器
JP2015141367A (ja) 2014-01-30 2015-08-03 リコーイメージング株式会社 Af機能を有する撮影装置
JP2019057893A (ja) 2017-09-22 2019-04-11 株式会社日立国際電気 撮像装置
JP2019168661A (ja) 2018-03-26 2019-10-03 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Also Published As

Publication number Publication date
JP2021071573A (ja) 2021-05-06
US20210136295A1 (en) 2021-05-06
US11496665B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
JP5791349B2 (ja) 撮像装置及びその制御方法
US9742984B2 (en) Image capturing apparatus and method of controlling the same
JP5470458B2 (ja) 撮像装置、画像処理装置および画像処理方法
JP6124564B2 (ja) 焦点検出装置及び方法、及び撮像装置
US9357121B2 (en) Image capturing apparatus and control method thereof
JP5490312B2 (ja) カラー撮像素子、撮像装置、及び撮像装置の制御プログラム
KR101950689B1 (ko) 화상처리장치, 촬상 장치, 화상처리방법, 프로그램, 및 기억 매체
JP5539584B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP5539585B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
WO2013099637A1 (ja) カラー撮像素子及び撮像装置
US10362214B2 (en) Control apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium
JP6207293B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP6190119B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP5539583B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP7397626B2 (ja) 撮像装置及びその制御方法
JP2021157069A (ja) 像振れ補正制御装置、撮像装置およびその制御方法
JP6741549B2 (ja) 撮像装置及びその制御方法
JP2016071275A (ja) 撮像装置およびフォーカス制御プログラム
WO2021200191A1 (ja) 画像処理装置および方法、並びにプログラム
JP6541503B2 (ja) 撮像装置、画像処理装置、画像処理方法およびプログラム
JP6234097B2 (ja) 撮像装置およびその制御方法
JP6579859B2 (ja) 撮像装置、画像処理装置、画像処理方法およびプログラム
JP2021071573A5 (ja)
JP2019139043A (ja) 撮像装置およびその制御方法
JP2012042859A (ja) 撮像装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221025

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231201

R151 Written notification of patent or utility model registration

Ref document number: 7397626

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151