JP6584059B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

撮像装置及びその制御方法、プログラム、記憶媒体 Download PDF

Info

Publication number
JP6584059B2
JP6584059B2 JP2014197514A JP2014197514A JP6584059B2 JP 6584059 B2 JP6584059 B2 JP 6584059B2 JP 2014197514 A JP2014197514 A JP 2014197514A JP 2014197514 A JP2014197514 A JP 2014197514A JP 6584059 B2 JP6584059 B2 JP 6584059B2
Authority
JP
Japan
Prior art keywords
image
focus detection
signal
pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014197514A
Other languages
English (en)
Other versions
JP2016072695A (ja
Inventor
大久保 俊之
俊之 大久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014197514A priority Critical patent/JP6584059B2/ja
Priority to US14/859,667 priority patent/US9531946B2/en
Publication of JP2016072695A publication Critical patent/JP2016072695A/ja
Application granted granted Critical
Publication of JP6584059B2 publication Critical patent/JP6584059B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/365Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Description

本発明は、焦点検出用画素を撮像素子内に備える撮像装置に関するものである。
近年、家庭用ビデオカメラやデジタルスチルカメラなどの撮像機器が一般に普及している。レンズのピント位置を自動で合わせるオートフォーカス(AF)機能も搭載されており、使用者は自らピントを調節することなく、カメラ任せで撮影可能であり、使用者にとって有益な機能となっている。
撮像素子を使用したAF機構は構造上大きく2種類に分けられ、コントラストAF方式と像面位相差AF方式がある。コントラストAF方式は、通常の撮像用画素からの出力をフィルタ処理して、フォーカスレンズを駆動しながら、フィルタ出力が最大となるところを探して、ピント位置を求める。この方式はシンプルに構成されるが、時間を要するという問題があった。
一方で像面位相差AF方式は、撮像素子内に焦点検出専用の画素を設け、焦点検出専用画素の出力の差からデフォーカス量を求めてピント位置を求めている。この方式はデフォーカス量が1フレームの画像から求まるので、時間が非常に短いというメリットがある。この像面位相差AF技術を使用すると、連続撮影の速度を落とすことなく、連続撮影中にピント位置を合わせ続けることが可能となる。
例えば、特許文献1では、連続撮影中に撮影画像の焦点検出専用画素からピント位置を求め、読み出し中にレンズ駆動を行うことで、連続撮影速度を向上させている。
また、特許文献2では、焦点検出用画素の信号のS/N比を向上させるために、撮像用画素と焦点検出用画素で独立して電荷蓄積を行い、画像データを間引いて読み出した後に間引かれる行に配置された焦点検出用画素の信号を読み出すことが開示されている。
特開2009−109631号公報 特開2010−219958号公報
しかしながら、上記の特許文献1の方法では画角の上から順に画素の読み出しを行うため、焦点検出専用画素の読み出しが完了するまでピント位置を求めることができず、連続撮影速度の高速化に限界があるという問題があった。また、特許文献2では、焦点検出用画素の信号をまとめて読み出すことは開示されているが、連続撮影速度を向上させることは考慮されていない。
本発明は上述した課題に鑑みてなされたものであり、像面位相差AFを用いる撮像装置において、連続撮影速度の更なる高速化を実現することである。
本発明に係わる撮像装置は、撮像用画素と該撮像用画素の一部に設けられた焦点検出用信号を出力する焦点検出用画素とを有し、撮影レンズにより結像された被写体像を画像信号に変換する撮像素子と、前記撮像素子が露光された後に前記撮像素子の画素を配置された順に読み出す第1のモードと、前記撮像素子が露光された後で前記被写体像の画像信号を読み出す前に前記焦点検出用画素の信号とその近接画素の信号とを先に読み出す第2のモードとを切り替える制御手段と、前記焦点検出用画素の位置に相当する画素信号を、前記近接画素の信号で補間するための補間手段と、前記撮像素子から得た信号に基づいて表示用の画像データを出力する画像処理手段と、を備え、前記制御手段は、前記被写体像の画像信号を読み出す期間中に、先に読み出した前記焦点検出用画素の信号を用いた焦点検出演算と前記撮影レンズの駆動とを並行して行うように制御し、前記画像処理手段は、前記第2のモードにおいて、前記補間手段で補間した前記焦点検出用画素の位置に相当する画素信号と、前記近接画素の信号と、後から読み出される前記被写体像の画像信号とに基づいて前記表示用の画像データを出力することを特徴とする。
本発明によれば、像面位相差AFを用いる撮像装置において、連続撮影速度の更なる高速化を実現することが可能となる。
本発明の一実施形態に係る撮像装置システム全体を示す外観図。 一実施形態の撮像装置の構成を示すブロック図。 一実施形態における連写シーケンスを示すフローチャート。 一実施形態における画像読み出し領域を示した図。 一実施形態における画像読み出し順のタイミングチャートを示した図。 一実施形態における像面位相差AFの演算に関して示した図。 一実施形態における測光演算に関して示した図。 一実施形態における焦点検出用画素の補正に関して示した図。 一実施形態における固定パターンノイズ補正に関して示した図。 一実施形態における焦点検出用画素の先読みと通常読み出しの切り替え条件を示した図。 一実施形態における焦点検出用画素の先読み領域変更を示した図。
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。
図1は、本発明の撮像装置の一実施形態としてのデジタルカメラの外観図である。図1において、表示部28は画像や各種情報を表示する表示部である。シャッターボタン61は撮影指示を行うための操作部である。モード切替スイッチ60は各種モードを切り替えるための操作部である。コネクタ112は接続ケーブル111とデジタルカメラ100とのコネクタである。操作部70はユーザーからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。コントローラーホイール73は操作部70に含まれる回転操作可能な操作部材である。72は電源スイッチであり、電源オン、電源オフを切り替える。記録媒体200はメモリカードやハードディスク等の記録媒体である。記録媒体スロット201は記録媒体200を格納するためのスロットである。記録媒体スロット201に格納された記録媒体200は、デジタルカメラ100との通信が可能となる。蓋202は記録媒体スロット201の蓋である。
図2は、本実施形態のデジタルカメラ100の構成を示すブロック図である。図2において、被写体像を結像させる撮影レンズ103はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター101は絞り機能を備えるシャッターである。撮像部22は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。また撮像部22はA/D変換処理機能を備えている。AF評価値検出部23ではデジタル画像信号から得られるコントラスト情報や焦点検出用画素の信号などからAF評価値を算出し、得られたAF評価値を撮像部22からシステム制御部50に出力する。バリア102は、デジタルカメラ100の、撮影レンズ103を含む撮像系を覆うことにより、撮影レンズ103、シャッター101、撮像部22を含む撮像系の汚れや破損を防止する。
画像処理部24は、撮像部22から出力されるデータ、又は、メモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部50が露光制御、焦点検出制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAE(自動露出)処理、EF(フラッシュ自動調光発光)処理が行われる。また画像処理部24ではAF(オートフォーカス)処理が行われるが、このとき撮像部22に備えるAF評価値検出部23の出力が用いられることもある。画像処理部24では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
撮像部22の出力データは、画像処理部24及びメモリ制御部15を介して、或いは、メモリ制御部15を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって取得およびA/D変換された画像データや、表示部28に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器13は、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28に供給する。こうして、メモリ32に書き込まれた表示用の画像データはD/A変換器13を介して表示部28により表示される。表示部28は、LCD等の表示器上に、D/A変換器13からのアナログ信号に応じた表示を行う。撮像部22で一度A/D変換されメモリ32に蓄積されたデジタル信号をD/A変換器13においてアナログ変換し、表示部28に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行える。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部50は、デジタルカメラ100全体を制御する。前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。52はシステムメモリであり、RAMが用いられる。システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等を展開する。また、システム制御部50はメモリ32、D/A変換器13、表示部28等を制御することにより表示制御も行う。システムタイマー53は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ60、第1シャッタースイッチ62、第2シャッタースイッチ64、操作部70はシステム制御部50に各種の動作指示を入力するための操作手段である。モード切替スイッチ60は、システム制御部50の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。モード切り替えスイッチ60で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ60で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
第1シャッタースイッチ62は、デジタルカメラ100に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュ自動調光発光)処理等の動作を開始する。
第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮影処理の動作を開始する。
操作部70の各操作部材は、表示部28に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。利用者は、表示部28に表示されたメニュー画面と、上下左右の4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。
AF補助光71は低輝度時に発光させて、被写体を照明する。コントローラホイール73は、操作部70に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール73を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部50はデジタルカメラ100の各部を制御する。このパルス信号によって、コントローラホイール73が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール73は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール73自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール73自体は回転せず、コントローラホイール73上でのユーザの指の回転動作などを検出するものであってもよい(いわゆる、タッチホイール)。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。
電源部40は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Liイオン電池等の二次電池、ACアダプター等からなる。記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
図3は、本実施形態における連写シーケンスを示すフローチャートである。連写モードで第2シャッタースイッチ64が押下されたなら(S101)、連続撮影を開始する。S102で静止画の露光・読み出しを行い、S102で読み出した画像から焦点検出演算を行い(S103)次の撮影でのピント位置を求め、測光演算を行い(S104)次の撮影での露出を決定する。S105では焦点検出用画素として読み出した画素はそのまま画像として使用できないので、補正処理を行う。
これらのS103の焦点検出演算、S104の測光演算、S105の焦点検出用画素補正は、後に詳細に後述する。S106ではS103で求めたピント位置に撮影レンズ103を駆動し、S104で決定した露出になるように絞りを駆動し、S107で撮影画像を記録媒体200へ記録する。
図4は、本実施形態における画像読み出し領域を示した図である。Aで示しているのが、画像読み出し領域全体である。それに対して、焦点検出用画素領域であるBが撮像用画素が配置された画面内に離散的に配置され、焦点検出用画素領域Bを読み出す際に、同時にCで示している焦点検出用画素領域に隣接した周辺画素領域を読み出す。焦点検出用画素Bだけでなく周辺画素領域Cを含めて読み出しているのは、周辺画素領域Cを用いて全画像読み出しより前倒しで測光演算を行うためと、焦点検出用画素領域Bを通常画素相当に補正するため、周辺画素領域の情報を用いる必要があるためである。
図5は、本実施形態における画像読み出し順のタイミングチャートを示した図である。Iの通常読み出しは、従来からある焦点検出用画素の読み出し順である。撮像素子22の露光動作が完了したら、シャッター101を遮蔽して、読み出し動作を行う。画面の上から順番に読み出し、途中離散的に配置された焦点検出用画素を読み出す。焦点検出用画素が全て読み出されたところから、焦点検出演算を開始して、焦点検出結果に基づいて撮影レンズ103を駆動させる。この動作に並行して、測光演算を行い、測光結果に基づいて絞り駆動をさせる。次の撮影準備が完了したところで、次の露光が開始される。
このように焦点検出専用画素の読み出しが全て完了するまで焦点検出演算が始められないことが、連写速度の高速化を阻害している。
IIは本実施形態における、焦点検出用画素領域を先読みして、連写速度を高速化させる読み出し順である。撮像素子22の露光動作が完了したら、シャッター101を遮蔽して、読み出し動作を行うが、画面の上からではなく、焦点検出用画素領域とその周辺画素領域を先に読み出し、その後残りの画素を読み出す。焦点検出用画素領域とその周辺画素領域を読み出したところから、焦点検出演算と測光演算を開始する。それぞれ演算が完了したら撮影レンズ103や絞りを駆動させることで、従来の読み出し方式より次の撮影までの時間を短縮することが可能となる。なお、本実施形態の撮像装置では、上記のIで示すモードと、IIで示すモードを必要に応じて切り替える。
図6は、本実施形態における像面位相差AFの演算に関して示した図である。図6は、撮像部(撮像素子)22で光電変換され、画像処理回路24で各種補正を行った後、AF評価値検出部(撮像面位相差焦点検出部)23へ送られる対の焦点検出用信号を示す。図6において、横軸は連結された信号の画素並び方向を示し、縦軸は信号の強度である。焦点検出用信号430aと焦点検出用信号430bは、焦点検出用画素SHAと焦点検出用画素SHBで夫々形成される信号である。そして、撮影レンズ103が撮像部22に対してデフォーカスした状態であるため、焦点検出用信号430aは左側に、焦点検出用信号430bは右側にずれた状態となっている。この焦点検出用信号430a,430bのずれ量をAF評価値検出部23では周知の相関演算などによって算出することにより、撮影レンズ103がどれだけデフォーカスしているかを知ることができる。システム制御部50は、撮影レンズ103のレンズ位置情報とAF評価値検出部23から得られるデフォーカス量から、フォーカスレンズ駆動量を算出する。その後、システム制御部50は、フォーカスレンズ位置情報に基づいて、撮影レンズ103を駆動するべき位置情報を送信する。それにより、撮影レンズ103による焦点合わせを行うことが可能となる。
図7は、本実施形態における測光演算に関して示した図である。焦点検出用画素と同時に読み出される周辺画素は通常画素と同じ特性を持っているので、出力を測光演算に使用することができる。撮像部22で光電変換され、画像処理回路24で各種補正を行った後、測光評価値を算出する。
測光評価値は、図7中の測光参照画素領域をブロックで分割して、画像処理回路24で積分処理を行い、積分結果が適正レベルになるように、測光値を決定する。
静止画撮影したときの露出値をBvPrevとしたときに、次の撮影に対する露出値をBvNext、測光参照画素領域の測光評価値をYcapt、測光評価値の目標値をYrefとすると、BvNextは以下の式で求められる。
BvNext=BvPrev+log2(Ycapt/Yref)
BvNextが求まったら、プログラム線図等から、シャッター速度・絞り・ISO感度等の設定値を決定し、撮影レンズ103に対して、絞りの制御を行う。
図8は、本実施形態における焦点検出用画素の補正に関して示した図である。本実施形態では、B画素(青色画素)の位置に焦点検出用画素Aが配置されている例で説明する。焦点検出用画素AはB画素の位置に配置されているため、B画素(青色画素)の画素信号として補正を行う。B画素は上下にB1〜B6まで存在しており、最初に補間方向を決定する。
補間に使用する組み合わせは、B1・B6、B2・B5、B3・B4の3つの組み合わせを使用することができる。まず3つの組み合わせのうち、差分の最も小さい組み合わせを探す。
Diff_B1_B6=|B1−B6|
Diff_B2_B5=|B2−B5|
Diff_B3_B4=|B3−B4|
例えば、B2/B5の差分が最も小さい場合には、B2・B5の2画素を使用して、補間を行う。補間対象画素A2の画素値はB2・B5の平均値とする。
A2=(B2+B5)/2
今回は最も差分が小さい組み合わせを使用したが、最も小さい差分が所定値以上の場合には、信頼性が低いので、B1〜B6全てを使用した平均値を補間値としてもよい。
図9は、本実施形態における固定パターンノイズ補正に関して示した図である。撮像素子22は撮影時の露出条件や、温度等の環境条件により、ダークシェーディングと呼ばれる固定パターンノイズが発生する。ダークシェーディングを補正するためには、撮影時と同じ露出条件で撮像素子22をシャッター101で遮光して黒画像を撮影し、フィルタ処理を行いランダムノイズ成分を抑圧する。
フィルタ処理を行うとき、図9のAで示す焦点検出用画素と周辺画素領域を結合して、フィルタ処理を行う。また図9のBで示す残りの画素領域も結合して、フィルタ処理を行う。それぞれ別々にフィルタ処理を行ったら、画像の位置に戻して、本画像からフィルタ後結合画像を減算し、ダークシェーディング補正が完了する。
領域を分割してフィルタを行うのは、読み出し順が異なる領域ではダークシェーディングの発生が異なるためで、時系列で読み出しが近い画素同士でフィルタ処理を行う必要があるためである。
図10は、本実施形態における焦点検出用画素の先読みと通常読み出しの切り替え条件を示した図である。撮像素子22は露出条件や、温度等の環境条件により、固定パターンノイズが発生するが、シャッター速度が長い、ISO感度が高い、高温等の厳しい条件では、固定パターンノイズの発生量が増える。このため、焦点検出用画素を先に読み出して固定パターンノイズの補正を行っても、ノイズが取りきれない場合があり、露出条件や温度条件に応じて、焦点検出用画素の先読みを止め、通常読み出しに切り替える必要がある。
図10は温度条件別に、シャッター速度TvとISO感度により、焦点検出用画素の先読みを許可する条件を示している。
温度Tが0°C以上のときは、シャッター速度が1/1000(秒)より高速で且つ、ISO感度が1600以下であれば、焦点検出用画素先読みを許可する。同様に、温度Tが25°C以上の時は、シャッター速度が1/1000(秒)より高速で且つ、ISO感度が800以下であれば、焦点検出用画素先読みを許可する。
この判定を撮影毎に行うことで、焦点検出用画素の先読みを行っても画質的な影響がない範囲で連続撮影速度を向上させることができる。
図11は、本実施形態における焦点検出用画素の先読み領域変更を示した図である。図11のAは撮影画面中の被写体が、焦点検出用画素5本のうち、下側3本に当たっている例を示している。焦点検出用画素5本のうち、上側2本は焦点検出に使用しないため、焦点検出用画素の先読み対象とする必要がない。
Bのタイミングチャートの上段は、全ての焦点検出用画素を先読みたときのタイミングで、下段は焦点検出用画素のうち下側3ラインだけを先読みしたタイミングとなっている。上側2本の読み出しを行う必要がないため、先読みをさらに前倒しすることが可能で、焦点検出演算やレンズ駆動を並列に行うことで、連続撮影速度を向上させることができる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
22:撮像部100:デジタルカメラ、101:シャッター、103:撮影レンズ、23:AF評価値検出部、24:画像処理部

Claims (10)

  1. 撮像用画素と該撮像用画素の一部に設けられた焦点検出用信号を出力する焦点検出用画素とを有し、撮影レンズにより結像された被写体像を画像信号に変換する撮像素子と、
    前記撮像素子が露光された後に前記撮像素子の画素を配置された順に読み出す第1のモードと、前記撮像素子が露光された後で前記被写体像の画像信号を読み出す前に前記焦点検出用画素の信号とその近接画素の信号とを先に読み出す第2のモードとを切り替える制御手段と、
    前記焦点検出用画素の位置に相当する画素信号を、前記近接画素の信号で補間するための補間手段と、
    前記撮像素子から得た信号に基づいて表示用の画像データを出力する画像処理手段と、を備え、
    前記制御手段は、前記被写体像の画像信号を読み出す期間中に、先に読み出した前記焦点検出用画素の信号を用いた焦点検出演算と前記撮影レンズの駆動とを並行して行うように制御し、
    前記画像処理手段は、前記第2のモードにおいて、前記補間手段で補間した前記焦点検出用画素の位置に相当する画素信号と、前記近接画素の信号と、後から読み出される前記被写体像の画像信号とに基づいて前記表示用の画像データを出力することを特徴とする撮像装置。
  2. 前記撮像素子が露光された後で前記焦点検出用画素の信号を読み出す前に前記撮像素子を遮光するための遮光部をさらに備えることを特徴とする請求項に記載の撮像装置。
  3. 前記制御手段は、前記焦点検出用画素とその近接画素の読み出しに続いて、読み出していない残りの画素を読み出させながら、測光演算と前記撮影レンズの絞りの駆動とを並行して行うように制御することを特徴とする請求項1または2に記載の撮像装置。
  4. 前記制御手段は、撮影時のシャッター速度、感度、温度の少なくともいずれかに基づいて前記第1のモードと前記第2のモードを切り替えることを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。
  5. 前記制御手段は、前記第1のモードを用いるか、前記第2のモードを用いるかに応じて、前記撮像素子の固定パターンノイズの補正方法を切り替えることを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。
  6. 前記制御手段は、前記第2のモードを用いる場合には、前記焦点検出用画素及びその近接画素と、残りの画素とで、別々にフィルタ処理を行うことを特徴とする請求項に記載の撮像装置。
  7. 前記制御手段は、前記撮像素子の画面内の被写体の位置に基づいて、前記第2のモードで先に読み出す前記焦点検出用画素の領域を変更することを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。
  8. 撮像用画素と該撮像用画素の一部に設けられた焦点検出用信号を出力する焦点検出用画素とを有し、撮影レンズにより結像された被写体像を画像信号に変換する撮像素子を備える撮像装置を制御する方法あって、
    前記撮像素子が露光された後に前記撮像素子の画素を配置された順に読み出す第1のモードと、前記撮像素子が露光された後で前記被写体像の画像信号を読み出す前に前記焦点検出用画素の信号とその近接画素の信号とを先に読み出す第2のモードとを切り替える制御工程と、
    前記焦点検出用画素の位置に相当する画素信号を、前記近接画素の信号で補間する補間工程と、
    前記撮像素子から得た信号に基づいて表示用の画像データを出力する画像処理工程と、を有し、
    前記制御工程では、前記被写体像の画像信号を読み出す期間中に、先に読み出した前記焦点検出用画素の信号を用いた焦点検出演算と前記撮影レンズの駆動とを並行して行うように制御し、
    前記画像処理工程では、前記第2のモードにおいて、前記補間工程において補間した前記焦点検出用画素の位置に相当する画素信号と、前記近接画素の信号と、後から読み出される前記被写体像の画像信号とに基づいて前記表示用の画像データを出力することを特徴とする撮像装置の制御方法。
  9. 請求項に記載の制御方法をコンピュータに実行させるためのプログラム。
  10. 請求項に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2014197514A 2014-09-26 2014-09-26 撮像装置及びその制御方法、プログラム、記憶媒体 Active JP6584059B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014197514A JP6584059B2 (ja) 2014-09-26 2014-09-26 撮像装置及びその制御方法、プログラム、記憶媒体
US14/859,667 US9531946B2 (en) 2014-09-26 2015-09-21 Image capturing apparatus, method of controlling the same, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014197514A JP6584059B2 (ja) 2014-09-26 2014-09-26 撮像装置及びその制御方法、プログラム、記憶媒体

Publications (2)

Publication Number Publication Date
JP2016072695A JP2016072695A (ja) 2016-05-09
JP6584059B2 true JP6584059B2 (ja) 2019-10-02

Family

ID=55585863

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014197514A Active JP6584059B2 (ja) 2014-09-26 2014-09-26 撮像装置及びその制御方法、プログラム、記憶媒体

Country Status (2)

Country Link
US (1) US9531946B2 (ja)
JP (1) JP6584059B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9979905B2 (en) * 2015-11-17 2018-05-22 Microsoft Technology Licensing, Llc. Multimode photosensor
JP6806473B2 (ja) * 2016-06-17 2021-01-06 キヤノン株式会社 撮像装置およびその制御方法
JP6739272B2 (ja) * 2016-07-29 2020-08-12 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
JP2018081224A (ja) 2016-11-17 2018-05-24 キヤノン株式会社 撮像装置およびその制御方法
US10904424B2 (en) 2018-07-06 2021-01-26 Canon Kabushiki Kaisha Image capturing apparatus
JP2020043522A (ja) 2018-09-12 2020-03-19 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP7195120B2 (ja) * 2018-11-16 2022-12-23 キヤノン株式会社 撮像装置およびその制御方法
JP7267719B2 (ja) * 2018-11-28 2023-05-02 キヤノン株式会社 光電変換装置、移動体、信号処理装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121650A (ja) * 2004-09-24 2006-05-11 Fuji Photo Film Co Ltd 固体撮像装置
JP5034840B2 (ja) * 2007-10-01 2012-09-26 株式会社ニコン 固体撮像装置及びこれを用いた電子カメラ
JP5169144B2 (ja) 2007-10-29 2013-03-27 ソニー株式会社 撮像装置
JP5371331B2 (ja) * 2008-09-01 2013-12-18 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP5381142B2 (ja) * 2009-02-12 2014-01-08 株式会社ニコン 撮像素子および撮像装置
JP5319347B2 (ja) * 2009-03-17 2013-10-16 キヤノン株式会社 撮像装置及びその制御方法
JP5424679B2 (ja) * 2009-03-18 2014-02-26 キヤノン株式会社 撮像装置及び信号処理装置
JP5616442B2 (ja) * 2010-06-09 2014-10-29 富士フイルム株式会社 撮像装置及び画像処理方法
JP5697801B2 (ja) * 2012-06-19 2015-04-08 富士フイルム株式会社 撮像装置及び自動焦点調節方法
JP2014153509A (ja) * 2013-02-07 2014-08-25 Canon Inc 撮像装置及び撮像方法
JP5775918B2 (ja) * 2013-09-27 2015-09-09 オリンパス株式会社 撮像装置、画像処理方法及び画像処理プログラム
KR102121531B1 (ko) * 2013-12-10 2020-06-10 삼성전자주식회사 초점검출 가능한 이미지 센서 제어장치 및 방법.

Also Published As

Publication number Publication date
US20160094778A1 (en) 2016-03-31
JP2016072695A (ja) 2016-05-09
US9531946B2 (en) 2016-12-27

Similar Documents

Publication Publication Date Title
JP6584059B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US10530986B2 (en) Image capturing apparatus, image capturing method, and storage medium
JP6833801B2 (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP6476064B2 (ja) 撮像装置、及び撮像制御方法
CN109964479B (zh) 摄像设备及其控制方法
JP6761303B2 (ja) 撮像装置及びその制御方法
JP7467086B2 (ja) 撮像装置及びその制御方法並びにプログラム
JP6184077B2 (ja) 撮像装置及びその制御方法。
JP7129864B2 (ja) 撮像装置及びその制御方法
US20230199342A1 (en) Imaging device and imaging method
WO2021010022A1 (ja) 撮像装置、絞り機構制御方法
JP6739272B2 (ja) 撮像装置、その制御方法、及びプログラム
US11277555B2 (en) Image pickup apparatus that performs focus bracketing, control method therefor, and storage medium
US20230217126A1 (en) Imaging apparatus, imaging method
US20230040322A1 (en) Imaging apparatus and defocus amount calculation method
JP7071217B2 (ja) 撮像装置及びその制御方法
JP6971715B2 (ja) 撮像装置、撮像装置の制御方法、及び、プログラム
JP2017034473A (ja) 撮影装置及びその制御方法
JP2022150647A (ja) 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体
JP6858059B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6460906B2 (ja) 撮像装置、及び撮像装置の制御方法
JP2019047144A (ja) 撮像装置、撮像装置の制御方法、及び、プログラム
JP2017022623A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190903

R151 Written notification of patent or utility model registration

Ref document number: 6584059

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151