JP5421647B2 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP5421647B2
JP5421647B2 JP2009108464A JP2009108464A JP5421647B2 JP 5421647 B2 JP5421647 B2 JP 5421647B2 JP 2009108464 A JP2009108464 A JP 2009108464A JP 2009108464 A JP2009108464 A JP 2009108464A JP 5421647 B2 JP5421647 B2 JP 5421647B2
Authority
JP
Japan
Prior art keywords
imaging
focus detection
image
detection pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009108464A
Other languages
English (en)
Other versions
JP2009288780A (ja
Inventor
紗央里 法田
貴幸 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009108464A priority Critical patent/JP5421647B2/ja
Publication of JP2009288780A publication Critical patent/JP2009288780A/ja
Application granted granted Critical
Publication of JP5421647B2 publication Critical patent/JP5421647B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/702SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Description

本発明は、デジタルカメラ等の撮像装置における自動焦点調節技術に関するものである。
近年のデジタルスチルカメラなどの固体撮像装置に含まれる撮像素子は、画素数が飛躍的に増大し、高速かつ高精度な画像処理を行うことが課題となっている。
従来より、自動焦点調節(以下AFという)を高速且つ高精度に行うために、図7および図8に示すように、撮像素子601の一部の画素にAF用の画素(以下焦点検出用画素という)を設ける技術が提案されている。図7のように、瞳位置が対称的になるように受光部分を分割し、一方を焦点検出用画素(A像)501、他方を焦点検出用画素(B像)502とする。
この焦点検出用画素(A像)501と焦点検出用画素(B像)502は、図8のように撮像素子の全画素に対して数%の割合で散在している。同一水平位置に存在する焦点検出用画素(A像)604と、焦点検出用画素(B像)605との位相差を比較することにより焦点検出を行う。
特開平9−65219号公報 特開平9−74524号公報
ところが、このような従来の構成では、焦点検出用画素が離散的に配置されているためエイリアス(折り返し歪み)が発生しやすく、エイリアスが発生することによりAF性能が著しく低下するという問題がある。
画素情報に含まれるエイリアスを低減させる従来技術として、次のような提案がなされている。
特許文献1では、シフト手段により撮像素子の変位を繰り返して、等価的に光学的なローパスフィルタを形成し、ビデオ信号の折り返し歪みの発生を有効に回避する技術が提案されている。
また、特許文献2では、第1解像度の画像の入力の際にモアレが検出されると、イメージシフト手段を用いて解像度を高めた第2解像度の画像を合成する。そして、モアレ検出結果がモアレ無しであればモアレ除去回路を動作させないので消費電力を抑えられる、という技術が提案されている。
ところが、特許文献1及び特許文献2における提案は、撮像素子に散在する焦点検出用画素のエイリアスを低減させることを目的とした提案ではなく、また手振れがある場合の対処法には触れられていない。また一般に、エイリアスが含まれている画像を用いてのマッチング演算による位置ずれ量の検出は失敗しやすい傾向にあるため、従来までの技術では焦点検出用画素のエイリアスを低減させることは困難であった。
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、焦点検出用画素に含まれるエイリアスを低減させ、AF性能を向上させることである。
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮像レンズにより結像された被写体像を光電変換して画像信号を生成するための複数の撮像用画素と、該複数の撮像用画素の間に離散的に配置された複数の焦点検出用画素とを有する撮像素子を備える撮像手段と、前記撮像手段から連続的に得られる互いに位置がずれた1回目の撮像で取得した画像信号に含まれる前記撮像用画素の信号と2回目の撮像で取得した画像信号に含まれる前記撮像用画素の信号とを用いて、前記1回目の撮像と2回目の撮像の画像の位置ずれ量を検出するずれ検出手段と、前記ずれ検出手段により検出された画像の位置ずれ量に基づいた重み付けで、前記1回目の撮像で取得した前記焦点検出用画素の信号と前記2回目の撮像で取得した前記焦点検出用画素の信号とを合成する合成手段と、前記合成手段により合成される前の前記焦点検出用画素の信号と前記合成手段により合成された前記焦点検出用画素の信号とを用いて前記撮像レンズの焦点調節を行う焦点調節手段と、を備えることを特徴とする。
本発明によれば、焦点検出用画素に含まれるエイリアスを低減させ、AF性能を向上させることが可能となる。
本発明の第1の実施形態に係わる撮像装置の回路構成を示す図である。 1回目の撮像(基準画像)から2回目がずれた様子を説明する図である。 2回目のずれた焦点検出用画素を1回目の焦点検出用画素の位置に加算平均する様子を示す図である。 2回目のずれた焦点検出用画素を1回目の焦点検出用画素と同じ水平位置に補間する様子を示す図である。 AF枠を説明する図である。 本発明の第2の実施形態に係わる撮像装置の回路構成を示す図である。 瞳位置が対称的に分割された焦点検出用画素を示す図である。 焦点検出用画素が撮像素子上に離散的に存在する様子を示す図である。
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係わる撮像装置の回路構成を示す図である。
図1において、101は撮像レンズ、102は撮像レンズ101を駆動させるレンズ駆動回路、103は露出の調整を行う絞り、104は光信号を光電変換し、一部の光電変換セル(撮像用画素)が離散的に配置された焦点検出用の焦点検出用画素に置き換えられている撮像素子である。なお、撮像レンズ101は、1枚のレンズとして示されているが、通常は複数枚のレンズ及びレンズ群から構成される。120は撮像素子104の位置をシフトさせるアクチュエータ、105は固定値の周期である水平同期信号HDおよび垂直同期信号VDを生成する同期信号発生器(以下SSGという)である。106はHDとVDに同期した撮像素子104を駆動させる制御信号を生成するタイミングジェネレータ(以下TGという)、107は撮像素子104から出力されるアナログ画像信号をデジタル画像信号に変換するA/D変換回路である。109は色変換処理などを行う信号処理回路、122は画像データから焦点検出用画素のデータのみを抽出する焦点検出用画素抽出回路である。108は図7に示したような焦点検出用画素(A像)および焦点検出用画素(B像)の位相差を検出する位相差AF回路、119は連続して取り込んだ(連続的に得られた)2回の画像のずれ量を焦点検出用画素以外の撮像画素から求めるずれ量検出回路である。121は複数回のAF抽出画素を合成し、1回のAF抽出画像を生成する焦点検出用画素合成回路、123は焦点検出用画素抽出回路122または焦点検出用画素合成回路121の出力を選択して位相差AF回路108へ入力させるスイッチ回路である。111はDRAM、110はDRAM111とインターフェースを行うメモリ制御回路、112は画像データの拡大縮小を行う変倍回路、113は各回路のモードやパラメータを決定し、撮像装置全体を制御するシステムコントローラである。115は画像データを表示するモニタ、114はモニタ115に画像データを表示させるために変調を行うビデオ変調回路である。116は画像データをJPEG圧縮方式などで圧縮するための圧縮回路、118は圧縮された画像データを記録する脱着可能なメディアカード、117はメディアカード118とのインターフェースを行うカード制御回路である。
次に、図1に示したように構成される撮像装置の動作について説明する。
撮像レンズ101を通過した被写体からの光は、絞り103において適正な光量に調整される。
TG106は、SSG105において生成されるHDおよびVDに同期して撮像素子104が動作するようにタイミング信号を生成し、撮像素子104を駆動する。撮像素子104において、撮像レンズ101により結像された被写体像はアナログの画像信号に光電変換され、このアナログの画像信号は、A/D変換回路107においてデジタル画像データに変換される。
焦点検出用画素抽出回路122において、画像データの中から焦点検出用画素データのみを抽出し、焦点検出用画素合成回路121およびスイッチ回路123を介して位相差AF回路108へ出力する。
位相差AF回路108において、焦点検出用画素データのA像とB像の位相差を比較し、位相差情報をシステムコントローラ113へ出力する。システムコントローラ113は位相差情報に従って、撮像レンズ101内の焦点調節用レンズの駆動量をレンズ駆動回路102に伝えることにより焦点調節を行う。
撮像画素により得られた画像データは、信号処理回路109において色変換などの信号処理が施され、メモリ制御回路110を介してDRAM111へ一度書き込まれ、ずれ量検出回路119へ再度読み出される。
ここで、ずれ量検出回路119において行われるずれ量の検出について説明する。
図2のように、撮像素子104に含まれる撮像領域201に焦点検出用画素(A像)202および焦点検出用画素(B像)203が散在する。
1回目の撮像において、焦点検出用画素(A像)202および焦点検出用画素(B像)203に示す位置の情報が得られたとする。
次に2回目の撮像を行う前に、アクチュエータ120によって撮像素子104の位置が撮像領域201から撮像領域204の位置へずらされる。これにより、焦点検出用画素の位置も、焦点検出用画素(A像)205および焦点検出用画素(B像)206に示す位置にずれる。なお、本実施形態においては撮像素子を動かしているが、レンズを動かしてもよい。
さらに撮像の際に手ぶれがあると、アクチュエータ120によって動かされた撮像領域204の位置が、撮像領域207の位置にずれてしまい、焦点検出用画素の位置もそれぞれ、焦点検出用画素(A像)208および焦点検出用画素(B像)209に示す位置で2回目の撮像が行われることになる。
1回目と2回目の画像のずれ量を求める方法としては、1回目の撮像画像と、手ぶれによるずれが含まれる2回目の撮像画像において、焦点検出用画素以外の撮像画素を用いてそれぞれマッチング演算を行う。マッチング演算に際しては、信号処理回路109において信号処理が行われDRAM111に書き込まれた1回目と2回目の画像データを再度DRAM111から読み出す。そして、1回目と2回目の撮像画素の差分が全体的に最も少ない位置を探し出すような公知の方法を用いる。
このようにしてずれ量検出回路119においてマッチング演算によって求められたずれ量を補正した2回の画像データを焦点検出用画素合成回路121に出力する。
焦点検出用画素合成回路121おいて次に示す2つのいずれかの方法で合成処理を行う。
<1つ目の焦点検出用画素合成方法>
1つ目の焦点検出用画素合成方法を図3に示す。
ある焦点検出用画素(A像)202および焦点検出用画素(B像)203の周りに位置する4組の焦点検出用画素(A像)208および焦点検出用画素(B像)209から、それぞれ重み付け演算を行い、焦点検出用画素(A像)202および焦点検出用画素(B像)203の位置に重ね合わせ、加算平均を行う。重み付けの係数は、ずれ量検出回路119においてマッチング演算によって求められたずれ量から求められる。
図3に示すように、焦点検出用画素(A像)202の値がAF1_A、焦点検出用画素(B像)203の値がAF1_Bである1回目の焦点検出用画素の近隣に位置する2回目の撮像で得られた4組の焦点検出用画素(A像)208の値をAF2_A1、AF2_A2、AF2_A3、AF2_A4とし、焦点検出用画素(B像)209の値をAF2_B1、AF2_B2、AF2_B3、AF2_B4とする。
また、図3のように、AF1_AおよびAF1_Bから周りに位置する4組の焦点検出用画素までの水平方向の距離の割合をH1,H2とし、垂直方向の距離の割合をV1,V2とする。
それぞれ、H1+H2=1、V1+V2=1である。
近隣に位置する4組の焦点検出用画素からAF1_AおよびAF1_Bの位置に対する値AF2_AおよびAF2_Bを下記の式(1)および式(2)で算出する。
AF2_A=(AF2_A1*V2+AF2_A3*V1)*H2+(AF2_A2*V2+AF2_A4*V1)*H1 …(1)
AF2_B=(AF2_B1*V2+AF2_B3*V1)*H2+(AF2_B2*V2+AF2_B4*V1)*H1 …(2)
さらにAF1_AおよびAF1_Bと、AF2_AおよびAF2_Bと、それぞれ加算平均を行い、この位置における焦点検出用画素情報AF_AおよびAF_Bを式(3)および式(4)で算出する。
AF_A=(AF1_A+AF2_A)/2 …(3)
AF_B=(AF1_B+AF2_B)/2 …(4)
同様にして複数回のAF抽出画像から合成を行うが、合成途中のAF抽出画像の値は焦点検出用画素合成回路121において記憶しておく。
上述のようにして、焦点検出用画素合成回路121において焦点検出用画素を増やすことで高解像度化して、エイリアスを軽減させるこができる。つまり、ここでの高解像度化とは、デフォーカス量を算出する際のSAFの画素を増やすことをいう。
複数回撮像した分だけ加算平均して得られた焦点検出用画素(A像)205および焦点検出用画素(B像)206の情報をスイッチ回路123へ出力し、位相差AF回路108に入力される。
位相差AF回路108は、合成される前の焦点検出画素(A像)202および焦点検出画素(B像)203と、焦点検出用画素(A像)AF_Aおよび焦点検出用画素(B像)AF_Bとを用いてA像、B像の位相差を比較してデフォーカス量を求める。位相差AF回路108は、求めたデフォーカス量を、合焦のための情報をシステムコントローラ113へ出力する。
<2つ目の焦点検出用画素の合成方法>
2つ目の焦点検出用画素の合成方法を図4に示す。
1回目の撮像で焦点検出用画素(A像)202および焦点検出用画素(B像)203に示す位置のAF情報が得られ、2回目の撮像で焦点検出用画素(A像)208および焦点検出用画素(B像)209に示す位置のAF情報が得られるとする。
1回目および2回目の撮像でAF情報を得られなかった位置に対して、重み付けして補間することにより、焦点検出用画素のサンプリングポイントを増やす。
図4における合成焦点検出用画素(A像)401および合成焦点検出用画素(B像)402の位置に、A像はA像、B像はB像で補間を行う。
合成焦点検出用画素(A像)401である焦点検出用画素値AF_Aを、近隣に存在する焦点検出用画素(A像)の焦点検出用画素値AF1_A1、AF1_A2、AF2_A1、AF2_A2、を用いて後述する式(6)で算出する。
合成焦点検出用画素(B像)402である焦点検出用画素値AF_Bを、近隣に存在する焦点検出用画素(B像)の焦点検出用画素値AF1_B1、AF1_B2、AF2_B1、AF2_B2、を用いて後述する式(7)で算出する。
また、AF2_A1およびAF2_A2の水平方向の距離の割合と、AF2_B1およびAF2_B2の水平方向の距離の割合をH1,H2とし、H1+H2=1である。
AF1_A1およびAF1_A2の垂直方向の距離の割合と、AF1_B1およびAF1_B2の垂直方向の距離の割合をV1,V2とし、V1+V2=1である。
AF_A={(AF1_A1*V2+AF1_A2*V1)+(AF2_A1*H2+AF2_A2*H1)}/2 …(6)
AF_B={(AF1_B1*V2+AF1_B2*V1)+(AF2_B1*H2+AF2_B2*H1)}/2 …(7)
このようにして、焦点検出用画素値を得られなかった位置に対して補間を行う。
以上2回の撮像から焦点検出用画素を増やして高解像化する方法を説明した。この点、2回以上の複数回のAF抽出画像から合成を行う場合、撮像ごとに得られた焦点検出用画素の値は焦点検出用画素合成回路121において記憶しておく。2回以上の複数回の撮像が終わってから焦点検出用画素が得られなかった位置に補間を行うためである。
また、以上2回の撮像から焦点検出用画素を増やして高解像化する方法は、3回、4回と撮像を増やしていった場合にも適用できる。すなわち、1回目の撮像と2回目の撮像、2回目の撮像と3回目の撮像、3回目の撮像と4回目の撮像といった具合である。
上述のようにして、焦点検出用画素合成回路121において焦点検出用画素を増やすことで高解像度化して、エイリアスを軽減させるこができる。ここでの、高解像度化とは、デフォーカス量を算出する際のSAFの画素を増やすことをいう。
複数回撮像した分だけ加算平均して得られた焦点検出用画素(A像)208および焦点検出用画素(B像)209の情報をスイッチ回路123へ出力し、位相差AF回路108に入力される。位相差AF回路108は、合成される前の焦点検出画素(A像)202および焦点検出画素(B像)203と、焦点検出用画素(A像)AF_Aおよび焦点検出用画素(B像)AF_Bとを用いてA像、B像の位相差を比較してデフォーカス量を求める。位相差AF回路108は、求めたデフォーカス量を、合焦のための情報をシステムコントローラ113へ出力する。
システムコントローラ113は、位相差AF回路108において得られたデフォーカス量に従って、撮像レンズ101内の焦点調節用レンズの駆動量をレンズ駆動回路102に伝えることにより焦点調節を行う。
<画像記録処理>
システムコントローラ113は、上述したような焦点調節を繰り返し行う。得られた画像データは、信号処理回路109において色変換処理などの信号処理が行われ、メモリ制御回路110によって一度DRAM111に書き込まれる。
DRAM111から画像データをメモリ制御回路110が読み出し、変倍回路112において画像データをモニタ115に表示させるためのサイズに変倍し、またメディアカード118に記録するためのサイズに変倍する。変倍された画像データは、再度メモリ制御回路110によってDRAM111に書き込まれる。
DRAM111から画像データをメモリ制御回路110が読み出す。そして、モニタ115に表示させるサイズに変倍された画像データは、ビデオ変調回路114においてNTSCやPALなどの方式に変調され、モニタ115に表示される。
また、メディアカード118に記録するためのサイズに変倍された画像データは、カード制御回路によってメディアカード118に書き込まれる。
<被写体が動いている場合>
なお、被写体が動いているような場合におけるマッチング演算の方法を説明する。
図5に示すようにAF枠802が9個に分割されており、9個のAF枠802の内側の被写体の動きベクトルがそれぞれ異なっている。まずAF枠802ごとにそれぞれ動き検出を行い、被写体距離を検出する。どのAF枠802を合焦させるかを決定するのは、各AF枠802ごとの被写体距離検出結果に基づき自動的に決定してもよいし、ユーザーの操作によって決定されてもよい。合焦させたいAF枠802が決定され、その後も合焦させる被写体に追従してAF評価を行う場合は、そのAF枠802で検出された動きベクトルにしたがって、画像全体の位置合わせを行うようにしてもよい。
<ずれ量>
上述した画像のずれは画素ずらしによって生じるものであってもよい。ここでいう画素ずらしは、撮像画素数を増やすための処理、または手振れを軽減するための処理などがある。
なお、ずれ量検出回路119が求めるずれ量は、撮像画素数を増やすために撮像領域201、204または207をずらした場合のずれ量でもよい。また、手振れを軽減するために、撮像領域201、204または207をずらした場合のずれ量でもよい。
(第2の実施形態)
図6は、本発明の第2の実施形態に係わる撮像装置の回路構成を示す図である。
第1の実施形態の回路構成図である図1と同じ回路については同じ番号を付している。
第1の実施形態との相違点は、ずれ量検出回路119の変わりに手ぶれ検出回路124が設けられている点である。手ぶれ検出回路124はジャイロなどで振動を検知し、手ぶれによるずれ量を測定する。このずれ量を焦点検出用画素合成回路121およびシステムコントローラ113へ出力する。
焦点検出用画素合成回路121において、DRAM111から画像データが読み出され、手ぶれ検出回路124において検出されたずれ量を重み付けの係数とし、第1の実施形態でも述べたように焦点検出用画素を加算平均または補間する。加算平均または補間された焦点検出用画素情報は、スイッチ回路123を介して位相差AF回路108へ出力され、AF処理が行われる。
なお、図1および図6におけるアクチュエータ120は、手ぶれのないときに撮像素子を任意の位置に移動させ、複数回のずらした画像を得るために必要となる。しかし、手ぶれのあるときについては、ずれ量検出回路119や手ぶれ検出回路124によって画像間のずれ量を検出し、AF抽出画像の加算平均および補間する際の重み付けの係数を割り出すことができるため、設置しなくてもよい。

Claims (4)

  1. 撮像レンズにより結像された被写体像を光電変換して画像信号を生成するための複数の撮像用画素と、該複数の撮像用画素の間に離散的に配置された複数の焦点検出用画素とを有する撮像素子を備える撮像手段と、
    前記撮像手段から連続的に得られる互いに位置がずれた1回目の撮像で取得した画像信号に含まれる前記撮像用画素の信号と2回目の撮像で取得した画像信号に含まれる前記撮像用画素の信号とを用いて、前記1回目の撮像と2回目の撮像の画像の位置ずれ量を検出するずれ検出手段と、
    前記ずれ検出手段により検出された画像の位置ずれ量に基づいた重み付けで、前記1回目の撮像で取得した前記焦点検出用画素の信号と前記2回目の撮像で取得した前記焦点検出用画素の信号とを合成する合成手段と、
    前記合成手段により合成される前の前記焦点検出用画素の信号と前記合成手段により合成された前記焦点検出用画素の信号とを用いて前記撮像レンズの焦点調節を行う焦点調節手段と、
    を備えることを特徴とする撮像装置。
  2. 前記互いに位置がずれた前記1回目の撮像と2回目の撮像の画像を得るために、前記撮像素子の位置をシフトさせるシフト手段をさらに備えることを特徴とする請求項1に記載の撮像装置。
  3. 前記合成手段は、前記1回目の撮像と2回目の撮像の画像信号に含まれる前記焦点検出用画素の信号とその近隣の焦点検出用画素の信号を、前記位置ずれ量に基づいて加算平均することによって、前記1回目の撮像と2回目の撮像の画像信号に含まれる前記焦点検出用画素の信号を合成することを特徴とする請求項1に記載の撮像装置。
  4. 撮像レンズにより結像された被写体像を光電変換して画像信号を生成するための複数の撮像用画素と、該複数の撮像用画素の間に離散的に配置された複数の焦点検出用画素とを有する撮像素子を備える撮像手段を有する撮像装置の制御方法であって、
    前記撮像手段から連続的に得られる互いに位置がずれた1回目の撮像で取得した画像信号に含まれる前記撮像用画素の信号と2回目の撮像で取得した画像信号に含まれる前記撮像用画素の信号とを用いて、前記1回目の撮像と2回目の撮像の画像の位置ずれ量を検出するずれ検出工程と、
    前記ずれ検出工程で検出された画像の位置ずれ量に基づいた重み付けで、前記1回目の撮像で取得した前記焦点検出用画素の信号と前記2回目の撮像で取得した前記焦点検出用画素の信号とを合成する合成工程と、
    前記合成工程で合成される前の前記焦点検出用画素の信号と前記合成工程で合成された前記焦点検出用画素の信号とを用いて前記撮像レンズの焦点調節を行う焦点調節工程と、
    を備えることを特徴とする撮像装置の制御方法。
JP2009108464A 2008-04-30 2009-04-27 撮像装置及びその制御方法 Expired - Fee Related JP5421647B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009108464A JP5421647B2 (ja) 2008-04-30 2009-04-27 撮像装置及びその制御方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008119057 2008-04-30
JP2008119057 2008-04-30
JP2009108464A JP5421647B2 (ja) 2008-04-30 2009-04-27 撮像装置及びその制御方法

Publications (2)

Publication Number Publication Date
JP2009288780A JP2009288780A (ja) 2009-12-10
JP5421647B2 true JP5421647B2 (ja) 2014-02-19

Family

ID=41255171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009108464A Expired - Fee Related JP5421647B2 (ja) 2008-04-30 2009-04-27 撮像装置及びその制御方法

Country Status (6)

Country Link
US (1) US8477231B2 (ja)
EP (1) EP2277072A4 (ja)
JP (1) JP5421647B2 (ja)
KR (1) KR101256961B1 (ja)
CN (1) CN102016681B (ja)
WO (1) WO2009133960A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5464982B2 (ja) * 2009-11-20 2014-04-09 キヤノン株式会社 撮像装置および画像処理方法
WO2011136031A1 (ja) * 2010-04-28 2011-11-03 富士フイルム株式会社 撮像装置
JP5714931B2 (ja) * 2011-02-15 2015-05-07 オリンパス株式会社 撮像装置
JP5791349B2 (ja) * 2011-04-21 2015-10-07 キヤノン株式会社 撮像装置及びその制御方法
JP5991461B2 (ja) * 2012-02-06 2016-09-14 株式会社ニコン 撮像装置およびその撮像プログラム
JP5942697B2 (ja) * 2012-08-21 2016-06-29 株式会社ニコン 焦点検出装置および撮像装置
JP5967432B2 (ja) * 2012-09-11 2016-08-10 ソニー株式会社 処理装置、処理方法、及び、プログラム
KR102039464B1 (ko) * 2013-05-21 2019-11-01 삼성전자주식회사 전자 센서와, 그의 제어 방법
KR102126505B1 (ko) * 2013-11-07 2020-06-24 삼성전자주식회사 디지털 촬영 장치 및 그 제어방법
US9380211B2 (en) * 2014-03-13 2016-06-28 Invensense, Inc. Image stabilization using light sensors
JP6532411B2 (ja) * 2016-01-14 2019-06-19 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
CN105786384B (zh) * 2016-02-26 2019-07-30 努比亚技术有限公司 一种调节焦点装置和方法
CN106101556B (zh) * 2016-07-29 2017-10-20 广东欧珀移动通信有限公司 移动终端的图像合成方法、装置及移动终端
US10554877B2 (en) * 2016-07-29 2020-02-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image synthesis method and apparatus for mobile terminal, and mobile terminal
JP7047907B2 (ja) * 2018-05-23 2022-04-05 株式会社ニコン 撮像素子および撮像装置
US10410368B1 (en) * 2018-09-27 2019-09-10 Qualcomm Incorporated Hybrid depth processing

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01138402A (ja) 1987-11-25 1989-05-31 Konica Corp 変位・傾き測定装置
JP3190220B2 (ja) * 1994-12-20 2001-07-23 シャープ株式会社 撮像装置
JPH0974524A (ja) * 1995-07-05 1997-03-18 Sharp Corp 画像入力装置
JPH0965219A (ja) 1995-08-24 1997-03-07 Sony Corp 撮像装置
US6429895B1 (en) * 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
JP3530696B2 (ja) 1996-12-27 2004-05-24 キヤノン株式会社 撮像装置
JP3592147B2 (ja) * 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP4624604B2 (ja) 2001-07-10 2011-02-02 オリンパス株式会社 画像取得装置
JP2003250080A (ja) 2002-02-22 2003-09-05 Canon Inc 撮影装置および撮影システム
JP4038103B2 (ja) 2002-09-25 2008-01-23 富士フイルム株式会社 オートフォーカスカメラ
JP2005303409A (ja) * 2004-04-07 2005-10-27 Canon Inc 固体撮像装置
JP5121120B2 (ja) * 2005-02-08 2013-01-16 キヤノン株式会社 焦点検出装置および光学機器
JP4662880B2 (ja) * 2006-04-03 2011-03-30 三星電子株式会社 撮像装置,及び撮像方法
JP5157084B2 (ja) 2006-05-17 2013-03-06 株式会社ニコン 相関演算装置、焦点検出装置および撮像装置
JP5176959B2 (ja) * 2006-09-14 2013-04-03 株式会社ニコン 撮像素子および撮像装置
JP5028930B2 (ja) * 2006-09-28 2012-09-19 株式会社ニコン 焦点検出装置および撮像装置
JP4973273B2 (ja) * 2007-03-28 2012-07-11 株式会社ニコン デジタルカメラ
US7978255B2 (en) * 2007-10-11 2011-07-12 Nikon Corporation Solid-state image sensor and image-capturing device

Also Published As

Publication number Publication date
EP2277072A1 (en) 2011-01-26
KR101256961B1 (ko) 2013-04-26
KR20100135308A (ko) 2010-12-24
US20110013061A1 (en) 2011-01-20
EP2277072A4 (en) 2011-08-31
CN102016681B (zh) 2012-07-18
CN102016681A (zh) 2011-04-13
JP2009288780A (ja) 2009-12-10
WO2009133960A1 (en) 2009-11-05
US8477231B2 (en) 2013-07-02

Similar Documents

Publication Publication Date Title
JP5421647B2 (ja) 撮像装置及びその制御方法
JP4469018B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラムおよび当該コンピュータプログラムを記録した記録媒体、フレーム間動き算出方法および画像処理方法
US8368771B2 (en) Generating a synthesized image from a plurality of images
JP4638361B2 (ja) 撮像装置
US20110080503A1 (en) Image sensing apparatus
US8982248B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP2012199752A (ja) 画像処理装置と画像処理方法およびプログラム
JP5729237B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4105967B2 (ja) デジタルスチルカメラ
US20070216795A1 (en) Automatic Focus Control Apparatus and Method, Recording Medium and Program
JP2013165487A (ja) 画像処理装置、撮像装置、およびプログラム
JP2011114823A (ja) 画像処理装置及び撮像装置
US9060160B2 (en) Image generation device, imaging device, image reproduction device, and image reproduction program
JP6037224B2 (ja) 画像処理装置、撮像装置、およびプログラム
JP4953770B2 (ja) 撮像装置
JP5683858B2 (ja) 撮像装置
JP4969349B2 (ja) 撮像装置及び撮像方法
JP2011135537A (ja) 撮像装置及び撮像装置の制御方法
JP2004015236A (ja) 撮像装置
JP5938842B2 (ja) 撮像装置及びaf評価値算出方法、並びにプログラム
JP5300606B2 (ja) 撮像装置及びその制御方法
JP5306068B2 (ja) 撮像装置及びその制御方法
JP2010283630A5 (ja)
JP2006157433A (ja) 画像処理装置
JP2010283659A5 (ja)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131122

R151 Written notification of patent or utility model registration

Ref document number: 5421647

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees