JP5361356B2 - Focus detection apparatus and control method thereof - Google Patents

Focus detection apparatus and control method thereof Download PDF

Info

Publication number
JP5361356B2
JP5361356B2 JP2008312810A JP2008312810A JP5361356B2 JP 5361356 B2 JP5361356 B2 JP 5361356B2 JP 2008312810 A JP2008312810 A JP 2008312810A JP 2008312810 A JP2008312810 A JP 2008312810A JP 5361356 B2 JP5361356 B2 JP 5361356B2
Authority
JP
Japan
Prior art keywords
focus detection
imaging
signal
pixels
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008312810A
Other languages
Japanese (ja)
Other versions
JP2010139520A (en
Inventor
雄史 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008312810A priority Critical patent/JP5361356B2/en
Publication of JP2010139520A publication Critical patent/JP2010139520A/en
Application granted granted Critical
Publication of JP5361356B2 publication Critical patent/JP5361356B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a hybrid AF device which improves precision in predicting a moving object. <P>SOLUTION: The hybrid AF device includes; an imaging element 5 for picking up an image of an object; a focus-detecting device 6 which detects a focus on the basis of a phase difference between a pair of object images to which pupil division is made; and a submirror 3 which retreats from luminous flux from the object when the imaging element 5 picks up the image. The imaging element 5 constitutes a phase difference-detecting part which detects the focus on the basis of the phase difference between the pair of object images to which the pupil division is made, and prediction control is made by using both a defocus amount, which is detected by the focus-detecting device 6, and a defocus amount detected by the phase difference-detecting part. <P>COPYRIGHT: (C)2010,JPO&amp;INPIT

Description

本発明は、焦点検出装置に係り、特に、動体予測精度を向上させた焦点検出装置に関する。 The present invention relates to a focus detection apparatus, and more particularly to a focus detection apparatus with improved moving object prediction accuracy.

動体予測AFにおいて、位相差検出方式により得られるデフォーカス量に基づき、過去の複数回のデフォーカス量から予測して次回のフォーカス位置を予測する方法が、例えば特許文献1に開示されている。   For example, Patent Document 1 discloses a method of predicting a next focus position by predicting from a plurality of past defocus amounts based on a defocus amount obtained by a phase difference detection method in moving object prediction AF.

また、ハイブリッドAFに関して、被写体からの光束を複数の光束に分割して、その一方を位相差検出方式により焦点検出し、他方の光束を撮像素子によるコントラスト検出方式により焦点検出するハイブリッドAF装置が、例えば特許文献2に開示されている。
特開平10−068865号公報 特開2006−251065号公報
Also, with regard to hybrid AF, a hybrid AF apparatus that divides a light beam from a subject into a plurality of light beams, detects one of the focus points by a phase difference detection method, and detects the focus of the other light beam by a contrast detection method using an image sensor, For example, it is disclosed in Patent Document 2.
Japanese Patent Laid-Open No. 10-068865 JP 2006-251065 A

ところが、従来の動体予測AFでは、レリーズ中であるミラーアップ中において、位相差検出方式によりデフォーカス量の検出を行うことはできない。このため、連写撮影中の動体予測は、レリーズ前のデフォーカス量とレリーズ後のデフォーカス量を用いて行っていた。   However, in the conventional moving object prediction AF, the defocus amount cannot be detected by the phase difference detection method while the mirror is being raised. For this reason, the moving object prediction during continuous shooting is performed using the defocus amount before the release and the defocus amount after the release.

しかしながら、レリーズ時間(ミラーアップ時間や撮影時間)が長い場合には、デフォーカス量の検出間隔が長くなる。このため、動体予測の精度が悪化していた。   However, when the release time (mirror up time or photographing time) is long, the defocus amount detection interval becomes long. For this reason, the accuracy of moving object prediction has deteriorated.

また、上記技術とは別に、従来のハイブリッドAFは、位相差検出方式とコントラスト検出方式を用いるハイブリッドAFであった。コントラスト検出方式では、デフォーカス検出ができない。このため、撮影中の焦点検出データ(コントラスト検出よる焦点検出データ)を位相差検出方式による動体予測等に利用することができなかった。   In addition to the above technique, the conventional hybrid AF is a hybrid AF using a phase difference detection method and a contrast detection method. Defocus detection is not possible with the contrast detection method. For this reason, focus detection data during shooting (focus detection data based on contrast detection) cannot be used for moving object prediction by the phase difference detection method.

そこで本発明は、動体予測精度を向上させたハイブリッドAF装置を提供する。   Therefore, the present invention provides a hybrid AF apparatus with improved moving object prediction accuracy.

本発明の一側面としての焦点検出装置は、撮影光学系を介して入射された被写体像光を撮像して撮像信号を出力する撮像素子と、瞳分割された一対の被写体像の位相差に基づいて焦点検出を行う第1の焦点検出手段と、前記撮像素子による撮像の際に前記被写体からの光束から退去するミラーと、前記撮像素子を用いて得られた前記撮像信号に基づく映像信号を記録媒体に記録する記録手段と、を有し、前記撮像素子は、瞳分割された一対の被写体像の位相差に基づいて焦点検出を行う第2の焦点検出手段を構成し、ミラーダウンして前記第1の焦点検出手段でデフォーカス量を検出し、ミラーアップして前記第2の焦点検出手段で前記記録媒体に記録する映像信号前記撮像信号に基づいてデフォーカス量を検出した後、ミラーダウンして前記第1の焦点検出手段でデフォーカス量を検出し、得られた複数のデフォーカス量に基づいて、前記撮影光学系の焦点が合う位置を予測し、前記撮影光学系の焦点状態を調節する制御が行われる。 A focus detection apparatus according to an aspect of the present invention is based on an imaging element that captures subject image light incident via a photographing optical system and outputs an imaging signal, and a phase difference between a pair of pupil-divided subject images. Recording a video signal based on the imaging signal obtained using the imaging device, a first focus detection means for performing focus detection, a mirror that retreats from the light beam from the subject during imaging by the imaging device Recording means for recording on a medium, and the imaging device constitutes second focus detection means for performing focus detection based on a phase difference between a pair of subject images divided into pupils, and mirrors down to after detecting a defocus amount based on the imaging signal of the video signal for detecting a defocus amount by the first focus detection means, recorded on the recording medium by the mirror-up by the second focus detection unit, Mirror down Serial detecting a defocus amount by the first focus detection unit, based on a plurality of defocus amounts obtained, predicts the position where the focal point of the imaging optical system is aligned, to adjust the focus state of the photographing optical system Control is performed.

本発明の他の側面としての焦点検出装置の制御方法は、焦点検出装置の制御方法であって、前記焦点検出装置は、撮影光学系を介して入射された被写体像光を撮像して撮像信号を出力する撮像素子と、瞳分割された一対の被写体像の位相差に基づいて焦点検出を行う第1の焦点検出手段と、前記撮像素子による撮像の際に前記被写体からの光束から退去するミラーと前記撮像素子を用いて得られた前記撮像信号に基づく映像信号を記録媒体に記録する記録手段とを有し、前記撮像素子は、瞳分割された一対の被写体像の位相差に基づいて焦点検出を行う第2の焦点検出手段を構成し、ミラーダウンして前記第1の焦点検出手段デフォーカス量検出するステップと、ミラーアップして前記第2の焦点検出手段で前記記録媒体に記録する映像信号前記撮像信号に基づいてデフォーカス量を検出するステップと、ミラーダウンして前記第1の焦点検出手段でデフォーカス量を検出し、得られた複数のデフォーカス量に基づいて前記撮影光学系の焦点が合う位置を予測し、前記撮影光学系の焦点状態を調節する制御を行うステップと、を有する。 A control method for a focus detection apparatus according to another aspect of the present invention is a control method for a focus detection apparatus, wherein the focus detection apparatus images an object image light incident via a photographing optical system and captures an image signal. , A first focus detection unit that performs focus detection based on the phase difference between a pair of subject images that are divided into pupils, and a mirror that retreats from the light beam from the subject during imaging by the image sensor When, and recording means for recording a video signal based on the imaging signal obtained by using the imaging element to the recording medium, the image pickup device based on the phase difference between a pair of subject image pupil division constitute a second focus detection means for performing focus detection, a step of detecting a defocus amount by the first focus detection unit and the mirror down, the recording medium is mirror-up by the second focus detection unit To record Detecting a defocus amount based on the imaging signal of the signal, and mirror-down detecting a defocus amount by the first focus detection unit, the imaging based on the plurality of defocus amounts obtained Predicting a position where the optical system is in focus, and controlling to adjust the focus state of the photographing optical system .

本発明の他の目的及び特徴は、以下の実施例において説明される。   Other objects and features of the present invention are illustrated in the following examples.

本発明によれば、動体予測精度を向上させた焦点検出装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the focus detection apparatus which improved the moving body prediction precision can be provided.

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。     Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In each figure, the same members are denoted by the same reference numerals, and redundant description is omitted.

まず、本実施例におけるハイブリッドAF装置の構成について説明する。図1は、本実施例における一眼レフレックスカメラ(ハイブリッドAF装置)の概略構成を示す断面図である。   First, the configuration of the hybrid AF apparatus in the present embodiment will be described. FIG. 1 is a cross-sectional view showing a schematic configuration of a single-lens reflex camera (hybrid AF device) in the present embodiment.

図1において、1は撮影レンズである。本図では、便宜上、撮影レンズ1として2枚のレンズが示されているが、撮影レンズ1は実際には多数のレンズから構成されている。2は主ミラーである。主ミラー2は、観察状態と撮影状態に応じて、被写体からの光束に対して斜設又は退去される。   In FIG. 1, reference numeral 1 denotes a photographing lens. In this figure, for convenience, two lenses are shown as the photographing lens 1, but the photographing lens 1 is actually composed of a large number of lenses. Reference numeral 2 denotes a main mirror. The main mirror 2 is inclined or moved with respect to the light beam from the subject according to the observation state and the photographing state.

3はサブミラーである。サブミラー3は、被写体からの光束に対して斜設された主ミラー2を透過した光束を、カメラボディの下方へ向けて反射する。サブミラー3は、撮像素子5による撮像の際に、被写体からの光束から退去するミラーである。   3 is a submirror. The sub mirror 3 reflects the light beam transmitted through the main mirror 2 obliquely arranged with respect to the light beam from the subject toward the lower side of the camera body. The sub-mirror 3 is a mirror that retreats from the light flux from the subject when the image sensor 5 captures an image.

4はシャッタである。5はCCD、CMOS等の撮像素子(固体撮像素子)である。撮像素子5は、被写体像を撮像するために用いられる。また、撮像素子5は、瞳分割された一対の被写体像の位相差に基づいて焦点検出を行う位相差検出部(第2の焦点検出手段)を構成する。本実施例において、例えば、撮像素子5による撮像の際には、第2の焦点検出手段である位相差検出部を用いてAF制御が行われる。   Reference numeral 4 denotes a shutter. Reference numeral 5 denotes an image sensor (solid-state image sensor) such as a CCD or CMOS. The image sensor 5 is used to capture a subject image. In addition, the image sensor 5 constitutes a phase difference detection unit (second focus detection unit) that performs focus detection based on the phase difference between a pair of subject images obtained by pupil division. In the present embodiment, for example, at the time of image pickup by the image pickup device 5, AF control is performed using a phase difference detection unit which is a second focus detection unit.

6は焦点検出装置(第1の焦点検出手段)である。焦点検出装置6は、結像面の近傍に配置されたフィールドレンズ6a、反射ミラー6b、6c、2次結像レンズ6d、絞り6e、及び、複数のCCD等を備えたエリアセンサ6f等から構成されている。焦点検出装置6は、瞳分割された一対の被写体像の位相差に基づいて焦点検出を行う瞳分割位相差検出手段である。本実施例において、例えば、撮像素子5による撮像の前後には、第1の焦点検出手段である焦点検出装置6を用いてAF制御が行われる。   Reference numeral 6 denotes a focus detection device (first focus detection means). The focus detection device 6 includes a field lens 6a, reflection mirrors 6b and 6c, a secondary imaging lens 6d, an aperture 6e, an area sensor 6f including a plurality of CCDs, and the like disposed in the vicinity of the imaging surface. Has been. The focus detection device 6 is pupil division phase difference detection means for performing focus detection based on the phase difference between a pair of subject images that have been pupil-divided. In the present embodiment, for example, AF control is performed using the focus detection device 6 as the first focus detection means before and after imaging by the image sensor 5.

7はファインダ光路変更用のペンタプリズムである。撮影レンズ1に取り入れられた被写体光(ファインダー光A)は、主ミラー2を介し、光の一方は、ペンタプリズム7に入射して接眼部に導かれる。光の他の一方は、主ミラー2を通過し、サブミラー3を介して瞳分割位相差検出手段である焦点検出装置6へ導かれる。   Reference numeral 7 denotes a finder optical path changing pentaprism. Subject light (finder light A) taken into the photographic lens 1 passes through the main mirror 2, and one of the lights enters the pentaprism 7 and is guided to the eyepiece. The other part of the light passes through the main mirror 2 and is guided through the sub mirror 3 to the focus detection device 6 which is a pupil division phase difference detection means.

撮影状態時、主ミラー2及びサブミラー3は、被写体からの光束に対して斜設又は退去される。このため、被写体光は、位相差検出部を構成する撮像素子5に導かれる。   In the photographing state, the main mirror 2 and the sub mirror 3 are inclined or moved away from the light flux from the subject. For this reason, the subject light is guided to the image sensor 5 constituting the phase difference detection unit.

次に、位相差検出部(第2の焦点検出手段)を備えた撮像素子5の構成について、図2乃至図11を参照しながら説明する。   Next, the configuration of the image sensor 5 including the phase difference detection unit (second focus detection means) will be described with reference to FIGS.

図2は、本実施例の撮像素子5における撮像用画素の構成図である。   FIG. 2 is a configuration diagram of imaging pixels in the imaging device 5 of the present embodiment.

本実施例では、2行×2列の4画素のうち、右上及び左下の対角2画素に、G(緑色)の分光感度を有する画素が配置されている。また、左上及び右下の他の2画素に、R(赤色)とB(青色)の分光感度を有する画素がそれぞれ1個配置されている。このように、本実施例では、ベイヤー配列が採用されている。そして、このベイヤー配列の間に、後述の焦点検出用画素が所定の規則にて分散配置される。   In the present embodiment, among the four pixels of 2 rows × 2 columns, pixels having a G (green) spectral sensitivity are arranged in two diagonal pixels on the upper right and lower left. In addition, one pixel having spectral sensitivity of R (red) and B (blue) is arranged in each of the other two pixels at the upper left and lower right. Thus, in the present embodiment, a Bayer array is adopted. In addition, focus detection pixels, which will be described later, are distributed in a predetermined rule between the Bayer arrays.

図2には、撮像素子5における撮像用画素の配置及びその構造が示されている。図2(a)は、2行×2列の撮像用画素の平面図である。周知のように、ベイヤー配列では、対角方向の2画素にG画素が配置され、また、他の2画素にR画素及びB画素が配置される。そして、このような2行×2列の構造が、繰り返し配置される。   FIG. 2 shows the arrangement and structure of imaging pixels in the imaging device 5. FIG. 2A is a plan view of 2 × 2 imaging pixels. As is well known, in the Bayer array, G pixels are arranged in two pixels in the diagonal direction, and R pixels and B pixels are arranged in the other two pixels. Such a structure of 2 rows × 2 columns is repeatedly arranged.

図2(b)は、図2(a)におけるA−A断面図である。MLは、各画素の最前面に配置されたオンチップマイクロレンズ、CFはR(赤色)のカラーフィルタ、CFはG(緑色)のカラーフィルタである。PD(Photo Diode)は、CMOSイメージセンサの光電変換素子を模式的に示したものである。CL(Contact Layer)は、CMOSイメージセンサ内の各種信号を伝達する信号線を形成するための配線層である。TLは撮影光学系を模式的に示したものである。 FIG.2 (b) is AA sectional drawing in Fig.2 (a). ML is on-chip microlens arranged in front of each pixel, CF R is a color filter, CF G of R (red), a G (green) color filter. PD (Photo Diode) schematically shows a photoelectric conversion element of a CMOS image sensor. CL (Contact Layer) is a wiring layer for forming signal lines for transmitting various signals in the CMOS image sensor. TL schematically shows the photographing optical system.

ここで、撮像用画素のオンチップマイクロレンズML及び光電変換素子PDは、撮影光学系TL(Taking Lens)を通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系TLの射出瞳EP(Exit Pupil)及び光電変換素子PDは、マイクロレンズMLにより共役関係にあり、かつ、光電変換素子PDの有効面積は大面積に設計される。   Here, the on-chip microlens ML and the photoelectric conversion element PD of the imaging pixel are configured to capture the light flux that has passed through the photographing optical system TL (Taking Lens) as effectively as possible. In other words, the exit pupil EP (Exit Pupil) and the photoelectric conversion element PD of the photographing optical system TL are in a conjugate relationship by the microlens ML, and the effective area of the photoelectric conversion element PD is designed to be large.

なお、図2(b)においてはR画素の入射光束について説明したが、G画素及びB(青色)画素についても同一の構成を有する。従って、撮像用のRGB各画素に対応した射出瞳EPは、大径となり、被写体からの光束(光量子)を効率よく取り込み、画像信号のS/Nを向上させることができる。   In FIG. 2B, the incident light beam of the R pixel has been described, but the G pixel and the B (blue) pixel have the same configuration. Therefore, the exit pupil EP corresponding to each RGB pixel for imaging has a large diameter, and can efficiently capture the light flux (photon) from the subject and improve the S / N of the image signal.

図3は、撮影光学系の水平方向(横方向)に瞳分割を行うための焦点検出用画素の構成図である。ここで、水平方向(横方向)とは、撮影光学系の光軸と撮影画面の長辺とが地面に平行となるように撮像装置を構えたとき、この光軸に直交し、かつ、水平方向に伸びる直線に沿った方向をいう。   FIG. 3 is a configuration diagram of focus detection pixels for performing pupil division in the horizontal direction (lateral direction) of the photographing optical system. Here, the horizontal direction (lateral direction) is orthogonal to the optical axis when the imaging apparatus is set so that the optical axis of the imaging optical system and the long side of the imaging screen are parallel to the ground, and the horizontal direction. A direction along a straight line extending in the direction.

図3(a)は、焦点検出用画素を含む2行×2列の画素の平面図である。記録又は観賞のための画像信号を得る場合、G画素で輝度情報の主成分を取得する。人間の画像認識特性は輝度情報に敏感であるため、G画素が欠損すると、画質劣化が認知されやすい。一方、R画素又はB画素は、色情報(色差情報)を取得する画素である。しかし、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素に多少の欠損が生じても、画質劣化は認識され難い。   FIG. 3A is a plan view of pixels of 2 rows × 2 columns including focus detection pixels. When obtaining an image signal for recording or viewing, the main component of luminance information is acquired by G pixels. Since human image recognition characteristics are sensitive to luminance information, image quality degradation is easily perceived when G pixels are lost. On the other hand, the R pixel or the B pixel is a pixel for obtaining color information (color difference information). However, since human visual characteristics are insensitive to color information, even if there are some defects in the pixels from which the color information is acquired, image quality degradation is difficult to recognize.

そこで、本実施例においては、2行×2列の画素のうち、G画素は撮像用画素として残し、R画素及びB画素を焦点検出用画素に置き換える。図3(a)において、この焦点検出用画素は、SHA及びSHBと示される。 Therefore, in this embodiment, among the pixels of 2 rows × 2 columns, the G pixel is left as an imaging pixel, and the R pixel and the B pixel are replaced with focus detection pixels. In FIG. 3A, the focus detection pixels are denoted as S HA and S HB .

図3(b)は、図3(a)におけるA−A断面図である。マイクロレンズML及び光電変換素子PDは、図2(b)に示される撮像用画素と同一構造である。本実施例では、焦点検出用画素の信号は、画像生成のためには用いられない。このため、色分離用カラーフィルタの代わりに、透明膜CF(白色)が配置される。 FIG.3 (b) is AA sectional drawing in Fig.3 (a). The microlens ML and the photoelectric conversion element PD have the same structure as the imaging pixel shown in FIG. In this embodiment, the focus detection pixel signal is not used for image generation. For this reason, the transparent film CF W (white) is disposed instead of the color separation color filter.

また、撮像素子5で瞳分割を行うため、配線層CLの開口部は、マイクロレンズMLの中心線に対して一方向に偏倚している。具体的には、画素SHAの開口部OPHAは右側に偏倚しているため、撮影光学系TLの左側の射出瞳EPHAを通過した光束を受光する。同様に、画素SHBの開口部OPHBは左側に偏倚しているため、撮影光学系TLの右側の射出瞳EPHBを通過した光束を受光する。 Further, since pupil division is performed by the image sensor 5, the opening of the wiring layer CL is biased in one direction with respect to the center line of the microlens ML. Specifically, since the opening OP HA of the pixel S HA is biased to the right side, the light beam that has passed through the left exit pupil EP HA of the imaging optical system TL is received. Similarly, since the opening OP HB of the pixel S HB is biased to the left side, the light beam that has passed through the right exit pupil EP HB of the imaging optical system TL is received.

このような画素SHAを水平方向に規則的に配列し、これらの画素群で取得した被写体像をA像とする。また、画素SHも水平方向に規則的に配列し、これらの画素群で取得した被写体像をB像とする。そして、A像とB像の相対位置を検出することにより、被写体像のピントずれ量(デフォーカス量)を検出することができる。 Such pixels SHA are regularly arranged in the horizontal direction, and a subject image acquired by these pixel groups is defined as an A image. Further, the pixels SH B are also regularly arranged in the horizontal direction, and the subject image acquired by these pixel groups is defined as a B image. Then, by detecting the relative positions of the A image and the B image, it is possible to detect the focus shift amount (defocus amount) of the subject image.

なお、上述の画素SHA及びSHBでは、撮影画面の横方向に輝度分布を有する被写体、例えば縦線に対する焦点検出が可能である。しかし、縦方向に輝度分布を有する横線に対しては、焦点検出が不可能である。そこで本実施例では、後者についても焦点状態を検出できるように、撮影光学系の垂直方向(縦方向)にも瞳分割を行う画素を備えている。 Note that, in the pixels S HA and S HB described above, focus detection can be performed on an object having a luminance distribution in the horizontal direction of the shooting screen, for example, a vertical line. However, focus detection is impossible for a horizontal line having a luminance distribution in the vertical direction. Therefore, in this embodiment, pixels that perform pupil division are also provided in the vertical direction (longitudinal direction) of the photographing optical system so that the focus state can be detected for the latter.

次に、図4及び図5を参照して、図2及び図3に示される撮像素子の撮像用画素及び焦点検出用画素の配置規則について説明する。   Next, with reference to FIGS. 4 and 5, the arrangement rule of the imaging pixels and focus detection pixels of the imaging device shown in FIGS. 2 and 3 will be described.

図4は、撮像用画素の間に焦点検出用画素を離散的に配置する場合における最小単位の配置規則の説明図である。図4において、10行×10列=100画素の正方形領域を1つのブロックと定義する。左上のブロックBLKh(1、1)において、一番左下のR画素とB画素を、水平方向(第2の方向)に瞳分割を行う1組の焦点検出用画素SHA及びSHBで置き換える。 FIG. 4 is an explanatory diagram of a minimum unit arrangement rule when focus detection pixels are discretely arranged between imaging pixels. In FIG. 4, a square area of 10 rows × 10 columns = 100 pixels is defined as one block. In the upper left block BLKh (1, 1), the lower left R pixel and B pixel are replaced with a set of focus detection pixels S HA and S HB that perform pupil division in the horizontal direction (second direction).

その右隣りのブロックBLKv(1、2)においては、ブロックBLKhと同様に、一番左下のR画素とB画素を、垂直方向(第1の方向)に瞳分割を行う1組の焦点検出用画素SVC及びSVDで置き換える。 In the block BLKv (1, 2) on the right side, as in the block BLKh, a set of focus detections for dividing the lower left R pixel and B pixel in the vertical direction (first direction). Replace with pixels S VC and S VD .

また、最初のブロックBLKh(1、1)の下に隣接したブロックBLKv(2、1)の画素配列は、ブロックBLKv(1、2)と同一である。そして、その右隣りのブロックBLKh(2、2)の画素配列は、ブロックBLKh(1、1)と同一である。   The pixel arrangement of the block BLKv (2, 1) adjacent below the first block BLKh (1, 1) is the same as that of the block BLKv (1, 2). The pixel arrangement of the block BLKh (2, 2) on the right is the same as that of the block BLKh (1, 1).

この配置規則を一般化すると、ブロックBLK(i、j)において、i+jが偶数であれば水平瞳分割用の焦点検出画素を配置し、i+jが奇数であれば垂直瞳分割用の焦点検出画素を配置することになる。そして、図4の2×2=4ブロック、すなわち20行×20列=400画素の領域を、ブロックの上位の配列単位として、クラスタと定義する。   Generalizing this arrangement rule, in block BLK (i, j), if i + j is an even number, a horizontal pupil division focus detection pixel is arranged, and if i + j is an odd number, a vertical pupil division focus detection pixel is arranged. Will be placed. Then, a 2 × 2 = 4 block in FIG. 4, that is, an area of 20 rows × 20 columns = 400 pixels is defined as a cluster as an upper array unit of the block.

図5は、本実施例の撮像素子において、上述のクラスタを単位とした配置規則の説明図である。図5において、20行×20列=400画素で構成された一番左上のクラスタをCST(u、w)=CST(1、1)とする。クラスタCST(1、1)においては、各ブロックの一番左下のR画素とB画素を、焦点検出用画素SHA及びSHB、又は、SVC及びSVDで置き換える。 FIG. 5 is an explanatory diagram of an arrangement rule with the above-described cluster as a unit in the image sensor of the present embodiment. In FIG. 5, the upper left cluster composed of 20 rows × 20 columns = 400 pixels is assumed to be CST (u, w) = CST (1, 1). In the cluster CST (1, 1), the lower left R pixel and B pixel of each block are replaced with focus detection pixels S HA and S HB or S VC and S VD .

その右隣りのクラスタCST(1、2)においては、ブロック内における焦点検出用画素の配置を、クラスタCST(1、1)に対して上方向に2画素分シフトした位置に配置する。また、最初のクラスタCST(1、1)の下に隣接したクラスタCST(2、1)においては、ブロック内における焦点検出用画素の配置を、クラスタCST(1、1)に対して右方向に2画素分シフトした位置に配置する。以上の規則を繰り返して適用すると、図5に示される配置が得られる。   In the cluster CST (1, 2) on the right side, the focus detection pixels in the block are arranged at positions shifted upward by two pixels with respect to the cluster CST (1, 1). In the cluster CST (2, 1) adjacent to the first cluster CST (1, 1), the focus detection pixel is arranged in the block in the right direction with respect to the cluster CST (1, 1). Arranged at a position shifted by two pixels. By repeatedly applying the above rules, the arrangement shown in FIG. 5 is obtained.

この配置規則を一般化すると、以下のようになる。なお、焦点検出用画素の座標は、図5に示されるG画素を含む4画素を一つの単位(ペア)とし、そのうちの左上の画素の座標で規定する。また、各ブロック内の座標は左上を(1、1)とし、下方向と右方向を正とする。   Generalizing this arrangement rule is as follows. Note that the coordinates of the focus detection pixels are defined by the coordinates of the upper left pixel of the four pixels including the G pixel shown in FIG. 5 as one unit (pair). The coordinates in each block are (1, 1) in the upper left, and positive in the lower and right directions.

以上の定義を適用すると、クラスタCST(u、w)において、各ブロック内の焦点検出用画素ペアの水平座標は2×u−1となり、垂直座標は11−2×wとなる。そして、図5の5×5=25クラスタ、すなわち100行×100列=1万画素の領域を、クラスタの上位の配列単位であるフィールドと定義する。   When the above definition is applied, in the cluster CST (u, w), the horizontal coordinate of the focus detection pixel pair in each block is 2 × u−1, and the vertical coordinate is 11-2 × w. Then, an area of 5 × 5 = 25 clusters in FIG. 5, that is, an area of 100 rows × 100 columns = 10,000 pixels is defined as a field which is an upper array unit of the cluster.

図6は、上記のフィールドを単位とした画素の配置規則の説明図であり、本実施例の撮像素子5における画素配列と焦点検出装置6の焦点検出エリアとの対応図である。   FIG. 6 is an explanatory diagram of pixel arrangement rules in units of the above-described fields, and is a correspondence diagram between the pixel arrangement in the image sensor 5 of the present embodiment and the focus detection area of the focus detection device 6.

同図において、100行×100列=1万画素で構成された一番左上のフィールドをFLD(q、r)=FLD(1、1)とする。そして、本実施例では、全てのフィールドFLD(q、r)は、先頭フィールドFLD(1、1)と同様の配列となっている。   In the figure, the upper left field composed of 100 rows × 100 columns = 10,000 pixels is assumed to be FLD (q, r) = FLD (1,1). In this embodiment, all the fields FLD (q, r) have the same arrangement as the head field FLD (1, 1).

そこで、FLD(1、1)を水平方向に55個、垂直方向に37個配列すると、5500列×3700行=2035万画素の撮像領域は、2035個のフィールドで構成される。そして、撮像領域の全面に渡って焦点検出用画素を均一に分布させることができる。   Accordingly, when 55 FLDs (1, 1) are arranged in the horizontal direction and 37 are arranged in the vertical direction, the imaging area of 5500 columns × 3700 rows = 20.35 million pixels is composed of 2035 fields. The focus detection pixels can be uniformly distributed over the entire surface of the imaging region.

ただし、全ての領域を使用して焦点検出を行うと、多大な演算時間が必要となる。このため、本実施例では、焦点検出装置6と対応した範囲に限定して、撮像素子5による位相差検出方法による焦点検出を行う。   However, if focus detection is performed using all regions, a large amount of calculation time is required. For this reason, in this embodiment, the focus detection is performed by the phase difference detection method using the image sensor 5 only in a range corresponding to the focus detection device 6.

図6に示される番号1〜9は、焦点検出装置6の焦点検出エリアである。それぞれの焦点検出エリア1〜9は、撮像素子5の範囲を焦点検出するように、光学的に配置されている。   Numbers 1 to 9 shown in FIG. 6 are focus detection areas of the focus detection device 6. Each of the focus detection areas 1 to 9 is optically arranged so as to detect the focus of the range of the image sensor 5.

図7は、図6に示される焦点検出エリアとフィールド番号の対応表である。例えば、焦点検出エリア1番は、FLD(9,27)〜FLD(11,29)の範囲と対応している。   FIG. 7 is a correspondence table between the focus detection areas and field numbers shown in FIG. For example, the focus detection area No. 1 corresponds to the range of FLD (9, 27) to FLD (11, 29).

次に、図8〜図11を参照して、焦点検出時の画素のグループと信号加算方法について説明する。   Next, a group of pixels and a signal addition method at the time of focus detection will be described with reference to FIGS.

図8は、本実施例の撮影光学系によって形成された被写体像について、横ずれ方向の焦点検出を行う場合の画素グループ化方法の説明図である。横ずれ方向の焦点検出とは、図3を参照して説明したように、撮影光学系の射出瞳を横方向(左右方向、水平方向)に分割するための焦点検出用画素を用いて、位相差式焦点検出を行うことである。   FIG. 8 is an explanatory diagram of a pixel grouping method when focus detection in the lateral shift direction is performed on the subject image formed by the photographing optical system of the present embodiment. As described with reference to FIG. 3, the focus detection in the lateral shift direction uses a focus detection pixel for dividing the exit pupil of the imaging optical system in the horizontal direction (left-right direction, horizontal direction), and uses a phase difference. Type focus detection.

図8に示される画素配列において、焦点検出の際には、横方向に1ブロック、縦方向に10ブロックの合計10ブロックを1つのグループとして、これをセクション(ここでは、第1のセクション)と定義する。本実施例では、一例として、横方向に複数配列された30個のセクションSCTh(k)(=SCTh(1)、SCTh(2)…SCTh(30))で、1つの焦点検出領域を構成する。すなわち、100行×300列=3万画素の領域が1つの焦点検出領域(第2の画素領域)となる。この1つの焦点検出領域をAFエリアと定義する。   In the pixel array shown in FIG. 8, when focus detection is performed, a total of 10 blocks of 1 block in the horizontal direction and 10 blocks in the vertical direction are grouped into one group (here, the first section). Define. In the present embodiment, as an example, one focus detection region is configured by 30 sections SCTh (k) (= SCTh (1), SCTh (2)... SCTh (30)) arranged in a plurality in the horizontal direction. . That is, an area of 100 rows × 300 columns = 30,000 pixels becomes one focus detection area (second pixel area). This one focus detection area is defined as an AF area.

1つのセクション内においては、横方向における一方の瞳分割を行う画素SHAが5個、他方の瞳分割を行う画素SHBも5個含まれている。そこで、本実施例においては、5個のSHAの出力を加算して1画素の信号とし、位相差演算用の一方の画像信号(A像と称する)の1AF画素を得る。同様に、5個のSHBの出力を加算して1画素の信号とし、位相差演算用の他方の画像信号(B像と称する)の1AF画素を得る。 In one section, five pixels S HA that perform one pupil division in the horizontal direction and five pixels S HB that perform the other pupil division are included. Therefore, in this embodiment, the outputs of the five SHAs are added to form a signal of one pixel, and 1 AF pixel of one image signal (referred to as A image) for phase difference calculation is obtained. Similarly, the outputs of the five SHBs are added to form a signal of one pixel, and 1AF pixel of the other image signal (referred to as B image) for phase difference calculation is obtained.

図9は、一つのセクションにおける被写体像の捕捉能力の説明図である。   FIG. 9 is an explanatory diagram of a subject image capturing capability in one section.

図9(a)は、図8の左端のセクションSCT(1)を切り出したものである。そして、下端に示された水平線PRJは、焦点検出用画素SHA及びSHBの瞳分割方向に延伸した第1の射影軸(Projection Line)、右端に示された垂直線PRJは、瞳分割方向と直交する方向に延伸した第2の射影軸である。ここで、1つのセクション内の画素SHAはすべて加算され、SHBも加算される。 FIG. 9A shows the section SCT h (1) at the left end of FIG. 8 cut out. The horizontal line PRJ h shown at the lower end is a first projection line extending in the pupil division direction of the focus detection pixels S HA and S HB , and the vertical line PRJ v shown at the right end is a pupil. It is the 2nd projection axis | shaft extended | stretched in the direction orthogonal to a division direction. Here, all the pixels S HA in one section are added, and S HB is also added.

1つのセクションを1つのAF画素と見なした場合、1つのAF画素に含まれる受光部を瞳分割方向の射影軸PRJに射影すると、画素SHAとSHBが交互に緻密に並ぶことがわかる。このときの、瞳分割方向の射影軸PRJにおける画素SHAの配列ピッチをP1とすると、P1=PH=2(単位は画素)となる。ピッチの代わりに空間周波数F1で表わすと、F1=0.5(単位は画素/画素)となる。同様に、射影軸PRJにおける画素SHBの配列ピッチもP1=2(単位は画素)、空間周波数表記ではF1=0.5(単位は画素/画素)となる。 When one section is regarded as one AF pixel, pixels S HA and S HB are alternately arranged densely when the light receiving portion included in one AF pixel is projected onto the projection axis PRJ h in the pupil division direction. Recognize. When the arrangement pitch of the pixels S HA on the projection axis PRJ h in the pupil division direction at this time is P1, P1 = PH h = 2 (unit is a pixel). When expressed by the spatial frequency F1 instead of the pitch, F1 = 0.5 (unit is pixel / pixel). Similarly, projection axis PRJ pixels in h S HB array pitch P1 = 2 (the unit is a pixel), the F1 = 0.5 (the unit is a pixel / pixel) of the spatial frequency notation.

一方、1つのAF画素に含まれる受光部を瞳分割方向と直交方向の射影軸PRJに射影すると、画素SHAとSHBはまばらに並ぶことがわかる。このときの、射影軸PRJにおける画素SHAの配列ピッチをP2とすると、P2=PH=20(単位は画素)となる。ピッチの代わりに空間周波数F2で表わすと、F2=0.05(単位は画素/画素)となる。同様に射影軸PRJにおける画素SHBの配列ピッチも、P2=20(単位は画素)、空間周波数表記ではF2=0.05(単位は画素/画素)となる。 On the other hand, when projecting the light receiving portions included in one AF pixel projection axis PRJ v in the pupil division direction and the perpendicular direction, the pixel S HA and S HB is seen that aligned sparsely. If the arrangement pitch of the pixels S HA on the projection axis PRJ v at this time is P2, then P2 = PH v = 20 (the unit is a pixel). When expressed by the spatial frequency F2 instead of the pitch, F2 = 0.05 (unit: pixel / pixel). Similarly, the array pitch of the pixels S HB along the projection PRJ v also, P2 = 20 (the unit is a pixel), a F2 = 0.05 (the unit is pixel / pixel) of the spatial frequency notation.

すなわち、本実施例におけるAF画素は、上記グループ化前の分散特性については、瞳分割方向とこれに直交する方向の配置上のピッチが等しい。しかしながら、グループ化する際のグループ形状を長方形とすることで、瞳分割方向のサンプリング誤差を低減している。   In other words, the AF pixels in this embodiment have the same disposition characteristics in the pupil division direction and the orthogonal direction with respect to the dispersion characteristics before grouping. However, the sampling error in the pupil division direction is reduced by making the group shape at the time of grouping rectangular.

具体的には、1セクションの瞳分割方向の最大寸法L1は10画素、瞳分割と直交する方向の最大寸法L2は100画素としている。すなわち、セクション寸法をL1<L2とすることで、瞳分割方向のサンプリング周波数F1を高周波(密)に、これと直交する方向のサンプリング周波数F2を低周波(疎)としている。   Specifically, the maximum dimension L1 in the pupil division direction of one section is 10 pixels, and the maximum dimension L2 in the direction orthogonal to the pupil division is 100 pixels. That is, by setting the section size to L1 <L2, the sampling frequency F1 in the pupil division direction is set to a high frequency (dense), and the sampling frequency F2 in a direction orthogonal to this is set to a low frequency (sparse).

図9(a)で説明されたAF画素(一つのセクション)に、細線の被写体像が投影された場合の画像捕捉能力を、図9(b)を参照して説明する。図9(b)において、LINEは、撮像素子5上に投影された細い縦線を表し、その幅は画素換算で4画素、画像の実寸では幅8μmになっている。このとき、セクションSCT(1)内では、ブロックBLK(3、1)とブロックBLK(5、1)に含まれる焦点検出用画素が被写体像を捕捉する。 With reference to FIG. 9B, description will be given of the image capturing ability when a thin subject image is projected onto the AF pixel (one section) described in FIG. 9A. In FIG. 9B, LINE v represents a thin vertical line projected on the image sensor 5 and has a width of 4 pixels in terms of pixels and an actual image width of 8 μm. At this time, in the section SCT h (1), the focus detection pixels included in the block BLK (3, 1) and the block BLK (5, 1) capture the subject image.

なお、被写体像の最小寸法は、撮影光学系の収差と撮像素子の前面に配置された光学LPFの特性で決まるが、通常は非常に細い線でも2画素以上の幅になる。従って、本実施例の1つのセクション内では、最低でも各1個ずつの画素SHAとSHBで画像を捕捉することになり、捕捉洩れは生じない。 Note that the minimum size of the subject image is determined by the aberration of the photographing optical system and the characteristics of the optical LPF disposed in front of the image sensor, but usually a very thin line has a width of two pixels or more. Therefore, in one section of this embodiment, an image is captured by at least one pixel S HA and S HB at least, and no capture leakage occurs.

一方、図9(b)のLINEは、撮像素子5上に投影された細い横線を表し、その幅は前述のLINEと同様に画素換算で4画素、画像の実寸では幅8μmになっている。このとき、横線LINEはブロックBLK(5、1)にかかっているが、焦点検出用画素SHA及びSHBには捕捉されない。 On the other hand, LINE h in FIG. 9B represents a thin horizontal line projected on the image sensor 5 and its width is 4 pixels in terms of pixel as in the above-mentioned LINE v, and the actual size of the image is 8 μm. Yes. At this time, the horizontal line LINE h covers the block BLK (5, 1), but is not captured by the focus detection pixels S HA and S HB .

しかしながら、セクションSCT(1)は、縦線のように横方向に輝度分布を有する被写体について焦点検出を行うためのものである。従って、横線のように縦方向に輝度分布を有する被写体については、焦点検出用画素による像の捕捉洩れが生じても構わない。 However, the section SCT h (1) is for performing focus detection on a subject having a luminance distribution in the horizontal direction such as a vertical line. Therefore, for an object having a luminance distribution in the vertical direction such as a horizontal line, an image capturing omission due to focus detection pixels may occur.

図10は、本実施例の撮影光学系によって形成された被写体像について、縦ずれ方向の焦点検出を行う場合の画素グループ化方法の説明図である。縦ずれ方向の焦点検出とは、撮影光学系の射出瞳を縦方向(上下方向、すなわち垂直方向)に分割するための焦点検出用画素を用いて、位相差式焦点検出を行うことをいう。すなわち、図8に示される画素配列を90度回転したものに相当する。   FIG. 10 is an explanatory diagram of a pixel grouping method in the case where focus detection in the longitudinal shift direction is performed on the subject image formed by the photographing optical system of the present embodiment. The focus detection in the longitudinal shift direction means performing phase difference focus detection using focus detection pixels for dividing the exit pupil of the photographing optical system in the vertical direction (vertical direction, that is, the vertical direction). That is, it corresponds to the pixel array shown in FIG. 8 rotated 90 degrees.

図10に示される画素配列において、焦点検出の際には、横方向に10ブロック、縦方向に1ブロックの合計10ブロックを1つのグループとし、これをセクション(ここでは、第2のセクション)と定義する。   In the pixel array shown in FIG. 10, when focus detection is performed, a total of 10 blocks of 10 blocks in the horizontal direction and 1 block in the vertical direction are grouped into one group (here, the second section) and Define.

本実施例では、一例として、縦方向に複数配列された30個のセクションで、1つの焦点検出領域を構成する。すなわち、300行×100列=3万画素の領域が1つの焦点検出領域(第2の画素領域)となる。この1つの焦点検出領域も、図8と同様にAFエリアと定義する。1つのセクション内においては、縦方向における一方の瞳分割を行う画素SVCが5個、他方の瞳分割を行う画素SVDも5個含まれている。 In the present embodiment, as an example, one focus detection region is configured by 30 sections arranged in the vertical direction. That is, an area of 300 rows × 100 columns = 30,000 pixels becomes one focus detection area (second pixel area). This one focus detection area is also defined as an AF area as in FIG. In one section, five pixels S VC performing one pupil division in the vertical direction and five pixels S VD performing the other pupil division are included.

そこで、本実施例においては、5個のSVCの出力を加算して、位相差演算用の一方の画像信号(C像と称する)の1AF画素とする。同様に、5個のSVDの出力を加算して、位相差演算用の他方の画像信号(D像と称する)の1AF画素とする。 Therefore, in this embodiment, the outputs of the five SVCs are added to form one AF pixel of one image signal (referred to as a C image) for phase difference calculation. Similarly, the outputs of the five SVDs are added to form a 1AF pixel of the other image signal (referred to as a D image) for phase difference calculation.

図11は、一つのセクションにおける被写体像の捕捉能力の説明図であり、図9を90度回転したものと等価である。   FIG. 11 is an explanatory diagram of the subject image capturing capability in one section, which is equivalent to the one obtained by rotating FIG. 9 by 90 degrees.

図11(a)は、図10の上端のセクションSCT(1)を切り出したものである。そして、右端に示された垂直線PRJは、焦点検出用画素SVC及びSVDの瞳分割方向に延伸した第3の射影軸である。また、下端に示された水平線PRJは、瞳分割方向と直交する方向に延伸した第4の射影軸である。 FIG. 11A shows a section SCT v (1) at the upper end of FIG. The vertical line PRJ v shown at the right end is the third projection axis extending in the pupil division direction of the pixel S VC and S VD for focus detection. The horizontal line PRJ h shown at the lower end is a fourth projective axis extending in the direction orthogonal to the pupil division direction.

図11(a)においても、1つのセクション内の画素SVCは全て加算され、SVも加算される。そこで、1セクションを1AF画素と見なした場合、1AF画素に含まれる受光部を瞳分割方向の射影軸PRJに射影すると、画素SVC及びSVDが交互に緻密に並ぶことがわかる。 Also in FIG. 11A, all the pixels S VC in one section are added, and SV D is also added. Therefore, when regarded as a section with 1AF pixel, when projecting the light receiving portions included in 1AF pixel projection axis PRJ v in the pupil division direction, it can be seen that the pixels S VC and S VD are alternately aligned densely.

このとき、瞳分割方向の射影軸PRJにおける画素SVCの配列ピッチをP1とすると、P1=PV=2(単位は画素)となる。ピッチの代わりに空間周波数F1で表わすと、F1=0.5(単位は画素/画素)となる。同様に、射影軸PRJにおける画素SVDの配列ピッチもP1=2(単位は画素)、空間周波数表記ではF1=0.5(単位は画素/画素)となる。 At this time, if the arrangement pitch of the pixels S VC on the projection axis PRJ v in the pupil division direction is P1, P1 = PV v = 2 (the unit is a pixel). When expressed by the spatial frequency F1 instead of the pitch, F1 = 0.5 (unit is pixel / pixel). Similarly, the projection axis PRJ v pixels in S VD array pitch P1 = 2 (the unit is a pixel), the F1 = 0.5 (the unit is a pixel / pixel) of the spatial frequency notation.

一方、1つのAF画素に含まれる受光部を瞳分割方向と直交方向の射影軸PRJに射影すると、画素SVCとSVはまばらに並ぶことがわかる。このとき、射影軸PRJにおける画素SVCの配列ピッチをP2とすると、P2=PV=20(単位は画素)となる。ピッチの代わりに空間周波数F2で表すと、F2=0.05(単位は画素/画素)となる。同様に射影軸PRJにおける画素SVDの配列ピッチも、P2=20(単位は画素)、空間周波数表記ではF2=0.05(単位は画素/画素)となる。 On the other hand, when the light receiving portion included in one AF pixel is projected onto the projection axis PRJ h in the direction orthogonal to the pupil division direction, it can be seen that the pixels S VC and SV D are sparsely arranged. At this time, when the arrangement pitch of the pixels S VC on the projection axis PRJ h is P2, P2 = PV h = 20 (the unit is a pixel). When expressed by the spatial frequency F2 instead of the pitch, F2 = 0.05 (unit: pixel / pixel). Similarly, the array pitch of the pixels S VD along the projection PRJ v also, P2 = 20 (the unit is a pixel), a F2 = 0.05 (the unit is pixel / pixel) of the spatial frequency notation.

以上のように、図11におけるAF画素のサンプリング特性は、瞳分割方向を基準に考えると、図9と同様の特性、すなわちF1>F2となっている。これは、図11のセクションにおいても、瞳分割方向のセクション寸法L1と、これと直交する方向の寸法L2を、L1<L2としたからである。   As described above, the sampling characteristics of the AF pixels in FIG. 11 are the same as those in FIG. 9, that is, F1> F2 when the pupil division direction is considered as a reference. This is because the section dimension L1 in the pupil division direction and the dimension L2 in the direction orthogonal to the section dimension L1 in the section of FIG. 11 are set to L1 <L2.

これにより、空間周波数の高い被写体に対しても、瞳分割方向の輝度情報を正確に検出することができるとともに、被写体輝度が低くても複数画素の加算によって焦点検出信号のS/N比を向上させることができる。   As a result, the luminance information in the pupil division direction can be accurately detected even for a subject with a high spatial frequency, and the S / N ratio of the focus detection signal is improved by adding a plurality of pixels even when the subject luminance is low. Can be made.

図11(a)で説明したAF画素(一つのセクション)に、細線の被写体像が投影された場合の画像捕捉能力について、図11(b)を参照して説明する。図11(b)において、LINEは、撮像素子5上に投影された細い横線を表し、その幅は画素換算で4画素、画像の実寸では幅8μmになっている。このとき、セクションSCT(1)内では、ブロックBLK(1、4)とブロックBLK(1、6)に含まれる焦点検出用画素が被写体像を捕捉する。 With reference to FIG. 11B, description will be given of the image capturing capability when a thin subject image is projected onto the AF pixel (one section) described in FIG. In FIG. 11B, LINE h represents a thin horizontal line projected on the image sensor 5, and its width is 4 pixels in terms of pixels, and the actual size of the image is 8 μm. At this time, in the section SCT v (1), the focus detection pixels included in the block BLK (1, 4) and the block BLK (1, 6) capture the subject image.

一方、図11(b)のLINEは、撮像素子5上に投影された細い縦線を表し、その幅は前述のLINEと同様に、画素換算で4画素、画像の実寸では幅8μmになっている。このとき、縦線LINEはブロックBLK(1、6)にかかっているが、焦点検出用画素SVC及びSVDには捕捉されない。 On the other hand, LINE v in FIG. 11 (b) represents a thin vertical line projected on the image sensor 5, and its width is 4 pixels in terms of pixel, and the width is 8 μm in the actual size of the image, similar to LINE h described above. It has become. At this time, the vertical line LINE v covers the block BLK (1, 6), but is not captured by the focus detection pixels S VC and S VD .

しかしながら、セクションSCT(1)は、横線のように縦方向に輝度分布を有する被写体について焦点検出を行うためのものである。従って、縦線のように横方向に輝度分布を有する被写体については、焦点検出用画素による像の捕捉洩れが生じても構わない。 However, the section SCT v (1) is for performing focus detection on a subject having a luminance distribution in the vertical direction like a horizontal line. Therefore, for an object having a luminance distribution in the horizontal direction such as a vertical line, an omission of image capture by the focus detection pixels may occur.

次に、本実施例における一眼レフレックスカメラ(ハイブリッドAF装置)のシステム構成について説明する。図12は、本実施例において、一眼レフレックスカメラ(ハイブリッドAF装置)と交換レンズとを含む撮像システムのブロック構成図である。なお、本図において、図1と同一の要素は同一の参照番号を付して説明される。   Next, a system configuration of the single-lens reflex camera (hybrid AF apparatus) in the present embodiment will be described. FIG. 12 is a block configuration diagram of an imaging system including a single-lens reflex camera (hybrid AF device) and an interchangeable lens in the present embodiment. In the figure, the same elements as those in FIG. 1 are described with the same reference numerals.

図12において、100は一眼レフカメラ(以下、「カメラ」という。)である。220は、カメラ100に対して着脱可能な交換レンズである。カメラ100において、4は撮像素子5の露出量を制御するためのシャッタである。     In FIG. 12, reference numeral 100 denotes a single-lens reflex camera (hereinafter referred to as “camera”). An interchangeable lens 220 is detachable from the camera 100. In the camera 100, 4 is a shutter for controlling the exposure amount of the image sensor 5.

5は、前述のとおり、位相差検出機能を備えたCCDセンサやCMOSセンサ等により構成される撮像素子である。撮像素子5は、交換レンズ220により形成された被写体像を光電変換する。16は、撮像素子5からのアナログ撮像信号をデジタル信号に変換するA/D変換器である。     Reference numeral 5 denotes an image sensor composed of a CCD sensor, a CMOS sensor or the like having a phase difference detection function as described above. The image sensor 5 photoelectrically converts the subject image formed by the interchangeable lens 220. Reference numeral 16 denotes an A / D converter that converts an analog imaging signal from the imaging device 5 into a digital signal.

18はタイミング発生回路であり、撮像素子5、A/D変換器16及び後述するD/A変換器26にクロック信号を供給する。タイミング発生回路18は、後述するメモリ制御回路22及びシステム制御回路50により制御される。     A timing generation circuit 18 supplies a clock signal to the image sensor 5, the A / D converter 16, and a D / A converter 26 described later. The timing generation circuit 18 is controlled by a memory control circuit 22 and a system control circuit 50 described later.

20は画像処理回路であり、A/D変換器16又はメモリ制御回路22からのデジタル撮像信号に対して、画素補間処理、色変換処理、AWB(オートホワイトバランス)処理等の各種画像処理を行い、画像信号(映像)が生成される。また、デジタル撮像信号には、位相差検出用画素も含まれており、画像処理回路20にて位相差検出のための画素加算処理が行われる。処理されたデータは、メモリ制御回路22を介して、システム制御回路50に送られる。システム制御回路50は、撮像信号から抽出した位相差データから、周知である位相差検出方法によりデフォーカス量を算出する。     An image processing circuit 20 performs various image processing such as pixel interpolation processing, color conversion processing, and AWB (auto white balance) processing on the digital image pickup signal from the A / D converter 16 or the memory control circuit 22. An image signal (video) is generated. The digital imaging signal also includes a phase difference detection pixel, and the image processing circuit 20 performs pixel addition processing for phase difference detection. The processed data is sent to the system control circuit 50 via the memory control circuit 22. The system control circuit 50 calculates the defocus amount from the phase difference data extracted from the imaging signal by a known phase difference detection method.

6は焦点検出装置であり、位相差用AFセンサが含まれている。システム制御回路50は、焦点検出装置の蓄積制御や読み出し制御を行い、周知である位相差検出方法(瞳分割位相差検出方法)によりデフォーカス量を算出する。42は測光回路であり、不図示の測光センサからの出力をシステム制御回路50に出力する。     Reference numeral 6 denotes a focus detection apparatus, which includes a phase difference AF sensor. The system control circuit 50 performs accumulation control and readout control of the focus detection device, and calculates a defocus amount by a well-known phase difference detection method (pupil division phase difference detection method). A photometric circuit 42 outputs an output from a photometric sensor (not shown) to the system control circuit 50.

50はシステム制御回路であり、カメラ100全体の動作やデフォーカス量等から交換レンズ220のフォーカス駆動や絞り駆動を制御する。また、システム制御回路50は、不図示の記憶制御手段及び表示制御手段としての機能を有する。     Reference numeral 50 denotes a system control circuit that controls the focus drive and aperture drive of the interchangeable lens 220 based on the overall operation of the camera 100, the defocus amount, and the like. The system control circuit 50 has functions as a storage control unit and a display control unit (not shown).

メモリ制御回路22は、A/D変換器16、タイミング発生回路18、画像処理回路20、後述する画像表示メモリ24、D/A変換器26、メモリ30、及び、圧縮・伸長回路32を制御する。画像処理回路20からの画像信号又はA/D変換器16からのデジタル撮像信号は、メモリ制御回路22を介して画像表示メモリ24、メモリ30やシステム制御回路50に送られる。     The memory control circuit 22 controls the A / D converter 16, the timing generation circuit 18, the image processing circuit 20, an image display memory 24, a D / A converter 26, a memory 30, and a compression / decompression circuit 32 described later. . An image signal from the image processing circuit 20 or a digital image pickup signal from the A / D converter 16 is sent to the image display memory 24, the memory 30, and the system control circuit 50 via the memory control circuit 22.

28はLCD等により構成される画像表示部(表示手段)である。画像表示メモリ24に書き込まれた表示用画像データは、D/A変換器26を介して画像表示部28に送られ、画像表示部28に表示される。メモリ30は、生成された静止画像や動画像を格納する。また、メモリ30は、システム制御回路50の作業領域としても使用される。  Reference numeral 28 denotes an image display unit (display means) constituted by an LCD or the like. The display image data written in the image display memory 24 is sent to the image display unit 28 via the D / A converter 26 and displayed on the image display unit 28. The memory 30 stores the generated still image and moving image. The memory 30 is also used as a work area for the system control circuit 50.

32は適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する圧縮・伸長回路である。圧縮・伸長回路32は、メモリ30に格納された画像を読み込んで圧縮処理又は伸長処理を行い、処理を終えたデータを再びメモリ30に書き込む。40はシャッタ4を制御する露光制御回路であり、システム制御回路50を介して交換レンズ220の絞り224も制御する。   A compression / decompression circuit 32 compresses and decompresses image data by adaptive discrete cosine transform (ADCT) or the like. The compression / decompression circuit 32 reads an image stored in the memory 30, performs a compression process or an expansion process, and writes the processed data to the memory 30 again. Reference numeral 40 denotes an exposure control circuit for controlling the shutter 4, and also controls the aperture 224 of the interchangeable lens 220 via the system control circuit 50.

52はシステム制御回路50の動作用の定数、変数、コンピュータプログラム等のデータを記憶するメモリである。54は電気的に消去・記録可能な不揮発性メモリであり、EEPROM等が用いられる。     Reference numeral 52 denotes a memory for storing data such as constants, variables and computer programs for operation of the system control circuit 50. 54 is an electrically erasable / recordable nonvolatile memory such as an EEPROM.

56は情報出力部であり、文字、画像、音声等を用いてカメラ100の動作状態やメッセージ等を示す情報を出力する。情報出力部56は、液晶表示素子やスピーカ等により構成されている。情報出力部56は、一部の情報を、ファインダ光学系を介して光学ファインダ104の画面内に表示する。     Reference numeral 56 denotes an information output unit that outputs information indicating the operating state of the camera 100, a message, and the like using characters, images, sounds, and the like. The information output unit 56 includes a liquid crystal display element, a speaker, and the like. The information output unit 56 displays some information on the screen of the optical viewfinder 104 via the viewfinder optical system.

60はモードダイアルスイッチであり、電源のON/OFF、撮像モード(静止画撮像モードや動画撮像モード)、再生モード等の各機能を切り替え設定するために操作される。   Reference numeral 60 denotes a mode dial switch, which is operated to switch and set each function such as power ON / OFF, imaging mode (still image imaging mode or moving image imaging mode), and reproduction mode.

62は撮像準備スイッチ(SW1)と撮影開始スイッチ(SW2)であり、不図示のシャッタボタンの第1ストローク操作(半押し)により、SW1がONとなり、測光(AE処理)及びAF処理等の撮像準備動作を開始させる。さらに、シャッタボタンの第2ストローク操作(全押し)によりSW2がONとなり、撮像動作を開始させる。     Reference numeral 62 denotes an imaging preparation switch (SW1) and an imaging start switch (SW2). When a shutter button (not shown) performs a first stroke operation (half-press), SW1 is turned on and imaging such as photometry (AE processing) and AF processing is performed. Start the preparation operation. Furthermore, SW2 is turned ON by the second stroke operation (full press) of the shutter button, and the imaging operation is started.

ここにいう撮像動作は、シャッタ4の開閉動作、撮像素子5からの撮像信号に基づいて画像処理回路20にて画像信号を生成する動作、画像信号を、メモリ制御回路22を介してメモリ30に書き込む動作を含む。また、メモリ30から画像データを読み出して、圧縮・伸長回路32で圧縮し、後述する記録媒体200、210に記録する動作も含む。これら一連の撮像動作は、記録用画像の取得動作ということもできる。記録媒体200,210は、半導体メモリや光ディスク等により構成される。     The imaging operation referred to here includes an opening / closing operation of the shutter 4, an operation of generating an image signal in the image processing circuit 20 based on an imaging signal from the imaging device 5, and the image signal to the memory 30 via the memory control circuit 22. Includes write operations. Also included is an operation of reading image data from the memory 30, compressing it by the compression / decompression circuit 32, and recording it on recording media 200 and 210, which will be described later. These series of imaging operations can also be referred to as recording image acquisition operations. The recording media 200 and 210 are constituted by a semiconductor memory, an optical disk, or the like.

70は各種ボタンやタッチパネル等を含む操作部であり、カメラ100の機能選択や各種設定を行うためのメニュー画面を表示させたり、メニュー項目を決定したりするために操作される。   Reference numeral 70 denotes an operation unit including various buttons, a touch panel, and the like, and is operated to display a menu screen for selecting functions and various settings of the camera 100 and determining menu items.

78は電源制御回路であり、電池残量の検出を行う電池検出回路、電池からの電源電圧を所定の動作電圧に変換するDC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等を含む。80はカメラに着脱可能な電池である。   Reference numeral 78 denotes a power supply control circuit, which includes a battery detection circuit that detects the remaining battery level, a DC-DC converter that converts the power supply voltage from the battery into a predetermined operating voltage, a switch circuit that switches a block to be energized, and the like. A battery 80 is detachable from the camera.

86は電源であり、アルカリ電池やリチウム電池等の一次電池やNiMH電池、Li電池等の二次電池が使用される。82、84は、電源86とカメラ100との電気的接続を行うためのコネクタである。     A power source 86 is a primary battery such as an alkaline battery or a lithium battery, or a secondary battery such as a NiMH battery or a Li battery. Reference numerals 82 and 84 denote connectors for electrical connection between the power source 86 and the camera 100.

90、94は記録媒体200,210との通信を行うためのインタフェースであり、92、96は記録媒体200,210に接続されるコネクタである。98は、コネクタ92,96に記録媒体200、210が装着されているか否かを検知する記録媒体着脱検知器である。   Reference numerals 90 and 94 denote interfaces for performing communication with the recording media 200 and 210, and reference numerals 92 and 96 denote connectors connected to the recording media 200 and 210. Reference numeral 98 denotes a recording medium attachment / detachment detector that detects whether or not the recording media 200 and 210 are attached to the connectors 92 and 96.

110は通信部であり、RS232C、USB、IEEE1394、無線通信等の通信機能を有する。112は通信部110を介してカメラ100に他の機器を接続するコネクタであり、無線通信を行う場合はアンテナが接続される。     A communication unit 110 has communication functions such as RS232C, USB, IEEE1394, and wireless communication. Reference numeral 112 denotes a connector for connecting another device to the camera 100 via the communication unit 110, and an antenna is connected when performing wireless communication.

記録媒体200、210は、カメラ100との通信を行うためのインタフェース204、214と、カメラ100との電気的接続を行うコネクタ206、216とを有する。記録部202,212には、カメラ100から出力される圧縮画像データが書き込まれる。     The recording media 200 and 210 include interfaces 204 and 214 for performing communication with the camera 100 and connectors 206 and 216 for performing electrical connection with the camera 100. In the recording units 202 and 212, compressed image data output from the camera 100 is written.

交換レンズ220において、1は撮影レンズである。撮影レンズ1は、複数のレンズを有する撮像レンズ群として構成される。この撮像レンズ群は、光軸方向に移動してフォーカス調整を行うフォーカスレンズや光軸方向に移動して変倍を行うズームレンズを含む。224は撮像素子5に到達する光量を調節する絞りである。これら撮像レンズ群1及び絞り224により撮像光学系が構成される。   In the interchangeable lens 220, reference numeral 1 denotes a photographing lens. The photographing lens 1 is configured as an imaging lens group having a plurality of lenses. The imaging lens group includes a focus lens that moves in the optical axis direction and performs focus adjustment, and a zoom lens that moves in the optical axis direction and performs zooming. A diaphragm 224 adjusts the amount of light reaching the image sensor 5. The imaging lens group 1 and the diaphragm 224 constitute an imaging optical system.

226はレンズ制御回路であり、システム制御回路50からの制御信号に応じて、フォーカスレンズ、ズームレンズ及び絞り224を駆動する不図示のアクチュエータを制御する。228はコネクタであり、カメラ100の通信接点部41と接続されてレンズ制御回路226とシステム制御回路50との間での通信を可能とする。また、コネクタ228は、電源86からの電源電圧を交換レンズ220内に供給する。     A lens control circuit 226 controls an actuator (not shown) that drives the focus lens, the zoom lens, and the diaphragm 224 in accordance with a control signal from the system control circuit 50. A connector 228 is connected to the communication contact 41 of the camera 100 and enables communication between the lens control circuit 226 and the system control circuit 50. Further, the connector 228 supplies the power supply voltage from the power supply 86 into the interchangeable lens 220.

次に、図13〜図16を参照して、本実施例におけるカメラの動作フローを詳細に説明する。以下に説明する制御は、カメラ内のシステム制御回路50によって行われる。   Next, the operation flow of the camera in the present embodiment will be described in detail with reference to FIGS. The control described below is performed by the system control circuit 50 in the camera.

図13は、本実施例のカメラの動作におけるメイン制御を示すフロー図である。まず、ステップS001において、カメラ(システム制御回路50)は、レジスタの初期化やデータの初期化、及び周辺回路の初期化等の初期設定を行う。ステップS002において、不図示のカメラ設定ボタンや撮影操作ボタン、メイン電子ダイヤル、サブ電子ダイヤル等の状態を検出する。   FIG. 13 is a flowchart showing main control in the operation of the camera of this embodiment. First, in step S001, the camera (system control circuit 50) performs initial settings such as register initialization, data initialization, and peripheral circuit initialization. In step S002, states of a camera setting button, a shooting operation button, a main electronic dial, a sub electronic dial, and the like (not shown) are detected.

ステップS003において、測光/AF開始スイッチがオフか否かが判定される。測光/AF開始スイッチがオフである場合、ステップS012へ移行する。一方、測光/AF開始スイッチがオフでない場合、ステップS004へ移行する。   In step S003, it is determined whether or not the photometry / AF start switch is off. If the photometry / AF start switch is off, the process proceeds to step S012. On the other hand, if the photometry / AF start switch is not OFF, the process proceeds to step S004.

ステップS004において、被写体の焦点検出を、図1に示される焦点検出装置6又は撮像素子5のいずれを用いて検出するかを決定するAFモードフラグ(af_mode)に0をセットする。このとき、被写体の焦点検出は、焦点検出装置6により実施される。ステップS005において、被写体に焦点を合わせるため、周知の位相差検出方式(瞳分割位相差検出方式)による焦点検出演算を行う。   In step S004, 0 is set to an AF mode flag (af_mode) that determines whether the focus detection of the subject is detected using the focus detection device 6 or the image sensor 5 shown in FIG. At this time, the focus detection of the subject is performed by the focus detection device 6. In step S005, in order to focus on the subject, focus detection calculation is performed by a known phase difference detection method (pupil division phase difference detection method).

次に、図15に示される焦点検出のフロー図を参照して、ステップS005における測距演算について詳細に説明する。   Next, the distance measurement calculation in step S005 will be described in detail with reference to the focus detection flowchart shown in FIG.

まず、ステップS101において、AFモードフラグが0か否かが判定される。AFモードフラグが0である場合、焦点検出装置6による焦点検出演算となるため、ステップS109へ移行する。ステップS109では、AFセンサの蓄積/終了処理を行い、被写体の焦点検出を行う。   First, in step S101, it is determined whether or not the AF mode flag is 0. When the AF mode flag is 0, the focus detection calculation is performed by the focus detection device 6, and the process proceeds to step S109. In step S109, AF sensor accumulation / end processing is performed, and subject focus detection is performed.

次に、ステップS110において、AFセンサの各エリア(1〜9)の焦点検出用画素の読出しを行う。ステップS111において、公知である相関演算により、各エリアの2像の相対的な位置ずれ量を算出する。さらにステップS112において、相関演算結果の信頼性を判定する。ここで信頼性とは、2像の一致度を指し、2像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そして、ステップS113において、各エリアの像ずれ量(デフォーカス量)を算出する。   Next, in step S110, the focus detection pixels in each area (1 to 9) of the AF sensor are read. In step S111, the relative positional deviation amount of the two images in each area is calculated by a known correlation calculation. In step S112, the reliability of the correlation calculation result is determined. Here, the reliability refers to the degree of coincidence between the two images. When the degree of coincidence between the two images is good, the reliability of the focus detection result is generally high. In step S113, an image shift amount (defocus amount) for each area is calculated.

一方、ステップS101において、AFモードフラグが1である場合、撮像素子5による焦点検出演算を行うため、ステップS102へ移行する。ステップS102において、図7で示される各焦点検出エリアに対応するフィールド範囲の焦点検出用画素が読み出される。   On the other hand, when the AF mode flag is 1 in step S101, the process proceeds to step S102 in order to perform focus detection calculation by the image sensor 5. In step S102, focus detection pixels in the field range corresponding to the focus detection areas shown in FIG. 7 are read out.

ステップS103において、ステップS102で読み出された画素の範囲において、図8又は図10を参照して説明したセクション構造に基づき、各セクション内の焦点検出画素を加算し、その加算結果によりAF画素信号が得られる。そして、ステップS104において、公知の相関演算により、各エリアの2像の相対的な位置ずれ量を算出する。   In step S103, the focus detection pixels in each section are added based on the section structure described with reference to FIG. 8 or FIG. 10 within the pixel range read in step S102, and the AF pixel signal is determined based on the addition result. Is obtained. In step S104, the relative positional deviation amount of the two images in each area is calculated by a known correlation calculation.

次に、ステップS105において、相関演算結果の信頼性を判定する。ここで、上述のセクション構造から、各エリアは、縦3ライン及び横3ラインで形成される。このため、その中で最も信頼性の高いラインが各焦点検出エリアの代表の信頼性となり、そのラインの位置ずれ量もまた、そのエリアの位置ずれ量となる。   Next, in step S105, the reliability of the correlation calculation result is determined. Here, from the above section structure, each area is formed by three vertical lines and three horizontal lines. For this reason, the most reliable line among them becomes the representative reliability of each focus detection area, and the positional deviation amount of the line also becomes the positional deviation amount of the area.

ステップS106において、各エリアの像ずれ量(デフォーカス量)を算出する。さらに、ステップS107において、焦点検出点の乗り移り判定手段(システム制御回路50)は、焦点検出点の乗り移り判定を行い、被写体が主焦点検出点から移動しているか否かを判定する。   In step S106, an image shift amount (defocus amount) for each area is calculated. Further, in step S107, the focus detection point transfer determination unit (system control circuit 50) performs a focus detection point transfer determination to determine whether or not the subject has moved from the main focus detection point.

次に、図16に示される焦点検出点の乗り移り判定のフロー図を参照して、ステップS107における焦点検出点の乗り移り判定について詳細に説明する。   Next, with reference to the flowchart of focus detection point transfer determination shown in FIG. 16, the focus detection point transfer determination in step S107 will be described in detail.

図16中のステップS201において、主焦点検出エリアが図15中のステップS105又はステップS112の信頼性判定により焦点検出不能であるか否かが判定される。焦点検出可能である場合、焦点検出点の乗り移りはないとして、リターンする。また、焦点検出が1回目に行われる場合は、中央の焦点検出エリア(図6中の焦点検出エリア5)を主焦点検出エリアとする。   In step S201 in FIG. 16, it is determined whether or not the main focus detection area is incapable of focus detection by the reliability determination in step S105 or step S112 in FIG. If the focus can be detected, it returns that the focus detection point has not been transferred. When focus detection is performed for the first time, the central focus detection area (focus detection area 5 in FIG. 6) is set as the main focus detection area.

一方、焦点検出不能の場合、ステップS202へ移行する。ステップS202において、各焦点検出エリアのデフォーカス量をチェックする。そして、信頼性が所定値以上で、かつ、最もデフォーカス量が小さいエリアを新しい主焦点検出点として設定する。   On the other hand, when focus detection is impossible, the process proceeds to step S202. In step S202, the defocus amount of each focus detection area is checked. Then, an area whose reliability is equal to or higher than a predetermined value and the smallest defocus amount is set as a new main focus detection point.

本実施例において、第1の焦点検出手段(焦点検出装置6)及び第2の焦点検出手段(撮像素子5)は、焦点検出エリアが互いに対応して構成されている。そして、焦点検出点の乗り移り判定手段は、主焦点検出エリアが乗り移ったことにより焦点検出ができないと判定した場合、デフォーカス量が最小となる焦点検出エリアを新たな主焦点検出エリアとして設定する。   In the present embodiment, the first focus detection means (focus detection device 6) and the second focus detection means (image sensor 5) are configured such that the focus detection areas correspond to each other. When the focus detection point transfer determination unit determines that focus detection cannot be performed due to the transfer of the main focus detection area, the focus detection area that minimizes the defocus amount is set as a new main focus detection area.

図15に戻り、ステップS108では、予測サーボ動作を行うため、過去のデフォーカス量から、次に駆動すべきレンズの駆動量を予測演算する。   Returning to FIG. 15, in step S108, in order to perform the prediction servo operation, the drive amount of the lens to be driven next is predicted from the past defocus amount.

本実施例において、予測サーボ動作のための予測演算の方法は、状況に応じて異なる。例えば、1回目の焦点検出である場合には予測を行わず、2回目以降の焦点検出である場合には1次関数又は2次関数を用いた予測を行う。   In the present embodiment, the prediction calculation method for the prediction servo operation differs depending on the situation. For example, prediction is not performed in the case of the first focus detection, and prediction using a linear function or a quadratic function is performed in the second and subsequent focus detections.

ここで、図17のサーボ予測線図を参照して、撮像素子のデフォーカス量を用いた場合の予測とこれを用いない場合の予測との違いについて説明する。図17において、縦軸はデフォーカス量を示し、横軸は時刻tを示す。   Here, with reference to the servo prediction diagram of FIG. 17, the difference between prediction when the defocus amount of the image sensor is used and prediction when this is not used will be described. In FIG. 17, the vertical axis represents the defocus amount, and the horizontal axis represents time t.

図17において、点X1(Y1)は、撮影前の時刻t1に、焦点検出装置6を用いて検出したデフォーカス量である。点X2は、撮影中の時刻t2に、撮像素子5を用いて検出したデフォーカス量である。点X3(Y2)は、撮影後の時刻t3に、焦点検出装置6にて検出したデフォーカス量である。点Y3又は点X4は、時刻t4におけるデフォーカス量の予測値である。   In FIG. 17, a point X1 (Y1) is a defocus amount detected by using the focus detection device 6 at time t1 before photographing. A point X2 is a defocus amount detected using the image sensor 5 at time t2 during photographing. Point X3 (Y2) is the defocus amount detected by the focus detection device 6 at time t3 after shooting. Point Y3 or point X4 is a predicted value of the defocus amount at time t4.

撮像素子5のデフォーカス量X2をサーボ予測に用いない場合、デフォーカス量X1(Y1)、X3(Y2)の間を結ぶ1次関数(破線)に基づいて、時刻t4におけるデフォーカス量の予測値は、点Y3となる。一方、撮像素子5のデフォーカス量X2をサーボ予測に用いる場合、デフォーカス量X1(Y1)、X2、X3(Y2)を結ぶ2次関数(実線)に基づいて、時刻t4におけるデフォーカス量の予測値は、点X4となる。   When the defocus amount X2 of the image sensor 5 is not used for servo prediction, the defocus amount prediction at time t4 is performed based on a linear function (dashed line) connecting the defocus amounts X1 (Y1) and X3 (Y2). The value is point Y3. On the other hand, when the defocus amount X2 of the image sensor 5 is used for servo prediction, the defocus amount at time t4 is based on a quadratic function (solid line) connecting the defocus amounts X1 (Y1), X2, and X3 (Y2). The predicted value is point X4.

このように、点X4と点Y3との間のデフォーカス量の差dが、撮像素子5のデフォーカス量を用いる場合と用いない場合との予測値の差となり、この差がデフォーカス量の予測精度に影響することになる。   As described above, the defocus amount difference d between the point X4 and the point Y3 is a difference in predicted value between the case where the defocus amount of the image sensor 5 is used and the case where the defocus amount is not used. This will affect the prediction accuracy.

本実施例では、撮像素子5のデフォーカス量と焦点検出装置6のデフォーカス量とをサーボ予測に利用しているため、デフォーカス量の予測精度を向上させることができる。   In the present embodiment, since the defocus amount of the image sensor 5 and the defocus amount of the focus detection device 6 are used for servo prediction, the prediction accuracy of the defocus amount can be improved.

図13に戻って、ステップS006において、前述の焦点検出演算によるデータに基づいて、レンズ駆動量を算出してレンズを駆動する。ステップS007において、測光回路からの出力や演算ISO、撮影モード等のカメラ設定から、シャッタ秒時(CMOS蓄積時間)、絞り値等を決定するための測光演算処理を行う。   Returning to FIG. 13, in step S006, the lens driving amount is calculated based on the data obtained by the focus detection calculation described above to drive the lens. In step S007, photometric calculation processing is performed for determining shutter time (CMOS accumulation time), aperture value, and the like based on camera settings such as output from the photometry circuit, calculation ISO, and shooting mode.

ステップS008において、測光演算等により求められたシャッタ秒時や絞り値等のカメラの情報を、表示部に表示する。ステップS009において、撮影操作スイッチがオンであるか否かが判定される。撮影操作スイッチがオンである場合、ステップS010へ移行し、周知であるCMOSのゲイン設定、CMOS蓄積動作、CMOS読み出し、画像処理、画像書き込み等の撮影動作を行う。   In step S008, camera information such as shutter time and aperture value obtained by photometric calculation or the like is displayed on the display unit. In step S009, it is determined whether or not the photographing operation switch is on. When the photographing operation switch is on, the process proceeds to step S010, and well-known photographing operations such as CMOS gain setting, CMOS accumulation operation, CMOS reading, image processing, and image writing are performed.

ここで、図14の撮影動作のフロー図を参照して、カメラの撮影動作について詳細に説明する。   Here, the shooting operation of the camera will be described in detail with reference to the flowchart of the shooting operation of FIG.

まずステップS301において、ミラー制御回路に指示を出してミラーアップを開始し、ミラーアップ完了後にステップS302へ移行する。ステップS302において、イメージセンサの蓄積を開始する。   First, in step S301, an instruction is given to the mirror control circuit to start mirror up, and the process proceeds to step S302 after completion of mirror up. In step S302, image sensor accumulation is started.

次に、ステップS303において、シャッタ先幕を走行させて露光を開始し、シャッタ秒時後にシャッタ後幕を走行させる。ステップS304において、シャッタの後幕の走行が完了するまでループし、この状態を維持する。シャッタの後幕の走行が完了すると、ステップS305において、イメージセンサの蓄積を終了する。   Next, in step S303, exposure is started by running the shutter front curtain, and the shutter rear curtain is run after the shutter time. In step S304, the process loops until the rear curtain travel of the shutter is completed, and this state is maintained. When the running of the rear curtain of the shutter is completed, the accumulation of the image sensor is terminated in step S305.

ステップS306において、AFモードフラグ(af_mode)に1をセットし、撮像素子5による焦点検出が行われるように設定する。ステップS307において、位相差検出方式(瞳分割位相差検出方式)による焦点検出演算を行う。ステップS308において、上述の焦点検出演算によるデータに基づいて、レンズ駆動量を算出してレンズを駆動する。   In step S306, the AF mode flag (af_mode) is set to 1, and the focus detection by the image sensor 5 is set. In step S307, focus detection calculation is performed by a phase difference detection method (pupil division phase difference detection method). In step S308, the lens driving amount is calculated based on the above-described focus detection calculation data to drive the lens.

次に、ステップS309において、ミラー制御回路及びモータ制御回路に指示を出し、ミラーダウン及びシャッターチャージを開始する。そして、ステップS310において、イメージセンサの信号読み出し処理を行う。ステップS311において、読み出された信号に補正処理(信号補正処理)を行う。   In step S309, an instruction is issued to the mirror control circuit and the motor control circuit, and mirror down and shutter charge are started. In step S310, image sensor signal readout processing is performed. In step S311, correction processing (signal correction processing) is performed on the read signal.

次に、ステップS312において、補正処理後の信号(画像信号)を所定の方法により圧縮(画像圧縮処理)を行う。ステップS313において、ヘッダー情報の作成を行う。また、ステップS314において、ヘッダー情報や画像信号等に基づいて、画像ファイルを作成する。さらに、ステップS315において、作成した画像ファイルをハードディスクに書き込み、この撮影動作フローを終了する。   Next, in step S312, the signal (image signal) after the correction process is compressed (image compression process) by a predetermined method. In step S313, header information is created. In step S314, an image file is created based on the header information, the image signal, and the like. Further, in step S315, the created image file is written to the hard disk, and this photographing operation flow is ended.

図13に戻って、ステップS011において、測光/AF開始スイッチがオンであるか否かが判定される。測光/AF開始スイッチがオンである場合、ステップ002へ戻り、測光/AF開始スイッチがオフである場合、ステップS012へ移行する。   Returning to FIG. 13, in step S011, it is determined whether or not the photometry / AF start switch is on. If the photometry / AF start switch is on, the process returns to step 002. If the photometry / AF start switch is off, the process proceeds to step S012.

ステップS012において、不図示のカメラの動作電源スイッチがオンであるか否かが判定される。カメラの動作電源スイッチがオンである場合、ステップS002に戻る。動作電源スイッチがオフの場合、ステップS013において、カメラの動作を終了させるために、周辺回路への電源オフの指示やデータの退避等の終了設定を行い、動作を終了する。   In step S012, it is determined whether an operation power switch of a camera (not shown) is on. If the operation power switch of the camera is on, the process returns to step S002. If the operation power switch is off, in step S013, in order to end the operation of the camera, an instruction to turn off the power to the peripheral circuits and an end setting such as data saving are performed, and the operation ends.

以上の動作により、撮影前後は、従来から周知であるCCD等から成るエリアセンサにて、周知の位相差検出方式(瞳分割位相差検出方式)からデフォーカス量を検出する。一方、撮影中は、撮像素子による位相差検出方式(瞳分割位相差検出方式)からデフォーカス量を検出する。これにより、被写体の焦点検出の間隔が短くなり、動体予測や焦点検出点の乗り移りが高精度に行われる。   With the above operation, the defocus amount is detected by a known phase difference detection method (pupil division phase difference detection method) by an area sensor composed of a CCD or the like that is conventionally known before and after photographing. On the other hand, during imaging, a defocus amount is detected from a phase difference detection method (pupil division phase difference detection method) using an image sensor. As a result, the focus detection interval of the subject is shortened, and moving object prediction and transfer of focus detection points are performed with high accuracy.

このため、本実施例によれば、撮像面によりデフォーカス検出可能な焦点検出手段を用いて撮像中にデフォーカス量を検出し、そのデフォーカス量の情報とレリーズ前後の位相差検出手段のデフォーカス量の情報を用いて動体予測を行う。すなわち、本実施例では、第1の焦点検出手段(焦点検出装置6)で検出されたデフォーカス量及び第2の焦点検出手段(撮像素子5)で検出されたデフォーカス量の両方を用いて予測制御が行われる。したがって、本実施例によれば、動体予測精度を向上させたハイブリッドAF装置を提供することができる。   For this reason, according to the present embodiment, the defocus amount is detected during imaging using the focus detection unit that can detect the defocus on the imaging surface, and the information on the defocus amount and the phase difference detection unit before and after the release are detected. The moving object prediction is performed using the focus amount information. That is, in this embodiment, both the defocus amount detected by the first focus detection unit (focus detection device 6) and the defocus amount detected by the second focus detection unit (imaging device 5) are used. Predictive control is performed. Therefore, according to the present embodiment, it is possible to provide a hybrid AF apparatus with improved moving object prediction accuracy.

以上、本発明の実施例について具体的に説明した。ただし、本発明は上記実施例として記載された事項に限定されるものではなく、本発明の技術思想を逸脱しない範囲内で適宜変更が可能である。     The embodiment of the present invention has been specifically described above. However, the present invention is not limited to the matters described as the above-described embodiments, and can be appropriately changed without departing from the technical idea of the present invention.

本実施例における一眼レフレックスカメラ(ハイブリッドAF装置)の概略構成を示す断面図である。It is sectional drawing which shows schematic structure of the single-lens reflex camera (hybrid AF apparatus) in a present Example. 本実施例の撮像素子における撮像用画素の構成図である。It is a block diagram of the pixel for an imaging in the image pick-up element of a present Example. 本実施例の撮像素子における焦点検出用画素の構成図である。It is a block diagram of the focus detection pixel in the image sensor of the present embodiment. 本実施例の撮像素子における最小単位の画素配列の説明図である。It is explanatory drawing of the pixel arrangement | sequence of the minimum unit in the image pick-up element of a present Example. 本実施例の撮像素子における上位単位の画素配列の説明図である。It is explanatory drawing of the pixel arrangement | sequence of the upper unit in the image sensor of a present Example. 本実施例の撮像素子における画素配列と焦点検出エリアとの対応図である。FIG. 6 is a correspondence diagram between a pixel array and a focus detection area in the image sensor of the present embodiment. 本実施例における焦点検出エリアと対応した撮像素子のフィールド範囲表である。It is a field range table | surface of the image pick-up element corresponding to the focus detection area in a present Example. 本実施例における横ずれ焦点検出時の画素グループ化方法の説明図である。It is explanatory drawing of the pixel grouping method at the time of the horizontal shift focus detection in a present Example. 本実施例における横ずれ焦点検出時の画像サンプリング特性の説明図である。It is explanatory drawing of the image sampling characteristic at the time of the horizontal shift focus detection in a present Example. 本実施例における縦ずれ焦点検出時の画素グループ化方法説明図である。It is a pixel grouping method explanatory view at the time of longitudinal shift focus detection in the present embodiment. 本実施例における縦ずれ焦点検出時の画像サンプリング特性の説明図である。It is explanatory drawing of the image sampling characteristic at the time of the vertical shift focus detection in a present Example. 本実施例における一眼レフレックスカメラと交換レンズとを含む撮像システムのブロック構成図である。It is a block block diagram of the imaging system containing the single-lens reflex camera and interchangeable lens in a present Example. 本実施例におけるメイン制御のフロー図である。It is a flowchart of the main control in a present Example. 本実施例における撮影動作のフロー図である。It is a flowchart of the imaging | photography operation | movement in a present Example. 本実施例における焦点検出のフロー図である。It is a flowchart of the focus detection in a present Example. 本実施例における焦点検出点の乗り移り判定のフロー図である。It is a flowchart of the transfer determination of the focus detection point in a present Example. 本実施例におけるサーボ予測線図である。It is a servo prediction diagram in a present Example.

符号の説明Explanation of symbols

1 撮影レンズ
2 主ミラー
3 サブミラー
4 シャッタ
5 撮像素子
6 焦点検出装置
7 ペンタプリズム
A ファインダ光
DESCRIPTION OF SYMBOLS 1 Shooting lens 2 Main mirror 3 Sub mirror 4 Shutter 5 Image sensor 6 Focus detection apparatus 7 Penta prism A Viewfinder light

Claims (7)

撮影光学系を介して入射された被写体像光を撮像して撮像信号を出力する撮像素子と、
瞳分割された一対の被写体像の位相差に基づいて焦点検出を行う第1の焦点検出手段と、
前記撮像素子による撮像の際に前記被写体からの光束から退去するミラーと、
前記撮像素子を用いて得られた前記撮像信号に基づく映像信号を記録媒体に記録する記録手段と、を有し、
前記撮像素子は、瞳分割された一対の被写体像の位相差に基づいて焦点検出を行う第2の焦点検出手段を構成し、
ミラーダウンして前記第1の焦点検出手段でデフォーカス量を検出し、ミラーアップして前記第2の焦点検出手段で前記記録媒体に記録する映像信号前記撮像信号に基づいてデフォーカス量を検出した後、ミラーダウンして前記第1の焦点検出手段でデフォーカス量を検出し、得られた複数のデフォーカス量に基づいて、前記撮影光学系の焦点が合う位置を予測し、前記撮影光学系の焦点状態を調節する制御が行われる、ことを特徴とする焦点検出装置。
An image sensor that captures subject image light incident through the imaging optical system and outputs an image signal;
First focus detection means for performing focus detection based on a phase difference between a pair of subject images obtained by pupil division;
A mirror that retreats from the light flux from the subject during imaging by the imaging device;
Recording means for recording a video signal based on the imaging signal obtained by using the imaging element on a recording medium;
The imaging element constitutes a second focus detection unit that performs focus detection based on a phase difference between a pair of subject images that have been pupil-divided,
And mirror-down detecting a defocus amount by the first focus detection unit, the defocus amount based on the imaging signal of mirror up video signal to be recorded on the recording medium by the second focus detection unit , The mirror is lowered, the defocus amount is detected by the first focus detection means, and based on the obtained plurality of defocus amounts, the position where the photographing optical system is focused is predicted , A focus detection apparatus characterized in that control for adjusting a focus state of a photographing optical system is performed.
さらに、焦点検出点の乗り移り判定手段を有し、
前記第1の焦点検出手段及び前記第2の焦点検出手段は、焦点検出エリアが互いに対応して構成されており、
前記乗り移り判定手段は、主焦点検出エリアが乗り移ったことにより焦点検出ができないと判定した場合、前記デフォーカス量が最小となる焦点検出エリアを新たな主焦点検出エリアとして設定することを特徴とする請求項1記載の焦点検出装置。
Furthermore, it has a transfer detection means for the focus detection point,
The first focus detection means and the second focus detection means are configured such that focus detection areas correspond to each other,
The transfer determination means sets the focus detection area that minimizes the defocus amount as a new main focus detection area when it is determined that focus detection is impossible due to the transfer of the main focus detection area. The focus detection apparatus according to claim 1.
前記撮像素子は、複数のセクションの各々において、第1の方向に瞳分割された第1の焦点検出用画素と第2の焦点検出用画素とで構成される焦点検出部が前記第1の方向に垂直な第2の方向に複数配置されるとともに、前記撮影光学系で結像された被写体像を光電変換するための撮像用画素を複数有し、
複数の前記セクションの各々において、前記第1の方向において異なる位置にある複数の前記第1の焦点検出用画素からの出力信号を合成して第1の合成信号を得る処理と、前記第1の方向において異なる位置にある複数の前記第2の焦点検出用画素からの出力信号を合成して第2の合成信号を得る処理とを行う合成手段と、
複数の前記セクションのそれぞれにおいて合成された前記第1の合成信号を連結して第1の連結信号を得る処理と、複数の前記セクションのそれぞれにおいて合成された前記第2の合成信号を連結して第2の連結信号を得る処理とを行う連結手段と、
前記第1の連結信号及び前記第2の連結信号に基づいて、前記結像光学系の焦点ずれ量を演算する演算手段と、
をさらに備えることを特徴とする請求項1又は2記載の焦点検出装置。
In the imaging device, in each of the plurality of sections, a focus detection unit including a first focus detection pixel and a second focus detection pixel that are pupil-divided in a first direction includes the first direction. A plurality of imaging pixels for photoelectrically converting a subject image formed by the imaging optical system, in a second direction perpendicular to the
In each of the plurality of sections, a process of obtaining a first synthesized signal by synthesizing output signals from the plurality of first focus detection pixels at different positions in the first direction; Combining means for combining the output signals from the plurality of second focus detection pixels at different positions in the direction to obtain a second combined signal;
A process of obtaining a first concatenated signal by concatenating the first composite signals synthesized in each of the plurality of sections, and concatenating the second composite signal synthesized in each of the plurality of sections. Coupling means for performing processing for obtaining a second coupling signal;
An arithmetic means for calculating a defocus amount of the imaging optical system based on the first connection signal and the second connection signal;
The focus detection apparatus according to claim 1, further comprising:
複数の前記セクションのうちの少なくとも一つのセクションにおいて、前記第1の焦点検出用画素の前記第1の方向における間隔は、前記第1の焦点検出用画素の前記第2の方向における間隔よりも小さいことを特徴する請求項3記載の焦点検出装置。   In at least one of the sections, an interval between the first focus detection pixels in the first direction is smaller than an interval between the first focus detection pixels in the second direction. The focus detection apparatus according to claim 3. 複数の前記セクションのうちの少なくとも一つのセクションにおいて、当該セクションの前記第1の方向における最大寸法は、当該セクションの前記第2の方向における最大寸法よりも小さいことを特徴とする請求項4に記載の撮像装置。   The maximum dimension of the section in the first direction is smaller than the maximum dimension of the section in the second direction in at least one of the sections. Imaging device. 複数の前記セクションのうちの少なくとも一つのセクションは、複数の正方形領域により構成され、
前記第1の焦点検出用画素は、前記複数の正方形領域の各々に1つずつ配置されていることを特徴とする請求項3乃至5のいずれか1項に記載の焦点検出装置。
At least one of the plurality of sections is composed of a plurality of square regions;
6. The focus detection apparatus according to claim 3, wherein one first focus detection pixel is disposed in each of the plurality of square regions. 7.
焦点検出装置の制御方法であって、
前記焦点検出装置は、撮影光学系を介して入射された被写体像光を撮像して撮像信号を出力する撮像素子と、瞳分割された一対の被写体像の位相差に基づいて焦点検出を行う第1の焦点検出手段と、前記撮像素子による撮像の際に前記被写体からの光束から退去するミラーと前記撮像素子を用いて得られた前記撮像信号に基づく映像信号を記録媒体に記録する記録手段とを有し、前記撮像素子は、瞳分割された一対の被写体像の位相差に基づいて焦点検出を行う第2の焦点検出手段を構成し、
ミラーダウンして前記第1の焦点検出手段デフォーカス量検出するステップと、
ミラーアップして前記第2の焦点検出手段で前記記録媒体に記録する映像信号前記撮像信号に基づいてデフォーカス量を検出するステップと、
ミラーダウンして前記第1の焦点検出手段でデフォーカス量を検出し、得られた複数のデフォーカス量に基づいて前記撮影光学系の焦点が合う位置を予測し、前記撮影光学系の焦点状態を調節する制御を行うステップと、を有することを特徴とする焦点検出装置の制御方法。
A method for controlling a focus detection device, comprising:
The focus detection device performs focus detection based on a phase difference between an image pickup element that picks up subject image light incident via a photographing optical system and outputs an image pickup signal, and a pair of subject images that are pupil-divided. and 1 focus detection unit, a mirror that leave the light beam from the object during imaging by the imaging device, a recording means for recording a video signal based on the imaging signal obtained with the imaging device And the imaging device constitutes a second focus detection means for performing focus detection based on a phase difference between a pair of subject images divided into pupils,
Detecting a defocus amount by the first focus detection unit and a mirror down,
Detecting a defocus amount based in the mirror-up on the imaging signal of the video signal to be recorded on said recording medium by said second focus detection means,
The defocus amount is detected by the first focus detection means after the mirror is lowered, and the position where the photographing optical system is focused is predicted based on the obtained plurality of defocus amounts, and the focus state of the photographing optical system is determined. And a step of controlling to adjust the focus detection apparatus.
JP2008312810A 2008-12-09 2008-12-09 Focus detection apparatus and control method thereof Expired - Fee Related JP5361356B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008312810A JP5361356B2 (en) 2008-12-09 2008-12-09 Focus detection apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008312810A JP5361356B2 (en) 2008-12-09 2008-12-09 Focus detection apparatus and control method thereof

Publications (2)

Publication Number Publication Date
JP2010139520A JP2010139520A (en) 2010-06-24
JP5361356B2 true JP5361356B2 (en) 2013-12-04

Family

ID=42349761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008312810A Expired - Fee Related JP5361356B2 (en) 2008-12-09 2008-12-09 Focus detection apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP5361356B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209450A (en) * 2010-03-29 2011-10-20 Nikon Corp Digital camera and image sorting program
JP2014032214A (en) * 2010-11-30 2014-02-20 Fujifilm Corp Imaging apparatus and focus position detection method
JP2013122495A (en) * 2011-12-09 2013-06-20 Nikon Corp Focus detector and camera
WO2016140066A1 (en) * 2015-03-02 2016-09-09 ソニー株式会社 Signal processing device, signal processing method, program, electronic device, and imaging element
JP2017126035A (en) * 2016-01-15 2017-07-20 キヤノン株式会社 Imaging apparatus, control method, program, and storage medium
JP7094767B2 (en) * 2018-05-09 2022-07-04 キヤノン株式会社 Imaging device and its control method and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2974637B2 (en) * 1997-06-09 1999-11-10 キヤノン株式会社 Automatic focusing device
JP5168798B2 (en) * 2006-03-01 2013-03-27 株式会社ニコン Focus adjustment device and imaging device

Also Published As

Publication number Publication date
JP2010139520A (en) 2010-06-24

Similar Documents

Publication Publication Date Title
JP5300414B2 (en) Camera and camera system
JP6405243B2 (en) Focus detection apparatus and control method thereof
JP5676988B2 (en) Focus adjustment device
US8670064B2 (en) Image capturing apparatus and control method therefor
JPWO2005081020A1 (en) Optics and beam splitters
JP2006270183A (en) Imaging apparatus
JP2009244429A (en) Imaging apparatus
JP5361356B2 (en) Focus detection apparatus and control method thereof
JP5100410B2 (en) Imaging apparatus and control method thereof
JP6405163B2 (en) Focus detection apparatus and control method thereof
JP5329913B2 (en) Automatic focusing apparatus and method
JP2011135191A (en) Imaging apparatus and image processor
JP6529387B2 (en) Imaging device, control method therefor, program, storage medium
JP2005295577A (en) Imaging apparatus
JP5548490B2 (en) Imaging device
JP2010060771A (en) Imaging device
JP5911530B2 (en) Imaging device
JP4612800B2 (en) Imaging apparatus and imaging system
JP5295413B2 (en) Imaging device
JP2000284346A (en) Three-dimensional information input camera
JP3269484B2 (en) 3D information input camera
JP2007187806A (en) Imaging apparatus
JP2005275416A (en) Imaging apparatus
JP2016122950A (en) Imaging apparatus
JP4438052B2 (en) Imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120924

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130702

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130903

R151 Written notification of patent or utility model registration

Ref document number: 5361356

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees