JP5945389B2 - Imaging apparatus, imaging method, and program - Google Patents
Imaging apparatus, imaging method, and program Download PDFInfo
- Publication number
- JP5945389B2 JP5945389B2 JP2011186815A JP2011186815A JP5945389B2 JP 5945389 B2 JP5945389 B2 JP 5945389B2 JP 2011186815 A JP2011186815 A JP 2011186815A JP 2011186815 A JP2011186815 A JP 2011186815A JP 5945389 B2 JP5945389 B2 JP 5945389B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- image sensor
- frame
- movement amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Description
本発明は、一部を焦点検出用素子に兼用する撮像素子を有し、連続して撮像を行うことで動画を撮影する撮影装置、撮影方法、およびプログラムに関する。 The present invention relates to an image capturing apparatus , an image capturing method , and a program that have an image sensor that is partially used as a focus detection element and that captures a moving image by continuously capturing images.
撮像素子の一部を焦点検出用フォトダイオードに兼用する撮像素子は従来から知られている(特許文献1参照)。この特許文献1に開示の撮像素子では、焦点検出用に兼用する領域の各画素は2つの画素に分割され、この2つの画素は、それぞれオンチップマイクロレンズを介して、撮影レンズの異なる射出瞳領域(以下「瞳領域」と記載する)を通過した被写体光束を受光する。そして、この異なる瞳領域を通過した2種類の画像信号によって表わされる2つの画像の位相差に基づいて焦点状態が検出される。 2. Description of the Related Art Conventionally, an image sensor that uses part of the image sensor as a focus detection photodiode is known (see Patent Document 1). In the image sensor disclosed in Patent Document 1, each pixel in a region that is also used for focus detection is divided into two pixels, and these two pixels are respectively connected to different exit pupils of the photographing lens via an on-chip microlens. A subject luminous flux that has passed through a region (hereinafter referred to as “pupil region”) is received. Then, the focus state is detected based on the phase difference between the two images represented by the two types of image signals that have passed through the different pupil regions.
上述の特許文献1に開示の撮像素子は、1つの撮像素子を撮像と焦点検出に兼用できる点で優れている。しかし、特許文献1に開示の撮像素子は、画像を構成する画素の一部を測距のための画素(AF画素)に置き換えることから、このAF画素の部分の画像が欠損してしまい、画像が劣化してしまう。画像の劣化を防止するためには、AF画素を減らせばよいが、AF画素を減らすとAFの精度を維持することができない。 The image sensor disclosed in Patent Document 1 is excellent in that one image sensor can be used for both imaging and focus detection. However, since the image sensor disclosed in Patent Document 1 replaces a part of pixels constituting the image with a pixel for distance measurement (AF pixel), the image of this AF pixel portion is lost, and the image Will deteriorate. In order to prevent image degradation, the AF pixels may be reduced. However, if the AF pixels are reduced, the AF accuracy cannot be maintained.
このような欠損画素があると、静止画や動画やライブビュー表示の際に、その部分がノイズのように見えてしまう。特に、ライブビュー表示の際に、画像の拡大表示を行ったり、動画撮影の際に拡大記録を行ったりすると、従来の欠陥画素数よりもはるかに多い画素がAF画素となることから、欠損画素が目立ってしまう。欠損画素の部分を補間法等により補正する方法が考えられる。しかし、補間法等の補正を行った場合にはその位置の画質が常に劣化してしまう。 When such a defective pixel is present, the portion looks like noise when displaying a still image, a moving image, or a live view. In particular, when an enlarged image is displayed during live view display or when an enlarged recording is performed during moving image shooting, a much larger number of pixels than the conventional defective pixels become AF pixels. Will stand out. A method of correcting the defective pixel portion by an interpolation method or the like is conceivable. However, when correction such as interpolation is performed, the image quality at that position always deteriorates.
本発明は、このような事情を鑑みてなされたものであり、一部を焦点検出用素子に兼用する撮像素子を有する場合であっても、十分な画質を得ることの可能な撮影装置、撮影方法、およびプログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and a photographing apparatus and photographing capable of obtaining sufficient image quality even in the case of having an image sensor that also serves as a focus detection element. It is an object to provide a method and a program .
上記目的を達成するため第1の発明に係わる撮影装置は、動画を撮像可能な撮影装置において、焦点検出用画素を有し、被写体画像を画像データに変換し出力する撮像素子と、上記被写体画像と上記撮像素子の相対的な移動量を算出する移動量算出手段と、上記撮像素子による第1のフレームの撮像の完了後であって、上記第1のフレーム以後に撮像するフレームである第2のフレームの撮像開始前までの間に、上記移動量算出手段によって算出された上記移動量に基づいて、上記被写体画像と上記撮像素子の相対位置を変更させる変更手段と、フレーム間の平滑処理による補間処理、または1フレームの画像内での補間処理を行う補間手段と、上記撮像素子から出力される上記画像データに基づいてライブビュー表示を行う表示手段と、上記ライブビュー表示を行うにあたって拡大表示を指示するための拡大画像操作手段と、上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更する画像切り出し手段と、を有し、上記拡大表示が指示された際に、上記移動量に基づいて上記被写体画像と上記撮像素子の相対位置を上記変更手段によって変更させ、上記移動量に応じて上記画像データの切り出し位置を上記画像切り出し手段によって変更させ、この切り出し位置を変更した画像データを上記補間手段により補間処理を行った結果に基づいて上記表示手段にライブビュー表示させる。 In order to achieve the above object, a photographic device according to a first aspect of the present invention is a photographic device capable of capturing a moving image, having an imaging element having focus detection pixels, converting a subject image into image data, and outputting the subject image. And a moving amount calculating means for calculating a relative moving amount of the image sensor, and a second frame that is captured after the first frame is captured after the first frame is imaged by the image sensor. By the change means for changing the relative position of the subject image and the image sensor based on the movement amount calculated by the movement amount calculation means and before the start of imaging of the frame, and smoothing processing between frames and interpolation means for performing interpolation processing in the image interpolation processing or one frame, a display means for performing a live view display based on the image data output from the image pickup device, the upper Enlarged image operation means for instructing enlarged display in performing live view display, and image cutout means for changing the cutout position of the image data output from the image sensor according to the movement amount When the enlargement display is instructed, the relative position between the subject image and the image sensor is changed by the changing unit based on the movement amount, and the cutout position of the image data is changed according to the movement amount. Based on the result of the interpolation process performed by the interpolation unit, the display unit performs live view display on the image data that has been changed by the cutout unit and the cutout position has been changed.
第2の発明に係わる撮影装置は、上記第1の発明において、上記第2のフレームは、上記表示手段において、上記第1のフレームの画像の次に表示される画像である。
第3の発明に係わる撮影装置は、上記第1の発明において、さらに、上記撮像素子から出力される上記画像データに基づいて動画画像の記録を行う記録手段と、上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更する画像切り出し手段と、を有し、上記動画画像の記録が指示された際に、上記移動量に基づいて上記被写体画像と上記撮像素子の相対位置を上記変更手段によって変更させ、上記移動量に応じて上記画像データの切り出し位置を上記画像切り出し手段によって変更させ、この切り出し位置を変更した画像データを記録手段によって記録する。
第4の発明に係わる撮影装置は、上記第1の発明において、上記第2のフレームは、上記記録手段において、上記第1のフレームの画像の次に記録される画像である。
In the photographing apparatus according to a second aspect of the present invention, in the first aspect , the second frame is an image displayed on the display means next to the image of the first frame.
According to a third aspect of the present invention, there is provided a photographing apparatus according to the first aspect , further comprising recording means for recording a moving image based on the image data output from the image sensor, and the output from the image sensor. Image cut-out means for changing the cut-out position of the image data according to the movement amount, and when the recording of the moving image is instructed, the subject image and the image sensor The relative position is changed by the changing unit, the cutout position of the image data is changed by the image cutout unit according to the movement amount, and the image data in which the cutout position is changed is recorded by the recording unit.
In a photographing apparatus according to a fourth invention, in the first invention, the second frame is an image recorded next to the image of the first frame in the recording means.
第5の発明に係わる撮影装置は、上記第1の発明において、上記変更手段は、上記撮像素子を上記移動量に基づいて移動させるか、または上記被写体画像を形成するためのレンズを上記移動量に基づいて移動させる。
第6の発明に係わる撮影装置は、上記第1の発明において、上記変更手段は、拡大表示を行う際に、または拡大表示が指示されたら、上記被写体画像と上記撮像素子の相対位置の変更を実行する。
According to a fifth aspect of the present invention, in the photographing apparatus according to the first aspect , the changing means moves the imaging element based on the movement amount or moves a lens for forming the subject image. Move based on.
According to a sixth aspect of the present invention, in the first aspect, the changing means changes the relative position between the subject image and the image sensor when performing the enlarged display or when the enlarged display is instructed. Run.
第7の発明に係わる撮影装置は、上記第1の発明において、上記移動量算出手段は、上記被写体画像と上記撮像素子の相対位置を、ランダムに変更させるか、または規則的に変更させる。
第8の発明に係わる撮影装置は、上記第1の発明において、上記移動量算出手段は、上記撮像素子から出力される画像データの画像縮小率に応じて、上記移動量を算出する。
第9の発明に係わる撮影装置は、上記第1の発明において、上記移動量算出手段は、所定の縮小率より大きく表示する場合または記録する場合のみ上記移動量を変更し、上記所定の縮小率よりも小さく表示または記録場合には上記移動量を0とする。
In the photographing apparatus according to a seventh aspect based on the first aspect , the movement amount calculation means randomly or regularly changes the relative position between the subject image and the imaging element.
According to an eighth aspect of the present invention, in the first aspect , the movement amount calculating means calculates the movement amount according to an image reduction ratio of image data output from the image sensor.
According to a ninth aspect of the present invention, in the first aspect , the movement amount calculating means changes the movement amount only when displaying or recording larger than a predetermined reduction ratio, and the predetermined reduction ratio. In the case of display or recording smaller than this, the movement amount is set to zero.
第10の発明に係わる撮影方法は、イメージャーAF画素を有する撮像素子を用い、連続して撮像を行うことで動画を撮影する撮影方法において、画像データの縮小率に応じて移動量を算出し、1フレームの撮像が完了してから次のフレームの撮像を開始する前に、被写体像と上記撮像素子の相対位置を、上記移動量に応じて変更し、フレーム間の平滑処理による補間処理、または1フレームの画像内での補間処理を行い、上記撮像素子から出力される上記画像データに基づいてライブビュー表示を行い、上記ライブビュー表示を行うにあたって拡大表示を指示された際に、上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更し、上記移動量に応じて上記画像データの切り出し位置を変更させ、この切り出し位置を変更した画像データを補間手段により補間処理を行った結果に基づいて表示手段にライブビュー表示させる。 According to a tenth aspect of the present invention, there is provided a photographing method according to a tenth aspect of the present invention, wherein a moving amount is calculated according to a reduction ratio of image data in a photographing method for photographing a moving image by continuously photographing using an image sensor having an imager AF pixel. Before completing the imaging of the next frame after imaging of one frame is completed, the relative position of the subject image and the imaging element is changed according to the amount of movement, and interpolation processing by smoothing between frames, Alternatively, interpolation processing is performed within an image of one frame, live view display is performed based on the image data output from the image sensor, and when the enlargement display is instructed when performing the live view display, the imaging is performed. The cutout position of the image data output from the element is changed according to the movement amount, the cutout position of the image data is changed according to the movement amount, and this cutout is performed. To live view display on the display unit based on the image data obtained by changing the position to a result of the interpolation process by Interpolation means.
第11の発明に係わるプログラムは、イメージャーAF画素を有する撮像素子を用い、連続して撮像を行うことで動画を撮影する撮影装置のコンピュータを実行するプログラムにおいて、画像データの縮小率に応じて移動量を算出するステップと、1フレームの撮像が完了してから次のフレームの撮像を開始する前に、被写体像と上記撮像素子の相対位置を、上記移動量に応じて変更するステップと、フレーム間の平滑処理による補間処理、または1フレームの画像内での補間処理を行うステップと、上記撮像素子から出力される上記画像データに基づいてライブビュー表示を行うステップと、上記ライブビュー表示を行うにあたって拡大表示を指示された際に、上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更し、上記移動量に応じて上記画像データの切り出し位置を変更させ、この切り出し位置を変更した画像データを補間手段により補間処理を行った結果に基づいて表示手段にライブビュー表示させるステップと、を上記コンピュータに実行させる。
A program according to an eleventh aspect of the present invention is a program for executing a computer of a photographing apparatus that uses a photographing element having an imager AF pixel and continuously captures images to shoot a moving image in accordance with a reduction rate of image data. A step of calculating a movement amount, a step of changing a relative position of the subject image and the imaging element in accordance with the movement amount before imaging of the next frame is started after imaging of one frame is completed; Performing interpolation processing by smoothing between frames, or performing interpolation processing within an image of one frame, performing live view display based on the image data output from the image sensor, and performing the live view display. When the enlargement display is instructed, the image data output from the image sensor is cut out according to the movement amount. Change the location, in accordance with the amount of movement is changed the cutout position of the image data, and live view display on the display means based on the result of interpolation processing by Interpolation means image data obtained by changing the extraction position And causing the computer to execute steps.
本発明によれば、一部を焦点検出用素子に兼用する撮像素子を有する場合であっても、フレーム間で被写体像と撮像素子の相対位置を変更するので、十分な画質を得ることの可能な撮影装置、撮影方法、およびプログラムを提供することができる。 According to the present invention, it is possible to obtain sufficient image quality because the relative position of the subject image and the image sensor is changed between frames even when an image sensor that partially serves as a focus detection element is provided. Imaging device , imaging method , and program can be provided.
以下、図面に従って本発明を適用したデジタルカメラを用いて好ましい実施形態について説明する。図1は、本発明の第1実施形態に係わるデジタルカメラの主として電気的構成を示すブロック図である。このデジタルカメラは、カメラ本体100と、これに脱着可能な交換式レンズ200とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。 Hereinafter, preferred embodiments using a digital camera to which the present invention is applied will be described with reference to the drawings. FIG. 1 is a block diagram mainly showing an electrical configuration of the digital camera according to the first embodiment of the present invention. This digital camera includes a camera body 100 and an interchangeable lens 200 that can be attached to and detached from the camera body 100. In the present embodiment, the photographing lens is an interchangeable lens type, but the present invention is not limited to this, and a digital camera of a type in which the photographing lens is fixed to the camera body may of course be used.
交換式レンズ200は、撮影レンズ201、絞り203、ドライバ205、マイクロコンピュータ207、フォトインタラプタ(以下、PIと称す)208、フラッシュメモリ209、マニュアルフォーカス環(以下、MF環と称す)210から構成され、後述するカメラ本体100との間にインターフェース(以下、I/Fと称す)300を有する。 The interchangeable lens 200 includes a photographing lens 201, a diaphragm 203, a driver 205, a microcomputer 207, a photo interrupter (hereinafter referred to as PI) 208, a flash memory 209, and a manual focus ring (hereinafter referred to as MF ring) 210. An interface (hereinafter referred to as I / F) 300 is provided between the camera body 100 and the camera body 100 described later.
撮影レンズ201は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ201の光軸の後方には、絞り203が配置されており、絞り203は口径が可変であり、撮影レンズ201を通過した被写体光束の光量を制限する。また、撮影レンズ201はドライバ205によって光軸方向に移動可能であり、マイクロコンピュータ207からの制御信号に基づいて、撮影レンズ201のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ205は、絞り203の口径の制御も行う。 The taking lens 201 is composed of a plurality of optical lenses for forming a subject image, and is a single focus lens or a zoom lens. A diaphragm 203 is arranged behind the optical axis of the photographing lens 201. The diaphragm 203 has a variable aperture, and restricts the amount of light of the subject light beam that has passed through the photographing lens 201. The photographing lens 201 can be moved in the optical axis direction by a driver 205, and the focus position of the photographing lens 201 is controlled based on a control signal from the microcomputer 207. In the case of a zoom lens, the focal length is also controlled. Is done. The driver 205 also controls the aperture of the diaphragm 203.
ドライバ205に接続されたマイクロコンピュータ207は、I/F300、PI208、およびフラッシュメモリ209に接続されている。マイクロコンピュータ207は、フラッシュメモリ209に記憶されているプログラムに従って動作し、後述するカメラ本体100内のマイクロコンピュータ121と通信を行い、マイクロコンピュータ121からの制御信号に基づいて交換式レンズ200の制御を行う。 The microcomputer 207 connected to the driver 205 is connected to the I / F 300, the PI 208, and the flash memory 209. The microcomputer 207 operates according to a program stored in the flash memory 209, communicates with a microcomputer 121 in the camera body 100 described later, and controls the interchangeable lens 200 based on a control signal from the microcomputer 121. Do.
フラッシュメモリ209には、前述したプログラムの他、交換式レンズ200の光学的特性や調整値等の種々の情報が記憶されている。I/F300は、交換式レンズ200内のマイクロコンピュータ207とカメラ本体100内のマイクロコンピュータ121の相互間の通信を行うためのインターフェースである。I/F300を介して行うマイクロコンピュータ207とマイクロコンピュータ121間の同期通信については、図5を用いて後述する。 The flash memory 209 stores various information such as optical characteristics and adjustment values of the interchangeable lens 200 in addition to the above-described program. The I / F 300 is an interface for performing communication between the microcomputer 207 in the interchangeable lens 200 and the microcomputer 121 in the camera body 100. Synchronous communication between the microcomputer 207 and the microcomputer 121 performed via the I / F 300 will be described later with reference to FIG.
交換式レンズ200の外周には、MF環210が回転自在に設けられている。このMF環210は、撮影者が手動でピント合わせを行う場合に操作する操作部材である。PI208は、MF環210の回転に応じてパルス信号を発生し、このパルス信号をマクロコンピュータ207に出力する。マクロコンピュータ207は、PI208からのパルス信号に基づいてMF環210の回転方向、回転速度、回転量等を検出し、この検出結果に応じて、ドライバ205を駆動して、手動によるピント合わせを行う。 An MF ring 210 is rotatably provided on the outer periphery of the interchangeable lens 200. The MF ring 210 is an operation member that is operated when the photographer manually focuses. The PI 208 generates a pulse signal according to the rotation of the MF ring 210 and outputs the pulse signal to the macro computer 207. The macro computer 207 detects the rotation direction, rotation speed, rotation amount, and the like of the MF ring 210 based on the pulse signal from the PI 208, and drives the driver 205 according to the detection result to perform manual focusing. .
また、MF環210が操作され、マニュアルフォーカス操作中であることは、I/F300を介して、カメラ本体100内のマイクロコンピュータ121に伝達される。本実施形態においては、MF環210を操作すると、後述する液晶ディスプレイ(以下、LCDと称す)135には、ライブビュー表示が拡大表示されることから、MF環210は、ライブビュー表示を行うにあたって拡大表示を指示、または動画の記録時に画像の拡大を指示するための拡大画像操作手段として機能する。 Further, the fact that the MF ring 210 is operated and the manual focus operation is being performed is transmitted to the microcomputer 121 in the camera body 100 via the I / F 300. In this embodiment, when the MF ring 210 is operated, a live view display is enlarged and displayed on a liquid crystal display (hereinafter referred to as an LCD) 135 to be described later. Therefore, the MF ring 210 performs the live view display. It functions as an enlarged image operation means for instructing enlargement display or instructing enlargement of an image when recording a moving image.
カメラ本体100内であって、撮影レンズ201の光軸上には、メカシャッタ101が配置されている。このメカシャッタ101は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ101の後方であって、撮影レンズ201によって被写体像が形成される位置には、撮像素子103が配置されている。 A mechanical shutter 101 is disposed in the camera body 100 on the optical axis of the taking lens 201. The mechanical shutter 101 controls the passage time of the subject luminous flux and employs a known focal plane shutter or the like. An image sensor 103 is disposed behind the mechanical shutter 101 and at a position where a subject image is formed by the photographing lens 201.
撮像素子103は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤー配列のカラーフィルタが配置されている。ベイヤー配列は、水平方向にR画素とG画素が交互に配置されたラインと、G画素とB画素が交互に配置されたラインを有している。さらにそのR画素とB画素の一部は、焦点検出用画素(AF画素)に置き換えられている。この撮像素子103の詳しい構成について、図2および図3を用いて後述する。なお、本明細書においては、撮像素子103から出力される画像信号に基づく信号であれば、A/D変換部107によってA/D変換された信号のみならず画像信号も含めて画像データと称する場合がある。 In the image sensor 103, photodiodes constituting each pixel are two-dimensionally arranged in a matrix, and each photodiode generates a photoelectric conversion current corresponding to the amount of received light, and this photoelectric conversion current is applied to each photodiode. Charges are accumulated by the connected capacitor. A Bayer color filter is arranged in front of each pixel. The Bayer array has lines in which R pixels and G pixels are alternately arranged in the horizontal direction and lines in which G pixels and B pixels are alternately arranged. Further, some of the R and B pixels are replaced with focus detection pixels (AF pixels). A detailed configuration of the image sensor 103 will be described later with reference to FIGS. 2 and 3. In this specification, a signal based on an image signal output from the image sensor 103 is referred to as image data including not only the signal A / D converted by the A / D converter 107 but also the image signal. There is a case.
撮像素子103は、撮像素子位置移動部117によって、撮影レンズ201の光軸と直交する面内で、垂直方向および水平方向にシフトさせられる。この撮像素子位置移動部117は、圧電素子の駆動力によって撮像素子103を移動させるためのメカ機構と、圧電素子の駆動制御を行うための回路等から構成される。撮像素子移動部117の詳しい構成について、図4を用いて後述する。 The image sensor 103 is shifted in the vertical direction and the horizontal direction within the plane orthogonal to the optical axis of the photographing lens 201 by the image sensor position moving unit 117. The image sensor position moving unit 117 includes a mechanical mechanism for moving the image sensor 103 by the driving force of the piezoelectric element, a circuit for performing drive control of the piezoelectric element, and the like. A detailed configuration of the image sensor moving unit 117 will be described later with reference to FIG.
撮像素子位置移動部117は、撮影レンズ201によって形成された被写体画像と、撮像素子103の相対位置を変更させる変更手段として機能する。後述するように、マイクロコンピュータ121は、撮像素子103の移動量を算出するので、撮像素子位置移動部117は、撮像素子103による1フレームの撮像の完了後であって、次のフレームの撮像開始前に、算出された移動量に基づいて、被写体画像と撮像素子の相対位置を変更させる(本実施形態においては、撮像素子103を移動させることにより、被写体画像と撮像素子の相対位置を変更させている)。また、この変更手段は、拡大表示を行う際に、または拡大表示が指示されたら、被写体画像と撮像素子の相対位置の変更を実行する。 The image sensor position moving unit 117 functions as a changing unit that changes the relative position between the subject image formed by the photographing lens 201 and the image sensor 103. As will be described later, since the microcomputer 121 calculates the amount of movement of the image sensor 103, the image sensor position moving unit 117 starts imaging of the next frame after completion of imaging of one frame by the image sensor 103. Before, the relative position between the subject image and the image sensor is changed based on the calculated amount of movement (in this embodiment, the relative position between the subject image and the image sensor is changed by moving the image sensor 103. ing). Further, the changing unit changes the relative position between the subject image and the image sensor when performing the enlarged display or when the enlarged display is instructed.
撮像素子103はアナログ処理部105に接続されており、このアナログ処理部105は、撮像素子103から読み出した光電変換信号(アナログ画像信号)に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部105はA/D変換部107に接続されており、このA/D変換部107は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号(以後、画像データという)をバス119に出力する。 The image sensor 103 is connected to an analog processing unit 105. The analog processing unit 105 performs waveform shaping on the photoelectric conversion signal (analog image signal) read from the image sensor 103 while reducing reset noise and the like. Further, the gain is increased so as to obtain a more appropriate luminance. The analog processing unit 105 is connected to an A / D conversion unit 107. The A / D conversion unit 107 performs analog-to-digital conversion on the analog image signal, and sends the digital image signal (hereinafter referred to as image data) to the bus 119. Output.
バス119は、カメラ本体100の内部で読み出され若しくは生成された各種データをカメラ本体100の内部に転送するための転送路である。バス119には、前述のA/D変換部107の他、画像処理部109、AE(Auto Exposure)処理部111、AF(Auto Focus)処理部113、画像圧縮伸張部115、マイクロコンピュータ121、SDRAM(Synchronous DRAM)127、メモリインターフェース(以下、メモリI/Fと称す)129、液晶ディスプレイドライバ(以下、LCDドライバと称す)133が接続されている。 The bus 119 is a transfer path for transferring various data read or generated in the camera body 100 to the camera body 100. In addition to the A / D conversion unit 107, the bus 119 includes an image processing unit 109, an AE (Auto Exposure) processing unit 111, an AF (Auto Focus) processing unit 113, an image compression / decompression unit 115, a microcomputer 121, and an SDRAM. A (Synchronous DRAM) 127, a memory interface (hereinafter referred to as a memory I / F) 129, and a liquid crystal display driver (hereinafter referred to as an LCD driver) 133 are connected.
画像処理部109は、ホワイトバランス補正(WB補正)、同時化処理、ガンマ・色再現処理、ノイズリダクション処理、オプティカルブラック減算処理(OB減算)、エッジ強調処理等を行い、SDRAM127に一時記憶された画像データを読出し、この画像データに対して種々の画像処理を施す。 The image processing unit 109 performs white balance correction (WB correction), synchronization processing, gamma / color reproduction processing, noise reduction processing, optical black subtraction processing (OB subtraction), edge enhancement processing, and the like, and is temporarily stored in the SDRAM 127. Image data is read out and various image processes are performed on the image data.
また、画像処理部109による画像処理として、ライブビュー表示中または動画記録中に、MF環210が操作されると、撮像素子103からの画像の一部を切り出し、拡大画像を生成する。前述したように、撮像素子103の焦点検出用画素は画像を構成する画素でないことから、画素欠陥となってしまう。そこで、本実施形態においては、ライブビュー表示や動画撮影中のように動画の画像データを生成する際には、焦点検出用画素の位置がフレーム毎に変化するように、撮像素子位置移動部117が所定の移動量で撮像素子103を移動させ、画像処理部109が所定の移動量に応じて画像の切り出し位置を変化させ拡大画像を生成する。このように、画像処理部109は、撮像素子から出力される画像データを移動量に応じて切り出し位置を変更する画像切り出し手段として機能する。 As image processing by the image processing unit 109, when the MF ring 210 is operated during live view display or moving image recording, a part of the image from the image sensor 103 is cut out to generate an enlarged image. As described above, since the focus detection pixels of the image sensor 103 are not pixels constituting the image, a pixel defect occurs. Therefore, in this embodiment, when generating moving image data such as during live view display or moving image shooting, the image sensor position moving unit 117 is arranged so that the position of the focus detection pixel changes for each frame. Moves the image sensor 103 by a predetermined amount of movement, and the image processing unit 109 changes the cutout position of the image according to the predetermined amount of movement to generate an enlarged image. As described above, the image processing unit 109 functions as an image cutout unit that changes the cutout position of the image data output from the image sensor according to the movement amount.
また、画像処理部109は、補間手段としても機能し、画像データの補間処理、たとえば、複数のフレーム間における平滑処理、また1フレームの画像内での補間処理を行い、画像ノイズを低減させる。なお、フレーム間での平滑処理の一例としてのフレーム間NR(Noise Reduction)について、図10を用いて後述する。 The image processing unit 109 also functions as an interpolation unit, and performs image data interpolation processing, for example, smoothing processing between a plurality of frames or interpolation processing within an image of one frame to reduce image noise. Note that inter-frame NR (Noise Reduction) as an example of smoothing processing between frames will be described later with reference to FIG.
AE処理部111は、バス119を介して入力した画像データに基づいて被写体輝度測定し、この被写体輝度情報を、バス119を介してマイクロコンピュータ117に出力する。被写体輝度測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。 The AE processing unit 111 measures subject luminance based on the image data input via the bus 119, and outputs the subject luminance information to the microcomputer 117 via the bus 119. A dedicated photometric sensor may be provided for measuring the subject brightness, but in this embodiment, the subject brightness is calculated based on the image data.
AF処理部113は、撮像素子103の焦点検出画素に設けられたAFフォトダイオード11b(図3参照)の出力に基づいて、いわゆる位相差法により、撮影レンズ201のデフォーカス方向およびデフォーカス量を算出し、バス119を介してマイクロコンピュータ121に出力する。マイクロコンピュータ121は、算出されたデフォーカス方向およびデフォーカス量を交換式レンズ200内のマイクロコンピュータ207に出力し、ドライバ205によって、撮影レンズ201の自動焦点調節を行う。 The AF processing unit 113 determines the defocus direction and the defocus amount of the photographing lens 201 by a so-called phase difference method based on the output of the AF photodiode 11b (see FIG. 3) provided in the focus detection pixel of the image sensor 103. Calculate and output to the microcomputer 121 via the bus 119. The microcomputer 121 outputs the calculated defocus direction and defocus amount to the microcomputer 207 in the interchangeable lens 200, and the driver 205 performs automatic focus adjustment of the photographing lens 201.
画像圧縮伸張部115は、画像データの記録媒体131への記録時に、SDRAM127から画像データを読み出し、この読み出した画像データをJPEG圧縮方式に従って圧縮する。また、画像データの再生時に、記録媒体131からの読み出した画像データの伸張処理を行う。なお、本実施形態においては、画像圧縮方式としては、JPEG圧縮方式を採用するが、圧縮方式はこれに限らずTIFF、MPEG等、他の圧縮方式でも勿論かまわない。 The image compression / decompression unit 115 reads the image data from the SDRAM 127 when the image data is recorded on the recording medium 131, and compresses the read image data according to the JPEG compression method. Further, when reproducing the image data, the image data read from the recording medium 131 is decompressed. In this embodiment, the JPEG compression method is adopted as the image compression method. However, the compression method is not limited to this, and other compression methods such as TIFF and MPEG may be used.
マイクロコンピュータ121は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ121には、前述のI/F300以外に、操作部123およびフラッシュメモリ125が接続されている。 The microcomputer 121 functions as a control unit for the entire camera, and comprehensively controls various sequences of the camera. In addition to the I / F 300 described above, an operation unit 123 and a flash memory 125 are connected to the microcomputer 121.
また、マイクロコンピュータ121は、前述した所定量の算出を行う移動量算出手段として機能する。すなわち、前述したように、ライブビュー表示や動画撮影中のように動画の画像データを生成する際には、焦点検出用画素の位置が、フレーム毎に変化するように、撮像素子103上の被写体画像と撮像素子103のいずれか一方(本実施形態においては、撮像素子103)を、所定の移動量で移動させており、マイクロコンピュータ121は、このときの移動量を算出する。この移動量は、MF環210が操作され拡大画像を生成する際等、撮像素子から出力される画像データの画像の縮小率に応じて異ならせている。具体的には、所定の縮小率より大きく表示・記録する場合のみに移動量を変更し、所定の縮小率より小さく表示・記録する場合には移動量は0としている。 In addition, the microcomputer 121 functions as a movement amount calculation unit that calculates the predetermined amount described above. That is, as described above, when generating moving image data such as during live view display or moving image shooting, the subject on the image sensor 103 is changed so that the position of the focus detection pixel changes from frame to frame. Either one of the image and the image sensor 103 (in this embodiment, the image sensor 103) is moved by a predetermined movement amount, and the microcomputer 121 calculates the movement amount at this time. The amount of movement differs depending on the image reduction rate of the image data output from the image sensor, such as when the MF ring 210 is operated to generate an enlarged image. Specifically, the movement amount is changed only when displaying / recording larger than a predetermined reduction rate, and the movement amount is set to 0 when displaying / recording smaller than a predetermined reduction rate.
操作部123は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマクロコンピュータ121に出力する。マイクロコンピュータ121は、操作部123からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン/オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。 The operation unit 123 includes operation members such as various input buttons and various input keys such as a power button, a release button, a moving image button, a playback button, a menu button, and the like, detects operation states of these operation members, and displays the detection result as a macro. The data is output to the computer 121. The microcomputer 121 executes various sequences according to the user's operation based on the detection result of the operation member from the operation unit 123. The power button is an operation member for instructing to turn on / off the power of the digital camera. When the power button is pressed, the power of the digital camera is turned on. When the power button is pressed again, the power of the digital camera is turned off.
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチを備える。マイクロコンピュータ121は、ファーストレリーズスイッチがオンとなると、AE処理やAF処理等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ101等を制御し、撮像素子103等から被写体画像に基づく画像データを取得し、この画像データを記録媒体131に記録する一連の撮影シーケンスを実行して撮影を行う。 The release button includes a first release switch that is turned on when the button is half-pressed and a second release switch that is turned on when the button is further pressed halfway down and then fully pressed. When the first release switch is turned on, the microcomputer 121 executes a shooting preparation sequence such as AE processing and AF processing. When the second release switch is turned on, the mechanical shutter 101 and the like are controlled, image data based on the subject image is acquired from the image sensor 103 and the like, and a series of shooting sequences for recording the image data on the recording medium 131 are executed. Take a picture.
動画釦は、動画の撮影を開始させ、また終了させるための釦である。初期状態では動画未撮影状態であるので、この状態で動画釦を押すと動画の撮影を開始し、動画撮影中に動画釦を押すと、動画の撮影を終了する。従って、動画釦を押すたびに、動画の撮影開始と終了を交互に繰り返す。また、再生釦は、記録媒体131に記録されている撮影画像をLCD135に表示させる表示モードを実行させるための操作釦である。 The movie button is a button for starting and ending movie shooting. Since the moving image is not yet shot in the initial state, moving image shooting starts when the moving image button is pressed in this state, and moving image shooting ends when the moving image button is pressed during moving image shooting. Therefore, each time the moving image button is pressed, the start and end of moving image shooting are repeated alternately. The playback button is an operation button for executing a display mode in which a captured image recorded in the recording medium 131 is displayed on the LCD 135.
メニュー釦はメニュー画面を表示させる。本実施形態においては、マニュアルフォーカス時のMF環210の操作やボタン操作等により、ライブビュー表示を拡大表示するが、そのときの拡大率は、メニュー画面において設定する。勿論、倍率設定用の操作釦を設けても構わない。 The menu button displays a menu screen. In the present embodiment, the live view display is enlarged and displayed by operating the MF ring 210 or button operation during manual focus, and the enlargement ratio at that time is set on the menu screen. Of course, an operation button for setting the magnification may be provided.
フラッシュメモリ125は、マイクロコンピュータ121の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ121はこのプログラムに基づいて当該デジタルカメラの制御を行う。また、フラッシュメモリ125は、被写体輝度に対して適正露光となる露出制御値(ISO感度、絞り値、シャッタ速度)の組合せを示すテーブル(露出条件決定テーブル)、ホワイトバランス補正を行うためのホワイトバランスゲインや、カラーマトリックス係数を記憶している。フラッシュメモリ125は、当該デジタルカメラの動作に必要な各種パラメータやテーブルを記憶しており、マイクロコンピュータ121が前述のプログラムに従って、これらのパラメータを読み出し、各処理を実行する。 The flash memory 125 stores a program for executing various sequences of the microcomputer 121. The microcomputer 121 controls the digital camera based on this program. In addition, the flash memory 125 is a table (exposure condition determination table) showing combinations of exposure control values (ISO sensitivity, aperture value, shutter speed) that provide appropriate exposure with respect to the subject brightness, and white balance for white balance correction. Gain and color matrix coefficients are stored. The flash memory 125 stores various parameters and tables necessary for the operation of the digital camera, and the microcomputer 121 reads out these parameters and executes each process according to the program described above.
バス119に接続されたSDRAM127は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このSDRAM127は、A/D変換部107から出力された画像データや、画像処理部109や画像圧縮伸張部115等において処理された画像データを一時記憶する。 The SDRAM 127 connected to the bus 119 is an electrically rewritable volatile memory for temporary storage of image data and the like. The SDRAM 127 temporarily stores the image data output from the A / D conversion unit 107 and the image data processed by the image processing unit 109, the image compression / decompression unit 115, and the like.
バス119に接続されたメモリI/F129は、記録媒体131に画像データ等を記録し、また記録媒体131から画像データ等を読出しの際のインターフェースである。記録媒体131は、例えば、カメラ本体100に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体100に内蔵されたハードディスク等であっても良い。メモリI/F129および記録媒体131によって、撮像素子103から出力される画像データに基づいて動画画像の記録を行う記録手段が構成される。 A memory I / F 129 connected to the bus 119 is an interface for recording image data and the like on the recording medium 131 and reading the image data and the like from the recording medium 131. The recording medium 131 is, for example, a recording medium such as a memory card that is detachably attached to the camera body 100, but is not limited thereto, and may be a hard disk or the like built in the camera body 100. The memory I / F 129 and the recording medium 131 constitute recording means for recording a moving image based on image data output from the image sensor 103.
LCDドライバ133は、LCD135に接続されており、SDRAM127や記録媒体131から読み出され、画像圧縮伸張部115によって伸張された画像データに基づいて画像をLCD135において表示させる。LCD135は、カメラ本体100の背面等に配置された液晶ディスプレイを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体131に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、圧縮されている画像データを表示する場合には、前述したように、画像圧縮伸張部115によって伸張処理を施した後に表示する。また、表示部としては、液晶ディスプレイに限らず、有機EL等、他の表示パネルを採用しても勿論かまわない。 The LCD driver 133 is connected to the LCD 135 and displays an image on the LCD 135 based on the image data read from the SDRAM 127 or the recording medium 131 and expanded by the image compression / decompression unit 115. The LCD 135 includes a liquid crystal display disposed on the back surface of the camera body 100 and performs image display. As the image display, there are a REC view display for displaying the recorded image data for a short time immediately after shooting, a playback display of a still image or a moving image file recorded on the recording medium 131, and a moving image display such as a live view display. included. When displaying compressed image data, the image data is displayed after being decompressed by the image compression / decompression unit 115 as described above. Further, the display unit is not limited to the liquid crystal display, and other display panels such as an organic EL may be adopted as a matter of course.
次に、本実施形態における撮像素子の詳細な構成について、図2および図3を用いて説明する。図2(b)は、撮像素子103の平面図であり、図2(a)は、撮像素子103の一部分を拡大した図である。図2(a)において、横方向に画素ナンバとしてア〜タを割り当て、縦方向に画素ナンバとして1〜16を割り当てる。この例では、画素(ア、1)がR画素であり、画素(イ、2)がB画素であり、画素(イ、1)および画素(ア、2)がG画素である。この4画素の組合せが、横方向および縦方向に繰り返され、撮像素子が構成される。なお、各画素内において丸で示した部分は、マイクロレンズを示す。 Next, a detailed configuration of the image sensor according to the present embodiment will be described with reference to FIGS. 2 and 3. FIG. 2B is a plan view of the image sensor 103, and FIG. 2A is an enlarged view of a part of the image sensor 103. In FIG. 2 (a), a to are assigned as pixel numbers in the horizontal direction, and 1 to 16 are assigned as pixel numbers in the vertical direction. In this example, the pixel (A, 1) is an R pixel, the pixel (A, 2) is a B pixel, and the pixel (A, 1) and the pixel (A, 2) are G pixels. The combination of the four pixels is repeated in the horizontal direction and the vertical direction to form an image sensor. In addition, the part shown by the circle in each pixel shows a micro lens.
本実施形態における撮像素子の配置は、一部のRまたはBの画像生成用画素を焦点検出用画素に置き換えて配列されている。すなわち、図2(a)に示した例では、画素(エ、4)、画素(オ、5)、画素(シ、4)、画素(ス、5)、画素(エ、12)、画素(オ、13)、画素(シ、12)、画素(ス、13)の合計8個の焦点検出用画素を含んでいる。これらの焦点検出用画素によって、撮像素子103の画面において垂直方向(画素座標1〜16の方向)の位相差を検出可能である。 In the present embodiment, the image sensors are arranged by replacing some R or B image generation pixels with focus detection pixels. That is, in the example shown in FIG. 2A, the pixel (d, 4), the pixel (e, 5), the pixel (x, 4), the pixel (x, 5), the pixel (d, 12), the pixel ( E, 13), pixels (x, 12), and pixels (x, 13) in total, including eight focus detection pixels. With these focus detection pixels, the phase difference in the vertical direction (direction of pixel coordinates 1 to 16) can be detected on the screen of the image sensor 103.
なお、本実施形態においては、撮像素子103の垂直方向に沿っての位相差を検出するように焦点検出用画素を配置したが、これに限らず、水平方向や斜め方向に沿っての位相差を検出するように焦点検出用画素を配置するようにしてもよい。また、本実施形態においては、焦点検出用画素は、R画素やB画素にあたる位置に置き換えていたが、これに限らず、G画素にあたる位置に焦点検出用画素を置き換えるようにしても勿論かまわない。 In the present embodiment, the focus detection pixels are arranged so as to detect the phase difference along the vertical direction of the image sensor 103. However, the present invention is not limited to this, and the phase difference along the horizontal direction or the diagonal direction is not limited thereto. Focus detection pixels may be arranged so as to detect. In the present embodiment, the focus detection pixels are replaced with positions corresponding to R pixels and B pixels. However, the present invention is not limited to this, and the focus detection pixels may be replaced with positions corresponding to G pixels. .
次に、焦点検出用画素の詳しい構造について、図3を用いて、説明する。図3(a)は焦点検出用画素の平面図であり、図3(b)はB−B断面図である。通常のマトリクス状に配置された撮影画像生成用画素ではフォトダイオード(不図示)が配置されているのに対して、焦点検出用画素では、図3(a)に示すように、AF検出用フォトダイオード11bが配置される。このAF検出用フォトダイオード11bは、マイクロレンズ17の光軸よりも、一側に偏って形成される。また、カラーフィルタは、焦点検出用画素では、輝度フィルタ15bが配置される。なお、輝度フィルタ15bは、NDフィルタ、透明フィルタ、グレーフィルタ等で構成され、またフィルタがなく中空となっているものも含まれる。 Next, a detailed structure of the focus detection pixel will be described with reference to FIG. FIG. 3A is a plan view of the focus detection pixel, and FIG. 3B is a cross-sectional view taken along the line BB. Photodiodes (not shown) are arranged in the captured image generation pixels arranged in a normal matrix, whereas the AF detection photo is arranged in the focus detection pixels as shown in FIG. A diode 11b is arranged. The AF detection photodiode 11 b is formed so as to be biased to one side with respect to the optical axis of the microlens 17. The color filter is provided with a luminance filter 15b in the focus detection pixel. The luminance filter 15b includes an ND filter, a transparent filter, a gray filter, and the like, and includes a filter that has no filter and is hollow.
輝度フィルタ15bの上側は、マイクロレンズ17によって覆われている。マイクロレンズ17は、撮影レンズ201の射出瞳19の位置と画素(AF検出用フォトダイオード11b)が略共役になるように、焦点距離とその位置が決められている。また、輝度フィルタ15bの裏面側には遮光部材13が設けられている。この遮光部材13は、射出瞳19の一側のみがAF検出用フォトダイオード11bに到達させ、それ以外の被写体光束を遮光する。なお、図3(b)においては、AF検出用フォトダイオード11bは、マイクロレンズ17の光軸よりも、一側に偏って形成されているが、画像生成用画素と同じような大きさであっても構わない。 The upper side of the luminance filter 15 b is covered with the microlens 17. The focal length and the position of the microlens 17 are determined so that the position of the exit pupil 19 of the photographing lens 201 and the pixel (AF detection photodiode 11b) are substantially conjugate. A light shielding member 13 is provided on the back side of the luminance filter 15b. The light shielding member 13 causes only one side of the exit pupil 19 to reach the AF detection photodiode 11b, and shields the subject luminous flux other than that. In FIG. 3B, the AF detection photodiode 11b is formed to be biased to one side with respect to the optical axis of the microlens 17, but has the same size as the image generation pixel. It doesn't matter.
このように、本実施形態における焦点検出用画素は構成されている。このため、撮影レンズ201の射出瞳19の一部を通過した被写体光束25は、マイクロレンズ17および輝度フィルタ15bを通過し、AF検出用フォトダイオード11b上に投射される。また、被写体光束25以外の光束は、遮光部材13によって遮光され、AF検出用フォトダイオード11b上には投射されない。 Thus, the focus detection pixels in the present embodiment are configured. Therefore, the subject luminous flux 25 that has passed through a part of the exit pupil 19 of the photographing lens 201 passes through the microlens 17 and the luminance filter 15b and is projected onto the AF detection photodiode 11b. Light beams other than the subject light beam 25 are blocked by the light blocking member 13 and are not projected onto the AF detection photodiode 11b.
本実施形態においては、撮像素子103の焦点検出用画素中にAF検出用フォトダイオード11bが配置されていることから、位相差検出による焦点検出が可能となる。すなわち、焦点検出用画素(AF用フォトダイオード11b)は、撮影光学系の異なる瞳領域を通過した被写体光束のうち、一方の瞳領域を通過した光束を受光する位置に配置された第1の焦点検出用画素と、他方の瞳領域を通過した光束を受光する位置に配置された第2の焦点検出用画素とを含んでいる。例えば、図2(a)において、焦点検出用画素(エ、4)は、一方の瞳領域を通過した光束を受光する位置にあり、一方、焦点検出用画素(オ、5)は、他方の瞳領域を通過した光束を受光する位置にある。したがって、所定方向に並んでいる焦点検出用画素の一方の出力と、他方の出力から位相差を求めることができる。 In the present embodiment, since the AF detection photodiode 11b is arranged in the focus detection pixel of the image sensor 103, focus detection by phase difference detection is possible. That is, the focus detection pixel (AF photodiode 11b) is a first focus disposed at a position for receiving a light beam that has passed through one pupil region among subject light beams that have passed through different pupil regions of the photographing optical system. It includes a detection pixel and a second focus detection pixel arranged at a position for receiving the light beam that has passed through the other pupil region. For example, in FIG. 2A, the focus detection pixels (d, 4) are in a position to receive the light beam that has passed through one pupil region, while the focus detection pixels (e, 5) It is in a position to receive the light beam that has passed through the pupil region. Therefore, the phase difference can be obtained from one output of the focus detection pixels arranged in a predetermined direction and the other output.
なお、焦点検出用画素のAF検出用フォトダイオード11bと遮光部材13の形状は、長方形または正方形をしているが、この形状や大きさは適宜変更できる。AF検出用フォトダイオード11bと遮光部材13の位置を変えると、AF検出用フォトダイオード11bの受光面と共役関係にある瞳の位置を制御することが可能となる。これらの形状は、撮像素子の製造過程において、露光時のマスクを適切に作成すればよい。また、本実施形態においては、遮光部材13を設けているが、マイクロレンズ17により、AF検出用フォトダイオード11bの受光面と瞳領域の共役関係を正確に保持することができれば、遮光部材を設けなくても、AF検出用フォトダイオード11bの形状のみで瞳分割を行うようにしてもよい。 The AF detection photodiode 11b and the light shielding member 13 of the focus detection pixel are rectangular or square, but the shape and size can be changed as appropriate. When the positions of the AF detection photodiode 11b and the light shielding member 13 are changed, the position of the pupil conjugate to the light receiving surface of the AF detection photodiode 11b can be controlled. These shapes may be obtained by appropriately creating a mask at the time of exposure in the manufacturing process of the image sensor. In the present embodiment, the light shielding member 13 is provided. However, if the microlens 17 can accurately maintain the conjugate relationship between the light receiving surface of the AF detection photodiode 11b and the pupil region, the light shielding member is provided. Even if not, pupil division may be performed only with the shape of the photodiode 11b for AF detection.
次に、撮像素子位置移動部117の構成について、図4を用いて説明する。前述の撮像素子103は、ホルダ403上に配置され、このホルダ403は、固定枠401に保持されている。すなわち、固定枠401にネジ413によって固設された保持板409cと、固定枠401の間に、ボール411を介して、ホルダ403の突起部403aが介挿され、板バネを形成する保持板409cにより押圧保持されている。保持板409a、409bにおいても、同様に、ホルダ403がボールを介して固定枠401に保持されている。 Next, the configuration of the image sensor position moving unit 117 will be described with reference to FIG. The aforementioned image sensor 103 is disposed on a holder 403, and this holder 403 is held by a fixed frame 401. That is, the holding plate 409c fixed to the fixed frame 401 with screws 413 and the holding plate 409c forming the leaf spring by inserting the protrusion 403a of the holder 403 through the ball 411 between the fixed frame 401. Is held by pressing. Similarly, in the holding plates 409a and 409b, the holder 403 is held by the fixed frame 401 via a ball.
また、ホルダ403は、圧電体A405aおよび圧電体B405bによって、上方(図中のY方向)に圧接され、ホルダ403と固定枠401の間には、伸張性のバネA407a、バネB407bが介挿されている。圧電体A405aは、Y方向に伸縮し、圧電体A405aが伸びた際には、ホルダ403をバネA407aの弾性力に抗して上方に押し上げ、圧電体A405aが縮んだ際には、ホルダ403はバネA407aの弾性力によって下方に押下げられる。 The holder 403 is pressed upward (Y direction in the figure) by the piezoelectric body A 405 a and the piezoelectric body B 405 b, and extensible springs A 407 a and B 407 b are interposed between the holder 403 and the fixed frame 401. ing. The piezoelectric body A405a expands and contracts in the Y direction. When the piezoelectric body A405a extends, the holder 403 is pushed upward against the elastic force of the spring A407a, and when the piezoelectric body A405a contracts, the holder 403 It is pushed downward by the elastic force of the spring A407a.
圧電体A405aには、フレキA415aが接続されており、このフレキA415aを介して給電される。図4に示すように、ホルダ403の左右に、圧電体A405aおよび圧電体B405bが配置され、またホルダ403は、保持板409a〜409c、およびボール411によって保持され、上下方向(Y方向)に沿って移動可能となっている。なお、圧電体B405bの構成と動作は、圧電体A405aと同様であるので、ここでは詳しい説明を省略する。図4には上下方向のみ移動機構のみを示したが、同様に、左右方向(X方向)に沿って移動させる移動機構(不図示)を設ける。 A flexure A415a is connected to the piezoelectric body A405a, and power is supplied through the flexure A415a. As shown in FIG. 4, the piezoelectric body A 405 a and the piezoelectric body B 405 b are arranged on the left and right sides of the holder 403, and the holder 403 is held by holding plates 409 a to 409 c and balls 411, along the vertical direction (Y direction). Can be moved. The configuration and operation of the piezoelectric body B 405b are the same as those of the piezoelectric body A 405a, and thus detailed description thereof is omitted here. Although FIG. 4 shows only the moving mechanism only in the vertical direction, similarly, a moving mechanism (not shown) that moves in the horizontal direction (X direction) is provided.
次に、カメラ本体100と交換式レンズ200の間でなされる同期通信の一例を、図5を用いて説明する。図5において、横軸は時間の流れを表し、縦軸にそれぞれの処理内容やタイミングを示す。カメラ本体処理において、処理B1では、前フレームで取得した画像データによりライブビュー画像の表示や、AF用のデフォーカス量の算出を行う。また処理B2では、レンズ状態通信により取得したレンズ状態データに基づいて、AF演算や各種設定変更等を行う。 Next, an example of synchronous communication performed between the camera body 100 and the interchangeable lens 200 will be described with reference to FIG. In FIG. 5, the horizontal axis represents the flow of time, and the vertical axis represents the processing contents and timing. In the camera body process, in the process B1, a live view image is displayed and the AF defocus amount is calculated based on the image data acquired in the previous frame. In the process B2, AF calculation, various setting changes, and the like are performed based on the lens state data acquired by the lens state communication.
垂直同期信号は、各フレームに対応して出力される信号である。撮像・読出しでは、撮像素子103において被写体像を撮像し、この撮像した画像データの読み出しを行う。なお、撮像・読出しが、図5において、菱形形状をしているのは、本実施形態においては、ライブビュー画像の取得時はローリングシャッタを採用しており、画素ラインごとに撮像と読出しを順次行うためである。 The vertical synchronization signal is a signal output corresponding to each frame. In imaging / reading, a subject image is picked up by the image pickup device 103, and the picked-up image data is read out. Note that the image pickup / readout has a rhombus shape in FIG. 5. In this embodiment, a rolling shutter is used when a live view image is acquired, and image pickup and read out are sequentially performed for each pixel line. To do.
レンズ通信における通信BLでは、カメラ本体100から交換式レンズ200にレンズ状態データ要求コマンドを送信し、このコマンドは交換式レンズ200のレンズ状態を示すデータをカメラ本体100に送信することを要求する。また通信LBでは、レンズ状態データ要求コマンドに応じて、交換式レンズ200がカメラ本体100にレンズ状態を示すデータを送信する。 In the communication BL in the lens communication, a lens state data request command is transmitted from the camera body 100 to the interchangeable lens 200, and this command requests transmission of data indicating the lens state of the interchangeable lens 200 to the camera body 100. In the communication LB, the interchangeable lens 200 transmits data indicating the lens state to the camera body 100 in response to the lens state data request command.
レンズ通信同期信号は、カメラ本体100において垂直同期信号に応答して生成され、このレンズ通信同期信号はカメラ本体100側のI/F300の同期信号端子より交換式レンズ200に出力される。レンズ位置取得信号は、所定のタイミング、例えば図5に示す例では、撮像素子103における電荷蓄積時間の略中央時点を経過した時点で状態が変化する。 The lens communication synchronization signal is generated in response to the vertical synchronization signal in the camera body 100, and this lens communication synchronization signal is output to the interchangeable lens 200 from the synchronization signal terminal of the I / F 300 on the camera body 100 side. The state of the lens position acquisition signal changes at a predetermined timing, for example, in the example shown in FIG.
また、交換式レンズ200内における処理L1は、レンズ位置取得信号の状態変化タイミングでの撮影レンズ201の位置情報の取得、およびレンズ通信同期信号の受信タイミングでのMF環210の操作状態の検出を行う処理である。また処理L2は、カメラ本体100から受信したレンズ状態データ要求コマンドに応じて、撮影レンズ201の位置情報や、MF環210の操作状態等のレンズ状態データを送信する処理である。 Also, the process L1 in the interchangeable lens 200 is to acquire the position information of the photographing lens 201 at the timing of changing the state of the lens position acquisition signal and to detect the operation state of the MF ring 210 at the reception timing of the lens communication synchronization signal. This is the process to be performed. The process L2 is a process of transmitting lens state data such as the position information of the photographing lens 201 and the operation state of the MF ring 210 in response to the lens state data request command received from the camera body 100.
図5のタイミングチャートに示すように、本実施形態における同期通信では、垂直同期信号に同期してカメラ本体100内において処理B1を実行し、また、垂直同期信号に同期してレンズ通信同期信号を交換式レンズ200に送信する。 As shown in the timing chart of FIG. 5, in the synchronous communication in this embodiment, the process B1 is executed in the camera body 100 in synchronization with the vertical synchronization signal, and the lens communication synchronization signal is synchronized with the vertical synchronization signal. Send to interchangeable lens 200.
カメラ本体100内において処理B1を処理すると、交換式レンズ200に対して通信BLによって、レンズ状態データ要求コマンドを送信する。交換式レンズ200はレンズ状態データ要求コマンドを受信すると、レンズ状態を検出し、通信LBによってレンズ状態データを送信する。カメラ本体100はレンズ状態データを受信すると、処理B2を実行する。 When processing B1 is processed in the camera body 100, a lens state data request command is transmitted to the interchangeable lens 200 by communication BL. When the interchangeable lens 200 receives the lens state data request command, the interchangeable lens 200 detects the lens state and transmits the lens state data by communication LB. When receiving the lens state data, the camera body 100 executes the process B2.
また、交換式レンズ200内において、レンズ位置を取得する処理L1はレンズ位置取得信号に同期して実行する。このレンズ位置取得信号は所定のタイミング、前述したように、図5の例においては、撮像素子103の画面中央による電荷蓄積時間の1/2が経過した時点で発生する。交換式レンズ200は、レンズ位置取得信号の状態変化のタイミングでレンズ位置検出回路(不図示)によって撮影レンズ201の位置情報を取得する。これらの同期通信は、全体としては、レンズ通信同期信号に同期して実行される。 In the interchangeable lens 200, the process L1 for acquiring the lens position is executed in synchronization with the lens position acquisition signal. The lens position acquisition signal is generated at a predetermined timing, as described above, in the example of FIG. 5, at the time when ½ of the charge accumulation time at the screen center of the image sensor 103 has elapsed. The interchangeable lens 200 acquires position information of the photographing lens 201 by a lens position detection circuit (not shown) at the timing of the state change of the lens position acquisition signal. These synchronous communications are executed in synchronization with the lens communication synchronization signal as a whole.
このように、本実施形態においては、MF環210の回転操作がなされると、PI208からのパルス信号に基づいて、交換式レンズ200内のマイクロコンピュータ207は、処理L2の処理終了時点で、MF環210の回転操作中であることを、カメラ本体100内のマイクロコンピュータ121に送信する。 As described above, in the present embodiment, when the MF ring 210 is rotated, the microcomputer 207 in the interchangeable lens 200, based on the pulse signal from the PI 208, sets the MF at the end of the process L2. The fact that the ring 210 is being rotated is transmitted to the microcomputer 121 in the camera body 100.
次に、図6ないし図10を用いて、本実施形態におけるデジタルカメラの動作について説明する。図6、7、9、10に示すフローチャートは、フラッシュメモリ125に記憶されたプログラムに従ってマイクロコンピュータ121が実行する。 Next, the operation of the digital camera in this embodiment will be described with reference to FIGS. 6, 7, 9, and 10 are executed by the microcomputer 121 in accordance with a program stored in the flash memory 125.
まず、図6に示すフローチャートを用いてメイン動作を説明する。電源釦が操作され、電源オンとなると、図6に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を行う(S1)。ここでは、動画の記録中であるか否かを示す記録中フラグをオフにする。この記録中フラグは、オンの場合には動画を記録中であることを示し、オフの場合には動画の記録を行っていないことを示す。また、交換式レンズ200とカメラ本体100の間で、図5を用いて説明した同期通信を開始する。 First, the main operation will be described using the flowchart shown in FIG. When the power button is operated and the power is turned on, the main flow shown in FIG. 6 starts operation. When the operation is started, first, initialization is performed (S1). Here, the recording flag indicating whether or not a moving image is being recorded is turned off. The recording flag indicates that a moving image is being recorded when turned on, and indicates that no moving image is recorded when turned off. Moreover, the synchronous communication demonstrated using FIG. 5 between the interchangeable lens 200 and the camera main body 100 is started.
初期化を行うと、次に、再生釦が押されたか否かを判定する(S3)。ここでは、操作部123の内の再生釦の操作状態に基づいて判定する。この判定の結果、再生釦が押された場合には、次に、再生を行う(S19)。ここでは、記録媒体131から画像データを読出し、LCD135に表示させる。 Once initialization has been carried out, it is next determined whether or not the playback button has been pressed (S3). Here, the determination is made based on the operation state of the playback button in the operation unit 123. If the result of this determination is that the playback button has been pressed, playback is next carried out (S19). Here, image data is read from the recording medium 131 and displayed on the LCD 135.
ステップS19において再生を実行すると、またはステップS3における判定の結果、再生釦が押されていなかった場合には、次に、動画釦が押されたか否かの判定を行う(S5)。このステップでは、操作部123において、動画釦の操作状態を検知し、この検知結果に基づいて判定する。この判定の結果、動画釦が押された場合には、次に、記録中フラグの反転を行う(S21)。前述したように、動画釦は押されるたびに、動画撮影開始と終了を交互に繰り返すので、このステップでは、記録中フラグがオフであった場合にはオンに、またオンであった場合にはオフに、記録中フラグを反転させる。 If playback is executed in step S19 or if the result of determination in step S3 is that the playback button has not been pressed, it is next determined whether or not the movie button has been pressed (S5). In this step, the operation unit 123 detects the operation state of the moving image button and makes a determination based on the detection result. If the moving image button is pressed as a result of this determination, then the recording flag is reversed (S21). As described above, every time the movie button is pressed, the movie shooting start and end are alternately repeated. Therefore, in this step, if the recording flag is off, it is turned on. Turn off and invert the recording flag.
ステップS21において、記録中フラグの反転を行うと、次に、動画記録中か否かの判定を行う(S23)。ここでは、記録中フラグがオンか否かに基づいて判定する。すなわち、記録中フラグがオンであれば、動画記録中と判定する。ステップS23における判定の結果、動画記録中であった場合には、動画ファイルを生成する(S25)。ここでは、動画記録が開始したことから、記録用に新しい動画ファイルを生成する。 If the recording flag is reversed in step S21, it is next determined whether or not moving image recording is in progress (S23). Here, the determination is made based on whether or not the recording flag is ON. That is, if the recording flag is on, it is determined that the moving image is being recorded. If the result of determination in step S23 is that movie recording is in progress, a movie file is generated (S25). Here, since moving image recording has started, a new moving image file is generated for recording.
ステップS25において動画ファイルを生成すると、またはステップS23における判定の結果、動画記録中でなかった場合には、またはステップS5における判定の結果、動画釦が押されていなかった場合には、次に、ステップS23と同様に動画記録中であるか否かを判定する(S7)。 If a moving image file is generated in step S25, or if the result of determination in step S23 is that a moving image is not being recorded, or if the result of determination in step S5 is that the moving image button has not been pressed, As in step S23, it is determined whether moving image recording is in progress (S7).
ステップS7判定の結果、動画記録中でなかった場合には、次に、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う(S9)。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部123によって検知し、この検知結果に基づいて行う。なお、このステップでは、ファーストレリーズスイッチがオフからオンに変化したか否かを判定し、変化後にオン状態が維持されている場合には、判定結果はNoとなる。 If the result of determination in step S7 is that video recording is not in progress, it is next determined whether or not the release button has been pressed halfway, in other words, whether or not the first release switch has been turned on from off (S9). ). This determination is made based on the detection result obtained by detecting the state of the first release switch linked to the release button by the operation unit 123. In this step, it is determined whether or not the first release switch has been changed from OFF to ON. If the ON state is maintained after the change, the determination result is No.
ステップS9における判定の結果、ファーストレリーズが押された場合には、AEを行う(S11)。ここでは、AE処理部111によって、被写体輝度を測定し、絞り値やシャッタ速度等の露出制御値を決め、またLCD135に表示するライブビュー表示を適正露光で行うための制御値を決める。 If the result of determination in step S9 is that the first release has been pressed, AE is performed (S11). Here, the AE processing unit 111 measures subject brightness, determines an exposure control value such as an aperture value and a shutter speed, and determines a control value for performing live view display on the LCD 135 with appropriate exposure.
ステップS11においてAEを行うと、次に、撮影を行う(S13)。ここでの撮影は、撮像素子103によって被写体画像の画像信号を取得する。なお、このステップでは、画像データを記録媒体131に記録することはない。 When AE is performed in step S11, next, photographing is performed (S13). In this shooting, an image signal of the subject image is acquired by the image sensor 103. In this step, image data is not recorded on the recording medium 131.
撮影を行うと、次に、AFを行う(S15)。ここでは、撮像素子103の焦点検出画素のAF検出用フォトダイオード11bからの画像データに基づいて、いわゆる位相差法による焦点検出を行う。すなわち、垂直方向に沿って配列されたAF検出用フォトダイオード11bの画像データのずれに基づいて、撮影レンズ101のデフォーカス方向およびデフォーカス量を求める。そして、この求めたデフォーカス方向およびデフォーカス量に基づいて、交換式レンズ200内のマイクロコンピュータ207を介してドライバ205が撮影レンズ201のピント位置を制御する。したがって、動画記録中ではない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ201のピント合わせを1回行う。 Once shooting is performed, AF is performed (S15). Here, based on image data from the AF detection photodiode 11b of the focus detection pixel of the image sensor 103, focus detection is performed by a so-called phase difference method. That is, the defocus direction and the defocus amount of the photographing lens 101 are obtained based on the image data shift of the AF detection photodiodes 11b arranged along the vertical direction. Then, based on the obtained defocus direction and defocus amount, the driver 205 controls the focus position of the photographing lens 201 via the microcomputer 207 in the interchangeable lens 200. Therefore, when the release button is pressed halfway when the moving image is not being recorded, the photographing lens 201 is focused once at that time.
ステップS9における判定の結果、レリーズ釦がオフ→1st遷移でなかった場合には、次に、セカンドレリーズ(2nd)が押されたか否か、言い換えると、レリーズ釦が全押しされセカンドレリーズスイッチがオンとなっているか否かの判定を行う(S27)。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部123によって検知し、この検知結果に基づいて判定を行う。 If the result of determination in step S9 is that the release button is not off → 1st transition, then whether or not the second release (2nd) has been pressed, in other words, the release button is fully pressed and the second release switch is turned on. It is determined whether or not (S27). In this step, the state of the second release switch linked to the release button is detected by the operation unit 123, and a determination is made based on the detection result.
ステップS27における判定の結果、セカンドレリーズが押された場合には、静止画撮影を行う(S29)。ここでは、撮像素子103において露光を行い、被写体像に応じた画像信号を取得する。 If the result of determination in step S27 is that the second release has been pressed, still image shooting is performed (S29). Here, the image sensor 103 performs exposure to acquire an image signal corresponding to the subject image.
ステップS29において、静止画撮影を行うと、次に画像処理を行う(S31)。ここでは、撮像素子103から画像信号を読出し、画像処理部109が画像信号に基づく静止画の画像データについて画像処理を行い、画像圧縮伸張部115が画像圧縮処理を行う。前述したように、焦点検出用画素のある位置には、撮像用画素のフォトダイオード(不図示)が配置されていないことから、撮像画像生成用の画像信号を取得することができない。そこで、静止画撮影の場合には、焦点検出用画素の周辺の画素の画像データを用いて、補間処理を行うようにしてもよい。 If still image shooting is performed in step S29, image processing is performed next (S31). Here, an image signal is read from the image sensor 103, the image processing unit 109 performs image processing on still image data based on the image signal, and the image compression / decompression unit 115 performs image compression processing. As described above, since a photodiode (not shown) of the imaging pixel is not arranged at a position where the focus detection pixel is located, an image signal for generating a captured image cannot be acquired. Therefore, in the case of still image shooting, interpolation processing may be performed using image data of pixels around the focus detection pixels.
静止画用画像処理を行うと、次に、画像処理の施された画像データの記録を行う(S33)。ここでは、画像処理の施された画像データを記録媒体131に記録する。 Once the still image processing is performed, the image data subjected to the image processing is recorded (S33). Here, the image data subjected to the image processing is recorded on the recording medium 131.
ステップS7における判定の結果、動画記録中であった場合には、次にステップS11と同様にAEを行う(S35)。ここでは、AE処理部111によって、動画撮影やライブビュー表示のための露出制御を行う。 If the result of determination in step S7 is that movie recording is in progress, AE is then performed as in step S11 (S35). Here, the AE processing unit 111 performs exposure control for moving image shooting and live view display.
続いて、動画・ライブビュー撮影を行う(S37)。ここでは、動画撮影やライブビュー表示用に、撮像素子103によって画像信号を取得する。また、焦点検出用画素による画素欠陥を目立たなくするために、撮像素子位置移動部117によってフレーム毎に撮像素子103を所定移動量だけ移動させる。なお、撮像素子103の移動は、マニュアルフォーカス時のMF環210操作やボタン操作等による拡大ライブビュー表示を行う場合のみ実行するようにしてもよい。この動画・ライブビュー撮影の詳しい動作については、図7および図8を用いて後述する。 Subsequently, moving image / live view shooting is performed (S37). Here, an image signal is acquired by the image sensor 103 for moving image shooting and live view display. Further, in order to make the pixel defect due to the focus detection pixels inconspicuous, the image sensor position moving unit 117 moves the image sensor 103 by a predetermined movement amount for each frame. Note that the movement of the image sensor 103 may be executed only when an enlarged live view display is performed by an operation of the MF ring 210 or a button operation during manual focus. Detailed operation of this moving image / live view shooting will be described later with reference to FIGS.
動画・ライブビュー撮影を行うと、次に、動画用画像処理を行う(S39)。ここでは、動画記録用の画像処理や、ライブビュー表示用の画像処理を行う。また、ステップS37において、撮像素子103を所定量移動させた場合に、安定した画像を表示・記録するために、ステップS37において移動させた移動量に応じて、撮像素子103からの画像データの切り出し位置を変更する。この動画用画像処理の詳しい動作については、図9を用いて後述する。 Once moving image / live view shooting has been performed, moving image processing is performed (S39). Here, image processing for moving image recording and image processing for live view display are performed. In step S37, when the image sensor 103 is moved by a predetermined amount, in order to display and record a stable image, the image data from the image sensor 103 is cut out according to the amount of movement moved in step S37. Change the position. Detailed operation of the moving image processing will be described later with reference to FIG.
動画用画像処理を行うと、次に、ライブビュー表示を行う(S41)。ここでは、ステップS39において処理された動画用画像データを用いて、LCD135に表示を行う。動画記録中であれば、記録されている動画像を確認することができる。また、焦点検出用画素による画素の欠陥が目立たないように処理されたライブビュー画像を観察することができる。MF環210が操作されるとマニュアルフォーカスモードの場合には、ライブビュー表示を拡大表示するようにしてもよい。この場合、メニュー画面で設定された拡大率で拡大したライブビュー画像を表示する。 Once the moving image processing is performed, live view display is performed (S41). Here, display is performed on the LCD 135 using the moving image image data processed in step S39. If a moving image is being recorded, the recorded moving image can be confirmed. In addition, it is possible to observe a live view image that has been processed so that pixel defects due to focus detection pixels are not noticeable. When the MF ring 210 is operated, the live view display may be enlarged in the manual focus mode. In this case, a live view image enlarged at an enlargement rate set on the menu screen is displayed.
ライブビュー表示を行うと、次に、ステップS23、S7と同様に、動画記録中か否かを判定する(S43)。この判定の結果、動画記録中であった場合には、動画記録を行う(S45)。ここでは、ステップS39において動画用画像処理された画像データを、ステップS25に生成された動画ファイルを用いて、記録媒体131に記録する。この場合、撮像素子103を移動させ、この移動量に応じて画像の切り出しを行うことにより、画素の欠陥が目立たない画像を記録することができる。なお、MF環210が操作された場合の動画の記録は、通常サイズの画像を記録するようにしてもよいし、また拡大画像を記録するようにしてもよい。 Once live view display has been performed, it is next determined whether or not a moving image is being recorded, as in steps S23 and S7 (S43). If the result of this determination is that movie recording is in progress, movie recording is performed (S45). Here, the image data subjected to the moving image processing in step S39 is recorded on the recording medium 131 using the moving image file generated in step S25. In this case, by moving the image sensor 103 and cutting out the image according to the amount of movement, an image in which pixel defects are not noticeable can be recorded. Note that recording of a moving image when the MF ring 210 is operated may record a normal size image or may record an enlarged image.
ステップS33において静止画記録を行うと、またはステップS43における判定の結果、動画記録中でなかった場合、またはS45において動画記録を行うと、またはステップS15においてAFを実行すると、次に、電源オフか否かの判定を行う(S17)。このステップでは、操作部123の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップS3に戻る。一方、判定の結果、電源オフであった場合には、メインフローの終了動作を行ったのち、メインフローを終了する。 If still image recording is performed in step S33, or if the result of determination in step S43 is that moving image recording is not being performed, or if moving image recording is performed in S45 or AF is performed in step S15, the power is turned off. It is determined whether or not (S17). In this step, it is determined whether or not the power button of the operation unit 123 has been pressed again. If the result of this determination is that power is not off, processing returns to step S3. On the other hand, if the result of determination is that the power is off, the main flow is ended after performing the end operation of the main flow.
ステップS37の動画・ライブビュー撮影のサブルーチンを説明するに先だって、本実施形態における撮像素子103の移動量の算出について、図8を用いて説明する。図8(a)は前のフレームの撮影を示し、図8(b)は今回のフレームの撮影を示す。撮像素子103中には、焦点検出用画素103aが数〜数十画素毎に縦横方向に規則的に配列されている。図8には示してないが、隣接する焦点検出用画素103a間には、数〜数十画素の画像生成用画素が配設されている。 Prior to describing the moving image / live view shooting subroutine in step S37, calculation of the movement amount of the image sensor 103 in the present embodiment will be described with reference to FIG. FIG. 8A shows the shooting of the previous frame, and FIG. 8B shows the shooting of the current frame. In the image sensor 103, focus detection pixels 103a are regularly arranged in the vertical and horizontal directions every several to several tens of pixels. Although not shown in FIG. 8, several to several tens of image generation pixels are arranged between adjacent focus detection pixels 103a.
本実施形態においては、被写体像の光軸中心103cの位置は移動しないが、撮像素子103はフレーム毎に移動することから、図8の例では、前回のフレームの露光位置(図8(a))103dに対して、今回のフレームの露光位置は上方向にa、左方向bだけ移動する。この移動にあたっては、図8(a)における焦点検出用画素103cの位置に、図8(b)における焦点検出用画素103cの位置が重ならないように、撮像素子103をランダムに移動させる。ランダム移動するために、乱数を発生させて決めればよい。勿論、焦点検出用画素が重ならなければ、規則的な変更としてもよい。また、ベイヤーでの色(例えば光軸中心の色)が常に同じなるようにずらしてもよいし、また異なるようにしてもよい。 In the present embodiment, the position of the optical axis center 103c of the subject image does not move, but the image sensor 103 moves for each frame. Therefore, in the example of FIG. 8, the exposure position of the previous frame (FIG. 8A). ) With respect to 103d, the exposure position of the current frame moves upward by a and leftward by b. In this movement, the image sensor 103 is randomly moved so that the position of the focus detection pixel 103c in FIG. 8B does not overlap the position of the focus detection pixel 103c in FIG. In order to move randomly, a random number may be generated and determined. Of course, if the focus detection pixels do not overlap, regular changes may be made. Also, the colors at the Bayer (for example, the color at the center of the optical axis) may be shifted so that they are always the same or different.
フレーム毎に撮像素子103を移動させると、フレーム毎に被写体像が移動してしまう。そこで、後述するステップS61(図9参照)において、撮像素子103の移動量分、画像の切り出し位置103bを移動させている。これによって安定した画像を表示し、また記録することができる。 If the image sensor 103 is moved for each frame, the subject image moves for each frame. Therefore, in step S61 (see FIG. 9) described later, the image cutout position 103b is moved by the amount of movement of the image sensor 103. As a result, a stable image can be displayed and recorded.
なお、カメラ本体100に手振れセンサを設け、この手振れセンサによって検出された手振れを打ち消すように切り出し位置を移動させる所謂電子手振れ補正を行っている場合には、手振れに応じて切り出し位置が変化する。この場合には、切り出された画像における終点検出用画素の位置が、前のフレームと同じ場合にランダムにずらし、異なっている場合には移動量を0としてもよい。 In addition, when a camera shake sensor is provided in the camera body 100 and so-called electronic camera shake correction is performed in which the cutout position is moved so as to cancel the camera shake detected by the camera shake sensor, the cutout position changes according to the camera shake. In this case, when the position of the end point detection pixel in the clipped image is the same as that of the previous frame, it is randomly shifted, and when it is different, the movement amount may be zero.
次に、ステップS37の動画・ライブビュー撮影の動作について、図7に示すフローチャートを用いて説明する。動画・ライブビュー撮影のフローに入ると、まず露光位置移動量の算出を行う(S51)。ここでは、前のフレームの焦点検出用画素の位置と、今回撮影するフレームの焦点検出用画素の位置が重ならないように、移動量算出手段として機能するマイクロコンピュータ121が、撮像素子103の位置を水平および垂直方向で移動させるための移動量を算出する。ただし、所定の縮小率よりも縮小表示を行っている場合(例えば、縮小後の画素数が焦点検出用の画素数以下になるような縮小率、図2に示す例では4/16の縮小表示)には、焦点検出用画素が目立たないために、移動量を0とする。拡大表示や拡大画像の記録を行う際には、撮像素子103を移動させることになる移動量とする。もちろん、縮小率や拡大率にかかわりなく、常に移動させるようにしてもよい。また、移動方向としては、水平のみでもよく、垂直のみでもよい。 Next, the moving image / live view shooting operation in step S37 will be described with reference to the flowchart shown in FIG. In the moving image / live view shooting flow, the exposure position movement amount is first calculated (S51). Here, the microcomputer 121 functioning as a movement amount calculation unit determines the position of the image sensor 103 so that the position of the focus detection pixel in the previous frame and the position of the focus detection pixel in the frame to be captured this time do not overlap. The amount of movement for moving in the horizontal and vertical directions is calculated. However, when the reduction display is performed more than a predetermined reduction ratio (for example, a reduction ratio such that the number of pixels after reduction is equal to or less than the number of pixels for focus detection, in the example shown in FIG. 2, 4/16 reduction display. ), The amount of movement is set to 0 because the focus detection pixels are not conspicuous. When the enlarged display or the enlarged image is recorded, the moving amount that moves the image sensor 103 is set. Of course, you may make it always move irrespective of a reduction rate or an enlargement rate. Further, the moving direction may be only horizontal or only vertical.
ステップS51において露光位置移動量の算出を行うと、次に、センサ移動を行う(S53)。ここでは、ステップS51において、演算した移動量に基づいて、撮像素子位置移動部117が撮像素子103を移動させる。 Once the exposure position movement amount has been calculated in step S51, the sensor movement is then performed (S53). Here, in step S51, the image sensor position moving unit 117 moves the image sensor 103 based on the calculated movement amount.
センサの移動を行うと、次に、露光を行う(S55)。ここでは、撮像素子103の電荷をリセットした後、ステップ35における直前のAEの結果から得られるISO感度と絞り値、および算出した露光時間で露光を行う。露光が終わると、次に、画像データの読み出しを行う(S57)。画像データを読み出すと、元のフローに戻る。 Once the sensor is moved, next exposure is performed (S55). Here, after the charge of the image sensor 103 is reset, exposure is performed with the ISO sensitivity and aperture value obtained from the result of the previous AE in step 35 and the calculated exposure time. When the exposure is completed, next, image data is read (S57). When the image data is read, the original flow is restored.
次に、ステップS39(図6参照)の動画用画像処理の動作について、図9に示すフローチャートを用いて説明する。動画用画像処理のフローに入ると、まず切り出しを行う(S61)。ここでは、画像処理部109が、ステップS51において算出した露光位置の移動方向と移動量に応じた位置(図8の切り出し位置103b参照)で画像の切り出しを行う。このとき、電子手振れ補正を行っている場合には、電子手振れ補正による切り出し位置の変更も含めて切り出しを行う。 Next, the operation of the moving image processing in step S39 (see FIG. 6) will be described using the flowchart shown in FIG. When the flow for moving image processing is entered, first, clipping is performed (S61). Here, the image processing unit 109 cuts out an image at a position corresponding to the moving direction and moving amount of the exposure position calculated in step S51 (see the cutting position 103b in FIG. 8). At this time, when electronic camera shake correction is performed, clipping is performed including a change of the clipping position by electronic camera shake correction.
切り出しを行うと、次に、現像処理を行う(S63)。ここでは、画像処理部109が、ベイヤー配列の画像データに対し、OB減算、WB補正、同時化、カラーマトリックス乗算、ガンマ変換、エッジ強調、ノイズ低減(NR)などの画像処理を行う。 Once cut out, next, development processing is performed (S63). Here, the image processing unit 109 performs image processing such as OB subtraction, WB correction, synchronization, color matrix multiplication, gamma conversion, edge enhancement, and noise reduction (NR) on the Bayer array image data.
現像処理を行うと、次に、フレーム間NRを行う(S65)。ここでは、前のフレームの画像と、今回のフレームの画像を用いて、フレーム間で同じ座標の画像のちらつきが低減するように、既知のアルゴリズム等を使用してフレーム間のノイズ低減(NR)を行う。例えば、対応する座標の画素値の差が所定以下になるように平滑化する。このとき、あまり縮小していない場合や拡大している場合には、焦点検出用画素が目立つため、フレーム間NRの強度(平滑化の程度、大きい程ちらつきが減る)を強め、縮小している程、強度を弱めるようにする。このフレーム間NRの詳細については、図10を用いて後述する。フレーム間NRを行うと、元のフローに戻る。 Once development processing is performed, next, inter-frame NR is performed (S65). Here, using the image of the previous frame and the image of the current frame, noise reduction (NR) between frames using a known algorithm or the like so as to reduce the flicker of the image of the same coordinate between frames. I do. For example, smoothing is performed so that the difference between pixel values of corresponding coordinates is equal to or less than a predetermined value. At this time, when the image is not so much reduced or enlarged, the focus detection pixels are conspicuous. Therefore, the strength of inter-frame NR (the degree of smoothing, the smaller the flicker decreases) is reduced and the image is reduced. The strength should be weakened. Details of the inter-frame NR will be described later with reference to FIG. When inter-frame NR is performed, the original flow is restored.
次に、フレーム間NRについて、図10を用いて説明する。フレーム間NRに入ると、まず画素番号i=0とする(S71)。画素番号は、例えば、撮像素子103の左上の隅等から、順次、付与する。続いて、画素番号iが画素数よりも小さいか否かを判定する(S73)。後述するステップS81において、処理が終わるたびに1つずつ加算されており、このステップでは、全ての画素について処理がなされたか否かを判定する。 Next, the inter-frame NR will be described with reference to FIG. When the inter-frame NR is entered, first, the pixel number i = 0 is set (S71). The pixel numbers are sequentially given from, for example, the upper left corner of the image sensor 103. Subsequently, it is determined whether or not the pixel number i is smaller than the number of pixels (S73). In step S81, which will be described later, the value is incremented by one every time processing is completed. In this step, it is determined whether or not processing has been performed for all pixels.
ステップS73における判定の結果、画素番号iが画素数よりも小さかった場合には、次に、i番目の画素が焦点検出用画素(AF画素)かつ拡大か否かの判定を行う(S75)。焦点検出用画素の画素位置は焦点検出素子103によって決まっている。ここでは、i番目の画素位置が焦点検出用画素の位置であるか否かを判定する。また、マニュアルフォーカス時等にLCD135に拡大表示を行うので、このステップでは、MF環210が操作され、拡大表示を行うか否かを判定する。 If the result of determination in step S73 is that the pixel number i is smaller than the number of pixels, it is next determined whether or not the i-th pixel is a focus detection pixel (AF pixel) and enlargement (S75). The pixel position of the focus detection pixel is determined by the focus detection element 103. Here, it is determined whether or not the i-th pixel position is the position of the focus detection pixel. In addition, since the enlarged display is performed on the LCD 135 during manual focus or the like, in this step, it is determined whether or not the enlarged display is performed by operating the MF ring 210.
ステップS75における判定の結果、AF画素かつ拡大であった場合には、強いフレーム間NRを実行し(S77)、一方、AF画素かつ拡大でなかった場合には、弱いフレーム間NRを実行する(S79)。フレーム間NRを行うことにより画像の平滑化を図ることができる。特に、拡大表示する場合であって、AF画素(焦点検出用画素)の場合には、AF画素の位置から画像信号を取得することができないことから、強いフレーム間NRを利用して画像の平滑化を図り、画素欠陥が目立たないようにしている。 If the result of determination in step S75 is AF pixel and enlargement, strong inter-frame NR is executed (S77), whereas if AF pixel and enlargement is not, weak inter-frame NR is executed (S77). S79). By performing the inter-frame NR, the image can be smoothed. In particular, in the case of an enlarged display, in the case of an AF pixel (focus detection pixel), an image signal cannot be obtained from the position of the AF pixel. The pixel defect is made inconspicuous.
ステップS77またはS79においてフレーム間NRを行うと、次に、画素番号iに1を加算し(S81)、ステップS73に戻る。以後、画素番号に1を加算しながら、拡大表示でAF画素の場合には、強いフレーム間NRを施し、いずれでもない場合には弱いフレーム間NRを施す。(ステップS73においてNoと判定され、全ての画素についてフレーム間NRが終わると、元のフローに戻る。 If inter-frame NR is performed in step S77 or S79, then 1 is added to the pixel number i (S81), and the process returns to step S73. Thereafter, while adding 1 to the pixel number, a strong inter-frame NR is applied in the case of an AF pixel in enlarged display, and a weak inter-frame NR is applied in the case of none. (No is determined in step S73, and when the inter-frame NR is completed for all the pixels, the original flow is returned to.
このように、本発明の第1実施形態においては、前回のフレームと今回のフレームで焦点検出用画素が重ならないように撮像素子103の位置を移動させるようにしている。このため、焦点検出用画素(AF画素)の部分の画像が欠損しても、この欠損部分がフレーム毎に移動することから、人間の眼には画像が欠けているようには見えない。特に、拡大画像のライブビュー表示や拡大画像の動画記録の場合には、画像の欠損が目立ちやすいが、本実施形態のように、撮像素子103を移動させることにより、十分な質の画像を得ることができる。 Thus, in the first embodiment of the present invention, the position of the image sensor 103 is moved so that the focus detection pixels do not overlap in the previous frame and the current frame. For this reason, even if the image of the focus detection pixel (AF pixel) portion is missing, the missing portion moves from frame to frame, so that the human eye does not appear to lack the image. In particular, in the case of live view display of an enlarged image or moving image recording of an enlarged image, image loss is conspicuous, but an image of sufficient quality can be obtained by moving the image sensor 103 as in this embodiment. be able to.
また、本発明の第1実施形態においては、読出した画像データから切り出す際に、撮像素子103の移動量と移動方向に応じた位置で切り出しを行うようにしている。撮像素子103が移動すると、ライブビュー表示や記録された動画画像も動いてしまうが、切り出し処理によって安定した画像とすることができる。 In the first embodiment of the present invention, when cutting out from the read image data, the cutting is performed at a position corresponding to the moving amount and moving direction of the image sensor 103. When the image sensor 103 moves, the live view display and the recorded moving image also move, but a stable image can be obtained by the clipping process.
また、本発明の第1実施形態においては、フレーム間NRを行って、画像のノイズ低減を行っている。焦点検出用画素の部分の画像が欠損しているが、フレーム間NRを行うことにより、本実施形態においては、画像の欠損に基づくノイズを低減させて滑らかな画像を得ることができる。なお、ノイズ低減手段としては、フレーム間NRに限らず、例えば、1フレーム内の画像データに基づいて、焦点検出用画素の部分を補間処理してもよく、また、焦点検出用画素の部分を前回の画像データによって置き換えるようにしてもよい。また、同時化の処理等により焦点検出用画素の周辺画素も焦点検出用画素の影響を受ける時には、それらの画素も焦点検出用画素と同様な処理を行うようにしてもよい。 In the first embodiment of the present invention, inter-frame NR is performed to reduce image noise. Although the image of the focus detection pixel portion is missing, by performing inter-frame NR, in the present embodiment, it is possible to reduce noise based on image loss and obtain a smooth image. The noise reduction means is not limited to the inter-frame NR. For example, the focus detection pixel portion may be interpolated based on the image data in one frame. You may make it replace with the last image data. Further, when the peripheral pixels of the focus detection pixels are also affected by the focus detection pixels due to the synchronization process or the like, these pixels may be processed in the same manner as the focus detection pixels.
次に、図11を用いて、本発明の第2実施形態を説明する。本発明の第1実施形態においては、変更手段によって被写体像と撮像素子の相対的な位置関係を変更するにあたって、撮像素子103を移動させていた。これに対して、第2実施形態においては、変更手段は光学系を移動させることにより、被写体像を移動させ、被写体像と撮像素子の相対的な位置関係を変更するようにしている。すなわち、第1実施形態においては、撮像素子位置移動部117によって撮像素子103を移動させていた。これに対して、第2実施形態においては、光軸移動レンズ202および光軸移動レンズ制御部206を設け、撮像素子103上に形成される被写体像を光軸移動レンズ202によって移動させるようにしている。 Next, a second embodiment of the present invention will be described with reference to FIG. In the first embodiment of the present invention, the image sensor 103 is moved when the relative positional relationship between the subject image and the image sensor is changed by the changing means. In contrast, in the second embodiment, the changing unit moves the subject image by moving the optical system, and changes the relative positional relationship between the subject image and the image sensor. In other words, in the first embodiment, the image sensor 103 is moved by the image sensor position moving unit 117. On the other hand, in the second embodiment, the optical axis moving lens 202 and the optical axis moving lens control unit 206 are provided so that the subject image formed on the image sensor 103 is moved by the optical axis moving lens 202. Yes.
図11は、本発明の第2実施形態に係わるデジタルカメラの主として電気的構成を示すブロック図である。第1実施形態に係わる図1に示したブロック図と同様の部材については同一の符号を付し、詳しい説明は省略し、相違点を中心説明する。第1実施形態におけるカメラ本体100には、撮像素子位置移動部117が設けてあったが、第2実施形態においては、撮像素子位置移動部117は省略されている。 FIG. 11 is a block diagram mainly showing an electrical configuration of a digital camera according to the second embodiment of the present invention. The same members as those in the block diagram shown in FIG. 1 according to the first embodiment are denoted by the same reference numerals, detailed description thereof will be omitted, and differences will be mainly described. The camera body 100 in the first embodiment is provided with the image sensor position moving unit 117, but in the second embodiment, the image sensor position moving unit 117 is omitted.
交換式レンズ200内の撮影レンズ201の光軸上には、光軸移動レンズ202が配置されている。この光軸移動レンズ202は、撮影レンズ201の光軸に対して垂直な面内で上下左右方向に移動可能に構成されている。この光軸移動レンズ202は、光軸移動レンズ制御部206によって、移動される。光軸移動レンズ202が上方向に移動すると、撮像素子103上に形成される被写体像は上方向に移動する。一方、光軸移動レンズ202が下方向に移動すると、撮像素子103上に形成される被写体像は下方向に移動する。左右方向についても同様に被写体像は移動する。 An optical axis moving lens 202 is disposed on the optical axis of the taking lens 201 in the interchangeable lens 200. The optical axis moving lens 202 is configured to be movable in the vertical and horizontal directions within a plane perpendicular to the optical axis of the photographing lens 201. The optical axis moving lens 202 is moved by the optical axis moving lens control unit 206. When the optical axis moving lens 202 moves upward, the subject image formed on the image sensor 103 moves upward. On the other hand, when the optical axis moving lens 202 moves downward, the subject image formed on the image sensor 103 moves downward. Similarly, the subject image moves in the horizontal direction.
光軸移動レンズ制御部206は、マイクロコンピュータ207に接続されており、カメラ本体100内のマイクロコンピュータ121からの指示に従って、光軸移動レンズ制御部206に対して制御命令を出力する。フラッシュメモリ209は、マイクロコンピュータ207のプログラムや各種調整値等を記憶する。各種調整値として、本実施形態においては、光軸移動レンズの202の移動量に応じて、撮像素子103上での被写体の移動量に関する光軸移動関連データが記憶されている。 The optical axis movement lens control unit 206 is connected to the microcomputer 207, and outputs a control command to the optical axis movement lens control unit 206 in accordance with an instruction from the microcomputer 121 in the camera body 100. The flash memory 209 stores a program of the microcomputer 207, various adjustment values, and the like. In this embodiment, optical axis movement related data relating to the amount of movement of the subject on the image sensor 103 is stored as various adjustment values according to the amount of movement of the optical axis movement lens 202.
交換式レンズ200内のマイクロコンピュータ207は、カメラ本体100内のマイクロコンピュータから撮像素子103面上での必要移動量に関する情報を受け取ると、フラッシュメモリ209に記憶されている光軸移動関連データに基づいて、光軸移動レンズの移動量を算出し、光軸移動レンズ制御部206によって光軸移動レンズ202の移動を行う。 When the microcomputer 207 in the interchangeable lens 200 receives information on the required movement amount on the surface of the image sensor 103 from the microcomputer in the camera body 100, the microcomputer 207 is based on the optical axis movement related data stored in the flash memory 209. Thus, the movement amount of the optical axis movement lens is calculated, and the optical axis movement lens control unit 206 moves the optical axis movement lens 202.
本実施形態における動作は、図6、図7、図9、図10に示したフローと同様の処理がなされる。ただし、図7のステップS51における露光位置移動量の算出にあたっては、上述の光軸移動関連データを用いて、光軸移動レンズ202の移動量を算出する。また、ステップS53においては、センサ移動ではなく、光軸移動レンズ202の移動を行う。 In the operation of this embodiment, the same processing as the flow shown in FIGS. 6, 7, 9, and 10 is performed. However, in calculating the exposure position movement amount in step S51 of FIG. 7, the movement amount of the optical axis movement lens 202 is calculated using the above-described optical axis movement related data. In step S53, the optical axis moving lens 202 is moved instead of moving the sensor.
このように、本発明の第2実施形態においては、前回のフレームと今回のフレームで焦点検出用画素が重ならないように光軸移動レンズ202を移動させるようにしている。このため、第1実施形態の場合と同様、焦点検出用画素(AF画素)の部分の画像が欠損しても、この欠損部分が移動することから、人間の眼には画像が欠けているようには見えない。本実施形態においては、カメラ本体100側に撮像素子103の移動機構を有さない場合であっても、交換レンズ側で焦点検出用画素欠陥に基づく画像の劣化を防止することができる。 Thus, in the second embodiment of the present invention, the optical axis moving lens 202 is moved so that the focus detection pixels do not overlap in the previous frame and the current frame. For this reason, as in the case of the first embodiment, even if the image of the focus detection pixel (AF pixel) portion is missing, the missing portion moves, so that the image is missing in the human eye. I can't see. In the present embodiment, even when the moving mechanism of the image sensor 103 is not provided on the camera body 100 side, it is possible to prevent image degradation based on focus detection pixel defects on the interchangeable lens side.
以上説明したように、本発明の各実施形態においては、被写体画像と撮像素子の相対的な移動量を算出し、撮像素子による第1のフレームの撮像の完了後であって、第1のフレーム以後に撮像するフレームである第2のフレームの撮像開始前までの間に算出された移動量に基づいて、被写体画像と撮像素子の相対位置を変更させている。このため、焦点検出用画素(AF画素)の部分の画像が欠損していても、十分な質の画像を得ることができる。 As described above, in each embodiment of the present invention, the relative movement amount between the subject image and the image sensor is calculated, and after the first frame is imaged by the image sensor, the first frame Thereafter, the relative position of the subject image and the image sensor is changed based on the movement amount calculated before the start of imaging of the second frame, which is a frame to be imaged thereafter. For this reason, even if the image of the focus detection pixel (AF pixel) portion is missing, an image of sufficient quality can be obtained.
また、本発明の各実施形態においては、拡大表示がなされる際には、算出された移動量に基づいて被写体画像と撮像素子の相対位置を変更させ、移動量に応じて画像データの切り出し位置を変更させ、この切り出し位置を変更した画像データに基づいて表示手段にライブビュー表示させるようにしている。拡大画像のライブビュー表示の場合には、画像の欠損が目立ちやすいが、十分な質の画像を得ることができる。また、同様に、動画画像を記録する際には、算出された移動量に基づいて被写体画像と撮像素子の相対位置を変更させ、移動量に応じて画像データの切り出し位置を変更させ、この切り出し位置を変更した画像データを記録手段によって記録するようにしている。動画撮影の際に十分な質の画像を記録することができる。 In each embodiment of the present invention, when the enlarged display is performed, the relative position between the subject image and the image sensor is changed based on the calculated movement amount, and the image data cut-out position is changed according to the movement amount. And the live view is displayed on the display means based on the image data whose cutout position is changed. In the live view display of the enlarged image, the image loss is conspicuous, but an image with sufficient quality can be obtained. Similarly, when recording a moving image, the relative position between the subject image and the image sensor is changed based on the calculated movement amount, and the cutout position of the image data is changed according to the movement amount. The image data whose position has been changed is recorded by the recording means. It is possible to record an image of sufficient quality when shooting a movie.
なお、本発明の各実施形態においては、ライブビュー表示および動画記録の両方で、焦点検出用画素の部分の画像の欠損による画質の劣化を防止するために、被写体画像と撮像素子の相対的位置を変更させていたが、これに限らず、ライブビュー表示の際のみ、また動画記録の際のみのいずれか一方のみとしてもよい。 In each embodiment of the present invention, in both live view display and moving image recording, the relative position of the subject image and the image sensor is prevented in order to prevent image quality degradation due to loss of the image of the focus detection pixel portion. However, the present invention is not limited to this, and only one of the live view display and the moving image recording may be used.
また、本発明の各実施形態においては、被写体画像を拡大する場合に、被写体画像と撮像素子の相対位置を変更させていたが、拡大(または縮小)かに係わらず、常に被写体画像と撮像素子の相対位置を変更するようにしてもよく、いずれかの場合のみ相対位置を変更するようにしてもよい。 In each embodiment of the present invention, when the subject image is enlarged, the relative position between the subject image and the image sensor is changed. However, the subject image and the image sensor are always changed regardless of enlargement (or reduction). The relative position may be changed, or the relative position may be changed only in either case.
また、本発明の各実施形態においては、フレーム毎に毎回、被写体画像と撮像素子の相対位置を変更していたが、人間の目の特性を考慮して、数フレーム毎でもよく、被写体画像と撮像素子の相対位置の変更のタイミングを適宜変更してもよい。また、被写体画像と撮像素子の相対位置の変更にあたっては、フレーム毎にランダムでも規則的でもよい。いずれにしても人間の目の特性を考慮して、焦点検出用画素による画像の欠陥が目立たない範囲で適宜、変更してもよい。 Further, in each embodiment of the present invention, the relative position of the subject image and the image sensor is changed every frame, but in consideration of the characteristics of the human eye, it may be every few frames. The timing of changing the relative position of the image sensor may be changed as appropriate. Further, when changing the relative position between the subject image and the image sensor, it may be random or regular for each frame. In any case, in consideration of the characteristics of the human eye, the image may be appropriately changed within a range in which the image defect due to the focus detection pixels is not noticeable.
また、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラ、デジタル一眼カメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末(PDA:Personal Digital Assist)、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、焦点検出用画素を含む焦点検出素子を有する撮像可能な撮影のための装置であれば、本発明を適用することができる。 In each embodiment of the present invention, a digital camera has been described as an apparatus for photographing. However, the camera may be a digital single-lens reflex camera, a digital single-lens camera, or a compact digital camera, a video camera, a movie It may be a moving image camera such as a camera, or may be a camera built in a mobile phone, a personal digital assistant (PDA), a game machine, or the like. In any case, the present invention can be applied to any device capable of taking an image having a focus detection element including a focus detection pixel.
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 Further, regarding the operation flow in the claims, the specification, and the drawings, even if it is described using words expressing the order such as “first” and “next” for the sake of convenience, it is essential to carry out in this order. It does not mean that.
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components of all the components shown by embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
11b・・・AF検出用フォトダイオード、13・・・遮光部材、15b・・・輝度フィルタ、17・・・マイクロレンズ、19・・・射出瞳、25・・・被写体光束、100・・・カメラ本体、101・・・メカシャッタ、103・・・撮像素子、105・・・アナログ処理部、107・・・A/D変換部、109・・・画像処理部、111・・・AE処理出部、113・・・AF処理部、115・・・画像圧縮伸張部、117・・・撮像素子位置移動部、119・・・バス、121・・・マイクロコンピュータ、121・・・クロックジェネレータ、123・・・操作部、125・・・フラッシュメモリ、127・・・SDRAM、129・・・メモリI/F、131・・・記録媒体、133・・・液晶ディプレイドライバ(LCDドライバ)、135・・・液晶ディスプレイ(LCD)、200・・・交換式レンズ、201・・・撮影レンズ、202・・・光軸移動レンズ、203・・・絞り、205・・・ドライバ、206・・・光軸移動レンズ制御部、207・・・マイクロコンピュータ、208・・・フォトインタラプタ(PI)、209・・・フラッシュメモリ、210・・・マニュアルフォーカス環(MF環)、300・・・インターフェース(I/F)、401・・・固定枠、401a〜401b・・・突起部、403・・・ホルダ、405a・・・圧電体A、405b・・・圧電体B、407a・・・バネA、407b・・・バネB、409a〜409c・・・保持板、411・・・ボール、413・・・ネジ、415a〜415b・・・フレキ 11b: photodiode for AF detection, 13 ... light shielding member, 15b ... luminance filter, 17 ... micro lens, 19 ... exit pupil, 25 ... subject luminous flux, 100 ... camera Main unit 101 ... Mechanical shutter 103 ... Image sensor 105 ... Analog processing unit 107 ... A / D conversion unit 109 ... Image processing unit 111 ... AE processing output unit DESCRIPTION OF SYMBOLS 113 ... AF process part, 115 ... Image compression / expansion part, 117 ... Image pick-up element position movement part, 119 ... Bus, 121 ... Microcomputer, 121 ... Clock generator, 123 ... Operation unit, 125: flash memory, 127: SDRAM, 129 ... memory I / F, 131 ... recording medium, 133 ... liquid crystal display driver (LCD driver) B), 135 ... liquid crystal display (LCD), 200 ... interchangeable lens, 201 ... photographic lens, 202 ... optical axis moving lens, 203 ... aperture, 205 ... driver, 206 ... Optical axis moving lens control unit, 207 ... Microcomputer, 208 ... Photo interrupter (PI), 209 ... Flash memory, 210 ... Manual focus ring (MF ring), 300 ... Interface (I / F), 401... Fixed frame, 401a to 401b... Projection, 403... Holder, 405a ... Piezoelectric body A, 405b ... Piezoelectric body B, 407a. A, 407b ... Spring B, 409a-409c ... Holding plate, 411 ... Ball, 413 ... Screw, 415a-415b ... Flexible
Claims (11)
焦点検出用画素を有し、被写体画像を画像データに変換し出力する撮像素子と、
上記被写体画像と上記撮像素子の相対的な移動量を算出する移動量算出手段と、
上記撮像素子による第1のフレームの撮像の完了後であって、上記第1のフレーム以後に撮像するフレームである第2のフレームの撮像開始前までの間に、上記移動量算出手段によって算出された上記移動量に基づいて、上記被写体画像と上記撮像素子の相対位置を変更させる変更手段と、
フレーム間の平滑処理による補間処理、または1フレームの画像内での補間処理を行う補間手段と、
上記撮像素子から出力される上記画像データに基づいてライブビュー表示を行う表示手段と、
上記ライブビュー表示を行うにあたって拡大表示を指示するための拡大画像操作手段と、
上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更する画像切り出し手段と、
を有し、
上記拡大表示が指示された際に、上記移動量に基づいて上記被写体画像と上記撮像素子の相対位置を上記変更手段によって変更させ、上記移動量に応じて上記画像データの切り出し位置を上記画像切り出し手段によって変更させ、この切り出し位置を変更した画像データを上記補間手段により補間処理を行った結果に基づいて上記表示手段にライブビュー表示させることを特徴とする撮影装置。 In an imaging device that can capture video,
An image sensor that has focus detection pixels, converts a subject image into image data, and outputs the image data;
A movement amount calculating means for calculating a relative movement amount between the subject image and the image sensor;
Calculated by the movement amount calculation means after completion of imaging of the first frame by the imaging device and before the start of imaging of the second frame, which is a frame to be imaged after the first frame. Changing means for changing the relative position of the subject image and the image sensor based on the amount of movement;
Interpolation means for performing interpolation processing by smoothing between frames, or interpolation processing within an image of one frame;
Display means for performing live view display based on the image data output from the image sensor;
Enlarged image operation means for instructing enlarged display in performing the live view display,
Image cutout means for changing the cutout position of the image data output from the image sensor according to the amount of movement;
Have
When the enlargement display is instructed, the relative position between the subject image and the image sensor is changed by the changing unit based on the movement amount, and the image data cut-out position is changed according to the movement amount. An image-taking apparatus characterized in that the display means displays live view on the display means based on the result of the interpolation processing performed by the interpolation means.
上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更する画像切り出し手段と、
を有し、
上記動画画像の記録が指示された際に、上記移動量に基づいて上記被写体画像と上記撮像素子の相対位置を上記変更手段によって変更させ、上記移動量に応じて上記画像データの切り出し位置を上記画像切り出し手段によって変更させ、この切り出し位置を変更した画像データを記録手段によって記録することを特徴とする請求項1に記載の撮影装置。 Furthermore, recording means for recording a moving image based on the image data output from the image sensor;
Image cutout means for changing the cutout position of the image data output from the image sensor according to the amount of movement;
Have
When the recording of the moving image is instructed, the relative position between the subject image and the image sensor is changed by the changing unit based on the movement amount, and the cutout position of the image data is changed according to the movement amount. 2. The photographing apparatus according to claim 1, wherein the image data is changed by the image cutout means, and the image data in which the cutout position is changed is recorded by the recording means.
画像データの縮小率に応じて移動量を算出し、
1フレームの撮像が完了してから次のフレームの撮像を開始する前に、被写体像と上記撮像素子の相対位置を、上記移動量に応じて変更し、
フレーム間の平滑処理による補間処理、または1フレームの画像内での補間処理を行い、
上記撮像素子から出力される上記画像データに基づいてライブビュー表示を行い、
上記ライブビュー表示を行うにあたって拡大表示を指示された際に、上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更し、上記移動量に応じて上記画像データの切り出し位置を変更させ、この切り出し位置を変更した画像データを補間手段により補間処理を行った結果に基づいて表示手段にライブビュー表示させる、
ことを特徴とする撮影方法。 In an image capturing method for capturing a moving image by continuously capturing an image using an image sensor having an imager AF pixel,
Calculate the amount of movement according to the reduction rate of the image data,
Before the imaging of the next frame is started after the imaging of one frame is completed, the relative position of the subject image and the imaging element is changed according to the movement amount,
Perform interpolation processing by smoothing between frames, or interpolation processing within one frame image,
Perform live view display based on the image data output from the image sensor,
When an enlargement display is instructed when performing the live view display, the image data output from the image sensor is changed in the cutout position according to the movement amount, and the image data is output according to the movement amount. It is changing the extraction position, the live view display on the display unit based on the image data obtained by changing the extraction position in the result of interpolation processing by interpolation means,
An imaging method characterized by the above.
画像データの縮小率に応じて移動量を算出するステップと、
1フレームの撮像が完了してから次のフレームの撮像を開始する前に、被写体像と上記撮像素子の相対位置を、上記移動量に応じて変更するステップと、
フレーム間の平滑処理による補間処理、または1フレームの画像内での補間処理を行うステップと、
上記撮像素子から出力される上記画像データに基づいてライブビュー表示を行うステップと、
上記ライブビュー表示を行うにあたって拡大表示を指示された際に、上記撮像素子から出力される上記画像データを、上記移動量に応じて切り出し位置を変更し、上記移動量に応じて上記画像データの切り出し位置を変更させ、この切り出し位置を変更した画像データを補間手段により補間処理を行った結果に基づいて表示手段にライブビュー表示させるステップと、
を上記コンピュータに実行させることを特徴とするプログラム。 In a program for executing a computer of an imaging apparatus that uses an imaging device having an imager AF pixel and continuously captures an image to shoot a moving image,
Calculating the amount of movement according to the reduction ratio of the image data;
Changing the relative position of the subject image and the image sensor in accordance with the amount of movement before completing the imaging of the next frame after the imaging of one frame is completed;
Performing interpolation processing by smoothing between frames, or performing interpolation processing within an image of one frame;
Performing live view display based on the image data output from the image sensor;
When an enlargement display is instructed when performing the live view display, the image data output from the image sensor is changed in the cutout position according to the movement amount, and the image data is output according to the movement amount. is changing the extraction position, a step of live view display on the display means based on the result of interpolation processing by interpolation means image data obtained by changing the extraction position,
A program for causing the computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011186815A JP5945389B2 (en) | 2011-08-30 | 2011-08-30 | Imaging apparatus, imaging method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011186815A JP5945389B2 (en) | 2011-08-30 | 2011-08-30 | Imaging apparatus, imaging method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013051463A JP2013051463A (en) | 2013-03-14 |
JP2013051463A5 JP2013051463A5 (en) | 2014-10-02 |
JP5945389B2 true JP5945389B2 (en) | 2016-07-05 |
Family
ID=48013230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011186815A Expired - Fee Related JP5945389B2 (en) | 2011-08-30 | 2011-08-30 | Imaging apparatus, imaging method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5945389B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006128780A (en) * | 2004-10-26 | 2006-05-18 | Konica Minolta Photo Imaging Inc | Digital camera |
JP4616096B2 (en) * | 2005-07-12 | 2011-01-19 | オリンパス株式会社 | Movie imaging apparatus and imaging program |
JP5247279B2 (en) * | 2008-07-17 | 2013-07-24 | キヤノン株式会社 | Imaging apparatus, control method thereof, and program |
JP5279638B2 (en) * | 2009-07-08 | 2013-09-04 | キヤノン株式会社 | Imaging device |
JP5475384B2 (en) * | 2009-09-29 | 2014-04-16 | 富士フイルム株式会社 | Imaging apparatus and imaging method |
-
2011
- 2011-08-30 JP JP2011186815A patent/JP5945389B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013051463A (en) | 2013-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4406937B2 (en) | Imaging device | |
JP6184869B2 (en) | IMAGING DEVICE, IMAGE PROCESSING DEVICE, RECORDING MEDIUM RECORDING IMAGE FILE, RECORDING METHOD, IMAGE REPRODUCING METHOD, AND PROGRAM | |
JP4654887B2 (en) | Imaging device | |
US9241109B2 (en) | Image capturing apparatus, control method, and recording medium for moving image generation | |
JP2011059337A (en) | Image pickup apparatus | |
JP5665013B2 (en) | Image processing apparatus, image processing method, and program | |
JP6325841B2 (en) | Imaging apparatus, imaging method, and program | |
JP5482799B2 (en) | Electronic camera | |
JP5620196B2 (en) | Imaging device | |
KR100819811B1 (en) | Photographing apparatus, and photographing method | |
JP2018007016A (en) | Imaging device, imaging method, and program | |
JP2008053931A (en) | Imaging apparatus | |
JP5279638B2 (en) | Imaging device | |
JP4792929B2 (en) | Digital camera | |
JP6706167B2 (en) | Imaging device, image synthesizing method, and program | |
JP2006148550A (en) | Image processor and imaging device | |
JP2012054867A (en) | Imaging apparatus | |
JP5800541B2 (en) | Image processing apparatus, image processing method, and program | |
JP5945389B2 (en) | Imaging apparatus, imaging method, and program | |
JP2008283477A (en) | Image processor, and image processing method | |
WO2015182021A1 (en) | Image pickup control apparatus, image pickup apparatus, and image pickup control method | |
JP2012239078A (en) | Photographing device | |
JP4992382B2 (en) | Noise removal method and noise removal control program | |
WO2014136703A1 (en) | Image-capturing device and image display method | |
JP2013050485A (en) | Imaging apparatus and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140818 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140818 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20150423 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160530 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5945389 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |