JPWO2008146458A1 - Imaging device with autofocus function, imaging method, program, and integrated circuit - Google Patents
Imaging device with autofocus function, imaging method, program, and integrated circuit Download PDFInfo
- Publication number
- JPWO2008146458A1 JPWO2008146458A1 JP2009516169A JP2009516169A JPWO2008146458A1 JP WO2008146458 A1 JPWO2008146458 A1 JP WO2008146458A1 JP 2009516169 A JP2009516169 A JP 2009516169A JP 2009516169 A JP2009516169 A JP 2009516169A JP WO2008146458 A1 JPWO2008146458 A1 JP WO2008146458A1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- signal
- optical path
- evaluation value
- path length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
- G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/14—Beam splitting or combining systems operating by reflection only
- G02B27/145—Beam splitting or combining systems operating by reflection only having sequential partially reflecting surfaces
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Abstract
撮像装置(100)において、光路分離部(2)は、光学系(1)により集光された被写体からの光を少なくとも第1の光束と第2の光束とに分離する。第1の駆動部(21)に駆動される第1の撮像部(3)は、第1の光束を電気信号に変換し第1の信号として出力する。第2の駆動部(9)に駆動される第2の撮像部(5)は、第2の光束を電気信号に変換し第2の信号として出力する。第1の信号処理部(4)は、第1の信号の信号処理を行い撮影用の映像信号を生成する。第2の信号処理部(6)は、第2の信号の信号処理を行う。評価値生成部(8)は、第2の信号のコントラストの評価値を生成する。オートフォーカス制御部(11)は、光路長変更部を制御し、第2の信号のコントラストの評価値が最大になる第2の光束の光路長である最大コントラスト評価値光路長を検出し、最大コントラスト評価値光路長に基づいて、光学系(1)のフォーカス制御を行う。【選択図】図1In the imaging device (100), the optical path separator (2) separates the light from the subject collected by the optical system (1) into at least a first light flux and a second light flux. The first imaging unit (3) driven by the first driving unit (21) converts the first light flux into an electrical signal and outputs it as a first signal. The second imaging unit (5) driven by the second driving unit (9) converts the second light flux into an electrical signal and outputs it as a second signal. The first signal processing unit (4) performs signal processing of the first signal to generate a video signal for photographing. The second signal processing unit (6) performs signal processing of the second signal. The evaluation value generation unit (8) generates an evaluation value of the contrast of the second signal. The autofocus control unit (11) controls the optical path length changing unit, detects the maximum contrast evaluation value optical path length that is the optical path length of the second light flux at which the contrast evaluation value of the second signal is maximized, and sets the maximum The focus control of the optical system (1) is performed based on the contrast evaluation value optical path length. [Selection] Figure 1
Description
本発明は、ビデオカメラなどの撮像装置、撮像方法、プログラムおよび集積回路に関する。詳しくは、本発明は、フォーカスを自動で合焦させるオートフォーカス機能付撮像装置、撮像方法、プログラムおよび集積回路に関するものである。 The present invention relates to an imaging apparatus such as a video camera, an imaging method, a program, and an integrated circuit. Specifically, the present invention relates to an imaging device with an autofocus function, an imaging method, a program, and an integrated circuit that automatically focus.
従来、ビデオカメラなどの撮像装置では、オートフォーカス方式として、ウォブリングによるコントラスト最大位置検出方式が一般的に用いられている。コントラスト最大位置検出方式とは、次のような方式である。フォーカスレンズを前後に微小に動かす動作であるウォブリング動作を行う。取得される映像信号のコントラスト(映像信号より形成される映像のコントラスト)を比較する。そして、映像信号のコントラストが最大になる方向に順次フォーカスレンズを移動させる。これにより、映像信号のコントラストが最大になる位置(コントラスト最大位置)を検出し、そのコントラスト最大位置を合焦位置と判定する。
例えば、特開平10−4517号公報は、コントラスト最大位置検出方式を用い、さらに小型軽量化、低価格化を図った焦点調節装置を備えるビデオカメラを記載している。同ビデオカメラは、光学系から入射された光束をR、G、Bの3色に分解する色分離プリズムを用いた多板式である。同公報は、色分離プリズムを、エアギャップを必要としない構成とすることで、小型軽量化、低価格化を実現することを開示する。同公報の焦点調節装置は、色分離プリズムがエアギャップを必要としない構成としたため、青色信号と赤色および緑色信号とが鏡像関係となることによる焦点調節動作への影響が発生するという課題を解決している。同焦点調節装置では、鏡像関係でない映像信号を選択して焦点調節に用いることにより、同課題を解決している。
For example, Japanese Patent Application Laid-Open No. 10-4517 describes a video camera including a focus adjustment device that uses a maximum contrast position detection method and is further reduced in size, weight, and cost. The video camera is a multi-plate type using a color separation prism that separates a light beam incident from an optical system into three colors of R, G, and B. This publication discloses that the color separation prism has a configuration that does not require an air gap, thereby realizing a reduction in size, weight, and cost. The focus adjustment device of the publication has a configuration in which the color separation prism does not require an air gap, thus solving the problem that the influence of the blue signal, the red signal, and the green signal on the focus adjustment operation occurs due to the mirror image relationship. is doing. In the same focus adjustment device, the same problem is solved by selecting a video signal that is not a mirror image and using it for focus adjustment.
(発明が解決しようとする課題)
従来のビデオカメラなどの撮像装置に用いられているコントラスト最大位置検出方式では、ウォブリング動作によって映像信号を取得するごとに、その取得された映像信号のコントラストを比較する。同方式では、映像信号のコントラストが最大になる方向に順次フォーカスレンズを移動させていく必要がある。しかしながら、焦点が完全にボケた状態では、ウォブリング動作によって映像信号のコントラストがほとんど変化しない。したがって、焦点が完全にボケた状態では、合焦方向を判定できないという問題点を有している。
また、従来のコントラスト最大位置検出方式では、合焦状態でオートフォーカス動作が起動されると、合焦位置でウォブリング動作を行う。この場合、本線系、すなわち撮影用の映像信号(以下、「撮影用の映像信号」という。)のピントが合ったり(焦点が合ったり)、少しボケたり(焦点が外れたり)する現象が生じるという問題を有している。(Problems to be solved by the invention)
In a contrast maximum position detection method used in a conventional imaging apparatus such as a video camera, the contrast of the acquired video signal is compared every time a video signal is acquired by a wobbling operation. In this method, it is necessary to sequentially move the focus lens in the direction in which the contrast of the video signal is maximized. However, when the focus is completely out of focus, the contrast of the video signal hardly changes due to the wobbling operation. Therefore, there is a problem that the in-focus direction cannot be determined when the focus is completely out of focus.
Further, in the conventional contrast maximum position detection method, when the autofocus operation is activated in the focused state, the wobbling operation is performed at the focused position. In this case, a phenomenon occurs in which the main line system, that is, the video signal for shooting (hereinafter referred to as “video signal for shooting”) is focused (focused) or slightly blurred (out of focus). Has the problem.
また、従来のコントラスト最大位置検出方式では、撮影用の映像信号を用いてコントラストを検出する。したがって、コントラストを1回検出するのに撮影用の映像信号の1フィールド期間が必要となる。そのため、撮影用の映像信号のフレームレートが低くなってくると、オートフォーカス制御用のコントラスト検出に必要となる絶対的な時間が長くなる。その結果、オートフォーカス応答速度が遅くなる。よって、特に、動きのある被写体などを撮影する場合、良好な映像が得られにくいという問題点を有している。
また、従来のコントラスト最大位置検出方式では、高速なウォブリング動作が必要である。しかし、撮像装置に交換式レンズなどが用いられている場合、フォーカスレンズの動作が遅い。したがって、高速なウォブリング動作を実現することが困難となり、オートフォーカス動作が極端に遅くなるという問題点を有している。In the conventional maximum contrast position detection method, contrast is detected using a video signal for photographing. Therefore, one field period of the video signal for photographing is required to detect the contrast once. For this reason, when the frame rate of the video signal for photographing is lowered, the absolute time required for detecting the contrast for autofocus control becomes longer. As a result, the autofocus response speed becomes slow. Therefore, particularly when shooting a moving subject or the like, there is a problem that it is difficult to obtain a good image.
Further, the conventional maximum contrast position detection method requires a high-speed wobbling operation. However, when an interchangeable lens or the like is used in the imaging apparatus, the focus lens operates slowly. Therefore, it is difficult to realize a high-speed wobbling operation, and there is a problem that the autofocus operation becomes extremely slow.
本発明は上記従来の問題点を解決するもので、確実かつ迅速な光学系フォーカス制御を可能にすることを目的とする。
(課題を解決するための手段)
本発明における第1の発明の撮像装置は、被写体からの光を集光し、フォーカス制御可能な光学系と、光路分離部と、第1の撮像部と、第2の撮像部と、第1の信号処理部と、第2の信号処理部と、評価値生成部と、第1の駆動部と、第2の駆動部と、光路長変更部と、オートフォーカス制御部と、を備える撮像装置である。光路分離部は、光学系により集光された被写体からの光を少なくとも第1の光束と第2の光束とに分離する。第1の撮像部は、第1の光束を電気信号に変換し、第1の信号として出力する。第2の撮像部は、第2の光束を電気信号に変換し、第2の信号として出力する。第1の信号処理部は、第1の信号の信号処理を行い、撮影用の映像信号を生成する。第2の信号処理部は、第2の信号の信号処理を行う。評価値生成部は、第2の信号のコントラストの評価値を生成する。第1の駆動部は、第1の撮像部を駆動する。第2の駆動部は、第2の撮像部を駆動する。光路長変更部は、第2の光束の光路長を変更する。オートフォーカス制御部は、光路長変更部を制御し、第2の信号のコントラストの評価値が最大になる第2の光束の光路長である最大コントラスト評価値光路長を検出し、最大コントラスト評価値光路長に基づいて、光学系のフォーカス制御を行う。The present invention solves the above-mentioned conventional problems, and an object thereof is to enable reliable and quick optical system focus control.
(Means for solving the problem)
An image pickup apparatus according to a first aspect of the present invention condenses light from a subject and can control a focus, an optical path separation unit, a first image pickup unit, a second image pickup unit, and a first image pickup unit. Imaging device comprising: a signal processing unit; a second signal processing unit; an evaluation value generating unit; a first driving unit; a second driving unit; an optical path length changing unit; and an autofocus control unit. It is. The optical path separation unit separates light from the subject collected by the optical system into at least a first light flux and a second light flux. The first imaging unit converts the first light flux into an electrical signal and outputs it as a first signal. The second imaging unit converts the second light flux into an electrical signal and outputs it as a second signal. The first signal processing unit performs signal processing of the first signal to generate a video signal for photographing. The second signal processing unit performs signal processing of the second signal. The evaluation value generation unit generates an evaluation value of the contrast of the second signal. The first driving unit drives the first imaging unit. The second drive unit drives the second imaging unit. The optical path length changing unit changes the optical path length of the second light flux. The autofocus control unit controls the optical path length changing unit, detects the maximum contrast evaluation value optical path length that is the optical path length of the second light flux that maximizes the contrast evaluation value of the second signal, and determines the maximum contrast evaluation value. Focus control of the optical system is performed based on the optical path length.
この撮像装置では、光路分離部により、光学系により集光された被写体からの光は、少なくとも第1の光束と第2の光束とに分離される。そして、第1の光束は、撮影用映像信号処理に使用され、第2の光束は、撮影用映像信号処理とは完全に独立した、オートフォーカス用(AF用)信号処理に使用される。この撮像装置では、オートフォーカス制御部により、コントラストの評価値に基づいて、第2の光束の光路長を変更させるように光路長変更部を制御するとともに、光学系のフォーカス制御が行われる。つまり、オートフォーカス制御部により、光路長変更部が制御され、第2の信号のコントラストの評価値が最大になる第2の光束の光路長である最大コントラスト評価値光路長が検出され、最大コントラスト評価値光路長に基づいて、光学系のフォーカス制御が行われる。
このように、この撮像装置は、オートフォーカス用の映像信号を生成し、この信号を用いて最大コントラスト評価値光路長を検出するため、検出時の悪影響が撮影用の映像信号に及ばない。In this imaging apparatus, the light from the subject collected by the optical system is separated into at least a first light beam and a second light beam by the optical path separation unit. The first light beam is used for shooting video signal processing, and the second light beam is used for autofocus (AF) signal processing that is completely independent of the shooting video signal processing. In this imaging apparatus, the autofocus control unit controls the optical path length changing unit so as to change the optical path length of the second light flux based on the contrast evaluation value, and performs focus control of the optical system. That is, the optical path length changing unit is controlled by the autofocus control unit, and the maximum contrast evaluation value optical path length that is the optical path length of the second light flux at which the contrast evaluation value of the second signal is maximized is detected. Based on the evaluation value optical path length, focus control of the optical system is performed.
As described above, since the imaging apparatus generates an autofocus video signal and detects the maximum contrast evaluation value optical path length using this signal, the adverse effect at the time of detection does not affect the imaging video signal.
また、この撮像装置は、オートフォーカス用の撮像部の光路長変更部により最大コントラスト評価値光路長を検出した後に、光学系のフォーカス制御を行うため、大ボケ状態からでも確実に制御が可能である。
また、この撮像装置は、合焦状態でオートフォーカス動作が起動されたとしても、本線系、すなわち撮影用の映像信号に全く影響を及ぼすことなく、オートフォーカス検出用の映像信号を用いて合焦状態を探索可能にする。
また、この撮像装置は、オートフォーカス用の映像信号で最大コントラスト評価値光路長を検出した後に、光学系のフォーカス調整を行うため、ウォブリング動作などの高速なレンズ動作ができない、たとえば交換式レンズなどを用いた場合であっても確実にオートフォーカス機能を実現することができる。In addition, since this imaging device performs focus control of the optical system after detecting the maximum contrast evaluation value optical path length by the optical path length changing unit of the imaging unit for autofocus, it can be reliably controlled even in a large blurred state. is there.
In addition, even if the autofocus operation is started in the in-focus state, the imaging apparatus does not affect the main line system, that is, the video signal for shooting, and uses the video signal for autofocus detection. Make the state searchable.
In addition, since this image pickup apparatus performs the focus adjustment of the optical system after detecting the optical path length of the maximum contrast evaluation value in the video signal for autofocus, for example, a high-speed lens operation such as a wobbling operation cannot be performed. Even in the case of using the autofocus function, the autofocus function can be reliably realized.
なお、「最大コントラスト評価値光路長に基づいて、前記光学系のフォーカス制御を行う」とは、例えば、次のようなことを含む。まず、検出された最大コントラスト評価値光路長が、第1の撮像部(撮影用撮像部)に入力される第1の光束の光路長に相当する基準位置と比較される。両光路長の差分から光学系の合焦位置(フォーカス位置)を算出する。そして、算出した合焦位置に基づき光学系が合焦状態となるように、例えば、フォーカス用レンズ(群)を移動させる。これにより、光学系のフォーカス制御を行う。
本発明における第2の発明の撮像装置は、第1の発明の撮像装置であって、第1の駆動部は、第1の信号に対するフレームレートであり独立して可変の第1のフレームレートを取得し、第1のフレームレートで前記第1の撮像部を駆動し、第2の駆動部は、第2の信号に対するフレームレートであり独立して可変の第2のフレームレートを取得し、第2のフレームレートで前記第2の駆動部を駆動する。“Performing focus control of the optical system based on the maximum contrast evaluation value optical path length” includes, for example, the following. First, the detected maximum contrast evaluation value optical path length is compared with a reference position corresponding to the optical path length of the first light flux input to the first imaging unit (imaging imaging unit). The in-focus position (focus position) of the optical system is calculated from the difference between both optical path lengths. Then, for example, the focusing lens (group) is moved so that the optical system is in a focused state based on the calculated focusing position. Thereby, focus control of the optical system is performed.
An image pickup apparatus according to a second aspect of the present invention is the image pickup apparatus according to the first aspect, wherein the first driver has a frame rate corresponding to the first signal and an independently variable first frame rate. Acquiring the first imaging unit at a first frame rate, and the second driving unit acquires a second frame rate that is independently variable and is a frame rate for the second signal; The second driving unit is driven at a frame rate of 2.
この撮像装置では、オートフォーカス検出用のフレームレートが独立に制御可能なため、撮影用の映像信号のフレームレートの影響を受けない。よって、オートフォーカスの応答速度を改善でき、あるいは撮像装置の消費電力を節減できる。
本発明における第3の発明の撮像装置は、第1の発明の撮像装置であって、第1の信号に対するフレームレートである第1のフレームレートを変更するフレームレート変更部をさらに備える。さらにオートフォーカス制御部は、第1のフレームレートに基づいて第2の信号に対するフレームレートである第2のフレームレートを設定または変更可能であり、第2のフレームレートに基づいて光学系のフォーカス制御を行う。ここで、第1のフレームレートに基づいて第2のフレームレートを設定または変更可能であるとは、第1のフレームレートの変更に合わせて第2フレームレートを設定または変更することを含む。In this imaging apparatus, since the frame rate for autofocus detection can be controlled independently, it is not affected by the frame rate of the video signal for photographing. Therefore, the response speed of autofocus can be improved, or the power consumption of the imaging apparatus can be reduced.
An imaging apparatus according to a third aspect of the present invention is the imaging apparatus according to the first aspect, further comprising a frame rate changing unit that changes a first frame rate, which is a frame rate for the first signal. Further, the autofocus control unit can set or change a second frame rate that is a frame rate for the second signal based on the first frame rate, and controls the focus of the optical system based on the second frame rate. I do. Here, being able to set or change the second frame rate based on the first frame rate includes setting or changing the second frame rate in accordance with the change of the first frame rate.
この撮像装置では、撮影用のフレームレートに応じて自動的にオートフォーカス検出用のフレームレートを設定または変更できる。
本発明における第4の発明の撮像装置は、第1の発明の撮像装置であって、第2の撮像部は、任意の位置を読み出し可能な撮像素子を有する。
この撮像装置では、オートフォーカス検出用の撮像素子の読み出し画素数を抑制し、オートフォーカス検出用の撮像素子のフレームレートを高速化することができるため、オートフォーカスの応答速度を早くできるといった作用を有する。
本発明における第5の発明の撮像装置は、第1の発明の撮像装置であって、オートフォーカス制御部は、光路長変更部により、第2の撮像部を第2の光束の光軸方向の前後に移動させて、コントラストの評価値が大きくなる方向を検出することを繰り返すことにより、最大コントラスト評価値光路長を検出する。In this imaging apparatus, the autofocus detection frame rate can be automatically set or changed in accordance with the shooting frame rate.
An image pickup apparatus according to a fourth aspect of the present invention is the image pickup apparatus according to the first aspect, wherein the second image pickup unit has an image pickup device capable of reading an arbitrary position.
In this image pickup device, the number of read pixels of the image pickup device for autofocus detection can be suppressed and the frame rate of the image pickup device for autofocus detection can be increased, so that the response speed of autofocus can be increased. Have.
An image pickup apparatus according to a fifth aspect of the present invention is the image pickup apparatus according to the first aspect, wherein the autofocus control unit causes the second image pickup unit to move in the optical axis direction of the second light flux by the optical path length changing unit. The maximum contrast evaluation value optical path length is detected by moving back and forth and repeatedly detecting the direction in which the contrast evaluation value increases.
この撮像装置では、最大コントラスト評価値を検出するまでの時間を短縮することが可能である。また、オートフォーカス用の映像信号でコントラスト最大の光路長を検出した後に、光学系のフォーカス調整を行うため、ウォブリング動作などの高速なレンズ動作ができない、たとえば交換式レンズなどにおいてもオートフォーカス機能を提供できるといった優れた効果が得られる。
本発明における第6の発明の撮像装置は、第1の発明の撮像装置であって、オートフォーカス制御部は、光路長変更部により、第2の撮像部を第2の光束の光軸方向に逐次移動させて、第2の光束の光路長を逐次変更させたときのコントラストの評価値を評価することで、最大コントラスト評価値光路長を検出する。ここで、第2の撮像部を第2の光束の光軸方向に逐次移動させるとは、第2の撮像部を光軸方向の一定の方向に移動させつつ逐次コントラストの評価値を検出し、一定範囲の検出した評価値の中から最大の評価値を最大コントラスト評価値とする。In this imaging apparatus, it is possible to shorten the time until the maximum contrast evaluation value is detected. In addition, since the optical path is adjusted after the optical path length with the maximum contrast is detected in the video signal for autofocus, high-speed lens operation such as wobbling operation cannot be performed. An excellent effect that it can be provided is obtained.
An image pickup apparatus according to a sixth aspect of the present invention is the image pickup apparatus according to the first aspect, wherein the autofocus control unit moves the second image pickup unit in the optical axis direction of the second light flux by the optical path length changing unit. The maximum contrast evaluation value optical path length is detected by sequentially moving and evaluating the contrast evaluation value when the optical path length of the second light flux is sequentially changed. Here, sequentially moving the second image pickup unit in the optical axis direction of the second light beam detects the evaluation value of the contrast sequentially while moving the second image pickup unit in a certain direction of the optical axis direction, The maximum evaluation value among the detected evaluation values in a certain range is set as the maximum contrast evaluation value.
この撮像装置では、時間はかかるもののより確実に最大コントラスト評価値を検出することが可能となる。
本発明における第7の発明の撮像装置は、第3の発明の撮像装置であって、オートフォーカス制御部は、第1のフレームレートが低くなった場合に、第2のフレームレートを低くする。
この撮像装置では、オートフォーカス検出のための消費電力を抑制するように制御できる。
本発明における第8の発明の撮像方法は、被写体からの光を集光し、フォーカス制御可能な光学系と、同光学系により集光された被写体からの光を少なくとも第1の光束と第2の光束とに分離する光路分離部と、第1の光束を電気信号に変換し、第1の信号として出力する第1の撮像部と、第2の光束を電気信号に変換し、第2の信号として出力する第2の撮像部と、第2の光束の光路長を変更する光路長変更部と、を備える撮像装置に用いられる撮像方法であって、第1の信号処理ステップと、第2の信号処理ステップと、評価値生成ステップと、駆動ステップと、他の駆動ステップと、検出ステップと、オートフォーカス制御ステップと、を備える。第1の信号処理ステップは、第1の信号の信号処理を行い、撮影用の映像信号を生成する。第2の信号処理ステップは、第2の信号の信号処理を行う。評価値生成ステップは、第2の信号のコントラストの評価値を生成する。駆動ステップは、第1の撮像部を駆動する。他の駆動ステップは、第2の撮像部を駆動する。検出ステップは、光路長変更部を制御し、第2の信号のコントラストの評価値が最大になる第2の光束の光路長である最大コントラスト評価値光路長を検出する。オートフォーカス制御ステップは、最大コントラスト評価値光路長に基づいて、光学系のフォーカス制御を行う。In this imaging apparatus, although it takes time, the maximum contrast evaluation value can be detected more reliably.
An image pickup apparatus according to a seventh aspect of the present invention is the image pickup apparatus according to the third aspect, wherein the autofocus control unit lowers the second frame rate when the first frame rate is lowered.
This imaging apparatus can be controlled to suppress power consumption for autofocus detection.
According to an eighth aspect of the present invention, there is provided an imaging method for condensing light from a subject and controlling the focus, light from the subject condensed by the optical system at least a first light flux and a second light beam. An optical path separating unit that separates the first light beam into an electrical signal, a first imaging unit that outputs the first light beam as a first signal, a second light beam into an electrical signal, An imaging method used in an imaging apparatus comprising: a second imaging unit that outputs as a signal; and an optical path length changing unit that changes the optical path length of the second light beam, the first signal processing step, A signal processing step, an evaluation value generation step, a drive step, another drive step, a detection step, and an autofocus control step. In the first signal processing step, signal processing of the first signal is performed to generate a video signal for photographing. In the second signal processing step, signal processing of the second signal is performed. The evaluation value generation step generates an evaluation value of the contrast of the second signal. In the driving step, the first imaging unit is driven. Another driving step drives the second imaging unit. In the detecting step, the optical path length changing unit is controlled to detect a maximum contrast evaluation value optical path length that is an optical path length of the second light flux that maximizes the contrast evaluation value of the second signal. In the autofocus control step, focus control of the optical system is performed based on the maximum contrast evaluation value optical path length.
本発明における第9の発明のプログラムは、被写体からの光を集光し、フォーカス制御可能な光学系と、同光学系により集光された被写体からの光を少なくとも第1の光束と第2の光束とに分離する光路分離部と、第1の光束を電気信号に変換し、第1の信号として出力する第1の撮像部と、第2の光束を電気信号に変換し、第2の信号として出力する第2の撮像部と、第2の光束の光路長を変更する光路長変更部と、を備える撮像装置に用いられるプログラムであって、第1の信号処理ステップと、第2の信号処理ステップと、評価値生成ステップと、駆動ステップと、他の駆動ステップと、検出ステップと、オートフォーカス制御ステップと、を備える。第1の信号処理ステップは、第1の信号の信号処理を行い、撮影用の映像信号を生成する。第2の信号処理ステップは、第2の信号の信号処理を行う。評価値生成ステップは、第2の信号のコントラストの評価値を生成する。駆動ステップでは、第1の撮像部を駆動する。他の駆動ステップは、第2の撮像部を駆動する。検出ステップは、光路長変更部を制御し、第2の信号のコントラストの評価値が最大になる第2の光束の光路長である最大コントラスト評価値光路長を検出する。オートフォーカス制御ステップは、最大コントラスト評価値光路長に基づいて、光学系のフォーカス制御を行う。 According to a ninth aspect of the present invention, there is provided a program for collecting light from a subject, focusing an optical system capable of focus control, and at least first light flux and second light from the subject collected by the optical system. An optical path separating unit that separates into a light beam, a first imaging unit that converts the first light beam into an electrical signal and outputs it as a first signal, a second light beam that is converted into an electrical signal, and a second signal A program used for an imaging apparatus comprising: a second imaging unit that outputs a second optical path; and an optical path length changing unit that changes an optical path length of the second light beam, the first signal processing step, and a second signal A processing step, an evaluation value generation step, a driving step, another driving step, a detection step, and an autofocus control step are provided. In the first signal processing step, signal processing of the first signal is performed to generate a video signal for photographing. In the second signal processing step, signal processing of the second signal is performed. The evaluation value generation step generates an evaluation value of the contrast of the second signal. In the driving step, the first imaging unit is driven. Another driving step drives the second imaging unit. In the detection step, the optical path length changing unit is controlled to detect a maximum contrast evaluation value optical path length which is an optical path length of the second light flux at which the contrast evaluation value of the second signal is maximized. In the autofocus control step, focus control of the optical system is performed based on the maximum contrast evaluation value optical path length.
本発明における第10発明の集積回路は、一以上の第1の撮像部と、第2の撮像部と、第1の信号処理部と、第2の信号処理部と、評価値生成部と、第1の駆動部と、第2の駆動部と、光路長変更部と、オートフォーカス制御部と、を備える。第1の撮像部は、光学系の出力から複数に分離された光のうち、一以上の光を電気信号に変換し、第1の信号として出力する。第2の撮像部は、複数の光のうち前記一以上の光以外の光を電気信号に変換し、第2の信号として出力する。第1の信号処理部は、第1の信号の信号処理を行い、撮影用の映像信号を生成する。第2の信号処理部は、第2の信号の信号処理を行う。評価値生成部は、第2の信号のコントラストの評価値を生成する。第1の駆動部は、第1の撮像部の駆動パルスを生成する。第2の駆動部は、第2の撮像部の駆動パルスを生成する。光路長変更部は、第2の光束の光路長を変更する。オートフォーカス制御部は、光路長変更部を制御し、第2の信号のコントラストの評価値が最大になる第2の光束の光路長である最大コントラスト評価値光路長を検出し、最大コントラスト評価値光路長に基づいて、光学系のフォーカス制御を行う。 An integrated circuit according to a tenth aspect of the present invention includes one or more first imaging units, a second imaging unit, a first signal processing unit, a second signal processing unit, an evaluation value generation unit, A first drive unit, a second drive unit, an optical path length changing unit, and an autofocus control unit are provided. The first imaging unit converts one or more lights out of the light separated from the output of the optical system into an electrical signal, and outputs it as a first signal. The second imaging unit converts light other than the one or more lights out of the plurality of lights into an electrical signal and outputs it as a second signal. The first signal processing unit performs signal processing of the first signal to generate a video signal for photographing. The second signal processing unit performs signal processing of the second signal. The evaluation value generation unit generates an evaluation value of the contrast of the second signal. The first driving unit generates a driving pulse for the first imaging unit. The second driving unit generates a driving pulse for the second imaging unit. The optical path length changing unit changes the optical path length of the second light flux. The autofocus control unit controls the optical path length changing unit, detects the maximum contrast evaluation value optical path length that is the optical path length of the second light flux that maximizes the contrast evaluation value of the second signal, and determines the maximum contrast evaluation value. Focus control of the optical system is performed based on the optical path length.
本発明における第11発明の集積回路は、第1の信号処理部と、第2の信号処理部と、評価値生成部と、第1の駆動部と、第2の駆動部と、光路長変更部と、オートフォーカス制御部と、を備える。第1の信号処理部は、光学系を介して複数に分離された光が複数の撮像部において変換されて生成された複数の電気信号のうち、一以上の電気信号を受信して信号処理を行い、撮影用の映像信号を生成する。第2の信号処理部は、前記一以上の電気信号以外の第2の信号を受信し、信号処理を行う。評価値生成部は、第2の信号のコントラストの評価値を生成する。第1の駆動部は、第1の撮像部の駆動パルスを生成する。第2の駆動部は、第2の撮像部の駆動パルスを生成する。光路長変更部は、第2の光束の光路長を変更する。オートフォーカス制御部は、光路長変更部を制御し、第2の信号のコントラストの評価値が最大になる第2の光束の光路長である最大コントラスト評価値光路長を検出し、最大コントラスト評価値光路長に基づいて、光学系のフォーカス制御を行う。
(発明の効果)
以上のように本発明は、コントラスト最大の光路長を検出する時の悪影響が撮影用の映像信号に及ばせないといった優れた効果が得られる。An integrated circuit according to an eleventh aspect of the present invention includes a first signal processing unit, a second signal processing unit, an evaluation value generating unit, a first driving unit, a second driving unit, and an optical path length change. And an autofocus control unit. The first signal processing unit receives one or more electric signals among the plurality of electric signals generated by converting the light separated into a plurality via the optical system in the plurality of imaging units and performs signal processing. To generate a video signal for shooting. The second signal processing unit receives a second signal other than the one or more electrical signals and performs signal processing. The evaluation value generation unit generates an evaluation value of the contrast of the second signal. The first driving unit generates a driving pulse for the first imaging unit. The second driving unit generates a driving pulse for the second imaging unit. The optical path length changing unit changes the optical path length of the second light flux. The autofocus control unit controls the optical path length changing unit, detects the maximum contrast evaluation value optical path length that is the optical path length of the second light flux that maximizes the contrast evaluation value of the second signal, and determines the maximum contrast evaluation value. Focus control of the optical system is performed based on the optical path length.
(The invention's effect)
As described above, the present invention provides an excellent effect that an adverse effect when detecting the optical path length with the maximum contrast cannot be applied to the video signal for photographing.
1 光学系
2 光路分離部
3 撮影用撮像部(第1の撮像部)
4 撮影用信号処理部(第1の信号処理部)
5 AF用撮像部(第2の撮像部)
6 アナログ信号処理部(第2の信号処理部)
7 AD変換
8 AF評価値生成部(評価値生成部)
9 AF用駆動部(第2の駆動部)
10 AF用光路長変更部(光路長変更部)
11 AF制御部(オートフォーカス制御部)
12 フレームレート変更信号処理部
13 撮影用フレームレート変更制御部
14 適応型AF制御部(オートフォーカス制御部)
21 撮影用駆動部(第1の駆動部)
101 水平ローパスフィルタ
102 第1水平ハイパスフィルタ
103 第2水平ハイパスフィルタ
104 垂直ハイパスフィルタ
105、106、107 積算部
108 加算器
109 セレクタDESCRIPTION OF SYMBOLS 1
4 Signal processing unit for photographing (first signal processing unit)
5 AF imaging unit (second imaging unit)
6 Analog signal processor (second signal processor)
7
9 AF drive section (second drive section)
10 AF optical path length changing section (optical path length changing section)
11 AF control unit (autofocus control unit)
12 Frame Rate Change
21. Shooting drive unit (first drive unit)
101 horizontal low-
以下、本発明の実施の形態について図1から図5を用いて説明する。
(実施の形態1)
<1.1:撮像装置の構成>
図1は本発明の実施の形態1によるオートフォーカス機能付き撮像装置100の構成を示すブロック図である。
図1において、撮像装置100は、光学系1と、光路分離部2と、第1の撮影部を構成する撮影用撮像部3と、第1の信号処理部を構成する撮影用信号処理部4と、第1の駆動部を構成する撮影用駆動部21とを有する。撮像装置100はさらに、第2の撮影部を構成するオートフォーカス用撮像部5(以下、「AF用撮像部5」という。)と、第2の信号処理部を構成するアナログ信号処理部6と、AD変換部7と、オートフォーカス評価値生成部8(以下、「AF評価値生成部8」という。)と、第2の駆動部であるオートフォーカス用撮像部の駆動部9(以下、「AF用駆動部9」という。)と、オートフォーカス用光路長変更部10(以下、「AF用光路長変更部10」という。)と、オートフォーカス制御部11(以下、「AF制御部11」という。)と、を含む。Hereinafter, embodiments of the present invention will be described with reference to FIGS.
(Embodiment 1)
<1.1: Configuration of Imaging Device>
FIG. 1 is a block diagram showing a configuration of an
In FIG. 1, an
光学系1は、被写体からの光を集光し、被写体からの光(光束)について焦点距離を調整することができる構成、つまり、フォーカス制御可能な構成を有する。光学系1は、集光した被写体からの光(光束)を、光路分離部2に出力する。光学系1は、複数のレンズから構成されてもよい。光学系1では、フォーカス制御を行うフォーカス制御用レンズ(複数のレンズから構成されるレンズユニットであってもよい。)を設け、フォーカス制御用レンズを移動させることでフォーカス制御を行うようにしてもよい。また、光学系1は、交換式レンズなどにより構成されるものであってもよい。
光路分離部2は、光学系1から出力された光(光束)を受け、光学系1を通った光束を第1の光束である撮影用の光束と第2の光束であるオートフォーカス検出用(以下、「AF検出用」ということがある。)の光束と、に分離する。そして、光路分離部2は、撮影用の光束を撮影用撮像部3に出力し、オートフォーカス検出用の光束をAF用撮像部5に出力する。ここで、光路分離部2は、光学系1を通った撮影用の光束を、複数の撮影用の光束(例えば、R用光束、B用光束およびG用光束の3つの光束や、R用光束、B用光束、G1用光束およびG2用光束の4つの光束)に分離するようにしてもよい。また、光学系1に入力された光束のうちAF検出用の光束の割合は、任意の割合でよい(例えば、10%や50%など)。光路分離部2としては、例えば、図2および図8に示すような、光学プリズム(ビームスプリッタ)を用いることが好ましい。The optical system 1 has a configuration capable of condensing light from a subject and adjusting a focal length of the light (light flux) from the subject, that is, a configuration capable of focus control. The optical system 1 outputs the collected light (light flux) from the subject to the optical
The optical
撮影用撮像部3は、CMOSやCCD等の撮像素子を有し、光学系1から出力された光束を入力とする。撮影用撮像部3は、光学系1より入力された光束を光電変換により電気信号に変換し、変換した電気信号を撮影用信号処理部4に出力する。
撮影用信号処理部4は、撮影用撮像部3からの出力を入力とする。撮影用信号処理部4は、撮影用撮像部3の出力信号に相関2重サンプリング処理、ゲイン制御処理、ペデスタル制御処理、ガンマ処理などの信号処理を行い、撮影用映像信号を取得する。
撮影用駆動部21は、撮影用のフレームレート信号を入力とする。撮影用駆動部21は、このフレームレート信号に応じて駆動パルス信号を出力する。この出力された駆動パルス信号により撮影用撮像部3が駆動される。
AF用撮像部5は、光路分離部2から出力されたオートフォーカス検出用の光束を入力とする。AF用撮像部5は、オートフォーカス検出用の光束を電気信号に変換し、アナログ信号処理部6に出力する。AF用撮像部5は、AF用光路長変更部10と接続されている。AF用撮像部5は、AF用光路長変更部10によりオートフォーカス検出用光束の光軸上を平行移動される。また、AF用撮像部5は、AF用駆動部9からの駆動パルス信号を入力とし、この駆動パルス信号により駆動される。AF用撮像部5は、任意の位置を読み出しできる撮像素子を有する。この撮像素子の全領域で取得された電気信号をアナログ信号処理部6に出力するようにしてもよいし、撮像素子の一部の領域で取得された電気信号をアナログ信号処理部6に出力するようにしてもよい。なお、AF用撮像部5の出力となる電気信号を、撮像素子のどの領域で取得するかについては、AF用駆動部9からの駆動パルス信号により決定する。The
The photographing
The
The
アナログ信号処理部6は、AF用撮像部5からの出力を入力とする。アナログ信号処理部6は、AF用撮像部5からの出力に対して、相関2重サンプリング処理、ゲイン制御処理、ペデスタル制御処理などを行い、AD変換部7に出力する。
AD変換部7は、アナログ信号処理部6からの信号をディジタル信号に変換し、AF評価値生成部8に出力する。
AF評価値生成部8は、AF制御部11から出力される選択信号、AF用駆動部9から出力される評価領域信号、およびAD変換部7から出力されるオートフォーカス検出用の映像信号(以下、「AF検出用映像信号」という。)を入力とする。AF評価値生成部8は、後述する評価領域信号および選択信号に基づいて、オートフォーカス検出用の映像信号に高域通過フィルタ処理などを施して信号の高域成分を抽出し、オートフォーカス動作の評価値(コントラストの評価値)を算出する。AF評価値生成部8は、算出した評価値をAF制御部11に出力する。The analog signal processing unit 6 receives the output from the
The
The AF evaluation
AF用駆動部9は、AF用撮像部5を駆動するための駆動パルス信号を生成する。
AF用光路長変更部10は、小型アクチュエータなどを用いて、AF用撮像部5をオートフォーカス検出用光束の光軸上を平行移動させる。これにより、AF用光路長変更部10は、AF用撮像部5の光路長を変更する。小型アクチュエータとしては、リニア駆動モータや、ステッピングモータ、圧電素子を利用した圧電超音波リニアアクチュエータとスライド機構などを用いることができる。
AF制御部11は、AF用駆動部9やAF用光路長変更部10などを制御し、AF評価値生成部8より得られた評価値(コントラストの評価値)が最大になる光路長を検出する。これにより、AF制御部11は、光学系1のフォーカス位置を制御する。
図2は、光路分離部2、撮影用撮像部3、AF用撮像部5およびAF用光路長変更部10のより具体的な一例を示す模式図である。The
The AF optical path
The
FIG. 2 is a schematic diagram showing a more specific example of the optical
図2に示すように、光路分離部2は、4板撮像方式で使用される色分解プリズムを用いて構成されている。3板撮像方式では、色分解プリズムによってR(赤)光、G(緑)光、およびB(青)光に分ける。これに対し、本実施の形態における光路分離部2では、RGB分光後のG光を図2のようにハーフミラーでさらに分割してG1(緑1)光とG2(緑2)光とを作成する。そして、G2(緑2)光をオートフォーカス検出用の光束として使用する。残りのR(赤)光、G1(緑1)光、B(青)光は、撮影用の光束として、通常の3板式撮像方式の信号処理を行う。さらにG2(緑2)光用の撮像部であるAF用撮像部5に小型アクチュエータを用いたAF用光路長変更部10が接続されている。AF用光路長変更部10により、AF用撮像部5が光軸上を移動可能となる。
図3は、AF評価値生成部8の構成の一例を示すブロック図である。As shown in FIG. 2, the optical
FIG. 3 is a block diagram illustrating an example of the configuration of the AF evaluation
図3において、AF評価値生成部8は、水平方向のローパスフィルタ101と、二つの水平方向のハイパスフィルタ102および103と、垂直方向のハイパスフィルタ104と、積算部105〜107と、加算器108と、セレクタ109と、を有する。水平方向のローパスフィルタ101は、オートフォーカス検出用の映像信号により形成される映像(2次元映像)の水平方向成分についてのローパスフィルタ(以下、「水平LPF」という。)である。二つの水平方向のハイパスフィルタは、オートフォーカス検出用の映像信号により形成される映像(2次元映像)の水平方向成分についてのハイパスフィルタ(以下、それぞれ「第1水平HPF」および「第2水平HPF」という。)である。垂直方向のハイパスフィルタは、オートフォーカス検出用の映像信号により形成される映像(2次元映像)の垂直方向成分についてのハイパスフィルタ(以下、「垂直HPF」という。)である。水平LPF101と、第1水平HPF102と、第2水平HPF103と、垂直HPF104と、積算部105〜107とは、演算部111を構成する。
In FIG. 3, the AF evaluation
水平LPF101は、AD変換部7から出力されるオートフォーカス検出用の映像信号(AF検出用映像信号)を入力とする。水平LPF101は、AF検出用信号に対して、コントラストの評価値を生成するために必要な周波数帯域成分を抽出するためのローパスフィルタである。水平LPF101は、その出力信号を、第1水平HPF102、第2水平HPF103、および垂直HPF104に出力する。
第1水平HPF102および第2水平HPF103は、それぞれ通過させる周波数帯域が異なっている。第1水平HPF102および第2水平HPF103は、第1水平HPF102がより低い周波数帯域を通過させるハイパスフィルタ(低域用)であり、第2水平HPF103がより高い周波数帯域を通過させるハイパスフィルタ(高域用)である。
積算部105〜107は、それぞれのハイパスフィルタ102〜104の出力を積算して、加算器108およびセレクタ109に出力する。The
The first
演算部111は、水平LPF101と、第1水平HPF102と、第2水平HPF103と、垂直HPF104と、積算部105〜107とからなる。演算部111には、AF用駆動部9から評価領域信号が入力される。評価領域信号は、AF評価値生成部8がオートフォーカスを評価する領域(以下、AF評価領域という。)を選択するのに用いられる。評価領域信号は、例えば、AF検出用映像信号を画面の中央部からとる場合、画面の中央部のタイミングを示すパルス信号となる。なお、この評価領域信号は、積算部105〜107のみに入力されるようにしてもよい。この場合、積算部105〜107がそれぞれのハイパスフィルタ102〜104の出力のうちAF評価領域における値を積算して、加算器108およびセレクタ109に出力する。
加算器108は、積算部105〜107の出力を加算し、加算した結果をセレクタ109に出力する。The
The
セレクタ109は、積算部105〜107および加算器108からの出力を、選択信号に基づいて選択する。セレクタ109は、選択した出力信号を、評価値(コントラストの評価値)としてAF制御部11に出力する。選択信号は、撮像される画像によって最も適した信号を選択するために用いられる。なお、選択信号については後述する。
なお、上記水平LPF101、第1水平HPF102、第2水平HPF103、垂直HPF104の通過帯域は、例えば、次のようになる。撮像装置100で扱う映像信号がSDTV形式の映像信号の場合、水平LPF101が0〜2.0MHz、第1水平HPF102が300kHz以上、第2水平HPF103が1.2MHz以上、垂直HPF104が20TV本以上であることが好ましい。また、撮像装置100で扱う映像信号がHDTV形式の映像信号の場合、水平LPF101が0〜13.2MHz、第1水平HPF102が2.0MHz以上、第2水平HPF103が6.6MHz以上、垂直HPF104が45TV本以上であることが好ましい。The
The pass bands of the
<1.2:撮像装置の動作>
以上のように構成されたオートフォーカス機能付撮像装置について、図1から図4を用いて動作の様子について詳細に説明する。
光学系1を通った光束は、図2に示される光路分離部2に入力される。光路分離部2により、光学系1より入力された光束は、撮影用のR(赤)光、G1(緑1)光、B(青)光の各光束と、オートフォーカス検出用のG2(緑2)光の光束とに分割される。分割された光束は、それぞれ3つの撮影用撮像部3と1つのAF用撮像部5とによってそれぞれ電気信号に変換される。
撮影用撮像部3の出力は、通常の3板式撮像方式と同様に撮影用信号処理部4で、信号処理される。処理された信号は、その後、本線系、すなわち撮影用の映像信号として出力される。<1.2: Operation of Imaging Device>
The operation of the image pickup apparatus with an autofocus function configured as described above will be described in detail with reference to FIGS.
The light beam that has passed through the optical system 1 is input to the optical
The output of the
一方、AF用撮像部5の出力は、通常の信号処理と同様に、相関2重サンプリング、ゲイン制御、ペデスタル制御などのアナログ信号処理が施される。アナログ信号処理された出力は、その後、AD変換部7にてディジタル信号に変換され、AF評価値生成部8に入力される。
AF評価値生成部8は、映像のコントラストを評価する。具体的には、まず、AF評価値生成部8に入力されたAF検出用の映像信号に対して、水平LPF処理が施される。これは、AF検出用の映像信号のノイズ成分を抑制するために行われる。その後、水平LPF処理が施されたAF検出用の信号に対して、複数のハイパスフィルタ処理が実行される。図3の場合、演算部111に入力されたAF検出用映像信号は、水平LPF101を通過する。演算部111には上述のようにAF用駆動部9から評価領域信号が入力され、入力されたAF検出用映像信号のうちAF評価領域における信号成分のみ演算される。また、演算部111において、AF検出用映像信号は、第1水平HPF102、第2水平HPF103、および垂直HPF104に、それぞれ、入力される。第1水平HPF102は、水平方向においてより低域からの信号の高周波成分を抽出する。第2水平HPF103は、水平方向においてより高域からの映像信号の高周波成分を抽出する。垂直HPF104は、垂直方向の高周波成分を抽出する。各ハイパスフィルタ102〜104においてハイパス処理をされた後の信号は、積算部105、106および107にて積算されて出力される。なお、評価領域信号は、積算部105〜107のみに入力されるようにしてもよい。この場合、積算部105〜107がそれぞれのハイパスフィルタ102〜104の出力のうちAF評価領域における値を積算して、加算器108およびセレクタ109に出力するようにする。On the other hand, the output of the
The AF evaluation
積算部105、106および107からの出力は、加算器108により加算される。加算された信号は、セレクタ109に入力される。つまり、積算部105〜107のそれぞれの出力と、これらの積算部の出力を加算する加算器108の出力とが、セレクタ109に入力され、AF制御部11からの選択信号に従って、セレクタ109の4つの入力のいずれかが選択される。選択された信号は、コントラストの評価値(コントラスト評価値)としてAF制御部11に出力される。
選択信号は、撮像される画像によって、最も適した信号を選択するために用いられる。例えば、第1水平HPF102(低域用)と第2水平HPF103(高域用)の評価値曲線には、図4に示すような特徴がある。図4に示すように、第1水平HPF102(低域用)は、ゆるやかな山を描き、第2水平HPF103(高域用)は、フラットな状態から合焦点付近で、急峻な山を描く。例えば、横しま模様などの絵柄の場合には、第1、第2水平HPF102,103ともに評価値曲線の山がほとんどなくなり、垂直HPF104では、合焦点で、山ができることになる。AF用撮像部5を前後に移動させてコントラストが大きくなる方向に移動させることを繰り返して最大コントラスト評価値光路長を検出する場合、例えば、次のようにする。まずは、第2水平HPF103(高域用)からの出力を選択し、第2水平HPF103(高域用)の変化がない場合、第1水平HPF102(低域用)からの出力に基づいてAF用撮像部5を合焦位置付近まで移動させる。その後、最終的に、第2水平HPF103の出力に基づいて、最大コントラスト評価値光路長を決定するというような制御が考えられる。さらに、第1、第2水平HPF102,103の評価値ともに変化がない場合は、垂直HPF104の出力を選択するように制御することもできる。また例えば、まずは、第1、第2水平HPF102,103および垂直HPF104の加算値を用いて、おおまかに制御し、最終的に第2水平HPF103もしくは、垂直HPF104の評価値で決定するというような制御を行ってもよい。なお、これらのハイパスフィルタの帯域や、種類、その選択方法については、多様であり、これらに限定されるものではない。Outputs from the accumulating
The selection signal is used to select the most suitable signal depending on the image to be captured. For example, the evaluation value curves of the first horizontal HPF 102 (for low frequency) and the second horizontal HPF 103 (for high frequency) have characteristics as shown in FIG. As shown in FIG. 4, the first horizontal HPF 102 (for low frequency) draws a gentle mountain, and the second horizontal HPF 103 (for high frequency) draws a steep mountain in the vicinity of the focal point from a flat state. For example, in the case of a pattern such as a horizontal stripe pattern, there are almost no peaks in the evaluation value curve in both the first and second
AF制御部11は、AF評価値生成部8から出力されるコントラスト評価値を監視しながら、AF用光路長変更部10によりAF用撮像部5の光路長(AF用撮像部5に入力される光束の光路長)を順次変更していく。これにより、AF制御部11は、コントラスト評価値が最大になるAF用撮像部5の光路長を検出する。AF用光路長変更部10は、リニア駆動モータやステッピングモータ、圧電素子を利用した圧電超音波リニアアクチュエータなどと、光軸に沿ったスライド機構などと、を用いて構成される。AF用光路長変更部10は、AF用撮像部5を光軸上に平行に(図2の双方向矢印D1が示す方向に)スライドさせる機能を有しており、例えばシリアル通信などで制御される。
また、AF制御部11は、撮影用撮像部3のフレームレート信号である撮影用フレームレート信号とは独立したフレームレート信号、すなわちAF用フレームレート信号を、AF用駆動部9に対し出力する。この出力されたAF用フレームレート信号によりAF用撮像部5が駆動される。なお、このAF用フレームレート信号に応じたAF用撮像部5のフレームレートは、撮像装置100に設けられたメニューやダイヤルなどのフレームレート変更部(図示省略)により変更される。AF制御部11は、AF評価領域(AF用撮像部5の撮像素子上のAF検出用に設定された領域)のみを読み出すように、AF用駆動部9を設定している。AF用駆動部9は、AF用撮像部5を駆動するとともに、上述のように、AF評価値生成部8に評価領域信号を出力してAF評価領域に対応する有効な信号を出力するタイミングを制御する。AF制御部11により、コントラスト評価値が最大になるAF用撮像部5の光路長が検出されると、この検出された光路長と、撮影用撮像部3の光路長に相当する、予め決定されている基準値との差分が算出される。その差分値から光学系1のフォーカスの合焦位置を検出することで、光学系1のフォーカス制御が実行される。The
In addition, the
すなわち、AF用光路長変更部10により、AF用撮像部5の光路長を順次変更しながら、それぞれのコントラスト評価値を取得し、コントラスト評価値が最大になる光路長を検出する。検出された光路長は、撮影用撮像部3の光路長に相当する基準位置と比較され、その差分から光学系1のフォーカスの合焦位置を算出し、光学系1のフォーカス位置制御が行われる。
<1.2.1:コントラスト評価値が最大になる光路長の検出方法>
AF制御部11がAF用撮像部5の光路長を順次変更しながら、それぞれのコントラスト評価値を取得し、コントラスト評価値が最大になる光路長を検出する方法について、図5を用いて説明する。
図5は、コントラスト評価値が最大になる光路長を探索する動作の一例を説明するための模式図である。That is, the AF optical path
<1.2.1: Method of detecting optical path length that maximizes contrast evaluation value>
A method in which the
FIG. 5 is a schematic diagram for explaining an example of an operation for searching for an optical path length that maximizes the contrast evaluation value.
図5において、横軸はAF用撮像部10の光路長を示し、縦軸はAF評価値生成部8により算出されるコントラスト評価値を示す。太い矢印は1回ごとの探索の様子を示し、細い曲線はコントラスト評価値曲線を示す。この図を参照しながら、探索開始位置からコントラスト評価値が最大になる点への探索を実施した場合について説明する。AF用光路長変更部10により、初めにどちらかの方向に光路長を変更して、AF評価値生成部により取得されたコントラスト評価値を読み込む。この現位置でのコントラスト評価値と前回位置でのコントラスト評価値と比較する。評価値が減少したら、AF用光路長変更部10によりAF用撮像部5を移動させる方向を反転する。図5の場合、1回目は右方向(AF用撮像部の光路長が大きくなる方向)に光路長を変更しコントラスト評価値がほとんど変化していない。よって、2回目も同じ方向に光路長を変更する。2回目の変更ではコントラスト評価値は増加したため、同方向へ探索を継続する。2回目から6回目の変更では、いずれもコントラスト評価値は増加しているため、コントラスト最大点はさらに右方向にあると判断する。7回目の変更によりコントラスト評価値が減少している。すなわち、コントラスト評価値の最大点を通り越したと判断する。8回目は、AF用撮像部の光路長を変更する方向を7回目での方向と逆転させる。この時点において、最大点(最大コントラスト評価値光路長となる点)の近傍に位置していると予測できる。次いで、変更量をより少なくして同様の探索を継続する。最後はどちらの方向に変更しても減少するところを最大点(最大コントラスト評価値光路長となる点)として検出する。また、1回目の変更方向が図5の左方向に変更した場合、探索位置が一番端(AF用光路長変更部10によりAF用撮像部5を移動させることができる限界となる端)に到達したことを検出する。この時点で、右方向に探索方向を逆転させ、最終的にコントラスト評価値が最大になる点を、確実に検出することができる。
In FIG. 5, the horizontal axis indicates the optical path length of the
ここで注目するべきは、撮像装置100において、AF用光路長変更部10を用いてコントラスト評価値が最大になるポイントを探索する間は、光学系1のフォーカス位置は全く制御(変更)されない。よって、撮影用映像信号は、全く影響を受けない点である。
またさらに、撮像装置100において、コントラスト評価値が最大になる光路長を探索する場合、撮影用の映像信号には全く影響を与えないため、広い範囲の探索が可能である。よって、大ボケ状態からでもコントラスト評価値の最大ポイントを確実に検出できる点である。
以上のように本実施の形態1による撮像装置100では、撮影用の映像信号とは独立したオートフォーカス用信号でコントラスト最大の光路長を検出することで光学系1のフォーカス制御を実施する。よって、本実施の形態1による撮像装置100は、検出時の悪影響が撮影用映像信号に及ばないといった優れた効果を有する。It should be noted here that the focus position of the optical system 1 is not controlled (changed) at all while the
Furthermore, when searching for an optical path length that maximizes the contrast evaluation value in the
As described above, in the
また以上のように本実施の形態1による撮像装置100では、フォーカス探索動作中においても撮影用の映像信号には全く影響を与えない。よって、本実施の形態1による撮像装置100は、広い範囲の探索が可能となり、いわゆる大ボケ状態からでも確実に制御が可能であるといった優れた効果を有する。
さらに、撮像装置100のAF用撮像部5は、撮影用駆動部21とは別のAF用駆動部9を有する。よって、撮影用撮像部3のフレームレートとは独立にAF用撮像部5のフレームレートを設定することができる。このことにより、次のような効果がある。例えば、撮影用撮像部3のフレームレートが12P以下まで下げられたとき、AF用撮像部5のフレームレートも12P以下まで下げられると、撮像者はオートフォーカスの応答性が悪くなったように感じることがある。この場合、AF用撮像部5のフレームレートのみを一定の高さに保つことによってオートフォーカスの応答性は改善される。一方、撮影用撮像部3のフレームレートが例えば60P以上に上げられたとき、AF用撮像部5のフレームレートも同じように上げられると、必要以上に電力を消費する場合がある。これは、AF用撮像部5のフレームレートが上げられても、レンズの大きさ、重さ、種類などによってオートフォーカスの応答性の向上は制限される場合があるからである。この場合、AF用撮像部5のフレームレートのみを抑えることによって、無駄な電力消費を防ぐことができる。本実施の形態1による撮像装置100は、AF用撮像部5のフレームレートを独立して変更できることで、状況に応じてオートフォーカスの応答速度を改善でき、あるいは消費電力を節減できる。さらに、撮像装置100は、任意の位置を読み出し可能な撮像素子を有するAF用撮像部5に用いて必要領域のみを読み出すように制御すれば、より容易にAF用撮像部5のフレームレートを高速化でき、オートフォーカス応答時間を改善することができる。As described above, the
Further, the
このように、本実施の形態1による撮像装置100は、AF用撮像部5のフレームレートが独立に制御可能なため、撮影用撮像部3のフレームレートの影響を受けないといった優れた効果が得られる。すなわち、オートフォーカスの応答時間を改善する場合は、撮影用撮像部3のフレームレートとは別個にAF用撮像部5のフレームレートを高速化すればよい。このことは、特に撮影用の映像信号のフレームレートが可変である撮像装置の場合、低フレームレートでの撮影時には顕著な効果を表す。また、撮影用撮像部3のフレームレートが高速である場合は、消費電力をムダに消費することを防ぐため、AF用撮像部5のフレームレートのみを低速にすればよい。
本実施の形態1において、光路分離部2は、4板撮像方式で使用される色分解プリズムで説明した。撮影用の光束とAF用の光束とを分離できるものであれば、4板式色分解プリズムである必要はなく、またAF用の光束は、Gchである必要もない。As described above, the
In the first embodiment, the optical
また本実施の形態1において、AF評価値生成部8は、水平LPF101、第1水平HPF102、第2水平HPF103、垂直HPF104、積算部105、106、107、加算器108、およびセレクタ109からなる演算部111で構成された例で説明した。しかし、AF評価値生成部8は、映像のコントラストを評価する値が検出できればどのような構成(回路)を有していてもよい。AF評価値生成部8は、例えば、通過帯域の特性を可変できる1種類の水平HPFなどにより構成されていてもよい。
なお上述の実施の形態1において、コントラスト評価値が最大になる位置の検出方法は、初めから大きく光路長を変更する方法で説明したが、これに限定されない。例えば、AF制御部11は、AF用光路長変更部10によってAF用撮像部5を光軸方向に逐次移動させて、第2の光束の光路長を逐次変更させたときのコントラストの評価値を評価することで、コントラスト評価値が最大になる光路長を検出してもよい。この場合、AF用撮像部5を光軸方向の一定の方向に移動させつつ逐次コントラストの評価値を検出する。一定範囲の検出した評価値の中から最大の評価値を最大コントラスト評価値とする。このように検出することは、時間はかかるものの、より確実に最大コントラスト評価値を得ることを可能にする。あるいは、従来のウォブリングと組み合わせて探索する方法でもよい。すなわち、ウォブリング動作を繰り返し、いわゆる山登りアルゴリズムによって、コントラスト評価値が最大になる点を検出する方法であってもよく、黄金分割法などを利用しながら光路長を変更する方法であってもよい。コントラスト評価値が最大になる光路長を検出できればどのような方法でもよい。
(実施の形態2)
<2.1:撮像装置の構成>
図6は、本発明の実施の形態2によるオートフォーカス機能付き撮像装置200の構成を示すブロック図である。同撮像装置200は、前記実施の形態1による撮像装置100と、次の点おいて異なる。まず、実施の形態2の撮像装置200は、フレームレート変更部を構成する撮影用フレームレート変更制御部13およびフレームレート変更信号処理部12を備える。また、実施の形態2の撮像装置200は、適応型AF制御部14において本線系、すなわち撮影用撮像部3のフレームレートに応じてオAF用撮像部5のフレームレートを変更する。なお、上記実施の形態1の撮像装置100と同一の構成要素については、同一の符号を付している。In the first embodiment, the AF evaluation
In the first embodiment described above, the method for detecting the position where the contrast evaluation value is maximized has been described as a method of greatly changing the optical path length from the beginning, but is not limited thereto. For example, the
(Embodiment 2)
<2.1: Configuration of imaging apparatus>
FIG. 6 is a block diagram showing a configuration of an
撮像装置200は、光学系1と、光路分離部2と、撮影用撮像部3と、フレームレート変更信号処理部12と、撮影用駆動部21と、オートフォーカス用撮像部5(以下、AF用撮像部5)と、アナログ信号処理部6と、AD変換部7と、オートフォーカス評価値生成部8(以下、AF評価値生成部8)と、AF用駆動部9と、AF用光路長変更部10と、適応型AF制御部14と、撮影用フレームレート変更制御部13とを備える。
光学系1は、交換式レンズなどで構成され、フォーカス位置が制御可能な構成を有する。光路分離部2は、光学系1を通った光束を撮影用の光束とオートフォーカス検出用の光束とに分離する。撮影用撮像部3は、CMOSやCCD等の撮像素子を有し、撮影用の光束を電気信号に変換する。
フレームレート変更信号処理部12は、上記撮像装置100の撮影用信号処理部4と同様に、撮影用撮像部3の出力に相関2重サンプリング処理、ゲイン制御処理、ペデスタル制御処理、ガンマ処理などの信号処理を行う撮影用信号処理部である。フレームレート変更信号処理部12は、さらに、フレームレート変更に対応した信号処理を行う。The
The optical system 1 is configured by an interchangeable lens or the like, and has a configuration capable of controlling the focus position. The optical path separator 2 separates the light beam that has passed through the optical system 1 into a light beam for photographing and a light beam for autofocus detection. The
The frame rate change
撮影用駆動部21は、撮影用フレームレート変更制御部13からの撮影用フレームレート信号を入力とする。撮影用駆動部21は、このフレームレート信号に応じて駆動パルス信号を出力する。この出力された駆動パルス信号により撮影用撮像部3が駆動される。
AF用撮像部5は、オートフォーカス検出用の光束を電気信号に変換する。アナログ信号処理部6は、相関2重サンプリング処理、ゲイン制御処理、ペデスタル制御処理などの信号処理を行う。AD変換部7は、アナログ信号処理部6からの信号をディジタル信号に変換する。
AF評価値生成部8は、適応型AF制御部14から出力される選択信号、AF用駆動部9から出力される評価領域信号、およびAD変換部7から出力されるオートフォーカス検出用の映像信号(以下、「AF検出用映像信号」という。)を入力とする。AF評価値生成部8は、評価領域信号および選択信号に基づいて、オートフォーカス検出用の映像信号に高域通過フィルタ処理などを施して信号の高域成分を抽出し、オートフォーカス動作の評価値(コントラストの評価値)を算出する。AF評価値生成部8は、適応型AF制御部14に出力する。The
The
The AF evaluation
AF用駆動部9は、AF用撮像部5を駆動するための駆動パルスを生成する。
AF用光路長変更部10は、小型アクチュエータなどを用いて、AF用撮像部5をオートフォーカス検出用光束の光軸上に平行移動させる。これにより、AF用光路長変更部10は、AF用撮像部5の光路長を変更する。なお、小型アクチュエータとしては、リニア駆動モータや、ステッピングモータ、圧電素子を利用した圧電超音波リニアアクチュエータとスライド機構などとを用いて実現することができる。
適応型AF制御部14は、撮影用撮像部3のフレームレートを読み込み、AF用駆動部9、AF用光路長変更部10などを制御する。適応型AF制御部14は、AF評価値生成部8より得られた評価値が最大になる光路長を検出することで、光学系1のフォーカス位置を制御する。撮影用フレームレート変更制御部13は、撮影用撮像部3のフレームレートを変更する。The
The AF optical path
The adaptive
以上のように構成されたオートフォーカス機能付き撮像装置200と、実施の形態1との差異は、主に次の点にある。撮影用フレームレート変更制御部13およびフレームレート変更信号処理部12により撮影用の映像信号のフレームレートを変更することが可能である。またAF制御部14では、撮影用フレームレート信号(撮影用の映像信号のフレームレートを決定させる信号)に応じて、AF用撮像部5のフレームレートを変更することができる。すなわち、撮影用撮像部3のフレームレートが非常に低い場合は、AF用撮像部5のフレームレートをオートフォーカスの応答に違和感が発生しない程度により低くすることによって、オートフォーカス検出のための消費電力を抑制するように制御できる。
<2.2:撮像装置の動作>
次に、フレームレート変更信号処理部12、撮影用フレームレート変更制御部13および適応型AF制御部14について、その動作を詳細に説明する。なお、他の構成要素については、実施の形態1と同様であるため、説明を省略する。The differences between the
<2.2: Operation of Imaging Device>
Next, operations of the frame rate change
例えば、撮像装置200が、フレームレートの変更が可能で、720/60p(プログレッシブ)形式で、フレームレートが12pの場合と60pの場合とを考える。12pの場合は、1秒間に12フレームの有効な映像信号が出力され、60pの場合は、1秒間に60フレームの有効な映像信号が出力される。言い換えると12pでは1/12秒間撮像部で電荷蓄積されて取得された映像信号を出力し、60pでは1/60秒間撮像部で電荷蓄積されて取得された映像信号を出力する。
図7に、撮影用撮像部3が、12pおよび60pで動作した時の出力信号の様子を説明するための模式図を示す。
撮影用撮像部3のフレームレートが60pの場合、撮影用撮像部3からは、図7(a)に示すように、1/60秒間電荷蓄積し取得された映像信号を出力する。撮像装置200に設けられたメニューやダイヤルなどによって、撮影用撮像部3のフレームレートが12pに変更された場合、撮影用フレームレート変更制御部13は、変更されたフレームレートを読み出す。読み出されたフレームレート信号は、撮影用駆動部21に入力される。撮影用駆動部21は、入力されたフレームレート信号に応じて、タイミングパルスを含む駆動パルスを出力する。撮影用駆動部21はこの駆動パルスにより撮影用撮像部3を駆動させる。この結果、撮影用撮像部3は、図7の(b)に示すように、1/12秒間電荷蓄積し取得した映像信号を、1/12秒毎の1/60秒期間で出力する。出力された信号は、フレームレート変更信号処理部12に入力される。フレームレート変更信号処理部12は、12pの映像信号に対しても、ゲイン調整、ペデスタル調整、ガンマ補正などの処理を実施する。フレームレート変更信号処理部12は、フレームレート変更に対応するために、12pの有効映像信号をメモリなどの記憶部に書き込み、映像信号がない期間にも同じデータを読み出す回路(データ読み出し部)を用いる。これにより、撮影用撮像部3が12p動作した時でも、フレームレート変更信号処理部12は、撮影用撮像部3が60pで動作した時と同様の信号を作成し、異なるフレームレートでの信号処理を実行している。For example, consider the case where the
FIG. 7 is a schematic diagram for explaining a state of an output signal when the photographing
When the frame rate of the
撮影用の映像信号のフレームレートを決定する信号は、適応型AF制御部14にも入力される。適応型AF制御部14は、撮影用撮像部3が12pで動作した時は、60pで動作した時よりもAF検出用のフレームレートを低く設定する。設定されたフレームレート信号は、AF用撮像部5のフレームレートとしてAF用駆動部9に入力される。そのフレームレートに応じてAF用撮像部5が制御される。
すなわち、前記実施の形態1と異なる重要な効果は、撮影用撮像部3のフレームレートが低い場合に、必要以上に高速なフレームレートでオートフォーカスの検出を実施することを自動的に抑制することにある。これにより、撮像装置全体の消費電力や発生する熱を抑制することが出来ることである。
以上のように本実施の形態の撮像装置200は、撮影用の映像信号の撮影用撮像部3が低フレームレートで動作している場合に、自動的にオートフォーカス用のフレームレートを低く設定する。これにより、実質的なオートフォーカス応答を保持しながら、撮像装置全体の消費電力を抑制できる優れた効果が得られる。A signal for determining the frame rate of the video signal for photographing is also input to the adaptive
That is, an important effect different from that of the first embodiment is that, when the frame rate of the
As described above, the
なお、上述の実施の形態2においては、フレームレート変更信号処理部12について、メモリなどを用いて12p動作時においても60p動作時と同様の信号を作成することで、フレームレート変更に対応した信号処理を実現する場合について説明した。しかし、本発明は、これに限らず、信号処理のクロック自体を可変するなどの他の構成でもよい。
なお、上述の実施の形態2においては、12pと60pの場合について説明したが、本発明はこれに限定されない。撮影用のフレームレートが可変である場合、撮影用の映像信号のフレームレートが低くなった場合に、オートフォーカス用の映像信号のフレームレートを自動的により低く動作させる制御を実施するものであればどのようなフレームレートであってもよい。
また、上述の実施の形態2においては、撮影用の映像信号のフレームレートが低い場合にオートフォーカス用の映像信号のフレームレートをより低く設定することについて述べた。反対に、撮影用の映像信号のフレームレートに応じてオートフォーカス用の映像信号のフレームレートを自動的に高く設定することも当然に可能である。In the second embodiment described above, the frame rate change
In the second embodiment described above, the cases of 12p and 60p have been described, but the present invention is not limited to this. If the frame rate for shooting is variable, and if the frame rate of the video signal for shooting is low, control to automatically lower the frame rate of the video signal for autofocus is performed. Any frame rate may be used.
Further, in the above-described second embodiment, it has been described that the frame rate of the video signal for autofocus is set lower when the frame rate of the video signal for shooting is low. On the contrary, it is naturally possible to automatically set the frame rate of the video signal for autofocus to a high value in accordance with the frame rate of the video signal for shooting.
また、本実施の形態2による撮像装置200では、任意の位置を読み出し可能な撮像素子を有するAF用撮像部5に用いてもよい。この場合、撮像素子の必要領域のみで電荷蓄積されて取得された信号を読み出すように制御すれば、より容易にオートフォーカス用の映像信号のフレームレートを高速化でき、オートフォーカス応答時間を改善することができる。
(その他実施の形態)
上述の実施の形態1および2においては、光路分離部2として4板の撮像素子を用いる方式を採用しているが、撮像素子の数はこれに限定されない。たとえば、図8に示すように、5板の撮像素子を用いてもよい。
図8の光路分離部2は、RGB分光後のG光束を図8のようにハーフミラーでさらに分割してG1(緑1)光束とG2(緑2)光束とを作成する。これらのすべての光束は4枚の撮影用撮像部3においてそれぞれ電気信号に変換される。一方、G1(緑1)光束は、撮影用撮像部3へ入力される前にさらに分光される。分光された光束は、別の撮像素子、すなわちAF用撮像部5に入力されて、オートフォーカス検出用の映像信号として処理される。In addition, the
(Other embodiments)
In the first and second embodiments described above, a system using a four-plate image sensor as the optical
The optical
この光路分離部2では、従来の4板撮像方式と同様に撮影用の映像信号としてR光,G1光,G2光,B光をそれぞれとることができる。これにより、撮影用の映像信号の性能を従来と同じレベルに維持しつつ、本発明の特有の効果である確実かつ迅速なオートフォーカス制御も実現できる。
(その他)
撮像素子は、HDTV対応、SDTV対応のいずれであってもよい。また、映像の性能に関わる撮影用の映像信号を生成するための撮像素子(撮影用撮像部3の撮像素子)をHDTV対応とし、映像の性能に関係しないオートフォーカス検出用の映像信号を生成するための撮像素子(AF用撮像部5の撮像素子)をSDTV対応のものとしてもよい。これにより、コストを抑えた撮像装置とすることができる。In this optical
(Other)
The imaging device may be either HDTV compatible or SDTV compatible. In addition, an image pickup device (image pickup device of the
また、オートフォーカス評価のために用いる領域、すなわちAF評価領域の位置、大きさなど任意である。またAF評価領域は、複数個所を加算したものであっても、複数個所から選択された領域であってもよい。例えば、画面左領域、中央、右領域を別々に検出し、被写体が存在する領域を選択してもよい。被写体が存在する領域を選択する方法としては、AF評価値が最大である領域を選択してもよいし、ユーザーによるスイッチ操作、顔判定を行うなどしてもよい。
上述した撮像装置は、LSIなどの半導体装置により一部を1チップ化してもよい。
また、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。Also, the area used for autofocus evaluation, that is, the position and size of the AF evaluation area are arbitrary. The AF evaluation area may be an area obtained by adding a plurality of places or an area selected from a plurality of places. For example, the left area, the center area, and the right area of the screen may be detected separately, and the area where the subject exists may be selected. As a method for selecting the region where the subject exists, the region having the maximum AF evaluation value may be selected, or the user may perform a switch operation or face determination.
The above-described imaging apparatus may be partially integrated on a single chip using a semiconductor device such as an LSI.
Further, although it is referred to as LSI here, it may be referred to as IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI, or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
(本発明の実施形態の効果)
本発明の全ての実施の形態にかかる撮像装置、撮像方法、プログラムおよび集積回路は、オートフォーカス機能を実現する場合に、オートフォーカス用の映像信号でコントラスト最大の光路長を検出することでオートフォーカス制御を行うため、光路長検出時、撮影用の映像信号に全く悪影響を与えないといった効果を有する。Furthermore, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied as a possibility.
Moreover, each process of the said embodiment may be implement | achieved by hardware, and may be implement | achieved by software. Further, it may be realized by mixed processing of software and hardware.
The specific configuration of the present invention is not limited to the above-described embodiment, and various changes and modifications can be made without departing from the scope of the invention.
(Effect of the embodiment of the present invention)
The imaging apparatus, imaging method, program, and integrated circuit according to all the embodiments of the present invention detect autofocus by detecting the optical path length with the maximum contrast from the video signal for autofocus when realizing the autofocus function. Since the control is performed, there is an effect that the video signal for photographing is not adversely affected at the time of detecting the optical path length.
また本発明の全ての実施の形態にかかる撮像装置、撮像方法、プログラムおよび集積回路は、オートフォーカス機能を実現する場合に、オートフォーカス用の映像信号でコントラスト最大の光路長を検出した後に、光学系のフォーカス制御を行うため、ウォブリング動作などの高速なレンズ動作が不可能な撮像装置に対してもオートフォーカス機能を提供可能であるといった効果を有する。
また本発明の全ての実施の形態にかかる撮像装置、撮像方法、プログラムおよび集積回路によれば、オートフォーカス機能を実現する場合に、フォーカス探索動作中において撮影用の映像信号には全く影響を与えないことから、広い範囲の探索が可能となり、いわゆる大ボケ状態からでも確実に制御が可能であるといった効果を有する。
また本発明の実施の形態1にかかる撮像装置、撮像方法、プログラムおよび集積回路は、オートフォーカス機能を実現する場合に、オートフォーカス検出用の映像信号のフレームレートが独立に制御可能なため、撮影用の映像信号のフレームレートの影響を受けないといった効果、すなわち、撮影用の映像信号のフレームレートとは無関係にオートフォーカス用の映像信号のフレームレートを高速化することで、応答時間を改善できるといった効果を有する。The imaging apparatus, imaging method, program, and integrated circuit according to all the embodiments of the present invention, when realizing the autofocus function, detect the optical path length with the maximum contrast from the video signal for autofocus, Since the focus control of the system is performed, there is an effect that an autofocus function can be provided even for an imaging apparatus that cannot perform a high-speed lens operation such as a wobbling operation.
Further, according to the imaging apparatus, imaging method, program, and integrated circuit according to all embodiments of the present invention, when the autofocus function is realized, the video signal for shooting is completely affected during the focus search operation. Therefore, it is possible to search over a wide range and to control reliably even from a so-called large blurred state.
In addition, the imaging apparatus, imaging method, program, and integrated circuit according to the first embodiment of the present invention can control the frame rate of the video signal for autofocus detection independently when realizing the autofocus function. Response time can be improved by speeding up the frame rate of the video signal for autofocus regardless of the frame rate of the video signal for shooting. It has such an effect.
また本発明の全ての実施の形態にかかる撮像装置、撮像方法、プログラムおよび集積回路は、オートフォーカス機能を実現する場合に、任意の位置を読み出し可能な撮像素子をオートフォーカス検出用撮像部に使用することで、オートフォーカス検出用の映像信号のフレームレートをより容易に高速化し、オートフォーカスの応答速度を改善することができるといった効果を有する。
また本発明の実施の形態2にかかる撮像装置、撮像方法、プログラムおよび集積回路は、オートフォーカス機能を実現する場合に、撮影用撮像部が低フレームレートで動作中には、自動的にオートフォーカス用の映像信号のフレームレートをより低く設定するため、実質的なオートフォーカス応答を保持しながら、撮像装置全体の消費電力を抑制できるといった効果を有する。The imaging device, imaging method, program, and integrated circuit according to all embodiments of the present invention use an imaging device that can read an arbitrary position for an imaging unit for autofocus detection when realizing an autofocus function. As a result, the frame rate of the video signal for autofocus detection can be increased more easily, and the response speed of autofocus can be improved.
The imaging apparatus, imaging method, program, and integrated circuit according to the second embodiment of the present invention automatically autofocus when the imaging unit for imaging is operating at a low frame rate when the autofocus function is realized. Therefore, the power consumption of the entire image pickup apparatus can be suppressed while maintaining a substantial autofocus response.
本発明は、ビデオカメラなどの撮像装置、撮像方法、プログラムおよび集積回路に適用できるため、有用である。 The present invention is useful because it can be applied to an imaging apparatus such as a video camera, an imaging method, a program, and an integrated circuit.
本発明は、ビデオカメラなどの撮像装置、撮像方法、プログラムおよび集積回路に関する。詳しくは、本発明は、フォーカスを自動で合焦させるオートフォーカス機能付撮像装置、撮像方法、プログラムおよび集積回路に関するものである。 The present invention relates to an imaging apparatus such as a video camera, an imaging method, a program, and an integrated circuit. Specifically, the present invention relates to an imaging device with an autofocus function, an imaging method, a program, and an integrated circuit that automatically focus.
従来、ビデオカメラなどの撮像装置では、オートフォーカス方式として、ウォブリングによるコントラスト最大位置検出方式が一般的に用いられている。コントラスト最大位置検出方式とは、次のような方式である。フォーカスレンズを前後に微小に動かす動作であるウォブリング動作を行う。取得される映像信号のコントラスト(映像信号より形成される映像のコントラスト)を比較する。そして、映像信号のコントラストが最大になる方向に順次フォーカスレンズを移動させる。これにより、映像信号のコントラストが最大になる位置(コントラスト最大位置)を検出し、そのコントラスト最大位置を合焦位置と判定する。
例えば、特開平10−4517号公報は、コントラスト最大位置検出方式を用い、さらに小型軽量化、低価格化を図った焦点調節装置を備えるビデオカメラを記載している。同ビデオカメラは、光学系から入射された光束をR、G、Bの3色に分解する色分離プリズムを用いた多板式である。同公報は、色分離プリズムを、エアギャップを必要としない構成とすることで、小型軽量化、低価格化を実現することを開示する。同公報の焦点調節装置は、色分離プリズムがエアギャップを必要としない構成としたため、青色信号と赤色および緑色信号とが鏡像関係となることによる焦点調節動作への影響が発生するという課題を解決している。同焦点調節装置では、鏡像関係でない映像信号を選択して焦点調節に用いることにより、同課題を解決している。
Conventionally, in an imaging apparatus such as a video camera, a contrast maximum position detection method using wobbling is generally used as an autofocus method. The contrast maximum position detection method is as follows. A wobbling operation that moves the focus lens back and forth is performed. The contrast of the acquired video signal (the contrast of the video formed from the video signal) is compared. Then, the focus lens is sequentially moved in the direction in which the contrast of the video signal is maximized. Thus, a position where the contrast of the video signal is maximized (maximum contrast position) is detected, and the maximum contrast position is determined as the in-focus position.
For example, Japanese Patent Application Laid-Open No. 10-4517 describes a video camera including a focus adjustment device that uses a maximum contrast position detection method and is further reduced in size, weight, and cost. The video camera is a multi-plate type using a color separation prism that separates a light beam incident from an optical system into three colors of R, G, and B. This publication discloses that the color separation prism has a configuration that does not require an air gap, thereby realizing a reduction in size, weight, and cost. The focus adjustment device of the publication has a configuration in which the color separation prism does not require an air gap, thus solving the problem that the influence of the blue signal, the red signal, and the green signal on the focus adjustment operation occurs due to the mirror image relationship. is doing. In the same focus adjustment device, the same problem is solved by selecting a video signal that is not a mirror image and using it for focus adjustment.
従来のビデオカメラなどの撮像装置に用いられているコントラスト最大位置検出方式では、ウォブリング動作によって映像信号を取得するごとに、その取得された映像信号のコントラストを比較する。同方式では、映像信号のコントラストが最大になる方向に順次フォーカスレンズを移動させていく必要がある。しかしながら、焦点が完全にボケた状態では、ウォブリング動作によって映像信号のコントラストがほとんど変化しない。したがって、焦点が完全にボケた状態では、合焦方向を判定できないという問題点を有している。
また、従来のコントラスト最大位置検出方式では、合焦状態でオートフォーカス動作が起動されると、合焦位置でウォブリング動作を行う。この場合、本線系、すなわち撮影用の映像信号(以下、「撮影用の映像信号」という。)のピントが合ったり(焦点が合ったり)、少しボケたり(焦点が外れたり)する現象が生じるという問題を有している。
In a contrast maximum position detection method used in a conventional imaging apparatus such as a video camera, the contrast of the acquired video signal is compared every time a video signal is acquired by a wobbling operation. In this method, it is necessary to sequentially move the focus lens in the direction in which the contrast of the video signal is maximized. However, when the focus is completely out of focus, the contrast of the video signal hardly changes due to the wobbling operation. Therefore, there is a problem that the in-focus direction cannot be determined when the focus is completely out of focus.
Further, in the conventional contrast maximum position detection method, when the autofocus operation is activated in the focused state, the wobbling operation is performed at the focused position. In this case, a phenomenon occurs in which the main line system, that is, the video signal for shooting (hereinafter referred to as “video signal for shooting”) is focused (focused) or slightly blurred (out of focus). Has the problem.
また、従来のコントラスト最大位置検出方式では、撮影用の映像信号を用いてコントラストを検出する。したがって、コントラストを1回検出するのに撮影用の映像信号の1フィールド期間が必要となる。そのため、撮影用の映像信号のフレームレートが低くなってくると、オートフォーカス制御用のコントラスト検出に必要となる絶対的な時間が長くなる。その結果、オートフォーカス応答速度が遅くなる。よって、特に、動きのある被写体などを撮影する場合、良好な映像が得られにくいという問題点を有している。
また、従来のコントラスト最大位置検出方式では、高速なウォブリング動作が必要である。しかし、撮像装置に交換式レンズなどが用いられている場合、フォーカスレンズの動作が遅い。したがって、高速なウォブリング動作を実現することが困難となり、オートフォーカス動作が極端に遅くなるという問題点を有している。
In the conventional maximum contrast position detection method, contrast is detected using a video signal for photographing. Therefore, one field period of the video signal for photographing is required to detect the contrast once. For this reason, when the frame rate of the video signal for photographing is lowered, the absolute time required for detecting the contrast for autofocus control becomes longer. As a result, the autofocus response speed becomes slow. Therefore, particularly when shooting a moving subject or the like, there is a problem that it is difficult to obtain a good image.
Further, the conventional maximum contrast position detection method requires a high-speed wobbling operation. However, when an interchangeable lens or the like is used in the imaging apparatus, the focus lens operates slowly. Therefore, it is difficult to realize a high-speed wobbling operation, and there is a problem that the autofocus operation becomes extremely slow.
本発明は上記従来の問題点を解決するもので、確実かつ迅速な光学系フォーカス制御を可能にすることを目的とする。 The present invention solves the above-mentioned conventional problems, and an object thereof is to enable reliable and quick optical system focus control.
本発明における第1の発明の撮像装置は、被写体からの光を集光し、フォーカス制御可能な光学系と、光路分離部と、第1の撮像部と、第2の撮像部と、第1の信号処理部と、第2の信号処理部と、評価値生成部と、第1の駆動部と、第2の駆動部と、光路長変更部と、オートフォーカス制御部と、を備える撮像装置である。光路分離部は、光学系により集光された被写体からの光を少なくとも第1の光束と第2の光束とに分離する。第1の撮像部は、第1の光束を電気信号に変換し、第1の信号として出力する。第2の撮像部は、第2の光束を電気信号に変換し、第2の信号として出力する。第1の信号処理部は、第1の信号の信号処理を行い、撮影用の映像信号を生成する。第2の信号処理部は、第2の信号の信号処理を行う。評価値生成部は、第2の信号のコントラストの評価値を生成する。第1の駆動部は、第1の撮像部を駆動する。第2の駆動部は、第2の撮像部を駆動する。光路長変更部は、第2の光束の光路長を変更する。オートフォーカス制御部は、光路長変更部を制御し、第2の信号のコントラストの評価値が最大になる第2の光束の光路長である最大コントラスト評価値光路長を検出し、最大コントラスト評価値光路長に基づいて、光学系のフォーカス制御を行う。 An imaging apparatus according to a first aspect of the present invention condenses light from a subject and can control a focus, an optical path separation unit, a first imaging unit, a second imaging unit, and a first imaging unit. Imaging device comprising: a signal processing unit; a second signal processing unit; an evaluation value generating unit; a first driving unit; a second driving unit; an optical path length changing unit; and an autofocus control unit. It is. The optical path separation unit separates light from the subject collected by the optical system into at least a first light flux and a second light flux. The first imaging unit converts the first light flux into an electrical signal and outputs it as a first signal. The second imaging unit converts the second light flux into an electrical signal and outputs it as a second signal. The first signal processing unit performs signal processing of the first signal to generate a video signal for photographing. The second signal processing unit performs signal processing of the second signal. The evaluation value generation unit generates an evaluation value of the contrast of the second signal. The first driving unit drives the first imaging unit. The second drive unit drives the second imaging unit. The optical path length changing unit changes the optical path length of the second light flux. The autofocus control unit controls the optical path length changing unit, detects the maximum contrast evaluation value optical path length that is the optical path length of the second light flux that maximizes the contrast evaluation value of the second signal, and determines the maximum contrast evaluation value. Focus control of the optical system is performed based on the optical path length.
この撮像装置では、光路分離部により、光学系により集光された被写体からの光は、少なくとも第1の光束と第2の光束とに分離される。そして、第1の光束は、撮影用映像信号処理に使用され、第2の光束は、撮影用映像信号処理とは完全に独立した、オートフォーカス用(AF用)信号処理に使用される。この撮像装置では、オートフォーカス制御部により、コントラストの評価値に基づいて、第2の光束の光路長を変更させるように光路長変更部を制御するとともに、光学系のフォーカス制御が行われる。つまり、オートフォーカス制御部により、光路長変更部が制御され、第2の信号のコントラストの評価値が最大になる第2の光束の光路長である最大コントラスト評価値光路長が検出され、最大コントラスト評価値光路長に基づいて、光学系のフォーカス制御が行われる。
このように、この撮像装置は、オートフォーカス用の映像信号を生成し、この信号を用いて最大コントラスト評価値光路長を検出するため、検出時の悪影響が撮影用の映像信号に及ばない。
In this imaging apparatus, the light from the subject collected by the optical system is separated into at least a first light beam and a second light beam by the optical path separation unit. The first light beam is used for shooting video signal processing, and the second light beam is used for autofocus (AF) signal processing that is completely independent of the shooting video signal processing. In this imaging apparatus, the autofocus control unit controls the optical path length changing unit so as to change the optical path length of the second light flux based on the contrast evaluation value, and performs focus control of the optical system. That is, the optical path length changing unit is controlled by the autofocus control unit, and the maximum contrast evaluation value optical path length that is the optical path length of the second light flux at which the contrast evaluation value of the second signal is maximized is detected. Based on the evaluation value optical path length, focus control of the optical system is performed.
As described above, since the imaging apparatus generates an autofocus video signal and detects the maximum contrast evaluation value optical path length using this signal, the adverse effect at the time of detection does not affect the imaging video signal.
また、この撮像装置は、オートフォーカス用の撮像部の光路長変更部により最大コントラスト評価値光路長を検出した後に、光学系のフォーカス制御を行うため、大ボケ状態からでも確実に制御が可能である。
また、この撮像装置は、合焦状態でオートフォーカス動作が起動されたとしても、本線系、すなわち撮影用の映像信号に全く影響を及ぼすことなく、オートフォーカス検出用の映像信号を用いて合焦状態を探索可能にする。
また、この撮像装置は、オートフォーカス用の映像信号で最大コントラスト評価値光路長を検出した後に、光学系のフォーカス調整を行うため、ウォブリング動作などの高速なレンズ動作ができない、たとえば交換式レンズなどを用いた場合であっても確実にオートフォーカス機能を実現することができる。
In addition, since this imaging device performs focus control of the optical system after detecting the maximum contrast evaluation value optical path length by the optical path length changing unit of the imaging unit for autofocus, it can be reliably controlled even in a large blurred state. is there.
In addition, even if the autofocus operation is started in the in-focus state, the imaging apparatus does not affect the main line system, that is, the video signal for shooting, and uses the video signal for autofocus detection. Make the state searchable.
In addition, since this image pickup apparatus performs the focus adjustment of the optical system after detecting the optical path length of the maximum contrast evaluation value in the video signal for autofocus, for example, a high-speed lens operation such as a wobbling operation cannot be performed. Even in the case of using the autofocus function, the autofocus function can be reliably realized.
なお、「最大コントラスト評価値光路長に基づいて、前記光学系のフォーカス制御を行う」とは、例えば、次のようなことを含む。まず、検出された最大コントラスト評価値光路長が、第1の撮像部(撮影用撮像部)に入力される第1の光束の光路長に相当する基準位置と比較される。両光路長の差分から光学系の合焦位置(フォーカス位置)を算出する。そして、算出した合焦位置に基づき光学系が合焦状態となるように、例えば、フォーカス用レンズ(群)を移動させる。これにより、光学系のフォーカス制御を行う。
本発明における第2の発明の撮像装置は、第1の発明の撮像装置であって、第1の駆動部は、第1の信号に対するフレームレートであり独立して可変の第1のフレームレートを取得し、第1のフレームレートで前記第1の撮像部を駆動し、第2の駆動部は、第2の信号に対するフレームレートであり独立して可変の第2のフレームレートを取得し、第2のフレームレートで前記第2の駆動部を駆動する。
“Performing focus control of the optical system based on the maximum contrast evaluation value optical path length” includes, for example, the following. First, the detected maximum contrast evaluation value optical path length is compared with a reference position corresponding to the optical path length of the first light flux input to the first imaging unit (imaging imaging unit). The in-focus position (focus position) of the optical system is calculated from the difference between both optical path lengths. Then, for example, the focusing lens (group) is moved so that the optical system is in a focused state based on the calculated focusing position. Thereby, focus control of the optical system is performed.
An image pickup apparatus according to a second aspect of the present invention is the image pickup apparatus according to the first aspect, wherein the first driver has a frame rate corresponding to the first signal and an independently variable first frame rate. Acquiring the first imaging unit at a first frame rate, and the second driving unit acquires a second frame rate that is independently variable and is a frame rate for the second signal; The second driving unit is driven at a frame rate of 2.
この撮像装置では、オートフォーカス検出用のフレームレートが独立に制御可能なため、撮影用の映像信号のフレームレートの影響を受けない。よって、オートフォーカスの応答速度を改善でき、あるいは撮像装置の消費電力を節減できる。
本発明における第3の発明の撮像装置は、第1の発明の撮像装置であって、第1の信号に対するフレームレートである第1のフレームレートを変更するフレームレート変更部をさらに備える。さらにオートフォーカス制御部は、第1のフレームレートに基づいて第2の信号に対するフレームレートである第2のフレームレートを設定または変更可能であり、第2のフレームレートに基づいて光学系のフォーカス制御を行う。ここで、第1のフレームレートに基づいて第2のフレームレートを設定または変更可能であるとは、第1のフレームレートの変更に合わせて第2フレームレートを設定または変更することを含む。
In this imaging apparatus, since the frame rate for autofocus detection can be controlled independently, it is not affected by the frame rate of the video signal for photographing. Therefore, the response speed of autofocus can be improved, or the power consumption of the imaging apparatus can be reduced.
An imaging apparatus according to a third aspect of the present invention is the imaging apparatus according to the first aspect, further comprising a frame rate changing unit that changes a first frame rate, which is a frame rate for the first signal. Further, the autofocus control unit can set or change a second frame rate that is a frame rate for the second signal based on the first frame rate, and controls the focus of the optical system based on the second frame rate. I do. Here, being able to set or change the second frame rate based on the first frame rate includes setting or changing the second frame rate in accordance with the change of the first frame rate.
この撮像装置では、撮影用のフレームレートに応じて自動的にオートフォーカス検出用のフレームレートを設定または変更できる。
本発明における第4の発明の撮像装置は、第1の発明の撮像装置であって、第2の撮像部は、任意の位置を読み出し可能な撮像素子を有する。
この撮像装置では、オートフォーカス検出用の撮像素子の読み出し画素数を抑制し、オートフォーカス検出用の撮像素子のフレームレートを高速化することができるため、オートフォーカスの応答速度を早くできるといった作用を有する。
本発明における第5の発明の撮像装置は、第1の発明の撮像装置であって、オートフォーカス制御部は、光路長変更部により、第2の撮像部を第2の光束の光軸方向の前後に移動させて、コントラストの評価値が大きくなる方向を検出することを繰り返すことにより、最大コントラスト評価値光路長を検出する。
In this imaging apparatus, the autofocus detection frame rate can be automatically set or changed in accordance with the shooting frame rate.
An image pickup apparatus according to a fourth aspect of the present invention is the image pickup apparatus according to the first aspect, wherein the second image pickup unit has an image pickup device capable of reading an arbitrary position.
In this image pickup device, the number of read pixels of the image pickup device for autofocus detection can be suppressed and the frame rate of the image pickup device for autofocus detection can be increased, so that the response speed of autofocus can be increased. Have.
An image pickup apparatus according to a fifth aspect of the present invention is the image pickup apparatus according to the first aspect, wherein the autofocus control unit causes the second image pickup unit to move in the optical axis direction of the second light flux by the optical path length changing unit. The maximum contrast evaluation value optical path length is detected by moving back and forth and repeatedly detecting the direction in which the contrast evaluation value increases.
この撮像装置では、最大コントラスト評価値を検出するまでの時間を短縮することが可能である。また、オートフォーカス用の映像信号でコントラスト最大の光路長を検出した後に、光学系のフォーカス調整を行うため、ウォブリング動作などの高速なレンズ動作ができない、たとえば交換式レンズなどにおいてもオートフォーカス機能を提供できるといった優れた効果が得られる。
本発明における第6の発明の撮像装置は、第1の発明の撮像装置であって、オートフォーカス制御部は、光路長変更部により、第2の撮像部を第2の光束の光軸方向に逐次移動させて、第2の光束の光路長を逐次変更させたときのコントラストの評価値を評価することで、最大コントラスト評価値光路長を検出する。ここで、第2の撮像部を第2の光束の光軸方向に逐次移動させるとは、第2の撮像部を光軸方向の一定の方向に移動させつつ逐次コントラストの評価値を検出し、一定範囲の検出した評価値の中から最大の評価値を最大コントラスト評価値とする。
In this imaging apparatus, it is possible to shorten the time until the maximum contrast evaluation value is detected. In addition, since the optical path is adjusted after the optical path length with the maximum contrast is detected in the video signal for autofocus, high-speed lens operation such as wobbling operation cannot be performed. An excellent effect that it can be provided is obtained.
An image pickup apparatus according to a sixth aspect of the present invention is the image pickup apparatus according to the first aspect, wherein the autofocus control unit moves the second image pickup unit in the optical axis direction of the second light flux by the optical path length changing unit. The maximum contrast evaluation value optical path length is detected by sequentially moving and evaluating the contrast evaluation value when the optical path length of the second light flux is sequentially changed. Here, sequentially moving the second image pickup unit in the optical axis direction of the second light beam detects the evaluation value of the contrast sequentially while moving the second image pickup unit in a certain direction of the optical axis direction, The maximum evaluation value among the detected evaluation values in a certain range is set as the maximum contrast evaluation value.
この撮像装置では、時間はかかるものの、より確実に最大コントラスト評価値を検出することが可能となる。
本発明における第7の発明の撮像装置は、第3の発明の撮像装置であって、オートフォーカス制御部は、第1のフレームレートが低くなった場合に、第2のフレームレートを低くする。
この撮像装置では、オートフォーカス検出のための消費電力を抑制するように制御できる。
本発明における第8の発明の撮像方法は、被写体からの光を集光し、フォーカス制御可能な光学系と、同光学系により集光された被写体からの光を少なくとも第1の光束と第2の光束とに分離する光路分離部と、第1の光束を電気信号に変換し、第1の信号として出力する第1の撮像部と、第2の光束を電気信号に変換し、第2の信号として出力する第2の撮像部と、第2の光束の光路長を変更する光路長変更部と、を備える撮像装置に用いられる撮像方法であって、第1の信号処理ステップと、第2の信号処理ステップと、評価値生成ステップと、駆動ステップと、他の駆動ステップと、検出ステップと、オートフォーカス制御ステップと、を備える。第1の信号処理ステップは、第1の信号の信号処理を行い、撮影用の映像信号を生成する。第2の信号処理ステップは、第2の信号の信号処理を行う。評価値生成ステップは、第2の信号のコントラストの評価値を生成する。駆動ステップは、第1の撮像部を駆動する。他の駆動ステップは、第2の撮像部を駆動する。検出ステップは、光路長変更部を制御し、第2の信号のコントラストの評価値が最大になる第2の光束の光路長である最大コントラスト評価値光路長を検出する。オートフォーカス制御ステップは、最大コントラスト評価値光路長に基づいて、光学系のフォーカス制御を行う。
In this imaging apparatus, although time consuming, it is possible to detect the maximum contrast evaluation value more reliably.
An image pickup apparatus according to a seventh aspect of the present invention is the image pickup apparatus according to the third aspect, wherein the autofocus control unit lowers the second frame rate when the first frame rate is lowered.
This imaging apparatus can be controlled to suppress power consumption for autofocus detection.
According to an eighth aspect of the present invention, there is provided an imaging method for condensing light from a subject and controlling the focus, light from the subject condensed by the optical system at least a first light flux and a second light beam. An optical path separating unit that separates the first light beam into an electrical signal, a first imaging unit that outputs the first light beam as a first signal, a second light beam into an electrical signal, An imaging method used in an imaging apparatus comprising: a second imaging unit that outputs as a signal; and an optical path length changing unit that changes the optical path length of the second light beam, the first signal processing step, A signal processing step, an evaluation value generation step, a drive step, another drive step, a detection step, and an autofocus control step. In the first signal processing step, signal processing of the first signal is performed to generate a video signal for photographing. In the second signal processing step, signal processing of the second signal is performed. The evaluation value generation step generates an evaluation value of the contrast of the second signal. In the driving step, the first imaging unit is driven. Another driving step drives the second imaging unit. In the detecting step, the optical path length changing unit is controlled to detect a maximum contrast evaluation value optical path length that is an optical path length of the second light flux that maximizes the contrast evaluation value of the second signal. In the autofocus control step, focus control of the optical system is performed based on the maximum contrast evaluation value optical path length.
本発明における第9の発明のプログラムは、被写体からの光を集光し、フォーカス制御可能な光学系と、同光学系により集光された被写体からの光を少なくとも第1の光束と第2の光束とに分離する光路分離部と、第1の光束を電気信号に変換し、第1の信号として出力する第1の撮像部と、第2の光束を電気信号に変換し、第2の信号として出力する第2の撮像部と、第2の光束の光路長を変更する光路長変更部と、を備える撮像装置に用いられるプログラムであって、第1の信号処理ステップと、第2の信号処理ステップと、評価値生成ステップと、駆動ステップと、他の駆動ステップと、検出ステップと、オートフォーカス制御ステップと、を備える。第1の信号処理ステップは、第1の信号の信号処理を行い、撮影用の映像信号を生成する。第2の信号処理ステップは、第2の信号の信号処理を行う。評価値生成ステップは、第2の信号のコントラストの評価値を生成する。駆動ステップでは、第1の撮像部を駆動する。他の駆動ステップは、第2の撮像部を駆動する。検出ステップは、光路長変更部を制御し、第2の信号のコントラストの評価値が最大になる第2の光束の光路長である最大コントラスト評価値光路長を検出する。オートフォーカス制御ステップは、最大コントラスト評価値光路長に基づいて、光学系のフォーカス制御を行う。 According to a ninth aspect of the present invention, there is provided a program for collecting light from a subject, focusing an optical system capable of focus control, and at least first light flux and second light from the subject collected by the optical system. An optical path separating unit that separates into a light beam, a first imaging unit that converts the first light beam into an electrical signal and outputs it as a first signal, a second light beam that is converted into an electrical signal, and a second signal A program used for an imaging apparatus comprising: a second imaging unit that outputs a second optical path; and an optical path length changing unit that changes an optical path length of the second light beam, the first signal processing step, and a second signal A processing step, an evaluation value generation step, a driving step, another driving step, a detection step, and an autofocus control step are provided. In the first signal processing step, signal processing of the first signal is performed to generate a video signal for photographing. In the second signal processing step, signal processing of the second signal is performed. The evaluation value generation step generates an evaluation value of the contrast of the second signal. In the driving step, the first imaging unit is driven. Another driving step drives the second imaging unit. In the detection step, the optical path length changing unit is controlled to detect a maximum contrast evaluation value optical path length which is an optical path length of the second light flux at which the contrast evaluation value of the second signal is maximized. In the autofocus control step, focus control of the optical system is performed based on the maximum contrast evaluation value optical path length.
本発明における第10発明の集積回路は、一以上の第1の撮像部と、第2の撮像部と、第1の信号処理部と、第2の信号処理部と、評価値生成部と、第1の駆動部と、第2の駆動部と、光路長変更部と、オートフォーカス制御部と、を備える。第1の撮像部は、光学系の出力から複数に分離された光のうち、一以上の光を電気信号に変換し、第1の信号として出力する。第2の撮像部は、複数の光のうち前記一以上の光以外の光を電気信号に変換し、第2の信号として出力する。第1の信号処理部は、第1の信号の信号処理を行い、撮影用の映像信号を生成する。第2の信号処理部は、第2の信号の信号処理を行う。評価値生成部は、第2の信号のコントラストの評価値を生成する。第1の駆動部は、第1の撮像部の駆動パルスを生成する。第2の駆動部は、第2の撮像部の駆動パルスを生成する。光路長変更部は、第2の光束の光路長を変更する。オートフォーカス制御部は、光路長変更部を制御し、第2の信号のコントラストの評価値が最大になる第2の光束の光路長である最大コントラスト評価値光路長を検出し、最大コントラスト評価値光路長に基づいて、光学系のフォーカス制御を行う。 An integrated circuit according to a tenth aspect of the present invention includes one or more first imaging units, a second imaging unit, a first signal processing unit, a second signal processing unit, an evaluation value generation unit, A first drive unit, a second drive unit, an optical path length changing unit, and an autofocus control unit are provided. The first imaging unit converts one or more lights out of the light separated from the output of the optical system into an electrical signal, and outputs it as a first signal. The second imaging unit converts light other than the one or more lights out of the plurality of lights into an electrical signal and outputs it as a second signal. The first signal processing unit performs signal processing of the first signal to generate a video signal for photographing. The second signal processing unit performs signal processing of the second signal. The evaluation value generation unit generates an evaluation value of the contrast of the second signal. The first driving unit generates a driving pulse for the first imaging unit. The second driving unit generates a driving pulse for the second imaging unit. The optical path length changing unit changes the optical path length of the second light flux. The autofocus control unit controls the optical path length changing unit, detects the maximum contrast evaluation value optical path length that is the optical path length of the second light flux that maximizes the contrast evaluation value of the second signal, and determines the maximum contrast evaluation value. Focus control of the optical system is performed based on the optical path length.
本発明における第11発明の集積回路は、第1の信号処理部と、第2の信号処理部と、評価値生成部と、第1の駆動部と、第2の駆動部と、光路長変更部と、オートフォーカス制御部と、を備える。第1の信号処理部は、光学系を介して複数に分離された光が複数の撮像部において変換されて生成された複数の電気信号のうち、一以上の電気信号を受信して信号処理を行い、撮影用の映像信号を生成する。第2の信号処理部は、前記一以上の電気信号以外の第2の信号を受信し、信号処理を行う。評価値生成部は、第2の信号のコントラストの評価値を生成する。第1の駆動部は、第1の撮像部の駆動パルスを生成する。第2の駆動部は、第2の撮像部の駆動パルスを生成する。光路長変更部は、第2の光束の光路長を変更する。オートフォーカス制御部は、光路長変更部を制御し、第2の信号のコントラストの評価値が最大になる第2の光束の光路長である最大コントラスト評価値光路長を検出し、最大コントラスト評価値光路長に基づいて、光学系のフォーカス制御を行う。 An integrated circuit according to an eleventh aspect of the present invention includes a first signal processing unit, a second signal processing unit, an evaluation value generating unit, a first driving unit, a second driving unit, and an optical path length change. And an autofocus control unit. The first signal processing unit receives one or more electric signals among the plurality of electric signals generated by converting the light separated into a plurality via the optical system in the plurality of imaging units and performs signal processing. To generate a video signal for shooting. The second signal processing unit receives a second signal other than the one or more electrical signals and performs signal processing. The evaluation value generation unit generates an evaluation value of the contrast of the second signal. The first driving unit generates a driving pulse for the first imaging unit. The second driving unit generates a driving pulse for the second imaging unit. The optical path length changing unit changes the optical path length of the second light flux. The autofocus control unit controls the optical path length changing unit, detects the maximum contrast evaluation value optical path length that is the optical path length of the second light flux that maximizes the contrast evaluation value of the second signal, and determines the maximum contrast evaluation value. Focus control of the optical system is performed based on the optical path length.
以上のように本発明は、コントラスト最大の光路長を検出する時の悪影響が撮影用の映像信号に及ばせないといった優れた効果が得られる。 As described above, the present invention provides an excellent effect that an adverse effect when detecting the optical path length with the maximum contrast cannot be applied to the video signal for photographing.
以下、本発明の実施の形態について図1から図5を用いて説明する。
(実施の形態1)
<1.1:撮像装置の構成>
図1は本発明の実施の形態1によるオートフォーカス機能付き撮像装置100の構成を示すブロック図である。
図1において、撮像装置100は、光学系1と、光路分離部2と、第1の撮影部を構成する撮影用撮像部3と、第1の信号処理部を構成する撮影用信号処理部4と、第1の駆動部を構成する撮影用駆動部21とを有する。撮像装置100はさらに、第2の撮影部を構成するオートフォーカス用撮像部5(以下、「AF用撮像部5」という。)と、第2の信号処理部を構成するアナログ信号処理部6と、AD変換部7と、オートフォーカス評価値生成部8(以下、「AF評価値生成部8」という。)と、第2の駆動部であるオートフォーカス用撮像部の駆動部9(以下、「AF用駆動部9」という。)と、オートフォーカス用光路長変更部10(以下、「AF用光路長変更部10」という。)と、オートフォーカス制御部11(以下、「AF制御部11」という。)と、を含む。
Hereinafter, embodiments of the present invention will be described with reference to FIGS.
(Embodiment 1)
<1.1: Configuration of Imaging Device>
FIG. 1 is a block diagram showing a configuration of an
In FIG. 1, an
光学系1は、被写体からの光を集光し、被写体からの光(光束)について焦点距離を調整することができる構成、つまり、フォーカス制御可能な構成を有する。光学系1は、集光した被写体からの光(光束)を、光路分離部2に出力する。光学系1は、複数のレンズから構成されてもよい。光学系1では、フォーカス制御を行うフォーカス制御用レンズ(複数のレンズから構成されるレンズユニットであってもよい。)を設け、フォーカス制御用レンズを移動させることでフォーカス制御を行うようにしてもよい。また、光学系1は、交換式レンズなどにより構成されるものであってもよい。
光路分離部2は、光学系1から出力された光(光束)を受け、光学系1を通った光束を第1の光束である撮影用の光束と第2の光束であるオートフォーカス検出用(以下、「AF検出用」ということがある。)の光束と、に分離する。そして、光路分離部2は、撮影用の光束を撮影用撮像部3に出力し、オートフォーカス検出用の光束をAF用撮像部5に出力する。ここで、光路分離部2は、光学系1を通った撮影用の光束を、複数の撮影用の光束(例えば、R用光束、B用光束およびG用光束の3つの光束や、R用光束、B用光束、G1用光束およびG2用光束の4つの光束)に分離するようにしてもよい。また、光学系1に入力された光束のうちAF検出用の光束の割合は、任意の割合でよい(例えば、10%や50%など)。光路分離部2としては、例えば、図2および図8に示すような、光学プリズム(ビームスプリッタ)を用いることが好ましい。
The optical system 1 has a configuration capable of condensing light from a subject and adjusting a focal length of the light (light flux) from the subject, that is, a configuration capable of focus control. The optical system 1 outputs the collected light (light flux) from the subject to the optical
The optical
撮影用撮像部3は、CMOSやCCD等の撮像素子を有し、光学系1から出力された光束を入力とする。撮影用撮像部3は、光学系1より入力された光束を光電変換により電気信号に変換し、変換した電気信号を撮影用信号処理部4に出力する。
撮影用信号処理部4は、撮影用撮像部3からの出力を入力とする。撮影用信号処理部4は、撮影用撮像部3の出力信号に相関2重サンプリング処理、ゲイン制御処理、ペデスタル制御処理、ガンマ処理などの信号処理を行い、撮影用映像信号を取得する。
撮影用駆動部21は、撮影用のフレームレート信号を入力とする。撮影用駆動部21は、このフレームレート信号に応じて駆動パルス信号を出力する。この出力された駆動パルス信号により撮影用撮像部3が駆動される。
AF用撮像部5は、光路分離部2から出力されたオートフォーカス検出用の光束を入力とする。AF用撮像部5は、オートフォーカス検出用の光束を電気信号に変換し、アナログ信号処理部6に出力する。AF用撮像部5は、AF用光路長変更部10と接続されている。AF用撮像部5は、AF用光路長変更部10によりオートフォーカス検出用光束の光軸上を平行移動される。また、AF用撮像部5は、AF用駆動部9からの駆動パルス信号を入力とし、この駆動パルス信号により駆動される。AF用撮像部5は、任意の位置を読み出しできる撮像素子を有する。この撮像素子の全領域で取得された電気信号をアナログ信号処理部6に出力するようにしてもよいし、撮像素子の一部の領域で取得された電気信号をアナログ信号処理部6に出力するようにしてもよい。なお、AF用撮像部5の出力となる電気信号を、撮像素子のどの領域で取得するかについては、AF用駆動部9からの駆動パルス信号により決定する。
The
The photographing
The
The
アナログ信号処理部6は、AF用撮像部5からの出力を入力とする。アナログ信号処理部6は、AF用撮像部5からの出力に対して、相関2重サンプリング処理、ゲイン制御処理、ペデスタル制御処理などを行い、AD変換部7に出力する。
AD変換部7は、アナログ信号処理部6からの信号をディジタル信号に変換し、AF評価値生成部8に出力する。
AF評価値生成部8は、AF制御部11から出力される選択信号、AF用駆動部9から出力される評価領域信号、およびAD変換部7から出力されるオートフォーカス検出用の映像信号(以下、「AF検出用映像信号」という。)を入力とする。AF評価値生成部8は、後述する評価領域信号および選択信号に基づいて、オートフォーカス検出用の映像信号に高域通過フィルタ処理などを施して信号の高域成分を抽出し、オートフォーカス動作の評価値(コントラストの評価値)を算出する。AF評価値生成部8は、算出した評価値をAF制御部11に出力する。
The analog signal processing unit 6 receives the output from the
The
The AF evaluation
AF用駆動部9は、AF用撮像部5を駆動するための駆動パルス信号を生成する。
AF用光路長変更部10は、小型アクチュエータなどを用いて、AF用撮像部5をオートフォーカス検出用光束の光軸上を平行移動させる。これにより、AF用光路長変更部10は、AF用撮像部5の光路長を変更する。小型アクチュエータとしては、リニア駆動モータや、ステッピングモータ、圧電素子を利用した圧電超音波リニアアクチュエータとスライド機構などを用いることができる。
AF制御部11は、AF用駆動部9やAF用光路長変更部10などを制御し、AF評価値生成部8より得られた評価値(コントラストの評価値)が最大になる光路長を検出する。これにより、AF制御部11は、光学系1のフォーカス位置を制御する。
図2は、光路分離部2、撮影用撮像部3、AF用撮像部5およびAF用光路長変更部10のより具体的な一例を示す模式図である。
The
The AF optical path
The
FIG. 2 is a schematic diagram showing a more specific example of the optical
図2に示すように、光路分離部2は、4板撮像方式で使用される色分解プリズムを用いて構成されている。3板撮像方式では、色分解プリズムによってR(赤)光、G(緑)光、およびB(青)光に分ける。これに対し、本実施の形態における光路分離部2では、RGB分光後のG光を図2のようにハーフミラーでさらに分割してG1(緑1)光とG2(緑2)光とを作成する。そして、G2(緑2)光をオートフォーカス検出用の光束として使用する。残りのR(赤)光、G1(緑1)光、B(青)光は、撮影用の光束として、通常の3板式撮像方式の信号処理を行う。さらにG2(緑2)光用の撮像部であるAF用撮像部5に小型アクチュエータを用いたAF用光路長変更部10が接続されている。AF用光路長変更部10により、AF用撮像部5が光軸上を移動可能となる。
図3は、AF評価値生成部8の構成の一例を示すブロック図である。
As shown in FIG. 2, the optical
FIG. 3 is a block diagram illustrating an example of the configuration of the AF evaluation
図3において、AF評価値生成部8は、水平方向のローパスフィルタ101と、二つの水平方向のハイパスフィルタ102および103と、垂直方向のハイパスフィルタ104と、積算部105〜107と、加算器108と、セレクタ109と、を有する。水平方向のローパスフィルタ101は、オートフォーカス検出用の映像信号により形成される映像(2次元映像)の水平方向成分についてのローパスフィルタ(以下、「水平LPF」という。)である。二つの水平方向のハイパスフィルタは、オートフォーカス検出用の映像信号により形成される映像(2次元映像)の水平方向成分についてのハイパスフィルタ(以下、それぞれ「第1水平HPF」および「第2水平HPF」という。)である。垂直方向のハイパスフィルタは、オートフォーカス検出用の映像信号により形成される映像(2次元映像)の垂直方向成分についてのハイパスフィルタ(以下、「垂直HPF」という。)である。水平LPF101と、第1水平HPF102と、第2水平HPF103と、垂直HPF104と、積算部105〜107とは、演算部111を構成する。
In FIG. 3, the AF evaluation
水平LPF101は、AD変換部7から出力されるオートフォーカス検出用の映像信号(AF検出用映像信号)を入力とする。水平LPF101は、AF検出用信号に対して、コントラストの評価値を生成するために必要な周波数帯域成分を抽出するためのローパスフィルタである。水平LPF101は、その出力信号を、第1水平HPF102、第2水平HPF103、および垂直HPF104に出力する。
第1水平HPF102および第2水平HPF103は、それぞれ通過させる周波数帯域が異なっている。第1水平HPF102および第2水平HPF103は、第1水平HPF102がより低い周波数帯域を通過させるハイパスフィルタ(低域用)であり、第2水平HPF103がより高い周波数帯域を通過させるハイパスフィルタ(高域用)である。
積算部105〜107は、それぞれのハイパスフィルタ102〜104の出力を積算して、加算器108およびセレクタ109に出力する。
The
The first
演算部111は、水平LPF101と、第1水平HPF102と、第2水平HPF103と、垂直HPF104と、積算部105〜107とからなる。演算部111には、AF用駆動部9から評価領域信号が入力される。評価領域信号は、AF評価値生成部8がオートフォーカスを評価する領域(以下、AF評価領域という。)を選択するのに用いられる。評価領域信号は、例えば、AF検出用映像信号を画面の中央部からとる場合、画面の中央部のタイミングを示すパルス信号となる。なお、この評価領域信号は、積算部105〜107のみに入力されるようにしてもよい。この場合、積算部105〜107がそれぞれのハイパスフィルタ102〜104の出力のうちAF評価領域における値を積算して、加算器108およびセレクタ109に出力する。
加算器108は、積算部105〜107の出力を加算し、加算した結果をセレクタ109に出力する。
The
The
セレクタ109は、積算部105〜107および加算器108からの出力を、選択信号に基づいて選択する。セレクタ109は、選択した出力信号を、評価値(コントラストの評価値)としてAF制御部11に出力する。選択信号は、撮像される画像によって最も適した信号を選択するために用いられる。なお、選択信号については後述する。
なお、上記水平LPF101、第1水平HPF102、第2水平HPF103、垂直HPF104の通過帯域は、例えば、次のようになる。撮像装置100で扱う映像信号がSDTV形式の映像信号の場合、水平LPF101が0〜2.0MHz、第1水平HPF102が300kHz以上、第2水平HPF103が1.2MHz以上、垂直HPF104が20TV本以上であることが好ましい。また、撮像装置100で扱う映像信号がHDTV形式の映像信号の場合、水平LPF101が0〜13.2MHz、第1水平HPF102が2.0MHz以上、第2水平HPF103が6.6MHz以上、垂直HPF104が45TV本以上であることが好ましい。
The
The pass bands of the
<1.2:撮像装置の動作>
以上のように構成されたオートフォーカス機能付撮像装置について、図1から図4を用いて動作の様子について詳細に説明する。
光学系1を通った光束は、図2に示される光路分離部2に入力される。光路分離部2により、光学系1より入力された光束は、撮影用のR(赤)光、G1(緑1)光、B(青)光の各光束と、オートフォーカス検出用のG2(緑2)光の光束とに分割される。分割された光束は、それぞれ3つの撮影用撮像部3と1つのAF用撮像部5とによってそれぞれ電気信号に変換される。
撮影用撮像部3の出力は、通常の3板式撮像方式と同様に撮影用信号処理部4で、信号処理される。処理された信号は、その後、本線系、すなわち撮影用の映像信号として出力される。
<1.2: Operation of Imaging Device>
The operation of the image pickup apparatus with an autofocus function configured as described above will be described in detail with reference to FIGS.
The light beam that has passed through the optical system 1 is input to the optical
The output of the
一方、AF用撮像部5の出力は、通常の信号処理と同様に、相関2重サンプリング、ゲイン制御、ペデスタル制御などのアナログ信号処理が施される。アナログ信号処理された出力は、その後、AD変換部7にてディジタル信号に変換され、AF評価値生成部8に入力される。
AF評価値生成部8は、映像のコントラストを評価する。具体的には、まず、AF評価値生成部8に入力されたAF検出用の映像信号に対して、水平LPF処理が施される。これは、AF検出用の映像信号のノイズ成分を抑制するために行われる。その後、水平LPF処理が施されたAF検出用の信号に対して、複数のハイパスフィルタ処理が実行される。図3の場合、演算部111に入力されたAF検出用映像信号は、水平LPF101を通過する。演算部111には上述のようにAF用駆動部9から評価領域信号が入力され、入力されたAF検出用映像信号のうちAF評価領域における信号成分のみ演算される。また、演算部111において、AF検出用映像信号は、第1水平HPF102、第2水平HPF103、および垂直HPF104に、それぞれ、入力される。第1水平HPF102は、水平方向においてより低域からの信号の高周波成分を抽出する。第2水平HPF103は、水平方向においてより高域からの映像信号の高周波成分を抽出する。垂直HPF104は、垂直方向の高周波成分を抽出する。各ハイパスフィルタ102〜104においてハイパス処理をされた後の信号は、積算部105、106および107にて積算されて出力される。なお、評価領域信号は、積算部105〜107のみに入力されるようにしてもよい。この場合、積算部105〜107がそれぞれのハイパスフィルタ102〜104の出力のうちAF評価領域における値を積算して、加算器108およびセレクタ109に出力するようにする。
On the other hand, the output of the
The AF evaluation
積算部105、106および107からの出力は、加算器108により加算される。加算された信号は、セレクタ109に入力される。つまり、積算部105〜107のそれぞれの出力と、これらの積算部の出力を加算する加算器108の出力とが、セレクタ109に入力され、AF制御部11からの選択信号に従って、セレクタ109の4つの入力のいずれかが選択される。選択された信号は、コントラストの評価値(コントラスト評価値)としてAF制御部11に出力される。
選択信号は、撮像される画像によって、最も適した信号を選択するために用いられる。例えば、第1水平HPF102(低域用)と第2水平HPF103(高域用)の評価値曲線には、図4に示すような特徴がある。図4に示すように、第1水平HPF102(低域用)は、ゆるやかな山を描き、第2水平HPF103(高域用)は、フラットな状態から合焦点付近で、急峻な山を描く。例えば、横しま模様などの絵柄の場合には、第1、第2水平HPF102,103ともに評価値曲線の山がほとんどなくなり、垂直HPF104では、合焦点で、山ができることになる。AF用撮像部5を前後に移動させてコントラストが大きくなる方向に移動させることを繰り返して最大コントラスト評価値光路長を検出する場合、例えば、次のようにする。まずは、第2水平HPF103(高域用)からの出力を選択し、第2水平HPF103(高域用)の変化がない場合、第1水平HPF102(低域用)からの出力に基づいてAF用撮像部5を合焦位置付近まで移動させる。その後、最終的に、第2水平HPF103の出力に基づいて、最大コントラスト評価値光路長を決定するというような制御が考えられる。さらに、第1、第2水平HPF102,103の評価値ともに変化がない場合は、垂直HPF104の出力を選択するように制御することもできる。また例えば、まずは、第1、第2水平HPF102,103および垂直HPF104の加算値を用いて、おおまかに制御し、最終的に第2水平HPF103もしくは、垂直HPF104の評価値で決定するというような制御を行ってもよい。なお、これらのハイパスフィルタの帯域や、種類、その選択方法については、多様であり、これらに限定されるものではない。
Outputs from the accumulating
The selection signal is used to select the most suitable signal depending on the image to be captured. For example, the evaluation value curves of the first horizontal HPF 102 (for low frequency) and the second horizontal HPF 103 (for high frequency) have characteristics as shown in FIG. As shown in FIG. 4, the first horizontal HPF 102 (for low frequency) draws a gentle mountain, and the second horizontal HPF 103 (for high frequency) draws a steep mountain in the vicinity of the focal point from a flat state. For example, in the case of a pattern such as a horizontal stripe pattern, there are almost no peaks in the evaluation value curve in both the first and second
AF制御部11は、AF評価値生成部8から出力されるコントラスト評価値を監視しながら、AF用光路長変更部10によりAF用撮像部5の光路長(AF用撮像部5に入力される光束の光路長)を順次変更していく。これにより、AF制御部11は、コントラスト評価値が最大になるAF用撮像部5の光路長を検出する。AF用光路長変更部10は、リニア駆動モータやステッピングモータ、圧電素子を利用した圧電超音波リニアアクチュエータなどと、光軸に沿ったスライド機構などと、を用いて構成される。AF用光路長変更部10は、AF用撮像部5を光軸上に平行に(図2の双方向矢印D1が示す方向に)スライドさせる機能を有しており、例えばシリアル通信などで制御される。
また、AF制御部11は、撮影用撮像部3のフレームレート信号である撮影用フレームレート信号とは独立したフレームレート信号、すなわちAF用フレームレート信号を、AF用駆動部9に対し出力する。この出力されたAF用フレームレート信号によりAF用撮像部5が駆動される。なお、このAF用フレームレート信号に応じたAF用撮像部5のフレームレートは、撮像装置100に設けられたメニューやダイヤルなどのフレームレート変更部(図示省略)により変更される。AF制御部11は、AF評価領域(AF用撮像部5の撮像素子上のAF検出用に設定された領域)のみを読み出すように、AF用駆動部9を設定している。AF用駆動部9は、AF用撮像部5を駆動するとともに、上述のように、AF評価値生成部8に評価領域信号を出力してAF評価領域に対応する有効な信号を出力するタイミングを制御する。AF制御部11により、コントラスト評価値が最大になるAF用撮像部5の光路長が検出されると、この検出された光路長と、撮影用撮像部3の光路長に相当する、予め決定されている基準値との差分が算出される。その差分値から光学系1のフォーカスの合焦位置を検出することで、光学系1のフォーカス制御が実行される。
The
In addition, the
すなわち、AF用光路長変更部10により、AF用撮像部5の光路長を順次変更しながら、それぞれのコントラスト評価値を取得し、コントラスト評価値が最大になる光路長を検出する。検出された光路長は、撮影用撮像部3の光路長に相当する基準位置と比較され、その差分から光学系1のフォーカスの合焦位置を算出し、光学系1のフォーカス位置制御が行われる。
<1.2.1:コントラスト評価値が最大になる光路長の検出方法>
AF制御部11がAF用撮像部5の光路長を順次変更しながら、それぞれのコントラスト評価値を取得し、コントラスト評価値が最大になる光路長を検出する方法について、図5を用いて説明する。
図5は、コントラスト評価値が最大になる光路長を探索する動作の一例を説明するための模式図である。
That is, the AF optical path
<1.2.1: Method of detecting optical path length that maximizes contrast evaluation value>
A method in which the
FIG. 5 is a schematic diagram for explaining an example of an operation for searching for an optical path length that maximizes the contrast evaluation value.
図5において、横軸はAF用撮像部10の光路長を示し、縦軸はAF評価値生成部8により算出されるコントラスト評価値を示す。太い矢印は1回ごとの探索の様子を示し、細い曲線はコントラスト評価値曲線を示す。この図を参照しながら、探索開始位置からコントラスト評価値が最大になる点への探索を実施した場合について説明する。AF用光路長変更部10により、初めにどちらかの方向に光路長を変更して、AF評価値生成部により取得されたコントラスト評価値を読み込む。この現位置でのコントラスト評価値と前回位置でのコントラスト評価値と比較する。評価値が減少したら、AF用光路長変更部10によりAF用撮像部5を移動させる方向を反転する。図5の場合、1回目は右方向(AF用撮像部の光路長が大きくなる方向)に光路長を変更しコントラスト評価値がほとんど変化していない。よって、2回目も同じ方向に光路長を変更する。2回目の変更ではコントラスト評価値は増加したため、同方向へ探索を継続する。2回目から6回目の変更では、いずれもコントラスト評価値は増加しているため、コントラスト最大点はさらに右方向にあると判断する。7回目の変更によりコントラスト評価値が減少している。すなわち、コントラスト評価値の最大点を通り越したと判断する。8回目は、AF用撮像部の光路長を変更する方向を7回目での方向と逆転させる。この時点において、最大点(最大コントラスト評価値光路長となる点)の近傍に位置していると予測できる。次いで、変更量をより少なくして同様の探索を継続する。最後はどちらの方向に変更しても減少するところを最大点(最大コントラスト評価値光路長となる点)として検出する。また、1回目の変更方向が図5の左方向に変更した場合、探索位置が一番端(AF用光路長変更部10によりAF用撮像部5を移動させることができる限界となる端)に到達したことを検出する。この時点で、右方向に探索方向を逆転させ、最終的にコントラスト評価値が最大になる点を、確実に検出することができる。
In FIG. 5, the horizontal axis indicates the optical path length of the
ここで注目するべきは、撮像装置100において、AF用光路長変更部10を用いてコントラスト評価値が最大になるポイントを探索する間は、光学系1のフォーカス位置は全く制御(変更)されない。よって、撮影用映像信号は、全く影響を受けない点である。
またさらに、撮像装置100において、コントラスト評価値が最大になる光路長を探索する場合、撮影用の映像信号には全く影響を与えないため、広い範囲の探索が可能である。よって、大ボケ状態からでもコントラスト評価値の最大ポイントを確実に検出できる点である。
以上のように本実施の形態1による撮像装置100では、撮影用の映像信号とは独立したオートフォーカス用信号でコントラスト最大の光路長を検出することで光学系1のフォーカス制御を実施する。よって、本実施の形態1による撮像装置100は、検出時の悪影響が撮影用映像信号に及ばないといった優れた効果を有する。
It should be noted here that the focus position of the optical system 1 is not controlled (changed) at all while the
Furthermore, when searching for an optical path length that maximizes the contrast evaluation value in the
As described above, in the
また以上のように本実施の形態1による撮像装置100では、フォーカス探索動作中においても撮影用の映像信号には全く影響を与えない。よって、本実施の形態1による撮像装置100は、広い範囲の探索が可能となり、いわゆる大ボケ状態からでも確実に制御が可能であるといった優れた効果を有する。
さらに、撮像装置100のAF用撮像部5は、撮影用駆動部21とは別のAF用駆動部9を有する。よって、撮影用撮像部3のフレームレートとは独立にAF用撮像部5のフレームレートを設定することができる。このことにより、次のような効果がある。例えば、撮影用撮像部3のフレームレートが12P以下まで下げられたとき、AF用撮像部5のフレームレートも12P以下まで下げられると、撮像者はオートフォーカスの応答性が悪くなったように感じることがある。この場合、AF用撮像部5のフレームレートのみを一定の高さに保つことによってオートフォーカスの応答性は改善される。一方、撮影用撮像部3のフレームレートが例えば60P以上に上げられたとき、AF用撮像部5のフレームレートも同じように上げられると、必要以上に電力を消費する場合がある。これは、AF用撮像部5のフレームレートが上げられても、レンズの大きさ、重さ、種類などによってオートフォーカスの応答性の向上は制限される場合があるからである。この場合、AF用撮像部5のフレームレートのみを抑えることによって、無駄な電力消費を防ぐことができる。本実施の形態1による撮像装置100は、AF用撮像部5のフレームレートを独立して変更できることで、状況に応じてオートフォーカスの応答速度を改善でき、あるいは消費電力を節減できる。さらに、撮像装置100は、任意の位置を読み出し可能な撮像素子を有するAF用撮像部5に用いて必要領域のみを読み出すように制御すれば、より容易にAF用撮像部5のフレームレートを高速化でき、オートフォーカス応答時間を改善することができる。
As described above, the
Further, the
このように、本実施の形態1による撮像装置100は、AF用撮像部5のフレームレートが独立に制御可能なため、撮影用撮像部3のフレームレートの影響を受けないといった優れた効果が得られる。すなわち、オートフォーカスの応答時間を改善する場合は、撮影用撮像部3のフレームレートとは別個にAF用撮像部5のフレームレートを高速化すればよい。このことは、特に撮影用の映像信号のフレームレートが可変である撮像装置の場合、低フレームレートでの撮影時には顕著な効果を表す。また、撮影用撮像部3のフレームレートが高速である場合は、消費電力をムダに消費することを防ぐため、AF用撮像部5のフレームレートのみを低速にすればよい。
本実施の形態1において、光路分離部2は、4板撮像方式で使用される色分解プリズムで説明した。撮影用の光束とAF用の光束とを分離できるものであれば、4板式色分解プリズムである必要はなく、またAF用の光束は、Gchである必要もない。
As described above, the
In the first embodiment, the optical
また本実施の形態1において、AF評価値生成部8は、水平LPF101、第1水平HPF102、第2水平HPF103、垂直HPF104、積算部105、106、107、加算器108、およびセレクタ109からなる演算部111で構成された例で説明した。しかし、AF評価値生成部8は、映像のコントラストを評価する値が検出できればどのような構成(回路)を有していてもよい。AF評価値生成部8は、例えば、通過帯域の特性を可変できる1種類の水平HPFなどにより構成されていてもよい。
なお上述の実施の形態1において、コントラスト評価値が最大になる位置の検出方法は、初めから大きく光路長を変更する方法で説明したが、これに限定されない。例えば、AF制御部11は、AF用光路長変更部10によってAF用撮像部5を光軸方向に逐次移動させて、第2の光束の光路長を逐次変更させたときのコントラストの評価値を評価することで、コントラスト評価値が最大になる光路長を検出してもよい。この場合、AF用撮像部5を光軸方向の一定の方向に移動させつつ逐次コントラストの評価値を検出する。一定範囲の検出した評価値の中から最大の評価値を最大コントラスト評価値とする。このように検出することは、時間はかかるものの、より確実に最大コントラスト評価値を得ることを可能にする。あるいは、従来のウォブリングと組み合わせて探索する方法でもよい。すなわち、ウォブリング動作を繰り返し、いわゆる山登りアルゴリズムによって、コントラスト評価値が最大になる点を検出する方法であってもよく、黄金分割法などを利用しながら光路長を変更する方法であってもよい。コントラスト評価値が最大になる光路長を検出できればどのような方法でもよい。
(実施の形態2)
<2.1:撮像装置の構成>
図6は、本発明の実施の形態2によるオートフォーカス機能付き撮像装置200の構成を示すブロック図である。同撮像装置200は、前記実施の形態1による撮像装置100と、次の点おいて異なる。まず、実施の形態2の撮像装置200は、フレームレート変更部を構成する撮影用フレームレート変更制御部13およびフレームレート変更信号処理部12を備える。また、実施の形態2の撮像装置200は、適応型AF制御部14において、本線系すなわち撮影用撮像部3のフレームレートに応じてオAF用撮像部5のフレームレートを変更する。なお、上記実施の形態1の撮像装置100と同一の構成要素については、同一の符号を付している。
In the first embodiment, the AF evaluation
In the first embodiment described above, the method for detecting the position where the contrast evaluation value is maximized has been described as a method of greatly changing the optical path length from the beginning, but is not limited thereto. For example, the
(Embodiment 2)
<2.1: Configuration of imaging apparatus>
FIG. 6 is a block diagram showing a configuration of an
撮像装置200は、光学系1と、光路分離部2と、撮影用撮像部3と、フレームレート変更信号処理部12と、撮影用駆動部21と、オートフォーカス用撮像部5(以下、AF用撮像部5)と、アナログ信号処理部6と、AD変換部7と、オートフォーカス評価値生成部8(以下、AF評価値生成部8)と、AF用駆動部9と、AF用光路長変更部10と、適応型AF制御部14と、撮影用フレームレート変更制御部13とを備える。
光学系1は、交換式レンズなどで構成され、フォーカス位置が制御可能な構成を有する。光路分離部2は、光学系1を通った光束を撮影用の光束とオートフォーカス検出用の光束とに分離する。撮影用撮像部3は、CMOSやCCD等の撮像素子を有し、撮影用の光束を電気信号に変換する。
フレームレート変更信号処理部12は、上記撮像装置100の撮影用信号処理部4と同様に、撮影用撮像部3の出力に相関2重サンプリング処理、ゲイン制御処理、ペデスタル制御処理、ガンマ処理などの信号処理を行う撮影用信号処理部である。フレームレート変更信号処理部12は、さらに、フレームレート変更に対応した信号処理を行う。
The
The optical system 1 is configured by an interchangeable lens or the like, and has a configuration capable of controlling the focus position. The optical path separator 2 separates the light beam that has passed through the optical system 1 into a light beam for photographing and a light beam for autofocus detection. The
The frame rate change
撮影用駆動部21は、撮影用フレームレート変更制御部13からの撮影用フレームレート信号を入力とする。撮影用駆動部21は、このフレームレート信号に応じて駆動パルス信号を出力する。この出力された駆動パルス信号により撮影用撮像部3が駆動される。
AF用撮像部5は、オートフォーカス検出用の光束を電気信号に変換する。アナログ信号処理部6は、相関2重サンプリング処理、ゲイン制御処理、ペデスタル制御処理などの信号処理を行う。AD変換部7は、アナログ信号処理部6からの信号をディジタル信号に変換する。
AF評価値生成部8は、適応型AF制御部14から出力される選択信号、AF用駆動部9から出力される評価領域信号、およびAD変換部7から出力されるオートフォーカス検出用の映像信号(以下、「AF検出用映像信号」という。)を入力とする。AF評価値生成部8は、評価領域信号および選択信号に基づいて、オートフォーカス検出用の映像信号に高域通過フィルタ処理などを施して信号の高域成分を抽出し、オートフォーカス動作の評価値(コントラストの評価値)を算出する。AF評価値生成部8は、適応型AF制御部14に出力する。
The
The
The AF evaluation
AF用駆動部9は、AF用撮像部5を駆動するための駆動パルスを生成する。
AF用光路長変更部10は、小型アクチュエータなどを用いて、AF用撮像部5をオートフォーカス検出用光束の光軸上に平行移動させる。これにより、AF用光路長変更部10は、AF用撮像部5の光路長を変更する。なお、小型アクチュエータとしては、リニア駆動モータや、ステッピングモータ、圧電素子を利用した圧電超音波リニアアクチュエータとスライド機構などとを用いて実現することができる。
適応型AF制御部14は、撮影用撮像部3のフレームレートを読み込み、AF用駆動部9、AF用光路長変更部10などを制御する。適応型AF制御部14は、AF評価値生成部8より得られた評価値が最大になる光路長を検出することで、光学系1のフォーカス位置を制御する。撮影用フレームレート変更制御部13は、撮影用撮像部3のフレームレートを変更する。
The
The AF optical path
The adaptive
以上のように構成されたオートフォーカス機能付き撮像装置200と、実施の形態1との差異は、主に次の点にある。撮影用フレームレート変更制御部13およびフレームレート変更信号処理部12により撮影用の映像信号のフレームレートを変更することが可能である。またAF制御部14では、撮影用フレームレート信号(撮影用の映像信号のフレームレートを決定させる信号)に応じて、AF用撮像部5のフレームレートを変更することができる。すなわち、撮影用撮像部3のフレームレートが非常に低い場合は、AF用撮像部5のフレームレートをオートフォーカスの応答に違和感が発生しない程度により低くすることによって、オートフォーカス検出のための消費電力を抑制するように制御できる。
<2.2:撮像装置の動作>
次に、フレームレート変更信号処理部12、撮影用フレームレート変更制御部13および適応型AF制御部14について、その動作を詳細に説明する。なお、他の構成要素については、実施の形態1と同様であるため、説明を省略する。
The differences between the
<2.2: Operation of Imaging Device>
Next, operations of the frame rate change
例えば、撮像装置200が、フレームレートの変更が可能で、720/60p(プログレッシブ)形式で、フレームレートが12pの場合と60pの場合とを考える。12pの場合は、1秒間に12フレームの有効な映像信号が出力され、60pの場合は、1秒間に60フレームの有効な映像信号が出力される。言い換えると12pでは1/12秒間撮像部で電荷蓄積されて取得された映像信号を出力し、60pでは1/60秒間撮像部で電荷蓄積されて取得された映像信号を出力する。
図7に、撮影用撮像部3が、12pおよび60pで動作した時の出力信号の様子を説明するための模式図を示す。
撮影用撮像部3のフレームレートが60pの場合、撮影用撮像部3からは、図7(a)に示すように、1/60秒間電荷蓄積し取得された映像信号を出力する。撮像装置200に設けられたメニューやダイヤルなどによって、撮影用撮像部3のフレームレートが12pに変更された場合、撮影用フレームレート変更制御部13は、変更されたフレームレートを読み出す。読み出されたフレームレート信号は、撮影用駆動部21に入力される。撮影用駆動部21は、入力されたフレームレート信号に応じて、タイミングパルスを含む駆動パルスを出力する。撮影用駆動部21はこの駆動パルスにより撮影用撮像部3を駆動させる。この結果、撮影用撮像部3は、図7の(b)に示すように、1/12秒間電荷蓄積し取得した映像信号を、1/12秒毎の1/60秒期間で出力する。出力された信号は、フレームレート変更信号処理部12に入力される。フレームレート変更信号処理部12は、12pの映像信号に対しても、ゲイン調整、ペデスタル調整、ガンマ補正などの処理を実施する。フレームレート変更信号処理部12は、フレームレート変更に対応するために、12pの有効映像信号をメモリなどの記憶部に書き込み、映像信号がない期間にも同じデータを読み出す回路(データ読み出し部)を用いる。これにより、撮影用撮像部3が12p動作した時でも、フレームレート変更信号処理部12は、撮影用撮像部3が60pで動作した時と同様の信号を作成し、異なるフレームレートでの信号処理を実行している。
For example, consider the case where the
FIG. 7 is a schematic diagram for explaining a state of an output signal when the photographing
When the frame rate of the
撮影用の映像信号のフレームレートを決定する信号は、適応型AF制御部14にも入力される。適応型AF制御部14は、撮影用撮像部3が12pで動作した時は、60pで動作した時よりもAF検出用のフレームレートを低く設定する。設定されたフレームレート信号は、AF用撮像部5のフレームレートとしてAF用駆動部9に入力される。そのフレームレートに応じてAF用撮像部5が制御される。
すなわち、前記実施の形態1と異なる重要な効果は、撮影用撮像部3のフレームレートが低い場合に、必要以上に高速なフレームレートでオートフォーカスの検出を実施することを自動的に抑制することにある。これにより、撮像装置全体の消費電力や発生する熱を抑制することが出来ることである。
以上のように本実施の形態の撮像装置200は、撮影用の映像信号の撮影用撮像部3が低フレームレートで動作している場合に、自動的にオートフォーカス用のフレームレートを低く設定する。これにより、実質的なオートフォーカス応答を保持しながら、撮像装置全体の消費電力を抑制できる優れた効果が得られる。
A signal for determining the frame rate of the video signal for photographing is also input to the adaptive
That is, an important effect different from that of the first embodiment is that, when the frame rate of the
As described above, the
なお、上述の実施の形態2においては、フレームレート変更信号処理部12について、メモリなどを用いて12p動作時においても60p動作時と同様の信号を作成することで、フレームレート変更に対応した信号処理を実現する場合について説明した。しかし、本発明は、これに限らず、信号処理のクロック自体を可変するなどの他の構成でもよい。
なお、上述の実施の形態2においては、12pと60pの場合について説明したが、本発明はこれに限定されない。撮影用のフレームレートが可変である場合、撮影用の映像信号のフレームレートが低くなった場合に、オートフォーカス用の映像信号のフレームレートを自動的により低く動作させる制御を実施するものであればどのようなフレームレートであってもよい。
また、上述の実施の形態2においては、撮影用の映像信号のフレームレートが低い場合にオートフォーカス用の映像信号のフレームレートをより低く設定することについて述べた。反対に、撮影用の映像信号のフレームレートに応じてオートフォーカス用の映像信号のフレームレートを自動的に高く設定することも当然に可能である。
In the second embodiment described above, the frame rate change
In the second embodiment described above, the cases of 12p and 60p have been described, but the present invention is not limited to this. If the frame rate for shooting is variable, and if the frame rate of the video signal for shooting is low, control to automatically lower the frame rate of the video signal for autofocus is performed. Any frame rate may be used.
Further, in the above-described second embodiment, it has been described that the frame rate of the video signal for autofocus is set lower when the frame rate of the video signal for shooting is low. On the contrary, it is naturally possible to automatically set the frame rate of the video signal for autofocus to a high value in accordance with the frame rate of the video signal for shooting.
また、本実施の形態2による撮像装置200では、任意の位置を読み出し可能な撮像素子を有するAF用撮像部5に用いてもよい。この場合、撮像素子の必要領域のみで電荷蓄積されて取得された信号を読み出すように制御すれば、より容易にオートフォーカス用の映像信号のフレームレートを高速化でき、オートフォーカス応答時間を改善することができる。
(その他実施の形態)
上述の実施の形態1および2においては、光路分離部2として4板の撮像素子を用いる方式を採用しているが、撮像素子の数はこれに限定されない。たとえば、図8に示すように、5板の撮像素子を用いてもよい。
図8の光路分離部2は、RGB分光後のG光束を図8のようにハーフミラーでさらに分割してG1(緑1)光束とG2(緑2)光束とを作成する。これらのすべての光束は4枚の撮影用撮像部3においてそれぞれ電気信号に変換される。一方、G1(緑1)光束は、撮影用撮像部3へ入力される前にさらに分光される。分光された光束は、別の撮像素子、すなわちAF用撮像部5に入力されて、オートフォーカス検出用の映像信号として処理される。
In addition, the
(Other embodiments)
In the first and second embodiments described above, a system using a four-plate image sensor as the optical
The optical
この光路分離部2では、従来の4板撮像方式と同様に撮影用の映像信号としてR光,G1光,G2光,B光をそれぞれとることができる。これにより、撮影用の映像信号の性能を従来と同じレベルに維持しつつ、本発明の特有の効果である確実かつ迅速なオートフォーカス制御も実現できる。
(その他)
撮像素子は、HDTV対応、SDTV対応のいずれであってもよい。また、映像の性能に関わる撮影用の映像信号を生成するための撮像素子(撮影用撮像部3の撮像素子)をHDTV対応とし、映像の性能に関係しないオートフォーカス検出用の映像信号を生成するための撮像素子(AF用撮像部5の撮像素子)をSDTV対応のものとしてもよい。これにより、コストを抑えた撮像装置とすることができる。
In this optical
(Other)
The imaging device may be either HDTV compatible or SDTV compatible. In addition, an image pickup device (image pickup device of the
また、オートフォーカス評価のために用いる領域、すなわちAF評価領域の位置、大きさなど任意である。またAF評価領域は、複数個所を加算したものであっても、複数個所から選択された領域であってもよい。例えば、画面左領域、中央、右領域を別々に検出し、被写体が存在する領域を選択してもよい。被写体が存在する領域を選択する方法としては、AF評価値が最大である領域を選択してもよいし、ユーザーによるスイッチ操作、顔判定を行うなどしてもよい。
上述した撮像装置は、LSIなどの半導体装置により一部を1チップ化してもよい。
また、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
Also, the area used for autofocus evaluation, that is, the position and size of the AF evaluation area are arbitrary. The AF evaluation area may be an area obtained by adding a plurality of places or an area selected from a plurality of places. For example, the left area, the center area, and the right area of the screen may be detected separately, and the area where the subject exists may be selected. As a method for selecting the region where the subject exists, the region having the maximum AF evaluation value may be selected, or the user may perform a switch operation or face determination.
The above-described imaging apparatus may be partially integrated on a single chip using a semiconductor device such as an LSI.
Further, although it is referred to as LSI here, it may be referred to as IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI, or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
(本発明の実施形態の効果)
本発明の全ての実施の形態にかかる撮像装置、撮像方法、プログラムおよび集積回路は、オートフォーカス機能を実現する場合に、オートフォーカス用の映像信号でコントラスト最大の光路長を検出することでオートフォーカス制御を行うため、光路長検出時、撮影用の映像信号に全く悪影響を与えないといった効果を有する。
Furthermore, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied as a possibility.
Moreover, each process of the said embodiment may be implement | achieved by hardware, and may be implement | achieved by software. Further, it may be realized by mixed processing of software and hardware.
The specific configuration of the present invention is not limited to the above-described embodiment, and various changes and modifications can be made without departing from the scope of the invention.
(Effect of the embodiment of the present invention)
The imaging apparatus, imaging method, program, and integrated circuit according to all the embodiments of the present invention detect autofocus by detecting the optical path length with the maximum contrast from the video signal for autofocus when realizing the autofocus function. Since the control is performed, there is an effect that the video signal for photographing is not adversely affected at the time of detecting the optical path length.
また本発明の全ての実施の形態にかかる撮像装置、撮像方法、プログラムおよび集積回路は、オートフォーカス機能を実現する場合に、オートフォーカス用の映像信号でコントラスト最大の光路長を検出した後に、光学系のフォーカス制御を行うため、ウォブリング動作などの高速なレンズ動作が不可能な撮像装置に対してもオートフォーカス機能を提供可能であるといった効果を有する。
また本発明の全ての実施の形態にかかる撮像装置、撮像方法、プログラムおよび集積回路によれば、オートフォーカス機能を実現する場合に、フォーカス探索動作中において撮影用の映像信号には全く影響を与えないことから、広い範囲の探索が可能となり、いわゆる大ボケ状態からでも確実に制御が可能であるといった効果を有する。
また本発明の実施の形態1にかかる撮像装置、撮像方法、プログラムおよび集積回路は、オートフォーカス機能を実現する場合に、オートフォーカス検出用の映像信号のフレームレートが独立に制御可能なため、撮影用の映像信号のフレームレートの影響を受けないといった効果、すなわち、撮影用の映像信号のフレームレートとは無関係にオートフォーカス用の映像信号のフレームレートを高速化することで、応答時間を改善できるといった効果を有する。
The imaging apparatus, imaging method, program, and integrated circuit according to all the embodiments of the present invention, when realizing the autofocus function, detect the optical path length with the maximum contrast from the video signal for autofocus, Since the focus control of the system is performed, there is an effect that an autofocus function can be provided even for an imaging apparatus that cannot perform a high-speed lens operation such as a wobbling operation.
Further, according to the imaging apparatus, imaging method, program, and integrated circuit according to all embodiments of the present invention, when the autofocus function is realized, the video signal for shooting is completely affected during the focus search operation. Therefore, it is possible to search over a wide range and to control reliably even from a so-called large blurred state.
In addition, the imaging apparatus, imaging method, program, and integrated circuit according to the first embodiment of the present invention can control the frame rate of the video signal for autofocus detection independently when realizing the autofocus function. Response time can be improved by speeding up the frame rate of the video signal for autofocus regardless of the frame rate of the video signal for shooting. It has such an effect.
また本発明の全ての実施の形態にかかる撮像装置、撮像方法、プログラムおよび集積回路は、オートフォーカス機能を実現する場合に、任意の位置を読み出し可能な撮像素子をオートフォーカス検出用撮像部に使用することで、オートフォーカス検出用の映像信号のフレームレートをより容易に高速化し、オートフォーカスの応答速度を改善することができるといった効果を有する。
また本発明の実施の形態2にかかる撮像装置、撮像方法、プログラムおよび集積回路は、オートフォーカス機能を実現する場合に、撮影用撮像部が低フレームレートで動作中には、自動的にオートフォーカス用の映像信号のフレームレートをより低く設定するため、実質的なオートフォーカス応答を保持しながら、撮像装置全体の消費電力を抑制できるといった効果を有する。
The imaging device, imaging method, program, and integrated circuit according to all embodiments of the present invention use an imaging device that can read an arbitrary position for an imaging unit for autofocus detection when realizing an autofocus function. As a result, the frame rate of the video signal for autofocus detection can be increased more easily, and the response speed of autofocus can be improved.
The imaging apparatus, imaging method, program, and integrated circuit according to the second embodiment of the present invention automatically autofocus when the imaging unit for imaging is operating at a low frame rate when the autofocus function is realized. Therefore, the power consumption of the entire image pickup apparatus can be suppressed while maintaining a substantial autofocus response.
本発明は、ビデオカメラなどの撮像装置、撮像方法、プログラムおよび集積回路に適用できるため、有用である。 The present invention is useful because it can be applied to an imaging apparatus such as a video camera, an imaging method, a program, and an integrated circuit.
1 光学系
2 光路分離部
3 撮影用撮像部(第1の撮像部)
4 撮影用信号処理部(第1の信号処理部)
5 AF用撮像部(第2の撮像部)
6 アナログ信号処理部(第2の信号処理部)
7 AD変換
8 AF評価値生成部(評価値生成部)
9 AF用駆動部(第2の駆動部)
10 AF用光路長変更部(光路長変更部)
11 AF制御部(オートフォーカス制御部)
12 フレームレート変更信号処理部
13 撮影用フレームレート変更制御部
14 適応型AF制御部(オートフォーカス制御部)
21 撮影用駆動部(第1の駆動部)
101 水平ローパスフィルタ
102 第1水平ハイパスフィルタ
103 第2水平ハイパスフィルタ
104 垂直ハイパスフィルタ
105、106、107 積算部
108 加算器
109 セレクタ
DESCRIPTION OF SYMBOLS 1
4 Signal processing unit for photographing (first signal processing unit)
5 AF imaging unit (second imaging unit)
6 Analog signal processor (second signal processor)
7
9 AF drive section (second drive section)
10 AF optical path length changing section (optical path length changing section)
11 AF control unit (autofocus control unit)
12 Frame Rate Change
21. Shooting drive unit (first drive unit)
101 horizontal low-
Claims (11)
前記光学系により集光された前記被写体からの光を少なくとも第1の光束と第2の光束とに分離する光路分離部と、
前記第1の光束を電気信号に変換し、第1の信号として出力する第1の撮像部と、
前記第2の光束を電気信号に変換し、第2の信号として出力する第2の撮像部と、
前記第1の信号の信号処理を行い、撮影用の映像信号を生成する第1の信号処理部と、
前記第2の信号の信号処理を行う第2の信号処理部と、
前記第2の信号のコントラストの評価値を生成する評価値生成部と、
前記第1の撮像部を駆動する第1の駆動部と、
前記第2の撮像部を駆動する第2の駆動部と、
前記第2の光束の光路長を変更する光路長変更部と、
前記光路長変更部を制御し、前記第2の信号の前記コントラストの評価値が最大になる前記第2の光束の光路長である最大コントラスト評価値光路長を検出し、前記最大コントラスト評価値光路長に基づいて、前記光学系のフォーカス制御を行うオートフォーカス制御部と、
を備える、
撮像装置。An optical system that collects light from the subject and controls focus;
An optical path separation unit for separating light from the subject collected by the optical system into at least a first light beam and a second light beam;
A first imaging unit that converts the first light flux into an electrical signal and outputs the first signal;
A second imaging unit that converts the second light flux into an electrical signal and outputs the second signal as a second signal;
A first signal processing unit that performs signal processing of the first signal and generates a video signal for photographing;
A second signal processing unit for performing signal processing of the second signal;
An evaluation value generator for generating an evaluation value of the contrast of the second signal;
A first driving unit for driving the first imaging unit;
A second drive unit for driving the second imaging unit;
An optical path length changing unit for changing an optical path length of the second light flux;
The optical path length changing unit is controlled to detect a maximum contrast evaluation value optical path length which is an optical path length of the second light flux at which the contrast evaluation value of the second signal is maximized, and the maximum contrast evaluation value optical path An autofocus control unit for controlling the focus of the optical system based on the length;
Comprising
Imaging device.
前記第2の駆動部は、前記第2の信号に対するフレームレートであり独立して可変の第2のフレームレートを取得し、前記第2のフレームレートで前記第2の駆動部を駆動する、
請求項1に記載の撮像装置。The first driving unit acquires a first variable frame rate that is an independent frame rate for the first signal, drives the first imaging unit at the first frame rate,
The second driving unit obtains a variable second frame rate which is a frame rate for the second signal and independently drives the second driving unit at the second frame rate;
The imaging device according to claim 1.
前記オートフォーカス制御部は、前記第1のフレームレートに基づいて前記第2の信号に対するフレームレートである第2のフレームレートを設定または変更可能であり、前記第2のフレームレートに基づいて前記光学系のフォーカス制御を行う、
請求項1に記載の撮像装置。A frame rate changing unit that changes a first frame rate that is a frame rate for the first signal;
The autofocus control unit can set or change a second frame rate that is a frame rate for the second signal based on the first frame rate, and the optical focus control unit can change the optical rate based on the second frame rate. System focus control,
The imaging device according to claim 1.
請求項1に記載の撮像装置。The second imaging unit includes an image sensor that can read an arbitrary position.
The imaging device according to claim 1.
請求項1に記載の撮像装置。The autofocus control unit detects the direction in which the contrast evaluation value increases by moving the second imaging unit back and forth in the optical axis direction of the second light flux by the optical path length changing unit. , To detect the maximum contrast evaluation value optical path length,
The imaging device according to claim 1.
請求項1に記載の撮像装置。When the optical path length changing unit sequentially moves the second imaging unit in the optical axis direction of the second light beam and sequentially changes the optical path length of the second light beam by the optical path control unit. By detecting the contrast evaluation value, the maximum contrast evaluation value optical path length is detected.
The imaging device according to claim 1.
請求項3に記載の撮像装置。The autofocus control unit lowers the second frame rate when the first frame rate is low;
The imaging device according to claim 3.
前記光学系により集光された前記被写体からの光を少なくとも第1の光束と第2の光束とに分離する光路分離部と、
前記第1の光束を電気信号に変換し、第1の信号として出力する第1の撮像部と、
前記第2の光束を電気信号に変換し、第2の信号として出力する第2の撮像部と、
前記第2の光束の光路長を変更する光路長変更部と、
を備える撮像装置に用いられる撮像方法であって、
前記第1の信号の信号処理を行い、撮影用の映像信号を生成する第1の信号処理ステップと、
前記第2の信号の信号処理を行う第2の信号処理ステップと、
前記第2の信号のコントラストの評価値を生成する評価値生成ステップと、
前記第1の撮像部を駆動する駆動ステップと、
前記第2の撮像部を駆動する他の駆動ステップと、
前記光路長変更部を制御し、前記第2の信号の前記コントラストの評価値が最大になる前記第2の光束の光路長である最大コントラスト評価値光路長を検出する検出ステップと、
前記最大コントラスト評価値光路長に基づいて、前記光学系のフォーカス制御を行うオートフォーカス制御ステップと、
を備える、
撮像方法。An optical system that collects light from the subject and controls focus;
An optical path separation unit for separating light from the subject collected by the optical system into at least a first light beam and a second light beam;
A first imaging unit that converts the first light flux into an electrical signal and outputs the first signal;
A second imaging unit that converts the second light flux into an electrical signal and outputs the second signal as a second signal;
An optical path length changing unit for changing an optical path length of the second light flux;
An imaging method used for an imaging apparatus comprising:
A first signal processing step of performing signal processing of the first signal and generating a video signal for photographing;
A second signal processing step for performing signal processing of the second signal;
An evaluation value generating step for generating an evaluation value of the contrast of the second signal;
A driving step of driving the first imaging unit;
Another driving step of driving the second imaging unit;
A detection step of controlling the optical path length changing unit to detect a maximum contrast evaluation value optical path length that is an optical path length of the second light flux at which the contrast evaluation value of the second signal is maximized;
An autofocus control step for performing focus control of the optical system based on the maximum contrast evaluation value optical path length;
Comprising
Imaging method.
前記光学系により集光された前記被写体からの光を少なくとも第1の光束と第2の光束とに分離する光路分離部と、
前記第1の光束を電気信号に変換し、第1の信号として出力する第1の撮像部と、
前記第2の光束を電気信号に変換し、第2の信号として出力する第2の撮像部と、
前記第2の光束の光路長を変更する光路長変更部と、
を備える撮像装置に用いられるプログラムであって、
前記第1の信号の信号処理を行い、撮影用の映像信号を生成する第1の信号処理ステップと、
前記第2の信号の信号処理を行う第2の信号処理ステップと、
前記第2の信号のコントラストの評価値を生成する評価値生成ステップと、
前記第1の撮像部を駆動する駆動ステップと、
前記第2の撮像部を駆動する他の駆動ステップと、
前記光路長変更部を制御し、前記第2の信号の前記コントラストの評価値が最大になる前記第2の光束の光路長である最大コントラスト評価値光路長を検出する検出ステップと、
前記最大コントラスト評価値光路長に基づいて、前記光学系のフォーカス制御を行うオートフォーカス制御ステップと、
を備える、
プログラム。An optical system that collects light from the subject and controls focus;
An optical path separation unit for separating light from the subject collected by the optical system into at least a first light beam and a second light beam;
A first imaging unit that converts the first light flux into an electrical signal and outputs the first signal;
A second imaging unit that converts the second light flux into an electrical signal and outputs the second signal as a second signal;
An optical path length changing unit for changing an optical path length of the second light flux;
A program used for an imaging apparatus comprising:
A first signal processing step of performing signal processing of the first signal and generating a video signal for photographing;
A second signal processing step for performing signal processing of the second signal;
An evaluation value generating step for generating an evaluation value of the contrast of the second signal;
A driving step of driving the first imaging unit;
Another driving step of driving the second imaging unit;
A detection step of controlling the optical path length changing unit to detect a maximum contrast evaluation value optical path length that is an optical path length of the second light flux at which the contrast evaluation value of the second signal is maximized;
An autofocus control step for performing focus control of the optical system based on the maximum contrast evaluation value optical path length;
Comprising
program.
前記複数の光のうち前記一以上の光以外の光を電気信号に変換し、第2の信号として出力する第2の撮像部と、
前記第1の信号の信号処理を行い、撮影用の映像信号を生成する第1の信号処理部と、
前記第2の信号の信号処理を行う第2の信号処理部と、
前記第2の信号のコントラストの評価値を生成する評価値生成部と、
前記第1の撮像部の駆動パルスを生成する第1の駆動部と、
前記第2の撮像部の駆動パルスを生成する第2の駆動部と、
前記第2の光束の光路長を変更する光路長変更部と、
前記光路長変更部を制御し、前記第2の信号の前記コントラストの評価値が最大になる前記第2の光束の光路長である最大コントラスト評価値光路長を検出し、前記最大コントラスト評価値光路長に基づいて、前記光学系のフォーカス制御を行うオートフォーカス制御部と、
を備える、
集積回路。One or more first imaging units that convert one or more lights out of the light separated from the output of the optical system into an electrical signal and output it as a first signal;
A second imaging unit that converts light other than the one or more of the plurality of lights into an electrical signal and outputs the second signal as a second signal;
A first signal processing unit that performs signal processing of the first signal and generates a video signal for photographing;
A second signal processing unit for performing signal processing of the second signal;
An evaluation value generator for generating an evaluation value of the contrast of the second signal;
A first driving unit that generates a driving pulse of the first imaging unit;
A second driving unit for generating a driving pulse of the second imaging unit;
An optical path length changing unit for changing an optical path length of the second light flux;
The optical path length changing unit is controlled to detect a maximum contrast evaluation value optical path length which is an optical path length of the second light flux at which the contrast evaluation value of the second signal is maximized, and the maximum contrast evaluation value optical path An autofocus control unit for controlling the focus of the optical system based on the length;
Comprising
Integrated circuit.
前記一以上の電気信号以外の第2の信号を受信し、信号処理を行う第2の信号処理部と、
前記第2の信号のコントラストの評価値を生成する評価値生成部と、
前記第1の撮像部の駆動パルスを生成する第1の駆動部と、
前記第2の撮像部の駆動パルスを生成する第2の駆動部と、
前記第2の光束の光路長を変更する光路長変更部と、
前記光路長変更部を制御し、前記第2の信号の前記コントラストの評価値が最大になる前記第2の光束の光路長である最大コントラスト評価値光路長を検出し、前記最大コントラスト評価値光路長に基づいて、前記光学系のフォーカス制御を行うオートフォーカス制御部と、
を備える、
集積回路。Among the plurality of electrical signals generated by converting the light separated into a plurality via the optical system in a plurality of imaging units, one or more electrical signals are received and signal processing is performed, and a video signal for photographing is obtained. A first signal processor to generate;
A second signal processing unit that receives a second signal other than the one or more electrical signals and performs signal processing;
An evaluation value generator for generating an evaluation value of the contrast of the second signal;
A first driving unit that generates a driving pulse of the first imaging unit;
A second driving unit for generating a driving pulse of the second imaging unit;
An optical path length changing unit for changing an optical path length of the second light flux;
The optical path length changing unit is controlled to detect a maximum contrast evaluation value optical path length which is an optical path length of the second light flux at which the contrast evaluation value of the second signal is maximized, and the maximum contrast evaluation value optical path An autofocus control unit for controlling the focus of the optical system based on the length;
Comprising
Integrated circuit.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007143537 | 2007-05-30 | ||
JP2007143537 | 2007-05-30 | ||
PCT/JP2008/001219 WO2008146458A1 (en) | 2007-05-30 | 2008-05-15 | Imaging device provided with autofocus function, imaging method, program and integrated circuit |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2008146458A1 true JPWO2008146458A1 (en) | 2010-08-19 |
Family
ID=40074735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009516169A Pending JPWO2008146458A1 (en) | 2007-05-30 | 2008-05-15 | Imaging device with autofocus function, imaging method, program, and integrated circuit |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2008146458A1 (en) |
WO (1) | WO2008146458A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5225187B2 (en) * | 2009-04-22 | 2013-07-03 | 三洋電機株式会社 | Video camera |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58158618A (en) * | 1982-03-16 | 1983-09-20 | Canon Inc | Automatic focus adjusting device |
JP3453433B2 (en) * | 1994-08-05 | 2003-10-06 | キヤノン株式会社 | Color separation optical system and imaging apparatus using the same |
JP2003101867A (en) * | 2001-09-19 | 2003-04-04 | Olympus Optical Co Ltd | Image pickup device |
JP2003143618A (en) * | 2001-11-06 | 2003-05-16 | Canon Inc | Color separation optical system and image pickup device employing the same |
JP2003279842A (en) * | 2002-03-22 | 2003-10-02 | Fuji Photo Optical Co Ltd | Focus state detector for photographing lens |
JP2003279846A (en) * | 2002-03-25 | 2003-10-02 | Fuji Photo Optical Co Ltd | Focus state detector for photographing lens |
JP4161865B2 (en) * | 2003-09-29 | 2008-10-08 | カシオ計算機株式会社 | Imaging apparatus, focus control method, and computer program |
JP2006215284A (en) * | 2005-02-03 | 2006-08-17 | Fujinon Corp | Autofocus system |
JP2006293082A (en) * | 2005-04-12 | 2006-10-26 | Mitsubishi Electric Corp | Imaging apparatus |
JP4742242B2 (en) * | 2005-09-30 | 2011-08-10 | カシオ計算機株式会社 | Imaging apparatus and program thereof |
-
2008
- 2008-05-15 JP JP2009516169A patent/JPWO2008146458A1/en active Pending
- 2008-05-15 WO PCT/JP2008/001219 patent/WO2008146458A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2008146458A1 (en) | 2008-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4980982B2 (en) | Imaging apparatus, imaging method, focus control method, and program | |
TWI422219B (en) | Imaging device, imaging method and computer-readable recording medium | |
JP4528235B2 (en) | Digital camera | |
JP4797522B2 (en) | Imaging apparatus and program thereof | |
US8860870B2 (en) | Imaging device, imaging method and recording medium | |
JP4982997B2 (en) | Image processing device | |
US20050275744A1 (en) | Auto-focusing apparatus and image pickup apparatus including the same | |
JP2013106124A (en) | Imaging apparatus, imaging apparatus control method, and program | |
US8854503B2 (en) | Image enhancements through multi-image processing | |
CN104246597B (en) | Imaging device and formation method | |
JP4760302B2 (en) | Imaging device | |
JP5197285B2 (en) | Imaging device with autofocus function, imaging method, program, and integrated circuit | |
JP2016034076A (en) | Imaging apparatus and control method for the same | |
WO2017057492A1 (en) | Imaging device and image processing device | |
JP2007212724A (en) | Focusing position determination method and device | |
JP2007102061A (en) | Imaging apparatus | |
WO2017154366A1 (en) | Low-pass filter control device, low-pass filter control method, and image-capturing device | |
JP2013160991A (en) | Imaging apparatus | |
US7693410B2 (en) | Optical apparatus and focus adjustment method | |
JPWO2008146458A1 (en) | Imaging device with autofocus function, imaging method, program, and integrated circuit | |
JP2010136301A (en) | Imaging apparatus and solid-state imaging element therefor | |
JP5403087B2 (en) | Image processing device | |
JP2006285094A (en) | Auto-focus camera and auto-focus device | |
JP2006243745A (en) | Automatic focus detector | |
WO2017057494A1 (en) | Imaging device and image processing device |