JP6821325B2

JP6821325B2 - Image processing device, imaging device and control method

Info

Publication number: JP6821325B2
Application number: JP2016093594A
Authority: JP
Inventors: 猛渡邉
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-05-09
Filing date: 2016-05-09
Publication date: 2021-01-27
Anticipated expiration: 2036-05-09
Also published as: JP2017203792A

Description

本発明は、画像処理装置、撮像装置および制御方法に関する。 The present invention relates to an image processing device, an imaging device, and a control method.

ズームレンズを駆動する光学ズームや撮影画像の一部を拡大する電子ズームを備える画像処理装置である撮像装置において、近年高倍率化が進んでいる。撮影に不慣れな撮影者が、このような高倍率機種を用いて望遠状態で撮影する場合、被写体を捉えることが難しく、また、捉えた被写体をすぐにフレームアウトさせてしまうことが頻繁に起こり得る。特許文献１は、装置の動き量に基づいて、ユーザが被写体を探す動作を行っていると判定した場合に、自動で撮影画角を広角側にズームアウトさせるフレーミングアシストズーム（ＦＡズーム）を行う撮像装置を開示している。 In recent years, the magnification of an image pickup device, which is an image processing device including an optical zoom for driving a zoom lens and an electronic zoom for enlarging a part of a captured image, has been increasing. When a photographer who is unfamiliar with shooting shoots in a telephoto state using such a high-magnification model, it is difficult to capture the subject, and it often happens that the captured subject is immediately framed out. .. Patent Document 1 performs framing assist zoom (FA zoom) that automatically zooms out the shooting angle of view to the wide-angle side when it is determined that the user is performing an operation of searching for a subject based on the amount of movement of the device. The image pickup device is disclosed.

特開２０１５−１０２８５３号公報JP 2015-102853

特許文献１が開示する撮像装置では、ＦＡズーム動作終了後のズーム位置（焦点距離）は、撮影準備状態でのズーム位置である。したがって、ＦＡズーム動作の前後で、ズーム位置は変わらないように制御される。しかし、この撮像装置では、撮影者が被写体を見失って、被写体を探す動作をする場合、被写体がカメラに対して前後方向に移動して、カメラと被写体との距離が変化すると、ＦＡズーム動作後に、画像上の被写体の大きさが変わってしまう。その結果、ＦＡズーム動作後に撮影者が手動でズームを操作して画角を調整し直すという手間が生じるので、迅速に被写体を捉え直すことが困難である。 In the image pickup apparatus disclosed in Patent Document 1, the zoom position (focal length) after the end of the FA zoom operation is the zoom position in the state of preparation for shooting. Therefore, the zoom position is controlled so as not to change before and after the FA zoom operation. However, in this imaging device, when the photographer loses sight of the subject and searches for the subject, the subject moves in the front-rear direction with respect to the camera and the distance between the camera and the subject changes, after the FA zoom operation. , The size of the subject on the image changes. As a result, it is difficult for the photographer to manually adjust the angle of view after the FA zoom operation, so that it is difficult to quickly recapture the subject.

本発明は、被写体を見失った際のＦＡズーム動作中に被写体の距離が変化した場合であっても、適切なズーム位置設定で被写体を捉え直すことができる画像処理装置の提供を目的とする。 An object of the present invention is to provide an image processing device capable of re-capturing a subject with an appropriate zoom position setting even when the distance of the subject changes during the FA zoom operation when the subject is lost.

本発明の一実施形態の画像処理装置は、撮像装置の動き量を算出する算出手段と、前記動き量が第１の閾値以上の場合に撮影画角を広角側にする第１の制御を行い、前記第１の制御の後に、前記動き量が前記第１の閾値より小さい第２の閾値未満の場合に、撮影画角を望遠側にする第２の制御を行うとともに、被写体距離に応じて、前記第２の制御によって到達する撮影画角を変更する制御手段とを備え、前記制御手段は、撮影画像のピントが合っていない状態である場合に、前記第２の制御によって到達する撮影画角が前記第１の制御開始時と同じになるように制御し、撮影画像のピントが合っている状態である場合に、被写体距離が変化した場合であっても、前記第２の制御によって到達する撮影画角が前記第１の制御の前後で画面上の被写体の大きさを一定に保つように制御する。 The image processing device according to the embodiment of the present invention performs a calculation means for calculating the movement amount of the imaging device and the first control for setting the shooting angle of view to the wide-angle side when the movement amount is equal to or greater than the first threshold value. After the first control, when the amount of movement is smaller than the first threshold and less than the second threshold, the second control for setting the shooting angle of view to the telephoto side is performed , and the subject distance is increased. The control means includes a control means for changing the shooting angle of view reached by the second control, and the control means reaches the shot image reached by the second control when the shot image is out of focus. The angle is controlled to be the same as at the start of the first control, and when the captured image is in focus, even if the subject distance changes, it is reached by the second control. The shooting angle of view is controlled so as to keep the size of the subject on the screen constant before and after the first control.

本発明の画像処理装置によれば、被写体を見失った際のＦＡズーム動作中に被写体の距離が変化した場合であっても、適切なズーム位置設定で被写体を捉え直すことができる。 According to the image processing apparatus of the present invention, even if the distance of the subject changes during the FA zoom operation when the subject is lost, the subject can be re-captured with an appropriate zoom position setting.

画像処理装置の構成例を示す図である。It is a figure which shows the configuration example of an image processing apparatus. 焦点距離とフォーカス位置との関係を示す図である。It is a figure which shows the relationship between a focal length and a focus position. ＦＡズーム枠の例を示す図である。It is a figure which shows the example of the FA zoom frame. ＦＡズーム機能の処理を説明するフローチャートである。It is a flowchart explaining the processing of the FA zoom function. ＦＡズーム機能の処理を説明するフローチャートである。It is a flowchart explaining the processing of the FA zoom function. カメラ動き判定の処理を説明するフローチャートである。It is a flowchart explaining the process of camera motion determination. カメラ動き判定の処理を説明するフローチャートである。It is a flowchart explaining the process of camera motion determination. 移動する被写体の撮影例を説明する図である。It is a figure explaining the shooting example of a moving subject. 主被写体が移動した場合のＦＡズーム機能の動作を説明する図である。It is a figure explaining the operation of the FA zoom function when the main subject moves. 主被写体が移動した場合のＦＡズーム機能の動作を説明する図である。It is a figure explaining the operation of the FA zoom function when the main subject moves. 実施例２のＦＡズーム機能の処理を説明するフローチャートである。It is a flowchart explaining the process of the FA zoom function of Example 2. 実施例２のＦＡズーム機能の処理を説明するフローチャートである。It is a flowchart explaining the process of the FA zoom function of Example 2.

（実施例１）
図１は、本実施形態の画像処理装置の構成例を示す図である。
撮像装置１００が、本実施形態の画像処理装置である。撮像装置１００によって実現される機能は、ユーザによるフレーミングを支援する機能であり、便宜上、フレーミングアシストズーム機能（以下、ＦＡズーム機能と略記する）と呼ぶこととする。また、以下の説明では、ＦＡズーム動作におけるズームアウト制御を、ＦＡズームアウト制御とも記述する。また、ＦＡズーム動作におけるズームイン制御を、ＦＡズームイン制御とも記述する。 (Example 1)
FIG. 1 is a diagram showing a configuration example of the image processing device of the present embodiment.
The image pickup apparatus 100 is the image processing apparatus of the present embodiment. The function realized by the image pickup apparatus 100 is a function of supporting framing by the user, and is referred to as a framing assist zoom function (hereinafter, abbreviated as FA zoom function) for convenience. Further, in the following description, the zoom-out control in the FA zoom operation is also described as the FA zoom-out control. Further, the zoom-in control in the FA zoom operation is also described as the FA zoom-in control.

撮像装置１００は、例えばビデオカメラである。撮像装置１００は、ＦＡズーム機能を実行可能に構成されている。撮像装置１００として、ビデオカメラの他にもカメラ付きの携帯電話、ゲーム機、パーソナルコンピュータなど、撮像装置が組み込まれた、もしくは内蔵された機器を適用してもよい。 The image pickup device 100 is, for example, a video camera. The image pickup apparatus 100 is configured to be able to execute the FA zoom function. As the image pickup device 100, in addition to the video camera, a device having a built-in image pickup device, such as a mobile phone with a camera, a game machine, or a personal computer, may be applied.

撮像装置１００は、システム制御部１０１乃至ＦＡズーム制御部１２２を備える。
システム制御部１０１は、撮像装置１００の全体の動作を制御する。システム制御部１０１は、例えば、ＣＰＵ（中央演算処理装置）及びＲＡＭ、ＲＯＭ等の記憶装置等を備えており、記憶装置に予め記憶されたプログラムに従い、ＲＡＭを作業領域として用いながら、撮像装置１００を制御する。ＣＰＵは、ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔの略称である。ＲＡＭは、ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙの略称である。また、ＲＯＭは、ＲｅａｄＯｎｌｙＭｅｍｏｒｙの略称である。システム制御部１０１は、例えば、撮像素子１０６の制御やＡＥ／ＡＦ制御、ズーム制御（ＦＡズーム処理を含む）等を行うためのプログラムを実行する。なお、後述するＦＡズーム機能に関する各処理は、コンピュータプログラム（ソフトウェア）として、主にシステム制御部１０１によって実行されるものとする。 The image pickup apparatus 100 includes a system control unit 101 to an FA zoom control unit 122.
The system control unit 101 controls the overall operation of the image pickup apparatus 100. The system control unit 101 includes, for example, a CPU (Central Processing Unit) and a storage device such as a RAM and a ROM, and the image pickup device 100 uses the RAM as a work area according to a program stored in the storage device in advance. To control. CPU is an abbreviation for Central Processing Unit. RAM is an abbreviation for Random Access Memory. ROM is an abbreviation for Read Only Memory. The system control unit 101 executes, for example, a program for controlling the image sensor 106, AE / AF control, zoom control (including FA zoom processing), and the like. It is assumed that each process related to the FA zoom function, which will be described later, is mainly executed by the system control unit 101 as a computer program (software).

撮像レンズ１０２は、内部にレンズ群を保持しており、被写体光を撮像素子１０６に導く。ズームレンズ１０３は、光軸方向に移動することによって、焦点距離を調節し、光学的に画角を変更（ズーム位置を移動）する。フォーカスレンズ１０５は、光軸方向に移動することによって、ピントを調節する。防振レンズ１０４は、手振れに起因する像ブレを補正する補正用レンズである。なお、本実施形態において、撮像装置１００は、撮像レンズ１０２とカメラ本体とが一体的に構成された撮像装置であるが、これに限定されるものではない。本発明は、カメラ本体と、カメラ本体に着脱可能な交換レンズとを備えて構成される撮像システムにも適用可能である。また、本発明は、防振レンズ１０４は必須の構成ではなく、像振れ補正機能を有していない撮像システムにも適用可能である。 The image pickup lens 102 holds a lens group inside and guides the subject light to the image pickup element 106. The zoom lens 103 adjusts the focal length and optically changes the angle of view (moves the zoom position) by moving in the optical axis direction. The focus lens 105 adjusts the focus by moving in the optical axis direction. The anti-vibration lens 104 is a correction lens that corrects image blurring caused by camera shake. In the present embodiment, the image pickup device 100 is an image pickup device in which the image pickup lens 102 and the camera body are integrally configured, but the present invention is not limited to this. The present invention can also be applied to an imaging system including a camera body and an interchangeable lens that can be attached to and detached from the camera body. Further, the present invention is not an essential configuration of the anti-vibration lens 104, and can be applied to an imaging system that does not have an image shake correction function.

撮像レンズ１０２を通過した被写体光は、ＣＣＤ（電荷結合素子）またはＣＭＯＳ（相補型金属酸化膜半導体）等を有する撮像素子１０６に受光される。ＣＣＤは、ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅの略称である。また、ＣＭＯＳは、ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒの略称である。撮像素子１０６は、例えば、ＸＹアドレス方式のＣＭＯＳイメージセンサ等で構成される。撮像素子１０６は、撮像レンズ１０２が形成する光学像を光電変換して電荷を蓄積し、電荷を読み出すことで、撮影画像に係る画像信号を映像信号処理部１０７に供給する。 The subject light that has passed through the image pickup lens 102 is received by an image pickup device 106 having a CCD (charge coupling element), a CMOS (complementary metal oxide semiconductor), or the like. CCD is an abbreviation for Charge Coupled Device. CMOS is an abbreviation for Complementary Metal Oxide Semiconducor. The image sensor 106 is composed of, for example, an XY address type CMOS image sensor or the like. The image pickup device 106 supplies the image signal related to the captured image to the video signal processing unit 107 by photoelectrically converting the optical image formed by the image pickup lens 102, accumulating the electric charge, and reading the electric charge.

映像信号処理部１０７は、撮像素子１０６から出力された画像信号に、ホワイトバランス調整やガンマ補正などの公知の信号処理を施してフレーム画像を生成して、画像メモリ１０８に格納する。また、映像信号処理部１０７は、撮像素子１０６から出力された画像信号に、種々の信号処理を施して、撮像装置１００の制御に必要な評価値を生成する。これらの評価値は、ＡＦ、ＡＥ、ＡＷＢ等の制御に用いられる。撮像素子１０６、映像信号処理部１０７で行われる一連の動作は、例えば、ＮＴＳＣフォーマットに準拠したビデオ信号の場合は、６０Ｈｚの周期で実行され、動画像データが生成される。 The video signal processing unit 107 performs known signal processing such as white balance adjustment and gamma correction on the image signal output from the image sensor 106 to generate a frame image, and stores it in the image memory 108. Further, the video signal processing unit 107 performs various signal processing on the image signal output from the image sensor 106 to generate an evaluation value necessary for controlling the image sensor 100. These evaluation values are used for controlling AF, AE, AWB, and the like. A series of operations performed by the image sensor 106 and the video signal processing unit 107 are executed in a cycle of 60 Hz, for example, in the case of a video signal conforming to the NTSC format, and moving image data is generated.

記録制御部１０９は、記録媒体１１０を制御して、動画データや静止画データまたはメタデータなどの記録・読出しを行う。記録媒体１１０は、半導体メモリ等の情報記録媒体やハードディスク等の磁気記録媒体である。表示制御部１１１は、映像信号処理部１０７から出力された映像信号に基づく画像（カメラスルー画）の他、設定メニュー画像、記録済みの画像など用途に応じて加工した映像信号を出力して、表示部１１２に画像を表示させる。表示部１１２は液晶表示素子（ＬＣＤ）等であり、表示制御部１１１により生成された画像を表示する。 The recording control unit 109 controls the recording medium 110 to record / read moving image data, still image data, metadata, and the like. The recording medium 110 is an information recording medium such as a semiconductor memory or a magnetic recording medium such as a hard disk. The display control unit 111 outputs an image (camera through image) based on the video signal output from the video signal processing unit 107, as well as a video signal processed according to the application such as a setting menu image and a recorded image. The image is displayed on the display unit 112. The display unit 112 is a liquid crystal display element (LCD) or the like, and displays an image generated by the display control unit 111.

防振レンズ駆動部１１６は、像ブレ補正制御部１２０の制御にしたがって防振レンズ１０４を駆動することで、画像のブレ（像ブレ）を補正する。フォーカス駆動部１１４は、フォーカスレンズ１０５を駆動する。本実施形態において、撮像装置１００は、コントラスト方式でＡＦ（オートフォーカス）制御を行う。したがって、フォーカス駆動部１１４は、映像信号処理部１０７の画像処理によって得られた撮影光学系の焦点調節情報（コントラスト評価値）に基づいて、被写体にピントが合うようにフォーカスレンズ１０５を駆動する。本発明は、位相差ＡＦ方式等のコントラスト方式以外のＡＦ制御や、コントラスト方式と他の方式との組み合わせ等複数の方式を用いたＡＦ制御も適用できる。 The anti-vibration lens driving unit 116 corrects image blur (image blur) by driving the anti-vibration lens 104 under the control of the image blur correction control unit 120. The focus drive unit 114 drives the focus lens 105. In the present embodiment, the image pickup apparatus 100 performs AF (autofocus) control by a contrast method. Therefore, the focus driving unit 114 drives the focus lens 105 so as to focus on the subject based on the focus adjustment information (contrast evaluation value) of the photographing optical system obtained by the image processing of the video signal processing unit 107. INDUSTRIAL APPLICABILITY The present invention can also apply AF control other than the contrast method such as the phase difference AF method, and AF control using a plurality of methods such as a combination of the contrast method and another method.

ズーム駆動部１１５は、ズーム操作指示に従って、ズームレンズ１０３を駆動する。操作部１１３は、撮影者がカメラにズーミングを指示するためのズーム操作部材としてのズームレバーまたはズームボタン等を備える。ズーム指示操作に用いるズーム操作部材の操作量及び操作方向に基づいて、システム制御部１０１が、ズーム駆動速度や駆動方向を演算し、その演算結果に従って、ズームレンズ１０３が、光軸に沿って移動される。 The zoom drive unit 115 drives the zoom lens 103 according to the zoom operation instruction. The operation unit 113 includes a zoom lever, a zoom button, and the like as a zoom operation member for the photographer to instruct the camera to zoom. The system control unit 101 calculates the zoom drive speed and the drive direction based on the operation amount and the operation direction of the zoom operation member used for the zoom instruction operation, and the zoom lens 103 moves along the optical axis according to the calculation result. Will be done.

振れ検出部１１７は、ジャイロセンサ（角速度検出手段）等の情報に基づいて、撮像装置１００の振れ状態を検出する。振れ検出部１１７は、ジャイロセンサ等に加わる振れ量に応じて、カメラがパンニングされたかを検出する。ジャイロセンサは、防振レンズ駆動部１１６の制御情報として用いるセンサと兼用する構成でもよい。また、撮像装置の姿勢検出等に用いる加速度センサ（不図示）を用いて、振れ量を検出してもよい。この場合、複数の軸の加速度から便宜的に角速度を算出する必要がある。 The runout detection unit 117 detects the runout state of the image pickup apparatus 100 based on information from a gyro sensor (angular velocity detecting means) or the like. The runout detection unit 117 detects whether the camera has been panned according to the amount of runout applied to the gyro sensor or the like. The gyro sensor may also have a configuration that also serves as a sensor used as control information for the anti-vibration lens driving unit 116. Further, the amount of runout may be detected by using an acceleration sensor (not shown) used for posture detection of the imaging device or the like. In this case, it is necessary to calculate the angular velocity conveniently from the accelerations of a plurality of axes.

次に、システム制御部１０１において、ＦＡズーム機能に関連する制御について説明する。図１に示すように、システム制御部１０１は、ＣＺ制御部１１９、ＦＡズーム枠制御部１２１、ＦＡズーム制御部１２２を備える。光学ズームによる画角変更時に合焦状態を維持するには、撮像レンズ１０２のようなリアフォーカスタイプのレンズ鏡筒の場合、ズームレンズ１０３の位置に応じてフォーカスレンズ１０５を適正なフォーカス位置へ移動させる必要がある。このような制御をコンピュータズーム（ＣＺ）制御という。 Next, in the system control unit 101, the control related to the FA zoom function will be described. As shown in FIG. 1, the system control unit 101 includes a CZ control unit 119, an FA zoom frame control unit 121, and an FA zoom control unit 122. In order to maintain the in-focus state when the angle of view is changed by the optical zoom, in the case of a rear focus type lens barrel such as the image pickup lens 102, the focus lens 105 is moved to an appropriate focus position according to the position of the zoom lens 103. I need to let you. Such control is called computer zoom (CZ) control.

図２は、ズームレンズの焦点距離と、焦点距離に応じてピントが合うフォーカス位置との関係を、被写体距離ごとに示す図である。
本実施形態において、図２のグラフによって示される焦点距離とフォーカス位置との対応テーブルを、フォーカスカムテーブルと称する。各グラフ線の横には、撮像装置１００から被写体までの距離（被写体距離）を示している。 FIG. 2 is a diagram showing the relationship between the focal length of the zoom lens and the focus position in focus according to the focal length for each subject distance.
In the present embodiment, the correspondence table between the focal length and the focus position shown by the graph of FIG. 2 is referred to as a focus cam table. Next to each graph line, the distance from the image pickup apparatus 100 to the subject (subject distance) is shown.

図１に示すＡＦ制御部１１８は、ＡＦ制御を行う際にフォーカス駆動部１１４を制御して、フォーカスレンズ１０５を所定の範囲において移動させることによりスキャン動作を行う。この動作中に映像信号処理部１０７から得られるコントラスト評価値等を用いて、既知の方法により合焦点であるフォーカス位置が検出される。そのときのズーム位置およびフォーカス位置を用い、フォーカスカムテーブルを参照することにより、被写体距離を計測することができる。 The AF control unit 118 shown in FIG. 1 controls the focus drive unit 114 when performing AF control, and moves the focus lens 105 within a predetermined range to perform a scanning operation. During this operation, the focus position, which is the in-focus position, is detected by a known method using the contrast evaluation value or the like obtained from the video signal processing unit 107. The subject distance can be measured by referring to the focus cam table using the zoom position and the focus position at that time.

ＣＺ制御部１１９は、ズーム動作時に、所定の制御周期ごとにズームレンズ１０３のズーム位置を検出する。そして、ＣＺ制御部１１９は、検出したズーム位置に応じたＡＦ制御にて計測された被写体距離でのフォーカスカムテーブルに追従するように、フォーカスレンズ１０５を駆動させる。これにより、合焦状態を維持したまま光学ズーム動作を行うことが可能となる。 The CZ control unit 119 detects the zoom position of the zoom lens 103 at predetermined control cycles during the zoom operation. Then, the CZ control unit 119 drives the focus lens 105 so as to follow the focus cam table at the subject distance measured by AF control according to the detected zoom position. This makes it possible to perform the optical zoom operation while maintaining the focused state.

像ブレ補正制御部１２０は、振れ検出部１１７の出力である角速度情報に基づいて、像ブレを補正するための像ブレ補正量を演算する。像ブレ補正制御部１２０は、算出した像ブレ補正量を防振レンズ１０４の変位量に変換して防振レンズ駆動部１１６を制御する。ＦＡズーム枠制御部１２１は、ＦＡズーム動作中において、ＦＡズーム動作が終了したときの画角（撮影範囲）をユーザに示すために、ＦＡズーム枠を表示部１１２に表示させる。 The image blur correction control unit 120 calculates the image blur correction amount for correcting the image blur based on the angular velocity information output from the shake detection unit 117. The image blur correction control unit 120 controls the vibration isolation lens driving unit 116 by converting the calculated image blur correction amount into the displacement amount of the vibration isolation lens 104. The FA zoom frame control unit 121 causes the display unit 112 to display the FA zoom frame in order to show the user the angle of view (shooting range) when the FA zoom operation is completed during the FA zoom operation.

図３は、ＦＡズーム枠の例を示す図である。
図３（Ａ）は、ＦＡズーム動作前の画角を示す。ＦＡズーム動作が開始されると、システム制御部１０１が、図３（Ｂ）に示すように、所定の倍率でズームアウト制御すなわち撮影画角を広角側にする制御を実行することで、より広い画角を撮影し、被写体を見つけやすくする。このとき、システム制御部１０１は、ＦＡズーム動作が終了して、ズームイン制御すなわち撮影画角を望遠側にしたときに撮影される画角を、ＦＡズーム枠３００のように表示部１１２の中央部に表示させる。ＦＡズーム枠３００の大きさは、ズームアウトした時点でのズーム位置をもとに計算される。 FIG. 3 is a diagram showing an example of an FA zoom frame.
FIG. 3A shows the angle of view before the FA zoom operation. When the FA zoom operation is started, the system control unit 101 executes zoom-out control, that is, control to set the shooting angle of view to the wide-angle side at a predetermined magnification, as shown in FIG. 3 (B). Take a picture of the angle of view to make it easier to find the subject. At this time, the system control unit 101 sets the angle of view taken when the FA zoom operation is completed and the zooming control, that is, the shooting angle of view is set to the telephoto side, at the center of the display unit 112 like the FA zoom frame 300. To display. The size of the FA zoom frame 300 is calculated based on the zoom position at the time of zooming out.

図４および図５は、ＦＡズーム機能の処理を説明するフローチャートである。
撮像装置１００のＦＡズーム機能は、特に記載がない限り、システム制御部１０１がＦＡズーム制御部１２２を制御することで行われるものとする。また、ＦＡズーム機能の処理は、一定の周期で繰り返し実行される。この例では、ＦＡズーム機能の処理は、ＮＴＳＣ方式のフレームレートに同期した６０Ｈｚの周期で実行されるものとする。 4 and 5 are flowcharts illustrating the processing of the FA zoom function.
Unless otherwise specified, the FA zoom function of the image pickup apparatus 100 is performed by the system control unit 101 controlling the FA zoom control unit 122. Further, the processing of the FA zoom function is repeatedly executed at regular intervals. In this example, it is assumed that the processing of the FA zoom function is executed in a cycle of 60 Hz synchronized with the frame rate of the NTSC system.

まず、図４のＳ１００において、ＦＡズーム制御部１２２が、ＣＺ制御部１１９から現在のズーム位置情報を取得する。ＦＡズーム制御部１２２は、ズームレンズの位置情報に基づいてＣＺ制御部１１９で算出された焦点距離としてズーム位置情報を取得する。ズーム位置情報が、ズーム倍率やズームレンズ位置でもよい。 First, in S100 of FIG. 4, the FA zoom control unit 122 acquires the current zoom position information from the CZ control unit 119. The FA zoom control unit 122 acquires zoom position information as a focal length calculated by the CZ control unit 119 based on the position information of the zoom lens. The zoom position information may be the zoom magnification or the zoom lens position.

次に、Ｓ１０１において、ＦＡズーム制御部１２２が、ＣＺ制御部１１９から被写体距離情報を取得する。続いて、Ｓ１０２において、ＦＡズーム制御部１２２が、後述するカメラ動き判定を行う。被写体がフレームアウトしてしまった場合、一般的に撮影者はカメラをパンニングさせながら被写体を探し出す動作を行う。カメラ動き判定では、ＦＡズーム制御部１２２が、振れ検出部１１７の出力に基づいてカメラの動き量を算出する。ＦＡズーム制御部１２２は、動き量に基づいて、カメラが静止している（被写体をとらえている）か、カメラがパンニング動作（撮影者が被写体を探し出す動作）をしているかを判定する。ＦＡズーム制御部１２２は、動き量が第１の閾値以上の場合に、カメラがパンニング動作をしていると判定する。ＦＡズーム制御部１２２は、動き量が第１の閾値より小さい第２の閾値未満の場合に、カメラが静止していると判定する。 Next, in S101, the FA zoom control unit 122 acquires subject distance information from the CZ control unit 119. Subsequently, in S102, the FA zoom control unit 122 determines the camera movement, which will be described later. When the subject is out of frame, the photographer generally searches for the subject while panning the camera. In the camera movement determination, the FA zoom control unit 122 calculates the amount of camera movement based on the output of the shake detection unit 117. The FA zoom control unit 122 determines whether the camera is stationary (capturing the subject) or the camera is panning (the photographer searches for the subject) based on the amount of movement. The FA zoom control unit 122 determines that the camera is panning when the amount of movement is equal to or greater than the first threshold value. The FA zoom control unit 122 determines that the camera is stationary when the amount of movement is less than the second threshold value smaller than the first threshold value.

Ｓ１０３において、ＦＡズーム制御部１２２が、前回のＦＡズーム動作状態がＦＡズームアウト状態であるか否かを判定する。前回のＦＡズーム動作状態がＦＡズームアウト状態である場合は、ズームアウト制御（第１の制御）の実行後であると判定して、処理が図５のＳ１１１に進む。前回のＦＡズーム動作状態がＦＡズームアウト状態でない場合は、ズームアウト制御を実行するために、処理がＳ１０４に進む。 In S103, the FA zoom control unit 122 determines whether or not the previous FA zoom operation state is the FA zoom out state. When the previous FA zoom operation state is the FA zoom out state, it is determined that the zoom out control (first control) has been executed, and the process proceeds to S111 in FIG. If the previous FA zoom operation state is not the FA zoom out state, the process proceeds to S104 in order to execute the zoom out control.

Ｓ１０４において、ＦＡズーム制御部１２２が、Ｓ１０２でのカメラ動き判定の結果に基づいて、カメラがパンニング動作をしているか否かを判定する。カメラがパンニング動作をしていると判定された場合は、処理がＳ１０５に進む。そして、Ｓ１０５において、ＦＡズーム制御部１２２が、ＦＡズームアウト制御を開始する処理を行う。カメラがパンニング動作をしてないと判定された場合は、ＦＡズーム制御部１２２が、ＦＡズーム機能の処理を終了する。 In S104, the FA zoom control unit 122 determines whether or not the camera is panning based on the result of the camera movement determination in S102. If it is determined that the camera is panning, the process proceeds to S105. Then, in S105, the FA zoom control unit 122 performs a process of starting the FA zoom-out control. If it is determined that the camera is not panning, the FA zoom control unit 122 ends the processing of the FA zoom function.

Ｓ１０５において、ＦＡズーム制御部１２２が、Ｓ１０１で取得した被写体距離情報を記憶する。続いて、ＦＡズーム制御部１２２が、ステップＳ１００で取得したズーム位置情報をズーム戻り位置として記憶する。Ｓ１０５、Ｓ１０６において、ＦＡズーム機能においてＦＡズームアウト制御が開始されるときのズーム位置と被写体距離を保持しておくのは、ズームイン制御したときに到達するズーム位置の算出に用いるためである。 In S105, the FA zoom control unit 122 stores the subject distance information acquired in S101. Subsequently, the FA zoom control unit 122 stores the zoom position information acquired in step S100 as the zoom return position. In S105 and S106, the reason why the zoom position and the subject distance when the FA zoom-out control is started in the FA zoom function is maintained is to be used for calculating the zoom position reached when the zoom-in control is performed.

Ｓ１０７において、ＦＡズーム制御部１２２が、ズームアウト制御の目標位置であるズームアウト目標位置を決定する。ＦＡズーム制御部１２２は、現在のズーム倍率を基準として、所定のズームアウト倍率を乗算することで、ズームアウト目標位置を算出する。ズームアウト倍率は、例えば１／２倍といった固定の倍率でもよいし、メニュー等によって複数のズームアウト倍率の中から、ユーザに選択させるようにしてもよい。 In S107, the FA zoom control unit 122 determines the zoom-out target position, which is the target position for zoom-out control. The FA zoom control unit 122 calculates the zoom-out target position by multiplying a predetermined zoom-out magnification with the current zoom magnification as a reference. The zoom-out magnification may be a fixed magnification such as 1/2 times, or the user may be allowed to select from a plurality of zoom-out magnifications by a menu or the like.

Ｓ１０８において、ＦＡズーム制御部１２２が、ＣＺ制御部１１９にズームアウト制御の開始指示を出す。このときに、ＦＡズーム制御部１２２は、Ｓ１０７で決定したズームアウト目標位置をＣＺ制御部１１９に通知する。ＣＺ制御部１１９は、ズームアウト開始の指示を受け取ると、所定のズーム速度でズームレンズ１０３を駆動し、ズームアウト目標位置に到達するまで、継続して制御を行う。 In S108, the FA zoom control unit 122 issues a zoom-out control start instruction to the CZ control unit 119. At this time, the FA zoom control unit 122 notifies the CZ control unit 119 of the zoom-out target position determined in S107. Upon receiving the instruction to start zooming out, the CZ control unit 119 drives the zoom lens 103 at a predetermined zoom speed and continuously controls until the zoomout target position is reached.

Ｓ１０９において、ＦＡズーム制御部１２２が、ＦＡズーム枠制御部１２１にＦＡズーム枠表示の開始指示を出す。続いて、Ｓ１１０において、ＦＡズーム制御部１２２が、ＦＡズームアウト状態であることを記憶し、処理を終了する。Ｓ１０５からＳ１１０の処理は、ＦＡズームアウト制御開始時に一度だけ行われる。 In S109, the FA zoom control unit 122 issues an FA zoom frame display start instruction to the FA zoom frame control unit 121. Subsequently, in S110, the FA zoom control unit 122 stores that it is in the FA zoom-out state, and ends the process. The processing of S105 to S110 is performed only once when the FA zoom-out control is started.

次に、ＦＡズームアウト制御中の処理について説明する。
図５のＳ１１１において、ＦＡズーム制御部１２２が、Ｓ１０２でのカメラ動き判定の結果に基づいて、カメラが静止しているか否かを判定する。カメラが静止していると判定された場合は、処理がＳ１１２に進む。そして、Ｓ１１２においてＦＡズーム制御部１２２が、ズームイン制御（第２の制御）を開始する処理を行う。カメラが静止していないと判定された場合は、ズームイン制御は開始せずに、処理がＳ１１４に進む。 Next, the processing during FA zoom-out control will be described.
In S111 of FIG. 5, the FA zoom control unit 122 determines whether or not the camera is stationary based on the result of the camera movement determination in S102. If it is determined that the camera is stationary, the process proceeds to S112. Then, in S112, the FA zoom control unit 122 performs a process of starting the zoom-in control (second control). If it is determined that the camera is not stationary, the zoom-in control does not start and the process proceeds to S114.

Ｓ１１２において、ＦＡズーム制御部１２２が、ズームイン制御の目標位置であるズームイン目標位置を決定する。ＦＡズームアウト制御開始時から被写体距離が変化していない場合、ＦＡズーム制御部１２２は、Ｓ１０６で記憶しておいたズーム戻り位置（ＦＡズームアウト制御開始時のズーム位置）をズームイン目標位置として決定する。ＦＡズームアウト制御開始時から被写体距離が変化している場合は、ＦＡズーム制御部１２２は、被写体距離の変化に応じて、ズーム戻り位置を補正することで、ズームイン目標位置を決定する。これにより、被写体距離に応じて、ズームイン制御によって到達する画角を変更することができる。 In S112, the FA zoom control unit 122 determines the zoom-in target position, which is the target position for zoom-in control. When the subject distance has not changed since the start of the FA zoom-out control, the FA zoom control unit 122 determines the zoom return position (zoom position at the start of the FA zoom-out control) stored in S106 as the zoom-in target position. To do. When the subject distance has changed since the start of the FA zoom-out control, the FA zoom control unit 122 determines the zoom-in target position by correcting the zoom return position according to the change in the subject distance. As a result, the angle of view reached by the zoom-in control can be changed according to the subject distance.

Ｓ１１３において、ＦＡズーム制御部１２２が、ＣＺ制御部１１９にズームイン制御の開始指示を出す。このとき、ＦＡズーム制御部は、Ｓ１１２で決定したズームイン目標位置をＣＺ制御部１１９に通知する。ＣＺ制御部１１９は、ズームイン開始の指示を受け取ると、所定のズーム速度でズームレンズ１０３を駆動し、ズームイン目標位置に到達するまで、継続して制御を行う。このとき、ＣＺ制御部１１９は、Ｓ１０８で指示されたズームアウト制御が継続して実行している場合は、ズームアウト制御を中断してズームイン制御に切り替わるように制御する。 In S113, the FA zoom control unit 122 issues a zoom-in control start instruction to the CZ control unit 119. At this time, the FA zoom control unit notifies the CZ control unit 119 of the zoom-in target position determined in S112. Upon receiving the instruction to start zooming in, the CZ control unit 119 drives the zoom lens 103 at a predetermined zoom speed and continuously controls until the zoom-in target position is reached. At this time, when the zoom-out control instructed in S108 is continuously executed, the CZ control unit 119 controls to interrupt the zoom-out control and switch to the zoom-in control.

Ｓ１１４において、ＦＡズーム制御部１２２が、現在ズーム位置がズームイン目標位置に到達したかを判定する。これにより、ズームイン制御の終了（すなわち一連のＦＡズーム動作の完了）を検出する。現在ズーム位置がズームイン目標位置に到達した場合は、処理がＳ１１５に進む。そして、Ｓ１１５において、ＦＡズーム制御部１２２が、ＦＡズームアウト制御を終了する処理を実行する。現在ズーム位置がズームイン目標位置に到達していないと判定された場合は、処理がＳ１１７に進む。そして、ＦＡズーム制御部１２２が、ＦＡズーム動作継続中の処理を行う。 In S114, the FA zoom control unit 122 determines whether the current zoom position has reached the zoom-in target position. As a result, the end of the zoom-in control (that is, the completion of a series of FA zoom operations) is detected. When the current zoom position reaches the zoom-in target position, the process proceeds to S115. Then, in S115, the FA zoom control unit 122 executes a process of ending the FA zoom-out control. If it is determined that the current zoom position has not reached the zoom-in target position, the process proceeds to S117. Then, the FA zoom control unit 122 performs processing while the FA zoom operation is continuing.

Ｓ１１５において、ＦＡズーム制御部１２２が、ＦＡズーム枠制御部１２１にＦＡズーム枠表示の終了指示を出す。そして、処理がＳ１１６に進む。Ｓ１１６において、ＦＡズーム制御部１２２が、ＦＡズームアウト状態が終了したことを記憶する。そして、処理が終了する。Ｓ１１４でズームイン制御が終了していないと判定された場合は、処理がＳ１１７に進む。そして、ＦＡズーム制御部１２２が、ＦＡズーム動作継続中の処理を行う。 In S115, the FA zoom control unit 122 issues an FA zoom frame display end instruction to the FA zoom frame control unit 121. Then, the process proceeds to S116. In S116, the FA zoom control unit 122 stores that the FA zoom-out state has ended. Then, the process ends. If it is determined in S114 that the zoom-in control has not been completed, the process proceeds to S117. Then, the FA zoom control unit 122 performs processing while the FA zoom operation is continuing.

Ｓ１１７において、ＦＡズーム制御部１２２が、Ｓ１０６で記憶しておいたズーム戻り位置の補正を行う。この処理は本実施形態の撮像装置において、最も特徴的な処理であり、ＦＡズーム動作中に被写体距離が変化した場合であっても、ＦＡズーム動作の前後での、主となる被写体の画像上の大きさを一定に保つようにする処理である。 In S117, the FA zoom control unit 122 corrects the zoom return position stored in S106. This process is the most characteristic process in the image pickup apparatus of the present embodiment, and even if the subject distance changes during the FA zoom operation, it is displayed on the image of the main subject before and after the FA zoom operation. It is a process to keep the size of.

ＦＡズーム制御部１２２は、Ｓ１０６で記憶したズーム戻り位置Ｚ＿ｏｌｄ、Ｓ１０５で記憶した被写体距離Ｄ＿ｏｌｄ、Ｓ１０１で取得した現在の被写体距離Ｌ＿ｎｏｗに基づいて、式１を用いて、新たなズーム戻り位置Ｚ＿ｎｅｗを算出する。
Ｚ＿ｎｅｗ＝Ｚ＿ｏｌｄ×Ｌ＿ｎｏｗ÷Ｌ＿ｏｌｄ・・・（式１） The FA zoom control unit 122 uses Equation 1 to set a new zoom return position Z_new based on the zoom return position Z_old stored in S106, the subject distance D_old stored in S105, and the current subject distance L_now acquired in S101. calculate.
Z_new = Z_old × L_now ÷ L_old ... (Equation 1)

ＦＡズーム制御部１２２は、Ｓ１１２、Ｓ１１３で行われるズームイン目標位置の決定において、新たなズーム戻り位置Ｚ＿ｎｅｗをズームイン目標位置とすることで、ＦＡズーム動作終了時のズーム位置を補正する。すなわち、ＦＡズーム制御部１２２は、ズームアウト制御開始時の撮影画角に、ズームアウト制御開始時の被写体距離とズームイン制御開始時の被写体距離の比率を乗じることによって、ズームイン制御によって到達する撮影画角を決定する。 The FA zoom control unit 122 corrects the zoom position at the end of the FA zoom operation by setting the new zoom return position Z_new as the zoom-in target position in the determination of the zoom-in target position performed in S112 and S113. That is, the FA zoom control unit 122 multiplies the shooting angle of view at the start of the zoom-out control by the ratio of the subject distance at the start of the zoom-out control and the subject distance at the start of the zoom-out control to reach the shot image reached by the zoom-in control. Determine the angle.

Ｓ１１８において、ＦＡズーム制御部１２２が、ＦＡズーム枠のサイズを算出する。ＦＡズーム枠は、一連のＦＡズーム動作が完了したときに撮影される画角を示す。ＦＡズーム制御部１２２は、ズーム戻り位置と現在のズーム位置との比率に基づいて、ＦＡズーム枠のサイズを算出する。 In S118, the FA zoom control unit 122 calculates the size of the FA zoom frame. The FA zoom frame indicates the angle of view taken when a series of FA zoom operations are completed. The FA zoom control unit 122 calculates the size of the FA zoom frame based on the ratio of the zoom return position to the current zoom position.

本実施形態では、ＦＡズーム動作中の被写体距離の変化に応じてズーム戻り位置を補正するようにする。したがって、ＦＡズーム枠も同様に被写体距離の変化に応じてサイズを補正する必要がある。被写体距離の変化は、Ｓ１１７で行われる新たに補正されたズーム戻り位置Ｚ＿ｎｅｗに反映されている。したがって、ＦＡズーム枠のサイズの計算においてもズーム戻り位置Ｚ＿ｎｅｗを用いることで、被写体距離の変化を考慮したサイズの算出が可能である。 In the present embodiment, the zoom return position is corrected according to the change in the subject distance during the FA zoom operation. Therefore, it is also necessary to correct the size of the FA zoom frame according to the change in the subject distance. The change in the subject distance is reflected in the newly corrected zoom return position Z_new performed in S117. Therefore, by using the zoom return position Z_new in the calculation of the size of the FA zoom frame, it is possible to calculate the size in consideration of the change in the subject distance.

ＦＡズーム枠の横方向のサイズをＳｘ、縦方向のサイズをＳｙとする。ＦＡズーム制御部１２２は、Ｓｘ、Ｓｙを以下の式２、式３により算出する。
Ｓｘ＝Ｓｘ＿ｒｅｆ×Ｚ＿ｎｏｗ÷Ｚ＿ｎｅｗ・・・（式２）
Ｓｙ＝Ｓｙ＿ｒｅｆ×Ｚ＿ｎｏｗ÷Ｚ＿ｎｅｗ・・・（式３） The horizontal size of the FA zoom frame is Sx, and the vertical size is Sy. The FA zoom control unit 122 calculates Sx and Sy by the following equations 2 and 3.
Sx = Sx_ref × Z_now ÷ Z_new ... (Equation 2)
Sy = Sy_ref × Z_now ÷ Z_new ・・・ (Equation 3)

Ｓｘ＿ｒｅｆ、Ｓｙ＿ｒｅｆは、ＦＡズーム枠の基準サイズ（ズームアウト１倍のときのサイズ）である。例えば、画像サイズが１９２０×１０８０のフルＨＤの場合は、Ｓｘ＿ｒｅｆ＝１９２０、Ｓｙ＿ｒｅｆ＝１０８０である。また、Ｚ＿ｎｏｗは、ステップＳ１００で取得した現在のズーム位置である。以上述べたように、撮像装置１００は、ＦＡズーム動作中に被写体距離が変化した場合であっても，ＦＡズーム動作の前後での画面上の被写体の大きさを一定とし、ＦＡズーム動作中のＦＡズーム枠表示をＦＡズーム動作終了後の画角に合わせるように制御する。 Sx_ref and Sy_ref are reference sizes of the FA zoom frame (size when the zoom out is 1x). For example, in the case of full HD with an image size of 1920 × 1080, Sx_ref = 1920 and Sy_ref = 1080. Further, Z_now is the current zoom position acquired in step S100. As described above, the image pickup apparatus 100 keeps the size of the subject on the screen constant before and after the FA zoom operation even when the subject distance changes during the FA zoom operation, and during the FA zoom operation. The FA zoom frame display is controlled to match the angle of view after the FA zoom operation is completed.

図６および図７は、図４のステップＳ１０２におけるカメラ動き判定の処理を説明するフローチャートである。
図６のＳ２００乃至Ｓ２０８は、水平方向のカメラ動き判定処理である。Ｓ２００において、ＦＡズーム制御部１２２が、振れ検出部１１７から水平角速度を取得する。続いて、Ｓ２０１において、ＦＡズーム制御部１２２が、水平角速度を一階積分することで水平角度を算出する。ここで行われる積分処理は、一般的に知られている１次ＩＩＲフィルタ等の不完全積分とする。これにより、振れ検出部１１７のオフセットにより角度が飽和してしまうのを防止する。Ｓ２０１において、ＦＡズーム制御部１２２が、水平角度を算出して、記憶する。 6 and 7 are flowcharts illustrating the process of determining the camera movement in step S102 of FIG.
S200 to S208 of FIG. 6 are horizontal camera movement determination processes. In S200, the FA zoom control unit 122 acquires the horizontal angular velocity from the runout detection unit 117. Subsequently, in S201, the FA zoom control unit 122 calculates the horizontal angle by first-order integrating the horizontal angular velocity. The integration process performed here is an incomplete integration of a generally known first-order IIR filter or the like. This prevents the angle from being saturated due to the offset of the runout detection unit 117. In S201, the FA zoom control unit 122 calculates and stores the horizontal angle.

次に、Ｓ２０２において、ＦＡズーム制御部１２２が、水平角速度が所定の閾値（角速度）より小さいかを判定する。水平角速度が閾値より小さい場合は、ＦＡズーム制御部１２２は、水平方向のカメラの動きは静止していると判定して、処理がＳ２０３に進む。水平角速度が閾値以上である場合は、ＦＡズーム制御部１２２は、水平方向のカメラの動きは静止していないと判定する。そして、処理がＳ２０５に進み、パンニング判定のための処理が行われる。 Next, in S202, the FA zoom control unit 122 determines whether the horizontal angular velocity is smaller than a predetermined threshold value (angular velocity). When the horizontal angular velocity is smaller than the threshold value, the FA zoom control unit 122 determines that the movement of the camera in the horizontal direction is stationary, and the process proceeds to S203. When the horizontal angular velocity is equal to or greater than the threshold value, the FA zoom control unit 122 determines that the movement of the camera in the horizontal direction is not stationary. Then, the process proceeds to S205, and the process for panning determination is performed.

Ｓ２０３において、ＦＡズーム制御部１２２が、Ｓ２０１で演算される水平角度及びその演算に用いられるＩＩＲフィルタの中間演算子をクリアする。この処理を行うのは、カメラが静止している状態を基準として角度の演算を行うためである。Ｓ２０１において、ＦＡズーム制御部１２２が、水平角度をクリアして、処理がＳ２０４に進む。Ｓ２０４において、ＦＡズーム制御部１２２が、水平方向のカメラの動きを静止状態として記憶する。そして、処理が図７のＳ２０９に進む。 In S203, the FA zoom control unit 122 clears the horizontal angle calculated in S201 and the intermediate operator of the IIR filter used in the calculation. This process is performed in order to calculate the angle with reference to the state in which the camera is stationary. In S201, the FA zoom control unit 122 clears the horizontal angle, and the process proceeds to S204. In S204, the FA zoom control unit 122 stores the movement of the camera in the horizontal direction as a stationary state. Then, the process proceeds to S209 of FIG.

Ｓ２０５において、ＦＡズーム制御部１２２が、水平角速度が所定の閾値（角速度）より大きいかを判定する。ここでの閾値は、ステップＳ２０２の判定に用いられる閾値より十分に大きい値に設定されている。水平角速度が閾値より大きいと判定された場合は、処理がＳ２０６に進む。そして、ＦＡズーム制御部１２２が、水平角度の判定を行う。水平角速度が閾値以下である場合は、処理がＳ２０８に進む。 In S205, the FA zoom control unit 122 determines whether the horizontal angular velocity is larger than a predetermined threshold value (angular velocity). The threshold value here is set to a value sufficiently larger than the threshold value used for the determination in step S202. If it is determined that the horizontal angular velocity is larger than the threshold value, the process proceeds to S206. Then, the FA zoom control unit 122 determines the horizontal angle. If the horizontal angular velocity is less than or equal to the threshold value, the process proceeds to S208.

Ｓ２０６において、ＦＡズーム制御部１２２が、水平角度が所定の閾値（角度）より大きいかを判定する。水平角度が閾値より大きいと判定された場合は、処理がＳ２０７に進む。水平角度が閾値以下である場合は、処理がＳ２０８に進む。 In S206, the FA zoom control unit 122 determines whether the horizontal angle is larger than a predetermined threshold value (angle). If it is determined that the horizontal angle is larger than the threshold value, the process proceeds to S207. If the horizontal angle is less than or equal to the threshold value, the process proceeds to S208.

Ｓ２０７において、ＦＡズーム制御部１２２が、水平方向のカメラの動きをパンニングであると判定して記憶する。また、Ｓ２０８において、ＦＡズーム制御部１２２が、水平方向のカメラの動きを、前回判定時の結果を保持するように記憶する。そして、処理が図７のＳ２０９に進む。 In S207, the FA zoom control unit 122 determines that the movement of the camera in the horizontal direction is panning and stores it. Further, in S208, the FA zoom control unit 122 stores the movement of the camera in the horizontal direction so as to retain the result at the time of the previous determination. Then, the process proceeds to S209 of FIG.

図７のＳ２０９乃至Ｓ２１７は、垂直方向のカメラ動き判定処理である。Ｓ２０９において、ＦＡズーム制御部１２２が、振れ検出部１１７から垂直角速度を取得する。続いて、Ｓ２１０において、ＦＡズーム制御部１２２が、角速度を一階積分することで垂直角度を算出する。Ｓ２１０においても、水平角度の算出と同様に、１次ＩＩＲフィルタ等の不完全積分を適用する。Ｓ２１０において、ＦＡズーム制御部１２２が、垂直角度を算出して記憶し、処理がＳ２１１に進む。 S209 to S217 in FIG. 7 are vertical camera movement determination processes. In S209, the FA zoom control unit 122 acquires the vertical angular velocity from the runout detection unit 117. Subsequently, in S210, the FA zoom control unit 122 calculates the vertical angle by first-order integrating the angular velocity. In S210 as well, an infinite integral such as a first-order IIR filter is applied in the same manner as in the calculation of the horizontal angle. In S210, the FA zoom control unit 122 calculates and stores the vertical angle, and the process proceeds to S211.

Ｓ２１１において、ＦＡズーム制御部１２２が、垂直角速度が所定の閾値（角速度）より小さいかを判定する。垂直角速度が閾値より小さい場合は、ＦＡズーム制御部１２２が、垂直方向のカメラの動きは静止していると判定して、処理がＳ２１２に進む。垂直角速度が閾値以上である場合は、処理がＳ２１４に進む。そして、パンニング判定のための処理が行われる。 In S211 the FA zoom control unit 122 determines whether the vertical angular velocity is smaller than a predetermined threshold value (angular velocity). If the vertical angular velocity is smaller than the threshold value, the FA zoom control unit 122 determines that the movement of the camera in the vertical direction is stationary, and the process proceeds to S212. If the vertical angular velocity is equal to or greater than the threshold value, the process proceeds to S214. Then, a process for determining panning is performed.

Ｓ２１２において、ＦＡズーム制御部１２２が、Ｓ２１０で演算される垂直角度及びその演算に用いられるＩＩＲフィルタの中間演算子をクリアする。続いて、Ｓ２１３において、ＦＡズーム制御部１２２が、垂直方向のカメラの動きを静止状態として記憶し、処理がＳ２１８に進む。 In S212, the FA zoom control unit 122 clears the vertical angle calculated in S210 and the intermediate operator of the IIR filter used in the calculation. Subsequently, in S213, the FA zoom control unit 122 stores the movement of the camera in the vertical direction as a stationary state, and the process proceeds to S218.

Ｓ２１４において、ＦＡズーム制御部１２２が、垂直角速度が所定の閾値（角速度）より大きいかを判定する。Ｓ２１４で用いる閾値は、Ｓ２１１の判定処理に用いられる閾値より、十分に大きい値に設定されている。垂直角速度が閾値より大きいと判定された場合は、処理がＳ２１５に進む。そして、ＦＡズーム制御部１２２が、垂直角度の判定を行う。垂直角速度が閾値以下であると判定された場合は、処理がＳ２１７に進む。 In S214, the FA zoom control unit 122 determines whether the vertical angular velocity is larger than a predetermined threshold value (angular velocity). The threshold value used in S214 is set to a value sufficiently larger than the threshold value used in the determination process of S211. If it is determined that the vertical angular velocity is greater than the threshold value, the process proceeds to S215. Then, the FA zoom control unit 122 determines the vertical angle. If it is determined that the vertical angular velocity is equal to or less than the threshold value, the process proceeds to S217.

Ｓ２１５において、ＦＡズーム制御部１２２が、垂直角度が所定の閾値（角度）より大きいかを判定する。垂直角度が閾値より大きい場合は、処理がＳ２１６に進む。垂直角度が閾値以下である場合は、処理がＳ２１７に進む。 In S215, the FA zoom control unit 122 determines whether the vertical angle is larger than a predetermined threshold value (angle). If the vertical angle is greater than the threshold, the process proceeds to S216. If the vertical angle is less than or equal to the threshold value, the process proceeds to S217.

Ｓ２１６において、ＦＡズーム制御部１２２が、垂直方向のカメラの動きをパンニングとして判定して記憶し、処理がＳ２１８に進む。また、Ｓ２１７において、ＦＡズーム制御部１２２が、垂直方向のカメラの動きを、前回判定時の結果を保持するように記憶し、処理がＳ２１８に進む。 In S216, the FA zoom control unit 122 determines and stores the movement of the camera in the vertical direction as panning, and the process proceeds to S218. Further, in S217, the FA zoom control unit 122 stores the movement of the camera in the vertical direction so as to retain the result at the time of the previous determination, and the process proceeds to S218.

Ｓ２１８からの処理では、水平方向のカメラの動き判定結果及び垂直方向のカメラの動き判定結果を参照して、最終的なカメラ動き判定を行う。Ｓ２１８において、ＦＡズーム制御部１２２が、水平方向のカメラ動き判定結果が静止状態であるかを判定する。水平方向のカメラ動き判定結果が静止状態である場合は、処理がＳ２１９に進む。水平方向のカメラ動き判定結果が静止状態でない場合は、処理がＳ２１１に進む。 In the process from S218, the final camera motion determination is performed with reference to the horizontal camera motion determination result and the vertical camera motion determination result. In S218, the FA zoom control unit 122 determines whether the horizontal camera movement determination result is in the stationary state. If the camera movement determination result in the horizontal direction is in the stationary state, the process proceeds to S219. If the camera movement determination result in the horizontal direction is not in the stationary state, the process proceeds to S211.

Ｓ２１９において、ＦＡズーム制御部１２２が、垂直方向のカメラ動き判定結果が静止状態であるかを判定する。垂直方向のカメラ動き判定結果が静止状態である場合は、処理がＳ２２０に進む。垂直方向のカメラ動き判定結果が静止状態でない場合は、処理がＳ２１１に進む。 In S219, the FA zoom control unit 122 determines whether the camera movement determination result in the vertical direction is in the stationary state. If the camera movement determination result in the vertical direction is in the stationary state, the process proceeds to S220. If the camera movement determination result in the vertical direction is not in the stationary state, the process proceeds to S211.

Ｓ２２０において、ＦＡズーム制御部１２２が、最終的なカメラ動き判定を静止状態として記憶し、処理を終了する。また、Ｓ２２１において、ＦＡズーム制御部１２２が、最終的なカメラ動き判定をパンニング状態として記憶し、処理を終了する。以上のようにして、ＦＡズーム制御部１２２は、振れ検出部１１７から取得した角速度情報に基づいて、カメラの動き判定を行う。 In S220, the FA zoom control unit 122 stores the final camera motion determination as a stationary state, and ends the process. Further, in S221, the FA zoom control unit 122 stores the final camera motion determination as a panning state, and ends the process. As described above, the FA zoom control unit 122 determines the movement of the camera based on the angular velocity information acquired from the shake detection unit 117.

図８は、移動する被写体の撮影例を説明する図である。
図８に示すように、撮像装置１００が主被写体である自動車を撮影しようとしたとき、撮影者は画角内に主被写体が収まるように、主被写体の動きに合わせてカメラを動かす動作を行う（パンニング動作）。このとき、焦点距離が望遠側であったり、被写体の動きが速い場合には、常に画角内に収めるのは困難であり、フレームアウトして被写体を見失う場合がある。そこで、撮像装置１００は、ＦＡズーム機能を動作して、カメラの動きから撮影者が被写体を探している動作をしていると判断した場合は、ズームアウトして画角を広くすることにより被写体を見つけやすくする。 FIG. 8 is a diagram illustrating a shooting example of a moving subject.
As shown in FIG. 8, when the image pickup device 100 tries to photograph a car as a main subject, the photographer moves the camera according to the movement of the main subject so that the main subject fits within the angle of view. (Panning operation). At this time, if the focal length is on the telephoto side or the subject moves quickly, it is difficult to always keep the subject within the angle of view, and the subject may be out of frame and lose sight of the subject. Therefore, when the image pickup apparatus 100 operates the FA zoom function and determines from the movement of the camera that the photographer is searching for the subject, the image pickup device 100 zooms out to widen the angle of view of the subject. Make it easier to find.

図９および図１０は、主被写体が移動した場合のＦＡズーム機能の動作を説明する図である。
図８示す主被写体が（Ａ）の位置から（Ｂ）の位置に移動した場合に、撮影者が主被写体を追いかけるように撮影した場合の、ＦＡズーム機能の動作を説明する。図９（Ａ）は、図８の（Ａ）の位置にある被写体を撮影している状態において、表示部１１２に表示される画像を示す。カメラの動きは静止状態として判定されている。 9 and 10 are diagrams for explaining the operation of the FA zoom function when the main subject moves.
The operation of the FA zoom function when the photographer takes a picture so as to chase after the main subject when the main subject shown in FIG. 8 moves from the position (A) to the position (B) will be described. FIG. 9A shows an image displayed on the display unit 112 in a state where the subject at the position of FIG. 8A is being photographed. The movement of the camera is determined to be stationary.

図９（Ｂ）は、図８の（Ａ）の位置の主被写体が（Ｂ）の位置に向かって動き始めたときの、表示部１１２に表示される画像である。主被写体を追いかけるように撮影者がカメラを動かすので、ＦＡズーム制御部１２２は、カメラの動きがパンニング状態であると判定し、ＦＡズームアウト制御が開始する。ＦＡズーム制御部１２２は、図９（Ｂ）に示すように、ＦＡズーム動作終了時の画角を示すＦＡズーム枠３００を表示する。 9 (B) is an image displayed on the display unit 112 when the main subject at the position (A) in FIG. 8 starts to move toward the position (B). Since the photographer moves the camera so as to chase the main subject, the FA zoom control unit 122 determines that the movement of the camera is in the panning state, and the FA zoom-out control starts. As shown in FIG. 9B, the FA zoom control unit 122 displays the FA zoom frame 300 indicating the angle of view at the end of the FA zoom operation.

主被写体が、図８の（Ｂ）の位置に到達して静止すると、ＦＡズーム制御部１２２は、ＦＡズームイン制御を開始する。図８の（Ｂ）の位置では、撮像装置１００と主被写体との距離は、図８の（Ａ）の位置に比べて近づいている。このとき、ＦＡズーム制御部１２２は、被写体距離の変化に応じて、ＦＡズーム動作終了後のズーム位置と、ＦＡズーム枠３００の大きさを変更する。具体的には、ＦＡズーム制御部１２２は、ＦＡズーム動作終了時のズーム位置を、ＦＡズーム動作開始時のズーム位置より広角側に変更する。また、ＦＡズーム制御部１２２は、変更されたズーム位置の撮影画角に合うように、ＦＡズーム枠３００を大きくする。したがって、表示部１１２に表示される画像は、図９（Ｃ）のようになる。図９（Ｄ）は、カメラの動きが静止状態と判定され、ズームイン後にＦＡズーム動作が終了した時に表示されている画像を示す。図９（Ｃ）のＦＡズーム枠３００が示す撮影範囲は、図９（Ｄ）の画角と一致する。 When the main subject reaches the position (B) in FIG. 8 and stands still, the FA zoom control unit 122 starts the FA zoom-in control. At the position (B) in FIG. 8, the distance between the image pickup device 100 and the main subject is closer than the position (A) in FIG. At this time, the FA zoom control unit 122 changes the zoom position after the FA zoom operation is completed and the size of the FA zoom frame 300 according to the change in the subject distance. Specifically, the FA zoom control unit 122 changes the zoom position at the end of the FA zoom operation to a wider angle side than the zoom position at the start of the FA zoom operation. Further, the FA zoom control unit 122 enlarges the FA zoom frame 300 so as to match the shooting angle of view at the changed zoom position. Therefore, the image displayed on the display unit 112 is as shown in FIG. 9C. FIG. 9D shows an image displayed when the movement of the camera is determined to be in a stationary state and the FA zoom operation is completed after zooming in. The shooting range indicated by the FA zoom frame 300 in FIG. 9 (C) coincides with the angle of view in FIG. 9 (D).

すなわち、ＦＡズーム制御部１２２は、ズームイン制御開始時（第２の制御開始時）の被写体距離が、ズームアウト制御開始時（第１の制御開始時）の被写体距離より近い場合は、以下の制御を実行する。ＦＡズーム制御部１２２は、ズームイン制御によって到達する画角を、ズームアウト制御開始時の画角より広角側になるように制御する。これにより、被写体距離が変化した場合であっても、ＦＡズーム制御の前後で画面上の被写体の大きさを一定に保つことができる。 That is, when the subject distance at the start of zoom-in control (at the start of the second control) is closer than the subject distance at the start of the zoom-out control (at the start of the first control), the FA zoom control unit 122 controls the following. To execute. The FA zoom control unit 122 controls the angle of view reached by the zoom-in control so that it is on the wide-angle side of the angle of view at the start of the zoom-out control. As a result, the size of the subject on the screen can be kept constant before and after the FA zoom control even when the subject distance changes.

次に、図８に示す主被写体が（Ａ）の位置から（Ｃ）の位置に移動した場合に、撮影者が主被写体を追いかけるように撮影した場合の、ＦＡズーム機能の動作を説明する。図１０（Ａ）は、図８の（Ａ）の位置にある被写体を撮影している状態において、表示部１１２に表示される画像を示す。カメラの動きは静止状態として判定されている。 Next, when the main subject shown in FIG. 8 moves from the position (A) to the position (C), the operation of the FA zoom function when the photographer shoots to chase the main subject will be described. FIG. 10A shows an image displayed on the display unit 112 in a state where the subject at the position of FIG. 8A is being photographed. The movement of the camera is determined to be stationary.

図１０（Ｂ）は、図８の（Ａ）の位置の主被写体が（Ｃ）の位置に向かって動き始めたときの、表示部１１２に表示される画像である。主被写体を追いかけるように撮影者がカメラを動かすので、ＦＡズーム制御部１２２は、カメラの動きがパンニング状態であると判定し、ＦＡズームアウト制御を開始する。ＦＡズーム制御部１２２は、図１０（Ｂ）に示すように、ＦＡズーム動作終了時の画角を示すＦＡズーム枠３００を表示する。 10 (B) is an image displayed on the display unit 112 when the main subject at the position (A) in FIG. 8 starts to move toward the position (C). Since the photographer moves the camera so as to chase the main subject, the FA zoom control unit 122 determines that the movement of the camera is in the panning state, and starts the FA zoom-out control. As shown in FIG. 10B, the FA zoom control unit 122 displays the FA zoom frame 300 indicating the angle of view at the end of the FA zoom operation.

主被写体が、図８の（Ｃ）の位置に到達して静止すると、ＦＡズーム制御部１２２は、ＦＡズームイン制御を開始する。図８の（Ｃ）の位置では、撮像装置１００と主被写体との距離は、図８の（Ａ）の位置に比べて遠ざかっている。このとき、ＦＡズーム制御部１２２は、被写体距離の変化に応じて、ＦＡズーム動作終了後のズーム位置と、ＦＡズーム枠３００の大きさを変更する。具体的には、ＦＡズーム制御部１２２は、ＦＡズーム動作終了時のズーム位置を、ＦＡズーム動作開始時のズーム位置より望遠側に変更する。また、ＦＡズーム制御部１２２は、変更されたズーム位置の撮影画角に合うように、ＦＡズーム枠３００を小さくする。したがって、表示部１１２に表示される画像は、図１０（Ｃ）のようになる。図１０（Ｄ）は、カメラの動きが静止状態と判定され、ズームイン後にＦＡズーム動作が終了した時に表示されている画像を示す。図１０（Ｃ）のＦＡズーム枠３００が示す撮影範囲は、図１０（Ｄ）の画角と一致する。 When the main subject reaches the position (C) in FIG. 8 and stands still, the FA zoom control unit 122 starts the FA zoom-in control. At the position (C) in FIG. 8, the distance between the image pickup device 100 and the main subject is farther than the position (A) in FIG. At this time, the FA zoom control unit 122 changes the zoom position after the FA zoom operation is completed and the size of the FA zoom frame 300 according to the change in the subject distance. Specifically, the FA zoom control unit 122 changes the zoom position at the end of the FA zoom operation to the telephoto side from the zoom position at the start of the FA zoom operation. Further, the FA zoom control unit 122 reduces the FA zoom frame 300 so as to match the shooting angle of view at the changed zoom position. Therefore, the image displayed on the display unit 112 is as shown in FIG. 10 (C). FIG. 10D shows an image displayed when the movement of the camera is determined to be in a stationary state and the FA zoom operation is completed after zooming in. The shooting range indicated by the FA zoom frame 300 in FIG. 10 (C) coincides with the angle of view in FIG. 10 (D).

すなわち、ＦＡズーム制御部１２２は、ズームイン制御開始時の被写体距離が、ズームアウト制御開始時の被写体距離より遠い場合は、以下の制御を実行する。ＦＡズーム制御部１２２は、ズームイン制御によって到達する画角を、ズームアウト制御開始時の画角より望遠側になるように制御する。これにより、被写体距離が変化した場合であっても、ＦＡズーム制御の前後で画面上の被写体の大きさを一定に保つことができる。 That is, when the subject distance at the start of the zoom-in control is farther than the subject distance at the start of the zoom-out control, the FA zoom control unit 122 executes the following control. The FA zoom control unit 122 controls the angle of view reached by the zoom-in control so that it is on the telephoto side of the angle of view at the start of the zoom-out control. As a result, the size of the subject on the screen can be kept constant before and after the FA zoom control even when the subject distance changes.

以上説明したように、撮像装置１００は、カメラの動きを検出し、カメラを大きく動かされた場合には被写体を探していると判断して、自動でズームアウト制御を行う。ズームアウトした状態でカメラが静止した場合は、被写体を捉え直したと判断してズームイン制御を行う。このような制御を行うことで、被写体を見失った際に迅速に被写体を捉え直すことが可能となる。撮像装置１００は、ズームアウト制御が開始されてからズームイン制御が終了するまでの間、ズームイン制御によって到達する撮影画角を示すＦＡズーム枠を撮影画像に重畳して表示する。そして、撮像装置１００は、ズームアウトした状態で被写体距離が変化した場合は、被写体距離の変化に応じて、ズームイン制御終了時のズーム位置と、ＦＡズーム枠の大きさとを変更する。このような制御を行う事で、被写体を見失ったときに被写体の距離が変化した場合であっても、被写体を捉えたときの画面上の被写体の大きさを一定に保つことが可能となり、撮影者が手動で画角を調整する煩わしさを低減することができる。 As described above, the image pickup apparatus 100 detects the movement of the camera, determines that the subject is being searched for when the camera is moved significantly, and automatically performs zoom-out control. If the camera stands still in the zoomed-out state, it is determined that the subject has been re-captured and zoom-in control is performed. By performing such control, it is possible to quickly recapture the subject when the subject is lost. From the start of the zoom-out control to the end of the zoom-in control, the image pickup apparatus 100 superimposes and displays the FA zoom frame indicating the shooting angle of view reached by the zoom-in control on the shot image. Then, when the subject distance changes in the zoomed-out state, the image pickup apparatus 100 changes the zoom position at the end of the zoom-in control and the size of the FA zoom frame according to the change in the subject distance. By performing such control, even if the distance of the subject changes when the subject is lost, the size of the subject on the screen when the subject is captured can be kept constant, and shooting can be performed. It is possible to reduce the troublesomeness of the person manually adjusting the angle of view.

（実施例２）
図１１および図１２は、実施例２におけるＦＡズーム機能の処理を説明するフローチャートである。
実施例２の撮像装置の構成は、図１に示す撮像装置１００と同様である。また、図１１および図１２のフローチャートのステップのうち、図４および図５のフローチャートのステップと同一の符号が付されているステップは、図４および図５のフローチャートのステップと同様である。 (Example 2)
11 and 12 are flowcharts illustrating the processing of the FA zoom function in the second embodiment.
The configuration of the image pickup apparatus of the second embodiment is the same as that of the image pickup apparatus 100 shown in FIG. Further, among the steps of the flowcharts of FIGS. 11 and 12, the steps having the same reference numerals as the steps of the flowcharts of FIGS. 4 and 5 are the same as the steps of the flowcharts of FIGS. 4 and 5.

実施例２の撮像装置は、ピント状態を判定し、ピントが大きくずれている場合は、Ｓ１１７、Ｓ１１８のズーム戻り位置補正処理とＦＡズーム枠サイズの計算処理を行わないようにする。実施例１では、撮像装置１００では、ズームレンズ１０３とフォーカスレンズ１０５の位置情報を基に、図２のフォーカスカムテーブルで補間演算することによって被写体距離を算出する。しかし、フォーカスカムテーブルで求められる被写体距離は、主被写体に合焦している場合にのみ有効である。したがって、ピントが合焦状態から大きく外れている（大ボケ）の状態では、被写体距離の信頼性が低くなるので、それに基づいてズーム戻り位置、ＦＡズーム枠サイズの算出を行うと誤差が大きくなる場合がある。実施例２では、ＦＡズーム制御部１２２では、ピント状態を判定し、ズーム戻り位置補正処理とＦＡズーム枠サイズ計算処理に制限をかける。 The image pickup apparatus of the second embodiment determines the focus state, and if the focus is significantly out of focus, the zoom return position correction process of S117 and S118 and the calculation process of the FA zoom frame size are not performed. In the first embodiment, the image pickup apparatus 100 calculates the subject distance by performing interpolation calculation with the focus cam table of FIG. 2 based on the position information of the zoom lens 103 and the focus lens 105. However, the subject distance obtained by the focus cam table is effective only when the main subject is in focus. Therefore, when the focus is largely out of focus (large blur), the reliability of the subject distance is low, and if the zoom return position and FA zoom frame size are calculated based on this, the error will be large. In some cases. In the second embodiment, the FA zoom control unit 122 determines the focus state and limits the zoom return position correction process and the FA zoom frame size calculation process.

図１１のＳ３００において、ＡＦ制御部１１８が、ピント状態（合焦点状態）を判定する。ＡＦ制御部１１８は、映像信号処理部１０７から得られる画像のコントラスト評価値を用いて、ピント状態を判定する。ＡＦ制御部１１８、フォーカスレンズ１０５の位置を微小に変化させながらコントラスト評価値をスキャンし、コントラスト評価値が最も高かった位置を合焦位置としてフォーカスレンズ１０５を制御する。このときのコントラストピーク値を記憶しておき、コントラスト評価値とピーク値の割合を算出し、その割合が閾値より小さかった場合は、大ボケ状態として判定する。 In S300 of FIG. 11, the AF control unit 118 determines the focus state (focused state). The AF control unit 118 determines the focus state by using the contrast evaluation value of the image obtained from the video signal processing unit 107. The contrast evaluation value is scanned while the positions of the AF control unit 118 and the focus lens 105 are slightly changed, and the focus lens 105 is controlled with the position where the contrast evaluation value is the highest as the focusing position. The contrast peak value at this time is stored, the ratio between the contrast evaluation value and the peak value is calculated, and if the ratio is smaller than the threshold value, it is determined as a large blur state.

また、実施例２では、図１２のＳ３０１において、ＦＡズーム制御部１２２が、カメラの動き判定が静止状態であり、かつピント状態が大ボケでないかを判定する。カメラの動き判定が静止状態であり、かつピント状態が大ボケでない場合は、処理がＳ１１２に進み、ズームイン制御を開始する。カメラ動き判定が静止状態でないか、静止状態であっても、ピント状態が大ボケである場合は、Ｓ１１４に進み、ズームイン制御を制限する。これは、ズーム位置が望遠になるほど被写界深度が狭くなり、ピントがボケやすくなるので、大ボケ状態でズームインしてしまうと、よりピントが合わせづらくなるためである。したがって、ＦＡズーム制御部１２２は、大ボケ状態ではズームアウト状態のままとし、その状態でＡＦ動作を継続させる。すなわち、ＦＡズーム制御部１２２は、撮影画像のピントが合っていない状態の場合に、ズームイン制御を制限する。 Further, in the second embodiment, in S301 of FIG. 12, the FA zoom control unit 122 determines whether the motion determination of the camera is in a stationary state and the focus state is not a large blur. If the movement determination of the camera is in a stationary state and the focus state is not a large blur, the process proceeds to S112 and the zoom-in control is started. If the camera movement determination is not in the stationary state, or even if the camera movement determination is in the stationary state, if the focus state is large blur, the process proceeds to S114 to limit the zoom-in control. This is because the depth of field becomes narrower as the zoom position becomes telephoto, and the focus becomes easier to blur. Therefore, if the zoom is made in a large blur state, it becomes more difficult to focus. Therefore, the FA zoom control unit 122 keeps the zoom-out state in the large blur state, and continues the AF operation in that state. That is, the FA zoom control unit 122 limits the zoom-in control when the captured image is out of focus.

また、実施例２では、Ｓ１１４において、現在ズーム位置がズームイン目標位置で無かった場合（即ちＦＡズーム動作中）は、処理がＳ３０２に進む。Ｓ３０２において、ＦＡズーム制御部１２２が、Ｓ３００で判定したピント状態に基づいて、ピント状態が大ボケでないかを判定する。ピント状態が大ボケでない場合は、処理がＳ１１７に進む。ピント状態が大ボケである場合は、処理を終了する。すなわち、ピント状態が大ボケである場合は、ズーム戻り位置とＦＡズーム枠サイズは補正されず、ズームアウト開始時のズーム位置をズーム戻り位置として用いる。すなわち、ＦＡズーム制御部１２２は、撮影画像のピントが合っていない状態である場合に、ズームイン制御によって到達する撮影画角がズームアウト制御開始時と同じになるように制御する。 Further, in the second embodiment, in S114, when the current zoom position is not the zoom-in target position (that is, during the FA zoom operation), the process proceeds to S302. In S302, the FA zoom control unit 122 determines whether or not the focus state is large blur based on the focus state determined in S300. If the focus state is not large out of focus, the process proceeds to S117. If the focus state is large out of focus, the process ends. That is, when the focus state is large out of focus, the zoom return position and the FA zoom frame size are not corrected, and the zoom position at the start of zoom out is used as the zoom return position. That is, the FA zoom control unit 122 controls so that the shooting angle of view reached by the zoom-in control is the same as when the zoom-out control is started when the shot image is out of focus.

以上説明したように、実施例２では、被写体距離に関する情報をＡＦ制御の情報を用いて算出する場合において、大ボケ状態ではズームイン制御及びズーム戻り位置補正に制限をかけるようにした。このような制御を行うことで、よりＦＡズーム動作時のズーム戻り位置補正の制御における安定性を改善することが可能となる。 As described above, in the second embodiment, when the information on the subject distance is calculated using the AF control information, the zoom-in control and the zoom return position correction are restricted in the large blur state. By performing such control, it is possible to further improve the stability in the control of the zoom return position correction during the FA zoom operation.

本発明はデジタルカメラのような撮影を主目的とした機器に限定されず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。 The present invention is not limited to devices such as digital cameras whose main purpose is photography, and incorporates or externally connects an imaging device such as a mobile phone, a personal computer (laptop type, desktop type, tablet type, etc.), a game machine, or the like. It can be applied to any device. Therefore, the "imaging apparatus" in the present specification is intended to include any electronic device having an imaging function.

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。適用するシーンとして、静止画撮影のための画角合わせ中のみでなく、動画記録中の画角合わせの際に実施しても構わない。 Although preferable examples of the present invention have been described above, the present invention is not limited to these examples, and various modifications and modifications can be made within the scope of the gist thereof. As the scene to be applied, it may be performed not only during the angle of view adjustment for still image shooting but also during the angle of view adjustment during moving image recording.

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１００撮像装置 100 Imaging device

Claims

A calculation means for calculating the amount of movement of the image pickup device and
When the amount of movement is equal to or greater than the first threshold value, the first control for setting the shooting angle of view to the wide-angle side is performed, and after the first control, the amount of movement is smaller than the first threshold value. If it is less than, a second control for setting the shooting angle of view to the telephoto side is performed , and a control means for changing the shooting angle of view reached by the second control according to the subject distance is provided.
The control means controls so that the shooting angle of view reached by the second control becomes the same as at the start of the first control when the captured image is out of focus.
Even if the subject distance changes when the captured image is in focus, the shooting angle of view reached by the second control is the subject on the screen before and after the first control. An image processing device characterized in that the size is controlled to be kept constant .

The control means
When the subject distance at the start of the second control is closer than the subject distance at the start of the first control, the shooting angle of view reached by the second control is on the wider angle side than at the start of the first control. Control to be
When the subject distance at the start of the second control is farther than the subject distance at the start of the first control, the shooting angle of view reached by the second control is on the telephoto side from the start of the first control. The image processing apparatus according to claim 1, wherein the image processing apparatus is controlled so as to be.

The control means is obtained by multiplying the shooting angle of view at the start of the first control by the ratio of the subject distance at the start of the first control and the subject distance at the start of the second control. The image processing apparatus according to claim 1 or 2, wherein the shooting angle of view to be reached is determined by control.

The control means superimposes and displays a frame indicating a shooting angle of view reached by the second control on the shot image from the start of the first control to the end of the second control. The image processing apparatus according to any one of claims 1 to 3, wherein the image processing apparatus is characterized.

A generation means for generating an evaluation value indicating the focus state of the captured image is provided.
The image processing apparatus according to any one of claims 1 to 4, wherein the control means determines whether or not the captured image is out of focus based on the evaluation value.

A means for performing AF control so that the subject is in focus based on the evaluation value is provided.
The image processing apparatus according to claim 5.

A means for determining a large blur state based on the contrast evaluation value included in the evaluation value is provided.
The image processing apparatus according to claim 5.

An image pickup device including an image pickup element that photoelectrically converts subject light and outputs a captured image, and an image processing device according to any one of claims 1 to 7.

The calculation process for calculating the amount of movement of the image pickup device and
When the amount of movement is equal to or greater than the first threshold value, the first control for setting the shooting angle of view to the wide-angle side is performed, and after the first control, the amount of movement is smaller than the first threshold value. If it is less than, it has a control step of performing a second control for setting the shooting angle of view to the telephoto side and changing the shooting angle of view reached by the second control according to the subject distance .
In the control step, when the captured image is out of focus, the shooting angle of view reached by the second control is controlled to be the same as at the start of the first control.
Even if the subject distance changes when the captured image is in focus, the shooting angle of view reached by the second control is the subject on the screen before and after the first control. A control method for an image processing device, which comprises controlling the size so as to keep it constant .