JP3962871B2

JP3962871B2 - Electronic camera and electronic zoom method

Info

Publication number: JP3962871B2
Application number: JP2005307261A
Authority: JP
Inventors: 光幸赤澤
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2005-10-21
Filing date: 2005-10-21
Publication date: 2007-08-22
Anticipated expiration: 2020-07-17
Also published as: JP2006115525A

Description

本発明はカメラのズーミング技術に関し、特に、動体を撮影する場合に適したフレーミング技術に関する。 The present invention relates to a zooming technique for a camera, and more particularly to a framing technique suitable for photographing a moving object.

従来、カメラで動きの激しい被写体を撮影するとき被写体を画面中央で適度な大きさにするためには、撮影者が被写体の動きに合わせてカメラを向け、ズーム操作をする必要があった。 Conventionally, when shooting a subject that moves rapidly with a camera, in order to make the subject have an appropriate size in the center of the screen, it is necessary for the photographer to point the camera in accordance with the movement of the subject and perform a zoom operation.

従来のフレーミング技術では、撮影待機時に被写体の動きに合わせてカメラを向けると手ぶれが生じたり、被写体が大きく動くことによりフレームアウトしてしまうといった問題点があった。また、撮影者のカメラ操作の遅れにより正確なフレーム合わせができないといった問題点や、１回の撮影では１つの画像しか記録できないといった問題点もあった。 In the conventional framing technology, there is a problem that camera shake occurs when the camera is pointed in accordance with the movement of the subject during shooting standby, or the subject moves out of the frame due to a large movement. In addition, there is a problem that accurate frame alignment cannot be performed due to a camera operation delay of the photographer, and that only one image can be recorded in one shooting.

本発明は上述した問題点を解決するためになされたものであり、被写体がフレームアウトすることなしに正確なフレーム合わせを行うことのできる電子カメラ及び電子ズーム方法の提供を目的とする。 The present invention has been made to solve the above-described problems, and an object thereof is to provide an electronic camera and an electronic zoom method capable of performing accurate frame alignment without causing the subject to be out of frame.

上記課題を解決するために、第１の発明の電子カメラは、被写体像を順次撮像する撮像手段と、この撮像手段から順次出力される動画像内の注目画像を検出する注目画像検出手段と、この注目画像検出手段により検出された注目画像の位置を検出する位置検出手段と、この位置検出手段により検出される注目画像の位置の変化量に基づいてズーム量を変更するズーム量変更制御手段と、前記位置検出手段により検出される注目画像の位置に基づいてズーム位置を変更するズーム位置変更制御手段と、を備え、前記ズーム位置変更制御手段は、前記ズーム位置の中心が前記注目画像の中心位置となるようにズーム位置を変更し、前記ズーム量変更制御手段は、前記注目画像に対してズーム量を変更することを特徴とする。また、第２の発明の電子カメラは、上述の第１の発明の電子カメラにおいて、前記ズーム量変更制御手段は、前記動画像における各フレームの切り出しサイズの変更に基づいてズーム量を変更することを特徴とする。また、第３の発明の電子カメラは、上述の第１または第２の発明の電子カメラにおいて、前記ズーム位置変更制御手段は、前記動画像における各フレームの切り出し位置の変更に基づいてズーム位置を変更することを特徴とする。また、第４の発明の電子カメラは、上述の第１から第３の何れかの発明の電子カメラにおいて、前記位置検出手段は、前記注目画像検出手段により検出された注目画像の少なくとも中心の位置を検出し、前記ズーム位置変更制御手段は、前記位置検出手段により検出された前記注目画像の中心の位置に基づいて前記ズーム位置の中心が前記注目画像の中心位置となるようにズーム位置を変更することを特徴とする。また、第５の発明の電子ズーム方法は、撮像手段から順次出力される動画像内の注目画像を検出する注目画像検出工程と、この注目画像検出工程で検出された注目画像の位置を検出する位置検出工程と、この位置検出工程で検出される注目画像の位置の変化量に基づいてズーム量を変更するズーム量変更工程と、前記位置検出工程で検出される注目画像の位置に基づいてズーム位置を変更するズーム位置変更工程と、を有し、前記ズーム位置変更工程は、前記ズーム位置の中心が前記注目画像の中心位置となるようにズーム位置を変更し、前記ズーム量変更工程は、前記注目画像に対してズーム量を変更することを特徴とする。 In order to solve the above-described problems, an electronic camera according to a first aspect of the present invention includes an imaging unit that sequentially captures subject images, an attention image detection unit that detects an attention image in a moving image sequentially output from the imaging unit , A position detection unit that detects the position of the target image detected by the target image detection unit; and a zoom amount change control unit that changes the zoom amount based on the change amount of the position of the target image detected by the position detection unit; Zoom position change control means for changing the zoom position based on the position of the target image detected by the position detection means , wherein the zoom position change control means has the center of the zoom position as the center of the target image. The zoom position is changed so as to be the position, and the zoom amount change control means changes the zoom amount with respect to the image of interest . The electronic camera according to a second aspect is the electronic camera according to the first aspect, wherein the zoom amount change control means changes the zoom amount based on a change in a cutout size of each frame in the moving image. It is characterized by. The electronic camera according to a third aspect is the electronic camera according to the first or second aspect described above, wherein the zoom position change control means sets the zoom position based on a change of a cutout position of each frame in the moving image. It is characterized by changing. According to a fourth aspect of the present invention, there is provided the electronic camera according to any one of the first to third aspects of the invention described above, wherein the position detection means is a position of at least the center of the attention image detected by the attention image detection means. And the zoom position change control means changes the zoom position so that the center of the zoom position becomes the center position of the attention image based on the position of the center of the attention image detected by the position detection means. It is characterized by doing. According to a fifth aspect of the present invention, there is provided an electronic zoom method for detecting an attention image in a moving image sequentially output from the imaging means, and detecting a position of the attention image detected in the attention image detection step. A position detection step, a zoom amount changing step for changing the zoom amount based on a change amount of the position of the target image detected in the position detection step, and a zoom based on the position of the target image detected in the position detection step A zoom position changing step for changing a position, wherein the zoom position changing step changes a zoom position so that a center of the zoom position is a center position of the attention image, and the zoom amount changing step includes: The zoom amount is changed with respect to the attention image.

上記説明したように、本発明によれば、動画表示される被写体画像の位置を画像処理等の位置検出手段により自動的に検出し、これにより検出された位置の変化量（動きベクトル）に基づいてズーム量及びズーム位置を変更するので、枠外へのはみ出しが生じない上にズーム枠を移動させるための手動操作が必要なくなる。 As described above , according to the present invention, the position of a subject image displayed as a moving image is automatically detected by position detection means such as image processing, and based on the detected change amount (motion vector). Thus, since the zoom amount and the zoom position are changed, no protrusion to the outside of the frame occurs and no manual operation for moving the zoom frame is required.

１．カメラの構成例
図１は本発明の電子カメラの一実施例の構成を示すブロック図であり、デジタルカメラ１００は図１（ａ）に示すように、撮像部（撮像手段）２、制御部（表示制御手段、ズーム位置変更手段、移動量検出手段、ズーム量変更制御手段、移動速度算出手段、ズーム位置変更制御手段、保存記録制御手段、位置検出手段）３、操作部（位置指定手段、ズーム量指定手段）４、一次メモリ（ＤＲＡＭ（記憶手段））５、保存メモリ(フラッシュメモリ（保存記録手段））６、表示部（表示手段）７及び図示しない電源回路を有している。
また、撮像部２は図１（ｂ）に示すように、撮像レンズ２１１、ズーム機構２１２及び自動合焦機構２１３を含む光学系２１、ＣＣＤ及びＣＣＤ駆動部を含む信号変換部２２及び信号処理部２３からなっている。 1. 1 is a block diagram showing a configuration of an embodiment of an electronic camera according to the present invention. As shown in FIG. 1A, a digital camera 100 includes an imaging unit (imaging means) 2, a control unit ( Display control means, zoom position change means, movement amount detection means, zoom amount change control means, movement speed calculation means, zoom position change control means, storage recording control means, position detection means) 3, operation unit (position designation means, zoom) A quantity specifying means) 4, a primary memory (DRAM (storage means)) 5, a storage memory (flash memory (storage recording means)) 6, a display unit (display means) 7, and a power supply circuit (not shown).
As shown in FIG. 1B, the imaging unit 2 includes an imaging lens 211, an optical system 21 including a zoom mechanism 212 and an automatic focusing mechanism 213, a signal conversion unit 22 including a CCD and a CCD driving unit, and a signal processing unit. It consists of 23.

撮像部２は撮像レンズ２１１で取込んだ被写体像を信号変換部２２でＣＣＤ等の撮像素子により画像信号に変換した後更にデジタルデータ（画像データ）に変換し、信号処理部２３でデジタルデータからデジタルの輝度、色差マルチプレクス信号（Ｙ、Ｃｂ、Ｃｒデータ）等の信号成分（以下、画像データ）を得て一時記憶手段としてのＤＲＡＭ５に転送する。また、ズーム機構２１２は制御部３の制御に基づいて図示しないズームレンズを移動させてズーム動作を実行し、自動合焦機構２１３は制御部３の制御に基づいて撮像レンズ２１１を移動させ自動合焦（オートフォーカス）させる。 The imaging unit 2 converts the subject image captured by the imaging lens 211 into an image signal by an image sensor such as a CCD in the signal conversion unit 22 and further converts it into digital data (image data). The signal processing unit 23 converts the subject image from the digital data. Signal components (hereinafter referred to as image data) such as digital luminance and color difference multiplexed signals (Y, Cb, Cr data) are obtained and transferred to the DRAM 5 as a temporary storage means. The zoom mechanism 212 moves a zoom lens (not shown) based on the control of the control unit 3 to execute a zoom operation, and the automatic focusing mechanism 213 moves the imaging lens 211 based on the control of the control unit 3 to perform automatic focusing. Focus (auto focus).

制御部３は、ＣＰＵ、ＲＡＭ、プログラム格納用メモリ及びタイマ等の周辺回路を有したマイクロプロセッサ構成を有しており、ＣＰＵは上述の各回路及び図示しない電源切換えスイッチ等にバスラインを介して接続し、プログラム格納用メモリに格納されている制御プログラムによりデジタルカメラ全体の制御を行なうと共に、操作部４からの状態信号に対応してプログラム格納用メモリに格納されている各モード処理用のプログラムや本発明に基づく撮影待機時のフレーミング処理用プログラムを取り出して、本発明のフレーミングの実行制御及びデジタルカメラ１００の各機能の実行制御等を行なう。なお、プログラム格納メモリには上述した各プログラムのほか定数やメニューデータを格納している。 The control unit 3 has a microprocessor configuration including peripheral circuits such as a CPU, a RAM, a program storage memory, and a timer. The whole digital camera is controlled by the control program stored in the program storage memory, and each mode processing program stored in the program storage memory corresponding to the status signal from the operation unit 4 In addition, a framing processing program during shooting standby according to the present invention is taken out, and execution control of the framing of the present invention and execution control of each function of the digital camera 100 are performed. The program storage memory stores constants and menu data in addition to the above-described programs.

操作部４は、電源スイッチ４１、シャッターキー４２、ズームキー（ズーム量指定手段）４３、処理モード切替えスイッチ４４、後述するタッチパネルキー及び機能選択ボタン等のキーやスイッチ（位置指定手段）を構成部分としており、これらのキー或いはスイッチが操作されると状態信号が制御部３に送出される。
なお、ズームキー４３をロータリーキーとし、ズームキー４３が＋方向に回転されると回転角に応じた拡大ズーム信号を送出し、ズームキー４３が−方向に回転されると回転角に応じた縮小ズーム信号を送出するように構成してもよい。 The operation unit 4 includes a power switch 41, a shutter key 42, a zoom key (zoom amount designation means) 43, a processing mode changeover switch 44, keys and switches (position designation means) such as touch panel keys and function selection buttons, which will be described later, as constituent parts. When these keys or switches are operated, a status signal is sent to the control unit 3.
The zoom key 43 is a rotary key. When the zoom key 43 is rotated in the + direction, an enlarged zoom signal corresponding to the rotation angle is transmitted. When the zoom key 43 is rotated in the-direction, a reduced zoom signal corresponding to the rotation angle is transmitted. You may comprise so that it may send out.

ＤＲＡＭ５は作業用メモリ（記憶手段）として用いられ、撮影画像や再生画像を一時的に記憶する画像バッファ領域や圧縮／伸張時の作業用領域等が確保されている。
また、フラッシュメモリ６は保存メモリ（保存記録手段）として撮影した画像を保存記憶する。なお、保存メモリをフラッシュメモリ６に代えてメモリカード等の着脱可能なメモリを用いるようにしてもよい。 The DRAM 5 is used as a working memory (storage means), and an image buffer area for temporarily storing captured images and reproduced images, a working area for compression / decompression, and the like are secured.
The flash memory 6 saves and stores the captured image as a storage memory (storage recording means). Note that a detachable memory such as a memory card may be used instead of the flash memory 6 as the storage memory.

また、表示部７はビデオメモリ、ビデオエンコーダ及び液晶表示装置からなり、ビデオエンコーダは制御部３からビデオメモリに出力された画像データをビデオ信号に変換し、液晶表示装置に出力する。液晶表示装置はビデオエンコーダからのビデオ信号を液晶画面に表示する。
また、前述した操作部４の構成部分（位置指定手段）として表示部７の液晶画面上には感圧素子を配設した板状の透明層（タッチパネルキー）が設けられており、ポイント用の入力ペンでポイントするとその位置（座標）信号が制御部３に送られる。 The display unit 7 includes a video memory, a video encoder, and a liquid crystal display device. The video encoder converts image data output from the control unit 3 to the video memory into a video signal and outputs the video signal to the liquid crystal display device. The liquid crystal display device displays the video signal from the video encoder on the liquid crystal screen.
Further, a plate-like transparent layer (touch panel key) provided with a pressure-sensitive element is provided on the liquid crystal screen of the display unit 7 as a constituent part (position specifying means) of the operation unit 4 described above. Pointing with the input pen sends a position (coordinate) signal to the control unit 3.

図２はデジタルカメラ１００の一実施例の外観を示す図であり、図２（ａ）は背面図、図２（ｂ）は正面図、図２（ｃ）は表示画面上の所望の位置をポイントするポイントペンを示す。
図２でデジタルカメラ１００は、シャッターキー４２を上部に備え、正面には撮像レンズ２１１及び光学ファインダ８が配置され、背面には表示部７の液晶ディスプレイ（画面）７０、電源スイッチ４１、ズームキー４３、処理モード切替えスイッチ４４が配置されている。 2A and 2B are views showing the appearance of an embodiment of the digital camera 100. FIG. 2A is a rear view, FIG. 2B is a front view, and FIG. 2C is a desired position on the display screen. Indicates the point pen to point to.
In FIG. 2, the digital camera 100 includes a shutter key 42 at the top, an imaging lens 211 and an optical viewfinder 8 disposed on the front, and a liquid crystal display (screen) 70 of the display unit 7, a power switch 41, and a zoom key 43 on the back. A processing mode changeover switch 44 is arranged.

２．動きベクトル及びフレーミング（ズーム枠合わせ）
図３は本発明のフレーミング制御方法の概要説明図であり、図４はフレーミングされた表示画像及び記録画像の説明図である。
また、図３（ａ）、（ａ’）は画角内の注目被写体像（注目画像）の動きベクトル（移動量）の説明図であり、図３（ａ）で時刻Ｔ１に左下隅位置Ｐ１（ｘ１、ｙ１）に表示されていた動画像内の注目画像１（ウサギ像）が、時刻Ｔ２には被写体の移動により図３（ａ’）に示すように同一画角内の右上隅Ｐ２（ｘ２、ｙ２）に表示された様子を示している。
このとき、画角内の注目画像１の位置Ｐ１、Ｐ２の軌跡は動きベクトルＡ（θ、Ｘ）となる。
ここで、移動距離Ｘ＝（（ｘ１−ｘ２）²＋（ｙ１−ｙ２）²）^1/2 、移動速度Ｖ＝Ｘ／（Ｔ２−Ｔ１）から、
Ｖ＝（（ｘ１−ｘ２）²＋（ｙ１−ｙ２）²）^1/2 ／（Ｔ２−Ｔ１）
となる。 2. Motion vector and framing (zoom frame alignment)
FIG. 3 is a schematic explanatory diagram of a framing control method according to the present invention, and FIG. 4 is an explanatory diagram of a framed display image and recorded image.
FIGS. 3A and 3A are explanatory diagrams of the motion vector (movement amount) of the target subject image (target image) within the angle of view, and the lower left corner position P1 at time T1 in FIG. The attention image 1 (rabbit image) in the moving image displayed at (x1, y1) is moved to the upper right corner P2 (within the same angle of view) as shown in FIG. The state displayed in x2, y2) is shown.
At this time, the locus of the positions P1 and P2 of the target image 1 within the angle of view is a motion vector A (θ, X).
Here, from the moving distance X = ((x1-x2) ² + (y1-y2) ² ) ^1/2 and the moving speed V = X / (T2-T1),
V = ((x1-x2) ² + (y1-y2) ² ) ^1/2 / (T2-T1)
It becomes.

そこで、図３（ｂ）に示すように動画像内の注目画像１の動き（＝速度Ｖ）が大きい場合は動画像上に表示するズーム（フレーミング）枠９０を注目画像１の速度に合わせて拡大し、ズーム枠９０’とすれば注目画像１がズーム枠９０’から外れてしまうといったことがなくなる。
また、図３（ｃ）に示すように動画像内の注目画像１の動きが小さい場合はズーム枠９０を縮小して、ズーム枠９０”としても注目画像１がズーム枠９０”から外れるといったことがなく、且つ注目画像１とズーム枠のバランスがよくなる。 Therefore, as shown in FIG. 3B, when the movement (= speed V) of the attention image 1 in the moving image is large, the zoom (framing) frame 90 displayed on the moving image is matched with the speed of the attention image 1. If the zoom frame 90 ′ is enlarged, the attention image 1 will not be out of the zoom frame 90 ′.
Further, as shown in FIG. 3C, when the movement of the attention image 1 in the moving image is small, the zoom frame 90 is reduced, and the attention image 1 is not included in the zoom frame 90 ″ even as the zoom frame 90 ″. And the balance between the image of interest 1 and the zoom frame is improved.

なお、動画撮影の場合は所定時間間隔で画像がフラッシュメモリ６に記録されるが、図４（ａ）に示すように、画角内で表示されている注目画像１をポイントペン９等のポインティングデバイスでポイントすると画角位置（ズーム枠の位置）が入力され、上述したようにズーム枠９０内の注目画像１の動きベクトルに基づいてズーム枠９０の大きさが自動的に拡大または縮小されるので、注目画像１が移動してユーザのポイント操作（ズーム枠移動操作）が被写体像の動きについていけない場合でも、ズーム枠９０’（または９０”）の枠外に注目画像１が出るようなことは起こらず、図４（ｂ）に示すようにフレーム内に注目画像１が収まった記録画像（動画画像）を得ることができる。 In the case of moving image shooting, images are recorded in the flash memory 6 at predetermined time intervals. As shown in FIG. 4A, the attention image 1 displayed within the angle of view is displayed by pointing with a point pen 9 or the like. Pointing at the device inputs the angle of view (zoom frame position), and the size of the zoom frame 90 is automatically enlarged or reduced based on the motion vector of the image of interest 1 in the zoom frame 90 as described above. Therefore, even when the attention image 1 moves and the user's point operation (zoom frame movement operation) cannot follow the movement of the subject image, the attention image 1 does not appear outside the zoom frame 90 ′ (or 90 ″). A recorded image (moving image) in which the image of interest 1 is contained in the frame can be obtained as shown in FIG.

３．フレーミング
図５は動画撮影モード時のフレーミング動作の一実施例を示すフローチャートであり、図５（ａ）はポインティングデバイスの操作によるポイント位置を取得してフレーム枠（ズーム枠）の移動動作を行う例、図５（ｂ）は画像処理により自動的に移動する被写体像の位置を取得してフレーム枠（ズーム枠）の移動動作を行う例、図５（ｃ）は枠の移動を自動とし、枠の大きさは手動で行う例を示す。 3. Framing FIG. 5 is a flowchart showing an embodiment of the framing operation in the moving image shooting mode, and FIG. 5A shows an example of acquiring the point position by operating the pointing device and moving the frame frame (zoom frame). FIG. 5B shows an example in which the position of a subject image that is automatically moved by image processing is acquired and the frame frame (zoom frame) is moved. FIG. 5C shows that the frame is automatically moved. The size of shows an example of manual operation.

（１）：ポインティングデバイスによるフレーミング動作の例
ステップＳ１：（動画撮影モード選択）
図５（ａ）で、デジタルカメラ１００が起動されると制御部３は操作部４からの信号を監視し、撮影者が処理モード切替えスイッチ４４で動画撮影モードを選択し、シャッターキー４２を操作することにより動画画像の撮影を開始するとＳ２に遷移する。 (1): Example of framing operation by pointing device Step S1: (Movie shooting mode selection)
In FIG. 5A, when the digital camera 100 is activated, the control unit 3 monitors the signal from the operation unit 4, the photographer selects the moving image shooting mode with the processing mode switch 44, and operates the shutter key 42. Thus, when shooting of a moving image starts, the process proceeds to S2.

ステップＳ２：（被写体画像の取り込み）
制御部３は撮像部２から送られる被写体画像(データ）を所定時間ｔ毎に１フレーム分ＤＲＡＭ５に取り込む（なお、ｔ＝1／１分間の撮影可能な動画枚数である）。 Step S2: (Subject image capture)
The control unit 3 captures the subject image (data) sent from the imaging unit 2 into the DRAM 5 for one frame every predetermined time t (t = 1 is the number of moving images that can be taken for 1 minute).

ステップＳ３：（動画画像表示）
制御部３は上記ステップＳ２でＤＲＡＭ５に取り込んだ動画像（データ）を表示部７に送り、画像メモリ上にイメージ展開して液晶画面７０に表示させる。 Step S3: (Movie image display)
The control unit 3 sends the moving image (data) taken into the DRAM 5 in step S2 to the display unit 7, develops the image on the image memory, and displays it on the liquid crystal screen 70.

ステップＳ４：（ポインティングデバイスによるポイントの有無判定）
制御部３は液晶画面７０がポイント（ポイントペン９の例では表示画面７０にタッチ）されたか否かを位置（座標（ｘ２、ｙ２））信号受信の有無で監視している。
撮影者が液晶画面７０に表示された動画像内の注目画像１（図３）をポイントするとその位置信号が制御部３に送られる。制御部３は所定時間ｔ内に位置信号を受け取るとＳ５に遷移する。また、ポイントがない場合には所定時間ｔだけこのステップを繰り返してポインティングデバイスによるポイント待ちを行い、所定時間ｔを経過した場合にはＳ１１に遷移する。 Step S4: (Point presence / absence determination by pointing device)
The control unit 3 monitors whether or not the liquid crystal screen 70 is pointed (in the example of the point pen 9, the display screen 70 is touched) based on whether or not a position (coordinate (x2, y2)) signal is received.
When the photographer points to the attention image 1 (FIG. 3) in the moving image displayed on the liquid crystal screen 70, the position signal is sent to the control unit 3. When the control unit 3 receives the position signal within the predetermined time t, the control unit 3 transits to S5. If there is no point, this step is repeated for a predetermined time t to wait for the point by the pointing device. If the predetermined time t has elapsed, the process proceeds to S11.

ステップＳ５：（位置（座標値）及び移動時間の取得）
制御部３は上記ステップＳ４で受け取った位置信号を変換して画面７０上の座標値を取得し、制御部３のＲＡＭに保持（一時記憶）する。また、デジタルカメラ１００に内蔵されているタイマーからの信号を基に現在の時刻（Ｔ２）を取得し、ＲＡＭに保持していた前回のポイント時刻（Ｔ１）との差から移動時間Ｔを算出し、制御部３のＲＡＭに保持する。 Step S5: (Acquisition of position (coordinate value) and movement time)
The control unit 3 converts the position signal received in step S4 to obtain a coordinate value on the screen 70, and stores (temporarily stores) it in the RAM of the control unit 3. Also, the current time (T2) is acquired based on a signal from a timer built in the digital camera 100, and the movement time T is calculated from the difference from the previous point time (T1) held in the RAM. And stored in the RAM of the control unit 3.

ステップＳ６：（移動距離の算出）
制御部３は上記ステップＳ５で取得した座標値（ｘ２、ｙ２）とＲＡＭに保持していた前回の座標値（ｘ１、ｙ１）から前回のポイント位置から今回のポイント位置までの移動距離Ｘを算出する（つまり、Ｘ＝（（ｘ１−ｘ２）²＋（ｙ１−ｙ２）²）^1/2 ）。 Step S6: (Calculation of moving distance)
The control unit 3 calculates the movement distance X from the previous point position to the current point position from the coordinate values (x2, y2) acquired in step S5 and the previous coordinate values (x1, y1) held in the RAM. (That is, X = ((x1-x2) ² + (y1-y2) ² ) ^1/2 ).

ステップＳ７：（被写体像の速度の算出）
制御部３は上記ステップＳ６で算出した移動距離Ｘ及び上記ステップＳ５で算出した移動時間Ｔから前記電子ズーム指示手段によるズーム指示がなされない時間を計測する計測手段と、注目画像１の移動速度（被写体（動体）の移動速度）を算出する（つまり、Ｖ＝Ｘ／Ｔ）。 Step S7: (Calculation of subject image speed)
The control unit 3 measures the time during which the zoom instruction is not given by the electronic zoom instruction means from the movement distance X calculated in step S6 and the movement time T calculated in step S5, and the moving speed ( The movement speed of the subject (moving body) is calculated (that is, V = X / T).

ステップＳ８：（ズーム比率の算出）
所定速度ｖに対応するズーム枠のサイズ（例えばズーム枠９０の対角線長さ）Ｌ０を予め設定しておき、所定速度ｖと上記ステップＳ７で算出した速度Ｖとの比率αを算出すればズーム枠９０のサイズの比率（ズーム比率(ズーム量））もαとなるので、ズーム枠９０のサイズは被写体速度に比例する（Ｌ：Ｌ０＝Ｖ：ｖ）。つまり、所定速度ｖより上記ステップＳ７で算出した速度Ｖが大きければ図３（ｂ）に示したようにズーム枠の大きさは基準のズーム枠９０より拡大され、小さければ図３（ｃ）に示したように縮小されることとなる。 Step S8: (Calculation of zoom ratio)
If the zoom frame size (for example, the diagonal length of the zoom frame 90) L0 corresponding to the predetermined speed v is set in advance, and the ratio α between the predetermined speed v and the speed V calculated in step S7 is calculated, the zoom frame Since the ratio of the size of 90 (zoom ratio (zoom amount)) is also α, the size of the zoom frame 90 is proportional to the subject speed (L: L0 = V: v). That is, if the speed V calculated in step S7 is larger than the predetermined speed v, the size of the zoom frame is larger than that of the reference zoom frame 90 as shown in FIG. It will be reduced as shown.

ステップＳ９：（ズーム枠の表示）
制御部３は上記ステップＳ８で得た比率αで基準サイズのズーム枠を拡大（αｃ＞１のとき）または縮小（１＜αｃのとき）し、表示画像上に重畳表示する。また、この際、ステップＳ５で取得したポインティングデバイスによるポイント位置（座標）がズーム枠９０の中心となる。なお、ｃはズーム枠から移動する注目画像１がはみ出さないように設ける重み計数であり、ｃ≧１である。 Step S9: (Display zoom frame)
The control unit 3 enlarges (when αc> 1) or reduces (when 1 <αc) the zoom frame of the reference size by the ratio α obtained in step S8, and displays the zoom frame on the display image in a superimposed manner. At this time, the point position (coordinates) obtained by the pointing device acquired in step S <b> 5 is the center of the zoom frame 90. Note that c is a weighting factor provided so that the target image 1 moving from the zoom frame does not protrude, and c ≧ 1.

ステップＳ１０：(前回のポイント位置の座標値及び時刻の更新)
制御部３は上記ステップＳ５で取得した座標値（ｘ２、ｙ２）及び時刻Ｔ２とＲＡＭに保持されている前回の座標値（ｘ１、ｙ１）及び時刻（Ｔ１）を更新(上書き記憶）し、ＲＡＭに保持されていた座標値（ｘ２、ｙ２）及び時刻（Ｔ２）をクリアする。 Step S10: (Update of coordinate value and time of previous point position)
The control unit 3 updates (overwrites) the coordinate value (x2, y2) and time T2 acquired in step S5 and the previous coordinate value (x1, y1) and time (T1) held in the RAM. The coordinate values (x2, y2) and time (T2) held in are cleared.

ステップＳ１１：（動画画像の保存記憶）
制御部３はＤＲＡＭ５に取り込まれているズーム枠内の画像データに圧縮処理を施してフラッシュメモリ６に保存記憶する。なお、ズーム枠で示された画像はそのズーム枠内の画像を１フレームの画像となるようにズーム（拡大／圧縮）してから保存記憶処理を行う。これにより、１フレームの電子ズーム画像（図４（ｂ））を保存記憶（記録）することができる。 Step S11: (Moving image storage)
The control unit 3 compresses the image data in the zoom frame captured in the DRAM 5 and stores it in the flash memory 6. Note that the image indicated by the zoom frame is stored (stored) after the image within the zoom frame is zoomed (enlarged / compressed) to become an image of one frame. Thus, one frame of the electronic zoom image (FIG. 4B) can be stored (recorded).

ステップＳ１２：（動画撮影終了判定）
制御部３は撮影した動画の数を調べ、所定数になった場合には撮影処理を終了する。撮影者が撮影終了操作を行った場合も撮影処理を終了する。また、これ以外の場合には、Ｓ２に遷移して次の画像の取り込みを行う。 Step S12: (Movie shooting end determination)
The control unit 3 checks the number of shot videos, and ends the shooting process when the number reaches a predetermined number. The photographing process is also terminated when the photographer performs a photographing end operation. In other cases, the process proceeds to S2 to capture the next image.

なお、上記説明では、画面７０を液晶画面に感圧素子を配列した透明膜を重ね合わせた構成（タッチパネルキー）としポイントペンを用いて被写体像をポイント（撮影エリアを指定）する例を示したがこの例に限定されない。例えば、デジタルカメラ１００にポイント用の操作キーを設け、この操作キーの操作によりカーソル等を画角内で移動させて被写体像をポイントするようにしてもよく、指先で操作可能なマウス状のポインティングデバイスでポイントするようにしてもよい。 In the above description, an example in which the screen 70 has a configuration in which a transparent film in which pressure-sensitive elements are arranged on a liquid crystal screen is overlaid (touch panel key) and a subject image is pointed (designated as a shooting area) using a point pen is shown. Is not limited to this example. For example, an operation key for a point may be provided on the digital camera 100, and a cursor or the like may be pointed to by moving the cursor or the like within the angle of view by operating the operation key. You may make it point with a device.

上記構成により、ポインティングデバイスで画面７０に表示されている動画中の被写体画像をポイントすると、動きベクトルから被写体像の移動速度を推定し、ズーム枠の大きさを自動的に決定して被写体像に重畳表示できるので枠外へのはみ出しが生じないと同時に被写体の動きに合った画角で撮影することができる。 With the above configuration, when the subject image in the moving image displayed on the screen 70 is pointed at the pointing device, the moving speed of the subject image is estimated from the motion vector, and the size of the zoom frame is automatically determined to obtain the subject image. Since the image can be displayed in a superimposed manner, the image can be taken with an angle of view that matches the movement of the subject without protruding from the frame.

なお、上記図５（ａ）のフローチャートでは動画撮影時にポイント動作を行うようにしたが、動画の再生時にポイントし、その部分（再生像）を新たな動画として保存したり、動画（又は静止画）の撮影待機状態であるファインダー画像（スルー画像）表示時にポイント動作を行うようにしてもよい。 In the flowchart of FIG. 5A, the point operation is performed at the time of moving image shooting. However, when the moving image is played back, the point (reproduced image) is saved as a new moving image, or the moving image (or still image) is displayed. The point operation may be performed when a finder image (through image) in the shooting standby state is displayed.

また、上記図５（ａ）のフローチャートでは、ポイント位置間の動きベクトル（速度）を求めるようにしたが、画像認識技術を用いて画角内の被写体位置を認識することにより動体認識を行い、動きベクトル（速度）を求めるようにしてもよい。このように構成した場合、被写体像の移動速度を正確に求めることができるのでより効果が大きくなる。また、上記図５（ａ）のフローチャートでは、ズーム枠９０の大きさを変化させる(電子ズーム)ようにしたが、ズーム枠を変化させず、図１のズーム機構２１２を駆動させることにより、光学ズーム量を変化させるようにしたり、電子ズーム量及び光学ズーム量の双方を変化させるようにしてもよい。 Further, in the flowchart of FIG. 5A, the motion vector (speed) between the point positions is obtained, but moving object recognition is performed by recognizing the subject position within the angle of view using image recognition technology. A motion vector (speed) may be obtained. In such a configuration, the moving speed of the subject image can be accurately obtained, and thus the effect is further increased. Further, in the flowchart of FIG. 5A, the size of the zoom frame 90 is changed (electronic zoom). However, the zoom mechanism 212 of FIG. The zoom amount may be changed, or both the electronic zoom amount and the optical zoom amount may be changed.

（２）：画像処理によるフレーミング動作の例
この例で、ステップＳ１、Ｓ２とステップＳ６〜Ｓ１２の動作は図５（ａ）のフローチャートと同様であり、ステップＳ２とＳ６の間を下記ステップ（Ｓ３’〜Ｓ５’）で置き換える。なお、図５（ａ）のステップＳ１２の動画撮影終了判定結果が未終了の場合の戻り先はステップＳ２であるが、図５（ｂ）ではステップＳ６’となる。また、この例では液晶画面７０上に感圧素子を配列した透明な薄膜を設ける必要はない。また、図６は画像処理によるフレーミング動作の説明図である。 (2): Example of framing operation by image processing In this example, the operations of steps S1 and S2 and steps S6 to S12 are the same as those in the flowchart of FIG. 5A, and the following steps (S3 and S3) are performed between steps S2 and S6. Replace with '~ S5'). Note that the return destination when the moving image shooting end determination result of step S12 in FIG. 5A is not ended is step S2, but in FIG. 5B, it is step S6 ′. In this example, it is not necessary to provide a transparent thin film in which pressure sensitive elements are arranged on the liquid crystal screen 70. FIG. 6 is an explanatory diagram of a framing operation by image processing.

ステップＳ３’：（動画（スルー）画像表示）
図５（ｂ）で、制御部３は上記ステップＳ２（図５（ａ））でＤＲＡＭ５に取り込んだ画像（データ）を表示部７に送り、画像メモリ上にイメージ展開して液晶画面７０に表示する。また、この際、画面の左右には図６（ａ）に示すようにズーム枠９０−１、９０−２が表示される。 Step S3 ': (Movie (through) image display)
In FIG. 5B, the control unit 3 sends the image (data) taken into the DRAM 5 in step S2 (FIG. 5A) to the display unit 7, develops the image on the image memory, and displays it on the liquid crystal screen 70. To do. At this time, zoom frames 90-1 and 90-2 are displayed on the left and right sides of the screen as shown in FIG.

ステップＳ４’：（ズーム対象画像の捕捉判定）
撮影者はズームアップしたい（つまり、撮影したい）被写体がある場合には画面に表示された左右のいずれかのズーム枠９０(９０−１または９０−２）が被写体像に重なるようにカメラを移動させ、ズーム枠９０が注目画像１に重なったときズーム（撮影開始）指示（例えば、シャッターキー４２の全押し操作）を行う。制御部３はズーム指示がなされたか否かを操作部４から送られてくるシャッター信号受信の有無で監視しているので、シャッター信号を受け取るとＳ５’に遷移する。
図６（ａ）の例で、撮影者が被写体１(ウサギ)をズームアップしようとした場合、被写体１は左方から右方に向かって移動しているので、撮影者は左側のズーム枠９０−１に注目画像１が重なるようにカメラを移動させ、図６（ｂ）に示すようにズーム枠９０−１と注目画像１が重なったときにシャッター４２の全押し操作を行う。 Step S4 ': (Zoom target image capture determination)
If there is a subject to be zoomed in (that is, a subject to be photographed), the photographer moves the camera so that either the left or right zoom frame 90 (90-1 or 90-2) displayed on the screen overlaps the subject image. When the zoom frame 90 overlaps the image of interest 1, a zoom (shooting start) instruction (for example, full pressing operation of the shutter key 42) is performed. Since the control unit 3 monitors whether or not a zoom instruction has been given based on whether or not the shutter signal sent from the operation unit 4 has been received, the process proceeds to S5 ′ when the shutter signal is received.
In the example of FIG. 6A, when the photographer attempts to zoom up the subject 1 (rabbit), the subject 1 moves from the left to the right. -1 is moved so that the target image 1 overlaps, and the shutter 42 is fully pressed when the zoom frame 90-1 and the target image 1 overlap as shown in FIG. 6B.

ステップＳ５’：（被写体像の位置及び比較画像の取得）
制御部３はシャッター信号を受け取ると画像認識処理により被写体像を認識し、認識した被写体画像の中心の座標値（ｘ２、ｙ２）を取得し、制御部３のＲＡＭに保持（一時記憶）し、Ｓ６に遷移する。 Step S5 ′: (Acquisition of subject image position and comparison image)
When the control unit 3 receives the shutter signal, it recognizes the subject image by image recognition processing, acquires the coordinate value (x2, y2) of the center of the recognized subject image, holds it in the RAM of the control unit 3 (temporarily stores), Transition to S6.

ステップＳ６’：（被写体画像の取り込み）
また、図５（ａ）のステップＳ１２の動画撮影終了判定結果が未終了（ＮＯ）の場合は、制御部３は撮像部２から送られる被写体画像(動画像）を所定時間ｔ毎に１フレーム分ＤＲＡＭ５に取り込む（なお、ｔ＝1／１分間の撮影可能な動画枚数である）。 Step S6 ': (Subject image capturing)
Further, when the moving image shooting end determination result in step S12 of FIG. 5A is not completed (NO), the control unit 3 displays the subject image (moving image) sent from the imaging unit 2 for one frame every predetermined time t. The amount is taken into the DRAM 5 (where t = 1/1 minute is the number of moving images that can be shot).

ステップＳ７’：（動画画像表示）
制御部３は上記ステップＳ２でＤＲＡＭ５に取り込んだ動画像（データ）を表示部７に送り、画像メモリ上にイメージ展開して液晶画面７０に表示し、Ｓ５’に遷移する。 Step S7 ': (Movie image display)
The control unit 3 sends the moving image (data) captured in the DRAM 5 in step S2 to the display unit 7, develops the image on the image memory, displays the image on the liquid crystal screen 70, and transitions to S5 ′.

以下、図５（ａ）のステップＳ６〜Ｓ１１により移動距離（前回と今回の画像中の被写体（注目画像）間の距離）算出、移動速度の算出（つまり、Ｖ＝Ｘ／ｔ）、ズーム比率の算出、ズーム枠の表示（この際、注目画像１の中心がズーム枠９０の中心となるようにズーム枠９０を移動）、前回の注目画像位置の更新等を経て、図６（ｃ）に示すように、所定時間ｔ毎に表示される注目画像１（動画）に重畳して、注目画像１の速度に応じて拡大または縮小されたズーム枠９０’を自動的に表示すると同時に、注目画像１の移動に応じてズーム枠９０を移動することができる。 Hereinafter, in steps S6 to S11 in FIG. 5A, the moving distance (the distance between the subject (the target image) in the previous and current images) is calculated, the moving speed is calculated (that is, V = X / t), and the zoom ratio. 6C, display of the zoom frame (in this case, the zoom frame 90 is moved so that the center of the target image 1 is the center of the zoom frame 90), the previous update of the target image position, and the like. As shown, a zoom frame 90 ′ that is superposed on the attention image 1 (moving image) displayed every predetermined time t and enlarged or reduced according to the speed of the attention image 1 is automatically displayed, and at the same time The zoom frame 90 can be moved according to the movement of 1.

上記構成により、ズーム指示があると、動画表示される被写体画像を画像処理により自動的に判別し、被写体の動きベクトルから被写体像の移動速度を算出し、ズーム枠の大きさを自動的に決定して被写体像に重畳表示できるので枠外へのはみ出しが生じない上に、更に、被写体の動きベクトルに基づいてズーム枠を自動的に移動させることができるので、ズーム枠９０を移動させるための手動操作が必要なくなる。 With the above configuration, when there is a zoom instruction, the subject image displayed as a moving image is automatically determined by image processing, the moving speed of the subject image is calculated from the subject motion vector, and the size of the zoom frame is automatically determined. In addition, since the image can be superimposed and displayed on the subject image, the zoom frame 90 can be automatically moved based on the motion vector of the subject, and the manual operation for moving the zoom frame 90 can be performed. No operation is required.

なお、上記（１）、（２）（図５（ａ）、（ｂ））では動画撮影の場合について動画表示される画像の動きベクトルに応じてズーム枠を拡大／縮小するものとして説明したが、これに限定されない。つまり、静止画像撮影の場合もスルー表示されている画像の動きベクトルに応じてズーム枠を拡大／縮小するように構成することができる。 In the above (1), (2) (FIGS. 5 (a), (b)), in the case of moving image shooting, the zoom frame is enlarged / reduced according to the motion vector of the image displayed on the moving image. However, the present invention is not limited to this. That is, in the case of still image shooting, the zoom frame can be enlarged / reduced according to the motion vector of the through-displayed image.

また、上記図５（ｂ）のフローチャートでは予め画像上に表示されているズーム枠内にカメラを動かすことにより被写体像を入れるようにしたが、このような動作を行うことなく自動的に画像内の被写体位置を検出し、この検出位置にズーム枠９０を移動させるようにしてもよい。 Further, in the flowchart of FIG. 5B, the subject image is inserted by moving the camera within the zoom frame that is displayed in advance on the image. The subject position may be detected, and the zoom frame 90 may be moved to this detected position.

（３）：ズーム枠の移動を自動、枠の大きさを手動としたズーム動作例
この例で、ステップＳ１〜Ｓ５’の動作は図５（ｂ）のフローチャートと、ステップＳ９〜Ｓ１２の動作は、図５（ａ）のフローチャートと同様であり、ステップＳ５とステップＳ９の間を下記ステップ（Ｓ６”〜Ｓ８”）で置き換える。なお、図５（ａ）のステップＳ１２の動画撮影終了判定結果が未終了（ＮＯ）の場合は、図５（ｂ）のＳ６’に移行する。 (3): Zoom operation example in which the movement of the zoom frame is automatic and the size of the frame is manual. In this example, the operation of steps S1 to S5 ′ is the flowchart of FIG. 5B and the operation of steps S9 to S12 is This is the same as the flowchart of FIG. 5A, and the step S5 and step S9 are replaced with the following steps (S6 ″ to S8 ″). If the moving image shooting end determination result in step S12 in FIG. 5A is not completed (NO), the process proceeds to S6 ′ in FIG. 5B.

ステップＳ６”：（動画像上へのズーム枠の移動）
図５（ｃ）で、制御部３はＤＲＡＭ５に保持している前回（つまり、現在−ｔ秒前）のサイズのフレーム枠(データ）を表示部７に送ってイメージ展開し、ステップＳ５’で取得し、表示されている動画像（被写体像）のポイント（中心）位置にフレーム（ズーム）枠の中心を一致させ、重畳表示する。これにより、動画像上に前回のサイズのフレーム枠が移動する。 Step S6 ″: (moving the zoom frame onto the moving image)
In FIG. 5C, the control unit 3 sends the frame (data) of the previous size (that is, the current −t seconds ago) held in the DRAM 5 to the display unit 7 to develop the image, and in step S5 ′. The center of the frame (zoom) frame is made to coincide with the point (center) position of the acquired moving image (subject image) that is acquired and displayed in a superimposed manner. Thereby, the frame frame of the previous size moves on the moving image.

ステップＳ７”：（ズーム操作の有無判定）
撮影者が上記ステップＳ６”で被写体像上に重畳表示されたズーム枠を見て大きさを調整する必要がある場合にはズームキー４３（ズーム量指定手段）を使用してズーム枠の拡大または縮小操作を行う。なお、この例ではズームキー４３をロータリーキーとし、ズームキー４３が＋方向に回転されると回転角に応じた拡大ズーム信号を送出し、ズームキー４３が−方向に回転されると回転角に応じた縮小ズーム信号を送出するように構成されている。
制御部３は操作部４からのズーム信号の有無を監視し、ズーム信号を受け取るとＳ８”に遷移する。また、ズームキー４３の操作が所定時間ｔ以内になされなかった場合にはＳ１１（図５（ａ））に遷移する。 Step S7 ": (determining whether zoom operation is performed)
When the photographer needs to adjust the size by looking at the zoom frame superimposed on the subject image in step S6 ″, the zoom key 43 (zoom amount designation means) is used to enlarge or reduce the zoom frame. In this example, the zoom key 43 is a rotary key, and when the zoom key 43 is rotated in the + direction, an enlarged zoom signal corresponding to the rotation angle is transmitted, and when the zoom key 43 is rotated in the-direction, the rotation angle is It is configured to send a reduced zoom signal corresponding to.
The control unit 3 monitors the presence / absence of a zoom signal from the operation unit 4. When the zoom signal is received, the control unit 3 shifts to S8 ″. When the operation of the zoom key 43 is not performed within the predetermined time t, the control unit 3 performs S11 (FIG. 5). Transition to (a)).

ステップＳ８”：（今回のズーム比率αの算出及び保持）
ズーム信号は、ズームキー４３の＋方向の回転角に応じた値を含む拡大ズーム信号とズームキー４３の−方向の回転角に応じた値を含む縮小ズーム信号からなるので、制御部３はズームキー４３の回転角を基にズーム枠の拡大／縮小比率（前回のズーム枠のサイズを１とした場合の比率（例えば、１．２（２０％拡大）、０．８（２０％縮小））、つまり、ズーム比率を算出する。また、ＲＡＭに保持されている前回のズーム比率を今回のズーム比率で置き換えて保持する。 Step S8 ": (Calculation and holding of the current zoom ratio α)
The zoom signal includes an enlarged zoom signal including a value corresponding to the rotation angle in the + direction of the zoom key 43 and a reduction zoom signal including a value corresponding to the rotation angle in the − direction of the zoom key 43. The zoom frame enlargement / reduction ratio based on the rotation angle (the ratio when the previous zoom frame size is 1 (for example, 1.2 (20% enlargement), 0.8 (20% reduction)), that is, The zoom ratio is calculated, and the previous zoom ratio held in the RAM is replaced with the current zoom ratio and held.

以下、図５（ａ）のステップＳ９〜Ｓ１１により所定時間ｔ毎に表示される注目画像１（動画）に重畳して、注目画像１の移動に応じて移動表示されるズーム枠９０’の大きさを手動操作により被写体像の大きさに合わせて拡大／縮小して表示することができる。 Hereinafter, the size of the zoom frame 90 ′ that is superimposed and displayed on the attention image 1 (moving image) displayed every predetermined time t in steps S9 to S11 of FIG. The image can be enlarged / reduced according to the size of the subject image by manual operation.

上記構成により、ズーム指示があると、動画表示される被写体画像中の注目画像を画像処理により自動的に判別してその位置を得て、前回のズーム枠を移動した注目画像に重畳表示し、ズーム枠の大きさが注目画像にあっていない場合は手動によりその大きさを変えて表示することができ、枠外へのはみ出しを防止できる。 With the above configuration, when there is a zoom instruction, an image of interest in a subject image displayed as a moving image is automatically determined by image processing to obtain its position, and the previous zoom frame is superimposed and displayed on the image of interest. When the size of the zoom frame is not in the image of interest, the zoom frame can be manually changed in size and displayed, and it can be prevented from protruding outside the frame.

（４）：ポイントより数フレーム前の画像をズームする例
図７はポイントより数フレーム前の画像をズームする例の説明図であり、図８はＤＲＡＭ５のバッファ領域に取り込まれた複数の画像（この例では１秒間に８枚、２秒分の画像１６枚）のうち、ポイントされた画像とズーム画像として保存記憶（記録）される画像の説明図である。 (4): Example of zooming an image several frames before the point FIG. 7 is an explanatory diagram of an example of zooming an image several frames before the point, and FIG. 8 shows a plurality of images captured in the buffer area of the DRAM 5 ( In this example, among the 8 images per second and 16 images for 2 seconds), it is an explanatory diagram of the pointed image and the image stored and recorded as a zoom image.

上記（１）〜（３）（図５（ａ）〜図５（ｃ））の例では保存記憶時に枠内の画像をズーム画像として保存記憶したが、図７（ｂ）に示すように撮影者が時刻Ｔ４に注目画像１−５をポイントしようとしても、人間は表示された被写体像を見てからポインティングデバイス９を操作するので、ポイント遅れを生じて図７（ｃ）に示すように注目画像１−５が表示されるズーム枠９０’とずれる場合がある（図７（ｂ）→図７（ｃ））。そこで、図８に示すように１回の動画撮影で撮影可能な画像数分（この例では１６枚）の画像バッファ５０−１〜５０−１６をＤＲＡＭ５に確保し、所定時間ｔ（＝撮影時間間隔ｔ（この例ではｔ＝1／８秒））毎にバッファ５０−１〜５０−１６に取り込むようにし、ポイント時のズーム枠及びズーム比率をポイントした時点のフレームより数枚分遡ったフレームの画像にフィードバックするようにする（図７（ａ）←図７（ｃ））。
図９はポイントより数フレーム前の画像をポイント時のズーム画像とする場合のフレーミング動作例を示すフローチャートである。 In the above examples (1) to (3) (FIG. 5 (a) to FIG. 5 (c)), the image in the frame is saved and stored as a zoom image at the time of saving and storage, but as shown in FIG. Even if the person tries to point the attention image 1-5 at the time T4, the person operates the pointing device 9 after seeing the displayed subject image, so that the point is delayed and attention is paid as shown in FIG. There is a case that the zoom frame 90 ′ in which the image 1-5 is displayed is shifted (FIG. 7B → FIG. 7C). Therefore, as shown in FIG. 8, image buffers 50-1 to 50-16 corresponding to the number of images that can be captured by one moving image shooting (16 images in this example) are secured in the DRAM 5, and a predetermined time t (= shooting time). The frames are taken into the buffers 50-1 to 50-16 at intervals t (in this example, t = 1/8 seconds), and the frame is several frames earlier than the frame at the time of pointing the zoom frame at the point and the zoom ratio. The image is fed back (FIG. 7 (a) ← FIG. 7 (c)).
FIG. 9 is a flowchart showing an example of a framing operation when an image several frames before the point is used as a zoom image at the point.

ステップＷ１：（動画撮影モード選択）
図９で、デジタルカメラ１００が起動されると制御部３は操作部４からの信号を監視し、撮影者が処理モード切替えスイッチ４４で動画撮影モードを選択し、シャッターキー４２を操作することにより動画撮影の開始を指示するとカウンタＪの値を１としてＷ２に遷移する。 Step W1: (Movie shooting mode selection)
In FIG. 9, when the digital camera 100 is activated, the control unit 3 monitors the signal from the operation unit 4, and the photographer selects the moving image shooting mode with the processing mode switch 44 and operates the shutter key 42. When the start of moving image shooting is instructed, the value of the counter J is set to 1 and the process proceeds to W2.

ステップＷ２：（被写体画像の取り込み）
制御部３は撮像部２から送られる被写体画像(データ）を所定時間ｔ毎にＤＲＡＭ５に設けたバッファ５０−ｊに取り込む。なお、ｊはカウンタｊの値であり、ｔ＝１／（１分間の撮影可能な動画枚数）である。 Step W2: (Subject image capture)
The control unit 3 captures the subject image (data) sent from the imaging unit 2 into a buffer 50-j provided in the DRAM 5 every predetermined time t. Note that j is the value of the counter j, and t = 1 / (number of moving images that can be shot in one minute).

ステップＷ３：（動画画像表示）
制御部３は上記ステップＷ２でバッファ５０−ｊに取り込んだ画像（データ）を表示部７に送り、画像メモリ上にイメージ展開して液晶画面７０に表示する。 Step W3: (Video image display)
The control unit 3 sends the image (data) captured in the buffer 50-j in step W2 to the display unit 7, develops the image on the image memory, and displays it on the liquid crystal screen 70.

ステップＷ４：（ポインティングデバイスによるポイントの有無判定）
制御部３は液晶画面７０がポイント（ポイントペン９の例では表示画面７０にタッチ）されたか否かを位置（座標（ｘ２、ｙ２））信号受信の有無で監視している。
撮影者が液晶画面７０に表示された被写体像をポイントするとその位置信号が制御部３に送られる。制御部３は位置信号を受け取るとＷ５に遷移する。また、ポイントがない場合には所定時間ｔだけこのステップを繰り返してポインティングデバイスによるポイント待ちを行い、所定時間ｔを経過した場合にはＷ７に遷移する。 Step W4: (Point presence / absence determination by pointing device)
The control unit 3 monitors whether or not the liquid crystal screen 70 is pointed (in the example of the point pen 9, the display screen 70 is touched) based on whether or not a position (coordinate (x2, y2)) signal is received.
When the photographer points to the subject image displayed on the liquid crystal screen 70, the position signal is sent to the control unit 3. When receiving the position signal, the control unit 3 makes a transition to W5. If there is no point, this step is repeated for a predetermined time t to wait for a point by the pointing device. If the predetermined time t has elapsed, the process proceeds to W7.

ステップＷ５：（ズーム枠の表示処理等（Ｓ５〜Ｓ１０））
このステップでは図５（ａ）のステップＳ５〜Ｓ８と同様の処理、つまり、「位置（座標値）及び移動時間の取得」、「移動距離の算出」、「被写体像の速度の算出」を経て「ズーム比率の算出」を行い、算出されたズーム比率αで基準サイズのズーム枠を拡大（αｃ＞１のとき）または縮小（１＜αｃのとき）し、「ズーム枠の表示」で画面にズームされた枠を被写体像と共に表示し、更に、「前回のポイント位置の座標値及び時刻の更新」で、取得した座標値（ｘ２、ｙ２）及び時刻Ｔ２でＲＡＭに保持されている前回の座標値（ｘ１、ｙ１）及び時刻（Ｔ１）を更新(上書き記憶）し、ＲＡＭに保持されていた座標値（ｘ２、ｙ２）及び時刻（Ｔ２）をクリアする。
また、「ズーム枠の表示」の際、ポインティングデバイスによってポイントされた位置（座標）がズーム枠９０の中心となる。つまり、図７（ｃ）に示すように、ポイント遅れがあっても計算されたサイズのズーム枠９０’がユーザによりポイントされた位置に表示される。 Step W5: (Zoom frame display processing, etc. (S5 to S10))
In this step, the same processing as steps S5 to S8 in FIG. 5A, that is, “acquisition of position (coordinate values) and moving time”, “calculation of moving distance”, “calculation of subject image speed” is performed. “Calculate the zoom ratio” is performed, and the zoom frame of the reference size is enlarged (when αc> 1) or reduced (when 1 <αc) with the calculated zoom ratio α, and “Display zoom frame” is displayed on the screen. The zoomed frame is displayed together with the subject image, and the coordinate values (x2, y2) acquired in the previous point position coordinate value and time update and the previous coordinate stored in the RAM at time T2 are displayed. The value (x1, y1) and the time (T1) are updated (overwritten), and the coordinate values (x2, y2) and the time (T2) held in the RAM are cleared.
In addition, the position (coordinates) pointed to by the pointing device becomes the center of the zoom frame 90 during “display of the zoom frame”. That is, as shown in FIG. 7C, even if there is a point delay, the calculated size of the zoom frame 90 ′ is displayed at the position pointed to by the user.

ステップＷ６：（今回のズーム枠情報の遡及画像への対応付け）
次に、制御部３は現在のフレーム数、つまり、上記ステップＷ２でのカウンタＪの値jから所定数（この例では「３」）を差し引いた値ｉを求め、ＤＲＡＭ５のバッファ５０−ｉに記憶されている画像を求め、上記ステップＷ５で得たズーム枠の位置（座標値）とズーム比率を求めた画像（つまり、バッファ５０−ｉに記憶されている画像）と対応付けて記憶する。 Step W6: (Associating the current zoom frame information with the retroactive image)
Next, the control unit 3 obtains the current number of frames, that is, a value i obtained by subtracting a predetermined number (in this example, “3”) from the value j of the counter J at the above step W2, and stores it in the buffer 50-i of the DRAM 5. The stored image is obtained and stored in association with the position (coordinate value) of the zoom frame obtained in step W5 and the image for which the zoom ratio is obtained (that is, the image stored in the buffer 50-i).

ステップＷ７：（動画撮影枚数の判定等）
制御部３は撮影した動画の数を調べ、所定（図８の例では１６枚）になった場合、又は撮影者が記録操作を行った場合にＷ８に遷移する。また、これ以外の場合には、カウンタＪに１を加えてＷ２に遷移して次の画像の取り込みを行う。 Step W7: (Determination of the number of moving images shot, etc.)
The control unit 3 checks the number of captured moving images, and when it reaches a predetermined value (16 in the example of FIG. 8) or when a photographer performs a recording operation, the process proceeds to W8. In other cases, 1 is added to the counter J and the process proceeds to W2 to capture the next image.

ステップＷ８：（バッファに記憶された画像の保存記憶）
制御部３はＤＲＡＭ５のバッファ５０−１〜５０−１６に取り込まれている各画像に対応付けて記憶されているズーム枠の位置及びズーム比率に基づいて対応する部分の画像を順次取り出し、圧縮処理を施してフラッシュメモリ６に保存記憶する。これにより、ポイント時より数フレーム前の画像（図７（ａ））をポイントした位置のズーム画像として保存記憶することができる（図４（ｂ））。 Step W8: (Saving and storing the image stored in the buffer)
The control unit 3 sequentially extracts the corresponding portion of the image based on the position of the zoom frame and the zoom ratio stored in association with each image captured in the buffers 50-1 to 50-16 of the DRAM 5, and performs compression processing. And stored in the flash memory 6. As a result, an image several frames before the point of time (FIG. 7A) can be stored and stored as a zoom image at the pointed position (FIG. 4B).

上記図９のフローチャートにより、図８で撮影者が注目画像１−４をポイントしようとしたがポイント遅れでズーム枠９０’（図７（ｂ））が表示されたときには注目画像１−５が表示されていても、３フレーム分前の注目画像１−１（図７（ａ））にズーム枠９０のズーム比率α及び座標（ｘ２、ｙ２）を対応付けて記録できる。従って、再生時には、１フレーム目の動画はズームされた画像として再生表示される。 According to the flowchart of FIG. 9, when the photographer tries to point the attention image 1-4 in FIG. 8, but the zoom frame 90 ′ (FIG. 7B) is displayed with a point delay, the attention image 1-5 is displayed. Even in this case, the zoom ratio α and the coordinates (x2, y2) of the zoom frame 90 can be recorded in association with the target image 1-1 (FIG. 7A) three frames before. Therefore, at the time of reproduction, the moving image of the first frame is reproduced and displayed as a zoomed image.

４．他のフレーミング方法
以上、フレーミング方法の実施例の幾つかについて説明したが、ポインティングデバイスでズーム枠の位置（撮影エリア）をポイントして撮影する場合、ポインティングデバイスで画面に表示されている被写体の複数の箇所（つまり、複数の注目画像）をポイントするようにし、ポイントされた複数の部分にズーム枠を重畳表示し、１回の撮影で複数の動画（又は静止画）をズーム撮影するように構成することもできる。なお、複数の動画をズーム表示する場合は複数の注目画像の動きベクトルを求めて（又は、画像処理によりそれぞれの注目画像の位置を得て）各注目画像に追従してズーム枠の位置を変更するようにする。 4). Other Framing Methods While some of the embodiments of the framing method have been described above, when shooting with the pointing device pointing to the position of the zoom frame (shooting area), a plurality of subjects displayed on the screen with the pointing device Pointed to (that is, a plurality of images of interest), a zoom frame is superimposed on the pointed portions, and a plurality of moving images (or still images) are zoomed in one shooting. You can also When zooming in on multiple movies, obtain the motion vectors of multiple images of interest (or obtain the position of each image of interest through image processing) and change the position of the zoom frame following each image of interest. To do.

また、図５（ａ）及び図９のフローチャートでは動画撮影時にポインティングデバイスで画像をポイントしてその部分をズームして記録するように構成したが、撮影前に被写体の動きが分かっている場合には、撮影前にその動きに追従するようにポインティングデバイス等の位置指定手段で画面（タッチパネルキー）をポイントすると共にズームキー４３のようなズーム量指定手段でズーム比率（ズーム量）を指定してその位置及びズーム比率をＤＲＡＭ５又はフラッシュメモリ６のようなズーム位置設定手段に設定しておき、動画撮影時にズーム位置設定手段に設定されているズーム位置及びズーム比率を順次取り出して動画像のズーム位置及びズーム比率を順次変更してズーム枠を順次重畳表示し、記録時にこのズーム枠内の画像を上記ズーム位置及びズーム比率と対応付けて記録するように構成できる。撮影前に行うズーム位置の設定をポインティングデバイス等の位置指定手段で行う場合には実際の動きとは異なったズーム枠位置を指定することもでき、いわゆる面白さを演出することもできる。
なお、撮影前に被写体の動きが分かっている場合にズーム位置の設定を画像認識処理等の位置検出手段により撮影前に行って設定するようにしてもよい。この場合は実際の動きに忠実なズーム位置を設定することができる。 Further, in the flowcharts of FIGS. 5A and 9, the image is pointed by the pointing device at the time of moving image shooting and the portion is zoomed and recorded. However, when the movement of the subject is known before shooting. Point the screen (touch panel key) with a position specifying means such as a pointing device so as to follow the movement before shooting, and specify a zoom ratio (zoom amount) with a zoom amount specifying means such as the zoom key 43. The position and zoom ratio are set in the zoom position setting means such as the DRAM 5 or the flash memory 6, and the zoom position and zoom ratio set in the zoom position setting means at the time of moving image shooting are sequentially taken out to obtain the zoom position and zoom ratio of the moving image. The zoom ratio is changed sequentially, and the zoom frame is displayed in a superimposed manner. It can be configured to record in association with the over zoom position and the zoom ratio. When the zoom position setting before photographing is performed by position specifying means such as a pointing device, a zoom frame position different from the actual movement can be specified, and so-called fun can be produced.
If the movement of the subject is known before shooting, the zoom position may be set before shooting by position detection means such as image recognition processing. In this case, a zoom position faithful to the actual movement can be set.

また、各動画の動きベクトルを撮影時にフラッシュメモリ６に記録しておき、被写体が既に撮影してある動画の被写体と同じ動きをする場合には、その動画を指定してその動きベクトルをフラッシュメモリ６から取り出し、その動画の動きベクトルを用いて撮影中にズームするようにしてもよい。
また、上記各実施例の説明ではデジタルカメラを例としたが、ビデオカメラや電子スチルカメラでもよく、本発明の適用範囲はデジタルカメラに限定されない。
以上、本発明の一実施例について説明したが本発明は上記実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。 In addition, when the motion vector of each moving image is recorded in the flash memory 6 at the time of shooting and the subject moves in the same manner as the subject of the moving image already shot, the moving vector is designated and the motion vector is stored in the flash memory. 6 may be taken out and zoomed during shooting using the motion vector of the moving image.
In the description of each of the above embodiments, a digital camera is used as an example. However, a video camera or an electronic still camera may be used, and the scope of application of the present invention is not limited to a digital camera.
As mentioned above, although one Example of this invention was described, this invention is not limited to the said Example, It cannot be overemphasized that various deformation | transformation implementation is possible.

本発明のカメラの一実施例の構成を示すブロック図である。It is a block diagram which shows the structure of one Example of the camera of this invention. デジタルカメラの一実施例の外観を示す図である。It is a figure which shows the external appearance of one Example of a digital camera. 本発明のズーム撮影方法の概要説明図である。It is outline | summary explanatory drawing of the zoom imaging | photography method of this invention. フレーミングされた表示画像及び記録画像の説明図である。It is explanatory drawing of the display image and recording image which were framing. 動画撮影モード時のフレーミング動作の一実施例を示すフローチャートである。It is a flowchart which shows one Example of the framing operation | movement at the time of video recording mode. 動画再生モード時のフレーミング動作の説明図である。It is explanatory drawing of the framing operation | movement at the time of a moving image reproduction mode. ポイントより数フレーム前の画像をズームする例の説明図である。It is explanatory drawing of the example which zooms the image several frames before a point. ポイントされた画像とズーム画像として保存記憶（記録）される画像の説明図である。It is explanatory drawing of the image preserve | saved (recorded) as a pointed image and a zoom image. ポイントより数フレーム前の画像をポイント時のズーム画像とする場合のフレーミング動作例を示すフローチャートである。It is a flowchart which shows the example of framing operation | movement in case the image several frames before a point is made into the zoom image at the time of a point.

Explanation of symbols

１注目画像
２撮像部（撮像手段）
３制御部（表示制御手段、ズーム位置変更手段、移動量検出手段、ズーム量変更制御手段、移動速度算出手段、ズーム位置変更制御手段、保存記録制御手段、位置検出手段）
４操作部（位置指定手段、ズーム量指定手段）
５一次メモリ（ＤＲＡＭ（記憶手段、ズーム位置設定手段））
６保存メモリ(フラッシュメモリ（保存記録手段、ズーム位置設定手段）)
７表示部（表示手段）
９ポイントペン（位置指定手段）
４３ズームキー（ズーム量指定手段）
７０液晶画面(画面)
９０，９０’９０” ズーム枠
１００デジタルカメラ（電子カメラ） 1 Image of interest 2 Imaging unit (imaging means)
3 Control unit (display control means, zoom position change means, movement amount detection means, zoom amount change control means, movement speed calculation means, zoom position change control means, storage recording control means, position detection means)
4 Operation part (position designation means, zoom amount designation means)
5 Primary memory (DRAM (storage means, zoom position setting means))
6 Storage memory (flash memory (storage recording means, zoom position setting means))
7 Display section (display means)
9 Point pen (position designation means)
43 Zoom key (Zoom amount designation means)
70 LCD screen (screen)
90, 90'90 "Zoom frame 100 Digital camera (electronic camera)

Claims

Imaging means for sequentially capturing subject images;
Attention image detection means for detecting attention images in a moving image sequentially output from the imaging means ;
Position detection means for detecting the position of the attention image detected by the attention image detection means;
Zoom amount change control means for changing the zoom amount based on the change amount of the position of the target image detected by the position detection means;
Zoom position change control means for changing the zoom position based on the position of the image of interest detected by the position detection means ,
The zoom position change control means changes the zoom position so that the center of the zoom position becomes the center position of the attention image,
The electronic camera according to claim 1, wherein the zoom amount change control unit changes a zoom amount with respect to the attention image .

The electronic camera according to claim 1, wherein the zoom amount change control unit changes the zoom amount based on a change in a cutout size of each frame in the moving image.

3. The electronic camera according to claim 1, wherein the zoom position change control unit changes the zoom position based on a change in a cutout position of each frame in the moving image.

The position detecting means detects a position of at least the center of the attention image detected by the attention image detection means;
The zoom position change control means changes the zoom position so that the center of the zoom position becomes the center position of the attention image based on the position of the center of the attention image detected by the position detection means. The electronic camera according to any one of claims 1 to 3.

An attention image detection step of detecting an attention image in a moving image sequentially output from the imaging means;
A position detection step for detecting the position of the target image detected in the target image detection step;
A zoom amount changing step for changing the zoom amount based on the amount of change in the position of the target image detected in the position detecting step;
A zoom position changing step for changing the zoom position based on the position of the image of interest detected in the position detecting step,
The zoom position changing step changes the zoom position so that the center of the zoom position becomes the center position of the attention image,
The electronic zoom method according to claim 1, wherein the zoom amount changing step changes a zoom amount with respect to the attention image.