JP4872797B2 - Imaging apparatus, imaging method, and imaging program - Google Patents

Imaging apparatus, imaging method, and imaging program Download PDF

Info

Publication number
JP4872797B2
JP4872797B2 JP2007132989A JP2007132989A JP4872797B2 JP 4872797 B2 JP4872797 B2 JP 4872797B2 JP 2007132989 A JP2007132989 A JP 2007132989A JP 2007132989 A JP2007132989 A JP 2007132989A JP 4872797 B2 JP4872797 B2 JP 4872797B2
Authority
JP
Japan
Prior art keywords
image
image blur
detected
difference value
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007132989A
Other languages
Japanese (ja)
Other versions
JP2008288975A (en
JP2008288975A5 (en
Inventor
雅昭 佐々木
紳一 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2007132989A priority Critical patent/JP4872797B2/en
Priority to US12/151,446 priority patent/US8564674B2/en
Priority to CN2009102252580A priority patent/CN101742106B/en
Priority to CN2008100995936A priority patent/CN101309357B/en
Priority to KR1020080045595A priority patent/KR100925319B1/en
Priority to EP08290459A priority patent/EP1998558B1/en
Priority to TW097117935A priority patent/TWI386040B/en
Publication of JP2008288975A publication Critical patent/JP2008288975A/en
Publication of JP2008288975A5 publication Critical patent/JP2008288975A5/ja
Application granted granted Critical
Publication of JP4872797B2 publication Critical patent/JP4872797B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Description

本発明は、デジタルカメラ等の撮像装置、撮像方法および撮像プログラムに関する。   The present invention relates to an imaging apparatus such as a digital camera, an imaging method, and an imaging program.

近年、パーソナルコンピュータの目覚しい普及やその使い勝手の良さから、従来の銀塩フィルムを用いたカメラに代わって、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を用いたデジタルカメラが急速に普及している。このようなデジタルカメラで、被写体像を撮影する場合、撮影者は、カメラを動かして画角を決め、手振れがないようにカメラを押さえ、シャッターキーを操作して撮影を行っている。   In recent years, digital cameras using an image sensor such as a charge coupled device (CCD) are rapidly spreading in place of conventional cameras using silver halide films because of the remarkable spread of personal computers and their ease of use. When shooting a subject image with such a digital camera, the photographer moves the camera to determine the angle of view, presses the camera so that there is no camera shake, and operates the shutter key to shoot.

ところが、撮影者が画角を決め、カメラをしっかり固定したつもりでも、撮影時にカメラが動いてしまい、手振れが発生してしまうことがある。そこで、このような手振れの影響を抑制するために、例えば特許文献１に示されるように、デジタルカメラに手振れ補正機能を搭載したものが登場してきている。   However, even if the photographer decides the angle of view and intends to fix the camera firmly, the camera may move during shooting, resulting in camera shake. Therefore, in order to suppress the influence of such camera shake, as shown in Patent Document 1, for example, a digital camera equipped with a camera shake correction function has appeared.

しかしながら、手振れ補正機能を実現するためには、特許文献１に記載されているように、手振れを補正するための余分なメモリ領域が必要になる。   However, in order to realize the camera shake correction function, as described in Patent Document 1, an extra memory area for correcting camera shake is required.

また、被写体が人間等である場合には、撮影者は、画角を決めた後、これから撮影することを声により合図して、静止を促している。ところが、静止を促した後に、被写体となる人間が動いてしまい、画振れが発生することがある。このような画振れは、従来の手振れ補正だけでは、補正することは難しい。   When the subject is a person or the like, the photographer decides the angle of view and then gives a voice signal to shoot from now on to prompt him to stop. However, after urging to be stationary, a human subject may move and image blurring may occur. Such image blur is difficult to correct only by conventional camera shake correction.

そこで、手振れや被写体振れが発生していないタイミングを検出し、手振れや画振れが発生していないタイミングで記録撮影を行えるようにすることが考えられる。
特開平６−３５０８９５号公報 In view of this, it is conceivable to detect the timing at which no camera shake or subject shake occurs, and to enable recording and shooting at a timing at which no camera shake or image shake occurs.
JP-A-6-350895

上述のように、手振れや画振れが発生していないタイミングで記録撮影を行えるようにするためには、手振れや画振れが精度よく検出できることが望まれる。手振れの検出としては、例えば特許文献１に示されるように、動きベクトルを用いることが知られている。ところが、動きベクトルは、カメラを動かしている場合の大まかな手振れは検出できるが、被写体の動きを精度よく検出することは難しい。   As described above, it is desirable that camera shake and image blur can be detected with high accuracy so that recording and shooting can be performed at a timing at which camera shake and image blur do not occur. As detection of camera shake, it is known to use a motion vector as disclosed in Patent Document 1, for example. However, the motion vector can detect a rough hand shake when the camera is moving, but it is difficult to accurately detect the motion of the subject.

そこで、本発明は、上述の課題を鑑みてなされたものであり、画振れを精度良く検出して、画振れのない状態の画像を記録できるようにした撮像装置、撮像方法および撮像プログラムを提供することを目的とする。   Accordingly, the present invention has been made in view of the above-described problems, and provides an imaging apparatus, an imaging method, and an imaging program capable of accurately detecting image blur and recording an image with no image blur. The purpose is to do.

請求項１記載の発明は、画振れの検出機能を備えた撮像装置であって、連続して得られる複数の画像フレームより検出される画像全体の動きベクトルの大小により画振れを検出することで、手振れに起因する画振れ成分と被写体の動きに起因する画振れ成分のうち、手振れに起因する画振れ成分を検出する第１の画振れ検出手段と、前記第１の画振れ検出手段により検出される画振れが収束したと判断された後に開始される画振れ検出処理であって、連続する２つの画像フレームの画像データを画素毎に比較した差分値の大小により画振れを検出することで、被写体にフォーカスが合っていない状態では画振れ検出の精度が低下するが、前記第１の画振れ検出手段より画振れ検出の精度が高く、かつ、手振れに起因する画振れ成分と被写体の動きに起因する画振れ成分とを区別せずに画振れを検出する第２の画振れ検出手段と、前記第１の画振れ検出手段により検出される画振れが収束したと判断された後、更に、前記第２の画振れ検出手段により検出される画振れが収束したと判断された場合に、画振れが無くなったと判断する判断手段と、前記判断手段により画振れが無くなったと判断された場合、自動的に撮影記録を行う撮影制御手段と、を備えることを特徴とする。 According to the first aspect of the present invention, there is provided an image pickup apparatus having an image blur detection function, wherein image blur is detected based on the magnitude of the motion vector of the entire image detected from a plurality of image frames obtained in succession. Detected by a first image blur detection unit for detecting an image blur component caused by camera shake out of an image blur component caused by camera shake and an image blur component caused by movement of a subject, and the first image blur detection unit The image blur detection process is started after it is determined that the image blur has been converged, and the image blur is detected based on the difference value obtained by comparing the image data of two consecutive image frames for each pixel. In the state where the subject is not in focus, the accuracy of image blur detection is reduced. However, the accuracy of image blur detection is higher than that of the first image blur detection means, and the image blur component caused by the camera shake and the subject are not detected. A second image shake detecting means for detecting a shake image without distinction and image shake component due to machinery, after the image shake is detected is determined to have converged by the first image shake detecting means, Moreover, if the deflection field is detected by the second image shake detection means is determined to have converged, and determining means for determining the image shake has disappeared, when it is determined that image blur has disappeared by the determining means And a photographing control means for automatically photographing and recording .

請求項２記載の発明は、前記判断手段により画振れがあると判断されている間は、撮影記録を禁止する又は撮影指示の際に警告することを特徴とする。The invention described in claim 2 is characterized in that, while it is determined that there is image blurring by the determining means, shooting recording is prohibited or a warning is given at the time of shooting instruction.

請求項３記載の発明は、前記判断手段は、前記第２の画振れ検出手段により連続的に検出される前記差分値の中で最も小さい差分値を保持し、新たに検出される差分値が保持されている差分値よりも小さくなったか否かにより画振れの有無を判断することを特徴とする。According to a third aspect of the present invention, the determination unit holds the smallest difference value among the difference values continuously detected by the second image blur detection unit, and the newly detected difference value is The presence or absence of image blur is determined based on whether or not the difference value is smaller than the held difference value.

請求項４記載の発明は、前記判断手段は、新たに検出される差分値が保持されている差分値よりも小さくなった場合に、保持されている差分値を新たに検出された差分値で更新するとともに、この更新回数が所定回数以上になった場合に画振れが無くなったと判断することを特徴とする。According to a fourth aspect of the present invention, when the newly detected difference value becomes smaller than the stored difference value, the determining means uses the newly detected difference value as the difference value that has been detected. In addition to updating, it is determined that there is no image blurring when the number of updates exceeds a predetermined number.

請求項５記載の発明は、さらに、画像フレーム内の高周波成分を検出する高周波成分検出手段を備え、前記判断手段は、前記高周波成分検出手段により検出される高周波成分が基準値よりも低下しているか否かを判断し、高周波成分が基準値より低下していると判断された画像フレームは評価対象から除いて、前記第２の画振れ検出手段により検出される差分値により画振れの有無を判断することを特徴とする。The invention according to claim 5 further comprises a high frequency component detecting means for detecting a high frequency component in the image frame, wherein the judging means is configured such that the high frequency component detected by the high frequency component detecting means is lower than a reference value. The image frame for which the high-frequency component is determined to be lower than the reference value is excluded from the evaluation target, and the presence / absence of image blur is determined based on the difference value detected by the second image blur detection unit. It is characterized by judging.

請求項６記載の発明は、さらに、画像フレーム内の高周波成分を検出する高周波成分検出手段を備え、前記判断手段は、前記高周波成分検出手段により検出される高周波成分が基準値よりも低下している画像フレームに基づいて検出された差分値は、保持されている差分値よりも小さい場合でも更新しないことを特徴とする。The invention according to claim 6 further includes a high frequency component detecting means for detecting a high frequency component in the image frame, wherein the determination means is configured such that the high frequency component detected by the high frequency component detecting means is lower than a reference value. The difference value detected based on the existing image frame is not updated even when the difference value is smaller than the held difference value.

請求項７記載の発明は、前記判断手段は、初期に連続する２つの画像フレーム間の差分値を基準値として設定し、以降、新たに算出された画像フレーム間の差分値が前記基準値よりも小さい場合には、前記新たに算出された画像フレーム間の差分値を前記基準値として更新し、この基準値の更新回数が所定以上になった場合に、画振れが少なくなった状態であると判断することを特徴とする。 In the invention according to claim 7, the determination unit sets a difference value between two consecutive image frames in the initial stage as a reference value, and thereafter, a newly calculated difference value between the image frames is based on the reference value . Is smaller, the newly calculated difference value between the image frames is updated as the reference value, and the image blur is reduced when the reference value is updated more than a predetermined number. It is characterized by judging.

請求項８記載の発明は、画振れの検出機能を備えた撮像装置を制御する方法であって、連続して得られる複数の画像フレームより検出される画像全体の動きベクトルの大小により画振れを検出することで、手振れに起因する画振れ成分と被写体の動きに起因する画振れ成分のうち、手振れに起因する画振れ成分を検出する第１の画振れ検出ステップと、前記第１の画振れ検出ステップにより検出される画振れが収束したと判断された後に開始される画振れ検出処理であって、連続する２つの画像フレームの画像データを画素毎に比較した差分値の大小により画振れを検出することで、被写体にフォーカスが合っていない状態では画振れ検出の精度が低下するが、前記第１の画振れ検出手段より画振れ検出の精度が高く、かつ、手振れに起因する画振れ成分と被写体の動きに起因する画振れ成分とを区別せずに画振れを検出する第２の画振れ検出ステップと、前記第１の画振れ検出ステップにより検出される画振れが収束したと判断された後、更に、前記第２の画振れ検出ステップにより検出される画振れが収束したと判断された場合に、画振れが無くなったと判断する判断ステップと、前記判断ステップにより画振れが無くなったと判断された場合、自動的に撮影記録を行う撮影制御ステップと、からなることを特徴とする。The invention according to claim 8 is a method for controlling an image pickup apparatus having an image blur detection function, wherein the image blur is controlled by the magnitude of the motion vector of the entire image detected from a plurality of image frames obtained in succession. A first image blur detection step for detecting an image blur component caused by camera shake out of a camera shake component caused by camera shake and an image blur component caused by motion of the subject by detection, and the first image blur This is an image blur detection process that is started after it is determined that the image blur detected by the detection step has converged, and the image blur is detected based on the difference value obtained by comparing the image data of two consecutive image frames for each pixel. By detecting, the accuracy of image blur detection is lowered when the subject is not in focus, but the accuracy of image blur detection is higher than that of the first image blur detection means, and it is caused by camera shake. The second image blur detection step for detecting the image blur without distinguishing between the image blur component and the image blur component due to the movement of the subject, and the image blur detected by the first image blur detection step converged. In addition, when it is determined that the image blur detected by the second image blur detection step has converged, a determination step for determining that the image blur has disappeared, and an image blur by the determination step. A shooting control step for automatically shooting and recording when it is determined that there is no more.

請求項９記載の発明は、画振れの検出機能を備えた撮像装置の制御プログラムであって、The invention according to claim 9 is a control program for an image pickup apparatus having an image blur detection function,
前記撮像装置のコンピュータを、連続して得られる複数の画像フレームより検出される画像全体の動きベクトルの大小により画振れを検出することで、手振れに起因する画振れ成分と被写体の動きに起因する画振れ成分のうち、手振れに起因する画振れ成分を検出する第１の画振れ検出手段と、前記第１の画振れ検出手段により検出される画振れが収束したと判断された後に開始される画振れ検出処理であって、連続する２つの画像フレームの画像データを画素毎に比較した差分値の大小により画振れを検出することで、被写体にフォーカスが合っていない状態では画振れ検出の精度が低下するが、前記第１の画振れ検出手段より画振れ検出の精度が高く、かつ、手振れに起因する画振れ成分と被写体の動きに起因する画振れ成分とを区別せずに画振れを検出する第２の画振れ検出手段と、前記第１の画振れ検出手段により検出される画振れが収束したと判断された後、更に、前記第２の画振れ検出手段により検出される画振れが収束したと判断された場合に、画振れが無くなったと判断する判断手段と、前記判断手段により画振れが無くなったと判断された場合、自動的に撮影記録を行う撮影制御手段として機能させることを特徴とする。  The computer of the imaging apparatus detects image blur based on the magnitude of the motion vector of the entire image detected from a plurality of image frames obtained in succession, thereby causing image blur components caused by camera shake and subject motion. The first image blur detecting unit that detects an image blur component caused by camera shake among the image blur components and the image blur detected by the first image blur detecting unit are determined to have converged. Image blur detection processing that detects image blur based on the magnitude of the difference between the image data of two consecutive image frames for each pixel, so that the accuracy of image blur detection can be achieved when the subject is not in focus. Although the image blur detection accuracy is higher than that of the first image blur detection unit, the image blur component caused by the camera shake and the image blur component caused by the movement of the subject can be distinguished. A second image blur detecting unit for detecting image blur and a second image blur detecting unit after detecting that the image blur detected by the first image blur detecting unit has converged. A determination unit that determines that the image blur has disappeared when it is determined that the image blur has been converged, and a shooting control unit that automatically performs recording when the determination unit determines that the image blur has been eliminated. It is made to function.

本発明によれば、大まかな画振れの程度を判断し、ある程度、画振れが収束したと判断された後に、より詳細に画振れの程度が判断し、画振れがないと判断された場合に、記録撮影を行うようにすることで、精度よく、画振れのないタイミングを検出できるという効果がある。そして、画振れのないタイミングで撮影を行うことで、画振れのない画像を撮影することができるという効果がある。   According to the present invention, after roughly determining the degree of image blur and determining that the image blur has converged to some extent, the degree of image blur is determined in more detail, and when it is determined that there is no image blur. By performing recording and shooting, there is an effect that it is possible to accurately detect a timing without image blur. Further, by taking an image at a timing without image blur, there is an effect that an image without image blur can be taken.

以下、本発明の実施形態について、図面を参照しながら説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
Note that the constituent elements in the present embodiment can be appropriately replaced with existing constituent elements and the like, and various variations including combinations with other existing constituent elements are possible. Therefore, the description of the present embodiment does not limit the contents of the invention described in the claims.

図１は、本実施形態に係る撮像装置（デジタルカメラ１）の外観構成を示すものであり、図１（ａ）はその正面図、図１（ｂ）はその背面図を示している。撮像装置（デジタルカメラ１）は、図１に示すように、その正面側にストロボ発光部１１と撮像レンズ（レンズ群）１２とを備えている。   FIG. 1 shows an external configuration of an imaging apparatus (digital camera 1) according to the present embodiment. FIG. 1 (a) shows a front view thereof, and FIG. 1 (b) shows a rear view thereof. As shown in FIG. 1, the imaging apparatus (digital camera 1) includes a strobe light emitting unit 11 and an imaging lens (lens group) 12 on the front side.

また、撮像装置（デジタルカメラ１）の背面には、図１（ｂ）に示すように、モードダイヤル１３と、液晶モニタ画面１４と、カーソルキー１５と、ＳＥＴキー１６と、望遠撮影時に用いられるズームキー（Ｗｉｄｅボタン１７−１、Ｔｅｌｅボタン１７−２）１７と、撮影モード選択キー２０等とが設けられている。   Further, as shown in FIG. 1B, on the back surface of the imaging device (digital camera 1), a mode dial 13, a liquid crystal monitor screen 14, a cursor key 15, a SET key 16, and telephoto shooting are used. A zoom key (Wide button 17-1, Tele button 17-2) 17 and a shooting mode selection key 20 are provided.

さらに、撮像装置（デジタルカメラ１）の上面には、図１（ａ）及び図１（ｂ）に示すように、シャッターキー１８と、電源ボタン１９等とが設けられ、図示しない撮像装置（デジタルカメラ１）の側面には、パーソナルコンピュータやモデム等の外部装置をＵＳＢケーブルで接続する場合に用いられるＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子の接続部や、メモリカード等を挿入するスロット等が設けられている。   Further, as shown in FIGS. 1A and 1B, a shutter key 18 and a power button 19 are provided on the upper surface of the imaging device (digital camera 1). On the side of the camera 1), there are provided a USB (Universal Serial Bus) terminal connection portion used when connecting an external device such as a personal computer or a modem with a USB cable, a slot for inserting a memory card or the like. Yes.

図２は、本実施形態に係る撮像装置（デジタルカメラ１）の内部の電気的構成を示すものである。
本実施形態に係る撮像装置は、図２に示すように、撮像レンズ２２と、レンズ駆動ブロック２３と、絞り兼用シャッター２４と、ＣＣＤ撮像素子２１と、ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）２６と、ユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）２７と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２８と、メモリ２９と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）３０と、画像表示部３１と、キー入力部３２と、外部通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３３と、ストロボ駆動部３４と、ストロボ発光部３５と、カードＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３６と、を備えており、カードＩ／Ｆ３６には、図示しないデジタルカメラ１本体のカードスロットにメモリカード４０が着脱可能に接続される。 FIG. 2 shows an internal electrical configuration of the imaging apparatus (digital camera 1) according to the present embodiment.
As shown in FIG. 2, the imaging apparatus according to the present embodiment includes an imaging lens 22, a lens driving block 23, a diaphragm / shutter 24, a CCD imaging device 21, a TG (Timing Generator) 26, and a unit circuit ( CDS / AGC / AD) 27, DRAM (Dynamic Random Access Memory) 28, memory 29, CPU (Central Processing unit) 30, image display unit 31, key input unit 32, external communication I / F ( (Interface) 33, a strobe drive unit 34, a strobe light emitting unit 35, and a card I / F (Interface) 36. The card I / F 36 has a memory in a card slot of the digital camera 1 (not shown). The card 40 is detachably connected.

撮像レンズ２２は、フォーカスレンズ、ズームレンズを含み、レンズ駆動ブロック２３が接続されている。このレンズ駆動ブロック２３は、図示しないフォーカスレンズ、ズームレンズをそれぞれ撮像面と平行な光軸方向に駆動させるフォーカスモータ及びズームモータと、ＣＰＵ３０からの制御信号にしたがってフォーカスモータ及びズームモータをそれぞれ駆動させるフォーカスドライバ及びズームモータドライバから構成されている。   The imaging lens 22 includes a focus lens and a zoom lens, and a lens driving block 23 is connected thereto. The lens drive block 23 drives a focus motor and a zoom motor that drive a focus lens and a zoom lens (not shown) in an optical axis direction parallel to the imaging surface, respectively, and a focus motor and a zoom motor according to a control signal from the CPU 30. It consists of a focus driver and a zoom motor driver.

絞り兼用シャッター２４は、図示しない駆動回路を含み、この駆動回路はＣＰＵ３０から送られてくる制御信号にしたがって絞り兼用シャッターを動作させる。なお、この絞り兼用シャッター２４は、絞りとシャッターとして機能する。   The aperture / shutter 24 includes a drive circuit (not shown), and this drive circuit operates the aperture / shutter according to a control signal sent from the CPU 30. The aperture / shutter 24 functions as an aperture and a shutter.

ＣＣＤ撮像素子２１は、撮像レンズ２２及び絞り兼用シャッター２４を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）２７に出力する。また、ＣＣＤ撮像素子２１は、ＴＧ２６によって生成された所定周波数のタイミング信号にしたがって駆動する。なお、ＴＧ２６にはユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）２７が接続されている。   The CCD imaging device 21 converts the light of the subject projected through the imaging lens 22 and the aperture / shutter 24 into an electrical signal, and outputs the electrical signal to the unit circuit (CDS / AGC / AD) 27 as an imaging signal. The CCD image sensor 21 is driven according to a timing signal having a predetermined frequency generated by the TG 26. A unit circuit (CDS / AGC / AD) 27 is connected to the TG 26.

ユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）２７は、ＣＣＤ撮像素子２１から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ撮像素子２１の撮像信号は、ユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）２７を経てデジタル信号としてＣＰＵ３０に送られる。   The unit circuit (CDS / AGC / AD) 27 is a CDS (Correlated Double Sampling) circuit that holds the imaging signal output from the CCD imaging device 21 by correlated double sampling, and performs automatic gain adjustment of the imaging signal after the sampling. An AGC (Automatic Gain Control) circuit to be performed and an A / D converter for converting the analog image pickup signal after the automatic gain adjustment into a digital signal. The image pickup signal of the CCD image pickup device 21 is a unit circuit (CDS / CDS). AGC / AD) 27 is sent as a digital signal to CPU 30.

ＣＰＵ３０は、ユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）２７から送られてきた画像データの画像処理（画素補間処理、ガンマ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、振れ補正処理、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式の圧縮・伸張）の処理等を行う機能を有するとともに、デジタルカメラ１の各部を制御プログラムにしたがって制御するワンチップマイコンである。   The CPU 30 performs image processing (pixel interpolation processing, gamma correction, generation of luminance and color difference signals, white balance processing, exposure correction processing, etc.) and shake correction processing of the image data sent from the unit circuit (CDS / AGC / AD) 27. This is a one-chip microcomputer that has a function of processing image data compression / decompression (for example, JPEG compression / decompression) and controls each part of the digital camera 1 according to a control program.

ＤＲＡＭ２８は、ＣＣＤ撮像素子２１によって撮像された後、ＣＰＵ３０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ３０のワーキングメモリとしても使用される。   The DRAM 28 is used as a buffer memory for temporarily storing image data sent to the CPU 30 after being imaged by the CCD image sensor 21 and also as a working memory for the CPU 30.

画像表示部３１は、カラーＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）とその駆動回路とを含み、撮影待機状態にあるときには、ＣＣＤ撮像素子２１によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、メモリカード４０から読み出され、伸張された記録画像を表示させる。   The image display unit 31 includes a color LCD (Liquid Crystal Display) and its driving circuit, and displays the subject imaged by the CCD image sensor 21 as a through image when in a shooting standby state. The recorded image read from the memory card 40 and expanded is displayed.

キー入力部３２は、モードダイヤル１３、カーソルキー１５、ＳＥＴキー１６、ズームキー１７、シャッターキー１８、電源ボタン１９、撮影モード選択キー２０（図１（ａ）及び図１（ｂ）参照）等の複数の作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ３０に出力する。   The key input unit 32 includes a mode dial 13, a cursor key 15, a SET key 16, a zoom key 17, a shutter key 18, a power button 19, a shooting mode selection key 20 (see FIGS. 1A and 1B), and the like. An operation signal including a plurality of operation keys and corresponding to a user's key operation is output to the CPU 30.

外部通信Ｉ／Ｆ３３は、外部の電子機器（例えば、パーソナルコンピュータ）との間でデータの入出力を行うものであり、ＵＳＢ規格、ＩＥＥＥ１３９４規格などの各種インターフェース規格による入出力を可能としており、これらの規格によるデータ入出力が可能なパソコンなどの電子機器と接続可能となっている。また、ＩｒＤＡ規格による赤外線通信、Ｂｌｕｅｔｏｏｔｈ規格による無線通信により外部の電子機器と画像データの入出力を可能としているものでもよい。   The external communication I / F 33 performs data input / output with an external electronic device (for example, a personal computer), and enables input / output according to various interface standards such as the USB standard and the IEEE 1394 standard. It can be connected to electronic devices such as personal computers that can input and output data according to the above standards. In addition, image data may be input / output to / from an external electronic device by infrared communication based on the IrDA standard or wireless communication based on the Bluetooth standard.

ストロボ駆動部３４は、ＣＰＵ３０の制御信号にしたがって、ストロボ発光部３５を閃光駆動させ、ストロボ発光部３５は、これによりストロボを閃光させる。ＣＰＵ３０は、図示しない測光回路により、撮影シーンが暗いか否かを判断し、撮影シーンが暗いと判断し、かつ、撮影を行う場合（シャッターキーの押下時）には、ストロボ駆動部３４に制御信号を出力する。   The strobe driving unit 34 drives the strobe light emitting unit 35 to flash in accordance with a control signal from the CPU 30, and the strobe light emitting unit 35 causes the strobe to flash. The CPU 30 determines whether or not the shooting scene is dark by a photometric circuit (not shown), and determines that the shooting scene is dark and controls the strobe drive unit 34 when shooting (when the shutter key is pressed). Output a signal.

メモリ２９は、ＣＰＵ３０によるデジタルカメラ１の各部の制御に必要なプログラム及び各部の制御に必要なデータを記録格納しており、ＣＰＵ３０は、このプログラムにしたがって処理を実行する。   The memory 29 records and stores a program necessary for controlling each part of the digital camera 1 by the CPU 30 and data necessary for controlling each part. The CPU 30 executes processing according to this program.

上述の撮像装置（デジタルカメラ１）において、シャッターキー１８（キー入力部３２に含まれる）が操作されると、撮像レンズ２２及び絞り兼用シャッター２４を介して投影された被写体像光がＣＣＤ撮像素子２１に取り込まれ、ＣＣＤ撮像素子２１でこの画像が電気信号に変換され、撮像信号としてユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）２７に出力される。そして、ＣＰＵ３０により、ユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）２７から送られてきた画像データに対して、画像処理が行われ、ＪＰＥＧ等により圧縮されて、メモリカード４０に記録される。   When the shutter key 18 (included in the key input unit 32) is operated in the above-described imaging apparatus (digital camera 1), the subject image light projected through the imaging lens 22 and the aperture / shutter 24 is converted into a CCD imaging device. 21, this image is converted into an electrical signal by the CCD imaging device 21, and is output to the unit circuit (CDS / AGC / AD) 27 as an imaging signal. Then, the CPU 30 performs image processing on the image data sent from the unit circuit (CDS / AGC / AD) 27, compresses it with JPEG or the like, and records it in the memory card 40.

ここで、撮影者が撮像装置で撮影を行う際に、カメラが動いてしまったり、被写体が動いたりすると、手振れや画振れにより撮影画像にボケが生じてしまう。そこで、本実施形態では、手振れや画振れを検出し、手振れや画振れが収束したら、撮影記録が行えるようにしている。このように、手振れや画振れが収束してから、撮影記録が行えるようにするための動作について、以下に説明する。   Here, when the photographer takes a picture with the imaging apparatus, if the camera moves or the subject moves, the photographed image is blurred due to camera shake or image shake. Therefore, in the present embodiment, camera shake and image blur are detected, and when the camera shake and the image blur converge, shooting and recording can be performed. An operation for enabling shooting and recording after the hand shake and the image blur have converged will be described below.

図３は、本実施形態において、手振れや画振れを検出して、撮影記録のタイミングを制御するための機能を実現するための構成を示す機能ブロック図である。なお、この機能ブロック図は、ＣＰＵ３０を使ってソフトウェアにより実現することが可能である。   FIG. 3 is a functional block diagram showing a configuration for realizing a function for detecting camera shake or image blur and controlling the timing of shooting and recording in the present embodiment. This functional block diagram can be realized by software using the CPU 30.

図３に示すように、本実施形態においては、第１の画振れ検出部１０１と、第２の画振れ検出部１０２と、判断部１０３とが設けられている。第１の画振れ検出部１０１及び第２の画振れ検出部１０２は、共に画像データから画振れを検出するものであるが、検出速度や検出精度が異なっている。さらに、本実施形態では、画像フレーム内の高周波成分を検出する高周波検出部１０５が設けられている。なお、高周波検出部１０５の働きについては後に説明する。   As shown in FIG. 3, in the present embodiment, a first image blur detection unit 101, a second image blur detection unit 102, and a determination unit 103 are provided. The first image blur detection unit 101 and the second image blur detection unit 102 both detect image blur from image data, but are different in detection speed and detection accuracy. Further, in the present embodiment, a high frequency detection unit 105 that detects a high frequency component in the image frame is provided. Note that the function of the high-frequency detection unit 105 will be described later.

第１の画振れ検出部１０１は、撮影の初期段階で、大まかな画振れの発生の程度を検出するものである。つまり、撮影を行う際に、撮影者は、デジタルカメラ１を大きく動かして画角を決め、画角が決まったら、デジタルカメラ１を静止させるようにして、撮影を行う。したがって、撮影の初期段階では、大まかな画振れを検出し、デジタルカメラ１がある程度静止させた状態になったことを検出する必要がある。第１の画振れ検出部１０１は、このような撮影の初期段階の手振れを検出している。第１の画振れ検出部１０１としては、高い検出精度は要求されないが、大きな画振れを高速に検出できることが要求される。   The first image blur detection unit 101 detects the degree of occurrence of rough image blur at the initial stage of shooting. In other words, when taking a picture, the photographer moves the digital camera 1 to determine the angle of view, and when the angle of view is determined, the photographer takes a picture so that the digital camera 1 is stationary. Therefore, at the initial stage of photographing, it is necessary to detect rough image shake and detect that the digital camera 1 has been stopped to some extent. The first image blur detection unit 101 detects such a camera shake at the initial stage of photographing. The first image blur detection unit 101 is not required to have high detection accuracy, but is required to detect large image blur at high speed.

これに対して、第２の画振れ検出部１０２は、ある程度手振れが収束した後に、細かい画振れを検出するものである。つまり、撮影者は、画角が決めた後に、デジタルカメラ１を静止させて、撮影を行う。しかしながら、ここで、デジタルカメラ１が僅かに動いてしまったり、被写体が動いてしまったりすることがある。第２の画振れ検出部１０２は、撮影者が画角を決めた後にデジタルカメラ１を静止させている間に、手振れや画振れの発生の程度を高い精度で検出するものである。第２の画振れ検出部１０２としては、大まかな手振れを検出できることは要求されないが、精度の高い検出が要求される。   On the other hand, the second image blur detection unit 102 detects fine image blur after the camera shake has converged to some extent. That is, after the angle of view is determined, the photographer takes a picture with the digital camera 1 stationary. However, here, the digital camera 1 may move slightly or the subject may move. The second image blur detection unit 102 detects the occurrence of camera shake and image blur with high accuracy while the digital camera 1 is stationary after the photographer determines the angle of view. The second image blur detection unit 102 is not required to be able to detect rough camera shake, but is required to be detected with high accuracy.

判断部１０３は、最初に、第１の画振れ検出部１０１からの検出出力に基づいて、大まかな画振れの程度を判断し、ある程度、画振れが収束したと判断された後に、第２の画振れ検出部１０２からの検出出力により、より詳細に画振れの程度が判断し、画振れがないと判断されたら、手振れや画振れのないことを示す信号を撮影記録処理部１０４に送り、撮影記録を行うようにしている。   The determination unit 103 first determines the degree of rough image blur based on the detection output from the first image blur detection unit 101, and after determining that the image blur has converged to some extent, Based on the detection output from the image blur detection unit 102, the degree of image blur is determined in more detail, and when it is determined that there is no image blur, a signal indicating that there is no camera shake or image blur is sent to the photographing recording processing unit 104, Shooting recording is performed.

このように、本実施形態では、大まかな画振れを高速で検出できる第１の画振れ検出部１０１と、精度の高い画振れを検出できる第２の画振れ検出部１０２との２つの画振れ検出部が設けられており、最初に、第１の画振れ検出部１０１からの検出出力に基づいて、大まかな画振れの程度を判断し、ある程度、画振れが収束したと判断された後に、第２の画振れ検出部１０２からの検出出力により、より詳細に画振れの程度が判断し、画振れがないと判断されたら、記録撮影を行うようにしている。これにより、手振れや画振れのないタイミングで、確実に、撮影を行うことができる。   As described above, in the present embodiment, the two image shakes of the first image shake detection unit 101 that can detect rough image shake at high speed and the second image shake detection unit 102 that can detect high-precision image shake are provided. A detection unit is provided, and first, based on the detection output from the first image blur detection unit 101, a rough degree of image blur is determined, and after it is determined that the image blur has converged to some extent, Based on the detection output from the second image blur detection unit 102, the degree of image blur is determined in more detail, and when it is determined that there is no image blur, recording is performed. Thereby, it is possible to reliably perform shooting at a timing without camera shake or image blur.

なお、撮影記録処理部１０４は、判断部１０３から、手振れや画振れのないことを示す信号が送られてきたら、自動的に、記録撮影を行うように制御してもよい。また、判断部１０３から、手振れや画振れのないことを示す信号が送られてこなければ、撮影を禁止するように制御してもよい。また、判断部１０３から、手振れや画振れのないことを示す信号により撮影タイミングを判断し、撮影指示のときに、警告を発生させるようにしてもよい。   Note that the shooting / recording processing unit 104 may automatically perform recording and shooting when a signal indicating that there is no camera shake or image blur is sent from the determination unit 103. Further, if a signal indicating that there is no camera shake or image shake is not sent from the determination unit 103, control may be performed so as to prohibit photographing. Also, the shooting timing may be determined from a signal indicating that there is no camera shake or image shake from the determination unit 103, and a warning may be generated when a shooting instruction is issued.

次に、第１及び第２の画振れ検出部１０１及び１０２について説明する。   Next, the first and second image blur detection units 101 and 102 will be described.

第１の画振れ検出部１０１は、上述のように、大まかな画振れを検出して、デジタルカメラ１が静止された状態になったことを判断するものである。デジタルカメラ１が静止された状態は、画角全体の動きが小さくなった状態であり、これは、グローバル動きベクトルにより求めることができる。   As described above, the first image blur detection unit 101 detects rough image blur and determines that the digital camera 1 is in a stationary state. The state in which the digital camera 1 is stationary is a state in which the movement of the entire angle of view is reduced, and this can be obtained from a global motion vector.

つまり、画像フレームＦｎ−１内のある１点に注目し、その点が次の画像フレームＦｎのどこに移動するかを求めれば、その点についての動きベクトルを求めることができる。しかしながら、被写体には背景部分と動いている部分とがあり、動いている部分の動きベクトルでは、全体の動きを判断できない。例えば、手振れ方向と逆方向に被写体が動いたような場合には、手振れが生じているにも係わらず、動きベクトルは非常に小さい値になってしまうことが考えられるからである。 That is, if a certain point in the image frame F n−1 is focused on and where the point moves in the next image frame F n , the motion vector for that point can be obtained. However, the subject has a background portion and a moving portion, and the overall motion cannot be determined from the motion vector of the moving portion. For example, when the subject moves in the direction opposite to the direction of camera shake, the motion vector may be a very small value despite the occurrence of camera shake.

そこで、本実施形態では、画像フレームからＮ個（Ｎは十分に大きい整数）の特徴点を抽出し、Ｎ個の動きベクトルを求め、サポート数を計算し、最もサポート数の大きい動きベクトルをグローバル動きベクトルとし、このグローバル動きベクトルが小さくなったら、デジタルカメラ１が静止された状態になったと判断するようにしている。   Therefore, in this embodiment, N (N is a sufficiently large integer) feature points are extracted from the image frame, N motion vectors are obtained, the number of supports is calculated, and the motion vector having the largest number of supports is globally determined. When the global motion vector becomes small, it is determined that the digital camera 1 is in a stationary state.

ここで、サポート数は、１つの動きベクトルに対して、その動きベクトルと同様な動きベクトルの数がいくつあるかを示すものである。すなわち、ある１つの動きベクトルをＭＶａとし、残りの動きベクトルをＭＶｉ（ｉは０〜Ｎの整数）とし、Ｄを定数とすると、サポート数は、｜ＭＶａ−ＭＶｉ｜＜Ｄを満たす個数として計算できる。 Here, the number of supports indicates the number of motion vectors similar to the motion vector for one motion vector. That is, if one motion vector is MV a , the remaining motion vectors are MV i (i is an integer from 0 to N), and D is a constant, the number of supports is | MV a −MV i | <D. It can be calculated as the number of filling

背景の部分の動きベクトルは、全体の動きを反映しているので、同様な値となる動きベクトルが多くあり、サポート数が大きくなる。これに対して、動いている被写体の部分の動きベクトルは、全体の動きとは異なるので、サポート数が小さくなる。このことから、サポート数が大きい動きベクトルは、グローバル動きベクトルを示すことになる。   Since the motion vector of the background portion reflects the overall motion, there are many motion vectors having similar values, and the number of supports is large. On the other hand, since the motion vector of the moving subject portion is different from the overall motion, the number of supports is small. Therefore, a motion vector with a large number of supports indicates a global motion vector.

一方、第２の画振れ検出部１０２は、前述したように、ある程度手振れが収束した後に、細かい画振れを検出するものである。このような細かい画振れは、画像フレーム間の差分値により検出できる。   On the other hand, as described above, the second image blur detection unit 102 detects fine image blur after the camera shake has converged to some extent. Such fine image blur can be detected by a difference value between image frames.

つまり、画像フレームＦｎのある座標をＦｎ（ｘ，ｙ）とすると、画像フレーム間の差分値は、Σ｜Ｆｎ（ｘ，ｙ）−Ｆｎ−１（ｘ，ｙ）｜（Σは、全画素の累積値）として計算することができる。画振れが発生すると、この画像フレーム間の差分値が大きくなり、画振れがなくなれば、画像フレーム間の差分値は０に近い値になる。 That is, if a certain coordinate of the image frame F n is F n (x, y), the difference value between the image frames is Σ | F n (x, y) −F n−1 (x, y) | (Σ Can be calculated as a cumulative value of all pixels). When image blur occurs, the difference value between the image frames increases, and when there is no image blur, the difference value between image frames becomes a value close to zero.

そこで、本実施形態では、画像フレームＦｎと画像フレームＦｎ−１との画像フレーム間の差分値を求め、画像フレーム間の差分値が小さくなったら、画振れがない状態であると判断するようにしている。 Therefore, in the present embodiment, the difference value between the image frames F n and F n−1 is obtained, and when the difference value between the image frames becomes small, it is determined that there is no image blur. I am doing so.

しかしながら、実際は、ランダムノイズの影響等により、画像フレーム間の差分値が０になることはない。また、画像フレーム間の差分値は、撮影環境や露光条件、ゲイン等により変化するので、閾値を一律に決定することはできない。そこで、本実施形態では、初期に判断された画像フレーム間の差分値が徐々に小さくなっていき、ある程度小さくなったら、画振れがないと判断するようにしている。   However, in reality, the difference value between image frames does not become zero due to the influence of random noise or the like. In addition, since the difference value between image frames varies depending on the shooting environment, exposure conditions, gain, and the like, the threshold cannot be determined uniformly. In view of this, in the present embodiment, the difference value between image frames determined in the initial stage is gradually reduced, and when it is reduced to some extent, it is determined that there is no image blur.

つまり、初期段階の最初の画像フレームで、画像フレーム間の差分値を求め、この画像フレーム間の差分値を基準値Ａとして登録する。そして、それ以降の画像フレームで検出された画像フレーム間の差分値と基準値Ａとを比較していく。ここで、以降の画像フレーム間の差分値が基準値Ａよりも小さくなった場合、その画像フレームでは、基準値Ａを求めたときの画像フレームよりも、画振れが小さくなったと判断できる。   That is, the difference value between the image frames is obtained at the first image frame in the initial stage, and the difference value between the image frames is registered as the reference value A. Then, the difference value between the image frames detected in the subsequent image frames is compared with the reference value A. Here, when the difference value between subsequent image frames becomes smaller than the reference value A, it can be determined that the image blur is smaller in the image frame than in the image frame when the reference value A is obtained.

この場合、そのとき求められた画像フレーム間の差分値で、基準値Ａを更新し、同様の処理を複数回繰り返していく。これにより、画像フレーム間の差分値が徐々に小さくなり、ある程度小さくなったことが判断できる。そして、基準値Ａの更新回数が所定以上になったら、画振れが少ない状態であると判断する。   In this case, the reference value A is updated with the difference value between the image frames obtained at that time, and the same processing is repeated a plurality of times. Thereby, it can be determined that the difference value between the image frames is gradually reduced to a certain extent. When the number of updates of the reference value A exceeds a predetermined value, it is determined that there is little image blur.

ところが、この条件だけでは、被写体振れの大きさを正しく評価できない場合がある。例えば、画像フレーム間で被写体が大きく動いてボケてしまった画像や、一様に真っ暗な画像などでは、画像フレーム間の差分値の信頼性は低い。   However, in some cases, the magnitude of subject shake cannot be evaluated correctly only with this condition. For example, the reliability of the difference value between image frames is low in an image in which the subject has moved greatly between image frames and the image is uniformly dark.

そこで、本実施形態では、画像フレーム内の高周波成分を検出する高周波検出部１０５が設けられている。すなわち、高周波検出部１０５により、画像フレーム内の高周波成分が検出され、高周波成分が基準値より小さい画像フレームは、画像フレーム間の差分値による画振れの評価の対象から外されるようになっている。   Therefore, in the present embodiment, a high frequency detection unit 105 that detects high frequency components in the image frame is provided. That is, the high-frequency component in the image frame is detected by the high-frequency detection unit 105, and the image frame whose high-frequency component is smaller than the reference value is excluded from the image blur evaluation target based on the difference value between the image frames. Yes.

つまり、初期段階で最初の画像フレームから高周波成分を計算し、その値をもとに高周波成分の基準値Ｂを設定する。次回以降、画像フレーム内で高周波成分を求め、求められた高周波成分と基準値Ｂとを比較していく。そして、求められた高周波成分が基準値Ｂよりも小さい画像フレームでは、画面がボケているとして、画像フレーム間の差分値による画振れの評価の対象から外すようする。   That is, the high frequency component is calculated from the first image frame in the initial stage, and the reference value B of the high frequency component is set based on the value. From the next time, the high frequency component is obtained in the image frame, and the obtained high frequency component is compared with the reference value B. Then, in an image frame in which the obtained high-frequency component is smaller than the reference value B, it is assumed that the screen is blurred and is excluded from the image blur evaluation target based on the difference value between the image frames.

このように、第２の画振れ検出部１０２は、画像フレーム間の差分値と画像フレーム内の高周波成分との２つを用いて、画振れを判断している。つまり、前述したように更新されていく画像フレーム間の差分値の基準値をＡとし、初期段階で設定される高周波成分の基準値をＢとしたときに、以下の２つの条件を両方とも満足したかどうかを判断している。   As described above, the second image blur detection unit 102 determines the image blur using two of the difference value between the image frames and the high-frequency component in the image frame. That is, when the reference value of the difference value between image frames to be updated is A and the reference value of the high frequency component set in the initial stage is B as described above, both of the following two conditions are satisfied. Judging whether or not.

条件（１）：画像フレーム間の差分値が基準値Ａより小さい。
条件（２）：画像フレーム内の高周波成分が基準値Ｂより大きい。 Condition (1): The difference value between image frames is smaller than the reference value A.
Condition (2): The high frequency component in the image frame is larger than the reference value B.

図４は、上述の処理を行うためのフローチャートである。
図４において、撮像された１画像フレームの画像が出力され（ステップＳ１）、グローバル動きベクトル（ＧＭＶ）の検出処理が行われる（ステップＳ２）。グローバル動きベクトル（ＧＭＶ）の検出処理では、Ｎ個の特徴点を抽出し、Ｎ個の動きベクトルを求め、サポート数を計算し、最もサポート数の高い動きベクトルをグローバル動きベクトル（ＧＭＶ）とする処理が行われる。なお、グローバル動きベクトル（ＧＭＶ）の検出処理フローについては、後に説明する。 FIG. 4 is a flowchart for performing the above-described processing.
In FIG. 4, an image of one captured image frame is output (step S1), and a global motion vector (GMV) detection process is performed (step S2). In the global motion vector (GMV) detection process, N feature points are extracted, N motion vectors are obtained, the number of supports is calculated, and the motion vector with the highest support number is defined as the global motion vector (GMV). Processing is performed. The global motion vector (GMV) detection process flow will be described later.

グローバル動きベクトル（ＧＭＶ）が検出されたら、このグローバル動きベクトル（ＧＭＶ）を評価して、グローバル動きベクトル（ＧＭＶ）が十分に小さいかどうかが判断される（ステップＳ３）。   When the global motion vector (GMV) is detected, the global motion vector (GMV) is evaluated to determine whether the global motion vector (GMV) is sufficiently small (step S3).

撮影者が画角を決めているような場合には、デジタルカメラ１が静止されていないため、グローバル動きベクトル（ＧＭＶ）は大きな値となる。つまり、グローバル動きベクトル（ＧＭＶ）が大きければ（ステップＳ３の「Ｎｏ」の場合）、次の画像フレームに処理が移され（ステップＳ４）、ステップＳ２にリターンされ、グローバル動きベクトル（ＧＭＶ）の検出処理が続けられる。   When the photographer determines the angle of view, since the digital camera 1 is not stationary, the global motion vector (GMV) is a large value. That is, if the global motion vector (GMV) is large (in the case of “No” in step S3), the processing is shifted to the next image frame (step S4), and the process returns to step S2 to detect the global motion vector (GMV). Processing continues.

撮影者が画角を決め、デジタルカメラ１を静止させると、グローバル動きベクトル（ＧＭＶ）は小さな値となる。つまり、ステップＳ３で、グローバル動きベクトル（ＧＭＶ）が十分に小さければ（ステップＳ３の「Ｙｅｓ」の場合）、画像フレーム間の差分値が求められ、この画像フレーム間の差分値が基準値Ａとされる（ステップＳ５）。画像フレーム間の差分値は、前述したように、Σ｜Ｆｎ（ｘ，ｙ）−Ｆｎ−１（ｘ，ｙ）｜として計算される。そして、画像フレーム内の高周波成分が求められ、この画像フレーム内の高周波成分が基準値Ｂとされる（ステップＳ６）。 When the photographer determines the angle of view and stops the digital camera 1, the global motion vector (GMV) becomes a small value. That is, if the global motion vector (GMV) is sufficiently small in step S3 (in the case of “Yes” in step S3), a difference value between the image frames is obtained, and the difference value between the image frames is the reference value A. (Step S5). As described above, the difference value between the image frames is calculated as Σ | F n (x, y) −F n−1 (x, y) |. Then, a high frequency component in the image frame is obtained, and the high frequency component in the image frame is set as the reference value B (step S6).

次の画像フレームの画像が出力され（ステップＳ７）、その画像フレームで、画像フレーム間の差分値が求められ（ステップＳ８）、画像フレーム内の高周波成分が求められる（ステップＳ９）。そして、画像フレーム間の差分値が基準値Ａよりも小さく、かつ、画像フレーム内の高周波成分が基準値Ｂより大きいかどうかが判断される（ステップＳ１０）。   An image of the next image frame is output (step S7), and a difference value between the image frames is obtained in the image frame (step S8), and a high frequency component in the image frame is obtained (step S9). Then, it is determined whether or not the difference value between the image frames is smaller than the reference value A and the high frequency component in the image frame is larger than the reference value B (step S10).

画像フレーム間の差分値が基準値Ａより大きい、又は、画像フレーム内の高周波成分が基準値Ｂより小さい場合（ステップＳ１０の「Ｎｏ」の場合）には、画像フレーム間の差分値が許容値より大きいかどうかが判断され（ステップＳ１１）、画像フレーム間の差分値が許容値より大きくなければ（ステップＳ１１の「Ｎｏ」の場合）、ステップＳ７にリターンされる。   When the difference value between the image frames is larger than the reference value A or the high frequency component in the image frame is smaller than the reference value B (in the case of “No” in step S10), the difference value between the image frames is an allowable value. It is determined whether or not the difference is larger (step S11), and if the difference value between the image frames is not larger than the allowable value (in the case of “No” in step S11), the process returns to step S7.

手振れが収まらない場合や被写体の画振れが生じているような場合には、画像フレーム間の差分値が基準値Ａより大きくなる。また、画面がボケてきた場合には、画像フレーム内の高周波成分が基準値Ｂより小さくなる。よって、これらの場合には、ステップＳ１０の判断結果が「Ｎｏ」となり、ステップＳ７〜ステップＳ１１の処理が繰り返し実行される。   When the camera shake does not fall out or when the subject shakes, the difference value between the image frames becomes larger than the reference value A. When the screen is blurred, the high frequency component in the image frame becomes smaller than the reference value B. Therefore, in these cases, the determination result in step S10 is “No”, and the processes in steps S7 to S11 are repeatedly executed.

また、撮影者が一度決めた画角を外して、デジタルカメラ１を大きく動かすような場合がある。この場合には、ステップＳ１１で、画像フレーム間の差分値が許容値より大きいと判断されることになる。したがって、このような場合（ステップＳ１１の「Ｙｅｓ」の場合）には、ステップＳ４で、次の画像フレームに処理が移され、ステップＳ２リターンされる。   Further, there are cases where the angle of view once determined by the photographer is removed and the digital camera 1 is moved greatly. In this case, it is determined in step S11 that the difference value between the image frames is larger than the allowable value. Therefore, in such a case (in the case of “Yes” in step S11), the process is moved to the next image frame in step S4, and the process returns to step S2.

手振れや画振れが生じていない場合には、画像フレーム間の差分値が基準値Ａより小さくなる。また、画面がボケていなければ、画像フレーム内の高周波成分が基準値Ｂより大きくなる。よって、これらの場合には、ステップＳ１０の判断結果が「Ｙｅｓ」となる。   When there is no camera shake or image blur, the difference value between image frames is smaller than the reference value A. If the screen is not blurred, the high frequency component in the image frame is larger than the reference value B. Therefore, in these cases, the determination result in step S10 is “Yes”.

ステップＳ１０で、画像フレーム間の差分値が基準値Ａより小さく、かつ、画像フレーム内の高周波成分が基準値Ｂより大きい場合（ステップＳ１０の「Ｙｅｓ」の場合）には、基準値Ａが今回の画像フレーム間の差分値で更新される（ステップＳ１２）。そして、更新回数が所定回数に達したかどうかが判断され（ステップＳ１３）、更新回数が所定回数に達していなければ（ステップＳ１３の「Ｎｏ」の場合）、ステップＳ７にリターンされる。   In step S10, if the difference value between the image frames is smaller than the reference value A and the high frequency component in the image frame is larger than the reference value B (in the case of “Yes” in step S10), the reference value A is the current value. It is updated with the difference value between the image frames (step S12). Then, it is determined whether or not the number of updates has reached a predetermined number (step S13). If the number of updates has not reached the predetermined number (in the case of “No” in step S13), the process returns to step S7.

このように、最初の画像フレーム間の差分値を基準値Ａとし、以降の画像フレーム間の差分値と基準値Ａとを比較していき、以降の画像フレーム間の差分値が基準値Ａよりも小さくなった場合、そのとき求められた画像フレーム間の差分値で、基準値Ａを更新し、それ以降、同様の処理を複数回繰り返していくことで、画像フレーム間の差分値が徐々に小さくなることを検出していくことができる。   In this way, the difference value between the first image frames is set as the reference value A, the difference value between the subsequent image frames is compared with the reference value A, and the difference value between the subsequent image frames is compared with the reference value A. Is also reduced, the reference value A is updated with the difference value between the image frames obtained at that time, and thereafter, the same process is repeated a plurality of times so that the difference value between the image frames gradually increases. It is possible to detect the decrease.

ステップＳ１３で、更新回数が所定回数に達した場合（ステップＳ１３の「Ｙｅｓ」の場合）には、手振れや画振れがないと判断される（ステップＳ１４）。   If the number of updates reaches a predetermined number in step S13 (in the case of “Yes” in step S13), it is determined that there is no camera shake or image blur (step S14).

図５は、図４におけるステップＳ２のグローバル動きベクトルの検出処理を示すフローチャートである。   FIG. 5 is a flowchart showing the global motion vector detection process of step S2 in FIG.

図５において、画像フレームＦｎ−１からＮ個の特徴点が抽出され（ステップＳ１０１）、それに連続する画像フレームＦｎとを比較して、各特徴点がどこに移動したかが追跡される（ステップＳ１０２）。これにより、動きベクトルが求められる（ステップＳ１０３）。 In FIG. 5, N feature points are extracted from the image frame F n−1 (step S101), and the image frames F n continuous with the feature points are extracted to track where each feature point has moved ( Step S102). Thereby, a motion vector is calculated | required (step S103).

Ｎ回の処理が繰り返されたかどうかが判断され（ステップＳ１０４）、Ｎ回繰り返していなければ（ステップＳ１０４のＮｏの場合）、次の位置の特徴点に処理が移されて（ステップＳ１０５）、ステップＳ１０１にリターンされ、同様の処理が繰り返される。これにより、Ｎ個各点の動きベクトルが求められる。Ｎ個の全てのブロックについて動きベクトルが求められると、ステップＳ１０４で、Ｎ回の処理が繰り返されたと判断される。   It is determined whether or not the process has been repeated N times (step S104). If the process has not been repeated N times (No in step S104), the process moves to the next feature point (step S105). Returning to S101, the same processing is repeated. Thereby, a motion vector of each of N points is obtained. When motion vectors have been obtained for all N blocks, it is determined in step S104 that N processes have been repeated.

ステップＳ１０４で、Ｎ回の処理が繰り返されたと判断された場合（ステップＳ１０４の「Ｙｅｓ」の場合）、サポート数の基準値Ｃが初期値（例えば０）に設定される（ステップＳ１０６）。そして、１つの動きベクトルについてのサポート数が計算される（ステップＳ１０７）。ここで、前述したように、サポート数は、｜ＭＶａ−ＭＶｉ｜＜Ｄを満たす個数として計算できる。 If it is determined in step S104 that the process has been repeated N times (in the case of “Yes” in step S104), the reference number C of the support number is set to an initial value (for example, 0) (step S106). Then, the number of supports for one motion vector is calculated (step S107). Here, as described above, the number of supports can be calculated as a number satisfying | MV a −MV i | <D.

サポート数が求められたら、求められたサポート数がサポート数の基準値Ｃより大きいかどうかが判断される（ステップＳ１０８）。   When the support number is obtained, it is determined whether or not the obtained support number is larger than the support number reference value C (step S108).

ステップＳ１０８で、今回求められたサポート数が基準値Ｃより大きければ（ステップＳ１０８で「Ｙｅｓ」の場合）、サポート数の基準値Ｃが今回のサポート数により更新され（ステップＳ１０９）、Ｎ回の処理が繰り返されたかどうかが判断される（ステップＳ１１０）。ステップＳ１０８で、サポート数が基準値Ｃより小さければ（ステップＳ１０８で「Ｎｏ」の場合）、サポート数の基準値Ｃはそのままで、Ｎ回の処理が繰り返されたかどうかが判断される（ステップＳ１１０）。   If the support number obtained this time is larger than the reference value C in step S108 (in the case of “Yes” in step S108), the support value reference value C is updated with the current support number (step S109). It is determined whether the process has been repeated (step S110). If the number of supports is smaller than the reference value C in step S108 (in the case of “No” in step S108), it is determined whether the support number reference value C is left as it is and N processes are repeated (step S110). ).

ステップＳ１１０で、Ｎ回の処理が繰り返されていなければ（ステップＳ１１０で「Ｎｏ」の場合）、次の位置の動きベクトルに処理が移され（ステップＳ１１１）、ステップＳ１０７にリターンされ、同様の処理が繰り返される。これらの処理が繰り返されることで、サポート数の基準値Ｃがそれまでのサポート数の最大値に更新されていく。   If the process is not repeated N times in step S110 (in the case of “No” in step S110), the process is moved to the motion vector at the next position (step S111), the process is returned to step S107, and the same process is performed. Is repeated. By repeating these processes, the reference number C of the support number is updated to the maximum value of the support number so far.

ステップＳ１１０で、Ｎ回の処理が繰り返されたと判断されたら（ステップＳ１１０で「Ｙｅｓ」の場合）、サポート数の基準値Ｃから、それまでのサポート数の最大値が判断され、サポート数が最大となる動きベクトルから、グローバル動きベクトル（ＧＭＶ）が求められる（ステップＳ１１２）。   If it is determined in step S110 that the process has been repeated N times (in the case of “Yes” in step S110), the maximum value of the number of supports up to that time is determined from the reference value C of the number of supports, and the number of supports is maximum. A global motion vector (GMV) is obtained from the motion vector to be (step S112).

以上説明したように、本実施形態では、最初に、グローバル動きベクトルを用いて大まかな画振れの程度を判断し、ある程度、画振れが収束したと判断された後に、画像フレーム間の差分値を用いて、より詳細に画振れの程度が判断し、画振れがないと判断されたら、記録撮影を行うようにしている。これにより、手振れや画振れのないタイミングで、確実に、撮影を行うことができる。   As described above, in the present embodiment, first, the degree of rough image blur is determined using the global motion vector, and after determining that the image blur has converged to some extent, the difference value between image frames is calculated. In this way, the degree of image blur is determined in more detail, and when it is determined that there is no image blur, recording is performed. Thereby, it is possible to reliably perform shooting at a timing without camera shake or image blur.

なお、本実施形態では、動きベクトルの検出を行っているが、ＭＰＥＧなどの動画のリアルタイム圧縮記録手段を備えたデジタルカメラなどにおいては、動画圧縮の際に動きベクトルを検出しているので、この動画圧縮の際に検出された動きベクトルを用いて画振れの検出を行うようにしてもよく、この場合には、専用の動きベクトル検出処理を実行する必要がなくなるので、処理効率や処理速度を向上させることができる。   In the present embodiment, the motion vector is detected. However, in a digital camera or the like equipped with a real-time compression recording unit for moving images such as MPEG, the motion vector is detected at the time of moving image compression. Image blur may be detected using a motion vector detected at the time of video compression. In this case, it is not necessary to execute a dedicated motion vector detection process. Can be improved.

また、本実施形態では、画像の高周波成分を検出しているが、オートフォーカス（ＡＦ）機能を備えたデジタルカメラなどにおいては、オートフォーカス処理の際に検出されるコントラスト情報を利用して高周波成分を検出するようにしてもよい。また、オートフォーカスの動作中に第１の画振れ検出部による画振れ検出を行い、オートフォーカスの動作が完了した後に第２の画振れ検出部による画振れ検出を行うようにしてもよい。 In this embodiment, the high-frequency component of the image is detected. However, in a digital camera or the like having an autofocus (AF) function, the high-frequency component is used by using contrast information detected during autofocus processing. May be detected. Alternatively, image blur detection by the first image blur detection unit may be performed during the autofocus operation, and image blur detection by the second image blur detection unit may be performed after the autofocus operation is completed.

また、自動露出（ＡＥ）機能を備えたデジタルカメラなどにおいては、自動露出の動作中に第１の画振れ検出部による画振れ検出を行い、自動露出の動作が完了した後に第２の画振れ検出部による画振れ検出を行うようにしてもよい。 In a digital camera or the like having an automatic exposure (AE) function, image blur detection is performed by the first image blur detection unit during the automatic exposure operation, and the second image blur is detected after the automatic exposure operation is completed. Image blur detection by the detection unit may be performed.

また、ソースとなるプログラムは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体等のコンピュータ読み取り可能な記録媒体で提供される。また、ソースとなるプログラムは、コンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、ソースとなるプログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。   The source program is provided by a computer-readable recording medium such as a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM. The source program may be transmitted from a computer system to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The source program may be a program for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

また、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。   In addition, the constituent elements in the present embodiment can be appropriately replaced with existing constituent elements, and various variations including combinations with other existing constituent elements are possible. Therefore, the description of the present embodiment does not limit the contents of the invention described in the claims.

本発明に係る撮像装置の外観構成図である。1 is an external configuration diagram of an imaging apparatus according to the present invention. 本発明に係る撮像装置の電気的構成図である。It is an electrical block diagram of the imaging device which concerns on this invention. 本発明に係る撮像装置の説明に用いる機能ブロック図である。It is a functional block diagram used for description of the imaging device concerning the present invention. 本発明に係る撮像装置の説明に用いるフローチャートである。3 is a flowchart used for describing an imaging apparatus according to the present invention. 本発明に係る撮像装置の説明に用いるフローチャートである。3 is a flowchart used for describing an imaging apparatus according to the present invention.

符号の説明Explanation of symbols

１・・・デジタルカメラ、１１・・・ストロボ発光部、１３・・・モードダイヤル、１４・・・液晶モニタ画面、１５・・・カーソルキー、１６・・・ＳＥＴキー、１７・・・ズームキー、１８・・・シャッターキー、１９・・・電源ボタン、２０・・・撮影モード選択キー、２１・・・ＣＣＤ撮像素子、２２・・・撮像レンズ、２３・・・レンズ駆動ブロック、２４・・・絞り兼用シャッター、２７・・・ユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）、２８・・・ＤＲＡＭ、２９・・・メモリ、３０・・・ＣＰＵ、３１・・・画像表示部、３２・・・キー入力部、３３・・・外部通信Ｉ／Ｆ、３４・・・ストロボ駆動部、３５・・・ストロボ発光部、３６・・・カードＩ／Ｆ、４０・・・メモリカード、１０１・・・第１の画振れ検出部、１０２・・・第２の画振れ検出部、１０３・・・判断部、１０４・・・撮影記録処理部   DESCRIPTION OF SYMBOLS 1 ... Digital camera, 11 ... Strobe light emission part, 13 ... Mode dial, 14 ... LCD monitor screen, 15 ... Cursor key, 16 ... SET key, 17 ... Zoom key, DESCRIPTION OF SYMBOLS 18 ... Shutter key, 19 ... Power button, 20 ... Shooting mode selection key, 21 ... CCD image sensor, 22 ... Imaging lens, 23 ... Lens drive block, 24 ... Shutter / shutter, 27 ... Unit circuit (CDS / AGC / AD), 28 ... DRAM, 29 ... Memory, 30 ... CPU, 31 ... Image display, 32 ... Key input 33, external communication I / F, 34 ... strobe drive unit, 35 ... strobe light emitting unit, 36 ... card I / F, 40 ... memory card, 101 ... first Image blur detection unit, 10 ... second image shake detection unit, 103 ... determining unit, 104 ... imaging recording processing unit

Claims (9)

画振れの検出機能を備えた撮像装置であって、
連続して得られる複数の画像フレームより検出される画像全体の動きベクトルの大小により画振れを検出することで、手振れに起因する画振れ成分と被写体の動きに起因する画振れ成分のうち、手振れに起因する画振れ成分を検出する第１の画振れ検出手段と、
前記第１の画振れ検出手段により検出される画振れが収束したと判断された後に開始される画振れ検出処理であって、連続する２つの画像フレームの画像データを画素毎に比較した差分値の大小により画振れを検出することで、被写体にフォーカスが合っていない状態では画振れ検出の精度が低下するが、前記第１の画振れ検出手段より画振れ検出の精度が高く、かつ、手振れに起因する画振れ成分と被写体の動きに起因する画振れ成分とを区別せずに画振れを検出する第２の画振れ検出手段と、
前記第１の画振れ検出手段により検出される画振れが収束したと判断された後、更に、前記第２の画振れ検出手段により検出される画振れが収束したと判断された場合に、画振れが無くなったと判断する判断手段と、
前記判断手段により画振れが無くなったと判断された場合、自動的に撮影記録を行う撮影制御手段と、
を備えることを特徴とする。 An imaging device having an image blur detection function,
By detecting the image shake based on the magnitude of the motion vector of the entire image detected from a plurality of image frames obtained in succession, the image shake component among the image shake component caused by the camera shake and the image shake component caused by the motion of the subject is detected. First image blur detection means for detecting an image blur component caused by
The image blur detection process started after it is determined that the image blur detected by the first image blur detection unit has converged, and is a difference value obtained by comparing image data of two consecutive image frames for each pixel. By detecting the image blur based on the size of the image, the accuracy of the image blur detection is lowered when the subject is not in focus. However, the accuracy of the image blur detection is higher than that of the first image blur detection means, and the camera shake is low. Second image blur detection means for detecting image blur without distinguishing between the image blur component caused by the image blur and the image blur component caused by the movement of the subject ;
After it is determined that the image blur detected by the first image blur detection unit has converged, and further when the image blur detected by the second image blur detection unit is determined to have converged, the image blur is detected. A judging means for judging that the shake has been lost;
When it is determined by the determination means that there is no image blur, shooting control means for automatically shooting and recording,
It is characterized by providing. 前記判断手段により画振れがあると判断されている間は、撮影記録を禁止する又は撮影指示の際に警告することを特徴とする請求項１に記載の撮像装置。 The imaging apparatus according to claim 1 , wherein while the determination unit determines that there is image blur, shooting recording is prohibited or a warning is given when a shooting instruction is given. 前記判断手段は、前記第２の画振れ検出手段により連続的に検出される前記差分値の中で最も小さい差分値を保持し、新たに検出される差分値が保持されている差分値よりも小さくなったか否かにより画振れの有無を判断することを特徴とする請求項１に記載の撮像装置。 The determination unit holds the smallest difference value among the difference values continuously detected by the second image blur detection unit, and is more than a difference value in which a newly detected difference value is held. The imaging apparatus according to claim 1 , wherein presence or absence of image blur is determined based on whether or not the image becomes smaller. 前記判断手段は、新たに検出される差分値が保持されている差分値よりも小さくなった場合に、保持されている差分値を新たに検出された差分値で更新するとともに、この更新回数が所定回数以上になった場合に画振れが無くなったと判断することを特徴とする請求項３に記載の撮像装置。 The determination unit updates the held difference value with the newly detected difference value when the newly detected difference value becomes smaller than the held difference value. The imaging apparatus according to claim 3 , wherein it is determined that there is no image blur when the predetermined number of times is reached. さらに、画像フレーム内の高周波成分を検出する高周波成分検出手段を備え、
前記判断手段は、前記高周波成分検出手段により検出される高周波成分が基準値よりも低下しているか否かを判断し、高周波成分が基準値より低下していると判断された画像フレームは評価対象から除いて、前記第２の画振れ検出手段により検出される差分値により画振れの有無を判断することを特徴とする請求項１に記載の撮像装置。 Furthermore, a high frequency component detection means for detecting a high frequency component in the image frame is provided,
The determination means determines whether or not the high-frequency component detected by the high-frequency component detection means is lower than a reference value, and the image frame determined that the high-frequency component is lower than the reference value is an evaluation target 2. The imaging apparatus according to claim 1 , wherein the presence or absence of image blur is determined based on a difference value detected by the second image blur detection unit. さらに、画像フレーム内の高周波成分を検出する高周波成分検出手段を備え、
前記判断手段は、前記高周波成分検出手段により検出される高周波成分が基準値よりも低下している画像フレームに基づいて検出された差分値は、保持されている差分値よりも小さい場合でも更新しないことを特徴とする請求項４に記載の撮像装置。 Furthermore, a high frequency component detection means for detecting a high frequency component in the image frame is provided,
The determination unit does not update the difference value detected based on the image frame in which the high-frequency component detected by the high-frequency component detection unit is lower than a reference value even when the difference value is smaller than the held difference value. The imaging apparatus according to claim 4 . 前記判断手段は、初期に連続する２つの画像フレーム間の差分値を基準値として設定し、以降、新たに算出された画像フレーム間の差分値が前記基準値よりも小さい場合には、前記新たに算出された画像フレーム間の差分値を前記基準値として更新し、この基準値の更新回数が所定以上になった場合に、画振れが少なくなった状態であると判断することを特徴とする請求項１に記載の撮像装置。 The determination means sets a difference value between two consecutive image frames in the initial stage as a reference value, and when the newly calculated difference value between image frames is smaller than the reference value , The difference value between the image frames calculated in the above is updated as the reference value, and when the reference value is updated a predetermined number of times or more, it is determined that the image blur has been reduced. The imaging device according to claim 1. 画振れの検出機能を備えた撮像装置を制御する方法であって、
連続して得られる複数の画像フレームより検出される画像全体の動きベクトルの大小により画振れを検出することで、手振れに起因する画振れ成分と被写体の動きに起因する画振れ成分のうち、手振れに起因する画振れ成分を検出する第１の画振れ検出ステップと、
前記第１の画振れ検出ステップにより検出される画振れが収束したと判断された後に開始される画振れ検出処理であって、連続する２つの画像フレームの画像データを画素毎に比較した差分値の大小により画振れを検出することで、被写体にフォーカスが合っていない状態では画振れ検出の精度が低下するが、前記第１の画振れ検出手段より画振れ検出の精度が高く、かつ、手振れに起因する画振れ成分と被写体の動きに起因する画振れ成分とを区別せずに画振れを検出する第２の画振れ検出ステップと、
前記第１の画振れ検出ステップにより検出される画振れが収束したと判断された後、更に、前記第２の画振れ検出ステップにより検出される画振れが収束したと判断された場合に、画振れが無くなったと判断する判断ステップと、
前記判断ステップにより画振れが無くなったと判断された場合、自動的に撮影記録を行う撮影制御ステップと、
からなることを特徴とする撮像方法。 A method for controlling an image pickup apparatus having an image blur detection function,
By detecting the image shake based on the magnitude of the motion vector of the entire image detected from a plurality of image frames obtained in succession, the image shake component among the image shake component caused by the camera shake and the image shake component caused by the motion of the subject is detected. A first image blur detection step for detecting an image blur component caused by
In the image blur detection process started after it is determined that the image blur detected in the first image blur detection step has converged, the difference value obtained by comparing the image data of two consecutive image frames for each pixel By detecting the image blur based on the size of the image, the accuracy of the image blur detection is lowered when the subject is not in focus. However, the accuracy of the image blur detection is higher than that of the first image blur detection means, and the camera shake is low. A second image blur detection step for detecting image blur without distinguishing between the image blur component caused by the image blur and the image blur component caused by the movement of the subject ;
After it is determined that the image blur detected by the first image blur detection step has converged, and further when it is determined that the image blur detected by the second image blur detection step has converged, the image blur is detected. A judgment step for judging that the shake has been lost;
When it is determined that there is no image blur in the determination step, a shooting control step for automatically shooting and recording,
An imaging method comprising: 画振れの検出機能を備えた撮像装置の制御プログラムであって、
前記撮像装置のコンピュータを、
連続して得られる複数の画像フレームより検出される画像全体の動きベクトルの大小により画振れを検出することで、手振れに起因する画振れ成分と被写体の動きに起因する画振れ成分のうち、手振れに起因する画振れ成分を検出する第１の画振れ検出手段と、
前記第１の画振れ検出手段により検出される画振れが収束したと判断された後に開始される画振れ検出処理であって、連続する２つの画像フレームの画像データを画素毎に比較した差分値の大小により画振れを検出することで、被写体にフォーカスが合っていない状態では画振れ検出の精度が低下するが、前記第１の画振れ検出手段より画振れ検出の精度が高く、かつ、手振れに起因する画振れ成分と被写体の動きに起因する画振れ成分とを区別せずに画振れを検出する第２の画振れ検出手段と、
前記第１の画振れ検出手段により検出される画振れが収束したと判断された後、更に、前記第２の画振れ検出手段により検出される画振れが収束したと判断された場合に、画振れが無くなったと判断する判断手段と、
前記判断手段により画振れが無くなったと判断された場合、自動的に撮影記録を行う撮影制御手段と
して機能させることを特徴とする撮像プログラム。 A control program for an imaging apparatus having an image blur detection function,
A computer of the imaging device;
By detecting the image shake based on the magnitude of the motion vector of the entire image detected from a plurality of image frames obtained in succession, the image shake component among the image shake component caused by the camera shake and the image shake component caused by the motion of the subject is detected. First image blur detection means for detecting an image blur component caused by
The image blur detection process started after it is determined that the image blur detected by the first image blur detection unit has converged, and is a difference value obtained by comparing image data of two consecutive image frames for each pixel. By detecting the image blur based on the size of the image, the accuracy of the image blur detection is lowered when the subject is not in focus. However, the accuracy of the image blur detection is higher than that of the first image blur detection means, and the camera shake is low. Second image blur detection means for detecting image blur without distinguishing between the image blur component caused by the image blur and the image blur component caused by the movement of the subject ;
After it is determined that the image blur detected by the first image blur detection unit has converged, and further when the image blur detected by the second image blur detection unit is determined to have converged, the image blur is detected. A judging means for judging that the shake has been lost;
If it is determined that image blur has disappeared by the determination means, the image pickup program for causing to function as an imaging control means for automatically captured and recorded.
JP2007132989A 2007-05-18 2007-05-18 Imaging apparatus, imaging method, and imaging program Expired - Fee Related JP4872797B2 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2007132989A JP4872797B2 (en) 2007-05-18 2007-05-18 Imaging apparatus, imaging method, and imaging program
US12/151,446 US8564674B2 (en) 2007-05-18 2008-05-07 Image pickup apparatus equipped with function of detecting image shaking
CN2008100995936A CN101309357B (en) 2007-05-18 2008-05-15 Image pickup apparatus equipped with function of detecting image shaking
CN2009102252580A CN101742106B (en) 2007-05-18 2008-05-15 Image pickup apparatus equipped with function of detecting image shaking
KR1020080045595A KR100925319B1 (en) 2007-05-18 2008-05-16 Image pickup apparatus equipped with function of detecting image shaking, control method of the image pickup apparatus, and recording medium recording control program of the image pickup apparatus
EP08290459A EP1998558B1 (en) 2007-05-18 2008-05-16 Image pickup apparatus equipped with function of detecting image shaking
TW097117935A TWI386040B (en) 2007-05-18 2008-05-16 Image pickup apparatus equipped with function of detecting image shaking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007132989A JP4872797B2 (en) 2007-05-18 2007-05-18 Imaging apparatus, imaging method, and imaging program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011098987A Division JP5182395B2 (en) 2011-04-27 2011-04-27 Imaging apparatus, imaging method, and imaging program

Publications (3)

Publication Number Publication Date
JP2008288975A JP2008288975A (en) 2008-11-27
JP2008288975A5 JP2008288975A5 (en) 2009-11-12
JP4872797B2 true JP4872797B2 (en) 2012-02-08

Family

ID=39831759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007132989A Expired - Fee Related JP4872797B2 (en) 2007-05-18 2007-05-18 Imaging apparatus, imaging method, and imaging program

Country Status (6)

Country Link
US (1) US8564674B2 (en)
EP (1) EP1998558B1 (en)
JP (1) JP4872797B2 (en)
KR (1) KR100925319B1 (en)
CN (2) CN101309357B (en)
TW (1) TWI386040B (en)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101494388B1 (en) 2008-10-08 2015-03-03 삼성전자주식회사 Apparatus and method for providing emotion expression service in mobile communication terminal
JP5570769B2 (en) 2009-07-23 2014-08-13 オリンパス株式会社 Endoscope apparatus, measurement method, and program
KR101594297B1 (en) * 2009-08-24 2016-02-16 삼성전자주식회사 Method and apparatus for determining shaken image using auto focusing
KR101078754B1 (en) 2010-05-24 2011-11-01 주식회사 인스프리트 Mobile terminal having automatic function for camera image acquisition, and automatic method for camera image acqusition of mobile terminal using the same
CN102509285A (en) * 2011-09-28 2012-06-20 宇龙计算机通信科技(深圳)有限公司 Processing method and system for shot fuzzy picture and shooting equipment
KR101890305B1 (en) * 2012-08-27 2018-08-21 삼성전자주식회사 Photographing apparatus, method for controlling the same, and computer-readable recording medium
JP6019006B2 (en) * 2013-11-07 2016-11-02 京セラドキュメントソリューションズ株式会社 Image reading apparatus, image forming apparatus, and image reading method
CN104349039B (en) * 2013-07-31 2017-10-24 展讯通信（上海）有限公司 Video anti-fluttering method and device
CN105763786B (en) * 2014-12-15 2019-07-26 联想(北京)有限公司 A kind of information processing method and electronic equipment
CN106982320B (en) * 2016-01-15 2019-07-23 珠海格力电器股份有限公司 The control method and device of camera
CN105872376B (en) * 2016-04-12 2017-10-17 广东欧珀移动通信有限公司 Control method, control device and electronic installation
CN106060403A (en) * 2016-07-05 2016-10-26 董超超 Image pick-up device with image stabilization detection function
US10834318B2 (en) * 2016-09-14 2020-11-10 Huawei Technologies Co., Ltd. Automatic photographing method and terminal based on use posture
CN108476286B (en) * 2016-10-17 2020-09-08 华为技术有限公司 Image output method and electronic equipment
CN106577350B (en) * 2016-11-22 2020-10-09 深圳市沃特沃德股份有限公司 Pet type identification method and device
CN107040693A (en) * 2017-03-31 2017-08-11 西安万像电子科技有限公司 Picture data processing method and processing device
CN108197621A (en) * 2017-12-28 2018-06-22 北京金堤科技有限公司 Company information acquisition methods and system and information processing method and system
CN113132617B (en) * 2019-12-31 2023-04-07 北京中安未来科技有限公司 Image jitter judgment method and device and image identification triggering method and device
CN114513609A (en) * 2020-11-17 2022-05-17 浙江大华技术股份有限公司 Camera exposure time adjusting method, image stroboscopic detection method and device
CN113438409B (en) * 2021-05-18 2022-12-20 影石创新科技股份有限公司 Delay calibration method, delay calibration device, computer equipment and storage medium
CN114125266B (en) * 2021-10-20 2024-04-09 武汉旷视金智科技有限公司 Rotation detection method, rotation detection device, rotation detection apparatus, rotation detection device, rotation detection medium, and rotation detection program product
CN116709023B (en) * 2022-12-14 2024-03-26 荣耀终端有限公司 Video processing method and device

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5012270A (en) * 1988-03-10 1991-04-30 Canon Kabushiki Kaisha Image shake detecting device
JPH06350895A (en) 1993-06-10 1994-12-22 Fujitsu General Ltd Method for correcting jiggle in video camera
KR100319034B1 (en) 1993-06-29 2002-03-21 다카노 야스아키 Video camera with image stabilization
JP3951321B2 (en) * 1995-08-30 2007-08-01 ソニー株式会社 Image signal processing apparatus and recording / reproducing apparatus
JPH11317904A (en) 1998-05-01 1999-11-16 Canon Inc Image pickup device and its control method
JP2000023023A (en) * 1998-07-07 2000-01-21 Canon Inc Image pickup device and computer readable storage medium
US6487369B1 (en) * 1999-04-26 2002-11-26 Olympus Optical Co., Ltd. Camera with blur reducing function
JP3770271B2 (en) * 2002-12-26 2006-04-26 三菱電機株式会社 Image processing device
JP2004354420A (en) 2003-05-27 2004-12-16 Fuji Photo Film Co Ltd Automatic photographing system
KR100574523B1 (en) * 2003-07-31 2006-04-27 삼성전자주식회사 Apparatus and method for decision of motion type
JP3838243B2 (en) 2003-09-04 2006-10-25 ソニー株式会社 Image processing method, image processing apparatus, and computer program
KR20060006427A (en) * 2004-07-16 2006-01-19 삼성전자주식회사 Photographing apparatus having auto focus control function and control method thereof
JP4315341B2 (en) 2004-08-03 2009-08-19 富士フイルム株式会社 Panning method and photographing apparatus
JP2006119199A (en) 2004-10-19 2006-05-11 Canon Inc Optical equipment
JP4999268B2 (en) * 2004-12-16 2012-08-15 カシオ計算機株式会社 Electronic camera and program
JP4639869B2 (en) 2005-03-14 2011-02-23 オムロン株式会社 Imaging apparatus and timer photographing method
KR101144872B1 (en) 2005-03-15 2012-05-14 삼성전자주식회사 Apparatus and method for prdicting the smallest point of time of tremble in digital camera
JP2006311059A (en) * 2005-04-27 2006-11-09 Olympus Imaging Corp Motion vector detection circuit and detection method thereof, and camera-shake correction apparatus
KR100674743B1 (en) 2005-06-24 2007-01-25 미쓰비시덴키 가부시키가이샤 Image processor
JP2007132989A (en) 2005-11-08 2007-05-31 Konica Minolta Opto Inc Lens barrel and imaging apparatus
US7693406B2 (en) * 2005-12-28 2010-04-06 Seiko Epson Corporation Image capturing apparatus, method of controlling the same, and storage medium
US7623683B2 (en) * 2006-04-13 2009-11-24 Hewlett-Packard Development Company, L.P. Combining multiple exposure images to increase dynamic range

Also Published As

Publication number Publication date
CN101742106B (en) 2012-10-24
KR100925319B1 (en) 2009-11-04
CN101309357B (en) 2010-06-16
CN101309357A (en) 2008-11-19
JP2008288975A (en) 2008-11-27
TW200906178A (en) 2009-02-01
EP1998558A2 (en) 2008-12-03
KR20080101778A (en) 2008-11-21
US8564674B2 (en) 2013-10-22
EP1998558B1 (en) 2011-11-02
TWI386040B (en) 2013-02-11
CN101742106A (en) 2010-06-16
US20080284858A1 (en) 2008-11-20
EP1998558A3 (en) 2010-08-25

Similar Documents

Publication Publication Date Title
JP4872797B2 (en) Imaging apparatus, imaging method, and imaging program
JP4999268B2 (en) Electronic camera and program
US10027909B2 (en) Imaging device, imaging method, and image processing device
JP4916513B2 (en) Imaging device
JP2008009263A (en) Imaging device and program therefor
JP2007108412A (en) Autofocus device and its program
JP2010147661A (en) Electronic camera
JP4807582B2 (en) Image processing apparatus, imaging apparatus, and program thereof
JP2010193324A (en) Camera apparatus, photographing method thereof and program
JP7131541B2 (en) Image processing device, image processing method and image processing program
JP5182395B2 (en) Imaging apparatus, imaging method, and imaging program
JP4844220B2 (en) Exposure compensation device, photographing device, exposure value setting device, exposure compensation value calculation method, and control program
JP5179859B2 (en) Imaging apparatus and imaging method
JP5105298B2 (en) Imaging apparatus and program thereof
JP2006217249A (en) Electronic camera, electronic camera system and program
JP2006243609A (en) Autofocus device
JP4962597B2 (en) Electronic camera and program
JP2007147805A (en) Shake amount detecting device, photographing device, their control method, control program and recording medium
KR101611303B1 (en) A method and apparatus for taking a picture
KR101436838B1 (en) Method and apparatus for processing auto-focusing information, and digital photographing apparatus using thereof
JP2007180912A (en) Photographing apparatus, electronic apparatus, photographing method, program, and recording medium
JP2013191974A (en) Imaging apparatus and imaging method
JP2008227840A (en) Image-taking device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090924

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111025

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4872797

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees