JP4401949B2 - Moving picture imaging apparatus and moving picture imaging method - Google Patents
Moving picture imaging apparatus and moving picture imaging method Download PDFInfo
- Publication number
- JP4401949B2 JP4401949B2 JP2004363393A JP2004363393A JP4401949B2 JP 4401949 B2 JP4401949 B2 JP 4401949B2 JP 2004363393 A JP2004363393 A JP 2004363393A JP 2004363393 A JP2004363393 A JP 2004363393A JP 4401949 B2 JP4401949 B2 JP 4401949B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- shake correction
- signal
- correction amount
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6815—Motion detection by distinguishing pan or tilt from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
Description
本発明は、フィールド期間等のくり返し起こる所定の周期で連続的に撮像画を出力するビデオカメラなどの動画撮像装置において、各周期毎に複数の画像を撮像し、揺れ補正を行ったうえでこれら複数の画像を重ね合わせ合成して、動画を構成する1つの画像を得る動画撮像装置及び動画撮像方法に関する。 The present invention provides a video imaging apparatus such as a video camera that continuously outputs captured images at a predetermined cycle such as a field period, and after taking a plurality of images for each cycle, The present invention relates to a moving image capturing apparatus and a moving image capturing method that obtain a single image constituting a moving image by superimposing a plurality of images.
従来のビデオカメラ等の動画撮影可能なカメラシステムでは、オートエクスポージャ(AE)やオートフォーカス(AF)等の機能に見られるように、あらゆる点で自動化及び多機能化が図られ、良好な撮影が容易に行えるようになっている。また、近年においては、撮像装置の小型化や光学系の高倍率化が図られ、これに伴い、装置の揺れ等に起因する撮影画像の品位低下の問題が顕在化する傾向にある。その対策として、このような装置の揺れ(手揺れ)等により生じた撮影画の揺れを補正する揺れ補正機能が種々提案され、このような揺れ補正機能を撮像装置に搭載することで、さらに良好な撮影が容易に行えるようになっている。 In conventional camera systems capable of shooting moving images, such as video cameras, automation and multi-functionalization are achieved in all respects, as seen in functions such as auto exposure (AE) and auto focus (AF). Can be easily performed. In recent years, downsizing of an image pickup apparatus and high magnification of an optical system have been achieved, and accordingly, there has been a tendency for a problem of deterioration in the quality of a photographed image due to shaking of the apparatus to become apparent. As countermeasures, various shake correction functions for correcting the shake of a photographed image caused by such a shake (hand shake) of the apparatus have been proposed, and it is further improved by installing such a shake correction function in the imaging apparatus. Can be easily taken.
例えばビデオカメラに搭載されている揺れ補正機能については、光学的に揺れを補正するいわゆる光学式揺れ補正方式(例えば、特許文献1参照。)及び、電気的な処理にて揺れの補正を行う電子式揺れ補正方式(例えば、特許文献2参照。)が提案されている。 For example, with regard to a shake correction function mounted on a video camera, a so-called optical shake correction method (for example, refer to Patent Document 1) that optically corrects shake, and an electronic device that performs shake correction by electrical processing. A formula shake correction method (see, for example, Patent Document 2) has been proposed.
ここで電子式揺れ補正の概略について、図8を用いて述べておく。図8(A)〜(C)において、100で示す領域は撮像素子(例えば、CCDセンサ、CMOSセンサ)により取得される全撮像領域を示す。101で示した破線内の領域は全撮像領域100のうち実際に映像信号(撮像画)として標準ビデオ信号へ変換して出力する切り出し枠である。102は撮影者が撮影している主被写体である。このときの標準ビデオ信号に基づく映像がモニタ上に表示された状態を、図8(C)に示す。図8(C)において、103はビデオ信号を再現するモニタの映像領域を示し、102’はモニタ103上に再現された主被写体である。つまり、撮像素子により取得した全撮像領域100内からその周辺を除いた一部分を標準ビデオ信号として出力することにより、モニタ上に映像領域103が再現される。
Here, an outline of the electronic shake correction will be described with reference to FIG. 8A to 8C, an area indicated by 100 indicates an entire imaging area acquired by an imaging element (for example, a CCD sensor or a CMOS sensor). An area within a
次に図8(B)について説明すると、同図は被写体102を撮影する撮影者が矢印104、104’、104”で示す図中左下方向にビデオカメラを振ってしまったときの両像の変化を示したもので、撮像素子の全撮像領域100上で主被写体102は矢印105で示す図中右上方向に移動してしまう。この状態で前記図8(A)における切り出し枠101と同位置(全撮像領域100面内における同座標位置)の101’で示す切り出し枠を用いて切り出した場合、矢印105で示すベクトル量だけ被写体102が移動したビデオ信号を発生させてしまう。そこで、前記撮像素子により画像を撮像した際にビデオカメラの揺れ量を検出しておき、この揺れ量により求めた画像の変位量106、すなわち揺れ補正目標値を用いて切り出し枠の位置を101’から101”で示す破線枠位置に移動させることにより、揺れによる被写体102像の移動が相殺され、これにより同図8(C)で示される映像を得ることが可能である。電子式揺れ補正はこの原理を用いて画像の揺れ補正を実現する。即ち、撮像手段の揺れを電気的に補正することにより、動画像の揺れ補正が行われ、ぶれの少ない撮像画を撮影することができるのである。
Next, FIG. 8B will be described. FIG. 8B shows a change in both images when a photographer who shoots the
上記電子式揺れ補正方式による揺れ補正手段を備えたビデオカメラについて、図9を用いて簡単に説明すると、光学系の一部を構成するレンズ150を介して入射された撮影光(光束)は、CCDなどの撮像素子151上に結像され、電荷(電気信号)に変換される。そしてタイミングジェネレータ(TG)152により所定のタイミングで出力される読出し信号に基づいて撮像素子151から電気信号が読み出され、電気信号は信号処理回路153により例えばNTSCなどの標準ビデオ信号に変換され、ビデオ出力端子154を介して出力される。
A video camera provided with a shake correction means using the electronic shake correction method will be briefly described with reference to FIG. 9. The photographing light (light beam) incident through the
その一方で、撮像のタイミングに合わせて例えば振動ジャイロなどの角速度センサ155によりビデオカメラの振れを角速度として検出し、図示しない直流カットフィルタ、増幅器、積分回路を備えた揺れ補正量演算回路156により揺れ補正量を算出する。より詳しくは、入力された各速度信号の中から直流カットフィルタにより交流成分すなわち振動成分のみを取り出し、増幅器(アンプ)により増幅させ、さらに積分回路にて積分処理して角速度を角変位に変換し、得られた角変位に基づいて揺れ補正量を算出する。そして算出された揺れ補正量は、読出し位置制御回路157により撮像素子151の画素の移動量に変換され、この移動量に基づいて読み出し(切り出し)位置が変更されると共に、当該揺れ補正量に基づいて撮像素子151の読み出しタイミングが変更される。
On the other hand, the shake of the video camera is detected as an angular velocity by an
また、従来より採用されている光学式揺れ方式による補正手法について説明すると、光学式揺れ方式においても揺れ検出手段にあたる、角速度センサ、直流カットフィルタ、増幅器(アンプ)、積分回路という構成は同一の構成であり、上述の電子式揺れ補正方式と同様に揺れ補正量演算回路156により角変位を求め、この角変位に基づいて、光学的に光軸を変移させて振れを相殺する光学的な揺れ補正機構を備えることを特徴とし、例えば揺れ補正レンズを光軸直交面内で変位させることにより撮像素子への入射光の光軸を変移させる方式などが提案されている。以上によってビデオカメラの揺れを光学的に打ち消すことにより、撮影中(露光中)においては常に光学的な揺れ補正が行われ、ぶれのない撮像画を撮影することができる。
In addition, the correction method using the optical shaking method that has been conventionally employed will be described. The configuration of the angular velocity sensor, the DC cut filter, the amplifier (amplifier), and the integrating circuit that are equivalent to the shaking detection means in the optical shaking method is the same. In the same manner as the above-described electronic shake correction method, an angular displacement is obtained by the shake correction
しかしながら上記電子式揺れ補正方式による揺れ補正手段を備えたビデオカメラには以下のような問題があった。即ち、撮像素子151の露出期間中(=蓄積時間中)の揺れ補正は行なわれないため、撮像素子151が電荷(画像)を蓄積している露光期間中の揺れは取り除くことができず、揺れ補正の精度には限界があった。ビデオカメラの小型化や光学系の高倍率化は益々進む傾向にあり、補正精度のさらなる向上のために、、露光期間中の揺れを軽減する目的で蓄積時間を短くする検討が本発明者らによりなされている。この場合、露光期間中に揺れの影響が小さくなる分において補正精度が向上する一方で、被写体の動きも同時に小さくしてしまい、そのためビデオ動画における被写体の動きの描写が不自然になってしまう場合がある。
However, the video camera provided with the shake correction means by the electronic shake correction method has the following problems. That is, since the shake correction during the exposure period (= during accumulation time) of the
この問題点について、具体例を挙げて述べておくと、例えば主被写体の背景に車が横切った場合を想定すれば、主被写体および背景は上記電子式揺れ補正により補正が行われているが、同時に背景を横切る車に着目すれば、そのぶれ、すなわち車の動きも露光時間を短くすることにより小さくなって(軽減されて)しまい、動画としてみれば、被写体のぶれによる滑らかな動きが損なわれ、フィールド毎に車の移動に伴った位置に静止した車が現れるおかしな画像となってしまう場合がある。これに対し、画像の取得枚数を増やして車の滑らかな動きを再現しようとするとデータ量が膨大になってしまい、容量の大きい記憶媒体を装着しなければ撮像可能な時間が短くなってしまう。 To describe this problem with a specific example, for example, assuming that a car crosses the background of the main subject, the main subject and the background are corrected by the electronic shake correction, At the same time, if you focus on a car that crosses the background, the blur, that is, the movement of the car will also be reduced (reduced) by shortening the exposure time, and if it is viewed as a movie, the smooth movement due to the blur of the subject will be impaired. There may be a strange image in which a stationary car appears at a position accompanying the movement of the car for each field. On the other hand, if an attempt is made to reproduce the smooth movement of the vehicle by increasing the number of acquired images, the amount of data becomes enormous, and if a large-capacity storage medium is not attached, the time that can be imaged is shortened.
また、光学式揺れ補正方式では、補正レンズを支持するとともにレンズ自体を高精度に可動させる必要があるために小型化には限度がある。 Further, in the optical shake correction method, there is a limit to downsizing because it is necessary to support the correction lens and to move the lens itself with high accuracy.
本発明は上記問題点を鑑みてなされたものであり、フィールド期間等のくり返し起こる所定の周期で画像を出力して例えば動画を撮影可能な撮像装置において、動きのある被写体の連続的な動きの再現性を損なうことなく、撮像画の揺れ補正を行うことのできる動画撮像装置及び動画撮像方法を提供することを一つの目的とする。 The present invention has been made in view of the above problems, and in an imaging apparatus capable of outputting an image at a predetermined cycle that repeatedly occurs, such as a field period, and shooting a moving image, for example, the continuous movement of a moving subject. One object is to provide a moving image capturing apparatus and a moving image capturing method capable of performing shake correction of a captured image without impairing reproducibility.
本発明の動画撮像装置は、1垂直同期期間に複数の画像を出力する撮像素子と、前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれを取得するごとに角速度を検出する角速度センサと、前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記角速度に基づいて揺れ補正量を算出する揺れ補正量演算手段と、前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記揺れ補正量を記憶する記憶部と、前記記憶部に記憶された前記揺れ補正量に基づいて前記複数の画像の座標を変換して画像合成を行うことで、前記1垂直同期期間あたり1枚の合成画像を生成する合成手段を有することを特徴とする。
The moving image pickup apparatus of the present invention detects an angular velocity each time an image sensor that outputs a plurality of images in one vertical synchronization period and the plurality of images output from the image sensor in the one vertical synchronization period are acquired. An angular velocity sensor, a shake correction amount calculating means for calculating a shake correction amount based on the angular velocity corresponding to each of the plurality of images output from the image sensor during the one vertical synchronization period, and the one vertical synchronization period A storage unit for storing the shake correction amount corresponding to each of the plurality of images output from the image sensor, and converting the coordinates of the plurality of images based on the shake correction amount stored in the storage unit. Then, by performing image synthesis, the image processing apparatus includes a synthesis unit that generates one synthesized image per the vertical synchronization period .
本発明の動画撮像方法は、1垂直同期期間に複数の画像を出力する撮像工程と、前記1垂直同期期間に撮像素子から出力される前記複数の画像のそれぞれを取得するごとに角速度を検出する角速度検出工程と、前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記角速度に基づいて揺れ補正量を算出する揺れ補正量演算工程と、前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記揺れ補正量を記憶する記憶工程と、前記記憶工程で記憶された前記揺れ補正量に基づいて前記複数の画像の座標を変換して画像合成を行うことで、前記1垂直同期期間あたり1枚の合成画像を生成する合成工程と、を含むことを特徴とする。
In the moving image imaging method of the present invention , an angular velocity is detected each time an imaging step of outputting a plurality of images in one vertical synchronization period and each of the plurality of images output from the image sensor in the one vertical synchronization period are acquired. An angular velocity detection step, a shake correction amount calculation step of calculating a shake correction amount based on the angular velocity corresponding to each of the plurality of images output from the image sensor in the one vertical synchronization period, and the one vertical synchronization period Storing a shake correction amount corresponding to each of the plurality of images output from the image sensor, and converting coordinates of the plurality of images based on the shake correction amount stored in the storage step. Then, by performing image composition, a composition step of generating one composite image per one vertical synchronization period is included.
本発明によれば、所定の周期にて連続的に撮像画を出力する撮像装置において、所定の周期の間に複数の画像を撮像し、各画像の揺れ量に基づいて画像の揺れを補正し、少なくとも2つ以上の揺れ補正後の画像データを重ね合わせ合成することで1つの画像を生成することにより、被写体の連続的な動きの再現性を損なうことなく、撮像画の揺れ補正を行うことができる。 According to the present invention, in an imaging apparatus that outputs captured images continuously at a predetermined period, a plurality of images are captured during a predetermined period, and the fluctuation of the image is corrected based on the amount of fluctuation of each image. In addition, by correcting and synthesizing the captured image without impairing the reproducibility of the continuous movement of the subject by generating a single image by superimposing and synthesizing at least two image data after shake correction. Can do.
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。 Preferred embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
<第1の実施形態>
まず、本発明の第1の実施形態について説明する。図1は、本実施形態におけるカメラシステム(撮像装置)の概略構成を示すブロック図である。同図において、当該カメラシステムの備えた撮像部の構成として、200は光学系の一部を構成するレンズであり、カメラ本体に対して着脱可能に装着される。201は光電変換手段である撮像素子(例えば、CCDセンサ、CMOSセンサ)、202は撮像素子201からの電気信号を画像信号に変換するカメラ信号前処理回路である。また203はカメラ信号前処理回路202より出力される画像信号(画像データ)を記憶する画像記憶手段としての画像メモリ、204は画像メモリ203より読み出された画像信号の二次元座標を変換して揺れ補正を行う揺れ補正手段をなす座標変換部としての座標変換回路である。
<First Embodiment>
First, a first embodiment of the present invention will be described. FIG. 1 is a block diagram showing a schematic configuration of a camera system (imaging device) in the present embodiment. In the figure, as a configuration of an imaging unit provided in the camera system, reference numeral 200 denotes a lens that constitutes a part of an optical system, which is detachably attached to the camera body.
205は座標変換回路204にて座標が変換された互いに異なるタイミングで取得した画像信号を合成する画像合成手段としての画像合成回路、206は合成された画像信号を、例えばNTSCなどの標準ビデオ信号に変換する信号処理手段としてのカメラ信号処理回路であり、変換された標準ビデオ信号はビデオ出力端子207を介して所定の周期、例えば1/60秒間隔で映像画として出力されるように構成されている。なお、図1において図示は省略してあるが、レンズ200は複数のレンズを組み合せてレンズユニットとして構成され、駆動モータ(例えば、振動型モータ、ステッピングモータ)によりこれらレンズの間隔を変えることにでズーム位置やフォーカスの調整が可能であり、さらに焦点距離を変更可能なように構成されている。
205 is an image synthesizing circuit as an image synthesizing means for synthesizing image signals acquired at different timings whose coordinates have been transformed by the coordinate
更に、カメラシステムの備えた揺れ補正機構の構成として、208はカメラシステムの外装体に設けられた当該カメラシステムの揺れ量を検出するための揺れ検出部としての振動ジャイロなどの角速度センサである。209は角速度センサ208から出力される角速度信号(角速度の情報)に基づいて揺れ補正量を算出する揺れ補正量演算部としての揺れ補正量演算回路であり、210は揺れ補正量演算回路209により演算された揺れ補正量を記憶する揺れ補正量記憶部としての揺れ補正量メモリである。これら揺れ検出部、揺れ補正量演算部及び揺れ補正量記憶部は揺れ補正量検出手段を構成する。また、211は撮像装置の動作タイミングの基となる基準信号を発生するタイミングジェネレータ(以下、「TG」と略す)であり、撮像素子200、画像メモリ203、座標変換回路204及び画像合成回路205、揺れ補正量メモリ210に動作開始のトリガとなり得る基準信号を供給している。
Further, as a configuration of the shake correction mechanism provided in the camera system,
ここで上記揺れ補正量演算回路209について図2を用いて詳しく説明する。この図2は、補正量演算回路209の内部構成を示すブロック図である。同図において、300は角速度センサ208から出力される角速度信号の中の直流成分を遮断して、交流成分すなわち振動成分のみを通過させる振動信号抽出部をなすDCカットフィルタである。この振動信号抽出部はDCカットフィルタ300に限られず、所定の帯域で信号を遮断するハイパスフィルタ(HPF)を用いてもよい。また301はDCカットフィルタ300を通過した角速度信号を適当な感度に増幅させる増幅器(アンプ)である。302は増幅器301より出力された角速度信号をデジタル信号に変換するA/D変換器である。303はA/D変換器302からのデジタル出力の中の低周波成分を遮断するハイパスフイルタ(以下、「HPF」と略す)であり、任意の帯域で特性を可変し得る機能を有する。
Here, the shake correction
また、304はHPF303からの角速度信号(角変位の情報)を積分して角変位信号を出力する積分器回路であり、任意の帯域で特性を可変し得る機能を有する。305は角速度信号及び積分器回路304より出力される角変位信号に基づいてカメラシステムがパンニング・チルティングの状態にあるか否かの判定を行うパン・チルト判定回路であり、このパン・チルト判定回路305は、角速度及び角変位の情報(角速度信号及び角変位信号のレベル)に基づいて後述するパンニング制御を行うように構成されている。なお、ここでいうパンニング・チルティングの状態とは、カメラシステムの操作者がカメラワークとして意図的にパンニングあるいはチルティング等をさせながら撮影している状態を意味し、このような状態において、撮影画の乱れ防止や、操作者の意図する方向への速やかな応答性の確保を図るために、揺れ補正の範囲に制限をかける制御をパンニング制御という。
前記A/D変換器302、HPF303、積分器回路304及びパン・チルト判定回路305は、実際にはマイコンにより構成されて補正量演算部を構成する。そして、揺れ検出部により検出した角速度信号に基づいて補正量演算部により得られた角変位信号は、後の制御において揺れ補正目標値、例えば補正量=焦点距離×tan(補正角)により算出される値となる。
The A /
上記パンニング制御についてさらに詳しく述べておくと、A/D変換器302から出力された角速度信号及び、積分器回路304から出力された角変位信号が夫々パン・チルト判定回路305に入力されると、角速度が所定のしきい値以上、あるいは角速度が所定のしきい値未満であっても、角速度信号を積分した角変位が所定のしきい値以上の場合に、パンニング・チルテイングの状態であると判定し、このようなときにはHPF303の低域カットオフ周波数を高域側へと変移させ、低域の周波数に対して振れ補正系が応答しないように特性を変更する。更にパンニング・チルテイングの状態にあると判定されたときには、画像補正手段の補正位置を徐々に移動範囲中心へとセンタリングし、積分器回路304の積分特性の時定数を短くなる方向に変移させ、積分器回路304に蓄積された値が基準値(揺れを検出していない状態においてとりうる値)となるようにパンニング制御を行う。なお、この間も角速度信号及び角変位信号の検出は行われており、パンニング・チルテイングの状態から解除された場合には、再び低域のカットオフ周波数を低下させて振れ補正範囲を拡張する動作が行われパンニング制御から抜ける。
The panning control will be described in more detail. When the angular velocity signal output from the A /
この動作を図3のフローチャートを用いて説明する。なお、以下のフローチャートは、振れ補正量演算回路209内に組み込まれたプログラムによって実行される。
This operation will be described with reference to the flowchart of FIG. The following flowchart is executed by a program incorporated in the shake correction
ステップS301:このフローの始まりであり、所定のタイミングで繰り返し開始される。ステップS302:増幅された角速度信号をアナログからデジタル値に変換する。ステップS303:カットオフ周波数の初期設定値又は前回用いた値によりHPF303の演算を行なう。ステップS304:積分時定数の初期設定値又は前回用いた値により積分演算を行なう。ステップS305:積分結果、すなわち角変位信号を出力する。ステップS306:角速度信号が所定のしきい値以上であるかを判断する。ステップS307:積分値が所定のしきい値以上であるかを判断する。ここで、角速度信号が所定のしきい値以上、あるいは角速度信号が所定のしきい値に満たなくとも、積分値が所定のしきい値以上ならばパンニング・チルティング状態と判断してステップS308へ進む。一方、角速度信号と積分値が共に所定のしきい値に満たない場合は通常制御状態、あるいはパンニング・チルティングの終了状態と判断しステップS310へ進む。
Step S301: This is the beginning of this flow, and is repeatedly started at a predetermined timing. Step S302: The amplified angular velocity signal is converted from an analog to a digital value. Step S303: The
ステップS308:HPF303の演算に用いるカットオフ周波数の値(f)を現在の値より所定の値だけ高くし、低周波信号の減衰率を現在のそれより大きくする。ステップS309:積分演算に用いる時定数の値を現在の値より所定の値だけ短くし、角変位出力が基準値に近づくようにする。ステップS310:HPF303の演算に用いるカットオフ周波数の値(f)を現在の値より所定の値だけ低くし、低周波信号の減衰率を現在のそれより小さくする。ステップS311:積分演算に用いる時定数の値を現在の値より所定の値だけ長くし、積分効果を上げる。ステップS312:処理の終了。以上の制御により、積分値=補正目標値の飽和を防ぐことにより補正目標値を定常状態とし、安定した揺れ補正信号を得ることができる。
Step S308: The cutoff frequency value (f) used for the calculation of the
続いて、上述のカメラシステムの各部の動作を順に説明していく。例えばビデオ撮影時においてレンズ200を介して入射した光束(撮影光)は、撮像素子201上に結像し、電荷(電気信号)に変換されて蓄積される。この撮像素子201に蓄積された電荷は、1フィールド(所定の周期=以下、第一の周期とする)内においてTG211より複数回発生する所定のタイミング(以下、第二の周期とする)で読み出され、例えば不図示のA/D変換器によりデジタル信号に変換されてカメラ信号前処理回路202に入力される。そして、当該カメラ信号前処理回路202にて、入力されたデジタル信号に対し輝度信号や色信号を形成するなどの所定の信号処理を行うことにより画像信号が形成される。カメラ信号前処理回路202から出力される画像信号は、TG211より発生される前記所定のタイミング(第二の周期)にて画像メモリ203に順次記憶される。これにより、1フィールド期間(第一の周期)内において撮像素子201より読み出され、さらにカメラ信号前処理回路202にて信号処理されて得た画像信号は、TG211より発生される第二の周期のタイミングに基づき画像メモリ203に複数記憶される。
Subsequently, the operation of each unit of the above-described camera system will be described in order. For example, a light beam (photographing light) incident through the lens 200 at the time of video shooting forms an image on the
一方、上記撮像素子201から電荷を読み出すタイミングに合わせて角速度センサ208によりカメラシステムの振れを角速度として検出し、既述したように、揺れ補正量演算回路209により揺れ補正量を算出する。揺れ補正量演算回路209より出力された揺れ補正信号は、TG211より発生される前記所定のタイミング(第二の周期)に基づいて、例えば同期タイミングで撮像素子201から読み出された画像信号と対応付けて揺れ補正量メモリ210に順次記憶される。この繰り返しにより、1フィールド期間に画像メモリ203への画像信号の記憶と、揺れ補正量メモリ210への揺れ補正量の記憶が所定回数行われると、例えば当該フィールドの終了時点で、画像メモリ203及び揺れ補正量メモリ210からそれぞれのデータが読み出されて座標変換回路204に入力される。座標変換回路204においては、揺れ補正量メモリ210より読み出された揺れ補正量に基づいて、画像メモリ203より読み出された画像信号の座標を変換、つまり切り出し領域の位置変更を行なう。座標が変換された画像信号は画像合成回路205に入力され、この画像合成回路205において所定枚数分例えば1フィールド期間内に取得されたすべての画像信号を加算平均して画像合成することにより、1つの撮像画データが生成され、ビデオ出力端子207を介して第一の周期にて出力される。
On the other hand, the shake of the camera system is detected as the angular velocity by the
続いて、上述の各動作が行なわれるタイミングについて、その一例を図4を用いて説明する。先ず、同図に示す各タイミングチャートについて説明しておくと、図中411は同期基準信号で例えばNTSCの垂直同期信号に相当する。415はTG211の駆動信号のうちの代表的なタイミングを示している。また410は撮像素子201の蓄積期間を示したものであり、429に示すHighの部分が蓄積期間であり、さらにLowの期間で蓄積情報の読み出しが行われる。430は撮像素子201より読み出され、カメラ信号前処理回路202にて信号処理を施して形成された画像信号を画像メモリ203に記憶する記憶タイミングを示し、本例では431、432、433等にあたるタイミングで記憶動作が実行される。440は角速度信号から揺れ補正量を演算し、揺れ補正量メモリ210へその値を記憶するタイミングを示し、本例では441、442、443等にあたるタイミングで記憶動作が実行される。450は記憶した画像信号を読み出すとともに、同時期例えば同期タイミングに記憶された揺れ補正量を読み出し、この揺れ補正量に基づいて画像信号の座標変換を行った後、1フィールド期間内で取得したすべての画像を合成して1つの撮像画データを生成するタイミングを示している。本例では451、452、453等にあたるタイミングで読み出し、座標変換及び合成処理が実行される。
Next, an example of the timing at which the above-described operations are performed will be described with reference to FIG. First, each timing chart shown in the figure will be described. In the figure,
次に時間軸に沿ってその動作を説明する。先ず、同期信号411に示す垂直同期期間412が完了すると、TG211より発生されるTG駆動信号415のタイミングに基づき撮像素子201の蓄積開始、読み出しが行われ、さらにカメラ信号前処理回路202にて画像信号にして画像メモリ203に記憶する。本例のように例えば421に示すタイミングで撮像素子201の蓄積が行われた場合、TG駆動信号415に基づきその蓄積完了とともに読み出し動作が行われ、カメラ信号前処理回路202にて信号処理を行った後に、431に示すタイミングで処理された画像信号を記憶する。さらに、同時期の441に示すタイミングにて、角速度センサ208より得られた角速度信号を揺れ補正量演算回路209で揺れ補正量に変換した後、揺れ補正メモリ210に記憶する。所定回数(本例では4回)の処理が行われた後、同期信号411の同期期間内に451のタイミングにて、記憶した前記画像信号を画像メモリ203から読み出すとともに、同時期に記憶された前記揺れ補正量を揺れ補正量メモリ210から読み出し、この揺れ補正量に基づいて画像信号の座標変換(後述する揺れ補正量に応じた出力画像読み出し)を施し、座標変換終了後1フィールド内の所定枚数の画像例えばすべての画像信号(本例では4つの画像信号)を合成し1枚の撮像画データを生成するタイミングを示している。
Next, the operation will be described along the time axis. First, when the
上述のようにフィールド期間中に複数の撮影により得られた画像メモリ203に取り込まれている各画像信号は、1フィールド期間を分割して各々の画像信号を取得した分、つまり撮像枚数に基づいてその蓄積時間が短くなった分において画像信号を蓄積している最中における手ぶれの影響を軽減することができる。具体的には、本例のように1フィールド期間内に4枚の画像を取得することで蓄積時間を1/4づつに区切った場合には、その画像のぶれ量も1/4に軽減されている。しかし、これらの画像をこのまま合成すると、合成された画像は画像間の構図が手ぶれなどによる移動分だけぶれた画像になってしまう。したがって、合成時にこの画像間のずれを補正する必要があり、本例においては以下の詳しく説明するように、画像の座標変換を行うことにより画像間のずれの補正を行なう。なお、本実施形態では1フィールド(1同期期間中:第一の周期)に4回の蓄積(第二の周期)、および読み出し動作が行われるものとして説明しているが、上記回数は少なくとも2回以上であればよく、特に4回に限定されるものではない。さらにまた、各フィールド期間内のすべての画像信号を必ずしも合成しなくともよく、取得した画像データのうち一部を合成するようにしてもよい。
As described above, each image signal captured in the
続いて、画像信号の座標変換について図5を用いて説明する。500は画像メモリ203に記憶される画像の全領域を示している。それは画素単位を構成する1個の光電変換素子(撮像素子)を面内に格子状に配列して形成された撮像素子201の全撮像領域(撮像面全体)に対応する画素配列をもち、TG211より発生される電気的な駆動パルスに基づき、読み出した画像を順次記憶する。また、図中502、503で示す領域はビデオ信号として出力する際の切出し枠である。つまり、全撮像領域500がそのままビデオ出力されるというものではなく、この全撮像領域500の領域内から切出し枠502(503)により切り出した領域が撮像画としてビデオ出力される。
Subsequently, coordinate conversion of an image signal will be described with reference to FIG.
ここで、例えば同図の502に示す切り出し枠でビデオ信号を切り出す場合を一例に挙げて説明すると、TG211からの信号に基づいて画像メモリ203に記憶された画像を読み出す際、まず初めに、「S」で示す画素より矢印505で示す方向に順番にメモリ画の読み出しが行われていく。この読み出しを出力ビデオ信号の同期期間内に合わせてスタートし、当該同期期間終了前に「A」で示される画素の1画素手前まで例えば通常の読み出し速度よりも速い速度で読み出しを行う。そして同期期間終了後の実映像期間において、切出し枠502内にある「A」で示す画素から「F」の画素までの電荷を、例えば通常の読み出し速度でビデオ信号の1ライン分の画像情報として、読み出しが開始される。さらに次の1ラインまでの水平同期期間中に「F」より「G」の手前までの画素を通常の読み出し速度よりも速い速度で読み出し、前記「A」から「F」までの読み出しと同様に「G」からの1ライン分の読み出しを通常の読み出し速度で行う。以上のように読み出しタイミングを制御することにより、画像メモリ203に記憶されている全撮像領域500内から切出し枠802にあたる領域を選択的に抜き出して、撮像画としてビデオ出力することができる。
Here, for example, a case where a video signal is cut out by a cutout frame indicated by 502 in FIG. 5 will be described as an example. When an image stored in the
そしてカメラシステムの揺れが生じた場合、例えば矢印504で示す分だけ全撮像領域500内での被写体の移動(=カメラシステムの揺れ)が生じた場合、切出し枠503に示す位置に切出し枠を変更すれば、被写体の移動が伴わない撮像画が得られる。より具体的には、切り出し枠の位置を変更するために、画素の読み出し開始位置を「A」から「B」に移動し、前記切出し枠502の場合と同様に、全撮像領域500から切出し枠503内にある画像を選択的に抜き出してビデオ出力する。このように撮像素子201より読み出された全画素を画像メモリ203に記憶し周辺の一部の撮像領域を実映像期間に現れない同期信号期間中に揺れ補正情報に応じた量だけあらかじめ読み出し、撮像素子201の一部をカメラシステムの揺れ補正量を基に選択的に読み出すことにより、カメラシステムの揺れに伴う画像の揺れを取り除いたビデオ信号を得ることができる。
When the camera system shakes, for example, when the subject moves within the
これまで述べてきた画像の揺れ補正及び画像合成をより理解し易くするために、図6に模式的に示す画像を用いて更に詳しく説明する。同図において、602a、602b,602c、602dは、第一の周期である1フィールド期間内に均等な間隔で撮影された複数の画像信号(つまり撮像面全体500)を模式的に示したものであり、例えば図4に示す蓄積時間421、422、423、424に602a→602b→602c→602dの順に撮像され、画像メモリ203に記憶されている。なお、同図において、611aは主被写体例えば人物、612a(612b、612c、612d)は動きのある被写体例えば車、613a(613b)は建物、621a(621b)は窓を夫々示し、また矢印630は撮像装置の回転ぶれにより生じている画像の動き方向を示している。つまり、矢印603の方向への手揺れが起きている際に映像信号602a〜602dが取得されたことになる。
In order to make it easier to understand the image shake correction and image synthesis described so far, a more detailed description will be given using the image schematically shown in FIG. In the figure,
ここで、先に説明した揺れ補正信号を考えると、求められる揺れ補正信号は、カメラシステムの揺れ方向、すなわち矢印630に示される方向で得られる。従って、各画像信号602a(602b,602c,602d)の各々に対応する揺れ補正量に基づいて撮像された画像信号602a(602b,602c、602d)の座標を移動することにより、各画像信号毎にカメラシステムの揺れにより生じた移動量(ぶれ量)が補正されることとなり、これにより各画像信号の揺れ量を補正することができる。即ち、各画像信号603a、603b,603c、603dの破線で示されている各領域を座標の変換を行い同一座標に変換することにより、カメラシステムの揺れによる移動分を相殺する。
Here, considering the shake correction signal described above, the obtained shake correction signal is obtained in the shake direction of the camera system, that is, the direction indicated by the
そしてさらに、補正後の画像信号603a、603b,603c、603dを重ね合わせて合成することにより、合成画像信号604に示されるフレーム画像(撮像画)を形成する。画像の重ね合わせの具体的な方法としては、画像上の同一座標点の輝度及び色データをそれぞれ加算し加算数で除算する方法や、あらかじめ撮像時の光量を前記1フレーム中の蓄積回数分の1に抑制しておき、単純加算を行えばよい。
Further, the corrected
このようにして合成された合成画像信号604は、主被写体611および、背景も含め静止しているが、動きのある被写体612は、画像合成回路205による重ね合わせ処理の結果、ぶれた画像(被写体自体の動きに応じた揺らぎのある画像)となる。したがって、手ぶれ等の撮像装置の揺れによる撮像画のぶれを軽減しつつも動きのある被写体の滑らかな描写を再現することが可能となる。即ち、上述の実施形態によれば、カメラシステムにおいて、撮像画を出力する第一の周期よりも短い第二の周期にて複数の画像信号を取得し、各画像信号毎に揺れ補正を行った後に、これら補正後の画像信号の重ね合わせ合成により1枚の撮像画を作成する構成としたことにより、動きのある被写体の滑らかな動きの再現性を損なうことなく、撮像画の揺れ補正を行うことができる。また更に、揺れ補正を行なった後に合成することにより、動きのない被写体例えば建物などの静止物がぶれた画像となることが極めて少ない。
The synthesized
<第2の実施形態>
本発明の第2の実施形態について説明する。
<Second Embodiment>
A second embodiment of the present invention will be described.
本実施形態は、上記第1の実施形態において画像の揺れ補正量を検出するための角速度センサ208、揺れ補正量演算回路209を用いたのに対し、撮像された各画像の特異点を抽出することにより画像間の動き量を検出することに特徴がある。
In this embodiment, the
図7は、本実施形態における撮像装置の概略構成を示すブロック図である。同図において、700は特異点変位量演算部としての特異点変位量算出回路であり、詳しくは後述するように、例えば2つの画像間の動き量を画像に含まれる特異点の座標変化により算出するものである。なお、上述の第1の実施形態と同じ構成を採用するところについては、同じ符号を付すことで詳しい説明は省略する。
FIG. 7 is a block diagram illustrating a schematic configuration of the imaging apparatus according to the present embodiment. In the figure,
次に各部の動作を順に説明していくと、レンズ200を介して入射した光束(撮影光)は、撮像素子201上に結像し、電荷(電気信号)に変換されて蓄積される。この撮像素子201に蓄積された電荷はTG211より発生される1フィールド期間(第一の周期)内において複数回発生する所定のタイミング(第二の周期)で読み出され、例えば不図示のA/D変換器によりデジタル信号に変換されてカメラ信号前処理回路202に入力される。そして当該カメラ信号前処理回路202にて、入力されたデジタル画像信号に対して輝度信号や色信号を形成するなどの所定の信号処理を行なうことにより画像信号が形成され、TG211より発生される前記所定のタイミング(第二の周期)にて画像メモリ203に順次記憶される。これにより、1フィールド期間内に撮像素子201より読み出され、さらにカメラ信号前処理回路202にて信号処理されて得た画像信号は、TG211より発生される前記所定のタイミング(第二の周期)に基づき画像メモリ203に複数記憶される。
Next, the operation of each part will be described in order. A light beam (photographing light) incident through the lens 200 forms an image on the
次に、特異点変位量算出回路700による画像のぶれ量の検出について上記図6を参照しながら説明すると、画像メモリ203から読み出された画像信号は特異点変位量算出回路700に入力され、この特異点変位量算出回路700において特異点が抽出される。具体的には、例えば画像信号601a内にある建物613aのうち輝度の高い点である窓621aのエッジをエッジ検出により特異点として取り出し、この特異点と、連続した次の画像信号601bにおける特異点641bとを比較し、この二次元的な位置の差分を補正(座標変換)する。ここでは説明の便宜上、特異点を1点として説明をしているが、実際には特異点は1画像信号内に複数存在させることができ、それらの情報を基に特異点のずれ量の平均演算などにて座標移動量を算出し、座標変換を行なうようにしてもよい。一般的に特異点は多い方が望ましい。何故なら動きのない背景が多く含まれるほど手ぶれによる画像の動きのみを精度良く抽出できるからである。
Next, the detection of the image blur amount by the singular point displacement
また、上記説明においては、2つの画像フレームの座標変換について説明をしているが、実際には連続した撮影が繰り返されるものであるから、2枚を超える画像信号についても、上記同様の座標変換を繰り返すことにより得られる差分を積み上げることにより、すべての画像信号の座標変換が可能となる。以上のように特徴点抽出を行うことによりぶれによる画像信号の位置補正量、すなわち揺れ補正信号を得ることができる。 In the above description, coordinate conversion of two image frames is described. However, since continuous shooting is actually repeated, coordinate conversion similar to the above is performed for image signals exceeding two images. By accumulating differences obtained by repeating the above, coordinate conversion of all image signals becomes possible. By performing feature point extraction as described above, it is possible to obtain a position correction amount of an image signal due to shaking, that is, a shake correction signal.
しかる後、1フィールド期間内に画像メモリ203への撮像画像の記憶が所定回数分完了した時点で、当該画像メモリ203より画像信号が読み出されて特異点変位量算出回路700に入力される。先に説明したように、特異点変位量算出回路700は連続する画像信号より特異点を抽出し、その座標の差分により揺れ補正量を求める。一方、画像メモリ203より読み出された画像信号は座標変換回路204にも入力され、特異点変位量算出回路700にて算出された揺れ補正量に応じて座標を変換する。これら座標変換された画像は、画像合成回路205に入力され、例えば所定枚数分加算平均され画像合成される。合成されて得た撮像画は、ビデオ出力端子207を介して出力される。以上のように、本実施形態によれば、手ぶれ等のカメラシステムの揺れによる撮像画のぶれを軽減しつつも動きのある被写体の滑らかな描写を再現することが可能となる。
After that, at the time when storage of the captured image in the
200 レンズ
201 撮像素子
203 画像メモリ
204 座標変換回路
205 画像合成回路
208 角速度センサ
209 揺れ補正量演算回路
210 揺れ補正量メモリ
211 タイミングジェネレータ
700 特異点変位量算出回路
DESCRIPTION OF SYMBOLS 200
Claims (3)
前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれを取得するごとに角速度を検出する角速度センサと、
前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記角速度に基づいて揺れ補正量を算出する揺れ補正量演算手段と、
前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記揺れ補正量を記憶する記憶部と、
前記記憶部に記憶された前記揺れ補正量に基づいて前記複数の画像の座標を変換して画像合成を行うことで、前記1垂直同期期間あたり1枚の合成画像を生成する合成手段を有することを特徴とする動画撮像装置。 An image sensor that outputs a plurality of images in one vertical synchronization period ;
An angular velocity sensor that detects an angular velocity every time each of the plurality of images output from the image sensor in the one vertical synchronization period is acquired;
A shake correction amount calculating means for calculating a shake correction amount based on the angular velocity corresponding to each of the plurality of images output from the image sensor during the one vertical synchronization period;
A storage unit that stores the shake correction amount corresponding to each of the plurality of images output from the image sensor in the one vertical synchronization period;
Combining means for generating one composite image per one vertical synchronization period by performing image composition by converting the coordinates of the plurality of images based on the shake correction amount stored in the storage unit. A video imaging apparatus characterized by the above.
前記1垂直同期期間に撮像素子から出力される前記複数の画像のそれぞれを取得するごとに角速度を検出する角速度検出工程と、
前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記角速度に基づいて揺れ補正量を算出する揺れ補正量演算工程と、
前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記揺れ補正量を記憶する記憶工程と、
前記記憶工程で記憶された前記揺れ補正量に基づいて前記複数の画像の座標を変換して画像合成を行うことで、前記1垂直同期期間あたり1枚の合成画像を生成する合成工程と、を含むことを特徴とする動画撮像方法。
An imaging step of outputting a plurality of images in one vertical synchronization period ;
An angular velocity detection step of detecting an angular velocity every time each of the plurality of images output from the image sensor in the one vertical synchronization period is acquired;
A shake correction amount calculating step of calculating a shake correction amount based on the angular velocity corresponding to each of the plurality of images output from the image sensor during the one vertical synchronization period;
A storage step of storing the shake correction amount corresponding to each of the plurality of images output from the image sensor during the one vertical synchronization period;
A synthesis step of generating one composite image per vertical synchronization period by converting the coordinates of the plurality of images based on the shake correction amount stored in the storage step and performing image synthesis; A moving image capturing method comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004363393A JP4401949B2 (en) | 2004-11-26 | 2004-12-15 | Moving picture imaging apparatus and moving picture imaging method |
US11/286,016 US20060132612A1 (en) | 2004-11-26 | 2005-11-22 | Motion picture taking apparatus and method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004341815 | 2004-11-26 | ||
JP2004363393A JP4401949B2 (en) | 2004-11-26 | 2004-12-15 | Moving picture imaging apparatus and moving picture imaging method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006179966A JP2006179966A (en) | 2006-07-06 |
JP4401949B2 true JP4401949B2 (en) | 2010-01-20 |
Family
ID=36595157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004363393A Expired - Fee Related JP4401949B2 (en) | 2004-11-26 | 2004-12-15 | Moving picture imaging apparatus and moving picture imaging method |
Country Status (2)
Country | Link |
---|---|
US (1) | US20060132612A1 (en) |
JP (1) | JP4401949B2 (en) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4699995B2 (en) * | 2004-12-16 | 2011-06-15 | パナソニック株式会社 | Compound eye imaging apparatus and imaging method |
JP2007306524A (en) * | 2006-05-15 | 2007-11-22 | Nec Electronics Corp | Mobile device with camera, method for assisting photographing |
JP4671430B2 (en) * | 2006-06-02 | 2011-04-20 | キヤノン株式会社 | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM |
US8169495B2 (en) * | 2006-12-01 | 2012-05-01 | Broadcom Corporation | Method and apparatus for dynamic panoramic capturing |
JP4315204B2 (en) * | 2007-02-21 | 2009-08-19 | ソニー株式会社 | Vibration detection device, imaging device, and vibration detection method |
JP4692620B2 (en) * | 2008-12-11 | 2011-06-01 | ソニー株式会社 | Shake correction apparatus, shake correction method, and imaging apparatus |
JP5230398B2 (en) * | 2008-12-19 | 2013-07-10 | キヤノン株式会社 | Imaging apparatus and control method thereof |
US8111300B2 (en) * | 2009-04-22 | 2012-02-07 | Qualcomm Incorporated | System and method to selectively combine video frame image data |
JP5412953B2 (en) * | 2009-05-20 | 2014-02-12 | リコーイメージング株式会社 | Imaging device |
JP5315151B2 (en) * | 2009-07-15 | 2013-10-16 | キヤノン株式会社 | Optical apparatus, imaging apparatus including the same, and shake correction method |
JP2011066877A (en) * | 2009-08-21 | 2011-03-31 | Sanyo Electric Co Ltd | Image processing apparatus |
CN101998095A (en) * | 2009-08-21 | 2011-03-30 | 三洋电机株式会社 | Image processing apparatus |
JP2011119930A (en) * | 2009-12-02 | 2011-06-16 | Seiko Epson Corp | Imaging apparatus, imaging method, and imaging program |
US20120281126A1 (en) * | 2011-04-11 | 2012-11-08 | Fossum Eric R | Digital integration sensor |
JP5748579B2 (en) * | 2011-06-30 | 2015-07-15 | キヤノン株式会社 | Image composition device, imaging device, control method thereof, and control program |
KR101843450B1 (en) * | 2011-08-23 | 2018-03-29 | 엘지전자 주식회사 | Mobile terminal and method for controlling of the same |
US9300871B2 (en) | 2012-06-08 | 2016-03-29 | Apple Inc. | Stationary camera detection and virtual tripod transition for video stabilization |
JP6104060B2 (en) * | 2013-06-06 | 2017-03-29 | オリンパス株式会社 | Imaging apparatus and imaging method |
JP6494202B2 (en) * | 2013-08-07 | 2019-04-03 | キヤノン株式会社 | Image shake correction apparatus, control method thereof, and imaging apparatus |
US9686471B2 (en) * | 2013-11-01 | 2017-06-20 | Light Labs Inc. | Methods and apparatus relating to image stabilization |
JP6465560B2 (en) * | 2014-04-16 | 2019-02-06 | キヤノン株式会社 | Image blur correction apparatus, control method therefor, program, and storage medium |
JP2016082420A (en) * | 2014-10-17 | 2016-05-16 | キヤノン株式会社 | Imaging system |
CN104869287A (en) * | 2015-05-18 | 2015-08-26 | 成都平行视野科技有限公司 | Video shooting noise reduction method based on mobile apparatus GPU and angular velocity sensor |
US11368620B2 (en) * | 2016-03-03 | 2022-06-21 | Sony Corporation | Image processing apparatus, image processing method, and electronic device |
JP6759680B2 (en) | 2016-04-26 | 2020-09-23 | ソニー株式会社 | Image processing equipment, imaging equipment, image processing methods, and programs |
US10547790B2 (en) * | 2018-06-14 | 2020-01-28 | Google Llc | Camera area locking |
JP2021004939A (en) * | 2019-06-25 | 2021-01-14 | キヤノン株式会社 | Image blur correction control device, camera main body, lens unit, image blur correction control method, and program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5012270A (en) * | 1988-03-10 | 1991-04-30 | Canon Kabushiki Kaisha | Image shake detecting device |
JPH05145832A (en) * | 1991-11-20 | 1993-06-11 | Sony Corp | Image pickup device |
US5835138A (en) * | 1995-08-30 | 1998-11-10 | Sony Corporation | Image signal processing apparatus and recording/reproducing apparatus |
US6473120B2 (en) * | 1996-08-13 | 2002-10-29 | Canon Kabushiki Kaisha | Image pickup apparatus for applying predetermined signal processing in conjunction with an image shifting mechanism |
US7379094B2 (en) * | 2002-04-18 | 2008-05-27 | Olympus Corporation | Electronic still imaging apparatus and method having function for acquiring synthesis image having wide-dynamic range |
-
2004
- 2004-12-15 JP JP2004363393A patent/JP4401949B2/en not_active Expired - Fee Related
-
2005
- 2005-11-22 US US11/286,016 patent/US20060132612A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20060132612A1 (en) | 2006-06-22 |
JP2006179966A (en) | 2006-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4401949B2 (en) | Moving picture imaging apparatus and moving picture imaging method | |
KR101212906B1 (en) | Photographic device control method control device and recording medium for photographic device | |
JP4987355B2 (en) | Imaging apparatus and imaging method | |
JP4522207B2 (en) | Camera system, camera body and interchangeable lens | |
JP4900401B2 (en) | Imaging apparatus and program | |
JP5226600B2 (en) | Image deformation apparatus and operation control method thereof | |
JP4473363B2 (en) | Camera shake correction apparatus and correction method thereof | |
CN109417593B (en) | Imaging device, operation method, image processing device, and image processing method | |
JP6823469B2 (en) | Image blur correction device and its control method, image pickup device, program, storage medium | |
JP3974634B2 (en) | Imaging apparatus and imaging method | |
JP2006033850A (en) | Handshake correction method and photographing apparatus using imaging device drive control and memory reading control | |
JP2010273245A (en) | Image pickup device and deflection correction method | |
JP4164424B2 (en) | Imaging apparatus and method | |
JP2007135056A (en) | Image processor and method, and program | |
JP2009284394A (en) | Imaging apparatus and imaging method | |
JP2008172310A (en) | Electronic hand blurring correction method, device and program, and imaging apparatus | |
JP2007324856A (en) | Imaging apparatus and imaging control method | |
JP2007081477A (en) | Imaging apparatus and control method thereof | |
JP4844220B2 (en) | Exposure compensation device, photographing device, exposure value setting device, exposure compensation value calculation method, and control program | |
JP4264554B2 (en) | Imaging device | |
JP2008236739A (en) | Imaging apparatus and imaging method | |
JP4888829B2 (en) | Movie processing device, movie shooting device, and movie shooting program | |
JP5962974B2 (en) | Imaging apparatus, imaging method, and program | |
JP5144469B2 (en) | Imaging apparatus and control method thereof | |
JP2011135537A (en) | Imaging apparatus and control method of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071212 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20081010 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20081201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090723 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091013 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091028 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4401949 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131106 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |