JP4401949B2 - Moving picture imaging apparatus and moving picture imaging method - Google Patents

Moving picture imaging apparatus and moving picture imaging method Download PDF

Info

Publication number
JP4401949B2
JP4401949B2 JP2004363393A JP2004363393A JP4401949B2 JP 4401949 B2 JP4401949 B2 JP 4401949B2 JP 2004363393 A JP2004363393 A JP 2004363393A JP 2004363393 A JP2004363393 A JP 2004363393A JP 4401949 B2 JP4401949 B2 JP 4401949B2
Authority
JP
Japan
Prior art keywords
image
shake correction
signal
correction amount
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004363393A
Other languages
Japanese (ja)
Other versions
JP2006179966A (en
Inventor
英夫 河原
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2004341815 priority Critical
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to JP2004363393A priority patent/JP4401949B2/en
Publication of JP2006179966A publication Critical patent/JP2006179966A/en
Application granted granted Critical
Publication of JP4401949B2 publication Critical patent/JP4401949B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23248Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor for stable pick-up of the scene in spite of camera body vibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23248Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor for stable pick-up of the scene in spite of camera body vibration
    • H04N5/23251Motion detection
    • H04N5/23261Motion detection by distinguishing pan/tilt from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23248Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor for stable pick-up of the scene in spite of camera body vibration
    • H04N5/23264Vibration or motion blur correction
    • H04N5/23267Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23248Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor for stable pick-up of the scene in spite of camera body vibration
    • H04N5/23264Vibration or motion blur correction
    • H04N5/2327Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N5/23274Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23248Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor for stable pick-up of the scene in spite of camera body vibration
    • H04N5/23264Vibration or motion blur correction
    • H04N5/2327Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N5/23277Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken

Description

本発明は、フィールド期間等のくり返し起こる所定の周期で連続的に撮像画を出力するビデオカメラなどの動画撮像装置において、各周期毎に複数の画像を撮像し、揺れ補正を行ったうえでこれら複数の画像を重ね合わせ合成して、動画を構成する1つの画像を得る動画撮像装置及び動画撮像方法に関する。   The present invention provides a video imaging apparatus such as a video camera that continuously outputs captured images at a predetermined cycle such as a field period, and after taking a plurality of images for each cycle, The present invention relates to a moving image capturing apparatus and a moving image capturing method that obtain a single image constituting a moving image by superimposing a plurality of images.
従来のビデオカメラ等の動画撮影可能なカメラシステムでは、オートエクスポージャ(AE)やオートフォーカス(AF)等の機能に見られるように、あらゆる点で自動化及び多機能化が図られ、良好な撮影が容易に行えるようになっている。また、近年においては、撮像装置の小型化や光学系の高倍率化が図られ、これに伴い、装置の揺れ等に起因する撮影画像の品位低下の問題が顕在化する傾向にある。その対策として、このような装置の揺れ(手揺れ)等により生じた撮影画の揺れを補正する揺れ補正機能が種々提案され、このような揺れ補正機能を撮像装置に搭載することで、さらに良好な撮影が容易に行えるようになっている。   In conventional camera systems capable of shooting moving images, such as video cameras, automation and multi-functionalization are achieved in all respects, as seen in functions such as auto exposure (AE) and auto focus (AF). Can be easily performed. In recent years, downsizing of an image pickup apparatus and high magnification of an optical system have been achieved, and accordingly, there has been a tendency for a problem of deterioration in the quality of a photographed image due to shaking of the apparatus to become apparent. As countermeasures, various shake correction functions for correcting the shake of a photographed image caused by such a shake (hand shake) of the apparatus have been proposed, and it is further improved by installing such a shake correction function in the imaging apparatus. Can be easily taken.
例えばビデオカメラに搭載されている揺れ補正機能については、光学的に揺れを補正するいわゆる光学式揺れ補正方式(例えば、特許文献1参照。)及び、電気的な処理にて揺れの補正を行う電子式揺れ補正方式(例えば、特許文献2参照。)が提案されている。   For example, with regard to a shake correction function mounted on a video camera, a so-called optical shake correction method (for example, refer to Patent Document 1) that optically corrects shake, and an electronic device that performs shake correction by electrical processing. A formula shake correction method (see, for example, Patent Document 2) has been proposed.
ここで電子式揺れ補正の概略について、図8を用いて述べておく。図8(A)〜(C)において、100で示す領域は撮像素子(例えば、CCDセンサ、CMOSセンサ)により取得される全撮像領域を示す。101で示した破線内の領域は全撮像領域100のうち実際に映像信号(撮像画)として標準ビデオ信号へ変換して出力する切り出し枠である。102は撮影者が撮影している主被写体である。このときの標準ビデオ信号に基づく映像がモニタ上に表示された状態を、図8(C)に示す。図8(C)において、103はビデオ信号を再現するモニタの映像領域を示し、102’はモニタ103上に再現された主被写体である。つまり、撮像素子により取得した全撮像領域100内からその周辺を除いた一部分を標準ビデオ信号として出力することにより、モニタ上に映像領域103が再現される。   Here, an outline of the electronic shake correction will be described with reference to FIG. 8A to 8C, an area indicated by 100 indicates an entire imaging area acquired by an imaging element (for example, a CCD sensor or a CMOS sensor). An area within a broken line 101 is a cutout frame that is actually converted into a standard video signal as a video signal (captured image) and output from the entire imaging area 100. Reference numeral 102 denotes a main subject photographed by the photographer. FIG. 8C shows a state where an image based on the standard video signal at this time is displayed on the monitor. In FIG. 8C, reference numeral 103 denotes a video area of a monitor that reproduces a video signal, and reference numeral 102 ′ denotes a main subject reproduced on the monitor 103. In other words, the video area 103 is reproduced on the monitor by outputting a part of the entire imaging area 100 acquired by the imaging element excluding its periphery as a standard video signal.
次に図8(B)について説明すると、同図は被写体102を撮影する撮影者が矢印104、104’、104”で示す図中左下方向にビデオカメラを振ってしまったときの両像の変化を示したもので、撮像素子の全撮像領域100上で主被写体102は矢印105で示す図中右上方向に移動してしまう。この状態で前記図8(A)における切り出し枠101と同位置(全撮像領域100面内における同座標位置)の101’で示す切り出し枠を用いて切り出した場合、矢印105で示すベクトル量だけ被写体102が移動したビデオ信号を発生させてしまう。そこで、前記撮像素子により画像を撮像した際にビデオカメラの揺れ量を検出しておき、この揺れ量により求めた画像の変位量106、すなわち揺れ補正目標値を用いて切り出し枠の位置を101’から101”で示す破線枠位置に移動させることにより、揺れによる被写体102像の移動が相殺され、これにより同図8(C)で示される映像を得ることが可能である。電子式揺れ補正はこの原理を用いて画像の揺れ補正を実現する。即ち、撮像手段の揺れを電気的に補正することにより、動画像の揺れ補正が行われ、ぶれの少ない撮像画を撮影することができるのである。   Next, FIG. 8B will be described. FIG. 8B shows a change in both images when a photographer who shoots the subject 102 shakes the video camera in the lower left direction in the figure indicated by arrows 104, 104 ′, 104 ″. In this state, the main subject 102 moves in the upper right direction in the figure indicated by the arrow 105 over the entire imaging region 100 of the imaging device, and in this state, the same position as the cutout frame 101 in FIG. When the clip is cut out using the cutout frame indicated by 101 ′ (the same coordinate position in the entire imaging region 100 plane), a video signal in which the subject 102 has moved by the vector amount indicated by the arrow 105 is generated. The amount of shaking of the video camera is detected when an image is picked up by the above method, and the position of the clipping frame is determined using the amount of displacement 106 of the image obtained from this amount of shaking, that is, the shaking correction target value. By moving from 101 'to the position of the broken line frame indicated by 101 ", the movement of the subject 102 image due to shaking is canceled out, so that the image shown in FIG. 8C can be obtained. Electronic shake correction uses this principle to realize image shake correction. That is, by electrically correcting the shake of the image pickup means, the shake correction of the moving image is performed, and a picked-up image with less blur can be taken.
上記電子式揺れ補正方式による揺れ補正手段を備えたビデオカメラについて、図9を用いて簡単に説明すると、光学系の一部を構成するレンズ150を介して入射された撮影光(光束)は、CCDなどの撮像素子151上に結像され、電荷(電気信号)に変換される。そしてタイミングジェネレータ(TG)152により所定のタイミングで出力される読出し信号に基づいて撮像素子151から電気信号が読み出され、電気信号は信号処理回路153により例えばNTSCなどの標準ビデオ信号に変換され、ビデオ出力端子154を介して出力される。   A video camera provided with a shake correction means using the electronic shake correction method will be briefly described with reference to FIG. 9. The photographing light (light beam) incident through the lens 150 constituting a part of the optical system is as follows. An image is formed on an image sensor 151 such as a CCD, and converted into electric charges (electrical signals). An electric signal is read from the image sensor 151 based on a read signal output at a predetermined timing by a timing generator (TG) 152, and the electric signal is converted into a standard video signal such as NTSC by a signal processing circuit 153. It is output via the video output terminal 154.
その一方で、撮像のタイミングに合わせて例えば振動ジャイロなどの角速度センサ155によりビデオカメラの振れを角速度として検出し、図示しない直流カットフィルタ、増幅器、積分回路を備えた揺れ補正量演算回路156により揺れ補正量を算出する。より詳しくは、入力された各速度信号の中から直流カットフィルタにより交流成分すなわち振動成分のみを取り出し、増幅器(アンプ)により増幅させ、さらに積分回路にて積分処理して角速度を角変位に変換し、得られた角変位に基づいて揺れ補正量を算出する。そして算出された揺れ補正量は、読出し位置制御回路157により撮像素子151の画素の移動量に変換され、この移動量に基づいて読み出し(切り出し)位置が変更されると共に、当該揺れ補正量に基づいて撮像素子151の読み出しタイミングが変更される。   On the other hand, the shake of the video camera is detected as an angular velocity by an angular velocity sensor 155 such as a vibration gyro in accordance with the timing of imaging, and is shaken by a shake correction amount calculation circuit 156 having a DC cut filter, an amplifier, and an integration circuit (not shown). A correction amount is calculated. More specifically, only the AC component, that is, the vibration component, is extracted from each input velocity signal by a DC cut filter, amplified by an amplifier, and further integrated by an integration circuit to convert the angular velocity into angular displacement. Then, a shake correction amount is calculated based on the obtained angular displacement. The calculated shake correction amount is converted into the movement amount of the pixel of the image sensor 151 by the read position control circuit 157, and the read (cutout) position is changed based on the move amount, and the shake correction amount is based on the shake correction amount. Thus, the readout timing of the image sensor 151 is changed.
また、従来より採用されている光学式揺れ方式による補正手法について説明すると、光学式揺れ方式においても揺れ検出手段にあたる、角速度センサ、直流カットフィルタ、増幅器(アンプ)、積分回路という構成は同一の構成であり、上述の電子式揺れ補正方式と同様に揺れ補正量演算回路156により角変位を求め、この角変位に基づいて、光学的に光軸を変移させて振れを相殺する光学的な揺れ補正機構を備えることを特徴とし、例えば揺れ補正レンズを光軸直交面内で変位させることにより撮像素子への入射光の光軸を変移させる方式などが提案されている。以上によってビデオカメラの揺れを光学的に打ち消すことにより、撮影中(露光中)においては常に光学的な揺れ補正が行われ、ぶれのない撮像画を撮影することができる。   In addition, the correction method using the optical shaking method that has been conventionally employed will be described. The configuration of the angular velocity sensor, the DC cut filter, the amplifier (amplifier), and the integrating circuit that are equivalent to the shaking detection means in the optical shaking method is the same. In the same manner as the above-described electronic shake correction method, an angular displacement is obtained by the shake correction amount calculation circuit 156, and based on this angular displacement, the optical shake is optically shifted to cancel the shake. For example, a method has been proposed in which the optical axis of incident light to the image sensor is shifted by displacing a shake correction lens within a plane orthogonal to the optical axis. By optically canceling the shake of the video camera as described above, optical shake correction is always performed during shooting (during exposure), and a captured image without blur can be taken.
特開平9−181959号公報JP-A-9-181959 特開平10−178582号公報JP-A-10-178582
しかしながら上記電子式揺れ補正方式による揺れ補正手段を備えたビデオカメラには以下のような問題があった。即ち、撮像素子151の露出期間中(=蓄積時間中)の揺れ補正は行なわれないため、撮像素子151が電荷(画像)を蓄積している露光期間中の揺れは取り除くことができず、揺れ補正の精度には限界があった。ビデオカメラの小型化や光学系の高倍率化は益々進む傾向にあり、補正精度のさらなる向上のために、、露光期間中の揺れを軽減する目的で蓄積時間を短くする検討が本発明者らによりなされている。この場合、露光期間中に揺れの影響が小さくなる分において補正精度が向上する一方で、被写体の動きも同時に小さくしてしまい、そのためビデオ動画における被写体の動きの描写が不自然になってしまう場合がある。   However, the video camera provided with the shake correction means by the electronic shake correction method has the following problems. That is, since the shake correction during the exposure period (= during accumulation time) of the image sensor 151 is not performed, the shake during the exposure period in which the image sensor 151 accumulates charges (images) cannot be removed, and the shake is not performed. There was a limit to the accuracy of correction. The miniaturization of video cameras and the increase in the magnification of optical systems tend to progress further. In order to further improve the correction accuracy, the present inventors have studied to shorten the accumulation time for the purpose of reducing fluctuation during the exposure period. It is made by. In this case, the correction accuracy is improved as the influence of shaking during the exposure period is reduced, but the movement of the subject is also reduced at the same time, so that the depiction of the movement of the subject in the video movie becomes unnatural. There is.
この問題点について、具体例を挙げて述べておくと、例えば主被写体の背景に車が横切った場合を想定すれば、主被写体および背景は上記電子式揺れ補正により補正が行われているが、同時に背景を横切る車に着目すれば、そのぶれ、すなわち車の動きも露光時間を短くすることにより小さくなって(軽減されて)しまい、動画としてみれば、被写体のぶれによる滑らかな動きが損なわれ、フィールド毎に車の移動に伴った位置に静止した車が現れるおかしな画像となってしまう場合がある。これに対し、画像の取得枚数を増やして車の滑らかな動きを再現しようとするとデータ量が膨大になってしまい、容量の大きい記憶媒体を装着しなければ撮像可能な時間が短くなってしまう。   To describe this problem with a specific example, for example, assuming that a car crosses the background of the main subject, the main subject and the background are corrected by the electronic shake correction, At the same time, if you focus on a car that crosses the background, the blur, that is, the movement of the car will also be reduced (reduced) by shortening the exposure time, and if it is viewed as a movie, the smooth movement due to the blur of the subject will be impaired. There may be a strange image in which a stationary car appears at a position accompanying the movement of the car for each field. On the other hand, if an attempt is made to reproduce the smooth movement of the vehicle by increasing the number of acquired images, the amount of data becomes enormous, and if a large-capacity storage medium is not attached, the time that can be imaged is shortened.
また、光学式揺れ補正方式では、補正レンズを支持するとともにレンズ自体を高精度に可動させる必要があるために小型化には限度がある。   Further, in the optical shake correction method, there is a limit to downsizing because it is necessary to support the correction lens and to move the lens itself with high accuracy.
本発明は上記問題点を鑑みてなされたものであり、フィールド期間等のくり返し起こる所定の周期で画像を出力して例えば動画を撮影可能な撮像装置において、動きのある被写体の連続的な動きの再現性を損なうことなく、撮像画の揺れ補正を行うことのできる動画撮像装置及び動画撮像方法を提供することを一つの目的とする。   The present invention has been made in view of the above problems, and in an imaging apparatus capable of outputting an image at a predetermined cycle that repeatedly occurs, such as a field period, and shooting a moving image, for example, the continuous movement of a moving subject. One object is to provide a moving image capturing apparatus and a moving image capturing method capable of performing shake correction of a captured image without impairing reproducibility.
本発明の動画撮像装置は、1垂直同期期間に複数の画像を出力する撮像素子と、前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれを取得するごとに角速度を検出する角速度センサと、前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記角速度に基づいて揺れ補正量を算出する揺れ補正量演算手段と、前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記揺れ補正量を記憶する記憶部と、前記記憶部に記憶された前記揺れ補正量に基づいて前記複数の画像の座標を変換して画像合成を行うことで、前記1垂直同期期間あたり1枚の合成画像を生成する合成手段を有することを特徴とする。
The moving image pickup apparatus of the present invention detects an angular velocity each time an image sensor that outputs a plurality of images in one vertical synchronization period and the plurality of images output from the image sensor in the one vertical synchronization period are acquired. An angular velocity sensor, a shake correction amount calculating means for calculating a shake correction amount based on the angular velocity corresponding to each of the plurality of images output from the image sensor during the one vertical synchronization period, and the one vertical synchronization period A storage unit for storing the shake correction amount corresponding to each of the plurality of images output from the image sensor, and converting the coordinates of the plurality of images based on the shake correction amount stored in the storage unit. Then, by performing image synthesis, the image processing apparatus includes a synthesis unit that generates one synthesized image per the vertical synchronization period .
本発明の動画撮像方法は、1垂直同期期間に複数の画像を出力する撮像工程と、前記1垂直同期期間に撮像素子から出力される前記複数の画像のそれぞれを取得するごとに角速度を検出する角速度検出工程と、前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記角速度に基づいて揺れ補正量を算出する揺れ補正量演算工程と、前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記揺れ補正量を記憶する記憶工程と、前記記憶工程で記憶された前記揺れ補正量に基づいて前記複数の画像の座標を変換して画像合成を行うことで、前記1垂直同期期間あたり1枚の合成画像を生成する合成工程と、を含むことを特徴とする。
In the moving image imaging method of the present invention , an angular velocity is detected each time an imaging step of outputting a plurality of images in one vertical synchronization period and each of the plurality of images output from the image sensor in the one vertical synchronization period are acquired. An angular velocity detection step, a shake correction amount calculation step of calculating a shake correction amount based on the angular velocity corresponding to each of the plurality of images output from the image sensor in the one vertical synchronization period, and the one vertical synchronization period Storing a shake correction amount corresponding to each of the plurality of images output from the image sensor, and converting coordinates of the plurality of images based on the shake correction amount stored in the storage step. Then, by performing image composition, a composition step of generating one composite image per one vertical synchronization period is included.
本発明によれば、所定の周期にて連続的に撮像画を出力する撮像装置において、所定の周期の間に複数の画像を撮像し、各画像の揺れ量に基づいて画像の揺れを補正し、少なくとも2つ以上の揺れ補正後の画像データを重ね合わせ合成することで1つの画像を生成することにより、被写体の連続的な動きの再現性を損なうことなく、撮像画の揺れ補正を行うことができる。   According to the present invention, in an imaging apparatus that outputs captured images continuously at a predetermined period, a plurality of images are captured during a predetermined period, and the fluctuation of the image is corrected based on the amount of fluctuation of each image. In addition, by correcting and synthesizing the captured image without impairing the reproducibility of the continuous movement of the subject by generating a single image by superimposing and synthesizing at least two image data after shake correction. Can do.
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。   Preferred embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
<第1の実施形態>
まず、本発明の第1の実施形態について説明する。図1は、本実施形態におけるカメラシステム(撮像装置)の概略構成を示すブロック図である。同図において、当該カメラシステムの備えた撮像部の構成として、200は光学系の一部を構成するレンズであり、カメラ本体に対して着脱可能に装着される。201は光電変換手段である撮像素子(例えば、CCDセンサ、CMOSセンサ)、202は撮像素子201からの電気信号を画像信号に変換するカメラ信号前処理回路である。また203はカメラ信号前処理回路202より出力される画像信号(画像データ)を記憶する画像記憶手段としての画像メモリ、204は画像メモリ203より読み出された画像信号の二次元座標を変換して揺れ補正を行う揺れ補正手段をなす座標変換部としての座標変換回路である。
<First Embodiment>
First, a first embodiment of the present invention will be described. FIG. 1 is a block diagram showing a schematic configuration of a camera system (imaging device) in the present embodiment. In the figure, as a configuration of an imaging unit provided in the camera system, reference numeral 200 denotes a lens that constitutes a part of an optical system, which is detachably attached to the camera body. Reference numeral 201 denotes an image sensor (e.g., a CCD sensor or a CMOS sensor) which is a photoelectric conversion unit, and 202 denotes a camera signal pre-processing circuit that converts an electrical signal from the image sensor 201 into an image signal. Reference numeral 203 denotes an image memory as an image storage means for storing an image signal (image data) output from the camera signal preprocessing circuit 202, and 204 denotes a conversion of the two-dimensional coordinates of the image signal read from the image memory 203. It is a coordinate conversion circuit as a coordinate conversion unit that constitutes a shake correction means for performing shake correction.
205は座標変換回路204にて座標が変換された互いに異なるタイミングで取得した画像信号を合成する画像合成手段としての画像合成回路、206は合成された画像信号を、例えばNTSCなどの標準ビデオ信号に変換する信号処理手段としてのカメラ信号処理回路であり、変換された標準ビデオ信号はビデオ出力端子207を介して所定の周期、例えば1/60秒間隔で映像画として出力されるように構成されている。なお、図1において図示は省略してあるが、レンズ200は複数のレンズを組み合せてレンズユニットとして構成され、駆動モータ(例えば、振動型モータ、ステッピングモータ)によりこれらレンズの間隔を変えることにでズーム位置やフォーカスの調整が可能であり、さらに焦点距離を変更可能なように構成されている。   205 is an image synthesizing circuit as an image synthesizing means for synthesizing image signals acquired at different timings whose coordinates have been transformed by the coordinate transformation circuit 204, and 206 is a synthesized video signal, for example, a standard video signal such as NTSC. It is a camera signal processing circuit as a signal processing means for converting, and the converted standard video signal is configured to be output as a video image at a predetermined cycle, for example, 1/60 second interval, via the video output terminal 207. Yes. Although not shown in FIG. 1, the lens 200 is configured as a lens unit by combining a plurality of lenses, and the distance between these lenses can be changed by a drive motor (for example, a vibration motor or a stepping motor). The zoom position and focus can be adjusted, and the focal length can be changed.
更に、カメラシステムの備えた揺れ補正機構の構成として、208はカメラシステムの外装体に設けられた当該カメラシステムの揺れ量を検出するための揺れ検出部としての振動ジャイロなどの角速度センサである。209は角速度センサ208から出力される角速度信号(角速度の情報)に基づいて揺れ補正量を算出する揺れ補正量演算部としての揺れ補正量演算回路であり、210は揺れ補正量演算回路209により演算された揺れ補正量を記憶する揺れ補正量記憶部としての揺れ補正量メモリである。これら揺れ検出部、揺れ補正量演算部及び揺れ補正量記憶部は揺れ補正量検出手段を構成する。また、211は撮像装置の動作タイミングの基となる基準信号を発生するタイミングジェネレータ(以下、「TG」と略す)であり、撮像素子200、画像メモリ203、座標変換回路204及び画像合成回路205、揺れ補正量メモリ210に動作開始のトリガとなり得る基準信号を供給している。   Further, as a configuration of the shake correction mechanism provided in the camera system, reference numeral 208 denotes an angular velocity sensor such as a vibration gyro provided as a shake detection unit for detecting the shake amount of the camera system provided in the exterior body of the camera system. Reference numeral 209 denotes a shake correction amount calculation circuit as a shake correction amount calculation unit that calculates a shake correction amount based on an angular velocity signal (angular velocity information) output from the angular velocity sensor 208, and 210 is calculated by the shake correction amount calculation circuit 209. It is a shake correction amount memory as a shake correction amount storage unit for storing the shake correction amount. These shake detection unit, shake correction amount calculation unit, and shake correction amount storage unit constitute shake correction amount detection means. Reference numeral 211 denotes a timing generator (hereinafter abbreviated as “TG”) that generates a reference signal that is the basis of the operation timing of the image pickup apparatus. The image pickup device 200, the image memory 203, the coordinate conversion circuit 204, the image composition circuit 205, A reference signal that can serve as a trigger for starting the operation is supplied to the shake correction amount memory 210.
ここで上記揺れ補正量演算回路209について図2を用いて詳しく説明する。この図2は、補正量演算回路209の内部構成を示すブロック図である。同図において、300は角速度センサ208から出力される角速度信号の中の直流成分を遮断して、交流成分すなわち振動成分のみを通過させる振動信号抽出部をなすDCカットフィルタである。この振動信号抽出部はDCカットフィルタ300に限られず、所定の帯域で信号を遮断するハイパスフィルタ(HPF)を用いてもよい。また301はDCカットフィルタ300を通過した角速度信号を適当な感度に増幅させる増幅器(アンプ)である。302は増幅器301より出力された角速度信号をデジタル信号に変換するA/D変換器である。303はA/D変換器302からのデジタル出力の中の低周波成分を遮断するハイパスフイルタ(以下、「HPF」と略す)であり、任意の帯域で特性を可変し得る機能を有する。   Here, the shake correction amount calculation circuit 209 will be described in detail with reference to FIG. FIG. 2 is a block diagram showing the internal configuration of the correction amount calculation circuit 209. In the figure, reference numeral 300 denotes a DC cut filter that constitutes a vibration signal extraction unit that blocks the direct current component in the angular velocity signal output from the angular velocity sensor 208 and passes only the alternating current component, that is, the vibration component. The vibration signal extraction unit is not limited to the DC cut filter 300, and a high-pass filter (HPF) that cuts off a signal in a predetermined band may be used. Reference numeral 301 denotes an amplifier that amplifies the angular velocity signal that has passed through the DC cut filter 300 to an appropriate sensitivity. Reference numeral 302 denotes an A / D converter that converts the angular velocity signal output from the amplifier 301 into a digital signal. Reference numeral 303 denotes a high-pass filter (hereinafter abbreviated as “HPF”) that blocks low-frequency components in the digital output from the A / D converter 302, and has a function capable of varying the characteristics in an arbitrary band.
また、304はHPF303からの角速度信号(角変位の情報)を積分して角変位信号を出力する積分器回路であり、任意の帯域で特性を可変し得る機能を有する。305は角速度信号及び積分器回路304より出力される角変位信号に基づいてカメラシステムがパンニング・チルティングの状態にあるか否かの判定を行うパン・チルト判定回路であり、このパン・チルト判定回路305は、角速度及び角変位の情報(角速度信号及び角変位信号のレベル)に基づいて後述するパンニング制御を行うように構成されている。なお、ここでいうパンニング・チルティングの状態とは、カメラシステムの操作者がカメラワークとして意図的にパンニングあるいはチルティング等をさせながら撮影している状態を意味し、このような状態において、撮影画の乱れ防止や、操作者の意図する方向への速やかな応答性の確保を図るために、揺れ補正の範囲に制限をかける制御をパンニング制御という。   Reference numeral 304 denotes an integrator circuit that integrates the angular velocity signal (angular displacement information) from the HPF 303 and outputs an angular displacement signal, and has a function capable of varying the characteristics in an arbitrary band. A pan / tilt determination circuit 305 determines whether the camera system is in a panning / tilting state based on the angular velocity signal and the angular displacement signal output from the integrator circuit 304. The circuit 305 is configured to perform panning control, which will be described later, based on information on angular velocity and angular displacement (levels of the angular velocity signal and the angular displacement signal). The panning / tilting state here means a state in which the operator of the camera system is photographing while intentionally performing panning or tilting as camera work. Control that limits the range of shake correction in order to prevent image distortion and to ensure quick response in the direction intended by the operator is called panning control.
前記A/D変換器302、HPF303、積分器回路304及びパン・チルト判定回路305は、実際にはマイコンにより構成されて補正量演算部を構成する。そして、揺れ検出部により検出した角速度信号に基づいて補正量演算部により得られた角変位信号は、後の制御において揺れ補正目標値、例えば補正量=焦点距離×tan(補正角)により算出される値となる。   The A / D converter 302, HPF 303, integrator circuit 304, and pan / tilt determination circuit 305 are actually constituted by a microcomputer to constitute a correction amount calculation unit. Then, the angular displacement signal obtained by the correction amount calculation unit based on the angular velocity signal detected by the shake detection unit is calculated by a shake correction target value, for example, correction amount = focal length × tan (correction angle) in later control. Value.
上記パンニング制御についてさらに詳しく述べておくと、A/D変換器302から出力された角速度信号及び、積分器回路304から出力された角変位信号が夫々パン・チルト判定回路305に入力されると、角速度が所定のしきい値以上、あるいは角速度が所定のしきい値未満であっても、角速度信号を積分した角変位が所定のしきい値以上の場合に、パンニング・チルテイングの状態であると判定し、このようなときにはHPF303の低域カットオフ周波数を高域側へと変移させ、低域の周波数に対して振れ補正系が応答しないように特性を変更する。更にパンニング・チルテイングの状態にあると判定されたときには、画像補正手段の補正位置を徐々に移動範囲中心へとセンタリングし、積分器回路304の積分特性の時定数を短くなる方向に変移させ、積分器回路304に積された値が基値(揺れを検出していない状態においてとりうる値)となるようにパンニング制御を行う。なお、この間も角速度信号及び角変位信号の検出は行われており、パンニング・チルテイングの状態から解除された場合には、再び低域のカットオフ周波数を低下させて振れ補正範囲を拡張する動作が行われパンニング制御から抜ける。
The panning control will be described in more detail. When the angular velocity signal output from the A / D converter 302 and the angular displacement signal output from the integrator circuit 304 are respectively input to the pan / tilt determination circuit 305, Even if the angular velocity is equal to or greater than a predetermined threshold value or the angular velocity is less than the predetermined threshold value, it is determined that the panning / tilting state is present when the angular displacement obtained by integrating the angular velocity signal is equal to or greater than the predetermined threshold value. In such a case, the low frequency cutoff frequency of the HPF 303 is shifted to the high frequency side, and the characteristics are changed so that the shake correction system does not respond to the low frequency. If it is determined that further in the state of the panning tilting the corrected position of the image correcting means centered to the center of the range of movement gradually, the constant is displaced to shorten consisting direction when the integral characteristic of the integrator circuit 304, integration It performs panning control so accumulated value becomes a criteria value (possible values in a state not detecting swing) the vessel circuit 304. During this time it has also performed the detection of the angular velocity signal and the angular displacement signal, when it is released from the state of panning tilting the operation to expand the correction range shake by lowering the cutoff frequency of the low frequency again Done and exit from panning control.
この動作を図3のフローチャートを用いて説明する。なお、以下のフローチャートは、振れ補正量演算回路209内に組み込まれたプログラムによって実行される。   This operation will be described with reference to the flowchart of FIG. The following flowchart is executed by a program incorporated in the shake correction amount calculation circuit 209.
ステップS301:このフローの始まりであり、所定のタイミングで繰り返し開始される。ステップS302:増幅された角速度信号をアナログからデジタル値に変換する。ステップS303:カットオフ周波数の初期設定値又は前回用いた値によりHPF303の演算を行なう。ステップS304:積分時定数の初期設定値又は前回用いた値により積分演算を行なう。ステップS305:積分結果、すなわち角変位信号を出力する。ステップS306:角速度信号が所定のしきい値以上であるかを判断する。ステップS307:積分値が所定のしきい値以上であるかを判断する。ここで、角速度信号が所定のしきい値以上、あるいは角速度信号が所定のしきい値に満たなくとも、積分値が所定のしきい値以上ならばパンニング・チルティング状態と判断してステップS308へ進む。一方、角速度信号と積分値が共に所定のしきい値に満たない場合は通常制御状態、あるいはパンニング・チルティングの終了状態と判断しステップS310へ進む。   Step S301: This is the beginning of this flow, and is repeatedly started at a predetermined timing. Step S302: The amplified angular velocity signal is converted from an analog to a digital value. Step S303: The HPF 303 is calculated based on the initial setting value of the cutoff frequency or the previous value. Step S304: Integration is performed according to the initial set value of the integration time constant or the previous value. Step S305: Output an integration result, that is, an angular displacement signal. Step S306: It is determined whether the angular velocity signal is equal to or greater than a predetermined threshold value. Step S307: It is determined whether the integral value is greater than or equal to a predetermined threshold value. Here, if the angular velocity signal is equal to or greater than a predetermined threshold value, or if the integrated value is equal to or greater than the predetermined threshold value even if the angular velocity signal is less than the predetermined threshold value, the panning / tilting state is determined and the process proceeds to step S308. move on. On the other hand, when both the angular velocity signal and the integral value are less than the predetermined threshold value, it is determined that the normal control state or the panning / tilting end state is reached, and the process proceeds to step S310.
ステップS308:HPF303の演算に用いるカットオフ周波数の値(f)を現在の値より所定の値だけ高くし、低周波信号の減衰率を現在のそれより大きくする。ステップS309:積分演算に用いる時定数の値を現在の値より所定の値だけ短くし、角変位出力が基準値に近づくようにする。ステップS310:HPF303の演算に用いるカットオフ周波数の値(f)を現在の値より所定の値だけ低くし、低周波信号の減衰率を現在のそれより小さくする。ステップS311:積分演算に用いる時定数の値を現在の値より所定の値だけ長くし、積分効果を上げる。ステップS312:処理の終了。以上の制御により、積分値=補正目標値の飽和を防ぐことにより補正目標値を定常状態とし、安定した揺れ補正信号を得ることができる。  Step S308: The cutoff frequency value (f) used for the calculation of the HPF 303 is made higher than the current value by a predetermined value, and the attenuation rate of the low frequency signal is made larger than the current value. Step S309: The value of the time constant used for the integral calculation is shortened by a predetermined value from the current value so that the angular displacement output approaches the reference value. Step S310: The cutoff frequency value (f) used for the calculation of the HPF 303 is made lower by a predetermined value than the current value, and the attenuation factor of the low frequency signal is made smaller than the current value. Step S311: The value of the time constant used for the integration calculation is made longer than the current value by a predetermined value to increase the integration effect. Step S312: End of processing. By the above-described control, the correction target value is set to a steady state by preventing saturation of the integral value = correction target value, and a stable fluctuation correction signal can be obtained.
続いて、上述のカメラシステムの各部の動作を順に説明していく。例えばビデオ撮影時においてレンズ200を介して入射した光束(撮影光)は、撮像素子201上に結像し、電荷(電気信号)に変換されて蓄積される。この撮像素子201に蓄積された電荷は、1フィールド(所定の周期=以下、第一の周期とする)内においてTG211より複数回発生する所定のタイミング(以下、第二の周期とする)で読み出され、例えば不図示のA/D変換器によりデジタル信号に変換されてカメラ信号前処理回路202に入力される。そして、当該カメラ信号前処理回路202にて、入力されたデジタル信号に対し輝度信号や色信号を形成するなどの所定の信号処理を行うことにより画像信号が形成される。カメラ信号前処理回路202から出力される画像信号は、TG211より発生される前記所定のタイミング(第二の周期)にて画像メモリ203に順次記憶される。これにより、1フィールド期間(第一の周期)内において撮像素子201より読み出され、さらにカメラ信号前処理回路202にて信号処理されて得た画像信号は、TG211より発生される第二の周期のタイミングに基づき画像メモリ203に複数記憶される。   Subsequently, the operation of each unit of the above-described camera system will be described in order. For example, a light beam (photographing light) incident through the lens 200 at the time of video shooting forms an image on the image sensor 201, is converted into an electric charge (electric signal), and is accumulated. The charge accumulated in the image sensor 201 is read at a predetermined timing (hereinafter referred to as a second cycle) generated by the TG 211 a plurality of times within one field (predetermined cycle = hereinafter referred to as a first cycle). For example, it is converted into a digital signal by an A / D converter (not shown) and input to the camera signal preprocessing circuit 202. Then, the camera signal pre-processing circuit 202 performs predetermined signal processing such as forming a luminance signal and a color signal on the input digital signal, thereby forming an image signal. The image signal output from the camera signal preprocessing circuit 202 is sequentially stored in the image memory 203 at the predetermined timing (second period) generated by the TG 211. As a result, an image signal that is read from the image sensor 201 within one field period (first period) and further processed by the camera signal preprocessing circuit 202 is the second period generated by the TG 211. A plurality of images are stored in the image memory 203 based on the timing.
一方、上記撮像素子201から電荷を読み出すタイミングに合わせて角速度センサ208によりカメラシステムの振れを角速度として検出し、既述したように、揺れ補正量演算回路209により揺れ補正量を算出する。揺れ補正量演算回路209より出力された揺れ補正信号は、TG211より発生される前記所定のタイミング(第二の周期)に基づいて、例えば同期タイミングで撮像素子201から読み出された画像信号と対応付けて揺れ補正量メモリ210に順次記憶される。この繰り返しにより、1フィールド期間に画像メモリ203への画像信号の記憶と、揺れ補正量メモリ210への揺れ補正量の記憶が所定回数行われると、例えば当該フィールドの終了時点で、画像メモリ203及び揺れ補正量メモリ210からそれぞれのデータが読み出されて座標変換回路204に入力される。座標変換回路204においては、揺れ補正量メモリ210より読み出された揺れ補正量に基づいて、画像メモリ203より読み出された画像信号の座標を変換、つまり切り出し領域の位置変更を行なう。座標が変換された画像信号は画像合成回路205に入力され、この画像合成回路205において所定枚数分例えば1フィールド期間内に取得されたすべての画像信号を加算平均して画像合成することにより、1つの撮像画データが生成され、ビデオ出力端子207を介して第一の周期にて出力される。
On the other hand, the shake of the camera system is detected as the angular velocity by the angular velocity sensor 208 in accordance with the timing of reading the electric charge from the image sensor 201, and the shake correction amount calculation circuit 209 calculates the shake correction amount as described above. The shake correction signal output from the shake correction amount calculation circuit 209 corresponds to the image signal read from the image sensor 201 at, for example, the synchronization timing based on the predetermined timing (second period) generated by the TG 211. In addition, it is sequentially stored in the shake correction amount memory 210 . By repeating this process, when the image signal is stored in the image memory 203 and the shake correction amount is stored in the shake correction amount memory 210 a predetermined number of times during one field period, for example, at the end of the field, the image memory 203 and The respective data are read from the shake correction amount memory 210 and input to the coordinate conversion circuit 204. The coordinate conversion circuit 204 converts the coordinates of the image signal read from the image memory 203 based on the shake correction amount read from the shake correction amount memory 210, that is, changes the position of the cutout area. The image signal whose coordinates have been converted is input to the image composition circuit 205, and the image composition circuit 205 adds and averages all the image signals obtained within a predetermined period, for example, one field period, thereby synthesizing the image. Two captured image data are generated and output in the first cycle via the video output terminal 207.
続いて、上述の各動作が行なわれるタイミングについて、その一例を図4を用いて説明する。先ず、同図に示す各タイミングチャートについて説明しておくと、図中411は同期基準信号で例えばNTSCの垂直同期信号に相当する。415はTG211の駆動信号のうちの代表的なタイミングを示している。また410は撮像素子201の蓄積期間を示したものであり、429に示すHighの部分が蓄積期間であり、さらにLowの期間で蓄積情報の読み出しが行われる。430は撮像素子201より読み出され、カメラ信号前処理回路202にて信号処理を施して形成された画像信号を画像メモリ203に記憶する記憶タイミングを示し、本例では431、432、433等にあたるタイミングで記憶動作が実行される。440は角速度信号から揺れ補正量を演算し、揺れ補正量メモリ210へその値を記憶するタイミングを示し、本例では441、442、443等にあたるタイミングで記憶動作が実行される。450は記憶した画像信号を読み出すとともに、同時期例えば同期タイミングに記憶された揺れ補正量を読み出し、この揺れ補正量に基づいて画像信号の座標変換を行った後、1フィールド期間内で取得したすべての画像を合成して1つの撮像画データを生成するタイミングを示している。本例では451、452、453等にあたるタイミングで読み出し、座標変換及び合成処理が実行される。   Next, an example of the timing at which the above-described operations are performed will be described with reference to FIG. First, each timing chart shown in the figure will be described. In the figure, reference numeral 411 denotes a synchronization reference signal, which corresponds to, for example, an NTSC vertical synchronization signal. Reference numeral 415 indicates a representative timing among the drive signals of the TG 211. Reference numeral 410 denotes an accumulation period of the image sensor 201. A high portion indicated by 429 is an accumulation period, and accumulation information is read out during a low period. Reference numeral 430 indicates a storage timing at which an image signal read out from the image sensor 201 and subjected to signal processing by the camera signal pre-processing circuit 202 is stored in the image memory 203, and corresponds to 431, 432, 433, and the like in this example. The storage operation is executed at the timing. Reference numeral 440 denotes a timing at which the shake correction amount is calculated from the angular velocity signal and the value is stored in the shake correction amount memory 210. In this example, the storage operation is executed at timings corresponding to 441, 442, 443, and the like. 450 reads out the stored image signal, reads out the shake correction amount stored at the same time, for example, the synchronization timing, performs coordinate conversion of the image signal based on this shake correction amount, and then acquires all of them acquired within one field period. The timing at which one image data is generated by combining these images is shown. In this example, reading is performed at a timing corresponding to 451, 452, 453, etc., and coordinate conversion and synthesis processing are executed.
次に時間軸に沿ってその動作を説明する。先ず、同期信号411に示す垂直同期期間412が完了すると、TG211より発生されるTG駆動信号415のタイミングに基づき撮像素子201の蓄積開始、読み出しが行われ、さらにカメラ信号前処理回路202にて画像信号にして画像メモリ203に記憶する。本例のように例えば421に示すタイミングで撮像素子201の蓄積が行われた場合、TG駆動信号415に基づきその蓄積完了とともに読み出し動作が行われ、カメラ信号前処理回路202にて信号処理を行った後に、431に示すタイミングで処理された画像信号を記憶する。さらに、同時期の441に示すタイミングにて、角速度センサ208より得られた角速度信号を揺れ補正量演算回路209で揺れ補正量に変換した後、揺れ補正メモリ210に記憶する。所定回数(本例では4回)の処理が行われた後、同期信号411の同期期間内に451のタイミングにて、記憶した前記画像信号を画像メモリ203から読み出すとともに、同時期に記憶された前記揺れ補正量を揺れ補正量メモリ210から読み出し、この揺れ補正量に基づいて画像信号の座標変換(後述する揺れ補正量に応じた出力画像読み出し)を施し、座標変換終了後1フィールド内の所定枚数の画像例えばすべての画像信号(本例では4つの画像信号)を合成し1枚の撮像画データを生成するタイミングを示している。   Next, the operation will be described along the time axis. First, when the vertical synchronization period 412 indicated by the synchronization signal 411 is completed, accumulation and reading of the image sensor 201 are performed based on the timing of the TG drive signal 415 generated by the TG 211, and the camera signal pre-processing circuit 202 further performs image processing. A signal is stored in the image memory 203. For example, when the image sensor 201 is accumulated at the timing indicated by 421 as in this example, the readout operation is performed upon completion of the accumulation based on the TG drive signal 415, and signal processing is performed by the camera signal preprocessing circuit 202. After that, the image signal processed at the timing indicated by 431 is stored. Further, the angular velocity signal obtained from the angular velocity sensor 208 is converted into a shake correction amount by the shake correction amount calculation circuit 209 at the timing indicated by 441 at the same time, and then stored in the shake correction memory 210. After the predetermined number of times (four times in this example) is processed, the stored image signal is read from the image memory 203 at the timing 451 within the synchronization period of the synchronization signal 411 and stored at the same time. The shake correction amount is read from the shake correction amount memory 210, coordinate conversion of an image signal is performed based on the shake correction amount (output image read out according to a shake correction amount described later), and a predetermined field in one field is obtained after the coordinate conversion is completed. The timing of generating a single image data by combining a number of images, for example, all image signals (four image signals in this example) is shown.
上述のようにフィールド期間中に複数の撮影により得られた画像メモリ203に取り込まれている各画像信号は、1フィールド期間を分割して各々の画像信号を取得した分、つまり撮像枚数に基づいてその蓄積時間が短くなった分において画像信号を蓄積している最中における手ぶれの影響を軽減することができる。具体的には、本例のように1フィールド期間内に4枚の画像を取得することで蓄積時間を1/4づつに区切った場合には、その画像のぶれ量も1/4に軽減されている。しかし、これらの画像をこのまま合成すると、合成された画像は画像間の構図が手ぶれなどによる移動分だけぶれた画像になってしまう。したがって、合成時にこの画像間のずれを補正する必要があり、本例においては以下の詳しく説明するように、画像の座標変換を行うことにより画像間のずれの補正を行なう。なお、本実施形態では1フィールド(1同期期間中:第一の周期)に4回の蓄積(第二の周期)、および読み出し動作が行われるものとして説明しているが、上記回数は少なくとも2回以上であればよく、特に4回に限定されるものではない。さらにまた、各フィールド期間内のすべての画像信号を必ずしも合成しなくともよく、取得した画像データのうち一部を合成するようにしてもよい。   As described above, each image signal captured in the image memory 203 obtained by a plurality of shootings during the field period is obtained by dividing each field period and acquiring each image signal, that is, based on the number of captured images. It is possible to reduce the influence of camera shake during the accumulation of the image signal as the accumulation time is shortened. Specifically, when the accumulation time is divided into ¼ by acquiring four images within one field period as in this example, the blur amount of the image is also reduced to ¼. ing. However, if these images are combined as they are, the combined image becomes an image in which the composition between the images is shifted by the amount of movement due to camera shake or the like. Therefore, it is necessary to correct the shift between the images at the time of synthesis. In this example, as described in detail below, the shift between the images is corrected by performing coordinate conversion of the images. In the present embodiment, it is described that four accumulations (second period) and read operations are performed in one field (during one synchronization period: first period), but the number of times is at least 2. The number of times is not limited to four times, and may be any number. Furthermore, it is not always necessary to combine all the image signals in each field period, and a part of the acquired image data may be combined.
続いて、画像信号の座標変換について図5を用いて説明する。500は画像メモリ203に記憶される画像の全領域を示している。それは画素単位を構成する1個の光電変換素子(撮像素子)を面内に格子状に配列して形成された撮像素子201の全撮像領域(撮像面全体)に対応する画素配列をもち、TG211より発生される電気的な駆動パルスに基づき、読み出した画像を順次記憶する。また、図中502、503で示す領域はビデオ信号として出力する際の切出し枠である。つまり、全撮像領域500がそのままビデオ出力されるというものではなく、この全撮像領域500の領域内から切出し枠502(503)により切り出した領域が撮像画としてビデオ出力される。   Subsequently, coordinate conversion of an image signal will be described with reference to FIG. Reference numeral 500 denotes the entire area of the image stored in the image memory 203. It has a pixel array corresponding to the entire imaging region (entire imaging surface) of the imaging element 201 formed by arranging one photoelectric conversion element (imaging element) constituting a pixel unit in a lattice pattern in the plane, and TG 211 The read images are sequentially stored on the basis of the electric drive pulses generated. Also, areas indicated by 502 and 503 in the figure are cutout frames when output as video signals. That is, the entire imaging area 500 is not output as video as it is, but the area cut out from the area of the entire imaging area 500 by the cutting frame 502 (503) is output as a captured image.
ここで、例えば同図の502に示す切り出し枠でビデオ信号を切り出す場合を一例に挙げて説明すると、TG211からの信号に基づいて画像メモリ203に記憶された画像を読み出す際、まず初めに、「S」で示す画素より矢印505で示す方向に順番にメモリ画の読み出しが行われていく。この読み出しを出力ビデオ信号の同期期間内に合わせてスタートし、当該同期期間終了前に「A」で示される画素の1画素手前まで例えば通常の読み出し速度よりも速い速度で読み出しを行う。そして同期期間終了後の実映像期間において、切出し枠502内にある「A」で示す画素から「F」の画素までの電荷を、例えば通常の読み出し速度でビデオ信号の1ライン分の画像情報として、読み出しが開始される。さらに次の1ラインまでの水平同期期間中に「F」より「G」の手前までの画素を通常の読み出し速度よりも速い速度で読み出し、前記「A」から「F」までの読み出しと同様に「G」からの1ライン分の読み出しを通常の読み出し速度で行う。以上のように読み出しタイミングを制御することにより、画像メモリ203に記憶されている全撮像領域500内から切出し枠802にあたる領域を選択的に抜き出して、撮像画としてビデオ出力することができる。   Here, for example, a case where a video signal is cut out by a cutout frame indicated by 502 in FIG. 5 will be described as an example. When an image stored in the image memory 203 is read based on a signal from the TG 211, first, “ Memory images are sequentially read in the direction indicated by the arrow 505 from the pixel indicated by “S”. This readout is started within the synchronization period of the output video signal, and readout is performed at a speed higher than the normal readout speed, for example, up to one pixel before the pixel indicated by “A” before the end of the synchronization period. Then, in the actual video period after the end of the synchronization period, the charge from the pixel indicated by “A” to the pixel “F” in the cutout frame 502 is used as image information for one line of the video signal at a normal readout speed, for example. Reading is started. Further, during the horizontal synchronization period up to the next one line, pixels from “F” to “G” are read at a speed faster than the normal reading speed, and in the same manner as the reading from “A” to “F”. Reading one line from “G” is performed at a normal reading speed. By controlling the readout timing as described above, it is possible to selectively extract the area corresponding to the cutout frame 802 from the entire imaging area 500 stored in the image memory 203 and output the video as a captured image.
そしてカメラシステムの揺れが生じた場合、例えば矢印504で示す分だけ全撮像領域500内での被写体の移動(=カメラシステムの揺れ)が生じた場合、切出し枠503に示す位置に切出し枠を変更すれば、被写体の移動が伴わない撮像画が得られる。より具体的には、切り出し枠の位置を変更するために、画素の読み出し開始位置を「A」から「B」に移動し、前記切出し枠502の場合と同様に、全撮像領域500から切出し枠503内にある画像を選択的に抜き出してビデオ出力する。このように撮像素子201より読み出された全画素を画像メモリ203に記憶し周辺の一部の撮像領域を実映像期間に現れない同期信号期間中に揺れ補正情報に応じた量だけあらかじめ読み出し、撮像素子201の一部をカメラシステムの揺れ補正量を基に選択的に読み出すことにより、カメラシステムの揺れに伴う画像の揺れを取り除いたビデオ信号を得ることができる。   When the camera system shakes, for example, when the subject moves within the entire imaging area 500 by the amount indicated by the arrow 504 (= camera system shake), the cut frame is changed to the position indicated by the cut frame 503. In this way, a captured image without moving the subject can be obtained. More specifically, the pixel readout start position is moved from “A” to “B” in order to change the position of the cutout frame, and the cutout frame from the entire imaging region 500 is moved as in the case of the cutout frame 502. An image in 503 is selectively extracted and output as video. In this way, all the pixels read out from the image sensor 201 are stored in the image memory 203, and a part of the peripheral imaging area is read in advance in an amount corresponding to the shake correction information during the synchronization signal period that does not appear in the actual video period, By selectively reading a part of the image sensor 201 based on the shake correction amount of the camera system, a video signal from which the shake of the image accompanying the shake of the camera system is removed can be obtained.
これまで述べてきた画像の揺れ補正及び画像合成をより理解し易くするために、図6に模式的に示す画像を用いて更に詳しく説明する。同図において、602a、602b,602c、602dは、第一の周期である1フィールド期間内に均等な間隔で撮影された複数の画像信号(つまり撮像面全体500)を模式的に示したものであり、例えば図4に示す蓄積時間421、422、423、424に602a→602b→602c→602dの順に撮像され、画像メモリ203に記憶されている。なお、同図において、611aは主被写体例えば人物、612a(612b、612c、612d)は動きのある被写体例えば車、613a(613b)は建物、621a(621b)は窓を夫々示し、また矢印630は撮像装置の回転ぶれにより生じている画像の動き方向を示している。つまり、矢印603の方向への手揺れが起きている際に映像信号602a〜602dが取得されたことになる。   In order to make it easier to understand the image shake correction and image synthesis described so far, a more detailed description will be given using the image schematically shown in FIG. In the figure, reference numerals 602a, 602b, 602c, and 602d schematically show a plurality of image signals (that is, the entire imaging surface 500) captured at equal intervals within one field period that is the first period. For example, images are taken in the order of 602 a → 602 b → 602 c → 602 d at the storage times 421, 422, 423, and 424 shown in FIG. 4 and stored in the image memory 203. In the figure, 611a is a main subject such as a person, 612a (612b, 612c, 612d) is a moving subject such as a car, 613a (613b) is a building, 621a (621b) is a window, and an arrow 630 is The movement direction of the image which has arisen by the rotation blur of an imaging device is shown. That is, the video signals 602a to 602d are acquired when the hand shake in the direction of the arrow 603 occurs.
ここで、先に説明した揺れ補正信号を考えると、求められる揺れ補正信号は、カメラシステムの揺れ方向、すなわち矢印630に示される方向で得られる。従って、各画像信号602a(602b,602c,602d)の各々に対応する揺れ補正量に基づいて撮像された画像信号602a(602b,602c、602d)の座標を移動することにより、各画像信号毎にカメラシステムの揺れにより生じた移動量(ぶれ量)が補正されることとなり、これにより各画像信号の揺れ量を補正することができる。即ち、各画像信号603a、603b,603c、603dの破線で示されている各領域を座標の変換を行い同一座標に変換することにより、カメラシステムの揺れによる移動分を相殺する。   Here, considering the shake correction signal described above, the obtained shake correction signal is obtained in the shake direction of the camera system, that is, the direction indicated by the arrow 630. Accordingly, by moving the coordinates of the image signal 602a (602b, 602c, 602d) picked up based on the shake correction amount corresponding to each of the image signals 602a (602b, 602c, 602d), each image signal is changed. The amount of movement (blurring amount) caused by the shaking of the camera system is corrected, whereby the shaking amount of each image signal can be corrected. That is, by converting the coordinates of the regions indicated by the broken lines of the image signals 603a, 603b, 603c, and 603d into the same coordinates, the movement due to the shaking of the camera system is canceled.
そしてさらに、補正後の画像信号603a、603b,603c、603dを重ね合わせて合成することにより、合成画像信号604に示されるフレーム画像(撮像画)を形成する。画像の重ね合わせの具体的な方法としては、画像上の同一座点の輝度及び色データをそれぞれ加算し加算数で除算する方法や、あらかじめ撮像時の光量を前記1フレーム中の蓄積回数分の1に抑制しておき、単純加算を行えばよい。
Further, the corrected image signals 603a, 603b, 603c, and 603d are superimposed and combined to form a frame image (captured image) indicated by the combined image signal 604. As a superposition specific method of image, a method of dividing the same monodentate gauge on the image luminance and chrominance data in addition respectively adding number, accumulated number of times in advance the light amount at the time of imaging of one frame It is sufficient to perform simple addition while suppressing to 1.
このようにして合成された合成画像信号604は、主被写体611および、背景も含め静止しているが、動きのある被写体612は、画像合成回路205による重ね合わせ処理の結果、ぶれた画像(被写体自体の動きに応じた揺らぎのある画像)となる。したがって、手ぶれ等の撮像装置の揺れによる撮像画のぶれを軽減しつつも動きのある被写体の滑らかな描写を再現することが可能となる。即ち、上述の実施形態によれば、カメラシステムにおいて、撮像画を出力する第一の周期よりも短い第二の周期にて複数の画像信号を取得し、各画像信号毎に揺れ補正を行った後に、これら補正後の画像信号の重ね合わせ合成により1枚の撮像画を作成する構成としたことにより、動きのある被写体の滑らかな動きの再現性を損なうことなく、撮像画の揺れ補正を行うことができる。また更に、揺れ補正を行なった後に合成することにより、動きのない被写体例えば建物などの静止物がぶれた画像となることが極めて少ない。   The synthesized image signal 604 synthesized in this way is stationary including the main subject 611 and the background, but the moving subject 612 is a blurred image (subject as a result of the overlay processing by the image synthesis circuit 205. The image has a fluctuation according to the movement of itself. Therefore, it is possible to reproduce a smooth depiction of a moving subject while reducing blurring of a captured image due to shaking of the imaging device such as camera shake. That is, according to the above-described embodiment, in the camera system, a plurality of image signals are acquired in a second period shorter than the first period in which the captured image is output, and shake correction is performed for each image signal. Later, by adopting a configuration in which one captured image is created by superimposing and combining these corrected image signals, shake correction of the captured image is performed without impairing the reproducibility of the smooth motion of the moving subject. be able to. Furthermore, by combining after performing shake correction, it is extremely unlikely that an object with no motion, for example, a stationary object such as a building is blurred.
<第2の実施形態>
本発明の第2の実施形態について説明する。
<Second Embodiment>
A second embodiment of the present invention will be described.
本実施形態は、上記第1の実施形態において画像の揺れ補正量を検出するための角速度センサ208、揺れ補正量演算回路209を用いたのに対し、撮像された各画像の特異点を抽出することにより画像間の動き量を検出することに特徴がある。   In this embodiment, the angular velocity sensor 208 and the shake correction amount calculation circuit 209 for detecting the shake correction amount of the image are used in the first embodiment, but a singular point of each captured image is extracted. Thus, the feature is that the amount of motion between images is detected.
図7は、本実施形態における撮像装置の概略構成を示すブロック図である。同図において、700は特異点変位量演算部としての特異点変位量算出回路であり、詳しくは後述するように、例えば2つの画像間の動き量を画像に含まれる特異点の座標変化により算出するものである。なお、上述の第1の実施形態と同じ構成を採用するところについては、同じ符号を付すことで詳しい説明は省略する。   FIG. 7 is a block diagram illustrating a schematic configuration of the imaging apparatus according to the present embodiment. In the figure, reference numeral 700 denotes a singular point displacement amount calculation circuit as a singular point displacement amount calculation unit. As will be described in detail later, for example, the amount of movement between two images is calculated by the coordinate change of the singular point included in the image. To do. In addition, about the place which employ | adopts the same structure as the above-mentioned 1st Embodiment, detailed description is abbreviate | omitted by attaching | subjecting the same code | symbol.
次に各部の動作を順に説明していくと、レンズ200を介して入射した光束(撮影光)は、撮像素子201上に結像し、電荷(電気信号)に変換されて蓄積される。この撮像素子201に蓄積された電荷はTG211より発生される1フィールド期間(第一の周期)内において複数回発生する所定のタイミング(第二の周期)で読み出され、例えば不図示のA/D変換器によりデジタル信号に変換されてカメラ信号前処理回路202に入力される。そして当該カメラ信号前処理回路202にて、入力されたデジタル画像信号に対して輝度信号や色信号を形成するなどの所定の信号処理を行なうことにより画像信号が形成され、TG211より発生される前記所定のタイミング(第二の周期)にて画像メモリ203に順次記憶される。これにより、1フィールド期間内に撮像素子201より読み出され、さらにカメラ信号前処理回路202にて信号処理されて得た画像信号は、TG211より発生される前記所定のタイミング(第二の周期)に基づき画像メモリ203に複数記憶される。   Next, the operation of each part will be described in order. A light beam (photographing light) incident through the lens 200 forms an image on the image sensor 201, is converted into an electric charge (electric signal), and is accumulated. The electric charge accumulated in the image sensor 201 is read out at a predetermined timing (second period) that is generated a plurality of times within one field period (first period) generated by the TG 211, for example, A / It is converted into a digital signal by the D converter and input to the camera signal preprocessing circuit 202. Then, the camera signal pre-processing circuit 202 performs predetermined signal processing such as forming a luminance signal or a color signal on the input digital image signal to form an image signal, which is generated from the TG 211. The images are sequentially stored in the image memory 203 at a predetermined timing (second period). As a result, the image signal read out from the image sensor 201 within one field period and further processed by the camera signal preprocessing circuit 202 is the predetermined timing (second period) generated by the TG 211. A plurality of images are stored in the image memory 203.
次に、特異点変位量算出回路700による画像のぶれ量の検出について上記図6を参照しながら説明すると、画像メモリ203から読み出された画像信号は特異点変位量算出回路700に入力され、この特異点変位量算出回路700において特異点が抽出される。具体的には、例えば画像信号601a内にある建物613aのうち輝度の高い点である窓621aのエッジをエッジ検出により特異点として取り出し、この特異点と、連続した次の画像信号601bにおける特異点641bとを比較し、この二次元的な位置の差分を補正(座標変換)する。ここでは説明の便宜上、特異点を1点として説明をしているが、実際には特異点は1画像信号内に複数存在させることができ、それらの情報を基に特異点のずれ量の平均演算などにて座標移動量を算出し、座標変換を行なうようにしてもよい。一般的に特異点は多い方が望ましい。何故なら動きのない背景が多く含まれるほど手ぶれによる画像の動きのみを精度良く抽出できるからである。   Next, the detection of the image blur amount by the singular point displacement amount calculation circuit 700 will be described with reference to FIG. 6. The image signal read from the image memory 203 is input to the singular point displacement amount calculation circuit 700. The singular point displacement calculation circuit 700 extracts singular points. Specifically, for example, the edge of the window 621a that is a point with high luminance in the building 613a in the image signal 601a is extracted as a singular point by edge detection, and this singular point and the singular point in the next successive image signal 601b are detected. 641b is compared, and the two-dimensional position difference is corrected (coordinate conversion). Here, for convenience of explanation, the explanation is made with one singular point as one point. However, in practice, a plurality of singular points can exist in one image signal, and the average deviation amount of singular points is based on the information. Coordinate conversion may be performed by calculating a coordinate movement amount by calculation or the like. In general, it is desirable to have more singularities. This is because the more the background with no motion is included, the more accurately the motion of the image due to camera shake can be extracted.
また、上記説明においては、2つの画像フレームの座標変換について説明をしているが、実際には連続した撮影が繰り返されるものであるから、2枚を超える画像信号についても、上記同様の座標変換を繰り返すことにより得られる差分を積み上げることにより、すべての画像信号の座標変換が可能となる。以上のように特徴点抽出を行うことによりぶれによる画像信号の位置補正量、すなわち揺れ補正信号を得ることができる。   In the above description, coordinate conversion of two image frames is described. However, since continuous shooting is actually repeated, coordinate conversion similar to the above is performed for image signals exceeding two images. By accumulating differences obtained by repeating the above, coordinate conversion of all image signals becomes possible. By performing feature point extraction as described above, it is possible to obtain a position correction amount of an image signal due to shaking, that is, a shake correction signal.
しかる後、1フィールド期間内に画像メモリ203への撮像画像の記憶が所定回数分完了した時点で、当該画像メモリ203より画像信号が読み出されて特異点変位量算出回路700に入力される。先に説明したように、特異点変位量算出回路700は連続する画像信号より特異点を抽出し、その座標の差分により揺れ補正量を求める。一方、画像メモリ203より読み出された画像信号は座標変換回路204にも入力され、特異点変位量算出回路700にて算出された揺れ補正量に応じて座標を変換する。これら座標変換された画像は、画像合成回路205に入力され、例えば所定枚数分加算平均され画像合成される。合成されて得た撮像画は、ビデオ出力端子207を介して出力される。以上のように、本実施形態によれば、手ぶれ等のカメラシステムの揺れによる撮像画のぶれを軽減しつつも動きのある被写体の滑らかな描写を再現することが可能となる。   After that, at the time when storage of the captured image in the image memory 203 is completed a predetermined number of times within one field period, an image signal is read from the image memory 203 and input to the singular point displacement amount calculation circuit 700. As described above, the singular point displacement amount calculation circuit 700 extracts singular points from continuous image signals, and obtains a shake correction amount from the difference in coordinates. On the other hand, the image signal read from the image memory 203 is also input to the coordinate conversion circuit 204, and the coordinates are converted according to the shake correction amount calculated by the singular point displacement amount calculation circuit 700. These coordinate-converted images are input to the image composition circuit 205, and for example, a predetermined number of images are added and averaged to compose an image. The captured image obtained by the synthesis is output via the video output terminal 207. As described above, according to the present embodiment, it is possible to reproduce a smooth depiction of a moving subject while reducing blurring of a captured image due to shaking of the camera system such as camera shake.
本発明の第1の実施形態におけるカメラシステムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the camera system in the 1st Embodiment of this invention. 上記カメラシステムの揺れ補正演算回路を説明するための図である。It is a figure for demonstrating the shake correction calculating circuit of the said camera system. 上記揺れ補正演算回路の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the said shake correction calculating circuit. 上記カメラシステムの動作タイミングを示すタイミングチャートである。It is a timing chart which shows the operation timing of the said camera system. 上記カメラシステムの揺れ補正時の画像及び合成された画像を模式的に示す図である。It is a figure which shows typically the image at the time of the shake correction of the said camera system, and the synthesized image. 揺れ補正時の画像切り出しを説明する図である。It is a figure explaining the image clipping at the time of shake correction. 本発明の第2の実施形態におけるカメラシステムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the camera system in the 2nd Embodiment of this invention. 電子式揺れ補正の概略を説明するための図である。It is a figure for demonstrating the outline of an electronic shake correction. 従来のカメラシステムの構成を示す図である。It is a figure which shows the structure of the conventional camera system.
符号の説明Explanation of symbols
200 レンズ
201 撮像素子
203 画像メモリ
204 座標変換回路
205 画像合成回路
208 角速度センサ
209 揺れ補正量演算回路
210 揺れ補正量メモリ
211 タイミングジェネレータ
700 特異点変位量算出回路
DESCRIPTION OF SYMBOLS 200 Lens 201 Image pick-up element 203 Image memory 204 Coordinate conversion circuit 205 Image composition circuit 208 Angular velocity sensor 209 Shake correction amount calculation circuit 210 Shake correction amount memory 211 Timing generator 700 Singular point displacement amount calculation circuit

Claims (3)

  1. 1垂直同期期間に複数の画像を出力する撮像素子と、
    前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれを取得するごとに角速度を検出する角速度センサと、
    前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記角速度に基づいて揺れ補正量を算出する揺れ補正量演算手段と、
    前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記揺れ補正量を記憶する記憶部と、
    前記記憶部に記憶された前記揺れ補正量に基づいて前記複数の画像の座標を変換して画像合成を行うことで、前記1垂直同期期間あたり1枚の合成画像を生成する合成手段を有することを特徴とする動画撮像装置。
    An image sensor that outputs a plurality of images in one vertical synchronization period ;
    An angular velocity sensor that detects an angular velocity every time each of the plurality of images output from the image sensor in the one vertical synchronization period is acquired;
    A shake correction amount calculating means for calculating a shake correction amount based on the angular velocity corresponding to each of the plurality of images output from the image sensor during the one vertical synchronization period;
    A storage unit that stores the shake correction amount corresponding to each of the plurality of images output from the image sensor in the one vertical synchronization period;
    Combining means for generating one composite image per one vertical synchronization period by performing image composition by converting the coordinates of the plurality of images based on the shake correction amount stored in the storage unit. A video imaging apparatus characterized by the above.
  2. 前記1垂直同期期間に撮像する画像の数に基づいて、前記撮像素子の画像蓄積時間を決定することを特徴とする請求項1記載の動画撮像装置。 The moving image capturing apparatus according to claim 1 , wherein an image accumulation time of the image sensor is determined based on the number of images captured in the one vertical synchronization period .
  3. 1垂直同期期間に複数の画像を出力する撮像工程と、
    前記1垂直同期期間に撮像素子から出力される前記複数の画像のそれぞれを取得するごとに角速度を検出する角速度検出工程と、
    前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記角速度に基づいて揺れ補正量を算出する揺れ補正量演算工程と、
    前記1垂直同期期間に前記撮像素子から出力される前記複数の画像のそれぞれに対応した前記揺れ補正量を記憶する記憶工程と、
    前記記憶工程で記憶された前記揺れ補正量に基づいて前記複数の画像の座標を変換して画像合成を行うことで、前記1垂直同期期間あたり1枚の合成画像を生成する合成工程と、を含むことを特徴とする動画撮像方法。
    An imaging step of outputting a plurality of images in one vertical synchronization period ;
    An angular velocity detection step of detecting an angular velocity every time each of the plurality of images output from the image sensor in the one vertical synchronization period is acquired;
    A shake correction amount calculating step of calculating a shake correction amount based on the angular velocity corresponding to each of the plurality of images output from the image sensor during the one vertical synchronization period;
    A storage step of storing the shake correction amount corresponding to each of the plurality of images output from the image sensor during the one vertical synchronization period;
    A synthesis step of generating one composite image per vertical synchronization period by converting the coordinates of the plurality of images based on the shake correction amount stored in the storage step and performing image synthesis; A moving image capturing method comprising:
JP2004363393A 2004-11-26 2004-12-15 Moving picture imaging apparatus and moving picture imaging method Active JP4401949B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004341815 2004-11-26
JP2004363393A JP4401949B2 (en) 2004-11-26 2004-12-15 Moving picture imaging apparatus and moving picture imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004363393A JP4401949B2 (en) 2004-11-26 2004-12-15 Moving picture imaging apparatus and moving picture imaging method
US11/286,016 US20060132612A1 (en) 2004-11-26 2005-11-22 Motion picture taking apparatus and method

Publications (2)

Publication Number Publication Date
JP2006179966A JP2006179966A (en) 2006-07-06
JP4401949B2 true JP4401949B2 (en) 2010-01-20

Family

ID=36595157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004363393A Active JP4401949B2 (en) 2004-11-26 2004-12-15 Moving picture imaging apparatus and moving picture imaging method

Country Status (2)

Country Link
US (1) US20060132612A1 (en)
JP (1) JP4401949B2 (en)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4699995B2 (en) * 2004-12-16 2011-06-15 パナソニック株式会社 Compound eye imaging apparatus and imaging method
JP2007306524A (en) * 2006-05-15 2007-11-22 Nec Electronics Corp Mobile device with camera, method for assisting photographing
JP4671430B2 (en) * 2006-06-02 2011-04-20 キヤノン株式会社 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM
US8169495B2 (en) * 2006-12-01 2012-05-01 Broadcom Corporation Method and apparatus for dynamic panoramic capturing
JP4315204B2 (en) * 2007-02-21 2009-08-19 ソニー株式会社 Vibration detection device, imaging device, and vibration detection method
JP4692620B2 (en) * 2008-12-11 2011-06-01 ソニー株式会社 Shake correction apparatus, shake correction method, and imaging apparatus
JP5230398B2 (en) * 2008-12-19 2013-07-10 キヤノン株式会社 Imaging apparatus and control method thereof
US8111300B2 (en) * 2009-04-22 2012-02-07 Qualcomm Incorporated System and method to selectively combine video frame image data
JP5412953B2 (en) * 2009-05-20 2014-02-12 リコーイメージング株式会社 Imaging device
JP5315151B2 (en) * 2009-07-15 2013-10-16 キヤノン株式会社 Optical apparatus, imaging apparatus including the same, and shake correction method
CN101998095A (en) * 2009-08-21 2011-03-30 三洋电机株式会社 Image processing apparatus
JP2011066877A (en) * 2009-08-21 2011-03-31 Sanyo Electric Co Ltd Image processing apparatus
JP2011119930A (en) 2009-12-02 2011-06-16 Seiko Epson Corp Imaging apparatus, imaging method, and imaging program
US20120281126A1 (en) * 2011-04-11 2012-11-08 Fossum Eric R Digital integration sensor
JP5748579B2 (en) * 2011-06-30 2015-07-15 キヤノン株式会社 Image composition device, imaging device, control method thereof, and control program
KR101843450B1 (en) * 2011-08-23 2018-03-29 엘지전자 주식회사 Mobile terminal and method for controlling of the same
US9300871B2 (en) 2012-06-08 2016-03-29 Apple Inc. Stationary camera detection and virtual tripod transition for video stabilization
JP6104060B2 (en) * 2013-06-06 2017-03-29 オリンパス株式会社 Imaging apparatus and imaging method
JP6494202B2 (en) * 2013-08-07 2019-04-03 キヤノン株式会社 Image shake correction apparatus, control method thereof, and imaging apparatus
US9426365B2 (en) * 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
JP6465560B2 (en) * 2014-04-16 2019-02-06 キヤノン株式会社 Image blur correction apparatus, control method therefor, program, and storage medium
JP2016082420A (en) * 2014-10-17 2016-05-16 キヤノン株式会社 Imaging system
CN104869287A (en) * 2015-05-18 2015-08-26 成都平行视野科技有限公司 Video shooting noise reduction method based on mobile apparatus GPU and angular velocity sensor
KR20180117597A (en) * 2016-03-03 2018-10-29 소니 주식회사 Image processing apparatus, image processing method, computer program and electronic apparatus

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5012270A (en) * 1988-03-10 1991-04-30 Canon Kabushiki Kaisha Image shake detecting device
JPH05145832A (en) * 1991-11-20 1993-06-11 Sony Corp Image pickup device
US5835138A (en) * 1995-08-30 1998-11-10 Sony Corporation Image signal processing apparatus and recording/reproducing apparatus
US6473120B2 (en) * 1996-08-13 2002-10-29 Canon Kabushiki Kaisha Image pickup apparatus for applying predetermined signal processing in conjunction with an image shifting mechanism
US7379094B2 (en) * 2002-04-18 2008-05-27 Olympus Corporation Electronic still imaging apparatus and method having function for acquiring synthesis image having wide-dynamic range

Also Published As

Publication number Publication date
US20060132612A1 (en) 2006-06-22
JP2006179966A (en) 2006-07-06

Similar Documents

Publication Publication Date Title
US9973676B2 (en) Interchangeable lens digital camera
US7995852B2 (en) Imaging device and imaging method
CN104065868B (en) Image capture apparatus and control method thereof
US8466969B2 (en) Imaging apparatus and shake correcting method
JP5519077B2 (en) Imaging device
JP4717748B2 (en) Camera body and camera system having the same
JP4378272B2 (en) Imaging device
JP5111088B2 (en) Imaging apparatus and image reproduction apparatus
KR101342477B1 (en) Imaging apparatus and imaging method for taking moving image
US7664293B2 (en) Image sensing apparatus and control method thereof
US7962024B2 (en) Blur correcting device, blur correcting method, and image pickup apparatus
US8704900B2 (en) Imaging apparatus and imaging method
US7796872B2 (en) Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
US8823861B2 (en) Imaging apparatus, image display apparatus, imaging method, method of displaying image and method of correcting position of focusing-area frame
JP3745067B2 (en) Imaging apparatus and control method thereof
KR101303410B1 (en) Image capture apparatus and image capturing method
JP4022595B2 (en) Imaging device
US8212895B2 (en) Digital camera system with portrait effect
US8711230B2 (en) Image capture apparatus and program
JP5163676B2 (en) Imaging apparatus, imaging method, and program
JP5005570B2 (en) Image processing apparatus and program
JP5040959B2 (en) Imaging device
US8564674B2 (en) Image pickup apparatus equipped with function of detecting image shaking
JP5328307B2 (en) Image capturing apparatus having shake correction function and control method thereof
US8736691B2 (en) Image pickup apparatus to control an exposure time based on motion of a detected optical image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071212

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20081010

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20081201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091013

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091028

R150 Certificate of patent or registration of utility model

Ref document number: 4401949

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131106

Year of fee payment: 4