JPH10164425A - Image motion correction device - Google Patents
Image motion correction deviceInfo
- Publication number
- JPH10164425A JPH10164425A JP8314604A JP31460496A JPH10164425A JP H10164425 A JPH10164425 A JP H10164425A JP 8314604 A JP8314604 A JP 8314604A JP 31460496 A JP31460496 A JP 31460496A JP H10164425 A JPH10164425 A JP H10164425A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion
- signal
- focal length
- motion detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、撮像装置の手振れ
補正等に用いる画像動き補正装置に関するものである。[0001] 1. Field of the Invention [0002] The present invention relates to an image motion compensator used for correcting camera shake of an image pickup apparatus.
【０００２】[0002]
【従来の技術】撮像装置の画像動き補正装置としては、
例えば、次の〜のものが提案されている。2. Description of the Related Art As an image motion compensating device of an imaging device,
For example, the following items have been proposed.
【０００３】 ジンバル機構により撮像光学系および
固体撮像素子を備えた撮像ユニットを支持し、これを角
速度センサから得られる撮像装置自体の動き情報に基づ
き駆動制御することで、画像の動きを補正する方式（た
とえば、”ビデオカメラの画振れ防止技術の開発”テレ
ビジョン学会技術報告Vol.11,No.28,pp19〜24（1987）
参照）。A method of supporting an imaging unit having an imaging optical system and a solid-state imaging device by a gimbal mechanism and controlling the drive of the imaging unit based on motion information of the imaging device itself obtained from an angular velocity sensor, thereby correcting a motion of an image. (For example, "Development of image blur prevention technology for video cameras" Technical Report of the Institute of Television Engineers of Japan, Vol. 11, No. 28, pp. 19-24 (1987)
reference).
【０００４】 撮像光学系の前部に可変頂角プリズム
を設け、これを同じく角速度センサからの情報により駆
動制御することで、画像の動きを補正する方式（たとえ
ば、”光学式手振れ補正システム”テレビジョン学会技
術報告Vol.17,No.5,pp15〜20（1993）参照）。A method of correcting a motion of an image by providing a variable apex angle prism in front of an imaging optical system and controlling the drive of the same based on information from an angular velocity sensor (for example, an “optical image stabilization system” TV) See John Society Technical Report Vol. 17, No. 5, pp. 15-20 (1993)).
【０００５】 被写体を撮像して得られる画像信号か
ら画像の動きの有無を検出し、この検出結果に基づいて
元の画像からその一部を切り出すことで画像の動きを補
正する方式（たとえば、”純電子式画像揺れ補正システ
ム”テレビジョン学会技術報告Vol.15,No.7,pp43〜48
（1991）参照）。A method of detecting the presence or absence of image movement from an image signal obtained by capturing an image of a subject and cutting out a part of the original image based on the detection result to correct the image movement (eg, “ Pure electronic image stabilization system "Technical Report of the Institute of Television Engineers of Japan Vol.15, No.7, pp43-48
(1991)).
【０００６】[0006]
【発明が解決しようとする課題】上記の，の方式の
ものは、角速度センサからの情報に基づいて光学的に画
像の動きを補正するが、このような方式では、角速度セ
ンサの感度、温度特性による出力ドリフト等の問題か
ら、高精度な動き補正を実現することは困難である。In the above-mentioned method, the movement of an image is optically corrected based on information from the angular velocity sensor. In such a method, the sensitivity and temperature characteristics of the angular velocity sensor are corrected. It is difficult to realize highly accurate motion compensation due to problems such as output drift due to the above.
【０００７】また、の方式では、動き補正を全て信号
処理で行うため、高精度な動き補正を実現することがで
きるものの、その反面、撮影レンズの焦点距離が大きく
なればなるほど、動き補正が可能となる画角が小さくな
るという問題点がある。In the method of (1), since all of the motion correction is performed by signal processing, high-precision motion correction can be realized. On the other hand, however, the larger the focal length of the photographing lens, the more the motion correction becomes possible. The angle of view becomes small.
【０００８】本発明は、上記従来の問題点を解決するも
のであって、焦点距離に影響されることなく、動き補正
が可能となる一定の画角を常に確保でき、しかも高精度
な動き補正を実現できる画像動き補正装置を提供するこ
とを課題とする。SUMMARY OF THE INVENTION The present invention solves the above-mentioned conventional problems, and can always secure a constant angle of view enabling motion correction without being affected by the focal length, and achieve high-precision motion correction. It is an object of the present invention to provide an image motion compensating device that can realize the above.
【０００９】[0009]
【課題を解決するための手段】本発明は、この課題を解
決するために、固体撮像素子、この固体撮像素子上に被
写体像を結像させるための撮像光学系、および光学的に
撮影画像の動きを補正する光学的振れ補正系からなる撮
像系と、前記光学的振れ補正系を駆動制御する光学的振
れ補正系駆動制御手段とを具備した画像動き補正装置に
おいて、次の構成を採用している。SUMMARY OF THE INVENTION In order to solve this problem, the present invention provides a solid-state imaging device, an imaging optical system for forming a subject image on the solid-state imaging device, and an optically captured image. The following configuration is adopted in an image motion correction apparatus including an imaging system including an optical shake correction system for correcting motion, and an optical shake correction system drive control unit for driving and controlling the optical shake correction system. I have.
【００１０】請求項１記載に係る発明では、撮像装置自
体の動きを検出するセンサと前記撮像系から得られた画
像信号に基づいて画像の動きを検出する動き検出手段と
が併設されるとともに、前記センサと前記動き検出手段
による動き検出結果の双方の信号に基づいて駆動信号を
形成する信号合成手段を備え、この信号合成手段から出
力される駆動信号によって、前記光学的振れ補正系を駆
動制御して画像の動きを補正するようにしている。これ
により、高精度な動き補正を実現することができる。In the invention according to the first aspect, a sensor for detecting the movement of the image pickup apparatus itself and a movement detecting means for detecting the movement of the image based on the image signal obtained from the image pickup system are provided in parallel. Signal synthesizing means for forming a drive signal based on both signals of the sensor and the motion detection result by the motion detecting means, and driving control of the optical shake correction system by the drive signal output from the signal synthesizing means To correct the motion of the image. As a result, highly accurate motion correction can be realized.
【００１１】請求項２記載に係る発明では、請求項１記
載の構成において、前記信号合成手段は、センサにより
検出された撮像装置自体の動きに関する情報と、動き検
出手段による動き検出結果のそれぞれを、所定の乗数
α，１−α（ただし、０≦α≦１）でもって重み付けし
て信号を合成するものである。In the invention according to a second aspect, in the configuration according to the first aspect, the signal synthesizing unit is configured to output information on a motion of the imaging device itself detected by the sensor and a motion detection result by the motion detecting unit. , A predetermined multiplier α, 1−α (where 0 ≦ α ≦ 1) to combine the signals.
【００１２】この場合の信号合成手段による合成処理と
しては、所定の乗数α，１−αで重み付けされた両信号
を加算することができる。また、乗数αは、撮像装置自
体の振動周波数帯域と撮像光学系の焦点距離とのいずれ
か一方、または双方の情報に基づいて決定することもで
きる。これにより、焦点距離にかかわらず、一定の補正
画角を確保しつつ、高精度な動き補正を実現することが
できる。さらに、乗数αは、撮像装置自体の振動の高周
波帯域成分と低周波帯域成分との比率、または両成分の
差に応じて決定することができる。さらにまた、撮像装
置自体の振動の周波数帯域成分は、センサ出力または動
き検出手段の出力から抽出することができる。In this case, as the synthesizing process by the signal synthesizing means, both signals weighted by predetermined multipliers α and 1−α can be added. The multiplier α can also be determined based on information on one or both of the vibration frequency band of the imaging apparatus itself and the focal length of the imaging optical system. This makes it possible to realize high-precision motion correction while securing a fixed correction angle of view regardless of the focal length. Further, the multiplier α can be determined according to the ratio between the high frequency band component and the low frequency band component of the vibration of the imaging device itself, or the difference between the two components. Furthermore, the frequency band component of the vibration of the imaging device itself can be extracted from the output of the sensor or the output of the motion detecting means.
【００１３】請求項７記載に係る発明では、請求項１記
載の構成に加えて、撮像系から得られた画像信号を記憶
する記憶手段と、この記憶手段を駆動して画像信号の読
み出しを制御する記憶手段駆動制御手段とを設け、前記
合成手段から出力される駆動信号によって前記光学的振
れ補正系を駆動制御し、かつ、前記記憶手段駆動制御手
段は、前記動き検出手段による動き検出結果に基づいて
算出された別の駆動信号によって前記記憶手段からの画
像信号の読み出しを制御して画像の動きを補正するもの
である。これにより、焦点距離にかかわらず、一定の補
正画角を確保しつつ、高精度な動き補正を実現すること
ができる。According to a seventh aspect of the present invention, in addition to the configuration of the first aspect, storage means for storing an image signal obtained from the image pickup system, and driving of the storage means to control reading of the image signal. Storage means drive control means for controlling the optical shake correction system by a drive signal output from the synthesizing means, and the storage means drive control means adjusts the motion detection result by the motion detection means. The reading of the image signal from the storage means is controlled by another drive signal calculated based on the above, and the movement of the image is corrected. This makes it possible to realize high-precision motion correction while securing a fixed correction angle of view regardless of the focal length.
【００１４】請求項８記載に係る発明では、請求項７記
載の構成に加えて、前記記憶手段から読み出された画像
信号に対し電子的拡大処理を施す電子ズ−ム手段を設
け、前記合成手段から出力される駆動信号によって前記
光学的振れ補正系を駆動制御し、かつ、前記記憶手段駆
動制御手段は、前記電子ズ−ム手段からの指令によって
電子的拡大処理を実行する場合のみ、前記動き検出手段
による動き検出結果に基づいて算出された別の駆動信号
によって前記記憶手段からの画像信号の読み出しを制御
して画像の動きを補正するものである。これにより、焦
点距離にかかわらず、一定の補正画角を確保しつつ、か
つ撮影者の動き補正による解像度の劣化を認識させるこ
となく、高精度な動き補正を実現することができる。According to an eighth aspect of the present invention, in addition to the configuration of the seventh aspect, there is provided an electronic zoom means for performing an electronic enlargement process on the image signal read from the storage means, and The optical shake correction system is driven and controlled by a drive signal output from the means, and the storage means drive control means only executes the electronic enlargement processing in accordance with a command from the electronic zoom means. The reading of the image signal from the storage unit is controlled by another drive signal calculated based on the result of the motion detection by the motion detection unit, and the motion of the image is corrected. Thus, high-precision motion correction can be realized while securing a fixed correction angle of view and irrespective of the degradation of resolution due to the motion correction of the photographer, regardless of the focal length.
【００１５】請求項９記載に係る発明では、請求項１記
載の構成において、前記撮像光学系は、焦点距離が調整
可能に構成されており、また、前記信号合成手段は、前
記撮像光学系によって焦点距離が変化している期間中に
動き検出手段の検出結果に基づいて得られる駆動信号の
出力を停止する手段を有しており、 前記撮像光学系に
よって焦点距離が変化している期間中は、前記センサに
より検出された撮像装置自体の動きに関する情報から形
成される駆動信号のみによりまた、焦点距離が固定され
ている期間では、前記センサと前記動き検出手段による
動き検出結果の双方の信号に基づいて形成される駆動信
号により、それぞれ前記光学的振れ補正系を駆動制御し
て画像の動きを補正するものである。これにより、焦点
距離にかかわらず、一定の補正画角を確保しつつ、かつ
焦点距離が変化している途中でも誤動作がなく、高精度
な動き補正を実現することができる。According to a ninth aspect of the present invention, in the configuration of the first aspect, the imaging optical system is configured to be capable of adjusting a focal length, and the signal synthesizing means is controlled by the imaging optical system. It has means for stopping the output of the drive signal obtained based on the detection result of the motion detecting means during the period when the focal length is changing, and during the period when the focal length is changing by the imaging optical system, In addition, only during the period in which the focal length is fixed, the signal of both the sensor and the motion detection result by the motion detection means is used only by the drive signal formed from the information on the motion of the imaging device itself detected by the sensor. In accordance with a drive signal formed on the basis of this, the optical shake correction system is drive-controlled to correct the motion of the image. Thus, it is possible to realize high-precision motion correction while ensuring a fixed correction angle of view regardless of the focal length, and without malfunction even while the focal length is changing.
【００１６】請求項１０記載に係る発明では、請求項７
記載の構成において、前記撮像光学系は、焦点距離が調
整可能に構成されており、また、前記信号合成手段は、
前記撮像光学系によって焦点距離が変化している期間中
に動き検出手段による検出結果に基づく駆動信号、なら
びにこの動き検出手段による動き検出結果に基づいて算
出された別の駆動信号の双方を停止する手段を有してお
り、撮像光学系によって焦点距離が変化している期間中
は、前記センサにより検出された撮像装置自体の動きに
関する情報から形成される駆動信号のみによりまた、焦
点距離が固定されている期間では、前記センサと前記動
き検出手段による動き検出結果の双方の信号に基づいて
形成される駆動信号前記光学的振れ補正系を駆動制御
し、かつ、前記動き検出手段による動き検出結果に基づ
いて算出された別の駆動信号によって前記記憶手段から
の画像信号の読み出しを制御して、画像の動きを補正す
るものである。これにより、焦点距離にかかわらず、一
定の補正画角を確保しつつ、かつ焦点距離が変化してい
る途中でも誤動作がなく、高精度な動き補正を実現する
ことができる。In the invention according to claim 10, claim 7 is
In the configuration described, the imaging optical system is configured such that a focal length is adjustable, and the signal synthesizing unit includes:
While the focal length is being changed by the imaging optical system, both the drive signal based on the detection result by the motion detection unit and another drive signal calculated based on the motion detection result by the motion detection unit are stopped. During the period when the focal length is changed by the imaging optical system, the focal length is also fixed only by the drive signal formed from the information on the movement of the imaging device itself detected by the sensor. In the period, the driving signal formed based on both the signal of the sensor and the result of the motion detection by the motion detection means drives and controls the optical shake correction system, and the motion detection result by the motion detection means The reading of the image signal from the storage means is controlled by another driving signal calculated based on the driving signal, and the movement of the image is corrected. Thus, it is possible to realize high-precision motion correction while ensuring a fixed correction angle of view regardless of the focal length, and without malfunction even while the focal length is changing.
【００１７】[0017]
(実施形態１)図１は、本発明の実施形態１に係る画像動
き補正装置を示すブロック図である。(Embodiment 1) FIG. 1 is a block diagram showing an image motion correcting apparatus according to Embodiment 1 of the present invention.
【００１８】同図において、光学的振れ補正系１は、撮
像装置の揺れにより生じる画像の動きを光学的に補正す
るための手段であって、ここでは、一例として可変頂角
プリズム(以下”ＶＡＰ”と略記する)が適用される。な
お、ＶＡＰ１に関しては、例えば特開平２ー１３９０１
号に詳細が開示されているため、その詳細な説明は省略
する。In FIG. 1, an optical shake correction system 1 is a means for optically correcting the movement of an image caused by the shake of an image pickup apparatus. In this example, a variable apex prism (hereinafter referred to as "VAP") is used. "Abbreviated as"). Note that VAP1 is described in, for example, Japanese Patent Laid-Open No. 2-139001.
Since the details are disclosed in the issue, the detailed description is omitted.
【００１９】光学的振れ補正系駆動制御手段２は、ＶＡ
Ｐ１を駆動および制御するための手段である。また、角
度検出手段３は、ＶＡＰ１の平行平面板の実際の回転角
を検出して出力する手段であり、光学的振れ補正系駆動
制御手段２と共にＶＡＰ１を駆動制御するための帰還制
御ル−プを構成している。The optical shake correction system drive control means 2 includes a VA
This is a means for driving and controlling P1. The angle detecting means 3 is a means for detecting and outputting the actual rotation angle of the plane parallel plate of the VAP 1, and a feedback control loop for driving and controlling the VAP 1 together with the optical shake correction system driving control means 2. Is composed.
【００２０】撮像光学系４は、光学的ズ−ム動作、合焦
動作するレンズ系からなり、また、撮像光学系駆動制御
手段５は、撮像光学系４を駆動制御して光学的ズ−ム動
作、合焦動作を行わせる手段であって、撮像光学系４の
焦点距離に関する情報を後述するシステム制御手段１６
1に出力するようになっている。The imaging optical system 4 comprises a lens system which performs an optical zoom operation and a focusing operation, and an imaging optical system drive control means 5 controls the driving of the imaging optical system 4 to perform an optical zoom. A system control unit 16 for performing an operation and a focusing operation, and stores information on the focal length of the imaging optical system 4 as described later.
Output to 1
【００２１】固体撮像素子６は、ＶＡＰ１および撮像光
学系４を介して入射する映像を電気信号に変換するもの
であり、この素子６は、固体撮像素子駆動制御手段１７
によって駆動および制御されるようになっている。The solid-state image sensor 6 converts an image incident through the VAP 1 and the image pickup optical system 4 into an electric signal.
Driven and controlled by the
【００２２】アナログ信号処理手段７は、固体撮像素子
６により得られた画像信号に対してガンマ補正等のアナ
ログ信号処理を施すための手段である。Ａ／Ｄ変換手段
８は、アナログ信号をデジタル信号に変換するものであ
り、デジタル信号処理手段９は、Ａ／Ｄ変換手段８によ
ってデジタル信号に変換された画像信号に対してノイズ
除去、輪郭強調等のデジタル信号処理を施すものであ
る。The analog signal processing means 7 is means for performing analog signal processing such as gamma correction on an image signal obtained by the solid-state image sensor 6. The A / D converter 8 converts an analog signal into a digital signal. The digital signal processor 9 removes noise and enhances the contour of the image signal converted into a digital signal by the A / D converter 8. And so on.
【００２３】Ａ／Ｄ変換手段８によりデジタル信号に変
換された画像信号は、同時に動き検出手段１０にも送ら
れ、ここでフィ−ルド間の画像の水平・垂直方向の位置
ずれ量を示すベクトル(以下、これを検出ベクトルと称
す)がフィ−ルド毎に検出される。The image signal converted into a digital signal by the A / D conversion means 8 is also sent to the motion detection means 10 at the same time, where a vector indicating the amount of horizontal / vertical displacement of the image between the fields. (Hereinafter referred to as a detection vector) is detected for each field.
【００２４】センサ１１は、撮像装置自体の動きを検出
するためのものであって、この実施形態１では、一例と
して角速度を検出する角速度センサが適用される。The sensor 11 is for detecting the movement of the image pickup apparatus itself. In the first embodiment, an angular velocity sensor for detecting an angular velocity is applied as an example.
【００２５】角速度センサ１１は、ヨ−およびピッチの
２方向の動きを検出するために２個必要となるが、図に
は１方向分のみを示している。Although two angular velocity sensors 11 are required to detect movement in two directions of yaw and pitch, only one angular velocity sensor 11 is shown in the figure.
【００２６】ゲイン調整手段１２は、角速度センサ１１
の出力の信号レベルの調整を行うもので、たとえばアン
プ回路からなる。ＨＰＦ１３は、角速度センサ１１の出
力に含まれるドリフト成分を除去するための高域通過フ
ィルタ、ＬＰＦ１４は、角速度センサ１１の出力に含ま
れるノイズ成分を除去するための低域通過フィルタであ
り、Ａ／Ｄ変換手段１５は、角速度センサ１１の出力を
デジタル信号に変換するための手段である。The gain adjusting means 12 includes an angular velocity sensor 11
And adjusts the signal level of the output signal, and comprises, for example, an amplifier circuit. The HPF 13 is a high-pass filter for removing a drift component included in the output of the angular velocity sensor 11, and the LPF 14 is a low-pass filter for removing a noise component included in the output of the angular velocity sensor 11. The D conversion means 15 is a means for converting the output of the angular velocity sensor 11 into a digital signal.
【００２７】システム制御手段１６aは、特許請求の範
囲における合成手段に相当するもので、動き検出手段１
１、撮像光学系駆動制御手段５および角速度センサ１１
からそれぞれ得られた各情報に基づいて画像の動き補正
のために必要な情報(以下、動き補正信号と称する)を算
出し、これを光学的振れ補正系駆動制御手段２に送る。
光学的振れ補正系駆動制御手段２は、その動き補正信号
に基づいてＶＡＰ１を駆動制御する。The system control means 16a corresponds to the synthesizing means in the claims.
1. imaging optical system drive control means 5 and angular velocity sensor 11
The information required for motion compensation of an image (hereinafter, referred to as a motion compensation signal) is calculated based on each information obtained from the above, and is sent to the optical shake compensation system drive control means 2.
The optical shake correction system drive control means 2 drives and controls the VAP 1 based on the motion correction signal.
【００２８】図２は動き検出手段１０の内部構成の一例
を示すブロック図である。FIG. 2 is a block diagram showing an example of the internal configuration of the motion detecting means 10.
【００２９】この動き検出手段１０は、代表点記憶回路
１０１、相関演算回路１０２、および動きベクトル検出
回路１０３からなる。The motion detecting means 10 comprises a representative point storage circuit 101, a correlation operation circuit 102, and a motion vector detection circuit 103.
【００３０】代表点記憶回路１０１は、Ａ／Ｄ変換手段
８を経て入力されてくる現フィールドの画像信号を複数
の領域に分割し、各領域に含まれる特定の代表点に対応
する画像信号を代表点信号として記憶するとともに、既
に記憶されている現フィールドより１フィールド前の代
表点信号を読み出して相関演算回路１０２に与えるよう
になっている。The representative point storage circuit 101 divides the image signal of the current field input through the A / D converter 8 into a plurality of areas, and converts the image signal corresponding to a specific representative point included in each area. The representative point signal is stored as a representative point signal, and a representative point signal one field before the current field that has already been stored is read out and supplied to the correlation operation circuit 102.
【００３１】相関演算回路１０２は、前代表点信号と現
フィールドの画像信号間の相関演算を行い、前代表点信
号と現フィールドの画像信号の差を比較するものであっ
て、その出力は動きベクトル検出回路１０３に与えられ
る。The correlation operation circuit 102 performs a correlation operation between the previous representative point signal and the current field image signal, and compares the difference between the previous representative point signal and the current field image signal. This is supplied to the vector detection circuit 103.
【００３２】動きベクトル検出回路１０３は、相関演算
回路１０２における演算結果から、前フィールドと現フ
ィールドの間の画像の動きベクトル(検出ベクトル)を１
画素単位で検出する。The motion vector detection circuit 103 calculates the motion vector (detection vector) of the image between the previous field and the current field from the calculation result of the correlation calculation circuit 102 by one.
Detection is performed in pixel units.
【００３３】したがって、この構成においては、画像の
１フィ−ルド前後間でのマッチングをとるために、検出
ベクトルを得るために１フィ−ルド期間の時間遅れが生
じることになる。Therefore, in this configuration, in order to perform matching before and after one field of the image, a time delay of one field period occurs in order to obtain a detection vector.
【００３４】図３はシステム制御手段１６aの内部構成
の一例を示すブロック図である。FIG. 3 is a block diagram showing an example of the internal configuration of the system control means 16a.
【００３５】第１ゲイン／位相補償手段１６１は、動き
検出手段１０で得られる検出ベクトルに対して、そのゲ
インおよび位相を調整するものである。The first gain / phase compensating means 161 adjusts the gain and phase of the detection vector obtained by the motion detecting means 10.
【００３６】また、変換手段１６２は、第１ゲイン／位
相補償手段１６１で調整された後の検出ベクトルを、撮
像光学系駆動制御手段５から得られる撮像光学系４の焦
点距離の情報に基づいて、単位時間当りの移動角度(角
速度)に変換するものである。この場合の単位時間と
は、例えば角速度センサ１１の出力をサンプリングする
際の１周期に設定することができる。The conversion means 162 converts the detection vector adjusted by the first gain / phase compensation means 161 based on information on the focal length of the imaging optical system 4 obtained from the imaging optical system drive control means 5. Is converted into a movement angle (angular velocity) per unit time. The unit time in this case can be set to one cycle when sampling the output of the angular velocity sensor 11, for example.
【００３７】第２ゲイン／位相補償手段１６３は、第１
ゲイン位相補償手段１６１と同様に、Ａ／Ｄ変換手段１
５を経て得られた角速度センサ１１の検出出力に対して
そのゲインおよび位相を調整する。The second gain / phase compensation means 163
Similar to the gain / phase compensator 161, the A / D converter 1
The gain and phase of the angular velocity sensor 11 obtained through step 5 are adjusted.
【００３８】第１帯域抽出手段１６４は、変換手段１６
２を経て得られた角速度の信号の内、一部の帯域成分
(ここでは動き補正に好適な低周波成分)のみを抽出する
一種のフィルタである。また、第２帯域抽出手段１６５
は、第２ゲイン／位相補償手段１６３を経て得られた角
速度の信号の内、一部の帯域成分(ここでは動き補正に
好適な高周波成分)のみを抽出する一種のフィルタであ
る。そして、第１、第２帯域抽出手段１６４、１６５を
通過した各信号は、加算器１６６によって加算される。The first band extraction means 164 is
Part of the angular velocity signal obtained through step 2
(Here, it is a kind of filter that extracts only low-frequency components suitable for motion correction). Further, the second band extracting means 165
Is a kind of filter that extracts only a part of the band component (here, a high-frequency component suitable for motion correction) from the angular velocity signal obtained through the second gain / phase compensation unit 163. Then, the signals passing through the first and second band extracting means 164 and 165 are added by the adder 166.
【００３９】補正信号発生手段１６７は、加算器１６５
による加算結果を積分し、画面上に予め設定された基準
位置からの変位角度(移動角)を求めて動き補正信号を発
生するものである。The correction signal generating means 167 includes an adder 165
Is integrated to obtain a displacement angle (movement angle) from a reference position set in advance on the screen to generate a motion correction signal.
【００４０】次に、この実施形態１に係る画像動き補正
装置の動作を説明する。なお、固体撮像素子７で得られ
る画像信号に基づく動き検出動作、角速度センサ１１で
検出される動き検出動作、およびＶＡＰ１の駆動制御等
の一連の動作は、水平、垂直両方向に対してそれぞれ行
われるが、水平、垂直両方向ともその内容は基本的に同
じであるから、ここでは説明を簡略化するため、水平、
垂直方向の別は区別せずに説明する。Next, the operation of the image motion compensating apparatus according to the first embodiment will be described. A series of operations such as a motion detection operation based on an image signal obtained by the solid-state imaging device 7, a motion detection operation detected by the angular velocity sensor 11, and a drive control of the VAP1 are performed in both horizontal and vertical directions. However, the content is basically the same in both the horizontal and vertical directions.
The description will be made without distinction in the vertical direction.
【００４１】固体撮像素子６により得られた画像信号
は、アナログ信号処理手段７を経て、Ａ／Ｄ変換手段８
でデジタル化された後、デジタル信号処理手段９および
動き検出手段１０にそれぞれ送られる。The image signal obtained by the solid-state imaging device 6 passes through an analog signal processing unit 7 and is converted into an A / D conversion unit 8.
Are sent to the digital signal processing means 9 and the motion detection means 10, respectively.
【００４２】動き検出手段１０では、１フィ−ルド前後
間の画像の位置ずれ量(検出ベクトル)が検出され、その
検出ベクトルがシステム制御手段１６aに送られる。The motion detecting means 10 detects the amount of displacement (detected vector) of the image before and after one field, and sends the detected vector to the system control means 16a.
【００４３】システム制御手段１６aにおいては、ま
ず、第１ゲイン／位相補償手段１６１によって検出ベク
トルに対するゲインおよび位相が調整される。特に、動
き検出手段１０が検出ベクトルを得るまでに生じる１フ
ィ−ルド期間の時間(位相)遅れが補償される。変換手段
１６２は、画面上での画素単位で得られる検出ベクトル
を、撮像光学系駆動制御手段５から得られる撮像光学系
４の焦点距離の情報に基づいて単位時間当りの角速度に
変換する。In the system control means 16a, first, the gain and phase for the detection vector are adjusted by the first gain / phase compensation means 161. In particular, the time (phase) delay of one field period which occurs until the motion detecting means 10 obtains the detection vector is compensated. The conversion unit 162 converts a detection vector obtained on a screen in pixel units into an angular velocity per unit time based on information on the focal length of the imaging optical system 4 obtained from the imaging optical system drive control unit 5.
【００４４】第１帯域抽出手段１６４は、変換手段１６
２からの信号出力のうち、動き補正に好適な帯域成分と
して、低周波成分を抽出する。その理由は、画像信号に
基づく動き検出においては、角速度センサ１１の検出出
力に基づく動き検出に比べて低周波帯域において一層正
確な動き検出が可能となるためである。すなわち、画像
信号に基づいて動きを検出する場合、画像のサンプリン
グ周期によって動きを検出できる周波数が限定される。
例えば、ＮＴＳＣ方式を対象とする場合には、サンプリ
ング周波数は６０Ｈzであることから、画像信号に基づ
いて動きを検出する場合には、サンプリング定理より動
き検出の帯域は３０Ｈz以下に限定される。The first band extraction means 164 is
The low frequency component is extracted as a band component suitable for motion correction from the signal output from the second device. The reason is that in the motion detection based on the image signal, more accurate motion detection can be performed in a low frequency band than in the motion detection based on the detection output of the angular velocity sensor 11. That is, when detecting motion based on an image signal, the frequency at which motion can be detected is limited by the sampling period of the image.
For example, when the NTSC method is used, the sampling frequency is 60 Hz. Therefore, when motion is detected based on an image signal, the band of motion detection is limited to 30 Hz or less by the sampling theorem.
【００４５】これに対して、第２帯域抽出手段１６５
は、第２ゲイン／位相補償手段１６３の出力のうち、動
き補正に好適な帯域成分として高周波成分を抽出する。
その理由は、角速度センサ１１の検出出力に基づいて動
きを検出する場合、センサ１１出力に含まれるドリフト
等の低域成分を除去する上でＨＰＦ１３を設けているた
め、低周波の動きに対する検出精度が低下しているから
である。On the other hand, the second band extracting means 165
Extracts a high-frequency component from the output of the second gain / phase compensator 163 as a band component suitable for motion correction.
The reason for this is that when detecting motion based on the detection output of the angular velocity sensor 11, the HPF 13 is provided to remove low-frequency components such as drift contained in the output of the sensor 11, so that the detection accuracy for low-frequency motion is detected. This is because is decreased.
【００４６】第１，第２帯域抽出手段１６４，１６５の
両出力は、加算器１６６で加算され、補正信号発生手段
１６７において、動き補正信号が求められる。The outputs of the first and second band extracting means 164 and 165 are added by an adder 166, and a correction signal generating means 167 obtains a motion correction signal.
【００４７】光学的振れ補正系駆動制御手段２は、動き
補正信号に応じて、ＶＡＰ１を駆動制御することで画像
の動きを補正する。The optical shake correction system drive control means 2 corrects the motion of the image by controlling the drive of the VAP 1 according to the motion correction signal.
【００４８】つまり、この実施形態１では、動き検出手
段１０によって得られた低周波帯域の動きの情報、およ
び角速度センサ１１から得られた高周波帯域の動きの情
報の両者によってＶＡＰ１を制御するので、低周波域か
ら高周波域までにわたる画像の動きを高精度に補正する
ことが可能となる。That is, in the first embodiment, the VAP 1 is controlled by both the information on the movement in the low frequency band obtained by the movement detecting means 10 and the information on the movement in the high frequency band obtained from the angular velocity sensor 11. It is possible to correct the motion of the image from the low frequency range to the high frequency range with high accuracy.
【００４９】また、第１、第２帯域抽出手段１６４，１
６５は、図３に示したような加算器１６６の直前に設け
る場合に限定されるものではなく、例えば、第１帯域抽
出手段１６４は、第１ゲイン／位相補償手段１６１の前
段、もしくはＡ／Ｄ変換手段８と動き検出手段１０との
間に、また、第２帯域抽出手段１６５は、Ａ／Ｄ変換手
段１５とシステム制御手段１６aとの間に、それぞれ設
置する構成であってもよい。The first and second band extracting means 164, 1
65 is not limited to the case where it is provided immediately before the adder 166 as shown in FIG. 3, for example, the first band extracting means 164 is provided before the first gain / phase compensating means 161 or A / The second band extracting means 165 may be provided between the A / D converting means 15 and the system control means 16a, and the second band extracting means 165 may be provided between the D converting means 8 and the motion detecting means 10, respectively.
【００５０】(実施形態２)図４は、本発明の実施形態２
に係る画像動き補正装置のシステム制御手段の構成を示
すブロック図であり、上述の実施形態１に係る図３に対
応する部分については同一の符号を付す。(Embodiment 2) FIG. 4 shows Embodiment 2 of the present invention.
3 is a block diagram showing a configuration of a system control unit of the image motion compensating apparatus according to the first embodiment, and the same reference numerals are given to parts corresponding to FIG. 3 according to the first embodiment.
【００５１】この実施形態２の特徴は、システム制御手
段１６bの構成にある。すなわち、このシステム制御手
段１６bは、図３に示した構成に対して、さらに第１、
第２乗算器１７１，１７２、および振動帯域検出手段１
７３が追加されている。The feature of the second embodiment resides in the structure of the system control means 16b. That is, the system control means 16b is the first,
Second multipliers 171 and 172, and vibration band detecting means 1
73 has been added.
【００５２】第１、第２乗算器１７１，１７２は、それ
ぞれ第１、第２帯域抽出手段１６４，１６５の各出力に
対して、所定の重み付けの乗数α、１−α(ただし、０
≦α≦１)を乗算するものである。また、振動帯域検出
手段１７３は、例えば、高速フーリエ変換等の時系列信
号の周波数分解を行う機能を有しており、Ａ／Ｄ変換手
段１５を経て得られた角速度センサ１１の出力に基づい
て撮像装置の動きの主要な周波数帯域を検出し、その結
果から第１、第２乗算器１７１，１７２で乗算すべき乗
数α，１−αの値を決定するものである。The first and second multipliers 171 and 172 apply multipliers α and 1−α (where 0 is a predetermined weight) to the respective outputs of the first and second band extracting means 164 and 165, respectively.
≦ α ≦ 1). Further, the vibration band detecting means 173 has a function of performing frequency decomposition of a time-series signal such as fast Fourier transform, for example, and based on the output of the angular velocity sensor 11 obtained through the A / D converting means 15. The main frequency band of the motion of the imaging device is detected, and the values of the multipliers α, 1−α to be multiplied by the first and second multipliers 171 and 172 are determined from the result.
【００５３】その他の構成は、前述の実施形態１の図３
に示した場合と同じであるから、ここでは詳しい説明は
省略する。The other structure is the same as that of the first embodiment shown in FIG.
In this case, the detailed description is omitted here.
【００５４】次に、この実施形態２に係る画像動き補正
装置の動作について説明する。Next, the operation of the image motion compensator according to the second embodiment will be described.
【００５５】振動帯域検出手段１７３は、角速度センサ
１１によって検出された撮像装置の動きから、その主要
な振動帯域を検出し、その結果に基づいて第１、第２乗
算器１７１，１７２における乗数α，１−αを決定す
る。The vibration band detecting means 173 detects the main vibration band from the movement of the imaging device detected by the angular velocity sensor 11, and based on the result, the multiplier α in the first and second multipliers 171 and 172. , 1−α.
【００５６】第１、第２乗算器１７１，１７２は、振動
帯域検出手段１７３で決定された各々の乗数α，１−α
を、第１、第２帯域抽出手段１６４，１６５の出力に対
してそれぞれ乗算する。The first and second multipliers 171 and 172 are respectively multipliers α and 1−α determined by the vibration band detecting means 173.
Are multiplied by the outputs of the first and second band extracting means 164 and 165, respectively.
【００５７】ここで、振動帯域検出手段１７３は、撮像
装置の動きが画像データに基づく動き検出だけでは困難
となる高周波成分(これは画像のサンプリング周波数で
決まる)が支配的となる場合には、αを０に設定する。
このため、第１乗算器１７１の出力が停止される。Here, the vibration band detecting means 173 determines that the high frequency component (which is determined by the sampling frequency of the image) which makes the motion of the imaging device difficult only by the motion detection based on the image data becomes dominant. Set α to 0.
Therefore, the output of the first multiplier 171 is stopped.
【００５８】これに対して、振動帯域検出手段１７３
は、撮像装置の動きが角速度センサ１１では検出が困難
となる低周波成分が支配的となる場合には、αを１に設
定する。このため、第２乗算器１７２の出力が停止され
る。On the other hand, the vibration band detecting means 173
Sets α to 1 if the movement of the imaging device is dominated by low frequency components that are difficult to detect with the angular velocity sensor 11. Therefore, the output of the second multiplier 172 is stopped.
【００５９】このように、撮影状態によって２系統ある
動きを検出する手段のうち１系統の使用を停止すること
ができるため、実施形態１の場合よりもより一層効果的
に動きを検出することができる。As described above, it is possible to stop the use of one of the two systems of motion detecting means depending on the photographing state, so that the motion can be detected more effectively than in the first embodiment. it can.
【００６０】また、高周波成分と低周波成分で際だった
偏りがない場合は、高周波成分と低周波成分の比率に応
じて、乗数αを０以上１以下の範囲で略連続的に変化さ
せることもできる。If there is no significant deviation between the high-frequency component and the low-frequency component, the multiplier α is changed substantially continuously in the range of 0 to 1 according to the ratio of the high-frequency component and the low-frequency component. Can also.
【００６１】たとえば、図５(a)に示すように、高周波
成分と低周波成分の比率に応じてαの値を直線状に変化
させたり、図５(b)に示すように高周波成分が幾分大き
くなるまではα＝１とし、高周波成分が一定値ρ1を越
えたときには高周波成分と低周波成分の比率に応じてα
の値を直線状に変化させ、さらに高周波成分が一定値ρ
2を越えたときにはα＝０に設定したり、図５(c)に示す
ように。高周波成分と低周波成分の比率に応じてαを連
続的に曲線状に変化させたりすることができる。For example, as shown in FIG. 5A, the value of α is changed linearly in accordance with the ratio between the high frequency component and the low frequency component, or the number of high frequency components is changed as shown in FIG. to the minute it becomes large and alpha = 1, when the high-frequency component exceeds a predetermined value [rho 1 in accordance with the ratio of high and low frequency components alpha
Is linearly changed, and the high-frequency component is further changed to a constant value ρ
When it exceeds 2 , α = 0 is set, or as shown in FIG. 5 (c). Α can be continuously changed in a curved manner in accordance with the ratio between the high frequency component and the low frequency component.
【００６２】なお、この実施形態２における他の構成、
動作、作用等は、前述の実施形態１と同様であるから、
ここでは説明を省略する。It should be noted that other configurations in the second embodiment,
Since the operation, operation, and the like are the same as those in the first embodiment,
Here, the description is omitted.
【００６３】このように、この実施形態２では、撮影状
態に応じて２系統ある動きを検出する手段の重み付けを
変化させることができるので、実施形態１の場合よりも
より一層、低周波から高周波までの画像の動きを高精度
に補正することが可能となる。As described above, in the second embodiment, the weighting of the two systems of motion detecting means can be changed in accordance with the photographing state. It is possible to correct the movement of the image up to the high accuracy.
【００６４】なお、この実施形態２では、振動帯域検出
手段１７３は、角速度センサ１１の出力に基づいて撮像
装置の動きの主要な周波数帯域を検出するようにしてい
るが、本発明はこれに限定されるものではなく、例え
ば、振動帯域検出手段１７３は、動き検出手段１０の出
力に基づいて撮像装置の動きの主要な周波数帯域を検出
する構成とすることも可能である。また、この振動帯域
検出手段１７３は、例えば、高域通過フィルタおよび低
域通過フィルタのようなフィルタ手段による構成とする
こともできる。In the second embodiment, the vibration band detecting means 173 detects the main frequency band of the motion of the imaging device based on the output of the angular velocity sensor 11, but the present invention is not limited to this. For example, the vibration band detecting unit 173 may be configured to detect a main frequency band of the motion of the imaging device based on the output of the motion detecting unit 10. Further, the vibration band detecting means 173 may be configured by a filter means such as a high-pass filter and a low-pass filter.
【００６５】さらに、この実施形態２では、重み付けの
乗数α，１−αを決定するのに、高周波成分と低周波成
分との比を用いる場合について説明したが、これに限る
ものではなく、例えば、高周波成分と低周波成分の差に
よって乗数α，１−αを決定することもできる。Furthermore, in the second embodiment, the case has been described where the ratio between the high frequency component and the low frequency component is used to determine the weighting multipliers α, 1−α. However, the present invention is not limited to this. The multipliers α and 1−α can be determined based on the difference between the high frequency component and the low frequency component.
【００６６】（実施形態３）図６は、本発明の実施形態
３に係る画像動き補正装置のシステム制御手段１６3の
構成を示すブロック図であり、上述の実施形態２に係る
図４に対応する部分については同一の符号を付す。[0066] (Embodiment 3) FIG. 6 is a block diagram showing the configuration of a system control means 16 3 of the image motion compensation apparatus according to a third embodiment of the present invention, corresponding to FIG. 4 according to the second embodiment described above The same reference numerals are given to the portions to be performed.
【００６７】前述の実施形態２では、システム制御手段
１６bは振動帯域検出手段１７３を備えているが、この
実施形態３のシステム制御手段１６cでは、その振動帯
域検出手段１７３に代えて、焦点距離検出手段１８３を
設けている。In the second embodiment, the system control means 16b includes the vibration band detecting means 173. In the third embodiment, the system control means 16c replaces the vibration band detecting means 173 with the focal length detecting means 173. Means 183 are provided.
【００６８】すなわち、この焦点距離検出手段１８３
は、撮像光学系駆動制御手段５から得られた撮像光学系
４の焦点距離を検出し、その焦点距離の情報に基づいて
乗算器１８１および１８２で乗算する重み付けのための
乗数α，１−α(ただし、０≦α≦１)を決定するもので
ある。That is, the focal length detecting means 183
Is a multiplier α, 1−α for detecting the focal length of the imaging optical system 4 obtained from the imaging optical system drive control unit 5 and multiplying by the multipliers 181 and 182 based on the information on the focal length. (Where 0 ≦ α ≦ 1).
【００６９】その他の構成は、前述の実施形態２の場合
と同じであるから、ここでは詳しい説明は省略する。The other configuration is the same as that of the second embodiment, and the detailed description is omitted here.
【００７０】次に、この実施形態３に係る画像動き補正
装置の動作について説明する。Next, the operation of the image motion compensating apparatus according to the third embodiment will be described.
【００７１】一般に、撮像装置においては、撮像光学系
４の焦点距離が長いほど撮影画角は狭く、逆に、焦点距
離が短いほど撮影画角は広くなる。このため、同じ角度
だけ撮像装置が動いたとしても、画面上に現れる動き量
は焦点距離によって変化する。すなわち、同じ角度だけ
撮像装置が動いた場合でも、焦点距離が長いほど画面に
現れる動きは大きくなり、逆に、焦点距離が短いほど画
面に現れる動きは小さくなる。In general, in the imaging apparatus, the angle of view is narrower as the focal length of the imaging optical system 4 is longer, and conversely, the angle of view is wider as the focal length is shorter. For this reason, even if the imaging device moves by the same angle, the amount of movement appearing on the screen changes depending on the focal length. That is, even when the imaging device moves by the same angle, the motion that appears on the screen increases as the focal length increases, and conversely, the motion that appears on the screen decreases as the focal length decreases.
【００７２】また、撮像装置の動きの原因である手ぶれ
は、先に掲げた文献(”ビデオカメラの画振れ防止技術
の開発”テレビジョン学会技術報告Vol.11,No.28,pp19
〜24(1987))にも明記されているように、単位時間につ
いてみると、周波数の低い成分ほど動きの変移量が大き
く、周波数の高い成分ほど動きの変移量が小さいことが
知られている。In addition, the camera shake which causes the movement of the image pickup apparatus is described in the literature described above (“Development of Image Shake Prevention Technology for Video Camera”, Technical Report of the Institute of Television Engineers of Japan, Vol. 11, No. 28, pp19).
24 (1987)), when looking at the unit time, it is known that the lower the frequency component, the greater the amount of motion shift, and the higher the frequency component, the smaller the amount of motion shift. .
【００７３】このことから、撮像光学系の焦点距離が短
い場合、撮像画像に現れる動きは低周波成分が支配的と
なる。また、焦点距離が長い場合は、画像の動きは低周
波成分、高周波成分共に大きく画像の動きとして現れる
が、実際には、補正画角には限界があり、焦点距離が長
い場合には画像の動きが顕著になり過ぎて低周波成分の
補正が困難になる。For this reason, when the focal length of the image pickup optical system is short, the motion appearing in the picked up image is dominated by low frequency components. In addition, when the focal length is long, the motion of the image appears largely as the motion of the image in both the low-frequency component and the high-frequency component. The motion becomes so remarkable that it becomes difficult to correct low frequency components.
【００７４】よって、焦点距離検出手段１８３は、撮像
光学系の焦点距離が短い場合は、撮像画像に現れる動き
は低周波成分が支配的となるため、動き検出手段１０に
よる動き検出だけで十分に動き補正が可能であり、この
ため、αを１に設定する。これにより、第２乗算器１７
２の出力が停止される。一方、撮像光学系の焦点距離が
長い場合は、動き検出手段１０による動き検出では動き
の補正が困難であり、高周波成分が支配的となるため、
角速度センサ１１による動き検出のみで動き補正が行え
るように、αを０に設定する。これにより、第１乗算器
１７１の出力が停止される。Therefore, when the focal length of the image pickup optical system is short, the motion appearing in the picked-up image is dominated by low-frequency components. Motion correction is possible, and therefore α is set to 1. Thereby, the second multiplier 17
2 is stopped. On the other hand, when the focal length of the imaging optical system is long, it is difficult to correct the motion by the motion detection by the motion detection unit 10 and the high frequency component becomes dominant.
Α is set to 0 so that motion can be corrected only by detecting motion by the angular velocity sensor 11. Thus, the output of the first multiplier 171 is stopped.
【００７５】このように、撮影状態によっては、２系統
ある動きを検出する手段のうち１系統の使用を停止でき
るため、消費電力の低減が可能となる。As described above, depending on the photographing state, the use of one of the two systems for detecting the movement can be stopped, so that the power consumption can be reduced.
【００７６】また、焦点距離が中間程度に設定されてい
る場合は、焦点距離に応じてαを０以上１以下の範囲で
略連続的に変更することができる。その場合のαの設定
の仕方としては、実施形態２の場合と同様に、前述の図
５に示したような方法を採用することができる。When the focal length is set to an intermediate level, α can be changed substantially continuously within the range of 0 to 1 according to the focal length. In this case, as the method of setting α, the method shown in FIG. 5 described above can be adopted as in the case of the second embodiment.
【００７７】なお、本実施の形態における他の構成、動
作、作用等は前述の実施形態１，２と同様であるから、
ここでは説明は省略する。The other configuration, operation, operation, and the like in this embodiment are the same as those in the first and second embodiments.
The description is omitted here.
【００７８】以上のように、本発明の実施形態３では、
低周波から高周波までの画像の動きを高精度に補正でき
ると共に、撮影状態に応じて２系統ある動きを検出する
手段のうち１系統の使用を停止でき、これより消費電力
の低減が可能となる。As described above, in the third embodiment of the present invention,
The motion of the image from low frequency to high frequency can be corrected with high accuracy, and the use of one of the two systems for detecting the motion according to the shooting state can be stopped, thereby reducing the power consumption. .
【００７９】なお、前述の実施形態２，３では、いずれ
も重み付けのための乗数αを自動的に変化させる構成を
示したが、例えば、撮影者の意思によって乗数αを０ま
たは１に設定できるスイッチ手段を設ければ、撮影者の
判断によって２系統ある動きを検出する手段のうち１系
統の使用を停止することができ、これよっても消費電力
の低減が可能な構成が実現できることは明らかである。In each of Embodiments 2 and 3, the multiplier α for weighting is automatically changed. However, the multiplier α can be set to 0 or 1 depending on the photographer's intention. If the switch means is provided, it is possible to stop the use of one of the means for detecting the movement of the two systems by the judgment of the photographer, and it is clear that a configuration capable of reducing the power consumption can be realized. is there.
【００８０】なお、実施形態２で説明した振動帯域検出
手段１７３および実施形態３で説明した焦点距離検出手
段１８３によるα値設定の両者を組み合わせた構成も考
えられる。その場合、乗数αの値をより一層精度よく設
定でき、撮影状況に応じた操作性の向上が図れる。Note that a configuration in which both the vibration band detecting means 173 described in the second embodiment and the setting of the α value by the focal length detecting means 183 described in the third embodiment are combined is also conceivable. In this case, the value of the multiplier α can be set with higher accuracy, and the operability according to the shooting situation can be improved.
【００８１】（実施形態４）図７は、本発明の実施形態
４に係る画像動き補正装置の全体構成を示すブロック
図、図８は同装置のシステム制御手段の構成を示すブロ
ック図であり、実施形態１に係る図１ないし図３に対応
する部分については同一の符号を付す。(Embodiment 4) FIG. 7 is a block diagram showing an overall configuration of an image motion compensating apparatus according to Embodiment 4 of the present invention, and FIG. 8 is a block diagram showing a configuration of a system control means of the apparatus. 1 to 3 according to the first embodiment are denoted by the same reference numerals.
【００８２】動き検出手段１０の出力、つまり固体撮像
素子６で撮像された画像に含まれる動きは、ＶＡＰ１だ
けでは補正しきれなかった残留動きに相当する。The output of the motion detecting means 10, that is, the motion included in the image picked up by the solid-state image pickup device 6 corresponds to a residual motion that cannot be completely corrected only by the VAP1.
【００８３】そこで、この実施形態４では、その残留動
きを除去するために、実施形態１の場合と比較すると、
画像メモリ１９、画像メモリ駆動制御手段２０、および
電子ズーム手段２１が設けられており、また、システム
制御手段１６dとして、動き検出手段１０の出力を積分
する積分手段２２１が追加されている。Therefore, in the fourth embodiment, in order to remove the residual motion, compared with the case of the first embodiment,
An image memory 19, an image memory drive control means 20, and an electronic zoom means 21 are provided, and an integration means 221 for integrating the output of the motion detection means 10 is added as a system control means 16d.
【００８４】上記の画像メモリ１９は、デジタル信号処
理手段９を経た画像信号を一旦記憶するもので、たとえ
ば、ＲＡＭ等で構成される。The above-mentioned image memory 19 temporarily stores the image signal that has passed through the digital signal processing means 9, and is composed of, for example, a RAM or the like.
【００８５】画像メモリ駆動制御手段２０は、画像メモ
リ１９に対する画像信号の書き込み、読み出しを制御
し、かつ、画像メモリ１９に記憶されていた画像信号の
一部を読み出した場合には、画像を所望の大きさに拡大
するよう指令を後述する電子ズーム手段２１に送るもの
である。The image memory drive control means 20 controls the writing and reading of image signals to and from the image memory 19, and when a part of the image signals stored in the image memory 19 is read, the image Is sent to the electronic zoom means 21 to be described later so as to enlarge the size of the image.
【００８６】電子ズーム手段２１は、画像メモリ１９か
ら読み出された一部の画像信号に対し電子的な拡大処理
(電子ズーム処理)を施し、画像を拡大するものである。The electronic zoom means 21 performs electronic enlargement processing on a part of the image signal read out from the image memory 19.
(Electronic zoom processing) to enlarge the image.
【００８７】また、システム制御手段１６4を構成する
積分手段２２１は、動き検出手段１０の出力を積分する
ものである。[0087] Further, integrating means constituting the system control means 16 4 221 is for integrating the output of the motion detecting means 10.
【００８８】その他の構成は、実施形態１の場合と同様
であるから、ここでは詳しい説明は省略する。The other configuration is the same as that of the first embodiment, and the detailed description is omitted here.
【００８９】図９は、画像メモリ１９からの画像の読み
出し制御と、電子ズーム手段２１による画像の拡大処理
による動き補正の原理を説明する模式図である。FIG. 9 is a schematic diagram for explaining the principle of the control of reading an image from the image memory 19 and the principle of motion correction by the image enlargement processing by the electronic zoom means 21.
【００９０】同図において、Ｆ１，Ｆ２，Ｆ３は画像メ
モリ１９に記憶される連続する３つのフィールド画像で
あり、これより動きに応じてその画像の一部(破線で囲
まれた内側の領域)を切り出すことで画像の動きを補正
することができ、かつ、その切り出した画像の一部を電
子ズーム手段２１によって拡大処理を行う。In the figure, F1, F2, and F3 are three continuous field images stored in the image memory 19, and a part of the image (an inner area surrounded by a broken line) according to the movement. The motion of the image can be corrected by cutting out the image, and a part of the cut out image is enlarged by the electronic zoom unit 21.
【００９１】画像の切り出し部分以外の部分(破線で囲
まれた領域の外側の領域)は動き補正のためのマージン
にあたる部分であり、このマージンを広く取れば取るほ
ど(換言すれば、画像の切り出し部分を小さく設定する
ほど)、画像メモリ１９からの画像の読み出し制御によ
って動き補正を行える可能範囲は広がるが、その反面、
電子ズーム手段２１による拡大倍率が増し、出力画像の
解像度に劣化が生じる。The portion other than the clipped portion of the image (the region outside the region surrounded by the dashed line) is a portion corresponding to a margin for motion compensation, and the wider the margin is, the more the margin is taken (in other words, the portion of the image is cut out). (The smaller the part is set, the wider the range in which the motion can be corrected by controlling the reading of the image from the image memory 19 is widened.
The enlargement magnification by the electronic zoom means 21 increases, and the resolution of the output image deteriorates.
【００９２】次に、この実施形態４に係る画像動き補正
装置の動作について説明する。Next, the operation of the image motion compensating apparatus according to the fourth embodiment will be described.
【００９３】前述のように、動き検出手段１０の出力
は、ＶＡＰ１だけでは補正しきれなかった残留動きに相
当する。As described above, the output of the motion detecting means 10 corresponds to a residual motion that cannot be completely corrected by VAP1 alone.
【００９４】画像メモリ１９には、動き検出手段１０に
より画像の動き検出がなされる間に、１フィールド分の
画像が記憶される。そして、動き検出手段１０により検
出された画像の残留動きは、積分手段２２１によって積
分され、画面の基準位置からの変位量が求められ、その
変位量の情報が画像メモリ駆動制御手段２０に送られ
る。画像メモリ駆動制御手段２０は、この変移量の情報
に基づいて、画像メモリ１９からの画像の読み出し位置
を制御する。The image memory 19 stores the image for one field while the motion detecting means 10 detects the motion of the image. The residual motion of the image detected by the motion detecting means 10 is integrated by the integrating means 221 to obtain a displacement amount from the reference position on the screen, and the information on the displacement amount is sent to the image memory drive control means 20. . The image memory drive control means 20 controls the reading position of the image from the image memory 19 based on the information of the displacement amount.
【００９５】これにより、ＶＡＰ１だけでは補正しきれ
なかった残留動きが有効に除去され、その後、電子ズー
ム手段２１によって画像が所望の大きさに拡大される。As a result, the residual motion that cannot be completely corrected by the VAP 1 alone is effectively removed, and then the image is enlarged to a desired size by the electronic zoom means 21.
【００９６】なお、その他の動作、作用等は実施形態１
と同様であるから、ここでは説明は省略する。Other operations and functions are the same as those in the first embodiment.
The description is omitted here.
【００９７】このように、この実施形態４では、実施形
態１の場合よりも更に画像の動きを高精度に補正するこ
とが可能となる。As described above, in the fourth embodiment, the motion of the image can be corrected with higher accuracy than in the first embodiment.
【００９８】なお、この実施形態４では、画像メモリ１
９から読み出した画像信号に対して、電子ズーム手段２
１により拡大処理を施す場合について説明したが、本発
明は、これに限るものではなく、例えば、標準の固体撮
像素子６よりも画素数の多い固体撮像素子を用い、最終
出力として必要な画素数以上の画像を撮像し、これを画
像メモリ１９に記憶し、画像メモリ１９からは最終出力
に必要な画素数分だけ画像を読み出す構成も考えられ
る。その場合、電子的に画像を拡大する必要が無いた
め、高画質な出力画像を得ることができる。その場合に
１画素１ライン以下の動き補正を行うためには、電子ズ
ーム手段２１によってズーム倍率が１倍のズーム処理
(単なる補間処理)を施せばよいことは明らかである。In the fourth embodiment, the image memory 1
9 with respect to the image signal read from
1, the present invention is not limited to this. For example, a solid-state imaging device having a larger number of pixels than the standard solid-state imaging device 6 may be used, and the number of pixels required as a final output may be adjusted. A configuration is also conceivable in which the above image is captured, stored in the image memory 19, and the image is read out from the image memory 19 by the number of pixels required for final output. In that case, since it is not necessary to enlarge the image electronically, a high-quality output image can be obtained. In this case, in order to perform motion correction for one line or less per pixel, the electronic zoom means 21 performs a zoom process in which the zoom magnification is 1 ×.
It is clear that (mere interpolation processing) should be performed.
【００９９】また、この実施形態４の構成に対して、実
施形態２，３の構成を組み合わせることも可能である。It is also possible to combine the configuration of Embodiment 4 with the configuration of Embodiments 2 and 3.
【０１００】(実施形態５)この実施形態５の特徴は、実
施形態４に係る図７および図８の構成に対して、さらに
電子ズーム操作手段２３(図７参照)を設けたことであ
る。(Embodiment 5) A feature of Embodiment 5 is that an electronic zoom operation means 23 (see FIG. 7) is further provided in the configuration of FIGS. 7 and 8 according to Embodiment 4.
【０１０１】この電子ズーム操作手段２３は、撮影者が
電子的拡大処理(電子ズーム処理)の有無(ＯＮ／ＯＦ
Ｆ)、および電子ズーム処理を行う場合のズーム倍率を
操作するものであって、例えば、レバー状の指示装置
(ズームレバー)、ボタンスイッチ、ダイヤル状の指示装
置等で実現できるが、これに限るものではない。The electronic zoom operation means 23 determines whether or not the photographer has performed electronic enlargement processing (electronic zoom processing) (ON / OF).
F), and a zoom magnification for performing an electronic zoom process, for example, a lever-shaped pointing device.
(Zoom lever), a button switch, a dial-shaped pointing device, or the like, but is not limited thereto.
【０１０２】その他の構成は、実施形態４の場合と同様
であるから、ここでは詳しい説明は省略する。The other configuration is the same as that of the fourth embodiment, and the detailed description is omitted here.
【０１０３】この実施形態５において、画像メモリ駆動
制御手段２０は、電子ズーム操作手段２３からの指令に
より、電子ズーム処理が行われる場合(電子ズームＯＮ
時)には、積分手段２２１で得られる画像の変移量とズ
ーム倍率とに基づいて、画像メモリ１９からの画像の読
み出し位置を制御するとともに、電子ズーム手段２１に
よる画像の拡大を行う。In the fifth embodiment, the image memory drive control means 20 performs the electronic zoom processing in response to a command from the electronic zoom operation means 23 (electronic zoom ON).
At the time), the read position of the image from the image memory 19 is controlled based on the displacement of the image obtained by the integration means 221 and the zoom magnification, and the image is enlarged by the electronic zoom means 21.
【０１０４】一方、画像メモリ駆動制御手段２０は、電
子ズーム処理を行わない場合(電子ズームＯＦＦ時)に
は、画像メモリ１９からの画像の読み出し位置制御およ
び電子ズーム手段２１による画像の拡大を停止する。On the other hand, when the electronic zoom processing is not performed (when the electronic zoom is OFF), the image memory drive control means 20 controls the reading position of the image from the image memory 19 and stops the enlargement of the image by the electronic zoom means 21. I do.
【０１０５】このように、電子ズームＯＦＦ時は、動き
補正は、ＶＡＰ１の駆動制御のみによるため、撮影者の
動き補正による解像度の劣化を認識させることなく、出
力画像の解像度の劣化が無い高精度な動き補正が行われ
る。また、電子ズームＯＮ時は、ＶＡＰ１による補正に
加えて、画像メモリ１９からの画像の切り出しによる動
き補正が行われる。As described above, when the electronic zoom is OFF, the motion correction is performed only by the drive control of the VAP1, so that the resolution of the output image is not degraded without recognizing the degradation of the resolution due to the motion correction of the photographer. Motion correction is performed. When the electronic zoom is ON, motion correction is performed by clipping an image from the image memory 19, in addition to the correction by the VAP1.
【０１０６】なお、この実施形態５におけるその他の動
作、作用等は実施形態４と同様であるため説明は省略す
る。The other operations, operations, and the like in the fifth embodiment are the same as those in the fourth embodiment, and thus description thereof is omitted.
【０１０７】また、この実施形態５で、固体撮像素子６
は標準の画素数の固体撮像素子でも、標準より画素数の
多い固体撮像素子でも同様の効果が得られることは言う
までもない。さらに、この実施形態５に、上記の実施形
態２，３の構成を組み合わせることも可能である。In the fifth embodiment, the solid-state imaging device 6
It goes without saying that the same effect can be obtained with a solid-state imaging device having a standard number of pixels or a solid-state imaging device with a larger number of pixels than the standard. Furthermore, it is also possible to combine this fifth embodiment with the configurations of the second and third embodiments.
【０１０８】(実施形態６)図１０は、本発明の実施形態
６に係る画像動き補正装置の全体構成を示すブロック
図、図１１は同装置のシステム制御手段の構成を示すブ
ロック図であり、上述の実施形態１に係る図１ないし図
３に対応する部分については同一の符号を付す。(Embodiment 6) FIG. 10 is a block diagram showing an overall configuration of an image motion compensating apparatus according to Embodiment 6 of the present invention, and FIG. 11 is a block diagram showing a configuration of a system control means of the apparatus. Parts corresponding to FIGS. 1 to 3 according to the first embodiment are denoted by the same reference numerals.
【０１０９】この実施形態６の特徴は、実施形態１に係
る図１の構成に対して、さらに光学ズーム操作手段２４
を設け、また、システム制御手段１６eとしては、図３
に示した構成に対して、さらに、スイッチ２５１とスイ
ッチ制御手段２５２とが追加されていることである。The feature of the sixth embodiment is that the optical zoom operation means 24 is further provided in the configuration of FIG.
And as the system control means 16e, FIG.
A switch 251 and a switch control means 252 are added to the configuration shown in FIG.
【０１１０】光学ズーム操作手段２４は、撮影者が撮像
光学系４の焦点距離を手動で操作するものであり、この
手段２４からの指令により、撮像光学系駆動制御手段５
は、撮像光学系の焦点距離を変化させて光学的なズーム
を行うようになっている。The optical zoom operation means 24 is for the photographer to manually operate the focal length of the imaging optical system 4. The imaging optical system drive control means 5 is operated by a command from this means 24.
Is designed to perform optical zoom by changing the focal length of the imaging optical system.
【０１１１】また、上記のスイッチ２５１は、第１帯域
抽出手段１６４の出力をＯＮ／ＯＦＦするものであり、
スイッチ制御手段２５２は、撮像光学系駆動制御手段５
から得られた撮像光学系４の焦点距離の変化を検出し、
それに基づいてスイッチ２５１をＯＮ／ＯＦＦ制御する
ものである。The switch 251 turns ON / OFF the output of the first band extracting means 164.
The switch control unit 252 includes the imaging optical system drive control unit 5
The change in the focal length of the imaging optical system 4 obtained from
On / off control of the switch 251 is performed based on this.
【０１１２】その他の構成は、図１ないし図３に示した
実施形態１の場合と同じであるから、ここでは詳しい説
明は省略する。The other structure is the same as that of the first embodiment shown in FIGS. 1 to 3, and the detailed description is omitted here.
【０１１３】次に、この実施形態６に係る画像動き補正
装置の動作について説明する。Next, the operation of the image motion compensating apparatus according to the sixth embodiment will be described.
【０１１４】焦点距離を変化させる光学ズーム中におい
ては、撮像画像は中心から放射状に動く。このため、動
き検出手段１０では、フィールド間の画像の動きが検出
範囲内で一様にならないため、動きを検出する精度が低
下する。これに対して、角速度センサ１１は、光学ズー
ム中であっも、撮像装置自体の動きを検出する精度が低
下することはない。During the optical zoom for changing the focal length, the captured image moves radially from the center. For this reason, in the motion detection means 10, since the motion of the image between the fields is not uniform within the detection range, the accuracy of detecting the motion is reduced. On the other hand, the accuracy of the angular velocity sensor 11 detecting the movement of the imaging device itself does not decrease even during the optical zoom.
【０１１５】実施形態１のように、光学ズーム中である
か否かに関係なく、常に動き検出手段１０による動き検
出と、角速度センサ１１による動き検出との両結果に基
づいて動き補正を行う場合には、光学ズーム中に動き検
出手段１０の検出精度が低下して誤動作の原因となり得
る。As in the first embodiment, regardless of whether the optical zoom is being performed or not, the motion correction is always performed based on both the motion detection by the motion detection means 10 and the motion detection by the angular velocity sensor 11. In this case, the detection accuracy of the motion detection means 10 may be reduced during the optical zoom, which may cause a malfunction.
【０１１６】そこで、この実施形態６においては、撮像
光学系駆動制御手段５から得られた撮像光学系４の焦点
距離の変化を検出し、焦点距離に変化が有る場合(つま
り、光学ズーム中)は、スイッチ制御手段２５２がスイ
ッチ２５１をＯＦＦにし、動き検出手段１０による動き
検出結果を動き補正に使用しないようにしている。Therefore, in the sixth embodiment, a change in the focal length of the image pickup optical system 4 obtained from the image pickup optical system drive control means 5 is detected, and there is a change in the focal length (that is, during the optical zoom). The switch control means 252 turns off the switch 251 so that the motion detection result by the motion detection means 10 is not used for motion correction.
【０１１７】これにより、光学ズーム中でも誤動作が無
く、高精度に動き補正可能な撮像装置を実現することが
できる。As a result, it is possible to realize an image pickup apparatus which does not malfunction even during the optical zoom and can perform motion correction with high accuracy.
【０１１８】なお、この実施形態６における他の動作、
作用等は実施形態１と同様であるため、ここでは説明を
省略する。Note that other operations in the sixth embodiment include:
The operation and the like are the same as those in the first embodiment, and therefore, the description thereof is omitted here.
【０１１９】また、光学ズーム中は、スイッチ２５１を
単純にＯＦＦにするのではなく、スイッチ２５１によっ
て動き検出手段１０から第１帯域抽出手段１６４までの
処理全体を停止するようにして、消費電力の低減を図る
ことも可能である。During the optical zoom, the switch 251 is not simply turned off, but the entire processing from the motion detecting means 10 to the first band extracting means 164 is stopped by the switch 251 to reduce the power consumption. It is also possible to achieve reduction.
【０１２０】また、実施形態２，３で示したような第
１、第２乗算器１７１，１７２を設け、光学ズーム中
は、第１乗算器１７１の乗数αを０にしても、この実施
形態６と同じ効果を実現することができる。Further, the first and second multipliers 171 and 172 as shown in the second and third embodiments are provided, and even if the multiplier α of the first multiplier 171 is set to 0 during the optical zoom, this embodiment will be described. 6 can achieve the same effect.
【０１２１】また、この実施形態６の構成に対して、上
記の実施形態２，３で説明したように、振動帯域検出手
段１７３と焦点距離検出手段１８３の一方または両方、
および２つの乗算器１７１，１７２を設けることも可能
である。Further, in contrast to the configuration of the sixth embodiment, as described in the second and third embodiments, one or both of the vibration band detecting means 173 and the focal length detecting means 183,
And two multipliers 171 and 172 can be provided.
【０１２２】(実施形態７)図１２は本発明の実施形態７
に係る画像動き補正装置の全体構成を示すブロック図、
図１３は同装置のシステム制御手段の構成を示すブロッ
ク図であり、上述の実施形態４に係る図７および図８に
対応する部分について同一の符号を付す。(Embodiment 7) FIG. 12 shows Embodiment 7 of the present invention.
Block diagram showing the overall configuration of the image motion correction device according to
FIG. 13 is a block diagram showing the configuration of the system control means of the apparatus, and the same reference numerals are given to the portions corresponding to FIGS. 7 and 8 according to the fourth embodiment.
【０１２３】この実施形態７の特徴は、実施形態４に係
る図７の構成に対して、さらに光学ズーム操作手段２４
を設け、また、システム制御手段１６fとしては、図８
に示した構成に対して、さらに、２つのスイッチ２５
１，２６１、およびスイッチ制御手段２５２が追加され
ていることである。The feature of the seventh embodiment is that the optical zoom operating means 24 is further added to the configuration of the fourth embodiment shown in FIG.
8 as the system control means 16f.
In addition to the configuration shown in FIG.
1, 261 and the switch control means 252 are added.
【０１２４】この実施形態７の備える光学ズーム操作手
段２４、一方側のスイッチ２５１、およびスイッチ制御
手段２５２は、上記の実施形態６で説明した構成に対応
している。The optical zoom operating means 24, the switch 251 on one side, and the switch control means 252 of the seventh embodiment correspond to the configuration described in the sixth embodiment.
【０１２５】また、他方のスイッチ２６１は、動き検出
手段１０から積分手段２２１に入力される信号をＯＮ／
ＯＦＦするものであり、両スイッチ２５１，２６１が共
にスイッチ制御手段２５２の検出出力に基づいてＯＮ／
ＯＦＦ制御されるようになっている。The other switch 261 turns ON / OFF the signal input from the motion detecting means 10 to the integrating means 221.
Both switches 251 and 261 are turned ON / OFF based on the detection output of the switch control means 252.
OFF control is performed.
【０１２６】その他の構成は、図７および図８に示した
実施形態４の場合と同じであるから、ここでは詳しい説
明は省略する。The other structure is the same as that of the fourth embodiment shown in FIGS. 7 and 8, and a detailed description is omitted here.
【０１２７】次に、この実施形態７の画像動き補正装置
の動作について説明する。Next, the operation of the image motion correcting apparatus according to the seventh embodiment will be described.
【０１２８】実施形態６において、焦点距離を変化させ
る光学ズーム中は、動き検出手段１０による動き検出精
度が低下し、誤動作の原因になり得ることを説明した
が、このことは、実施形態４の構成においてもそのまま
当てはまる。In the sixth embodiment, it has been described that during the optical zoom for changing the focal length, the accuracy of the motion detection by the motion detection means 10 is reduced, which may cause a malfunction. The same holds true for the configuration.
【０１２９】そこで、この実施形態７では、実施形態６
と同様に、光学ズーム中は一方のスイッチ２５１と共に
スイッチ２６１も同時にＯＦＦとすることで、画像の動
き検出に基づく動き補正を停止するとともに、画像メモ
リ１９からの画像の切り出し位置の調整による動き補正
も同時に停止させるようにしている。Therefore, in the seventh embodiment, the sixth embodiment
Similarly to the above, during the optical zoom, the switch 261 is simultaneously turned off together with one of the switches 251 to stop the motion correction based on the detection of the motion of the image and to perform the motion correction by adjusting the cutout position of the image from the image memory 19. Is also stopped at the same time.
【０１３０】このようにすれば、光学ズーム中でも誤動
作が無く、高精度に動き補正が可能な撮像装置を実現す
ることができる。In this way, it is possible to realize an imaging apparatus which does not malfunction even during optical zooming and can perform motion correction with high accuracy.
【０１３１】なお、本実施の形態における他の構成、動
作、作用等は実施の形態４および実施の形態６と同様で
あるため説明は省略する。Note that other configurations, operations, operations, and the like in the present embodiment are the same as those in the fourth and sixth embodiments, and therefore description thereof is omitted.
【０１３２】また、光学ズーム中は、スイッチ２６１を
単純にＯＦＦにするのではなく、動き検出手段１０によ
る処理や積分手段２２１による処理、さらには画像メモ
リ駆動制御手段２０を同時に停止させて消費電力の低減
を図ることも可能である。Also, during the optical zoom, the power consumption is reduced by simply stopping the switch 261 and stopping the processing by the motion detecting means 10 and the integrating means 221 and the image memory drive control means 20 at the same time. Can also be reduced.
【０１３３】また、この実施形態７の構成に対して、上
記の実施形態２，３で説明したように、振動帯域検出手
段１７３と焦点距離検出手段１８３の一方または両方、
および２つの乗算器１７１，１７２を設けることも可能
である。In addition to the configuration of the seventh embodiment, as described in the second and third embodiments, one or both of the vibration band detecting means 173 and the focal length detecting means 183,
And two multipliers 171 and 172 can be provided.
【０１３４】なお、上記の各実施形態１〜７の説明にお
いては、撮像装置の表示方式については、特に言及しな
かったが、本発明は、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等
のいかなる表示方式を採用した撮像装置においても適用
可能である。また、撮像装置の固体撮像素子６の素子数
に関しても、特に言及しなかったが、単板式撮像装置、
２板式撮像装置、３板式撮像装置のいずれの撮像装置に
おいても、本発明が有効である。また、固体撮像素子で
はなく撮像管を用いた撮像装置においても同様に本発明
が有効である。In the description of each of the first to seventh embodiments, the display method of the image pickup apparatus is not particularly mentioned, but the present invention employs any display method such as NTSC, PAL, SECAM and the like. The present invention is also applicable to an imaging device. Also, the number of the solid-state imaging device 6 of the imaging device was not particularly mentioned, but a single-plate imaging device,
The present invention is effective in any of the two-chip imaging device and the three-chip imaging device. In addition, the present invention is similarly effective in an imaging device using an imaging tube instead of a solid-state imaging device.
【０１３５】その他の変形例 上記の各実施形態１〜７に対して、次のような構成の変
更を加えることが可能である。 Other Modifications The following modifications of the embodiments 1 to 7 can be made.
【０１３６】(１) 上記の各実施形態１〜７において、
光学的振れ補正系１は、可変頂角プリズム(ＶＡＰ)とし
て説明を行ったが、これに限るものではなく、撮像光学
系４に対して相対的に駆動されることにより光軸補正を
実現する手段、例えば、複数のレンズからなりそのレン
ズの一部または全てを光軸に直交する方向にシフトさせ
ることで光軸を移動させる手段(例えば、特願昭６３−
２０１６２２号に開示されている手段)であっても、光
学的振れ補正系１として使用することができる。(1) In each of the above embodiments 1 to 7,
Although the optical shake correction system 1 has been described as a variable apex angle prism (VAP), the present invention is not limited to this, and the optical shake correction is realized by being driven relatively to the imaging optical system 4. Means, for example, means for moving the optical axis by shifting some or all of the lenses in a direction orthogonal to the optical axis, comprising a plurality of lenses (for example, Japanese Patent Application No.
2016162) can be used as the optical shake correction system 1.
【０１３７】また、光学的振れ補正系１として、撮像光
学系４および固体撮像素子６等を撮像装置の筺体に対し
て回動自在に支持および駆動することで、動きを補正す
る構成(例えば、”ビデオカメラの画振れ防止技術の開
発”テレビジョン学会技術報告Vol.11,No.28,pp19〜24
（1987)参照)）を採用することも可能である。Further, as the optical shake correction system 1, a configuration for correcting movement (for example, by supporting and driving the imaging optical system 4, the solid-state imaging device 6, etc., rotatably with respect to the housing of the imaging device). "Development of Image Shake Prevention Technology for Video Cameras" Technical Report of the Institute of Television Engineers of Japan, Vol.11, No.28, pp19-24
(See (1987))).
【０１３８】(２) 上記の各実施形態１〜７において、
動き検出手段１０による動き検出は、毎フィールド行う
ものとして説明したが、これに限るものではなく、例え
ば、２フィールドに一度ずつ動き検出を行い、動き検出
を行わないフィールドでは、前フィールドまでに得られ
た動き検出結果を基に、画像の動きを予測し、画像の動
き補正を行うような構成も考えられる。さらに、フレー
ム毎に動き検出を行う構成も考えられる。(2) In each of the above embodiments 1 to 7,
Although the motion detection by the motion detecting means 10 has been described as being performed every field, the present invention is not limited to this. For example, motion detection is performed once every two fields, and in a field where no motion detection is performed, the motion is detected before the previous field. A configuration in which the motion of an image is predicted based on the obtained motion detection result and the motion of the image is corrected may be considered. Furthermore, a configuration in which motion detection is performed for each frame is also conceivable.
【０１３９】(３) 各システム制御手段１６a〜１６f
は、電子回路、もしくはマイクロコンピュ−タ上でのソ
フトウエア処理により実現することが可能であることは
言うまでもない。(3) Each system control means 16a to 16f
Can be realized by an electronic circuit or software processing on a microcomputer.
【０１４０】(４) システム制御手段１６a〜１６fを構
成する変換手段１６２において、検出ベクトルを移動角
度(角速度)に変換する場合に、撮像光学系駆動制御手段
５により得られる撮像光学系４の焦点距離に関する情報
を用いることとしたが、これに限るものではなく、例え
ば、赤外線等を用いた測距手段によって撮像装置と被写
体との距離を測定し、この距離情報を上記焦点距離情報
の代わりに用いることも可能である。(4) When the conversion means 162 constituting the system control means 16a to 16f converts the detection vector into a moving angle (angular velocity), the focus of the imaging optical system 4 obtained by the imaging optical system drive control means 5 Although it was decided to use information about the distance, the present invention is not limited to this.For example, the distance between the imaging device and the subject is measured by a distance measuring unit using infrared rays or the like, and this distance information is used instead of the focal length information. It is also possible to use.
【０１４１】[0141]
【発明の効果】本発明によれば、撮像装置自体の動きを
検出する手段と、画像信号から画像の動きを検出する手
段とを備え、これら２つの検出手段から得られた情報の
双方に基づきいて画像の振れを補正するようにしている
ので、焦点距離に拘わらず一定の補正画角を確保するこ
とができ、かつ、高精度な動き補正を実現できる画像動
き補正装置を実現することができる。これに加えて、画
像動き補正装置の低消費電力化も可能であるという効果
を奏する。According to the present invention, there are provided means for detecting the movement of the image pickup apparatus itself and means for detecting the movement of the image from the image signal, based on both information obtained from these two detection means. In addition, since the image blur is corrected, a fixed correction angle of view can be ensured regardless of the focal length, and an image motion correction device that can realize high-precision motion correction can be realized. . In addition to this, there is an effect that the power consumption of the image motion correction device can be reduced.
【図１】本発明の実施形態１に係る画像動き補正装置の
全体を示すブロック図である。FIG. 1 is a block diagram illustrating an entire image motion correcting apparatus according to a first embodiment of the present invention.
【図２】同装置を構成する動き検出手段を示すブロック
図である。FIG. 2 is a block diagram showing a motion detecting means constituting the apparatus.
【図３】同装置を構成するシステム制御手段を示すブロ
ック図である。FIG. 3 is a block diagram showing a system control unit constituting the apparatus.
【図４】本発明の実施形態２に係る画像動き補正装置を
構成するシステム制御手段を示すブロック図である。FIG. 4 is a block diagram illustrating a system control unit included in the image motion correction device according to the second embodiment of the present invention.
【図５】本発明の実施形態２による重み付けのための乗
数αの値を決定する一方法を説明するグラフである。FIG. 5 is a graph illustrating a method for determining a value of a multiplier α for weighting according to a second embodiment of the present invention.
【図６】本発明の実施形態３に係る画像動き補正装置を
構成するシステム制御手段を示すブロック図である。FIG. 6 is a block diagram illustrating a system control unit included in an image motion correction device according to a third embodiment of the present invention.
【図７】本発明の実施形態４に係る画像動き補正装置の
全体を示すブロック図である。FIG. 7 is a block diagram showing an entire image motion compensating apparatus according to Embodiment 4 of the present invention.
【図８】同装置を構成するシステム制御手段を示すブロ
ック図である。FIG. 8 is a block diagram showing system control means constituting the apparatus.
【図９】本発明の実施形態４に係る画像の拡大処理のよ
る動き補正の原理を説明するための図である。FIG. 9 is a diagram for explaining the principle of motion correction by image enlargement processing according to the fourth embodiment of the present invention.
【図１０】本発明の実施形態６に係る画像動き補正装置
の全体を示すブロック図である。FIG. 10 is a block diagram illustrating an entire image motion compensating apparatus according to a sixth embodiment of the present invention.
【図１１】同装置を構成するシステム制御手段を示すブ
ロック図である。FIG. 11 is a block diagram showing system control means constituting the apparatus.
【図１２】本発明の実施形態７に係る画像動き補正装置
の全体を示すブロック図である。FIG. 12 is a block diagram illustrating the entirety of an image motion correction device according to a seventh embodiment of the present invention.
【図１３】同装置を構成するシステム制御手段を示すブ
ロック図である。FIG. 13 is a block diagram showing system control means constituting the apparatus.
１…光学的振れ補正系 ２…光学的振れ補正系駆動制御手段 ３…角度検出手段 ４…撮像光学系 ５…撮像光学系駆動制御手段 ６…固体撮像素子 ７…アナログ信号処理手段 ８…Ａ／Ｄ変換手段 ９…デジタル信号処理手段 １０…動き検出手段 １１…角速度センサ １２…アンプ １３…ＨＰＦ １４…ＬＰＦ １５…Ａ／Ｄ変換手段 １６a〜１６f…システム制御手段(合成手段） DESCRIPTION OF SYMBOLS 1 ... Optical shake correction system 2 ... Optical shake correction system drive control means 3 ... Angle detection means 4 ... Imaging optical system 5 ... Imaging optical system drive control means 6 ... Solid-state image sensor 7 ... Analog signal processing means 8 ... A / D conversion means 9 Digital signal processing means 10 Motion detection means 11 Angular velocity sensor 12 Amplifier 13 HPF 14 LPF 15 A / D conversion means 16 a to 16 f System control means (synthesis means)
Claims (10)
写体像を結像させるための撮像光学系、および光学的に
撮影画像の動きを補正する光学的振れ補正系からなる撮
像系と、前記光学的振れ補正系を駆動制御する光学的振
れ補正系駆動制御手段とを具備したものにおいて、 撮像装置自体の動きを検出するセンサと前記撮像系から
得られた画像信号に基づいて画像の動きを検出する動き
検出手段とが併設されるとともに、前記センサと前記動
き検出手段による動き検出結果の双方の信号に基づいて
駆動信号を形成する信号合成手段を備え、 この信号合成手段から出力される駆動信号によって、前
記光学的振れ補正系を駆動制御して画像の動きを補正す
ることを特徴とする画像動き補正装置。An imaging system including a solid-state imaging device, an imaging optical system for forming a subject image on the solid-state imaging device, and an optical shake correction system for optically correcting the movement of a captured image; An optical shake correction system driving control means for driving and controlling the optical shake correction system, wherein the sensor detects the movement of the imaging apparatus itself and the movement of the image based on an image signal obtained from the imaging system. And a signal synthesizing means for forming a driving signal based on both signals of the sensor and the motion detection result by the motion detecting means. The driving output from the signal synthesizing means is provided. An image motion compensating device, wherein a motion of an image is compensated by driving and controlling the optical shake compensating system according to a signal.
て、 前記信号合成手段は、センサにより検出された撮像装置
自体の動きに関する情報と、動き検出手段による動き検
出結果のそれぞれを、所定の乗数α，１−α（ただし、
０≦α≦１）でもって重み付けして信号を合成するもの
であることを特徴とする請求項１記載の画像動き補正装
置。2. The image motion compensating device according to claim 1, wherein the signal synthesizing unit is configured to convert the information on the motion of the imaging device itself detected by the sensor and the motion detection result by the motion detecting unit into a predetermined multiplier. α, 1-α (however,
2. The image motion compensating apparatus according to claim 1, wherein the signal is synthesized by weighting with 0 ≦ α ≦ 1).
て、 信号合成手段による合成とは、所定の乗数α，１−αで
重み付けされた両信号を加算する処理であることを特徴
とする画像動き補正装置。3. The image motion compensator according to claim 2, wherein the synthesizing by the signal synthesizing means is a process of adding both signals weighted by predetermined multipliers α and 1−α. Motion compensator.
て、 前記乗数αは、撮像装置自体の振動周波数帯域と撮像光
学系の焦点距離とのいずれか一方、または双方の情報に
基づいて決定されることを特徴とする画像動き補正装
置。4. The image motion compensator according to claim 2, wherein the multiplier α is determined based on information on one or both of a vibration frequency band of the imaging apparatus itself and a focal length of the imaging optical system. An image motion compensator characterized in that:
て、 前記乗数αは、撮像装置自体の振動の高周波帯域成分と
低周波帯域成分との比率、または両成分の差に応じて決
定されることを特徴とする画像動き補正装置。5. The image motion compensator according to claim 2, wherein the multiplier α is determined according to a ratio between a high frequency band component and a low frequency band component of vibration of the imaging device itself, or a difference between the two components. An image motion compensating device characterized by the above-mentioned.
補正装置において、 撮像装置自体の振動の周波数帯域成分は、センサ出力ま
たは動き検出手段の出力から抽出することを特徴とする
画像動き補正装置。6. The image motion compensator according to claim 4, wherein the frequency band component of the vibration of the image pickup device itself is extracted from a sensor output or an output of a motion detecting means. apparatus.
ら得られた画像信号を記憶する記憶手段と、この記憶手
段を駆動して画像信号の読み出しを制御する記憶手段駆
動制御手段とを設け、 前記合成手段から出力される駆動信号によって前記光学
的振れ補正系を駆動制御し、かつ、前記記憶手段駆動制
御手段は、前記動き検出手段による動き検出結果に基づ
いて算出された別の駆動信号によって前記記憶手段から
の画像信号の読み出しを制御して画像の動きを補正する
ことを特徴とする画像動き補正装置。7. A storage unit for storing an image signal obtained from an imaging system, a storage unit driving control unit for driving the storage unit and controlling reading of the image signal, in addition to the configuration according to claim 1. The drive control of the optical shake correction system is performed by a drive signal output from the synthesizing unit, and the storage unit drive control unit calculates another one calculated based on a motion detection result by the motion detection unit. An image motion compensator, wherein reading of an image signal from the storage means is controlled by a drive signal to compensate for image motion.
手段から読み出された画像信号に対し電子的拡大処理を
施す電子ズ−ム手段を設け、 前記合成手段から出力される駆動信号によって前記光学
的振れ補正系を駆動制御し、かつ、前記記憶手段駆動制
御手段は、前記電子ズ−ム手段からの指令によって電子
的拡大処理を実行する場合のみ、前記動き検出手段によ
る動き検出結果に基づいて算出された別の駆動信号によ
って前記記憶手段からの画像信号の読み出しを制御して
画像の動きを補正することを特徴とする画像動き補正装
置。8. A driving signal output from said synthesizing means, further comprising an electronic zooming means for performing an electronic enlarging process on the image signal read from said storage means. Drive control means for controlling the optical shake correction system, and the storage means drive control means performs a motion detection result by the motion detection means only when executing electronic enlargement processing in accordance with a command from the electronic zoom means. An image motion compensating apparatus for controlling reading of an image signal from the storage means by another drive signal calculated based on the above to correct motion of an image.
り、また、前記信号合成手段は、前記撮像光学系によっ
て焦点距離が変化している期間中に動き検出手段の検出
結果に基づいて得られる駆動信号の出力を停止する手段
を有しており、 前記撮像光学系によって焦点距離が変化している期間中
は、前記センサにより検出された撮像装置自体の動きに
関する情報から形成される駆動信号のみによりまた、焦
点距離が固定されている期間では、前記センサと前記動
き検出手段による動き検出結果の双方の信号に基づいて
形成される駆動信号により、それぞれ前記光学的振れ補
正系を駆動制御して画像の動きを補正するものであるこ
とを特徴とする画像動き補正装置。9. The configuration according to claim 1, wherein the imaging optical system is configured such that a focal length is adjustable, and the signal combining unit changes a focal length by the imaging optical system. A means for stopping the output of the drive signal obtained based on the detection result of the motion detection means during the period, and during the period when the focal length is changed by the imaging optical system, the detection is performed by the sensor. A drive signal formed only by a drive signal formed from information relating to the movement of the imaging device itself, and in a period in which the focal length is fixed, based on both signals of the sensor and the motion detection result by the motion detection means. Wherein the optical shake correction system is drive-controlled to correct the motion of the image.
り、また、前記信号合成手段は、前記撮像光学系によっ
て焦点距離が変化している期間中に動き検出手段による
検出結果に基づく駆動信号、ならびにこの動き検出手段
による動き検出結果に基づいて算出された別の駆動信号
の双方を停止する手段を有しており、 前記撮像光学系によって焦点距離が変化している期間中
は、前記センサにより検出された撮像装置自体の動きに
関する情報から形成される駆動信号のみによりまた、焦
点距離が固定されている期間では、前記センサと前記動
き検出手段による動き検出結果の双方の信号に基づいて
形成される駆動信号前記光学的振れ補正系を駆動制御
し、かつ、前記動き検出手段による動き検出結果に基づ
いて算出された別の駆動信号によって前記記憶手段から
の画像信号の読み出しを制御して、画像の動きを補正す
るものであることを特徴とする画像動き補正装置。10. The configuration according to claim 7, wherein the imaging optical system is configured such that a focal length is adjustable, and the signal combining unit varies a focal length by the imaging optical system. A driving signal based on the detection result by the motion detection means during the period, and a means for stopping both another drive signal calculated based on the motion detection result by the motion detection means, During the period in which the focal length is changing, only the drive signal formed from the information on the movement of the imaging device itself detected by the sensor, and in the period in which the focal length is fixed, the sensor and the motion detection are performed. A drive signal formed based on both signals of the motion detection result by the means for driving and controlling the optical shake correction system, and detecting the motion by the motion detection means And controls the reading of image signals from said memory means by another drive signal calculated on the basis of the result, the image movement correcting device, characterized in that corrects the motion of the image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31460496A JP3564247B2 (en) | 1996-11-26 | 1996-11-26 | Image motion compensation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31460496A JP3564247B2 (en) | 1996-11-26 | 1996-11-26 | Image motion compensation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10164425A true JPH10164425A (en) | 1998-06-19 |
| JP3564247B2 JP3564247B2 (en) | 2004-09-08 |
Family
ID=18055302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31460496A Expired - Fee Related JP3564247B2 (en) | 1996-11-26 | 1996-11-26 | Image motion compensation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3564247B2 (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001264834A (en) * | 2000-03-15 | 2001-09-26 | Canon Inc | Shake detector |
| JP2005049591A (en) * | 2003-07-28 | 2005-02-24 | Nikon Corp | Photographic lens and camera system |
| JP2005354218A (en) * | 2004-06-08 | 2005-12-22 | Nikon Corp | Blur correction apparatus and camera system |
| JP2006065103A (en) * | 2004-08-27 | 2006-03-09 | Nikon Corp | Blurring correcting apparatus and camera system |
| JP2006064776A (en) * | 2004-08-24 | 2006-03-09 | Canon Inc | Optical equipment |
| JP2006098541A (en) * | 2004-09-28 | 2006-04-13 | Nikon Corp | Camera |
| JP2007019571A (en) * | 2005-07-05 | 2007-01-25 | Canon Inc | Optical apparatus and control program thereof |
| JP2007243579A (en) * | 2006-03-08 | 2007-09-20 | Matsushita Electric Ind Co Ltd | Imaging apparatus |
| JP2009303236A (en) * | 2004-02-13 | 2009-12-24 | Qualcomm Inc | Adaptive image stability |
| WO2014050045A1 (en) * | 2012-09-27 | 2014-04-03 | 富士フイルム株式会社 | Body movement detection device and method |
| JP2014079558A (en) * | 2012-09-27 | 2014-05-08 | Fujifilm Corp | Device and method for detecting body movement |
| JP2015106148A (en) * | 2013-12-03 | 2015-06-08 | キヤノン株式会社 | Imaging apparatus and control method thereof |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0275284A (en) * | 1988-09-09 | 1990-03-14 | Canon Inc | Image pickup device |
| JPH0514801A (en) * | 1990-10-18 | 1993-01-22 | Fuji Photo Film Co Ltd | Jiggle correction device |
| JPH07123317A (en) * | 1993-10-21 | 1995-05-12 | Canon Inc | Photographing device with vibration proofing function |
| JPH07177418A (en) * | 1993-12-20 | 1995-07-14 | Canon Inc | Image blur preventing device |
-
1996
- 1996-11-26 JP JP31460496A patent/JP3564247B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0275284A (en) * | 1988-09-09 | 1990-03-14 | Canon Inc | Image pickup device |
| JPH0514801A (en) * | 1990-10-18 | 1993-01-22 | Fuji Photo Film Co Ltd | Jiggle correction device |
| JPH07123317A (en) * | 1993-10-21 | 1995-05-12 | Canon Inc | Photographing device with vibration proofing function |
| JPH07177418A (en) * | 1993-12-20 | 1995-07-14 | Canon Inc | Image blur preventing device |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001264834A (en) * | 2000-03-15 | 2001-09-26 | Canon Inc | Shake detector |
| JP2005049591A (en) * | 2003-07-28 | 2005-02-24 | Nikon Corp | Photographic lens and camera system |
| JP2009303236A (en) * | 2004-02-13 | 2009-12-24 | Qualcomm Inc | Adaptive image stability |
| JP2005354218A (en) * | 2004-06-08 | 2005-12-22 | Nikon Corp | Blur correction apparatus and camera system |
| JP2006064776A (en) * | 2004-08-24 | 2006-03-09 | Canon Inc | Optical equipment |
| JP2006065103A (en) * | 2004-08-27 | 2006-03-09 | Nikon Corp | Blurring correcting apparatus and camera system |
| JP4556560B2 (en) * | 2004-08-27 | 2010-10-06 | 株式会社ニコン | Blur correction device and camera system |
| JP2006098541A (en) * | 2004-09-28 | 2006-04-13 | Nikon Corp | Camera |
| JP4725063B2 (en) * | 2004-09-28 | 2011-07-13 | 株式会社ニコン | Image blur correction apparatus and camera |
| JP2007019571A (en) * | 2005-07-05 | 2007-01-25 | Canon Inc | Optical apparatus and control program thereof |
| JP4533266B2 (en) * | 2005-07-05 | 2010-09-01 | キヤノン株式会社 | Optical apparatus and control program thereof |
| JP2007243579A (en) * | 2006-03-08 | 2007-09-20 | Matsushita Electric Ind Co Ltd | Imaging apparatus |
| WO2014050045A1 (en) * | 2012-09-27 | 2014-04-03 | 富士フイルム株式会社 | Body movement detection device and method |
| JP2014064857A (en) * | 2012-09-27 | 2014-04-17 | Fujifilm Corp | Device and method for setting analysis point, and device and method for detecting body motion |
| JP2014079558A (en) * | 2012-09-27 | 2014-05-08 | Fujifilm Corp | Device and method for detecting body movement |
| US9619893B2 (en) | 2012-09-27 | 2017-04-11 | Fujifilm Coporation | Body motion detection device and method |
| JP2015106148A (en) * | 2013-12-03 | 2015-06-08 | キヤノン株式会社 | Imaging apparatus and control method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3564247B2 (en) | 2004-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8514288B2 (en) | Image capturing apparatus | |
| US5650819A (en) | Image pickup apparatus | |
| US9197817B2 (en) | Image blurring correction apparatus, control method thereof, optical device and imaging apparatus | |
| US8760526B2 (en) | Information processing apparatus and method for correcting vibration | |
| US9635258B2 (en) | Image pickup apparatus, method of controlling image pickup apparatus, image processing apparatus, and image processing method | |
| US8743268B2 (en) | Image capturing apparatus, control method therefor, and program for correcting shift based on shift amount in image plane | |
| US20060132612A1 (en) | Motion picture taking apparatus and method | |
| JPH09322057A (en) | Image pickup device | |
| US20020063779A1 (en) | Electronic image movement correcting device with a variable correction step feature | |
| JP2009284394A (en) | Imaging apparatus and imaging method | |
| JP3564247B2 (en) | Image motion compensation device | |
| JP3250245B2 (en) | Anti-vibration camera | |
| JP6932531B2 (en) | Image blur correction device, image pickup device, control method of image pickup device | |
| JP6824710B2 (en) | Zoom control device and zoom control method, imaging device | |
| JP6643095B2 (en) | Image blur correction apparatus and control method thereof, program, storage medium | |
| JP2002359768A (en) | Device and method for correcting motion of image | |
| JP2007036742A (en) | Method and apparatus for synthesizing multiple images | |
| JP2005303933A (en) | Imaging pickup device | |
| JPH11266389A (en) | Image pickup device | |
| JP6584259B2 (en) | Image blur correction apparatus, imaging apparatus, and control method | |
| KR100498042B1 (en) | Device and method capable of acquisition stbilization image | |
| JP3402760B2 (en) | Imaging equipment | |
| JP2011135537A (en) | Imaging apparatus and control method of the same | |
| JP2000069353A (en) | Camera-shake detector and camera-shake correction device | |
| JPH11266391A (en) | Image pickup device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040601 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040607 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080611 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110611 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120611 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |