JPH05219420A - Image pickup device - Google Patents
Image pickup deviceInfo
- Publication number
- JPH05219420A JPH05219420A JP4016414A JP1641492A JPH05219420A JP H05219420 A JPH05219420 A JP H05219420A JP 4016414 A JP4016414 A JP 4016414A JP 1641492 A JP1641492 A JP 1641492A JP H05219420 A JPH05219420 A JP H05219420A
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- motion vector
- video signal
- correlation
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は撮像素子を用いた撮像装
置に係り、特に映像信号から撮像装置の振れを検出して
振れ補正機能を実現するに好適な検出方法をとる撮像装
置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image pickup apparatus using an image pickup element, and more particularly to an image pickup apparatus adopting a detection method suitable for detecting a shake of the image pickup apparatus from a video signal and realizing a shake correction function.
【０００２】[0002]
【従来の技術】ビデオ一体型カメラの普及に伴い、ユー
ザーが求める機能は多種多様化している。この機能の中
で、手振れによる画像の揺れを補正する手振れ補正機能
が近年注目されている。手振れ補正機能を実現する手段
として、例えば「純電子式画像揺れ補正システム」；テ
レビジョン学会技術報告Ｖｏｌ．１５，Ｎｏ．７，４３
〜４８頁（１９９１年１月）が提案されている。この公
知技術においては、撮像素子の受光面に配されている有
効画素の画素数よりも少ない画素数の領域を走査領域と
して、揺れを打ち消すように走査領域を移動させてい
る。そして、ポイントとなる揺れの検出には映像信号の
相関を用いている。すなわち、連続した２つのフィ−ル
ド間で映像信号を比較して、揺れの方向と揺れの大きさ
を表す動きベクトルを求めている。2. Description of the Related Art With the widespread use of video-integrated cameras, the functions required by users have been diversified. Among these functions, a camera shake correction function that corrects a shake of an image due to a camera shake has attracted attention in recent years. As a means for realizing the camera shake correction function, for example, “pure electronic image shake correction system”; Television Society Technical Report Vol. 15, No. 7,43
Pp. 48 (January 1991) are proposed. In this known technique, an area having a smaller number of pixels than the number of effective pixels arranged on the light receiving surface of the image pickup element is set as a scanning area, and the scanning area is moved so as to cancel the shake. Then, the correlation of the video signal is used for the detection of the shaking which is a point. That is, the video signal is compared between two consecutive fields to obtain a motion vector representing the direction of the shake and the magnitude of the shake.
【０００３】[0003]
【発明が解決しようとする課題】ところで、上記したよ
うに２つのフィ−ルド間で映像信号を比較するために
は、少なくとも片方のフィ−ルドの映像信号を記憶して
おく必要があり、このためのメモリが必要となる。ま
た、映像信号の比較を行う相関演算回路も必要となり、
これらの消費電力や規模を小さくすることが重要な課題
となる。By the way, in order to compare the video signals between the two fields as described above, it is necessary to store the video signals of at least one field. Memory is needed for this. Also, a correlation calculation circuit that compares the video signals is required,
Reducing these power consumption and scale is an important issue.
【０００４】本発明は上記の点に鑑みなされたもので、
その目的とするところは、メモリ容量の削減と相関演算
回数の低減を図ることができ、動きベクトル検出のため
の消費電力と回路規模を小さくすることが可能な撮像装
置を提供することにある。The present invention has been made in view of the above points,
It is an object of the present invention to provide an imaging device capable of reducing the memory capacity and the number of correlation calculations, and reducing the power consumption and circuit scale for motion vector detection.
【０００５】[0005]
【課題を解決するための手段】上記目的を達成するため
に、相関演算を行う映像信号の空間的な範囲を指定する
検出領域指定回路を設け、該検出領域指定回路で、有効
画素の一部の領域に対応する映像信号についてのみ相関
演算を行うように制御する。また、相関演算で動きベク
トルが求まらない場合には、指定領域を移動させるかも
しくは指定領域を広げるようにされる。In order to achieve the above object, a detection area designating circuit for designating a spatial range of a video signal for performing a correlation operation is provided, and the detection area designating circuit is used for a part of effective pixels. The control is performed so that the correlation calculation is performed only for the video signal corresponding to the area. If the motion vector cannot be obtained by the correlation calculation, the designated area is moved or the designated area is expanded.
【０００６】[0006]
【作用】有効画素の一部の領域に対応する映像信号につ
いてのみ相関演算を行うようにすれば、記憶すべき映像
信号量を少なくできるので、メモリ容量と相関演算回数
が少なくなる。したがって、消費電力及び回路規模を小
さくすることができる。一般的な撮影状態では、画面中
央に人間のような動く被写体を配し、画面上部には風景
のような静止した被写体が撮影される場合が多い。この
ような場合には、画面上部についてのみ相関演算を行っ
たほうが、画面全体で相関演算を行うより動きベクトル
の誤検出が少なくなる。一方、画面上部に青空のような
均一な被写体が撮影されると動きベクトルが求まらない
ので、そのような場合には動きベクトルが求まるまで相
関演算を行う領域を移動させるか広くすることにより、
動きベクトルの検出性能を維持する。If the correlation calculation is performed only for the video signal corresponding to a partial area of the effective pixel, the amount of the video signal to be stored can be reduced, and the memory capacity and the number of times of the correlation calculation are reduced. Therefore, the power consumption and the circuit scale can be reduced. In a general shooting state, a moving subject such as a human is placed in the center of the screen, and a stationary subject such as a landscape is shot in the upper part of the screen in many cases. In such a case, performing the correlation calculation only on the upper portion of the screen causes less false detection of the motion vector than performing the correlation calculation on the entire screen. On the other hand, if a uniform subject such as a blue sky is photographed at the top of the screen, the motion vector cannot be obtained.In such a case, move or widen the area for correlation calculation until the motion vector is obtained. ,
Maintain motion vector detection performance.
【０００７】[0007]
【実施例】以下、本発明の実施例を図１〜図６によって
説明する。図１は本発明の第１実施例に係る撮像装置の
要部ブロック図である。同図において、１はレンズ、２
は撮像素子、３は信号処理回路、４はパルス発生回路、
５は動きベクトル検出回路、６はメモリ、７はメモリ制
御回路であり、動きベクトル検出回路５は、検出領域指
定回路５−１、メモリ制御回路５−２、メモリ５−３、
相関演算回路５−４、動きベクトル算出回路５−５を具
備している。上記構成において、レンズ１を通して撮像
素子２に入力された光は、撮像素子２によって光電変換
されて信号処理回路３に出力され、信号処理回路３で映
像信号に変換処理される。この信号処理回路３で生成さ
れた映像信号（揺れを抑圧する前の映像信号）ａは、動
きベクトル検出回路５に出力され、動きベクトル検出回
路５で手振れによる映像信号ａの動き量、すなわち動き
ベクトルを検出するようにされると共に、映像信号ａは
メモリ６に一旦書き込まれる。メモリ６から映像信号ａ
を読み出すときには、動きベクトル算出回路５−５から
出力される動きベクトルに基づいて、メモリ制御回路７
は上記動きを打ち消すようにメモリ６のアドレスを制御
する。そして、上記動作を毎フィ−ルド行うことによ
り、手振れによる画像の揺れが抑圧される。Embodiments of the present invention will be described below with reference to FIGS. FIG. 1 is a block diagram of a main part of an image pickup apparatus according to the first embodiment of the present invention. In the figure, 1 is a lens, 2
Is an image sensor, 3 is a signal processing circuit, 4 is a pulse generation circuit,
Reference numeral 5 is a motion vector detection circuit, 6 is a memory, and 7 is a memory control circuit. The motion vector detection circuit 5 includes a detection area designating circuit 5-1, a memory control circuit 5-2, a memory 5-3,
A correlation calculation circuit 5-4 and a motion vector calculation circuit 5-5 are provided. In the above configuration, the light input to the image pickup device 2 through the lens 1 is photoelectrically converted by the image pickup device 2 and output to the signal processing circuit 3 where it is converted into a video signal. The video signal (video signal before suppressing the shake) a generated by the signal processing circuit 3 is output to the motion vector detection circuit 5, and the motion vector detection circuit 5 causes a motion amount of the video signal a due to camera shake, that is, a motion. The vector is detected and the video signal a is once written in the memory 6. Video signal a from memory 6
Is read out, based on the motion vector output from the motion vector calculation circuit 5-5, the memory control circuit 7
Controls the address of the memory 6 so as to cancel the above movement. Then, by performing the above-mentioned operation every field, the shaking of the image due to the shaking of the hand is suppressed.
【０００８】次に、図１および図２を用いて上記動きベ
クトル検出回路５の動作を説明する。検出領域指定回路
５−１は、パルス発生回路４からの基準位相パルスｂに
基づいて領域指定信号ｃを出力する。この領域指定信号
ｃで指定された期間Ｔの間だけメモリ制御回路５−２に
よって上記した映像信号（揺れを抑圧する前の映像信
号）ａがメモリ５−３に書き込まれる。すなわち図２に
示したように、第ｎ−１番目のフィ−ルドの映像信号Ｓ
n-1 の斜線で示した部分のみがメモリ５−３に書き込ま
れる。このメモリ５−３に書き込まれた信号Ｕn-1 は、
次の第ｎ番目のフィ−ルドで読み出され、第ｎ番目のフ
ィ−ルドの映像信号Ｓn との相関について、期間Ｔの間
だけ相関演算回路５−４で演算されて相関が定量化され
る。そして、動きベクトル算出回路５−５は、相関演算
回路５−４からの出力信号に基づいて動きベクトルを算
出し、この動きベクトル算出回路５−５の出力が上述し
たようにメモリ制御回路７に送出されて、これにより手
振れによる画像の揺れを抑止する制御が行われる。Next, the operation of the motion vector detecting circuit 5 will be described with reference to FIGS. 1 and 2. The detection area designation circuit 5-1 outputs the area designation signal c based on the reference phase pulse b from the pulse generation circuit 4. The memory control circuit 5-2 writes the above-mentioned video signal (video signal before suppressing the shake) a in the memory 5-3 only during the period T designated by the area designating signal c. That is, as shown in FIG. 2, the video signal S of the (n-1) th field
Only the shaded portion of n-1 is written in the memory 5-3. The signal U n-1 written in the memory 5-3 is
The next n-th Fi - read in field, the n-th Fi - Correlation between field of the video signal S n, only quantify the correlation is calculated by the correlation calculation circuit 5-4 for a period T To be done. Then, the motion vector calculation circuit 5-5 calculates a motion vector based on the output signal from the correlation calculation circuit 5-4, and the output of this motion vector calculation circuit 5-5 is sent to the memory control circuit 7 as described above. It is sent out, and the control for suppressing the shaking of the image due to camera shake is thereby performed.
【０００９】斯様に本実施例においては、有効画素の一
部の領域に対応する映像信号についてのみ相関演算を行
うようにしているので、動きベクトル検出回路５のメモ
リ５−３に記憶すべき映像信号量を少なくでき、メモリ
容量と相関演算回数が低減できる。したがって、動きベ
クトル検出のための消費電力及び回路規模を小さくする
ことができる。As described above, in the present embodiment, since the correlation calculation is performed only for the video signal corresponding to a partial area of the effective pixel, it should be stored in the memory 5-3 of the motion vector detecting circuit 5. The video signal amount can be reduced, and the memory capacity and the number of correlation calculations can be reduced. Therefore, it is possible to reduce the power consumption and the circuit scale for motion vector detection.
【００１０】図３は本発明の第２実施例に係る撮像装置
の要部ブロック図である。同図において、前記図１の第
１実施例と均等なものには同一符号を付し、その説明は
重複を避けるため割愛する。本第２実施例と第１実施例
との相違は、動きベクトル算出回路５−５から、動きベ
クトルを算出できたか否かを知らせる算出可／不可識別
信号ｅが検出領域指定回路５−１に出力され、検出領域
指定回路５−１は、動きベクトル算出回路５−５が動き
ベクトルを算出できないときには、検出領域を移動させ
るように位相の異なる領域指定信号ｆを出力するように
した点にある。FIG. 3 is a block diagram of the essential parts of an image pickup apparatus according to the second embodiment of the present invention. In the figure, those equivalent to those of the first embodiment of FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted to avoid duplication. The difference between the second embodiment and the first embodiment is that the motion vector calculation circuit 5-5 sends to the detection area designation circuit 5-1 a calculation enable / disable identification signal e for notifying whether the motion vector has been calculated. When the motion vector calculation circuit 5-5 cannot calculate the motion vector, the detection area designation circuit 5-1 outputs the area designation signals f having different phases so as to move the detection area. ..
【００１１】以下、本第２実施例の動きベクトル検出回
路５の動作を、図３および図４，５によって説明する。
本実施例においては、検出領域指定回路５−１は、パル
ス発生回路４からの基準位相パルスｂに基づいて、図４
に示すように互いに位相の異なる領域指定信号ｆ1 、ｆ
2 、ｆ3 の中の１つを１フィールド期間内に択一的に出
力可能となっている。この領域指定信号ｆ1 またはｆ2
またはｆ3 で指定された期間Ｔ1 、Ｔ2 、Ｔ3 の１つに
おいて、前記第１実施例と同様に、メモリ制御回路５−
２によって前記した映像信号（揺れを抑圧する前の映像
信号）ａがメモリ５−３に書き込まれる。そして、この
メモリ５−３に書き込まれた信号は、次のフィ−ルドで
読み出され、該次のフィ−ルドの映像信号との相関につ
いて、期間Ｔ1 またはＴ2 またはＴ3 の間だけ相関演算
回路５−４で演算されて相関が定量化される。そして、
動きベクトル算出回路５−５は、相関演算回路５−４か
らの出力信号に基づいて動きベクトルを算出し、この動
きベクトル算出回路５−５の出力が上述したようにメモ
リ制御回路７に送出されて、これにより手振れによる画
像の揺れを抑止する制御が行われる。The operation of the motion vector detecting circuit 5 of the second embodiment will be described below with reference to FIGS. 3 and 4 and 5.
In the present embodiment, the detection area designating circuit 5-1 is based on the reference phase pulse b from the pulse generating circuit 4 as shown in FIG.
Area designation signals f 1 and f having different phases as shown in FIG.
One of 2 and f 3 can be selectively output within one field period. This area designation signal f 1 or f 2
Alternatively, in one of the periods T 1 , T 2 and T 3 designated by f 3 , the memory control circuit 5- is the same as in the first embodiment.
2, the above-mentioned video signal (video signal before suppressing shake) a is written in the memory 5-3. The signal written in the memory 5-3 is read out in the next field, and the correlation with the video signal in the next field is obtained only during the period T 1 or T 2 or T 3 . The correlation is calculated by the correlation calculation circuit 5-4 to quantify the correlation. And
The motion vector calculation circuit 5-5 calculates a motion vector based on the output signal from the correlation calculation circuit 5-4, and the output of this motion vector calculation circuit 5-5 is sent to the memory control circuit 7 as described above. As a result, control is performed to suppress image shake due to camera shake.
【００１２】いま、検出領域指定回路５−１が当初出力
すべき領域指定信号ｆがｆ1 に設定されており、期間Ｔ
1 における映像信号ａのサンプリングで、動きベクトル
算出回路５−５が動きベクトルを算出できなかったとき
には、動きベクトル算出回路５−５からこの旨を示す算
出可／不可識別信号ｅが検出領域指定回路５−１に出力
される。これによって、検出領域指定回路５−１は、領
域指定信号をｆ1 からｆ2 に切り換えて、検出領域を移
動させる（サンプリングと相関演算を実行する期間をＴ
1 からＴ2 に移動させる）。同様に、期間Ｔ2 において
動きベクトルが算出できなかったときには、検出領域指
定回路５−１は、領域指定信号をｆ2 からｆ3 に切り換
える。Now, the area designation signal f to be initially output by the detection area designation circuit 5-1 is set to f 1 , and the period T
When the motion vector calculation circuit 5-5 cannot calculate the motion vector in the sampling of the video signal a in 1 , the motion vector calculation circuit 5-5 outputs the calculation enable / disable identification signal e indicating this to the detection area designating circuit. It is output to 5-1. As a result, the detection area designating circuit 5-1 switches the area designating signal from f 1 to f 2 to move the detection area (the period for executing the sampling and the correlation calculation is T
Move from 1 to T 2 ). Similarly, when the motion vector cannot be calculated in the period T 2 , the detection area designating circuit 5-1 switches the area designating signal from f 2 to f 3 .
【００１３】上記した領域指定信号ｆ1 、ｆ2 、ｆ 3の
選択は、例えば図５のフローに従って行われる。まず、
図５のステップＳＴ１では、領域指定信号を基準値ｆ1
とするためｎ＝１が設定され、次のステップＳＴ２では
ｎの値に従った領域指定信号ｆn が選択・設定される
（当然、最初はｆn （ｆ）＝ｆ1 となる）。次のステッ
プＳＴ３では、領域指定信号で指定した期間で動きベク
トルが算出できたか否かが問われ、ＹＥＳ（算出可）な
らステップＳＴ４へ進み、ＮＯ（算出不可）ならステッ
プＳＴ７へ進む。ステップＳＴ４では、算出した動きベ
クトルに基づき手振れを補正しステップＳＴ５へ進む。
ステップＳＴ５では、用いた領域指定信号がｆ1 である
か否かが（ｎ＝１であるか否かが）問われ、ＹＥＳなら
直ちにステップＳＴ２へ戻り、ＮＯならステップＳＴ６
でｎ＝ｎ−１とした後、ステップＳＴ２へ戻る。すなわ
ち、本フローにおいては、領域指定信号ｆ1 を基準値と
しており、動きベクトルが算出できる限り領域指定信号
をｆ1 に近づけるように処理が実行される。一方、上記
ステップＳＴ７では、今回の演算で動きベクトルが算出
できなかったので、直前に算出した動きベクトルに基づ
き手振れを補正しステップＳＴ８へ進む。ステップＳＴ
８では、用いた領域指定信号がｆ3 であるか否かが（ｎ
＝３であるか否かが）問われ、ＹＥＳならステップＳＴ
９でｎ＝１とした後ステップＳＴ２へ戻り、ＮＯならス
テップＳＴ１０でｎ＝ｎ＋１とした後ステップＳＴ２へ
戻る。すなわち、動きベクトルが算出できなかった場合
には、次の領域指定信号を選択するための値を選択し、
次の領域指定信号ｆの選択・設定を行うようにされる。The selection of the area designating signals f 1 , f 2 and f 3 described above is performed, for example, according to the flow of FIG. First,
In step ST1 of FIG. 5, the area designation signal is set to the reference value f 1
Therefore, n = 1 is set, and in the next step ST2, the area designation signal f n according to the value of n is selected and set (of course, f n (f) = f 1 is set at the beginning). In the next step ST3, it is asked whether or not the motion vector can be calculated in the period designated by the area designation signal. If YES (calculation is possible), the process proceeds to step ST4. If NO (calculation is impossible), the process proceeds to step ST7. In step ST4, camera shake is corrected based on the calculated motion vector, and the process proceeds to step ST5.
In step ST5, it is asked whether or not the used area designating signal is f 1 (whether or not n = 1). If YES, the procedure immediately returns to step ST2, and if NO, step ST6.
After setting n = n−1, the process returns to step ST2. That is, in this flow, the area designating signal f 1 is used as the reference value, and the processing is executed so that the area designating signal approaches f 1 as long as the motion vector can be calculated. On the other hand, in step ST7, since the motion vector could not be calculated in this calculation, the camera shake is corrected based on the motion vector calculated immediately before, and the process proceeds to step ST8. Step ST
8, whether or not the used area designation signal is f 3 (n
= 3), if YES, step ST
After setting n = 1 in step 9 and returning to step ST2, if NO, setting n = n + 1 in step ST10 and then returning to step ST2. That is, when the motion vector cannot be calculated, a value for selecting the next area designation signal is selected,
The next area designation signal f is selected and set.
【００１４】なお、上記の例では領域指定信号ｆをｆ
1 、ｆ2 、ｆ3 の３種類としているが、領域指定信号ｆ
の種類は３種類に限定されるものではない。さらに、領
域指定信号ｆ1 、ｆ2 、ｆ3 は互いに一部オ−バ−ラッ
プするような位相としても良い。In the above example, the area designation signal f is changed to f
There are three types, 1 , f 2 , and f 3 , but the area designation signal f
The number of types is not limited to three. Further, the area designating signals f 1 , f 2 and f 3 may have phases such that they partially overlap each other.
【００１５】次に、本発明の第３実施例を図６によって
説明する。本第３実施例は、図示していないが前記図３
のブロック図（第２実施例）と同等の回路構成をとる。
本第３実施例は、動きベクトル算出回路５−５から、動
きベクトルを算出できたか否かを知らせる算出可／不可
識別信号ｅが検出領域指定回路５−１に出力される点は
第２実施例と同様であるも、動きベクトル算出回路５−
５が動きベクトルを算出できないときには、検出領域指
定回路５−１が、検出領域を広げるように長さ（期間
長）の異なる領域指定信号ｇを出力するようにした点が
第２実施例との相違点である。Next, a third embodiment of the present invention will be described with reference to FIG. The third embodiment is not shown in FIG.
The circuit configuration is the same as that of the block diagram (second embodiment).
In the third embodiment, the second embodiment is that the motion vector calculation circuit 5-5 outputs a calculation enable / disable determination signal e indicating whether or not the motion vector has been calculated to the detection area designation circuit 5-1. Although similar to the example, the motion vector calculation circuit 5-
In the second embodiment, the detection area designating circuit 5-1 outputs the area designating signals g having different lengths (period lengths) so as to widen the detection area when the motion vector 5 cannot be calculated. It is a difference.
【００１６】すなわち本実施例においては、検出領域指
定回路５−１は、パルス発生回路４からの基準位相パル
スｂに基づいて、図６に示すように互いに長さ（幅）の
異なる領域指定信号ｇ1 、ｇ2 、ｇ3 の中の１つを１フ
ィールド期間内に択一的に出力可能となっている。この
領域指定信号ｇ1 またはｇ2 またはｇ 3で指定された期
間ｔ1 、ｔ2 、ｔ3 の１つにおいて、前記第１，第２実
施例と同様に、メモリ制御回路５−２によって前記した
映像信号（揺れを抑圧する前の映像信号）ａがメモリ５
−３に書き込まれる。そして、このメモリ５−３に書き
込まれた信号は、次のフィ−ルドで読み出され、該次の
フィ−ルドの映像信号との相関について、期間ｔ1 また
はｔ2 またはｔ3 の間だけ相関演算回路５−４で演算さ
れて相関が定量化される。そして、動きベクトル算出回
路５−５は、相関演算回路５−４からの出力信号に基づ
いて動きベクトルを算出し、この動きベクトル算出回路
５−５の出力が上述したようにメモリ制御回路７に送出
されて、これにより手振れによる画像の揺れを抑止する
制御が行われる。That is, in this embodiment, the detection area designating circuit 5-1 is based on the reference phase pulse b from the pulse generating circuit 4, and as shown in FIG. 6, area designating signals having different lengths (widths) from each other. One of g 1 , g 2 , and g 3 can be selectively output within one field period. In one of the periods t 1 , t 2 and t 3 designated by the area designation signal g 1 or g 2 or g 3 , the memory control circuit 5-2 performs the same operation as in the first and second embodiments. The recorded video signal (video signal before suppressing the shake) a is the memory 5
Written to -3. The signal written in the memory 5-3 is read out in the next field, and the correlation with the video signal in the next field is obtained only during the period t 1 or t 2 or t 3 . The correlation is calculated by the correlation calculation circuit 5-4 to quantify the correlation. Then, the motion vector calculation circuit 5-5 calculates a motion vector based on the output signal from the correlation calculation circuit 5-4, and the output of this motion vector calculation circuit 5-5 is sent to the memory control circuit 7 as described above. It is sent out, and the control for suppressing the shaking of the image due to camera shake is thereby performed.
【００１７】いま、検出領域指定回路５−１が当初出力
すべき領域指定信号ｇがｇ1 に設定されており、期間ｔ
1 における映像信号ａのサンプリングで、動きベクトル
算出回路５−５が動きベクトルを算出できなかったとき
には、動きベクトル算出回路５−５からこの旨を示す算
出可／不可識別信号ｅが検出領域指定回路５−１に出力
される。これによって、検出領域指定回路５−１は、領
域指定信号をｇ1 からｇ2 に切り換えて、検出領域を拡
大させる（サンプリングと相関演算を実行する期間をｔ
1 からｔ2 に広げる）。同様に、期間ｔ2 において動き
ベクトルが算出できなかったときには、検出領域指定回
路５−１は、領域指定信号をｇ2 からｇ3 に切り換え
て、さらに検出領域を拡大させる。Now, the area designation signal g to be initially output by the detection area designation circuit 5-1 is set to g 1 , and the period t
When the motion vector calculation circuit 5-5 cannot calculate the motion vector in the sampling of the video signal a in 1 , the motion vector calculation circuit 5-5 outputs the calculation enable / disable identification signal e indicating this to the detection area designating circuit. It is output to 5-1. As a result, the detection area designating circuit 5-1 switches the area designating signal from g 1 to g 2 to expand the detection area (the period for executing sampling and correlation calculation is t
Spread from 1 to t 2 ). Similarly, when the motion vector cannot be calculated during the period t 2 , the detection area designating circuit 5-1 switches the area designating signal from g 2 to g 3 to further expand the detection area.
【００１８】斯様な領域指定信号ｇ1 、ｇ2 、ｇ 3の選
択は、例えば前記した図５のフローとほぼ同様のフロー
に従って行われることは当業者には自明である。但し、
本実施例では図５のステップＳＴ９の処理（ｎ＝１の処
理）は必要ない。なぜならば、ｎが最大の場合には検出
領域が最も広いので、その時に動きベクトルが算出でき
なくても、最も広い検出領域のまま保持している方がよ
いからである。It is obvious to those skilled in the art that such selection of the area designating signals g 1 , g 2 and g 3 is performed according to a flow substantially similar to the flow of FIG. 5 described above. However,
In this embodiment, the process of step ST9 of FIG. 5 (the process of n = 1) is not necessary. This is because the detection area is the largest when n is the maximum, and it is better to keep the detection area as the largest even if the motion vector cannot be calculated at that time.
【００１９】[0019]
【発明の効果】以上のように本発明によれば、有効画素
の一部の領域に対応する映像信号についてのみ相関演算
を行うようにしているので、記憶すべき映像信号量を少
なくできてメモリ容量を低減でき、しかも相関演算回数
を少なくすることができる。したがって、手振れ補正効
果を維持しながら動きベクトル検出のための消費電力及
び回路規模を小さくすることができる。As described above, according to the present invention, the correlation calculation is performed only for the video signal corresponding to a partial area of the effective pixel, so that the video signal amount to be stored can be reduced and the memory can be reduced. The capacity can be reduced and the number of correlation calculations can be reduced. Therefore, it is possible to reduce the power consumption and the circuit scale for motion vector detection while maintaining the camera shake correction effect.
【図１】本発明の第１実施例に係る撮像装置の要部構成
を示すブロック図である。FIG. 1 is a block diagram showing a main configuration of an image pickup apparatus according to a first embodiment of the present invention.
【図２】本発明の第１実施例の動作を説明するためのタ
イミングチャ−ト図である。FIG. 2 is a timing chart for explaining the operation of the first embodiment of the present invention.
【図３】本発明の第２実施例に係る撮像装置の要部構成
を示すブロック図である。FIG. 3 is a block diagram showing a main configuration of an image pickup apparatus according to a second embodiment of the present invention.
【図４】本発明の第２実施例の動作を説明するためのタ
イミングチャ−ト図である。FIG. 4 is a timing chart for explaining the operation of the second embodiment of the present invention.
【図５】本発明の第２実施例で実行される処理フローの
１例を示すフロ−チャ−ト図である。FIG. 5 is a flowchart showing an example of a processing flow executed in the second embodiment of the present invention.
【図６】本発明の第３実施例の動作を説明するためのタ
イミングチャ−ト図である。FIG. 6 is a timing chart for explaining the operation of the third embodiment of the present invention.
１ レンズ ２ 撮像素子 ３ 信号処理回路 ４ パルス発生回路 ５ 動きベクトル検出回路 ５−１ 検出領域指定回路 ５−２ メモリ制御回路 ５−３ メモリ ５−４ 相関演算回路 ５−５ 動きベクトル算出回路 ６ メモリ ７ メモリ制御回路 ａ 揺れを抑圧する前の映像信号 ｂ 基準位相パルス ｃ，ｆ1〜ｆ3，ｇ1〜ｇ3 領域指定信号 ｄ メモリの出力信号 ｅ 算出可／不可識別信号 Ｓn-1 第ｎ−１番目のフィ−ルドの映像信号 Ｓn 第ｎ番目のフィ−ルドの映像信号 Ｕn-1 第ｎ−１番目のフィ−ルドにおけるメモリ５−
３の出力信号 Ｔ，Ｔ1〜Ｔ3，ｔ1〜ｔ3 メモリ５−３の書き込み／読
み出し動作及び相関演算を実行する期間DESCRIPTION OF SYMBOLS 1 lens 2 image sensor 3 signal processing circuit 4 pulse generation circuit 5 motion vector detection circuit 5-1 detection area designation circuit 5-2 memory control circuit 5-3 memory 5-4 correlation calculation circuit 5-5 motion vector calculation circuit 6 memory 7 video signal before suppressing memory control circuit a sway b reference phase pulse c, f 1 ~f 3, g 1 ~g 3 region specifying signal d memory output signal e calculated enable / disable identification signal S n-1 second Video signal of n-1th field S n Video signal of nth field U n-1 Memory in n-1st field 5-
3 output signal T, T 1 to T 3 , t 1 to t 3 period for executing write / read operation of memory 5-3 and correlation calculation
Claims (4)
映像信号を生成する信号処理回路と、該信号処理回路か
ら出力される映像信号を用いて画像の動きベクトルを検
出する動きベクトル検出回路とを具備し、上記動きベク
トル検出回路は、上記映像信号を記憶するメモリと、該
メモリから出力される映像信号と上記信号処理回路から
出力される映像信号との相関を演算により定量化する相
関演算回路と、検出領域指定回路とを備え、上記撮像素
子に配された有効画素領域の一部で、かつ、上記検出領
域指定回路で指定した画素領域から生成した映像信号に
ついてのみ上記相関演算を行うことを特徴とする撮像装
置。1. An image sensor, a signal processing circuit for generating a video signal from an output signal of the image sensor, and a motion vector detection circuit for detecting a motion vector of an image using the video signal output from the signal processing circuit. The motion vector detection circuit comprises a memory for storing the video signal, and a correlation for quantifying a correlation between the video signal output from the memory and the video signal output from the signal processing circuit by calculation. The correlation calculation is performed only on a video signal which is provided with a calculation circuit and a detection area designating circuit, and which is a part of the effective pixel area arranged in the image sensor and which is generated from the pixel area designated by the detection area designating circuit. An imaging device characterized by performing.
映像信号を生成する信号処理回路と、該信号処理回路か
ら出力される映像信号を用いて画像の動きベクトルを検
出する動きベクトル検出回路とを具備し、上記動きベク
トル検出回路は、上記映像信号を記憶するメモリと、該
メモリから出力される映像信号と上記信号処理回路から
出力される映像信号との相関を演算により定量化する相
関演算回路と、該相関演算回路からの出力信号に基づい
て動きベクトルを算出する動きベクトル算出回路と、検
出領域指定回路とを備え、上記撮像素子に配された有効
画素領域の一部で、かつ、上記検出領域指定回路で指定
した画素領域から生成した映像信号についてのみ上記相
関演算を行うとともに、上記動きベクトル算出回路で動
きベクトルを算出できない時には、上記検出領域指定回
路で指定する画素領域を移動させることを特徴とする撮
像装置。2. An image sensor, a signal processing circuit for generating a video signal from an output signal of the image sensor, and a motion vector detection circuit for detecting a motion vector of an image using the video signal output from the signal processing circuit. The motion vector detection circuit comprises a memory for storing the video signal, and a correlation for quantifying a correlation between the video signal output from the memory and the video signal output from the signal processing circuit by calculation. An arithmetic circuit, a motion vector calculation circuit that calculates a motion vector based on an output signal from the correlation arithmetic circuit, and a detection area designating circuit, and a part of the effective pixel area arranged in the image sensor, and , The correlation calculation is performed only on the video signal generated from the pixel area specified by the detection area specifying circuit, and the motion vector can be calculated by the motion vector calculating circuit. An imaging device characterized by moving a pixel area designated by the detection area designation circuit when the pixel area cannot be reached.
映像信号を生成する信号処理回路と、該信号処理回路か
ら出力される映像信号を用いて画像の動きベクトルを検
出する動きベクトル検出回路とを具備し、上記動きベク
トル検出回路は、上記映像信号を記憶するメモリと、該
メモリから出力される映像信号と上記信号処理回路から
出力される映像信号との相関を演算により定量化する相
関演算回路と、該相関演算回路からの出力信号に基づい
て動きベクトルを算出する動きベクトル算出回路と、検
出領域指定回路とを備え、上記撮像素子に配された有効
画素領域の一部で、かつ、上記検出領域指定回路で指定
した画素領域から生成した映像信号についてのみ上記相
関演算を行うとともに、上記動きベクトル算出回路で動
きベクトルを算出できない時には、上記検出領域指定回
路で指定する画素領域を広げることを特徴とする撮像装
置。3. An image sensor, a signal processing circuit for generating a video signal from an output signal of the image sensor, and a motion vector detection circuit for detecting a motion vector of an image using the video signal output from the signal processing circuit. The motion vector detection circuit comprises a memory for storing the video signal, and a correlation for quantifying a correlation between the video signal output from the memory and the video signal output from the signal processing circuit by calculation. An arithmetic circuit, a motion vector calculation circuit that calculates a motion vector based on an output signal from the correlation arithmetic circuit, and a detection area designating circuit, and a part of the effective pixel area arranged in the image sensor, and , The correlation calculation is performed only on the video signal generated from the pixel area specified by the detection area specifying circuit, and the motion vector can be calculated by the motion vector calculating circuit. An imaging device characterized by expanding the pixel area designated by the detection area designating circuit when it is not possible.
ベクトル検出回路で検出した動きベクトルを用いて、画
像の揺れを抑圧することを特徴とする撮像装置。4. The image pickup device according to claim 1, wherein the motion vector detected by the motion vector detection circuit is used to suppress image shake.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4016414A JPH05219420A (en) | 1992-01-31 | 1992-01-31 | Image pickup device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4016414A JPH05219420A (en) | 1992-01-31 | 1992-01-31 | Image pickup device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05219420A true JPH05219420A (en) | 1993-08-27 |
Family
ID=11915582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4016414A Pending JPH05219420A (en) | 1992-01-31 | 1992-01-31 | Image pickup device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05219420A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998012869A1 (en) * | 1996-09-20 | 1998-03-26 | Sharp Kabushiki Kaisha | Movement detecting apparatus |
| WO2004077820A1 (en) * | 2003-02-25 | 2004-09-10 | Matsushita Electric Industrial Co. Ltd. | Image pickup processing method and image pickup apparatus |
| KR100849509B1 (en) * | 2007-02-09 | 2008-07-31 | 엠텍비젼 주식회사 | Input apparatus using global shutter driving type image sensor |
| KR102384366B1 (en) * | 2020-10-30 | 2022-04-07 | 에스에이티(주) | Cryogenic superconducting quadrupole magnet module |
-
1992
- 1992-01-31 JP JP4016414A patent/JPH05219420A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998012869A1 (en) * | 1996-09-20 | 1998-03-26 | Sharp Kabushiki Kaisha | Movement detecting apparatus |
| US6650362B1 (en) | 1996-09-20 | 2003-11-18 | Sharp Kabushiki Kaisha | Movement detecting apparatus with feature point extractor based on luminance gradient in current frame |
| WO2004077820A1 (en) * | 2003-02-25 | 2004-09-10 | Matsushita Electric Industrial Co. Ltd. | Image pickup processing method and image pickup apparatus |
| US7329057B2 (en) | 2003-02-25 | 2008-02-12 | Matsushita Electric Industrial Co., Ltd. | Image pickup processing method and image pickup apparatus |
| US7609951B2 (en) | 2003-02-25 | 2009-10-27 | Panasonic Corporation | Image pickup processing method and image pickup apparatus |
| US7859568B2 (en) | 2003-02-25 | 2010-12-28 | Panasonic Corporation | Image capturing processing method and system for performing roll correction |
| KR100849509B1 (en) * | 2007-02-09 | 2008-07-31 | 엠텍비젼 주식회사 | Input apparatus using global shutter driving type image sensor |
| KR102384366B1 (en) * | 2020-10-30 | 2022-04-07 | 에스에이티(주) | Cryogenic superconducting quadrupole magnet module |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100810310B1 (en) | Device and method for reconstructing picture having illumination difference | |
| US7705884B2 (en) | Processing of video data to compensate for unintended camera motion between acquired image frames | |
| JP4544332B2 (en) | Image processing apparatus, image processing method, and program | |
| US7509039B2 (en) | Image sensing apparatus with camera shake correction function | |
| US7817186B2 (en) | Camera and image processing method for synthesizing plural images forming one image group to generate a synthesized image | |
| US7697034B2 (en) | Moving image playback device with camera-shake correction function | |
| US9420195B2 (en) | Imaging apparatus, imaging method and recording medium | |
| JP2007135115A (en) | Image processor, image processing method, program for image processing method and recording medium with record of program for image processing method | |
| JP2006245726A (en) | Digital camera | |
| JP2008263262A (en) | Imaging device | |
| JP5829122B2 (en) | Imaging apparatus and evaluation value generation apparatus | |
| JP2000261715A (en) | Image composite device | |
| JPH05219420A (en) | Image pickup device | |
| JP2011114486A (en) | Imaging device | |
| JP2002247444A (en) | Image processor and recording medium for recording image processing program | |
| JP2002305682A (en) | Electronic camera and image processing system | |
| JPH1175105A (en) | Still image camera | |
| JP2014171145A (en) | Image pickup device, image pickup method, and program therefor | |
| JP5012656B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP4670631B2 (en) | Image processing apparatus, image processing method, program for image processing method, and recording medium recording program for image processing method | |
| JP2008028758A (en) | Photographing apparatus and its control method, and computer program | |
| JP4969371B2 (en) | Imaging device | |
| JPH0846856A (en) | Hand shake correcting device | |
| JPH1175106A (en) | Still image camera | |
| JP3286349B2 (en) | Image signal output control device |