JP3103897B2 - 手振れ補正装置および手振れ補正方法 - Google Patents

手振れ補正装置および手振れ補正方法

Info

Publication number
JP3103897B2
JP3103897B2 JP03055013A JP5501391A JP3103897B2 JP 3103897 B2 JP3103897 B2 JP 3103897B2 JP 03055013 A JP03055013 A JP 03055013A JP 5501391 A JP5501391 A JP 5501391A JP 3103897 B2 JP3103897 B2 JP 3103897B2
Authority
JP
Japan
Prior art keywords
motion vector
image data
field
camera shake
shake correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03055013A
Other languages
English (en)
Other versions
JPH04290385A (ja
Inventor
光晴 大木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP03055013A priority Critical patent/JP3103897B2/ja
Priority to KR1019920002726A priority patent/KR100256112B1/ko
Priority to US07/852,714 priority patent/US5210559A/en
Publication of JPH04290385A publication Critical patent/JPH04290385A/ja
Application granted granted Critical
Publication of JP3103897B2 publication Critical patent/JP3103897B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/238Analysis of motion using block-matching using non-full search, e.g. three-step search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005Blur detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、ビデオカメラ等の手
振れ画像を画像処理によって補正する手振れ補正装置に
関する。
【0002】
【従来の技術】最近の小型軽量ビデオカメラの中には、
手振れ補正装置を備えたものがある。手振れ対策には、
ジャイロや高速シャッターの採用によって手振れを起こ
りにくくする手振れ予防装置と、発生してしまった手振
れを画像処理によって補正する手振れ補正装置がある。
【0003】図7は手振れ補正の原理を示す説明図であ
る。図7(A)は動画像信号系列の任意フィールドの画
面を示し、仮に第1フィールドとする。Pは画面内の任
意の位置に設定された点であり、その画素データをA
(P)とする。
【0004】図7(B)は次のフィールド、すなわち第
2フィールドの画面である。画像データがB(Q)で表
わされる点Qは点Pに位置するはずであるが、手振れ
(カメラ振れ)のため動きベクトルVpだけはずれた位
置に変位している。
【0005】図7(C)はこのような第1フィールドと
第2フィールドとをそのまま重ね合わせた画面を示し、
重なり合うべき点PとQとが手振れのため分離した劣悪
な映像となる。
【0006】このような劣悪な映像を救済するため、図
7(B)において、点Pを原点とする捜索範囲Wを設定
し、捜索範囲W内で点Pの画素データAと最大の相関を
示す画素データBの占める位置、すなわち点Qを捜索す
る。最大相関を示す捜索点Qを点Pに対する画素対応点
とし、点P(原点)から点Qまでの距離と方向から動き
ベクトルVpを求める。
【0007】図7(D)は、このようにして得られた動
きベクトルVpによって、第1フィールドに対して第2
フィールドの映像位置を補正した画面を示し、第1フィ
ールドの点Pとこれに対応する第2フィールドの点Qと
が一致した良好な映像となる。
【0008】手振れ補正を行なうのに必要な動きベクト
ルの検出法の一例として代表点方式がある。
【0009】図8は従来の代表点方式による動きベクト
ル検出法を示す説明図である。
【0010】図において、Aijは第1フィールドを構
成する画素データ、P0,P1,P2,P3はフィール
ド内に設けられた代表点Pkを示し、その画素データを
Akで表わす。この例では説明の便宜上、k=0,1,
2,3の4点とした。Bijは第2フィールドを構成す
る画素データ、W0,W1,W2,W3は第1フィール
ドの代表点Pkを中心として第2フィールド上でPk対
応点を捜索する捜索範囲である。捜索範囲Wkは代表点
Pkを捜索原点とし、水平方向L、垂直方向Mの範囲に
設定される。
【0011】また、水平方向(H)±a、垂直方向
(V)±bの精度で動きベクトルを求める場合、捜索範
囲Wk内には図示のように2a(H),2b(V)の間
隔で捜索点Qk(l,m)が設定される。即ち、捜索範
囲Wk内における捜索点Qk(l,m)の密度は動きベ
クトルの精度を左右する。なお、ディジタル画像データ
の場合、捜索点Qk(l,m)の座標値l,mが小数で
与えられる時、即ち、捜索点が画素間に位置する時に
は、周知の補間法によって捜索点Qk(l,m)におけ
る画素データBk(l,m)を近隣の画素データから求
めればよいので、以下の説明ではアナログ画像データと
ディジタル画像データの区別は特記しない。
【0012】上例における第1フィールドに対する第2
フィールドの動きベクトルは次のようにして求める。捜
索範囲Wk内の捜索点Qk(l,m)における画素デー
タBk(l,m)と代表点Pkにおける画素データAk
間の差の絶対値をkについて合計して残差S(l,m)
を次のように求める。
【0013】S(l,m)=|B0(l,m)−A0|
+|B1(l,m)−A1|+|B2(l,m)−A2
|+|B3(l,m)−A3| 代表点Pkに対応する捜索範囲Wk内の捜索点Qk
(l,m)の総数はL/(2a)×M/(2b)個であ
るので、求めるべき残差S(l,m)の総数は同じくL
/(2a)×M/(2b)個であり、例えば次のような
ものである。
【0014】S(0,0),S(2a,0),S(−2
a,0),S(0,2b),S(0,−2b),・・
・,S(2a,2b),S(−2a,2b),・・・ これらのL/(2a)×M/(2b)個の残差S(l,
m)の内、最小の残差S(l0,m0)を求め、第1フ
ィールドの代表点Pkに対する第2フィールドの画素対
応点をQk(l0,m0)とする。このようにして、捜
索原点Pkから対応点Qk(l0,m0)までの距離と
方向により動きベクトルVpを求める。
【0015】第1フィールドに続いて第2フィールドを
表示する際に、この動きベクトルVpに基づいて、第1
フィールドの代表点Pkと第2フィールドの画素対応点
Qk(l0,m0)とが画面上同一位置に表示されるよ
うに第2フィールドの表示位置を修正すれば、ビデオカ
メラの手振れ等による画像のぶれを補正することができ
る。
【0016】図9は上述の手振れ補正原理に基づく従来
の装置を示すブロック図である。
【0017】図において、代表点メモリ11には、第1
フィールドの画像信号の入力期間中に代表点Pk(k=
0,1,2,3)の画素データAkが格納されているも
のとする。入力する第2フィールドの画像信号のうち、
代表点Qkにおける画素データBkはスイッチSW1を
介して代表点メモリ12に格納され、次の第3フィール
ドの画像信号処理における代表点Qkの画素データBk
となる。これと同時に、入力する第2フィールドの画像
信号は残差計算回路21の入力端211とフィールドメ
モリ41に供給される。
【0018】残差計算回路21は、スイッチSW2を介
して代表点メモリ11から入力端210に供給される画
素データAkと、入力端211に供給される第2フィー
ルドの画素データBijのうち捜索範囲Wk内の捜索点
Qk(l,m)における画素データBk(l,m)とか
ら、総数L/(2a)×M/(2b)個の残差S(l,
m)を求め、残差S(l,m)の途中結果または最終結
果を残差メモリ22に格納する。
【0019】残差メモリ22に格納された最終結果であ
る総数L/(2a)×M/(2b)個の残差S(l,
m)のうち最小の残差S(l0,m0)を動きベクトル
算出回路23によって検出し、捜索原点である代表点P
kからこの最小残差S(l0,m0)の位置Qk(l
0,m0)までの距離と方向により動きベクトルVpを
求め、これを制御回路51に出力する。
【0020】フィールドメモリ41に格納された第2フ
ィールドの画像信号を読み出す際に、制御回路51は過
去のすべての動きベクトルの累加算値と動きベクトル算
出回路23から供給された動きベクトルVpとを加算
し、その結果に基づいて第1フィールドに対する第2フ
ィールドの手振れによる画像の移動を補正する読み出し
アドレスRAをフィールドメモリ41に与える。このよ
うにして、第1フィールドの画像に対し手振れによる画
像移動を動きベクトルVpに基づいて補正した第2フィ
ールドの画像信号がフィールドメモリ41から出力され
る。
【0021】上述の従来構成において、スイッチSW1
は奇数フィールドの代表点の画素データを代表点メモリ
11に、また偶数フィールドの代表点の画素データを代
表点メモリ12に格納するように切り換えられる。スイ
ッチSW2はスイッチSW1とは逆の動作を行ない、残
差計算回路21に1フィールド前の代表点の画素データ
を供給する。このように代表点メモリを代表点メモリ1
1と12とで構成する2バンク方式は画像処理のリアル
タイム化のための常用手段である。
【0022】なお、上述の従来構成において、残差計算
回路21、残差メモリ22および動きベクトル算出回路
23は動きベクトル検出回路20を構成する。
【0023】更に、代表点メモリ11,12、動きベク
トル検出回路20、制御回路51、スイッチSW1,S
W2は手振れ補正回路としてワンチップ化されることが
多い。
【0024】
【発明が解決しようとする課題】上述のような従来の手
振れ補正装置に対して、補正精度の向上が要望されてい
た。即ち、動きベクトルの高精度化が要望されていた。
しかしながら、例えば動きベクトルの精度を3倍に高め
ようとする場合、計算すべき残差S(l,m)の総個数
は上述の説明から明かなように9倍(=3倍(H)×3
倍(V))に増加するので、9倍のメモリ容量をもった
残差メモリ22を必要とすることになる。このため、手
振れ補正回路をワンチップに収めることが困難となっ
て、小型軽量、低コストで、かつ高機能なビデオカメラ
を提供する上での障害となっていた。
【0025】従って、この発明は、あるフィールドの画
像信号が入力する期間に従来と同様の精度で動きベクト
ルを算出して第1動きベクトルとし、そのフィールドの
画像信号入力後、次のフィールドの画像信号が入力する
までの期間、即ち垂直帰線期間に第1動きベクトルに基
づいてより高精度な最終動きベクトルを求めるための第
2動きベクトルを算出することにより、手振れ補正回路
の規模を微増に抑えながら、手振れ補正の精度を従来よ
り格段に向上できる手振れ補正装置の提供を目的とする
ものである。
【0026】
【課題を解決するための手段】上述の課題を解決するた
め、この発明の手振れ補正装置においては、任意の第n
フィールド(nは正の整数)を代表する代表画像データ
を格納するメモリと、第(n+i)フィールド(iは正
の整数)の動画像データが入力する信号入力期間におい
て、代表画像データと対応する対応画像データを第(n
+i)フィールド内に第1捜索点密度で捜索して、対応
画像データの代表画像データに対する変位を第1動きベ
クトルとして出力する第1動きベクトル検出回路と、信
号入力期間に入力する第(n+i)フィールドの動画像
データを格納するフィールドメモリと、信号入力期間直
後の垂直帰線期間中に、第1動きベクトルの先端近傍に
おいて、第1捜索点密度よりも高い密度を持つ第2捜索
点密度でさらに対応画像データを捜索して、対応画像デ
ータの代表画像データに対する変位を最終動きベクトル
として出力する第2動きベクトル検出回路とを備え、フ
ィールドメモリに格納された第(n+i)フィールドの
動画像データを最終動きベクトルに対応させて読み出す
ものである。
【0027】また請求項2は、請求項1に記載の手振れ
補正装置において、第1及び第2動きベクトル検出回路
に替わる単一の動きベクトル検出回路を備え、単一の動
き検出回路は、信号入力期間には第1動きベクトルを出
力し、垂直帰線期間には最終動きベクトルを出力するよ
うに時分割制御されるものである。さらに請求項3は、
請求項1に記載の手振れ補正装置において、第1動きベ
クトル検出回路は、信号入力期間に第1動きベクトルを
複数個出力するものである。
【0028】また請求項4は、請求項2に記載の手振れ
補正装置において、第1動きベクトル検出回路は、信号
入力期間に第1動きベクトルを複数個出力するものであ
る。さらに請求項5は、請求項1に記載の手振れ補正装
置において、第1動きベクトルを出力するための代表画
像データ及び対応画像データの双方を予めスムージング
処理するローパスフィルタを備えるものである。
【0029】また、この発明の手振れ補正方法では、任
意の第nフィールド(nは正の整数)を代表する代表画
像データをメモリに格納するステップと、第(n+i)
フィールド(iは正の整数)の動画像データが入力する
信号入力期間において、代表画像データと対応する対応
画像データを第(n+i)フィールド内に第1捜索点密
度で捜索して、対応画像データの代表画像データに対す
る変位を第1動きベクトルとして出力する第1動きベク
トル検出ステップと、信号入力期間に入力する第(n+
i)フィールドの動画像データをフィールドメモリに格
納するステップと、信号入力期間直後の垂直帰線期間中
に、第1動きベクトルの先端近傍において、第1捜索点
密度よりも高い密度を持つ第2捜索点密度でさらに対応
画像データを捜索して、対応画像データの代表画像デー
タに対する変位を最終動きベクトルとして出力する第2
動きベクトル検出ステップと、フィールドメモリに格納
された第(n+i)フィールドの動画像データを最終動
きベクトルに対応させて読み出すステップとからなるも
のである。また、請求項7では、請求項6に記載の手振
れ補正方法において、第1動きベクトル検出ステップ
は、信号入力期間に第1動きベクトルを複数個出力する
ものである。さらに請求項8では、請求項6に記載の手
振れ補正方法において、第1動きベクトルを出力するた
めの代表画像データ及び対応画像データの双方を予めス
ムージング処理するローパスフィルタを備えるものであ
る。
【0030】
【作用】この発明においては、任意の第nフィールド
(nは正の整数)を代表する代表画像データがメモリに
格納される。また、第(n+i)フィールド(iは正の
整数)の動画像データが、第1動きベクトル検出回路に
供給されると共に、フィールドメモリに書き込まれる。
【0031】第(n+i)フィールドの信号入力期間に
おいて、第1動きベクトル検出回路では、メモリに格納
されている第nフィールドにおける代表点の画素データ
と、入力する第(n+i)フィールドの画素データとか
ら、第1捜索点密度に設定された各捜索点における残差
が計算される。
【0032】また、第1動きベクトル検出回路では、計
算された各残差のうち最小残差を示す捜索点に基づき第
1動きベクトルが求められる。
【0033】第(n+i)フィールドの信号入力期間直
後の垂直帰線期間において、第1の動きベクトルの先端
近傍の第(n+i)フィールドの画素データがフィール
ドメモリから読み出されて第2動きベクトル検出回路に
供給される。
【0034】第2動きベクトル検出回路では、メモリに
格納されている第nフィールドにおける代表点の画素デ
ータと、フィールドメモリから読み出された第(n+
i)フィールドの画素データとから、第1捜索点密度よ
りも高い密度を持つ第2捜索点密度に設定された各捜索
点における残差が計算されて、各残差のうち最小残差を
示す捜索点に基づき最終動きベクトルが求められる。
【0035】この最終動きベクトルに基づき、フィール
ドメモリに格納されている第(n+i)フィールドの画
素データに読み出しが制御される。
【0036】第(n+i+1)フィールドの信号入力期
間において、フィールドメモリに格納されている第(n
+i)フィールドの動画像データを最終動きベクトルに
対応させて読み出すことで、手振れ補正済みの第(n+
i)フィールドの動画像データを得られる。
【0037】上述のように作用するこの発明に係る手振
れ補正装置によれば、従来よりも高精度の最終動きベク
トルが回路規模を殆ど増大させることなく実現できる効
果がある。
【0038】
【実施例】続いて、この発明に係る手振れ補正装置の実
施例について、図面を参照して詳細に説明する。
【0039】図1はこの発明の一実施例を示すブロック
図であり、図9に示した従来例と同一の部分には同一の
参照符号を付して、その重複する説明は省略する。ま
た、入力信号がディジタル画像信号で捜索点の座標値
l,m等が小数になる場合、即ち、捜索点が画素間に位
置する場合、前述のように周知の補間法によって捜索点
に対応する画素データを近隣の画素データから求めれば
よいので、以下の説明においてディジタル信号かアナロ
グ信号かの区別には言及しない。
【0040】図において、11は奇数フィールド用代表
点メモリ、12は偶数フィールド用代表点メモリ、20
は動きベクトル検出回路、21は残差計算回路、22は
残差メモリ、23は動きベクトル算出回路、41はフィ
ールドメモリ、SW1とSW2はスイッチであり、いず
れも従来例と同様の構成である。
【0041】30は第2動きベクトル検出回路であり、
動きベクトル検出回路20と同様に構成され、第2残差
計算回路31、第2残差メモリ32、第2動きベクトル
算出回路33で構成される。第2動きベクトル検出回路
30は、第1動きベクトル検出回路20より出力される
第1動きベクトルV1をより高精度の最終動きベクトル
Vfとするために、第2動きベクトルV2を垂直帰線期
間に計算する回路である。
【0042】34はベクトル加算器であり、第1動きベ
クトルV1と第2動きベクトルV2をベクトル加算す
る。61は第1制御回路であり、第1動きベクトルV1
に対応してシフトした第1読み出しアドレスRA1をフ
ィールドメモリ41に出力する。71は第2制御回路で
あり、過去のフィールドにおける全ての最終動きベクト
ルの累加算値にベクトル加算器34からの最終動きベク
トルVfを加算し、この結果に対応してシフトした最終
読み出しアドレスRAfをフィールドメモリ41に出力
する。
【0043】SW3,SW4はスイッチであり、垂直帰
線期間は図示の位置、動画像信号の入力期間は図示と反
対の位置に切り換えられる。
【0044】図2はこの発明における動きベクトルV
1,V2の捜索範囲Wk,W′kを示す説明図であり、
入力する動画像の各フィールドにはこのような捜索範囲
が1箇所以上設定される。この例においては、従来例と
同様に、k=0,1,2,3の4箇所であり、第2フィ
ールドを仮定している。
【0045】各捜索範囲Wkの水平方向サイズL、垂直
方向のサイズMは予め定められた任意の大きさである。
「○」で図示した捜索点は第1フィールドに設定された
代表点Pkと同一の位置を捜索原点として、従来例と同
様2a(H)、2b(V)のピッチに設定されている。
このように定められた捜索点密度に基づいて得られる第
1動きベクトルV1の精度は±a(H)、±b(V)と
なる。
【0046】第2捜索範囲W′kは第1動きベクトルV
1の終点Qk(l1,m1)を捜索原点としてL′
(H)×M′(V)のサイズに設定される。従って、捜
索範囲Wk内における第2捜索範囲W′kの位置は求め
られた第1動きベクトルV1に依存することになる。
【0047】第2捜索範囲W′kのサイズL′(H)×
M′(V)は第1動きベクトルV1の精度によりL′≧
a、M′≧bの適当な値とされる。また、捜索点Qk
(ll,mm)は希望する最終動きベクトルの精度に応
じて2a(H)、2b(V)よりも小さなピッチとし、
この例では最終動きベクトルVfの精度が第1動きベク
トルV1の精度±a(H)、±b(V)の3倍となるよ
うに、2a/3(H)、2b/3(V)とされる。従っ
て、第2捜索点の密度は第1動きベクトルV1を求める
場合の9倍(3倍×3倍)となり、最終動きベクトルの
精度は±a/3(H)、±b/3(V)となる。
【0048】なお、第1動きベクトルV1は最小残差S
(l1,m1)を示す捜索点Qk(l1,m1)から得
られるので、このような最小残差S(l1,m1)を与
える捜索点が複数個得られる場合、その個数に対応して
第2捜索範囲W′kは複数組(一組の捜索範囲はこの場
合W′0,W′1,W′2,W′3)設けられる。更
に、第1動きベクトルV1の暫定性に鑑み、最小残差を
与える捜索点を第1候補、次位の最小残差を与える捜索
点を第2候補、・・・とし、複数の第1動きベクトルV
1を採用してもよい。この場合にも、複数組の第2捜索
範囲W′kが設定される。
【0049】複数の第1動きベクトルV1(1),V1
(2),・・・を採用した場合、複数組の第2捜索範囲
W′k(1),W′k(2),・・・の夫々について最
小第2残差S(l2,m2,1),S(l2,m2,
2),・・・を求め、これらのうち最小のものを採用し
てひとつの第2動きベクトルV2とすればよい。
【0050】図3は図1に示した手振れ補正装置におけ
る各部のタイミング図であり、画素データの入力を点
線、各メモリからの読み出しを実線、各メモリへの書き
込みを波線で示す。
【0051】図中、各信号入力期間T10〜T11、T
20〜T21、T30〜T31、・・・において、第
1、第2、第3、・・・フィールドの動画像信号Ai
j,Bij,A′ij,・・・が入力する。また、奇数
フィールドの代表点Pk,P′k,・・・の画素のデー
タAk,A′k,・・・は代表点メモリ11に、偶数フ
ィールドの代表点Qk,Q′k,・・・の画素データB
k,B′k,・・・は代表点メモリ12に書き込まれ
る。更に、フィールドメモリ41は1フィールド周期遅
れの手振れ補正された動画像信号Aij,Bij
(f),A′ij(f),・・・を出力すると同時に、
現に入力する動画像信号Aij,Bij,A′ij,
B′ij,・・・を取り込む。但し、期間T20〜T2
1に出力される動画像信号Aijは、先立つフィールド
がないので手振れ補正は零となり、Aijがそのまま出
力される。また、期間T10〜T11には出力すべき1
フィールド周期遅れの動画像信号は存在しないので、ヌ
ルデータまたは無効データが出力される。
【0052】一方、各垂直帰線期間T21〜T30、T
31〜T40、・・・において、第2動きベクトルV2
を検出するために第1読み出しアドレスRA1による第
2、第3フィールド・・・の画素データBij(1),
A′ij(1),・・・が読み出され、第2動きベクト
ル検出回路30の第2残差計算回路31にスイッチSW
4を介して供給される。
【0053】図3に示したタイミング図から明かなよう
に、各信号入力期間T20〜T30、T30〜T40、
・・・において、入力する第2フィールド以降の各動画
像信号Bij,A′ij,B′ij,・・・に対して、
同一の信号処理を繰り返し、引き続く信号入力期間T3
0〜T31、T40〜T41、・・・において手振れ補
正の施された動画像信号Bij(f),A′ij
(f),・・・を出力する。
【0054】従って、図1に示した実施例における第2
フィールドの動画像信号Bijについての処理を、1)
信号入力期間T20〜T21における第1動きベクトル
V1の検出、2)垂直帰線期間T21〜T30における
第2動きベクトルV2の検出、3)信号入力期間T30
〜T31における手振れ補正済みの第2フィールド動画
像信号B′ij(f)の出力、の3つに分けて説明す
る。
【0055】1)第1動きベクトルV1の検出(信号入
力期間T20〜T21):図1において、従来例と同様
の処理により動きベクトル検出回路20の動きベクトル
算出回路23から出力される動きベクトルは、第1動き
ベクトルV1として出力される。この第1動きベクトル
V1は第1制御回路61とベクトル加算器34に供給さ
れ、第1制御回路61は第1動きベクトルV1に対応し
た動き補正の施された第1読み出しアドレスRA1をフ
ィールドメモリ41に出力する。
【0056】これと同時に、動画像信号Bijはフィー
ルドメモリ41に書き込まれ、また第2フィールドの代
表点Qkは代表点メモリ12に書き込まれる。
【0057】2)第2動きベクトルV2の検出(垂直帰
線期間T21〜T30):垂直同期信号(図示しない)
によって制御されるスイッチSW3,SW4は図1に示
す位置に切り換えられる。従って、第1制御回路61か
ら出力される第1読み出しアドレスRA1はスイッチS
W3を介してフィールドメモリ41に供給され、フィー
ルドメモリ41は第1動きベクトルV1に対応した動き
補正の施された第2フィールドの画像信号Bij
(1)、即ち、各第2捜索点Qk(ll,mm)におけ
る画素データBk(ll,mm)をスイッチSW4を介
して第2残差計算回路31に供給する。また、代表点メ
モリ11は第1フィールドの代表点Pk(k=0,1,
2,3)の画素データAkをスイッチSW2を介してこ
の第2残差計算回路に供給する。
【0058】第2残差計算回路31は、第2捜索範囲
W′k内に第2捜索原点Qk(l1,m1)を中心とし
て第2の密度に設けられた各第2捜索点について、第2
残差S(ll,mm)=|B0(ll,mm)−A0|
+|B1(ll,mm)−A1|+|B2(ll,m
m)−A2|+|B3(ll,mm)−A3|を計算
し、中間結果または最終結果を第2残差メモリ32に格
納する。ここで、第2捜索点の個数は図2に示したよう
に少数であるので第2残差メモリ32の容量は小さくて
よい。従って、この実施例において従来構成に付加され
る回路規模は微増に止まる。
【0059】第2動きベクトル算出回路33は、第2残
差メモリ32に格納された第2残差S(ll,mm)の
うち最小の第2残差S(l2,m2)を検出し、点(l
1,m1)を始点とし、点(l2,m2)を終点とする
第2動きベクトルV2をベクトル加算器34に出力す
る。
【0060】ベクトル加算器34はこの第2動きベクト
ルV2と、動きベクトル算出回路23から供給される第
1動きベクトルV1とをベクトル加算し、最終動きベク
トルVfを第2制御回路71に出力する。
【0061】第2制御回路71は、過去の全ての最終動
きベクトルの累加算値にベクトル加算器から新たに供給
された第2フィールドに対する最終動きベクトルVfを
加算し、この結果に相当してアドレスシフトした最終読
み出しアドレスRAfをスイッチSW3を介してフィー
ルドメモリ41に供給する。ここで、過去の累加算値は
第2フィールドの場合、当然零である。
【0062】3)手振れ補正済み動画像信号Bij
(f)の出力(信号入力期間T30〜T31):スイッ
チSW3,SW4は信号入力期間T30〜T31では図
示とは逆の位置に切り換えられるので、フィールドメモ
リ41はスイッチSW3を介して最終読み出しアドレス
RAfを入力し、この最終読み出しアドレスRAfに従
って第1フィールドの画像に対して手振れ補正された第
2フィールドの画像信号Bij(f)を出力する。
【0063】以降、第3フィールドの動画像信号A′i
j、第4フィールドのそれB′ij,′に対して順次上
述した1)、2)、3)の処理を繰り返し、手振れ補正
が行なわれる。
【0064】図4はこの発明の他の実施例を示すブロッ
ク図である。
【0065】80は動きベクトル検出回路であり、図1
における動きベクトル検出回路20と第2動きベクトル
検出回路30の双方の機能を時分割で実行するように構
成されている。即ち、残差計算回路81、残差メモリ8
2、動きベクトル算出回路83によって構成される動き
ベクトル検出回路80の動作は、図1について上述した
動きベクトル検出回路20、プラス第2動きベクトル検
出回路30の動作と同様であるので、重複説明は省略す
る。
【0066】このような時分割制御を行なうため、スイ
ッチSW11,SW12,SW13が追加され、図には
垂直帰線期間におけるスイッチ位置を示す。信号入力期
間にはこれらのスイッチSW11,SW12,SW13
は図示とは反対の位置に切り換えられる。
【0067】84は第1動きベクトルV1を垂直帰線期
間中保持するベクトル保持回路であり、時分割制御を行
なうために追加されたものである。
【0068】図5はこの発明の第3実施例を示すブロッ
ク図である。90は入力する動画像信号のスムージング
処理を行なうローパスフィルタ(LPF)である。91
は奇数フィールドにおける代表点Pkの画素データとし
てローパスフィルタ90によってスムージングされたデ
ータを格納する代表点メモリである。92は偶数フィー
ルドにおける代表点Qkの画素データとしてスムージン
グされたデータを格納する代表点メモリである。
【0069】スイッチSW21はスイッチSW1と同様
に、またスイッチSW22はスイッチSW2と同様に各
フィールドの奇/偶と同期して切り換えられる。図は偶
数フィールド周期におけるスイッチ位置を示す。
【0070】第1動きベクトルV1を検出する動きベク
トル検出回路20の2つの入力の一方は、スイッチSW
22を介して供給されるスムージング処理された代表点
の画素データであり、他方はローパスフィルタ90から
供給されるスムージンク処理の施された動画像信号であ
る。従って、動きベクトル検出回路20の残差計算は、
所望する第1動きベクトルV1の精度に対応して複数の
画素データをスムージング処理により平均化したデータ
間の残差計算となり、この実施例によって求められる第
1動きベクトルV1はより的確なものとなる。
【0071】上述したローパスフィルタ90、代表点メ
モリ91,92、スイッチSW21,SW22以外、こ
の実施例の構成と動作は第1実施例と同一であるので、
重複する説明は省略する。
【0072】図6は、この発明の第4実施例を示すブロ
ック図であり、図4に示した第2実施例に対して図5と
同様のスムージング処理を付加したものである。
【0073】SW23は、信号入力期間には図示と反対
の位置に、垂直帰線期間には図示の位置に切り換えられ
るスイッチである。
【0074】この実施例にはローパスフィルタ90、代
表点メモリ91,92、スイッチSW21〜SW23を
付加した以外、図4の第2実施例と同一構成であり、ま
たこれら付加した部分は図5の第3実施例と同一構成で
あり、前述の通りである。従って、重複する説明は省略
する。
【0075】なお、上述した実施例において、代表点に
よる動きベクトル検出方式について説明したが、他の動
きベクトル検出方式、例えば画面全体を捜索して動きベ
クトルを検出するフルサーチ方式等にも適用可能であ
る。
【0076】
【発明の効果】上述のように、この発明では、信号入力
期間に第1の捜索点密度で第1動きベクトルを求め、垂
直帰線期間には第2の捜索点密度で第1動きベクトルに
よって限定された狭い範囲内を捜索して第2動きベクト
ルを求めて、手振れに対応した高精度な最終動きベクト
ルを得るので、従来と同様無理なくワンチップ化できる
回路規模に止めながら、手振れ補正精度を格段に向上す
ることができる効果がある。
【図面の簡単な説明】
【図1】この発明の第1実施例を示すブロック図であ
る。
【図2】同実施例における動きベクトル検出の説明図で
ある。
【図3】同実施例におけるタイミング図である。
【図4】この発明の第2実施例を示すブロック図であ
る。
【図5】この発明の第3実施例を示すブロック図であ
る。
【図6】この発明の第4実施例を示すブロック図であ
る。
【図7】手振れ補正の原理を示す説明図である。
【図8】従来の代表点方式による動きベクトル検出を示
す説明図である。
【図9】従来の手振れ補正装置を示すブロック図であ
る。
【符号の説明】
11,12,91,92 代表点メモリ 20,80 動きベクトル検出回路 21,81 残差計算回路 22,82 残差メモリ 23,83 動きベクトル算出回路 30 第2動きベクトル検出回路 31 第2残差計算回路 32 第2残差メモリ 33 第2動きベクトル算出回路 34 ベクトル加算器 41 フィールドメモリ 51 制御回路 61 第1制御回路 71 第2制御回路 84 ベクトル保持回路 SW1,SW2,SW21,SW22 奇/偶フィール
ド切換スイッチ SW3,SW4,SW11〜SW14,SW23 信号
入力/垂直帰線期間切換スイッチ
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 5/232 H04N 7/32 G06T 7/20

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項1】 任意の第nフィールド(nは正の整数)
    を代表する代表画像データを格納するメモリと、 第(n+i)フィールド(iは正の整数)の動画像デー
    タが入力する信号入力期間において、上記代表画像デー
    タと対応する対応画像データを上記第(n+i)フィー
    ルド内に第1捜索点密度で捜索して、上記対応画像デー
    タの上記代表画像データに対する変位を第1動きベクト
    ルとして出力する第1動きベクトル検出回路と、 上記信号入力期間に入力する上記第(n+i)フィール
    ドの動画像データを格納するフィールドメモリと、 上記信号入力期間直後の垂直帰線期間中に、第1動きベ
    クトルの先端近傍において、上記第1捜索点密度よりも
    高い密度を持つ第2捜索点密度でさらに上記対応画像デ
    ータを捜索して、上記対応画像データの上記代表画像デ
    ータに対する変位を最終動きベクトルとして出力する第
    2動きベクトル検出回路とを備え、 上記フィールドメモリに格納された第(n+i)フィー
    ルドの動画像データを上記最終動きベクトルに対応させ
    て読み出すことを特徴とする手振れ補正装置。
  2. 【請求項2】 請求項1に記載の手振れ補正装置におい
    て、 上記第1及び第2動きベクトル検出回路に替わる単一の
    動きベクトル検出回路を備え、 単一の上記動き検出回路は、上記信号入力期間には上記
    第1動きベクトルを出力し、上記垂直帰線期間には上記
    最終動きベクトルを出力するように時分割制御されるこ
    とを特徴とする手振れ補正装置。
  3. 【請求項3】 請求項1に記載の手振れ補正装置におい
    て、 上記第1動きベクトル検出回路は、上記信号入力期間に
    上記第1動きベクトルを複数個出力するということを特
    徴とする手振れ補正装置。
  4. 【請求項4】 請求項2に記載の手振れ補正装置におい
    て、 上記第1動きベクトル検出回路は、上記信号入力期間に
    上記第1動きベクトルを複数個出力するということを特
    徴とする手振れ補正装置。
  5. 【請求項5】 請求項1に記載の手振れ補正装置におい
    て、 上記第1動きベクトルを出力するための上記代表画像デ
    ータ及び上記対応画像データの双方を予めスムージング
    処理するローパスフィルタを備えることを特徴とする手
    振れ補正装置。
  6. 【請求項6】 任意の第nフィールド(nは正の整数)
    を代表する代表画像データをメモリに格納するステップ
    と、 第(n+i)フィールド(iは正の整数)の動画像デー
    タが入力する信号入力期間において、上記代表画像デー
    タと対応する対応画像データを上記第(n+i)フィー
    ルド内に第1捜索点密度で捜索して、上記対応画像デー
    タの上記代表画像データに対する変位を第1動きベクト
    ルとして出力する第1動きベクトル検出ステップと、 上記信号入力期間に入力する上記第(n+i)フィール
    ドの動画像データをフィールドメモリに格納するステッ
    プと、 上記信号入力期間直後の垂直帰線期間中に、第1動きベ
    クトルの先端近傍において、上記第1捜索点密度よりも
    高い密度を持つ第2捜索点密度でさらに上記対応画像デ
    ータを捜索して、上記対応画像データの上記代表画像デ
    ータに対する変位を最終動きベクトルとして出力する第
    2動きベクトル検出ステップと、 上記フィールドメモリに格納された第(n+i)フィー
    ルドの動画像データを上記最終動きベクトルに対応させ
    て読み出すステップとからなることを特徴とする手振れ
    補正方法。
  7. 【請求項7】 請求項6に記載の手振れ補正方法におい
    て、 上記第1動きベクトル検出ステップは、上記信号入力期
    間に上記第1動きベクトルを複数個出力するということ
    を特徴とする手振れ補正方法。
  8. 【請求項8】 請求項6に記載の手振れ補正方法におい
    て、 上記第1動きベクトルを出力するための上記代表画像デ
    ータ及び上記対応画像データの双方を予めスムージング
    処理するローパスフィルタを備えることを特徴とする手
    振れ補正方法。
JP03055013A 1991-03-19 1991-03-19 手振れ補正装置および手振れ補正方法 Expired - Fee Related JP3103897B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP03055013A JP3103897B2 (ja) 1991-03-19 1991-03-19 手振れ補正装置および手振れ補正方法
KR1019920002726A KR100256112B1 (ko) 1991-03-19 1992-02-22 손떨림 보정장치
US07/852,714 US5210559A (en) 1991-03-19 1992-03-17 Camera shake correcting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03055013A JP3103897B2 (ja) 1991-03-19 1991-03-19 手振れ補正装置および手振れ補正方法

Publications (2)

Publication Number Publication Date
JPH04290385A JPH04290385A (ja) 1992-10-14
JP3103897B2 true JP3103897B2 (ja) 2000-10-30

Family

ID=12986780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03055013A Expired - Fee Related JP3103897B2 (ja) 1991-03-19 1991-03-19 手振れ補正装置および手振れ補正方法

Country Status (3)

Country Link
US (1) US5210559A (ja)
JP (1) JP3103897B2 (ja)
KR (1) KR100256112B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05178245A (ja) * 1991-12-27 1993-07-20 Tokai Rika Co Ltd 自動二輪車のキー抜き忘れ防止装置
JPH05178246A (ja) * 1991-12-27 1993-07-20 Tokai Rika Co Ltd 自動二輪車のキー抜き忘れ防止装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04207481A (ja) * 1990-11-30 1992-07-29 Canon Inc 動き検出装置
US5686960A (en) * 1992-01-14 1997-11-11 Michael Sussman Image input device having optical deflection elements for capturing multiple sub-images
JPH06222414A (ja) * 1993-01-22 1994-08-12 Canon Inc 防振システム
US5475466A (en) * 1993-02-02 1995-12-12 Nikon Corporation Camera having target follow up function
US6002431A (en) * 1993-03-03 1999-12-14 Goldstar Co., Ltd. Video correction apparatus for camcorder
US6211912B1 (en) * 1994-02-04 2001-04-03 Lucent Technologies Inc. Method for detecting camera-motion induced scene changes
US5634145A (en) * 1994-03-18 1997-05-27 Nikon Corporation Apparatus for inspecting blur correction camera, blur correction camera, and method of inspecting blur correction camera
US5978599A (en) * 1994-04-22 1999-11-02 Nikon Corporation Camera having vibration correcting function
US6271892B1 (en) 1994-06-02 2001-08-07 Lucent Technologies Inc. Method and apparatus for compressing a sequence of information-bearing frames having at least two media
JP2902966B2 (ja) * 1994-12-16 1999-06-07 三洋電機株式会社 手振れ補正装置およびそれを用いたビデオカメラ
KR100206804B1 (ko) * 1996-08-29 1999-07-01 구자홍 하일라이트 부분 자동 선택 녹화 방법
JP3052893B2 (ja) 1997-05-16 2000-06-19 日本電気株式会社 動画像符号化装置
JPH10341367A (ja) * 1997-06-06 1998-12-22 Toshiba Corp 静止画像生成方法及び静止画像取り込みシステム
JP3939889B2 (ja) * 2000-02-01 2007-07-04 ペンタックス株式会社 像振れ防止デジタルカメラ
JP3867691B2 (ja) * 2003-07-15 2007-01-10 ソニー株式会社 撮像装置
JP4017578B2 (ja) * 2003-09-19 2007-12-05 三洋電機株式会社 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体
US7880769B2 (en) * 2004-02-13 2011-02-01 Qualcomm Incorporated Adaptive image stabilization
JP4390274B2 (ja) * 2004-12-27 2009-12-24 キヤノン株式会社 撮像装置及び制御方法
US7830565B2 (en) * 2006-06-27 2010-11-09 Motorola, Inc. Image capture device with rolling band shutter
US8035691B2 (en) * 2006-08-01 2011-10-11 Pelco, Inc. Method and apparatus for compensating for movement of a video surveillance camera
JP4759524B2 (ja) * 2007-01-09 2011-08-31 富士フイルム株式会社 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置
EP2126627B1 (en) * 2007-03-26 2014-08-27 Pelco. Inc. Method of improving the video images from a video camera
US8223235B2 (en) * 2007-12-13 2012-07-17 Motorola Mobility, Inc. Digital imager with dual rolling shutters
JP5328216B2 (ja) * 2008-04-22 2013-10-30 キヤノン株式会社 撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4709138A (en) * 1984-02-09 1987-11-24 Canon Kabushiki Kaisha Apparatus for detecting shake of image of object
US4673276A (en) * 1984-02-24 1987-06-16 Canon Kabushiki Kaisha Blur detecting device for a camera
US5012270A (en) * 1988-03-10 1991-04-30 Canon Kabushiki Kaisha Image shake detecting device
JP2563567B2 (ja) * 1989-03-20 1996-12-11 松下電器産業株式会社 揺れ補正装置
JPH03274869A (ja) * 1990-03-23 1991-12-05 Victor Co Of Japan Ltd 動きベクトル検出回路

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05178245A (ja) * 1991-12-27 1993-07-20 Tokai Rika Co Ltd 自動二輪車のキー抜き忘れ防止装置
JPH05178246A (ja) * 1991-12-27 1993-07-20 Tokai Rika Co Ltd 自動二輪車のキー抜き忘れ防止装置

Also Published As

Publication number Publication date
US5210559A (en) 1993-05-11
JPH04290385A (ja) 1992-10-14
KR920019168A (ko) 1992-10-22
KR100256112B1 (ko) 2000-05-01

Similar Documents

Publication Publication Date Title
JP3103897B2 (ja) 手振れ補正装置および手振れ補正方法
KR100775104B1 (ko) 영상 신호의 떨림 보정 장치와 그를 포함하는 영상 시스템및 그 방법
JPS61105178A (ja) テレビジヨン信号の動き検出方法
JPH1040392A (ja) 局所領域画像追跡装置
JP4639555B2 (ja) 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
JPH06197264A (ja) ディジタル映像安定化方法及びシステム
JP3123130B2 (ja) 動きベクトル検出装置
JP2860702B2 (ja) 動きベクトル検出装置
JP2615693B2 (ja) ゆれ補正撮像装置
JP3116967B2 (ja) 画像処理装置および画像処理方法
US5940146A (en) Video apparatus with image memory function
JP3208589B2 (ja) 手振れ補正装置
JPH0522647A (ja) 画像処理装置
JPH0846856A (ja) 手振れ補正装置
JP2600520B2 (ja) 画像動き補正装置
JP2735264B2 (ja) 動き補正撮像装置
JP3949740B2 (ja) 電子ズーム処理装置および電子ズーム処理方法
JPH0795469A (ja) カムコーダの映像補正装置
JPH0738721B2 (ja) 動きベクトル検出回路
JP3252418B2 (ja) 画像の手振れ判定装置
JP3078140B2 (ja) 動きベクトル検出回路
JPH057328A (ja) 手振れ補正装置
JPH05176218A (ja) 画像動き補正装置
JP2005292080A (ja) ステレオカメラの画像補正装置
JPS5839180A (ja) 相関追尾装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees