JP3218612B2 - 手振れ補正可能なビデオ信号記録再生装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ハンディタイプのビ
デオカメラの撮影出力等のビデオ信号に含まれる手振れ
を補正可能なビデオ信号記録再生装置およびその方法に
関する。

【０００２】

【従来の技術】ハンディタイプのビデオカメラを使用し
て撮影を行う時に、手振れで再生画面が揺れる問題があ
る。この問題を解決するのに、動きベクトルを検出し、
この動きベクトルに基づいて、画像メモリに貯えられて
いるビデオデータを補正するものが提案されている（例
えば特開昭６３−１６６３７０号公報）。ビデオカメラ
の撮影出力を記録する時には、この手振れ補正がされた
ビデオ信号を回転ヘッドにより磁気テープに記録してい
た。

【０００３】動きベクトルの検出は、例えばブロックマ
ッチングでなさる。すなわち、画面を多数の領域（ブロ
ックと称する）に分割し、各ブロックの中心に位置する
前フレームの代表点と現フレームのブロック内の画素デ
ータとのフレーム差の絶対値を演算し、このフレーム差
の絶対値を１画面に関して積算し、積算フレーム差デー
タの最小値の位置から動きベクトルを検出している。こ
の動きベクトルが手振れベクトルに変換され、手振れ補
正がなされる。

【０００４】

【発明が解決しようとする課題】従来の例えばカメラ一
体型のＶＴＲでは、手振れ補正がされた撮影出力を記録
していた。しかしながら、パンあるいはチルト等のカメ
ラワークと手振れの動きとを区別することは、かなり難
しく、撮影者の意図に反した手振れ補正がされた信号が
記録されるおそれがある。しかも、一旦記録されたビデ
オ信号を手振れ補正がされていない元のビデオ信号に戻
すことはできない。また、手振れとパン、チルトとを区
別するための一つの方法が考えられる。それは、手振れ
の場合には、カメラの動きを元に戻そうとする動きがあ
り、一方、パン、チルトの場合には、そのような動きが
ない点に注目して、両者を区別しようとするものであ
る。しかし、この方法を実現するには、画像の動きを数
フレームあるいは数十フレームの時系列としてモニタす
る必要があり、リアルタイムで処理する時には、大容量
のメモリが必要である。

【０００５】従って、この発明の目的は、記録すべきビ
デオ信号に関する手振れベクトルの検出が可能でありな
がら、再生時に、手振れ補正が選択的に可能な手振れ補
正可能なビデオ信号記録再生装置およびその方法を提供
することにある。この発明の他の目的は、大容量のメモ
リを使用せずに、再生側で手振れとパン、チルトとを区
別することが可能な手振れ補正可能なビデオ信号記録再
生装置およびその方法を提供することにある。

【０００６】

【課題を解決するための手段】請求項１の発明は、１画
面を複数の領域に分割し、各領域毎に前フレームの代表
点と現フレームの各領域内の画素データとのレベル差を
検出し、差の絶対値が１画面に関して累算されることで
積算差データを形成し、積算差データから１画面につい
て１つの動きベクトルを検出する手段と、 各領域と等し
い大きさであって、代表点と代表点に対応する現フレー
ムの画素データ間のレベル差が略０であって、前フレー
ムの代表点と、現フレームの代表点と対応する領域内の
各画素データとの間にレベル差が求められ、レベル差が
しきい値より大きい画素データの位置の度数がインクリ
メントされ、度数が１画面に関して累算されることで積
算度数分布表を形成する手段と、 検出された動きベクト
ルと積算度数分布表とを受け取り、動きベクトルと対応
する位置の度数が所定値より少ない場合に、動きベクト
ルを手振れベクトルとする判定手段と ビデオ信号と共
に、手振れベクトルまたは手振れベクトルから形成され
た手振れ補正信号をテープ状記録媒体に記録する手段
と、ビデオ信号と共に、手振れベクトルまたは手振れベ
クトルから形成された手振れ補正信号をテープ状記録媒
体から再生する手段と、手振れベクトルまたは手振れベ
クトルから形成された手振れ補正信号によって手振れ補
正を行なう手段とを備え、手振れベクトルまたは手振れ
ベクトルから形成された手振れ補正信号は、再生時にビ
デオ信号より時間的に先行して再生可能なように記録さ
れることを特徴とする手振れ補正可能なビデオ信号記録
再生装置である。請求項２の発明は、１画面を複数の領
域に分割し、各領域毎に前フレームの代表点と現フレー
ムの各領域内の画素データとのレベル差を検出し、差の
絶対値が１画面に関して累算されることで積算差データ
を形成し、積算差データから１画面について１つの動き
ベクトルを検出するステップと、 各領域と等しい大きさ
であって、代表点と代表点に対応する現フレームの画素
データ間のレベル差が略０であって、前フレームの代表
点と、現フレームの代表 点と対応する領域内の各画素デ
ータとの間にレベル差が求められ、レベル差がしきい値
より大きい画素データの位置の度数がインクリメントさ
れ、度数が１画面に関して累算されることで積算度数分
布表を形成するステップと、 検出された動きベクトルと
積算度数分布表とを受け取り、動きベクトルと対応する
位置の度数が所定値より少ない場合に、手振れベクトル
を手振れベクトルとするステップと ビデオ信号と共に、
手振れベクトルまたは手振れベクトルから形成された手
振れ補正信号をテープ状記録媒体に記録するステップ
と、ビデオ信号と共に、手振れベクトルまたは手振れベ
クトルから形成された手振れ補正信号をテープ状記録媒
体から再生するステップと、手振れベクトルまたは手振
れベクトルから形成された手振れ補正信号によって手振
れ補正を行なうステップとを備え、手振れベクトルまた
は手振れベクトルから形成された手振れ補正信号は、再
生時にビデオ信号より時間的に先行して再生可能なよう
に記録されることを特徴とする手振れ補正可能なビデオ
信号記録再生方法である。

【０００７】

【作用】記録系では、動きベクトルを検出し、この動き
ベクトルあるいは動きベクトルから形成された手振れ補
正信号をビデオ信号と共に、記録し、再生側で選択的に
手振れ補正が可能である。また、記録されたビデオ信号
を利用することで、大容量のメモリを使用しないで、再
生系でパン、チルトと手振れとを区別することが可能で
ある。

【０００８】

【実施例】以下、この発明の一実施例について図面を参
照して説明する。この一実施例は、ビデオカメラとＶＴ
Ｒとが一体的に構成されたものであり、図１が記録系の
構成を示す。１がＣＣＤ等のイメージャ、カラーフィル
タ、レンズ系等を有する撮像部であり、撮像部１からの
撮像信号が信号処理部２に供給される。信号処理部２
は、撮像信号を復号してコンポーネント信号を形成する
と共に、γ補正、ホワイトバランス調整等を行うもので
ある。

【０００９】信号処理部２からのカラー映像信号が記録
処理回路３に供給される。記録処理回路３は、輝度信号
をＦＭ変調すると共に、色信号を低域周波数に変換し、
ＦＭ変調輝度信号と変換色信号とが周波数多重された記
録信号を発生する。この記録信号中には、ＦＭ変調され
たオーディオ信号が多重され、必要に応じてトラッキン
グ用のパイロット信号も多重される。オーディオ信号
は、ＰＣＭ変調されたものを記録しても良い。また、信
号処理回路２からの輝度信号（ビデオ信号）が後述の手
振れ補正信号発生回路４に供給される。手振れ補正信号
発生回路４で得られた手振れ補正信号が記録処理回路３
に供給され、記録信号中に挿入される。

【００１０】記録処理回路３からの記録信号が回転ヘッ
ドＨａ、Ｈｂにより磁気テープに記録される。既存のＶ
ＴＲとして、テープ幅が８ミリの所謂８ミリＶＴＲがあ
るが、この８ミリＶＴＲでは、フレーム周波数で回転す
るドラムに対して、１８０°の角間隔で回転ヘッドＨ
ａ、Ｈｂを取付け、ドラムに対して例えば２２１°の角
度で磁気テープを巻き付けている。従って、磁気テープ
にヘッドＨａ、Ｈｂで交互に形成されるトラックには、
３１°のオーバーラップ区間が存在し、このオーバーラ
ップ区間にＰＣＭオーディオ信号と制御用のサブデータ
とを記録している。このような８ミリＶＴＲの場合で
は、上述の手振れ補正信号をサブデータとして磁気テー
プに記録することができる。他の方法としては、磁気テ
ープの長手方向に形成され、固定ヘッドで記録／再生さ
れるトラックに手振れ補正信号を記録しても良い。

【００１１】図２には、再生系の構成が示され、回転ヘ
ッドＨａ、Ｈｂで磁気テープから再生された信号が再生
処理回路５に供給される。再生処理回路５では、輝度信
号のＦＭ復調、色差信号の周波数変換、オーディオ信号
の処理等、既存のＶＴＲの再生処理と同様の処理がなさ
れる。また、手振れ補正信号分離回路６によって、再生
信号から手振れ補正信号が分離される。再生信号処理回
路５からの再生信号と分離された手振れ補正信号とが手
振れ補正回路７に供給される。磁気テープの長手方向の
トラックに手振れ補正信号を記録している場合には、固
定ヘッドにより手振れ補正信号が再生される。

【００１２】再生処理回路５からの再生信号と、手振れ
補正回路７からの補正された再生信号とがセレクタ８に
供給される。セレクタ８には、入力端子９からの制御信
号が供給され、この制御信号に応答して一方の入力信号
が出力端子１０に選択的に取り出される。セレクタ８の
制御信号は、ユーザーが所望のものに設定することがで
きる。従って、出力端子１０に取り出される再生信号
は、手振れ補正がされてない元の撮影信号か、または手
振れ補正されたものである。

【００１３】図３を参照して手振れ補正信号発生回路４
の一例について説明する。この検出回路４は、本来の手
振れと、画面内の大面積の対象物の動きとを区別して、
手振れ検出を正しく行うことができるように考慮されて
いる。すなわち、手振れがビデオカメラの動きであるた
め、画面全体が動き、一方、対象物の動きは、画面のあ
る部分が動くこと、すなわち、画面中に静止している部
分があることに着目して、両者の区別を行うものであ
る。図３において、１１がディジタルビデオデータの入
力端子である。このビデオデータは、信号処理回路２か
ら発生する輝度信号をＡ／Ｄ変換器によってディジタル
データに変換したものである。そのデータの順序は、イ
ンターレス走査の順序の系列である。

【００１４】入力ビデオデータが代表点メモリ１２およ
び減算回路１３に供給される。代表点メモリ１２の出力
が減算回路１３に供給される。代表点メモリ１２は、１
フレーム前の代表点のデータを記憶する。図４に示すよ
うに、１フレームの画面がｍ画素×ｎラインのブロック
に細分化され、各ブロックの中心の画素が代表点とされ
る。代表点は、画面上で、均一にばらまかれている。減
算回路１３は、現フレームのあるブロックのｍ×ｎの画
素データのそれぞれと前フレームの同一位置のブロック
の代表点のデータとのそれぞれの差（すなわち、フレー
ム間差）を検出する。このフレーム差が絶対値積分回路
１４および度数表作成回路１５に供給される。

【００１５】動きベクトルの検出は、絶対値積分回路１
４において、フレーム差を使用してなされる。図５に示
すように、動きのサーチ領域がブロックの大きさと同一
とされる。例えば（ｍ＝ｎ＝２５）である。ブロック毎
に１フレーム前の代表点と現フレームのブロック内の画
素データとのｍ×ｎ個の差が減算回路１３で発生する。
絶対値積分回路１４では、ブロック内の各位置のフレー
ム差の絶対値が１フレーム期間にわたって積算され、ｍ
×ｎの積算フレーム差データの分布が形成され、この分
布の中の最小値が動きベクトルとして検出される。この
動きベクトルの検出は、従来と同様である。

【００１６】度数分布表作成回路１５には、減算回路１
３からのフレーム差が供給される。度数分布表作成回路
１５は、上述の動きのサーチ領域と対応する大きさの容
量を持つメモリを含んでいる。そして、以下の条件を満
たす時に、その位置の度数をインクリメントする。 Ｉk-1 (0,0) ≒Ｉk (0,0) 且つ、 ｛Ｉk-1 (0,0) −Ｉk (x,y) ｝絶対値≧Ｔｈ

【００１７】ここで、Ｉk (0,0) は、現フィールドのブ
ロックの中心の画素データの値、Ｉk-1 (0,0) は、この
現フィールドのブロックと空間的に同一位置のブロック
の中心に位置する、１フレーム（２フィールド）前の代
表点データの値、Ｔｈは、空間内のレベル差の有無を判
定するためのしきい値である。上式の条件が成立する時
に、度数分布表中の度数ｆ（ｘ，ｙ）がインクリメント
される。度数分布表は、各位置（ｘ，ｙ）において、上
述した数式の条件が成立した回数を示すものである。こ
の回数が各位置（ｘ，ｙ）の度数ｆ（ｘ，ｙ）とされ
る。この度数分布表の作成の処理が１画面の全体で累算
され、積算度数分布表が形成される。この条件は、フレ
ーム差がないこと、並びに、（０，０）の位置（中心位
置）と（ｘ，ｙ）の位置との間にレベル差が存在するこ
とを意味する。レベル差が存在することは、動きがあれ
ば、必ずフレーム差が生じることを意味している。従っ
て、動きベクトル検出によって、Ｖ（ｘ，ｙ）（Ｖが大
きさを示し、（ｘ，ｙ）が方向を示す）の動きベクトル
が検出された時に、度数ｆ（ｘ，ｙ）が比較的多い場合
には、静止ブロックの個数がある程度存在しているこ
と、言い換えると、その動きベクトルで示される動き
は、画面全体の動き（手振れ）ではないことが分かる。
なお、動きベクトルのサーチ領域と等しい大きさの度数
分布表を作成せずに、代表点の近傍の数個の画素の位置
の度数分布表を作成することで、処理の簡略化を図って
も良い。

【００１８】動き量決定回路１６に対して、絶対値積分
回路１４で検出された動きベクトルと度数分布表作成回
路１５の出力とが供給される。動き量決定回路１６は、
動きベクトルを手振れベクトルとして使用して良いかど
うかを積算度数分布表を参照して検証する。すなわち、
上述したように、動きベクトルＶ（ｘ，ｙ）の場合に
は、位置（ｘ，ｙ）の度数ｆ（ｘ，ｙ）が調べられ、こ
の度数ｆ（ｘ，ｙ）としきい値とが比較される。この度
数ｆ（ｘ，ｙ）は、静止ブロックの個数と対応している
ので、度数ｆ（ｘ，ｙ）が手振れベクトル判定のための
しきい値以下の場合には、手振れによって動きベクトル
が発生したものと判定し、動きベクトルを手振れベクト
ルと判定する。そうでない時には、画面内の静止ブロッ
クの個数が多いものと判定し、画面内の対象物の動きか
らこの動きベクトルが発生したものと判定する。

【００１９】動き量決定回路１６の出力（手振れベクト
ル）が補正量発生回路１７に供給される。手振れベクト
ルは、フレーム間の動きから検出されたもので、手振れ
の補正量と同一ではない。例えば連続する３フレームの
期間で、第２番目および第３番目のフレームの期間で、
同一方向の手振れが生じている時では、最初のフレーム
と次のフレームとの間の手振れベクトルＶ１が検出さ
れ、第２番目と第３番目のフレーム間の手振れベクトル
Ｖ２が検出される。第２番目のフレームに対する補正量
は、Ｖ１で良いが、第３番目のフレームに対する補正量
は、（Ｖ１＋Ｖ２）の必要がある。補正量発生回路１７
は、手振れベクトルを積分した補正量を発生する。補正
量発生回路１７の出力端子１８に手振れ補正信号が得ら
れる。前述のように、この手振れ補正信号が対応するビ
デオ信号と共に、磁気テープに記録される。

【００２０】図６は、再生系に設けられる手振れ補正回
路７の一例である。図６において、２１で示す入力端子
にディジタル化された再生ビデオ信号が供給され、２２
で示す入力端子に分離回路６からの手振れ補正信号が供
給される。この再生手振れ補正信号がアドレス制御回路
２６およびセレクト信号発生回路２７に供給される。ア
ドレス制御回路２６は、フレームメモリ２３および周辺
メモリ２８に対するアドレス信号を発生する。フレーム
メモリ２３には、１フレームの画像が書き込まれ、補正
量に応じてその読み出しアドレスが制御される。従っ
て、フレームメモリ２３からは、１フレームの入力ビデ
オデータが補正量に応じて移動されたビデオデータが得
られる。フレームメモリ２３の出力がセレクタ２４に供
給され、セレクタ２４の出力が出力端子２５に取り出さ
れると共に、周辺メモリ２８に供給される。周辺メモリ
２８の出力である周辺データがセレクタ２４に供給され
る。セレクタ２４は、セレクト信号発生回路２７からの
セレクト信号に応答して、手振れ補正されたフレームメ
モリ２３からのビデオデータと周辺メモリ２４に記憶さ
れている周辺データとを選択する。

【００２１】図７Ａに示すように、フレームメモリ２３
に取り込まれた１フレームの画像（その画枠を３１で表
す）の周辺部（一点鎖線の外側の領域）３２が周辺メモ
リ２８に格納される。周辺部３２の幅は、手振れ補正の
範囲を考慮して設定され、例えば約１０〜２０％程度の
幅に設定される。図７Ｂにおいて、画枠３１ａで示すよ
うに、手振れにより図７Ａの位置であるべき画像が図面
に向かって例えば右方向へ動いた時では、手振れ補正量
Ｖにより画像の全体が破線で示す位置に補正される。こ
のような場合には、撮像された画像中には、元々存在し
ていないために、移動後の画像の左側の斜線で示す部分
３３の画像が欠落する。この欠落部分３３が周辺メモリ
２８に貯えられている対応する位置の画像に置換され
る。この置換は、アドレス制御回路２６によるアドレス
制御と、セレクタ２４の切り換え動作で実行される。ま
た、周辺メモリ２８には、撮像されたビデオデータ中の
欠落部分３３以外の周辺の画像データが書き込まれ、周
辺メモリ２８の内容が更新される。

【００２２】なお、上述の実施例と異なり、記録系で
は、動きベクトルの検出迄の処理を行い、この動きベク
トルを記録し、再生系において、再生された動きベクト
ルから手振れ補正信号を発生しても良い。この動きベク
トル自体を記録する構成では、再生側において、手振れ
とパン、チルトとを区別する処理が可能である。すなわ
ち、手振れの場合には、カメラの動きを元に戻そうとす
る動きがあり、一方、パン、チルトの場合には、そのよ
うな動きがない点を利用して、両者を区別することがで
きる。この場合、磁気テープ上で、動きベクトルを対応
するビデオデータより前の位置に記録する方法、あるい
は固定トラックに動きベクトルを記録し、この動きベク
トルを対応するビデオデータより先に再生する方法を使
用することにより、大容量のメモリを不要とできる。

【００２３】更に、この発明は、アナログ信号でビデオ
信号を記録するものに限らず、ディジタルビデオ信号を
記録する場合にも適用できる。

【００２４】

【発明の効果】この発明は、手振れ補正がされてないカ
メラ出力を記録し、再生側で手振れ補正を作動／不作動
とできるので、パン、チルトが手振れとして補正される
ことを防止できる。また、この発明は、動きベクトルま
たは動きベクトルから形成された手振れ補正信号は、再
生時にビデオ信号より時間的に先行して再生可能なよう
に記録されるので、大容量のメモリを使用しないで、パ
ン、チルトと手振れとを区別する処理が再生時に可能と
できる利点がある。

【図面の簡単な説明】

【図１】この発明の一実施例の記録系のブロック図であ
る。

【図２】この発明の一実施例の再生系のブロック図であ
る。

【図３】手振れ補正信号発生回路の一例のブロック図で
ある。

【図４】動きベクトルを検出する時のブロック分割を示
す略線図である。

【図５】動きベクトルのサーチ範囲を示す略線図であ
る。

【図６】手振れ補正回路の一例のブロック図である。

【図７】この発明の一実施例の手振れ補正の説明に用い
る略線図である。

【符号の説明】

１ 撮像部 ３ 記録信号処理回路 ４ 手振れ補正信号発生回路

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 １画面を複数の領域に分割し、各領域毎
   に前フレームの代表点と現フレームの上記各領域内の画
   素データとのレベル差を検出し、上記差の絶対値が上記
   １画面に関して累算されることで積算差データを形成
   し、上記積算差データから１画面について１つの動きベ
   クトルを検出する手段と、 上記各領域と等しい大きさであって、上記代表点と上記
   代表点に対応する現フレームの画素データ間のレベル差
   が略０であって、上記前フレームの代表点と、上記現フ
   レームの上記代表点と対応する領域内の各画素データと
   の間にレベル差が求められ、上記レベル差がしきい値よ
   り大きい画素データの位置の度数がインクリメントさ
   れ、上記度数が上記１画面に関して累算されることで積
   算度数分布表を形成する手段と、 上記検出された動きベクトルと上記積算度数分布表とを
   受け取り、上記動きベクトルと対応する位置の度数が所
   定値より少ない場合に、上記動きベクトルを手振れベク
   トルとする判定手段と ビ デオ信号と共に、上記手振れベ
   クトルまたは上記手振れベクトルから形成された手振れ
   補正信号をテープ状記録媒体に記録する手段と、 上記ビデオ信号と共に、上記手振れベクトルまたは上記
   手振れベクトルから形成された手振れ補正信号を上記テ
   ープ状記録媒体から再生する手段と、 上記手振れベクトルまたは上記手振れベクトルから形成
   された手振れ補正信号によって手振れ補正を行なう手段
   とを備え、 上記手振れベクトルまたは手振れベクトルから形成され
   た手振れ補正信号は、再生時に上記ビデオ信号より時間
   的に先行して再生可能なように記録されることを特徴と
   する手振れ補正可能なビデオ信号記録再生装置。
2. 【請求項２】 １画面を複数の領域に分割し、各領域毎
   に前フレームの代表点と現フレームの上記各領域内の画
   素データとのレベル差を検出し、上記差の絶対値が上記
   １画面に関して累算されることで積算差データを形成
   し、上記積算差データから１画面について１つの動きベ
   クトルを検出するステップと、 上記各領域と等しい大きさであって、上記代表点と上記
   代表点に対応する現フレームの画素データ間のレベル差
   が略０であって、上記前フレームの代表点と、 上記現フ
   レームの上記代表点と対応する領域内の各画素データと
   の間にレベル差が求められ、上記レベル差がしきい値よ
   り大きい画素データの位置の度数がインクリメントさ
   れ、上記度数が上記１画面に関して累算されることで積
   算度数分布表を形成するステップと、 上記検出された動きベクトルと上記積算度数分布表とを
   受け取り、上記動きベクトルと対応する位置の度数が所
   定値より少ない場合に、上記手振れベクトルを手振れベ
   クトルとするステップと ビ デオ信号と共に、上記手振れ
   ベクトルまたは上記手振れベクトルから形成された手振
   れ補正信号をテープ状記録媒体に記録するステップと、 上記ビデオ信号と共に、上記手振れベクトルまたは上記
   手振れベクトルから形成された手振れ補正信号を上記テ
   ープ状記録媒体から再生するステップと、 上記手振れベクトルまたは上記手振れベクトルから形成
   された手振れ補正信号によって手振れ補正を行なうステ
   ップとを備え、 上記手振れベクトルまたは手振れベクトルから形成され
   た手振れ補正信号は、再生時に上記ビデオ信号より時間
   的に先行して再生可能なように記録されることを特徴と
   する手振れ補正可能なビデオ信号記録再生方法。