JP3951321B2 - Image signal processing apparatus and recording / reproducing apparatus - Google Patents

Image signal processing apparatus and recording / reproducing apparatus Download PDF

Info

Publication number
JP3951321B2
JP3951321B2 JP17411696A JP17411696A JP3951321B2 JP 3951321 B2 JP3951321 B2 JP 3951321B2 JP 17411696 A JP17411696 A JP 17411696A JP 17411696 A JP17411696 A JP 17411696A JP 3951321 B2 JP3951321 B2 JP 3951321B2
Authority
JP
Japan
Prior art keywords
motion vector
block
image data
camera shake
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP17411696A
Other languages
Japanese (ja)
Other versions
JPH09130748A (en
Inventor
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP17411696A priority Critical patent/JP3951321B2/en
Publication of JPH09130748A publication Critical patent/JPH09130748A/en
Priority to US09/113,329 priority patent/US5926212A/en
Application granted granted Critical
Publication of JP3951321B2 publication Critical patent/JP3951321B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

【０００１】
【発明の属する技術分野】
この発明は、ハンディタイプのビデオカメラの撮影出力等の画像データを圧縮する画像信号処理装置、圧縮画像データを記録媒体に記録する画像信号記録装置、並びに記録媒体から圧縮画像データを再生する画像信号再生装置に関し、特に、ビデオカメラの手振れを補正するようにしたものである。
【０００２】
【従来の技術】
ハンディタイプのビデオカメラを使用して撮影を行う時に、手振れで再生画面が揺れる問題がある。この問題を解決するのに、動きベクトルを検出し、この動きベクトルに基づいて、画像メモリに貯えられている画像データを補正することが考えられる。動きベクトルの検出は、例えばブロックマッチングでなされる。すなわち、画面を多数の領域（ブロックと称する）に分割し、各ブロックの中心に位置する前フレームの代表点と現フレームのブロック内の画素データとのフレーム差の絶対値を演算し、このフレーム差の絶対値を１画面に関して積算し、積算フレーム差データの最小値の位置から画面全体の動きベクトルを検出している。この検出された動きベクトルを補正信号に変換し、この補正信号により原画像を移動する補正を行っている。
【０００３】
例えば図２３Ａにおいて、破線で示す画枠Ｌａが撮像された画像であり、手振れ補正によって破線で示す画枠Ｌｂにその位置が補正される。この補正後の画枠Ｌｂ内の画像において、斜線を付した領域は、撮影画像がないために、画像の欠落が生じる。この問題を解決する一つの方法は、画枠を図２３Ｂにおいて、Ｌｃで示すように、ある程度拡大するものである。これによって、画像の欠落を防止することができる。
【０００４】
しかしながら、画像の拡大は、画像メモリの読出し速度をその書込み速度に比して遅くし、不足する画素データを内挿する処理でなされる。従って、拡大画像は、元の画像に比して解像度が劣化する。そのため、手振れ補正後の画質が良好でない問題があった。
【０００５】
次に、従来の手振れ補正の他の問題点について説明する。これは、画面中の大面積の動きを手振れと誤って判定する問題である。１画面を（４×４＝１６）のマクロブロックへ分割し、各マクロブロックで動きベクトルを検出する方法を採用している時に、例えば、図２４Ａに示すように、人物が画面を右から左へ動く時に、各ブロックでは、矢印で示す動きベクトルが検出される。人物（エッジ）が含まれない他のブロックの動きベクトルは、０として検出される。
【０００６】
従来では、マクロブロック毎の動きベクトルを多数決判定し、多数である動きベクトルを手振れ補正用の動きベクトルとして採用している。しかしながら、上述の例のように、画面中央にその面積の大きい物体が存在し、この物体が動く時には、この物体を動きを手振れとして、誤って判定する可能性がある。かかる誤った判定を回避する必要がある。
【０００７】
さらに、マクロブロックの動きベクトルとして複数の動きベクトルが存在する場合もある。例えば図２４Ｂに示すように、手振れにより生じた動きと対応する動きベクトルと、画面中の物体の動きにより生じたものとが合成される結果、複数の動きベクトルが検出される場合がある。図２４Ｂの例のように、大面積の物体の動きがある時には、従来のように、多数決判定すると、手振れによる動きベクトルを正確に検出することができない問題がある。
【０００８】
さらに、ビデオカメラ一体型ＶＴＲのような画像信号記録装置では、記録される画像信号として、手振れ補正されたものを記録するのが普通である。しかしながら、その結果、撮影された画像それ自体を再生できなくなり、また、手振れ補正が良好になされない時には、再生側でその補正が不可能であるという問題点が生じる。
【０００９】
【発明が解決しようとする課題】
上述したように、従来の動きベクトルを検出し、検出された動きベクトルに基づいて手振れ補正を行なう方法は、種々の問題点を有している。さらに、上述した問題点の他に、動きベクトルを検出するためのハードウエアを必要とし、手振れ補正のためのハードウエアの規模が大きくなる問題がある。
【００１０】
この発明は、ハードウエアの規模の低減を図るものである。一般的に、ディジタル画像データを記録媒体（磁気テープ、光ディスク等）に記録する場合に、記録データ量を圧縮するための高能率符号化として、動き補償予測符号化が知られている。これは、入力画像信号と予測画像信号との差分を検出し、差分を符号化し、さらに可変長符号化する予測符号化において、予測信号を形成する時に、検出された動きベクトルによる動き補償を行い、それによって、差分値を小さくするものである。ビデオカメラの手振れ補正のために、動きベクトルを使用するので、この動きベクトルとして、動き補償予測符号化のために検出された動きベクトルを使用することによって、動きベクトルの検出のためのハードウエアを共用することが可能となる。
【００１１】
従って、この発明の目的は、動き補償予測符号化のために検出された動きベクトルを手振れ補正のためにも共用することを可能とした画像信号処理装置および記録／再生装置を提供することにある。
【００１２】
【課題を解決するための手段】
この発明は、１画面の画像データを複数のブロックに分割し、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出し、
動きベクトルを用いて画像データを圧縮する機能を有する画像信号処理装置において、
各ブロックの動きベクトルを検出する動きベクトル検出手段と、
各ブロックの動きベクトルから手振れ動きベクトルを検出する手振れ動きベクトル検出手段と、
入力される画像信号を検出された手振れベクトルに基づいて補正する手段と、
各ブロックの動きベクトルを手振れ動きベクトルにより修正した動きベクトルを求める手段と、
修正された動きベクトルにより動き補償を行なう手段と、
手振れ補正された画像データと動き補償が行われた画像データにより圧縮処理を行なう手段とを備え、
手振れ動きベクトル検出手段は、
各ブロックの画像データのアクティビティの高低を評価するアクティビティ評価手段と、
各ブロックの動きベクトルの大きさを評価する動きベクトル評価手段と、
アクティビティ評価手段によりアクティビティが所定値より高く、且つ動きベクトル評価手段により動きベクトルが所定値より小さいと評価されたブロックを静止ブロックとして検出する判断手段とを有し、
判断手段により１画面中で静止ブロックが検出された場合は、手振れ補正を行わないことを特徴とする画像信号処理装置である。
この発明は、１画面の画像データを複数のブロックに分割するステップと、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出するステップと、
各ブロックの動きベクトルから手振れ動きベクトルを検出するステップと、
入力される画像信号を検出された手振れベクトルに基づいて補正するステップと、
各ブロックの動きベクトルを手振れ動きベクトルにより修正した動きベクトルを求めるステップと、
修正された動きベクトルにより動き補償を行うステップと、
手振れ補正された画像データと動き補償が行われた画像データにより圧縮処理を行なうステップとを備え、
手振れ動きベクトルを検出するステップにおいて、
各ブロックの画像データのアクティビティの高低を評価し、
各ブロックの動きベクトルの大きさを評価し
所定値よりアクティビティが高く、且つ所定値より動きベクトルが小さいと評価されたブロックを静止ブロックとして検出し、
静止ブロックが検出された場合は、手振れ補正を行わないことを特徴とする画像信号処理方法である。
【００１３】
この発明は、１画面の画像データを複数のブロックに分割し、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出し、
動きベクトルを用いて画像データを圧縮する機能を有する画像信号記録装置において、
各ブロックの動きベクトルを検出する動きベクトル検出手段と、
各ブロックの動きベクトルから手振れ動きベクトルを検出する手振れ動きベクトル検出手段と、
動きベクトルにより動き補償を行なう手段と、
入力画像データと動き補償された画像データにより圧縮処理を行う手段と、
圧縮された画像データと共に、手振れ動きベクトルを記録する手段とを備え、
手振れ動きベクトル検出手段は、
各ブロックの画像データのアクティビティの高低を評価するアクティビティ評価手段と、
各ブロックの動きベクトルの大きさを評価する動きベクトル評価手段と、
アクティビティ評価手段によりアクティビティが所定値より高く、且つ動きベクトル評価手段により動きベクトルが所定値より小さいと評価されブロックを静止ブロックとして検出する判断手段とを有し、
判断手段により１画面中で静止ブロックが検出された場合は、手振れなしとすることを特徴とする画像信号記録装置である。
この発明は、１画面の画像データを複数のブロックに分割するステップと、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出するステップと、
各ブロックの動きベクトルから手振れ動きベクトルを検出するステップと、
動きベクトルにより動き補償を行なうステップと、
入力画像データと動き補償された画像データにより圧縮処理を行うステップと、
圧縮された画像データと共に、手振れ動きベクトルを記録するステップとを備え、
手振れ動きベクトルを検出するステップにおいて、
各ブロックの画像データのアクティビティの高低を評価し、
各ブロックの動きベクトルの大きさを評価し、
所定値よりアクティビティが高く、且つ所定値より動きベクトルが小さいと評価されたブロックを静止ブロックとして検出し、
静止ブロックが検出された場合は、手振れなしとする
ことを特徴とする画像信号記録方法である。
【００１５】
動き補償予測符号化のように、記録データの圧縮のために、動きベクトルが検出される。この動きベクトルは、ブロック単位で検出される。この動きベクトルと画像データの変化量とを使用することによって、手振れ動きベクトルが検出される。この手振れ動きベクトルによって補正された画像データが記録される。手振れ補正された画像データを記録するのに限らず、手振れ動きベクトルまたはこれより形成された補正信号を圧縮画像データと共に、記録媒体に記録し、再生時に手振れ補正が行われる。
【００１６】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。ここでの実施の形態は、例えばＶＴＲ一体型ビデオカメラであって、撮影した画像信号をディジタル信号へ変換し、動き補償予測符号化により圧縮し、そして、磁気テープ等の記録媒体に記録するものである。
【００１７】
図１において、１は、撮像素子としてのＣＣＤを示す。ＣＣＤ１の撮像出力がカメラ信号処理回路２に供給され、ビデオ信号へ変換される。このビデオ信号がＡ／Ｄ変換器３によってディジタルビデオ信号へ変換される。例えば１３．５ＭHzのサンプリング周波数によってＡ／Ｄ変換される。なお、この発明は、輝度信号と二つの色差信号からなるコンポーネント信号、あるいは輝度信号と搬送色信号とが重畳されたコンポジット信号に対しても適用することができるが、以下の説明では、簡単のため輝度信号の処理についてのみ説明する。
【００１８】
Ａ／Ｄ変換器３からのディジタルビデオ信号が遅延回路１４を介して、この発明が適用された手振れ補正回路４に供給される。手振れ補正回路４は、後述するように、撮影時の手振れを補正するための回路である。手振れ検出回路１２および補正信号発生回路１３が手振れ補正のために設けられている。遅延回路１４は、手振れ補正信号を形成するための処理にかかる時間、ディジタルビデオ信号を遅延させる位相合わせのために設けられている。手振れ補正回路４の出力信号が減算回路５に供給され、また、Ａ／Ｄ変換器３の出力信号が動きベクトル検出回路６に供給される。
【００１９】
減算回路５には、動き補償回路７からの予測信号が供給され、減算回路５からは、実際のビデオ信号と予測信号との差分が画素ごとに発生する。この差分がＡＤＲＣ符号化のエンコーダ８に供給され、エンコーダ８の符号化出力が取り出される。これと共に、エンコーダ８の出力がＡＤＲＣデコーダ（ローカルデコーダ）９に供給され、その出力に差分値の復号データが取り出される。なお、フレーム内符号化の画像信号を周期的に挿入することによって、復号側がリフレッシュ処理を行うようにしても良い。
【００２０】
ＡＤＲＣデコーダ９からの復号値が加算回路１０に供給され、動き補償回路７からの予測信号と加算される。この加算回路１０から得られる復号信号がフレームメモリ１１に書込まれる。フレームメモリ１１の出力が動き補償回路７に供給される。動き補償回路７には、動きベクトル検出回路６からの動きベクトルＶhvが動きベクトル修正回路１５を介して供給され、動き補償がなされる。動き補償回路７からの予測信号が上述の加算回路１０に供給されるとともに、減算回路５に供給される。減算回路５において、実際のビデオ信号と予測信号との画素の差分が形成される。
【００２１】
動きベクトル検出回路６は、Ａ／Ｄ変換器３の出力ビデオ信号、すなわち、手振れ補正前のディジタルビデオ信号から動き補償のための動きベクトルを検出する。この発明の一実施例では、動きベクトルＶhvおよび評価値Ｐijを手振れ検出回路１２に供給し、後述のように、手振れ動きベクトルを求め、この手振れ動きベクトルを補正信号発生回路１３に供給し、補正信号を形成する。この補正信号が手振れ補正回路４に供給されることによって手振れを補正することができる。
【００２２】
画像信号の記録／再生のために、図２に示す構成が用いられる。図２において、２１で示す入力端子に動き補償予測符号化のエンコーダ（図１の例では、ＡＤＲＣエンコーダ８）から符号化出力が供給される。この符号化出力が可変長符号化のエンコーダ２２に供給され、可変長符号化される。可変長符号化の出力が記録バッファ２３に供給される。記録バッファ２３は、バッファ容量を示す信号を前段へフィードバックする。これによって所定期間の記録データ量が一定に制御される。例えばＡＤＲＣ符号化の量子化ビット数を変化させることによって伝送データ量を制御できる。
【００２３】
この例は、フィードバック制御のバッファリング回路であるが、ＡＤＲＣエンコードにおける量子化ビット数として、複数のもの（例えば０ビット、１ビット、２ビット、３ビット、４ビット）を用意し、所定の期間の発生データ量を見積り、目標データ量を越えないように、量子化ビット数をブロック毎に選択する、フィードフォワード制御のバッファリングを行なうようにしても良い。記録バッファ２３の出力がマルチプレクサ２４に供給され、オーディオデータ、制御用データ等が多重化される。
【００２４】
マルチプレクサ２４の出力が記録処理回路２５に供給される。記録処理回路２５では、記録データに対するエラー訂正符号化、チャンネル変調等の処理がなされる。記録処理回路２５からの記録データが記録アンプ２６と記録／再生切替えスイッチ２７の記録側端子Ｒを介して記録媒体に記録される。記録媒体としては、磁気テープ、記録可能な光ディスク等を使用できる。
【００２５】
記録媒体から再生された再生データが記録／再生切替えスイッチ２７の再生側端子Ｐおよび再生アンプ２８を介して再生処理回路２９に供給される。再生処理回路２９は、チャンネル変調の復調、エラー訂正等の処理を行なう。再生処理回路２９の出力がディマルチプレクサ３０に供給され、オーディオ信号、制御用データ等が分離される。ディマルチプレクサ３０からのビデオ信号と対応する再生データが可変長符号化のデコーダ３１に供給され、可変長符号の復号がなされる。出力端子３２に取り出された再生データがＡＤＲＣデコーダ等の高能率符号化のデコーダに供給される。
【００２６】
ＡＤＲＣは、本願発明者の提案による高能率符号化のひとつである。ＡＤＲＣエンコーダ８の構成の一例を図３に示す。入力端子３４からディジタルビデオ信号がブロック化回路３５に供給され、ブロック化回路３５によって１画面を細分化したブロック毎の順序を有するデータが形成される。ブロック化回路３５の出力データが検出回路３６および遅延回路３７に供給される。
【００２７】
検出回路３６は、各ブロックの複数の画素の最大値ＭＡＸ、最小値ＭＩＮを検出する。遅延回路３７は、この検出に要する時間、ディジタルビデオ信号を遅延させるためのものである。検出された最大値ＭＡＸおよび最小値ＭＩＮが減算回路３８に供給され、減算回路３８から（ＭＡＸ−ＭＩＮ＝ＤＲ）で表されるダイナミックレンジＤＲが得られる。また、遅延回路３７からのディジタルビデオ信号と最小値ＭＩＮが減算回路３９に供給され、その出力に最小値が除去された修正画素データが得られる。ブロック内の画素が共有する最小値ＭＩＮを除去することによって、正規化がなされる。
【００２８】
減算回路３９の出力と検出されたダイナミックレンジＤＲとが量子化回路４０に供給される。量子化回路４０では、図５に示すように、ダイナミックレンジＤＲを２n 等分した量子化ステップ（ｎ；量子化ビット数であり、図５では、ｎ＝２）により、減算回路３９の出力が再量子化される。空間的に近接する画素は、相関が強いので、量子化ビット数ｎを元の量子化ビット数（例えば８ビット）より少なくしても、復号画像の劣化が少なく、伝送データ量を圧縮することができる。量子化回路４０からの符号化出力ＤＴが伝送されると共に、ブロック毎のダイナミックレンジＤＲおよび最小値ＭＩＮが付加情報として伝送される。
【００２９】
図４は、ＡＤＲＣデコーダ９の一例の構成を示す。ＡＤＲＣエンコーダ８からのダイナミックレンジＤＲおよび符号化出力ＤＴが逆量子化回路４２に供給される。逆量子化回路４２は、ダイナミックレンジＤＲと量子化ビット数ｎとで定まる量子化ステップを符号化出力に乗じ、乗算出力を整数化することによって、復元レベルを発生する。図５に示すように、量子化の時のレベル範囲のそれぞれの中央値が復元レベル（代表レベル）Ｌ０、Ｌ１、Ｌ２、Ｌ３とされる。
【００３０】
そして、逆量子化回路４２からの復元レベルと最小値ＭＩＮとを加算回路４３により加算することによって、復号値が得られる。この復号値がブロック分解回路４４に供給され、画素データの順序がラスター順序へ戻される。ブロック分解回路４４の出力端子４５には、復号ビデオ信号が取り出される。
【００３１】
動きベクトル検出回路６では、ブロックマッチング法により動きベクトルが検出される。これは、図６にその処理を概略的に示すように、参照フレーム例えば前フレームＦn-1 の検査ブロックＢｙを所定のサーチエリア内で移動し、現フレームＦｎの基準ブロックＢｘと最も合致している検査ブロックを検出することにより動きベクトルを求めるものである。従って、動きベクトルは、ブロック毎に求められる。合致の程度を表す評価値としては、基準ブロックＢｘ内の複数の画素と検査ブロックＢｙ内の複数の画素との間で、同一の空間的位置の画素同士の値を減算することでフレーム差を求め、このフレーム差の絶対値和を使用することができる。フレーム差の絶対値和以外に、フレーム差の二乗和等を使用できる。
【００３２】
図７は、動きベクトル検出回路６の一例の構成を示す。図７において、５１が現フレームの画像データの入力端子であり、この画像データが現フレームメモリ５３に蓄えられる。５２が前フレームの画像データの入力端子であり、この画像データが前フレームメモリ５４に蓄えられる。
【００３３】
現フレームメモリ５３および前フレームメモリ５４の読出し／書込みは、コントローラ５５によって制御される。現フレームメモリ５３からは、現フレームの基準ブロックの画素データが読出され、前フレームメモリ５４からは、前フレームの検査ブロックの画素データが読出される。前フレームメモリ５４と関連してアドレス移動回路５６が設けられる。コントローラ５５がアドレス移動回路５６を制御する結果、検査ブロックの位置が１画素ステップで、サーチエリア内で変化する。
【００３４】
現フレームメモリ５３の出力と前フレームメモリ５４の出力とが差分検出回路５７に供給され、１画素毎の差分（フレーム差）が検出される。差分検出回路５７の出力が絶対値化回路５８で絶対値へ変換され、この絶対値が累算回路５９に供給される。累算回路５９が１ブロックで発生した絶対値差分を累算し、その出力（フレーム差絶対値和）が評価値として判断回路６０に供給される。判断回路６０は、サーチエリア内で検査ブロックを移動した時にそれぞれ発生する差分の絶対値和から動きベクトルを検出する。すなわち、最小の差分の絶対値和を発生する検査ブロックの位置を動きベクトルとして検出する。出力端子６１に、検出された動きベクトルが取り出される。
【００３５】
この発明の一実施例では、このように検出された動き補償のための動きベクトルを手振れ補正のためにも使用するものである。手振れ補正の動きベクトルは、画面全体、あるいは比較的大きなブロックの動きを表すもので、既存の方法として、図８に示すように、手振れ補正用の動きベクトルを検出することが知られている。
【００３６】
すなわち、現フレームＦｎをサーチエリアＳｘに分割し、各サーチエリアＳｘ内の複数の画素と、前フレームＦn-1 の代表点画素Ｒｙ（サーチエリアの中心位置の画素）とのフレーム差の絶対値を求める。さらに、各サーチエリアＳｘで求められたフレーム差絶対値を同一の空間的位置において積算し、それによって、サーチエリアＳｘと同一の大きさの評価値テーブルを作成する。この評価値テーブル中の最小値を検出することによって、画面全体の動きベクトルを求める。
【００３７】
このように、動きベクトル検出回路６で求める動きベクトルは、ブロック単位で求められるものであるのに対して、手振れ補正にとって必要な動きベクトルは、画面全体、あるいは比較的大きなブロックの単位で求められるものである。この相違があるために、手振れ検出回路１２は、動きベクトル検出回路６からフレーム差絶対値和Ｐijおよび動きベクトルＶhvを受け取り、手振れ補正用の動きベクトルを生成する。
【００３８】
図９は、手振れ検出回路１２および手振れ補正回路４の一例の構成を示す。動きベクトル検出回路６からのフレーム差絶対値和Ｐijが積算回路７１に供給される。このフレーム差絶対値和Ｐijについて図１０を参照して説明する。図６を参照して説明したように、基準ブロックＢｘと検査ブロックＢｙとのフレーム差の絶対値和は、サーチエリア内の検査ブロックＢｙの各位置で計算される。一例として、サーチエリアを水平方向に±４、垂直方向に±３とすると、９×７＝６３個の検査ブロックとのフレーム差絶対値和が計算される。
【００３９】
現フレームのある一つの基準ブロックＢｘに関してのフレーム差絶対値和を検査ブロックの位置に対応して配列したものを図１０に示す。中心位置（ｉ＝４，ｊ＝３）のフレーム差絶対値和Ｐ４３は、基準ブロックＢｘと検査ブロックＢｙとが空間的に同一位置の場合のものである。このフレーム差絶対値和Ｐijが各基準ブロック毎に積算回路７１において積算され、評価値ΣＰhvが形成される。一例として、ブロックサイズを（１６×１６）とし、１フレームの有効画面サイズを（７０４画素×４８０ライン）とすると、図１１に示すように、１フレームが（４４×３０）のブロックへ分割されることになり、このブロック数と等しい評価値ΣＰhvが得られる。
【００４０】
評価値ΣＰhvは、そのブロック内の画像のレベル分布を反映したものである。若し、サーチエリア内の画像が平坦なレベル分布であるような場合では、フレーム差絶対値和のレベルが小さくなり、評価値ΣＰhvのレベルも小さくなる。一方、レベル分布が平坦でなく、エッジ等を含む場合には、評価値ΣＰhvのレベルも大きくなる。この一実施例では、アクティビティーとして画像のレベル分布を使用しており、平坦なレベル分布を低いアクティビティーとしている。但し、アクティビティーは、空間傾斜に限らず、周波数変換における周波数成分等を含むものである。
【００４１】
この評価値ΣＰhvと動きベクトルＶhvが手振れ判定回路７２に供給される。手振れ判定回路７２は、図１２のフローチャートに示すように、手振れ判定を行なう。初期値として（ｈ＝０、ｖ＝０）とされ（ステップ８１）、次のステップ８２において、しきい値ＴＨ１、ＴＨ２とそれぞれ比較される。Ｖ00＜ＴＨ１で、ΣＰ00＞ＴＨ２であれば、カメラ静止（すなわち、手振れでない）と判定される（ステップ８３）。
【００４２】
このステップ８２の条件が成立することは、ブロック00がエッジ等のレベル変化が不連続な位置の画像（ΣＰ00＞ＴＨ２）であって、しかも、ブロック00について動きがない（Ｖ00＜ＴＨ１）と検出されていることを意味する。手振れが発生している場合には、全画面が動くので、静止ブロックが一つでも存在することは、手振れではないと決定できる。
【００４３】
ステップ８２の条件が成立しないときには、ステップ８４に処理が移り、ｈの値が水平方向の最大値（４３）であるかどうかが調べられる。そうでない場合には、ステップ８５において、ｈの値が＋１され、ステップ８２へ戻る。このようにして、ブロック00から隣のブロック10についての処理に移り、このブロック10が静止ブロックかどうか判定される。そして、ｖ＝０の全てのブロックについての処理が完了すると、ステップ８４からステップ８６へ処理が移る。
【００４４】
ステップ８６は、ｖの値が２９かどうかを決定するもので、そうでない場合には、ステップ８７へ処理が移る。ステップ８７において、ｖの値が＋１され、ステップ８２へ戻る。ｖの値が２９に到達した時に、（４４×３０）個の全ブロックの処理が完了する。そして、全ブロックについて、静止ブロックが全く検出されない場合では、全画面の動き、すなわち、手振れと判断し、ステップ８８において、マクロブロック毎の動きベクトル検出の処理に移る。図９の構成では、手振れ判定回路７２からマクロブロック化回路７３に対して、判断結果の制御信号が出力される。
【００４５】
マクロブロック化回路７３は、動きベクトル検出回路６からの動きベクトルＶhvをマクロブロック毎に分離する。ここでは、図１３に示すように、１フレームの画面を水平方向に４分割し、垂直方向に３分割し、（１１×１０）ブロックのサイズの１２個のマクロブロックＭＶ 00 、ＭＶ 10 、・・・ＭＶ 32を形成する。このマクロブロックの例に限らず、複数のマクロブロックを得るために、１画面を分割する方法は、種々採用できる。但し、互いに隣接しないマクロブロックが生じる必要があり、従って、画面を等しく４分割するような方法は、採用してはならない。各マクロブロック毎に動きベクトルが動きベクトル検出回路７４0 、７４1 、・・・、７４ 11 に供給される。
【００４６】
動きベクトル検出回路７４0 は、マクロブロックＭＢ00に含まれるブロックの動きベクトルをベクトル加算することによって、合成動きベクトルＭＶ00を検出する。同様に、動きベクトル検出回路７４1 、７４2 、・・・・、７４ 11 が各マクロブロックの合成動きベクトルＭＶ10、ＭＶ20、・・・ＭＶ32をそれぞれ検出する。検出された合成動きベクトルＭＶ00〜ＭＶ32が統合ベクトル形成回路７５に供給される。
【００４７】
統合ベクトル形成回路７５は、１２個の合成動きベクトルを統合することにより、画面全体の動きベクトル（統合ベクトル）を発生する。この統合ベクトルが補正信号発生回路１３に供給される。なお、統合ベクトルは、フレーム間の動きから検出されたもので、手振れの補正量と同一ではない。例えば連続する３フレームの期間で、第２番目および第３番目のフレームの期間で、同一方向の手振れが生じている時では、最初のフレームと次のフレームとの間の統合ベクトルＶ１が得られ、第２番目と第３番目のフレーム間の統合ベクトルＶ２が得られる。第２番目のフレームに対する補正量は、Ｖ１で良いが、第３番目のフレームに対する補正量は、（Ｖ１＋Ｖ２）の必要がある。補正信号発生回路１３は、一例として、統合ベクトルを積分した補正量を発生する。補正信号発生回路１３からの手振れ補正信号が補正回路４に供給され、入力画像データの手振れ補正がなされる。
【００４８】
統合ベクトル形成回路７５は、図１４に示す流れに従って統合ベクトルを形成する。各マクロブロックの動きベクトルが入力され（ステップ９１）、全マクロブロックの動きベクトルが同一か否かが調べられる（ステップ９２）。若し、同一ならば、その動きベクトルが統合ベクトルとして出力される（ステップ９３）。以下の場合も同様であるが、同一は、ある程度のトレランスを含んでいる。
【００４９】
ステップ９２が成立しない時は、判定のステップ９４に移り、空間的に分離された複数のマクロブロックに関して、動きベクトルが同一かどうかが調べられる。言い換えると、１フレーム全体で、同一の動きベクトルを有するマクロブロックが空間的に分離されたものかどうかが調べられる。ステップ９４を満足する動きベクトルが統合ベクトルとして出力される（ステップ９５）。「空間的に分離された」は、上下、左右、斜めの各方向で隣接するもの（例えば（ＭＢ00、ＭＢ10、ＭＢ01、ＭＢ11））を除くことを意味する。従って、空間的な距離、同一の動きベクトルを有するマクロブロックの個数等については、必要とされる検出精度等を考慮して適宜設定される。この判定のステップ９４は、比較的大面積の物体の動きを手振れとするような誤判定を排除できる。
【００５０】
ステップ９４が成立しない時には、流れがステップ９６に移り、同一ベクトルを有するマクロブロックの個数がそれぞれ合計される。このマクロブロックの各個数に対して、次のステップ９７で重み付けがなされる。この重み付けは、画面の非周辺付近のマクロブロックに関するブロック数に対して、画面の周辺のマクロブロックに関するブロック数を優先させるためである。一例として、周辺に関するブロック数には、１．５の重み係数を乗じ、非周辺付近に関するブロック数には、１の重み係数を乗じる。比較的大面積の物体の動きは、中心付近にあることが多いことを考慮して、ステップ９７の重み付けがなされる。
【００５１】
そして、流れがステップ９８に移り、重み付けがされたブロック数の中での最大値があるかどうかが調べられる。最大値がある時には、その最大値のマクロブロックの動きベクトルが統合ベクトルとして出力される（ステップ９９）。若し、ブロック数が等しいか、又は略等しいならば、流れがステップ１００に移る。そし、マクロブロックの個数に関して、ステップ１００で多数決判定がされ、多数とされたものの動きベクトルが統合ベクトルとして出力される。多数決判定は、統合ベクトルを発生するうえで、精度の点で問題があり、精度を重視する場合には、この判定を省略し、統合ベクトルの検出不能として処理することも可能である。
【００５２】
上述の処理によって、動き物体と手振れとの特性の相違を利用して動きベクトルを画面全体の動きベクトルに統合しているので、検出された手振れ動きベクトルが画面内の対象物の動きに影響されない高精度のものとなる。
【００５３】
図９に戻って説明すると、画面全体の動きを表す統合ベクトルが補正信号発生回路１３に供給され、積分によって補正信号が形成される。この補正信号が手振れ補正回路４に供給され、手振れが補正される。手振れ補正回路４は、遅延回路１４からの画像データが書込まれるメモリ１０１と、周辺メモリ１０２と、メモリ１０１および周辺メモリ１０２の読出し出力を選択するためのセレクタ１０３と、メモリ１０１および周辺メモリ１０２のアドレスを制御するためのアドレス制御回路１０５と、セレクタ１０３を制御するためのセレクト信号を発生するセレクト信号発生回路１０６とから構成され、手振れ補正されたビデオ信号が出力端子１０４に取り出される。
【００５４】
メモリ１０１は、例えばフレームメモリであり、補正信号に応じてその読出しアドレスが制御される。従って、メモリ１０１からは、補正信号に応じて移動された画像データが読出される。セレクタ１０３で選択されたデータが周辺メモリ１０２に対して書込まれる。セレクタ１０３は、セレクト信号発生回路１０６からのセレクト信号に応答して、手振れ補正されたメモリ１０１からの画像データと周辺メモリ１０２に記憶されている周辺データとを選択する。
【００５５】
図１５Ａにおいて、メモリ１０１に取り込まれた１フレームの画像（その画枠を１０７で表す）の周辺部（一点鎖線の外側の領域）１０８が周辺メモリ１０２に格納される。周辺部１０８の幅は、手振れ補正の範囲を考慮して設定され、例えば水平および垂直方向で、１フレームの画像の１０〜２０％程度の幅とされる。図１５Ｂにおいて、画枠１０７ａで示すように、手振れにより図１５Ａの位置であるべき画像が図面に向かって例えば右方向へ動いた時では、手振れ補正量Ｖにより画像の全体が破線で示す位置に補正される。この手振れ補正の場合には、撮像された画像中には、元々存在していない、移動後の画像の左側の斜線で示す部分１０９の画像が欠落する。この欠落部分１０９が周辺メモリ１０２に蓄えられている対応する位置の画像に置き換えられる。この置換は、アドレス制御回路１０５によるアドレス制御と、セレクタ１０３の切替え動作で実行される。また、周辺メモリ１０２には、撮像された画像データ中の欠落部分１０９以外の周辺の画像データが書込まれ、周辺メモリ１０２の内容が更新される。
【００５６】
このように、手振れ補正で生じる画像の欠落を周辺メモリに記憶されている周辺画像で置き換えるので、画像を拡大する処理と異なり、画像の解像度の劣化を防止することができる。
【００５７】
上述したこの発明の一実施例では、手振れ動きベクトルの検出のための動きベクトルは、手振れ補正前のビデオ信号を処理して得られる。一方、動き補償等の処理は、手振れ補正回路４によって手振れ補正がされたビデオ信号に対してなされる。従って、動きベクトル検出回路６で検出された動きベクトルによって動き補償を行うことができない。この問題を解決するために、動きベクトル修正回路１５が設けられている。動きベクトル修正回路１５によって、動きベクトルに含まれている手振れ成分が除かれる。
【００５８】
動きベクトル修正回路１５における処理について図１６を参照して説明する。図１６Ａは、各ブロックで求められた動きベクトルＶ00、Ｖ01、Ｖ10、Ｖ11、・・・等が手振れベクトルの成分を含んでいることを表している。手振れがなければ、これらのブロックの位置が破線に示す位置にある。
【００５９】
ここで、動きベクトルＶ00のブロックに注目すると、図１６Ｂに示すように、手振れ成分を除去した場合には、このブロックの位置は、破線の位置である。破線の位置におけるブロックについて、動きベクトルを検出した位置のブロックと周辺の他のブロックに含まれる画素数が求められる。図１６では、ブロックの全画素数をｎとし、破線で示す位置では、ｎ1 、ｎ2 、ｎ3 、ｎ4 で表す画素数が各ブロックに含まれる画素数としている。そして、次の式で示す加重平均方式によって、修正後の動きベクトルＶ00´を計算する。他のブロックの動きベクトルについても同様に修正される。
【００６０】
Ｖ00´＝（ｎ1 ／ｎ）・Ｖ00＋（ｎ2 ／ｎ）・Ｖ10＋（ｎ3 ／ｎ）・Ｖ01＋（ｎ4 ／ｎ）・Ｖ11
【００６１】
この複数のブロックにそれぞれ含まれる画素数ｎ1 〜ｎ4 を求めるには、手振れ補正のｘ軸への投影成分、およびそのｙ軸への投影成分が使用される。このようにして動きベクトルを修正することができる。加重平均方式は、修正の一方法であって、これ以外の修正方法を使用することができる。
【００６２】
図１７は、この発明の他の実施例を示す。図１に示す一実施例では、減算器５からのフレーム間差分をＡＤＲＣにより圧縮しているのに対して、他の実施例は、ＭＰＥＧ(Moving Pictures Expert Group)規格の符号化を採用している。ＭＰＥＧは、ＤＣＴ（Discrete Cosine Transform)回路１６ａおよび量子化器１７ａによって空間的相関を利用した圧縮を行い、また、双方向の動き補償フレーム間予測を行う。
【００６３】
双方向の予測符号化は、フレーム内予測符号化と順方向予測符号化と逆方向予測符号化とである。順方向予測符号化は、過去の画像から現在の画像を予測するフレーム間予測符号化であり、逆方向予測符号化は、未来の画像から現在の画像を予測するフレーム間予測符号化である。さらに、前後両方向の予測による内挿的フレーム間予測符号化もなされる。これらの予測符号化の方法に対応して、ピクチャタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）が規定される。
【００６４】
双方向の動き補償のために、動きベクトル検出回路６に対して、フレームメモリ１８が追加され、また、フレームメモリ１１ａ、１１ｂからの過去、現在、未来の予測画像を使用して、逆方向の動き補償回路７ｒ、補間動き補償回路７ｉ、順方向動き補償回路７ｆがそれぞれの動き補償を行う。ローカル復号のためには、逆量子化器１６ｂ、逆ＤＣＴ回路１７ｂ、逆ＤＣＴ回路１７ｂの出力とスイッチ回路を介された信号とを加算する加算回路１０が設けられている。また、減算器５からの差分信号と減算器５を介さない信号とを選択するスイッチ回路が設けられている。これらのスイッチ回路は、上述のピクチャタイプに応じてコントロール信号Ｓ１、Ｓ２、Ｓ３によって制御される。符号化制御回路１９からコントロール信号Ｓ１、Ｓ２、Ｓ３が発生する。
【００６５】
この発明の他の実施例は、一実施例と同様に、動きベクトル検出回路６からの動きベクトルＶhvおよび評価値Ｐijを手振れ検出回路１２に供給し、手振れ動きベクトルを求め、この手振れ動きベクトルを補正信号発生回路１３に供給し、補正信号を形成し、この補正信号を手振れ補正回路４に供給することによって手振れを補正する。また、手振れベクトルを修正するために、手振れベクトル修正回路１５が設けられている。
【００６６】
図１８は、この発明のさらに他の実施例の記録側の構成を示す。さらに他の実施例では、記録側では、手振れ補正のための補正信号を発生し、図１９に示す再生側において、手振れ補正を行う。従って、図１８に示すように、記録側には、手振れ検出回路１２および補正信号発生回路１３が設けられているが、手振れ補正回路４が設けられていない。ＡＤＲＣエンコーダ８からの符号化出力、動きベクトルおよび手振れ補正信号がフレーム化回路２０に供給され、記録データが形成される。この記録データが記録系を介して記録媒体に記録される。
【００６７】
図１９に示すように、再生側では、再生系により形成された再生データが入力端子６２からフレーム分解回路６３に供給され、ＡＤＲＣ符号化出力、手振れベクトルＶhv、補正信号が分離される。ＡＤＲＣデコーダ６４により差分信号が復号され、復号差分信号が加算回路６５に供給される。加算回路６５の出力が予測メモリ６６に供給され、動きベクトルＶhvによって記録側と同様の動き補償がなされる。
【００６８】
加算回路６５からの再生画像信号が手振れ補正回路４に供給される。この手振れ補正回路４において、再生信号から分離された補正信号によって手振れ補正がなされる。手振れ補正回路４からのディジタル画像信号がＤ／Ａ変換器６７に供給され、出力端子６８に再生画像信号が取り出される。なお、手振れ補正の作動、不作動を選択する選択手段を設けても良い。また、手振れ補正信号を記録しているが、手振れ補正信号の代わりに、評価値ΣＰijを記録し、再生側で動きベクトルと評価値を使用して手振れ補正信号を形成しても良い。
【００６９】
なお、手振れ補正信号を記録するようにしたこの発明のさらに他の実施例は、ＭＰＥＧを使用する場合に対しても適用することができる。
【００７０】
また、手振れ補正時の画像の欠落を補償するために、周辺メモリを設けているが、背景メモリによって画像の欠落の補償を行うようにしても良い。背景メモリは、フレーム間の画像の変化の中で、殆ど変化しない画像が選択的に書込まれるものである。背景メモリを使用して、動き補償を行う際のアンカバードバックグランドを防止でき、あるいは背景データの伝送を間引いて伝送データ量を圧縮することができる。この方式による圧縮符号化方式は、本願発明者により提案され、例えば特公平７−９７７５４号公報に記載されている。また、フレームメモリに比べて大きなメモリを背景メモリとして用いることにより、手振れによる周辺画像、パン、チルトによる画像等の１フレーム内に収まらない画像の蓄積に利用することができる。
【００７１】
図２０は、背景メモリに蓄積される画像データを概略的に説明するもので、例えばコート上でプレーしているテニスプレーヤを撮影した場合に、順次変化する画像と、撮影画像の中の背景画像（具体的にはテニスコート）が背景メモリに蓄積されることを表している。すなわち、背景メモリには、動いているプレーヤを除いた画像が蓄積される。この場合、背景メモリの領域を撮像画像のものより広いものとし、例えばビデオカメラのパンニング時、チルティング時の動きに応じて背景メモリの領域を可変することにより、図２０の例のように、広い範囲の背景画像の取込みが可能である。
【００７２】
図２１は、背景メモリを使用するようにしたこの発明のよりさらに他の実施例を示す。図１に示す一実施例と対応する構成要素に対しては同一の参照符号を付してその説明は、省略する。ローカルデコードされ、動き補償された画像信号が加算回路１０から手振れ補正回路１１１に入力される。手振れ補正回路１１１では、上述したような手振れ補正がなされる。すなわち、補正信号発生回路１３からの手振れ補正信号によりローカルデコードされた画像データの位置が補正される。手振れ補正回路１１１から出力される画像信号が比較器１１３を通って背景メモリ１１２に入力される。ローカルデコードされた画像データは、ブロック構造のデータとされる。
【００７３】
一方、ローカルデコードされた画像データに対応する位置の画像データブロックが背景メモリ１１２から読出される。比較器１１３では、ローカルデコードされた画像データのブロックと、背景メモリ１１２からの対応位置の画像データとの間で、画素毎に差分値が計算され、この差分値の絶対値が１ブロックで累算される。各ブロックの差分の累算値が比較器１１３において所定のしきい値と比較される。比較器１３の比較出力が更新制御回路１１４に入力される。
【００７４】
更新制御回路１１４は、差分の累算値がしきい値より小さい場合では、背景画像と判断する。背景画像と決定される場合では、そのブロックと対応する位置のブロックの背景メモリ１１２のデータがローカルデコード画像データにより更新される。更新時では、一度にデータの更新を行うよりも、除々に背景メモリ１１２を更新することが好ましい。若し、差分の累算値がしきい値以上の場合では、そのブロックのデータは、背景画像以外の画像情報が含まれているものと決定され、背景メモリ１１２の更新のために使用されない。さらに、背景メモリ１１２として、図２０の例のように、フレームメモリより大きいメモリを使用する時には、前フレームまでのデータでは埋められていない新たな背景データを順次蓄積する。
【００７５】
このようにして蓄積された背景メモリ１１２に蓄えられているデータと、通常のフレームメモリのデータを選択的に利用して動き補償を行うことにより、欠落した画像を補償することが可能である。背景メモリ１１２の画像データが図２２に示す構成の動きベクトル検出回路６’に供給される。
【００７６】
前述した図７に示す動きベクトル検出回路６の備える構成に対して、差分検出回路５７’、絶対値化回路５８’、累算回路５９’が設けられ、累算回路５９’の出力が累算回路５９の出力と共に、判断回路６０’に供給される。判断回路６０’は、動きベクトルおよびメモリフラグを出力端子６１および６1 ’にそれぞれ出力する。
【００７７】
差分検出回路５７’は、背景メモリ１１２の出力データと現フレームメモリ５３の出力データとの間で、同一の位置の画素データの差分を検出する。差分値が絶対値化回路５８’により絶対値に変換され、累算回路５９’により累算される。判断回路６０’は、累算回路５９からの累算出力（現フレームと前フレームとの間の差分の累算値）と、累算回路５９’からの上述した累算出力とを受け取る。そして、判断回路６０’は、一方の累算出力に基づいてより適切な動きベクトルを出力端子６１に出力する。また、二つの累算出力の選択されたものを表すメモリフラグを判断回路６０’が出力端子６１’に出力する。
【００７８】
図２１に示すように、動きベクトルが動きベクトル修正回路１５を介して動き補償回路７に供給され、また、メモリフラグが動き補償回路７に供給される。これらの動きベクトルおよびメモリフラグは、符号化データと共に、伝送あるいは記録される。メモリフラグによってフレームメモリ１１に蓄えられている画像データと、背景メモリ１１２に蓄えられている背景画像データの一方が選択され、選択された画像データに対して動き補償の処理がなされる。
【００７９】
なお、上述したよりさらに他の実施例に関して、エンコーダ側について説明したが、デコーダ側にも背景メモリが設けられており、メモリフラグに従ってフレームメモリの画像と背景メモリの画像とがデコーダ側と同様に選択される。
【００８０】
【発明の効果】
この発明は、動き補償のために生成された動きベクトルから手振れ動きベクトルを検出するので、ハードウエアの規模を小さくすることができる。
【図面の簡単な説明】
【図１】この発明の一実施例のブロック図である。
【図２】この発明の一実施例における記録系および再生系の構成を示すブロックずである。
【図３】この発明の一実施例におけるＡＤＲＣエンコーダのブロック図である。
【図４】ＡＤＲＣデコーダのブロック図である。
【図５】ＡＤＲＣ符号化処理を示す略線図である。
【図６】動きベクトル検出を概略的に説明する略線図である。
【図７】動きベクトル検出回路の一例のブロック図である。
【図８】手振れ動きベクトル検出を概略的に説明する略線図である。
【図９】手振れ補正回路および手振れ検出回路の一例のブロック図である。
【図１０】手振れ動きベクトルの検出処理の説明に用いる略線図である。
【図１１】手振れ動きベクトルの検出処理の説明に用いる略線図である。
【図１２】手振れ動きベクトルの検出処理の説明に用いるフローチャートである。
【図１３】画面をマクロブロックへ分割する処理の一例を示す略線図である。
【図１４】この発明の一実施例における統合ベクトルの形成動作を示すフローチャートである。
【図１５】この発明の一実施例における手振れ補正動作を示す略線図である。
【図１６】この発明の一実施例における動きベクトルの修正動作を示す略線図である。
【図１７】この発明の他の実施例のブロック図である。
【図１８】この発明のさらに他の実施例の記録系のブロック図である。
【図１９】この発明のさらに他の実施例の再生系のブロック図である。
【図２０】この発明のよりさらに他の実施例において使用する背景メモリの概略的説明に用いる略線図である。
【図２１】この発明のよりさらに他の実施例のブロック図である。
【図２２】この発明のよりさらに他の実施例における動きベクトル検出回路の一例の構成を示すブロック図である。
【図２３】従来の手振れ補正処理を説明するための略線図である。
【図２４】従来の手振れ補正処理を説明するための略線図である。
【符号の説明】
５ 減算器
６ 動きベクトル検出回路
７ 動き補償回路
１２ 手振れ検出回路
１３ 補正信号発生回路
１５ 動きベクトル修正回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image signal processing device for compressing image data such as a shooting output of a handy type video camera, an image signal recording device for recording compressed image data on a recording medium, and an image signal for reproducing compressed image data from the recording medium. In particular, the present invention relates to a playback apparatus that corrects camera shake of a video camera.
[0002]
[Prior art]
When shooting using a handy-type video camera, there is a problem that the playback screen shakes due to camera shake. To solve this problem, it is conceivable to detect a motion vector and correct the image data stored in the image memory based on the motion vector. The motion vector is detected by block matching, for example. That is, the screen is divided into a number of areas (referred to as blocks), and the absolute value of the frame difference between the representative point of the previous frame located at the center of each block and the pixel data in the block of the current frame is calculated. The absolute value of the difference is integrated for one screen, and the motion vector of the entire screen is detected from the position of the minimum value of the integrated frame difference data. The detected motion vector is converted into a correction signal, and correction for moving the original image is performed by the correction signal.
[0003]
For example, in FIG. 23A, an image frame La indicated by a broken line is captured, and the position of the image frame Lb indicated by the broken line is corrected by camera shake correction. In the image within the image frame Lb after the correction, the hatched area has no captured image, and thus the image is lost. One method for solving this problem is to enlarge the image frame to some extent as indicated by Lc in FIG. 23B. This can prevent image loss.
[0004]
However, the image is enlarged by a process of slowing down the reading speed of the image memory as compared with the writing speed and interpolating the insufficient pixel data. Therefore, the resolution of the enlarged image is degraded as compared with the original image. Therefore, there has been a problem that the image quality after camera shake correction is not good.
[0005]
Next, another problem of conventional camera shake correction will be described. This is a problem of erroneously determining a large area movement on the screen as a camera shake. When a method of dividing one screen into (4 × 4 = 16) macro blocks and detecting a motion vector in each macro block, for example, as shown in FIG. 24A, a person moves the screen from right to left. In each block, a motion vector indicated by an arrow is detected in each block. The motion vectors of other blocks that do not include a person (edge) are detected as 0.
[0006]
Conventionally, majority motion vectors for each macroblock are determined, and a large number of motion vectors are employed as motion correction motion vectors. However, as in the above-described example, when an object having a large area exists in the center of the screen, and this object moves, there is a possibility that the object is erroneously determined as a motion shake. It is necessary to avoid such erroneous determination.
[0007]
Further, there may be a plurality of motion vectors as macroblock motion vectors. For example, as illustrated in FIG. 24B, a plurality of motion vectors may be detected as a result of combining a motion vector corresponding to a motion caused by camera shake and a motion vector caused by the motion of an object on the screen. As in the example of FIG. 24B, when there is a movement of an object having a large area, there is a problem that a motion vector due to camera shake cannot be accurately detected if a majority decision is made as in the prior art.
[0008]
Furthermore, in an image signal recording apparatus such as a video camera-integrated VTR, it is normal to record an image signal that has been corrected for camera shake as a recorded image signal. However, as a result, the photographed image itself cannot be reproduced, and when the camera shake correction is not performed properly, the reproduction side cannot perform the correction.
[0009]
[Problems to be solved by the invention]
As described above, the conventional method of detecting a motion vector and correcting camera shake based on the detected motion vector has various problems. Furthermore, in addition to the above-described problems, there is a problem that hardware for detecting a motion vector is required and the scale of hardware for camera shake correction is increased.
[0010]
The present invention is intended to reduce the scale of hardware. In general, when digital image data is recorded on a recording medium (magnetic tape, optical disk, etc.), motion compensation predictive coding is known as high-efficiency coding for compressing the amount of recorded data. This is to detect a difference between an input image signal and a predicted image signal, encode the difference, and further perform variable length encoding, and perform motion compensation by a detected motion vector when forming a predicted signal. Thereby, the difference value is reduced. Since the motion vector is used for the camera shake correction of the video camera, by using the motion vector detected for the motion compensation predictive coding as the motion vector, hardware for detecting the motion vector is used. It becomes possible to share.
[0011]
SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide an image signal processing apparatus and a recording / reproducing apparatus that can share a motion vector detected for motion compensated prediction encoding for camera shake correction. .
[0012]
[Means for Solving the Problems]
  The present invention divides image data of one screen into a plurality of blocks,
  For each block, a motion vector corresponding to the position of the most matching block is detected from image data one to several frames before,
  In an image signal processing apparatus having a function of compressing image data using a motion vector,
  Detect motion vector of each blockMotion vector detectionMeans and,
  Detect shake motion vector from motion vector of each blockHand motion vector detectionMeans,
  Input image signalwas detectedMeans for correcting based on the hand shake vector;
  Means for obtaining a motion vector obtained by correcting the motion vector of each block with a hand motion vector;
  Means for performing motion compensation with the modified motion vector;
  Means for performing compression processing using image data corrected for camera shake and image data subjected to motion compensation;With
  The hand movement vector detection means
  An activity evaluation means for evaluating the level of activity of the image data of each block;
  Motion vector evaluation means for evaluating the size of the motion vector of each block;
  Determining means for detecting, as a stationary block, a block in which the activity is evaluated to be higher than a predetermined value by the activity evaluating means and the motion vector is evaluated to be smaller than the predetermined value by the motion vector evaluating means;
  When a stationary block is detected in one screen by the judging means, camera shake correction is not performed.An image signal processing apparatus characterized by the above.
  This inventionDividing one-screen image data into a plurality of blocks;
  Detecting a motion vector corresponding to the position of the most matching block from image data one to several frames before each block;
  Detecting a shake motion vector from the motion vectors of each block;
  Correcting the input image signal based on the detected camera shake vector;
  Obtaining a motion vector obtained by correcting the motion vector of each block with a motion vector;
  Performing motion compensation with the modified motion vector;
  A step of performing compression processing using image data that has undergone camera shake correction and image data that has undergone motion compensation;
  In the step of detecting a motion vector,
  Evaluate the image data activity of each block,
  Evaluate the magnitude of the motion vector of each block
  Detecting a block having an activity higher than a predetermined value and having a motion vector lower than a predetermined value as a stationary block,
  When a still block is detected, the image signal processing method is characterized in that camera shake correction is not performed.
[0013]
  The present invention divides image data of one screen into a plurality of blocks,
  For each block, a motion vector corresponding to the position of the most matching block is detected from image data one to several frames before,
  In an image signal recording apparatus having a function of compressing image data using a motion vector,
  Detect motion vector of each blockMotion vector detectionMeans,
  Detect shake motion vector from motion vector of each blockHand motion vector detectionMeans,
  Means for performing motion compensation by means of motion vectors;
  Means for performing compression processing using input image data and motion compensated image data;
  Means for recording a motion vector along with the compressed image data;With
  The hand movement vector detection means
  An activity evaluation means for evaluating the level of activity of the image data of each block;
  Motion vector evaluation means for evaluating the size of the motion vector of each block;
  Judgment means for detecting the block as a stationary block, which is evaluated by the activity evaluation means that the activity is higher than a predetermined value, and the motion vector evaluation means evaluates that the motion vector is smaller than the predetermined value,
  When a stationary block is detected in one screen by the judging means, there is no camera shake.An image signal recording apparatus characterized by the above.
  This inventionDividing one-screen image data into a plurality of blocks;
  Detecting a motion vector corresponding to the position of the most matching block from image data one to several frames before each block;
  Detecting a shake motion vector from the motion vectors of each block;
  Performing motion compensation with motion vectors;
  A step of compressing the input image data and the motion compensated image data;
  Recording a camera shake motion vector together with the compressed image data,
  In the step of detecting a motion vector,
  Evaluate the image data activity of each block,
  Evaluate the size of the motion vector of each block,
  Detecting a block having an activity higher than a predetermined value and having a motion vector lower than a predetermined value as a stationary block,
  If a stationary block is detected, there is no camera shake.
  This is an image signal recording method characterized by the above.
[0015]
As in motion compensation predictive coding, motion vectors are detected for compression of recorded data. This motion vector is detected in units of blocks. By using this motion vector and the amount of change in image data, a hand movement motion vector is detected. Image data corrected by the hand movement motion vector is recorded. In addition to recording image data that has undergone camera shake correction, a camera shake motion vector or a correction signal formed therefrom is recorded on a recording medium together with compressed image data, and camera shake correction is performed during playback.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. The embodiment here is, for example, a VTR-integrated video camera, which converts a captured image signal into a digital signal, compresses it by motion compensation predictive coding, and records it on a recording medium such as a magnetic tape. It is.
[0017]
In FIG. 1, reference numeral 1 denotes a CCD as an image sensor. The imaging output of the CCD 1 is supplied to the camera signal processing circuit 2 and converted into a video signal. This video signal is converted into a digital video signal by the A / D converter 3. For example, A / D conversion is performed at a sampling frequency of 13.5 MHz. The present invention can also be applied to a component signal composed of a luminance signal and two color difference signals, or a composite signal in which a luminance signal and a carrier color signal are superimposed. Therefore, only the processing of the luminance signal will be described.
[0018]
A digital video signal from the A / D converter 3 is supplied via a delay circuit 14 to a camera shake correction circuit 4 to which the present invention is applied. As described later, the camera shake correction circuit 4 is a circuit for correcting camera shake during shooting. A camera shake detection circuit 12 and a correction signal generation circuit 13 are provided for camera shake correction. The delay circuit 14 is provided for phase alignment for delaying the digital video signal for the time required for processing for forming a camera shake correction signal. The output signal of the camera shake correction circuit 4 is supplied to the subtraction circuit 5, and the output signal of the A / D converter 3 is supplied to the motion vector detection circuit 6.
[0019]
The subtraction circuit 5 is supplied with the prediction signal from the motion compensation circuit 7, and the subtraction circuit 5 generates a difference between the actual video signal and the prediction signal for each pixel. This difference is supplied to the ADRC-encoded encoder 8, and the encoded output of the encoder 8 is taken out. At the same time, the output of the encoder 8 is supplied to an ADRC decoder (local decoder) 9, and decoded data of the difference value is taken out from the output. Note that the decoding side may perform the refresh process by periodically inserting an intra-frame encoded image signal.
[0020]
The decoded value from the ADRC decoder 9 is supplied to the adder circuit 10 and added with the prediction signal from the motion compensation circuit 7. The decoded signal obtained from the adder circuit 10 is written into the frame memory 11. The output of the frame memory 11 is supplied to the motion compensation circuit 7. The motion compensation circuit 7 is supplied with the motion vector Vhv from the motion vector detection circuit 6 via the motion vector correction circuit 15 to perform motion compensation. A prediction signal from the motion compensation circuit 7 is supplied to the addition circuit 10 and to the subtraction circuit 5. In the subtraction circuit 5, a pixel difference between the actual video signal and the prediction signal is formed.
[0021]
The motion vector detection circuit 6 detects a motion vector for motion compensation from the output video signal of the A / D converter 3, that is, the digital video signal before camera shake correction. In one embodiment of the present invention, the motion vector Vhv and the evaluation value Pij are supplied to the camera shake detection circuit 12, a camera shake motion vector is obtained as will be described later, and the camera shake motion vector is supplied to the correction signal generation circuit 13 for correction. Form a signal. This correction signal is supplied to the camera shake correction circuit 4 so that the camera shake can be corrected.
[0022]
The configuration shown in FIG. 2 is used for recording / reproducing the image signal. In FIG. 2, an encoded output is supplied from an encoder for motion compensated predictive encoding (ADRC encoder 8 in the example of FIG. 1) to an input terminal 21. This encoded output is supplied to the variable length encoding encoder 22 for variable length encoding. The output of the variable length encoding is supplied to the recording buffer 23. The recording buffer 23 feeds back a signal indicating the buffer capacity to the previous stage. As a result, the recording data amount for a predetermined period is controlled to be constant. For example, the amount of transmission data can be controlled by changing the number of quantization bits of ADRC encoding.
[0023]
This example is a feedback control buffering circuit, but a plurality of quantization bit numbers in ADRC encoding (for example, 0 bit, 1 bit, 2 bits, 3 bits, 4 bits) are prepared for a predetermined period. The amount of generated data may be estimated, and buffering for feedforward control may be performed in which the number of quantization bits is selected for each block so as not to exceed the target data amount. The output of the recording buffer 23 is supplied to the multiplexer 24, and audio data, control data, and the like are multiplexed.
[0024]
The output of the multiplexer 24 is supplied to the recording processing circuit 25. The recording processing circuit 25 performs processing such as error correction coding and channel modulation on the recording data. The recording data from the recording processing circuit 25 is recorded on the recording medium via the recording amplifier 26 and the recording side terminal R of the recording / reproducing changeover switch 27. As the recording medium, a magnetic tape, a recordable optical disk, or the like can be used.
[0025]
Reproduction data reproduced from the recording medium is supplied to the reproduction processing circuit 29 via the reproduction side terminal P of the recording / reproduction changeover switch 27 and the reproduction amplifier 28. The reproduction processing circuit 29 performs processing such as channel modulation demodulation and error correction. The output of the reproduction processing circuit 29 is supplied to the demultiplexer 30, and the audio signal, control data, and the like are separated. The reproduction data corresponding to the video signal from the demultiplexer 30 is supplied to the variable length coding decoder 31, and the variable length code is decoded. The reproduced data taken out to the output terminal 32 is supplied to a high efficiency coding decoder such as an ADRC decoder.
[0026]
ADRC is one of the highly efficient encodings proposed by the present inventors. An example of the configuration of the ADRC encoder 8 is shown in FIG. A digital video signal is supplied from the input terminal 34 to the blocking circuit 35, and the blocking circuit 35 forms data having an order for each block obtained by subdividing one screen. Output data of the blocking circuit 35 is supplied to the detection circuit 36 and the delay circuit 37.
[0027]
The detection circuit 36 detects the maximum value MAX and the minimum value MIN of a plurality of pixels in each block. The delay circuit 37 is for delaying the digital video signal for the time required for this detection. The detected maximum value MAX and minimum value MIN are supplied to the subtraction circuit 38, and the dynamic range DR represented by (MAX−MIN = DR) is obtained from the subtraction circuit 38. Further, the digital video signal and the minimum value MIN from the delay circuit 37 are supplied to the subtraction circuit 39, and corrected pixel data from which the minimum value has been removed is obtained. Normalization is performed by removing the minimum value MIN shared by the pixels in the block.
[0028]
The output of the subtraction circuit 39 and the detected dynamic range DR are supplied to the quantization circuit 40. In the quantization circuit 40, as shown in FIG.nThe output of the subtracting circuit 39 is requantized by the equalized quantization step (n: the number of quantization bits, n = 2 in FIG. 5). Since pixels that are spatially close to each other have a strong correlation, even if the number of quantization bits n is smaller than the original number of quantization bits (for example, 8 bits), the degradation of the decoded image is small and the amount of transmission data is compressed. Can do. The encoded output DT from the quantization circuit 40 is transmitted, and the dynamic range DR and the minimum value MIN for each block are transmitted as additional information.
[0029]
FIG. 4 shows an exemplary configuration of the ADRC decoder 9. The dynamic range DR and encoded output DT from the ADRC encoder 8 are supplied to the inverse quantization circuit 42. The inverse quantization circuit 42 generates a restoration level by multiplying the encoded output by a quantization step determined by the dynamic range DR and the number of quantization bits n and converting the multiplied output to an integer. As shown in FIG. 5, the median value of the level range at the time of quantization is set as restoration levels (representative levels) L0, L1, L2, and L3.
[0030]
Then, by adding the restoration level from the inverse quantization circuit 42 and the minimum value MIN by the adding circuit 43, a decoded value is obtained. This decoded value is supplied to the block decomposition circuit 44, and the order of the pixel data is returned to the raster order. The decoded video signal is taken out from the output terminal 45 of the block decomposition circuit 44.
[0031]
The motion vector detection circuit 6 detects a motion vector by a block matching method. This is illustrated in FIG. 6 by referring to a reference frame such as the previous frame F, as schematically shown in FIG.n-1 The motion vector is obtained by moving the inspection block By within a predetermined search area and detecting the inspection block that most closely matches the reference block Bx of the current frame Fn. Therefore, a motion vector is obtained for each block. As an evaluation value indicating the degree of match, a frame difference is obtained by subtracting values of pixels at the same spatial position between a plurality of pixels in the reference block Bx and a plurality of pixels in the inspection block By. And the sum of absolute values of the frame differences can be used. In addition to the sum of absolute values of frame differences, the sum of squares of frame differences and the like can be used.
[0032]
FIG. 7 shows an exemplary configuration of the motion vector detection circuit 6. In FIG. 7, 51 is an input terminal for image data of the current frame, and this image data is stored in the current frame memory 53. 52 is an input terminal for image data of the previous frame, and this image data is stored in the previous frame memory 54.
[0033]
Reading / writing of the current frame memory 53 and the previous frame memory 54 is controlled by the controller 55. The pixel data of the reference block of the current frame is read from the current frame memory 53, and the pixel data of the check block of the previous frame is read from the previous frame memory 54. An address moving circuit 56 is provided in association with the previous frame memory 54. As a result of the controller 55 controlling the address moving circuit 56, the position of the test block changes within the search area in one pixel step.
[0034]
The output of the current frame memory 53 and the output of the previous frame memory 54 are supplied to the difference detection circuit 57, and a difference (frame difference) for each pixel is detected. The output of the difference detection circuit 57 is converted into an absolute value by the absolute value conversion circuit 58, and this absolute value is supplied to the accumulation circuit 59. The accumulation circuit 59 accumulates the absolute value difference generated in one block, and its output (frame difference absolute value sum) is supplied to the determination circuit 60 as an evaluation value. The determination circuit 60 detects a motion vector from the sum of absolute values of differences respectively generated when the test block is moved within the search area. That is, the position of the test block that generates the absolute sum of the minimum differences is detected as a motion vector. The detected motion vector is taken out to the output terminal 61.
[0035]
In one embodiment of the present invention, the motion vector for motion compensation thus detected is also used for camera shake correction. A motion vector for camera shake correction represents the motion of the entire screen or a relatively large block. As an existing method, it is known to detect a motion vector for camera shake correction as shown in FIG.
[0036]
That is, the current frame Fn is divided into search areas Sx, a plurality of pixels in each search area Sx, and the previous frame Fn.n-1 The absolute value of the frame difference from the representative point pixel Ry (the pixel at the center position of the search area) is obtained. Further, the frame difference absolute values obtained in each search area Sx are integrated at the same spatial position, thereby creating an evaluation value table having the same size as the search area Sx. By detecting the minimum value in the evaluation value table, the motion vector of the entire screen is obtained.
[0037]
As described above, the motion vector obtained by the motion vector detection circuit 6 is obtained in units of blocks, whereas the motion vector necessary for camera shake correction is obtained in the whole screen or in units of relatively large blocks. Is. Because of this difference, the camera shake detection circuit 12 receives the frame difference absolute value sum Pij and the motion vector Vhv from the motion vector detection circuit 6, and generates a motion vector for camera shake correction.
[0038]
FIG. 9 shows an exemplary configuration of the camera shake detection circuit 12 and the camera shake correction circuit 4. The frame difference absolute value sum Pij from the motion vector detection circuit 6 is supplied to the integration circuit 71. The frame difference absolute value sum Pij will be described with reference to FIG. As described with reference to FIG. 6, the absolute value sum of the frame differences between the reference block Bx and the inspection block By is calculated at each position of the inspection block By in the search area. As an example, if the search area is ± 4 in the horizontal direction and ± 3 in the vertical direction, the sum of absolute frame differences with 9 × 7 = 63 test blocks is calculated.
[0039]
FIG. 10 shows an arrangement of frame difference absolute value sums corresponding to one reference block Bx of the current frame corresponding to the position of the inspection block. The frame difference absolute value sum P43 at the center position (i = 4, j = 3) is obtained when the reference block Bx and the inspection block By are spatially at the same position. This frame difference absolute value sum Pij is integrated by the integration circuit 71 for each reference block to form an evaluation value ΣPhv. As an example, if the block size is (16 × 16) and the effective screen size of one frame is (704 pixels × 480 lines), as shown in FIG. 11, one frame is divided into (44 × 30) blocks. Thus, an evaluation value ΣPhv equal to the number of blocks is obtained.
[0040]
The evaluation value ΣPhv reflects the level distribution of the image in the block. If the image in the search area has a flat level distribution, the level of the frame difference absolute value sum becomes small, and the level of the evaluation value ΣPhv also becomes small. On the other hand, when the level distribution is not flat and includes an edge or the like, the level of the evaluation value ΣPhv also increases. In this embodiment, an image level distribution is used as an activity, and a flat level distribution is a low activity. However, the activity is not limited to the spatial inclination but includes a frequency component in frequency conversion.
[0041]
The evaluation value ΣPhv and the motion vector Vhv are supplied to the camera shake determination circuit 72. The camera shake determination circuit 72 performs the camera shake determination as shown in the flowchart of FIG. The initial values are (h = 0, v = 0) (step 81), and in the next step 82, they are compared with threshold values TH1 and TH2, respectively. If V00 <TH1 and ΣP00> TH2, it is determined that the camera is stationary (that is, no camera shake) (step 83).
[0042]
If the condition of step 82 is satisfied, it is detected that the block 00 is an image (ΣP00> TH2) where the level change is discontinuous such as an edge and the block 00 has no motion (V00 <TH1). Means that When camera shake is occurring, the entire screen moves, so it can be determined that there is at least one stationary block that is not camera shake.
[0043]
If the condition of step 82 is not satisfied, the process moves to step 84 to check whether the value of h is the maximum value (43) in the horizontal direction. Otherwise, in step 85, the value of h is incremented by 1, and the process returns to step 82. In this way, the process proceeds from block 00 to the adjacent block 10 and it is determined whether this block 10 is a still block. When the processing for all the blocks with v = 0 is completed, the processing moves from step 84 to step 86.
[0044]
Step 86 determines whether or not the value of v is 29. If not, the process moves to step 87. In step 87, the value of v is incremented by 1, and the process returns to step 82. When the value of v reaches 29, the processing of all (44 × 30) blocks is completed. If no still block is detected for all the blocks, it is determined that the movement of the entire screen, that is, camera shake, and in step 88, the process proceeds to a motion vector detection process for each macroblock. In the configuration of FIG. 9, the control signal of the determination result is output from the camera shake determination circuit 72 to the macroblocking circuit 73.
[0045]
  The macroblocking circuit 73 separates the motion vector Vhv from the motion vector detection circuit 6 for each macroblock. Here, as shown in FIG. 13, a screen of one frame is divided into four in the horizontal direction and divided into three in the vertical direction, and 12 macroblocks having a size of (11 × 10) blocks.MV 00 , MV Ten ・ ・ ・ ・ ・ ・ MV 32Form. The method of dividing one screen to obtain a plurality of macroblocks is not limited to this macroblock example, and various methods can be adopted. However, macroblocks that are not adjacent to each other need to be generated, and therefore a method that equally divides the screen into four should not be adopted. A motion vector is detected by the motion vector detection circuit 74 for each macroblock.0 741 , 74 11 To be supplied.
[0046]
  Motion vector detection circuit 740 Detects the combined motion vector MV00 by vector addition of the motion vectors of the blocks included in the macroblock MB00. Similarly, a motion vector detection circuit 741 742 ... 74 11 Detects the combined motion vectors MV10, MV20,... MV32 of each macroblock. The detected combined motion vectors MV00 to MV32 are supplied to the integrated vector forming circuit 75.
[0047]
The integrated vector forming circuit 75 generates a motion vector (integrated vector) for the entire screen by integrating the 12 synthesized motion vectors. This integrated vector is supplied to the correction signal generation circuit 13. The integrated vector is detected from the motion between frames, and is not the same as the amount of camera shake correction. For example, when camera shake in the same direction occurs in the period of the second frame and the third frame in the period of three consecutive frames, the integrated vector V1 between the first frame and the next frame is obtained. The integrated vector V2 between the second and third frames is obtained. The correction amount for the second frame may be V1, but the correction amount for the third frame needs to be (V1 + V2). For example, the correction signal generation circuit 13 generates a correction amount obtained by integrating the integrated vector. A camera shake correction signal from the correction signal generation circuit 13 is supplied to the correction circuit 4, and the camera shake correction of the input image data is performed.
[0048]
The integrated vector forming circuit 75 forms an integrated vector according to the flow shown in FIG. The motion vector of each macroblock is input (step 91), and it is checked whether the motion vectors of all macroblocks are the same (step 92). If they are the same, the motion vector is output as an integrated vector (step 93). The same applies to the following cases, but the same includes some tolerance.
[0049]
When step 92 is not established, the process proceeds to determination step 94 where it is checked whether or not the motion vectors are the same for a plurality of spatially separated macroblocks. In other words, it is examined whether or not macroblocks having the same motion vector are spatially separated in one frame. A motion vector satisfying step 94 is output as an integrated vector (step 95). “Spatially separated” means to exclude those that are adjacent in the vertical, horizontal, and diagonal directions (for example, (MB00, MB10, MB01, MB11)). Accordingly, the spatial distance, the number of macroblocks having the same motion vector, and the like are appropriately set in consideration of the required detection accuracy. This determination step 94 can eliminate an erroneous determination that causes the movement of an object having a relatively large area as a hand shake.
[0050]
When step 94 is not established, the flow moves to step 96 where the number of macroblocks having the same vector is summed up. The number of macroblocks is weighted in the next step 97. This weighting is to prioritize the number of blocks related to the macro blocks near the screen over the number of blocks related to the macro blocks near the non-periphery of the screen. As an example, the number of blocks related to the periphery is multiplied by a weighting factor of 1.5, and the number of blocks related to the vicinity of the non-periphery is multiplied by a weighting factor of 1. In consideration of the fact that the movement of an object having a relatively large area is often near the center, the weighting in step 97 is performed.
[0051]
The flow then moves to step 98 where it is examined whether there is a maximum value among the weighted blocks. When there is a maximum value, the motion vector of the macroblock with the maximum value is output as an integrated vector (step 99). If the number of blocks is equal or approximately equal, flow moves to step 100. Then, a majority decision is made in step 100 regarding the number of macroblocks, and the motion vectors of the majority are output as integrated vectors. The majority decision has a problem in terms of accuracy in generating an integrated vector, and when importance is placed on accuracy, it is possible to omit this determination and process the integrated vector as undetectable.
[0052]
By the above processing, the motion vector is integrated into the motion vector of the entire screen using the difference in characteristics between the moving object and the camera shake, so that the detected camera motion vector is not affected by the motion of the object in the screen. High accuracy.
[0053]
Returning to FIG. 9, an integrated vector representing the movement of the entire screen is supplied to the correction signal generation circuit 13, and a correction signal is formed by integration. This correction signal is supplied to the camera shake correction circuit 4 to correct the camera shake. The camera shake correction circuit 4 includes a memory 101 in which image data from the delay circuit 14 is written, a peripheral memory 102, a selector 103 for selecting a read output of the memory 101 and the peripheral memory 102, a memory 101, and a peripheral memory 102. The address control circuit 105 for controlling the address and the select signal generating circuit 106 for generating the select signal for controlling the selector 103, and the video signal corrected for camera shake is taken out to the output terminal 104.
[0054]
The memory 101 is a frame memory, for example, and its read address is controlled according to the correction signal. Therefore, the image data moved according to the correction signal is read from the memory 101. Data selected by the selector 103 is written to the peripheral memory 102. In response to the select signal from the select signal generation circuit 106, the selector 103 selects the image data from the memory 101 that has undergone camera shake correction and the peripheral data stored in the peripheral memory 102.
[0055]
In FIG. 15A, the peripheral portion (region outside the one-dot chain line) 108 of one frame image (the image frame is represented by 107) captured in the memory 101 is stored in the peripheral memory 102. The width of the peripheral portion 108 is set in consideration of the range of camera shake correction, and is, for example, about 10 to 20% of the width of one frame image in the horizontal and vertical directions. In FIG. 15B, as shown by the image frame 107a, when the image that should be in the position of FIG. It is corrected. In the case of this camera shake correction, an image of a portion 109 indicated by a diagonal line on the left side of the moved image that is not originally present is missing in the captured image. This missing portion 109 is replaced with an image at a corresponding position stored in the peripheral memory 102. This replacement is performed by address control by the address control circuit 105 and switching operation of the selector 103. Further, peripheral image data other than the missing portion 109 in the captured image data is written in the peripheral memory 102, and the contents of the peripheral memory 102 are updated.
[0056]
As described above, since the missing image caused by the camera shake correction is replaced with the peripheral image stored in the peripheral memory, it is possible to prevent the resolution of the image from being deteriorated unlike the process of enlarging the image.
[0057]
In one embodiment of the present invention described above, a motion vector for detecting a shake motion vector is obtained by processing a video signal before shake correction. On the other hand, processing such as motion compensation is performed on the video signal whose camera shake is corrected by the camera shake correction circuit 4. Therefore, motion compensation cannot be performed using the motion vector detected by the motion vector detection circuit 6. In order to solve this problem, a motion vector correction circuit 15 is provided. The motion vector correction circuit 15 removes a shake component included in the motion vector.
[0058]
Processing in the motion vector correction circuit 15 will be described with reference to FIG. FIG. 16A shows that the motion vectors V00, V01, V10, V11,... Obtained in each block include a shake vector component. If there is no camera shake, the positions of these blocks are at the positions indicated by the broken lines.
[0059]
Here, paying attention to the block of the motion vector V00, as shown in FIG. 16B, when the shake component is removed, the position of this block is the position of the broken line. For the block at the position of the broken line, the number of pixels included in the block at the position where the motion vector is detected and other blocks in the vicinity are obtained. In FIG. 16, the total number of pixels in the block is n, and the number of pixels represented by n1, n2, n3, and n4 is the number of pixels included in each block at the position indicated by the broken line. Then, a corrected motion vector V00 ′ is calculated by a weighted average method represented by the following equation. The motion vectors of other blocks are similarly corrected.
[0060]
V00 '= (n1 / n) .V00 + (n2 / n) .V10 + (n3 / n) .V01 + (n4 / n) .V11
[0061]
In order to obtain the number of pixels n1 to n4 included in each of the plurality of blocks, the projection component on the x-axis and the projection component on the y-axis of camera shake correction are used. In this way, the motion vector can be corrected. The weighted average method is a method of correction, and other correction methods can be used.
[0062]
FIG. 17 shows another embodiment of the present invention. In the embodiment shown in FIG. 1, the interframe difference from the subtracter 5 is compressed by ADRC, whereas the other embodiment employs MPEG (Moving Pictures Expert Group) standard encoding. Yes. In MPEG, compression using spatial correlation is performed by a DCT (Discrete Cosine Transform) circuit 16a and a quantizer 17a, and bi-directional motion compensation interframe prediction is performed.
[0063]
Bidirectional predictive coding is intraframe predictive coding, forward predictive coding, and reverse predictive coding. The forward prediction encoding is an inter-frame prediction encoding that predicts the current image from a past image, and the backward prediction encoding is an inter-frame prediction encoding that predicts the current image from a future image. Furthermore, interpolated inter-frame prediction coding is also performed by prediction in both the front and rear directions. Corresponding to these predictive coding methods, picture types (I picture, P picture, B picture) are defined.
[0064]
For bi-directional motion compensation, a frame memory 18 is added to the motion vector detection circuit 6, and the past, current, and future predicted images from the frame memories 11 a and 11 b are used to perform the backward motion prediction. The motion compensation circuit 7r, the interpolation motion compensation circuit 7i, and the forward motion compensation circuit 7f perform respective motion compensation. For local decoding, an adder circuit 10 for adding the output of the inverse quantizer 16b, the inverse DCT circuit 17b, and the inverse DCT circuit 17b and the signal via the switch circuit is provided. In addition, a switch circuit is provided for selecting a difference signal from the subtracter 5 and a signal not passing through the subtracter 5. These switch circuits are controlled by control signals S1, S2, and S3 in accordance with the picture type described above. Control signals S1, S2, and S3 are generated from the encoding control circuit 19.
[0065]
In another embodiment of the present invention, as in the first embodiment, the motion vector Vhv and the evaluation value Pij from the motion vector detection circuit 6 are supplied to the camera shake detection circuit 12, a camera shake motion vector is obtained, and the camera shake motion vector is obtained. The correction signal is supplied to the correction signal generation circuit 13 to form a correction signal, and the correction signal is supplied to the camera shake correction circuit 4 to correct the camera shake. In addition, a shake vector correction circuit 15 is provided to correct the shake vector.
[0066]
FIG. 18 shows the configuration of the recording side according to still another embodiment of the present invention. In still another embodiment, a correction signal for correcting camera shake is generated on the recording side, and camera shake correction is performed on the reproducing side shown in FIG. Therefore, as shown in FIG. 18, the camera shake detection circuit 12 and the correction signal generation circuit 13 are provided on the recording side, but the camera shake correction circuit 4 is not provided. The encoded output from the ADRC encoder 8, the motion vector, and the camera shake correction signal are supplied to the framing circuit 20 to form recording data. This recording data is recorded on a recording medium via a recording system.
[0067]
As shown in FIG. 19, on the reproduction side, reproduction data formed by the reproduction system is supplied from the input terminal 62 to the frame decomposition circuit 63, and the ADRC encoded output, the hand shake vector Vhv, and the correction signal are separated. The differential signal is decoded by the ADRC decoder 64, and the decoded differential signal is supplied to the adding circuit 65. The output of the adder circuit 65 is supplied to the prediction memory 66, and motion compensation similar to that on the recording side is performed by the motion vector Vhv.
[0068]
The reproduced image signal from the addition circuit 65 is supplied to the camera shake correction circuit 4. In the camera shake correction circuit 4, camera shake correction is performed using a correction signal separated from the reproduction signal. The digital image signal from the camera shake correction circuit 4 is supplied to the D / A converter 67, and the reproduced image signal is taken out to the output terminal 68. It should be noted that a selection means for selecting whether or not camera shake correction is activated may be provided. Further, although the camera shake correction signal is recorded, the evaluation value ΣPij may be recorded instead of the camera shake correction signal, and the camera shake correction signal may be formed using the motion vector and the evaluation value on the reproduction side.
[0069]
It should be noted that still another embodiment of the present invention in which a camera shake correction signal is recorded can be applied to the case where MPEG is used.
[0070]
In addition, although a peripheral memory is provided to compensate for image loss at the time of camera shake correction, image loss may be compensated for by a background memory. In the background memory, an image that hardly changes is selectively written as the image changes between frames. The background memory can be used to prevent an uncovered background when performing motion compensation, or the transmission data amount can be compressed by thinning the transmission of background data. A compression coding system based on this system has been proposed by the inventors of the present application, and is described in, for example, Japanese Patent Publication No. 7-97754. Further, by using a memory larger than the frame memory as a background memory, it can be used for storing images that do not fit in one frame, such as a peripheral image due to camera shake, an image due to panning, and tilting.
[0071]
FIG. 20 schematically illustrates image data stored in the background memory. For example, when a tennis player playing on the court is photographed, images that change sequentially and background images in the photographed images are shown. (Specifically, tennis court) is stored in the background memory. That is, the background memory stores images excluding moving players. In this case, the area of the background memory is made wider than that of the captured image, and for example, by changing the area of the background memory according to the movement at the time of tilting the video camera, as in the example of FIG. A wide range of background images can be captured.
[0072]
FIG. 21 shows still another embodiment of the present invention in which a background memory is used. Constituent elements corresponding to those in the embodiment shown in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted. The locally decoded and motion compensated image signal is input from the addition circuit 10 to the camera shake correction circuit 111. The camera shake correction circuit 111 performs the camera shake correction as described above. That is, the position of the locally decoded image data is corrected by the camera shake correction signal from the correction signal generation circuit 13. An image signal output from the camera shake correction circuit 111 is input to the background memory 112 through the comparator 113. The locally decoded image data is block structure data.
[0073]
On the other hand, an image data block at a position corresponding to the locally decoded image data is read from the background memory 112. The comparator 113 calculates a difference value for each pixel between the locally decoded image data block and the image data at the corresponding position from the background memory 112, and the absolute value of the difference value is accumulated in one block. It is calculated. The accumulated difference value of each block is compared with a predetermined threshold value in the comparator 113. The comparison output of the comparator 13 is input to the update control circuit 114.
[0074]
If the accumulated difference value is smaller than the threshold value, the update control circuit 114 determines that the image is a background image. When the background image is determined, the data in the background memory 112 of the block corresponding to the block is updated with the local decoded image data. At the time of updating, it is preferable to update the background memory 112 gradually rather than updating data at once. If the accumulated difference value is equal to or greater than the threshold value, it is determined that the data of the block includes image information other than the background image, and is not used for updating the background memory 112. Furthermore, when a memory larger than the frame memory is used as the background memory 112 as in the example of FIG. 20, new background data that is not filled with data up to the previous frame is sequentially stored.
[0075]
It is possible to compensate for the missing image by performing motion compensation selectively using the data stored in the background memory 112 thus stored and the data of the normal frame memory. The image data in the background memory 112 is supplied to the motion vector detection circuit 6 'configured as shown in FIG.
[0076]
7 is provided with a difference detection circuit 57 ′, an absolute value conversion circuit 58 ′ and an accumulation circuit 59 ′, and the output of the accumulation circuit 59 ′ is accumulated. Together with the output of the circuit 59, it is supplied to the decision circuit 60 ′. The decision circuit 60 'outputs the motion vector and the memory flag to the output terminals 61 and 61', respectively.
[0077]
The difference detection circuit 57 ′ detects a difference between pixel data at the same position between the output data of the background memory 112 and the output data of the current frame memory 53. The difference value is converted into an absolute value by the absolute value circuit 58 'and accumulated by the accumulation circuit 59'. The determination circuit 60 'receives the accumulated calculation force from the accumulation circuit 59 (the accumulated value of the difference between the current frame and the previous frame) and the above-described accumulated calculation force from the accumulation circuit 59'. Then, the determination circuit 60 ′ outputs a more appropriate motion vector to the output terminal 61 based on one cumulative calculation force. The determination circuit 60 'outputs a memory flag representing the selected one of the two cumulative calculation forces to the output terminal 61'.
[0078]
As shown in FIG. 21, the motion vector is supplied to the motion compensation circuit 7 via the motion vector correction circuit 15, and the memory flag is supplied to the motion compensation circuit 7. These motion vectors and memory flags are transmitted or recorded together with the encoded data. One of the image data stored in the frame memory 11 and the background image data stored in the background memory 112 is selected by the memory flag, and motion compensation processing is performed on the selected image data.
[0079]
Although the encoder side has been described with respect to still another embodiment, the background memory is also provided on the decoder side, and the image in the frame memory and the image in the background memory are the same as those on the decoder side according to the memory flag. Selected.
[0080]
【The invention's effect】
According to the present invention, since the camera shake motion vector is detected from the motion vector generated for motion compensation, the hardware scale can be reduced.
[Brief description of the drawings]
FIG. 1 is a block diagram of an embodiment of the present invention.
FIG. 2 is a block diagram showing the configuration of a recording system and a reproducing system in one embodiment of the present invention.
FIG. 3 is a block diagram of an ADRC encoder according to an embodiment of the present invention.
FIG. 4 is a block diagram of an ADRC decoder.
FIG. 5 is a schematic diagram showing ADRC encoding processing;
FIG. 6 is a schematic diagram schematically illustrating motion vector detection.
FIG. 7 is a block diagram of an example of a motion vector detection circuit.
FIG. 8 is a schematic diagram schematically illustrating camera shake motion vector detection.
FIG. 9 is a block diagram illustrating an example of a camera shake correction circuit and a camera shake detection circuit.
FIG. 10 is a schematic diagram used for explaining a shake motion vector detection process;
FIG. 11 is a schematic diagram used for explaining a shake motion vector detection process;
FIG. 12 is a flowchart used for explaining a shake motion vector detection process;
FIG. 13 is a schematic diagram illustrating an example of a process of dividing a screen into macro blocks.
FIG. 14 is a flowchart showing an operation of forming an integrated vector in one embodiment of the present invention.
FIG. 15 is a schematic diagram illustrating a camera shake correction operation according to an embodiment of the present invention.
FIG. 16 is a schematic diagram showing a motion vector correcting operation according to an embodiment of the present invention.
FIG. 17 is a block diagram of another embodiment of the present invention.
FIG. 18 is a block diagram of a recording system according to still another embodiment of the present invention.
FIG. 19 is a block diagram of a reproduction system according to still another embodiment of the present invention.
FIG. 20 is a schematic diagram used for a schematic description of a background memory used in still another embodiment of the present invention.
FIG. 21 is a block diagram of still another embodiment of the present invention.
FIG. 22 is a block diagram showing a configuration of an example of a motion vector detection circuit according to still another embodiment of the present invention.
FIG. 23 is a schematic diagram for explaining a conventional camera shake correction process;
FIG. 24 is a schematic diagram for explaining a conventional camera shake correction process;
[Explanation of symbols]
5 Subtractor
6 Motion vector detection circuit
7 motion compensation circuit
12 Camera shake detection circuit
13 Correction signal generation circuit
15 Motion vector correction circuit

Claims (8)

１画面の画像データを複数のブロックに分割し、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出し、
上記動きベクトルを用いて画像データを圧縮する機能を有する画像信号処理装置において、
各ブロックの動きベクトルを検出する動きベクトル検出手段と、
上記各ブロックの動きベクトルから手振れ動きベクトルを検出する手振れ動きベクトル検出手段と、
入力される画像信号を検出された手振れベクトルに基づいて補正する手段と、
上記各ブロックの動きベクトルを手振れ動きベクトルにより修正した動きベクトルを求める手段と、
上記修正された動きベクトルにより動き補償を行なう手段と、
上記手振れ補正された画像データと上記動き補償が行われた画像データにより圧縮処理を行なう手段とを備え、
上記手振れ動きベクトル検出手段は、
各ブロックの画像データのアクティビティの高低を評価するアクティビティ評価手段と、
上記各ブロックの動きベクトルの大きさを評価する動きベクトル評価手段と、
上記アクティビティ評価手段によりアクティビティが所定値より高く、且つ上記動きベクトル評価手段により動きベクトルが所定値より小さいと評価されたブロックを静止ブロックとして検出する判断手段とを有し、
上記判断手段により１画面中で静止ブロックが検出された場合は、手振れ補正を行わないことを特徴とする画像信号処理装置。Divide one screen of image data into multiple blocks,
For each block, a motion vector corresponding to the position of the most matching block is detected from image data one to several frames before,
In an image signal processing apparatus having a function of compressing image data using the motion vector,
Motion vector detecting means for detecting a motion vector of each block;
Camera shake motion vector detecting means for detecting a camera shake motion vector from the motion vector of each block;
Means for correcting an input image signal based on a detected camera shake vector;
Means for obtaining a motion vector obtained by correcting the motion vector of each block by a shake motion vector;
Means for performing motion compensation with the modified motion vector;
Means for performing compression processing using the image data that has been subjected to camera shake correction and the image data that has undergone the motion compensation;
The hand movement motion vector detecting means includes:
An activity evaluation means for evaluating the level of activity of the image data of each block;
Motion vector evaluation means for evaluating the size of the motion vector of each block;
Determining means for detecting, as a stationary block, a block in which the activity is higher than a predetermined value by the activity evaluation means and the motion vector evaluation means is evaluated to have a motion vector smaller than a predetermined value;
An image signal processing apparatus characterized by not performing camera shake correction when a still block is detected in one screen by the determining means. 上記手振れ動きベクトル検出手段は、
空間的に不連続な位置における同一の動きベクトルを検出する手段を有することを特徴とする請求項１に記載の画像信号処理装置。The hand movement motion vector detecting means includes:
2. The image signal processing apparatus according to claim 1, further comprising means for detecting the same motion vector at spatially discontinuous positions. 上記動きベクトル検出手段は、
各々のブロックの画像データと、１乃至数フレーム前のサーチエリア内を移動するブロックの画像データとの画素ごとの絶対値差分を求め、各サーチエリア内のブロック位置毎に上記絶対値差分が積算されて得られる差分絶対値和を検出し、更に、当該差分絶対値和を上記ブロック毎に積算することにより評価値を生成し、
上記手振れ動きベクトル検出手段の上記アクティビティ評価手段は、上記評価値に応じて各ブロックの画像データのアクティビティの高低を評価する
ことを特徴とする請求項１に記載の画像信号処理装置。The motion vector detecting means includes
The absolute value difference for each pixel between the image data of each block and the image data of the block moving within the search area one to several frames before is obtained, and the absolute value difference is integrated for each block position in each search area. The difference absolute value sum obtained is detected, and further, an evaluation value is generated by integrating the difference absolute value sum for each block,
2. The image signal processing apparatus according to claim 1, wherein the activity evaluation unit of the hand movement motion vector detection unit evaluates the level of the activity of the image data of each block according to the evaluation value. １画面の画像データを複数のブロックに分割し、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出し、
上記動きベクトルを用いて画像データを圧縮する機能を有する画像信号記録装置において、
各ブロックの動きベクトルを検出する動きベクトル検出手段と、
上記各ブロックの動きベクトルから手振れ動きベクトルを検出する手振れ動きベクトル検出手段と、
上記動きベクトルにより動き補償を行なう手段と、
入力画像データと動き補償された画像データにより圧縮処理を行う手段と、
圧縮された画像データと共に、上記手振れ動きベクトルを記録する手段とを備え、
上記手振れ動きベクトル検出手段は、
各ブロックの画像データのアクティビティの高低を評価するアクティビティ評価手段と、
上記各ブロックの動きベクトルの大きさを評価する動きベクトル評価手段と、
上記アクティビティ評価手段によりアクティビティが所定値より高く、且つ上記動きベクトル評価手段により動きベクトルが所定値より小さいと評価されブロックを静止ブロックとして検出する判断手段とを有し、
上記判断手段により１画面中で静止ブロックが検出された場合は、手振れなしとすることを特徴とする画像信号記録装置。Divide one screen of image data into multiple blocks,
For each block, a motion vector corresponding to the position of the most matching block is detected from image data one to several frames before,
In an image signal recording apparatus having a function of compressing image data using the motion vector,
Motion vector detecting means for detecting a motion vector of each block;
Camera shake motion vector detecting means for detecting a camera shake motion vector from the motion vector of each block;
Means for performing motion compensation with the motion vector;
Means for performing compression processing using input image data and motion compensated image data;
Means for recording the hand movement motion vector together with the compressed image data;
The hand movement motion vector detecting means includes:
An activity evaluation means for evaluating the level of activity of the image data of each block;
Motion vector evaluation means for evaluating the size of the motion vector of each block;
Judgment means for detecting the block as a stationary block, which is evaluated by the activity evaluation means that the activity is higher than a predetermined value and the motion vector evaluation means evaluates that the motion vector is smaller than the predetermined value;
An image signal recording apparatus characterized in that no shaking is detected when a still block is detected in one screen by the determination means. 上記手振れ動きベクトル検出手段は、
空間的に不連続な位置における同一の動きベクトルを検出する手段を有することを特徴とする請求項４に記載の画像信号記録装置。The hand movement motion vector detecting means includes:
5. The image signal recording apparatus according to claim 4, further comprising means for detecting the same motion vector at spatially discontinuous positions. 上記動きベクトル検出手段は、
各々のブロックの画像データと、１乃至数フレーム前のサーチエリア内を移動するブロックの画像データとの画素ごとの絶対値差分を求め、各サーチエリア内のブロック位置毎に上記絶対値差分が積算されて得られる差分絶対値和を検出し、更に、当該差分絶対値和を上記ブロック毎に積算することにより評価値を生成し、
上記手振れ動きベクトル検出手段の上記アクティビティ評価手段は、上記評価値に応じて各ブロックの画像データのアクティビティの高低を評価する
ことを特徴とする請求項４に記載の画像信号記録装置。The motion vector detecting means includes
The absolute value difference for each pixel between the image data of each block and the image data of the block moving within the search area one to several frames before is obtained, and the absolute value difference is integrated for each block position in each search area. The difference absolute value sum obtained is detected, and further, an evaluation value is generated by integrating the difference absolute value sum for each block,
5. The image signal recording apparatus according to claim 4, wherein the activity evaluating means of the hand movement motion vector detecting means evaluates the level of the activity of the image data of each block according to the evaluation value. １画面の画像データを複数のブロックに分割するステップと、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出するステップと、
上記各ブロックの動きベクトルから手振れ動きベクトルを検出するステップと、
入力される画像信号を検出された手振れベクトルに基づいて補正するステップと、
上記各ブロックの動きベクトルを手振れ動きベクトルにより修正した動きベクトルを求めるステップと、
上記修正された動きベクトルにより動き補償を行うステップと、
上記手振れ補正された画像データと上記動き補償が行われた画像データにより圧縮処理を行なうステップとを備え、
上記手振れ動きベクトルを検出するステップにおいて、
各ブロックの画像データのアクティビティの高低を評価し、
上記各ブロックの動きベクトルの大きさを評価し
所定値よりアクティビティが高く、且つ所定値より動きベクトルが小さいと評価されたブロックを静止ブロックとして検出し、
上記静止ブロックが検出された場合は、手振れ補正を行わないことを特徴とする画像信号処理方法。Dividing one-screen image data into a plurality of blocks;
Detecting a motion vector corresponding to the position of the most matching block from image data one to several frames before each block;
Detecting a shake motion vector from the motion vectors of the blocks;
Correcting the input image signal based on the detected camera shake vector;
Obtaining a motion vector obtained by correcting the motion vector of each block with a hand motion vector;
Performing motion compensation with the modified motion vector;
A step of performing compression processing with the image data subjected to the camera shake correction and the image data subjected to the motion compensation,
In the step of detecting the shake motion vector,
Evaluate the image data activity of each block,
Evaluate the magnitude of the motion vector of each of the above blocks, detect a block whose activity is higher than a predetermined value and evaluated that the motion vector is lower than a predetermined value as a stationary block,
An image signal processing method characterized by not performing camera shake correction when the stationary block is detected. １画面の画像データを複数のブロックに分割するステップと、
各々のブロックについて１乃至数フレーム前の画像データから、最も合致するブロックの位置に対応する動きベクトルを検出するステップと、
上記各ブロックの動きベクトルから手振れ動きベクトルを検出するステップと、
上記動きベクトルにより動き補償を行なうステップと、
入力画像データと動き補償された画像データにより圧縮処理を行うステップと、
圧縮された画像データと共に、上記手振れ動きベクトルを記録するステップとを備え、
上記手振れ動きベクトルを検出するステップにおいて、
各ブロックの画像データのアクティビティの高低を評価し、
上記各ブロックの動きベクトルの大きさを評価し、
所定値よりアクティビティが高く、且つ所定値より動きベクトルが小さいと評価されたブロックを静止ブロックとして検出し、
上記静止ブロックが検出された場合は、手振れなしとする
ことを特徴とする画像信号記録方法。Dividing one-screen image data into a plurality of blocks;
Detecting a motion vector corresponding to the position of the most matching block from image data one to several frames before each block;
Detecting a shake motion vector from the motion vectors of the blocks;
Performing motion compensation with the motion vector;
A step of compressing the input image data and the motion compensated image data;
A step of recording the camera shake motion vector together with the compressed image data,
In the step of detecting the shake motion vector,
Evaluate the image data activity of each block,
Evaluate the magnitude of the motion vector of each block above,
Detecting a block whose activity is higher than a predetermined value and whose motion vector is lower than a predetermined value as a stationary block,
An image signal recording method characterized in that there is no camera shake when the stationary block is detected.
JP17411696A 1995-08-30 1996-06-13 Image signal processing apparatus and recording / reproducing apparatus Expired - Fee Related JP3951321B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP17411696A JP3951321B2 (en) 1995-08-30 1996-06-13 Image signal processing apparatus and recording / reproducing apparatus
US09/113,329 US5926212A (en) 1995-08-30 1998-07-10 Image signal processing apparatus and recording/reproducing apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP24543095 1995-08-30
JP7-245430 1995-08-30
JP17411696A JP3951321B2 (en) 1995-08-30 1996-06-13 Image signal processing apparatus and recording / reproducing apparatus

Publications (2)

Publication Number Publication Date
JPH09130748A JPH09130748A (en) 1997-05-16
JP3951321B2 true JP3951321B2 (en) 2007-08-01

Family

ID=26495832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17411696A Expired - Fee Related JP3951321B2 (en) 1995-08-30 1996-06-13 Image signal processing apparatus and recording / reproducing apparatus

Country Status (1)

Country Link
JP (1) JP3951321B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3466895B2 (en) * 1997-12-12 2003-11-17 キヤノン株式会社 Image stabilizer, imaging device, imaging system, camera unit, and lens unit
WO2000056075A1 (en) * 1999-03-12 2000-09-21 Sony Corporation Image providing device and its providing method, image processing device and processing method, and storage medium
EP1124381A1 (en) * 2000-02-08 2001-08-16 Deutsche Thomson-Brandt Gmbh Method and apparatus for bitrate control in a video or audio encoder
US7705884B2 (en) * 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
JP4548355B2 (en) * 2006-02-03 2010-09-22 カシオ計算機株式会社 Movie playback apparatus and program thereof
US7840085B2 (en) * 2006-04-06 2010-11-23 Qualcomm Incorporated Electronic video image stabilization
JP4872797B2 (en) * 2007-05-18 2012-02-08 カシオ計算機株式会社 Imaging apparatus, imaging method, and imaging program
KR101408698B1 (en) 2007-07-31 2014-06-18 삼성전자주식회사 Method and apparatus for encoding/decoding image using weighted prediction

Also Published As

Publication number Publication date
JPH09130748A (en) 1997-05-16

Similar Documents

Publication Publication Date Title
KR100467375B1 (en) Image signal processing apparatus and recording / reproducing apparatus
US8903222B2 (en) Image reproducing apparatus, image reproducing method, image capturing apparatus, and control method therefor
JP3443880B2 (en) Video signal encoding method and decoding method
US20090059031A1 (en) Image-Capturing Apparatus and Method, Recording Apparatus and Method, and Reproducing Apparatus and Method
JP4887750B2 (en) Image processing apparatus, control method, and program
JP3951321B2 (en) Image signal processing apparatus and recording / reproducing apparatus
JP5130245B2 (en) Imaging resolution prediction type moving picture encoding apparatus and decoding apparatus
JP2008113112A (en) Imaging apparatus
JP2001352524A (en) Reproduction device and reproduction method
JP4365941B2 (en) Encoding device, image processing device, camera-integrated image recording device, image processing system, encoding method, and storage medium
JPH1084545A (en) Coding method for digital video signal and its device
JP4533089B2 (en) Movie data generator
JP4605183B2 (en) Image signal processing apparatus and method
JPH0888854A (en) Moving picture encoding system
JP4399794B2 (en) Image coding apparatus and image coding method
JP2883592B2 (en) Moving picture decoding apparatus and moving picture decoding method
JP2004015351A (en) Encoding apparatus and method, program, and recording medium
JP3937247B2 (en) Still image data generating apparatus and still image data generating method
JPH10257485A (en) Detection circuit for repetitive image and image coder
JP3646424B2 (en) Noise reducer and noise reduction method
JP3060501B2 (en) Video signal transmission device
JP3465660B2 (en) Video signal decoding method
JP2000041222A (en) Video reproduction device, its method and video display device
JPH02105786A (en) Data compression circuit for electronic still camera
JPH07184162A (en) Picture processing unit

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060314

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060515

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070416

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100511

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees