JP2693516B2 - 画像動き検出装置 - Google Patents

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） この発明は、撮像カメラの平行移動や振動などにより
テレビジョン画面の画像が不要に動くのを補正する装置
に使用される画像動き検出装置に関する。

（従来の技術） テレビジョン画面における画像の動きは、画像中の物
体の移動によるものとカメラの平行移動によるものとが
ある。前者は、画像の局部的な動きであるのに対し、後
者は画像全体が相互関係をほぼ維持したまま動く平行移
動現象としてあらわれる。このような画像全体の平行移
動はさらにカメラのパンニングとカメラの振動などによ
る細かい動きに分けられ、この細かい動きが有るとみに
くい画面となる。このような不要な動きを改善するため
に、その方向及び大きさを示す動きベクトルを検出し
て、画像全体の動きを補正する補正装置が開発されてい
る。

第８図は補正装置の原理を示している。画面上の画像
が同図の（ａ）〜（ｂ）〜（ｃ）のように矢印の方向に
平行移動したとすると、動きベクトル（矢印）は第９図
に示すように横方向及び縦方向の偏移（a,b）で与えら
れる。従って、この動きベクトルを検出して，その情報
を用いて現フレームの画像を動きベクトルの大きさだけ
逆方向にシフトすれば、カメラの平行移動による動きを
補償できる。

ところで、上記の補償を行なうためには、画像動きを
検出しなければならない。従来の画像動き検出方法は、
１フレーム前（２フィールド前）の映像信号の中に代表
点を設定し、現在の映像信号と相関演算を行ない動きベ
クトル情報を求めている。

即ち、第10図に示すように、例えば第３フィールドが
現フィールドの映像信号であるとすると、これより２フ
ィールド前の映像信号の領域A1内の代表点Ｐの画素と、
第３フィールドの領域A3の複数の画素との演算を行な
い、代表点Ｐの画素と同一内容の画素を検出し、その検
出画素の方向を動き方向として判断している。そして、
このような領域を複数設定して、各領域で得られる動き
ベクトル情報の中で、同一方向を示すベクトル情報毎に
分類して、最も多く集まったベクトル情報により示され
る方向及び大きさを画面全体の平行移動方向および量と
して最終的な動きベクトル情報を得ている。

（発明が解決しようとする課題） 上記した従来の動きベクトル検出方法によると、フレ
ーム間による相関演算であるために、フィールド間の動
きベクトル情報を検出することができない。即ち、例え
ば第１フィールドから第２フィールドに移った際にカメ
ラの平行移動があり、第３フィールドでは元に戻るよう
なカメラの平行移動があったような場合、その検出は不
可能である。このことは、動きベクトル情報を用いて画
像の平行移動を補正する精度が劣ることを意味する。更
にまた、上記した動きベクトル検出方法であると、サン
プリング間隔よりも細かい移動量の検出精度を得ること
ができない。

そこでこの発明は、フィールド間での動きよりも更に
細かいライン間及びサンプリング間隔以内の微小な動き
があってもこれを検出することができ、画像動き補正精
度を向上するのに有効な画像動き検出装置を提供するこ
とを目的とする。

［発明の構成］ （課題を解決するための手段） この発明は、先ず画素補間及び拡大手段により、イン
ターレース方式の映像信号の垂直方向の複数ラインの画
素と水平方向の複数サンプリング点の画素を用いて補間
画素を作り、この補間画素により補間された映像信号の
一部を拡大して拡大補間信号を生成する。これにより、
ライン間及びサンプリング画素間に補間された情報を得
ることができる。次に、代表点選択出力手段により、画
素補間及び拡大手段から出力される拡大補間信号を１フ
ィールド毎に予め決められた複数領域に分割し、各分割
領域から予め決められた代表点に対応する複数の画素信
号のみを取り出して、次のフィールドに同期するように
遅延出力する。そして、この代表点選択出力手段から出
力される各分割領域の代表点信号と前記補間及び拡大手
段からの次のフィールドの拡大補間信号とを相関演算手
段に入力し、各代表点信号とこれに対応する拡大補間信
号の各分割領域内の信号との間の相関演算を行なって各
分割領域毎の動きベクトル情報を得る。さらに、この相
関演算手段から得られた各分割領域の動きベクトル情報
を動きベクトル情報判定出力手段に入力し、共通の動き
方向を示す最も多いベクトル情報を判定し、このベクト
ルによる方向を最終的な動きベクトル情報として出力す
るように構成したものである。

（作用） 上記の手段により、相関演算のための入力信号は、入
力映像信号のライン間でかつサンプリング間隔よりも細
かいピッチの情報を含むために、これら情報を用いて相
関演算した結果得られる動きベクトルは、入力映像信号
のライン間隔及びサンプリング間隔よりも細かい精度の
動きベクトルとして得られる。

（実施例） 以下、この発明の実施例を図面を参照して説明する。

第１図はこの発明の一実施例である。入力端子10に
は、カメラで撮像されたデジタル化されたインターレー
ス方式の映像信号が供給される。この映像信号は、補間
及び拡大回路11に供給される。

補間及び拡大回路11は、フィールド内の画素を用いて
内挿補間を行ない、垂直方向のライン間及び水平方向の
サンプリング間隔の画素の間に補間画素を作成し、その
補間映像信号の一部を拡大した複数の領域を設定し、こ
の領域の信号を拡大補間信号として導出する回路であ
る。この拡大補間信号は、ラッチ回路12と相関器17に供
給される。

ラッチ回路12は、拡大補間信号の区分された各領域の
代表点の画素情報をラッチパルスT1のタイミングでラッ
チする。この代表点の画像情報は、転送パルスT2により
代表点保存フレームメモリ13に転送され、その代表点に
ついて予め定められたアドレスに保存される。

代表点保存フレームメモリ13は、書込み／読出しモー
ド切換え信号W/Rにより制御され、そのアドレス入力に
は、書込みモードのときはアドレスコントローラ14から
発生される書込みアドレスが、また読出しモードのとき
はアドレスコントローラ14から発生される読出しアドレ
スがそれぞれアドレス切換え回路15を介して供給され
る。代表点保存フィールドメモリ13の代表点の画像情報
は、ラッチ回路16にラッチされ相関器17に供給される。

相関器17では、補間及び拡大回路11からの拡大補間信
号と、ラッチ回路16にラッチされている代表点の画像情
報との相関演算を行なう。ここで、ラッチ回路16は、代
表点保存フィールドメモリ13からの各代表点の画像情報
を現フィールドの拡大補間信号の各代表点抽出領域にそ
れぞれ対応させて保持するようにラッチパルスT3により
制御される。

相関器17は、ラッチ回路16に保持している１フィール
ド前の代表点の画像情報と、この代表点画像情報の領域
に対応する現フィールドの領域内の各画素との相関演算
を行ない、累積加算器18に入力される各代表点の相関演
算結果を累積加算する。この累積加算結果は、動きベク
トル発生回路19に入力される。動きベクトル発生回路19
は、各方向を示す動きベクトルの加算結果の内、最も大
きい、つまり動きベクトルが最多数である加算結果を判
定し、その動きベクトルの方向を画面全体の平行移動方
向とする最終的な動きベクトル情報を出力部20に出力す
る。

この実施例は上記のように構成される。次に、補間及
び拡大回路11の基本的回路例を第２図に示して説明す
る。

入力端子10に入力された映像信号は、スイッチ110を
介してフィールドメモリ111あるいは112のいずれか一方
にフィールド毎に選択されて供給される。フィールドメ
モリ111と112とは、それぞれ書込みアドレスがライトア
ドレス発生回路113で発生されたスイッチ114,116を介し
て各々に供給される。また、各フィールドメモリ111,11
2に対する読出しアドレスも、リードアドレス発生回路1
15で発生され、スイッチ114,116を介して各々供給され
る。フィールドメモリ111と112とは、一方が書込みのと
きは他方が読出し状態となるように各スイッチ110,114,
116がフィールド毎に切換えられる。

ここで、読出し状態にあるフィールドメモリ111ある
いは112の信号を読み出す場合、予め設定した領域（拡
大しようとする領域）の走査ライン信号が読み出される
ように、読出しアドレスが発生される。また、拡大の規
模や拡大の手法に応じて、同一の走査ライン信号が繰返
して読み出される場合もある。

読出し状態にあるフィールドメモリ111又は112の出力
は、スイッチ117を介してラインメモリ118と乗算器119
に供給される。またラインメモリ118の出力は、乗算器1
20を介して加算器121に供給され、乗算器119の出力と加
算される。乗算器119と120には、例えばリードアドレス
発生回路115から係数、つまり垂直内挿比データが与え
られる。これにより乗算器119と120からの２つの走査ラ
イン信号が内挿比に応じて利得制御され、その後、加算
器121にて加算されると、内挿補間ライン信号を得るこ
とができる。従って、この加算器121から得られる信号
は、垂直方向に補間及び拡大した信号となる。

加算器121の出力は、走査ライン毎にラインメモリ12
3,124に交互に供給される。ラインメモリ123と1215の書
込み及び読出し信号は、リードアドレス発生回路115か
ら供給されている。読出し状態にあるラインメモリ123
又は125の出力は、スイッチ126を介した後、１画素遅延
回路128及び乗算器129に供給される。ラインメモリ123
及び125の読出しアドレスは、水平方向の拡大したい任
意のアドレスである。従って補間画素の数や補間の手法
により同一アドレスから複数回同じデータが読み出され
て使用される場合もある。１画素遅延回路128の出力は
乗算器130にて係数が乗じられ、加算器131に入力され
る。係数器129,130には、例えばリードアドレス発生回
路115から内挿比データが与えられる。これにより、加
算器131からは、水平方向の画素間を内挿する補間画素
信号が得られる。

上記したように、補間及び拡大回路11によると、先ず
垂直方向の走査ライン間が内挿され、しかも垂直方向へ
拡大した区域の信号が加算器121から取出される。次に
この信号を用いて、水平方向の画素間を内挿し，しかも
水平方向へ拡大した区域の信号が加算器131から取出さ
れる。よって、加算器131から得られる映像信号は、垂
直及び水平方向へ拡大した信号であり，しかも実在の画
素間に補間画素を有する信号となる。

つまり、第３図及び第４図に示すように、実在の画素
P1、P2、P3、P4…の間に補間画素P11、P12、P21、P22、
P31、P32…を含む映像信号として取出される。第５図
は、補間及び拡大による画素をわかりやすくするために
示した図であり、Ｘ印の位置が補間された画素、○印の
位置が実在の画素である。第５図（ａ）の拡大補間信号
であり、同図（ｂ）は第１図に示したラッチ回路12にラ
ッチされる相関演算を行なうための領域の信号である。

上記したように、従来は実在の画素ピッチよりも細か
い精度の動きベクトルを検出することはできなかった
が、この実施例によると、相関演算のための信号は、実
在の画素の間にも多数の補間画素を有するために実在の
画素ピッチ（サンプリング間隔、ライン間隔）よりも細
かい精度の動きベクトルを検出することができる。

次に相関演算を行なって各拡大領域の動きベクトル情
報を得、この領域毎の動きベクトル情報から画面全体の
最終的な動きベクトル情報を決定する原理について説明
する。

第６図に示すように、補間拡大された映像信号を、メ
モリ空間上で横方向にＭ分割して、縦方向にＮ分割し、
（Ｍ×Ｎ）個の領域に分割する。そして、各領域毎に基
準点となる画素（Ｘ印）を選択しこれを代表点とする。
この代表点の画素が、フィールド毎にどの方向へ、どれ
だけ移動したかを信号レベルの比較によって検出する
と、各領域毎に動きベクトルを得ることができる。次に
各領域毎に検出された動きベクトルのうち、最も数の多
い動きベクトルを、テレビジョン画面全体の動きベクト
ルとして判定するものである。この判定が第１図に示し
た動きベクトル発生回路19で行われている。

次に、１領域における動きベクトルの検出原理につい
て説明する。

第７図に示すように、１つの領域（拡大され補間画素
を含む）が（ｍ×ｎ）個の画素を持つものとする。ここ
で、あるフィールドにおける代表点の画素（ｐ）の輝度
信号レベル（10）がメモリ13に記憶されていたとする。
そして次のフィールドの全画素の輝度信号レベルが、第
７図（ｂ）に示すように11、12、13、…1mnであったと
する。この場合、前フィールドの輝度信号レベル10と、
現フィールドの各画素の輝度信号レベルとで次の演算が
行われる。

10-11 10-12 10-13 10-1nm この結果、両信号レベルが等しく、演算結果が零であ
る画素が、例えば図の３か所の画素（a1,a2、a3）であ
ったとする。すると、この領域では、代表点（ｐ）と各
画素（a1,a2、a3）を結ぶ各ベクトルをそれぞれ動きベ
クトルb1、b2、b3として決定する。

このように１つの領域では、複数の動きベクトルが検
出され、画像全体の平行移動に関する動きベクトルは一
義的には決定できない。そこで、この実施例では、各領
域を通じて、同一方向及び同一大きさの動きベクトルの
数を加算し、この加算結果の総和が最も大きい値を形成
した動きベクトルの方向、及び大きさを画面全体の移動
方向及び動き量として決定するものである。つまり、各
領域を通じて、一番多く検出されたベクトルを最終的な
動きベクトルとして判定するようにしている。

上記の説明では、最初に動きベクトルを検出する場
合、領域の全てから検出するものとして説明したが、第
６図に示す領域のうち動き検出のために採用する領域
は、画像内容等により任意に外部から選択できるように
しても良い。この場合は、相関器17に与えられる演算タ
イミング信号をアドレスコントローラ14にて調整すれば
良い。このようにすると、動きを検出しにくい例えば真
白な壁を撮像している領域や、すみきった空を撮像して
いるような領域では、第７図で説明したような無駄な演
算を無くすことができる。

［発明の効果］ 以上説明したようにこの発明によれば、フィールド間
での動きよりも更に細かいライン間及びサンプリング間
隔以内の微小な動きがあってもこれを検出することがで
き、画像動き補正精度を向上するのに有効な画像動き検
出装置を得ることができる。

【図面の簡単な説明】

第１図はこの発明の一実施例を示すブロック図、第２図
は第１図の補間及び拡大回路の具体例を示す回路図、第
３図乃至第５図は第１図及び第２図の回路の動作を説明
するために示した説明図、第６図及び第７図は相関演算
を行なう領域と動きベクトル決定経過を説明するために
示した説明図、第８図はカメラ撮像による全体画像の平
行移動を説明するための説明図、第９図は全体画像の平
行移動のベクトル説明図、第10図は、従来の相関演算に
よる動き検出方法を説明するために示した説明図であ
る。 11……補間及び拡大回路、12、16……ラッチ回路、13…
…代表点保存メモリ、14……アドレスコントローラ、15
……アドレス切換え回路、17……相関器、18……累積加
算器、19……動きベクトル発生回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 安田 恒治 東京都渋谷区神南２丁目２番１号 日本 放送協会放送センター内 (72)発明者 福田 雅之 東京都渋谷区神南２丁目２番１号 日本 放送協会放送センター内 (72)発明者 川村 好英 神奈川県川崎市幸区小向東芝町１番地 株式会社東芝小向工場内 (72)発明者 阿部 稔 神奈川県川崎市幸区小向東芝町１番地 株式会社東芝小向工場内 (72)発明者 嶋田 秀幸 神奈川県川崎市幸区小向東芝町１番地 株式会社東芝小向工場内 (56)参考文献 特開 昭63−166370（ＪＰ，Ａ)

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】インターレース方式の映像信号が供給さ
   れ、この映像信号の垂直方向の複数ラインの画素と水平
   方向の複数サンプリング点の画素を用いて補間画素を作
   り、この補間画素により補間された映像信号の一部を拡
   大した拡大補間信号を出力する画素補間及び拡大手段
   と、 この画素補間及び拡大手段から出力される拡大補間信号
   から１フィールド毎に予め決められた複数の分割領域の
   各代表点に対応する複数の画素信号のみを取り出して次
   のフィールドに同期するように遅延出力する代表点選択
   出力手段と、 この代表点選択出力手段から出力される各分割領域の代
   表点信号と前記画素補間及び拡大手段からの次のフィー
   ルドの拡大補間信号とが供給され、各代表点信号とこれ
   に対応する拡大補間信号の各分割領域内の信号との間の
   相関演算を行なうことで、各分割領域毎の動きベクトル
   情報を得る相関演算手段と、 この相関演算手段から得られた各分割領域の動きベクト
   ル情報が供給され、共通の動き方向を示す最も多いベク
   トル情報を判定してこのベクトルによる方向を最終的な
   動きベクトル情報として出力する動きベクトル情報判定
   出力手段とを具備したことを特徴とする画像動き検出装
   置。