JPS61105191A - テレビジヨン信号の動き検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、例えばテレビカメラの撮像出力を伝送する
場合、テレビカメラのパニング等による動きを検出する
のに適用される動き検出装置である。

〔従来の技術〕

テレビジョン信号の動きベクトルの検出方法の一つとし
て、ブロックマツチング法が知られている。ブロックマ
ツチング法は、画面を多数の小さな領域（ブロック）に
分け、前フレームの注目ブロックと現フレームの注目ブ
ロックの近傍との比較を行い、最も相関の大きなブロッ
クを検出するものである。

この相関の大きさを検出する一つの方法は、比較する２
ブロック間で互いに対応する画素データの差（フレーム
差）の絶対値を求め、ブロック内の全画素について上記
の絶対値を積算し、この積算値が最小なものを求める方
法である。積算値が最小なブロックが注目ブロックの移
動後の位置として検出される。この方法は、ブロックの
精度で動き検出を行うことができる。

相関の大きさを検出する他の方法は、前フレームの注目
するブロックと中心が一致する現フレームのブロックを
１画素車位で動かし、この動く範囲即ち調査範囲内のフ
レーム差が最小となる位置を求める方法である。この方
法によれば、画素の精度で動きを検出できる。

〔発明が解決しようとする問題点〕

上述の従来のブロックマツチング法の何れも、動き量と
して考えられる領域の全てのデータの比較を行う全数調
査であるため、検出に要する比較の回数が非常に多く、
動き検出に時間がかかる欠点があった。また、相関の判
定を行う時に、略々等しい大きさの極値が複数偏在る場
合に、その内で最小の値が単純に選択される。このこと
は、テレビカメラのパニング等の動き検出を行い、その
結果により動き補正を行う場合には、注目画像の劣化を
生じる問題点があった。

例えば山並を背景画像とし、この山並の前を飛行機（注
目画像）が飛んでいる景色をテレビカメラにより撮影す
る場合、テレビカメラがファインダーの中心に注目画像
が位置するように、飛行機を追ってパニングされる。こ
のような画面の動き検出を行うと、画面の中心点の近傍
に注目画像の面積に見合った極値が存在し、一方、テレ
ビカメラの動きに対応した位置にも山並（背景画像）の
大きさに見合った極値が存在する。この場合に背景画像
と対応する極値が選択されると、動き補正に伴って注目
画像の劣化が住じる。即ち、動き補正は、テレビカメラ
の動きを検出して、画面の動いた分だけ座標をずらして
メモリから前フレームの画像データを読み出すものであ
るから、背景画像の動きに合わせてずらすと、注目画像
の動きが正しく再現できな（なる。

従って、この発明の目的は、テレビカメラの動き検出に
使用した場合に、注目画像の劣化を住じさせず、妥当な
動き検出を行うことができるテレビジョン信号の動き検
出装置を提供することにある。

また、この発明は、動き調査範囲で全てのフレーム差を
調べて極値を検出するのと異なり、処理時間が短縮化さ
れ、ハードウェアが簡単な動き検出装置を提供するもの
である。

Ｃ問題点を解決するための手段） この発明は、１画面を複数のブロックに分割し、ブロッ
クごとの代表点と現フレームの対応するブロック内の画
素データの各々との差の絶対値を演算する手段１，２．
３と ブロックごとの差の絶対値を偶数フィールドの期間で積
算し、その積算結果をブロックマツチング用の第１のテ
ーブルとして記憶する第１のメモリ５と、 ブロックごとの差の絶対値を奇数フィールドの期間で積
算し、その積算結果をブロックマツチング用の第２のテ
ーブルとして記憶する第２のメモリ６と、 奇数フィールドの期間に、第１のメモリ５に記憶された
第１のテーブルから極値を検出すると共に、偶数フィー
ルドの期間に、第２のメモリ６に記憶された第２のテー
ブルから極値を検出するＣＰＵ７とを備えたことを特徴
とするテレビジョン信号の動き検出装置である。

〔作用〕

ブロックの大きさのグラフメモリを２個備え、フィール
ド毎に一方のグラフメモリ５と他方のグラフメモリ６と
が書き込み動作及び読み出し動作が逆に切り換えられる
。ＣＰＵ７は、読み出し期間でグラフメモリ５又は６を
アクセスして極値の検出を所定のプログラムに従って行
う。

〔実施例〕

以下、この発明の一実施例について図面を参照して説明
する。この一実施例は、基本的にブロックマツチング法
であり、テレビカメラの動き検出にこの発明を通用した
例である。即ち、この一実施例は、積算の回数を減少さ
せるために、前フレームのブロックの空間上の中心の画
素（代表点）と現フレームの対応するブロックの各画素
との差を求め、このように求まったブロックごとの差を
１フレームにわたって積算して、１画面の動き即ちテレ
ビカメラの動き検出を行うものである。

第１図において、１は、入力画像データの１フレーム中
の各ブロックの代表点のデータを記憶する代表点メモリ
である。２で示す減算回路において、前フレームの代表
点と現フレームの対応するブロック内の画素との差が演
算される。減算回路２の出力が変換回路３により絶対値
に変換され、加算回路４に供給される。この加算回路４
の出力が第１のグラフメモリ５及び第２のグラフメモリ
６にフィールド毎に交互に書き込まれる。

グラフメモリ５及び６は、ＣＰＵ７のデータバス８と結
合されていると共に、グラフメモリ５及び６の出力がセ
レクタ９に供給される。このセレクタ９の他の入力とし
て、全て°Ｏ゛のデータが供給されており、１フイール
ドの最初のブロックの画素については、０”のデータが
セレクタ９により選択されて加算回路４に供給される。

グラフメモリ５及び６は、１ブロツクの画素のデータを
記憶し、読み出した差データの絶対値を加算回路４に供
給し、この加算回路４の出力を元のアドレスに書き込む
ことで、夫々に１フイ一ルド分の差データの積算値（フ
レーム差積分テーブル）が貯えられる。

ＣＰＵ７は、グラフメモリ５及び６に記憶されたフレー
ム差積分テーブルを参照して、極値の検出及び検出され
た極値が正しいかどうかの検証を行う。この場合、グラ
フメモリ５とグラフメモリ６とは、書き込み動作（但し
、上述のように、フレーム差を積分するために、読み出
し動作を行ってから書き込み動作を行う。）及び読み出
し動作を１フイールド毎に交互に行うと共に、これらの
動作を逆相で行うように制御される。

第２図Ａは、グラフメモリ５，６の側から垂直ブランキ
ング期間内にＣＰＵ７に出されるフラッグ信号を示す。

第２図Ｂは、グラフメモリ５の動作を示すもので、奇数
フィールドでグラフメモリ５が読み出し動作を行い、偶
数フィールドでグラフメモリ５が書き込み動作を行う。

第２図Ｃは、グラフメモリ６の動作を示すもので、奇数
フィールドでグラフメモリ６が書き込み動作を行い、偶
数フィールドでグラフメモリ６が読み出し動作を行う。

グラフメモリ５．６の夫々から読み出されたフレーム差
積分データがＣＰＵ７に供給されて極値の検出及び検証
がなされる。

代表点メモリ１と減算回路２と変換回路３とによって、
ブロックごとに検出されたフレーム差の絶対値をフレー
ム全体で積算するのに、１フレームの時間を要するので
、入力画像データは、フレームメモリ１０に書き込まれ
、求められている動きベクトルがＣＰＵ７から付加回路
１１に供給され、この動きベクトルが画像データに付加
されて伝送される。受信側では、動きベクトルを用いて
座標軸をずらす動き補正がなされる。

第３図は、１フイールドの画面の分割の一例を示す。こ
の実施例では、高品位テレビジョン信号の処理を行うよ
うにしており、１ブロツク（動き量の範囲）の大きさが
縦方向に８ライン、横方向で３２サンプルとされ、従っ
て、１ブロツク内に２５６画素が含まれてており、１フ
イールドが縦に６４ブロツクに分割され、横に４４ブロ
ツクに分割される。

グラフメモリ５．６の夫々に記憶されているフレーム差
積分テーブルは、第４図に示すように、原点（０，０）
を中心とするＸ−Ｙ座標で規定されるものである。この
Ｘ−Ｙ座標は、Ｘ軸に関して−１６から１５までの値を
とり、Ｙ軸に関して−４から３までの値をとるものであ
る。グラフメモリ５．６には、縦軸に差分値の絶対値を
とると、第５図に模式的に示されるようなフレーム差積
分テーブルが形成されている。このフレーム差積分テー
ブルの中で最小値の座標データ（Ｘｍｉｎ、　Ｙｍｉｎ
）がＣＰＵ７により検出される。原点とこの検出された
（　Ｘｍ１ｎ＋　Ｙｍｉｎ）とを結ぶベクトルが動きベ
クトルである。

以下、ＣＰＵ７がグラフメモリ５，６に記憶されている
フレーム差積分テーブルのデータを用いて行う動きベク
トルの検出及び動きベクトルの検証について第６図、第
７図、第８図、第９図及び第１０図を参照して説明する
。

第６図に示すように、動き検出の最初は、原点から始め
られる（ステップ２１及び２２）。第７図は、原点の上
下及び左右の４方向に隣接して位置する４個のフレーム
差積分データを示す。この時の極値検出は、フレーム差
積分テーブルの（０゜０）（０，−１）（１，０）（０
，１）（−１゜０）の各座標のデータ（第６図では、デ
ータを表すためにＴＡＢＬＥの表示を付している。）の
中の最小値を検出することによりなされる。この最小値
の座標（Ｘｓｉｎ、　Ｙｍｉｎ）がＸ及びＹ（今の場合
では、（０，０））と一致するかどうかが調べられる（
ステップ２３）、一致する場合には、極値検証のステッ
プ２５に移行する。一致しない場合には、最小値の座標
（Ｘｍｉｎ、　Ｙｍｉｎ）がＸ及びＹと置き換えられ（
ステップ２４）、再びこの座標（Ｘ、Ｙ）を中心とする
４方向に位置する隣接データに関する最小値の検出（ス
テップ２２）がなされる。

このように、極値検出は、原点から出発して上下及び左
右の４方向の中で最大の負の傾斜方向に進み、この４方
同に関して何れも負の傾斜でない所を極値として見つけ
る。ステップ２３において最小値の座標が前のものと一
致する時に極値検証のステップ２５に移行する。

このステップ２５は、第８図に示すように、検出された
極値の座標（Ｘ、Ｙ）の斜め方向に位置する　（Ｘ＋１
．Ｙ−１）、　　（Ｘ＋１．Ｙ＋１）。

（Ｘ−１，Ｙ＋１）、　　（Ｘ−１，Ｙ−１）の座標の
各フレーム差積分データと極値の座標（Ｘ、　Ｙ）のフ
レーム差積分データとの内の最小値を検出するものであ
る。この検出された最小値の座標（Ｘｍｉｎ、　Ｙｍｉ
ｎ）が（Ｘ、Ｙ）と一致する時には、検出された極値が
正しいものと判定される。もし、一致しない時には、ス
テップ２４に移行して再び極値検出がなされる。

第９図は、極値検出のステップ２２のより具体的なフロ
ーチャートを示し、第１０図は、極値検証のより具体的
なフローチャートを示す。この第９図及び第１０図で、
「：」は、データの大きさの比較を意味する。また、座
標のデータを意味するｒＴＡＢＬＥＪの表示は、これら
の図では、省略されている。

極値検出は、上方向の画素との比較を最初に行い、次に
右方向の画素との比較を行い、その次に下方向の画素と
の比較を行い、最後に左方前の画素との比較を行うよう
になされる。極値検出の最初のステップ３１で、座標Ｙ
が−４と一致するかどうか調べられる。一致する時には
、上方向に位置するデータがないことを意味するので、
上方向に関する極値検出がジャンプされ、右方向に関す
る極値検出に移る。ステップ３２は、最小値として検出
されている（　Ｘ　ｎ＋ｉｎ＋　Ｙ　ｍ１ｎ）の座標の
データとその上方向に位置する座標（Ｘ、Ｙ−１）のデ
ータとの比較のステップである。

この座標（Ｘｍｉｎ、　Ｙｍｉｎ）のデータの方が大き
い時には、Ｙｒｎｉｎに代えて（Ｙ−’１）のフレーム
差積分データが置き換えられる（ステップ３３）。

もし、座標（Ｘｍｉｎ、　Ｙｍｉｎ）のデータの方が座
標（Ｘ、Ｙ−１）のデータより小さい時には、Ｙｍｉｎ
の変更がなされない。

この上方向のフレーム差積分データとの比較が終了する
と、右側のフレーム差積分データとの比較に移る。この
場合、最初に（Ｘ＝１５）かどうかが調べられる（ステ
ップ３４）。もし、この関係が成立する時には、右側の
比較する対象のデータがないので、右側のデータとの比
較のステップ３５がジャンプされる。

このステップ３５は、ステップ３２と同様のもので、今
迄の検出により最小値として検出されたフレーム差積分
データとその右側のフレーム差積分データとの大きさを
比較する。そして、右側のデータがより小さい時には、
Ｘｍ１ｎが（Ｘ−１）の座標で置き換えられる（ステッ
プ３６）。そうでない時には、この置き換えがなされな
い。

更に、次にステップ３７．３８．３９からなる下側のフ
レーム差積分データとの大きさの比較がなされ、最後に
ステップ４０，４１．４２からなる左側のフレーム差積
分データとの大きさの比較がなされる。このようにして
、極値検出の最初の座標位置の上下左右の４方向の内で
、最小値の座標が求められる。

第１Ｏ図は、第６図における極値検証のステップ２５の
より具体的な手順を示すフローチャートである。極値検
証は、前述の極値検出の座標（Ｘ。

Ｙ）のデータとその右斜め上の座標（Ｘ＋１．Ｙ−１）
のフレーム差積分データとの大きさの比較が最初になさ
れる。この場合、（Ｘ＝１５）又は（Ｙ＝−４）が成立
するかどうかが調べられ（ステップ４３及びステップ４
４）、これらの関係が成立する時には、右斜め上のデー
タが無いので、比較のステップ４５及び置き換えのステ
ップ４６がジャンプされる。

次に、右斜め下のフレーム差積分データとの大きさの比
較がなされる。この場合には、（Ｙ＝３）の時には、右
斜め下のデータとの比較のステップ４８及び置き換えの
ステップ４９がジャンプされる。

更に、次に左斜め下のフレーム差積分データとの大きさ
の比較がなされる。この場合、（Ｘ＝−１６）又は（Ｙ
＝３）の関係が成立するかどうかが調べられ（ステップ
５０及びステップ５１）、これらが成立する時には、比
較の対象としての左斜め下のデータが無いので、この比
較のステップ５２及び置き換えのステップ５３がジャン
プされる。

最後に、左斜め上のフレーム差積分データとの大きさの
比較がなされる。この場合、（Ｙ＝−４）が成立するか
どうかが調べられる（ステップ５４）。この関係が成立
する時には、比較の対象のデータが無いので、比較のス
テップ５５及び置き換えのステップ５６がジャンプされ
る。

以上のようにして、検出された極値が本当に極値かどう
かが検証され、誤った極値検出が防止される。

〔発明の効果〕

この発明に依れば、フレーム差積分テーブルの全てのデ
ータを調べて極値を検出するのと異なり、原点と極値を
直線で結ぶごく一部の領域で、比較を行えば良く、処理
時間が大幅に短縮されると共に、検出された極値を検証
することが可能となる。

。また、この発明は、高速動作をさほど要求されないの
で、ＣＰＵの制御により簡単に極値を検出することがで
き、ハードウェアの規模を小さくすることができる。

また、フレーム差積分テーブルの中に極値が複数偏在る
時に、単純に最小値のもの選ぶのでなく、妥当なものを
選べる。即ち、この発明は、注目画像の動きに合わせて
検出が可能で、注目画像の劣化を避けることができ、ま
た、テレビカメラが動かないない時に、原点寄りの極値
検出を行うことにより、動き物体の影響を除去できる。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロック図、第２図はこ
の発明の一実施例のグラフメモリの動作説明に用いるタ
イムチャート、第３図はこの発明の一実施例の画面分割
の説明に用いる路線図、第４図及び第５図はこの発明の
一実施例のフレーム差積分テーブルの説明に用いる路線
図、第６図はこの発明の一実施例の極値検出及び極値検
証の説明に用いるフローチャート、第７図及び第８図は
極値検出及び極値検証の説明に用いる路線図、第９図は
この発明の一実施例の極値検出の手順を示すフローチャ
ート、第１０図はこの発明の一実施例の極値検証の手順
を示すフローチャートである。 に代表点メモリ、２８減算回路、４：加算回路、５，６
：グラフメモリ、７．：　ＣＰＵ、２１　：極値検出の
ステップ、２５：極値検証のステップ。

Claims (1)

1. 【特許請求の範囲】 １画面を複数のブロックに分割し、上記ブロックごとの
   代表点と現フレームの対応するブロック内の画素データ
   の各々との差の絶対値を演算する手段と 上記ブロックごとの差の絶対値を奇数フィールドの期間
   で積算し、その積算結果をブロックマッチング用の第１
   のテーブルとして記憶する第１のメモリと、 上記ブロックごとの差の絶対値を偶数フィールドの期間
   で積算し、その積算結果をブロックマッチング用の第２
   のテーブルとして記憶する第２のメモリと、 上記偶数フィールドの期間に、上記第１のメモリに記憶
   された上記第１のテーブルから極値を検出すると共に、
   上記奇数フィールドの期間に、上記第２のメモリに記憶
   された上記第２のテーブルから極値を検出するＣＰＵと
   を備えたことを特徴とするテレビジョン信号の動き検出
   装置。