JPH0279585A - 画像動き検出装置 - Google Patents

画像動き検出装置

Info

Publication number
JPH0279585A
JPH0279585A JP63230972A JP23097288A JPH0279585A JP H0279585 A JPH0279585 A JP H0279585A JP 63230972 A JP63230972 A JP 63230972A JP 23097288 A JP23097288 A JP 23097288A JP H0279585 A JPH0279585 A JP H0279585A
Authority
JP
Japan
Prior art keywords
interpolation
motion vector
signal
representative point
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP63230972A
Other languages
English (en)
Other versions
JP2693516B2 (ja
Inventor
Yoshio Monjiyou
由男 門條
Katsunori Chiba
千葉 勝範
Koji Yasuda
安田 恒治
Masayuki Fukuda
福田 雅之
Yoshihide Kawamura
好英 川村
Minoru Abe
稔 阿部
Hideyuki Shimada
秀幸 嶋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Japan Broadcasting Corp
Original Assignee
Toshiba Corp
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Toshiba Corp
Priority to JP23097288A priority Critical patent/JP2693516B2/ja
Publication of JPH0279585A publication Critical patent/JPH0279585A/ja
Application granted granted Critical
Publication of JP2693516B2 publication Critical patent/JP2693516B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 [発明の目的] (産業上の利用分野) この発明は、撮像カメラの平行移動や振動などによりテ
レビジョン画面の画像が不要に動くのを補正する装置に
使用される画像動き検出装置に関する。
(従来の技術) テレビジョン画面における画像の動きは、画像中の物体
の移動によるものとカメラの平行移動によるものとがあ
る。前者は、画像の局部的な動きであるのに対し1、後
者は画像全体が相互関係をほぼ維持したまま動く平行移
動現象としてあられれる。このような画像全体の平行移
動はさらにカメラのパンニングとカメラの振動などによ
る細かい動きに分けられ、この細かい動きが有るとみに
くい画面となる。このような不要な動きを改善するため
に、その方向及び大きさを示す動きベクトルを検出して
、画像全体の動きを補正する補正装置が開発されている
第8図は補正装置の原理を示している。画面上の画像が
同図の(a)〜(b)〜(C)のように矢印の方向に平
行移動したとすると、動きベクトル(矢印)は第9図に
示すように横方向及び縦方向の偏移(a、b)で与えら
れる。従って、この動きベクトルを検出して、その情報
を用いて現フレームの画像を動きベクトルの大きさだけ
逆方向にシフトすれば、カメラの平行移動による動きを
補償できる。
ところで、上記の補償を行なうためには、画像動きを検
出しなければならない。従来の画像動き検出方法は、1
フレーム前(2フィールド前)の映像信号の中に代表点
を設定し、現在の映像信号と相関演算を行ない動きベク
トル情報を求めている。
即ち、第10図に示すように、例えば第3フィールドが
現フィールドの映像信号であるとすると、これより2フ
ィールド前の映像信号の領域Al内の代表点Pの画素と
、第3フィールドの領域A3の複数の画素との演算を行
ない、代表点Pの画素と同一内容の画素を検出し、その
検出画素の方向を動き方向として判断している。そして
、このような領域を複数設定して、各領域で得られる動
きベクトル情報の中で、同一方向を示すベクトル情報毎
に分類して、最も多く集まったベクトル情報により示さ
れる方向及び大きさを画面全体の平行移動方向および量
として最終的な動きベクトル情報を得ている。
(発明が解決しようとする課題) 上記した従来の動きベクトル検出方法によると、フレー
ム間による相関演算であるために、フィールド間の動き
ベクトル情報を検出することができない。即ち、例えば
第1フィールドから第2フィールドに移った際にカメラ
の平行移動があり、第3フィールドでは元に戻るような
カメラの平行移動があったような場合、その検出は不可
能である。このことは、動きベクトル情報を用いて画像
の平行移動を補正する精度が劣ることを意味する。
更にまた、上記した動きベクトル検出方法であると、サ
ンプリング間隔よりも細かい移動量の検出精度を得るこ
とができない。
そこでこの発明は、フィールド間での動きよりも更に細
かいライン間及びサンプリンフ間隔以内の微小な、動き
があってもこれを検出することができ、画像動き補正精
度を向上するのに有効な画像動き検出装置を提供するこ
とを目的とする。
[発明の構成] (課題を解決するための手段) この発明は、まず、画素補間及び拡大手段により、イン
ターレース方式の映像信号の垂直方向の複数ラインや画
素と水平方向の複数サンプリング点の画素を用いて補間
画素を作り、この補間画素により補間された映像信号の
一部を拡大した拡大補間信5号を得る。これにより、ラ
イン間及びサンプリング画素間に補間された情報を得る
ことができる。つぎに、この画素補間及び拡大手段から
の拡大補間信号の1フィールドを複数の領域に分割し、
各領域の代表点に対応する信号を代表点保存手段により
記憶する。そして、代表点保存手段からの各代表点信号
と、前記画素補間及び拡大手段からの拡大補間信号を用
いて、相関演算手段により、各代表点とこれに対応する
拡大補間信号の各領域の信号間の相関演算を行ない各領
域に於ける複数の動きベクトル情報を得る。つぎに、相
関演算手段から得られた各領域の動きベクトル情報を用
い、共通の動き方向を示す最も多いベクトル情報を判定
してこのベクトルによる方向を最終的な動きベクトル情
報として得るように構成したものである。
(作用) 上記の手段により、相関演算のための入力信号は、入力
映像信号のライン間でかつサンプリング間隔よりも細か
いピッチの情報を含むために、これら情報を用いて相関
演算した結果得られる動きベクトルは、入力映像信号の
ライン間隔及びすンブリング間隔よりも細かい精度の動
きベクトルとして得られる。
(実施例) 以下、この発明の実施例を図面を参照して説明する。
第1図はこの発明の一実施例である。入力端子10には
、カメラで撮像されデジタル化されたインターレース方
式の映像信号が供給される。この映像信号は、補間及び
拡大回路11に供給される。
補間及び拡大回路11は、フィールド内の画素を用いて
内挿捕間を行ない、垂直方向のライン間及び水平方向の
サンプリング間隔の画素の間に補間画素を作成し、その
補間映像信号の一部を拡大した複数の領域を設定し、こ
の領域の信号を拡大補間信号として導出する回路である
。この拡大補間信号は、ラッチ回路12と相関器17に
供給される。
ラッチ回路12は、拡大補間信号の区分された各領域の
代表点の画像情報をラッチパルスT1のタイミングでラ
ッチする。この代表点の画像情報は、転送パルスT2に
より代表点保存フレームメモリ13に転送され、その代
表点について予め定められたアドレスに保存される。
代表点保存フレームメモリ13は、書込み/続出しモー
ド切換え信号W/Rにより制御され、そのアドレス人力
には、書込みモードのときはアドレスコントローラ14
から発生される書込みアドレスが、また読出しモードの
ときはアドレスコントローラ14から発生される読出し
アドレスがそれぞれアドレス切換え回路15を介して供
給される。代表点保存フィールドメモリ13の代表点の
画像情報は、ラッチ回路16にラッチされ相関器17に
供給される。
相関器17では、補間及び拡大回路11からの拡大補間
信号と、ラッチ回路16にラッチされている代表点の画
像情報との相関演算を行なう。ここで、ラッチ回路16
は、代表点保存フィールドメモリ13からの各代表点の
画像情報を現フィールドの拡大補間信号の各代表点抽出
領域にそれぞれ対応させて保持するようにラッチパルス
T3により制御される。
相関器17は、ラッチ回路16に保持している1フィー
ルド前の代表点の画像情報と、この代表点画像情報の領
域に対応する現フィールドの領域内の各画素との相関演
算を行ない、累積加算器18に入力される各代表点の相
関演算結果を累積加算する。この累積加算結果は、動き
ベクトル発生回路19に入力される。動きベクトル発生
回路19は、各方向を示す動きベクトルの加算結果の内
、最も大きい、つまり動きベクトルが最多数である加算
結果を判定し、その動きベクトルの方向を画面全体の平
行移動方向とする最終的な動きベクトル情報を出力部2
0に出力する。
この実施例は上記のように構成される。次に、補間及び
拡大回路11の基本的回路例を第2図に示して説明する
入力端子10に入力された映像信号は、スイッチ110
を介してフィールドメモリ111あるいは112のいず
れか一方にフィールド毎に選択されて供給される。フィ
ールドメモリ111と112とは、それぞれ書込みアド
レスがライトアドレス発生回路113で発生されスイッ
チ114゜116を介して各々に供給される。また、各
フィールドメモリ111,112に対する読出しアドレ
スも、リードアドレス発生回路115で発生され、スイ
ッチ114,116を介して各々供給される。フィール
ドメモリ111と112とは、−方が書込みのときは他
方が読出し状態となるように各スイッチ110,114
,116がフィールド毎に切換えられる。
ここで、読出し状態にあるフィールドメモリ111ある
いは112の信号を読み出す場合、予、め設定した領域
(拡大しようとする領域)の走査ライン信号が読み出さ
れるように、読出しアドレスが発生される。また、拡大
の規模や拡大の手法に応じて、同一の走査ライン信号が
繰返して読み出される場合もある。
読出し状態にあるフィールドメモリ111又は112の
出力は、スイッチ117を介してラインメモリ118と
乗算器119に供給される。またラインメモリ118の
出力は、乗算器120を介して加算器121に供給され
、乗算器119の出力と加算される。乗算器119と1
20には、例えばリードアドレス発生回路115から係
数、つまり垂直内挿比データが与えられる。これにより
乗算器119と120からの2つの走査ライン信号が内
挿比に応じて利得制御され、その後、加算器121にて
加算されると、内挿補間ライン信号を得ることができる
。従って、この加算器121から得られる信号は、垂直
方向に補間及び拡大した信号となる。
加算器121の出力は、走査ライン毎にラインメモリ1
23,124に交互に供給される。ラインメモリ123
と1215の書込み及び読出し信号は、リードアドレス
発生回路115から供給されている。読出し状態にある
ラインメモリ123又は125の出力は、スイッチ12
6を介した後、1画素遅延回路128及び乗算器129
に供給される。ラインメモリ123及び125の読出し
アドレスは、水平方向の拡大したい任意のアドレスであ
る。従って補間画素の数や補間の手法により同一アドレ
スから複数回同じデータが読み出されて使用される場合
もある。1画素遅延回路128の出ツjは乗算器130
にて係数が乗じられ、加算器131に入力される。係数
器129,130には、例えばリードアドレス発生回路
115から内挿比データが与えられる。これにより、加
算器131からは、水平方向の画素間を内挿する補間画
素信号が得られる。
上記したように、補間及び拡大回路11によると、先ず
垂直方向の走査ライン間が内挿され、しかも垂直方向へ
拡大した区域の信号が加算器121から取出される。次
にこの信号を用いて、水平方向の画素間を内挿し、しか
も水平方向へ拡大した区域の信号が加算器131から取
出される。
よって、加算器131から得られる映像信号は、垂直及
び水平方向へ拡大した信号であり、しかも実在の画素間
に補間画素を有する信号となる。
つまり、第3図及び第4図に示すように、実在の画素P
I、P2、P3、P4・・・の間に補間画素P11%P
12、P21、P22、P31、P32・・・を含む映
像信号として取出される。第5図は、補間及び拡大によ
る画素をわかりやすくするために示した図であり、X印
の位置が補間された画素、O印の位置が実在の画素であ
る。第5図(a)の拡大補間信号であり、同図(b)は
第1図に示したラッチ回路12にラッチされる相関演算
を行なうための領域の信号である。
上記したように、従来は実在の画素ピッチよりも細かい
精度の動きベクトルを検出することはできなかったが、
この実施例によると、相関演算のための信号は、実在の
画素の間にも多数の補間画素を有するために実在の画素
ピッチ(サンプリング間隔、ライン間隔)よりも細かい
精度の動きベクトルを検出することができる。
次に相関演算を行なって各拡大領域の動きベクトル情報
を得、この領域毎の動きベクトル情報から画面全体の最
終的な動きベクトル情報を決定する原理について説明す
る。
第6図に示すように、補間拡大された映像信号を、メモ
リ空間上で横方向にM分割して、縦方向にN分割し、(
MXN)個の領域に分割する。そして、各領域毎に基準
点となる画素(X印)を選択しこれを代表点とする。こ
の代表点の画素が、フィールド毎にどの方向へ、どれだ
け移動したかを信号レベルの□比較によって検出すると
、各領域毎に動きベクトルを得ることができる。次に各
領域毎に検出された動きベクトルのうち、最も数の多い
動きベクトルを、テレビジョン画面全体の動きベクトル
として判定するものである。この判定が第1図に示した
動きベクトル発生回路19で行われている。
次に、1領域における動きベクトルの検出原理について
説明する。
第7図に示すように、1つの領域(拡大され補間画素を
含む)が(mXn)個の画素を持つものとする。ここで
、あるフィールドにおける代表点の画素(p)の輝度信
号レベル(10)がメモリ13に記憶されていたとする
。そして次のフィールドの全画素の輝度信号レベルが、
第7図(b)に示すように11.12.13、・・1m
nてあったとする。この場合、前フィールドの輝度信号
レベル10と、現フィールドの各画素の輝度信号レベル
とで次の演算が行われる。
0−Il Q−1rv この結果、両信号レベルが等しく、演算結果が零である
画素が、例えば図の3か所の画素(al。
a2、a3)であったとする。すると、この領域では、
代表点(p)と各画素(al 、  a2 、a3 )
を結ふ各ベクトルをそれぞれ動きベクトルbl、b2、
b3として決定する。
このように1つの領域では、複数の動きベクトルが検出
され、画像全体の平行移動に関する動きベクトルは一義
的には決定できない。そこで、この実施例では、各領域
を通じて、同一方向及び同一大きさの動きベクトルの数
を加算し、この加算結果の総和が最も大きい値を形成し
た動きベクトルの方向、及び大きさを画面全体の移動方
向及び動き瓜として決定するものである。つまり、各領
域を通じて、一番多く検出されたベクトルを最終的な動
きベクトルとして判定するようにしている。
上記の説明では、最初に動きベクトルを検出する場合、
領域の全てから検出するものとして説明したが、第6図
に示す領域のうち動き検出のために採用する領域は、画
像内容等により任意に外部から選択できるようにしても
良い。この場合は、相関器17に与えられる演算タイミ
ング信号をアドレスコントローラ14にて調整すれば良
い。このようにすると、動きを検出しにくい例えば真白
な壁を撮像している領域や、すみきった空を撮像してい
るような領域では、第7図で説明したような無駄な演算
を無くすことができる。
[発明の効果] 以上説明したようにこの発明によれば、フィールド間で
の動きよりも更に細かいライン間及びサンプリング間隔
以内の微小な動きがあってもこれを検出することができ
、画像動き補正精度を向上するのに有効な画像動き検出
装置を得ることができる。
【図面の簡単な説明】
第1図はこの発明の一実施例を示すブロック図、第2図
は第1図の補間及び拡大回路の具体例を示す回路図、第
3図乃至第5図は第1図及び第2図の回路の動作を説明
するために示した説明図、第6図及び第7図は相関演算
を行なう領域と動きベクトル決定経過を説明するために
示した説明図、第8図はカメラ撮像による全体画像の平
行移動をの 説明するため匁説明図、第9図は全体画像の平行移動の
ベクトル説明図、第10図は、従来の相関演算による動
き検出方法を説明するために示した説明図である。 11・・・補間及び拡大回路、12.16・・・ラッチ
回路、13・・・代表点保存メモリ、14・・・アドレ
スコントローラ、15・・・アドレス切換え回路、17
・・・相関器、18・・・累積加算器、19・・・動き
ベクトル発生回路。 p、 、 P2. P3. p、 :実在画素P++ 
、 PI3. P?+、P22.P31.P32 : 
11 間h 素第 3 図 時間 第4図 ”   −−−−−−’−−−−−−−−−−−−−−
1:○ × x O× × O: IXXXXXXX’ ’OX  X0XXQ’ L慟−m−−1−−−−語−―雫−−1神−−11−一
輪一一畳−−」○ 実在画素 X 補間画素

Claims (1)

  1. 【特許請求の範囲】 映像信号が供給され、この映像信号の垂直方向の複数ラ
    インの画素と水平方向の複数サンプリング点の画素を用
    いて補間画素を作り、この補間画素により補間された映
    像信号の一部を拡大した拡大補間信号を出力する画素補
    間及び拡大手段と、この画素補間及び拡大手段からの拡
    大補間信号の1フィールドを複数の領域に分割し、各領
    域の代表点に対応する信号を記憶する代表点保存手段と
    、 この代表点保存手段からの各代表点信号と、前記画素補
    間及び拡大手段からの拡大補間信号が供給され、各代表
    点とこれに対応する拡大補間信号の各領域の信号間の相
    関演算を行ない各領域に於ける複数の動きベクトル情報
    を得る相関演算手段と、 この相関演算手段から得られた各領域の動きベクトル情
    報が供給され、共通の動き方向を示す最も多いベクトル
    情報を判定してこのベクトルによる方向を最終的な動き
    ベクトル情報として得る動きベクトル発生手段とを具備
    したことを特徴とする画像動き検出装置。
JP23097288A 1988-09-14 1988-09-14 画像動き検出装置 Expired - Lifetime JP2693516B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23097288A JP2693516B2 (ja) 1988-09-14 1988-09-14 画像動き検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23097288A JP2693516B2 (ja) 1988-09-14 1988-09-14 画像動き検出装置

Publications (2)

Publication Number Publication Date
JPH0279585A true JPH0279585A (ja) 1990-03-20
JP2693516B2 JP2693516B2 (ja) 1997-12-24

Family

ID=16916209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23097288A Expired - Lifetime JP2693516B2 (ja) 1988-09-14 1988-09-14 画像動き検出装置

Country Status (1)

Country Link
JP (1) JP2693516B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04159876A (ja) * 1990-10-23 1992-06-03 Matsushita Electric Ind Co Ltd 画像動き検出装置
JPH04372285A (ja) * 1991-06-21 1992-12-25 Samsung Electron Co Ltd イメージバッファーを利用した電子ズーミングシステム
JP2006170706A (ja) * 2004-12-14 2006-06-29 Nissan Motor Co Ltd エッジ位置算出装置、障害物検出システム
US7218675B1 (en) 1991-06-24 2007-05-15 Canon Kabushiki Kaisha Signal processing device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04159876A (ja) * 1990-10-23 1992-06-03 Matsushita Electric Ind Co Ltd 画像動き検出装置
JPH04372285A (ja) * 1991-06-21 1992-12-25 Samsung Electron Co Ltd イメージバッファーを利用した電子ズーミングシステム
US7218675B1 (en) 1991-06-24 2007-05-15 Canon Kabushiki Kaisha Signal processing device
JP2006170706A (ja) * 2004-12-14 2006-06-29 Nissan Motor Co Ltd エッジ位置算出装置、障害物検出システム

Also Published As

Publication number Publication date
JP2693516B2 (ja) 1997-12-24

Similar Documents

Publication Publication Date Title
JP2989364B2 (ja) 画像処理装置及び画像処理方法
US5689302A (en) Higher definition video signals from lower definition sources
JPH07118784B2 (ja) テレビジヨン信号の動き検出方法
JP3747523B2 (ja) 画像処理装置および処理方法
JP2004194317A (ja) インターレース解除装置および方法
EP0481421B1 (en) Moving vector extractor
EP0538042A2 (en) Apparatus for judging a hand movement of an image
JPH0279585A (ja) 画像動き検出装置
JPS61201581A (ja) 動きベクトル検出装置
JP3132055B2 (ja) 画像処理装置および画像処理方法
JP2693515B2 (ja) 画像動き検出装置
JP2647165B2 (ja) 画像動き検出装置及び画像動き補正装置
EP0673575B1 (en) Higher definition video signals from lower definition sources
US5870141A (en) Motion vector detection circuit and object tracking camera apparatus
JP2507178B2 (ja) 動き検出方法及び動き検出装置
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP2007028208A (ja) 画像処理装置および撮像装置
JP3366059B2 (ja) ビデオ信号処理装置
JP3395186B2 (ja) ビデオカメラおよびビデオカメラの画像の振動表示方法
KR20030027004A (ko) 전환 유닛 및 방법 및 화상 처리 장치
JP3152556B2 (ja) 2次元画像を3次元画像に変換する方法
JPH03216079A (ja) 画像動き補正装置
JPH02135880A (ja) 撮像装置
JPH08279949A (ja) 電子ズーム処理装置および電子ズーム処理方法
JP3271387B2 (ja) 動き量検出装置及び動き量検出方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070905

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080905

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080905

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090905

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090905

Year of fee payment: 12