JPH0520036B2 - - Google Patents

Info

Publication number
JPH0520036B2
JPH0520036B2 JP4118685A JP4118685A JPH0520036B2 JP H0520036 B2 JPH0520036 B2 JP H0520036B2 JP 4118685 A JP4118685 A JP 4118685A JP 4118685 A JP4118685 A JP 4118685A JP H0520036 B2 JPH0520036 B2 JP H0520036B2
Authority
JP
Japan
Prior art keywords
motion vector
block
circuit
blocks
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP4118685A
Other languages
English (en)
Other versions
JPS61200789A (ja
Inventor
Masahide Kaneko
Yoshinori Hatori
Tsutomu Myasato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
Kokusai Denshin Denwa KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kokusai Denshin Denwa KK filed Critical Kokusai Denshin Denwa KK
Priority to JP60041186A priority Critical patent/JPS61200789A/ja
Priority to US06/833,311 priority patent/US4691230A/en
Priority to GB8605162A priority patent/GB2172171B/en
Publication of JPS61200789A publication Critical patent/JPS61200789A/ja
Publication of JPH0520036B2 publication Critical patent/JPH0520036B2/ja
Granted legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/231Analysis of motion using block-matching using full search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Description

【発明の詳細な説明】
(産業上の利用分野) 本発明は、テレビジヨン信号のような映像信号
に対し、その連続する画面の間に存在する相関を
利用して画面上の移動体の動き方向を検出する動
き方向検出方式に関するものである。 (従来技術) まず、従来から用いられていた動き方向検出方
式を説明する。尚以後の説明においてはTV信号
を標本化しデイジタル化した画像信号を対象に説
明を勧めてゆくこととする。従つて、画像信号は
“画素”と呼ばれる標本化された数値情報に変換
された点列の集まりで表現される。第1図は、動
き検出方式において使用される画像信号の各画素
の位置関係を示すものであり、F0は現在のフイ
ールド、F0は2フイールド前のフイールドであ
る。TV信号においては飛び越し走査(インタレ
ース走査)の関係で1フイールドずつ画面中の垂
直方向の異なる位置の走査を行ない、2フイール
ドたつと同一位置の走査を行なう。従つて、これ
ら2フイールド分の走査信号をまとめることによ
り、一枚の画面が出来上がるので、これを1フレ
ームと呼ぶが、動き検出方式ではこの1フレーム
前の画像信号を使用することが一般的である。第
1図は、この為に使用する現フイールドF0及び
2フイールド(1フレーム)前のフイールドF2
の画素の位置関係を示している。 今、現入力画素をw(0、0)、走査順からみて
一標本点前の左隣り隣接画素をw(−1、0)、1
走査線前の画素をw(0、−1)のように名づけ
る。更に、前々フイールドF2の画面中にあつて
現入力画素w(0、0)と同一位置にある画素を
x(0、0)、あとは同様に左隣りをx(−1、
0)、直上をx(0、−1)、又右隣りをx(1、
0)、直下をx(0、1)のように呼ぶこととす
る。尚、第1図の例においは標本点が格子状に並
んでおり、これは標本化周波数を水平走査周波数
の整数倍に選んだ場合に対応しているが、他の配
置例えば千鳥格子の配置も適用可能である。 はじめに画像信号を適当なm画素Xnライン分
まとめて1ブロツクとし、以後ではブロツク単位
での処理を行なう(m、nは1以上の整数)。こ
のときブロツクサイズ小さくし過ぎると、画像信
号に乗つているノイズの影響で動き方向の検出誤
りが生ずる。一方、あまりブロツクサイズを大き
くすると、画面中の細かい動きを検出出来なくな
る。この他に例えば動き検出をした結果を高能率
符号化における動き補償予測符号化に用いるよう
な場合には、ブロツク毎に動き量を送らねばなら
ないので、ブロツク数があまり増加すると、高能
率符号化効果が低下してしまうこととなる。従つ
て、これらの要素事項を勘案してブロツクサイズ
は定められるが、従来方式では8画素×8ライン
程度のブロツクサイズが良く用いられている。 現フイールド内の入力ブロツク#(0、0)′
に対し、2フイールド前の画面F2中において、
入力ブロツクに対応した位置にあるブロツク
#(0、0)を中心として、第2図に示す様に、
横方向に±kブロツク、縦方向に±lブロツクの
範囲で、(2k+1)×(2l+1)個のブロツク
#(−k、−l)〜#(k、l)を設定する。但
し、各ブロツクの配置に関しては、間隔、重なり
の度合等は自由に設定して差し支えない。 次に、現フイールド内の入力ブロツクとこれら
前画面中のブロツクとの類似度を求めるため、ブ
ロツク間差Bを計算する。ブロツク間差は、ブロ
ツク間の類似度に対する評価量として代表的なも
のであり、ブロツク間差が小さいほど類似度は高
く、逆に、ブロツク間差が大きいほど類似度は低
いと判定される。この時、ブロツク間差Bは計算
を実行する為の回路構成の複雑さ等との兼ね合い
で使用する計算アルゴリズムが選択されるが、例
えば、ブロツク間の画素値の差の自乗和 B(#(0、0)′、#(0、0))= 〓j=-n/2,n/2j=-n/2,n/2 |w(i、j)−x(i、j)|2 (1) ただし、B(#(0、0)′、#(0、0)): #(0、0)’ブロツクと#(0、0)ブロツ
クのブロツク間差、他のブロツクとのブロツク間
差は#(0、0)の代りに他のブロツク中の画素
値を入れたものとする。以後も同じ。 又は、例えば2ブロツク間の画素値の差の絶対
値の和 B(#(0、0)′、#(0、0))= 〓j=-n/2,n/2j=-n/2,n/2 {|w(i、j)−x(i、j)|} (2) 等が用いられることが一般的である。以後、式(2)
に示す絶対値和を用いてブロツク間差を計算する
ものとして説明を進める。 今、#(−k、#l)から#(k、l)迄の全
てのブロツクに対してブロツク間差B(#(0、
0)′、#(−k、−l))〜B(#(0、0)′、
#(k、l))を求める。次にこれらのブロツク
間差の間の大小関係を調べ、ブロツク間差Bが最
小となるブロツクを最大の類似度を有するブロツ
クとして選択する。尚、2個のブロツク間差が同
一となつた時には例えば若番の方のブロツクを選
択する等により一意的に定めることとする。 例えば、 B(#(0、0)′、#(2、0)) <B(#(0、0)′、#(i、j)) (3) (但し、i=−k、k;j=−l、l) のときには、l(2、0)ブロツクが#(0、
0)′ブロツクと類似度が最大となる最近似ブロ
ツクと考え1フレームの間に#(2、0)から
#(0、0)′へ、すなわち2画素分右側から物
体が移動してきたものと判断し、これを#(0、
0)′の位置での画面上の移動体の動き方向及び
速度と判断する。 (発明が解決しようとする問題点) 以上が従来から行なわれている画面上の物体の
動きベクトル検出方式である。この方式によれ
ば、前画面中から現入力ブロツクに類似した領域
を探してくるという意味で、対応領域の濃炎分布
がそれ以外の領域の濃炎分布と明確に異なつてお
り、なおかつ2画面の両方に該当領域が存在すれ
ば正しく動きベクトルを検出することができる。
しかしながら、実際の画像中においては、次の様
な理由から、但しく対応領域を求めることができ
ず、誤つた動きベクトルを検出してしまうことが
生ずる。 a 濃度値変化の少ない場所では、検出結果が入
力画像中の雑音による影響を受け易い。 b 濃度値変化の大きい場所でも、標本点の位置
と物体の動き量との関係で、対応すると考えら
れる部分相互の濃度分布の差が大きくなること
がある。 c 動物体と背景との境界部分では、対応領域が
存在しないことがある。 動きベクトルの誤検出は、特に動きベクトルを
用いた動き内挿時に、内挿画面の画質劣化に対す
る原因となる他、原画像中からの動きベクトル情
報に基づく動領域抽出における性能劣化等々、動
画像の符号化・処理において問題を生じる。 本発明は、上記従来技術の欠点を解決するため
に、周囲のブロツクにおける動きベクトル検出結
果を用いて、従来手法により求められた動きベク
トルに対する修正処理を行ない、実際の物体の動
きに対応した動きベクトルを得るための方式を提
供するものである。 (発明の原理) 第F0フイールドと、2フイールド前の第F2
イールドとの間で、第F0フイールド内のブロツ
クxに対して、その周囲にあるブロツクとして、
第3図に示す様に、第F0フイールド内のブロツ
ク1,2,3,4を用いる場合を考える。但し、
第F0フイールド内でもつとも広い範囲でブロツ
クを設定したり、或いは、第F2フイールド内で、
現ブロツクxと同じ位置にあるブロツク及びその
周囲のブロツクを用いることも考えられる。ま
た、入力画像から分離した背景情報を蓄えておく
ための背景メモリを用意し、背景メモリ内のブロ
ツクも用いることも考えることができる。 ここで、次の記号を導入する。 Vx:ブロツクxに対して、従来手法により求め
られた動きベクトル。 Vr:ブロツクxの近傍のブロツクrにおける動
きベクトル(修正処理を施してあるもの)。 Svx:Vxに対応するブロツク間差。 Svr:ブロツクxに対して、第F2フイールド内の
Vrだけ離れたブロツクとの間で計算したブロ
ツク間差。 Vp:最小のSvrを与える動きベクトルVrを表す
(pはr=1〜4のいずれかとなる)。 Svp:Vpに対応するブロツク間差。 この時、VxがVr(r=1〜4)のいずれかに等
しければブロツクxにおける動きベクトルはVx
とする。すなわち、周囲に同じ動きベクトルを有
するブロツクがあれば、検出された動きベクトル
は正しいと判断する。これにより、動物体の中
で、動きベクトルの誤検出があつた場合、全体と
しての動きに合うような形に修正を行なうことが
できる。 次に、VxがVr(r=1〜4)のいずれにも等し
くない場合について考える。まず、閾値Th1、
Th2(Th1<Th2とする)に対し、Svx<Th1、か
つSvp≧Th2である場合には、ブロツクxにおけ
る動きベクトルをVxとする。すなわち、Vxは、
左及び上側のブロツクにおける動きとは異なつて
いるが、Svxの値が小さいので正しく対応が検
出されている可能性が高く、またSvpの値は大
きいので、左及び上側のブロツクにおける動きと
は異なつている可能性が高い、という点から、検
出結果は正しいと判断する。一方、“Svx<Th1か
つSvp≧Th2”という条件が成り立たない場合に
は、Vxの値が誤つている可能性が高く、周囲の
ブロツクにおける動きと合わせるため、Vpをこ
のブロツクにおける動きベクトルとする。 以上、基本的には、周囲のブロツクにおける動
きベクトルとなるべく似た動きベクトルを得ると
いうことがポイントとなる。但し、新たに動物体
が現われてきた部分、すなわち、周囲のブロツク
における動きとは異なつた動きをする部分に対し
ても正しく検出を行なうために、ブロツク間差の
値の大小に基づく評価を行なう訳である。以上の
操作を表にまとめると第1表の様になる。
【表】 次に、上記方法の拡張について、幾つか述べて
おくことにする。まず、VxがVrと一致するか否
かの判断において、Vx=Vrという条件は比較的
厳しいものであり、この条件を少し緩めることが
考えられる。すなわち、Vx(Vx1、Vx2)に対し、
Vr=Vr1、Vr2)が例えば、±45/2の範囲で同じ
向きを向いており、Vr1=Vx1±1、Vr2=Vx2±
1であればVx=Vrと見なすことにする。 次に、周囲のブロツクとして、第F0フイール
ド内のブロツクr=1〜4だけでなく、第4図に
示す様に第F2フイールド内のブロツクe(または
a〜iの全て、a〜iの平均など)も考慮する方
法が考えられる。 (発明の構成及び作用) 以下に、本発明による画面上の物体の動きベク
トル検出方式の具体例について説明する。 第5図は本発明である周囲のブロツクにおける
動きベクトル情報を用いて動きベクトル検出結果
の修正を行なうという動きベクトル検出方式のブ
ロツク図である。図中、1は画像信号を少なくと
も1フレーム分以上蓄えておくための画像メモリ
部、2は従来方法に従つて入力ブロツクに対応す
る領域を2フイールド前の画面内から探し出すこ
とによつて動きベクトルを検出する動きベクトル
検出部、3は検出した動きベクトルを少なくとも
1フレーム分以上蓄えておくための動きベクトル
記憶部、更に4は本手法に基づいて2で求められ
た動きベクトルの値の修正を行なう動きベクトル
修正部である。 以下に各部の構成例を示す。 第6図は、第5図中の画像メモリ部の一構成例
を示す図である。図中10は画像メモリ、11は
メモリアドレス発生回路、12,13は加算回
路、14,15は乗算回路、16はブロツク内画
素アドレス発生回路、また100〜105は端子
である。端子100には、標本化された入力画素
信号がブロツク単位で入力される。端子101,
102には、現在入力されている入力画像内のブ
ロツクの水平・垂直方向の位置を示す番号i,j
が、端子103,104には、画像メモリ中から
画素データを読出すための画素アドレス信号が入
力される。端子105には、画像メモリから読出
された画素データが出力される。 ブロツク番号i,jは、加算回路12,13及
び乗算回路14,15を経て、x=(i+1/2)
×m、y=(j+1/2)×nで表現される画素ア
ドレスx,yに変換される。ここで、m,nはブ
ロツクの縦、横方向の大きさである。画素アドレ
スx,yは、ブロツク内画素アドレス発生回路1
6に入力され、ブロツク内の各画素位置を表現す
るアドレスが順次、メモリアドレス発生回路11
に送られる。 ブロツク内画素アドレス発生回路16の一構成
例を第7図に示す。161,162は減算回路、
163〜168は加算回路、170,171はゲ
ート回路、172,173はカウンタ、174は
タイミング制御回路、175,176は判定回
路、180,181及び184は入力端子、18
2,183は出力端子である。入力端子180,
181には、現入力ブロツクの中心画素のアドレ
スx0,y0が入力される。アドレスx0に対し、16
1,163の減加算回路を用いてx0−m/2、x0
+m/2という値を設定する。161の出力はカ
ウンタ172の出力と加算回路164で加算さ
れ、値がx0+m/2より大きくなるまで(加算回
路165、判定回路175を用いて判定される)、
ゲート170を経て、端子182に順次、画面水
平方向での画素アドレスxが送られる。カウンタ
172は、タイミング制御回路174に従つて、
1画素ごとにカウントアツプされる。なお、判定
回路175の出力が負の時(すなわち、165の
出力がx0+m/2を越えた時)には、カウンタ1
72はリセツトされる。アドレスy0に対しても、
アドレスx0に対してと同様に扱われるが、カウン
タ173におけるカウントアツプは、判定回路1
75の出力が負になるごとに(すなわち横方向に
1ライン分済むごとに)行なわれる。また、カウ
ンタ173は判定回路176の出力が負の時(す
なわち、168の出力がy0+n/2を越えた時)
にリセツトされる。以上の様にして、水平方向x0
−m/2〜x0+m/2、垂直方向y0−n/2〜y0
+n/2の範囲で順次画素アドレスx,yが端子
182,183へ送られ、画像メモリ部1よりブ
ロツク画素データが読出される。 第6図において、メモリアドレス発生回路11
は、入力された画素アドレス信号(2次元画像上
での画素の位置を示す)に基づいて、実際に画像
メモリ10の記憶場所を指定するアドレスを発生
する。画像メモリ10は、例えばRAM(ランダ
ム・アクセス・メモリ)で構成される書込み、読
出し可能なメモリである。なお、メモリアドレス
発生回路、画像メモリに対しては、既存のものを
利用することができ、詳細な構成についての説明
は省略する。 第8図は、第5図中の動きベクトル検出部の一
構成例を示す図である。図中21は、現入力ブロ
ツクの位置を示す番号i、jに応じて、画像メモ
リ部1から、ブロツク化された画素データを読出
すための画像データ読出し部、22,23,24
はブロツク間差を計算するための回路、25はブ
ロツク間差の最小値及び、それを与えるブロツク
位置番号に基づいて動きベクトルを算出する回路
である。画像データ読出し部21により、現入力
ブロツクの位置i、jを中心とした、P個のブロ
ツクの画素データを読出し、ブロツク間差計算回
路22〜24(実際には、P個おなじものが用意
される。第8図では、その一部のみを示してあ
る)を用いて、現入力ブロツクとのブロツク間差
を計算する。更に、現入力ブロツクと対応する−
最も似ている−ブロツクを求めるため、回路25
により、ブロツク間差の最小値及びこれに対応す
る動きベクトルを求める。次に、各部の構成と機
能を詳しく説明する。 第9図は、第8図中の画像データ読出し部21
の一構成例である。同図では、現入力ブロツクの
位置を示す番号i、jに対し(i−2、j−2)
〜(i+2、j+2)の範囲で画像メモリ1から
m×n画素のブロツクを計25個読出す場合を示し
てある。この場合には、隣接したブロツクは互い
に重なり合わないが、互いに重なり合うような形
で隣接ブロツクを設定することも容易であり、以
下の説明に準じた回路構成で実現できる。210
はブロツク番号に基づいて、ブロツク内画素アド
レスを発生する回路、211は、順にブロツクを
切り換えていくためのタイミング制御回路、21
2,213は切り換え用スイツチである。210
1〜2110は加算回路、2111,2112は
乗算回路である。現入力ブロツクの位置を示す番
号i、jに対し、2101〜2108の加算回路
により、(i−2、j−2)〜(i+2、j+2)
のブロツク番号の組を生成する。各々に対し、タ
イミング制御回路211でスイツチ212,21
3を切り換えながら、各ブロツクに対する画素デ
ータの読出しを行なう。スイツチ212から入力
されるブロツク番号に対しては、加算回路210
9,2110及び乗算回路2111,2112を
用いてブロツクの中心画素のアドレスへの変換を
行ない、そのアドレスをブロツク内画素アドレス
発生回路210へ送る。ブロツク内画素アドレス
発生回路210の具体的な構成と機能は既に説明
した回路16(第7図)に同様である。画像メモ
リ部1から読出された画素データは、スイツチ2
13を経て、準じ、ブロツク間差計算回路22〜
24へ送られる。 次に、第8図におけるブロツク間差計算回路2
2(23,24も同様である)の構成と機能を説
明する。221,222は加算回路、223は絶
対値回路、224は1画素分の遅延を与えるため
のメモリ、225は端子226,227に対して
のスイツチである。現入力ブロツクと、画像メモ
リ部1から読出したブロツクに対し、対応画素ご
とに、加算回路221で差をとり、更に、絶対値
回路223で絶対値を求める。この出力は、各画
素ごとにスイツチ225を端子226へ接続する
ことにより、加算回路222で順次加算される。
なお、入力ブロツクが切り替わつた時には、スイ
ツチ225を端子227へ接続し、メモリ224
の内容をリセツトする。 次に、第8図における回路25の構成と機能を
説明する。最小値検出は、番号(i−2、j−
2)〜(i+2、j+2)で表現される5×5個
のブロツクに対する現入力ブロツクとのブロツク
間差に対して、2個のブロツクのうち、ブロツク
間差の小さい方を求めるという操作を必要回繰り
返すことにより実現される。図中251が、この
ための大小比較を行なう比較判定回路であり、2
510は加算回路、2511は判定回路、251
2はスイツチ、2513,2514は端子の組で
ある。加算回路2510により、入力されたブロ
ツク間差の差を求め、その正負を判定回路251
1で判定し、正であれば、スイツチ2512を端
子2513に、負であれば、端子2514に接続
させる。この操作を比較判定回路252,253
等を経て順次繰返すことにより、最終的に、ブロ
ツク間差の最小値及びそれに対応するブロツク番
号iM,jMが求められる。回路25の残りの部分
が、動きベクトルを算出する部分である。252
0〜2523,250,2531は加算回路、2
525〜2528は乗算回路である。加算回路2
522,2523には、現入力ブロツクの位置を
示すブロツク番号が入力され、更に、乗算回路2
527,2528を経て、水平・垂直方向の画素
アドレスx0,y0に変換される。一方、最小のブロ
ツク間差を与えるブロツク番号iM、jMは、加算回
路2520,2521及び乗算回路2525,2
526を経て、水平・垂直方向の画素アドレス
xM、yMに変換される。x0,y0及びxM、yMに対し
ては加算回路2530,2531で差が計算され
る。これが求める動きベクトルの水平・垂直方向
の成分に相当し、各々端子2544,2545に
出力される。なお、端子2543にはブロツク間
差の最小値が出力される。 第10図中は、第5図中における動きベクトル
記憶部3の一構成例を示す図である。31は動き
ベクトル記憶用メモリ、32は31へ書込み・読
出し制御回路、33はタイミング制御回路、3
4,35はスイツチ、36は回路16と同じであ
り、画像メモリ部1より、m画素×nラインブロ
ツクの画素データを読出すためのブロツク内画素
アドレス発生回路、380〜386は加算回路、
387,388は乗算回路、310〜314は端
子、302,303は動きベクトルの積を出力す
る端子、301は画素データを出力する端子、4
81,482は修正処理を施された最終的な動き
ベクトルをメモリ31に入力するための端子であ
る。端子101,102から送られてくるブロツ
ク番号i,jに対し、310〜382の減・加算
回路により、i、jの周辺のブロツクを表現する
ブロツク番号の組(i−1、j−1)、(i、j−
1)、(i+1、j−1)、(i−1、j)を得、端
子310〜313に出力する。これらのブロツク
番号の各々に対して、タイミング制御回路33で
制御されるスイツチ34,35を用いて、動きベ
クトル記憶用メモリから、対応する動きベクトル
の値を読出す。読出された動きベクトルは端子3
14を経て、端子302,303へ出力される。
また、加算回路385,386へ送られる。加算
回路385,386では、現入力ブロツクの位置
を示す番号i、jに対し、加算回路383,38
4及び乗算回路387,388を経て得られるブ
ロツクの中心画素の水平・垂直方向の画素アドレ
スとの加算を行なう。この出力は、画面中で現入
力ブロツク位置から動きベクトル分だけ離れた位
置にあるブロツクの位置を示しており、ブロツク
内の画素アドレス発生回路36に送られる。回路
36の具体的な構成と機能は、既に説明した回路
16(第7図)に同様である。 第11図は、第5図中、動きベクトル修正部4
の一構成例を示す図である。図中41,42(他
にも同様のものが用意されるが、省略してある)
は、現入力ブロツクと動きベクトル記憶部3を用
いて選定された前フレーム画面中のブロツクとブ
ロツク間差を計算する回路であり、具体的な構
成、機能は第8図中の回路22と同様である。4
3はブロツク間差の最小値、及びそれを与える動
きベクトルを出力する回路であり、構成、機能は
第8図中の回路25に準じている。44は動きベ
クトルの一致検出回路、45は動きベクトル修正
回路である。回路44の中で、441〜444は
減算回路、445〜448は判定回路、470,
471はAND回路、449はOR回路である。ま
た、回路45の中で、450は判定回路、45
1,452はOR回路、453,454はAND回
路、455〜458はゲート、459,460は
減算回路、461,462は判定回路である。ま
た、46はタイミング制御回路、47〜49はス
イツチ、481,482は出力端子である。 端子301〜303等を経て入力される隣接ブ
ロツクのブロツク番号及び画素データに対し、タ
イミング制御回路46によりスイツチ47〜49
を同期させて切換えいく。最小値検出回路43で
は、先の説明におけるViに対応して求められたブ
ロツク間差の最小値Svp及びこれに対応する動き
ベクトルVpが得られる。一方、一致検出回路4
4では、スイツチ49を経て入力されてくる隣接
ブロツクの動きベクトルViに対し、動きベクトル
検出部2で求められた動きベクトルVxと等しい
ものがあるか否かが調べられる。すなわち、例え
ば、減算回路441,442で動きベクトルVi
Vxの水平・垂直方向の部分の差を求め、判定回
路445,446で零か否かを調べる。更に、
AND回路470で水平・垂直方向の成分いずれ
においても一致しているかどうかを調べる。この
様な操作を各動きベクトルViに対して行ない、
AND回路470,471等の出力をOR回路44
9へ入力することにより、Vxと一致する動きベ
クトルが1つでもあれば判定出力1(YES)を
動きベクトル修正回路45へ出力する。 動きベクトル修正回路45は、第1表に示した
修正処理を実現するための回路である。まず、一
致検出回路44の出力がYES1であるか否かを
判定回路450で判定し、YESであれば、ゲー
ト455,456を経てVxが端子481,48
2に出力される。一方、44の出力がNOである
場合には、Svxに対して、減算回路459でTh1
との差を求め、判定回路461で正負を判定す
る。また、Svpに対して減算回路460でTh2と
の差を求め、判定回路462で正負を判定する。
“Svx<Th1でかつSvp≧Th2”の時には、AND回
路453の出力が得られ、OR回路451を経
て、ゲート455,456が開かれ、Vxが端子
481,482に出力される。一方、“Svx<Th1
かつSvp≧Th2”以外の場合には、OR回路452
の出力が得られ、AND回路454を経て、ゲー
ト457,458が開かれ、Vpが端子481,
482に出力される。 (発明の効果) 以上の様に、現入力ブロツクに対し、近傍のブ
ロツクにおける動きベクトル情報を利用して所定
の条件に従つて、従来の動きベクトル検出手法に
よつて求められた動きベクトルの値の修正を行な
うことにより、動きベクトルの誤検出の発生を軽
減することができる。この結果、物体の動きを表
現するフレーム間での動きベクトル分布が正しく
検出される様になり、動きベクトルを用いた動画
像処理、符号化方式全般における性能向上が期待
できる。特に、画像符号化手法に関連して、時間
軸方向での動きベクトルを用いた内挿方式におけ
る内挿画面の画質向上、物体の大局的動きパター
ンの適格な抽出などにおいて顕著な改善効果が期
待できる。
【図面の簡単な説明】
第1図は本発明に係わる画面上の物体の動きベ
クトル検出方式が対象とする画面上の画素の位置
関係を示す略図、第2図は現フイールド内のブロ
ツクと2フイールド前の画面内のブロツクとの位
置関係を説明するための図、第3図は現フイール
ド内にあつて、入力ブロツクに隣接するブロツク
の位置を示すための図、第4図は現フイールド内
及び2フイールド前の画面内にあつて、現フイー
ルド内の入力ブロツクに隣接するブロツクの位置
を示すための図、第5図は本発明の実施例を示す
ブロツク図、第6図は第5図の実施例に用いられ
る画像メモリ部の構成例を示すブロツク図、第7
図は第6図の構成例内のブロツク内画素アドレス
発生回路の具体的な構成例を示すブロツク図、第
8図は第5図の実施例に用いられる動きベクトル
検出部の構成例を示すブロツク図、第9図は第8
図の構成例内の画像データ読出し部の具体的構成
例を示すブロツク図、第10図は、第5図の構成
例に用いられる動きベクトル記憶部の構成例を示
すブロツク図、第11図は第5図の構成例に用い
られる動きベクトル修正部の構成例を示すブロツ
ク図である。

Claims (1)

  1. 【特許請求の範囲】 1 画像信号を少なくとも1フレーム分蓄積可能
    な画像メモリ部と、入力画像中から順次得られる
    m画素×nライン(m、nは1以上の整数)の入
    力ブロツクと最も類似したm画素×nラインのブ
    ロツクを、前記画像メモリ部より読出した1フレ
    ーム前の画面中から探し出す動きベクトル検出部
    と、検出した動きベクトルを1フレーム分蓄積可
    能な動きベクトル記憶部、及び、該動きベクトル
    記憶部より得られる前記入力ブロツク周辺のブロ
    ツクにおける動きベクトルを用いて、前記動きベ
    クトル検出部において求められた動きベクトルに
    対し修正を行なう動きベクトル修正部を備え、 該動きベクトル修正部は、前記動きベクトル検
    出部において求められた動きベクトルU及び該動
    きベクトルUに対応して前記画像メモリ部から読
    出したブロツクと現入力ブロツクとの間の類似度
    Sに対して、前記現入力ブロツク周辺の複数のブ
    ロツクで既に求められた動きベクトル群V(V1
    V2、…)及び該動きベクトル群V(V1、V2、…)
    に基づいて前記画像メモリ部から読出したブロツ
    クと前記現入力ブロツクとの類似度T1、T2、…
    を用いて、動きベクトルUが動きベクトル群V中
    の動きベクトルVi(i=1、2、…)のいずれに
    も等しくなく、類似度Sが第1の閾値以下である
    か、或いは類似度T1、T2、…の最大値が第2の
    閾値以上であれば、動きベクトル群Vの中で該最
    大値を与える動きベクトルVp(VpはV1、V2、…
    のいずれか)を求める動きベクトルとし、それ以
    外においてはUを求める動きベクトルとすること
    を特徴とする画面上の物体の動きベクトル検出方
    式。
JP60041186A 1985-03-04 1985-03-04 画面上の物体の動きベクトル検出方式 Granted JPS61200789A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP60041186A JPS61200789A (ja) 1985-03-04 1985-03-04 画面上の物体の動きベクトル検出方式
US06/833,311 US4691230A (en) 1985-03-04 1986-02-25 Motion vector detection system of a moving object on a screen
GB8605162A GB2172171B (en) 1985-03-04 1986-03-03 Motion vector detection system for detecting a moving object on a screen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP60041186A JPS61200789A (ja) 1985-03-04 1985-03-04 画面上の物体の動きベクトル検出方式

Publications (2)

Publication Number Publication Date
JPS61200789A JPS61200789A (ja) 1986-09-05
JPH0520036B2 true JPH0520036B2 (ja) 1993-03-18

Family

ID=12601386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP60041186A Granted JPS61200789A (ja) 1985-03-04 1985-03-04 画面上の物体の動きベクトル検出方式

Country Status (3)

Country Link
US (1) US4691230A (ja)
JP (1) JPS61200789A (ja)
GB (1) GB2172171B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006186504A (ja) * 2004-12-27 2006-07-13 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2590701B1 (fr) * 1985-11-22 1988-01-15 Labo Electronique Physique Procede et dispositif d'estimation de mouvement dans une sequence d'images
DE3682068D1 (de) * 1986-03-19 1991-11-21 British Broadcasting Corp Fernsehbild-bewegungsmessung.
US4949391A (en) * 1986-09-26 1990-08-14 Everex Ti Corporation Adaptive image acquisition system
FR2613892A1 (fr) * 1987-04-10 1988-10-14 Labo Electronique Physique Procede et dispositif d'estimation de mouvement dans une sequence d'images
US4882629A (en) * 1987-05-08 1989-11-21 Everex Ti Corporation Adaptive exposure control system
ATE74219T1 (de) * 1987-06-02 1992-04-15 Siemens Ag Verfahren zur ermittlung von bewegungsvektorfeldern aus digitalen bildsequenzen.
EP0294960B1 (en) * 1987-06-09 1994-09-28 Sony Corporation Motion vector processing in television images
DE3850709T2 (de) * 1987-06-09 1994-11-24 Sony Corp Reduzierung der Bewegungsvektoren in Fernsehbildern.
GB8713454D0 (en) * 1987-06-09 1987-07-15 Sony Corp Television standards converters
EP0294957B1 (en) * 1987-06-09 1995-04-12 Sony Corporation Motion vector processing in digital television images
GB8713455D0 (en) * 1987-06-09 1987-07-15 Sony Corp Television standards converters
GB2214751B (en) * 1988-02-01 1992-06-17 Plessey Co Plc Video signal coding
US5012270A (en) * 1988-03-10 1991-04-30 Canon Kabushiki Kaisha Image shake detecting device
US4897720A (en) * 1988-03-14 1990-01-30 Bell Communications Research, Inc. Circuit implementation of block matching algorithm
FR2630842B1 (fr) * 1988-04-29 1994-04-08 Labo Electronique Physique Appli Dispositif pour interpoler des images par estimation et compensation de mouvement et systeme convertisseur de standards de television constitue a partir d'un tel dispositif
JPH0251983A (ja) * 1988-08-12 1990-02-21 Sharp Corp 静止画像記録装置
SE503447C2 (sv) * 1988-09-09 1996-06-17 Telia Ab Förfarande för att bilda ett fält av rörelsevektorer för transmittering av information om rörliga bilder
JPH0771296B2 (ja) * 1989-03-20 1995-07-31 松下電器産業株式会社 動きベクトル検出装置
JP2863188B2 (ja) * 1989-03-22 1999-03-03 松下電器産業株式会社 撮像装置
FR2644914B1 (fr) * 1989-03-24 1991-05-31 Labo Electronique Physique Dispositif d'estimation de mouvement dans des images de television
FR2645383B1 (fr) * 1989-03-31 1997-06-27 Thomson Consumer Electronics Procede et dispositif d'interpolation temporelle d'images, a compensation de mouvement corrigee
GB2231226B (en) * 1989-04-27 1993-09-22 Sony Corp Motion dependent video signal processing
NL8901505A (nl) * 1989-06-14 1991-01-02 Philips Nv Televisiesignaalcodering.
DE3924541A1 (de) * 1989-07-25 1991-01-31 Bosch Gmbh Robert Schaltungsanordnung zur schaetzung von bewegung in einem aufgenommenen bild
JPH0385884A (ja) * 1989-08-29 1991-04-11 Sony Corp 画像の動き検出回路
FR2652212A1 (en) * 1989-09-15 1991-03-22 Philips Electronique Lab Device for coding information intended to be transmitted and/or stored after data rate reduction
FR2652214A1 (en) * 1989-09-15 1991-03-22 Philips Electronique Lab Device for coding information intended to be transmitted and/or stored after data rate reduction
GB2239575B (en) * 1989-10-17 1994-07-27 Mitsubishi Electric Corp Motion vector detecting apparatus and image blur correcting apparatus, and video camera including such apparatus
US5247353A (en) * 1989-11-08 1993-09-21 Samsung Co., Ltd. Motion detection system for high definition television receiver
US5237405A (en) * 1990-05-21 1993-08-17 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting device and swing correcting device
EP0466981B1 (en) * 1990-07-20 1997-02-26 Koninklijke Philips Electronics N.V. Motion vector processing device
US5081532A (en) * 1990-08-30 1992-01-14 Zenith Electronics Corporation Adaptive progressive scan converter
EP0497586A3 (en) * 1991-01-31 1994-05-18 Sony Corp Motion detection circuit
DE4104067C2 (de) * 1991-02-11 1994-08-25 Telefonbau & Normalzeit Gmbh Verfahren zur Verbesserung der Qualität von Bewegungsvektoren für digitale Bildübertragung
SE469866B (sv) * 1991-04-12 1993-09-27 Dv Sweden Ab Metod för estimering av rörelseinnehåll i videosignaler
JP3227173B2 (ja) * 1991-06-24 2001-11-12 キヤノン株式会社 撮像装置及びその方法
EP0520765B1 (en) * 1991-06-25 1999-05-12 Canon Kabushiki Kaisha Movement vector detecting method/apparatus and encoding method/apparatus using such method/apparatus
JP3116967B2 (ja) * 1991-07-16 2000-12-11 ソニー株式会社 画像処理装置および画像処理方法
USRE39279E1 (en) * 1991-11-08 2006-09-12 Matsushita Electric Industrial Co., Ltd. Method for determining motion compensation
USRE39276E1 (en) * 1991-11-08 2006-09-12 Matsushita Electric Industrial Co., Ltd. Method for determining motion compensation
US5369449A (en) * 1991-11-08 1994-11-29 Matsushita Electric Industrial Co., Ltd. Method for predicting move compensation
KR0152013B1 (ko) * 1992-05-08 1998-10-15 강진구 가변장부호화를 고려한 움직임추정장치
GB9214218D0 (en) * 1992-07-03 1992-08-12 Snell & Wilcox Ltd Motion compensated video processing
KR0129557B1 (ko) * 1992-10-07 1998-04-10 배순훈 움직임 보상을 이용한 동영상 신호처리기의 메모리 장치
EP0609980B1 (en) * 1993-01-11 1999-07-14 Canon Kabushiki Kaisha Motion detection method and apparatus
JPH0730896A (ja) * 1993-06-25 1995-01-31 Matsushita Electric Ind Co Ltd 動きベクトル符号化及び復号化方法
US5929913A (en) * 1993-10-28 1999-07-27 Matsushita Electrical Industrial Co., Ltd Motion vector detector and video coder
JP3385077B2 (ja) * 1993-10-28 2003-03-10 松下電器産業株式会社 動きベクトル検出装置
US5802211A (en) * 1994-12-30 1998-09-01 Harris Corporation Method and apparatus for transmitting and utilizing analog encoded information
US5691775A (en) * 1995-03-30 1997-11-25 Intel Corporation Reduction of motion estimation artifacts
KR0183155B1 (ko) * 1995-06-19 1999-05-01 김광호 동영상 압축부호화시 움직임 보상을 위한 시작 및 끝주소 발생회로
US5687097A (en) * 1995-07-13 1997-11-11 Zapex Technologies, Inc. Method and apparatus for efficiently determining a frame motion vector in a video encoder
US5926221A (en) * 1995-08-18 1999-07-20 Texas Instruments Incorporated Method and apparatus for improved video coding using a center-biased orthogonal search technique and a zero block predictor module
DE19541457C1 (de) * 1995-11-07 1997-07-03 Siemens Ag Verfahren zur Codierung eines Videodatenstroms einer aus Bildblöcken bestehenden Videosequenz
JP3688377B2 (ja) * 1996-01-31 2005-08-24 富士通株式会社 画像特徴追跡装置及び画像特徴追跡方法
US6205253B1 (en) 1996-08-19 2001-03-20 Harris Corporation Method and apparatus for transmitting and utilizing analog encoded information
DE69834788T2 (de) * 1997-03-19 2007-05-16 Sony Corp. Verfahren und vorrichtung zur bildkodierung
KR100345423B1 (ko) * 1997-03-31 2002-07-26 마츠시타 덴끼 산교 가부시키가이샤 동화상 표시 방법 및 그 장치
US6512537B1 (en) * 1998-06-03 2003-01-28 Matsushita Electric Industrial Co., Ltd. Motion detecting apparatus, motion detecting method, and storage medium storing motion detecting program for avoiding incorrect detection
JP2001197501A (ja) 2000-01-07 2001-07-19 Fujitsu Ltd 動きベクトル探索器及び動きベクトル探索方法並びに動画像符号化装置
KR100708091B1 (ko) * 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
KR100579542B1 (ko) * 2003-07-29 2006-05-15 삼성전자주식회사 블럭 간의 상관성을 고려한 움직임 추정 장치 및 방법
JP4488805B2 (ja) * 2004-06-25 2010-06-23 パナソニック株式会社 動きベクトル検出装置および方法
JP4557752B2 (ja) * 2005-03-07 2010-10-06 株式会社東芝 動画像処理装置、動画像処理方法、及び動画像処理プログラム
JP4802885B2 (ja) * 2006-06-19 2011-10-26 ソニー株式会社 動きベクトル検出装置および方法、プログラム並びに記録媒体
JP2010288098A (ja) * 2009-06-12 2010-12-24 Sony Corp 画像フレーム補間装置、画像フレーム補間方法及び画像フレーム補間プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5885684A (ja) * 1981-11-18 1983-05-23 Nec Corp テレビジヨン信号の予測符号化装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2050752B (en) * 1979-06-07 1984-05-31 Japan Broadcasting Corp Motion compensated interframe coding system
CA1175557A (en) * 1981-06-01 1984-10-02 Akira Hirano Predictive coding system for television signals
JPS58197984A (ja) * 1982-05-14 1983-11-17 Nec Corp テレビジヨン信号の適応予測符号化装置
CA1203910A (en) * 1983-04-05 1986-04-29 Akira Hirano Method and apparatus for adaptive predictive encoding/decoding of multi-level picture signals
EP0123616B1 (en) * 1983-04-20 1987-03-04 Nippon Telegraph And Telephone Corporation Interframe coding method and apparatus therefor
US4575756A (en) * 1983-07-26 1986-03-11 Nec Corporation Decoder for a frame or field skipped TV signal with a representative movement vector used for individual vectors

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5885684A (ja) * 1981-11-18 1983-05-23 Nec Corp テレビジヨン信号の予測符号化装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006186504A (ja) * 2004-12-27 2006-07-13 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
US4691230A (en) 1987-09-01
GB2172171B (en) 1989-02-15
GB2172171A (en) 1986-09-10
GB8605162D0 (en) 1986-04-09
JPS61200789A (ja) 1986-09-05

Similar Documents

Publication Publication Date Title
JPH0520036B2 (ja)
EP1796044B1 (en) Image processing apparatus and method, recording medium, and program
KR20050089886A (ko) 배경 움직임 벡터 검출
JP4161477B2 (ja) 動き検出方法および動き検出装置
JPH04345382A (ja) シーンチェンジ検出装置
JPH07203457A (ja) 動きベクトル検出装置
JPH0220988A (ja) 動画像符号化装置における動ベクトル検出方式
JPH09182077A (ja) 画像符号化方法および画像符号化装置
JPH0478286A (ja) 初期偏位ベクトルを用いた動きベクトルの検出方法
JP4250598B2 (ja) 動き補償型ip変換処理装置及び動き補償型ip変換処理方法
JP2001025021A (ja) 動き検出方法および動き検出装置
JPH11215502A (ja) 動きベクトル検出装置及び方法
JPH02131690A (ja) 動き補償回路
JPS6225587A (ja) 動きベクトル検出回路
JPS62230179A (ja) 動き補正方法
JPS61201587A (ja) 動きベクトル検出装置
JPH0795587A (ja) 動きベクトル検出方法
JPH09238346A (ja) 動きベクトル探索方法および装置
JP3046313B2 (ja) フレーム間符号化装置における動き補償方式
JP3365127B2 (ja) 動き検出装置
JPH0710104B2 (ja) 動きベクトル検出装置
JP2752266B2 (ja) 動きベクトル検出装置
JP3001753B2 (ja) 動ベクトル検出方法
JPH0223789A (ja) パンニング検出方法及びその装置
JPH02189087A (ja) 動き補償演算方法