JPS6083483A - 動画像信号の予測復号化装置 - Google Patents

動画像信号の予測復号化装置

Info

Publication number
JPS6083483A
JPS6083483A JP58191868A JP19186883A JPS6083483A JP S6083483 A JPS6083483 A JP S6083483A JP 58191868 A JP58191868 A JP 58191868A JP 19186883 A JP19186883 A JP 19186883A JP S6083483 A JPS6083483 A JP S6083483A
Authority
JP
Japan
Prior art keywords
circuit
motion
vector
dynamic
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP58191868A
Other languages
English (en)
Inventor
Akihiro Furukawa
古川 章浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Nippon Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, Nippon Electric Co Ltd filed Critical NEC Corp
Priority to JP58191868A priority Critical patent/JPS6083483A/ja
Priority to US06/634,126 priority patent/US4575756A/en
Priority to GB08419097A priority patent/GB2144301B/en
Priority to CA000459743A priority patent/CA1219062A/en
Publication of JPS6083483A publication Critical patent/JPS6083483A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は、テレビジョン信号など、動画像信号の動き補
償付予測復号化装置に関するものである。
フレーム間符号化争復号化装置においては、大きな動き
が発生した時に、フィールド、あるいはフレーム単位で
符号化を停止し、復号化に際しては、フィールド、ある
いはフレームの繰返しを行なうことがある。この場合に
は、ジャーキネスと呼ばれる不自然で滑らがでない動き
が再現されることが多く、これを克服する手法として符
号化の停止されたフィールド、あるいはフレームの前後
の画像情報を用いる線形内挿により補間すると、この不
自然さを軽減することができる。
しかし、さらに滑らかな画像を再現するためには、動物
体の動きに適応した動き内挿が適しておリ、動き情報を
伝送する動き補償符号化、復号化においては、この動き
内挿の適用が容易である。
従来、動画像信号から動物体の動きを検出するには、ブ
ロックマツチング法を用いることが多かった。ブロック
マツチング法とは、画面をある大きさのブロックに分割
し、この1次元、もしくは2次元のブロック単位の輝度
振幅のパターンが、最もよく一致するブロックをみつけ
る方法である。
つまり連続する画面において、一方の画面内のブロック
を基準として、他方の画面内で、着目する前記のブロッ
クと評価関数(たとえば2つのブロック間で同じ位置に
ある画素の輝度振巾値の差分の2乗和)を最小とするす
なわち輝度振幅パターンが最もよく一致するブロックを
検出し、この2つのブロックの位置の差をもって、連続
する画面の時間間隔における着目ブロックの動−sjト
ルとする方法である。さらに画面内の動領域に存在する
フロックに対して上記の方法でめられた一般に複数個の
動にクトル群(原動dクトル)の中から、最も発生頻度
の高い動ベクトルをもって、その動領域如対応する動物
体の動きとする方法がある。
しかしながら、従来のこれらの方法では、動物体の輪郭
部のように、1つのブロック内に動領域と静止領域が混
在するブロックに対しては、実際の動きと一致しない動
にクトルが検出される割合が高くなり、動領域内のブロ
ックに対してめられたこれら原動ベクトル群の中で、最
も発生頻度の高い動ベクトルが必ずしも実際の動きに対
応するとは限らなくなるため、動物体の動きの検出精度
が悪くなる欠点があった。この欠点は、動領域内にある
ブロックについてめられた原動にクトルを無差別的に全
て用いてることに原因がある。
本発明は実際の動きに対応しない動ベクトルを除外した
2残りの動にクトル群を用いることで、本発明は、複数
個の画素からなるフロック単位で第1の動ベクトルを検
出し、この第1の動ベクトルを用い、かつフレームある
いはフィールド単位で符号化を停止することができる予
測符号化によって符号化された動画像信号の復号化を行
なうにあたり、符号化された第1の動ベクトルとこれに
対応する予測誤差信号を用いて、第1の復号信号を得る
予測復号化手段と複数個の画素からなるブロック毎に前
記予測誤差信号を用いて、前記第1の動ベクトルの有意
性を評価し、この評価結果に従って前記第1の動ベクト
ル群から動画像信号に含まれる動物体の動きを表わす第
2の動ベクトルを発生する手段と、この第2の動ベクト
ルを用いて、符号化が停止されたフレームまたはフィー
ルドを前記第1の復号信号から内挿により合成して第2
の復号信号を得る手段とを持つ構成をなしている。
つぎに本発明の原理について説明する。
ブロックマツチング法でめられた動ベクトルが動物体の
実際の動きと一致しているかを選別する評価関数として
は、この動ベクトルに対応するブロック間の差分の絶対
値のブロック内総和、あるいは、差分の二乗和等を用い
ることができる1、もし、実際の動きと一致しない動ベ
クトルが検出されたとき、はとんどの場合は、前記評価
関数値は、一般に大きな値を持つ。逆に、検出された動
ベクトルが実際の動きと一致していれば、雑音の影響を
除けば、前記評価関数値はOとなる。従って、予め設定
したある閾値と、評価関数値との大小を比較することで
、そのブロックの動にクトルが、実際の動ぎと対応する
ものがどうが判別が可能となる。
このようにして、実際の動きと対応しない動ベクトルを
除外したのち、従来からの動領域、すなわち動物体の動
きを決定する方法を実行する。本発明釦おいては、いず
れの方法でもがまわないが、−例をあげれば、動領域内
に存在するフロックの動ベクトルの頻度分布を計算し発
生頻度の最も高い動2クトルをもクズ、その動物体の動
きとする方法が使用できる。あるいは、やはり動領域内
に存在するブロックの動2クトルの平均ベクトルをもっ
て、動物体の動きとすることができる。このようにして
められた動きは1フレームおきにフシーム間引きが行な
われている場合には2フレ一ム時間での動きを表わすの
で、間引かれたフレームの内挿釦はたとえばその1/2
が用いられる。
次に本発明のもたらす効果について図を用いて説明する
以下の説明では、単位時間当り約12iilii素の速
さで画面内を動物体か横切る場合を例に用いると一例を
表わしている。X軸、y軸がそれぞれ横方向、縦方向の
動きを表わし、1ますが、単位時間あたり1画素の動き
に相当する。またZ軸方向が画面を右から左へ横切る動
きなので、動にクトルはX軸の負の方向的12画素の近
傍に多く検出されているが、原点近傍にも、実際の動き
に対応しない動ベクトルが多く検出されている。従来用
いられてきた動ベクトルの検出法では、このように実際
の動きに対応しない動ベクトルが多数混在するために、
これらから動物体の動きを正確に検出することは、例に
とりあげたような単純な動きの場合でも必ずしも容易で
はない。これに対し、対応する1222間の差分値の絶
対値の総和(評価関数)に対して閾値比較を行なって実
際の動きにことにより原点近傍に存在した実際の動きに
対応しない動にクトルが選択的に除外される。そして1
フレーム毎にフレーム間引きが行なわれている場合には
、本例では単位時間当り6画素がこの間に示すヒストグ
ラムを用いるよりも、動物体の動きの検出は、明らかに
容易でかつ正確になる。従って、この単位時間内にある
符号化が停止されたフィールド、才たはフレームのP+
現忙、この精度の高い動き情報を用いて、動きに適応し
た内挿を行なうことにより滑らかな動きが再生され、ひ
いては良好な動画像が提供される。
次に、動き補償付予測符号化復号化装置の受信なわち符
号化装置側においては、複数個の画素からなるブロック
毎に動ベクトルが検出され、この動にクトルを表わす情
報と、この動ベクトルを用いて動き補償予測符号化を実
行したときの予測誤差信号の両者が少なくとも圧縮符号
化され、伝送されるものとする。伝送路1000を経て
供給される圧縮符号化された予測誤差信号と最適予測方
式を表わす情報(動2クトル情報)は、伸長回路10で
復号伸長され、予測誤差信号は、線1011を介して加
算回路11へと、線1016を介して、ブロック内加算
回路16へ送られ、最適予測方式を表わす情報は、線1
015を介して、動ベクトル復号回路15へ送られる。
70ツク内加算回路16は、予測誤差信号の絶対値ある
いは自乗和を17pツク分累積加算し、比較器17へ出
力する。
比較器17は、予め設定された閾値と、1フルツク分加
算された予測誤差信号を比較し、l 7’ aクク分の
予測誤差信号が閾値より大であるときは動ベクトル判定
情報として0を、小であるときは1を、線1718を介
してAND回路18へ供給する。
AND回路18は線1518を介して動ベクトル復号回
路15より最適予測方式として供給される動ベクトルを
線1718を介して供給される動ベクトル判定情報が1
であるときはそのまま、0であるときはゼロイクトルと
して、紳1821を介して、動”’り)ルメモリ21へ
供給する。動ベクトルメモリ21は約1フレーム分の動
ベクトルを記憶するもので、線2工22を介して頻度分
布計算回路22と、線2120を介して、動領域判定回
路2oへ出力する。頻度分布計算回路22は動ベクトル
の検出範囲内にあるRクトルの個数分のカウンタと、動
ベクトルのX成分、Y成分に従って計数に用いルヘきカ
ウンタを指定する部分からなり、1フレ一ム分の動ベク
トルについて、発生頻度の分布を計算し、比較器23へ
出力する。比較器23は、1フレ一ム分の動ベクトルに
対して、発生頻度を比較して最大となる動ベクトルをめ
てこれより間引かれたフレームにおける動物体の動きを
表わす内挿動2クトルを計算し線4000を介して内挿
回路へ出力する。間引きが1フレームおきになされてい
るので、この内挿動Rクトルは発生照度よりまる動イク
トルのたとえば1/2で与えられる。加算回路11は、
線1011を介して伸長回路10より供給される予測誤
差信号と、線1211を介して可変遅延回路12がら入
力される最適予測信号とを加算し、復号画像信号を作っ
て、線1113を介してフレームメモリ13へ線111
9を介して減算器工9へ出力するほか2000を介して
内挿回路へ出力する。フレームメモリ13は、復号画像
信号を、およそ1フレ一ム分記憶するもので、腺131
2を介して可変遅延回路12へ、線1314を介して遅
延回路14へ供給するほか、線2500を介して内挿回
路へ出力する。可変遅延回路12は、フレームメモリ1
3から出力された復号画像信号を、線1512を介して
供給される厳適予測方式に基づいて可変遅延し、線12
11を介して加算回路11へ出力する。動2クトル復号
回路15は、線1015を介して供給される最適予測方
式を表わす情報から最適予測方式を表わすフロック単位
の動にクトルを復号し、線1512を介して可変遅延回
路12へ出力するitか線1518を介して、AND回
路18へ出力する。遅延回路14は、フレームメモリ1
3から出力された復号画像信号を、線1119を介して
減算器19へ供給される復号画像信号に対して丁度1フ
レーム遅れとなるように遅延させ、線1419を介して
減算器19へ出力する。
減算器19は、線1119を介して供給される復号画像
信号と、#1419を介して供給される1フレーム前の
復号画像信号の差をとり、その結果を線1920を介し
て動領域判定回路20へ出力する8、動領域判定回路2
0は、動イクトルのノルム計算部と比較器からなり、線
2120を介して供給される動イクトルのノルムを計算
しその値が零でなくしかも線1920を介して供給され
るフレーム差分値が予め設定されたある閾値より大であ
るときは動領域情報として1を、そうでないときは、O
を線3000を介して内挿回路べ出力する。
第3図を用いて内挿回路の説明を行なう。
線4000を経て供給される間引かれたフレームにおけ
る動物体の動きを表わす内挿動Rクトルは、AND回路
30でゲートされ、線3000を介して供給される動領
域情報が1のときのみ線3031を介して可変遅延回路
31へ出力される。可変遅延回路31は、線2500を
経て供給される約1フレーム遅延した復号信号を線30
3′1を介して供給される動Rクトルに基プ゛いて可変
遅延させ、線3132を介して乗算器32へ出力する。
係数制御回路34は、線3034を介して供給される動
領域情報を得て動領域と静止領域に対して予め設定され
ている重みづけ係数を線a43z、113433を介し
て、乗算器32と33へ出力する。乗算器33は線20
00を介して供給される復号信号を、また乗算て供給さ
れる重み?゛け係数に従って重みづ゛けし、線3335
、線3235を介して加算回路35へ出力する。加算回
路35は、重みヴ′けされた復号信号を加算し、内挿信
号として5000へ出力する。
次に上述の動き補償予測符号化、復号化装置でフレーム
間引の間引きと動き内挿が行なわれた場第3図10の復
号伸長回路の出力に相当する。fc)は、第3図のフレ
ームメモリ13の出力であるが、フレーム間引きがなさ
れているので、2フレームずつ繰返されている。
動ぎ補償予測符号化方式では、最適予測方式として伝送
されてくる動Rクトル情報に従って、フレームメモリ出
力が第3区の可変遅延回路12で本発明においては、第
4舒碇の予測誤差信号に基づく評価関数の値によ2て、
■)の動Rクトルが選別され実際の動きに対応する残り
の動2クトルのヒストグラムの計算と動きの検出が、田
)の斜線部でなされる。この検出された動きから来談る
内挿動Rクトルに従りて、フレームメモリ出力(C)と
復号信号■)から内挿出力[F])が得られることにな
る。
以上詳細に説明した通り、本発明によれば、動物体に対
応する動領域内のブロックに対してめられたwh−″ク
トル群の中から、連続するフレーム内で対応するフロッ
ク間の差分値をもとに、実際の動きと大きく異なる動R
クトルを除外することにより、動物体の動きを表わす動
−゛クトルを、より正確にめることが可能となり、符号
化が停止されたフィールドまたはフレームの再生にあた
り、この動2クトルを用いて動きに適応した内挿ができ
るので、浩らかで自然な動ぎを再現することができる。
な動ぎの画像に対し、従来の7゛ロツクマツチング法で
められた勤λクトルの発生頻度分布の例を示す図、第1
図(b)は、第1図+a)と同じ動画像に対し、本発明
による方式でめられたuJ−″クトルの発生頻度分布を
示す図、第2図は本発明の一実施例を示すブロック図、
第3図は本発明に用いられる内挿回路の1例を示すフロ
ック図、第4図笹二〆は本発明によるフレーム間引き、
動き内挿動作のタイミングを示す図である。
図中10復号伸長回路、11.加算器、12.可変遅延
回路、13フレームメモリ、14.遅延回路、15、動
Rクトル復号回路、16.ブロック内加q、器、17、
比較器、1B、AND回路、19.減算器、20゜動領
域判定回路、21.動にクトルメモリ、22.頻度分布
用算回路、23.比較器、30.AND回路、31、可
変遅延回路、320乗算器、33乗算器、34係数制御
回路、35.加算器、 をそれぞれ示す。

Claims (1)

    【特許請求の範囲】
  1. 複数個の画素からなる7I:Iツク単位で画像内の動物
    体の動きを示す第1の動ベクトルを検出しこの第1の動
    にクトルを用い、かつフレームあるいはフィールド単位
    で符号化を停止することができる予測符号化によって符
    号化された動画像信号の復号化を行なうにあたり、符号
    化された第1の動ベクトルとこれに対応する予測誤差信
    号を用いて、第1の復号信号を得る予測復号化手段、複
    数個の画素からなるブロック毎に前記予測、誤差信号を
    用いて前記第1の動ベクトルの有意性を評価する手段、
    該評価手段での評価結果に従って、前記第1の動ベクト
    ル群から動画像信号にぎまれる動物体の動きを表わすP
    g2の動ベクトルを発生する手段、該第2の動ベクトル
    を用いて符号化が停止されたフレームまたはフィールド
    を、前記第1の復号信号から内挿により合成し、第2の
    復号信号を得る手段、を具備したことを特徴とする動画
    像信号の予測復号化装置。
JP58191868A 1983-07-26 1983-10-14 動画像信号の予測復号化装置 Pending JPS6083483A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP58191868A JPS6083483A (ja) 1983-10-14 1983-10-14 動画像信号の予測復号化装置
US06/634,126 US4575756A (en) 1983-07-26 1984-07-25 Decoder for a frame or field skipped TV signal with a representative movement vector used for individual vectors
GB08419097A GB2144301B (en) 1983-07-26 1984-07-26 Decoder for a frame or field skipped t.v. signal
CA000459743A CA1219062A (en) 1983-07-26 1984-07-26 Decoder for a frame or field skipped tv signal with a representative movement vector used for individual vectors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP58191868A JPS6083483A (ja) 1983-10-14 1983-10-14 動画像信号の予測復号化装置

Publications (1)

Publication Number Publication Date
JPS6083483A true JPS6083483A (ja) 1985-05-11

Family

ID=16281816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP58191868A Pending JPS6083483A (ja) 1983-07-26 1983-10-14 動画像信号の予測復号化装置

Country Status (1)

Country Link
JP (1) JPS6083483A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61269475A (ja) * 1985-05-23 1986-11-28 Toshiba Corp 動きベクトル検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61269475A (ja) * 1985-05-23 1986-11-28 Toshiba Corp 動きベクトル検出装置

Similar Documents

Publication Publication Date Title
US7362379B2 (en) Image processing apparatus and method, recording medium, and program
US6005639A (en) Vector assignment for video image motion compensation
KR950014862B1 (ko) 움직임추정방법 및 그 장치
KR100973429B1 (ko) 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체
JPH03253190A (ja) 動画像のハイブリッド符号化方法及びその装置
US8503531B2 (en) Image processing apparatus and method, recording medium, and program
EP1592248A1 (en) Motion vector estimation employing adaptive temporal prediction
JPS6152084A (ja) 高能率符号化装置
CA2279797A1 (en) A method for temporal interpolation of an image sequence using object-based image analysis
JPH0644815B2 (ja) 動物体の動き内挿装置
KR20040108053A (ko) 움직임 벡터 생성 장치 및 방법
CN1706189A (zh) 带有降质的图像处理单元
Kappagantula et al. Motion compensated predictive coding
JPH06153239A (ja) 画像の符号化方式
JPS6028392A (ja) 動画像信号の動き内插方式
JPS6083483A (ja) 動画像信号の予測復号化装置
JP4140091B2 (ja) 画像情報変換装置および画像情報変換方法
JPS61107886A (ja) 動きベクトルの平滑回路
JP2616552B2 (ja) 動画像の符号化・復号化装置
JPH0332185A (ja) 動画像符号化装置及び動画像復号化装置
JPH0614316A (ja) 動きベクトル検出装置
JPH04192787A (ja) 動き検出方法及び動き検出装置
JPH06189297A (ja) 動きベクトル検出方法
JPH11331851A (ja) 低ビットレート動画符号化装置
JP3271387B2 (ja) 動き量検出装置及び動き量検出方法