JPH07298271A - 動画像符号化における動きベクトル検出方法及び装置 - Google Patents
動画像符号化における動きベクトル検出方法及び装置Info
- Publication number
- JPH07298271A JPH07298271A JP11194494A JP11194494A JPH07298271A JP H07298271 A JPH07298271 A JP H07298271A JP 11194494 A JP11194494 A JP 11194494A JP 11194494 A JP11194494 A JP 11194494A JP H07298271 A JPH07298271 A JP H07298271A
- Authority
- JP
- Japan
- Prior art keywords
- contour
- motion vector
- image
- block
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】 （修正有）
【目的】 少ない演算量で連続性のある動きベクトルを
検出する。 【構成】 フレーム間の相関を利用した動画像の予測符
号化に用いる動きベクトル検出において、複数の画素で
構成する符号化ブロックの各々に一つの輪郭情報を対応
させ、符号化ブロックの複数個を纏めたサブブロックの
単位でフレーム間の画像における類似度を求め、動きベ
クトルの検出を行なう。現フレーム及び前フレームの画
像から抽出した輪郭を対比し動きベクトルを検出する。
該対比のため、輪郭抽出12し、符号化ブロックに所定数
以上の輪郭画素を含むかどうかにより、符号化ブロック
に１か０かの輪郭判定13を行い、現フレームの注目する
サブブロックに含む複数の符号化ブロックの輪郭情報の
ビット列と、前フレームの探索範囲の符号化ブロックの
輪郭情報を表わすビット列とのマッチング14を取り、こ
のマッチングで類似度の高いビット列を検出し、その位
置関係から動きベクトルを検出する。
検出する。 【構成】 フレーム間の相関を利用した動画像の予測符
号化に用いる動きベクトル検出において、複数の画素で
構成する符号化ブロックの各々に一つの輪郭情報を対応
させ、符号化ブロックの複数個を纏めたサブブロックの
単位でフレーム間の画像における類似度を求め、動きベ
クトルの検出を行なう。現フレーム及び前フレームの画
像から抽出した輪郭を対比し動きベクトルを検出する。
該対比のため、輪郭抽出12し、符号化ブロックに所定数
以上の輪郭画素を含むかどうかにより、符号化ブロック
に１か０かの輪郭判定13を行い、現フレームの注目する
サブブロックに含む複数の符号化ブロックの輪郭情報の
ビット列と、前フレームの探索範囲の符号化ブロックの
輪郭情報を表わすビット列とのマッチング14を取り、こ
のマッチングで類似度の高いビット列を検出し、その位
置関係から動きベクトルを検出する。
Description
【０００１】
【産業上の利用分野】本発明は、テレビ電話やテレビ会
議における画像信号の符号化において、動きベクトルを
検出する方法とその装置とに関し、特に、少ない量の演
算によって動きベクトルを検出できるように構成したも
のである。
議における画像信号の符号化において、動きベクトルを
検出する方法とその装置とに関し、特に、少ない量の演
算によって動きベクトルを検出できるように構成したも
のである。
【０００２】
【従来の技術】近年、デジタル信号処理技術が発達し、
動画像を圧縮符号化して伝送することが可能になり、テ
レビ会議やテレビ電話等が実用化されるに至っている。
動画像を圧縮符号化して伝送することが可能になり、テ
レビ会議やテレビ電話等が実用化されるに至っている。
【０００３】動画像の符号化では、符号化効率を高める
ため、伝送済みの画素情報を用いて次に符号化する画素
の画素値を予測し、実際の画素値の代わりに、この予測
値との差分（誤差）を符号化する予測符号化が行なわれ
ている。その一つである動き補償フレーム間予測符号化
方式では、連続するフレーム間で被写体の移動量（動き
ベクトル）を検出し、その移動量だけ画面位置を平行移
動したときの前フレームの対応画素を予測に用いて、入
力画像と前フレームの画像との差分を計算している。こ
の方式では、予測精度が大幅に向上し、その結果、高い
符号圧縮率を得ることができる。
ため、伝送済みの画素情報を用いて次に符号化する画素
の画素値を予測し、実際の画素値の代わりに、この予測
値との差分（誤差）を符号化する予測符号化が行なわれ
ている。その一つである動き補償フレーム間予測符号化
方式では、連続するフレーム間で被写体の移動量（動き
ベクトル）を検出し、その移動量だけ画面位置を平行移
動したときの前フレームの対応画素を予測に用いて、入
力画像と前フレームの画像との差分を計算している。こ
の方式では、予測精度が大幅に向上し、その結果、高い
符号圧縮率を得ることができる。
【０００４】また、ここで得られた差分値は、離散コサ
イン変換（ＤＣＴ）等により周波数領域に変換され、各
周波数ごとのパワーを表わす係数に対してハフマン符号
化等の統計的な冗長度を削減する可変長符号化が行なわ
れ、一層の符号圧縮が図られる。
イン変換（ＤＣＴ）等により周波数領域に変換され、各
周波数ごとのパワーを表わす係数に対してハフマン符号
化等の統計的な冗長度を削減する可変長符号化が行なわ
れ、一層の符号圧縮が図られる。
【０００５】こうした方式を実施する従来の動き補償フ
レーム間予測符号化装置は、図７に示すように、入力画
像とその予測画像との差分（予測誤差）を出力する減算
器１と、予測誤差に離散コサイン変換を施して各周波数
のパワー（電力スペクトル）を表わす係数に変換する離
散コサイン変換器（ＤＣＴ）２と、この係数を量子化す
る量子化器（Ｑ）３と、量子化された係数に逆量子化を
施して係数を再生する逆量子化器（ＩＱ）４と、係数に
逆離散コサイン変換を施して予測誤差を再生する逆離散
コサイン変換器（ＩＤＣＴ）５と、逆離散コサイン変換
器５から入力した予測誤差と減算器１で使われた予測画
像とを加算して画像を再生する加算器６と、再生画像を
蓄えると共に、これを読出して予測画像として出力する
フレームメモリ７と、フレームメモリ７から出力された
予測画像にフィルタを掛けるフィルタ９と、入力画像と
フレームメモリ７に蓄えられた前フレームの画像とを比
較して動きベクトルを検出する動きベクトル検出器（Ｍ
Ｃ）８と、量子化された係数を可変長符号化する可変長
符号化器（ＶＬＣ）10と、回線に出力するデータを一時
蓄えるバッファ11とを備えている。
レーム間予測符号化装置は、図７に示すように、入力画
像とその予測画像との差分（予測誤差）を出力する減算
器１と、予測誤差に離散コサイン変換を施して各周波数
のパワー（電力スペクトル）を表わす係数に変換する離
散コサイン変換器（ＤＣＴ）２と、この係数を量子化す
る量子化器（Ｑ）３と、量子化された係数に逆量子化を
施して係数を再生する逆量子化器（ＩＱ）４と、係数に
逆離散コサイン変換を施して予測誤差を再生する逆離散
コサイン変換器（ＩＤＣＴ）５と、逆離散コサイン変換
器５から入力した予測誤差と減算器１で使われた予測画
像とを加算して画像を再生する加算器６と、再生画像を
蓄えると共に、これを読出して予測画像として出力する
フレームメモリ７と、フレームメモリ７から出力された
予測画像にフィルタを掛けるフィルタ９と、入力画像と
フレームメモリ７に蓄えられた前フレームの画像とを比
較して動きベクトルを検出する動きベクトル検出器（Ｍ
Ｃ）８と、量子化された係数を可変長符号化する可変長
符号化器（ＶＬＣ）10と、回線に出力するデータを一時
蓄えるバッファ11とを備えている。
【０００６】この装置では、先ず、入力画像が動きベク
トル検出器８に入力し、動きベクトル検出器８は、入力
画像とフレームメモリ７から読出した前フレームの画像
とを比較して動きベクトルを算出する。この動きベクト
ルはフレームメモリ７に送られ、フレームメモリ７は、
動きベクトルに基づいて、入力画像の予測画像となる前
フレームの画像を読出して減算器１に出力する（なお、
動きベクトル検出器８は、入力画像をフレーム間で符号
化するかフレーム内で符号化するかを選択することがあ
るが、ここでは詳述しない）。この予測画像は、フィル
タ９を通って減算器１に入力する。
トル検出器８に入力し、動きベクトル検出器８は、入力
画像とフレームメモリ７から読出した前フレームの画像
とを比較して動きベクトルを算出する。この動きベクト
ルはフレームメモリ７に送られ、フレームメモリ７は、
動きベクトルに基づいて、入力画像の予測画像となる前
フレームの画像を読出して減算器１に出力する（なお、
動きベクトル検出器８は、入力画像をフレーム間で符号
化するかフレーム内で符号化するかを選択することがあ
るが、ここでは詳述しない）。この予測画像は、フィル
タ９を通って減算器１に入力する。
【０００７】減算器１は、予測画像と現フレームとの差
分を求める。減算器１で算出された差分値は、離散コサ
イン変換部２において、各周波数のパワーを表わす係数
に変換される。この係数は、量子化器３で量子化され、
可変長符号化器10で可変長符号化され、バッファ11を通
して回線に出力される。
分を求める。減算器１で算出された差分値は、離散コサ
イン変換部２において、各周波数のパワーを表わす係数
に変換される。この係数は、量子化器３で量子化され、
可変長符号化器10で可変長符号化され、バッファ11を通
して回線に出力される。
【０００８】また、量子化された係数は、逆量子器４で
逆量子化され、逆離散コサイン変換器５で前フレームと
の差分値に戻される。そして、加算器６で予測画像と差
分値とが加算されて入力画像が再生され、この再生画像
は、次のフレームの予測画像を生成するためにフレーム
メモリ７に書き込まれる。
逆量子化され、逆離散コサイン変換器５で前フレームと
の差分値に戻される。そして、加算器６で予測画像と差
分値とが加算されて入力画像が再生され、この再生画像
は、次のフレームの予測画像を生成するためにフレーム
メモリ７に書き込まれる。
【０００９】動きベクトル検出器８は、入力画像および
前フレームの画像をブロックに分割し、そのブロック単
位で動きベクトルの検出を行なっている。このブロック
のことをここでは符号化ブロックと呼ぶことにする。こ
の符号化ブロックには、通常、８画素×８画素のサイズ
のものがよく用いられる。
前フレームの画像をブロックに分割し、そのブロック単
位で動きベクトルの検出を行なっている。このブロック
のことをここでは符号化ブロックと呼ぶことにする。こ
の符号化ブロックには、通常、８画素×８画素のサイズ
のものがよく用いられる。
【００１０】動きベクトルを検出する場合は、現在注目
している入力画像の符号化ブロックと、前フレームの同
じ位置（Ａ）及びその周辺の探索範囲（位置Ａを中心と
する水平・垂直方向に±１５符号化ブロックの範囲がよ
く用いられる）における符号化ブロックとの差分を算出
し、その差分が最小となる符号化ブロックの位置（Ｂ）
を求める。この符号化ブロックの位置（Ｂ）の、位置
（Ａ）からの距離及び方向が動きベクトルとなる。
している入力画像の符号化ブロックと、前フレームの同
じ位置（Ａ）及びその周辺の探索範囲（位置Ａを中心と
する水平・垂直方向に±１５符号化ブロックの範囲がよ
く用いられる）における符号化ブロックとの差分を算出
し、その差分が最小となる符号化ブロックの位置（Ｂ）
を求める。この符号化ブロックの位置（Ｂ）の、位置
（Ａ）からの距離及び方向が動きベクトルとなる。
【００１１】
【発明が解決しようとする課題】しかし、動きベクトル
の検出に当たっては、符号化ブロックが８画素×８画素
とすると、１符号化ブロックの差分値を算出するため
に、６４回もの差分演算が必要であり、また、±１５符
号化ブロックという広大な探索範囲において差分演算を
行なうとなれば、その演算量が膨大になり、長い演算時
間と大規模なハードウエアとが必要となる。
の検出に当たっては、符号化ブロックが８画素×８画素
とすると、１符号化ブロックの差分値を算出するため
に、６４回もの差分演算が必要であり、また、±１５符
号化ブロックという広大な探索範囲において差分演算を
行なうとなれば、その演算量が膨大になり、長い演算時
間と大規模なハードウエアとが必要となる。
【００１２】また、従来の動きベクトル検出方法では、
一符号化ブロック単位で動きベクトルを算出しているた
め、入力画像の注目する符号化ブロックが、たまたま前
フレームの本来の位置でない符号化ブロックに対して小
さい差分値を有している場合には、入力画像の隣接する
符号化ブロックの予測画像位置とは全く無関係に、誤っ
た動きベクトルが設定される。そのために、予測画像が
現画像に対して不連続なものとなる可能性があり、ブロ
ック歪みを発生する虞れがあった。
一符号化ブロック単位で動きベクトルを算出しているた
め、入力画像の注目する符号化ブロックが、たまたま前
フレームの本来の位置でない符号化ブロックに対して小
さい差分値を有している場合には、入力画像の隣接する
符号化ブロックの予測画像位置とは全く無関係に、誤っ
た動きベクトルが設定される。そのために、予測画像が
現画像に対して不連続なものとなる可能性があり、ブロ
ック歪みを発生する虞れがあった。
【００１３】本発明は、こうした従来の問題点を解決す
るものであり、連続性のある予測画像を発生させること
ができ、また、動きベクトルの検出に要する演算量を削
減することができる動きベクトル検出方法及びその装置
を提供することを目的としている。
るものであり、連続性のある予測画像を発生させること
ができ、また、動きベクトルの検出に要する演算量を削
減することができる動きベクトル検出方法及びその装置
を提供することを目的としている。
【００１４】
【課題を解決するための手段】そこで、本発明では、フ
レーム間の相関を利用した動画像の予測符号化に用いら
れる動きベクトルの検出において、複数の画素で構成さ
れる符号化ブロックのそれぞれに一つの輪郭情報を対応
させ、この符号化ブロックの複数個を纏めたサブブロッ
クの単位でフレーム間の画像における類似度を求め、こ
の類似度を基に動きベクトルの検出を行なっている。
レーム間の相関を利用した動画像の予測符号化に用いら
れる動きベクトルの検出において、複数の画素で構成さ
れる符号化ブロックのそれぞれに一つの輪郭情報を対応
させ、この符号化ブロックの複数個を纏めたサブブロッ
クの単位でフレーム間の画像における類似度を求め、こ
の類似度を基に動きベクトルの検出を行なっている。
【００１５】また、符号化ブロックを構成する画素の一
定数以上が輪郭画素である符号化ブロックと、符号化ブ
ロックを構成する画素の一定数未満が輪郭画素である符
号化ブロックとによって、それらに対応させる輪郭情報
の内容を変えている。
定数以上が輪郭画素である符号化ブロックと、符号化ブ
ロックを構成する画素の一定数未満が輪郭画素である符
号化ブロックとによって、それらに対応させる輪郭情報
の内容を変えている。
【００１６】また、各フレームの画像から輪郭映像を抽
出し、この輪郭映像の輪郭部分を画く画素を輪郭画素と
して数えている。
出し、この輪郭映像の輪郭部分を画く画素を輪郭画素と
して数えている。
【００１７】また、サブブロックの現フレームの位置に
一致する前フレームでの位置を中心に、その周囲の一定
範囲を探索範囲と定め、この探索範囲においてサブブロ
ックの類似度を求めている。
一致する前フレームでの位置を中心に、その周囲の一定
範囲を探索範囲と定め、この探索範囲においてサブブロ
ックの類似度を求めている。
【００１８】また、現フレームの注目するサブフレーム
に含まれる各符号化ブロックの輪郭情報を１つのビット
列に形成し、このビット列と、前フレームの探索範囲に
含まれる符号化ブロックの輪郭情報によって形成したビ
ット列とのマッチングを取ることにより類似度を求めて
いる。
に含まれる各符号化ブロックの輪郭情報を１つのビット
列に形成し、このビット列と、前フレームの探索範囲に
含まれる符号化ブロックの輪郭情報によって形成したビ
ット列とのマッチングを取ることにより類似度を求めて
いる。
【００１９】さらに、フレーム間の相関を利用した動画
像の予測符号化に用いる動きベクトルを検出するための
検出装置において、前フレーム及び現フレームの画像か
ら輪郭を抽出する輪郭抽出手段と、複数の画素で構成さ
れる符号化ブロックが、抽出された輪郭を表わす輪郭ブ
ロックであるかどうかを、この符号化ブロック内の輪郭
画素の数によって判定する輪郭判定手段と、複数の符号
化ブロックを纏めたサブブロックの単位で前フレーム及
び現フレームの画像のマッチング処理を行ない、動きベ
クトルを検出するマッチング手段とを設けている。
像の予測符号化に用いる動きベクトルを検出するための
検出装置において、前フレーム及び現フレームの画像か
ら輪郭を抽出する輪郭抽出手段と、複数の画素で構成さ
れる符号化ブロックが、抽出された輪郭を表わす輪郭ブ
ロックであるかどうかを、この符号化ブロック内の輪郭
画素の数によって判定する輪郭判定手段と、複数の符号
化ブロックを纏めたサブブロックの単位で前フレーム及
び現フレームの画像のマッチング処理を行ない、動きベ
クトルを検出するマッチング手段とを設けている。
【００２０】
【作用】本発明の動きベクトル検出方法では、現フレー
ムおよび前フレームの画像から輪郭を抽出し、この輪郭
を対比することにより動きベクトルを検出している。こ
の輪郭の対比のために、まず、画像から輪郭を抽出し、
次に、符号化ブロックに所定数以上の輪郭画素が含まれ
るかどうかによって、その符号化ブロックに１か０かの
輪郭情報（ビット）を与え、さらに、現フレームの注目
するサブブロックに含まれる複数の符号化ブロックの輪
郭情報を表わすビット列と、前フレームの探索範囲の符
号化ブロックの輪郭情報を表わすビット列とのマッチン
グを取ることが行なわれる。このマッチングによって類
似度の高いビット列を検出し、その位置関係から動きベ
クトルを検出する。
ムおよび前フレームの画像から輪郭を抽出し、この輪郭
を対比することにより動きベクトルを検出している。こ
の輪郭の対比のために、まず、画像から輪郭を抽出し、
次に、符号化ブロックに所定数以上の輪郭画素が含まれ
るかどうかによって、その符号化ブロックに１か０かの
輪郭情報（ビット）を与え、さらに、現フレームの注目
するサブブロックに含まれる複数の符号化ブロックの輪
郭情報を表わすビット列と、前フレームの探索範囲の符
号化ブロックの輪郭情報を表わすビット列とのマッチン
グを取ることが行なわれる。このマッチングによって類
似度の高いビット列を検出し、その位置関係から動きベ
クトルを検出する。
【００２１】本発明では、サブブロックの単位で画像の
輪郭を対比しているため、個々の符号化ブロックに対し
て不連続な動きベクトルが設定される事態が避けられ
る。また、各符号化ブロックの輪郭情報を１ビットの符
号で表現しているため、マッチングにおける演算量を大
幅に削減することができる。
輪郭を対比しているため、個々の符号化ブロックに対し
て不連続な動きベクトルが設定される事態が避けられ
る。また、各符号化ブロックの輪郭情報を１ビットの符
号で表現しているため、マッチングにおける演算量を大
幅に削減することができる。
【００２２】
【実施例】本発明の動きベクトル検出方法を実施する動
き補償フレーム間予測符号化装置は、図１に示すよう
に、動きベクトルを検出する手段として、画像から輪郭
を抽出する輪郭抽出部12と、符号化ブロックが輪郭を表
わす輪郭ブロックであるかどうかを判定する輪郭判定部
13と、複数の符号化ブロックを纏めたサブブロックの単
位でマッチング処理を行ない動きベクトルを検出するマ
ッチング部14とを備えている。
き補償フレーム間予測符号化装置は、図１に示すよう
に、動きベクトルを検出する手段として、画像から輪郭
を抽出する輪郭抽出部12と、符号化ブロックが輪郭を表
わす輪郭ブロックであるかどうかを判定する輪郭判定部
13と、複数の符号化ブロックを纏めたサブブロックの単
位でマッチング処理を行ない動きベクトルを検出するマ
ッチング部14とを備えている。
【００２３】その他の構成は、従来の装置（図７）と変
わりがない。また、その動作についても、動きベクトル
の検出の仕方を除いて、従来の装置と同じである。
わりがない。また、その動作についても、動きベクトル
の検出の仕方を除いて、従来の装置と同じである。
【００２４】次に、動きベクトル検出における、輪郭抽
出部12、輪郭判定部13及びマッチング部14の動作につい
て説明する。
出部12、輪郭判定部13及びマッチング部14の動作につい
て説明する。
【００２５】輪郭抽出部12には、新たに入力した現フレ
ームの画像と、フレームメモリ７から読出した前フレー
ムの画像とが入力する。輪郭抽出部12は、これらの画像
の輪郭を抽出し、輪郭画像の画像データを輪郭判定部13
に出力する。この輪郭抽出は、例えば図２に示す画像が
入力した場合に、その画像の輪郭を図３のように抽出す
る。この輪郭抽出には、例えば「ディジタル画像処理」
（近代科学社）に記載されている公知の方法を用いるこ
とができる。この方法では、画像の輪郭部を明るさが急
峻に変化している部分として捉え、入力画像の微分を求
めることにより画像の輪郭部を抽出する。ディジタル画
像の場合、微分は、式１に示す差分値として求めること
ができる。なお、式１においてｆ(x,y）は画像信号、△
ｆ(x,y）はその点における明るさの勾配を表わしてい
る。 △ｆ(x,y)＝[{ｆ(x,y)−ｆ(x-1,y)}2＋{ｆ(x,y)−ｆ(x,y-1)}2]1/2 （１） この勾配△ｆ(x,y）が、ある閾値以上である場合に、こ
の画素を輪郭画素とする。式１は、２乗や平方根が存在
するため、式２で近似することも可能である。 △ｆ(x,y)＝｜ｆ(x,y)−ｆ(x-1,y)｜＋｜ｆ(x,y)−ｆ(x,y-1)｜ （２）
ームの画像と、フレームメモリ７から読出した前フレー
ムの画像とが入力する。輪郭抽出部12は、これらの画像
の輪郭を抽出し、輪郭画像の画像データを輪郭判定部13
に出力する。この輪郭抽出は、例えば図２に示す画像が
入力した場合に、その画像の輪郭を図３のように抽出す
る。この輪郭抽出には、例えば「ディジタル画像処理」
（近代科学社）に記載されている公知の方法を用いるこ
とができる。この方法では、画像の輪郭部を明るさが急
峻に変化している部分として捉え、入力画像の微分を求
めることにより画像の輪郭部を抽出する。ディジタル画
像の場合、微分は、式１に示す差分値として求めること
ができる。なお、式１においてｆ(x,y）は画像信号、△
ｆ(x,y）はその点における明るさの勾配を表わしてい
る。 △ｆ(x,y)＝[{ｆ(x,y)−ｆ(x-1,y)}2＋{ｆ(x,y)−ｆ(x,y-1)}2]1/2 （１） この勾配△ｆ(x,y）が、ある閾値以上である場合に、こ
の画素を輪郭画素とする。式１は、２乗や平方根が存在
するため、式２で近似することも可能である。 △ｆ(x,y)＝｜ｆ(x,y)−ｆ(x-1,y)｜＋｜ｆ(x,y)−ｆ(x,y-1)｜ （２）
【００２６】なお、画像の輪郭抽出には、「領域境界線
としてのエッジ抽出法の検討」（電子情報通信学会技術
研究報告 Vol.89 No.27 PRU89-54,pp45-52 1989)に記載
されている、符号化に適した輪郭抽出法を用いることも
できる。
としてのエッジ抽出法の検討」（電子情報通信学会技術
研究報告 Vol.89 No.27 PRU89-54,pp45-52 1989)に記載
されている、符号化に適した輪郭抽出法を用いることも
できる。
【００２７】輪郭抽出部12から出力された現フレーム及
び前フレームの輪郭映像（図３）の画像データは、輪郭
判定部13に入力する。
び前フレームの輪郭映像（図３）の画像データは、輪郭
判定部13に入力する。
【００２８】輪郭判定部13は、入力した輪郭映像の符号
化ブロック（８画素×８画素、計６４画素）の内、輪郭
画素と判定された画素の数を数え、この値がある閾値を
超えた場合に、その符号化ブロックを輪郭ブロックと判
定し、輪郭判定ビットの１を出力する。輪郭画素の数が
閾値以下の場合は、その符号化ブロックに対して輪郭判
定ビットの０を出力する。この輪郭判定部13の出力をパ
タン化して図示すると図４のようになる。この図で、黒
いマスは輪郭と判断された符号化ブロックであり、白い
マスは輪郭と判断されなかった符号化ブロックである。
化ブロック（８画素×８画素、計６４画素）の内、輪郭
画素と判定された画素の数を数え、この値がある閾値を
超えた場合に、その符号化ブロックを輪郭ブロックと判
定し、輪郭判定ビットの１を出力する。輪郭画素の数が
閾値以下の場合は、その符号化ブロックに対して輪郭判
定ビットの０を出力する。この輪郭判定部13の出力をパ
タン化して図示すると図４のようになる。この図で、黒
いマスは輪郭と判断された符号化ブロックであり、白い
マスは輪郭と判断されなかった符号化ブロックである。
【００２９】輪郭判定部13から出力された輪郭判定ビッ
トは、マッチング部14に入力し、マッチング部14は、複
数の符号化ブロックを纏めたサブブロックの単位で、前
フレームの輪郭判定ビットと現フレームの輪郭判定ビッ
トとのパタンマッチングを行ない、動きベクトルを検出
する。
トは、マッチング部14に入力し、マッチング部14は、複
数の符号化ブロックを纏めたサブブロックの単位で、前
フレームの輪郭判定ビットと現フレームの輪郭判定ビッ
トとのパタンマッチングを行ない、動きベクトルを検出
する。
【００３０】例えば、５×５符号化ブロックを１サブブ
ロックとする場合では、マッチング部14は、輪郭判定部
13から図４に示すような現フレームの輪郭判定ビットが
入力すると、これを図５に示すサブブロック（５×５符
号化ブロック）のビット列に分割し、このサブブロック
のビット列と、前フレームの輪郭判定ビットの探索範囲
（図６、ここでは注目するサブブロックの前フレームに
おける対応位置を中心に周囲±１３符号化ブロックの範
囲を探索範囲としている）の輪郭情報を表わす輪郭判定
ビット列とのマッチング処理を行なう。
ロックとする場合では、マッチング部14は、輪郭判定部
13から図４に示すような現フレームの輪郭判定ビットが
入力すると、これを図５に示すサブブロック（５×５符
号化ブロック）のビット列に分割し、このサブブロック
のビット列と、前フレームの輪郭判定ビットの探索範囲
（図６、ここでは注目するサブブロックの前フレームに
おける対応位置を中心に周囲±１３符号化ブロックの範
囲を探索範囲としている）の輪郭情報を表わす輪郭判定
ビット列とのマッチング処理を行なう。
【００３１】このマッチング処理は、現フレームの注目
するサブブロックの輪郭判定ビット（５×５、計２５ビ
ット）が、前フレームの探索範囲の輪郭判定ビットと同
じかどうかを、例えば双方のビット列を互いにずらしな
がら、相関を取ることによって行なわれ、探索範囲の中
で最も類似度の高いサブブロックを検出する。そして、
この検出されたサブブロックの探索範囲の中心からの距
離と方向とを動きベクトルとして算出し、それをフレー
ムメモリ７に出力する。また、探索範囲内には、背景部
のように、画像の輪郭が現れない部分もある。そのよう
な場合は、動きベクトルを０にする。
するサブブロックの輪郭判定ビット（５×５、計２５ビ
ット）が、前フレームの探索範囲の輪郭判定ビットと同
じかどうかを、例えば双方のビット列を互いにずらしな
がら、相関を取ることによって行なわれ、探索範囲の中
で最も類似度の高いサブブロックを検出する。そして、
この検出されたサブブロックの探索範囲の中心からの距
離と方向とを動きベクトルとして算出し、それをフレー
ムメモリ７に出力する。また、探索範囲内には、背景部
のように、画像の輪郭が現れない部分もある。そのよう
な場合は、動きベクトルを０にする。
【００３２】このように実施例の装置では、動きベクト
ルの検出に当たって、複数の符号化ブロックからなるサ
ブブロックを単位として、現フレームの画像と前フレー
ムの画像とのマッチング処理を行ない、動きベクトルを
求めている。そのため、従来の方法では、１符号化ブロ
ックのマッチングに６４画素分の差分演算が必要であっ
たものが、１ビットの比較演算ですむことになり、大幅
な演算量の削減が可能となる。また、サブブロック単位
でマッチングを行なっているために、１つの符号化ブロ
ックだけが周囲の符号化ブロックと飛び離れた動きベク
トルに設定されるような事態が避けられる。
ルの検出に当たって、複数の符号化ブロックからなるサ
ブブロックを単位として、現フレームの画像と前フレー
ムの画像とのマッチング処理を行ない、動きベクトルを
求めている。そのため、従来の方法では、１符号化ブロ
ックのマッチングに６４画素分の差分演算が必要であっ
たものが、１ビットの比較演算ですむことになり、大幅
な演算量の削減が可能となる。また、サブブロック単位
でマッチングを行なっているために、１つの符号化ブロ
ックだけが周囲の符号化ブロックと飛び離れた動きベク
トルに設定されるような事態が避けられる。
【００３３】
【発明の効果】以上の実施例の説明から明らかなよう
に、本発明の動きベクトル検出方法及びその装置は、サ
ブブロック単位で動きベクトルの検索を行なっているた
め、物体の形状情報を損なわずに、現フレームと前フレ
ームとの画像の一致位置を検出することができ、マッチ
ングのミスを低減することができる。
に、本発明の動きベクトル検出方法及びその装置は、サ
ブブロック単位で動きベクトルの検索を行なっているた
め、物体の形状情報を損なわずに、現フレームと前フレ
ームとの画像の一致位置を検出することができ、マッチ
ングのミスを低減することができる。
【００３４】また、輪郭判定ビットを導入し、これを用
いてマッチング処理を行なっているため、従来まで多大
な演量を要していた処理が１ビットの比較演算で済むよ
うになり、演算量を大幅に削減することができる。その
結果、演算時間が短縮され、ハードウエアの規模が小さ
くて済み、コストの削減が可能になる。
いてマッチング処理を行なっているため、従来まで多大
な演量を要していた処理が１ビットの比較演算で済むよ
うになり、演算量を大幅に削減することができる。その
結果、演算時間が短縮され、ハードウエアの規模が小さ
くて済み、コストの削減が可能になる。
【図１】本発明の動きベクトル検出方法を実施する装置
の構成を示すブロック図、
の構成を示すブロック図、
【図２】前記装置への入力映像を例示する図、
【図３】前記装置の輪郭抽出処理部で処理された画像を
示す図、
示す図、
【図４】前記装置の輪郭判定部で処理された出力画像を
示す図、
示す図、
【図５】前記装置のマッチング部で用いられるサブブロ
ックを示す図、
ックを示す図、
【図６】前記装置のマッチング部で探索される動きベク
トル探索範囲を示す図、
トル探索範囲を示す図、
【図７】従来の動きベクトル検出方法を実施する装置を
示すブロック図である。
示すブロック図である。
１ 減算器 ２ 離散コサイン変換部 ３ 量子化部 ４ 逆離散コサイン変換部 ５ 逆量子化部 ６ 加算器 ７ フレームメモリ ８ 動きベクトル検出部 ９ フィルタ部 10 可変長符号化部 11 送信バッファ 12 輪郭抽出部 13 輪郭判定部 14 マッチング部
Claims (6)
- 【請求項１】 フレーム間の相関を利用した動画像の予
測符号化に用いられる動きベクトルの検出において、 複数の画素で構成される符号化ブロックのそれぞれに一
つの輪郭情報を対応させ、前記符号化ブロックの複数個
を纏めたサブブロックの単位でフレーム間の画像におけ
る類似度を求め、前記類似度を基に動きベクトルを検出
することを特徴とする動きベクトル検出方法。 - 【請求項２】 前記符号化ブロックを構成する画素の一
定数以上が輪郭画素である符号化ブロックと、符号化ブ
ロックを構成する画素の一定数未満が輪郭画素である符
号化ブロックとによって、それらに対応させる前記輪郭
情報の内容を変えることを特徴とする請求項１に記載の
動きベクトル検出方法。 - 【請求項３】 各フレームの画像から輪郭映像を抽出
し、該輪郭映像の輪郭部分を画く画素を前記輪郭画素と
して数えることを特徴とする請求項２に記載の動きベク
トル検出方法。 - 【請求項４】 前記サブブロックの現フレームでの位置
に一致する前フレームでの位置を中心に、その周囲の一
定範囲を探索範囲と定め、該探索範囲において前記サブ
ブロックの類似度を求めることを特徴とする請求項１に
記載の動きベクトル検出方法。 - 【請求項５】 現フレームの注目する前記サブフレーム
に含まれる各符号化ブロックの輪郭情報を１つのビット
列に形成し、該ビット列と、前フレームの前記探索範囲
に含まれる符号化ブロックの輪郭情報によって形成した
ビット列とのマッチングを取ることにより前記類似度を
求めることを特徴とする請求項１または４に記載の動き
ベクトル検出方法。 - 【請求項６】 フレーム間の相関を利用した動画像の予
測符号化に用いる動きベクトルを検出するための検出装
置において、 前フレーム及び現フレームの画像から輪郭を抽出する輪
郭抽出手段と、 複数の画素で構成される符号化ブロックが、抽出された
前記輪郭を表わす輪郭ブロックであるかどうかを、該符
号化ブロック内の輪郭画素の数によって判定する輪郭判
定手段と、 複数の前記符号化ブロックを纏めたサブブロックの単位
で前フレーム及び現フレームの画像のマッチング処理を
行ない、動きベクトルを検出するマッチング手段とを設
けたことを特徴とする動きベクトル検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11194494A JPH07298271A (ja) | 1994-04-28 | 1994-04-28 | 動画像符号化における動きベクトル検出方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11194494A JPH07298271A (ja) | 1994-04-28 | 1994-04-28 | 動画像符号化における動きベクトル検出方法及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07298271A true JPH07298271A (ja) | 1995-11-10 |
Family
ID=14574066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11194494A Pending JPH07298271A (ja) | 1994-04-28 | 1994-04-28 | 動画像符号化における動きベクトル検出方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07298271A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100661040B1 (ko) * | 1998-09-24 | 2006-12-26 | 소니 가부시끼 가이샤 | 정보 처리 장치 및 방법, 정보 기록 장치 및 방법, 기록 매체 및 제공 매체 |
| JP2010103684A (ja) * | 2008-10-22 | 2010-05-06 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置，映像符号化プログラム，映像復号プログラムおよびそれらの記録媒体 |
| CN103177453A (zh) * | 2011-12-22 | 2013-06-26 | 中国电信股份有限公司 | 一种基于运动物体边沿特性的事件分析方法和装置 |
-
1994
- 1994-04-28 JP JP11194494A patent/JPH07298271A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100661040B1 (ko) * | 1998-09-24 | 2006-12-26 | 소니 가부시끼 가이샤 | 정보 처리 장치 및 방법, 정보 기록 장치 및 방법, 기록 매체 및 제공 매체 |
| JP2010103684A (ja) * | 2008-10-22 | 2010-05-06 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置，映像符号化プログラム，映像復号プログラムおよびそれらの記録媒体 |
| CN103177453A (zh) * | 2011-12-22 | 2013-06-26 | 中国电信股份有限公司 | 一种基于运动物体边沿特性的事件分析方法和装置 |
| CN103177453B (zh) * | 2011-12-22 | 2016-01-27 | 中国电信股份有限公司 | 一种基于运动物体边沿特性的事件分析方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2744871B2 (ja) | 画像信号符号化方法および画像信号符号化装置 | |
| US6771826B2 (en) | Digital image encoding and decoding method and digital image encoding and decoding device using the same | |
| US7408990B2 (en) | Efficient motion vector coding for video compression | |
| ES2275037T3 (es) | Procedimiento de codificacion de video con compensacion de fundido. | |
| KR100578433B1 (ko) | 페이딩 추정/보정 | |
| EP1359770B1 (en) | Signaling for fading compensation in video encoding | |
| JP3097665B2 (ja) | 異常検出機能を備えたタイムラプスレコーダ | |
| JPH1155672A (ja) | 動画像符号化装置および動画像復号化装置および動画像符号化方法および動画像復号化方法 | |
| KR20050033098A (ko) | 계층적 움직임 추정 방법 | |
| FI109634B (fi) | Menetelmä ja laite videokuvan koodaamiseksi | |
| JP2723867B2 (ja) | 画像信号復号化装置 | |
| JPH07298271A (ja) | 動画像符号化における動きベクトル検出方法及び装置 | |
| JP3812808B2 (ja) | スキップ領域検出型動画像符号化装置および記録媒体 | |
| CN112672164B (zh) | 视频压缩系统及方法、视频解压缩系统及方法 | |
| CN116982262A (zh) | 视频编码中依赖性量化的状态转换 | |
| KR100987581B1 (ko) | 고속 움직임 추정을 위한 부분 블록정합 방법 | |
| JP2005184525A (ja) | 画像処理装置 | |
| KR960013234B1 (ko) | 움직임 검출장치의 코가-3단계 움직임벡터 검출방법 | |
| CN115643368A (zh) | 基于yolo的有损-无损混合腔镜视频实时传输方法 | |
| JPH07264594A (ja) | 動画像の動き補償予測符号化方法 | |
| JPH09307903A (ja) | 多階調画像符号化方法 | |
| JPH07203425A (ja) | 動画像の符号化・復号化装置 | |
| KR100238891B1 (ko) | 개선된 움직임 추정 장치 및 그 추정 방법 | |
| KR0154948B1 (ko) | 영상의 그래디언트 및 인텐시티의 유사성을 이용한 움직임 벡터 탐색장치 | |
| JP2002064826A (ja) | 圧縮画像の解像度変換装置及び方法 |