JP2897655B2

JP2897655B2 - 動きベクトル検出装置

Info

Publication number: JP2897655B2
Application number: JP25483794A
Authority: JP
Inventors: 博哉中村
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1994-09-22
Filing date: 1994-09-22
Publication date: 1999-05-31
Anticipated expiration: 2014-05-31
Also published as: JPH0898186A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】動画像情報の圧縮記録を行うシス
テムにおいて、動画像間の動き補償を行う際の、動きベ
クトルを検出する動きベクトル検出装置に関する。

【０００２】

【従来の技術】

＜動き補償装置＞ディジタル動画像の高能率符号化方式
として動き補償画像間予測符号化がある。この手法は動
きベクトル検出器により画素で構成されるブロック単位
で動きベクトルを検出し、画像間の相関を用いてデータ
の情報量を削減する方法である。

【０００３】一般のビデオ信号では１つのフレームが２
つのフィールドから構成されるインターレース信号が用
いられる。このインターレースにおける動画像において
は、動きベクトルを検出する際に、フレーム単位で構成
されるブロックの動きベクトルと、フィールド単位の動
きベクトルとを検出する。そして、両者を適応的に切り
替えて動き補償を行うフレーム／フィールド適応型動き
補償が、符号化効率を向上させるために用いられる。

【０００４】図４に動き補償装置の構成図を示す。ま
ず、被符号化フィールド信号1(Cur)と、参照フィールド
信号2(Ref)のインターレース画像信号をフィールド／フ
レーム変換器６に入力し、被符号化フレーム信号12と参
照フレーム信号13を得る。これらのインターレース画像
信号1,2,12,13 が、動きベクトル検出器20に入力され、
フィールド動きベクトル14とフレーム動きベクトル15が
検出される。このときフレーム間の動きベクトルは１種
類しか存在しないが、フィールド間の動きベクトルは後
述するように４種類存在する。これらの動きベクトルが
最適モード判定器17に入力され、予測残差信号18と、選
択された動きベクトル19（と最適予測モード）を得る。

【０００５】＜動きベクトル検出装置＞上記のようにフ
レーム／フィールド適応切り替え型動き補償を行うため
にはフレームとフィールドの動きベクトルを検出する必
要がある。この検出方法のひとつに次のような階層型動
きベクトル検出がある。図３に従来の階層型動きベクト
ル検出装置（動きベクトル検出器２０）のブロック図を
示す。被符号化フィールド信号入力１と参照フィールド
信号入力２により入力されたインターレース画像信号を
それぞれサブサンプラ３に入力し、サブサンプリングす
る。図５にサブサンプルの例を示す、同図に示すよう
に、白丸点から黒丸点をサブサンプルする。場合によ
り、演算量をさらに減少させるために、１段だけでなく
２段以上サブサンプラを用意し、サブサンプリングを１
回だけではなく、２回以上行うこともある。

【０００６】これらのサブサンプリングされた参照フィ
ールド画像信号と、被符号化フィールド画像信号を用い
て、初段フィールドマッチング検出器４により、 M*N/2
画素で構成されるブロック単位でマッチング信号を算出
する。マッチング信号を算出する方法は様々なものがあ
るが、例えば式(1) で示される画素間の絶対値差分や式
(2) で示される画素間の２乗差分の和をとるのが一般的
である。ここでr は参照画像の画素値、c は被符号化画
像の画素値、I とJ はそれぞれ画面ないにおける水平方
向と垂直方向のブロックアドレス、i とj はそれぞれブ
ロック内における水平方向と垂直方向の画素アドレス、
x とy はそれぞれ水平方向と垂直方向の動き量をあらわ
す。

【０００７】

【数１】

【数２】

【０００８】このマッチング信号をもとにして、初段
（仮の、一時的な）動きベクトルを検出する。このとき
の検出方法はマッチング信号の最も小さいときの動き量
(X,Y)を動きベクトルMV(X,Y) とするのが一般的である
が、場合により重みづけをおこなうこともある。さら
に、この動きベクトルは参照フィールド画像と被符号化
フィールド画像のそれぞれに奇数フィールド、偶数フィ
ールドが存在するので、式(3),(4),(5),(6) を用いて図
７に示すように、マッチング信号a1(x,y),a2(x,y),a3
(x,y),a4(x,y)を算出し、１フレームあたり４種類の動
きベクトルMV1(X1,Y1),MV2(X2,Y2),MV3(X3,Y3),MV4(X4,
Y4) を検出する。

【０００９】

【数３】

【数４】

【数５】

【数６】

【００１０】また、前記に述べたようにサブサンプリン
グを２回以上行った場合には、サブサンプリングと同数
のマッチングを繰り返し、初段（仮の、一時的な）フィ
ールド動きベクトルを検出する。

【００１１】次に被符号化フィールド画像信号（入力）
１と参照フィールド画像信号（入力）２により入力され
たインターレース画像信号と前記で検出された初段（仮
の、一時的な）フィールド動きベクトルを最終段マッチ
ング検出器５に入力し、フィールド動きベクトルを検出
する。このときの検索範囲は初段フィールド動きベクト
ルMV(X,Y) をスケーリングし、この近傍とする（これを
中心として水平、垂直方向に１画素または数画素）。ス
ケーリングの方法は水平方向に1/U,垂直方向に1/V でサ
ブサンプルしたとき、MV(U*X,V*Y) とする。このフィー
ルド動きベクトルが１画素精度のフィールドの動きベク
トルとなる。

【００１２】また、被符号化フレーム画像信号（入力）
12と参照フレーム画像信号（入力）13により入力された
インターレース画像信号をそれぞれサブサンプラ７に入
力し、サブサンプリングする。図６にサブサンプルの例
を示す。以下前記のフィールドの場合と同様に、今度は
初段フレームマッチング検出器10を用いて、M*N 画素で
構成されるブロック単位で、式(7) により、図８に示す
ように、マッチング信号b(x,y)を算出し、これをもとに
して、初段（仮の、一時的な）フレーム動きベクトルMV
5(X5,Y5)を検出する。さらに、最終段フレームマッチン
グ検出器11を用いて演算を行い、１画素精度のフレーム
の動きベクトルを検出する。

【００１３】

【数７】

【００１４】フィールド、フレームともに場合によって
は１画素精度の動きベクトルを検出したのちに、これを
もとにして0.５画素精度の動きベクトルを検出すること
もある。

【００１５】

【発明が解決しようとする課題】従来の階層型動きベク
トル検索は参照画像や被符号化画像をサブサンプリング
することにより、演算量が減少する効果があるが十分で
ない。

【００１６】本発明は以上の点をふまえて、フィールド
とフレームの関係を用いることにより、サブサンプリン
グされたフィールド信号の演算結果（マッチング信号、
動きベクトル）を参考にしてフレーム信号の動きベクト
ルを検出する際の演算量を減少させる動きベクトル検出
装置を提供することを目的とするものである。

【００１７】

【課題を解決するための手段】本発明は動きベクトル検
出において、フレーム信号の動きベクトルを検出する際
に、サブサンプリングされたフィールド信号の演算結果
（マッチング信号）のうちで、フレーム信号のマッチン
グ信号と同じ位置にあるマッチング信号を近似値として
用い（実際のフレーム信号のマッチング信号とは異な
る）、これをフレーム信号のマッチング信号としてフレ
ーム信号の動きベクトルを検出する動きベクトル検出装
置を提供するものである。

【００１８】例えば図１に示すように、フレーム／フィ
ールドの動きベクトルを検出するための階層型の動きベ
クトル検出装置において、被符号化フィールド画像１と
参照フィールド画像２を、１段階または多段階サブサン
プリングして、サブサンプル・フィールドを作成する手
段３と、前記サブサンプル・フィールドのマッチング信
号を算出し、サブサンプル・フィールドの動きベクトル
を検出する手段４と、前記サブサンプル・フィールドの
動きベクトルをもとにしてマッチング信号を算出し、フ
ィールド動きベクトルを検出する手段５と、前記サブサ
ンプル・フィールドのマッチング信号から、サブサンプ
ル・フレームのマッチング信号の近似値を算出する手段
８と、前記サブサンプル・フレームのマッチング信号の
近似値からサブサンプル・フレーム動きベクトルを検出
する手段９と、前記サブサンプル・フレームの動きベク
トルをもとにしてマッチング信号を算出して、フレーム
動きベクトルを検出する手段11とからなることを特徴と
する動きベクトル検出装置を提供するものである。

【００１９】さらに、例えば図２に示すように、フレー
ム／フィールドの動きベクトルを検出するための階層型
の動きベクトル検出装置において、被符号化フィールド
画像１と参照フィールド画像２を１段階または多段階サ
ブサンプリングし、サブサンプル・フィールドを作成す
る手段３と、前記サブサンプル・フィールドのマッチン
グ信号を算出し、サブサンプル・フィールドの動きベク
トルを検出する手段４と、前記サブサンプル・フィール
ドの動きベクトルをもとにしてマッチング信号を算出
し、フィールド動きベクトルを検出する手段５と、被符
号化フレーム画像12と参照フレーム画像13を１段階また
は多段階にサブサンプリングし、サブサンプル・フレー
ムを作成する手段７と、前記サブサンプル・フィールド
の動きベクトルをもとにして、サブサンプル・フレーム
のマッチング信号を算出し、サブサンプル・フレームの
動きベクトルを検出する手段16と、前記サブサンプル・
フレームの動きベクトルをもとにしてマッチング信号を
算出して、フレーム動きベクトルを検出する手段11とか
らなることを特徴とする動きベクトル検出装置を提供す
るものである。

【００２０】

【作用】上記のように構成された動きベクトル検出装置
においては、フィールド単位でサブサンプリングされた
被符号化画像と参照画像を用いて、フィールドのマッチ
ング信号を算出し、このフィールドのマッチング信号を
用いてフィールドとフレームの動きベクトルを検出す
る。したがって、フレーム単位でサブサンプリングされ
た参照画像と被符号化画像との間のマッチング信号を算
出しないので、演算量を減少させることができる。

【００２１】

【実施例】本発明になる動きベクトル検出装置の実施例
を以下図面とと共に説明する。＜動きベクトル検出装置（第１例）＞図１に本発明にな
る（階層型の）動きベクトル検出装置のブロック図を示
す。図３の従来例の階層型動きベクトル検出装置のブロ
ック図とは、初段フレームマッチング検出器10が削除さ
れている点とフィールド／フレームマッチング信号変換
器８、フレーム動きベクトル算出器９が追加されている
点が異なる。参照フィールド信号と被符号化フィールド
信号をそれぞれサブサンプラ３によってサブサンプリン
グし、初段被符号化フィールド信号、初段参照フィール
ド信号とするところまでは従来例と同様である。

【００２２】これらのサブサンプリングされた初段被符
号化フィールド信号、初段参照フィールド信号を用い
て、フィールドマッチング検出器４により、式(1),(2),
(3),(4) を用いてM*N/2 画素で構成されるブロック単位
でマッチング信号a1(x,y),a2(x,y),a3(x,y),a4(x,y) を
算出し、この初段フィールドマッチング信号をもとにし
て、初段フィールド動きベクトルを検出する。さらに、
ここで算出された初段フィールドマッチング信号a1(x,
y),a2(x,y),a3(x,y),a4(x,y) をフィールド／フレーム
マッチング信号変換器８に入力する。

【００２３】フィールド／フレームマッチング信号変換
器８では式(8) を用いてフィールドマッチング信号a1
(x,y),a4(x,y) からフレームマッチング信号の近似値b1
(x,2y)を算出し、さらに式(9) を用いて、フィールドマ
ッチング信号a2(x,y),a3(x,y+1) からフレームマッチン
グ信号の近似値b2(x,2y+1)を算出する。

【００２４】

【数８】

【数９】

【００２５】ここでフレームマッチング信号の近似値b1
(x,2y)は奇数フィールドの参照画像と奇数フィールドの
被符号化画像とのマッチング信号a1(x,y) と偶数フィー
ルドの参照画像と偶数フィールドの被符号化画像とのマ
ッチング信号a4(x,y) の和をあらわしている。また、フ
レームマッチング信号の近似値b2(x,2y+1)は奇数フィー
ルドの参照画像と偶数フィールドの被符号化画像とのマ
ッチング信号a2(x,y)と、偶数フィールドの参照画像と
奇数フィールドの被符号化画像とのマッチング信号a1
(x,y) の和をあらわしている。さらに、マッチング信号
の近似値b1(x,2y),b2(x,2y+1) の最も小さい信号の近似
値b3(X,Y) のときの動き量(X6,Y6) を初段フレーム動き
ベクトルMV6(X6,Y6)とする。

【００２６】ここで、本発明で検出された初段フィール
ド動きベクトルと、従来例で検出された初段フィールド
動きベクトルは同一の値をとるが、本発明で検出された
初段フレーム動きベクトルMV6(X6,Y6)と、従来例で検出
された初段フレーム動きベクトルはMV5(X5,Y5)はマッチ
ング信号を算出する際の画素の位相が異なるので必ずし
も同一の値をとるとは限らない。

【００２７】以下従来例と同様に、フィールド間、フレ
ーム間ともに初段動きベクトルをもとにして、１画素精
度の最終段動きベクトルを検出する。また、場合によ
り、演算量をさらに減少させるために、１段だけでなく
２段以上サブサンプラを用意し、サブサンプリングを１
回だけではなく、２回以上行い、マッチング信号を算出
することもあるのは従来例と同様である。

【００２８】＜動きベクトル検出装置（第２例）＞図２
に本発明になる別（の階層型の）動きベクトル検出装置
のブロック図を示す。図３の従来例の階層型動きベクト
ル検出装置のブロック図とは、初段フィールドマッチン
グ検出器４で検出されたフィールド動きベクトルがマッ
チング検出器16にも入力されている点が異なる。

【００２９】参照フィールド信号１と被符号化フィール
ド信号２をそれぞれサブサンプラ３によってサブサンプ
リングし、これらのサブサンプリングされた初段被符号
化フィールド信号、初段参照フィールド信号を用いて、
初段フィールドマッチング検出器４により、画素で構成
されるブロック単位でマッチング信号を算出し、この初
段フィールドマッチング信号をもとにして、初段フィー
ルド動きベクトルを検出するところまでは従来例と同様
である。本発明が従来例と異なるのはこの初段フィール
ド動きベクトルを最終段フィールドマッチング検出器５
だけでなく後述する初段フレームマッチング検出器16に
も入力する点である。

【００３０】初段フィールド動きベクトルをもとにして
従来例と同様に最終段フィールドマッチング検出器５に
よってフィールド動きベクトル14を検出する。また、参
照フレーム信号12と被符号化フレーム信号13をそれぞれ
サブサンプラ７によってサブサンプリングし、これらの
サブサンプリングされた初段被符号化フレーム信号、初
段参照フレーム信号を用いて、初段フレームマッチング
検出器16により、前記で検出された初段（仮の、一時的
な）フィールド動きベクトルの近傍のマッチング信号を
算出し、初段フレーム動きベクトルを検出する。この際
初段フィールド動きベクトルは４本存在するので４本そ
れぞれのベクトルをもとにしてもよいし、任意のベクト
ルの平均をとってもよい。以下従来例と同様にマッチン
グ検出器11を用いてフレーム動きベクトル15を検出す
る。

【００３１】

【発明の効果】本発明によれば、参照フィールド信号と
被符号化フィールド信号をそれぞれサブサンプリング
し、そのマッチング信号を用いてサブサンプリングした
フレーム動きベクトルを検出するので、初段でのフレー
ム間のマッチング信号を算出する必要がなく、演算量
（処理量）を大幅に減少させることができる。

【００３２】一方、参照フィールド信号と被符号化フィ
ールド信号をそれぞれサブサンプリングし、そのフィー
ルド間の動きベクトルの近傍を検索することにより、サ
ブサンプリングしたフレーム動きベクトルを検出するの
で、初段でのフレーム間のマッチング信号を算出するた
めの演算量（処理量）を減少させることができる。

【００３３】また、動きベクトルの検索範囲が広くな
り、マッチング信号を算出するための演算量が大きくな
ればなるほどこの効果が大きくなる。

【図面の簡単な説明】

【図１】本発明の実施例１動きベクトル検出装置の構成
例を示す図である。

【図２】本発明の実施例２動きベクトル検出装置の構成
例を示す図である。

【図３】従来例動きベクトル検出装置の構成例を示す図
である。

【図４】動き補償装置の構成例を示す図である。

【図５】フィールド画像信号のサブサンプル例を示す図
である。

【図６】フレーム画像信号のサブサンプル例を示す図で
ある。

【図７】フィールド画像信号のマッチング信号の算出例
を示す図である。

【図８】フィールド画像信号のマッチング信号の算出例
を示す図である。

【符号の説明】

１被符号化フィールド信号２参照フィールド信号３サブサンプラ４マッチング検出器５マッチング検出器７サブサンプラ８フィールド／フレームマッチング信号変換器９フレームＭＶ算出器１１マッチング検出器１２被符号化フレーム信号１３参照フレーム信号

Claims

(57)【特許請求の範囲】

【請求項１】フレーム／フィールドの動きベクトルを検
出するための階層型の動きベクトル検出装置において、被符号化フィールド画像と参照フィールド画像を、１段
階または多段階サブサンプリングして、サブサンプル・
フィールドを作成する手段と、前記サブサンプル・フィールドのマッチング信号を算出
し、サブサンプル・フィールドの動きベクトルを検出す
る手段と、前記サブサンプル・フィールドの動きベクトルをもとに
してマッチング信号を算出し、フィールド動きベクトル
を検出する手段と、前記サブサンプル・フィールドのマッチング信号から、
サブサンプル・フレームのマッチング信号の近似値を算
出する手段と、前記サブサンプル・フレームのマッチング信号の近似値
からサブサンプル・フレームのきベクトルを検出する手
段と、前記サブサンプル・フレームの動きベクトルをもとにし
てマッチング信号を算出して、フレーム動きベクトルを
検出する手段とからなることを特徴とする動きベクトル
検出装置。
【請求項２】フレーム／フィールドの動きベクトルを検
出するための階層型の動きベクトル検出装置において、被符号化フィールド画像と参照フィールド画像を１段階
または多段階サブサンプリングし、サブサンプル・フィ
ールドを作成する手段と、前記サブサンプル・フィールドのマッチング信号を算出
し、サブサンプル・フィールドの動きベクトルを検出す
る手段と、前記サブサンプル・フィールドの動きベクトルをもとに
してマッチング信号を算出し、フィールド動きベクトル
を検出する手段と、被符号化フレーム画像と参照フレーム画像を１段階また
は多段階にサブサンプリングし、サブサンプル・フレー
ムを作成する手段と、前記サブサンプル・フィールドの動きベクトルをもとに
して、サブサンプル・フレームのマッチング信号を算出
し、サブサンプル・フレームの動きベクトルを検出する
手段と、前記サブサンプル・フレームの動きベクトルをもとにし
てマッチング信号を算出して、フレーム動きベクトルを
検出する手段とからなることを特徴とする動きベクトル
検出装置。