JPH08205166A - 動きベクトル検知装置 - Google Patents

Abstract

(57)【要約】 【目的】 ブロック化効果の影響を減らし得ると共
に、隣接ブロック間の境界領域の連続性をもたらす動き
ベクトルを検知する動きベクトル検知装置を提供するこ
とを目的とする。 【構成】 ビデオ信号の現フレームと前フレームとの
間の動きベクトルをブロック整合動き推定技法に用いて
検知するものであって、各々の候補ブロックに対する探
索ブロックを動き推定し、探索ブロックと各候補ブロッ
クとの間の画素の変位を表す動きベクトルとその対応す
るエラー関数とを発生する手段と、探索ブロック内にお
ける局部的サブブロックを規定して、探索ブロック内の
内部画素を有する局部的サブブロックに対するローカル
分散値を発生する手段と、各エラー関数にローカル分散
値を加重して、加重済みのエラー関数を発生する手段
と、最小のエラー関数を伴う１つの加重済みのエラー関
数を選択し、対応する動きベクトルを発生する手段とか
らなる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は映像信号符号化システム
で用いる動き推定装置に関し、特に、加重関数を用いて
動きベクトルを検知する動きベクトル検知装置に関す
る。

【０００２】

【従来の技術】一連の映像「フレーム」を含む映像信号
が、ディジタル形態で表現される際、特に、高精細度テ
レビジョン（ＨＤＴＶ）システムの場合には、相当量の
伝送データが発生される。しかし、通常の伝送チャネル
の利用可能な周波数帯域幅は限定されているので、限定
されたチャネル帯域幅を通じて相当量の伝送データが発
生される。しかし、通常的な伝送チャネルの利用可能な
周波数帯域幅は限定されているので、限定されたチャネ
ル帯域幅を通じて相当量のディジタルデータを伝送する
ためには、伝送データを圧縮または減縮しなければなら
ない。多様なビデオ圧縮技法のうち、隣接した二つのビ
デオフレームの間のビデオ信号の時間的な重複性を用い
て、ビデオ信号を圧縮する動き補償フレーム間符号化技
法が効果的な圧縮技法の一つとして知られている。

【０００３】動き補償フレーム間符号化方法において、
現フレームと前フレームとの間の動き推定によって前フ
レームデータから現フレームデータが推定される。その
ように推定された動きは前フレームと現フレームとの間
の画素の変位を表す２次元動きベクトルとして表され
る。

【０００４】本技術分野で提案された動き推定技法のう
ちの一つは、ブロックマッチングアルゴリズムである。
ブロックマッチングアルゴリズムによれば、現フレーム
は同一の大きさを有する複数の探索ブロックに分割され
る。典型的に、探索ブロックの大きさは、８×８〜３２
×３２画素範囲を有する。現フレームで探索ブロックに
対する動きベクトルを決定するために、現フレームの探
索ブロックと前フレーム内の比較的大きい領域に含まれ
た同一の大きさを有する複数の候補ブロックの各々との
間で類似性計算を行う。平均２乗エラー（Ｍｅａｎ Ｓ
ｑｕａｒｅ Ｅｒｒｏｒ；ＭＳＥ）を用いるエラー関数
は、現フレームの探索ブロックと前フレームの各々の候
補ブロックとの間で類似測定を行うために用いられる。
このようなエラー関数は、次式のように表現される。

【０００５】

【数６】

【０００６】ここで、Ｈ×Ｖは探索ブロックの大きさを
表し、Ｉ（ｉ，ｊ）は探索ブロックにおける座標（ｉ，
ｊ）での画素の輝度レベルを表し、Ｐ（ｉ，ｊ）は候補
ブロックにおける座標（ｉ，ｊ）での画素の輝度レベル
を表す。

【０００７】また、定義によれば、動きベクトルは最小
エラー関数をもたらす探索ブロックと候補ブロックとの
間の変位を表す。かかる動きベクトルは受信機で前フレ
ームからブロック単位で画像を再構成するために用いら
れる。

【０００８】しかし、そのような動き補償フレーム間符
号化技法は、ブロック間の相関を表す関数の使用に基づ
いた隣接ブロックの間の連続性を考慮していない。従っ
て、ブロック境界が構造的に直線であるため、そのブロ
ック境界が可視化され、特に、観測者にそのブロック境
界の不連続性が目立つことがある。このように動き補償
過程のうち、隣接ブロック間の境界から発生するブロッ
ク化効果は、それによって生じるアーティファクト（ａ
ｒｔｉｆａｃｔ）のため符号化済みの映像の質を低下さ
せる要因になる。

【０００９】

【発明が解決しようとする課題】従って、本発明の目的
は、ブロック化効果の影響を減らし得る改善された動き
ベクトル検知装置を提供することである。

【００１０】本発明の他の目的は、隣接ブロック間の境
界領域の連続性をもたらす動きベクトルを検知する改善
された動きベクトル検知装置を提供することである。

【００１１】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明基づく、現フレームの探索ブロックと前フ
レームの候補ブロックの各々と間の変位を推定する動き
ベクトルと、探索ブロックと候補ブロックとの間の類似
度を表すエラー関数とを生成する動き推定装置は、加重
関数を用いて平均２乗エラー計算に基づいたエラー関数
に加重して、最小エラーを伴う加重済みのエラー関数を
選択することによって、その対応する動きベクトルを探
索ブロックの動きベクトルとして生成する。

【００１２】

【実施例】以下、本発明の動きベクトル検知装置につい
て図面を参照しながらより詳しく説明する。

【００１３】図１には、動き推定及び補充補償システム
に取り付けられたブロック整合動きベクトル測定装置の
好ましい一実施例が示されている。このシステムは一連
の連続フレーム即ち、現フレームとその隣接または前フ
レームとの間の冗長性を除去することによって、相当量
のデータ圧縮を行うために用いられる。即ち、現フレー
ムと前フレームとの間には、物体の変位または動きによ
り起こされる偏差が生じることがある。しかし、このよ
うな偏差は、フレーム内における比較的小さい領域に限
定される。従って、現フレームの全映像データを受信機
（図示せず）へ伝送する必要はない。代わりに、その変
位情報即ち、動きベクトルを送ることでも十分である。
その後、受信機は伝送された動きベクトルを用いて、受
信機内のフレームメモリに記憶された映像データの前フ
レームから現フレームを再構成する。

【００１４】図示されたように、現フレーム信号はライ
ン１２を通じて現フレーム形成部１０へ提供される。こ
の現フレーム形成部１０は、現フレームを同一の大きさ
の複数の探索ブロックに分割するように働き、各々の探
索ブロックはＨ×Ｖ画素から成る。説明の便宜上、Ｈ及
びＶは、現フレームにおける各探索ブロックに対して１
６あると仮定する。各々の探索ブロックは加重関数を発
生して、順次に加重関数発生器１８へ印加される。この
加重関数発生器１８は、探索ブロック内で局部的サブブ
ロックを規定し、図２で符号７４で示された探索ブロッ
クは、局部的サブブロック７４を形成する探索ブロック
のエッジに沿って延在するエッジ画素とエッジ画素を除
いたエッジ内の内部画素とを有する。次に、局部的サブ
ブロック７４に対する局部的分散値が加重関数として取
り出される。

【００１５】この局部的分散値は次式のように計算され
る。

【００１６】

【数７】

【００１７】ここで、ｖａｒ（ｉ，ｊ）は、局部的サブ
ブロック内の座標（ｉ，ｊ）における画素の分散値であ
り、ＳＨ×ＳＶは、局部的サブブロックの大きさであ
り、Ｉ（ｉ，ｊ）は、局部的サブブロック内の画素座標
（ｉ，ｊ）における輝度レベルであり、ｍｅａｎは、局
部サブブロック内における内部画素への平均輝度レベル
である。

【００１８】この平均輝度レベルは、次式のように規定
される。

【００１９】

【数８】

【００２０】その後、加重関数は複数のブロック整合部
へ提供され、図１にはそのうち三つのブロック整合部４
１、４２及び４３のみが図示されている。

【００２１】一方、メモリ（図示せず）に記憶された前
フレームは、ライン１３を通して探索領域形成部１５へ
供給される。この探索領域形成部１５は探索または比較
処理ができるように、同一の大きさ、形状及び探索パタ
ーンからなる前フレームの比較的に大きい探索領域を規
定する。

【００２２】探索領域が探索領域形成部１５で特定され
たのち、探索領域のデータは複数の候補ブロック形成部
へ供給されるが、図１にはそのうちの三つの形成部２
１、２２及び２９のみが示されている。この各々の候補
ブロック形成部では、探索領域全体に亘って、その上端
の最も左側の位置から始めて、水平方向へ一回に１画素
ずつ探索ブロックを移動させた後、探索ブロックが探索
領域内の下端の最も右側の位置に到達するまで、その探
索領域を通じて一回に１走査ラインずつ垂直方向下向き
に探索ブロックを移動させることによって、探索領域か
ら候補ブロックを形成する。従って、可能な全ての候補
ブロックが同一の大きさＨ×Ｖで決定された探索領域内
で形成される。その後、各候補ブロックと現フレームの
探索ブロックとの間の相対的な変位が取り出され、該候
補ブロックの動きベクトルとしてライン３１〜３９を通
じてマルチプレクサ６０へ供給される。各候補ブロック
の画素データは、また各々の候補ブロック形成部２１〜
２９から各々のブロック整合部４１〜４９へ供給され
る。各々のブロック整合部４１〜４９では、現フレーム
ブロック形成部１０からの探索ブロックと各々の候補ブ
ロック形成部２１〜２９からの候補ブロックとの間の加
重関数を用いて、ＭＳＥ測定技法に基づいてエラー関数
を算定する。通常、探索ブロックと候補ブロックの画素
の間の比較は輝度レベルまたは光の強さに関して行わ
れ、該候補ブロックのエラー関数を算定する。エラー関
数は探索ブロックと選択された候補ブロックとの間の類
似度を表す。

【００２３】本発明によれば、各々のブロック整合部
（４１〜４９）において、加重関数発生器１８から取り
出された加重関数は、エラー関数に加重されて、再構成
される隣接ブロックの柔軟な連続性を伴う動きベクトル
を検知する。

【００２４】加重済みのエラー関数（Ｗ−ＭＳＥ）は、
次式のように規定される。

【００２５】

【数９】

【００２６】ここで、Ｈ×Ｖは、探索ブロックの大きさ
であり、Ｉ（ｉ，ｊ）は、探索ブロック内の画素座標
（ｉ，ｊ）での輝度レベルであり、Ｐ（ｉ，ｊ）は、候
補ブロック内の画素座標（ｉ，ｊ）での輝度レベルであ
る。

【００２７】ブロック整合部４１〜４９からの加重済み
の全エラー関数は、最小エラー検知器５０へ供給され
る。この最小エラー検知器５０は前記加重エラー関数を
比較して、最も小さいエラーを有する一つの加重済みの
エラー関数を選択する。

【００２８】この最小エラー検知器５０は、最小エラー
関数に対応するブロックを表す選択信号を動きベクトル
選択器６０へ出力する。通常のマルチプレクサからなる
動きベクトル選択器６０は、その選択信号に応答して、
最小エラー関数に対応する候補ブロックの変位ベクトル
を選択する。上記のように、候補ブロックが最小エラー
関数を有すれば、その候補ブロックは探索ブロックに最
も類似しており、よって、その候補ブロックの動きベク
トルが所望の動きベクトルとして選択される。

【００２９】図３には、加重関数の他の実施例を誘導す
るために用いられた２次元グラディエントフィルターの
フィルターウィンドウが示されている。

【００３０】加重関数発生器１８において、探索ブロッ
クは２次元グラディエントフィルターによってフィルタ
リングされ、加重関数としてのグラディエント関数を発
生する。

【００３１】このグラディエント関数は次式のように規
定される。

【００３２】

【数１０】

【００３３】ここで、▽（ｉ，ｊ）は、探索ブロック内
における座標（ｉ，ｊ）のグラディエントであり、Ｉ
（ｉ＋ｋ，ｊ＋１）は、座標（ｉ＋ｋ，ｊ＋１）におけ
る画素の輝度レベルであり、ｆ（ｋ，１）は、グラディ
エントフィルターのフィルター係数である。

【００３４】同様に、このような加重関数はブロック整
合部４１〜４９へ供給されて、各々のブロック整合部４
１〜４９で算定されたエラー関数に加重され、加重済み
のエラー関数が発生される。この加重済みのエラー関数
は、次式のように表される。

【００３５】

【数１１】

【００３６】ここで、Ｈ×Ｖｆは、探索ブロックの大き
さであり、Ｉ（ｉ，ｊ）は、探索ブロック内における画
素座標（ｉ，ｊ）の輝度レベルであり、Ｐ（ｉ，ｊ）
は、候補ブロック内における画素座標（ｉ，ｊ）の輝度
レベルである。

【００３７】フィルターを通して取り出された全エラー
関数は、最小エラー検知器５０へ供給され、上記の最小
エラーを起こす動きベクトルが選択される。

【００３８】本発明は特定の実施例について説明された
が、本発明の範囲を逸脱することなく、当業者は種々の
改変をなし得るであろう。

【００３９】

【発明の効果】従って、本発明によれば、ブロック化効
果を減らし、隣接ブロック間の境界領域の連続性をもた
らす動きベクトルを正確に検知することができる。

【図面の簡単な説明】

【図１】本発明による加重関数を用いるブロック整合動
き推定装置の概略的なブロック図である。

【図２】局部的サブブロックを有する現フレームの探索
ブロックと前フレームの大きい探索領域との間の例示的
なブロック整合過程を示す図である。

【図３】他の実施例の加重関数を生成する２次元グラデ
ィエントフィルターのフィルターウィンドウである。

【符号の説明】

１０ 現フレームブロック形成部 １２ ライン １３ ライン １５ 探索領域形成部 １８ 加重関数発生器 ２１〜２９ 候補ブロック形成部 ３１〜３９ ライン ４１〜４９ ブロック整合部 ５０ 最小エラー検知器 ６０ マルチプレクサ ７２ 探索ブロック ７４ 局部的サブブロック

Claims (7)

【特許請求の範囲】
1. 【請求項１】 ビデオ信号の現フレームと前フレーム
   との間の動きベクトルをブロック整合動き推定技法を用
   いて検知するものであって、該現フレームは同一の大き
   さからなる複数の探索ブロックに分割され、該前フレー
   ムは探索ブロックに対応する数の探索領域に分割され、
   各々の前記探索領域は同一の大きさからなる複数の候補
   ブロックに更に分割される、動きベクトル検知装置であ
   って、 前記各々の候補ブロックに対する探索ブロックに対して
   動き推定を行い、前記探索ブロックと前記各候補ブロッ
   クとの間の画素の変位を表す動きベクトルとその対応す
   るエラー関数を発生する手段と、 前記探索ブロック内における局部的サブブロックを規定
   して、前記探索ブロック内の内部画素を有する前記局部
   的サブブロックに対するローカル分散値を発生する手段
   と、 前記各エラー関数に前記ローカル分散値を加重して、加
   重済みのエラー関数を発生する手段と、 最小のエラー関数を伴う一つの加重済みのエラー関数を
   選択し、その対応する動きベクトルを発生する手段とを
   有することを特徴とする動きベクトル検知装置。
2. 【請求項２】 前記ローカル分散値が下記式のように
   規定され、 【数１】 ここで、ｖａｒ（ｉ，ｊ）；前記局部的サブブロック内
   の座標（ｉ，ｊ）における画素の分散値 ＳＨ×ＳＶ；前記局部的サブブロックの大きさ Ｉ（ｉ，ｊ）；前記局部的サブブロック内の画素座標
   （ｉ，ｊ）における輝度レベル ｍｅａｎ；前記局部的サブブロック内における内部画素
   への平均輝度レベル であることを特徴とする請求項１に記載の動きベクトル
   検知装置。
3. 【請求項３】 前記平均輝度レベルが、次式、 【数２】 によって計算されることを特徴とする請求項２に記載の
   動きベクトル検知装置。
4. 【請求項４】 前記加重済みのエラー関数が、下式の
   ように計算され、 【数３】 ここで、Ｈ×Ｖ；前記探索ブロックの大きさ Ｉ（ｉ，ｊ）；前記探索ブロック内の画素座標（ｉ，
   ｊ）における輝度レベル Ｐ（ｉ，ｊ）；前記候補ブロック内の画素座標（ｉ，
   ｊ）における輝度レベル であることを特徴とする請求項３に記載の動きベクトル
   検知装置。
5. 【請求項５】 ビデオ信号の現フレームと前フレーム
   との間の動きベクトルをブロック整合動き推定技法を用
   いて検知するものであって、該現フレームは同一の大き
   さからなる複数の探索ブロックに分割され、該前フレー
   ムは探索ブロックに対応する数の探索領域に分割され、
   その各々の探索領域は同一の大きさからなる複数の候補
   ブロックに更に分割される、動きベクトル検知装置であ
   って、 前記各々の候補ブロックに対する探索ブロックを動き推
   定して、前記探索ブロックと前記各候補ブロックとの間
   の画素の変位を表す動きベクトルとその対応するエラー
   関数とを発生する手段と、 前記探索ブロックをフィルタリングして、前記探索ブロ
   ック内における画素へのグラディエント関数を発生する
   手段と、 前記各エラー関数に前記グラディエント関数を加重し
   て、加重済みのエラー関数を発生する手段と、 最小のエラー関数を伴う一つの前記加重済みのエラー関
   数を選択し、その対応する動きベクトルを発生する手段
   とを有することを特徴とする動きベクトル検知装置。
6. 【請求項６】 前記グラディエント関数が、次式のよ
   うに規定され、 【数４】 ここで、▽（ｉ，ｊ）；前記探索ブロック内における座
   標（ｉ，ｊ）でのグラディエント Ｉ（ｉ＋ｋ，ｊ＋１）；座標（ｉ＋ｋ，ｊ＋１）におけ
   る画素の輝度レベル Ｆ（ｋ，１）；グラディエントフィルターのフィルター
   係数 であることを特徴とする請求項５に記載の動きベクトル
   検知装置。
7. 【請求項７】 前記加重済みのエラー関数が、次式の
   ように計算され、 【数５】 ここで、Ｈ×Ｖ；前記探索ブロックの大きさ Ｉ（ｉ，ｊ）；前記探索ブロック内における画素座標
   （ｉ，ｊ）の輝度レベル Ｐ（ｉ，ｊ）；前記候補ブロック内における画素座標
   （ｉ，ｊ）に輝度レベル であることを特徴とする請求項６に記載の動きベクトル
   検知装置。