JPH08251547A - 動きベクトル検出方法および動きベクトル検出装置 - Google Patents
動きベクトル検出方法および動きベクトル検出装置Info
- Publication number
- JPH08251547A JPH08251547A JP5118495A JP5118495A JPH08251547A JP H08251547 A JPH08251547 A JP H08251547A JP 5118495 A JP5118495 A JP 5118495A JP 5118495 A JP5118495 A JP 5118495A JP H08251547 A JPH08251547 A JP H08251547A
- Authority
- JP
- Japan
- Prior art keywords
- inter
- image
- difference
- motion vector
- evaluation function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【構成】 インタレース走査画像から、ブロックマッチ
ング法により画像の動きベクトルを検出する際に、フレ
ーム間差分とフィールド間差分（２）の両者からマッチ
ング誤差の評価関数を合成し（３）、最小の評価関数を
与える動きをそのブロックの動きベクトルとして検出す
る（４）。 【効果】 動きベクトルの検出精度を高め、インタレー
ス走査画像に対してフィールド間動き補償により走査線
補間を行う際の、補間誤りを低減することができる。
ング法により画像の動きベクトルを検出する際に、フレ
ーム間差分とフィールド間差分（２）の両者からマッチ
ング誤差の評価関数を合成し（３）、最小の評価関数を
与える動きをそのブロックの動きベクトルとして検出す
る（４）。 【効果】 動きベクトルの検出精度を高め、インタレー
ス走査画像に対してフィールド間動き補償により走査線
補間を行う際の、補間誤りを低減することができる。
Description
【０００１】
【産業上の利用分野】本発明は画像の動きベクトル検出
方法および動きベクトル検出装置に関わり、特にインタ
レース走査画像のフィールド間動き補償に利用する動き
ベクトルを、ブロックマッチング法に基づいて検出する
方法および装置に関するものである。
方法および動きベクトル検出装置に関わり、特にインタ
レース走査画像のフィールド間動き補償に利用する動き
ベクトルを、ブロックマッチング法に基づいて検出する
方法および装置に関するものである。
【０００２】
【従来の技術】画像から動きベクトルを検出する方法と
してはブロックマッチング法、勾配法などが周知の方法
であり、特に前者のブロックマッチング法は広く用いら
れている。このブロックマッチング法に対する改善方法
は多数提案されており、例えば、以下に列挙する文献
１，２がある。
してはブロックマッチング法、勾配法などが周知の方法
であり、特に前者のブロックマッチング法は広く用いら
れている。このブロックマッチング法に対する改善方法
は多数提案されており、例えば、以下に列挙する文献
１，２がある。
【０００３】文献１： Ｆ．Ｍ．Ｗａｎｇほか、“Ｔｉ
ｍｅ−ｒｅｃｕｒｓｉｖｅ ｄｅｉｎｔｅｒｌａｃｉｎ
ｇ ｆｏｒ ＩＤＴＶ ａｎｄ ｐｙｒａｍｉｄ ｃｏ
ｄｉｎｇ”，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ：
Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，Ｖｏｌ．
２，Ｎｏ．３，ｐｐ３６５−３７４，Ｏｃｔｏｂｅｒ１
９９０． 文献２： Ｓ．Ｋｗｏｎほか、“Ａ ｍｏｔｉｏｎ−ａ
ｄａｐｔｉｖｅ ｄｅ−ｉｎｔｅｒｌａｃｉｎｇ ｍｅ
ｈｏｄ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｏｎ Ｃ
ｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ，Ｖｏｌ．３
８，Ｎｏ．３，ｐｐ．１４５−１５０，Ａｕｇｕｓｔ
１９９２． また、動きベクトルを利用して画像のフィールド間動き
補償を行う具体的な信号処理の例として、本出願人によ
る以下の発明がある。
ｍｅ−ｒｅｃｕｒｓｉｖｅ ｄｅｉｎｔｅｒｌａｃｉｎ
ｇ ｆｏｒ ＩＤＴＶ ａｎｄ ｐｙｒａｍｉｄ ｃｏ
ｄｉｎｇ”，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ：
Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，Ｖｏｌ．
２，Ｎｏ．３，ｐｐ３６５−３７４，Ｏｃｔｏｂｅｒ１
９９０． 文献２： Ｓ．Ｋｗｏｎほか、“Ａ ｍｏｔｉｏｎ−ａ
ｄａｐｔｉｖｅ ｄｅ−ｉｎｔｅｒｌａｃｉｎｇ ｍｅ
ｈｏｄ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｏｎ Ｃ
ｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ，Ｖｏｌ．３
８，Ｎｏ．３，ｐｐ．１４５−１５０，Ａｕｇｕｓｔ
１９９２． また、動きベクトルを利用して画像のフィールド間動き
補償を行う具体的な信号処理の例として、本出願人によ
る以下の発明がある。
【０００４】文献３： 「画像の走査変換装置」特開平
６−１３３２８０号 文献４： 「画像の走査線数変換装置」特開平６−１４
１２９１号 ここで、文献３は、インタレース走査の画像信号を動き
補償を用いて順次走査に変換し、ディスプレイに表示さ
れる画質を改善する動き補償型順次走査変換について述
べている。また文献４は、動き補償型順次走査変換を画
像信号の走査線数の変換に利用したものである。
６−１３３２８０号 文献４： 「画像の走査線数変換装置」特開平６−１４
１２９１号 ここで、文献３は、インタレース走査の画像信号を動き
補償を用いて順次走査に変換し、ディスプレイに表示さ
れる画質を改善する動き補償型順次走査変換について述
べている。また文献４は、動き補償型順次走査変換を画
像信号の走査線数の変換に利用したものである。
【０００５】
【発明が解決しようとする課題】インタレース走査画像
からブロックマッチング法により動きベクトルを検出す
る場合、フレーム間差分の絶対値または２乗値をマッチ
ング誤差の評価関数とし、評価関数が最小となる動きを
画像の動きベクトルとして検出する方法が一般的であ
る。
からブロックマッチング法により動きベクトルを検出す
る場合、フレーム間差分の絶対値または２乗値をマッチ
ング誤差の評価関数とし、評価関数が最小となる動きを
画像の動きベクトルとして検出する方法が一般的であ
る。
【０００６】しかし、この方法では、縞模様などの周期
的な構造を持つ画像に対して誤ったベクトルを検出する
可能性が高く、誤ったベクトルにより動き補償を行うと
原画像には含まれない模様の画像を生じてしまい、大き
な画質妨害となる。この現象については以下の文献に詳
しく述べられている。
的な構造を持つ画像に対して誤ったベクトルを検出する
可能性が高く、誤ったベクトルにより動き補償を行うと
原画像には含まれない模様の画像を生じてしまい、大き
な画質妨害となる。この現象については以下の文献に詳
しく述べられている。
【０００７】文献５： 吹抜敬彦「ＴＶ画像の多次元信
号処理」ｐｐ．１９８−２０１、日刊工業新聞社、１９
８８。
号処理」ｐｐ．１９８−２０１、日刊工業新聞社、１９
８８。
【０００８】上記の不都合な現象は、フィールド間差分
から評価関数を生成すれば避けることができる。しかし
ながら、インタレース走査においては走査線１本おきに
間引かれた走査線構造を持つため、インタレース走査画
像のフィールド間差分からは垂直方向の動き成分Ｖy が
偶数（フレーム内走査線／フィールド）である動きベク
トルに対する評価関数は得られない。フィールド間動き
補償にとって画質的に有効なのは既述の文献３に記され
ているようにＶy が偶数の動きベクトルであるため、単
純にフィールド間差分から評価関数を生成したのでは、
有用な動きベクトルは検出できない。
から評価関数を生成すれば避けることができる。しかし
ながら、インタレース走査においては走査線１本おきに
間引かれた走査線構造を持つため、インタレース走査画
像のフィールド間差分からは垂直方向の動き成分Ｖy が
偶数（フレーム内走査線／フィールド）である動きベク
トルに対する評価関数は得られない。フィールド間動き
補償にとって画質的に有効なのは既述の文献３に記され
ているようにＶy が偶数の動きベクトルであるため、単
純にフィールド間差分から評価関数を生成したのでは、
有用な動きベクトルは検出できない。
【０００９】文献１，２ではこれを改善するため、イン
タレース走査において前後フィールドに含まれない走査
線を内挿してから、内挿された画像と原画像の間のフィ
ールド間差分を求めることにより、Ｖy が偶数の動きベ
クトルに対する評価関数を生成している。しかしなが
ら、この方法では特に垂直空間周波数の高い成分を多く
含む高精細な画像などにおいて、垂直空間周波数成分の
折り返しのため、精度の高い動きベクトルを検出するこ
とができない。
タレース走査において前後フィールドに含まれない走査
線を内挿してから、内挿された画像と原画像の間のフィ
ールド間差分を求めることにより、Ｖy が偶数の動きベ
クトルに対する評価関数を生成している。しかしなが
ら、この方法では特に垂直空間周波数の高い成分を多く
含む高精細な画像などにおいて、垂直空間周波数成分の
折り返しのため、精度の高い動きベクトルを検出するこ
とができない。
【００１０】なお、Ｖy が奇数のベクトルに対してフィ
ールド間差分から評価関数を生成することにより奇数の
ベクトルの検出精度を高めることも考えられるが（本出
願人による特願平６−３０３８０５号）、偶数のベクト
ルに関しては、問題点は残されたままである。
ールド間差分から評価関数を生成することにより奇数の
ベクトルの検出精度を高めることも考えられるが（本出
願人による特願平６−３０３８０５号）、偶数のベクト
ルに関しては、問題点は残されたままである。
【００１１】よって本発明の目的は、上述の点に鑑み、
インタレース走査画像から、より精度の高い動きベクト
ルを検出する動きベクトル検出方法および動きベクトル
検出装置を提供することにある。
インタレース走査画像から、より精度の高い動きベクト
ルを検出する動きベクトル検出方法および動きベクトル
検出装置を提供することにある。
【００１２】
【課題を解決するための手段】本発明に係る動きベクト
ル検出方法は、２：１インタレース走査画像から、ブロ
ックマッチング法により画像の動きベクトルを検出する
際に、フレーム間差分およびフィールド間差分の両者に
基づいてマッチング誤差の評価関数を合成し、最小の評
価関数値を与える動きを当該ブロックの動きベクトルと
して検出するものである。
ル検出方法は、２：１インタレース走査画像から、ブロ
ックマッチング法により画像の動きベクトルを検出する
際に、フレーム間差分およびフィールド間差分の両者に
基づいてマッチング誤差の評価関数を合成し、最小の評
価関数値を与える動きを当該ブロックの動きベクトルと
して検出するものである。
【００１３】また、本発明に係る動きベクトル検出装置
は、２：１インタレース走査のテレビジョン画像信号か
ら、画像の動きベクトルを検出する装置であって、原画
像のフレーム間差分を求めるフレーム間差分検出手段
と、インタレース走査において飛び越されている走査線
を内挿する内挿手段と、内挿された画像と原画像とから
フィールド間差分を求めるフィールド間差分検出手段
と、前記フレーム間差分および前記フィールド間差分を
合成することによりマッチング誤差の評価関数を生成す
る評価関数生成手段と、前記評価関数を最小とする動き
を画像の動きベクトルとして検出する動きベクトル検出
手段とを備えたものである。
は、２：１インタレース走査のテレビジョン画像信号か
ら、画像の動きベクトルを検出する装置であって、原画
像のフレーム間差分を求めるフレーム間差分検出手段
と、インタレース走査において飛び越されている走査線
を内挿する内挿手段と、内挿された画像と原画像とから
フィールド間差分を求めるフィールド間差分検出手段
と、前記フレーム間差分および前記フィールド間差分を
合成することによりマッチング誤差の評価関数を生成す
る評価関数生成手段と、前記評価関数を最小とする動き
を画像の動きベクトルとして検出する動きベクトル検出
手段とを備えたものである。
【００１４】
【作用】本発明の上記構成によれば、フレーム間差分
と、飛び越されている走査線を内挿した画像と原画像の
間のフィールド間差分との両者から評価関数を合成する
ことにより、垂直方向の動き成分Ｖy が偶数のベクトル
においても正確な動きベクトルを検出することができ
る。
と、飛び越されている走査線を内挿した画像と原画像の
間のフィールド間差分との両者から評価関数を合成する
ことにより、垂直方向の動き成分Ｖy が偶数のベクトル
においても正確な動きベクトルを検出することができ
る。
【００１５】
【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。
細に説明する。
【００１６】図１は、本発明の一実施例である動きベク
トル検出回路を示す。本回路の入力である信号ｐは、例
えば走査線５２５本、フィールド周波数６０Ｈｚ、２：
１インタレース走査のテレビジョン画像信号である。
トル検出回路を示す。本回路の入力である信号ｐは、例
えば走査線５２５本、フィールド周波数６０Ｈｚ、２：
１インタレース走査のテレビジョン画像信号である。
【００１７】図１に示した回路は、画像の適当なブロッ
ク毎（例えば水平１６画素×垂直８ライン毎）に動きベ
クトルを検出する動きベクトル検出回路であり、ブロッ
クマッチング法に基づき構成されている。
ク毎（例えば水平１６画素×垂直８ライン毎）に動きベ
クトルを検出する動きベクトル検出回路であり、ブロッ
クマッチング法に基づき構成されている。
【００１８】ブロックマッチング法は、ある物体が１フ
レーム期間にＶT （画素／フレーム）の速さで平行移動
しているとき、１フレーム前の画像をＶT 画素だけシフ
トすれば現フィールドの画像に一致し、フレーム間差分
のブロック内累積値が最小値を示すという原理を利用し
たものである。
レーム期間にＶT （画素／フレーム）の速さで平行移動
しているとき、１フレーム前の画像をＶT 画素だけシフ
トすれば現フィールドの画像に一致し、フレーム間差分
のブロック内累積値が最小値を示すという原理を利用し
たものである。
【００１９】また図１に示した回路は、走査線内挿回路
１、差分発生回路２、評価関数生成回路３、最小値検出
回路４の４ブロックから構成されている。
１、差分発生回路２、評価関数生成回路３、最小値検出
回路４の４ブロックから構成されている。
【００２０】走査線内挿回路１は、１Ｈ（Ｈはフィール
ド内走査線）遅延回路（以下、ディレイという）５、加
算器６、１／２係数器７から構成されており、上下２本
の走査線の平均値を内挿信号ｐ′として出力している。
すなわち、本実施例では走査線の内挿（補間）にフィー
ルド内補間を利用している。
ド内走査線）遅延回路（以下、ディレイという）５、加
算器６、１／２係数器７から構成されており、上下２本
の走査線の平均値を内挿信号ｐ′として出力している。
すなわち、本実施例では走査線の内挿（補間）にフィー
ルド内補間を利用している。
【００２１】信号ｐ，ｐ′は差分発生回路２に入力され
る。信号ｐはディレイ９において（１フレーム＋２Ｖ
T ）だけ遅延させられる。ＶT （ＶxT，ＶyT）は動きベ
クトル検出の対象となる候補ベクトルであり、候補ベク
トル発生回路８から、あらかじめ仕様により設定された
範囲内のすべての候補ベクトルが順次発生させられる。
る。信号ｐはディレイ９において（１フレーム＋２Ｖ
T ）だけ遅延させられる。ＶT （ＶxT，ＶyT）は動きベ
クトル検出の対象となる候補ベクトルであり、候補ベク
トル発生回路８から、あらかじめ仕様により設定された
範囲内のすべての候補ベクトルが順次発生させられる。
【００２２】ここで、ＶxT，ＶyTは、各々ＶT の水平方
向成分，垂直方向成分である。ディレイ９の動作は後
に、より詳しく述べる。
向成分，垂直方向成分である。ディレイ９の動作は後
に、より詳しく述べる。
【００２３】減算器１２において、信号ｐとディレイ９
の出力の差分をとることにより、動き補償フレーム間差
分信号ｄｆｒｄ（ｄｉｓｐｌａｃｅｄ ｆｒａｍｅ ｄ
ｉｆｆｅｒｅｎｃｅ）が求められる。
の出力の差分をとることにより、動き補償フレーム間差
分信号ｄｆｒｄ（ｄｉｓｐｌａｃｅｄ ｆｒａｍｅ ｄ
ｉｆｆｅｒｅｎｃｅ）が求められる。
【００２４】信号ｐはディレイ１０においても（１フィ
ールド＋ＶT ）だけ遅延させられる。また、同様に信号
ｐ′はディレイ１１において（１フィールド＋ＶT ）だ
け遅延させられる。ディレイ１０，１１の動作は後によ
り詳しく述べる。
ールド＋ＶT ）だけ遅延させられる。また、同様に信号
ｐ′はディレイ１１において（１フィールド＋ＶT ）だ
け遅延させられる。ディレイ１０，１１の動作は後によ
り詳しく述べる。
【００２５】ディレイ１０，１１の出力は共にスイッチ
１３に導かれ、ＶyTが（フレーム内走査線／フィール
ド）の単位で数えて偶数か奇数かにより、スイッチ１３
において切り換えられる。すなわち、ＶyTを２進信号で
表した場合、その最下位ビット（図１のＶyTLSB ）が
“１”，“０”かによりＶyTの偶奇が表されるので、Ｖ
yTLSB が“１”の場合ディレイ１０の出力を、“０”の
場合ディレイ１１の出力を選択する。減算器１４では信
号ｐとスイッチ１３の出力の差分をとることにより、動
き補償フィールド間差分信号ｄｆｄｄ（ｄｉｓｐｌａｃ
ｅｄ ｆｉｅｌｄｄｉｆｆｅｒｅｎｃｅ）が求められ
る。
１３に導かれ、ＶyTが（フレーム内走査線／フィール
ド）の単位で数えて偶数か奇数かにより、スイッチ１３
において切り換えられる。すなわち、ＶyTを２進信号で
表した場合、その最下位ビット（図１のＶyTLSB ）が
“１”，“０”かによりＶyTの偶奇が表されるので、Ｖ
yTLSB が“１”の場合ディレイ１０の出力を、“０”の
場合ディレイ１１の出力を選択する。減算器１４では信
号ｐとスイッチ１３の出力の差分をとることにより、動
き補償フィールド間差分信号ｄｆｄｄ（ｄｉｓｐｌａｃ
ｅｄ ｆｉｅｌｄｄｉｆｆｅｒｅｎｃｅ）が求められ
る。
【００２６】評価関数生成回路３では、絶対値回路１
５，１６において、各々ｄｆｒｄ，ｄｆｄｄの絶対値を
求め、それらを加算器１７で加算する。累積器１８は、
あらかじめ設定されたブロック領域Ｂ内における加算器
１７の出力の累積値を求める。累積器１８の出力は、そ
のブロックにおける候補ベクトルＶT のマッチング誤差
の評価関数である。これをＤＦＤ（ＶT ）で表す。すな
わち、
５，１６において、各々ｄｆｒｄ，ｄｆｄｄの絶対値を
求め、それらを加算器１７で加算する。累積器１８は、
あらかじめ設定されたブロック領域Ｂ内における加算器
１７の出力の累積値を求める。累積器１８の出力は、そ
のブロックにおける候補ベクトルＶT のマッチング誤差
の評価関数である。これをＤＦＤ（ＶT ）で表す。すな
わち、
【００２７】
【数１】 ＤＦＤ（ＶT ）＝ΣB （｜ｄｆｒｄ｜＋｜ｄｆｄｄ｜） …（１） である。
【００２８】最小値検出回路４では、ＤＦＤの最小値を
求め、最小値を発生するＶT をそのブロックの動きベク
トルＶ（Ｖx ，Ｖy ）として出力する。また、そのとき
のＤＦＤの値をベクトルＶの誤差Ｅとして出力する。
求め、最小値を発生するＶT をそのブロックの動きベク
トルＶ（Ｖx ，Ｖy ）として出力する。また、そのとき
のＤＦＤの値をベクトルＶの誤差Ｅとして出力する。
【００２９】次に、図２を用いて回路９，１０，１１の
動作について説明する。本図は（ａ），（ｂ）とも画像
の走査を時間−垂直面で見た図である。本図の横軸は時
間ｔであり、縦軸は画面の垂直方向ｙを表している。
Ａ，Ｂ，Ｃ，…，ａ，ｂ，ｃ，…等は各走査線に付けら
れた記号である。
動作について説明する。本図は（ａ），（ｂ）とも画像
の走査を時間−垂直面で見た図である。本図の横軸は時
間ｔであり、縦軸は画面の垂直方向ｙを表している。
Ａ，Ｂ，Ｃ，…，ａ，ｂ，ｃ，…等は各走査線に付けら
れた記号である。
【００３０】以下、候補ベクトルの垂直方向成分ＶyTに
ついて考える。ここで、ＶyTの単位は（フレーム内）走
査線／フィールドである。水平成分については、以下の
ような偶奇に関する特殊事情はない。
ついて考える。ここで、ＶyTの単位は（フレーム内）走
査線／フィールドである。水平成分については、以下の
ような偶奇に関する特殊事情はない。
【００３１】まず、フレーム間差分ｄｆｒｄに関して
は、ＶyTの値と走査線の位置の関係は図２（ａ）のよう
になる。フレーム間差分に基づく回路２において、ディ
レイ９のディレイ量が５２５Ｈ（Ｈは１ライン（＝１フ
ィールド内走査線））のとき、信号ｐが走査線Ｒを走査
しているときには、ディレイ９の出力はちょうど１フレ
ーム前、すなわち走査線Ｄである。
は、ＶyTの値と走査線の位置の関係は図２（ａ）のよう
になる。フレーム間差分に基づく回路２において、ディ
レイ９のディレイ量が５２５Ｈ（Ｈは１ライン（＝１フ
ィールド内走査線））のとき、信号ｐが走査線Ｒを走査
しているときには、ディレイ９の出力はちょうど１フレ
ーム前、すなわち走査線Ｄである。
【００３２】従って、ＤとＲの差がＶyT＝０に対応する
フレーム間差分である。ディレイ量が１ライン分減少し
て５２４Ｈのときは、ディレイ９の出力は走査線Ｅであ
り、（Ｅ−Ｒ）はＶyT＝１に対応するフレーム間差分で
ある。１ラインは２フレーム内走査線であるから、動き
ベクトルのディレイ量を文献３の式（１）のように定義
すれば、ディレイ９のディレイ量は図１に示したように
（１フレーム＋２ＶT）と表せる。
フレーム間差分である。ディレイ量が１ライン分減少し
て５２４Ｈのときは、ディレイ９の出力は走査線Ｅであ
り、（Ｅ−Ｒ）はＶyT＝１に対応するフレーム間差分で
ある。１ラインは２フレーム内走査線であるから、動き
ベクトルのディレイ量を文献３の式（１）のように定義
すれば、ディレイ９のディレイ量は図１に示したように
（１フレーム＋２ＶT）と表せる。
【００３３】以下、同様に、ＶyT＝…，−３，−２，
…，２，３，…に対して図２（ａ）のようなフレーム間
差分が対応する。これらの差分の絶対値の最小値を検出
すれば、動きベクトルＶの垂直方向成分Ｖy に関して、
すべての整数値の動きベクトルが検出できる。
…，２，３，…に対して図２（ａ）のようなフレーム間
差分が対応する。これらの差分の絶対値の最小値を検出
すれば、動きベクトルＶの垂直方向成分Ｖy に関して、
すべての整数値の動きベクトルが検出できる。
【００３４】フィールド間差分ｄｆｄｄに関しては、Ｖ
yTと走査線の関係は図２（ｂ）のようになる。ディレイ
１０のディレイ量が２６２Ｈの場合、信号ｐが走査線Ｒ
を走査しているときには、ディレイ１０の出力は走査線
ｅである。このとき、（ｅ−Ｒ）はＶyT＝１に対応する
フィールド間差分である。ディレイ量が１ライン分減少
して２６１Ｈのときは、ディレイ１０の出力は走査線ｇ
であり、（ｇ−Ｒ）はＶyT＝３に対応するフィールド間
差分である。従ってディレイ１０のディレイ量は、ディ
レイ９と同様な表現をすれば（１フィールド＋ＶT ）と
表せる。このように、ディレイ１０の出力とＲの差分
は、ＶyTが奇数の場合のフィールド間差分を形成する。
yTと走査線の関係は図２（ｂ）のようになる。ディレイ
１０のディレイ量が２６２Ｈの場合、信号ｐが走査線Ｒ
を走査しているときには、ディレイ１０の出力は走査線
ｅである。このとき、（ｅ−Ｒ）はＶyT＝１に対応する
フィールド間差分である。ディレイ量が１ライン分減少
して２６１Ｈのときは、ディレイ１０の出力は走査線ｇ
であり、（ｇ−Ｒ）はＶyT＝３に対応するフィールド間
差分である。従ってディレイ１０のディレイ量は、ディ
レイ９と同様な表現をすれば（１フィールド＋ＶT ）と
表せる。このように、ディレイ１０の出力とＲの差分
は、ＶyTが奇数の場合のフィールド間差分を形成する。
【００３５】一方、ディレイ１１は内挿された走査線信
号ｐ′をディレイさせているために、ディレイ１１のデ
ィレイ量が２６２Ｈのときの出力はｄとなり、これはＶ
yT＝０に対応する。このように、ディレイ１１のディレ
イ量が（１フィールド＋ＶT）であれば、ディレイ１１
の出力とＲの差分は、ＶyTが偶数の場合のフィールド間
差分を形成する。従ってＶyTの偶奇によりディレイ１０
と１１の出力を切り換えて、その出力の絶対値の最小値
を検出すれば、動きベクトルＶの垂直方向成分Ｖy に関
してすべての整数値の動きベクトルが検出できる。
号ｐ′をディレイさせているために、ディレイ１１のデ
ィレイ量が２６２Ｈのときの出力はｄとなり、これはＶ
yT＝０に対応する。このように、ディレイ１１のディレ
イ量が（１フィールド＋ＶT）であれば、ディレイ１１
の出力とＲの差分は、ＶyTが偶数の場合のフィールド間
差分を形成する。従ってＶyTの偶奇によりディレイ１０
と１１の出力を切り換えて、その出力の絶対値の最小値
を検出すれば、動きベクトルＶの垂直方向成分Ｖy に関
してすべての整数値の動きベクトルが検出できる。
【００３６】以上のように、図１の回路はフレーム間差
分ｄｆｒｄとフィールド間差分ｄｆｄｄに基づいて動き
ベクトルの検出を行っている。これにより、以下のよう
に画質妨害を引き起こす動きベクトルの検出誤りを低減
できる。
分ｄｆｒｄとフィールド間差分ｄｆｄｄに基づいて動き
ベクトルの検出を行っている。これにより、以下のよう
に画質妨害を引き起こす動きベクトルの検出誤りを低減
できる。
【００３７】図３は、ある画像に対する動きベクトル検
出と動き補償の例である。画像はフィールド内走査線の
２本毎に白黒が反転する横縞画像であり、その真の動き
の垂直方向成分はＶy ＝４である。図３の表記法は、走
査線に白黒を付記した以外は図２と同様である。また、
三角の点は内挿された走査線、すなわち信号ｐ′を表
す。灰色の三角形は、白と黒の平均値として内挿された
走査線である。
出と動き補償の例である。画像はフィールド内走査線の
２本毎に白黒が反転する横縞画像であり、その真の動き
の垂直方向成分はＶy ＝４である。図３の表記法は、走
査線に白黒を付記した以外は図２と同様である。また、
三角の点は内挿された走査線、すなわち信号ｐ′を表
す。灰色の三角形は、白と黒の平均値として内挿された
走査線である。
【００３８】図３において、もしフレーム間差分ｄｆｒ
ｄのみにより動きベクトルを検出すると、Ｖy ＝０の動
きに対応する（Ｄ−Ｒ），（Ｅ−Ｒ′）、Ｖy ＝４の動
きに対応する（Ｈ−Ｒ），（Ｉ−Ｒ′）等の差分がすべ
てゼロとなるため、Ｖy ＝０，４のいずれもが動きベク
トルの有力な候補となる。
ｄのみにより動きベクトルを検出すると、Ｖy ＝０の動
きに対応する（Ｄ−Ｒ），（Ｅ−Ｒ′）、Ｖy ＝４の動
きに対応する（Ｈ−Ｒ），（Ｉ−Ｒ′）等の差分がすべ
てゼロとなるため、Ｖy ＝０，４のいずれもが動きベク
トルの有力な候補となる。
【００３９】いずれが選択されるかは、画像に含まれる
ノイズや、あらかじめ設定された回路の優先順位など、
本来の画像内容に無関係な理由により決定される。
ノイズや、あらかじめ設定された回路の優先順位など、
本来の画像内容に無関係な理由により決定される。
【００４０】しかし、これらのベクトルを文献３，４に
述べられているようなフィールド間動き補償に用いた場
合、動き補償の結果には大きな差が生じる。すなわち、
ＲとＲ′の中間のＲm 点に動き補償により走査線を内挿
する場合、Ｖy ＝４が検出されれば走査線ｉをシフトす
ることにより白い走査線が正しく内挿される。しかし、
Ｖy ＝０が検出されると走査線ｅをシフトすることによ
り黒い走査線が内挿される。これは明らかに偽信号であ
って、実際の画像でもよく目立つ画質妨害となる。この
ように、ｄｆｒｄのみによる動きベクトル検出では、画
質妨害を生じる動きベクトルの候補を排除できない。
述べられているようなフィールド間動き補償に用いた場
合、動き補償の結果には大きな差が生じる。すなわち、
ＲとＲ′の中間のＲm 点に動き補償により走査線を内挿
する場合、Ｖy ＝４が検出されれば走査線ｉをシフトす
ることにより白い走査線が正しく内挿される。しかし、
Ｖy ＝０が検出されると走査線ｅをシフトすることによ
り黒い走査線が内挿される。これは明らかに偽信号であ
って、実際の画像でもよく目立つ画質妨害となる。この
ように、ｄｆｒｄのみによる動きベクトル検出では、画
質妨害を生じる動きベクトルの候補を排除できない。
【００４１】これに対し、式（１）のようにｄｆｒｄと
ｄｆｄｄの絶対値の和により動きベクトルを検出する場
合は、差分（ｄ−Ｒ）が大きな値を持つため、Ｖy ＝０
の動きベクトルが検出されることはない。差分（ｆ−
Ｒ′），（ｊ−Ｒ′）は中間の値を持つが、これはＶyT
＝０，ＶyT＝４いずれにも含まれるので、結果としてＶ
y ＝４が検出される。このように、図１の回路によれ
ば、フィールド間動き補償に必要な動きベクトルが正確
に検出できる。
ｄｆｄｄの絶対値の和により動きベクトルを検出する場
合は、差分（ｄ−Ｒ）が大きな値を持つため、Ｖy ＝０
の動きベクトルが検出されることはない。差分（ｆ−
Ｒ′），（ｊ−Ｒ′）は中間の値を持つが、これはＶyT
＝０，ＶyT＝４いずれにも含まれるので、結果としてＶ
y ＝４が検出される。このように、図１の回路によれ
ば、フィールド間動き補償に必要な動きベクトルが正確
に検出できる。
【００４２】以上の図３に示した例だけでは、ｄｆｄｄ
のみにより動きベクトルを検出しても良好な結果が得ら
れるようにも考えられる。しかしながら、図４に示すよ
うな別の画像においては、ｄｆｄｄのみで検出すると正
しいベクトルが検出されないため、やはり式（１）のよ
うにｄｆｒｄとｄｆｄｄの両者を考慮する必要がある。
のみにより動きベクトルを検出しても良好な結果が得ら
れるようにも考えられる。しかしながら、図４に示すよ
うな別の画像においては、ｄｆｄｄのみで検出すると正
しいベクトルが検出されないため、やはり式（１）のよ
うにｄｆｒｄとｄｆｄｄの両者を考慮する必要がある。
【００４３】図４の画像は、フィールド内走査線の１本
毎に白黒が反転する静止した横縞画像である。図４の表
記法は、図３と同様である。静止画像であるからＶy ＝
０が検出されねばならないが、ｄｆｄｄのみから検出す
ると（ｅ−Ｒ），（ｇ−Ｒ′）がゼロになるためＶy ＝
１が検出されてしまう。これに対し、式（１）の評価関
数を用いれば、Ｖy ＝１に対応する差分（Ｅ−Ｒ），
（Ｆ−Ｒ′），（ｅ−Ｒ），（ｇ−Ｒ′）の絶対値和よ
り、Ｖy ＝０に対応する差分（Ｄ−Ｒ），（Ｅ−
Ｒ′），（ｄ−Ｒ），（ｆ−Ｒ′）の絶対値和のほうが
小となるため、Ｖy ＝０が正しく検出される。
毎に白黒が反転する静止した横縞画像である。図４の表
記法は、図３と同様である。静止画像であるからＶy ＝
０が検出されねばならないが、ｄｆｄｄのみから検出す
ると（ｅ−Ｒ），（ｇ−Ｒ′）がゼロになるためＶy ＝
１が検出されてしまう。これに対し、式（１）の評価関
数を用いれば、Ｖy ＝１に対応する差分（Ｅ−Ｒ），
（Ｆ−Ｒ′），（ｅ−Ｒ），（ｇ−Ｒ′）の絶対値和よ
り、Ｖy ＝０に対応する差分（Ｄ−Ｒ），（Ｅ−
Ｒ′），（ｄ−Ｒ），（ｆ−Ｒ′）の絶対値和のほうが
小となるため、Ｖy ＝０が正しく検出される。
【００４４】図５は、評価関数生成回路の別の実施例で
ある。すなわち図５に示した回路を、図１の回路３の代
わりに使用できる。図５では絶対値回路１５，１６の出
力、すなわちｄｆｒｄ，ｄｆｄｄの絶対値を各々累積器
３１，３２で累積している。その後、累積器３１，３２
の出力に係数器３３，３４で係数α1 ，α2 を乗じ、加
算器３５で加算している。加算と累積の順序は入れ替え
ても等価であるから、この場合のマッチング誤差の評価
関数は
ある。すなわち図５に示した回路を、図１の回路３の代
わりに使用できる。図５では絶対値回路１５，１６の出
力、すなわちｄｆｒｄ，ｄｆｄｄの絶対値を各々累積器
３１，３２で累積している。その後、累積器３１，３２
の出力に係数器３３，３４で係数α1 ，α2 を乗じ、加
算器３５で加算している。加算と累積の順序は入れ替え
ても等価であるから、この場合のマッチング誤差の評価
関数は
【００４５】
【数２】 ＤＦＤ（ＶT ）＝ΣB （α1 ｜ｄｆｒｄ｜＋α2 ｜ｄｆｄｄ｜） …（２） となる。絶対値回路と累積器を直結することにより、回
路実現上の利点として、回路のＬＳＩ化をしやすい可能
性がある。
路実現上の利点として、回路のＬＳＩ化をしやすい可能
性がある。
【００４６】式（２）による図５の回路では、画像の内
容等の条件により、ｄｆｒｄとｄｆｄｄに対して最適な
重みを付して加算することにより、動きベクトル検出の
精度をさらに改善できる。
容等の条件により、ｄｆｒｄとｄｆｄｄに対して最適な
重みを付して加算することにより、動きベクトル検出の
精度をさらに改善できる。
【００４７】図６は、評価関数生成回路のさらに別の実
施例である。図６では、図１の加算器１７に代えて乗算
器４１、最大値選択回路（ｍａｘ）４２、最小値選択回
路（ｍｉｎ）４３を使用している。画像の絵柄やそれを
撮影したカメラの特性、ノイズの性質等によっては、ｄ
ｆｒｄとｄｆｄｄの加算よりもこれらの演算の方が、よ
り正確な動きベクトルを検出できる場合もある。
施例である。図６では、図１の加算器１７に代えて乗算
器４１、最大値選択回路（ｍａｘ）４２、最小値選択回
路（ｍｉｎ）４３を使用している。画像の絵柄やそれを
撮影したカメラの特性、ノイズの性質等によっては、ｄ
ｆｒｄとｄｆｄｄの加算よりもこれらの演算の方が、よ
り正確な動きベクトルを検出できる場合もある。
【００４８】なお、本発明は図１に示した回路以外でも
実施できる。例えば図１では、走査線内挿回路としてフ
ィールド内補間回路を使用したが、文献１，２のような
巡回型の補間回路を使用してもよい。また、絶対値回路
１５，１６の代わりに２乗回路を使用してもよい。
実施できる。例えば図１では、走査線内挿回路としてフ
ィールド内補間回路を使用したが、文献１，２のような
巡回型の補間回路を使用してもよい。また、絶対値回路
１５，１６の代わりに２乗回路を使用してもよい。
【００４９】また本発明は、図１で説明したような全て
の動きベクトルの候補から動きベクトルを検出する検出
回路として利用できるほかに、垂直方向の動き成分Ｖy
が偶数の動きベクトルのみを検出する動きベクトル検出
回路（本出願人による特願平６−３０３８０５号参照）
としても利用できる。
の動きベクトルの候補から動きベクトルを検出する検出
回路として利用できるほかに、垂直方向の動き成分Ｖy
が偶数の動きベクトルのみを検出する動きベクトル検出
回路（本出願人による特願平６−３０３８０５号参照）
としても利用できる。
【００５０】
【発明の効果】以上説明したとおり本発明によれば、フ
レーム間差分とフィールド間差分との両者からブロック
マッチング法におけるマッチング誤差の評価関数を合成
することにより、インタレース走査画像からより精度の
高い動きベクトルを検出でき、動きベクトルを利用する
フィールド間動き補償を用いた画像処理の画質を改善す
ることができる。
レーム間差分とフィールド間差分との両者からブロック
マッチング法におけるマッチング誤差の評価関数を合成
することにより、インタレース走査画像からより精度の
高い動きベクトルを検出でき、動きベクトルを利用する
フィールド間動き補償を用いた画像処理の画質を改善す
ることができる。
【図１】本発明の一実施例を示す図である。
【図２】フレーム間差分およびフィールド間差分を示す
図である。
図である。
【図３】動きベクトル検出と動き補償の一例を示す図で
ある。
ある。
【図４】動きベクトル検出と動き補償の他の例を示す図
である。
である。
【図５】本発明の他の実施例を示す図である。
【図６】本発明のさらに他の実施例を示す図である。
１ 走査線内挿回路 ２ 差分発生回路 ３ 評価関数生成回路 ４ 最小値検出回路
Claims (3)
- 【請求項１】 ２：１インタレース走査画像から、ブロ
ックマッチング法により画像の動きベクトルを検出する
際に、 フレーム間差分およびフィールド間差分の両者に基づい
てマッチング誤差の評価関数を合成し、 最小の評価関数値を与える動きを当該ブロックの動きベ
クトルとして検出することを特徴とする動きベクトル検
出方法。 - 【請求項２】 ２：１インタレース走査のテレビジョン
画像信号から、画像の動きベクトルを検出する装置であ
って、 原画像のフレーム間差分を求めるフレーム間差分検出手
段と、 インタレース走査において飛び越されている走査線を内
挿する内挿手段と、 内挿された画像と原画像とからフィールド間差分を求め
るフィールド間差分検出手段と、 前記フレーム間差分および前記フィールド間差分を合成
することによりマッチング誤差の評価関数を生成する評
価関数生成手段と、 前記評価関数を最小とする動きを画像の動きベクトルと
して検出する動きベクトル検出手段とを備えたことを特
徴とする動きベクトル検出装置。 - 【請求項３】 請求項２において、前記評価関数生成手
段は、前記フレーム間差分の絶対値または２乗値と、前
記フィールド間差分の絶対値または２乗値の和を評価関
数とすることを特徴とする動きベクトル検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5118495A JP3355054B2 (ja) | 1995-03-10 | 1995-03-10 | 動きベクトル検出方法および動きベクトル検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5118495A JP3355054B2 (ja) | 1995-03-10 | 1995-03-10 | 動きベクトル検出方法および動きベクトル検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08251547A true JPH08251547A (ja) | 1996-09-27 |
| JP3355054B2 JP3355054B2 (ja) | 2002-12-09 |
Family
ID=12879776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5118495A Expired - Fee Related JP3355054B2 (ja) | 1995-03-10 | 1995-03-10 | 動きベクトル検出方法および動きベクトル検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3355054B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000348187A (ja) * | 1999-03-29 | 2000-12-15 | Sony Corp | 画像処理装置および画像処理方法、並びに記録媒体 |
| JP2005318586A (ja) * | 2004-04-30 | 2005-11-10 | Matsushita Electric Ind Co Ltd | 改良された動きベクトル選択を備える動きベクトル検出 |
| JP2008500758A (ja) * | 2004-05-25 | 2008-01-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | インターレースビデオ画像の動き推定 |
| JP2008504786A (ja) * | 2004-06-30 | 2008-02-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオモード検出による動き補償 |
-
1995
- 1995-03-10 JP JP5118495A patent/JP3355054B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000348187A (ja) * | 1999-03-29 | 2000-12-15 | Sony Corp | 画像処理装置および画像処理方法、並びに記録媒体 |
| JP4496595B2 (ja) * | 1999-03-29 | 2010-07-07 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに記録媒体 |
| JP2005318586A (ja) * | 2004-04-30 | 2005-11-10 | Matsushita Electric Ind Co Ltd | 改良された動きベクトル選択を備える動きベクトル検出 |
| JP2008500758A (ja) * | 2004-05-25 | 2008-01-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | インターレースビデオ画像の動き推定 |
| JP2008504786A (ja) * | 2004-06-30 | 2008-02-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオモード検出による動き補償 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3355054B2 (ja) | 2002-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7057665B2 (en) | Deinterlacing apparatus and method | |
| JP2832927B2 (ja) | 走査線補間装置及び走査線補間用動きベクトル検出装置 | |
| US6577345B1 (en) | Deinterlacing method and apparatus based on motion-compensated interpolation and edge-directional interpolation | |
| US5444493A (en) | Method and apparatus for providing intra-field interpolation of video signals with adaptive weighting based on gradients of temporally adjacent fields | |
| JP3189292B2 (ja) | 走査線補間装置 | |
| JP3355054B2 (ja) | 動きベクトル検出方法および動きベクトル検出装置 | |
| JP4226939B2 (ja) | 順次走査変換装置及び順次走査変換方法 | |
| JP3814326B2 (ja) | 映像信号処理回路 | |
| JP2762791B2 (ja) | 走査線補間装置 | |
| JP3576618B2 (ja) | 動きベクトル検出方法および装置 | |
| KR100510670B1 (ko) | 디인터레이싱 장치 | |
| KR100644601B1 (ko) | 움직임 보상형 보간을 이용한 디-인터레이싱 장치 및 그방법 | |
| JP3172323B2 (ja) | 映像信号の方式変換装置 | |
| JP3121519B2 (ja) | 動きベクトルを用いた動き内挿方法および動き内挿回路ならびに動きベクトル検出方法および動きベクトル検出回路 | |
| JP2762794B2 (ja) | 走査線補間装置 | |
| JP3022977B2 (ja) | テレビジョン信号内挿方式 | |
| JP3314961B2 (ja) | インタレース妨害除去装置 | |
| KR100710236B1 (ko) | 화소 보간 장치 및 화소 보간 방법 | |
| KR100382650B1 (ko) | 비디오신호 처리 시스템에서의 스케일 움직임 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치 | |
| JP4346327B2 (ja) | 順次走査変換装置及び順次走査変換方法 | |
| JP2938677B2 (ja) | 動き補償予測方法 | |
| KR100382651B1 (ko) | 비디오신호 처리 시스템에서의 영역별 움직임 판단 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치 | |
| JPH07131678A (ja) | 垂直エッジ検出回路 | |
| JP3527299B2 (ja) | 動きベクトル検出方法および装置 | |
| JP3242164B2 (ja) | 画像信号の走査線数変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090927 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100927 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110927 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120927 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120927 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130927 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |