JPH08186800A - 動きベクトル検出方法 - Google Patents
動きベクトル検出方法Info
- Publication number
- JPH08186800A JPH08186800A JP7000033A JP3395A JPH08186800A JP H08186800 A JPH08186800 A JP H08186800A JP 7000033 A JP7000033 A JP 7000033A JP 3395 A JP3395 A JP 3395A JP H08186800 A JPH08186800 A JP H08186800A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- small
- image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Systems (AREA)
Abstract
(57)【要約】
【目的】 ブロックサイズに関する従来法のトレードオ
フを改善し、より正確な動きベクトルの検出可能な方法
を提供する。 【構成】 テレビジョン画像信号から画像の動きベクト
ルを検出する際に、同一の画像部分に対して、大きなブ
ロックサイズと小さなブロックサイズを用いて各々動き
ベクトルを検出（１，２）し、大きなブロックにより検
出したベクトルの検出誤差が小さな場合（７）はそのベ
クトルを出力ベクトルとして選択し（３）、そうでない
場合（７）は小さなブロックにより検出したベクトルを
出力ベクトルとして選択（３）する。
フを改善し、より正確な動きベクトルの検出可能な方法
を提供する。 【構成】 テレビジョン画像信号から画像の動きベクト
ルを検出する際に、同一の画像部分に対して、大きなブ
ロックサイズと小さなブロックサイズを用いて各々動き
ベクトルを検出（１，２）し、大きなブロックにより検
出したベクトルの検出誤差が小さな場合（７）はそのベ
クトルを出力ベクトルとして選択し（３）、そうでない
場合（７）は小さなブロックにより検出したベクトルを
出力ベクトルとして選択（３）する。
Description
【０００１】
【産業上の利用分野】この発明は画像の動きベクトル検
出方法に係り、特に画像のブロック毎の動きベクトルを
検出する方法に関するものである。
出方法に係り、特に画像のブロック毎の動きベクトルを
検出する方法に関するものである。
【０００２】
【従来の技術】動きベクトル検出の原理的方法について
はこれまでブロックマッチング法、勾配法、位相相関法
などが提案されており、これらはいずれも周知の方法で
ある（例えば、山内：「テレビジョン方式変換」，テレ
ビ学会誌，Vol.４５，No. １２，pp. １５３４−１５４
３）。
はこれまでブロックマッチング法、勾配法、位相相関法
などが提案されており、これらはいずれも周知の方法で
ある（例えば、山内：「テレビジョン方式変換」，テレ
ビ学会誌，Vol.４５，No. １２，pp. １５３４−１５４
３）。
【０００３】また、これらを基にした動きベクトル検出
の改善方法も多数提案されている。例えば一例として本
願人の先の出願になる特願平６−３０３８０５号「動き
ベクトル検出方法」(1) などがある。
の改善方法も多数提案されている。例えば一例として本
願人の先の出願になる特願平６−３０３８０５号「動き
ベクトル検出方法」(1) などがある。
【０００４】またさらに、求められた動きベクトルを利
用して画像のフィールド間動き補償を行う具体的な画像
処理としては、本願人の先の出願になる特願平４−２８
３１２０号「画像信号の走査変換装置」(2) 、特願平４
−２８６１５４号「画像信号の走査線数変換装置」(3)
などがある。前記特願平４−２８３１２０号は、インタ
ーレース走査の画像信号を順次走査に変換し、表示され
る画質を改善する動き補償型順次走査変換について述べ
ている。また前記特願平４−２８６１５４号は、動き補
償型順次走査変換を画像信号の走査線数の変換に利用し
たものである。
用して画像のフィールド間動き補償を行う具体的な画像
処理としては、本願人の先の出願になる特願平４−２８
３１２０号「画像信号の走査変換装置」(2) 、特願平４
−２８６１５４号「画像信号の走査線数変換装置」(3)
などがある。前記特願平４−２８３１２０号は、インタ
ーレース走査の画像信号を順次走査に変換し、表示され
る画質を改善する動き補償型順次走査変換について述べ
ている。また前記特願平４−２８６１５４号は、動き補
償型順次走査変換を画像信号の走査線数の変換に利用し
たものである。
【０００５】
【発明が解決しようとする課題】前述の動きベクトル検
出の原理的方法およびその改善方法は、ほとんどの場合
画像のブロック毎にその動きベクトルを検出している。
しかし、その選択するブロックサイズが小さい場合は、
ノイズを含む画像や縞模様などの周期的な構造を持つ画
像において検出が不正確となりやすい。これらの画像に
対しては一般にブロックサイズを大きくすることで検出
の精度をある程度改善することが可能である。しかし、
ブロックサイズが大きくなると小さな形状の画像の動き
を検出しにくくなるという問題を生じていた。そこで本
発明の目的は、ブロックサイズに関する従来法のトレー
ドオフを改善し、どのような画像に対してもより正確な
動きベクトルの検出可能な動きベクトル検出方法を提供
せんとするものである。
出の原理的方法およびその改善方法は、ほとんどの場合
画像のブロック毎にその動きベクトルを検出している。
しかし、その選択するブロックサイズが小さい場合は、
ノイズを含む画像や縞模様などの周期的な構造を持つ画
像において検出が不正確となりやすい。これらの画像に
対しては一般にブロックサイズを大きくすることで検出
の精度をある程度改善することが可能である。しかし、
ブロックサイズが大きくなると小さな形状の画像の動き
を検出しにくくなるという問題を生じていた。そこで本
発明の目的は、ブロックサイズに関する従来法のトレー
ドオフを改善し、どのような画像に対してもより正確な
動きベクトルの検出可能な動きベクトル検出方法を提供
せんとするものである。
【０００６】
【課題を解決するための手段】この目的を達成するた
め、本発明に係る動きベクトル検出方法は、テレビジョ
ン画像信号から、画像の比較的小さな小ブロック毎の画
像の動きベクトルを、小ブロック動きベクトルとして検
出し、同じ画像に対して、前記小ブロックより大きなサ
イズの画像ブロック毎の画像の動きベクトルを、大ブロ
ック動きベクトルとして検出するとともに、大ブロック
動きベクトル検出誤差の値に応じて、その値が小さなと
きは大ブロック動きベクトルを選択し、そうでない時は
小ブロック動きベクトルを選択して出力することを特徴
とするものである。
め、本発明に係る動きベクトル検出方法は、テレビジョ
ン画像信号から、画像の比較的小さな小ブロック毎の画
像の動きベクトルを、小ブロック動きベクトルとして検
出し、同じ画像に対して、前記小ブロックより大きなサ
イズの画像ブロック毎の画像の動きベクトルを、大ブロ
ック動きベクトルとして検出するとともに、大ブロック
動きベクトル検出誤差の値に応じて、その値が小さなと
きは大ブロック動きベクトルを選択し、そうでない時は
小ブロック動きベクトルを選択して出力することを特徴
とするものである。
【０００７】また、その好適な実施態様は、大ブロック
動きベクトル検出誤差の値に応じて変化するしきい値を
発生させ、大ブロック動きベクトル検出誤差に対する小
ブロック動きベクトル検出誤差の比または差を求め、こ
の比または差の値と前記しきい値とを比較するととも
に、前記比または差の値が大きい場合には大ブロック動
きベクトルを選択し、そうでない時は小ブロック動きベ
クトルを選択して出力することを特徴とするものであ
る。
動きベクトル検出誤差の値に応じて変化するしきい値を
発生させ、大ブロック動きベクトル検出誤差に対する小
ブロック動きベクトル検出誤差の比または差を求め、こ
の比または差の値と前記しきい値とを比較するととも
に、前記比または差の値が大きい場合には大ブロック動
きベクトルを選択し、そうでない時は小ブロック動きベ
クトルを選択して出力することを特徴とするものであ
る。
【０００８】また、さらにその好適な実施態様は、大ブ
ロック動きベクトル検出誤差の値に応じて変化するしき
い値を発生させ、大ブロック動きベクトル検出誤差に対
する小ブロック動きベクトル検出誤差の比または差を求
め、この比または差の値と前記しきい値とを比較すると
ともに、前記比または差の値が前記しきい値より大き
く、かつ、大ブロック動きベクトルの垂直方向成分がフ
レーム内走査線数／フィールドの単位で偶数か、小ブロ
ック動きベクトルの垂直方向成分がフレーム内走査線数
／フィールドの単位で奇数か、前記小ブロック内の画像
の斜め方向性が小さいかいずれかに該当する場合には大
ブロック動きベクトルを選択し、そうでない時は小ブロ
ック動きベクトルを選択して出力することを特徴とする
ものである。
ロック動きベクトル検出誤差の値に応じて変化するしき
い値を発生させ、大ブロック動きベクトル検出誤差に対
する小ブロック動きベクトル検出誤差の比または差を求
め、この比または差の値と前記しきい値とを比較すると
ともに、前記比または差の値が前記しきい値より大き
く、かつ、大ブロック動きベクトルの垂直方向成分がフ
レーム内走査線数／フィールドの単位で偶数か、小ブロ
ック動きベクトルの垂直方向成分がフレーム内走査線数
／フィールドの単位で奇数か、前記小ブロック内の画像
の斜め方向性が小さいかいずれかに該当する場合には大
ブロック動きベクトルを選択し、そうでない時は小ブロ
ック動きベクトルを選択して出力することを特徴とする
ものである。
【０００９】
【実施例】以下添附図面を参照し実施例により本発明を
詳細に説明する。図１は本発明請求項１，２に係る方法
を実現する実施例の動きベクトル検出装置の構成を示す
図である。図の入力信号ｐは画像信号であり、走査線
数、フィールド周波数、インタレース比などはこの例で
は特定する必要はない。
詳細に説明する。図１は本発明請求項１，２に係る方法
を実現する実施例の動きベクトル検出装置の構成を示す
図である。図の入力信号ｐは画像信号であり、走査線
数、フィールド周波数、インタレース比などはこの例で
は特定する必要はない。
【００１０】図の小ブロック動きベクトル検出回路１
は、画像の比較的小さいブロック毎、例えば水平１６画
素×垂直８走査線の矩形の小ブロック毎に１つの動きベ
クトルを検出する回路である。具体的には、例えば後に
図３に示すブロックマッチング法による回路などで実現
できる。回路１で検出されるベクトルが小ブロック動き
ベクトルであり、これをＶS （ＶSx, ＶSy）と表す。こ
こでＶSx, ＶSyは各々Ｖ S の水平方向成分および垂直方
向成分である。図の大ブロック動きベクトル検出回路２
は回路１で動きベクトルを検出している小ブロックを含
み、かつそれより大きなブロック（大ブロック）を用い
て動きベクトルを検出する回路である。回路２で検出さ
れる動きベクトルが大ブロック動きベクトルであり、こ
れをＶS と同様にＶL （ＶLx, ＶLy）と表す。回路２の
実現方法も回路１と同様である。また、回路１，２では
動きベクトルの検出と同時に、検出されたベクトルの誤
差、すなわちブロック内の画像に対する動きベクトルの
適合性を表す数値をも出力する。これらを誤差ＥS,ＥL
として表す。このとき、両者を同等に比較できるように
するため、回路１，２は１画素当りの値としてＥS,ＥL
を出力するものとする。これらの値が大きいほどベクト
ルの信頼性は低い。誤差は、例えば回路１，２をブロッ
クマッチング法で実現した場合、後に図３に示すように
ベクトルのマッチング誤差として出力される。
は、画像の比較的小さいブロック毎、例えば水平１６画
素×垂直８走査線の矩形の小ブロック毎に１つの動きベ
クトルを検出する回路である。具体的には、例えば後に
図３に示すブロックマッチング法による回路などで実現
できる。回路１で検出されるベクトルが小ブロック動き
ベクトルであり、これをＶS （ＶSx, ＶSy）と表す。こ
こでＶSx, ＶSyは各々Ｖ S の水平方向成分および垂直方
向成分である。図の大ブロック動きベクトル検出回路２
は回路１で動きベクトルを検出している小ブロックを含
み、かつそれより大きなブロック（大ブロック）を用い
て動きベクトルを検出する回路である。回路２で検出さ
れる動きベクトルが大ブロック動きベクトルであり、こ
れをＶS と同様にＶL （ＶLx, ＶLy）と表す。回路２の
実現方法も回路１と同様である。また、回路１，２では
動きベクトルの検出と同時に、検出されたベクトルの誤
差、すなわちブロック内の画像に対する動きベクトルの
適合性を表す数値をも出力する。これらを誤差ＥS,ＥL
として表す。このとき、両者を同等に比較できるように
するため、回路１，２は１画素当りの値としてＥS,ＥL
を出力するものとする。これらの値が大きいほどベクト
ルの信頼性は低い。誤差は、例えば回路１，２をブロッ
クマッチング法で実現した場合、後に図３に示すように
ベクトルのマッチング誤差として出力される。
【００１１】切換器３はＶS とＶL のいずれかを選択す
る切換器であり、切換器３の出力が図１の回路全体の出
力ベクトルＶO （ＶOx, Ｖoy）である。また、切換器３
の動作は制御信号Ｋerにより制御され、Ｋerが“０”で
あればＶS を、“１”であればＶL を選択する。
る切換器であり、切換器３の出力が図１の回路全体の出
力ベクトルＶO （ＶOx, Ｖoy）である。また、切換器３
の動作は制御信号Ｋerにより制御され、Ｋerが“０”で
あればＶS を、“１”であればＶL を選択する。
【００１２】除算器４は誤差の比Ｅs ／ＥL を出力す
る。しきい値発生回路５は誤差ＥL の値に応じてしきい
値ＴＨを発生する。回路５の特性として例えば図２に示
す特性を使用する。図２の特性によれば、特性のパラメ
ータであるＥLMIN, ＥLMAXに対し、ＥL ＜ＥLMINであれ
ばＴＨ＝０であり、ＥL ＞ＥLMINではＴＨはＥL に比例
して増加する。そしてＥL ＝ＥLMAXの時ＴＨ＝１とな
る。ＥLMINとＥLMAXはカットアンドトライにより決定す
る。比較器６はＥS ／ＥL とＴＨを比較し、ＥS ／ＥL
＞ＴＨであれば比較器６の出力として制御信号Ｋer＝
“１”を出力する。そうでなければＫer＝“０”を出力
する。回路４〜６は全体として誤差比較回路７を構成し
ている。Ｋerは各小ブロック毎に発生され従ってＶL と
ＶS の選択も小ブロック毎に行われる。
る。しきい値発生回路５は誤差ＥL の値に応じてしきい
値ＴＨを発生する。回路５の特性として例えば図２に示
す特性を使用する。図２の特性によれば、特性のパラメ
ータであるＥLMIN, ＥLMAXに対し、ＥL ＜ＥLMINであれ
ばＴＨ＝０であり、ＥL ＞ＥLMINではＴＨはＥL に比例
して増加する。そしてＥL ＝ＥLMAXの時ＴＨ＝１とな
る。ＥLMINとＥLMAXはカットアンドトライにより決定す
る。比較器６はＥS ／ＥL とＴＨを比較し、ＥS ／ＥL
＞ＴＨであれば比較器６の出力として制御信号Ｋer＝
“１”を出力する。そうでなければＫer＝“０”を出力
する。回路４〜６は全体として誤差比較回路７を構成し
ている。Ｋerは各小ブロック毎に発生され従ってＶL と
ＶS の選択も小ブロック毎に行われる。
【００１３】以上の動作により、図１の回路は全体とし
て、ＥL ＜ＥLMINならば出力ベクトルＶO として必ずＶ
L を出力し、ＥL ＞ＥLMINであれば誤差の比ＥS ／ＥL
の値に応じてＶL またはＶS を出力するが、ＥL ＞Ｅ
LMAXであればＶL を出力しにくくなる。
て、ＥL ＜ＥLMINならば出力ベクトルＶO として必ずＶ
L を出力し、ＥL ＞ＥLMINであれば誤差の比ＥS ／ＥL
の値に応じてＶL またはＶS を出力するが、ＥL ＞Ｅ
LMAXであればＶL を出力しにくくなる。
【００１４】ブロック内において動きベクトルと同一の
動きをする画像の面積が大きな割合を占めなければ誤差
は小さくならない。このことは一般に小ブロックよりも
大ブロックにおいて発生する可能性が低い。すなわち、
大ブロックの誤差ＥL が小さいことは、大ブロック動き
ベクトルの画像に対する適合性が小ブロック動きベクト
ルよりも広い範囲におよんでいることを意味する。従っ
て、この場合大ブロック動きベクトルの信頼性は小ブロ
ック動きベクトルの信頼性より高いと言える。一方ＥL
の値が大きいことは大ブロック内の画像が単一の動きで
ないことを意味する。従って、大ブロック内に複数の異
なる動きを持つ画像が含まれる可能性が高い。このよう
な場合は小ブロック動きベクトルの方がより画像の真の
動きに適合している可能性が高い。
動きをする画像の面積が大きな割合を占めなければ誤差
は小さくならない。このことは一般に小ブロックよりも
大ブロックにおいて発生する可能性が低い。すなわち、
大ブロックの誤差ＥL が小さいことは、大ブロック動き
ベクトルの画像に対する適合性が小ブロック動きベクト
ルよりも広い範囲におよんでいることを意味する。従っ
て、この場合大ブロック動きベクトルの信頼性は小ブロ
ック動きベクトルの信頼性より高いと言える。一方ＥL
の値が大きいことは大ブロック内の画像が単一の動きで
ないことを意味する。従って、大ブロック内に複数の異
なる動きを持つ画像が含まれる可能性が高い。このよう
な場合は小ブロック動きベクトルの方がより画像の真の
動きに適合している可能性が高い。
【００１５】図１の回路におけるＶL とＶs の選択動作
は、以上のような動きベクトル検出の一般的性質に合致
しており、図１の回路により、従来の固定サイズのブロ
ックを用いる場合よりもより広範な画像に対して正確な
動きベクトル検出が可能である。
は、以上のような動きベクトル検出の一般的性質に合致
しており、図１の回路により、従来の固定サイズのブロ
ックを用いる場合よりもより広範な画像に対して正確な
動きベクトル検出が可能である。
【００１６】次に、図１の動きベクトル検出回路１，２
の具体的な構成法について述べる。図３はブロックマッ
チング法による動きベクトル検出回路の一例である。ブ
ロックマッチング法は、ある物体が１フレーム期間にＶ
T （画素／フレーム）の速さで平行移動しているとき、
１フレーム前の画像をＶT 画素だけシフトすれば現フレ
ームの画像に一致し、フレーム間差分のブロック内累積
値が最小値を示すという原理を利用したものである。
の具体的な構成法について述べる。図３はブロックマッ
チング法による動きベクトル検出回路の一例である。ブ
ロックマッチング法は、ある物体が１フレーム期間にＶ
T （画素／フレーム）の速さで平行移動しているとき、
１フレーム前の画像をＶT 画素だけシフトすれば現フレ
ームの画像に一致し、フレーム間差分のブロック内累積
値が最小値を示すという原理を利用したものである。
【００１７】図３において、入力画像信号ｐはディレイ
回路１１において（１フレーム＋Ｖ T ) だけ遅延させら
れる。ここでＶT （ＶTx, ＶTy）は動きベクトル検出の
対象となる候補ベクトルであり、候補ベクトル発生回路
１２から、あらかじめ設定された候補ベクトルが順次発
生させられる。減算器１３において、入力信号ｐと回路
１１の出力の差分をとることにより、動き補償フレーム
間差分信号dfd （displaced frame difference) が求め
られる。ブロック領域設定回路１４は、画素があらかじ
め設定されたブロック内の画素であるか否かを支持する
ブロック領域信号Ｂを発生する。回路１５では、dfd の
絶対値のブロック内累積値ΣB ｜dfd ｜を求める。この
値は候補ベクトルＶT の関数であり、これをＤＦＤ（Ｖ
T ) で表す。ＤＦＤ（ＶT ) はＶT のそのブロックに対
するマッチング誤差である。最小値検出回路１６ではＤ
ＦＤの最小値を求め、最小値を発生するＶT をそのブロ
ックの動きベクトルＶ（Ｖx,Ｖy ）として出力する。ま
た、最小値をＤＦＤＭとして出力する。ＤＦＤＭを１画
素当りの値とするため、除算器１７においてブロック内
の画素数ＮB で除算し、それをベクトルＶの誤差Ｅとし
て出力する。
回路１１において（１フレーム＋Ｖ T ) だけ遅延させら
れる。ここでＶT （ＶTx, ＶTy）は動きベクトル検出の
対象となる候補ベクトルであり、候補ベクトル発生回路
１２から、あらかじめ設定された候補ベクトルが順次発
生させられる。減算器１３において、入力信号ｐと回路
１１の出力の差分をとることにより、動き補償フレーム
間差分信号dfd （displaced frame difference) が求め
られる。ブロック領域設定回路１４は、画素があらかじ
め設定されたブロック内の画素であるか否かを支持する
ブロック領域信号Ｂを発生する。回路１５では、dfd の
絶対値のブロック内累積値ΣB ｜dfd ｜を求める。この
値は候補ベクトルＶT の関数であり、これをＤＦＤ（Ｖ
T ) で表す。ＤＦＤ（ＶT ) はＶT のそのブロックに対
するマッチング誤差である。最小値検出回路１６ではＤ
ＦＤの最小値を求め、最小値を発生するＶT をそのブロ
ックの動きベクトルＶ（Ｖx,Ｖy ）として出力する。ま
た、最小値をＤＦＤＭとして出力する。ＤＦＤＭを１画
素当りの値とするため、除算器１７においてブロック内
の画素数ＮB で除算し、それをベクトルＶの誤差Ｅとし
て出力する。
【００１８】以上の動作から明らかなように、図３の回
路により図１の回路１、２のいずれも実現できる。回路
１、２の違いはブロック領域設定信号Ｂの内容およびＢ
に対応するＮB の値のみである。
路により図１の回路１、２のいずれも実現できる。回路
１、２の違いはブロック領域設定信号Ｂの内容およびＢ
に対応するＮB の値のみである。
【００１９】図４は本発明請求項４に係る実施例であ
る。図は画面上でのブロック領域設定の例を示してい
る。図では小ブロックＢS を、水平１６画素×垂直８ラ
インのブロックとしこれをＢS1〜ＢS4で表している。一
方、大ブロックＢL は水平、垂直とも小ブロックの２倍
の３２画素×１６ラインとし、しかもこれをＢS1〜ＢS4
が占める位置と同一の位置に設定している。そしてＶL
の検出はＢL に対して１度だけ行い、図１の回路７で
は、この共通のＶL と各ＢS で検出された各ＶS を各々
比較する。
る。図は画面上でのブロック領域設定の例を示してい
る。図では小ブロックＢS を、水平１６画素×垂直８ラ
インのブロックとしこれをＢS1〜ＢS4で表している。一
方、大ブロックＢL は水平、垂直とも小ブロックの２倍
の３２画素×１６ラインとし、しかもこれをＢS1〜ＢS4
が占める位置と同一の位置に設定している。そしてＶL
の検出はＢL に対して１度だけ行い、図１の回路７で
は、この共通のＶL と各ＢS で検出された各ＶS を各々
比較する。
【００２０】動きベクトル検出における演算量はブロッ
ク領域の面積にほぼ比例して増大するので、大ブロック
ベクトル検出回路の実現にはハードウェアの量が増加す
るという問題がある。例えば、ＢL の面積がＢS の面積
の４倍であれば演算量も約４倍となる。しかし図４の実
施例によれば、ＶL をＢL 内のＢS1〜ＢS4に対して共通
に使用できるので、ＢL 毎に見た場合の演算量は回路
１，２と同等となり、ハードウェアの実現において著し
く有利となる。
ク領域の面積にほぼ比例して増大するので、大ブロック
ベクトル検出回路の実現にはハードウェアの量が増加す
るという問題がある。例えば、ＢL の面積がＢS の面積
の４倍であれば演算量も約４倍となる。しかし図４の実
施例によれば、ＶL をＢL 内のＢS1〜ＢS4に対して共通
に使用できるので、ＢL 毎に見た場合の演算量は回路
１，２と同等となり、ハードウェアの実現において著し
く有利となる。
【００２１】以上、図１から図４の実施例は、入力画像
信号が順次走査であっても２：１インタレースであって
も利用できる。
信号が順次走査であっても２：１インタレースであって
も利用できる。
【００２２】図５は本発明請求項５に係る実施例であ
る。小ブロックＢS は図４と同様に１６画素×８ライン
であり、大ブロックＢL2の大きさも図４と同様に３２画
素×１６ラインである。しかし、ＢL2の中心をＢS の中
心に一致させており（両中心は必ずしも一致する必要は
なく、大ブロックが小ブロックの上下左右ともに伸張し
た領域であればよい）、ＢL2はＢS を上下左右に伸張し
た領域に設定されている。そして、ＢL2に対応する大ブ
ロックベクトルＶL2は各ＢS 毎に検出する。このように
すると、ＶL2を複数のＢS に対して共通にできず、図４
の場合のようなハードウェア実現に関する利点はない。
しかし、以下のような画質的な利点を生じる。
る。小ブロックＢS は図４と同様に１６画素×８ライン
であり、大ブロックＢL2の大きさも図４と同様に３２画
素×１６ラインである。しかし、ＢL2の中心をＢS の中
心に一致させており（両中心は必ずしも一致する必要は
なく、大ブロックが小ブロックの上下左右ともに伸張し
た領域であればよい）、ＢL2はＢS を上下左右に伸張し
た領域に設定されている。そして、ＢL2に対応する大ブ
ロックベクトルＶL2は各ＢS 毎に検出する。このように
すると、ＶL2を複数のＢS に対して共通にできず、図４
の場合のようなハードウェア実現に関する利点はない。
しかし、以下のような画質的な利点を生じる。
【００２３】ここで、検出したベクトルをインタレース
走査画像に対するフィールド間動き補償に用いる場合を
考える。例として、前述の文献２（特願平４−２８３１
２０号）に示されているインタレース走査画像の動き補
償型順次走査変換を取り上げる。
走査画像に対するフィールド間動き補償に用いる場合を
考える。例として、前述の文献２（特願平４−２８３１
２０号）に示されているインタレース走査画像の動き補
償型順次走査変換を取り上げる。
【００２４】図６（ａ）は文献２の図１から、動き補償
に関連する部分のみを抜き出したものである。図の入力
信号ｐは走査線５２５本／フィールド周波数６０Ｈｚ／
２：１インタレースの画像信号である。動きベクトルＶ
（単位：画素またはフレーム内走査線数／フィールド）
に従い、信号を（２６３Ｈ＋Ｖ）だけ（Ｈは走査線）遅
延させる動き補償メモリ３１の出力を走査線の補間信号
とし、入力信号と補間信号を時間軸変換回路３２により
変換・合成して順次走査信号を得ている。これ以上の詳
しい記述は文献２に示されているので省略する。このよ
うに補間信号を前フィールドのみから作成する方法を片
側補間と呼ぶ。
に関連する部分のみを抜き出したものである。図の入力
信号ｐは走査線５２５本／フィールド周波数６０Ｈｚ／
２：１インタレースの画像信号である。動きベクトルＶ
（単位：画素またはフレーム内走査線数／フィールド）
に従い、信号を（２６３Ｈ＋Ｖ）だけ（Ｈは走査線）遅
延させる動き補償メモリ３１の出力を走査線の補間信号
とし、入力信号と補間信号を時間軸変換回路３２により
変換・合成して順次走査信号を得ている。これ以上の詳
しい記述は文献２に示されているので省略する。このよ
うに補間信号を前フィールドのみから作成する方法を片
側補間と呼ぶ。
【００２５】この片側補間でも原理的に動き補償可能で
あるが、補間の時間周波数に関する遮断特性がやや不十
分であるため、特性を改善したい場合には、図６（ｂ）
に示すような補間信号を前後フィールドから作成する両
側補間が利用される。図６（ｂ）は文献２の図７から、
動き補償に関する部分を抜き出して簡略化したものであ
る。図６（ｂ）の動作は図６（ａ）と同様であり、文献
２にも記載されているので説明は省略する。図６
（ａ），（ｂ）の回路の時間周波数ｆに関する遮断特性
を図６（ｃ）に示す。
あるが、補間の時間周波数に関する遮断特性がやや不十
分であるため、特性を改善したい場合には、図６（ｂ）
に示すような補間信号を前後フィールドから作成する両
側補間が利用される。図６（ｂ）は文献２の図７から、
動き補償に関する部分を抜き出して簡略化したものであ
る。図６（ｂ）の動作は図６（ａ）と同様であり、文献
２にも記載されているので説明は省略する。図６
（ａ），（ｂ）の回路の時間周波数ｆに関する遮断特性
を図６（ｃ）に示す。
【００２６】さて、両側補間を用いる場合、従来の動き
ベクトル検出法ではある種の画像において図７に示すよ
うな画質的問題を生じる。図は横軸が時間方向（フィー
ルド）、縦軸が走査線方向を表している。図は黒い背景
の前を白い物体が上に移動するという単純な画像であ
る。動きの垂直方向の速度は例として、Ｖy ＝２（フレ
ーム内走査線数／フィールド）である。図において小ブ
ロックＢsaとＢsbの境界が一点鎖線の位置にあるとす
る。インタレース信号の場合、動きベクトル検出はフレ
ーム間差分により検出されるから、図ではｔ＝０（現フ
ィールド）の信号とｔ＝−２の信号から検出されること
になる。すると、ＢSaには画像の動き部分は全く含まれ
ないので、ここではベクトルとしてＶx ＝Ｖy ＝０が検
出される。しかし、このベクトルにより両側補間を行う
と、図のＲの位置には白と黒の平均値の補間信号が作成
されてしまう。これは明らかに偽信号であって、実際の
画像においても画質妨害として検出される。特に画像の
動きが速い場合は画像から離れた位置に偽信号を生じる
のでかなり目立つ。
ベクトル検出法ではある種の画像において図７に示すよ
うな画質的問題を生じる。図は横軸が時間方向（フィー
ルド）、縦軸が走査線方向を表している。図は黒い背景
の前を白い物体が上に移動するという単純な画像であ
る。動きの垂直方向の速度は例として、Ｖy ＝２（フレ
ーム内走査線数／フィールド）である。図において小ブ
ロックＢsaとＢsbの境界が一点鎖線の位置にあるとす
る。インタレース信号の場合、動きベクトル検出はフレ
ーム間差分により検出されるから、図ではｔ＝０（現フ
ィールド）の信号とｔ＝−２の信号から検出されること
になる。すると、ＢSaには画像の動き部分は全く含まれ
ないので、ここではベクトルとしてＶx ＝Ｖy ＝０が検
出される。しかし、このベクトルにより両側補間を行う
と、図のＲの位置には白と黒の平均値の補間信号が作成
されてしまう。これは明らかに偽信号であって、実際の
画像においても画質妨害として検出される。特に画像の
動きが速い場合は画像から離れた位置に偽信号を生じる
のでかなり目立つ。
【００２７】しかし、大ブロックを図５のように設定し
た場合は、図７におけるＢSaとＢSbに対応する大ブロッ
クＢLa, ＢLbの領域が図に示すようにオーバーラップし
ているので、ＢLaにおいても白い物体の動きが正しく検
出される。従ってそのベクトルを使用すると、偽信号を
含まない良好な動き補償画像が得られる。
た場合は、図７におけるＢSaとＢSbに対応する大ブロッ
クＢLa, ＢLbの領域が図に示すようにオーバーラップし
ているので、ＢLaにおいても白い物体の動きが正しく検
出される。従ってそのベクトルを使用すると、偽信号を
含まない良好な動き補償画像が得られる。
【００２８】次に、本発明請求項３に係る実施例を図８
に示す。図８の回路と図１の相違点は、切換器３の制御
信号ＫS として、回路７の出力信号Ｋerと後に述べるＯ
Ｒゲート２３の出力信号ＫP の論理積をＡＮＤゲート２
１により作成し使用していることである。
に示す。図８の回路と図１の相違点は、切換器３の制御
信号ＫS として、回路７の出力信号Ｋerと後に述べるＯ
Ｒゲート２３の出力信号ＫP の論理積をＡＮＤゲート２
１により作成し使用していることである。
【００２９】図８の回路は、検出したベクトルを文献
２、３（特願平４−２８６１５４号）に示されているよ
うなインタレース画像信号のフィールド間動き補償に使
用することを前提としている。この場合、文献２に述べ
られているように、ベクトルの垂直方向成分Ｖy が奇数
（フレーム内走査線数／フィールド）の場合、画質的に
効果の大きい動き補償ができない。この性質に適合し、
画像内容に適応してより効果の高い動きベクトルを検出
する方法として文献１（特願平６−３０３８０５号）の
発明がある。これはベクトルを検出しているブロック内
の画像の斜め方向性を考慮した方法である。詳細な説明
は省略するが、この発明によれば、斜め方向性が顕著な
場合は検出ベクトルの候補をＶy が偶数のものに限定す
ることにより、より有効性の高いベクトルが検出可能で
ある。
２、３（特願平４−２８６１５４号）に示されているよ
うなインタレース画像信号のフィールド間動き補償に使
用することを前提としている。この場合、文献２に述べ
られているように、ベクトルの垂直方向成分Ｖy が奇数
（フレーム内走査線数／フィールド）の場合、画質的に
効果の大きい動き補償ができない。この性質に適合し、
画像内容に適応してより効果の高い動きベクトルを検出
する方法として文献１（特願平６−３０３８０５号）の
発明がある。これはベクトルを検出しているブロック内
の画像の斜め方向性を考慮した方法である。詳細な説明
は省略するが、この発明によれば、斜め方向性が顕著な
場合は検出ベクトルの候補をＶy が偶数のものに限定す
ることにより、より有効性の高いベクトルが検出可能で
ある。
【００３０】以上の性質を本発明に照らし合わせて考え
る。考えるべき状況はＶSy, ＶLyの偶奇に関して４種類
あり、各状況に対するベクトルの選択判断は以下の表１
のようにすべきである。
る。考えるべき状況はＶSy, ＶLyの偶奇に関して４種類
あり、各状況に対するベクトルの選択判断は以下の表１
のようにすべきである。
【００３１】
【表１】
【００３２】ＶLy, ＶSyともに奇数、またはともに偶数
の場合は偶奇による特殊事情はないので、Ｋerに従って
ベクトルを選択すればよい。しかし、ＶSyが偶数でＶLy
が奇数の場合は、ＶL を選択しても動き補償において効
果の高いベクトルを期待できないので、ＶL の選択を禁
止することが必要である。ＶSyが奇数でＶLyが偶数の場
合には、逆にＶS の選択を禁止してしまうと小さい画像
の動きに全く対応できないので、やはりＫerに従った選
択が必要である。
の場合は偶奇による特殊事情はないので、Ｋerに従って
ベクトルを選択すればよい。しかし、ＶSyが偶数でＶLy
が奇数の場合は、ＶL を選択しても動き補償において効
果の高いベクトルを期待できないので、ＶL の選択を禁
止することが必要である。ＶSyが奇数でＶLyが偶数の場
合には、逆にＶS の選択を禁止してしまうと小さい画像
の動きに全く対応できないので、やはりＫerに従った選
択が必要である。
【００３３】表１の動作を実現しているのが図８の回路
である。画像方向性検出回路２２としては、文献１に示
されている回路をそのまま用いることができる。その出
力Ｋ Obは、小ブロック内の画像に顕著な斜め方向性がな
い場合“１”となる。また、ＶLy, ＶSyは整数（フレー
ム内走査線数／フィールド）単位で検出されるものとす
ると、ＶLy, ＶSyを２値ディジタル信号で表現した場
合、これらの値が偶数であるか奇数であるかはその最下
位ビット（ＬＳＢ）に現れる。ＬＳＢが“１”の場合は
奇数、“０”の場合は偶数である。そこで、ＶLyのＬＳ
Ｂをインバータ２４で反転した信号とＶSyのＬＳＢ、Ｋ
Obの論理和を２３で求めることにより、Ｋ erに従ってベ
クトルを選択してよいか否かを表す信号Ｋp を作成して
いる。Ｋp“０”であれば常にＶS が選択される。
である。画像方向性検出回路２２としては、文献１に示
されている回路をそのまま用いることができる。その出
力Ｋ Obは、小ブロック内の画像に顕著な斜め方向性がな
い場合“１”となる。また、ＶLy, ＶSyは整数（フレー
ム内走査線数／フィールド）単位で検出されるものとす
ると、ＶLy, ＶSyを２値ディジタル信号で表現した場
合、これらの値が偶数であるか奇数であるかはその最下
位ビット（ＬＳＢ）に現れる。ＬＳＢが“１”の場合は
奇数、“０”の場合は偶数である。そこで、ＶLyのＬＳ
Ｂをインバータ２４で反転した信号とＶSyのＬＳＢ、Ｋ
Obの論理和を２３で求めることにより、Ｋ erに従ってベ
クトルを選択してよいか否かを表す信号Ｋp を作成して
いる。Ｋp“０”であれば常にＶS が選択される。
【００３４】以上の動作により図８の回路は、インタレ
ース画像信号のフィールド間動き補償に用いた場合に高
画質な動き補償を実現できる動きベクトルを検出でき
る。
ース画像信号のフィールド間動き補償に用いた場合に高
画質な動き補償を実現できる動きベクトルを検出でき
る。
【００３５】本発明はここに示した実施例以外の構成で
も実現できる。特に、図１、８の回路１，２は図３の回
路以外の方法、回路でも実現できる。例えば、勾配法に
よる動きベクトル検出回路なども利用できる。また、回
路１として文献１に示されている動きベクトル検出回路
全体を用いてもよい。さらに、ブロック領域の設定も、
図４，５の例以外にも、本発明に基づく様々な設定仕様
が考えられる。
も実現できる。特に、図１、８の回路１，２は図３の回
路以外の方法、回路でも実現できる。例えば、勾配法に
よる動きベクトル検出回路なども利用できる。また、回
路１として文献１に示されている動きベクトル検出回路
全体を用いてもよい。さらに、ブロック領域の設定も、
図４，５の例以外にも、本発明に基づく様々な設定仕様
が考えられる。
【００３６】
【発明の効果】本発明によれば、同じ画像部分に対して
通常の小さなブロックサイズと、より大きなブロックサ
イズを用いて各々動きベクトルを検出し、それらの検出
ベクトルを適応的に選択することにより、より広範な画
像に対して正確な動きベクトルの検出が可能となる。ま
た、本発明を例えば動き補償型順次走査変換など、イン
タレース走査画像信号に対してフィールド間動き補償を
行う画像処理に利用した場合、画像処理の画質改善を図
ることができる。
通常の小さなブロックサイズと、より大きなブロックサ
イズを用いて各々動きベクトルを検出し、それらの検出
ベクトルを適応的に選択することにより、より広範な画
像に対して正確な動きベクトルの検出が可能となる。ま
た、本発明を例えば動き補償型順次走査変換など、イン
タレース走査画像信号に対してフィールド間動き補償を
行う画像処理に利用した場合、画像処理の画質改善を図
ることができる。
【図１】本発明請求項１，２に係る装置の実施例構成
図。
図。
【図２】図１の構成例で使用される特性の１例を示す
図。
図。
【図３】ブロックマッチング法による動きベクトル検出
回路の構成例を示す図。
回路の構成例を示す図。
【図４】本発明請求項４に係る画像ブロックの構成例。
【図５】本発明請求項５に係る画像ブロックの構成例。
【図６】動き補償型順次走査変換装置の構成例（ａ），
（ｂ）とそれらの特性例（ｃ）をしめす図。
（ｂ）とそれらの特性例（ｃ）をしめす図。
【図７】図５，６図示回路の動作例を示す図。
【図８】本発明請求項３に係る装置の実施例構成図。
１ 小ブロック動きベクトル検出回路 ２ 大ブロック動きベクトル検出回路 ３ 切換器 ４，17 除算器 ５ しきい値発生回路 ６ 比較器 ７ 誤差比較回路 11 遅延回路 12 候補ベクトル設定回路 13 減算器 14 ブロック領域設定回路 15 差分累積器 16 最小値検出回路 21 ＡＮＤ回路 22 画像方向性検出回路 23 ＯＲ回路 24 反転回路 31, 33 動き補償メモリ 32 時間軸変換回路 34 加算器 35 1/2 係数器
Claims (5)
- 【請求項１】 テレビジョン画像信号から、画像の比較
的小さな小ブロック毎の画像の動きベクトルを、小ブロ
ック動きベクトルとして検出し、同じ画像に対して、前
記小ブロックより大きなサイズの画像ブロック毎の画像
の動きベクトルを、大ブロック動きベクトルとして検出
するとともに、大ブロック動きベクトル検出誤差の値に
応じて、その値が小さなときは大ブロック動きベクトル
を選択し、そうでない時は小ブロック動きベクトルを選
択して出力することを特徴とする動きベクトル検出方
法。 - 【請求項２】 請求項１記載の方法において、大ブロッ
ク動きベクトル検出誤差の値に応じて変化するしきい値
を発生させ、大ブロック動きベクトル検出誤差に対する
小ブロック動きベクトル検出誤差の比または差を求め、
この比または差の値と前記しきい値とを比較するととも
に、前記比または差の値が大きい場合には大ブロック動
きベクトルを選択し、そうでない時は小ブロック動きベ
クトルを選択して出力することを特徴とする動きベクト
ル検出方法。 - 【請求項３】 請求項１記載の方法において、大ブロッ
ク動きベクトル検出誤差の値に応じて変化するしきい値
を発生させ、大ブロック動きベクトル検出誤差に対する
小ブロック動きベクトル検出誤差の比または差を求め、
この比または差の値と前記しきい値とを比較するととも
に、前記比または差の値が前記しきい値より大きく、か
つ、大ブロック動きベクトルの垂直方向成分がフレーム
内走査線数／フィールドの単位で偶数か、小ブロック動
きベクトルの垂直方向成分がフレーム内走査線数／フィ
ールドの単位で奇数か、前記小ブロック内の画像の斜め
方向性が小さいかいずれかに該当する場合には大ブロッ
ク動きベクトルを選択し、そうでない時は小ブロック動
きベクトルを選択して出力することを特徴とする動きベ
クトル検出方法。 - 【請求項４】 請求項１から３いずれかに記載の方法に
おいて、前記大ブロックを複数の同じサイズの前記小ブ
ロックで構成し、大ブロックで検出した動きベクトル
を、大ブロック内のすべての小ブロックに対して大ブロ
ック動きベクトルとして適用することを特徴とする動き
ベクトル検出方法。 - 【請求項５】 請求項１から３いずれかに記載の方法に
おいて、前記大ブロックを各前記小ブロックの上下左右
ともに伸張した領域に設定し、各小ブロックに対して各
々大ブロックの動きベクトルを検出することを特徴とす
る動きベクトル検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00003395A JP3576618B2 (ja) | 1995-01-04 | 1995-01-04 | 動きベクトル検出方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00003395A JP3576618B2 (ja) | 1995-01-04 | 1995-01-04 | 動きベクトル検出方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08186800A true JPH08186800A (ja) | 1996-07-16 |
| JP3576618B2 JP3576618B2 (ja) | 2004-10-13 |
Family
ID=11463041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00003395A Expired - Lifetime JP3576618B2 (ja) | 1995-01-04 | 1995-01-04 | 動きベクトル検出方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3576618B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007274366A (ja) * | 2006-03-31 | 2007-10-18 | Fujitsu Ltd | 動画像符号化装置、動きベクトル検出方法 |
| JP2008206047A (ja) * | 2007-02-22 | 2008-09-04 | Nippon Hoso Kyokai <Nhk> | 符号化装置及びプログラム |
| JP2012147336A (ja) * | 2011-01-13 | 2012-08-02 | Canon Inc | 画像処理装置および画像処理方法 |
| JP2013138414A (ja) * | 2011-11-28 | 2013-07-11 | Panasonic Corp | 演算処理装置 |
-
1995
- 1995-01-04 JP JP00003395A patent/JP3576618B2/ja not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007274366A (ja) * | 2006-03-31 | 2007-10-18 | Fujitsu Ltd | 動画像符号化装置、動きベクトル検出方法 |
| JP2008206047A (ja) * | 2007-02-22 | 2008-09-04 | Nippon Hoso Kyokai <Nhk> | 符号化装置及びプログラム |
| JP2012147336A (ja) * | 2011-01-13 | 2012-08-02 | Canon Inc | 画像処理装置および画像処理方法 |
| JP2013138414A (ja) * | 2011-11-28 | 2013-07-11 | Panasonic Corp | 演算処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3576618B2 (ja) | 2004-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7057665B2 (en) | Deinterlacing apparatus and method | |
| US6509930B1 (en) | Circuit for scan conversion of picture signal using motion compensation | |
| US6577345B1 (en) | Deinterlacing method and apparatus based on motion-compensated interpolation and edge-directional interpolation | |
| US5929919A (en) | Motion-compensated field rate conversion | |
| JP4472986B2 (ja) | 動き推定および／または補償 | |
| KR100611517B1 (ko) | 디지털 신호의 보간 방법 및 시스템 | |
| JP2832927B2 (ja) | 走査線補間装置及び走査線補間用動きベクトル検出装置 | |
| JP2005318611A (ja) | ビデオシーケンスにおけるフィルムモード検出方法、フィルムモード検出器、動き補償方法及び動き補償器 | |
| KR20060047595A (ko) | 적응 시간적인 예측을 채용하는 움직임 벡터 추정 | |
| JP4092778B2 (ja) | 画像信号の方式変換装置及びテレビジョン受像機 | |
| JP2005318622A (ja) | 逆フィルムモード外挿方法 | |
| KR101026298B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| JP2005318623A (ja) | フィルムモード外挿方法及びフィルムモード検出器並びに動き補償器 | |
| US7593059B2 (en) | Image conversion device and method | |
| JPH08186800A (ja) | 動きベクトル検出方法 | |
| KR20010002659A (ko) | 디인터레이싱 장치 및 방법 | |
| JP3212917B2 (ja) | 走査線補間装置および走査線補間方法 | |
| JP2004297476A (ja) | 順次走査変換装置及び順次走査変換方法 | |
| GB2277004A (en) | Motion compensated video signal processing; motion/no motion flag | |
| JP4346327B2 (ja) | 順次走査変換装置及び順次走査変換方法 | |
| KR100382650B1 (ko) | 비디오신호 처리 시스템에서의 스케일 움직임 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치 | |
| JPH08251547A (ja) | 動きベクトル検出方法および動きベクトル検出装置 | |
| JP2001024987A (ja) | 順次走査変換回路 | |
| KR100189517B1 (ko) | 방향성을 고려한 경사상관 보간방법 및 회로 | |
| KR100715168B1 (ko) | 영상 신호 처리 장치 및 영상 신호 처리 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040309 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040615 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040708 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |